Kern unserer Installation sind die interaktiven Terminals an den Aussenseiten des Stahlgerüstes und die Schaltzentrale im inneren Radius des Aufbaus. Diese Elemente sind nicht von der Stange, sondern wurden größtenteils von uns selbst entworfen und umgesetzt. Unsere Aufgaben kann man dabei grob in 2 Bereiche trennen. Das wäre zum einen die Entwicklung der Hardware, also unseres sog. Haptikboards und der Schaltzentrale, zum anderen die logische Verschaltung und Verfremdung der verschiedenen Signale Audio, Video und Haptik.
Hardwareseitig besteht die Installation aus einem Zentralrechner der in der Mitte in der Schaltzentrale untergebracht ist. Von diesem Rechner aus gehen jeweils eine Webcam, ein Mikrofon und ein Monitor an die Terminals an der Peripherie des Gestells. Ausserdem befindet sich in der Schaltzentrale ein DMX-Controller zur Bespielung der angebrachten Lighttubes.
Die eigentliche Funktion des Steckbretts wurde ebenso wie die Haptikboards mithilfe des Microcontrollers Arduino und selbst entworfenen Schaltkreisen umgesetzt. Dabei kommen insgesamt 4 Arduino Mega zum Einsatz. Für die Herstellung haben 3 Personen 3 Tage lang gelötet, um knapp einen halbem Quadratmeter Platinen mit 180 LEDs, 36 Mini-Lüftern, 54 Infrarot-Sensoren, 200m Schaltdraht und ca 600 Steckverbindungen zu bestücken. Die Funktionalität der Arduinos selbst wurde in C programmiert.
Softwareseitig setzten wir verschieden Programme ein, um die Inputs aus den Haptikboards, den Kameras und Mikrofonen entsprechend des Steckbretts zu verfremden und an die jeweiligen Monitore, Lautsprecher und Haptikboards verteilen.
Als Master dient uns dabei die Software v4, eine nodebasierte Entwicklungsumgebung für die Generierung von Realtime-Video. Hier laufen alle Signale zusammen. v4 haben wir neben der allgmeinen Signalverwaltung, vor allem für die Verfremdung von Video eingesetzt, dies wurde entweder über Node-Netzwerke oder direkt über HLSL-Shader(DirectX) implementiert.
Die Verarbeitung von Audio haben wir an die Software Puredata ausgelagert, die wie v4 nodebasiert und in Realtime arbeitet. Für die Kommunikation zwischen v4 und den Arduinos haben wir ein einfaches Protokoll über die serielle Schnittstelle realisiert.
Zu guter letzt steuert v4 noch die Lighttubes, die in der Installation angebracht sind. Dies geschieht über Midi-Signale an die proprietäre Software Madrix des DMX-Controllers.
von Nadja Weber