Zwischen Atelier und Elektronik: Was Medienkünstler über Kameras, Sensoren und Einplatinenrechner wissen sollten

Der Ausstellungsraum ist schwarz, bis ein Fuß die Schwelle überschreitet. Plötzlich lösen sich kleine Lichtpunkte von der Wand, folgen der Bewegung, verdichten sich zu abstrakten Skulpturen in der Stille, um dann wieder ins Nichts zu eilen. Solche Momente sind nicht mehr die exklusive Domäne der Luxushotels. In interaktiven Installationen wird das Publikum vom bloßen Zuschauer zum kritischen Mitautor des Stücks erhoben.

Die Besonderheit: Die ästhetische Form wird direkt von der tatsächlichen Anwesenheit und den Entscheidungen der Menschen beeinflusst, die sich im Raum befinden. Dieser unsichtbare, kontinuierliche Zyklus ist Kern dieser Werke: Eine Handlung wird ausgeführt, ein System verarbeitet die Eingabe, und die Installation reagiert.

Was einst das exklusive Reich teurer Fachlabore war, kann heute oft direkt am Schreibtisch im eigenen Atelier mit Kleinstelektronik entworfen werden. Doch der Weg von der ersten flüchtigen Idee zur wochenlangen, kontinuierlichen Galeriepräsentation ist voller technischer Herausforderungen, die an traditionellen Kunstakademien noch selten angesprochen werden. Wenn man Kameras, Radare und Sensoren als künstlerisches Material nutzen will, muss man zuerst die Maschinenlogik verstehen.

Edge Computing: mehr als ein Controller

Die meiste reaktive Arbeit läuft auf einem Einplatinencomputer, der etwa die Größe einer Kreditkarte hat. Die Leistung dieser kleinen Boards hat sich jedoch in den letzten Jahren dramatisch verändert. Heute werden wir über echtes Edge-Computing im Rahmen der Kunst sprechen. Das bedeutet, dass Sensordaten lokal – am „Rand“ des Netzwerks – verarbeitet werden, anstatt mit erheblicher Verzögerung an Cloud-Server im Internet gesendet zu werden.

Viele dieser Geräte verfügen über einen eigenen Kameraanschluss. Eine MIPI-CSI-2-Kamera überträgt Bilddaten über eine kurze Board-Level-Verbindung an einen nahegelegenen Prozessor oder Einplatinenrechner, der die weitere Bildverarbeitung übernimmt. Das entlastet den Rechner und ermöglicht flüssige Reaktionen, solange Kamera und Platine dicht beieinander sitzen, etwa im Sockel einer Skulptur oder im Rahmen eines Bildes. Muss die Kamera dagegen mehrere Meter vom Rechner entfernt an der Decke hängen, sind andere Anschlussarten wie USB oft praktischer.

Die neueste Generation dieser Geräte, wie der Raspberry Pi 5, bietet leistungsstarke PCIe-Schnittstellen (Gen 3) und Datenübertragungsgeschwindigkeiten, die zuvor nur auf größeren, sperrigeren Desktop-PCs erreichbar waren. Dies ermöglicht die direkte Hardware-Verbindung von spezialisierten KI-Beschleunigern, z.B. einem Hailo-8L-Modul auf einem AI HAT. Dies ermöglicht es einem so kleinen Computer, äußerst rechenintensive Aufgaben wie Skelettverfolgung oder die Echtzeiterkennung von Objekten im Raum mühelos zu bewältigen.

Warum ist lokale Rechnerleistung für die Kunst so wichtig? Die Antwort liegt in der Latenz. Wenn ein Besucher der Ausstellung seinen Arm hebt und das akustische Feedback erst eine halbe Sekunde später kommt, wird die Illusion sofort zerstört. Das menschliche Gehirn ist sehr empfindlich gegenüber asynchronen Verzögerungen. Um vom Publikum als natürlich wahrgenommen zu werden, muss eine Reaktion sofort erfolgen. Selbst eine Millisekunde Verzögerung kann den zarten Eindruck eines lebendigen, atmenden Stücks zerstören.

Sensor über das Auge hinaus: Wahrnehmung des Raums

Die Software benötigt Augen oder Ohren, um überhaupt irgendwelche Berechnungen durchführen zu können. Für einfache Effekte, z. B. das Einschalten der Lichter, reicht es oft aus, einen einfachen Bewegungssensor zu verwenden, der erkennt, ob jemand im Raum ist. Der einfachste Weg, um mit der Erstellung von Klangkunst zu beginnen, ist die Verwendung von Mikrofonen, um Klatschen oder Stimmen aufzunehmen. Ultraschall- oder Lichtlaufzeitsensoren, die lediglich die Nähe einer Person zu einem Objekt überwachen, können ebenfalls eine feine, schrittweise Steuerung ermöglichen.

Aber wenn Künstler präzise räumliche Informationen wollten, fiel die Wahl in der Vergangenheit fast immer auf Kameras. Sie liefern spezifische Informationen wie Position, Bewegungsrichtungen, Hautfarben. Wenn die Kamera sehr nah am Computer ist, zum Beispiel im Sockel eines Kunststoffgehäuses, sind direkte MIPI-CSI-2-Verbindungen in Ordnung und entlasten den Computer. Aufgrund der Kabellänge sind USB-Verbindungen oft die praktikablere Option, wenn Sensoren meterweit an der Decke installiert werden müssen.

Kameras haben jedoch einen erheblichen negativen Einfluss auf den Displayraum. Andererseits sind sie stark von Licht abhängig. Das Kamerabild ändert sich ständig mit wechselndem Licht von Tageslicht bis hin zu Museumsstrahlern, was es für viele Algorithmen schwierig macht. Sobald die winzigen Optiken menschliche Gesichter erfassen, greift die europäische Datenschutzgrundverordnung (DSGVO), auch im Kunstkontext. Obwohl dies durch Schilder und einen strengen Verzicht auf die Speicherung von Bildern formalisiert werden kann, fühlt sich das Publikum dennoch überwacht.

Daher entsteht nun eine alternative Technologie im Bereich der modernen Medienkunst: mmWave-Radar (Millimeterwellenradar).

Das Designstudio rootoftwo hat den schönen und umfangreichen Einsatz dieser Sensoren in der aufwändigen Installation „Anyspace? Whatever.“ im Museum of Contemporary Art Detroit (MOCAD) gezeigt. Statt auf Standard-Kamera-Ausrüstung setzten die Künstler auf einen interaktiven Pavillon. Stattdessen verwendeten sie acht Apollo R PRO-1-Multisensoren im Deckenrahmen. Sie verwenden ausgeklügelte Radar-Chips (LD2450 und LD2412), um die stille Anwesenheit einer Person sowie Bewegungen im gesamten Raum zu erkennen.

Dieser Ansatz hat einen großen ästhetischen und persönlichkeitsrechtlichen Vorteil, da die Radartechnologie keine optischen Bilder erzeugt. Die Privatsphäre der Besucher ist von vornherein geschützt, und es gibt keine Gesichter, die aufgezeichnet oder missbraucht werden könnten. Darüber hinaus können hochfrequente Radiowellen durch dünne Materialien hindurchdringen, sodass das Studio die Leiterplatten vollständig im Inneren von schwarzem 3D-gedrucktem Nylon (PA-11) verstecken kann. Die Kunst bleibt Kunst und wird nicht durch sichtbare Linsen verändert.

Dateninterpretation: Knoten statt Textzeilen

Keine Kamera oder Radar allein kann interaktive Inhalte bereitstellen. Die Software ist die einzige Verbindung. Es entscheidet, was als Nächstes kommt, basierend auf den eingehenden Eingaben.

Es gibt immer noch nützliche Werkzeuge wie Softwarebibliotheken (kostenlos verfügbar) wie OpenCV, um Konturen zu verfolgen und Bewegungsströme zu analysieren. Programmierumgebungen wie Processing sind für Designer konzipiert und erleichtern den Einstieg ins Programmieren. Aber je komplizierter die räumlichen Layouts werden, desto komplexer wird auch die Strukturierung visueller Programmierumgebungen. Werkzeuge wie TouchDesigner und HeavyM bieten Künstlern eine Möglichkeit, Datenströme visuell zu organisieren, nicht als Text. Tracking-Daten können einfach über Netzwerkprotokolle wie OSC (Open Sound Control) oder MIDI gesendet werden, sodass eine räumliche Position direkt die Physik einer Videoprojektion steuern kann.

Aber es erfordert viel Disziplin, um diese Netzwerke aufzubauen. Im Jahr 2025 sagte der führende Experte für interaktive Mediensysteme, Florian Rouzaud Cornabas, auf der TouchDesigner-Veranstaltung in Paris, dass es wichtig sei, eine saubere modulare Architektur für Kunstinstallationen zu haben.

In der folgenden Aufnahme der TouchDesigner-Konferenz in Paris werfen wir einen tiefen, technischen Blick auf das Design komplexer, reaktiver Mediensysteme für die permanente Installation in Galerien:

Die Klarheit der Softwarestruktur, da mehrere Sensoren und Ausgabegeräte kommunizieren, bestimmt, ob sich die Installation organisch an das unvorhersehbare Verhalten des Publikums anpassen oder in einen unendlichen Zyklus zusammenbrechen wird.

Physische Realität: die Hitze, die Kabel, der Alltag des Museums

Das Allerschlimmste ist ein Absturz während des Ausstellungsbetriebs. Was im geschützten Atelier funktioniert, kann in der harten Realität eines Museums tragisch scheitern.

Die lokale KI-Integration bringt echte, physische Probleme mit sich. Der Raspberry Pi 5 und ähnliche Prozessoren erzeugen unter Stress viel Wärme und benötigen aktive Kühlung. Die Elektronik ist in einem luftdichten Betonsubstrat eingeschlossen, das dazu führt, dass das System überhitzt. Auch ein wichtiger Aspekt ist das Speichermedium: Da normale microSD-Karten bei Dauerbetrieb und Schreibzugriff verschleißen, verwenden Fachleute gerne robuste NVMe-SSDs für Server- und Installationsprojekte.

Dann gibt es noch das lästige Problem der Stromversorgung. All das Kabelgewirr zerstört die Illusion mehrerer Raumoperationen. PoE (Power over Ethernet) ist zum Lebensnerv-Standard geworden. Die bei rootoftwo verwendeten Radarmodule werden über ein einziges Ethernet-Kabel mit Strom versorgt und empfangen Daten. Dies löst das Problem der unzuverlässigen WLAN-Netzwerke und der instabilen Steckdosen-Stromversorgung an den Wänden der Galerie, die häufig ausfällt, wenn Hunderte von Besuchern gleichzeitig anwesend sind. Dieses Maß an Planung garantiert nicht nur, dass die Kunstwerke nach einem Stromausfall automatisch neu starten, sondern spart auch eine Menge Zeit für das Aufsichtsteam.

Technologie als Mittel zum Zweck

Der Schwerpunkt muss weiterhin auf der Arbeit liegen. Alle technischen Spezifikationen müssen vorhanden sein. Technologie darf nicht das Ziel sein, sondern ein Mittel zum Zweck, ein konzeptionelles Ziel. Sagen wir, die Beobachtung der Stagnation. Ein grundlegendes Prinzip, wenn es regelmäßig und perfekt ausgeführt wird, hat normalerweise mehr ästhetische Wirkung als ein zu kompliziertes und fehleranfälliges System.

Kim Asendorf, ein generativer und digitaler Künstler, fasst die Bedeutung der räumlichen Erfahrung über den Code prägnant zusammen.

Der beste Weg zu lernen ist, deine Kunst in einen Raum zu stellen und zu beobachten, wie die Leute reagieren. Bemerkten sie es überhaupt? Oder ignorieren sie es einfach?“

Anstatt sich in einem Labor zu verstecken, empfiehlt er, seine Werke in der realen Welt zu testen und daraus zu lernen, wie die Menschen darauf reagieren.

Heute ermöglichen Kameras, Sensoren und leistungsstarke Boards Ausdrucksformen, die wir uns vor wenigen Jahren bisher nicht vorstellen konnten. Einplatinencomputer und Zubehör sind günstig, und Makerspaces und kostenlose Workshops erleichtern den Einstieg erheblich. Die Werke sind nicht nur im Raum vorhanden, sondern werden von denen geschaffen, die die Grundlagen der Hardware kennen, Temperatur- und Lichtänderungen erwarten und ständig Probleme mit der Datensicherheit lösen. Sie beginnen aktiv, mit dem Publikum zu interagieren.

Weiterführende Quellen für einen vertieften Einstieg in die Thematik (externe Ressourcen)

• Derivative (TouchDesigner): Vollständige Lektionen und Foren zum besten node-basierten Programm für interaktive Installationen und Video-Mapping, https://derivative.ca
• rooftop Immersive Studio: Eine Wissensdatenbank und konzeptionelle Essays darüber, wie Technologie das Publikum von passiven Beobachtern zu Mitwirkenden verändert, https://rooftopimmersive.com
• Raspberry Pi Dokumentation: Detaillierte technische Spezifikationen für Edge-Computing, einschließlich KI-Kits und NVMe-Speicher, https://www.raspberrypi.com/documentation/

Joachim Rodriguez y Romero

Inhaber und Geschäftsführer von Kunstplaza. Publizist, Redakteur und passionierter Blogger im Bereich Kunst, Design und Kreativität seit 2011. Erfolgreicher Abschluss in Webdesign im Rahmen eines Hochschulstudiums (2008). Weiterentwicklung von Kreativitätstechniken durch Kurse in Freiem Zeichnen, Ausdrucksmalen und Theatre/Acting. Profunde Kenntnisse des Kunstmarktes durch langjährige journalistische Recherchen und zahlreichen Kooperationen mit Akteuren/Institutionen aus Kunst und Kultur.

www.kunstplaza.de/