Tussen studio en elektronica: wat mediakunstenaars moeten weten over camera's, sensoren en single-board computers

De tentoonstellingsruimte is pikdonker totdat er een voet over de drempel stapt. Plotseling komen kleine lichtpuntjes los van de muur, volgen de beweging, condenseren tot abstracte sculpturen in de stilte, om vervolgens weer in het niets te verdwijnen. Zulke momenten zijn niet langer voorbehouden aan luxehotels. In interactieve installaties wordt het publiek verheven van louter toeschouwer tot kritische medeschepper van de performance.

Het unieke aspect: de esthetische vorm wordt direct beïnvloed door de daadwerkelijke aanwezigheid en beslissingen van de mensen in de ruimte. Deze onzichtbare, continue cyclus vormt de kern van deze werken: een handeling wordt verricht, een systeem verwerkt de input en de installatie reageert.

Wat ooit het exclusieve domein was van dure, gespecialiseerde laboratoria, kan nu vaak direct aan je eigen bureau in een studio worden ontworpen met behulp van miniatuurelektronica. De weg van het eerste, vluchtige idee naar wekenlange, onafgebroken presentatie in een galerie is echter bezaaid met technische uitdagingen die zelden aan bod komen in traditionele kunstacademies. Wie camera's, radars en sensoren als artistiek materiaal wil gebruiken, moet eerst de logica van deze apparaten begrijpen.

Edge computing: meer dan een controller

De meeste reactieve taken worden uitgevoerd op een single-board computer, ongeveer zo groot als een creditcard. De prestaties van deze kleine boards zijn de afgelopen jaren echter drastisch verbeterd. Vandaag bespreken we hoe edge computing in de praktijk werkt. Dit betekent dat sensorgegevens lokaal worden verwerkt – aan de "rand" van het netwerk – in plaats van met aanzienlijke vertraging naar cloudservers op internet te worden verzonden.

Veel van deze apparaten hebben een eigen camerapoort. Een MIPI-CSI-2-camera verzendt beeldgegevens via een korte verbinding op printplaatniveau naar een nabijgelegen processor of single-board computer, die vervolgens de verdere beeldverwerking uitvoert. Dit ontlast de computer en zorgt voor een soepele respons zolang de camera en de printplaat zich dicht bij elkaar bevinden, bijvoorbeeld in de sokkel van een sculptuur of binnen het kader van een schilderij. Als de camera echter enkele meters van de computer verwijderd moet zijn, bijvoorbeeld aan het plafond, zijn andere verbindingstypes zoals USB vaak praktischer.

De nieuwste generatie van deze apparaten, zoals de Raspberry Pi 5, biedt krachtige PCIe-interfaces (Gen 3) en gegevensoverdrachtssnelheden die voorheen alleen haalbaar waren op grotere, zwaardere desktop-pc's. Dit maakt de directe hardwareverbinding mogelijk van gespecialiseerde AI-acceleratoren, zoals een Hailo 8L-module op een AI HAT. Hierdoor kan zo'n kleine computer moeiteloos extreem rekenintensieve taken uitvoeren, zoals het volgen van skeletten of realtime objectherkenning in de ruimte.

Waarom is lokale rekenkracht zo belangrijk voor kunst? Het antwoord ligt in latentie. Als een bezoeker van een tentoonstelling zijn arm opsteekt en de akoestische feedback een halve seconde later arriveert, is de illusie direct verbroken. Het menselijk brein is zeer gevoelig voor asynchrone vertragingen. Om door het publiek als natuurlijk te worden ervaren, moet een reactie onmiddellijk zijn. Zelfs een vertraging van een milliseconde kan de delicate indruk van een levend, ademend kunstwerk tenietdoen.

Sensoren voorbij het oog: waarneming van de ruimte

De software heeft ogen of oren nodig om überhaupt berekeningen uit te voeren. Voor simpele effecten, zoals het aan- en uitzetten van de lichten, is een eenvoudige bewegingssensor die detecteert of er iemand in de kamer is vaak voldoende. De gemakkelijkste manier om te beginnen met het maken van geluidskunst is door microfoons te gebruiken om klappen of stemmen op te nemen. Ultrasone sensoren of time-of-flight sensoren, die simpelweg de nabijheid van een persoon tot een object meten, kunnen ook nauwkeurige, stapsgewijze controle mogelijk maken.

Maar wanneer kunstenaars precieze ruimtelijke informatie nodig hadden, camera's. Ze leveren specifieke informatie zoals positie, bewegingsrichting en huidskleur. Als de camera zich bijvoorbeeld dicht bij de computer bevindt, in de voet van een plastic behuizing, zijn directe MIPI-CSI-2-verbindingen prima en verminderen ze de belasting van de computer. Vanwege de kabellengte zijn USB-verbindingen vaak de meer praktische optie wanneer sensoren op enkele meters afstand aan het plafond moeten worden geïnstalleerd.

Camera's hebben echter een aanzienlijke negatieve impact op de tentoonstellingsruimte. Bovendien zijn ze sterk afhankelijk van licht. Het camerabeeld verandert voortdurend met wisselende lichtomstandigheden, van daglicht tot museumspotlights, waardoor veel algoritmes er moeilijk mee kunnen werken. Zodra de kleine lenzen menselijke gezichten vastleggen, is de Europese Algemene Verordening Gegevensbescherming (AVG) van toepassing, zelfs in de kunstwereld. Hoewel dit formeel kan worden vastgelegd door middel van signalering en een strikt beleid tegen het opslaan van beelden, voelt het publiek zich toch in de gaten gehouden.

Daarom is er nu een alternatieve technologie in opkomst op het gebied van moderne mediakunst: mmWave-radar (millimetergolfradar).

De ontwerpstudio rootoftwo demonstreerde het prachtige en uitgebreide gebruik van deze sensoren in hun uitgebreide installatie "Anyspace? Whatever." in het Museum of Contemporary Art Detroit (MOCAD) . In plaats van standaard camera-apparatuur kozen de kunstenaars voor een interactief paviljoen. Ze gebruikten acht Apollo R PRO-1multisensoren die in het plafondframe waren geïntegreerd. Deze sensoren maken gebruik van geavanceerde radarchips (LD2450 en LD2412) om de stille aanwezigheid van een persoon en beweging in de ruimte te detecteren.

Deze aanpak biedt aanzienlijke esthetische en privacyvoordelen, omdat radartechnologie geen optische beelden produceert. De privacy van bezoekers is vanaf het begin gewaarborgd en er zijn geen gezichten die kunnen worden vastgelegd of misbruikt. Bovendien kunnen hoogfrequente radiogolven door dunne materialen heen dringen, waardoor de studio de printplaten volledig kan verbergen in zwart 3D-geprint nylon (PA-11). De kunst blijft kunst en wordt niet aangetast door zichtbare lenzen.

Gegevensinterpretatie: knooppunten in plaats van tekstregels

Camera's en radars kunnen op zichzelf geen interactieve content leveren. De software is de enige verbindingsschakel. Die bepaalt wat er vervolgens gebeurt, op basis van de binnenkomende input.

Er zijn nog steeds nuttige tools zoals softwarebibliotheken (gratis beschikbaar) als OpenCVvoor het volgen van contouren en het analyseren van bewegingsstromen. Programmeeromgevingen zoals Processing zijn ontworpen voor ontwerpers en maken het gemakkelijker om met programmeren te beginnen. Maar naarmate ruimtelijke lay-outs complexer worden, wordt ook de structuur van visuele programmeeromgevingen complexer. Tools zoals TouchDesigner en HeavyM bieden artiesten een manier om datastromen visueel te organiseren in plaats van als tekst. Trackinggegevens kunnen eenvoudig worden verzonden via netwerkprotocollen zoals OSC (Open Sound Control) of MIDI , waardoor een ruimtelijke positie de fysica van een videoprojectie direct kan aansturen.

Maar het bouwen van deze netwerken vereist veel discipline. In 2025 Florian Rouzaud Cornabas, een vooraanstaand expert in interactieve mediasystemen, tijdens het TouchDesigner-evenement in Parijs dat een strakke, modulaire architectuur belangrijk is voor kunstinstallaties.

In de volgende opname van de TouchDesigner-conferentie in Parijs bekijken we in detail, vanuit een technisch perspectief, het ontwerp van complexe, reactieve mediasystemen voor permanente installatie in galerieën:

De helderheid van de softwarestructuur, gezien de communicatie tussen meerdere sensoren en uitvoerapparaten, bepaalt of de installatie zich organisch aanpast aan het onvoorspelbare gedrag van het publiek of vervalt in een eindeloze cyclus.

Fysieke realiteit: de hitte, de kabels, het dagelijks leven in het museum

Het ergste wat er kan gebeuren, is een ongeluk tijdens de tentoonstelling. Wat in de beschermde omgeving van een atelier werkt, kan in de harde realiteit van een museum op tragische wijze mislukken.

Lokale AI-integratie brengt concrete, fysieke uitdagingen met zich mee. De Raspberry Pi 5 en vergelijkbare processors genereren veel warmte onder belasting en vereisen actieve koeling. De elektronica is ingekapseld in een luchtdichte betonnen behuizing, waardoor het systeem oververhit raakt. Een ander belangrijk aspect is het opslagmedium: aangezien standaard microSD-kaarten slijten bij continu gebruik en schrijftoegang, geven professionals de voorkeur aan robuuste NVMe SSD's voor server- en installatieprojecten.

Dan is er nog het vervelende probleem van de stroomvoorziening. Al die kabelwarboel verstoort de illusie van meerdere ruimtes tegelijk. PoE (Power over Ethernet) is de levensader geworden. De radarmodules die bij rootoftwo , worden gevoed en ontvangen data via één enkele Ethernetkabel. Dit lost het probleem op van onbetrouwbare wifi-netwerken en de instabiele stopcontacten in de galerie, die vaak uitvallen wanneer er honderden bezoekers tegelijk aanwezig zijn. Deze mate van planning garandeert niet alleen dat de kunstwerken automatisch opnieuw opstarten na een stroomstoring, maar bespaart het toezichtsteam ook aanzienlijk veel tijd.

Technologie als middel tot een doel

De focus moet op het werk zelf blijven liggen. Alle technische specificaties moeten aanwezig zijn. Technologie mag niet het doel op zich zijn, maar eerder een middel tot een doel, een conceptueel doel. Laten we zeggen: het observeren van stagnatie. Een fundamenteel principe, wanneer het regelmatig en perfect wordt toegepast, heeft doorgaans een grotere esthetische impact dan een overdreven gecompliceerd en foutgevoelig systeem.

Kim Asendorf, een generatieve en digitale kunstenaar, vat het belang van ruimtelijke ervaring door middel van code treffend samen.

De beste manier om te leren is door je kunstwerk in een ruimte te plaatsen en te observeren hoe mensen reageren. Merkten ze het überhaupt op? Of negeerden ze het gewoon?

In plaats van zich in een laboratorium te verschuilen, raadt hij aan zijn werk in de praktijk te testen en te kijken hoe mensen erop reageren.

Tegenwoordig maken camera's, sensoren en krachtige printplaten expressievormen mogelijk die we ons een paar jaar geleden nog niet konden voorstellen. Single-board computers en accessoires zijn betaalbaar en makerspaces en gratis workshops maken het aanzienlijk gemakkelijker om ermee aan de slag te gaan. De werken zijn niet alleen aanwezig in de ruimte; ze worden gemaakt door mensen die de basisprincipes van de hardware begrijpen, rekening houden met temperatuur- en lichtschommelingen en voortdurend aandacht besteden aan gegevensbeveiliging. Ze beginnen actief met het publiek in interactie te treden.

Aanvullende bronnen voor een meer diepgaande introductie tot het onderwerp (externe bronnen)

• Derivative (TouchDesigner): Complete lessen en forums voor het beste node-gebaseerde programma voor interactieve installaties en videomapping, https://derivative.ca
• Rooftop Immersive Studio: Een kennisbank en conceptuele essays over hoe technologie het publiek verandert van passieve toeschouwers naar actieve deelnemers, https://rooftopimmersive.com
• Raspberry Pi-documentatie: Gedetailleerde technische specificaties voor edge computing, inclusief AI-kits en NVMe-opslag, https://www.raspberrypi.com/documentation/

Joachim Rodriguez y Romero

Eigenaar en directeur van Kunstplaza. Publicist, redacteur en gepassioneerd blogger op het gebied van kunst, design en creativiteit sinds 2011. Succesvolle graad in webdesign als onderdeel van een universitair diploma (2008). Verdere ontwikkeling van creativiteitstechnieken door middel van cursussen vrij tekenen, expressieschilderen en theater/acteren. Diepgaande kennis van de kunstmarkt door jarenlang journalistiek onderzoek en talrijke samenwerkingen met actoren/instellingen uit de kunst en cultuur.

www.kunstplaza.de/