Sensing the Unseen (SENSE-AI)

Zintuiglijke AI als brug tussen technologie, kunst en leren

AI en sensordata spelen een steeds grotere rol in onze omgeving, maar de informatie die daaruit voortkomt wordt vaak vooral visueel gepresenteerd. Dat maakt data niet voor iedereen even toegankelijk en beperkt tegelijkertijd de manieren waarop we informatie kunnen ervaren en begrijpen.

SENSE-AI onderzoekt daarom hoe data kan worden vertaald naar verschillende zintuiglijke vormen, zoals geluid, tast en licht. Daarbij kijken we niet alleen naar de technische vertaling van data, maar ook naar de context waarin mensen die informatie ervaren en naar hun interactie ermee.

Doel

SENSE-AI ontwikkelt en onderzoekt een multisensorische AI-toolkit waarmee sensor- en andere data kunnen worden vertaald naar toegankelijke, zintuiglijke ervaringen.

Het project onderzoekt daarbij hoe verschillende vormen van zintuiglijke feedback, omgevingsfactoren en gebruikersgedrag samenhangen met de manier waarop mensen informatie en hun omgeving ervaren. De opgedane kennis wordt vertaald naar ontwerpprincipes, prototypes en educatief materiaal voor inclusieve multisensorische toepassingen.

Living lab: Sensory MoMA

Een belangrijke praktijkomgeving binnen het project is het Sensory MoMA. Hier wordt onder meer gewerkt met een multisensorische interpretatie van Mondriaans Victory Boogie Woogie, waarbij het kunstwerk niet alleen visueel wordt ervaren, maar ook is verrijkt met muziek, geur en tast.

Rond deze ervaring onderzoeken we hoe bezoekers zich bewegen en interacteren met de verschillende onderdelen. Een AI-camera wordt gebruikt om gedragspatronen van bezoekers in kaart te brengen.

Daarnaast meten sensoren zowel in het museum als in Museumpark verschillende omgevingsfactoren, waaronder temperatuur, luchtvochtigheid, fijnstof, omgevingslicht, geluid en CO₂. Zo onderzoeken we hoe sensordata, menselijke interactie en de fysieke omgeving gezamenlijk kunnen worden gebruikt om multisensorische en inclusieve ervaringen te ontwerpen.

Doelgroepen

Het project richt zich op ontwerpers, kunstenaars, onderzoekers, onderwijsinstellingen en professionals in de creatieve industrie. Mensen met een visuele beperking vormen een belangrijke doelgroep en worden betrokken bij de ontwikkeling en beoordeling van toegankelijke toepassingen.

Studenten spelen daarnaast een actieve rol in het verzamelen, analyseren en interpreteren van data en in het testen van prototypes in een echte praktijkomgeving.

Onderzoeksmethoden

SENSE-AI combineert co-creatie, sensoronderzoek, AI en machine learning met gebruikers- en praktijkonderzoek.

In living-labexperimenten worden omgevingsdata en patronen in bezoekersgedrag verzameld en geanalyseerd. Tegelijkertijd worden verschillende manieren onderzocht om data multisensorisch te vertalen. De resultaten worden gebruikt om prototypes iteratief te testen en verder te ontwikkelen.

Verwachte resultaten

Het project levert onder meer op:

• een experimentele multisensorische AI-toolkit;
• kennis over de relatie tussen sensordata, zintuiglijke vertaling, omgeving en gebruikersinteractie;
• ontwerpprincipes en richtlijnen voor toegankelijke multisensorische toepassingen;
• educatief materiaal voor studenten en professionals;
• praktijkdemonstraties en kennisdeling rondom inclusieve AI en sensortechnologie.

Samenwerkingspartners

• De Haagse Hogeschool – penvoerder
• Sensory MoMA
• AHA Leermiddelenbouwers
• Equal Recruitment

Meer informatie

Meer informatie over SENSE-AI is te vinden op www.sense-ai.nl.