Supprimer la souris, le clavier et les contrôleurs physiques pour ne garder que la caméra. Dans ses recherches, l’artiste et créatrice numérique Eden Mili utilise la vision par ordinateur pour transformer les micro-mouvements des mains en commandes musicales et visuelles directes.

Le dispositif repose sur des algorithmes de détection qui identifient vingt-et-un points clés sur chaque main en temps réel à partir d’un simple flux vidéo. L’ordinateur calcule les angles et les distances, puis traduit ces coordonnées spatiales en données OSC envoyées vers le logiciel TouchDesigner. Écarter deux doigts modifie la fréquence d’un son, baisser une paume déforme une géométrie 3D projetée au plateau. La vitesse de traitement efface l’interface technique : le geste naturel devient le seul contrôleur de la régie. Une technologie qui se démocratise, de nombreux artistes y font désormais appel…

Merci à Bloom Media pour cette vidéo !