Spectacle et interaction intelligente

Depuis ses bureaux de Saint-Denis (93), Yannick Kohn, fondateur de Modulo Pi, définit depuis de nombreuses années sa vision du média serveur. Propulsé par les logiciels Modulo Player et Modulo Kinetic, il est souvent le cœur même de représentations, d’animations et d’événements hors du commun à travers le monde. Nous ne citerons que quelques références, que ce soit dans le mapping architectural avec la Grotte Chauvet et la ville de Chartres, dans le corporate et l’événementiel, sur de nombreux défilés de mode, dans les spectacles au Capitole de Toulouse comme au Puy du Fou, sur les comédies musicales (Robin des bois, Oliver Twist et Charlie et la Chocolaterie), comme sur les tournées d’artistes avec le Ballet Béjart, Polnareff et Indochine.

Mefistofele – Photo © Mirco Magliocca

Avec la nouvelle version V5 de son logiciel Modulo Kinetic, Modulo Pi ouvre la voie vers une nouvelle génération de spectacles “intelligents”, en offrant aux artistes et aux technicien.ne.s la possibilité d’interagir avec la vidéo, l’audio, la lumière et la machinerie dans des scénarios interactifs, sans besoin de connaissances particulières en programmation, restant ainsi toujours simple d’utilisation dans toutes les opérations de show control.

En mettant à la disposition de ses utilisateurs la possibilité de scénariser des objets programmés, Modulo Kinetic V5 permet de créer des effets multimédias avec lesquels l’artiste peut interagir sur scène. Les paramètres de l’effet peuvent être contrôlés dans le temps bien sûr mais également dans l’espace à partir de tout type de commandes internes ou externes au média serveur, principalement en provenance de divers capteurs dédiés à observer ce qui se passe sur scène. L’effet multimédia ainsi créé s’intègre alors en temps réel dans le spectacle, laissant aux artistes une totale liberté de jeu et offrant aux spectateur.rice.s une expérience audiovisuelle totalement nouvelle.

Control room Modulo Kinetic V5 – Photo © Modulo Pi

Avec Modulo Kinetic V5, les différentes étapes nécessaires à la construction d’un projet interactif, de la calibration de capteurs jusqu’à la création d’effets, s’effectuent directement dans le média serveur, sans avoir à coder, à utiliser des passerelles ou outils externes. Pour que l’effet puisse être interactif et se développer en suivant l’activité scénique, le média serveur doit être informé de ce qui se passe sur scène. Imaginons que vous vouliez recouvrir le sol de la scène par des milliers de pétales de roses : il va falloir, dans un premier temps, projeter des images de pétales partout sur la scène, à l’exception des endroits occupés par des décors et, s’il s’agit d’un spectacle musical, par des instruments. Pour l’interactivité avec l’artiste, ce serait évidemment magnifique que les pétales s’écartent autour de lui quand il se déplace. Cet effet, plutôt complexe à réaliser avec de vrais éléments, va prendre toute sa magie avec Modulo Kinetic. Pour cela, le média serveur va utiliser les informations en provenance d’un capteur visuel qui analyse en permanence l’activité scénique. Une simple captation de la scène sans artiste permettra de gérer, comme un cache, la présence de pétales uniquement sur les parties libérées de la scène, tandis que les informations de suivi du ou des artiste.s par le capteur permettra d’écarter les pétales à leur passage.

Le Mime et l’Étoile – Photo © Puy du Fou

La création des effets s’effectue dans le média serveur. Modulo Kinetic met à disposition une bibliothèque d’effets disponibles sous forme de nodes. L’outil de composition d’effet nodal permet de chaîner et de cumuler ces nodes pour créer ses propres effets, totalement uniques. Ces opérations créatives ne nécessitent absolument aucune connaissance en programmation. Toujours dans le média serveur, une timeline intégrée permet ensuite de facilement mélanger les couches interactives et les autres médias précalculés pour générer une lecture totalement fluide du programme ainsi créé.

Un puissant module de particules 3D permet de générer en temps réel du contenu interactif, comme par exemple les pétales que nous avons vu dans l’exemple précédent. Les particules peuvent être créées, modifiées et animées directement dans le logiciel Modulo Kinetic pour produire de nombreux effets très spectaculaires. Le concepteur a un contrôle total sur ces éléments en utilisant l’éditeur nodal pour interagir avec les informations en provenance de la scène, les animations par image clé pour mettre en mouvement les éléments, puis la timeline pour relier les contenus 2D et 3D, tout ceci sans jamais quitter le logiciel Modulo Kinetic.

Modulo Kinetic, particules du nodal – Document © Modulo Pi

L’interactivité entre les effets et les artistes sur scène est gérée à l’aide de capteurs. Pour répondre aux besoins et au budget de tout type de projet, Modulo Kinetic V5 offre le support de nombreux capteurs : LiDAR 2D des marques Hokuyo et Leuze, LiDAR 3D de la marque Ouster, mais aussi Azure Kinect, caméras Orbbec, Leap Motion, … Intégrés à la librairie interne de devices de Modulo Kinetic, ces capteurs se calibrent en quelques secondes, permettant au média serveur de récupérer en temps réel les informations de position ou d’action d’un ou plusieurs intervenants pour contrôler l’effet interactif.

Hardware – Photo © Modulo Pi

KineMotion – Photo © Modulo Pi

Pour des expériences visuelles interactives de pointe comme la projection sur des objets en mouvement, le tracking de particules, la poursuite automatique de projecteur lumière, le light painting, Modulo Pi propose son propre module de tracking optique, KineMotion. Associé aux caméras de tracking OptiTrack (qui détectent le mouvement par le suivi d’une LED infrarouge clignotante) ou à des capteurs laser Lidar et aux fonctionnalités avancées de Modulo Kinetic, KineMotion ouvre de nouvelles perspectives pour des expériences visuelles créatives et interactives. KineMotion se compose d’un logiciel add-on, de balises beacon permettant la localisation de personnes ou d’éléments, et d’un kit de calibration avec une baguette et une équerre. Les possibilités de tracking et d’interactivité sont renforcées grâce à la prise en charge de nombreux protocoles de commande : Art-Net, OSC, PosiStage. Son interface utilisateur intuitive facilite la calibration et le paramétrage dans le média serveur. Il offre une latence ultra-faible ainsi qu’une grande précision pour réaliser du mapping vidéo sur des objets en mouvement en temps réel. Par ailleurs, grâce à la calibration 3D automatique des vidéoprojecteurs et au soft edge 3D en temps réel, Modulo Kinetic permet de projeter sur des objets se déplaçant face à des vidéoprojecteurs avec des zones de recouvrement multiples.

Hardware, assemblage – Photo © Modulo Pi

Hardware, assemblage – Photo © Modulo Pi

Yannick Kohn explique : “Modulo Kinetic a été pensé et conçu pour être la pierre angulaire du workflow d’un show. Nous croyons que l’approche tout-en-un est essentielle pour limiter la latence, réduire la complexité et offrir une fiabilité inégalée. Avec le lancement de KineMotion, nous repoussons à nouveau les limites de notre série Modulo Kinetic qui continuera à évoluer vers toujours plus de tracking en temps réel, d’interactivité et de contenu génératif”.

Une autre nouveauté, et non des moindres, Modulo Kinetic est le premier média serveur à intégrer un mélangeur live à faible latence. Celui-ci offre toutes les fonctionnalités d’un mélangeur vidéo traditionnel : écrans de programmes en direct, prévisualisation, gestionnaire de presets, effets de transition, … Avec de nombreuses possibilités supplémentaires comme par exemple la capacité à gérer des écrans de projection en mouvements. C’est un système multi-utilisateurs, c’est-à-dire que plusieurs personnes peuvent travailler simultanément sur les interfaces du média serveur et du mélangeur. Tous les contenus et opérations sont parfaitement synchronisés. Modulo Kinetic exploite des cartes d’entrées live à très faible latence (moins de deux images), y compris la technologie d’entrée/sortie vidéo de Deltacast.

Photo © Modulo Pi

Évidemment, il semble indispensable aux créateurs de spectacles interactifs d’avoir un outil permettant la simulation de leurs créations. Le flux de travail 3D au sein du média serveur dispose d’un visualiseur de scènes 3D en temps réel. L’utilisateur peut y créer un nombre illimité de scènes et ajouter des objets à partir de la bibliothèque d’objets interne, puis les manipuler en position, rotation et redimensionnement. Ce système ouvert permet l’importation d’objets dans une large gamme de formats, voire des scènes complètes comprenant des lumières, des caméras, des animations ou des fichiers de nuages de points provenant de scanners 3D professionnels. Une indication d’éclairement en lux offre une grande aide à la décision. Il est également possible d’utiliser un casque VR pour visualiser le show.

Si nous évoquons l’immersivité et l’interactivité d’un spectacle, il semble évident que le son doit être lui aussi contrôlé en accord avec les autres éléments vidéo et lumière qui le composent. Bien que le logiciel Modulo Kinetic puisse permettre la commande de systèmes sonores à l’aide des nombreux protocoles qu’il adresse, il rend l’exercice beaucoup plus simple et efficace en intégrant la technologie de son immersif L-ISA développée par L-Acoustics. Grâce aux interactions bidirectionnelles désormais disponibles entre la solution vidéo d’une part et la technologie de son spatialisé d’autre part, Modulo Pi et L- Acoustics proposent une suite complète de production audiovisuelle en temps réel. La technologie de son immersif L-ISA offre une approche multidimensionnelle basée sur des objets pour concevoir, mixer et traiter le son dans un système de diffusion spatialisé idoine. Ce système de son spatialisé est désormais intégré dans la bibliothèque de devices de Modulo Kinetic. Les opérateurs peuvent facilement contrôler le système de diffusion L-ISA directement depuis Modulo Kinetic, permettant le contrôle de l’audio spatialisé depuis la timeline du média serveur, de son moteur 3D, de son éditeur d’effet nodal ou de son show control intégré. Dans l’autre sens, le système L-ISA peut aussi envoyer des données à Modulo Kinetic, comme le panoramique, la largeur de la source sonore, sa distance ou son élévation dans le but d’interagir avec le média encodé dans le média serveur ou le contenu génératif créé à partir du moteur 3D de Modulo Kinetic. De plus, le module de tracking KineMotion de Modulo Kinetic est une solution de tracking certifiée pour L-ISA. Il permet alors le positionnement automatique de la source sonore dans la diffusion audio L-ISA, pouvant ainsi accompagner automatiquement les déplacements d’un artiste ou d’un élément sur scène.

Photo © Christophe Masson

Photo © Christophe Masson

Lancé en 2016, Modulo Kinetic est le média serveur phare de Modulo Pi. Il peut être utilisé tout au long du workflow d’un projet grâce à son environnement 3D, son système de timelines temps réel, son mélangeur embarqué et ses outils de show control réunis au sein d’une interface conviviale. Cette plate-forme évolutive repose sur Kinetic Designer, une station de travail dédiée à l’interface utilisateur, connectée à un ou plusieurs serveurs V-Node en réseau.

En associant et en synchronisant parfaitement la vidéo, l’audio et l’ensemble des langages de commandes externes les plus populaires dans ses projets interactifs, le média serveur de Modulo Pi permet de réaliser, à partir de son logiciel Modulo Kinetic, toutes les opérations nécessaires à la création et à la diffusion audiovisuel d’un spectacle immersif. La création d’effets “intelligents” contrôlés par le jeu des artistes sur scène est une véritable révolution qui laisse entrevoir une nouvelle génération de spectacles. À l’heure où l’ensemble des domaines audiovisuels semblent concernés par la révolution de l’immersif, l’imagination des créateur.rice.s saura trouver comment exploiter au mieux le contrôle interactif de l’image, de la lumière et du son offert par Modulo Pi, au service de l’œuvre artistique et pour le plus grand émerveillement des spectateur.rice.s.

Live Mixer – Photo © Modulo Pi