Toutes les photos sont de © Rafaël Lantoine

Vue du plateau avec perspective immersive en décor 3D – Photo © multiCAM systems

La réalité étendue (XR) regroupe les diverses formes de réalité immersive comme la réalité augmentée (AR), la réalité mixte (MR) ou la réalité virtuelle (VR). Arnaud Anchelergue et Stan Walbert, les deux fondateurs de multiCAM systems, nous présentent leur nouveau showroom, le multiCAM Space, où seront tournées les conférences JTSE Online diffusées les 14 et 15 avril prochains.

Décors virtuels

La perfection des décors virtuels sur écrans LED est telle qu’ils sont désormais utilisés en tournage de fictions, concurrençant ainsi les fonds verts. Mais comment donner cette illusion de perspective, de profondeur ultra-réaliste ? Tout d’abord par la création d’espaces 3D appelés “scènes”. C’est l’affaire de Stan Walbert qui dirige par ailleurs DreamCorp, une société créatrice de contenus 3D : définir un design d’espace, une géométrie, des textures, que le moteur de rendu 3D va ensuite interpréter. “La virtual production est la convergence des domaines de l’AR, la VR et du mapping vidéo”, nous explique-t-il.
L’immersion dans un décor XR n’est par ailleurs possible que si une caméra est en mouvement, assurant ainsi des effets de parallaxe calculée par le moteur de rendu en fonction de la position de la caméra. Nous pouvons aisément imaginer le détournement de cette technique au spectacle vivant, la captation vidéo de comédiens sur scène étant de plus en plus intégrée aux mises en scène.

Vue du plateau avec décor 2D – Photo © Rafaël Lantoine

Une entreprise innovante

multiCAM systems est une entreprise spécialisée dans la conception et le développement de solutions tout-en-un pour la captation live en multi caméras. Ces solutions permettent à une équipe réduite de gérer l’ensemble de la prestation, du pilotage de caméra à la réalisation, en passant par l’habillage graphique et l’insertion de participants à distance. Outre l’innovation du système de tournage XR, la société propose ses solutions d’info-décor classique 2D ou bien d’interactivité avec un public ou des intervenants à distance. “C’est un nouvelle manière d’engager l’audience ; des organisateurs d’événements nous ont fait confiance tels que le KIF (Knowledge Immersive Forum) ou plus récemment Place de la Santé, le grand oral (rencontre autour de la santé avec des candidats à l’élection présidentielle).” Un mélange d’événement live et d’intégration des orateurs dans un décor 3D pour le streaming.
Par ailleurs, l’Apollo Théâtre ou encore le Théâtre de la Ville leur ont fait confiance en s’équipant de configurations de tournage d’archives ou de retransmission en direct des captations de spectacle.

Les caméras sur pied robotisé – Photo © Rafaël Lantoine

Plateau de tournage en décors 3D

Le multiCAM Space est à la fois un showroom des technologies développées par multiCAM systems et un plateau de tournage XR disponible à la location. Le setup XR est le suivant : un mur LED immersif de 48 m2 sur lequel est projeté un décor 3D calculé en temps réel par un moteur 3D, ici Unreal Engine. Le mur LED a les spécificités correspondant à la XR : un revêtement mat, un taux de rafraîchissement de 6400 hz, un pitch de 2,6 mm (un pitch trop fin expose à de possibles effets de moirage si la résolution devient plus importante que celle du capteur). L’écran se décompose en cinq pans identiques de 1344 x 960 pixels, pour une résolution totale du mur de 6720 x 960. Le firmware des écrans a dû être customisé pour répondre aux exigences de synchronisation de la chaîne vidéo. “Il était important pour nous de maîtriser l’ensemble du workflow.” Ce décor est capté par un ensemble de caméras dont la position et le zoom sont trackés : l’angle de projection du décor est alors adapté à la position de la caméra qui est utilisée. La parallaxe est calculée en temps réel et l’illusion est parfaite. “La spécificité du multiCAM Space est de proposer du multicaméras (quatre caméras) dans ce type de dispositif.” L’équipe de développement de multiCAM systems a ainsi créé tout un environnement logiciel qui permet de générer un décor 3D adaptatif. En particulier, l’application Backdrop permet un rendu 3D temps réel ainsi que le déclenchement de séquences : une sorte de show control, de “conduite” qui fait varier l’environnement 3D en fonction du tracking des caméras, de la commutation demandée et des séquences déclenchées. Les standards de communication entre les différents éléments de la régie sont principalement l’OSC, le FreeD pour le tracking et le Dante pour le son ; le son qui, en termes d’automatisation, permet la commutation automatique d’une caméra en fonction de l’orateur. Le passage d’un plan à un autre est décidé par un algorithme également développé par multiCAM systems : les enchaînements sont calculés en fonction du temps d’antenne de chaque caméra et de préférences esthétiques, fruits de l’expérience de tournage de l’équipe. “Ce mélange d’aléatoire et de pondération ‘intelligente’ donne un résultat très naturel.”

Les caméras sur pied robotisé – Photo © Rafaël Lantoine

Réduction des coûts

L’enjeu d’automatisation du studio est également central et permet de faire baisser les coûts. Les producteurs en sont ravis, les techniciens intermittents peut-être un peu moins… Quoiqu’il en soit, c’est une solution technique qui vient répondre à une nouvelle économie des tournages, de plus en plus nombreux. Les solutions proposées permettent à une équipe réduite de gérer l’ensemble de la prestation, du pilotage de caméra à la réalisation, en passant par l’habillage graphique et l’insertion de participants à distance.

Les caméras sur pied robotisé – Photo © Rafaël Lantoine

Robotisation

multiCAM systems ayant racheté l’entreprise de mécatronique et robotique Polyscope, le savoir-faire technologique est là. Ne restait plus (!) qu’à imaginer le dispositif pour que les pieds de caméras robotisés communiquent la position de leurs différents moteurs et définissent ainsi leur position dans l’espace après, bien évidemment, une phase de calibration. Le logiciel maison, multiCAM TRACKER est un outil simple pour calibrer l’ensemble des données de tracking et fournir un signal unique au moteur 3D. Côté hardware, SPIRIT est une gamme de pieds de caméras robotisés : c’est donc un ensemble motorisé Dolly (rail de travelling), Lift (colonne télescopique) et Head (tête Pan-Tilt-Zoom) avec une caméra Sony P31 qui donne cette sensation d’espace et d’intégration du virtuel avec le réel du plateau. Les trois autres caméras ont moins de degrés de liberté mais participent également à l’illusion de la 3D.

La régie à l’arrière du mur LED – Photo © Rafaël Lantoine

Et la lumière ?

Des panneaux LEDs baignent le plateau de lumière et chaque personnage est pointé par des Fresnels avec volets, la difficulté consistant à ne pas “baver” sur l’écran. La lumière n’est pas pensée comme une continuité du décor 3D mais sert plutôt à assurer un niveau d’éclairement de type broadcast. “Même lors de tournages de fictions, les directions de lumière ne sont pas forcément en rapport avec celles du décor projeté ; nous trichons, l’essentiel étant d’obtenir un résultat convaincant au cadre.”

Arnaud Anchelergue et Stan Walbert – Photo © Rafaël Lantoine

Une conférence JTSE Online (14 et 15 avril) fera le point sur ces techniques et leur possible intégration dans le spectacle vivant et l’événementiel.

Synoptique du plateau multiCAM Space – Document © multiCAM systems