Le laboratoire « Daydream Labs » s’est associé à celui de « Google Research » afin de proposer une solution novatrice permettant aux spectateurs de voir le visage d’une personne portant un masque VR dans son environnement virtuel. Le regard, ainsi que les expressions faciales, sont fidèlement reproduits rendant, ainsi, le casque de réalité virtuelle transparent ou presque.
La réalité virtuelle permet de découvrir un grand nombre de choses et de s’immerger dans des expériences impressionnantes. Un monde fascinant s’ouvre à la personne qui expérimente la réalité virtuelle malheureusement, le casque de VR cache le visage de son porteur et les expressions faciales de celui-ci occultant, ainsi, non seulement son regard, mais aussi les sentiments visibles sur son visage. Dans le cadre d’une interaction sociale ou de certaines applications, cela peut-être un désagrément que l’utilisation d’un avatar ne peut corriger efficacement.
Un casque de réalité virtuelle transparent
Il ne faut pas se méprendre. La technologie mise au point par Google ne permet pas de rendre physiquement le casque de réalité virtuelle transparent mais bel et bien la projection de l’utilisateur dans son environnement virtuel sans son casque ou, pour mieux dire, avec une représentation type « masque de plongée ».
Pour réaliser cet exploit, les laboratoires de Google, très impliqués dans la réalité virtuelle, se sont appuyés sur différentes technologies. Le géant des moteurs de recherche a utilisé une combinaison de machine à apprentissage automatique (Machine Learning), une vision 3D par ordinateurs ainsi que des techniques de traitement de l’image avancées. Les ingénieurs de Google ont aussi utilisé un casque HTC Vive modifié par SMI, un écran vert, une caméra vidéo combinée à un suivi et une segmentation précis.
Une technique qui nécessite un traitement important
Pour rendre cet exploit possible et retirer le casque de réalité virtuelle du visage, les ingénieurs de Google ont créé un modèle 3D dynamique du visage de la personne en capturant les variations d’expression faciale comme par exemple les clignotements des yeux et de regards dans différentes directions. Cela permet au logiciel de reproduire avec précision où la personne regarde derrière son casque VR avec la technologie d’ « eye-tracking » incluse dans le casque HTC Vive.
A partir de là, le logiciel peut ainsi virtuellement rendre transparent le casque de réalité virtuelle et projeter l’utilisateur dans son environnement virtuelle sans casque. Afin de rendre la projection réaliste et éviter tout effet de distorsion, les ingénieurs ont préféré représenter le casque sous la forme « masque de plongée » plutôt que totalement invisible.
Les ingénieurs des laboratoires Google ont parfaitement réussi l’exercice et estiment, désormais, qu’ils sont prêts à automatiser cette technologie. Bien que naissante, cette technique est considérée comme prometteuse par le laboratoire de Google. Selon eux, recréer de façon naturelle le visage d’un porteur de casque VR offre de multiples perspectives, notamment dans le cadre d’applications sociales ou bien encore de conférence.
- Partager l'article :
Le coup de cœur de Julie❤️
Julie – Journaliste realite-virtuelle.com
Meta Quest 3, est un casque de réalité virtuelle innovant offrant une expérience immersive sans précédent.