Les chercheurs du Facebook Reality Lab dévoilent une nouvelle méthode permettant de créer des avatars réalistes reproduisant les expressions faciales des utilisateurs dans la réalité virtuelle en temps réel. Cette approche inédite repose sur le Machine Learning, et sur un casque VR équipé de neuf caméras…
Au fil des mois, Facebook continue à augmenter le réalisme de ses avatars pour la réalité virtuelle. La firme considère en effet que les avatars réalistes et fidèles sont indispensables pour que les applications de » Social VR « deviennent pertinentes. Pour le géant des réseaux sociaux, il s'agit donc d'une priorité absolue.
Début septembre 2019, les chercheurs du Facebook Reality Lab publient les fruits de leur recherche sur une nouvelle méthode permettant de créer des avatars ultra-réalistes reproduisant les gestes et expressions de leurs utilisateurs en temps réel. Cette méthode repose sur des casques VR munis de caméras, mais aussi sur l'intelligence artificielle.
Dans un premier temps, un casque VR » d'entraînement » équipé de neuf caméras a été utilisé. Cet appareil est capable de capturer le visage et les yeux de l'utilisateur sous tous les angles, et ces images sont ensuite comparées avec un scan numérique de l'utilisateur réalisé au préalable.
Une fois la correspondance établie entre les deux, un second casque VR » de tracking » est utilisé. Cet appareil n'est muni que de trois caméras, pour filmer la bouche et les yeux du porteur, mais les données collectées par le casque d'entraînement lui permettent de mieux comprendre les images qu'il capture.
Facebook doit parvenir à miniaturiser sa technologie pour la démocratiser
Ce processus complet permet de retranscrire le visage et les expressions de l'utilisateur sur son avatar dans la VR en temps réel avec une précision inégalée jusqu'à présent. Une large variété d'expressions peuvent être identifiées. Ainsi, le casque est par exemple capable de détecter si l'utilisateur rentre ses joues, se mord les lèvres ou bouge sa langue.
Malheureusement, il faudra patienter encore quelque temps pour voir cette méthode à la disposition du grand public. Pour cause, la nécessité de disposer d'un scan complet et d'utiliser le casque » d'entraînement » au préalable empêche toute utilisation domestique à l'heure actuelle.
La seule solution serait de mettre en place des » centres de scan « spécialement conçus à cet effet pour les utilisateurs, ce qui semble peu pertinent à l'heure où la VR peine à se démocratiser. Cependant, les avancées dans le domaine du Machine Learning et des technologies de capture pourraient permettre d'utiliser cette méthode à la maison dans un avenir proche…
- Partager l'article :
Le coup de cœur de Julie❤️
Julie – Journaliste realite-virtuelle.com
Meta Quest 3, est un casque de réalité virtuelle innovant offrant une expérience immersive sans précédent.