Google va détecter vos expressions dans la VR pour des avatars réalistes

Google a inventé un système permettant de détecter les expressions faciales des utilisateurs de casques VR grâce à des caméras de tracking oculaire et à un algorithme de Machine Learning. Une technologie qui pourrait permettre de créer des avatars plus fidèles dans la réalité virtuelle pour des interactions sociales plus réalistes.

Si la réalité virtuelle peine à se démocratiser, c'est en partie parce qu'elle n'est pas suffisamment immersive à l'heure actuelle. Il y a plusieurs raisons à cela : les graphismes manquent de réalisme, les stimulations sensorielles sont limitées à l'ouïe et à la vue, et il n'est pas encore possible d'interagir directement avec ses mains. Par ailleurs, les avatars qui représentent les joueurs dans la VR ne sont pas assez fidèles.

Certes, certaines applications comme Facebook Spaces offrent aux utilisateurs de nombreuses options de personnalisation pour créer des avatars qui leur ressemblent. Toutefois, les expressions faciales de ces avatars ne sont pas synchronisées avec celles des utilisateurs. Même si l'usager rit ou se met en colère, son visage reste impassible. Ceci atténue fortement la sensation d'immersion et le réalisme des interactions sociales dans la réalité virtuelle.

Google veut détecter les expressions dans la VR grâce au eye-tracking et au Machine Learning

Cependant, Google a peut-être trouvé la solution au problème. Le géant de Moutain View vient de déposer un brevet pour un système permettant de détecter les différentes expressions faciales d'un utilisateur de casque VR. Ce système reposera sur des caméras de tracking oculaire (eye-tracking) et sur un algorithme d'apprentissage automatique (Machine Learning).

Les caméras permettraient de suivre les mouvements des yeux en permanence, et l'algorithme serait entraîné pour identifier des mouvements tels qu'un froncement de sourcil, une lèvre retroussée et bien plus encore. Ces différentes mimiques pourraient être associées à des émotions telles que la surprise, la joie ou la colère.

Le brevet de Google décrit aussi la façon dont ces expressions et émotions pourraient être retranscrites en temps réel sur les visages des avatars pour les rendre plus fidèles aux utilisateurs. Ainsi, les avatars et les utilisateurs auraient les mêmes expressions faciales. Les interactions dans la réalité virtuelle deviendraient nettement plus humaines, et la sensation d'immersion et de réalisme s'en trouverait renforcée.

Cette technologie est prometteuse pour le futur de la VR. Cependant, rappelons qu'il ne s'agit à l'heure actuelle que d'un brevet. Les géants comme Google et Facebook déposent de nombreux brevets, sans forcément réaliser les technologies décrites. Espérons que ce soit le cas pour celle-ci.