Sony fait breveter un système de reconnaissance du visage pour casque VR

Sony a mis au point un système de reconnaissance du visage pour la réalité virtuelle. Il donnerait aux avatars une apparence photoréaliste pour toujours plus d'immersion.

L'organisme américain qui étudie les brevets vient d'en accorder un à Sony. Celui-ci s'intitule « intégration d'une option de suivi du visage pour les utilisateurs de réalité virtuelle dans un environnement VR ». Ainsi, via des caméras disposées sur sa face inférieure, le casque détecte les mouvements de la bouche et les expressions du visage. Cela devrait permettre de les reproduire sur les avatars d'un espace social virtuel. Cet avatar correspondrait alors à une représentation fidèle de la personne. Ainsi, lorsqu'un groupe de joueurs ou d'amis se retrouvent dans la réalité virtuelle, ils peuvent se voir parler, rire, sourire, s'étonner ou s'énerver.

Le brevet mentionne aussi une fonction de suivi du regard. Là encore, elle permettra de reproduire le mouvement des yeux en VR. Tous ces aspects devraient apporter un sentiment de réalisme accru lors des interactions entre personnes en réalité virtuelle. Or, celles-ci devraient devenir plus courantes dans un monde post-coronavirus.

Pour la prochaine génération de casques ou celle d'encore après ?

Le système mis au point par Sony reproduit l'intégralité du visage alors que seuls les yeux et la bouche sont capturés. En effet, une partie importante comprenant le nez, les pommettes, et les arcades sourcilières est masquée par le casque. Le fabricant japonais évoque ainsi plusieurs techniques dans son brevet pour contourner ce problème. Dans l'ensemble, elles tentent de repérer la position du nez par des capteurs de proximité. Mais aussi sa taille en déterminant l'espace qu'il occupe dans la partie du casque prévue à cet effet.

Les ingénieurs de Sony ne sont pas les premiers à explorer la reconnaissance faciale pour recréer des avatars photoréalistes. L'an dernier, Facebook déjà avait publié quelques vidéos montrant les possibilités d'un tel système. Le résultat était plutôt impressionnant. Rien ne dit cependant que cette technologie sera présente dès la prochaine génération de casques comme le PSVR 2. Ce brevet pourrait même ne jamais être utilisé dans un produit pour le grand public. Si c'était néanmoins le cas, il est certain que l'expérience sociale en réalité virtuelle en profiterait grandement.