Les capacités de Face Tracking de Quest Pro rendent les avatars de Meta plus expressifs. Mais les avatars de nouvelle génération devraient bénéficier beaucoup plus de la nouvelle technologie.
L'une des grandes nouveautés de Quest Pro est un système de Face tracking. Celui-ci utilise des caméras internes pour détecter le mouvement de vos yeux et de certaines parties de votre visage. Ainsi, le casque prend ce qu'il voit et le transforme en entrées qui peuvent piloter l'animation de n'importe quel avatar.
À court terme, cela sera utilisé avec les avatars existants de Meta. Mais même si cela les rend certainement plus expressifs, ils ont toujours l'air un peu maladroits. C'est probablement le résultat du fait que le système d'avatar Meta actuel n'est pas construit avec ce niveau de Face tracking à l'esprit.
Heureusement, Meta a réalisé une démo technique qui montre ce qui est possible lorsqu'un avatar est conçu avec le Face Tracking de Quest Pro à l'esprit. Dans la démo, chaque mouvement que vous voyez est entraîné par l'utilisateur qui fait les mêmes mouvements. Cela inclut des choses comme gonfler les joues ou déplacer la bouche d'un côté à l'autre.
Les détails de la peau nous impressionnent tout particulièrement. En remuant votre nez, par exemple, la peau qui l'entoure se gonfle de façon réaliste. C'est la même chose quand vous levez les sourcils. Ces détails subtils, comme le pli des joues qui bougent avec la bouche, donne l'impression que l'avatar est vivant.
Le Face tracking du Quest Pro, un système qui forme une barrière de confidentialité importante
Meta publiera cette démo (appelée démo Aura) en tant que projet open source. Les développeurs pourront donc voir comment ils ont attaché les entrées de Face tracking à l'avatar. La société indique également qu'ils pourront utiliser un seul ensemble d'outils pour piloter des avatars humanoïdes ou des avatars non humains comme des animaux ou des monstres sans avoir à modifier chaque avatar individuellement.
Meta indique que les développeurs pourront exploiter une API de Face tracking qui utilise des valeurs correspondant à FACS. Ce système est bien reconnu pour décrire le mouvement des différents muscles du visage humain.
Il s'agit d'un système efficace pour représenter les visages. Il forme également une barrière de confidentialité utile pour les utilisateurs. Selon Meta, les développeurs ne peuvent pas réellement accéder aux images brutes du visage de l'utilisateur. À l'intérieur, ils obtiennent une « série de valeurs de zéro à un qui correspondent à un ensemble de mouvements faciaux génériques, comme lorsque vous plissez le nez ou froncez les sourcils », explique Meta.
Meta affirme que même l'entreprise elle-même ne peut pas voir les images capturées par les caméras du casque, qu'elles soient internes ou externes. Ils sont traités sur le casque puis immédiatement supprimés. Ils ne sont jamais envoyés dans le cloud ou aux développeurs selon l'entreprise.
- Partager l'article :