Les chercheurs de Google Research ont décidé de proposer leur méthode de hand-tracking mobile basée sur le Machine Learning en Open Source aux chercheurs et développeurs du monde entier. Cette technologie pourrait marquer un grand pas en avant pour la réalité virtuelle et augmentée…
En juin 2019, dans le cadre de la CVPR 2019, Google dévoilait sa technologie de hand tracking permettant aux appareils mobiles de suivre les mouvements des mains des utilisateurs grâce au Machine Learning. À présent, la firme de Mountain View met cette technologie novatrice à la disposition des chercheurs et développeurs du monde entier.
Cette » nouvelle approche de perception de main » a étéimplémentée à MediaPipe : un framework open source cross-plateforme permettant aux développeurs de créer des pipelines de traitement pour les données perceptuelles telles que les vidéos et l'audio.
La technologie développée par Google permet un tracking des mains et des doigts à très haute précision. Grâce au Machine Learning, 21 » keypoints » 3D peuvent être détectés sur la main à partir d'une seule trame.
Plus précisément, cette approche repose sur trois modèles de Machine Learning distincts. Le modèle » BlazePalm » permet la détection de la paume avec une précision de 95,7%, le modèle » hand landmart » permet une restitution 3D à haute fidélité des keypoints, et le troisième modèle permet de classifier la configuration des keypoints en un ensemble de gestes.
Google permet à un simple smartphone de suivre vos mains
Selon les chercheurs Valentin Bazarevsky et Fan Zhang de Google Research, cette nouvelle méthode permet le tracking en temps réel sur un simple smartphone alors qu'il était jusqu'à présent nécessaire d'exploiter la puissance d'un ordinateur. De plus, il est même possible de suivre plusieurs mains simultanément.
Google Research met sa technologie à disposition des chercheurs et développeurs du monde entier en espérant que la communauté saura imaginer des cas d'usages créatifs pour de nouvelles applications et de nouvelles pistes de recherche.
De leur côté, Bazarevsky et Zhang comptent continuer à améliorer leur technologie jusqu'à parvenir à détecter les gestes dynamiques. Il s'agirait là d'un véritable bond en avant pour le Machine Learning, notamment pour la traduction du langage des signes ou pour les contrôles gestuels.
En outre, ceci permettra d'utiliser ses mains dans la réalité virtuelle et dans la réalité augmentée de façon naturelle et intuitive. Il s'agira d'un grand pas en avant vers le futur des technologies immersives.
- Partager l'article :
Le coup de cœur de Julie❤️
Julie – Journaliste realite-virtuelle.com
Meta Quest 3, est un casque de réalité virtuelle innovant offrant une expérience immersive sans précédent.