Des chercheurs du Facebook Reality Labs ont développé un clavier virtuel baptisé PinchType et fonctionnant avec un hand tracking sans contrôleurs pour VR et AR.
Pour le moment, entrer des données textuelles comme sur son laptop dans un environnement VR relève de l'impossible. Et pour cause, en mode stationnaire, les utilisateurs d'un casque VR ne peuvent voir le clavier de leur ordinateur.
Pouvoir circuler dans une aire de jeu ne facilite pas pour autant la tâche. Et ceux qui utilisent un modèle autonome n'ont peut être même pas de clavier sous la main. Aujourd'hui, on doit donc se limiter à cliquer sur une lettre à la fois grâce à un clavier flottant avec Oculus Quest.
Pourtant, les casques Oculus standalone ont depuis décembre un système de hand tracking avancé qui permet de se passer des contrôleurs. Mais la conception même des casques VR de Facebook fait bloc à l'utilisation de ce système pour un clavier virtuel. En effet, ces appareils embarquent des caméras dépourvues de capteurs de profondeur. Résultat : impossible d'utiliser un clavier à une vitesse normale.
Comment fonctionne PinchType de Facebook
Les chercheurs de Facebook contournent ces limites avec le nouveau système. Ainsi, celui-ci assigne un groupe de lettres du clavier à chaque doigt de la main, autre que le pouce. Quand l'utilisateur pince un doigt avec le pouce, le groupe de lettres associé est tapé.
Au fur et à mesure qu'on tape plusieurs groupes de lettres à la suite, un algorithme détermine quel mot on souhaite entrer. L'on ne sait pas encore s'il s'agit d'un algorithme classique ou s'il utilise la machine learning. Mais étant donné l'expérience de Facebook dans le traitement de langage naturel, les suggestions devraient être plus souvent justes que non.
À ce jour, les scientifiques du projet affirment que la vitesse de frappe est de 12 mots/min. Pour rappel, les statistiques estiment à 33 mots/min la valeur moyenne sur un ordinateur.
Malheureusement, Facebook n'entend pas déployer PinchType sur ses produits grand public. Mais on ne peut qu'espérer qu'un jour, on pourra devenir dactylographe professionnel dans un environnement VR avec cette technologie.
- Partager l'article :
Le coup de cœur de Julie❤️
Julie – Journaliste realite-virtuelle.com
Meta Quest 3, est un casque de réalité virtuelle innovant offrant une expérience immersive sans précédent.