in

PinchType : le clavier virtuel de Facebook avec hand tracking pour VR

clavier virtuel pinchtype de facebook

Des chercheurs du Reality Labs ont développé un clavier virtuel baptisé PinchType et fonctionnant avec un hand tracking sans contrôleurs pour VR et AR.

Pour le moment, entrer des données textuelles comme sur son laptop dans un environnement VR relève de l'impossible. Et pour cause, en mode stationnaire, les utilisateurs d'un casque VR ne peuvent voir le clavier de leur ordinateur.

Pouvoir circuler dans une aire de jeu ne facilite pas pour autant la tâche. Et ceux qui utilisent un modèle autonome n'ont peut être même pas de clavier sous la main. Aujourd'hui, on doit donc se limiter à cliquer sur une lettre à la fois grâce à un clavier flottant avec .

Pourtant, les casques standalone ont depuis décembre un système de hand tracking avancé qui permet de se passer des contrôleurs. Mais la conception même des casques VR de Facebook fait bloc à l'utilisation de ce système pour un clavier virtuel. En effet, ces appareils embarquent des caméras dépourvues de capteurs de profondeur. Résultat : impossible d'utiliser un clavier à une vitesse normale.

Comment fonctionne PinchType de Facebook

Les chercheurs de Facebook contournent ces limites avec le nouveau système. Ainsi, celui-ci assigne un groupe de lettres du clavier à chaque doigt de la main, autre que le pouce. Quand l'utilisateur pince un doigt avec le pouce, le groupe de lettres associé est tapé.

Au fur et à mesure qu'on tape plusieurs groupes de lettres à la suite, un algorithme détermine quel mot on souhaite entrer. L'on ne sait pas encore s'il s'agit d'un algorithme classique ou s'il utilise la machine learning. Mais étant donné l'expérience de Facebook dans le traitement de langage naturel, les suggestions devraient être plus souvent justes que non.

À ce jour, les scientifiques du projet affirment que la vitesse de frappe est de 12 mots/min. Pour rappel, les statistiques estiment à 33 mots/min la valeur moyenne sur un ordinateur.

Malheureusement, Facebook n'entend pas déployer PinchType sur ses produits grand public. Mais on ne peut qu'espérer qu'un jour, on pourra devenir dactylographe professionnel dans un environnement VR avec cette technologie.

Le coup de cœur de Julie❤️

Envie d’acheter un casque VR ? Voici le meilleur du mois de juillet 2024

Julie – Journaliste realite-virtuelle.com

Meta Quest 3, est un casque de réalité virtuelle innovant offrant une expérience immersive sans précédent.

Newsletter

Envie de ne louper aucun de nos articles ? Abonnez vous pour recevoir chaque semaine les meilleurs actualités avant tout le monde.

Cliquez pour commenter

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *


La période de vérification reCAPTCHA a expiré. Veuillez recharger la page.