Un développeur du Vision Pro a partagé une vidéo qui montre les capacités actuelles de cet appareil en termes de suivi manuel et d'occlusion.
Comme principal mode d'interaction, la technologie Apple Vision Pro met en avant le suivi manuel. Elle a des interactions système qui fusionnent le suivi manuel avec le suivi oculaire. De plus, les développeurs ont la liberté de créer des applications qui permettent d'interagir directement avec celles-ci avec leurs mains.
Le suivi manuel sur Vision Pro comporte deux principales fonctionnalités distinctes. D'une part, le suivi manuel englobe la modélisation en 3D de la main, y compris ses articulations et la localisation précise des extrémités des doigts. Cette représentation détecte diverses interactions comme le contact, la saisie et les interactions avec des objets.
D'autre part, l'occlusion manuelle se focalise sur la manière dont le système superpose les mains réelles de l'utilisateur sur le contenu virtuel. Contrairement à la création d'un modèle 3D de mains virtuelles, Vision Pro se base sur l'image des mains réelles pour les intégrer dans l'environnement virtuel. Cette approche apporte un niveau de réalisme supplémentaire au contenu virtuel. L'utilisateur peut alors visualiser ses propres mains.
Optimisation du suivi manuel grâce au Vision Pro
Un développeur qui utilise Unity pour créer Vision Pro a publié une vidéo illustrant le suivi manuel et l'occlusion. Bien que l'occlusion de la main soit bien exécutée, elle n'est pas sans défauts. En effet, lors des mouvements rapides qui entourent le contenu virtuel, des imperfections apparaissent. Elles se traduisent par des décalages aux bords de la main.
Le suivi effectif de la main présente un léger décalage par rapport à l'occlusion, estimé entre 100 et 200 millisecondes. Cependant, déterminer avec précision la latence du suivi des mains de Vision Pro est difficile car seule une vue partielle des mains de suivi est disponible pour comparaison.
A part cela, les premiers tests effectués avec Vision Pro ont révélé une latence significative dans le suivi manuel. Cette latence semblait être plus prononcée en comparaison avec les fonctionnalités plus récentes de suivi manuel disponibles sur Quest.
Cependant, la vidéo démontre l'intégration d'un suivi manuel dans une application Unity. Les performances et la latence du suivi manuel pourraient être influencées par des éléments spécifiques à Unity, des éléments qui ne sont pas présents lors de l'utilisation des outils de développement propriétaires d'Apple comme le Vision Pro. Notons qu'Apple n'a pas encore lancé officiellement le casque. Et ces outils sont toujours en cours de développement. Par conséquent, des améliorations supplémentaires pourraient survenir avant la sortie du casque dans les magasins.
- Partager l'article :