Accueil / Produits / Casque RA / Microsoft Hololens / Accessoires microsoft hololens / Kinect VR – La technologie de Microsoft pourrait renaître grâce à la réalité virtuelle

Kinect VR – La technologie de Microsoft pourrait renaître grâce à la réalité virtuelle

kinect vr

Les chercheurs de Microsoft tentent de redonner vie à la technologie de détection de mouvements Kinect à travers la réalité virtuelle. Le projet Kinect VR vise à permettre aux utilisateurs de casques de réalité virtuelle de se servir de leurs mains et de leurs doigts au sein d’environnements virtuels sans recourir à des contrôleurs.

Depuis la suppression du port Kinect sur la Xbox One S, on pourrait penser que Microsoft a décidé d’abandonner sa technologie de détection de mouvements. Cependant, un billet publié sur le blog officiel de Microsoft laisse penser que l’accessoire pourrait connaître une seconde vie grâce à la réalité virtuelle. La publication détaille les efforts effectués par le laboratoire de recherche de Cambridge afin de transformer la caméra Kinect en dispositif permettant de suivre les mouvements de main et de doigts dans la VR, dans le cadre du projet Handpose. Ainsi, les utilisateurs de casques de réalité virtuelle pourraient interagir de façon naturelle au sein d’environnements virtuels sans même avoir besoin de contrôleurs comme les Oculus Touch ou les Vive Knuckles.

Pour l’heure, Microsoft n’a toujours pas dévoilé son intention de proposer un casque de réalité virtuelle compatible avec la Xbox, mais les premiers casques de réalité virtuelle Windows Holographic seront commercialisés à la fin de cette année 2017. Si ces casques peuvent être contrôlés à l’aide du Kinect, la firme de Redmond profiterait d’un avantage de taille par rapport à ses concurrents. Quoi qu’il en soit, il est également possible que le Kinect VR soit compatible avec l’Oculus Rift ou le HTC Vive.

Kinect VR : une solution pour utiliser ses mains dans la VR sans contrôleurs

Les contrôleurs à détection de mouvement sont aujourd’hui considérés comme des éléments indispensables à l’immersion dans la réalité virtuelle. Sans ces accessoires, la sensation de présence au sein de la VR n’est pas aussi convaincante. Par exemple, l’utilisation d’une manette Xbox avec l’Oculus Rift est nettement moins intéressante que l’interaction avec les Oculus Touch, qui permettent, dans une certaine mesure, de restituer les mouvements de mains et de doigts de manière naturelle au sein de la VR.

Quoi qu’il en soit, l’obligation de devoir utiliser des contrôleurs physiques freine également l’immersion. Si l’utilisateur peut simplement utiliser ses mains directement dans la VR, il s’agira d’un nouveau cap franchi pour l’industrie de la réalité virtuelle. Malheureusement, un tel système supprimerait totalement les retours haptiques, procurés par les vibrations contextuelles des contrôleurs et par le contact physique des boutons. Par exemple, lorsque le joueur de Job Simulator saisit une tasse avec son contrôleur Vive Wand, le contact physique avec la gâchette simule la sensation d’attraper l’objet. Ces retours tactiles contribuent eux aussi à l’immersion.

Kinect VR : la première étape vers une nouvelle ère pour la réalité virtuelle

Aux yeux des chercheurs, toutefois, l’absence de retour haptique ne pose pas tant de problèmes qu’ils l’avaient anticipé au préalable. Il suffit en réalité d’adapter le développement des expériences VR à cette contrainte technique. De même, en stimulant davantage les autres sens comme la vue ou l’ouïe, les chercheurs se sont aperçus qu’il est également possible de créer une illusion de contact réel sans passer directement par le toucher. En voyant ses mains et en les entendant interagir avec l’environnement, l’utilisateur bénéficie d’une telle sensation de présence que le cerveau n’a pas besoin d’une sensation de toucher pour avoir l’impression que le corps touche quelque chose.

Cette technologie est encore expérimentale, et il est possible qu’elle ne voit jamais le jour sur le marché grand public. Cependant, les vidéos de démonstration sont très prometteuses. Le Kinect VR pourrait permettre des interactions plus fluides et plus naturelles au sein de la réalité virtuelle. La prochaine étape serait de pouvoir voir et utiliser tout son corps dans la VR. Tôt ou tard, cette possibilité se concrétisera, et Kinect VR offre un aperçu excitant du futur de la réalité virtuelle.

Notons toutefois que Kinect n’est pas la première technologie permettant d’utiliser ses mains dans la réalité virtuelle sans contrôleur. La firme Leap Motion, fondée en 2010, a développé une technologie similaire. Son système repose sur des caméras et des capteurs infrarouges et peut être intégré à n’importe quel casque de réalité virtuelle. Leap Motion permet d’utiliser ses mains sans contrôleurs dans la réalité virtuelle. Malheureusement, ce système n’est pas infaillible et il arrive que le tracking soit imprécis ou que les mouvements ne soient pas détectés. Tout comme le Kinect, Leap Motion présente également le problème de l’absence de feedback tactile. Quoi qu’il en soit, le principal défaut de cette technologie est qu’elle n’est pas compatible avec tous les jeux en réalité virtuelle. Seuls quelques titres sont pris en charge par Leap Motion.

Mymesis : une solution pour les meetings holographiques en VR grâce à Kinect

mymesis vr

La startup Mymesis utilise Kinect pour capturer le corps d’un utilisateur en trois dimensions et le retranscrire dans la réalité virtuelle ou la réalité augmentée. Ainsi, plusieurs personnes peuvent se rassembler et interagir dans la VR ou l’AR sans avoir besoin de recourir à des avatars. Cette solution s’avère très utile pour les entreprises dont les employés sont répartis à différents endroits du monde et séparés par la distance. Il est ainsi possible de communiquer de façon naturelle, et d’échanger des documents en toute simplicité. Le système de Mymesis est compatible avec tous les principaux casques VR / AR du marché.

Cette technologie peut être utilisée avec Microsoft Kinect V2, ou avec Realsense F200. L’utilisateur peut télécharger un SDK d’enregistrement pour enregistrer et afficher son hologramme dans une application Unity pour découvrir les possibilités offertes. Grâce à la plateforme cloud de Mymesis, il est ensuite possible pour les différents utilisateurs de se rassembler dans la réalité virtuelle ou la réalité augmentée.