Comment fonctionne la réalité virtuelle ? (explication étape par étape)

Si vous vous trouvez sur ce site c'est que vous avez sans doute déjà une idée de ce qu'est la réalité virtuelle et des multiples usages qu'il est possible d'en faire. Mais connaissez vous le fonctionnement de toute cette technologie ? Quels sont les rouages qui rendent les casques s'y performants ? Si oui… Et bien vous pouvez sans doute allez lire un autre article sur le site, si ce n'est pas encore le cas ou si vous voulez vous rafraîchir la mémoire vous êtes au bon endroit. Découvrons ensemble comment la réalité virtuelle fonctionne !

Pour commencer cet article, rien de mieux que de débuter par une définition du concept derrière la technologie. Le principe est simple, on utilise un ordinateur pour produire une simulation en trois dimensions d'un monde que l'utilisateur pourra parcourir et manipuler et qui lui donneront le sentiment d'être immergé dans ce monde. Des scientifiques, ingénieurs et théoriciens ont créé des centaines d'applications et techniques pour permettre le fonctionnement de la réalité virtuelle aujourd'hui.

Si l'on devait citer quelques éléments fondamentaux qui définissent une expérience en réalité virtuelle on ne manquerait pas de citer les deux suivants :

Des images en trois dimensions qui sont pensées en fonction de la perspective de l'utilisateur.
La capacité à suivre certains mouvements de l'utilisateur. En particulier sa tête et ses yeux, et faire en sorte que l'environnement 3D s'adapte à sa perspective et ses mouvements.

De l'importance de l'immersion

Il n'y a pas de réalité virtuelle sans ce sentiment d'immersion si présent lorsque l'on équipe un casque de réalité virtuelle. L'ingénieur Jonathan Steuer évoque la présence de deux composants qui servent cette immersion: « depth of information » et « breadth of information » soit respectivement la profondeur et l'ampleur de l'information. La première, la profondeur, fait référence à la quantité et à la qualité de données que l'utilisateur reçoit quand il interagit avec son environnement virtuel. Cela peut aller de la résolution à la complexité de l'environnement graphique en passant par la sophistication du système audio. L'ampleur de l'information, quant à elle, réfère au nombre de sens présents dans l'univers virtuel et qui agissent conjointement. La plupart des expériences en VR font appels à des capteurs visuels et audios qui agissent en concordance. Par exemple, une information visuelle comme la présence d'un personnage à l'écran qui est en train de courir fait appel aux capteurs visuels, le bruit de course qui se fait entendre en parallèle fait quant à lui appel au capteur audio. Le fonctionnement des deux dispositifs conjointement est nécessaire pour donner de l'ampleur à la scène.

Les recherches actuelles des ingénieurs et scientifiques tendent à montrer que la prochaine étape viserait l'incorporation du toucher comme troisième dispositif sensoriel. Dispositif qui retranscrirait la force d'appui de l'utilisateur et la sensation générale du toucher (plus d'informations sur certains dispositifs de ce type ici).

Un autre critère important au fonctionnement de l'immersion est le temps de réponse. La stabilité du système repose sur l'illusion que ce qui est vu est réel et tout changement d'angle de la part de l'utilisateur doit se retranscrire immédiatement sur les deux écrans placés sur les yeux. Selon le docteur Frederick Brooks, pionnier dans la réalité virtuelle, le dispositif doit posséder un minimum de 20 à 30 images par secondes pour créer l'illusion nécessaire. Mais attention car si il s'agit bien du minimum, l'on se rapproche plus des standards du jeu vidéo qui tendent à montrer que si 30 FPS est bien la base pour une jouabilité correcte, 60 FPS représente la « véritable » fluidité à atteindre. Pour la réalité virtuelle cela semble encore plus vrai car nombreux sont ceux à estimer que 90 à 120 FPS ne sont pas de trop pour obtenir un taux de réponse suffisant vis à vis des mouvements de tête de l'utilisateur.

La fonctionnement de l'environnement virtuel

Le troisième critère indispensable au fonctionnement de l'immersion que nous venons de voir est également le point d'entrée de cette partie consacrée à la crédibilité de l'environnement virtuel. Nous venons d'évoquer le nombre de sens présents dans un environnement virtuel (vue, ouïe, toucher…), mais nous n'avons pas évoqué le nombre d'utilisations de ces sens à l'intérieur même de l'expérience. Autrement dit, la gestion micro des sens en temps réel. Par exemple, si l'environnement possède un ensemble d'éléments disposant d'un retour sonore 3D, il convient que ces différents éléments réagissent en fonction de la position et de l'orientation du joueur. Les éléments les plus éloignés seront ainsi moins perceptibles que ceux qui se trouvent à quelques centimètres de l'utilisateur et résonneront davantage dans l'oreille droite ou gauche en fonction de l'orientation de celui-ci.

Bien entendu la rapidité à laquelle ces évènements apparaîtront permettra de créer une illusion crédible. On parle alors de la latence, soit du temps de réponse entre le système et l'action de l'utilisateur. Pour mieux comprendre le fonctionnement de la latence, faisons un parallèle avec le jeu vidéo. Dans la création d'un jeu, une des choses les plus importantes sont les signes et feedbacks. Les signes représentent tout un tas d'éléments visuels, sonores ou haptiques (lié au toucher, souvent les vibrations d'une manette), qui servent à indiquer au joueur une information, à le guider en somme. Par exemple sa barre de vie lui donne des informations sur l'état de son personnage, la façon dont un ennemi se déplace pourra lui donner une information sur la manière de le combattre, etc… Les signes sont légions et essentiels au fonctionnement d'un jeu. C'est la même chose dans la vraie vie, quand vous voyez un feu rouge, vous savez que vous devez vous arrêter, c'est un signe.

Les feedbacks, eux, correspondent à un retour suite à une action de l'utilisateur. Par exemple, si le joueur décide de sauter, il va appuyer sur une touche, à l'instant même où il effectue cette action, un retour doit se faire : Lancement de l'animation de saut, bruitage du personnage, diminution de la barre d'endurance, etc… Tant de feedbacks qui permettent à l'utilisateur de comprendre que son action a bien fonctionné. A chaque action, peu importe son importance doit être associés plusieurs feedbacks de différentes catégories. Quand vous pianotez sur votre portable, quand vous retirez de l'argent au distributeur, de nombreux feedbacks sont présents pour vous faire comprendre que vous venez d'appuyer sur une touche, que vous avez insérez votre carte de crédit, etc… C'est un fonctionnement simple et implicite qui est nécessaire à l'Homme.

Dans un environnement virtuel, c'est la même chose. Les signes, doivent se faire présents en permanence, visuels, sonores, etc… C'est leur concordance qui fera que le joueur comprendra se qui se passe devant lui. Si il marche, saute, se déplace, tourne la tête, le feedback doit être immédiat. D'où l'importance d'avoir une latence très faible pour que ce retour soit immédiat. L'Homme peut percevoir une latence supérieure à 50 millisecondes. Si ce délai est dépassé, l'immersion est brisée et l'environnement artificiel est détruit. Le cerveau ne comprend alors pas pourquoi après avoir bougé la tête rien ne soit produit dans l'immédiat.

Une véritable expérience en réalité virtuelle fait oublier à l'utilisateur qu'il se trouve dans un monde factice.

L'interaction au service de l'utilisateur

Il existe plusieurs types de contenus en réalité virtuelle, certains offrent plus de possibilités à l'utilisateur que d'autres, entre jouer à un jeu vidéo en VR et regarder un film en VR également, il y a un gouffre en terme d'interactivité. Dans le premier cas, l'utilisateur est un joueur capable d'interagir avec l'environnement et de voir les conséquences de ces actes sur celui-ci, dans le second cas, l'utilisateur n'est qu'un spectateur à qui l'on donne la possibilité de choisir quelle partie de la scène regarder, Bien que les deux utilisations ne soient pas vraiment comparables il est un fait certain : Le jeu vidéo offrira un degré d'immersion supérieur, car si au final le degré technique sera moins impressionnant qu'un film capable de créer en environnement photo-réaliste, la possibilité d'être actif et d'offrir une liste d'actions réalisables réussira davantage à ancrer le joueur dans le monde virtuel qu'il parcourt.

Jonathan Steuer explique qu'il y a trois facteurs qui permettent d'expliquer le degré d'interaction offert par une application. Le premier est la vitesse, il définit la vitesse à laquelle les actions du joueur sont incorporées par le logiciel et retranscrites à l'écran d'une manière que l'utilisateur peut percevoir (cf : les feedbacks). Le second est la porté, il définit le nombre de conséquences qui peuvent résulter d'une action. Le dernier enfin est le mapping, il correspond à la capacité du logiciel à définir des résultats naturels en réponse à une action de l'utilisateur.

Une des interactions les plus courantes dans les applications en réalité virtuelle et particulièrement dans les jeux, résulte dans la capacité à se déplacer. Le fonctionnement de la navigation fait partie intégrante des possibilités d'interaction et est souvent l'intermédiaire pour effectuer d'autres actions. On comprend également certains dérivés dans le fonctionnement du déplacement comme le saut, l'escalade et la course qui contribuent également à ce degré d'immersion tout en offrant un panel de mouvements plus important qui donne le sentiment à l'utilisateur d'avoir un plus grand contrôle sur l'environnement. L'immersion n'en est que renforcée.

Malheureusement le déplacement ne suffit pas à créer un interaction suffisante car elle n'est là que pour permettre à l'utilisateur de visiter l'environnement virtuel, il n'a pas véritablement d'impact sur son monde. La scientifique Mary Whitton explique qu'au bout de quelques minutes seulement passé dans un environnement n'offrant pas plus d'interactivité que ça, l'utilisateur s'ennuiera bien trop pour réussir à s'investir et l'environnement apparaîtra alors immédiatement comme factice, brisant l'engagement de l'utilisateur.

Alors comment faire pour que l'utilisateur se sente investi ? Il faut qu'il puisse modifier l'environnement virtuel. L'utilisation d'objectifs et d'objets interactifs peuvent servir l'utilisateur et faire en sorte que son voyage soit captivant.

Le jeu vidéo : Un parfait enseignant

Si il y a bien un média à prendre comme modèle, c'est bien le jeu vidéo. Depuis qu'il existe il n'a jamais cessé de repousser les limites de l'interactivité, de tenter, d'échouer, d'entreprendre, d'apprendre et de tirer des leçons sur le fonctionnement de l'interaction entre le joueur et la machine. C'est un média jeune mais qui évolue extrêmement vite, il y a aujourd'hui de nombreux spécialistes et toutes ces personnes savent aujourd'hui énormément de choses sur ce qu'il faut et ne faut pas faire dans un jeu vidéo. Des bases en somme, comme le cinéma, la littérature ou la musique possèdent les leurs. Des codes, des règles impérissables. Mais ce qui fait que le jeu vidéo est si particulier, c'est qu'il est le seul média au monde qui ne rend pas l'usager passif. On est actif quand l'on joue, à un degré divers, et c'est tout ça qui fait que la réalité virtuelle se doit de prendre modèle sur ce média pour réussir à créer ses propres règles à l'avenir. Le jeu vidéo étant une partie du paysage de la VR, mais ce n'est pas pour autant que les autres applications ne tentent pas de créer cette interactivité, de tirer partie des possibilités de la réalité virtuelle et de faire en sorte que, peu importe le type d'application, l'utilisateur ne soit plus passif.

Parlons matériel

Maintenant que nous en avons fini avec les techniques d'immersions, intéressons nous au matériel derrière les applications. Aujourd'hui la plupart des casques de réalité virtuelle tournent sur des ordinateurs personnels. La puissance des PC aujourd'hui permet aisément de créer et de faire tourner les applications. Attention cependant, cela requiert tout de même des composants de pointe pour permettre un usage efficace et en de bonnes conditions des applications les plus gourmandes. Les casques comme l'Oculus Rift ou l'HTC Vive demandent des PC de bureau avec des composants de haute qualité. On se tournera alors vers des composants de gaming avec des cartes graphiques de dernière génération comme les GTX de la série 900 et avec la dernière en date, la GTX 1080. Un budget plutôt conséquent donc, réservé aux amateurs d'expériences de haute qualité.

La plupart des casques utilisent un système HMD basé sur deux écrans,un pour chaque œil, afin de retranscrire la profondeur de champ chez l'utilisateur. Les premiers systèmes HMD utilisaient des « Cathode Ray Tube » monitors (CRT). Aujourd'hui ce sont les écrans « Liquid Crystal Display » monitors (LCD) qui dominent le marché et qui offrent une résolution et un panel de couleurs plus intéressant.

A côté de ça, vient le système de motion tracking qui permet aux utilisateurs d'effectuer des mouvements avec leurs tête qui sont retranscris à l'écran. Le système détecte l'orientation de l'utilisateur et envoie l'image correspondante dans les écrans.

Enfin vient les accessoires qui peuvent s'associer à l'utilisation des casques. On y trouve les contrôleurs, souvent équipés d'une détection des mouvements, les gants, les reconnaissances vocales et les capteurs d'environnement qui repèrent les éléments dans la pièce (à l'instar de l'HTC Vive) et bien d'autres.

Les challenges de la VR

Nous approchons de la fin de ce dossier consacré au fonctionnement de la réalité virtuelle, mais il convient encore d'aborder un dernier point, les challenges futurs de la VR :

Réussir à créer des systèmes plus implicites pour l'utilisateur, plus afordants et qui nécessitent donc moins d'apprentissage pour l'ouvrir davantage au grand public.
Travailler l'ergonomie des accessoires pour offrir un usage pour pratique en combinaison du casque.
Créer des environnements virtuels qui n'ont de sens qu'en réalité virtuelle et qui peuvent donc servir à promouvoir la technologie
Travailler l'optimisation et la technologie pour la rendre plus accessible afin qu'elle ne soit pas que réservée à une élite.

Le dossier se termine ici, si néanmoins vous n'êtes pas encore rassasié de connaissances vous pouvez allez plus loin avec cet autre article expliquant la création d'applications dédiées à la réalité virtuelle.

Partager l'article :