Le langage des signes peut être traduit grâce à la réalité augmentée

Le langage des signes peut désormais être traduit grâce à la réalité augmentée. Des étudiants de l'Université de New York City ont développé une application pour smartphone permettant une traduction en temps réel dans les deux sens.

La réalité augmentée est une technologie pleine de promesses pour la science et la société. Parmi les nombreux cas d'usage révolutionnaires que l'on peut imaginer pour l'AR, on compte notamment la possibilité de traduire le langage des signes. Ainsi, dans un futur proche, lorsque les lunettes comme Magic Leap One seront disponibles à la vente, il sera possible de recevoir une traduction orale instantanée en regardant une personne s'exprimer en langage des signes.

Le langage des signes traduit en temps réel par une application AR mobile

En attendant cette démocratisation des lunettes AR, des étudiants en informatique de la Tandon School of Engineering de l'Université de New York sont parvenus à créer une application en réalité augmentée pour smartphone proposant cette fonctionnalité. L'application ARSL a été développée par Heng Li, Jacky Chen, and Mingfei Huang dans le cadre du programme Connected Futures Prototyping and Talent Development. Organisé par le NYU Media Lab en partenariat avec Verizon, ce programme vise à investir dans les technologies émergentes comme la VR, l'AR et l'IA.

Encore au stade de prototype, l'application ARSL repose sur les technologies de vision par ordinateur et de réalité augmentée. Son principe est simple et efficace. Muni de son smartphone, l'utilisateur filme une personne s'exprimant en langage des signes. Sur l'écran, une traduction dans sa langue s'affiche en temps réel.

A l'inverse, l'application permet aussi de convertir le langage oral en langage des signes. Un tel logiciel pourrait s'avérer révolutionnaire pour les personnes atteintes de surdité et leur entourage. Heng Li a conscience qu'il ne s'agit que d'un début, mais espère que cette application viendra en aide aux personnes concernées et compte continuer à explorer les possibilités offertes par les nouvelles technologies en se basant sur leurs retours.

ARSL : une application créée par des étudiants de la NYU en partenariat avec Verizon

Comme l'explique Christian Egeler, le directeur de développement de produit XR d'Envrmnt, la plateforme de Verizon pour les solutions de réalité étendue, la communion entre les meilleurs étudiants et le laboratoire AR/VR d'Envrmnt permet de « faire de la magie ». Le responsable estime que c'est ainsi que les technologies de demain verront le jour.

De son côté, le directeur exécutif du NYC Media Lab, Justin Hendrix, est très satisfait des opportunités qu'offre Verizon à ses étudiants les plus talentueux. L'organisme va d'ailleurs continuer à explorer les possibilités offertes par la réalité augmentée, la réalité virtuelle et l'intelligence artificielle avec l'ouverture du premier Centre VR/AR financé publiquement.

L'application ARSL bientôt disponible sur iOS et Android ?

Au total, le programme Connected Futures Prototyping and Talent Development va financer une douzaine de projets en 2018. Parmi les autres applications financées, on compte l'application AR Impromptu permettant à tout un chacun de faire de la musique sans connaissances techniques. On peut aussi évoquer Dreamine, qui permet d'importer des créations au sein de jeux vidéo en réalité augmentée.

Pour l'heure, on ignore si ces applications seront proposées un jour sur l'App Store iOS ou le Google Play Store Android. Selon un porte-parole de Verizon, la commercialisation de ces applications n'est pas l'objectif de base du programme. Cependant, il est possible que certaines équipes participantes optent pour une commercialisation par la suite. ARSL pourrait en faire partie.