Pour la première fois, une intelligence artificielle pourrait traduire en direct la langue des signes. Intégré directement dans le smartphone, ce logiciel, créé par Google, est actuellement en cours de perfectionnement.
C’est une première dans la communication technologique ! Des millions de personnes à travers le monde utilisent la langue des signes comme moyen de communication – parents, éducateurs, étudiants. Mais les outils numériques sur cette langue étaient peu nombreux.
Pour l’instant,, il est seulement possible d’apprendre à signer grâce à des applications telles qu’Elix (incontournable pour apprendre les bases de la langue), Bébé Signe (pour les bébés et les enfants) ou encore SignEveil, (basée sur des petites animations 3D).
Mais Google est actuellement en train de développer un logiciel permettant de traduire en direct cette langue à part entière. L’intelligence artificielle élaborera un système de suivi de doigts, capable d’interpréter les mouvements des mains, via la caméra intégrée au smartphone.
Jusque là, ce genre de fonctionnalité n’était disponible que sur certains ordinateurs. Selon Valentin Bazarevsky et Fan Zhang, les chercheurs à l’origine du projet, leur « méthode permet d’obtenir les performances en temps réel sur un téléphone mobile ».
21 points enregistrés
Afin d’élaborer ce logiciel, Google a récupéré et répertorié plus de 30 000 clichés de mains dans des positions différentes avec des éclairages variés. Après avoir sélectionné 21 points de référence de la main, le logiciel pour s’appuyer sur sa mémoire pour en traduire le sens.
Mais la difficulté à laquelle se sont heurté les chercheurs a surtout résidé dans la reconnaissance de ces points. Selon Valentin Bazarevsky et Fan Zhang, chaque individu a sa propre agilité et vitesse pour signer. « La perception des mains en temps réel est une tâche complexe car les mains s’ouvrent se ferment rapidement », précisent les chercheurs. Et le logiciel doit pouvoir s’adapter à ces nuances afin de traduire au plus près la conversation de l’interlocuteur.
Détecter les expressions du visage aussi
De plus le langage des signes ne s’arrête pas aux mouvements des mains. Il passe aussi par des expressions du visage. C’est le point sur lequel planchent avec le plus d’énergie les chercheurs. Ils expliquent que, pour l’instant, l’algorithme n’est encore qu’une « base à la compréhension de la langue des signes ».
Du travail en perspective pour ces développeurs, donc. Reste que ce logiciel pourrait à changer radicalement le quotidien des personnes dont la langue des signes est le seul mode de communication.