NABU, le device qui décrypte la langue des signes

Learn2Launch (the Silicon Valley Innovation and Entrepreneurship Program) est un programme de 4 mois à UC Berkeley en partenariat avec l’Ecole Polytechnique. La promotion 2016 ? 40 étudiants ‘entrepreneurs’, d’horizons divers, venus apprendre comment lancer une startup. Parmi eux, Rashad Karanouh (Ecole Nationale des Ponts et Chaussées), Charlotte Moreau (SciencesPo) et leur projet NABU, un device qui s’attaque aux problèmes d’interaction dans la vie quotidienne des personnes sourdes, qui utilisent la langue des signes comme leur langue natale. Rencontre.

JPEG

En quoi votre projet, NABU, est-il disruptif ?

Dans les institutions, dans l’environnement du travail, … les moyens qui existent aujourd’hui pour pouvoir se faire comprendre relève un peu du bricolage. Prenons un exemple concret. Une personne souffrant de surdité va chez le médecin. Elle va avoir besoin d’interagir de façon très détaillée avec lui. Ecrire sur un téléphone ou sur un bout de papier limite l’échange. Avoir un interprète peut parfois poser des problèmes d’intimité, ou tout simplement de retranscription car cela reste une traduction. De plus, outre le fait que tout le monde ne peut pas se payer ce service d’interprétariat car ce sont des prestations qui coutent souvent cher, il y a aujourd’hui un gros manque d’interprètes... Nous, on veut leur permettre de s’exprimer dans leur langue natale (la langue des signes) avec une personne qui n’ait pas forcement les bases de cette langue. Notre solution à ce problème est un bracelet, disposé sur le poignet, capable de mapper les mouvements de la main, de connaître la position des doigts et de la main dans l’espace, afin d’en déduire la signification en langue des signes, et de la retranscrire ensuite de façon visuelle et auditive à la personne qui est en face.

Concrètement, comment ça marche ?

Le bracelet ressemble à un bracelet de montre. Il est connecté soit à un téléphone, soit aux infrastructures environnantes, ce qui permet à la personne de s’exprimer naturellement, sans souffrance ni effort de traduction d’un côté comme de l’autre. La personne peut s’exprimer dans sa langue natale et l’interlocuteur peut recevoir le message également dans sa langue. L’effort de traduction est délocalisé et 100% effectué par notre bracelet.

JPEG

Le fonctionnement de la main chez toutes les personnes est purement mécanique. Bouger un doigt, c’est venir tirer une ficelle, le tendon. Notre idée est de dire que toute l’information est mécanique et qu’elle va transiter par le tronçon qui est le poignet. On vient ponctionner l’information au niveau de ce tronçon là. Et on la retranscrit, un peu sur le même mode de ce qui se fait aujourd’hui en reconnaissance visuelle d’image. Nous voulons pouvoir appliquer ensuite les fameuses techniques de ‘machine learning’ qui sont fondamentalement intéressantes pour nous car elles sont de plus en plus précises et puissantes au fur et à mesure que nous agrégeons de la donnée.

PNG

Vu que les expressions du visage sont une composante de la langue des signes, comment votre bracelet les captera-t-il ?

En effet, au départ on s’était énormément concentré sur les mains, et en parlant à de nombreux professeurs, interprètes… on s’est aperçu qu’une grande partie de la syntaxe est dans le visage. Du coup, on réfléchit actuellement à comment capter ces données là. Par exemple, pourquoi pas disposer sur le bracelet des cameras infrarouge qui pourraient capter, sur le visage, les mouvements des sourcilles, de la bouche et de la tête…

La langue des signes n’est pas un langage universel. Comment abordez-vous ce problème ?

Il y a 163 différents langages des signes dans le monde, plus toutes les personnes qui ont leur propre langage. Les personnes sourdes et muettes passent 5% de leur temps entre eux à la synchronisation des signes « Je ne connais pas ce signe, qu’est-ce qu’il veut dire ? ». C’est une dimension que nous voulons intégrer dans notre conception du produit, en faire quelque chose qui soit personnalisable !

NABU, uniquement pour les personnes sourdes ?

Non. Par la suite, nous explorerons d’autres champs comme la réalité virtuelle, le monde médical en venant par exemple en support à des personnes qui ont une utilisation extrême de leurs mains, type les codeurs ou ceux qui écrivent énormément, le monde industriel avec des applications pour améliorer la qualité des lignes d’assemblages par ’monitoring’ des gestes, etc. Pour l’instant, nous avons cette technologie qui permet de voir où sont les mouvements de la main. On n’est pas les premiers à arriver sur la traduction du langage des signes, mais la façon de la faire est très différente. Le projet a commencé début 2016. Après le programme "Learn2Launch", on le continuera à Paris. NABU nous motive, on sent que nous pouvons avoir un véritable impact. C’est une belle aventure. Notre équipe est top, ce sera dommage de ne pas en profiter maintenant !

JPEG

Dernière modification : 19/12/2016

Haut de page