Le jeudi 26 janvier, 10h30 à 12h, amphithéâtre Turing, bâtiment M3

Séminaire de Nataliya Kos’myna

Co-Apprentissage pour Les Interfaces Cerveau-Ordinateur: de la Science Fiction à l’IHM

Les Interfaces Cerveau Ordinateur Actives (ICOs) permettent à une personne d’exercer un contrôle direct et volontaire sur un système informatique par interprétation de son activité cérébrale: certains signaux du cerveau sont capturés afin que le système reconnaisse des actions imaginées spécifiques (mouvements, images, concepts). Les ICOs et leurs utilisateurs doivent être entrainés. Cet entraînement rend les signaux plus aisés à reconnaître par le système.

Cependant, à l’heure actuelle les ICO servent principalement dans un contexte médical pour aider les personnes en situation de handicap (moteur, ou empêchant complètement la communication avec le monde extérieur) et se trouvent rarement en dehors de laboratoires spécialisés. Les ICO ont de nombreuses limitations:

• La variabilité dans les signaux: les signaux sont différents d’une personne à l’autre voire même chez un même individu à des moments différents.
• Des sessions d’entraînement longues et répétitives: entre dix minutes et deux mois, sont ennuyantes et désengagent les utilisateurs du processus d’apprentissage.
• Un feedback limité: les systèmes actuels proposent un feedback unimodal élémentaire qui est inadapté pour les nombreux utilisateurs. la communication est unidirectionnelle dans le sens où le système donne des instructions que l’utilisateur doit exécuter.

Je présenterai les solutions aux problèmes sus décrits afin d’obtenir une architecture consistante qui rendra les ICO plus compatibles avec les applications d’IHM. L’idée principale est l’implantation du co-apprentissage dans la boucle ICO et l’exploration de la manière dont les utilisateurs et le système peuvent mutuellement se donner du feedback dans le but de l’amélioration de l’utilisabilité des ICO.

Ma présentation se structure autour de trois axes suivants:

• Une architecture générale basée sur les principes des ICO asynchrones et sur l’entraînement incrémental combinés avec une séparation aveugle des sources et un classifier à distance minimum. J’évalue l’architecture sur une tache de pilotage de drone au long d’un mois et concluons qu’elle est en adéquation avec les besoins d’une utilisation quotidienne ludique.
• Une modalité de visualisation plus intuitive pour les résultats de classification ainsi que pour les caractéristiques de distance sur la base d’une projection en coordonnées de Wachspress pour un nombre arbitraire de classes. Je combine la visualisation avec un feedback direct des utilisateurs leur permettant d’interactivement changer la marge de classification, le type de distance où encore de trier et de gérer les signaux d’entraînement en temps réel. J’évalue cette contribution sur un jeu de tir simple et découvre qu’il y a une bonne synergie entre la modalité de visualisation et le feedback direct des utilisateurs et qu’une telle combinaison est bien plus agréable à utiliser qu’un entraînement d’ICO standard.
• Enfin, je développe une ICO fonctionnelle à base d’imagerie conceptuelle à l’aide de notre architecture ainsi que de nos systèmes de visualisation et de feedback, ce qui permet une interaction plus agréable au travers de l’imagination de catégories sémantiques et de concepts. Je démontre que ce type d’ICO détecte plus aisément les catégories sémantiques éloignées plutôt que les catégories sémantiques proches. Pour terminer, je propose un nouveau protocole d’entraînement implicite pour les ICO à base d’Imagerie Conceptuelle basé sur l’amorçage sémantique et conceptuel, ce qui permet d’intégrer l’entraînement dans le scénario et l’environnement d’une jeu vidéo DOOM 3 sans que l’utilisateur n’en soit conscient. Mon protocole mène à une meilleure immersion et à meilleur sentiment de flot vis à vis du jeu.