Dans le cadre du projet européen GENESIS, porté par l’équipe BCI de l’Université de Lille (UMR CRIStAL) en collaboration avec Inria, ETH Zürich, Koç University et University of Essex, nous proposons une offre de thèse sur le sujet :

« Détection de neuromarqueurs par une Interface Cerveau-Ordinateur passive pour l’amélioration de l’expérience utilisateur en Réalité Virtuelle »

Si vous souhaitez candidater sur le sujet, merci de nous contacter par email dans un premier temps. La description du sujet de recherche est également disponible dans un document PDF.

Résumé

Cette thèse s’inscrit dans la confluence des deux domaines de recherche que sont les Interfaces Cerveau-Ordinateur (ICO) et la Réalité Virtuelle (RV).

Une ICO analyse l’activité cérébrale d’un utilisateur pour lui permettre d’interagir, sans action musculaire, avec un système informatique [1]. Conçues à l’origine pour aider les personnes affectées par un handicap moteur sévère, une nouvelle tendance se dessine en faveur de l’utilisation des ICO par un public plus large. Par exemple, grâce à des systèmes d’ICO passives, on peut obtenir de manière transparente des informations sur l’état mental des utilisateurs, afin par exemple d’estimer leur fatigue ou leur niveau d’implication dans une tâche [2].

D’un autre côté, la RV permet d’immerger les utilisateurs dans des environnements 3D générés par ordinateur. Cela permet d’opérer un contrôle total de l’environnement, de manière à ce que les utilisateurs se sentent présents, ou plus précisément immergés, dans l’espace virtuel. Cette immersion ouvre de nouveaux champs d’application, allant de la formation et de l’éducation aux réseaux sociaux et au divertissement [3]. Compte-tenu de l’intérêt croissant de la société et des investissements de grands groupes industriels, la RV est considérée comme une révolution majeure de l’interaction homme-machine.

A ce jour, la RV peine cependant à atteindre le niveau de démocratisation attendu et reste largement cantonnée à l’état d’expérience divertissante. Cela peut s’expliquer par la difficulté de caractériser l’état mental des utilisateurs pendant l’interaction et le manque d’adaptation inhérent à la présentation du contenu virtuel développé de manière générique. Des études ont par exemple montré que plusieurs utilisateurs peuvent avoir des ressentis très différents lorsqu’ils expérimentent un même système de RV [4].

De plus, environ 60% des utilisateurs peuvent souffrir de « cybersickness » [5], terme qui désigne l’ensemble des symptômes délétères pouvant survenir après une utilisation plus ou moins prolongée des systèmes de réalité virtuelle. Les utilisateurs peuvent aussi subir des ruptures de présence et d’immersion, en raison d’anomalies de rendu et d’interaction, qui peuvent conduire à une mauvaise sensation d’incarnation dans leurs avatars virtuels. Dans les deux cas, l’expérience de l’utilisateur peut être sévèrement affectée car l’expérience de la RV repose fortement, entre autres, sur les concepts de téléprésence et d’immersion.

Le but de cette thèse est d’étudier et de concevoir des systèmes de RV analysant l’activité électrophysiologique du cerveau d’un utilisateur, par le biais d’une ICO, pour améliorer l’immersion dans les environnements virtuels. L’objectif sera d’intégrer au système de RV de nouveaux moyens d’évaluer l‘état mental de l’utilisateur par la classification en temps-réel des données EEG. L’objectif final sera d’améliorer l’immersion des utilisateurs en réduisant ou en prévenant la cybersickness et en augmentant les niveaux d’incarnation grâce à l’adaptation en temps-réel du contenu virtuel aux états mentaux.

Contexte de travail

Les travaux liés à cette thèse s’effectueront au sein de l’équipe BCI du laboratoire CRIStAL (Université de Lille, CNRS). Depuis plus de dix ans, les chercheurs de l’équipe BCI étudient les possibilités offertes par les ICO pour compenser les handicaps moteurs sévères. Ils ont notamment évalué les apports potentiels des ICO hybrides, acquérant ainsi une solide expérience dans le traitement des données EEG, et dans la l’hybridation des ICO avec diverses technologies d’interaction. La thèse est financée dans le cadre du projet européen GENESIS, en partenariat avec Inria, ETH Zürich, Koç University et University of Essex.

Description des travaux

Dans le contexte du projet GENESIS, les travaux liés à cette thèse porteront essentiellement sur la mise en évidence, la caractérisation et la détection en temps-réel de marqueurs neurophysiologiques associés aux états mentaux des utilisateurs. L’étude bibliographique portera à la fois sur des aspects méthodologiques et sur des aspects théoriques. Dans un premier temps, il s’agira d’établir un état de l’art des différentes dimensions associées à l’expérience utilisateur en RV, des facteurs qui influencent leur perception ainsi que des marqueurs « offline » déjà mis en évidence. Ceci constituera la première étape en vue de la conception d’un protocole expérimental portant sur leur étude. Ce protocole expérimental qui se déroulera essentiellement dans un environnement virtuel, servira à la captation de données électroencéphalographiques (EEG) associées à différents états mentaux des utilisateurs de RV. L’analyse approfondie de ces données permettra de mettre en évidence l’existence de neuromarqueurs associés aux dimensions de l’expérience utilisateur, en particulier le sentiment d’incarnation et de cybersickness.

Cette analyse des données s’effectuera en utilisant des techniques du traitement de signal. De nouvelles méthodes spécifiques, s’appuyant par exemple sur les outils de la géométrie riemannienne, seront développées et validées en collaboration avec l’université de Koç et l’université d’Essex. Il faudra vérifier qu’il est possible de détecter en temps réel des changements neurophysiologiques en fonction des différents environnements et configurations virtuels, et donc de détecter automatiquement les changements dans l’expérience utilisateur et de l’évaluer objectivement. Cette évaluation est aujourd’hui principalement basée sur des questionnaires subjectifs, ou encore sur des données expérimentales moyennées. Nous visons à travers cette thèse, la proposition de nouvelles métriques objectives, capables d’évaluer en temps-réel l’évolution de la sensation d’incarnation ou le risque d’apparition de cybersickness. Enfin, l’objectif final sera de de tester différentes stratégies et mécanismes, basés sur la littérature en Interaction-Homme Machine et en collaboration avec ETH Zürich, permettant de réengager l’utilisateur dans son expérience ou de renforcer son sentiment d’incarnation en fonction des résultats obtenus par le modèle de quantification de ces derniers.

Compétences recherchées

Compétences techniques :

• Bases du traitement du signal et/ou de machine learning,
• Développement python/Matlab/R,
• Une expérience dans la réalisation d’expériences utilisateurs et l’analyse de données EEG ainsi que dans le développement Unity en C# seront appréciées.
• Des connaissances en sciences cognitives et/ou neurophysiologie sont un plus.

Langues : Français/Anglais

Contact

• Hakim Si-Mohammed (hakim[point]simohammed[At]univ-lille[point]fr)
• François Cabestaing (francois[point]cabestaing[At]univ-lille[point]fr)

Bibliographie

[1] Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., & Vaughan, T. M. (2002). Brain–computer interfaces for communication and control. Clinical neurophysiology, 113(6), 767-791.

[2] Zander, T. O., & Kothe, C. (2011). Towards passive brain–computer interfaces: applying brain–computer interface technology to human–machine systems in general. Journal of neural engineering, 8(2), 025005.

[3] Wexelblat, A. (Ed.). (2014). Virtual reality: applications and explorations. Academic Press.

[4] Dewez, D., Fribourg, R., Argelaguet, F., Hoyet, L., Mestre, D., Slater, M., & Lécuyer, A. (2019, October). Influence of personality traits and body awareness on the sense of embodiment in virtual reality. In 2019 IEEE International Symposium on Mixed and Augmented Reality (ISMAR) (pp. 123-134). IEEE.

[5] Weech, S., Kenny, S., & Barnett-Cowan, M. (2019). Presence and cybersickness in virtual reality are negatively related: a review. Frontiers in psychology, 10, 158.