Thèse de doctorat, 2024 (1)

Interactions humain-machine multimodales pour personnes alitées

Sujet de thèse pour doctorat d’informatique, équipe BCI, laboratoire CRIStAL, Université de Lille, campagne 2024

Thèse de doctorat 2024-2027 en informatique
Lieu : Lille (CRIStAL, CNRS, Université de Lille, à Villeneuve d’Ascq), équipe BCI
Directeur de thèse : José Rouillard (MdC HDR, CRIStAL, BCI, Université de Lille)
Financement : Bourse de l’université de Lille (en cours de demande)

Résumé : Ce sujet de thèse propose d’étudier des interactions humain-machine pour des personnes alitées, suite à un accident ou une maladie diminuant leurs capacités. Des patients ayant subi un accident ou souffrant d’une maladie dégénérative sont souvent alités et dépendants d’autres personnes ou de robots pour effectuer des tâches et communiquer avec leur entourage. Dans ces conditions, les moyens d’interactions classiques (clavier/souris) ne sont plus utilisables facilement et il faut mettre en oeuvre de nouvelles manières de proposer une communication adaptative et personnalisée entre le patient et la machine. Les interfaces orales, visuelles (suivi de regard, détection de postures, de gestes ou micro-gestes), voire les interfaces cerveaux-ordinateurs peuvent permettre à une personne alitée de communiquer (voir locked-in syndrome pour les cas les plus extrêmes, pour lesquels le patient ne peut absolument plus bouger ses muscles, ni communiquer oralement). Chaque cas nécessite un long travail de préparation et d’ajustement du système informatique. L’adaptation automatique du système est recherchée dans le cadre de ces travaux de thèse afin de permettre une personnalisation, non seulement au patient, mais aussi à son entourage et à l’évolution de sa pathologie.

Mots clés : multimodalité, interface utilisateur naturelle, santé, handicap, allongé

Contexte scientifique et économique

Malgré les progrès accomplis dans le domaine des interfaces humain-machine (IHM), mettre en oeuvre des solutions efficaces et utilisables au quotidien est un réel défi scientifique, technologique et sociétal. Les personnes dépendantes (à domicile, à l’hôpital, en maison médicalisées…) et/ou handicapées ont un besoin crucial de communication mais aucune solution simple, efficace, et facilement adaptable à leurs capacités physiques et cognitives n’est encore véritablement disponible. Lorsque ces utilisateurs sont alités, certains outils et technologies ne sont que partiellement utilisables. Par exemple, la partie occipitale du crâne repose souvent sur un oreiller et l’usage d’électrodes sur cette partie du cerveau est très difficile voire impossible. Il faut donc étudier d’autres moyens complémentaires pour établir une communication efficace avec le patient, et proposer des idées originales à explorer, comme la conception d’un oreiller adaptable incorporant des électrodes.

Nous préconisons dans cette thèse de doctorat en informatique l’étude de différentes modalités d’interaction qui pourront être utilisées successivement ou conjointement par un patient allongé sur un lit. Une approche multimodale (Coutaz et al. 1995) pourrait probablement améliorer les performances de communication en couplant des solutions endogènes et exogènes déjà connues, mais rarement utilisées simultanément (suivi de regard, parole, lorsque cela reste possible, détection de gestes et micro-gestes, détection d’intention de mouvements par électroencéphalogramme (EEG), magnétoencephalogramme (MEG), etc. (Corsi et al. 2018).

L’état du sujet dans le laboratoire d’accueil

L’équipe BCI (Brain-Computer Interface) du laboratoire CRIStAL s’intéresse notamment aux interfaces cerveau-ordinateur pour patients souffrants de lourds handicaps et/ou de maladies les empêchant d’utiliser des IHM classiques pour communiquer et agir sur le monde. Nous collaborons depuis de nombreuses années avec divers organismes dans le domaine de la santé (CHU de Lille, INSERM, laboratoire SCALAB…) afin d’étudier des solutions dans lesquelles des BCI non invasives sont utilisées. Les thèses d’Alban Duprès (2013-2016) (Duprès 2016) et de Jimmy Petit (2019-2022) (Petit 2022) ont permis d’avancer dans l’étude de BCI hybrides multimodales et l’exploitation des potentiels évoqués somesthésiques, en étudiant notamment les réponses cérébrales à des vibrations appliquées sur les poignets des patients. Le présent sujet de thèse vise à explorer d’autres pistes encore peu exploitées comme l’usage de différentes modalités d’interactions de manière synergique (visuelle, auditive, kinesthésique) afin de permettre au patient de retrouver de l’autonomie en dialoguant avec son entourage ou avec un robot assistant. Cela pourra se faire avec des partenaires de l’alliance européenne du cerveau et de la technologie¹, dans laquelle notre équipe de recherche et l’Université de Lille sont impliqués.

Objectifs visés et résultats escomptés

Il s’agit de modéliser et de concevoir une solution de dialogue humain-machine véritablement utilisable pour des personnes ne pouvant plus utiliser une unique modalité d’interaction. Le BCI sera une des solutions potentielles, à coupler avec d’autres moyens d’interagir, adaptables selon l’utilisateur, la session, le contexte, etc. Un démonstrateur sera réalisable, dans un premier temps au sein des salles d’interactions du laboratoire CRIStAL, puis testé en dehors du laboratoire (en fonction des disponibilités de nos partenaires, comme le CHU de Lille, ou la fondation Hopale² de Berck, par exemple).

Programme de travail prévisionnel

Première année :

État de l’art : Une étude bibliographique sera conduite par le/la candidat(e) afin de recenser l’état de l’art du domaine, pour ces utilisateurs alités, tant sur l’aspect traitement du signal, que sur l’aspect ergonomique des solutions actuellement proposées autour des interfaces utilisateur naturelles (Han et al. 2023), (Spandana et al 2021). Typiquement, il a été montré qu’un SSVEP est certes relativement facile à détecter sur la partie occipitale du crâne, mais que pour des patients alités, cette solution est difficile voire impossible à mettre en oeuvre.
Étude d’usage : Le/la candidat(e) devra ensuite se renseigner auprès de nos partenaires (Hub Santé, fondations et organismes de Santé, maisons médicalisées, etc.) à propos des usages et des technologies actuellement utilisés pour aider les patients à mobilité réduite et/ou utilisateurs dits empêchés (suite à un AVC, un accident, une maladie évolutive…) à effectuer diverses tâches, avec et sans l’aide d’un système informatisé (communiquer, demander de l’aide ponctuelle, de l’aide d’urgence, etc.).

Deuxième année :

Modélisation du système ; Protocole d’étude ; Étude préliminaire en laboratoire et développement

Troisième année :

Une expérimentation en laboratoire permettra de récolter des données et de vérifier si les hypothèses scientifiques avancées seront validées ou rejetées. Idéalement, une campagne d’expérimentation à l’extérieur du laboratoire sera menée (maisons médicalisées, domicile de patients…) afin de tester l’utilisabilité des solutions proposées in-situ. Publication des résultats scientifiques obtenus, rédaction de la thèse et préparation du projet professionnel de l’étudiant(e).

Candidature et compétences recherchées

Le/la candidat(e) retenu(e) doit être titulaire d’un Master M2 ou équivalent en informatique et devra montrer un grand intérêt à effectuer des recherches de haute qualité. Le candidat doit justifier d’une expérience ou d’un intérêt marqué dans le développement logiciel (Python, C#, JS, Firebase, MQTT, Node-RED Unity…) et les interactions humain-machine orientées santé. Des aptitudes en traitement du signal (EEG, EMG, etc.), fusion/fission de données et multimodalité seront un plus.

Créativité, autonomie, esprit d’équipe et sens de la communication sont des atouts précieux. Un bon niveau d’anglais technique et scientifique sera également apprécié.

Enfin, concernant la question de la laïcité, il est rappelé par le juriste de l’université de Lille, que le doctorant contractuel, qu’il soit ou non en situation d’enseigner, est assimilé à un agent public et ne peut donc pas manifester son appartenance religieuse, notamment en arborant un signe ou une tenue destiné à marquer son appartenance religieuse.

Si ce sujet de thèse vous intéresse, merci d’envoyer un e-mail de candidature le plus tôt possible à jose.rouillard@univ-lille.fr avec CV, lettre de motivation, relevés de notes ainsi que tout élément permettant d’apprécier votre candidature.

Bibliographie

Corsi MC, Chavez M, Schwartz D, Hugueville L, Khambhati AN, Bassett DS, De Vico Fallani F. Integrating EEG and MEG Signals to Improve Motor Imagery Classification in Brain-Computer Interface. Int J Neural Syst. 2019 Feb;29(1):1850014. Epub 2018 Apr 2. PMID: 29768971.
https://doi.org/10.1142/S0129065718500144.
Coutaz, J., Nigay, L., Salber, D., Blandford, A., May, J., & Young, R.M. (1995). Four easy pieces for assessing the usability of multimodal interaction: the CARE properties. INTERACT.
Duprès Alban. Interface cerveau-machine hybride pour pallier le handicap causé par la myopathie de Duchenne. Thèse de doctorat. Traitement du signal et de l’image. Université Lille 1 – Sciences et Technologies, 2016. https://hal.science/tel-01411217/file/these.pdf.
Toward a hybrid brain-machine interface for palliating motor handicap with Duchenne muscular dystrophy: A case report. Alban Duprès, François Cabestaing, José Rouillard, Vincent Tiffreau, Charles Pradeau Annals of Physical and Rehabilitation Medicine, Elsevier Masson, 2019, https://doi.org/10.1016/j.rehab.2019.07.005.
Han, Yi, Xiangliang Zhang, Ning Zhang, Shuguang Meng, Tao Liu, Shuoyu Wang, Min Pan, Xiufeng Zhang, and Jingang Yi. 2023. « Hybrid Target Selections by ”Hand Gestures + Facial Expression” for a Rehabilitation Robot » Sensors 23, no. 1: 237. https://doi.org/10.3390/s23010237.
Petit, Jimmy, Filtrage somesthésique pour des interfaces cerveau-ordinateur utilisant des stimulations vibro-tactiles, Thèse de doctorat, Université Lille, 2022. En langue anglaise. https://theses.hal.science/tel-04207062/file/These_PETIT_Jimmy.pdf.
Petit Jimmy, Rouillard José, Cabestaing François, EEG-based Brain-Computer Interfaces exploiting Steady-State Somatosensory-Evoked Potentials: A Literature Review. Journal of Neural Engineering, IOP Publishing, 2021, 18 (5), pp.051003. https://doi.org/10.1088/1741-2552/ac2fc4.
E. Spandana et al 2021, Care-giver alerting for bedridden patients using hand gesture recognition system, J. Phys.: Conf. Ser. 1921 012077 https://doi.org/10.1088/1742-6596/1921/1/012077.