logo-ulillelogo-cristal

Déc 13 2023

Thèse de doctorat, 2024 (2)

inner speech detection

Détection de neuromarqueurs d’une tâche de parole intérieure par électro-encéphalographie: application à la détection d’hallucinations auditives verbales

Télécharger en PDF

Contexte

Les régions cérébrales impliquées dans la production de la parole ont été repérées dès le milieu du 19 siècle par Paul Broca, médecin et chercheur français, qui a d’ailleurs donné son nom à l’aire cérébrale principalement concernée. De nombreux marqueurs d’activité cérébrale (neuromarqueurs) corrélés à la réalisation de cette tâche peuvent être mis en évidence dans d’autres régions du cerveau, notamment dans l’aire de Wernicke qui est principalement associée à la compréhension du langage.

La “parole intérieure” est considérée comme une tâche très similaire à la production de parole, durant laquelle la parole est produite par simulation sans aller jusqu’à l’articulation (Rapin 2011). L’imagerie fonctionnelle par résonance magnétique (IRMf) permet de localiser avec une bonne précision les zones cérébrales activées lors de la réalisation d’une tâche de parole intérieure, sans aller toutefois jusqu’à pouvoir expliquer clairement les différents corrélats mentaux de cette tâche (Loevenbruck et al. 2019).

Du point de vue de l’activité cérébrale, certaines études tendent à montrer que les hallucinations auditives verbales (HAV) sont très similaires à la parole intérieure (Chung 2023). Les HAVs font partie des symptômes phasiques qui handicapent le plus les patients souffrant de troubles psychiatriques sévères, comme la schizophrénie. On considère qu’environ 25% des patients concernés ne voient pas d’amélioration de leurs symptômes quand ils reçoivent un traitement pharmacologique ou psychologique.

Récemment, de nouvelles voies thérapeutiques ont été envisagées par traiter les HAVs, parmi lesquelles le neurofeedback par IRMf (Fovet et al. 2016). L’activité cérébrale du patient est enregistrée en continu, analysée afin d’extraire des neuromarqueurs, dont certaines caractéristiques sont enfin transformées en informations sensorielles simples renvoyées au patient. Cela lui permet de reprendre le contrôle de son activité cérébrale, et donc potentiellement diminuer certains symptômes.

État des recherches dans les laboratoires CRIStAL et LILNCOG

Pour l’instant, les neuromarqueurs potentiellement utiles pour mettre en œuvre une boucle de neurofeedback sont obtenus en analysant des signaux IRMf. Alors même que les études cliniques sont encore en cours pour prouver son efficacité, ont sait déjà que l’utilisation de cette nouvelle approche thérapeutique sera très limitée du fait de la difficulté d’accès aux installations d’imagerie d’IRMf. Il est donc indispensable de commencer à envisager dès maintenant une autre modalité d’imagerie fonctionnelle, notamment l’électro-encéphalographie (EEG).

Le laboratoire “Lille Neuroscience et Cognition”, plus précisément l’équipe Plasticité et Subjectivité, est précurseur dans la spécification et la mise en œuvre de thérapies par neurofeedback basé IRMf. Des travaux récents menés dans cette équipe, notamment dans le projet ANR INTRUDE1, ont montré qu’il est possible de décoder en temps-réel l’activité cérébrale mesurée par IRMf. Ce décodage met en évidence les crises d’HAVs et ouvre ainsi la voie à une potentielle thérapie par neurofeedback.

L’équipe BCI du laboratoire CRIStAL est quant a elle spécialisée dans la spécification, la conception et la validation d’interfaces cerveau–ordinateur (ICO). Ces dispositifs permettent notamment à des personnes affectées par un handicap moteur sévère de conserver un canal de communication avec leur entourage quand elles ont perdu toute capacité à contrôler leur activité musculaire. Dans les ICO développées à CRIStAL, l’activité du cerveau est mesurée par des dispositifs simples d’EEG.

Les chercheurs des deux équipes se connaissent bien et ont déjà établi des liens de collaboration, notamment via le co-encadrement de la thèse de Candela Donantueno financée par le programme PEARL2 (Donantueno et al. 2023). Cette deuxième thèse de Doctorat, co-encadrée par des chercheurs des deux équipes, leur permettra de poursuivre concrètement cette collaboration, confortant le volet recherche associé à l’alliance NeurotechEU3 dont fait partie notre université.

Objectifs et déroulement de la thèse

L’objectif primaire de la thèse sera de montrer que l’imagerie fonctionnelle cérébrale par électro-encéphalographie permet de détecter des neuromarqueurs d’une tâche de parole imaginée. Si ce premier objectif est pleinement atteint, un objectif secondaire consistera à tester si les même neuromarqueurs, ou des neuromarqueurs similaires, permettent de détecter des phases d’hallucinations auditives verbales chez des patients schizophrènes.

Dans un premier temps, il s’agira de d’étudier l’état de l’art dans le domaine de l’analyse de la parole intérieure par EEG. L’analyse de la production de parole par EEG est un domaine qui a été particulièrement exploré durant les dernières années et la bibliographie est riche. En revanche, l’analyse de la parole intérieure a été réalisée principalement par IRM fonctionnelle. Seules quelques études ont déjà été menées dans le domaine de l’analyse de la parole intérieure, et il s’agira naturellement en premier lieu d’identifier toutes les méthodes existantes. En conclusion de l’analyse de l’état de l’art, il faudra sélectionner les approches qui permettent d’analyser précisément l’activité du cerveau dans des zones prédéfinies, en l’occurrence celles qui pourraient contribuer à la survenue d’épisodes d’HAVs. Une première comparaison des performances pourra être réalisée sur des données publiques pré-existantes (Nieto et al. 2022).

Il s’agira ensuite de réaliser une première étude expérimentale, menée sur des sujets témoins, qui devra permettre de vérifier que la ou les méthodes d’analyse de l’EEG permettent de détecter correctement les phases d’une tâche de parole intérieure. Selon les besoins identifiés durant l’analyse de l’état de l’art, les tâches réalisées par les sujets pourront intégrer ou pas une interaction verbale avec une autre personne et/ou un avatar (Loevenbruck et al. 2019). Le/La candidate devra rédiger le protocole expérimental et se charger de la faire valider par le comité d’éthique de la recherche de l’Université de Lille. Les données enregistrées lors de cette expérimentation devront si possible être rendues publiques afin de servir de base de comparaison de différentes méthodes de traitement de l’EEG.

Si cette première étude permet d’identifier des neuromarqueurs fiables, résultant d’algorithmes de traitement des signaux EEG pouvant être exécutés en temps-réel, une deuxième étude expérimentale pourra être envisagée. Cette deuxième étude expérimentale intégrerait à la fois des sujets témoins et des patients.

Pré-requis

La personne recrutée pour préparer cette thèse de Doctorat devra disposer d’un diplôme de Master, ou équivalent à Bac+5 conférant un grade de Master, autorisant une inscription à l’École Doctorale MADIS. Ce diplôme devra correspondre à des spécialités de Master situées dans le périmètre de l’automatique, de l’informatique industrielle, du traitement du signal et des images, des neurosciences computationnelles, de l’informatique ou de l’intelligence artificielle.

Le/La candidat(e) retenu(e) devra disposer de compétences solides en programmation, notamment sous Python mais pas uniquement, qui lui permettront d’exploiter rapidement des bibliothèques d’analyse de signaux et de classification déjà disponibles.

Une aptitude à mener des recherches en suivant une approche expérimentale, acquise durant un projet ou un stage et attestée par au moins une lettre de recommandation, sera un atout. Bien évidemment, la créativité, l’autonomie, l’esprit d’équipe et le sens de la communication sont également des atouts précieux.

Concernant la question de la laïcité, il est rappelé par le juriste de l’université de Lille, que le doctorant contractuel, qu’il soit ou non en situation d’enseigner, est assimilé à un agent public et ne peut donc pas manifester son appartenance religieuse, notamment en arborant un signe ou une tenue destiné à marquer son appartenance religieuse.

Enfin, le travail de recherche sera mené dans une zone à régime restrictif (ZRR) d’accès au sens de l’article R413-5-1 du code pénal ou une unité sensible. Votre nomination et/ou affectation ne pourront intervenir, selon votre situation, qu’après avis de la part du Haut Fonctionnaire de Défense et de Sécurité (HFDS).

Bibliographie

  1. Chung, K. H. L. 2023. “Who Is Talking Inside My Head? Establishing the Neurophysiological Basis of Inner Speech and Its Relation to Auditory Verbal Hallucinations.” PhD thesis, University of New South Wales, Sydney. https://doi.org/10.26190/unsworks/24885.

  2. Donantueno, C., P. Yger, F. Cabestaing, and R. Jardri. 2023. “fMRI-Based Neurofeedback Strategies and the Way Forward to Treating Phasic Psychiatric Symptoms.” Frontiers in Neuroscience 17. https://doi.org/10.3389/fnins.2023.1275229.

  3. Fovet, T., N. Orlov, M. Dyck, P. Allen, K. Mathiak, and R. Jardri. 2016. “Translating Neurocognitive Models of Auditory-Verbal Hallucinations into Therapy: Using Real-Time fMRI-Neurofeedback to Treat Voices.” Frontiers in Psychiatry 7. https://doi.org/10.3389/fpsyt.2016.00103.

  4. Loevenbruck, H., R. Grandchamp, L. Rapin, M. Perrone‐Bertolotti, C. Pichat, C. Haldin, E. Cousin, et al. 2019. “Neural Correlates of Inner Speaking, Imitating and Hearing: An fMRI Study.” In Proceedings of the 19th International Congress of Phonetic Sciences. https://hal.science/hal-02367806.

  5. Nieto, N., V. Peterson, H.-L. Rufiner, J.-E. Kamienkowski, and Spies R. 2022. “Thinking Out Loud, an Open-Access Eeg-Based Bci Dataset for Inner Speech Recognition.” Nature Scientific Data 9. https://doi.org/10.1038/s41597-022-01147-2.

  6. Rapin, L. 2011. “Hallucinations Auditives Verbales et Langage Intérieur Dans La Schizophrénie: Traces Physiologiques et Bases Cérébrales.” PhD thesis, Université de Grenoble. https://theses.hal.science/tel-00613573.

Liens

  1. https://anr.fr/Projet-ANR-16-CE37-0015
  2. http://www.isite-ulne.fr/index.php/fr/programme-for-early-stage-researchers-in-lille-pearl/
  3. https://theneurotech.eu/

Déc 09 2023

Thèse de doctorat, 2024 (1)

Interactions humain-machine multimodales pour personnes alitées

Sujet de thèse pour doctorat d’informatique, équipe BCI, laboratoire CRIStAL, Université de Lille, campagne 2024

  • Thèse de doctorat 2024-2027 en informatique
  • Lieu : Lille (CRIStAL, CNRS, Université de Lille, à Villeneuve d’Ascq), équipe BCI
  • Directeur de thèse : José Rouillard (MdC HDR, CRIStAL, BCI, Université de Lille)
  • Financement : Bourse de l’université de Lille (en cours de demande)

Résumé : Ce sujet de thèse propose d’étudier des interactions humain-machine pour des personnes alitées, suite à un accident ou une maladie diminuant leurs capacités. Des patients ayant subi un accident ou souffrant d’une maladie dégénérative sont souvent alités et dépendants d’autres personnes ou de robots pour effectuer des tâches et communiquer avec leur entourage. Dans ces conditions, les moyens d’interactions classiques (clavier/souris) ne sont plus utilisables facilement et il faut mettre en oeuvre de nouvelles manières de proposer une communication adaptative et personnalisée entre le patient et la machine. Les interfaces orales, visuelles (suivi de regard, détection de postures, de gestes ou micro-gestes), voire les interfaces cerveaux-ordinateurs peuvent permettre à une personne alitée de communiquer (voir locked-in syndrome pour les cas les plus extrêmes, pour lesquels le patient ne peut absolument plus bouger ses muscles, ni communiquer oralement). Chaque cas nécessite un long travail de préparation et d’ajustement du système informatique. L’adaptation automatique du système est recherchée dans le cadre de ces travaux de thèse afin de permettre une personnalisation, non seulement au patient, mais aussi à son entourage et à l’évolution de sa pathologie.

Mots clés : multimodalité, interface utilisateur naturelle, santé, handicap, allongé

Contexte scientifique et économique

Malgré les progrès accomplis dans le domaine des interfaces humain-machine (IHM), mettre en oeuvre des solutions efficaces et utilisables au quotidien est un réel défi scientifique, technologique et sociétal. Les personnes dépendantes (à domicile, à l’hôpital, en maison médicalisées…) et/ou handicapées ont un besoin crucial de communication mais aucune solution simple, efficace, et facilement adaptable à leurs capacités physiques et cognitives n’est encore véritablement disponible. Lorsque ces utilisateurs sont alités, certains outils et technologies ne sont que partiellement utilisables. Par exemple, la partie occipitale du crâne repose souvent sur un oreiller et l’usage d’électrodes sur cette partie du cerveau est très difficile voire impossible. Il faut donc étudier d’autres moyens complémentaires pour établir une communication efficace avec le patient, et proposer des idées originales à explorer, comme la conception d’un oreiller adaptable incorporant des électrodes.

Nous préconisons dans cette thèse de doctorat en informatique l’étude de différentes modalités d’interaction qui pourront être utilisées successivement ou conjointement par un patient allongé sur un lit. Une approche multimodale (Coutaz et al. 1995) pourrait probablement améliorer les performances de communication en couplant des solutions endogènes et exogènes déjà connues, mais rarement utilisées simultanément (suivi de regard, parole, lorsque cela reste possible, détection de gestes et micro-gestes, détection d’intention de mouvements par électroencéphalogramme (EEG), magnétoencephalogramme (MEG), etc. (Corsi et al. 2018).

L’état du sujet dans le laboratoire d’accueil

L’équipe BCI (Brain-Computer Interface) du laboratoire CRIStAL s’intéresse notamment aux interfaces cerveau-ordinateur pour patients souffrants de lourds handicaps et/ou de maladies les empêchant d’utiliser des IHM classiques pour communiquer et agir sur le monde. Nous collaborons depuis de nombreuses années avec divers organismes dans le domaine de la santé (CHU de Lille, INSERM, laboratoire SCALAB…) afin d’étudier des solutions dans lesquelles des BCI non invasives sont utilisées. Les thèses d’Alban Duprès (2013-2016) (Duprès 2016) et de Jimmy Petit (2019-2022) (Petit 2022) ont permis d’avancer dans l’étude de BCI hybrides multimodales et l’exploitation des potentiels évoqués somesthésiques, en étudiant notamment les réponses cérébrales à des vibrations appliquées sur les poignets des patients. Le présent sujet de thèse vise à explorer d’autres pistes encore peu exploitées comme l’usage de différentes modalités d’interactions de manière synergique (visuelle, auditive, kinesthésique) afin de permettre au patient de retrouver de l’autonomie en dialoguant avec son entourage ou avec un robot assistant. Cela pourra se faire avec des partenaires de l’alliance européenne du cerveau et de la technologie1, dans laquelle notre équipe de recherche et l’Université de Lille sont impliqués.

Objectifs visés et résultats escomptés

Il s’agit de modéliser et de concevoir une solution de dialogue humain-machine véritablement utilisable pour des personnes ne pouvant plus utiliser une unique modalité d’interaction. Le BCI sera une des solutions potentielles, à coupler avec d’autres moyens d’interagir, adaptables selon l’utilisateur, la session, le contexte, etc. Un démonstrateur sera réalisable, dans un premier temps au sein des salles d’interactions du laboratoire CRIStAL, puis testé en dehors du laboratoire (en fonction des disponibilités de nos partenaires, comme le CHU de Lille, ou la fondation Hopale2 de Berck, par exemple).

Programme de travail prévisionnel

Première année :

  • État de l’art : Une étude bibliographique sera conduite par le/la candidat(e) afin de recenser l’état de l’art du domaine, pour ces utilisateurs alités, tant sur l’aspect traitement du signal, que sur l’aspect ergonomique des solutions actuellement proposées autour des interfaces utilisateur naturelles (Han et al. 2023), (Spandana et al 2021). Typiquement, il a été montré qu’un SSVEP est certes relativement facile à détecter sur la partie occipitale du crâne, mais que pour des patients alités, cette solution est difficile voire impossible à mettre en oeuvre.
  • Étude d’usage : Le/la candidat(e) devra ensuite se renseigner auprès de nos partenaires (Hub Santé, fondations et organismes de Santé, maisons médicalisées, etc.) à propos des usages et des technologies actuellement utilisés pour aider les patients à mobilité réduite et/ou utilisateurs dits empêchés (suite à un AVC, un accident, une maladie évolutive…) à effectuer diverses tâches, avec et sans l’aide d’un système informatisé (communiquer, demander de l’aide ponctuelle, de l’aide d’urgence, etc.).

Deuxième année :

  • Modélisation du système ; Protocole d’étude ; Étude préliminaire en laboratoire et développement

Troisième année :

Une expérimentation en laboratoire permettra de récolter des données et de vérifier si les hypothèses scientifiques avancées seront validées ou rejetées. Idéalement, une campagne d’expérimentation à l’extérieur du laboratoire sera menée (maisons médicalisées, domicile de patients…) afin de tester l’utilisabilité des solutions proposées in-situ. Publication des résultats scientifiques obtenus, rédaction de la thèse et préparation du projet professionnel de l’étudiant(e).

Candidature et compétences recherchées

Le/la candidat(e) retenu(e) doit être titulaire d’un Master M2 ou équivalent en informatique et devra montrer un grand intérêt à effectuer des recherches de haute qualité. Le candidat doit justifier d’une expérience ou d’un intérêt marqué dans le développement logiciel (Python, C#, JS, Firebase, MQTT, Node-RED Unity…) et les interactions humain-machine orientées santé. Des aptitudes en traitement du signal (EEG, EMG, etc.), fusion/fission de données et multimodalité seront un plus.

Créativité, autonomie, esprit d’équipe et sens de la communication sont des atouts précieux. Un bon niveau d’anglais technique et scientifique sera également apprécié.

Enfin, concernant la question de la laïcité, il est rappelé par le juriste de l’université de Lille, que le doctorant contractuel, qu’il soit ou non en situation d’enseigner, est assimilé à un agent public et ne peut donc pas manifester son appartenance religieuse, notamment en arborant un signe ou une tenue destiné à marquer son appartenance religieuse.

Si ce sujet de thèse vous intéresse, merci d’envoyer un e-mail de candidature le plus tôt possible à jose.rouillard@univ-lille.fr avec CV, lettre de motivation, relevés de notes ainsi que tout élément permettant d’apprécier votre candidature.

Bibliographie

  1. Corsi MC, Chavez M, Schwartz D, Hugueville L, Khambhati AN, Bassett DS, De Vico Fallani F. Integrating EEG and MEG Signals to Improve Motor Imagery Classification in Brain-Computer Interface. Int J Neural Syst. 2019 Feb;29(1):1850014. Epub 2018 Apr 2. PMID: 29768971.
    https://doi.org/10.1142/S0129065718500144.

  2. Coutaz, J., Nigay, L., Salber, D., Blandford, A., May, J., & Young, R.M. (1995). Four easy pieces for assessing the usability of multimodal interaction: the CARE properties. INTERACT.

  3. Duprès Alban. Interface cerveau-machine hybride pour pallier le handicap causé par la myopathie de Duchenne. Thèse de doctorat. Traitement du signal et de l’image. Université Lille 1 – Sciences et Technologies, 2016. https://hal.science/tel-01411217/file/these.pdf.

  4. Toward a hybrid brain-machine interface for palliating motor handicap with Duchenne muscular dystrophy: A case report. Alban Duprès, François Cabestaing, José Rouillard, Vincent Tiffreau, Charles Pradeau Annals of Physical and Rehabilitation Medicine, Elsevier Masson, 2019, https://doi.org/10.1016/j.rehab.2019.07.005.

  5. Han, Yi, Xiangliang Zhang, Ning Zhang, Shuguang Meng, Tao Liu, Shuoyu Wang, Min Pan, Xiufeng Zhang, and Jingang Yi. 2023. « Hybrid Target Selections by ”Hand Gestures + Facial Expression” for a Rehabilitation Robot » Sensors 23, no. 1: 237. https://doi.org/10.3390/s23010237.

  6. Petit, Jimmy, Filtrage somesthésique pour des interfaces cerveau-ordinateur utilisant des stimulations vibro-tactiles, Thèse de doctorat, Université Lille, 2022. En langue anglaise. https://theses.hal.science/tel-04207062/file/These_PETIT_Jimmy.pdf.

  7. Petit Jimmy, Rouillard José, Cabestaing François, EEG-based Brain-Computer Interfaces exploiting Steady-State Somatosensory-Evoked Potentials: A Literature Review. Journal of Neural Engineering, IOP Publishing, 2021, 18 (5), pp.051003. https://doi.org/10.1088/1741-2552/ac2fc4.

  8. E. Spandana et al 2021, Care-giver alerting for bedridden patients using hand gesture recognition system, J. Phys.: Conf. Ser. 1921 012077 https://doi.org/10.1088/1742-6596/1921/1/012077.

Liens

  1. https://newsroom.univ-lille.fr/actualite/rencontre-des-presidents-duniversites-de-neurotecheu
  2. http://www.fondation-hopale.org