Traduction automatique vers les pictogrammes

Traduction automatique du français vers les pictogrammes pour améliorer la communication entre médecins et patients avec une déficience intellectuelle en milieu hospitalier

L'objectif de cette thèse est d'explorer les façons dont la communication entre un médecin et un patient avec une Déficience Intellectuelle (DI) peut être améliorée à l'aide d'un système basé sur des pictogrammes. La communication entre médecins et patients est essentielle, car elle permet d'améliorer l'adhésion au traitement, l'état de santé des patients et leur qualité de vie. Ce type d'interactions peut toutefois entraîner diverses complications qui s'ancrent dans des problèmes de compréhension, en particulier, chez les personnes avec une DI. Nous étudions le recours à un système de communication reposant sur des pictogrammes dans le cadre de consultations médicales. Pour favoriser l'autodétermination des adultes avec une DI, nous évaluons leur compréhension de la langue médicale française lorsqu'elle prend la forme d'une traduction en pictogrammes. Nous proposons un cas d'utilisation original : nous adaptons au français Text-to-Picto, un système de traduction automatique du texte vers les pictogrammes, et l'enrichissons de manière à intégrer les pictogrammes Arasaac. Nous analysons ensuite les erreurs du système sur un corpus de phrases médicales, explorons diverses stratégies de simplification et de désambiguïsation automatiques, afin de proposer des explications médicales efficacement traduites en pictogrammes. La simplification et la désambiguïsation lexicale pour la traduction automatique du français vers les pictogrammes sont étudiées au travers d'une approche faisant appel au traitement automatique des langues : avec des règles, des ressources linguistiques et des modèles de langue (neuronaux, pré-entraînés, génératifs). Nos résultats sont comparables à l'état de l'art pour d'autres langues et montrent certaines améliorations par rapport à nos premières versions de Text-to-Picto. Dans le cadre de ces développements, nous avons créé plusieurs corpus d'évaluation, disponibles pour la recherche. Enfin, nous proposons deux études utilisateurs, qui évaluent la compréhension de pictogrammes isolés et de phrases en pictogrammes auprès d'adultes avec une DI. La première étude exploite des traductions générées par deux systèmes différents, Text-to-Picto et PictoDr, tandis que la deuxième se focalise sur la traduction d'une anamnèse dans le cadre du COVID-19. Les résultats montrent que plusieurs facteurs ont un impact significatif sur la compréhension.

Date

Octobre 2020 - Février 2025

Source de financement

Bourse FSR (2020-2021 et 2022-2024)

Équipe

Doctorante : Magali Norré (UCLouvain et Université de Genève)
Promoteurs : Prof. Thomas François (UCLouvain, ILC, CENTAL), Prof. Pierrette Bouillon (Université de Genève, FTI, TIM), Dr Vincent Vandeghinste (Instituut voor de Nederlandse Taal)

Quelques publications en lien avec le projet

Mutal, J., Bouillon, P., Norré, M., Gerlach, J. & Ormaechea, L. (2022). « A Neural Machine Translation Approach to Translate Text to Pictographs in a Medical Speech Translation System - The BabelDr Use Case », dans Proceedings of the 15th biennial conference of the Association for Machine Translation in the Americas (Volume 1: Research Track), Orlando, USA, pages 252–263. Association for Machine Translation in the Americas.

Norré, M., Vandeghinste, V., François, T. & Bouillon, P. (2022). « Investigating the Medical Coverage of a Translation System into Pictographs for Patients with an Intellectual Disability », dans Proceedings of the 9th Workshop on Speech and Language Processing for Assistive Technologies (SLPAT), Dublin, Irlande, pages 44-49. Association for Computational Linguistics (ACL).

Norré, M., Vandeghinste, V., Bouillon, P. & François, T. (2021). « Extending a Text-to-Pictograph system to French and to Arasaac », Proceedings of the International Conference on Recent Advances in Natural Language Processing (RANLP 2021), Varna, Bulgarie, pages 1050-1059.

Norré, M., Vandeghinste, V., Bouillon, P. & François, T. (2021). « Experiments for the adaptation of Text2Picto to French », 31st Meeting of Computational Linguistics in The Netherlands (CLIN 31), Gand, Belgique.

Norré, M., Bouillon, P., Gerlach, J. & Spechbach, H. (2021). « BabelDr : un système de traduction médicale avec des pictogrammes pour les patients allophones aux urgences et dans un secteur de dépistage COVID-19 », dans ATALA, La santé et le langage, France.

Norré, M., Bouillon, P., Gerlach, J. & Spechbach, H. (2021). « Evaluating the Comprehension of Arasaac and Sclera Pictographs for the BabelDr Patient Response Interface », dans Proceedings of 3rd Swiss Conference on Barrier-free Communication (BfC), Winterthur, Suisse, pages 55-63.

Norré, M., Bouillon, P., Gerlach, J. & Spechbach, H. (2020). « Évaluation de la compréhension de pictogrammes Arasaac et Sclera pour améliorer l'accessibilité du système de traduction médicale BabelDr », dans Actes de la 11e conférence de l'Institut Fédératif de Recherche sur les Aides Techniques pour personnes Handicapées (IFRATH). Technologies pour l'autonomie et l'inclusion, Paris, France, pages 177-182.

Toutes les publications de Magali Norré

2025
- Thèse
  
  Norré, Magali.
  
  Traduction automatique du français vers les pictogrammes pour améliorer la communication entre médecins et patients avec une déficience intellectuelle en milieu hospitalier, prom. : François, Thomas ; Bouillon, Pierrette ; Vandeghinste, Vincent, 12/02/2025.
  
  http://hdl.handle.net/2078.1/299070
2024
- Papier de conférence
  
  Segonne, Vincent ; Mannion, Aidant ; Alonzo Canul, Laura Cristina ; Audibert, Alexandre ; Liu, Xingyu ; Macaire, Cécile ; Pupier, Adrien ; Zhou, Yongxin ; Aguiar, Mathilde ; Herron, Felix ; Norré, Magali ; Amini, Massih-Reza ; Bouillon, Pierrette ; Eshkol-Taravella, Iris ; Esperança-Rodier, Emmanuelle ; François, Thomas ; Goeuriot, Lorraine ; Goulian, Jérôme ; Lafourcade, Mathieu ; Lecouteux, Benjamin ; Portet, François ; Ringeval, Fabien ; Vandeghinste, Vincent ; Coavoux, Maximin ; Dinarelli, Marco ; Schwab, Didier.
  
  Jargon : Une suite de modèles de langues et de référentiels d’évaluation pour les domaines spécialisés du français. JEP-TALN-RECITAL 2024 (Toulouse, France, du 08/07/2024 au 12/07/2024). In: Actes de la 31ème Conférence sur le Traitement Automatique des Langues Naturelles, volume 2 : traductions d'articles publiès, ATALA and AFPC, 2024, p. 9-10.
  
  http://hdl.handle.net/2078.1/290508
- Segonne, Vincent ; Mannion, Aidant ; Alonzo Canul, Laura Cristina ; Audibert, Alexandre ; Liu, Xingyu ; Macaire, Cécile ; Pupier, Adrien ; Zhou, Yongxin ; Aguiar, Mathilde ; Herron, Felix ; Norré, Magali ; Amini, Massih-Reza ; Bouillon, Pierrette ; Eshkol-Taravella, Iris ; Esperança-Rodier, Emmanuelle ; François, Thomas ; Goeuriot, Lorraine ; Goulian, Jérôme ; Lafourcade, Mathieu ; Lecouteux, Benjamin ; Portet, François ; Ringeval, Fabien ; Vandeghinste, Vincent ; Coavoux, Maximin ; Dinarelli, Marco ; Schwab, Didier.
  
  Jargon: A Suite of Language Models and Evaluation Tasks for French Specialized Domains. The 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING 2024) (Torino, Italia, du 20/05/2024 au 25/05/2024). In: Proceedings of the 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation, , p. 9463-9476 (2024).
  
  http://hdl.handle.net/2078.1/287780
- Norré, Magali ; Pham, Tran Hanh Trang ; Bouillon, Pierrette ; Vandeghinste, Vincent ; François, Thomas.
  
  Évaluation de la traduction en pictogrammes pour la communication médecin-patient par des adultes avec une déficience intellectuelle. Handicap 2024 (Paris, France, du 05/06/2024 au 07/06/2024). In: Proceedings de la 13e conférence de l'IFRATH sur les technologies d'assistance, IFRATH: Nancy, France, 2024. 978-2-9571218-3-0, p. 181-186.
  
  http://hdl.handle.net/2078.1/288009
2023
- Chapitre de livre
  
  Bouillon, Pierrette ; Gerlach, Johanna ; Norré, Magali ; Spechbach, Hervé.
  
  Enhancing Speech Translation in Medical Emergencies with Pictographs. In: Meng Ji, Pierrette Bouillon, Mark Seligman, Translation Technology in Accessible Health Communication (Studies in Natural Language Processing), Cambridge University Press: Cambridge, 2023, p. 129-151. 9781108938976. doi:10.1017/9781108938976.006.
  
  http://hdl.handle.net/2078.1/278208
- Papier de conférence
  
  Cardon, Rémi ; Bibal, Adrien ; Souza Wilkens, Rodrigo ; Alfter, David ; Norré, Magali ; Müller, Adeline ; Watrin, Patrick ; François, Thomas.
  
  Annotation Linguistique pour l'Évaluation de la Simplification Automatique de Textes. 18e Conférence en Recherche d'Information et Applications -- 16e Rencontres Jeunes Chercheurs en RI -- 30e Conférence sur le Tra (Paris, France, du 06/06/2023 au 09/06/2023). In: Actes de CORIA-TALN 2023. Actes de la 30e Conférence sur le Traitement Automatique des Langues Naturelles (TALN), volume 4 : art, ATALA: Paris, 2023. 0000000000, p. 35-48.
  
  http://hdl.handle.net/2078.1/275877
- Ormaechea Grijalba, Lucia ; Bouillon, Pierrette ; Coavoux, Maximin ; Esperança-Rodier, Emmanuelle ; Gerlach, Johanna ; Goulian, Jérôme ; Lecouteux, Benjamin ; Macaire, Cécile ; Mutal, Jonathan ; Norré, Magali ; Pupier, Adrien ; Schwab, Didier ; Spechbach, Hervé.
  
  PROPICTO : Développer des systèmes de traduction de la parole vers des séquences de pictogrammes pour améliorer l’accessibilité de la communication. 30ème Conférence sur le Traitement Automatique des Langues Naturelles (TALN/RÉCITAL) (Paris, France, du 05/06/2023 au 09/09/2023). In: Actes de CORIA-TALN 2023. Actes de la 30e Conférence sur le Traitement Automatique des Langues Naturelles (TALN), Vol. -, no.-, p. - (2023).
  
  http://hdl.handle.net/2078.1/278312
- Ormaechea Grijalba, Lucia ; Bouillon, Pierrette ; Coavoux, Maximin ; Esperança-Rodier, Emmanuelle ; Gerlach, Johanna ; Goulian, Jérôme ; Lecouteux, Benjamin ; Macaire, Cécile ; Mutal, Jonathan ; Norré, Magali ; Pupier, Adrien ; Schwab, Didier.
  
  PROPICTO: Developing Speech-to-Pictograph Translation Systems to Enhance Communication Accessibility. 24th Annual Conference of the European Association for Machine Translation (Tampere, Finland, du 12/06/2023 au 15/06/2023). In: Proceedings of the 24th Annual Conference of the European Association for Machine Translation, European Association for Machine Translation: Tampere, Finland, 2023. 978-952-03-2947-1, p. 515-516.
  
  http://hdl.handle.net/2078.1/277729
- Gerlach, Johanna ; Bouillon, Pierrette ; Norré, Magali ; Spechbach, Hervé.
  
  Translating Medical Dialogues into Pictographs: An Approach using UMLS. Medical Informatics Europe (MIE 2023) (Gothenburg, du 22/05/2023 au 25/05/2023). In: Studies in Health Technology and Informatics, Vol. 302, no.-, p. 823-824 (2023). doi:10.3233/SHTI230277.
  
  http://hdl.handle.net/2078.1/275131
- Norré, Magali ; Cardon, Rémi ; Vandeghinste, Vincent ; François, Thomas.
  
  Word Sense Disambiguation for Automatic Translation of Medical Dialogues into Pictographs. International Conference Recent Advances in Natural Language Processing (RANLP) (Varna, Bulgaria, du 04/09/2023 au 06/09/2023). In: Proceedings of the International Conference Recent Advances in Natural Language Processing (RANLP 2023), INCOMA Ltd.: Shoumen, Bulgaria, 2023. 978-954-452-092-2, p. 803-812.
  
  http://hdl.handle.net/2078.1/279101
2022
- Papier de conférence
  
  Mutal, Jonathan ; Bouillon, Pierrette ; Norré, Magali ; Gerlach, Johanna ; Ormaechea Grijalba, Lucia.
  
  A Neural Machine Translation Approach to Translate Text to Pictographs in a Medical Speech Translation System - The BabelDr Use Case. 15th Biennial Conference of the Association for Machine Translation in the Americas (Orlando, USA, du 12/09/2022 au 16/09/2022). In: Proceedings of the 15th Biennial Conference of the Association for Machine Translation in the Americas, Vol. 1, no.-, p. 252-263 (2022).
  
  http://hdl.handle.net/2078.1/265625
- Norré, Magali ; Vandeghinste, Vincent ; François, Thomas ; Bouillon, Pierrette.
  
  Investigating the Medical Coverage of a Translation System into Pictographs for Patients with an Intellectual Disability. Ninth Workshop on Speech and Language Processing for Assistive Technologies (SLPAT-2022) (Dublin, Ireland, 27/05/2022). In: Proceedings of the Ninth Workshop on Speech and Language Processing for Assistive Technologies (SLPAT-2022), ACL Anthology: Online, 2022. 978-1-955917-49-0, p. 44-49.
  
  http://hdl.handle.net/2078.1/261105
- Cardon, Rémi ; Bibal, Adrien ; Souza Wilkens, Rodrigo ; Alfter, David ; Norré, Magali ; Müller, Adeline ; Watrin, Patrick ; François, Thomas.
  
  Linguistic Corpus Annotation for Automatic Text Simplification Evaluation. EMNLP 2022 (Abu Dhabi, United Arab Emirates, du 07/12/2022 au 11/12/2022). In: Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, Association for Computational Linguistics: Abu Dhabi, United Arab Emirates, 2022, p. 1842–1866.
  
  http://hdl.handle.net/2078.1/268658
2021
- Papier de conférence
  
  Norré, Magali ; Bouillon, Pierrette ; Gerlach, Johanna ; Spechbach, Hervé.
  
  BabelDr : un système de traduction médicale avec des pictogrammes pour les patients allophones aux urgences et dans un secteur de dépistage COVID-19. Journée AFIA/TLH - ATALA : La santé et le langage (France (Online), 04/02/2021). In: TLH et Santé, p. 6-7 (2021).
  
  http://hdl.handle.net/2078.1/265619
- Norré, Magali ; Bouillon, Pierrette ; Gerlach, Johanna ; Spechbach, Hervé.
  
  Evaluating the Comprehension of Arasaac and Sclera Pictographs for the BabelDr Patient Response Interface. 3rd Swiss conference on barrier-free communication (BfC 2020) (Winterthur (online), du 29/06/2020 au 04/07/2020). In: Proceedings of the 3rd Swiss conference on barrier-free communication (BfC 2020), Winterthur : ZHAW Zürcher Hochschule für Angewandte Wissenschaften, 2021, p. 55-63. doi:10.21256/zhaw-3001.
  
  http://hdl.handle.net/2078.1/261696
- Norré, Magali ; Vandeghinste, Vincent ; Bouillon, Pierrette ; François, Thomas.
  
  Experiments for the adaptation of Text2Picto to French. 31st Meeting of Computational Linguistics in The Netherlands (CLIN 31) (Belgium (Online), 09/07/2021).
  
  http://hdl.handle.net/2078.1/258437
- Norré, Magali ; Vandeghinste, Vincent ; Bouillon, Pierrette ; François, Thomas.
  
  Extending a Text-to-Pictograph system to French and to Arasaac. Recent Advances in Natural Language Processing (Online, du 01/09/2021 au 07/09/2021). In: Proceedings of Recent Advances in Natural Language Processing, ACL Anthology: Online, 2021. 978-954-452-072-4, p. 1050-1059.
  
  http://hdl.handle.net/2078.1/255387
2020
- Article de journal
  
  Norré, Magali.
  
  Evaluation of a Word Prediction System in an Augmentative and Alternative Communication for Disabled People. In: Modelling, Measurement and Control C, Vol. 81, no. 1-4, p. 49-54 (2020). doi:10.18280/mmc_c.811-409.
  
  http://hdl.handle.net/2078.1/265605
- Papier de conférence
  
  François, Thomas ; Müller, Adeline ; Rolin, Eva ; Norré, Magali.
  
  AMesure: A Web Platform to Assist the Clear Writing of Administrative Texts. AACL (Suzhou, China, du 04/12/2020 au 07/12/2020). In: Proceedings of the 1st Confererence of the AACL: System Demonstrations, , p. 1-7 (2020).
  
  http://hdl.handle.net/2078.1/248164
- Norré, Magali ; Bouillon, Pierrette ; Gerlach, Johanna ; Spechbach, Hervé.
  
  Évaluation de la compréhension de pictogrammes Arasaac et Sclera pour améliorer l'accessibilité du système de traduction médicale BabelDr. 11e conférence de l'IFRATH sur les technologies d'assistance (Paris, France, du 04/11/2020 au 06/11/2020). In: Handicap 2020 : technologies pour l'autonomie et l'inclusion, Institut Fédératif de Recherche sur les Aides Techniques pour personnes Handicapées: Paris, France, 2020. 9782957121809, p. 177-182.
  
  http://hdl.handle.net/2078.1/265616
- Norré, Magali.
  
  Évaluation de la prédiction de mots dans un système de communication améliorée et alternative pour les personnes en situation de handicap : Presage et ACAT. 11e conférence de l'IFRATH sur les technologies d'assistance (Paris, France, du 04/11/2020 au 06/11/2020). In: Handicap 2020 : technologies pour l'autonomie et l'inclusion, Institut Fédératif de Recherche sur les Aides Techniques pour personnes Handicapées: Paris, France, 2020. 9782957121809, p. 183-188.
  
  http://hdl.handle.net/2078.1/265618

Menu

cental | Louvain-la-Neuve