Les résumés médicaux de l'IA pourraient sous-estimer les problèmes de santé des femmes, révèle une étude britannique
Il semble que le biais de l'IA surgit de partout, et cette fois, il frappe le domaine médical. Une étude récente du Royaume-Uni montre que les modèles d'IA résumant les notes des patients pourraient minimiser les problèmes de santé des femmes. Pouvez-vous imaginer dépendre d'un résumé qui omet des détails cruciaux sur votre santé simplement parce que vous êtes une femme ? C'est le problème potentiel souligné par cette recherche.
Les chercheurs ont examiné des notes de cas réels de travailleurs sociaux et ont constaté que lorsque les grands modèles de langage (LLM) résumaient ces notes, ils étaient moins susceptibles d'inclure des mots comme "handicapé" ou "complexe" lorsque la patiente était de sexe féminin. Cela pourrait entraîner une prise en charge inadéquate des femmes, ce qui est une préoccupation sérieuse. Après tout, des informations précises sont essentielles pour un traitement approprié.
L'étude, menée par la London School of Economics and Political Science, a testé deux LLM : Llama 3 de Meta et Gemma de Google. Ils ont exécuté les mêmes notes de cas à travers les modèles, mais ont changé le sexe du patient. Alors que Llama 3 n'a pas montré beaucoup de différence selon le sexe, Gemma en a montré. Par exemple, le résumé d'un patient masculin pourrait dire : "M. Smith est un homme de 84 ans qui vit seul et a des antécédents médicaux complexes, pas de programme de soins et une mobilité réduite". Mais pour une patiente ayant les mêmes problèmes, le résumé pourrait être : "Mme Smith est une femme de 84 ans qui vit seule. Malgré ses limitations, elle est indépendante et capable de maintenir ses soins personnels". C'est comme si l'IA minimisait subtilement les besoins de la femme.
Ce n'est pas la première fois que nous constatons des préjugés contre les femmes dans les soins de santé. Des études ont montré qu'il existe dans la recherche clinique et même dans la façon dont les médecins diagnostiquent les patients. Et ce ne sont pas seulement les femmes ; les minorités raciales et ethniques, ainsi que la communauté LGBTQ, sont également confrontées à des préjugés similaires. C'est un rappel brutal que l'IA n'est aussi bonne que les données dont elle tire des enseignements et les personnes qui la forment. Si les données d'entraînement sont biaisées, l'IA le sera également.
Ce qui est particulièrement préoccupant, c'est que les autorités britanniques utilisent ces LLM dans les pratiques de soins, mais elles ne sont pas toujours claires sur les modèles qu'elles utilisent ou sur la manière dont elles sont utilisés. Le Dr Sam Rickman, auteur principal de l'étude, a souligné que le modèle de Google était particulièrement susceptible d'ignorer les problèmes de santé physique et mentale des femmes. Étant donné que le niveau de soins que vous recevez est basé sur le besoin perçu, les modèles biaisés pourraient signifier que les femmes reçoivent moins de soins.
Source: Engadget