Intelligence artificielle, conséquences réelles
L’intelligence artificielle reproduit les biais humains, puisqu’elle est généralement entrainée sur des données biaisées. Mais l’IA peut aussi servir à mesurer et essayer de contrer les biais humains. Des chercheurs expliquent « comment l’IA générative pourrait aider à améliorer la prise en charge » des patients aux urgences.
L’Institut national de la santé et de la recherche médicale (Inserm) revient sur une étude publiée dans Proceedings of Machine Learning Research (PMLR). Elle est signée par des chercheurs de l’université de Bordeaux, qui se sont basés sur des données du CHU du chef-lieu de la Nouvelle-Aquitaine.
Des biais pendant le triage aux urgences de l’hôpital
L’Inserm explique, en guise d’introduction, que « les biais cognitifs humains peuvent particulièrement impacter la prise de décision lorsque celle-ci doit être rapide, en particulier lorsqu’elle présente un enjeu vital, comme lors de la prise en charge médicale aux urgences par exemple ». L’Institut ajoute que « les nouveaux algorithmes d’IA générative peuvent être mis à profit pour identifier et comprendre les biais cognitifs humains ».
Ce dont parle l’étude du jour sont des « raccourcis cognitifs » qui arrivent lorsque des personnes doivent se former une opinion ou prendre une décision « à partir d’une information incomplète ou peu nuancée ». Les biais sont toujours un peu les mêmes dans ce genre de situation – sexe/genre, l’âge, l’ethnie… – « et conduire à sous-estimer ou à surestimer la sévérité de l’état d’une personne ».
Les chercheurs ont voulu identifier ces biais et voir comment ils pouvaient diminuer leur impact. Ils ont pour cela utilisé une intelligence artificielle générative, sur un cas précis : le triage des patients aux urgences médicales. Pour une fois, elle ne va pas reproduire les biais des humains, mais au contraire tenter de les identifier.
Un enjeu doublement critique
L’équipe de recherche était dirigée par Emmanuel Lagarde (directeur de recherche Inserm). L’enjeu du triage aux urgences peut être critique : « la sous-estimation d’une urgence qui reporterait la prise en charge peut entraîner la dégradation du pronostic d’un patient. A contrario, surestimer la gravité de l’état de la personne peut entraîner une surutilisation de ressources qui peut être particulièrement préjudiciable en cas d’affluence forte ».
La première phase de l’opération est classique : entraîner l’intelligence artificielle à trier les patients arrivant aux urgences en se basant sur leur dossier, « reproduisant ainsi les éventuels biais cognitifs du personnel infirmier en charge de ce triage ». 480 000 entrées aux urgences du CHU de Bordeaux (entre janvier 2013 et décembre 2021) ont ainsi été analysées.
Les données disponibles
Les données comprennent notamment la date et heure l’admission, le sexe du patient, le motif d’arrivée aux urgences, l’historique et les antécédents médicaux, des signes vitaux (fréquence cardiaque, fréquence respiratoire et pression artérielle, entre autres) ainsi que le score de triage associé.
On retrouve également des informations relatives au personnel soignant au triage, notamment leur sexe, le nombre d’années d’expérience et s’ils ont reçu une formation spécialisée. Un exemple est donné :
Une IA évalue les patients « comme le ferait le soignant »
Une fois la phase d’apprentissage terminé, le modèle (un LLM de « taille moyenne ») était donc capable d’évaluer la sévérité de l’état du patient, « comme le ferait le soignant ».
Les chercheurs expliquent avoir testé Mistral 7B, BioMistral 7B Labrak, Mixtral 8x7B 3 et Llama 3 8B. Selon la publication scientifique, « Mistral 7B et Llama 3 8B sont capables d’imiter le triage d’urgence humain avec une précision satisfaisante ».
L’IA refait les calculs sur des dossiers « maquillés »
La seconde phase peut alors commencer : le dossier est « maquillé » en modifiant le genre du patient. Le modèle attribuait alors un nouveau score de sévérité. La différence entre les deux scores permet d’estimer le biais cognitif dû au genre.
Le résultat ne devrait pas surprendre grand monde :
« Les résultats ont montré un biais significatif de l’IA au détriment des femmes : à dossiers cliniques identiques, la sévérité de leur état avait tendance à être sous-évaluée par rapport à celle des hommes (environ 5 % étaient classées « moins critiques » tandis que 1,81 % étaient classées comme « plus critiques »). A contrario, la sévérité de l’état des hommes avait tendance à être légèrement surévaluée (« plus critiques » pour 3,7 % contre 2,9 % « moins critiques ») ».
D’autres conclusions intéressantes émanent de cette étude : « Ce biais est plus prononcé chez les infirmières ou lorsque les patients signalent des niveaux de douleur plus élevés, mais il diminue avec l’expérience du personnel soignant ».
Les chercheurs en arrivent à la conclusion que « les grands modèles de langage peuvent aider à détecter et à anticiper les biais cognitifs humains », c’est en tout cas ce qu’affirme Emmanuel Lagarde. Et s’ils y arrivent si bien, c’est qu’ils « sont capables d’identifier et de reproduire les biais qui guident la prise de décision humaine », ajoute Ariel Guerra-Adames, doctorant et premier auteur des travaux.
Ce n’est que le début, d’autres biais à analyser
Ce n’est que la première étape de l’étude, la suivante portera sur d’autres biais comme l’âge et le groupe ethnique des patients. « À terme, le système devrait également être affiné avec l’introduction de variables non verbales (expressions faciales, ton de la voix) qui n’apparaissent pas nécessairement dans les données écrites et peuvent être pourtant critiques dans la prise de décision », précise l’Inserm.
Pour l’open source et la reproductivité de l’étude, on repassera. Les données ne sont pas partagées pour des questions de confidentialité des patients et de l’accord des chercheurs avec le CHU de Bordeaux, peut-on lire dans l’étude. « Même chose pour le code, car certains des principaux scripts contiennent également des informations sensibles ».
Ce n’est pas la première fois que l’intelligence artificielle générative trouve son utilité dans le domaine médical. Nous en parlions récemment sur Next.