Thomas Guyet — Concrètement, on parle d’explicabilité d’un système d’IA quand il est capable d’expliquer comment a été construite sa décision. Or, les explications données aujourd’hui ne conviennent pas toujours aux professionnels de santé, trop mathématiques ou à l’inverse trop simplistes. C’est donc un enjeu réel à relever, mais je pense que c’est une étape transitoire.
Certes, l’explicabilité est nécessaire pour l’acceptabilité des outils, parce que les médecins ont besoin de comprendre pourquoi le système d’IA leur donne tel conseil, propose tel diagnostic, ou détecte telle anomalie. Mais quand un outil est fiable et performant, et qu’on a pris l’habitude de l’utiliser, on finit par ne plus avoir besoin de réfléchir aux mécanismes qui se cachent derrière. Prenons l’exemple d’une voiture. On ne s’interroge plus sur le fonctionnement de la direction assistée quand on conduit depuis des années.
Ce qui restera indispensable en revanche, c’est l’explicabilité dans les cas de dysfonctionnement, au moins pour des raisons légales, afin de comprendre ce qui a mal tourné ou au contraire, ce qui a bien marché, quand on est surpris positivement par un résultat.
Naoual Bakrin — Je partage cette analyse, mais je veux la nuancer avec mon regard de médecin. L’explicabilité est pour moi un critère d’adoption et de confiance nécessaire, mais non suffisant. Surtout, il convient de distinguer les catégories d’applications. Pour les outils d’aide à la décision médicale, c’est une exigence éthique liée à la responsabilité, puisque le médecin est toujours responsable de ses décisions, devant son patient et devant la justice.
Il doit pouvoir être en mesure d’argumenter le processus logique qui l’a mené à une décision. Si un algorithme a contribué à cette décision, il faut comprendre avec quels paramètres, sur quels critères et avec quelle pondération. C’est pourquoi nous avons pris le parti avec Thomas d’intégrer des philosophes dans notre projet QuickRare, qui vont en quelque sorte détricoter notre façon de fabriquer la connaissance pour nous aider à aborder cette forme de responsabilité médicale.
Mais l’explicabilité n’est pas propre aux systèmes d’IA. Dans notre pratique quotidienne, nous utilisons des nomogrammes, qui sont des représentations graphiques de formules statistiques complexes. Or, pour nous aussi, elles sont parfaitement opaques.
Par exemple, quand nous calculons la clairance de la créatinine pour contrôler le bon fonctionnement des reins, avec une pondération sur l’origine ethnique ou le genre, combien de médecins ont interrogé cette pondération ? La vraie question, ce n’est pas l’explicabilité technique, c’est la validité clinique. L’outil a-t-il été comparé aux normes, son efficacité a-t-elle été démontrée dans des conditions standard identifiées ? Tout cela est indispensable avant tout déploiement d’outils, quel qu’il soit.
Thomas Guyet — Je suis d’accord, mais avec un bémol. Le nomogramme que les médecins utilisent a été construit à partir d’études épidémiologiques validées par des pairs, par la communauté scientifique. La plupart des systèmes d’IA en santé n’en sont pas encore là et c’est précisément le statut de « dispositif médical » qui joue ce rôle de validation réglementaire.
Dans le même esprit que l’autorisation de mise sur le marché réglementaire pour les médicaments, tout dispositif médical destiné à être utilisé chez l’homme à des fins de diagnostic, de prévention ou de contrôle d’une maladie, doit en effet répondre au code de la santé publique français et aux textes européens.