Résumé
- Les modèles de pointe sont le bon outil pour déterminer ce dont une personne a besoin, mais le mauvais outil pour vérifier chaque message qu’elle envoie.
- Lors des essais internes, un petit modèle décisionnel a signalé 94,48 % des messages nécessitant une escalade critique en matière de sécurité, contre 73,46 % pour un modèle généraliste léger.¹
- Le transfert de cette vérification vers le modèle propriétaire affiné a réduit le temps de réponse médian de 1,121 seconde à 0,374 seconde, ce qui est assez rapide pour l’effectuer sur chaque message.¹
- Une supervision peu coûteuse et rapide ouvre la voie à la prochaine étape de la sécurité clinique, avec des limites que nous exposons clairement ci-dessous.
Un membre ouvre une conversation avec un coach en santé numérique pour poser une question sur le sommeil. Après deux messages, elle mentionne qu’elle ne voit plus l’intérêt de se lever le matin. Le coach est conçu pour être chaleureux, curieux et habile à favoriser le changement de comportement. Le membre signale une crise de santé mentale, un moment qui exige une intervention clinique humaine immédiate, et non un accompagnement comportemental automatisé.
C’est le problème que les agents d’IA en santé doivent résoudre des milliers de fois par jour. Avant que la personne réponde, le système doit repérer les indices subtils indiquant qu’elle ne peut pas gérer seule la conversation en cours. Cette vérification doit être instantanée. Toute latence perceptible donne à l’utilisateur l’impression d’être ignoré, tandis que l’exécution d’évaluations à l’aide de modèles de pointe à chaque échange devient rapidement trop coûteuse à grande échelle. Il faut aussi que ce soit exact, parce que le rare message comme celui de l’exemple ci-dessus est celui qui compte le plus.
Un agent en santé doit réfléchir à la fois rapidement et lentement
Daniel Kahneman a rendu célèbre la division de la cognition humaine en deux systèmes : la reconnaissance rapide et intuitive des schémas du système 1, et le raisonnement lent et délibéré du système 2.² Lire un sourire ne demande aucun effort. Résoudre un problème de mathématiques, oui. Les agents d’IA en santé ont besoin des deux.
Un agent en santé qui comprend ce qu’une personne veut, récupère les bonnes informations et rédige une réponse réfléchie accomplit un travail de système 2. Un grand modèle de langage (LLM) est conçu pour cela. Un modèle propriétaire affiné et entraîné pour prendre une seule décision précise fonctionne davantage comme le Système 1. Il lit un message et le classe en une seule passe dans l’une des catégories d’un ensemble prédéfini, sans rien rédiger. Notre système renvoie l’une des 12 catégories, dont « rien à signaler ».¹ Les autres catégories couvrent les urgences, les crises de santé mentale, la violence conjugale, la maltraitance des enfants, la maltraitance des aînés, les agressions sexuelles, la traite de personnes, la toxicomanie, les préjudices causés à autrui, les demandes d’intervention humaine et l’encodage malveillant.¹
C’est aussi plus proche de la façon dont travaille un médecin expérimenté. Le clinicien expérimenté sent que quelque chose cloche chez un patient avant même d’avoir les résultats d’un test, puis réfléchit lentement aux raisons. La reconnaissance rapide et le raisonnement lent ont des fonctions différentes, et chacun fonctionne mal lorsqu’on lui demande d’accomplir la tâche de l’autre.
Pourquoi les modèles de pointe ne peuvent pas surveiller chaque message
Dans un système d’agents bien conçu, un « routeur » lit chaque demande et décide qui devrait répondre. Une question sur les prestations est acheminée à un agent d’orientation en matière de prestations. Une question sur la façon de vivre plus sainement est acheminée à un coach en santé. Les sous-agents recueillent des informations et rédigent la réponse. Les modèles décisionnels encadrent l’ensemble et supervisent le travail.
Le routage n’est qu’une décision dans cette chaîne. Les décisions qui comptent le plus en santé portent sur la sécurité. L’agent devrait-il même traiter ce message? La conversation a-t-elle pris une tournure qui nécessite une personne? Les modèles décisionnels prennent ces décisions et, comme ils sont petits, ils le font en une fraction du temps qu’il faut à un modèle de pointe et pour une fraction du coût.
Mon collègue Kristian Berg, ingénieur principal en apprentissage automatique au sein de notre équipe de modèles d’IA, et moi travaillons sur les modèles qui sous-tendent tout cela. Le modèle que nous connaissons le mieux prend en charge les escalades critiques en matière de sécurité. Il détermine si le coach en santé doit poursuivre la conversation. Lorsqu’une personne parle de pensées suicidaires ou de mauvais traitements infligés à une personne âgée, la meilleure réponse consiste à faire appel à une ligne d’aide en cas de crise ou à un service de protection des aînés, et le coach devrait passer le relais.
Pour décider s’il faut ou non faire remonter une conversation, un modèle décisionnel doit être rapide. Dans nos mesures, notre modèle propriétaire affiné a affiché un temps de réponse médian de 0,374 seconde, contre 1,121 seconde pour un modèle Gemini léger auquel on avait demandé d’effectuer la même tâche. Au 95e centile, les chiffres étaient de 0,420 et 1,477 seconde.¹ Le modèle propriétaire affiné fonctionne sur un seul nœud GPU. Ces mesures reflètent la latence de bout en bout, y compris le transit réseau sous des charges de production dans différentes régions géographiques.
Voici pourquoi c’est important pour toute personne qui exploite des agents à grande échelle. À mesure que les agents prennent en charge davantage d’interactions avec les membres et les patients, la seule façon de les mesurer et de les valider est une vérification qui ne coûte presque rien par message. Un modèle rapide et peu coûteux vous permet d’examiner chaque conversation plutôt que de n’en échantillonner que quelques-unes, et allège le modèle coûteux de la charge de la supervision, tout en améliorant l’expérience globale.
Évaluation comparative de la sécurité : taux de détection de 94,5 % avec un tiers de la latence
Nous avons soumis les mêmes 5 021 messages au modèle propriétaire affiné et à Gemini 3.5 Flash Lite, dans le cadre de cinq ensembles d’évaluation. Dans notre ensemble de test mis de côté, le modèle propriétaire affiné a attribué la catégorie de référence dans 94,50 % des cas, contre 84,36 % pour Flash Lite. Il a omis de signaler 26 des 471 messages qui nécessitaient un signalement. Flash Lite a omis d’en signaler 125. Flash Lite a généré moins d’alertes inutiles : neuf, contre 14 pour le modèle propriétaire affiné.¹
Un meilleur classificateur n’a d’importance que s’il améliore l’expérience globale. Nous avons donc également exécuté la suite complète de tests d’évaluation de l’accompagnateur en santé de League, un agent qui aide les membres à adopter de saines habitudes de vie grâce à des recommandations d’activités fondées sur leurs objectifs de santé. La suite comprend 940 cas répartis dans six domaines. Nous l’avons exécuté cinq fois avec le classificateur Gemini 3.5 Flash existant, et cinq fois avec le modèle propriétaire affiné. La proportion de conversations répondant aux critères d’évaluation est passée de 88,20 % à 89,08 %. Le taux de réussite aux critères de sécurité et de limites cliniques est passé de 86,93 % à 90,63 %. La science du comportement a légèrement reculé, passant de 78,63 % à 78,26 %. Le temps de réponse moyen est passé de 3,574 à 2,628 secondes, soit une réduction de 26,5 %.³ Les critères d’évaluation ont été élaborés avec la contribution clinique de Matea Deliu, notre chef de l’information médicale.
Pourquoi la sécurité spécialisée est un problème de recherche appliquée
Chacun de ces éléments représente beaucoup de travail : une plateforme pour faire fonctionner les agents, des grilles d’évaluation permettant aux cliniciens de les évaluer, ainsi qu’un modèle décisionnel entraîné pour les superviser. Mener les trois de front constitue un programme de recherche. Pour la plupart des équipes, s’appuyer sur un modèle de pointe pour la première version d’un agent est le bon choix, car on ne peut pas savoir si un modèle décisionnel personnalisé est de bonne qualité tant que la plateforme et les grilles d’évaluation n’existent pas.
C’est pour combler cet écart que League Labs, notre groupe de recherche appliquée, existe. Son rôle est de travailler à la frontière de l’IA afin que les résultats puissent parvenir aux clients par l’intermédiaire de Forge by League, sans que chacun d’eux ait à financer la recherche.
Si vous évaluez les agents d’IA en santé, posez à votre fournisseur, ou à votre propre équipe, cinq questions :
- Est-ce qu’un contrôle est effectué sur chaque message entrant avant que l’agent réponde, ou seulement sur un échantillon?
- Quel est le taux de messages nécessitant une escalade qui n’ont pas été escaladés, par catégorie et par langue?
- Combien de temps dure la vérification au 95e centile?
- Qui a élaboré les grilles d’évaluation, et des cliniciens ont-ils participé?
- Que se passe-t-il lorsque la vérification elle-même échoue?
Une supervision rapide et peu coûteuse ne rendra pas, à elle seule, un agent sécuritaire. Les politiques de réponse, l’agent et les vérifications de ce qu’il dit demeurent importants. Ce qui change, c’est quelle partie de la conversation vous pouvez voir.
Si vos agents échangent déjà avec des membres ou des patients, combien de ces conversations font l’objet d’une vérification avant que l’agent réponde?
Sources
- Données internes de League, fiche de modèle d’affaires mmBERT User Guardrails v0.2, comparaison des classificateurs et latence des requêtes (pp. 5 et 7), mesurées les 22 et 23 septembre 2026.
- Daniel Kahneman, Thinking, Fast and Slow, Farrar, Straus and Giroux, 2013 (publié pour la première fois en 2011).
- Données internes de League, fiche de modèle d’affaires User Guardrails de mmBERT v0.2, évaluation du coach santé et temps de réponse (pp. 6 et 7), comparaison en cinq exécutions lors des tests d’acceptation par les utilisateurs.

Une IA de qualité pour le secteur de la santé commence par des bases solides
La plupart des agents d’IA en santé restent bloqués à l’étape pilote, car chacun recrée ses propres contrôles de sécurité et ses voies d’escalade. Découvrez les six capacités qui permettent aux payeurs et aux fournisseurs de soins de santé de lancer des expériences d’IA agentique en toute sécurité et de les déployer à grande échelle sans repartir de zéro.
