3 Sep, AM
Le point de vue d’un CMIO sur le déploiement sécuritaire d’agents d’IA dans le secteur de la santé
Résumé
- Les chefs de file du secteur de la santé subissent des pressions pour déployer rapidement une IA destinée aux membres et aux patients, sans faire de compromis sur la sécurité ni sur la qualité.
- Au sein des services administratifs, nous mesurons la précision. Devant un membre ou un patient, nous mesurons les préjudices. Cette distinction détermine ce qui doit être démontré avant le lancement.
- Un agent passe en production, et y demeure, uniquement grâce à un dispositif robuste de garde-fous, de mécanismes d’escalade, d’évaluations et de surveillance.
- Les organisations qui feront évoluer à grande échelle les expériences agentiques seront celles qui établiront une seule base sûre et feront en sorte que chaque agent en hérite.
Chaque organisation avec laquelle je m’entretiens fait face à la même contrainte : les coûts augmentent plus rapidement que les revenus, et le personnel ne peut répondre à la demande. Nous savons que l’IA destinée aux membres et aux patients peut accroître la productivité sans augmenter les effectifs, mais peu d’organisations ont aujourd’hui suffisamment d’agents d’IA en service pour effectuer ce travail.
La plupart des équipes sont bloquées par des enjeux de confiance. Dès que l’IA passe des activités internes au contact direct avec un membre ou un patient malade et anxieux, le seuil de sécurité augmente considérablement.
J’ai récemment animé une séance avec Fierce Healthcare aux côtés de Raj Kurup, vice-président de l’ingénierie et des opérations chez Point32Health, Jason Wright, vice-président des plateformes d’affaires d’entreprise et des solutions numériques chez Cone Health, et Jordan Christensen, vice-président principal de l’ingénierie des données et de l’IA chez League. Nous avons discuté de ce qu’il faut pour créer des expériences axées sur les agents sûres et efficaces, qui peuvent être mises en service et le rester.
Vous pouvez visionner l’enregistrement intégral ici, et vous trouverez ci-dessous les principaux points à retenir de la discussion.
Le fait d’être adapté au secteur de la santé n’est pas la même chose que l’exactitude
Au sein des services administratifs, nous mesurons la précision. En pratique clinique, nous mesurons les préjudices. Un agent qui fournit la bonne réponse dans 99 cas sur 100 n’est pas sécuritaire si le centième cas entraîne de graves conséquences. Ce qui compte, c’est la distribution des erreurs : le mécanisme par lequel l’agent pourrait causer un préjudice à quelqu’un, la gravité de ce préjudice, sa probabilité et si nous serions en mesure de le détecter. Il s’agit d’une analyse des dangers cliniques et c’est une discipline différente des essais de performance. La conformité aux normes du secteur de la santé est un concept différent d’un score d’exactitude plus élevé.
Dans mon propre cabinet, je vois maintenant deux types de patients : ceux qui arrivent avec une copie imprimée de leur conversation avec ChatGPT et demandent si elle est correcte, et ceux pour qui le clinicien demeure la seule source fiable. Le sondage Harris a interrogé 2 057 adultes américains et a constaté que 62 % avaient utilisé des outils d’IA pour obtenir des renseignements médicaux, tandis qu’environ un tiers d’entre eux ne font pas confiance aux renseignements médicaux fournis par ces outils¹. Cette division nous laisse une marge de manœuvre étroite : fournir les réponses et le soutien immédiats auxquels les patients s’attendent tout en préservant une confiance clinique absolue.
Cone Health s’attaque à cet enjeu en comblant l’écart entre les attentes des patients et ce que le système peut offrir aujourd’hui : des réponses immédiates, une navigation simple et moins d’obstacles. Ce qu’ils ont délibérément exclu, c’est la prise de décisions cliniques autonomes en matière de diagnostic et de traitement. Comme l’a dit Jason : « Dans les soins de santé, la confiance passe toujours avant l’automatisation. »
La sécurité est le problème le plus difficile, mais l’utilité a autant de poids. Un agent qui réussit toutes les évaluations de sécurité et qui n’est pas utile renverra directement les membres vers le chatbot public sans gouvernance.
L’iceberg sous l’agent
Les outils modernes permettent aux organisations de créer facilement des prototypes impressionnants, mais les équipes piétinent lorsqu’elles s’attaquent à tout ce qui se trouve en arrière-plan.
Jordan a décrit cela au moyen d’une métaphore de l’iceberg. Au-dessus de la ligne de flottaison se trouve ce que les gens voient : le modèle et la conversation. En dessous se trouve une infrastructure composée de plus d’une centaine de sous-systèmes qui, ensemble, rendent l’agent sécuritaire à utiliser pour un membre ou un patient, et la grande majorité du temps d’ingénierie y est consacrée plutôt qu’à la couche conversationnelle.
Pour maintenir cet iceberg, il faut des équipes rouges dont le seul mandat est de mettre le modèle à l’épreuve, des spécialistes de la conformité qui vérifient le respect de la réglementation régionale et des cliniciens qui confirment que les réponses respectent les normes cliniques. Des dizaines de milliers d’évaluations sont nécessaires pour démontrer qu’on peut faire confiance à un agent en production. L’ensemble doit ensuite obtenir l’approbation d’un conseil de gouvernance auquel siègent des cliniciens ainsi que des membres des équipes de conformité, des affaires juridiques, de la sécurité de l’information, de la protection de la vie privée et des opérations.
J’ai siégé à un comité de gouvernance du NHS et au conseil de gouvernance de l’IA d’un fournisseur. C’est toujours le travail le plus difficile à bien faire, parce qu’il ne se termine jamais. La mise en service est une étape. Ce qui suit consiste à surveiller l’agent en production, à demeurer responsable de ses résultats et à transformer chaque erreur en prochaine série d’évaluations.
La plupart des organisations ont du mal à construire l’iceberg une seule fois. Le problème s’aggrave à chaque fois qu’ils le reconstruisent pour un nouveau cas d’utilisation. Un agent responsable des avantages sociaux acquiert ses propres règles d’escalade, garde-fous et gouvernance; l’agent de planification part alors de zéro. Nous pouvons comprendre pourquoi 84 % des équipes d’ingénierie en IA consacrent au moins la moitié de leur temps à l’infrastructure de sécurité.²
See the iceberg, already built
Forge by League is the foundation below the waterline. Every agent inherits built-in guardrails, evaluation frameworks, monitoring, and escalation paths from day one.
Que devrait-on transmettre d’un agent au suivant
Cela n’a pas besoin de fonctionner ainsi, et Jordan a expliqué précisément pourquoi. Les garde-fous, le cadre d’évaluation, les voies d’escalade et les connecteurs qui acheminent des données soumises à une gouvernance vers un agent s’appliquent à tous les cas d’utilisation. Ils ont leur place dans une base sur laquelle repose chaque agent, et non à l’intérieur de chaque agent. Raj a soulevé le même point : une grande partie des travaux de mise en place de la navigation dans les soins peut être réutilisée dans les initiatives visant à combler les lacunes en matière de soins, ce qui assure cohérence et rapidité à mesure que Point32Health déploie cette expérience à plus grande échelle.
L’analogie que j’utilise est celle du formulaire thérapeutique de l’hôpital. Un hôpital ne convoque pas un nouveau comité et n’élabore pas une nouvelle norme de preuve chaque fois qu’un médicament arrive. Elle exécute un processus et ajuste le niveau d’examen en fonction du risque. Les organisations qui feront évoluer leur expérience agentique seront celles qui disposeront d’une base de qualité médicale, dont chaque agent héritera. Le cinquième agent avance plus rapidement parce que le cadre est réutilisé, mais la norme de sécurité ne change pas.
Aller plus vite sans compromis
Je constate cette tension chaque jour des deux côtés. Sur le plan clinique, la demande augmente et le personnel n’arrive pas à suivre. Dans les instances de gouvernance où nous approuvons les agents, la norme de sécurité ne change pas. La confiance clinique ne peut être sacrifiée au profit de la rapidité.
Lorsque la couche de sécurité est reconstruite pour chaque agent, le coût est entièrement assumé chaque fois, ce qui explique pourquoi les équipes mettent des années à mettre quelques agents en production. Créez une base adaptée au secteur de la santé sous chacun d’eux, et le deuxième agent est plus rapide que le premier sans diminuer la confiance clinique.
Sources
- Merck Manual, Plus de 3 Américains sur 5 utilisent des outils d’IA pour obtenir des renseignements médicaux, 2026.
- Sinch, « 74% of enterprises have rolled back live AI customer communications agent », 2026.
Webinaire
La voie la plus rapide vers des agents sécuritaires et opérationnels
Forge by League vous offre la base conforme aux normes du secteur de la santé nécessaire pour mettre des agents en production. Vos ingénieurs créent l’expérience. La sécurité est intégrée.