En plus des mesures préventives, vous devrez également adopter et implanter des contrôles de détection renforcés. Ce type de contrôles vous permet d’avoir l’œil sur le comportement et la performance de l’IA agentive.
Les contrôles de détection peuvent comprendre :
- Des programmes d’observabilité utilisant des mesures prédéterminées et des bandes de tolérance pour détecter les comportements hors limites.
- Des mécanismes qui envoient des alertes en temps utile selon un processus de gestion des incidents établi et permettent l’obtention de réponses appropriées auprès des personnes désignées lorsque des anomalies sont détectées.
- La supervision par l’humain se fera par l’implantation de mécanismes de contrôle et de supervision rigoureux exécutés par l’humain pour évaluer l’efficacité et la robustesse des systèmes d’IA agentive et prendre en charge la surveillance, l’intervention et la neutralisation des actions de l’agent si nécessaire.
Il faut avoir à l’esprit que les contrôles de détection existants, d’abord prévus pour les applications d’IA classique ou générative, ne suffisent peut‑être pas pour observer efficacement l’IA agentive. Étant donné que ces systèmes peuvent atteindre leurs propres objectifs sans aucune intervention humaine tout au long du processus, ils nécessitent une surveillance en temps réel, automatisée et continue.
Même les systèmes hautement autonomes nécessitent une surveillance par l’humain. Dans le cas des systèmes d’IA agentive, la supervision par l’humain doit généralement :
- Définir les rôles et les responsabilités de l’humain dans la supervision des systèmes d’IA agentive.
- Contrôler les boucles de rétroaction afin de repérer les problèmes et de favoriser l’amélioration continue.
- Enregistrer, consigner et divulguer le comportement et les décisions du système en fonction des besoins, afin d’en assurer l’explicabilité et la transparence.
- Proposer des moyens clairs et efficaces d’intervention dans les activités du système d’IA agentive, y compris la possibilité d’interrompre, de réorienter le système, voire de le mettre sous arrêt.
- Souligner l’importance de former des opérateurs et des utilisateurs humains afin qu’ils comprennent les capacités et les limites des systèmes d’IA agentive et qu’ils acquièrent les compétences nécessaires à une surveillance efficace.
Par ailleurs, étant donné la grande diversité d’objectifs et de cas d’utilisation des systèmes d’IA agentive, les organisations ne peuvent pas s’appuyer sur une liste unique ou statique de comportements à surveiller et à mesurer. Ces listes doivent être adaptées en fonction des objectifs, risques et incidences propres à l’IA agentive, puis évalués dans le contexte de son utilisation; il faudra inclure une boucle de rétroaction vers le programme d’observation à mesure que les capacités du système d’IA agentive évoluent dans le temps.
Prise en compte des exigences techniques dans les contrôles et la gouvernance de l’IA agentive
En même temps que les interactions complexes et les environnements dynamiques de l’IA agentive exigent des organisations qu’elles examinent de manière objective les contrôles internes, les systèmes d’IA agentive nécessitent des évaluations techniques supplémentaires par rapport à celles qui pourraient être effectuées pour les systèmes d’IA en place. Une gouvernance adéquate doit désormais également prévoir des évaluations techniques des contrôles internes adaptées précisément aux systèmes d’IA agentive.
Par exemple, l’IA agentive peut exiger l’évaluation de la capacité de l’agent à percevoir son environnement avec précision face à des attaques contradictoires. Pour satisfaire à cette exigence, il faudrait tester la perception d’une voiture autonome à l’aide d’images manipulées ou de données de capteurs conçues pour tromper le système.
Dans un autre cas, il vous faudrait mesurer le temps de réponse de l’agent lorsqu’il fait face à différents scénarios et charges. Ce type de contrôle de l’analyse de la latence et du débit peut prendre la forme d’une évaluation de la réaction de l’agent lorsqu’il est mis devant une transaction ou un événement inhabituel, et d’une évaluation de sa capacité d'agir ou de passer à un autre palier d'intervention.
Plus précisément, quels types d’évaluations techniques pourraient être adaptés aux systèmes d’IA agentive pour appuyer une gouvernance appropriée?
- Attaques contradictoires axées sur la perception : évaluation de la capacité de l’agent à percevoir son environnement avec précision face à des attaques malveillantes.
- Données hors distribution : évaluation de la performance de l’agent lorsqu’il est aux prises avec des données ou des situations pour lesquelles il n’a aucune formation.
- Simulation de crise : l’agent est soumis à des volumes élevés d’entrées, à des scénarios complexes ou à des événements inattendus afin d’identifier les goulots d’étranglement, les adaptations involontaires ou les points de défaillance.
- Simulation : utilisation d’environnements simulés pour évaluer le comportement de l’agent dans une variété de scénarios, y compris avec d’autres IA et l’IA générative, dans des cas limites et d’autres événements.
- Analyse du piratage des récompenses : évaluation du comportement de l’agent et de l’exploitation possible de la structure des récompenses.
- Analyse de sensibilité de la récompense : analyse de l’incidence des modifications des paramètres de la fonction de récompense sur le comportement de l’agent.
- Évaluation de l’équité : utilisation de mesures d’équité appropriées pour quantifier et comparer la performance de l’agent au sein de différents groupes.
- Test contradictoire de la robustesse : évaluation de la performance de l’agent dans diverses conditions et détermination de sa capacité à maintenir la constance, la précision et la fiabilité.
- Analyse de la latence et du débit : mesure du temps de réponse de l’agent lorsqu’il fait face à différents scénarios et charges.
- Tests d’adaptabilité : tests d’adaptabilité horizontale et verticale pour évaluer la capacité de l’agent à gérer une demande accrue.
Lorsque vous réorganiserez vos contrôles de gestion des risques techniques adaptés à l’IA agentive, il sera important de concevoir un cadre de gouvernance holistique qui tiendra compte de ces types de cas d’usage et de qualités de l’IA agentive