Six étapes à suivre pour améliorer la gouvernance de l’IA agentive

Partie 2

Six étapes à suivre pour améliorer la gouvernance et accroître la valeur de l’IA agentive

Découvrez comment ces six étapes peuvent aider votre organisation à améliorer la gouvernance, gérer les risques liés à l’IA agentive et renforcer la surveillance.


En bref

  • Pour adopter l’IA agentive de façon responsable, les organisations doivent moderniser et renforcer leur cadre de gouvernance.
  • Les systèmes existants pourraient ne pas être à même de suivre le rythme des innovations en IA agentive.
  • Repenser le cadre de gouvernance en fonction du degré d’agentivité et des risques associés aux systèmes d’IA peut favoriser une adoption responsable.

Alors que l’innovation par l’IA s’accélère, les organisations sont de plus en plus nombreuses à adopter et à intégrer les technologies d’IA agentive. Ces capacités uniques et cette évolution rapide imposent généralement une modernisation stratégique du cadre de gouvernance. Les organisations devront régulièrement mettre à jour le cadre de gouvernance et mettre en place des mécanismes de surveillance sur mesure pour favoriser l’adoption de pratiques d’IA responsable, renforcer la gouvernance et continuer à dégager de la valeur à l’ère de l’IA agentive.

Qu’est ce que l’IA agentive et pourquoi requiert‑elle des contrôles accrus et une gouvernance renforcée?

La notion d'IA agentive fait référence aux systèmes d’IA avancés capables de prendre des décisions en toute autonomie et d’agir dans des environnements complexes. Ces systèmes fonctionnent sans intervention humaine et ont la capacité d’apprendre et de s’adapter en temps réel. Deux critères permettent généralement de qualifier un système d’IA d’« agentif » : 

  • Complexité des objectifs : l’IA agentive traite et établit l’ordre de priorité de plusieurs objectifs complexes simultanément.
  • Exécution indépendante : l’IA agentive effectue des tâches et prend des décisions sans intervention humaine.

Ensuite, le degré d’agentivité d’un système d’IA est déterminé en fonction de quatre caractéristiques secondaires : 

  • Généralité
  • Adaptabilité
  • Complexité environnementale
  • Incidence

Bien que tous les systèmes d’IA comportent des risques communs, les capacités avancées et les aptitudes d’autoapprentissage de l’IA agentive apportent un nouveau lot de défis. Ainsi, la gestion des systèmes d’IA agentive exige une gouvernance solide, et plus particulièrement une surveillance automatisée, continue, précise et transactionnelle. 

Les systèmes d’IA agentive masquent des niveaux de complexité et de risque et exigent une gouvernance différenciée. L’approche de gouvernance adoptée pour chaque système d’IA agentive doit être adaptée à son niveau de risque : le degré de surveillance peut aller de minimal à strict. 

La bonne compréhension des niveaux de risque et de l’incidence potentielle des systèmes d’IA agentive permettra aux entreprises de mettre en œuvre des contrôles plus efficaces et rationalisés et de réserver les applications de surveillance coûteuses aux scénarios à haut risque. Cette approche ciblée non seulement permet d’optimiser l’attribution des ressources et la gestion des coûts, mais aussi de maximiser le rendement du capital investi et le rendement du capital ajusté au risque pour concentrer les efforts de gouvernance sur les objectifs prioritaires. 

Aligner les ressources de gouvernance et les investissements sur le profil de risque

Pour vous aider à adapter votre cadre de gouvernance aux nouvelles technologies telles que l’IA agentive et aux risques qui en découlent, nous vous recommandons d’adopter les six pratiques de pointe qui suivent :

Libérer le potentiel de l’IA agentive : définitions, risques et garde‑fous

Découvrez ce qui distingue l’IA agentive des autres systèmes ainsi que le rôle essentiel de la gouvernance pour arriver à exploiter son potentiel commercial de manière responsable.

1. Évaluer la définition, les directives et les principes de l’IA du cadre de gouvernance de l’IA responsable

Établissez un cadre d’IA responsable détaillé qui comprend des définitions de l’IA claires aux fins de la gouvernance, des lignes directrices pour le développement et le déploiement éthiques de l’IA, et des principes qui promeuvent l’imputabilité et favorisent les pratiques professionnelles durables. 

L’IA agentive au premier plan : la définition de l’IA doit prendre en considération les systèmes d’IA agentive. Plusieurs organisations ont mis en place une variété d’environnements de développement, notamment sans code ou à faible code, pour répondre aux divers besoins des utilisateurs. Ainsi, un cadre de gouvernance doit impérativement définir ce qu’on entend par « IA agentive ». Une définition précise aide à maintenir la clarté et la cohérence dans différents scénarios de déploiement. 

La politique en matière d’IA responsable doit aussi établir des lignes directrices claires pour l’adoption, le développement et l’utilisation de l’IA agentive au sein de l’organisation. Clarifiez la distinction entre développement par des non-spécialistes (agents sans code ou à faible code) et développement par des spécialistes (systèmes d’IA agentive complets), avec des exemples réels tirés de la pratique professionnelle.

2. Clarifier les mécanismes et procédures de responsabilisation 

Mettez en place des pratiques de responsabilisation claires pour gérer les obligations et la surveillance concernant le fonctionnement des systèmes d’IA.

L’IA agentive au premier plan : l’IA agentive pouvant fonctionner de façon autonome, il est essentiel de déterminer qui est responsable et imputable des actions des systèmes. Énoncez les exigences liées aux responsabilités par rapport à l’IA agentive dans la politique et le cadre de gouvernance de l’IA responsable. Par exemple :

Scénario 1 : Agent d’aide aux tâches documentaires (risque faible à moyen)

Scénario 2 : Système agentif spécialisé dans le rapprochement (risque élevé)

  • Examine les contrats avec des fournisseurs, évalue leur conformité et les réécrit de façon dynamique tout en fournissant des recommandations rédactionnelles.
  • Mis au point dans le cadre d’un processus de développement par des non-spécialistes sur une plateforme à faible code ou sans code (p. ex. : Microsoft Copilot Studio, ToolJet ou leur équivalent)
  • Autonomie d’exécution faible ou moyenne, complexité des objectifs de niveau modéré et incidence faible
  • Système multiagent qui effectue le rapprochement entre les bons de commande et les factures reçues, approuve les règlements et redirige les factures non appariées
  • Développement professionnel dans une pile technologique professionnelle
  • Autonomie d’exécution élevée, complexité des objectifs de niveau élevé et incidence moyenne

Responsabilité

Développeur et utilisateur de l’agent

Responsable du système et/ou du processus opérationnel

Étendue de la responsabilité

L’agent ne traite que les données et documents appropriés, et ses extrants sont toujours vérifiés par un humain.

Le développement, les tests, la validation et l’observation du système d’IA agentive suivent les procédures standard de l’organisation et les principes d’IA responsable pertinents.

3. Développer un outil d’évaluation du risque lié à l’IA

Créez un outil d’évaluation du risque lié à l’IA afin de gérer de façon adéquate les systèmes d’IA de l’organisation. L’outil doit évaluer à la fois les risques et les incidences associés à un système d’IA donné ainsi que tout risque réglementaire. Il peut par exemple déterminer si, selon le règlement sur l’IA de l’Union européenne, le système comporte un risque minimal, limité, élevé ou inacceptable, en fonction de l’usage prévu du système.

L’IA agentive au premier plan : l’outil d’évaluation du risque lié à l’IA doit pouvoir détecter et gérer les risques propres aux systèmes d’IA agentive. Il peut s’agir d’une évaluation préalable aux incidences organisationnelles de la technologie ou à toute nouvelle catégorie de risque spécifique à l’IA agentive, par exemple l’alignement d’exécution sur les objectifs humains et organisationnels. Qu’il s’agisse d’un agent ou d’un système multiagent, tout le système d’IA agentive devrait être évalué du point de vue des risques et devra respecter les obligations de conformité en fonction d’un classement des risques par cas d’usage. Par exemple :

Scénario 1 : Agent d’aide aux tâches documentaires

Scénario 2 : Système d’IA agentive spécialisé dans le rapprochement

Responsabilité

Développeur
Responsable du système ou du processus opérationnel, par l’entremise de l’outil d’évaluation des risques de l’organisation

Critères d’évaluation

L’agent n’effectue pas de tâches interdites ou à risque élevé au sens de la politique de gouvernance de l’IA de l’organisation, dont la conformité a été établie.

Déterminer le niveau d’agentivité et les incidences du système d’IA, lequel, combiné aux autres fonctions de l’outil d’évaluation du risque, détermine les risques existants, notamment les types de risque propres à l’IA agentive et les stratégies de gestion du risque.

4. Répertorier les modèles et systèmes d’IA

Créez un répertoire des modèles et systèmes d’IA développés ainsi que toute documentation connexe requise conformément aux politiques de l’organisation et aux exigences contractuelles, légales et réglementaires, p. ex. : la documentation technique du modèle, le sommaire des données d’entraînement et les indicateurs de cybersécurité, d’exactitude et de robustesse.

L’IA agentive au premier plan : assurez-vous que le répertoire comprend toute la documentation des systèmes d’IA agentive et qu’il comporte une catégorisation claire du caractère agentif de chaque système en regard des six critères de l’IA agentive. Songez aussi à imposer la documentation des considérations propres à l’IA agentive, notamment les processus décisionnels, la logique d’utilisation de l’outil, la communication entre agents et les protocoles d’accès à des outils externes. Par exemple :

Scénario 1 : Agent d’aide aux tâches documentaires

Scénario 2 : Système d’IA agentive spécialisé dans le rapprochement

Responsabilité

Développeur de l’agent
Responsable du système et/ou du processus opérationnel

Exigences liées à la gestion du répertoire

  • Doit être intégré à une plateforme de développement d’IA gouvernée.
  • Doit répondre aux exigences de surveillance et de gouvernance propres à la plateforme de développement d’IA.
  • Doit être intégré au répertoire du système d’IA de l’organisation et comprendre les informations appropriées liées au système/modèle, y compris les capacités agentives.
  • Doit répondre aux exigences de surveillance et de gouvernance de l’organisation.

5. Mettre en place une matrice des risques et des contrôles assortie d’indicateurs clés de performance aux fins de suivi et de surveillance

Adoptez une matrice détaillée des risques et des contrôles ainsi que des indicateurs clés de performance (ICP) pour gérer les risques associés aux systèmes d’IA tout au long du cycle de vie de ces derniers.

L’IA agentive au premier plan : la matrice des risques et des contrôles doit comprendre des contrôles de prévention et de détection rehaussés propres à l’IA agentive dans un contexte de test et de validation des systèmes d’IA, des filtres de données et des contrôles de sécurité, de même qu’un programme d’observabilité systématique. Doivent aussi y figurer des contrôles spécialement conçus pour gérer les risques propres à l’IA agentive (p. ex. : le test contradictoire de la robustesse, les analyses du piratage des récompenses et le suivi du processus décisionnel). Par exemple :

Scénario 1 : Agent d’aide aux tâches documentaires

Scénario 2 : Système d’IA agentive spécialisé dans le rapprochement

Responsabilité

Développeur de l’agent
Responsable du système et/ou du processus opérationnel

Exigences liées à la gestion des contrôles

Doit respecter les exigences de l’organisation en matière d’adoption de plateformes de développement d’IA, de mesures de protection des données et de surveillance. Ces exigences doivent viser les outils et des données auxquels un agent a le droit d’accéder. Elles doivent aussi déterminer si l’accès à l’agent doit être restreint (p. ex. aux équipes responsables du contentieux et de l’approvisionnement).
Doit s’aligner sur la matrice des risques et des contrôles en matière d’IA et sur l’observation de bout en bout en fonction des ICP prédéfinis dans le but d’assurer le fonctionnement comme prévu du système d’IA agentive.

6. Déployer un programme de gestion des risques liés aux tiers 

Mettez en place un programme de gestion des risques liés à l’IA qui prend en charge, entre autres, l’évaluation des fournisseurs, l’examen des clauses des contrats et les analyses de la sécurité des logiciels ouverts.

L’IA agentive au premier plan : les contrats avec les fournisseurs doivent clairement établir l’imputabilité des systèmes d’IA agentive. À cet effet, les responsabilités liées à la surveillance de l’IA agentive doivent être formellement définies entre les parties. Mettez en place des procédures de surveillance explicites et des ententes afin que les mesures de surveillance et la répartition des responsabilités pour tous les systèmes d’IA agentive utilisés par les tiers soient clairement établies. 

Les procédures liées aux logiciels à code source ouvert devraient être mises à jour pour tenir compte de l’IA agentive. Par exemple, des lignes directrices concernant la communication entre l’agent et des interfaces de programmation d’applications (API) devraient être fournies en raison des risques liés à la protection, à l’accès et à la fiabilité des données et du consentement aux fins d’utilisation. Les domaines de fonctionnement des agents doivent être clairement délimités. Par exemple :

Scénario 1 : Agent d’aide aux tâches documentaires

Scénario 2 : Système d’IA agentive spécialisé dans le rapprochement

Responsabilité

Développeur de l’agent
Responsable du système et/ou du processus opérationnel

Considérations relatives à la gestion des risques liés aux tiers

Doit tenir compte du fait que toute utilisation d’outils ou de sources de données de tiers par l’agent doit être conforme aux politiques organisationnelles appropriées.

Doit faire l’objet d’un examen exhaustif en regard des rôles et responsabilités propres à la chaîne de l’approvisionnement de l’IA.

Faire le lien entre la gouvernance propre à l’IA agentive et les systèmes existants

Se doter d’une approche globale pour la gestion de la gouvernance de façon à complémenter les processus technologiques existants est la clé. Ces six étapes établissent les fondements d’une gouvernance solide de l’IA agentive, mais d’autres aspects de l’écosystème doivent aussi être pris en considération, notamment la protection des données, la sécurité de l’information et la gestion des risques. Par exemple, le développement et l’exploitation des agents d’IA doivent être conformes aux lois applicables sur la protection des données et aux processus de l’organisation pour l’évaluation des facteurs relatifs à la vie privée. 

 

De plus, les systèmes d’IA agentive qui font appel à des modèles de fondation, par exemple, par l’appel d’API, doivent à cet effet obtenir une permission formelle préalable. La communication entre agents doit reposer sur un mécanisme d’authentification et respecter des normes explicites en matière d’accès à des données. 

 

Au chapitre de la gouvernance des données, les systèmes d’IA agentive devront gérer la collecte, le stockage, le traitement et l’élimination de données dans le respect des politiques de gouvernance des données de l’organisation. 

 

Il en va de même pour les mesures en matière de sécurité de l’information. Votre organisation devra aussi faire le suivi de ses processus de sécurité de l’information afin de protéger l’écosystème agentif, notamment sa couche d’orchestration, ses protocoles, la gestion de l’identité des agents et les nouvelles surfaces d’attaque. Anticiper les incidences de l’IA agentive sur l’ensemble de vos processus technologiques favorise un meilleur arrimage entre les améliorations déployées et les processus de votre organisation et contribue à renforcer l’efficacité globale. 

Résumé

Les structures de gouvernance sont plus efficaces et résilientes lorsqu’elles tiennent compte de l’ampleur et de la gravité des risques potentiels. Élaborer des stratégies de gouvernance détaillées conjuguées à une certaine agilité aide à faire la promotion de l’adoption de l’IA responsable et à tirer le meilleur parti des capacités d’IA agentive. De plus, elles aident les entreprises à créer la valeur pérenne tant recherchée par les parties prenantes.

Prochaines étapes

Dans les parties 1 et 2 de cette série, nous nous sommes penchés sur les différences entre l’IA agentive et les autres systèmes et nous avons vu en quoi l’adaptation des cadres de gouvernance contribue à libérer de manière responsable le potentiel commercial de la technologie. Prochainement, nous examinerons la détermination du niveau d’agentivité d’un système, les risques connexes et les stratégies d’atténuation correspondantes.

Contenu connexe

Libérer le potentiel de l’IA agentive : définitions, risques et garde‑fous

Découvrez le potentiel de l’IA agentive, ses différences par rapport aux systèmes d’IA classique ainsi que l’importance d’établir une gouvernance solide pour gérer les risques et les capacités qui lui sont propres.

La voie à suivre : la gouvernance de l’IA en toute confiance et intégrité

Apprenez‑en davantage sur la manière dont la gouvernance de l’IA responsable aide les conseils d’administration au Canada à renforcer la confiance et à obtenir un avantage concurrentiel. Découvrez les principales stratégies des conseils d’administration.

Comment votre entreprise peut dégager un avantage concurrentiel grâce à l’IA responsable

Voyez comment votre entreprise peut promouvoir l’adoption de l’IA et en dégager un avantage concurrentiel, en comblant son déficit de confiance à l’égard de l’IA. Prenez connaissance des trois mesures clés permettant de faire preuve de leadership en matière d’IA responsable.

    À propos de cet article

    Auteurs