Explicabilité et responsabilité en matière réglementaire
Les systèmes d’IA agentive peuvent fonctionner de manière non linéaire et opaque, particulièrement lorsqu’ils formulent des conclusions basées sur des données non structurées ou ambiguës, ce qui peut s’avérer problématique dans les secteurs très réglementés comme celui des services financiers où les décisions doivent être :
- explicables aux parties prenantes internes, aux clients et aux organismes de réglementation;
- traçables au moyen de registres et d’historiques de décisions;
- défendables en cas de différends, d’enquêtes réglementaires ou de litiges.
En raison de nouvelles lois, comme la loi sur l’IA de l’Union européenne et le projet de loi C‑27 du Canada, l’explicabilité n’est plus seulement une pratique exemplaire, mais constitue une exigence légale. Les organisations doivent veiller à ce que leurs systèmes agentifs puissent justifier leurs actions d’une manière intelligible et vérifiable.
Accessibilité, confidentialité et gouvernance des données
Les systèmes d’IA agentive auront besoin d’accéder à un large éventail de systèmes internes, qu’il s’agisse de l’historique des transactions, des données des clients ou des registres des authentifications et de communications. En l’absence d’une gouvernance rigoureuse, un tel niveau d’accès engendre des risques importants en matière de protection des renseignements personnels et de conformité.
Voici ce que les organisations doivent faire pour gérer ces risques :
- Établir des contrôles d’accès fondés sur le principe du moindre privilège
- Surveiller les requêtes et les décisions des systèmes agentifs pour assurer qu’elles sont conformes aux politiques
- Appliquer des pratiques rigoureuses en matière de minimisation et de conservation des données
L’utilisation de l’IA agentive doit être envisagée en parallèle avec celle de l’IA générative en raison des similarités qui existent entre les deux technologies. En outre, les organisations doivent se préparer à la possibilité que des initiés utilisent les agents à mauvais escient, que ce soit pour exercer une surveillance illicite ou pour regrouper des données sans autorisation.
Sécurité et accroissement de la surface d’attaque
Les systèmes d’IA agentive feront bientôt partie de la surface d’attaque numérique des organisations. Voici les vulnérabilités auxquelles ces systèmes sont exposés :
- Résultats indésirables
- Exemples contradictoires conçus pour que les agents commettent des erreurs de classification
- Infiltration de requêtes par des adversaires pour manipuler les données d’entrée ou les actions des agents
- Exploitation d’interfaces de programmation ou de logiques d’exécution, particulièrement dans le cas d’agents connectés à d’autres systèmes
L’IA agentive doit donc faire l’objet de tests de sécurité rigoureux, y compris des simulations d’actes malveillants et d’attaques lancées par une équipe rouge. Afin de prévenir les risques de compromission ou d’utilisation abusive des données, il faut absolument isoler les actions des agents, nettoyer les intrants et délimiter clairement les privilèges d’accès.
Degré d’autonomie et processus d’escalade pour des considérations éthiques
Les organisations doivent définir le degré d’autonomie de leurs agents. Les décisions ne doivent pas toutes être prises sans la supervision d’un intervenant humain, particulièrement lorsqu’elles portent sur une clientèle vulnérable, comme des personnes âgées ou des victimes de piratage psychologique, ou sur des enquêtes à haut risque ou des résultats financiers ayant une incidence importante.
Voici les principales questions à prendre en considération :
- Dans quelles circonstances l’agent doit‑il s’en remettre à un intervenant humain?
- Quels types de cas de fraude doivent toujours faire l’objet d’un processus d’examen ou d’escalade pour des considérations éthiques?
- Quelle doit être la réaction de l’agent en cas d’incertitude ou en présence d’un préjudice émotionnel?
Veillez à intégrer des garde‑fous éthiques et des protocoles d’escalade lors de la conception des systèmes de votre organisation pour vous assurer que le comportement des agents d’IA demeure proportionné et adapté au contexte.
Conclusion – IA agentive et fraude : une révolution à double tranchant
Un changement de paradigme tant pour les attaques que pour les moyens de défense
L’IA agentive redéfinira les façons de commettre des fraudes et les moyens de les empêcher. Elle permettra aux fraudeurs d’opérer à une échelle industrielle en automatisant les activités qui leur permettent de manipuler leurs victimes, d’usurper des identités et d’adapter leurs stratagèmes en temps réel.Cependant, elle procurera également aux organisations des outils de prévention, de détection et d’intervention d’une puissance que l’on n’aurait jamais crue possible auparavant.
Le facteur humain demeure crucial
L’IA agentive rendra les systèmes plus intelligents, plus rapides et plus efficaces, mais elle ne remplacera pas le discernement humain.Les organisations doivent veiller à intégrer une surveillance, une éthique et une empathie à dimension humaine dans toutes les couches de déploiement d’une IA.
dont :
- Établir des cadres robustes pour le contrôle et la gouvernance de l’IA
- Constituer des équipes interfonctionnelles composées d’experts en fraudes, d’ingénieurs en IA et de responsables de la gestion des risques
- Préserver l’explicabilité et la responsabilité à tous les points de décision