Luchtfoto van een witte boot op een zonnige dag

Wie AI wil beheersen, moet AI eerst goed begrijpen


Damian Borstel schetst waarom AI-geletterdheid cruciaal wordt voor toezicht en risico­beheer.


In het kort:

  • AI werkt probabilistisch en kan hallucineren; begrip daarvan is essentieel voor risicobeheer.
  • Wereldwijde regelgeving divergeert, maar AI-geletterdheid binnen instellingen blijft cruciaal.
  • Bestuurders moeten AI zien als strategisch en risico-kritisch, niet als IT-tool.

AI verovert de financiële wereld, en dat brengt nieuwe vraagstukken met zich mee voor iedereen die zich bezighoudt met beheersing, toezicht of controle. Dit is professioneel gezien uitdagend, omdat het deels om terra incognita gaat en de relevante wetgeving zich nog ontwikkelt. Volgens Damian Borstel – momenteel promovendus aan de UvA en werkzaam bij de AFM – en wiens lopend onderzoek aan de UvA de basis vormt voor dit essay, is de beste strategie om zo goed mogelijk te begrijpen wat AI voor een organisatie betekent.

Hallucination is not a bug, it’s a feature. Zoals bij veel beroemde quotes is ook in dit geval niet met zekerheid te zeggen wie deze wijsheid als eerste de wereld in hielp. Maar het is er wel een om in de oren te knopen voor iedereen die professioneel nadenkt over hoe je verantwoord kunt omgaan met AI (agents).

 

Naast dat AI-modellen veel kansen kunnen bieden (bijvoorbeeld productiviteit, kostenreductie en procesoptimalisatie), kunnen deze soms de plank ook misslaan en zomaar iets (deels) verzinnen. Zelfs als je ze vraagt hun redenering uit te leggen – om ze zo te monitoren – kunnen ze de bouwstenen van die redenering uit de duim zuigen. Met andere woorden: AI-modellen hallucineren zelfs als de data error­free is. En hallucineren is niet een eenvoudig te verhelpen bug, maar vloeit voort uit de wijze van beloning in benchmarks (bijvoorbeeld voor bluffen wel een rating en geen rating voor I don’t knows), de ‘verplichting’ om zo snel mogelijk te antwoorden, als een feature gezien te worden (behavioral calibration) en het fundamentele verschil tussen AI en klassieke software. Klassieke software volgt deterministische logica: als X, dan Y. Een AI-model daarentegen schat kansen in en kiest de meest waarschijnlijke uitkomst; het werkt probabilistisch. Op dezelfde vraag kan het vandaag een ander antwoord geven dan morgen: de consistentie is vaak ver te zoeken. Dat kan verstrekkende gevolgen hebben. Zo zijn er gevallen bekend van AI-agents die op eigen houtje (goedbedoeld) een stukje code schreven om taken uit te voeren die hun menselijke maker helemaal niet had bedoeld.

De taal van AI moet vanzelfsprekend worden in de bestuurskamer.
Damian Borstel
Damian Borstel

AI-geletterdheid

AI biedt financiële instellingen geweldige kansen, mits we er op de juiste manier mee omgaan. Het doorgronden van het probabilistische karakter van AI is wat mij betreft daarbij een van de belangrijkste voorwaarden. Iedereen die professioneel bezig is met AI (agents) – van CEO tot (internal) auditor – moet begrijpen wat AI zo bijzonder maakt. En daarmee zit die kennis, opleiding en ervaring ook in de kern van het begrip AI-geletterdheid, een verplichting die sinds dit voorjaar geldt voor iedereen die binnen of namens een organisatie hen AI-systemen exploiteren en gebruiken.

 

De risico’s van AI zijn breed en reiken verder dan hallucinerend gedrag. Zeker in de financiële sector kunnen ze ingrijpend zijn. Een bekend voorbeeld is de bias die gepaard kan gaan met het gebruik van AI: een model dat heeft geleerd van data waarin bepaalde bevolkingsgroepen structureel lagere kredietscores kregen, zal die ongelijkheid ook laten zien in de output en deze vaak presenteren met een schijn van objectiviteit. Een ander risico schuilt in operationele kwetsbaarheden: AI-agents die in milliseconden foutieve trades uitvoeren, kunnen razendsnel grote problemen veroorzaken. Een minder bekend maar ook belangrijk risico is het concentratierisico: als meerdere instellingen dezelfde AI-modellen of leveranciers gebruiken, kan een fout in de kern ervan leiden tot systeemrisico’s.

 

Wie waakt er over AI?

Al met al is er dan ook meer dan voldoende reden om heel goed na te denken over hoe we met deze – en een reeks andere – risico’s moeten omgaan. Uiteraard staat dit thema wereldwijd al een paar jaar hoog op de agenda van wetgevers en toezichthouders. Zo ook initiatieven met universiteiten zoals project AI4Fintech, waarbij de UvA samen met de industrie onder andere onderzoek doet naar verantwoord gebruik van AI. Grofweg zijn er daarbij geografisch drie blokken te onderscheiden.

 

De Verenigde Staten zetten hoog in op de (door)ontwikkeling van AI met een joint venture die investeringsprogramma’s van honderden miljarden dollars opzet (het Stargate project) en Big Tech bedrijven die op hoog tempo werken aan hun proposities. Er zijn richtlijnen over AI vanuit toezichthouders zoals de United States Securities and Exchange Commission (SEC) en de Federal Reserve en de recente Colorado AI Act reguleert de consumentenbescherming voor het gebruik van AI-systemen, met bepalingen op het vlak van transparantie, verantwoording en risicomanagement. De rechtspraak speelt in de Verenigde Staten van oudsher een belangrijke rol: er is ruim baan voor innovatie maar de rechterlijke uitspraken bepalen het speelveld.

 

China kent een heel andere realiteit. Daar zijn generatieve AI-diensten onderworpen aan strikte maatregelen vanuit de overheid, die dat doet vanuit de overkoepelende doelstellingen nationale veiligheid en sociale stabiliteit. Voor financiële instellingen betekent dit: innovatie is zeker mogelijk, maar uitsluitend onder het wakend oog van de overheid die er ook strikte bepalingen voor uitvaardigt.

Spaghetti aan regels?

De Europese Unie kiest voor een andere route: breed, risicogebaseerd en juridisch verankerd. De EU AI Verordening is de eerste horizontale AI wet die alle sectoren bestrijkt (behalve defensie), met specifieke verplichtingen voor high­risk-toepassingen zoals kredietwaardigheidsbeoordeling. Daarnaast zijn er nog tientallen andere wetten en regelingen. Er is regelmatig kritiek op de complexiteit en omvang van het regelgevend kader. De ‘spaghetti’ aan regels, commissies, toezichthouders zou innovatie te veel de kop in kunnen drukken en Europa op achterstand zetten bij een technologie die echt systeemveranderend kan uitpakken. Een extra complicerende factor daarbij is dat de manier waarop verplichtingen nationaal worden doorgevoerd kunnen verschillen tussen lidstaten. Is de kritiek terecht?

Het hele stelsel is hoe dan ook een ambitieuze poging om veiligheid en innovatie te verzoenen. En het is wat gemakkelijk om een gebrek aan innovatie te wijten aan dit stelsel. Chinese bedrijven zijn immers ook sterk gereguleerd maar laten wel degelijk innovatieve dingen zien. Bovendien biedt de Europese wetgeving ook mogelijkheden om in zogeheten sandbox-omgevingen tot innovatie te komen. Buiten de productieomgeving ervaren ontwikkelaars dan de vrijheid om te experimenteren en oefenen.

Sandbox-omgevingen bieden mooie kansen voor innovatie.

Vliegveiligheid

Minstens even belangrijk: een goed gereguleerde omgeving is ook iets om trots op te zijn, vanuit het oogpunt van het beschermen van de consument tegen de gevaren van AI. Niemand betwist bijvoorbeeld de noodzaak om vliegmaatschappijen te onderwerpen aan stringente kaders om daarmee de veiligheid op het hoogste niveau te krijgen. Waarom zouden we bij een systeemtechnologie als AI niet op een vergelijkbare manier redeneren?

Net zoals vliegveiligheid niet alleen een zaak is voor inspecties, zo is het temmen van AI-systemen ook geen zaak die alleen door wetgevers en toezichthouders kan worden geregeld. Geen toezichthouder heeft de capaciteit om elk AI-model van elke instelling door te lichten. Dat is ook niet hun rol en ook niet in lijn met hun risicogebaseerde aanpak. De intrinsieke motivatie voor het beheersen van risico’s moet vooral vanuit de instellingen zelf komen. Precies daarom is AI-geletterdheid zo belangrijk, van hoog tot laag in de organisatie.

Die AI-geletterdheid is onder meer nodig om op een verantwoorde manier te bepalen welke toepassingen in de categorie high­risk vallen en dus striktere guardrails vereisen. En het is daarmee ook nodig om menselijke supervisie – onder andere the human in the loop – goed op te zetten, afgestemd op de specifieke risico’s van een toepassing.

De taal van kansverdelingen

Specialisten binnen een instelling kunnen daarbij de leiding nemen. Het is zaak dat zij vooral redeneren vanuit de context van de eigen instelling en de risico’s en dus niet primair plannen maken vanuit compliance. Maar het is nadrukkelijk geen zaak die aan specialisten kan worden overgelaten. Ook bestuurders moeten het doorgronden. Een bank die AI inzet zonder dat bestuurders de probabilistische aard, de beperkingen en de mogelijke biases doorgronden, neemt eigenlijk een onverantwoorde gok. Bestuurders moeten AI niet beschouwen als een IT-tool, maar als een kernonderdeel van hun strategie en risicobeheer. De taal van kansverdelingen, biasdetectie en modelmonitoring moet even vanzelfsprekend worden als die van rentemarges en kapitaalratio’s. Alleen wie de taal van AI spreekt, kan er ook de baas over blijven. Wie dat nalaat, krijgt vroeg of laat de rekening gepresenteerd – en die kan hoger uitvallen dan de zwaarste boete van een toezichthouder.
 

Dit is een artikel uit het Eye on Finance magazine. Download hier de PDF voor meer inzichten over Agentic AI en de financiële sector of bekijk de andere artikelen hieronder.



Samenvatting

AI verandert de financiële sector fundamenteel en vraagt om diep begrip vóór beheersing. Damian Borstel benadrukt dat AI probabilistisch is, kan hallucineren en daardoor andere risico’s kent dan klassieke software. Wereldwijde regelgeving ontwikkelt zich snel, maar instellingen blijven zelf primair verantwoordelijk voor risicobeheer. AI-geletterdheid is noodzakelijk op alle niveaus, van specialisten tot bestuurders. Alleen wanneer organisaties de taal van kansen, bias en modelmonitoring beheersen, kunnen zij AI verantwoord inzetten en risico’s beheersen.


Ook in deze editie

AI-agents kunnen een financiële instelling maken en breken

Onsi en Stater delen hoe agentic AI processen versnelt, risico’s beheerst en organisaties vraagt om sterke governance en AI-geletterdheid.

Vijf vragen over Agentic AI en de toekomst van werk

Igor Mikhalev van EY-Parthenon bespreekt hoe Agentic AI werk, creativiteit en purpose in organisaties de komende decennia herdefinieert.

Een reis naar de toekomst met Agentic AI

Ontdek hoe agentic AI de financiële sector verandert met autonome besluitvorming, snellere processen en nieuwe strategische mogelijkheden.

Pinar Abay (ING) over de impact van Agentic AI op retailbankieren

Hoe ING agentic AI inzet om retailbankieren te versnellen, processen te vernieuwen en veilig op te schalen richting marktleiderschap.

Hoe NN met Agentic AI klantprocessen opnieuw ontwerpt

Hoe NN AI-agents inzet om processen te vernieuwen, klantverwachtingen te overtreffen en medewerkers mee te nemen in een veilige digitale transformatie.

Hoe AI de klimaattransitie kan versnellen volgens Carbon Equity

Jacqueline van den Ende van Carbon Equity over hoe Agentic AI innovatie versnelt, energie-efficiëntie verbetert en de klimaattransitie stimuleert.


    Over dit artikel

    Auteurs