En dan hebben we het nog niet gehad over de opkomst van AI, met onder meer de large language models (LLM’s), zoals ChatGPT. Hoe kijk je daar tegenaan?
“Fascinerend. Gaandeweg moeten we leren welke rol dergelijke modellen precies kunnen vervullen voor een financiële instelling. Ik heb nog niet op mijn netvlies hoe de end game eruitziet. Wel zijn we vrij zeker dat de opkomst van AI het werkgebied modelvalidatie zal transformeren, omdat we overgaan van een redelijk statische model-ontwikkelingsomgeving naar een sterk dynamische wereld. In feite kun je met de opkomst van LLM’s en andere datascience-technieken met een paar regels programmeercode al een nieuw model bouwen. De snelheid gaat dus omhoog: modellen worden op rap tempo ontwikkeld en geïmplementeerd. En daarmee moeten we ook de validatie ervan op een andere manier gaan doen. Waarschijnlijk gaan we toe naar een vorm van continuous validation, waarbij we vooral kijken naar hoe een model tot stand komt en wordt gebruikt. En minder naar de gedetailleerde componenten van het model zelf. Maar ook hier geldt: ik heb de antwoorden nog niet.”
Er lijkt ook een verschuiving plaats te vinden in de aard van de modellen. Traditioneel werden modellen vooral ingezet om risico’s te beheersen. Nu zie je vaker dat een goed model ook mogelijkheden biedt om nieuwe business aan te boren. Herken je dat?
“Het is nooit een goed idee om een model te hebben dat alleen maar bedoeld is om compliant te zijn aan de wettelijke eisen. Als het goed is, draagt een model bij aan je eigen succes door in business value te voorzien. Dat gaat dus verder dan compliance. En dat businessaspect wordt steeds belangrijker. Traditioneel wilde je een probleem vaak oplossen met een model en ging je dan de data pas zoeken. Vraaggestuurd dus. Dat wordt nu steeds vaker aanbodgestuurd, terwijl de business en ontwikkelaars zich afvragen welke mooie dingen mogelijk zijn met de beschikbare data en al beginnen om dat te modelleren. Dat drijft de noodzaak van snelheid en valideren op.”
Het is lastig om voldoende talent te vinden in deze tak van sport, zeker nu je steeds meer de combinatie van statistische kennis en businesscontext nodig hebt. Tegelijkertijd zijn banken steeds meer afhankelijk van modellen. Hoe gevaarlijk is die cocktail? Kan de volgende crisis ontstaan doordat de modellen toch niet zo goed waren als we dachten?
“Eigenlijk moet je een crisis, zoals die uit 2008, doormaken om goed te begrijpen wat er op het spel staat. Een van de leerpunten toen was dat er te veel fear of missing out (FOMO) was. Velen wisten dat risico’s niet goed waren vastgelegd en geprijsd, en dat de gebruikte modellen op bepaalde terreinen niet goed genoeg waren. Maar als de buurman er geld aan verdient, word je verleid om die waarschuwingssignalen te negeren. Het werkte goed – totdat alles ‘ontplofte’. Ik kan natuurlijk geen garanties geven, maar ik weet wel dat dit thema – de grote rol van modellen en het belang om deze te monitoren – nadrukkelijk aan de orde is bij de boards van financiële instellingen. Er is nu begrip over hoe banken afhankelijk zijn van modellen en daarmee ook hoe belangrijk gedegen model risk management is.”
