Znaczenie ram zarządzania AI

Wielowymiarowe podejście do zarządzania AI

Aby docelowy system zarządzania AI kompleksowo odpowiadał na wszystkie ryzyka o zróżnicowanym charakterze w całym w cyklu życia rozwiązań AI, strategia zarządzania sztuczną inteligencją powinna być kompleksowa i obejmować trzy kluczowe perspektywy:

• biznesową,
• technologiczną,
• i regulacyjno-prawną.

Perspektywa biznesowa

Po pierwsze Systemy/Modele AI generują istotne ryzyka biznesowe, a więc takie, które mogą mieć negatywny wpływ na podejmowane decyzje biznesowe i w konsekwencji prowadzić do realnych strat finansowych. Poniżej przedstawiamy kluczowe kategorie ryzyk biznesowych, które należy rozważać przy projektowaniu efektywnego systemu zarządzania AI.

Niska jakość danych może prowadzić do niezamierzonych wyników.

Stare aczkolwiek uniwersalne powiedzenie „garbage in, garbage out” (tł. śmieci na wejściu, śmieci na wyjściu) ma jeszcze większe znaczenie w obliczu tempa rozwoju i budowy modeli AI, w tym rozwiązań opartych o generatywną sztuczną inteligencję (np. dużych modeli językowych tzw. LLM-ów). Zapewnienie, że dane używane do trenowania są poprawne, odpowiednie i reprezentatywne dla rzeczywistych scenariuszy, dla których model zwraca wyniki, powinno stanowić fundament przy efektywnej produktyzacji rozwiązań AI.

Modele/systemy AI mogą uczyć się i utrwalać uprzedzenia, co może prowadzić do niesprawiedliwych decyzji (stronniczość algorytmiczna i sprawiedliwość – Bias & Fairness). Stąd ważne jest monitorowanie/sprawdzanie, a jeśli to niezbędne mitygowanie uprzedzeń w modelu w celu zapewnienia sprawiedliwego traktowania różnych grup demograficznych i społecznych. To zagadnienie powinno być także objęte zasadami etycznymi przyjętymi w organizacji.

Niektóre modele to „czarne skrzynki” z trudnymi do zinterpretowania wynikami (wyjaśnialność). Komplikuje to podejmowanie decyzji i interpretację wyników i pośrednio wpływa na ograniczenie zaufania do rozwiązań AI zarówno u końcowych odbiorców, jak i interesariuszy akceptujących rozwiązania w organizacji. Zapewnienie przejrzystości i wytłumaczalności generowanych wyników oraz odpowiedzi zapewnia komfort, że decyzje podejmowane na ich podstawie są optymalne i zrozumiałe wewnątrz organizacji i dla klientów zewnętrznych. Jako przykład warto wspomnieć sprawę z 4 kwartału 2023 r., gdy firmy ubezpieczeniowe Cigna i United Healthcare, oferujące ubezpieczenia medyczne, otrzymały pozwy sądowe. Podmioty te integrując narzędzia predykcyjne AI w swoich systemach w celu automatyzacji odrzucania roszczeń dotyczących opieki medycznej, niewłaściwie odmawiały pacjentom pokrycia kosztów opieki zdrowotnej za usługi medyczne, ignorując medyczne decyzje podejmowane przez lekarzy współpracujących. Przykład ten jest tylko jednym z wielu potencjalnych ryzyk biznesowych, które mogą skutkować stratami finansowymi i uszczerbkiem reputacyjnym, który jest dużo trudniej odbudować.

Ryzyko niewiarygodnych lub niedokładnych wyników zwracanych przez modele AI w odpowiedzi na rzeczywiste dane. Ponad 56% instytucji z sektora finansowego ankietowanych przez EY jest zaniepokojonych aspektem jakości wyników generowanych przez rozwiązania oparte o generatywną sztuczną inteligencję. W związku z tym konieczne jest przeprowadzanie stress testów systemów/modeli AI, by zapewnić, że modele będą zwracać wiarygodne wyniki przy otrzymywaniu innego zestawu danych niż ten, na którym były uczone. Analizy scenariuszowe i stress testy powinny stanowić kluczowy aspekt systemu kontroli wewnętrznej.

Autonomia oraz zdolność adaptacji systemów/modeli AI generuje ryzyko nie tylko na etapie wdrożenia rozwiązania, ale także po jego wdrożeniu. Kluczowym elementem systemu zarządzania ryzykiem wokół rozwiązań AI staje się więc ustawienie odpowiedniego procesu monitorowania oraz zdefiniowane miar efektywności systemów/ modeli dostosowanych do zastosowanych algorytmów. Inny zestaw metryk będzie aplikowalny do rozwiązań z gamy generatywnej sztucznej inteligencji, a jeszcze inny do modeli predykcyjnych wykorzystujących algorytmy Machine Learning. Zbudowanie systemu monitoringu pozwala efektywnie identyfikować rozwiązania wymagające aktualizacji z uwagi na spadek ich dokładności oraz precyzji, a także identyfikować nowe ryzyka, w tym ewentualną stronniczość algorytmiczną, która niewychwycona odpowiednio wcześnie może narazić organizacje na straty finansowe bądź nadszarpnąć reputację.

Perspektywa technologiczna

Przy projektowaniu efektywnego systemu zarządzania systemami/ modelami AI należy także uwzględnić aspekty ryzyka technologicznego. Rozwiązania AI zwiększają zagrożenia dla bezpieczeństwa, niezawodności i odporności infrastruktury technologicznej. Źle skonfigurowane rozwiązania AI są podatne na manipulacje, co zagraża integralności danego systemu AI, a nawet całej infrastruktury technologicznej danej organizacji. To wzmacnia potrzebę strategicznego i metodycznego podejścia do symulacji rzeczywistych zagrożeń cybernetycznych. Ponadto trenowanie na dużych zestawach danych z poufnymi informacjami może prowadzić do naruszenia prywatności i wycieków danych. Należy także wspomnieć, że szybki rozwój sztucznej inteligencji może prowadzić do starzenia się technologii, wpływając na planowanie inwestycji w obszarze IT.

Perspektywa regulacyjno-prawna

Wykorzystanie AI musi być zgodne z przepisami dotyczącymi tej technologii, w tym z AI Act, oraz przepisami sektorowymi. Dodatkowo, należy zadbać, aby wdrażane procedury i polityki były przejrzyste i prowadziły do odpowiedzialnego, bezpiecznego i nadzorowanego korzystania ze sztucznej inteligencji zgodnego z przepisami.

Wejście w życie i stopniowe rozpoczęcie stosowania unijnego Rozporządzenia w sprawie sztucznej inteligencji (AI Act) stworzyło nową warstwę regulacyjną, która powinna zostać uwzględniona przez organizacje wykorzystujące systemy AI. Oznacza to, iż jednym z kluczowych elementów w procesie projektowania systemu zarządzania sztuczną inteligencją w przedsiębiorstwie jest wdrożenie wszystkich koniecznych obowiązków regulacyjnych. Dostosowanie organizacji do przepisów AI Act powinno być dokonywane kompleksowo, z uwzględnieniem przepisów wynikających z innych regulacji, w szczególności w zakresie ochrony danych (w tym osobowych) czy cyberbezpieczeństwa.

Ustalenie zakresu obowiązków regulacyjnych nakładanych na dane przedsiębiorstwo na gruncie AI Act opiera się, po pierwsze, na identyfikacji systemów AI i ich kategoryzacji ze względu na poziom ryzyka, a po drugie – zależne jest od roli danego podmiotu w łańcuchu wartości (przede wszystkim w rozróżnieniu na dostawców systemów AI i podmioty stosujące systemy AI).

Punktem wyjścia dla zapewnienia zgodności regulacyjnej jest ustalenie, czy dany system spełnia kryteria systemu AI na gruncie AI Act, a przez to czy objęty jest nowymi regulacjami. Zgodnie z przepisami, system AI to system maszynowy, zaprojektowany do działania z różnym poziomem autonomii, wnioskuje, jak generować na podstawie otrzymanych danych wejściowych wyniki, które mogą wpływać na środowisko fizyczne lub wirtualne. Systemy te mogą również wykazywać zdolność adaptacji po ich wdrożeniu. Klasyfikacja danego rozwiązania, jako systemu spełniającego ww. definicję jest kluczowa dla określenia obowiązków regulacyjnych wynikających z Rozporządzenia.

Zakres obowiązków regulacyjnych związanych z wykorzystaniem danego systemu AI zależy jednak od stopnia ryzyka związanego z jego użyciem. Przepisy AI Act rozróżniają następujące poziomy kategorii:

• praktyki zakazane AI – a więc takie użycie systemów AI, które powoduje nieakceptowalne ryzyko,
• systemy AI wysokiego ryzyka,
• systemy AI z obowiązkami informacyjnymi,
• pozostałe systemy AI.

Praktyki zakazane obejmują działania, które mogą prowadzić do poważnych szkód dla osób fizycznych, naruszenie ich praw u podstawowych lub zasad etyki. Przykładem są systemy AI wykorzystujące manipulację, słabości lub dyskryminujące użytkowników ze względu na ich chronione cechy. W kontekście sektora ubezpieczeniowego szczególną uwagę należy zwrócić na rozwiązania stosowane w ramach systemów rekomendacyjnych czy systemów hiperpersonalizacji produktów i ofert, które w krańcowych przypadkach mogą wykorzystywać psychologiczne techniki podprogowe lub manipulacyjne w celu zmiany zachowania użytkowników w sposób dla nich niekorzystny. Co istotne, prze-pisy w zakresie praktyk zakazanych rozpoczynają swoje stosowanie najszybciej, już od 2 lutego 2025 r.

Drugą kategorią są systemy AI wysokiego ryzyka. Ich wykorzystanie nie jest zakazane, ale ze względu na generowane ryzyko, ich użycie obciążone jest szczególnymi ograniczeniami i wymogami. Systemy AI wysokiego ryzyka mogą znacząco wpływać na zdrowie, bezpieczeństwo, prawa podstawowe lub środowisko. Przykłady takich rozwiązań obejmują określone zastosowania systemów AI wykorzystujących identyfikację biometryczną, zarządzanie infrastrukturą krytyczną czy dostęp do podstawowych usług publicznych i prywatnych. W sektorze ubezpieczeniowym jako przykład systemu AI wysokiego ryzyka wskazać należy rozwiązania prze-znaczone do wykorzystywania przy ocenie ryzyka i ustalaniu cen w odniesieniu do osób fizycznych w przypadku ubezpieczenia na życie i ubezpieczenia zdrowotnego.

Przypisanie rozwiązania do kategorii systemów AI wysokiego ryzyka wiąże się z nałożeniem (przede wszystkim na podmioty będące dostawcami takich systemów, w tym wytwarzające je na własny użytek) dodatkowych obowiązków regulacyjnych, takich jak: wdrożenie odpowiedniego systemu zarządzania ryzykiem, wykorzystywanie odpowiednich danych w procesie trenowania, sporządzenie dokumentacji technicznej, czy też rejestrowanie zdarzeń w cyklu życia systemu. Co więcej, jego funkcjonowanie musi cechować się wysoką przejrzystością, dokładnością, solidnością oraz odpowiednim poziomem cyberbezpieczeństwa.

Trzecia grupa rozwiązań, to systemy AI objęte obowiązkami informacyjnymi. Systemy te są regulowane przez AI Act, jednak nie wiążą się z koniecznością wdrożenia obowiązków powiązanych z wykorzystaniem systemów AI wysokiego ryzyka. W przypadku tych rozwiązań, podmiot je stosujący powinien odpowiednio informować użytkownika systemu AI lub odbiorcę generowanych przez ten system treści (np. w przypadku generowania tzw. deepfake), żeby zapewnić odpowiedni poziom transparentności. Takie obowiązki uzasadnione są faktem, że generowane przez tego rodzaju systemy AI wyniki mogą wprowadzić w błąd co do prawdziwości generowanych informacji lub możliwości identyfikacji wchodzenia w interakcję z systemem AI (a nie człowiekiem). Przykładem tego rodzaju systemów w sektorze ubezpieczeniowym będą chatboty wykorzystywane do kontaktu z klientem. Ich funkcjonowanie wiąże się z obowiązkiem zapewnienia przejrzystości i odpowiedniego informowania użytkowników. Korzystający z nich klienci powinni być świadomi zasad ich funkcjonowania, możliwości i ograniczeń.

Ostatnią grupą systemów AI, są te nieobjęte obowiązkami w ramach AI Act, czyli rozwiązania, które nie mieszczą się w żadnej powyższej kategorii. Przepisy umożliwiają swobodne korzystanie z tego rodzaju systemów sztucznej inteligencji, gdyż nie wiążą się one z istotnym ryzykiem dla użytkownika.

Jak wynika z powyższego, prawidłowa identyfikacja rozwiązań stanowiących systemy AI, a następnie ich przypisanie do konkretnej kategorii, jest podstawą poprawnego określenia obowiązków organizacji. Ich zakres jest jednak uzależniony także od roli, jaką dany podmiot pełni w cyklu życia danego systemu sztucznej inteligencji. Kluczowe role, jakie wyróżnione są na gruncie AI Act, to dostawca, który rozwija lub wprowadza rozwiązanie na rynek, a także podmiot stosujący, który wykorzystuje system w swojej działalności i pełni nad nim kontrolę. Zasadniczy ciężar realizacji obowiązków powiązanych z wykorzystaniem danego systemu AI spoczywa na podmiotach występujących w roli dostawcy – przede wszystkim dostawcy systemu AI wysokiego ryzyka. Dostawca jest w głównej mierze odpowiedzialny m.in. za zapewnienie zgodności regulacyjnej swoich produktów, a także za wdrożenie systemu zarządzania jakością oraz dokumentacji technicznej. Istotne jest, iż granice pomiędzy rolami określonymi przez AI Act mogą być płynne. Co szczególnie istotne, powyższy podział nie zawsze jest wyłącznie uzależniony od roli danego podmiotu. W niektórych przypadkach obowiązkami typowymi dla dostawcy systemu AI będą objęte także podmioty stosujące systemy AI – przede wszystkim jest to związane z istotną ingerencją podmiotu stosującego w dany system AI lub wprowadzania go do obrotu pod własnymi oznaczeniami. Poprawna interpretacja definicji z AI Act, a następnie klasyfikacja systemów AI oraz określenie ról danego podmiotu w łańcuchu dostaw determinują ostatecznie zakres obowiązków związanych ze stosowaniem danego rozwiązania. Ma to kluczowe znaczenie w procesie wdrażania systemu zarządzania sztuczną inteligencją. Staranny przegląd wykorzystywanych rozwiązań, ich funkcjonalności oraz kontekstu ich stosowania jest kluczowy ze względu na całościową efektywność i korzyści biznesowe wynikające z wdrażania sztucznej inteligencji.

Roadmapa implementacji ram zarządzania (governance) AI

Źródło: https://www.ey.com/en_gl/insights/ai/principles-for-ethical-and-responsible-ai

Bazując na 9 fundamentalnych pryncypiach etycznego i odpowiedzialnego AI, wypracowaliśmy strukturalne i systematyczne podejście do stworzenia ram zarządzania AI, które można podzielić na 3 główne etapy, tj. zbudowanie fundamentów, zdefiniowanie metodyk oraz operacjonalizację. Na stronie obok wskazujemy kluczowe elementy tego procesu wymagające większego bądź mniejszego wysiłku w zależności od stopnia dojrzałości danej organizacji w zakresie sztucznej inteligencji.

Źródło: EY Trusted AI Framework

Zbudowanie fundamentów

Pierwszym krokiem w budowaniu podstaw ram zarządzania AI jest doprecyzowanie kryteriów definicji AI wynikających z obecnie obowiązującego AI Act. To pozwala na sklasyfikowanie systemów wykorzystywanych w organizacji i dodatkowo określenie tych, do których będą miały zastosowanie nowe obowiązki regulacyjne na gruncie AI Act. Jest to punktem wyjścia do usta-lenia, jakie standardy muszą być spełnione względem poszczególnych systemów. Następnie mając już opracowane kwestie pojęciowe przeprowadzana jest identyfikacja istniejących rozwiązań AI w organizacji oraz tworzone jest repozytorium. Dzięki temu możliwe jest łatwiejsze zarządzanie wszystkimi rozwiązaniami na poziomie organizacji i ich przyszły monitoring. Ostatnim krokiem jest analiza ryzyka, w tym kategoryzacja systemów zgodnie z przepisami AI Act oraz dalsza bardziej granularna ocena poszczególnych ryzyk związanych z wybranym zastosowaniem systemu (np. kwestie etyczne, ryzyko technologiczne). W ramach tego procesu zaczynamy od przeprowadzania oceny dojrzałości organizacji w zakresie odpowiedzialnego AI, co pozwoli efektywnie ocenić poziom zasobów, wymaganych prac niezbędnych do pełnego wdrożenia Governance AI. Ponadto przeprowadzana jest wskazana wcześniej kategoryzacja ryzyk poszczególnych rozwiązań sztucznej inteligencji, która docelowo pozwoli również określić ryzyka AI na poziomie całej organizacji. Jest to też naturalny punkt w czasie do sfinalizowania dyskusji dot. akceptowalnego apetytu na ryzyko związane ze stosowaniem sztucznej inteligencji.

Zdefiniowanie metodyk

Po opracowaniu fundamentów, w drugim etapie powinniśmy skupić się na trzech kluczowych obszarach. Po pierwsze zaktualizować bądź opracować strukturę zarządzania i model operacyjny, gdzie określone zostaną role, obowiązki i struktura odpowiedzialności w perspektywie całego cyklu życia rozwiązania AI.

Następnie mając już wskazanych interesariuszy odpowiedzialnych za poszczególne aktywności konieczne jest opracowanie zasad, procedur, standardów oraz wytycznych zgodnych z pryncypiami odpowiedzialnego AI oraz zapewniających pełną zgodność regulacyjną. Stanowić to będzie fundament, na którym opiera się całe zarządzanie sztuczną inteligencją w organizacji. Istotne jest aby w ramach tych procedur zaprojektować i wdrożyć kontrole w cyklu życia sztucznej inteligencji, oraz opracować podejście do przeprowadzania kontroli i metod ograniczania ryzyka AI.

Operacjonalizacja

Ostatnią fazą zbudowania kompleksowych ram zarządzania sztuczną inteligencją jest operacjonalizacja działań, która ma zapewnić transparentność w egzekwowaniu wypracowanych zasad, procedur na poziomie organizacji. W tym kontekście ważne jest zapewnienie, aby wypracowane reguły były również przestrzegane przez zew. podmioty dostarczające gotowe rozwiązania AI tak, aby efektywnie zarządzać ryzykiem stron trzecich. Jednakże głównym celem tego etapu jest implementacja systemu kontroli wewnętrznej, który ma zapewnić bieżący monitoring po wdrożeniu rozwiązań na produkcję, obejmujący wszystkie aspekty ryzyk biznesowych, technologicznych i prawnych. W ramach tego etapu powinny też zapaść decyzje dot. technologii wspierających skalowanie rozwiązań AI w organizacji, w tym monitoring ryzyka. Celem operacjonalizacji jest również zapewnienie stałej zgodności z obowiązującymi przepisami w zakresie stosowanych rozwiązań, z uwzględnieniem szczególnie dynamicznie zmieniającego się w czasie otoczenia regulacyjnego. Takie zapewnienia stałej zgodności, na wszystkich etapach rozwoju systemów sztucznej inteligencji, będzie obecnie wprost wymagane na gruncie obowiązujących regulacji (w tym AI Act).

Podsumowując, wdrożenie Governance AI to złożony proces, który wymaga starannego planowania i realizacji. Dzięki podejściu wypracowanemu przez EY, każda organizacja może skutecznie zarządzać swoimi rozwiązaniami sztucznej inteligencji, minimalizując ryzyko i maksymalizując korzyści płynące z ich wykorzystania.

Artykuł został opublikowany wcześniej w Miesięczniku Ubezpieczeniowym (luty 2025).