Zamówienia publiczne a AI: systemy jako przedmiot postępowań o udzielenie zamówienia

Zamówienia publiczne a AI: systemy jako przedmiot postępowań o udzielenie zamówienia


W obliczu rosnącego znaczenia systemów sztucznej inteligencji (AI) oraz coraz szerszych zastosowań tej technologii - w Polsce i Europie zauważalna jest także wzmożona aktywność podmiotów sektora publicznego w tym zakresie. Konsekwencją tego zjawiska jest zainteresowanie tematem wymagań stawianych podmiotom operującym w reżimie zamówień przy okazji nabywania i rozwoju rozwiązań AI. 

Nie będzie stanowiło specjalnego odkrycia stwierdzenie, że procesy zakupowe w sektorze publicznym mają charakter wysoce sformalizowany z uwagi na podleganie przepisom prawa zamówień publicznych („PZP”). Skala i głębokość tych uregulowań stanowiła od zawsze mniejsze lub większe wyzwania dla zakupów technologii doprowadzając do ograniczenia - często wysoce pożądanej – elastyczności projektów informatycznych (przykładowo początkowo utrudniając w ogóle stosowanie metodyk agilowych). Wydaje się jednak, że odpowiednie podejście do wymagań prawa zamówień publicznych może być szczególnie istotne i wymagające w postępowaniach mających za przedmiot AI, z uwagi na potrzeby dotyczące specyfikacji technologicznej i w dalszym ciągu występujące niejasności prawne dotyczące wykorzystania tej technologii. Z całą pewnością jednak czynnikami, które mogą wpłynąć na sukces są: opieranie się na sektorowych „miękkich” rekomendacjach i rynkowych doświadczeniach oraz odpowiednia współpraca pomiędzy zamawiającymi a wykonawcami.

Jak zatem prawidłowo regulować i przeprowadzać tego typu procesy, aby spełniały wymogi formalne i prawne wynikające z PZP oraz pozostałych regulacji? Poniższy artykuł stanowi podstawowy przewodnik kluczowych zagadnień, które wiążą się z zamówieniami na systemy oparte o sztuczną inteligencję. Przedstawiamy w nim wyzwania dotyczące samych zamówień i technologii wynikające z Prawa zamówień publicznych oraz spojrzymy na takie zamówienia przez pryzmat obowiązków wynikających z Rozporządzenia o Sztucznej Inteligencji (AI Act).



Zamówienia publiczne na systemy AI - kontekst europejski

Przewiduje się, że w Europie udział sektora publicznego w rynku rozwiązań AI będzie istotny. Świadczy o tym chociażby niedawno opublikowany unijny AI Continent Action Plan, w którym wyraźny nacisk jest położony na budowanie europejskiej suwerenności technologicznej, rozwój infrastruktury obliczeniowej oraz wspieranie lokalnych innowacji. W tym kontekście szczególnego znaczenia nabiera odpowiedzialne i strategiczne podejście do zakupów rozwiązań opartych na AI, w tym systemów AI.

Istotne akty prawne i rekomendacje

W przypadku sformalizowanych postępowań zakupowych na rozwiązania wykorzystujące technologię sztucznej inteligencji (AI) kluczowe jest kompleksowe uwzględnienie dwóch obszarów regulacji. Z jednej strony przepisów regulujących samo postępowanie, zwłaszcza Ustawy z dnia 11 września 2019 r. – Prawo zamówień publicznych, z drugiej – regulacji dotyczących AI (np. AI Act, RODO czy regulacji z zakresu cyberbezpieczeństwa).

Jednak nie tylko same przepisy są istotne, warto posiłkować się wszelkimi rekomendacjami i wytycznymi. W tym zakresie cennym wsparciem mogą być choćby Rekomendacje Prezesa Urzędu Zamówień Publicznych (Rekomendacje dotyczące zamówień publicznych na systemy informatyczne - Urząd Zamówień Publicznych - Portal Gov.pl) dotyczące zamówień na systemy informatyczne. Rekomendacje nie są aktem prawnym i nie są wiążące, jednak stanowią praktyczne wskazówki dotyczące PZP w kontekście zamówień na systemy IT, a tym samym częściowo na systemy AI.

Rekomendacje podkreślają dużą różnorodność systemów IT i w konsekwencji brak możliwości sformułowania jednolitych rekomendacji dopasowanych do wszystkich możliwych stanów faktycznych. Dlatego przyjęto podejście oparte na omówieniu kluczowych zagadnień wspólnych dla tradycyjnych zamówień IT. Rekomendacje stanowią punkt wyjścia, lecz nie obejmują bezpośrednio systemów AI ani ich specyfiki, co skutkuje brakiem praktycznych wskazówek w zakresie PZP i systemów AI. Przykładami zagadnień, w których należy wziąć pod uwagę specyfikę systemów AI, a których nie poruszają Rekomendacje to m.in. wymogi AI Act (Rekomendacje poruszają jedynie kwestie ustaw i regulacji obowiązujących na dzień ich wydania). Brak jest również definicji szczególnych dla systemów AI czy też np. omówienia parametrów SLA charakterystycznych dla systemów AI.

Na poziomie unijnym mamy do czynienia z już powszechnie - choć dalej jedynie częściowo - obowiązującym rozporządzeniem AI Act, które wprowadza zharmonizowane przepisy dotyczące sztucznej inteligencji i, które ustanawia dodatkowe obowiązki i wymogi. AI Act nie odnosi się bezpośrednio do sformalizowanych procesów zakupowych, ale ustanawia dodatkowe obowiązki i wymogi, które należy wziąć pod uwagę już na samym początku prac technologicznych, ale też organizacji zamówień publicznych - obowiązują one bowiem zarówno producentów, jak i podmioty stosujące systemy AI.

Dodatkowo, aktualizowane Wzorcowe Klauzule UE AI (EU model contractual AI clauses to pilot in procurements of AI | Public Buyers Community), opracowane przez Komisję Europejską, oferują praktyczne narzędzia, które nie są aktem prawnym i nie mają mocy wiążącej, ale mogą pomóc w zawieraniu potencjalnych umów i zapewnieniu zgodności z AI Act. Klauzule te koncentrują się na odpowiedzialności, przejrzystości i zarządzaniu ryzykiem.

Podsumowując, należy w pełni stosować się do dotychczasowych przepisów w zakresie zamówień publicznych i korzystać z dotychczasowych praktyk, ale procesy zamówieniowe należy też dostosować do regulacji AI Act, a strategie i podejście dostosować do unikalnych wyzwań związanych z AI.

Specyfika systemów AI a PZP – wyzwania i skuteczne rozwiązania

Analizując wyzwania związane z zamówieniami na systemy AI należy wziąć pod uwagę, że już samo zamawianie rozwiązań technologicznych i IT wiąże się z szeregiem szczególnych wyzwań, które mogą skomplikować proces zakupowy. Bardziej zaawansowane rozwiązania, takie jak np. systemy oparte na chmurze, wprowadzają dodatkowe trudności ze względu na swoją specyfikę oraz złożoność technologiczną. Zamówienia na najnowszą i dynamiczną technologię jaka są systemy AI - posiadają dodatkową warstwę wyzwań prawnych w związku z nowymi regulacjami i specyfiką tej technologii.

Prawo zamówień publicznych nakłada na zamawiających szereg obowiązków, mających na celu zapewnienie przejrzystości, uczciwej konkurencji oraz efektywności wydatkowania publicznych środków. W kontekście systemów sztucznej inteligencji podejście do zamówień publicznych powinno brać pod uwagę specyfikę AI zarówno pod kątem technicznym jak i regulacyjnym. Kluczowe jest, aby zamawiający uwzględniali dotychczasowe wytyczne i praktyki, w szczególności Rekomendacje UZP IT oraz m.in. doświadczenia związane z umowami na tradycyjne systemy IT czy usługi chmurowe. Praktyka rynkowa dotycząca zamówień na wspomniane technologie jest już stosunkowo ustabilizowana i sprawdzona w praktyce, co stanowi solidną podstawę do tworzenia praktyki w zakresie procesów zakupowych na systemy AI.

Rekomendacje UZP IT identyfikują główne wyzwania związane z zamówieniami IT, w dalszej części artykułu zostały przedstawione niektóre z nich, w ramach których w ocenie autorów istotne jest omówienie specyfiki zamówień na systemy AI z praktycznego punktu widzenia.

Podział zamówienia na części

W zamówieniach na systemy AI, zgodnie z art. 91 PZP, zamawiający ma obowiązek wskazania przyczyn braku podziału zamówienia na części. Przed wszczęciem postępowania należy przeanalizować możliwość podziału lub składania ofert częściowych. Ze względu na specyfikę systemów AI, sposób ich podziału może różnić się od zamówień na tradycyjne systemy IT.

Warto też zauważyć, że zamówienia publiczne w obszarze AI mogą znacząco różnić się zakresem między sobą. Mogą obejmować zarówno zamówienia na gotowe rozwiązania, które są już dostępne na rynku, ale bardziej innowacyjne projekty i strategie podmiotów będą wymagały zamówień produktów i usług rozwoju i budowy nowych systemów czy modeli. 

Przy analizie podziału lub jego braku na potrzeby uzasadnienia w dokumentacji, szczególnie zamówień na bardziej złożone usługi i systemy można przykładowo wziąć pod uwagę poszczególne etapy cyklu życia systemu AI, np.:

  • Dostawa infrastruktury obliczeniowej i danych,
  • Projektowanie i trenowanie modeli AI,
  • Integracja z istniejącymi systemami IT
  • Utrzymanie i monitoring działania systemu AI,
  • Szkolenia użytkowników i dokumentacja.

Brak podziału zamówienia na części w przypadku systemów AI może ograniczać konkurencję, wykluczać MŚP oraz prowadzić do uzależnienia od jednego wykonawcy. Zamawiający ma obowiązek wskazania obiektywnych przyczyn takiej decyzji, np. nadmiernych trudności technicznych lub ryzyka niewłaściwej realizacji. Trudności organizacyjne czy chęć uproszczenia postępowania nie stanowią wystarczającego uzasadnienia. Należy jednak zwrócić uwagę, że Wytyczne wskazują, że zamówienia obejmujące różne typy usług, jak zakup oprogramowania standardowego ze wsparciem producenta czy dostawa oprogramowania dedykowanego z wdrożeniem i utrzymaniem, nie powinny podlegać podziałowi.

Określenie przedmiotu zamówienia

Określenie przedmiotu zamówienia dla systemów AI wymaga szczególnej precyzji oraz uwzględnienia ich specyfiki technologicznej i regulacyjnej. Zamawiający powinien jednoznacznie opisać funkcjonalności oraz stosować terminologię zgodną z obowiązującymi przepisami (AI Act) i wytycznymi (wzorcowe klauzule UE). Dodatkowym wyzwaniem jest dynamiczny rozwój technologii, skutkujący częstymi zmianami i aktualizacjami systemów oraz modeli AI.

W dokumentacji zamówienia należy uwzględnić również specyficzne wymagania dotyczące utrzymania sprawności wdrażanego rozwiązania przez odpowiednie sformułowanie SLA (Service Level Agreement), które w przypadku systemów opartych na sztucznej inteligencji powinny wykraczać poza tradycyjne parametry, takie jak dostępność czy czas reakcji. W kontekście systemów wysokiego ryzyka, kluczowe stają się m.in. parametry jakościowe, takie jak dokładność (ang. accuracy) i solidność (ang. robustness) działania algorytmu, zgodnie z wymogami art. 15 AI Act.

Dokładność odnosi się do zdolności systemu do poprawnego klasyfikowania danych, co jest istotne dla zapewnienia rzetelności wyników. Solidność natomiast odnosi się do odporności systemu na zakłócenia, takie jak zmiany danych wejściowych czy próby manipulacji, co jest kluczowe dla utrzymania integralności i bezpieczeństwa działania systemu. Dodatkowo, AI Act wymaga, aby systemy wysokiego ryzyka były poddawane regularnym testom i walidacji, co powinno być uwzględnione w dokumentacji zamówienia. Zamawiający powinni również rozważyć wprowadzenie wymagań dotyczących przejrzystości algorytmów oraz możliwości audytowania ich działania, co jest istotne w kontekście odpowiedzialności i zgodności z regulacjami.

Określenie wartości zamówienia

W przeciwieństwie do tradycyjnych systemów informatycznych, których koszt można stosunkowo łatwo oszacować w oparciu o dające się skwantyfikować na starcie projektu elementy tj. koszt licencji zewnętrznego producenta czy wynagrodzenie w zamian za przeniesienie majątkowych praw autorskich, pracochłonność zespołu potrzebnego do jednorazowego wdrożenia realizowanego w modelu kaskadowym czy pakiet utrzymania liczony w miesiącach następujących po produkcyjnym uruchomieniu rozwiązania, systemy oparte na sztucznej inteligencji – zwłaszcza generatywnej – wprowadzają nowe, znacznie bardziej zróżnicowane modele płatności. Poza rozwiązaniem, jakim jest model subskrypcyjny, stosuje się również popularny model „pay-as-you-go”, w którym koszty są uzależnione od rzeczywistego zużycia – np. liczby usecasów, którymi mogą być przetworzone dokumenty, zapytania API czy też w oparciu o liczbę tokeny tekstowe. Wybór odpowiedniego modelu ma kluczowe znaczenie dla prawidłowego oszacowania wartości zamówienia publicznego i przygotowania dokumentacji przetargowej.

Wycena zamówienia publicznego na system AI wymaga od zamawiającego nie tylko znajomości powyższych modeli, ale żeby świadomie wybrać odpowiedni model i określić wartość zamówienia – kluczowe jest również zrozumienie specyfiki rozliczeń opartych na tokenach. Tokeny to jednostki tekstu przetwarzane przez modele językowe. W przypadku braku odpowiednio przeszkolonego personelu, który potrafi efektywnie formułować zapytania (tzw. promptowanie), zużycie tokenów może być znacznie wyższe niż zakładano, co prowadzi do trudnych do przewidzenia kosztów operacyjnych. W połączeniu z dynamicznie rozwijającym się rynkiem, sytuacja ta może skutkować niedoszacowaniem wartości zamówienia, a w konsekwencji też możliwym zastosowaniem niewłaściwego reżimu prawnego w odniesieniu do progów unijnych.

Określenie wartości zamówienia na system AI jest więc wyzwaniem ze względu na złożone modele płatności i trudności w oszacowaniu kosztów przed wdrożeniem systemu do konkretnych zadań. Wymaga to analizy funkcji systemu, jego zastosowania oraz liczby i kompetencji użytkowników.

Zgodność z regulacjami dotyczącymi cyberbezpieczeństwa i ochrony danych osobowych

W zamówieniach publicznych na systemy AI zamawiający zobowiązany jest do zapewnienia nie tylko funkcjonalności i efektywności rozwiązania, lecz także jego zgodności z wymogami w zakresie cyberbezpieczeństwa oraz ochrony danych osobowych. Systemy AI, zwłaszcza działające w modelu chmurowym, mogą przetwarzać dane szczególnej kategorii (wrażliwe), co wymaga wdrożenia adekwatnych i proporcjonalnych środków technicznych i organizacyjnych.

Zgodnie z Rekomendacjami UZP IT, zamawiający powinien uwzględnić zarówno przepisy powszechnie obowiązujące – takie jak ustawa o krajowym systemie cyberbezpieczeństwa (KSC), RODO czy Krajowe Ramy Interoperacyjności (KRI).

Niedopełnienie tych obowiązków może skutkować nie tylko odpowiedzialnością administracyjną lub cywilną, ale również poważnymi konsekwencjami operacyjnymi, w tym zakłóceniem ciągłości działania instytucji publicznej. Dlatego też w dokumentacji przetargowej należy jasno określić m.in. oczekiwany poziom zabezpieczeń, sposób obsługi incydentów oraz zgodność z obowiązującymi standardami bezpieczeństwa informacji.

Zamawiający powinni uwzględniać uwarunkowania techniczne i rynkowe obowiązujące w Unii Europejskiej. Złożoność systemów IT, w tym ich modułowa struktura, wiele przepływów danych i udział niezależnych dostawców, oraz zależności rynkowe, np. korzystanie przez mniejsze podmioty z rozwiązań dużych międzynarodowych firm, wpływają na realizację zamówień. Nakładanie się regulacji powoduje konieczność świadomego określenia zakresu obowiązków regulacyjnych wobec danego systemu i podmiotu. Szczególną uwagę należy zwrócić na sytuację mniejszych dostawców, którzy mogą mieć trudności z pełnym dostosowaniem się do zróżnicowanych wymogów.

Z praktycznego punktu widzenia zapewnienie zgodności zamówienia na system AI z NIS 2 i RODO wymaga integracji istniejących w organizacji procedur bezpieczeństwa i ochrony danych z dodatkowymi wymogami. Choć NIS 2 nie została jeszcze ostatecznie wdrożona w Polsce, jej przepisy mogą wejść w życie już niebawem - warto więc już teraz uwzględniać je w zamówieniach, jeżeli jesteśmy podmiotem objętym tą regulacją. Należy przeprowadzić analizę ryzyka, wdrożyć zasadę security-by-design, określić wymagania dotyczące polityk bezpieczeństwa, monitorowania incydentów (np. zgłoszenie w 24 h, raport w 72 h), planów awaryjnych i audytów. Szczególną uwagę należy zwrócić na bezpieczeństwo łańcucha dostaw - wykonawca powinien wskazać kluczowych poddostawców, ocenić ich zabezpieczenia (np. zgodność z ISO27001) i uwzględnić to w zapytaniu i w przyszłej umowie.

Z perspektywy RODO kluczowe jest podejście privacy-by-design/default. Zamawiający powinien określić, jakie dane będą przetwarzane, wdrożyć odpowiednie środki techniczne (np. szyfrowanie, anonimizacja), przeprowadzić ocenę skutków dla ochrony danych (DPIA) oraz być może zawrzeć umowę powierzenia przetwarzania z wykonawcą. Umowa powinna regulować zakres przetwarzania, zabezpieczenia oraz obowiązek niezwłocznego raportowania incydentów, aby umożliwić zgłoszenie naruszenia do UODO w ciągu 72 godzin.

Podsumowując, zamawiający powinien zmapować obowiązki wynikające m.in. z NIS 2 i RODO na wymagania przetargowe i zapisy umowne, co pozwoli zredukować ryzyka prawne i operacyjne oraz zapewnić zgodność z przepisami krajowymi i unijnymi.

Odpowiedzialność

W zamówieniach publicznych na systemy AI, w szczególności generatywne, konieczne jest precyzyjne określenie zakresu odpowiedzialności wykonawcy. W odróżnieniu od systemów tradycyjnych, systemy AI działają w sposób probabilistyczny, a ich wyniki mogą być nieprzewidywalne i zależne od danych wejściowych oraz kontekstu. Często opierają się na modelach dostarczanych przez podmioty trzecie, co ogranicza kontrolę wykonawcy nad całością rozwiązania. W związku z tym odpowiedzialność wykonawcy nie powinna obejmować wszystkich możliwych rezultatów działania systemu, zwłaszcza w dynamicznym środowisku. Podział odpowiedzialności powinien uwzględniać zarówno interes zamawiającego, jak i realne możliwości techniczne dostawcy.

Zamawiający powinien zatem odpowiednio określić w dokumentacji zamówienia zakres odpowiedzialności wykonawcy, uwzględniając specyficzny kontekst technologii AI. Można m.in. innymi wziąć pod uwagę rozróżnienie odpowiedzialność za:

  • jakość i bezpieczeństwo techniczne systemu,
  • zgodność z wymogami prawnymi, w tym AI Act,
  • zapewnienie mechanizmów nadzoru ludzkiego i wyjaśnialności,
  • dostarczenie dokumentacji i procedur związanych z regulacjami dotyczącymi własności intelektualnej, ochrony danych i cyberbezpieczeństwa.

AI Act w praktyce – obowiązki zamawiającego i wykonawcy

AI Act, jako nowa regulacja dotycząca sztucznej inteligencji, wprowadza dodatkowe wymagania i obowiązki, które w praktyce muszą być uwzględnione w procesie zamówień publicznych. Ustawa ta definiuje różne kategorie ryzyka związane z systemami AI oraz nakłada obowiązki zarówno na dostawców jak i podmioty stosujące. Zamawiający muszą być świadomi tych wymagań i uwzględnić je w swoich procedurach przetargowych, co może wymagać dodatkowych zasobów i wiedzy.

Efektywne wdrożenie AI Act w procesach zakupowych wymaga ścisłej współpracy zamawiających i wykonawców, ponieważ wiele obowiązków ma charakter techniczny i może wymagać ingerencji w system lub model. Taka współpraca i ścisła komunikacja pozwalają lepiej zrozumieć wymagania dotyczące funkcjonalności, bezpieczeństwa i jakości, a jej brak może prowadzić do niezgodności z przepisami.

W praktyce przerzucenie pełnej odpowiedzialności za zgodność z przepisami na wykonawców może stanowić wysokie ryzyko prawne ze względu m.in. na fakt, że w ramach przepisów AI Act zamawiający może stanowić zarówno podmiot stosujący system AI jak i dostawcę w rozumieniu przepisów omawianego rozporządzenia. W przypadku błędnego założenia, że zamawiający pełni wyłącznie rolę podmiotu stosującego względem zamawianego systemu, może dojść do nieświadomego naruszenia obowiązków przewidzianych dla dostawców.

Na co w pierwszej kolejności zwrócić uwagę w kontekście AI Act?

W pierwszej kolejności warto dokonać analizy już w toku przygotowywania przetargu czy zamawiany system będzie w ogóle stanowił system AI w rozumieniu AI Act. Przypominamy, że zgodnie z definicją z rozporządzenia system AI to system maszynowy, który został zaprojektowany do działania z różnym poziomem autonomii po jego wdrożeniu oraz który może (ale nie musi) wykazywać zdolność adaptacji po jego wdrożeniu, a także który – na potrzeby wyraźnych lub dorozumianych celów – wnioskuje, jak generować na podstawie otrzymanych danych wejściowych wyniki, takie jak predykcje, treści, zalecenia lub decyzje, które mogą wpływać na środowisko fizyczne lub wirtualne.

Kolejnym krokiem w dostosowaniu zamówień do AI Act jest określenie, kim są zamawiający i wykonawcy w świetle przepisów oraz czy ich role mogą się zmieniać na różnych etapach wdrożenia. Zgodnie z art. 25 AI Act, obowiązki dotyczące systemów wysokiego ryzyka obejmują cały łańcuch – od tworzenia po stosowanie – i mogą dotyczyć także dystrybutorów, importerów czy użytkowników. W określonych przypadkach, np. przy istotnej modyfikacji systemu lub zmianie jego przeznaczenia powyższe podmioty mogą zostać uznane także za dostawcę, co diametralnie może zmienić zakres i ciężar obowiązków prawnych. Dlatego należy pamiętać o tym, że publiczni zamawiający także mogą podlegać obowiązkom dla dostawców i powinni przeanalizować swoją rolę i wdrożyć odpowiednie procedury zapewniające zgodność z przepisami w takim przypadku.

Kiedy już zamawiający upora się z oceną, czy dany system kwalifikuje się jako system AI oraz jaką rolę pełni dany podmiot w świetle AI Act, przed rozpoczęciem postępowania przetargowego należy przeanalizować, czy planowane zastosowanie systemu nie będzie stanowi praktyk zakazanych – takich jak np. scoring społeczny, profilowanie kryminalne czy nieukierunkowane pozyskiwanie danych biometrycznych – które mogą prowadzić do nieproporcjonalnego traktowania osób.

Kluczowe obowiązki

Z punktu widzenia zamówień publicznych kluczowe znaczenie ma też klasyfikacja systemu jako wysokiego ryzyka (high-risk AI), zgodnie z art. 6 i załącznikami II i III AI Act, jako że systemy wysokiego ryzyka często są bezpośrednio związane z działalnością podmiotów publicznych. W przypadku takich systemów zamawiający musi zapewnić, że oferowane rozwiązanie spełnia wymogi w zakresie:

  • zarządzania ryzykiem,
  • jakości danych treningowych,
  • przejrzystości i wyjaśnialności działania systemu,
  • nadzoru ludzkiego,
  • cyberbezpieczeństwa,
  • zgodności z prawami podstawowymi i zasadami etyki.

Obowiązki dotyczące systemów wysokiego ryzyka są szczególnie istotne w sektorze publicznym ze względu na jego charakter, ponieważ systemy AI uznaje się za wysokiego ryzyka, jeżeli są spełnione poniższe warunki:

  • System AI jest przeznaczony do wykorzystania jako związany z bezpieczeństwem element produktu objętego unijnym prawodawstwem harmonizacyjnym wymienionym w załączniku I, lub sam system AI jest takim produktem (np. maszyny czy wyroby medyczne).
  • Produkt (lub system AI jako produkt) podlega ocenie zgodności przez stronę trzecią na podstawie unijnego prawodawstwa harmonizacyjnego, w związku z jego wprowadzeniem do obrotu lub oddaniem do użytku.

Dodatkowo systemy wysokiego ryzyka obejmują systemy wykorzystywane m.in. w obszarach infrastruktury krytycznej, dostępu do usług publicznych (np. przyznawanie świadczeń społecznych), egzekwowania prawa, zarządzania migracją, azylem i kontrolą graniczną oraz w ramach wymiaru sprawiedliwości i procesów demokratycznych.

Uwzględnienie wymogów wynikających z AI Act już na etapie zamówienia publicznego nie tylko zwiększa bezpieczeństwo prawne zamawiającego, ale również wspiera wdrażanie odpowiedzialnych, etycznych i zgodnych z prawem rozwiązań AI w sektorze publicznym.

Wzorcowe klauzule umowne UE dotyczące sztucznej inteligencji

W kontekście zamówień publicznych na systemy sztucznej inteligencji, szczególnie istotne staje się wykorzystanie odpowiednio sformułowanych klauzul umownych, które uwzględniają specyfikę tej technologii oraz wymogi wynikające z rozporządzenia AI Act. Komisja Europejska opracowała w tym celu dwa zestawy wzorcowych klauzul umownych (Model Contractual Clauses – MCC): dla systemów wysokiego ryzyka (MCC-AI-High-Risk) oraz dla systemów niskiego ryzyka (MCC-AI-Light). Choć oba dokumenty mają charakter roboczy i mogą jeszcze ulec zmianie, to już teraz mogą stanowić cenne narzędzie wspierające instytucje publiczne w konstruowaniu umów zgodnych z zasadami przejrzystości, odpowiedzialności i bezpieczeństwa. Klauzule te obejmują m.in. obowiązki dostawcy w zakresie zarządzania ryzykiem, jakości danych, nadzoru ludzkiego, przejrzystości działania systemu, cyberbezpieczeństwa oraz ochrony praw podstawowych. Wersja dla systemów wysokiego ryzyka dodatkowo reguluje kwestie audytu, rejestracji systemów AI oraz kosztów związanych z ich monitorowaniem. Choć dokument z klauzulami nie ma mocy prawnej, to są to oficjalne wytyczne unijnego organu i stosowanie klauzul – po odpowiednim dostosowaniu do kontekstu konkretnego zamówienia – może znacząco zwiększyć bezpieczeństwo prawne i operacyjne zamawiającego oraz ułatwić spełnienie wymogów AI Act.

Strategiczne podejście do przeprowadzania zamówień na systemy AI

Aby prawidłowo przeprowadzić procesy sformalizowanych zamówień na systemy AI, które nie tylko spełniają wymogi formalne, ale pozwalają też na efektywną realizację celów zamawiających oraz nabywanie wysokiej jakości systemów oraz usług, istotne jest podjęcie kilku kluczowych kroków. Poniżej przedstawiamy listę działań priorytetowych dla zapewnienia zgodności regulacyjnej:

  • Aktualizacja dokumentacji przetargowej: Przegląd i dostosowanie wzorów dokumentów przetargowych, aby uwzględniały specyfikę systemów AI oraz wymagania AI Act. W szczególności należy uwzględnić charakter zamawianych systemów w kontekście ewentualnych opisów przedmiotu zamówienia, oszacowania kosztów czy podziału odpowiedzialności.
  • Opracowanie polityki zakupowej: Stworzenie dedykowanej polityki zakupowej dla systemów AI, która określi zasady, procedury oraz kryteria oceny ofert.
  • Szkolenia dla pracowników: Organizacja szkoleń dla pracowników odpowiedzialnych za zamówienia publiczne, aby zwiększyć ich wiedzę na temat AI oraz związanych z nią regulacji.
  • Analiza ryzyka: Przeprowadzenie szczegółowej analizy ryzyka związanej z wdrożeniem systemów AI, w tym identyfikacja potencjalnych zagrożeń i sposobów ich minimalizacji.
  • Zarządzanie danymi: Opracowanie strategii zarządzania danymi, w tym zabezpieczeń danych oraz zgodności z RODO i innymi regulacjami dotyczącymi ochrony danych osobowych.
  • Wzorcowe klauzule umowne: Przygotowanie wzorcowych klauzul umownych dostosowanych do specyfiki systemów AI, które będą regulować odpowiedzialność, przejrzystość oraz zarządzanie ryzykiem przy uwzględnieniu wytycznych w postaci wzorcowych klauzul umownych opracowanych przez Komisję Europejską.

Zamówienia publiczne na systemy AI wymagają szczególnego podejścia, uwzględniającego specyfikę tej technologii. Zamawiający powinni nie tylko przestrzegać przepisów PZP, lecz także brać pod uwagę wyzwania technologiczne i regulacyjne związane z AI. Odpowiednie polityki oraz współpraca z wykonawcami na każdym etapie postępowania mogą zwiększyć efektywność i bezpieczeństwo zamówień. Świadome podejście wspiera cele w zakresie suwerenności technologicznej oraz rozwój innowacyjnych i odpowiedzialnych rozwiązań w sektorze publicznym.



Kontakt
Chcesz dowiedzieć się więcej? Skontaktuj się z nami.

Informacje

Autorzy

Polecane

Zielony marketing pod lupą – kiedy „eko” może kosztować miliony

W dobie rosnącej świadomości ekologicznej konsumentów firmy coraz chętniej sięgają po zielony marketing. Hasła takie jak „przyjazny dla środowiska” czy „neutralny klimatycznie” przyciągają uwagę i budują pozytywny wizerunek marki. Problem pojawia się wtedy, gdy za tymi deklaracjami nie stoją fakty. Dowiedz się więcej z artykułu.

Nowe obowiązki usługodawców, producentów, importerów, dystrybutorów – co warto wiedzieć o Europejskim Akcie o Dostępności i polskiej ustawie implementującej

Od 28 czerwca 2025 r. zaczęła obowiązywać nowa ustawa o zapewnianiu spełniania wymagań dostępności niektórych produktów i usług przez podmioty gospodarcze, tak zwany Polski Akt o Dostępności.

Fundacja rodzinna – pierwsze sukcesy i dalsze wyzwania

Ministerstwo Finansów zapowiedziało zmiany w opodatkowaniu fundacji rodzinnych. Wchodzimy w trzeci rok, w którym obowiązywać będzie ustawa o fundacji rodzinnej.