Kto odpowiada gdy agent AI przeleje pieniądze nie tam gdzie trzeba

Agent AI wykonuje przelew na błędne konto. Pieniądze znikają. Użytkownik dzwoni do banku, bank kieruje do vendora platformy AI, vendor odsyła do regulaminu. Gdzieś na dole strony 47 jest zdanie o tym, że system AI nie jest gwarantem dokładności. Gratulacje — właśnie trafiłeś w lukę odpowiedzialności.

To nie jest scenariusz przyszłości. To już się dzieje.

Trzy hipotetyczne scenariusze, które demonstrują problem

Poniższe scenariusze są ilustracyjnymi przykładami — nie opisują konkretnych udokumentowanych incydentów, lecz realistyczne klasy problemów które mogą wystąpić.

Scenariusz 1: Błędny przelew

Firma wdraża agenta AI do obsługi płatności B2B. Agent przetwarza faktury, dopasowuje kontrahentów, wykonuje przelewy. Przez trzy tygodnie działa bez zarzutu. Potem model popełnia błąd w dopasowaniu i wysyła €230,000 do kontrahenta o podobnej nazwie w innym kraju. Pieniądze są odblokowane po sześciu tygodniach, ale koszt procesu windykacyjnego i straty kursowe pochłonęły dodatkowe €40,000.

Kto płaci te €40,000? Umowa z vendorem AI mówi: odpowiedzialność ograniczona do wartości subskrypcji za ostatnie 12 miesięcy. Subskrypcja kosztowała €8,400 rocznie.

Scenariusz 2: Dyskryminacyjna odmowa kredytu

Bank wdraża AI do wstępnej oceny wniosków kredytowych. System odrzuca wniosek — klient z 15-letnim stażem kredytowym dostaje odmowę bez wyjaśnienia. Po miesiącu wychodzi na jaw, że model miał zakodowany bias demograficzny w danych treningowych. System odrzucał statystycznie więcej wniosków z określonych kodów pocztowych.

EU AI Act klasyfikuje systemy kredytowe jako wysokiego ryzyka (Annex III). Wymóg: dokumentacja, human oversight, prawo do wyjaśnienia. Ale system był wdrożony zanim przepisy zaczęły obowiązywać, a vendor twierdzi, że compliance to obowiązek klienta, nie dostawcy.

Scenariusz 3: Agent jako wektor ataku

Korporacyjny agent AI do obsługi portfela inwestycyjnego zostaje skompromitowany przez atak prompt injection. Napastnik wstrzykuje instrukcje przez złośliwie spreparowany dokument PDF przesłany jako raport analityczny. Agent, działając z uprawnieniami użytkownika, wykonuje nieautoryzowane transakcje przez wiele godzin zanim zostaje wykryty. Strata w portfelu i koszt dochodzenia mogą sięgnąć znaczących kwot (rząd setek tysięcy dolarów lub więcej, w zależności od skali systemu).

Ubezpieczyciel odmawia wypłaty — polisa cyber nie obejmuje “działań autoryzowanego oprogramowania”.

Co mówi EU AI Act — i gdzie kończy się papier

EU AI Act wszedł w życie sierpniu 2024. Systemy AI wysokiego ryzyka, w tym te do oceny zdolności kredytowej, zarządzania aktywami i scoringu finansowego, muszą spełniać wymogi z Art. 9-15: dokumentacja ryzyka, human oversight, wyjaśnialność decyzji, rejestracja w europejskiej bazie danych.

Brzmi dobrze. Ale diabeł tkwi w szczegółach.

Po pierwsze, obowiązki są podzielone między “providerów” i “deployers”. Provider to ten kto zbudował model. Deployer to ten kto go wdraża. Akt rozdziela odpowiedzialność między nimi, ale nie rozstrzyga jednoznacznie kto płaci gdy coś pójdzie źle u klienta końcowego.

Po drugie, sankcje w EU AI Act dotyczą naruszeń przepisów, nie szkód cywilnych. Poszkodowany klient banku musi iść do sądu cywilnego na podstawie istniejących przepisów prawa cywilnego lub prawa bankowego — nie ma jeszcze specjalnej ścieżki “AI liability”.

Po trzecie, unijne rozporządzenie AI Liability Directive, które miało wypełnić tę lukę, utknęło w procesie legislacyjnym. Na dziś projekt jest w trybie negocjacji i nie ma wiążącej daty wejścia w życie.

Dlaczego disclaimery nie wystarczą

Vendorzy AI mają standardowe klauzule: “system działa na zasadzie ‘best effort’, nie jest gwarantem poprawności, odpowiedzialność ograniczona do wartości opłat.” To było sensowne dla narzędzi analitycznych. Dla systemów wykonujących autonomiczne transakcje finansowe — jest to coraz trudniejsze do obrony.

Prawo UE generalnie nie pozwala na całkowite wyłączenie odpowiedzialności za szkody wyrządzone konsumentom umyślnie lub przez rażące niedbalstwo (dyrektywa 93/13/EWG o nieuczciwych warunkach umownych). Sądy w Niemczech, Francji i Holandii zaczynają analizować czy klauzule limitation of liability w umowach B2C na systemy AI wysokiego ryzyka są w ogóle enforceable.

W USA sytuacja jest inna — brak federalnej regulacji AI liability, ale już pojawiają się pozwy zbiorowe (class actions) kwestionujące odpowiedzialność operatorów systemów kredytowych opartych na AI. Kilka spraw jest w toku w sądach stanowych Nowego Jorku i Kalifornii.

Co powinny robić firmy teraz

Skoro prawo nadal nie nadąża, organizacje które wdrażają agentów AI w finansach muszą działać proaktywnie:

• Audyt umów z vendorami — co konkretnie obejmuje ich odpowiedzialność, jakie są limity, co wyłącza odpowiedzialność
• Human-in-the-loop dla transakcji powyżej progu — nawet jeśli agent może automatyzować, ustaw próg powyżej którego wymagana jest ludzka akceptacja
• Oddzielny schemat odpowiedzialności — dokument określający wewnętrznie kto odpowiada za które błędy agenta
• Logi audytu — każda decyzja agenta powinna być logowana z uzasadnieniem; to podstawa ewentualnego sporu
• Sprawdź polisę ubezpieczeniową — większość standardowych polis cyber nie obejmuje strat z autonomicznych działań AI

Luka odpowiedzialności w AI nie zniknie sama. Regulatorzy pracują nad uzupełnieniem, ale legislacja idzie wolniej niż wdrożenia. W tym oknie firma jest zasadniczo sama z ryzykiem.

Pytanie na koniec: jeśli wdrażasz dziś agenta finansowego i jutro pójdzie nie tak — czy masz odpowiedź na pytanie kto zapłaci?