Agent zdał egzamin. Czy zda go jutro i pojutrze?

Jeden test, jeden wynik, jeden oklaski. Tak wyglądają wdrożenia AI, które kończą się rozczarowaniem. Agent poprawnie przetwarza wniosek, generuje odpowiedź, klasyfikuje pismo - i wszyscy są zadowoleni. Potem trafia na produkcję i okazuje się, że na sto przypadków piętnaście obsługuje źle. Nie dlatego, że model jest słaby. Dlatego, że nikt nie zmierzył, czy to co zadziałało raz, zadziała zawsze.

To jest fundamentalna cecha systemów opartych na dużych modelach językowych: są stochastyczne. Ta sama instrukcja, ten sam dokument wejściowy, ta sama konfiguracja - a model może za każdym razem wybrać nieco inną ścieżkę rozumowania. Przy prostych, dobrze zdefiniowanych zadaniach różnice są marginalne. Przy złożonych, wieloetapowych agentach kumulują się. Błąd na etapie trzecim z pięciu potrafi wywrócić cały wynik, nawet jeśli każdy pojedynczy krok wydawał się sensowny.

Co to oznacza dla polskich urzędów i instytucji publicznych

Urząd nie jest startupem, który może eksperymentować na użytkownikach. Gdy system AI obsługuje wnioski obywatelskie, decyzje administracyjne czy korespondencję z kontrahentami, „działa w osiemdziesięciu pięciu procentach przypadków" to nie sukces - to problem prawny i wizerunkowy. Dlatego przed wdrożeniem produkcyjnym potrzebna jest statystyczna ocena powtarzalności, a nie jeden pokaz.

Co to konkretnie znaczy w praktyce? Zamiast uruchamiać agenta raz na spreparowanym przykładzie, testujemy go na zestawie kilkudziesięciu rzeczywistych przypadków - różnej trudności, różnych formatów, z brzegowymi przypadkami, które normalnie zdarzają się raz na miesiąc. Każdy przypadek uruchamiamy kilkukrotnie i porównujemy wyniki między sobą. Jeśli agent za każdym razem daje tę samą odpowiedź, mamy podstawy do zaufania. Jeśli przy tym samym wejściu raz klasyfikuje pismo jako priorytetowe, a raz jako rutynowe - wiemy, że coś wymaga korekty zanim puścimy to na żywo.

Drugi ważny wątek to degradacja w czasie. Agent, który działał dobrze w październiku, może działać gorzej w marcu - nie dlatego, że ktoś coś zmienił świadomie, ale dlatego, że zmienił się model bazowy, zaktualizowała się biblioteka, albo po prostu napłynęły nowe typy dokumentów, których wcześniej nie było. Monitoring produkcyjny to nie opcja, to obowiązek. Potrzeba próbkowania rzeczywistych wyników i porównywania ich z oczekiwanymi - tak samo, jak monitoruje się dostępność systemu informatycznego.

Przetargi na systemy agentyczne warto konstruować inaczej niż dziś. Zamiast pytać „czy agent potrafi to zrobić", pytamy „z jaką skutecznością robi to na reprezentatywnym zestawie danych, mierzonym trzykrotnie". To proste przesunięcie akcentu - z możliwości na niezawodność - eliminuje z postępowania dostawców, którzy sprzedają demo zamiast produkt.

Powtarzalność agentów to temat, który dopiero zaczyna pojawiać się w rozmowach o AI w administracji. Warto go podjąć zanim trafi do nas jako problem, a nie jako pytanie do sprawdzenia. Zapraszamy na bezpłatny audyt - razem możemy ocenić, czy Wasza obecna lub planowana automatyzacja spełnia ten warunek.