Czy wyniki testów AI można zaufać? Ruch na rzecz powtarzalnych benchmarków i co z tego wynika dla urzędów

Testowanie modeli AI wygląda z zewnątrz jak nauka ścisła: bierzesz model, uruchamiasz zestaw zadań, dostajesz wynik. Problem w tym, że dwa niezależne zespoły testujące ten sam model na tym samym zestawie zadań bardzo często dostają różne liczby. Różne wersje bibliotek, różne sposoby sformułowania promptu, inny sprzęt, inna kolejność pytań. Wynik 78% u jednego laboratorium to 71% u drugiego. Żaden z nich nie kłamie, ale żaden nie jest też pewny.

Brytyjski instytut bezpieczeństwa AI oraz inicjatywa skupiona na ocenianiu samych ewaluacji pracują nad tym, żeby tę sytuację ustrukturyzować. Chodzi o meta-poziom: nie tylko "jak dobry jest model", ale "jak dobrze sprawdzamy, że model jest dobry". Wypracowywane są wspólne protokoły testowania, standardy dokumentowania warunków testu i metody weryfikowania, czy dany benchmark można w ogóle odtworzyć przez kogoś innego. To żmudna robota, mało widowiskowa, ale bez niej każda "tabela rankingowa" modeli jest trochę jak oceny wystawione przez różne szkoły bez wspólnej skali.

Co to oznacza dla polskich urzędów i instytucji publicznych

Instytucje publiczne kupują albo zamawiają systemy AI coraz częściej. I za każdym razem stają przed tym samym pytaniem: skąd wiem, że ten model rzeczywiście robi to, co sprzedawca twierdzi w ofercie? Certyfikaty, białe księgi i testy wewnętrzne producenta to za mało. Jeśli nie można odtworzyć wyników niezależnie, to de facto nie ma żadnej weryfikacji.

Powtarzalność benchmarków tworzy fundament pod niezależny audyt możliwości AI. Jeśli protokoły testowe są otwarte i wystandaryzowane, urząd albo podmiot zewnętrzny może sprawdzić twierdzenia vendora zanim podpisze umowę. To nie jest detal techniczny. To podstawa odpowiedzialnych zakupów w sektorze publicznym, gdzie błąd w ocenie narzędzia nie skutkuje tylko stratą pieniędzy, ale może też wpłynąć na jakość obsługi obywateli albo zgodność z przepisami.

• Przy wyborze dostawcy: pytaj nie tylko o wyniki testów, ale o warunki, w jakich te testy przeprowadzono. Porównuj je z niezależnymi ocenami, jeśli istnieją.
• Przy odbiorze systemu: dopuszczaj możliwość testu akceptacyjnego opartego na otwartym protokole, nie tylko na demonstracji przygotowanej przez sprzedawcę.
• Przy planowaniu przetargów: wymagania dotyczące oceny modeli warto już dziś formułować tak, żeby dawały się odtworzyć przez inny podmiot.

Jest jeszcze jeden praktyczny aspekt. Modele szybko się zmieniają. Wersja, którą testowano pół roku temu, to nie ta sama, która dziś trafia do produkcji. Standardy powtarzalności wymuszają też datowanie wyników i śledzenie zmian w czasie, co dla instytucji publicznych, które muszą dokumentować podstawy swoich decyzji, ma realną wartość dowodową.

Ruch w kierunku powtarzalnych ewaluacji AI to jeden z tych procesów, które decydenci techniczni w urzędach powinni obserwować z uwagą. Nie dlatego, że zmieniają coś od razu, ale dlatego, że kiedy staną się standardem, instytucje, które to rozumieją, będą pisały lepsze wymagania i wybierały lepszych dostawców. Jeśli chcesz sprawdzić, jak to wygląda w praktyce w kontekście Twojej instytucji, zapraszamy na bezpłatny audyt.