AI, które rozumie pytanie za pytaniem. Co benchmark XYBench zmienia w pracy urzędu

W środowisku technicznym od lat funkcjonuje pojęcie „problemu XY". Chodzi o sytuację, gdy ktoś pyta o swoje próbowane obejście, zamiast o właściwy problem. Przykład: pracownik pyta, jak skopiować określony fragment pliku XML, bo myśli, że tego potrzebuje. Prawdziwy cel to jednak wyciągnięcie danych z systemu, do czego istnieje zupełnie inna droga. Model AI, który odpowiada tylko na zadane pytanie, może być technicznie poprawny i jednocześnie kompletnie nieprzydatny.

XYBench to zestaw testów, który sprawdza, czy modele językowe potrafią ten wzorzec rozpoznać. Nie chodzi o to, żeby AI odgadywało intencje za wszelką cenę. Chodzi o to, żeby model zauważył, kiedy dosłowna odpowiedź prowadzi użytkownika w ślepą uliczkę, i zamiast tego pomógł z tym, o co tak naprawdę chodzi.

Co to oznacza dla polskich urzędów i instytucji publicznych

Petenci i pracownicy rzadko formułują pytania idealnie. Obywatel dzwoni na infolinię i pyta, jak wypełnić konkretne pole wniosku. Ale jego rzeczywisty problem może być inny: nie spełnia warunków do złożenia tego wniosku w ogóle. Asystent AI, który odpowie na pytanie literalnie, skonsumuje czas obu stron i nie rozwiąże niczego. Asystent, który dostrzeże szerszy kontekst, skróci tę interakcję do minimum.

To samo dotyczy wewnętrznych narzędzi. Pracownik urzędu pyta, jak obejść krok w procedurze. Za tym pytaniem może stać zupełnie inny problem: brak uprawnień, błąd w systemie, nieaktualna instrukcja. Model, który zamiast odpowiedzieć wprost zapyta „co chcesz osiągnąć?", często okazuje się bardziej pomocny niż ten, który podaje krok po kroku odpowiedź na pytanie, które nie trafiło w sedno.

• Obsługa petentów: AI na pierwszej linii kontaktu (czat, infolinia, e-mail) może ocenić, czy pytanie wskazuje na właściwą procedurę, i zaproponować korektę zanim petent straci godziny na wypełnianie złego wniosku.
• Wsparcie pracowników: Narzędzia wewnętrzne dla urzędników zyskują, gdy model nie odpowiada mechanicznie, lecz weryfikuje, czy pytający zmierza we właściwym kierunku.
• Redukcja błędów proceduralnych: Duża część pomyłek w dokumentach urzędowych wynika z nierozumienia, o co naprawdę chodzi w danym kroku. Model wrażliwy na problem XY może to sygnalizować z wyprzedzeniem.

XYBench daje narzędzie do porównywania modeli pod tym kątem. Zanim Wasza instytucja wybierze asystenta AI do obsługi klientów albo do wsparcia wewnętrznego, warto zadać pytanie: czy ten model odpowiada na to, co napisano, czy na to, co ma sens? To różnica między narzędziem, które obsługuje zapytania, a takim, które realnie pomaga.

Modele coraz lepiej radzą sobie z tym problemem, ale różnice między nimi są wciąż znaczące. W zastosowaniach urzędowych, gdzie błędna ścieżka proceduralna kosztuje czas i zaufanie obywateli, ta różnica jest wymierna.

Chcecie sprawdzić, jak te możliwości przekładają się na Wasze konkretne procesy? Zapraszamy na bezpłatny audyt.