Jak sprawdzić, czy model AI naprawdę śledzi zmiany stanu w długich dokumentach

Większość testów modeli językowych sprawdza, czy model zna fakty albo potrafi coś streścić. Tymczasem w pracy z długimi dokumentami liczy się coś innego: czy model śledzi zmiany stanu. Chodzi o to, żeby po przeczytaniu kilkudziesięciu stron wiedział, że coś, co na początku było prawdą, zostało potem zmienione, odwołane albo zastąpione. Nowe metody benchmarkowania, z których jedna nosi nazwę StateBench, właśnie to mierzą. Model dostaje dokument, w którym stan jakiegoś obiektu, procesu lub wartości zmienia się kilkukrotnie, i musi odpowiedzieć, jaki jest stan na końcu. Brzmi prosto. W praktyce modele mylą się zaskakująco często, szczególnie gdy zmian jest dużo i są rozłożone na wiele stron.

Co to oznacza dla polskich urzędów i instytucji publicznych

Polskie urzędy pracują z dokumentami, które z definicji opisują zmieniający się stan rzeczy. Ustawa nowelizowana dwadzieścia razy. Pozwolenie wydane, zaskarżone, uchylone w części, ponownie wydane z warunkami. Umowa z aneksami, które modyfikują wcześniejsze zapisy. Sprawa administracyjna, która przez kilka lat przechodzi przez kolejne etapy. Gdy urząd pyta model AI „jaki jest aktualny status tej sprawy" albo „co obowiązuje po ostatniej zmianie", model musi umieć śledzić nie tylko to, co stoi na początku dokumentu, ale to, co wynika z całej sekwencji zmian.

Problem jest realny i dobrze udokumentowany: modele mają tendencję do „przyklejania się" do pierwszej informacji, którą napotkają. Jeśli paragraf 5 mówi, że termin wynosi 30 dni, a aneks z trzeciej strony to zmienia na 14, model często zwróci 30 dni jako aktualną odpowiedź. Przy krótkich dokumentach to błąd sporadyczny. Przy wielostronicowych aktach prawnych albo korespondencji urzędowej liczącej dziesiątki pism, staje się systematyczny.

Dla instytucji, które wdrażają AI do obsługi dokumentów, wynika z tego kilka praktycznych wskazówek. Po pierwsze: przed uruchomieniem asystenta do pracy z długimi dokumentami warto sprawdzić, jak radzi sobie właśnie ze śledzeniem zmian, nie tylko z prostym streszczaniem. Po drugie: tam gdzie stan dokumentu jest krytyczny, np. przy weryfikacji uprawnień albo terminów, wynik modelu powinien zawsze być opatrzony wskazaniem konkretnego miejsca w tekście, z którego pochodzi. Po trzecie: istnieją techniki, które poprawiają tę zdolność modeli, m.in. wyraźne oznaczanie zmian w dokumencie przed podaniem go do modelu albo przetwarzanie dokumentu etapami z jawnym aktualizowaniem stanu.

To ostatnie podpowiada też coś szerszego. Lepsze wyniki daje nie tylko mocniejszy model, ale przemyślany sposób przygotowania dokumentu przed analizą. Urząd, który dostosuje format wejściowy, może wyciągnąć więcej z modelu, który ma już teraz.

Możemy sprawdzić, jak modele AI w Waszej instytucji radzą sobie z dokumentami, w których stan rzeczy się zmienia, i zaproponować konkretne poprawki. Zapraszamy na bezpłatny audyt.