Dane przed modelem. Dlaczego AI nie naprawi bałaganu w rejestrach urzędu

W środowisku wdrożeń generatywnego AI utrwalił się pewien schemat. Organizacja inwestuje w pilotaż, uruchamia system oparty na RAG, a po kilku miesiącach projekt stoi w miejscu. Winę zrzuca się na model: za wolny, za mało kontekstu, za słabe rozumowanie. Tymczasem inżynierowie pracujący przy takich projektach wskazują na zupełnie inne źródło problemu. Dane. Konkretnie: przekonanie, że można wrzucić do systemu fragmentaryczne, niespójne i słabo opisane zasoby, a warstwa wyszukiwania jakoś to "wyrówna". Nie wyrówna. RAG to narzędzie do znajdowania i podawania kontekstu modelowi, a nie do naprawiania fundamentalnych braków w jakości danych wejściowych. Jeśli dokumenty są niespójne już u źródła, model zwróci pewną odpowiedź, tyle że zbudowaną na złym gruncie.

Co to oznacza dla polskich urzędów i instytucji publicznych

Polska administracja publiczna ma za sobą dekady cyfryzacji prowadzonej stopniowo i w różnym tempie. W praktyce oznacza to dziesiątki systemów dziedzinowych, które nie rozmawiają ze sobą, rejestry prowadzone według różnych standardów w różnych latach, dokumenty zeskanowane bez OCR albo z OCR niskiej jakości. Do tego dochodzą pliki Word z tabelami wsadzonymi jako obrazki, pisma opisane jako "pismo123.pdf" bez żadnych metadanych. To realia, z którymi pracujemy na co dzień.

Problem polega na tym, że wiele zespołów projektowych traktuje wdrożenie AI jako okazję do "przy okazji" naprawienia tych zaległości. Liczą, że duży model językowy wychwyci nieścisłości i sam uzupełni luki. Część rzeczy faktycznie da się naprawić automatycznie. Ale nie wszystko. Model nie wie, że dwa wpisy w rejestrze dotyczą tej samej sprawy, jeśli zostały oznaczone różnymi sygnaturami według różnych konwencji. Nie odgadnie, że "ul. Lipowa 3" i "Lipowa 3 m. 1" w dwóch systemach to ten sam adres. Odpowie, ale odpowiedź może być błędna albo niekompletna, a urząd często nie będzie o tym wiedział.

Zanim więc uruchomi się jakikolwiek system oparty na wyszukiwaniu semantycznym, warto zadać sobie kilka pytań:

• Czy dokumenty, które mają trafić do systemu, mają spójne metadane (data, typ, autor, jednostka)?
• Czy tekst w plikach PDF jest warstwą tekstową, czy tylko obrazem?
• Czy różne systemy używają tych samych identyfikatorów dla tych samych spraw i podmiotów?
• Kto odpowiada za aktualizację tych zasobów i jak często to robi?

To nie są pytania techniczne. To pytania organizacyjne i zarządcze, które powinny paść zanim ktokolwiek dobierze model czy architekturę. Jakość odpowiedzi AI jest wprost zależna od jakości tego, co do niej trafia.

Nie każdy urząd musi zaczynać od zera. Często wystarczy dobrze zidentyfikować, które zasoby są wystarczająco dobre, żeby już teraz zasilić system, a które wymagają wcześniejszego porządku. Taka ocena zajmuje znacznie mniej czasu niż naprawianie wdrożenia, które ruszyło na złych fundamentach. Jeśli chcesz wiedzieć, w jakim stanie są Wasze dane przed wdrożeniem AI, zapraszamy na bezpłatny audyt.