Wyszukiwanie semantyczne w urzędzie: jak nowy sposób trenowania modeli wektorowych zmienia jakość wyników

Gdy system AI przeszukuje archiwum dokumentów albo odpowiada na pytania urzędnika, zanim w ogóle wygeneruje odpowiedź, musi znaleźć właściwe fragmenty. Robi to za pomocą modeli embeddingowych, które zamieniają tekst na liczby, a potem porównują te liczby ze sobą. Problem w tym, że proste podejście, jeden wektor na dokument, gubi dużo kontekstu. Modele wielowektorowe reprezentują dokument jako całą kolekcję wektorów, osobno dla różnych fragmentów. Brzmi lepiej. I jest. Pod warunkiem że model był trenowany ze świadomością tego, jak te wektory będą później łączone i porównywane podczas wyszukiwania. To właśnie zmienia nowe podejście do trenowania, które obserwujemy w badaniach nad tzw. token pooling-aware training.

Chodzi o to, żeby model uczył się nie w oderwaniu od rzeczywistości, ale z pełną wiedzą o tym, jak jego wyniki zostaną użyte. Jeśli podczas wnioskowania tokeny będą grupowane i uśredniane, model powinien się tego nauczyć już na etapie treningu. Efekt: wyniki wyszukiwania są trafniejsze, a model działa efektywniej, bo zasoby obliczeniowe idą tam, gdzie naprawdę mają sens.

Co to oznacza dla polskich urzędów i instytucji publicznych

Instytucje publiczne pływają w morzu dokumentów. Zarządzenia, opinie prawne, procedury, decyzje administracyjne, pisma wychodzące i przychodzące. Systemy AI, które pomagają urzędnikom szukać w tym zasobie, są tak dobre, jak modele embeddingowe pod spodem. Gdy te modele są trenowane lepiej, lepsza jest też trafność tego, co system podpowiada.

• Systemy RAG w urzędach (AI odpowiadający na pytania w oparciu o wewnętrzne dokumenty) bezpośrednio korzystają z jakości wyszukiwania wektorowego. Lepsza reprezentacja dokumentu to mniejsze ryzyko, że system pominie właściwy przepis albo wyciągnie nie ten fragment umowy.
• Archiwa dokumentów i repozytorium aktów prawnych to obszary, gdzie wyszukiwanie wielowektorowe ma sens szczególnie wtedy, gdy dokumenty są długie, wielostronicowe i mają złożoną strukturę. Jedno, uśrednione zdanie streszczające cały akt prawny to za mało.
• Obsługa zapytań obywatelskich przez chatboty i asystentów AI wymaga, żeby model trafił w właściwy fragment procedury albo wzoru pisma. Tu liczy się precyzja, nie samo podobieństwo tematyczne.

Ważny jest też wymiar praktyczny wdrożenia. Modele trenowane z uwzględnieniem sposobu poolingu są często szybsze w działaniu, bo wyniki można cachować i łączyć taniej. Dla instytucji z ograniczoną infrastrukturą to nie jest szczegół. Mniejszy koszt obliczeniowy przy tej samej, a nawet wyższej jakości, to argument, który przemawia do działów IT i do osób odpowiedzialnych za budżet.

To, co widzimy w tym obszarze badań, to dojrzewanie całego ekosystemu wyszukiwania semantycznego. Jeszcze rok temu wybór modelu embeddingowego był mało krytyczny, bo różnice były niewielkie. Dziś sposób trenowania robi realną różnicę w jakości, którą urzędnicy odczują bezpośrednio w codziennej pracy.

Jeśli Wasza instytucja buduje albo planuje system wyszukiwania dokumentów oparty na AI, warto od początku postawić na modele, które są trenowane świadomie pod kątem zastosowania. Pomożemy ocenić, co ma sens w Waszym konkretnym przypadku. Zapraszamy na bezpłatny audyt.