Każde słowo dokumentu jako osobny wektor. Co wielowektorowe modele wyszukiwania zmieniają w urzędzie
Większość systemów wyszukiwania semantycznego działa tak samo: dokument zamienia się na jeden wektor liczbowy, zapytanie też dostaje swój wektor, a system porównuje, jak bardzo są do siebie zbliżone. Prosto, szybko, całkiem skutecznie. Problem pojawia się przy złożonych pytaniach, gdzie liczy się każde słowo. Jeden wektor nie jest w stanie udźwignąć wszystkich niuansów długiego akapitu prawnego czy wielostronicowej umowy.
Wielowektorowe modele z tzw. późną interakcją robią to inaczej. Każdy token dokumentu, każde słowo, dostaje swój własny wektor. Zapytanie też jest rozkładane na wektory składowe. Dopiero w momencie wyszukiwania system porównuje wszystkie pary, słowo zapytania do każdego słowa dokumentu, i wybiera najsilniejsze dopasowania. To trochę jak porównanie akapit po akapicie zamiast streszczenie do streszczenia. Wynik jest precyzyjniejszy, szczególnie tam, gdzie kontekst i kolejność słów mają znaczenie. Obsługa takich modeli trafia teraz do popularnych bibliotek open source, co oznacza, że wdrożenie przestaje być projektem na kilka miesięcy.
Co to oznacza dla polskich urzędów i instytucji publicznych
Urzędy pracują z tekstem przez cały dzień. Przepisy, decyzje, wnioski, umowy, skargi. Wyszukiwanie w tych zasobach to nie luksus, to codzienność. Gdzie wielowektorowe modele dają realną różnicę?
- Wyszukiwanie w aktach i rejestrach. Jedno zdanie z ustawy potrafi mieć kilka warstw znaczeniowych. Klasyczny model skompresuje je do jednej wartości i straci część informacji. Model wielowektorowy zachowuje więcej, więc zapytanie „kiedy wygasa decyzja wydana warunkowo" znajdzie właściwy paragraf nawet wtedy, gdy nie zawiera tych dokładnych słów.
- Obsługa wniosków i korespondencji. Obywatel rzadko używa urzędowego języka. Wielowektorowe modele lepiej radzą sobie z luźnym, potocznym pytaniem, które trzeba powiązać z formalnym przepisem albo procedurą.
- Systemy wiedzy wewnętrznej. Instrukcje, interpretacje, stanowiska. Pracownicy szukają w nich codziennie. Lepsza trafność wyszukiwania to mniej czasu na przeglądanie wyników i mniej błędów z powodu pominięcia właściwego dokumentu.
Jest jedna istotna różnica w porównaniu do klasycznych modeli. Wielowektorowe podejście przechowuje wiele razy więcej danych, bo zamiast jednego wektora na dokument mamy ich tyle, ile słów. Przy zbiorze liczonym w dziesiątkach tysięcy dokumentów to kilkakrotnie większe wymagania na przestrzeń dyskową i pamięć operacyjną przy wyszukiwaniu. Nie jest to przeszkoda nie do pokonania, ale warto to uwzględnić przy planowaniu infrastruktury, szczególnie jeśli urząd rozważa uruchomienie takiego systemu lokalnie, bez chmury.
Dobra wiadomość jest taka, że próg wejścia wyraźnie się obniżył. Gotowe implementacje w popularnych bibliotekach oznaczają, że nie trzeba budować silnika wyszukiwania od podstaw. Warstwa modelu jest dostępna, pozostaje dobór odpowiedni do konkretnego zasobu dokumentów i języka polskiego, bo nie każdy model radzi sobie z nim równie dobrze.
Jeśli Wasza instytucja korzysta z wyszukiwania po dokumentach albo planuje taki system, warto sprawdzić, czy obecne podejście nie gubi ważnych wyników. Zapraszamy na bezpłatny audyt, gdzie ocenimy, co można poprawić i jakie podejście ma sens przy Waszej skali.
Opracowanie: zespół redAi z wykorzystaniem narzędzi AI.
Więcej aktualności
- Model, który przetwarza dane wielokrotnie przez te same warstwy. Co architektura pętli zmienia dla instytucji publicznych
- Kiedy system AI zatrzymuje własną aktualizację. Co bezpieczne pipeline'y wdrożeniowe zmieniają w utrzymaniu IT urzędu
- Lekki adapter zamiast nowego modelu. Co dopasowywanie AI do infrastruktury zmienia w kosztach wdrożenia
- Wydajny model AI na lokalnym sprzęcie. Co nowa generacja mini-modeli zmienia dla instytucji publicznych