Gotowa infrastruktura do wyszukiwania semantycznego. Co modułowe komponenty AI zmieniają w obsłudze dokumentów
Platforma śledząca artykuły naukowe i ich implementacje zbudowała wyszukiwanie semantyczne, łącząc trzy wyspecjalizowane komponenty: serwowanie modeli embeddingowych na żądanie, zadania batchowe do indeksowania nowych treści oraz magazyn na wektory i dane. Każdy element robi jedno, robi to dobrze i można go podmienić bez przebudowywania całości. Nie ma tu monolitu, nie ma też zespołu badaczy ML. Jest architektura z gotowych klocków, które razem dają produkcyjny system.
To ważne przesunięcie. Jeszcze dwa lata temu zbudowanie takiego systemu wymagało własnej infrastruktury GPU, potoków przetwarzania danych i programistów znających się na modelach językowych. Teraz granica między "mamy zasoby, żeby to zrobić" a "nie mamy" przebiega zupełnie inaczej.
Co to oznacza dla polskich urzędów i instytucji publicznych
Wyszukiwanie po dokumentach to jeden z najczęstszych bólów głowy w administracji. Tysiące decyzji, regulaminów, pism, umów, interpretacji. Klasyczne wyszukiwanie pełnotekstowe zwraca wyniki tam, gdzie trafia na słowa kluczowe, i milczy, gdy ktoś zapyta inaczej niż autor dokumentu napisał. Wyszukiwanie semantyczne odpowiada na sens pytania, nie na literalny ciąg znaków. Różnica w praktyce jest duża.
Opisana architektura pokazuje, że do zbudowania takiego systemu potrzeba trzech rzeczy. Po pierwsze modelu embeddingowego, który zamienia tekst na wektory, czyli liczbową reprezentację znaczenia. Po drugie procesu indeksowania, który uruchamia się cyklicznie lub po dodaniu nowych dokumentów i aktualizuje bazę wektorów. Po trzecie magazynu na te wektory, z którego wyszukiwarka ciągnie wyniki w czasie rzeczywistym. Każdą z tych warstw można dziś postawić osobno, korzystając z zarządzanych usług, bez własnych serwerów GPU.
Dla urzędu to oznacza, że projekt wyszukiwania semantycznego po archiwum, aktach spraw albo bazie aktów prawnych nie wymaga zaczynania od zera ani zatrudniania specjalistów ML. Wymaga natomiast dobrego projektu architektury, doboru modelu embeddingowego (najlepiej obsługującego język polski), decyzji o tym, gdzie leżą dane, i zadbania o to, żeby indeksowanie nadążało za przyrostem dokumentów. To zadanie dla kogoś, kto rozumie systemy, nie ktoś, kto trenuje modele.
Warto też zauważyć stronę kosztową. Model indeksowania batchowego działa wtedy, gdy trzeba, a nie przez całą dobę. Model serwowania odpytań skaluje się do rzeczywistego ruchu. Przy rozsądnym zaprojektowaniu taki system może być tańszy w utrzymaniu niż klasyczny silnik wyszukiwania z pełnotekstową bazą danych i manualnie zarządzanymi synonimami.
Otwarte zostaje pytanie o dane. Instytucja publiczna musi wiedzieć, gdzie fizycznie leżą dokumenty przekazywane do indeksowania i czy spełnia to wymagania RODO oraz klasyfikacji informacji. Architektura modułowa daje tu elastyczność: można wybrać komponenty działające w polskiej albo europejskiej infrastrukturze, a nawet postawić model embeddingowy on-premise i tylko magazyn trzymać w chmurze.
Jeśli chcecie sprawdzić, które dokumenty w Waszej instytucji najbardziej zyskałyby na wyszukiwaniu semantycznym i od czego zacząć projekt, zapraszamy na bezpłatny audyt.
Opracowanie: zespół redAi z wykorzystaniem narzędzi AI.
Więcej aktualności
- Model, który przetwarza dane wielokrotnie przez te same warstwy. Co architektura pętli zmienia dla instytucji publicznych
- Kiedy system AI zatrzymuje własną aktualizację. Co bezpieczne pipeline'y wdrożeniowe zmieniają w utrzymaniu IT urzędu
- Lekki adapter zamiast nowego modelu. Co dopasowywanie AI do infrastruktury zmienia w kosztach wdrożenia
- Wydajny model AI na lokalnym sprzęcie. Co nowa generacja mini-modeli zmienia dla instytucji publicznych