Okrojony słownik, trzy czwarte mniej kosztów. Co specjalizacja słownictwa małych modeli zmienia w wdrożeniach AI

Małe modele językowe (SLM) są coraz częściej wybierane do wdrożeń w organizacjach, które cenią przewidywalność kosztów i możliwość uruchomienia modelu na własnym sprzęcie. Każdy taki model dźwiga jednak ze sobą słownik liczący dziesiątki tysięcy tokenów, zbudowany z myślą o użyciu ogólnym. W specjalistycznym zastosowaniu, na przykład przy przetwarzaniu umów, decyzji administracyjnych czy wniosków, wykorzystywany jest ułamek tej listy. Reszta to martwa masa, która i tak zajmuje pamięć i wydłuża każde obliczenie. Najnowsze badania pokazują, że celowe przycięcie słownika do zakresu, który faktycznie pojawia się w danej dziedzinie, potrafi obniżyć koszt wnioskowania o ponad siedemdziesiąt procent w prawdziwych aplikacjach, przy zachowaniu jakości odpowiedzi.

Mechanizm jest stosunkowo prosty. Warstwy osadzeń (embeddings) i projekcji wyjściowej zajmują w małych modelach nieproporcjonalnie dużo miejsca i czasu obliczeniowego. Gdy wycinamy z nich pozycje tokenów, które w konkretnym korpusie nigdy się nie pojawiają, model fizycznie maleje. Można go wtedy uruchomić na tańszym sprzęcie, obsłużyć więcej zapytań na jednej maszynie albo po prostu zapłacić mniej za API w chmurze.

Co to oznacza dla polskich urzędów i instytucji publicznych

Administracja publiczna to jeden z najbardziej jednorodnych językowo obszarów, jakie można sobie wyobrazić. Decyzje podatkowe, pisma ZUS, wnioski o pozwolenia na budowę, protokoły posiedzeń rad gminy, dokumentacja przetargowa. Ten zbiór jest rozległy, ale leksykalnie przewidywalny. Specjalistyczne słownictwo prawno-administracyjne, nazwy ustaw, typowe frazy proceduralne, skróty organów. Tokeny dotyczące popkultury, nazwy marek czy kolokwialny slang nie mają tu żadnego zastosowania.

To oznacza, że każda instytucja, która wdraża mały model do konkretnego zadania, ma realną możliwość przeprowadzenia specjalizacji słownika zanim trafi on na produkcję. Efekt to nie tylko niższy rachunek. Krótszy czas odpowiedzi bezpośrednio przekłada się na użyteczność systemu przy obsłudze dużego ruchu, na przykład w sezonie rozliczeń podatkowych albo przy masowym generowaniu powiadomień. Mniejszy model łatwiej utrzymać, audytować i aktualizować.

• Urzędy, które już testują małe modele lokalnie (na własnych serwerach, bez chmury), mogą skorzystać z tej techniki zanim model trafi do produkcji, bez konieczności ponownego trenowania od podstaw.
• Instytucje przetwarzające dokumenty w kilku językach lub dialektach prawnych (prawo unijne, krajowe, samorządowe) mogą przygotować oddzielne specjalizacje dla każdego z tych obszarów.
• Tam gdzie model odpowiada obywatelom przez formularz lub chatbot, nawet skromna różnica w milisekundach odpowiedzi robi wrażenie przy setkach równoległych sesji.

Warto zdawać sobie sprawę z jednego ograniczenia. Specjalizacja słownika działa dobrze, gdy zakres tematyczny jest z góry znany i stabilny. Jeżeli jutro urząd dostanie nowy rodzaj wniosków, którego dotychczas nie przetwarzał, może okazać się, że część potrzebnych tokenów została usunięta. To nie dyskwalifikuje metody, ale wymaga planowania zakresu i okresu, po którym warto słownik weryfikować.

Kierunek jest wyraźny: koszt wdrożenia AI przestaje być stały. Można go kształtować decyzjami podejmowanymi na etapie przygotowania modelu, nie tylko przez wybór dostawcy chmury czy klasy sprzętu. Instytucje, które zaczną to uwzględniać w swoich planach, będą miały realną przewagę przy kolejnych przetargach i wewnętrznych uzasadnieniach budżetowych.

Jeśli chcesz sprawdzić, które z Twoich procesów kwalifikują się do wdrożenia z lekkim, wyspecjalizowanym modelem, zapraszamy na bezpłatny audyt.