Szybki agent na własnym serwerze, bez chmury. Co rzadka aktywacja parametrów zmienia dla instytucji z wrażliwymi danymi

Modele z architekturą rzadkiej aktywacji działają inaczej niż klasyczne sieci gęste. Mają dużo parametrów w sumie, ale podczas każdego wywołania korzystają tylko z małego ich podzbioru. To trochę jak encyklopedia z milionem haseł, z której do każdej odpowiedzi otwierasz tylko kilka stron. Najnowsze modele tego typu osiągają kilkadziesiąt miliardów parametrów łącznie, przy aktywnych zaledwie dwóch miliardach w czasie inferencji. Wynik jest zaskakujący: jakość porównywalna z modelami wymagającymi poważnej infrastruktury, a zapotrzebowanie na sprzęt radykalnie niższe. Agent AI, który jeszcze rok temu potrzebował klastra GPU, teraz działa na jednym serwerze z przyzwoitą kartą graficzną. I robi to szybko, co nie jest drobiazgiem.

Co to oznacza dla polskich urzędów i instytucji publicznych

Agent to nie model odpowiadający na pytania. Agent czyta dokumenty, podejmuje kolejne kroki, sprawdza rejestry, zapisuje wyniki. Przez cały czas przetwarza dane. W instytucji publicznej te dane to dokumentacja spraw administracyjnych, dane osobowe obywateli, korespondencja wewnętrzna. Wysyłanie tego do zewnętrznego API to ryzyko prawne (RODO, przepisy o ochronie informacji niejawnych) i organizacyjne. Agent działający wyłącznie na własnej infrastrukturze instytucji tego problemu po prostu nie ma.

Prędkość ma tu znaczenie większe, niż się wydaje. Agent, który odpowiada w kilka sekund, nadaje się do pracy w czasie rzeczywistym: asystent urzędnika przygotowujący projekt odpowiedzi na wniosek, system weryfikujący kompletność dokumentacji przy okienku, narzędzie sprawdzające spójność decyzji z przepisami. Poprzednia generacja modeli lokalnych była zbyt wolna do takich zastosowań. Nadawała się co najwyżej do przetwarzania wsadowego przez noc. To było niszowe. Teraz jest użyteczne.

Polskie urzędy i instytucje publiczne coraz częściej pytają nas o wdrożenia bez chmury. Powody są różne: brak zgody kierownictwa na zewnętrznych dostawców, wymogi audytowe, po prostu ostrożność. Do tej pory odpowiedź była niekomfortowa: albo słaby model na laptopie, albo mocna infrastruktura za dziesiątki tysięcy złotych. Modele z rzadką aktywacją zacierają tę granicę. Serwer z jedną solidną kartą graficzną, taki jaki wiele instytucji już posiada, wystarczy do postawienia agenta zdolnego do realnej pracy z dokumentami i rejestrami.

• Przetwarzanie pism i wniosków bez wysyłania treści poza sieć instytucji
• Weryfikacja dokumentacji na bieżąco, nie w trybie nocnym
• Praca z rejestrami wewnętrznymi, do których nie ma i nie powinno być dostępu z zewnątrz
• Asystent urzędnika działający w oparciu o wewnętrzne procedury i dane, nie dane z chmury

To nie jest jeszcze punkt, w którym agent lokalny dorównuje najlepszym modelom chmurowym we wszystkim. Do konkretnych, powtarzalnych zadań urzędowych jest jednak już wystarczająco dobry. Klasyfikacja pism, wyciąganie danych z formularzy, wstępna weryfikacja wniosków: to działa. I robi to bez wysyłania ani jednego bajtu poza sieć instytucji. Jeśli chcecie sprawdzić, które zadania w waszym urzędzie nadają się do takiego wdrożenia, zapraszamy na bezpłatny audyt.