Szybki agent na własnym serwerze, bez chmury. Co rzadka aktywacja parametrów zmienia dla instytucji z wrażliwymi danymi
Modele z architekturą rzadkiej aktywacji działają inaczej niż klasyczne sieci gęste. Mają dużo parametrów w sumie, ale podczas każdego wywołania korzystają tylko z małego ich podzbioru. To trochę jak encyklopedia z milionem haseł, z której do każdej odpowiedzi otwierasz tylko kilka stron. Najnowsze modele tego typu osiągają kilkadziesiąt miliardów parametrów łącznie, przy aktywnych zaledwie dwóch miliardach w czasie inferencji. Wynik jest zaskakujący: jakość porównywalna z modelami wymagającymi poważnej infrastruktury, a zapotrzebowanie na sprzęt radykalnie niższe. Agent AI, który jeszcze rok temu potrzebował klastra GPU, teraz działa na jednym serwerze z przyzwoitą kartą graficzną. I robi to szybko, co nie jest drobiazgiem.
Co to oznacza dla polskich urzędów i instytucji publicznych
Agent to nie model odpowiadający na pytania. Agent czyta dokumenty, podejmuje kolejne kroki, sprawdza rejestry, zapisuje wyniki. Przez cały czas przetwarza dane. W instytucji publicznej te dane to dokumentacja spraw administracyjnych, dane osobowe obywateli, korespondencja wewnętrzna. Wysyłanie tego do zewnętrznego API to ryzyko prawne (RODO, przepisy o ochronie informacji niejawnych) i organizacyjne. Agent działający wyłącznie na własnej infrastrukturze instytucji tego problemu po prostu nie ma.
Prędkość ma tu znaczenie większe, niż się wydaje. Agent, który odpowiada w kilka sekund, nadaje się do pracy w czasie rzeczywistym: asystent urzędnika przygotowujący projekt odpowiedzi na wniosek, system weryfikujący kompletność dokumentacji przy okienku, narzędzie sprawdzające spójność decyzji z przepisami. Poprzednia generacja modeli lokalnych była zbyt wolna do takich zastosowań. Nadawała się co najwyżej do przetwarzania wsadowego przez noc. To było niszowe. Teraz jest użyteczne.
Polskie urzędy i instytucje publiczne coraz częściej pytają nas o wdrożenia bez chmury. Powody są różne: brak zgody kierownictwa na zewnętrznych dostawców, wymogi audytowe, po prostu ostrożność. Do tej pory odpowiedź była niekomfortowa: albo słaby model na laptopie, albo mocna infrastruktura za dziesiątki tysięcy złotych. Modele z rzadką aktywacją zacierają tę granicę. Serwer z jedną solidną kartą graficzną, taki jaki wiele instytucji już posiada, wystarczy do postawienia agenta zdolnego do realnej pracy z dokumentami i rejestrami.
- Przetwarzanie pism i wniosków bez wysyłania treści poza sieć instytucji
- Weryfikacja dokumentacji na bieżąco, nie w trybie nocnym
- Praca z rejestrami wewnętrznymi, do których nie ma i nie powinno być dostępu z zewnątrz
- Asystent urzędnika działający w oparciu o wewnętrzne procedury i dane, nie dane z chmury
To nie jest jeszcze punkt, w którym agent lokalny dorównuje najlepszym modelom chmurowym we wszystkim. Do konkretnych, powtarzalnych zadań urzędowych jest jednak już wystarczająco dobry. Klasyfikacja pism, wyciąganie danych z formularzy, wstępna weryfikacja wniosków: to działa. I robi to bez wysyłania ani jednego bajtu poza sieć instytucji. Jeśli chcecie sprawdzić, które zadania w waszym urzędzie nadają się do takiego wdrożenia, zapraszamy na bezpłatny audyt.
Opracowanie: zespół redAi z wykorzystaniem narzędzi AI.
Więcej aktualności
- Ile pamięci potrzebuje agent AI? Praktyczne pytanie, które zmienia koszty wdrożenia
- 3x szybsze modele AI bez wymiany sprzętu. Co przyspieszenie wnioskowania zmienia dla instytucji publicznych
- Gotowa infrastruktura do wyszukiwania semantycznego. Co modułowe komponenty AI zmieniają w obsłudze dokumentów
- Własne przepływy AI bez zespołu deweloperów. Co upraszczanie budowy i wdrażania aplikacji AI zmienia dla instytucji publicznych