Modele AI bez chmury i GPU: małe modele językowe zmieniają reguły gry w administracji

Przez ostatnie dwa lata dominowało jedno przekonanie: im większy model, tym lepiej. Potrzeba serwerowni, chmury, drogich kart graficznych. Tymczasem coraz więcej laboratoriów idzie zupełnie inną drogą. Powstają modele, które mają kilka miliardów parametrów zamiast setek miliardów, a przy tym potrafią zaskakująco dużo. Działają na laptopie. Na telefonie. Na miniaturowym komputerku za równowartość kilkuset złotych. Bez połączenia z internetem, bez opłat za API, bez danych przesyłanych do zewnętrznych serwerów. Najnowszy przykład tej tendencji to model od startupu Liquid AI, zbudowany specjalnie z myślą o zadaniach agentycznych: wywoływanie narzędzi, zarządzanie dokumentami, automatyzacja powtarzalnych procesów w tle. Nie do kodowania czy rozumowania na poziomie frontieru. Do konkretnej, dobrze zdefiniowanej roboty.

Co to oznacza dla polskich urzędów i instytucji publicznych

Pierwsza i najważniejsza sprawa to dane. Polskie urzędy przetwarzają informacje wrażliwe: dane osobowe mieszkańców, dokumentację medyczną, akta administracyjne. Każde wysłanie takich danych do zewnętrznego dostawcy chmurowego rodzi pytania prawne i organizacyjne. Model działający wyłącznie lokalnie eliminuje ten problem w pełni. Dane zostają na miejscu, w sieci urzędu, pod kontrolą administratorów. To nie jest tylko wygoda, to konkretny argument w rozmowie z inspektorem ochrony danych.

Drugi wymiar to koszty. Modele w chmurze rozliczają się per token, czyli za każde zapytanie. Przy wysokim wolumenie to szybko robi poważne kwoty. Lokalny model "kosztuje" przede wszystkim prąd i jednorazowy zakup sprzętu. Dla instytucji z napiętymi budżetami IT to zupełnie inna matematyka. Szczególnie jeśli chodzi o zadania rutynowe, które można obsłużyć bez największych modeli frontieru.

Trzecia kwestia to dostępność offline. Jednostki terenowe, archiwa w starszych budynkach, pracownicy w terenie, instytucje z ograniczoną infrastrukturą sieciową. Wszystkie te miejsca dotychczas mogły co najwyżej marzyć o narzędziach AI. Małe modele działające lokalnie zmieniają ten obraz. Nie każda gmina ma światłowód i stabilne łącze. Przeglądarka modelu na lokalnym urządzeniu nie potrzebuje żadnego z nich.

W praktyce najbardziej obiecujące zastosowania to:

• Automatyczne kategoryzowanie i routing pism wpływających do kancelarii
• Asystent formularzy pomagający pracownikom wypełniać dokumentację bez wychodzenia poza sieć wewnętrzną
• Przypomnienia i automatyzacja kalendarza dla wydziałów z dużą liczbą terminów urzędowych
• Wstępna analiza dokumentów przed przekazaniem do właściwego referenta

Warto być ostrożnym w jednej kwestii. Małe modele mają swoje granice. Przy złożonych analizach prawnych, redagowaniu odpowiedzi wymagających niuansów czy długich dokumentach wciąż lepiej sprawdzają się większe systemy. Ale do powtarzalnej, dobrze opisanej roboty, takiej jak obsługa wpływającej korespondencji czy prowadzenie procedury krok po kroku, wystarczą w zupełności.

Jeśli zastanawiają się Państwo, które procesy w Waszej instytucji nadają się do automatyzacji lokalnym modelem i jak to zrobić bez ryzyka dla danych ani dla ciągłości pracy, zapraszamy na bezpłatny audyt. Ocenimy wspólnie, od czego warto zacząć.