Czy AI może działać w urzędzie bez wysyłania danych do internetu?

Tak, AI może działać w urzędzie bez wysyłania czegokolwiek do internetu. Modele językowe można zainstalować na własnym serwerze w sieci urzędu i korzystać z nich dokładnie tak jak z ChatGPT, tylko że żadna treść rozmów nie wychodzi poza wasze mury. Praktyczne pytanie brzmi inaczej: do jakich zadań takie lokalne AI wystarczy i kiedy jednak potrzebujecie chmury z odpowiednią umową.

Dlaczego pytacie o lokalne AI

Kierownicy referatów i sekretarze mają rację, że się nad tym zastanawiają. W urzędzie codziennie przetwarzacie dane osobowe mieszkańców: numery PESEL, adresy zameldowania, szczegóły spraw administracyjnych, korespondencję ze świadczeń, dokumentację z postępowań podatkowych, zaświadczenia. Wpisanie takiej treści do bezpłatnego ChatGPT to przesłanie jej na serwery OpenAI w Stanach Zjednoczonych. Bez podpisanej umowy powierzenia przetwarzania danych z dostawcą AI, wymaganej przez art. 28 RODO, korzystanie z takiego narzędzia do pracy na aktach jest niezgodne z przepisami. UODO w swoich stanowiskach wielokrotnie to potwierdzał.

Stąd naturalne pytanie: czy jest opcja, gdzie AI siedzi u nas, w naszej serwerowni albo na lokalnym serwerze, i nie widzi żadnej sieci zewnętrznej? Jest. I ma kilka wariantów.

Jak to działa od strony technicznej

Model językowy to plik. Duży plik z wagami sieci neuronowej, który po załadowaniu do pamięci serwera generuje tekst tak jak ChatGPT. Nie potrzebuje do tego żadnego połączenia z internetem, podobnie jak edytor tekstu nie potrzebuje sieci, żeby sformatować dokument.

Najpopularniejszy zestaw do lokalnego AI w małej lub średniej organizacji publicznej wygląda tak:

• Ollama: silnik uruchamiający modele i udostępniający je przez prosty interfejs w sieci lokalnej. Działa na Windows, Linux i macOS. Bezpłatny.
• Open WebUI: interfejs w przeglądarce, wyglądający podobnie do ChatGPT. Pracownicy otwierają go na swoim komputerze, wpisując adres w sieci wewnętrznej urzędu, i rozmawiają z modelem bez instalowania czegokolwiek na własnym sprzęcie. Też bezpłatny.
• Model językowy: np. Bielik (Polskiej Akademii Nauk, przygotowany pod język polski), Llama 3, Mistral lub Phi-4. Bielik ma znaczenie przy urzędowym tekście z polską terminologią administracyjną i prawną: zna tę stylistykę lepiej niż modele trenowane głównie po angielsku.

Pracownicy otwierają przeglądarkę, wpisują adres w sieci wewnętrznej i rozmawiają z AI. Żaden bajt danych nie wychodzi poza serwer. Można też zablokować serwerowi wyjście do internetu na poziomie firewalla i cały ruch zostaje wewnątrz sieci urzędu. U jednego z naszych klientów, urzędzie gminy miejsko-wiejskiej, cały zestaw Ollama i Open WebUI stanął na istniejącym serwerze plików. Dział IT zajął się tym przez jedno popołudnie.

Co lokalne AI ogarnie bez problemu, a gdzie ma granice

Do prostych, codziennych zadań biurowych lokalne modele radzą sobie dobrze. Piszecie z nimi projekt pisma wychodzącego, streszczacie długą notatkę służbową, przeredagowujecie odpowiedź na wniosek o dostęp do informacji publicznej tak, żeby brzmiała zrozumiale. Typowo wygląda to tak: referent opisuje sprawę własnymi słowami, prosi AI o projekt, poprawia wynik, podpisuje. Żadna treść sprawy nie wyszła z systemu.

Lista zadań, do których lokalne AI spokojnie wystarcza:

• Pisanie projektów pism, odpowiedzi na wnioski, zawiadomień stron, postanowień.
• Streszczanie protokołów, notatek służbowych, długich akt spraw, korespondencji przychodzącej.
• Przeformułowanie uzasadnienia decyzji na prostszy język dla wnioskodawcy.
• Pomoc przy uzasadnieniach na podstawie treści wklejonej przez referenta.
• Generowanie szablonów, agend, kart kontrolnych, checklist.
• Odpowiadanie na pytania pracownika na podstawie wewnętrznych regulaminów i procedur dołączonych do rozmowy.

Gdzie zaczyna się granica? Lokalne AI nie zna aktualnych przepisów z własnej wiedzy. Wie tyle, ile było w danych do nauki modelu, a te kończą się gdzieś w przeszłości. Cytować go jak autorytet prawny nie wolno. Do sprawdzania brzmienia przepisów wciąż potrzebujecie Dziennika Ustaw, LEX-a albo radcy.

Poza tym małe i średnie modele uruchamiane lokalnie mają krótszą pamięć kontekstu niż duże modele w chmurze. Przetworzenie dokumentu o długości kilkudziesięciu stron naraz nie jest możliwe na podstawowym sprzęcie. Chcecie streścić całą dokumentację przetargową albo porównać dwie wersje umowy na sto stron? Lokalny model na zwykłym serwerze może sobie nie poradzić w jednym kroku. Wyszukiwanie bieżących informacji w internecie, jak aktualny numer Monitora Polskiego czy komunikat GUS, też oczywiście odpada w modelu bez połączenia z siecią. Obsługa skanów i zdjęć pism wymaga modeli multimodalnych, które dopiero zaczynają być dostępne w wersjach uruchamialnych na zwykłym sprzęcie.

Jaki sprzęt jest do tego potrzebny

To zależy od modelu i od tego, ile osób będzie korzystać jednocześnie. Nie podajemy tu konkretnych cen sprzętu, bo różnią się w zależności od tego, co macie w serwerowni i jakiego modelu potrzebujecie. Schemat wygląda tak:

• Małe modele (do 7-8 miliardów parametrów, np. Phi-4 mini, Mistral 7B, Bielik 7B): działają na typowym serwerze biurowym z procesorem i 16-32 GB RAM, bez karty graficznej. Wolniej, ale działa. Na kilka jednoczesnych rozmów to wystarczy.
• Średnie modele (kilkanaście miliardów parametrów, np. Llama 3 13B, Bielik 11B): potrzebują albo dużej ilości RAM, albo karty graficznej NVIDIA z odpowiednią ilością VRAM. Tu może pojawić się koszt sprzętu, jeśli serwer go nie ma.
• Duże modele (kilkadziesiąt miliardów parametrów): wymagają kilku mocnych kart graficznych. Inwestycja, która zazwyczaj nie ma uzasadnienia dla pojedynczego urzędu.

Mały urząd gminy najczęściej zaczyna od modelu, który wejdzie w istniejący sprzęt serwerowy. Efekt jest zadowalający do typowych zadań biurowych. Większa gmina albo starostwo z kilkudziesięcioma pracownikami może potrzebować dedykowanego serwera z GPU, żeby model odpowiadał wystarczająco szybko przy wielu jednoczesnych użytkownikach. Zanim cokolwiek kupicie, warto sprawdzić, czy model mieści się w tym, co jest. Opcja testowa nie kosztuje nic.

Kiedy chmura z umową DPA jest bezpieczna dla urzędu

Lokalne AI ma sens, gdy chcecie mieć pełną kontrolę nad danymi i macie do tego sprzęt. Ale to nie jedyna droga do zgodności z RODO. Chmurowe AI też może być bezpieczne dla urzędu, pod kilkoma warunkami łącznie:

• Podpisana umowa powierzenia przetwarzania danych (DPA) z dostawcą przed pierwszym użyciem w celach służbowych.
• Dane przetwarzane na serwerach w Europejskim Obszarze Gospodarczym albo dostawca korzysta z klauzul standardowych (SCC) zatwierdzonych przez UODO dla transferu do USA.
• Dostawca wyraźnie deklaruje, że waszych danych nie używa do trenowania modeli.

Microsoft 365 Copilot na planie dla sektora publicznego i Google Workspace na planie Business lub Enterprise z podpisaną umową DPA spełniają te wymagania, o ile urząd skonfiguruje je prawidłowo i włączy przetwarzanie danych w Europie. Bezpłatny ChatGPT bez konta biznesowego tych wymagań nie spełnia, bo umowy DPA dla prywatnych użytkowników po prostu nie oferuje. Nie chodzi więc o to, czy to chmura czy lokalny serwer. Chodzi o umowę, lokalizację serwerów i politykę trenowania modeli.

Chmura z umową ma przewagę tam, gdzie lokalne AI nie wystarczy: przy dużych dokumentach, złożonym rozumowaniu, obsłudze skanów i dostępie do bieżących informacji. Lokalny serwer ma przewagę, gdy macie szczególnie wrażliwe dane i chcecie mieć absolutną pewność, że nikt z zewnątrz nie ma do nich dostępu, nawet przez przypadek techiczny po stronie dostawcy.

Sporo urzędów, z którymi pracujemy, wybiera podejście mieszane: lokalne AI do bieżącej korespondencji i redakcji tekstów, chmura z umową do analizy większych dokumentów, gdzie pracownicy wklejają treści po usunięciu danych identyfikacyjnych. Dwa narzędzia, dwa zastosowania, jedna polityka użytkowania obejmująca obydwa.

Od czego zacząć, żeby sprawdzić to we własnym urzędzie

Zanim zaangażujecie serwerownię i dział IT, zróbcie prosty test na jednym stanowisku:

• Zainstalujcie Ollama na komputerze z Windows lub Linux. Pobierzcie model Bielik 7B lub Phi-4 mini. Zajmuje to kilkanaście minut i jest bezpłatne.
• Poproście jednego referenta o test przez tydzień: kilka pism, kilka streszczeń notatek, kilka odpowiedzi na standardowe wnioski.
• Oceńcie, czy jakość tekstu jest wystarczająca do waszych potrzeb i czy tempo pracy jest do zaakceptowania.
• Jeśli wynik jest pozytywny, zaplanujcie wdrożenie na serwerze wewnętrznym z Open WebUI dostępnym dla całego referatu albo całego urzędu.

To daje realny obraz przed zakupem czegokolwiek. Oprogramowanie Ollama i Open WebUI jest bezpłatne i działa na Windows, więc pierwszą próbę można przeprowadzić na komputerze pracownika bez żadnych inwestycji. Na tej podstawie zobaczycie, czy lokalny serwer wystarczy, czy potrzebujecie chmury z umową DPA, czy może kombinacji obu. Decyzja na bazie własnego testu jest zawsze lepsza niż decyzja na bazie folderku od dostawcy.

Chcecie wiedzieć, które zadania w waszym urzędzie nadają się do lokalnego AI, a które wymagają chmury? Umówcie się na bezpłatny audyt z naszym zespołem. Albo zobaczcie, jak podobne urzędy sobie z tym poradziły, w realnych wdrożeniach.