Model, który przetwarza dane wielokrotnie przez te same warstwy. Co architektura pętli zmienia dla instytucji publicznych
Standardowy transformer działa jak taśma produkcyjna: dane wchodzą z jednej strony, przechodzą przez kolejne warstwy i wychodzą z drugiej. Każda warstwa jest osobna, każda kosztuje pamięć. Im większe możliwości, tym więcej warstw i tym cięższy model. Nowy kierunek, który zyskuje na popularności, odwraca tę logikę. Zamiast dokładać kolejne warstwy, model przepuszcza te same dane przez ten sam zestaw warstw wielokrotnie, za każdym razem wydobywając z nich coraz głębszy kontekst. Trochę jak czytanie trudnego akapitu dwa razy zamiast jednorazowego szybkiego przejrzenia. Efekt jest zaskakujący: wyraźnie mniejszy plik modelu, a jednocześnie jakość wnioskowania porównywalna z sieciami kilka razy większymi.
Do tego dochodzi multimodalność. Najnowsze modele tej klasy rozumieją jednocześnie tekst i obraz. Otwarte wagi pozwalają zainstalować taki model lokalnie i dostosować go do własnych danych bez konieczności wysyłania czegokolwiek na zewnętrzny serwer. Całość działa na 32 GB RAM, czyli na sprzęcie, który część urzędów już ma w szufladach.
Co to oznacza dla polskich urzędów i instytucji publicznych
Przez kilka lat lokalny model AI oznaczał kompromis: albo mały i słaby, albo duży i wymagający serwera za kilkadziesiąt tysięcy złotych. Architektura pętli przesuwa tę granicę. Urząd może uruchomić model na jednym komputerze i dostać jakość, której wcześniej oczekiwał tylko od chmury. To zmienia rachunek przy wdrożeniu, ale też przy analizie ryzyka.
Dane zostają w budynku urzędu. Skany decyzji, zanonimizowane wnioski, dokumenty z danymi osobowymi, nie wychodzą na zewnętrzne serwery. Dla instytucji działających pod RODO i pod przepisami o ochronie informacji niejawnych to argument, który przeważa niejedną rozmowę z prawnikiem. Warto sprawdzić, czy obecna architektura IT pozwala na taki tryb pracy, zanim wybierzecie model i dostawcę.
Multimodalność otwiera nowe zastosowania. Urząd przetwarza nie tylko tekst. Formularze z pieczątkami, zdjęcia z interwencji, skany umów z tabelami, rysunki techniczne do pozwoleń. Model, który rozumie jednocześnie obraz i tekst, może wyciągać dane z takich dokumentów bez ręcznego przepisywania. To realna oszczędność czasu w wydziałach, gdzie dziś pracownik ręcznie przenosi informacje z papieru do systemu.
Otwarte wagi to audytowalność. Zamawiając system oparty na modelu z otwartymi wagami, instytucja publiczna może zlecić niezależny przegląd kodu i samego modelu. W przetargach na systemy AI to coraz częstszy wymóg. Model zamknięty w chmurze takiej weryfikacji nie przejdzie.
Jednocześnie, architektura pętli to wciąż świeży kierunek. Modele tej klasy nie zastąpią dziś największych systemów do złożonego wnioskowania wieloetapowego. Nadają się do konkretnych, dobrze zdefiniowanych zadań: ekstrakcja danych z dokumentów, kategoryzacja pism, podpowiedź odpowiedzi na typowe zapytania. Zaczynajcie od jednego procesu, nie od transformacji całego urzędu.
Jeśli chcecie sprawdzić, które procesy w Waszej instytucji nadają się na lokalny model AI i jak to wdrożyć bez ryzyka dla danych, zapraszamy na bezpłatny audyt.
Opracowanie: zespół redAi z wykorzystaniem narzędzi AI.
Więcej aktualności
- Kiedy system AI zatrzymuje własną aktualizację. Co bezpieczne pipeline'y wdrożeniowe zmieniają w utrzymaniu IT urzędu
- Lekki adapter zamiast nowego modelu. Co dopasowywanie AI do infrastruktury zmienia w kosztach wdrożenia
- Wydajny model AI na lokalnym sprzęcie. Co nowa generacja mini-modeli zmienia dla instytucji publicznych
- 180 miliardów parametrów na zwykłym serwerze. Co sprytne zarządzanie pamięcią zmienia w dostępie do dużych modeli AI