Pół tysiąca miliardów parametrów w otwartym modelu. Co zmienia się, gdy tak duży model można wziąć na własność

Przez ostatnie lata istniało niepisane prawo technologiczne: jeśli model ma setki miliardów parametrów, nie jest twój. Używasz go przez API, płacisz za tokeny, dane przechodzą przez serwery kogoś innego. To był deal, który większość instytucji przyjmowała bez dyskusji, bo nie miała alternatywy. Ten układ zaczyna się kruszyć. Pojawia się coraz więcej otwartych modeli w skali powyżej 400–500 miliardów parametrów, które można pobrać, uruchomić na własnej infrastrukturze i modyfikować. To inny świat niż modele 7B czy 13B, które organizacje testowały do tej pory.

Skala robi różnicę. Model tej wielkości potrafi naprawdę rozumieć kontekst, utrzymać spójność przez długi dokument, prowadzić wieloetapowe rozumowanie. Wcześniej takie możliwości oznaczały chmurę jednego z trzech dostawców. Teraz zaczynają pojawiać się poza walled gardens.

Co to oznacza dla polskich urzędów i instytucji publicznych

Pierwsza konsekwencja jest prosta: suwerenność danych przestaje być kompromisem jakościowym. Do tej pory instytucja, która chciała trzymać dokumenty na własnych serwerach, musiała się pogodzić z mniejszym modelem, a co za tym idzie, słabszymi wynikami. Przy modelach tej klasy uruchomionych lokalnie ten trade-off znika. Wrażliwe dane kadrowe, postępowania administracyjne, dokumentacja przetargowa, dane osobowe obywateli, wszystko zostaje w zamkniętej sieci, bez wyjątków.

Druga kwestia to możliwość dostrojenia modelu pod konkretne zadania. Ogromny model bazowy to dobry punkt wyjścia do fine-tuningu, znacznie lepszy niż mały model, który i tak ledwo radzi sobie z polskim językiem urzędowym. Instytucja może wziąć taki model i nauczyć go rozumieć specyfikę polskich formularzy, numeracji aktów prawnych czy struktury decyzji administracyjnych. Nie od zera, tylko od bardzo wysokiego poziomu ogólnych zdolności.

Pojawia się jednak twarda bariera wejścia. Uruchomienie modelu 500B wymaga sprzętu, który wykracza poza możliwości pojedynczego urzędu. Kilka węzłów z kartami GPU klasy H100 albo podobnymi, sieć o niskim opóźnieniu, zarządzanie rozproszoną inferencją. To nie jest projekt na szufladę jednego departamentu IT.

• Wspólna infrastruktura centralna -- model tej skali ma sens jako zasób współdzielony: NASK, chmura rządowa, konsorcjum urzędów centralnych. Jeden klaster obsługuje wiele instytucji, koszt infrastruktury rozkłada się, a model jest dostrajany pod polskie realia raz, nie kilkanaście razy przez różne jednostki.
• Weryfikacja przez mniejsze instytucje -- urzędy, które nie będą operatorami, powinny już teraz rozumieć, jakie zadania wymagają modelu tej klasy, a jakie spokojnie obsłuży coś 10 razy mniejszego. Nie każdy dokument potrzebuje 500 miliardów parametrów.
• Dostrajanie jako projekt, nie jednorazowa konfiguracja -- fine-tuning na tym poziomie wymaga przemyślanego zestawu danych treningowych, procedury walidacji i planu aktualizacji. Instytucje, które zaczną zbierać i porządkować swoje dane już dziś, będą gotowe wcześniej.

Kierunek jest wyraźny: największe modele przestają być wyłączną domeną trzech firm. Ile czasu minie, zanim pojawi się pierwszy model tej klasy wyspecjalizowany pod polskie prawo i język? Trudno powiedzieć. Ale instytucje, które rozumieją tę zmianę i planują infrastrukturę z wyprzedzeniem, nie będą zaczynały z pustymi rękami.

Jeśli chcesz sprawdzić, jak wyglądałoby to w Twojej instytucji, zapraszamy na bezpłatny audyt.