Otwarta rurociąg danych dla języków mniejszościowych. Co pretrening na miliardach tokenów zmienia w myśleniu o polskim AI

Przez lata pretrening dużych modeli językowych był domeną kilku laboratoriów z miliardowymi budżetami. Dane treningowe traktowano jak tajemnicę handlową, a skala potrzebna do uzyskania przyzwoitej jakości dla języków spoza angielskiego była po prostu niedostępna dla innych. To się zmienia. Niedawno opublikowano wyniki projektu, który zebrał 2,8 biliona tokenów dla rodziny języków indyjskich i, co ważniejsze, udostępnił cały potok generowania tych danych jako otwarty kod. Nie sam model, lecz przepis na dane. To różnica, która ma znaczenie.

Skala robi wrażenie, ale ważniejszy jest sposób. Potok obejmuje pozyskiwanie surowego tekstu z sieci, filtrowanie, deduplikację, normalizację i etykietowanie domeny, wszystko zestandaryzowane i odtwarzalne. Ktoś wykonał żmudną robotę, opisał ją krok po kroku i powiedział: bierzcie, replikujcie dla swojego języka. Dla społeczności, które dotąd nie miały masy krytycznej danych, to zmiana jakościowa.

Co to oznacza dla polskich urzędów i instytucji publicznych

Polszczyzna nie jest językiem mniejszościowym w europejskim sensie, ale w ekosystemie modeli AI jest wciąż językiem drugiej ligi. Większość modeli trenuje się przede wszystkim na angielskim, a polska jakość odpowiedzi, precyzja terminologii prawnej, rozumienie kontekstu urzędowego bywa wyraźnie słabsza. Taki projekt pokazuje konkretnie, co trzeba zrobić, żeby to zmienić: nie wyczarować danych z powietrza, lecz zbudować powtarzalny potok, który zbiera, czyści i organizuje zasoby językowe w przemyślany sposób. Dwa i osiem biliona tokenów to punkt odniesienia dla skali. Polska ma mniej zasobów tekstowych niż Hindi, ale ma za to jednorodność językową i ogromny zasób dokumentów urzędowych, aktów prawnych, orzeczeń sądowych i korespondencji administracyjnej, który od lat leży w archiwach cyfrowych.

Dla instytucji zastanawiających się nad własnym modelem językowym, ten projekt dostarcza czegoś cenniejszego niż gotowe wagi: dostarcza metodologii. Pytanie przestaje brzmieć „czy da się zebrać dane", a zaczyna brzmieć „kto to wykona i skąd wziąć moc obliczeniową". Odpowiedź na pierwsze pytanie jest teraz dostępna publicznie, krok po kroku.

• Dokumenty urzędowe jako zasób treningowy. Polskie archiwa cyfrowe, BIP-y, bazy orzeczeń i zasoby legislacyjne to potencjalne corpus dla wyspecjalizowanego modelu. Potok opisany w tym projekcie pokazuje, jak takie zbiory przetwarzać metodycznie.
• Lepsza argumentacja przy zakupach AI. Jeśli zamawiasz model lub usługę, masz teraz miarę: ile tokenów polskiego tekstu faktycznie użyto przy treningu? To pytanie warto zadawać dostawcom.
• Konsorcja mają sens. Żadna pojedyncza instytucja nie utrzyma takiego projektu sama. Ale kilka ministerstw, NASK i kilka większych JST razem już mogą zainicjować coś, co przyniesie efekt w skali kraju.

Branża AI coraz częściej publikuje nie tylko wyniki, ale przepisy. To zmienia dostępność wiedzy dla sektora publicznego. Nie trzeba czekać na komercyjnego dostawcę, który sam zdecyduje, ile polszczyzny warto w model wbudować. Można zbudować własne podstawy, wiedząc już, jak to zrobić.

Jeśli chcesz sprawdzić, czy twoja instytucja ma dane i warunki, by wziąć udział w czymś takim, zapraszamy na bezpłatny audyt. Przyjrzymy się temu, co już macie, i powiemy wprost, co jest realnie możliwe.