Dlaczego dostrajanie modelu AI trwa dłużej, niż wynika z obliczeń

19.11.2026 · 3 min czytania

Kiedy ktoś planuje dostrajanie modelu językowego na własnych danych, pierwszą liczbą, która pojawia się w rozmowie, są FLOPy. To miara tego, ile operacji arytmetycznych musi wykonać procesor graficzny. Teoretycznie, znając moc karty i liczbę FLOPów, można wyliczyć czas do minuty. W praktyce wynik na zegarze bywa dwa, trzy, a czasem pięć razy większy. Nie dlatego, że sprzęt zawodzi, lecz dlatego, że sam rachunek na FLOPach opisuje tylko fragment pracy, która faktycznie się dzieje.

Procesor graficzny przez duży odsetek czasu uczenia nie liczy, tylko czeka. Czeka na dane z pamięci, czeka na zsynchronizowanie gradientów między kartami w klastrze, czeka aż dysk odda kolejną partię przykładów treningowych. Realny wskaźnik wykorzystania mocy obliczeniowej w typowym zadaniu dostrajania wynosi od czterdziestu do siedemdziesięciu procent teoretycznego szczytu. Reszta to właśnie te przerwy. FLOPy mierzą tylko momenty, gdy procesor faktycznie pracuje.

Co to oznacza dla polskich urzędów i instytucji publicznych

Jeśli urząd planuje dostrajanie modelu na własnych dokumentach, kwestia czasu trwania to nie tylko cierpliwość. To budżet. Zasoby obliczeniowe w chmurze rozliczane są za każdą minutę działania klastra, nie za liczbę wykonanych obliczeń. Oferta wykonawcy podana w FLOPach może wyglądać skromnie, a ostateczny rachunek za czas maszyny jest zupełnie inny.

Gdzie najczęściej kryje się ta różnica:

  • Przygotowanie danych. Tokenizacja, deduplikacja, filtrowanie dokumentów. To się dzieje poza właściwym uczeniem, ale na tej samej infrastrukturze i w tym samym oknie czasowym zlecenia.
  • Przepustowość pamięci. Duże modele nie mieszczą się w całości w szybkiej pamięci karty. Ciągłe przenoszenie wag między poziomami pamięci zjada czas, który nie pojawi się w żadnym zestawieniu FLOPów.
  • Synchronizacja w klastrze rozproszonym. Przy wielu kartach grafikowych lub wielu maszynach część czasu zajmuje wymiana informacji między węzłami. Skala tego narzutu rośnie z rozmiarem klastra, nie z rozmiarem modelu.
  • Zapisywanie punktów kontrolnych. Regularne snapshoty stanu modelu to zabezpieczenie przed awarią, ale też obciążenie dyskowe, które pojawia się co kilkaset kroków i które żaden rachunek FLOPów nie uwzględnia.

Dla zamawiającego wniosek jest praktyczny: przy wycenie zlecenia dostrajania modelu warto wprost zapytać wykonawcę o spodziewany czas zegarowy, nie tylko o miarę obliczeniową. Jaka jest zakładana efektywność wykorzystania sprzętu? Czy preprocessing wliczony jest w czas zlecenia? Jak często zapisywane są punkty kontrolne i na jakim nośniku? To pytania, które oddzielają oferty zbudowane na realnym doświadczeniu od tych zbudowanych na kalkulatorze.

Warto też pamiętać, że mniejsze, dobrze przygotowane zbiory danych potrafią dać lepszy efekt w krótszym czasie niż masowe zestawy surowych dokumentów. Jakość danych treningowych mocniej wpływa na wynik niż ich objętość, a mniejszy zbiór to krótszy preprocessing, mniej cykli i niższy rachunek za klaster.

Jeśli Wasza instytucja rozważa dostrajanie modelu lub ocenia oferty wykonawców i chcecie sprawdzić, czy prezentowane koszty i harmonogramy są realne, zapraszamy na bezpłatny audyt. Pomożemy zadać właściwe pytania, zanim podpiszecie umowę.

Chcecie wiedzieć, co z tego da się użyć u Was? Bezpłatny audyt potrzeb, bez zobowiązań. Umówcie audyt

Opracowanie: zespół redAi z wykorzystaniem narzędzi AI.

Więcej aktualności