Model skompresowany do 4 bitów lepszy od oryginału. Co technika Quantization-Aware Healing zmienia dla instytucji publicznych

Kompresja modeli językowych to od lat kompromis: mniejszy model działa szybciej i na tańszym sprzęcie, ale traci część jakości. Tak przynajmniej wyglądał ten obszar do niedawna. Technika określana jako Quantization-Aware Healing (QAH) przeczy tej logice. Model sprowadzony do 4-bitowej precyzji, zamiast tracić na jakości, przechodzi po kwantyzacji etap dostrajania na starannie dobranych danych. Efekt? W testach porównawczych wypada lepiej niż pełnoprecyzyjny oryginał. Nie marginalnie, lecz mierzalnie, w standardowych benchmarkach oceniających rozumienie tekstu, rozumowanie i generowanie.

Mechanizm jest stosunkowo prosty do zrozumienia. Kwantyzacja redukuje pamięć i obliczenia przez ograniczenie precyzji liczb reprezentujących wagi modelu. Zwykle skutkuje drobnymi błędami w odpowiedziach. QAH dodaje do tego jeden krok: po kompresji model jest ponownie dostrajany na wybranych przykładach, które „leczą" zniekształcenia wprowadzone przez kwantyzację. Wybrany zestaw treningowy robi tu dużą różnicę, stąd efekt potrafi zaskoczyć.

Co to oznacza dla polskich urzędów i instytucji publicznych

Przez lata argumentem przeciwko wdrożeniom AI w urzędach było zderzenie dwóch wymagań. Z jednej strony dane wrażliwe obywateli nie mogły opuszczać infrastruktury instytucji, co wymuszało pracę lokalnie, bez chmury. Z drugiej, modele dające użyteczne wyniki były za duże na serwery, którymi urzędy faktycznie dysponują. QAH przesuwa tę granicę.

• Niższe wymagania sprzętowe bez utraty jakości. Model działający w 4-bitach zajmuje od czterech do ośmiu razy mniej pamięci GPU niż pełnowymiarowy odpowiednik. Serwer, który dotąd obsługiwał mały model pomocniczy, może teraz uruchomić model tej klasy, która wcześniej wymagała osobnej, drogiej maszyny.
• Lepsza argumentacja w zamówieniach. Jeśli Wasza instytucja przygotowuje specyfikację do przetargu na systemy AI, QAH zmienia kształt wymagań technicznych. Nie trzeba już zamawiać sprzętu „na wyrost", żeby zmieścić pełnoprecyzyjny model, bo skompresowany wariant może dać lepsze wyniki.
• Przetwarzanie danych wrażliwych bez chmury. To dotyczy urzędów stanu cywilnego, ZUS-u, KRUS-u, NFZ i każdej instytucji, która przetwarza dane RODO-wrażliwe. Model on-premise w 4-bitach, działający na lokalnym serwerze, może zastąpić zewnętrzne API przy analizie dokumentów, klasyfikacji wniosków czy wsparciu pracownika.
• Niższe koszty utrzymania. Mniejszy model to niższe rachunki za energię i mniejsze obciążenie karty graficznej. Dla instytucji działającej przez lata różnica w łącznych kosztach eksploatacji jest realna i łatwa do wyliczenia.

Ostrożność jest tu wskazana. Jakość po QAH zależy od tego, jak starannie dobrano dane do etapu dostrajania. Model, który ktoś skompresował bez tego kroku albo z przypadkowym zestawem, nadal może być gorszy od oryginału. Zanim Wasza instytucja oprze się na skompresowanym modelu w produkcji, warto sprawdzić, jak został przygotowany i czy testy przeprowadzono na zadaniach zbliżonych do Waszych.

Kierunek jest jednak wyraźny: granica między modelem „zmieszczącym się na serwerze urzędu" a modelem „dającym dobre wyniki" przestaje być stała. To dobra wiadomość dla wdrożeń, które utknęły właśnie na tym ograniczeniu. Jeśli chcecie sprawdzić, co jest możliwe w Waszej infrastrukturze, zapraszamy na bezpłatny audyt.