Lokalny model AI bez serwera GPU. Co lepsza obsługa Apple Silicon w PyTorch zmienia dla instytucji publicznych

MPS, czyli Metal Performance Shaders, to interfejs, przez który biblioteki uczenia maszynowego komunikują się z układem graficznym w komputerach Apple z procesorami serii M. PyTorch wspiera MPS od kilku lat, ale przez długi czas to wsparcie było nierówne. Część operacji działała szybko, część lądowała awaryjnie na procesorze centralnym, a trenowanie modeli bywało niestabilne. PyTorch 2.15 to zmienia. Rozszerzono zestaw obsługiwanych operacji, poprawiono zarządzanie pamięcią GPU i ustabilizowano pętlę treningową. Nie chodzi wyłącznie o inferencję, czyli uruchamianie gotowego modelu. Chodzi też o fine-tuning - dopasowywanie modelu do własnych danych instytucji.

Co to oznacza dla polskich urzędów i instytucji publicznych

Polskie instytucje mają w swoich zasobach sporo Maców z układami M1, M2 lub M3. Kupiono je do codziennej pracy biurowej. Teraz, bez dokupowania czegokolwiek, ten sam komputer można uruchomić jako lokalną stację do pracy z modelami AI.

Przez ostatnie lata instytucja, która chciała dopasować mały model językowy do własnych dokumentów, miała dwie drogi. Albo wysyłała dane do zewnętrznej chmury, albo kupowała serwer z kartą graficzną NVIDIA. PyTorch 2.15 otwiera trzecią drogę: lokalny fine-tuning na Macu, który stoi na biurku. Dane nie opuszczają budynku.

To szczególnie ważne w jednostkach, gdzie przetwarzanie danych jest ograniczone przepisami. Ochrona zdrowia, wymiar sprawiedliwości, administracja z dostępem do danych osobowych. Trenowanie małego modelu na własnych dokumentach - regulaminach, procedurach, wzorach pism - jest teraz bardziej osiągalne technicznie niż rok temu.

Kilka rzeczy warto mieć z tyłu głowy. MPS nie dorównuje szybkością kartom NVIDIA przy dużych modelach. Do trenowania architektur z kilkunastoma miliardami parametrów nadal potrzebny jest mocniejszy sprzęt. Ale do fine-tuningu małych modeli (klasa 1B-7B, z kwantyzacją), do prototypowania i budowania lokalnych narzędzi opartych na modelu - backend MPS w PyTorch 2.15 jest wystarczająco stabilny, żeby myśleć o nim poważnie. A skoro sprzęt już jest, a biblioteka zaczyna go lepiej wykorzystywać, koszt uruchomienia pilotażu sprowadza się głównie do czasu konfiguracji. To konkretny argument w wewnętrznej rozmowie o pierwszym wdrożeniu.

Jeśli chcesz sprawdzić, czy Twoja instytucja może już zacząć pracę z lokalnymi modelami na posiadanym sprzęcie, zapraszamy na bezpłatny audyt.