Kiedy system AI zatrzymuje własną aktualizację. Co bezpieczne pipeline'y wdrożeniowe zmieniają w utrzymaniu IT urzędu
Duże klastry AI nie aktualizują oprogramowania układowego jednym ruchem. Zmiany wchodzą strefami, po kilka serwerów na raz, a automatyka na bieżąco mierzy, ile maszyn przeszło przez restart bez problemów. Gdy odsetek nieprawidłowych restartów przekroczy ustalony próg bezpieczeństwa, system wstrzymuje całą operację i wysyła alert do inżyniera. Nawet w środku nocy. Cały klaster może przez kilka dni czekać na wyjaśnienie i decyzję człowieka, zanim aktualizacja ruszy dalej. To nie jest błąd w procesie. To jest cel, do którego celowo się dąży.
Ten model pracy ma nazwę: stopniowe wdrożenie z automatycznym progiem cofnięcia. W dojrzałych środowiskach produkcyjnych to standard. W infrastrukturze AI, gdzie awaria jednego węzła może zaburzać całe obliczenia, jest wręcz obowiązkowy.
Co to oznacza dla polskich urzędów i instytucji publicznych
Instytucje publiczne coraz częściej sięgają po systemy AI do obsługi wniosków, weryfikacji dokumentów, wsparcia pracowników. Każdy taki system będzie kiedyś wymagał aktualizacji, zmiany modelu albo łatki bezpieczeństwa. I tutaj pojawia się pytanie, które rzadko pada przy zakupie: jak ten system będzie aktualizowany, kiedy urząd działa?
Podejście „wyłącz w piątek wieczorem, wgraj aktualizację, włącz w poniedziałek rano" jest ryzykowne dla każdego systemu obsługującego ciągłe procesy. Rejestr, kolejka spraw, automatyczne powiadomienia. Przerwa może oznaczać niedotrzymanie terminów KPA, opóźnienia w świadczeniach albo po prostu zdenerwowanych obywateli przy okienku. Dlatego warto przy każdym wdrożeniu AI zadać dostawcy kilka konkretnych pytań:
- Czy aktualizacje odbywają się strefami, z możliwością wycofania, czy jako jednorazowa zmiana całego systemu?
- Jakie automatyczne progi bezpieczeństwa są wbudowane i kto dostaje alert, gdy coś przekroczy wartość graniczną?
- Kto pełni dyżur operacyjny i w jakim czasie reaguje na zatrzymany rollout?
- Jak wygląda procedura powrotu do poprzedniej wersji, gdy aktualizacja zostaje wstrzymana?
To nie są pytania techniczne dla administratora. To pytania kontraktowe, które powinny znaleźć się w SLA i OPZ. Instytucja publiczna ma prawo wiedzieć, że jej dostawca zarządza zmianami z głową, a nie „naraz i do przodu".
Jest jeszcze jeden wątek, który wychodzi z tej historii. Dobry pipeline aktualizacji wymaga kogoś, kto odbierze telefon o pierwszej w nocy. Małe urzędy i jednostki samorządowe rzadko mają taki zespół na etacie. Outsourcing utrzymania systemu AI do partnera z gotowością operacyjną nie jest luksusem, to warunek bezpiecznego działania. System, który zatrzymuje sam siebie, kiedy coś jest nie tak, jest lepszy od systemu, który ślepo wdraża zmianę. Ale tylko wtedy, gdy ktoś potem sprawdza, dlaczego się zatrzymał.
Jeśli Wasza instytucja planuje wdrożenie AI albo przegląda umowy z obecnymi dostawcami, warto sprawdzić, czy pipeline aktualizacji i gotowość operacyjna są w ogóle opisane w dokumentach. Zapraszamy na bezpłatny audyt, w którym sprawdzamy m.in. te aspekty.
Opracowanie: zespół redAi z wykorzystaniem narzędzi AI.
Więcej aktualności
- Model, który przetwarza dane wielokrotnie przez te same warstwy. Co architektura pętli zmienia dla instytucji publicznych
- Lekki adapter zamiast nowego modelu. Co dopasowywanie AI do infrastruktury zmienia w kosztach wdrożenia
- Wydajny model AI na lokalnym sprzęcie. Co nowa generacja mini-modeli zmienia dla instytucji publicznych
- 180 miliardów parametrów na zwykłym serwerze. Co sprytne zarządzanie pamięcią zmienia w dostępie do dużych modeli AI