Jak zmierzyć efekty AI w urzędzie i pokazać radnym, że wdrożenie miało sens?
Jak zebrać twarde dane o efektach AI w urzędzie i co pokazać radnym, żeby nie pytali "czy to miało sens?". Konkretna metoda.
Efekty AI w urzędzie da się zmierzyć, ale tylko wtedy, gdy macie dane sprzed wdrożenia. Bez punktu odniesienia każda liczba jest wrażeniem, nie wynikiem. Dlatego zanim staniecie przed radnymi z raportem, musicie wiedzieć: ile czasu zajmowało konkretne zadanie wcześniej, ile zajmuje teraz i na ilu przypadkach to sprawdziliście.
Dlaczego wiele urzędów nie ma czym się pochwalić, choć AI naprawdę pomaga
Większość wdrożeń AI w urzędach kończy się na wrażeniu. Pracownicy mówią, że jest szybciej. Kierownik czuje, że jest lepiej. Ale na sesji rady, kiedy radny pyta "co dostaliśmy za te pieniądze", odpowiedź brzmi: "pracownicy są zadowoleni".
To nie wystarczy.
Problemem jest zazwyczaj brak pomiaru przed wdrożeniem. Urząd kupuje dostęp do AI, szkoli ludzi, cieszy się, że pisma wychodzą sprawniej, ale nikt nie zapisał, ile czasu zajmowało sporządzenie wezwania do uzupełnienia braków w lutym, zanim AI weszła w marcu. Bez tej liczby porównanie jest niemożliwe.
Dobre wiadomości są takie, że do prostego pomiaru nie potrzebujecie specjalnego oprogramowania ani zewnętrznego konsultanta. Potrzebujecie arkusza, stopera i dwóch tygodni.
Co mierzyć, żeby dane były wiarygodne
Nie mierzcie wszystkiego naraz. Wybierzcie jedno, góra dwa zadania, które są:
- powtarzalne, czyli pojawiają się co najmniej kilka razy w tygodniu na tym samym stanowisku
- jednorodne, czyli każde ich wykonanie wygląda podobnie (wydanie zaświadczenia o zameldowaniu, sporządzenie odpowiedzi na wniosek o dostęp do informacji publicznej, opisanie faktury przed dekretacją do referatu finansowego)
- całkowicie lub częściowo przejęte przez AI, bo tylko wtedy możecie cokolwiek porównać
Typowo wygląda to tak: referent z wydziału spraw obywatelskich przez dwa tygodnie mierzy stoperem czas sporządzenia odpowiedzi na wniosek o informację publiczną. Zapisuje wynik przy każdym wniosku. Potem, dwa tygodnie po wdrożeniu AI, robi to samo. Porównujecie średnie. Koniec.
Obok czasu warto zapisać:
- liczbę spraw obsłużonych na stanowisku w tygodniu (przed i po)
- liczbę błędów, które wymagały korekty lub ponownego wysłania pisma
- liczbę spraw, do których wróciło wezwanie od mieszkańca, bo odpowiedź była niejasna lub niekompletna
- czy pojawiły się zadania, których przed AI po prostu nie wykonywano, bo brakowało czasu (cotygodniowy przegląd BIP pod kątem brakujących zakładek, przygotowanie zestawienia zaległych spraw dla kierownika)
Jeśli AI przejęła sporządzanie pierwszej wersji odpowiedzi, a referent tylko sprawdza i podpisuje, liczba błędów powinna spaść. Mierząc tę liczbę, pokażecie radnym coś więcej niż "jest szybciej". Pokażecie, że jest też pewniej.
Jak zebrać dane, gdy AI już działa, a nikt nic nie mierzył
Zdarza się, że AI działa od miesiąca lub trzech, a nikt nie myślał wcześniej o pomiarze. Nie jest za późno, ale trzeba trochę odtworzyć.
Po pierwsze: sięgnijcie do systemów. Jeśli macie EZD, SIDAS lub inny system obiegu dokumentów, są w nim dane historyczne. Liczba spraw zamkniętych na stanowisku w analogicznym kwartale rok temu versus teraz jest punktem odniesienia. Nieidealna, bo rok temu mogło być mniej spraw z innych powodów, ale do ogólnej prezentacji dla radnych wystarczy.
Po drugie: zapytajcie pracowników. Prosta rozmowa z referentem: "Ile czasu zajmowało Wam sporządzenie wezwania do uzupełnienia braków przed AI?" daje szacunek. Zapisujcie go jako "deklaracja pracownika", nie jako pomiar, żeby nie zaciemniać tego, co jest rzeczywiście zmierzone liczbą.
Po trzecie: zacznijcie mierzyć teraz i za 3 miesiące porównajcie z dzisiejszym wynikiem. Nie będzie to porównanie "przed AI i po AI", ale "na początku korzystania i po 3 miesiącach nauki", co też jest wartościową informacją dla wójta i rady.
Co powiedzieć radnym, żeby zrozumieli i nie pytali po raz trzeci
Radni na sesji nie potrzebują technicznego raportu o modelu językowym. Interesują ich trzy rzeczy: czy było warto, czy jest bezpieczne, czy coś zagraża pracownikom.
Najskuteczniejszy format to jedno konkretne zdanie porównawcze, liczba spraw w skali miesiąca i jedno zdanie o danych.
Przykład, który działa:
- "Sporządzenie wezwania do uzupełnienia braków zajmowało referentowi średnio 18 minut. Teraz zajmuje 4 minuty sprawdzenia projektu przygotowanego przez AI. W wydziale obsługujemy tygodniowo 30 takich spraw, więc referenci zyskują ponad 6 godzin tygodniowo na bardziej złożone sprawy."
- "Dane mieszkańców nie wychodzą poza serwer urzędu, system działa zgodnie z wdrożoną polityką bezpieczeństwa informacji i RODO."
- "Żaden pracownik nie stracił stanowiska. Zadania się zmieniły, nie zniknęły."
Co nie zadziała: procenty bez podstawy, ogólne zdania o "cyfrowej transformacji", brak liczb lub liczby bez kontekstu. Radni pytają konkretnie, więc odpowiadajcie konkretnie.
Jeśli chcecie zobaczyć, jak inne urzędy opisują swoje doświadczenia z wdrożenia, sprawdźcie realne wdrożenia. Tam znajdziecie opisy sytuacji podobnych do Waszej.
Pułapki, które zaburzają wynik pomiaru
Efekt nowości. Przez pierwsze tygodnie po wdrożeniu wszyscy są bardziej zmotywowani, skrupulatniejsi, chętniej sprawdzają i poprawiają. Wyniki są zawyżone. Mierzcie po co najmniej 6 tygodniach od uruchomienia, nie po dwóch.
Pomiar złego zadania. AI może nie przyspieszyć wydania decyzji o warunkach zabudowy, bo tam wąskie gardło tkwi w uzgodnieniach z innymi organami i wizji w terenie, nie w pisaniu treści. Mierzcie tam, gdzie AI realnie przejęła część pracy. Inaczej pokażecie wynik, który nic nie mówi.
Nieuwzględnienie czasu nauki. Przez pierwsze 2-3 tygodnie AI jest paradoksalnie wolniejsza, bo pracownicy uczą się zadawać pytania, sprawdzać odpowiedzi i rozpoznawać miejsca, gdzie AI się myli. Wyniki z tego okresu zaniżają realne korzyści. Mierzcie zarówno po 6 tygodniach, jak i po 3 miesiącach, żeby zobaczyć trend, nie migawkę.
Mierzenie tylko szybkości. Urząd to nie fabryka. Szybkość ma znaczenie, ale równie ważna jest jakość: ile pism wróciło z błędem, ile spraw wymagało ponownej odpowiedzi, ile razy mieszkaniec dzwonił, bo odpowiedź była niezrozumiała. Zbierajcie też te dane, bo to właśnie one robią największe wrażenie na sesjach rady.
Kiedy i jak często raportować
Pierwsze podsumowanie warto przygotować po 3 miesiącach od uruchomienia AI. Wcześniej dane są niestabilne. Potem raz do roku, najlepiej jako część informacji z kontroli zarządczej lub sprawozdania z realizacji planu digitalizacji.
Nie musicie składać raportu na każdej sesji. Jeden solidny dokument rocznie, z twardymi danymi, jest lepszy niż cztery pośpieszne kwartalne aktualizacje bez liczb.
Dobry raport roczny zawiera:
- listę stanowisk lub zadań objętych AI w danym roku
- pomiar czasu przed i po dla wybranych, reprezentatywnych zadań
- łączną liczbę spraw obsłużonych z udziałem AI w ciągu roku
- jedno zdanie o incydentach bezpieczeństwa (jeśli żadnego nie było, piszecie: "brak incydentów bezpieczeństwa danych")
- plany na kolejny rok, czyli które zadania lub referaty chcecie objąć AI następnie
Taki raport można zmieścić na jednej stronie A4. Nie musi być długi. Musi być wiarygodny.
Od czego zacząć, jeśli do tej pory nie mierzyliście nic
Konkretny plan na najbliższe cztery tygodnie:
- Wybierzcie jedno zadanie na jednym stanowisku, gdzie AI już działa albo gdzie planujecie je wprowadzić jako pierwsze.
- Przez dwa tygodnie mierzcie czas wykonania tego zadania. Stoper, arkusz w Excelu, pięć sekund na wpis po każdym przypadku. Tyle.
- Wdrożcie AI do tego zadania albo, jeśli AI już pracuje, zacznijcie mierzyć od tej chwili jako punkt startowy.
- Po 6 tygodniach porównajcie wyniki i zapiszcie je na jednej stronie.
- Pokażcie rezultat wójtowi lub burmistrzowi przed najbliższą sesją rady.
U jednego z urzędów, z którymi współpracujemy, sekretarz zdecydował się zmierzyć czas sporządzania notatek służbowych z narad. Przed AI: 35-50 minut na notatkę. Po wdrożeniu transkrypcji i redakcji AI: 8-12 minut sprawdzenia i uzupełnienia. Przez rok notatek było około 180. Wynik: ponad 90 godzin pracy referenta odzyskanych w jednym roku. To jest liczba, z którą można stanąć przed radnymi.
Jeśli chcecie zacząć od przeglądu, które zadania w Waszym urzędzie nadają się do pomiaru i wdrożenia AI, umówcie się na bezpłatny audyt. Pomożemy Wam wybrać właściwe miejsce na start i zaplanować pomiar od pierwszego dnia, żeby za rok mieć twarde dane, nie tylko dobre wrażenie.
Najczęstsze pytania
Co mierzyć po wdrożeniu AI w urzędzie, żeby mieć twarde dane?
Mierzcie czas obsługi wybranych, powtarzalnych zadań przed wdrożeniem i po, liczbę spraw zamkniętych w tygodniu na danym stanowisku oraz liczbę błędów wymagających korekty. Bez danych sprzed wdrożenia każda liczba jest oceną, nie pomiarem.
Jak przekonać radnych, że AI w urzędzie była dobrym wydatkiem?
Radnych przekonuje konkret, nie procenty. Powiedzcie: "Sporządzenie odpowiedzi na wniosek o informację publiczną zajmowało referentowi 25 minut, teraz zajmuje 5 minut akceptacji projektu przygotowanego przez AI." Jedno takie zdanie warte jest więcej niż piętnastostronicowy raport techniczny.
Czy muszę mierzyć czas pracy przed wdrożeniem AI, żeby mieć punkt odniesienia?
Tak, to krok, którego nie wolno pominąć. Jeśli nie macie danych sprzed wdrożenia, spróbujcie odtworzyć je z rozmów z pracownikami lub liczników z systemu EZD. Bez punktu startu nie ma pomiaru, jest tylko opinia.
Kiedy zrobić pierwszy raport z efektów AI w urzędzie?
Pierwsze podsumowanie najlepiej po 3 miesiącach od uruchomienia. Wcześniejsze dane zaburzają efekt nowości i krzywą uczenia się pracowników. Po 3 miesiącach widać już stabilne wyniki.
Czy pracownicy muszą sami zapisywać czas pracy, żeby ocenić efekty AI?
Nie muszą prowadzić szczegółowych arkuszy. Wystarczy pomiar wybranej próby zadań przez 2 tygodnie przed wdrożeniem i 2 tygodnie po, plus liczby z systemów obiegu dokumentów. Nie obciążajcie ludzi dodatkową biurokracją.
Opracowanie: zespół redAi z wykorzystaniem narzędzi AI.
Chcecie sprawdzić, jak AI rozwiąże to u Was?
Bezpłatny audyt potrzeb i pokaz działającego wdrożenia. Bez zobowiązań.
