AI nie zawsze rozumie kontekst rozmowy. Co z tego wynika dla administracji publicznej?

OpenAI uruchomił niedawno reklamy w ChatGPT. Logika wydawała się prosta: skoro asystent prowadzi rozmowę i zna jej treść, powinien dobierać reklamy trafniej niż jakakolwiek wyszukiwarka. Dane z analizy kilkunastu tysięcy realnych konwersacji pokazują jednak coś innego. Mniej więcej co trzecia reklama wyświetlała się w kontekście, który nie miał z nią nic wspólnego. Ktoś pytał o przepis na obiad, a widział ofertę oprogramowania dla firm. Ktoś szukał porad medycznych i trafiał na reklamę produktu finansowego. Proste. I niepokojące.

Co to oznacza dla polskich urzędów i instytucji publicznych

Na pierwszy rzut oka reklamy w chatbocie to problem marketingowców, nie urzędników. Administracja publiczna nie zarabia na kliknięciach. Ale za tym konkretnym przykładem kryje się pytanie, które dotyczy każdego wdrożenia AI w sektorze publicznym: czy system naprawdę rozumie, o czym jest rozmowa?

W urzędzie stawka pomyłki jest inna niż w reklamie. Chatbot obsługujący petentów musi odróżnić pytanie o zasiłek od pytania o pozwolenie na budowę, a wniosek złożony przez przedsiębiorcę od wniosku osoby fizycznej. Błędna interpretacja kontekstu to nie utracone kliknięcie. To obywatel, który dostaje złą informację, traci czas albo, co gorsza, podejmuje działania na podstawie błędnej odpowiedzi systemu.

Z tej sytuacji wyciągamy kilka wniosków, które warto mieć w głowie przed każdym wdrożeniem:

• Obietnica "AI rozumie kontekst" to hipoteza, nie gwarancja. Przed uruchomieniem systemu trzeba ją sprawdzić na realnych zapytaniach, nie na pokazowych przykładach z prezentacji.
• Testy muszą obejmować przypadki trudne i graniczne. Złote ścieżki zawsze działają. Problem pojawia się przy pytaniach niejednoznacznych, wielowątkowych, pisanych potocznym językiem.
• Każdy system AI obsługujący petentów powinien mieć jasną ścieżkę awaryjną. Gdy asystent nie rozumie pytania lub odpowiada niepewnie, użytkownik musi trafić do żywego pracownika bez zbędnego wysiłku.
• Regularny monitoring jakości odpowiedzi to nie opcja, lecz warunek. Modele AI zmieniają się, zmieniają się też zapytania obywateli. Jednorazowy test przy wdrożeniu nie wystarczy.

Przypadek reklam ChatGPT przypomina, że dojrzałość AI mierzy się nie w wielkości modelu ani liczbie funkcji. Mierzy się tym, jak system radzi sobie z sytuacjami, których nikt nie przewidział podczas pisania specyfikacji. A administracja publiczna jest pełna takich sytuacji. To po prostu codzienność każdego urzędu.

Jeśli planujecie wdrożenie chatbota lub innego systemu AI i chcecie wiedzieć, co sprawdzić zanim trafi on do petentów, zapraszamy na bezpłatny audyt. Pomożemy ocenić gotowość systemu i wskazać konkretne ryzyka, zanim staną się problemem.