Agenty AI potrzebują pozwolenia na przeglądanie stron. Co zmienia się od września dla urzędów

Przez lata zasady dostępu botów do stron były proste: plik robots.txt, parę reguł i z głowy. Agenty AI zmieniają ten układ. Nie mówimy tu o klasycznych wyszukiwarkach, które indeksują treści co kilka dni. Mówimy o crawlerach działających w czasie rzeczywistym, na żądanie użytkownika, który czeka na odpowiedź. Taki bot wchodzi na stronę teraz, pobiera treść i zwraca ją agentowi. To zupełnie inny model.

Cloudflare, jedna z największych platform infrastruktury sieciowej, ogłosiła w lipcu zmianę polityki. Od 15 września agentowe crawlery będą na stronach korzystających z jej usług blokowane domyślnie. Żeby bot mógł działać, właściciel strony musi go wpuścić. Nie odwrotnie. Zmiana filozofii: z opt-out na opt-in.

To nie jest wyłącznie sprawa techniczna. Stoi za tym realna debata o tym, kto zarabia na treściach w internecie i kto za nie odpowiada. Ale dla administratorów IT w urzędach to przede wszystkim nowe pytanie operacyjne: czy nasze systemy AI będą nadal działać po wrześniu?

Co to oznacza dla polskich urzędów i instytucji publicznych

Jeśli urząd wdrożył lub planuje wdrożyć asystenta AI, który korzysta z zewnętrznych źródeł wiedzy, warto sprawdzić, skąd ten asystent czerpie dane. Część narzędzi pobiera informacje z zewnętrznych stron w czasie rzeczywistym. Baza aktów prawnych, serwis informacyjny, portal branżowy. Od września część tych zasobów może być dla bota niedostępna bez wyraźnej zgody właściciela domeny.

Dla działów IT to konkretna lista rzeczy do weryfikacji:

• Jakie zewnętrzne strony odwiedzają nasze agenty AI? Warto to zaudytować, zanim zablokowanie czegoś zepsuje.
• Czy dostawca narzędzia AI ma mechanizm uzyskiwania zgód? Dobry dostawca powinien umieć odpowiedzieć, jak obsługuje nową politykę i podobne zmiany u innych operatorów infrastruktury.
• Czy strona urzędu powinna coś skonfigurować? Jeśli urząd prowadzi publicznie ważne rejestry lub informacje, warto zdecydować, czy agenty AI mają do nich dostęp, czy nie. To decyzja, nie przypadek.

Jest tu też pewna szansa. Urzędy, które świadomie otworzą swoje strony dla agentów AI, mogą zaistnieć jako wiarygodne źródło wiedzy w odpowiedziach generowanych przez modele językowe. Obywatel pyta asystenta o godziny pracy wydziału. Agent czerpie dane ze strony urzędu, jeśli urząd mu na to pozwolił. Jeśli nie, szuka gdzie indziej albo odpowiada z pamięci modelu. A ta bywa nieaktualna.

To nie jest problem, który rozwiąże się sam. Domyślna blokada zmienia reguły gry dla całego ekosystemu narzędzi AI opartych na przeszukiwaniu internetu. Polskie urzędy, które już teraz używają lub testują tego rodzaju narzędzia, powinny sprawdzić, co się zmieni w ich środowiskach po 15 września. Im wcześniej, tym mniej niespodzianek.

Jeśli nie wiecie, od czego zacząć, zapraszamy na bezpłatny audyt. Pomożemy ocenić, jakie narzędzia AI w waszej instytucji korzystają z dostępu do zewnętrznych stron i co warto dostosować przed zmianą.