Ile pamięci potrzebuje agent AI? Praktyczne pytanie, które zmienia koszty wdrożenia
Gdy ktoś projektuje agenta AI, pierwsza intuicja jest prosta: daj mu jak najwięcej kontekstu. Niech widzi całą historię rozmowy, wszystkie dokumenty, pełną bazę wiedzy. Problem w tym, że większa pamięć to nie tylko wyższe koszty, ale często też gorsze odpowiedzi. Modele mają tendencję do „gubienia się" w długich kontekstach. Badania nad tym zjawiskiem pokazują, że trafność spada, gdy agent dostaje więcej, niż naprawdę potrzebuje do wykonania konkretnego kroku. Dlatego coraz poważniej traktuje się pytanie, ile pamięci agent faktycznie wymaga, a nie ile maksymalnie można mu wsunąć.
Chodzi o rozróżnienie kilku warstw. Jest pamięć robocza, czyli to, co agent widzi w danym momencie. Jest pamięć epizodyczna, czyli historia poprzednich kroków i decyzji. I jest wiedza zewnętrzna, pobierana na żądanie z baz i dokumentów. Każda z nich ma inną cenę i inny wpływ na wynik. Sztuka polega na tym, żeby agent dostawał właściwą warstwę we właściwym momencie, a nie wszystko na raz.
Co to oznacza dla polskich urzędów i instytucji publicznych
Urzędy, które wdrażają lub planują wdrożyć agenty AI, stają przed tym samym pytaniem, tylko w konkretnym kontekście: obsługa korespondencji, sprawdzanie wniosków, wyszukiwanie w przepisach, generowanie pism. W każdym z tych przypadków potrzeba pamięci wygląda inaczej.
- Klasyfikacja dokumentów wymaga bardzo mało kontekstu. Agent potrzebuje treści bieżącego pisma i listy kategorii. Historia poprzednich klasyfikacji prawie nic nie wnosi. Mały kontekst, niski koszt, wysoka szybkość.
- Obsługa wieloetapowego wniosku to zupełnie inny przypadek. Agent musi pamiętać, co ustalono w poprzednich krokach, jakie dokumenty już sprawdzono, jaką decyzję podjęto wcześniej. Tu pamięć epizodyczna jest niezbędna i warto ją jawnie projektować.
- Wyszukiwanie w przepisach najlepiej obsługuje zewnętrzna baza z wyszukiwaniem semantycznym. Agent pobiera fragment na żądanie zamiast mieć wczytane tysiące stron aktów prawnych w oknie kontekstu.
Praktyczny wniosek jest taki, że agent zaprojektowany z „oszczędną" pamięcią często działa szybciej i dokładniej niż ten, któremu dano wszystko. A przy wdrożeniu na większą skalę, powiedzmy kilkaset dokumentów dziennie, różnica w kosztach staje się wyraźna. Instytucja, która przemyślała architekturę pamięci swoich agentów, płaci za wywołania AI znacznie mniej niż ta, która po prostu wrzuca pełen kontekst do każdego zapytania.
Warto też pamiętać, że to zagadnienie ma wymiar proceduralny. Jeśli agent obsługuje sprawy obywateli, dokumentacja jego „pamięci" w danej sprawie może mieć znaczenie przy ewentualnym odwołaniu albo kontroli. Wiedzieć, co agent widział i kiedy, to nie tylko kwestia techniczna.
Dobór odpowiedniej architektury pamięci do konkretnych procesów urzędu to jeden z pierwszych kroków, które sprawdzamy podczas wdrożenia. Jeśli chcecie zobaczyć, jak to wygląda w praktyce dla Waszej instytucji, zapraszamy na bezpłatny audyt.
Opracowanie: zespół redAi z wykorzystaniem narzędzi AI.
Więcej aktualności
- Model, który przetwarza dane wielokrotnie przez te same warstwy. Co architektura pętli zmienia dla instytucji publicznych
- Kiedy system AI zatrzymuje własną aktualizację. Co bezpieczne pipeline'y wdrożeniowe zmieniają w utrzymaniu IT urzędu
- Lekki adapter zamiast nowego modelu. Co dopasowywanie AI do infrastruktury zmienia w kosztach wdrożenia
- Wydajny model AI na lokalnym sprzęcie. Co nowa generacja mini-modeli zmienia dla instytucji publicznych