Rozmowa, decyzja i mowa z jednego modelu AI
Przez lata budowanie systemów AI wyglądało tak samo: osobny model do czatu, osobny do klasyfikacji wniosków, osobny do transkrypcji. Każda z tych funkcji to inny dostawca, inny kontrakt, inny punkt awarii. Teraz pojawia się inny kierunek. Modele takie jak IBM Granite Switch 4.1 obsługują rozmowę, decyzje i mowę z jednego endpointu. Nie trzy systemy, tylko jeden. Instytucja wdraża jeden interfejs i dostaje trzy zdolności naraz.
To nie jest tylko wygoda dla programistów. Zmienia architekturę całych systemów obsługi, bo dane kontekstowe przepływają między trybami bez dodatkowych warstw pośrednich.
Co to oznacza dla polskich urzędów i instytucji publicznych
Uproszczenie integracji to realna oszczędność. W typowym urzędowym centrum obsługi mamy dziś kilka oddzielnych systemów: silnik do transkrypcji nagrań z infolinii, moduł klasyfikacji spraw, asystent tekstowy. Każdy z nich wymaga osobnej umowy, osobnego utrzymania i mostu danych między nimi. Jeden ujednolicony endpoint skraca ten łańcuch. Mniej punktów styku, mniej miejsc, gdzie coś może się rozjechać.
Kontekst nie ginie między kanałami. Gdy obywatel dzwoni, a potem pisze maila w tej samej sprawie, model z ujednoliconym interfejsem może obsługiwać oba kanały w spójny sposób. Transkrypt rozmowy telefonicznej i treść wiadomości tekstowej trafiają do tego samego silnika decyzyjnego, bez ręcznego sklejania danych. Dziś to często największy problem operacyjny, bo każdy kanał ma swój system i swoje logi.
Dla instytucji z ograniczonym budżetem IT to może być decydujący argument. Mniejszy urząd albo instytucja publiczna rzadko ma zasoby, żeby utrzymywać trzy oddzielne integracje. Jeden model z jednym interfejsem API to jedna procedura zakupu, jeden team odpowiedzialny za działanie, jedna ścieżka wsparcia. Przetarg na coś takiego jest też prostszy do opisania technicznie.
- Ujednolicone endpointy zmniejszają liczbę zewnętrznych zależności w systemie.
- Obsługa telefoniczna, chatboty i automatyczne klasyfikatory mogą korzystać z tego samego modelu bazowego.
- Zmiana modelu lub jego aktualizacja dotyka jednego miejsca, nie kilku systemów jednocześnie.
Jest jedno zastrzeżenie. Model obsługujący kilka trybów naraz może być mniej wyspecjalizowany niż dedykowane narzędzie do konkretnego zadania. Instytucja musi ocenić, czy dla jej zastosowań wystarczy dobry generalist, czy potrzebuje najlepszego możliwego rozpoznawania mowy albo najdokładniejszej klasyfikacji. W większości przypadków urzędowych odpowiedź brzmi: generalist wystarczy. Sprawy nie są na tyle złożone technicznie, żeby uzasadnić złożoność infrastruktury.
Jeśli chcesz sprawdzić, jak taka architektura mogłaby wyglądać w Twojej instytucji, zapraszamy na bezpłatny audyt.
Opracowanie: zespół redAi z wykorzystaniem narzędzi AI.
Więcej aktualności
- Zmiana chipa bez zmiany kodu. Co ułatwiony dostęp do specjalizowanych procesorów AWS zmienia dla instytucji trenujących modele AI
- Pół tysiąca miliardów parametrów w otwartym modelu. Co zmienia się, gdy tak duży model można wziąć na własność
- Otwarta rurociąg danych dla języków mniejszościowych. Co pretrening na miliardach tokenów zmienia w myśleniu o polskim AI
- Model uczy się malować. Co uczenie przez środowiska nagrody zmienia w specjalizacji AI dla instytucji