Dialekt ma znaczenie. Co rozszerzenie benchmarków rozpoznawania mowy zmienia w ocenie systemów ASR

Publiczne rankingi systemów automatycznego rozpoznawania mowy (ASR) przez lata opierały się głównie na danych z wąskiego wycinka językowego świata: standardowego angielskiego, kilku europejskich języków, nagrań z czystym akcentem. Teraz to się zmienia. Do otwartych tabel porównawczych trafiają kolejne warianty językowe, które wcześniej w benchmarkach po prostu nie istniały. Egipski arabski i nigeryjski angielski to przykłady języków z setkami milionów użytkowników, które dopiero teraz pojawiają się jako osobne kategorie oceny. Efekt jest prosty: systemy, które wyglądały świetnie w standardowych testach, często okazują się znacznie słabsze, gdy mierzą się z rzeczywistą mową realnych użytkowników.

Co to oznacza dla polskich urzędów i instytucji publicznych

Polska nie jest jednorodna językowo. Mamy wymowne różnice regionalne, aktywne mniejszości językowe, a w ostatnich latach do urzędów trafia coraz więcej obywateli posługujących się ukraińskim, rosyjskim czy innymi językami. Każda instytucja, która wdraża system transkrypcji, automatyczne call center albo usługę głosową dla interesantów, staje przed tym samym pytaniem: na jakich danych ten system był testowany?

Odpowiedź rzadko jest wygodna. Większość producentów podaje jeden ogólny wskaźnik błędu (WER), liczony na tzw. czystych danych. Tymczasem urzędnik ze Śląska, starszy interesant z Podkarpacia albo obcokrajowiec nieznający polskiego mogą doświadczać systemu zupełnie inaczej niż sugeruje ten licznik. To nie jest problem akademicki. Jeśli system nie rozumie pewnej grupy użytkowników, ta grupa de facto zostaje wykluczona z usługi, która ma być powszechna.

• Przy zakupie systemu ASR pytajcie o dane testowe, nie tylko o wynik. Skąd pochodzą nagrania? Jaki rejestr mowy? Jaki poziom hałasu? Czy testy obejmowały akcenty regionalne albo nienajwyższą jakość mikrofonu?
• Testujcie samodzielnie na swoich danych, zanim podpiszecie umowę wdrożeniową. Popilotowanie systemu na nagraniach własnych interesantów daje o wiele więcej informacji niż deklarowany benchmark producenta.
• Otwarte tabele porównawcze są Waszym sojusznikiem. Publiczne rankingi, do których każdy może zgłosić model i które raportują wyniki per język i wariant, utrudniają ukrywanie słabości systemu za uśrednionymi liczbami.
• Myślcie o dostępności. Systemy głosowe w usługach publicznych podlegają wymogom dostępności. Zły wynik ASR dla konkretnej grupy to nie tylko problem techniczny, to potencjalne naruszenie standardów WCAG i przepisów o dostępności cyfrowej.

Szersze spojrzenie: trend w kierunku bardziej zróżnicowanych benchmarków ASR oznacza, że za kilka lat rynek będzie wymagał od dostawców raportowania wyników per wariant językowy. Instytucje, które już teraz budują nawyk pytania o szczegóły benchmarku, będą lepiej przygotowane do stawiania takich wymagań w przetargach.

Nie każdy urząd musi przeprowadzać techniczny audyt modeli ASR samodzielnie. Możemy pomóc ocenić, jak system radzi sobie z Waszymi konkretnymi przypadkami użycia, zanim zobowiążecie się do zakupu. Umówcie się na bezpłatny audyt i sprawdźcie to razem z nami.