Obiektywne testy modeli głosowych. Co zestandaryzowane rankingi TTS zmieniają dla urzędów

Ocenianie modeli text-to-speech zawsze było problematyczne. Każdy dostawca pokazywał własne demo, własne próbki, własnych testerów. Nie było jednego miejsca, gdzie można było porównać jakość syntezy dla języka polskiego z modelem rywala. To się zmienia. Powstają otwarte systemy rankingowe, które mierzą jakość modeli TTS na ustandaryzowanych zestawach testowych, wielojęzykowo, w tym syntezę i klonowanie głosu. Dane publiczne, metodologia opisana, wyniki porównywalne między dostawcami.

Nie chodzi o jednorazowy test. Chodzi o skalowalne podejście: modele można zgłaszać, testować i aktualizować w czasie. Rankingi obejmują naturalność mowy, zrozumiałość, a w przypadku klonowania głosu, wierność wobec próbki źródłowej. Uwzględniane są też języki rzadziej zasobne. Dla polskich instytucji to nie jest szczegół.

Co to oznacza dla polskich urzędów i instytucji publicznych

Synteza mowy pojawia się w administracji w kilku miejscach naraz: systemy IVR na infoliniach, automatyczne odczytywanie decyzji dla osób słabowidzących, ogłoszenia w budynkach użyteczności publicznej. Do tej pory wybór modelu TTS opierał się głównie na demo dostawcy i subiektywnej ocenie kilku osób z zespołu. Zobiektywizowany benchmark zmienia to fundamentalnie.

Dla działu zamówień publicznych to konkretny argument w specyfikacji przetargowej. Zamiast pisać "wysoka jakość głosu", można odwołać się do mierzalnych progów: zrozumiałość powyżej określonego poziomu, wynik naturalności w danym zakresie dla języka polskiego. To utrudnia omijanie wymagań przez oferentów i ułatwia odrzucenie oferty, która standardu nie spełnia. Mierzalne kryterium łatwiej też obronić przed komisją.

Klonowanie głosu otwiera osobny wątek. Instytucje coraz częściej pytają, czy mogłyby mieć spójny "głos urzędu" na wszystkich kanałach, nagrany raz i odtwarzany przez model. Operacyjnie to ma sens. Ale wymaga oceny jakości modelu klonowania. Nowe rankingi pozwalają sprawdzić, czy system rzeczywiście odtworzy głos wiernie, czy tylko w przybliżeniu.

Wiele komercyjnych modeli TTS radzi sobie z polskim przyzwoicie, ale nie wyśmienicie. Porównawczy benchmark wielojęzykowy pozwala zobaczyć, które systemy naprawdę inwestują w jakość dla języków środkowoeuropejskich, a które traktują polszczyznę jako dodatek do angielskiego. Dla instytucji obsługującej obywateli wyłącznie po polsku, to różnica, która słychać w każdym komunikacie.

Jeśli planujecie wdrożenie systemu głosowego albo chcecie ocenić, czy obecne narzędzie na infolinii nadaje się do rozbudowy, zapraszamy na bezpłatny audyt. Pomożemy sformułować wymagania, które da się zmierzyć i obronić w przetargu.