Badacze z Uniwersytetu Tohoku i Uniwersytetu Hongkońskiego opisali w „ACM Transactions on Graphics” system DynaConTalk, który na podstawie nagrania głosu generuje trójwymiarowe ruchy ciała, dłoni i twarzy wirtualnej postaci. Na zbiorze danych BEAT2 wynik FGD, czyli miara różnicy między ruchem wygenerowanym a nagranym u prawdziwych ludzi, był o mniej więcej połowę niższy niż w najlepszym wcześniejszym rozwiązaniu, SemTalk.
- System DynaConTalk, opracowany przez badaczy z Uniwersytetu Tohoku i Uniwersytetu Hongkońskiego, generuje trójwymiarowe ruchy ciała, dłoni i twarzy wirtualnej postaci na podstawie nagrania głosu, rozkładając ruch na pasma o różnym tempie za pomocą stacjonarnej transformaty falkowej (SWT).
- Na zbiorze danych BEAT2 DynaConTalk uzyskał wynik FGD równy 1,75, co oznacza około 51 proc. niższy błąd niż SemTalk (3,56), a w badaniu z udziałem 30 uczestników oceniających animacje EMAGE, SemTalk i DynaConTalk system zdobył najwyższe oceny we wszystkich czterech kategoriach, w tym realizmu (2,30 wobec 2,05 dla SemTalk).
- Twórcy DynaConTalk przyznają, że model słabo radzi sobie z przemieszczaniem się postaci w przestrzeni i nie został przetestowany na bardziej zróżnicowanej grupie mówców oraz scenach z dużą ilością ruchu.
DynaConTalk to praca z grafiki komputerowej. Nikt tu nie buduje fizycznego robota. Chodzi o animację cyfrowych ludzi: prezenterów, postaci w grach, awatarów w aplikacjach. Autorami są Yifei Zhu, Yangyang Cai, Miao Cheng, Lin Gu i Yoshifumi Kitamura z Uniwersytetu Tohoku w Sendai oraz Mingyi Shi i Taku Komura z Uniwersytetu Hongkońskiego. Wersja preprintu trafiła do serwisu arXiv 7 października 2026 roku.
DynaConTalk osobno animuje postawę ciała i szybkie ruchy palców
DynaConTalk rozkłada ruch postaci na kilka warstw o różnym tempie i każdą generuje osobno. Autorzy wskazują problem, który dotyczy wielu wcześniejszych modeli: jeśli powolne zmiany postawy, gesty rąk i drobne ruchy palców czy mimiki trafiają do jednego worka, model uśrednia je i wychodzi „wygładzony”, mało wyrazisty ruch.
Żeby tego uniknąć, zespół użył stacjonarnej transformaty falkowej (SWT), czyli matematycznego sposobu rozbicia sygnału na pasma od najwolniejszych do najszybszych zmian. Model dyfuzyjny pracuje bezpośrednio na tych pasmach. Osobne moduły odpowiadają za ciało razem z dłońmi oraz za twarz.
DynaConTalk korzysta z kilku rodzajów informacji o mowie:
- reprezentacji nagrania z modelu HuBERT (sieci Mety uczonej rozpoznawania mowy) oraz tożsamości mówcy jako stałej podstawy,
- rytmu wypowiedzi, czyli obwiedni głośności, energii i momentów akcentów,
- widma dźwięku (mel-spektrogramu),
- transkrypcji, czyli tego, co zostało powiedziane.
Rytm, widmo i tekst nie są dokładane zawsze w tej samej proporcji. Specjalna sieć „bramkująca” decyduje, ile każdego z tych sygnałów wpuścić w danym momencie. Autorzy piszą, że przy stałym mieszaniu gęste sygnały dźwiękowe zagłuszały rzadsze wskazówki płynące z treści wypowiedzi.
Druga część pracy dotyczy dłuższych występów i kontroli. Kolejny fragment animacji powstaje z uwzględnieniem tego, jak postać poruszała się chwilę wcześniej, więc dłuższa wypowiedź nie rozpada się na sklejone urywki. Animator może też wskazać konkretną pozę w wybranym momencie, poprawić lokalnie fragment ruchu albo podać ruch referencyjny jako wzór.
FGD niższe o ok. 51 proc. na BEAT2 i o ok. 29 proc. na SHOW
DynaConTalk osiągnął najniższy wynik FGD (Fréchet Gesture Distance) na obu publicznych zbiorach testowych. FGD porównuje rozkład statystyczny ruchów wygenerowanych z rozkładem ruchów nagranych u ludzi. Im niższa wartość, tym bliżej rzeczywistości.
| Zbiór danych | DynaConTalk (FGD) | SemTalk (FGD) | Różnica |
|---|---|---|---|
| BEAT2 | 1,75 | 3,56 | ok. 51 proc. mniej |
| SHOW | 14,25 | 20,18 | ok. 29 proc. mniej |
Na BEAT2 autorzy porównali DynaConTalk z dziewięcioma wcześniejszymi metodami, m.in. EMAGE, DiffSHEG i SemTalk, na SHOW z dziesięcioma. Wersja z włączonymi funkcjami edycji wypadła na BEAT2 słabiej od podstawowej (FGD 2,97), nadal jednak lepiej niż SemTalk.
Zespół przeprowadził też badanie z udziałem ludzi:
- 30 uczestników oglądało anonimowe animacje z trzech systemów: EMAGE, SemTalk i DynaConTalk,
- każdy system animował te same 15 wypowiedzi ze zbioru BEAT2,
- oceniano realizm, zgodność gestów z treścią, synchronizację z mową oraz różnorodność ruchów,
- DynaConTalk dostał najwyższą średnią ocenę we wszystkich czterech kategoriach (np. realizm 2,30 wobec 2,05 dla SemTalk).
Badacze oceniali więc wyłącznie jakość ruchu. Nikt nie sprawdzał, czy widzowie bardziej ufają postaci, chętniej przyjmują jej radę albo zmieniają pod jej wpływem zdanie.
Cenię tę pracę za warsztat. Kod, wytrenowane modele i edytor leżą publicznie, więc każdy zespół może sprawdzić wyniki u siebie. Widzę też drugą stronę. Lepsza animacja nie poprawia ani jednego słowa, które postać wypowiada. Podejrzewam, że awatar gestykulujący jak doświadczony doradca bankowy zdobędzie kredyt zaufania szybciej, niż zdążymy zapytać o źródło jego informacji. Autorzy DynaConTalk tego nie badali i nie twierdzą, że badali. Moim zdaniem to powinien być następny eksperyment: dwie postacie, identyczny tekst, różna jakość gestów i pomiar, ilu widzów przyjmie radę bez sprawdzania. Do tego czasu traktuję naturalne gesty jak dobre oświetlenie w studiu telewizyjnym. Ułatwiają odbiór. O prawdziwości przekazu nie mówią nic.
Piotr Wolniewicz, Redaktor Naczelny AIPORT.pl
Kod, modele i edytor DynaConTalk Studio są publicznie dostępne
Zespół udostępnił w serwisie GitHub kod do trenowania i testowania modeli DynaConTalk oraz DynaConTalk Studio, przeglądarkowy edytor do generowania i poprawiania ruchu ciała i twarzy na podstawie mowy. Gotowe wagi modeli trafiły do serwisu Hugging Face.
W paczce są trzy główne modele: wersja z edycją (mowa plus wskazane pozy i trajektoria), wersja sterowana samą mową oraz osobny model mimiki twarzy oparty na parametrach FLAME. Dołączono też 186 póz wyodrębnionych ze zbioru BEAT2, 198 zapisanych trajektorii ruchu i dane 25 mówców z tego zbioru. Dla studiów animacji i twórców gier to gotowy materiał do testów, bez konieczności odtwarzania pracy od zera.
Autorzy DynaConTalk wskazują ograniczenia: mało danych o chodzeniu i wąska grupa mówców
Twórcy DynaConTalk przyznają, że model słabo radzi sobie z przemieszczaniem się postaci w przestrzeni. Większość zbiorów danych z gestami towarzyszącymi mowie zawiera niewiele chodzenia, a sama mowa słabo podpowiada, dokąd postać powinna się przesunąć.
Autorzy nie sprawdzili też jeszcze, jak system zachowa się przy bardziej zróżnicowanych mówcach i scenach z dużą ilością ruchu. W planach mają trening na większą skalę i lepsze modelowanie trajektorii całego ciała. Obecne wyniki opisują więc postęp w animacji rozmówcy, który stoi lub siedzi przed kamerą.
Polskie banki już rozmawiają z klientami głosem AI
Cyfrowi rozmówcy działają w Polsce głównie jako asystenci głosowi i tekstowi. Gesty są dopiero następnym krokiem. Według danych PKO Banku Polskiego z asystenta głosowego w aplikacji IKO skorzystano od jego uruchomienia do końca czerwca 2026 roku 41,6 mln razy, o 20 proc. więcej niż na koniec 2025 roku. Wirtualna asystentka głosowa VeloBanku, Vela, przeprowadziła w pierwszym roku działania ponad 260 tys. rozmów z klientami. Raport Accenture „Top Banking Trends for 2026” szacuje, że ponad 70 proc. klientów byłoby skłonnych korzystać z asystentów AI w aplikacji swojego głównego banku.
Polska ma też własny przykład awatara, u którego gest jest samą treścią przekazu. Spółka Migam S.A. pokazała na paryskiej konferencji VivaTech automatycznego awatara języka migowego Migam.AI, który w czasie rzeczywistym tłumaczy tekst na język migowy i odwrotnie. Partnerem prezentacji był Credit Agricole Bank Polska. W takim zastosowaniu dokładność ruchu dłoni decyduje o tym, czy odbiorca w ogóle zrozumie komunikat.
W Polsce cyfrowy prezenter musi się przedstawić: art. 50 AI Act obowiązuje od 2 sierpnia 2026 roku
Od 2 sierpnia 2026 roku w całej Unii Europejskiej, także w Polsce, stosuje się obowiązki przejrzystości z art. 50 AI Act. Odbiorca musi wiedzieć, że rozmawia z systemem AI. Kto publikuje deepfake, czyli materiał wygenerowany lub zmieniony przez AI, który można wziąć za prawdziwy, musi to ujawnić.
Pakiet Digital Omnibus on AI przesunął część terminów z AI Act. Obowiązków dotyczących chatbotów i deepfake’ów nie przesunął. Okres przejściowy do 2 grudnia 2026 roku dotyczy tylko technicznego, czytelnego dla maszyn oznaczania treści w systemach generatywnych wprowadzonych na rynek przed 2 sierpnia 2026 roku.
Dla firm, które chciałyby wykorzystać animowanych prezenterów w obsłudze klienta, oznacza to prostą zasadę. Postać może gestykulować dowolnie naturalnie. Klient i tak musi się dowiedzieć, że rozmawia z programem, i powinien wiedzieć, która firma za nim stoi.
Źródła i metodologia
Artykuł powstał na podstawie analizy redakcji AIPORT.pl oraz dodatkowych źródeł, w tym pracy naukowej DynaConTalk: Wavelet-Constrained Diffusion for Long-Form and Controllable Holistic Co-Speech 3D Motion w ACM Transactions on Graphics, jej wersji w serwisie arXiv z dnia 07.10.2026 oraz repozytorium projektu w serwisie GitHub. Wykorzystano także informacje z Tech Xplore, Hugging Face, „Gazety na Niedzielę”, BANK.pl, money.pl, XYZ oraz omówienia obowiązków z art. 50 AI Act przygotowanego przez Grant Thornton. Procentowe różnice wyników FGD obliczono na podstawie tabel z pracy.
Komentarz redakcyjny i ocena kontekstu branżowego: Piotr Wolniewicz, Redaktor Naczelny AIPORT.pl.
Artykuł będzie aktualizowany w miarę pojawiania się nowych informacji o DynaConTalk i badaniach nad animacją cyfrowych rozmówców.
