Tandem inżynier-logopeda, czyli jak sztuczna inteligencja wychwyci seplenienie

Diagnoza zaburzeń mowy u dzieci opiera się na ocenie logopedy. Według dr inż. Zuzanny Miodońskiej brakuje narzędzi wspierających obiektywny opis wymowy pacjenta. Rozwiązaniem może być tworzone przez jej zespół oprogramowanie, wspomagane sztuczną inteligencją.

Dr inż. Zuzanna Miodońska to młoda naukowczyni z Wydziału Inżynierii Biomedycznej Politechniki Śląskiej, która w tym roku została stypendystką Fundacji na rzecz Nauki Polskiej w konkursie START 2023. Otrzymała także Stypendium im. Barbary Skargi za „odważne przekraczanie granic pomiędzy różnymi dziedzinami nauki, otwierając nowe perspektywy badawcze i tworząc nowe wartości w nauce”.

Jak mówiła w rozmowie z Nauką w Polsce, podstawą badania logopedycznego jest rozmowa i obserwacja pacjenta, a logopeda stawia diagnozę bazując na swojej wiedzy i swoim doświadczeniu. – Czasem o stwierdzeniu wadliwej wymowy świadczą szczegóły, np. nieprawidłowe napięcie mięśni czy ledwo słyszalny szelest, dlatego potrzebne jest stworzenie obiektywnego narzędzia pomiarowego, które mogłoby wspierać logopedów w ich codziennej pracy – wskazała Miodońska.

Badania prowadzone w zespole, do którego należy, dotyczą wykorzystania nowych technologii – w szczególności przetwarzania sygnałów i sztucznej inteligencji – do opracowania narzędzi wspomagających diagnostykę i terapię logopedyczną.

Koncentrujemy się na analizie sygnału mowy i obrazu wideo twarzy dzieci przedszkolnych, aby zbadać, jak wymawiają sybilanty, czyli dźwięki oznaczone literami: s, z, c, dz, sz, ż, cz, dż, ś, ź, ć, dź. Ich wadliwa wymowa nazywana jest zazwyczaj seplenieniem – tłumaczyła.

Wyzwaniem badawczym jest zatem „przekodowanie” sygnału akustycznego mowy i obrazu wideo na odpowiedź, czy dziecko ma problem z zaburzeniem mowy, czy nie.

Naukowczyni skupiła się na głoskach: „sz” i „ż” – jednych z najtrudniejszych głosek dla dzieci, które w naturalnym procesie rozwoju mowy pojawiają się jako jedne z ostatnich.

– Wyznaczyłam konkretne cechy sygnału akustycznego, które wiążą się z nieprawidłową wymową tych dwóch głosek. Dobór odpowiednich cech nie jest zadaniem prostym, ale zdecydowanie kluczowym, ponieważ w sygnale mowy mamy zakodowanych mnóstwo informacji, m.in. samą treść przekazu, ale i cechy osobowe (barwę głosu, na podstawie której można np. określić płeć) czy nasze emocje, a algorytm potrzebuje jasnej i klarownej informacji, czego ma szukać – opowiadała.

Miodońska dodała jednak, że rozwój prawidłowej mowy u dziecka jest złożonym procesem. – Musimy pamiętać, że pewne odstępstwa od docelowej, dorosłej wymowy są normalne w pewnych etapach rozwoju dziecka – to przykładowo zamiana „sz” na „s”. Nie mówiąc o tym, że u dzieci nawet prawidłowa mowa jest zróżnicowana, a i ta sama wada wymowy może brzmieć różnie u różnych dzieci. Dzieci nie zawsze mówią tak samo, dużo zależy od ich samopoczucia czy sytuacji, w której się znajdują. Dlatego jednym z największych wyzwań w naszych badaniach jest zebranie możliwie reprezentatywnych i zróżnicowanych danych – powiedziała.

W kolejnym kroku Miodońska chce przeanalizować, czy ten sam zestaw cech sprawdzi się również w innych głoskach należących do tzw. sybilantów.

Zuzanna Miodońska należy do zespołu dr. hab. inż. Pawła Badury, prof. PŚ, który kieruje projektem pn. „Hybrydowy system akwizycji i przetwarzania sygnału wielomodalnego w analizie sygmatyzmu u dzieci”, finansowanym ze środków NCN.

– Jesteśmy już na finiszu tego projektu, w którym opracowywaliśmy koncepcję stanowiska pomiarowego (urządzenia) do mierzenia sygnałów akustycznych i wideo. Nasz prototyp przypomina kask i jest wyposażony w mikrofony i kamery. Zebraliśmy dane od ponad 200 dzieci, które połączyliśmy z opisem logopedycznym. Teraz realizujemy jeszcze analizy, aby powiązać dane logopedyczne z sygnałami zbieranymi w czasie nagrania i tak zaprojektować cały łańcuch przetwarzania danych, by dawał powtarzalne i miarodajne wyniki” – podsumowała. (PAP – Nauka w Polsce)

Agnieszka Kliks-Pudlik, fot. freepik.com

Data publikacji: 07.11.2023 r.