Sygnały z mózgu można zamienić na mowę
Naukowcom udało się przekształcić wytwarzane przez mózg sygnały na zrozumiałą mowę – informuje pismo „Scientific Reports"
Jak wykazały długoletnie badania, gdy ludzie mówią – lub nawet wyobrażają sobie mówienie – w ich mózgach pojawiają się wzorce aktywności. Rozpoznawalne wzorce sygnałów pojawiają się również, gdy słuchamy, jak ktoś mówi, lub wyobrażamy sobie, że słuchamy.
Opracowana przez zespół dr Nimy Mesgarani z Columbia University technika monitorowania aktywności mózgu pozwala zrekonstruować słyszane przez daną osobę słowa z bezprecedensową dokładnością.
Metoda wykorzystuje możliwości syntezatorów mowy oraz sztucznej inteligencji i zdaniem jej twórców może pozwolić komputerom komunikować się bezpośrednio z mózgiem. Dzięki niej można by także pomóc osobom, które nie są w stanie mówić – na przykład po udarze lub cierpiącym na stwardnienie zanikowe boczne (ALS). Byłyby wówczas w stanie wyrazić swoje myśli w zrozumiałej formie.
Wcześniejsze próby odkodowania sygnałów mózgowych skupiały się na prostych modelach komputerowych analizujących spektrogramy, które są wizualnymi reprezentacjami częstotliwości dźwięku.
Jednak uzyskane w ten sposób dźwięki okazały się niezrozumiałe. Dlatego zespół doktora Mesgaraniego zastosował vocoder, algorytm komputerowy, który może syntezować mowę po przeszkoleniu za pomocą nagrań ludzkiej mowy. To ta sama technologia, której używają Amazon Echo i Apple Siri, aby udzielać ustnych odpowiedzi na pytania.
Aby nauczyć vocoder interpretowania aktywności mózgu, dr Mesgarani połączył siły z doktorem Asheshem Dineshem Mehtą, neurochirurgiem z Northwell Health Physician Partners Neuroscience Institute.
Dr Mehta leczy pacjentów z epilepsją, z których niektórzy muszą przechodzić regularne zabiegi chirurgiczne. Poprosił ich o słuchanie zdań wypowiadanych przez różne osoby. W tym czasie mierzone były wzorce aktywności mózgu, które wykorzystano do uczenia vocodera.
Następnie naukowcy poprosili tych samych pacjentów, aby wysłuchali osób recytujących cyfry od 0 do 9, jednocześnie rejestrując sygnały mózgowe, których przetworzeniem mógł zająć się vocoder.
Dźwięk wytwarzany przez vocoder na podstawie zarejestrowanych sygnałów był następnie analizowany i oczyszczany przez sieci neuronowe, rodzaj sztucznej inteligencji, która naśladuje strukturę neuronową w mózgu.
Końcowym rezultatem był „głos robota”, recytujący sekwencję liczb. Aby przetestować dokładność nagrania, dr Mesgarani i jego zespół poprosili grupę osób o przesłuchanie nagrania i informowanie o tym, co usłyszały.
– Odkryliśmy, że ludzie mogą zrozumieć i powtórzyć dźwięki w 75 proc. przypadków, co znacznie przekracza wszelkie wcześniejsze próby – zaznaczył dr Mesgarani. Poprawa zrozumiałości była szczególnie widoczna przy porównywaniu nowych nagrań z wcześniejszymi próbami opartymi na spektrogramach.
Dr Mesgarani i jego zespół chcą wykorzystać do testów także bardziej skomplikowane słowa i zdania oraz przeprowadzić testy sygnałów mózgowych emitowanych, gdy osoba mówi lub wyobraża sobie mówienie. Mają nadzieję, że ich system pozwoli opracować implant przekładający myśli użytkownika bezpośrednio na słowa. W ten sposób osoba, która straciła zdolność mowy wskutek choroby czy urazu mogłaby zacząć porozumiewać się z innymi. (PAP)
Paweł Wernicki, fot. archiwum
Data publikacji: 30.01.2019 r.
