Powstał system do odczytywania myśli. Może pomóc wielu chorym

07.02.2019 15:38
System do odczytywania myśli
fot. Shutterstock

Naukowcy stworzyli system, który przekłada myśli na zrozumiałą, rozpoznawalną mowę. To może być przełom w komunikacji chorych z otoczeniem.

W potocznym znaczeniu „czytać komuś w myślach” znaczy tyle co: „rozumieć się bez słów”. W medycynie do „czytania komuś w myślach” słowa będą potrzebne, ale zostaną wypowiedziane przez syntezator mowy.

Komputer uczy się mówić

Gdy ludzie mówią i słuchają, a nawet gdy tylko wyobrażają sobie te czynności, w ich mózgach powstają pewne wzorce aktywności. Naukowcy próbują rejestrować i dekodować te wzorce, aby „uwolnić” myśli z mózgu.

Próby odkodowania sygnałów mózgowych od lat podejmuje dr Nima Mesgarani z The Zuckerman Institute at Columbia University. Do tej pory korzystał głównie z prostych modeli komputerowych analizujących spektrogramy, czyli wizualne reprezentacje częstotliwości dźwięku. Niestety nie przyniosło to pożądanego efektu w postaci przełożenia na zrozumiałą mowę.

Podczas ostatnich prób zespół dr. Mesgaraniego postanowił użyć wokodera, czyli algorytmu komputerowego, który może syntezować mowę po przeszkoleniu na nagraniach ludzkiej mowy. „Jest to ta sama technologia, której używają Amazon Echo i Apple Siri do udzielania odpowiedzi na nasze pytania” – tłumaczy naukowiec. To był strzał w dziesiątkę.

W 75 proc. przypadków ludzie mogli zrozumieć i powtórzyć dźwięki, co znacznie przekracza wszelkie wcześniejsze próby.

Dr Nima Mesgarani

Sztuczna inteligencja analizuje dźwięki

Teraz pozostało „jedynie” nauczyć wokoder interpretowania aktywności mózgu. Na tym etapie do zespołu dołączył Ashesh Dinesh Mehta, neurochirurg z Northwell Health Physician Partners Neuroscience Institute.

„Poprosiliśmy pacjentów z padaczką, którzy przeszli operację mózgu, aby słuchali zdań wypowiadanych przez różnych ludzi, a my rejestrowaliśmy wzorce aktywności mózgu – powiedział dr Mesgarani. – Te neuronowe wzorce trenowały wokodera”.

Następnie pacjenci wysłuchali recytacji ciągu cyfr od 0 do 9. Za pomocą sztucznej inteligencji system przerejestrował zapis mózgu, „pomyślał”, oczyścił dźwięk, a następnie sam wyrecytował sekwencję liczb.

Aby przetestować jakość nagrania naukowcy poprosili badanych o odsłuchanie nagrania i poinformowanie o tym, co usłyszeli. „Odkryliśmy, że w 75 proc. przypadków ludzie mogą zrozumieć i powtórzyć dźwięki, co znacznie przekracza wszelkie wcześniejsze próby” – powiedział dr Mesgarani.

Dr Mesgarani i jego zespół planują teraz przetestować bardziej skomplikowane słowa i zdania. Chcą także przeprowadzić testy, gdy osoba mówi lub wyobraża sobie mówienie. W założeniu system może być częścią implantu, który przekładałby myśli bezpośrednio na słowa.

System może pomóc wielu chorym, którzy wprawdzie rozumieją mowę, ale sami nie mogą mówić, na przykład po udarze mózgu, wylewie krwi do mózgu lub w wyniku postępowania choroby neurologicznej, takiej jak stwardnienie zanikowe boczne (ALS).

Źródło: sciencedaily.com