Implant pozwala mówić z ekspresją człowiekowi, który stracił zdolność do wyraźnego mówienia
| Tagi: | implant mózgowy, stwardnienie zanikowe boczne, aktywność neuronalna, BCI, Interfejs mózg-komputer |
Mężczyzna z poważnym upośledzeniem mowy – dzięki implantowi mózgowemu, który niemal natychmiast przekłada aktywność neuronalną na słowa – jest w stanie mówić ekspresyjnie, a nawet śpiewać.
System – znany jako interfejs mózg–komputer (BCI) – używa sztucznej inteligencji (AI) do dekodowania aktywności elektrycznej mózgu człowieka, gdy ten próbuje mówić. Urządzenie jest pierwszym, które odtwarza nie tylko zamierzone słowa, ale także cechy naturalnej mowy, takie jak ton, wysokość i akcent, które pomagają wyrażać znaczenie i emocje – opisuje czasopismo „Nature”.
W badaniu syntetyczny głos, który naśladował głos uczestnika doświadczenia, wypowiadał jego słowa w ciągu 10 milisekund od aktywności neuronowej, która sygnalizowała jego zamiar mówienia. System oznacza znaczącą poprawę w porównaniu z wcześniejszymi modelami BCI, które przesyłały strumieniowo mowę w ciągu trzech sekund lub generowały ją dopiero po tym, jak użytkownicy skończyli naśladować całe zdanie.
Uczestnik doświadczenia, 45-letni mężczyzna, stracił zdolność wyraźnego mówienia po rozwinięciu się stwardnienia zanikowego bocznego, postaci choroby neuronu ruchowego, która uszkadza nerwy kontrolujące ruchy mięśni, w tym te potrzebne do mówienia. Chociaż nadal mógł wydawać dźwięki i wypowiadać słowa, jego mowa była powolna i niewyraźna.
Pięć lat po wystąpieniu objawów uczestnik przeszedł operację wszczepienia 256 krzemowych elektrod, każda o długości 1,5 mm, w obszar mózgu kontrolujący ruch. Współautorka badania Maitreyee Wairagkar, neurobiolog z University of California w Davis, i jej współpracownicy wytrenowali algorytmy głębokiego uczenia, aby przechwytywały sygnały w jego mózgu co 10 milisekund. Ich system dekoduje w czasie rzeczywistym dźwięki, które mężczyzna próbuje wytworzyć, a nie zamierzone słowa lub składowe fonemy — pod jednostki mowy, które tworzą wypowiadane słowa.
Zespół naukowców spersonalizował również syntetyczny głos, aby brzmiał jak głos mężczyzny, poprzez trenowanie algorytmów AI na nagraniach wywiadów, których udzielił przed zachorowaniem. Badacze poprosili uczestnika, aby spróbował wtrącić takie słowa jak „ach”, „och” i „hmm” i powiedzieć wymyślone słowa. BCI pomyślnie wytworzył te dźwięki, pokazując, że może generować mowę bez potrzeby stałego słownictwa.
Za pomocą urządzenia uczestnik literował słowa, odpowiadał na pytania otwarte i mówił, co chciał, używając słów, które nie były częścią danych treningowych dekodera. Powiedział badaczom, że słuchanie syntetycznego głosu, który produkował jego mowę, sprawiało, że „czuł się szczęśliwy” i że „czuł się jak jego prawdziwy głos”.
W innych eksperymentach BCI rozpoznawało, czy uczestnik próbował wypowiedzieć zdanie jako pytanie czy stwierdzenie. System mógł również określić, kiedy akcentował różne słowa w tym samym zdaniu i odpowiednio dostosować ton swojego syntetycznego głosu.
