Воспроизводство человеческой речи представляет собой сложный нейронный феномен, который до сих пор вызывает затруднения при объяснении. Разгадка этой сложной головоломки требует выделения сложной нейронной сети, управляющей точными движениями мышц в ротовой полости, челюсти и губах, а также обработки аудиообратной связи при прослушивании собственного голоса.
Группа исследователей из Нью-Йоркского университета под руководством Адина Флинкера и Яо Вана добилась значительных прорывов, которые позволят разгадать эту головоломку и использовать полученные знания для разработки технологии восстановления речи. Это позволит воссоздавать голос у пациентов, потерявших способность говорить.
Исследователи использовали инновационные методы глубокого обучения на мозговых записях человека, чтобы декодировать параметры речи. Они разработали нейронную сеть, способную различать прямую и обратную связь в производстве речи. Это позволило им более детально изучить вклад каждого типа связи в речевой процесс.
Этот подход позволил не только декодировать параметры речи, но и получить представление о временных характеристиках активности коры мозга, что противоречит предыдущим представлениям о разделении корковых сетей обратной и прямой связи. Эта новая парадигма в сочетании с выдающейся точностью воспроизведения речи представляет собой важный шаг в понимании сложных нейронных механизмов, лежащих в основе речи.
На основе этих исследований созданы протезы, способные считывать активность мозга и переводить ее в речь. Особенностью этих протезов является способность воссоздавать голос пациента, даже если доступно всего небольшое количество записей. Это обеспечивается с использованием глубокой нейронной сети, способной обучаться на небольших объемах данных.
Исследователи провели эксперименты на пациентах с рефрактерной эпилепсией, имплантировав сетку субдуральных электродов для мониторинга активности мозга во время произношения речи. Эти исследования поддерживаются грантами NSF и NIH, а учёные получили дополнительное финансирование для продолжения своих исследований. Это открывает новые перспективы в понимании нейробиологии речи и ее применении в клинической практике.