Учёные из Нью-Йорка разработали нейронную сеть, различающую связи в производстве речи

Воспроизводство человеческой речи представляет собой сложный нейронный феномен, который до сих пор вызывает затруднения при объяснении. Разгадка этой сложной головоломки требует выделения сложной нейронной сети, управляющей точными движениями мышц в ротовой полости, челюсти и губах, а также обработки аудиообратной связи при прослушивании собственного голоса.

Группа исследователей из Нью-Йоркского университета под руководством Адина Флинкера и Яо Вана добилась значительных прорывов, которые позволят разгадать эту головоломку и использовать полученные знания для разработки технологии восстановления речи. Это позволит воссоздавать голос у пациентов, потерявших способность говорить.

Исследователи использовали инновационные методы глубокого обучения на мозговых записях человека, чтобы декодировать параметры речи. Они разработали нейронную сеть, способную различать прямую и обратную связь в производстве речи. Это позволило им более детально изучить вклад каждого типа связи в речевой процесс.

Этот подход позволил не только декодировать параметры речи, но и получить представление о временных характеристиках активности коры мозга, что противоречит предыдущим представлениям о разделении корковых сетей обратной и прямой связи. Эта новая парадигма в сочетании с выдающейся точностью воспроизведения речи представляет собой важный шаг в понимании сложных нейронных механизмов, лежащих в основе речи.

На основе этих исследований созданы протезы, способные считывать активность мозга и переводить ее в речь. Особенностью этих протезов является способность воссоздавать голос пациента, даже если доступно всего небольшое количество записей. Это обеспечивается с использованием глубокой нейронной сети, способной обучаться на небольших объемах данных.

Исследователи провели эксперименты на пациентах с рефрактерной эпилепсией, имплантировав сетку субдуральных электродов для мониторинга активности мозга во время произношения речи. Эти исследования поддерживаются грантами NSF и NIH, а учёные получили дополнительное финансирование для продолжения своих исследований. Это открывает новые перспективы в понимании нейробиологии речи и ее применении в клинической практике.