Голос выдаёт настроение, даже если человек молчит — новая нейросеть слышит то, что скрыто за словами

Российские специалисты из СПбГЭТУ "ЛЭТИ" совместно с учеными Цзянсийского аграрного университета разработали нейросетевую модель SONANCE, способную распознавать человеческие эмоции по голосу с рекордной точностью. Система имитирует работу слуховых центров мозга и эффективно справляется с выделением речевых маркеров даже в условиях сильного акустического шума. Тестирование показало результат 86,17%, что превосходит показатели существующих мировых аналогов.

Фото: Designed by Freepik by freepik, https://creativecommons.org/public-domain/pdm/

Девушка разговаривает с ИИ

Архитектура нейросети состоит из трех модулей, которые последовательно очищают сигнал, анализируют смысл высказываний и классифицируют эмоциональные оттенки. SONANCE безошибочно различает восемь состояний: от ярости и страха до спокойствия и удивления. Как сообщает Газета.Ru, разработку планируют внедрять в системы мониторинга психического здоровья, онлайн-образование и интерфейсы "умных" автомобилей.

"Мы вдохновлялись способностями человеческого мозга: слуховая система человека обладает значительной шумоустойчивостью и высокоэффективным механизмом декодирования эмоций, которые мозг надежно различает даже в сложной шумовой обстановке. На основе принципов биологических систем построена и наша нейросетевая модель SONANCE", — отметил в интервью доцент кафедры САПР СПбГЭТУ "ЛЭТИ" Сергей Кузьмин.

Подобная биомиметическая технология позволяет программам понимать пользователя на уровне интуитивного человеческого восприятия. В будущем это поможет создавать более автономные энергосети управления техникой с помощью естественной речи.

Ответы на популярные вопросы о нейросети SONANCE

Что такое биомиметическая архитектура в этой нейросети?

Это принцип построения алгоритма, который повторяет четыре этапа обработки информации в слуховых центрах человеческого мозга для лучшего распознавания звука.

Какие конкретно эмоции может определять алгоритм?

Система настроена на идентификацию восьми базовых состояний: гнева, радости, страха, удивления, отвращения, грусти, спокойствия и нейтрального тона.

Почему нейросеть точнее других существующих моделей?

Благодаря специальному модулю шумоподавления она сохраняет эмоциональную окраску голоса, которую другие алгоритмы часто "стирают" вместе с посторонними звуками.

Где планируется применять разработку ЛЭТИ и китайских ученых?

Основными сферами станут системы поддержки клиентов, платформы дистанционного обучения, а также интеллектуальные кабины транспортных средств.

Читайте также

• Медленный яд в чашке: что происходит с чаем, если он постоял больше часа
• Мы сами кормим этого монстра: как человечество превращает Черное море в ловушку
• Эти мутанты внутри нас: маленькие размеры превратили клетки в смертоносную и неуязвимую армию
• Арктика превращается в кисель: спутники зафиксировали пугающие изменения в Ледовитом океане
• Правило, написанное кровью: только так можно вырваться из лап самого коварного течения на Черном море
• Уловка ученых раскрыта: реальное положение дел на орбите оказалось далеким от красивых названий