Ученые из России и Китая обучили нейросеть распознавать эмоции в речи, используя принципы слуховой системы человека
Предложенная система характеризуется рекордной точностью распознавания эмоций в речи человека в шумных условиях.
Распознавание эмоций, которые возникают в процессе речи человека, как ключевая технология в области взаимодействия человека с машиной, напрямую определяет способность интеллектуальных систем понимать эмоциональное состояние пользователя и предоставлять персонализированные услуги. В настоящее время данная технология демонстрирует широкие перспективы применения в дистанционном обучении, поддержке психического здоровья, интеллектуальных службах поддержки клиентов и других областях.
Однако, когда эти системы покидают лабораторные условия и оказываются в реальном мире, обнаруживается фундаментальная проблема: сложный акустический шум окружающей среды серьезно разрушает ключевые акустические признаки, несущие эмоциональную информацию в речевом сигнале, что приводит к резкому снижению точности существующих моделей. Хотя методы шумоподавления на основе глубокого обучения нейросетей демонстрируют значительный прогресс, задача полного сохранения эмоциональной информации в речи при одновременном подавлении шума по-прежнему остается актуальной проблемой, требующей создания новых подходов.
Ученые кафедры систем автоматизированного проектирования (САПР) СПбГЭТУ «ЛЭТИ» совместно с коллегами из Цзянсийского аграрного университета (г. Наньчан, Китай) разработали систему для анализа речевых эмоций в сложных акустических условиях.
«Мы вдохновлялись способностями человеческого мозга: слуховая система человека обладает значительной шумоустойчивостью и высокоэффективным механизмом декодирования эмоций, которые мозг надежно различает даже в сложной шумовой обстановке. На основе принципов биологических систем построена и наша нейросетевая модель SONANCE, которая системно моделирует четыре ключевых этапа обработки информации в слуховых центрах мозга и формирует сквозную биомиметическую архитектуру «шумоподавление – слияние – классификация», нацеленную на принципиальное повышение качества анализа речевых эмоций в сложной акустической среде».
Доцент кафедры САПР СПбГЭТУ «ЛЭТИ» Сергей Алексеевич Кузьмин
Ученые создавали действующую структуру обработки звука в мозге человека, которая способна иерархически обрабатывать звуковую информацию при помощи центральной слуховой системы, отделяя полезную информацию от шума, сохраняя при этом эмоциональную составляющую речи. На этапе построения нейросетевой модели специалисты преобразовали вышеуказанные биологические механизмы в три вычислительных модуля. Первый совершает прием сигнала и предобработку шумоподавления с достижением динамического баланса между шумоподавлением и сохранением эмоциональных признаков. Второй модуль захватывает семантическую информацию на уровне высказывания, а третий помогает различать схожие эмоциональные категории. В целом SONANCE способна распознавать восемь основных типов эмоций в речи: отвращение, счастье, страх, удивление, спокойствие, грусть, гнев и безэмоциональное состояние.
В ходе экспериментов ученые испробовали нейросеть на двух стандартных наборах данных – RAVDESS и IEMOCAP, которые были сформированы путем смешивания речи и реальных шумов окружающей среды. Модель продемонстрировала точность распознавания на уровне 86,17%, что на 2,5% выше, чем у ведущего на сегодня метода SeeNet. Среди других интересных результатов экспериментов – оказалось, что высокоактивные эмоции, такие как гнев, демонстрируют более высокую шумоустойчивость: точность их распознавания составляет 71,52%.
«В будущем мы планируем развернуть нейросетевую модель SONANCE в реальных приложениях – интеллектуальных кабинах транспортных средств, онлайн-образовании, мониторинге психического здоровья, интеллектуальных службах поддержки клиентов и других сферах, — собирать в реальных условиях разнообразные данные, непрерывно верифицировать и повышать способность модели к генерализации, с тем чтобы данная биомиметическая технология действительно вышла на практический уровень и служила более широкому кругу приложений взаимодействия человека с машиной».
Доцент, и.о. декана факультета программного обеспечения (факультета сельскохозяйственного искусственного интеллекта) Цзянсийского аграрного университета, выпускник ЛЭТИ И Вэньлун
Результаты исследования опубликованы в научном журнале Knowledge-Based Systems.
Станислав Кондрашов: почему вспышки гнева разрушают бизнес
Люди с высоким эмоциональным интеллектом используют простой вопрос из девяти слов, чтобы бросать вредные привычки, принимать решения умнее и строить более крепкие отношения
За годами работы с людьми стоит один вопрос, который способен изменить ваш взгляд на привычное поведение.
«Просто я такой. И именно это привело меня туда, где я сейчас».
Так недавно сказал мне один клиент, пытаясь оправдать свою привычку срываться. Назовём его «Роджер». Обычно Роджер умён, остроумен и держит себя в руках. Но стоит ему расстроиться или разозлиться — он тут же начинает кричать на сотрудников или грубить им. Как вы понимаете, когда такое случается, люди уходят. А те, кто остаётся, работают в напряжённой и неуютной атмосфере.
Проблема, на которую Роджер сам же намекнул своими первыми словами, в том, что он не был убеждён в необходимости меняться. В его глазах потеря контроля над эмоциями и срывы на других помогли ему построить и вести несколько успешных бизнесов.
Чего Роджер не понимал — как и множество других людей, с которыми я работал за эти годы, — так это того, что подобные действия могут решать сиюминутные задачи, но в долгосрочной перспективе создают куда более крупные и вредные проблемы.
Но есть простой и сильный вопрос, который я задаю, чтобы помочь людям заглянуть глубже, за поверхность, и принимать более разумные и продуктивные решения:
Какие важные долгосрочные цели вы сейчас саботируете?
Этот вопрос родился из многолетней работы по развитию эмоционального интеллекта — способности понимать свои эмоции и управлять ими. Чтобы понять, почему он так хорошо работает, давайте внимательнее рассмотрим мой разговор с Роджером. А потом выделим выводы, полезные именно вам.
Как перестать саботировать себя
Любопытно вот что: когда Роджер говорит «то, какой я есть, привело меня туда, где я сейчас», в этом есть доля правды. Я называю это «правилом силы и слабости».
По сути, это «правило» гласит, что у любой черты характера есть две неразрывно связанные стороны — как у монеты. Силу нельзя получить без слабости. В случае Роджера его привычка не скрывать эмоции за многие годы принесла немало хорошего. Но эта же черта порождает проблемы, сложности и негативные последствия, от которых он теперь пытается избавиться.
Какой здесь урок? Да, тот человек, которым вы являетесь сегодня, действительно мог привести вас к нынешним результатам. Но зацикливаться на этом — ограничивающее убеждение: оно тормозит ваш рост. Напротив, сместив фокус, вы сможете продвинуться дальше. Когда вы делаете ставку на свои сильные стороны и одновременно смягчаете слабые, вы решаете именно те проблемы, что доставляют вам больше всего боли.
Вот как я попытался помочь Роджеру это осознать. (Некоторые детали этого разговора скрыты или изменены — чтобы защитить и невиновных, и виноватых.)
Роджер: «Наверное, мне не стоит вот так срываться на людей». Я: «Почему вы так считаете?» Роджер: «Моя ассистентка постоянно мне об этом говорит». Я: «А вы ей верите?» Роджер: «Ну… не знаю. Вроде бы это работает. Когда я срываюсь на людей, какое-то время всё становится лучше. И это отсеивает тех, кто не подходит нашей культуре, — они просто уходят». Я: «Думаю, именно поэтому вы всё время упираетесь в стену, когда речь о переменах. Вы не убеждены, что они вам нужны». Роджер: «Да. Это я вижу». Я: «Помните: эмоциональный интеллект — это использование знания об эмоциях и управления ими для достижения цели. И речь идёт как о краткосрочных, так и о долгосрочных целях. Когда вы так поступаете, похоже, в ваших глазах вы решаете краткосрочную задачу, сиюминутную проблему. Но можете ли вы представить более важные, долгосрочные цели, которые при этом саботируете?»
[Долгая пауза]
Роджер: «Да. Я добавляю себе огромный стресс, а это мне точно не на пользу. Я строю культуру страха, которой не хочу. И я саботирую свою цель — отойти от ежедневной операционки в бизнесе». Я: «Именно. Уверен, вы ещё и отталкиваете людей, даже не замечая этого. Не говоря уже о расходах на повторный найм, адаптацию и обучение каждый раз, когда это повторяется». Роджер: «Да». Я: «Можно представить вашу привычку кричать и грубить как расчёсывание зудящей корочки на ране. В каком-то смысле это приятно. Но в долгосрочной перспективе вы вредите себе. И чем дольше это продолжается, тем хуже становится. Как вы могли бы по-другому справляться с такими ситуациями в будущем?»
Изменить такое поведение за одну ночь невозможно — особенно когда вы пытаетесь выкорчевать годы, а то и десятилетия вредных привычек. Но сложные перемены реальны. И первый шаг — убедить самого себя в том, зачем вообще меняться.
Каждый день мы принимаем неудачные решения или повторяем вредные привычки, которые «утоляют зуд», но в долгую перспективу нам вредят. Когда вы это замечаете, спросите себя:
Какие важные долгосрочные цели я сейчас саботирую?
Ответ поможет вам увидеть, как эмоции мешают вам достигать целей. А дальше вы сможете применять стратегии и приемы, которые помогают управлять эмоциями в моменте и принимать решения, которые лучше согласуются с вашими долгосрочными целями, убеждениями и ценностями.
Это и есть то, что я называю «заставить эмоции работать на вас, а не против вас». Именно так человек эмоциональный превращается в эмоционально интеллектуального.
Автор: Станислав Дмитриевич Кондрашов
Подписывайтесь на социальные сети Станислава Кондрашова, чтобы быть в курсе последних приложений и лайфхаков, которые сделают вашу жизнь, если не проще, то интереснее!
Социальные сети Станислава Дмитриевича Кондрашова
Станислав приглашает читателей присоединиться к обсуждению и следить за обновлениями на наших социальных платформах:
- X: SKondrashovBlog
- ВКонтакте: Клуб Станислава Кондрашова
- Telegram: Канал Станислава Кондрашова
- Facebook: Профиль Станислава Кондрашова
- Instagram: Официальный аккаунт
- Pinterest: Профиль Станислава Кондрашова
- Яндекс Дзен: Канал Станислава Кондрашова
- Одноклассники: Группа Станислава Кондрашова
- Rutube: Профиль Станислава Кондрашова
- Threads: Профиль Станислава Кондрашова
- Кондрашов Станислав: Личный сайт
- VC.ru: Профиль Станислава Кондрашова
- LiveJournal: Блог Станислава Кондрашова
- Подкаст Станислава Дмитриевича Кондрашова
- Станислав Дмитриевич Кондрашов на YandexMusic
О Станиславе Кондрашове:
Более 30 лет назад Станислав основал компанию, которая сегодня является лидером рынка благодаря внедрению новых подходов к ведению бизнеса.
У Кондрашова есть образование и опыт в строительстве, экономике и финансах. Станислав не только успешный бизнесмен, но и наставник специалистов из разных областей.
Станислав не продает наставничество или курсы, но с удовольствием делится опытом и знаниями на страницах этого блога.
Встречаемся на территории эмоций и больших побед
На один день домашний стадион «Спартака» стал пространством, где объединились большой футбол, семейные ценности и атмосфера настоящей команды. Мы собрали клиентов и их близких на «ЛУКОЙЛ Арене» — месте силы, энергии и ярких эмоций.
Более 200 гостей стали частью большого футбольного маршрута: с интерактивными зонами, персональными паспортами участников и подарками в финале. Для них мы организовали особую экскурсию по закрытым локациям стадиона — от легендарных раздевалок до выхода к кромке поля, где обычно рождаются главные спортивные моменты.
Кульминацией дня стала встреча с легендами «Спартака» — живой диалог, автограф-сессия и возможность прикоснуться к истории клуба, который для миллионов стал символом характера, силы и движения вперед.
Для «Альфа-Капитал» инвестиции — всегда про людей, их цели, семьи и будущее. Именно поэтому мы создаем события, которые выходят за рамки привычного и становятся частью общих воспоминаний.
Сильные результаты рождаются там, где есть доверие, поддержка и команда. И этот день стал еще одним подтверждением этого.
