Ученый ИЦТЭФ Андрей Лепендин продолжает реализацию гранта по улучшению качества речевых сигналов с использованием глубоких нейронных сетей. О своих разработках он рассказал в газете «За науку». Нейросети используются для чистки архивных записей, встраиваются в беспроводные наушники, внедряются в приложения для связи. В 2022 году команда предложила новую модель для очистки речи, а в этом году хочет оптимизировать ее: сделать компактнее и быстрее, универсальной для разных языков.
Модель, использованная в этом исследовании, — архитектура «с узким горлом»:— Подаем аудиосигнал на вход сети, она сжимает этот сигнал до некого компактного представления, полезного сигнала — и разжимает это в маску, которую можно наложить на сигнал и убрать лишнее. Когда-то маски были бинарные: 0 — то, что убрать, 1 — то, что оставить. Очень наивно! Ведь тогда в звуке появляются паузы вместо шумов, искажения, резкие переходы и так далее. Сейчас маскирование более гибкое: можем что-то уменьшить по громкости, что-то поднять, восстановить внутри шумов потерянные вещи. Это довольно тяжело. Сейчас мы получаем высокое качество восстановления речи, но пока не слишком быстрое, — пояснил Андрей Лепендин.
Как работают нейросети, какие они бывают и захватит ли мир ChatGPT, читайте в материале на сайте «За науку».