Создан ИИ, позволяющий управлять звучанием музыки голосом и жестами

  • 10.11.2023 21:26
  • 3.5k+

Ученые из России и Германии разработали нейросетевую систему, позволяющую "дирижировать" воспроизведением классических музыкальных произведений - произвольным образом менять их звучание при помощи жестов, мимики и голоса. Об этом сообщила пресс-служба Сколтеха (входит в группу ВЭБ.РФ). Исследование опубликовано в издании Frontiers in Artificial Intelligence.

"Использованная нами модель берет на вход ноты и учится играть по ним, предсказывая характеристики исполнения: локальный темп, позицию, длительность и громкость ноты. На выходе мы получаем исполнение произведения. Нашей же целью было сделать так, чтобы этой моделью можно было управлять, поэтому мы подключили ее к приложению, которое позволяет пользователю общаться с ней", - пояснил научный сотрудник Сколтеха Илья Боровик, чьи слова приводит пресс-служба вуза.

Как отмечают авторы, разработанный ими алгоритм позволяет человеку, не обладающему навыками игры на музыкальных инструментах, влиять на то, как воспроизводится то или иное произведение классической музыки. Для этого ученые подготовили нейросеть, способную воспроизводить музыку с учетом авторских указаний (нотной записи), а также набор алгоритмов, которые дополняют эти указания пожеланиями слушателя.
Эти пожелания, по словам исследователей, слушатель может задавать любым удобным ему способом. Как пишут исследователи, здесь человек выступает в роли дирижера, чьи жесты, мимика лицо и голос управляют игрой десятков других музыкантов при исполнении сложных произведений. Для распознавания этих указаний ученые использовали нейросеть GPT-3, которая помогала им определять намерения пользователя по его словесным инструкциям, а также другие системы машинного обучения, умеющие распознавать эмоции и жесты.
Также исследователи создали мобильное приложение, которое позволяет дирижировать исполнением музыки в режиме реального времени и совместно с системами ИИ придавать уникальное звучание классическим произведениям. Используя приложение, а также камеру и микрофон смартфона, ученые смогли превратить мазурки Шопена в колыбельные.


12.04.2025 19:00
16k+

Родился первый в мире ребенок, зачатый с помощью ИИ

Автоматизированная система компании Conceivable Life Sciences впервые успешно провела оплодотворение методом ИКСИ с помощью искусственного интеллекта. Ребенок, зачатый в рамках этого эксперимента, уже появился...

12.04.2025 18:31
3.2k+

Google создала мощный ИИ-процессор: выполняет до 4,6 квадриллиона операций в секунду

На конференции Cloud Next компания Google представила свой самый мощный ИИ-процессор Ironwood. Новый чип предназначен для работы с уже обученными ИИ-моделями и будет применяться в инфраструктуре Google Cloud. Это...

02.04.2025 16:04
3.3k+

В США поступила в продажу умная повязка с ИИ для улучшения работы мозга

В США поступила в продажу умная повязка Muse S Athena, которая с помощью искусственного интеллекта помогает улучшать сон, концентрацию, когнитивные способности и общее самочувствие. Об этом сообщает Business Wire...

22.03.2025 22:38
2.6k+

Nvidia создала робота Blue, похожего на дроида из «Звездных войн»

Американская разработчик чипов и графических процессоров Nvidia представила робота со встроенной нейросетью. Его зовут Blue, и он напоминает дроида BD-1 из кинофраншизы «Звездные войны». Презентация прошла на конференции...