Ученые из России и Германии разработали нейросетевую систему, позволяющую "дирижировать" воспроизведением классических музыкальных произведений - произвольным образом менять их звучание при помощи жестов, мимики и голоса. Об этом сообщила пресс-служба Сколтеха (входит в группу ВЭБ.РФ). Исследование опубликовано в издании Frontiers in Artificial Intelligence.
"Использованная нами модель берет на вход ноты и учится играть по ним, предсказывая характеристики исполнения: локальный темп, позицию, длительность и громкость ноты. На выходе мы получаем исполнение произведения. Нашей же целью было сделать так, чтобы этой моделью можно было управлять, поэтому мы подключили ее к приложению, которое позволяет пользователю общаться с ней", - пояснил научный сотрудник Сколтеха Илья Боровик, чьи слова приводит пресс-служба вуза.
Как отмечают авторы, разработанный ими алгоритм позволяет человеку, не обладающему навыками игры на музыкальных инструментах, влиять на то, как воспроизводится то или иное произведение классической музыки. Для этого ученые подготовили нейросеть, способную воспроизводить музыку с учетом авторских указаний (нотной записи), а также набор алгоритмов, которые дополняют эти указания пожеланиями слушателя.
Эти пожелания, по словам исследователей, слушатель может задавать любым удобным ему способом. Как пишут исследователи, здесь человек выступает в роли дирижера, чьи жесты, мимика лицо и голос управляют игрой десятков других музыкантов при исполнении сложных произведений. Для распознавания этих указаний ученые использовали нейросеть GPT-3, которая помогала им определять намерения пользователя по его словесным инструкциям, а также другие системы машинного обучения, умеющие распознавать эмоции и жесты.
Также исследователи создали мобильное приложение, которое позволяет дирижировать исполнением музыки в режиме реального времени и совместно с системами ИИ придавать уникальное звучание классическим произведениям. Используя приложение, а также камеру и микрофон смартфона, ученые смогли превратить мазурки Шопена в колыбельные.
