Создан ИИ, позволяющий управлять звучанием музыки голосом и жестами

  • 10.11.2023 21:26
  • 3.5k+
Создан ИИ, позволяющий управлять звучанием музыки голосом и жестами

Ученые из России и Германии разработали нейросетевую систему, позволяющую "дирижировать" воспроизведением классических музыкальных произведений - произвольным образом менять их звучание при помощи жестов, мимики и голоса. Об этом сообщила пресс-служба Сколтеха (входит в группу ВЭБ.РФ). Исследование опубликовано в издании Frontiers in Artificial Intelligence.

"Использованная нами модель берет на вход ноты и учится играть по ним, предсказывая характеристики исполнения: локальный темп, позицию, длительность и громкость ноты. На выходе мы получаем исполнение произведения. Нашей же целью было сделать так, чтобы этой моделью можно было управлять, поэтому мы подключили ее к приложению, которое позволяет пользователю общаться с ней", - пояснил научный сотрудник Сколтеха Илья Боровик, чьи слова приводит пресс-служба вуза.

Как отмечают авторы, разработанный ими алгоритм позволяет человеку, не обладающему навыками игры на музыкальных инструментах, влиять на то, как воспроизводится то или иное произведение классической музыки. Для этого ученые подготовили нейросеть, способную воспроизводить музыку с учетом авторских указаний (нотной записи), а также набор алгоритмов, которые дополняют эти указания пожеланиями слушателя.
Эти пожелания, по словам исследователей, слушатель может задавать любым удобным ему способом. Как пишут исследователи, здесь человек выступает в роли дирижера, чьи жесты, мимика лицо и голос управляют игрой десятков других музыкантов при исполнении сложных произведений. Для распознавания этих указаний ученые использовали нейросеть GPT-3, которая помогала им определять намерения пользователя по его словесным инструкциям, а также другие системы машинного обучения, умеющие распознавать эмоции и жесты.
Также исследователи создали мобильное приложение, которое позволяет дирижировать исполнением музыки в режиме реального времени и совместно с системами ИИ придавать уникальное звучание классическим произведениям. Используя приложение, а также камеру и микрофон смартфона, ученые смогли превратить мазурки Шопена в колыбельные.


вчера 20:46
3k+

ИИ помог раскрыть секреты химического состава шедевров Рафаэля

Учёные из Института науки культурного наследия разработали искусственный интеллект для анализа химического состава красок, использованных в классических произведениях искусства. Модель была успешно применена к...

29.09.2024 15:46
4.7k+

Археологи ОАЭ используют ИИ для поиска скрытых объектов под песком

Исследователи из Университета Халифа в Абу-Даби разработали новый метод поиска археологических объектов в пустыне с помощью искусственного интеллекта. Этот метод сочетает радар с синтезированной апертурой (SAR)...

14.09.2024 14:06
2.6k+

Представлена новая ИИ-модель OpenAI o1: она в шесть раз умнее GPT-4o

OpenAI анонсировала запуск новой ИИ-модели OpenAI o1, которая станет основой для работы чат-бота ChatGPT. Согласно заявлению компании, новая модель обладает улучшенными способностями к рассуждению и анализу. Модель...

14.09.2024 08:06
3.7k+

Названы лучшие проекты конкурса «Hi-tech Startup Turkmenistan 2024»

В Международном научно-технологическом парке Академии наук Туркменистана в Ашхабаде завершился конкурс «Hi-tech Startup Turkmenistan 2024». Об этом сообщает сетевое-издание «Туркменистан: Золотой век». Конкурс организован в...