Компания Google представила новое семейство генеративных моделей искусственного интеллекта Gemini Omni для создания и редактирования видео на основе текста, изображений, аудио и других видеозаписей. Первой моделью линейки стала Gemini Omni Flash.
Новая система позволяет изменять видеоролики с помощью текстовых запросов в диалоговом формате. Пользователь может дать команду вроде «добавь дождь», «измени фон» или «пусть герой побежит», после чего нейросеть автоматически вносит изменения, сохраняя последовательность сцены и внешний вид объектов.
В Google заявили, что модель лучше прежних видеогенераторов учитывает законы физики, динамику движения и поведение жидкостей, благодаря чему ролики выглядят более реалистично. Алгоритм также сохраняет контекст предыдущих правок, что предотвращает случайное изменение персонажей или элементов сцены при повторном редактировании.
Как сообщил старший директор по исследованиям Google DeepMind Думитру Эрхан, сейчас система способна создавать видео со звуком продолжительностью до 10 секунд. Компания работает над увеличением лимита.
Технический директор Google DeepMind Корай Кавукчуоглу отметил, что Gemini Omni обладает более глубоким пониманием устройства мира по сравнению с предыдущими моделями. Пользователи также смогут создавать цифровые аватары и озвучивать их собственным голосом.
В целях безопасности Google ограничила возможность изменения чужой речи в видео. Все сгенерированные ролики помечаются цифровым водяным знаком SynthID.
Gemini Omni Flash уже доступна подписчикам Google AI Plus, Pro и Ultra через приложение Gemini и сервис Google Flow. Бесплатный доступ к генератору начали открывать также пользователям YouTube Shorts и YouTube Create App.
