Шедеврум Яндекса научился создавать видео по запросу пользователей

Яндекс первым на российском рынке запустил технологию создания видео с помощью нейросети для пользователей. Приложение Шедеврум научилось генерировать ролики в ответ на текстовые запросы. Эти видео можно использовать для создания клипов, анимации, динамических аватарок.

Шедеврум научился создавать короткие видеоролики длиной четыре секунды с частотой 24 кадра в секунду. Результатом можно поделиться с друзьями или сохранить в формате MP4.

Пока функция работает в тестовом режиме. Генерация видео доступна в обновленной версии приложения активным пользователям. Посмотреть результаты в ленте могут все.

Чтобы Шедеврум создал видео, нужно описать текстом то, что хочется увидеть. В ответ приложение предложит четыре варианта первого кадра и набор анимационных эффектов. Нейросеть берет за основу выбранное пользователем изображение, генерирует набор его измененных версий и объединяет все выбранным эффектом. Сейчас их семь: зум (приближение), таймлапс (ускоренная перемотка), полет, панорама, вращение, подъем и морфинг (постепенное изменение).

Для создания кадров будущего ролика сервис использует метод каскадной диффузии. Сначала нейросеть создает картинки в соответствии с запросом, а затем поэтапно увеличивает их разрешение, насыщая деталями.

Генерация видео дополняет другие возможности Шедеврума – создание изображений и текстовых постов с заголовком и иллюстрацией. 

Напомним, Яндекс представил Шедеврум в апреле 2023 года. Сразу после запуска приложение попало на первые строчки российских топов App Store и Google Play, и с тех пор его установили более 5,8 миллиона пользователей iOS и Android.

Источник: пресс-релиз Яндекса