Яндекс представил бета-версию нейросети YandexART (Vi), с помощью которой пользователи могут создавать пятисекундные видео. Модель доступна в приложении Шедеврум.
Предыдущая версия модели для генерации видео по текстовому описанию умела создавать анимации, в которых двигалась камера, но не объект. Объекты генерации от кадра к кадру значительно менялись. YandexART (Vi) научилась воссоздавать реалистичные движения объектов, кадры незаметно сменяют друг друга и образуют плавное видео. Модель обучалась на роликах, в которых присутствовали движущиеся объекты.
Нейросеть понимает российский культурный код, а также использует особый алгоритм распознавания текстов, чтобы понимать пожелания пользователей.
Протестировать модель можно в приложении Шедеврум. Также нейросеть используется в Яндекс Бизнесе, Директе, Браузере и Маркете. Кроме того, компании могут получить доступ к API YandexART в Yandex Cloud.
Напомним, ранее в Шедевруме появилась возможность создавать клипы и добавлять музыку к видео.
Источник: пресс-релиз Яндекса