Прорыв в технологии генерации видео с использованием ИИ и связь с Web3

Недавние достижения в области ИИ наиболее заметны благодаря прорыву в технологиях многомодальной генерации видео. Эта технология развивалась от первоначальной генерации видео только на основе текста до полной интеграции текста, изображений и аудио.

Несколько примеров технологических прорывов, на которые стоит обратить внимание:

1. Открытая платформа EX-4D, разработанная крупной технологической компанией, может преобразовывать обычное видео в контент с произвольным углом обзора в 4D, что получило признание более 70% пользователей. Эта технология позволяет автоматически генерировать эффект просмотра под любым углом для обычного видео, что ранее требовало команды профессиональных 3D-моделистов.

2. Платформа "Хуэйсян" компании поисковой системы утверждает, что может создать 10-секундное видео "кинематографического" качества из одного изображения. Тем не менее, достоверность этого утверждения еще предстоит проверить.

3. Технология Veo одного международного технологического гиганта может синхронно генерировать 4K видео и окружающий звук. Ключевым моментом этой технологии является достижение истинного соответствия на семантическом уровне, что позволяет точно сопоставлять движение изображения и звук в сложных сценах.

4. Технология ContentV на платформе коротких видео имеет 8 миллиардов параметров и может генерировать видео в 1080p за 2,3 секунды, стоимость составляет 3,67 юаня за 5 секунд. Хотя контроль затрат неплохой, качество генерации в сложных сценах все еще имеет возможности для улучшения.

Эти технологические прорывы имеют значительное значение с точки зрения качества видео, затрат на генерацию и сценариев применения. С технической точки зрения, сложность многомодальной генерации видео является экспоненциальной и связана с большим количеством пикселей, последовательностью во времени, синхронизацией аудио и согласованностью в 3D-пространстве. Текущие решения реализуются через модульное разложение и сотрудничество больших моделей.

С точки зрения затрат, стоимость генерации значительно снижена за счет оптимизации архитектуры вывода, включая методы многоуровневой генерации, механизм повторного использования кэша и динамического распределения ресурсов.

Эти технологические достижения оказали огромное влияние на традиционную индустрию видеопроизводства. Технологии ИИ сжимают процесс, который ранее требовал большого количества оборудования, площадей, актеров и постпродакшна, до простого ввода подсказки и нескольких минут ожидания, и могут достичь эффектов, которые трудно получить при традиционной съемке. Это может способствовать перераспределению всей экономики создателей.

Так какие же связи между этими преобразованиями технологий Web2 AI и Web3 AI?

1. Структура спроса на вычислительную мощность изменилась. Генерация мультимодального видео требует разнообразных комбинаций вычислительной мощности, что создает новый спрос на распределенные неиспользуемые вычислительные мощности, различные распределенные модели тонкой настройки, алгоритмы и платформы вывода.

2. Увеличение потребности в аннотированных данных. Для создания профессиональных видео требуется точное описание сцен, эталонные изображения, аудиостили, траектории движения камеры и условия освещения и другие профессиональные данные. Механизмы стимулов Web3 могут поощрять специалистов предоставлять высококачественные данные.

3. Развитие технологий ИИ в сторону модульного сотрудничества является новым требованием к децентрализованным платформам. В будущем вычислительная мощность, данные, модели и механизмы стимулов могут создать положительный цикл самоподдержки, способствующий глубокому слиянию сценарием Web3 AI и Web2 AI.