Adobe推视频生成大杀器！最长生成5秒视频，一键重拍成为现实，已开放公测

tayun

智东西（公众号：zhidxcom）

编译 | 汪越

编辑 | 程茜

智东西10月16日消息，10月14日，Adobe在Adobe MAX大会上宣布推出Firefly视频生成模型，并强化了现有的图像、矢量和设计模型。Firefly视频模型已进入有限公开测试阶段，成为首个可安全用于商业用途的生成式AI视频模型。

最新的Firefly图像模型Firefly Image 3将允许用户在几秒内生成图像，速度较上一版提升了四倍。同时，基于Firefly视频生成模型，Premiere Pro进行了重要更新。Premiere Pro新增了三个主要功能，分别是文生视频、图生视频和生成扩展（Generative Extend）。



▲使用生成扩展填补视频素材缺失片段（视频来源：Adobe）

通过文生视频功能，用户可模拟调整摄像机角度、运动和缩放等参数，进一步细化视频；通过图生视频功能，用户可在文本提示旁边另外添加参考图像，以生成更符合想象的视频。用户甚至可以通过一张静图重制现有视频，实现视觉上的再加工；通过生成扩展功能，用户可直接对视频进行微调，而不至于重新拍摄。

用户在使用这三个功能时，均需要等待大约90秒才能生成视频。采用文生视频和图生视频功能生成的视频最长为5秒，分辨率最高为720P，帧率为每秒24帧。采用生成扩展功能的视频最多可延长2秒，视频背景音效延长10秒。



▲使用文生模型生成视频（视频来源：Adobe）

Firefly视频模型作为Adobe生成式AI套件的扩展，已经被集成到其云端套装AppAdobe Creative Cloud的多款应用中，包括修图AppPS、矢量图形设计AppIllustrator、内容创作工具Adobe Express和视频编辑AppPremiere Pro等，以支撑各种创意工作流程。自2023年发布以来，Firefly已累计生成超过130亿张图像，仅过去六个月就生成60亿张。

一、Firefly进行公开测试，AI视频最多可生成5秒，视频扩展最多延长2秒

本次视频编辑AppPremiere Pro的重大更新，一是帮助用户自动扩展开头片尾，二是模拟相机进行一键调参，三是实现视频一键重拍。

1. 生成扩展：适合微小调整，视频最多延长2秒，音效最多延长10秒

生成扩展由Firefly模型支撑，现已在PremiereProBeta版本中进行测试。该工具能够实现视频素材的自动扩展，填补视频空白、实现画面平滑过渡，以及延长视频的开头片尾。

延长视频，即如果视频的开头或结尾略短，生成扩展功能可自动进行素材填充。生成扩展功能还可以帮助微调视频中景，即它能发现拍摄过程中的视线偏移或意外移动，并进行纠正。

目前，生成扩展功能最多支撑视频延长2秒，以此满足用户微调视频的需要，一定程度上免去重新拍摄素材的麻烦。生成扩展功能的分辨率是720P或1080P分辨率，24帧每秒。

此外，生成扩展功能也能用于音频剪辑，它可以将视频中的音效或环境背景音扩展最多十秒钟，但不会延长语音对话或音乐。



▲新生成扩展工具可以填补通常需要完全重新拍摄的素材中的空白（图源：Adobe）

2. 文生视频：可仿照摄像机直接调参，最多生成5秒视频

Adobe的文生模型和图生模型于9月份首次发布，目前正在Firefly Web应用程序中作为有限的公开测试版推出。

文生模型的功能与Runway和OpenAI的Sora等其他视频生成器类似，用户只需输入想生成的视频的文本描述即可。该文生模型可以模拟真实影片、3D动画和定格动画等多种风格来生成视频。

此外，用户可以通过文生模型，仿照摄像机调节视频拍摄参数。用户可以通过模拟摄像机角度、运动和拍摄距离等，来进一步细化生成的视频。



▲通过相机控制选项来调整生成图像的示例（图源：Adobe）

3、图生视频：一张图直接重制视频，但无法完全替代重拍

图生视频相较于文生视频，在功能上更进一步。图生视频允许用户在文本提示的基础上，添加参考图像，以生成更符合想象的视频。

用户还可以上传已有视频的单帧，一键创建完整的特写镜头，来制作视频花絮。

图生视频模型可实现视频重拍。用户可以上传静态图片来重新制作视频，直接对原视频中的人物动作进行操作和修改，实现视觉上的再加工。

然而，科技媒体The Verge的测试表明，这项技术目前还无法完全替代重新拍摄，其生成结果存在瑕疵。例如，测试中出现了电缆晃动和背景移动等问题，生成的视频在某些细节处理上不够精确。



▲原始剪辑（视频来源：Adobe）



▲使用图像到视频工具“重制”镜头，注意看黄色电缆摇晃了（视频来源：Adobe）

目前，Adobe的文生视频和图生视频，二者生成的视频时长均最多5秒，最高分辨率为720P，帧率为每秒24帧。OpenAI的Sora声称可以生成长达一分钟的视频，并能在保持视觉质量的同时满足用户的提示要求，但其并未向公众开放使用。



▲该模型仅限于生成大约4秒长的剪辑。幼龙在岩浆中爬行的示例（视频来源：Adobe）

二、增强图像、矢量和设计模型功能更新，FireflyServices将支撑批量创建

自2023年推出以来，Firefly陆续被引入PS、Express、Illustrator、3D绘图AppSubstance 3D中，并支撑Creative Cloud应用程序中的各种工作流程。

本次更新，Adobe在PS中推出了全新的AI生成工作区（测试版），由Firefly模型支撑。它能帮助设计师进行创意构思和迭代，简单操作即可生成视觉效果。

同时，Adobe更新了Illustrator，并引入最新的Firefly矢量模型（测试版）。新功能包括生成形状填充、重新着色和文本到图案等，设计师可以快速生成和优化矢量图形，并控制图案中元素的密度，灵活调整设计复杂度，实现个性化创作。

此外，Adobe预览了一款新功能Project Concept，旨在促进团队协作中的创意开发。该功能允许多人在同一画布上实时构思和重新混合图像内容。



▲Project Concept示例（图源：Adobe）

今年3月，Adobe推出了面向企业的创意和生成API集合Firefly Services。Firefly Services支撑企业自有数据对模型进行定制、微调，同时可以与PS、Illustrator、Express等Adobe产品结合使用，简化创意流程。

本次产品更新，Firefly Services将支撑配音和唇形同步功能，目前这两个功能已进入测试阶段。用户可以利用生成式AI将视频中的口语对话翻译成不同语言，同时确保唇形与原始声音匹配同步。

另外，FireflyServices还将支撑批量创建，简化图像大小调整、背景删除等任务。

迄今为止，已有多个知名客户使用了AdobeFirefly Services，包括PepsiCo/Gatorade、IBM、Mattel、IPGHealth和德勤等。他们通过Firefly优化工作流程并扩展内容创建，使创意人员能有更多时间探索创意愿景。

三、Firefly训练数据合法且丰富，支撑超过100种语言文本提示

商业可用性是AI视频生成行业的关键问题。此前，Runway企业在训练其AI视频生成工具Gen-3时，涉嫌非法使用了大量YouTube视频和盗版影片，侵犯了内容创编辑权益并违反了YouTube使用规则。

Adobe强调其AI功能根据企业制定的AI道德原则开发，强调问责制、责任和透明度。Adobe表示其基于AI视频模型支撑的工具是“商业安全的”。Firefly的训练数据来源于Adobe许可内容（如AdobeStock）和公共领域内容，能够确保生成作品的安全性和合规性。

Firefly支撑超过100种语言的文本提示。自2019年创立内容真实性计划以来，Adobe广泛采用内容凭证作为数字内容透明度的行业标准。该内容凭证目前已获得3700多名成员的支撑。

内容凭证就像数字内容的“营养标签”。用户在CreativeCloud中选择Firefly支撑的功能时，内容凭证将标明生成式AI的使用情况。此外，内容凭证也会嵌入用户使用Firefly创建或编辑的视频，以披露AI的使用和所有权。

结语：Adobe正式入局AI视频生成，与OpenAI等展开竞争

从去年3月发布第一版Firefly，到今年首次公开测试，Adobe在AI视频生成技术商业化应用上迈出了重要一步。

现阶段，Adobe的图生视频模型无法完全替代重新拍摄，生成结果仍存在瑕疵。而且相较于宣称能生成一分钟视频的Sora，Adobe的文生视频和图生视频的最大长度仅为5秒。但是，Adobe的这些工具至少是公开可用的。OpenAI的Sora、Meta的MovieGen和谷歌的Veo等AI视频生成工具的内容均还不可用。

在有限公开测试阶段，Firefly相关产品免费使用，用户也可前往官网申请加入候补名单。

目前，Adobe尚未宣布任何客户使用其视频生成工具。但据Adobe透露，百事可乐旗下的运动饮料品牌佳得乐将在一个网站上使用其图像生成模型，顾客可以在该网站上购买定制版瓶子。全球最大的玩具企业美泰一直在使用Adobe工具来帮助设计其芭比娃娃系列的包装。

面对OpenAI、Runway、谷歌和Meta等竞争对手，Adobe将未来押注在使用合法数据训练的模型上，以确保其AI生成内容可在商业作品中合法使用。

Firefly视频模型凭借其使用授权内容的训练数据，确保了生成内容的版权合规性。这一优势使得生成的内容能够合法应用于商业项目，这对企业和品牌而言非常重要。而其他视频生成模型则因训练数据来源不明或未经授权，频频卷入版权和道德争议。

来源：Adobe、The Verge、路透社

来源：智东西