
AI生成的视频正在迅速占领互联网。之前,我们已经看到了完全由AI制作的科幻预告片《Trailer:Genesis》,以及AI合成的《芭比海默》预告片。这两部富有创意的影片展示了AI的奇妙之处。如今,越来越多的AI科技视频工具(升维画布:www.yedao666.com)正在被研发,能够批量生产短视频和电影片段,其生成效果令人惊叹,而使用门槛却低得令人难以置信。
不需要复杂的代码,也无需深奥的指令,只需一句话或一张图片,AI便能自动生成动态视频。如果想要进行修改,同样只需一句话,指哪改哪。喜欢制作视频的朋友们,再也不必到处寻找素材或熬夜剪辑了。
在创投圈中,视频生成类AI正在逐渐取代大型语言模型,成为近期最受欢迎的赛道。前不久走红的Pika,为这股热潮又增添了一把火。AI科技视频的这股风潮,究竟能持续多久?
1、AI生成视频,这次有点新意
利用AI生成视频并不复杂,关键在于所生成视频的类型。
经常进行视频剪辑的人可能了解“一键成片”的功能,在剪映等视频编辑工具中输入脚本,系统便能自动生成与脚本相符的视频;在某些数字人平台上上传一张照片,AI可以生成一个数字人,并在口播时自动对口型。
这就是AI,但并不是我们今天要讨论的AI。
本文所提到的AI生成视频,指的是生成具有连续逻辑的视频,内容之间存在关联性和协同性。它并不是简单地根据脚本将图片素材拼接成视频,也不是通过程序驱动数字人“动手动嘴”。它更接近于“无中生有”,实现的难度更大。
这个视频展示了两个重要功能:一键换装和一键增减物品。这也是Pika在1.0版本发布时重点介绍的功能。在Pika的宣传片中,只需一句话输入指令,就能给猩猩戴上墨镜,给一位行走中的女士换装。
其中的关键不在于换装本身,而在于换装的方式——通过自然语言下达指令,整个过程非常流畅,毫无违和感。借助AI,人们能够轻松编辑和重构视频场景。
AI还能够改变视频的风格,包括动漫、卡通和电影等,毫无疑问。例如,它可以将现实中的实拍镜头转化为卡通世界,其效果与图像处理软件的滤镜有些相似,但更为高级。
目前,利用AI生成的视频已经能够达到以假乱真的效果,国内还有一些公司在不断研发更新的技术。
这两排人物中,每排的六个人的动作完全相同,仿佛是“一个模子里刻出来的”。没错,它们是通过将人物的静态图片与骨骼动画绑定生成的。
这是阿里研究院正在进行的一个项目,名为Animate Anyone,它能够使任何人动起来。除了阿里,字节跳动等公司也在研发类似的技术,并且技术迭代速度非常快。
2、效果很好,但别高兴太早
用简单的自然语言让AI生成定制化的视频,给行业带来的兴奋感与去年的ChatGPT相似。
文生视频的原理与文生图像相似,但由于视频是由连续的多帧图像构成,因此在图像的基础上增加了时间维度。这就像快速翻动一本漫画书,每一页静止的画面连在一起,人物和场景便“动”了起来,形成了时间连续的人物动画。
华创资本的投资人张金对「定焦」进行了分析,视频是由一帧一帧构成的,例如一帧包含24张图片,那么AI需要在极短的时间内生成这24张图片,尽管它们有共同的参数,但图片之间必须保持连贯性,过渡自然仍然是一个挑战。
目前主流的文生视频模型主要依赖于Transformer模型和扩散模型。通过Transformer模型,输入的文本能够被转化为视频令牌,经过特征融合后输出视频。扩散模型在文生图的基础上增加了时间维度以实现视频生成,在语义理解和内容丰富性方面具有优势。
现在许多厂商都在使用扩散模型,Runway的Gen2和Meta的Make-A-Video都是这方面的代表。
然而,和任何技术一样,产品化初期总是让人眼前一亮,但也会暴露出一些漏洞。
Pika、Runway等公司在宣传片中展示的效果非常惊艳,我们相信这些展示是真实的,确实有人在测试中达到了类似的效果,但问题也很明显——输出不稳定。
3、争夺AIGC的最后一块拼图
在AIGC的众多细分领域中,AI文生视频被视为最后一块拼图,是AI创作多模态的“圣杯”。整个行业的热潮,已经逐渐从文生文、文生图,转向了文生视频领域。
成立于2018年的美国公司Runway,一度引领AI生成视频的潮流。它在2023年2月推出的Gen-1,专注于视频转视频,能够改变视频的风格;3月推出的Gen-2,实现了通过文字、图像或视频片段生成新视频。
Gen-2将生成视频的长度从4秒提升至18秒,还能控制“镜头”,使用“运动笔刷”自由指挥移动,曾一度是文生视频领域最先进的模型。
Runway的创始团队拥有强大的影视和艺术背景,因此其客户主要是电影级视频编辑和制作人,他们的技术被应用于好莱坞大片《瞬息全宇宙》中。2023年下半年,Runway完成了一笔超过亿美元的融资,公司估值超过15亿美元。
最新的参与者是Pika,这家公司由两位在美国留学的华人女博士退学创办,成立仅8个月,员工仅4人。Pika发展迅速,11月底发布的全新文生视频工具Pika 1.0,在各大社交媒体上迅速走红。再加上创始人爽文大女主的人设,受到了国内媒体的广泛报道。
抛开这些杂音,AI文生视频技术本身是积极的,预计将推动生产力革命,并加速AIGC技术的产业化进程。中信证券认为,文生视频有望首先在短视频和动漫两个领域实现应用,传统的短视频制作实拍模式有望被生成式技术所取代。
或许不久之后,短视频将不再需要真人出镜、拍摄和录制。这不仅仅是指口播场景,而是任何你能想象的场景,以及许多你无法想象的形象。随之而来的是,AI生成的视频将大量涌入互联网,AI像流水线一样批量生产短视频,短视频的游戏规则也将发生变化。