还有此前体验许久的艺术家,直接用Sora生成了一个1分38秒的MV。
//oss.zhidx.com/uploads/2024/12/675746373459d_675746372ef6e_675746372ef3a_HYAdqeoL_yYrgAFd.mp4
不过有网友发现,同为付费用户,ChatGPT Plus并不能生成带有人物的视频,只有ChatGPT Pro才可以。
页面下方有输入框,可以输入想要生成视频的文字描述,并提供“预设”、“屏幕比例”、“分辨率”、“时长”、“变体”等选项。如果鼠标移到“?”图标,会显示生成视频所需消耗的积分值。
画面比例可选16:9、1:1、9:16。分辨率可选1080p(慢8倍)、720p(慢4倍)、480p(最快)。时长可选20秒、15秒、10秒、5秒。一次可生成1个、2个或4个视频变体。
然后“把门换成法式门”:
“把图书馆变成一艘宇宙飞船”:
“移除宇宙飞船,添加丛林”:
“把丛林换成月球景观”:
2、Re-cut:找到你最满意的视频片段,将它截取出来,向任一方向延展以完成场景
还有用户的生成视频中,Sora直接把人物性别搞反了。网友的提示词是“一个30多岁的男人,黑头发,戴着眼镜,和一位黑发女人一起走在尼斯的长廊上。天气很好,有几个人在海滩上晒日光浴”。但视频中出现了两位女士。
再来看下面的用户体验视频,网友称这条视频Sora花费了大约30s,不过其并没有公开提示词。
还有用户立即对比了Sora、Runway、快手可灵、MiniMax海螺的效果。提示词是“维京演员的情感表演。当演员皱眉时,镜头推到脸上”。
从结果来看,Sora的视频镜头多变,且颇有大片风范,但没有实现“当演员皱眉时,镜头推到脸上”。
快手可灵的生成效果是最契合提示词的,人物有细微的皱眉动作,且镜头聚焦到了人物脸上。
MiniMax的海螺生成的视频则是拉远了镜头。
Runway的人物表情相比其他三家在皱眉的同时带动了脸部其他位置的变化。
四、公开、专用、人类三类数据来源,数百名创意人士已体验10个月
OpenAI还发布了Sora System Card来分享其安全和监控方法的详细信息。
Sora构建于DALL·E和GPT模型的基础之上,是一种采用Transformer架构的扩散模型,从一个看起来像静态噪声的基础视频开始生成视频,然后通过多个步骤消除噪声,逐渐对其进行转换。通过让模型一次预测多个帧,Sora生成的视频可以确保主体即使暂时消失在视野之外也能保持不变。
该模型使用了DALL·E 3中的重新标注技术(Recaptioning Technique)。该技术可以为视觉训练数据生成高度描述性的字幕,使模型能够更忠实地遵循生成的视频中用户的文本指令。
除了能够仅根据文本指令生成视频外,该模型还能够利用现有的静态图像生成视频或者利用现有视频进行扩展或填充缺失的帧。OpenAI相信这一能力将是实现通用人工智能(AGI)的重要里程碑。
1、训练数据来源:公开可用、企业专有数据、人类数据
与语言模型拥有文本token不同,Sora拥有视觉块(visual patches),这已被证明是视觉数据模型的有效表示。
基于此,OpenAI的研究人员发现视觉块是一种高度可扩展且有效的表示形式,可用于在各种类型的视频和图像上训练生成模型。在高层次上,他们首先将视频压缩成一个低维的潜在空间,然后将表示分解成时空视觉块。
此外,Sora接受了各种数据集的训练,包括公开可用的数据、通过合作伙伴关系访问的专有数据以及内部开发的自定义数据集。这些包括:主要从行业标准的机器学习数据集和Web爬虫中收集到的公开可用数据;OpenAI建立合作伙伴关系以访问非公开可用的专有数据,并合作调试和创建适合其需求的数据集;来自AI培训师、红队成员和员工的反馈。
2、四项输出前安全措施,数百名专业人士已测试10个月
Sora的能力可能带来新的风险,例如滥用相似或产生误导性或露骨视频内容的可能性。
在安全方面,自2024年2月发布Sora以来,OpenAI与来自60多个国家/地区的数百名视觉艺术家、设计师和电影制作人合作,以获得有关如何推进该模型以对创意专业人士最有帮助的反馈。
▲动画师上传微缩模型图片后生成的视频
OpenAI采用了以下形式,作为Sora向用户显示其请求输出之前采取的安全缓解措施:
通过多模态审核分类器进行文本和图像审核、自定义大语言模型筛选(定制GPT,利用视频生成的时间窗口,对某些特定主题高精度审核)、图像输出分类器、黑名单(提前设置文本阻止列表)。
当前OpenAI屏蔽了一些特别有害的形式,如儿童虐待、深度性伪造等。这些题材上传会被限制。
OpenAI称其分类器非常准确,但偶尔可能会错误地标注成人或非现实的儿童图像。他们也承认研究和现有文献强调了年龄预测模型存在种族偏见的可能性。
接下来几个月里,OpenAI团队将致力于提高分类器的性能,最大限度地减少误报,并加深其对潜在偏差的理解。
为了确保Sora技术被负责任的使用,所有Sora生成视频均附带C2PA元数据。它将识别视频是否来自Sora,以提供透明度,并可用于验证来源。OpenAI默认添加了可见水印等保护措施,并构建了一个内部搜索工具,该工具使用第二代的技术属性来帮助验证内容是否来自Sora。
结语:Sora仍有很多局限性
正在部署的Sora版本有很多限制,通常会产生不现实的物理效果,同时长时间复杂动作仍具挑战性。
OpenAI仍在努力使每个人都负担得起这项技术。该团队希望Sora早期版本能让世界各地的人们探索新的创意形式,讲述自己的故事,并突破视频讲故事的可能性。
对于视频创作者来说,Sora的到来无疑是最顶的圣诞节礼物之一。很期待看到世界将用Sora创造出什么。