OpenAI亮相首款影像生成模型Sora

亮相时间：2024-02-16 15:59:14来源：逗游作者：逗游网

Alien Hop人物好玩的休闲开心小游戏

• 游戏类别：休闲益智
• 游戏大小：0 M
• 游戏语言：简体中文
• 游戏版次：v1.0.0

访问查看 游戏专题

ChatGPT开发团队OpenAI亮相了新近的影像生成模型“Sora”，此模型可以依据文字指令能生成熟达1分钟的高清影像，并且有一定的“现实模拟”能力，相比制作游戏的物理引擎，其上限要高得多，关于票房预测，官方尚未回应下面带来详尽说明。刚刚英伟达体验

1.他们能训练出这个模型的基础是：找到了一种统一的用文本刻画影像材料的范式，得以让众多的影像以及对应的刻画材料去训练模型，得到这个模型能力就是文本和视觉呈现之间的某种互相生成关系（能力），那如何得到众多带有相应文本字幕的影像呢？

他们使用了 DALL·E 3 中的重构字幕技术（原来是针对图片的）到影像。先是训练一个高度刻画性的字幕生成器模型，然后使用它为训练集中的所有影像生成文本字幕。 可以想见，盘点平板电脑推荐训练及使用模型耗费的算力惊人，所以不太或许在短暂内大范围启动；

2.大的框架是：研究模型+时空补丁，基于深度进修的研究模型，让一个随机噪声分布（指向图像的业内旗舰手机合集）转变成有价值的图像或影像信息，而时空补丁，定义了一个时间序列，使画面的的转变符合时间逻辑；

3.Sora 可以采样宽屏 1920x1080p 影像、垂直 1080x1920 影像以及介于两者之间的所有影像。由于是直接生成而不是裁剪影像，在取景，动向效果上也有一定长处；

4.这个模型还有几个出人意料但合理的能力：

a.它可以从一个时间点，向前或者向后去延伸影像，也就是说以某个画面为基点，生成这个时点之前的一段影像或之后的一段影像；

b.自如改变影像的风格和生态；

c.经由插值方式自然的将两个影像连接起来；

d.这一点相当重大，就是这个模型涌现出了一定的“现实模拟”能力，在展示影像中我们目睹的各异的镜头使用，含有 3D画面的一致性（比如同一物体由于镜头转变，呈现出的在视觉上维持形状的一致），还含有现实物体的交互（比如要面包后面包上的咬痕）并非刻意设计,或者“建模”的结局，而是自然涌现的，这点我们在纯语言模型上已然见识过了。

而在这个模型上面涌现出的能力，用文章中的原话来刻画“是开发物理和数字全球以及日常在其中的物体、动物和人的强大模拟器的一条有前途的道路。”