AI居然能实时互动了？快乐生蚝这波操作，直接把Sora按在地上摩擦

属实给我整精神了，AI啥时候会干的这事？？

这不是故意吊人胃口了, 而是由HappyOyster 1.0（也就是快乐生蚝）达成的, 是阿里ATH所推出的, 能够进行实时构建以及交互的, 开放式世界的模型产品。

看到世界模型这四个字, 或许会有朋友感到好奇, 这跟我之前玩的Sora那些存在着怎样的区别呢, 难道不都是由AI生成画面的情况吗?

嗯……还真不是一回事。

先跟咱简单说一说行业状况, 在过去的这一年多时间里, AI视频赛道竞争得那叫一个如火如荼, 各类产品接二连三地登场展示, 画面的精准程度一个比着一个厉害, 瞅着着实是十分让人惊叹。

但用多了就会发现一个共性问题：它们都是「单程票」。

模型渲染出一段视频, 视频生成完毕后, 一切就结束了, 之后你仅仅只能观看, 并且根本不能够与画面里的角色进行互动。

并且, 当时间被拉长之后, 画面出现崩坏的概率极大, 举例来说, 角色在前一秒时还手持宝剑, 然而到了后一秒却变成空手状态, 紧接着向前走了两步, 脸部竟已然换成了另一张面孔。

之所以市面上的AI视频大多都是短片段, 原因就在于此, 并非是不想制作长视频, 而是一旦做的时间拉长了, 就实在难以维持那种状态了啊……

换句话说, 当下文生视频所能达到的最高水准, 即为一段具备观赏性然而却无法进行修改的影像资料。

而HappyOyster 1.0做的是一件完全不同的事——

打造一个完整可演绎、可探索、可互动的数字世界。

画面生成之际即刻, 体验方才起始, 你能够一边观赏一边下达指令, 世界即时给予反馈并持续推进变化。

就好像以前你是观众，现在你成了世界的…主人。

那这只快乐生蚝到底有多快乐呢？？下面就继续实打实测一波！

世界是活的，你就是主角

HappyOyster 1.0主要突出两大核心模式, 其中一个是Adventure, 也就是世界探索, 另一个是Directing, 即实时导演。

「用动作探索, 世界即刻延展」的开放漫游模式是Adventure, 你亲自下场当主角。

导播执导模式中的Directing, 是那种凭借镜头去叙事, 故事能随心进行掌控的模式, 而你呢, 是站在世界之上担当导演角色的存在。

一种负责管理“身体”, 一种负责管理“脑子”, 二者覆盖了两种完全不一样的创作诉求跟体验诉求。

咱先来体验Adventure模式。

我把一张有着吉卜力风格的草原图给丢弃进去了, 就在画面生成的那一瞬间, 直接将我给拉扯进去了, 整个画面是具有活力的, 正在等待着我去进行操作。

那我就不客气了，直接动手！

1.0版本增添了一套极为众多的互相联动按键, 为加速按键, 为下蹲按键, 为攻击按键, 是跳跃按键, 其运作触觉跟你拿来玩的3A宏大巨著极其相近。

我摁了一回前冲, 那少年迈开腿即刻奔跑起来；按下攻击键, 少年着手挥剑；又按下跳跃, 少年腾空跃起, 在落地之际角色呈现屈膝动作, 镜头存在一个上升以及下坠的变化, 这般细节着实达到极致了。

要着重指出的是, 这些通通都并非事先就已然准备好的那种用于动画的素材, 而是模型依据你所进行的操作, 在当下实时去进行推演进而得出的。

这么说的缘由是啥? 是由于对于同一个场景而言, 我进行了反反复复的多次尝试, 每一次尝试的时候, 动作的角度都是不一样的, 并且角色的姿态同样也是不一样的。

并且, 模型存在着一种极为聪慧的设定, 这种设定能够依据场景之中的具体内容, 自行去匹配可以进行游玩的交互方式。

例如, 在我所呈现的这个画面当中存在马车, 如此一来世界便会解锁含有骑马互动的彩蛋。少年朝着马车旁边走去, 触发与之对应的操作指令, 进而能够直接上马进行骑行！

视频地址：https://mp.weixin.qq.com/s/J5v3jVnHSdluRKxRz9cCSg

要是所创建的世界当中存在汽车, 那就会自动去匹配开关车灯以及鸣笛这样的玩法, 重点在于突出一个「画面里有什么, 便能够玩什么」。

视频地址：https://mp.weixin.qq.com/s/J5v3jVnHSdluRKxRz9cCSg

甚至在探索的进程当中, 还能够随时随地进行截屏以留存画面, 并且也能够将世界予以保存, 凭借一键即可对外分享链接, 一旦别人点击进入, 便能够看到你所创建的完整世界。

意思是，方便发朋友圈了（doge）。

这么讲吧, 要是Adventure这种情况是促使你亲自下场去充当主角, 那么Directing这种情形可就更加地令人感到过瘾了, 它直接就让你去担任导演一职。

Directing有着多模态作为参考的特性, 在@一张图片之后就能锁定角色的外观, 紧接着直接把POV恋爱互动这种形式给安排就位！

为她设定了一个近景特写镜头, 全程以第一视角的方式进行对视, 之后随手输入几条互动指令, 呈现效果为:

视频地址：https://mp.weixin.qq.com/s/J5v3jVnHSdluRKxRz9cCSg

好好好，AI生视频这下都吃上自助餐了，我狂吃！

同时, 1.0这个版本, 处在Directing模式方面, 带来产生了好些极其分量重的提升改进, 感受体验完毕之后, 我仅仅只是想要讲说道: 这方才能算得上是创作者而言的那种终极尽头的玩具！

我先用一条prompt启动了一段剧情：

在舞台上，两个人面对面激烈争吵。

看了大概二十秒之后，我觉得剧情可以转折了。

于是我输入了一条新指令：

他们突然释怀了，紧紧拥抱在一起。

新指令被接收到之后, 两个角色的表情, 开始呈现出缓和的态势, 身体呢, 从对抗的姿态, 渐渐朝着靠近的方向转变, 最终, 紧紧地拥抱在了一起。

视频地址：https://mp.weixin.qq.com/s/J5v3jVnHSdluRKxRz9cCSg

并且, 在整个进程当中, 不只是场景, 就连两个角色的脸部、衣物、姿态、发型全都未曾发生改变！

好戏还没完——

1.0另外杀手锏功能是回溯和剧情分支。

比如说, 我能够径直退回到发生争吵的那个时间点, 去更换一条全然不一样的指令, 然后画面便就会再次进行演化。

或者从同一个节点续写，设计出A、B两条完全不同的故事线。

等等，这不就是创作者梦寐以求的平行宇宙嘛！！！

并且, 所有这些操作, 都是以流式的方式生成的, 那是一边讲述一边就能够进行演示的, 无需等待渲染的过程。你可以在任何时候进行插话, 剧情会随时做出相应的反应, 对于内容行业而言, 这确实算得上是黑科技啊……

更令人感到贴心的是, 官方撰写了一份体验指南, 将其放置在了网页之上, 用以教导你如何去创建更为美好的世界。

为什么能让世界动起来？

上面体验了这么多，估计有朋友已经按捺不住了：

这玩意儿到底是怎么做到的？跟文生视频在技术上有啥区别？

咱先把最根本的概念差异说清楚：

文生视频的工作性质就是针对文本朝着视频的这样一种单向条件映射, 你给输入一段描绘叙述, 模型会在一次性离线的状况下进而渲染出一段固定的像素排列顺序。

世界模型所学习的, 是全然不一样的事物, 是当前所处状态, 加上用户所做出的动作, 进而导向下一个状态的转移规律。

图片AI生成

此便需求模型得具有三重能力, 其一为对物理规律进行隐式建模, 其二是追踪长程因果链路, 其三是即时响应外部干预。

首先要说的就是闭环世界状态建模。

想使一个世界持续地运行, 最为质朴的思路乃是记住全部的历史画面, 每当生成新的一帧时, 便回头去看前面所有的帧以保持连贯性。

但问题是，这么干计算量会指数级膨胀，时间一长直接寄。

HappyOyster 1.0于此处将世界状态压缩成隐状态摘要（Latent State）, 该隐状态摘要在生成链路上进行递归传递, 能支撑长程一致性。

仿若接力赛跑那般, 于跑下一棒以前, 上一棒会将「把当下世界中所有的一切」撰写成一张纸条传递过去, 就这样一棒接着一棒地往后传。

每当生成全新的一帧时, 模型仅仅需要获取到上一帧的那张纸条, 然后再添加上你新发出的指令, 如此便能够推演出下一帧。

所以几分钟下来世界不会乱、因果关系不会断。

1.0版本, 由于这个纸条能够被保存档案, 于是, 暂停功能也就自然而然地达成了还有回溯功能, 也同样达成了随后至于分支叙事功能, 自然同样实现了其本质是什么呢即是比如说在某一个特定时间点上面要保存一份关于这个纸条档案并且要做到想从哪里继续都能够从哪里继续。

一个架构设计，直接把产品的交互想象空间整个撑开了。

图片AI生成

第二项具有内生一致性的核心技术, 解决了生成画面里角色频繁换脸这一令人困扰的痛点。

文生视频, 最让人头疼的问题, 是主体漂移, 人物走了几步, 脸就改变, 衣服颜色, 也跟着出现偏差。

HappyOyster 1.0通过促使持久的参考表征介入全程注意力的方式来解决这个问题, 通俗来讲, 也就是针对于每个角色、物品以及场景元素核发了一张「身份卡」。

不论镜头如何切换, 不管角色怎样转身, 哪怕被其他物体遮挡许久后才再度现身, 该模型在每次生成新画面之际, 都会对着身份卡展开检查, 以此确保角色既不会变样, 也不会变形。

还有开放因果动作空间，打通动作与语言的表达逻辑。

许多交互式系统的举措是预先设定一个动作集合, 比如说具备可以跳跃的能力, 拥有能够奔跑的本事, 不过仅限于只能开展如此这般的事情, 仅此而已。

一款名为HappyOyster 1.0的产品, 将动作指令, 以及自然语言, 放置在了相同的语义接口之中。

比如说呀你讲骑上那匹马模型便自行推演出上马的完整动作序列以及马开始跑的物理反馈。

那种动作方面的空间呈现出开放的状态, 语言自身实际上就是用于操控的器具, 不依赖任何人工去进行预先设定, 模型借由自身就能够推导出其中因果关系啦。

最后说说长时序音视频协同。

HappyOyster 1.0的音频被生成, 其是在同一个世界状态的情况下, 和视频联合进行解码而生成地, 并非是先是让画面出现了之后, 再去进行配音的。

这表明, 脚步声是跟随你而迈出的, 雨声是依据天气而变化的, 打击音效是按照攻击动作而产生的, 切实达成了声画物理方面的合规要求。

这四大技术一起协同发力，这个世界才能真正活起来。

不过呢, 关于技术做得是不是好, 只是依靠体验感受这一方面是不足够的, 还必须要有量化标准去进行衡量。

可是, 世界模型身为一个崭露头角的新兴领域, 当前在行业范围之内, 尚欠缺一套专门针对“世界逻辑”的具备系统性的评测基准呀。

围绕这个痛点, HappyOyster团队正引领偕同南京大学搭建世界模型评测基准, 这同样表明, HappyOyster并非仅致力于产品推出, 还担负起界定赛道标准的职责。

谁能第一个吃到这只生蚝？

从传统文生视频生成一段固定影像, 这并非易事。随后要进行世界模型搭建, 搭建成的是可进入的、可操控的、且能持续自主运转的那种完整的数字空间。而HappyOyster 1.0呢, 它恰恰就是这样一条闻所未闻的全新路线的落地先行者。

它把AI的生成能力从单向输变成了双向实时交互。

并且, 一旦世界建造模型成功踏上了此路径, 众多行业的想象范畴便得以拓展了。

例如游戏领域, 无需构建规模巨大的美术资产库, 不用配备繁杂的物理引擎, 向HappyOyster 1.0投放一张概念性图片, 很快便能够呈现出一个拥有物理反馈以及NPC交互的可进行游玩的场景。

于内容生成的赛道之上, 要是存在一个可分叉出十条故事线路的剧本, 并且由观众自行去选择走向, 如此一来, 就极有可能催生出一种全新的互动内容业态。

除了这个以外, 文旅景区开展虚拟漫游, 博物馆进行沉浸式历史还原, 等等这些情况, 都能够借助HappyOyster 1.0来得以实现沉浸式体验。

此刻, HappyOyster 1.0已然正式上线, 凭借手机号注册便可玩！另外, API计划于近期开放。紧接着, 不管是游戏创作、短剧生成, 或是文娱体验、数字人直播、数字陪伴, 均可运用世界模型, 为用户带来全新的交互体验。

这表明, 每个人都存在着机会, 能够亲自去搭建, 进而操控属于自身的独特虚拟世界, 琢磨起来, 就“极为”令人感到兴奋！

阿里巴巴此次, 可以说是实实在在地开启了众人的想象空间, 往后, 谁还会仅仅满足于仅仅观看视频呢……

猜你喜欢