双榜第一背后,他们想做的不是下一个世界模型
FIELD
NOTE

ARTICLE DETAIL

资讯中心

从事实、趋势与实践出发,为您梳理文章中的关键信息,帮助读者更高效地理解内容重点。

ORIGINAL REPORT

双榜第一背后,他们想做的不是下一个世界模型

头号玩家游戏社区编辑部
411 阅读
约 5.5 分钟

编辑|牛来 今年交互视频世界模型成了大热门。 阿里 HappyOyster、蚂蚁 LingBot、生数科技 Vidu S2、爱诗科技 PixVerse R2 等接连亮相。 虽然技术路线各有侧重,但各家目标高度一致,都想让 AI 视频能实时响应用户操作,支持连续交互,生成一个可以自由探索的虚拟世界。 当然,我们对距离真正开放、长期运行的生成世界一直抱有保守期待,毕竟真正落地有不少技术与工程难题。 但现实的进展,往往快过预期。 最近,我们在交互视频世界模型评测 WBench 的榜首,看到了一个新名字: Murea-Pro 。 它在多轮交互视频评测 WBench Full-289 中,以 81.1 分 拿下第一 。其中拉开差距最大的交互能力和物理合理性,分别取得 82.6 和 74.4 的高分。 Wbench 链接: https://meituan-longcat.github.io/WBench/#leaderboard 生成速度方面非常亮眼,RTX PRO 6000 可以做到 3.6 s 生成 5s 长度视频, RTF < 1 (Real-Time Factor,实时因子),处理速度快于音频播放速度,实现了实时视频。 我们在该模型官网,发现它还有一个轻量型的开源版本: Murea-Fast 。 这个「轻量型」并不逊色,在参考生视频评测 OpenS2V-Eval 中,以 64.98 分位居参评开源模型第一,其 NexusScore 达 51.66,在参考还原能力上同样排名第一。 两项成绩,让这组模型进入了我们的视野,在认真拆解了它的技术报告以及经过实测后,发现很多有意思的地方:这个团队的野心,不是下一个世界模型,而是更好玩、更有想象空间、能更快落地的 —— 实时互动内容模型 。 视频地址:https://mp.weixin.qq.com/s/_YAaKBXAJuwOjXcFovarLA 脱离「看视频」的逻辑,这更像在一个 AI 生成的世界里真正「玩」起来。 技术解读:Murea-InWorld 如何维持一个持续演化的世界? Murea-InWorld 采用 两层协同架构 。 每轮交互开始时, 上层的 Murea-Mind 作为模型大脑,会读取当前世界状态、用户指令和上一段视频的结束画面,规划下一个事件,充当编剧和导演和核心角色; 下层的 Murea-Pro 和 Murea-Fast 负责执行生成相应的画面与声音;生成结果随后交给大脑模型检查,确认发生的变化再写回世界状态,成为下一轮交互的依据。 这一过程可以概括为 「状态、行动、生成、观测」 。 这种双层协作,可以让模型避免出现生成虽快,但内容无意义的情况,真正做到让用户用自然语言来持续改变一个有记忆、有声音、可以回档分支、支持多人参与的虚拟世界。 GitHub链接:https://github.com/Murea-Labs/InWorld Hugging Face链接:https://huggingface.co/MureaLabs/InWorld 官网链接:https://murea.ai/ 让这套闭环稳定运转的关键,是 持续更新的世界状态 。系统在视频模型之外维护一套「账本」,人物和场景的参考图、声音、固定描述被保存为资产;人物位置、服装、情绪、随身物品,以及天气、光线等信息则持续更新。固定身份与动态状态分开管理,可以降低角色外观和剧情变化互相干扰的概率。 用户撤销操作时,系统恢复生成前的状态快照;重新选择则创建并行分支,原有视频与剧情继续保留。多人模式下,每名玩家的输入先转换为结构化动作,再由系统统一编排进同一画面。 World Agent 总览。上层保存世界记忆;中层把用户指令转换成生成条件并保存片段;下层回看生成画面,为后续规划和部分状态更新提供依据。 世界状态确定之后,Murea-Pro 和 Murea-Fast 负责生成画面与声音,其核心机制是 Omni-Reference Generation 。人物、动物、物品和场景参考会被分别编码为干净的条件 latent,并获得独立编号。参考素材不参与加噪和去噪,主要作用是稳定人物身份和外观。 左侧是输入参考,右侧是同一生成视频的连续采样帧。可重点看人物、猫、布料与庭院的组合,以及多人同框、写实和风格化场景中的实体对应。 视频与音频在同一个 DiT 中联合生成。受控注意力机制先让参考信息作用于各自模态,再通过正片中的视频和音频 token 建立联系。训练数据使用结构化描述,明确每个参考对应谁、由谁说出哪句台词,以及动作和镜头发生的时间顺序。 音视频生成框架总览。模型能力的三层结构。上方 (a) 说明参考图、可选声音参考和文本如何共同控制音视频生成;左下 (b) 说明 MeanFlow → DMD 两阶段蒸馏;右下 (c) 说

about image
分享这篇内容

让更多人看到有价值的信息

返回资讯列表

YOU MAY ALSO LIKE

推荐阅读

继续浏览平台精选内容,发现更多行业观察。

TRENDING NOW

热点内容

从正在发生的行业事件到读者关注的热门话题,我们将值得关注的内容集中呈现,方便您快速了解当前讨论焦点。

查看全部资讯
帕尔马开门球配合失误送礼!苏契奇抢断爆射破门,国米1-0领先

HOT / 1

帕尔马开门球配合失误送礼!苏契奇抢断爆射破门,国米1-0领先

首页 NBA视频 旧版页面 录像页面 足球视频 旧版页面 录像页面 NBA资讯 滚动资讯 足球资讯 滚动资讯 电竞 电竞资讯 电竞视频 综合 综合资讯 综合视频 比分 数据 NBA资料库 资料 个人 下载客户端 新版 直播首页 > 足球资讯 >帕尔马开门球配合失误送礼!苏契奇抢断爆射破门,国米1-0领先 帕尔马开门球配合失误送礼!苏契奇抢断爆射破门,国米1-0领先 直播吧10月11日讯 意甲第6轮

我终于明白了,为什么父母有退休金,儿女一般不希望父母长命百岁

HOT / 2

我终于明白了,为什么父母有退休金,儿女一般不希望父母长命百岁

前几天回老家,听邻居讲了一件事,心里半天不是滋味。村里刘老爷子走了,享年八十三。老爷子在世时,是镇上退休教师,每月五千多的退休金,手里还有一套老宅。人刚办完丧事没几天,三个儿子就为了那点遗产撕破了脸,老大说当年伺候爹妈出力最多,老二说买房时自己贴的钱最狠,老三干脆拿出一张老爷子生前的字条,说房子早说好留给他。亲兄弟在灵堂前吵得面红耳赤,差点动了手。街坊们私下嘀咕一句话,老爷子活着的时候,兄弟三个逢

点赞+鼓掌,松岛辉空为何如此欣赏周启豪?

HOT / 3

点赞+鼓掌,松岛辉空为何如此欣赏周启豪?

今年WTT中国大满贯男单赛场,爆出了不少球迷意料之外的画面。国乒独苗周启豪迎战日本新星松岛辉空,六局高强度鏖战过后,最终以2-4遗憾落败,止步男单四强。 这也意味着,本届大满贯男单决赛的赛场,彻底没有了国乒男队的身影。从冲冠选手变成场外观众,这样的结果,让无数球迷倍感惋惜。 说实话,赛前很多球迷心里都有数,松岛辉空的实力不容小觑。我原本也没指望周启豪能稳稳拿下这场比赛,双方硬实力存在客观差距。 但

勒布里斯:这次低谷确实很难熬,希望我们尽快作出回应

HOT / 4

勒布里斯:这次低谷确实很难熬,希望我们尽快作出回应

英超第7轮,桑德兰客场0-2不敌伯恩茅斯,丹索在上半场被红牌罚下。赛后,桑德兰主帅勒布里斯接受了比赛日采访,谈到了球队的糟糕表现和丹索的红牌,并表示希望球队尽快作出回应。 雷吉斯,一个赛季总会有高峰和低谷,有起有落,但桑德兰今天的表现究竟有多糟糕?因为这完全不是桑德兰惯有的表现。 非常糟糕,真的非常糟糕。很难接受,也非常痛苦。显然,比赛的走势对我们不利,但我认为,更多还是我们自身的问题。六分钟就0

袁文婷,四川什邡人,1982年9月6日出生

HOT / 5

袁文婷,四川什邡人,1982年9月6日出生

袁文婷,四川什邡人,1982年9月6日出生,汉族。她的童年过得实在让人心疼,十岁那年父亲遭遇车祸离开,只剩下她和母亲两个人相依为命。好不容易熬到高中,母亲又下岗了,母女俩每个月全部的生活费才一百多块。日子过得这么难,她却从来没有主动向学校诉苦,也没有申请过一次助学金,骨子里就是一个要强的姑娘。 高中三年,她每天就带着咸菜下饭,晚自习教室里熄灯了,就点着蜡烛埋头刷题。冬天双手长满冻疮,握笔的时候一阵