用语言改剧情,用镜头探索:腾讯混元 Hy-Nomas 开源
用语言改剧情,用镜头探索:腾讯混元 Hy-Nomas 开源
内容摘要
点击“计算机视觉life”,选择“星标”机器人AI干货第一时间送达让角色行动,转动镜头观察,再用新指令推进故事。下一步,可以看完这一轮再决定。腾讯混元开源的 H
点击“计算机视觉life”,选择“星标”
机器人AI干货第一时间送达
让角色行动,转动镜头观察,再用新指令推进故事。下一步,可以看完这一轮再决定。
腾讯混元开源的 Hy-Nomas,探索的正是这种 Free-form(自由形式)交互:用自然语言指定动作,用连续相机控制调整视角,让后续生成结合新的输入,延续已有的场景与故事。代码、模型权重与评测基准已开放,读者也可以通过在线 Demo 亲自体验。
文字推动剧情,镜头带你探索。 在同一个世界里,一轮轮决定接下来发生什么。
先看宣传片
01 四组演示,走进自由交互
用一句话,决定接下来发生什么
让角色行动、改变环境、推动故事,自由文本控制把这些想法接入视频生成。指令不局限于预定义命令,你可以根据当前画面提出下一步要求,观察世界如何回应。
|
|
|
|---|---|
让文字和镜头接力,继续探索
先用文字指挥动作,再移动镜头看看周围,随后接上一条新指令。Hy-Nomas 支持在多轮交互中交替使用文本指令与连续相机控制,让行动与观察在同一个世界中衔接起来。
|
|
|
|---|---|
|
|
把故事继续下去:60 秒生成演示
下面三段示例均展示了 60 秒的视频生成。随着连续指令推进,场景与动作逐步展开,可以观察前后片段如何衔接,以及故事如何随新的输入发生变化。
|
|
|
|---|---|
|
|
|
离开再返回,观察世界的记忆
转动镜头、离开一处场景,再回到刚才的位置,物体外观和环境布局能否对得上?这组演示聚焦持续探索中的场景一致性。世界记忆也是下方评测的一部分,仍有值得继续改进的空间。
|
|
|
|---|---|
项目还展示了多视角、写实与动漫等不同风格,以及场景适配的示例,更多演示可以在项目主页查看。
02 280 个案例,看交互表现
演示之外,项目通过 Hy-Nomas-Bench 的 280 个案例检验交互表现,覆盖多轮文本交互(60)、相机控制(100)、文本与相机交替控制(60)及空间记忆(60)。每个案例在同一世界中连续执行,轮次之间不重置场景,由三名经过标准校准的标注者进行成对评测。
下图以 Hy-Nomas 为参照,绿、灰、粉分别表示胜、平、负。GSB 比例反映评测中的相对偏好,不代表任务成功率。
各模型使用其支持的交互接口;其中,LingBot-World v2 在文本和交替控制任务中使用的是适配后的开源模型。
评测中值得关注的结果有:
-
文本指令遵循: 相对 HappyOyster-Directing 和适配后的 LingBot-World v2,胜率分别为 **65.0% 和 75.0%**。 -
文字与相机交替控制: 相对适配后的 LingBot-World v2,指令遵循与物理合理性的胜率分别为 **75.0% 和 73.3%**。 -
相机控制: 三组比较均以平局为主,胜率均高于负率。 -
空间记忆: 相对 LingBot-World v2 的胜率为 58.3%,与 HappyOyster 较为接近;相对 Genie 3 的胜、平、负为 13.3%、56.7%、30.0%。
这些结果展示了 Hy-Nomas 在文本指令响应和交替控制上的潜力,也提示了当前的边界:长程空间一致性仍有提升空间。
03 现在就去试试
想试试这个世界会怎样回应你的指令,可以先打开在线 Demo;也可以下载模型、查看代码与评测,进一步探索自己的交互场景。
体验与演示
-
在线体验 👉 https://hy-nomas.hy.tencent.com/demo -
项目主页 👉 https://hy-nomas.hy.tencent.com/ -
混元官网介绍 👉 https://hy.tencent.com/model/open-source-model/detail?id=hy-nomas
开源与资料
-
代码与部署说明 👉 https://github.com/Tencent-Hunyuan/Hy-Nomas -
模型权重 👉 https://huggingface.co/tencent/Hy-Nomas -
技术报告 👉 https://github.com/Tencent-Hunyuan/Hy-Nomas/blob/main/Hy_Nomas_Tech_Report.pdf -
评测基准 👉 https://huggingface.co/datasets/tencent/Hy-Nomas-Bench
下一句指令、下一个视角,交给你来决定。 如果你也对自由交互的世界生成感兴趣,欢迎体验 Hy-Nomas,并在 GitHub 留下一颗 Star,关注项目进展。
新品上新
让机器人真正走进真实场景:从“能移动”到“会认路”EDU-D360 × EDU-BOX 一体化智能机器人方案来了
“超级拓展坞”正式发布,EDU-BOX走向实际应用,让机器人从“会走”到“会干活”研发快人一步
推荐阅读
太夯了!机器狗导航直接省 1年工期
如何解决具身机器人感知之痛?
新品上新
让机器人真正走进真实场景:从“能移动”到“会认路”EDU-D360 × EDU-BOX 一体化智能机器人方案来了
“超级拓展坞”正式发布,EDU-BOX走向实际应用,让机器人从“会走”到“会干活”研发快人一步
推荐阅读