// AI 与智能体

用语言改剧情,用镜头探索:腾讯混元 Hy-Nomas 开源

用语言改剧情,用镜头探索:腾讯混元 Hy-Nomas 开源


用语言改剧情,用镜头探索:腾讯混元 Hy-Nomas 开源

发布时间:29 10 月, 2026 12:06 上午
来源栏目:MirrorSpeed CN
源站点:微信公众号-计算机视觉life

内容摘要

点击“计算机视觉life”,选择“星标”机器人AI干货第一时间送达让角色行动,转动镜头观察,再用新指令推进故事。下一步,可以看完这一轮再决定。腾讯混元开源的 H

点击“计算机视觉life”,选择“星标”

机器人AI干货第一时间送达

让角色行动,转动镜头观察,再用新指令推进故事。下一步,可以看完这一轮再决定。

腾讯混元开源的 Hy-Nomas,探索的正是这种 Free-form(自由形式)交互:用自然语言指定动作,用连续相机控制调整视角,让后续生成结合新的输入,延续已有的场景与故事。代码、模型权重与评测基准已开放,读者也可以通过在线 Demo 亲自体验。

文字推动剧情,镜头带你探索。 在同一个世界里,一轮轮决定接下来发生什么。

先看宣传片

01 四组演示,走进自由交互

用一句话,决定接下来发生什么

让角色行动、改变环境、推动故事,自由文本控制把这些想法接入视频生成。指令不局限于预定义命令,你可以根据当前画面提出下一步要求,观察世界如何回应。


自由文本控制 · 示例 1
示例 2 
示例 3 

让文字和镜头接力,继续探索

先用文字指挥动作,再移动镜头看看周围,随后接上一条新指令。Hy-Nomas 支持在多轮交互中交替使用文本指令与连续相机控制,让行动与观察在同一个世界中衔接起来。

示例 1 
示例 2

把故事继续下去:60 秒生成演示

下面三段示例均展示了 60 秒的视频生成。随着连续指令推进,场景与动作逐步展开,可以观察前后片段如何衔接,以及故事如何随新的输入发生变化。

示例 1 
示例 2

离开再返回,观察世界的记忆

转动镜头、离开一处场景,再回到刚才的位置,物体外观和环境布局能否对得上?这组演示聚焦持续探索中的场景一致性。世界记忆也是下方评测的一部分,仍有值得继续改进的空间。

示例 1 
示例 2 

项目还展示了多视角、写实与动漫等不同风格,以及场景适配的示例,更多演示可以在项目主页查看。

02 280 个案例,看交互表现

演示之外,项目通过 Hy-Nomas-Bench 的 280 个案例检验交互表现,覆盖多轮文本交互(60)、相机控制(100)、文本与相机交替控制(60)及空间记忆(60)。每个案例在同一世界中连续执行,轮次之间不重置场景,由三名经过标准校准的标注者进行成对评测。

下图以 Hy-Nomas 为参照,绿、灰、粉分别表示胜、平、负。GSB 比例反映评测中的相对偏好,不代表任务成功率。

各模型使用其支持的交互接口;其中,LingBot-World v2 在文本和交替控制任务中使用的是适配后的开源模型。


评测中值得关注的结果有:

  • 文本指令遵循: 相对 HappyOyster-Directing 和适配后的 LingBot-World v2,胜率分别为 **65.0% 和 75.0%**。
  • 文字与相机交替控制: 相对适配后的 LingBot-World v2,指令遵循与物理合理性的胜率分别为 **75.0% 和 73.3%**。
  • 相机控制: 三组比较均以平局为主,胜率均高于负率。
  • 空间记忆: 相对 LingBot-World v2 的胜率为 58.3%,与 HappyOyster 较为接近;相对 Genie 3 的胜、平、负为 13.3%、56.7%、30.0%。

这些结果展示了 Hy-Nomas 在文本指令响应和交替控制上的潜力,也提示了当前的边界:长程空间一致性仍有提升空间。

03 现在就去试试

想试试这个世界会怎样回应你的指令,可以先打开在线 Demo;也可以下载模型、查看代码与评测,进一步探索自己的交互场景。

体验与演示

  • 在线体验 👉 https://hy-nomas.hy.tencent.com/demo
  • 项目主页 👉 https://hy-nomas.hy.tencent.com/
  • 混元官网介绍 👉 https://hy.tencent.com/model/open-source-model/detail?id=hy-nomas

开源与资料

  • 代码与部署说明 👉 https://github.com/Tencent-Hunyuan/Hy-Nomas
  • 模型权重 👉 https://huggingface.co/tencent/Hy-Nomas
  • 技术报告 👉 https://github.com/Tencent-Hunyuan/Hy-Nomas/blob/main/Hy_Nomas_Tech_Report.pdf
  • 评测基准 👉 https://huggingface.co/datasets/tencent/Hy-Nomas-Bench

下一句指令、下一个视角,交给你来决定。 如果你也对自由交互的世界生成感兴趣,欢迎体验 Hy-Nomas,并在 GitHub 留下一颗 Star,关注项目进展。


新品上新

新品预告|简介EDU-BOX:拓展具身智能的连接与行动边界

让机器人真正走进真实场景:从“能移动”到“会认路”EDU-D360 × EDU-BOX 一体化智能机器人方案来了

“超级拓展坞”正式发布,EDU-BOX走向实际应用,让机器人从“会走”到“会干活”研发快人一步


推荐阅读

全面详解EDU-D360!具身机器人的一体感知小脑,全开放、真同步、强算力

太夯了!机器狗导航直接省 1年工期
如何解决具身机器人感知之痛?


图片





详细介绍!超远距EDU-SCAN三维激光雷达扫描仪,为开放生态而生!

重磅发布!解锁百米高空无人机测绘!

重磅发布!2分钟重建百米高楼!

重磅发布!助力机器狗SLAM、重建三维世界!

SLAM挑战!EDU-SCAN清晰还原室内超大电子屏

SLAM挑战 ! 9分钟重建万

平地下停车场

这款科研神器丝滑复现最强SLAM:Fast-LIVO2!

三维激光扫描仪全国线下产品试用!

车载扫街,效果实测

作者:

原文直达:查看原文

用 MirrorSpeed VPN 无障碍阅读更多技术资讯镜像加速、隐私加密、全球节点。访问技术原文与海外资源更稳定。
了解 MirrorSpeed
用 MirrorSpeed VPN 无障碍阅读更多技术资讯镜像加速、隐私加密、全球节点。访问技术原文与海外资源更稳定。
了解 MirrorSpeed