你的模型会剪辑吗？阿里、上交推出CutCraft，六大维度专测剪辑指令

现如今多镜头音视频生成模型越来越强，生成的视频画面流畅、叙事看起来通顺。

但画面连贯≠会做专业剪辑。

很多 AI 视频可以产出观感丝滑的成片，却做不到基础剪辑要求：控制镜头数量与时长、实现、实现特定类型的蒙太奇叙事、实现指定的转场特效以及指定的音画关系等等。

现有绝大多数评测基准，大多聚焦画面、同步、物理合理性等通用指标，但是缺少对剪辑指令实际执行效果的专项考核。

针对这一缺口，来自阿里巴巴的研究者，推出 CutCraft：首个面向多镜头音视频生成、聚焦专业剪辑指令执行能力的评测基准，把镜头结构、转场语法、音画剪辑关系、蒙太奇手法等等全部纳入评测范围。

论文标题：

Beyond Coherence: Benchmarking Professional Editing‑Technique Execution in Multi-Shot Audio-Video Generation

作者机构：

阿里巴巴、上海交通大学、复旦大学、德克萨斯大学奥斯汀分校、中科院软件所

论文链接：

https://arxiv.org/abs/2609.08275

代码仓库：

https://github.com/AlibabaResearch/cut-craft-bench 

数据集仓库：

https://huggingface.co/datasets/ZTY01/CutCraft 

CutCraft 数据集：专家构建，覆盖完整剪辑维度

CutCraft 不是简单文本和视频配对数据集，整套样本经过大模型以及人工多轮审核筛选，从 1500 份候选提示词最终筛选得到 295 条结构化提示样本，包含 1228 个镜头、933 组镜头间转场。

每个样本由视频总描述、每个镜头的描述（内容、摄像、风格等）、每两个镜头间的转场描述（特效、音画、摄像等）组成。

数据集覆盖电影剪辑完整要素：13 种蒙太奇类型（叙事类、表现类、思想类等）、丰富的转场体系（摄像维度、特效维度、音画关系等）、镜头级电影语言、多元的风格与内容。

分层混合评测框架：不只看画面好看，看指令有没有被执行

为了解决“生成视频镜头错乱、镜头合并或丢失，无法直接打分剪辑指令”的问题，CutCraft 设计一套分层混合评测框架，首先通过镜头聚合和对齐确保待测视频与 prompt 分镜对齐。

评测包含 6 大维度 16 个子维度：叙事执行、节奏与节拍、蒙太奇执行、转场执行、摄影与物理合理性、音频实现。整套评测分为三大执行路径：

路径一：专家模型直接信号打分

基于镜头边界检测、光流、音频分离以及视觉特征等工具，完成客观可量化指标。例如镜头数量准确度、镜头时长精度等。

路径二：专家信号 + VLM 仲裁

低阶信号不足以判定时，把专家模型提取的证据信号交给 VLM 综合判断。例如判定 J‑cut/L‑cut 音画关系、各类叙事逻辑转场等。

路径三：VLM 问答式判定

针对高度语义化的剪辑概念，比如因果连贯性、事件执行程度识别，让 VLM 回答预设选择题，通过问答方式判断模型是否完成剪辑意图。

Agentic Editing 智能剪辑基线：规划—生成—合成—修复

仅仅做评测还不够，作者同时提出一套 Agent 剪辑基线方案，验证怎么让生成模型更好落地剪辑指令。

整套流水线不做一次性端到端长视频生成，拆解为“全局规划——单镜头生成——后验合成——迭代修复”

实验结果显示，这套 Agent 方案，能显著提升镜头数量、镜头时长、光学转场这类离散可控剪辑能力。其他更高阶的能力比如蒙太奇叙事，则受限于模型本身的能力，仍有提升空间。

实测 13 款主流音视频模型（8 个闭源 5 个开源），并将 agentic 基线应用在 3 个模型上，得出 4 个关键结论：

1. 画面连贯≠剪辑能力：大量模型可以输出画面流畅的视频，但是无法忠实执行剪辑指令来表达特定的逻辑和情感。

2. 模型天然偏向连续叙事：对于时间、空间跳跃的非连续型蒙太奇（平行蒙太奇、交叉蒙太奇、心理蒙太奇、杂耍蒙太奇等）性能显著下滑。

3. 镜头越多越难做剪辑：随着镜头数量从 2 镜增加到 5‑6 镜，剪辑执行能力明显衰减。

4. 美学画质和剪辑合规性弱相关：画质好看，不代表能做好蒙太奇、转场、音画交错。很多画质得分高的模型，剪辑执行得分却相对较低。

模型高频失败集中类型：蒙太奇表达逻辑失效、镜头结构错乱（镜头数量和时间偏差）、转场效果退化（坍缩为直接拼接，难以实现复杂的特效和音画关系）等。

CutCraft 的目标是推动多镜头音视频生成从“生成看起来连贯的画面”走向“带着剪辑意图完成创作”。

过去的视频 benchmark 更多关注“好不好看”，在此基础上，CutCraft 还关心“能不能听懂并执行剪辑指令”。

它完整的数据集、分层评测框架、Agent 剪辑基线，为复杂多镜头场景下的 AI 视频生成提供了一套完整研究底座。