Figma 研究团队公布 MotionGraphicsBench：用可执行检查判断 AI 动画是否听懂指令

先给齐静态图形，再考模型能否让它按要求运动

Figma 与斯坦福研究人员于11月10日在作者博客介绍 MotionGraphicsBench。这项研究围绕100个由专家整理的任务展开：提供静态SVG图形和自然语言运动编辑要求，由模型生成动画。论文在arXiv的首次提交日期为11月7日，本文属于近期研究补录。

任务预先提供所需视觉元素，把图形绘制与运动生成分开。这样，评测关注的是模型是否理解物体应怎样移动、何时出现，以及多个动作如何衔接。它不是Figma编辑器新增功能的上线公告，读者应将其理解为面向生成式动画系统的研究工具。

用逐项程序检查代替对照一段标准答案

每个任务附带确定性、可读的验证程序，检查生成结果是否满足提示中的要求。验证允许不同的正确实现，而不要求模型复刻唯一参考动画；报告同时列出哪些条件通过、哪些失败，便于区分整体失败与局部完成。

这里的检查对象包括空间关系、外观变化与时间顺序。例如，元素看起来存在，并不意味着其运动方向或与其他事件的先后关系正确。研究把这些约束拆开，让动画的指令遵循能力可以被定位，而不只留下一个好看或不好看的主观总分。

32个模型的结果只对应这套具体动画任务

论文报告测试了来自12家提供方的32个模型，共47种配置，单次生成通过率pass@1介于6.0%至67.7%。这一指标要求一份结果满足任务的全部检查，不能把通过部分条件算作整题成功；它衡量的是该评测设置中的动画指令遵循表现。

同一研究还对15个模型在各自最高可用推理强度下开展重复生成，每个任务给出32次尝试，pass@32范围为38.0%至95.0%。这个子研究的样本范围与47种配置不同，两个统计口径不能混用，也不能将这些数字写成模型在通用编码或设计工作中的正确率。

多次生成的收益不等于智能体已经学会自我修复

作者说明，32次尝试彼此独立，模型没有在后续尝试前收到上一份验证报告。pass@32表示这些候选中至少有一个完整通过检查的概率，反映重复采样的潜力；它不证明模型能读懂失败原因并逐步修正动画。

失败分析指出，常见问题包括参考姿态不匹配、运动轨迹错误，以及相关事件的协调失误。研究使用可读检查报告呈现这些差异，给开发者提供了比单一排名更具体的排查方向，但本文没有运行模型或复现其结果。

与人工判断较接近，仍需保留误判与适用范围

在180个平衡安排的留出动画样本上，验证程序与人工判断的一致率为93.3%，论文中的视觉语言模型基线为83.3%。这是一组特定测试集上的研究结果，并非对所有动画题材、所有提示或所有审美标准的准确率保证。

研究公开了基准材料，并在作者文章中给出任务浏览与快速开始入口。文章说明可载入任务、渲染动画并查看检查结果；希望试用的开发者可沿原文访问。本站本轮未能读取项目演示页和数据集页面，因此不补写未经核验的安装命令或许可证。

继续阅读