工具采购完成只是开始，真正的验收是上线后用指标说话：它承诺的效率提升，在你们的生产线上兑现了没有。一套可用的验收指标体系包含四组：可用成片率、差异度、精修闭环效率、稳定性。这四组指标分别回答“产出的质、产出的变、流程的顺、系统的稳”。
第一组：可用成片率
定义：通过团队质检标准、无需重做的成片占生成候选的比例。它是工具价值的第一指标——所有其他指标都是它的支撑。
统计口径要先钉死三件事：什么算“通过质检”（沿用现有产线标准，不因工具而降低）；什么算“无需重做”（微调字幕算不算？建议按“人工介入时长”分档统计：零介入、半小时内、半小时以上）；统计周期（按周或按批次，固定下来）。口径不统一是验收争议的头号来源——先定口径，再看数字。
健康的变化趋势比单点数字更重要：随着团队熟悉工具、规则调优，可用成片率应该逐月爬升。三个月不动的曲线说明要么工具不适配、要么用法有问题——两个原因都要查。
第二组：差异度
定义：同批候选之间的有效差异水平。量化方法：抽检版本对，按“可感知差异”人工评级（结构差异/片段差异/仅参数差异），统计结构级+片段级差异的占比。
这组指标防止一种隐性退化：工具用熟了之后，团队为了产量把组合规则放松（减少固定项、放宽随机），生成数量上升、有效差异下降——测试价值悄悄被稀释。差异度指标就是这种退化的报警器：数量涨、差异降，说明生产在向“同质复制”漂移。
第三组：精修闭环效率
定义：从批量候选到交付成片的人工环节效率。拆成三个子指标：筛选耗时（从候选到选定代表版本的时间）、精修耗时（代表版本的时间线调整时间）、返修率（交付后被投放侧退回的比例）。
这组指标验证的是“机器走量、人做关键判断”的分工是否真的成立。如果筛选与精修的耗时随使用时间不降反升，常见原因有两个：组合规则设计不合理（候选质量不稳定，人工收拾的负担重）；或预览筛选能力与团队工作流不匹配（找不到、改不动）。两个原因对应两种修法——调规则，或调流程。
第四组：稳定性
定义：任务成功执行的可靠程度。子指标：任务失败率（失败任务/总任务）、失败原因分布（素材问题/配置问题/系统问题）、平均生成时长、以及高峰期的排队情况。
统计失败原因分布的价值最大：失败率高但归因到素材问题，改进方向是素材整理规范（那是团队自己的课题）；归因到配置问题，改进方向是配置模板与培训；归因到系统问题，才是与供应商的对话议题。把所有失败都归咎于工具或都归咎于团队，验收就失去了改进的指向性。
指标体系的运行方式
四组指标按周统计、按月复盘。周统计看趋势是否异常（某项突然恶化先查口径再查原因），月复盘回答三个问题：哪个指标在改善、哪个在恶化、恶化的归因是什么。指标数据同时是团队内部的对齐工具——生产、投放、管理层看同一套数字，验收争议才有共同的讨论基础。
还有一条使用纪律：指标是改进工具，不是考核鞭子。一旦团队开始为“可用率好看”而放水质检标准，指标就失效了。口径的严肃性高于数字的漂亮程度。
指标之外的月度复盘三问
数字之外，每月复盘建议固定回答三个开放问题：这批生产里，最浪费工时的环节是什么（指标未必捕捉到的隐性成本）？团队对工具的信任度在升还是降（信任度影响工具被正确使用的程度）？如果明天重来一遍，哪一步会换个做法（流程优化的线索来自复盘而非报表）？
三个问题的答案不进指标体系，但决定指标体系的迭代方向——比如发现“筛选耗时”居高不下的原因是没有养成先筛后修的习惯，那要修的是流程不是工具。指标回答“怎么样”，复盘回答“为什么”和“接下来”。
指标起步的最小集
不想一上来就建四组指标的团队，可以从最小集开始：每周只记三个数——可用成片数、总生成数、人工修正总工时。这三个数一个月后就能算出可用率与单位成片的人工成本，覆盖了四组指标里最核心的两条。跑顺之后再逐步补差异度抽检与失败归因。指标体系与生产流程一样，从小而稳起步，比一次搭大而全然后荒废，更接近工业化的精神。
收口
验收指标四组：可用成片率（产出的质）、差异度（产出的变）、精修闭环效率（流程的顺）、稳定性（系统的稳）。两条运行纪律：口径先行（先钉死统计口径再看数字）、指标用于改进而非考核。验收不是一次性的采购动作，而是工具加入生产线后的持续体检——指标体系搭好，每次体检都在告诉团队下一个改进点在哪。