动作质量评估（Action Quality Assessment）：AI 给体操运动员的动作打分

解说员刚才还在赞美“这一跳的空中姿态近乎完美”，下一秒裁判的分数就落在屏幕角落：9.733。作为观众，你可能分辨不出9.733和9.700的差别；裁判能，而且他们能说出差别藏在哪——身体的微小偏转、入水时手臂错开的几厘米、落地瞬间脚踝的一丝松懈。

让AI也学会这件事，就是动作质量评估要解决的问题。这个方向在国际上有个更常见的英文名：Action Quality Assessment（AQA）。

裁判的0.1分，藏在哪几帧里？

先做一个非常关键的区分：判断“他做了什么动作”和判断“这个动作做得多好”，是两件难度完全不同的事。

前者是动作识别，一个分类问题——模型要从一堆候选标签里选一个，“跳马”“自由体操”“吊环”，选对了就行。后者是动作质量评估，一个回归问题——模型要输出一个接近裁判给分的连续数值。

麻烦就藏在“连续数值”这四个字里。同样是“转体落地”，一名选手落地后纹丝不动，另一名往后跳了一小步。两个视频的动作标签完全一样，裁判的分数可以相差0.4分。模型要捕捉的，是几帧之间、甚至像素级的轨迹差异。

我最早以为，AI得像裁判一样先读一遍规则手册

我刚接触AQA时，有一种很直觉的预设：AI要给体操运动员打分，必须有人先把整套规则书写进模型——屈体角度偏差超过10度扣0.1，落地出界扣0.3，空中高度不够扣0.2。我当时觉得这是一项几乎不可能完成的工程，因为规则每年在变，裁判的主观尺度比规则书复杂得多。

后来看了Parmar和Morris在CVPR 2017发表的开山级工作《Learning to Score Olympic Events》，我才发现我的预设完全错了。他们的做法朴素得惊人：用预训练的3D卷积网络（常用的有C3D和I3D）把整段视频提取成特征，再接一个全连接回归层，直接输出裁判平均分。全流程拆开就是五步：

把竞赛视频切成若干短视频片段。
用3D卷积网络把每个片段编码成特征向量。
把所有片段的特征聚合起来，得到整段动作的整体表示。
把整体表示送进回归层，输出一个连续分数。
训练目标是让这个分数和裁判平均分的均方误差最小。

更关键的还有他们做的一个对比实验：先让模型识别这是哪项运动，再基于识别结果做质量评估——先分类、再回归。结果出乎很多人意料：直接端到端回归，效果比先分类再回归好得多。

我一度想不通“识别动作怎么反而帮不上忙”。后来才明白：分类任务会逼着模型去学那些“区分不同动作”的特征，这些特征恰恰把“同一个动作做得好与坏”的细微差异给丢掉了。质量评估需要的是连续性和敏感性，不是类别区分性。

绝对分数不靠谱，那就先学谁更好？

直接回归很简洁，但有一个绕不开的问题：裁判分数本身是主观的。同一段动作，裁判A给9.8，裁判B给9.6，模型该学谁？

数据集的常见妥协是取评委平均分。可平均分掩盖了分歧：如果两名裁判的原始分差了0.3，把9.7丢给模型去拟合，模型学到的其实是现实中不存在的“平均裁判”。

于是一批研究者换了赛道：不预测绝对分数，改用排序学习（Learning to Rank）。模型不需要输出9.733，只需要学会判断“这段动作比另一段做得更好”。就像你不需要知道人民币和美元的汇率，也能比较两瓶水哪个更贵。排序信号比绝对分数更稳健，对标注分歧的容忍度更高。

四条主流技术路线大致是这样分的：

技术流派	核心思路	解决什么问题	代价或局限
端到端回归	视频特征直接映射到分数	简单直接，可端到端训练	对裁判主观分歧敏感，需要大量准确标注
排序学习	学成对的相对好坏关系	绕开绝对分数的主观性	需要构造对比对，输出与真实分制脱钩
时序分解评估	先切段再逐段打分	贴合裁判逐步扣分的真实决策	需要昂贵的阶段边界标注
骨架图卷积网络	在姿态序列上做图卷积	可解释性强，贴近运动学	依赖姿态估计的精度，误差会传导

这几条路线现在早已不是非此即彼的关系。前沿工作经常把回归、排序和骨架建模拼在一起，互为补充。

比打分更费劲的，是先看懂运动节奏

如果你只关注“打分”，可能会忽略一个隐蔽得多的难点：时序对齐。

同样是跳马，选手A可能在第二个空翻才开始进入最佳状态，选手B则起跳后一气呵成。如果把两段视频切成等长片段送进模型，模型看到的“第17帧”，对A来说可能刚起跳，对B已经翻到空中了。这种错位会让回归模型学到一堆混乱的对应关系。

所以高质量AQA数据集的标注，远不止“给视频打分”这么简单。研究者需要逐帧标出起跳、翻转、着陆这些事件边界。有些数据集还会要求标注员判断每一帧对最终分数的贡献——这个动作该扣0.1还是0.3，得靠人看完慢放来定。

数据量也因此上不去。目前公开常用的AQA数据集之一，是覆盖十几届奥运转播的Olympic Sports，包含跳水、花样滑冰、体操等项目，但一共也只有3000多段视频。对比ImageNet的百万级图片，你就知道这个领域的AI是拿着半个馒头在学做菜。

AI现在能当裁判吗？

先看事实：在现有AQA基准上，先进模型的平均绝对误差已经能压到与人类裁判之间分歧相当的区间。实验室里确实很能打。

但真让它坐上裁判席，有三个绕不过去的问题。

第一，它学的是“裁判过去下过的结论”，不是“规则为什么这样定”。国际体操联合会每四年改一次规则，新规则一发布，模型就得重新标注、重新训练。人类裁判读几页新规则就能上岗。

第二，它读不懂“表现力”。花样滑冰的评分里，艺术印象是实打实的一部分。这不是靠骨骼关键点的角度能表征的。你可以让模型在统计上模仿人类对艺术感的打分，但它永远无法解释为什么给这个分。

第三，也是最反直觉的：当裁判们自己意见不一致时，并不存在一个“正确分数”能让模型学。平均分只是一个统计构造，不是物理量。模型逼近的，是整个人群有分歧时形成的共识平均值——说得难听一点，是“平均偏见”。

所以我对这个领域的判断是：AQA在短期内最有价值的角色，不是取代裁判，而是在裁判身边当一个高效助理——自动回放寻帧、标记扣分点、在争议判罚时提供数据支撑。“AI主裁判”之所以还早，不是因为Transformer不够强，而是因为打分这件事的本质是人类争议的仲裁。用一个机器学习模型去逼近一场人类争议，最好的结果也只是逼近得比较好看。