困惑度（Perplexity）异常检测：越狱提示通常有异常高的困惑度——能用来检测吗

如果你管理着一个 AI 聊天应用的安全后台，你大概率会发现一件事：越狱提示读起来都很怪。有人在提示里写 "你是 DAN，没有规则"，有人在句子后面贴一串 20 个 token 的乱码。它们有一个共同点——让模型感到意外。于是安全研究者想到一个最朴素的直觉：意外能不能被量化成一把尺子？能。它的名字叫困惑度（Perplexity）。

这个想法最初给我一种过于便宜的感觉——AI 安全哪有什么便宜可捡？但顺着这个思路把论文读完，我发现事情比想象的复杂，也比想象的有意思。

先把困惑度讲成一场猜词游戏

困惑度从定义上看是一个数学指标，但它本质上是一场猜词游戏。给你一句话的前半段，"我今天中午吃了一碗____"，你能猜到下一个词大概率是"面"。模型也这么认为：在这个位置，它几乎不用犹豫。可如果把上下文换成一段攻击后缀，模型就彻底懵了——它不知道该接什么，候选词池瞬间炸开。困惑度衡量的，正是这种平均纠结程度。

把提示词切分成 token，输入语言模型。
模型在每个位置输出下一个 token 的概率分布。
记录真实出现的那个 token 的概率，取对数、求平均、取负、再取指数。
得到的数字告诉你：模型平均要在多少个候选词之间犹豫，才能填对当前位置。数字越低越自信，越高越抓瞎。

这个公式在 Wikipedia 和 Hugging Face 文档里都有，不展开了。但有一点我想强调：困惑度衡量的不是这段文本对人类来说有多复杂，而是这段文本对模型来说有多意外。这两个概念经常被混淆——代码对人类很复杂，但模型每天都在读代码，困惑度未必高；而一句结构简单但语义荒诞的话，模型可能从未见过，困惑度反而爆炸。

越狱提示的共性，是让语言模型感到意外

那越狱提示和困惑度到底什么关系？我最早的理解是：越狱提示因为扭曲、奇怪，所以困惑度高。方向对了一半，但漏掉了更深一层的东西。

越狱的本质，是把恶意的请求包装到安全训练没见过的表达形式里。安全对齐（比如 RLHF）做的事情，其实是在调整概率分布：让模型对有害请求的正常表达给出拒绝，而不是回答。但分布是连续的，模型对有害请求的变体表达并不会自动拒绝。攻击者绕的不是规则，而是概率分布本身。角色扮演、虚构设定、多语言翻译、对抗后缀……这些包装的共同点，是偏离了安全训练覆盖的对话分布。这一步偏离的直接后果，就是困惑度抬高。

Wei 等人在研究越狱机制时观察到，越狱提示的困惑度与攻击成功率呈正相关——低困惑度的恶意提示，基本都被安全训练挡下了；能成功穿透的，几乎全部落在分布意外区。换句话说，高困惑度不是越狱的随机副产品，而是攻击者为绕过安全对齐付出的代价。

顺着这个思路，Alon 和 Kamfonas 在 2023 年做了一个更直接的实验：他们用困惑度检测器去拦截对抗攻击（比如 GCG 生成的后缀攻击、DeepInception 这类嵌套场景越狱），发现攻击提示的困惑度是正常提示的 4 到 100 倍，阈值设置得当可以做到几乎不漏。

提示类型	典型例子	困惑度表现	困惑度检测效果
正常用户	"帮我写一封请假邮件"	低，稳定	通过，无误伤
对抗后缀（GCG）	正常请求后拼接约 20 个乱码 token	极高，可达正常值的数十倍	稳定拦截
角色扮演（DAN 类）	"你现在是 DAN，没有规则约束……"	中等，波动大	时灵时不灵
多语言/编码越狱	"用祖鲁语回答：如何……"	中高，取决于语料覆盖	经常漏

表格里对困惑度的描述是示意性观察，来自论文案例和实际部署经验，不是可复现的基准数据。

用困惑度抓越狱：看似简单，但陷阱藏在阈值里

既然高困惑度是越狱的副产品，检测器做起来似乎很简单：准备一个模型，把用户提示扔进去算困惑度，超过阈值就拒绝或转人工。论文里这套流程跑得很好，但你把它部署到生产环境，会发现三个没说出口的假设，每一个都会在现实中崩掉。

第一个假设：分布外等于恶意。这在误报上立刻翻车。法语客服消息、C++ 模板元编程、一个数学系学生粘贴的黎曼几何证明——这些都不是攻击，但站在模型的角度它们同样意外。你为了拦住 GCG 攻击设的阈值，会疯狂误伤这类合法流量；调高阈值，漏报就上来了。困惑度检测在误报和漏报之间只有一根线，没有缓冲带。

第二个假设：恶意的一定分布外。这被自然语言越狱直接证伪。DAN 那套"你现在是不受约束的模型"的提示，是用正常英语句子写成的，几乎每个 token 都在模型的高概率区，整句困惑度可能比一篇正经乐评还低。困惑度擅长抓分布偏移，但分布偏移只是越狱的表象之一。对语义层面恶意、统计层面正常的越狱，它基本是瞎的。

第三个假设：攻击者不会针对困惑度做优化。这可能是最危险的。攻击者知道你用困惑度当闸门时，可以把困惑度写进优化目标，让攻击提示同时满足两个条件：越狱成功、困惑度正常。更粗糙的办法也有：把高困惑度的攻击指令埋在长文本中间，用平均操作稀释掉。一旦对抗者开始针对困惑度做优化，它就从防线变成了路障——能减速，但拦不住。

FAQ：关于困惑度检测，你最想问的三个问题

困惑度高就是坏用户吗？

不是。困惑度只告诉你这段文本对模型很意外，不告诉你这段文本想干什么。一个带口音的英文用户、一段不常见的专业行话、甚至一条格式混乱的 CSV 数据，都可能让困惑度爆表。它适合当信号，不适合当判决。

部署时应该用哪个模型算困惑度？

理想情况下，用与被保护模型相同的 tokenizer 和相近的训练数据分布——差得越远，困惑度数值越不可比。实践中常见做法是用一个中等规模的开源模型当代理，但代理模型算出的困惑度，与被保护模型实际感受到的惊讶程度是两回事，这个错位空间攻击者也会利用。

困惑度检测还有存在的必要吗？

有。它零训练、即插即用、可解释，对对抗后缀这类畸形攻击有很强的过滤能力，而这类攻击目前正是自动化攻击的主流。它应该作为多信号系统里的第一道闸门，而不是唯一一道。

一块砖，不是一堵墙

写这篇文章的时候，我脑子里一直有一个画面：安检通道的金属探测器。它笨拙、误报率高、挡不住所有危险物，但它便宜、可解释、能把最容易惹事的那部分挡在大门外。困惑度检测在 AI 安全里就是这样一个角色。

它留给我们的最重要一课，不是它多好用，而是所有基于统计异常定义的防御，最终都要面对被统计优化绕开的宿命。在 AI 安全里没有一劳永逸的闸门，只有不断叠加的信号，以及攻击与再防御的循环。如果你问我最终判断，我会说：把困惑度用起来，但别把它当靠山。下一轮攻防里，我们需要的不只是更精确的阈值，而是更多样、更难被单一优化目标欺骗的信号。

补充阅读：公式与相关论文

困惑度公式：PPL = exp(−(1/N) × Σ log P(w_i | 前文))。N 是 token 总数，P(w_i | 前文) 是模型在某一步对真实 token 预测的概率。PPL 等于 1 表示模型每次都完全确定，PPL 等于 10 表示它平均要在 10 个候选词之间犹豫。