企业的生成式 AI 应用要上生产，平台工程师都要回答同一个问题：护栏（guardrail）到底该用什么。LLM 当裁判（LLM-as-a-judge）灵活但要 GPU、延迟高；传统分类器又快又稳，却得为每个风险单独标注数据、训练模型。

2026 年 10 月 2 日，Red Hat AI Safety 团队的 Dr. Rob Geada、Dr. Mac Misiura 和 Shelton Cyril 发布了一篇基准测试报告，用同一套评测流程测了 4 类共 9 套护栏方案，回答一个正被热议的问题：TypeSafe AI 主推的「决策模型」（decision model）是否真像宣传的那样，兼得两者的好处。结论并不客气。

决策模型是什么，卖点在哪

决策模型不生成文本，而是接收一个「状态」和一组问题，直接返回固定结构的答案。报告举了一个硬币的例子：输入状态「这枚不公平的硬币有 60% 概率出正面」和问题「下一次会是正面吗」，输出是概率值 0.58，而不是一段解释文字。

这种范式有三个卖点：输出有保证的结构与类型安全，比如问概率一定拿到 0 到 1 之间的数；不逐 token 生成，所以比 LLM 更快更便宜；零样本（zero-shot）可用，不必像传统文本分类器那样为每个任务微调。

不过报告也指出，这个思路并不新鲜。2019 年的 BART-large-mnli 就是零样本分类器，开源替代品也已经出现：Laya 用 ModernBERT 做骨干，vLLM 则用 DiffusionGemma 通过实验性的 /v1/systemone 接口提供 Jev 风格的决策模型。

实验怎么做的

团队在 NeMo Guardrails 里实现了 9 套护栏，覆盖 4 类范式，分别在提示注入（prompt injection）和内容安全（毒性、脏话）两个基准上评测，用的是 EvalHub 的 NeMo Guardrails 评测库，数据集在风险/安全样本之间类别均衡，因此准确率可以直接作为性能指标。

  • 预训练小分类器：Red Hat OpenShift AI 3.6 将默认搭载的 deberta-v3-base-prompt-injection-v2 和 granite-guardian-hap-125m，都是 200M 参数以内、可跑在 CPU 上的「金标准」
  • 零样本分类器：BART-large-mnli
  • LLM 当裁判：Shieldstral-1.0-3B、Nemotron-3.5-Content-Safety-4B（默认策略与自定义策略各一版）、Qwen3.6-35B
  • 决策模型：Jev-1.13.0、Laya、DiffusionGemma

评测端跑在英国，被调的模型跑在美国的数据中心（或 TypeSafe 的服务器），跨洋网络至少给每次请求加上约 56 毫秒延迟，这也是解读延迟数据时必须考虑的前提。

结果：没有银弹

提示注入基准：Qwen3.6-35B 以 89.31% 准确率排第一，200M 的 deberta-v3-base-prompt-injection-v2 以 89.01% 紧随其后，中位延迟只有 54.1 毫秒，是所有方案里最快的。决策模型一档：DiffusionGemma 87.72%、Jev 86.35%、Laya 85.44%，Jev 的中位延迟 348.1 毫秒，明显慢于两个小模型。BART-large-mnli 以 61.49% 垫底。

内容安全基准：Jev 以 86.20% 拿到第一，DiffusionGemma（85.53%）、Qwen3.6-35B（85.47%）几乎并列；granite-guardian-hap-125m 只有 80.27%，但中位延迟 33.2 毫秒，比第二名快一个数量级。Laya 在这个基准上只有 57.87%，几乎垫底。

几个值得注意的结论：

  • 预训练小模型依然最划算。在有充足标注数据、风险定义明确的任务上，200M 级分类器在准确率上与最大模型打平，延迟低一个数量级，还不需要 GPU。报告认为这正验证了 OpenShift AI 3.6 把轻量预测模型放进默认护栏目录的选择。
  • 决策模型没能兑现「更快、更便宜、更好」。Jev 在两个基准上都没有稳定胜过 LLM 裁判、预训练分类器或开源决策模型；报告直接写道，「我们没有发现决策模型相对 LLM 裁判产出更快、更便宜或质量更高的答案」。
  • 风险策略（prompt）比范式更能左右成绩。Nemotron-3.5 从默认策略换到自定义策略，提示注入准确率从 69.37% 提升到 84.84%；Laya 换用专门调优的策略后从 57.87% 升到 75.20%（+17.83 个百分点），而同一份调优策略用在 Jev 上反而掉了 3.67 个百分点——说明适合一种决策模型的提示词未必适合另一种。
  • 专用安全模型不一定可靠。Shieldstral-1.0-3B 的表现明显低于 Mistral 官方基准所暗示的水平，团队为此额外做了数轮提示词工程才得到报告中的结果。

核心总结

  • 测试规模：4 类范式、9 套护栏（预训练分类器、零样本分类器、LLM 裁判、决策模型），覆盖提示注入与内容安全两个基准
  • 最快最准：提示注入上 Qwen3.6-35B 89.31% 第一，200M 的 deberta 分类器 89.01% 紧随且中位延迟仅 54.1 毫秒；内容安全上 granite-guardian-hap-125m 延迟 33.2 毫秒，比第二名快约一个数量级
  • 决策模型表现：Jev 内容安全 86.20% 排第一，提示注入 86.35% 排第四，但延迟并未优于同场的 vLLM 部署方案，整体没有兑现更快更便宜的承诺
  • 开源替代：Laya、DiffusionGemma 与闭源 Jev 互有胜负，说明该范式对模型架构并不挑
  • 关键变量：风险策略的写法影响可达十几个百分点，Laya 调优后 +17.83 个百分点，而同一策略换到 Jev 上是 -3.67 个百分点
  • 结论：有标注数据时优先用轻量预训练分类器；没有时才考虑零样本决策模型，且要接受调提示词的成本

原文：Benchmarking AI decision models against traditional guardrails（Red Hat Developer，2026-10-02）