AgentLongBench：用「横向思维谜题」环境推演给长上下文智能体出题

研究·林晓·2026年8月16日

给长上下文智能体出题——科学评测风封面，右侧节点流程示意智能体与环境的互动回路，底部统计卡片标注 8 类任务、6400 样本、4 档配置。

现有长上下文基准大多在”静态文档”里做被动检索——把多段文本拼起来，问模型某句话在哪。但真实智能体是一边决策一边与环境交互的：上下文会随着它自己的工具调用而演化，需要在多轮反馈里持续追踪状态。这恰恰是静态阅读理解测不出来的。复旦大学与上海创智学院（OpenMOSS）团队提出的 AgentLongBench 正是冲着这个空白而来：用”猜谜游戏”式的横向思维谜题（Lateral Thinking Puzzle）模拟智能体-环境交互轨迹，在 32K 到 4M token 的尺度上系统评测智能体的动态信息合成、状态追踪与非线性推理能力。

论文与开源

论文（arXiv:2601.20730）（26 页，2026 年 1 月发布，cs.CL）
开源仓库（euReKa025/AgentLongBench），MIT 协议
数据集（HuggingFace: ign1s/AgentLongBench），因体积不在仓库内

作者团队来自复旦大学（Fang Shicheng、Wang Yuxin、Liu Xiaoran、Lu Jiahao、Chen Xinchi、Zheng Yining、Huang Xuanjing、Qiu Xipeng）与苏州大学（Tan Chuanyuan）。

核心理念：环境推演而非文档拼接

AgentLongBench 不再把上下文当作可任意拼接的静态文本，而是通过模拟环境推演（Environment Rollouts）来生成因果一致、可验证的交互轨迹。核心测试床是一个横向思维谜题环境：环境初始化一组条目（每条由若干属性向量定义），其中隐藏一个目标；智能体像侦探一样反复查询环境来缩小候选范围。

谜题环境满足闭合世界假设，交互是确定性的：

智能体查询 → 工具的 query_pokemon 调用带条件（如 Type、Abilities、Base Stats 的比较约束）
环境反馈 → 作为确定性 oracle，对猜测给出二元校验（对/错）及逐属性评估，明确每个属性与目标的匹配关系（类别匹配、数值偏差的方向约束）
错误的猜测会返回被猜条目的完整属性画像，强制智能体更新并维护历史约束集

这种机制保证了生成长上下文时轨迹逻辑自洽，避免了随机文档插入带来的伪影。构造时通过参数调节谜题约束的粒度或顺序串联相关交互会话，实现可扩展的长度。

两个正交维度，四个配置

基准围绕两个正交维度组合出四种实验配置，以便把性能退化精确归因到”记忆保持失败”还是”信息过载”：

知识维度——区分参数记忆与上下文推理

知识密集（Knowledge-Intensive, ki）：使用真实世界实体（选用 Pokémon 数据集，2025 年 7 月前版本），无两条条目属性画像完全相同。模型可能因熟悉实体而受益，也可能凭先验知识”幻觉”——比如凭名字猜类型而非看工具输出。
知识无关（Knowledge-Free, kf）：完全符号化掩码，把实体名映射为 Item_84、属性映射为 Attr_1/A1V1 之类的抽象 token。这不同于只做实体替换（如把”牛顿”换成”约翰”），而是彻底消除语义线索，逼模型只依赖交互历史里的逻辑约束，从而无偏测量状态追踪与记忆保持。

信息密度——权衡轮数 vs 单轮密度

简洁响应（Concise, c）：工具只返回满足查询条件的候选交集，每轮 token 密度低。为凑够总长度，交互可长达上百轮，考验智能体在数百轮里保持状态一致、不被早期约束”碎片化”。
冗长响应（Verbose, v）：工具返回每条条件独立的未过滤候选列表（一次查询三个属性就是三份大列表），轨迹轮数少但单轮高密度的结构化噪声，要求智能体在单步内内部求交集、从海量输入中提取关键信息。

任务分类：8 类问题、三个维度

任务按”需要从哪类信息作答”分为三类，用于定位具体失败机制：

工具响应（QA in Tool Response）：解析机器生成日志。含 Count Frequency（统计某条目标在指定轮出现次数）、Find Duplicates（判断某实体是否同时出现在第 i、j 轮工具返回中）、Find Target Offsets（定位某目标首次出现后的两个条目）——考验对信息过载的抵抗力。
环境响应（QA in Environment Response）：追踪演化状态与历史反馈约束。含 Count Correctness、Count Frequency、Find Round with Largest Value、Weighted Summation（对两轮按加权方案算分求差，综合检索与计算推理）——隔离记忆碎片化的影响。
最终猜测（Final Guess）：Intersection 任务，需要基于整条轨迹做全局集合运算推出目标，把检索与演绎推理整合在一起。

数据集覆盖 32K/64K/128K/256K/512K/1M/2M/4M 八档长度，每档 800 样本（4 配置 × 200），四个配置合计 6400 样本；每个问题类型在每档约 25 条（Intersection 最多，50/档）。

实验与关键发现

作者评测了主流模型与记忆系统（32K—4M token）。专有模型含 GPT-4.1、Gemini-2.5-Flash、Claude-Sonnet-4.5、Grok-4.1（后三者评估到 1M—2M）；开源模型含 DeepSeek-V3.2、Qwen2.5-7/14B、Qwen3-30B-A3B、QwenLong-L1.5-30B-A3B、GLM-4-9B-Chat-1M。记忆架构统一以 Qwen3-30B-A3B-Instruct-2507 为骨干，对比标准 RAG、A-Mem、Mem0、MemoryOS。主要结论：

短板不在检索而在动态合成：模型擅长静态检索，却在需要逻辑一致性地把散落信息拼成工作流的任务上急剧退化。Grok-4.1 抗性最强，2M 仍保持 50+；Gemini-2.5-Flash 与 GPT-4.1 越过 256K 后显著下滑（1M 时分别低于 40、30）；开源模型到 1M 已基本归零。
精确定位任务零容忍：如 Find Target Offsets 要求严格的位置感知，一个幻觉的偏移或漏读的历史条目即打断逻辑链，这类任务表现最差。
记忆增强基本无效（甚至负效应）：RAG 与专门记忆框架并未改善骨干模型，基座甚至普遍优于记忆增强变体；MemoryOS 在短上下文（32K）略领先但随历史增长快速退化。作者归因于智能体数据（JSON 数组等结构化工具输出）与检索逻辑错位，以及”有损”检索斩断了推理所需的逻辑依赖。
知识密集 ≠ 推理更强：Intersection 任务在 Knowledge-Intensive 下非平凡（如 GPT-4.1 短上下文约 30–40%），换到 Knowledge-Free 后几乎所有模型跌到近零——说明此前部分成绩来自参数关联而非真正的集合运算。

信息密度才是主因：Adequate Context Length

作者提出 Adequate Context Length（ACL） 概念诊断退化：仅从输入轨迹计算、模型定位并拼装某次查询证据所需遍历的 token 数，与模型输出无关。论文给出 GPT-4.1 在 128K 下的对照：

格式	查询目标	ACL（token）	准确率(128k)
Concise	环境响应	2044.1	47.3%
Concise	工具响应	3040.8	36.0%
Verbose	环境响应	535.8	68.2%
Verbose	工具响应	11439.6	25.3%

结论：总上下文长度相同的前提下，工具响应任务 ACL 显著更大、准确率更低——高密度工具日志所带来的”单轮信息过载”远比长对话的记忆碎片化更难处理。这也解释了为什么环境响应类任务更偏好 Verbose（轮数少、噪声可单跳绕过），而工具响应类任务更偏好 Concise（分散到多轮更易定位证据）。

代码库怎么用

仓库定位是评测工具集：数据集需从 HuggingFace 下载放到 agentlong_bench/benchmark/ 下，目录约定为 设置/长度/类别/问题类型.jsonl（如 ki-c/32k/final_guess/intersection.jsonl）。跑一个单文件评测（在线 API）或本地 vLLM 推理：

# 在线 API 单文件评测
bash scripts/eval_one.sh
# 本地 vLLM 离线评测（指定模型路径）
bash scripts/run_vllm_one.sh --dataset <文件> --model-path <路径> \
  --model-name my-model --tp 4 --pp 2

代码分两层：eval/run.py 读取数据集、用 models/ModelManager 调用模型（支持 OpenAI 兼容接口与环境变量 {SERVICE}_API_KEY/_BASE_URL/_MODEL_NAME）、把输出写成带 raw_response 的 JSONL，支持并行（--workers）与断点续跑（resume）；eval/evaluate.py 按问题类型做规则匹配评分——数值用正则解析 <answer> 标签，布尔/成对列表/交集分别归一化，Intersection 在 Verbose 下用集合 F1、Concise 下用名称精确匹配。论文附录还给出了完整的数据构造流水线：确定性游戏引擎的迭代循环（工具调用→工具返回→模型猜测→引擎反馈）、行为控制参数（history_window、forget_history_prob、mask_prob、探索率 epsilon 等模拟不完美智能体）、以及只保留整轮的截断分桶。

局限与定位

论文在伦理声明中强调，AgentLongBench 仅用于长上下文智能体研究，不用于商业牟利，实验 API 调用总成本约 1.56 万美元。作为新基准，其局限在于任务全部由合成环境生成，聚焦”侦探式”逻辑追踪，未必覆盖开放式真实工作流；但它在”动态、可验证、可控”三个方向上补上了长上下文评测的关键一块，也为后续工具接地推理研究提供了可复现的土壤。