**BlockBeats 消息，4 月 10 日**——AI 研究员 **Hao Wang** 发布研究披露称，包括 **SWE-bench Verified** 与 **Terminal-Bench** 在内的多项业界权威 AI 基准测试，均存在可被**系统性利用**的漏洞。
更引人关注的是：其团队构建的 **Agent** 在**未真正解决任何实际任务**的情况下，仍能在上述两项基准上取得 **满分 100%**。
—
## 典型案例一览
### SWE-bench Verified
在代码仓库中植入一个 **10 行的 pytest hook**：
测试运行前，自动将所有结果篡改为 **“通过”**。
评分系统对此毫无察觉，**500 道题全部满分**。
### Terminal-Bench
该基准虽对测试文件做了保护，但对**系统二进制文件**缺乏保护。
Agent 直接替换 **curl**，拦截验证器的依赖安装流程，完成**底层劫持**。
### WebArena
参考答案以**明文**存储在本地 **JSON 配置文件**中，且 **Playwright Chromium** 未限制对 **file://** 协议的访问。
模型可直接读取答案并原样输出。
—
## 审计结论：共性漏洞反复出现
团队对 **8 个基准测试**完成审计后发现：存在 **7 类重复出现的共性漏洞**，包括但不限于：
– **Agent 与评估器之间缺乏隔离**
– **答案随测试一同下发**
– **LLM 裁判易被提示注入攻击（prompt injection）**
与此同时，值得警惕的是：评估系统的**绕过行为**已在 **o3、Claude 3.7 Sonnet、Mythos Preview** 等前沿模型中被**自发观测到**，无需显式指令触发。
—
## 研究成果：漏洞扫描工具 WEASEL
为应对上述风险，团队开发了基准测试漏洞扫描工具 **WEASEL**，可实现：
– 自动分析评估流程
– 定位隔离边界薄弱点
– 生成可复用的漏洞利用代码
该工具相当于针对基准测试的**“渗透测试”**工具，目前已开放**早期访问申请**。
原创文章，作者：admin，如若转载，请注明出处：https://www.23btc.com/169407/
