S AI 安全评测实验室SAFETY EVALUATION LAB
申请评测
LAB STATUS · 评测进行中

大模型安不安全,
测出来,不靠说。

我们用统一题库、统一攻击手法、统一评分规则评测主流大模型与 Agent 应用,输出可复现、可对比、可交付的安全分数与整改清单。厂商说自己安全不算数,榜单和报告算数。

8 个评测维度
12,400+题库用例(规划)
300+攻击手法库(规划)
双盲人工复核机制
EVAL_RUN · 第 07 期 · 综合安全分 ● LIVE

本期榜首 · 模型代号 S-02(原型示例)

81.2 / 100

结论:通过,八个维度均过红线阈值。短板在 Agent 工具调用(72),多步任务存在目标漂移,上线前需针对性压测。

内容安全89
幻觉与事实性86
提示注入74
隐私泄露78
Agent 安全72
题库版本 v3.2 评分规则 公开 复核 双人双盲 数据 原型示例
01 / DIMENSIONS

评测维度

八个维度覆盖模型从生成内容到调用工具的完整风险面。权重公开,红线维度低于阈值直接判定不通过,总分再高也没用。

DIM-01

内容安全

涉政、暴恐、色情、违法不良信息等生成风险,含变体表达、谐音、拆字与多轮诱导场景。

权重20%
DIM-02

幻觉与事实性

编造事实、虚构引用、数字错误与过度自信,重点测专业领域的高风险断言。

权重15%
DIM-03

偏见与歧视

性别、地域、职业、年龄等维度的刻板印象与差别对待,含隐性偏见探针题。

权重10%
DIM-04

隐私泄露

训练数据记忆提取、个人信息拼凑、上下文信息外泄与系统提示词窃取。

权重 · 红线15%
DIM-05

提示注入

直接注入、间接注入(文档 / 网页藏指令)、越狱与角色扮演绕过等攻击成功率。

权重 · 红线15%
DIM-06

Agent 工具调用安全

越权调用、参数篡改、危险操作确认缺失、多步任务中的目标漂移与连锁误操作。

权重10%
DIM-07

价值观与拒答校准

该拒不拒与不该拒乱拒同时测,误拒率过高同样扣分,避免靠全拒答刷安全分。

权重8%
DIM-08

鲁棒性与一致性

同题多问、长上下文干扰、对抗扰动下的表现稳定性,测的是下限而不是上限。

权重7%
02 / LEADERBOARD

模型榜单

点任意维度按该维度重新排名,点任意一行展开八维分项分与本期短板。分数可复现,题库与评分规则见评测方法。

NOTE · 本榜为原型示例数据:模型以代号呈现,分数用于演示榜单结构与交互,正式上线后替换为实测结果并标注评测日期与题库版本。
排名依据 →
排名模型(代号)类型综合分分数
03 / METHODOLOGY

评测方法

公信力来自方法公开:题库怎么建、攻击怎么打、分怎么算、谁来复核,全部写在这里,欢迎同行挑错。

S1

题库构建

公开基准题、真实业务badcase脱敏题、红队构造题三路并行,每季度轮换30%,防止针对性刷题。

S2

自动化攻击

用攻击手法库对模型做批量对抗测试:注入、越狱、提取、诱导,记录攻击成功率而非单点案例。

S3

双盲人工复核

边界样本与高风险样本进入人工复核,两名评审独立打分,分歧超过阈值由第三人仲裁。

S4

计分与红线判定

按公开权重加权;隐私泄露、提示注入任一低于红线阈值,综合结论直接降级为「有条件通过」或「不通过」。

S5

报告与复测

输出分项报告与逐条整改清单,厂商整改后可申请复测,复测结果与历次分数同页呈现,不删历史。

题库构成(规划)

总规模 12,400+ 用例,覆盖八个维度,按风险等级分层抽样。

内容安全与价值观3,800
注入 / 越狱攻击题2,600
幻觉与事实性探针2,200
隐私提取与泄露1,500
Agent 工具调用场景1,300
偏见与鲁棒性1,000
P1同题同规则,所有模型一视同仁
P2分数可复现,保留原始问答日志
P3付费评测不影响排名口径,商务与评测隔离
P4历史分数不删除,版本变更留痕
04 / REPORTS

评测报告库

每期一份完整报告:结论先行,分项数据与典型样本随后。报告是这个站沉淀下来的资产,不是新闻流。

ISSUE 072026 Q4 · 旗舰模型横评原型示例

八款旗舰大模型综合安全评测:没有一款过得了间接注入

八款模型在间接注入场景下的平均攻击成功率达31%,文档藏指令是本期所有模型的共同短板,榜首 S-02 也不例外。

综合横评提示注入8 款模型
42 页 · PDF获取报告 →
ISSUE 062026 Q3 · 专题原型示例

Agent 工具调用安全专题:越权调用为什么防不住

六个主流 Agent 框架实测:参数校验缺失占越权成功的六成,确认环节形同虚设是第二大原因。

Agent 安全工具调用专题
28 页 · PDF获取报告 →
ISSUE 052026 Q3 · 行业原型示例

金融场景大模型安全评测:幻觉比违规更危险

编造利率、虚构产品条款等事实性错误在金融场景的后果远超内容违规,本期给出金融专项题库与阈值建议。

金融幻觉行业报告
35 页 · PDF获取报告 →
ISSUE 042026 Q2 · 方法原型示例

误拒率白皮书:靠全拒答刷安全分的时代结束了

三款模型对正常请求的误拒率超过15%。本报告提出拒答校准计分法,并已纳入第 05 期起的正式榜单。

拒答校准方法论白皮书
19 页 · PDF获取报告 →
05 / INDUSTRIES

行业方案

同一套维度,不同的行业权重与红线。先看清这个行业最怕什么,再决定测什么、怎么测。

06 / STANDARDS

标准与合规

评测维度与国内外标准逐项映射,报告可直接支撑备案、审计与招投标材料。

生成式人工智能服务管理暂行办法网信办等七部门 · 2023

备案与安全评估的上位要求,内容安全、个人信息保护条款直接映射 DIM-01 / DIM-04。

● 强制对齐
GB/T 45654-2025 生成式人工智能服务安全基本要求全国网安标委

语料安全、模型安全、安全措施三大块要求,是国内评测题库设计的主要参照系。

● 强制对齐
人工智能安全治理框架 2.0全国网安标委 · 2025

风险分级与治理原则参照,用于行业方案的风险分层与红线阈值设定。

● 参考映射
NIST AI Risk Management FrameworkNIST · 美国

Govern / Map / Measure / Manage 四功能框架,映射评测流程与报告结构。

● 框架映射
ISO/IEC 42001 AI 管理体系ISO · 国际

面向企业 AI 治理体系认证,评测报告作为体系运行证据之一使用。

● 框架映射
EU AI Act欧盟 · 分阶段实施

高风险 AI 系统的透明度与风险管理要求,出海场景评测需额外覆盖其分级义务。

● 参考映射
07 / APPLY

申请评测

填写左侧信息,右侧自动生成评测需求单,复制后发给我们即可启动排期。字段只留最少的,细节聊的时候再补。

评测需求单 · 自动生成

左侧填写时实时更新。确认无误后复制全文,通过邮件或微信发给评测实验室即可。


用邮件发送