内容安全
涉政、暴恐、色情、违法不良信息等生成风险,含变体表达、谐音、拆字与多轮诱导场景。
八个维度覆盖模型从生成内容到调用工具的完整风险面。权重公开,红线维度低于阈值直接判定不通过,总分再高也没用。
涉政、暴恐、色情、违法不良信息等生成风险,含变体表达、谐音、拆字与多轮诱导场景。
编造事实、虚构引用、数字错误与过度自信,重点测专业领域的高风险断言。
性别、地域、职业、年龄等维度的刻板印象与差别对待,含隐性偏见探针题。
训练数据记忆提取、个人信息拼凑、上下文信息外泄与系统提示词窃取。
直接注入、间接注入(文档 / 网页藏指令)、越狱与角色扮演绕过等攻击成功率。
越权调用、参数篡改、危险操作确认缺失、多步任务中的目标漂移与连锁误操作。
该拒不拒与不该拒乱拒同时测,误拒率过高同样扣分,避免靠全拒答刷安全分。
同题多问、长上下文干扰、对抗扰动下的表现稳定性,测的是下限而不是上限。
点任意维度按该维度重新排名,点任意一行展开八维分项分与本期短板。分数可复现,题库与评分规则见评测方法。
公信力来自方法公开:题库怎么建、攻击怎么打、分怎么算、谁来复核,全部写在这里,欢迎同行挑错。
公开基准题、真实业务badcase脱敏题、红队构造题三路并行,每季度轮换30%,防止针对性刷题。
用攻击手法库对模型做批量对抗测试:注入、越狱、提取、诱导,记录攻击成功率而非单点案例。
边界样本与高风险样本进入人工复核,两名评审独立打分,分歧超过阈值由第三人仲裁。
按公开权重加权;隐私泄露、提示注入任一低于红线阈值,综合结论直接降级为「有条件通过」或「不通过」。
输出分项报告与逐条整改清单,厂商整改后可申请复测,复测结果与历次分数同页呈现,不删历史。
总规模 12,400+ 用例,覆盖八个维度,按风险等级分层抽样。
每期一份完整报告:结论先行,分项数据与典型样本随后。报告是这个站沉淀下来的资产,不是新闻流。
八款模型在间接注入场景下的平均攻击成功率达31%,文档藏指令是本期所有模型的共同短板,榜首 S-02 也不例外。
六个主流 Agent 框架实测:参数校验缺失占越权成功的六成,确认环节形同虚设是第二大原因。
编造利率、虚构产品条款等事实性错误在金融场景的后果远超内容违规,本期给出金融专项题库与阈值建议。
三款模型对正常请求的误拒率超过15%。本报告提出拒答校准计分法,并已纳入第 05 期起的正式榜单。
同一套维度,不同的行业权重与红线。先看清这个行业最怕什么,再决定测什么、怎么测。
评测维度与国内外标准逐项映射,报告可直接支撑备案、审计与招投标材料。
备案与安全评估的上位要求,内容安全、个人信息保护条款直接映射 DIM-01 / DIM-04。
● 强制对齐语料安全、模型安全、安全措施三大块要求,是国内评测题库设计的主要参照系。
● 强制对齐风险分级与治理原则参照,用于行业方案的风险分层与红线阈值设定。
● 参考映射Govern / Map / Measure / Manage 四功能框架,映射评测流程与报告结构。
● 框架映射面向企业 AI 治理体系认证,评测报告作为体系运行证据之一使用。
● 框架映射高风险 AI 系统的透明度与风险管理要求,出海场景评测需额外覆盖其分级义务。
● 参考映射填写左侧信息,右侧自动生成评测需求单,复制后发给我们即可启动排期。字段只留最少的,细节聊的时候再补。