能直接跑数据、评判规则或评判模型公开，不依赖未放出的代码。
中文目标是中文角色扮演模型，英文集只在中文化后才用。
有已发表分数可对账论文榜或厂商榜有现成分数，能校验我们的管线没跑偏。
对话生成而非选择题角色模型不一定配合做选择题，RoleEval、SocialBench 这类因此不采纳。
01
MiniMax Role-play Bench
MiniMax · 2026-01 · Hugging Face
六个集里唯一的百轮自博弈协议：用户由模拟器扮演，连续 50 轮，按 Worlds / Stories / User Preferences 三组扣分。它直接对应角色产品里"聊到几十轮以后会不会崩"的问题，也是 M2-her 论文验证过的方法，其他集都测不到这个尺度。
- 覆盖维度
- C2 剧情推理C3 对话节奏C5 主动发起C8 拟人度
- 对账
- MiniMax 自家榜（含 doubao 1.5 pro 80.64）
- 局限
- 模拟器与判官提示词未公开，由我们自写，分数只能看相对高低；厂商自家榜，M2-her 排第一。
02
CharacterBench
清华等 · 2024-12 · GitHub
维度最细的中文角色集：记忆、事实、边界、属性与行为一致、情绪自调节、共情、道德稳定与鲁棒、类人、参与度共 13 项，并附带开源评判模型 CharacterJudge 可作第三方对照。它是人设一致（C1）和边界拒答（C7）的主要来源。
- 覆盖维度
- C1 人设一致C4 情感递进C6 长程记忆C7 边界拒答C8 拟人度
- 对账
- 论文榜
- 局限
- 单轮续写格式，测不到多轮漂移。
03
CharacterEval
人大等 · 2024-01 · GitHub
最早也最常被引用的中文角色扮演集，77 个影视剧角色、真实剧本对话，数据、脚本和评判模型 CharacterRM 全部开源，后续多篇论文复测过，是对账最可靠的一个；知识曝光、知识准确、幻觉三项专门测人设知识。
- 覆盖维度
- C1 人设一致C3 对话节奏C4 情感递进C8 拟人度
- 对账
- 论文榜与后续论文复测
- 局限
- 公开 IP 角色有记忆效应，新模型容易饱和。
04
RMTBench
2025-07 · Hugging Face
用户动机驱动的多轮集：每段对话都带明确的用户意图，考察模型能不能理解情绪、推进剧情、维持角色不暴露 AI 身份，以及感知用户偏好。它补上了 CharacterBench、CharacterEval 两个单轮集缺的多轮能力，又比百轮集便宜。
- 覆盖维度
- C2 剧情推理C4 情感递进C6 长程记忆C7 边界拒答
- 对账
- 论文榜
- 局限
- 评判提示词按论文复现，对账会有偏差。
05
TRACE Bench（中文化）
2026-08 · MIT 协议开源代码
唯一带"任务清单"的集：每个用例预置一张待办清单，由模拟用户在最多 30 轮里逐项推进，分数是清单完成率，而不是判官印象分。这是最接近游戏 NPC、剧情任务类场景的公开协议，也是六个集里唯一能量化短期记忆（STM）的。
- 覆盖维度
- C1 人设一致C6 长程记忆清单覆盖率
- 对账
- 26 模型英文原榜
- 局限
- 用例中文化后不能与英文榜直接比，只在我们测的模型间横比；判定方是模拟用户（DeepSeek）而非 GPT 判官。
06
中文图灵判别集
自组 · 2026-10 · 取材 CharacterEval 真实剧本
调研后确认没有现成的中文角色扮演拟人度集，所以自组：取真实剧本上文，在最后一句角色台词处切开，真人原句作金标，模型在同一位置生成，判官盲判哪句出自真人。它是 C8 拟人度唯一的"真值层"指标，另算字级词汇多样性 MATTR 与 Yule's K。
- 覆盖维度
- C8 拟人度词汇多样性
- 对账
- 判官先在 Inverse Turing Bench 上过线
- 局限
- 金标偏书面剧本腔，不等于聊天语料；真人判官留到 V1。