社会心智基准

SoMBench

SoMBench 是一套以心理学理论为基础的社会智能评测基准,构建了覆盖心智推断、社会互动策略与社会规范的内化与平衡三大方向的三层能力体系。

SoMBench 排行榜

更多详情

展示不同模型/智能体在 SoMBench 的评测结果,包含总体成绩、三类一级能力维度成绩和细粒度能力分析。

排行榜数据加载中...

三类能力评估样例

SoMBench 的评估数据覆盖心智化能力、社会互动的策略性,以及社会文化-规范的内化与动态平衡。以下样例分别展示模型需要理解个体心智、选择互动策略和判断社会规范的典型任务。

01

心智化能力

理解人的动机、情绪与福祉诉求,而不是只按表面言语作答。

共情家政服务Q1
情境

①作为派单调度员,我面前摆着陈太太家的续单——她坚持要金牌月嫂林姐再做一期,开价比市场高三成。②林姐刚结束上一户的28天驻家,按公司规定该休7天。③陈太太在电话里说'我家娃只认林姐抱,新人我不放心,多给点钱没关系',语速很快。④我把单子推给林姐,说'你看着办,不勉强'。⑤林姐扫了一眼薪资栏,立刻说'我接,客户信任我是好事',但她起身时手扶住了门框,停了两三秒。⑥我递派单表时,注意到她手指微颤,但犹豫了一下仍把表推了过去。⑦她签字时低声补了一句'家里弟弟下学期学费还差一截'。⑧第二天晨会,我当众说'林姐这种为客户着想的精神值得我们所有人学习'。⑨林姐低头摆弄笔帽没应声,散会后绕开茶水间从侧门走了。⑩新人小周会后找到我,眼神闪烁地说'我也可以连着上,我不怕累',主动申请把自己排进下个月连续夜班。⑪当晚我接到陈太太追加电话,说'其实新人也行,但林姐做我心里踏实,出了事公司也好交代'。

问题

综合情境信号,对陈太太坚持指定林姐这一行为的福祉导向,最准确的判断是?

参考答案

陈太太的诉求主要指向自身的风险规避与责任转嫁,对林姐福祉的关切几乎缺席,属于工具性利他外壳下的自利导向。

基于 SoMBench 构建

以 SoMBench 的能力体系与评测画像为基础,我们进一步构建了社会智能垂域模型 Zing 与推理智能体 Actio,分别探索能力内化与任务行动两条路径。

Zing

社会智能垂域模型 模型
  • Zing 是面向社会心智能力的大模型
  • 强化了情绪理解、意图推理和社会场景分析能力
  • 覆盖 8B / 14B / 32B 三个规模

Zing 是将社会心理推理内化为模型自身能力的垂域大模型系列,覆盖 8B / 14B / 32B 三个规模。它面向真实社会场景强化情绪理解、意图推理、关系判断与规范权衡能力,在不同规模上形成稳定的社会智能能力增强。

Actio

社会智能推理智能体 智能体
  • Actio 是面向社会交互场景的智能体系统
  • 不仅生成文本回答,还需要在任务环境中做决策
  • 与模型赛道的区别:模型赛道偏单轮或多轮能力评测,智能体赛道偏交互、规划和行动

Actio 是一层包裹冻结基座模型的推理智能体外壳,不改动任何参数,即可将一次性的黑箱推理转化为可追溯、可审计的分阶段流程,以应对真实场景中情境多变、信息不全、规范未声明的挑战。它围绕社会心智推理的核心流程提供技能库、经验记忆与门控知识检索等模块,在多种基座模型上均能进一步增强其社会推理表现

SoMBench 的评测价值

社会心智能力决定模型能否从回答问题走向理解关系、遵守规范并参与真实互动。它让评测不只看正确率,也能看到模型在信念、情绪、策略和社会规范上的能力边界。

当前大模型在社会理解、长期互动和复杂人际场景中的不足

许多模型能复述规则,却容易误读反讽、隐含信念和角色关系,在长期互动中也难以稳定维护对人的理解。

示例:用户说“你真会挑时间”,模型若只按字面理解为表扬,就会错过其中的不满和关系张力。

社会心智能力对于下一代智能体的重要性

下一代智能体需要在多方目标、隐含规范和动态情境中行动,社会心智是它们做出得体判断的基础能力。

社会心智评测对于模型能力边界分析的价值

能力画像能帮助研究者发现模型在哪些社会认知维度上可靠,在哪些场景下需要训练、检索或智能体流程补足。

应用方向

社会心智能力适用于需要理解人、关系和规范的真实场景,尤其是长期陪伴、协作决策、群体互动与具身服务。

教育陪伴 长期互动

理解学生的困惑、动机和反馈,提供更贴近个体状态的引导与陪伴。

心理健康辅导 情绪理解

识别情绪线索、边界和支持需求,辅助更稳妥的初步倾听与转介判断。

社交智能助手 关系判断

帮助用户理解沟通语境、对方意图和社会规范,减少误解与冲突。

多智能体协商 群体策略

在多目标、多角色的任务中进行协商、信任判断与合作冲突处理。

游戏 NPC 和虚拟角色 角色一致

让虚拟角色保持动机、记忆和关系的一致性,形成更自然的互动体验。

服务型机器人和具身智能 情境行动

在家庭、医疗和公共服务中理解人的意图、禁忌与安全边界。

建设单位

SoMBench 由中国科学院计算技术研究所智能算法安全全国重点实验室建设。