NUS发布System One模型评测基准:能力有多宽,决策有多稳?

时间:2026-11-22 08:32:01       来源:新智元

新智元报道

当模型一次前向就给出决策,我们该如何判断它既做得对、又靠得住?

分流用户请求、选择下一步工具操作、确认任务是否完成——软件流程中的大量日常决策,并不需要模型先写出一段长推理。

System One模型正是为此而生:在单次前向中输出候选结果上的概率分布,延迟低,输出结构化,下游程序可以直接使用。

然而,模型在一份榜单上得分高,就说明它好用吗?如果参考答案本身就有争议,分数还可信吗?如果所有题目难度相近,强模型和弱模型还能拉开差距吗?如果只考单步判断,模型在网页和工具环境里能否把整件事做完?

再进一步:同一组选项,只是换了排列顺序,模型的答案应该跟着变吗?如果正确选项根本不在列表中,模型能否意识到「这里没有合适的答案」?

新加坡国立大学xML Lab团队的最新工作(第一作者 Lichen Li,通讯作者 Xinchao Wang)从这些问题出发,为 System One模型构建了一套同时刻画能力谱系与决策可靠性的评测基准。

论文链接:https://arxiv.org/html/2611.15777v1

项目主页:https://lichenlillc.github.io/SO-Arena

Hugging Face:https://huggingface.co/SO-Arena

GitHub:https://github.com/holdrain/SO-Arena

图 1|SO-Arena的四项设计。核验参考标签、按难度分层以区分模型、在为System One构建的沙盒中评测长程交互能力,并在选项重排与正确选项缺席时检验可靠性;原论文图1。

评测System One模型

需要回答哪些问题?

SO-Arena关注的不只是总分高低,而是一个基准要想真正刻画System One模型,应当具备的四项要求。

可信标签|参考答案必须由模型看得到的证据支撑

一条五星评论写着「买来送给父母」,这句话本身并不能说明评分为何是五星;另一条一星评论写着「假货,别买!」,证据与标签一致。若参考答案无法从模型可见的输入中得出,模型答「错」可能并不是它的问题。SO-Arena从可追溯的来源取题,人工核验每个参考标签是否能被输入信息支撑,并将评测参考与模型输入严格分离。

难度分层|难题上才能看出差距

如果题目都同样容易,三个模型可能全部答对,分数就失去了区分度。SO-Arena在11个领域中的9个,按照领域自身的标准划分难度档位:数学看计算步数与来源难度,任务完成核验则区分「直接查看当前状态」「整合多条证据」和「依赖执行历史」的判断。

交互评测|不只判断一步,还要把任务做完

在真实应用中,System One模型往往要连续作出多步决策:点击哪个元素、填写什么值、调用哪个工具。前一步错了,后一步就无从谈起。SO-Arena让模型在网页与工具沙盒中逐步行动,每一步的执行结果成为下一步的输入,并按原始基准的成功标准对整个任务计分。

决策可靠性|换个顺序、去掉正确答案,判断还靠得住吗?

把A、B、C重排为C、A、B,选项内容没有变化,模型选择的应当仍是同一个答案;把正确选项拿掉,模型则应当提高「没有合适答案」的概率。SO-Arena将这两项检验合成为独立的可靠性分数,与能力分数并列报告。

能力谱系与决策可靠性,是刻画System One模型的两个互补维度。

SO-Arena是怎样构建的?

SO-Arena把静态判断与环境交互统一到同一套决策接口中:模型面对给定的信息、决策目标和候选结果,返回各候选上的概率。整个基准包含2,919项任务,按原始任务计分。

图2|SO-Arena概览。(1)任务取自或派生自40个公开来源,经人工与LLM审查剔除标签存疑的题目;(2)2,919项任务覆盖5个能力族、11个领域,其中9个领域分难度档,题目分为静态与环境两类;(3)能力分C取各领域最难档并对领域等权平均,可靠性分R结合选项重排与正确选项缺失两项测试;原论文图2。

来源可溯,逐项核验

任务来自40个公开数据集、基准与环境,例如情感理解的GoEmotions、数学的MATH500与AIME、科学推理的GPQA Diamond、网页交互的Mind2Web,以及工具调用的BFCL与ToolSandbox。

研究团队保留原始标签作为参考,再经人工与LLM复核,剔除标签存疑的题目;每道题都记录来源、版本与原始编号,由模型生成的参考标签也会在元数据中注明。

五大能力族,十一个领域

11个领域被归入五个能力族:语义理解、知识与推理、安全与策略合规、证据评估以及智能体任务完成,覆盖从理解一句话到在环境中完成一整件事的典型决策场景,各领域的任务数与难度分布见下图。

模型的输出统一为三种决策格式:choice在显式给出的候选中作选择,noul回答是/否问题并给出肯定概率,score在有序等级上评分,并保留来源的原生量表。

图3|基准构成。左:内环为能力族,外环为领域;右:各领域任务在不同难度档的分布,条上数字为任务数。难度档在领域内定义,不跨领域校准;原论文图3。

静态任务与环境任务

2,300项静态任务让模型对固定输入作判断;619项环境任务则把模型放进网页或工具环境。其中337项网页任务包括100个单步判断和237个需沿参考路线连续决策的任务,282个工具调用回合由BFCL或ToolSandbox模拟器逐步执行模型选择的动作,再返回新的观测。

在任务完成核验中,SO-Arena还构造了「终点相同、过程不同」的执行记录:两条轨迹最终把物品放回了要求的位置,但其中一条在操作电器时物品曾经放错。只看最终状态无法区分二者,模型必须检查执行历史。

两个分数:能力C与可靠性R

能力分C取每个领域最难的一档(数学取困难与极难两档,未分档领域取全部任务),再对11个领域等权平均,使大领域不会主导排名,也让榜单对高难任务更敏感。

可靠性分R由两部分组成。

顺序稳定性S:每道题在原始顺序之外再做12次重排,按选项内容而非位置比对答案,并扣除随机一致的部分;

空缺识别N:每道题出现两次,一次完整、一次去掉正确选项,用模型给出的「无正确答案」概率区分二者,N=2·AUC−1。二者取几何平均,只有都高于随机水平时R才为正。

实验结果

研究团队评测了21个模型:16个0.4B至31B的开源System One模型、可在System One与System Two之间自动切换的StartLux Auto、两个闭源决策API(Jev API 1.14 与 OpenAI Decisions),以及两个闭源System Two参照模型GPT-6 Sol与GPT-6 Luna。所有模型均按开发者文档给出的设置运行。

图4|SO-Arena速览。左:21个模型的榜单分数,越深代表分数越高,横向按规模与开放方式分组;右:19个具备稳定性测量的模型的能力分与选项重排稳定性,红线为帕累托前沿;原论文图4。

谁最强?System Two仍领先,但差距因领域而异

从总分看,GPT-6 Sol(82.3)与 GPT-6 Luna(79.7)仍领先所有 System One模型;System One中表现最好的GLiDE与KnowLine-31B均为70.2,落后Luna约10分。

右图把能力与选项重排稳定性放在一起:帕累托前沿只由GLiDE与Jeva-4B构成,前者能力最高,后者稳定性最高。

换来的是速度:每个开源System One模型在单张H100上处理一项任务都不超过0.3秒,GLiDE平均约113毫秒,而GPT-6Sol与Luna的端到端时间接近3秒,相差数十倍。图中右侧约3秒处的StartLux Auto会按需切换到思考模式,因此不在此列。

图5|能力与延迟。纵轴为榜单分数,横轴为每项任务的平均延迟(对数刻度);帕累托前沿由每个延迟水平下表现最优的System One模型构成。开源模型在单张H100上逐题运行,闭源API为含网络的端到端时间;原论文图5。

差距在哪里?三类领域,三种答案

以GPT-6 Luna为参照,对比两个规模下表现最好的开源System One模型StartLux Instant(4B)与GLiDE(27B),11个领域自然分成三类:

直接语义判断(知识与常识、情感与情绪、检索与重排序):System One模型与Luna差距最小:GLiDE在知识与常识、情感与情绪上分别高出5.0和4.8分,在检索与重排序上落后5.8分;更强的骨干和额外思考带来的提升都不大。

细粒度、有依据的决策(意图路由、安全、任务完成核验、工具调用、网页交互):GLiDE与Luna的分差都在4分以内,StartLux Instant却最多落后29分(网页交互)。在同一模型家族中,换用更大更新的骨干带来的平均提升远超思考,例如工具调用+25.6、网页交互+23.9,而思考在这两个领域只带来约2至3分。

多步推导(数学、科学推理、代码理解):两个System One模型都明显落后,GLiDE在数学上落后26.7分。这里思考的帮助最大:在数学上,StartLux Auto开启思考后得分从50.8升至92.5,接近Luna。

图6|与System Two的差距及其缩小方式因领域而异。(a)两个System One模型相对GPT-6 Luna的分差(中等与困难档,含95%置信区间);(b)同一家族由小模型到27B模型的提升;(c)StartLux Auto始终思考相对从不思考的提升;原论文图6。

决策可靠吗?能力排名与可靠性排名并不一致

对18个System One模型的可靠性测量显示,能力强并不自动意味着可靠。可靠性最高的JevAny-27B(R = 0.84)在能力榜上仅列第11;而能力最强的System One模型GLiDE(R=0.78),可靠性只排第7。

两个分量的表现也截然不同:18个模型中有14个的顺序稳定性S超过0.8,大多数模型在选项只是换序时能坚持原答案;空缺识别N则从接近随机到约0.8不等,模型规模也无法单独决定它——一些4B模型的N甚至超过部分9B与27B模型。

图7|18个SystemOne模型的可靠性及其两个分量。(a)可靠性R,条形左侧标注各模型的榜单分数;(b)空缺识别N与顺序稳定性S,0为随机水平,虚线为等R曲线;原论文图7。

为什么?稳定性随能力而来,空缺识别需要单独测量

顺序稳定性大体随能力提升:多数模型紧贴趋势线。而且,原本答对的题目重排后只有4.3%改变答案,原本答错的题目则高达25.7%——不稳定主要出现在模型本就不擅长的地方。

空缺识别与能力的关系则松散得多:在相近的能力水平上,N的差异远大于S。Kev-27B、Jev API 1.14与JevAny-27B的N均高于能力最强的四个System One模型。一个能力分数能说明模型是否稳定,却很难说明它能否察觉「正确答案不在这里」。

图8|顺序稳定性随能力上升,空缺识别只松散地跟随能力。(a)S与能力分;(b)原本答对与答错的题目在重排后改变答案的比例;(c)N与能力分。每个点为一个System One模型,曲线为二次趋势;原论文图8。

这些结果把「可靠地作决策」拆得更具体:选项换了位置时保持判断,正确答案缺席时能够察觉——后者无法从准确率中读出,必须直接测量。

总结

SO-Arena用可溯源的标签、分层的难度、沙盒中的交互和独立的可靠性评分,为System One模型提供了一张更完整的「体检表」。它的核心可以概括为:

能力看广度与难度,决策看稳定与自知。

Capability and reliability, measured side by side.

对于正在把System One模型接入真实流程的开发者,SO-Arena给出的不只是一份排行榜,而是一种评估视角:除了问模型能否答对,也要问它在顺序变化时是否坚持判断,在没有合适选项时能否如实说「都不适用」。

参考资料:

https://arxiv.org/html/2611.15777v1

编辑:LRST

关键词: 基准 可靠性 模型评测 显式标识