Eterna

普林斯顿大学研究团队推出了名为 Scientist World 的平台，旨在将科研论文转化为可供人工智能运行的实验环境。现有的 AI Scientist 虽能阅读文献，但要基于已有成果进行下一步探索，仅理解论文内容并不足够——人类科学家可以从文献中提炼问题、借鉴方法并搭建实验来检验新想法，AI Scientist 同样需要一个能实际运行实验、验证假设的研究空间。

这类环境必须既保留论文中的研究课题，又提供可操作的方法和评估改进的标准。然而，当前的研究环境通常依赖人工挑选的任务、过往竞赛题目或固定的模拟世界，难以实现大规模扩展、持续更新，并通过实际运行的计算实验来验证研究成果。

为此，普林斯顿大学团队提出了 Scientist World，将研究论文转化为可执行的环境，使 AI Scientist 能够在此提出新方法、开展实验，并将实验结果与原论文的复现结果进行对比，从而衡量自身的改进幅度。

论文链接：https://arxiv.org/abs/2611.08478

据论文描述，首批发布包含 1000 个经过独立验证的环境。他们还保留了 AI Scientist 的研究轨迹。跨越不同模型、推理档位以及 Improve 和 Innovate 两种模式，所有保留尝试累计约 6400 小时的端到端运行时间。每次尝试都包含研究想法、修改过程、实验日志、分数以及完整的开发历史。

Scientist World 旨在衡量一种能够跨越不同问题、反复提出新发现的研究能力。

人类科学家通常从阅读中发现问题，提出解释，再设计实验。实验失败后，还需理解失败原因、调整方案，然后重新验证。面对另一个问题时，这套判断流程仍需发挥作用。按照他们的理解，解决单一题目不足以代表科研能力，持续面对新问题并作出发现，才是研究的关键。

因此，Scientist World 从文献中同时提取两类资源：研究问题提供探索目标，已有方法与实验结果提供出发点。每篇论文都可以成为一处继续开展研究的场所。

要完成这一转换，需要先将论文中的实验重新运行起来。

他们设计了一条无需人工介入的多 agent 流水线。系统首先实现论文中的方法和评估程序，尽量复现论文的核心科学主张，并在允许的小误差范围内达到报告结果。随后，它将研究问题整理成任务，明确什么样的结果属于科学进步，并排除走捷径或利用评分规则获得高分的方式。

任务设计完成后，系统将环境打包，使其能够在不同机器上运行，最后交由独立 agent 验证。

图｜从论文到研究环境的构建流程

进入环境的 AI Scientist 由此获得一项开放的研究任务，以及一套可以实际执行的评估方式。它提出的新方法，将与原论文的复现方法进行比较。衡量改进程度的指标为“前沿归一化改进量”（Frontier-Normalized Improvement，FNI）。FNI 以论文方法的复现版本及其复现分数为零点，再根据固定前沿模型组的分布对改进幅度进行归一化；FNI 大于 0 表示超过复现后的源方法。

这套自动转换流程，也承担着扩展研究环境的任务。人工逐项构建任务的方式难以快速覆盖大量主题，而 Scientist World 可以从文献中持续生成环境。他们将 Scientist World 设计为持续吸收新文献，使评估环境能够不断更新，避免固定基准随着时间推移而老化。其目标是评估模型能否开展研究，而不只是回忆已经见过的内容；他们并未进一步证明这种机制已经消除了数据污染或显著降低了模型对已见题目的依赖。

环境建立之后，AI Scientist 的使用主要分成两种模式。在改进模式下，模型获得论文的研究思想和已经复现的方法，在此基础上寻找更好的方案。在创新模式下，模型不获得论文的源代码或复现方法，而是从空白的方法目录开始。它仍然可以看到问题说明、目标与约束、可见评测器以及数据接口，需要自行构思并实现解决方案。

两种模式呈现出不同的能力分布。在论文选取的 10 个低计算成本环境中，模型在 Improve 和 Innovate 两种模式下的排名并不完全一致。擅长沿着已有方法进行改进的模型，不一定同样擅长从问题出发提出新方法。沿着已有思路推进，与独立提出方案，虽然相关，但有所区别。

图｜两种模式下的模型排行榜

此外，Scientist World 保存每次研究的完整轨迹，将决策与真实实验测得的结果对应起来。想法如何提出，实验如何开展，失败之后如何修改，以及最终取得什么结果，都成为数据的一部分。约 6400 小时的记录包含成功，也包含没奏效的尝试。这些记录随环境一同发布，并进一步用于训练。

他们进一步用这些研究轨迹训练 Qwen3-8B。训练奖励由实际执行实验得到的分数构造，而不是由语言模型评委主观打分。评估时，由一个固定的前沿执行模型负责实现这些想法，再观察实际效果。

在 10 个留出论文环境中，他们让固定的 GPT-5.6-Sol xhigh 执行不同版本模型提出的 ideas，并比较最终实验结果。经过训练后的 ideas，其 FNI 中位数提升到约 106.3，达到论文设定的前沿参照锚点附近。这个实验控制了执行模型和执行条件，因此观察到的差异主要反映 idea 来源或研究质量的变化，而不是 Qwen3-8B 自己完成了全部实验流程。在固定执行器、提示词、采样参数和实验预算的控制条件下，他们将性能差异解释为不同 idea 来源及其研究质量带来的差异。这个结果可以作为科研构思质量的一个操作性指标，但不能直接证明模型具备一种独立、普适且唯一由构思能力决定的科研能力。

图｜在 Scientist World 中训练小模型

至此，同一套环境承担了三项用途。它可以评估 AI Scientist 能否推进真实研究，保存科研过程形成数据集，也可以提供以实验结果为奖励的训练场。

Scientist World 将已发表论文中的研究记录转化为可运行、可评分的环境。同一套环境既能用于评估当下的 AI Scientist，也能用于训练下一代 AI Scientist。

更多技术细节，详见原论文。

本文来自微信公众号 “学术头条”（ID：SciTouTiao），作者：学术头条，36氪经授权发布。