NewtonBench(港科大 KnowComp)

HKUST KnowComp科研智能体与深度研究收录于

资源介绍

NewtonBench 是香港科技大学 KnowComp 组发布的评测基准,用于衡量大模型智能体发现科学规律的能力。它对万有引力、库仑定律、傅里叶定律等经典物理定律做系统性改写,避免模型凭记忆作答,要求智能体通过交互式实验收集数据并归纳规律,共 324 个任务,覆盖 12 个物理领域,论文收录于 ICLR 2026。适合研究 AI 科学家、科学发现智能体与推理评测的研究者。

  • 功能 1: 324 个科学规律发现任务,覆盖 12 个物理领域
  • 功能 2: 对经典定律做系统性改写,降低记忆作答的影响
  • 功能 3: 按定律难度与系统复杂度两个维度分级
  • 功能 4: 支持纯推理智能体与代码辅助智能体两种评测设置
  • 功能 5: 已集成到 NVIDIA NeMo Gym 作为强化学习环境

资源信息

提供方
香港科技大学 HKUST-KnowComp 组(宋阳秋副教授团队,大学实验室官方)
类型
数据集 / 模型
分类
科研智能体与深度研究
运行环境
数据集或模型
适用场景
研究科学发现智能体、AI 科学家与大模型推理评测的研究者;典型场景为评估或训练自研科研智能体的规律归纳能力、对比不同模型的科学推理表现。
许可证(收录时)
MIT
源码
GitHub