NewtonBench(港科大 KnowComp)
资源介绍
NewtonBench 是香港科技大学 KnowComp 组发布的评测基准,用于衡量大模型智能体发现科学规律的能力。它对万有引力、库仑定律、傅里叶定律等经典物理定律做系统性改写,避免模型凭记忆作答,要求智能体通过交互式实验收集数据并归纳规律,共 324 个任务,覆盖 12 个物理领域,论文收录于 ICLR 2026。适合研究 AI 科学家、科学发现智能体与推理评测的研究者。
- 功能 1: 324 个科学规律发现任务,覆盖 12 个物理领域
- 功能 2: 对经典定律做系统性改写,降低记忆作答的影响
- 功能 3: 按定律难度与系统复杂度两个维度分级
- 功能 4: 支持纯推理智能体与代码辅助智能体两种评测设置
- 功能 5: 已集成到 NVIDIA NeMo Gym 作为强化学习环境
资源信息
- 提供方
- 香港科技大学 HKUST-KnowComp 组(宋阳秋副教授团队,大学实验室官方)
- 类型
- 数据集 / 模型
- 分类
- 科研智能体与深度研究
- 运行环境
- 数据集或模型
- 适用场景
- 研究科学发现智能体、AI 科学家与大模型推理评测的研究者;典型场景为评估或训练自研科研智能体的规律归纳能力、对比不同模型的科学推理表现。
- 许可证(收录时)
- MIT
- 源码
- GitHub
