DVC(Data Version Control)

treeverse实验与数据分析收录于

资源介绍

DVC 是数据版本控制与机器学习实验管理的命令行工具,把大体积数据和模型的版本信息记录在 Git 仓库中,实际文件存放在云存储或其他远端;可定义处理流水线,依赖变化时只重跑受影响的步骤,并用 dvc exp 在本地运行和对比实验。适合需要保证数据与结果可复现的机器学习和数据密集型课题组。

  • 功能 1: 数据与模型版本化,Git 中只保存元信息,文件存放在 S3、Azure、Google Cloud、SSH 等远端
  • 功能 2: 流水线定义依赖与输出,只重跑受影响步骤
  • 功能 3: dvc exp 在本地运行、对比和应用实验
  • 功能 4: VS Code 扩展支持实验追踪与数据管理
  • 功能 5: 命令行接口便于封装为 Skill 供智能体调用

资源信息

提供方
Treeverse(lakeFS,企业;2025-11 从 Iterative 接手)
类型
工具 / 代码库
分类
实验与数据分析
运行环境
工具或库
适用场景
机器学习、计算机视觉、生物信息等数据密集型课题组。典型场景是为论文实验固定数据集和模型版本,合作者拉取同一版本的数据即可复现结果。
许可证(收录时)
Apache-2.0
源码
GitHub