AtlasKV(十億級圖譜增強大模型)
資源介紹
AtlasKV 是 ICLR 2026 論文的官方實現,把十億級三元組規模的知識圖譜編碼為鍵值向量接入大模型,在 20GB 以內顯存完成知識增強。倉庫提供 KG2KV 數據構建、訓練、顯存與准確率評測脚本,以及在 ATLAS-Wiki、ATLAS-CC 上訓練的檢查點。適合研究大模型知識注入、知識圖譜與大模型融合的科研人員,在有限 GPU 資源下復現與對比。
- 功能 1: KG2KV 流程把知識圖譜三元組轉為 QKV 訓練數據
- 功能 2: 支持 ATLAS-Wiki、ATLAS-CC 十億級圖譜與合成數據
- 功能 3: 可選 text-embedding-ada-002、text-embedding-3-large、all-MiniLM-L6-v2 三種句向量編碼器
- 功能 4: 提供顯存開銷、知識准確率與生成相關性評測脚本
- 功能 5: 發布訓練 3K 步的檢查點
資源資訊
- 提供方
- HKUST-KnowComp(香港科技大學宋陽秋副教授組)
- 類型
- 工具 / 代碼庫
- 分類
- 知識圖譜與圖計算
- 運行環境
- 工具或庫
- 適用場景
- 研究大模型知識增強、知識圖譜與大模型融合、低顯存知識注入的科研人員,適合在單卡資源下復現與對比知識增強方法。
- 許可證(收錄時)
- MIT
- 原始碼
- GitHub
