Crypto AI 的圣杯:去中心化训练的前沿探索(4) / BTC123 | 区块链信息行情第一站

Crypto AI 的圣杯:去中心化训练的前沿探索(4)

06-11 , 14:04 分享新闻

OpenDiLoCo:稀疏异步通信框架

OpenDiLoCo 是 Prime Intellect 团队基于 DeepMind 提出的 DiLoCo 理念独立实现并开源的通信优化框架,专为去中心化训练中常见的带宽受限、设备异构与节点不稳定等挑战而设计。其架构基于数据并行,通过构建 Ring、Expander、Small-World 等稀疏拓扑结构,避免了全局同步的高通信开销,仅依赖局部邻居节点即可完成模型协同训练。结合异步更新与断点容错机制,OpenDiLoCo 使消费级 GPU 与边缘设备也能稳定参与训练任务,显著提升了全球协作训练的可参与性,是构建去中心化训练网络的关键通信基础设施之一。

PCCL:协同通信库

PCCL(Prime Collective Communication Library) 是 Prime Intellect 为去中心化 AI 训练环境量身打造的轻量级通信库,旨在解决传统通信库(如 NCCL、Gloo)在异构设备、低带宽网络中的适配瓶颈。PCCL 支持稀疏拓扑、梯度压缩、低精度同步与断点恢复,可运行于消费级 GPU 与不稳定节点,是支撑 OpenDiLoCo 协议异步通信能力的底层组件。它显著提升了训练网络的带宽容忍度与设备兼容性,为构建真正开放、无需信任的协同训练网络打通了「最后一公里」的通信基础。

三、Prime Intellect 激励网络与角色分工

Prime Intellect 构建了一个无需许可、可验证、具备经济激励机制的训练网络,使任何人都能参与任务并基于真实贡献获得奖励。协议运行基于三类核心角色:

  • 任务发起者:定义训练环境、初始模型、奖励函数与验证标准

  • 训练节点:执行本地训练,提交权重更新及观测轨迹

  • 验证节点:使用 TOPLOC 机制验证训练行为的真实性,并参与奖励计算与策略聚合

协议核心流程包括任务发布、节点训练、轨迹验证、权重聚合(SHARDCAST)与奖励发放,构成一个围绕「真实训练行为」的激励闭环。

四、INTELLECT-2:首个可验证去中心化训练模型的发布

Prime Intellect 于 2025 年 5 月发布了 INTELLECT-2,这是全球首个由异步、无需信任的去中心化节点协作训练而成的强化学习大模型,参数规模达 32B。INTELLECT-2 模型由遍布三大洲的 100+ GPU 异构节点协同训练完成,使用完全异步架构,训练时长超 400 小时,展示出异步协作网络的可行性与稳定性。这一模型不仅是一次性能上的突破,更是 Prime Intellect 所提出「训练即共识」范式的首次系统落地。INTELLECT-2 集成了 PRIME-RL(异步训练结构)、TOPLOC(训练行为验证) 与 SHARDCAST(异步权重聚合) 等核心协议模块,标志着去中心化训练网络首次实现了训练过程的开放化、验证性与经济激励闭环。

在性能方面,INTELLECT-2 基于 QwQ-32B 训练并在代码和数学上做了专门的 RL 训练,处于当前开源 RL 微调模型的前沿水准。尽管尚未超越 GPT-4 或 Gemini 等闭源模型,但其真正的意义在于:它是全球首个完整训练过程可复现、可验证、可审计的去中心化模型实验。Prime Intellect 不仅开源了模型,更重要的是开源了训练过程本身 —— 训练数据、策略更新轨迹、验证流程与聚合逻辑均透明可查,构建了一个人人可参与、可信协作、共享收益的去中心化训练网络原型。