Crypto AI 的圣杯:去中心化训练的前沿探索(12) / BTC123 | 区块链信息行情第一站

Crypto AI 的圣杯:去中心化训练的前沿探索(12)

06-11 , 14:04 分享新闻

  • EXO Desktop App:面向个人用户的桌面 AI 工具,支持本地大模型运行、iPhone 镜像控制、私人上下文集成(如短信、日历、视频记录)等隐私友好型个性化功能。

  • EXO Gym 更像是一个以探索导向的去中心化训练实验项目,主要通过整合现有的通信压缩技术(如 DiLoCo 与 SPARTA)来实现训练路径的轻量化。相较于 Gensyn、Nous、Pluralis 等项目,EXO 尚未迈入链上协作、可验证激励机制或真实分布式网络部署等核心阶段。

    去中心化训练的前链条引擎:模型预训练全景研究

    面对去中心化训练中普遍存在的设备异构、通信瓶颈、协调困难与缺乏可信执行等核心挑战,Gensyn、Prime Intellect、Pluralis 与 Nous Research 分别提出了具有差异化的系统架构路径。从训练方法和通信机制两个层面来看,这四个项目展现了各自独特的技术焦点与工程实现逻辑。

    在训练方法优化方面,四者分别从协同策略、更新机制和异步控制等关键维度展开探索,覆盖了从预训练到后训练的不同阶段。

    • Prime Intellect 的 PRIME-RL 属于面向预训练阶段的异步调度结构,通过「本地训练 + 周期性同步」的策略,在异构环境下实现高效而可验证的训练调度机制。该方法强具有较强的通用性与灵活性。理论创新度较高,在训练控制结构上提出明确范式;工程实现难度中高,对底层通信与控制模块有较高要求。

    • Nous Research 推出的 DeMo 优化器,则聚焦于异步低带宽环境下的训练稳定性问题,实现了异构 GPU 条件下的高容错梯度更新流程,是当前少数在「异步通信压缩闭环」上完成理论与工程统一的方案。理论创新度很高,特别是在压缩与调度协同路径上具有代表性;工程实现难度也很高,尤其依赖异步并行的协调精度。

    • Pluralis 的 SWARM + NAG 则是目前异步训练路径中最具系统性与突破性的设计之一。它基于异步模型并行框架,引入 Column-space 稀疏通信与 NAG 动量修正,构建出一种可在低带宽条件下稳定收敛的大模型训练方案。理论创新度极高,是异步协同训练的结构性开创者;工程难度同样极高,需要多级同步与模型切分的深度集成。

    • Gensyn 的 RL Swarm 主要服务于后训练阶段,聚焦于策略微调与智能体协同学习。其训练过程遵循「生成 - 评估 - 投票」的三步流程,特别适合多代理系统中复杂行为的动态调整。理论创新度中高,主要体现在智能体协同逻辑上;工程实现难度适中,主要挑战在于系统调度与行为收敛控制。

    在通信机制优化层面,这四个项目亦各有针对性布局,普遍关注带宽瓶颈、节点异构与调度稳定性问题的系统解法。