zhuanlan.zhihu.com
手把手推导Ring All-reduce的数学性质 - 知乎
高效实现一个集群通信的关键是如何充分利用设备和设备之间的带宽，基于环状（ring）通信实现的集群通信算法就是这一思想的体现。 我们以 reduce-scatter 为例来看看环状通信算法是怎么工作的。
ring算法
Searching…
Web results
blog.csdn.net
分布式训练通信NCCL之Ring-Allreduce详解 - CSDN博客
Dec 26, 2023 · 本文详细介绍了深度学习中数据并行的通信机制，特别是Nccl框架中的Ring-Allreduce通信技术，包括Scatter-Reduce和Allgather阶段，以及硬件级的P2P通信技术，如GPUDirect，如何提升通信效率和训练速度。
www.hiascend.com
Ring-集合通信算法介绍-HCCL集合通信库-集合通信-CANN社区版8.5.0.alp...
算法描述 Ring算法，所有的NPU以环形相连，每张卡都有左手卡与右手卡，一个负责数据接收，一个负责数据发送，循环完成梯度累加，再循环做参数同步。 Ring算法适用于“星型”或“胖树”拓扑互联，其特点是通过Ring环将所有NPU设备的单端口双工链路串联起来。
zhuanlan.zhihu.com
浅谈Tensorflow分布式架构：ring all-reduce算法 - 知乎
Ring Allreduce 框架下同步更新算法 定义 GPU 集群的拓扑结构： 每个 GPU 只从左邻居接受数据、并发送数据给右邻居。 算法主要分两步： 1. scatter-reduce：会逐步交换彼此的梯度并融合，最后每个 GPU 都会包含完整融合梯度的一部分。
www.cnblogs.com
【NCCL】Ring Allreduce - bdy - 博客园
Oct 9, 2025 · 高效实现一个集群通信的关键是如何充分利用设备和设备之间的带宽，基于环状（ring）通信实现的集群通信算法就是这一思想的体现。 我们以 reduce-scatter 为例来看看环状通信算法是怎么工作的。
www.cnblogs.com
NCCL 与 AllReduce —— 分布式训练通信的基石 - SHICENT - 博客园
2 days ago · 无论是 PyTorch DDP、DeepSpeed ZeRO、还是 Megatron-LM，其底层通信层无一例外地依赖 NCCL。理解 NCCL 就是理解分布式训练的"血管系统"。本文将从数学原理出发，逐层拆解 Ring-AllReduce 算法，详述 NCCL 的工程架构，并对接主流训练框架的实战调优，最后展望国产替代与最新进展。
github.com
HCCL/docs/Ring.md at master · zhuxy-USTC/HCCL · GitHub
Ring 算法描述 Ring算法，所有的NPU以环形相连，每张卡都有左手卡与右手卡，一个负责数据接收，一个负责数据发送，循环完成梯度累加，再循环做参数同步。 Ring算法适用于“星型”或“胖树”拓扑互联，其特点是通过Ring环将所有NPU ...