← 返回知识库

InfiniBand与RoCE怎么选:训练集群组网对比

从带宽、时延、无损机制、成本与运维五个维度对比 InfiniBand 与 RoCEv2,给出训练集群与推理集群的组网判断标准,以及 RoCE 必配的三项无损设置。

跨机训练的网络选型,只有两个现实选项:InfiniBand(IB)与 RoCEv2。结论先给:单机 8 卡以内走 NVLink,不需要经过网络;跨机训练优先 IB;预算敏感且具备网络调优能力时选 RoCEv2;推理集群多数场景用以太网即可。

一、先分清两层网络

层级作用典型方案
机内互联8 卡之间的张量并行、参数同步NVLink / NVSwitch(B200/B300 单卡 1.8TB/s)
机间互联多台整机之间的集合通信InfiniBand 或 RoCEv2

很多方案把这两层混在一起报价,导致"买了 400G 网卡却跑不出带宽"。机内带宽不够,换什么交换机都没用。

二、五个维度对比

维度InfiniBandRoCEv2
典型带宽200G/400G/800G(HDR/NDR/XDR)100G/200G/400G 以太
时延更低,且更稳定略高,依赖调优
无损机制链路层原生无损(信用机制)依赖 PFC + ECN + 拥塞控制算法
成本交换机与网卡单价高,生态相对封闭以太生态,单位端口成本低
运维专用工具链(如 UFM),学习成本高复用现有网络团队技能,但调优门槛不低

三、训练为什么怕丢包

分布式训练的核心是集合通信(all-reduce、all-gather)。一次迭代的耗时由最慢的那条链路决定,不是平均值。丢包触发的重传会放大尾部延迟,表现为"GPU 利用率上不去、扩卡不加速"。

这也是为什么训练集群宁愿多花钱上 IB:它把无损做在链路层,不需要靠上层调优去补救。

四、选 RoCEv2 必须配的三件事

  1. PFC(优先级流控):为存储/计算流量划分无损队列,避免拥塞时丢包;
  2. ECN(显式拥塞通知):在队列将满时标记报文,让发送端降速,而不是等丢包;
  3. 拥塞控制算法:DCQCN 或厂商自研方案,需与网卡、交换机同时支持。

三项缺一项,"无损"就只是配置单上的一个词。PFC 配置不当还会引发 Head-of-Line 阻塞与风暴,比丢包更难排查。

五、按场景选

场景建议
单机 8 卡推理不需要机间网络,NVLink 内部解决
多机推理、在线服务RoCEv2 或普通以太(25G/100G)足够
多机预训练、微调InfiniBand 优先;RoCEv2 需完整无损调优
混合负载(训练+推理同集群)按训练标准建网,推理共享带宽

六、验收怎么做

组网交付不能只看"能 ping 通"。建议至少跑三项:

  • NCCL all-reduce 带宽测试:多机多卡下的实际带宽占理论值的比例;
  • 长时间稳定性:连续跑 30 分钟以上,观察是否出现掉速与重传;
  • 故障注入:拔一条链路,确认训练任务能降级而不是直接崩。

常见问题

Q1:400G 网卡是不是就等于 400G 集群?不是。实际带宽取决于网卡、交换机、光模块、PCIe 通道与拓扑的综合结果,通常只能达到理论值的 70%–85%。验收要跑实测,不看标称。

Q2:RoCE 一定比 IB 便宜吗?端口单价通常更低,但如果把调优人力、故障排查时间与试错成本算进去,小规模集群的优势会明显缩小。

Q3:能不能先上以太,以后再换 IB?可以,但网卡、交换机、布线是两套体系,替换接近重建。建议在集群规划阶段就确定并行策略与规模,避免二次投资。

选型之前建议先确定三件事:模型参数量、并行策略(张量并行/流水并行/数据并行)、目标集群规模。机型与显存对照见 GPU 服务器,成本测算方法见 Token 工厂 TCO 测算。需要具体组网方案,可联系我们。