从带宽、时延、无损机制、成本与运维五个维度对比 InfiniBand 与 RoCEv2,给出训练集群与推理集群的组网判断标准,以及 RoCE 必配的三项无损设置。
跨机训练的网络选型,只有两个现实选项:InfiniBand(IB)与 RoCEv2。结论先给:单机 8 卡以内走 NVLink,不需要经过网络;跨机训练优先 IB;预算敏感且具备网络调优能力时选 RoCEv2;推理集群多数场景用以太网即可。
一、先分清两层网络
| 层级 | 作用 | 典型方案 |
|---|---|---|
| 机内互联 | 8 卡之间的张量并行、参数同步 | NVLink / NVSwitch(B200/B300 单卡 1.8TB/s) |
| 机间互联 | 多台整机之间的集合通信 | InfiniBand 或 RoCEv2 |
很多方案把这两层混在一起报价,导致"买了 400G 网卡却跑不出带宽"。机内带宽不够,换什么交换机都没用。
二、五个维度对比
| 维度 | InfiniBand | RoCEv2 |
|---|---|---|
| 典型带宽 | 200G/400G/800G(HDR/NDR/XDR) | 100G/200G/400G 以太 |
| 时延 | 更低,且更稳定 | 略高,依赖调优 |
| 无损机制 | 链路层原生无损(信用机制) | 依赖 PFC + ECN + 拥塞控制算法 |
| 成本 | 交换机与网卡单价高,生态相对封闭 | 以太生态,单位端口成本低 |
| 运维 | 专用工具链(如 UFM),学习成本高 | 复用现有网络团队技能,但调优门槛不低 |
三、训练为什么怕丢包
分布式训练的核心是集合通信(all-reduce、all-gather)。一次迭代的耗时由最慢的那条链路决定,不是平均值。丢包触发的重传会放大尾部延迟,表现为"GPU 利用率上不去、扩卡不加速"。
这也是为什么训练集群宁愿多花钱上 IB:它把无损做在链路层,不需要靠上层调优去补救。
四、选 RoCEv2 必须配的三件事
- PFC(优先级流控):为存储/计算流量划分无损队列,避免拥塞时丢包;
- ECN(显式拥塞通知):在队列将满时标记报文,让发送端降速,而不是等丢包;
- 拥塞控制算法:DCQCN 或厂商自研方案,需与网卡、交换机同时支持。
三项缺一项,"无损"就只是配置单上的一个词。PFC 配置不当还会引发 Head-of-Line 阻塞与风暴,比丢包更难排查。
五、按场景选
| 场景 | 建议 |
|---|---|
| 单机 8 卡推理 | 不需要机间网络,NVLink 内部解决 |
| 多机推理、在线服务 | RoCEv2 或普通以太(25G/100G)足够 |
| 多机预训练、微调 | InfiniBand 优先;RoCEv2 需完整无损调优 |
| 混合负载(训练+推理同集群) | 按训练标准建网,推理共享带宽 |
六、验收怎么做
组网交付不能只看"能 ping 通"。建议至少跑三项:
- NCCL all-reduce 带宽测试:多机多卡下的实际带宽占理论值的比例;
- 长时间稳定性:连续跑 30 分钟以上,观察是否出现掉速与重传;
- 故障注入:拔一条链路,确认训练任务能降级而不是直接崩。
常见问题
Q1:400G 网卡是不是就等于 400G 集群?不是。实际带宽取决于网卡、交换机、光模块、PCIe 通道与拓扑的综合结果,通常只能达到理论值的 70%–85%。验收要跑实测,不看标称。
Q2:RoCE 一定比 IB 便宜吗?端口单价通常更低,但如果把调优人力、故障排查时间与试错成本算进去,小规模集群的优势会明显缩小。
Q3:能不能先上以太,以后再换 IB?可以,但网卡、交换机、布线是两套体系,替换接近重建。建议在集群规划阶段就确定并行策略与规模,避免二次投资。
选型之前建议先确定三件事:模型参数量、并行策略(张量并行/流水并行/数据并行)、目标集群规模。机型与显存对照见 GPU 服务器,成本测算方法见 Token 工厂 TCO 测算。需要具体组网方案,可联系我们。