国产万卡智算集群工程实战:网络丢包、热密度与液冷机房重构
随着大模型预训练规模向 GPT-4 及万亿 MoE(混合专家模型)演进,算力部署模式已经从早期的“单机 8 卡”、“百卡微集群”全面升级为 万卡超算中心(10,000+ Accelerators Cluster)。
然而,在万卡规模的工程落地中,算力芯片本身的标称 TFLOPS 仅仅是理论上限。真实决定模型能否跑完千亿 Token 的,是超大规模组网的网络通信质量与每机柜数十千瓦高密功耗下的散热稳定性。
本文联合《液冷机房智库》(yelengjifang.com) 工程专家团队,针对国产万卡智算中心在落地建设中最常遭遇的三大工程瓶颈提供深层技术解构与解决方案。
一、 痛点一:RoCE v2 无损网络的微小丢包与 PFC 死锁
由于 InfiniBand (IB) 交换机受到海外严格管控,国内万卡集群 95% 以上采用 基于以太网的 RoCE v2 (RDMA over Converged Ethernet) 方案。
以太网本质是“尽力而为(Best-effort)”的有损网络,而分布式大模型训练(如 AllReduce、AllToAll)要求网络必须做到绝对零丢包。一旦出现微量丢包(如 0.01%):
- 重传导致集体停顿(Straggler Effect):一个卡丢包重传,导致整个集群上千张卡在同步屏障(Barrier)处空转等待,计算有效率(MFU)从 50% 骤降至 15%;
- PFC (Priority Flow Control) 级联死锁:为了防止丢包,交换机向下游发送 Pause 帧暂停发包。在复杂环路拓扑中,Pause 帧反向蔓延形成环路,导致整网交换机缓冲区溢出并锁死,只能全网硬件硬重启。
#### 解决方案与工程实操:
- 动态拥塞通知 (DCQCN) 深度精细调优:精准设定 ECN 门限,在队列即将溢出前通知发送端主动降速;
- 全网自适应路由 (Adaptive Routing):打破传统 ECMP 按流哈希导致的链路负载不均衡(Hash Collision),按 Packet 级别动态分发到空闲链路上;
- 光模块微秒级监控:万卡集群涉及数万只 400G/800G 光模块,建立误码率秒级监控系统,提前主动将劣质链路隔离。
二、 痛点二:单机柜 60kW ~ 100kW 极限热密度与液冷强制门槛
国产旗舰算力芯片随着工艺迭代与多 Die 合封,单卡功耗普遍来到 400W ~ 600W:
- 一台 8 卡服务器功耗达到 5kW ~ 6.5kW;
- 一个标准 42U 机柜部署 4 ~ 6 台算力服务器 + 交换机,单机柜热负荷高达 40kW ~ 60kW,部分超密高配集群突破 100kW/柜!
传统风冷数据中心的极限换热能力仅在 10kW ~ 15kW/机柜 左右。在单柜 40kW+ 条件下继续强行使用风冷:
- 服务器风扇将全速啸叫(功耗占比超过 20%),PUE 高达 1.6 以上;
- 算力芯片核心温度(Junction Temp)频繁突破 95℃ 触发降频热保护,模型训练直接中断。
三、 痛点三:千瓦级冷板式液冷工程实战要点
针对万卡集群的高密热负荷,直接接触式冷板液冷(Direct-to-Chip Liquid Cooling, DLC) 是唯一可行的工业级解法:
| 液冷工程子系统 | 传统风冷方案 | 冷板式液冷标准规范 (DLC) | 选型关键避坑点 |
|---|---|---|---|
| 机房换热媒介 | 循环空气 | 水-乙二醇溶液 / 纯水 | 严禁使用劣质冷却液,必须具备抗腐蚀钝化剂 |
| 单机柜承载功耗 | ≤ 12 kW | 40 kW ~ 100 kW+ | 机房楼板承重需强化(液冷机柜重达 1.5 ~ 2 吨) |
| 机房运行 PUE | 1.45 ~ 1.70 | 1.15 ~ 1.25 | 符合国家超算与“东数西算”节能硬性指标 |
| CDU (冷却分配单元) | 无 | 在机架内/列间配备高可靠 CDU | 必须配置 N+1 或 2N 冗余循环泵与双热交换器 |
| 快速接头 (UQD) | 无 | 盲插式无滴漏快速接头 | 严防漏液,必须具备双向自密封机械阀门 |
#### 关键实操规范:
- 二次侧供水温度:建议保持在 35℃ ~ 45℃ 温水冷却,既能完全满足芯片散热需求,又能极大减少室外冷水机组压缩机启机时间,实现全年自然冷却;
- 多点漏液绳检测与自动断电联锁:在算力板卡托盘底部与机柜底部环形布置高灵敏度漏液感应绳,毫秒级响应并与 CDU 和机柜 PDU 断电开关联锁。
四、 结语
真正的万卡 AI 算力集群建设是一门复杂的跨学科系统工程。算力芯片负责计算矩阵,高速无损 RoCE 网络充当神经网络,而冷板液冷工程则是保障万卡持续健康跳动的血液循环系统。只有三者深度协同,才能打造出经久耐用、持续吞吐的坚实算力底座。