寒武纪思元 590 (MLU590):自研 MLU 架构的集大成者
作为国内最早专注于专用 AI 处理器(NPU/MLU)研发的芯片厂商,中科寒武纪推出的 思元 590 (Cambricon Siyuan 590 / MLU590) 标志着其产品线从早期“偏重推理”向“全功能大模型训练与超大规模并行计算”的战略跃迁。
面对算力管制的严苛挑战,寒武纪通过自研 MLUv4 架构创新、高带宽片间互联 MLU-Link 3.0 以及软硬件一体化深度编译框架,成功实现了对主流通用 GPU 训练方案的高效平替。
一、 思元 590 核心规格参数
| 架构参数 | 思元 590 (MLU590) | 思元 370 (上一代推理卡) | 英伟达 H800 (对比参考) |
|---|---|---|---|
| 核心指令集 | 寒武纪自研 MLUv4 | MLUv3 (Chiplet) | Hopper CUDA Core |
| 芯片制造工艺 | 先进 7nm 制程 | 7nm 制程 | 台积电 4N |
| 显存规格 | 64GB HBM2e | 24GB LPDDR5 | 80GB HBM3 |
| 显存位宽与带宽 | 4096-bit / 1.6 TB/s | 256-bit / 307 GB/s | 5120-bit / 3.35 TB/s |
| FP16 密集算力 | 320 TFLOPS | 96 TFLOPS | 989 TFLOPS |
| FP8 / INT8 算力 | 640 TFLOPS / 1280 TOPS | 256 TOPS | 1,979 TFLOPS |
| 片间总线与带宽 | MLU-Link 3.0 (400 GB/s) | MLU-Link 2.0 (200 GB/s) | NVLink 4 (400 GB/s) |
| 整卡功耗 (TDP) | 350W (风冷/液冷通用) | 150W (半高半长) | 700W (SXM5) |
二、 架构核心突破:MLUv4 张量计算流水线
思元 590 采用了寒武纪第四代 MLUv4 计算核心架构,其核心设计逻辑围绕 Transformer 类大模型的张量计算特征展开:
- 多级张量计算流水线:重构了矩阵计算单元(Tensor Engine)与标量向量单元(Vector Engine)的数据通道,消除了 GEMM 与激活函数之间频繁访问主显存的开销。
- 动态低精度量化引擎:原生支持 FP8(E4M3 / E5M2)与 INT4 精度,在保持模型精度的前提下,使得 LLaMA 类模型的前向推理吞吐翻倍。
- 4096-bit 超宽 HBM2e 接口:配备 64GB 高带宽显存,显存吞吐达到 1.6 TB/s,较上一代提升超 400%,有效缓解了大模型解码阶段(Token Generation)的访存受限问题。
三、 互联技术:MLU-Link 3.0 与万卡节点扩展
大模型训练高度依赖节点内与节点间的数据同步(AllGather、ReduceScatter):
- 节点内 8 卡环形/网状拓扑:思元 590 服务器内置 8 张加速卡,单卡引出 4 组 MLU-Link 3.0 高速端口,实现单向 200 GB/s、双向 400 GB/s 的全对等互联。
- 无损以太网万卡集群扩展:支持基于 RoCE v2 协议的双向 200G/400G 网络接口,配合寒武纪自研通信库 CNCL (Cambricon Communications Library),通信集合操作效率与 NCCL 基本持平。
四、 软件生态:Cambricon Neuware 全面拥抱 PyTorch
寒武纪构建了名为 Neuware 的全栈软件系统:
- torch_mlu 深度定制:在 PyTorch 框架下,绝大部分深度学习代码仅需将 `.to('cuda')` 替换为 `.to('mlu')` 即可无感运行。
- BANG C 编程语言:对于需要极致优化的定制 Kernel,开发者可以使用类似 CUDA C 的 BANG C 语言直接操控硬件计算核心、片上 SRAM 和 DMA 搬运通道。
- vLLM 与 DeepSpeed 适配:社区主流的分布式训练框架 DeepSpeed 与高并发推理引擎 vLLM 已实现对 MLU590 的原生适配支持。
五、 市场定位与工程评价
思元 590 以 350W 的相对温和功耗 提供了 320 TFLOPS 的 FP16 稳定算力,在机房供电与散热改造门槛上明显低于 700W 级别的国际竞品。对于注重能耗比、单机柜部署密度与全链路自研指令集的智算基础设施,思元 590 是极具性价比与安全性的战略级产品。