← 返回知识库

昇腾910B 与 NVIDIA 混跑:信创算力怎么分层

信创合规不等于全栈换国产。按数据敏感度把算力分成两池,比硬凑一个异构集群更省钱,也更容易过评审。附迁移成本评估方法与四种分层形态。

先说结论:信创合规的解法是分层,不是全换。 把涉密与受监管业务的数据留在国产算力池,把大模型训练、新模型验证与在线推理峰值留在 NVIDIA 池,两池之间用数据集分区与网关隔离——这比硬把昇腾和 H100 塞进同一个训练集群更便宜,也更容易通过评审。

一、两张牌面差在哪

维度昇腾 910BNVIDIA H100 / H200NVIDIA B200 / B300
单卡显存64GB HBM80GB HBM3 / 141GB HBM3e192GB / 288GB HBM3e
8 卡整机显存512GB640GB / 1,128GB1,536GB / 2,304GB
卡间互联HCCSNVLink 4(单卡 900GB/s)NVLink 5(单卡 1.8TB/s)
软件栈CANN + MindSpore,PyTorch 走 torch_npuCUDA,框架默认适配CUDA,FP4/FP8 原生
主要隐性成本算子迁移与精度对齐采购价与交期采购价、供电与散热

一句话读法:显存与互联决定「能不能跑」,软件栈决定「要改多少代码才能跑」。昇腾适合已经跑通的中小模型推理、微调与评测,不适合从零开始的千亿参数预训练。单卡算力与整机形态以厂商规格书为准,不建议按第三方流传的参数表做预算。

二、迁移成本怎么估

「改一行 import 就能跑」是销售话术。真实工作量集中在算子:

  • 算子覆盖率:把模型用到的算子列出来,对照 CANN 算子库查覆盖情况;
  • 未覆盖算子:需要用 Ascend C 重写,工作量与算子复杂度直接相关;
  • 精度对齐:同一模型两侧输出的 logits 差异要在可接受范围内,通常要逐层比对;
  • 生态组件:自研 CUDA kernel、定制算子库、特定版本的框架补丁,是最容易被忽略的部分。

采购前建议先做三个小规模验证:① 选一个真实业务模型跑通推理并做精度对齐;② 用真实并发压一轮吞吐,看单卡能承载多少 QPS;③ 训练脚本在单机 8 卡上跑一个完整 epoch,看 loss 曲线是否与 NVIDIA 侧一致。三件事都过了,再谈批量采购。

三、分层的四种常见形态

场景建议算力池理由
涉密数据处理、监管报送、央国企核心系统国产池数据不出域是硬约束,性能可让步
模型微调、蒸馏、批量评测、离线推理国产池优先对互联带宽要求低于预训练,成本更敏感
大模型预训练、长上下文高并发在线推理NVIDIA 池显存容量与卡间互联决定能不能跑
新模型验证、短期试验按需租用 NVIDIA 池避免为三周的验证采购整机

四、四个常见误判

  1. 「信创就是全部换国产」:多数评审看的是关键系统与数据的国产化率,不是每一张卡;
  2. 「昇腾跑不了 PyTorch」:能跑,代价在算子与精度对齐,不在框架本身;
  3. 「先买卡再想迁移」:迁移工作量在采购前就能评估,买完发现跑不动,卡只能闲置;
  4. 「混池就是同一个集群插两种卡」:异构混训的调度与通信代价很高,通常不如两池分立、数据隔离。

五、常见问题

Q:昇腾 910B 能直接跑 Qwen、DeepSeek 这类开源模型吗? A:主流开源模型通常已有可用的参考实现,能跑通推理;能否满足生产要求,取决于你的精度要求与并发量,必须用自己的数据和真实并发验证,不要以厂商 demo 为准。

Q:信创池要买多大? A:按「涉密与受监管业务」的峰值并发反推,先满足合规业务,再考虑把非敏感推理迁入。国产池买多了同样会闲置,分层的目的不是堆规模。

Q:两个池之间的数据怎么隔离? A:通常用数据集分区加网关控制流向:国产池处理原始数据,只把脱敏后的样本或评测结果送往 NVIDIA 池,反向不回流原始数据。

需要按你的合规要求与业务量做一份分层选型方案,可联系我们;机型与整机显存对照见 GPU 服务器,成本口径见 Token 工厂 TCO 测算。