下表为芯片厂商公开规格。整机配置（CPU 平台、内存、本地存储、网卡与交换、电源、维保年限）按项目方案确定，价格随配置变化，不做一刀切报价。
| 机型 | 单卡显存 | 8 卡整机显存 | 卡间互联 | 适用场景 |
|---|---|---|---|---|
| NVIDIA H100 SXM | 80GB HBM3 | 640GB | NVLink 4（单卡 900GB/s） | 通用训练与推理主力机型，框架适配最广 |
| NVIDIA H200 SXM | 141GB HBM3e | 1,128GB | NVLink 4（单卡 900GB/s） | 大显存推理与中等规模训练，长上下文显存压力更小 |
| NVIDIA B200 SXM | 192GB HBM3e | 1,536GB | NVLink 5（单卡 1.8TB/s） | Blackwell 架构训练主力，FP4/FP8 原生 |
| NVIDIA B300 SXM | 288GB HBM3e | 2,304GB | NVLink 5（单卡 1.8TB/s） | 旗舰机型，300B 以上参数模型常驻与长上下文高并发推理 |
| NVIDIA L40S | 48GB GDDR6 | 384GB | PCIe Gen4（无 NVLink） | 推理与图形渲染混合负载，性价比优先的中小规模部署 |
| 华为昇腾 910B | 64GB HBM | 512GB | HCCS | 信创合规场景，配套 CANN / MindSpore 生态 |
口径说明：整机显存 = 单卡显存 × 8。H100/H200 为 NVLink 4 架构（单卡 900GB/s），B200/B300 为 NVLink 5（单卡 1.8TB/s），L40S 为 PCIe 形态、不支持 NVLink，昇腾 910B 使用 HCCS 互联。上表为芯片厂商公开规格，与具体整机厂商的板卡形态、功耗墙设置可能略有差异。
先确定模型规模与并发量，再定卡数与互联形态；反过来先定机型，通常会在显存或带宽上返工
L40S / H100 单卡至 4 卡
7B–14B 模型单卡即可承载，70B 级别通常需 4 卡。此区间更关注单位显存成本与并发吞吐，L40S 的 48GB GDDR6 与 H100 的 80GB HBM3 是常见两种取舍：前者便宜、后者带宽高。
B200 / B300 8 卡整机
大模型预训练与微调看的是卡间带宽与低精度算力。B200 与 B300 支持 FP4/FP8 原生计算，B300 单卡 288GB HBM3e、8 卡整机 2,304GB，可让 300B 以上参数模型常驻显存，减少跨机通信。
昇腾 910B / 寒武纪 MLU590
昇腾 910B 单卡 64GB HBM，配套 CANN 与 MindSpore。迁移成本主要取决于模型里的自定义算子数量：算子越少，迁移越接近「换框架重跑」；算子多则需重写验证。建议先做小规模适配再批量采购。
GPU 服务器的价值在上架之后才真正开始，交付边界写清楚比参数堆砌更重要
| 环节 | 具体内容 | 验收方式 |
|---|---|---|
| 整机交付 | 按配置清单交付整机，含上架、固件与驱动基线配置 | 配置清单逐项核对 |
| 集群组网 | InfiniBand 或 RoCEv2 无损网络设计与实施，多机互联调优 | 带宽与丢包实测（如 NCCL all-reduce） |
| 推理平台 | vLLM / SGLang 等推理框架部署、模型加载与压测 | 指定并发下的首 Token 延迟与吞吐 |
| 运维交接 | 监控告警、备件与维保策略、日常巡检清单 | 运维手册与交接确认 |
交付周期按机型、数量与是否含组网确认，具体以合同约定为准。
关于显存、机型、组网、信创与交付的 6 个高频问题
