8卡GPU整机的采购价只占三年TCO的六成左右。把采购、机房、电力、组网、维保、人力六类成本逐项拆开,给出可套用的测算模板与三个常见漏项。
8 卡 GPU 整机的采购价,通常只占三年 TCO 的 55%–70%。真正容易漏掉的是电力、机柜、组网、维保与人力——这些项目在采购单上不出现,却按月发生。
本文给出一套可直接套用的测算方法,所有公式只依赖四个输入:整机报价、整机功耗、当地电价、预计利用率。
一、先把"单价"换成"总拥有成本"
同样两台 8 卡整机,报价差 10%,三年 TCO 可能差 30%。原因是采购价只覆盖硬件,而运行成本与配置强相关:
| 成本项 | 计算方式 | 常见漏项 |
|---|---|---|
| 硬件采购 | 整机报价 × 台数 | 未含交换机、光模块 |
| 机房与机柜 | 机柜月租 × 月数 × 机柜数 | 高密机柜(20kW+)需单独议价 |
| 电力 | 整机功耗 × 8760h × 电价 × PUE | 只算 GPU,不算 CPU/内存/风扇 |
| 组网 | 交换机 + 网卡 + 光模块 + 布线 | 训练集群的 IB 交换机单价常被低估 |
| 维保与备件 | 年维保费 × 年数(或按报价 8%–12%/年估) | 备件周转与坏卡返修周期 |
| 运维人力 | 人力月成本 × 人月 | 集群越大,需要的专职运维越多 |
二、电费:最容易被低估的一项
公式:
年电费 = 整机输入功率(kW) × 24 × 365 × 电价(元/kWh) × PUE
示例假设(仅为演示口径,实际以现场为准):8 卡整机 GPU 侧 11.2kW(按单卡 1400W 计),加 CPU、内存、网卡与风扇后按 13kW 估算;PUE 1.3;电价 0.65 元/kWh。
- 年耗电 ≈ 13 × 24 × 365 ≈ 113,880 kWh
- 年电费 ≈ 113,880 × 0.65 × 1.3 ≈ 9.6 万元
也就是说,仅电力一项,三年就是约 29 万元。若机房 PUE 是 1.6 而不是 1.3,这一项会多出 20% 以上。
三、把 TCO 摊到"每卡·小时"
比"整机多少钱"更有用的指标是每卡每小时的成本:
每卡·小时成本 = 三年 TCO ÷ (3 × 8760 × 卡数 × 平均利用率)
示例:三年 TCO 200 万元、8 卡整机、平均利用率 50%,则每卡·小时约 19 元。这个数字可以直接与公有云按小时计价的 GPU 实例对比,判断自建是否划算。
利用率对结果的影响是非线性的:
| 平均利用率 | 每卡·小时成本(同一 TCO 口径) |
|---|---|
| 30% | 约 32 元 |
| 50% | 约 19 元 |
| 70% | 约 14 元 |
很多测算的失败不在价格,而在默认 100% 利用率。
四、三个常见错误
- 只算采购价,不算三年运行成本。 电力 + 机房 + 维保通常再增加 35%–50%。
- 忘记算网络。 8 卡整机之间靠 NVLink,不需要网络;但两台以上整机做分布式训练时,InfiniBand 交换机与光模块是硬成本,且按端口计价。
- 按满载摊成本。 真实业务有波峰波谷,按 100% 利用率算出的单位成本会低估 2–3 倍。
五、什么时候该自建,什么时候该租
三个判断门槛,缺一条就要谨慎:
- 规模:年 Token 消耗量足够大,自建的固定成本才能被摊薄;
- 合规:数据不能出内网,或需要满足等保、信创要求;
- 能力:有稳定的运维人力,能处理驱动、固件、故障替换与推理框架调优。
三条都不满足时,先用 API 或租用算力验证业务,再决定是否自建,通常比一步到位更稳。
常见问题
Q1:8 卡整机的电费到底按多少算?按整机输入功率算,不是按 GPU TDP 之和。GPU 之外还有 CPU、内存、网卡、风扇与电源转换损耗,实际输入功率通常比 GPU 标称总和高 15%–25%。
Q2:PUE 应该取多少?取决于机房。风冷托管机房常见 1.3–1.6,液冷或新建机房可更低。测算时按机房实际值,不要用厂商宣传值。
Q3:维保费按什么比例估?行业内常见按硬件报价的年 8%–12% 计,具体取决于响应级别与备件策略。首年通常含在质保内,第二年起计入。
需要按您的模型规模与电价算一版具体的 TCO,可以看 GPU 服务器机型与规格,或直接联系我们获取测算表。组网部分的成本构成,见InfiniBand 与 RoCE 选型对比。