← 返回知识库

Token工厂TCO测算:8卡GPU整机三年成本怎么算

8卡GPU整机的采购价只占三年TCO的六成左右。把采购、机房、电力、组网、维保、人力六类成本逐项拆开,给出可套用的测算模板与三个常见漏项。

8 卡 GPU 整机的采购价,通常只占三年 TCO 的 55%–70%。真正容易漏掉的是电力、机柜、组网、维保与人力——这些项目在采购单上不出现,却按月发生。

本文给出一套可直接套用的测算方法,所有公式只依赖四个输入:整机报价、整机功耗、当地电价、预计利用率。

一、先把"单价"换成"总拥有成本"

同样两台 8 卡整机,报价差 10%,三年 TCO 可能差 30%。原因是采购价只覆盖硬件,而运行成本与配置强相关:

成本项计算方式常见漏项
硬件采购整机报价 × 台数未含交换机、光模块
机房与机柜机柜月租 × 月数 × 机柜数高密机柜(20kW+)需单独议价
电力整机功耗 × 8760h × 电价 × PUE只算 GPU,不算 CPU/内存/风扇
组网交换机 + 网卡 + 光模块 + 布线训练集群的 IB 交换机单价常被低估
维保与备件年维保费 × 年数(或按报价 8%–12%/年估)备件周转与坏卡返修周期
运维人力人力月成本 × 人月集群越大,需要的专职运维越多

二、电费:最容易被低估的一项

公式:

年电费 = 整机输入功率(kW) × 24 × 365 × 电价(元/kWh) × PUE

示例假设(仅为演示口径,实际以现场为准):8 卡整机 GPU 侧 11.2kW(按单卡 1400W 计),加 CPU、内存、网卡与风扇后按 13kW 估算;PUE 1.3;电价 0.65 元/kWh。

  • 年耗电 ≈ 13 × 24 × 365 ≈ 113,880 kWh
  • 年电费 ≈ 113,880 × 0.65 × 1.3 ≈ 9.6 万元

也就是说,仅电力一项,三年就是约 29 万元。若机房 PUE 是 1.6 而不是 1.3,这一项会多出 20% 以上。

三、把 TCO 摊到"每卡·小时"

比"整机多少钱"更有用的指标是每卡每小时的成本:

每卡·小时成本 = 三年 TCO ÷ (3 × 8760 × 卡数 × 平均利用率)

示例:三年 TCO 200 万元、8 卡整机、平均利用率 50%,则每卡·小时约 19 元。这个数字可以直接与公有云按小时计价的 GPU 实例对比,判断自建是否划算。

利用率对结果的影响是非线性的:

平均利用率每卡·小时成本(同一 TCO 口径)
30%约 32 元
50%约 19 元
70%约 14 元

很多测算的失败不在价格,而在默认 100% 利用率。

四、三个常见错误

  1. 只算采购价,不算三年运行成本。 电力 + 机房 + 维保通常再增加 35%–50%。
  2. 忘记算网络。 8 卡整机之间靠 NVLink,不需要网络;但两台以上整机做分布式训练时,InfiniBand 交换机与光模块是硬成本,且按端口计价。
  3. 按满载摊成本。 真实业务有波峰波谷,按 100% 利用率算出的单位成本会低估 2–3 倍。

五、什么时候该自建,什么时候该租

三个判断门槛,缺一条就要谨慎:

  • 规模:年 Token 消耗量足够大,自建的固定成本才能被摊薄;
  • 合规:数据不能出内网,或需要满足等保、信创要求;
  • 能力:有稳定的运维人力,能处理驱动、固件、故障替换与推理框架调优。

三条都不满足时,先用 API 或租用算力验证业务,再决定是否自建,通常比一步到位更稳。

常见问题

Q1:8 卡整机的电费到底按多少算?按整机输入功率算,不是按 GPU TDP 之和。GPU 之外还有 CPU、内存、网卡、风扇与电源转换损耗,实际输入功率通常比 GPU 标称总和高 15%–25%。

Q2:PUE 应该取多少?取决于机房。风冷托管机房常见 1.3–1.6,液冷或新建机房可更低。测算时按机房实际值,不要用厂商宣传值。

Q3:维保费按什么比例估?行业内常见按硬件报价的年 8%–12% 计,具体取决于响应级别与备件策略。首年通常含在质保内,第二年起计入。

需要按您的模型规模与电价算一版具体的 TCO,可以看 GPU 服务器机型与规格,或直接联系我们获取测算表。组网部分的成本构成,见InfiniBand 与 RoCE 选型对比。