自建模型和买 token,什么用量才划算?
自建模型划不划算,取决于三笔账要分开算:硬件是一次性支出,电力和运维是持续支出,token 是随用量走的边际支出。只有持续用量足够大时,前两笔摊薄下来才可能比第三笔便宜。只比"卡多少钱、token 多少钱",通常算不准。
以下说明的是两种投入方式的成本结构与判断条件,不含任何具体价格与商务条件,也不针对具体模型或服务商作评价。实际测算须结合企业环境的硬件、电力、人力与模型条件另行确认。
01 三笔账要先分开:一次性、持续性、边际性
把三种成本混在一起算,几乎一定会得出相反的结论。因为它们的发生方式完全不同:一个只发生一次,一个每月都发生,一个随使用量线性增长。
| 成本类型 | 自建模型 | 调用外部模型 |
|---|---|---|
| 硬件 | 一次性采购,已购则是沉没成本 | 无 |
| 电力与场地 | 持续发生 | 无 |
| 运维人力 | 持续发生,且需要专业能力 | 无 |
| 模型调用 | 无按次费用,但受容量上限约束 | 按用量计费 |
自建与外部调用的成本结构对比,只列结构,不含任何金额。真正决定划算与否的是第三行——运维人力,它最容易被漏算。
02 第一道门槛不是钱,是已有算力能不能跑起来
已经买了算力卡的企业,最该先确认的不是价格,是卡型与目标模型的适配情况。这一项决定的是「能不能跑」,而不是「跑得好不好」。
要确认三件事:模型格式与卡型是否兼容、需要哪一种推理运行时、驱动环境是否配套。国产算力卡的生态与主流框架的适配度差异较大,有些模型需要额外的转换或适配工作,这部分工作量通常不在最初的预算里。
卡型和模型适配这一项没确认,后面所有成本测算都是空的。建议的顺序是:先拿真实任务样本跑通一次推理,确认可用之后,再谈用量与成本。
03 第二道门槛是运维,不是采购
自建之后,模型更新、故障处置、容量规划都变成企业自己的活,而且这些活是持续的。采购是一次性动作,运维是长期责任。
具体要做的事包括:跟踪模型新版本并做回归测试、处理显存不足与并发突增、规划扩容、保存可回退版本、在运行时异常时切换备用模型或返回明确的降级结果。每一件都需要有人负责,而不是"出问题再找人"。
成本测算里有一个常见的误判:把省下来的 token 费用当成净收益,却没把新增的运维人力算进去。人手不足时,运维成本很容易把省下的费用吃掉,同时还带来可用性风险。
04 什么用量下自建才划算:三条要同时成立
持续、稳定、可控这三条同时成立,自建才可能划算;缺一条,结论就要重算。这三条讲的都不是总量,而是使用方式。
持续指的是长期都有调用,而不是某个项目集中跑三个月;稳定指的是日常频次可预测,而不是偶发峰值;可控指的是企业有人能承担运行时的维护与故障处置。项目制的短期高峰,用外部模型通常更划算,因为不需要为峰值买常年闲置的容量。
反过来,如果调用量小、频次不稳、又没有专职运维,自建的固定成本摊不薄,实际单位成本往往高于外部调用。
05 多数企业的现实答案是混合,不是二选一
更常见的方案是分层:高频、稳定、敏感的任务走本地,低频、复杂、非敏感的任务走外部。这样两端的好处都能拿到,代价是治理复杂度上升。
混合模式需要的支撑是模型目录与路由策略:哪类任务走哪个模型、按什么规则判断、失败了怎么回退。这些规则要写在配置里,不能靠使用者临场决定。没有这层治理,混合会变成两套各自为政的系统。
混合也不等于安全。哪类数据可以走外部、哪类不能,要按数据分类定,不能按模型归属定。
06 常见问题
已经买了卡一直闲置,是不是自建就划算了?硬件已购确实是沉没成本,但决定结论的是后两笔账:持续的电力与运维。如果缺少运维能力或调用量很小,闲置的卡继续闲置,可能比勉强上马更省。
自建模型的回答质量会比外部模型差吗?取决于参数规模、任务类型和数据准备情况,不能只看模型大小。建议用真实任务样本做一轮对比评测,再按任务风险决定哪些走本地、哪些走外部。
怎么算出自己的盈亏平衡点?把三笔账分别列出:硬件折旧、年度电力与运维人力、当前的 token 支出,再按预计调用量折算单位成本。测算结果对假设非常敏感,建议用真实用量跑一个月再定,不要用估算值一次性拍板。