推理成本成为主线：算力账本正在被重写

过去行业讨论算力时习惯盯着单次训练任务的规模，把参数量、卡数与训练时长当作主要指标。这两年情况在变：模型参数的增长放缓，调用量却持续攀升。一次训练可以摊到很长时间里，而推理是每天都在发生的开销，电费、折旧与机房租金被直接计入单位调用成本。

多家提供云计算与机房服务的团队在技术交流中提到，推理负载在机房总功耗中的占比明显上升。这个比例变化让数据中心的选址逻辑跟着改变：电价高低、气候条件、水资源供给和并网排队时间，权重都在提高，而网络延迟的重要性相对下降。

散热方案的地位也在上移。单机柜功率密度上升之后，传统风冷在大规模部署中越来越吃力。液冷过去因为改造成本高被认为不划算，如今因为可以直接降低风扇功耗、允许更高的进风温度，被更多项目放进了设计阶段而不是改造阶段。

在硬件供给仍然偏紧的情况下，提升利用率比追加采购更现实。推理请求的到达时间并不均匀，白天与深夜的峰谷差异明显，把可以延后的离线任务与在线服务混部在同一批设备上，能够显著削峰。难点在于隔离：在线请求对延迟敏感，一旦被挤占就会出现尾延迟，工程上通常用配额预留和以队列长度作为扩容信号来应对。

对中型团队来说，务实的做法是先把自身的功耗画像做清楚：哪些任务可以延迟、哪些必须实时、哪些可以搬到电价更低的时段。这份画像往往比更换设备更能省钱。当算力成本与电力成本高度耦合，采购、厂务与基础设施团队的协作方式也在发生变化，长期购电、峰谷分时这些过去属于厂务范畴的概念，开始出现在技术评审会上。