小模型回到舞台中央：轻量化推理的三条路径

把大模型搬到手机、摄像头和车载设备上，最大的障碍不是精度而是内存占用与持续发热。设备里的电池和散热面积都是硬约束，任何方案最终都要落到这两项上。轻量化推理因此成为一条被反复讨论的路线，而不是简单地把云端接口换个地址。

第一条路径是参数层面的压缩。量化把权重从三十多比特降到八比特甚至四比特，体积明显下降，代价是某些任务上的精度损失。蒸馏则用大模型的输出监督小模型训练，让后者在特定任务上接近前者。两者常配合使用，但都需要针对具体任务重新验证，不能靠论文数据直接推断。

第二条路径是结构改写。把稠密计算换成更稀疏的结构、给不同层设置不同的算力分配、删掉贡献低的模块，都能降低单次前向计算的开销。工程上的麻烦在于，改写后的结构往往依赖特定硬件的算子支持，换一批设备就可能失效，可移植性需要重点评估。

第三条路径是运行时优化。推理框架负责算子融合、内存复用和批处理调度，把同一块硬件的利用率榨出来。对开发者而言，这一层的收益通常最稳定，也最不需要改动模型本身，但需要理解设备特性，比如缓存大小与带宽上限决定了批处理的合理尺度。

三条路径不是互斥的选项，而是同一套成本账上的不同科目。实际项目里常见的做法是先做运行时优化拿到确定收益，再决定要不要压缩参数、是否需要改写结构。判断依据不是模型分数，而是真实场景下连续运行半小时的表面温度、峰值内存与响应分布。