端侧大模型跑上手机 三百亿参数也能本地推理

端侧人工智能的竞争，正在从“能不能跑”变成“能跑多大”。今年下半年，多款移动平台把可本地运行的模型规模从七十亿级推高到三百亿级，参数量不再是云端专属。

关键在架构。有平台采用混合专家结构，把三十亿级激活参数与三百亿级总参数结合起来，推理时只调用其中一部分专家网络，从而在有限算力下保持响应速度。

内存是最大障碍，也是最先被攻克的环节。通过与芯片厂商、存储厂商联合优化，采用中央处理器、图形处理器与神经网络处理器异构调度，模型运行时的内存需求相比常规方案下降超过一半。

存储协同的思路值得关注。让模型权重直接从闪存加载，通过存储与计算的分工减少数据搬运，等于把“内存不够”变成“带宽够不够”的问题，这在移动设备上更现实。

量化与稀疏化是常规手段。低位宽量化压缩权重体积，稀疏注意力降低计算量，投机采样用小模型先行试探再由大模型校验，几项技术叠加，才让本地推理的延迟落到可感知范围。

应用形态随之改变。跨应用的智能体开始出现在系统层，用户一句话就能让助手读取日程、整理消息、发起导航，而不必在每个应用里重复授权与切换，这对隐私也更友好。

普惠是另一个信号。过去端侧模型只在旗舰机型上出现，今年部分中端平台也能运行小尺寸模型，离线问答、文档摘要、图像描述等功能开始下放到更低价位的设备。

挑战并不小。持续推理带来的功耗与发热，会直接压缩续航；模型更新需要随系统版本分发，版本碎片化会让体验参差不齐；端侧算力与云端能力之间的能力边界，也需要产品设计说清楚。

对开发者而言，端侧意味着新的分工。能在本地完成的部分尽量本地做，把延迟敏感、隐私敏感的任务留住，把重计算交给云端，这种混合架构会成为一段时间内的主流选择。