缓存与队列：为什么程序会时快时慢

日常使用软件时常见的体验是：第一次打开某个页面慢，之后快；刚打开时很顺，连续操作后变顿。这两种现象分别对应两个基础机制——缓存与队列。理解它们，很多难以解释的行为就有了理由。

缓存的思路是把常用结果留在更近的位置，避免重复计算或重复读取。第一次访问没有现成结果，需要走完整流程，因此慢；之后从缓存直接返回，就快了。缓存有限，必须按某种规则腾出空间，一旦命中率下降，性能会出现断崖式回落，而不是线性变慢。

队列处理的是忙不过来的情况。请求按到达顺序排在这里，等待处理。队列长度不大时，每项都能及时处理；一旦短时间内涌入过多请求，队列变长，等待时间随之上升，这就是连续操作后变顿的原因。更麻烦的是，排队本身不体现在错误里，用户只会觉得慢。

两者的相互作用会产生几种典型现象。缓存被清空时，所有请求都要走完整流程，等于同时给后端加压，队列随之变长，表现为一次改版之后整体明显变慢；队列满时会直接拒绝，这比无限排队更可取，因为它避免了所有请求一起变得很慢。

对用户，可用的经验有三条。操作突然变卡先看是不是刚完成了重启或更新，缓存需要重新积累；大量数据第一次加载慢属正常，避免反复取消重试验证；如果一项服务频繁出现拒绝而不是慢，说明容量确实到了极限。一句话记住：缓存决定要等多久，队列决定排第几。