大模型服务的主战场，正在从单轮聊天逐步转移到检索增强问答、多文档摘要以及长程Agent。这类新负载具备一个共同的特征：一条请求的prompt往往由几十到上百个语义独立的片段拼接而成，其中检索到的文档、技能说明、记忆文件以及历史轮次被一股脑地组装成数万乃至数十万token的超长上下文。在这个长度下，预填充（prefill）阶段主导了单请求的算力开销，从而成为服务商最显眼的成本来源；更棘手的是，一旦发生缓存未命中，尾部首token延迟（TTFT）能够冲到数十秒，直接砸坏交互体验。

业界为此发展出了两条降本路线。一条是位置无关缓存（PIC），它放开了严格的前缀约束，使得每个语义独立的片段只缓存一次、并且能够拼接到任意前缀之后，从而刚好贴合RAG与Agent的prompt组装方式，其本质可以归结为沿token轴直接拼接的splice、以及重算少量token以恢复跨段上下文的correction这两个原语。另一条是混合注意力模型，运用线性注意力来替换大部分全注意力层，把注意力的二次复杂度压到线性，并将无界的历史压缩成固定大小的循环状态。近来的生产模型诸如MiniMax-M1、Ring-2.5、Qwen3.5、Kimi-Linear，普遍把75%以上的层进行线性化、保留少量全注意力层，从而形成混合注意力的主流设计，以Qwen3.5-35B-A3B为例，在40层里有30层是线性层。

矛盾恰恰出在这里：现有PIC所操作的是逐token的KV缓存，而线性注意力层只向外暴露一个per-request的循环状态，并不具备任何逐token的抓手以供splice或correction。结果是，混合模型里的大部分层都落在了现有PIC的能力范围之外。在此之前，没有任何系统能够为混合注意力大模型提供位置无关缓存。

小红书大模型推理团队联合北京大学以及上海交通大学所提出的HYPIC，是首个在混合注意力大模型上实现PIC的服务系统。它在4个生产级混合注意力模型以及5个工作负载上的测试显示：首token延迟平均降低3.25倍，同SLO下可持续QPS提升1.66倍，而任务质量与完全重算仅相差1.71分。这套系统的核心思想，是对混合注意力模型里的线性层以及全注意力层进行分而治之，再运用一层系统级并行把冷请求也一并加速，由三个环环相扣的机制所构成。

对线性层，HYPIC所缓存的是"转移算子"，从而实现常数时间的状态组合。最直接的PIC稻草人方案，在于把两段各自的零初值末状态直接相加——这在朴素线性注意力下恰好成立，但在带衰减、门控、delta擦除的进阶线性注意力（RetNet、Mamba2、GLA、DeltaNet、GDN、KDA等）下会失效。真正被漏掉的关键量是一个段累积转移算子T_C，即一段内所有token转移矩阵的连乘;真实的末状态应为S(C1·C2)=T(C2)·S(C1)+S(C2)，朴素相加恰恰丢掉了T(C2)这一项，由此造成结构性误差，实测RetNet慢衰减头在256token时误差已达状态范数的22%。HYPIC的关键洞察在于，T_C和零初值末状态S(C|0)都只由片段内部的token所决定、与前缀无关，因此它在片段首次prefill时把二元组(T_C， S(C|0))一并缓存，复用时按组合律左乘T_C再相加，即可在常数时间内近乎精确地还原任意前缀下的末状态，且天然覆盖全部线性注意力家族。实测在Qwen3.5-35B-A3B上，组合后的状态在第0层与完全重算仅相差6×10⁻⁵，落在FP16噪声之内。针对带因果卷积、带RoPE的变体，HYPIC分别运用卷积状态热身和状态重旋转两个补丁做了严格对齐。

对全注意力层，HYPIC运用“缝合窗口”来修复跨段注意力。混合模型中少数的全注意力层仍然需要PIC，但以往的选择性重算无法直接加以迁移，因为下方的线性层只保留末状态，非末尾token无法向上穿过全注意力层。两种退路——逐token存储循环状态、或从零重新递推——在存储或算力上都不可接受。团队的观察是，KV拼接后的偏差高度集中在每个复用片段的开头，其余部分几乎不受影响，这与全注意力模型里的attention sink现象一致，在混合注意力模型里同样成立。据此，HYPIC为每个内部片段开头w个token构造一个缝合窗口，缓存时把这几个token不纳入缓存，复用时在完整前缀下进行重算以修复跨段注意力，默认w=8；由于实际片段长度通常大于512token，缝合窗口只占极小一部分，重算开销可控。为了支持段首KV重算，线性注意力层在复用时需即时算出缝合窗口自身的T和S，一边推进running state，一边把每个seam token的逐层输出前传给上层的全注意力层。

第三块拼图在于段并行，它把“长冷请求”也转变成了可加速的负载。缓存未命中不可避免——语料会持续更新、低频文档会被淘汰，而长冷请求正是尾延迟的主要成因。现有系统仍把整条prompt当作一个整体、在单实例上对所有冷片段进行串行prefill，TTFT随O（n·|C|）而增长；张量并行等实例内并行虽能加速单次前向，但扩展性有限，一条100k token请求在TP-8下仍需17.7秒。但PIC已经让每个片段具备自包含特性——其prefill结果只由内部token所决定。HYPIC顺势提出实例间的段并行：Router对每段命中状态加以探测，把冷片段并行分发给多个scatter worker，再由一个combine worker把各段结果组装成完整运行状态，从而把冷prefill从O(n·|C|)降低到O(⌈n/m⌉·|C|+c)。为了把这条路径充分跑满，HYPIC运用LPT（最长处理时间优先）贪心策略来均衡各worker负载，并把每段的计算与传输进行流水线重叠，避免combine worker被同步的传输突发所拖住；段并行与实例内并行（TP/DP/SP）作用在正交的轴上，可无缝叠加。

这套系统已在SGLang上得以实现，代码量约14k行Python以及Triton代码，在8×H20节点上选取4个生产级混合注意力模型（Ring-mini/flash-linear-2.0、Qwen3.5-35B-A3B/122B-A10B）、4个公开数据集（HotpotQA、TriviaQA、MultiNews、GovReport）以及1条生产RAG trace完成评测。全量预热后，HYPIC相比Prefix Cache将p50TTFT平均降低3.25倍（各模型2.77×至4.05×），而质量几乎无损——16个"模型×数据集"单元平均只落后完全重算1.71分，在Qwen3.5-35B上甚至反超0.47分；作为对照，不缓存转移算子的朴素相加直接损失了66.9%的分数，由此印证了T_C的必要性。在生产RAG trace上，同1秒TTFT SLO下，HYPIC把可持续QPS相比Prefix Cache提升1.66倍（1.49×至1.85×），峰值单卡吞吐提升约1.3至1.5倍。在纯冷未命中路径上，一条32k token请求的TTFT从单worker的2.83秒降到8worker的0.49秒，达到5.7倍加速，且几乎全部收益来自可近线性扩展的scatter阶段；面对不均匀分片，LPT相比Round-Robin把TTFT从1.26秒压到0.84秒（3.6×对2.4×）。开销同样可控：构造(T_C， S(C|0))的一次性开销，在最重的稠密转移模型上也仅为主前向的5.2%至6.7%，一次构造、多次复用即可摊薄。

HYPIC首次把位置无关缓存带到了混合注意力大模型之上：它借助所缓存的段累积转移算子，成功实现了线性层在常数时间内的状态组合，运用较小的缝合窗口对全注意力层的跨段对齐加以修复，再借助段并行把长冷请求转化为可加速的负载。它使得RAG以及Agent这类长上下文服务，在拥抱高效混合架构的同时，也能够享受到片段级缓存复用所带来的红利。团队表示，未来将进一步探索分布式的PIC管理与调度以及多级缓存分层管理，从而推动大模型推理向更快、更省、更可扩展的方向持续演进。

来源：首token延迟砍掉3. 25 倍：小红书联手北大、上交提出HYPIC，给混合注意力大模型装上"位置无关缓存" | AIbase