HYPIC：小红书联合北大、上交提出首个混合注意力大模型位置无关缓存系统

HYPIC 在混合注意力大模型上实现了位置无关缓存，将首 token 延迟平均降低 3.25 倍。在 4 个生产级模型上，同 SLO 下可持续 QPS 提升 1.66 倍，任务质量与完全重算仅相差 1.71 分。

AI HOT 详情：https://aihot.virxact.com/items/cmrnclu0101cgbic6rpcgkw8s

原文链接：https://mp.weixin.qq.com/s/RWveWvw9yBH6YQINBQ-XjA