vLLM:PagedAttention 与推理服务

124 字 · 预计阅读 1 分钟

2023 · Kwon 等 / UC Berkeley · 像操作系统分页一样管理 KV Cache

2023 年,Kwon 等人在 UC Berkeley 提出 PagedAttention,并做成 vLLM 推理框架。它把每个请求的

本文是会员内容

全文 124 字,已试读约 21%。开通专业版可阅读全文,并解锁全部官方课程与后续更新。

开通专业版

支持 7 天无理由退款 · 早鸟价 99 元/年(售完恢复365/年)

课程中涉及的第三方项目,其著作权与商标归各自权利人所有;引用处的署名与许可见《开源与来源说明》。