2022 · Dao 等 / Stanford · 按 GPU 显存层级重写注意力,长上下文的基础
2022 年,Dao 等人提出 FlashAttention。标准注意力要把 N×N 的注意力矩阵写进 GPU 的高带宽显存,长序列下既慢
全文 126 字,已试读约 30%。开通专业版可阅读全文,并解锁全部官方课程与后续更新。
支持 7 天无理由退款 · 早鸟价 99 元/年(售完恢复365/年)
课程中涉及的第三方项目,其著作权与商标归各自权利人所有;引用处的署名与许可见《开源与来源说明》。