Adam:随机优化器

123 字 · 预计阅读 1 分钟

2014 · Kingma, Ba · 今天大模型训练仍在用的优化器(及其变体 AdamW)

2014 年,Kingma 和 Ba 提出 Adam。它同时估计梯度的一阶矩和二阶矩,并做偏差校正,让每个参数拥

本文是会员内容

全文 123 字,已试读约 28%。开通专业版可阅读全文,并解锁全部官方课程与后续更新。

开通专业版

支持 7 天无理由退款 · 早鸟价 99 元/年(售完恢复365/年)

课程中涉及的第三方项目,其著作权与商标归各自权利人所有;引用处的署名与许可见《开源与来源说明》。