你在模型页上看到一个 9B 的模型，评价不错，花半小时下了五六个 GB，一跑：要么直接报显存不足，要么一个字一个字往外挤，问一句话等半分钟。
到了要微调的时候，问题换了个样子：租一台云 GPU，24GB 的卡够不够？要不要上 80GB 的？选小了训不起来，选大了白花钱。
这两个问题其实是同一个问题：模型能不能跑、能不能训，先看显存装不装得下。
这一节把显存拆开算清楚。学完你能做到：
看到任何一个模型，能估出推理要多少显存；
知道微调比推理贵多少；
一、先分清三种"内存"
1. 显存：GPU 的工作台
GPU 算得快，前提是数据就在它手边。显卡上那块内存叫显存（VRAM），模型权重和计算的中间结果都得放在这里。家用 N 卡常见 8GB、12GB、16GB、24GB 几档。
2. 内存：放得下，但离得远
电脑的内存（RAM）通常比显存大得多。显存装不下时，推理工具可以把模型的一部分层放进内存，交给 CPU 算。能跑，但会慢很多
3. 苹果芯片的统一内存
Mac 的 CPU 和 GPU 共用一块内存，所以一台 32GB 的 Mac 跑本地模型，能顶一张大显存的卡。
但 macOS 不会把全部内存都让给 GPU。社区实测，默认上限大约是总内存的三分之二到四分之三，苹果没有公布具体规则。
4. 看看你手上有多少
| 平台 | 怎么看 |
|---|---|
| NVIDIA 显卡（Windows / Linux） | 终端运行 nvidia-smi，看 Memory-Usage 那一栏斜杠后面的总量 |
| Windows（任意显卡） | 任务管理器 → 性能 → GPU → 专用 GPU 内存 |
| Mac | 左上角苹果菜单 → 关于本机 → 内存 |
二、推理时，显存里装了什么
先记住一句话：推理显存 ≈ 权重 + KV Cache + 运行开销
1. 权重：参数量 × 每个参数的字节数
模型名里的 8B、9B 指参数个数，B 是十亿。每个参数占几个字节，取决于存储精度：