同样一句 ollama run qwen3.5:0.8b，有人十秒钟就开始对话，
还有人明明有显卡，模型却跑在 CPU 上。这些问题多半出在操作系统上。
这一节按平台把最常见的坑列出来，
学完这一节，你能做到：看到"慢"或者"没用上显卡"时，知道先查什么、再查什么
一、Mac
| 现象 | 原因 | 办法 |
|---|---|---|
| Intel 芯片的 Mac 跑得很慢 | 只有苹果芯片能用 GPU 加速 | 只跑 2B 以下的小模型，或者换用云端 |
| 内存明明够，大一点的模型却装不下 | macOS 默认只让 GPU 用一部分统一内存 | 调整 iogpu.wired_limit_mb，或者换小一号的模型 |
| 聊着聊着突然变得很慢 | 内存压力过大，系统开始用硬盘交换 | 看活动监视器的"内存压力"，关掉浏览器等大户 |
| 用电池时比插电慢很多 | 低电量模式会压低芯片性能 | 测速度、跑大模型时插上电源 |
| PyTorch 装不上，或者用不了 MPS | Python 是 x86 版本，跑在 Rosetta 转译下 | 换成 arm64 的 Python，见下文 |
1. 内存压力：看颜色
打开"活动监视器"，切到"内存"标签页，底部有一条"内存压力"曲线。绿色没问题；变成黄色，系统开始压缩内存；变成红色，就在大量往硬盘上交换数据，这时候生成速度会断崖式下跌。
Mac 的显存和内存是同一块，浏览器开几十个标签页，和模型抢的是同一份资源。跑模型时把用不着的应用关掉，效果立竿见影。
2. Rosetta：一个隐蔽的坑
从老的 Intel Mac 迁移过来的电脑，或者装过 x86 版本的 Homebrew、Anaconda，很可能你的 Python 其实是 x86 版本，靠 Rosetta 转译运行。它能用，但 PyTorch 新版只提供苹果芯片的安装包，MPS 加速也用不上。
检查一下：
python3 -c "import platform; print(platform.machine())"输出 arm64 就对了。输出 x86_64，就用 uv 重新装一个 Python，uv 会自动下载 arm64 的版本。
3. GGUF 还是 MLX
在 Mac 上，同一个模型经常有两种版本：
| GGUF 版本 | MLX 版本 | |
|---|---|---|
| 谁来运行 | llama.cpp，通过苹果的 Metal 接口用 GPU | 苹果自己的 MLX 框架 |
| 在哪能用 | 所有平台 | 只有苹果芯片的 Mac |
| Ollama 里的名字 | qwen3.5:0.8b |
qwen3.5:0.8b-mlx |
| 速度 | 基准 | 通常更快 |
速度差多少，看芯片和模型。Ollama 在 2026 年 3 月 30 日发布 0.19 预览版、把苹果芯片的后端换成 MLX 时，公布过一组自测数据：跑 Qwen3.5-35B-A3B，生成速度从 0.18 版的每秒约 58 个 token 提高到约 112 个。这是厂商自己的测试，文章也没写用的是哪款芯片。你的机器上会是多少，实测一下最准。
MLX 版本的文件不一定更小。截至 2026-11-01，Ollama 官方库里 qwen3.5:9b-mlx 约 8.9GB，而默认的 qwen3.5:9b 约 6.6 到 7.6GB。内存紧张时，先算一下装不装得下。
二、Windows
| 现象 | 原因 | 办法 |
|---|---|---|
| 有 NVIDIA 显卡，模型却跑在 CPU 上 | 驱动太旧 | Ollama 要求 550 以上的驱动，更新到最新版 |
| AMD 显卡用不上 | ROCm 在 Windows 上只支持部分型号 | RX 7600 到 7900 系列走 ROCm，其他型号靠 Vulkan |
刚装完，终端里提示找不到 ollama |
环境变量没刷新 | 关掉终端重新打开，不行就注销一次 |
| WSL 里的程序连不上 Windows 上的 Ollama | WSL 默认网络模式下，localhost 指的是 Linux 自己 |
打开镜像网络模式，见下文 |
| 个别工具报路径错误 | 用户名或路径里有中文 | 模型和项目放到纯英文路径下 |
1. 原生 Windows 还是 WSL2
跑推理，原生 Windows 完全没问题，Ollama、LM Studio 都有 Windows 版。
不过我更推荐 WSL2，是为了后面的训练和部署。
两边混着用时，最常见的问题是：Ollama 装在 Windows 上，调用程序却在 WSL 里跑，结果连不上 localhost:11434。
原因是 WSL2 默认用 NAT 网络，在 WSL 里访问 localhost，找的是 Linux 虚拟机自己，而不是 Windows。
最省事的办法是打开镜像网络模式，要求 Windows 11 22H2 及以上。在 Windows 的用户目录下新建或编辑 .wslconfig 文件：
[wsl2]
networkingMode=mirrored