模型选好了,下一步是把它下载下来。
Qwen3.5-0.8B 的权重也有 1.7GB,大一点的 4B 有 9GB 多。在国内直连 Hugging Face,常见的情况是速度只有几百 KB,下到一半断掉,或者干脆打不开。
好在办法不少。这一节讲三个下载来源、两套命令行工具,以及下载完怎么确认文件没坏。
学完你能做到:在国内网络下稳定地下载任何公开模型和数据集,并且核对下载的每一个文件。
这一节的产出,也是这一章的产出:把课程助教的基座 Qwen3.5-0.8B 下载到 llm-course/models/,顺便把后面训练要用的数据集也准备好。
一、先分清两种格式
用 Ollama 下载的模型是 GGUF 格式,专门给 llama.cpp 这类推理引擎用,通常已经量化过。
这一节下载的是 Hugging Face 格式:一个文件夹,里面是 config.json、分词器文件和 .safetensors 权重,权重一般是 16 位的原始精度。
训练、微调、用 vLLM 部署,都要用这种格式。
| GGUF | Hugging Face 格式 | |
|---|---|---|
| 长什么样 | 一个 .gguf 文件 |
一个文件夹,多个文件 |
| 精度 | 多为 4 到 8 位量化 | 多为 16 位原始精度 |
| 给谁用 | Ollama、llama.cpp、LM Studio | Transformers、vLLM、LLaMA-Factory |
| 本课哪里用 | 前面装 Ollama 试跑时 | 后面的训练和部署 |

二、三个下载来源
| 来源 | 地址 | 国内速度 | 特点 |
|---|---|---|---|
| Hugging Face 官方 | huggingface.co | 常常很慢或连不上 | 模型最全,更新最快 |
| hf-mirror 镜像 | hf-mirror.com | 较快 | 社区维护的公益镜像,用法和官方一样;不支持登录 |
| 魔搭社区 ModelScope | modelscope.cn | 快 | 阿里云的模型平台,千问等国产模型同步发布 |
怎么选:千问、DeepSeek、GLM 这类国产模型,魔搭上基本都有,优先用魔搭。
魔搭上没有的,用 hf-mirror。
需要登录申请才能下载的模型,只能连官方。

同一个模型在两个平台上的文件,可能有细微差别。
我们实测过 Qwen3.5-0.8B:两边权重文件的哈希值完全一致。
但 LICENSE、.gitattributes 这类小文件的内容不一样,魔搭还多一个 configuration.json。
所以后面校验文件时,要按你实际下载的来源去核对。
三、用 hf 命令从 Hugging Face 或镜像下载
1. 安装
hf 命令随 huggingface_hub 这个 Python 包一起安装。在 Python 虚拟环境里运行:
uv pip install -U huggingface_hub
hf version还没装 uv?点开看安装步骤
uv 是一个 Python 包管理工具,这门课用它建虚拟环境、装 Python 包。
1. 安装 uv
macOS、Linux:
curl -LsSf https://astral.sh/uv/install.sh | shWindows PowerShell:
powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"