国内下载模型

2,284 字 · 预计阅读 7 分钟

模型选好了,下一步是把它下载下来。

Qwen3.5-0.8B 的权重也有 1.7GB,大一点的 4B 有 9GB 多。在国内直连 Hugging Face,常见的情况是速度只有几百 KB,下到一半断掉,或者干脆打不开。

好在办法不少。这一节讲三个下载来源、两套命令行工具,以及下载完怎么确认文件没坏。

学完你能做到:在国内网络下稳定地下载任何公开模型和数据集,并且核对下载的每一个文件。

这一节的产出,也是这一章的产出:把课程助教的基座 Qwen3.5-0.8B 下载到 llm-course/models/,顺便把后面训练要用的数据集也准备好。


一、先分清两种格式

用 Ollama 下载的模型是 GGUF 格式,专门给 llama.cpp 这类推理引擎用,通常已经量化过。

这一节下载的是 Hugging Face 格式:一个文件夹,里面是 config.json、分词器文件和 .safetensors 权重,权重一般是 16 位的原始精度。

训练、微调、用 vLLM 部署,都要用这种格式。

GGUF Hugging Face 格式
长什么样 一个 .gguf 文件 一个文件夹,多个文件
精度 多为 4 到 8 位量化 多为 16 位原始精度
给谁用 Ollama、llama.cpp、LM Studio Transformers、vLLM、LLaMA-Factory
本课哪里用 前面装 Ollama 试跑时 后面的训练和部署

GGUF 通常是一个推理用文件,Hugging Face 格式则是包含权重、配置和分词器的文件夹


二、三个下载来源

来源 地址 国内速度 特点
Hugging Face 官方 huggingface.co 常常很慢或连不上 模型最全,更新最快
hf-mirror 镜像 hf-mirror.com 较快 社区维护的公益镜像,用法和官方一样;不支持登录
魔搭社区 ModelScope modelscope.cn 快 阿里云的模型平台,千问等国产模型同步发布

怎么选:千问、DeepSeek、GLM 这类国产模型,魔搭上基本都有,优先用魔搭。

魔搭上没有的,用 hf-mirror。

需要登录申请才能下载的模型,只能连官方。

国内下载有就优先选魔搭,没有再找 hf-mirror,申请和授权需要访问 HF 官方

同一个模型在两个平台上的文件,可能有细微差别。

我们实测过 Qwen3.5-0.8B:两边权重文件的哈希值完全一致。

但 LICENSE、.gitattributes 这类小文件的内容不一样,魔搭还多一个 configuration.json。

所以后面校验文件时,要按你实际下载的来源去核对。


三、用 hf 命令从 Hugging Face 或镜像下载


1. 安装

hf 命令随 huggingface_hub 这个 Python 包一起安装。在 Python 虚拟环境里运行:

bash
uv pip install -U huggingface_hub
hf version
还没装 uv?点开看安装步骤

uv 是一个 Python 包管理工具,这门课用它建虚拟环境、装 Python 包。

1. 安装 uv

macOS、Linux:

bash
curl -LsSf https://astral.sh/uv/install.sh | sh

Windows PowerShell:

powershell
powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"

本文是会员内容

全文 2,284 字,已试读约 29%。开通专业版可阅读全文,并解锁全部官方课程与后续更新。

开通专业版

支持 7 天无理由退款 · 早鸟价 99 元/年(售完恢复365/年)

课程中涉及的第三方项目,其著作权与商标归各自权利人所有;引用处的署名与许可见《开源与来源说明》。