本课程包含

正文：25.6 万字，预计学习 10 小时 40 分钟
配图：105 张

课程概览

项目	说明
适合谁	会用命令行、熟悉 Python、Node.js、Java、C# 其中一种语言的开发者；不需要深度学习基础
贯穿项目	"课程助教"：一个专门回答某门课问题的小模型。没有课程数据，可以换成产品手册、规章制度、开源项目文档等任何熟悉的领域
最终交付	一个微调好的领域模型、它的量化版本、一套评测脚本、一个能多人使用的推理服务、一套可以离线交付到内网的部署方案、一个接入了它的小应用
硬件	第 1 章任何一台近几年的电脑都行；训练部分可以按小时租云 GPU
代码	示例代码提供 Python、Node.js、Java、C# 四个版本；训练相关的代码只有 Python 版

每章产出

第 1 章 · 首次运行本地模型：一份"该不该自建"的判断，一个在本地跑通的模型，一份能切换后端的调用代码
第 2 章 · 如何选择本地模型：为贯穿项目选定一个基座模型，并下载到本地
第 3 章 · 从零训练迷你模型：亲手训出一个几千万参数、能简单对话的模型
第 4 章 · 微调开源模型：贯穿项目的第一版模型"课程助教 v1"
第 5 章 · 评估模型效果：一套可重复运行的评测脚本（第 6 章还会用到）
第 6 章 · 量化模型：自己模型的量化版，一张"精度与体积"对比表
第 7 章 · 搭建推理服务：一个能同时服务多人的推理接口，一份压测报告
第 8 章 · 私有化部署：一套可以交付到企业内网的部署方案
第 9 章 · 接入真实应用：一个接入了自己模型的完整小应用

三条学习路线

目标	推荐路线
A. 在自己电脑上用好开源模型	第 1、2 章，再看「量化在做什么」「量化格式对比」「Ollama 和推理服务器的分界线」
B. 学会训练和微调	第 1 章（Ollama、OpenAI 兼容接口必看）、第 2 到 4 章
C. 把模型部署上线	第 1、2 章（模型下载必看）、第 6 到 9 章

项目目录约定

全课的代码、数据、模型都放在同一个目录里：

llm-course/
├── .venv/        Python 虚拟环境
├── data/         第 4 章的训练数据、第 5 章的评测集
├── models/       下载的基座、微调结果、量化版本
├── eval/         第 5 章的评测脚本和每次的成绩
├── serve/        第 7、8 章的服务配置和 Dockerfile
└── app/          第 9 章的应用

调用模型的代码全课只写一份，通过三个环境变量切换后端：

环境变量	作用	默认值
`LLM_BASE_URL`	接口地址	`http://localhost:11434/v1`
`LLM_API_KEY`	密钥	`ollama`
`LLM_MODEL`	模型名	`qwen3.5:0.8b`

说明

目前开放课程介绍、第 1 到 4 章全二十二节；第 5 到 9 章的课时还在书写中，目录里先列出标题。版本号、价格、默认端口这类会过时的信息，文中都标了"截至 2026-11-01"。

课程中涉及的第三方项目，其著作权与商标归各自权利人所有；引用处的署名与许可见《开源与来源说明》。