想在自己电脑上跑个大模型,网上一搜,教程动不动就是编译源码、配 CUDA、装一堆 Python 包,还没开始就想放弃。
其实第一步可以简单到一条命令。这一节用 Ollama 把一个国产模型跑起来,顺手把它最常踩的几个坑提前填上。
学完你能做到:装好 Ollama,在终端里和本地模型对话;会下载、查看、删除模型;知道国内下载慢、C 盘被撑满、上下文不够用这几件事怎么处理。
一、Ollama 是什么
1. 一句话说清
Ollama 是一个本地模型运行器:下载模型、装进显卡、陪你对话、给别的程序提供接口,它全包了。你只需要告诉它"我要跑哪个模型"。
2. 它其实是两部分
装好之后,Ollama 有两部分:
- 后台服务:默认监听本机的 11434 端口,真正加载模型、做推理的是它
- 命令行工具:你在终端里敲的
ollama ...,其实是把请求发给后台服务
Mac 和 Windows 上,后台服务是跟着桌面应用走的:应用跑着,服务就在;应用没启动或者被你退出了,curl http://localhost:11434 就连不上,ollama -v 照样能打印版本号——它只是命令行工具,不和后台服务通信。Linux 用官方脚本安装会注册 systemd 服务并设为开机启动;手动解压安装的没有服务,得自己运行 ollama serve。
后台服务干活靠的是 llama.cpp 这个推理引擎

二、安装
按系统选一种,命令来自 Ollama 官方 README(截至 2026-11-01)。
1. macOS
curl -fsSL https://ollama.com/install.sh | sh脚本装完会顺手把应用打开。也可以下载安装包:https://ollama.com/download/Ollama.dmg ,拖进"应用程序"文件夹就装好了,但装完不会自己启动。第一次要手动在"应用程序"或启动台点一下 Ollama:菜单栏出现羊驼图标,后台服务才起来;它还会顺手检查终端里的 ollama 命令,没找到会提示你授权建一个软链接,允许之后终端里才能用。
2. Windows
在 PowerShell 里运行:
irm https://ollama.com/install.ps1 | iex也可以下载安装包:https://ollama.com/download/OllamaSetup.exe 。装完正常会自动启动,右下角托盘出现羊驼图标;没看到图标,就从开始菜单打开一次 Ollama。
3. Linux
curl -fsSL https://ollama.com/install.sh | sh脚本会建一个 ollama 用户,注册 systemd 服务、设为开机启动并立刻启动,装完服务就在跑。手动解压安装的方式没有这一步,要在终端里运行 ollama serve,窗口关掉服务就停。
不想用一键脚本,可以看官方的手动安装说明:https://docs.ollama.com/linux#manual-install 。服务器上习惯用容器的,官方镜像是 ollama/ollama。
4. 验证
装完验证两件事:命令行装没装上,后台服务起没起来。这两件事是分开的,ollama -v 能打印版本号,只说明命令行工具在 PATH 里,不代表服务在跑。先看命令行:
| 系统 | 把服务拉起来 |
|---|---|
| macOS | 从"应用程序"或启动台打开 Ollama,菜单栏出现羊驼图标。用安装包装的、或者退过应用,都要手动打开这一次 |
| Windows | 从开始菜单打开 Ollama,右下角托盘出现羊驼图标。图标上右键可以设成开机自启 |
| Linux | sudo systemctl start ollama;手动解压安装的,在终端里运行 ollama serve 并保持窗口不关 |
⚠️ Mac 上退掉应用(菜单栏图标 → Quit Ollama),服务就跟着停了,之前能用的 11434 端口立刻连不上。想省事,在菜单栏图标的下拉菜单里打开登录时启动,以后开机它自己会起来。
ollama -v能打印出版本号就行。Mac 上用安装包装的,如果提示 command not found: ollama,就是应用还没打开过,先启动 Ollama 并按提示授权建立软链接,再回来跑一遍。再看后台服务:
curl http://localhost:11434