跑通 Ollama

3,337 字 · 预计阅读 10 分钟

想在自己电脑上跑个大模型,网上一搜,教程动不动就是编译源码、配 CUDA、装一堆 Python 包,还没开始就想放弃。

其实第一步可以简单到一条命令。这一节用 Ollama 把一个国产模型跑起来,顺手把它最常踩的几个坑提前填上。

学完你能做到:装好 Ollama,在终端里和本地模型对话;会下载、查看、删除模型;知道国内下载慢、C 盘被撑满、上下文不够用这几件事怎么处理。


一、Ollama 是什么


1. 一句话说清

Ollama 是一个本地模型运行器:下载模型、装进显卡、陪你对话、给别的程序提供接口,它全包了。你只需要告诉它"我要跑哪个模型"。


2. 它其实是两部分

装好之后,Ollama 有两部分:

  • 后台服务:默认监听本机的 11434 端口,真正加载模型、做推理的是它
  • 命令行工具:你在终端里敲的 ollama ...,其实是把请求发给后台服务

Mac 和 Windows 上,后台服务是跟着桌面应用走的:应用跑着,服务就在;应用没启动或者被你退出了,curl http://localhost:11434 就连不上,ollama -v 照样能打印版本号——它只是命令行工具,不和后台服务通信。Linux 用官方脚本安装会注册 systemd 服务并设为开机启动;手动解压安装的没有服务,得自己运行 ollama serve。

后台服务干活靠的是 llama.cpp 这个推理引擎

命令行是遥控器,监听 11434 端口的后台服务才真正加载模型并推理


二、安装

按系统选一种,命令来自 Ollama 官方 README(截至 2026-11-01)。


1. macOS

bash
curl -fsSL https://ollama.com/install.sh | sh

脚本装完会顺手把应用打开。也可以下载安装包:https://ollama.com/download/Ollama.dmg ,拖进"应用程序"文件夹就装好了,但装完不会自己启动。第一次要手动在"应用程序"或启动台点一下 Ollama:菜单栏出现羊驼图标,后台服务才起来;它还会顺手检查终端里的 ollama 命令,没找到会提示你授权建一个软链接,允许之后终端里才能用。


2. Windows

在 PowerShell 里运行:

powershell
irm https://ollama.com/install.ps1 | iex

也可以下载安装包:https://ollama.com/download/OllamaSetup.exe 。装完正常会自动启动,右下角托盘出现羊驼图标;没看到图标,就从开始菜单打开一次 Ollama。


3. Linux

bash
curl -fsSL https://ollama.com/install.sh | sh

脚本会建一个 ollama 用户,注册 systemd 服务、设为开机启动并立刻启动,装完服务就在跑。手动解压安装的方式没有这一步,要在终端里运行 ollama serve,窗口关掉服务就停。

不想用一键脚本,可以看官方的手动安装说明:https://docs.ollama.com/linux#manual-install 。服务器上习惯用容器的,官方镜像是 ollama/ollama。


4. 验证

装完验证两件事:命令行装没装上,后台服务起没起来。这两件事是分开的,ollama -v 能打印版本号,只说明命令行工具在 PATH 里,不代表服务在跑。先看命令行:

系统 把服务拉起来
macOS 从"应用程序"或启动台打开 Ollama,菜单栏出现羊驼图标。用安装包装的、或者退过应用,都要手动打开这一次
Windows 从开始菜单打开 Ollama,右下角托盘出现羊驼图标。图标上右键可以设成开机自启
Linux sudo systemctl start ollama;手动解压安装的,在终端里运行 ollama serve 并保持窗口不关

⚠️ Mac 上退掉应用(菜单栏图标 → Quit Ollama),服务就跟着停了,之前能用的 11434 端口立刻连不上。想省事,在菜单栏图标的下拉菜单里打开登录时启动,以后开机它自己会起来。

bash
ollama -v

能打印出版本号就行。Mac 上用安装包装的,如果提示 command not found: ollama,就是应用还没打开过,先启动 Ollama 并按提示授权建立软链接,再回来跑一遍。再看后台服务:

bash
curl http://localhost:11434

本文是会员内容

全文 3,337 字,已试读约 30%。开通专业版可阅读全文,并解锁全部官方课程与后续更新。

开通专业版

支持 7 天无理由退款 · 早鸟价 99 元/年(售完恢复365/年)

课程中涉及的第三方项目,其著作权与商标归各自权利人所有;引用处的署名与许可见《开源与来源说明》。