Ollama 使用教程：在本地运行大语言模型的完整指南

大多数人接触大语言模型的方式是通过 ChatGPT、Claude 或国内的各类 AI 助手——所有的计算发生在别人的服务器上，你的输入会经过网络传输和外部处理。这个方式很方便，但有一类需求它满足不了：把真实的业务文档、内部代码、个人隐私内容发给 AI 处理，而同时不希望这些内容离开本地。

Ollama 是目前在个人电脑上运行大语言模型最顺手的工具。它把「下载模型 → 加载 → 推理」这整个过程封装成几条命令，让非专业用户也能在本地运行 Llama、Mistral、Qwen、DeepSeek 等主流开源模型，数据完全不出本机。

这篇教程讲清楚 Ollama 的安装、模型管理、多种使用方式，以及如何把本地模型接入实际工具（Open WebUI、VS Code 插件、API 调用）。

系统要求

Ollama 支持 macOS、Linux 和 Windows（需要 Windows 10 2004 及以上版本）。

内存需求（RAM/显存）：

模型规模	最低内存	推荐配置
3B 模型（如 Llama 3.2:3b）	4 GB RAM	8 GB RAM
7B 模型（如 Qwen2.5:7b）	8 GB RAM	16 GB RAM
14B 模型	16 GB RAM	32 GB RAM
32B 模型	32 GB RAM	64 GB RAM
70B 模型	64 GB RAM	显卡 48GB+ VRAM

有 NVIDIA 或 AMD 独立显卡的机器，Ollama 会自动使用 GPU 加速，速度比纯 CPU 运行快 3-10 倍。M 系列 Mac 因为内存带宽高，即使没有独显也能流畅运行 7B-14B 的模型。

存储需求：模型文件较大，7B 模型约 4-5 GB，14B 约 8-9 GB，建议下载到空间充裕的磁盘（剩余 20 GB 以上）。

安装

macOS / Linux

打开终端，运行一行安装命令：

curl -fsSL https://ollama.com/install.sh | sh

安装完成后，Ollama 会以后台服务的方式运行，在 http://localhost:11434 监听请求。

Windows

从 ollama.com 下载 Windows 安装包（.exe），双击安装，完成后系统托盘会出现 Ollama 图标，表示服务已在运行。

验证安装

打开终端（Windows 用 PowerShell 或 CMD），运行：

ollama --version

输出版本号即表示安装成功。

下载与运行模型

Ollama 的核心命令只有几条，类似 Docker 的使用逻辑。

运行模型（自动下载）

ollama run llama3.2

如果本地没有这个模型，Ollama 会自动从官方库下载（模型库在 ollama.com/library），下载完成后直接进入对话模式。

在对话模式里，直接输入文字和模型对话，输入 /bye 或按 Ctrl+D 退出。

模型	命令	大小	特点
Llama 3.2:3b	`ollama run llama3.2:3b`	2 GB	轻量快速，8GB RAM 够用
Qwen2.5:7b	`ollama run qwen2.5:7b`	4.7 GB	中文最强 7B，适合日常对话
Qwen2.5:14b	`ollama run qwen2.5:14b`	9 GB	中文质量明显提升，16GB RAM
DeepSeek-R1:7b	`ollama run deepseek-r1:7b`	4.7 GB	带推理链，适合逻辑分析
Mistral:7b	`ollama run mistral:7b`	4.1 GB	英文代码质量好
Phi-3:mini	`ollama run phi3:mini`	2.3 GB	Microsoft，轻量英文任务

模型管理命令

ollama list              # 查看已下载的模型
ollama pull qwen2.5:14b  # 只下载不运行
ollama rm llama3.2:3b    # 删除模型（释放磁盘空间）
ollama show qwen2.5:7b   # 查看模型详情（参数量、大小等）

三种使用方式

方式一：终端对话（最基础）

ollama run qwen2.5:7b

进入对话模式，直接输入问题，适合快速测试和简单查询。局限是：没有对话历史记录，关闭终端就丢失，不支持多轮上下文管理。

可以用管道传入文件内容：

cat report.txt | ollama run qwen2.5:7b '请总结这份报告的核心要点，不超过200字'

或者用 here document 传入多行输入：

ollama run qwen2.5:7b << 'EOF'
以下是一份合同的关键条款，请找出其中风险点：
第3条：甲方有权在任何时候以任何理由终止合同，乙方不得要求赔偿。
第7条：争议解决采用甲方所在地仲裁委员会进行仲裁。
EOF

Ollama 的三种使用路径：终端直用、WebUI 界面、API 集成

方式二：Open WebUI（图形界面）

终端对话适合测试，日常使用更推荐 Open WebUI——一个开源的 Web 界面，运行在本地浏览器里，体验类似 ChatGPT，支持多轮对话历史、模型切换、文件上传。

安装 Open WebUI（需要 Docker）：

docker run -d -p 3000:80 \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui \
  --restart always \
  ghcr.io/open-webui/open-webui:main

安装后打开浏览器访问 http://localhost:3000，首次进入注册一个本地管理员账号（不联网，信息只在本机）。

界面上可以：

切换 Ollama 上已安装的任意模型
上传 PDF/Word 文件让模型阅读
保存多个对话历史
为不同任务建立「系统提示词」预设

Open WebUI 也支持添加 OpenAI API，可以同时管理本地模型和 API 模型，在同一个界面里切换。

方式三：API 调用（集成到应用）

Ollama 在本地暴露了一个兼容 OpenAI 格式的 HTTP API，地址是 http://localhost:11434。

用 Python 调用（直接用 Ollama SDK）：

import ollama

response = ollama.chat(
    model='qwen2.5:7b',
    messages=[
        {'role': 'system', 'content': '你是一个专业的代码审查工程师，只回答中文。'},
        {'role': 'user', 'content': '帮我检查以下 Python 函数是否有潜在的安全问题：
' + code}
    ]
)
print(response['message']['content'])

用 OpenAI SDK 调用（指定 base_url）：

from openai import OpenAI

client = OpenAI(
    base_url='http://localhost:11434/v1',
    api_key='ollama'  # 随意填，本地不验证
)

response = client.chat.completions.create(
    model='qwen2.5:7b',
    messages=[{'role': 'user', 'content': '用 Python 写一个二分查找函数'}]
)
print(response.choices[0].message.content)

这意味着所有支持 OpenAI API 的工具，都可以直接对接 Ollama 本地模型，只需把 api_base 改成 http://localhost:11434/v1 就行。

集成到常用工具

VS Code / Cursor：Continue 插件

Continue 是一个 VS Code 插件（Cursor 也适用），功能类似 GitHub Copilot——代码补全、解释代码、生成测试——但后端可以配置成 Ollama 本地模型，代码不发往外部服务器。

安装步骤：

在 VS Code/Cursor 插件市场搜索「Continue」，安装
打开 Continue 配置文件（~/.continue/config.json），把模型指向本地 Ollama：

{
  models: [
    {
      title: 'Qwen2.5 Local',
      provider: 'ollama',
      model: 'qwen2.5:14b'
    }
  ]
}

重启编辑器，Continue 侧边栏里就可以用本地模型对话和代码辅助

对于处理涉密代码库的团队，这是一个既能用上 AI 编程辅助又不向外泄露代码的方案。

Obsidian：Ollama 插件

在 Obsidian（见本站 Obsidian 使用教程）里安装「Ollama」社区插件，可以在笔记里直接呼出本地模型：

选中一段文字，让 AI 总结或改写
在笔记里用斜杠命令插入 AI 生成的内容
整个交互过程不联网

自动化工作流：n8n / Dify

n8n 和 Dify 都支持 Ollama 作为 LLM 节点。在私有化部署的自动化工作流里，所有 AI 处理节点跑在本机或内网，适合企业内部数据不能出园区的场景。

配置方法：在 n8n 的 AI Agent 节点里，选择 Ollama 作为 Model Provider，填写本地 API 地址。

性能优化

量化级别与速度/质量权衡

Ollama 库里的模型文件名后缀表示量化级别：q4_0、q4_K_M、q8_0 等。数字越小，文件越小速度越快，但质量有损失；数字越大，质量越接近原始模型，但需要更多内存。

默认下载的版本通常是 q4_K_M，是质量和速度的较好平衡。如果你的机器内存富裕，可以指定下载更高质量版本：

ollama pull qwen2.5:14b-instruct-q8_0

并发与上下文窗口

Ollama 默认在推理时占用所有可用 GPU 显存。如果需要同时运行多个请求（比如给团队内多人提供服务），需要在启动参数里设置并发数：

OLLAMA_NUM_PARALLEL=4 ollama serve

上下文窗口（模型能记住多少字的历史对话）默认是 2048 tokens，可以在模型文件里修改。对于需要处理长文档的场景，把上下文扩到 16384 或更高：

在 Modelfile 里写：

FROM qwen2.5:14b
PARAMETER num_ctx 16384

然后 ollama create my-qwen-long -f Modelfile 创建一个自定义版本的模型。

常见问题

模型下载太慢

Ollama 的模型文件存储在 Hugging Face 的镜像上，国内直连速度很慢。两个解决方案：

在 shell 里设置 HF_ENDPOINT 环境变量指向国内镜像（如清华或中科大的 Hugging Face 镜像）：

export OLLAMA_ORIGINS=*
   export HF_ENDPOINT=https://hf-mirror.com

先用其他工具把模型文件（.gguf 格式）下载到本地，再用 ollama create 命令从本地文件导入。

运行时出现 OOM（内存不足）

最常见的原因是模型太大超过了可用 RAM/VRAM。解决方法：换用更小的模型（降一级参数量）或换更低量化级别（如从 q8 降到 q4）。

M1/M2 Mac 速度比 Windows 机器快的原因

Apple Silicon 的统一内存架构让 CPU 和 GPU 共享内存，14B 模型完全加载进内存带宽极高的 GPU 里。Windows 机器如果没有独显，CPU 推理要慢得多；有独显的话速度取决于 VRAM 大小。

Ollama 和 LM Studio 怎么选

LM Studio 提供图形界面，适合完全不习惯终端操作的用户。Ollama 是命令行工具，更适合集成到脚本和其他应用里，API 兼容性更好。两者都可以安装，互不冲突。

常见 Ollama 报错与对应的排查路径

FAQ

Q：Ollama 完全免费吗？

Ollama 本身是开源免费的（MIT 协议）。运行的模型文件来自各开源项目（Llama 来自 Meta，Qwen 来自阿里），各有自己的开源协议，大多数可以免费商用，但需要单独确认具体模型的 LICENSE 文件（尤其是大企业商用场景）。

Q：本地模型和 Claude/GPT-4 的质量差距有多大？

用 7B 参数的模型和 GPT-4 对比，差距是明显的——特别是复杂推理、多步骤任务、代码生成质量。但用 Qwen2.5:14b 或 DeepSeek-R1:14b 做文本摘要、文档提取、简单代码辅助这类任务，实际质量已经够用，而且不限次数、不收费、不出网。具体选哪个取决于你的任务要求和隐私敏感度。

Q：公司的内部文档可以直接给 Ollama 处理吗？

可以，这正是 Ollama 本地部署的核心价值。数据不离开本机，没有 API 传输，不存在被第三方存储或训练的风险。注意：你需要自己保证机器的系统安全（不要在公司 Ollama 服务上开放外网访问）。

Q：Ollama 支持多模态（图片）吗？

支持部分多模态模型，如 llama3.2-vision（LLaMA 3.2 的视觉版本）和 moondream。安装方法相同（ollama pull llama3.2-vision），在 Open WebUI 里可以直接上传图片和模型对话。GPU 内存需求会更高。

Q：Ollama 能在局域网内给其他设备用吗？

可以。在启动 Ollama 时设置监听地址：

OLLAMA_HOST=0.0.0.0 ollama serve

局域网内其他设备就可以通过你的机器 IP 加端口 11434 访问 Ollama API。这样一台配置好的机器可以给整个小团队提供本地 AI 服务。

Ollama 使用教程：在本地运行大语言模型的完整指南 ​

系统要求 ​

安装 ​

macOS / Linux ​

Windows ​

验证安装 ​

下载与运行模型 ​

运行模型（自动下载） ​

推荐的入门模型 ​

模型管理命令 ​

三种使用方式 ​

方式一：终端对话（最基础） ​

方式二：Open WebUI（图形界面） ​

方式三：API 调用（集成到应用） ​

集成到常用工具 ​

VS Code / Cursor：Continue 插件 ​

Obsidian：Ollama 插件 ​

自动化工作流：n8n / Dify ​

性能优化 ​

量化级别与速度/质量权衡 ​

并发与上下文窗口 ​

常见问题 ​

FAQ ​