Ollama(ollama.com)是 Ollama Inc. 2023 年推出的本地大模型运行工具,定位是”本地运行大模型的命令行工具,一键启动 Llama/DeepSeek/Qwen/Mistral”。Ollama 让开发者在本地(Mac/Linux/Windows)轻松运行 7B-70B 主流开源模型,完全离线、数据不出本地、支持 API 兼容 OpenAI。截至 2026 年 7 月,Ollama GitHub 100k+ stars,下载量 1000 万+,被个人开发者、企业本地化部署广泛使用。Ollama 与 LM Studio、GPT4All、Llama.cpp、vLLM 是同赛道竞品,差异在于 Ollama 强调”命令行 + 极简 + 模型库丰富 + API 兼容”,适合开发者、技术爱好者、企业本地化部署。
一、工具介绍
Ollama 的核心定位是”本地大模型一键启动工具”,区别于直接用 Llama.cpp(需要编译/参数调优)和 vLLM(偏生产环境),Ollama 提供极简体验:`ollama run llama3` 一行命令启动模型。Ollama 内置 100+ 主流开源模型(Llama 3.3/DeepSeek V3/Qwen2.5/Mistral/Gemma 等),自动下载/管理/优化,兼容 macOS Metal/NVIDIA CUDA/AMD ROCm,提供 OpenAI 兼容 API。Ollama 是当前最流行的本地 LLM 工具。
二、核心功能
- 一行命令启动:`ollama run llama3` 启动 Llama 3
- 模型库:100+ 主流开源模型(Llama/DeepSeek/Qwen/Mistral/Gemma/Phi 等)
- 自动下载/管理:自动下载/缓存/版本管理
- GPU 加速:自动检测 Metal/CUDA/ROCm/Vulkan
- API 兼容:OpenAI 兼容 API(`/v1/chat/completions`)
- 多模态:支持视觉模型(LLaVA/BakLLaVA)+ 文本模型
- Modelfile:类似 Dockerfile,自定义模型配置
- 多模型并行:同时加载多个模型
- 局域网访问:支持跨设备访问同一 Ollama
- 导入自定义模型:支持 GGUF 格式模型导入
- REST API:直接 HTTP 调用
- 桌面 App:macOS/Windows 原生 App
- 企业部署:支持 Docker/Kubernetes 部署
三、使用场景
- 个人开发者本地调试:离线开发 LLM 应用
- 技术爱好者本地体验:试用各种开源模型
- 隐私敏感场景:数据不出本地(医疗/法务/政府)
- 企业本地化部署:金融/政府/医疗等数据敏感行业
- 学术研究:论文实验,本地推理
- 教育:学校教学,免费使用
- Agent 开发:本地 LLM 驱动的 Agent
- RAG 应用:本地知识库 + 本地 LLM
- 离线助手:出差/旅行无网络环境
四、价格方案
| 套餐 | 价格 | 主要功能 |
|---|---|---|
| 开源版 | $0 | 完全免费 + 全部功能 |
| Ollama Pro | TBD | 等待官方发布 |
| Ollama Cloud | 按量 | 云端 Ollama 服务 |
五、功能特点
- 一行命令启动模型(`ollama run llama3`)
- 100+ 开源模型(Llama/DeepSeek/Qwen/Mistral)
- OpenAI 兼容 API,迁移零成本
- 自动 GPU 加速(Metal/CUDA/ROCm)
- 多平台(macOS/Linux/Windows)
- 跨设备访问(局域网 API)
- 100k+ GitHub stars,1000 万+ 下载
- 完全离线(下载模型后无网络依赖)
- Modelfile 自定义模型
- 多模型并行(同时加载多个)
六、上手指南
1. 下载安装:访问 ollama.com/download,Mac/Linux/Windows
2. 验证安装:命令行 `ollama –version`
3. 启动模型:`ollama run llama3` 首次会自动下载
4. 对话:命令行直接聊天
5. 查看模型:`ollama list` 看已下载模型
6. 删除模型:`ollama rm llama3`
7. API 调用:
“`bash
curl http://localhost:11434/api/chat -d ‘{
“model”: “llama3”,
“messages”: [{“role”: “user”, “content”: “你好”}]
}’
“`
8. OpenAI 兼容 API:`http://localhost:11434/v1`(端点同 OpenAI)
9. 自定义模型:写 Modelfile,`ollama create my-model -f Modelfile`
10. 局域网:同 Wi-Fi 下其他设备 `http://:11434` 访问
七、常见问题
Ollama 和 LM Studio 比哪个好?
LM Studio 偏可视化(有 GUI),Ollama 偏命令行(开发者友好)。两者底层类似,选哪个看喜好。技术玩家选 Ollama,非技术选 LM Studio。
Ollama 支持哪些模型?
Llama 3/3.1/3.3、DeepSeek V3/R1、Qwen2.5、Mistral、Gemma、Phi、CodeLlama、Command-R 等 100+。完整列表 ollama.com/library。
Ollama 显存要求多少?
7B 模型 8GB 显存可跑,13B 16GB,70B 48GB+。CPU 也能跑(慢)。建议至少 16GB 显存流畅跑 13B。
Ollama 模型商用合规吗?
合规。Ollama 本身 MIT 开源,模型权重按各自许可证(Llama 商业可商用/Qwen 商业可商用/DeepSeek 商业可商用)。
Ollama 性能比 ChatGPT 好吗?
小模型不如 GPT-4/Claude。70B 模型接近 GPT-4 90% 水平。日常任务够用,复杂任务仍有差距。本地 LLM 优势是隐私 + 离线 + 免费。
Ollama 的 Modelfile 怎么用?
Modelfile 类似 Dockerfile,定义模型配置(系统提示词/参数/模板)。`FROM llama3` + `SYSTEM “你是一个助手”` + `PARAMETER temperature 0.7` + `ollama create my-model -f Modelfile` 自定义模型。
Ollama 可以做 RAG 吗?
可以。Ollama 提供 Embedding API(`nomic-embed-text` 等模型),结合 LangChain/LlamaIndex 搭建本地 RAG 应用,完全离线。
