在macOS上本地运行DeepSeek R1
DeepSeek R1 是由 DeepSeek AI 开发的第一代推理模型，擅长处理复杂的推理任务，其性能可与 OpenAI 的 o1 模型媲美。该模型于 2025 年 1 月发布，采用创新的强化学习技术进行训练，以增强推理能力。与传统的监督微调方法不同，DeepSeek R1 主要通过大规模强化学习训练，减少了对监督数据的依赖，从而自然地发展出强大的推理能力。最初的 DeepSeek-R1-Zero 模型完全通过强化学习训练，尽管在推理方面表现出色，但存在重复和可读性问题。最终的 DeepSeek R1 模型通过在强化学习前引入少量监督数据，解决了这些问题。
在 macOS 上本地运行 DeepSeek R1 模型具有以下优势：
- 隐私保护：数据保存在本地设备上，无需通过外部服务器。
- 离线使用：模型下载后，无需互联网连接即可使用。
- 成本效益：无需支付 API 费用或受到使用限制。
- 低延迟：直接访问模型，无网络延迟。
- 可定制性：完全控制模型参数和设置。
对于 macOS 用户，可以使用 Ollama 等平台轻松下载和运行 DeepSeek R1 模型。
模型变体
DeepSeek R1 的蒸馏模型基于两种不同的基础模型架构：Llama 和 Qwen。蒸馏是一种技术，通过训练较小的模型（学生）来模仿较大模型（教师）的行为，从而在保持性能的同时提高模型的可访问性。
- Llama-based 模型（8B 和 70B 变体）：
- 架构：基于 Meta 的 Llama 3 架构，采用传统的 Transformer 结构，并针对计算效率进行了优化。
- 特点：
- 旋转位置嵌入（RoPE）以更好地处理序列数据。
- 组查询注意力（GQA）以提高并行处理能力。
- 滑动窗口注意力以处理更长的序列。
- 适用场景：主要用于英语语言任务和代码生成，具有广泛的社区支持和稳定性。
- Qwen-based 模型（1.5B、7B、14B 和 32B 变体）：
- 架构：基于阿里巴巴的 Qwen 2.5 架构，引入了多项架构创新。
- 特点：
- 多查询注意力机制，优化处理中英文内容。
- 扩展的上下文窗口（最多 32K tokens）。
- 原生支持中文文本分词。
- 在数学推理任务中表现出色。
- 适用场景：适用于多语言应用，特别是涉及中文的场景，以及需要处理更长上下文或复杂数学推理的任务。
硬件要求
以下是可在 Ollama 上使用的 DeepSeek R1 模型及其大致大小和硬件建议：
| 模型 | 参数量 | 大小 | 推荐 Mac 硬件 |
|---|---|---|---|
| deepseek-r1:1.5b | 1.5B | 1.1GB | M2/M3 MacBook Air（8GB RAM 以上） |
| deepseek-r1:7b | 7B | 4.7GB | M2/M3/M4 MacBook Pro（16GB RAM 以上） |
| deepseek-r1:8b | 8B | 4.9GB | M2/M3/M4 MacBook Pro（16GB RAM 以上） |
| deepseek-r1:14b | 14B | 9.0GB | M2/M3/M4 Pro MacBook Pro（32GB RAM 以上） |
| deepseek-r1:32b | 32B | 20GB | M2 Max/Ultra Mac Studio |
| deepseek-r1:70b | 70B | 43GB | M2 Ultra Mac Studio |
| deepseek-r1:1.5b-qwen-distill-q4_K_M | 1.5B | 1.1GB | M2/M3 MacBook Air（8GB RAM 以上） |
| deepseek-r1:7b-qwen-distill-q4_K_M | 7B | 4.7GB | M2/M3/M4 MacBook Pro（16GB RAM 以上） |
| deepseek-r1:8b-llama-distill-q4_K_M | 8B | 4.9GB | M2/M3/M4 MacBook Pro（16GB RAM 以上） |
| deepseek-r1:14b-qwen-distill-q4_K_M | 14B | 9.0GB | M2/M3/M4 Pro MacBook Pro（32GB RAM 以上） |
| deepseek-r1:32b-qwen-distill-q4_K_M | 32B | 20GB | M2 Max/Ultra Mac Studio |
| deepseek-r1:70b-llama-distill-q4_K_M | 70B | 43GB | M2 Ultra Mac Studio |
注：VRAM（视频内存）使用量可能因模型、任务和量化方式而异。以上数据为近似值。名称中包含 q4_K_M 的模型经过量化处理，以降低资源占用。
在 macOS 上使用 Ollama 和 Kerlig 运行 DeepSeek R1 的步骤
- 安装并运行 Ollama
- 访问 ollama.com 并下载适用于 macOS 的安装程序。
- 要在 macOS 上本地运行 DeepSeek R1 模型，您需要按照以下步骤安装和配置 Ollama 和 Kerlig：
1. 安装 Ollama
- 下载 Ollama：访问 Ollama 官方网站，下载适用于 macOS 的安装程序。
- 安装 Ollama：下载完成后，双击安装包并按照提示完成安装。
验证安装：打开终端，输入以下命令以验证安装是否成功：
ollama --version
如果显示版本号，则表示安装成功。
2. 安装 Kerlig
- 下载 Kerlig：前往 Kerlig 下载页面，选择适用于 macOS 的版本进行下载。
- 安装 Kerlig：下载完成后，打开安装程序并按照指引完成安装。
- 首次启动：运行 Kerlig，按照引导设置快捷键，并在需要时添加 API 密钥。
3. 在 Kerlig 中添加 DeepSeek R1 模型
- 打开 Kerlig 设置：启动 Kerlig，点击设置图标，进入“Integrations”选项卡。
- 配置 Ollama：在“Integrations”中选择“Ollama”，在“Add Custom Model”部分：
- Display Name：输入模型名称，例如“DeepSeek R1 7B”。
- Model Name：输入模型标识，例如
deepseek-r1:7b。 - 添加模型：点击“Add”按钮，然后启用该模型。
- 下载模型：启用后，模型将开始下载。您可以关闭设置窗口，下载将在后台进行。
4. 使用 DeepSeek R1 模型
- 启动 Kerlig：打开 Kerlig 应用。
- 输入提示：在输入框中键入您的问题或提示。
- 选择模型：在模型列表中选择刚刚添加的“DeepSeek R1 7B”模型。
- 运行模型：点击“Run”按钮或按下回车键，模型将处理您的输入并生成响应。
使用建议
- 选择合适的模型：根据您的 Mac 配置，选择适当的模型大小。
- 监控系统资源：在初次使用时，注意监控系统资源占用情况，确保设备运行顺畅。
- 保持应用运行：在使用 Kerlig 时，确保 Ollama 应用在后台运行，以支持模型的正常调用。
- 避免系统提示：尽量在用户提示中包含所有指令，避免使用系统提示，以确保模型按预期工作。
常见问题解答
- 模型下载失败：检查网络连接，确保网络稳定。
- 模型加载失败：确认设备有足够的内存，并确保 Ollama 正在运行。
- 性能问题：对于大型模型，关闭其他占用大量资源的应用，以释放系统资源。
通过以上步骤，您可以在 macOS 上成功安装并运行 DeepSeek R1 模型，享受本地 AI 推理的强大功能。