小林笔记

Appearance

ollama介绍 ​

Ollama是一个开源的本地大语言模型运行框架，它允许用户在本地计算机上运行各种开源大语言模型，无需依赖云服务。Ollama的主要特点包括：

  1. 简单易用：提供简单的命令行界面，易于安装和使用
  2. 本地运行：所有模型都在本地运行，保护数据隐私
  3. 多模型支持：支持多种开源大语言模型
  4. 资源优化：针对不同硬件配置进行优化
  5. 跨平台：支持Windows、macOS和Linux系统

本机配置 ​

  • CPU：AMD R9-7945HX
  • 内存：32GB RAM
  • 显卡：NVIDIA RTX-4060 8GB

部署本地模型 deepseek-r1：7b ​

1. 安装Ollama ​

Windows系统 ​

  1. 访问 Ollama官网
  2. 下载Windows安装包
  3. 运行安装程序，按照提示完成安装

macOS系统 ​

bash
curl -fsSL https://ollama.ai/install.sh | sh

Linux系统 ​

bash
curl -fsSL https://ollama.ai/install.sh | sh

2. 下载模型 ​

打开终端，运行以下命令下载deepseek-r1:7b模型：

bash
ollama pull deepseek-r1:7b

下载过程可能需要一些时间，取决于网络速度和计算机性能。

3. 运行模型 ​

命令行方式 ​

bash
ollama run deepseek-r1:7b

API方式 ​

Ollama默认在本地启动一个API服务器，可以通过以下地址访问：

javascript
   http://localhost:11434

4. 模型参数配置 ​

可以通过以下方式调整模型参数：

bash
ollama run deepseek-r1:7b --temperature 0.7 --top-p 0.9 --top-k 40

主要参数说明：

  • temperature：控制输出的随机性（0-1）
  • top-p：控制输出的多样性
  • top-k：控制每次生成时考虑的候选词数量

5. 常见问题解决 ​

  1. 内存不足

    • 关闭其他占用内存的程序
    • 使用较小的模型版本
    • 增加系统虚拟内存

  2. GPU相关问题

    • 确保已安装最新的NVIDIA驱动
    • 检查CUDA是否正确安装
    • 使用nvidia-smi命令检查GPU状态

  3. 模型加载失败

    • 检查网络连接
    • 重新下载模型
    • 清除缓存后重试

6. 性能优化建议 ​

  1. 硬件优化

    • 使用SSD存储
    • 增加系统内存
    • 使用支持CUDA的GPU

  2. 软件优化

    • 定期更新Ollama
    • 使用适当的模型参数
    • 保持系统整洁

7. 安全注意事项 ​

  1. 确保系统防火墙配置正确
  2. 不要将API暴露到公网
  3. 定期更新系统和Ollama
  4. 注意模型输出的内容安全

8. 使用示例 ​

python
import requests

def query_model(prompt):
    response = requests.post('<a href="http://localhost:11434/api/generate" target="_blank" rel="noreferrer">http://localhost:11434/api/generate</a>',
        json={
            "model": "deepseek-r1:7b",
            "prompt": prompt,
            "stream": False
        })
    return response.json()['response']

# 使用示例
result = query_model("你好，请介绍一下自己")
print(result)

通过以上步骤，你就可以在本地成功部署和运行deepseek-r1:7b模型了。