M1 Max 用 Ollama 部署 qwen 2.5 大模型的简单记录

安装 Ollama

  • 官网:https://ollama.com/download
  • 下载后解压缩,然后安装程序
  • 按照提示,在 Mac 终端内输入命令,即可自动完成安装与配置
  • 随后点击 Ollama 应用程序图标, 启动运行
M1 Max 用 Ollama 部署 qwen 2.5 大模型的简单记录插图

使用 Docker 安装 open webui

  1. 下载并安装 Docker:https://www.docker.com/
  2. 启动并运行 Docker

我的系统是 M1 Max ,所以使用下面的终端命令进行安装:

docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

其他系统需要参考这个项目里的说明

M1 Max 用 Ollama 部署 qwen 2.5 大模型的简单记录插图1

等命令走完之后,在 Docker 中启动 webui

M1 Max 用 Ollama 部署 qwen 2.5 大模型的简单记录插图2

点击之后,就会出现类似 ChatGPT 一样的窗口

M1 Max 用 Ollama 部署 qwen 2.5 大模型的简单记录插图3

下载并使用通义千问 Qwen 2.5 模型

在 webui 的左上角中,搜索 qwen2.5-coder:7b ,然后点击「从 Ollama.com 拉取」

M1 Max 用 Ollama 部署 qwen 2.5 大模型的简单记录插图4

等待下载完毕后,就可以选择 Qwen 2.5 的模型

M1 Max 用 Ollama 部署 qwen 2.5 大模型的简单记录插图5

效果如下:

M1 Max 用 Ollama 部署 qwen 2.5 大模型的简单记录插图6

不过 7b 的模型对于 M1 Max 32G 内存的设备来说,负担还是太大了,回答的速度太慢,几乎不可用,需要后续再尝试别的模型。

本站所有文章,除非特别说明或标注,均为本站原创发布。转载本文需附上本文链接,未经授权,禁止大篇幅复制、盗用、采集或发布本站内容至其他网站、书籍等各类媒体平台。

效率工具

沉浸式翻译免费 API:硅基流动 API 的使用方法

2024-11-21 18:12:16

Notion 系统课程

2.8 篇|Notion Wiki 详解,基础用法与功能意义

2024-9-2 21:53:53

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧

欢迎订阅我的 Notion 课程

一站式学习,从入门到精通

X