M1 Max 用 Ollama 部署 qwen 2.5 大模型的简单记录

安装 Ollama

• 官网：https://ollama.com/download
• 下载后解压缩，然后安装程序
• 按照提示，在 Mac 终端内输入命令，即可自动完成安装与配置
• 随后点击 Ollama 应用程序图标， 启动运行

使用 Docker 安装 open webui

1. 下载并安装 Docker：https://www.docker.com/
2. 启动并运行 Docker

我的系统是 M1 Max ，所以使用下面的终端命令进行安装：

docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

其他系统需要参考这个项目里的说明：

等命令走完之后，在 Docker 中启动 webui

点击之后，就会出现类似 ChatGPT 一样的窗口

下载并使用通义千问 Qwen 2.5 模型

在 webui 的左上角中，搜索 qwen2.5-coder:7b ，然后点击「从 Ollama.com 拉取」

等待下载完毕后，就可以选择 Qwen 2.5 的模型

效果如下：

不过 7b 的模型对于 M1 Max 32G 内存的设备来说，负担还是太大了，回答的速度太慢，几乎不可用，需要后续再尝试别的模型。