全部标签

本地大模型

LM Studio 教程：在 MacBook M1 上运行通义千问 Qwen 2.5 模型

之前写过一篇 M1 Max 用 Docker 部署 qwen 2.5 7b 大模型的简单记录，然而当时的测试结果实在太慢，慢到无法使用的程度，因此装完之后就没再用过。不过今天重新使用 LM Studio 安装了相同的 7b 模型，结果却是速度快到飞起，达到了 48.25 tok/sec，是 Docker 部署方法的 20 倍以上。我不知道是我当时安装方法有误，还是说 Docker 部…
AI
- 7.1k
- 0
二一25年1月13日