把一个大模型装进手机里、不联网也能聊天，是很多隐私敏感用户一直以来的愿望。8 月 4 日登上 Hacker News 热榜的开源项目 Swiftlet，把这件事往前推了一大步：它用一套 Swift + Metal 运行时，让 80B 参数的大模型在 Mac 上运行时峰值内存只有 4.3GB，35B 版本甚至能在 iPhone 上原生运行——据开发者称，这是该量级模型首次在手机上原生跑通，全程不碰服务器、数据不出设备。

Swiftlet 是什么：为苹果设备定制的”大模型瘦身术”

Swiftlet 是一个专为 Qwen3-Next 与 Qwen3.5/3.6 系列混合 MoE（混合专家）模型设计的 Swift + Metal 开源运行时。它不包含任何新模型，而是解决一个老难题：大模型权重动辄几十 GB，普通 Mac 和手机的内存根本装不下，更别说跑起来。

Swiftlet 的解法很巧妙——它利用 MoE 模型的稀疏激活特性。简单解释：MoE 模型虽然总参数量很大，但处理每一个 token 时只会激活一小部分”专家”模块。Swiftlet 把模型”常开”的核心部分（注意力、路由、共享专家等，4-bit 量化后约 1.3GB 到 2.5GB）常驻内存，把数千个路由专家打包成固定的数据块放在 SSD 上，需要哪个专家就临时读取哪个——一次只读一个数据块，用固定缓存池缓存热门专家。这样，模型的”房子”虽大，但 Swiftlet 只让”常用家具”待在内存里。

实测数据：80B 模型，4.3GB 内存跑起来

根据开发者公布的实测数据（M5 Mac）：

  • Qwen3-Next-80B-A3B（4-bit 量化）：磁盘占用 42GB，但运行时峰值内存仅 4.3GB，解码速度 4.5-5 token/秒；
  • Qwen3.6-35B-A3B（4-bit 量化）：磁盘占用 18GB，峰值内存 2.6GB，解码速度 7-11 token/秒；
  • iPhone 17 原生运行 35B 版本：内存占用约 2.5GB，速度约 1 token/秒——开发者称，这是他已知的同类模型首次在手机上原生运行。

把数字翻译成人话：在 M5 芯片的 Mac 上，一个 80B 的”大号”模型运行时只占 4.3GB 内存，比你开几个浏览器标签页还省；在 iPhone 17 上，35B 模型占用约 2.5GB 内存，虽然每秒只出 1 个 token（打字速度较慢），但胜在完全离线、数据不上云。项目还支持 OpenAI 兼容的本地服务接口（swiftlet-server），意味着任何兼容 OpenAI 的聊天应用都能直接接上本地模型。

要泼的冷水：它适合谁、不适合谁

Swiftlet 的开发者非常诚实地指出了边界，我们也原样转述：由于每个 token 实际只激活约 30 亿参数，这类模型”聊天和写作像大模型，但事实记忆像小模型”——用它日常对话、头脑风暴没问题，但如果要它精确回忆某个冷门知识，可能就力不从心了。另外，目前手机端（iPhone 17）约 1 token/秒的速度，体验上更像是”能跑通”而非”跑得好”，距离流畅的日常对话还有明显距离。

硬件要求方面：需要 Apple Silicon 芯片（M 系列 Mac）、macOS 14+ 或 iOS 17+，并预留足够 SSD 空间（35B 需 18GB、80B 需 42GB）。开发者在 Hacker News 讨论中也坦言，当前解码速度主要受内核调度限制而非硬盘读取限制，意味着后续优化还有明显空间。

普通人怎么体验：两步上手

如果你有一台 Apple Silicon 的 Mac 或 iPhone，可以这样开始：

  • Mac 用户：在终端执行 git clone 克隆 GitHub 仓库（github.com/leonickson1/Swiftlet），运行 swift build 编译；用 swiftlet-repack 从 Hugging Face 下载并打包模型容器（35B 或 80B 均可），再用 swiftlet chat 或 swiftlet generate 开始对话与生成；
  • iPhone 用户：可关注开源应用 Priv AI（App Store 中其 Experimental Models 功能，正式版仍在审核中），或在 Xcode 中自行编译开源应用源码体验。

需要说明的是，Swiftlet 目前是一个面向技术爱好者的开源项目，全程命令行操作，对完全零基础的用户仍有一定门槛；但对想”把大模型装进口袋”的 Mac/iPhone 用户，它提供了一个相当惊艳的起点。

从行业视角看，Swiftlet 与本周社区热门的本地部署尝试一起，正在勾勒一个清晰趋势：2026 年，”大模型跑在个人设备上”正在从实验走向现实。当模型不再必须住在云端，隐私、离线、零成本使用这些老问题，都有了新的答案。你会愿意用 18GB 磁盘空间，换一个完全离线、数据不出手机的 AI 助手吗？评论区说说你的看法。

数据来源：Show HN 原帖（2026-08-04，经 Hacker News 收录）、routley 镜像（news.routley.io）、AIBase 中文报道（aibase.com/zh/news/30104）、everytools 解读、Swiftlet GitHub 仓库（github.com/leonickson1/Swiftlet）。实测数据为开发者公布口径。