隐私党狂喜?80B 大模型在 Mac 上只占 4.3GB 内存,手机也能跑 35B
把一个大模型装进手机里、不联网也能聊天,是很多隐私敏感用户一直以来的愿望。8 月 4 日登上 Hacker News 热榜的开源项目 Swiftlet,把这件事往前推了一大步:它用一套 Swift + Metal 运行时,让 80B 参数的大模型在 Mac 上运行时峰值内存只有 4.3GB,35B 版本甚至能在 iPhone 上原生运行——据开发者称,这是该量级模型首次在手机上原生跑通,全程不碰服…
共 1 篇
把一个大模型装进手机里、不联网也能聊天,是很多隐私敏感用户一直以来的愿望。8 月 4 日登上 Hacker News 热榜的开源项目 Swiftlet,把这件事往前推了一大步:它用一套 Swift + Metal 运行时,让 80B 参数的大模型在 Mac 上运行时峰值内存只有 4.3GB,35B 版本甚至能在 iPhone 上原生运行——据开发者称,这是该量级模型首次在手机上原生跑通,全程不碰服…
精选工具、实操步骤与副业思路,免费送到邮箱。不推销、不打扰,随时退订。
每周一封,随时退订。