隐私党狂喜?80B 大模型在 Mac 上只占 4.3GB 内存,手机也能跑 35B
把一个大模型装进手机里、不联网也能聊天,是很多隐私敏感用户一直以来的愿望,8 月 4 日登上 Hacker News 热榜的开源项目 Swiftlet,把这件事往前推了一大步:它用一套 Swift + Metal 运行时。 让 80B 参数的大模型在 Mac 上运行时峰值内存只有 4.3GB,35B 版本甚至能在 iPhone 上原生运行——据开发者称。 这是该量级模型首次在手机上原生跑通,全程不…
标签
带「Swiftlet」标签的全部内容,按发布时间倒序。
把一个大模型装进手机里、不联网也能聊天,是很多隐私敏感用户一直以来的愿望,8 月 4 日登上 Hacker News 热榜的开源项目 Swiftlet,把这件事往前推了一大步:它用一套 Swift + Metal 运行时。 让 80B 参数的大模型在 Mac 上运行时峰值内存只有 4.3GB,35B 版本甚至能在 iPhone 上原生运行——据开发者称。 这是该量级模型首次在手机上原生跑通,全程不…
每周挑几款值得试的工具,附上能照着做的步骤。只发内容不发广告,随时退订。
每周一封,随时退订。