QLoRA

2

刚刚,Soup 开源:8B 模型微调挤进 4GB 显存,AI 私有化训练终于平民化

想训练一个属于自己的 AI 模型,过去绕不开三样东西:一台几千上万的显卡,或者按小时计费、贵得肉疼的云 GPU,外加一堆繁琐的环境配置。而现在,一个 8 月 4 日登上 Hacker News 热榜的开源项目 Soup,把”微调 8B 大模型”这件事,压缩到了 4GB 显存笔记本就能完成的程度——根据作者实测,一块 RTX 3050 笔记本显卡(4GB 显存、Windows…

大模型微调实战:LoRA / QLoRA / DPO 全流程

RAG 和 MCP 已经这么强了,为什么还要学微调? 这是 2026 年 AI 工程师最常问的问题之一。答案是:RAG 和 MCP 解决的是”知道什么”,微调解决的是”怎么说、怎么思考”。这两个维度是互补的,不是替代关系。 RAG 让模型能查到你公司的私有文档,但它不能让模型”用你公司的语气说话””遵守你公司的内部…