Saluki 27B：7.89GB，本机跑，工具调用还更强

7.89 GB。这是 Saluki 27B 的模型体积，它是把一个 270 亿参数的模型压到 2 位精度之后的结果。10 月 9 日，一家叫 Underdog AI 的公司把它放了出来，协议是 Apache 2.0，任何人都能下载、改造，商用也是 0 元。

它值得写，不是因为它大，恰恰因为它小。

Saluki 27B 的底子是 Qwen 3.8 27B，压缩之后还剩 7.89 GB。厂商给的数字是：保留了原模型约 96% 的基准成绩，而在工具调用这类任务上，它反而超过了没有压缩的全尺寸版本。

工具调用意味着什么？意味着模型不只是聊天，它能在你的电脑上读文件、改文件、按步骤调工具。这一直是本地模型最难的一关，因为要在小体量里保住会干活的能力，比保住会聊天要难得多。

顺带说清一个概念。把模型从 16 位压到 2 位，本质是让每一个参数用更少的比特来存，体积因此缩到原来的几分之一。厂商还给了个说法，折算下来它每 GB 的智能密度提高了 7.5 倍。这个数字同样是自报口径，别当成行业标准来看。

真正被改变的是谁来付这笔算力钱。如果你走云端 API，那是按 100 万 Tokens 计费的一笔持续开销；而本地跑，是把这笔钱换成一次性的硬件成本。两笔账的性质完全不同，前者随用量涨，后者一次付完。

这笔钱换给了谁

做电商客服外包的小张，手上有一批客户聊天记录需要分类归档。这件事不复杂，但量很大，几百份记录；用云端模型跑，费用会随着量线性上涨，而且客户聊天里带着手机号和地址，传到别人的服务器上，他要额外写一堆说明。

这类需求其实很常见。一个做知识库的自媒体人，把几千篇文章切成片段做主题归类；一个小工作室，把每个月的合同和发票按项目整理。共同点是量不小、判断不难、数据又不方便外传。

本地模型改的正是这一环。数据不出机器，成本从按量付费变成电费和硬件。对这类量大、不复杂、又涉及隐私的活，本地方案的门槛一下就降下来了。

第二层在这里。大家总把本地模型理解成能力差的平替，但真正被改变的是任务的分工方式：贵的模型用在需要判断的地方，便宜到几乎不要钱的模型铺在重复的地方。会用这套分工的人，AI 成本会比只用云端 API 的人低一个量级。

反过来也要说清楚：把活搬到本地，你就要自己承担部署和维护。这是把一笔财务支出换成了时间支出。这笔账到底划不划算？答案取决于你的时间单价。

容易被忽略的几笔账

先看这个 96% 该怎么理解。它来自厂商自己的基准测试，属于自报数字，没有被第三方独立复现。在工具调用上超过全尺寸版本这句话同样要留心，它成立的前提是特定的测试集和参数配置。

数字上的换算也要留意。2 位精度能压到 7.89 GB，代价是部分精度损失，通常体现在长链条推理和罕见知识的准确率上。日常的分类、抽取、格式转换，损失往往察觉不到；但涉及多步推理的任务，就不一定了。

第三个代价是硬件。7.89 GB 是模型文件的体积，实际运行时还要算上上下文占用的内存，机器内存越紧，能一次处理的内容就越短。同一条流程，换个机器就可能跑不动。

第四个代价是，这件事只有一次红利。开源模型的门槛只会继续降，今天你在本地跑通一套流程，明天别人用更小的模型也能跑。真正的壁垒不是模型，是你手里那套已经跑顺的流程。

再补一句使用上的现实：本地跑意味着没有服务商替你兜底。模型答错了、跑偏了，能修的人只有你自己。愿意接受这一点，本地模型才会真的替你省钱。

三步就能跑起来

第一件，先看自己的机器：打开关于本机，确认内存有多少。16 GB 是这类模型比较舒服的起点，8 GB 会紧张。

第二件，挑你手上最重复的一个任务，先把 1 份样本丢给它做一遍，跟云端模型的结果对着看，看差在哪一步。别一上来就全量迁移。

第三件，打开你常用的那个本地工具，把处理流程整理成一份固定的提示词文件，记下你调过的每一个参数。换了模型、换了机器，这份流程还在。

Saluki 27B 已经提交了收录申请，通过后可以在传乘AI工具站搜到它的入口，也能看到同类本地模型的对照。

做外贸单证的老刘，上周把一份需要反复核对格式的处理挪到了本地模型上。他的评价是：不是因为它更聪明，是因为他不用再为每次点击付一次钱。这句话点破了本地 AI 真正的卖点。