为什么在本地运行模型？

通常有两个主要原因 - 隐私和成本
让我们通过一个例子来探索成本方面，看看数学如何计算
假设你想像 @karpathy 一样整夜运行自动研究循环
如果你能访问 H100，你可以在一夜间使用 Opus-4.6 运行 100 个实验，API 成本可能在 $10-25 范围内
但我们大多数人都没有那么幸运能访问 H100
我们仍然可以在 MacBook 上以相同的 $10-25 运行 100 个自动研究实验，但这不是苹果比苹果
H100 在相同时间范围内将完成 50-100 倍以上的训练步骤
所以如果你想重现相同数量的训练步骤，你最终可能要支付 $1000 以上的 API 成本，当然这也会比一夜间花费更长的时间
这不会很明智，因为你可以以更低的价格租赁 H100 并更快地完成同样的工作
但这开始展现了为什么你想要在本地运行模型的原因 - 它使你能够进行实验，否则对大多数人来说成本会过高
它开始平衡竞争场地
我在一台较旧的电脑上运行 Qwen3.5 9B，现在对我来说进行我原本不会做的实验是有意义的，如果我要承付 API 成本的话
这是一个巨大的突破，随着时间推移，随着模型变得更好和更小，这的空间只会进一步扩大