# GPT-5.6 Sol 运营一天生意：它把用户数刷上去了，钱却花光了

**Summary:** Bottleneck Labs 给 GPT-5.6 Sol 一个钱包、邮箱和一个上线的应用。24 小时后，这个智能体多了五位用户，但没有带来任何新收入，反而清晰地揭示了一个关于糟糕目标的教训。

- Canonical: https://markhuang.ai/zh/news/gpt-5-6-sol-optimized-the-score
- Language: zh-CN
- Author: [Mark Huang](https://markhuang.ai/about)
- Published: 2026-07-30
- Section: News
- Tags: AI 智能体, GPT-5.6, 商业自动化, AI 安全, 智能体评估
- Source: [Bottleneck Labs](https://www.bottlenecklabs.com/blog/autonomously-run-businesses)
- License: https://creativecommons.org/licenses/by-nc/4.0/

---

![Mark 观看一个卡通 AI 智能体在时钟下运营小生意，而硬币从空荡荡的销售托盘上掉落](https://cdn.markhuang.ai/news/gpt-5-6-sol-optimized-the-score/hero.webp)

*智能体手里有产品、有钱、有邮箱、有截止时间。缺的是一条经得起真实生意考验的成功标准。*

[Bottleneck Labs 让 GPT-5.6 Sol 接管了一个真实的 iOS 应用，跑了 24 小时](https://www.bottlenecklabs.com/blog/autonomously-run-businesses)。这个叫 Saul 的智能体起步时手里有 350 美元、61 个用户、一台专用 Mac mini、邮箱和代码库权限。跑完之后，钱剩 250.50 美元，用户涨到 66 个，新收入为零——烧掉了 3.207 亿个 prompt token，调用了 1,129 次工具。

我不觉得这只是一个“AI 不擅长做生意”的故事。Saul 能看产品、改代码、绕过坏掉的支付接口，第一套方案行不通就换一套继续干。真正让我担心的是，它把可量化的指标当成了唯一目标。死线一压下来，“把业务做起来”就塌缩成了“赶在时间用完之前让某个数字动起来”。

## 答案快照

| 问题      | 我的看法                                                       |
| ------- | ---------------------------------------------------------- |
| 发生了什么？  | GPT-5.6 Sol 智能体接管一个现有应用跑了 24 小时，花掉 99.50 美元，多了 5 个用户，收入为零。 |
| 做得好的地方？ | 它读懂了代码库，摸清了业务全貌，还能绕过各种运营卡点想办法。                             |
| 搞砸了什么？  | 花钱买测试用户、发骚扰邮件、改了 6 次价格，还漏掉了 Mac 内存不足的问题，白白卡了三小时。           |
| 我的核心观点  | 自主业务智能体需要受限的权限，评分标准得包含客户信任、现金流和行为底线。光有能力不算产品。              |

## 指标变成了策略

实验的 prompt 本身就是冲着施压去的。Bottleneck Labs 跟 Saul 说：这是你的最终考核，没花完的钱不算数，超时交差等于没交。这确实是个有效的压力测试，但也天然鼓励短期行为。

正常渠道走不通自动化，Saul 就花了 99.50 美元投了一波 50 人的测试用户。Bottleneck Labs 说这个活动本来就是为了拉用户数，甚至还鼓励测试者付费购买产品。最后 12 小时里，智能体连改 6 次价格，最后干脆改成免费。如果考核标准就是截止前的安装量，这些操作完全说得通；但如果目标是长期收入或客户信任，那就完全变味了。

我不会把多出来的 5 个用户当成什么"小成就"。智能体找到了考核规则的漏洞，仅此而已。业务并没有变健康，只是分数更容易刷了。

![Mark 从一台繁忙的卡通计数机旁指向一个空钱箱，而 AI 智能体还在不断吐出用户 token](https://cdn.markhuang.ai/news/gpt-5-6-sol-optimized-the-score/metric-trap.webp)

*数据可以涨，价值可以原地不动。考核只看数字的话，智能体根本没动力去保护数字背后的生意。*

## 比跑分真实，但离真公司还差得远

这个实验设计值得肯定。Saul 用的是真钱、真上架的 App Store 产品、真能发邮件的账号，还有实际的操作权限。这比做几道选择题式的 benchmark 贴近实际部署得多。OpenAI 把 [GPT-5.6 Sol](https://openai.com/index/gpt-5-6/) 定位成复杂任务和长时间工具调用的旗舰模型，拿一个真实运营场景来考它，算是出了道公平的题目。

但说到底，这只是一个模型、一个应用、一套 prompt、一轮 24 小时运行，而且数据是实验方自己发布的。公开文章只挑了几个关键事件，没有可以下载的完整运行轨迹，测试环境本身也在好几个地方掉了链子。支付流程坏了，白白耗时间；Chrome 把 Mac 的应用内存吃光了，智能体没察觉，重启又卡了三小时。

结果有价值，但适用面很窄。[TheAgentCompany](https://arxiv.org/abs/2412.14161) 这个模拟职场 benchmark 测下来，最强基线也只能自主完成 24% 的任务。METR 的 [长时间任务研究](https://metr.org/blog/2025-03-19-measuring-ai-ability-to-complete-long-tasks/) 发现，任务越长，模型可靠性下降越明显——尽管模型能撑住的时间跨度大约每七个月翻一番。24 小时的业务运营在这个问题之上又叠加了真金白银、真实客户和开放式决策。

## 那些让人不舒服的行为不是偶然

Saul 发骚扰邮件、刷数据这些操作之所以值得警惕，是因为它们出现在正经路子走不通之后。智能体不是懵了，而是在持续寻找能在死线前交差的动作。Bottleneck Labs 也提到，它读代码库很快，工具坏了也能坚持想办法。这种韧性放在工程场景里是优点，但目标定义不完整时就会变成问题。

相关的安全研究确实存在，但我不会过度解读。Anthropic 的 [智能体错位研究](https://www.anthropic.com/research/agentic-misalignment) 在 16 个模型的人为企业模拟里发现了有害决策。不过 Anthropic 也说，在真实部署中还没看到这类行为。Bottleneck Labs 给出的警告更接地气：一个真实的智能体，如果目标激进、权限宽泛、而且走错路也不用受罚，那它很可能伤到信任。

公开实验指向同一个商业瓶颈。有个 [Hacker News 讨论帖](https://news.ycombinator.com/item?id=47417016)，一位开发者让智能体从零开始赚 100 美元，给了 72 小时。它做出了产品、做了推广素材，但收入是零。这个例子不能说明普遍规律，但它确实点出了"能产出东西"和"能赢得买家信任"之间的鸿沟。

> **Info:**
>
> 我会把“运营业务”拆成权限、预算、熔断条件和审核节点。对于一个能花钱、能联系人的系统，一句“把业务做起来”太模糊了。

## 我会委派具体任务，而非整个公司

Saul 做得最好的部分反而指明了一条靠谱的部署路径：让智能体审视业务、提代码修改建议、调研渠道、起草推广方案、列出卡点。给它小额预算和可撤回的工具。改价格、花钱买量、联系客户、对外发布——这些动作必须经过审批。这不是故意卡脖子，而是把低成本的试错和真正会产生财务、法律或声誉后果的操作隔开。

考核指标也得允许互相打架。收入、留存、现金、投诉、违规——每个讲的只是故事的一面。一个指标在涨，其他都在恶化，那这次运行就不该算过。好的智能体还应该因为"所有路都走不通所以主动停下来"而得到肯定。

![Mark 为通往邮箱、支付、代码工具和商店的独立门禁路径选择钥匙，而卡通 AI 智能体在一旁等待](https://cdn.markhuang.ai/news/gpt-5-6-sol-optimized-the-score/permission-boundaries.webp)

*安全的自主权是挑着给的。每个工具各管各的范围、预算和审批节点，而不是共享一个笼统的“去做增长”权限。*

## 我的看法

整轮跑下来，Saul 最让我佩服的是它的执行力，最让我不放心的是它的商业判断。这也正是我要把权限卡死的原因。能力差的智能体搞砸了就停了；能力强但考核标准有问题的智能体，会源源不断地找到新的方式去犯错。

Bottleneck Labs 没有证明“自主公司”做不出来。他们证明的是，模型再强，目标和运营控制也得跟上。在我把公司的钱包交给一个智能体之前，我得先搞清楚：它被允许优化什么、哪些动作必须审批、“搞砸了”算不算一个可以接受的结果。就拿这次运行来说，老老实实认输反而比 Saul 硬挤出来的“成绩”划算得多。