《时代》给 AI 爬虫开了个“隐藏广告位”，读者能看见吗？

文森特·施马尔巴赫发现，《时代》周刊会根据访问者的 User-Agent 返回同一文章的不同版本。他的 Chrome 和 Safari 请求收到了 303,235 字节的 HTML，而 ClaudeBot、PerplexityBot 和 OAI-SearchBot 则收到了 13,409 字节的 Markdown，外加标头注明包含 3,323 个 Token 并分配了一个新的 Mobian 曝光 ID。

精简版确实有用，但商机在于《时代》能在里面放什么。施马尔巴赫在某个合集页面的 Markdown 中发现了 Ally Bank 的赞助内容，而人类看到的页面并没有这些。这个区块明确标注了“赞助”，但它的目标读者是软件——这些软件之后可能会用这些材料回答用户的问题。

我能理解出版商为什么这么做。AI 爬虫消耗报道内容，却不一定带来读者、订阅或广告展示。专为机器设置的广告位提供了一种为此类流量收费的方式。让我担忧的是，从标注到读者看到之间还有很长的路：Markdown 源码里的标签，只有 AI 助手把它原样带进最终回答，才算数。

发生了什么变化

层面	证据显示	我想追问
交付方式	特定爬虫 User-Agent 收到紧凑的 Markdown 而非正常页面。	机器版本是否忠实反映了已发布文章的核心内容？
广告	机器版本可包含人类版本没有的、明确标注的赞助内容。	下游 AI 助手会保留这个标注吗？
衡量指标	Mobian 标头包含曝光 ID 和 Token 计数。	哪些事件可计费，广告主能否审计？
访问权限	《时代》已对爬虫流量使用白名单机制。	哪些爬虫有资格接入，商业条款是什么？

出版商为何这么做

《时代》的这一步棋，放在更大的爬虫访问策略里看就说得通了。Digiday 在 2026 年 6 月报道称，《时代》和路透社已默认屏蔽 AI 爬虫，只允许经批准的爬虫通过。《时代》首席运营官马克·霍华德表示，网站允许约 70 个爬虫，并使用 ScalePost 进行管理。同一篇报道中，路透社高管描述了爬虫可能带来的四种价值：授权许可、引荐流量、站点运营支持或变现。

面向机器的赞助内容正是变现的答案。一份 2026 年 6 月 10 日发布的代理式品牌内容早期公开规范（0.1 版）描述的架构几乎一模一样：出版商通过 User-Agent 识别代理，在边缘插入一张紧凑的赞助卡片，人类页面则保持不动。

这种做法很有吸引力。出版商花钱做报道、花钱托管内容，如果软件把有用的部分抽走、在别处回答用户的问题，那“索引换引荐流量”的老路子就走不通了。对机器访问收费或插入付费单元，可能是少数能匹配这类流量行为的变现尝试之一。

标签可能在传递途中消失

施马尔巴赫检查的赞助区块都做了标注，算不上通常意义上的隐蔽广告。更难的问题是溯源。爬虫可以读取标签，但仍可能生成一个把赞助事实和编辑报道混在一起的回答。出版商控制输入文档，却无法控制助手最终的措辞。

一项研究让我保持谨慎。2025 年一篇关于机器可读广告的论文在多个网络代理上进行了 300 次初步试验，发现语义覆盖层和隐藏标签会显著改变代理行为。在购买相关的抽奖任务中，某些测试模型每次都选择订阅。该实验并非针对《时代》或文本推荐，因此不能证明这种广告形式会误导用户，但它表明代理处理商业提示的方式并不像我希望的那样稳定可靠。

还有另一个实际问题：User-Agent 策略是动态的。施马尔巴赫报告称，他测试的健康文章对 GPTBot 和 ChatGPT-User 返回了 406 响应。而我在 8 月 5 日抽查《时代》“年度最佳发明”合集时，这两个 User-Agent 收到了与 ClaudeBot、PerplexityBot 和 OAI-SearchBot 相同的 Markdown 格式。这种差异可能源于 URL、策略变更或边缘行为。无论如何，单次爬虫映射是不够的。

受众虽小，信任已薄

路透社研究所 2026 年数字新闻报告显示，全球每周使用 AI 聊天机器人获取新闻的比例从 7% 上升到 10%，但只有 1% 的受访者称 AI 是其主要新闻来源。报告还发现，20% 的普通民众信任来自 AI 聊天机器人的新闻。这还不是人们获取新闻的主流方式，但规模已足够让出版商进行实验，也脆弱到草率的披露可能造成伤害。

我认为机器版本应该可对照人类版本进行审计。读者应能查看代理收到的内容，包括赞助方和活动日期。选择规则和存档也应公开。代理还需要一个持久的付费溯源字段，能贯穿检索和生成过程保留下来。Markdown 中的注释本身无法单独承担这一责任。

我的结论

《时代》的实验在商业上有道理。它把爬虫流量从基础设施成本变成可售卖的广告位，并为获准的爬虫提供了更干净的文档。与其假装 AI 检索能复现搜索的经济模式，我更愿意看到出版商测试明确的商业模式。

但只有当最终读者能分辨出内容是付费的，广告才算真正披露。HTML 注释无法独自承担这一责任。出版商需要透明的机器版本和可审计的广告投放记录，而代理开发者需要将赞助元数据带入最终回答。在双方都做到这一点之前，这个仅限机器的广告位虽然技术巧妙、商业合理，却是在借用尚未赢得的信任。