# 诊断赢了 GPT-6 的皮肤癌 AI，阈值却会放走 18 个黑色素瘤 **Summary:** Lynch 的 Inception v3 在诊断上压过 GPT-6 Astra 和 Claude Fable 5.1，但按预设阈值，30 个黑色素瘤里它会放走 18 个。我认为“安全放行”必须单独评。 - Canonical: https://markhuang.ai/zh/news/skin-cancer-ai-winner-discharge-risk - Language: zh-CN - Author: [Mark Huang](https://markhuang.ai/about) - Published: 2026-10-25 - Section: News - Tags: 医疗 AI, 皮肤癌, Inception v3, 多模态大模型, AI 评测, 临床安全 - Source: [Lynch Lab](https://lynchlab.net/llm-skin-cancer) - License: https://creativecommons.org/licenses/by-nc/4.0/ --- ![一支皮肤镜对准琥珀色的玻璃椭圆，另一支正穿过一扇敞开的半透明绿色门](https://cdn.markhuang.ai/news/skin-cancer-ai-winner-discharge-risk/hero.webp) *认出图案，和判定它不用继续复查，是两码事，各自都需要证据。概念示意图。* 皮肤科医生 Magnus Lynch 的皮肤癌实验里，一个微调过的 Inception v3 在 200 个活检确诊的病灶中诊断对了 125 个。GPT-6 Astra 和 Claude Fable 5.1 分别对了 84 个和 85 个。他 10 月 25 日的[报告](https://lynchlab.net/llm-skin-cancer)给了我一个很具体的理由：下次先想到专用视觉模型，再考虑通用大模型。 但看到这个成绩，我不急着把它做成“无需随访”的功能。按预设阈值，这个卷积神经网络（CNN）会让 30 个黑色素瘤里的 18 个直接放行，两个大模型是 3 个和 4 个。这些数字说的都只是图像测试里给出的建议。我的判断是：诊断这一项，专用模型值得继续做下去；放行这一项，得单独再评一次。 ## 两边的准备工作本来就不一样 Lynch 给两个大模型各一张临床近照和一张皮肤镜图像，也就是查皮肤时用的那种放大视图。同一段提示词，默认参数，要它们在六种诊断里选一个，或者回答“不确定”，然后判断这个病灶能不能不做治疗、不做活检、也不用随访，直接放行。 CNN 的准备完全不是这个路子。Lynch 用 68,011 张临床和皮肤镜图像微调它，测试病灶，以及同一病灶、同一患者的其他照片，都被排除在训练集和验证集之外。所以这场比较的一边，是为任务专门训练过的模型；另一边，只是被提示去做这件事的通用模型。 [Hacker News 上有人](https://news.ycombinator.com/item?id=50233779)提出反对：微调过的专用模型在这么小的数据集上打赢通用模型，本来就没什么好惊讶的。这个批评背后的边界，我认。这个实验证明不了哪种架构天生更擅长医学。它能动摇的是另一个假设——面对这类具体的图像任务，能力强的通用模型就是最好的起点。 对一个正在决定“先查什么”的团队来说，这就够了。我会把专用模型放进比较里；也会在宣布谁赢之前，先把工具到底要干什么定下来。 ## 两种错误，后果不一样 诊断错和放行错不是一回事。把一种癌认成另一种癌，但好歹还建议做评估：标签是错了，可“必须处理”这个判断也许仍然有用。一旦标成良性，后面的决定就全变了。放行建议我会单独打分，不从诊断准确率里推。 Lynch 的表把这层区别摊得很清楚。按预设阈值，在他判为“不该放行”的 100 个病灶里，CNN 拦下了 77 个，两个大模型是 97 个和 96 个。另外 100 个安全病灶里，CNN 放行了 76 个，两个大模型只放 32 个和 22 个。 多放一些良性病例确实有吸引力：工具真有用的话，能省掉不少没必要的随访。可这份好处得跟它漏掉的不安全病灶一起算。大模型更保守，也意味着医生手上还剩一大堆活。 阈值本身也得有证据。Lynch 的表里也列了 CNN 的其他阈值，那些阈值下只有一两个黑色素瘤被放行，但对应的良性放行数量没有给出。光看这张表，我判断不了工作量上的取舍。我想看到的是：规则事先定死，再拿新病例把两个结果同时测出来。 ## 相机和病例构成都算数 底下的 [MILK10k 数据集](https://doi.org/10.34970/648456)把临床近照和皮肤镜图像配成对。Lynch 测试时只取了其中挑出来、活检确诊的一部分，他判为可安全放行和不可放行的各占一半。要有参照诊断，测试才谈得上比较。要把它带进产品，我想先看到目标门诊人群里的证据，还有那家诊所实际怎么拍照。 [2020 年 BMJ 的一篇系统综述](https://pmc.ncbi.nlm.nih.gov/articles/PMC7190019/)看了九项皮肤癌手机应用研究，发现的问题包括招募有选择性，图像是临床医生挑的、拍的，而不是应用用户拍的。那些是更早的应用，不是 Lynch 这次测的系统。可这段历史让我想问：在要做的产品里，谁挑病灶，谁按快门？评测有没有反映这些条件？ Lynch 自己也承认样本小，每个大模型病例只跑了一次。30 个黑色素瘤，名次又挨得这么近，我会格外谨慎。[病例、提示词、回复和评分代码](https://d2gaqzonlm544h.cloudfront.net/skin-ai/data/llm-skin-cancer-test.zip)都能下载来看。这让实验可以被质疑、被扩展，但临床表现依然悬而未决。 ## 下一步我想要的结果 上试点之前，我会先把角色写清楚：这个工具是给出诊断、等人复核，还是直接告诉某人不用再管了。然后用它真正会拿到的那类图像去评这个角色。如果是放行，我会把漏掉的不安全病灶和良性病例的随访量放在一起看，不确定的病例单独计数。 这也是我写[AI 基准到底在测什么](https://markhuang.ai/blog/what-ai-benchmarks-actually-measure)时反复回到的那条线：被打分的任务，得跟被交出去的决策对得上。不同模型的错误也让我更想测一个组合系统，只是这个实验没测。 Lynch 的结果对我算一个理由：该测一测专用模型，规模不大的也值得。至于让系统自主放行，凭现在这些证据我不会点头。接下来最有用的结果，是它能从临床复核里安全拿走多少工作量。