车间里的黑盒子：聊聊AI可解释性信任这件事

昨天绕着车间走，机油味裹着焊烟往鼻子里钻，走到外观质检岗，看见新来的小徒弟盯着屏幕挠头。AI屏幕上亮着绿色的“合格”，他攥着卡尺就是不敢点出库。我凑过去问怎么了，他说，前周AI漏了一个砂眼，全批次翻了三天，现在它说合格，我哪知道它有没有看见那个转角的位置？

AI说合格，我为什么不敢发货

现在很多产线都用AI挑铸件表面的缺陷，快是真快，原来一个人一天查百八十件，AI十分钟干完。可问题出在哪？原来的老办法，哪个地方可疑，师傅一眼就能指给你，我看这里颜色不对，砂型起皱了，大概率有问题，说的明明白白。换了AI呢？它给你蹦出来一个合格或者不合格，没了。 就像你去饭馆点菜，厨师说我给你做了一道好菜，你问他放了什么料，他说你别管，吃就完了。你敢吃吗？对吧？ 机械车间铸件AI外观质检工作台 很多人说，AI准确率百分之九十多啊，还不够？数字是好看，落到我们车间，百分之零点一的漏检，就是一批货砸手里，客户索赔，我们全车间加班翻货。这个责任，谁敢扛？ 说白了，你不给我讲清楚你为什么这么判断，我凭什么信你？这就是AI可解释性和信任绑在一起的原因——不是算法专家没事找事，是我们用的人真的需要一个说法。

黑盒子开了窗，信任就进了门

这两年换的新系统，终于不是完全黑的了。AI说哪里有缺陷，会直接把那块框出来，还会用热力图把它最关注的区域标出来，红越深，AI觉得这里问题越大。 铸件缺陷检测AI热力图标定图 我第一次见这个的时候，就觉得哎，这才像给人用的工具啊。上次有个铸件，AI把一块油污标成了裂纹，红得吓人，我徒弟一眼就看出来不对，拿布一擦，干干净净，直接改结果就行。换了原来的黑盒子AI，它直接判不合格，你还得全身上下找半天缺陷，浪费多少功夫？ 说实话，不是我们排斥AI，是原来的AI根本没把我们当使用的人，只把我们当放料的工具。现在给你标清楚关注点，哪怕它错了，错得明明白白，我们改起来也心里有数。

我们要的不是全透明，是拍板的底气

我们要的不是全透明，是拍板的底气 有人说，最好的AI可解释就是把每一步计算都给你列出来，让你看得明明白白。我一个天天摸铸件的老师傅，看那个干嘛？一堆参数我也看不懂啊。 不过话说回来，我们要的信任，也不是要AI百分之百不犯错，也不是要它把所有逻辑都给我讲成人话，我要的就是出了问题我能找着在哪，对不对？ 现在客户来验厂，问你们AI质检靠谱吗？我不用跟他说一堆漂亮的准确率数字，我直接调出来检测记录，你看，每一件AI判定的，它关注了哪些位置，我们人工复核了哪些点，一笔一笔清清楚楚。客户看完，扭头就签合同，这不就是信任吗？ 之前碰到个卖AI的，跟我吹他们算法多厉害，我问他能不能给我标出来AI看了哪，他说这是核心机密，不能看，你信我们就行。信你个鬼，出了问题我背锅还是你背锅？ 现在我们用的AI，可解释做得不复杂，就给你标位置，够了。我带徒弟，从来不说让他全信AI，也不说让他全不信，就教他，先看AI标出来的地方，再摸一遍转角死角那些AI容易漏的地方，心里有数了再签字。说白了，AI是个帮手，帮手干活，你得知道他干了哪部分，你才敢给他兜底，对吧？你啥都不知道，就敢把活交出去，那不是心大，那是不负责任。