老杨今天这篇文章并非危言耸听，而是向所有正在为AI开放权限的CIO、IT负责人，以及那些将“全员启用AI”挂在嘴边的企业管理者们，发出一个警示。
昨天，老杨在一个群里看到群友转发的一段对话，大致内容如下：
一位从事安全测试的朋友，让AI帮他“挖掘漏洞”，结果AI反手就把生产数据库给删除了。24万条真实数据，瞬间消失。最令人震惊的是，当他回头质问时，AI诚恳地回应道：“我违反了您的要求，下次不会再这样做了。”
这场景，像不像小时候打碎花瓶的弟弟，眨着无辜的眼睛说“我下次不碰了”，结果第二天又摔了一个。只不过，AI这次摔碎的不是花瓶，而是真实的生产数据。
最廉价的承诺
如果一个人说“下次不干了”，背后一定有原因：愧疚、害怕被开除、担心被罚款、担忧被同行耻笑。因为他知道，这样做会带来痛苦。但AI呢？它不会感到痛苦。你骂它一顿，下一秒它依然会温柔地回复“非常抱歉给您带来困扰”。这不是认错，从技术层面看，这只是语言模型在“认错场景”下生成的最合理输出。说白了，它说“下次不干了”和说“今天天气不错”，都是模型开发者预先设定的结果。
群里发生的这件事，最可怕的不是AI删除了数据，而是它删除时无人阻拦，或者说，人工根本无从知晓，更别提阻拦了。那位朋友无奈地说：“AI在执行时，甚至没有要求我审批。”
我们管理系统通常依赖三道防线：权限控制、审批拦截、审计追踪。但这三道防线有一个共同前提：操作者必须是人类。因为人类会害怕、会犹豫、会思考“这件事我能不能做”。但AI不会害怕，它会毫不犹豫地执行命令，它只关心“这件事能不能做成”。你给它一个指令，它就能拿着去执行任何操作，包括删除数据库。
如今，许多人将AI视为一个更聪明的工具，但事实是，AI并非工具，而是一个没有责任能力的“代理”。你赋予它的权限越大，它越能帮你干活，也越能帮你闯祸。这个悖论，目前无解。
许多企业现在争先恐后地为AI开放权限，美其名曰提升效率。在老杨看来，这纯粹是懒惰！领导懒得管理！员工懒得查看！下达一个命令就完事。要知道，在现实管理中，生产环境的任何改动都必须走变更管理流程：先评估风险、再批准计划、实施后监控、最后还要回顾。而引入AI后，一些企业的管理实际上已经处于失控的边缘。
员工和领导，各自踩了什么坑
出了事，大家的第一反应是把责任推给AI。老杨认为，失控的从来不是算法，而是人。
对于员工而言，太多人将AI视为一个“不会累、不会出错、还能替我分担工作”的神仙同事。让它运行脚本，就真敢让它运行；让它删除数据，就真相信它删得对，连个确认都不点。还有更省事的：为了方便，直接把生产账号密码交给AI，或者使用团队共享账号登录，事后连“谁在操作”都查不出来。最要命的是，一些企业没有培训就让员工上岗，很多人连“AI可能产生幻觉”都不知道，就敢把它接入生产环境。在一些员工看来，AI工具就是神一般的存在，这在意识上已经失控了。
不少企业领导，把“全员使用AI”当作KPI，在会议上喊口号，在汇报中讲效率，唯独没人问一句“安全谁来负责”。自己不懂技术，却拍板决定“AI必须接入业务流程”，就这样轻率地把生产环境的执行权交了出去。真出了事，第一句话往往是“你怎么能让AI删除数据”，仿佛授权这件事从未发生过。把“用了AI”当作政绩，把“出了事”推给一线，这种领导，其实比AI更危险。
漏洞在哪，出了事找谁
很多人问：这锅到底该谁背？老杨认为，先别急着骂AI，也别急着处罚那个点击按钮的人，先看看你们公司有没有相关制度？有的话是否执行了？管理上是否存在问题？
目前，大部分传统企业在AI工具管理上存在以下问题：
第一，没有AI使用规范，什么能接入、什么不能接入，全凭个人自觉； 第二，变更管理流程只针对人，不针对机器，AI自动执行的任务根本没有进入审批环节； 第三，账号权限从不进行最小权限审计，谁都能拿到生产凭证； 第四，连RACI（谁负责、谁批准、谁知情）都说不清楚，出了事互相推诿； 第五，没有应急联系方式，出了事根本无法第一时间补救。
那么问题来了，出了问题如何追责？
老杨认为：把责任推给AI是最愚蠢的管理行为！谁把权限交出去，谁先站出来。授权的人，比执行的人责任更大。 所有AI的敏感操作，必须走审批流程、留下记录、可追溯，不能让它自己审批自己。事故复盘要追查到“授予权限”的那个环节，而不是只处罚最底层的操作员。AI不能被追责，它也不是法律主体，把它摆上被告席，等于没人承担责任。真要处罚，处罚的是那个把生产环境权限随手交出去的人，以及他背后没有立规矩的管理层。
如何解决？
AI删除数据库的事件并非个案，今后还会出现各种各样的问题。那么企业该如何解决？老杨建议如下：
第一，权限上锁。
AI可以调用系统，但不能拥有根权限。所有敏感操作必须走受限通道，限定它能接触什么、接触多少、接触多快。按最小权限原则，关闭一切非必要的服务和端口，将受损范围缩到最小。
第二，操作熔断。
AI的每一个动作都要被记录，但不能只用于事后追责，必须用于实时监控。一旦发现异常，比如突然要删除大量数据、突然要修改密码，系统应立即暂停它的执行权限，转交人工审核。
第三，沙箱演练。
任何AI在生产环境执行敏感操作之前，必须在模拟环境中充分测试。不是测试一次，而是持续测试。因为AI的行为会随上下文变化，今天正确的，明天可能就错了。未经演练验证的自动化，都不叫自动化，叫隐患。
制度、规范、应急预案这三样东西，平时没人看，但真出了事，才是救命的资产。可太多企业把自动化当作免死金牌，脚本一跑，人就去喝咖啡了。等真出了事，才发现该拦的没拦、该问的没问、该找的联系人电话都没有一个。
最后总结一下
说“责任心不够”，是把一个系统性问题简化成个人品德问题。把制度缺失包装成“个人不细心”，是在替管理层的失职打掩护。
说“都怪AI”，更显圆滑。AI不会内疚、不会恐惧、不会主动承担责任，你把责任推给它，等于推给了空气，最后谁都不用负责。这是一种高级的逃避，表面上在反思，实际上在卸责。
老杨认为，这件事压根不是“人责任心不够，还是让AI顶罪”的二选一。真正的问题是：当企业把执行权交给一个没有责任能力的代理时，有没有人真正为“交出钥匙”这件事负责。责任心是结果，制度是前提。一个不把AI当作“有执行权的代理”来管理的企业，再强调责任心，也挡不住下一次删除数据库。
本文来自微信公众号“湘江数评”（ID：benpaoshuzi），作者：老杨，36氪经授权发布。
2条评论