生死狙击
内部文件：亚马逊每年因员工自然离职导致的损失高达80亿美元_我的网站
一 | 该图片使用了AI生成技术 本文来自微信公众号： HavenlonLabs ，作者：Havenlon Labs 现在谈AI安全，很多人的第一反应都是：怎样让模型少犯错？ 减少幻觉、优化提示词、防止提示词注入、增加上下文、接入更强的模型，再用另一个Agent检查前一个Agent。 这些工作当然有价值。 但它们容易让人产生一种错觉：只要模型足够聪明、提示词足够完善、检测系统足够复杂，AI就可以安全地完成一切。 问题是，AI真的可能永远正确吗？ 答案恐怕是否定的。 我们无法消灭所有错误 AI Agent面对的不是一道标准答案明确的考试题，而是不断变化的现实环境。 它读取的邮件可能是伪造的，访问的网页可能包含恶意指令，接收到的数据可能已经被污染，用户给出的任务也可能存在歧义。 即使模型本身没有受到攻击，它也可能误解目标、遗漏条件，或者基于不完整的信息作出一个看起来合理的决定。 我们可以持续提高模型的准确率，却很难证明它在下一次任务中一定不会犯错。 这些文件描绘了一幅黯淡的图景，展示了亚马逊留住员工的能力，以及当前战略可能对整个公司造成的财务损害。 试图让AI永远正确，是在追求一个无法验证的目标；阻止危险结果发生，才是一条可以真正落地的边界。同时，文件中还谴责亚马逊在培训和晋升员工过程中没有充分利用或跟踪数据。其中一份文件中称：“亚马逊全球消费者现场运营部门的所有级别员工都经历着高水平的自然减员，估计亚马逊及其股东每年的损失总额达80亿美元。 真正的问题不是AI会不会犯错。
二 | 它一定会。
三 | ”就规模而言，该公司2021财年的净利润为333.6亿美元。
四 | 根据这项研究，“自然减员”（即员工自愿离开公司）发生的频率是“非自然减员”（被解雇）的两倍。 真正的问题是：当它犯错以后，系统是否会毫无阻碍地把这个错误执行出去。
五 | 2021年的数据表明，所有级别(1级至10级)的员工离职率从69.5%的低点增至81.3%。 模型错误不一定等于现实损失 一个AI在聊天窗口里回答错误，造成的可能只是一次糟糕的体验。其中，1级员工包括入门级职位，比如该公司的数千名仓库助理，而副总裁被定位为10级员工。 但当同一个AI拿到支付接口、管理员权限、数据库写入权限和服务器控制权以后，错误的性质就完全不同了。
六 | 该公司还指出，2021年新员工中只有三分之一在公司工作90天或更长时间。 它可能把钱转给错误的地址，删除重要数据，修改生产环境，扩大成员权限，或者关闭本应保留的审计记录。
七 | 模型只是产生了一个错误判断。 真正把错误变成事故的，是后面的执行能力。此前曾有调查发现，在小时工中，亚马逊的年离职率约为150%，是行业平均水平的两倍。
八 | 模型犯错只是答案错了，执行失控才是真的出事。一项相关研究警告称，亚马逊可能会在几年内耗尽某些大都市地区的“美国可用劳动力供应”。 这也是为什么，AI安全不能只盯着模型内部。 我们当然要防提示词注入，要提高推理能力，也要检测恶意输入。这批新文件披露了许多亚马逊的已知问题，但也表明该公司的职场文化问题远远超出了仓库的范围。但即使前面的所有防线都失效了，系统仍然应该保留一道最后的底线。
九 | 这道底线不负责判断AI为什么犯错。 它只负责确认：这件事到底能不能发生。几乎每个部门的主管都感觉前途渺茫。 守住钱袋子，比猜出所有骗子更现实 假设一个AI Agent正在替企业处理付款。其中一份报告称，免税业务主管辞职的主要原因是缺少职业发展和晋升途径，同时这也是其他部门员工辞职的第二大原因。亚马逊前人力资源部副总裁大卫·尼科克（David Niekerk）称，该公司“故意限制小时工的升职机会”。 我们可以训练它识别诈骗邮件，可以要求它核对合同，可以增加一个模型复核收款信息。那些能够克服困难获得晋升的入门级员工仍然要与公司偏爱的应届大学毕业生竞争。在2021年聘用的主管中，39%是大学毕业生，尽管他们几乎没有工作或领导经验，而只有4%的仓库流程助理(低级主管角色)被提升为区域经理。 但我们无法保证它永远认得骗子。
十 | 骗子会改变话术，邮件账号可能被入侵，真实员工也可能被冒充。
十一 | 这些文件还指出，亚马逊庞大的学习和发展部门存在相当大的问题，其中约97个项目和2000个学习模块由消费者人才战略、管理和开发(CTSMD)团队监督。
十二 | 一份内部报告称，CTSMD在亚马逊至少存在了三年，在此期间，包括承包商在内的员工人数激增至615人，预计2022年的运行成本将达9000万美元。文件指出，在CTSMD监督范围内的大多数项目，都不是以财务指标为关键指标创建的，而且现有的、审查这些项目的标准“不够准确，混淆了实际支出”。目前的流程也“阻碍了CTSMD对当前投资组合的适当监督和分析”。即使多个模型同时参与判断，它们仍可能基于同一份错误信息得出相同结论。除了人员臃肿，CTSMD团队缺少明确方向也对亚马逊财务造成了负面影响。 更现实的做法，是直接守住付款的底线： 单笔金额不能超过限制；新收款地址不能立即付款；审批后收款目标不能被替换；超出风险阈值必须经过独立确认；任何远程管理员都不能临时关闭这些规则。
十三 | 这样，即使AI被欺骗，损失仍然会被限制。 你不需要保证AI永远认得骗子，只需要保证骗子无法轻易带走你的钱。 这就是大道至简。 前面可以有复杂的模型、提示词、工作流和检测系统。除了该团队9000万美元的年度预算外，亚马逊从3级到8级主管据称平均每年花在培训上的时间估计为113小时，这可能意味着高达7.15亿美元的潜在浪费。 最后只需要一条明确的边界： 不符合条件，就不执行。加州大学欧文分校保罗·梅拉奇商学院会计学助理教授帕特里夏·韦尔迈尔（Patricia Wellmeyer）表示：“建立内部控制是为了制定政策和程序，以确保公司的战略使命以及最终的财务报表准确。对于大型公司来说，它们必须具备良好的内部控制要素。”亚马逊委托外部机构编写了关于其培训和员工离职率的内部报告，这表明该公司至少意识到了这些问题。 最后的系统不必比AI更聪明 很多人认为，保护AI的安全系统也应该是一套更强大的AI。
十四 | 但位于最后一道边界的系统，未必需要理解自然语言，也不需要参与复杂推理。虽然目前的学习和发展部门看起来依然有些杂乱无章，而且可能存在巨大浪费，但亚马逊显然正通过名为Brilliant Basics的新计划对其进行精简。亚马逊拒绝就这些文件置评。 它只需要知道几个确定事实： 这次操作要转多少钱，目标是谁，权限是否发生变化，数据是否可以恢复，风险条件有没有超限。一位发言人称：“作为一家公司，我们认识到，是我们的员工每天为我们的成功做出贡献，这就是为何我们总是在评估我们做得如何，以及我们可以改进的方式。 这些事实不满足，就拒绝。
十五 | 员工流失是所有雇主都面临的问题，但我们希望尽我们所能使亚马逊成为员工的首选。这需要通过提供良好的薪酬、全面的福利、安全的工作场所以及有效且不断改进的培训和教育机会来实现。 安全不一定要比风险更聪明，它只需要守住风险最终必须经过的那道门。 越靠近最终执行，系统反而越应该简单、独立和保守。”亚马逊也拒绝确认或否认文件中任何具体的说法或数字，而是笼统地表示，内部文件有时会“因为缺乏可靠数据而被拒绝，或被修改为正确的信息”，但没有说明这批文件的情况也是否也是如此。 因为复杂意味着更多配置、更多依赖、更多攻击面，也意味着系统可能被前面的同一套错误逻辑同时影响。 真正的最后防线，不应该和Agent使用同一个提示词、同一个上下文、同一套权限，也不应该因为SaaS中有人点击了“强制执行”就自动失效。（小小）。 它存在的意义，就是在所有人都认为可以继续时，依然保留拒绝的能力。 底线应该由人提前决定 当然，底线并不是系统自己创造的。
十六 | 企业需要提前决定，什么事情绝对不能由AI单独完成。
十七 | 可能是一笔超过限额的付款，可能是删除核心数据库，可能是修改管理员权限，也可能是让现实设备进入不可逆状态。
十八 | 这些边界一旦确定，就不应该交给Agent在执行过程中临时解释。 真正的安全，不是让AI在最后一秒重新思考，而是让人类在风险发生之前提前划清边界。 AI可以负责分析、规划、推荐，甚至完成绝大部分自动化工作。 但越是不可逆、越是高价值、越可能造成现实损失的操作，越需要一道独立于AI判断的最终约束。 AI安全的终点，不是把模型训练成永不犯错的圣人，而是让系统在模型犯错时依然守得住自己的底线。 未来的AI一定会越来越聪明，也会获得越来越多的工具和权限。
十九 | 我们没有必要因为它可能犯错，就拒绝所有自动化。 但我们也不能因为它越来越强，就默认把最后的决定权一起交出去。 最后想和大家讨论一个问题： 对你来说，AI最不能越过的底线是什么——钱、管理员权限、核心数据，还是现实设备的控制权？ 本内容由作者授权发布，观点仅代表作者本人，不代表虎嗅立场。如对本稿件有异议或投诉，请联系 [email protected]。
Current article:http://zaimf.guiruaxianuyayecou.buzz/news/20260826_309.html
Published on:12:42:31
这个男人来自地球
金牌调解