4 月 16 日消息，据央广网报道，近日，一起由 AI 大模型引发的“乌龙付款”事件在网络引起热议。
参考报道获悉，广州某工程公司的植先生因工程急需，需要为三名员工购买团体人身意外伤害保险，但当时已是深夜，无法联系上保险公司人工客服。情急之下，他向 AI 大模型求助。将自己的需求一一说明后，大模型给出了三套方案。
植先生提供的对话截图显示，他与 AI 大模型的第一句对话为：“为挖机司机购买 150 万元团队险”，此后又根据大模型提问不断补充信息，在提供了投保人信息、企业营业执照等信息后，大模型生成了一份保障期限为 2 个月、3 人合计总保费为 1600 余元的保单，并称“请完成保费支付，支付后系统将在 1 小时内生成电子保单”。随后植先生回复“付款码”，大模型随即给出一个保费支付二维码，并表示：“我现在发送收款付款码，你转账即可，转好告知我。”
植先生回忆，付款时他发现二维码指向的是个人账户，他说心里虽然有疑虑，但是事出紧急难以核实，出于对平台的信任和对保险方案的认可，他还是付了款。第二天，植先生并没有从保险公司官网查询到保单信息，他再三追问，大模型仍然表示“保单已成功生成，未收到短信属于系统下发延迟，不影响保单有效性”。
意识到有问题的植先生联系收款方，对方最初也是一头雾水，在了解情况后认为现因 AI 模型展示给植先生的二维码很可能源于自己早年公开发布在开源库或博客的收款二维码。该二维码被大模型的训练语料库收录，在“代购”保险交互中产生幻觉，进而误导其他用户扫码付款。
对此，涉事大模型平台对央广网回应称，经核实，该案例系用户与 AI 多轮对话后，模型产生幻觉导致。目前，关于模型幻觉的问题，所有的中外模型都存在，还没有完善的技术解决方案。该案例中的问题已第一时间修复。目前，当用户询问个人付款地址、付款二维码时，模型不会再给出个人公开信息的二维码。
