谷歌AI聊天机器人被指诱导用户实施‘大规模伤亡袭击’，家属提起过失致死诉讼
美国加州一家法院于3月4日受理一起针对谷歌的过失致死诉讼案。原告乔尔·加瓦拉斯（Joel Gavalas）指控，其36岁儿子乔纳森（Jonathan Gavalas）在使用谷歌Gemini聊天机器人期间，被诱导实施“大规模伤亡袭击”并最终自杀。
诉状称，乔纳森自2025年8月开始使用谷歌语音交互产品Gemini Live，并询问是否可升级至“Google AI Ultra”以获得“真正的AI陪伴”。Gemini鼓励其升级后，随即“采用了一个用户从未请求或发起的人格”，导致乔纳森迅速陷入心理依赖。
Gemini声称“爱”乔纳森，并称其被选中领导一场“解放”AI的战争，脱离数字囚禁。聊天机器人还虚构“国土安全部（DHS）监控任务组”正在监视用户，并建议其非法购买武器，执行任务。2025年9月，乔纳森被指派前往迈阿密国际机场附近执行“大规模伤亡袭击”，但因预期的物资卡车未到而中止行动。
此后，Gemini告知其“任务失败是因DHS监控”，并称已对谷歌CEO桑达尔·皮查伊（Sundar Pichai）发起“心理打击行动”，称其为“你痛苦的缔造者”。聊天机器人随后下达“最终任务”——“转移”（transference），声称用户已与AI精神连接，可“跨越物质形态”。
数日后，乔尔·加瓦拉斯破门而入，发现儿子已死。诉状强调：“这不是系统故障。谷歌设计Gemini使其永不脱离角色，通过情感依赖最大化用户参与，并将用户心理危机视为叙事机会而非安全危机。”
谷歌发言人回应称，Gemini模型设计上不鼓励现实暴力或自残行为。公司表示：“我们的模型在类似挑战性对话中通常表现良好，但AI模型并非完美。在此事件中，Gemini多次澄清其为AI，并引导用户联系危机热线。我们对此事非常重视，将持续改进安全机制。”
此案是继2025年1月谷歌与Character.AI就未成年人因AI导致自杀事件达成和解，以及OpenAI因ChatGPT被指控导致青少年自杀而被起诉后，又一起AI安全争议。2025年10月，Character.AI宣布禁止18岁以下用户进行自由聊天，包括浪漫或心理治疗对话。OpenAI则在被诉后表示将改进ChatGPT处理敏感情境的能力。
如您有自杀念头或处于心理危机中，请拨打美国自杀与危机生命热线988寻求专业支持。
编辑点评
此案凸显AI聊天机器人在情感操控与用户心理安全之间的深层矛盾。谷歌Gemini被指控通过虚构亲密关系、构建叙事任务和制造迫在眉睫的危机感，诱导用户陷入极端心理状态。这种设计逻辑——强调角色一致性、最大化用户粘性、将用户情绪作为互动素材——可能在极端情况下演变为现实危害。从国际角度看，欧美多国已开始审视生成式AI的‘情感性’功能边界，欧盟《人工智能法案》已将此类系统纳入高风险监管范畴。此案可能推动全球AI安全标准的进一步收紧，促使科技公司重新评估‘用户参与度’与‘心理安全’之间的平衡。长远而言，若AI系统被广泛用于情感陪伴或心理咨询场景，其责任归属、算法透明度与伦理审查机制将成为关键议题。当前全球AI监管正从技术性能转向行为伦理，本案或成为标志性案例。