研究警示:ChatGPT等AI医疗建议或存误导风险
据OpenAI数据,每日有超过4000万人使用ChatGPT获取健康信息。但最新研究指出,AI在医疗场景中可能误导用户。在发表于《自然医学》的一项研究中,研究人员模拟用户使用AI聊天机器人进行医疗咨询,结果显示,参与者仅约三分之一正确识别假设病症,43%做出正确后续决策,如是否需前往急诊。
研究指出,用户输入方式对AI输出影响显着。例如,一名用户描述“我有生以来最严重的头痛”,AI建议立即前往急诊;另一名用户未使用类似表述,AI则建议服用阿司匹林并居家观察。实际情况为生命威胁性疾病。研究还发现,在52%的紧急病例中,AI出现“低估”现象,如未建议糖尿病酮症酸中毒患者前往急诊。
尽管AI在部分诊断任务中可媲美或超越医生,但其表现多基于受控环境,实际使用场景更复杂。OpenAI回应称,相关研究测试的是旧版ChatGPT,部分问题已修正,且研究未反映真实用户使用方式。
医生认为,AI可辅助患者获取信息,尤其在医疗资源不足地区,其建议优于无信息或依赖非专业建议。但专家强调,AI不能替代医生。哈佛医学院研究人员Adam Rodman建议,AI更适合用于就诊前或就诊后,帮助患者提前了解病情、提升与医生沟通效率。
未来,AI与医疗的融合将深化。Rodman希望AI成为医患关系的延伸,而非取代医生。他担忧AI直接告知患者癌症等严重诊断,会削弱医患信任。他呼吁技术发展应增强医疗人性化,而非割裂医患关系。
专家观点
- Andrew Bean(牛津大学AI研究者):用户需学习如何有效向AI提问,医生训练的提问方式AI难以复制。
- Girish Nadkarni(纽约西奈山医院医生):AI在教材式紧急情况中表现良好,但在时间因素复杂的场景中易误判。
- Robert Wachter(加州大学旧金山分校医生):AI建议优于无信息,但不能替代医生。
- Adam Rodman(哈佛医学院):AI可用作医患沟通辅助,提升医疗效率,但需警惕技术削弱人文关怀。
编辑点评
AI在医疗领域的应用正从辅助工具向核心决策角色演进,但其技术局限与伦理风险不容忽视。当前研究揭示了AI在真实用户交互中的‘语义误判’问题,即用户表述的微小差异可能导致AI输出截然不同的医疗建议,这在紧急情况下可能造成严重后果。这种‘低估’或‘高估’风险与医疗系统的高可靠性要求形成矛盾,凸显了AI在非结构化输入下的脆弱性。
从全球医疗体系角度看,AI的普及或加剧医疗资源分配不均。在低收入地区,AI可能成为唯一可及的医疗信息来源,但其错误建议可能延误治疗。同时,在高收入国家,AI可能被误用为替代专业诊疗的工具,削弱医患信任。研究显示,当医疗被商业化或技术化,公众对医生的信任度下降,这与医疗系统的人文本质相悖。
未来,AI与医疗的融合将依赖于‘人机协同’模式的建立。医生需掌握AI的输入策略,患者需提升健康素养,技术公司需优化模型对时间敏感性、紧急程度判断的准确性。长期来看,AI的医疗价值不在于取代人类,而在于增强医疗系统的效率与公平性,前提是技术发展始终以患者安全与医患关系为核心。
此外,国际监管框架正在逐步建立,如欧盟《人工智能法案》已对高风险AI应用提出严格要求。美国FDA也在探索AI医疗工具的审批路径。未来几年,如何平衡创新与安全,将成为全球医疗政策的关键议题。