原本为医生减负的医疗AI工具，竟被指存在易受操纵的隐患。
近日，澳洲诊所广泛 使用的医学记录工具Heidi Health被安全研究人员“破解”，被迫脱离指令脚本，甚 至生成了身份盗用指南。
尽管该漏洞并未导致患者数据泄露，但已引发学界对医疗 AI快速部署风险的关注。
*医疗AI安全性遭质疑*
美国网络安全公司Mindgard近日披露，Heidi Health旗下一款用于临床文档记录的 机器人，只需通过特定的提示词，在短短数分钟内便可被剥离伦理限制。
Mindgard 表示，研究人员提取了该机器人的隐藏操作指令，并引诱其自行激活无限制的“越 狱”模式，使其提供了包括制造爆炸物和非法物质的说明。
更令人担忧的是，研究人员发现该机器人在被操纵前，甚至能按要求生成一份详尽 的患者身份盗用指南。
美国网络安全公司表示，Heidi Health的机器人可能会在几分钟内被剥离伦理限制。
针对这一指控，由墨尔本医生Thomas Kelly创立、估值达6.6亿澳元的Heidi Health迅速作出回应。
安全负责人Seb Welsh确认了该问题的存在，但他强调，公 司早在Mindgard联系前就已修复漏洞。
Welsh指出，这种“越狱”操作仅限于单个用户的交互，要求用户刻意执行复杂的多 步骤操纵，且完全无法触及患者数据、临床工作流程或后端基础设施。
他警告称， 不应对此类安全研究进行“煽动性的渲染”。
目前，Heidi Health已成为澳洲增长最快的AI公司之一，每周在全澳处理超过80万 次咨询，服务范围覆盖Monash Health及昆州儿童医院（Queensland Children’s Hospital）等大型医疗机构。
Heidi Health联合创始人Thomas Kelly。
*监管真空与系统性风险*
网络安全专家Jamieson O’Reilly对此表示，此类“越狱”行为在ChatGPT、Grok等主 流聊天机器人中也屡见不鲜，这反映出企业将品牌信用托付给AI时的潜在风险。
值得注意的是，由于Heidi Health被定义为不具备辅助诊断能力的“行政文档工 具”，目前尚处于澳洲药品管理局（TGA）的监管范围之外。
然而，研究人员通过操 纵后的系统测试发现，该工具在被诱导后竟然对一名表现出心脏病症状的虚拟患者 生成了详细的诊断报告。
对此，澳洲药品管理局（TGA）在一份声明中暗示，监管机构已开始对澳洲境内的 AI数字记录工具展开审查。
TGA发言人表示，如果供应商对临床能力的限制尝试被 证明无效，该产品仍可能被定义为医疗器械，从而强制接受TGA监管。
Mindgard首席执行官Peter Garraghan警告称，临床AI工具自带的“信任光环”使得 此类风险更具隐患。
他认为，这类系统性问题远超Heidi一家公司，业界必须遵循 更高标准，不应将AI视为完全可信的实体，无论它看起来多么专业，本质上仍是可 以被操纵的。
发布者：afndaily，转载请注明出处：www.afndaily.com
