《英国医学杂志》最新发表的一项研究显示,在广泛用于检测阿尔茨海默病早期症状的测试中,大部分参与测试的人工智能大语言模型都表现出相当于人类轻度认知障碍的迹象。尽管这只是一项基于观察的研究,但新发现挑战了人工智能将很快取代人类医生的假设。
过去几年,人工智能尤其是大语言模型生成能力取得了巨大进步。在医学领域,这些发展引发了猜测:这些大语言模型能在医疗任务上超越人类医生吗?尽管先前的多项研究表明,大语言模型在一系列医学诊断任务上表现非常出色,但它们的认知能力变化还需要进一步验证。
这项研究由以色列哈达萨医疗中心等机构的研究人员在《英国医学杂志》上发表。他们利用“蒙特利尔认知评估量表”测试了多个大语言模型的认知能力,这些模型包括OpenAI开发的GPT-4和GPT-4o,美国Anthropic公司开发的“克劳德3.5”,以及美国谷歌公司开发的“双子座1.0”和“双子座1.5”。
“蒙特利尔认知评估量表”广泛用于检测认知障碍和阿尔茨海默病的早期迹象,包括注意力、记忆力、语言、视觉空间技能和执行功能等能力。得分最高为30分,通常得分26分及以上被视为认知正常。测试结果显示,GPT-4o得分最高——26分,“双子座1.0”得分最低——16分。所有大语言模型都能很好地完成命名、注意力、语言和抽象等方面的任务,但在视觉空间技能和执行功能测试中都表现不佳。
此项发现挑战了人工智能将很快取代人类医生的假设。研究人员表示,大语言模型在需要视觉抽象和执行功能的任务中几乎“全军覆没”,这意味着人工智能在临床环境中的使用可能会有困难。