Chat-GPT董事会通过了放射学考试

最新版本的ChatGPT放射式考试通过,突出大型语言模型的潜力但也暴露的局限性,阻碍可靠性,根据两个新的研究发表在放射学,一个北美放射学会杂志》(RSNA)。

ChatGPT是一个人工智能(AI) chatbot使用深度学习模型来识别模式和词汇之间的关系在其庞大的训练数据来生成基于一个提示类似人类的反应。但是因为没有真理的训练数据的来源,这个工具可以生成响应与事实不符的。

“大型语言模型的使用像ChatGPT爆炸只会增加,”作者Rajesh Bhayana说,医学博士FRCPC,腹部放射学家和多伦多大学医学影像技术领先,在多伦多,加拿大多伦多综合医院。“我们的研究提供了洞察ChatGPT性能在放射学背景,突出大型语言模型的令人难以置信的潜力,以及当前的局限性,使其不可靠。”

ChatGPT最近历史上增长最快的消费应用程序命名,和类似的聊天机器人被纳入流行的搜索引擎像谷歌和必应,医生和病人使用寻找医疗信息,Bhayana博士指出。

放射学委员会考试来评估它的性能问题和探索的优势和局限性,Bhayana博士和他的同事们第一次测试ChatGPT基于gpt - 3.5,目前最常用的版本。研究人员使用了150多项选择题问题设计风格与内容和难度的加拿大皇家学院和美国放射学考试委员会。

的问题不包括图像和被问题类型分组来洞察性能:低阶(回忆知识,基本了解)和高阶(应用、分析、综合)的思考。高阶思维问题是进一步subclassified类型(描述影像学表现、临床管理、计算和分类、疾病协会)。

ChatGPT是评估整体的性能和问题类型和主题。语言反应的信心也被评估。

研究人员发现ChatGPT基于gpt - 3.5回答问题正确(104 150)的69%,接近70%的及格分数由加拿大皇家学院使用。模型要求低阶思维问题表现相对较好(61)84%,51,但是纠结的问题涉及高阶思维(89年60%,53)。更具体地说,它在高阶问题涉及的描述成像结果(61%,28 46),计算和分类(8)25%,2,和应用程序的概念(30%,3 10)。对高阶思维的表现不佳的问题缺乏有关radiology-specific并不令人惊讶。

GPT-4发布2023年3月在有限的形式支付用户,特别是声称对gpt - 3.5改进先进的推理能力。

在后续研究中,GPT-4回答81%(121 150)同样的问题正确,优于gpt - 3.5,超过阈值的70%。GPT-4执行比gpt - 3.5(81%)高阶思维问题,更具体地说涉及的描述影像学表现(85%)和应用程序的概念(90%)。

研究结果表明GPT-4声称改善了先进的推理能力转化为在放射学背景下增强性能。他们还建议改善上下文的理解radiology-specific术语,包括成像描述,使未来的下游应用程序的关键。

“我们的研究表明一个令人印象深刻的改善性能的ChatGPT放射学在短时间内突出的增长潜力大的语言模型在这种背景下,“Bhayana博士说。

GPT-4没有改善低阶思维问题(80% vs 84%),回答12错误gpt - 3.5回答正确,提高其可靠性信息收集相关的问题。

“我们最初惊讶ChatGPT准确、自信的放射学一些具有挑战性的问题的答案,然后同样惊讶的一些非常不合逻辑的和不准确的断言,“Bhayana博士说。“当然,鉴于这些模型是如何工作的,不准确的反应不应该特别令人惊讶。”

ChatGPT危险的倾向产生不准确的反应,称为幻觉,在GPT-4那么频繁,但仍然限制可用性目前在医学教育和实践。

这两项研究表明,ChatGPT使用一贯自信的语言,即使不正确的。这是特别危险的,如果仅仅依赖于信息,Bhayana博士指出,特别对新手来说,可能不承认相信错误的反应是不准确的。

“对我来说,这是它的最大限制。目前,ChatGPT最好用于火花的想法,帮助启动医学写作过程和数据汇总。如果用于快速召回信息,它总是需要核查事实,“Bhayana博士说。

引用克里希纳:Bhayana R, S, Bleakney RR。性能的ChatGPT放射式检查:洞察当前的优势和局限性。放射学。5月16日在线发表2023:230582。doi:10.1148 / radiol.230582