据小易智创xiaoyizc.com(不可错过的AI创业项目)观察:美国哥伦比亚大学Tow数字新闻研究中心的最新研究揭示,OpenAI的ChatGPT搜索工具在提供准确的信息方面存在显著缺陷。这项研究表明,尽管该工具被宣传为快速响应并能附带网页来源链接,但在实际应用中却暴露出严重的问题。
研究人员对20家出版商的200条引文进行了测试,其中40条来自于禁止OpenAI爬虫抓取的网站。令人震惊的是,ChatGPT在面对这些与其数据共享的出版商内容时,依然未能准确处理信息,给出了错误的答案。
具体而言,测试结果显示,ChatGPT的回答中,有153次是完全或部分错误,而只有7次明确表示无法准确回答。值得注意的是,这7次回答仅使用了诸如“看起来”“有可能”等模糊表述,或直接承认“无法找到具体文章”。
而图表显示,ChatGPT的回答中有89次错误、57次部分正确,仅有47次是完全正确的。这意味着,该工具的准确性远低于预期。测试还记录了一些令人咋舌的典型案例,例如,ChatGPT错误地将《奥兰多哨兵报》的一篇读者来信归因于《时代周刊》,以及在确认《纽约时报》一篇关于濒危鲸鱼的文章引用时,链接到了一个完全抄袭该文章的网站。
对此,OpenAI在回应中表示,在缺乏Tow Center隐蔽测试数据和方法的情况下,解决错误归因非常困难,并称此次研究并非对其产品的典型测试。OpenAI承诺将继续致力于优化搜索结果。
值得一提的是,早些时候OpenAI还与多个媒体机构建立了合作关系,收集了关于搜索功能的反馈,以期提升其服务质量。
综上所述,虽然ChatGPT具备强大的功能,但其在信息准确性方面的短板仍需进一步改进。