学术打假,AI是好手
人工智能(AI)是人类进入信息文明时代的标配之一。2019年,在美国纽约大学现代人工智能研究所举办的第四届年度AI Now研讨会上,AI科学家总结了2019年的AI五大主题和内容:面部和情感识别;从“AI偏见”到公正运动;城市、监控、边境;劳动力、工人组织与AI;人工智能对气候的影响。其实,对于监控而言,AI不仅能监控各种不法行为并打击犯罪,它还有一种重要功能—参与学术打假。
2019年11月29日,首都医科大学校长饶毅,写信给国家自然科学基金委员会(NSFC)主任李静海,对中国几所高校和科研院所的教授和研究员论文造假进行举报。在此之前,美国斯坦福大学博士伊丽莎白·比克在国外学术交流在线平台PubPeer上,质疑南开大学校长的多篇论文存在图像造假问题。学术不端行为是全球学术界和社会的一颗毒瘤,要清除这颗毒瘤需要各界共同行动并采取各种有效手段。目前,学术打假之路充满崎岖和风险,除了各国的法律和行政规定无法统一,且处罚轻重不一,对造假者形成不了有效阻遏外,还由于打假手段的技术局限,对学术造假的打击非常有限。
, http://www.100md.com
对于学术不端行为,除了在法律和行政规定上对造假进行更严厉的惩处,让造假的成本大得足以震慑造假者外,还需要在打假的技术上有所作为,如让AI参与学术打假,在事前进行论文和科研资金的审核并协助事后的查处,建立起一个全面、立体的“学术高压线”,或许能有效减少学术不端行为。
人工打假当然是最重要的学术监管,但是,人工打假也面临以下问题:一是效率较低;二是打假者会受到报复,可能会遇到人身安全问题。伊丽莎白·比克的打假就面临这样的问题。2016年,比克与另外两位美国学者费雷克·方和阿图罗·卡萨德沃尔组成了打假团队,审阅了自1995年以来在40种国际期刊上发表的2万多篇带图生物医学论文,其中有700多篇(约3.8%)涉嫌图像复用或造假。比克以实名方式举报或在网站上公布有问题的论文后,遭到了威胁。有些论文的作者在网上公布比克的家庭住址;有些被揭露有问题的论文作者会对打假者的雇主和资助者进行“地毯式轰炸”,不断发邮件,以恐吓和劝阻打假者进行下一步的打假;有些有问题的论文作者还会对打假者提起诉讼。在实际打假中,比克意识到,有些造假手段高超,难以识别,因此特别希望有精确识别功能的AI软件给予帮助,以获得明确答案。如果用AI图片识别软件打假,效率更高,效果会更好。如果AI鉴定出造假,再结合人工鉴定确认,就可以AI的鉴定为准,使得造假者无法迁怒于他人。
, 百拇医药
其实,在饶毅提交举报信之前,NSFC就考虑到采用AI来进行评审和监控学术不端行为,尤其是在科研基金申请上的造假。据NSFC的数据,仅在2018年就评审了22.5万份基金申请,这个数量几乎是美国国家科学基金会申请量的6倍,而且中国的基金申请数量还在不断增加。在过去5年里,NSFC收到的科研基金申请数量以每年约10%的速度增长,但合格的审核(稿)人又极为欠缺。因此,NSFC被迫进行创新,提出创建一个新的综合性更强、更全面的AI系统来帮助审核科研基金的申请材料。这个AI系统将利用自然语言处理技术抓取在线科学文献数据库和科学家的个人网页,收集申请者和潜在申请者的出版物或研究项目的详细信息,再综合人工审核,以判断申请人是否造假,是否为某一科研基金的最佳申请者。
李静海表示,希望这个工具能够减少评审人评审时的偏见,因为在中国,有不少科学家试图利用人脉关系来推动他们的项目。这一问题在全球也普遍存在。瑞士国家科学基金会发现,与基金会所推荐的审核者相比,申请人推荐的审核人认可项目的可能性更大。但是,如果用AI审定,是不会被贿赂收买的。同时,AI参与评审也很难受到造假者和利益方的威胁和报复。同样,AI系统也可以用于论文的造假和作弊审查。现在,知网的查重软件就是中国人熟悉的监控学术不端行为的AI软件,可以说这是一个相当有效的AI学术打假工具。2019年“演员翟天临学术造假”风波之后,教育部提出,将会投入800万元来抽查当年毕业的博士生和硕士生的毕业论文,其中博士论文的抽检率约为10%,硕士论文的抽检率约为5%。这其中,查重软件的标准提升了,使用该软件的检查也增多了,说明AI参与学术打假开始显露出成效。
, http://www.100md.com
世界著名学术出版商爱思唯尔也特别注重学术成果的打假,并积极研发、利用AI软件来打假。早在2017年,爱思唯尔就研发了一套名为Evise的软件来进行论文的同行评审。总部位于瑞士洛桑的洛桑前沿之声(Frontiers Media,是一个科学技术和医学领域的学术出版商)也推出了AI软件AIRA进行审稿,并希望AI审稿能提升同行评审质量。洛桑前沿之声的做法是,先用AI软件标记有潜在问题的稿件,并告知下一步人工审核需要重点审核的内容,从而使审查更加准确。实践表明,AI在抄袭检查方面比人工检查更高效。
AI参与打假和文件审查也并非仅限于科研领域,在其他领域,如法律方面也有广泛应用。LawGeex是美国一家利用AI进行合同审查的公司,2018年3月,该公司与斯坦福大学、杜克大学等院校的法学教授合作,举办了一场AI与20名律师之间的业务竞赛。竞赛内容是对5项保密协议进行审查,并确定30个法律问题。结果AI的正确率为94%,律师的平均正确率为85%,而且AI效率极高,在26秒内就能完成任务,但律师平均需要花费92分钟才能完成任务。
, 百拇医药
当然,也有人质疑AI打假的准确性,擔心其既伤害无辜,又放走了真凶。其中,最大的质疑是:AI连自然语言的处理都还无法过关,又如何能审核学术期刊和论文呢?另外,也有人怀疑AI系统会很快学习和复制人类思维和推理中根深蒂固的偏见,这对于论文审核是极其不公正的。不过,这些疑问都可以通过AI与人工审查相结合来解决,AI只是第一道关口,会大大加快和改善论文审查并发现问题,而且AI只是帮助人工查处和判断造假,最终的结论还需要人工审核来做出。因此,未来AI打假与人工打假或审核相结合,是一种必然的趋势。
从现实需要看,科研领域的打假任重道远,技术的创新和投入势在必行,也大有可为。未来,无论是对于文字、数据,还是图片的筛查软件都会有大量需求,这对于科研领域、出版商和独立期刊有重大意义。人工和AI结合,会有力地阻遏科研不端行为,对于全社会都是一件幸事。, 百拇医药(张田勘)
2019年11月29日,首都医科大学校长饶毅,写信给国家自然科学基金委员会(NSFC)主任李静海,对中国几所高校和科研院所的教授和研究员论文造假进行举报。在此之前,美国斯坦福大学博士伊丽莎白·比克在国外学术交流在线平台PubPeer上,质疑南开大学校长的多篇论文存在图像造假问题。学术不端行为是全球学术界和社会的一颗毒瘤,要清除这颗毒瘤需要各界共同行动并采取各种有效手段。目前,学术打假之路充满崎岖和风险,除了各国的法律和行政规定无法统一,且处罚轻重不一,对造假者形成不了有效阻遏外,还由于打假手段的技术局限,对学术造假的打击非常有限。
, http://www.100md.com
对于学术不端行为,除了在法律和行政规定上对造假进行更严厉的惩处,让造假的成本大得足以震慑造假者外,还需要在打假的技术上有所作为,如让AI参与学术打假,在事前进行论文和科研资金的审核并协助事后的查处,建立起一个全面、立体的“学术高压线”,或许能有效减少学术不端行为。
人工打假当然是最重要的学术监管,但是,人工打假也面临以下问题:一是效率较低;二是打假者会受到报复,可能会遇到人身安全问题。伊丽莎白·比克的打假就面临这样的问题。2016年,比克与另外两位美国学者费雷克·方和阿图罗·卡萨德沃尔组成了打假团队,审阅了自1995年以来在40种国际期刊上发表的2万多篇带图生物医学论文,其中有700多篇(约3.8%)涉嫌图像复用或造假。比克以实名方式举报或在网站上公布有问题的论文后,遭到了威胁。有些论文的作者在网上公布比克的家庭住址;有些被揭露有问题的论文作者会对打假者的雇主和资助者进行“地毯式轰炸”,不断发邮件,以恐吓和劝阻打假者进行下一步的打假;有些有问题的论文作者还会对打假者提起诉讼。在实际打假中,比克意识到,有些造假手段高超,难以识别,因此特别希望有精确识别功能的AI软件给予帮助,以获得明确答案。如果用AI图片识别软件打假,效率更高,效果会更好。如果AI鉴定出造假,再结合人工鉴定确认,就可以AI的鉴定为准,使得造假者无法迁怒于他人。
, 百拇医药
其实,在饶毅提交举报信之前,NSFC就考虑到采用AI来进行评审和监控学术不端行为,尤其是在科研基金申请上的造假。据NSFC的数据,仅在2018年就评审了22.5万份基金申请,这个数量几乎是美国国家科学基金会申请量的6倍,而且中国的基金申请数量还在不断增加。在过去5年里,NSFC收到的科研基金申请数量以每年约10%的速度增长,但合格的审核(稿)人又极为欠缺。因此,NSFC被迫进行创新,提出创建一个新的综合性更强、更全面的AI系统来帮助审核科研基金的申请材料。这个AI系统将利用自然语言处理技术抓取在线科学文献数据库和科学家的个人网页,收集申请者和潜在申请者的出版物或研究项目的详细信息,再综合人工审核,以判断申请人是否造假,是否为某一科研基金的最佳申请者。
李静海表示,希望这个工具能够减少评审人评审时的偏见,因为在中国,有不少科学家试图利用人脉关系来推动他们的项目。这一问题在全球也普遍存在。瑞士国家科学基金会发现,与基金会所推荐的审核者相比,申请人推荐的审核人认可项目的可能性更大。但是,如果用AI审定,是不会被贿赂收买的。同时,AI参与评审也很难受到造假者和利益方的威胁和报复。同样,AI系统也可以用于论文的造假和作弊审查。现在,知网的查重软件就是中国人熟悉的监控学术不端行为的AI软件,可以说这是一个相当有效的AI学术打假工具。2019年“演员翟天临学术造假”风波之后,教育部提出,将会投入800万元来抽查当年毕业的博士生和硕士生的毕业论文,其中博士论文的抽检率约为10%,硕士论文的抽检率约为5%。这其中,查重软件的标准提升了,使用该软件的检查也增多了,说明AI参与学术打假开始显露出成效。
, http://www.100md.com
世界著名学术出版商爱思唯尔也特别注重学术成果的打假,并积极研发、利用AI软件来打假。早在2017年,爱思唯尔就研发了一套名为Evise的软件来进行论文的同行评审。总部位于瑞士洛桑的洛桑前沿之声(Frontiers Media,是一个科学技术和医学领域的学术出版商)也推出了AI软件AIRA进行审稿,并希望AI审稿能提升同行评审质量。洛桑前沿之声的做法是,先用AI软件标记有潜在问题的稿件,并告知下一步人工审核需要重点审核的内容,从而使审查更加准确。实践表明,AI在抄袭检查方面比人工检查更高效。
AI参与打假和文件审查也并非仅限于科研领域,在其他领域,如法律方面也有广泛应用。LawGeex是美国一家利用AI进行合同审查的公司,2018年3月,该公司与斯坦福大学、杜克大学等院校的法学教授合作,举办了一场AI与20名律师之间的业务竞赛。竞赛内容是对5项保密协议进行审查,并确定30个法律问题。结果AI的正确率为94%,律师的平均正确率为85%,而且AI效率极高,在26秒内就能完成任务,但律师平均需要花费92分钟才能完成任务。
, 百拇医药
当然,也有人质疑AI打假的准确性,擔心其既伤害无辜,又放走了真凶。其中,最大的质疑是:AI连自然语言的处理都还无法过关,又如何能审核学术期刊和论文呢?另外,也有人怀疑AI系统会很快学习和复制人类思维和推理中根深蒂固的偏见,这对于论文审核是极其不公正的。不过,这些疑问都可以通过AI与人工审查相结合来解决,AI只是第一道关口,会大大加快和改善论文审查并发现问题,而且AI只是帮助人工查处和判断造假,最终的结论还需要人工审核来做出。因此,未来AI打假与人工打假或审核相结合,是一种必然的趋势。
从现实需要看,科研领域的打假任重道远,技术的创新和投入势在必行,也大有可为。未来,无论是对于文字、数据,还是图片的筛查软件都会有大量需求,这对于科研领域、出版商和独立期刊有重大意义。人工和AI结合,会有力地阻遏科研不端行为,对于全社会都是一件幸事。, 百拇医药(张田勘)