ChatGPT让Nature一周发两文探讨：学术圈使用不可避免，是时候明确使用规范

　　在科技巨头为了 ChatGPT 大打出手的另一边，学术圈对于 ChatGPT 的关注也在升高。

　　一周时间内，Nature连发两篇文章探讨 ChatGPT 及生成式 AI。

　　

　　毕竟 ChatGPT 最早还是在学术圈内掀起风浪，先后有学者拿它写论文摘要、改论文。

　　Nature 为此专门颁布禁令：ChatGPT 不能当论文作者。Science 则直接禁止投稿使用 ChatGPT 生成文本。

　　但趋势已摆在眼前。

　　现在更应该做的，或许是明确 ChatGPT 对于科学界的意义以及应当处于怎样的身位。

　　正如 Nature 所言：

　　生成式 AI 及背后的技术发展如此之快，每个月都有创新出现。研究人员如何使用它们，将决定着技术和学界的未来。

　　ChatGPT 改变学术圈规则

　　在《ChatGPT：五大优先研究问题》一文中，研究人员提出：

　　无法阻止 ChatGPT 杀入学术圈，当务之急应该是研究探讨它会带来哪些潜在影响。

　　如果后续 ChatGPT 被拿来设计实验、进行同行审议、辅助出版、帮编辑决定是否要接收文章……这些应用应该注意哪些问题？现在人类需要明确哪些边界？

　　研究人员认为，有 5 个方面需要优先考虑，并解释了原因。

　　坚持人类审查

　　ChatGPT 等对话式 AI 的一大特点，就是回答内容的准确性无法保证。而且编出来的瞎话都还很自然，容易对人产生误导。

　　比如，研究人员让 ChatGPT 对一篇关于认知行为疗法（CBT）治疗焦虑等症状是否有效的论文，并进行总结概述。

　　ChatGPT 给出的回答中，存在很多事实性错误。如它说这项评估是基于46 项研究，但实际上是69 项，而且夸大了 CBT 的有效性。

　　

　　研究人员认为如果有学者使用了 ChatGPT 帮忙做研究，很可能被错误信息误导。甚至会导致学者在不知情的情况下，剽窃他人成果。

　　因此，研究人员认为在评审论文过程中，人类不能过度依赖于自动化系统，最终还是要由人类自己为科学实践负责。

　　制定问责规则

　　为了应对生成式 AI 的滥用，很多鉴别 AI 文本工具陆续诞生，它们能很好分辨出一段文字是不是人类自己写的。

　　不过，研究人员认为这种 " 军备赛 " 大可不必，真正要做的是让学术圈、出版商能更加公开透明地使用 AI 工具。

　　

　　论文作者应该明确标注哪些工作是 AI 承担的，期刊如果使用 AI 审稿，也应该公开说明。

　　尤其是目前生成式 AI 已经引发了关于专利问题的讨论，AI 生成的图像版权究竟该怎么算？

　　那么对于 AI 生成的问题，著作权应该属于为 AI 提供训练数据的人？AI 背后的制作公司？还是用 AI 写文章的学者？作者身份的问题，也需要严谨定义。

　　投资真正开放的 LLM

　　目前，几乎所有先进的对话式 AI，都是科技巨头们带来的。

　　关于 AI 工具背后算法的工作原理，很多都还不得而知。

　　这也引发了社会各界的担忧，因为巨头们的垄断行为，严重违背了科学界开放的原则。

　　这将会影响学术圈探寻对话式 AI 的缺点和底层原理，进一步影响科技的进步。

　　为了克服这种不透明性，研究人员认为当下应该优先考虑开源 AI 算法的开发和应用。比如开源大模型 BLOOM，就是由 1000 位科学家联合发起的，性能方面可以匹敌 GPT-3。

　　

　　拥抱 AI 的优点

　　虽然有很多方面需要设限，但不可否认，AI 确实能提升学术圈的效率。

　　比如一些审查工作，AI 可以快速搞定，而学者们就能更加专注于实验本身了，成果也能更快发表，从而推动整个学术圈的脚步走得更快。

　　甚至在一些创造性工作上，研究人员认为 AI 也能有用武之地。

　　1991 年的一篇开创性论文提出，人和 AI 之间形成的 " 智能伙伴关系 "，可以胜过单独人类的智力和能力。

　　这种关系能够将创新加速到无法想象的水平。但问题是，这种自动化能走多远？应该走多远？

　　因此，研究人员也呼吁，包括伦理学家在内的学者，必须就当今 AI 在知识内容生成方面的界限展开讨论，人类的创造力和原创性可能仍旧是进行创新研究必不可缺的因素。

　　

　　展开大辩论

　　鉴于当下 LLM 带来的影响，研究人员认为学界应该紧急组织一次大辩论。

　　他们呼吁，每个研究小组都应该立即开组会，讨论并亲自试试 ChatGPT。大学老师应该主动和学生讨论 ChatGPT 的使用和伦理问题。

　　在早期规则还没有明确的阶段，对于研究小组负责人来说，重要的是如何号召大家更公开透明地使用 ChatGPT，并开始形成一些规则。以及应该提醒所有研究人员，要对自己的工作负责，无论它是否由 ChatGPT 生成。

　　更进一步，研究人员认为要立即举办一个国际论坛，讨论 LLM 的研究和使用问题。

　　成员应该包括各个领域的科学家、科技公司、研究机构投资方、科学院、出版商、非政府组织以及法律和隐私方面的专家。

　　

　　Nature：ChatGPT 和 AIGC 对科学意味着什么

　　兴奋又担忧，大概是许多研究人员对于 ChatGPT 的感受。

　　发展到现在，ChatGPT 已经成为了许多学者的数字助手。

　　计算生物学家 Casey Greene 等人，用 ChatGPT 来修改论文。5 分钟，AI 就能审查完一份手稿，甚至连参考文献部分的问题也能发现。

　　来自冰岛的学者 Hafsteinn Einarsson，几乎每天都在用 ChatGPT 来帮他做 PPT、检查学生作业。

　　还有神经生物学家 Almira Osmanovic Thunstr ? m 觉得，语言大模型可以被用来帮学者们写经费申请，科学家们能节省更多时间出来。

　　

　　不过，Nature 对 ChatGPT 输出内容做出了精辟总结：

　　流畅但不准确。

　　要知道，ChatGPT 的一大缺点，就是它生成的内容不一定是真实准确的，这会影响它在学术圈的使用效果。

　　能解决吗？

　　从现在来看，答案有点扑朔迷离。

　　OpenAI 的竞争对手 Anthroic 号称解决了 ChatGPT 的一些问题，不过他们没有接受 Nature 的采访。

　　Meta 发布过一个名为 Galactica 的语言大模型，它由 4800 万篇学术论文、著作炼成，号称擅长生成学术方面内容，更懂研究问题。不过现在它的 demo 已经不开放了（代码还能用），因为用户在使用过程中发现它带有种族歧视。

　　即便是已经被调教 " 乖巧 " 的 ChatGPT，也可能会在刻意引导下输出危险言论。

　　OpenAI 让 ChatGPT 变乖的方法也很简单粗暴，就是去找非常多的人工给语料标注，有声音认为这种雇人看有毒语料的行为，也是一种剥削。

　　

　　但无论如何，ChatGPT 及生成式 AI，开启了人类新的一扇想象之门。

　　医学学者埃里克 · 托普 ( Eric Topol ) 表示，他希望未来能有包含 LLM 的人工智能，可以交叉检查学术文献中的文本和图像，从而帮助人类诊断癌症、理解疾病。当然这一切要有专家做监督。

　　他说，真没想到我们在 2023 年年初，就看到了这样的趋势。

　　而这才只是开始。

　　参考链接：

　　[ 1 ] https://www.nature.com/articles/d41586-023-00340-6

　　[ 2 ] https://www.nature.com/articles/d41586-023-00288-7