重要研究发表 通过AI训练学习来精准预测人类的下一句话
分类:综合新闻 发布时间:2024-09-19 13:53:21

     香港理工大学杭州技术创新研究院副院长、大运河文化与旅游研究中心主任李平教授领导的香港理工大学脑语言与计算实验室团队于今年五月在国际科学期刊《Science Advances》发表了一项重要研究,为脑科学研究和人工智能模式的开发带来启发。

Professor Li Ping.jpg

     随着生成式人工智能(GenAI)革新了社会互动方式,运用深度学习算法训练GenAI的大语言模型亦受到关注。香港理工大学最近的一项研究发现,如果以人类处理语言的类似方式进行训练,大语言模型的表现就更像人类脑部去理解语言,这对脑科学研究和人工智能模式的开发带来启发。

     现有主流的大语言模型主要依赖于上下文单词预测这样单一类型的训练。这种简单的学习方式在大规模训练数据和大量模型参数的结合下,目前广泛应用于ChatGPT等人工智能产品之中,成效显著。近期研究也表明,大语言模型中的单词预测可以作为人类处理语言的认知模型。然而,人类平时理解语言时不仅只会预测下一句话,还会整合自然语言理解中的高层次信息。

图片


     香港理工大学杭州技术创新研究院副院长、大运河文化与旅游研究中心主任李平教授领导的香港理工大学脑语言与计算实验室团队,把模拟人脑评估句子连贯性的“下一句子预测”(Next Sentence Prediction, NSP)纳入模型预训练,并检验模型数据与脑活动的相关性研究最近刊登在国际科学期刊《Science Advances》


     研究发现,NSP具备强化大语言模型的能力。NSP可以用来预测前后语句怎样互相关联,与人类语义理解的神经模型非常吻合。研究团队训练了两个模型,一个具有NSP增强功能,另一个没有,两者均包含语句预测。研究团队评估从模型中提取的现象特征与人类阅读句子时的脑功能磁共振活动模式之间的匹配程度。

     与只学习单词预测的模型相比,NSP增强模型与脑数据在多个脑区显示出高度一致。研究结果同时提供了新见解,进一步了解我们大脑如何加工语义,包括右脑在理解语义中的重要作用;例如,更多右脑区域与增强模型的一致性更高。其他发现同样显示,当大语言模型纳入了NSP的优势,即基于增强模型的“模型-脑对应”分数,可以更好地预测人的阅读速度。

图片

     近期如ChatGPT的大语言模型主要通过无限扩充训练数据和模型规模来提升它们的能力。李平教授表示:“仅依靠这种无限扩充的方式存在很多局限,新进展的突破有赖于我们将大模型变得更像人脑那样,不再需要海量数据的支撑,从而提高效益。我们的研究发现,像NSP这类多样化的学习任务可以改进大语言模型的人性化水平,使其更加接近人类智慧。”

    李平教授还另外补充:“更重要的是,此项研究解释了如何利用大语言模型研究我们人类大脑加工语言的高级机制。它还可以促进人工智能和认知神经科学领域研究人员之间的互动与合作,并以此推动未来以人工智能为导向的大脑研究以及受人脑启发的人工智能研究。”


   “大语言模型的发展日新月异,它与脑科学及数字技术产业结合前景广阔。如果变得像人脑一样有更高的效率,它必将进一步引领科技发展。这对我们文化产业的发展具有重大意义与深远影响。”