学者:大型语言模型技术快速演进 对人类诚实、有助、无害最重要
(资料图)
中新网上海4月4日电(记者 陈静)复旦大学计算机科学技术学院教授、MOSS系统负责人邱锡鹏4日对记者表示,好的语言模型需要更好地理解语言与常识。情景学习、思维链和自然指令学习是语言模型的关键技术。
邱锡鹏教授认为,大型语言模型技术的快速演进,已经给人类展现出一个通向“通用人工智能”未来的大框架,下一步最重要的是让大模型和现实世界“对齐”,保证模型对人类的可信、诚实、有助、无害至关重要。
邱锡鹏解释,情景学习,即在上下文语境中学习的能力。语言模型会在“提示词”(prompt)中附带一些例子作为“上文”输入,再预测并输出下文,这就改变了传统的学习范式,可以大幅降低下游开发成本。
思维链,指的是做大模型示例的时候不要只给答案,也要给它推导过程,语言模型学习这个推导过程,最终给出一个正确的答案。他认为,这是突破模型参数约束、实现“涌现”能力的关键技术。自然指令学习,则是让模型能直接理解人类指令,模型从指令中学习判断能力,不断“对齐”人类的真实意图。
邱锡鹏教授主持研发的MOSS系统将于4月中旬开源。他直言,该系统在推理能力和事实类知识方面还需提升。这主要是由于参数规模不足造成的,可以通过扩大模型规模来实现。这位学者指出:“首先是对语言模型基座进行架构优化,将面临输入长度、中文编码、多模态接入等几重挑战;其次是指令微调,难度远高于预训练,而让模型的回答‘对齐’人类思维习惯也非常困难;再次是能力强化。”
“在让模型自我学习、自我迭代的过程中,最重要的就是人必须参与其中,以保持机器与人类价值观、思维方式的对齐,否则就可能会离我们人类的偏好越来越远。”他指出,当语言模型向人类的价值观和思维方式对齐,并应用于真实世界,无疑将颠覆各个行业生态。
记者了解到,在由复旦大学管理学院主办的复旦科创先锋论坛上,嘉宾们聚焦“大型语言模型引发的时代变革”,就人工智能的现状和未来展开对话,进一步讨论了人类可能将要面临的时代变革。
作为从事人工智能技术产品化的业界人士,沈李斌看到的则更多是如何用AI替代掉简单重复人类劳动的问题。他介绍,目前客服机器人已经替代了不少的人工。“人类的精力就可以留做一些更积极主动的工作。”沈李斌认为,这种生成式能力将在企业里发挥非常重要的作用,提高各个流程的效率。同时,基于生产力的解放,很多企业与企业之间的上下游关系也将产生变化,大量结构性的机会正孕育其中。
对此,邱锡鹏教授认为,人类具有适应性和灵活性,更擅长的是利用AI的能力把工作做到更好。在这样的背景下,人类的思考和判断能力需要再度强化,变得更加明确。他表示,目前为止AI依然在可控范围内发展,但当它成为某种基础设施后,如何控制其能力就将变得十分关键,相关的法律法规、政府的重视、社会的认同,都将参与进整个生态中来。(完)