5月12日消息,在 Google I/O 开发者大会开幕式上,CEO桑达尔·皮查伊(Sundar Pichai)发表主题演讲,他提及为了探索自然语言处理和 AI 的其它方面,Google最近公开了新模型 Pathways Language Model(PaLM)。这是Google迄今为止研发的最大规模的模型,基于 5400 亿参数训练而成。
PaLM 在许多自然语言处理任务上都有着突破性的表现,例如从文本生成代码,回答数学问题,甚至解释一个笑话。
现在Google团队将自然语言处理大模型PaLM与一种名为“思维提示链(chain-of- thought)”的新技术结合起来时,让模型可以将需要多步解决的问题转化为一系列的中间步骤来处理。
桑达尔·皮查伊现场演示了一个案例,比如,以一个需要推理的数学问题为例。问题是:五月有多少个小时?可以看到,只采用PaLM模型并没有给出正确的答案。在“思维提示链”中,给模型输入一对“问题—答案”,同时解释了答案是如何得出的。现在,如果再问模型“五月有多少个小时”或者其它相关问题,它能给出正确答案和解答过程。
桑达尔·皮查伊表示,“思维提示链”大大提高了 PaLM 的准确性,让它在包括数学问题在内的多个推理基准测试(reasoning benchmarks)中达到了最顶级水平,在不改变模型训练方式的情况下完成了这一切。
此外,Google还公开了对话生成语言模型 LaMDA 2,这是目前Google打造的最先进的对话 AI,并同步推出了名为 AI Test Kitchen 的测试环境,以期不断优化LaMDA 2的能力。