印度分析杂志
现在阅读
谷歌AI引入了FLAN,一种具有指令微调功能的语言模型
印度分析杂志

谷歌AI引入了FLAN,一种具有指令微调功能的语言模型

免费数据工程研讨会>>

谷歌人工智能最近推出了新的自然语言处理(NLP)模型,称为微调语言网(FLAN),该模型探索了一种称为指令微调(instruction Fine-tuning,简称指令微调)的简单技术。

通常,微调需要大量的训练示例,以及每个下游任务的存储模型权重,这并不总是实用的,尤其是对于大型模型。FLAN的指令微调技术涉及到对模型进行微调,这不是为了解决特定任务,而是为了使其更易于解决NLP任务特别地。

法兰根据大量不同的指令进行微调,使用简单直观的任务描述,如“将此电影评论分类为正面或负面”,或“将此句子翻译为丹麦语”。创建数据集从零开始对模型进行微调的指令将占用大量资源。相反,它利用模板将现有数据集转换为教学格式。

图片来源:谷歌人工智能

FLAN证明,通过在一组指令上训练一个模型,它不仅能够很好地解决在过程中看到的指令类型训练但在一般情况下,他擅长于遵循指示。

图片来源:谷歌人工智能

谷歌人工智能使用已建立的基准数据集比较FLAN与现有模型的性能。还评估了FLAN的性能表演在测试过程中没有看到来自该数据集的任何示例训练. 评估结果表明,除四项任务外,25项任务的FLAN都比零射击提示有所提高。结果表明,该方法优于零炮法GPT-3在25项任务中的20项任务中,甚至比在某些任务中的少数几项任务中的GPT-3都要好。

另见

图片来源:谷歌人工智能

研究还发现,在较小的尺度下,FLAN技术实际上会降低性能,只有在较大的尺度下,模型才能从训练数据中的指令推广到不可见的任务。这可能是因为太小的模型没有足够的参数来执行大量任务。

谷歌人工智能(GoogleAI)希望,提出的方法将有助于激发对能够执行看不见的任务并从极少数据中学习的模型的更多研究。


加入我们的Discord服务器。成为一个有吸引力的在线社区的一部分。加入这里.


订阅我们的时事通讯

通过共享电子邮件获取最新更新和相关优惠。

188BET网页

滚动到顶部
Baidu