分析印度杂志
现在读
谷歌现在当你在像素6上打字时纠正语法
分析印度杂志

谷歌现在当你在像素6上打字时纠正语法

Sreejani Bhattacharyya
  • 谷歌已经推出了语法修正功能,将直接内置到Pixel 6的Gboard中

谷歌已经启动了一个语法修正功能,它将直接内置到Pixel 6的Gboard中。这家科技巨头表示,该功能可以在用户打字时检测并建议改正语法错误。目前,这个功能将致力于纠正英语句子,但是谷歌计划很快扩展到更多的语言。在此之前,谷歌已经通过使用文档中的神经语法修正

谷歌的人工智能最近一直在介绍使用神经网络和机器学习的不同创新。它释放了一个新方法任务关联分组(TAG)它告诉你哪些任务应该一起训练多任务的神经网络.它还推出了一个新的与众不同的产品私人聚类算法这就产生了新的代表性数据点。

关注我们谷歌新闻>>

混合架构

谷歌训练了一sequence-to-sequence神经网络获取输入的句子或句子前缀),并输出语法正确的版本。如果原始文本在语法上是正确的,则模型的输出与输入是相同的,这表明不需要修改。

这个模型用的是什么?

该模型使用混合架构用a的组合变压器编码器与一个LSTM译码器

变压器编码器它是一种基于自我注意机制的神经网络结构。虽然递归神经网络(rnn)是翻译和语言处理的常见网络结构,但它们执行多个步骤,根据彼此相距较远的单词做出决定。由于它的顺序性质,它很难利用快速计算设备。

另一方面,Transformer执行少量、常数数量的步骤,这些步骤是根据经验选择的。在每个步骤中,它应用了一个自我注意机制,直接模拟句子中所有单词之间的关系,而不管它们各自的位置。

LSTM译码器长短期记忆(LSTM)是一种具有反馈连接的循环神经网络结构,具有处理整个数据序列的能力。LSTM单元通常由一个单元、一个输入门、一个输出门和一个遗忘门组成。该算法在无分割的连接手写识别、语音识别等方面有广泛的应用。

图片:谷歌(语法错误修正(GEC)模型架构概述)

谷歌采用了共享嵌入、分解嵌入和量化等技术来解决内存和计算能力有限的问题。

减少文件大小

  • 共享的嵌入

Transformer编码器和LSTM解码器共享一些模型权重。这导致了模型文件大小的减少而不影响准确性。

该模型将一个句子分割成一个预定义标记序列,这是实现良好质量所必需的。但这增加了模型的尺寸。分解的嵌入将隐藏层的大小与词汇嵌入的大小分开。

  • 量化

谷歌执行岗位量化允许它只使用8位来存储每个32位浮点数。每个重量存储的保真度较低,但模型的质量不受影响。

艰难的蒸馏

另请参阅

谷歌需要的培训数据,形式为<原始纠正>文本对,并发现难于蒸馏生成训练数据,以更好地匹配设备上的域产量。

艰苦的蒸馏是如何进行的?

  • 谷歌从公共网络上收集了数以亿计的英语句子。
  • 使用基于云的语法模型为这些句子生成语法修正
  • 的训练数据集<原始,纠正>句子对被用来训练一个更小的设备模型,可以纠正完整的句子。

谷歌发现,基于该训练数据集构建的设备上模型产生的建议质量明显高于基于用于训练基于云模型的原始数据构建的类似大小的设备上模型。

处理前缀

即使在根据数据训练模型之前,模型也必须能够处理句子前缀。在短信应用程序中,这一点更有必要,因为用户经常省略句子的最后一个句号,并在输入完毕后立即按下发送键。谷歌使用启发式方法来解决这个问题。这意味着,如果一个给定的句子前缀可以完成,从而形成一个语法正确的句子,那么它就被认为是语法正确的,如果不是,就被认为是语法错误的。

它创建了第二个数据集,适合训练一个大型的基于云的模型,重点是句子前缀。根据前面提到的启发式方法,谷歌通过使用<原始纠正从基于云的模型的训练数据集中提取>句对,并从其中随机抽取对齐前缀。

图片:谷歌

  • 然后,它使用神经语言模型自动完成每个原始前缀到完整的句子。
  • 如果一个完整的句子语法模型在完整的句子中没有发现任何错误,这意味着至少有一种可能的方法来完成这个原始前缀而不产生任何语法错误。然后,将原始前缀正确输出<原始前缀,原始前缀>作为训练示例。别的,<原始前缀,修正后的前缀>是输出。
  • 训练数据被用来训练一个基于云的大型模型,该模型可以纠正句子前缀,然后使用该模型进行硬蒸馏,生成新的<原始,纠正>与设备上域更好匹配的句子前缀对。
  • 将新的句子前缀对与完整句子对相结合,建立设备模型的最终训练数据。它有能力纠正完整的句子和句子前缀。

图片:谷歌(设备上模型的训练数据是从基于云的模型生成的)

当用户输入时会发生什么?

当移动用户输入超过三个单词时,Gboard向设备上的语法模型发送请求。谷歌标记语法错误并提供替换建议。由于模型只输出纠正后的句子,因此需要将错误改为替换建议。
谷歌通过最小化原句和修正句来实现同步Levenshtein距离.这是将原来的句子转换为修改后的句子所需要的编辑次数。最后,该方法将插入编辑和删除编辑转换为替换编辑。

你怎么看?

订阅我们的通讯

通过分享你的电子邮件获得最新的更新和相关的优惠。
加入我们的Telegram Group。成为一个有吸引力的社区的一部分

188BET网页

滚动到顶部
Baidu