分析印度杂志
现在读
谷歌支持JAX,引入联邦模拟的开源库
分析印度杂志

谷歌支持JAX,引入联邦模拟的开源库

  • FedJAX类似于学术论文中用来描述新算法的伪代码。
谷歌支持JAX,引入联邦模拟的开源库

随着人们对隐私和安全的担忧,联合学习已经成为其中之一增长最快的地区在研究中,来自苹果谷歌和脸谱网等等,所有人现在都在寻找方法,在固有带宽有限且连通性低的边缘设备上训练各种各样的深度学习模型。

最近,谷歌的研究人员推出了FedJAX,这是一个基于jax的开源库,用于联邦学习模拟,专注于研究中的易用性。这个新的库旨在使开发和评估联邦算法更快,更容易进行研究。此外,它还可以作为简单的构建块来实现联邦算法、预打包数据集、模型,仿真速度更快。

注册AWS数据分析会议>>

在上查看FedJAX的源代码GitHub,连同教程笔记本例子. 另外,请查看前的研究工作在联合学习领域在这里

以下是FedJAX的一些亮点

  • FedJAX类似于伪码用于描述学术论文中的新算法,易于入门。
  • 虽然FedJAX为联邦学习提供了构建块,但用户可以用NumPy和JAX,同时保持整体培训的合理速度。

数据集和模型

目前,常用的数据集和模型种类繁多联合学习研究,包括图像识别、语言建模等。越来越多的数据集和模型被直接使用费扎克斯.因此,无需从头开始编写预处理的数据集和模型。谷歌的研究人员说,这鼓励了各种联邦算法之间的有效比较,并加速了新算法的发展。

目前,FedJAX附带了以下数据集和示例模型,即EMNIST-62(字符识别任务),莎士比亚(下一个角色预测任务)堆栈溢出(下一个单词预测任务)。

另外,费扎克斯提供用于创建可与库的其余部分一起使用的新数据集和模型的工具。它带有的标准实现联合平均以及其他用于在分散示例上训练共享模型的联合算法,如自适应联合优化程序,不可知论者联合平均Mime。因此,更容易与现有算法和模型进行比较和评估。

结果

谷歌研究人员对FedJAX的标准实现进行了基准测试自适应联邦平均在两项任务上–图像识别任务联合EMNSIT-62数据设置和堆栈溢出数据集的单词预测任务。

虽然联邦EMNSIT-62是一个较小的数据集,由3400个用户及其编写样本组成,但堆栈溢出的数据集更大,由成百上千用户的Stack Overflow论坛上的数百万问答组成。

此外,研究人员还测量了各种专门用于机器学习的硬件的性能。例如,对于联邦EMNIST-62,他们在GPU (NVIDIA V100)和TPU (1 TensorCore)加速器上训练了一个模型,每轮50个客户端,共1500轮。Stack Overflow使用jax在GPU (NVIDIA V100)上训练1500轮,每轮50个客户端。jit, TPU (1 TensorCore在谷歌TPU v2上)使用jax。jit,以及只使用jax.jit的多核TPU(谷歌TPU v2上的8 TensorCore)。

联合EMNIST-62的基准结果(来源:谷歌

另请参阅

松弛溢出的基准结果(来源:谷歌

该团队还记录了平均培训轮完成时间、对测试数据进行全面评估所花费的时间,以及包括培训和全面评估在内的总体执行时间。此外,他们说,使用标准超参数和TPUs,联邦EMNIST-62的完整实验只需几分钟,Stack Overflow则需要大约一个小时。下图显示了随着每轮客户数量的增加,堆栈溢出平均培训轮数:

(来源:谷歌

下一步是什么?

谷歌的研究人员表示,他们希望FedJAX将促进更多的调查和对谷歌的兴趣联合学习在未来。谷歌的研究人员说:“我们计划继续扩大现有的算法、聚合机制、数据集和模型的收集。”

你怎么认为?

加入我们的Discord服务器。加入一个有吸引力的在线社区。加入这里


订阅我们的通讯

通过分享你的电子邮件获得最新的更新和相关的优惠。

188BET网页

滚动到顶部
Baidu