传统的机器学习训练依赖于存储在数据中心等中心位置的大型数据集，其目标是获得准确的预测并生成最终能让我们受益的洞察。但是，这种方法带来了数据存储问题、隐私顾虑和处理挑战。最近，联邦学习的概念取得了关键进展，这为我们提供了一些开创性的解决方案。
!Federated-Learning-(1).png)联邦学习
联邦学习是一种在去中心化数据上训练机器学习模型的技术，其中数据分布在多个设备或节点上，例如智能手机、物联网设备、边缘设备等。在联邦学习中，我们不再集中数据并在单一位置训练模型，而是在每台设备上本地训练模型，然后将更新聚合并与中央服务器共享。
联邦学习的类型
我们可以采用多种策略来实现联邦学习。让我们简要地看一下它们。
1. 集中式联邦学习
在这里，我们使用一个中央服务器来执行算法的不同步骤。中央系统负责在训练过程开始时选择节点，然后还负责聚合我们从不同节点/设备收到的模型更新。在这里，所有选定的节点都将更新发送到此中央服务器，因此它是系统的瓶颈。这种方法可能会导致瓶颈问题。
2. 去中心化联邦学习
在去中心化联邦学习中，节点本身可以协调以获取更新的模型。这种方法有助于避免我们在集中式联邦学习中可能遇到的单服务器问题，因为在这种方法中，模型更新在互连的节点之间共享，而无需中央系统。在这里，模型的性能完全取决于我们选择哪种网络拓扑结构。
3. 异构联邦学习
这种学习涉及大量的异构客户端，例如移动设备和物联网设备。这些设备在软件或硬件配置上可能有所不同。最近，出现了一种称为 HeteroFL 的联邦学习框架，它是专门为解决具有不同计算和通信能力的异构客户端所带来的挑战而设计的。
联邦学习是如何工作的？
让我们以更详细的方式理解联邦学习，即具体的步骤。基础模型存储在中央服务器上，并且该模型的副本存储在所有设备上。每当用户输入一些信息时，就会执行以下步骤：
- 步骤 1： 特定设备将下载当前模型。
- 步骤 2： 模型将利用我们从设备获得的新数据进行改进。
- 步骤 3： 模型的变化被总结为更新并传达给云端。此通信是加密的。
- 步骤 4： 在云端，有来自多个用户的许多更新涌入。所有这些更新被聚合在一起，从而构建出最终的模型。
因此，并没有大量数据被上传到云端，而且模型是利用不同的数据进行训练的。在这个过程中，经过训练的数据驻留在我们自己的智能手机/移动设备内。
联邦学习的现实应用：谷歌键盘
- 数据收集： 谷歌键盘（Gboard）会收集数据，例如您搜索的餐厅名称，但会将其保留在您的手机上。您的个人数据永远不会离开您的设备。
- 联邦学习实战： 模型直接在您的手机上使用数据（例如您的搜索历史）进行训练。无需将您的数据发送到中央服务器，从而保持其私密性。
- 模型更新： 在本地训练后，模型的更新会以加密形式发送到中央服务器。服务器结合来自不同设备的更新来改进模型。
- 更好的建议： 随着收集的更新越来越多，模型在提供建议方面会变得更好，例如根据您的习惯提供更准确的餐厅名称或打字预测。
- 隐私与效率： 您的数据保持私密，只有模型更新被共享。这有助于节省带宽并使一切运行更高效。
联邦学习的优势
- 降低功耗： 数据尺寸减少意味着计算时间减少，从而降低功耗。
- 保证隐私： 数据保留在设备上，在不损失训练的情况下维护隐私。
- 不影响设备性能： 仅在设备空闲或充电状态下进行训练，因此不会影响性能。
- 可扩展性： 可跨多个设备扩展大型分布式数据集。
- 更好的用户体验： 由于无需上传大量原始数据，应用响应速度更快，用户在使用相关服务时能感受到更流畅的体验。