OpenFL 團隊很高興地宣布發布 OpenFL 1.6,它提供了多項新功能以及 API 和文件增強功能,從而支援下一波聯合學習實驗。 OpenFL 1.6 對於使用大型語言模型 (LLM) 的開發人員來說是一個遊戲規則改變者,提供了一套專門設計用於幫助他們從集中式環境過渡到聯合式環境的新功能。
OpenFL 1.6 專注於透過簡化 API 來改善開發人員體驗,並提供更多在新興場景(例如 LLM 的共同評估和聯合微調)中使用 OpenFL 的範例。這個新版本進一步展示了 OpenFL 對現代運算框架和 AI 加速器日益增長的支持,確保能夠以最高的效能和可擴展性進行聯合訓練和推理。
此版本也持續進行安全性強化工作,作為可信任聯合學習的基礎,包括修復靜態程式碼分析問題和更新第三方函式庫。為了幫助解決更高級的安全威脅,提供了用於保護 希臘手機號碼列表 聯盟免受模型中毒攻擊的程式碼範例和方法。
OpenFL 1.6 有哪些新功能?
OpenFL 1.6 充滿了更新,可以滿足聯邦學習社區不斷變化的需求,特別是法學碩士。以下是您可以在此版本中期待的內容:
聯合 LLM 微調
了解如何 使用英特爾® Transformers 擴充功能和 OpenFL 工作流程 API微調 Neuralchat-7b 。或使用 horovod 跨多個私有集群高效地培訓法學碩士。
Workflow API 增強功能
引入了實驗性 工作區匯出 功能,可用於將基於 Workflow API 的 FL 實驗轉換為 TaskRunner API 格式,以便在分散式部署中執行。 除了目前支援的 LocalRuntime之外,還為工作流程 API 的未來FederatedRuntime實作奠定了基礎 。
聯合評估
聯合評估允許透過在分散的協作者節點上本地驗證模型的效能來評估聯合學習系統中的 ML 模型,然後聚合這些指標以衡量整體有效性,而不會影響資料隱私和安全性。 OpenFL 現在已正式支援聯合評估,包括 如何使用 TaskRunner API 來使用此新功能的範例教學。
擴充的 AI 加速器支援 使用
適用於 PyTorch 的英特爾® 擴充功能開始使用 XPU(Intel® 資料中心 GPU Max 系列),包括針對 MNIST (使用工作流程 API)和 Tiny ImageNet (使用互動式API)等資料集進行訓練的範例。 透過新增 RayExecutor 作為 工作流程 API 的 LocalRuntime的後端,您將受益於 Ray 的 GPU 管理功能以及在多個節點上擴展計算的能力。透過在聚合器上進行 GPU 加速模型驗證的範例筆記本進一步說明了這一點 。
改進了落後者協作者處理
當協作者停止回應或退出聯合時,對聚合器容錯進行了改進和錯誤修復。引入基於截止計時器的策略並允許插入其他策略。此功能對於大型或地理分佈式聯盟尤其重要。