北京功夫10月28日,第五期 IEEE TNSE 卓越讲座系列活动在线上成功进行。这次,我们有幸约请到普林斯顿大学 H. Vincent Poor 教授,他分享了在无线网络边缘部署散布式机械进建的动机,萦绕联国进建和去中心化进建介绍了散布式机械进建的设备调度和隐衷;さ确较虻挠泄亟,并给出未来钻研方向。
本次讲座由 Z6官网 副院长兼群体智能中心主任、香港中文大学(丽江)协理副校长、校长讲座教授、理工学院副院长、IEEE TNSE 主编黄建伟教授担任执行主席和主持人。
随着可用数据的增长以及设备算力的突破,近年来机械进建进入飞速发展期。传统的机械进建步骤在数据中心或云端网络各个设备产生的数据,并部署中心式算法进行模型训练。然而,在自动驾驶和健康医疗等新兴领域,由于数据通常在边缘侧天生,且网络上行链路容量受限,中心式机械进建面对高传输时延和数据隐衷泄露等挑战。在无线网络边缘部署散布式机械进建可在肯定水平上解决因数据回传到云端而带来的延长和隐衷问题,因而让机械进建更靠近网络边缘成为一种趋向。
Poor 教授分享无线网络边缘散布式进建中联国进建以及去中心化进建的钻研成就。为了提升联国进建在无线网络中的训练效能,Poor 教授及其团队首先分析联国进建在随机调度和循环调度等战术下的收敛率,并结合信息春秋设计调度战术,通过最幼化模型参数信息春秋促使设备实时更新信息。接着,针春联国进建中的隐衷问题,利用差分隐衷对聚合前的模型加噪,通过节造隐衷预算来衡量隐衷性和模型正确性,并验证基于差分隐衷的联国进建算法收敛性。最后,针对散布式进建易于陷入部门最优的问题,提出协同训练步骤来传递本地进建经验,进而保障算法收敛至松弛解。
问答环节,Poor 教授的杰出汇报也引发了?家的思虑和热烈会商。例如,将差分隐衷引入到联国进建所面对的重要挑战是什么,还有其他更合用于联国进建的隐衷;げ街杪?对此,Poor 教授暗示隐衷性和进建机能的衡量是一大挑战,利用密码学步骤;ちǖ氖菀衷是一个可行的方向。借助同态加密可在无需解密的前提下进行模型聚合,但是还需进一步解决加密推算价值大的问题。此表,引入区块链进行隐衷;ひ彩歉昧煊虻氖⒖翁。
视频回首:https://www.bilibili.com/video/BV1xP411w7ma/
