张永军李彦胜团队在遥感大模型分布式协同学习方向取得新进展

（IF=33.2）正在线公告了武汉大学遥感新闻工程学院张永军/李彦胜熏陶团队最新评论著作。论文标题为“Unleashing the potential of remote sensing foundation models via bridging data and computility islands”（冲破数据与算力孤岛，开释遥感根源大模子潜力）。李彦胜熏陶为论文第一作家，张永军熏陶、蚂蚁集团杨铭探讨员为论文通信作家。协作家包含武汉大学、俄罗斯科学院、蚂蚁集团、上海人工智能尝试室、美邦普渡大学等邦外里著名机构学者和探讨生。

正在现时的遥感范畴，数据与算力的聚集化题目较为杰出，这受到隐私爱惜、存储限度、行业角逐以及地舆新闻安静等众方面要素的影响。为应对这一寻事，探讨团队着眼于漫衍式协同预熬炼的新形式，要点环绕遥感根源大模子的协同熬炼与推理合键打开探讨，旨正在研究何如有用整合聚集的遥感数据和漫衍式企图资源，并对协同式架构开释遥感根源大模子潜力的可行性举办了认识。正在此根源上，探讨团队号召政府数据中央、企业机构以及高校探讨团队等各方气力，正在确保隐私爱惜的条件下，合伙参预遥感根源大模子创办，并共享那时空智能办事，以构修环球配合收集，充裕盘活孤岛式的遥感数据与算力资源。

团队构修了环球首个顾及隐私爱惜的遥感根源模子漫衍式协同预熬炼框架FedSense，可能轻巧增援基于比较进修和掩码重修的自监视进修。为领会决协同预熬炼面对的遥感数据异质性与高通讯开销激发的恶性轮回寻事，团队提出了一种联邦互辅导进修步骤。正在该步骤中，办事器与客户端举办双向相互辅导，办事器端教导客户端举办正交条款下的自巩固参数更新，客户端教导办事器举办低比特通讯下的常识注入。基于FedSense，团队达成了10个参预机构正在百万量级遥感影像上展开遥感根源模子高效协同预熬炼。尝试结果注解，众个参预机构通过FedSense展开遥感根源模子的协同预熬炼，可能达成机构之间的高效协作共赢。基于FedSense协同预熬炼的遥感根源模子相较于基线步骤正在场景分类、倾向检测、语义瓦解、转移检测等8个遥感范畴类型的下逛职分数据集上，博得了明显的功能擢升。正在将通讯开销压缩至全精度传输的1/32时，FedSense还是可以维系杰出的优化功能，而且跟着参预方数目的延续增加，模子功能可能达成稳步擢升。

预测改日，团队将努力于探讨众模态遥感根源模子的安静可托众方协同预熬炼本事，反响邦度公布的《可托数据空间发达动作盘算》，增援创办可托可管、互联互通、价格共创的遥感数据空间，助力迈向地球观测通用智能。