作者：赵文智、彭瑞、王桥、程昌秀、William J. Emery、张立强
开放场景下，遥感数据受到大气条件、传感器和太阳高度角等因素的影响，持续更新的遥感数据流上下游数据之间不符合独立同分布的条件，导致模型持续学习过程中因为参数更新不可避免地遗忘历史任务中的重要信息，进而发生了“灾难性遗忘”问题。为了实现跨场景高光谱数据集的持续分类，本文中提出了一种精炼空间-光谱深层特征以及特定类别稳定特征的持续学习方案，以缓解模型的"灾难性遗忘"。
首先，本文利用交叉熵损失作为持续学习过程中的基本损失函数，用于从新数据集中获取新的知识。其次，文中设计了基于空间特征损失和光谱特征损失来保留模型学到的空间和光谱特征的深层信息，提升跨场景特征鲁棒性。最后，引入类别损失函数，将更高层次的语义知识迁移至新阶段的模型。模型框架如图1和图2所示。
图 1 空谱蒸馏持续学习框架
图 2 基于度量学习的空-谱知识保留
为了展示不同模块对持续学习过程的影响，本文中展示了一系列不同损失函数组合的消融实验，具体结果如图3所示。图中红线代表本文使用的方法，利用了交叉熵损失、空间-光谱度量损失和类别损失，在持续学习过程中取得了较高的性能。与未使用类别损失的模型相比，本文所使用的模块组合在历史模型更新时提供了更好的结果。这是因为模型最后一层输出的预测包含了高层次和抽象的信息，这使得模型能够快速地从新的数据集中学习新的知识。此外，尽管空间和光谱特征损失为模型提供了稳健的跨场景特征，并使潜在的知识转移到新模型中，但它在快速学习新知识方面仍然受到了一定限制。对于参数惩罚项 L1 和 L2 正则化更多地显示了对关键权重的保护，而忽略了在持续学习过程中对新知识的获取。
图 3 模型持续学习过程中平均精度曲线和平均遗忘精度曲线
本文以Pavia、Indian Pines、Salinas和Houston数据集模拟持续更新的高光谱分类任务，展示了本文方法和EWC、EWC Online、LWF、SI、XdG的分类结果，其中Pavia数据集在四阶段的持续学习任务中分类可视化结果如图4所示。
图 4 本文方法与其他持续学习方法分类结果对比
上述研究成果发表在遥感领域国际权威杂志《IEEE Transactions on Geoscience and Remote Sensing》: W. Zhao, R. Peng, Q. Wang, C. Cheng, W. J. Emery and L. Zhang, "Life-Long Learning With Continual Spectral-Spatial Feature Distillation for Hyperspectral Image Classification," in IEEE Transactions on Geoscience and Remote Sensing, vol. 60, pp. 1-14, 2022, Art no. 5544214, doi: 10.1109/TGRS.2022.3222520.
全文链接：https://ieeexplore.ieee.org/abstract/document/9953987