作者：温思远，赵文智 传统的监督学习方法期望测试阶段的所有样本都来自训练阶段看到的类别，导致模型无法预测未知的遥感场景，严重限制了模型在遥感领域的适用性和可扩展性。零样本学习已成为解决上述挑战的一种方案。 ZSL 不仅仅依赖于从图像场景中提取的特征，而是利用辅助信息，通常以语义嵌入的形式，例如词向量或类别属性。 为了解决零样本条件下的灾害分类问题，我们提出了一种基于知识图谱的零样本学习模型框架（KG-ZSL）。 该模型利用图像特征、和语义特征来增强未见过的灾难场景识别的能力。 KG-ZSL由三部分组成：第一部分对遥感影像和知识图谱三元数据的特征进行编码，并通过交互注意力模块将视觉编码器生成的视觉特征与知识图谱表征模型生成的语义特征结合起来。第二部分是多模态特征融合，其中交互注意力模块捕获的多模态特征逐元素与文本描述提供的特征进行相加，经过文本编码器和轻量级的域适配器，与视觉特征计算余弦相似度以获得分类结果，计算交叉熵损失函数。最后部分是零样本推理阶段，输入RS灾难场景图像并进行预测，通过预训练的KG-ZSL模型得出相应的灾害类别。 图1. KG-ZSL网络整体框架 图2. 知识图谱表征模型示意图 图3. 交互注意力模块流程图 为了验证方法的有效性，本文在构建的遥感灾害场景数据集开展了不同实验条件的对比实验和消融实验。实验结果表明，与目前先进的多模态零样本学习网络相比，本文提出的方法能够有效地识别未知的地震、火灾、洪水、滑坡等灾害类别。 图4. 对比试验分类结果 图5. 各模型混淆矩阵 上述研究成果发表在遥感领域国际权威杂志《IEEE Transactions on Geoscience and Remote Sensing》: Wen S, Zhao W, Ji F, et al. Recognizing Unknown Disaster Scenes with Knowledge Graph-based Zero-Shot Learning (KG-ZSL) Model[J]. IEEE Transactions on Geoscience and Remote Sensing, 2024. (IF=8.2，JCR一区，中科院一区)。
