农业生产是民生之本、生存之基，农业作为国家的支柱性产业，支撑着国民经济的蓬勃发展。及时准确的获取大范围作物空间分布信息对于维护国家粮食安全、保障农业经营管理以及制定农业政策等具有重要意义。相比较于传统的田间作物普查，遥感提供了一种更加有效的方式在大范围地区快速绘制作物类型分布。特别随着遥感数据的时空分辨率不断增加，目前其已经成为作物识别及制图的主要方法。 为了捕捉作物的时空动态特征，以前的作物制图研究多使用长时序光学遥感数据，如Landsat 8、MODIS和Sentinel-2等。然而，由于光学传感器容易受到云、雨、光照等因素的影响，造成了可用数据的大量缺失，对于精确捕获作物的生长周期和监测农作物状况带来了很大的挑战。作为补充，SAR卫星可以在低衰减情况下穿透云层，并保持稳定的时间重访频率。与此同时，SAR的后向散射信号在很大程度上受到植被结构和地面条件的影响，为利用SAR时间序列数据进行作物种类绘图提供了机遇。不可否认的是，SAR数据本身包含大量的噪声，这些噪声是由后向散射信号的不规则振幅产生的，尤其是在山坡和阴影处，这对准确绘制作物田块边界带来了巨大的挑战。然而，光学图像可以捕捉到田块边界和内部空间纹理信息。因此，如何克服SAR和光学传感器的固有缺陷，有效结合两者的数据优势对于精细作物制图来说至关重要。同时，目前针对遥感时间序列进行作物制图深度学习框架大多专注于时间特征的探索，而没有考虑不同作物类型的空间演变模式，并且作物真实样本的稀缺极大的限制了现有的作物识别模型的性能。为此我们提出了一个多分支自学习作物分类深度学习框架（MSViT），通过结合自监督对比学习以及多源时序遥感时空特征深度融合来实现在少样本下的作物精准识别及制图，模型详细架构如图1所示。 图1.所提出的模型整体框架，该模型由三部分组成，(a) 样本生成与数据增强模块，(b) 多分支的时空特征提取器，其中上半部分是用于提取作物样本空间特征模块，而下半部分是时间特征提取模块，(c) 特征权重提取和分类模块。 为了探究实验方案及模型的有效性，我们在美国选取了两块约40km×40km的范围作为研究的试验区，并且与目前作物制图中常用的深度学习模型进行了对比。其中实验数据涉及欧空局的S1（后向散射与极化分解数据）与S2时序数据，美国的CDL农田分类数据，最终得到的物候制图结果为图3与图4所示。 图2 自监督对比学习计算过程以及损失函数计算。 图3 针对研究区1 的作物制图结果。其中分别代表：(a) 2DCNN (b) LSTM (c) CNN-Att (d) LSTM-Att (e) C-LSTM (f) ViT (g) H-VIT (h) MSViT。 图4 针对研究区2的作物制图结果。 实验结果表明，我们所提出的MSViT模型在作物识别准确性方面优于其他对比方法。同时为了进一步分析MSViT模型的分类性能，论文探索了模型在时间和空间上识别作物类型时所关注的重点区域，并分析了被误分类样本的可能原因。如图5所示。 图5 空间维度特征贡献可视化评估结果，上部代表NDVI的伪彩色显示，而下部表示空间特征的重要性掩膜。 图中更亮的色调区域表示模型对它们关注更多。从五种作物类型的视觉注意力地图可以看到，对于四种不同的作物类型（玉米、棉花、稻米和大豆），模型的关注区域主要分布在中心像素周围，并且它们周围没有明显的长距离依赖迹象。但是，对于湿地和其他类型，模型的关注权重的高值点分布在各处，没有明确的关注中心。考虑到研究区内湿地和其他类型的分布小且离散，它们相应的斑块样本的内部图像像素更为复杂，可能包含多种其他作物类型。这直接影响了模型提取空间域样本中包含的纹理特征信息的能力。 上述研究成果发表在遥感领域国际权威杂志《Computers and Electronics in Agriculture》: Li, Kaiyuan, et al. "Multi-branch self-learning Vision Transformer (MSViT) for crop type mapping with Optical-SAR time-series." Computers and Electronics in Agriculture 203 (2022): 107497. (IF=8.3，JCR一区，中科院一区top)。 全文链接：https://doi.org/10.1016/j.compag.2022.107497.
