引用格式：

袁翔， 程塨， 李戈， 戴威， 尹文昕， 冯瑛超， 姚西文， 黄钟泠， 孙显， 韩军伟. 2023. 遥感影像小目标检测研究进展. 中国图象图形学报， 28(06):1662-1684

Yuan Xiang， Cheng Gong， Li Ge， Dai Wei， Yin Wenxin， Feng Yingchao， Yao Xiwen， Huang Zhongling， Sun Xian， Han Junwei. 2023. Progress in small object detection for remote sensing images. Journal of Image and Graphics， 28(06):1662-1684

DOI：10.11834/jig.221202

专委会：中国图象图形学学会遥感图像专业委员会

➪全文链接：

http://www.cjig.cn/jig/ch/reader/view_abstract.aspx?file_no=221202&flag=1

问题定义：遥感影像小目标检测，是专注于检测遥感 影像中尺寸有限目标的一项基本视觉任务。具体说来，现有的光学遥感图像小目标检测数据集中往往采用面积定义，例如SODA-A中将面积≤1024像素的实例视为小目标，SAR图像与红外图像则常采用目标与图像的相对面积比来判断是否属于小目标。

遥感影像小目标检测主要挑战：本文将其归纳为3个方面，即特征表示瓶颈、前背景混淆和回归分支敏感， 如图1所示。

光学遥感图像小目标检测算法：得益于通用目标检测任务的迅速发展，光学遥感图像小目标检测近年来涌现出一批优秀工作。这些方法往往以在通用目标检测领域大放异彩的检测算法作为基础模型。根据算法采用技术的主要特点，可概括为5类，即基于数据扩充的方法、基于特征融合的方法、基于超分辨的方法、基于背景建模的方法和基于优化训练策略的方法。整体分类如图2所示。

SAR图像小目标检测算法：随着SAR成像技术的不断发展，高分辨率SAR图像的数据积累与日俱增，数据驱动的深度学习领域涌现出一批代表性工作。这些方法往往以通用目标检测算法为基础，结合小目标的表征特性与SAR成像机理优化网络设计，从而完成对SAR遥感图像中的小目标的检测。根据其优化的机理与设计技术的区别，可以概括为5类，即基于数据扩充增强的方法、基于多尺度特征融合的方法、基于注意力特征感知的方法、基于半监督学习的方法和基于雷达散射机理的方法。整体的分类图如图3所示。

红外图像小目标检测算法：随着红外成像技术不断发展，结合深度学习的红外图像小目标检测方法屡见不鲜。这些方法往往以通用目标检测算法为基础，结合红外小目标的特点优化网络设计，从而完成对红外图像中小目标的检测。根据其优化手段与设计方法的区别，可概括为4类，即基于超分辨率的方法、基于背景噪声抑制的方法、基于注意力机制的方法和基于多尺度感知的方法。整体分类如图4所示。

本文从3种小目标检测任务出发，介绍与之对应的3种类型的公开数据集，并选取领域内具有代表性的数据集对主流算法进行性能评估和分析，以期为后续的算法设计提供参考。

光学遥感图像：

SAR图像：

红外图像：

智慧交通：5G和基于视觉的智能感知技术的飞速发展，使得遍布大街小巷的摄像头从以往单一的视频捕获设备变为具备一定信息处理能力的“智慧之眼”。同时，高度可变且部署便捷的无人机也从另一 个视角为城市交通提供了辅助决策信息，为智慧交通构建提供支撑。但是，由于目标尺寸存在差异，实例之间的相互遮挡以及拍摄距离增加带来的尺度衰减，场景内大量小目标的精确感知成为构建智能交 通监控系统不可或缺的一部分，这也催生了基于小目标检测的交通场景智能感知系统，通过提供场景内的交通信息，辅助城市交通管理决策。此外，基于边缘设备开发可以实时运行的小目标检测模型，构建基于监控设备的交通状态实时分析系统也是一个热点应用方向。 

港口目标检测：SAR采用的成像波长较长，可以绕过云层中的粒子进行传播，足以应对全球复杂多变的气候条件， 在海岛和海边等常年阴雨、云层笼罩的恶劣环境下具有突出作用。其中港口船舶目标检测是SAR的典型应用方向。在实际应用中，港口船舶目标检测过程主要分为数据处理、发现目标和鉴别真伪。通过模糊去除、不同的量化方式等，提高不同目标之间的特征区分度。不同船舶目标的尺寸变化较大、停靠角度任意以及密集排列，加之SAR本身特性的问题，目标之间易发生重叠、遮掩和融合等，目前主要基于斜框的目标检测方法来发现目标。港口周边具有很多与船舶散射强度相似并且几何形状特征相同的目标，如船厂码头、近岸岛礁和厂房设施等，需要检测器具有较强的分辨能力，能精准地将目标与非相关目标进行区分。

空中精确制导：相比于可见光系统和雷达系统，红外系统具有全天时全天候工作、穿透性强、作用距离较远、隐蔽性高以及可识别伪装等许多突出优点。因此，红外图像小目标检测常应用于空中精确制导。采用先进的图像信息处理技术，能在复杂的战场环境和背景干扰下，对目标进行自动识别，并自动选择命中点，提高毁伤效果。红外制导技术的一个分支是成像制导技术，其利用红外探测目标及背景的红外辐射如实地显示出目标及其背景的“热”图像，并对目标图像进行捕获和跟踪，引导武器攻击目标。QN-202是我国研制的一款便携式红外成像制导微型战术导弹，配有红外成像引导头，采用红外成像制导系统，能够自动搜索和跟踪目标，动力系统为两个固体火箭发动机，成本低廉。导弹还采用了图像识别技术，当目标锁定按钮启动后，导弹会记住目标图像，飞行中不断修正弹道，直至命中目标。

海上移动目标跟踪：地球海洋覆盖面积大，采用成像卫星是监测海 洋状态的手段之一。其中，海上移动目标跟踪是重要的研究方向，在民用与军事领域中具有广泛的应用。由于海洋天气变化复杂、数据样本稀少等问题，单一模态对目标精准检测识别具有很大难度，利用多模态遥感图像解译手段具有很大的应用前景。海上目标相对海洋背景极度稀疏，目标捕获难度大，一般采用低分辨率宽幅成像手段，目标特征不显著，目标在不同模式影像上的特征具有互补性和差异 性。因此，实际应用中可利用不同模态之间的数据对目标进行建模，其方法主要分为多模态对齐、多源融合以及多模态数据表示等，在分辨率、光谱性等多个方面得到增强，以构建目标的整体特征，提高目标的检测能力。

深度学习的发展以及专用于小目标检测的开源数据集为遥感图像小目标检测带来了曙光，但相比通用目标检测任务中的大中尺寸目标的检测精度， 小目标仍然难以望其项背，极大制约了检测算法的实际落地。基于已有研究和相关实验分析，展望遥感影像小目标检测任务，潜在的几个未来发展方向如下：

1）适用于小目标相关下游任务的特征提取网络。众所周知，特征表示的良好与否直接影响着后续的任务精度。现有小目标检测算法均利用在通用目标检测任务上大放异彩的主干网络如ResNet进行特征提取，这些网络通过池化等下采样操作减少空间维度冗余，却不可避免地造成小目标的信息丢失，而这种丢失很难通过后续操作复原。因此，设计有效的特征提取网络对于小目标相关任务至关重要。

2）面向遥感影像小目标检测的大规模数据集。当前，无论是自然图像还是遥感图像小目标检测领域，性能优异的算法几乎都依赖于深度学习。如前所述，深度学习算法在训练时需要“喂入”大量的标注数据，而遥感影像小目标检测领域尚缺乏拥有良好标注的大规模数据集，尤其是对于 SAR 图像和红外图像这两种常用于军事领域侦察的数据，这在很大程度上制约着该领域的进一步发展。

3）多模态遥感数据协同的小目标检测算法。小目标算法性能羸弱的根本原因在于可用信息极少，如果能够丰富信息来源，就能在一定程度上缓解模型由于缺乏判别性信息无法准确决策的问题。具体到遥感影像，随着星座组网的进行和卫星多种载荷的搭配，不同模式的卫星影像在时间密度和空间密度上显著提升， 通过不同模态数据之间的互补及协同应用，有效利用各模态之间的信息进行优势互补，克服不同模态之间在时间和空间上的差异和信息不足短板，开发基于多模态数据的遥感影像小目标检测算法是未来发展的一个重要趋势。

4）更合理灵活的性能评估标准。目前的小目标检测评价体系大多沿用通用目标检测领域的评估指标，并不适用于小目标检测任务。设计更加灵活且合理的小目标检测评价标准， 不仅能进一步优化模型训练，也能准确反映各算法的真实性能，引导领域的良性发展。

袁翔，博士研究生，主要研究方向为目标检测。

E-mail: shaunyuan@mail.nwpu.edu.cn

程塨，通信作者，教授，主要研究方向为光学遥感图像智能解译。

E-mail: gcheng@nwpu.edu.cn

韩军伟，教授，主要研究方向为人工智能、模式识别、类脑计算、遥感影像解译。

E-mail: junweihan2010@gmail.com

李戈，硕士研究生，主要研究方向为红外图像目标检测。

E-mail: 2021262521@mail.nwpu.edu.cn

戴威，助理研究员，主要研究方向为遥感目标要素智能分类识别。

E-mail: daiwei@aircas.ac.cn

尹文昕，助理研究员，主要研究方向为遥感目标要素智能分类识别。

E-mail: yinwenxin16@mails.ucas.ac.cn

冯瑛超，助理研究员，主要研究方向为遥感图像多要素信息并行提取。

E-mail: fengyingchao17@mails.ucas.edu.cn

姚西文，副研究员，主要研究方向为计算机视觉和遥感图像处理。

E-mail: yaoxiwen@nwpu.edu.cn

黄钟泠，副教授，主要研究方向为SAR图像解译、深度学习和可解释人工智能。

E-mail: huangzhongling@nwpu.edu.cn

孙显，研究员，主要研究方向为遥感大数据智能解译。

E-mail: sunxian@aircas.ac.cn

中国图象图形学学会遥感图像专委会于2017年7月获批成立，现支持单位为中国科学院空天信息创新研究院。专业委员会的成立能够融合图象图形和遥感领域的优势，促进科学家、企业家和行业用户的交流合作，是产业发展和应用推广的迫切需求。专业委员会积极开展系列学术交流活动，旨在借助图象图形领域的前沿技术和方法，推动遥感图像处理与分析、遥感大数据挖掘等基础理论和高新技术研究，促进学科技术的发展和在资源环境、交通、测绘、减灾等国民经济领域的推广应用。