光学遥感图像目标检测算法综述（一）

原文pdf下载：下载链接
本文对光学遥感图像中通用目标检测方法进行全面、细致的梳理, 既包括早期基于手工设计特征的方法, 也包括当前深度学习的方法, 同时重点对基于深度学习的方法及其针对遥感图像特点的改进进行更为精细的梳理, 此外还额外评估各个改进方法的性能定量改善, 并根据评估结果指出现存的问题和未来的发展方向.

概要

定义：光学遥感图像目标检测是指利用特定的算法从图像中搜索并标记出感兴趣的目标, 例如飞机、坦克、船只、车辆等.

早期基于手工设计特征的方式

（1）流程：提取候选区域 => 人工设计特征 => 分类器分类

（2）缺点：需要设置大量的滑动 窗口, 产生大量的冗余计算, 时间复杂度高，特征表达能力弱、 鲁棒性差、适应范围小。

（3） 优点：可解释性较强
(4) 区别：
1.人工设计的特征提取方式通常是通过手动选择、设计和提取具有代表性的特征，然后将这些特征输入到传统的机器学习模型（如SVM，随机森林等）中进行分类或回归等任务。这种方法需要大量的领域知识和经验，并且通常对于不同的应用场景需要重新设计和调整特征提取方法，因此比较费时费力。
2.基于深度学习的目标检测通常采用卷积神经网络（CNN）来端到端地学习特征表示和目标检测任务。深度学习可以通过大规模的数据和自适应的优化算法来学习具有代表性的特征，从而避免了手动特征提取的繁琐过程。此外，深度学习模型可以通过修改网络结构来适应不同的应用场景，同时也具有很强的通用性。

论文	内容
[1]王彦情, 马雷, 田原. 光学遥感图像舰船目标检测与识别综述. 自动化学报, 2011, 37(9): 1029−1039	主要针对海上特定目标 (舰船) 检测进行总结梳理
[2] Cheng G, Han J W. A survey on object detection in optical re- mote sensing images. ISPRS Journal of Photogrammetry and Remote Sensing, 2016, 117: 11−28	总结了现阶段遥感图像通用目标检测方法
[3]刘小波, 刘鹏, 蔡之华, 乔禹霖, 王凌, 汪敏. 基于深度学习的光 学遥感图像目标检测研究进展. 自动化学报, DOI: 10.16383/ j.aas.c190455	专门梳理了基于深度学习的光学遥感图像目标检测研究
[4] Li K, Wan G, Cheng G, Meng L Q, Han J W. Object detec- tion in optical remote sensing images: A survey and a new benchmark. ISPRS Journal of Photogrammetry and Remote Sensing, 2020, 159: 296−307	专门梳理了基于深度学习的光学遥感图像目标检测研究
[5] 张号逵, 李映, 姜晔楠. 深度学习在高光谱图像分类领域的研究现状与展望. 自动化学报, 2018, 44(6): 961−977	梳理基于深度学习的高光谱遥感图像分类方法

1.遥感图像目标检测的特点与挑战

表现不理想原因：遥感图像自身的特点为目标检测带来了较大的难度和挑战.

难点：

（1）超大图像尺寸 （2）方向变化大 （3）小目标规模大

（4）目标分布密集 （5）目标形状变化大 （6） 目标尺度变化大

（7）目标模糊 （8）背景复杂

2. 基于手工设计特征的目标检测

流程：候区域提取、特征提取、分类器设计和后处理

2.1 候选区域提取

定义：预先挑选出感兴趣目标可能出现的区域, 舍弃出现目标可能性较低的区域

目的：减少计算量

分类：基于区域先验的方法

​ 基于模板匹配的方法

​ 基于特征分类的方法

​ 基于选择性搜索的方法

​ 基于视觉显著性的方法

2.1.1 基于区域先验的方法

定义：借鉴人类对目标所在区域的先验知识, 提取目标的潜在区域

​ （用一些已经知道的其他信息来检测，比如地理坐标定位）

应用：机场检测研究工作的主要核心思想是对机场跑道进行检测

缺点：难以应用在通用目标检测上以及其他复杂场景中

[7] Antelo J, Ambrosio G, Gonzalez J, Galindo C. Ship detection and recognitionin high-resolution satellite images. In: Proceed- ings of the 2009 IEEE International Geoscience and Remote Sensing Symposium. Cape Town, South Africa: IEEE, 2009. IV- 514-IV-517	采用主动轮廓方法完成 海面的分离, 通过构造能量函数并进行能量最小化 迭代运算,使得轮廓曲线逐渐逼近海陆分界线, 实现海陆边界精细定位, 进而完成海陆分离过程;
[8]LiuG,ZhangYS,ZhengXW,SunX,FuK,WangHQ.A new method on inshore ship detection in high-resolution satel- lite images using shape and context information. IEEE Geoscience and Remote Sensing Letters, 2014, 11(3): 617−621	在主动轮廓分割法的基础上, 同时引入水平集 方法, 完成海面的分离. 此外还有大量基于阈值分 割的方法提取海面区域
[9]储昭亮, 王庆华, 陈海林, 徐守时. 基于极小误差阈值分割的舰船 自动检测方法. 计算机工程, 2007, 33(11): 239−241	利用最大似然准则自动计算分割阈值, 将像素分为前景像素和 背景像素, 从而实现像素级别的海陆分割判定
[10]You X, Li W H. A sea-land segmentation scheme based on statistical model of sea. In: Proceedings of the 4th Internation- al Congress on Image and Signal Processing. Shanghai, China: IEEE, 2011. 1155−1159	在自动计算分割阈值的基础上, 引入大津 (OTSU) 算法进行粗分割, 找出最大连通的海面区域, 建 立海面分布模型, 进一步分割海面和陆地.
[11]Otsu N. A threshold selection method from gray-level histo- grams. IEEE Transactions on Systems, Man, and Cybernetics, 1979, 9(1): 62−66	大津 (OTSU) 算法
[12]Liu D H, He L H, Carin L. Airport detection in large aerial op- tical imagery. In: Proceedings of the 2004 IEEE International Conference on Acoustics, Speech, and Signal Processing. Montreal, Canada: IEEE, 2004. Article No. V-761	利用 Canny 边缘检测算子提取图像边缘特征, 后续使用霍夫变换检测直线段, 从而判断跑道位置, 进而而对机场位置进行定位.
[13]Tao C, Tan Y H, Cai H J, Tian J W. Airport detection from large IKONOS images using clustered SIFT keypoints and re- gion information. IEEE Geoscience and Remote Sensing Let- ters, 2011, 8(1): 128−132	改进 SIFT 特征描述子, 结合先验知识确定机场的位置
[14]YaoXW,HanJW,GuoL,BuSH,LiuZB.Acoarse-to-fine model for airport detection from remote sensing images using target-oriented visual saliency and CRF. Neurocomputing, 2015, 164: 162−172	分析了现有方法逐像素判断的缺陷, 利用霍夫变换判断是否存在潜在机场, 后续采用基于显著性 区域提取的方式对候选区域提取 SIFT 特征, 通过 分类判断目标区域位置.

2.1.2 基于模板匹配的方法

定义：对感兴趣目标建立模板库, 然后在待检图像中逐像素或者逐窗口, 根据相似度度量与模板进行匹配。

缺点：模板的设计一般存在鲁棒性差的缺陷, 难以应对复杂多变的遥感图像场景, 同时匹配的过程采用遍历的方式, 计算效率较低。

[15]Xu J, Fu K, Sun X. An invariant generalized Hough transform based method of inshore ships detection. In: Proceedings of the 2011 International Symposium on Image and Data Fusion. Tengchong, China: IEEE, 2011. 1−4	基于霍夫变换过程生成舰船样本形状库,在实际图像上采用滑动窗口方法计算各个窗口 区域与形状库特征相似性, 从而判断是否包含目标 图像.
[16]Xu J, Sun X, Zhang D B, Fu K. Automatic detection of in- shore ships in high-resolution remote sensing images using ro- bust invariant generalized Hough transform. IEEE Geoscience and Remote Sensing Letters, 2014, 11(12): 2070−2074	在形状库上进行改进, 在训练方法中引入迭代最大间隔, 使得形状模型更加鲁棒, 进一 步提升检测性能.
[17]Harvey N R, Porter R, Theiler J. Ship detection in satellite im- agery using rank-order grayscale hit-or-miss transforms. In: Proceedings of SPIE 7701, Visual Information Processing XIX.Orlando, USA: SPIE, 2010. Article No. 770102	对数据集中舰船样本进行多角度旋转, 增加模板库的多样性, 从而提升检测的泛化能力, 同时在匹配算法中, 设计了一 种灰度形态学命中算法来加速匹配过程
[18]Liu G, Sun X, Fu K, Wang H Q. Aircraft recognition in high- resolution satellite images using coarse-to-fine shape prior. IEEE Geoscience and Remote Sensing Letters, 2013, 10(3): 573−577	提出由粗到精 (Coarse to fine) 的飞机检测方法, 先 利用模板匹配找出飞机可能存在的区域, 再对每个 区域利用主成分分析(PCA)和核密度函数(Kenel SVM)进行识别, 完成整个检测过程.

2.1.3 基于特征分类的方法

定义：滑动窗口进行特征提取=>设计分类器,对滑动图像块进行快速评价=>选取得分较高的图像区域作为候选区域.

缺点：计算效率较低, 且定位精度较差。

论文	内容
[19] Zhang Z M, Warrell J, Torr P H S. Proposal generation for ob- ject detection using cascaded ranking SVMs. In: Proceedings of the Conference on Computer Vision and Pattern Recognition (CVPR 2011). Colorado Springs, USA: IEEE, 2011. 1497−1504	利用滑动窗口法在图像中生成不同大小、不同长宽比的窗口, 并提取每个窗口的视觉特征, 利用级联的支持向量机 (SVM) 对滑动窗 口进行打分, 完成候选区域的提取过程
[20] Cheng M M, Zhang Z M, Lin W Y, Torr P. BING: Binarized normed gradients for objectness estimation at 300fps. In: Pro- ceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus, USA: IEEE, 2014. 3286−3293	在Zhang上面的基础上，将窗口提取到的特征和 SVM 分类器的权重进行二值化, 从而极大地提升了算法处理速度.
[21]LiuZK,WangHZ,WengLB,YangYP.Shiprotated bounding box space for ship extraction from high-resolution op- tical satellite images with complex backgrounds. IEEE Geoscience and Remote Sensing Letters, 2016, 13(8): 1074−1078	在 BING 算法基础上, 针对舰船方向性问 题构造旋转矩形框空间, 并设计级联线性分类器模 型对空间内的候选框进行快速打分, 完成对舰船目 标潜在区域的提取过程.

2.1.4 基于选择性搜索的方法

定义：在搜索到图像中所有潜在目标, 从而进行候选区域 的提取.

优点：采用分割方式来解决目标不同尺度的问题, 减少了滑动窗口暴力搜索带来的时间消耗；面对复杂类别同时使用颜色、纹理等多种特征进行相似度度量, 泛化能力较强。

缺点：花费时间长，算法复杂度依然较高, 难以满足实时性要求.

论文	内容
[22]Uijlings J R R, Van De Sande K E A, Gevers T, Smeulders A W M. Selective search for object recognition. International Journal of Computer Vision, 2013, 104(2): 154−171（Selective Search算法论文）	首先采用基于 图 (Graph) 的分割方法，进行过分割, 生成大量初 始小区域, 之后通过计算相邻区域间的相似度, 将 最相似的两个区域进行合并, 重复上述过程直至满 足提取的候选区域预定数量。
[24]ChengG,ZhouPC,YaoXW,YaoC,ZhangYB,HanJW. Object detection in VHR optical remote sensing images via learning rotation-invariant HOG feature. In: Proceedings of the 4th International Workshop on Earth Observation and Re- mote Sensing Applications. Guangzhou, China: IEEE, 2016. 433−436	基于选择性搜索方法提取舰船的候选区域, 有效滤除了大部分背景.
[25]Cheng G, Zhou P C, Han J W. Learning rotation-invariant convolutional neural networks for object detection in VHR op- tical remote sensing images. IEEE Transactions on Geoscience and Remote Sensing, 2016, 54(12): 7405−7415	基于选择性搜索方法提取舰船的候选区域, 有效滤除了大部分背景.

2.1.5 基于视觉显著性的方法

定义：有点类似于Attention机制，参考人类视觉系统中的快速聚焦能力, 优先聚焦在视觉特征明显的显著性区域, 忽略无关背景。

频域特性：如利用傅里叶变换、余弦变换、 小波变换将空域信息映射到频域, 进而在频域空间利用频域特性完成视觉显著性的检测。

优点：在特定场景中有着不错的性能

缺点：只能应用在简单背景环境下, 且目标本身的视觉特征相对明显。作采用遍历搜索的方式, 存在冗余计算, 处理速度较慢。场景有限、无法快速处理遥感领域复杂多变的数据。

论文	内容
[26]Song Z N, Sui H G, Wang Y J. Automatic ship detection for optical satellite images based on visual attention model and LBP. In: Proceedings of the 2014 IEEE Workshop on Electron- ics, Computer and Applications. Ottawa, Canada: IEEE, 2014.	有效利用了颜色特性, 融合方向 和梯度信息来提取视觉特征, 进而进行视觉显著性的计算, 并依据显著性检测结果提取舰船候选区域.
[27]Zhang L B, Zhang Y Y. Airport detection and aircraft recogni- tion based on two-layer saliency model in high spatial resolu- tion remote-sensing images. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2017, 10(4): 1511−1524	利用傅里叶变换提取飞机候选区域
[28]Ding Z H, Yu Y, Wang B, Zhang L M. An approach for visual attention based on biquaternion and its application for ship de- tection in multispectral imagery. Neurocomputing, 2012, 76(1): 9−17	利用频域特性提取舰船候选区域.
[29]Xu F, Liu J H. Ship detection and extraction using visual sali- ency and histogram of oriented gradient. Optoelectronics Let- ters, 2016, 12(6): 473−477	利用频域特性提取舰船候选区域.

2.2 特征提取

特征提取是遥感目标检测中最为关键的步骤, 直接影响着检测算法的性能和效率。图像目标检测常用的特征有颜色、纹理、边缘形状和上下文。提取的用于目标检测的特征, 可以是单个视觉特征, 也可以融合多个视觉特征。

分类：颜色、纹理、边缘形状、上下文

2.2.1 颜色特征

定义：不同颜色在整幅图像中所占的比例。

应用：对颜色敏感但对空间位置分布不敏感的目标。

优点：计算过程较为简单, 且不依赖目标的尺寸、方向或者图像视角的变化, 具有较强的鲁棒性。

缺点：表征能力有限, 单纯凭借颜色特征很 难对目标进行区分, 一般都会结合其他视觉特征来 进一步提高特征表达能力.

常见分类特征：有颜色矩、颜色相关图、颜色直方图。

论文	内容
[30]Cucchiara R, Grana C, Piccardi M, Prati A, Sirotti S. Improv- ing shadow suppression in moving object detection with HSV color information. In: Proceedings of the 2001 IEEE Intelligent Transportation Systems (ITSC 2001). Oakland, USA: IEEE, 2001. 334−339	提取候选区域后, 转换到 HSV 颜色空间, 并对每个区域提取颜色特征, 来判 断目标的位置信息和移动关系
[31]Morillas J R A, García I C, Zölzer U. Ship detection based on SVM using color and texture features. In: Proceedings of the 2015 IEEE International Conference on Intelligent Computer Communication and Processing (ICCP). Cluj-Napoca, Ro- mania: IEEE, 2015. 343−350	提取候选区域的颜色特征作为辅助信息, 与其他视觉特 征进行结合, 来进行检测和识别
[32]Oliva A, Torralba A. Modeling the shape of the scene: A holist- ic representation of the spatial envelope. International Journalof Computer Vision, 2001, 42(3): 145−175	GIST 特征的论文。是一 种场景特征描述, 在空间包络基础上发展得到, 对 颜色比较敏感
[33]Li Z C, Itti L. Saliency and gist features for target detection in satellite images. IEEE Transactions on Image Processing, 2011, 20(7): 2017−2029	利用 GIST 特征来对候选区 域进行检测和识别

2.2.2 纹理特征

定义：高分辨率遥感图像目标包含了丰富的纹理结构, 不同种类的目标，具有不同的纹理结构，纹理特征能够有效提高目标检测性能。

优点：在特定领域下准确率高。

缺点：应用范围有限，大部分不能通过纹理检测

论文	内容
Brekke C, Solberg A H S. Oil spill detection by satellite re- mote sensing. Remote Sensing of Environment, 2005, 95(1): 1−13	根据海面区域和海面浮油区域之 间不同的纹理特性, 来做漏油检测
Selvi M U, Kumar S S. A novel approach for ship recognition using shape and texture. International Journal of Advanced In- formation Technology, 2011, 1(5): 23−29	利用 纹理特征来进行舰船目标的检测识别.

2.2.3 边缘形状特征

与其他的相比，更能反应本质特征

要求：具有尺寸、平移、旋转的不变性

分类：矩特征、SIFT特征和HOG特征

矩特征 或 轮廓矩 ：区域矩对整体区域的全局进行表述

​ 轮廓矩对候选区域内目标的边界进行表述

​ 包含信息量多

论文	内容
[36] Hsieh J W, Chen J M, Chuang C H, Fan K C. Aircraft type re- cognition in satellite images. IEE Proceedings-Vision, Image, and Signal Processing, 2005, 152(3): 307−315	提取目标的 Zernike 矩, 并结合小波系数、边缘和距离特征, 对各个特征进行加权融合, 提高了飞机的识 别率.

SIFT 特征 : SIFT 特征用于描述图像局部信息, 对尺度变化和角度变化保持不变, 同时对视角变化和噪声具 有一定的适应性. 提取速度快

论文	内容
[37] Sun H, Sun X, Wang H Q, Li Y, Li X J. Automatic target de- tection in high-resolution remote sensing images using spatial sparse coding bag-of-words model. IEEE Geoscience and Re- mote Sensing Letters, 2012, 9(1): 109−113	提取滑动窗口中的 SIFT 特 征, 利用稀疏词袋模型 (Bag of words) 进行分类.
[38]Tong S, Sun K, Shi B H, Chen J Y. A ship target automatic recognition method for sub-meter remote sensing images. In: Proceedings of the 4th International Workshop on Earth Ob- servation and Remote Sensing Applications (EORSA). Guang- zhou, China: IEEE, 2016.	利用 SIFT 作为舰船候选区域的特征, 进 而根据提取的特征进行分类识别

HOG特征 : 利用梯度或边缘的方向密度分布描 述了区域内目标的轮廓和边缘信息、弱化光照变化 等环境上的干扰。

​ 优点：弱化光照变化等环境上的干扰、提取速度快, 特征泛化能力强。

​ 缺点：不具有选择不变性

论文	内容	分类
[24]ChengG,ZhouPC,YaoXW,YaoC,ZhangYB,HanJW. Object detection in VHR optical remote sensing images via learning rotation-invariant HOG feature. In: Proceedings of the 4th International Workshop on Earth Observation and Re- mote Sensing Applications. Guangzhou, China: IEEE, 2016. 433−436		船只检测
[29]Xu F, Liu J H. Ship detection and extraction using visual sali- ency and histogram of oriented gradient. Optoelectronics Let- ters, 2016, 12(6): 473−477		船只检测
[39]Shi Z W, Yu X R, Jiang Z G, Li B. Ship detection in high-res- olution optical imagery based on anomaly detector and local shape feature. IEEE Transactions on Geoscience and Remote Sensing, 2014, 52(8): 4511−4523	提取舰 船的候选区域后, 对每个区域提取 HOG 特征, 并采用 AdaBoost 分类器对候选区域进行筛选分类, 进 一步提高算法的精确度	船只检测
[40]GongC,HanJW,GuoL,QianXL,ZhouPC,YaoXW, et al. Object detection in remote sensing imagery using a dis- criminatively trained mixture model. ISPRS Journal of Photo- grammetry and Remote Sensing, 2013, 85: 32−43	对候选区域提 取多尺度 HOG 特征, 然后对多尺度特征进行融合, 进而进行分类识别	船只检测
[41]Yin Y Y, Liu N, Li C Y, Wan W B, Fang T. Coarse-to-fine ship detection using visual saliency fusion and feature encod- ing for optical satellite images. In: Proceedings of the 2016 In- ternational Conference on Audio, Language and Image Pro- cessing (ICALIP). Shanghai, China: IEEE, 2016.		船只检测
[42]Zhang W C, Sun X, Fu K, Wang C Y, Wang H Q. Object de- tection in high-resolution remote sensing images using rotation invariant parts based model. IEEE Geoscience and Remote Sensing Letters, 2014, 11(1): 74−78	鉴于 HOG 特征不具备旋转不 变性的特点。设计了对旋转不敏感的旋 转不变性的特征, 对单个窗口进行网格划分, 提取 网络内 HOG 特征, 然后基于部件模型的思想对窗 口内网络特征进行融合, 生成旋转不变特征.	飞机检测
[43]Li B Y, Cui X G, Bai J. A cascade structure of aircraft detec- tion in high resolution remote sensing images. In: Proceedings of the 2016 IEEE International Geoscience and Remote Sens- ing Symposium (IGARSS). Beijing, China: IEEE, 2016.		飞机检测
[44]Zheng J B, Xi Y, Feng M C, Li X X, Li N. Object detection based on BING in optical remote sensing images. In: Proceed- ings of the 9th International Congress on Image and Signal Processing, BioMedical Engineering and Informatics (CISP- BMEI). Datong, China: IEEE, 2016. 504−509		飞机检测

2.2.4上下文特征

定义：主要表征图像中不同实例之间的顺序、拓扑、相邻等空间位置关系。

上下文特征通常作为补充信息. 需要借助高层语义知识 ：如颜色、形状 无法单独用于检测.

在地物分类和检测中, 大量研究在像素基础上, 扩充一个矩形窗口 , 以窗口的特征作为当前像素的特征表示, 从而引入了上下文视觉特征。

论文	内容
[45]Hinz S, Stilla U. Car detection in aerial thermal images by loc- al and global evidence accumulation. Pattern Recognition Let- ters, 2006, 27(4): 308−315	在道路检测中利用车辆、绿地和道路 之间的上下文关系, 对特征进行增强从而提升道路 提取的精度
[46]Gu W, Lv Z H, Hao M. Change detection method for remote sensing images based on an improved Markov random field. Multimedia Tools and Applications, 2017, 76(17): 17719−17734	利用马尔科夫随机场来对空 间目标物体之间的位置关系进行建模, 从而对目标 进行分类