光学遥感图像目标检测算法综述（二）

原文pdf下载：下载链接

2.3分类器设计

有主流的目标分类识别任务均采用有监督的机器学习方式，需要设计合适的分类器。

分类：逻辑回归、支持向量机 (SVM) 、贝叶斯分类器

2.3.1 逻辑回归

定义：将提取的特征映射到线性可分的空间, 之后采用线性判别器完成分 类过程.

论文	内容
[50]Corbane C, Najman L, Pecoul E, Demagistri L, Petit M. A complete processing chain for ship detection using optical satel- lite imagery. International Journal of Remote Sensing, 2010, 31(22): 5837−5854	提取候选区域内的 Radon 变 换、小波变换等多个视觉特征, 并将特征进行级联, 利用逻辑回归完成目标分类和识别.

2.3.2 SVM

定义：支持向量机将待分类样本通过核函数映射到线性可分的高维空间, 并找到最优的分类超平面使得支持向量在特征空间上的间隔最大

论文	内容
[40]GongC,HanJW,GuoL,QianXL,ZhouPC,YaoXW, et al. Object detection in remote sensing imagery using a dis- criminatively trained mixture model. ISPRS Journal of Photo- grammetry and Remote Sensing, 2013, 85: 32−43	设计了一个判别式的可见部件模型, 利 用隐支持向量机训练模型参数, 缓解了遥感目标多 尺度问题和旋转问题
[51]Zhu X F, Ma C W. The study of combined invariants optimiz- ation method on aircraft recognition. In: Proceedings of the 2011 Symposium on Photonics and Optoelectronics (SOPO). Wuhan, China: IEEE, 2011. 1−4	提取不变矩多维特 征, 对多个矩特征进行组合优化, 利用 SVM 分类器 进行分类识别, 有效克服了单一特征鲁棒性不强的 缺点.
[52]Wang D H, He X, Wei Z H, Yu H L. A method of aircraft im- age target recognition based on modified PCA features and SVM. In: Proceedings of the 9th International Conference on Electronic Measurement and Instruments. Beijing, China: IEEE, 2009. 4-177−4-181	利用 SVM 分类器对提取到的特征进行分类和识别

2.3.3 贝叶斯分类器

定义：采用后验概率来进行判断, 确定概率最高的类别为检测结果

3. 基于深度学习的目标检测

与手工设计的区别：直接将候选区域提取、特征学习和分类器整合在一起，实现端到端的检测。

3.1 典型目标检测模型

感兴趣区域：单阶段的速度快，但是精度比较低。多阶段速度慢，但是精度高。

预设锚点框是为初始锚点框后面再进一步微调：优势是输出的都是在锚点框基础上的相对值。值域小，容易收敛，但是需要大量的人工以及先验，所以过程繁琐，而且在一些长宽比罕见的目标上会漏检。

关键点检测最近很流行：基于像素层面进行分类和回归，不需要进行计算IoU来淘汰检测框。

普通的目标检测性能不错，由于遥感图像检测的特殊性，无法直接应用，需要一些改进。

3.2 遥感目标检测模块改进

3.2.1 针对超大图像尺寸的改进

遥感图像具有超大的图像尺寸，直接进行目标检测需要过大的内存空间, 同时计算量过大, 现有硬件还不足以支持。但是又不能直接缩小，会导致目标小时。

难点在于很难保证检测质量的同时速度还快。

最常用的方法：分块切割，但是边缘就很容易被一分为二。

总结：图像分块结合快速过滤的方式是当前从速度上和精度上最优的处理方式.

论文	内容
[66]Wang C, Bai X, Wang S, Zhou J, Ren P. Multiscale visual at- tention networks for object detection in VHR remote sensing images. IEEE Geoscience and Remote Sensing Letters, 2019, 16(2): 310−314	以一定的重叠率对原图进行切割, 从而增加了分块小图边缘目标完整性 的可能, 但是却增加了子图像的数量, 使得大图的 处理时间变得冗余, 同时依然无法避免目标检测结 果一分为二的问题
[67]PangJM,LiC,ShiJP,XuZH,FengHJ.R2-CNN:Fast tiny object detection in large-scale remote sensing images. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(8): 5512−5524	R^2-CNN:轻量级主干 Tiny-Net 来进行特征提取, 并采用先判断、后定位的方式, 将不含目标的子图像块进行滤除, 从而减小后续检测识别过程的计算负担, 该方法保证了检测效果, 同时提高了检测效率, 但是依然会对重叠区域进行多次检测，有重复计算。
[68]Van Etten A. You only look twice: Rapid multi-scale object de- tection in satellite imagery. arXiv preprint arXiv: 1805.09512, 2018	YOLT：对切割后的子图, 采用多个轻量级模型进行检测, 并将检测结果进行融合, 保持检测精度的同时, 一定程度上提升 了检测的速度.
[69]Zhang F, Du B, Zhang L P, Xu M Z. Weakly supervised learn- ing based on coupled convolutional neural networks for air- craft detection. IEEE Transactions on Geoscience and Remote Sensing, 2016, 54(9): 5553−5563	该方法将整张原图作为输入=>像素级分类=>高置信提取后选取=>非最大值抑制=>单独检测。

3.2.2 针对目标方向多样化的改进

遥感图像均是俯视视角拍摄得到的, 方向性问题突出，而经典的卷积神经网络不具备旋转不变性。

改进思路：数据扩充、增加旋转不变子模块

数据扩充（数据增强）：对原有训练数据, 分别旋转多个不同的角度。一定程度提升了样本的多样性，但是作用有限，不能从根本上解决问题。

论文
[62]Fu Y M, Wu F G, Zhao J S. Context-aware and depthwise- based detection on orbit for remote sensing image. In: Proceed- ings of the 24th International Conference on Pattern Recogni- tion (ICPR). Beijing, China: IEEE, 2018. 1725−1730
[63]Li M J, Guo W W, Zhang Z H, Yu W X, Zhang T. Rotated re- gion based fully convolutional network for ship detection. In: Proceedings of the 2018 IEEE International Geoscience and Re- mote Sensing Symposium (IGARSS 2018). Valencia, Spain: IEEE, 2018. 673−676
[64]Schilling H, Bulatov D, Niessner R, Middelmann W, Soergel U. Detection of vehicles in multisensor data via multibranch con- volutional neural networks. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2018, 11(11): 4299−4316

其中，直接将扩充多个角度后的图像数据合成一个更大的数据集进行训练、直接在训练过程中对单幅图像采用随机旋转处理。

论文	内容
[25]Cheng G, Zhou P C, Han J W. Learning rotation-invariant convolutional neural networks for object detection in VHR op- tical remote sensing images. IEEE Transactions on Geoscience and Remote Sensing, 2016, 54(12): 7405−7415	RICNN:优化一个新的目标函数, 通过引入正则化约束, 使样本的特征表示在旋转前后相互 接近, 实现旋转不变性.
[70]Cheng G, Han J W, Zhou P C, Xu D. Learning rotation-invari- ant and fisher discriminative convolutional neural networks for object detection. IEEE Transactions on Image Processing, 2019, 28(1): 265−278	优化一个 新的目标函数显式地在 CNN 特征上添加了一个旋转不变正则化器, 强制旋转前后训练样本的特征表 示紧密映射, 以实现旋转不变性
[71]Wu X, Hong D F, Tian J J, Chanussot J, Li W, Tao R. OR- SIm detector: A novel object detection framework in optical re- mote sensing imagery using spatial-frequency channel features. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(7): 5146−5158	ORSIm:检测器采用了一种新颖的空频信道特征 (SFCF), 综合考虑了频域内构造的旋转不变信道特征和原始的空间信道特征来应对旋转问题

3.2.3 针对目标尺度过小的改进

遥感图像中小目标的数量规模更大，小目标的像素很小（只有几十到几百），但是卷记得时候会下采样，feature map 不断缩小，从而在深层map中消失，所以小目标检测是难点。

解决方法：引入浅层特征、深层特征上采样

1.针对浅层特征引入的改进

引入浅层特征的方式, 对于小目标会引入过多的背景噪声

论文	内容
[60]Yang X, Sun H, Sun X, Yan M L, Guo Z, Fu K. Position de- tection and direction prediction for arbitrary-oriented ships via multitask rotation region convolutional neural network. IEEE Access, 2018, 6: 50839−50849	增加浅层特征金字塔的数量 和 规模来提升小目标的检测精度, 并采用稠密连接的结构增强小目标的特征表达能力
[68]Van Etten A. You only look twice: Rapid multi-scale object de- tection in satellite imagery. arXiv preprint arXiv: 1805.09512, 2018	YOLT: 增加上采样, 并通过恒等映射将中间浅层特征与输出特征进行拼接, 同时增加预测网格的个数, 从而提高小目标的适应性, 并融合多个尺度来寻找更小的目标
[72]Chen S Q, Zhan R H, Zhang J. Geospatial object detection in remote sensing imagery based on multiscale single-shot detect- or with activated semantics. Remote Sensing, 2018, 10(6): Art- icle No. 820	在最浅层特征上结合语义信息进行增强, 并与深层特征进行 融合, 提高小目标检测率
[73]Wang P J, Sun X, Diao W H, Fu K. FMSSD: Feature-merged single-shot detection for multiscale objects in large-scale re- mote sensing imagery. IEEE Transactions on Geoscience and Remote Sensing, 2020, 58(5): 3377−3390	在结合浅层信息后, 同时改进损失函数来增加小目标的训练权重.
[63]Li M J, Guo W W, Zhang Z H, Yu W X, Zhang T. Rotated re- gion based fully convolutional network for ship detection. In: Proceedings of the 2018 IEEE International Geoscience and Re- mote Sensing Symposium (IGARSS 2018). Valencia, Spain: IEEE, 2018. 673−676	利用反卷积层进行浅层特征和深层特征的融合, 在已有检测精度下, 进一步增强小目标的检测能力。
[62]Fu Y M, Wu F G, Zhao J S. Context-aware and depthwise- based detection on orbit for remote sensing image. In: Proceed- ings of the 24th International Conference on Pattern Recogni- tion (ICPR). Beijing, China: IEEE, 2018. 1725−1730	在进行浅层特征和深层特征融合时, 采用一个平衡因子来平衡特征融合的权重, 但是对于因子的 取值只能凭借检测任务的先验, 面对不同任务鲁棒性较差.

2.针对深层特征上采样

主要以反卷积的形式实现

论文	内容
[74]Zhang W, Wang S H, Thachan S, Chen J Z, Qian Y T. De- conv R-CNN for small object detection on remote sensing im- ages. In: Proceedings of the 2018 IEEE International Geoscience and Remote Sensing Symposium (IGARSS 2018). Valencia, Spain: IEEE, 2018. 2483−2486	在两阶段 Faster RCNN 基础上, 对前 一阶段提取的每个候选区域通过反卷积进行上采样, 放大特征图尺寸, 改善小目标检测效果
[64]Schilling H, Bulatov D, Niessner R, Middelmann W, Soergel U. Detection of vehicles in multisensor data via multibranch con- volutional neural networks. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2018, 11(11): 4299−4316	1.利用反卷积层扩大深层特征的尺度, 融合浅层 特征共同完成检测过程。2.目的是为了解决 因为降采样而 “丢失”了的信息特征的问题。方式是同时结合引入浅层特征以及深层特征上采样过程, 实现优势互补, 但是随着特征图尺度的增加, 计算复杂度也有了一定程度的增加。
[75]Liu W C, Ma L, Wang J, Chen H. Detection of multiclass ob- jects in optical remote sensing images. IEEE Geoscience and Remote Sensing Letters, 2019, 16(5): 791−795	采用膨胀卷积操作来代替卷积, 在相同感受野的前提下, 减少了参数, 然而膨胀卷积会造成局部信息的丢失
[76]YingX,WangQ,LiXW,YuM,JiangH,GaoJ,etal.Multi- attention object detection model in remote sensing images based on multi-scale. IEEE Access, 2019, 7: 94508−94519	使用像素注意力机制来进行局部信息的融合, 弥补了膨胀卷积的不足, 改善了小目标检测问题

3.2.4 针对目标密集分布的改进

遥感图像在一些特定场合下目标分布过于密集，如停车场、港口等。但是在遥感中比较容易的是一般情况下不会有同类目标相互遮挡的情况。

难点：遥感图像中目标尺度过小。容易出现边界模糊、高密度目标特征聚集。

现有研究大多通过 特征增强 方式来提升单个目标的区分度.

论文	内容
[77]Long H, Chung Y, Liu Z B, Bu S H. Object detection in aerial images using feature fusion deep networks. IEEE Access, 2019, 7: 30980−30990	将多种传统方法和深度学习方法进行组合, 可以有效处理高密度, 小尺寸的物体在 杂背景下的检测, 但是流程极其复杂。
[78]Cheng L, Liu X, Li L L, Jiao L C, Tang X. Deep adaptive pro- posal network for object detection in optical remote sensing im- ages. arXiv preprint arXiv: 1807.07327, 2018	DAPNet：通过判断图像中目标的分布密度, 来进行自适应的区域生成策略
[79]Long Y, Gong Y P, Xiao Z F, Liu Q. Accurate object localiza- tion in remote sensing images based on convolutional neural networks. IEEE Transactions on Geoscience and Remote Sens- ing, 2017, 55(5): 2486−2498	提出了一种基于无监督 分数的边界盒回归 (USB-BBR) 算法，并结合非最大抑制算法对检测到的目标区域的边界盒进行优 化, 提高密集分布目标的定位精度.
[80]YangX,YangJR,YanJC,ZhangY,ZhangTF,GuoZ,etal. SCRDet: Towards more robust detection for small, cluttered and rotated objects. In: Proceedings of the 2019 IEEE/CVF In- ternational Conference on Computer Vision (ICCV). Seoul, Korea: IEEE, 2019. 8232−8241	SCRDet：增加了像素注意力机制和通道注意力机制来同时实现小目标和密集目标的特征增强.
[81]Yang X, Liu Q Q, Yan J C, Li A. R3Det: Refined single-stage detector with feature refinement for rotating object. In: Pro- ceedings of the 35th AAAI Conference on Artificial Intelligence. Palo Alto: AAAI Press, 2021.	R3Det：通过增加一 个特征图微调模块, 尽量保证目标的特征和目标的 中心对齐, 提高密集目标的定位精度
[82]YangX,YanJC,YangXK,TangJ,LiaoWL,HeT. SCRDet++: Detecting small, cluttered and rotated objects via instance-level feature denoising and rotation loss smoothing. arXiv preprint arXiv: 2004.13316, 2020	SCRDet++：借助语义分割网络的中间特征来指导检测识别的特征提取过程, 间接使用注意力机制来进行密集目标的特征增强, 从而提升密集目标的边界区分程度.

这些方法在牺牲算法效率的基础上, 提高了对于密集目标检测和定位的精度.

3.2.5 针对目标形状差异大的改进

难点：不同类之间的目标形状差异过大，容易因为锚点框预设不合适, 造成漏匹配问题。

解决方法：检测阶段提高锚点框的种类和数量、采用可变形卷积网络、注意力模块、基于关键点的检测模型

1. 检测阶段提高锚点框的种类和数量

   增加不同的尺度、不同的长宽比、甚至增加不同角度的锚点框来粗暴地提升算法对目标形状的泛化 能力。尽管取得了明显的效果, 但是对于形状过于狭长的目标, 很小的角度偏差就会导致重合度的大幅度下降, 极容易导致漏匹配, 依然难以从根本上解决形状差异的问题。

   以牺牲效率为代价换 取对不同目标形状的适应性

   论文
   [77]Long H, Chung Y, Liu Z B, Bu S H. Object detection in aerial images using feature fusion deep networks. IEEE Access, 2019, 7: 30980−30990
   [81]Yang X, Liu Q Q, Yan J C, Li A. R3Det: Refined single-stage detector with feature refinement for rotating object. In: Pro- ceedings of the 35th AAAI Conference on Artificial Intelligence. Palo Alto: AAAI Press, 2021.
   [83]Yang X, Sun H, Fu K, Yang J R, Su X, Yan M L, et al. Auto- matic ship detection in remote sensing images from Google earth of complex scenes based on multiscale rotation dense fea- ture pyramid networks. Remote Sensing, 2018, 10(1): Article No. 132
   [84]Azimi S M, Vig E, Bahmanyar R, Körner M, Reinartz P. To- wards multi-class object detection in unconstrained remote sensing imagery. In: Proceedings of the 14th Asian Conference on Computer Vision (ACCV 2018). Perth, Australia: Springer, 2018. 150−165
   [85]Wang X B, Jiang Y Y, Luo Z B, Liu C L, Choi H, Kim S. Ar- bitrary shape scene text detection with adaptive text region representation. In: Proceedings of the 2019 IEEE/CVF Confer- ence on Computer Vision and Pattern Recognition (CVPR). Long Beach, USA: IEEE, 2019. 6449−6458
   [86]Ding J, Xue N, Long Y, Xia G S, Lu Q K. Learning RoI trans- former for oriented object detection in aerial images. In: Pro- ceedings of the 2019 IEEE/CVF Conference on Computer Vis- ion and Pattern Recognition (CVPR). Long Beach, USA: IEEE, 2019. 2844−2853

2. 采用可变形卷积网络(Deformable convolution)

目的：自动适配不同的目标形状

缺点：增加了训练难度, 因此目前并没有明显的效果提升

3.注意力模块

论文
[89]LiCZ,XuCY,CuiZ,WangD,ZhangT,YangJ.Feature- attentioned object detection in remote sensing imagery. In: Proceedings of the 2019 IEEE International Conference on Im- age Processing (ICIP). Taipei, China: IEEE, 2019. 3886−3890
[90]QiuHQ,LiHL,WuQB,MengFM,NganKN,ShiHC. A2RMNet: Adaptively aspect ratio multi-scale network for ob- ject detection in remote sensing images. Remote Sensing, 2019, 11(13): Article No. 1594

4.基于关键点的检测方式

兴起的有潜力的解决方式 ：直接省去了锚点框与目标匹配的过程, 而是基于像素直接对形状进行预测, 从而解决了形状差异大的问题。

从精度来看, 基本和基于锚点框检测器的精度持平, 还有较大的潜在优化空间。

论文
[91]Lin Y T, Feng P M, Guan J, Wang W W, Chambers J. IENet: Interacting embranchment one stage anchor free detector for orientation aerial object detection. arXiv preprint arXiv: 1912.00969, 2019
[92]ZhouL,WeiHR,LiH,ZhangY,SunX,ZhaoWZ.Objects detection for remote sensing images based on polar coordinates. arXiv preprint arXiv: 2001.02988, 2020
[93]Wei H R, Zhang Y, Chang Z H, Li H, Wang H Q, Sun X. Ori- ented objects as pairs of middle lines. ISPRS Journal of Photo- grammetry and Remote Sensing, 2020, 169: 268−279
[94]Zhu Y X, Du J, Wu X Q. Adaptive period embedding for rep- resenting oriented objects in aerial images. IEEE Transactions on Geoscience and Remote Sensing, 2020, 58(10): 7247−7257
[95]Zhu Y X, Du J, Wu X Q. Adaptive period embedding for rep- resenting oriented objects in aerial images. IEEE Transactions on Geoscience and Remote Sensing, 2020, 58(10): 7247−7257XiaoZF,QianLJ,ShaoWP,TianXW,WangK.Axis learning for orientated objects detection in aerial images. Re- mote Sensing, 2020, 12(6): Article No. 908
[96]FengPM,LinYT,GuanJJ,HeGJ,ShiHF,ChambersJ. TOSO: Student’s-T distribution aided one-stage orientation target detection in remote sensing images. In: Proceedings of the 2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP 2020). Barcelona, Spain: IEEE, 2020. 4057−4061

论文	内容
[97]PanXJ,RenYQ,ShengKK,DongWM,YuanHL,GuoX W, et al. Dynamic refinement network for oriented and densely packed object detection. In: Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Re- cognition (CVPR). Seattle, USA: IEEE, 2020. 11207−11216	在基于关键点检测的基础上, 增加了特征选择 模块和动态增强检测头, 使得检测能够进一步对目标形状进行自适应调整, 但是精度的提升依然很小, 不能从根本上解决形状差异带来的影响.

3.2.6 针对目标尺度变化大的改进

遥感图像目标尺寸变化范围更大

解决方法：引入多尺度信息

多尺度信息的引入有效解决了不同尺度目标的 泛化能力, 但是对于极端尺度的目标

现有大多数算法在训练方式上, 采用图像金字塔进行多尺度训练和多尺度测试, 进一步降低漏检率, 提高检测精度, 但是增加了大量的计算开销。

论文	内容
[98]Guo W, Yang W, Zhang H J, Hua G. Geospatial object detec- tion in high resolution satellite images based on multi-scale convolutional neural network. Remote Sensing, 2018, 10(1): Article No. 131	直接采用多尺度的候选区域网络和多尺度的检测器来检测不同尺度的目标.
[99]ZhangXD,ZhuK,ChenGZ,TanXL,ZhangLF,DaiF, et al. Geospatial object detection on high resolution remote sensing imagery based on double multi-scale feature pyramid network. Remote Sensing, 2019, 11(7): Article No. 755	直接采用多尺度的候选区域网络和多尺度的检测器来检测不同尺度的目标.
[69]Zhang F, Du B, Zhang L P, Xu M Z. Weakly supervised learn- ing based on coupled convolutional neural networks for air- craft detection. IEEE Transactions on Geoscience and Remote Sensing, 2016, 54(9): 5553−5563	将第一阶段提取的候选区域调整为三个不同尺寸图, 并分别使用三个网络进行并行预测, 最终通过投票机制确定类别, 增强了不同尺度的适应能力
[100]Zhang S, He G H, Chen H B, Jing N F, Wang Q. Scale adapt- ive proposal network for object detection in remote sensing im- ages. IEEE Geoscience and Remote Sensing Letters, 2019, 16(6): 864−868	在已有 Faster R-CNN 基础上, 在不同的特征图上并行引入不同的候选区域提取网络, 来独立对不同尺度目标进行检测
[66]Wang C, Bai X, Wang S, Zhou J, Ren P. Multiscale visual at- tention networks for object detection in VHR remote sensing images. IEEE Geoscience and Remote Sensing Letters, 2019, 16(2): 310−314	使用残差连接的自编码器多尺度结构来适应不同尺度的变化
[101]Hou J Y, Ma H B, Wang S J. Parallel cascade R-CNN for ob- ject detection in remote sensing imagery. Journal of Physics: Conference Series, 2020, 1544: Article No. 012124	采用多个并行的 ROI Pooling 模块将特征映射到不同的尺度, 并采用多 阶段级联的方式进行检测.

多尺度信息特征融合

论文	内容
[102]Lin T Y, Dollár P, Girshick R, He K M, Hariharan B, Be- longie S. Feature pyramid networks for object detection. In: Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu, USA: IEEE, 2017. 2117−2125	通过融合底层视觉特征和高层语义信息, 并在不同尺度特征上分别 进行预测, 在常规图像中获得了广泛的应用
[60]Yang X, Sun H, Sun X, Yan M L, Guo Z, Fu K. Position de- tection and direction prediction for arbitrary-oriented ships via multitask rotation region convolutional neural network. IEEE Access, 2018, 6: 50839−50849	基于 FPN 采用稠密特征金字塔网络进一步加强不同尺度特征之间的联系
[83]Yang X, Sun H, Fu K, Yang J R, Su X, Yan M L, et al. Auto- matic ship detection in remote sensing images from Google earth of complex scenes based on multiscale rotation dense fea- ture pyramid networks. Remote Sensing, 2018, 10(1): Article No. 132	基于 FPN 采用稠密特征金字塔网络进一步加强不同尺度特征之间的联系
[103]ZouFH,XiaoW,JiWT,HeKK,YangZX,SongJK,etal. Arbitrary-oriented object detection via dense feature fusion and attention model for remote sensing super-resolution image. Neu- ral Computing and Applications, 2020, 32(18): 14549−14562	基于 FPN 采用稠密特征金字塔网络进一步加强不同尺度特征之间的联系
[104]Fu K, Chang Z H, Zhang Y, Xu G L, Zhang K S, Sun X. Rota- tion-aware and multi-scale convolutional neural network for ob- ject detection in remote sensing images. ISPRS Journal of Pho- togrammetry and Remote Sensing, 2020, 161: 294−308	在 FPN 自顶向下后额外又加入自底向上的连接, 将底层特征信息和高层视觉信息进行了二次融 合, 从而进一步增强特征表达能力
[84]Azimi S M, Vig E, Bahmanyar R, Körner M, Reinartz P. To- wards multi-class object detection in unconstrained remote sensing imagery. In: Proceedings of the 14th Asian Conference on Computer Vision (ACCV 2018). Perth, Australia: Springer, 2018. 150−165	直接对特征融合模块的网络结构进行改进, 从而增强特征表示
[89]LiCZ,XuCY,CuiZ,WangD,ZhangT,YangJ.Feature- attentioned object detection in remote sensing imagery. In: Proceedings of the 2019 IEEE International Conference on Im- age Processing (ICIP). Taipei, China: IEEE, 2019. 3886−3890	直接对特征融合模块的网络结构进行改进, 从而增强特征表示
[105]WangJW,DingJ,GuoHW,ChengWS,PanT,YangW. Mask OBB: A semantic attention-based mask oriented bound- ing box representation for multi-category object detection in aerial images. Remote Sensing, 2019, 11(24): Article No. 2930	直接对特征融合模块的网络结构进行改进, 从而增强特征表示
[106]Fu K, Chen Z, Zhang Y, Sun X. Enhanced feature representa- tion in detection for optical remote sensing images. Remote Sensing, 2019, 11(18): Article No. 2095	直接对特征融合模块的网络结构进行改进, 从而增强特征表示
[107]Li Y Y, Huang Q, Pei X, Jiao L C, Shang R H. RADet: Refine feature pyramid network and multi-layer attention network for arbitrary-oriented object detection of remote sensing images. Remote Sensing, 2020, 12(3): Article No. 389	直接对特征融合模块的网络结构进行改进, 从而增强特征表示
[108]Zhang G J, Lu S J, Zhang W. CAD-Net: A context-aware de- tection network for objects in remote sensing imagery. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(12): 10015−10024	直接对特征融合模块的网络结构进行改进, 从而增强特征表示
[109]Xu C Y, Li C Z, Cui Z, Zhang T, Yang J. Hierarchical semant- ic propagation for object detection in remote sensing imagery. IEEE Transactions on Geoscience and Remote Sensing, 2020, 58(6): 4353−4364	直接对特征融合模块的网络结构进行改进, 从而增强特征表示
[110]YanJQ,WangHQ,YanML,DiaoWH,SunX,LiH.IoU- adaptive deformable R-CNN: Make full use of IoU for multi-class object detection in remote sensing imagery. Remote Sens- ing, 2019, 11(3): Article No. 286	在多尺度检测 基础上, 平衡不同尺度目标对于损失函数的训练权 重, 加强算法对不同尺度的鲁棒性.

3.2.7 针对目标外观模糊的改进

遥感图像可以有云、雾或者雨雪干扰，质量低，无法进行检测。

解决方法：结合区域上下文信息来进一步强化特征, 提高分类准确率.

缺点：只能处理与周边环境有一定共生关系的目标, 相对独立的目标较难处理, 且提升的幅度有限.

最有效的方法：提升图像质量

论文	内容
[111]Li K, Cheng G, Bu S H, You X. Rotation-insensitive and con- text-augmented object detection in remote sensing images. IEEE Transactions on Geoscience and Remote Sensing, 2018, 56(4): 2337−2348	提出了一种双通道特征融合网络, 可以沿着两个独立的路径学习局部属性和上下文属性, 并将特征进行融合增强判别力.
[112]Chen C Y, Gong W G, Chen Y L, Li W H. Object detection in remote sensing images based on a scene-contextual feature pyr- amid network. Remote Sensing, 2019, 11(3): Article No. 339	以 FPN 为基础提取 ROI 特征图, 然后 将整幅图的特征图和 ROI 的特征图融合, 得到上下文信息完成检测
[113]MaWP,GuoQQ,WuY,ZhaoW,ZhangXR,JiaoLC.A novel multi-model decision fusion network for object detection in remote sensing images. Remote Sensing, 2019, 11(7): Article No. 737	设计了一种融合局部上下文特征和目标−目标关系上下文特征的上下文信息融合子网络, 来处理目标对象外观的复杂性.
[108]Zhang G J, Lu S J, Zhang W. CAD-Net: A context-aware de- tection network for objects in remote sensing imagery. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(12): 10015−10024	通过学习目标的全局上下文特征和局部上下文特征来增强目标的特征表达, 同时引入注意力机制来集中检测区域目标特征.

3.2.8 针对复杂背景的改进

定义 ：复杂背景中的目标会被背景混淆，导致误判的概率增加。

解决方法： 用注意力机制来减弱背景、增强目标信息特征。

论文	内容
[114]Zhang Y K, You Y N, Wang R, Liu F, Liu J. Nearshore vessel detection based on Scene-mask R-CNN in remote sensing im- age. In: Proceedings of the 2018 International Conference on Network Infrastructure and Digital Content (IC-NIDC). Guiy- ang, China: IEEE, 2018. 76−80	采用语义分割的思想分别提取船只、海洋和陆地的特征掩膜, 之后采用像素注意力机制来对各个类别进行加权, 提升海陆分离的能力
[115]LiQP,MouLC,JiangKY,LiuQJ,WangYH,ZhuXX. Hierarchical region based convolution neural network for multiscale object detection in remote sensing images. In: Pro- ceedings of the 2018 IEEE International Geoscience and Re- mote Sensing Symposium (IGARSS 2018). Valencia, Spain: IEEE, 2018. 4355−4358	提取多尺度特征后, 对每个特征图单独使用注意力机制进行特征增强, 从而消除背景噪声的影响
[118]Li C Y, Luo B, Hong H L, Su X, Wang Y J, Liu J, et al. Ob- ject detection based on global-local saliency constraint in aeri- al images. Remote Sensing, 2020, 12(9): Article No. 1435	在特征图融合过程中 设计了显著性金字塔融合策略来弱化背景带来的影 响, 增强目标特征的表达能力, 并结合全局注意力 机制增强语义信息, 完成最终的检测过程.

融合后的多尺度特征图采用注意力机制

论文
[80]YangX,YangJR,YanJC,ZhangY,ZhangTF,GuoZ,etal. SCRDet: Towards more robust detection for small, cluttered and rotated objects. In: Proceedings of the 2019 IEEE/CVF In- ternational Conference on Computer Vision (ICCV). Seoul, Korea: IEEE, 2019. 8232−8241
[82]YangX,YanJC,YangXK,TangJ,LiaoWL,HeT. SCRDet++: Detecting small, cluttered and rotated objects via instance-level feature denoising and rotation loss smoothing. arXiv preprint arXiv: 2004.13316, 2020
[89]LiCZ,XuCY,CuiZ,WangD,ZhangT,YangJ.Feature- attentioned object detection in remote sensing imagery. In: Proceedings of the 2019 IEEE International Conference on Im- age Processing (ICIP). Taipei, China: IEEE, 2019. 3886−3890
[105]WangJW,DingJ,GuoHW,ChengWS,PanT,YangW. Mask OBB: A semantic attention-based mask oriented bound- ing box representation for multi-category object detection in aerial images. Remote Sensing, 2019, 11(24): Article No. 2930
[107]Li Y Y, Huang Q, Pei X, Jiao L C, Shang R H. RADet: Refine feature pyramid network and multi-layer attention network for arbitrary-oriented object detection of remote sensing images. Remote Sensing, 2020, 12(3): Article No. 389
[116]Hou L P, Lu K, Xue J, Hao L. Cascade detector with feature fusion for arbitrary-oriented objects in remote sensing images. In: Proceedings of the 2020 IEEE International Conference on Multimedia and Expo (ICME). London, UK: IEEE, 2020. 1−6
[117]Yang F, Li W T, Hu H W, Li W Y, Wang P. Multi-scale fea- ture integrated attention-based rotation network for object de- tection in VHR aerial images. Sensors, 2020, 20(6): Article No. 1686

3.2.9 针对常规水平框定位粗糙的改进

定义：遥感图像目标具有方向性, 且方向具有随机性.常规的水平框无法紧凑、精准的定位。

解决方法： 利用旋转框替代水平框的表示方法, 设计旋转框检测模型。一般有两种方法：（1）五参数法 （2）八参数法

（1）五参数法 ：参数少、研究多

中心点坐标（x,y) ；目标宽度、高度（w,h）;角度（ang）
$$
(x,y;w,h;ang)
$$
其中，ang的周期一般为 180°或者90°

（2）八参数法：参数多，更灵活

四个顶点坐标
$$
(x1,y1;x2,y2;x3,y3;x4,y4)
$$

论文	内容
[119]	直接在 Faster R-CNN 的 基础上基于上述参数表示方案引入新的回归参数, 来进行旋转框的检测
[120]	RRPN: 人工定义了大量带有角度的锚点框来进行旋转目标的回归, 同时在检 测识别阶段提出了旋转特征池化操作 (RROI pooling) 来将特征进行归一化, 取得了方向性目标检测 的初步效果.
[121]	RRCNN:依然选取水平锚点框来进行第一阶段感兴趣区域的提取, 在 (Region proposal network, RPN) 阶段生成旋转候选区域并采用多尺度池化操作来增强检测识别特征的泛化能力, 在第二阶段基于水平候选区域来进行旋转框的回归, 进一步提升了性能并减小了内存消耗.
[86]	RoI transformer: 在 RPN 和 RCNN 之间插入了一个轻量级模块, 将 RPN 生成的水平区域转换成旋转区域, 尽可能减少旋转目标检测带来的计算复杂度. 为了进一步增强特征表达能力
[122]	同时进行水平框和旋转框的回归, 二者相互促进, 共同提升精度.( [86、120-122] 都有)

3.2.10 针对旋转框边界突变问题的改进

定义：基于常见的参数表示进行旋转框坐标回归时候会伴随典型的边界突变问题.

注： 2度和178实际上是差不多的，但是数值差别比较大。

解决方法：采用新的参数表示方案和改进损失函数

论文	内容
[94]Zhu Y X, Du J, Wu X Q. Adaptive period embedding for rep- resenting oriented objects in aerial images. IEEE Transactions on Geoscience and Remote Sensing, 2020, 58(10): 7247−7257	APE:采用一对具有周期性的三角函数来表征角度信息, 避免了边界突变
[123]XuYC,FuMT,WangQM,WangYK,ChenK,XiaGS, et al. Gliding vertex on the horizontal bounding box for multi- oriented object detection. IEEE Transactions on Pattern Ana- lysis and Machine Intelligence, 2021, 43(4): 1452−1459	Gliding vertex :首先提取外接水平框, 进而在水平框的边界上引入一个比例因子对旋转框顶点进行定位, 解决了八参数表示方案顶点顺序的问题,为了缓解边界问题引入了一个控制因子来决策是否需要回归旋转框
[124] WangYS,ZhangY,ZhangY,ZhaoLJ,SunX,GuoZ. SARD: Towards scale-aware rotated object detection in aerial imagery. IEEE Access, 2019, 7: 173855−173865	SARD: 直接对网络输出结果进 行了强制的标准化, 尽管发现了边界问题, 但是解 决方式只限于强加规则, 并没有有效缓解该问题.
[105,107]WangJW,DingJ,GuoHW,ChengWS,PanT,YangW. Mask OBB: A semantic attention-based mask oriented bound- ing box representation for multi-category object detection in aerial images. Remote Sensing, 2019, 11(24): Article No. 2930. && Li Y Y, Huang Q, Pei X, Jiao L C, Shang R H. RADet: Refine feature pyramid network and multi-layer attention network for arbitrary-oriented object detection of remote sensing images. Remote Sensing, 2020, 12(3): Article No. 389	Mask OBB & RADet : 借鉴实例分割的方式, 基于分割产生的类别掩膜来生成最小外接矩形, 避 免了边界问题, 但是引入了额外的语义分割计算, 计算复杂度较高
[125]Yang X, Yan J C. Arbitrary-oriented object detection with cir- cular smooth label. In: Proceedings of the 16th European Con- ference on Computer Vision (ECCV 2020). Glasgow, UK: Springer, 2020. 677−694	CSL: 采用角度分类的方式来替 代回归, 并针对性设计了软标签来应对边界问题, 从根源上解决了边界问题, 取得了很好的效果, 但 是采用角度分类的方式也导致了输出参数量过大.
[80,82]Yang X, Yan J C. Arbitrary-oriented object detection with cir- cular smooth label. In: Proceedings of the 16th European Con- ference on Computer Vision (ECCV 2020). Glasgow, UK: Springer, 2020. 677−694	设计了 IOU-Smooth 损失函数直接弱化训练时候的边界样本
[126]Qian W, Yang X, Peng S L, Guo Y, Yan J C. Learning modu- lated loss for rotated object detection. In: Proceedings of the 35th AAAI Conference on Artificial Intelligence. Palo Alto: AAAI Press, 2021.	Modulated loss: 在边界上采用所有突变值计算损失函数并选取损失最小值进行训练, 来缓解边界问题的影响.