概述

本文中作者提出了基于注意力机制的特征增强架构(Feature enhancement architecture based on attention mechanism，FBAM)，在这个架构中，作者改进了两个模块：

  • 顶层特征增强模块(Top-level feature enhancement，TLFE)
    通过融合通道注意力和空间注意力，为舰船识别提供丰富的语义信息和位置信息。
  • 自适应ROI特征增强(Adap-tive ROIfeature enhancement，ROIFE)
    网络自适应组合多层次的ROI特征信息，增强舰船识别的细粒度级别特征，提高舰船识别的定位能力。

顶层特征增强模块是一个通道和空间信息双重注意力网络，最顶层的特征层{C5}经过通道注意力和空间注意力之后进行融合为一个新的特征层，以此保证顶层特征层的特征信息更完整的得到保留，将得到的新特征层与后续的特征层再进行融合。自适应ROI特征增强模块为每一个ROI汇集所有特征金字塔层的特征，从特征融合之后的特征金字塔{P2，P3，P4，P5}中的每一层学习生成更好的ROI特征，ROIFE为不同层的ROI特征生成不同的空间权重，将ＲOI 特征加权相融合

改进方法

以深度学习目标检测算法作为基础网络，对网络中特征融合部分 FPN 进行改进。

即骨干网络提取特征后送入FPN进行特征融合，在特征融合的过程中，设计增加TLFE模块，在特征融合之后，设计增加ROIFE模块，将不同层的特征求和作为这个ROI最终的特征。

改进示意图如下：

这两种改进都是针对特征金字塔FPN部分的改进，第一个是将{C5}通过并联的通道注意力和空间注意力模块，赋予其更多的语义和空间信息；第二个是在特征融合后，对于任意一个ROI预测，提取出该ROI在{P2,P3,P4,P5}上的所有对应的特征，然后利用网络本身学习权重参数，将不同层的特征求和作为这个ROI最终的特征。

顶层特征增强模块

其中上半部分是空间注意力机制，通过一个卷积Conv+一个激活函数Sigmoid；下半部分先经过全局平均池化，获取全局感受野，再通过ReLU和Sigmoid激活函数；然后将这两部分原始的C5与通道权重值相乘，得到的两个有关注度的新特征层之后，将空间关注度与通道关注度的特征图相融合构成新的特征层。

全局平均池化：编码了全局的统计信息。从空间的角度来看，通道注意力是全局的，而空间注意力是局部的。通道注意力顺着通道维度对C5进行全局平均池化压缩，获取全局感受野，经过Sigmoid非线性处理，将输出结果作为每个通道的权重值。

自适应ROI特征增强

4层特征信息进行concat操作 –> 全局最大池化 –> 两次卷积 –> 激活函数

  • 全局最大池化：保留通道信息
  • 第一次1×1卷积：缩放通道值
  • 第二次1×1卷积：恢复通道信息值

验证实验

网络

以faster R-CNN作为基础算法，以resnet50和resnet101这两种网络作为骨干网络

数据集

数据集选用HRSC2016数据集。

评价指标

精准召回曲线(PRC)和平均精确度(AP)

对比试验

实 验 利 用 FasterＲ-CNN、Cascade Ｒ-CNN、RetinaNet 3 种算法，以及Resnet50 和Reanext101 2 种骨干网络验证FBAM 的有效性。