Paper Reading 8|Sea surface target detection and recognition algorithm based on local and global salient region detection
摘要
提出了一种新的显著区域检测算法,用于在抖动视场中对海上船舶进行检测和识别。基于这种情况,本文采用的解决方法是分别检测每一帧的显著区域,而不是使用跟踪算法,显著区域检测基于局部和全局对比。结果表明,该方法能够有效地抑制干扰,准确地检测出目标的形状。证明本文算法是一种高效的船舶检测目标检测算法。
引言
随着科学技术的出现,对人类视觉系统的研究表明,人类的视觉系统总是能够将注意力集中在最显著的物体上,这就是所谓的视觉选择性注意。有关区域就是所谓的突出对象。视觉注意机制可以帮助人们将注意力锁定在最突出的区域。该机制可以消除来自背景的干扰。借助显著性检测,机器视觉可以高效地完成图像分割[1-2]、目标识别[3]、目标检索[4]和目标跟踪。
显著性检测的主要方法
在显著性检测领域,1998年,Itti[7]基于Treisman[5-6]的整合理论和Koch的生物学架构,提出了经典的视觉注意模型。所谓Itti模型在实际测量中得到了接近人类视觉感知的结果。2006年,Jonathan Hare在图论的基础上提出了GBVS[8]算法,它遵循Itti模型的结构。该结构包含三个步骤,分别是特征提取、中心周边竞争和重组。此外,本文还利用马尔可夫链计算了中心-周边竞争的相互作用。2007年,Hou和Zhang提出了基于自然图像[9]的傅里叶变换频谱分析的残差谱模型。这是第一个在频域上处理的显著性检测模型。2008年,Achanta提出了基于多尺度周边区域对比的交流算法[10]。2009年,Achanta提出了一种频率调谐算法[11]。通过不同高斯带通滤波器与均值的叠加得到全分辨率显著图。2013年,Imamoglu[12]提出了一种基于小波变换的底层特征显著性检测模型。该模型利用小波变换建立多尺度特征图进行局部检测。计算出的显著图可以突出突出区域,但分辨率较低。
由于研究现状和针对海面目标的检测情况。本文提出了一种基于空间域局部检测与全局检测融合的快速显著性检测算法,以获得更好的海面检测情况下的检测效果。该算法还应具有较高的执行效率。
方法
局部检测
直观意义上的突出物是指它们不同于其周边地区所具有的某些特征。本文基于[10]理论,提取每个像素与其周围像素的差值。显然,当它小于过滤器大小时,对象将被完全检测到。另一方面,较小的过滤器尺寸只能部分检测到目标。较小的物体可以被较小的滤波器很好地检测到,也可以被所有的滤波器检测到。大的物体只能用大的滤波器来检测。因此,为了得到综合的结果,我们将最终显著图定义为三个显著图的加权平均值。
[10]中的卷积核是一个均值滤波器的核,显著图中像素的值是周围像素的平均值。但是,这个内核有两个缺点。首先,当物体较大时,物体的中心区域像素都是显著的物体,并且彼此相似。他们的歧视是非常小的。它会在突出物体的中心形成一个“洞”。第二,在背景中物体的边界附近会有一个“晕”,因为物体的像素在计算时也包含在内核中。光晕在显著图中是一个虚假的显著区域。
在[10]中,计算在Lab颜色空间中。事实上,在其他颜色空间中还有更多的特征。本文将图像转换为Lab颜色空间和HSV颜色空间。然后将图像分割成单个通道。将0到255的范围归一化,以观察每个通道的性能。通道如图2所示。
在对大量的海面图像进行验证后,总结出以下结论。因为“a”代表红色和绿色之间的位置。在真实的海面场景中,大海、天空和船舶涂层的位置过于接近,难以区分。“b”空间表示黄色和蓝色之间的位置。然而,大海、天空的色调和船的涂层是近似蓝色的。在b空间的差异仍然很小。“H”空间代表色调。事实上,“a”和“b”空间的相似性相当于“H”空间的相似性。对于其他空间,“L”空间表示颜色的明度。“S”空间表示颜色的饱和度。“V”空间表示亮度。这三个空间的区别是明显的。因此,本文从这三个空间计算显著性映射。
然后用式(2)中定义的卷积核对L、S、V通道进行滤波,根据实际情况,目标船舶的尺寸会相对较小。因此本文采用不同大小核的显著图的加权平均。由于目标尺寸相对较小,内核较小的显著图可以显示更多的细节,
全局检测
相对于局部检测,基于心理学研究的全局检测。[13]推断,人类的感知系统对颜色、强度和纹理等视觉信号的对比非常敏感。在此基础上,提出了一种利用图像颜色统计量计算空间显著性图的有效方法。[13]中的算法的计算复杂度与图像像素的数量成线性关系。图像的显著性图是建立在图像像素之间的颜色对比之上的。算法定义为
突出的物体与周围地区截然不同。但是在数值变化平缓的区域会有一个相对较高的显著区域,如图4所示。本文将全局显著图视为基于一定特征的单通道图像。通过局部检测的方法进行过滤。结果如图4所示。
局部检测与全局检测的融合
[14]和[15]表明,神经网络或任何相关领域的研究都不能证明在颜色空间中存在线性依赖性。因此,本文不考虑色彩空间的相互作用。目前,大多数权重都是通过机器学习或经验来定义的。提出了一种具有特征独立性和特征连接性的特征融合方法。该方法保留了各特征间的独立性,提取了特征间的线性关系同时组合影响。
在融合显著图后,显著区域应该是地图中最突出显示的区域。然而,背景中的一些区域也可能被突出显示,但不是很亮。压制背景区域,强调真正的突出区域。由于sigmoid函数可以模拟神经细胞的非线性脉冲,本文提出了一种利用sigmoid函数曲线的变体进行校正的曲线。
实验结果和分析
本文最后对几种代表性的显著性检测算法进行了对比实验。选择的方法有AC、FT、HC和LC。AC、HC、LC是基于空间域的。FT是基于频域的。AC为局部检测,其他为全局检测。它们易于实现,得到了广泛的应用。
图10中的图像是通过不同算法得到的不同输入图像的显著性图,所有算法都是在c++中用OpenCV 2.4.10实现的。开发环境是Windows 7上的Visual Studio 2013。计算机的主频为3.20GHz,内存大小为8GB。
如图6所示,本文在高速下比其他四种算法都能得到更好的显著性图。640×480分辨率图像的平均处理时间约为150ms。
主成分分析
为了得到目标(船)的方向,将从显著图中经过形态学处理提取出船的轮廓。考虑到不可能只有一个目标,需要对每个区域进行分析,计算方向。
主成分分析是统计学中的一种降维方法,其目的是提取最显著的元素和结构。同时,还能减少噪声和冗余。更简单的结构将被揭示。实际上,它是通过线性分式变换将数据变换成一个新的坐标系。投影数据在第一个轴(第一个主成分)的方差最大,在另一个轴(第二个主成分)的方差第二大。
对于目标区域内的像素点,PCA的目标是将维数从2降至1。计算出的一维将具有最大的方差(方向)。首先,求出矩阵X的协方差矩阵。X是一个零均值归一化矩阵[17]。C的特征向量对应于最大的特征值也就是第一主成分。
结论
提出了一种新的局部和全局显著性检测相结合的显著性检测算法。本文定义了一种新的卷积核,克服了原有卷积核的缺点。本文还对不同通道在Lab和HSV颜色空间中的性能进行了检验。根据每个信道的性能选择合适的信道和融合方法。最后,本文设计了一种新的融合方法,将局部和全局显著图融合在一起,突出重叠部分,抑制其他部分。同时,在不使用GPU的情况下,处理时间约为150ms, FPS可达7。该算法可以是一种基于多线程或GPU的海面检测实时检测跟踪算法。