基于多传感器决策级融合的远距离目标检测

【关键词】  可见光图像序列； 红外图像序列； 决策级融合； D?S证据理论

    Abstract: Aim at the problem of detecting for long distance targets with visual and thermal infrared image sequences, a method of  targets detection based on multisensor decision level fusion was developed. The algorithm firstly acquires targets detection from each sensor by frame difference accumulation and local intensity image; and then fuses the results using “and” logic to reduce the part of redundant information. Then extracts the multiple features of these target candidate areas in fusion detection result from the two sensor images as the evidence to eliminate redundant information. Finally, to distinguishe the false target from real target using D?S evidence theory based on multiple features, and send the recognition result to the target detection output of the whole system. The experimental results demonstrated that this approach is feasible and robust.

    Key words: visual image sequences； thermal infrared image sequences； decision level fusion； D?S evidence theory

    引言

    多传感器远距离目标的检测在军事应用领域中具有重要的意义，多传感器信息融合已经成为信息处理技术领域中研究的热点问题。由于单传感器图像提供的信息具有局限性，而多传感器图像数据之间存在互补性和冗余性，可以将不同传感器数据进行融合，增强目标检测的可靠性。

    目前关于多传感器融合的远距离目标检测较少，李振华等［1］提出一种基于运动目标检测的红外和可见光动态图像的融合方法，但该方法适应于大目标检测。赵鹏等［2］提出了一种红外与可见光图像的新的特征级融合与运动目标跟踪方法，这种方法不需要图像配准，降低了融合的复杂度。D.Borghy［3］提出了一种基于多传感器图像序列融合的目标检测，在单传感器图像中通过七种纹理检测。D.Borghy［4］提出了一种基于单幅图像特征级融合目标检测与运动目标检测相结合的决策级融合，但是该方法需要进行多级融合。李秋华等［5］提出一种基于D?S证据理论的红外小目标融合检测方法和一种采用D?S证据理论的双色红外小目标融合检测［6］的方法，但以上两种都只是适合于红外小目标。

    本文针对摄像头静止的情况下，提出了一种基于决策级融合的检测方法，该方法通过帧间差累积，在各传感器的图像中确定了运动目标区域，并提取当前帧的局部灰度图像和目标区域，利用融合的规则确定了最后的目标区域。然后在各传感器图像中提取融合检测结果中各候选区域的多个图像特征，最后采用采用D?S证据理论对各候选区域进行基于多特征检测识别得到最终的检测结果。本文方法的优点是多传感器的融合增强了检测结果的可靠性，算法比较简单。

    1  运动区域提取及目标特征提取 [*2]1.1  运动区域提取    首先采用帧间差运算［7］，假设第i帧图像为fi，帧间差图像为dfi，定义公式为：dfi(x, y)＝|fi＋t(x, y)－fi (x, y)|,      (1)式中：fi+t(x,y)为第i+t帧的灰度值，fi(x,y)为第i帧的灰度值，t为帧间间隔的帧数。对于慢速运动的目标，连续帧间差不能反映运动的区域，需要间隔t帧，t是由目标运动的速度决定。

    在一幅帧间差图像中目标会存在空洞效应，对多帧帧间差图像进行累积，可以清除空洞效应。假设gfi(x,y)为i帧帧间差分相累积，其公式为：gfi(x,y)=dfi(x,y)+dfi－t(x,y),   (2)式中dfi(x,y)代表第i帧帧间差，dfi－t(x,y)代表第 i－t帧帧间差，累积帧数根据运动目标的速度而定。

    先对帧间差分累积图像进行阈值分割，接着对其进行膨胀操作确定运动区域。

    根据运动目标，提取出局部灰度图像。假设运动区域图像记作F(x,y)，在运动区域内像素点的值为1，非运动区域内像素点的值为0， ff(x,y)表示红外灰度图像，Bf(x,y)表示红外局部灰度图像，公式如下：Bf(x,y) = ff(x,y) × F(x,y).   (3)类似的，可见光的灰度图像记作fv(x,y)，相应的局部灰度图像记作Bv(x,y)，公式如下：    Bv(x,y) = fv(x,y)×F(x,y),(4)式中(x,y)∈s，s表示运动区域，×表示逻辑符号。

     提取两种传感器的局部灰度图像后，再分别提取目标区域。

    1.2  目标特征提取

    分别提取两种传感器的局部灰度图像之后，可以发现，在图像平面上目标比周围的背景亮度要高。本文通过在局部灰度图像上提取目标的对比均值和均值来表示目标与周围背景区域的平均强度对比和平均强度。

    在提取目标之前，针对局部灰度图像，这里定义一个具有方向的矩阵滑窗，如图1。其中T为当前象数(x0,y0)上定义的目标区域［8］（目标窗口）:B(H)TB(H)图1  目标与背景区域T={(x0+i,y0+j)|i∈［－2×tw,2×tw］,

    j∈［－th,th］}. (5)目标窗口的大小为(4×tw+1,2×th+1)，这里tw和th选择比所检测的最大目标尺寸稍大的数值；B(H)为当前像素在水平方向上的对比背景区域(背景窗口)B(H)={(x0+i,y0+j)|i∈［－bw,bw］,

    j∈［－bh,－th］∪［th,bh］},        (6)这里选择背景窗口的大小和目标窗口的大小相同，即bw=2×tw,bh=2×th.(x0,y0)∈(1,2,…，M)×(1,2,…,N)；图像的大小为M×N。目标的各个特征定义如下：

    (1) 对比均值Cs(x,y)=1NT?(i,j)∈T(x,y)fs(i,j)－1NB?(i,j)∈B(x,y)fs(i,j),   (7)式中：NT=(4×tw+1,2×th+1)——目标窗口内的像素数；NB=(2×bw+1,2×bh+1)－NT——水平方向背景窗口内的像素数；fs(i,j)为在第s(s=1,2)个传感器中当前帧的局部灰度值。

    (2) 灰度均值μs=1NT?(i,j)∈T(x,y)fs(i,j),(8)式中：μs在第s(s=1,2)个传感器中局部灰度图像的灰度均值；其它与式(7)相同。

    1.3  两种传感器“与”逻辑融合检测

     在两种传感器成像系统中，首先对两种传感器得到的局部灰度图像进行阈值分割，得到检测的二值图像(采用0表示背景点，1表示目标点)，然后将该二值图像通信到中心处理器。在中心处理器中，采用“与”逻辑对两个局部传感器检测的结果进行融合，得到两种传感器检测的结果，其公式如下：fusion(x,y)=fin(x,y)&fvi(x,y),(9)式中fin(x,y)和fvi(x,y)分别表示红外和可见光图像检测二值图像；fusion(x,y)为融合中心。可以看出，只用两种传感器都对应于目标候选点时，融合中心才是候选点。

    2  基于D?S证据理论的决策融合

    在得到某个候选区域对应的多个特征之后，首先根据该区域的多个特征值采用相应的基本概率分配函数计算该区域基于各个特征属于目标和背景的基本可信度及不确定度；然后应用D?S证据理论正交规则对来自多个特征的证据进行综合，得到该候选区域属于目标和背景的信任度和不否定度，即置信区间；最后根据决策规则对该候选区域进行判决得到目标识别结果。

    2.1  确定基本概率分配函数

     在应用D?S证据理论对所得到的候选区域进行基于多特征融合识别，必须对确定的候选区域进行基于各个特征的基本概率分配函数。采用S型函数拟和基于各特征的基本概率分配函数获得了良好的识别效果，对各候选区域的各个特征进行编号，即令Fk,k=1,…,4，分别为C1,μ1,C2,μ2，具体方法如下：

     首先，在对各种背景条件下的样本多传感器图像局部灰度图像进行处理得到多个候选区域，分别统计属于目标的所有候选区域和属于背景的所有候选区域的各个特征的平均值，具体公式如下：mk(T)=?Nt=1FkN, (10)式中mk(T)属于目标的所有候选区域的第k个特征Fk的平均值；N为属于目标的所有候选区域的个数。属于背景的所有候选区域的第 k特征 Fk的平均值mk(B)与 mk(T)类似，这里不再赘述。

    然后，采用S型函数对基于各个特征的基本概率分配函数进行拟合，采用公式表示为：

    mk(T)=11+exp(－(Fk－mk(T))),(11)

    mk(B)=11+exp(－(Fk－mk(B))),(12)

    式中mk(T)和mk(B)分别为某候选区域在第 k特征量为 Fk时该候选目标区域为目标和背景的基本可信度，即基本概率分配函数。

    2.2  信任度和不否定度

     在目标检测应用中,D?S证据理论的识别框架包括两个元素,即Ω={T,B}，其中 T 表示目标,B表示背景。对于采用单一特征Fk(k=1,…,4)的候选区域识别算法，可以采用相应的基本概率分配函数来描述，它在目标识别过程中的不确定性。定义基本概率分配函数mk为mk:2Ω→［0,1］的映射，必须满足如下条件：mk(?)=0,(13)

    mk(T)+mk(B)+mk(Ω)=1,(14)式中mk(T)和 mk(B)分别为仅依据特征Fk 判决某候选区域为目标和背景的基本可信度；mk(Ω)为该判决过程中的不确定度。采用D?S证据理论中的正交和规则对基于各个特征的多个基本可信度进行复合得到基于特征融合的基本可信度。复合规则表示为：m(A)=(m1?…?m4)(A)

    =K－1?∩Ai=A?1≤k≤4mk(Ai), (15)式中A,Ai={T,B,Ω}?Ω；m为多证据复合的基本概率分配函数K=1－Conflict是反映证据冲突程度的加权系数。多证据冲突程度的计算公式可表示为：Conflict=?∩Ai=??1≤k≤4mk(Ai).(16)    在得到复合基本概率分配函数后,可以根据以下公式计算得到多证据复合判决的信任度函数和不否定度函数：bel(A)=?Ai?Am(Ai),(17)

    pl(A)=?Ai∩A≠?m(Ai),(18)式中{A,Ai=T,B}?Ω；bel(A)和pl(A)分别表示事件A为真的信任度和不否定度；对于 ?A?Ω的信任度等于A中所有子集的基本可信度之和，在目标检测应用中，信任度函数和不否定度函数可简化为：bel(T)=m(T),

    bel(B)=m(B);            (19)

    pl(T)=m(T)+m(Ω),

    pl(B)=m(B)+m(Ω).(20)从上式可以看出，某候选区域被判决为目标或背景的信任度是复合基本可信度，而不否定度为基本可信与不确定度之和，即bel(A)≤pl(A)，?A?Ω。

    2.3  决策规则

    在证据理论应用中，一般可以根据最大信任度和最大不否定度原则作出最悲观和最乐观的决策。但为了进一步反映决策中的不确定性，根据非充分推理原理可建立一个博弈概率分布BetP(A)，然后根据最大概率原则做出即反映信任度又反映不确定度的决策。博弈概率分布BetP(A)的定义为：BetP(T)=m(T)+αm(Ω),  (21)

    BetP(B)=m(B)+βm(Ω),  (22)式中α+β=1；α和β分别表示图像中目标和背景区域的出现概率，可根据先验知识确定。在定义博弈概率分布BetP(A)后，最大概率决策规则可表示为：DO=T;  BetP(T)>BetP(B),

    B;  BetP(B)>BetP(T),(23)式中DO为目标识别结果。总体流程图如图2。

    图2  总体流程图

    3  实验结果及其讨论

    实验数据是一段红外和可见光图像序列，由于是慢速运动目标，相邻图像间相隔采集的是5帧。图3(a)表示了其中的一帧红外图像序列，图3(b)表示了其中一帧可见光图像系列。

    图4(a)和图4(d)分别为红外和可见光差分累积后的灰度图像，从两幅图像我们可以看出，运动目标区域亮度值比背景区域要大，可以通过阈值分割进行提取。图4(b)和图4(e)分别表示红外和可见光图像序列局部灰度图像。图4(c)和图4(f)分别表示红外和可见光图像的检测中心，可以看出可见光图像检测中心存在冗余信息。图3  (a) 红外灰度序列图像；   (b) 可见光灰度序列图像

    图4  (a) 红外差分累积后的灰度图像； (b) 红外局部灰度图像；   (c) 红外图像检测中心；  (d) 可见光差分累积后的灰度图像；   (e) 可见光局部灰度图像；  (f) 可见光检测中心

    图5(a)和5(c)分别表示红外和可见光在局部灰度图像上提取对比均值特征；图5(b)和5(d)分别表示红外和可见光在局部灰度图像上提取均值特征；图5(e)根据红外和可见光的检测中心得到的融合中心；图5(f)根据D?S证据理论得到最终的融合结果。

    图5  (a) 红外局部对比均值图像；  (b) 红外局部灰度均值图像； (c) 可见光局部对比均值图像；  (d) 可见光局部灰度均值图像； (e) 融合中心；  (f) 融合后的最终结果

    以上算法对单目标的适用，下面是对多目标的实验数据，该算法也同样适用。图6(a)和6 (b)分别对应于图3(a)和图3(b)的一组实验数据。

    图6  (a) 红外灰度序列图像；   (b)可见光灰度序列图像

    图7  (a) 红外差分累积后的灰度图像； (b) 红外局部灰度图像；   (c) 红外图像检测中心；  (d) 可见光差分累积后的灰度图像；   (e) 可见光局部灰度图像；  (f) 可见光检测中心

    图8  (a) 红外局部对比均值图像；  (b) 红外局部灰度均值图像； (c) 可见光局部对比均值图像；  (d) 可见光局部灰度均值图像； (e) 融合中心；  (f) 融合后的最终结果

    从以上两个实验结果可以看出，通过采用D?S证据理论对来自红外和可见光成像系统中两种不同传感器图像信息进行融合后，系统有效地去除了单传感器检测结果中的虚假目标，提高了系统的检测性能。

    4  结论

    本文获取红外和可见光两种传感器的图片信息，针对远距离目标进行检测的。优点是利用多传感器成像信息的互补性和冗余性，增强了检测结果的可靠性，算法实现简单。本文提出了基于决策级融合的目标检测方法，该方法先通过帧间差累积和提取局部灰度图像，然后根据红外和可见光图像检测中心得到融合中心。分别对两种传感器局部灰度图像提取对比均值和均值特征，然后利用D?S证据理论进行决策级融合最终得到检测结果。

【】
  ［1］李振华, 敬忠良, 孙韶媛, 等. 基于目标检测的红外和可见光动态图像的融合 ［J］. 上海大学学报. 2005, 39(8)： 1304-1311.

　　［2］赵鹏, 浦昭邦, 张田文. 一种新的红外与可见光图像融合与跟踪方法 ［J］. 光电工程. 2005, 3(2): 37-41.

　　［3］Borghys D, Verlinde P, Perneel C, et al. Long?Rang Target Detection in a Cluttered Environment using Multi?Sensor Image Sequences ［A］. Signal Processing, Sensor Fusion and Target Recognition IV?SPIE?USA (Orlando), 1997, 20-25.

　　［4］Borghys D, Verlinde P, Perneel C, et al. Multi?level Data Fusion for the Detection of Targets using muti?spectral Image Sequences ［A］. SPIE/Optical Engineering, Special Issue on Sensor Fusion, 1998, 37(2), 1-14.

　　［5］李秋华, 李吉成, 沈振康. 基于D?S证据理论的红外小目标融合检测方法 ［J］. 系统工程与技术. 2006, 28(1): 26-30.

　　［6］李秋华, 李吉成, 沈振康. 采用D?S证据理论的双色红外小目标融合检测 ［J］. 红外与激光工程. 2005, 34(3): 266-271.

　　［7］曹炬, 谭毅华, 马杰, 等. 从移动背景红外序列图像中检测运动目标 ［J］. 电子与信息学报. 2005, 27(1): 43-46.

　　［8］李秋华, 李吉成, 沈振康. 基于多尺度特征融合的红外图像小目标检测 ［J］. 系统工程与电子技术. 2005, 27(9): 1557-1560.