技术领域

本发明涉及一种图像信号的处理方法，尤其是涉及一种立体图像重定位方法。

背景技术

随着立体显示技术的快速发展，各种具有不同立体显示功能的终端设备也广泛出现，但由于立体显示终端种类繁多，宽/高比规格不一，因此若将宽/高比一定的图像放在不同的立体显示终端上显示，就必须先对图像尺寸进行调整，以达到立体显示的效果。传统的图像缩放方法是通过裁剪或者是按固定比例进行缩放，这样做可能会出现图像中的内容减少或者导致显著物体变形。

对于立体图像而言，沿水平或垂直方向的拉伸或缩小处理会严重地影响立体效果，导致双目视差的变化，从而引起深度的失真，严重时会导致立体效果的丧失，因此，如何对立体图像的单个视点图像进行缩放以减少图像形变、突出显著内容，如何保证缩放后左视点图像与右视点图像的一致性，从而降低视觉不舒适、增强深度感，都是在对立体图像进行重定位过程中需要研究解决的问题。

发明内容

本发明所要解决的技术问题是提供一种符合显著语义特征，且能够有效地调整立体图像尺寸大小的立体图像重定位方法。

本发明解决上述技术问题所采用的技术方案为：一种立体图像重定位方法，其特征在于包括以下步骤：

①将待处理的立体图像的左视点图像记为{L_i(x,y)}，将待处理的立体图像的右视点图像记为{R_i(x,y)}，将待处理的立体图像的左视差图记为{d_L(x,y)}，其中，i＝1,2,3，1≤x≤W，1≤y≤H，W表示待处理的立体图像的宽度，H表示待处理的立体图像的高度，L_i(x,y)表示{L_i(x,y)}中坐标位置为(x,y)的像素点的第i个分量的颜色值，R_i(x,y)表示{R_i(x,y)}中坐标位置为(x,y)的像素点的第i个分量的颜色值，第1个分量为R分量、第2个分量为G分量、第3个分量为B分量，d_L(x,y)表示{d_L(x,y)}中坐标位置为(x,y)的像素点的像素值；

②采用超像素分割技术将{L_i(x,y)}分割成M个互不重叠的区域；然后将{L_i(x,y)}重新表示为M个区域的集合，记为{SP_h}；接着通过计算{SP_h}中的每个区域的颜色对比度、空间紧密度和深度显著值，获取{SP_h}中的每个区域的显著值；再将{SP_h}中的每个区域的显著值作为该区域中的所有像素点的显著值，从而得到{L_i(x,y)}的立体显著图，记为{S_stereo(x,y)}；其中，M≥1，SP_h表示{SP_h}中的第h个区域，1≤h≤M，S_stereo(x,y)表示{S_stereo(x,y)}中坐标位置为(x,y)的像素点的像素值，亦表示{L_i(x,y)}中坐标位置为(x,y)的像素点的显著值；

③利用人类立体视觉感知对背景光照和对比度的视觉掩蔽效应，提取出{L_i(x,y)}的双目最小可察觉变化图像，记为{J_L(x,y)}，其中，J_L(x,y)表示{J_L(x,y)}中坐标位置为(x,y)的像素点的像素值，亦表示{L_i(x,y)}中坐标位置为(x,y)的像素点的双目最小可察觉变化值；

④根据{d_L(x,y)}获取{L_i(x,y)}中的每个像素点的深度能量值，并根据{J_L(x,y)}获取{L_i(x,y)}中的每个像素点的掩蔽能量值和一致性能量值，然后根据{L_i(x,y)}中的每个像素点的深度能量值、掩蔽能量值和一致性能量值，得到{L_i(x,y)}的显著能量图，记为{E_stereo(x,y,x^*)}，其中，E_stereo(x,y,x^*)表示{E_stereo(x,y,x^*)}中坐标位置为(x,y)的像素点的像素值，亦表示{L_i(x,y)}中坐标位置为(x,y)的像素点的显著能量值，x^*表示坐标位置(x,y)的横坐标位置或与坐标位置(x,y)水平相邻的横坐标位置，x^*∈{x-1,x,x+1}；

⑤将重定位后的立体图像的宽度记为W'，将{L_i(x,y)}和{R_i(x,y)}各自的垂直缝隙的条数记为N_s，N_s＝W-W'，其中，W'<W；

⑥根据{S_stereo(x,y)}和{E_stereo(x,y,x^*)}，通过动态规划方法找出{L_i(x,y)}的N_s条垂直缝隙；然后获取{L_i(x,y)}中的每个属于遮挡区域的像素点的水平偏移值和每个属于匹配区域的像素点的水平偏移值；再根据{L_i(x,y)}中的每个属于遮挡区域的像素点的水平偏移值和每个属于匹配区域的像素点的水平偏移值，对{L_i(x,y)}的N_s条垂直缝隙进行调整，得到{L_i(x,y)}的N_s条最优垂直缝隙，将{L_i(x,y)}的第i'条最优垂直缝隙记为$$ \left\{{\tilde{S}}_{i^{\&prime;}}^L\left(y\right)\right|1\&le;y\&le;H\},$$其中，1≤i'≤N_s，表示$$ \left\{{\tilde{S}}_{i^{\&prime;}}^L\left(y\right)\right|1\&le;y\&le;H\}$$在纵坐标位置为y时的横坐标位置；

⑦根据{d_L(x,y)}和{L_i(x,y)}的N_s条最优垂直缝隙，找出{R_i(x,y)}的N_s条最优垂直缝隙，将{R_i(x,y)}的第i'条最优垂直缝隙记为$$ {\tilde{S}}_{i^{\&prime;}}^R\left(y\right)={\tilde{S}}_{i^{\&prime;}}^L\left(y\right)+d_L({\tilde{S}}_{i^{\&prime;}}^L\left(y\right),y),$$其中，1≤i'≤N_s，表示$$ \left\{{\tilde{S}}_{i^{\&prime;}}^R\left(y\right)\right|1\&le;y\&le;H\}$$在纵坐标位置为y时的横坐标位置，表示{d_L(x,y)}中坐标位置为的像素点的像素值；

⑧将{L_i(x,y)}中所有落在{L_i(x,y)}的N_s条最优垂直缝隙内的像素点删除，得到重定位后的左视点图像并将{R_i(x,y)}中所有落在{R_i(x,y)}的N_s条最优垂直缝隙内的像素点删除，得到重定位后的右视点图像根据重定位后的左视点图像和重定位后的右视点图像得到重定位后的立体图像，其中，1≤x₁≤W'，表示中坐标位置为(x₁,y)的像素点的第i个分量的颜色值，表示中坐标位置为(x₁,y)的像素点的第i个分量的颜色值。

所述的步骤②的具体过程为：

②-1、采用超像素分割技术将{L_i(x,y)}分割成M个互不重叠的区域，然后将{L_i(x,y)}重新表示为M个区域的集合，记为{SP_h}，其中，M≥1，SP_h表示{SP_h}中的第h个区域，1≤h≤M；

②-2、对{SP_h}中的每个区域中的每个像素点的各个分量的颜色值分别进行量化，得到{SP_h}中的每个区域的量化区域，将SP_h的量化区域记为{P_h,i(x_h,y_h)}，将{P_h,i(x_h,y_h)}中坐标位置为(x_h,y_h)的像素点的第i个分量的颜色值记为P_h,i(x_h,y_h)，假设{P_h,i(x_h,y_h)}中坐标位置为(x_h,y_h)的像素点在{L_i(x,y)}中的坐标位置为(x,y)，则其中，1≤x_h≤W_h,1≤y_h≤H_h，W_h表示SP_h的宽度，H_h表示SP_h的高度，符号为向下取整符号；

②-3、计算{SP_h}中的每个区域的量化区域的颜色直方图，将{P_h,i(x_h,y_h)}的颜色直方图记为其中，表示{P_h,i(x_h,y_h)}中属于第k种颜色的所有像素点的个数；

②-4、对{SP_h}中的每个区域的量化区域的颜色直方图进行归一化操作，得到对应的归一化后的颜色直方图，将对进行归一化操作后得到的归一化后的颜色直方图记为$$ \left\{{H^{\&prime;}}_{{\mathrm{SP}}_h}\left(k\right)\right|0\&le;k\&le;4095\},{H^{\&prime;}}_{{\mathrm{SP}}_h}\left(k\right)=\frac{H_{{\mathrm{SP}}_h}\left(k\right)}{\underset{h^{\&prime;}}{\overset{M}{\mathrm{\&Sigma;}}}{H}_{{\mathrm{SP}}_{h^{\&prime;}}}\left(k\right)},$$然后将以向量形式表示为其中，表示{P_h,i(x_h,y_h)}中属于第k种颜色的像素点的出现概率，表示{SP_h}中的第h'个区域SP_h'的量化区域{P_h',i(x_h',y_h')}中属于第k种颜色的所有像素点的个数，1≤x_h'≤W_h',1≤y_h'≤H_h'，W_h'表示{SP_h}中的第h'个区域SP_h'的宽度，H_h'表示{SP_h}中的第h'个区域SP_h'的高度，P_h',i(x_h',y_h')表示{P_h',i(x_h',y_h')}中坐标位置为(x_h',y_h')的像素点的第i个分量的颜色值，的维数为4096；

②-5、计算{SP_h}中的每个区域的颜色对比度，将SP_h的颜色对比度记为$$ {\mathrm{CC}}_{{\mathrm{SP}}_h}=\underset{q=1}{\overset{M}{\mathrm{\&Sigma;}}}(\exp (-{\left|\right|x_{{\mathrm{SP}}_h}-x_{{\mathrm{SP}}_q}\left|\right|}^2/2{\mathrm{\&sigma;}}_p^2)\&times;{\left|\right|h_{{\mathrm{SP}}_h}-h_{{\mathrm{SP}}_q}\left|\right|}^2),$$其中，exp()表示以自然基数e为底的指数函数，符号“‖‖”为求欧式距离符号，表示SP_h中的中心像素点的坐标位置，表示{SP_h}中的第q个区域中的中心像素点的坐标位置，表示{SP_h}中的第q个区域的量化区域的颜色直方图经归一化操作后得到的归一化后的颜色直方图的向量形式，σ_p表示高斯函数的标准差；

②-6、计算{SP_h}中的每个区域的空间紧密度，将SP_h的空间紧密度记为$$ {\mathrm{SC}}_{{\mathrm{SP}}_h}=\underset{q=1}{\overset{M}{\mathrm{\&Sigma;}}}(\exp (-{\left|\right|h_{{\mathrm{SP}}_h}-h_{{\mathrm{SP}}_q}\left|\right|}^2/2{\mathrm{\&sigma;}}_c^2)\&times;{\left|\right|x_{{\mathrm{SP}}_q}-u_{{\mathrm{SP}}_h}\left|\right|}^2),$$$$ u_{{\mathrm{SP}}_h}=\frac{\underset{q=1}{\overset{M}{\mathrm{\&Sigma;}}}{x}_{{\mathrm{SP}}_q}\&CenterDot;\exp (-{\left|\right|h_{{\mathrm{SP}}_h}-h_{{\mathrm{SP}}_q}\left|\right|}^2/2{\mathrm{\&sigma;}}_c^2)}{\underset{q=1}{\overset{M}{\mathrm{\&Sigma;}}}\exp (-{\left|\right|h_{{\mathrm{SP}}_h}-h_{{\mathrm{SP}}_q}\left|\right|}^2/2{\mathrm{\&sigma;}}_c^2)},$$其中，符号“‖‖”为求欧式距离符号，exp()表示以自然基数e为底的指数函数，σ_c表示高斯函数的标准差；

②-7、计算{SP_h}中的每个区域的深度显著值，将SP_h的深度显著值记为$$ {\mathrm{DS}}_{{\mathrm{SP}}_h}=\mathrm{\&alpha;}\&times;\left(\underset{q=1}{\overset{M}{\mathrm{\&Sigma;}}}(\exp (-{\left|\right|x_{{\mathrm{SP}}_h}-x_{{\mathrm{SP}}_q}\left|\right|}^2/2{\mathrm{\&sigma;}}_p^2)\&times;{({\stackrel{\&OverBar;}{d}}_h-{\stackrel{\&OverBar;}{d}}_q)}^2)\right)+(1-\mathrm{\&alpha;})\&times;\left(\frac{d_{h,\max }-{\stackrel{\&OverBar;}{d}}_h}{d_{h,\max }{-d}_{h,\min }}\right),$$其中，exp()表示以自然基数e为底的指数函数，符号“‖‖”为求欧式距离符号，表示{d_L(x,y)}中与SP_h对应的区域中的所有像素点的像素值均值，表示{d_L(x,y)}中与{SP_h}中的第q个区域对应的区域中的所有像素点的像素值均值，d_h,max表示{d_L(x,y)}中与SP_h对应的区域中的所有像素点的像素值按从大到小的顺序排序后，前1％的像素值对应的所有像素点的像素值均值；d_h,min表示{d_L(x,y)}中与SP_h对应的区域中的所有像素点的像素值按从大到小的顺序排序后，后1％的像素值对应的所有像素点的像素值均值，α为加权参数；

②-8、计算{SP_h}中的每个区域的显著值，将SP_h的显著值记为$$ S_{{\mathrm{SP}}_h}={\mathrm{CC}}_{{\mathrm{SP}}_h}\&times;{\mathrm{SC}}_{{\mathrm{SP}}_h}\&times;{\mathrm{DS}}_{{\mathrm{SP}}_h};$$

②-9、将{SP_h}中的每个区域的显著值作为该区域中的所有像素点的显著值，从而得到{L_i(x,y)}的立体显著图，记为{S_stereo(x,y)}，其中，S_stereo(x,y)表示{S_stereo(x,y)}中坐标位置为(x,y)的像素点的像素值。

所述的步骤③的具体过程为：

③-1、计算{L_i(x,y)}的亮度掩蔽效应的可视化阈值集合，记为{T_l(x,y)}，将{L_i(x,y)}中坐标位置为(x,y)的像素点的亮度掩蔽效应的可视化阈值记为T_l(x,y)，其中，bg_l(x,y)表示{L_i(x,y)}中以坐标位置为(x,y)的像素点为中心的5×5窗口内的所有像素点的亮度平均值；

③-2、计算{L_i(x,y)}的对比度掩蔽效应的可视化阈值集合，记为{T_c(x,y)}，将{L_i(x,y)}中坐标位置为(x,y)的像素点的对比度掩蔽效应的可视化阈值记为T_c(x,y)，T_c(x,y)＝K(bg_l(x,y))+eh_l(x,y)，其中，eh_l(x,y)表示对{L_i(x,y)}中坐标位置为(x,y)的像素点分别进行水平方向和垂直方向边缘滤波后得到的平均梯度值，K(bg_l(x,y))＝-10^-6×(0.7×(bg_l(x,y))²+32×bg_l(x,y))+0.07；

③-3、对{T_l(x,y)}和{T_c(x,y)}进行融合，得到{L_i(x,y)}的双目最小可察觉变化图像，记为{J_L(x,y)}，将{J_L(x,y)}中坐标位置为(x,y)的像素点的像素值记为J_L(x,y)，J_L(x,y)＝T_l(x,y)+T_c(x,y)。

所述的步骤④的具体过程为：

④-1、计算{L_i(x,y)}中的每个像素点的深度能量值，将{L_i(x,y)}中坐标位置为(x,y)的像素点的深度能量值记为E_dg(x,y,x^*)，E_dg(x,y,x^*)＝E_hor(x,y)+E_ver(x,y,x^*)，其中，x^*表示坐标位置(x,y)的横坐标位置或与坐标位置(x,y)水平相邻的横坐标位置，x^*∈{x-1,x,x+1}，E_hor(x,y)＝|d_L(x-1,y)-d_L(x+1,y)|，如果x-1<1，则d_L(x-1,y)＝d_L(1,y)，如果x+1>W，则d_L(x+1,y)＝d_L(W,y)，如果y-1<1，则d_L(k,y-1)＝d_L(k,1)，d_L(k-1,y-1)＝d_L(k-1,1)，如果k+1>W，则d_L(k+1,y)＝d_L(W,y)，如果k-1>W，则d_L(k-1,y-1)＝d_L(W,y-1)，d_L(x-1,y)、d_L(1,y)、d_L(x+1,y)、d_L(W,y)、d_L(k,y-1)、d_L(k,1)、d_L(k-1,y-1)、d_L(k-1,1)、d_L(k+1,y)、d_L(W,y-1)对应表示{d_L(x,y)}中坐标位置为(x-1,y)、(1,y)、(x+1,y)、(W,y)、(k,y-1)、(k,1)、(k-1,y-1)、(k-1,1)、(k+1,y)、(W,y-1)的像素点的像素值，符号“||”为取绝对值符号；

④-2、计算{L_i(x,y)}中的每个像素点的掩蔽能量值，将{L_i(x,y)}中坐标位置为(x,y)的像素点的掩蔽能量值记为E_ig(x,y)，其中，max()为取最大值函数，I_l(x,y)表示{L_i(x,y)}中坐标位置为(x,y)的像素点的亮度值，bg_l(x,y)表示{L_i(x,y)}中以坐标位置为(x,y)的像素点为中心的5×5窗口内的所有像素点的亮度平均值，符号“||”为取绝对值符号，c_J为调节参数；

④-3、计算{L_i(x,y)}中的每个像素点的一致性能量值，将{L_i(x,y)}中坐标位置为(x,y)的像素点的一致性能量值记为E_cg(x,y)，其中，E(x,y)＝|I_l(x,y)-I_r(x+d_L(x,y),y)|，符号“||”为取绝对值符号，I_r(x+d_L(x,y),y)表示{R_i(x,y)}中坐标位置为(x+d_L(x,y),y)的像素点的亮度值；

④-4、根据{L_i(x,y)}中的每个像素点的深度能量值、掩蔽能量值和一致性能量值，得到{L_i(x,y)}的显著能量图，记为{E_stereo(x,y,x^*)}，将{E_stereo(x,y,x^*)}中坐标位置为(x,y)的像素点的像素值记为E_stereo(x,y,x^*)，E_stereo(x,y,x^*)＝E_dg(x,y,x^*)+E_ig(x,y)+E_cg(x,y)。

所述的步骤⑥的具体过程为：

⑥-1、根据{S_stereo(x,y)}和{E_stereo(x,y,x^*)}，计算{L_i(x,y)}中的每个像素点的累计能量值，将{L_i(x,y)}中坐标位置为(x,y)的像素点的累计能量值记为M(x,y)，$$ M(x,y)=\mathrm{\&beta;}\&times;S_{\mathrm{stereo}}(x,y)+\underset{x^{*}\&Element;\{x-1,x,x+1\}}{\min }{E}_{\mathrm{stereo}}(x,y,x^{*}),$$其中，min()为取最小值函数，E_stereo(x,y,x^*)表示{E_stereo(x,y,x^*)}中坐标位置为(x,y)的像素点的像素值，β为控制参数；

⑥-2、根据{L_i(x,y)}中的每个像素点的累计能量值，采用动态规划方法找出{L_i(x,y)}中从y＝1到y＝H的N_s条成本最小的路径，将每条成本最小的路径作为{L_i(x,y)}的一条垂直缝隙，将{L_i(x,y)}的第i'条垂直缝隙记为其中，1≤i'≤N_s，表示在纵坐标位置为y时的横坐标位置；

⑥-3、根据{d_L(x,y)}中的每个像素点的像素值，判定{L_i(x,y)}中的每个像素点属于遮挡区域还是属于匹配区域；对于{L_i(x,y)}中坐标位置为(x,y)的像素点，如果d_L(x,y)＝255，则判定该像素点属于遮挡区域，如果d_L(x,y)≠255，则判定该像素点属于匹配区域；

⑥-4、计算{L_i(x,y)}中的每个像素点的水平偏移值，将{L_i(x,y)}中坐标位置为(x,y)的像素点的水平偏移值记为P(x,y)，其中，如果{L_i(x,y)}中与坐标位置为(x,y)的像素点在同一水平位置、位于坐标位置为(x,y)的像素点的左侧且属于匹配区域的像素点存在，及{L_i(x,y)}中与坐标位置为(x,y)的像素点在同一水平位置、位于坐标位置为(x,y)的像素点的右侧且属于匹配区域的像素点存在，则令如果{L_i(x,y)}中与坐标位置为(x,y)的像素点在同一水平位置、位于坐标位置为(x,y)的像素点的左侧且属于匹配区域的像素点不存在，而{L_i(x,y)}中与坐标位置为(x,y)的像素点在同一水平位置、位于坐标位置为(x,y)的像素点的右侧且属于匹配区域的像素点存在，则令a＝x_R-x；如果{L_i(x,y)}中与坐标位置为(x,y)的像素点在同一水平位置、位于坐标位置为(x,y)的像素点的左侧且属于匹配区域的像素点存在，而{L_i(x,y)}中与坐标位置为(x,y)的像素点在同一水平位置、位于坐标位置为(x,y)的像素点的右侧且属于匹配区域的像素点不存在，则令a＝x_L-x；如果{L_i(x,y)}中与坐标位置为(x,y)的像素点在同一水平位置、位于坐标位置为(x,y)的像素点的左侧且属于匹配区域的像素点不存在，及{L_i(x,y)}中与坐标位置为(x,y)的像素点在同一水平位置、位于坐标位置为(x,y)的像素点的右侧且属于匹配区域的像素点不存在，则令a＝0，x_L<x，x_R>x，x_L表示{L_i(x,y)}中与坐标位置为(x,y)的像素点在同一水平位置且左侧距离最近的属于匹配区域的像素点的横坐标位置，x_R表示{L_i(x,y)}中与坐标位置为(x,y)的像素点在同一水平位置且右侧距离最近的属于匹配区域的像素点的横坐标位置，M(x_L,y)表示{L_i(x,y)}中坐标位置为(x_L,y)的像素点的累计能量值，M(x_R,y)表示{L_i(x,y)}中坐标位置为(x_R,y)的像素点的累计能量值；

⑥-5、根据{L_i(x,y)}中的每个像素点的水平偏移值，对{L_i(x,y)}的N_s条垂直缝隙进行调整，得到{L_i(x,y)}的N_s条最优垂直缝隙，将{L_i(x,y)}的第i'条最优垂直缝隙记为$$ \left\{{\tilde{S}}_{i^{\&prime;}}^L\left(y\right)\right|1\&le;y\&le;H\},{\tilde{S}}_{i^{\&prime;}}^L\left(y\right)=S_{i^{\&prime;}}^L\left(y\right)+P(S_{i^{\&prime;}}^L\left(y\right),y),$$其中，表示$$ \left\{{\tilde{S}}_{i^{\&prime;}}^L\left(y\right)\right|1\&le;y\&le;H\}$$在纵坐标位置为y时的横坐标位置，表示{L_i(x,y)}中坐标位置为的像素点的水平偏移值。

与现有技术相比，本发明的优点在于：

1)本发明方法通过提取左视点图像的立体显著图和显著能量图，并通过动态规划方法找出左视点图像的所有垂直缝隙，然后根据左视点图像中的每个像素点的水平偏移值对左视点图像的所有垂直缝隙进行调整，获取所有最优垂直缝隙，这样使得获得的重定位图像能够较好地保留重要的显著语义信息。

2)本发明方法对穿过遮挡区域的缝隙进行调整，从而保证保留重定位后的图像保留重要的遮挡信息，同时又保证右视点图像的缝隙与左视点图像的缝隙是匹配的，从而能够增强重定位后的立体图像的深度感。

附图说明

图1为本发明方法的总体实现框图；

图2a为“Image1”的原始图像的“红/绿”图；

图2b为“Image1”重定位到原始图像宽度85％后的“红/绿”图；

图2c为“Image1”重定位到原始图像宽度70％后的“红/绿”图；

图2d为“Image1”重定位到原始图像宽度60％后的“红/绿”图；

图3a为“Image2”的原始图像的“红/绿”图；

图3b为“Image2”重定位到原始图像宽度85％后的“红/绿”图；

图3c为“Image2”重定位到原始图像宽度70％后的“红/绿”图；

图3d为“Image2”重定位到原始图像宽度60％后的“红/绿”图；

图4a为“Image3”的原始图像的“红/绿”图；

图4b为“Image3”重定位到原始图像宽度85％后的“红/绿”图；

图4c为“Image3”重定位到原始图像宽度70％后的“红/绿”图；

图4d为“Image3”重定位到原始图像宽度60％后的“红/绿”图；

图5a为“Image4”的原始图像的“红/绿”图；

图5b为“Image4”重定位到原始图像宽度85％后的“红/绿”图；

图5c为“Image4”重定位到原始图像宽度70％后的“红/绿”图；

图5d为“Image4”重定位到原始图像宽度60％后的“红/绿”图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的一种立体图像重定位方法，其总体实现框图如图1所示，其包括以下步骤：

①将待处理的立体图像的左视点图像记为{L_i(x,y)}，将待处理的立体图像的右视点图像记为{R_i(x,y)}，将待处理的立体图像的左视差图记为{d_L(x,y)}，其中，i＝1,2,3，1≤x≤W，1≤y≤H，W表示待处理的立体图像的宽度，H表示待处理的立体图像的高度，L_i(x,y)表示{L_i(x,y)}中坐标位置为(x,y)的像素点的第i个分量的颜色值，R_i(x,y)表示{R_i(x,y)}中坐标位置为(x,y)的像素点的第i个分量的颜色值，第1个分量为R分量、第2个分量为G分量、第3个分量为B分量，d_L(x,y)表示{d_L(x,y)}中坐标位置为(x,y)的像素点的像素值。

②采用现有的超像素分割技术将{L_i(x,y)}分割成M个互不重叠的区域；然后将{L_i(x,y)}重新表示为M个区域的集合，记为{SP_h}；接着通过计算{SP_h}中的每个区域的颜色对比度、空间紧密度和深度显著值，获取{SP_h}中的每个区域的显著值；再将{SP_h}中的每个区域的显著值作为该区域中的所有像素点的显著值，从而得到{L_i(x,y)}的立体显著图，记为{S_stereo(x,y)}；其中，M≥1，SP_h表示{SP_h}中的第h个区域，1≤h≤M，S_stereo(x,y)表示{S_stereo(x,y)}中坐标位置为(x,y)的像素点的像素值，亦表示{L_i(x,y)}中坐标位置为(x,y)的像素点的显著值。

在此具体实施例中，步骤②的具体过程为：

②-1、采用现有的超像素分割技术将{L_i(x,y)}分割成M个互不重叠的区域，然后将{L_i(x,y)}重新表示为M个区域的集合，记为{SP_h}，其中，M≥1，在本实施例中可取M＝200，SP_h表示{SP_h}中的第h个区域，1≤h≤M。

②-2、对{SP_h}中的每个区域中的每个像素点的各个分量的颜色值分别进行量化，得到{SP_h}中的每个区域的量化区域，将SP_h的量化区域记为{P_h,i(x_h,y_h)}，将{P_h,i(x_h,y_h)}中坐标位置为(x_h,y_h)的像素点的第i个分量的颜色值记为P_h,i(x_h,y_h)，假设{P_h,i(x_h,y_h)}中坐标位置为(x_h,y_h)的像素点在{L_i(x,y)}中的坐标位置为(x,y)，则其中，1≤x_h≤W_h,1≤y_h≤H_h，W_h表示SP_h的宽度，H_h表示SP_h的高度，符号为向下取整符号。

②-3、计算{SP_h}中的每个区域的量化区域的颜色直方图，将{P_h,i(x_h,y_h)}的颜色直方图记为其中，表示{P_h,i(x_h,y_h)}中属于第k种颜色的所有像素点的个数。

②-4、对{SP_h}中的每个区域的量化区域的颜色直方图进行归一化操作，得到对应的归一化后的颜色直方图，将对进行归一化操作后得到的归一化后的颜色直方图记为$$ \left\{{H^{\&prime;}}_{{\mathrm{SP}}_h}\left(k\right)\right|0\&le;k\&le;4095\},{H^{\&prime;}}_{{\mathrm{SP}}_h}\left(k\right)=\frac{H_{{\mathrm{SP}}_h}\left(k\right)}{\underset{h^{\&prime;}}{\overset{M}{\mathrm{\&Sigma;}}}{H}_{{\mathrm{SP}}_{h^{\&prime;}}}\left(k\right)},$$然后将以向量形式表示为其中，表示{P_h,i(x_h,y_h)}中属于第k种颜色的像素点的出现概率，H_SPh'(k)表示{SP_h}中的第h'个区域SP_h'的量化区域{P_h',i(x_h',y_h')}中属于第k种颜色的所有像素点的个数，1≤x_h'≤W_h',1≤y_h'≤H_h'，W_h'表示{SP_h}中的第h'个区域SP_h'的宽度，H_h'表示{SP_h}中的第h'个区域SP_h'的高度，P_h',i(x_h',y_h')表示{P_h',i(x_h',y_h')}中坐标位置为(x_h',y_h')的像素点的第i个分量的颜色值，的维数为4096。

②-5、计算{SP_h}中的每个区域的颜色对比度，将SP_h的颜色对比度记为$$ {\mathrm{CC}}_{{\mathrm{SP}}_h}=\underset{q=1}{\overset{M}{\mathrm{\&Sigma;}}}(\exp (-{\left|\right|x_{{\mathrm{SP}}_h}-x_{{\mathrm{SP}}_q}\left|\right|}^2/2{\mathrm{\&sigma;}}_p^2)\&times;{\left|\right|h_{{\mathrm{SP}}_h}-h_{{\mathrm{SP}}_q}\left|\right|}^2),$$其中，exp()表示以自然基数e为底的指数函数，e＝2.71828183…，符号“‖‖”为求欧式距离符号，表示SP_h中的中心像素点的坐标位置，表示{SP_h}中的第q个区域中的中心像素点的坐标位置，表示{SP_h}中的第q个区域的量化区域的颜色直方图经归一化操作后得到的归一化后的颜色直方图的向量形式，σ_p表示高斯函数的标准差，在本实施例中取σ_p＝0.4。

②-6、计算{SP_h}中的每个区域的空间紧密度，将SP_h的空间紧密度记为SC_SPh，$$ {\mathrm{SC}}_{{\mathrm{SP}}_h}=\underset{q=1}{\overset{M}{\mathrm{\&Sigma;}}}(\exp (-{\left|\right|h_{{\mathrm{SP}}_h}-h_{{\mathrm{SP}}_q}\left|\right|}^2/2{\mathrm{\&sigma;}}_c^2)\&times;{\left|\right|x_{{\mathrm{SP}}_q}-u_{{\mathrm{SP}}_h}\left|\right|}^2),$$$$ u_{{\mathrm{SP}}_h}=\frac{\underset{q=1}{\overset{M}{\mathrm{\&Sigma;}}}{x}_{{\mathrm{SP}}_q}\&CenterDot;\exp (-{\left|\right|h_{{\mathrm{SP}}_h}-h_{{\mathrm{SP}}_q}\left|\right|}^2/2{\mathrm{\&sigma;}}_c^2)}{\underset{q=1}{\overset{M}{\mathrm{\&Sigma;}}}\exp (-{\left|\right|h_{{\mathrm{SP}}_h}-h_{{\mathrm{SP}}_q}\left|\right|}^2/2{\mathrm{\&sigma;}}_c^2)},$$其中，符号“‖‖”为求欧式距离符号，exp()表示以自然基数e为底的指数函数，σ_c表示高斯函数的标准差，在本实施例中取σ_c＝0.9。

②-7、计算{SP_h}中的每个区域的深度显著值，将SP_h的深度显著值记为$$ {\mathrm{DS}}_{{\mathrm{SP}}_h}=\mathrm{\&alpha;}\&times;\left(\underset{q=1}{\overset{M}{\mathrm{\&Sigma;}}}(\exp (-{\left|\right|x_{{\mathrm{SP}}_h}-x_{{\mathrm{SP}}_q}\left|\right|}^2/2{\mathrm{\&sigma;}}_p^2)\&times;{({\stackrel{\&OverBar;}{d}}_h-{\stackrel{\&OverBar;}{d}}_q)}^2)\right)+(1-\mathrm{\&alpha;})\&times;\left(\frac{d_{h,\max }-{\stackrel{\&OverBar;}{d}}_h}{d_{h,\max }{-d}_{h,\min }}\right),$$其中，exp()表示以自然基数e为底的指数函数，符号“‖‖”为求欧式距离符号，表示{d_L(x,y)}中与SP_h对应的区域中的所有像素点的像素值均值，表示{d_L(x,y)}中与{SP_h}中的第q个区域对应的区域中的所有像素点的像素值均值，d_h,max表示{d_L(x,y)}中与SP_h对应的区域中的所有像素点的像素值按从大到小的顺序排序后，前1％的像素值对应的所有像素点的像素值均值；d_h,min表示{d_L(x,y)}中与SP_h对应的区域中的所有像素点的像素值按从大到小的顺序排序后，后1％的像素值对应的所有像素点的像素值均值，α为加权参数，在本实施例中取α＝0.8。

②-8、计算{SP_h}中的每个区域的显著值，将SP_h的显著值记为$$ S_{{\mathrm{SP}}_h}={\mathrm{CC}}_{{\mathrm{SP}}_h}\&times;{\mathrm{SC}}_{{\mathrm{SP}}_h}\&times;{\mathrm{DS}}_{{\mathrm{SP}}_h}.$$

②-9、将{SP_h}中的每个区域的显著值作为该区域中的所有像素点的显著值，从而得到{L_i(x,y)}的立体显著图，记为{S_stereo(x,y)}，其中，S_stereo(x,y)表示{S_stereo(x,y)}中坐标位置为(x,y)的像素点的像素值。

③利用人类立体视觉感知对背景光照和对比度的视觉掩蔽效应，提取出{L_i(x,y)}的双目最小可察觉变化图像，记为{J_L(x,y)}，其中，J_L(x,y)表示{J_L(x,y)}中坐标位置为(x,y)的像素点的像素值，亦表示{L_i(x,y)}中坐标位置为(x,y)的像素点的双目最小可察觉变化值。

在此具体实施例中，步骤③的具体过程为：

③-1、计算{L_i(x,y)}的亮度掩蔽效应的可视化阈值集合，记为{T_l(x,y)}，将{L_i(x,y)}中坐标位置为(x,y)的像素点的亮度掩蔽效应的可视化阈值记为T_l(x,y)，其中，bg_l(x,y)表示{L_i(x,y)}中以坐标位置为(x,y)的像素点为中心的5×5窗口内的所有像素点的亮度平均值。

③-2、计算{L_i(x,y)}的对比度掩蔽效应的可视化阈值集合，记为{T_c(x,y)}，将{L_i(x,y)}中坐标位置为(x,y)的像素点的对比度掩蔽效应的可视化阈值记为T_c(x,y)，T_c(x,y)＝K(bg_l(x,y))+eh_l(x,y)，其中，eh_l(x,y)表示对{L_i(x,y)}中坐标位置为(x,y)的像素点分别进行水平方向和垂直方向边缘滤波后得到的平均梯度值，K(bg_l(x,y))＝-10^-6×(0.7×(bg_l(x,y))²+32×bg_l(x,y))+0.07。

③-3、对{T_l(x,y)}和{T_c(x,y)}进行融合，得到{L_i(x,y)}的双目最小可察觉变化图像，记为{J_L(x,y)}，将{J_L(x,y)}中坐标位置为(x,y)的像素点的像素值记为J_L(x,y)，J_L(x,y)＝T_l(x,y)+T_c(x,y)。

④根据{d_L(x,y)}获取{L_i(x,y)}中的每个像素点的深度能量值，并根据{J_L(x,y)}获取{L_i(x,y)}中的每个像素点的掩蔽能量值和一致性能量值，然后根据{L_i(x,y)}中的每个像素点的深度能量值、掩蔽能量值和一致性能量值，得到{L_i(x,y)}的显著能量图，记为{E_stereo(x,y,x^*)}，其中，E_stereo(x,y,x^*)表示{E_stereo(x,y,x^*)}中坐标位置为(x,y)的像素点的像素值，亦表示{L_i(x,y)}中坐标位置为(x,y)的像素点的显著能量值，x^*表示坐标位置(x,y)的横坐标位置或与坐标位置(x,y)水平相邻的横坐标位置，x^*∈{x-1,x,x+1}。

在此具体实施例中，步骤④的具体过程为：

④-1、计算{L_i(x,y)}中的每个像素点的深度能量值，将{L_i(x,y)}中坐标位置为(x,y)的像素点的深度能量值记为E_dg(x,y,x^*)，E_dg(x,y,x^*)＝E_hor(x,y)+E_ver(x,y,x^*)，其中，x^*表示坐标位置(x,y)的横坐标位置或与坐标位置(x,y)水平相邻的横坐标位置，x^*∈{x-1,x,x+1}，E_hor(x,y)＝|d_L(x-1,y)-d_L(x+1,y)|，根据x^*与坐标位置(x,y)的位置关系，E_ver(x,y,x^*)有3种可能的取值，如果x-1<1，则d_L(x-1,y)＝d_L(1,y)，如果x+1>W，则d_L(x+1,y)＝d_L(W,y)，如果y-1<1，则d_L(k,y-1)＝d_L(k,1)，d_L(k-1,y-1)＝d_L(k-1,1)，如果k+1>W，则d_L(k+1,y)＝d_L(W,y)，如果k-1>W，则d_L(k-1,y-1)＝d_L(W,y-1)，d_L(x-1,y)、d_L(1,y)、d_L(x+1,y)、d_L(W,y)、d_L(k,y-1)、d_L(k,1)、d_L(k-1,y-1)、d_L(k-1,1)、d_L(k+1,y)、d_L(W,y-1)对应表示{d_L(x,y)}中坐标位置为(x-1,y)、(1,y)、(x+1,y)、(W,y)、(k,y-1)、(k,1)、(k-1,y-1)、(k-1,1)、(k+1,y)、(W,y-1)的像素点的像素值，符号“||”为取绝对值符号。

④-2、计算{L_i(x,y)}中的每个像素点的掩蔽能量值，将{L_i(x,y)}中坐标位置为(x,y)的像素点的掩蔽能量值记为E_ig(x,y)，其中，max()为取最大值函数，I_l(x,y)表示{L_i(x,y)}中坐标位置为(x,y)的像素点的亮度值，bg_l(x,y)表示{L_i(x,y)}中以坐标位置为(x,y)的像素点为中心的5×5窗口内的所有像素点的亮度平均值，符号“||”为取绝对值符号，c_J为调节参数，在本实施例中取c_J＝0.5。

④-3、计算{L_i(x,y)}中的每个像素点的一致性能量值，将{L_i(x,y)}中坐标位置为(x,y)的像素点的一致性能量值记为E_cg(x,y)，其中，E(x,y)＝|I_l(x,y)-I_r(x+d_L(x,y),y)|，符号“||”为取绝对值符号，I_r(x+d_L(x,y),y)表示{R_i(x,y)}中坐标位置为(x+d_L(x,y),y)的像素点的亮度值。

④-4、根据{L_i(x,y)}中的每个像素点的深度能量值、掩蔽能量值和一致性能量值，得到{L_i(x,y)}的显著能量图，记为{E_stereo(x,y,x^*)}，将{E_stereo(x,y,x^*)}中坐标位置为(x,y)的像素点的像素值记为E_stereo(x,y,x^*)，E_stereo(x,y,x^*)＝E_dg(x,y,x^*)+E_ig(x,y)+E_cg(x,y)。

⑤将重定位后的立体图像的宽度记为W'，将{L_i(x,y)}和{R_i(x,y)}各自的垂直缝隙的条数记为N_s，N_s＝W-W'，其中，W'<W。

在具体实施时，只在水平方向进行缩放，W'的值选取应当适当，如果W'的值过小，由于需要移除的信息过多，会导致缩放后的图像出现不自然的变形，因此在本实施例中取W×40％≤W'<W。

⑥根据{S_stereo(x,y)}和{E_stereo(x,y,x^*)}，采用现有的动态规划方法找出{L_i(x,y)}的N_s条垂直缝隙；然后获取{L_i(x,y)}中的每个属于遮挡区域的像素点的水平偏移值和每个属于匹配区域的像素点的水平偏移值；再根据{L_i(x,y)}中的每个属于遮挡区域的像素点的水平偏移值和每个属于匹配区域的像素点的水平偏移值，对{L_i(x,y)}的N_s条垂直缝隙进行调整，得到{L_i(x,y)}的N_s条最优垂直缝隙，将{L_i(x,y)}的第i'条最优垂直缝隙记为$$ \left\{{\tilde{S}}_{i^{\&prime;}}^L\left(y\right)\right|1\&le;y\&le;H\},$$其中，1≤i'≤N_s，表示$$ \left\{{\tilde{S}}_{i^{\&prime;}}^L\left(y\right)\right|1\&le;y\&le;H\}$$在纵坐标位置为y时的横坐标位置。

在此具体实施例中，步骤⑥的具体过程为：

⑥-1、根据{S_stereo(x,y)}和{E_stereo(x,y,x^*)}，计算{L_i(x,y)}中的每个像素点的累计能量值，将{L_i(x,y)}中坐标位置为(x,y)的像素点的累计能量值记为M(x,y)，$$ M(x,y)=\mathrm{\&beta;}\&times;S_{\mathrm{stereo}}(x,y)+\underset{x^{*}\&Element;\{x-1,x,x+1\}}{\min }{E}_{\mathrm{stereo}}(x,y,x^{*}),$$其中，min()为取最小值函数，E_stereo(x,y,x^*)表示{E_stereo(x,y,x^*)}中坐标位置为(x,y)的像素点的像素值，β为控制参数，在本实施例中取β＝0.3。

⑥-2、根据{L_i(x,y)}中的每个像素点的累计能量值，采用现有的动态规划方法找出{L_i(x,y)}中从y＝1到y＝H的N_s条成本最小的路径，将每条成本最小的路径作为{L_i(x,y)}的一条垂直缝隙，将{L_i(x,y)}的第i'条垂直缝隙记为其中，1≤i'≤N_s，表示在纵坐标位置为y时的横坐标位置。

⑥-3、根据{d_L(x,y)}中的每个像素点的像素值，判定{L_i(x,y)}中的每个像素点属于遮挡区域还是属于匹配区域；对于{L_i(x,y)}中坐标位置为(x,y)的像素点，如果d_L(x,y)＝255，则判定该像素点属于遮挡区域，如果d_L(x,y)≠255，则判定该像素点属于匹配区域。

⑥-4、计算{L_i(x,y)}中的每个像素点的水平偏移值，将{L_i(x,y)}中坐标位置为(x,y)的像素点的水平偏移值记为P(x,y)，其中，如果{L_i(x,y)}中与坐标位置为(x,y)的像素点在同一水平位置、位于坐标位置为(x,y)的像素点的左侧且属于匹配区域的像素点存在，及{L_i(x,y)}中与坐标位置为(x,y)的像素点在同一水平位置、位于坐标位置为(x,y)的像素点的右侧且属于匹配区域的像素点存在，则令如果{L_i(x,y)}中与坐标位置为(x,y)的像素点在同一水平位置、位于坐标位置为(x,y)的像素点的左侧且属于匹配区域的像素点不存在，而{L_i(x,y)}中与坐标位置为(x,y)的像素点在同一水平位置、位于坐标位置为(x,y)的像素点的右侧且属于匹配区域的像素点存在，则令a＝x_R-x；如果{L_i(x,y)}中与坐标位置为(x,y)的像素点在同一水平位置、位于坐标位置为(x,y)的像素点的左侧且属于匹配区域的像素点存在，而{L_i(x,y)}中与坐标位置为(x,y)的像素点在同一水平位置、位于坐标位置为(x,y)的像素点的右侧且属于匹配区域的像素点不存在，则令a＝x_L-x；如果{L_i(x,y)}中与坐标位置为(x,y)的像素点在同一水平位置、位于坐标位置为(x,y)的像素点的左侧且属于匹配区域的像素点不存在，及{L_i(x,y)}中与坐标位置为(x,y)的像素点在同一水平位置、位于坐标位置为(x,y)的像素点的右侧且属于匹配区域的像素点不存在，则令a＝0，x_L<x，x_R>x，x_L表示{L_i(x,y)}中与坐标位置为(x,y)的像素点在同一水平位置且左侧距离最近的属于匹配区域的像素点的横坐标位置，x_R表示{L_i(x,y)}中与坐标位置为(x,y)的像素点在同一水平位置且右侧距离最近的属于匹配区域的像素点的横坐标位置，M(x_L,y)表示{L_i(x,y)}中坐标位置为(x_L,y)的像素点的累计能量值，M(x_R,y)表示{L_i(x,y)}中坐标位置为(x_R,y)的像素点的累计能量值。

⑥-5、根据{L_i(x,y)}中的每个像素点的水平偏移值，对{L_i(x,y)}的N_s条垂直缝隙进行调整，得到{L_i(x,y)}的N_s条最优垂直缝隙，将{L_i(x,y)}的第i'条最优垂直缝隙记为$$ \left\{{\tilde{S}}_{i^{\&prime;}}^L\left(y\right)\right|1\&le;y\&le;H\},{\tilde{S}}_{i^{\&prime;}}^L\left(y\right)=S_{i^{\&prime;}}^L\left(y\right)+P(S_{i^{\&prime;}}^L\left(y\right),y),$$其中，表示$$ \left\{{\tilde{S}}_{i^{\&prime;}}^L\left(y\right)\right|1\&le;y\&le;H\}$$在纵坐标位置为y时的横坐标位置，表示{L_i(x,y)}中坐标位置为的像素点的水平偏移值。

⑦根据{d_L(x,y)}和{L_i(x,y)}的N_s条最优垂直缝隙，找出{R_i(x,y)}的N_s条最优垂直缝隙，将{R_i(x,y)}的第i'条最优垂直缝隙记为$$ {\tilde{S}}_{i^{\&prime;}}^R\left(y\right)={\tilde{S}}_{i^{\&prime;}}^L\left(y\right)+d_L({\tilde{S}}_{i^{\&prime;}}^L\left(y\right),y),$$其中，1≤i'≤N_s，表示$$ \left\{{\tilde{S}}_{i^{\&prime;}}^R\left(y\right)\right|1\&le;y\&le;H\}$$在纵坐标位置为y时的横坐标位置，表示{d_L(x,y)}中坐标位置为的像素点的像素值。

⑧将{L_i(x,y)}中所有落在{L_i(x,y)}的N_s条最优垂直缝隙内的像素点删除，得到重定位后的左视点图像并将{R_i(x,y)}中所有落在{R_i(x,y)}的N_s条最优垂直缝隙内的像素点删除，得到重定位后的右视点图像根据重定位后的左视点图像和重定位后的右视点图像得到重定位后的立体图像，其中，1≤x₁≤W'，表示中坐标位置为(x₁,y)的像素点的第i个分量的颜色值，表示中坐标位置为(x₁,y)的像素点的第i个分量的颜色值。

以下就利用本发明方法对法国南特大学提供的三维人眼跟踪数据库(3Deye-tracking database)中的Image1、Image2、Image3和Image4四组立体图像进行重定位实验。图2a给出了“Image1”的原始图像的“红/绿”图、图2b给出了“Image1”的重定位到原始图像宽度85％后的“红/绿”图、图2c给出了“Image1”的重定位到原始图像宽度70％后的“红/绿”图、图2d给出了“Image1”的重定位到原始图像宽度60％后的“红/绿”图；图3a给出了“Image2”的原始图像的“红/绿”图、图3b给出了“Image2”的重定位到原始图像宽度85％后的“红/绿”图、图3c给出了“Image2”的重定位到原始图像宽度70％后的“红/绿”图、图3d给出了“Image2”的重定位到原始图像宽度60％后的“红/绿”图；图4a给出了“Image3”的原始图像的“红/绿”图、图4b给出了“Image3”的重定位到原始图像宽度85％后的“红/绿”图、图4c给出了“Image3”的重定位到原始图像宽度70％后的“红/绿”图、图4d给出了“Image3”的重定位到原始图像宽度60％后的“红/绿”图；图5a给出了“Image4”的原始图像的“红/绿”图、图5b给出了“Image4”的重定位到原始图像宽度85％后的“红/绿”图、图5c给出了“Image4”的重定位到原始图像宽度70％后的“红/绿”图、图5d给出了“Image4”的重定位到原始图像宽度60％后的“红/绿”图。从图2a至图5d中可以看出，采用本发明方法得到的重定位图像能够较好地保留重要的显著语义信息，同时又能保证左视点图像与右视点图像的一致性。