技术领域

本发明涉及一种图像质量评价方法，尤其是涉及一种基于视觉感知的立体图像质量客观评价方法。

背景技术

随着图像编码技术和立体显示技术的迅速发展，立体图像技术受到了越来越广泛的关注与应用，已成为当前的一个研究热点。立体图像技术利用人眼的双目视差原理，双目各自独立地接收来自同一场景的左右视点图像，通过大脑融合形成双目视差，从而欣赏到具有深度感和逼真感的立体图像。由于采集系统、存储压缩及传输设备的影响，立体图像会不可避免地引入一系列的失真，而与单通道图像相比，立体图像需要同时保证两个通道的图像质量，对其进行质量评价具有非常重要的意义。然而，目前对立体图像质量缺乏有效的客观评价方法进行评价。因此，建立有效的立体图像质量客观评价模型具有十分重要的意义。

立体图像质量客观评价方法主要可以分为两类：1)基于图像质量的左右通道图像质量评价，其将平面图像质量评价方法直接应用于评价立体图像质量，然而对立体图像的左右视点图像进行融合产生立体感的过程还难以用简单的数学方法来表示，并且左右视点图像之间还存在相互影响，对左右视点图像进行简单线性加权难以有效地评价立体图像质量；2)基于立体感知的左右通道图像质量评价，其通过视差信息或深度信息来反映，然而由于目前视差估计及深度估计技术的局限，如何有效地对深度图像或视差图像质量进行评价以真实地表征立体感知特性，仍然是立体图像质量客观评价中的难点问题之一。因此，如何将图像质量和深度感知信息同时结合到评价方法中，使得评价结果更加感觉符合人类视觉系统，都是在对立体图像进行客观质量评价过程中需要研究解决的问题。

发明内容

本发明所要解决的技术问题是提供一种能够有效提高客观评价结果与主观感知的相关性的立体图像质量客观评价方法。

本发明解决上述技术问题所采用的技术方案为：一种基于视觉感知的立体图像质量客观评价方法，其特征在于包括以下步骤：

①令S_org为原始的无失真的立体图像，令S_dis为待评价的失真的立体图像，将S_org的左视点图像记为{L_org(x，y)}，将S_org的右视点图像记为{R_org(x，y)}，将S_dis的左视点图像记为{L_dis(x，y)}，将S_dis的右视点图像记为{R_dis(x，y)}，其中，(x，y)表示左视点图像和右视点图像中像素点的坐标位置，1≤x≤W，1≤y≤H，W表示左视点图像和右视点图像的宽度，H表示左视点图像和右视点图像的高度，L_org(x，y)表示S_org的左视点图像{L_org(x，y)}中坐标位置为(x，y)的像素点的像素值，R_org(x，y)表示S_org的右视点图像{R_org(x，y)}中坐标位置为(x，y)的像素点的像素值，L_dis(x，y)表示S_dis的左视点图像{L_dis(x，y)}中坐标位置为(x，y)的像素点的像素值，R_dis(x，y)表示S_dis的右视点图像{R_dis(x，y)}中坐标位置为(x，y)的像素点的像素值；

②利用人类视觉对背景光照和纹理的视觉掩蔽效应，分别提取出无失真的左视点图像{L_org(x，y)}和无失真的右视点图像{R_org(x，y)}的最小可察觉失真图像，将无失真的左视点图像{L_org(x，y)}的最小可察觉失真图像记为{J_L(x，y)}，将无失真的右视点图像{R_org(x，y)}的最小可察觉失真图像记为{J_R(x，y)}，其中，J_L(x，y)表示{J_L(x，y)}中坐标位置为(x，y)的像素点的像素值，J_R(x，y)表示{J_R(x，y)}中坐标位置为(x，y)的像素点的像素值；

③通过区域检测算法分别获得无失真的左视点图像{L_org(x，y)}和失真的左视点图像{L_dis(x，y)}、无失真的右视点图像{R_org(x，y)}和失真的右视点图像{R_dis(x，y)}中的每个8×8子块的块类型，记为p，其中，p∈{1，2，3，4}，p＝1表示强边缘块，p＝2表示弱边缘块，p＝3表示平滑块，p＝4表示纹理块；

④根据无失真的左视点图像{L_org(x，y)}的最小可察觉失真图像{J_L(x，y)}和无失真的右视点图像{R_org(x，y)}的最小可察觉失真图像{J_R(x，y)}，通过计算失真的左视点图像{L_dis(x，y)}中各种块类型的8×8子块的用于反映图像质量的空间噪声强度和用于反映图像质量的空间结构强度，及失真的右视点图像{R_dis(x，y)}中各种块类型的8×8子块的用于反映图像质量的空间噪声强度和用于反映图像质量的空间结构强度，分别得到失真的左视点图像{L_dis(x，y)}的用于反映图像质量的特征矢量和失真的右视点图像{R_dis(x，y)}的用于反映图像质量的特征矢量，再对失真的左视点图像{L_dis(x，y)}和失真的右视点图像{R_dis(x，y)}的用于反映图像质量的特征矢量进行线性加权，得到S_dis的用于反映图像质量的特征矢量，记为F_q；

⑤根据无失真的左视点图像{L_org(x，y)}的最小可察觉失真图像{J_L(x，y)}和无失真的右视点图像{R_org(x，y)}的最小可察觉失真图像{J_R(x，y)}，通过计算失真的左视点图像{L_dis(x，y)}和失真的右视点图像{R_dis(x，y)}的绝对差值图像中各种块类型的8×8子块的用于反映深度感知的空间噪声强度和用于反映深度感知的空间结构强度，得到S_dis的用于反映深度感知的特征矢量，记为F_s；

⑥将S_dis的用于反映图像质量的特征矢量F_q和用于反映深度感知的特征矢量F_s组成新的特征矢量，作为S_dis的特征矢量，记为X，X＝[F_q，F_s]，“[]”为矢量表示符号，[F_q，F_s]表示将特征矢量F_q和特征矢量F_s连接起来形成一个新的特征矢量；

⑦采用n幅无失真的立体图像，建立其在不同失真类型不同失真程度下的失真立体图像集合，该失真立体图像集合包括多幅失真的立体图像，利用主观质量评价方法分别获取失真立体图像集合中每幅失真的立体图像的平均主观评分差值，记为DMOS，DMOS＝100-MOS，其中，MOS表示主观评分均值，DMOS∈[0，100]，n≥1；

⑧采用与计算S_dis的特征矢量X相同的方法，分别计算失真立体图像集合中每幅失真的立体图像的特征矢量，对于失真立体图像集合中第i幅失真的立体图像的特征矢量，将其记为X_i，其中，1≤i≤n′，n′表示失真立体图像集合中包含的失真的立体图像的幅数；

⑨采用支持向量回归对失真立体图像集合中相同失真类型的所有的失真的立体图像的特征矢量进行训练，并利用训练得到的支持向量回归训练模型对同一失真类型的每幅失真的立体图像进行测试，计算得到失真立体图像集合中相同失真类型的每幅失真的立体图像的客观质量评价预测值，对于失真立体图像集合中第i幅失真的立体图像的客观质量评价预测值，将其记为Q_i，Q_i＝f(X_i)，f()为函数表示形式，Q_i＝f(X_i)表示Q_i为X_i的函数，其中，1≤i≤n′，n′表示失真立体图像集合中包含的失真的立体图像的幅数。

所述的步骤②的具体过程为：

②-1、计算无失真的左视点图像{L_org(x，y)}的背景光照的视觉掩蔽效应的可视化阈值集合，记为{T_l(x，y)}，其中，T_l(x，y)表示无失真的左视点图像{L_org(x，y)}中坐标位置为(x，y)的像素点的背景光照的视觉掩蔽效应的可视化阈值，表示无失真的左视点图像{L_org(x，y)}中以坐标位置为(x，y)的像素点为中心的5×5窗口内的所有像素点的亮度平均值；

②-2、计算无失真的左视点图像{L_org(x，y)}的纹理的视觉掩蔽效应的可视化阈值集合，记为{T_t(x，y)}，T_t(x，y)＝η×G(x，y)×W_e(x，y)，其中，T_t(x，y)表示无失真的左视点图像{L_org(x，y)}中坐标位置为(x，y)的像素点的纹理的视觉掩蔽效应的可视化阈值，η为大于0的控制因子，G(x，y)表示对无失真的左视点图像{L_org(x，y)}中坐标位置为(x，y)的像素点进行定向高通滤波得到的最大加权平均值，W_e(x，y)表示对无失真的左视点图像{L_org(x，y)}的边缘图像中坐标位置为(x，y)的像素点进行高斯低通滤波得到的边缘加权值；

②-3、对无失真的左视点图像{L_org(x，y)}的背景光照的视觉掩蔽效应的可视化阈值集合{T_l(x，y)}和纹理的视觉掩蔽效应的可视化阈值集合{T_t(x，y)}进行融合，得到无失真的左视点图像{L_org(x，y)}的最小可察觉失真图像，记为{J_L(x，y)}，J_L(x，y)＝T_l(x，y)+T_t(x，y)-C_l，t×min{T_l(x，y)，T_t(x，y)}，其中，C_l，t表示控制背景光照和纹理的视觉掩蔽效应重叠影响的参数，0＜C_l，t＜1，min{}为取最小值函数；

②-4、采用与步骤②-1至②-3相同的操作，获取无失真的右视点图像{R_org(x，y)}的最小可察觉失真图像，记为{J_R(x，y)}。

所述的步骤③中的区域检测算法的具体过程为：

③-1、分别将无失真的左视点图像{L_org(x，y)}和失真的左视点图像{L_dis(x，y)}分成个互不重叠的8×8子块，定义无失真的左视点图像{L_org(x，y)}中的第l个8×8子块为当前第一子块，记为定义失真的左视点图像{L_dis(x，y)}中的第l个8×8子块为当前第二子块，记为其中，(x₂，y₂)表示当前第一子块和当前第二子块中像素点的坐标位置，1≤x₂≤8，1≤y₂≤8，表示当前第一子块中坐标位置为(x₂，y₂)的像素点的像素值，表示当前第二子块中坐标位置为(x₂，y₂)的像素点的像素值；

③-2、分别计算当前第一子块和当前第二子块中所有像素点的梯度值，对于当前第一子块中坐标位置为(x₂′，y₂′)的像素点，将其梯度值记为P_o(x₂′，y₂′)，P_o(x₂′，y₂′)＝|G_ox(x₂′，y₂′)|+|G_oy(x₂′，y₂′)|，对于当前第二子块中坐标位置为(x₂′，y₂′)的像素点，将其梯度值记为P_d(x₂′，y₂′)，P_d(x₂′，y₂′)＝|G_dx(x₂′，y₂′)|+|G_dy(x₂′，y₂′)|，其中，1≤x₂′≤8，1≤y₂′≤8，G_ox(x₂′，y₂′)表示当前第一子块中坐标位置为(x₂′，y₂′)的像素点的水平梯度值，G_oy(x₂′，y₂′)表示当前第一子块中坐标位置为(x₂′，y₂′)的像素点的垂直梯度值，G_dx(x₂′，y₂′)表示当前第二子块中坐标位置为(x₂′，y₂′)的像素点的水平梯度值，G_dy(x₂′，y₂′)表示当前第二子块中坐标位置为(x₂′，y₂′)的像素点的垂直梯度值，“||”为求绝对值符号；

③-3、找出当前第一子块中所有像素点的梯度值的最大值，记为G_max，然后根据G_max计算第一梯度阈值和第二梯度阈值，分别记为T₁和T₂，T₁＝0.12×G_max，T₂＝0.06×G_max；

③-4、对于当前第一子块中坐标位置为(x₂′，y₂′)的像素点和当前第二子块中坐标位置为(x₂′，y₂′)的像素点，判断P_o(x₂′，y₂′)＞T₁且P_d(x₂′，y₂′)＞T₁是否成立，如果是，则判定当前第一子块中坐标位置为(x₂′，y₂′)的像素点和当前第二子块中坐标位置为(x₂′，y₂′)的像素点均为强边缘区域，Num₁＝Nun₁+1，然后执行步骤③-8，否则，执行步骤③-5，其中，Num₁的初始值为0；

③-5、判断P_o(x₂′，y₂′)＞T₁且P_d(x₂′，y₂′)＜＝T₁，或者P_d(x₂′，y₂′)＞T₁且P_o(x₂′，y₂′)＜＝T₁是否成立，如果是，则判定当前第一子块中坐标位置为(x₂′，y₂′)的像素点和当前第二子块中坐标位置为(x₂′，y₂′)的像素点均为弱边缘区域，Num₂＝Num₂+1，然后执行步骤③-8，否则，执行步骤③-6，其中，Num₂的初始值为0；

③-6、判断P_o(x₂′，y₂′)＜T₂且P_d(x₂′，y₂′)＜T₁是否成立，如果是，则判定当前第一子块中坐标位置为(x₂′，y₂′)的像素点和当前第二子块中坐标位置为(x₂′，y₂′)的像素点均为平滑区域，Num₃＝Num₃+1，然后执行步骤③-8，否则，执行步骤③-7，其中，Num₃的初始值为0；

③-7、判定当前第一子块中坐标位置为(x₂′，y₂′)的像素点和当前第二子块中坐标位置为(x₂′，y₂′)的像素点均为纹理区域，Num₄＝Num₄+1，其中，Num₄的初始值为0；

③-8、返回步骤③-4继续对当前第一子块和当前第二子块中剩余的像素点进行处理，直至当前第一子块和当前第二子块中的8×8个像素点均处理完毕；

③-9、将Num₁、Num₂、Num₃和Num₄中的最大值所对应的区域类型作为当前第一子块和当前第二子块的块类型，记为p，其中，p∈{1，2，3，4}，p＝1表示强边缘块，p＝2表示弱边缘块，p＝3表示平滑块，p＝4表示纹理块；

③-10、令l″＝l+1，l＝l″，将无失真的左视点图像{L_org(x，y)}中的下一个8×8子块作为当前第一子块，将失真的左视点图像{L_dis(x，y)}中的下一个8×8子块作为当前第二子块，返回步骤③-2继续执行，直至无失真的左视点图像{L_org(x，y)}和失真的左视点图像{L_dis(x，y)}中的个互不重叠的8×8子块均处理完毕，得到无失真的左视点图像{L_org(x，y)}和失真的左视点图像{L_dis(x，y)}中所有8×8子块的块类型，其中，l″的初始值为0；

③-11、采用与步骤③-1至③-10相同的操作，获得无失真的右视点图像{R_org(x，y)}和失真的右视点图像{R_dis(x，y)}中所有8×8子块的块类型。

所述的步骤④的具体过程为：

④-1、计算失真的左视点图像{L_dis(x，y)}中所有块类型为k的8×8子块的用于反映图像质量的空间噪声强度，记为{fq_k(x₂，y₂)}，对于失真的左视点图像{L_dis(x，y)}中块类型为k的8×8子块中坐标位置为(x₂，y₂)的像素点，将其用于反映图像质量的空间噪声强度记为fq_k(x₂，y₂)，$$ {\mathrm{fq}}_k(x_2,y_2)=\frac{1}{N_k}\underset{(x_3,y_3)}{\mathrm{\Σ}}\min {(\max \left(\right|L_{\mathrm{org}}(x_3,y_3)-L_{\mathrm{dis}}(x_3,y_3)|-J_L(x_3,y_3),0),{\mathrm{ST}}_k)}^2,$$其中，k∈{p|1≤p≤4}，fq_k(x₂，y₂)表示失真的左视点图像{L_dis(x，y)}中块类型为k的8×8子块中坐标位置为(x₂，y₂)的像素点的用于反映图像质量的空间噪声强度，1≤x₂≤8，1≤y₂≤8，N_k表示失真的左视点图像{L_dis(x，y)}中块类型为k的8×8子块的个数，ST_k为描述误差感知的饱和度阈值，max()为取最大值函数，min()为取最小值函数，(x₃，y₃)表示失真的左视点图像{L_dis(x，y)}中块类型为k的8×8子块中坐标位置为(x₂，y₂)的像素点在无失真的左视点图像{L_org(x，y)}或无失真的左视点图像{L_org(x，y)}的最小可察觉失真图像{J_L(x，y)}中的坐标位置，1≤x₃≤W，1≤y₃≤H，L_org(x₃，y₃)表示{L_org(x，y)}中坐标位置为(x₃，y₃)的像素点的像素值，L_dis(x₃，y₃)表示{L_dis(x，y)}中坐标位置为(x₃，y₃)的像素点的像素值，J_L(x₃，y₃)表示{J_L(x，y)}中坐标位置为(x₃，y₃)的像素点的像素值，“||”为求绝对值符号；

④-2、将失真的左视点图像{L_dis(x，y)}中各种块类型的8×8子块的用于反映图像质量的空间噪声强度用集合表示为{fq_k(x₂，y₂)|1≤k≤4}，然后将{fq_k(x₂，y₂)|1≤k≤4}中的所有元素按顺序进行排列得到第一特征矢量，记为F₁，其中，F₁的维数为256；

④-3、对无失真的左视点图像{L_org(x，y)}和失真的左视点图像{L_dis(x，y)}中的每个8×8子块分别实施奇异值分解，分别得到无失真的左视点图像{L_org(x，y)}和失真的左视点图像{L_dis(x，y)}中的每个8×8子块各自对应的奇异值矢量，将无失真的左视点图像{L_org(x，y)}中的第l个8×8子块的奇异值矢量记为将失真的左视点图像{L_dis(x，y)}中的第l个8×8子块的奇异值矢量记为其中，奇异值矢量的维数为8，$$ 1\≤l\≤\frac{W\×H}{8\×8};$$

④-4、计算失真的左视点图像{L_dis(x，y)}中所有块类型为k的8×8子块的用于反映图像质量的空间结构强度，记为其中，l′表示失真的左视点图像{L_dis(x，y)}中块类型为k的8×8子块在无失真的左视点图像{L_org(x，y)}或无失真的左视点图像{L_org(x，y)}的最小可察觉失真图像{J_L(x，y)}中的序号；

④-5、将失真的左视点图像{L_dis(x，y)}中各种块类型的8×8子块的用于反映图像质量的空间结构强度用集合表示为然后将中的所有元素按顺序进行排列得到第二特征矢量，记为F₂，其中，F₂的维数为32；

④-6、将第一特征矢量F₁和第二特征矢量F₂组成新的特征矢量，作为失真的左视点图像{L_dis(x，y)}的用于反映图像质量的特征矢量，记为F_L，F_L＝[F₁，F₂]，其中，F_L的维数为288，“[]”为矢量表示符号，[F₁，F₂]表示将第一特征矢量F₁和第二特征矢量F₂连接起来形成一个新的特征矢量；

④-7、对失真的右视点图像{R_dis(x，y)}采用与步骤④-1至④-6相同的操作，得到失真的右视点图像{R_dis(x，y)}的用于反映图像质量的特征矢量，记为F_R，其中，F_R的维数为288；

④-8、对失真的左视点图像{L_dis(x，y)}的用于反映图像质量的特征矢量F_L和失真的右视点图像{R_dis(x，y)}的用于反映图像质量的特征矢量F_R进行线性加权，得到S_dis的用于反映图像质量的特征矢量，记为F_q，F_q＝w_L×F_L+w_R×F_R，其中，w_L表示失真的左视点图像{L_dis(x，y)}的权值比重，w_R表示失真的右视点图像{R_dis(x，y)}的权值比重，w_L+w_R＝1。

所述的步骤⑤的具体过程为：

⑤-1、分别计算无失真的左视点图像{L_org(x，y)}和无失真的右视点图像{R_org(x，y)}的绝对差值图像、失真的左视点图像{L_dis(x，y)}和失真的右视点图像{R_dis(x，y)}的绝对差值图像及无失真的左视点图像{L_org(x，y)}的最小可察觉失真图像{J_L(x，y)}和无失真的右视点图像{R_org(x，y)}的最小可察觉失真图像{J_R(x，y)}的绝对差值图像，分别记为{D_org(x，y)}、{D_dis(x，y)}和{ΔJ(x，y)}，D_org(x，y)＝|L_org(x，y)-R_org(x，y)|，D_dis(x，y)＝|L_dis(x，y)-R_dis(x，y)|，ΔJ(x，y)＝|J_L(x，y)-J_R(x，y)|，其中，D_org(x，y)表示{D_org(x，y)}中坐标位置为(x，y)的像素点的像素值，D_dis(x，y)表示{D_dis(x，y)}中坐标位置为(x，y)的像素点的像素值，ΔJ(x，y)表示{ΔJ(x，y)}中坐标位置为(x，y)的像素点的像素值，“||”为求绝对值符号；

⑤-2、采用与步骤③相同的操作，分别获取{D_org(x，y)}和{D_dis(x，y)}中的每个8×8子块的块类型；

⑤-3、计算{D_dis(x，y)}中所有块类型为k的8×8子块的用于反映深度感知的空间噪声强度，记为{fd_k(x₂，y₂)}，对于{D_dis(x，y)}中块类型为k的8×8子块中坐标位置为(x₂，y₂)的像素点，将其用于反映深度感知的空间噪声强度记为fd_k(x₂，y₂)，$$ {\mathrm{fd}}_k(x_2,y_2)=\frac{1}{M_k}\underset{(x_3,y_3)}{\mathrm{\Σ}}\min {(\max \left(\right|D_{\mathrm{org}}(x_4,y_4)-D_{\mathrm{dis}}(x_4,y_4)|-\mathrm{\ΔJ}(x_4,y_4),0),{\mathrm{ST}}_k)}^2,$$其中，fd_k(x₂，y₂)表示{D_dis(x，y)}中块类型为k的8×8子块中坐标位置为(x₂，y₂)的像素点的用于反映深度感知的空间噪声强度，1≤x₂≤8，1≤y₂≤8，M_k表示{D_dis(x，y)}中块类型为k的8×8子块的个数，ST_k为描述误差感知的饱和度阈值，(x₄，y₄)表示{D_dis(x，y)}中块类型为k的8×8子块中坐标位置为(x₂，y₂)的像素点在{D_org(x，y)}或{ΔJ(x，y)}中的坐标位置，1≤x₄≤W，1≤y₄≤H，D_org(x₄，y₄)表示{D_org(x，y)}中坐标位置为(x₄，y₄)的像素点的像素值，D_dis(x₄，y₄)表示{D_dis(x，y)}中坐标位置为(x₄，y₄)的像素点的像素值，ΔJ(x₄，y₄)表示{ΔJ(x，y)}中坐标位置为(x₄，y₄)的像素点的像素值；

⑤-4、将{D_dis(x，y)}中各种块类型的8×8子块的用于反映深度感知的空间噪声强度用集合表示{fd_k(x₂，y₂)|1≤k≤4}，然后将{fd_k(x₂，y₂)|1≤k≤4}中的所有元素按顺序进行排列得到第三特征矢量，记为F₃，其中，F₃的维数为256；

⑤-5、对{D_org(x，y)}和{D_dis(x，y)}中的每个8×8子块分别实施奇异值分解，分别得到{D_org(x，y)}和{D_dis(x，y)}中的每个8×8子块各自对应的奇异值矢量，将{D_org(x，y)}中的第l个8×8子块的奇异值矢量记为将{D_dis(x，y)}中的第l个8×8子块的奇异值矢量记为其中，奇异值矢量的维数为8，

⑤-6、计算{D_dis(x，y)}中所有块类型为k的8×8子块的用于反映深度感知的空间结构强度，记为其中，l″表示{D_dis(x，y)}中块类型为k的8×8子块在{D_org(x，y)}或{ΔJ(x，y)}中的序号；

⑤-7、将{D_dis(x，y)}中各种块类型的8×8子块的用于反映深度感知的空间结构强度用集合表示为然后将中的所有元素按顺序进行排列得到第四特征矢量，记为F₄，其中，F₄的维数为32；

⑤-8、将第三特征矢量F₃和第四特征矢量F₄组成新的特征矢量，作为S_dis的用于反映深度感知的特征矢量，记为F_s，F_s＝[F₃，F₄]，其中，F_s的维数为288，“[]”为矢量表示符号，[F₃，F₄]表示将第三特征矢量F₃和第四特征矢量F₄连接起来形成一个新的特征矢量。

所述的步骤⑨的具体过程为：

⑨-1、将失真立体图像集合中同一失真类型的所有的失真的立体图像分成互不相交的5组子集，任意选择其中的4组子集构成训练样本数据集合，记为Ω_q，{X_k，DMOS_k}∈Ω_q，其中，q表示训练样本数据集合Ω_q中包含的失真的立体图像的幅数，X_k表示训练样本数据集合Ω_q中第k幅失真的立体图像的特征矢量，DMOS_k表示训练样本数据集合Ω_q中第k幅失真的立体图像的平均主观评分差值，1≤k≤q；

⑨-2、构造X_k的回归函数f(X_k)，其中，f()为函数表示形式，w为权重矢量，w^T为w的转置矩阵，b为偏置项，表示训练样本数据集合Ω_q中第k幅失真的立体图像的特征矢量X_k的线性函数，D(X_k，X_l)为支持向量回归中的核函数，X_l为训练样本数据集合Ω_q中第l幅失真的立体图像的特征矢量，γ为核参数，用于反映输入样本值的范围，样本值的范围越大，γ值也就越大，exp()表示以e为底的指数函数，e＝2.71828183，“|| ||为求欧式距离符号；

⑨-3、采用支持向量回归对训练样本数据集合Ω_q中所有的失真的立体图像的特征矢量进行训练，使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小，拟合得到最优的权重矢量w^opt和最优的偏置项b^opt，将最优的权重矢量w^opt和最优的偏置项b^opt的组合记为(w^opt，b^opt)，$$ (w^{\mathrm{opt}},b^{\mathrm{opt}})=\underset{(w,b)\∈\mathrm{\Ψ}}{\arg \min }\underset{k=1}{\overset{q}{\mathrm{\Σ}}}{(f\left(X_k\right)-{\mathrm{DMOS}}_k)}^2,$$利用得到的最优的权重矢量w^opt和最优的偏置项b^opt构造支持向量回归训练模型，记为其中，ψ表示对训练样本数据集合Ω_q中所有的失真的立体图像的特征矢量进行训练的所有的权重矢量和偏置项的组合的集合，表示最小化概率密度函数，X_inp表示支持向量回归训练模型的输入矢量，(w^opt)^T为w^opt的转置矩阵，表示支持向量回归训练模型的输入矢量X_inp的线性函数；

⑨-4、根据支持向量回归训练模型，对剩余1组子集中的每幅失真的立体图像进行测试，预测得到该组子集中每幅失真的立体图像的客观质量评价预测值，对于该组子集中第j幅失真的立体图像的客观质量评价预测值，将其记为Q_j，Q_j＝f(X_j)，其中，X_j表示该组子集中第j幅失真的立体图像的特征矢量，表示该组子集中第j幅失真的立体图像的线性函数；

⑨-5、根据步骤⑨-1至⑨-4的过程，分别对失真立体图像集合中不同失真类型的所有的失真的立体图像进行训练，得到失真立体图像集合中每幅失真的立体图像的客观质量评价预测值。

所述的步骤④和步骤⑧中在计算JPEG压缩失真的立体图像的用于反映图像质量的特征矢量过程中，取w_L＝0.50，w_R＝0.50；在计算JPEG2000压缩失真的立体图像的用于反映图像质量的特征矢量过程中，取w_L＝0.15，w_R＝0.85；在计算高斯模糊失真的立体图像的用于反映图像质量的特征矢量过程中，取w_L＝0.10，w_R＝0.90；在计算白噪声失真的立体图像的用于反映图像质量的特征矢量过程中，取w_L＝0.20，w_R＝0.80；在计算H.264编码失真的立体图像的用于反映图像质量的特征矢量过程中，取w_L＝0.10，w_R＝0.90。

与现有技术相比，本发明的优点在于：

1)本发明方法考虑到不同区域对立体感知有不同的响应，将立体图像划分为强边缘块、弱边缘块、平坦块及纹理块并分别进行评价，同时将图像质量和深度感知信息结合到评价过程中，使得评价结果更加感觉符合人类视觉系统。

2)本发明方法根据人眼的视觉特性得到最小可察觉失真图像，并通过计算空间噪声强度和空间结构强度分别提取出不同区域块的特征信息并形成立体图像的特征矢量，获得的立体图像的特征矢量信息具有较强的稳定性且能够较好地反映立体图像的质量变化情况，提高了客观评价结果与主观感知的相关性。

附图说明

图1为本发明方法的总体实现框图；

图2a为Akko(尺寸为640×480)立体图像的左视点图像；

图2b为Akko(尺寸为640×480)立体图像的右视点图像；

图3a为Altmoabit(尺寸为1024×768)立体图像的左视点图像；

图3b为Altmoabit(尺寸为1024×768)立体图像的右视点图像；

图4a为Balloons(尺寸为1024×768)立体图像的左视点图像；

图4b为Balloons(尺寸为1024×768)立体图像的右视点图像；

图5a为Doorflower(尺寸为1024×768)立体图像的左视点图像；

图5b为Doorflower(尺寸为1024×768)立体图像的右视点图像；

图6a为Kendo(尺寸为1024×768)立体图像的左视点图像；

图6b为Kendo(尺寸为1024×768)立体图像的右视点图像；

图7a为LeaveLaptop(尺寸为1024×768)立体图像的左视点图像；

图7b为LeaveLaptop(尺寸为1024×768)立体图像的右视点图像；

图8a为Lovebierd1(尺寸为1024×768)立体图像的左视点图像；

图8b为Lovebierd1(尺寸为1024×768)立体图像的右视点图像；

图9a为Newspaper(尺寸为1024×768)立体图像的左视点图像；

图9b为Newspaper(尺寸为1024×768)立体图像的右视点图像；

图10a为Puppy(尺寸为720×480)立体图像的左视点图像；

图10b为Puppy(尺寸为720×480)立体图像的右视点图像；

图11a为Soccer2(尺寸为720×480)立体图像的左视点图像；

图11b为Soccer2(尺寸为720×480)立体图像的右视点图像；

图12a为Horse(尺寸为720×480)立体图像的左视点图像；

图12b为Horse(尺寸为720×480)立体图像的右视点图像；

图13a为Xmas(尺寸为640×480)立体图像的左视点图像；

图13b为Xmas(尺寸为640×480)立体图像的右视点图像。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的一种基于视觉感知的立体图像质量客观评价方法，其总体实现框图如图1所示，其主要包括以下步骤：

①令S_org为原始的无失真的立体图像，令S_dis为待评价的失真的立体图像，将S_org的左视点图像记为{L_org(x，y)}，将S_org的右视点图像记为{R_org(x，y)}，将S_dis的左视点图像记为{L_dis(x，y)}，将S_dis的右视点图像记为{R_dis(x，y)}，其中，(x，y)表示左视点图像和右视点图像中像素点的坐标位置，1≤x≤W，1≤y≤H，W表示左视点图像和右视点图像的宽度，H表示左视点图像和右视点图像的高度，L_org(x，y)表示S_org的左视点图像{L_org(x，y)}中坐标位置为(x，y)的像素点的像素值，R_org(x，y)表示S_org的右视点图像{R_org(x，y)}中坐标位置为(x，y)的像素点的像素值，L_dis(x，y)表示S_dis的左视点图像{L_dis(x，y)}中坐标位置为(x，y)的像素点的像素值，R_dis(x，y)表示S_dis的右视点图像{R_dis(x，y)}中坐标位置为(x，y)的像素点的像素值。

②人类视觉系统(HVS)特性表明，人眼对图像中变化较小的属性或噪声是不可感知的，除非该属性或噪声的变化强度超过某一阈值，该阈值就是最小可察觉失真(Justnoticeable distortion，JND)。而人眼的视觉掩蔽效应是一种局部效应，受背景照度、纹理复杂度等因素的影响，背景越亮，纹理越复杂，界限值就越高。因此本发明利用人类视觉对背景光照和纹理的视觉掩蔽效应，分别提取出无失真的左视点图像{L_org(x，y)}和无失真的右视点图像{R_org(x，y)}的最小可察觉失真图像，将无失真的左视点图像{L_org(x，y)}的最小可察觉失真图像记为{J_L(x，y)}，将无失真的右视点图像{R_org(x，y)}的最小可察觉失真图像记为{J_R(x，y)}，其中，J_L(x，y)表示{J_L(x，y)}中坐标位置为(x，y)的像素点的像素值，J_R(x，y)表示{J_R(x，y)}中坐标位置为(x，y)的像素点的像素值。

在此具体实施例中，步骤②的具体过程为：

②-1、计算无失真的左视点图像{L_org(x，y)}的背景光照的视觉掩蔽效应的可视化阈值集合，记为{T_t(x，y)}，其中，T_l(x，y)表示无失真的左视点图像{L_org(x，y)}中坐标位置为(x，y)的像素点的背景光照的视觉掩蔽效应的可视化阈值，表示无失真的左视点图像{L_org(x，y)}中以坐标位置为(x，y)的像素点为中心的5×5窗口内的所有像素点的亮度平均值，在实际处理过程中，也可以采用其它大小的窗口，但经大量实验，结果表明采用5×5大小的窗口时可以取得最好的效果。

②-2、计算无失真的左视点图像{L_org(x，y)}的纹理的视觉掩蔽效应的可视化阈值集合，记为{T_t(x，y)}，T_t(x，y)＝η×G(x，y)×W_e(x，y)，其中，T_t(x，y)表示无失真的左视点图像{L_org(x，y)}中坐标位置为(x，y)的像素点的纹理的视觉掩蔽效应的可视化阈值，η为大于0的控制因子，在本实施例中，η＝0.05，G(x，y)表示对无失真的左视点图像{L_org(x，y)}中坐标位置为(x，y)的像素点进行定向高通滤波得到的最大加权平均值，W_e(x，y)表示对无失真的左视点图像{L_org(x，y)}的边缘图像中坐标位置为(x，y)的像素点进行高斯低通滤波得到的边缘加权值。

②-3、对无失真的左视点图像{L_org(x，y)}的背景光照的视觉掩蔽效应的可视化阈值集合{T_l(x，y)}和纹理的视觉掩蔽效应的可视化阈值集合{T_t(x，y)}进行融合，得到无失真的左视点图像{L_org(x，y)}的最小可察觉失真图像，记为{J_L(x，y)}，J_L(x，y)＝T_l(x，y)+T_t(x，y)-C_l，t×min{T_l(x，y)，T_t(x，y)}，其中，C_l，t表示控制背景光照和纹理的视觉掩蔽效应重叠影响的参数，0＜C_l，t＜1，在本实施例中，C_l，t＝0.5，min{}为取最小值函数。

②-4、采用与步骤②-1至②-3相同的操作，获取无失真的右视点图像{R_org(x，y)}的最小可察觉失真图像，记为{J_R(x，y)}。

③由于人类视觉系统对图像的边缘、纹理、平滑区域具有不同的敏感度，不同区域对立体感知的响应程度也应当不同，因此，在立体图像质量评价中应分别考虑不同区域对评价的贡献。本发明通过区域检测算法分别获得无失真的左视点图像{L_org(x，y)}和失真的左视点图像{L_dis(x，y)}、无失真的右视点图像{R_org(x，y)}和失真的右视点图像{R_dis(x，y)}中的每个8×8子块的块类型，记为p，其中，p∈{1，2，3，4}，p＝1表示强边缘块，p＝2表示弱边缘块，p＝3表示平滑块，p＝4表示纹理块。

在此具体实施例中，步骤③中的区域检测算法的具体过程为：

③-1、分别将无失真的左视点图像{L_org(x，y)}和失真的左视点图像{L_dis(x，y)}分成个互不重叠的8×8子块，定义无失真的左视点图像{L_org(x，y)}中的第l个8×8子块为当前第一子块，记为定义失真的左视点图像{L_dis(x，y)}中的第l个8×8子块为当前第二子块，记为其中，(x₂，y₂)表示当前第一子块和当前第二子块中像素点的坐标位置，1≤x₂≤8，1≤y₂≤8，表示当前第一子块中坐标位置为(x₂，y₂)的像素点的像素值，表示当前第二子块中坐标位置为(x₂，y₂)的像素点的像素值。

③-2、分别计算当前第一子块和当前第二子块中所有像素点的梯度值，对于当前第一子块中坐标位置为(x₂′，y₂′)的像素点，将其梯度值记为P_o(x₂′，y₂′)，P_o(x₂′，y₂′)＝|G_ox(x₂′，y₂′)|+|G_oy(x₂′，y₂′)|，对于当前第二子块中坐标位置为(x₂′，y₂′)的像素点，将其梯度值记为P_d(x₂′，y₂′)，P_d(x₂′，y₂′)＝|G_dx(x₂′，y₂′)|+G_dy(x₂′，y₂′)|，其中，1≤x₂′≤8，1≤y₂′≤8，G_ox(x₂′，y₂′)表示当前第一子块中坐标位置为(x₂′，y₂′)的像素点的水平梯度值，G_oy(x₂′，y₂′)表示当前第一子块中坐标位置为(x₂′，y₂′)的像素点的垂直梯度值，G_dx(x₂′，y₂′)表示当前第二子块中坐标位置为(x₂′，y₂′)的像素点的水平梯度值，G_dy(x₂′，y₂′)表示当前第二子块中坐标位置为(x₂′，y₂′)的像素点的垂直梯度值，“||”为求绝对值符号。

③-3、找出当前第一子块中所有像素点的梯度值的最大值，记为G_max，然后根据G_max计算第一梯度阈值和第二梯度阈值，分别记为T₁和T₂，T₁＝0.12×G_max，T₂＝0.06×G_max。

③-4、对于当前第一子块中坐标位置为(x₂′，y₂′)的像素点和当前第二子块中坐标位置为(x₂′，y₂′)的像素点，判断P_o(x₂′，y₂′)＞T₁且P_d(x₂′，y₂′)＞T₁是否成立，如果是，则判定当前第一子块中坐标位置为(x₂′，y₂′)的像素点和当前第二子块中坐标位置为(x₂′，y₂′)的像素点均为强边缘区域，Num₁＝Num₁+1，然后执行步骤③-8，否则，执行步骤③-5，其中，Num₁的初始值为0。

③-5、判断P_o(x₂′，y₂′)＞T₁且P_d(x₂′，y₂′)＜＝T₁，或者P_d(x₂′，y₂′)＞T₁且P_o(x₂′，y₂′)＜＝T₁是否成立，如果是，则判定当前第一子块中坐标位置为(x₂′，y₂′)的像素点和当前第二子块中坐标位置为(x₂′，y₂′)的像素点均为弱边缘区域，Num₂＝Num₂+1，然后执行步骤③-8，否则，执行步骤③-6，其中，Num₂的初始值为0。

③-6、判断P_o(x₂′，y₂′)＜T₂且P_d(x₂′，y₂′)＜T₁是否成立，如果是，则判定当前第一子块中坐标位置为(x₂′，y₂′)的像素点和当前第二子块中坐标位置为(x₂′，y₂′)的像素点均为平滑区域，Num₃＝Num₃+1，然后执行步骤③-8，否则，执行步骤③-7，其中，Num₃的初始值为0。

③-7、判定当前第一子块中坐标位置为(x₂′，y₂′)的像素点和当前第二子块中坐标位置为(x₂′，y₂′)的像素点均为纹理区域，Num₄＝Num₄+1，其中，Num₄的初始值为0。

③-8、返回步骤③-4继续对当前第一子块和当前第二子块中剩余的像素点进行处理，直至当前第一子块和当前第二子块中的8×8个像素点均处理完毕。

③-9、将Num₁、Num₂、Num₃和Num₄中的最大值所对应的区域类型作为当前第一子块和当前第二子块的块类型，记为p，其中，p∈{1，2，3，4}，p＝1表示强边缘块，p＝2表示弱边缘块，p＝3表示平滑块，p＝4表示纹理块。

③-10、令l″＝l+1，l＝l″，将无失真的左视点图像{L_org(x，y)}中的下一个8×8子块作为当前第一子块，将失真的左视点图像{L_dis(x，y)}中的下一个8×8子块作为当前第二子块，返回步骤③-2继续执行，直至无失真的左视点图像{L_org(x，y)}和失真的左视点图像{L_dis(x，y)}中的个互不重叠的8×8子块均处理完毕，得到无失真的左视点图像{L_org(x，y)}和失真的左视点图像{L_dis(x，y)}中所有8×8子块的块类型，其中，l″的初始值为0。

③-11、采用与步骤③-1至③-10相同的操作，获得无失真的右视点图像{R_org(x，y)}和失真的右视点图像{R_dis(x，y)}中所有8×8子块的块类型。

④由于立体图像质量的好坏直接与左右视点图像质量有关，在图像质量评价中引入视觉敏感度、多通道特性、掩蔽效应等视觉感知特性可提高评价模型与主观评分的相关性，考虑到失真可察觉性和感知饱和度现象，以最小可察觉失真图像作为视觉感知特性。本发明根据无失真的左视点图像{L_org(x，y)}的最小可察觉失真图像{J_L(x，y)}和无失真的右视点图像{R_org(x，y)}的最小可察觉失真图像{J_R(x，y)}，通过计算失真的左视点图像{L_dis(x，y)}中各种块类型的8×8子块的用于反映图像质量的空间噪声强度和用于反映图像质量的空间结构强度，及失真的右视点图像{R_dis(x，y)}中各种块类型的8×8子块的用于反映图像质量的空间噪声强度和用于反映图像质量的空间结构强度，分别得到失真的左视点图像{L_dis(x，y)}的用于反映图像质量的特征矢量和失真的右视点图像{R_dos(x，y)}的用于反映图像质量的特征矢量，再对失真的左视点图像{L_dis(x，y)}和失真的右视点图像{R_dis(x，y)}的用于反映图像质量的特征矢量进行线性加权，得到S_dis的用于反映图像质量的特征矢量，记为F_q。

在此具体实施例中，步骤④的具体过程为：

④-1、计算失真的左视点图像{L_dis(x，y)}中所有块类型为k的8×8子块的用于反映图像质量的空间噪声强度，记为{fq_k(x₂，y₂)}，对于失真的左视点图像{L_dis(x，y)}中块类型为k的8×8子块中坐标位置为(x₂，y₂)的像素点，将其用于反映图像质量的空间噪声强度记为fq_k(x₂，y₂)，$$ {\mathrm{fq}}_k(x_2,y_2)=\frac{1}{N_k}\underset{(x_3,y_3)}{\mathrm{\Σ}}\min {(\max \left(\right|L_{\mathrm{org}}(x_3,y_3)-L_{\mathrm{dis}}(x_3,y_3)|-J_L(x_3,y_3),0),{\mathrm{ST}}_k)}^2,$$其中，k∈{p|1≤p≤4}，fq_k(x₂，y₂)表示失真的左视点图像{L_dis(x，y)}中块类型为k的8×8子块中坐标位置为(x₂，y₂)的像素点的用于反映图像质量的空间噪声强度，1≤x₂≤8，1≤y₂≤8，N_k表示失真的左视点图像{L_dis(x，y)}中块类型为k的8×8子块的个数，ST_k为描述误差感知的饱和度阈值，在本实施例中，ST_k＝30，max()为取最大值函数，min()为取最小值函数，(x₃，y₃)表示失真的左视点图像{L_dis(x，y)}中块类型为k的8×8子块中坐标位置为(x₂，y₂)的像素点在无失真的左视点图像{L_org(x，y)}或无失真的左视点图像{L_org(x，y)}的最小可察觉失真图像{J_L(x，y)}中的坐标位置，1≤x₃≤W，1≤y₃≤H，L_org(x₃，y₃)表示{L_org(x，y)}中坐标位置为(x₃，y₃)的像素点的像素值，L_dis(x₃，y₃)表示{L_dis(x，y)}中坐标位置为(x₃，y₃)的像素点的像素值，J_L(x₃，y₃)表示{J_L(x，y)}中坐标位置为(x₃，y₃)的像素点的像素值，“||”为求绝对值符号。

④-2、将失真的左视点图像{L_dis(x，y)}中各种块类型的8×8子块的用于反映图像质量的空间噪声强度用集合表示为{fq_k(x₂，y₂)|1≤k≤4}，然后将{fq_k(x₂，y₂)|1≤k≤4}中的所有元素按顺序进行排列得到第一特征矢量，记为F₁，其中，F₁的维数为256。

④-3、对无失真的左视点图像{L_org(x，y)}和失真的左视点图像{L_dis(x，y)}中的每个8×8子块分别实施奇异值分解，分别得到无失真的左视点图像{L_org(x，y)}和失真的左视点图像{L_dis(x，y)}中的每个8×8子块各自对应的奇异值矢量，将无失真的左视点图像{L_org(x，y)}中的第l个8×8子块的奇异值矢量记为将失真的左视点图像{L_dis(x，y)}中的第l个8×8子块的奇异值矢量记为其中，奇异值矢量的维数为8，$$ 1\≤l\≤\frac{W\×H}{8\×8}.$$

④-4、计算失真的左视点图像{L_dis(x，y)}中所有块类型为k的8×8子块的用于反映图像质量的空间结构强度，记为其中，l′表示失真的左视点图像{L_dis(x，y)}中块类型为k的8×8子块在无失真的左视点图像{L_org(x，y)}或无失真的左视点图像{L_org(x，y)}的最小可察觉失真图像{J_L(x，y)}中的序号。

④-5、将失真的左视点图像{L_dis(x，y)}中各种块类型的8×8子块的用于反映图像质量的空间结构强度用集合表示为然后将中的所有元素按顺序进行排列得到第二特征矢量，记为F₂，其中，F₂的维数为32。

④-6、将第一特征矢量F₁和第二特征矢量F₂组成新的特征矢量，作为失真的左视点图像{L_dis(x，y)}的用于反映图像质量的特征矢量，记为F_L，F_L＝[F₁，F₂]，其中，F_L的维数为288，“[]”为矢量表示符号，[F₁，F₂]表示将第一特征矢量F₁和第二特征矢量F₂连接起来形成一个新的特征矢量。

④-7、对失真的右视点图像{R_dis(x，y)}采用与步骤④-1至④-6相同的操作，得到失真的右视点图像{R_dis(x，y)}的用于反映图像质量的特征矢量，记为F_R，其中，F_R的维数为288。

④-8、对失真的左视点图像{L_dis(x，y)}的用于反映图像质量的特征矢量F_L和失真的右视点图像{R_dis(x，y)}的用于反映图像质量的特征矢量F_R进行线性加权，得到S_dis的用于反映图像质量的特征矢量，记为F_q，F_q＝w_L×F_L+w_R×F_R，其中，w_L表示失真的左视点图像{L_dis(x，y)}的权值比重，w_R表示失真的右视点图像{R_dis(x，y)}的权值比重，w_L+w_R＝1。

⑤现有的研究表明，当无失真的左右视点图像的绝对差值图像与失真的左右视点图像的绝对差值图像的差异超过某一个阈值时，则深度感知的下降就容易被人眼所察觉，因此，可以用无失真的左右视点图像的绝对差值图像与失真的左右视点图像的绝对差值图像的相似度来评价立体图像的深度感知，绝对差值图像越相似，深度感知越强。因此，本发明根据无失真的左视点图像{L_org(x，y)}的最小可察觉失真图像{J_L(x，y)}和无失真的右视点图像{R_org(x，y)}的最小可察觉失真图像{J_R(x，y)}，通过计算失真的左视点图像{L_dis(x，y)}和失真的右视点图像{R_dis(x，y)}的绝对差值图像中各种块类型的8×8子块的用于反映深度感知的空间噪声强度和用于反映深度感知的空间结构强度，得到S_dis的用于反映深度感知的特征矢量，记为F_s。

在此具体实施例中，步骤⑤的具体过程为：

⑤-1、分别计算无失真的左视点图像{L_org(x，y)}和无失真的右视点图像{R_org(x，y)}的绝对差值图像、失真的左视点图像{L_dis(x，y)}和失真的右视点图像{R_dis(x，y)}的绝对差值图像及无失真的左视点图像{L_org(x，y)}的最小可察觉失真图像{J_L(x，y)}和无失真的右视点图像{R_org(x，y)}的最小可察觉失真图像{J_R(x，y)}的绝对差值图像，分别记为{D_org(x，y)}、{D_dis(x，y)}和{ΔJ(x，y)}，D_org(x，y)＝|L_org(x，y)-R_org(x，y)|，D_dis(x，y)＝|L_dis(x，y)-R_dis(x，y)|，ΔJ(x，y)＝|J_L(x，y)-J_R(x，y)|，其中，D_org(x，y)表示{D_org(x，y)}中坐标位置为(x，y)的像素点的像素值，D_dis(x，y)表示{D_dis(x，y)}中坐标位置为(x，y)的像素点的像素值，ΔJ(x，y)表示{ΔJ(x，y)}中坐标位置为(x，y)的像素点的像素值，“||”为求绝对值符号。

⑤-2、采用与步骤③相同的操作，分别获取{D_org(x，y)}和{D_dis(x，y)}中的每个8×8子块的块类型。

⑤-3、计算{D_dis(x，y)}中所有块类型为k的8×8子块的用于反映深度感知的空间噪声强度，记为{fd_k(x₂，y₂)}，对于{D_dis(x，y)}中块类型为k的8×8子块中坐标位置为(x₂，y₂)的像素点，将其用于反映深度感知的空间噪声强度记为fd_k(x₂，y₂)，$$ {\mathrm{fd}}_k(x_2,y_2)=\frac{1}{M_k}\underset{(x_3,y_3)}{\mathrm{\Σ}}\min {(\max \left(\right|D_{\mathrm{org}}(x_4,y_4)-D_{\mathrm{dis}}(x_4,y_4)|-\mathrm{\ΔJ}(x_4,y_4),0),{\mathrm{ST}}_k)}^2,$$其中，fd_k(x₂，y₂)表示{D_dis(x，y)}中块类型为k的8×8子块中坐标位置为(x₂，y₂)的像素点的用于反映深度感知的空间噪声强度，1≤x₂≤8，1≤y₂≤8，M_k表示{D_dis(x，y)}中块类型为k的8×8子块的个数，ST_k为描述误差感知的饱和度阈值，(x₄，y₄)表示{D_dis(x，y)}中块类型为k的8×8子块中坐标位置为(x₂，y₂)的像素点在{D_org(x，y)}或{ΔJ(x，y)}中的坐标位置，1≤x₄≤W，1≤y₄≤H，D_org(x₄，y₄)表示{D_org(x，y)}中坐标位置为(x₄，y₄)的像素点的像素值，D_dis(x₄，y₄)表示{D_dis(x，y)}中坐标位置为(x₄，y₄)的像素点的像素值，ΔJ(x₄，y₄)表示{ΔJ(x，y)}中坐标位置为(x₄，y₄)的像素点的像素值。

⑤-4、将{D_dis(x，y)}中各种块类型的8×8子块的用于反映深度感知的空间噪声强度用集合表示{fd_k(x₂，y₂)|1≤k≤4}，然后将{fd_k(x₂，y₂)|1≤k≤4}中的所有元素按顺序进行排列得到第三特征矢量，记为F₃，其中，F₃的维数为256。

⑤-5、对{D_org(x，y)}和{D_dis(x，y)}中的每个8×8子块分别实施奇异值分解，分别得到{D_org(x，y)}和{D_dis(x，y)}中的每个8×8子块各自对应的奇异值矢量，将{D_org(x，y)}中的第l个8×8子块的奇异值矢量记为将{D_dis(x，y)}中的第l个8×8子块的奇异值矢量记为其中，奇异值矢量的维数为8，

⑤-6、计算{D_dis(x，y)}中所有块类型为k的8×8子块的用于反映深度感知的空间结构强度，记为其中，l″表示{D_dis(x，y)}中块类型为k的8×8子块在{D_org(x，y)}或{ΔJ(x，y)}中的序号。

⑤-7、将{D_dis(x，y)}中各种块类型的8×8子块的用于反映深度感知的空间结构强度用集合表示为然后将中的所有元素按顺序进行排列得到第四特征矢量，记为F₄，其中，F₄的维数为32。

⑤-8、将第三特征矢量F₃和第四特征矢量F₄组成新的特征矢量，作为S_dis的用于反映深度感知的特征矢量，记为F_s，F_s＝[F₃，F₄]，其中，F_s的维数为288，“[]”为矢量表示符号，[F₃，F₄]表示将第三特征矢量F₃和第四特征矢量F₄连接起来形成一个新的特征矢量。

⑥将S_dis的用于反映图像质量的特征矢量F_q和用于反映深度感知的特征矢量F_s组成新的特征矢量，作为S_dis的特征矢量，记为X，X＝[F_q，F_s]，“[]”为矢量表示符号，[F_q，F_s]表示将特征矢量F_q和特征矢量F_s连接起来形成一个新的特征矢量。

⑦采用n幅无失真的立体图像，建立其在不同失真类型不同失真程度下的失真立体图像集合，该失真立体图像集合包括多幅失真的立体图像，利用主观质量评价方法分别获取失真立体图像集合中每幅失真的立体图像的平均主观评分差值，记为DMOS，DMOS＝100-MOS，其中，MOS表示主观评分均值，DMOS∈[0，100]，n≥1。

在本实施例中，由于测试的立体图像是通过H.264编码得到的，因此在支持向量回归中训练样本与测试样本的失真类型应当保持一致，利用如图2a和图2b构成的立体图像、图3a和图3b构成的立体图像、图4a和图4b构成的立体图像、图5a和图5b构成的立体图像、图6a和图6b构成的立体图像、图7a和图7b构成的立体图像、图8a和图8b构成的立体图像、图9a和图9b构成的立体图像、图10a和图10b构成的立体图像、图11a和图11b构成的立体图像、图12a和图12b构成的立体图像、图13a和图13b构成的立体图像共12幅(n＝12)无失真的立体图像建立了其在H.264编码失真类型的不同失真程度下的失真立体图像集合，在该失真立体图像集合中失真的立体图像共有72幅。

⑧采用与计算S_dis的特征矢量X相同的方法，分别计算失真立体图像集合中每幅失真的立体图像的特征矢量，对于失真立体图像集合中第i幅失真的立体图像的特征矢量，将其记为X_i，其中，1≤i≤n′，n′表示失真立体图像集合中包含的失真的立体图像的幅数。

在此具体实施例中，根据人眼对不同失真类型的立体视觉掩蔽效应不一致的特性，对不同失真类型的立体图像的左视点图像和右视点图像设置不同的权值比重，在计算JPEG压缩失真的立体图像的用于反映图像质量的特征矢量过程中，取w_L＝0.50，w_R＝0.50；在计算JPEG2000压缩失真的立体图像的用于反映图像质量的特征矢量过程中，取w_L＝0.15，w_R＝0.85；在计算高斯模糊失真的立体图像的用于反映图像质量的特征矢量过程中，取w_L＝0.10，w_R＝0.90；在计算白噪声失真的立体图像的用于反映图像质量的特征矢量过程中，取w_L＝0.20，w_R＝0.80；在计算H.264编码失真的立体图像的用于反映图像质量的特征矢量过程中，取w_L＝0.10，w_R＝0.90。

⑨由于失真的立体图像的特征矢量为高维空间矢量，需要在高维空间中构造线性决策函数来实现原空间中的非线性决策函数，支持向量回归(Support Vector Regression，SVR)是一种比较好的实现非线性高维空间转换的方法。因此本发明方法采用支持向量回归对失真立体图像集合中相同失真类型的所有的失真的立体图像的特征矢量进行训练，并利用训练得到的支持向量回归训练模型对同一失真类型的每幅失真的立体图像进行测试，计算得到失真立体图像集合中相同失真类型的每幅失真的立体图像的客观质量评价预测值，对于失真立体图像集合中第i幅失真的立体图像的客观质量评价预测值，将其记为Q_i，Q_i＝f(X_i)，f()为函数表示形式，Q_i＝f(X_i)表示Q_i为X_i的函数，其中，1≤i≤n′，n′表示失真立体图像集合中包含的失真的立体图像的幅数。

在此具体实施例中，步骤⑨的具体过程为：

⑨-1、将失真立体图像集合中同一失真类型的所有的失真的立体图像分成互不相交的5组子集，任意选择其中的4组子集构成训练样本数据集合，记为Ω_q，{X_k，DMOS_k}∈Ω_q，其中，q表示训练样本数据集合Ω_q中包含的失真的立体图像的幅数，X_k表示训练样本数据集合Ω_q中第k幅失真的立体图像的特征矢量，DMOS_k表示训练样本数据集合Ω_q中第k幅失真的立体图像的平均主观评分差值，1≤k≤q。

⑨-2、构造X_k的回归函数f(X_k)，其中，f()为函数表示形式，w为权重矢量，w^T为w的转置矩阵，b为偏置项，表示训练样本数据集合Ω_q中第k幅失真的立体图像的特征矢量X_k的线性函数，D(X_k，X_l)为支持向量回归中的核函数，X_l为训练样本数据集合Ω_q中第l幅失真的立体图像的特征矢量，γ为核参数，用于反映输入样本值的范围，样本值的范围越大，γ值也就越大，exp()表示以e为底的指数函数，e＝2.71828183，“|| ||为求欧式距离符号。

在本实施例中，JPEG压缩失真、JPEG 2000压缩失真、高斯模糊失真、白噪声失真和H.264编码失真的γ值分别取42、52、54、130和116。

⑨-3、采用支持向量回归对训练样本数据集合Ω_q中所有的失真的立体图像的特征矢量进行训练，使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小，拟合得到最优的权重矢量w^opt和最优的偏置项b^opt，将最优的权重矢量w^opt和最优的偏置项b^opt的组合记为(w^opt，b^opt)，$$ (w^{\mathrm{opt}},b^{\mathrm{opt}})=\underset{(w,b)\∈\mathrm{\Ψ}}{\arg \min }\underset{k=1}{\overset{q}{\mathrm{\Σ}}}{(f\left(X_k\right)-{\mathrm{DMOS}}_k)}^2,$$利用得到的最优的权重矢量w^opt和最优的偏置项b^opt构造支持向量回归训练模型，记为其中，ψ表示对训练样本数据集合Ω_q中所有的失真的立体图像的特征矢量进行训练的所有的权重矢量和偏置项的组合的集合，表示最小化概率密度函数，X_inp表示支持向量回归训练模型的输入矢量，(w^opt)^T为w^opt的转置矩阵，表示支持向量回归训练模型的输入矢量X_inp的线性函数。

⑨-4、根据支持向量回归训练模型，对剩余1组子集中的每幅失真的立体图像进行测试，预测得到该组子集中每幅失真的立体图像的客观质量评价预测值，对于该组子集中第j幅失真的立体图像的客观质量评价预测值，将其记为Q_j，Q_j＝f(X_j)，其中，X_j表示该组子集中第j幅失真的立体图像的特征矢量，表示该组子集中第j幅失真的立体图像的线性函数。

⑨-5、根据步骤⑨-1至⑨-4的过程，分别对失真立体图像集合中不同失真类型的所有的失真的立体图像进行训练，得到失真立体图像集合中每幅失真的立体图像的客观质量评价预测值。

采用图2a至图13b所示的12幅无失真的立体图像在不同程度的JPEG压缩、JPEG2000压缩、高斯模糊、白噪声和H.264编码失真情况下的312幅失真的立体图像来分析本实施例得到的失真的立体图像的客观图像质量评价预测值与平均主观评分差值之间的相关性。这里，利用评估图像质量评价方法的2个常用客观参量作为评价指标，即非线性回归条件下的Pearson相关系数(Correlation Coefficient，CC)、Spearman相关系数(Rank-Order Correlation Coefficient，ROCC)，CC反映失真的立体图像评价客观模型的准确性，ROCC反映其单调性。将按本实施例计算得到的失真的立体图像的客观图像评价质量预测值做四参数Logistic函数非线性拟合，CC和ROCC值越高说明客观评价方法与平均主观评分差值相关性越好。表1列出了本实施例得到的失真的立体图像的图像质量评价预测值与主观评分之间的相关性，从表1所列的数据可知，按本实施例得到的失真的立体图像的最终的客观图像质量评价预测值与平均主观评分差值之间的相关性是很高的，表明客观评价结果与人眼主观感知的结果较为一致，足以说明本发明方法的有效性。

表2给出了采用不同特征矢量得到的失真的立体图像的图像质量评价预测值与主观评分之间的相关性，从表2中可以看出，只采用单个或两个特征矢量得到的评价预测值均与主观评分之间均具有较大的相关性，说明本发明方法的特征提取方法是有效的，并且结合反映图像质量和深度感知的特征矢量，得到的评价预测值与主观评分之间的相关性更强，足以说明本方法是有效的。

表1本实施例得到的失真的立体图像的图像质量评价预测值与主观评分之间的相关性

表2采用不同特征矢量得到的失真的立体图像的图像质量评价预测值与主观评分之间的相关性