技术领域

本发明涉及一种图像质量评价方法，尤其是涉及一种基于机器学习的立体图像视觉舒适度评价方法。

背景技术

随着立体视频显示技术和高质量立体视频内容获取技术的快速发展，立体视频的视觉体验质量（QoE，quality of experience）是立体视频系统设计中的一个重要问题，而视觉舒适度（VC，visual comfort）是影响立体视频的QoE的重要因素。目前，对立体视频/图像的质量评价研究主要考虑内容失真对于图像质量的影响，而很少考虑视觉舒适度等因素的影响。因此，为了提高观看者的视觉体验质量，研究立体视频/图像的视觉舒适度客观评价模型对指导3D内容的制作和后期处理具有十分重要的作用。

传统的立体图像视觉舒适度评价方法主要采用全局的视差统计特性来预测视觉舒适度。然而，根据人眼立体视觉注意力特性，人眼只对部分视觉重要区域的视觉舒适/不舒适比较敏感，如果以此全局的视差统计特征来预测视觉重要区域的视觉舒适程度，会导致无法精确预测得到客观评价值。因此，如何在评价过程中有效地根据视觉重要区域来提取出视觉舒适度特征，使得客观评价结果更加感觉符合人类视觉系统，是在对立体图像进行客观视觉舒适度评价过程中需要研究解决的问题。

发明内容

本发明所要解决的技术问题是提供一种基于机器学习的立体图像视觉舒适度评价方法，其能够有效地提高客观评价结果与主观感知的相关性。

本发明解决上述技术问题所采用的技术方案为：一种基于机器学习的立体图像视觉舒适度评价方法，其特征在于包括以下步骤：

①将待评价的立体图像的左视点图像记为{I_L(x,y)}，将待评价的立体图像的右视点图像记为{I_R(x,y)}，将待评价的立体图像的右视差图像记为{d_R(x,y)}，其中，此处(x,y)表示{I_L(x,y)}、{I_R(x,y)}和{d_R(x,y)}中的像素点的坐标位置，1≤x≤W，1≤y≤H，W表示{I_L(x,y)}、{I_R(x,y)}和{d_R(x,y)}的宽度，H表示{I_L(x,y)}、{I_R(x,y)}和{d_R(x,y)}的高度，I_L(x,y)表示{I_L(x,y)}中坐标位置为(x,y)的像素点的像素值，I_R(x,y)表示{I_R(x,y)}中坐标位置为(x,y)的像素点的像素值，d_R(x,y)表示{d_R(x,y)}中坐标位置为(x,y)的像素点的像素值；

②提取出{I_R(x,y)}的显著图；然后根据{I_R(x,y)}的显著图和{d_R(x,y)}，获取{I_R(x,y)}的视觉显著图；再将{I_R(x,y)}的视觉显著图划分为视觉重要区域和非视觉重要区域；最后根据{I_R(x,y)}的视觉显著图的视觉重要区域和非视觉重要区域，获取待评价的立体图像的视觉重要区域掩膜，记为{M(x,y)}，其中，M(x,y)表示{M(x,y)}中坐标位置为(x,y)的像素点的像素值；

③根据{d_R(x,y)}和{M(x,y)}，获取{d_R(x,y)}中与{I_R(x,y)}的视觉显著图的视觉重要区域相对应的区域内的像素点的视差均值μ、视差方差δ、最大负视差θ、视差范围χ，然后将μ、δ、θ和χ按顺序进行排列构成用于反映{d_R(x,y)}的视差幅度特征的特征矢量，记为F₁，F₁=(μ，δ，θ，χ);

④通过计算{d_R(x,y)}的视差梯度幅值图像和视差梯度方向图像，计算{d_R(x,y)}的视差梯度边缘图像；然后根据{d_R(x,y)}的视差梯度边缘图像和{M(x,y)}，计算{d_R(x,y)}的视差梯度边缘图像中与{I_R(x,y)}的视觉显著图的视觉重要区域相对应的区域内的所有像素点的梯度均值ψ；最后将ψ作为用于反映{d_R(x,y)}的视差梯度特征的特征矢量，记为F₂；

⑤获取{I_R(x,y)}的空间频率图像；然后根据{I_R(x,y)}的空间频率图像和{M(x,y)}，获取{I_R(x,y)}的空间频率图像中与{I_R(x,y)}的视觉显著图的视觉重要区域相对应的区域内的像素点的空间频率均值ν、空间频率方差ρ、空间频率范围ζ、空间频率敏感因子τ；再将ν、ρ、ζ和τ按顺序进行排列构成用于反映{I_R(x,y)}的空间频率特征的特征矢量，记为F₃，F₃=(ν，ρ，ζ，τ)；

⑥将F₁、F₂及F₃构成一个新的特征矢量，记为X，X＝[F₁,F₂,F₃]，然后将X作为待评价的立体图像的特征矢量，其中，符号“[]”为矢量表示符号，[F₁,F₂,F₃]表示将F₁、F₂和F₃连接起来形成一个新的特征矢量；

⑦采用n副不同的立体图像以及对应的右视差图像建立立体图像集合，利用主观质量评价方法分别计算立体图像集合中的每副立体图像的视觉舒适度的平均主观评分均值，记为MOS，其中，n≥1，MOS∈[1,5]；然后按照步骤①至步骤⑥计算待评价的立体图像的特征矢量X的操作，以相同的方式分别计算立体图像集合中的每幅立体图像的特征矢量，将立体图像集合中的第i幅立体图像的特征矢量记为X_i，其中，1≤i≤n，n表示立体图像集合中包含的立体图像的幅数；

⑧将立体图像集合中的所有立体图像分成训练集和测试集，将训练集中的所有立体图像的特征矢量和平均主观评分均值构成训练样本数据集合，将测试集中的所有立体图像的特征矢量和平均主观评分均值构成测试样本数据集合，然后采用支持向量回归作为机器学习的方法，对训练样本数据集合中的所有立体图像的特征矢量进行训练，使得经过训练得到的回归函数值与平均主观评分均值之间的误差最小，拟合得到最优的权重矢量w^opt和最优的偏置项b^opt，接着利用w^opt和b^opt构造得到支持向量回归训练模型，再根据支持向量回归训练模型，对测试样本数据集合中的每幅立体图像的特征矢量进行测试，预测得到测试样本数据集合中的每幅立体图像的客观视觉舒适度评价预测值，将测试样本数据集合中的第k'幅立体图像的客观视觉舒适度评价预测值记为Q_k'，Q_k'＝f(X_k')，其中，f()为函数表示形式，X_k'表示测试样本数据集合中的第k'幅立体图像的特征矢量，(w^opt)^T为w^opt的转置矩阵，表示测试样本数据集合中的第k'幅立体图像的线性函数，1≤k'≤n-t，t表示训练集中包含的立体图像的幅数；之后通过重新分配训练集和测试集，重新预测得到测试样本数据集合中的每幅立体图像的客观视觉舒适度评价预测值，经过N次迭代后计算立体图像中的每幅立体图像的客观视觉舒适度评价预测值的平均值，并将计算得到的平均值作为对应那幅立体图像的最终的客观视觉舒适度预测值，其中，N的值取大于100。

所述的步骤②的具体过程为：

②-1、采用基于图论的视觉显著性模型提取出{I_R(x,y)}的显著图，记为{SM_R(x,y)}，其中，SM_R(x,y)表示{SM_R(x,y)}中坐标位置为(x,y)的像素点的像素值；

②-2、根据{SM_R(x,y)}和{d_R(x,y)}，获取{I_R(x,y)}的视觉显著图，记为{D_R(x,y)}，将{D_R(x,y)}中坐标位置为(x,y)的像素点的像素值记为D_R(x,y)，其中，表示SM_R(x,y)的权重，表示d_R(x,y)的权重，

②-3、根据{D_R(x,y)}中的每个像素点的像素值，将{D_R(x,y)}划分为视觉重要区域和非视觉重要区域，{D_R(x,y)}的视觉重要区域中的每个像素点的像素值大于自适应阈值T₁，{D_R(x,y)}的非视觉重要区域中的每个像素点的像素值小于或等于自适应阈值T₁，其中，T₁为利用大津法对{D_R(x,y)}进行处理得到的阈值；

②-4、根据{D_R(x,y)}的视觉重要区域和非视觉重要区域，获取待评价的立体图像的视觉重要区域掩膜，记为{M(x,y)}，将{M(x,y)}中坐标位置为(x,y)的像素点的像素值记为M(x,y)，

所述的步骤②-2中取。

所述的步骤③的具体过程为：

③-1、根据{d_R(x,y)}和{M(x,y)}，计算{d_R(x,y)}中与{I_R(x,y)}的视觉显著图的视觉重要区域相对应的区域内的所有像素点的视差均值，记为μ，$$ \mathrm{\μ}=\frac{\underset{(x,y)\∈\mathrm{\Ω}}{\mathrm{\Σ}}{d}_R(x,y)\×M(x,y)}{\underset{(x,y)\∈\mathrm{\Ω}}{\mathrm{\Σ}}M(x,y)},$$其中，Ω表示图像域范围；

③-2、根据{d_R(x,y)}和{M(x,y)}及μ，计算{d_R(x,y)}中与{I_R(x,y)}的视觉显著图的视觉重要区域相对应的区域内的所有像素点的视差方差，记为δ，$$ \mathrm{\δ}=\frac{\underset{(x,y)\∈\mathrm{\Ω}}{\mathrm{\Σ}}{(d_R(x,y)-\mathrm{\μ})}^2\×M(x,y)}{\underset{(x,y)\∈\mathrm{\Ω}}{\mathrm{\Σ}}M(x,y)};$$

③-3、计算{d_R(x,y)}中与{I_R(x,y)}的视觉显著图的视觉重要区域相对应的区域内的像素点的最大负视差，记为θ，其中，θ的值为{d_R(x,y)}中与{I_R(x,y)}的视觉显著图的视觉重要区域相对应的区域内视差值最小的1%像素点的视差均值；

③-4、计算{d_R(x,y)}中与{I_R(x,y)}的视觉显著图的视觉重要区域相对应的区域内的像素点的视差范围，记为χ，χ＝d_max-d_min，其中，d_max表示{d_R(x,y)}中与{I_R(x,y)}的视觉显著图的视觉重要区域相对应的区域内视差值最大的1%像素点的视差均值，d_min表示{d_R(x,y)}中与{I_R(x,y)}的视觉显著图的视觉重要区域相对应的区域内视差值最小的1%像素点的视差均值；

③-5、将μ、δ、θ和χ按顺序进行排列构成用于反映{d_R(x,y)}的视差幅度特征的特征矢量，记为F₁，F₁=(μ，δ，θ，χ)，F₁的维数为4。

所述的步骤④的具体过程为：

④-1、计算{d_R(x,y)}的视差梯度幅值图像，记为{m(x,y)}，将{m(x,y)}中坐标位置为(x,y)的像素点的梯度幅值记为m(x,y)，其中，G_x(x,y)表示{m(x,y)}中坐标位置为(x,y)的像素点的水平梯度值，G_y(x,y)表示{m(x,y)}中坐标位置为(x,y)的像素点的垂直梯度值；

④-2、计算{d_R(x,y)}的视差梯度方向图像，记为{θ(x,y)}，将{θ(x,y)}中坐标位置为(x,y)的像素点的梯度方向值记为θ(x,y)，θ(x,y)＝arctan(G_y(x,y)/G_x(x,y))，其中，arctan()为取反正切函数；

④-3、根据{m(x,y)}和{θ(x,y)}，计算{d_R(x,y)}的视差梯度边缘图像，记为{E(x,y)}，将{E(x,y)}中坐标位置为p的像素点的梯度边缘值记为E(p)，

其中，G_s(||p-q||)表示标准差为σ_s的高斯函数，p-q表示坐标位置p和坐标位置q之间的欧氏距离，符号“|| ||”为求欧氏距离符号，表示标准差为σ_o的高斯函数，$$ G_o\left(\right||\stackrel{\→}{\mathrm{\θ}}\left(p\right)-\stackrel{\→}{\mathrm{\θ}}\left(q\right)|\left|\right)=\exp (-\frac{{\left|\right|\stackrel{\→}{\mathrm{\θ}}\left(p\right)-\stackrel{\→}{\mathrm{\θ}}\left(q\right)\left|\right|}^2}{2{\mathrm{\σ}}_o^2}),$$表示与之间的欧氏距离，$$ \stackrel{\→}{\mathrm{\θ}}\left(p\right)=\[\sin \left(\mathrm{\θ}\left(p\right)\right),\cos \left(\left(p\right)\right)\],$$$$ \stackrel{\→}{\mathrm{\θ}}\left(q\right)=\[\sin \left(\mathrm{\θ}\left(q\right)\right),\cos \left(\mathrm{\θ}\right(q\left)\right)\],$$θ(p)表示{θ(x,y)}中坐标位置为p的像素点的梯度方向值，θ(q)表示{θ(x,y)}中坐标位置为q的像素点的梯度方向值，m(q)表示{m(x,y)}中坐标位置为q的像素点的梯度幅值，m(q')表示{m(x,y)}中坐标位置为q'的像素点的梯度幅值，ε_g为控制参数，符号“[]”为矢量表示符号，exp()表示以e为底的指数函数，e＝2.71828183，表示以坐标位置为p的像素点为中心的邻域窗口，表示以坐标位置为q的像素点为中心的邻域窗口；

④-4、根据{E(x,y)}和{M(x,y)}，计算{E(x,y)}中与{I_R(x,y)}的视觉显著图的视觉重要区域相对应的区域内的所有像素点的梯度均值，记为ψ，其中，Ω表示图像域范围，E(x,y)表示{E(x,y)}中坐标位置为(x,y)的像素点的梯度边缘值；

④-5、将ψ作为用于反映{d_R(x,y)}的视差梯度特征的特征矢量，记为F₂，F₂的维数为1。

所述的步骤④-3中取σ_s＝0.4，σ_o＝0.4，ε_g＝0.5。

所述的步骤④-3中的大小为3×3，的大小为3×3。

所述的步骤⑤的具体过程为：

⑤-1、计算{I_R(x,y)}的空间频率图像，记为{SF(x,y)}，将{SF(x,y)}中坐标位置为(x,y)的像素点的空间频率值记为SF(x,y)，$$ \mathrm{SF}(x,y)=\sqrt{{\left(\mathrm{HF}(x,y)\right)}^2+{\left(\mathrm{VF}(x,y)\right)}^2+{\left(\mathrm{DF}(x,y)\right)}^2},$$其中，HF(x,y)表示{I_R(x,y)}中坐标位置为(x,y)的像素点的水平方向频率值，$$ \mathrm{HF}(x,y)=\sqrt{\frac{\underset{m=-1}{\overset{1}{\mathrm{\&Sigma;}}}\underset{n=0}{\overset{1}{\mathrm{\&Sigma;}}}{(I_R(x+m,y+n)-I_R(x+m,y+n-1))}^2}{3\&times;2}},$$VF(x,y)表示{I_R(x,y)}中坐标位置为(x,y)的像素点的垂直方向频率值，$$ \mathrm{VF}(x,y)=\sqrt{\frac{\underset{m=0}{\overset{1}{\mathrm{\&Sigma;}}}\underset{n=-1}{\overset{1}{\mathrm{\&Sigma;}}}{(I_R(x+m,y+n)-I_R(x+m-1,y+n))}^2}{2\&times;3}},$$DF(x,y)表示{I_R(x,y)}中坐标位置为(x,y)的像素点的对角方向频率值，$$ \mathrm{DF}(x,y)=\sqrt{\frac{\underset{m=0}{\overset{1}{\mathrm{\&Sigma;}}}\underset{n=0}{\overset{1}{\mathrm{\&Sigma;}}}{(I_R(x+m,y+n)-I_R(x+m-1,y+n-1))}^2}{2\&times;2}}+\sqrt{\frac{\underset{m=-1}{\overset{0}{\mathrm{\&Sigma;}}}\underset{n=0}{\overset{1}{\mathrm{\&Sigma;}}}{(I_R(x+m,y+n)-I_R(x+m+1,y+n-1))}^2}{2\&times;2}},$$I_R(x+m,y+n)表示{I_R(x,y)}中坐标位置为(x+m,y+n)的像素点的像素值，I_R(x+m,y+n-1)表示{I_R(x,y)}中坐标位置为(x+m,y+n-1)的像素点的像素值，I_R(x+m-1,y+n)表示{I_R(x,y)}中坐标位置为(x+m-1,y+n)的像素点的像素值，I_R(x+m-1,y+n-1)表示{I_R(x,y)}中坐标位置为(x+m-1,y+n-1)的像素点的像素值，I_R(x+m+1,y+n-1)表示{I_R(x,y)}中坐标位置为(x+m+1,y+n-1)的像素点的像素值，如果x+m<1，则I_R(x+m,y+n)的值由I_R(1,y+n)的值替代，I_R(x+m,y+n-1)的值由I_R(1,y+n-1)的值替代；如果x+m-1<1，则I_R(x+m-1,y+n)的值由I_R(1,y+n)的值替代，I_R(x+m-1,y+n-1)的值由I_R(1,y+n-1)的值替代；如果x+m>W，则I_R(x+m,y+n)的值由I_R(W,y+n)的值替代，I_R(x+m,y+n-1)的值由I_R(W,y+n-1)的值替代；如果x+m+1>W，则I_R(x+m+1,y+n-1)的值由I_R(W,y+n-1)的值替代；如果y+n<1，则I_R(x+m,y+n)的值由I_R(x+m,1)的值替代，I_R(x+m-1,y+n)的值由I_R(x+m-1,1)的值替代；如果y+n-1<1，则I_R(x+m,y+n-1)的值由I_R(x+m,1)的值替代，I_R(x+m-1,y+n-1)的值由I_R(x+m-1,1)的值替代，I_R(x+m+1,y+n-1)的值由I_R(x+m+1,1)的值替代；如果y+n>H，则I_R(x+m,y+n)的值由I_R(x+m,H)的值替代，I_R(x+m-1,y+n)的值由I_R(x+m-1,H)的值替代；

⑤-2、根据{SF(x,y)}和{M(x,y)}，计算{SF(x,y)}中与{I_R(x,y)}的视觉显著图的视觉重要区域相对应的区域内的所有像素点的空间频率均值，记为ν，$$ \mathrm{\&nu;}=\frac{\underset{(x,y)\&Element;\mathrm{\&Omega;}}{\mathrm{\&Sigma;}}\mathrm{SF}(x,y)\&times;M(x,y)}{\underset{(x,y)\&Element;\mathrm{\&Omega;}}{\mathrm{\&Sigma;}}M(x,y)},$$其中，Ω表示图像域范围；

⑤-3、根据{SF(x,y)}和{M(x,y)}及ν，计算{SF(x,y)}中与{I_R(x,y)}的视觉显著图的视觉重要区域相对应的区域内的所有像素点的空间频率方差，记为ρ，$$ \mathrm{\&rho;}=\frac{\underset{(x,y)\&Element;\mathrm{\&Omega;}}{\mathrm{\&Sigma;}}{(\mathrm{SF}(x,y)-\mathrm{\&nu;})}^2\&times;M(x,y)}{\underset{(x,y)\&Element;\mathrm{\&Omega;}}{\mathrm{\&Sigma;}}M(x,y)};$$

⑤-4、计算{SF(x,y)}中与{I_R(x,y)}的视觉显著图的视觉重要区域相对应的区域内的像素点的空间频率范围，记为ζ，ζ=SF_max-SF_min,其中，SF_max表示{SF(x,y)}中与{I_R(x,y)}的视觉显著图的视觉重要区域相对应的区域内空间频率值最大的1%像素点的空间频率均值，SF_min表示{SF(x,y)}中与{I_R(x,y)}的视觉显著图的视觉重要区域相对应的区域内空间频率值最小的1%像素点的空间频率均值；

⑤-5、计算{SF(x,y)}中与{I_R(x,y)}的视觉显著图的视觉重要区域相对应的区域内的像素点的空间频率敏感因子，记为τ，τ＝ν/μ；

⑤-6、将ν、ρ、ζ和τ按顺序进行排列构成用于反映{I_R(x,y)}的空间频率特征的特征矢量，记为F₃，F₃=(ν，ρ，ζ，τ)，F₃的维数为4。

所述的步骤⑧的具体过程为：

⑧-1、随机选择立体图像集合中的幅立体图像构成训练集，将立体图像集合中剩余的n-t幅立体图像构成测试集，其中，符号为向上取整符号；

⑧-2、将训练集中的所有立体图像的特征矢量和平均主观评分均值构成训练样本数据集合，记为Ω_t，{X_k,MOS_k}∈Ω_t，其中，X_k表示训练样本数据集合Ω_t中的第k幅立体图像的特征矢量，MOS_k表示训练样本数据集合Ω_t中的第k幅立体图像的平均主观评分均值，1≤k≤t；

⑧-3、构造训练样本数据集合Ω_t中的每幅立体图像的特征矢量的回归函数，将X_k的回归函数记为f(X_k)，其中，f()为函数表示形式，w为权重矢量，w^T为w的转置矩阵，b为偏置项，表示X_k的线性函数，D(X_k,X_l)为支持向量回归中的核函数，X_l为训练样本数据集合Ω_t中的第l幅立体图像的特征矢量，1≤l≤t，γ为核参数，exp()表示以e为底的指数函数，e＝2.71828183，符号“|| ||”为求欧式距离符号；

⑧-4、采用支持向量回归对训练样本数据集合Ω_t中的所有立体图像的特征矢量进行训练，使得经过训练得到的回归函数值与平均主观评分均值之间的误差最小，拟合得到最优的权重矢量w^opt和最优的偏置项b^opt，将最优的权重矢量w^opt和最优的偏置项b^opt的组合记为(w^opt,b^opt)，$$ (w^{\mathrm{opt}},b^{\mathrm{opt}})=\underset{(w,b)\&Element;\mathrm{\&Psi;}}{\arg \min }\underset{k=1}{\overset{t}{\mathrm{\&Sigma;}}}{(f\left(X_k\right)-{\mathrm{MOS}}_k)}^2,$$利用得到的最优的权重矢量w^opt和最优的偏置项b^opt构造支持向量回归训练模型，记为其中，Ψ表示对训练样本数据集合Ω_t中的所有立体图像的特征矢量进行训练的所有的权重矢量和偏置项的组合的集合，$$ \underset{(w,b)\&Element;\mathrm{\&Psi;}}{\arg \min }\underset{k=1}{\overset{t}{\mathrm{\&Sigma;}}}{(f\left(X_k\right)-{\mathrm{MOS}}_k)}^2$$表示使得$$ \underset{k=1}{\overset{t}{\mathrm{\&Sigma;}}}{(f\left(X_k\right)-{\mathrm{MOS}}_k)}^2$$最小的w和b的值，X_inp表示支持向量回归训练模型的输入矢量，(w^opt)^T为w^opt的转置矩阵，表示支持向量回归训练模型的输入矢量X_inp的线性函数；

⑧-5、将测试集中的所有立体图像的特征矢量和平均主观评分均值构成测试样本数据集合，然后根据支持向量回归训练模型，对测试样本数据集合中的每幅立体图像的特征矢量进行测试，预测得到测试样本数据集合中的每幅立体图像的客观视觉舒适度评价预测值，将测试样本数据集合中的第k'幅立体图像的客观视觉舒适度评价预测值记为Q_k'，Q_k'＝f(X_k')，其中，X_k'表示测试样本数据集合中的第k'幅立体图像的特征矢量，表示测试样本数据集合中的第k'幅立体图像的线性函数，1≤k'≤n-t；

⑧-6、再重新随机选择立体图像集合中的幅立体图像构成训练集，将立体图像集合中剩余的n-t幅立体图像构成测试集，然后返回步骤⑧-2继续执行，在经过N次迭代后，计算立体图像集合中的每幅立体图像的客观视觉舒适度评价预测值的平均值，再将计算得到的平均值作为对应那幅立体图像的最终的客观视觉舒适度评价预测值，其中，N的值取大于100。

所述的步骤⑧-3中取γ＝54。

与现有技术相比，本发明的优点在于：

1）本发明方法考虑到视觉重要区域对视觉舒适度的影响，因此根据立体图像的右视点图像的显著图和立体图像的右视差图像提取出立体图像的视觉重要区域掩膜，然后根据视觉重要区域掩膜只对视觉重要区域进行评价，从而有效地提高了客观评价结果与主观感知的相关性。

2）本发明方法根据用于反映立体图像的右视差图像的视差幅度特征的特征矢量、用于反映立体图像的右视差图像的视差梯度特征的特征矢量、用于反映立体图像的右视点图像的空间频率特征的特征矢量，得到立体图像的特征矢量，然后利用支持向量回归对立体图像集合中的所有立体图像的特征矢量进行训练，计算得到立体图像集合中的每幅立体图像的客观视觉舒适度评价预测值，由于获得的立体图像的特征矢量信息具有较强的稳定性且能够较好地反映立体图像的视觉舒适度变化情况，因此有效地提高了客观评价情况与主观感知的相关性。

附图说明

图1为本发明方法的总体实现框图；

图2a为“camera”的右视点图像；

图2b为“camera”的右视差图像；

图2c为“camera”的右视点图像的显著图；

图2d为“camera”的右视点图像的视觉显著图；

图2e为“camera”的视觉重要区域掩模；

图3a为“cup”的右视点图像；

图3b为“cup”的右视差图像；

图3c为“cup”的右视点图像的显著图；

图3d为“cup”的右视点图像的视觉显著图；

图3e为“cup”的视觉重要区域掩模；

图4a为“infant”的右视点图像；

图4b为“infant”的右视差图像；

图4c为“infant”的右视点图像的显著图；

图4d为“infant”的右视点图像的视觉显著图；

图4e为“infant”的视觉重要区域掩模；

图5为根据F₁和F₂两个特征矢量获得的客观视觉舒适度评价预测值与平均主观评分均值的散点图；

图6为根据F₁和F₃两个特征矢量获得的客观视觉舒适度评价预测值与平均主观评分均值的散点图；

图7为根据F₂和F₃两个特征矢量获得的客观视觉舒适度评价预测值与平均主观评分均值的散点图；

图8为根据F₁、F₂和F₃三个特征矢量获得的客观视觉舒适度评价预测值与平均主观评分均值的散点图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的一种基于机器学习的立体图像视觉舒适度评价方法，其总体实现框图如图1所示，其包括以下步骤：

①将待评价的立体图像的左视点图像记为{I_L(x,y)}，将待评价的立体图像的右视点图像记为{I_R(x,y)}，将待评价的立体图像的右视差图像记为{d_R(x,y)}，其中，此处(x,y)表示{I_L(x,y)}、{I_R(x,y)}和{d_R(x,y)}中的像素点的坐标位置，1≤x≤W，1≤y≤H，W表示{I_L(x,y)}、{I_R(x,y)}和{d_R(x,y)}的宽度，H表示{I_L(x,y)}、{I_R(x,y)}和{d_R(x,y)}的高度，I_L(x,y)表示{I_L(x,y)}中坐标位置为(x,y)的像素点的像素值，I_R(x,y)表示{I_R(x,y)}中坐标位置为(x,y)的像素点的像素值，d_R(x,y)表示{d_R(x,y)}中坐标位置为(x,y)的像素点的像素值。

②提取出{I_R(x,y)}的显著图；然后根据{I_R(x,y)}的显著图和{d_R(x,y)}，获取{I_R(x,y)}的视觉显著图；再将{I_R(x,y)}的视觉显著图划分为视觉重要区域和非视觉重要区域；最后根据{I_R(x,y)}的视觉显著图的视觉重要区域和非视觉重要区域，获取待评价的立体图像的视觉重要区域掩膜，记为{M(x,y)}，其中，M(x,y)表示{M(x,y)}中坐标位置为(x,y)的像素点的像素值。

在此具体实施例中，步骤②的具体过程为：

②-1、采用基于图论的视觉显著性（Graph-based Visual Saliency，GBVS）模型提取出{I_R(x,y)}的显著图，记为{SM_R(x,y)}，其中，SM_R(x,y)表示{SM_R(x,y)}中坐标位置为(x,y)的像素点的像素值。

②-2、根据{SM_R(x,y)}和{d_R(x,y)}，获取{I_R(x,y)}的视觉显著图，记为{D_R(x,y)}，将{D_R(x,y)}中坐标位置为(x,y)的像素点的像素值记为D_R(x,y)，其中，表示SM_R(x,y)的权重，表示d_R(x,y)的权重，在此取

②-3、根据{D_R(x,y)}中的每个像素点的像素值，将{D_R(x,y)}划分为视觉重要区域和非视觉重要区域，{D_R(x,y)}的视觉重要区域中的每个像素点的像素值大于自适应阈值T₁，{D_R(x,y)}的非视觉重要区域中的每个像素点的像素值小于或等于自适应阈值T₁，其中，T₁为利用大津法对{D_R(x,y)}进行处理得到的阈值。

②-4、根据{D_R(x,y)}的视觉重要区域和非视觉重要区域，获取待评价的立体图像的视觉重要区域掩膜，记为{M(x,y)}，将{M(x,y)}中坐标位置为(x,y)的像素点的像素值记为M(x,y)，

在此，截取三组典型的立体图像来说明本发明方法中获取的待评价的立体图像的视觉重要区域掩膜的性能。图2a和图2b分别给出了“camera”的右视点图像和右视差图像，图2c给出了“camera”的右视点图像的显著图，图2d给出了“camera”的右视点图像的视觉显著图，图2e给出了“camera”的视觉重要区域掩模；图3a和图3b分别给出了“cup”的右视点图像和右视差图像，图3c给出了“cup”的右视点图像的显著图，图3d给出了“cup”的右视点图像的视觉显著图，图3e给出了“cup”的视觉重要区域掩模；图4a和图4b分别给出了“infant”的右视点图像和右视差图像，图4c给出了“infant”的右视点图像的显著图，图4d给出了“infant”的右视点图像的视觉显著图，图4e给出了“infant”的视觉重要区域掩模。从图2e、图3e和图4e可以看出，采用本发明方法得到的视觉重要区域，能够很好地反映人眼视觉舒适程度。

③根据{d_R(x,y)}和{M(x,y)}，获取{d_R(x,y)}中与{I_R(x,y)}的视觉显著图的视觉重要区域相对应的区域内的像素点的视差均值μ、视差方差δ、最大负视差θ、视差范围χ，然后将μ、δ、θ和χ按顺序进行排列构成用于反映{d_R(x,y)}的视差幅度特征的特征矢量，记为F₁，F₁=(μ，δ，θ，χ)。

在此具体实施例中，步骤③的具体过程为：

③-1、根据{d_R(x,y)}和{M(x,y)}，计算{d_R(x,y)}中与{I_R(x,y)}的视觉显著图的视觉重要区域相对应的区域内的所有像素点的视差均值，记为μ，$$ \mathrm{\&mu;}=\frac{\underset{(x,y)\&Element;\mathrm{\&Omega;}}{\mathrm{\&Sigma;}}{d}_R(x,y)\&times;M(x,y)}{\underset{(x,y)\&Element;\mathrm{\&Omega;}}{\mathrm{\&Sigma;}}M(x,y)},$$其中，Ω表示图像域范围。

③-2、根据{d_R(x,y)}和{M(x,y)}及μ，计算{d_R(x,y)}中与{I_R(x,y)}的视觉显著图的视觉重要区域相对应的区域内的所有像素点的视差方差，记为δ，$$ \mathrm{\&delta;}=\frac{\underset{(x,y)\&Element;\mathrm{\&Omega;}}{\mathrm{\&Sigma;}}{(d_R(x,y)-\mathrm{\&mu;})}^2\&times;M(x,y)}{\underset{(x,y)\&Element;\mathrm{\&Omega;}}{\mathrm{\&Sigma;}}M(x,y)}.$$

③-3、计算{d_R(x,y)}中与{I_R(x,y)}的视觉显著图的视觉重要区域相对应的区域内的像素点的最大负视差，记为θ，其中，θ的值为{d_R(x,y)}中与{I_R(x,y)}的视觉显著图的视觉重要区域相对应的区域内视差值最小的1%像素点的视差均值。

③-4、计算{d_R(x,y)}中与{I_R(x,y)}的视觉显著图的视觉重要区域相对应的区域内的像素点的视差范围，记为χ，χ＝d_max-d_min，其中，d_max表示{d_R(x,y)}中与{I_R(x,y)}的视觉显著图的视觉重要区域相对应的区域内视差值最大的1%像素点的视差均值，d_min表示{d_R(x,y)}中与{I_R(x,y)}的视觉显著图的视觉重要区域相对应的区域内视差值最小的1%像素点的视差均值。

③-5、将μ、δ、θ和χ按顺序进行排列构成用于反映{d_R(x,y)}的视差幅度特征的特征矢量，记为F₁，F₁=(μ，δ，θ，χ)，F₁的维数为4。

④通过计算{d_R(x,y)}的视差梯度幅值图像和视差梯度方向图像，计算{d_R(x,y)}的视差梯度边缘图像；然后根据{d_R(x,y)}的视差梯度边缘图像和{M(x,y)}，计算{d_R(x,y)}的视差梯度边缘图像中与{I_R(x,y)}的视觉显著图的视觉重要区域相对应的区域内的所有像素点的梯度均值ψ；最后将ψ作为用于反映{d_R(x,y)}的视差梯度特征的特征矢量，记为F₂。

在此具体实施例中，步骤④的具体过程为：

④-1、计算{d_R(x,y)}的视差梯度幅值图像，记为{m(x,y)}，将{m(x,y)}中坐标位置为(x,y)的像素点的梯度幅值记为m(x,y)，其中，G_x(x,y)表示{m(x,y)}中坐标位置为(x,y)的像素点的水平梯度值，G_y(x,y)表示{m(x,y)}中坐标位置为(x,y)的像素点的垂直梯度值。

④-2、计算{d_R(x,y)}的视差梯度方向图像，记为{θ(x,y)}，将{θ(x,y)}中坐标位置为(x,y)的像素点的梯度方向值记为θ(x,y)，θ(x,y)＝arctan(G_y(x,y)/G_x(x,y))，其中，arctan()为取反正切函数。

④-3、根据{m(x,y)}和{θ(x,y)}，计算{d_R(x,y)}的视差梯度边缘图像，记为{E(x,y)}，将{E(x,y)}中坐标位置为p的像素点的梯度边缘值记为E(p)，其中，G_s(||p-q||)表示标准差为σ_s的高斯函数，在此取σ_s＝0.4，||p-q||表示坐标位置p和坐标位置q之间的欧氏距离，符号“|| ||”为求欧氏距离符号，表示标准差为σ_o的高斯函数，在此取σ_o＝0.4，$$ G_o\left(\right||\stackrel{\&RightArrow;}{\mathrm{\&theta;}}\left(p\right)-\stackrel{\&RightArrow;}{\mathrm{\&theta;}}\left(q\right)|\left|\right)=\exp (-\frac{{\left|\right|\stackrel{\&RightArrow;}{\mathrm{\&theta;}}\left(p\right)-\stackrel{\&RightArrow;}{\mathrm{\&theta;}}\left(q\right)\left|\right|}^2}{2{{\mathrm{\&sigma;}}_o}^2}),$$$$ \left|\right|\stackrel{\&RightArrow;}{\mathrm{\&theta;}}\left(p\right)-\stackrel{\&RightArrow;}{\mathrm{\&theta;}}\left(q\right)\left|\right|$$表示与之间的欧氏距离，θ(p)表示{θ(x,y)}中坐标位置为p的像素点的梯度方向值，θ(q)表示{θ(x,y)}中坐标位置为q的像素点的梯度方向值，m(q)表示{m(x,y)}中坐标位置为q的像素点的梯度幅值，m(q')表示{m(x,y)}中坐标位置为q'的像素点的梯度幅值，ε_g为控制参数，在此取ε_g＝0.5，符号“[]”为矢量表示符号，exp()表示以e为底的指数函数，e＝2.71828183，表示以坐标位置为p的像素点为中心的邻域窗口，表示以坐标位置为q的像素点为中心的邻域窗口，在此的大小为3×3，的大小为3×3。

④-4、根据{E(x,y)}和{M(x,y)}，计算{E(x,y)}中与{I_R(x,y)}的视觉显著图的视觉重要区域相对应的区域内的所有像素点的梯度均值，记为ψ，其中，Ω表示图像域范围，E(x,y)表示{E(x,y)}中坐标位置为(x,y)的像素点的梯度边缘值。

④-5、将ψ作为用于反映{d_R(x,y)}的视差梯度特征的特征矢量，记为F₂，F₂的维数为1。

⑤获取{I_R(x,y)}的空间频率图像；然后根据{I_R(x,y)}的空间频率图像和{M(x,y)}，获取{I_R(x,y)}的空间频率图像中与{I_R(x,y)}的视觉显著图的视觉重要区域相对应的区域内的像素点的空间频率均值ν、空间频率方差ρ、空间频率范围ζ、空间频率敏感因子τ；再将ν、ρ、ζ和τ按顺序进行排列构成用于反映{I_R(x,y)}的空间频率特征的特征矢量，记为F₃，F₃=(ν，ρ，ζ，τ)。

在此具体实施例中，步骤⑤的具体过程为：

⑤-1、计算{I_R(x,y)}的空间频率图像，记为{SF(x,y)}，将{SF(x,y)}中坐标位置为(x,y)的像素点的空间频率值记为SF(x,y)，$$ \mathrm{SF}(x,y)=\sqrt{{\left(\mathrm{HF}(x,y)\right)}^2+{\left(\mathrm{VF}(x,y)\right)}^2+{\left(\mathrm{DF}(x,y)\right)}^2},$$其中，HF(x,y)表示{I_R(x,y)}中坐标位置为(x,y)的像素点的水平方向频率值，$$ \mathrm{HF}(x,y)=\sqrt{\frac{\underset{m=-1}{\overset{1}{\mathrm{\&Sigma;}}}\underset{n=0}{\overset{1}{\mathrm{\&Sigma;}}}{(I_R(x+m,y+n)-I_R(x+m,y+n-1))}^2}{3\&times;2}},$$VF(x,y)表示{I_R(x,y)}中坐标位置为(x,y)的像素点的垂直方向频率值，$$ \mathrm{VF}(x,y)=\sqrt{\frac{\underset{m=0}{\overset{1}{\mathrm{\&Sigma;}}}\underset{n=-1}{\overset{1}{\mathrm{\&Sigma;}}}{(I_R(x+m,y+n)-I_R(x+m-1,y+n))}^2}{2\&times;3}},$$DF(x,y)表示{I_R(x,y)}中坐标位置为(x,y)的像素点的对角方向频率值，$$ \mathrm{DF}(x,y)=\sqrt{\frac{\underset{m=0}{\overset{1}{\mathrm{\&Sigma;}}}\underset{n=0}{\overset{1}{\mathrm{\&Sigma;}}}{(I_R(x+m,y+n)-I_R(x+m-1,y+n-1))}^2}{2\&times;2}}+\sqrt{\frac{\underset{m=-1}{\overset{0}{\mathrm{\&Sigma;}}}\underset{n=0}{\overset{1}{\mathrm{\&Sigma;}}}{(I_R(x+m,y+n)-I_R(x+m+1,y+n-1))}^2}{2\&times;2}},$$I_R(x+m,y+n)表示{I_R(x,y)}中坐标位置为(x+m,y+n)的像素点的像素值，I_R(x+m,y+n-1)表示{I_R(x,y)}中坐标位置为(x+m,y+n-1)的像素点的像素值，I_R(x+m-1,y+n)表示{I_R(x,y)}中坐标位置为(x+m-1,y+n)的像素点的像素值，I_R(x+m-1,y+n-1)表示{I_R(x,y)}中坐标位置为(x+m-1,y+n-1)的像素点的像素值，I_R(x+m+1,y+n-1)表示{I_R(x,y)}中坐标位置为(x+m+1,y+n-1)的像素点的像素值，如果x+m<1，则I_R(x+m,y+n)的值由I_R(1,y+n)的值替代，I_R(x+m,y+n-1)的值由I_R(1,y+n-1)的值替代；如果x+m-1<1，则I_R(x+m-1,y+n)的值由I_R(1,y+n)的值替代，I_R(x+m-1,y+n-1)的值由I_R(1,y+n-1)的值替代；如果x+m>W，则I_R(x+m,y+n)的值由I_R(W,y+n)的值替代，I_R(x+m,y+n-1)的值由I_R(W,y+n-1)的值替代；如果x+m+1>W，则I_R(x+m+1,y+n-1)的值由I_R(W,y+n-1)的值替代；如果y+n<1，则I_R(x+m,y+n)的值由I_R(x+m,1)的值替代，I_R(x+m-1,y+n)的值由I_R(x+m-1,1)的值替代；如果y+n-1<1，则I_R(x+m,y+n-1)的值由I_R(x+m,1)的值替代，I_R(x+m-1,y+n-1)的值由I_R(x+m-1,1)的值替代，I_R(x+m+1,y+n-1)的值由I_R(x+m+1,1)的值替代；如果y+n>H，则I_R(x+m,y+n)的值由I_R(x+m,H)的值替代，I_R(x+m-1,y+n)的值由I_R(x+m-1,H)的值替代。

⑤-2、根据{SF(x,y)}和{M(x,y)}，计算{SF(x,y)}中与{I_R(x,y)}的视觉显著图的视觉重要区域相对应的区域内的所有像素点的空间频率均值，记为ν，$$ \mathrm{\&nu;}=\frac{\underset{(x,y)\&Element;\mathrm{\&Omega;}}{\mathrm{\&Sigma;}}\mathrm{SF}(x,y)\&times;M(x,y)}{\underset{(x,y)\&Element;\mathrm{\&Omega;}}{\mathrm{\&Sigma;}}M(x,y)},$$其中，Ω表示图像域范围。

⑤-3、根据{SF(x,y)}和{M(x,y)}及ν，计算{SF(x,y)}中与{I_R(x,y)}的视觉显著图的视觉重要区域相对应的区域内的所有像素点的空间频率方差，记为ρ，$$ \mathrm{\&rho;}=\frac{\underset{(x,y)\&Element;\mathrm{\&Omega;}}{\mathrm{\&Sigma;}}{(\mathrm{SF}(x,y)-\mathrm{\&nu;})}^2\&times;M(x,y)}{\underset{(x,y)\&Element;\mathrm{\&Omega;}}{\mathrm{\&Sigma;}}M(x,y)}.$$

⑤-4、计算{SF(x,y)}中与{I_R(x,y)}的视觉显著图的视觉重要区域相对应的区域内的像素点的空间频率范围，记为ζ，ζ=SF_max-SF_mix，其中，SF_max表示{SF(x,y)}中与{I_R(x,y)}的视觉显著图的视觉重要区域相对应的区域内空间频率值最大的1%像素点的空间频率均值，SF_min表示{SF(x,y)}中与{I_R(x,y)}的视觉显著图的视觉重要区域相对应的区域内空间频率值最小的1%像素点的空间频率均值。

⑤-5、计算{SF(x,y)}中与{I_R(x,y)}的视觉显著图的视觉重要区域相对应的区域内的像素点的空间频率敏感因子，记为τ，τ＝ν/μ。

⑤-6、将ν、ρ、ζ和τ按顺序进行排列构成用于反映{I_R(x,y)}的空间频率特征的特征矢量，记为F₃，F₃=(ν，ρ，ζ，τ)，F₃的维数为4。

⑥将F₁、F₂及F₃构成一个新的特征矢量，记为X，X＝[F₁,F₂,F₃]，然后将X作为待评价的立体图像的特征矢量，其中，符号“[]”为矢量表示符号，[F₁,F₂,F₃]表示将F₁、F₂和F₃连接起来形成一个新的特征矢量。

⑦采用n副不同的立体图像以及对应的右视差图像建立立体图像集合，利用现有的主观质量评价方法分别计算立体图像集合中的每副立体图像的视觉舒适度的平均主观评分均值，记为MOS，其中，n≥1，MOS∈[1,5]；然后按照步骤①至步骤⑥计算待评价的立体图像的特征矢量X的操作，以相同的方式分别计算立体图像集合中的每幅立体图像的特征矢量，将立体图像集合中的第i幅立体图像的特征矢量记为X_i，其中，1≤i≤n，n表示立体图像集合中包含的立体图像的幅数。

在本实施例中，采用韩国科学技术院图像和视频系统实验室提供的立体图像数据库作为立体图像集合，该立体图像数据库包含120幅立体图像以及对应的右视差图像，该立体图像数据库包含了各种场景深度的室内和室外图像，并给出了每副立体图像的视觉舒适度的平均主观评分均值。

⑧将立体图像集合中的所有立体图像分成训练集和测试集，将训练集中的所有立体图像的特征矢量和平均主观评分均值构成训练样本数据集合，将测试集中的所有立体图像的特征矢量和平均主观评分均值构成测试样本数据集合，然后采用支持向量回归作为机器学习的方法，对训练样本数据集合中的所有立体图像的特征矢量进行训练，使得经过训练得到的回归函数值与平均主观评分均值之间的误差最小，拟合得到最优的权重矢量w^opt和最优的偏置项b^opt，接着利用w^opt和b^opt构造得到支持向量回归训练模型，再根据支持向量回归训练模型，对测试样本数据集合中的每幅立体图像的特征矢量进行测试，预测得到测试样本数据集合中的每幅立体图像的客观视觉舒适度评价预测值，将测试样本数据集合中的第k'幅立体图像的客观视觉舒适度评价预测值记为Q_k'，Q_k'＝f(X_k')，其中，f()为函数表示形式，X_k'表示测试样本数据集合中的第k'幅立体图像的特征矢量，(w^opt)^T为w^opt的转置矩阵，表示测试样本数据集合中的第k'幅立体图像的线性函数，1≤k'≤n-t，t表示训练集中包含的立体图像的幅数；之后通过重新分配训练集和测试集，重新预测得到测试样本数据集合中的每幅立体图像的客观视觉舒适度评价预测值，经过N次迭代后计算立体图像中的每幅立体图像的客观视觉舒适度评价预测值的平均值，并将计算得到的平均值作为对应那幅立体图像的最终的客观视觉舒适度预测值，其中，N的值取大于100，以保证立体图像集合中的每幅立体图像都能得到客观视觉舒适度评价预测值，在本实施例中取N＝200。

在此具体实施例中，步骤⑧的具体过程为：

⑧-1、随机选择立体图像集合中的幅立体图像构成训练集，将立体图像集合中剩余的n-t幅立体图像构成测试集，其中，符号为向上取整符号。

⑧-2、将训练集中的所有立体图像的特征矢量和平均主观评分均值构成训练样本数据集合，记为Ω_t，{X_k,MOS_k}∈Ω_t，其中，X_k表示训练样本数据集合Ω_t中的第k幅立体图像的特征矢量，MOS_k表示训练样本数据集合Ω_t中的第k幅立体图像的平均主观评分均值，1≤k≤t。

⑧-3、构造训练样本数据集合Ω_t中的每幅立体图像的特征矢量的回归函数，将X_k的回归函数记为f(X_k)，其中，f()为函数表示形式，w为权重矢量，w^T为w的转置矩阵，b为偏置项，w和b的值需要通过训练来得到，表示X_k的线性函数，D(X_k,X_l)为支持向量回归中的核函数，X_l为训练样本数据集合Ω_t中的第l幅立体图像的特征矢量，1≤l≤t，γ为核参数，其用于反映输入样本值的范围，样本值的范围越大，γ值也就越大，在本实施例中取γ＝54，exp()表示以e为底的指数函数，e＝2.71828183，符号“|| ||”为求欧式距离符号。

⑧-4、采用支持向量回归对训练样本数据集合Ω_t中的所有立体图像的特征矢量进行训练，使得经过训练得到的回归函数值与平均主观评分均值之间的误差最小，拟合得到最优的权重矢量w^opt和最优的偏置项b^opt，将最优的权重矢量w^opt和最优的偏置项b^opt的组合记为(w^opt,b^opt)，$$ (w^{\mathrm{opt}},b^{\mathrm{opt}})=\underset{(w,b)\&Element;\mathrm{\&Psi;}}{\arg \min }\underset{k=1}{\overset{t}{\mathrm{\&Sigma;}}}{(f\left(X_k\right)-{\mathrm{MOS}}_k)}^2,$$利用得到的最优的权重矢量w^opt和最优的偏置项b^opt构造支持向量回归训练模型，记为其中，Ψ表示对训练样本数据集合Ω_t中的所有立体图像的特征矢量进行训练的所有的权重矢量和偏置项的组合的集合，$$ \underset{(w,b)\&Element;\mathrm{\&Psi;}}{\arg \min }\underset{k=1}{\overset{t}{\mathrm{\&Sigma;}}}{(f\left(X_k\right)-{\mathrm{MOS}}_k)}^2$$表示使得$$ \underset{k=1}{\overset{t}{\mathrm{\&Sigma;}}}{(f\left(X_k\right)-{\mathrm{MOS}}_k)}^2$$最小的w和b的值，X_inp表示支持向量回归训练模型的输入矢量，(w^opt)^T为w^opt的转置矩阵，表示支持向量回归训练模型的输入矢量X_inp的线性函数。

⑧-5、将测试集中的所有立体图像的特征矢量和平均主观评分均值构成测试样本数据集合，然后根据支持向量回归训练模型，对测试样本数据集合中的每幅立体图像的特征矢量进行测试，预测得到测试样本数据集合中的每幅立体图像的客观视觉舒适度评价预测值，将测试样本数据集合中的第k'幅立体图像的客观视觉舒适度评价预测值记为Q_k'，Q_k'＝f(X_k')，其中，X_k'表示测试样本数据集合中的第k'幅立体图像的特征矢量，表示测试样本数据集合中的第k'幅立体图像的线性函数，1≤k'≤n-t。

⑧-6、再重新随机选择立体图像集合中的幅立体图像构成训练集，将立体图像集合中剩余的n-t幅立体图像构成测试集，然后返回步骤⑧-2继续执行，在经过N次迭代后，计算立体图像集合中的每幅立体图像的客观视觉舒适度评价预测值的平均值，再将计算得到的平均值作为对应那幅立体图像的最终的客观视觉舒适度评价预测值，其中，N的值取大于100。

在本实施例中，利用评估图像质量评价方法的4个常用客观参量作为评价指标，即非线性回归条件下的Pearson相关系数（Pearson linear correlation coefficient，PLCC）、Spearman相关系数（Spearman rank order correlation coefficient，SROCC）、Kendall相关系数（Kendall rank-order correlation coefficient，KROCC)、均方误差（root mean squarederror，RMSE），PLCC和RMSE反映客观评价预测值的准确性，SROCC和KROCC反映其单调性。将计算得到的120幅立体图像的视觉舒适度客观评价预测值做五参数Logistic函数非线性拟合，PLCC、SROCC和KROCC值越高、RMSE值越小说明本发明的视觉舒适度客观评价方法的评价结果与平均主观评分均值的相关性越好。表1给出了采用不同特征矢量得到的视觉舒适度评价预测值与平均主观评分均值之间的相关性，从表1中可以看出，只采用两个特征矢量得到的视觉舒适度评价预测值与平均主观评分均值之间的相关性均不是最优的，并且由视差幅度特征构成的特征矢量对评价性能的影响比其他两个特征矢量要大，这说明了本发明方法提取的三个特征矢量是有效的，并且结合视差幅度、视差梯度和空间频率特征的特征矢量，得到的视觉舒适度评价预测值与平均主观评分均值之间的相关性更强，这足以说明本发明方法是有效的。

图5给出了采用F₁和F₂两个特征矢量得到的客观视觉舒适度评价预测值与平均主观评分均值的散点图，图6给出了采用F₁和F₃两个特征矢量得到的客观视觉舒适度评价预测值与平均主观评分均值的散点图，图7给出了采用F₂和F₃两个特征矢量得到的客观视觉舒适度评价预测值与平均主观评分均值的散点图，图8给出了采用F₁、F₂和F₃三个特征矢量得到的客观视觉舒适度评价预测值与平均主观评分均值的散点图，散点图中的散点越集中，说明客观评价结果与主观感知的一致性越好。从图5至图8中可以看出，采用本发明方法得到的散点图中的散点比较集中，与主观评价数据之间的吻合度较高。

表1采用不同特征矢量得到的视觉舒适度评价预测值与平均主观评分均值之间的相关

性