技术领域
本发明涉及一种立体图像视觉感知特性的测量与分析方法,尤其是涉及一种立体图像的最小可察觉变化步长的客观分析方法。
背景技术
与二维(2D,Two Dimensional)视频显示相比,立体/三维(3D,Three Dimensional)视频显示与人的视觉更加匹配,它使人们在屏幕上观看图像时富有立体感和沉浸感。近年来,美、欧、日、韩等政府和企业纷纷投入巨资进行立体电视/三维电视(3DTV,ThreeDimensional Television)的研究和开发,包括美国国家自然科学基金会、美国海军研究能源部、美国先进的可视技术中心、欧盟第六框架协议的3DTV计划、欧盟ATTEST计划、欧洲信息技术计划、德联邦政府教育研究科学技术部以及英国工程与自然科学研究委员会等,日本和韩国各自正在发展集获取、编码、传输以及立体显示于一体的3DTV系统或具有立体视觉感的3D远程通信。国际标准组织ISO/IEC MPEG与ITU-T VCEG也开展了立体视频压缩应用标准制定的相关工作。
现有的心理学研究结果表明,立体视觉中存在掩蔽效应,即构成立体图像的两个视点,质量好的视点图像的质量对立体图像的整体质量的贡献较大。因此,可以利用人类视觉系统的这一特性,通过对某一视点图像保持其高质量而适当降低另一视点图像质量的方法,在保证立体图像整体主观质量不受影响的情况下,充分去除视频信号中的冗余,提高编码效率。平面图像的感知实验结果表明,人眼对图像中变化较小的属性或噪声是不可感知的,除非该属性或噪声的变化强度超过某一阈值,该阈值就是最小可察觉变化步长(JustNoticeable Difference,JND),立体视觉同样存在掩蔽效应的阈值。
目前主要通过主观实验测定人眼可感知立体视觉变化时的最小可察觉变化步长,但是主观实验容易受客观条件、主观情绪和观察者自身条件等各种因素的影响,评价结果不够稳定,并且主观实验非常耗时、成本非常高。由于人眼对不同立体图像的立体视觉掩蔽效应是不同的,其相应的最小可察觉变化步长可能也有所不同,因此,如何通过客观方法来分析这个最小可察觉变化步长是十分必要的。
发明内容
本发明所要解决的技术问题是提供一种能够很好地确定非对称立体视频编码时右视点图像的质量相对左视点图像的质量可下降的最大变化范围,通过降低右视点图像的质量来达到提高编码压缩效率的目的,同时利用立体视觉掩蔽效应使观察者不能感知到右视点图像质量的下降,能有效保证立体图像的整体质量的人眼最小可察觉变化步长的客观分析方法。
本发明解决上述技术问题所采用的技术方案为:一种立体图像的最小可察觉变化步长的客观分析方法,其特征在于包括以下步骤:
①令Sorg为原始的无失真的立体图像,令Sdis为待评价的失真的立体图像,将Sorg的左视点图像记为Lorg,将Sorg的右视点图像记为Rorg,将Sdis的左视点图像记为Ldis,将Sdis的右视点图像记为Rdis;
②对Lorg、Rorg、Ldis和Rdis4幅图像分别实施奇异值分解,分别得到Lorg、Rorg、Ldis和Rdis4幅图像各自对应的奇异值矢量,将Lorg的奇异值矢量记为将Rorg的奇异值矢量记为
将Ldis的奇异值矢量记为
将Rdis的奇异值矢量记为
其中,各个奇异值矢量的维数为m,m=min(M,N),min()为取最小值函数,M表示图像的水平尺寸大小,N表示图像的垂直尺寸大小;
③计算Lorg的奇异值矢量与Ldis的奇异值矢量
的绝对差矢量,记为XL,
将XL作为Ldis的特征矢量,计算Rorg的奇异值矢量
与Rdis的奇异值矢量
的绝对差矢量,记为XR,
将XR作为Rdis的特征矢量,其中,“||”为取绝对值符号;
④对Ldis的特征矢量XL和Rdis的特征矢量XR进行线性加权,得到Sdis的特征矢量,记为X,X=wLXL+wRXR,其中,wL表示Ldis的权值比重,wR表示Rdis的权值比重,wL+wR=1;
⑤采用n幅无失真的立体图像,建立其在H.264编码失真类型的不同失真程度下的失真立体图像集合,该失真立体图像集合包括多幅失真的立体图像,利用主观质量评价方法分别获取失真立体图像集合中每幅失真的立体图像的平均主观评分差值,记为DMOS,DMOS=100-MOS,其中,MOS表示主观评分均值,DMOS∈[0,100],n≥1;
⑥采用与计算Sdis的特征矢量X相同的方法,分别计算失真立体图像集合中每幅失真的立体图像的不同权值比重组合的特征矢量,对于失真立体图像集合中第i幅失真的立体图像的第j种权值比重组合的特征矢量,将其记为Xi,j,其中,1≤i≤n′,1≤j≤m′,n′表示失真立体图像集合中包含的失真的立体图像的幅数,m′表示所有权值比重组合的种数;
⑦采用支持向量回归对失真立体图像集合中所有的失真的立体图像的相同权值比重组合的特征矢量进行训练,得到不同权值比重组合的支持向量回归训练模型,对于第j种权值比重组合的支持向量回归训练模型,将其记为fj(Xinp),其中,fj()为第j种权值比重组合的回归函数的函数表示形式,Xinp表示支持向量回归训练模型的输入矢量;
⑧从n幅无失真的立体图像中任意选取一幅立体图像,然后任取一个编码量化参数对该立体图像的左视点图像进行编码,并采用多个不同的编码量化参数对该立体图像的右视点图像进行编码,利用训练得到的支持向量回归训练模型对由编码得到的一幅左视点图像和多幅右视点图像构成的多幅测试图像进行测试,计算得到人眼可感知立体视觉变化时测试图像中的右视点图像的最小可察觉变化步长。
所述的步骤②的具体过程为:
②-1、将尺寸大小为M×N的Lorg表示为M×N维的二维矩阵,记为通过奇异值分解将M×N维的二维矩阵
表示为
其中,
表示M×M维的正交矩阵,
表示N×N维的正交矩阵,
表示
的转置矩阵,
表示M×N维的对角矩阵;
②-2、将M×N维的对角矩阵的对角元素作为M×N维的二维矩阵
的奇异值,从M×N维的二维矩阵
的奇异值中取出m个非零的奇异值构成Lorg的奇异值矢量,记为
其中,m=min(M,N),min()为取最小值函数;
②-3、对Rorg、Ldis和Rdis采用与步骤②-1至②-2相同的操作,获取Rorg、Ldis和Rdis的奇异值矢量,分别记为和
所述的步骤⑦的具体过程为:
⑦-1、将失真立体图像集合中所有的失真的立体图像的相同权值比重组合的特征矢量和平均主观评分差值作为训练样本数据集合,将第j种权值比重组合的训练样本数据集合记为Ωq,j,{Xk,j,DMOSk}∈Ωq,j,其中,1≤j≤m′,m′表示所有权值比重组合的种数,q表示第j种权值比重组合的训练样本数据集合Ωq,j中包含的失真的立体图像的幅数,Xk,j表示第j种权值比重组合的训练样本数据集合Ωq,j中第k幅失真的立体图像的特征矢量,DMOSk表示第j种权值比重组合的训练样本数据集合Ωq,j中第k幅失真的立体图像的平均主观评分差值,1≤k≤q;
⑦-2、构造Xk,j的回归函数fj(Xk,j),其中,fj()为第j种权值比重组合的回归函数的函数表示形式,w为权重矢量,wT为w的转置矩阵,b为偏置项,
表示第j种权值比重组合的训练样本数据集合Ωq,j中第k幅失真的立体图像的特征矢量Xk,j的线性函数,
D(Xk,j,Xl,j)为支持向量回归中的核函数,
Xl,j为第j种权值比重组合的训练样本数据集合Ωq,j中第l幅失真的立体图像的特征矢量,γ为核参数,用于反映输入样本值的范围,样本值的范围越大,γ值也就越大,exp()表示以e为底的指数函数,e=2.71828183,“|| ||”为求欧氏距离符号;
⑦-3、采用支持向量回归对第j种权值比重组合的训练样本数据集合Ωq,j中所有的失真的立体图像的特征矢量进行训练,使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小,拟合得到最优的权重矢量wopt和最优的偏置项bopt,将最优的权重矢量wopt和最优的偏置项bopt的组合记为(wopt,bopt),利用最优的权重矢量wopt和最优的偏置项bopt构造第j种权值比重组合的支持向量回归训练模型,记为fj(Xinp),
其中,Ψ表示对第j种权值比重组合的训练样本数据集合Ωq,j中所有的失真的立体图像的特征矢量进行训练的所有的权重矢量和偏置项的组合的集合,
[]表示最小化概率密度函数,Xinp表示支持向量回归训练模型的输入矢量,(wopt)T为wopt的转置矩阵,
表示支持向量回归训练模型的输入矢量Xinp的线性函数。
所述的步骤⑧的具体过程为:
⑧-1、从n幅无失真的立体图像中任意选取一幅立体图像,任取一个编码量化参数作为该立体图像的左视点图像的基本编码量化参数,记为QPL,将采用QPL对该立体图像的左视点图像进行编码得到的左视点图像定义为A质量点的左视点图像,记为LA;
⑧-2、获取五个值大于等于QPL且值各不相同的编码量化参数作为该立体图像的右视点图像的基本编码量化参数,采用这五个基本编码量化参数分别对该立体图像的右视点图像进行编码,获得五幅质量各不相同的右视点图像,分别定义为A质量点的右视点图像、B质量点的右视点图像、C质量点的右视点图像、D质量点的右视点图像、E质量点的右视点图像,分别记为RA、RN、RC、RD、RE,其中,将A质量点的右视点图像RA编码时采用的基本编码量化参数记为QPRA,将B质量点的右视点图像RB编码时采用的基本编码量化参数记为QPRB,将C质量点的右视点图像RC编码时采用的基本编码量化参数记为QPRC,将D质量点的右视点图像RD编码时采用的基本编码量化参数记为QPRD,将E质量点的右视点图像RE编码时采用的基本编码量化参数记为QPRE;
⑧-3、将A质量点的左视点图像LA和A质量点的右视点图像RA构成的立体图像作为第1幅测试图像,并记为SAA;将A质量点的左视点图像LA和B质量点的右视点图像RB构成的立体图像作为第2幅测试图像,并记为SAB;将A质量点的左视点图像LA和C质量点的右视点图像RC构成的立体图像作为第3幅测试图像,并记为SAC;将A质量点的左视点图像LA和D质量点的右视点图像RD构成的立体图像作为第4幅测试图像,并记为SAD;将A质量点的左视点图像LA和E质量点的右视点图像RE构成的立体图像作为第5幅测试图像,并记为SAE;
⑧-4、采用与计算Sdis的特征矢量X相同的方法,计算SAA采用不同权值比重组合的特征矢量,将SAA采用第j种权值比重组合的特征矢量记为XA,j,其中,1≤j≤m′,m′表示所有权值比重组合的种数;
⑧-5、根据支持向量回归训练模型,预测SAA采用所有不同权值比重组合的特征矢量的客观质量评价预测值,对于SAA采用第j种权值比重组合的特征矢量XA,j,将XA,j作为第j种权值比重组合的支持向量回归训练模型的输入矢量,预测得到XA,j的客观质量评价预测值,记为Qj,Qj=fj(XA,j),其中,wopt为最优的权重矢量,(wopt)T为wopt的转置矩阵,bopt为最优的偏置项,
表示XA,j的线性函数;
⑧-6、将SAA采用所有不同权值比重组合的特征矢量的客观质量评价预测值的平均值作为SAA的客观评价值,记为ScoreA,
⑧-7、采用与步骤⑧-4至⑧-6相同的操作,获得SAB、SAC、SAD和SAE的客观评价值,分别记为ScoreB、ScoreC、ScoreD和ScoreE;
⑧-8、计算SAA、SAB、SAC、SAD和SAE的客观分值,分别记为D1、D2、D3、D4和D5,D1=0,
⑧-9、从{Dj′|1≤j′≤5}中找出值最大的客观分值,记为Dmax,将Dmax对应的右视点图像的质量点记为q,则由q质量点的右视点图像和A质量点的左视点图像构成的立体图像,与以英文字母顺序排在q质量点之前的各个质量点所对应的右视点图像与A质量点的左视点图像构成的立体图像之间的图像质量差异是可分辨的,定义q质量点的右视点图像的峰值信噪比与A质量点的右视点图像的峰值信噪比的差值,作为采用QPL对左视点图像进行编码时人眼对非对称立体图像编码的可感知的最小可察觉变化步长。
所述的步骤⑥中在计算失真的立体图像的不同权值比重组合的特征矢量的过程中,将第j种权值比重组合记为(wL′,wR′),wR′=w0+(j-1)×Δw,wL′=1-wR′,其中,wL′表示失真的立体图像的左视点图像的权值比重,wR′表示失真的立体图像的右视点图像的权值比重,w0=0.55,Δw=0.05,1≤j≤m′,m′表示所有权值比重组合的种数。
与现有技术相比,本发明的优点在于:
1)本发明方法通过支持向量回归将立体图像的特征矢量映射到一个高维特征空间中,再在高维特征空间中进行线性估计,构造最优回归函数对立体图像的特征矢量进行测试,避免了对人类视觉系统的相关特性与机理的复杂模拟过程,并且由于训练样本和测试样本是相互独立的,这样可以避免测试结果对训练数据的过度依赖,能更好地确定非对称立体视频编码时右视点图像的质量相对左视点图像的质量可下降的最大变化范围。
2)本发明方法通过对失真立体图像集合中的每幅失真的立体图像采用不同的权值比重组合进行训练,得到不同权值比重组合的支持向量回归训练模型,利用训练得到的支持向量回归模型对任意测试图像进行测试,在左视点图像质量固定不变的情况下,测定人眼可感知立体图像质量变化时右视点图像质量的临界质量点,从而确定对立体图像进行编码时右视点图像质量相对左视点图像质量可下降的最大变化范围,既能通过降低右视点图像质量来达到提高编码效率的目的,又能利用立体视觉掩蔽效应使观察者不能感知到右视点图像质量下降的事实,从而保证了立体图像的整体质量。
附图说明
图1为本发明方法的总体实现框图;
图2a为Akko(尺寸为640×480)立体图像的左视点图像;
图2b为Akko(尺寸为640×480)立体图像的右视点图像;
图3a为Altmoabit(尺寸为1024×768)立体图像的左视点图像;
图3b为Altmoabit(尺寸为1024×768)立体图像的右视点图像;
图4a为Balloons(尺寸为1024×768)立体图像的左视点图像;
图4b为Balloons(尺寸为1024×768)立体图像的右视点图像;
图5a为Doorflower(尺寸为1024×768)立体图像的左视点图像;
图5b为Doorflower(尺寸为1024×768)立体图像的右视点图像;
图6a为Kendo(尺寸为1024×768)立体图像的左视点图像;
图6b为Kendo(尺寸为1024×768)立体图像的右视点图像;
图7a为LeaveLaptop(尺寸为1024×768)立体图像的左视点图像;
图7b为LeaveLaptop(尺寸为1024×768)立体图像的右视点图像;
图8a为Lovebierd1(尺寸为1024×768)立体图像的左视点图像;
图8b为Lovebierd1(尺寸为1024×768)立体图像的右视点图像;
图9a为Newspaper(尺寸为1024×768)立体图像的左视点图像;
图9b为Newspaper(尺寸为1024×768)立体图像的右视点图像;
图10a为Puppy(尺寸为720×480)立体图像的左视点图像;
图10b为Puppy(尺寸为720×480)立体图像的右视点图像;
图11a为Soccer2(尺寸为720×480)立体图像的左视点图像;
图11b为Soccer2(尺寸为720×480)立体图像的右视点图像;
图12a为Horse(尺寸为720×480)立体图像的左视点图像;
图12b为Horse(尺寸为720×480)立体图像的右视点图像;
图13a为Xmas(尺寸为640×480)立体图像的左视点图像;
图13b为Xmas(尺寸为640×480)立体图像的右视点图像;
图14为经本发明方法得到的“Altmoabit”和“Doorflowers”测试图像的左视点图像的质量与最小可察觉变化步长的关系示意图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种立体图像的最小可察觉变化步长的客观分析方法,其总体实现框图如图1所示,其主要包括以下步骤:
①令Sorg为原始的无失真的立体图像,令Sdis为待评价的失真的立体图像,将Sorg的左视点图像记为Lorg,将Sorg的右视点图像记为Rorg,将Sdis的左视点图像记为Ldis,将Sdis的右视点图像记为Rdis。
②对Lorg、Rorg、Ldis和Rdis4幅图像分别实施奇异值分解,分别得到Lorg、Rorg、Ldis和Rdis4幅图像各自对应的奇异值矢量,将Lorg的奇异值矢量记为将Rorg的奇异值矢量记为
将Ldis的奇异值矢量记为
将Rdis的奇异值矢量记为
其中,各个奇异值矢量的维数为m,m=min(M,N),min()为取最小值函数,M表示图像的水平尺寸大小,N表示图像的垂直尺寸大小。
在本实施例中,步骤②的具体过程为:
②-1、将尺寸大小为M×N的Lorg表示为M×N维的二维矩阵,记为通过奇异值分解将M×N维的二维矩阵
表示为
其中,
表示M×M维的正交矩阵,
表示N×N维的正交矩阵,
表示
的转置矩阵,
表示M×N维的对角矩阵。
②-2、将M×N维的对角矩阵的对角元素作为M×N维的二维矩阵
的奇异值,从M×N维的二维矩阵
的奇异值中取出m个非零的奇异值构成Lorg的奇异值矢量,记为
其中,m=min(M,N),min()为取最小值函数。
②-3、对Rorg、Ldis和Rdis采用与步骤②-1至②-2相同的操作,获取Rorg、Ldis和Rdis的奇异值矢量,分别记为和
③计算Lorg的奇异值矢量与Ldis的奇异值矢量
的绝对差矢量,记为XL,
将XL作为Ldis的特征矢量,计算Rorg的奇异值矢量
与Rdis的奇异值矢量
的绝对差矢量,记为XR,
将XR作为Rdis的特征矢量,其中,“||”为取绝对值符号。
④对Ldis的特征矢量XL和Rdis的特征矢量XR进行线性加权,得到Sdis的特征矢量,记为X,X=wLXL+wRXR,其中,wL表示Ldis的权值比重,wR表示Rdis的权值比重,wL+wR=1。
⑤采用n幅无失真的立体图像,建立其在H.264编码失真类型的不同失真程度下的失真立体图像集合,该失真立体图像集合包括多幅失真的立体图像,利用主观质量评价方法分别获取失真立体图像集合中每幅失真的立体图像的平均主观评分差值,记为DMOS,DMOS=100-MOS,其中,MOS表示主观评分均值,DMOS∈[0,100],n≥1。
在本实施例中,由于测试的立体图像是通过H.264编码得到的,因此在支持向量回归中训练样本与测试样本的失真类型应当保持一致,利用如图2a和图2b构成的立体图像、图3a和图3b构成的立体图像、图4a和图4b构成的立体图像、图5a和图5b构成的立体图像、图6a和图6b构成的立体图像、图7a和图7b构成的立体图像、图8a和图8b构成的立体图像、图9a和图9b构成的立体图像、图10a和图10b构成的立体图像、图11a和图11b构成的立体图像、图12a和图12b构成的立体图像、图13a和图13b构成的立体图像共12幅(n=12)无失真的立体图像建立了其在H.264编码失真类型的不同失真程度下的失真立体图像集合,在该失真立体图像集合中失真的立体图像共有72幅。
⑥采用与计算Sdis的特征矢量X相同的方法,分别计算失真立体图像集合中每幅失真的立体图像的不同权值比重组合的特征矢量,对于失真立体图像集合中第i幅失真的立体图像的第j种权值比重组合的特征矢量,将其记为Xi,j,其中,1≤i≤n′,1≤j≤m′,n′表示失真立体图像集合中包含的失真的立体图像的幅数,m′表示所有权值比重组合的种数。
在此具体实施例中,由于测试图像中右视点图像的质量是变化的,而人眼对由不同质量的右视点图像和相同质量的左视点图像构成的立体图像的立体视觉掩蔽效应是不一致的,为了能够更好地对人眼的立体视觉掩蔽效应进行描述,本发明方法采用不同的权值比重对失真立体图像集合中每幅失真的立体图像的左视点图像和右视点图像的特征矢量进行线性加权。本发明方法在计算失真的立体图像的不同权值比重组合的特征矢量的过程中,将第j种权值比重组合记为(wL′,wR′),wR′=w0+(j-1)×Δw,wL′=1-wR′,其中,wL′表示失真的立体图像的左视点图像的权值比重,wR′表示失真的立体图像的右视点图像的权值比重,w0=0.55,Δw=0.05。
在此,取m′=9。
⑦由于失真的立体图像的特征矢量为高维空间矢量,需要在高维空间中构造线性决策函数来实现原空间中的非线性决策函数,支持向量回归(Support Vector Regression,SVR)是一种比较好的实现非线性高维空间转换的方法。因此本发明方法采用支持向量回归对失真立体图像集合中所有的失真的立体图像的相同权值比重组合的特征矢量进行训练,得到不同权值比重组合的支持向量回归训练模型,对于第j种权值比重组合的支持向量回归训练模型,将其记为fj(Xinp),其中,fj()为第j种权值比重组合的回归函数的函数表示形式,Xinp表示支持向量回归训练模型的输入矢量。
在本实施例中,步骤⑦的具体过程为:
⑦-1、将失真立体图像集合中所有的失真的立体图像的相同权值比重组合的特征矢量和平均主观评分差值作为训练样本数据集合,将第j种权值比重组合的训练样本数据集合记为Ωq,j,{Xk,j,DMOSk}∈Ωq,j,其中,1≤j≤m′,m′表示所有权值比重组合的种数,q表示第j种权值比重组合的训练样本数据集合Ωq,j中包含的失真的立体图像的幅数,Xk,j表示第j种权值比重组合的训练样本数据集合Ωq,j中第k幅失真的立体图像的特征矢量,DMOSk表示第j种权值比重组合的训练样本数据集合Ωq,j中第k幅失真的立体图像的平均主观评分差值,1≤k≤q。
⑦-2、构造Xk,j的回归函数fj(Xk,j),其中,fj()为第j种权值比重组合的回归函数的函数表示形式,w为权重矢量,wT为w的转置矩阵,b为偏置项,
表示第j种权值比重组合的训练样本数据集合Ωq,j中第k幅失真的立体图像的特征矢量Xk,j的线性函数,
D(Xk,j,Xl,j)为支持向量回归中的核函数,
Xl,j为第j种权值比重组合的训练样本数据集合Ωq,j中第l幅失真的立体图像的特征矢量,γ为核参数,用于反映输入样本值的范围,样本值的范围越大,γ值也就越大,exp()表示以e为底的指数函数,e=2.71828183,“|| ||”为求欧氏距离符号。在本实施例中,γ值取116。
⑦-3、采用支持向量回归对第j种权值比重组合的训练样本数据集合Ωq,j中所有的失真的立体图像的特征矢量进行训练,使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小,拟合得到最优的权重矢量wopt和最优的偏置项bopt,将最优的权重矢量wopt和最优的偏置项bopt的组合记为(wopt,bopt),其中,Ψ表示对第j种权值比重组合的训练样本数据集合Ωq,j中所有的失真的立体图像的特征矢量进行训练的所有的权重矢量和偏置项的组合的集合,
[]表示最小化概率密度函数,Xinp表示支持向量回归训练模型的输入矢量,(wopt)T为wopt的转置矩阵,
表示支持向量回归训练模型的输入矢量Xinp的线性函数。
⑧由失真立体图像集合通过训练得到的支持向量回归训练模型,能够反映左视点图像和右视点图像的质量变化对人眼的立体视觉掩蔽效应的影响,因此,可以利用该模型对任意立体图像的质量进行测量。从n幅无失真的立体图像中任意选取一幅立体图像,然后任取一个编码量化参数对该立体图像的左视点图像进行编码,并采用多个不同的编码量化参数对该立体图像的右视点图像进行编码,利用训练得到的支持向量回归训练模型对由编码得到的一幅左视点图像和多幅右视点图像构成的多幅测试图像进行测试,计算得到人眼可感知立体视觉变化时测试图像中的右视点图像的最小可察觉变化步长。
在本实施例中,步骤⑧的具体过程为:
⑧-1、从n幅无失真的立体图像中任意选取一幅立体图像,任取一个编码量化参数作为该立体图像的左视点图像的基本编码量化参数,记为QPL,将采用QPL对该立体图像的左视点图像进行编码得到的左视点图像定义为A质量点的左视点图像,记为LA。
⑧-2、获取五个值大于等于QPL且值各不相同的编码量化参数作为该立体图像的右视点图像的基本编码量化参数,采用这五个基本编码量化参数分别对该立体图像的右视点图像进行编码,获得五幅质量各不相同的右视点图像,分别定义为A质量点的右视点图像、B质量点的右视点图像、C质量点的右视点图像、D质量点的右视点图像、E质量点的右视点图像,分别记为RA、RB、RC、RD、RE,其中,将A质量点的右视点图像RA编码时采用的基本编码量化参数记为QPRA,将B质量点的右视点图像RB编码时采用的基本编码量化参数记为QPRB,将C质量点的右视点图像RC编码时采用的基本编码量化参数记为QPRC,将D质量点的右视点图像RD编码时采用的基本编码量化参数记为QPRD,将E质量点的右视点图像RE编码时采用的基本编码量化参数记为QPRE。
⑧-3、将A质量点的左视点图像LA和A质量点的右视点图像RA构成的立体图像作为第1幅测试图像,并记为SAA;将A质量点的左视点图像LA和B质量点的右视点图像RB构成的立体图像作为第2幅测试图像,并记为SAB;将A质量点的左视点图像LA和C质量点的右视点图像RC构成的立体图像作为第3幅测试图像,并记为SAC;将A质量点的左视点图像LA和D质量点的右视点图像RD构成的立体图像作为第4幅测试图像,并记为SAD;将A质量点的左视点图像LA和E质量点的右视点图像RE构成的立体图像作为第5幅测试图像,并记为SAE。
⑧-4、采用与计算Sdis的特征矢量X相同的方法,计算SAA采用不同权值比重组合的特征矢量,将SAA采用第j种权值比重组合的特征矢量记为XA,j,其中,1≤j≤m′,m′表示所有权值比重组合的种数。
⑧-5、根据支持向量回归训练模型,预测SAA采用所有不同权值比重组合的特征矢量的客观质量评价预测值,对于SAA采用第j种权值比重组合的特征矢量XA,j,将XA,j作为第j种权值比重组合的支持向量回归训练模型的输入矢量,预测得到XA,j的客观质量评价预测值,记为Qj,Qj=FJ(XA,j),其中,wopt为最优的权重矢量,(wopt)T为wopt的转置矩阵,bopt为最优的偏置项,
表示XA,j的线性函数。
⑧-6、将SAA采用所有不同权值比重组合的特征矢量的客观质量评价预测值的平均值作为SAA的客观评价值,记为ScoreA,
⑧-7、采用与步骤⑧-4至⑧-6相同的操作,获得SAB、SAC、SAD和SAE的客观评价值,分别记为ScoreB、ScoreC、ScoreD和ScoreE。
⑧-8、计算SAA、SAB、SAC、SAD和SAE的客观分值,分别记为D1、D2、D3、D4和D5,D1=0,
⑧-9、从{Dj′|1≤j′≤5}即D1、D2、D3、D4和D5中找出值最大的客观分值,记为Dmax,将Dmax对应的右视点图像的质量点记为q,则由q质量点的右视点图像和A质量点的左视点图像构成的立体图像,与以英文字母顺序排在q质量点之前的各个质量点所对应的右视点图像与A质量点的左视点图像构成的立体图像之间的图像质量差异是可分辨的,定义q质量点的右视点图像的峰值信噪比与A质量点的右视点图像的峰值信噪比的差值,作为采用QPL对左视点图像进行编码时人眼对非对称立体图像编码的可感知的最小可察觉变化步长。
以下就利用本发明方法对“Altmoabit”和“Doorflowers”立体图像进行客观质量评价的性能进行比较。
表1和表2分别给出了“Altmoabit”和“Doorflowers”测试图像的四个不同质量的左视点图像(即四幅不同质量的A质量点的左视点图像LA)以及它们各自所对应的A、B、C、D、E五个质量点的右视点图像的峰值信噪比(PSNR)和对应的编码量化参数QPRA、QPRB、QPRC、QPRD、QPRE。表3和表4分别给出了“Altmoabit”和“Doorflowers”测试图像的由A质量点的左视点图像和五个不同质量点的右视点图像构成的立体图像的客观评价值。客观评价值越高说明立体图像的质量越差。从表3和表4中可以看出,随着左视点或右视点图像的质量的下降,立体图像的客观评价值会越好越高,但由于不同质量点的客观评价值呈低调递增的变化趋势,难以从该变化趋势中找到右视点图像临界的质量点,因此需要进一步计算各质量点的右视点图像的客观分值。
表5和表6分别给出了“Altmoabit”和“Doorflowers”测试图像的由A质量点的左视点图像和五个不同质量点的右视点图像构成的立体图像的客观分值,可以容易地从所有客观分值中找到最大值。例如,“Altmoabit”测试图像在QPL=23时,由于E质量点的右视点图像构成的立体图像的客观分值明显大于其他质量点的右视点图像构成的立体图像的客观分值,当左视点图像的质量保持不变,而右视点图像的质量从A质量点下降到E质量点时,人眼可察觉右视点图像的质量变化所造成的立体图像主观感知的变化,由于A质量点的右视点图像PSNR=41.794,E质量点的右视点图像PSNR=36.763,因此,此时的人眼对非对称立体视频编码的可感知的最小可察觉变化步长大约为5.031dB。
图14给出了经本发明方法得到的“Altmoabit”和“Doorflowers”测试图像的左视点图像的质量与最小可察觉变化步长的关系示意图,随着立体图像的左视点图像的质量的下降(PSNR值减小),最小可察觉变化步长也会下降,即左视点图像和右视点图像的PSNR的差值变小。通过本发明方法得到的左视点图像的质量与最小可察觉变化步长的关系与2010年9月22日公开的申请的专利201010184200.9中通过主观实验得到的左视点图像的质量与最小可察觉变化步长的关系非常吻合,说明本发明方法是有效可行的。
表1“Altmoabit”测试图像的A质量点的左视点图像和五个不同质量点的右视点图像对应的峰值信噪比和编码量化参数
表2“Doorflowers”测试图像的A质量点的左视点图像和五个不同质量点的右视点图像对应的峰值信噪比和编码量化参数
表3“Altmoabit”测试图像的由A质量点的左视点图像和五个不同质量点的右视点图像构成的立体图像的客观评价值
表4“Doorflowers”测试图像的由A质量点的左视点图像和五个不同质量点的右视点图像构成的立体图像的客观评价值
表5“Altmoabit”测试图像的由A质量点的左视点图像和五个不同质量点的右视点图像构成的立体图像的客观分值
表6“Doorflowers”的由A质量点的左视点图像和五个不同质量点的右视点图像构成的立体图像的客观分值