技术领域
本发明涉及一种图像质量评价方法,尤其是涉及一种基于图像分解的立体图像质量客观评价方法。
背景技术
随着图像编码技术和立体显示技术的迅速发展,立体图像技术受到了越来越广泛的关注与应用,已成为当前的一个研究热点。立体图像技术利用人眼的双目视差原理,双目各自独立地接收来自同一场景的左右视点图像,通过大脑融合形成双目视差,从而欣赏到具有深度感和逼真感的立体图像。由于受到采集系统、存储压缩及传输设备的影响,立体图像会不可避免地引入一系列的失真,而与单通道图像相比,立体图像需要同时保证两个通道的图像质量,因此对其进行质量评价具有非常重要的意义。然而,目前对立体图像质量缺乏有效的客观评价方法进行评价。因此,建立有效的立体图像质量客观评价模型具有十分重要的意义。
目前的立体图像质量客观评价方法是将平面图像质量评价方法直接应用于评价立体图像质量,或通过评价视差图的质量来评价立体图像的深度感知,然而,对立体图像进行融合产生立体感的过程并不是简单的平面图像质量评价方法的扩展,并且人眼并不直接观看视差图,以视差图的质量来评价立体图像的深度感知并不十分准确。因此,如何在立体图像质量评价过程中有效地对双目立体感知过程进行模拟,以及如何对不同失真类型对立体感知质量的影响机理进行分析,使得评价结果能够更加客观地反映人类视觉系统,都是在对立体图像进行客观质量评价过程中需要研究解决的问题。
发明内容
本发明所要解决的技术问题是提供一种能够有效地提高客观评价结果与主观感知的相关性的基于图像分解的立体图像质量客观评价方法。
本发明解决上述技术问题所采用的技术方案为:一种基于图像分解的立体图像质量客观评价方法,其特征在于它的处理过程为:
首先,对原始的无失真的立体图像的左视点图像和待评价的失真的立体图像的左视点图像实施3级小波变换,再根据得到的每级小波变换对应的3个方向子带的小波系数矩阵,获取待评价的失真的立体图像的左视点图像的恢复图像和干扰图像;同样,对原始的无失真的立体图像的右视点图像和待评价的失真的立体图像的右视点图像实施3级小波变换,再根据得到的每级小波变换对应的3个方向子带的小波系数矩阵,获取待评价的失真的立体图像的右视点图像的恢复图像和干扰图像;
其次,通过计算原始的无失真的立体图像的左视点图像和待评价的失真的立体图像的左视点图像的恢复图像中的每个像素点的局部相位特征和局部振幅特征,获取待评价的失真的立体图像的左视点图像的恢复图像的图像质量客观评价预测值;同样,通过计算原始的无失真的立体图像的右视点图像和待评价的失真的立体图像的右视点图像的恢复图像中的每个像素点的局部相位特征和局部振幅特征,获取待评价的失真的立体图像的右视点图像的恢复图像的图像质量客观评价预测值;
接着,通过计算原始的无失真的立体图像的左视点图像和待评价的失真的立体图像的左视点图像的干扰图像中的每个尺寸大小为8×8的子块的奇异值向量,获取待评价的失真的立体图像的左视点图像的干扰图像的图像质量客观评价预测值;同样,通过计算原始的无失真的立体图像的右视点图像和待评价的失真的立体图像的右视点图像的干扰图像中的每个尺寸大小为8×8的子块的奇异值向量,获取待评价的失真的立体图像的右视点图像的干扰图像的图像质量客观评价预测值;
之后,对待评价的失真的立体图像的左视点图像的恢复图像和干扰图像的图像质量客观评价预测值进行融合,得到待评价的失真的立体图像的左视点图像的图像质量客观评价预测值;同样,对待评价的失真的立体图像的右视点图像的恢复图像和干扰图像的图像质量客观评价预测值进行融合,得到待评价的失真的立体图像的右视点图像的图像质量客观评价预测值;
再者,对待评价的失真的立体图像的左视点图像和右视点图像的图像质量客观评价预测值进行融合,得到待评价的失真的立体图像的图像质量客观评价预测值;
最后,采用多幅原始的无失真的立体图像,建立其在不同失真类型不同失真程度下的失真立体图像集合,该失真立体图像集合包括多幅失真的立体图像,然后按照上述获取待评价的失真的立体图像的图像质量客观评价预测值的过程分别计算该失真立体图像集合中每幅失真的立体图像的图像质量客观评价预测值。
本发明的基于图像分解的立体图像质量客观评价方法,其特征在于它具体包括以下步骤:
①令Sorg为原始的无失真的立体图像,令Sdis为待评价的失真的立体图像,将Sorg的左视点图像记为{Lorg(x,y)},将Sorg的右视点图像记为{Rorg(x,y)},将Sdis的左视点图像记为{Ldis(x,y)},将Sdis的右视点图像记为{Rdis(x,y)},其中,(x,y)表示左视点图像和右视点图像中的像素点的坐标位置,1≤x≤W,1≤y≤H,W表示左视点图像和右视点图像的宽度,H表示左视点图像和右视点图像的高度,Lorg(x,y)表示{Lorg(x,y)}中坐标位置为(x,y)的像素点的像素值,Rorg(x,y)表示{Rorg(x,y)}中坐标位置为(x,y)的像素点的像素值,Ldis(x,y)表示{Ldis(x,y)}中坐标位置为(x,y)的像素点的像素值,Rdis(x,y)表示{Rdis(x,y)}中坐标位置为(x,y)的像素点的像素值;
②分别对{Lorg(x,y)}和{Ldis(x,y)}实施3级小波变换,然后根据{Lorg(x,y)}实施3级小波变换后得到的每级小波变换对应的3个方向子带的小波系数矩阵和{Ldis(x,y)}实施3级小波变换后得到的每级小波变换对应的3个方向子带的小波系数矩阵,获取{Ldis(x,y)}的恢复图像和干扰图像,对应记为和
其中,
表示
中坐标位置为(x,y)的像素点的像素值,
表示
中坐标位置为(x,y)的像素点的像素值;
分别对{Rorg(x,y)}和{Rdis(x,y)}实施3级小波变换,然后根据{Rorg(x,y)}实施3级小波变换后得到的每级小波变换对应的3个方向子带的小波系数矩阵和{Rdis(x,y)}实施3级小波变换后得到的每级小波变换对应的3个方向子带的小波系数矩阵,获取{Rdis(x,y)}的恢复图像和干扰图像,对应记为和
其中,
表示
中坐标位置为(x,y)的像素点的像素值,
表示
中坐标位置为(x,y)的像素点的像素值;
③分别计算{Lorg(x,y)}、{Rorg(x,y)}、和
中的每个像素点的局部相位特征和局部振幅特征,将{Lorg(x,y)}中坐标位置为(x,y)的像素点的局部相位特征记为
将{Lorg(x,y)}中坐标位置为(x,y)的像素点的局部振幅特征记为
将{Rorg(x,y)}中坐标位置为(x,y)的像素点的局部相位特征记为
将{Rorg(x,y)}中坐标位置为(x,y)的像素点的局部振幅特征记为
将
中坐标位置为(x,y)的像素点的局部相位特征记为
将
中坐标位置为(x,y)的像素点的局部振幅特征记为
将
中坐标位置为(x,y)的像素点的局部相位特征记为
将
中坐标位置为(x,y)的像素点的局部振幅特征记为
④根据{Lorg(x,y)}和中的每个像素点的局部相位特征和局部振幅特征,计算
的图像质量客观评价预测值,记为
根据{Rorg(x,y)}和中的每个像素点的局部相位特征和局部振幅特征,计算
的图像质量客观评价预测值,记为
⑤分别将{Lorg(x,y)}和划分成
个互不重叠的尺寸大小为8×8的子块,然后分别对{Lorg(x,y)}中的每个子块和
中的每个子块实施奇异值分解,得到{Lorg(x,y)}中的每个子块的奇异值向量和
中的每个子块的奇异值向量,再计算
的图像质量客观评价预测值,记为
其中,Nblock表示{Lorg(x,y)}中包含的子块的个数,也表示
中包含的子块的个数,
符号“||”为取绝对值符号,“<>”为取内积函数,
表示{Lorg(x,y)}中的第k个子块的奇异值向量,
表示
中的第k个子块的奇异值向量;
分别将{Rorg(x,y)}和划分成
个互不重叠的尺寸大小为8×8的子块,然后分别对{Rorg(x,y)}中的每个子块和
中的每个子块实施奇异值分解,得到{Rorg(x,y)}中的每个子块的奇异值向量和
中的每个子块的奇异值向量,再计算
的图像质量客观评价预测值,记为
其中,N′block示{Rorg(x,y)}中包含的子块的个数,也表示
中包含的子块的个数,
符号“||”为取绝对值符号,“<>”为取内积函数,
表示{Rorg(x,y)}中的第k个子块的奇异值向量,
表示
中的第k个子块的奇异值向量;
⑥对的图像质量客观评价预测值
和
的图像质量客观评价预测值
进行融合,得到{Ldis(x,y)}的图像质量客观评价预测值,记为QL,
并对
的图像质量客观评价预测值
和
的图像质量客观评价预测值
进行融合,得到{Rdis(x,y)}的图像质量客观评价预测值,记为QR,
其中,w1表示
和
的权值比重,w2表示
和
的权值比重,w1+w2=1;
⑦对{Ldis(x,y)}的图像质量客观评价预测值QL和{Rdis(x,y)}的图像质量客观评价预测值QR进行融合,得到Sdis的图像质量客观评价预测值,记为Q,
所述的步骤②的具体过程为:
②-1、对{Lorg(x,y)}实施3级小波变换,得到每级小波变换对应的3个方向子带的小波系数矩阵,将{Lorg(x,y)}实施第m级小波变换后得到的第n个方向子带的小波系数矩阵记为其中,3个方向子带分别为水平方向子带、垂直方向子带和对角方向子带,1≤m≤3,1≤n≤3,
表示
中坐标位置为(x,y)处的小波系数;
②-2、对{Ldis(x,y)}实施3级小波变换,得到每级小波变换对应的3个方向子带的小波系数矩阵,将{Ldis(x,y)}实施第m级小波变换后得到的第n个方向子带的小波系数矩阵记为其中,3个方向子带分别为水平方向子带、垂直方向子带和对角方向子带,1≤m≤3,1≤n≤3,
表示
中坐标位置为(x,y)处的小波系数;
②-3、根据{Lorg(x,y)}实施3级小波变换后得到的每级小波变换对应的3个方向子带的小波系数矩阵和{Ldis(x,y)}实施3级小波变换后得到的每级小波变换对应的3个方向子带的小波系数矩阵,估计得到{Ldis(x,y)}实施3级小波变换后得到的每级小波变换对应的各个方向子带的小波系数矩阵各自的补偿参数矩阵,将{Ldis(x,y)}实施第m级小波变换后得到的第n个方向子带的小波系数矩阵的补偿参数矩阵记为
其中,
表示
中坐标位置为(x,y)处的补偿参数,
为将输入
截断到[0,1]区间的截断函数;
②-4、根据{Lorg(x,y)}实施3级小波变换后得到的每级小波变换对应的3个方向子带的小波系数矩阵、{Ldis(x,y)}实施3级小波变换后得到的每级小波变换对应的3个方向子带的小波系数矩阵、{Ldis(x,y)}实施3级小波变换后得到的每级小波变换对应的各个方向子带的小波系数矩阵各自的补偿参数矩阵,计算{Ldis(x,y)}实施3级小波变换后得到的每级小波变换对应的各个方向子带的小波系数矩阵各自经恢复后得到的小波系数矩阵,将{Ldis(x,y)}实施第m级小波变换后得到的第n个方向子带的小波系数矩阵经恢复后得到的小波系数矩阵记为
其中,
表示
中坐标位置为(x,y)处的小波系数,
然后对{Ldis(x,y)}实施3级小波变换后得到的每级小波变换对应的各个方向子带的小波系数矩阵各自经恢复后得到的小波系数矩阵实施反小波变换,得到{Ldis(x,y)}的恢复图像,记为
其中,
表示
中坐标位置为(x,y)的像素点的像素值;
②-5、根据{Lorg(x,y)}实施3级小波变换后得到的每级小波变换对应的3个方向子带的小波系数矩阵、{Ldis(x,y)}实施3级小波变换后得到的每级小波变换对应的3个方向子带的小波系数矩阵、{Ldis(x,y)}实施3级小波变换后得到的每级小波变换对应的各个方向子带的小波系数矩阵各自经恢复后得到的小波系数矩阵,计算{Ldis(x,y)}实施3级小波变换后得到的每级小波变换对应的各个方向子带的小波系数矩阵各自经干扰后得到的小波系数矩阵,将{Ldis(x,y)}实施第m级小波变换后得到的第n个方向子带的小波系数矩阵经干扰后得到的小波系数矩阵记为
其中,
表示
中坐标位置为(x,y)处的小波系数,
其中,
表示
中坐标位置为(x,y)的像素点的像素值;
②-6、按照步骤②-1至步骤②-5获取{Ldis(x,y)}的恢复图像和{Ldis(x,y)}的干扰图像
的操作,以相同的方式获取{Rdis(x,y)}的恢复图像
和{Rdis(x,y)}的干扰图像
所述的步骤③的具体过程为:
③-1、采用log-Garbor滤波器对{Lorg(x,y)}中的每个像素点进行滤波处理,得到{Lorg(x,y)}中的每个像素点在不同尺度和不同方向的偶对称频率响应和奇对称频率响应,将{Lorg(x,y)}中坐标位置为(x,y)的像素点在不同尺度和不同方向的偶对称频率响应记为eα,θ(x,y),将{Lorg(x,y)}中坐标位置为(x,y)的像素点在不同尺度和不同方向的奇对称频率响应记为oα,θ(x,y),其中,α表示log-Garbor滤波器的尺度因子,1≤α≤4,θ表示log-Garbor滤波器的方向因子,1≤θ≤4;
③-2、计算{Lorg(x,y)}中的每个像素点在不同方向的相位一致性特征,将{Lorg(x,y)}中坐标位置为(x,y)的像素点在不同方向的相位一致性特征记为PCθ(x,y),
③-3、根据{Lorg(x,y)}中的每个像素点的最大相位一致性特征对应的方向,计算{Lorg(x,y)}中的每个像素点的局部相位特征和局部振幅特征,对于{Lorg(x,y)}中坐标位置为(x,y)的像素点,首先找出其在不同方向的相位一致性特征中的最大相位一致性特征,其次找出该最大相位一致性特征对应的方向,记为θm,再次根据θm计算{Lorg(x,y)}中坐标位置为(x,y)的像素点的局部相位特征和局部振幅特征,对应记为和
表示{Lorg(x,y)}中坐标位置为(x,y)的像素点在不同尺度和最大相位一致性特征对应的方向θm的偶对称频率响应,
表示
中坐标位置为(x,y)的像素点在不同尺度和最大相位一致性特征对应的方向θm的奇对称频率响应,arctan()为取反正切函数;
③-4、按照步骤③-1至步骤③-3获取{Lorg(x,y)}中的每个像素点的局部相位特征和局部振幅特征的操作,以相同的方式获取{Rorg(x,y)}、和
中的每个像素点的局部相位特征和局部振幅特征。
所述的步骤⑤中的图像质量客观评价预测值
的获取过程为:
⑤-1a、分别将{Lorg(x,y)}和划分成
个互不重叠的尺寸大小为8×8的子块,将{Lorg(x,y)}中当前待处理的第k个子块定义为当前第一子块,将
中当前待处理的第k个的子块定义为当前第二子块,其中,
⑤-2a、将当前第一子块记为将当前第二子块记为
其中,(x2,y2)表示
和
中的像素点的坐标位置,1≤x2≤8,1≤y2≤8,
表示
中坐标位置为(x2,y2)的像素点的像素值,
表示
中坐标位置为(x2,y2)的像素点的像素值;
⑤-3a、将以向量形式表示为
对
实施奇异值分解,
为
的左奇异向量,
为
的右奇异向量,
为
的奇异值向量,
的对角线上的元素为奇异值,且其值按照从大到小的顺序进行排列,
为
的转置向量;
将以向量形式表示为
对
实施奇异值分解,
其中,
为
的左奇异向量,
为
的右奇异向量,
为
的奇异值向量,
的对角线上的元素为奇异值,且其值按照从大到小的顺序进行排列,
为
的转置向量;
⑤-4a、令k=k+1,将{Lorg(x,y)}中下一个待处理的子块作为当前第一子块,将中下一个待处理的子块作为当前第二子块,然后返回步骤⑤-2a继续执行,直至{Lorg(x,y)}和
中的所有子块均处理完毕,得到{Lorg(x,y)}中的每个子块的奇异值向量和
中的每个子块的奇异值向量,其中,k=k+1中的“=”为赋值符号;
⑤-5a、根据{Lorg(x,y)}中的每个子块的奇异值向量和中的每个子块的奇异值向量,计算
的图像质量客观评价预测值,记为
其中,Nblock表示{Lorg(x,y)}中包含的子块的个数,也表示
中包含的子块的个数,
符号“||”为取绝对值符号,“<>”为取内积函数;
所述的步骤⑤中的图像质量客观评价预测值
的获取过程为:
⑤-1b、分别将{Rorg(x,y)}和划分成
个互不重叠的尺寸大小为8×8的子块,将{Rorg(x,y)}中当前待处理的第k个子块定义为当前第一子块,将
中当前待处理的第k个的子块定义为当前第二子块,其中,
⑤-2b、将当前第一子块记为将当前第二子块记为
其中,(x2,y2)表示
和
中的像素点的坐标位置,1≤x2≤8,1≤y2≤8,
表示
中坐标位置为(x2,y2)的像素点的像素值,
表示
中坐标位置为(x2,y2)的像素点的像素值;
⑤-3b、将以向量形式表示为
对
实施奇异值分解,
为
的左奇异向量,
为
的右奇异向量,
为
的奇异值向量,
的对角线上的元素为奇异值,且其值按照从大到小的顺序进行排列,
为
的转置向量;
将以向量形式表示为
对
实施奇异值分解,
其中,
为
的左奇异向量,
为
的右奇异向量,
为
的奇异值向量,
的对角线上的元素为奇异值,且其值按照从大到小的顺序进行排列,
为
的转置向量;
⑤-4b、令k=k+1,将{Rorg(x,y)}中下一个待处理的子块作为当前第一子块,将中下一个待处理的子块作为当前第二子块,然后返回步骤⑤-2b继续执行,直至{Rorg(x,y)}和
中的所有子块均处理完毕,得到{Rorg(x,y)}中的每个子块的奇异值向量和
中的每个子块的奇异值向量,其中,k=k+1中的“=”为赋值符号;
⑤-5b、根据{Rorg(x,y)}中的每个子块的奇异值向量和中的每个子块的奇异值向量,计算
的图像质量客观评价预测值,记为
其中,N′blcok表示{Rorg(x,y)}中包含的子块的个数,也表示
中包含的子块的个数,
符号“||”为取绝对值符号,“<>”为取内积函数。
所述的步骤④中取T1=0.85,T2=160。
所述的步骤⑥中取w1=0.9208,w2=0.0792。
所述的步骤⑦中取p=7.99,q=6.59,m=1.28、s=0.985和z=0.077。
与现有技术相比,本发明的优点在于:
1)本发明方法考虑到失真会导致图像细节丢失或冗余信息增加,因此将失真的立体图像分解为恢复图像和干扰图像,并分别对恢复图像和干扰图像进行评价,这样能够较好地反映立体图像的质量变化情况,使得评价结果更加符合人类视觉系统。
2)本发明方法采用局部相位特征和局部振幅特征对恢复图像进行评价,采用奇异值向量对干扰图像进行评价,这样能够很好地表征图像细节和冗余信息对图像质量的影响,从而能够有效地提高客观评价结果与主观感知的相关性。
附图说明
图1为本发明方法的总体实现框图;
图2a为Akko(尺寸为640×480)立体图像的左视点图像;
图2b为Akko(尺寸为640×480)立体图像的右视点图像;
图3a为Altmoabit(尺寸为1024×768)立体图像的左视点图像;
图3b为Altmoabit(尺寸为1024×768)立体图像的右视点图像;
图4a为Balloons(尺寸为1024×768)立体图像的左视点图像;
图4b为Balloons(尺寸为1024×768)立体图像的右视点图像;
图5a为Doorflower(尺寸为1024×768)立体图像的左视点图像;
图5b为Doorflower(尺寸为1024×768)立体图像的右视点图像;
图6a为Kendo(尺寸为1024×768)立体图像的左视点图像;
图6b为Kendo(尺寸为1024×768)立体图像的右视点图像;
图7a为LeaveLaptop(尺寸为1024×768)立体图像的左视点图像;
图7b为LeaveLaptop(尺寸为1024×768)立体图像的右视点图像;
图8a为Lovebierd1(尺寸为1024×768)立体图像的左视点图像;
图8b为Lovebierd1(尺寸为1024×768)立体图像的右视点图像;
图9a为Newspaper(尺寸为1024×768)立体图像的左视点图像;
图9b为Newspaper(尺寸为1024×768)立体图像的右视点图像;
图10a为Xmas(尺寸为640×480)立体图像的左视点图像;
图10b为Xmas(尺寸为640×480)立体图像的右视点图像;
图11为失真立体图像集合中的各幅失真的立体图像的图像质量客观评价预测值与平均主观评分差值的散点图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种基于图像分解的立体图像质量客观评价方法,其总体实现框图如图1所示,其处理过程为:
首先,对原始的无失真的立体图像的左视点图像和待评价的失真的立体图像的左视点图像实施3级小波变换,再根据得到的每级小波变换对应的3个方向子带的小波系数矩阵,获取待评价的失真的立体图像的左视点图像的恢复图像和干扰图像;同样,对原始的无失真的立体图像的右视点图像和待评价的失真的立体图像的右视点图像实施3级小波变换,再根据得到的每级小波变换对应的3个方向子带的小波系数矩阵,获取待评价的失真的立体图像的右视点图像的恢复图像和干扰图像;
其次,通过计算原始的无失真的立体图像的左视点图像和待评价的失真的立体图像的左视点图像的恢复图像中的每个像素点的局部相位特征和局部振幅特征,获取待评价的失真的立体图像的左视点图像的恢复图像的图像质量客观评价预测值;同样,通过计算原始的无失真的立体图像的右视点图像和待评价的失真的立体图像的右视点图像的恢复图像中的每个像素点的局部相位特征和局部振幅特征,获取待评价的失真的立体图像的右视点图像的恢复图像的图像质量客观评价预测值;
接着,通过计算原始的无失真的立体图像的左视点图像和待评价的失真的立体图像的左视点图像的干扰图像中的每个尺寸大小为8×8的子块的奇异值向量,获取待评价的失真的立体图像的左视点图像的干扰图像的图像质量客观评价预测值;同样,通过计算原始的无失真的立体图像的右视点图像和待评价的失真的立体图像的右视点图像的干扰图像中的每个尺寸大小为8×8的子块的奇异值向量,获取待评价的失真的立体图像的右视点图像的干扰图像的图像质量客观评价预测值;
之后,对待评价的失真的立体图像的左视点图像的恢复图像和干扰图像的图像质量客观评价预测值进行融合,得到待评价的失真的立体图像的左视点图像的图像质量客观评价预测值;同样,对待评价的失真的立体图像的右视点图像的恢复图像和干扰图像的图像质量客观评价预测值进行融合,得到待评价的失真的立体图像的右视点图像的图像质量客观评价预测值;
再者,对待评价的失真的立体图像的左视点图像和右视点图像的图像质量客观评价预测值进行融合,得到待评价的失真的立体图像的图像质量客观评价预测值;
最后,采用多幅原始的无失真的立体图像,建立其在不同失真类型不同失真程度下的失真立体图像集合,该失真立体图像集合包括多幅失真的立体图像,然后按照上述获取待评价的失真的立体图像的图像质量客观评价预测值的过程分别计算该失真立体图像集合中每幅失真的立体图像的图像质量客观评价预测值。
本发明的立体图像质量客观评价方法,具体包括以下步骤:
①令Sorg为原始的无失真的立体图像,令Sdis为待评价的失真的立体图像,将Sorg的左视点图像记为{Lorg(x,y)},将Sorg的右视点图像记为{Rorg(x,y)},将Sdis的左视点图像记为{Ldis(x,y)},将Sdis的右视点图像记为{Rdis(x,y)},其中,(x,y)表示左视点图像和右视点图像中的像素点的坐标位置,1≤x≤W,1≤y≤H,W表示左视点图像和右视点图像的宽度,H表示左视点图像和右视点图像的高度,Lorg(x,y)表示{Lorg(x,y)}中坐标位置为(x,y)的像素点的像素值,Rorg(x,y)表示{Rorg(x,y)}中坐标位置为(x,y)的像素点的像素值,Ldis(x,y)表示{Ldis(x,y)}中坐标位置为(x,y)的像素点的像素值,Rdis(x,y)表示{Rdis(x,y)}中坐标位置为(x,y)的像素点的像素值。
②由于失真会分别在图像中引入信息丢失失真(information-loss distortion)和信息添加失真(information-additive distortion),两种失真对感知质量的影响是各不相同的,比如信息丢失失真会引起双目抑制,而信息添加失真对感知的影响并不是很大,因此本发明方法分别对{Lorg(x,y)}和{Ldis(x,y)}实施3级小波变换,然后根据{Lorg(x,y)}实施3级小波变换后得到的每级小波变换对应的3个方向子带的小波系数矩阵和{Ldis(x,y)}实施3级小波变换后得到的每级小波变换对应的3个方向子带的小波系数矩阵,获取{Ldis(x,y)}的恢复图像和干扰图像,对应记为和
其中,
表示
中坐标位置为(x,y)的像素点的像素值,
表示
中坐标位置为(x,y)的像素点的像素值;分别对{Rorg(x,y)}和{Rdis(x,y)}实施3级小波变换,然后根据{Rorg(x,y)}实施3级小波变换后得到的每级小波变换对应的3个方向子带的小波系数矩阵和{Rdis(x,y)}实施3级小波变换后得到的每级小波变换对应的3个方向子带的小波系数矩阵,获取{Rdis(x,y)}的恢复图像和干扰图像,对应记为
和
其中,
表示
中坐标位置为(x,y)的像素点的像素值,
表示
中坐标位置为(x,y)的像素点的像素值。
在此具体实施例中,步骤②的具体过程为:
②-1、对{Lorg(x,y)}实施3级小波变换,得到每级小波变换对应的3个方向子带的小波系数矩阵,将{Lorg(x,y)}实施第m级小波变换后得到的第n个方向子带的小波系数矩阵记为其中,3个方向子带分别为水平方向子带、垂直方向子带和对角方向子带,1≤m≤3,1≤n≤3,n=1时第n个方向子带为水平方向子带,n=2时第n个方向子带为垂直方向子带,n=3时第n个方向子带为对角方向子带,
表示
中坐标位置为(x,y)处的小波系数。
②-2、对{Ldis(x,y)}实施3级小波变换,得到每级小波变换对应的3个方向子带的小波系数矩阵,将{Ldis(x,y)}实施第m级小波变换后得到的第n个方向子带的小波系数矩阵记为其中,3个方向子带分别为水平方向子带、垂直方向子带和对角方向子带,1≤m≤3,1≤n≤3,n=1时第n个方向子带为水平方向子带,n=2时第n个方向子带为垂直方向子带,n=3时第n个方向子带为对角方向子带,
表示
中坐标位置为(x,y)处的小波系数。
②-3、根据{Lorg(x,y)}实施3级小波变换后得到的每级小波变换对应的3个方向子带的小波系数矩阵和{Ldis(x,y)}实施3级小波变换后得到的每级小波变换对应的3个方向子带的小波系数矩阵,估计得到{Ldis(x,y)}实施3级小波变换后得到的每级小波变换对应的各个方向子带的小波系数矩阵各自的补偿参数矩阵,将{Ldis(x,y)}实施第m级小波变换后得到的第n个方向子带的小波系数矩阵的补偿参数矩阵记为
其中,
表示
中坐标位置为(x,y)处的补偿参数,即表示
中坐标位置为(x,y)处的小波系数
的补偿参数,
为将输入
截断到[0,1]区间的截断函数。
②-4、根据{Lorg(x,y)}实施3级小波变换后得到的每级小波变换对应的3个方向子带的小波系数矩阵、{Ldis(x,y)}实施3级小波变换后得到的每级小波变换对应的3个方向子带的小波系数矩阵、{Ldis(x,y)}实施3级小波变换后得到的每级小波变换对应的各个方向子带的小波系数矩阵各自的补偿参数矩阵,计算{Ldis(x,y)}实施3级小波变换后得到的每级小波变换对应的各个方向子带的小波系数矩阵各自经恢复后得到的小波系数矩阵,将{Ldis(x,y)}实施第m级小波变换后得到的第n个方向子带的小波系数矩阵经恢复后得到的小波系数矩阵记为
其中,
表示
中坐标位置为(x,y)处的小波系数,
然后对{Ldis(x,y)}实施3级小波变换后得到的每级小波变换对应的各个方向子带的小波系数矩阵各自经恢复后得到的小波系数矩阵实施反小波变换,得到{Ldis(x,y)}的恢复图像,记为
其中,
表示
中坐标位置为(x,y)的像素点的像素值。
②-5、根据{Lorg(x,y)}实施3级小波变换后得到的每级小波变换对应的3个方向子带的小波系数矩阵、{Ldis(x,y)}实施3级小波变换后得到的每级小波变换对应的3个方向子带的小波系数矩阵、{Ldis(x,y)}实施3级小波变换后得到的每级小波变换对应的各个方向子带的小波系数矩阵各自经恢复后得到的小波系数矩阵,计算{Ldis(x,y)}实施3级小波变换后得到的每级小波变换对应的各个方向子带的小波系数矩阵各自经干扰后得到的小波系数矩阵,将{Ldis(x,y)}实施第m级小波变换后得到的第n个方向子带的小波系数矩阵经干扰后得到的小波系数矩阵记为
其中,
表示
中坐标位置为(x,y)处的小波系数,
其中,
表示
中坐标位置为(x,y)的像素点的像素值。
②-6、按照步骤②-1至步骤②-5获取{Ldis(x,y)}的恢复图像和{Ldis(x,y)}的干扰图像
的操作,以相同的方式获取{Rdis(x,y)}的恢复图像
和{Rdis(x,y)}的干扰图像
即具体过程为:1)对{Rorg(x,y)}实施3级小波变换,得到每级小波变换对应的3个方向子带的小波系数矩阵,将{Rorg(x,y)}实施第m级小波变换后得到的第n个方向子带的小波系数矩阵记为
表示
中坐标位置为(x,y)处的小波系数;2)对{Rdis(x,y)}实施3级小波变换,得到每级小波变换对应的3个方向子带的小波系数矩阵,将{Rdis(x,y)}实施第m级小波变换后得到的第n个方向子带的小波系数矩阵记为
表示
中坐标位置为(x,y)处的小波系数;3)计算{Rdis(x,y)}实施3级小波变换后得到的每级小波变换对应的各个方向子带的小波系数矩阵各自的补偿参数矩阵,将{Rdis(x,y)}实施第m级小波变换后得到的第n个方向子带的小波系数矩阵
的补偿参数矩阵记为
其中
表示
中坐标位置为(x,y)处的补偿参数,
4)计算{Rdis(x,y)}实施3级小波变换后得到的每级小波变换对应的各个方向子带的小波系数矩阵各自经恢复后得到的小波系数矩阵,将{Rdis(x,y)}实施第m级小波变换后得到的第n个方向子带的小波系数矩阵
经恢复后得到的小波系数矩阵记为
其中,
表示
中坐标位置为(x,y)处的小波系数,
然后对{Rdis(x,y)}实施3级小波变换后得到的每级小波变换对应的各个方向子带的小波系数矩阵各自经恢复后得到的小波系数矩阵实施反小波变换,得到{Rdis(x,y)}的恢复图像,记为
其中,
表示
中坐标位置为(x,y)的像素点的像素值;5)计算{Rdis(x,y)}实施3级小波变换后得到的每级小波变换对应的各个方向子带的小波系数矩阵各自经干扰后得到的小波系数矩阵,将{Rdis(x,y)}实施第m级小波变换后得到的第n个方向子带的小波系数矩阵
经干扰后得到的小波系数矩阵记为
其中,
表示
中坐标位置为(x,y)处的小波系数,
其中,
表示
中坐标位置为(x,y)的像素点的像素值。
③分别计算{Lorg(x,y)}、{Rorg(x,y)}、和
中的每个像素点的局部相位特征和局部振幅特征,将{Lorg(x,y)}中坐标位置为(x,y)的像素点的局部相位特征记为
将{Lorg(x,y)}中坐标位置为(x,y)的像素点的局部振幅特征记为
将{Rorg(x,y)}中坐标位置为(x,y)的像素点的局部相位特征记为
将{Rorg(x,y)}中坐标位置为(x,y)的像素点的局部振幅特征记为
将
中坐标位置为(x,y)的像素点的局部相位特征记为
将
中坐标位置为(x,y)的像素点的局部振幅特征记为
将
中坐标位置为(x,y)的像素点的局部相位特征记为
将
中坐标位置为(x,y)的像素点的局部振幅特征记为
在此具体实施例中,步骤③的具体过程为:
③-1、采用log-Garbor滤波器对{Lorg(x,y)}中的每个像素点进行滤波处理,得到{Lorg(x,y)}中的每个像素点在不同尺度和不同方向的偶对称频率响应和奇对称频率响应,将{Lorg(x,y)}中坐标位置为(x,y)的像素点在不同尺度和不同方向的偶对称频率响应记为eα,θ(x,y),将{Lorg(x,y)}中坐标位置为(x,y)的像素点在不同尺度和不同方向的奇对称频率响应记为oα,θ(x,y),其中,α表示log-Garbor滤波器的尺度因子,1≤α≤4,θ表示log-Garbor滤波器的方向因子,1≤θ≤4。
③-2、计算{Lorg(x,y)}中的每个像素点在不同方向的相位一致性特征,将{Lorg(x,y)}中坐标位置为(x,y)的像素点在不同方向的相位一致性特征记为PCθ(x,y),
③-3、根据{Lorg(x,y)}中的每个像素点的最大相位一致性特征对应的方向,计算{Lorg(x,y)}中的每个像素点的局部相位特征和局部振幅特征,对于{Lorg(x,y)}中坐标位置为(x,y)的像素点,首先找出其在不同方向的相位一致性特征中的最大相位一致性特征,其次找出该最大相位一致性特征对应的方向,记为θm,再次根据θm计算{Lorg(x,y)}中坐标位置为(x,y)的像素点的局部相位特征和局部振幅特征,对应记为和
表示{Lorg(x,y)}中坐标位置为(x,y)的像素点在不同尺度和最大相位一致性特征对应的方向θm的偶对称频率响应,
表示{Lorg(x,y)}中坐标位置为(x,y)的像素点在不同尺度和最大相位一致性特征对应的方向θm的奇对称频率响应,arctan()为取反正切函数。
③-4、按照步骤③-1至步骤③-3获取{Lorg(x,y)}中的每个像素点的局部相位特征和局部振幅特征的操作,以相同的方式获取{Rorg(x,y)}、和
中的每个像素点的局部相位特征和局部振幅特征。如:获取
中的每个像素点的局部相位特征和局部振幅特征的具体过程为:1)采用log-Garbor滤波器对
中的每个像素点进行滤波处理,得到
中的每个像素点在不同尺度和不同方向的偶对称频率响应和奇对称频率响应,将
中坐标位置为(x,y)的像素点在不同尺度和不同方向的偶对称频率响应记为e'α,θ(x,y),将
中坐标位置为(x,y)的像素点在不同尺度和不同方向的奇对称频率响应记为o'α,θ(x,y);2)计算
中的每个像素点在不同方向的相位一致性特征,将
中坐标位置为(x,y)的像素点在不同方向的相位一致性特征记为PC'θ(x,y),
其中,
中的每个像素点的最大相位一致性特征对应的方向,计算
中的每个像素点的局部相位特征和局部振幅特征,对于
中坐标位置为(x,y)的像素点,首先找出其在不同方向的相位一致性特征中的最大相位一致性特征,其次找出该最大相位一致性特征对应的方向,记为θm,再次根据θm计算
中坐标位置为(x,y)的像素点的局部相位特征和局部振幅特征,对应记为
和
表示
中坐标位置为(x,y)的像素点在不同尺度和最大相位一致性特征对应的方向θm的偶对称频率响应,
表示
中坐标位置为(x,y)的像素点在不同尺度和最大相位一致性特征对应的方向θm的奇对称频率响应。
④与原始图像相比,恢复图像会引入信息丢失失真(information-loss distortion),而局部相位特征和局部振幅特征能够很好地评价图像细节信息变化,因此本发明方法根据{Lorg(x,y)}和中的每个像素点的局部相位特征和局部振幅特征,计算
的图像质量客观评价预测值,记为
和
中的每个像素点的局部相位特征和局部振幅特征,计算
的图像质量客观评价预测值,记为
⑤干扰图像会引入信息添加失真(information-additive distortion),而奇异值能够很好地描述图像能量,可以利用奇异值的变化来反映冗余信息,因此本发明方法分别将{Lorg(x,y)}和划分成
个互不重叠的尺寸大小为8×8的子块,然后分别对{Lorg(x,y)}中的每个子块和
中的每个子块实施奇异值分解,得到{Lorg(x,y)}中的每个子块的奇异值向量和
中的每个子块的奇异值向量,再计算
的图像质量客观评价预测值,记为
中包含的子块的个数,
符号“||”为取绝对值符号,“<>”为取内积函数,
表示{Lorg(x,y)}中的第k个子块的奇异值向量,
表示
中的第k个子块的奇异值向量;同样,分别将
和
划分成
个互不重叠的尺寸大小为8×8的子块,然后分别对{Rorg(x,y)}中的每个子块和
中的每个子块实施奇异值分解,得到{Rorg(x,y)}中的每个子块的奇异值向量和
中的每个子块的奇异值向量,再计算
的图像质量客观评价预测值,记为
其中,N′block表示{Rorg(x,y)}中包含的子块的个数,也表示
中包含的子块的个数,
符号“||”为取绝对值符号,“<>”为取内积函数,
表示
中的第k个子块的奇异值向量,
表示
中的第k个子块的奇异值向量。
在此具体实施例中,步骤⑤中的图像质量客观评价预测值
的获取过程为:
⑤-1a、分别将{Lorg(x,y)}和划分成
个互不重叠的尺寸大小为8×8的子块,将{Lorg(x,y)}中当前待处理的第k个子块定义为当前第一子块,将
中当前待处理的第k个的子块定义为当前第二子块,其中,
⑤-2a、将当前第一子块记为将当前第二子块记为
其中,(x2,y2)表示
和
中的像素点的坐标位置,1≤x2≤8,1≤y2≤8,
表示
中坐标位置为(x2,y2)的像素点的像素值,
表示
中坐标位置为(x2,y2)的像素点的像素值。
⑤-3a、将以向量形式表示为
对
实施奇异值分解,
为
的左奇异向量,
为
的右奇异向量,
为
的奇异值向量,
的对角线上的元素为奇异值,且其值按照从大到小的顺序进行排列,
为
的转置向量;将
以向量形式表示为
对
实施奇异值分解,
其中,
为
的左奇异向量,
为
的右奇异向量,
为
的奇异值向量,
的对角线上的元素为奇异值,且其值按照从大到小的顺序进行排列,
为
的转置向量。
⑤-4a、令k=k+1,将{Lorg(x,y)}中下一个待处理的子块作为当前第一子块,将中下一个待处理的子块作为当前第二子块,然后返回步骤⑤-2a继续执行,直至{Lorg(x,y)}和
中的所有子块均处理完毕,得到{Lorg(x,y)}中的每个子块的奇异值向量和
中的每个子块的奇异值向量,其中,k=k+1中的“=”为赋值符号。
⑤-5a、根据{Lorg(x,y)}中的每个子块的奇异值向量和中的每个子块的奇异值向量,计算
的图像质量客观评价预测值,记为
其中,Nblock表示{Lorg(x,y)}中包含的子块的个数,也表示
中包含的子块的个数,
符号“||”为取绝对值符号,“<>”为取内积函数。
在此具体实施例中,步骤⑤中的图像质量客观评价预测值
的获取过程为:
⑤-1b、分别将{Rorg(x,y)}和划分成
个互不重叠的尺寸大小为8×8的子块,将{Rorg(x,y)}中当前待处理的第k个子块定义为当前第一子块,将
中当前待处理的第k个的子块定义为当前第二子块,其中,
⑤-2b、将当前第一子块记为将当前第二子块记为
其中,(x2,y2)表示
和
中的像素点的坐标位置,1≤x2≤8,1≤y2≤8,
表示
中坐标位置为(x2,y2)的像素点的像素值,
表示
中坐标位置为(x2,y2)的像素点的像素值。
⑤-3b、将以向量形式表示为
对
实施奇异值分解,
为
的左奇异向量,
为
的右奇异向量,
为
的奇异值向量,
的对角线上的元素为奇异值,且其值按照从大到小的顺序进行排列,
为
的转置向量;将
以向量形式表示为
对
实施奇异值分解,
其中,
为
的左奇异向量,
为
的右奇异向量,
为
的奇异值向量,
的对角线上的元素为奇异值,且其值按照从大到小的顺序进行排列,
为
的转置向量。
⑤-4b、令k=k+1,将{Rorg(x,y)}中下一个待处理的子块作为当前第一子块,将中下一个待处理的子块作为当前第二子块,然后返回步骤⑤-2b继续执行,直至{Rorg(x,y)}和
中的所有子块均处理完毕,得到{Rorg(x,y)}中的每个子块的奇异值向量和
中的每个子块的奇异值向量,其中,k=k+1中的“=”为赋值符号。
⑤-5b、根据{Rorg(x,y)}中的每个子块的奇异值向量和中的每个子块的奇异值向量,计算
的图像质量客观评价预测值,记为
其中,N′block表示{Rorg(x,y)}中包含的子块的个数,也表示
中包含的子块的个数,
符号“||”为取绝对值符号,“<>”为取内积函数。
⑥对的图像质量客观评价预测值
和
的图像质量客观评价预测值
进行融合,得到{Ldis(x,y)}的图像质量客观评价预测值,记为QL,
并对
的图像质量客观评价预测值
和
的图像质量客观评价预测值
进行融合,得到{Rdis(x,y)}的图像质量客观评价预测值,记为
其中,w1表示
和
的权值比重,w2表示
和
的权值比重,w1+w2=1,在本实施例中,取w1=0.9208,w2=0.0792。
⑦对{Ldis(x,y)}的图像质量客观评价预测值QL和{Rdis(x,y)}的图像质量客观评价预测值QR进行融合,得到Sdis的图像质量客观评价预测值,记为Q,
⑧采用n幅原始的无失真的立体图像,建立其在不同失真类型不同失真程度下的失真立体图像集合,该失真立体图像集合包括多幅失真的立体图像,利用主观质量评价方法分别获取该失真立体图像集合中每幅失真的立体图像的平均主观评分差值,记为DMOS,DMOS=100-MOS,其中,MOS表示主观评分均值,DMOS∈[0,100],n≥1;然后按照步骤①至步骤⑦计算Sdis的图像质量客观评价预测值Q的操作,以相同的方式分别计算该失真立体图像集合中每幅失真的立体图像的图像质量客观评价预测值。
在本实施例中,利用如图2a和图2b构成的立体图像、图3a和图3b构成的立体图像、图4a和图4b构成的立体图像、图5a和图5b构成的立体图像、图6a和图6b构成的立体图像、图7a和图7b构成的立体图像、图8a和图8b构成的立体图像、图9a和图9b构成的立体图像、图10a和图10b构成的立体图像共9幅(n=9)无失真的立体图像,建立对应在高斯模糊下5个失真等级、高斯白噪声下5个失真等级、JPEG压缩下5个失真等级、JPEG2000压缩下5个失真等级、H.264压缩下6个失真等级的一共234幅失真立体图像作为测试立体图像。这234幅失真立体图像构成一个失真立体图像集合,利用现有的主观质量评价方法分别获取该失真立体图像集合中每幅失真的立体图像的平均主观评分差值,记为DMOS,DMOS=100-MOS,其中,MOS表示主观评分均值,DMOS∈[0,100];然后按照步骤①至步骤⑦计算Sdis的图像质量客观评价预测值Q的操作,以相同的方式分别计算该失真立体图像集合中每幅失真的立体图像的图像质量客观评价预测值。
采用图2a至图10b所示的9幅无失真的立体图像在不同程度的JPEG压缩、JPEG2000压缩、高斯模糊、白噪声和H.264编码失真情况下的234幅失真的立体图像来分析这234幅失真的立体图像的图像质量客观评价预测值与平均主观评分差值之间的相关性。在本实施例中,利用评估图像质量评价方法的4个常用客观参量作为评价指标,即非线性回归条件下的Pearson相关系数(Pearson linear correlation coefficient,PLCC)、Spearman相关系数(Spearman rank order correlation coefficient,SROCC)、Kendall相关系数(Kendall rank-order correlation coefficient,KROCC)、均方误差(root mean squarederror,RMSE),PLCC和RMSE反映失真的立体图像的图像质量客观评价预测值的准确性,SROCC和KROCC反映其单调性。将计算得到的234幅失真的立体图像的图像质量客观评价预测值做四参数Logistic函数非线性拟合,PLCC和SROCC值越高、OR和RMSE值越小说明本发明的质量客观评价方法与平均主观评分差值相关性越好。反映立体图像客观评价方法性能的PLCC、SROCC、KROCC和RMSE系数如表1所示,从表1所列的数据可知,按本发明方法得到的失真的立体图像的最终的图像质量客观评价预测值与平均主观评分差值之间的相关性是很高的,充分表明了客观评价结果与人眼主观感知的结果较为一致,足以说明本发明方法的有效性。
图11给出了234幅失真的立体图像的图像质量客观评价预测值与平均主观评分差值的散点图,散点越集中,说明客观评价结果与主观感知的一致性越好。从图11中可以看出,采用本发明方法得到的散点图比较集中,与主观评价数据之间的吻合度较高。
表1利用本发明方法得到的234幅失真的立体图像的图像质量客观评价预测值与主观评分之间的相关性