技术领域

本发明涉及一种视频错误隐藏方法，尤其是涉及一种自由视点视频整帧丢失错误隐藏方法。

背景技术

进入本世纪以来，随着多媒体技术的不断发展，传统的二维视频系统在表现自然场景时，难以满足用户的立体感和视点交互等的需求。自由视点视频系统能够使人们自由地选择视点欣赏场景，给人们身临其境的感觉，因此在影视娱乐、教育、产品展示、医疗和安全监控等领域具有非常广阔的应用前景，是新一代多媒体视频系统的发展方向。通常，自由视点视频系统如图1所示，其主要包括视频捕获（视频采集）、视频编码、视频解码和3D（三维）显示等模块。自由视点视频系统的核心技术是多视点视频信号编解码和实时传输等问题。

多视点视频信号是由多个相机对同一场景不同角度进行拍摄得到的数据，在自由视点视频系统中，多视点视频传输数据量与视点数成正比，相对于单视点视频，多视点视频传输数据量极大，因此必须利用数据间的冗余信息来对其进行高效的压缩编码，这使得编码的多视点视频流对信道差错非常敏感。然而，由于自由视点视频数据通过无线信道、互联网等不可靠信道时，可能会出现比特出错或数据丢包现象，这种错误不仅会对出错帧的视频质量有影响，而且由于多视点视频的预测结构关系，这种错误还将扩散到以出错视点为参考的其它视点后续帧中，会严重影响视频的解码重建质量，导致出现马赛克、黑块、停顿等情况。因此必须对自由视点视频的传输进行有效的差错控制，目前差错控制的技术主要分为三类：基于编码端的差错控制技术、解码端错误隐藏技术、编解码器交互式差错控制技术。由于解码端错误隐藏技术不会增加传输带宽，且时延低，因此其是提高多视点视频传输鲁棒性行之有效的办法。现有的整帧丢失错误隐藏技术集中在单通道视频和双目立体视频中，由于多视点视频大多采用分层B帧（HBP）的预测结构，其预测结构决定了不能将应用于单通道视频或双目立体视频中的错误隐藏技术直接应用到自由视点视频系统中。而现有的多视点视频错误隐藏方法主要集中在部分宏块丢失的情况，恢复的主要过程为通过多个可能的运动矢量估计值到丢失帧的参考帧中恢复出受损宏块的若干个可能的恢复块，然后利用边界匹配准则从这若干个可能的恢复块中找出受损宏块的最佳匹配恢复块作为最终的恢复宏块；然而，对于整帧丢失的情况，没有可用来进行边界匹配的相邻正解解码宏块。

对自由视点视频系统中整帧丢失进行错误隐藏的技术应当有别于现有的单通道视频或双目立体视频中的错误隐藏方法，这是因为：一方面，由于传统的单通道视频或双目立体视频中的错误隐藏方法采用了顺序预测结构（IPPP），因此其丢失帧与前面已解参考帧是紧邻的，其前面正解码帧的诸多信息如运动信息等可以辅助丢失帧的恢复；而如图2所示的分层B帧预测结构由于其高效的压缩性能现已成为自由视点视频系统的主流编码结构，但是分层B帧预测结构中当某些帧丢失时，其可参考的视频帧在时间上离丢失帧相隔可能是好几个时刻，如何对与参考帧长时间隔的丢失帧进行错误隐藏是一个亟需解决的问题；另一方面，与IPPP结构不同的是，HBP结构中丢失帧有时间上前向和后向的双向参考帧，如果当前丢失帧为中间视点，则还有来自左视点和右视点的参考信息。因此，如何充分利用来自时域和视点间的双向冗余信息来提高错误隐藏方法的重建恢复质量，是自由视点视频系统传输过程中需要研究解决的问题。

发明内容

本发明所要解决的技术问题是提供一种自由视点视频整帧丢失错误隐藏方法,其能够有效地提高视频传输的鲁棒性，并能够有效地提高解码端视频数据的重建质量。

本发明解决上述技术问题所采用的技术方案为：一种自由视点视频整帧丢失错误隐藏方法，其特征在于包括以下步骤：

①获取S个参考视点的N个时刻的N×S幅颜色空间为YUV的彩色图像，然后在编码端根据设定的编码预测结构分别对S个参考视点的N个时刻的N×S幅颜色空间为YUV的彩色图像进行编码，再将编码后的N×S幅颜色空间为YUV的彩色图像经网络传输给解码端；在解码端对编码后的N×S幅颜色空间为YUV的彩色图像进行解码，获得解码后的S个参考视点的N个时刻的N×S幅颜色空间为YUV的彩色图像；其中，YUV颜色空间的三个颜色分量的第1个颜色分量为亮度分量并记为Y、第2个颜色分量为第一色度分量并记为U及第3个颜色分量为第二色度分量并记为V；

②假设解码后的第s个参考视点的第t时刻的彩色图像为丢失帧，记为并假设丢失帧的所有参考彩色图像已正确解码，丢失帧的参考彩色图像包括时域上的后向参考彩色图像和前向参考彩色图像及视点域上的左向参考彩色图像和右向参考彩色图像其中，2≤s≤S，s的初始值为2，2≤t≤N,t的初始值为2，i＝1,2,3分别表示YUV颜色空间的第1个颜色分量即亮度分量Y、第2个颜色分量即第一色度分量U及第3个颜色分量即第二色度分量V，(x,y)表示彩色图像中的像素点的坐标位置，表示丢失帧中坐标位置为(x,y)的像素点的第i个颜色分量的值，表示第s个参考视点的第t-k时刻的彩色图像中坐标位置为(x,y)的像素点的第i个颜色分量的值，表示第s个参考视点的第t+k时刻的彩色图像中坐标位置为(x,y)的像素点的第i个颜色分量的值，表示第s-1个参考视点的第t时刻的彩色图像中坐标位置为(x,y)的像素点的第i个颜色分量的值，表示第s+1个参考视点的第t时刻的彩色图像中坐标位置为(x,y)的像素点的第i个颜色分量的值，1≤k≤L,L表示设定的编码预测结构中一个图像组的长度；

③将丢失帧分割成个互不重叠的尺寸大小为m×m的图像块，将丢失帧中的第j个图像块记为B_j，其中，W表示彩色图像的宽度，H表示彩色图像的高度，m的取值由彩色图像的尺寸大小决定，

④根据丢失帧的后向参考彩色图像和前向参考彩色图像获取丢失帧中的每个图像块的运动矢量估计值，将丢失帧中的第j个图像块B_j的运动矢量估计值记为

⑤根据丢失帧的左向参考彩色图像和右向参考彩色图像获取丢失帧中的每个图像块的视差矢量估计值，将丢失帧中的第j个图像块B_j的视差矢量估计值记为

⑥利用丢失帧中的每个图像块的运动矢量估计值，在丢失帧的后向参考彩色图像和前向参考彩色图像中进行双向运动补偿得到丢失帧中的每个图像块的时域恢复块，将丢失帧中的第j个图像块B_j的时域恢复块记为B′_Tj；

⑦利用丢失帧中的每个图像块的视差矢量估计值，在丢失帧的左向参考彩色图像和右向参考彩色图像中进行双向视差补偿得到丢失帧中的每个图像块的视点域恢复块，将丢失帧中的第j个图像块B_j的视点域恢复块记为

⑧根据丢失帧中的每个图像块的时域恢复块中的每个像素点的像素值与对应的视点域恢复块中的每个像素点的像素值，计算丢失帧中的每个图像块中的每个像素点的像素值，将丢失帧中的第j个图像块B_j中的所有像素点的像素值的集合记为$$ \left\{{\hat{p}}_j(u,v)\right|(u,v)\∈B_j\}=0.5\×\{p_{T_j}^{\′}(u,v)|(u,v)\∈B_{T_j}^{\′}\}+0.5\×\left\{p_{S_j}^{\′}(u,v)\right|(u,v)\∈B_{S_j}^{\′}\},$$最后得到丢失帧的恢复帧，记为其中，表示丢失帧中的第j个图像块B_j中坐标位置为(u,v)的像素点的像素值，表示丢失帧中的第j个图像块B_j的时域恢复块B′_Tj中坐标位置为(u,v)的像素点的像素值，表示丢失帧中的第j个图像块B_j的视点域恢复块中坐标位置为(u,v)的像素点的像素值，1≤u≤m,1≤v≤m，表示丢失帧的恢复帧中坐标位置为(x,y)的像素点的第i个颜色分量的值。

所述的步骤②中丢失帧的后向参考彩色图像和前向参考彩色图像的确定过程为：

②-1、根据设定的编码预测结构，将设定的编码预测结构中一个长度为L的图像组分成具有M层的分层预测结构，其中，L=2^M-1；

②-2、根据丢失帧所在的时刻t，确定丢失帧所在的层次，假设丢失帧所在的层次为第g层，则有：如果t%8为0，则认为丢失帧所在的层次g＝1，如果t%4为0且t%8不为0，则认为丢失帧所在的层次g＝2，如果t%2为0且t%4和t%8均不为0，则认为丢失帧所在的层次g＝3，如果t%2不为0，则认为丢失帧所在的层次g＝4，其中，1≤g≤M，在此“%”表示求余运算符号；

②-3、当g=2或g=3或g=4时，令k=2^M-g，将第s个参考视点的第t-k时刻的彩色图像作为时域上丢失帧的后向参考彩色图像，将第s个参考视点的第t+k时刻的彩色图像作为时域上丢失帧的前向参考彩色图像，其中，k的初始值为1。

所述的步骤③中m的值为16或32或64。

所述的步骤④中丢失帧中的第j个图像块B_j的运动矢量估计值的获取过程为：

④-1、将丢失帧的第j个图像块B_j的左上角像素点的坐标位置记为将丢失帧的后向参考彩色图像中与丢失帧中的第j个图像块B_j的坐标位置对应的且尺寸大小为m×m的区域的左上角像素点的坐标位置记为将丢失帧的前向参考彩色图像中与丢失帧中的第j个图像块B_j的坐标位置对应的且尺寸大小为m×m的区域的左上角像素点的坐标位置记为

④-2、将丢失帧中的第j个图像块B_j从第t时刻到第t+k时刻的运动位移表示为将丢失帧中的第j个图像块B_j从第t时刻到第t-k时刻的运动位移表示为其中，表示在横坐标方向上的位移量，表示在纵坐标方向上的位移量，x_max表示在横坐标方向上的最大位移量，y_max表示在纵坐标方向上的最大位移量；然后根据获取丢失帧的前向参考彩色图像中的搜索范围$$ \left\{(x_{B_j^p}+{\hat{v}}_{x_j}+m,y_{B_j^p}+{\hat{v}}_{y_j}+m)\right|{-x}_{\max }\≤{\hat{v}}_{x_j}\≤x_{\max },{-y}_{\max }\≤{\hat{v}}_{y_j}\≤y_{\max }\},$$并记作Ω_T1，同样根据获取丢失帧的后向参考彩色图像中的搜索范围$$ \left\{(x_{B_j^b}-{\hat{v}}_{x_j}+m,y_{B_j^b}-{\hat{v}}_{y_j}+m)\right|{-x}_{\max }\≤{\hat{v}}_{x_j}\≤x_{\max },{-y}_{\max }\≤{\hat{v}}_{y_j}\≤y_{\max }\},$$并记作Ω_T2；再计算Ω_T1和Ω_T2内的所有尺寸大小为m×m的两个区域之间所有像素点的像素值的绝对误差和值，以集合形式记为$$ \left\{\mathrm{SAD}({\hat{v}}_{x_j},{\hat{v}}_{y_j})\right|{-x}_{\max }\≤{\hat{v}}_{x_j}\≤x_{\max },{-y}_{\max }\≤{\hat{v}}_{y_j}\≤y_{\max }\},$$$$ \mathrm{SAD}({\hat{v}}_{x_j},{\hat{v}}_{y_j})=\underset{(x,y)\∈B_j}{\mathrm{\Σ}}(I_{R,t-k,i}^s(x-{\hat{v}}_{x_j},y-{\hat{v}}_{y_j})-I_{R,t+k,i}^s(x+{\hat{v}}_{x_j},y+{\hat{v}}_{y_j})),$$其中，表示在Ω_T1内由位移量所指向的尺寸大小为m×m的区域中的所有像素点的像素值与在Ω_T2内由位移量所指向的尺寸大小为m×m的区域中的所有像素点的像素值的绝对误差和值，表示中坐标位置为的像素点的第i个颜色分量的值，表示中坐标位置为的像素点的第i个颜色分量的值；

④-3、在中，将使绝对误差和值最小的作为丢失帧中的第j个图像块B_j的运动矢量估计值，记为

所述的步骤⑤中丢失帧中的第j个图像块B_j的视差矢量估计值的获取过程为：

⑤-1、将丢失帧的第j个图像块B_j的左上角像素点的坐标位置记为将丢失帧的左向参考彩色图像中与丢失帧中的第j个图像块B_j的坐标位置对应的且尺寸大小为m×m的区域的左上角像素点的坐标位置记为将丢失帧的右向参考彩色图像中与丢失帧中的第j个图像块B_j的坐标位置对应的且尺寸大小为m×m的区域的左上角像素点的坐标位置记为

⑤-2、将丢失帧中的第j个图像块B_j在第s个参考视点与第s+1个参考视点之间的视差表示为将丢失帧中的第j个图像块B_j在第s个参考视点与第s-1个参考视点之间的视差表示为其中，表示在横坐标方向上的位移量，表示在纵坐标方向上的位移量，x_max表示在横坐标方向上的最大位移量，y_max表示在纵坐标方向上的最大位移量；然后根据获取丢失帧的右向参考彩色图像中的搜索范围$$ \left\{(x_{B_j^r}+{\hat{d}}_{x_j}+m,y_{B_j^r}+{\hat{d}}_{y_j}+m)\right|{-x}_{\max }\≤{\hat{d}}_{x_j}\≤x_{\max },{-y}_{\max }\≤{\hat{d}}_{y_j}\≤y_{\max }\},$$并记作Ω_S1，同样根据获取丢失帧的左向参考彩色图像中的搜索范围$$ \left\{(x_{B_j^l}-{\hat{d}}_{x_j}+m,y_{B_j^l}-{\hat{d}}_{y_j}+m)\right|{-x}_{\max }\≤{\hat{d}}_{x_j}\≤x_{\max },{-y}_{\max }\≤{\hat{d}}_{y_j}\≤y_{\max }\},$$并记作Ω_S2；再计算Ω_S1和Ω_S2内的所有尺寸大小为m×m的两个区域之间所有像素点的像素值的绝对误差和值，以集合形式记为$$ \left\{\mathrm{SAD}({\hat{d}}_{x_j},{\hat{d}}_{y_j})\right|{-x}_{\max }\≤{\hat{d}}_{x_j}\≤x_{\max },{-y}_{\max }\≤{\hat{d}}_{y_j}\≤y_{\max }\},$$$$ \mathrm{SAD}({\hat{d}}_{x_j},{\hat{d}}_{y_j})=\underset{(x,v)\∈B_j}{\mathrm{\Σ}}(I_{R,t,i}^{s-1}(x-{\hat{d}}_{x_j},y-{\hat{d}}_{x_j})-I_{R,t,i}^{s+1}(x+{\hat{d}}_{x_j},y+{\hat{d}}_{x_j})),$$其中，表示在Ω_S1内由位移量所指向的尺寸大小为m×m的区域中的所有像素点的像素值与在Ω_S2内由位移量所指向的尺寸大小为m×m的区域中的所有像素点的像素值的绝对误差和值，表示中坐标位置为的像素点的第i个颜色分量的值，表示中坐标位置为的像素点的第i个颜色分量的值；

⑤-3、在中，将使绝对误差和值最小的作为丢失帧中的第j个图像块B_j的视差矢量估计值，记为

所述的步骤⑥中丢失帧中的第j个图像块B_j的时域恢复块B′_Tj的获取过程为：

⑥-1、根据丢失帧中的第j个图像块B_j的运动矢量估计值在丢失帧的后向参考彩色图像中找出左上角像素点的坐标位置为且尺寸大小为m×m的区域，将该区域作为后向最佳匹配区域，并记为将后向最佳匹配区域中的所有像素点的像素值的集合记为其中，表示后向最佳匹配区域中坐标位置为(u,v)的像素点的像素值，1≤u≤m,1≤v≤m；

⑥-2、根据丢失帧中的第j个图像块B_j的运动矢量估计值在丢失帧的前向参考彩色图像中找出左上角像素点的坐标位置为且尺寸大小为m×m的区域，将该区域作为前向最佳匹配区域，并记为将前向最佳匹配区域中的所有像素点的像素值的集合记为其中，表示前向最佳匹配区域中坐标位置为(u,v)的像素点的像素值，1≤u≤m,1≤v≤m；

⑥-3、根据$$ \left\{p_j^b(u,v)\right|(u,v)\∈{\hat{B}}_j^b\}$$和$$ \left\{p_j^p(u,v)\right|(u,v)\∈{\hat{B}}_j^p\},$$获取丢失帧中的第j个图像块B_j的时域恢复块，记为B′_Tj，将B′_Tj中的所有像素点的像素值的集合，记为

$$ \left\{p_{T_j}^{\′}(u,v)\right|(u,v)\∈B_{T_j}^{\′}\},$$

$$ \left\{p_{T_j}^{\′}(u,v)\right|(u,v)\∈B_{T_j}^{\′}\}=\mathrm{\α}\×\{p_j^b(u,v)|(u,v)\∈{\hat{B}}_j^b\}+(1-\mathrm{\α})\×\left\{p_j^p(u,v)\right|(u,v)\∈{\hat{B}}_j^p\},$$其中，表示丢失帧中的第j个图像块B_j的时域恢复块B′_Tj中坐标位置为(u,v)的像素点的像素值，1≤u≤m,1≤v≤m，α表示加权系数。

所述的加权系数α取值为0.5。

所述的步骤⑦中丢失帧中的第j个图像块B_j的视点域恢复块的获取过程为：

⑦-1、根据丢失帧中的第j个图像块B_j的视差矢量估计值在丢失帧的左向参考彩色图像中找出左上角像素点的坐标位置为且尺寸大小为m×m的区域，将该区域作为左向最佳匹配区域，并记为将左向最佳匹配区域中的所有像素点的像素值的集合记为其中，表示左向最佳匹配区域中坐标位置为(u,v)的像素点的像素值，1≤u≤m,1≤v≤m；

⑦-2、根据丢失帧中的第j个图像块B_j的视差矢量估计值在丢失帧的右向参考彩色图像中找出左上角像素点的坐标位置为且尺寸大小为m×m的区域，将该区域作为右向最佳匹配区域，并记为将右向最佳匹配区域中的所有像素点的像素值的集合记为其中，表示左向最佳匹配区域中坐标位置为(u,v)的像素点的像素值，1≤u≤m,1≤v≤m；

⑦-3、根据$$ \left\{p_j^l(u,v)\right|(u,v)\∈{\hat{B}}_j^l\}$$和$$ \left\{p_j^r(u,v)\right|(u,v)\∈{\hat{B}}_j^r\},$$获取丢失帧中的第j个图像块B_j的视点域恢复块，记为将中的所有像素点的像素值的集合，记为$$ \left\{p_{S_j}^{\′}(u,v)\right|(u,v)\∈B_{S_j}^{\′}\},$$$$ \left\{p_{S_j}^{\′}(u,v)\right|(u,v)\∈B_{S_j}^{\′}\}={\mathrm{\α}}^{\′}\×\{p_j^l(u,v)|(u,v)\∈{\hat{B}}_j^l\}+\left\{p_j^r(u,v)\right|(u,v)\∈{\hat{B}}_j^r\},$$其中，表示丢失帧中的第j个图像块B_j的视点域恢复块中坐标位置为(u,v)的像素点的像素值，1≤u≤m,1≤v≤m，α'表示加权系数。

所述的加权系数α'取值为0.5。

所述的设定的编码预测结构为HBP编码预测结构。

与现有技术相比，本发明的优点在于：

1）本发明方法根据编码预测结构的预测关系，充分利用丢失帧时间域上的前向参考彩色图像和后向参考彩色图像对丢失帧中的每个图像块进行进行双向运动补偿恢复，并针对自由视频系统存在多个视点，充分利用丢失帧视点域上的左向参考彩色图像和右向参考彩色图像对丢失帧中的每个图像块的双向视差补偿恢复，再根据双向运动补偿恢复结果和双向视差补偿恢复结果得到最终的恢复帧，这种恢复方式大大提高了错误隐藏后图像视频的重建质量。

2）本发明方法对丢失帧不仅进行了时域的双向恢复，而且还进行了视点间的双向恢复，双向的视点间的参考信息增加了丢失帧恢复的冗余信息，对自由视点视频重建质量有很大的提高。

附图说明

图1为典型的三维视频系统的基本组成框图；

图2为HBP编码预测结构的示意图；

图3为一个图像组内各帧的层次关系和参考关系图；

图4为双向运动矢量和双向视差矢量关系图；

图5a为分辨率为1024×768的Lovebird1多视点视频序列图像；

图5b为分辨率为1024×768的LeaveLaptop多视点视频序列图像；

图6a为测试序列Lovebird1在编码量化参数QP＝27时的丢失帧正常解码重建时的图像；

图6b为测试序列Lovebird1中的丢失帧采用经典零运动矢量法恢复得到的恢复帧；

图6c为测试序列Lovebird1中的丢失帧采用本发明方法恢复得到的恢复帧。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的一种自由视点视频整帧丢失错误隐藏方法，其包括以下步骤：

①获取S个参考视点的N个时刻的N×S幅颜色空间为YUV的彩色图像，然后在编码端根据设定的编码预测结构分别对S个参考视点的N个时刻的N×S幅颜色空间为YUV的彩色图像进行编码，再将编码后的N×S幅颜色空间为YUV的彩色图像经网络传输给解码端；在解码端对编码后的N×S幅颜色空间为YUV的彩色图像进行解码，获得解码后的S个参考视点的N个时刻的N×S幅颜色空间为YUV的彩色图像；其中，YUV颜色空间的三个颜色分量的第1个颜色分量为亮度分量并记为Y、第2个颜色分量为第一色度分量并记为U及第3个颜色分量为第二色度分量并记为V。

在本实施中，要求参考视点至少为三个，即要求S≥3，但考虑到如果参考视点过多，则需要编码压缩的数据量很大，同时会给传输带来很大的压力，因此可要求参考视点的个数为3～8个，即3≤S≤8。

在本实施中，取N≥1；设定的编码预测结构采用公知的HBP编码预测结构，如图2所示。

②假设解码后的第s个参考视点的第t时刻的彩色图像为丢失帧，记为并假设丢失帧的所有参考彩色图像已正确解码，丢失帧的参考彩色图像包括时域上的后向参考彩色图像和前向参考彩色图像及视点域上的左向参考彩色图像和右向参考彩色图像其中，i＝1,2,3分别表示YUV颜色空间的第1个颜色分量即亮度分量Y、第2个颜色分量即第一色度分量U及第3个颜色分量即第二色度分量V，(x,y)表示彩色图像中的像素点的坐标位置，表示丢失帧中坐标位置为(x,y)的像素点的第i个颜色分量的值，后向参考彩色图像和前向参考彩色图像均与丢失帧在同一视点内且时间上离丢失帧最近，左向参考彩色图像为视点间离丢失帧最近的左视点的彩色图像，右向参考彩色图像为视点间离丢失帧最近的右视点的彩色图像，表示第s个参考视点的第t-k时刻的彩色图像即丢失帧的后向参考彩色图像中坐标位置为(x,y)的像素点的第i个颜色分量的值，表示第s个参考视点的第t+k时刻的彩色图像即丢失帧的前向参考彩色图像中坐标位置为(x,y)的像素点的第i个颜色分量的值，表示第s-1个参考视点的第t时刻的彩色图像即丢失帧的左向参考彩色图像中坐标位置为(x,y)的像素点的第i个颜色分量的值，表示第s+1个参考视点的第t时刻的彩色图像即丢失帧的右向参考彩色图像中坐标位置为(x,y)的像素点的第i个颜色分量的值，1≤k≤L,L表示设定的编码预测结构中一个图像组的长度。

本实施例中仅对非第1个参考视点、非第1时刻的彩色图像用本发明方法来进行处理，即2≤s≤S，s的初始值为2，2≤t≤N,t的初始值为2。

在此具体实施例中，步骤②中丢失帧的后向参考彩色图像和前向参考彩色图像的确定过程为：

②-1、根据设定的编码预测结构，将设定的编码预测结构中一个长度为L的图像组分成具有M层的分层预测结构，其中，L=2^M-1。

由于在公知的HBP编码预测结构中一个图像组的长度L为8，因此可分成具有4层的分层预测结构，即M=4，图3给出了一个图像组的各幅彩色图像的层次关系和参考关系。

②-2、根据丢失帧所在的时刻t，确定丢失帧所在的层次，假设丢失帧所在的层次为第g层，则有：如果t%8为0，则认为丢失帧所在的层次g＝1，如果t%4为0且t%8不为0，则认为丢失帧所在的层次g＝2，如果t%2为0且t%4和t%8均不为0，则认为丢失帧所在的层次g＝3，如果t%2不为0，则认为丢失帧所在的层次g＝4，其中，1≤g≤M，在此“%”表示求余运算符号。

②-3、当g=2或g=3或g=4时，令k=2^M-g，将第s个参考视点的第t-k时刻的彩色图像作为时域上丢失帧的后向参考彩色图像，将第s个参考视点的第t+k时刻的彩色图像作为时域上丢失帧的前向参考彩色图像，其中，k的初始值为1。

由于在分层预测结构中I帧和P帧位于第1层即g=1，而本发明方法仅针对丢失帧为B帧的整帧丢失错误隐藏，因此在本实施例中不考虑丢失帧位于第1层的情况。

③将丢失帧分割成个互不重叠的尺寸大小为m×m的图像块，将丢失帧中的第j个图像块记为B_j，其中，W表示彩色图像的宽度，H表示彩色图像的高度，m的取值由彩色图像的尺寸大小决定，

在本实施例中，m的值为16或32或64等。在本实施中，根据彩色图像的尺寸大小，m的值可以选择为64、32、或16等，一般如果彩色图像的尺寸较大，则m可取较大的值，反之m可选取较小的值，且由于视频编码中图像块尺寸通常为2的幂次，因此在本实施中m的取值也可选取2的幂次。

④根据丢失帧的后向参考彩色图像和前向参考彩色图像获取丢失帧中的每个图像块的运动矢量估计值，将丢失帧中的第j个图像块B_j的运动矢量估计值记为对于丢失帧中的第j个图像块B_j，如图4中的黑色块，由于时域相关性，B_j在后向参考彩色图像中存在一个尺寸大小相同的后向映射区域，在前向参考彩色图像中存在一个尺寸大小相同的前向映射区域，且这两个映射区域由于时域相关性将存在极大的相似性。

在此具体实施例中，步骤④中丢失帧中的第j个图像块B_j的运动矢量估计值的获取过程为：

④-1、将丢失帧的第j个图像块B_j的左上角像素点的坐标位置记为将丢失帧的后向参考彩色图像中与丢失帧中的第j个图像块B_j的坐标位置对应的且尺寸大小为m×m的区域的左上角像素点的坐标位置记为将丢失帧的前向参考彩色图像中与丢失帧中的第j个图像块B_j的坐标位置对应的且尺寸大小为m×m的区域的左上角像素点的坐标位置记为

④-2、假设获取的S个参考视点的N个时刻的N×S幅颜色空间为YUV的彩色图像中的运动对象在从第t-k时刻到第t+k时刻是匀速的，因此可将丢失帧中的第j个图像块B_j从第t时刻到第t+k时刻的运动位移表示为将丢失帧中的第j个图像块B_j从第t时刻到第t-k时刻的运动位移表示为其中，表示在横坐标方向上的位移量，表示在纵坐标方向上的位移量，x_max表示在横坐标方向上的最大位移量，y_max表示在纵坐标方向上的最大位移量；然后根据获取丢失帧的前向参考彩色图像中的搜索范围$$ \left\{(x_{B_j^p}+{\hat{v}}_{x_j}+m,y_{B_j^p}+{\hat{v}}_{y_j}+m)\right|{-x}_{\max }\≤{\hat{v}}_{x_j}\≤x_{\max },{-y}_{\max }\≤{\hat{v}}_{y_j}\≤y_{\max }\},$$并记作Ω_T1，同样根据获取丢失帧的后向参考彩色图像中的搜索范围$$ \left\{(x_{B_j^b}-{\hat{v}}_{x_j}+m,y_{B_j^b}-{\hat{v}}_{y_j}+m)\right|{-x}_{\max }\≤{\hat{v}}_{x_j}\≤x_{\max },{-y}_{\max }\≤{\hat{v}}_{y_j}\≤y_{\max }\},$$并记作Ω_T2；再计算Ω_T1和Ω_T2内的所有尺寸大小为m×m的两个区域之间所有像素点的像素值的绝对误差和值，以集合形式记为$$ \left\{\mathrm{SAD}({\hat{v}}_{x_j},{\hat{v}}_{y_j})\right|{-x}_{\max }\≤{\hat{v}}_{x_j}\≤x_{\max },{-y}_{\max }\≤{\hat{v}}_{y_j}\≤y_{\max }\},$$$$ \mathrm{SAD}({\hat{v}}_{x_j},{\hat{v}}_{y_j})=\underset{(x,y)\∈B_j}{\mathrm{\Σ}}(I_{R,t-k,i}^s(x-{\hat{v}}_{x_j},y-{\hat{v}}_{y_j})-I_{R,t+k,i}^s(x+{\hat{v}}_{x_j},y+{\hat{v}}_{y_j})),$$其中，表示在Ω_T1内由位移量所指向的尺寸大小为m×m的区域中的所有像素点的像素值与在Ω_T2内由位移量所指向的尺寸大小为m×m的区域中的所有像素点的像素值的绝对误差和值，表示中坐标位置为的像素点的第i个颜色分量的值，表示中坐标位置为的像素点的第i个颜色分量的值。

在本实施中，x_max的值为2的幂次，如可取4、8、16等值，在实际取值中可根据处理的图像的尺寸大小进行选择，一般情况下处理的图像的尺寸小一点，就取值小一点，$$ y_{\max }=\frac{x_{\max }}{2}.$$

④-3、在中，将使绝对误差和值最小的作为丢失帧中的第j个图像块B_j的运动矢量估计值，记为

⑤根据丢失帧的左向参考彩色图像和右向参考彩色图像获取丢失帧中的每个图像块的视差矢量估计值，将丢失帧中的第j个图像块B_j的视差矢量估计值记为对于丢失帧中的第j个图像块B_j，如图4中的黑色块，由于自由视点多个视点间存在较大的相关性，B_j在左向参考彩色图像中存在一个尺寸大小相同的左向映射区域，在右向参考彩色图像中存在一个尺寸大小相同的右向映射区域，且这两个映射区域由于视点域的空间相关性将存在极大的相似性。

在此具体实施例中，步骤⑤中丢失帧中的第j个图像块B_j的视差矢量估计值的获取过程为：

⑤-1、将丢失帧的第j个图像块B_j的左上角像素点的坐标位置记为将丢失帧的左向参考彩色图像中与丢失帧中的第j个图像块B_j的坐标位置对应的且尺寸大小为m×m的区域的左上角像素点的坐标位置记为将丢失帧的右向参考彩色图像中与丢失帧中的第j个图像块B_j的坐标位置对应的且尺寸大小为m×m的区域的左上角像素点的坐标位置记为

⑤-2、假设多视点数据是通过平行相机获取的，如果运动对象在第s个视点与第s+1个视点间的视差为则该运动对象在第s个视点与第s-1个视点之间的视差则为因此将丢失帧中的第j个图像块B_j在第s个参考视点与第s+1个参考视点之间的视差表示为将丢失帧中的第j个图像块B_j在第s个参考视点与第s-1个参考视点之间的视差表示为其中，表示在横坐标方向上的位移量，表示在纵坐标方向上的位移量，x_max表示在横坐标方向上的最大位移量，y_max表示在纵坐标方向上的最大位移量；然后根据获取丢失帧的右向参考彩色图像中的搜索范围$$ \left\{(x_{B_j^r}+{\hat{d}}_{x_j}+m,y_{B_j^r}+{\hat{d}}_{y_j}+m)\right|{-x}_{\max }\≤{\hat{d}}_{x_j}\≤x_{\max },{-y}_{\max }\≤{\hat{d}}_{y_j}\≤y_{\max }\},$$并记作Ω_S1，同样根据获取丢失帧的左向参考彩色图像中的搜索范围$$ \left\{(x_{B_j^l}-{\hat{d}}_{x_j}+m,y_{B_j^l}-{\hat{d}}_{y_j}+m)\right|{-x}_{\max }\≤{\hat{d}}_{x_j}\≤x_{\max },{-y}_{\max }\≤{\hat{d}}_{y_j}\≤y_{\max }\},$$并记作Ω_S2；再计算Ω_S1和Ω_S2内的所有尺寸大小为m×m的两个区域之间所有像素点的像素值的绝对误差和值，以集合形式记为$$ \left\{\mathrm{SAD}({\hat{d}}_{x_j},{\hat{d}}_{y_j})\right|{-x}_{\max }\≤{\hat{d}}_{x_j}\≤x_{\max },{-y}_{\max }\≤{\hat{d}}_{y_j}\≤y_{\max }\},$$$$ \mathrm{SAD}({\hat{d}}_{x_j},{\hat{d}}_{y_j})=\underset{(x,v)\∈B_j}{\mathrm{\Σ}}(I_{R,t,i}^{s-1}(x-{\hat{d}}_{x_j},y-{\hat{d}}_{x_j})-I_{R,t,i}^{s+1}(x+{\hat{d}}_{x_j},y+{\hat{d}}_{x_j})),$$其中表示在Ω_S1内由位移量所指向的尺寸大小为m×m的区域中的所有像素点的像素值与在Ω_S2内由位移量所指向的尺寸大小为m×m的区域中的所有像素点的像素值的绝对误差和值，表示中坐标位置为的像素点的第i个颜色分量的值，表示中坐标位置为的像素点的第i个颜色分量的值。

在本实施例中，x_max的值为2的幂次，如可取4、8、16等值，在实际取值中可根据处理的图像的尺寸大小进行选择，一般情况下处理的图像的尺寸小一点，就取值小一点，$$ y_{\max }=\frac{x_{\max }}{2}.$$

⑤-3、在中，将使绝对误差和值最小的作为丢失帧中的第j个图像块B_j的视差矢量估计值，记为

⑥利用丢失帧中的每个图像块的运动矢量估计值，在丢失帧的后向参考彩色图像和前向参考彩色图像中进行双向运动补偿得到丢失帧中的每个图像块的时域恢复块，将丢失帧中的第j个图像块B_j的时域恢复块记为B′_Tj。

在此具体实施例中，步骤⑥中丢失帧中的第j个图像块B_j的时域恢复块B'_Tj的获取过程为：

⑥-1、根据丢失帧中的第j个图像块B_j的运动矢量估计值在丢失帧的后向参考彩色图像中找出左上角像素点的坐标位置为且尺寸大小为m×m的区域，将该区域作为后向最佳匹配区域，并记为（如图4中所示的），将后向最佳匹配区域中的所有像素点的像素值的集合记为其中，表示后向最佳匹配区域中坐标位置为(u,v)的像素点的像素值，1≤u≤m,1≤v≤m。

⑥-2、根据丢失帧中的第j个图像块B_j的运动矢量估计值在丢失帧的前向参考彩色图像中找出左上角像素点的坐标位置为且尺寸大小为m×m的区域，将该区域作为前向最佳匹配区域，并记为（如图4中所示的），将前向最佳匹配区域中的所有像素点的像素值的集合记为其中，表示前向最佳匹配区域中坐标位置为(u,v)的像素点的像素值，1≤u≤m,1≤v≤m。

⑥-3、根据$$ \left\{p_j^b(u,v)\right|(u,v)\∈{\hat{B}}_j^b\}$$和$$ \left\{p_j^p(u,v)\right|(u,v)\∈{\hat{B}}_j^p\},$$获取丢失帧中的第j个图像块B_j的时域恢复块，记为B′_Tj，将B′_Tj中的所有像素点的像素值的集合，记为$$ \left\{p_{T_j}^{\′}(u,v)\right|(u,v)\∈B_{T_j}^{\′}\},$$$$ \left\{p_{T_j}^{\′}(u,v)\right|(u,v)\∈B_{T_j}^{\′}\}=\mathrm{\α}\×\{p_j^b(u,v)|(u,v)\∈{\hat{B}}_j^b\}+(1-\mathrm{\α})\×\left\{p_j^p(u,v)\right|(u,v)\∈{\hat{B}}_j^p\},$$其中，表示丢失帧中的第j个图像块B_j的时域恢复块B′_Tj中坐标位置为(u,v)的像素点的像素值，1≤u≤m,1≤v≤m，α表示加权系数，在此α取值为0.5，为了不在恢复过程中根据后向最佳匹配区域和前向最佳匹配区域中的像素点调整加权系数α的值，并折衷考虑计算复杂度和最终的恢复质量，因此取α为0.5。

⑦利用丢失帧中的每个图像块的视差矢量估计值，在丢失帧的左向参考彩色图像和右向参考彩色图像中进行双向视差补偿得到丢失帧中的每个图像块的视点域恢复块，将丢失帧中的第j个图像块B_j的视点域恢复块记为

在此具体实施例中，步骤⑦中丢失帧中的第j个图像块B_j的视点域恢复块的获取过程为：

⑦-1、根据丢失帧中的第j个图像块B_j的视差矢量估计值在丢失帧的左向参考彩色图像中找出左上角像素点的坐标位置为且尺寸大小为m×m的区域，将该区域作为左向最佳匹配区域，并记为（如图4中所示的），将左向最佳匹配区域中的所有像素点的像素值的集合记为其中，表示左向最佳匹配区域中坐标位置为(u,v)的像素点的像素值，1≤u≤m,1≤v≤m。

⑦-2、根据丢失帧中的第j个图像块B_j的视差矢量估计值在丢失帧的右向参考彩色图像中找出左上角像素点的坐标位置为且尺寸大小为m×m的区域，将该区域作为右向最佳匹配区域，并记为（如图4中所示的），将右向最佳匹配区域中的所有像素点的像素值的集合记为其中，表示左向最佳匹配区域中坐标位置为(u,v)的像素点的像素值，1≤u≤m,1≤v≤m。

⑦-3、根据$$ \left\{p_j^l(u,v)\right|(u,v)\∈{\hat{B}}_j^l\}$$和$$ \left\{p_j^r(u,v)\right|(u,v)\∈{\hat{B}}_j^r\},$$获取丢失帧中的第j个图像块B_j的视点域恢复块，记为将中的所有像素点的像素值的集合，记为$$ \left\{p_{S_j}^{\′}(u,v)\right|(u,v)\∈B_{S_j}^{\′}\},$$$$ \left\{p_{S_j}^{\′}(u,v)\right|(u,v)\∈B_{S_j}^{\′}\}={\mathrm{\α}}^{\′}\×\{p_j^l(u,v)|(u,v)\∈{\hat{B}}_j^l\}+\left\{p_j^r(u,v)\right|(u,v)\∈{\hat{B}}_j^r\},$$其中，表示丢失帧中的第j个图像块B_j的视点域恢复块中坐标位置为(u,v)的像素点的像素值，1≤u≤m,1≤v≤m，α'表示加权系数，在此α'取值为0.5，为了不在恢复过程中根据左向最佳匹配区域和右向最佳匹配区域中的像素点调整加权系数α'的值，并折衷考虑计算复杂度和最终的恢复质量，因此取α'为0.5。

⑧根据丢失帧中的每个图像块的时域恢复块中的每个像素点的像素值与对应的视点域恢复块中的每个像素点的像素值，计算丢失帧中的每个图像块中的每个像素点的像素值，将丢失帧中的第j个图像块B_j中的所有像素点的像素值的集合记为$$ \left\{{\hat{p}}_j(u,v)\right|(u,v)\∈B_j\}=0.5\×\{p_{T_j}^{\′}(u,v)|(u,v)\∈B_{T_j}^{\′}\}+0.5\×\left\{p_{S_j}^{\′}(u,v)\right|(u,v)\∈B_{S_j}^{\′}\},$$最后得到丢失帧的恢复帧，记为其中，表示丢失帧中的第j个图像块B_j中坐标位置为(u,v)的像素点的像素值，表示丢失帧中的第j个图像块B_j的时域恢复块B′_Tj中坐标位置为(u,v)的像素点的像素值，表示丢失帧中的第j个图像块B_j的视点域恢复块中坐标位置为(u,v)的像素点的像素值，1≤u≤m,1≤v≤m，表示丢失帧的恢复帧中坐标位置为(x,y)的像素点的第i个颜色分量的值。

在本实施中，编码预测结构采用图2所示的HBP编码预测结构，编解码平台采用的是JMVC8.3测试平台，一个图像组(GOP)的长度为8，帧率为30fps。测试的两组多视点视频序列如图5a和图5b所示，分别是分辨率为1024×768的Lovebird1和Leavelaptop序列。编码量化参数QP分别为22、27、32下的解码帧进行整帧丢失错误隐藏实验。

表1采用本发明方法与零运动矢量的错误隐藏性能比较

表1给出了本发明方法和经典的零运动矢量方法的错误隐藏对比结果，表1中给出的△PSNR表示本发明方法相对于零运动矢量方法在PSNR（峰值信噪比）上的增益，即ΔPSNR=PSNR_本发明-PSNR_{零运动矢量法}。根据表1的数据可知，对于不同的多视点视频序列，本发明方法比零运动矢量方法在恢复的丢失帧的PSNR上要提高0.42dB~4.30dB，表明本发明方法的丢失帧恢复效果明显优于零运动矢量方法的丢失帧恢复效果。

图6a给出了测试序列Lovebird1在QP＝27时的丢失帧正常解码重建时的图像，图6b为采用零运动矢量方法恢复得到的恢复帧，图6c为采用本发明方法恢复得到的恢复帧。在图6a中，两个人挽着手处于两人之间较中间的位置，而很明显，图6b中的两人挽着的手的位置不是在两人中间的位置，而是更靠近男主角，有一定的位置偏移现象；而图6c所示的采用本发明方法错误隐藏得到的图像中两人挽着手的位置与图6a中对应位置的主观感知效果基本一致。