(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 CN 107707916 A(43)申请公布日 2018.02.16
(21)申请号 201710944115.X(22)申请日 2017.09.30
(71)申请人 河海大学
地址 211100 江苏省南京市江宁开发区佛
城西路8号(72)发明人 黄倩 张迪 李燕平 黄媛 叶枫
王一鸣 (74)专利代理机构 南京苏高专利商标事务所
(普通合伙) 32204
代理人 梁耀文(51)Int.Cl.
H04N 19/142(2014.01)H04N 19/176(2014.01)H04N 19/51(2014.01)H04N 19/587(2014.01)
权利要求书1页 说明书3页 附图1页
(54)发明名称
一种基于场景切变检测的帧率转换算法(57)摘要
本发明公开了一种基于场景切变检测的帧率转换算法，步骤如下：(1)、对低帧率视频序列进行场景切变检测；(2)、根据场景切变的结果进行运算估计；(3)、运算估计后进行自适应运动补偿插值，并判断运动场景是否发生切变，如果发生切变则进行向前插值处理，如果不发生切变则进行双向插值处理；(4)进行插值处理后的结果即为高帧率视频序列。本发明处理速度快，画质更加清晰。
CN 107707916 ACN 107707916 A
权 利 要 求 书
1/1页
1.一种基于场景切变检测的帧率转换算法，其特征在于，包括如下步骤：(1)对低帧率视频序列进行场景切变检测；(2)根据场景切变的结果进行运算估计；(3)运算估计后进行自适应运动补偿插值，并判断运动场景是否发生切变，如果发生切变则进行向前插值处理，如果不发生切变则进行双向插值处理；
(4)进行插值处理后的结果即为高帧率视频序列。
2.根据权利要求1所述的一种基于场景切变检测的帧率转换算法，其特征在于，所述步骤(1)中进行场景切变检测的具体步骤如下：先对当前帧进行非均匀分割，分割时使中心区域所占比例最大，同时当前帧的相邻帧也遵循相同的分割原则进行同样的操作，之后对每一个分块求颜色一致性矢量CCV。
3.根据权利要求1所述的一种基于场景切变检测的帧率转换算法，其特征在于，所述步骤(2)中运动估计的具体步骤如下：由当前帧中的每一块，在前一帧或后一帧某一给定的区域内根据匹配准则得到匹配块，由匹配块与当前块的相对位置计算出运动矢量。
4.根据权利要求1所述的一种基于场景切变检测的帧率转换算法，其特征在于，所述步骤(3)中运动估计之后，采用自适应运动补偿方式进行运动补偿插值的具体步骤如下，其中插帧结果如下公式所示：
其中fn和fn+1是两相邻帧，fn是预测出来的帧，s表示一个分割块，MV是该块对应的运动矢量,λ是权重。
5.根据权利要求4所述的一种基于场景切变检测的帧率转换算法，其特征在于，所述步骤(3)中判断运动场景是否发生切变由权重λ判断，其中权重λ的计算公式如下：
其中CCVD是两帧相同位置处的宏块的颜色一致性矢量进行做差比较得到的；如果两个分割块之间的CCVD超过了最初设定的经验阈值T，此时自适应权值λ＝1或者0，也即未发生场景切变，那么采用前向帧或者后向帧对当前帧进行插值，否则自适应权值λ＝0.5，场景发生切变，此时需要采用双向帧进行插值。
2
CN 107707916 A
说 明 书
一种基于场景切变检测的帧率转换算法
1/3页
技术领域：
[0001]本发明属于视频处理技术领域，特别涉及一种基于场景切变检测的帧率转换算法。
背景技术：
[0002]视频信息是人类最重要的视频源之一，帧率转换是视频格式转换技术中重要的组成部分，同时也是当前视频格式转换研究领域的一个新的研究热点。[0003]现有的帧率转换算法主要有两类：(1)非运动补偿插帧算法(2)运动补偿插帧算法。非运动补偿算法简单，速度快，但是非运动补偿插值算法在处理运动物体时会产生运动模糊，主要应用于对视频质量要求不高的情况。随着科技的发展，人们对视频的要求越来越高，运动补偿算法有效改善了运动物体的模糊，使得视频播放更加流畅。因此，运动补偿插值算法也就成为了人们的研究新热点，其应用也愈发广泛。发明内容
[0004]发明目的：针对现有技术存在的问题，本发明提出一种处理速度快，画质更加清晰的基于场景切变检测的帧率转换算法。[0005]技术方案：本发明提出一种基于场景切变检测的帧率转换算法，包括如下步骤：[0006](1)、对低帧率视频序列进行场景切变检测；[0007](2)、根据场景切变的结果进行运算估计；[0008](3)、运算估计后进行自适应运动补偿插值，并判断运动场景是否发生切变，如果发生切变则进行向前插值处理，如果不发生切变则进行双向插值处理；[0009](4)进行插值处理后的结果即为高帧率视频序列。[0010]进一步的，所述步骤(1)中进行场景切变检测的具体步骤如下：先对当前帧进行非均匀分割，分割时使中心区域所占比例最大，同时当前帧的相邻帧也遵循相同的分割原则进行同样的操作，之后对每一个分块求颜色一致性矢量CCV。[0011]进一步的，所述步骤(2)中运动估计的具体步骤如下：由当前帧中的每一块，在前一帧或后一帧某一给定的区域内根据匹配准则得到匹配块，由匹配块与当前块的相对位置计算出运动矢量。[0012]进一步的，所述步骤(3)中运动估计之后，采用自适应运动补偿方式进行运动补偿插值的具体步骤如下，其中插帧结果如下公式所示：
[0013]
其中fn和fn+1是两相邻帧，fn是预测出来的帧，s表示一个分割块，MV是该块对应的运动矢量,λ是权重。[0015]进一步的，所述步骤(3)中判断运动场景是否发生切变由权重λ判断，其中权重λ的计算公式如下：
3
[0014]
CN 107707916 A
说 明 书
2/3页
[0016]
其中CCVD是两帧相同位置处的宏块的颜色一致性矢量进行做差比较得到的；如果
两个分割块之间的CCVD超过了最初设定的经验阈值T，此时自适应权值λ＝1或者0，也即未发生场景切变，那么采用前向帧或者后向帧对当前帧进行插值，否则自适应权值λ＝0.5，场景发生切变，此时需要采用双向帧进行插值。[0018]有益效果：本发明与现有的帧率转换技术相比，包括以下优点和有益效果。[0019]1.在运动估计之前进行场景切变检测，对于那些场景切变发生较多的视频序列，运动估计的准确性会大大提高。
[0020]2.根据场景切变的检测结果来选择不同的运动补偿插值方式，这样可以改善视频的画质，使视频更加流畅。附图说明
[0021]图1是本发明的整体流程图。
具体实施方式
[0022]下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。[0023]如图1所示，是本发明基于场景切变检测的帧率转换算法的执行流程图。该方法包括如下步骤：[0024]场景切变检测：根据人类视觉系统(Human Visual System，HVS)特征，往往为了突出中心区域特征的重要性会将图像进行非均匀分割，那么我们也可以为了使切变检测的准确性更高，同样将每一帧进行非均匀分割，在进行分块时，使中心区域宏块所占区域占据较大比例，各相邻帧也遵循相同的分割准则进行同样的分块操作，然后计算各个宏块的颜色一致性矢量CCV(Color Coherence Vectors)，并将两帧相同位置处的宏块的颜色一致性矢量进行做差比较，将得到的CCVD(Color Coherence Vectors Difference)与设置的经验阈值T比较来决定是否产生切变。[0025]运动估计：运用块匹配的搜索算法，在基于块匹配的基础上，根据场景切变的结果简化运动估计过程中最佳向量的选取。由当前帧中的每一块，在前一帧或后一帧某一给定的区域内根据匹配准则得到匹配块，由匹配块与当前块的相对位置计算出运动矢量。[0026]运动补偿插值：在运动估计之后，采用自适应运动补偿的方式进行插值，根据场景切变的结果，采用不同的插值方式。
[0027]所述的场景切变检测阶段的实施过程为：在判断是否产生场景切变的过程中，因为是通过计算颜色一致性矢量的方法来比较相邻帧，所以CCVD的计算方式是基于像素的，这样会增加在场景检测阶段的计算复杂度。因此在计算过程中，不需要对每一块求解CCVD，而是通过下采样的方法选取一部分宏块来计算CCVD，实验中采取的是根据所划分的宏块按照比例选取宏块数量来计算CCVD，然后通过比较CCVD和设置的经验阈值T来判断场景切变
4
[0017]
CN 107707916 A
说 明 书
3/3页
与否。
所述的运动估计阶段的实施过程为：根据场景切变结果改进块匹配搜索算法，利
用运动矢量在时间和空间上的相关性，由当前帧中的每一块，在前一帧或后一帧某一给定的区域内根据匹配准则得到匹配块，由匹配块与当前块的相对位置计算出运动矢量。[0029]所述的运动补偿插值阶段的实施过程为：在运动估计之后，采用自适应运动补偿的方式进行插值，根据场景切变的结果，采用不同的插值方式。[0030]在具体的实施方案中,可按下面方式操作[0031]场景切变检测阶段：本文采用的场景检测方式是基于像素值来比较相邻帧。因此，在运动估计之前，对当前帧进行非均匀分割，分割时使中心区域所占比例最大，同时当前帧的相邻帧也遵循相同的分割原则进行同样的操作，之后对每一个分块求CCV。[0032]对CCV的计算实际上是基于像素的，这会使在场景切变阶段计算复杂度增加。基于这一考虑，在求解CCV的过程中，利用宏块间的空间相关性，不需要对所有的块都计算CCV。在实验中，我们采取的是根据最开始分割块时遵循的比例，按照这个比例从各分割块中选取一定数量的宏块进行计算。结果显示，运用这种方法和不用这种方法对场景切变与否的判断结果一致，但是在执行效率上，按比例抽取块进行计算拥有更大的优势。[0033]运动估计阶段：基于运动补偿的帧率转换算法依赖于运动估计获得的运动向量，因此，如果运动向量的准确性高，在一定程度上能提高后续插值算法的性能，由当前帧中的每一块，在前一帧或后一帧某一给定的区域内根据匹配准则得到匹配块，由匹配块与当前块的相对位置计算出运动矢量。
[0034]块匹配算法是图像匹配中的经典算法，由于块匹配算法实现简单，计算精确的特点而被广泛应用于运动估计，其主要思想是将图像分割为16*16或者8*8像素的小块，利用运动矢量在时间和空间上的相关性，每个块在参考帧的搜索范围内按照匹配准则搜索出最佳的匹配块位置。但是这个方法的缺点在于计算量很大。在本文中，为了减小计算量，我们采用将帧进行非均匀分割的办法，分割时，使中心区域占据较大比例，然后按照分割比例抽取各区域不同数量的块进行计算，这样就不需计算每一宏块，使得计算量大大减小。[0035]运动补偿插值阶段：在运动估计之后，采用自适应运动补偿方式进行运动补偿插值。插帧结果如下公式(1)所示：
[0036][0028]
其中fn和fn+1是两相邻帧，fn是预测出来的帧，s表示一个分割块，MV是该块对应的运动矢量,λ是权重，在本文中我们根据场景切变的结果对权重λ进行调整，如下公式(2)所示：
[0038]
[0037]
如果两个分割块之间的CCVD超过了阈值T，此时自适应权值λ＝1或者0，也即未发
生场景切变，那么采用前向帧或者后向帧对当前帧进行插值，否则自适应权值λ＝0.5，场景发生切变，此时需要采用双向帧进行插值。
[0039]
5
CN 107707916 A
说 明 书 附 图
1/1页
图1
6
