基于计算机视觉技术的监控视频文件分析
LU Kyle
（上海交通大学，上海 200240）
视频数据作为一种可储存化的数字媒体，被广泛地应用于各个信息邻域之中。智能视频文件分析技术现在已被广泛应用于道路交通监控、犯罪侦查等系统中，达到了良好的效果。计算机视觉技术随着其处理能力的不断提高和改善，也有了很大发展。运动目标检测算法在国内外均成为广大专业学者们争相研究的话题。有效识别运动目标的首要条件是对运动目标精准检测。但当前，智能视频文件分析技术和计算机视觉技术这两种技术在现实生活应用中面临着诸多困难，尤其是摄像机发生运动和光线发生变化将会造成运动目标检测的难度提高[1]。
1.1 概念
运动目标检测意指在图像序列的每一帧之间找到所需要物体发生移动的方位。其难点是如何从一幅图像中快速可靠地提取并匹配相应目标。运动补偿、视频压缩编码和视频理解是当前运动目标检测技术需要实现的内容。数字视频处理、数字图像处理和分析等都依靠运动目标检测技术。判断运动目标检测算法是否优秀的标准是衡量该算法是否具有实时性、可信性以及广泛性，这也是视频监控系统所必须要达到的期望。
1.2 运动目标检测算法
运动目标检测是指将背景图像在视频图像序列中运动目标范围内提取出来。一般情况下，对于运动目标行为的理解与分析，图像中与之对应的运动区域是最需要考虑的因素。因此，有效提取出运动区域对视频文件分析有着重要意义。本文研究的是监控视频分析，在生活中，大多数视频监控系统都是通过固定摄像机获取监控视频图像的，因此其背景为静态背景。而静态背景下的常用方法是帧间差分法、光流法和背景差分法[2]。
1.3 帧间差分法
当监控视频中有移动过的物体时，视频图像序列中相邻两帧图像就会发生较大变化。将这相邻两帧图像通过算法相减，相减得到的绝对值就是这相邻两帧图像的亮度差。将亮度差的值与阈值进行比较，就可以知道其运动特征，而从判断视频图像序列中是否存在发生相对位移的物体。
帧间差分法的计算公式为
式中：It（x，y），It-1（x，y）分别为视频图像序列中的相邻两帧图像。其运动检测公式为
式中：Mt（x，y）为二值化图像；
T为门限值。选取T=20，帧间差分法的二值化图像仿真实验结果见图1。
图1 帧间差分法的二值化图像仿真实验结果
由图1的仿真实验结果可知，采用帧间差分法可以确切地检测到运动目标。观察图1中的仿真实验结果，能更清楚地获得运动目标的轮廓。这种算法具有很强的适应场景更新的能力，这是因为随着时间的推移，背景像素不会累积并且快速变化。然而，由于帧间差分法表示相邻两个位置的变化量，因此当运动物体相对比较大或者运动物体的内部颜色相近时，可能会产生一系列的错误判断信息。在使用帧间差分法的情况下，需要考虑一个重要因素：如何选择合理的时间差。而这个因素通常决定于运动目标的速度。如果运动目标的速度过快，就需要取较短的时间差。如果取的时间差不好的话，则会导致前后两帧图像中不重合，并被判断为两个单独的运动目标。如果运动目标的速度相对缓慢，就需要取较长的时间差；
如果取的时间差不好的话，会导致前后两帧图像重合，根本无法得出运动目标的轮廓以及具体位置。另外，在监控视频中，由于多个运动目标的速度各不相同，因此会导致无法准确地选取时间差。
1.4 背景差分法
背景差分法是采用视频图像序列中的当前帧与背景参考模型进行比较来检测运动目标，其中背景建模技术为该方法的核心，可以较为准确地分割出运动目标。
背景差分法分为主要的4步，分别为视频图像的预处理、背景建模、前景检测以及后处理。
1）预处理是对数字视频图像进行相对简单的空间滤波或者时间滤波，用来除掉一些瞬间环境噪声，比如摄像机噪声和自然天气环境变化等。
2）背景建模可以分为建立一个背景图像和搭建一个模型作为背景图像，是算法的核心。
3）前景检测其实就是阈值分割。
4）后处理是消除不存在于运动目标的准确参考像素，以获得运动目标的准确前景，例如，去掉小的和非真实的前景像素，去掉重合影子和产生的阴影。
构建背景图像最常用的方法是中值滤波。该方法的思路是：在视频流动界面内创建长度为L、在该视频流动界面中存储时间间隔最小的L帧不间断的视频图像，按照像素位置的坐标值相等的L帧视频图像以升序排列或者以降序排列。背景模型中每个像素的值的表达式为
背景差分法的二值化图像仿真实验结果见图2。
图2 背景差分法的二值化图像仿真实验结果
由图2的仿真实验结果可知，采用背景差分法可以确切地检测到运动目标。该算法由于背景模型的建立和背景更新，产生的噪声比帧间差分法少，检测到的轮廓也比运用帧间差分法检测到的轮廓更为清晰。因此，可以看出，如果图2的仿真实验结果是理想情况下的背景建模与背景更新，那么就可以得出如下结论：利用背景差分法比利用帧间差分法得出的仿真实验结果更为理想。
对于一段监控视频文件而言，如果将其以帧区分，那么必然会有很多极其相似的相邻帧。因此这段监控视频文件就会出现大量冗余信息，对于监控视频的存储以及分析非常不便。因而可以提取视频中的关键帧进行存储来代表这段视频的信息，这将大大精简视频信息、压缩视频内容。
针对本研究中的监控视频文件进行研究，可将其分为两种视频段：一种是关键视频段；
另一种是静止视频段。运动目标的视频信息存储在关键视频段中；
背景全为静止片段的冗余视频信息则存储在静止视频段中。
本文运用背景差分法来判断出现运动目标的视频段的位置信息，即起始帧和结束帧。对出现运动目标的关键视频段中有目的地提取关键帧，先判断其背景中是否含有运动目标，如果有，则将这段视频分割成相关的关键帧的视频段，来达到无需进行镜头边界检测的目的。
2.1 关键帧提取方法及操作步骤
本实验关键帧的提取方法及操作步骤如下。
1）用背景差分法对视频F中含有运动目标的关键帧的视频段进行检测，记录关键帧的视频段的起始帧f1和结束帧fn。
2）解析视频，得到关键的视频图像序列（f1，f2，f3，…，fn），然后根据互信息量It,t+1＜θ1，将解析得到的关键视频段进行分类，分类得到N类子视频段S=｛S1，S2，S3，…，SN｝，设类Ci:{Si}共有类数M=N。
3）通过计算得到每类中互信息量的平均值Ii（i=1，2，…，M），并计算得到相邻类间的互信息量的差值Ici,ci+1（Ci，Ci+1）。
4）根据阈值θ2判断类间的相似度。当Ici,ci+1（Ci，Ci+1）＜θ2时，合并两类作为新类，且M=M-1（程序代码），转到第3步；
否则，i=i+1（程序代码），转到第5步。
5）检查是否聚类完毕，若i＜=M（程序代码），则转到第3步，继续计算；
否则，转到第6步，对每类进行关键帧的提取；
6）选取每类中互信息量的最大帧、最小帧和接近该类平均互信息量的一帧，放入候选帧集合K，i=1;
7）若i＜=n（程序代码），则转到第8步；
否则，提取关键帧结束；
8）每类中最大帧、最小帧间差大于视频频率，则选择这两帧作为关键帧，i=i+3（程序代码），转到第7步；
否则，选择最接近类中平均互信息量的一帧最为关键帧，转到第7步。
2.2 实验结果及分析
结合运动目标检测技术，在互信息量的基础上，运用关键帧提取技术进行实验。
一段道路监控视频段分割之后，提取含有运动目标的视频段的关键帧。视频时长约为8 s，数据速率为273 kb/s，帧速率为20帧/s。在这段视频中，共有164帧，图3为该视频段中的视频主要内容帧。
图3 视频主要内容帧
利用提取关键帧的方法，可以得到2帧关键帧，见图4。
图4 提取关键帧
本文主要运用基于背景差分法的运动目标检测技术，并与帧间差分法作了对比，背景差分法可以确切地检测到运动目标，该算法由于背景模型的建立和背景更新，产生的噪声比帧间差分法少，检测到的轮廓也比运用帧间差分法检测到的轮廓更为清晰。在监控视频中检测到运动目标的情况下，对出现运动目标的视频段进行关键帧提取，然而对于一段监控视频文件而言，如果将其以帧区分，那么必然会有很多极其相似的相邻帧，因此这段监控视频文件就会出现大量冗余信息，对于监控视频的存储以及分析非常不便。因而可以提取视频中的关键帧进行存储来代表这段视频的信息，这将大大精简视频信息、压缩视频内容。此外，这种对于关键帧的存储方法也方便于快速查阅视频内容。
猜你喜欢视频文件差分法关键帧流媒体视频文件相似性识别的方法信息通信技术与政策(2022年10期)2022-11-09二维粘弹性棒和板问题ADI有限差分法湖南理工学院学报（自然科学版）(2022年1期)2022-03-16随心定制视频文件的缩略图电脑报(2021年23期)2021-07-23基于改进关键帧选择的RGB-D SLAM算法大连理工大学学报(2017年4期)2017-08-07基于相关系数的道路监控视频关键帧提取算法重庆交通大学学报(自然科学版)(2016年1期)2016-05-25基于聚散熵及运动目标检测的监控视频关键帧提取西北工业大学学报(2015年3期)2015-12-14基于SQMR方法的三维CSAMT有限差分法数值模拟物探化探计算技术(2015年2期)2015-02-28有限差分法模拟电梯悬挂系统横向受迫振动振动工程学报(2014年2期)2014-03-01三参数弹性地基梁的有限差分法城市道桥与防洪(2014年8期)2014-02-27视频网格中自适应热度变化的条块化存储无线电工程(2013年1期)2013-09-19