时间:2016-06-24 10:19 文章来源:http://www.lunwenbuluo.com 作者:卢涤非 斯进 王秋 点击次数:
为了确定参数ξ,需要对确定的模型与视频图像进行匹配。本文使用自底向上法(bottom-up)进行匹配。匹配之前需对空间序列模型库中的模型按主要关节进行分解,采用SNAKE算法或人工分解,分解过程只需进行一次就可以反复使用。三维模型与图像的匹配问题一直是计算机视觉领域一个富有挑战性的话题,可以把此问题归结为一个高维空间中的带约束的数值优化问题。本文通过轮廓匹配(图3a)与边界匹配(图3b)来完成三维模型选择。匹配计算时,各三维模型子块只做刚体运动。
为了提高算法可靠性,需要在开始的多帧视频图像中进行模型匹配,为此设计了公式(1)表示的数学模型,其中有三个约束项,通过求取三个约束项线性组合的最优参数合成最匹配的三维人体数学模型。
⑴
其中P为投影矩阵;parti为获取人体模型第i部分的函数;T为仿射变换矩阵,不同部分的人体模型对应不同的Ti;j表示第j帧视频图像;SVideo是视频图像轮廓;E是求取三维模型透影边界的函数,Evideo是视频图像边界;V是三维人体模型顶点;C1是轮廓约束的简化表达式;C2是边界约束的简化表达式;C3保证各人体模型子块刚体运动。k1、k2和k3是权重系数,可以调整各约束条件所起的作用。求取ξ*后,就是所需要的结果。
3.2运动子空间中的人体运动视频跟踪
对于有瑕疵的视频图像,可以先进行图像变形矫正、运动模糊去除和去雾处理。在跟踪过程中有三组约束,第一组约束就是运动子空间的约束,结合前期工作,提出如下数学模型:
其中ROI(k)表示第k个感兴趣区域(ROI);R为三维人体模型中ROI的数量;V与为变形前后的顶点坐标,变形后的人体模型是的函数,记为;N(i)是顶点Vi相邻顶点的集合;Gi是对应于顶点Vi的仿射变换矩阵,它的合成需要先把仿射矩阵的旋转部分从全旋转群SO(3)映射到Lie代数空间so(3)上,在so(3)上进行线性叠加,然后映射回SO(3)空间,对非旋转部分,直接进行线性叠加,最后两者相乘:
其中L(l1,…,lt)是运动子空间中的系数向量;Q是指仿射矩阵的旋转部分,U是指非旋转部分,Exp和Log分别是矩阵指数和对数函数。
第二组约束是动作库模型投影与视频序列匹配的约束。具体跟踪以跟踪片断(Tracklet)(图4a)为单位,每个Tracklet包含n帧,n的值需要在研究中确定。在进行下一步处理前,使用三维智能剪刀获得一个时空体(SpaceTimeVolume,图4c),三维智能剪刀是在文献[8]基础上拓展出来的。除了采用轮廓匹配和边界匹配外,还采用3DSIFT(ScaleInvariantFeatureTransform)特征匹配。轮廓匹配和边界匹配概念的表达式不同,即式(4)的C5和C6。3DSIFT匹配首先需要在视频图像上计算出所有3DSIFT特征,如图4b的d就是一个3DSIFT;然后要把d和三维人体模型顶点进行匹配。具体过程如下:对第j帧的d,找出离其最近的第j-1帧三维人体模型投影点u,而u是由三维顶点V投影产生,这样就把d和V关联起来。这样,对第j帧上的所有3DSIFT特征都可以找出对应的三维顶点,可以写出3DSIFT匹配的表达式C7。为保持跟踪结果的连续性,还要使用C8约束。
第三组约束利用多目标间的空间关系来解决相互遮挡问题。如果其中一个角色被另外一个遮挡,可以把这种多目标间的空间联系作为约束条件来辅助视频跟踪。多目标空间关系的约束可以用下式表示:
其中Mi是对应于顶点Vi的仿射变换矩阵。其余符号与C4类似。联立C4~C9,可以得到公式(2),其中k1~k6为权重系数。
⑵
3.3三维事件库中的动作比对分类
三维事件库中的人体运动是使用标准三维人体存储的,而用于匹配的人体运动也是用标准三维人体模型表示的。经过前期探索,提出了基于三维时空子空间的人体运动比对分类方案:
记待检索人体运动为,其中Fj表示第j帧三维模型,共L帧,是对应各帧的时钟数据;类似的,可以用和表述三维事件库中的第i套人体运动,共p(i)帧。对于Fj,第k个顶点相对于初始位置的仿射变换矩阵记为;同样,对于,对应其第i套动作的仿射变换矩阵可以标记为的形式。
Fl在中匹配的数学模型为:
其中λ是对应于的系数;n为标准三维人体模型的顶点数;k1和k2为权重系数,用于调整子项的权重。计算出λ*后,需要找出其中的最大值:,然后设立阈值α>0,如则表示匹配,形成匹配对。
4实验结果与分析
本文使用VisualC++实现了系统初步框架。在体型库中,以浙江警察学院普通学生为蓝本,建立男和女两个模型,在动作库中,建立了走、跑、跳、蹲几个动作。在此基础上,针对简单背景的20段视频进行了测试,识别率为80%,在Inteli5CPU和4G内存的普通PC机上平均耗时100秒钟。初步实验表明,本文提出系统是可行的。
5结束语
本文是涉及图形学、视频处理技术和刑事技术的交叉性课题,不仅在学术上有诸多闪光点,而且为智能视频侦查在刑事侦查和治安管理等方面的应用打下了良好的理论基础。主要创新与特色之处有以下。
5.1从方法层面看
通过三维时空子空间,把三维图形学的理论和方法引入到了视频处理中,为处理视频侦查难题提供了新的渠道,可以有效地克服视频数据结构性差和缺乏特征信息等弱点,促进了智能视频侦查技术的发展和完善。
5.2从技术层面看
提出了基于体形子空间的二维监控目标与三维模型匹配的三维重建算法。在三维人体模型局部参数化以后,可以根据二维体形生成最为匹配的三维模型。
结合3DSIFT图像特征和三维运动子空间以及空间关系模型库中的引导信息,提出了新的运动跟踪算法,对动作进行预测,并处理遮挡问题,可以应对复杂场景的运动跟踪。
参考文献(References):
[1]WITOLDC,Real-TimeImageSegmentationforVisualServing[J].LectureNotesinComputerScience,2007.4432:633-640
[2]MARCDAVIS,CHITRADORAI,FRANKNACK,UnderstandingMediaSemantics[C].The11thTutorialProgramofthe11thACMInternationalConferenceonMultimedia.Berkeley,CA,USA,Nov2003.
[3]LIUF,ZHUANGY,WUE,etal.3DmotionretrievalwithmotionIndextree[J].ComputerVisionandImageUnderstanding,2003.92(2-3):265-284
[4]卢涤非,任文华,李国军等.基于样例的交互式三维动画的生成[J].计算机研究与发展,2010.47(1):62-71
[5]DIFEILU,XIUZIYE,GUOMINZHOU,Animatingbyexample[J].JournalofVisualizationandComputerAnimation,2007.18(4-5):247-257
[6]DIFEILU,YINGZHANG,XIUZIYE.ANewMethodofInteractiveMarker-DrivenFreeformMeshDeformation[C].GMAI2006:127-134
[7]DIFEILU,XIUZIYE,SketchBased3DAnimationCopy[C].ICAT2006:474-485
[8]LUDIFEI,WUYIN,HARRISGORDONetal.Iterativemeshtransformationfor3DsegmentationofliverswithcancersinCTimages,Computerizedmedicalimagingandgraphics,2015.43:1-14
[9]GROCHOWK,MARTINSL,HERTZMANNA,etal.Style-basedinversekinematics[J].ACMTrans.Graph,2004.23(3):522-531
[10]SUMMERRW,ZWICKERM,GOTSMANC,etal.Mesh-basedinversekinematics[J].ACMTrans.Graph,2005.24(3):488-495
[11]ALLENB,Thespaceofhumanbodyshapes:reconstructionandparameterizationfromrangescans[C].SIGGRAPH'2003.ACM,NewYork,NY,587-594
[12]BAIX,.VideoSnapCut:robustvideoobjectcutoutusinglocalizedclassifiers[C].InACMSIGGRAPH2009Papers.H.Hoppe,Ed.SIGGRAPH'09.ACM,NY,1-11
[13]http://www.cise.ufl.edu/research/sparse/umfpack/[OL].
联系方式
随机阅读
热门排行