时空建模新文解读:用于高效视频理解的TSM


接着之前的《浅谈动作识别TSN,TRN,ECO》,来谈谈最近MIT和IBM Watson 的新文Temporal Shift Module(TSM)[1]。

WX20181128-152932@2x.png     

图1. Something-SomethingV1数据集上的个算法性能对比

 

看看上图,文章的主要贡献一目了然:

1. 对比主流的轻量级在线视频理解ECO系列,TSM系列在参数量少三倍的情况下,性能仍然超越ECO系列


2. 另外文章的TSM模块的实现非常简洁而且硬件友好:通过在2D CNN中位移temporal 维度上的channels,来实现时间上的信息交互。故不需要添加任何额外参数,且能捕捉Long-term时空上下文关系。

 

Related Work

大概过一下之前的几个重要工作(也是本文性能对比的主要几个state-of-the-art):

1. TSN[2]:视频动作/行为识别的基本框架,将视频帧下采样(分成K个Segment,各取一帧)后接2D CNN对各帧进行处理+fusion


2. TRN[3]:对视频下采样出来的frames 的deep feature,使用MLP 来融合,建立帧间temporal context 联系。最后将多级(不同采样率)出来的结果进行再一步融合,更好表征short-term 和long-term 关系。


3. ECO[4]系列:

ECO-Lite:轻量级网络,使用TSN的中间层feature maps,来组成feature clips,然后使用3D CNN来融合时空特征。

ECOen-Lite:在ECO-Lite基础上,concat上帧间fusion后的TSN 特征,再做决策。


4. NL I3D+GCN[5]: @Xiaolong Wang大佬ECCV2018的工作。使用non-local I3D来捕获long-range时空特征,使用space-time region graphs 来获取物体区域间的关联及时空变化。

 

故上述性能特别高的ECO系列 和NL I3D+GCN,都是或多或少都是使用了3D卷积或者伪3D卷积运算,故在大规模在线视频理解上用,运算量和效率还是有一定瓶颈。

 

算法框架

启发

为了解决上述的3D卷积运算量问题,作者提出了可嵌入到2D CNN中的TSM 模块。作者发现:一般的卷积操作,可以分解成 位移shift + 权值叠加multiply-accumulate 两个过程。

比如说对一个1D vector X 进行kernel size=3 的卷积操作Y = Conv(W; X) 可以写成:

y=  w1Xi-1  w2Xi  w3Xi+1

故分解后的两个操作分别为:

1. 位移(基本不消耗计算资源,常规地址偏移指针操作)

Xi-1=  Xi-1 Xi0 = X, Xi+1=  Xi+1

2. 权值叠加

Y=w1X-1 w2X0 w3X+1

故作者认为,设计TSM模块时候,尽可能多使用位移操作(几乎0计算量),把权值叠加操作放到2D CNN本身的卷积里去做,这样就可在不加任何参数计算量基础上,实现更多功能。

 

TSM模块

那么问题来了,怎么在时空建模的视频理解任务里,用好这个位移操作呢?

2.png

图2. Temporal shift module


上图中最左边的二维矩阵是Ti时刻tensor中temporal和channel维度(不需要考虑batch 和spatial 维度先); 中间是通过STM模块位移后的的矩阵,可见前两个channel向前位移一步来表征Ti-1的feature maps,而第三、四个channel 则向后位移一步来表征Ti+1,最后位移后的空缺padding补零;右边的与中间的类似,不过是circulant 方式来padding,后面实验会对比两种不同padding方式的性能差异。


这里就涉及一个超参:究竟多少比例的channel进行temporal shift 才比较合适呢?


作者也考虑到了这个问题,因为如果太多channel进行时间位移,那么原始固定时刻帧的2D CNN空间特征就会受到损害,但如果太少channel进行时间位移,那么网络又会因temporal上下文交互太少而学不到准确的temporal representation。


为了解决这个问题,作者提出了残差TSM,这样就可以整合位移前后的特征。

03.png

图3. 原地TSM与残差TSM


最后我们来看看用作动作/行为识别的整个框架:

04.png

图4. TSM整体框架


文中使用的backbone是ResNet-50,且在每个residual unit 后都会加入 残差TSM 模块,当用2D 3x3的卷积时,每次插入TSM模块后的时间感受野都会扩大2,故整个框架最后的时间感受野会很大,足以进行复杂的时空建模。

 

实验结果

1. 首先在经典的动作/行为识别数据集上,与纯2D CNN框架的TSN baseline 进行对比。由于两者都使用相同的backbone网络和下采样方式,故唯一的不同就是有无加TSM 模块。从表中可见,加入TSM后,特别在 复杂行为Something-Something 集上性能有极大的提升。

5.png

图5. TSM与TSN性能对比


2. 下图是与TSN, ECO, NL I3D+GCN 系列的性能综合对比,可见TSM即使在输入只有8 frames的情况下,用最少的参数和浮点运算次数,来取得最高的识别性能,确实BT~~

6.png

图6. Something-Something集上 识别性能与速度性能对比


3. 从下面两图可见,使用了Residual shift后,网络变得更加稳定,对shifted channel数比例的依赖更小。而zero padding 的性能明显比 环形padding 要好,因为后者的话会把temporal 的顺序打乱,导致学出来的时间特征变混乱。

07.png

图7. 残差/原地TSM及channel shift比例的超参实验

08.png

图8. 不同Padding方式的性能对比


总结及展望

文章first 提出了temporal shift 这个视角(感觉像是搞硬件底层或芯片的人来跨界融合搞算法一样~~),通过人为地调度temporal channel 的顺序让网络学到其交互的时空特征,非常地高效实用。


未来的可能性能否探索3D卷积与channel shift之间的新可能性?Temporal 维度multi-scale shifted 是否更有效?channel shift 的思想能否进一步放在其他复杂任务里,比如4D的任务?

 

Reference:

[1]Ji Lin, Temporal Shift Module for Efficient Video Understanding

[2] Limin Wang, Temporal Segment Networks: Towards Good Practices for Deep Action Recognition, ECCV2016

[3]Bolei Zhou, Temporal Relational Reasoning in Videos,ECCV2018

[4]Mohammadreza Zolfaghari, ECO: Efficient Convolutional Network for Online Video Understanding,ECCV2018

[5] Xiaolong Wang, Videos as Space-Time Region Graphs, ECCV2018

 

时空建模新文解读:用于高效视频理解的TSM .pdf



微信扫一扫
关注公众号