分析Re3网络的中间变量

分析Re3网络中间变量

主要看LSTM结构对测试效果的影响

发现只有第二层LSTM的c能产生较大影响

分析LSTM state

用tensorboard查看两层LSTM state的histogram,发现区别不大。

分析512列向量中每一个元素的变化情况:

查看一下发生遮挡情况时,有没有明显的变化。遮挡发生在700帧往后:

发生的遮挡情况
遮挡前后几帧的向量变化趋势截取

很难看出来变化趋势。。。

分析LSTM的输入

全连接层fc6的输出分别输入进两层LSTM中(第二层的输入是fc6 output和lstm1 output)。

现在把横轴作为时间轴,将每一帧的fc6层的输出列向量求和!

看一下遮挡发生时(遮挡发生在700帧往后):

一段明显的下降,但是之后又上升(实际上是目标已经跟丢),应该是这段时间内颜色变化导致。

看一下一个跟踪的比较成功的例子:

对应的曲线:

波动比较大的地方应该也是目标和背景的颜色变化引起的(玩具球发生了变形)。

主要还是颜色信息导致,暂时不足以作为判断遮挡发生的条件。

分析LSTM state对输出的box的影响

通过在LSTM state 上添加正态随机噪声进行试验,可以发现第二层LSTM的c状态对输出的box坐标影响最大(完全偏离gt)。给其他三个状态(第一层的c、h,第二层的h)添加噪声,造成的影响不是很大(但是会让box与gt的偏差变大)。


----------over----------


文章标题:分析Re3网络的中间变量

文章作者:Ge垚

发布时间:2018年08月06日 - 15:08

最后更新:2018年08月13日 - 20:08

原始链接:http://geyao1995.com/Re3效果分析/

许可协议: 署名-非商业性使用-禁止演绎 4.0 国际 转载请保留原文链接及作者。