Report | Regularized Deep Learning with Geometry and Structures

Qiang Qiu‘s Home Page

报告主要内容:

The central problem of deep learning is how to generalize well from training data to unseen data. One such solution is to regularize deep learning with priors encoded into models. In this talk we will discuss various techniques we recently developed in regularizing deep learning with geometry, such as low-rank subspace and low-dimensional manifold, or structures over convolutional filters. We will present numerous applications in cross-spectral face recognition, image hashing, image clustering, object recognition, object localization, and person re-identification.


回南工程参加报告会,随手拍几张校园风景:

下图中Professor Qiu正在解答大家的疑问 (胡子很萌):


会议内容记录

1. 几何约束

由神经网络对训练样本记忆能力太强,引出几何约束,目的是让训练信息更具普适性。通过空间转换,使得类间差距更大。他们团队提出了两种空间方法。

  • low-rank subspace (低秩子空间)

    会上主要介绍了这种方法。通过orthogonal low-rank transform (垂直低秩转换),通过这一转换过程(数学推导见论文,有一个“核范数”的概念)可以将数据转换到低秩子空间,低秩表示把数据量压缩的更小。新空间中相同类的秩更低,不同类的区别更大。“垂直”表现为不同类的差别的最大程度:相同类在空间中表现为共线,不同类之间存在夹角,夹角越大,差别越大。

    会上的PPT演示,一类的数据转换到低秩子空间中,成为一条直线上的离散点,可能还是由变换公式决定的,不理解,得看论文。

    如果想在神经网络中利用这一空间转换,以图像分类任务举例,可以调整分类器的loss,分类器的任务不仅仅是提升分类准确度,还要让子空间中不同类的夹角靠向垂直。

  • low-dimensional mainfold (低维流型空间)

    另一种转换空间,会上Professor Qiu举了一个人脸识别的例子:将人脸图像转换到56维的流型空间,为什么是56呢👇

    自由度(人脸的观察角度) 脸部肌肉数量
    6 50

2. 应用:cross-spectral face recognition

跨频谱人脸识别——cross-spectral face recognition.

训练人脸数据,数据集中的人脸图片一般都是在白天,光线充足的情况下拍摄的。所以模型对夜晚,缺乏光强度的情况下拍摄的人脸图片的识别能力较差。可以用几何约束技术在不改动模型的情况下,改变输入或输出,做到跨频谱人脸识别:

  • 改变输出

    输入黑夜照片,对输出结果嵌入几何约束,在新空间中进行分类,发现有不错的分类效果。

  • 改变输入

    将黑夜图片进行几何约束之后再输入模型进行分类。

3. Image Hashing

为了在海量的人脸数据库中快速识别,他们团队开发了 “用48-bit表示人脸图片” 的image hashing技术。

从现场报告中,我理解的大致是这样:构建随机二叉树,每个节点的左右子树都是一个几何约束过程,输入图片从根节点往下走,在每一个节点上根据分类距离选择左子树或者右子树。最后会生成hash code.

4. Decompose Filters over Bases

在CNN中,修改卷积核,分解为bases(基),丢掉图像的高频信息,保留低频信息。这种分解还具有了旋转不变性(低频基循环移位)。Professor Qiu还提到了对于普通CNN,使其具有旋转不变性的方法:旋转kernel!

对一幅图像的分类来说,高频的细节往往作用不大,可以观察一些CNN分类模型训练得到的模板都是一些很模糊的图像,所以高频信息都没啥用。

5. Person Re-Identification

对于行人检测问题中的难点:姿态多样性。现有比较流行的方法是多个网络分别检测人体的不同部分。这样参数较多,代价较大。Qiu团队的改进是一个网络中不同的卷积核负责不同部位的检测。类似dropout方法。


报告不长,内容都是Qiu团队近年的研究成果。重点不在于对网络的改动,而是对输入输出,即网络的中间信息进行转换,使得需要处理的数据量更少,能更鲜明的代表各类的特征。


----------over----------


文章标题:Report | Regularized Deep Learning with Geometry and Structures

文章作者:Ge垚

发布时间:2018年05月25日 - 10:05

最后更新:2018年06月07日 - 18:06

原始链接:http://geyao1995.com/学术报告by仇强/

许可协议: 署名-非商业性使用-禁止演绎 4.0 国际 转载请保留原文链接及作者。