Adversarially robust transfer learning

论文: Adversarially robust transfer learning

代码: github

The Robustness of Deep Features

将训练好的 Robust 模型(ResNet)记作A,如果使用 natural examples 对 A 的最后几层进行 re-train (freeze其他层), 模型的 Robustness 可以保持,随着 re-train 层数的增加,有下图结果:

图中横坐标代表 ResNet A 中的 block, $l=1$ 代表 A 的最后用于分类的 FC 层,$l=17$ 代表最先接触到输入的 block (最前面一个block)。

This leads us to believe that a hardened network抯 robustness is mainly due to robust deep feature representations and robustness is preserved if we re-train on top of deep features.

Low-Data Regime

研究 end-to-end, fine-tuned, transfer 几种方法和训练数据量的关系(比较 Accuracy 和 Robustness):

横坐标代表数据量(由左到右,数据量越来越小);(c) 是 (a) 和 (b) 的平均。

  • Transferred:Training a fully connected layer on top of the frozen feature extractors of the Free-4 robust ImageNet model using natural examples from the target task.
  • Free trained:Free-training/adversarial training the target domain.
  • Fine-tuned with AT:Fine-tuning using adversarial examples of the target task starting from the Free-4 robust ImageNet model.

(对每张图,从右往左看)数据量较小时,Transferred 在三张图上的表现均最优,随着数据量增大,Fine-tuned的鲁棒性提升到最高。

需要注意的几点:

  1. 图中实验的最大样本数量仅有 250张/类,仍比较小,所以 Free trained 的 Accuracy 比较低。
  2. 在这个实验中,Transferred 的训练速度大约比 Fine-tuned 快三倍。
  3. 这个实验中,迁移学习仅仅重新训练了一层的权重。

Training Deeper Networks on Top of Robust Feature Extractors

在 Robust Model 后面加上 multi-layer perceptron (MLP),每层2048个单元,结论有:

  • Adding more layers can result in a slight drop in validation accuracy due to overfitting.
  • Adding more layers on top of this extractor does not hurt robustness. (可能是因为网络容量的提升)
  • Simply adding more layers does not improve the validation accuracy and just results in more overfitting (i.e. training accuracy becomes 100%). We can slightly improve generalization using batch norm (BN) and dropout (DO).

Adversarially robust transfer learning with the LwF loss

网络结构:

目标:
$$
\min_{w, \theta} l(z(x, \theta), y, w)+\lambda_{d} \cdot d(z(x, \theta), z_{0}(x, \theta_{r}^{*}))
$$

  • $\lambda_d$:惩罚项
  • $ z_{0}(x, \theta_{r}^{*})$:Robust 模型产生的 representation
  • $ z(x, \theta)$:训练模型权重产生的 representation
  • $d(\cdot)$:可以是 $l_2$ 距离

损失函数的意义是:在训练模型的前面某些层时,使其产生的 representation (feature maps) 和 Robust 模型所产生的尽可能相等。

相比于直接进行对抗训练,这种迁移训练在保持较高鲁棒性的同时可以获得更高的 accuracy,但是相比于natural训练,accuracy肯定还是低的。


----------over----------


文章标题:Adversarially robust transfer learning

文章作者:Ge垚

发布时间:2020年03月22日 - 15:03

最后更新:2020年03月22日 - 22:03

原始链接:http://geyao1995.com/Adversarially_Robust_Transfer_Learning/

许可协议: 署名-非商业性使用-禁止演绎 4.0 国际 转载请保留原文链接及作者。