原田研究室

Domain Adaptation

ドメイン適応(Domain Adaptation)とは

深層ニューラルネットワーク(DNN)の研究が進んだことで,画像の識別などのタスクにおいて高い性能が達成されるようになりました.しかし,DNNを用いた識別モデルの学習には,大量の教師ラベル(正解ラベル)付きサンプルが必要になります.

膨大な教師ラベルを集めるためには,相応のコストが掛かってしまいます.そこで,少ないラベルで学習したり,他のデータセットのラベルを流用することで学習を行ったりする方法が模索されてきました.

ドメイン適応(Domain Adaptation)は,転移学習(Transfer Learning)と呼ばれる学習手法の一種です.十分な教師ラベルを持つドメイン(Source Domain,ソースドメイン)から得られた知識を,十分な情報がない目標のドメイン(Target Domain, ターゲットドメイン)に適用することで,目標ドメインにおいて高い精度で働く識別器などを学習します(ここで、ドメイン(Domain)とは,データの集まりを指す言葉です).

特に、目標ドメインが一切のラベルを持たない場合は、Unsupervised Domain Adaptation (UDA) と呼ばれ、ドメイン適応の中でも特に難しいタスクになります.

合成画像から実画像へのドメイン適応

合成画像の教師ラベルを使って学習した識別モデルを,実画像に適用するなどの応用が考えられる.

関連研究

ドメイン適応の研究における主流の考え方は,ターゲットドメインのサンプルの分布をソースドメインの分布に近付けることで,ソースドメインを使って学習した識別器をターゲットドメインに適用することです.

この考えを実現するにあたり,敵対的学習を応用する手法がよく知られています.しかしながら,この方法は分布を近付けるだけのため,クラス識別器の境界周辺で正確な識別が行えないという問題があります.

この研究室の独自性と成果

弊研究室では,ドメイン適応について,近年さまざまな研究成果を発表しています.

従来手法では,ターゲットドメインに対する識別性が十分に保証されていないという問題点がありました.[Saito et al., 2017 ICML] では,ターゲットドメインのサンプルに疑似ラベルを精度良く付けることで,これを学習に用いる手法を提案しました.

[Saito et al., 2018 CVPR] では,ターゲットドメインとソースドメインの分布を一致させるのではなく,ソースドメインの各クラスの分布にターゲットドメインを合わせる手法を考案しました.この新たな学習手法では,二つのクラス識別器を作り,これらの推定結果の不一致(discrepancy)に着目しています.二つの識別器は、不一致が大きくなるように更新されます(下図の Maximize Discrepancy).ターゲットドメインからの特徴抽出は,より不一致が小さくなる方向に更新されます(下図のMinimize Discrepancy).この敵対的な学習により,ターゲットドメインはクラス識別器の境界を考慮した分布に近付き,境界での識別も正確になります.

合成画像から実画像へのドメイン適応

Discrepancy を考慮した提案手法 [Saito et al., 2018 CVPR]

今後の方向性

ドメイン適応の手法をより現実的な設定に応用していくことを考えた際,ソースドメイン内には存在しなかったクラスのサンプルが,ターゲットドメイン内には現れる可能性があるため,それを検出しながらターゲットドメインに適合することが必要となります.このような場合,ソースドメインに存在しなかったクラスについて,unknownなクラスだと推定する必要があります.このような条件は Open Set なドメイン適応と呼ばれており,より難しいタスクとして,弊研究室でも取り組みを進めています.

関連実績

  1. Kuniaki Saito, Yoshitaka Ushiku, Tatsuya Harada. Asymmetric Tri-training for Unsupervised Domain Adaptation. The 34th International Conference on Machine Learning (ICML 2017), 2017.(PDF)
  2. Kuniaki Saito, Yusuke Mukuta, Yoshitaka Ushiku, Tatsuya Harada. Deep Modality Invariant Adversarial Network for Shared Representation Learning. The 16th International Conference on Computer Vision Workshop on Transferring and Adapting Source Knowledge in Computer Vision (ICCV 2017, Workshop), 2017.(PDF)
  3. Kuniaki Saito, Yoshitaka Ushiku, Tatsuya Harada, Kate Saenko. Adversarial Dropout Regularization. The 6th International Conference on Learning Representations (ICLR 2018), 2018.(PDF)(PROJECT PAGE)
  4. Kuniaki Saito, Kohei Watanabe, Yoshitaka Ushiku, Tatsuya Harada. Maximum Classifier Discrepancy for Unsupervised Domain Adaptation. The 31th IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR 2018), 2018, (oral).(PDF)(PROJECT PAGE)