図1. 概念図

画像入力を用いたロボットマニピュレーションシステムは、視覚入力のドメインシフトによって性能が低下しやすいという課題があります。強化学習ではデータ拡張が広く使われていますが、模倣学習への応用はまだ十分に検討されていません。私たちの予備実験では、模倣学習にデータ拡張を単純に組み込むだけでは有効な改善が得られないことがわかりました。

この課題に対して、私たちは2段階の学習手法を提案します。第1段階では、データ拡張を活用してドメインシフトへの頑健性を高める敵対的特徴学習の枠組みを構築します。第2段階では、収集の容易な画像データのみを用いてモデルを対象環境に適応させる、教師なしドメイン適応手法を導入します。

ロボットタスクにおいて、視覚的なドメインシフトは初期観測だけからでも検出できることが多くあります。新しいドメインで行動ラベル付きのエピソードを一通り集めるのはコストが高いため、初期画像だけで適応できればデータ収集コストを大幅に削減できます。そこで私たちは、対象ドメインの初期観測のみに依存し、ラベル付きデモンストレーションを必要としない適応戦略を開発しました。(図1)

シミュレーションと実機ロボットの両方での実験により、提案手法が元のドメインでの性能を維持しつつ、照明条件の変化、背景の変更、環境中のタスクと無関係な物体といった視覚的な外乱に対して高い耐性を示すことを確認しました。

本研究は、ロボティクスやオートメーションの分野の国際的なトップ会議 ICRA 2026 (the 2026 IEEE International Conference on Robotics & Automation) に採択され、オーストリアのウィーンで6月1日から5日まで開催された会議において発表されました。

この記事では、著者の加藤 泰大（Yasuhiro Kato）が、本研究について解説します。

この記事で紹介する論文

この記事では、以下の論文について紹介します。

Yasuhiro Kato, Thomas Westfechtel, Jen-Yen Chang, Naoki Morihira, Akinobu Hayashi, Tatsuya Harada, Takayuki Osa. Unsupervised Domain Adaptation for Robust Imitation Learning under Visual Perturbations. IEEE International Conference on Robotics and Automation (ICRA),  2026.

• 論文

提案手法

図2. 提案のパイプライン

提案パイプライン：画像入力を用いたマニピュレーションシステムは、学習環境とテスト環境の間のドメインの差異による性能の低下が大きな課題です。したがって、学習した方策には、さまざまな視覚的外乱に対する頑健性と、テスト環境への適応性の両方が求められます。

図２に示しているのが、私たちの提案手法です。行動クローニングのためのAction Chunking with Transformers（ACT）[1]、データ拡張に不変な特徴を学習するための拡張識別器（augmentation discriminator）、そしてドメインに不変な特徴を捉えるためのドメイン識別器（domain discriminator）から構成されます。提案手法は、データ拡張とドメイン固有の特性の両方に対して不変な特徴を学習することで、方策の頑健性を高めることを目指しています。以降の各節で、それぞれのモジュールについて説明します。 

A. 行動学習（Behavioral Cloning）

ロボットに動きを教える方法のひとつが「行動クローニング（Behavioral Cloning, BC）」です。これは、人が実演したお手本のデータを使って、「この状況を見たら、この動きをする」という対応関係をロボットに覚えさせる方法です。仕組みとしては、画像認識で「猫の写真→猫」と答えを学ぶのと同じ教師あり学習で、ここでは「カメラ画像→とるべき動作」を学びます。

処理の流れは2段階です。まず、「特徴抽出器」がカメラ画像から、行動予測に必要な特徴を取り出します。次に「方策（ポリシー）」がその情報をもとにロボットの動作を決めます。学習では、方策が出した動作とお手本の動作のズレを測り、そのズレが小さくなるようにモデルを調整していきます。

本研究では、BCの手法としてAction Chunking with Transformers（ACT）を使っています。ACTの特徴は、動作を1ステップずつ予測するのではなく、「これから数ステップ分の動作」をひとまとまり（チャンク）として予測することです。人間も、コップを取るときに一瞬ごとの動きを考えるのではなく、「手を伸ばして掴む」という一連の流れとして動きます。さらにACTには、同じ場面でもお手本ごとに微妙に違う「動きのクセ」を表す変数が組み込まれており、実演データのばらつきをうまく吸収できるようになっています。

B. データ拡張に不変な視覚特徴を学ぶ敵対的学習

ロボットが実際に動く環境では、照明が変わったり、背景に別の物が置かれたりと、学習時とは見た目が変わってしまうことがよくあります。そこで、画像を意図的に加工（明るさを変える、色味を変える、ノイズを加えるなど）して学習データを水増しする「データ拡張」が使われます。しかし、単に加工した画像を混ぜて学習させるだけでは、模倣学習における性能向上にはつながらず、特に少量データから学習する今回の設定では、むしろ学習を困難にし、性能が低下することが予備実験からわかりました。

そこで本研究では、「敵対的学習」という仕組みを導入しています。登場するのは2つのモジュールです。

• 特徴抽出器：画像から情報を取り出す役
• 拡張識別器：取り出された情報を見て、「この画像にはどの種類の加工が施されたか」を当てようとする役

この2つを競わせます。識別器は加工の種類を見破ろうと頑張り、特徴抽出器は「加工の種類が見破れないような情報」を出すように頑張ります。偽札を作る側と見破る側が互いに腕を磨き合う、というたとえで説明されることが多い仕組みです。

この競争を続けると、特徴抽出器は「明るさや色味など、加工によって変わる表面的な情報」を捨て、「どのような加工を受けても変わりにくい、本質的な特徴」を取り出すようになります。結果として、見た目が多少変わっても動じない、頑健な視覚特徴が得られます。

C. 教師なしドメイン適応

学習に使った環境（ソースドメイン）と、実際にロボットを動かす環境（ターゲットドメイン）は完全には一致しません。この差を埋めるのが「ドメイン適応」です。本研究の重要な点は、新しい環境で「お手本の動作データ」を集め直す必要がなく、画像だけあれば適応できることです。動作付きのデモを集めるのは手間がかかりますが、画像を撮るだけなら簡単なので、大幅なコスト削減になります。

仕組みはBと同じ敵対的学習です。今度は「ドメイン識別器」を用意し、2枚の画像を見て「これは同じ環境で撮られたものか、違う環境か」を当てさせます。一方、特徴抽出器はそれを見破れないような情報を出すように学習します。すると特徴抽出器は、環境ごとの違い（背景の模様や照明の癖など）を無視し、両方の環境に共通する、タスクに本当に必要な情報だけを取り出すようになります。

また、この段階でも白色ノイズのような軽い加工を画像に加えています。これは、Bの段階で身につけた「加工に強い」性質が、適応学習の過程で失われないようにするためです。

なお、ソースドメインに対してこの段階を適用した場合は、元の環境での加工に強い特徴抽出をさらに磨き上げるファインチューニングとして機能します。

実験結果

図3. 実機実験のスナップショット

図4. 実験結果

実機ロボットでの実験結果

シミュレーションだけでなく、実際の双腕ロボットを使って提案手法の効果を検証しました。(図3) 実験は3つのタスクで行い、それぞれについて「学習時と同じ環境」に加えて、「照明を変えた環境」「テーブルの色を変えた環境」「タスクと無関係な物体を置いた環境」の計4つの条件で成功率を測定しました。(図4)

比較したのは次の4つの手法です。

• ACT：ベースとなる模倣学習手法をそのまま使ったもの
• DA：ACTに単純なデータ拡張を加えたもの
• DA+AFL：さらに、データ拡張に不変な特徴を学ぶ敵対的学習を加えたもの
• DA+AFL+UDA：さらに、画像だけを使った教師なしドメイン適応を加えたもの（提案手法のフルバージョン）

タスク1：箱の受け渡し

片方の腕で箱を持ち上げ、もう片方の腕に手渡すタスクです。ベースのACTは、学習時と同じ環境ではそこそこ動くものの、テーブルの色が変わると成功率が大きく落ち込みました。単純なデータ拡張を加えただけでは目立った改善はなく、条件によってはむしろ悪化しています。一方、敵対的学習を加えると全条件で成功率が向上し、ドメイン適応まで加えた提案手法が、どの条件でも最も安定した性能を示しました。

タスク2：布たたみ

片方の腕で布を押さえたり位置を直したりしながら、もう片方の腕でたたむという、両腕の協調が必要なタスクです。このタスクはもともと難しく、ACTや単純なデータ拡張では成功率が低めでした。提案手法のフルバージョンは、どの環境でもおおむね半数以上の成功率を達成し、特に照明を変えた条件やタスクと無関係な物体を置いた条件では、他手法を大きく引き離しました。

タスク3：箱の積み上げ

両腕で立方体を持ち上げ、ブロックの上に正確に置くタスクです。ここで注目すべきは、ベースのACTが学習時と同じ環境では高い成功率を出す一方で、照明やテーブルの色が変わっただけでほとんど動かなくなってしまった点です。見た目の変化に極端に弱いことがわかります。提案手法は、環境が変わっても成功率を大きく落とさず、ほとんどの条件で他手法を上回りました。

3つのタスクに共通して見えたのは、次の3点です。

1. 単純なデータ拡張だけでは不十分：画像を加工して学習データを増やすだけでは、環境変化への強さはほとんど改善しませんでした。
2. 敵対的学習が効く：加工に左右されない特徴を学ばせることで、照明や背景の変化に対して安定してタスクを遂行するようになりました。
3. 画像だけでの適応がさらに効く：新しい環境の画像を撮るだけで、お手本の動作データを集め直すことなく、さらに性能を引き上げられました。

つまり提案手法は、学習時の環境での性能を保ちながら、照明・背景・タスクと無関係な物体といった現場でよく起こる見た目の変化に強いロボットの動作学習を実現できたと言えます。

まとめ

本研究では、敵対的学習を活用した、模倣学習のための頑健な特徴学習の枠組みを提案しました。提案手法は2段階の学習で構成されています。第1段階では、敵対的特徴学習によって、画像に様々な加工が施されても変わらない特徴を取り出せるようにし、環境の見た目の変化に対する頑健性を獲得します。第2段階では、テスト環境で撮った初期画像だけを使った教師なしドメイン適応を行い、データ収集のコストを抑えたまま、新しい環境への適応を可能にします。

本手法の限界として、性能が「学習時にどのようなデータ拡張を用いたか」に依存する点が挙げられます。より多様な種類のデータ拡張を取り入れれば、特徴抽出の頑健性はさらに高められる可能性があります。

こうした課題は残るものの、本手法は、敵対的特徴学習と教師なしドメイン適応を模倣学習に適用するうえで意義のある前進だと考えています。本研究で得られた知見が、さまざまな環境条件のもとでも安定して動作する、より頑健なロボット学習システムの開発に役立つことを期待しています。

参考文献

[1]. T. Z. Zhao, V. Kumar, S. Levine, and C. Finn, “Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware,” in Proc. Robotics: Science and Systems (RSS), 2023.