ICLR

【論文紹介】Rethinking Policy Diversity in Ensemble Policy Gradient in Large-Scale Reinforcement LearningNew!!

ロボットが物をつかんだり、指先で物体の向きを変えたりする動作を身につける方法の一つに、「強化学習」があります。これは、人間が何度も転びながら自転車に乗る方法を学ぶように、試行錯誤の結果をもとに、よりよい行動の選び方を学ぶ方法です。近年は、コンピュータ上で数万ものシミュレーション環境を同時に動かし、大量の経験からロボットを学習させられるようになりました。

では、たくさんのロボットに、どのように試行錯誤させればよいのでしょうか。人間が何かを学ぶときには、一人で練習するだけでなく、複数人で違う方法を試し、その経験から学ぶことがあります。ただし、複数人で学ぶ場合も、各自がばらばらに取り組むことと、互いの経験を活かしながら協力することは同じではありません。AIでも、それぞれが違う探索をすれば、それだけで学習がうまく進むのでしょうか。それとも、集めた経験を活かせるように、探索の仕方を調整する必要があるのでしょうか。

私たちは、この問いを、複数のAIが集めた経験を一つのAIに集約する「リーダー・フォロワー方式」で調べました。そして、それぞれの探索をリーダーの学びにつなげる手法、Coupled Policy Optimization（CPO）を提案しました。

本研究は、機械学習分野の国際会議 ICLR 2026 に採択されました。