【論文紹介】Revisiting Regularized Policy Optimization for Stable and Efficient Reinforcement Learning in Two-Player Games
AlphaGo [1] をはじめとするゲームAIは、囲碁や将棋などで人間を上回る強さを実現してきました。ゲームAIの研究で培われた技術は、数学の問題を解いたり、新しいアルゴリズムを発見したりするなど、ゲームの枠を超えた課題にも活用されています [2–4]。こうしたゲームAIの強さを支える仕組みの一つが、候補となる手の先で起こり得る展開を何度もシミュレーションし、有望な手を探す「先読み探索」です。しかし、この仕組みを用いて学習を行うには大規模な計算資源が必要なため、強いゲームAIを再現したり、新しいゲームに応用したりすることは、限られた研究組織にしかできませんでした。
そこで本研究では、学習中に先読み探索を行わず、AIが自分自身と対戦して得た経験から良い手を直接学ぶゲームAI「KLENT」を提案しました。5種類のボードゲームを用いた実験では、先読み探索を使う既存手法に匹敵する強さに、より少ない計算で到達し、最大4倍の学習効率を達成しました。これにより、より多くの研究者や開発者がゲームAIを試し、新しいゲームやより一般的な意思決定問題に応用できる可能性が広がります。本研究は、機械学習分野のトップカンファレンスであるInternational Conference on Machine Learning（ICML 2026）に採択され、7月6日から11日にかけて Seoul, South Korea で開催された会議で発表されました。
この記事では、著者の太田一毅（Kazuki Ota）が、本研究について解説します。
ICML 2026会場でのポスター発表の様子
（肖像権への配慮のため、背景の人物に加工を加えています）
この記事で紹介する論文
この記事では、以下の論文について紹介します。
Kazuki Ota, Takayuki Osa, Motoki Omura, Tatsuya Harada. Revisiting Regularized Policy Optimization for Stable and Efficient Reinforcement Learning in Two-Player Games. Proceedings of the 43rd International Conference on Machine Learning (ICML), 2026.
論文の概要
AlphaGo [1] やAlphaZero [5] に代表される強化学習に基づくゲームAIは、先読み探索によってより良い手を選ぶことで、目覚ましい成果を上げてきました。先読み探索とは、この先に起こり得る展開を何通りもシミュレーションして、打つ手を決める方法です。しかし、これを学習に用いるには膨大な回数のシミュレーションが必要となり、大きな計算コストがかかります。そのため、強いゲームAIを開発したり、その研究結果を再現したりすることは、大規模な計算資源を持つ研究者に限られがちでした。
本研究では、学習中に先読み探索を使わず、自己対戦から良い手を直接学ぶ手法を提案します。自己対戦が進むなかでAIの戦略が急激に変化しないようにすることで、先読み探索を使わなくても学習を安定させます。実験の結果、既存の先読み探索を用いる手法に匹敵する性能を、より少ない計算で達成できることを確認しました。
学習に必要な計算量を減らすことで、より多くの研究者や技術者がゲームAIの研究に取り組みやすくなります。また、軽量な手法は実験結果を再検証しやすいため、研究の再現性という観点でも重要です。さらに、提案手法は新しいゲームや意思決定問題に強化学習を応用する際の、シンプルで有力な基本手法となることが期待されます。
本研究で提案された手法
KLENTは、先読み探索を使わずに自己対戦から学習する強化学習手法です。ニューラルネットワークは、各手を選ぶ確率を表す方策と、それぞれの手がどのくらい良い結果につながるかを表す行動価値を出力します。AlphaZero [5] などが盤面の価値から先読み探索によって行動価値を求めるのに対し、KLENTは行動価値を直接予測することで、学習中の先読み探索を省きます。
先読み探索を使う従来手法（左）とKLENT（右）の比較。KLENTは各行動の価値をニューラルネットワークで直接予測し、学習中の先読み探索を必要としません。
ただし、自己対戦では自分の学習とともに対戦相手も変化するため、戦略を急に変えると学習が不安定になります。そこでKLENTでは、学習が極端な方向へ進まないようにする2種類の正則化を組み合わせました。
- Reverse KL正則化：新しい方策が現在の方策から離れすぎないようにし、戦略を少しずつ更新する
- エントロピー正則化：特定の手に早く絞りすぎず、さまざまな手を試す余地を残す
これにより、戦略を一度に変えすぎず、探索の幅も保てます。さらに、終局の結果と途中の予測を組み合わせる λ-return [6] を用いて行動価値を安定して学習し、自己対戦とニューラルネットワークの更新を繰り返します。
理論的な結果
本研究では、KLENTの方策更新が安定する条件を2種類のゲームで解析しました。まず、じゃんけんのように一度の意思決定で勝敗が決まる標準形ゲームでは、2つの正則化の強さが一定の条件を満たすと、方策が安定した状態へ収束することを証明しました。この条件は従来研究 [7] より広い範囲をカバーし、数値実験でも、条件を満たす場合は収束し、満たさない場合は振動することを確認しました。
標準形ゲームにおける方策更新の安定性。左の2図は理論上の収束条件と数値実験の対応を、右の2図は条件を満たす場合の収束と、満たさない場合の振動を示しています。
さらに、囲碁やオセロのように複数の手番を持ち、有限の手数で終了するゲームでも、KLENTがランダム性を適度に残した最適な方策へ収束することを証明しました。簡単な数え上げゲームでも、終局に近い盤面から学習が進み、理論どおりの方策と行動価値へ近づきました。これにより、正則化が学習を安定させる条件を数学的に示しました。
実験結果
どうぶつしょうぎ、カードナーチェス（5×5の小型チェス）、9路盤囲碁、ヘックス、オセロの5ゲームで、提案手法の KLENT を AlphaZero [5]、TRPO AlphaZero [8]、Gumbel AlphaZero [9]、DQN [10]、PPO [11] と比較しました。
学習効率は、ゲーム環境を動かした回数を表すシミュレータ評価回数と、固定した相手への勝率の関係で評価します。5ゲームの平均勝率が50%へ達するまでに、Gumbel AlphaZeroは3億回を必要としたのに対し、KLENTは7500万回で到達し、4倍の学習効率を示しました。
5種類のボードゲームにおける学習効率の比較。赤線がKLENTです。横軸は学習に使用したシミュレータ評価回数、縦軸は固定した対戦相手に対する勝率を示しています。
どうぶつしょうぎとカードナーチェスでは既存手法と同程度、9路盤囲碁、ヘックス、オセロではより高い学習効率を示しました。特に選べる手が多いゲームでは、先読み探索を省く効果が大きくなります。また、2つの正則化やλ-returnを取り除くと性能が低下し、各要素の重要性も確認できました。19路盤囲碁でも、KLENTはAlphaZeroに匹敵する学習効率を示しました。
今後の展望
KLENTは、従来の先読み探索を不要にするものではなく、利用できる計算資源に応じた新しい選択肢を提供します。先読み探索を使わずに少ない計算で学習し、必要に応じて先読み探索を組み合わせることで、計算資源と強さのバランスを柔軟に調整できます。また、KLENTの考え方はボードゲームに限らず、有限の選択肢を持つ意思決定問題にも応用できる可能性があります。今後は、アルゴリズムの発見や数学の定理証明など、ゲームの枠を超えた課題への応用が期待されます。
参考文献
[1] Silver, D., et al. Mastering the game of Go with deep neural networks and tree search. Nature, 529(7587), 484–489, 2016.
[2] Fawzi, A., et al. Discovering faster matrix multiplication algorithms with reinforcement learning. Nature, 610(7930), 47–53, 2022.
[3] Mankowitz, D. J., et al. Faster sorting algorithms discovered using deep reinforcement learning. Nature, 618(7964), 257–263, 2023.
[4] Hubert, T., et al. Olympiad-level formal mathematical reasoning with reinforcement learning. Nature, 651(8106), 607–613, 2026.
[5] Silver, D., et al. A general reinforcement learning algorithm that masters chess, shogi, and Go through self-play. Science, 362(6419), 1140–1144, 2018.
[6] Sutton, R. S. Learning to predict by the methods of temporal differences. Machine Learning, 3(1), 9–44, 1988.
[7] Sokota, S., et al. A unified approach to reinforcement learning, quantal response equilibria, and two-player zero-sum games. International Conference on Learning Representations (ICLR), 2023.
[8] Grill, J.-B., et al. Monte-Carlo tree search as regularized policy optimization. Proceedings of the 37th International Conference on Machine Learning (ICML), PMLR 119, 3769–3778, 2020.
[9] Danihelka, I., Guez, A., Schrittwieser, J., and Silver, D. Policy improvement by planning with Gumbel. International Conference on Learning Representations (ICLR), 2022.
[10] Mnih, V., et al. Human-level control through deep reinforcement learning. Nature, 518(7540), 529–533, 2015.
[11] Schulman, J., Wolski, F., Dhariwal, P., Radford, A., and Klimov, O. Proximal policy optimization algorithms. arXiv preprint arXiv:1707.06347, 2017.
