速習強化学習―基礎理論とアルゴリズム―

Abstract

GoogleのAlphaGoによるプロ棋士打破は，人工知能がヒトを超えた学習を行った歴史的出来事として認識された。強化学習はここで重要な役割を果たしてているだけでなく，自動運転やロボット制御などの重要な分野への応用も知られ，いま世間の強い関心を集めている。その一方，日本語で強化学習を体系的に学べる教科書は多くはなく，代表的な教科書であるSutton and Barto (1998)とその訳書も出版から20年が経とうとしている。
本書はトップ会議のチュートリアルで利用されたり，2010年の出版以降わずか数年で500弱の引用がされたりという事実からも窺えるように，入門書として広く読まれている良書である。本書の内容は動的計画法などの基本的かつ重要なアルゴリズムに始まり，比較的新しい手法も体系的に網羅しつつもコンパクトに自己完結している。原著の出版から7年あまり経つが，近年の発展は本書で掲載されたアルゴリズム・アイデアをその基礎においている。特に本書では，深層学習を利用した深層強化学習を含む最近の発展に，本書で紹介されたアルゴリズムがどのように使われているかを解説した訳者補遺を追加することで，本書と最先端の研究との橋渡しをしている。