Blog
こんにちは！吉田です．東北大学で博士学生をしています．
このたび，Preferred Networks（PFN）で4月・５月と春インターンに参加させていただきました．
インターンでは，Deep Deterministic Policy Gradientと呼ばれる強化学習の手法を用いて，TORCSというレースゲーム内で自動車に自動運転を自分で１から学習させるという内容に取り組みました．
これは私が以前 Chainer を使って Deep Q-Network (DQN) と呼ばれる深層強化学習を再現した経験があり，またインターンでも強化学習に関連したタスクをしたいという希望をマッチングした結果で，個人的にも大変興味をもって取り組めたと思います．
TORCS（The Open Racing Car Simulator）はオープンソースのドライビングシミュレータとして公開されていて，近年の強化学習ではこのシミュレータ内での自動運転をタスクとした研究がいくつかされています．今回の強化学習では車のハンドル操作を出力とする，DQNとは異なり連続値の出力を扱う強化学習問題となっています．この問題を扱うため，先に紹介したDDPGと呼ばれる手法を用いることにしました．DDPGやその他，技術的な内容に関する説明は，Slideshareで公開しているPFIセミナーでの最終発表スライドでご確認ください↓
実は実験にはさまざまな困難があり，残念ながら今回のインターン期間中では画像入力だけから自動運転を学習させるというところまでは到達できなかったのが悔いの残るところです．しかしながら，今回のインターンシップを通してメンターの方々の他，様々な人とお話する機会があり，私にとってこれまでとは異なる，たくさんのフレッシュな経験を積むことができたと思います．
なお，今回のインターンプロジェクトで作成・使用したTORCS環境で強化学習を行うためのpythonコード 「gym_torcs」をgithubにて公開しています．我こそはという方は是非，自動運転 from-scratch を強化学習でトライしてみてください！
