Cは知っているけどPythonは知らない人が，手っ取り早く強化学習のプログラムをPythonで書けるようになるための教材を学生演習用に作りました。

google colaboratory+ openAI Gym+ Keras-RLの続編。今度はGymの Atariを試してみた。

google colaboratory上で， openAI Gymの Classic Controlを使って遊べることがわかったので，さらに Keras-RLを使ってDQL(Deep-Q Learning)を試してみた。colaboratoryは Kerasをサポートしているので，あっけなくデモが動いてめでたし。

openAI Gymを google colaboratoryで遊ぼうとすると， Algorithm以外の環境ではアニメーション表示がどうするかが問題になるが，一応なんとかなることがわかった。

同じデータを手にしても，それを表にまとめるときには，ある人は列に並べる値を，別の人は行に並べたりする。ある人が一つの表にまとめるようなデータを，別の人は複数の表に分けてまとめることもある。 というわけで，データ処理のときに案外大変なのが，手にしたデータのフォーマットを解析しやすいフォーマットに変換する前処理だったりする。

昨年度の卒論プレ配属のみなさんに，「 Arduino(小型マイコン)と筋電計を使って何か面白いものを作る」という課題で，作品を作っていただきました。

人工知能学会の大会が 2012年に山口で開催されたときに運営のお手伝いをしたのがきっかけで，人工知能学会に時々行くようになった。山口大会の開催日は6/12-15だったので，今思えば，ディープラーニングの起爆剤の一つになった Googleによる猫画像自動認識のニュース(2012/6/26)が世に出るほんの10日くらい前。この時の大会ではディープラーニングに関する話題は多分無かったのではないかと思う。

以前にも紹介した Boston Dynamics のAtlasの最新Youtube動画。

膝関節はヒトのようには伸展してないので，ちょっと小走りな感じだが，しっかり地面を蹴って走っている。すごい。