Cは知っているけどPythonは知らない人が，手っ取り早く強化学習のプログラムをPythonで書けるようになるための教材を学生演習用に作りました。
演習形式のjupyter notebookのワークシートになっていて，Pythonの基礎を勉強していたら知らない間にopenAI gymを使った強化学習のプログラムができちゃっているという教材です。 Deep learningは使ってませんが，ご興味のある方はこちらからどうぞ。
ここのところopenAI Gym関連の記事(8/28その1, 8/28その2, 8/29)を作ったのは， openAI Gymを遊ぶ演習をできないかなと思ったのがきっかけ。 そのためには実行環境が必要だが，大学の演習用パソコンにインストールをお願いするのはいろんな問題で結構大変。 となると，学生の皆さんが持っているパソコンにインスールする方法が候補になるが，OSは大抵 Windows になる。残念ながら，openAI Gym環境をWindowsにインストールしようとするとトラブルが多いらしく，多人数の演習での対応は難しそう。
google colaboratory+openAI Gym+Keras-RLの続編。今度はGymのAtariを試してみた。
openAI Gymをgoogle colaboratoryで遊ぼうとすると，Algorithm以外の環境ではアニメーション表示がどうするかが問題になるが，一応なんとかなることがわかった。
google colaboratory上で，openAI GymのClassic Controlを使って遊べることがわかったので，さらにKeras-RLを使ってDQL(Deep-Q Learning)を試してみた。colaboratoryはKerasをサポートしているので，あっけなくデモが動いてめでたし。
同じデータを手にしても，それを表にまとめるときには，ある人は列に並べる値を，別の人は行に並べたりする。ある人が一つの表にまとめるようなデータを，別の人は複数の表に分けてまとめることもある。 というわけで，データ処理のときに案外大変なのが，手にしたデータのフォーマットを解析しやすいフォーマットに変換する前処理だったりする。
人工知能学会の大会が2012年に山口で開催されたときに運営のお手伝いをしたのがきっかけで，人工知能学会に時々行くようになった。山口大会の開催日は6/12-15だったので，今思えば，ディープラーニングの起爆剤の一つになったGoogleによる猫画像自動認識のニュース(2012/6/26)が世に出るほんの10日くらい前。この時の大会ではディープラーニングに関する話題は多分無かったのではないかと思う。
当時でも活気のある学会だったが，その6年後の今回の大会では参加者数は約2.5倍の2500名強(過去最多)，ディープラーニング関連のいろいろなチュートリアルやセッションが企画されて隔世...
以前にも紹介した Boston Dynamics のAtlasの最新Youtube動画。
膝関節はヒトのようには伸展してないので，ちょっと小走りな感じだが，しっかり地面を蹴って走っている。すごい。
研究室メンバとの連絡はSlackを使っている。 不要になった古いメッセージなどを一括で消すツールはないかなと探したら，slack-cleanerというのがあった。 コマンドラインでいろいろ条件設定して消去でき，テストランもできるので便利。 使うにはPython環境が必要だが，インストールはpipで簡単にできる。