ExcelVBAで強化学習（Q学習）を実装して迷路を解いてみる
※※ Qiitaの記事へのリンクと駄文です ※※
強化学習ことはじめ
強化学習の勉強を始めたものの何の話をしているのかいまいちよくわからなくなっていたところで、『つくりながら学ぶ！深層強化学習 -PyTorchによる実践プログラミング-』を手に取ってみたところ、実際に動くサンプルがあったためだんだんとイメージがつくようになってきました。で、いつものノリで、Python のコードを VBA で書きなおしてみようと思って書いてみたところ、より一層理解が深まったように思えたので、どうせならと思って記事にしてみました。Excel を使うと、見えにくい配列内の数値もセルに書き出して可視化することができるのでお勧めです。この記事の通りに作っていけば、VBA で簡単な迷路のルート探索を試すことができますが、詳しい理論的な話には言及していないので、上記書籍を手元に置いてコードを見比べながら進めていくとよりいいと思います。
その後
まぁ、実際にはその後、ディープラーニングの手法を取り入れた DQN（Deep Q Network）に話が進んでいってだんだんと複雑になってくるのですが、まずはとっかかりとして VBA でやってみるのもいいんじゃないかな？と思います。少なくともとっかかりができれば、それを足場になんとか進んでいける（ような気がする）ので。。よく言われる（？）ように、ディープラーニングが目の獲得だとすれば、強化学習で脳が獲得できるんじゃないかな？などと適当に思っているので、ディープラーニング＆強化学習（ってDQN？）ってなんだかとっても刺激的な気がします。あとは言語（意味/意図理解）か。。これ、どうなるんでしょうね…とはいえ、ヒト標準である必要はないと思うので、究極的には彼らにとっての意味/意図理解ができる仕組みができあがればいいんじゃないでしょうか。それプラス、ヒトとの意思疎通のためのプロトコルがあれば。
いずれにしても、強化学習の書籍はまだまだ少ないこともあって、スタートの敷居は画像処理や言語処理に比べて高いんじゃないでしょうか。書籍のジャンルは画像処理系に加えて徐々に言語処理系も増えてきているようにも感じるので、そろそろ強化学習関連も増えてきて欲しいなぁ。
