勾配降下法を、いま一つ腹落ちしていない過去の自分にくどくどと説明してみる。

勾配降下法

このブログでは VBAでニューラルネットワークをフルスクラッチする連載をしてますが、数式編でやった通りパラメータ更新の式は手順を追って導出できたのですが、その理屈的なところがどうもしっくりいってなかったので、そんな自分でもわかるレベルで勾配降下法の説明をしてみる内容の記事にしてみました。
内容的にかなり長くなってしまったのと、このブログのいまのタイミングとちょっと合わないと思ったので今回は Qiita に投稿しています。
qiita.com

たぶん、実際に手を動かして計算したり Excel でグラフを作ったりすると理解しやすいかも。と思います。

恐ろしいことに、ずっとこのあたりがもやもやしていたのですが、この記事を書いたとたん（というか書く準備をしている時点で）なんでもやもやしていたのかがいまひとつ思い出せなくなりました。。「わかってしまうとなにがわからなかったかがわからなくなってしまう」というのは、なかなかの困った人間の性質です。。