無限不可能性ドライブ

『ニューラルネットワーク自作入門』に刺激されてExcelVBAでニューラルネットワークを作ってみたものの、やっぱり数学やらなきゃと思い少しずつやってきたのもあって、自分の知識の整理とかそういった感じです。

2018-10-28から1日間の記事一覧

【VBA編】どんなものを作っていくか

今回作るニューラルネットワーク 入力:4 出力:3 隠れ層の活性化関数:ReLU 出力層の活性化関数:Softmax 損失関数:クロスエントロピー 学習方法:教師あり学習 教師データ:one-hot 表現 扱う問題:分類問題 データセット:アイリス データセット さん…

【数式編】(逆伝播)のまとめ 2

逆伝播の更新式を一覧でまとめたものを載せておきます。 VBA編ではこれを元に実装していきます。

【数式編】(逆伝播)のまとめ 1

逆伝播についてはそれぞれの重みとバイアスの (勾配)の部分を載せます。 重みやバイアスは、 (勾配)に学習率を掛け、現在の重みやバイアスの値から引くことで更新していきます。 出力層 出力層についても共通部分を で表すことにしましょう。 ユニットo1…

【数式編】(順伝播)のまとめ、あと(損失関数)

いままでに求めた順伝播の式をまとめておきます。 隠れ層1層め ユニットh11 ユニットh12 ユニットh13 隠れ層2層め ユニットh21 ユニットh22 ユニットh23 ユニットh24 出力層 ユニットo11 ユニットo12 ユニットo13 損失関数(クロスエントロピーエラー)