無限不可能性ドライブ

『ニューラルネットワーク自作入門』に刺激されてExcelVBAでニューラルネットワークを作ってみたものの、やっぱり数学やらなきゃと思い少しずつやってきたのもあって、自分の知識の整理とかそういった感じです。

【数式編】（順伝播）のまとめ、あと（損失関数）

ニューラルネットワーク

f:id:celaeno42:20181027233159p:plain

いままでに求めた順伝播の式をまとめておきます。

隠れ層１層め

ユニットh11

$\displaystyle u_1^2 = w_{11}^2 x_1 + w_{12}^2 x_2 + w_{13}^2 x_3 + w_{14}^2 x_4 + b_1^2$

$\displaystyle z_1^2 = ReLU(u_1^2)$

ユニットh12

$\displaystyle u_2^2 = w_{21}^2 x_1 + w_{22}^2 x_2 + w_{23}^2 x_3 + w_{24}^2 x_4 + b_2^2$

$\displaystyle z_2^2 = ReLU(u_2^2)$

ユニットh13

$\displaystyle u_3^2 = w_{31}^2 x_1 + w_{32}^2 x_2 + w_{33}^2 x_3 + w_{34}^2 x_4 + b_3^2$

$\displaystyle z_3^2 = ReLU(u_3^2)$

隠れ層２層め

ユニットh21

$\displaystyle u_1^3 = w_{11}^3 z_1^2 + w_{12}^3 z_2^2 + w_{13}^3 z_3^2 + b_1^3$

$\displaystyle z_1^3 = ReLU(u_1^3)$

ユニットh22

$\displaystyle u_2^3 = w_{21}^3 z_1^2 + w_{22}^3 z_2^2 + w_{23}^3 z_3^2 + b_2^3$

$\displaystyle z_2^3 = ReLU(u_2^3)$

ユニットh23

$\displaystyle u_3^3 = w_{31}^3 z_1^2 + w_{32}^3 z_2^2 + w_{33}^3 z_3^2 + b_3^3$

$\displaystyle z_3^3 = ReLU(u_3^3)$

ユニットh24

$\displaystyle u_4^3 = w_{41}^3 z_1^2 + w_{42}^3 z_2^2 + w_{43}^3 z_3^2 + b_4^3$

$\displaystyle z_4^3 = ReLU(u_4^3)$

出力層

ユニットo11

$\displaystyle u_1^4 = w_{11}^4 z_1^3 + w_{12}^4 z_2^3 + w_{13}^4 z_3^3 + w_{14}^4 z_4^3 + b_1^4$

$\displaystyle z_1^4 = Softmax(u_1^4) \left( = \frac{\exp(u_1^4)}{\sum_{k=1}^3 \exp(u_k^4)} = \frac{\exp(u_1^4)}{\exp(u_1^4) + \exp(u_2^4) + \exp(u_3^4)} \right)$

ユニットo12

$\displaystyle u_2^4 = w_{21}^4 z_1^3 + w_{22}^4 z_2^3 + w_{23}^4 z_3^3 + w_{24}^4 z_4^3 + b_2^4$

$\displaystyle z_2^4 = Softmax(u_2^4) \left( = \frac{\exp(u_2^4)}{\sum_{k=1}^3 \exp(u_k^4)} = \frac{\exp(u_2^4)}{\exp(u_1^4) + \exp(u_2^4) + \exp(u_3^4)} \right)$

ユニットo13

$\displaystyle u_3^4 = w_{31}^4 z_1^3 + w_{32}^4 z_2^3 + w_{33}^4 z_3^3 + w_{34}^4 z_4^3 + b_3^4$

$\displaystyle z_3^4 = Softmax(u_3^4) \left( = \frac{\exp(u_3^4)}{\sum_{k=1}^3 \exp(u_k^4)} = \frac{\exp(u_3^4)}{\exp(u_1^4) + \exp(u_2^4) + \exp(u_3^4)} \right)$

損失関数（クロスエントロピーエラー）

$\displaystyle E = -\sum_{k=1}^3 t_k \log z_k^4 = -(t_1 \log z_1^4 + t_2 \log z_2^4 + t_3 \log z_3^4 )$