【数式編】（順伝播）隠れ層２層めのユニットの出力を求める

f:id:celaeno42:20180924000931p:plain

隠れ層２層めのユニットの出力値の求め方は、１層めのユニットとほぼ同じです。
ただし、入力値は１層めの該当するユニットの出力値（ $z_1^2, z_2^2, z_3^2$ ）となります。
例としてユニットh21 の出力を求めてみます。

ユニットh21 の出力値 $z_1^3$ を求めるには、その前に $u_1^3$ を求める必要があります。

$\displaystyle u_1^3 = w_{11}^3 z_1^2 + w_{12}^3 z_2^2 + w_{13}^3 z_3^2 + b_1^3$

これに $ReLU$ を適用して $z_1^3$ を求めます。

$\displaystyle z_1^3 = ReLU(u_1^3)$

他のユニットも同様です。

$\displaystyle u_1^3 = w_{11}^3 z_1^2 + w_{12}^3 z_2^2 + w_{13}^3 z_3^2 + b_1^3$

$\displaystyle z_1^3 = ReLU(u_1^3)$

$\displaystyle u_2^3 = w_{21}^3 z_1^2 + w_{22}^3 z_2^2 + w_{23}^3 z_3^2 + b_2^3$

$\displaystyle z_2^3 = ReLU(u_2^3)$

$\displaystyle u_3^3 = w_{31}^3 z_1^2 + w_{32}^3 z_2^2 + w_{33}^3 z_3^2 + b_3^3$

$\displaystyle z_3^3 = ReLU(u_3^3)$

$\displaystyle u_4^3 = w_{41}^3 z_1^2 + w_{42}^3 z_2^2 + w_{43}^3 z_3^2 + b_4^3$

$\displaystyle z_4^3 = ReLU(u_4^3)$

f:id:celaeno42:20180924233724p:plain

f:id:celaeno42:20181212233850p:plain

無限不可能性ドライブ