【数式編】（逆伝播）出力層の重みとバイアスを更新する２－（２）

f:id:celaeno42:20181005222118p:plain

前回のおさらい

前回求めた $w_{21}^4$ の更新式はこのようなものでした。

$\displaystyle w_{21}^4 ← w_{21}^4 - \eta \nabla E$

$\displaystyle \begin{align} \nabla E = \frac{\partial E}{\partial w_{21}^4} &= \frac{\partial E}{\partial u_2^4} \frac{\partial u_2^4}{\partial w_{21}^4} \\ \\ &= (z_2^4 - t_2) \times z_1^3 \end{align}$

今回はその他の重み $w_{22}^4, w_{23}^4, w_{24}^4$ とバイアス $b_2^4$ の更新式を求めていきます。

まずは２つめの重み

$w_{22}^4$ については以下の式を求めます。

$\displaystyle w_{22}^4 ← w_{22}^4 - \eta \nabla E$

$\displaystyle \nabla E = \frac{\partial E}{\partial w_{22}^4} = \frac{\partial E}{\partial u_2^4} \frac{\partial u_2^4}{\partial w_{22}^4}$

$w_{21}^4$ の式と見比べると $\displaystyle \frac{\partial E}{\partial u_2^4}$ の部分は同じことがわかります。

なので、 $\displaystyle \frac{\partial u_2^4}{\partial w_{22}^4}$ についてのみ考えます。

$\displaystyle u_2^4 = w_{21}^4 z_1^3 + w_{22}^4 z_2^3 + w_{23}^4 z_3^3 + w_{24}^4 z_4^3 + b_2^4$

でしたので、

$\displaystyle \begin{align} \frac{\partial u_2^4}{\partial w_{22}^4} &= \frac{\partial}{\partial w_{22}^4} (w_{21}^4 z_1^3 + w_{22}^4 z_2^3 + w_{23}^4 z_3^3 + w_{24}^4 z_4^3 + b_2^4) \\ \\ &= z_2^3 \end{align}$

となります。
よって、

$\displaystyle \begin{align} \nabla E = \frac{\partial E}{\partial w_{22}^4} &= \frac{\partial E}{\partial u_2^4} \frac{\partial u_2^4}{\partial w_{22}^4} \\ \\ &= (z_2^4 - t_2) \times z_2^3 \end{align}$

その他の重みとバイアス

その他の重みとバイアスについても、 $\displaystyle \frac{\partial E}{\partial u_2^4}$ の部分は同じなので、
それぞれの $u$ の偏微分だけを求めればいいですね。

$\displaystyle u_2^4 = w_{21}^4 z_1^3 + w_{22}^4 z_2^3 + w_{23}^4 z_3^3 + w_{24}^4 z_4^3 + b_2^4$

なので、それぞれ

$\displaystyle \begin{align} \frac{\partial u_2^4}{\partial w_{23}^4} &= \frac{\partial}{\partial w_{13}^4} (w_{21}^4 z_1^3 + w_{22}^4 z_2^3 + w_{23}^4 z_3^3 + w_{24}^4 z_4^3 + b_2^4) \\ \\ &= z_3^3 \end{align}$

$\displaystyle \begin{align} \frac{\partial u_2^4}{\partial w_{24}^4} &= \frac{\partial}{\partial w_{14}^4} (w_{21}^4 z_1^3 + w_{22}^4 z_2^3 + w_{23}^4 z_3^3 + w_{24}^4 z_4^3 + b_2^4) \\ \\ &= z_4^3 \end{align}$

$\displaystyle \begin{align} \frac{\partial u_2^4}{\partial b_2^4} &= \frac{\partial}{\partial b_1^4} (w_{21}^4 z_1^3 + w_{22}^4 z_2^3 + w_{23}^4 z_3^3 + w_{24}^4 z_4^3 + b_2^4) \\ \\ &= 1 \end{align}$

となります。

総まとめ：ユニットo12 の重みとバイアスの勾配（ $\nabla E$ ）

ユニットo12 のすべての重みとバイアスの勾配（ $\nabla E$ ）の部分をまとめておきます。

$\displaystyle \begin{align} \frac{\partial E}{\partial w_{21}^4} = \frac{\partial E}{\partial u_2^4} \frac{\partial u_2^4}{\partial w_{21}^4} = (z_2^4 - t_2) \times z_1^3 \end{align}$

$\displaystyle \begin{align} \frac{\partial E}{\partial w_{22}^4} = \frac{\partial E}{\partial u_2^4} \frac{\partial u_2^4}{\partial w_{22}^4} = (z_2^4 - t_2) \times z_2^3 \end{align}$

$\displaystyle \begin{align} \frac{\partial E}{\partial w_{23}^4} = \frac{\partial E}{\partial u_2^4} \frac{\partial u_2^4}{\partial w_{23}^4} = (z_2^4 - t_2) \times z_3^3 \end{align}$

$\displaystyle \begin{align} \frac{\partial E}{\partial w_{24}^4} = \frac{\partial E}{\partial u_2^4} \frac{\partial u_2^4}{\partial w_{24}^4} = (z_2^4 - t_2) \times z_4^3 \end{align}$

$\displaystyle \begin{align} \frac{\partial E}{\partial b_2^4} = \frac{\partial E}{\partial u_2^4} \frac{\partial u_2^4}{\partial b_2^4} = (z_2^4 - t_2) \times 1 \end{align}$