投稿日：2021年2月21日   ｜  最終更新日: 2021年2月23日

シグモイド関数とは何か？

以下のような形で示す関数です。

\[
f(x) =
\frac{1}{1+e^{-x}}
\]

ニューラルネットワークの活性化関数でよく使われます。ニューラルネットワークの学習で最急降下法を使う時に微分が必要になります。

入力値の合計を受け取り、合計がある値を超えたら大きな値を、超えなければゼロまたは小さな値を出力します。これは、一定以上の力を加えなければONにならないスイッチの動きに似ています。活性化関数は、計算のしやすさや扱うデータの種類に合わせて色々なものが考案されています。その中で今回は定番の一つであるものが「シグモイド関数」です。

シグモイド関数を微分する理由

ニューラルネットワークプログラムの最終工程で使用します。ノードの誤差を計算したら、調整値を算出してエッジの重みを更新する作業を行います。このとき調整値の算出にシグモイド関数の微分を行います。

例えば、C#でシグモイド関数とシグモイド関数の微分のFunctionを作ると、以下のように表すことができます。

//シグモイド関数
public double Activation (double val)
{
   return 1.0 / (1.0 + Math.Exp(-val));
}

//シグモイド関数を微分した関数
public double DActivation (double val)
{
   return (1.0 - val) * val;
}

シグモイド関数の微分の計算式

以下のシグモイド関数を微分します。

\[
f(x) =
\frac{1}{1+e^{-x}}
\]

①このまま微分だと複雑なので、分数を以下のように変形します。

\[
f(x)=(1+e^{-x})^{-１}
\]

②合成関数の微分の公式を使うため、以下のように置き換えます。

\[
u=1+e^{-x}
\]

\[
f(x)=u^{-１}
\]

すると、以下のように表現できます。

\[
f′(x)=f′(u)\frac{du}{dx}
\]

③次にそれぞれについて微分を行います。

\[
f′(u)=−u^{-2}=−(1+e^{−x})^{-2}
\]

eの-x乗は、微分してもeの-x乗のため、以下のようになります。

\[
\frac{du}{dx}=e^{−x}
\]

④微分した２つの式を代入すると、以下の式に変換できます。

\[
f′(x)=f′(u)\frac{du}{dx}
\]
\[
=−(1+e^{−x})^{−2}・e^{−x}
\]
\[
=-\frac{e^{−x}}{(1+e^{−x})^{2}}
\]

⑤以下のように変形します。

\[
f′(x)=\frac{e^{−x}}{(1+e^{−x})}・\frac{1}{(1+e^{−x})}
\]

⑥⑤右辺の左側を変形します。

\[
\frac{e^{−x}}{(1+e^{−x})}=\frac{1}{(1+e^{−x})}(e^{−x}+1-1)
\]
\[
=\frac{1}{(1+e^{−x})}(1+e^{−x}-1)
\]
\[
=\frac{(1+e^{−x})}{(1+e^{−x})}-\frac{1}{(1+e^{−x})}
\]
\[
=1-\frac{1}{(1+e^{−x})}
\]

⑦⑤の式に当てはめます。

\[
f′(x)=(1-\frac{1}{(1+e^{−x})})・\frac{1}{(1+e^{−x})}
\]

ここで元々のf(x)が以下であることを思い出し代入すると以下のことが証明できます。

\[
f(x)=\frac{1}{(1+e^{−x})}
\]

\[
f′(x)=(1−f(x))f(x)
\]

Pythonのソースコード

import numpy as np
from pylab import *

def sigmoid(x):
	return 1.0 / (1.0 + np.exp(-x))

def sigmoidPlot():
	x = np.arange(-5.0, 5.0, 0.1)
	y = sigmoid(x)

	plot(x,y)
	show()

if __name__ == '__main__':
	sigmoidPlot()

次回

工事中。