ご案内 > Kerasで深層学習 > 形式ニューロンと活性化関数

形式ニューロンと活性化関数

McCulloch & Pittsによる神経細胞モデル

McCulloch & Pittsが1943年に提案した神経細胞の入出力モデル(形式ニューロン)は以下の通り。

ここで，$x$と$y$はそれぞれ素子(神経細胞)の内部状態と出力, $y_i$と$w_i$は第$i$素子からの入力信号と，入力信号による影響の大きさを決める結合荷重, $f:x\to y$は活性化関数。

McCulloch & Pittsは活性化関数としてステップ関数を用いたが，今日では後述のように他の様々な関数が利用される。その点を除くと，この形式ニューロンは現在の深層学習でも広く使われている。

パーセプトロンはRosenblattにより1958年に提案された，形式ニューロンを用いた脳の情報処理モデル。 Perceptronの論文はこちら。

単純パーセプトロン:
- 入力層と出力層の2層のみのもの(形式ニューロンの配置は出力層のみの1層)
パーセプトロン:
- 入力層と出力層の他，情報連合を行う中間層を持つもの
- Rosenblattは再帰結合を持つ構造についても言及している
多層パーセプトロン (MultiLayer Perceptron, MLP):
- Rosenblattは活性化関数としてステップ関数を用い，分類問題を解く脳モデルとしてパーセプトロンを議論した。現在は，入力層と出力層の間に中間層をもつ，順伝播型のニューラルネットワークを一般に多層パーセプトロンと呼び，活性化関数には様々な関数が用いて，分類だけでなく回帰問題にも利用される。

現在は様々な活性化関数が目的に応じて使われている。

ただし，$\theta$ はしきい値。

特徴

欠点

$x\ne 0$で$f’(x)=0$, $x=0$で微分不可能。勾配降下法は適用しようとしても，$x\ne 0$では勾配が0 ($f’(x)=0$), $x=0$で微分不可能。したがって勾配降下法は適用できない(中間層の学習方法が未発見だったことが第一次ニューラルネットワークブーム終焉の理由の一つ)
多クラス分類問題では，同時に複数の出力値が1になりえる。この時推定クラスを一意に絞る方法がない。

$$ f(x)=ax $$

特徴

欠点

$$ f(x)=\frac{1}{1+e^{-x}} $$

利点

欠点

$$ f(x) = \max(0,x) $$

利点