おかねはだいじ

家計簿ときどき日常

すうがくめも2(最適化まわり)

数学についての雑なメモです。

 

今回は以下の3つです。

1. 誤差関数の最大or最小化と勾配法の上昇or下降の対応関係

2. ニュートン法の最適化への適用

3. 重み減衰とバイアスの独立関係

 


1. nlpチュートリアルニューラルネットについて
なぜか誤差関数の最大化を目的としている(出力層の誤差を[正解ラベル - 出力])ため、重みに対しては勾配上昇法を用いている(w += になってる)
本来は、誤差関数の最小化が目的なので勾配降下法を用いる!
誤差関数の最小化を目的にすれば、出力層の誤差は教科書どおりで[出力 - 正解ラベル]になり、重み更新は勾配降下法となるため、重みに対して減算(w -=)を行う!!
(正確にはニューラルネットは各サンプルに対して重みの更新を行うので確率的勾配降下法)

 

2.ニュートン法について

ニュートン法はもともとf(x) = 0 の解を求めるために使われるが、f'(x) = 0に対して適用することで傾きが0となるような解xを解析的に求めることができる!

 

3. 重み減衰の使い方に注意

重み減衰は通常、重み行列にのみ行いバイアスには行わない
バイアスは過適合しにくいのと、ときには大きな値になるのも必要だから