以前、ニューラルネットワークって記事の中で、過剰学習について書こうと思っていたのに書ききれなかったことがあったので、今、書こう。
ニューラルネットワークって、教師あり学習ってのと、教師なし学習ってのがあって、教師あり学習の方は、いわゆる「自己組織化」だ。
で、教師あり学習は、ある入力を与えた時に出すシステムの出力に対して、正解とか、間違いとか教えてやる教師がいるわけ。
間違うと、その間違い度合いに応じて、ネットワークの結合の仕方を変化させてやって、だんだんと間違わなくなってくる。
ある程度、学習が進むとシステムの正解率がよくなってくるんだけれども、きれいな入力ばかりを与えて、それに対する学習が過剰になされると、ほんの少しのノイズに対しても逆に弱くなってしまったりする。
要するに、一般的な特徴だけ覚えておけば良いのに、ある特定の特徴を覚えこんで、それだけが正しいというネットワーク（記憶）をつくってしまうというわけ。
我々も、何かを学習したり、調べたりするときには、表面的な特徴ではなく、その本質は何かということを常に意識しなければなりませんね。