誤差逆伝播法（英: Backpropagation）の解説
ニューラルネットワークは、各接続がそのコンピュータプログラムに関連する重みを有する、接続されたI/Oユニットのグループである。大規模なデータベースから予測モデルを構築するのに役立ちます。このモデルはヒトの神経系に基づいている。イメージ理解、人間学習、コンピュータスピーチなどを行うのに役立ちます。
バックプロパゲーションとは?
バックプロパゲーションはニューラル・ネット・トレーニングの本質です。これは、前のエポック(すなわち、反復)で得られたエラー率に基づいて、ニューラルネットの重みを微調整する方法です。重みを適切に調整することにより、エラー率を低減し、モデルの一般化を向上させることでモデルの信頼性を高めることができます。
バックプロパゲーションは「エラーの後方伝播。」の短縮形で、人工ニューラルネットワークを訓練する標準的な方法です。この方法は,ネットワーク内のすべての重みを考慮して損失関数の勾配を計算するのに役立つ。
このチュートリアルでは、以下について学習します。
入力Xはあらかじめ接続された経路を通って到着する
入力は実ウェイトWを使用してモデリングされます。ウェイトは通常、ランダムに選択されます。
入力層から隠れ層、出力層までのすべてのニューロンの出力を計算します。
出力の誤差を計算する
エラーB=実際の出力–必要な出力
出力レイヤから非表示レイヤに戻り、エラーが減少するようにウェイトを調整します。
目的の出力が得られるまでプロセスを繰り返します。
バックプロパゲーションが必要な理由?
バックプロパゲーションの最も顕著な利点は次のとおりです。
バックプロパゲーションは高速、シンプル、プログラムが容易
入力数以外に調整するパラメータはありません。
ネットワークに関する予備知識を必要としないため、柔軟な方法です。
これは一般的にうまく機能する標準的な方法です。
学習する関数の特徴について特別な記述をする必要はありません。
フィードフォワードネットワークとは?
フィードフォワードニューラルネットワークは,ノードがサイクルを形成しない人工ニューラルネットワークである。この種のニューラルネットワークは入力層,隠れ層,出力層を持つ。これは最初で最も単純なタイプの人工ニューラルネットワークである。
バックプロパゲーションネットワークの種類
バックプロパゲーション・ネットワークには、次の2種類があります。
静的逆伝搬
静的逆伝播:
これは,静的出力に対する静的入力のマッピングを生成する一種の逆伝搬ネットワークである。光学文字認識のような静的分類問題を解決することは有用である。
固定値に達するまで、再帰的な逆伝播が行われます。その後、エラーが計算され、逆方向に伝播されます。
両方法の主な違いは,マッピングが静的逆伝搬では迅速であるが,反復逆伝搬では非静的であることである。
バックプロパゲーションの歴史
1961年には、J.Kelly、Henry Arthur、E.Brysonの制御理論に基づいて、連続逆伝搬の基本概念が導出されました。
1969年にBrysonとHoは多段動的システム最適化法を与えた。
1974年にワーボスは、この原理を人工ニューラルネットワークに応用する可能性を示した。
1982年にHopfieldはニューラルネットワークのアイデアを思いついた。
1986年には、David E.Rumelhart、Geoffrey E.Hinton、Ronald J.Williamsらの努力により、逆伝播が認められた。
1993年、Wan氏はバックプロパガティ氏の協力を得て、国際的なパターン認識コンテストで初めて優勝した。
バックプロパゲーションキーポイント
トレーニングされたネットワークへの影響が最も少ないエレメントのウェイトリンクにより、ネットワーク構造を単純化します。
入力画層と非表示の単位画層の関係を作成するには、入力値とアクティブ化値のグループを調べる必要があります。
入力変数がネットワーク出力に与える影響を評価するのに役立ちます。この分析から得られた知識はルールで表現されるべきである。
バックプロパゲーションは、画像認識や音声認識など、エラーの発生しやすいプロジェクトに取り組むディープニューラルネットワークに特に有効です。
バックプロパゲーションでは、チェーンルールとパワールールを利用して、任意の数の出力でバックプロパゲーションを機能させることができます。
ベスト・プラクティスのバックプロパゲーション
逆伝搬は「シューズレース」のたとえを使って説明できます。
テンションが少なすぎます=
拘束が不十分で、非常に緩い
過度の張力=
拘束が多すぎます(オーバートレーニング)
時間がかかりすぎる(比較的遅い過程)
破損の可能性が高い
他よりも1つだけ引く=
不快感(バイアス)
バックプロパゲーションを使用する場合の欠点
特定の問題に対する逆伝搬の実際のパフォーマンスは、入力データに依存します。
バックプロパゲーションはノイズの多いデータに非常に敏感
バックプロパゲーションには、ミニバッチではなくマトリックスベースのアプローチを使用する必要があります。
あらすじ
ニューラルネットワークは、各接続がそのコンピュータプログラムに関連する重みを有する、接続されたI/Oユニットのグループである。
Backpropagationは「エラーの後方伝播。」の短縮形で、人工ニューラルネットワークを訓練する標準的な手法だ。
バックプロパゲーションは高速、シンプル、プログラムが容易
フィードフォワードニューラルネットワークは人工ニューラルネットワークである。
バックプロパゲーションネットワークには,1) 静的バックプロパゲーション,2) 再帰バックプロパゲーション,の2種類がある。
1961年には、J.Kelly、Henry Arthur、E.Brysonの制御理論に基づいて、連続逆伝搬の基本概念が導出されました。
バックプロパゲーションによってウェイトリンクが削除され、
