帰納バイアス
学習アルゴリズムの帰納バイアス(きのうバイアス、inductive bias)は、学習バイアス(learning bias)とも呼ばれ、 学習者 learner がまだ遭遇していない入力に対する出力を予測するために用いる前提条件の集合である。
機械学習では、特定の出力を予測を学習 learn 可能なアルゴリズムの構築を目指す。このため、学習アルゴリズムには、入力値と出力値の関係性を示す学習例が提示される。そして学習者は学習時に提示されなかった例に対しても、おおむね正しい出力を与えることが期待される。任意の出力がありうるので、追加の仮定がない限りこの問題は解決不可能である。このような目的関数の性質に関する必要な仮定は、帰納バイアス inductive bias という言葉に包含される。
オッカムの剃刀が帰納バイアスの古典的な例であり、目的関数に関する最も単純かつ一貫性のある仮説が実際にはベストであると想定している。ここでいう一貫性とは、学習者の仮説がアルゴリズムに与えられたすべての例において正しい出力をもたらすことを意味する。
帰納バイアスをより正式に定義するアプローチとして、数理論理学に基づくものがある。ここでは帰納バイアスは論理式であり、トレーニングデータとともに、学習者が生成した仮説を論理的に内包する。しかしながら、この厳密な形式主義は、帰納バイアスが大まかにしか記述できない場合(例:ニューラルネットワーク)など、多くの実用的なケースで破綻している。
多くの学習アルゴリズムのバイアスを固定的に持っている。取得するデータが増えるに従ってバイアスを動かすよう設計されたアルゴリズムもあるが、バイアスを動かす過程にもバイアスが存在する。