帰納バイアス

学習アルゴリズムの帰納バイアス（きのうバイアス、inductive bias）は、学習バイアス（learning bias）とも呼ばれ、 学習者 learner がまだ遭遇していない入力に対する出力を予測するために用いる前提条件の集合である。

機械学習では、特定の出力を予測を学習 learn 可能なアルゴリズムの構築を目指す。このため、学習アルゴリズムには、入力値と出力値の関係性を示す学習例が提示される。そして学習者は学習時に提示されなかった例に対しても、おおむね正しい出力を与えることが期待される。任意の出力がありうるので、追加の仮定がない限りこの問題は解決不可能である。このような目的関数の性質に関する必要な仮定は、帰納バイアス inductive bias という言葉に包含される。

オッカムの剃刀が帰納バイアスの古典的な例であり、目的関数に関する最も単純かつ一貫性のある仮説が実際にはベストであると想定している。ここでいう一貫性とは、学習者の仮説がアルゴリズムに与えられたすべての例において正しい出力をもたらすことを意味する。

帰納バイアスをより正式に定義するアプローチとして、数理論理学に基づくものがある。ここでは帰納バイアスは論理式であり、トレーニングデータとともに、学習者が生成した仮説を論理的に内包する。しかしながら、この厳密な形式主義は、帰納バイアスが大まかにしか記述できない場合（例：ニューラルネットワーク）など、多くの実用的なケースで破綻している。

種類 
機械学習アルゴリズムによく見られる帰納バイアスを列挙する。

 条件付き独立性の最大化：ベイズ推定の枠組みで考えられる場合、条件付き独立性を最大化しようとする。これは、単純ベイズ分類器で使用される帰納バイアスである。
 交差検証誤差の最小化：交差検証誤差が最小の仮説を選択する。ノーフリーランチ定理から、交差検証にもバイアスがあることが分かっている。 
 マージンの最大化：2つのクラスの間に境界を引くとき、境界の幅を最大にしようとする。このバイアスはサポートベクターマシンで用いられている。異なるクラスは広い境界によって分離される傾向があるとの仮定である。
 最小記述長：仮説を立てる際には、仮説の記述の長さを最小限にするよう努める。
 最少特徴量：ある特徴量が有用であるという十分な根拠がない限り、その特徴量は削除されるべきである。これが特徴選択アルゴリズムの背景にある仮定である。
 最近傍：クラスが未知の事例に対し、特徴量空間内の近傍にある大多数の事例と同じクラスに属すると推測する。これはK近傍法で用いられるバイアスである。近いケースは同じクラスに属する傾向があるとの仮定である。

バイアスのシフト 
多くの学習アルゴリズムのバイアスを固定的に持っている。取得するデータが増えるに従ってバイアスを動かすよう設計されたアルゴリズムもあるが、バイアスを動かす過程にもバイアスが存在する。

関連項目 
 認知バイアス
 ノーフリーランチ定理

脚注 

機械学習
バイアス