逆問題
すなわち、行列 LK の成分 {LK}ij がクロネッカーのデルタ δij になれば理想的である。しかし、実際にはノイズがあるからこのようにはならない。そこで、クロネッカーのデルタにできるだけ形の近いものになるようにする。バッカスとギルバートは LK の行ベクトルのクロネッカーのデルタからのずれ、
∑ j = 1 N ( i − j ) 2 ( { L K } i j − δ i j ) 2 {\displaystyle \sum _{j=1}^{N}(i-j)^{2}(\{LK\}_{ij}-\delta _{ij})^{2}}
を最小にすれば良いと考えた。これが最小化関数 J の第一項となる。
正規化のための第二項は、多数の観測で得られたパラメタ推定値のばらつきが少ないという条件を用いる。観測値のばらつき(ノイズ)は n だから、
L E ( n n ⊺ ) L ⊺ {\displaystyle {\boldsymbol {L}}\mathrm {E} ({\boldsymbol {n}}{\boldsymbol {n}}^{\intercal }){\boldsymbol {L}}^{\intercal }}
が最小化関数 J の第二項となる。
逆関数の問題であると解釈すると、紀元前から扱われている問題である。しかし歴史的には物理において順問題と逆問題は今の使われ方とは異なっていた。例えばニュートンの時代では物体の動きからその作用する力を導くことが順問題だとされ、作用する力から物体の軌道を導くことが逆問題だとされていた。順問題と逆問題の定義は実際曖昧で、時代や学問分野によって異なることが多い。一般的には1820年代にニールス・アーベルがヤコビの逆問題を研究したのが、逆問題の最初の研究とされる。アーベルは方程式の解の公式の研究でも有名だが、方程式の解の公式自体も逆問題である。1929年にヴィクトル・アンバルツミャンも逆問題に関する論文を発表している。第二次世界大戦中に、弾道計算やレーダー探査など軍事上の目的により急速に発展した。現在では、非破壊検査や医療を目的とした利用も盛んに研究されている。
正則化パラメタ α を用いて、
J = ( K x − y ) ⊺ ( K x − y ) + α x ⊺ x {\displaystyle J=({\boldsymbol {K}}{\boldsymbol {x}}-{\boldsymbol {y}})^{\intercal }({\boldsymbol {K}}{\boldsymbol {x}}-{\boldsymbol {y}})+\alpha {\boldsymbol {x}}^{\intercal }{\boldsymbol {x}}}
と取る。つまり、無数の解のうち x の大きさを小さくにするものを推定値として採用する。α が小さいとき、これは Kx=y を特異値分解で解いた解と一致する。パラメタ α の取り方は問題設定によって異なる。一例としては、観測誤差が正規分布に近いと期待される場合、第一項は自由度 N のカイ二乗分布となることが期待され、その平均値は N となる。よって、第一項が N に近くなるように α を調整する。