非線形回帰
非線形関数のその他の例には、指数関数、対数関数(英語版)、三角関数、冪関数、ガウス関数、ローレンツ曲線がある。指数関数または対数関数といった一部の関数は、それらが線形となるように変換することができる。そのように変換された時、標準的な線形回帰を行うことができるが、注意深く適用しなければならない。より詳細については線形化§変換を見よ。
一般に非線形回帰には線形回帰に存在するような、最良の当て嵌めパラメータに関する閉形式の式は存在しない。大抵は、最良のパラメータを決定するために数値的最適化アルゴリズムが適用される。ここでも線形回帰と対照的に、最適化される関数には多くの極小点(ローカルミニマム)が存在する可能性があり、最小点(グローバルミニマム)でさえも偏った(英語版)推定値を与える可能性がある。実際上は、二乗和の最小値を探るために、最適化アルゴリズムと併せて、パラメータの推定値が使われる。
非線形データモデリングに関する詳細については、最小二乗法および非線形最小二乗法を見よ。
非線形回帰において、
y ∼ f ( x , β ) {\displaystyle \mathbf {y} \sim f(\mathbf {x} ,{\boldsymbol {\beta }})}
という形式の統計モデルは独立変数のベクトルxとその関連した 観測された従属変数yを結び付ける。関数fはパラメータβのベクトルの要素において非線形であるが、その他の点では任意である。例えば、酵素の反応速度論に対するミカエリス・メンテンモデルは2つのパラメータと1つの独立変数を持ち、これらはfによって結び付けられる:。
f ( x , β ) = β 1 x β 2 + x {\displaystyle f(x,{\boldsymbol {\beta }})={\frac {\beta _{1}x}{\beta _{2}+x}}}
この関数は、2つのβの線形結合として表わすことができないため、非線形である。
系統誤差が独立変数中に存在するかもしれないが、その取扱いは回帰分析の対象範囲外である、もし独立変数に誤差があるとすると、これは変数誤差モデル(英語版)であり、これも対象範囲外である。