部分的最小二乗回帰

部分的最小二乗回帰（ぶぶんてきさいしょうじじょうかいき、、略称: PLS回帰）は、といくらかの関係を持つ統計的手法の一つである。偏最小二乗回帰または部分最小二乗回帰とも呼ばれる。PLS回帰は、応答変数と説明変数との間の最大分散の超平面を探す代わりに、とを新たな空間に射影することによって線形回帰モデルを探る。"X"および"Y"のデータが共に新たな空間に射影されるため、PLSに分類される手法群は双線形因子モデルとも呼ばれる。部分的最小二乗判別分析（PLS-DA）は、Yが分類である時の派生法である。
PLSは2つの行列（"X"および"Y"）間の基本的関係を探すために用いられる。すなわち、これら2つの空間における共分散構造をモデル化するための潜在変数アプローチである。PLSモデルは"Y"空間における最大多次元分散方向を説明する"X"空間における多次元方向を探そうと試みる。PLS回帰は予測因子の行列が観測因子よりも変数の数が多い時、そして"X"の値の間に多重共線性が存在する時に特に適している。対照的に、標準的な回帰手法はこれらの場合（）失敗する。
部分的最小二乗法は、スウェーデンの統計学者によって発表された。ウォルドはその後息子のと共にこの手法を発展させた。PLSの（スヴァンテ・ウォルドによればより正確な）別称は、「projection to latent structures」（潜在構造への射影）であるが、多くの分野において「部分的最小二乗法」という用語が未だに優勢である。PLS回帰の最初の応用は社会科学分野でのものだったが、今日、PLS回帰は計量化学（ケモメトリクス）と関連領域において最も広く使われている。また、バイオインフォマティクス、感覚計量学、神経科学、人類学でも使われている。
基礎的モデル.
多変量PLSの一般的基礎的モデルは以下の式で表わされる。
上式において、formula_3は予測変数のformula_4、formula_5は応答変数のformula_6行列; formula_7ならびにformula_8はそれぞれformula_3の射影（Xスコアまたは成分または因子行列）ならびにformula_5の射影（Yスコア）; formula_11ならびにformula_12はそれぞれformula_13ならびにformula_14直交「負荷量（ローディング）」行列; 行列formula_15およびformula_16は誤差項であり、互いに独立で同一の分布に従う確率正規変数であると仮定される。formula_3およびformula_5の分解は、formula_7とformula_8との間の共分散を最大化するように行われる。
アルゴリズム.
因子ならびに負荷量行列であるformula_21ならびにformula_12を推定するための多くのPLSの変法が存在する。それらの多くは、formula_23としてformula_3とformula_5との間の線形回帰の推定量を構築する。一部のPLSアルゴリズムは、formula_5が列ベクトルである場合に対してのみ適切であるが、その他は行列formula_5の一般的な場合を扱う。アルゴリズムはまた、因子行列formula_7を直交行列もしくは正規直交行列として推定するか、あるいは条件を付けないかという点で異なる。最終的な予測値はこれら全ての変法で同じであるが、成分が異なっている。
PLS1.
PLS1は、Yがベクトルの場合について適切で広く用いられているアルゴリズムである。PLS1はを正規直交行列として推定する。以下に疑似コードを示す（大文字は行列、小文字は上に添字がある場合ベクトル、下に添字がある場合スカラーである）。
このアルゴリズム形式は、入力する およびのセンタリングを必要としない。これはセンタリングがアルゴリズムによって暗黙的に実行されるためである。このアルゴリズムは行列の減次（formula_29の減算）を行うが、ベクトルの減次は必要でないため行われない。ユーザ指定の変数は回帰における潜在因子の数の上限である。この数が行列の階数に等しければ、アルゴリズムはおよびformula_30に対する最小二乗回帰推定法に等しい。
拡張.
2002年、潜在構造に対する直交射影（orthogonal projections to latent structures、OPLS）と呼ばれる新手法が発表された。OPLSでは、連続的変数データが予測情報と無相関の情報に分離される。これによって診断が改善され、解釈のための視覚化がより容易となる。しかしながら、これらの変更はPLSモデルの解釈可能性を改善するだけであり、予測性は改善しない。L-PLS法は、PLS回帰を3つの連結したデータブロックに拡張する 。同様に、OPLS-DA（Discriminant Analysis; 判別分析）法は、分類やバイオマーカーの研究のように離散変数を扱う時に適用できる。
2015年、部分的最小二乗法はthree-pass regression filter (3PRF) と呼ばれる手順と関連付けられた。もし観察と変数の数が大きいならば、3PRF（とゆえにPLS）は線形潜在因子モデルによって暗示される「最良の」予測について漸近的に正規である。株式市場モデルでは、PLSは運用益とキャッシュフローの成長の正確なサンプル外予測を与えることが示されている。
ソフトウェア実装.
ほとんどの主要な統計ソフトウェアパッケージがPLS回帰を用意している。