(57)【要約】【課題】より信頼性の高い線形回帰モデルを推定する。【解決手段】線形回帰モデリング部３１が、説明変数ｘ及びその説明変数に対する回帰係数βの線形和で観測値ｙを表す線形回帰モデルをモデリングし、回帰係数推定部３２が、線形回帰モデルと観測値との残差に、説明変数ｘのノルムが小さいほど大きくなる罰則項を付けたコスト関数の最小化により、罰則項の大きさを指定するパラメータ（λ１，λ２）毎に回帰係数βを推定し、モデル同定部３３が、各回帰係数を用いた場合の説明率が最も大きくなる回帰係数を選択することにより、線形回帰モデルを同定する。【選択図】図１
2014041566.tif 000002
【特許請求の範囲】
【請求項１】
説明変数及び該説明変数に対する回帰係数の線形和で観測値を表す線形回帰モデルにおいて、前記線形回帰モデルと前記観測値との残差に、前記説明変数のノルムが小さいほど大きくなる罰則項を付けたコスト関数の最小化により、前記回帰係数を推定する回帰係数推定手段と、
前記罰則項の大きさを指定するパラメータ毎に前記回帰係数推定手段により推定された回帰係数から、各回帰係数を用いた場合の説明率が最も大きくなる回帰係数を選択することにより、前記線形回帰モデルを同定するモデル同定手段と、
を含む線形回帰モデル推定装置。
【請求項２】
回帰係数推定手段と、モデル同定手段とを含む線形回帰モデル推定装置における線形回帰モデル推定方法であって、
前記回帰係数推定手段が、説明変数及び該説明変数に対する回帰係数の線形和で観測値を表す線形回帰モデルにおいて、前記線形回帰モデルと前記観測値との残差に、前記説明変数のノルムが小さいほど大きくなる罰則項を付けたコスト関数の最小化により、前記回帰係数を推定し、
前記モデル同定手段が、前記罰則項の大きさを指定するパラメータ毎に前記回帰係数推定手段により推定された回帰係数から、各回帰係数を用いた場合の説明率が最も大きくなる回帰係数を選択することにより、前記線形回帰モデルを同定する
線形回帰モデル推定方法。
【請求項３】
コンピュータを、請求項１記載の線形回帰モデル推定装置を構成する各手段として機能させるための線形回帰モデル推定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、線形回帰モデル推定装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
線形回帰モデルは、現実に観測されるデータの変動を説明変数の線形和で捉える。最小二乗法に代表されるモデリングアルゴリズムは実装が簡単であり、推定される回帰係数は観測データと説明変数との間の偏相関を表し、解釈も容易であることから多くの解析者に使われている。しかし、現実の解析では説明変数の数が多くなり、最小二乗法では上手くモデリングできなくなる。そのため回帰係数の大きさに罰則項を付け、データにソフトフィッティングした回帰モデルを推定する罰則項付きのモデリング手法が提案されている。
【０００３】
例えば、線形回帰モデルの推定において、観測データとの二乗誤差に加えて回帰係数のＬ１、Ｌ２ノルムも考慮したコスト関数を用いて、観測データとの相関が高い説明変数のみを使用してデータにソフトフィッティングさせる変数選択の回帰モデリングが提案されている（例えば、非特許文献１参照）。この手法は、Elastic Net Regressionと呼ばれ、回帰係数の推定においては、ＬＡＲＳ（Least Angle Regression)と呼ばれる有効なアルゴリズムがよく用いられている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Hui Zou and Trevor Hastie, "Regularization and Variable Selection via the Elastic Net", J.R. Statist. Soc. B, pp0301-320, 2005.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、より信頼性の高い線形回帰モデルを推定することができる線形回帰モデル推定装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明の線形回帰モデル推定装置は、説明変数及び該説明変数に対する回帰係数の線形和で観測値を表す線形回帰モデルにおいて、前記線形回帰モデルと前記観測値との残差に、前記説明変数のノルムが小さいほど大きくなる罰則項を付けたコスト関数の最小化により、前記回帰係数を推定する回帰係数推定手段と、前記罰則項の大きさを指定するパラメータ毎に前記回帰係数推定手段により推定された回帰係数から、各回帰係数を用いた場合の説明率が最も大きくなる回帰係数を選択することにより、前記線形回帰モデルを同定するモデル同定手段と、を含んで構成することができる。
【０００７】
本発明の線形回帰モデル推定装置によれば、まず、説明変数及び説明変数に対する回帰係数の線形和で観測値を表す線形回帰モデルを定義する。そして、回帰係数推定手段が、線形回帰モデルと観測値との残差に、説明変数のノルムが小さいほど大きくなる罰則項を付けたコスト関数の最小化により、回帰係数を推定し、モデル同定手段が、罰則項の大きさを指定するパラメータ毎に回帰係数推定手段により推定された回帰係数から、各回帰係数を用いた場合の説明率が最も大きくなる回帰係数を選択することにより、線形回帰モデルを同定する。
【０００８】
このように、データとしての信頼性に直結する説明変数のノルムが小さいほど大きくなる罰則項を付けたコスト関数の最小化により回帰係数を推定するため、信頼性の高い線形回帰モデルを推定することができる。
【０００９】
また、本発明の線形回帰モデル推定方法は、回帰係数推定手段と、モデル同定手段とを含む線形回帰モデル推定装置における線形回帰モデル推定方法であって、前記回帰係数推定手段が、説明変数及び該説明変数に対する回帰係数の線形和で観測値を表す線形回帰モデルにおいて、前記線形回帰モデルと前記観測値との残差に、前記説明変数のノルムが小さいほど大きくなる罰則項を付けたコスト関数の最小化により、前記回帰係数を推定し、前記モデル同定手段が、前記罰則項の大きさを指定するパラメータ毎に前記回帰係数推定手段により推定された回帰係数から、各回帰係数を用いた場合の説明率が最も大きくなる回帰係数を選択することにより、前記線形回帰モデルを同定する方法である。
【００１０】
また、本発明の線形回帰モデル推定プログラムは、コンピュータを、上記の線形回帰モデル推定装置を構成する各手段として機能させるためのプログラムである。
【発明の効果】
【００１１】
以上説明したように、本発明の線形回帰モデル推定装置、方法、及びプログラムによれば、データとしての信頼性に直結する説明変数のノルムが小さいほど大きくなる罰則項を付けたコスト関数の最小化により回帰係数を推定するため、信頼性の高い線形回帰モデルを推定することができる、という効果が得られる。
【図面の簡単な説明】
【００１２】
【図１】本実施の形態に係る線形回帰モデル推定装置の構成を示す概略図である。
【図２】観測値の時系列データのデータ構造の一例を示す図である。
【図３】本実施の形態における線形回帰モデル推定処理ルーチンの内容を示すフローチャートである。
【図４】実験に用いた観測データを示すグラフである。
【図５】実験に用いた説明変数（ｘ１）を示すグラフである。
【図６】実験に用いた説明変数（ｘ４）を示すグラフである。
【図７】実験に用いた説明変数（ｘ７）を示すグラフである。
【図８】回帰係数の推定結果を示す表である。
【発明を実施するための形態】
【００１３】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００１４】
＜本実施の形態の概要＞
本実施の形態に係る線形回帰モデル推定装置では、まず、観測値の変動を説明する線形回帰モデルを想定し用意する。ここで、観測値は平均０に、説明変数は平均０、分散１に標準化されているものとする。次に、Elastic Net Regressionにおいて、説明変数の大きさ（スケール）に罰則を付けたコスト関数を用意する。本実施の形態では、この手法を、Scale Penalized Elastic Net Regression（ＳＰＥＮ）と呼ぶ。そして、観測値を取り込むことで、このコスト関数を最小化させる回帰係数の推定値を求める。回帰係数の推定においてはElastic Net Regressionの推定と同様に、ＬＡＲＳの変形を用いることができる。そして、最後に回帰モデルの説明率（決定係数）によりモデルを同定し、線形回帰モデルのパラメータの推定値を出力する。
【００１５】
＜システム構成＞
本実施の形態に係る線形回帰モデル推定装置１０は、ＣＰＵと、ＲＡＭと、後述する線形回帰モデル推定処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備えたコンピュータで構成されている。このコンピュータは、機能的には、図１に示すように、入力部２０と、演算部３０と、出力部４０とを含んだ構成で表すことができる。
【００１６】
入力部２０は、入力された観測値の時系列データを受け付ける。観測値は、スカラー値であり、すなわち、時系列データは、１次元時系列である。観測値は、例えば、図２に示すように、時刻ｔｉと観測値ｙｉと説明変数ｘｉ，ｊとの組（ｉ＝１，・・・，ｎ、ｊ＝１，・・・，ｐ）からなる時系列データである。
【００１７】
演算部３０は、線形回帰モデリング部３１と、回帰係数推定部３２と、モデル同定部３３とを含んだ構成で表すことができる。
【００１８】
線形回帰モデリング部３１は、オペレータにより入力部２０から入力された設定値を受け付けて、下記（１）式及び（２）式に示す線形回帰モデルを定義する。
【００１９】
【数１】
2014041566.tif 000003
【００２０】
ただし、ｙはｎ×１の観測値のベクトル、Ｘはｎ×ｐの説明変数の行列、βはｐ×１の回帰係数のベクトルである。ｘi,i=1,・・・pはｐ個の説明変数で、それぞれｎ×１のベクトルである。この線形回帰式を標準化すると、下記（３）式及び（４）式となる。
【００２１】
【数２】
2014041566.tif 000004
【００２２】
ここで、||Ｘi,i=1,・・・p||は各説明変数のＬ２ノルムであり、￣Ａ（数式中では、記号Ａ上に“￣”）はＡの平均である。（４）式は、観測値の平均が０で、各説明変数の平均も０、Ｌ２ノルムも１になっていることから、この形式を標準化された線形回帰モデルと呼ぶ。本実施の形態では、（４）式の回帰係数β’を観測値の時系列データから推定することを目的とする。
【００２３】
回帰係数推定部３２は、下記（５）式に示すScale Penalized Elastic Net Regression（ＳＰＥＮ）のコスト関数を最小化するパラメータβ’を、下記（６）式に示す最適化により推定する。
【００２４】
【数３】
2014041566.tif 000005
【００２５】
（５）式右辺の第２項はＬ１罰則項、第３項はＬ２罰則項であり、λ１及びλ２はＬ１罰則項及びＬ２罰則項の大きさを指定するパラメータである。Ｗは、下記（７）式に示すような、説明変数の大きさ（スケール）の関数を対角成分に持つ対角行列である。
【００２６】
【数４】
2014041566.tif 000006
【００２７】
ただし、ｗ（||ｘｐ||）はｘｐのＬ２ノルムの関数であり、ノルムが大きいと１に近付き（つまり罰則無し）、ノルムが小さいと大きくなる（罰則が大きい）関数として定義する。例えば、ｗ（||ｘｐ||）を下記（８）式に示す形で想定することができ、γ＝５０、ｍ＝３とすることができる。
【００２８】
【数５】
2014041566.tif 000007
【００２９】
上記（５）式のコスト関数は、下記（９）式の形に変形される。
【００３０】
【数６】
2014041566.tif 000008
【００３１】
ここで、β”＝Ｇ-1β’であり、Ｇは下記（１０）式となる。
【００３２】
【数７】
2014041566.tif 000009
【００３３】
また、ｙ”及びｘ”はｙ’及びｘ’の拡大であり、それぞれ下記（１１）式となる。
【００３４】
【数８】
2014041566.tif 000010
【００３５】
ここで注意が必要なのは、β’＝Ｇβ”であり、これを（５）式のＬ１罰則項に代入すると|ｆ（Ｗ）Ｇβ”|となり、ｆ（Ｗ）Ｇ＝Ｉとして（９）式のＬ１罰則項を|β”|にした点である。つまり、（５）式のｆ（Ｗ）は、下記（１２）式となる。
【００３６】
【数９】
2014041566.tif 000011
【００３７】
（９）式のコスト関数の形は、Ｌ１罰則項のみのＬａｓｓｏ（Least Absolute Shrinkage and Selection Operator）の形と同型であり、ＬＡＲＳの変形を使用したβ”の推定が可能となる。観測値の時系列データを取り込んでβ”を推定し、β”→β’→βと変換していくことで、（１）式の線形回帰モデルの回帰係数を推定する。また、（９）式のコスト関数の最小化として下記（１３）式を考えたとき、推定される回帰係数を全て０以上にすることができる。このコスト関数の最小化もＬＡＲＳの変形により可能であり、回帰係数が０より大きくなる説明変数のみを用いてＬＡＲＳの反復計算を実行することに相当する。
【００３８】
【数１０】
2014041566.tif 000012
【００３９】
モデル同定部３３は、（５）式のλ１及びλ２を振り、回帰モデルの説明率（決定係数）が最も大きくなったモデルを選択する。説明率は、例えば下記（１４）で定義される自由度調整済み説明率（adjusted Ｒ２）を用いることができる。
【００４０】
【数１１】
2014041566.tif 000013
【００４１】
（１４）式の２項目の分子は線形回帰モデルの残差の二乗和で、分母は観測値の平均からのずれの二乗和である。ｎは観測値の個数、ｐはモデルの説明変数の個数である。自由度調整済みの説明率は、回帰モデルの観測値へのフィッティングの良し悪しを自由度で調整した尺度である。
【００４２】
＜線形回帰モデル推定装置の作用＞
次に、本実施の形態に係る線形回帰モデル推定装置１０の作用について説明する。まず、オペレータにより、時刻ｔ１〜ｔＮの観測値からなる時系列データが、線形回帰モデル推定装置１０に入力されると、線形回帰モデル推定装置１０によって、入力された時系列データが、メモリ（図示省略）へ格納される。そして、線形回帰モデル推定装置１０によって、図３に示す線形回帰モデル推定処理ルーチンが実行される。
【００４３】
まず、ステップ１００で、メモリに格納された観測値の時系列データを取得する。そして、ステップ１０２で、線形回帰モデリング部３１が、時系列データに含まれる説明変数を用いて、上記（１）式及び（２）式に示す線形回帰モデルを定義し、これを標準化して、（４）式に示す標準化された線形回帰モデルを定義する。
【００４４】
次に、ステップ１０４で、回帰係数推定部３２が、説明変数の大きさ（スケール）を考慮した罰則項を付けたＳＰＥＮのコスト関数（５）式内のＬ１罰則項及びＬ２罰則項の大きさを指定するパラメータ（λ１，λ２）を設定し、次のステップ１０６で、（５）式のコスト関数を（６）式により最小化することにより、パラメータβ’を推定する。
【００４５】
次に、ステップ１０８で、モデル同定部３３が、上記ステップ１０６で推定されたパラメータβ’を用いた線形回帰モデルに基づいて、例えば（１４）式に示す説明率（決定係数）を算出して、パラメータβ’と共に一旦所定の記憶領域に記憶しておく。
【００４６】
次に、ステップ１１０で、回帰係数推定部３２が、パラメータ（λ１，λ２）の全ての組み合わせについてパラメータβ’を推定したか否かを判定する。未処理の（λ１，λ２）が存在する場合には、ステップ１０４へ戻って、次の（λ１，λ２）を設定し、ステップ１０６及び１０８の処理を繰り返す。
【００４７】
全ての（λ１，λ２）について処理が終了した場合には、ステップ１１２へ移行し、上記ステップ１０８で算出した説明率が最も大きくなったときのパラメータβ’を選択することにより、（４）式の標準化された線形回帰モデルを同定する。また、選択されたパラメータβ’をβに変換する。
【００４８】
次に、ステップ１１４で、出力部４０が、上記ステップ１１２で得られたパラメータβを、（１）式の線形回帰モデルのパラメータ推定値として出力し、線形回帰モデル推定処理ルーチンを終了する。
【００４９】
＜実験結果＞
ここで、下記（１５）式で生成された人工観測データを使用した、本実施の形態に係る手法であるＳＰＥＮの実験結果について説明する。
【００５０】
【数１２】
2014041566.tif 000014
【００５１】
この観測データを生成した４個の説明変数は独立である。さらに下記（１６）式〜（２１）式に示す６個の説明変数の候補を用意する。
【００５２】
【数１３】
2014041566.tif 000015
【００５３】
これら全部で１０個の説明変数の大きさ（スケール）はそれぞれ下記（２２）式及び（２３）式になる。
【００５４】
【数１４】
2014041566.tif 000016
【００５５】
この説明変数の集合は、説明変数同士が強く相関しており、多重共線性があるデータになっている。またｘ４、ｘ７、ｘ８はその大きさ（スケール）が他の説明変数と比べて小さくなっており、データとしての信頼性が低い説明変数である。観測値ｙ及び説明変数ｘ１、ｘ４、ｘ７のプロット図を図４〜７に示す。
【００５６】
このデータを本実施の形態の手法であるＳＰＥＮでモデリングした結果を図８に示す。（５）式のλ１及びλ２の値は上述のモデル同定部３３の処理により決定し、λ１＝0.1651、λ２＝0.0131であった。比較手法はRidge及びElastic Net（ＥＮ）である。Ridgeは回帰係数のＬ２罰則項のみの回帰で、観測データにソフトフィッティングさせる手法である。ＳＰＥＮのλ１を０にとり、Ｗ＝Ｉとしたときに一致する。ＥＮはＳＰＥＮのＷ＝Ｉとしたときの手法であり、説明変数のスケールによる罰則は考慮していない。Ridgeは多重共線性が存在する場合も安定的に回帰係数を推定できるが、誤推定が多いことがわかる。ＥＮは回帰係数をよく推定できているが、説明変数ｘ７及びｘ８に対する回帰係数を誤推定している。
【００５７】
一方、本実施の形態の手法であるＳＰＥＮでは、スケールが小さい説明変数はデータとしての信頼性が低いとみなすため、説明変数ｘ４、ｘ７、ｘ８に対する回帰係数を０に推定している。いずれの手法でも説明率はほぼ同じであるが、ＳＰＥＮにより推定した線形回帰モデルが真なるモデルに最も近く、かつ本実施の形態の効能である説明変数のスケールに対する罰則も良好に働いていることがわかる。
【００５８】
以上説明したように、本実施の形態に係る線形回帰モデル推定装置によれば、データとしての信頼性に直結する説明変数の大きさ（スケール）を考慮した罰則項を付けたＳＰＥＮのコスト関数を最小化することにより回帰係数を推定するため、信頼性の高い線形回帰モデルを推定することができる。
【００５９】
線形回帰モデルは数学的にシンプルで解釈を与えやすく、かつ強力な推定アルゴリズムに支えられて多くの解析者に使われている。しかし現実のデータは変動が複雑で、回帰に用いる説明変数の個数も多くなり適切なモデリングができなくなる。そのため観測データにソフトフィッティングさせることを目的とした、回帰係数の罰則項付きモデリング手法が提案されてきた。本実施の形態ではさらに説明変数の大きさ（スケール）に罰則を付ける線形回帰モデリング手法を提案した。これにより説明変数として十分な大きさ（スケール）を持った説明変数、つまりデータとしての信頼性が高い説明変数のみを使用したモデリングが可能になり、複雑なデータセットからの頑健な回帰式の推定を行うことができるようになる。
【００６０】
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００６１】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
【符号の説明】
【００６２】
１０   線形回帰モデル推定装置
２０   入力部
３０   演算部
３１   線形回帰モデリング部
３２   回帰係数推定部
３３   モデル同定部
４０   出力部
【図１】
2014041566.tif 000017
【図２】
2014041566.tif 000018
【図３】
2014041566.tif 000019
【図４】
2014041566.tif 000020
【図５】
2014041566.tif 000021
【図６】
2014041566.tif 000022
【図７】
2014041566.tif 000023
【図８】
2014041566.tif 000024