(57)【要約】【課題】回帰モデル係数だけでなく、統計的検定値の算出も逐次処理で行う。【解決手段】本発明の重回帰分析装置においては、追加分の観測データが与えられた場合、回帰モデル算出部10は、追加分の観測データを逐次処理して回帰モデル係数を更新し、モーメント算出部20は、追加分の観測データを逐次処理してモーメントを更新する。次に、回帰モデル係数取得・検定値算出部30は、更新された回帰モデル係数およびモーメントを基に統計的検定値を算出する。説明変数が与えられた場合、その説明変数および更新された回帰モデル係数を基に予測値を算出する。【選択図】図１
2015225454.tif 000002
【特許請求の範囲】
【請求項１】
追加分の観測データが与えられた場合、該追加分の観測データを逐次処理して回帰モデル係数を更新する回帰モデル算出部と、
追加分の観測データが与えられた場合、該追加分の観測データを逐次処理してモーメントを更新するモーメント算出部と、
前記更新された回帰モデル係数およびモーメントを基に統計的検定値を算出する検定値算出部と、
説明変数が与えられた場合、前記更新された回帰モデル係数および該説明変数を基に予測値を算出する予測値算出部と、を有する重回帰分析装置。
【請求項２】
回帰モデル係数を格納する回帰モデル係数部と、
モーメントを格納するモーメント部と、をさらに有し、
最初に、目的変数yiと、p個の説明変数x1,i,x2,i,...,xk,i,...,xp,iと、からなる観測データの組がN個あるデータセット
【数１】
2015225454.tif 000073
が与えられた場合、
前記回帰モデル算出部は、データセット
【数２】
2015225454.tif 000074
を用いて、オンライン回帰アルゴリズムにより回帰モデル係数[α,β[1],β[2],...,β[p]]を算出し、算出した回帰モデル係数[α,β[1],β[2],...,β[p]]を前記回帰モデル係数部に格納し、
前記モーメント算出部は、データセット
【数３】
2015225454.tif 000075
を用いて、モーメントμ2y,μy,μ2x[k][l],μx[k],Countを、それぞれ次式により算出し（ただし、k,l∈[1,2,...,p]）、算出したモーメントμ2y,μy,μ2x[k][l],μx[k],Countを前記モーメント部に格納し、
【数４】
2015225454.tif 000076
【数５】
2015225454.tif 000077
【数６】
2015225454.tif 000078
【数７】
2015225454.tif 000079
【数８】
2015225454.tif 000080
前記検定値算出部は、説明変数の個数p、前記回帰モデル係数部に格納された回帰モデル係数[α,β[1],β[2],...,β[p]]、および前記モーメント部に格納されたモーメントμ2y,μy,μ2x[k][l],μx[k],Countを用いて、F検定値、決定係数R2、自由度修正済み決定係数
【数９】
2015225454.tif 000081
、およびt検定値t[k]を、それぞれ次式により前記統計的検定値として算出し、
【数１０】
2015225454.tif 000082
【数１１】
2015225454.tif 000083
【数１２】
2015225454.tif 000084
【数１３】
2015225454.tif 000085
【数１４】
2015225454.tif 000086
【数１５】
2015225454.tif 000087
次に、前記観測データの組がM個ある追加分のデータセット
【数１６】
2015225454.tif 000088
が与えられた場合、
前記回帰モデル算出部は、データセット
【数１７】
2015225454.tif 000089
および前記回帰モデル係数部に格納された回帰モデル係数[α,β[1],β[2],...,β[p]]を用いて、オンライン回帰アルゴリズムにより、該回帰モデル係数[α,β[1],β[2],...,β[p]]を更新し、更新した回帰モデル係数[α,β[1],β[2],...,β[p]]を前記回帰モデル係数部に上書きして格納し、
前記モーメント算出部は、データセット
【数１８】
2015225454.tif 000090
および前記モーメント部に格納されたモーメントμ2y,μy,μ2x[k][l],μx[k],Countを用いて、該モーメントμ2y,μy,μ2x[k][l],μx[k],Countを、それぞれ次式により更新し（ただし、k,l∈[1,2,...,p]）、更新したモーメントμ2y,μy,μ2x[k][l],μx[k],Countを前記モーメント部に上書きして格納し、
【数１９】
2015225454.tif 000091
【数２０】
2015225454.tif 000092
【数２１】
2015225454.tif 000093
【数２２】
2015225454.tif 000094
【数２３】
2015225454.tif 000095
前記検定値算出部は、説明変数の個数p、前記回帰モデル係数部に格納された回帰モデル係数[α,β[1],β[2],...,β[p]]、および前記モーメント部に格納されたモーメントμ2y,μy,μ2x[k][l],μx[k],Countを用いて、F検定値、決定係数R2、自由度修正済み決定係数
【数２４】
2015225454.tif 000096
、およびt検定値t[k]を、それぞれ前記式１０〜１５により前記統計的検定値として算出する、請求項１に記載の重回帰分析装置。
【請求項３】
前記予測値算出部は、説明変数[x1,x2,...,xp]が与えられた場合、該説明変数[x1,x2,...,xp]および前記回帰モデル係数部に格納された回帰モデル係数[α,β[1],β[2],...,β[p]]を用いて、予測値yを次式により算出する、
【数２５】
2015225454.tif 000097
請求項２に記載の重回帰分析装置。
【請求項４】
重回帰分析装置が行う重回帰分析方法であって、
追加分の観測データが与えられた場合、該追加分の観測データを逐次処理して回帰モデル係数を更新する回帰モデル算出ステップと、
追加分の観測データが与えられた場合、該追加分の観測データを逐次処理してモーメントを更新するモーメント算出ステップと、
前記更新された回帰モデル係数およびモーメントを基に統計的検定値を算出する検定値算出ステップと、
説明変数が与えられた場合、前記更新された回帰モデル係数および該説明変数を基に予測値を算出する予測値算出ステップと、を有する重回帰分析方法。
【請求項５】
最初に、目的変数yiと、p個の説明変数x1,i,x2,i,...,xk,i,...,xp,iと、からなる観測データの組がN個あるデータセット
【数２６】
2015225454.tif 000098
が与えられた場合、
前記回帰モデル算出ステップでは、データセット
【数２７】
2015225454.tif 000099
を用いて、オンライン回帰アルゴリズムにより回帰モデル係数[α,β[1],β[2],...,β[p]]を算出し、算出した回帰モデル係数[α,β[1],β[2],...,β[p]]を回帰モデル係数部に格納し、
前記モーメント算出ステップでは、データセット
【数２８】
2015225454.tif 000100
を用いて、モーメントμ2y,μy,μ2x[k][l],μx[k],Countを、それぞれ次式により算出し（ただし、k,l∈[1,2,...,p]）、算出したモーメントμ2y,μy,μ2x[k][l],μx[k],Countをモーメント部に格納し、
【数２９】
2015225454.tif 000101
【数３０】
2015225454.tif 000102
【数３１】
2015225454.tif 000103
【数３２】
2015225454.tif 000104
【数３３】
2015225454.tif 000105
前記検定値算出ステップでは、説明変数の個数p、前記回帰モデル係数部に格納された回帰モデル係数[α,β[1],β[2],...,β[p]]、および前記モーメント部に格納されたモーメントμ2y,μy,μ2x[k][l],μx[k],Countを用いて、F検定値、決定係数R2、自由度修正済み決定係数
【数３４】
2015225454.tif 000106
、およびt検定値t[k]を、それぞれ次式により前記統計的検定値として算出し、
【数３５】
2015225454.tif 000107
【数３６】
2015225454.tif 000108
【数３７】
2015225454.tif 000109
【数３８】
2015225454.tif 000110
【数３９】
2015225454.tif 000111
【数４０】
2015225454.tif 000112
次に、前記観測データの組がM個ある追加分のデータセット
【数４１】
2015225454.tif 000113
が与えられた場合、
前記回帰モデル算出ステップでは、データセット
【数４２】
2015225454.tif 000114
および前記回帰モデル係数部に格納された回帰モデル係数[α,β[1],β[2],...,β[p]]を用いて、オンライン回帰アルゴリズムにより、該回帰モデル係数[α,β[1],β[2],...,β[p]]を更新し、更新した回帰モデル係数[α,β[1],β[2],...,β[p]]を前記回帰モデル係数部に上書きして格納し、
前記モーメント算出ステップでは、データセット
【数４３】
2015225454.tif 000115
および前記モーメント部に格納されたモーメントμ2y,μy,μ2x[k][l],μx[k],Countを用いて、該モーメントμ2y,μy,μ2x[k][l],μx[k],Countを、それぞれ次式により更新し（ただし、k,l∈[1,2,...,p]）、更新したモーメントμ2y,μy,μ2x[k][l],μx[k],Countを前記モーメント部に上書きして格納し、
【数４４】
2015225454.tif 000116
【数４５】
2015225454.tif 000117
【数４６】
2015225454.tif 000118
【数４７】
2015225454.tif 000119
【数４８】
2015225454.tif 000120
前記検定値算出ステップでは、説明変数の個数p、前記回帰モデル係数部に格納された回帰モデル係数[α,β[1],β[2],...,β[p]]、および前記モーメント部に格納されたモーメントμ2y,μy,μ2x[k][l],μx[k],Countを用いて、F検定値、決定係数R2、自由度修正済み決定係数
【数４９】
2015225454.tif 000121
、およびt検定値t[k]を、それぞれ前記式３５〜４０により前記統計的検定値として算出する、請求項４に記載の重回帰分析方法。
【請求項６】
前記予測値算出ステップでは、説明変数[x1,x2,...,xp]が与えられた場合、該説明変数[x1,x2,...,xp]および前記回帰モデル係数部に格納された回帰モデル係数[α,β[1],β[2],...,β[p]]を用いて、予測値yを次式により算出する、
【数５０】
2015225454.tif 000122
請求項５に記載の重回帰分析方法。
【請求項７】
コンピュータを、
追加分の観測データが与えられた場合、該追加分の観測データを逐次処理して回帰モデル係数を更新する回帰モデル算出手段と、
追加分の観測データが与えられた場合、該追加分の観測データを逐次処理してモーメントを更新するモーメント算出手段と、
前記更新された回帰モデル係数およびモーメントを基に統計的検定値を算出する検定値算出手段と、
説明変数が与えられた場合、前記更新された回帰モデル係数および該説明変数を基に予測値を算出する予測値算出手段と、として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、統計における重回帰分析の回帰モデル係数および統計的検定値の算出を逐次処理（オンライン処理）する重回帰分析装置、重回帰分析方法、およびプログラムに関するものである。
【背景技術】
【０００２】
多数の人間がコンピュータアクセスを行えるWeb技術や、多くのモニタ装置やコンピュータが埋め込まれた機器の出現等により、取得容易かつ大量のデータ、いわゆるビッグデータが発生するようになってきている。また、こうしたデータの傾向・影響を把握したいという要望や、こうしたデータを基に現状を分析したいという要望がある。例えば、商品の売り上げについて、売り上げに影響がある要因の分析をするため、POS（販売時点情報管理）データを重回帰分析することは良く行われている。
【０００３】
重回帰分析は、複数観測したある測定値（目的変数）と因子群（説明変数）との間の関係を推測・分析する多変量解析の一手法である。目的変数yは、p個の説明変数x1,x2,...,xpで表される一次式、すなわち、以下により近似されると仮定する。
【０００４】
【数１】
2015225454.tif 000003
【０００５】
この一次式を回帰モデルと呼ぶ。また、[α,β[1],β[2],...,β[p]]を回帰モデル係数（または単に係数）と呼ぶ。複数観測した目的変数と説明変数との組（観測データ）をもっともよく近似するよう、回帰モデル係数を求めることが重回帰分析の主目的となる。
【０００６】
回帰モデルの説明変数に望みの値を代入することで、予測値を得ることができる。また、回帰モデル係数の大きさが、その回帰モデルの説明変数の影響の大きさを表すことから、回帰モデル係数は、要因の影響度の分析にも使うことができる。
【０００７】
また、統計的検定を行うことで、求められた回帰モデルがどのくらい良く観測データを近似できているかを測ることができる。例えば、統計的検定値の１つであるF検定値を用いれば、回帰モデルが統計的に妥当かどうかを測ることができる。また、統計的検定値の１つである自由度修正済み決定係数
【０００８】
【数２】
2015225454.tif 000004
【０００９】
は、回帰モデルを予測に使う際に、どのくらい予想精度が良いかの指標となる。
【００１０】
このように、重回帰分析は、推測、分析が行え、統計的検定値により重回帰分析の回帰モデルの妥当性も測れることから、様々な分野で広く用いられている。
【００１１】
この重回帰分析をリアルタイムに行えると、現時点で影響がある要因を把握でき、早期の問題発見や解決を行いやすくなる。このリアルタイムの分析結果がどのくらい信用できるのかも、統計的検定値が算出されていれば判断可能となる。
【００１２】
重回帰分析を行う製品としては、例えば、SPSS（IBM社）、R（オープンソフトウェア）、SAS（SAS社）等がある。これらの製品では、全観測データに対して一度だけ、重回帰分析処理を行う。そのため、観測データを追加した場合に、リアルタイムに重回帰分析を行うには、その追加分の観測データも加えた全観測データに対して、再度、重回帰分析を行う必要がある。
【００１３】
追加分の観測データだけの逐次処理（オンライン処理）で、リアルタイムに回帰モデル係数を更新する方法として、オンライン回帰アルゴリズムが提案されている。オンライン回帰アルゴリズムとしては、例えば、Passive-Aggressiveアルゴリズムがある（非特許文献１）。また、オンライン回帰アルゴリズムを実装した製品・プログラムとしては、非特許文献２に開示されたJubatus（Jubaregression）がある。
【先行技術文献】
【非特許文献】
【００１４】
【非特許文献１】K. Crammer, O. Dekel, J. Keshet, S. Shalev-Shwartz and Y. Singer, “Online Passive-Aggressive Algorithms”, Journal of Machine Learning Research, vol. 7, pp. 551-585, 2006.
【非特許文献２】Jubatus チュートリアル その他のチュートリアル， “Regression”、［online］、［平成26年5月7日検索］、インターネット〈URL：http://jubat.us/ja/tutorial/regression.html〉
【発明の概要】
【発明が解決しようとする課題】
【００１５】
観測データの追加が頻繁にある環境下で重回帰分析を行う場合、SPSS、R、SAS等の従来製品は逐次処理が行えないため、これまでの全観測データの保存が必要であり、さらにその全観測データに対して再計算が必要である。そのため、全観測データ保存のための容量が必要であったとともに、再計算の時間がかかっていた。
【００１６】
その一方、Jubatus（Jubaregression）は、回帰モデル係数の算出については、逐次処理を行えるため、追加分の観測データのみ処理すればよく、全観測データの保存も必要がない。しかし、統計的検定値は逐次処理での算出ができなかった。
【００１７】
そこで、本発明の目的は、回帰モデル係数だけでなく、統計的検定値の算出も逐次処理で行うことができる技術を提供することにある。
【課題を解決するための手段】
【００１８】
本発明の重回帰分析装置は、
追加分の観測データが与えられた場合、該追加分の観測データを逐次処理して回帰モデル係数を更新する回帰モデル算出部と、
追加分の観測データが与えられた場合、該追加分の観測データを逐次処理してモーメントを更新するモーメント算出部と、
前記更新された回帰モデル係数およびモーメントを基に統計的検定値を算出する検定値算出部と、
説明変数が与えられた場合、前記更新された回帰モデル係数および該説明変数を基に予測値を算出する予測値算出部と、を有する。
【００１９】
本発明の重回帰分析方法は、
重回帰分析装置が行う重回帰分析方法であって、
追加分の観測データが与えられた場合、該追加分の観測データを逐次処理して回帰モデル係数を更新する回帰モデル算出ステップと、
追加分の観測データが与えられた場合、該追加分の観測データを逐次処理してモーメントを更新するモーメント算出ステップと、
前記更新された回帰モデル係数およびモーメントを基に統計的検定値を算出する検定値算出ステップと、
説明変数が与えられた場合、前記更新された回帰モデル係数および該説明変数を基に予測値を算出する予測値算出ステップと、を有する。
【００２０】
本発明のプログラムは、
コンピュータを、
追加分の観測データが与えられた場合、該追加分の観測データを逐次処理して回帰モデル係数を更新する回帰モデル算出手段と、
追加分の観測データが与えられた場合、該追加分の観測データを逐次処理してモーメントを更新するモーメント算出手段と、
前記更新された回帰モデル係数およびモーメントを基に統計的検定値を算出する検定値算出手段と、
説明変数が与えられた場合、前記更新された回帰モデル係数および該説明変数を基に予測値を算出する予測値算出手段と、として機能させるためのものである。
【発明の効果】
【００２１】
本発明によれば、回帰モデル係数を逐次処理により算出し、統計的検定値を逐次処理可能な変数であるモーメントから算出する。そのため、回帰モデル係数だけでなく、統計的検定値も、逐次処理で算出することが可能になる。
【００２２】
したがって、追加分の観測データを重回帰分析して回帰モデル係数および統計的検定値を算出する際に、全観測データの再計算を必要としないため、処理の高速化を図ることができるという効果が得られる。また、回帰モデル、モーメントは説明変数の個数で定まる個数のみ保持すれば良く、過去の全観測データを保存する必要がないため、ディスク容量・メモリ容量をより少なくすることができるという効果が得られる。
【図面の簡単な説明】
【００２３】
【図１】本発明の一実施形態の重回帰分析装置の構成を示すブロック図である。
【図２Ａ】図１に示した重回帰分析装置における逐次重回帰分析処理の流れを説明するフローチャートである。
【図２Ｂ】図１に示した重回帰分析装置における回帰モデル係数・検定値取得処理の流れを説明するフローチャートである。
【図２Ｃ】図１に示した重回帰分析装置における予測値取得処理の流れを説明するフローチャートである。
【発明を実施するための形態】
【００２４】
以下に、本発明を実施するための形態について図面を参照して説明する。
（１）本実施形態の構成
図１に、本実施形態の重回帰分析装置の構成を示す。
【００２５】
図１に示すように、本実施形態の重回帰分析装置は、回帰モデル算出部10と、モーメント算出部20と、回帰モデル係数取得・検定値算出部30と、予測値算出部40と、回帰モデル係数部50と、モーメント部60と、を有している。
（２）本実施形態の動作
（２−１）本実施形態の概略動作
図２Ａ、図２Ｂ、および図２Ｃに、本実施形態の重回帰分析装置における、逐次重回帰分析処理、回帰モデル係数・検定値取得処理、および予測値取得処理の流れを示す。
【００２６】
本実施形態の重回帰分析装置は、追加分の観測データが与えられた場合、まず、図２Ａに示すように、逐次重回帰分析処理を行う。具体的には、回帰モデル算出部10は、追加分の観測データを逐次処理（オンライン処理）して回帰モデル係数を更新し、更新した回帰モデル係数を回帰モデル係数部50に上書きして格納する（ステップＡ１）。次に、モーメント算出部20は、追加分の観測データを逐次処理（オンライン処理）してモーメントを更新し、更新したモーメントをモーメント部60に上書きして格納する（ステップＡ２）。次に、図２Ｂに示すように、回帰モデル係数および統計的検定値（以下、検定値と略称する）の取得処理を行う。具体的には、回帰モデル係数取得・検定値算出部30は、回帰モデル係数部50から回帰モデル係数を取得すると共に、モーメント部60からモーメントを取得し、取得した回帰モデル係数およびモーメントを基に検定値を算出する（ステップＢ１）。なお、観測データはまとめて入力してもよいし、後程、追加分の観測データを入力してもよい。
【００２７】
また、本実施形態の重回帰分析装置は、説明変数が与えられた場合、図２Ｃに示すように、予測値の取得処理を行う。具体的には、予測値算出部40は、回帰モデル係数部50から回帰モデル係数を取得し、取得した回帰モデル係数および説明変数を基に予測値を算出する（ステップＣ１）。
（２−２）本実施形態の詳細動作
以下、本実施形態の重回帰分析装置における、逐次重回帰分析処理、回帰モデル係数・検定値取得処理、および予測値取得処理について、より詳細に説明する。
【００２８】
ここでは、最初に、目的変数yiと、p個の説明変数x1,i,x2,i,...,xk,i,...,xp,iと、からなる観測データの組がN個あるデータセット
【００２９】
【数３】
2015225454.tif 000005
【００３０】
が与えられてこれを処理し、次に、上記の観測データの組がM個ある追加分のデータセット
【００３１】
【数４】
2015225454.tif 000006
【００３２】
が与えられてこれを処理する例について説明する。
【００３３】
なお、以下の説明では、モーメントの定義、各検定値の導出方法の詳細は、後述の（４）参考の節で記述し、ここでは処理手順のみ説明する。
（２−２−１）データセット
【００３４】
【数５】
2015225454.tif 000007
【００３５】
に対する逐次重回帰分析処理および回帰モデル係数・検定値取得処理
（２−２−１−１）逐次重回帰分析処理
最初に、逐次重回帰分析処理について説明する。
【００３６】
まず、回帰モデル算出部10は、データセット
【００３７】
【数６】
2015225454.tif 000008
【００３８】
を用いて、オンライン回帰アルゴリズムにより回帰モデル係数[α,β[1],β[2],...,β[p]]を算出し、算出した回帰モデル係数を回帰モデル係数部50に格納する。オンライン回帰アルゴリズムとしては、Passive-Aggressiveアルゴリズムなどがあり、適切なものを用いてよい。
【００３９】
次に、モーメント算出部20は、データセット
【００４０】
【数７】
2015225454.tif 000009
【００４１】
を用いて、以下のモーメントμ2y,μy,μ2x[k][l],μx[k],Countをそれぞれ算出し、算出したモーメントμ2y,μy,μ2x[k][l],μx[k],Countをモーメント部60に格納する。
【００４２】
【数８】
2015225454.tif 000010
【００４３】
【数９】
2015225454.tif 000011
【００４４】
【数１０】
2015225454.tif 000012
【００４５】
【数１１】
2015225454.tif 000013
【００４６】
【数１２】
2015225454.tif 000014
【００４７】
k,l∈[1,2,...,p]、且つ、μ2x[k][l]=μ2x[l][k]であることから、モーメントμ2x[l][k]の個数は、p・(p-1)÷2+p = p(p+1)÷2個、μx[k]は、p個と、説明変数の個数pのみで必要なモーメントの個数が定まる。
（２−２−１−２）回帰モデル係数・検定値取得処理
続いて、回帰モデル係数・検定値取得処理について説明する。
【００４８】
まず、回帰モデル係数取得・検定値算出部30は、回帰モデル係数部50に格納された回帰モデル係数[α,β[1],β[2],...,β[p]]をそのまま取得し出力する。
【００４９】
次に、回帰モデル係数取得・検定値算出部30は、モーメント部60に格納されたモーメントを取得し、F検定値、決定係数R2、自由度修正済み決定係数
【００５０】
【数１３】
2015225454.tif 000015
【００５１】
、回帰モデル係数β[k]の標準誤差SE[k]、およびt検定値t[k]を、以下の通り、説明変数の個数p、回帰モデル係数、およびモーメントを用いて、算出する。
【００５２】
【数１４】
2015225454.tif 000016
【００５３】
【数１５】
2015225454.tif 000017
【００５４】
【数１６】
2015225454.tif 000018
【００５５】
【数１７】
2015225454.tif 000019
【００５６】
【数１８】
2015225454.tif 000020
【００５７】
【数１９】
2015225454.tif 000021
【００５８】
回帰モデル係数取得・検定値算出部30は、上記で算出した、F検定値、決定係数R2、自由度修正済み決定係数
【００５９】
【数２０】
2015225454.tif 000022
【００６０】
、およびt検定値t[k]を、検定値として出力する。
（２−２−２）追加分のデータセット
【００６１】
【数２１】
2015225454.tif 000023
【００６２】
に対する逐次重回帰分析処理および回帰モデル係数・検定値取得処理
（２−２−２−１）逐次重回帰分析処理
最初に、逐次重回帰分析処理について説明する。
【００６３】
まず、回帰モデル算出部10は、回帰モデル係数部50に格納された現在の回帰モデル係数[α,β[1],β[2],... ,β[p]]を取得し、オンライン回帰アルゴリズムにより、現在の回帰モデル係数[α,β[1],β[2],... ,β[p]]および追加データセット
【００６４】
【数２２】
2015225454.tif 000024
【００６５】
のみを用いて、現在の回帰モデル係数[α,β[1],β[2],... ,β[p]]を更新し、更新した回帰モデル係数[α,β[1],β[2],... ,β[p]]を回帰モデル係数部50に上書きして格納する。
【００６６】
次に、モーメント算出部20は、モーメント部60に格納された現在のモーメントμ2y,μy,μ2x[k][l],μx[k],Countを取得し、以下の通り、現在のモーメントμ2y,μy,μ2x[k][l],μx[k],Countおよび追加データセット
【００６７】
【数２３】
2015225454.tif 000025
【００６８】
のみを用いて、現在のモーメントμ2y,μy,μ2x[k][l],μx[k],Countを更新し、更新したモーメントμ2y,μy,μ2x[k][l],μx[k],Countをモーメント部60に上書きして格納する。
【００６９】
【数２４】
2015225454.tif 000026
【００７０】
【数２５】
2015225454.tif 000027
【００７１】
【数２６】
2015225454.tif 000028
【００７２】
【数２７】
2015225454.tif 000029
【００７３】
【数２８】
2015225454.tif 000030
【００７４】
ただし、k,l ∈ [1,2,...,p]である。
（２−２−２−２）回帰モデル係数・検定値取得処理
続いて、回帰モデル係数・検定値取得処理について説明する。
【００７５】
回帰モデル係数取得・検定値算出部30は、上記の（２−２−２−１）逐次重回帰分析処理で更新された回帰モデル係数およびモーメントを用いて、データセット
【００７６】
【数２９】
2015225454.tif 000031
【００７７】
の場合とまったく同様に、回帰モデル係数および検定値の取得・出力を行う。
（２−２−３）予測値取得処理
続いて、予測値取得処理について説明する。
【００７８】
予測値算出部40は、説明変数[x1,x2,...,xp]が与えられると、回帰モデル係数部50から回帰モデル係数[α,β[1],β[2],... ,β[p]]を取得し、取得した回帰モデル係数[α,β[1],β[2],... ,β[p]]および説明変数[x1,x2,...,xp]を用いて、以下の式により、予測値yを算出して出力する。
【００７９】
【数３０】
2015225454.tif 000032
【００８０】
（３）本実施形態の効果
上述したように本実施形態においては、回帰モデル係数をオンライン回帰アルゴリズムにより逐次処理して算出し、統計的検定値を逐次処理可能な変数であるモーメントから算出する。そのため、回帰モデル係数だけでなく、統計的検定値も、逐次処理で算出することが可能になる。
【００８１】
したがって、観測データの追加分を重回帰分析して回帰モデル係数および統計的検定値を算出する際に、全観測データの再計算を必要としないため、処理の高速化を図ることができるという効果が得られる。また、回帰モデル、モーメントは説明変数の個数で定まる個数のみ保持すれば良く、過去の全観測データを保存する必要がないため、ディスク容量・メモリ容量をより少なくすることができるという効果が得られる。
（４）参考
以下、本実施形態において、重回帰分析に用いられる統計的検定値の算出の逐次処理を実現する数式について、モーメントの定義、各検定値の導出方法を詳細に説明する。
（４−１）モーメントの定義
N個の数値データXN=[x1,x2,...,xN]について、値cを中心としたモーメント
【００８２】
【数３１】
2015225454.tif 000033
【００８３】
を以下のように定義する;
【００８４】
【数３２】
2015225454.tif 000034
【００８５】
数値データXNに値xN+1を追加したデータXN+1=[x1,x2,...,xN,xN+1]のモーメント
【００８６】
【数３３】
2015225454.tif 000035
【００８７】
は、追加前のモーメント
【００８８】
【数３４】
2015225454.tif 000036
【００８９】
の値を用いて、定義より以下の通り計算できる;
【００９０】
【数３５】
2015225454.tif 000037
【００９１】
また、データが1つのみのモーメント
【００９２】
【数３６】
2015225454.tif 000038
【００９３】
についても、上記式でN=0とおけば成り立つことは明らかである。
【００９４】
このように、XNがなくとも、追加の値xN+1、N、
【００９５】
【数３７】
2015225454.tif 000039
【００９６】
から、モーメント
【００９７】
【数３８】
2015225454.tif 000040
【００９８】
を求められることより、モーメントの算出はオンライン処理が可能であることがわかる。
【００９９】
なお、平均、分散は、その定義から、以下のようにモーメントで表すことができ、これらもオンライン処理が可能である。
【０１００】
平均：
【０１０１】
【数３９】
2015225454.tif 000041
【０１０２】
分散:
【０１０３】
【数４０】
2015225454.tif 000042
【０１０４】
（４−２）F検定値の導出方法
目的変数yi、p個の説明変数x1,i,x2,i,...,xk,i,...,xp,iからなるデータの組がN個あるデータセット
【０１０５】
【数４１】
2015225454.tif 000043
【０１０６】
に対して、重回帰分析を行うとき、そのF検定値が
【０１０７】
【数４２】
2015225454.tif 000044
【０１０８】
の値のみを用いたモーメントで表せることから、オンライン処理可能であることを示す。
【０１０９】
F検定値は以下の式により定義される；
F検定値：
F = MSreg/MSerr
回帰分散：
MSreg = SSreg/dfreg
残差分散：
MSerr = SSerr/dferr
回帰分散の自由度：
dfreg = p
残差分散の自由度：
dferr = N - p -1
目的変数のみのデータセットYN=[y1,y2,...,yN]の平均値
【０１１０】
【数４３】
2015225454.tif 000045
【０１１１】
、および、重回帰分析により生成した回帰モデルに説明変数[x1,i,x2,i,...,xp,i]を代入することで得られる予測値
【０１１２】
【数４４】
2015225454.tif 000046
【０１１３】
を用い、回帰平方和SSreg、残差平方和SSerrは、以下の通り定義される;
回帰平方和：
【０１１４】
【数４５】
2015225454.tif 000047
【０１１５】
残差平方和：
【０１１６】
【数４６】
2015225454.tif 000048
【０１１７】
ここで、全体平方和：
【０１１８】
【数４７】
2015225454.tif 000049
【０１１９】
を定義すると、各平方和について、SStotal = SSreg + SSerrという関係が成り立つ;
上記式は以下により導かれる。
【０１２０】
誤差eiを用いると、目的変数yiと予測値
【０１２１】
【数４８】
2015225454.tif 000050
【０１２２】
の関係は以下となる；
【０１２３】
【数４９】
2015225454.tif 000051
【０１２４】
上記より平均値
【０１２５】
【数５０】
2015225454.tif 000052
【０１２６】
を両辺より差引き、平方和に変形すると、予測値
【０１２７】
【数５１】
2015225454.tif 000053
【０１２８】
とeiは統計的に独立であるため、以下の等式が成り立つ。
【０１２９】
【数５２】
2015225454.tif 000054
【０１３０】
【数５３】
2015225454.tif 000055
【０１３１】
なので、各平方和の定義より、以下の通り導ける；
【０１３２】
【数５４】
2015225454.tif 000056
【０１３３】
全体平方和、回帰平方和をYNについてのモーメントで表すと以下の通りである;
【０１３４】
【数５５】
2015225454.tif 000057
【０１３５】
【数５６】
2015225454.tif 000058
【０１３６】
平方和の関係式を用いると残差平方和は以下の通りである;
【０１３７】
【数５７】
2015225454.tif 000059
【０１３８】
予測値
【０１３９】
【数５８】
2015225454.tif 000060
【０１４０】
は重回帰モデルの式を用いて説明変数[x1,i,x2,i,...,xp,i]により以下の通り表せる;
【０１４１】
【数５９】
2015225454.tif 000061
【０１４２】
α、βkはあらかじめ、何らかの回帰アルゴリズムで算出済みであるとする。
【０１４３】
k番目、l番目の説明変数で構成されるデータセットXk,N=[xk,1,xk,2,...,xk,N]、およびXk,N*Xl,N=[xk,1・xl,1,xk,2・xl,2,...,xk,N・xl,N]について、
【０１４４】
【数６０】
2015225454.tif 000062
【０１４５】
、
【０１４６】
【数６１】
2015225454.tif 000063
【０１４７】
は、Xk,NおよびXk,N*Xl,Nのモーメントで表せることを以下に示す；
【０１４８】
【数６２】
2015225454.tif 000064
【０１４９】
【数６３】
2015225454.tif 000065
【０１５０】
上記式をSSregの式に代入し整理する；
【０１５１】
【数６４】
2015225454.tif 000066
【０１５２】
以下にF検定値をモーメントの式で記述する;
【０１５３】
【数６５】
2015225454.tif 000067
【０１５４】
pは定数、データ件数N、モーメント
【０１５５】
【数６６】
2015225454.tif 000068
【０１５６】
はオンライン処理可能、回帰モデルの係数α、βkについても適切なオンラインアルゴリズムで算出可能であるため、F検定値もオンライン処理可能である。
（４−３）決定係数の導出方法
決定係数および自由度修正済み決定係数は回帰平方和および全体平方和にて定義され、オンライン処理可能である。
【０１５７】
決定係数：
R2 = SSreg/SStotal
自由度修正済み決定係数(補正R2)：
【０１５８】
【数６７】
2015225454.tif 000069
【０１５９】
（４−４）t検定値の導出方法
回帰モデルの係数bkについてのt検定値tkは、誤差平方和および、データセットXk,Nの分散μ2(Xk,N)で表せることから、オンライン処理可能である。
【０１６０】
t検定値：
tk = bk/SEk
標準誤差:
【０１６１】
【数６８】
2015225454.tif 000070
【０１６２】
なお、
【０１６３】
【数６９】
2015225454.tif 000071
【０１６４】
は以下と同等であり、F検定値で算出したモーメントを流用できる;
【０１６５】
【数７０】
2015225454.tif 000072
【０１６６】
本発明の重回帰分析装置は、コンピュータとプログラムとによっても実現することができ、このプログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。
【符号の説明】
【０１６７】
10    回帰モデル算出部
20    モーメント算出部
30    回帰モデル係数取得・検定値算出部
40    予測値算出部
50    回帰モデル係数部
60    モーメント部
【図１】
2015225454.tif 000123
【図２Ａ】
2015225454.tif 000124
【図２Ｂ】
2015225454.tif 000125
【図２Ｃ】
2015225454.tif 000126