(57)【要約】 【課題】欠測値を含むデータに対しても、精度よく共分散行列を推定する。【解決手段】情報処理装置は、欠測値を含むデータを取得するデータ取得部と、前記データに含まれる欠測値の割合を示す欠測率を算出する欠測率算出部と、前記欠測率に基づいて、前記共分散行列を推定する共分散行列推定部と、を備える。前記共分散行列推定部は、前記欠測率に基づいて、半正定値共分散行列又は正定値共分散行列を推定してもよい。【選択図】図１
2020035146.tif 000002
【特許請求の範囲】
【請求項１】
欠測値を含むデータを取得するデータ取得部と、
前記データに含まれる欠測値の割合を示す欠測率を算出する欠測率算出部と、
前記欠測率に基づいて、共分散行列を推定する共分散行列推定部と、を備える、情報処理装置。
【請求項２】
前記共分散行列推定部は、前記欠測率に基づいて、半正定値共分散行列又は正定値共分散行列を推定する、請求項１に記載の情報処理装置。
【請求項３】
前記共分散行列推定部が推定する前記共分散行列は、相関行列である、請求項１に記載の情報処理装置。
【請求項４】
前記欠測値を含むデータに基づいて、初期推定共分散行列を推定する初期推定部を備え、
前記共分散行列推定部は、前記共分散行列と前記初期推定共分散行列との距離を最小化するように前記共分散行列を推定する、請求項１乃至３のいずれか一項に記載の情報処理装置。
【請求項５】
前記初期推定部は、ペアワイズ共分散行列又はリストワイズ共分散行列を用いて前記初期推定共分散行列を推定する、請求項４に記載の情報処理装置。
【請求項６】
前記共分散行列推定部は、前記距離として、前記欠測率に応じて重み付けたフロベニウスノルム、マックスノルム、又は尤度距離を用いる、請求項４又は５に記載の情報処理装置。
【請求項７】
前記共分散行列推定部は、前記共分散行列の各要素と前記初期推定共分散行列の対応する要素との差分に、１から前記欠測率を引いた値の累乗値を掛けて足し合わせた値が最小化するように、前記共分散行列を推定する、請求項４乃至６のいずれか一項に記載の情報処理装置。
【請求項８】
前記推定された共分散行列に基づいて、前記データの統計モデルを構築するモデル構築部を備える、請求項１乃至７のいずれか一項に記載の情報処理装置。
【請求項９】
前記統計モデルは、回帰モデル又はグラフィカルモデルである、請求項８に記載の情報処理装置。
【請求項１０】
統計モデルの構築に用いられるデータを管理するデータ管理装置と、
前記データに基づいて前記統計モデルを構築する情報処理装置と、
前記統計モデルをユーザに提供するユーザインタフェース装置と、を備える情報処理システムであって、
前記情報処理装置は、
欠測値を含む前記データを取得するデータ取得部と、
前記データに含まれる欠測値の割合を示す欠測率を算出する欠測率算出部と、
前記欠測率に基づいて、共分散行列を推定する共分散行列推定部と、を有する、情報処理システム。
【請求項１１】
コンピュータに、
欠測値を含むデータを取得するステップと、
前記データに含まれる欠測値の割合を示す欠測率を算出するステップと、
前記欠測率に基づいて、共分散行列を推定するステップと、を実行させる、情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、情報処理装置、情報処理システム及び情報処理方法に関する。
【背景技術】
【０００２】
欠測値を含む高次元データ（特徴量の多いデータ）から、統計モデルを構築するために、欠測値補完がよく行われる。しかし、欠測値が多かったり、次元数が大きかったりした場合、計算量が膨大になるか、精度が大幅に悪化してしまう。
【０００３】
また、欠測値を補完することなく効率的に統計モデルを構築する手法が提案されている。これらの手法では、データの共分散行列を推定し、それを用いて回帰モデル等の統計モデルを構築する。しかし、データに欠測値が多く含まれる場合、共分散行列の推定精度が悪化し、その結果、統計モデルの精度が悪化してしまう。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−１１４９１６号公報
【非特許文献】
【０００５】
【非特許文献１】Datta, A. and Zou, H. (2017). CoCoLasso for high-dimensional error-in-variables regression. The Annals of Statistics, Vol.45, 2400-2426
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明が解決しようとする課題は、欠測値を含むデータに対しても、精度よく共分散行列を推定できる情報処理装置、情報処理システム及び情報処理方法を提供するものである。
【課題を解決するための手段】
【０００７】
本実施形態によれば、欠測値を含むデータを取得するデータ取得部と、
前記データに含まれる欠測値の割合を示す欠測率を算出する欠測率算出部と、
前記欠測率に基づいて、共分散行列を推定する共分散行列推定部と、を備える、情報処理装置が提供される。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態による情報処理装置を備えた情報処理システムの概略構成を示すブロック図。
【図２】図１の情報処理装置の処理動作の一例を示すフローチャート。
【図３】図２のステップＳ３の詳細な処理動作の一例を示すフローチャート。
【図４】図２のステップＳ４の詳細な処理動作の一例を示すフローチャート。
【図５】図２のステップＳ５の詳細な処理動作の一例を示すフローチャート。
【図６】第２の実施形態による情報処理装置の処理動作を示すフローチャート。
【発明を実施するための形態】
【０００９】
以下、図面を参照して本発明の実施形態を説明する。以下の実施形態では、情報処理装置及び情報処理システム内の特徴的な構成および動作を主に説明するが、情報処理装置及び情報処理システムには以下の説明で省略した構成および動作が存在しうる。
【００１０】
（第１の実施形態）
図１は第１の実施形態による情報処理装置１を備えた情報処理システム２の概略構成を示すブロック図である。図１の情報処理システム２は、データ管理装置３と、情報処理装置１と、ユーザインタフェース装置４とを備えている。
【００１１】
データ管理装置３は、統計モデルを構築するのに用いられるデータを管理する。データ管理装置３は、統計モデルを構築するのに用いられるデータを記憶する不図示の記憶部を有している。データ管理装置３は、データを所定のタイミングで情報処理装置１に伝送する。データ管理装置３が管理するデータが逐次更新される場合には、データが更新されたタイミングに同期して、そのデータを情報処理装置１に伝送してもよい。また、データ管理装置３は、ユーザの要求があったタイミングでデータを情報処理装置１に伝送してもよい。
【００１２】
情報処理装置１は、データ管理装置３から伝送されたデータを取得して、そのデータの統計モデルを構築する。情報処理装置１の詳細な処理動作は、後述する。
【００１３】
ユーザインタフェース装置４は、情報処理装置１が構築した統計モデルをユーザに提供する。提供の仕方は任意であるが、例えば、統計モデルを画像化して不図示の表示部に表示してもよい。情報処理装置１は、データ取得部５と、欠測率算出部６と、共分散行列推定部７とを有する。
【００１４】
データ取得部５は、データ管理装置３から欠測値を含むデータを取得する。ここで、欠測値とは、データの一部が欠けている場合等、正常に取得できなかったデータ部分を指す。データ取得部５が取得したデータは、データ格納部８に格納されてもよい。データ取得部５は、データを解析するための前処理を行ってもよい。前処理は、例えば、データの対象期間の抽出、対象特徴量の抽出、異常値処理、ダミー変数化、標準化、中心化等の処理を含んでもよい。本実施形態では、データに含まれる欠測値を補完する処理を行う必要はないため、前処理に欠測値の補完処理を含める必要はない。
【００１５】
データ取得部５が取得するデータは、説明変数データと目的変数データを含んでいる。以下では、データ取得部５が取得するｎ行ｐ列の説明変数データＸをＸ∈行列Ｒｎ×ｐとし、ｎ行の目的変数のベクトルをｙ∈Ｒｎとする。ここで、ｎはサンプルの数、ｐは特徴量の数である。
【００１６】
欠測率算出部６は、データに含まれる欠測値の割合を示す欠測率を算出する。欠測率は、１から実測率を引いた値である。実測率Ｒ∈行列Ｒｐ×ｐは、例えば以下の（１）式で算出される。
【数１】
2020035146.tif 000003
【００１７】
（１）式において、ｎjkはＸのｊ列目Ｘjとｋ列目Ｘkがともに実装されている数であり、ＲjkはＸijとＸjkのペアがともに実測されている割合を示している。あるいは、実測率Ｒは、（２）式のように算出してもよい。
【数２】
2020035146.tif 000004
【００１８】
（２）式において、ｎjはＸのｊ列目Ｘjが実測されている数である。（２）式は、各変数ごとの実測率の積を表している。欠測率算出部６は、実測率と欠測率を算出する。
【００１９】
共分散行列推定部７は、欠測率に基づいて、共分散行列を推定する。共分散行列推定部７は、欠測率に基づいて、半正定値共分散行列又は正定値共分散行列を推定してもよい。共分散行列推定部７が推定する共分散行列は、相関行列であってもよい。共分散行列推定部７は、例えば、初期推定共分散行列と欠測率とに基づいて、共分散行列を推定することができる。初期推定共分散行列は、情報処理装置１内の共分散行列初期推定部９で推定することができる。共分散行列初期推定部９は、欠測データから初期推定共分散行列の各要素（以下、初期推定量と呼ぶ）を推定する。本明細書では、共分散行列の初期推定量を（３）式に示す記号（便宜上、シグマ・ハットと呼ぶ）で表記する。
【数３】
2020035146.tif 000005
【００２０】
共分散行列初期推定部９は、初期推定共分散行列の各要素である初期推定量を、以下の（４）式にて推定する。
【数４】
2020035146.tif 000006
【００２１】
（４）式において、ＩjkはＸijとＸjkがともに実測されている行番号ｉの集合であり、ｎjkはＩjkの要素数であり、ＸjバーとＸkバーはそれぞれＩjkにおけるｊ、ｋ列目のＸの平均値である。
【００２２】
（４）式は、実測されている変数ペアを用いて共分散行列を計算しているため、ペアワイズ共分散行列と呼ばれる。（４）式以外に、全変数が実測されているサンプルのみを用いて共分散行列（リストワイズ共分散行列と呼ばれる）を計算してもよい。あるいは、欠測が含まれる変数に関する共分散はゼロに置き換えてもよい。
【００２３】
また、欠測値を平均値や中央値といった代表値で置き換えたデータから通常の共分散行列を計算してもよい。また、上記で求めた初期推定量に対して、単位行列や零行列に近づけた行列を用いてもよい。共分散行列初期推定部９により、共分散行列の初期推定量を推定できる。
【００２４】
共分散行列推定部７は、初期推定共分散行列の各要素である初期推定量と、欠測率とを用いて、例えば以下の（５）式の最適化問題を解くことで、共分散行列を推定する。
【数５】
2020035146.tif 000007
【００２５】
（５）式に示すように、共分散行列推定部７は、初期推定共分散行列との距離を最小化するように共分散行列を推定する。より具体的には、共分散行列推定部７は、共分散行列の各要素と初期推定分散行列の対応する要素との差分に実測率を乗じた値の２乗和を最小化するように、共分散行列を推定する。すなわち、共分散行列推定部７は、共分散行列の各要素と初期推定共分散行列の対応する要素との差分に、１から欠測率を引いた値の累乗値を掛けて足し合わせた値が最小化するように、共分散行列を推定する。
【００２６】
（５）式において、||  ||Fは、行列のフロベニウスノルムであり、要素ごとの2乗の総和の平方根を表す。また、・は要素ごとの積(アダマール積)を表す。また、Σ≧0はΣが半正定値行列であるという制約条件を表す。フロベニウスノルムの代わりに、マックスノルムや尤度距離を用いてもよい。欠測率に適応的なノルムとして、Ｒの各成分の累乗をとった行列で重み付けてもよいし、さらに複雑な関数形の重み付けをしてもよい。半正定値行列の制約条件は、正定値行列でもよいし、条件数や固有値、特異値に基づく制約条件でもよい。上記の最適化問題は、交互方向乗数法(Alternating Direction Method of Multipliers; ADMM)などを用いて解くことができる。
【００２７】
Ｒを全要素が１の行列とし、ノルムをマックスノルムとした場合、上記の最適化問題及び以降の処理フローは、既存のCoCoLassoと一致する。CoCoLassoの場合、欠測率を考慮していないため、高欠測変数が存在していた場合に、その共分散値に引きずられて、共分散行列の推定精度が悪化してしまう。一方で、本実施形態では、欠測率を考慮しているため、高欠測変数が存在していた場合でも、共分散行列の推定に当該変数はほとんど影響せず、共分散行列の推定精度を維持することができる。つまり、CoCoLassoは高欠測データに弱く、本実施形態は高欠測データに強いという特徴がある。
【００２８】
共分散行列推定部７にて推定された共分散行列は、統計モデルを構築するために利用することができる。統計モデルの構築は、図１の情報処理装置１のモデル構築部１０が行う。モデル構築部１０は、推定された共分散行列を用いて、例えば回帰モデリングを行う。回帰式は、例えば（６）式で表される。
【数６】
2020035146.tif 000008
【００２９】
例えば、以下の（７）式の最適化問題を解くことで、（６）式で示す回帰モデルの推定値βハットを推定する。
【数７】
2020035146.tif 000009
【００３０】
||  ||1は、Ｌ１ノルムである。（７）式は、Ｘが欠測値のない完全データの場合、Lasso（Least Absolute Shrinkage and Selection Operator）と等価になる。上記の最適化問題は、Lassoと同様に座標降下法(Coordinate Descent Algorithm; CDA)などを用いて解くことができる。また、（７）式のρはXとyの共分散ベクトルであり、欠測値が含まれる場合にはペアごとに実測値のみを用いて、以下の（８）式のように算出される。
【数８】
2020035146.tif 000010
【００３１】
ただし、ＩjはＸijが実測されている行番号ｉの集合であり、ｎjはＩjの要素数であり、ＸjバーはＩjにおけるｊ列目のＸの平均値である。共分散ベクトルρの算出方法は、共分散行列の初期推定量Σハットと同様の他の方法を用いてもよい。
【００３２】
また、ｙに欠測が含まれている場合でも、共分散行列の初期推定量Σハットと同様の方法で算出できる。
【００３３】
共分散行列推定部７による共分散行列の推定と、モデル構築部１０による回帰モデルの構築は、別々に最適化するのではなく、同時に最適化してもよい。
【００３４】
（７）式のλは正則化パラメータと呼ばれるチューニングパラメータである。λのチューニングは、例えば、交差検証を用いて行われる。交差検証では、検証データでの誤差がもっともよくなるパラメータが採用される。交差検証において、検証データの誤差を算出する際に、検証データに欠測値が含まれる場合、検証データを何らかの方法で補完するか、もしくは、本発明で述べている共分散行列の推定方法と同様の方法で検証データの共分散行列を推定することで検証データの誤差を推定する。
【００３５】
この他、図１の情報処理装置１は、パラメータ設定部１１と、モデル評価部１２と、解析結果表示部１３とを備えていてもよい。
【００３６】
パラメータ設定部１１は、共分散行列推定部７が共分散行列を推定する際に使用するパラメータと、モデル構築部１０が回帰モデルを構築する際に使用するパラメータとを設定する。共分散行列を推定する際に使用するパラメータは、共分散行列の最小固有値の閾値や、最適化における繰り返し最大回数などを含む。回帰モデルを構築する際に使用するパラメータは、正則化パラメータの探索範囲や探索数を含む。
【００３７】
モデル評価部１２は、構築された回帰モデルの精度を評価する。回帰モデルの精度は、テストデータを用いて、例えば、平均二乗誤差、平均二乗平方誤差、決定係数、自由度調整付き決定係数等の精度指標により測定される。
【００３８】
解析結果表示部１３は、構築された回帰モデルの解析結果を表示する。解析結果は、回帰モデルの回帰係数、変数ごとの重要度、重要変数の推移、回帰モデルの精度、回帰モデルの予測値と実測値の散布図、各パラメータでの回帰モデルの精度の変化、等を含む。解析結果表示部１３は、情報処理装置１内の表示部に解析結果を表示してもよいし、解析結果をユーザインタフェース装置４に送って、ユーザインタフェース装置４内の表示部に解析結果を表示してもよい。また、解析結果をデータ管理装置３に格納してもよい。
【００３９】
図２は図１の情報処理装置１の処理動作の一例を示すフローチャートである。まず、データ取得部５にてデータを取得する（ステップＳ１）。次に、パラメータ設定部１１にて、共分散行列推定部７及びモデル構築部１０が使用する各種パラメータを設定する（ステップＳ２）。次に、共分散行列推定部７にて共分散行列を推定する（ステップＳ３）。次に、モデル構築部１０にて回帰モデルを構築する（ステップＳ４）。次に、モデル評価部１２にて回帰モデルを評価する（ステップＳ５）。次に、解析結果表示部１３にて回帰モデルの解析結果を表示する（ステップＳ６）。
【００４０】
図３は図２のステップＳ３の詳細な処理動作の一例を示すフローチャートである。まず、データ取得部５からデータを取得する（ステップＳ１１）。次に、パラメータ設定部１１から共分散行列の推定に用いられるパラメータを取得する（ステップＳ１２）。次に、取得したデータとパラメータに基づいて、共分散行列初期推定部９にて、共分散行列の初期推定量を算出する（ステップＳ１３）。次に、欠測率算出部６にて、変数ペアごとに欠測率を算出する（ステップＳ１４）。次に、共分散行列推定部７にて、共分散行列の初期推定量と欠測率に基づいて、共分散行列を推定する（ステップＳ１５）。
【００４１】
図４は図２のステップＳ４の詳細な処理動作の一例を示すフローチャートである。まず、データ取得部５からデータを取得する（ステップＳ２１）。次に、共分散行列推定部７から共分散行列を取得する（ステップＳ２２）。次に、パラメータ設定部１１から回帰モデルの構築に用いられるパラメータを取得する（ステップＳ２３）。次に、モデル構築部１０にて、共分散行列を用いて、回帰モデルを構築する（ステップＳ２４）。
【００４２】
図５は図２のステップＳ５の詳細な処理動作の一例を示すフローチャートである。まず、データ取得部５からデータを取得する（ステップＳ３１）。次に、モデル構築部１０から回帰モデルを取得する（ステップＳ３２）。次に、モデル評価部１２にて、回帰モデルの精度を算出する（ステップＳ３３）。
【００４３】
このように、第１の実施形態では、欠測率に基づいて共分散行列を推定するため、共分散行列の推定精度を向上させることができる。より具体的には、共分散行列の各要素と、初期設定共分散行列の各要素との差分を、欠測率に応じて重み付けた値に基づいて共分散行列を推定するため、高次元かつ高欠測データであっても、共分散行列の推定精度を向上できる。推定した共分散行列に基づいて回帰モデルを構築するため、高次元かつ高欠測データであっても、回帰モデルの精度を向上できる。
【００４４】
（第２の実施形態）
第１の実施形態では、共分散行列に基づいて回帰モデルを構築する例を説明したが、第２の実施形態は、共分散行列に基づいてグラフィカルモデルを構築するものである。
【００４５】
第２の実施形態による情報処理装置１及び情報処理システム２は、図１と同様に構成されるため、以下では、第１の実施形態との相違点を中心に説明する。
【００４６】
第２の実施形態による情報処理装置１は、モデル構築部１０の処理動作が第１の実施形態とは異なっている。第２の実施形態によるモデル構築部１０は、共分散行列推定部７で推定された共分散行列に基づいて、グラフィカルモデリングを行って、グラフィカルモデルを構築する。グラフィカルモデルθ∈行列Ｒp×pの推定値θハットは、以下の（９）式で表される。
【数９】
2020035146.tif 000011
【００４７】
ただし、ｄｅｔは行列式であり、ｔｒはトレースである。また、λは正則化パラメータと呼ばれるチューニングパラメータである。データＸが欠測値のない完全データの場合は、Graphical Lassoと等価になり、Graphical Lassoと同様の方法で上述した最適化問題を解くことができる。
【００４８】
第２の実施形態によるモデル評価部１２は、例えば、尤度、対数尤度、ブートストラップに基づくばらつき等を用いて、グラフィカルモデルを評価する。
【００４９】
図６は第２の実施形態による情報処理装置１の処理動作を示すフローチャートである。図６のステップＳ４１〜Ｓ４３は、図２のステップＳ１〜Ｓ３と同様である。モデル構築部１０は、ステップＳ４３で推定された共分散行列に基づいて、（９）式に従ってグラフィカルモデルを構築する（ステップＳ４４）。次に、モデル評価部１２にて、構築されたグラフィカルモデルを評価する（ステップＳ４５）。次に、解析結果表示部１３にて、構築されたグラフィカルモデルの解析結果を表示する（ステップＳ４６）。
【００５０】
このように、第２の実施形態では、欠測率に基づいて推定した共分散行列を用いて、グラフィカルモデルを構築するため、グラフィカルモデルの精度を向上できる。
【００５１】
上述した実施形態で説明した情報処理装置１及び情報処理システム２の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、情報処理装置１及び情報処理システム２の少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ−ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。
【００５２】
また、情報処理装置１及び情報処理システム２の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線(無線通信も含む)を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。
【符号の説明】
【００５３】
１  情報処理装置、２  情報処理システム、３  データ管理装置、４  ユーザインタフェース装置、５  データ取得部、６  欠測率算出部、７  共分散行列推定部、８  データ格納部、９  共分散行列初期推定部、１０  モデル構築部、１１  パラメータ設定部、１２  モデル評価部、１３  解析結果表示部
【図１】
2020035146.tif 000012
【図２】
2020035146.tif 000013
【図３】
2020035146.tif 000014
【図４】
2020035146.tif 000015
【図５】
2020035146.tif 000016
【図６】
2020035146.tif 000017