(57)【特許請求の範囲】
【請求項１】
評価対象の性質を数値によって表した少なくとも１つの変数と、地理空間における位置を示す位置データとを含む複数の事例を有する地理空間データを記憶する地理空間データ記憶手段と、
前記変数の確率分布をモデル化した複数の各確率モデルのパラメータを表すパラメータ情報を記憶するパラメータ記憶手段と、
前記地理空間における前記位置毎に適用するべき前記確率モデルを表した適用モデル情報を記憶する適用モデル情報記憶手段と、
前記地理空間内の各前記位置に適用されるべき確率モデルと、前記地理空間内の各前記位置に対してあらかじめ定義した近傍範囲に含まれる１つ以上の近傍位置に適用される確率モデルとの関係に基づいて、同一または異なる２つの前記確率モデルからなる各組について前記２つの確率モデル間の依存性を数値によって表したモデル依存性情報を算出するモデル依存性算出手段と、
前記モデル依存性算出手段によって算出された前記モデル依存性情報を記憶するモデル依存性情報記憶手段と、
前記パラメータ情報と前記モデル依存性情報との組に対する前記地理空間データの尤度が高くなるように、前記地理空間における位置毎に適用するべき前記確率モデルを前記複数の確率モデルの中から選択し、前記位置毎に選択した前記確率モデルを示すように前記適用モデル情報を更新する確率モデル選択手段と、
前記更新された適用モデル情報に基づき、前記地理空間データを、同一の確率モデルが適用される複数のグループに分割し、あらかじめ与えられたモデル規範を最大化するように、前記複数のグループの各々に対応する前記確率モデルのパラメータを学習し、各前記確率モデルの学習されたパラメータを示すように前記パラメータ情報を更新するパラメータ学習手段と、
を備えたモデル構築装置。
【請求項２】
前記モデル依存性算出手段は、さらに、前記更新された適用モデル情報に基づき、前記モデル依存性情報を算出し、算出したモデル依存性情報を示すように前記モデル依存性情報記憶手段内の前記モデル依存性情報を更新し、
前記確率モデル選択手段は、更新されたパラメータ情報と、更新されたモデル依存性情報との組に対する前記地理空間データの尤度が高くなるように、前記地理空間における位置毎に適用するべき前記確率モデルを選択する、
ことを特徴とする請求項１に記載のモデル構築装置。
【請求項３】
前記少なくとも１つの変数は、Ｌ（Ｌは２以上の整数）個の変数を含み、
前記確率モデルは、Ｌ−Ｓ（Ｓは１以上の整数）個の前記変数が与えられたときの残りのＳ個の前記変数の確率分布をモデル化したものである、
ことを特徴とする請求項１または２に記載のモデル構築装置。
【請求項４】
前記モデル依存性算出手段は、
前記適用モデル情報から各前記確率モデルの頻度を１次頻度情報として算出し、
前記地理空間における各前記位置の確率モデルと、各前記位置の前記近傍範囲に含まれる前記近傍位置の前記確率モデルとの組を求めることにより、前記同一または異なる前記２つの確率モデルの各組の頻度を２次頻度情報として算出し、
前記１次頻度情報と前記２次頻度情報とを用いて、前記モデル依存性情報を算出する、  ことを特徴とする請求項１ないし３のいずれか一項に記載のモデル構築装置。
【請求項５】
前記モデル依存性算出手段は、
前記１次頻度情報から、前記同一または異なる前記２つの確率モデルからなる各組の頻度の期待値を算出し、
各前記組の頻度の期待値と、前記２次頻度情報に示される各前記組の頻度との差に基づいて、前記モデル依存性情報を算出する、
ことを特徴とする請求項４に記載のモデル構築装置。
【請求項６】
評価対象の性質を数値によって表した少なくとも１つの変数と、地理空間における位置を示す位置データとを含む複数の事例を有する地理空間データを記憶する地理空間データ記憶手段と、
前記変数の確率分布をモデル化した複数の各確率モデルのパラメータを表すパラメータ情報を記憶するパラメータ記憶手段と、
前記地理空間における前記位置毎に適用するべき前記確率モデルを表した適用モデル情報を記憶する適用モデル情報記憶手段と、
を準備する準備ステップと、
前記地理空間内の各前記位置に適用されるべき確率モデルと、前記地理空間内の各前記位置に対してあらかじめ定義した近傍範囲に含まれる１つ以上の近傍位置に適用される確率モデルとの関係に基づいて、同一または異なる２つの前記確率モデルからなる各組について前記２つの確率モデル間の依存性を数値によって表したモデル依存性情報を算出するモデル依存性情報算出ステップと、
前記モデル依存性情報をモデル依存性情報記憶手段に記憶するステップと、
前記パラメータ情報と前記モデル依存性情報との組に対する前記地理空間データの尤度が高くなるように、前記地理空間における位置毎に適用するべき前記確率モデルを前記複数の確率モデルの中から選択し、前記位置毎に選択した前記確率モデルを示すように前記適用モデル情報を更新する確率モデル選択ステップと、
前記更新された適用モデル情報に基づき、前記地理空間データを、同一の確率モデルが適用される複数のグループに分割し、あらかじめ与えられたモデル規範を最大化するように、前記複数のグループの各々に対応する前記確率モデルのパラメータを学習し、各前記確率モデルの学習されたパラメータを示すように前記パラメータ情報を更新するパラメータ学習ステップと、
を備えたモデル構築方法。
【請求項７】
評価対象の性質を数値によって表した少なくとも１つの変数と、地理空間における位置を示す位置データとを含む複数の事例を有する地理空間データを記憶する地理空間データ記憶手段にアクセスするステップと、
前記変数の確率分布をモデル化した複数の各確率モデルのパラメータを表すパラメータ情報を記憶するパラメータ記憶手段にアクセスするステップと、
前記地理空間における前記位置毎に適用するべき前記確率モデルを表した適用モデル情報を記憶する適用モデル情報記憶手段にアクセスするステップと、
前記地理空間内の各前記位置に適用されるべき確率モデルと、前記地理空間内の各前記位置に対してあらかじめ定義した近傍範囲に含まれる１つ以上の近傍位置に適用される確率モデルとの関係に基づいて、同一または異なる２つの前記確率モデルからなる各組について前記２つの確率モデル間の依存性を数値によって表したモデル依存性情報を算出するモデル依存性算出ステップと、
前記モデル依存性情報をモデル依存性情報記憶手段に記憶するステップと、
前記パラメータ情報と前記モデル依存性情報との組に対する前記地理空間データの尤度が高くなるように、前記地理空間における位置毎に適用するべき前記確率モデルを前記複数の確率モデルの中から選択し、前記位置毎に選択した前記確率モデルを示すように前記適用モデル情報を更新する確率モデル選択ステップと、
前記更新された適用モデル情報に基づき、前記地理空間データを、同一の確率モデルが適用される複数のグループに分割し、あらかじめ与えられたモデル規範を最大化するように、前記複数のグループの各々に対応する前記確率モデルのパラメータを学習し、各前記確率モデルの学習されたパラメータを示すように前記パラメータ情報を更新するパラメータ学習ステップと、
を備えたモデル構築プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、たとえばモデルパラメータ数の多い場合に用いて好適なモデル構築装置、モデル構築方法およびモデル構築プログラムに関する。
【背景技術】
【０００２】
分析対象物の何らかの性質が数値として表すことができ、その性質が確率的な振る舞いをするとき、数値化された性質は確率変数と呼ばれる。いくつかのモデルパラメータθを用いて１つ以上の確率変数の振る舞いを簡潔に表すためにさまざまな確率モデルが提案されている。
【０００３】
例えば、下記の式(1)の正規分布モデルは平均(μ)と標準偏差(σ)という２つのモデルパラメータ(θ={μ, σ})を用いて確率変数Xが値xをとりうる確率を記述することが可能な確率モデルである。
【数１】
0005175515.tif 000002
【０００４】
確率モデルには大きく分けて２つの種類が存在する。１つは生成モデルと呼ばれ、もう一つは予測モデルと呼ばれる。前者の生成モデルは、対象の性質に関する１つ以上の確率変数である属性変数Xがあるとき、Xが特定の値xをとる確率(Pr(X=x))を記述するための確率モデルである。一方、後者の予測モデルは、属性変数Xの他に対象の性質に関する１つ以上の確率変数である目的変数Yを用意し、Xが特定の値xをとるときにYが特定の値yをとる確率(Pr(Y=y|X=x))を記述するための確率モデルである。例えば、式(1)の一次元正規分布モデルや多次元正規分布モデルは生成モデルであり、線形重回帰モデルや一般化線形モデルなどは予測モデルに分類される。
【０００５】
確率モデルのパラメータは、モデル化したい性質について数値化した情報を複数の対象物について収集した学習データから決定(学習)することができる。確率モデル構築装置は読み込んだ学習データを用いて最適な確率モデルのパラメータを決定するための装置である。
【０００６】
正規分布やポアソン分布などの単純な確率分布を用いて複雑な確率的現象をモデル化するために、単純な確率分布を２つ以上組み合わせた混合モデルと呼ばれる確率モデルが用いられる。混合モデルにおいて、各事例の振る舞いは複数存在する単純な確率分布のいずれか（あるいは組み合わせ）によって説明できればよい。混合モデルのモデルパラメータは学習データを用いてEMアルゴリズムなどによって決定することができる（非特許文献１）。
【０００７】
店舗の売り上げや地価、人口動態などの地表上で生じる現象に関する確率変数について確率モデルによって振る舞いを正確に表現できれば、対象地域における店舗の売り上げや地価の予測、人口動態の構造解析など様々な応用を行うことができる。そのためには、そのような地理空間的な現象のための確率モデルである地理空間モデルを、地理空間情報を含む学習データである地理空間データから決定することが必要になる。
【０００８】
複雑な地理空間的現象をモデル化するためには混合モデルを用いることが有効であるが、地理空間的現象には空間依存性が存在する場合がある。例えば、対象エリアの各地点における機器の故障発生について数値化した故障指数という確率変数が(単純な正規分布では表現しきれないといった)複雑な振る舞いを示すため、混合モデルを用いてモデル化する場合を考える。故障指数の分布が単純な正規分布にならないのは、塩害という隠れた空間的要因が存在するためであり、海に近いエリアと海から遠いエリアとでは故障指数の確率分布が異なるからだとする。そのような場合、ある地点が塩害エリアに含まれるとき隣の地点も塩害エリアに含まれる可能性は高いという点を考慮してモデルパラメータθの学習を行わなければならない。空間依存性が存在する地理空間的現象を扱うためには、このような地点と地点との位置的な関係を考慮した混合モデルである地理空間混合モデルを構築することが必要になるが、通常のEMアルゴリズムなどでは空間依存性を考慮したパラメータ学習を行うことができない。
【０００９】
空間依存性を考慮した確率モデルとしては、画像処理などに応用されているマルコフ確率場(Markov Random Fields, 以下MRF)が存在する（非特許文献２）。MRFでは空間依存性パラメータλ(以下MRFパラメータ)を用いることによって隣接する地点間の依存関係を考慮している。MRFパラメータは画像サンプルデータから決定することができる。一般に画像処理の学習データにはどのピクセルとどのピクセルが異なるラベルになるかに関する情報が含まれているが、地理空間データを用いて混合モデルを構築する際にはそのような領域の境界情報が得られない点が地理空間混合モデル構築の困難さのひとつである。
【００１０】
MRFによって空間依存性を考慮した地理空間混合モデル構築方法として非特許文献３に提案された方法がある。非特許文献３の方法ではn次元連続値ベクトルであるモデルパラメータθのすべての組み合わせについてMRFパラメータλを導入し、準ニュートン法とマルコフ連鎖モンテカルロ法(以下MCMC法)によってθとλの推定を行っている。
【非特許文献１】Finite Mixture Models, Wiley-Interscience, ISBN: 0471006262
【非特許文献２】Image Analysis, Random Fields and Markov Chain Monte Carlo Methods: A Mathematical Introduction, Springer, ISBN: 3540442138
【非特許文献３】Mark S. Kaiser, Noel Cressie, Jaehyung Lee, Spatial Mixture Models based on Exponential Family Conditional Distributions, Statistica Sinica 12, pages 449-474, 2002.
【発明の開示】
【発明が解決しようとする課題】
【００１１】
MRFを用いた地理空間混合モデル構築によって地理的な空間依存性を考慮しつつ混合モデルを構築することが可能になるが、既存手法ではモデルパラメータθの個数nに対してn×n個のMRFパラメータλが必要であった。そして、準ニュートン法とMCMC法によって厳密な最適パラメータを求めているため、個数nが多い確率モデルを用いた混合モデルでは多くの学習データと計算時間が必要になってしまうという問題点があった。
【００１２】
本発明は以上のような問題を解決するためになされたものであり、その目的は、モデルパラメータの多い場合にも効率的に地理空間混合モデルを構築可能なモデル構築装置、モデル構築方法およびモデル構築プログラムを提供することにある。
【課題を解決するための手段】
【００１３】
本発明の一態様としてのモデル構築装置は、
評価対象の性質を数値によって表した少なくとも１つの変数と、地理空間における位置を示す位置データとを含む複数の事例を有する地理空間データを記憶する地理空間データ記憶手段と、
前記変数の確率分布をモデル化した複数の各確率モデルのパラメータを表すパラメータ情報を記憶するパラメータ記憶手段と、
前記地理空間における前記位置毎に適用するべき前記確率モデルを表した適用モデル情報を記憶する適用モデル情報記憶手段と、
前記地理空間内の各前記位置に適用されるべき確率モデルと、前記地理空間内の各前記位置に対してあらかじめ定義した近傍範囲に含まれる１つ以上の近傍位置に適用される確率モデルとの関係に基づいて、同一または異なる２つの前記確率モデルからなる各組について前記２つの確率モデル間の依存性を数値によって表したモデル依存性情報を算出するモデル依存性算出手段と、
前記モデル依存性算出手段によって算出された前記モデル依存性情報を記憶するモデル依存性情報記憶手段と、
前記パラメータ情報と前記モデル依存性情報との組に対する前記地理空間データの尤度が高くなるように、前記地理空間における位置毎に適用するべき前記確率モデルを前記複数の確率モデルの中から選択し、前記位置毎に選択した前記確率モデルを示すように前記適用モデル情報を更新する確率モデル選択手段と、
前記更新された適用モデル情報に基づき、前記地理空間データを、同一の確率モデルが適用される複数のグループに分割し、あらかじめ与えられたモデル規範を最大化するように、前記複数のグループの各々に対応する前記確率モデルのパラメータを学習し、各前記確率モデルの学習されたパラメータを示すように前記パラメータ情報を更新するパラメータ学習手段と、
を備える。
【００１４】
本発明の一態様としてのモデル構築方法は、
評価対象の性質を数値によって表した少なくとも１つの変数と、地理空間における位置を示す位置データとを含む複数の事例を有する地理空間データを記憶する地理空間データ記憶手段と、
前記変数の確率分布をモデル化した複数の各確率モデルのパラメータを表すパラメータ情報を記憶するパラメータ記憶手段と、
前記地理空間における前記位置毎に適用するべき前記確率モデルを表した適用モデル情報を記憶する適用モデル情報記憶手段と、
を準備する準備ステップと、
前記地理空間内の各前記位置に適用されるべき確率モデルと、前記地理空間内の各前記位置に対してあらかじめ定義した近傍範囲に含まれる１つ以上の近傍位置に適用される確率モデルとの関係に基づいて、同一または異なる２つの前記確率モデルからなる各組について前記２つの確率モデル間の依存性を数値によって表したモデル依存性情報を算出するモデル依存性情報算出ステップと、
前記モデル依存性情報をモデル依存性情報記憶手段に記憶するステップと、
前記パラメータ情報と前記モデル依存性情報との組に対する前記地理空間データの尤度が高くなるように、前記地理空間における位置毎に適用するべき前記確率モデルを前記複数の確率モデルの中から選択し、前記位置毎に選択した前記確率モデルを示すように前記適用モデル情報を更新する確率モデル選択ステップと、
前記更新された適用モデル情報に基づき、前記地理空間データを、同一の確率モデルが適用される複数のグループに分割し、あらかじめ与えられたモデル規範を最大化するように、前記複数のグループの各々に対応する前記確率モデルのパラメータを学習し、各前記確率モデルの学習されたパラメータを示すように前記パラメータ情報を更新するパラメータ学習ステップと、
を備える。
【００１５】
本発明の一態様としてのモデル構築プログラムは、
評価対象の性質を数値によって表した少なくとも１つの変数と、地理空間における位置を示す位置データとを含む複数の事例を有する地理空間データを記憶する地理空間データ記憶手段にアクセスするステップと、
前記変数の確率分布をモデル化した複数の各確率モデルのパラメータを表すパラメータ情報を記憶するパラメータ記憶手段にアクセスするステップと、
前記地理空間における前記位置毎に適用するべき前記確率モデルを表した適用モデル情報を記憶する適用モデル情報記憶手段にアクセスするステップと、
前記地理空間内の各前記位置に適用されるべき確率モデルと、前記地理空間内の各前記位置に対してあらかじめ定義した近傍範囲に含まれる１つ以上の近傍位置に適用される確率モデルとの関係に基づいて、同一または異なる２つの前記確率モデルからなる各組について前記２つの確率モデル間の依存性を数値によって表したモデル依存性情報を算出するモデル依存性算出ステップと、
前記モデル依存性情報をモデル依存性情報記憶手段に記憶するステップと、
前記パラメータ情報と前記モデル依存性情報との組に対する前記地理空間データの尤度が高くなるように、前記地理空間における位置毎に適用するべき前記確率モデルを前記複数の確率モデルの中から選択し、前記位置毎に選択した前記確率モデルを示すように前記適用モデル情報を更新する確率モデル選択ステップと、
前記更新された適用モデル情報に基づき、前記地理空間データを、同一の確率モデルが適用される複数のグループに分割し、あらかじめ与えられたモデル規範を最大化するように、前記複数のグループの各々に対応する前記確率モデルのパラメータを学習し、各前記確率モデルの学習されたパラメータを示すように前記パラメータ情報を更新するパラメータ学習ステップと、
を備える。
【発明の効果】
【００１６】
本発明により、モデルパラメータの多い場合にも効率的に混合モデルを構築できる。
【発明を実施するための最良の形態】
【００１７】
以下、図面に基づいて、本発明の実施の形態について説明する。
【００１８】
図２は、本発明に関わる地理空間混合モデル構築装置の一実施の形態を示した構成図である。図２に示されるように、この本発明に関わる地理空間混合モデル構築装置は、地理空間データ記憶手段（地理空間データ記憶手段）２０１、混合モデル学習手段（パラメータ学習手段）２０２、混合モデルパラメータ記憶手段（パラメータ記憶手段）２０３、地点状態最尤推定手段（確率モデル選択手段）２０４、地点状態記憶手段（適用モデル情報記憶手段）２０５、地点状態MRFパラメータ推定手段（モデル依存性算出手段）２０６、地点状態MRFパラメータ記憶手段（モデル依存性情報記憶手段）２０７を備えている。
【００１９】
各手段はたとえばプログラムモジュールとして実現することができ、この場合、各プログラムモジュールを含むプログラムを図１に示すコンピュータシステムおいて実行することで各手段による機能を実現することができる。このコンピュータシステムには、プログラム命令を実行するＣＰＵ１０２、メモリ等の主記憶装置１０３、ハードディスク、磁気ディスク装置または光磁気ディスク装置等の外部記憶装置１０４、ユーザによるデータ入力を行う入力装置１０５、ユーザにデータ表示を行う表示装置１０６およびこれらを互いに接続するバス１０１が備わっている。
【００２０】
図２において、地理空間データ記憶手段２０１には、モデル化対象の地理空間的な現象に関連する様々な性質を数値化した確率変数である対象変数データと、地理上の位置を表す位置データとを含む地理空間データが記憶される。地理空間データには複数の事例が格納されている。
【００２１】
生成モデルを構築したい場合には対象変数データにはひとつ以上の属性変数Xが含まれ、予測モデルを構築したい場合には対象変数データにはひとつ以上の属性変数Xとひとつ以上の目的変数Yが含まれなければならない。
【００２２】
背景技術の欄で説明したように、生成モデルは、対象の性質に関する１つ以上の確率変数である属性変数Xがあるとき、Xが特定の値xをとる確率(Pr(X=x))を記述するための確率モデルである。一方、予測モデルは、属性変数Xの他に対象の性質に関する１つ以上の確率変数である目的変数Yを用意し、Xが特定の値xをとるときにYが特定の値yをとる確率(Pr(Y=y|X=x))を記述するための確率モデルである。例えば、一次元正規分布モデルや多次元正規分布モデルは生成モデルであり、線形重回帰モデルや一般化線形モデルなどは予測モデルに分類される。ここで予測モデルにおいて属性変数Ｘと目的変数Ｙとの集合は、たとえばＬ個の変数に相当し、予測モデル（確率モデル）は、Ｌ−Ｓ（Ｓは１以上の整数）個の変数が与えられたときの残りのＳ個の変数の確率分布をモデル化したものといえる。
【００２３】
位置データは対象変数データの各事例の位置に関する情報を集めたものであり、例えば、空間を格子状に区切っていた場合には格子位置のインデックスなどが含まれる。その他、対象物の緯度経度やポリゴン情報などが含まれていてもよい。
【００２４】
図４（Ａ）は地理空間データの例を示し、格子位置のインデックスという位置データであるPos属性（位置属性）、各格子における機器の故障発生指数（たとえば故障発生件数）を表すX属性、および、事例番号に相当するID属性が含まれている。図４（Ｂ）はPos（位置）に従ってIDを格子状に並べたものを表し、図４（Ｃ）はPos（位置）に従ってXを格子状に並べたものを表す。この例では、５×５＝２５個の格子が存在する。
【００２５】
混合モデルパラメータ記憶手段２０３には、混合モデルを構成するあらかじめ定められた確率モデルの個数k（kは２以上の整数）に従って、各確率モデルのパラメータ{θ1, …, θk}が混合モデルパラメータθとして記憶される。
【００２６】
図５はk=3の混合モデルパラメータの例を示す。モデルパラメータθは、{a,b,c}へラベル付けされた、３つの確率モデルのモデルパラメータ{θa, θb, θc}を含む。各確率モデルのパラメータは下記の式(１)の１次元正規分布の平均μと標準偏差σから構成されており、モデルパラメータ数n=２ということになる。よって、この例では混合モデルパラメータの総数n×k=６となる。
【数２】
0005175515.tif 000003
【００２７】
地点状態記憶手段２０５には、各地点（Pos）において混合モデルに含まれる確率モデルのうちどれを用いるかを識別するための離散値情報が地点状態S（適用モデル情報）として格納される。図６（Ｂ）は図４の地理空間データと図５の混合モデルパラメータとを用いたときの地点状態の例であり、２５個の各格子に対して{a,b,c}のいずれかの識別ラベルが付与されている。
【００２８】
地点状態MRFパラメータ記憶手段２０７には、地点状態Sに関するマルコフ確率場の空間依存性パラメータλ（モデル依存性情報）が格納される。地点状態Sの空間依存関係をマルコフ確率場でモデル化すると、例えば、ある地点Siがラベルaとなる確率は式(2)のように表すことができる（非特許文献２）。
【数３】
0005175515.tif 000004
ここで、N(Si)はSiの近傍である。また、λはN(Si)(Siの近傍)のラベル値がSiのラベル値に与える影響をモデル化するためのパラメータであり、λ=0の場合には近傍のラベル値によるSiのラベル値への影響はないとみなすことができる。
【００２９】
以降の説明では２次元空間（平面）内において上下左右に隣り合う位置群を“近傍”（近傍範囲）と定義する。ただし、近傍の定義は、モデル構築の目的に応じて、異なってもよい。たとえばある位置からみて左隣の位置のみを近傍とし、上隣、右隣、上隣の各位置は、近傍に含めない場合も考えられる。またある位置からみて上下左右にそれぞれ２つ先の位置を近傍と定義する場合も考えられる。また、空間データが３次元の位置情報を有する場合は、３次元空間で近傍が定義されてもよい。
【００３０】
図１０（Ｂ）は２次の近傍を採用した場合の地点状態MRFパラメータの例を示している。ここで、(a,a)=1は、地点Siがaとなる確率は近傍にラベルaが存在すると高くなるという依存関係を表し、(a,c)=-1は、地点Siがaとなる確率は近傍にラベルcが存在すると低くなるという依存関係を表し、(a,b)=1は、地点Siがaとなる確率は近傍にラベルbが存在しても影響ないことを表す（非特許文献２参照）。
【００３１】
混合モデル学習手段２０２では、地理空間データ記憶手段２０１に記憶された地理空間データと地点状態記憶手段２０５に記憶された地点状態を用いて混合モデルパラメータを学習し、学習した混合モデルパラメータを混合モデルパラメータ記憶手段２０３に格納する。
【００３２】
図３は、本発明に関わる混合モデル学習手段の一実施の形態を示した構成図である。図３に示されるように、この本発明に関わる混合モデルパラメータ学習手段は、初期混合モデル学習手段３０１、地理空間データ分割手段３０２、分割地理空間データ記憶手段３０３、モデル学習手段３０４、を備えている。
【００３３】
初期混合モデル学習手段３０１では、各地点に対し地点状態の値（図６（Ｂ））が定まっていない場合に各事例に空間的依存性が存在しないと仮定して、各事例に基づき混合モデルパラメータを算出し、算出した混合モデルパラメータを混合モデルパラメータ記憶手段２０３に格納する。この際、確率モデルの個数と、確率モデルの型とはあらかじめユーザにより指定しておく。空間的依存性を無視する場合、EMアルゴリズムなどの一般的な方法によって混合モデルのモデルパラメータを得ることが可能である（非特許文献１）。なおユーザにより混合モデルのモデルパラメータを指定してもよい。
【００３４】
地理空間データ分割手段３０２では、各地点に対する地点状態の値が定まっている場合に、地理空間データ（図４（Ａ））の各事例を地点状態値によって排他的に分割する。すなわち、地理空間データDを地点状態Sの値({1,..k})に従って{D1,…,Dk}に分割する。{D1,…,Dk}はそれぞれ分割地理空間データ（グループ）に相当する。地理空間データ分割手段３０２は、各分割地理空間データを分割地理空間データ記憶手段３０３に格納する。
【００３５】
モデル学習手段３０４では、分割地理空間データのそれぞれ(Di)を用いてモデル学習を行うことによりモデルパラメータ(θi)を決定し、各分割地理空間データから得られたモデルパラメータの集合を混合モデルパラメータとして混合モデルパラメータ記憶手段２０３に格納する。つまり、モデル学習手段３０４は、各分割地理空間データ（グループ）に対して、モデル学習アルゴリズムに応じた規範（あらかじめ与えられたモデル規範）を最大化するように、各分割地理空間データに対応する確率モデルのモデルパラメータを学習（最適化）する。このモデル学習では空間依存性を考慮する必要はない。
【００３６】
本実施形態では確率モデルとして正規分布モデルを用いているため、モデル学習アルゴリズムとしてはたとえば最尤推定またはベイズ推定などを用いることができる。最尤推定の場合は、モデル規範を最大化することは、学習データ（分割地理空間データ）に対して、正規分布モデル（正規分布関数）に基づいた尤度関数の値（尤度）を最大化することに相当する。
【００３７】
確率モデルとしては、正規分布モデルの他にも、線形回帰分析、決定木、ベイジアンネットを利用した確率モデルも可能である。線形回帰分析では、モデル規範を最大化することは、学習データ（分割地理空間データ）と、線形回帰モデルの出力との自乗誤差を最小にすることに相当する。決定木では、モデル規範を最大化することは、学習データに対して情報量またはGini値などの値を最大にすることに相当する。ベイジアンネットでは、モデル規範を最大化することは、学習データに対して事後分布を最大化すること（尤度の最大化）に相当する。
【００３８】
地点状態最尤推定手段２０４では、混合モデルパラメータθと地点状態MRFパラメータλ、および、地理空間データDを用いて、混合モデルパラメータと地点状態MRFパラメータが与えられたときの地理空間データの尤度がなるべく高くなるような地点状態S*を推定する。すなわち、
【数４】
0005175515.tif 000005
となるS*を求める。式(3)において地点状態Sは地理空間データDにおける各事例の地点状態の集合であり、地点状態の全ての組み合わせ中から、Prが最大になるSを求める。ただし、Sの取りうる値は非常に多いため局所最適解を求めることしかできないことが多い。式(3)の局所最適解の探索方法としては、MCMC法、ICM法など様々な手法が提案されている（非特許文献２）。地点状態最尤推定手段２０４は、各事例について推定した地点状態の集合を地点状態Sとして地点状態記憶手段２０５に格納する。
【００３９】
地点状態MRFパラメータ推定手段２０６では、地点状態記憶手段２０５内の地点状態Sを用いて地点状態MRFパラメータλを推定し、推定した地点状態MRFパラメータλを地点状態MRFパラメータ記憶手段２０７に格納する。
【００４０】
図７は、本発明に関わる地点状態MRFパラメータ推定手段の一実施の形態を示した構成図である。図７に示されるように、この本発明に関わる地点状態MRFパラメータ推定手段は、１次頻度算出手段７０１、２次頻度算出手段７０２、および、空間依存パラメータ算出手段７０３を備えている。
【００４１】
１次頻度算出手段７０１は地点状態から各離散値（a, b, c）の頻度を算出し、２次頻度算出手段７０２は、同一または異なる離散値の組の頻度を算出する。そして、空間依存パラメータ算出手段７０３は、算出された１次頻度と２次頻度から地点状態MRFパラメータ（依存性情報）を算出し、地点状態MRFパラメータ記憶手段２０７に格納する。地点状態MRFパラメータ推定手段の詳細な動作説明は後述する。
【００４２】
図８は、図２の地理空間混合モデル構築装置により行われる処理の実行手順を示したフローチャートである。図８に示されるように、この地理空間混合モデル構築装置の実行手順は、初期混合モデル学習ステップ８０１、地点状態最尤推定ステップ８０２、混合モデル学習ステップ８０３、地点状態MRFパラメータ推定ステップ８０４、終了判定ステップ８０５を備えている。以下では、図４の地理空間データを用いて、図８のフローチャートの実行過程を詳しく述べる。
【００４３】
ステップ８０１では、混合モデル学習手段２０２における初期混合モデル学習手段３０１によって、各事例に空間的依存性が存在しないと仮定して混合モデルパラメータを算出する。図５はステップ８０１によって算出された混合モデルパラメータの一例を示す。ラベル{a,b,c}が付けられた３つの正規分布モデル({Ma,Mb,Mc}と表す)のモデルパラメータ{θa, θb, θc}が示される。
【００４４】
ステップ８０２では、地点状態最尤推定手段２０４によって、上述した式(3)によって表される地点状態Sの最尤推定値(現実的には近似最適値)が算出される。
【００４５】
より詳しくは、まず、すべての地点について、属性変数値xと{Ma,Mb,Mc}との乖離値を計算する。例えば、正規分布モデルにおける乖離値としては、式(1)のlogをとったものに-1を掛けた式(4)などを用いることができる。なお、属性変数値xが平均値のとき、乖離値は最小である。
【数５】
0005175515.tif 000006
式(4)を用いると、例えば、事例(ID=)1とモデルMaとの乖離値は、
【数６】
0005175515.tif 000007
と算出できる。
【００４６】
すべての事例について{Ma,Mb,Mc}とX（各事例のxの集合）との乖離値を計算した結果を図６（Ａ）の表における{Ma,Mb,Mc}にそれぞれ示す。また、最も乖離値が小さいモデルの識別値を図６（Ａ）の表におけるBestに示す。
【００４７】
次に、得られた乖離値と地点状態MRFパラメータλとを用いて最適な地点状態推定値を決定する。現時点では、ステップ８０２の１回目であり、λは定まっていないので、λ=0とみなされる。その場合、各地点についてBestの値が、最適な地点状態値として推定される。図６（Ｂ）はそのようにして得られた地点状態を示している。また、図６（Ｃ）は、図６（Ｂ）の地点状態値を空間的にプロットしたものを示し、図６（Ｄ）は、図６（Ｂ）の各地点状態値を、ラベルa, b, cごとに塗りつぶしパターンを変えてプロットしたものを示す。
【００４８】
ステップ８０３では、得られた地点状態Sと地理空間データDとを用いてモデルパラメータθの学習を行う。上記ステップ８０２の一回目における地点状態Sの算出ではλ=0とみなしたため、ステップ８０３の一回目では、ステップ８０１で得られた初期混合モデルと同じモデルパラメータθが得られる(よって、ステップ８０３の１回目はスキップしてよい。ここではスキップしたと仮定する)。
【００４９】
ステップ８０４では、ステップ８０２で得られた地点状態Sから地点状態MRFパラメータ推定手段２０６によって、地点状態に関する空間依存性のパラメータλ（依存性情報）が推定される。例えば、図６（Ｂ）〜図６（Ｄ）の地点状態が得られた場合、まず、地点状態MRFパラメータ推定手段２０６における１次頻度算出手段７０１によって、各格子における各ラベル（a〜c）の頻度π1（１次頻度）が算出される。次に、２次頻度算出手段７０２によって、各格子と隣接する格子とのペアについて、重複を避けてラベルペアの頻度π2（２次頻度）が算出される。図９（Ａ）と図９（Ｂ）に、１次頻度π１の例と２次頻度π２の例をそれぞれ示す。この例では図９（Ｂ）から、４０個のラベルペアが存在するこがわかる。
【００５０】
得られた１次頻度π1と２次頻度π2を用いて、地点状態MRFパラメータ推定手段２０６における空間依存パラメータ算出手段７０３によって、例えば以下のような手順に従って地点状態に関する空間依存性のパラメータλを推定する。
【００５１】
まず、ラベルペアの頻度π2と、ラベルの頻度π1から計算されるラベルペアの期待値との差をλ’として算出する。
【００５２】
例えば、図９（Ａ）から、ラベルaの生じる確率は12/25であり、したがってラベルペアa-aが生じる確率は(12/25)2である。一方、実際のラベルペアa-aの発生確率は図９（Ｂ）から10/40である。そこで、これらの確率の比のlogをとると、λ’(a,a)=log((10/40)/(12/25)2)≒0.035となる。λ’が正の値をとるということは１次頻度π１から算出された２次頻度の期待値よりも、実際の２次頻度π２のほうが大きいということなので、aのとなりはaになりやすいという正の自己相関が働いていると推定できる。
【００５３】
また、ラベルペアa-cが生じる確率は図９（Ａ）から2*(12/25)*(4/25)となるので、λ’(a,c)≒-0.311となる。λ’が負の値をとるということは１次頻度π１から算出された２次頻度の期待値よりも、実際の２次頻度π２のほうが小さいということなので、aのとなりはcになりにくいという負の相互相関が働いていると推定できる。
【００５４】
他のラベルペアについても同様にしてλ’を算出し、算出した全てのλ’をまとめたものを図１０（Ａ）に示す。
【００５５】
ここで、自己相関に関してはλ’>0となるものは+1、そうでないものは0とし、相互相関に関してはλ’<0となるものは-1、そうでないものは0とする。すなわち自己相関に関しては負の相関は考慮せず、正の相関が働くか否かのみを考慮し、相互相関に関しては正の相関は考慮せず、負の相関が働くか否かのみを考慮する。このようにしてλ’の値を変更すると、図１０（Ｂ）に示すように各ラベルペアについて空間依存性のパラメータλが得られる。
【００５６】
λ’およびλの算出方法は様々なバリエーションが考えられる。例えば、λ’=λとしたり、λが{0, +1, -1}以外の値をとり得るようにしたり、ユーザーパラメータαなどを導入して{0, +α, -α}の値をとるようにしたりすることができる。
【００５７】
ステップ８０５では、終了条件が満たされるか否かの判定が行われ終了条件が満たされる場合は処理を終了し、満たされない場合はステップ８０２に戻る。終了条件としては、図８のフローのループ回数が所定回数に達したことや、θまたはλの変化がなくなったことなどが考えられる。今回の場合（１度目のループの場合）、全てのラベルペアについてλ=0ならば終了するが、１つのラベルペアでもλ≠0であれば継続する（終了条件を満たさない）と仮定する。したがって、図１０（Ｂ）に示すようにλ≠0のペアが存在するため、ステップ８０２に戻ることにする。
【００５８】
ステップ８０２の２回目では、まず、最新のモデルパラメータθを用いて各モデルとデータＸとの乖離値が算出される。ステップ８０３の１回目はスキップされているので、算出される乖離値は、ステップ８０２の１回目に算出した(図６（Ａ）に示す)乖離値と同じである。ただし、今回は、１回目のステップ８０４でλが求まっているため、空間依存性も考慮して最適な地点状態Sを探索しなければならない。ここでは、近似探索手法として知られるICM（非特許文献２）を用いた例を示す。ICMではランダムに選択した地点においてある状態値（ラベル）をとった場合のペナルティを計算し、最もペナルティの低いラベルに置き換えていくという処理を繰り返す。ペナルティとしては、モデルとデータとの乖離値、または、λに負の符号を掛け合わせたものなどが考えられる。
【００５９】
図６（Ａ）の乖離値と図１０（Ｂ）のλとを用いたとき、例えば、地点２０（ID=20）のラベル値をaにすることを考える。このとき乖離値は(2.9-0.4=)2.5増加する。またa-bのペアは３つ減りa-aのペアが３つ増えるので、空間依存性に関するペナルティ（空間全体における依存性の変化量）は-3だけ減少する。従って合計で-0.5のペナルティ減少になる。そこで、地点２０のラベルはbからaに変更になる。すなわち合計値（演算値）が閾値（ここではゼロ）より小さいため、ラベルは変更になる。なお、地点２０（ID=20）のラベル値をラベルcに変更する場合についても同様にしてペナルティの減少を計算し、ペナルティの減少がより大きい方のラベルへ変更するようにしてもよい。
【００６０】
以上のような処理を他の地点（事例）についてもいくつか選択して行う。すなわち、処理効率の観点から全ての事例でなくいくつかの事例について行う。このようにして、地点状態Sを探索した結果を図１１（Ａ）〜図１１（Ｃ）に一例として示す。
【００６１】
ステップ８０３の２回目では、得られた地点状態Sと地理空間データDを用いてモデルパラメータθの学習を行う。まず、混合モデル学習手段２０２における地理空間データ分割手段３０２によって、地点状態の離散値（ラベル値）に応じて地理学習データDを分割する。図１１（Ａ）の地点状態を用いたときにおける、モデルMa用の学習データDaを図１２に示す。この学習データを用いて混合モデル学習手段２０２におけるモデル学習手段３０４によってモデルパラメータθaが学習される。具体的には図１２の学習データDaからXの平均と標準偏差とを計算する。なおこの計算は、最尤推定法において、尤度関数におけるパラメータの最尤推定値（尤度関数を最大にするパラメータの値）を求めていることと等化である。モデルMa, Mb用の学習データDb, Dcについても同様にしてＸの平均と標準偏差とを計算する。そのようにして得られたモデルパラメータθを図１３に示す。
【００６２】
ステップ８０４の２回目では、図１１（Ｂ）の地点状態を用いて、１回目と同様に地点状態MRFパラメータλの推定を行う。図１４に２ループ目の地点状態MRFパラメータλの算出結果を示す。
【００６３】
ステップ８０５の２回目では、終了条件が満たされずに、ステップ８０２に戻ったとする。
【００６４】
ステップ８０２の３回目では、図１３のモデルパラメータと図１４の地点状態MRFパラメータとを用いて最適な地点状態Sの算出を行う。まず、最新のモデルパラメータθを用いてモデルとデータＸとの乖離値を各地点について算出する。各地点について算出した乖離値のうち、地点３と地点２２のみに関する乖離値を図１５に示す。次に、最適な地点状態Sを探索する。たとえば地点３のラベル値をbにすることを考える。このとき乖離値は2.4増加する。またa-bのペアが３つ減りb-bのペアが３つ増えるので空間依存性に関するペナルティは-3減少する。従って合計で-0.6のペナルティ減少になる。そこで、地点３のラベルがaからbに変更になる。同様に地点２２もラベル値をaにすることで空間依存性が３減少するので、ラベルがbからaに変更になる。３ループ目で得られた地点状態Sを図１６に示す。
【００６５】
ステップ８０３の３回目の計算結果を図１７（Ａ）、ステップ８０４の３回目の計算結果を図１７（Ｂ）に示す。３ループ目でループが終了する終了条件を用いると仮定すると、図１７（Ａ）および図１７（Ｂ）が最終的に得られた地理空間混合モデルのパラメータθとλに相当する。
【００６６】
最終的に、本例では、図１６からも分かるように、大きく、１つのaエリア、２つのbエリア、２つのcエリアに空間が分かれ、故障指数Xの確率分布は、エリアごとに同じモデルパラメータをとる混合モデルによって表される。そこで、同一のエリアについて注意深く調べることにより、故障指数に影響を与えている隠れた要因を発見することが可能になると期待できる。
【００６７】
本実施形態では、モデルパラメータθに関するMRFではなく、離散値の地点状態Sに関するMRFを用いた地理空間混合モデルを採用しており、上記のような手順に従うことで、準ニュートン法などの計算コストの必要な手法を使うことなく地理空間混合モデルを構築できる。
【００６８】
また、本実施形態ではXが１次元であるため正規分布パラメータはn=2（μとσの２つ）であったが、例えばXが4次元連続値ベクトルの場合、多次元正規分布パラメータは最大n=4+4*4=20必要である。このとき、本実施形態では、確率モデルの個数kの増加 に対して、パラメータλの個数は2乗で増加するもののモデルパラメータ数nは線形にしか増加しないので、本実施形態は、モデルパラメータ数の多い場合に用いて効率的である。
【図面の簡単な説明】
【００６９】
【図１】本発明のハードウェア構成を表すブロック図。
【図２】本発明の一実施形態に関わる地理空間混合モデル構築装置の構成図。
【図３】本発明の一実施形態に関わる混合モデル学習手段の構成図。
【図４】地理空間データの例を示す図。
【図５】混合モデルパラメータの例（その１）を示す図。
【図６】地点状態の推定結果の例（その１）を示す図。
【図７】本発明の一実施形態に関わる地点状態MRFパラメータ推定手段の構成図。
【図８】本発明の一実施形態に関わる地理空間混合モデル構築装置のフローチャートを示す図。
【図９】１次頻度と２次頻度の例を示す図。
【図１０】空間依存パラメータ算出手段７０３の計算結果の例（その１）を示す図。
【図１１】地点状態の推定結果の例（その２）を示す図。
【図１２】分割地理空間データの例を示す図。
【図１３】混合モデルパラメータの例（その２）を示す図。
【図１４】空間依存パラメータ算出手段７０３の計算結果の例（その２）を示す図。
【図１５】モデルとデータの乖離値の算出結果の例を示す図。
【図１６】地点状態の推定結果の例（その３）を示す図。
【図１７】モデルパラメータθと地理状態MRFパラメータλの例を示す図。
【図１】
0005175515.tif 000008
【図２】
0005175515.tif 000009
【図３】
0005175515.tif 000010
【図４】
0005175515.tif 000011
【図５】
0005175515.tif 000012
【図６】
0005175515.tif 000013
【図７】
0005175515.tif 000014
【図８】
0005175515.tif 000015
【図９】
0005175515.tif 000016
【図１０】
0005175515.tif 000017
【図１１】
0005175515.tif 000018
【図１２】
0005175515.tif 000019
【図１３】
0005175515.tif 000020
【図１４】
0005175515.tif 000021
【図１５】
0005175515.tif 000022
【図１６】
0005175515.tif 000023
【図１７】
0005175515.tif 000024