(57)【要約】【課題】クラス数が既知でない場合でも、適切にクラスタリングを行う。【解決手段】標本のデータを入力する入力装置（１）と、標本のデータを処理して各標本をクラスに分類するデータ処理装置（４）と、クラス分けされた処理結果を出力する出力装置（３）とを有するクラスタリング装置において、記憶装置（５）のパラメータ記憶部（５１）は、過去の実験から得られるターゲットパラメータを記憶する。データ処理装置（４）のパラメータ推定手段（２４）は、パラメータ記憶部（５１）に記憶されたターゲットパラメータを用いて、クラスタリング用パラメータの推定を行う。データ処理装置（４）の判定不能検出手段（２５）は、パラメータ推定手段（２４）で推定したクラスタリング用パラメータにより生成された確率密度関数によって計算した事後確率が、設定値以上でない標本を検出する。【選択図】      図４
2004272350.tif 000002
【特許請求の範囲】
【請求項１】
標本のデータを入力する入力装置と、該入力装置から与えられた標本のデータを処理して各標本をクラスに分類するデータ処理装置と、該データ処理装置でクラス分けされた処理結果を出力する出力装置とを有するクラスタリング装置において、
過去の実験から得られるターゲットパラメータを記憶するパラメータ記憶部を備え、
前記データ処理装置は、前記パラメータ記憶部に記憶された前記ターゲットパラメータを用いて、クラスタリング用パラメータの推定を行うパラメータ推定手段を含むことを特徴とするクラスタリング装置。
【請求項２】
前記パラメータ推定手段は、外れ値に対してロバストな修正尤度関数を用いて前記クラスタリング用パラメータを求める、請求項１に記載のクラスタリング装置。
【請求項３】
前記データ処理装置は、前記パラメータ推定手段で推定したクラスタリング用パラメータにより生成された確率密度関数によって計算した事後確率が、設定値以上でない標本を検出する判定不能検出手段を更に有する、請求項１又は２に記載のクラスタリング装置。
【請求項４】
前記データ処理装置は、
前記パラメータ推定手段で推定したクラスタリング用パラメータにより生成した確率密度関数を用いて、前記標本があらかじめ定めた信頼区間から外れた場合に、当該標本を外れ値として検出する外れ値検出手段と、
該外れ値検出手段において前記外れ値として検出されなかった標本に対して、前記確率密度関数によって計算した事後確率が、あらかじめ定めた確率の値より低い場合に、クラスタリングの判定が不能として検出する判定不能検出手段と、
前記外れ値検出手段と前記判定不能検出手段においてそれぞれ外れ値または判定不能として検出されなかった標本に対して、前記事後確率を用いて各クラスに分類するクラスタリング手段と
を更に有する、請求項１又は２に記載のクラスタリング装置。
【請求項５】
前記データ処理装置は、
前記パラメータ推定手段で推定したクラスタリング用パラメータにより生成した確率密度関数によって計算した事後確率が、あらかじめ定めた確率の値より低い場合に、クラスタリングの判定が不能として検出する判定不能検出手段と、
該判定不能検出手段において判定不能として検出されなかった標本に対して、前記確率密度関数を用いて、前記標本があらかじめ定めた信頼区間から外れた場合に、当該標本を外れ値として検出する外れ値検出手段と、
前記判定不能検出手段と前記外れ値検出手段においてそれぞれ判定不能または外れ値として検出されなかった標本に対して、前記事後確率を用いて各クラスに分類するクラスタリング手段と
を更に有する、請求項１又は２に記載のクラスタリング装置。
【請求項６】
前記クラスタリング手段で用いる正規混合分布の分散パラメータが、クラスごとに設定されている、請求項４又は５に記載のクラスタリング装置。
【請求項７】
入力装置が標本のデータを入力するステップと、データ処理装置が前記入力装置から与えられた標本のデータを処理して各標本をクラスに分類するステップと、出力装置が前記データ処理装置でクラス分けされた処理結果を出力するステップとを有するクラスタリング方法において、
記憶装置が、過去の実験から得られるターゲットパラメータをパラメータ記憶部に記憶するステップを備え、
前記データ処理装置が備えるパラメータ推定手段が、前記パラメータ記憶部に記憶された前記ターゲットパラメータを用いて、クラスタリング用パラメータの推定を行うステップを含むことを特徴とするクラスタリング方法。
【請求項８】
前記データ処理装置が備える判定不能検出手段が、前記パラメータ推定手段で推定したクラスタリング用パラメータにより生成された確率密度関数によって計算した事後確率が、設定値以上でない標本を検出するステップを有する、請求項７に記載のクラスタリング方法。
【請求項９】
前記データ処理装置が備える外れ値検出手段が、前記パラメータ推定手段で推定したクラスタリング用パラメータにより生成した確率密度関数を用いて、前記標本があらかじめ定めた信頼区間から外れた場合に、当該標本を外れ値として検出するステップと、
前記データ処理装置が備える判定不能検出手段が、前記外れ値検出手段において前記外れ値として検出されなかった標本に対して、前記確率密度関数によって計算した事後確率が、あらかじめ定めた確率の値より低い場合に、クラスタリングの判定が不能として検出するステップと、
前記データ処理装置が備えるクラスタリング手段が、前記外れ値検出手段と前記判定不能検出手段においてそれぞれ外れ値または判定不能として検出されなかった標本に対して、前記事後確率を用いて各クラスに分類するステップと
を更に有する、請求項７に記載のクラスタリング方法。
【請求項１０】
前記データ処理装置が備える判定不能検出手段が、前記パラメータ推定手段で推定したクラスタリング用パラメータにより生成した確率密度関数によって計算した事後確率が、あらかじめ定めた確率の値より低い場合に、クラスタリングの判定が不能として検出するステップと、
前記データ処理装置が備える外れ値検出手段が、前記判定不能検出手段において判定不能として検出されなかった標本に対して、前記確率密度関数を用いて、前記標本があらかじめ定めた信頼区間から外れた場合に、当該標本を外れ値として検出するステップと、
前記データ処理装置が備えるクラスタリング手段が、前記判定不能検出手段と前記外れ値検出手段においてそれぞれ判定不能または外れ値として検出されなかった標本に対して、前記事後確率を用いて各クラスに分類するステップと
を更に有する、請求項７に記載のクラスタリング方法。
【請求項１１】
コンピュータに、標本のデータを入力する機能、該入力した標本のデータを処理して各標本をクラスに分類する機能、および該クラス分けされた処理結果を出力する機能を実現させるためのクラスタリングプログラムであって、
過去の実験から得られるターゲットパラメータを記憶装置に記憶する機能を備え、
前記分類する機能は、前記記憶装置に記憶されたターゲットパラメータを用いて、クラスタリング用パラメータの推定を行う機能を含むことを特徴とするクラスタリングプログラム。
【請求項１２】
前記分類する機能は、前記推定したクラスタリング用パラメータにより生成された確率密度関数によって計算した事後確率が、設定値以上でない標本を検出する機能を更に有する、請求項１１に記載のクラスタリングプログラム。
【請求項１３】
前記分類する機能は、
前記パラメータ推定機能で推定したクラスタリング用パラメータにより生成した確率密度関数を用いて、前記標本があらかじめ定めた信頼区間から外れた場合に、当該標本を外れ値として検出する機能と、
該外れ値検出機能において前記外れ値として検出されなかった標本に対して、前記確率密度関数によって計算した事後確率が、あらかじめ定めた確率の値より低い場合に、クラスタリングの判定が不能として検出する機能と、
前記外れ値検出機能と前記判定不能検出機能においてそれぞれ外れ値または判定不能として検出されなかった標本に対して、前記事後確率を用いて各クラスに分類する機能と
を更に有する、請求項１１に記載のクラスタリングプログラム。
【請求項１４】
前記分類する機能は、
前記パラメータ推定機能で推定したクラスタリング用パラメータにより生成した確率密度関数によって計算した事後確率が、あらかじめ定めた確率の値より低い場合に、クラスタリングの判定が不能として検出する機能と、
該判定不能検出機能において判定不能として検出されなかった標本に対して、前記確率密度関数を用いて、前記標本があらかじめ定めた信頼区間から外れた場合に、当該標本を外れ値として検出する機能と、
前記判定不能検出機能と前記外れ値検出機能においてそれぞれ判定不能または外れ値として検出されなかった標本に対して、前記事後確率を用いて各クラスに分類する機能と
を更に有する、請求項１１に記載のクラスタリングプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、クラスタリング装置、クラスタリング方法、およびクラスタリングプログラムに関し、特に正規混合分布によるクラスタリング装置、クラスタリング方法、およびクラスタリングプログラムに関する。
【０００２】
【従来の技術】
従来の代表的な統計的クラスタリング手法としては、Ｋ−ｍｅａｎｓ法が知られている。また、正規混合分布によるクラスタリング手法も知られている。
【０００３】
図１を参照して、上記Ｋ−ｍｅａｎｓ法について説明する。まずデータの入力を行う（ステップＡ１）。クラス数ｋを設定し（ステップＡ２）、任意にｋ個の標本を抽出して、クラス中心の初期値とする（ステップＡ３）。次にすべての標本に対して、ｋ個の各クラス中心との距離をそれぞれ計算し、最も近い中心を持つクラスをその標本のクラスとする（ステップＡ４およびＡ５）。各クラスに分類されたすべての標本から、新たなクラス中心を計算する（ステップＡ６）。新たなクラス中心と元のクラス中心との距離の合計がある値以下になるまで、すべての標本に対して中心との距離を計算し、クラスに分類するという作業を繰り返す（ステップＡ７）。分類が終われば結果を出力する（ステップＡ８）。
【０００４】
上記の正規混合分布によるクラスタリング手法は、一般的に最尤法を用いてパラメータ推定を行い、推定されたクラスタリング用パラメータを利用して、ベイズ規則により各標本をクラスタリングする。正規混合分布によるクラスタリングでは、下記の数式１で示される確率密度関数によって事後確率を計算し、標本を分類するクラスを決定する。
【０００５】
【数１】
2004272350.tif 000003
【０００６】
ここで、ｘは標本、ωｊは重みパラメータ、φ（ｘ；μｊ，σ２ｊ）は平均μｊ、分散σ２ｊの正規分布の確率密度関数であり、θ＝（ωｊ，μｊ，σ２ｊ）は重み、平均、分散をまとめて表したクラスタリング用パラメータである。また、ｋはクラス数を示す。
【０００７】
正規混合分布によるクラスタリングでは、数式１に含まれるクラスタリング用パラメータθを推定することが必要となる。最尤法は、パラメータ推定の古典的方法としてよく知られており、正規混合分布によるクラスタリング手法でのパラメータ推定によく使用される。最尤法は、次の数式２に示す、クラスタリング用パラメータθの関数である対数尤度関数Ｌ（θ）を最大にするようなクラスタリング用パラメータθを推定する方法である。
【０００８】
【数２】
2004272350.tif 000004
ここで、ｎは標本の数である。
【０００９】
各標本に対して、推定されたクラスタリング用パラメータθを用いて各クラスの事後確率ｐｊを次の数式３に従って計算し、事後確率ｐｊによって標本を分類するクラスを決定する。
【００１０】
【数３】
2004272350.tif 000005
【００１１】
図２に正規混合分布によるクラスタリング手法を実現するクラスタリング装置のブロック図を示し、図３にそのフローチャートを示す。
【００１２】
図２に示されるように、クラスタリング装置は、キーボード等の入力装置１と、プログラム制御により動作するデータ処理装置２と、ディスプレイ装置や印刷装置等の出力装置３とを含む。
【００１３】
データ処理装置２は、パラメータ推定手段２１と、外れ値検出手段２２と、クラスタリング手段２３とを備えている。
【００１４】
図３を参照して、図２に示したクラスタリング装置における、正規混合分布によるクラスタリング手法について説明する。
【００１５】
まず、入力装置１により標本のデータを入力し（ステップＢ１）、パラメータの初期化を行う（ステップＢ２）。入力されたデータと初期化されたパラメータを用い、パラメータ推定手段２１において、数式２に従ってクラスタリング用パラメータθの推定を行う（ステップＢ３）。ステップＢ３で推定したクラスタリング用パラメータθを用いて、パラメータ推定手段２１は数式１に示す確率密度関数を計算する（ステップＢ４）。
【００１６】
外れ値検出手段２２では、あらかじめ設定されている確率密度関数の信頼区間に、各標本があるかどうかを判定することによって、外れ値の判定を行う（ステップＢ５）。標本が信頼区間にない場合、外れ値検出手段２２は、その標本を外れ値として検出する（ステップＢ８）。
【００１７】
クラスタリング手段２３は、外れ値検索手段２２において外れ値として検出されなかった標本に対し、数式３の事後確率ｐｊを計算する（ステップＢ６）。クラスタリング手段２３は、数式３によって、標本に対して最大の事後確率ｐｊを与えるクラスｊをその標本のクラスとする（ステップＢ７）。これら図３のステップＢ５からＢ８までの処理を、すべての標本について繰り返す（ステップＢ９）。クラスタリングが終われば、結果を出力する（ステップＢ１０）。
【００１８】
【発明が解決しようとする課題】
従来の手法では、以下のような５つの問題点が生じる。
【００１９】
第１の問題点は、クラス数が未知のデータに対してクラスタリングが難しいということである。その理由は、Ｋ−ｍｅａｎｓ法および最尤法を用いた正規混合分布によるクラスタリング手法では、クラスの数が既知でなければ安定したクラスタリングが行いにくいためである。
【００２０】
第２の問題点は、Ｋ−ｍｅａｎｓ法では、どのクラスに属するかが曖昧な標本を、判定不能な標本として検出できないことである。その理由は、Ｋ−ｍｅａｎｓ法ではすべての標本をいずれかのクラスに分類する機能しか持たないためである。
【００２１】
第３の問題点は、外れ値の存在によって、誤ったクラスタリングを行う場合があることである。その理由は、Ｋ−ｍｅａｎｓ法も最尤法を用いた正規混合分布によるクラスタリング手法も、外れ値に対してロバストではなく、外れ値によって強い影響を受けるためである。
【００２２】
第４の問題点は、最尤法を用いた正規混合分布によるクラスタリング手法では、あるクラスに属する標本が１つしかない場合、本来のクラスに分類できないことである。その理由は、最尤法を用いた正規混合分布によるクラスタリング手法では、あるクラスに標本が１つしかないと、クラスタリング用パラメータθの推定値が得られないからである。
【００２３】
第５の問題点は、Ｋ−ｍｅａｎｓ法では、各クラスのばらつきが違う場合に、誤ったクラスタリングを行う場合があるということである。その理由は、Ｋ−ｍｅａｎｓ法がばらつきの違いに対応する機能を持っていなからである。
【００２４】
本発明の第１の目的は、クラス数が既知でない場合でも、適切にクラスタリングを行う手法およびシステムを提供することにある。
【００２５】
本発明の第２の目的は、どのクラスに属するかが曖昧な標本を、クラスタリングの判定不能な標本として検出できる手法およびシステムを提供することにある。
【００２６】
本発明の第３の目的は、外れ値を含む標本の場合でも、外れ値に対してロバストなクラスタリングを行う手法およびシステムを提供することにある。
【００２７】
本発明の第４の目的は、クラスに属する標本が１つしかない場合でも、その標本を外れ値とせず、適切にクラスタリングを行える手法およびシステムを提供することである。
【００２８】
本発明の第５の目的は、各クラスのばらつきが違う場合にも適切にクラスタリングを行える手法およびシステムを提供することである。
【００２９】
【課題を解決するための手段】
本発明の第１の態様によれば、標本のデータを入力する入力装置と、この入力装置から与えられた標本のデータを処理して各標本をクラスに分類するデータ処理装置と、このデータ処理装置でクラス分けされた処理結果を出力する出力装置とを有するクラスタリング装置において、過去の実験から得られるターゲットパラメータを記憶するパラメータ記憶部を備え、データ処理装置は、パラメータ記憶部に記憶されたターゲットパラメータを用いて、クラスタリングに用いられるパラメータの推定を行うパラメータ推定手段を含むことを特徴とするクラスタリング装置が得られる。ここで、パラメータ推定手段は、外れ値に対してロバストな修正尤度関数を用いて前記クラスタリング用パラメータを求める。
【００３０】
このように、本発明のパラメータ記憶部は、過去の実験から得られるターゲットパラメータを記憶しており、パラメータ推定手段でこのターゲットパラメータを用いることによって過去のパラメータをクラスタリングに利用する。このような構成を採用することで、クラス数を適切な値に設定することができる。また、パラメータ推定手段では、外れ値に対してロバストな方法が用いられている。このことから、本発明の第１の目的と第３の目的と第４の目的を達成することができる。
【００３１】
上記第１の態様によるクラスタリング装置において、データ処理装置は、パラメータ推定手段で推定したパラメータにより生成された確率密度関数によって計算した事後確率が、設定値以上でない標本を検出する判定不能検出手段を更に有することが好ましい。
【００３２】
このように、本発明の判定不能検出手段は、クラスタリングに用いる事後確率が設定値以上でない標本を検出する。このような構成を採用し、どのクラスに属するかが曖昧な標本を判定不能な標本として検出できることから、本発明の第２の目的を達成することができる。
【００３３】
上記第１の態様によるクラスタリング装置において、データ処理装置は、パラメータ推定手段で推定したパラメータにより生成した確率密度関数を用いて、標本があらかじめ定めた信頼区間から外れた場合に、当該標本を外れ値として検出する外れ値検出手段と、この外れ値検出手段において外れ値として検出されなかった標本に対して、確率密度関数によって計算した事後確率が、あらかじめ定めた確率の値より低い場合に、クラスタリングの判定が不能として検出する判定不能検出手段と、外れ値検出手段と判定不能検出手段においてそれぞれ外れ値または判定不能として検出されなかった標本に対して、事後確率を用いて各クラスに分類するクラスタリング手段とを更に有することが望ましい。
【００３４】
上記第１の態様によるクラスタリング装置において、データ処理装置は、パラメータ推定手段で推定したパラメータにより生成した確率密度関数によって計算した事後確率が、あらかじめ定めた確率の値より低い場合に、クラスタリングの判定が不能として検出する判定不能検出手段と、この判定不能検出手段において判定不能として検出されなかった標本に対して、確率密度関数を用いて、標本があらかじめ定めた信頼区間から外れた場合に、当該標本を外れ値として検出する外れ値検出手段と、判定不能検出手段と外れ値検出手段においてそれぞれ判定不能または外れ値として検出されなかった標本に対して、事後確率を用いて各クラスに分類するクラスタリング手段とを更に有することが望ましい。
【００３５】
上記クラスタリング手段で用いる正規混合分布の分散パラメータが、クラスごとに設定されていることが好ましい。
【００３６】
このように、本発明のクラスタリング手段で用いる正規混合分布の分散パラメータを、クラスごとに自由に取っていることにより、各クラスのばらつきの違いに対応できる。このことから、本発明の第５の目的を達成することができる。
【００３７】
本発明の第２の態様によれば、入力装置が標本のデータを入力するステップと、データ処理装置が入力装置から与えられた標本のデータを処理して各標本をクラスに分類するステップと、出力装置がデータ処理装置でクラス分けされた処理結果を出力するステップとを有するクラスタリング方法において、記憶装置が、過去の実験から得られるターゲットパラメータをパラメータ記憶部に記憶するステップを備え、データ処理装置が備えるパラメータ推定手段が、パラメータ記憶部に記憶されたターゲットパラメータを用いて、クラスタリング用パラメータの推定を行うステップを含むことを特徴とするクラスタリング方法が得られる。
【００３８】
上記第２の態様によるクラスタリング方法において、データ処理装置が備える判定不能検出手段が、パラメータ推定手段で推定したクラスタリング用パラメータにより生成された確率密度関数によって計算した事後確率が、設定値以上でない標本を検出するステップを有することが好ましい。
【００３９】
上記第２の態様によるクラスタリング方法において、データ処理装置が備える外れ値検出手段が、パラメータ推定手段で推定したクラスタリング用パラメータにより生成した確率密度関数を用いて、標本があらかじめ定めた信頼区間から外れた場合に、当該標本を外れ値として検出するステップと、データ処理装置が備える判定不能検出手段が、外れ値検出手段において外れ値として検出されなかった標本に対して、確率密度関数によって計算した事後確率が、あらかじめ定めた確率の値より低い場合に、クラスタリングの判定が不能として検出するステップと、データ処理装置が備えるクラスタリング手段が、外れ値検出手段と判定不能検出手段においてそれぞれ外れ値または判定不能として検出されなかった標本に対して、事後確率を用いて各クラスに分類するステップとを更に有することが望ましい。
【００４０】
上記第２の態様によるクラスタリング方法において、データ処理装置が備える判定不能検出手段が、パラメータ推定手段で推定したクラスタリング用パラメータにより生成した確率密度関数によって計算した事後確率が、あらかじめ定めた確率の値より低い場合に、クラスタリングの判定が不能として検出するステップと、データ処理装置が備える外れ値検出手段が、判定不能検出手段において判定不能として検出されなかった標本に対して、確率密度関数を用いて、標本があらかじめ定めた信頼区間から外れた場合に、当該標本を外れ値として検出するステップと、データ処理装置が備えるクラスタリング手段が、判定不能検出手段と外れ値検出手段においてそれぞれ判定不能または外れ値として検出されなかった標本に対して、事後確率を用いて各クラスに分類するステップとを更に有することが望ましい。
【００４１】
本発明の第３の態様によれば、コンピュータに、標本のデータを入力する機能、この入力した標本のデータを処理して各標本をクラスに分類する機能、およびこのクラス分けされた処理結果を出力する機能を実現させるためのクラスタリングプログラムであって、過去の実験から得られるターゲットパラメータを記憶装置に記憶する機能を備え、分類する機能は、記憶装置に記憶されたターゲットパラメータを用いて、クラスタリング用パラメータの推定を行う機能を含むことを特徴とするクラスタリングプログラムが得られる。
【００４２】
上記第３の態様によるクラスタリングプログラムにおいて、分類する機能は、推定したクラスタリング用パラメータにより生成された確率密度関数によって計算した事後確率が、設定値以上でない標本を検出する機能を更に有することが好ましい。
【００４３】
上記第３の態様によるクラスタリングプログラムにおいて、分類する機能は、パラメータ推定機能で推定したクラスタリング用パラメータにより生成した確率密度関数を用いて、標本があらかじめ定めた信頼区間から外れた場合に、当該標本を外れ値として検出する機能と、この外れ値検出機能において前記外れ値として検出されなかった標本に対して、確率密度関数によって計算した事後確率が、あらかじめ定めた確率の値より低い場合に、クラスタリングの判定が不能として検出する機能と、外れ値検出機能と判定不能検出機能においてそれぞれ外れ値または判定不能として検出されなかった標本に対して、事後確率を用いて各クラスに分類する機能とを更に有することが望ましい。
【００４４】
上記第３の態様によるクラスタリングプログラムにおいて、分類する機能は、パラメータ推定機能で推定したクラスタリング用パラメータにより生成した確率密度関数によって計算した事後確率が、あらかじめ定めた確率の値より低い場合に、クラスタリングの判定が不能として検出する機能と、この判定不能検出機能において判定不能として検出されなかった標本に対して、確率密度関数を用いて、標本があらかじめ定めた信頼区間から外れた場合に、当該標本を外れ値として検出する機能と、判定不能検出機能と外れ値検出機能においてそれぞれ判定不能または外れ値として検出されなかった標本に対して、事後確率を用いて各クラスに分類する機能とを更に有することが望ましい。
【００４５】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して詳細に説明する。
【００４６】
図４を参照すると、本発明の第１の実施の形態によるクラスタリング装置は、キーボード等の入力装置１と、プログラム制御により動作するデータ処理装置４と、情報を記憶する記憶装置５と、ディスプレイ装置や印刷装置等の出力装置３とを含む。
【００４７】
記憶装置５は、パラメータ記憶部５１を備えている。
【００４８】
パラメータ記憶部５１は、過去の実験から得られるターゲットパラメータζと、結果として得られるパラメータ推定値をチューニングするパラメータβとλをあらかじめ記憶している。
【００４９】
データ処理装置４は、パラメータ推定手段２４と、外れ値検出手段２２と、判定不能検出手段２５と、クラスタリング手段２６とを備えている。
【００５０】
パラメータ推定手段２４は、入力装置１から与えられた標本のデータとパラメータ記憶部に記憶されたパラメータζ、β、λを用いて、クラスタリング用パラメータθの推定を行う。外れ値検出手段２２は、パラメータ推定手段２４で推定したクラスタリング用パラメータθにより生成した確率密度関数を用いて、標本があらかじめ定めた信頼区間から外れた場合に、その標本を外れ値として検出する。
【００５１】
判定不能検出手段２５は、外れ値検出手段２２において外れ値として検出されなかった標本に対し、上記と同様の確率密度関数によって計算した事後確率が、あらかじめ定めた確率の値γより低い場合に、クラスタリングの判定が不能として検出する。
【００５２】
クラスタリング手段２６は、外れ値検出手段２２と判定不能検出手段２５においてそれぞれ外れ値または判定不能として検出されなかった標本に対して、上記と同様の事後確率を用いて、各クラスに分類する。
【００５３】
次に、図４および図５を参照して、図４に示したクラスタリング装置によって実現されるクラスタリング方法について詳細に説明する。
【００５４】
入力装置１から、各標本のデータｘを入力する（図５のステップＣ１）。パラメータ記憶部５１に記憶されているパラメータζ、β、λを用いて、各パラメータの初期化を行う（ステップＣ２）。入力されたデータと初期化されたパラメータを用い、パラメータ推定手段２４によって下記の数式４のような修正尤度関数ＰＬ（θ）をクラスタリング用パラメータθについて最大化し、クラスタリング用パラメータθを求める（ステップＣ３）。
【００５５】
【数４】
2004272350.tif 000006
【００５６】
ここで、ｎは標本の数、λはチューニングパラメータ、ｋはクラス数である。
θ＝（ωｊ，μｊ，σ２ｊ）、ζｊ＝（μｊ，σ２ｊ）で、ωｊは数式１で示す確率密度関数の重みパラメータ、μｊは平均、σ２ｊは分散の値である。修正尤度関数ＰＬ（θ）は外れ値に対してロバストな関数である。また、ｌβ（θ）とＫＬ（ζｊ０、ζｊ）はそれぞれ下記の数式５および数式６によって表される。
【００５７】
【数５】
2004272350.tif 000007
【数６】
2004272350.tif 000008
【００５８】
ここで、φ（ｚ；ζｊ）は平均μｊで分散σ２ｊの正規分布の確率密度関数である。パラメータ推定手段２４は、得られたクラスタリング用パラメータθを用いて、数式１に示した確率密度関数を計算する（ステップＣ４）。外れ値検出手段２２は、入力された各標本のデータが、あらかじめ設定されている確率密度関数の信頼区間にあるかどうかを判定し（ステップＣ５）、信頼区間にない場合はその標本を外れ値として検出する（ステップＣ９）。
【００５９】
図５において、ステップＣ５で標本が信頼区間にあると判断された場合には、標本は判定不能検出手段２５に与えられる。判定不能検出手段２５は、標本に対して数式３に従って、各クラスの事後確率を計算する（ステップＣ６）。判定不能検出手段２５は、事後確率がγの値を越えるかどうかを判定し（ステップＣ７）、γより低い場合はその標本を判定不能として検出する（ステップＣ１０）。
【００６０】
図５において、ステップＣ７で標本の事後確率がγ以上だった場合には、標本はクラスタリング手段２６に与えられる。クラスタリング手段２６は、標本に対して計算された事後確率を基に、最大のｐｊを与えるクラスｊを、その標本のクラスとする（ステップＣ８）。データ処理装置４は、すべての標本に対して同じことを繰り返し（ステップＣ１１）、すべての標本についてクラスタリングが終了すると、結果を出力装置３に与える（ステップＣ１２）。
【００６１】
次に、本実施の形態の効果について説明する。
【００６２】
本実施の形態では、数式４に示す修正尤度関数を構築し、それを最大化することにより、本発明の目的に沿うクラスタリングを行うことが可能となる。また、信頼区間や事後確率の閾値γを調整することによって、クラスタリングの調整を行うことが可能となる。尚、クラスタリング手段２６で用いる正規混合分布の分散パラメータσ２ｊを、クラスごとに自由に取っている。
【００６３】
次に、本発明の第２の実施の形態について、図面を参照して詳細に説明する。
【００６４】
図６を参照すると、本発明の第２の実施の形態によるクラスタリング装置は、図４に図示したクラスタリング装置と比較して外れ値検出手段２２と判定不能検出手段２５の順序が異なる。
【００６５】
図６および図７を参照して、図６に示したクラスタリング装置よって実現されるクラスタリング方法について詳細に説明する。
【００６６】
図７のステップＤ１〜Ｄ４、Ｄ８〜Ｄ１２で示される本実施の形態におけるパラメータ推定手段２４、クラスタリング手段２６、およびパラメータ記憶部５１は、第１の形態におけるパラメータ推定手段２４、クラスタリング手段２６およびパラメータ記憶部５１の動作と同一のため、説明は省略する。
【００６７】
第１の実施の形態では、図５のステップＣ５〜Ｃ７において、外れ値を先に検出し、残りの標本から判定不能を検出したが、第２の実施の形態では、図７のステップＤ５〜Ｄ７において、判定不能を先に検出し、残りの標本から外れ値を検出する。すなわち、外れ値検出と判定不能検出の順序が異なっても同様の効果が得られる。
【００６８】
次に、本発明の第３の実施の形態について、図面を参照して詳細に説明する。
【００６９】
図８を参照すると、本発明の第３の実施の形態によるクラスタリング装置は、本発明の第１および第２の実施の形態と同様に、入力装置１、データ処理装置８、記憶装置５、出力装置３を備え、さらに、クラスタリングプログラムを記録した記録媒体７を備える。この記録媒体７は、磁気ディスク、半導体メモリ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭその他の記録媒体であってよい。
【００７０】
クラスタリングプログラムは記録媒体７からデータ処理装置８に読み込まれ、データ処理装置８の動作を制御し、記憶装置５にパラメータ記憶部５１を生成する。データ処理装置８は、クラスタリングプログラムの制御により第１および第２の実施の形態におけるデータ処理装置４および６による処理と同一の処理を実行する。
【００７１】
【実施例】
次に、本発明の第１の実施例を、結果の図を参照して具体的に説明する。かかる実施例は本発明の第１の実施の形態に対応するものである。
【００７２】
本実施例では、２次元平面にプロットされた多数の個体データを基に、その位置関係から各標本における遺伝子型を判定する問題を考える。近年、ヒトの一塩基多型は大量にタイピングされており、例えばインベーター法などによって遺伝子型が解析される。インベーター法とは、米国のＴｈｉｒｄ  Ｗａｖｅ  Ｔｅｃｈｎｏｌｏｇｉｅｓ，  ＩＮＣが開発したゲノム解析技術であり、蛍光標識したアリル特異的オリゴと鋳型を、解析したいＤＮＡにハイブリダイゼーションさせ、ハイブリダイゼーションの結果を蛍光強度として得ることで遺伝子型の解析が可能になる。
【００７３】
インベーター法で解析されたある遺伝子型の結果は、図９のように２次元平面にプロットされる。Ｘ軸とＹ軸はそれぞれ、２つの対立遺伝子を検出する試薬の蛍光強度を示す。Ｘの値が大きいときは対立遺伝子１を、Ｙの値が大きいときは対立遺伝子２を持つと判断される。Ｘ軸に近い標本は遺伝子型が１／１、Ｙ軸に近い標本は遺伝子型が２／２、傾き４５度に近い標本は遺伝子型が１／２であると判断される。また、原点付近は主に実験を検査するための標本であり、ヒトの塩基配列を対象としていない。
【００７４】
本実施例では、このようなデータを、１／１，２／２，１／２の３つの遺伝子型によってクラスタリングするために、本発明を適用する。
【００７５】
まず、従来の技術で述べたＫ−ｍｅａｎｓ法と比較を行う。解析の対象としたデータを図９に示す。なお、Ｇｅｎｅ３３３５のデータは、発明者の三木が所属する癌研究会における「ヒトゲノム・遺伝子解析研究に関する倫理指針」に対する倫理審査委員会の審査をすでに得ているものである。図９のデータは、判定が困難な標本や、クラス間に外れ値が存在する。原点近傍のデータは判定する必要がなく、また、適当な１次元角度データがクラスタリングに有効であることは広く知られているので、以下のクラスタリングでは、原点近傍のデータを外して、１次元角度データを基にしてクラスタリングを考えている。
【００７６】
図１０は、図９の１次元角度データにＫ−ｍｅａｎｓ法を用いた結果である。図１１は、図９の１次元角度データに本発明でクラスタリングした結果である。図１０、図１１における番号のうち、１〜３はそれぞれクラスの番号を示す。７は外れ値を、０は判定不能を示す。
【００７７】
図１０では、原点付近を除いたすべての標本をいずれかのクラスに分類しているが、明らかなクラスタリングの失敗が多く見受けられる。しかし、図１１では、クラスタリングの結果が妥当で、かつ、クラス１とクラス２のどちらのクラスに分類するかが曖昧な標本を、判定不能として検出することができており、有意義な結果が得られている。
【００７８】
次に、従来の技術で述べた最尤法を用いた正規混合分布によるクラスタリング手法との比較を行う。解析対照としたデータは、シミュレーションデータであり、図１２に示すものである。図１２のデータは、標本が２つのクラスに分類され、１つの外れ値を持つ。このデータも原点近傍のデータを外して１次元角度データを基にしてクラスタリングを行った。
【００７９】
図１３は、図１２に示すデータを、最尤法を用いた正規混合分布によるクラスタリングした結果である。図１４は、図１２に示すデータを本発明でクラスタリングした結果である。
【００８０】
図１３では、最尤法のクラスの数をあらかじめ２と設定したため、標本は２つのクラスに分類されているが、外れ値となる標本もクラス２に分類している。一方、図１４では、本発明法でのクラス数を３としても、正しく２つのクラスに分類し外れ値も検出している。
【００８１】
さらに異なるデータを用いて最尤法との比較を行う。ここで比較に用いた、最尤法を用いた正規混合分布によるクラスタリング手法は、本発明の一部である判定不能検出手段を組み込み、図１５に示すような手順でクラスタリングを行うものとする。
【００８２】
図１５は、図３と比較して、ステップＥ７とＥ１０が追加されている点が異なる。すなわち、図１５のステップＥ１〜Ｅ６は、図３のステップＢ１〜Ｂ６とそれぞれ対応し、図１５のステップＥ８およびＥ９は、図３のステップＢ７およびＢ８とそれぞれ対応し、図１５のステップＥ１１およびＥ１２は、図３のステップＢ９およびＢ１０と対応している。
【００８３】
解析対象としたデータを図１６に示す。Ｇｅｎｅ１０５３０のデータは、発明者の三木が所属する癌研究会における「ヒトゲノム・遺伝子解析研究に関する倫理指針」に対する倫理審査委員会の審査をすでに得ているものである。図１６に示すデータは、原点付近以外に２つのクラスに分類される。また、外れ値も存在する。
【００８４】
図１７は、図１６に示すＧｅｎｅ１０５３０のデータを、最尤法を用いた正規混合分布によるクラスタリングをした結果である。図１８は、図１６に示すＧｅｎｅ１０５３０のデータを本発明でクラスタリングした結果である。
【００８５】
図１７では、最尤法のクラス数を３としたため、クラスが２つになるべきところを３つに分類している。クラス２を無理に２つに分類し、中間の標本を判定不能としている。一方、図１８では、クラス数を３としても、クラスが２つに分けられ、正しく分類されている。また、外れ値も検出している。
【００８６】
これらの結果から、発明法は従来の手法で課題となっていた点を解決できることがわかる。
【００８７】
尚、本発明は、上述した実施の形態に限定されず、本発明の要旨を逸脱しない範囲内で種々の変更が可能なのはいうまでもない。
【００８８】
【発明の効果】
以上説明したように、本発明では、次に述べるような効果を奏する。
【００８９】
第１の効果は、クラス数が未知のデータに対しても、安定した正しいクラスタリングを行える点である。その理由は、過去の実験から得られたパラメータをあらかじめ記憶し、新たなパラメータ推定に用いるためである。
【００９０】
第２の効果は、どのクラスに属すかが曖昧な標本を、判定不能な標本として検出できる点である。その理由は、判定不能を検出する機能を作成し、本発明に適用したためである。
【００９１】
第３の効果は、外れ値が存在しても、正しいクラスタリングを行うことができるという点である。その理由は、外れ値に対してロバストとなるアルゴリズムを考案したことにより、外れ値によって強い影響を受けないためである。
【００９２】
第４の効果は、あるクラスに属する標本が１つしかない場合でも、本来のクラスに分類できる点である。その理由は、本発明では、あるクラスに標本が１つしかない場合でも、適切な推定値が得られ、外れ値と判定しないためである。
【００９３】
第５の効果は、各クラスのばらつきが違う場合でも、適切なクラスタリングが行える点である。その理由は、クラスごとの正規混合分布の分散パラメータを推定することにより、ばらつきの違いを考慮できるモデル構造を使ったためである。
【図面の簡単な説明】
【図１】従来手法であるＫ−ｍｅａｎｓのフローチャートである。
【図２】従来手法である最尤法を用いた正規混合分布によるクラスタリング方法を実現するクラスタリング装置のブロック図である。
【図３】従来手法である最尤法を用いた正規混合分布によるクラスタリング方法のフローチャートである。
【図４】本発明の第１の実施の形態によるクラスタリング方法を実現するクラスタリング装置の構成を示すブロック図である。
【図５】本発明の第１の実施の形態によるクラスタリング方法のフローチャートである。
【図６】本発明の第２の実施の形態によるクラスタリング方法を実現するクラスタリング装置の構成を示すブロック図である。
【図７】本発明の第２の実施の形態によるクラスタリング方法のフローチャートである。
【図８】本発明の第３の実施の形態によるクラスタリング装置の構成を示すブロック図である。
【図９】クラスタリングの対象としたＧｅｎｅ３３３５である。
【図１０】Ｋ−ｍｅａｎｓ法によるＧｅｎｅ３３３５のクラスタリング結果である。
【図１１】本発明によるＧｅｎｅ３３３５のクラスタリング結果である。
【図１２】クラスタリングの対象としたシミュレーションデータである。
【図１３】最尤法を用いた正規混合分布によるシミュレーションデータのクラスタリング結果である。
【図１４】本発明によるシミュレーションデータのクラスタリング結果である。
【図１５】判定不能検出手段を組み込んだ最尤法を用いた正規混合分布によるクラスタリング方法のフローチャートである。
【図１６】クラスタリングの対象としたＧｅｎｅ１０５３０である。
【図１７】最尤法を用いた正規混合分布によるＧｅｎｅ１０５３０のクラスタリング結果である。
【図１８】本発明によるＧｅｎｅ１０５３０のクラスタリング結果である。
【符号の説明】
１    入力装置
２    データ処理装置
３    出力装置
４    データ処理装置
５    記憶装置
６    データ処理装置
７    記録媒体
８    データ処理装置
２１    パラメータ推定手段
２２    外れ値検出手段
２３    クラスタリング手段
２４    パラメータ推定手段
２５    判定不能検出手段
２６    クラスタリング手段
５１    パラメータ記憶部
【図１】
2004272350.tif 000009
【図２】
2004272350.tif 000010
【図３】
2004272350.tif 000011
【図４】
2004272350.tif 000012
【図５】
2004272350.tif 000013
【図６】
2004272350.tif 000014
【図７】
2004272350.tif 000015
【図８】
2004272350.tif 000016
【図９】
2004272350.tif 000017
【図１０】
2004272350.tif 000018
【図１１】
2004272350.tif 000019
【図１２】
2004272350.tif 000020
【図１３】
2004272350.tif 000021
【図１４】
2004272350.tif 000022
【図１５】
2004272350.tif 000023
【図１６】
2004272350.tif 000024
【図１７】
2004272350.tif 000025
【図１８】
2004272350.tif 000026