(57)【要約】【課題】  入力データがいずれかに属するクラス群を決定する問題に対し、正解のクラスが含まれるという意味での精度を向上させる。【解決手段】  本発明は、各尤度算出手段が、所定の入力データが複数のクラスのそれぞれに属することの尤もらしさである尤度を算出し、所定の入力データについて、複数の尤度算出手段のうちの１つの尤度算出手段が算出した尤度を大きい順にＮ個抽出し、該Ｎ個の尤度に対応したクラス群の中に、該入力データに対する正しいクラスがあることを示す確からしさである確信度を算出し、最大の確信度を算出した尤度算出手段が算出した尤度の大きい上位Ｎ個に対応するクラス群、または、該尤度に該確信度を反映して変換した結果の大きい上位Ｎ個に対応するクラス群を、入力データがいずれかに属するクラス群であると決定する。【選択図】  図１
2011221873.tif 000002
【特許請求の範囲】
【請求項１】
所定の入力データがいずれかに属するクラス群を決定するデータ分類装置であって、
前記所定の入力データが複数のクラスのそれぞれに属することの尤もらしさである尤度を算出し、尤度記憶手段に格納する機能を有し、分類手法または構成要素や特徴が互いに異なる複数の尤度算出手段と、
前記所定の入力データについて、前記尤度記憶手段に格納されている、複数の尤度算出手段のうちの１つの尤度算出手段が算出した尤度の大きい順にＮ個抽出し、該Ｎ個の尤度に対応したクラス群の中に、該入力データに対する正しいクラスがあることを示す確からしさである確信度を算出し、確信度記憶手段に格納する確信度算出手段と、
前記確信度記憶手段から前記尤度算出手段の確信度を抽出し、最大の確信度を算出した尤度算出手段が算出した尤度の大きい上位Ｎ個に対応するクラス群、または、該尤度に該確信度を反映して変換した結果の大きい上位Ｎ個に対応するクラス群を、入力データがいずれかに属するクラス群であると決定するデータクラス群決定手段と、
を有することを特徴とするデータ分類装置。
【請求項２】
前記確信度算出手段は、
前記確信度の大きさに応じて各クラスに属する尤度を重み付けし、全ての前記尤度算出手段にわたって加算した値を求める手段を含み、
前記データクラス群決定手段は、
前記全ての前記尤度算出手段にわたって加算した値の大きい方からＮ個に対応するクラス群を前記入力データがいずれかに属するクラス群であると決定する手段を含む
請求項１記載のデータ分類装置。
【請求項３】
所定の入力データがいずれかに属するクラス群を決定するデータ分類方法であって、
分類手法または構成要素や特徴が互いに異なる複数の尤度算出手段、尤度記憶手段、確信度記憶手段を有する装置において、
各尤度算出手段が、所定の入力データが複数のクラスのそれぞれに属することの尤もらしさである尤度を算出し、前記尤度記憶手段に格納する尤度算出ステップと、
前記確信度算出手段が、所定の入力データについて、前記尤度記憶手段に格納されている、複数の尤度算出手段のうちの１つの尤度算出手段が算出した尤度を大きい順にＮ個抽出し、該Ｎ個の尤度に対応したクラス群の中に、該入力データに対する正しいクラスがあることを示す確からしさである確信度を算出し、確信度記憶手段に格納する確信度算出ステップと、
前記確信度記憶手段から前記尤度算出手段の確信度を抽出し、最大の確信度を算出した尤度算出手段が算出した尤度の大きい上位Ｎ個に対応するクラス群、または、該尤度に該確信度を反映して変換した結果の大きい上位Ｎ個に対応するクラス群を、入力データがいずれかに属するクラス群であると決定するデータクラス群決定ステップと、を行うことを特徴とするデータ分類方法。
【請求項４】
前記確信度算出ステップにおいて、
前記確信度の大きさに応じて各クラスに属する尤度を重み付けし、全ての前記尤度算出手段にわたって加算した値を求め、
前記データクラス群決定ステップにおいて、
前記全ての前記尤度算出手段にわたって加算した値の大きい方からＮ個に対応するクラス群を前記入力データがいずれかに属するクラス群であると決定する
請求項３記載のデータ分類方法。
【請求項５】
請求項１または２のいずれか１項に記載のデータ分類装置を構成する手段としてコンピュータを機能させるためのデータ分類プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データ分類方法及び装置及びプログラムに係り、特に、入力データをいずれかのクラスに分類するためのデータ分類方法及び装置及びプログラムに関する。
【背景技術】
【０００２】
入力データを分類する際に、複数の尤度算出手段の出力を同時に用いる方法として、最大尤度に対するクラスが入力データに対する正しいクラスであることを示す確信度を算出して、最大の確信度を示す尤度算出手段が出力するクラスや、確信度の大きさに応じて尤度を重み付け加算した値が最大となるクラスを、入力データが属するクラスとする分類方法がある（例えば、非特許文献1参照）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】内山俊郎、別所克人、内山匡、奥雅博、"確信度推定を用いた複数分類器の結合"、人口知能学会、知能ベースシステム研究会予稿集、2009年1月．
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記の非特許文献１の技術では、複数の分類器の出力を統合して入力データに対する唯一のクラスを決定する方法であり、いずれかに属する複数のクラス（クラス群）を決定する問題には使えないという問題がある。
【０００５】
本発明は、上記の点に鑑みなされたもので、入力データがいずれかに属するクラス群を決定する問題に対し、正解のクラスが含まれるという意味での精度を向上させることが可能なデータ分類方法及び装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
図１は、本発明の原理構成図である。
【０００７】
本発明（請求項１）は、所定の入力データがいずれかに属するクラス群を決定するデータ分類装置であって、
所定の入力データが複数のクラスのそれぞれに属することの尤もらしさである尤度を算出し、尤度記憶手段１２に格納する機能を有し、分類手法または構成要素や特徴が互いに異なる複数の尤度算出手段１２０と、
所定の入力データについて、尤度記憶手段１２に格納されている、複数の尤度算出手段のうちの１つの尤度算出手段が算出した尤度を大きい順にＮ個抽出し、該Ｎ個の尤度に対応したクラス群の中に、該入力データに対する正しいクラスがあることを示す確からしさである確信度を算出し、確信度記憶手段１９に格納する確信度算出手段１３０と、
確信度記憶手段１９から尤度算出手段１２０の確信度を抽出し、最大の確信度を算出した尤度算出手段が算出した尤度の大きい上位Ｎ個に対応するクラス群、または、該尤度に該確信度を反映して変換した結果の大きい上位Ｎ個に対応するクラス群を、入力データがいずれかに属するクラス群であると決定するデータクラス群決定手段１５０と、を有する。
【０００８】
また、本発明（請求項２）は、請求項１のデータ分類装置において、
確信度算出手段１３０は、
確信度の大きさに応じて各クラスに属する尤度を重み付けし、全ての尤度算出手段にわたって加算した値を求める手段を含み、
データクラス群決定手段１５０は、
全ての尤度算出手段にわたって加算した値の大きい方からＮ個に対応するクラス群を入力データがいずれかに属するクラス群であると決定する手段を含む。
【０００９】
図２は、本発明の原理を説明するための図である。
【００１０】
本発明（請求項３）は、所定の入力データがいずれかに属するクラス群を決定するデータ分類方法であって、
分類手法または構成要素や特徴が互いに異なる複数の尤度算出手段、尤度記憶手段、確信度記憶手段を有する装置において、
各尤度算出手段が、所定の入力データが複数のクラスのそれぞれに属することの尤もらしさである尤度を算出し、尤度記憶手段に格納する尤度算出ステップ（ステップ１）と、
確信度算出手段が、所定の入力データについて、尤度記憶手段に格納されている、複数の尤度算出手段のうちの１つの尤度算出手段が算出した尤度を大きい順にＮ個抽出し、該Ｎ個の尤度に対応したクラス群の中に、該入力データに対する正しいクラスがあることを示す確からしさである確信度を算出し、確信度記憶手段１９に格納する確信度算出ステップ（ステップ２）と、
確信度記憶手段から前記尤度算出手段の確信度を抽出し、最大の確信度を算出した尤度算出手段が算出した尤度の大きい上位Ｎ個に対応するクラス群、または、該尤度に該確信度を反映して変換した結果の大きい上位Ｎ個に対応するクラス群を、入力データがいずれかに属するクラス群であると決定するデータクラス群決定ステップ（ステップ３）と、を行う。
【００１１】
また、本発明（請求項４）は、請求項４の確信度算出ステップ（ステップ２）において、
確信度の大きさに応じて各クラスに属する尤度を重み付けし、全ての尤度算出手段にわたって加算した値を求め、
データクラス群決定ステップ（ステップ３）において、
全ての尤度算出手段にわたって加算した値の大きい方からＮ個に対応するクラス群を入力データがいずれかに属するクラス群であると決定する。
【００１２】
本発明（請求項５）は、請求項１または２のいずれか１項に記載のデータ分類装置を構成する手段としてコンピュータを機能させるためのデータ分類プログラムである。
【発明の効果】
【００１３】
上述のように、本発明では、尤度算出手段が算出した複数の尤度のうちで、尤度の大きい方からＮ個に対応したクラス群の中に、入力データに対する正しいクラスがあることを示す確からしさである確信度を算出し、複数の尤度算出手段の出力を統合して、入力データがいずれかに属するクラス群を決定することにより、入力データがいずれかに属するクラス群を決定するデータ分類問題において、正解のクラスが含まれるという意味での精度を向上させることが可能となる。
【図面の簡単な説明】
【００１４】
【図１】本発明の原理構成図である。
【図２】本発明の原理を説明するための図である。
【図３】本発明の一実施の形態におけるデータ分類装置のハードウェア構成図である。
【図４】本発明の一実施の形態におけるデータ分類装置の機能構成図である。
【図５】本発明の一実施の形態におけるデータ分類装置の動作のフローチャートである。
【発明を実施するための形態】
【００１５】
以下図面と共に、本発明の実施の形態を説明する。
【００１６】
図３は、本発明の一実施の形態におけるデータ分類装置のハードウェア構成を示す。
【００１７】
同図に示すデータ分類装置は、ＣＰＵ１１、メモリ１２、ディスプレイ１３、キーボード１４、処理プログラム１５、処理対象記憶部１６、ＯＳ（オペレーティングシステム）１７、算出パラメータ記憶部１８、確信度記憶部１９、クラス群番号記憶部２０から構成される。
【００１８】
上記の処理対象記憶部１６、算出パラメータ記憶部１８、確信度記憶部１９、クラス群番号記憶部２０はハードディスク等の記憶媒体である。
【００１９】
以下に示すデータ分類の処理は、上記の処理プログラム１５によりＣＰＵ１１で実行されるが、図４に、本データ分類装置の処理機能構成を示す。
【００２０】
同図に示すデータ分類装置は、尤度算出制御部１１０、ｎ（ｎ≧１）個の尤度算出部１２０、確信度計算部１３０、クラス群抽出部１４０、クラス群決定部１５０を有する。
【００２１】
尤度算出制御部１１０は、処理対象記憶部１６から処理対象となるデータの特徴量を読み込み、メモリ１２に格納すると共に、キーボード１４から尤度算出部１２０の個数を取得する。
【００２２】
尤度算出部１２０は、ｎ個（ｎ≧１）存在し、それぞれ分類手法または構成要素や特徴が互いに異なる。尤度算出部１２０は、各クラスにおいて、尤度算出制御部１１０から入力された入力データの特徴量が出現する確率の積を求め、これを当該クラスに属する尤度とし、メモリ１２に格納する。
【００２３】
確信度計算部１３０は、メモリ１２から各尤度算出部１２０で求められた尤度を取得して、当該尤度が大きい順に所定数抽出し、算出パラメータ１８から取得した算出パラメータを用いて確信度を求め、当該尤度を算出した尤度算出部１２０の識別子（番号）と共に確信度記憶部１９に格納する。
【００２４】
クラス群抽出部１４０は、メモリ１２から入力データが各クラスに属する尤度の大きい順にＮ個のクラスを抽出し、これをクラス群とし、当該クラス群の番号を尤度と共にクラス群番号記憶部２０に格納する。
【００２５】
クラス群決定部１５０は、確信度記憶部１９から確信度と当該確信度を算出した尤度算出部の識別子（番号）を読み込み、その中で最大の確信度を算出した尤度算出部１２０を選択し、選択された尤度算出部１２０が算出した尤度が大きい順にＮ個のクラスを抽出し、当該Ｎ個の尤度に対応するクラス群の番号をクラス群番号記憶部２０から抽出する。この抽出されたクラス群の番号を入力されたデータが属するクラス群として出力する。
【００２６】
次に、上記の一連の動作を説明する。
【００２７】
図５は、本発明の一実施の形態におけるデータ分類装置の動作のフローチャートである。
【００２８】
ステップ１０１）  尤度算出制御部１１０は、処理対象記憶部１６から、処理対象である入力データＷの特徴量をメモリ１２上に読み込む。
【００２９】
ステップ１０２）  尤度算出制御部１１０は、キーボード１４から入力された尤度算出部１２０の数ｎを取得する。
【００３０】
ステップ１０３）  尤度算出制御部１１０は、尤度算出部１２０の番号ｉを１に初期化（ｉ＝１）する。
【００３１】
ステップ１０４）  尤度算出部１２０の番号がｉ≦ｎであればステップ１０５に移行し、そうでなければ（ｉ＞ｎ）、ステップ１１１に移行する。
【００３２】
ステップ１０５）  尤度算出制御部１１０は、入力データＷの特徴を、ｉ番目の尤度算出部１２０（LCi）に入力し、当該尤度算出部１２０iは、入力データＷがクラスＣk(ｋ＝１，…，Ｋ）に属する尤度Ｐi（Ｗ｜Ｃk）（ｋ＝１，…，Ｋ）を算出し、当該尤度算出部１２０iの識別子（番号）と共にメモリ１２に格納する。尤度算出処理では、各クラスにおいて、入力データＷの特徴（または、データの特徴）が出現する確率の積を、入力データＷの特徴が当該クラスに属する尤度であると判断する。なお、特徴が出現する確率を求める方法としては、文献１「上田修功、斉藤和巳著「多重トピックテキストの確率モデルテキストモデルの研究の最前線（１）」情報処理学会、会誌「情報処理」４５巻２号、pp. 184-190, 2004年2月」や文献２「上田修功、斉藤和巳著「多重トピックテキストの確率モデルテキストモデルの研究の最前線（１）」情報処理学会、会誌「情報処理」４５巻３号、pp.282-289, 2004年3月」に記載されているナイーブベイズモデルという方法を使用するようにしてもよい。
【００３３】
ステップ１０６）  確信度算出部１３０は、メモリ１２に格納されている上記入力データＷが各クラスに属する尤度Ｐi（Ｗ｜Ｃk）を用い、第ｉ番目の尤度算出部１２０（LCi）の確信度
【００３４】
【数１】
2011221873.tif 000003
を次のように算出する。
【００３５】
まず、最大の尤度を
【００３６】
【数２】
2011221873.tif 000004
とし、以下尤度が大きい順に第Ｎ＋１番目に大きな尤度までを
【００３７】
【数３】
2011221873.tif 000005
とする。
【００３８】
第ｉ番目の尤度算出部１２０（LCi）用の確信度算出パラメータ
【００３９】
【数４】
2011221873.tif 000006
を、算出パラメータ記憶部１８から読み込み、次の式(1)，(2)によって確信度
【００４０】
【数５】
2011221873.tif 000007
を求める。
【００４１】
【数６】
2011221873.tif 000008
なお、上記の算出パラメータを求める場合、文献３「丹後俊郎、山岡和枝、高木春良著、「ロジスティック回帰分析」朝倉書店」に記載されているロジスティック回帰分析において、正しいクラスがわかっているデータの集合の各データを尤度算出部１２０に入力し、算出される各クラスに属する尤度を大きい順に第Ｎ＋１位までとったものを説明変数、尤度が大きい順に第Ｎ位以内に正しいクラスがある（＝１）か否（＝０）かを結果変数として最尤法によりロジスティック回帰パラメータを算出したものを使用してもよい。
【００４２】
ステップ１０７）  確信度計算部１３０は、上記で求められた確信度
【００４３】
【数７】
2011221873.tif 000009
を尤度算出部１２０の識別子（番号）と共に確信度記憶部１９に格納する。
【００４４】
ステップ１０８）  クラス群抽出部１４０は、メモリ１２に格納されている上記の入力データＷの特徴量が各クラスに属する尤度Ｐi（Ｗ｜Ｃk）の大きい順に第Ｎ位以内に対応するクラス群を抽出し、これをhiとする。
【００４５】
ステップ１０９）  クラス群抽出部１４０は、上記クラスタ群hiを、クラス群番号記憶部２０に保存する。
【００４６】
ステップ１１０）  尤度算出部１２０の番号ｉをｉ＋１として、ステップ１０４に移行する。
【００４７】
ステップ１１１）  ステップ１０４において、ｉ＞ｎである場合は、入力データがいずれかに属するクラス群を決定する。つまり、確信度記憶部１９から各尤度算出部１２０の確信度
【００４８】
【数８】
2011221873.tif 000010
を抽出し、これを互いに比較し、最大の確信度を出力した尤度算出部１２０を選択し、当該尤度算出部１２０において尤度が大きい順に第Ｎ位までのクラス群の番号を、クラス群番号記憶部２０から抽出し、入力データがいずれかに属するクラス群ｈであるとする。
【００４９】
ステップ１１２）  上記のｈを、入力データがいずれかに属するクラス群として出力する。
【００５０】
なお、上記の図４に示すデータ分類装置の各構成要素の機能をプログラムとして構築し、データ分類装置として利用されるコンピュータのＣＰＵにインストールして実行させる、または、ネットワークを介して流通させることが可能である。
【００５１】
また、構築されたプログラムをハードディスクや、フレキシブルディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。
【００５２】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【符号の説明】
【００５３】
１１  ＣＰＵ
１２  尤度記憶手段、メモリ
１３  ディスプレイ
１４  キーボード
１５  処理プログラム
１６  処理対象記憶部
１７  ＯＳ（オペレーティングシステム）
１８  算出パラメータ記憶部
１９  確信度記憶手段、確信度記憶部
２０  クラス群番号記憶部
１００  データ分類装置
１１０  尤度算出制御部
１２０  尤度算出手段、尤度算出部
１３０  確信度算出手段、確信度算出部
１４０  クラス群抽出部
１５０  データクラス群決定手段、データクラス群決定部
【図１】
2011221873.tif 000011
【図２】
2011221873.tif 000012
【図３】
2011221873.tif 000013
【図４】
2011221873.tif 000014
【図５】
2011221873.tif 000015