(57)【特許請求の範囲】
【請求項１】
半教師ありシナリオに拡張して適用され、
ラベル付きデータサンプルを入力するステップと、
ラベル無しデータサンプルを入力するステップと、
ラベル付きデータサンプルとラベル無しデータサンプルを用いて最初のマルチレベル分類モデルを生成するステップと、
生成した最初のマルチレベル分類モデルを最適化するステップとを含み、
前記最適化ステップが、
各ラベル付きデータサンプルの、予測されるレベルの分類値と分類されたレベルの分類値との間の距離に基づいて最初のマルチレベル分類モデルを調整する第１の調整ステップと、
ラベル付きデータサンプル間の順序関係に基づいて前記最初のマルチレベル分類モデルを調節する第2の調整ステップと、  
データサンプル間の類似度およびレベル間の類似度に基づいて最初のマルチレベル分類モデルを平滑化するステップとを含み、
前記データサンプル間の類似度は、ラベル付きデータサンプルとラベル無しデータサンプルの類似の度合いを示し、
前記レベル間の類似度は、データサンプル間のレベルの類似の度合いを示す
ことを特徴とするマルチレベル分類モデルを構築する方法。
【請求項２】
前記第１の調整ステップが、
全てのラベル付きデータサンプルについて、各ラベル付きデータサンプルの予測されるレベルの分類値と分類されたレベルの分類値の間の距離の数学和が最小となるようにレベル分類関数を調節するステップを含む
ことを特徴とする請求項１に記載のマルチレベル分類モデルを構築する方法。
【請求項３】
前記第２の調整ステップが、
全てのラベル付きデータサンプルについて、レベル分類に従って再度並び替えられたラベル付きデータサンプルの配列における隣接するデータサンプルの予測されるレベルの分類値間の順序エラーの数学和が最小となるようにレベル分類関数を調節するステップを含む
ことを特徴とする請求項１に記載のマルチレベル分類モデルを構築する方法。
【請求項４】
前記平滑化ステップが、
全てのラベル付きデータサンプルについて、以下の項目の和が最小となるようにレベル分類関数を調節するステップを含む
（１）全てのラベル付きデータサンプルとラベル無しデータサンプルについて、データサンプル間の類似度に基づいて重み付けされた予測レベル分類値の間の距離の数学和
（２）全てのラベル付きデータサンプルとラベル無しデータサンプルについて、データサンプル間のレベルの類似度に基づいて重み付けされた予測レベル分類値の間の距離の数学和
ことを特徴とする請求項１に記載のマルチレベル分類モデルを構築する方法。
【請求項５】
前記数学和が、絶対値の和、平方和あるいは高累乗和であることを特徴とする請求項２から請求項４の何れか1項に記載のマルチレベル分類モデルを構築する方法。
【請求項６】
各項目の数学和について重みパラメータを割り当てるステップを含み、
前記重みパラメータが、０に等しいかあるいは０より大きいことを特徴とする請求項２から請求項４の何れか1項に記載のマルチレベル分類モデルを構築する方法。
【請求項７】
マルチレベル分類モデルを構築するためのシステムであって、
半教師ありシナリオに拡張して適用され、
ラベル付きデータサンプルを入力する第１の入力手段と、
ラベル無しデータサンプルを入力する第２の入力手段と
ラベル付きデータサンプルとラベル無しデータサンプルを用いて最初のマルチレベル分類モデルを生成する分類モデル初期化手段と、
生成した最初のマルチレベル分類モデルを最適化する分類モデル最適化手段とを備え、
前記分類モデル最適化手段が、
各ラベル付きデータサンプルの、予測されるレベルの分類値と分類されたレベルの分類値との間の距離に基づいて最初のマルチレベル分類モデルを調整する第１の調整手段と、
ラベル付きデータサンプル間の順序関係に基づいて前記最初のマルチレベル分類モデルを調節する第2の調整手段と、
データサンプル間の類似度およびレベル間の類似度に基づいて最初のマルチレベル分類モデルを平滑化する手段とを含み、
前記データサンプル間の類似度は、ラベル付きデータサンプルとラベル無しデータサンプルの類似の度合いを示し、
前記レベル間の類似度は、データサンプル間のレベルの類似の度合いを示す
ことを特徴とするシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報分類に関し、特に、多数のカテゴリあるいはクラスに情報サンプルを分類するマルチクラス分類およびマルチレベル分類に関する。さらに具体的には、本発明は、マルチレベル分類モデルを構築する方法およびシステムに関する。
【背景技術】
【０００２】
これまでのマルチクラス情報分類方法においては、クラスは多くの場合相互に独立しており、かつ無秩序である。例えば、ニュース分類において、ニュースのクラスは、政治、経済学、軍事、科学などを含んでいる。
【０００３】
しかしながら、我々の現実の生活においては、他に特殊な種類のマルチクラス問題がある。各クラスの間は規則正しくつながり、滑らかに分布する。この種の分類問題はマルチレベル分類問題と呼ばれている。また、そのような問題では、情報サンプルは異なるクラスの代わりに異なるレベルへ分類される。例えば、製品評価分類においては、ユーザの評価意見のレベルは、悪い、普通、良い、非常に良いなどを含む。
【０００４】
インターネット上で増大する情報は、情報分類の要求をますます著しくする。このため、近年、これまでのマルチクラス分類問題について、多くの研究がなされている。しかしながら、特別な種類のマルチクラス問題として、マルチレベル分類問題は未だによく研究されていない。本発明に関連するいくつかの既存の自動情報分類アルゴリズムの例について、以下に簡単に紹介する。
【０００５】
まず、非特許文献１（Ｗｅｉ  ＣｈｕとＳ．  Ｓａｔｈｉｙａ  Ｋｅｅｒｔｈｉによる“Ｎｅｗ  Ａｐｐｒｏａｃｈｅｓ  ｔｏ  Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｏｒｄｉｎａｌ  Ｒｅｇｒｅｓｓｉｏｎ”と題された論文（  ＩＣＭＬ２００５，１４５−１５２ページを参照））は、順序回帰（ｏｒｄｉｎａｌ  ｒｅｇｒｅｓｓｉｏｎ）のための２つの教師あり支援ベクトルアプローチを提案する。ここでは、順序尺度用の平行な分類超平面を限定するために多数の閾値を最適化する。より詳細については、「７．本発明の詳細な説明」を参照。
【０００６】
さらに、２００８年３月１７日出願の米国特許ＵＳ７５３３０７６Ｂ２（以下、特許文献１）は、効果的な多クラスサポートベクターマシン分類方法を提案する。この方法は、１組の教師あり二元サポートベクターマシン分類器を使用することにより、データサンプルを複数のカテゴリに分類する。分類モデルを構築する過程で、この方法は、隣接するレベル間の局所的な隣接度（ｌｏｃａｌ  ａｄｊａｃｅｎｃｙ）に基づいて最初の分類モデルを調整する。
図１は、特許文献１による分類モデルを生成し最適化するためのシステム１００の構成ブロック図を示す。
図１において、システム１００は、主に分類モデル初期化手段１０１および局所レベル隣接度ベースの分類モデル調整手段１０２を含んでいる。情報分類では、ある種のコンピュータ読み取り可能なフォーマットとして分類モデルを表わす必要がある。例えば、この方法では、マルチレベル分類モデルは、隣接するレベル間の境界（ｍａｒｇｉｎ）を示す対応するレベル閾値を有する一連の平行な分類超平面から成る。分類モデルの学習の初めに、まず、最初のモデルを生成する必要がある。
分類モデル初期化手段１０１は、入力されたラベル付きトレーニングデータに基づいた最初の分類モデルを生成するために使用される。最初の分類モデルを生成する方法については、当業者にとって周知の方法であるので、ここでは詳しく説明しない。
調整手段１０２は、レベル間の局所的なレベル隣接度に基づいて、生成された最初の分類モデルを調整し最適化するために使用される。マルチレベル問題において、レベルは順序に関係する。すなわち、レベルが接近すればするほど、それらはより類似する。
そのため、この方法では、この関係は以下のように表わされる。
ｉ番目のレベルの閾値は、（ｉ＋１）番目のレベルの閾値より低くなければならい。
レベル隣接関係を表わす局部的レベル隣接度は、生成された最初の分類モデルを調整するために使用され、それにより、最適化された分類モデルを取得する。
【０００７】
他の例として、Ｐ．  Ｎ．  Ｍ．  ＢｅｌｋｉｎとＶ．  Ｓｉｎｄｈｗａｎｉによる“Ｍａｎｉｆｏｌｄ  Ｒｅｇｕｌａｒｉｚａｔｉｏｎ：  Ａ  Ｇｅｏｍｅｔｒｉｃ  Ｆｒａｍｅｗｏｒｋ  ｆｏｒ  Ｌｅａｒｎｉｎｇ  ｆｒｏｍ  Ｌａｂｅｌｅｄ  ａｎｄ  Ｕｎｌａｂｅｌｅｄ  Ｅｘａｍｐｌｅｓ”（Ｊｏｕｒｎａｌ  ｏｆ  Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ  Ｒｅｓｅａｒｃｈ，第２３９９−２４３４ページ，２００６年を参照）と題された論文（以下、非特許文献２）は、一連の半教師ありマルチクラス分類モデルを学習する方法を示している。
この方法は典型的な半教師あり学習の方法である。その中心となる構成要素は、「データサンプル類似性に基づいた分類モデルの平滑化」である。
図２は、その非特許文献２による分類モデルの生成および最適化のためのシステム２００の構成ブロック図を示す。図２において、システム２００は、分類モデル初期化手段２０１と、データサンプル類似度ベースの分類モデル平滑化手段２０２を含んでいる。半教師あり学習のシナリオでは、ほとんどのデータサンプルはラベル無しであり、すなわち、それらのカテゴリラベルは未知である。しかしながら、これらのラベル無しトレーニングデータサンプルの存在は、全面的なデータ分布固有の幾何学的構造をよりよく形成するために使用することができる。
それは、類似するデータサンプルが同じカテゴリに存在する可能性が高いという仮説に基づいている。データサンプルの類似度は、データサンプルの特性に基づいて計算することができる。
その後、データサンプル類似度は、ラベル無しデータサンプルとラベル付きデータサンプルについて予測されたカテゴリを調整するために使用される。その結果、これらのラベルは、全面的なデータ分布に従って滑らかに変化し、分類モデルを最適化する目的が達成される。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】米国特許ＵＳ７５３３０７６Ｂ２
【０００９】
【非特許文献１】Ｗｅｉ  Ｃｈｕ、Ｓ．Ｓａｔｈｉｙａ  Ｋｅｅｒｔｈｉ著，  “Ｎｅｗ  Ａｐｐｒｏａｃｈｅｓ  ｔｏ  Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｏｒｄｉｎａｌ  Ｒｅｇｒｅｓｓｉｏｎ”，  ＩＣＭＬ，  ２００５年，  ｐ．１４５−１５２
【非特許文献２】Ｐ．Ｎ．Ｍ．Ｂｅｌｋｉｎ、Ｖ．Ｓｉｎｄｈｗａｎｉ著，  “Ｍａｎｉｆｏｌｄ  Ｒｅｇｕｌａｒｉｚａｔｉｏｎ：  Ａ  Ｇｅｏｍｅｔｒｉｃ  Ｆｒａｍｅｗｏｒｋ  ｆｏｒ  Ｌｅａｒｎｉｎｇ  ｆｒｏｍ  Ｌａｂｅｌｅｄ  ａｎｄ  Ｕｎｌａｂｅｌｅｄ  Ｅｘａｍｐｌｅｓ”，  Ｊｏｕｒｎａｌ  ｏｆ  Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ  Ｒｅｓｅａｒｃｈ，  ２００６年，  ｐ．２３９９−２４３４
【非特許文献３】Ｍ．Ｑｉａｎ、Ｆ．Ｎｉｅ、Ｃ．Ｚｈａｎｇ著，  “Ｐｒｏｂａｂｉｌｉｓｔｉｃ  ｌａｂｅｌｅｄ  ｓｅｍｉ−ｓｕｐｅｒｖｉｓｅｄ  ｓｖｍ．  Ｉｎ  Ｗｏｒｋｓｈｏｐ  ｏｎ  Ｏｐｔｉｍｉｚａｔｉｏｎ  Ｂａｓｅｄ  Ｍｅｔｈｏｄｓ  ｆｏｒ  Ｅｍｅｒｇｉｎｇ  Ｄａｔａ  Ｍｉｎｉｎｇ  Ｐｒｏｂｌｅｍｓ”，  ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｄａｔａ  Ｍｉｎｉｎｇ  （ＩＣＤＭ），  ２００９年
【発明の概要】
【発明が解決しようとする課題】
【００１０】
上述したマルチクラス分類モデルにおいては、マルチレベルの場合におけるレベル間のペアの順序関係は考慮されていない。また、そのことに関係なく、関連技術におけるマルチレベル分類モデル最適化方法は、なお避けることのできない多くの欠点を有する。
先行技術１の順序回帰モデル最適化方法（ｏｒｄｉｎａｌ  ｒｅｇｒｅｓｓｉｏｎ  ｍｏｄｅｌ  ｏｐｔｉｍｉｚａｔｉｏｎ  ｍｅｔｈｏｄ）においては、隣接レベル間の制限のある順序関係だけが考慮される。また、順序回帰モデル中の出力されたレベルラベルは、離散的であり、連続的に測定することができない。
更に、例えば、先行技術２の半教師あり学習のシナリオにおいて適用できる既存のマルチレベルまたは順序回帰方法は存在しない。
【課題を解決するための手段】
【００１１】
本発明は、上述した関連技術における既存の課題を解決するためになされたものである。
【００１２】
本発明のマルチレベル分類モデル最適化方法は、教師あり・半教師ありシナリオにそれぞれ適用される主要な４つの分類モデル最適化機能を含む。すなわち、大局的なレベル値の距離に基づいた分類モデル調整機能（第１の調整）、データサンプルの順序関係に基づいた分類モデル調整機能（第２の調整）、データサンプル間の類似度に基づいた分類モデル平滑化機能（第１の平滑化）、レベル間の類似度に基づいた分類モデル平滑化機能（第２の平滑化）の４つである。第１の調整および第２の調整は、主に教師ありシナリオに適用され、すなわち、ラベル付きデータサンプルに基づいている。また、第１の平滑化と第２の平滑化は、第１の調整と第２の調整を基礎として導入され、半教師ありシナリオに適用されるモデルに使用可能である。すなわち、ラベル付きデータサンプルとラベル無しデータサンプルの両方に基づいている。
【００１３】
第１の調整（つまり、大局的なレベル値の距離に基づいた分類モデル調整）は、全ての分類レベルの大局的な関係に基づいて分類モデルを調整する機能である。上述の関連技術１において述べたような隣接するレベル間の局所的な順序に制限される場合と異なり、第１の調整機能は、大局的な誤分類エラーを罰するためにレベル値間のギャップを利用する。その結果、全てのレベルの大局的な順序関係が分類モデルの調整する過程で導入される。したがって、全てのデータサンプル上の大局的な誤分類エラーが最小限になると共に、分類モデルの大局的なレベル順序関係も巨視的に最適化される。
【００１４】
第２の調整（つまり、データサンプルの順序関係に基づいた分類モデル調整）は、以下を考慮して設計されている。
多レベルの順序の本質に基づいて、レベル間の順序は、各データサンプルにも反映する。
そこで、第２の調整機能は、２つのレベル付きデータ毎の間の順序関係を、それらのレベルラベルに対応するレベル順序関係と一致するように保持することを目指している。
したがって、レベル順序関係は、データサンプルに従って微視的にさらに最適化される。
【００１５】
第１の平滑化（つまり、データサンプル間の類似度に基づいた分類モデル平滑化）は、既存の方法、例えば、上述の関連技術２に記載された方法と類似する。
本発明においては、ラベル付きデータサンプルとラベル無しデータサンプルの両方の予測レベルが、それらの類似度に基づいて平滑化される。
【００１６】
第２の平滑化（つまり、レベル間の類似度に基づいた分類モデル平滑化）は、データサンプルのレベル類似度に従って分類モデルを調整する機能である。
データサンプル間の類似度に基づいた第１の平滑化機能は、データ分布固有の幾何学的構造だけを利用する。
第２の平滑化は、レベル分布固有の幾何学的構造をモデル化するために使用される。
レベル間の距離とデータサンプルがレベルに属する確率に基づいて、データサンプル間のレベル類似度が計算される。
そのため、分類モデルは、データサンプルのレベル類似度に従ってさらに最適化され、その結果、予測レベルラベルは、全データ分布上で滑らかに変化するだけではなく、レベルの順序関係と一致する。
【００１７】
他の実施例によれば、本発明は、上述した第１の調整、第２の調整、第１の平滑化および第２の平滑化の異なる組合せを利用することにより、マルチレベル分類モデルを最適化する。
【００１８】
本発明によるマルチレベル分類モデルを構築する方法は、ラベル付きデータサンプルを入力するステップと、レベル付きデータサンプルを用いて最初のマルチレベル分類モデルを生成するステップと、生成した最初のマルチレベル分類モデルを最適化するステップとを含み、前記最適化ステップで、全てのレベル間の大局的なレベル値の距離に基づいて最初のマルチレベル分類モデルを調整する。
他の態様では、最適化ステップが、さらに、ラベル付きデータサンプル間の順序関係に基づいて前記最初のマルチレベル分類モデルを調節するステップを含む。
さらに他の態様では、最適化ステップが、データサンプル間の類似度およびレベル間の類似度に基づいて最初のマルチレベル分類モデルを平滑化するステップを含む。
【００１９】
本発明によるマルチレベル分類モデルを構築するためのシステムは、ラベル付きデータサンプルを入力する第１の入力手段と、レベル付きデータサンプルを用いて最初のマルチレベル分類モデルを生成する分類モデル初期化手段と、生成した最初のマルチレベル分類モデルを最適化する分類モデル最適化手段とを備える。
他の態様によれば、分類モデル最適化手段が、全てのレベル間の大局的なレベル値の距離に基づいて最初のマルチレベル分類モデルを調整するように構成される。
さらに他の態様によれば、分類モデル最適化手段が、全てのレベル間の大局的なレベル値の距離とデータサンプル間の順序関係に基づいて最初のマルチレベル分類モデルを調節するように構成される。
他の態様によれば、半教師ありシナリオに拡張して適用される。この場合、全てのレベル間の大局的なレベル値の距離とデータサンプル間の順序関係に基づいて最初のマルチレベル分類モデルを調節する他に、分類モデル最適化手段が、さらに、データサンプル間の類似度およびレベル間の類似度に基づいて最初のマルチレベル分類モデルを平滑化するように構成され、それにより最終的な最適化を実現する。
【発明の効果】
【００２０】
本発明の技術的な効果は以下の通りである。
まず、レベル値および類似度を利用することにより、レベル間の順序関係が、分類モデルにおいて十分に結び付けられ、それによって、マルチレベル分類（ｍｕｌｔｉ−ｌｅｖｅｌ  ｃｌａｓｓｉｆｉｃａｔｉｏｎ）の正確さが向上する。
【００２１】
更に、全てのレベルについて統一的な分類機能を構築するので、各データサンプルは同じ度量で計算される。
そのため、分類器の出力は、離散的なレベルラベルだけでなく、レベルラベルを量子化する連続的な度量値となり、その結果、マルチレベル分類器の出力が測定可能になる。
【００２２】
さらに、２つの平滑化機能の導入によって、分類モデルは、これまでの教師あり問題および実際の情報処理用途においてより一般的な半教師ありの問題の両方に適用することができ、それによって、マルチレベル分類の実用性が向上する。
【図面の簡単な説明】
【００２３】
本発明は、添付図面を参照した以下の実施の形態の詳細な説明から、より良く理解することができるであろう。同じ参照符号は、同じか類似する部分を示している。
【図１】関連技術１による分類モデル最適化システム１００を示す構成ブロック図である。
【図２】関連技術２による分類モデル最適化システム２００を示す構成ブロック図である。
【図３】本発明による分類モデル最適化システム３００を示す構成ブロック図である。
【図４Ａ】図３に示す分類モデル最適化システム３００の３つの異なる組合せ動作モードの１つを示すフローチャートである。
【図４Ｂ】図３に示す分類モデル最適化システム３００の３つの異なる組合せ動作モードの１つを示すフローチャートである。
【図４Ｃ】図３に示す分類モデル最適化システム３００の３つの異なる組合せ動作モードの１つを示すフローチャートである。
【発明を実施するための形態】
【００２４】
以下に、本発明の好ましい実施の形態について、図面を参照して詳細に説明する。
まず、説明を分かり易くするために、説明で使用されるいくつかの基本的な記号の定義を以下に示す。
ｌ個のラベル付きデータサンプルは、ＸＬ＝｛（ｘｉ，ｙｉ）｝，  ｉ＝１，．．．，ｌとして記される。
ｕ個のラベル無しデータサンプルは、ＸＵ＝｛（ｘｉ，？）｝  ，ｉ＝ｌ＋１，．．．，ｌ＋ｕとして記される。
ここで、ｙ∈｛ｒｋ｝，  ｋ＝１，．．．，Ｋであり、ｒｋは、第ｋ番目のクラスの値であり、Ｋはクラスの総数である。
【００２５】
ＹＲ＝｛ｙｉ｝，  ｉ＝１，．．．，ｌは、ｌ個のラベル付きデータサンプルのクラスラベルベクトルを示す。
本発明が構築するのは、レベル関数と呼ばれる、統一的予測（ｕｎｉｆｏｒｍ  ｐｒｅｄｉｃｔｉｏｎ）あるいは分類関数（ｃｌａｓｓｉｆｉｃａｔｉｏｎ  ｆｕｎｃｔｉｏｎ）ｆである。データサンプルｘに対する関数の出力は、数値ｆ（ｘ）であり、すなわち、ｘが属するレベルの値である。最適化されたレベル関数は、ｆ＊と表わされる。
【００２６】
本発明は、マルチレベル分類モデル（ｍｕｌｔｉ−ｌｅｖｅｌ  ｃｌａｓｓｉｆｉｃａｔｉｏｎ  ｍｏｄｅｌｓ）を構築するための分類モデル最適化方法を提案する。この方法は、分類モデルにレベル間の順序関係を結合する。本発明によって提案される方法は、教師ありと半教師ありのケースに適用することができる。
例として、その統一的な構造は以下の式（１）により表わすことができる。
ｆ＊＝ａｒｇｆｍｉｎ｜｜ｆ｜｜２Ｋ＋ｒ１ＶＬｅｖｅｌ（ｆ，ＹＲ）＋ｒ２ＶＯｒｄｅｒ（ｆ）＋ｒ３（１−α）｜｜ｆ｜｜２Ｉ＋ｒ３α｜｜ｆ｜｜２Ｌ    （１）
ここで、｜｜ｆ｜｜２Ｋは、レベル関数ｆの基本的な最適化項である。ｒ１，ｒ２，ｒ３，αは、それぞれ、本発明の発明の第１、第２、第３及び第４の構成要素に対応する項の効果を調整するためのパラメータである。
上述したように、本発明は、主に４つの最適化機能を含んでいる。すなわち、大局的なレベル値の距離に基づいた分類モデル調整（第１の調整）、データサンプル間の順序関係に基づいた分類モデル調整（第２の調整）、データサンプル間の類似性に基づいた分類モデル平滑化（第１の平滑化）、レベル間の類似性に基づいた分類モデル平滑化（第２の平滑化）である。
式（１）において、それらは、ＶＬｅｖｅｌ（ｆ，ＹＲ）、ＶＯｒｄｅｒ（ｆ）、｜｜ｆ｜｜２Ｉおよび｜｜ｆ｜｜２Ｌにそれぞれ対応している。
ここで、説明の便宜上、各項を、例として平方和を用いて説明する。しかし、本発明の原理は、この例に限定されず、各種の数学和（例えば、絶対値の和あるいは高累乗和（ｓｕｍ  ｏｆ  ｈｉｇｈｅｒ  ｐｏｗｅｒ））に拡張することが可能である。
【００２７】
（１）ＶＬｅｖｅｌ（ｆ，ＹＲ）は、学習したレベル関数がデータの真のレベルに近づくことを確実にする、ラベル付きデータに基づいた一種の損失関数（ｌｏｓｓ  ｆｕｎｃｔｉｏｎ）である。ここで、ＹＲ  はすべてのデータの期待レベル出力ベクトルである。
この項は、本発明の第１の調整（大局的なレベル値の距離に基づいた分類モデル調整機能）に対応する。
（２）ＶＯｒｄｅｒ（ｆ）は、ラベル付きデータサンプル間の順序関係を、それらのレベルラベルの順序関係と一致するように保持する、一種の損失関数である。
この項は、本発明の第２の調整（データサンプル間の順序関係に基づいた分類モデル調整機能）に対応する。
（３）｜｜ｆ｜｜２Ｉは、データサンプル分布の幾何学的な構造を反映するデータサンプル類似度に基づいた平滑調整項であり、これにより、レベル関数ｆはデータ分布に従って滑らかに変化する。
この項は、本発明の第１の平滑化（データサンプル間の類似性に基づいた分類モデル平滑化機能）に対応する。
（４）｜｜ｆ｜｜２Ｌは、レベルの幾何学的な構造を反映するレベル類似度に基づいた平滑調整項であり、これにより、レベル関数ｆは、レベル順序分布に従って滑らかに変化する。
この項は、本発明の第２の平滑化（レベル間の類似性に基づいた分類モデル平滑化機能）に対応する。
【００２８】
図３は、本発明に従って分類モデル最適化システム３００の構成ブロック図を示す。図４Ａから図４Ｃは、図３に示す分類モデル最適化システム３００の３つの異なる組合せ処理方法のフローチャートをそれぞれ示す。
【００２９】
図３に示すように、システム３００は、分類モデル初期化手段３０１および分類モデル最適化手段３０２を含んでいる。
分類モデル最適化手段３０２は、４つの分類モデル最適化機能の１つ以上の組合せを実現する。
上述したように、４つの分類モデル最適化機能は、大局的なレベル値の距離に基づいた分類モデル調整（第１の調整）３０２１、データサンプル間の順序関係に基づいた分類モデル調整（第２の調整）３０２２、データサンプルの間の類似度に基づいた分類モデル平滑化（第１の平滑化）３０２３及びレベル間の類似度に基づいた分類モデル平滑化（第２の平滑化）３０２４を含む。
上述したように、第１の調整および第２の調整は、教師ありシナリオに適用することができ、第１の平滑化および第２の平滑化は、半教師ありシナリオに適用することができる。
本発明の異なる実施例によれば、マルチレベル分類モデルの最適化は、第１の調整、第２の調整、第１の平滑化および第２の平滑化の異なる組合せによって実現することが可能である。
図４Ａから図４Ｃに関して、以下の適用形態は例として示している。
本発明の原理は以下の組合せに限定されないこと、適用要求に従って当業者であれば機能を選択し、組合せることができることに留意すべきである。
【００３０】
適用形態１（図４Ａ）：第１の調整
適用形態２（図４Ｂ）：第１の調整＋第２の調整
適用形態３（図４Ｃ）：第１の調整＋第２の調整＋第１の平滑化＋第２の平滑化
図４Ａおよび４Ｂは教師ありシナリオに適用することができる。図４Ｃは半教師ありシナリオへ拡張して適用することができる。
【００３１】
図４Ａの処理はステップ４０１ａから開始する。
ステップ４０１ａにおいて、ユーザがラベル付きデータサンプル集合を入力する。
その後、ステップ４０２ａにおいて、分類モデル初期化手段３０１が、最初のマルチレベル分類モデルを生成する。
ここで、最初のマルチレベル分類モデルは、当業界において周知の任意の既存の方法を利用することにより生成することが可能である。
本発明において、最初のマルチレベル分類モデルは、統一的な分類超平面マッピング関数（ｕｎｉｆｏｒｍ  ｃｌａｓｓｉｆｉｃａｔｉｏｎ  ｈｙｐｅｒｐｌａｎｅ  ｍａｐｐｉｎｇ  ｆｕｎｃｔｉｏｎ）ｆ、一連のレベル値および他の幾つかのパラメータから成る。
次に、ステップ４０３ａにおいて、分類モデル最適化手段３０２が、最初の分類モデルについて第１の調整を実行する。
すなわち、分類モデル最適化手段３０２は、全てのレベル間の大局的なレベル値の距離に基づいて最初の分類モデルを調整する。
ステップ４０４ａにおいて、最適化されたマルチレベル分類モデルが取得される。
【００３２】
図４Ｂの処理は、図４Ａの処理に類似し、ステップ４０３ｂでの分類モデル最適化手段３０２の動作のみが相違する。
図４Ｂに示す適用形態２において、分類モデル最適化手段３０２は、最初の分類モデルについて、第１の調整および第２の調整を実行する。
すなわち、分類モデル最適化手段３０２は、（１）全てのレベル間の大局的なレベル値の距離および（２）データサンプル間の順序関係に基づいて分類モデルを調整する。
【００３３】
図４Ｃは半教師ありシナリオに適用することが可能である。
ステップ４０１ｃにおいて、ユーザはラベル付きデータサンプル集合およびラベル無しデータサンプル集合を入力する。
その後、ステップ４０２ｃにおいて、分類モデル初期化手段３０１が、入力したラベル付きデータサンプル集合およびラベル無しデータサンプル集合を利用して、最初のマルチレベル分類モデルを生成する。
ステップ４０３ｃにおいて、分類モデル最適化手段３０２が、最初の分類モデルについて、第１の調整、第２の調整、第１の平滑化およびの第２の平滑化を実行する。
すなわち、分類モデル最適化手段３０２は、（１）全てのレベル間の大局的なレベル値の距離、（２）データサンプル間の順序関係、（３）データサンプル間の類似度および（４）分類レベル間の類似度に基づいて、分類モデルを最適化する。
その後、ステップ４０４ｃにおいて、最適化されたマルチレベル分類モデルが取得される。
【００３４】
本発明の第１と第２の調整機能および第１と第２の平滑化機能について、以下に詳細に説明する。
【００３５】
第１の調整（大局的なレベル値の距離に基づいた分類モデル調整）
レベル順序関係の導入は、マルチレベル分類器をマルチクラス分類器と区別する重要な特徴である。
本発明においては、レベル値に従ってレベルの間の距離を表わすためにユークリッド度量の仮説（ａｓｓｕｍｐｔｉｏｎ  ｏｆ  Ｅｕｃｌｉｄｅａｎ  ｍｅｔｒｉｃ）をレベル空間に導入する。
その結果、例えば、平方損失を、以下のようにＶＬｅｖｅｌ（ｆ，ＹＲ）を表わすために採用することができる。
【数１】
0005429940.tif 000002
上記の式は、各ラベル付きデータサンプルの予測されるレベルラベル値とその対応するラベル付きレベルラベル値との間の距離の平方和を表わしている。
上記の式によれば、データサンプルが誤って分類されるレベルが真のレベルから外れるほど、損失がより大きくなる。
従って、誤った分類エラーが大局的なレベル値の距離によって最小化されれば、レベル関数は最適化されるだろう。
第１の調整の利点は、全てのレベル間の大局的な順序関係が量子化され、暗黙にかつ巨視的に最適化されるということである。
上述したように、平方和の他に、式（２）は各種の数学和（例えば、絶対値の和あるいは高累乗和（ｓｕｍ  ｏｆ  ｈｉｇｈｅｒ  ｐｏｗｅｒ））を用いることが可能である。
【００３６】
第２の調整（データサンプル間の順序関係に基づいた分類モデル調整）
さらにレベル順序関係を利用するために、本発明は、それらのレベルラベルに従ってデータサンプルの局所的な順序を保持する第２の構成要素を導入する。
まず、ｌ個のラベル付きデータサンプルは、それらのレベルラベルに従って再度並び替えることができる。
区別するために、異なる添字ｘｐが新たな順序における位置を示すために使用される。
その結果、例えば、ヒンジ損失（ｈｉｎｇｅ  ｌｏｓｓ）を、以下のようにＶＯｒｄｅｒ（ｆ）を表わすために採用することができる。
【数２】
0005429940.tif 000003
第２の調整において、ラベル付きデータサンプルの配列は、レベルラベルに従って再度並び替えられ、その後、その序列における隣接するデータサンプルの予測値間の順序エラーの数学和が、分類モデルを調整するために使用される。
それにより、レベル関数は、レベル順序関係によって制約されるデータ間の順序関係によって最適化される。
第２の調整の利点は、データサンプルの局所的な順序関係が明示的かつ微視的に最適化されるということである。
同様に、第２の調整における数学和は、式（３）で与えられる形式に限定されない。例えば、絶対値の和、平方和、高累乗和（ｓｕｍ  ｏｆ  ｈｉｇｈｅｒ  ｐｏｗｅｒ）あるいはその他の形式を使用することが可能である。
【００３７】
第１の平滑化（データサンプル間の類似度に基づいた分類モデル平滑化）
第１の平滑化は、既存の技術におけるそれらの通常の方法と類似しており、分類モデルを全データ分布の固有の幾何学的構造によりよく一致させるために、ラベル無しデータサンプルを利用する。
この方法は以下の仮定に基づいている。
類似するデータサンプルは、同じレベルに分類される可能性が高い。
例えば、全てのラベル付きデータサンプルとラベル無しデータサンプル間のデータ類似度ＳＩｉ，ｊは、それらの特性に基づいて、以下のガウスカーネル（Ｇａｕｓｓｉａｎ  ｋｅｒｎｅｌ）を使用することにより計算することができる。
【数３】
0005429940.tif 000004
次に、データサンプル類似度に基づいた平滑調整項｜｜ｆ｜｜２Ｉは、以下のように定義することができる。
【数４】
0005429940.tif 000005
上記の式において、分類モデルは、データサンプル間の類似度に基づいて重み付けされた予測レベルラベル値の間の距離の平方和に従って平滑化される。
従って、式（５）の最小化は、データ幾何学的分布に従ってレベル関数を滑らかに変化させる。
第１の平滑化の利点は、分類モデルを学習するために大量のラベル無しデータサンプルを利用することができることである。
しかしながら、この方法は、また、データ分布がレベル分布と常に一致するとは限らないという問題点を有する。従って、本発明は、さらに分類モデルを最適化するために第２の平滑化を使用する。上述したように、平方和の他に、式（５）は各種の数学和（例えば、絶対値の和あるいは高累乗和（ｓｕｍ  ｏｆ  ｈｉｇｈｅｒ  ｐｏｗｅｒ））を用いることが可能である。
【００３８】
第２の平滑化（レベル間の類似度に基づいた分類モデル平滑化）
データサンプル間の一般的なサンプル類似度の他に、本発明は、さらに、マルチレベル分類器によって半教師ありシナリオに有効に適用することができる重要な特徴としてレベル類似度を導入する。
本発明においては、最初に、レベル値によってレベルの間の距離を表わすために、ユークリッド度量の仮説（ａｓｓｕｍｐｔｉｏｎ  ｏｆ  Ｅｕｃｌｉｄｅａｎ  ｍｅｔｒｉｃ）に基づいて、レベル距離重み行列（ｌｅｖｅｌ  ｄｉｓｔａｎｃｅ  ｗｅｉｇｈｔ  ｍａｔｒｉｘ）ＢＬｋ，ｋ'の概念が導入される、
例えば、それは以下の指数関数のように定義することができる。
ＢＬｋ，ｋ'＝ｅ−｜ｒｋ−ｒｋ'｜                                                                            （６）
次に、既存の方法を利用して、ｋレベルに属するデータサンプルｘｉの確率を表す、データ−レベル確率行列Ｐｉ，ｋを計算する。
ここで、この既存の方法としては、例えば、非特許文献３（Ｍ．  Ｑｉａｎ、  Ｆ．  Ｎｉｅ  とＣ．  Ｚｈａｎｇ  による“Ｐｒｏｂａｂｉｌｉｓｔｉｃ  ｌａｂｅｌｅｄ  ｓｅｍｉ−ｓｕｐｅｒｖｉｓｅｄ  ｓｖｍ．  Ｉｎ  Ｗｏｒｋｓｈｏｐ  ｏｎ  Ｏｐｔｉｍｉｚａｔｉｏｎ  Ｂａｓｅｄ  Ｍｅｔｈｏｄｓ  ｆｏｒ  Ｅｍｅｒｇｉｎｇ  Ｄａｔａ  Ｍｉｎｉｎｇ  Ｐｒｏｂｌｅｍｓ”  （ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｄａｔａ  Ｍｉｎｉｎｇ  （ＩＣＤＭ），２００９））と題する論文で提案される方法を用いることが可能である。
最後に、データサンプルについて、レベル類似度の概念を以下のように導入する。
２つのデータサンプルｘｉとｘｊについて、それらの間のレベル類似度ＳＩｉ，ｊは以下のように表される。
【数５】
0005429940.tif 000006
レベル類似度ＳＩｉ，ｊの定義に基づいて、レベル類似度に基づいた平滑調整項｜｜ｆ｜｜２Ｌは以下のように定義することができる。
【数６】
0005429940.tif 000007
上記の等式において、分類モデルは、データサンプルのレベル間の類似度に基づいて重み付けされる予測レベルラベル値の間の距離の平方和に従って平滑化される。
従って、式（８）の最小化は、レベル幾何学的分布に従ってレベル関数を滑らかに変化させる。
第２の平滑化の利点は、大量のラベル無しデータサンプルがマルチレベル分類モデルの学習において役立つだけでなく、レベルの順序の関係を考慮できることである。
上述したように、平方和の他に、式（８）は各種の数学和（例えば、絶対値の和あるいは高累乗和（ｓｕｍ  ｏｆ  ｈｉｇｈｅｒ  ｐｏｗｅｒ））を用いることが可能である。
【００３９】
以上、本発明の分類モデル最適化方法について詳細に説明した。
特に、本発明は、４つの分類モデル最適化機能、すなわち、大局的なレベル値の距離に基づいた分類モデル調整（第１の調整）、データサンプル間の順序関係に基づいた分類モデル調整（第２の調整）、データサンプル間の類似度に基づいた分類モデル平滑化（第１の平滑化）、レベル間の類似度に基づいた分類モデル平滑化（第２の平滑化）を提案する。これらは、それぞれ、分類レベル中の大局的なレベル値の距離、データサンプル間の順序関係、データサンプル間の類似度およびレベル間の類似度に基づいて分類モデルを調整し最適化する。
【００４０】
上述のように、本発明においては、レベル値および類似度を利用することにより、レベル間の順序関係が、分類モデルにおいて十分に結び付けられ、それによって、マルチレベル分類（ｍｕｌｔｉ−ｌｅｖｅｌ  ｃｌａｓｓｉｆｉｃａｔｉｏｎ）の正確さが向上する。
【００４１】
更に、全てのレベルについて統一的な分類機能を構築するので、各データサンプルは同じ度量で計算される。
そのため、分類器の出力は、離散的なレベルラベルだけでなく、レベルラベルを量子化する連続的な度量値となり、その結果、マルチレベル分類器の出力が測定可能になる。
【００４２】
さらに、２つの平滑化機能の導入によって、分類モデルは、これまでの教師あり問題および実際の情報処理用途においてより一般的な半教師ありの問題の両方に適用することができ、それによって、マルチレベル分類の実用性が向上する。
【００４３】
添付図面を参照して本発明の特定の実施例について説明してきたが、本発明は図面に示した特定の構成やプロセスに限定されるものではない。上記では、説明を簡潔にするため、既知の方法および技術の詳細は省略している。また、上記の実施例では、いくつかの具体的なステップを例示したが、本発明の方法および処理は説明および図示に使用した特定のステップに限定されないため、当該技術に精通する当業者であれば、本発明の精神を一旦理解した後に、様々な変形、変更、追加を行い、またステップの順序を入れ替えることが可能である。
【００４４】
本発明の各要素は、ハードウェア、ソフトウェア、ファームウェア、またはその組み合わせとして実装し、そのシステム、サブシステム、コンポーネント、もしくはサブコンポーネント内で利用することができる。ソフトウェアとして実装された場合、本発明の各要素は、必要なタスクを実行するためのプログラムもしくはコードセクションとなる。これらのプログラムまたはコードセクションは、機械読取り可能な媒体に格納することも、あるいは、搬送波で搬送されるデータ信号を介して伝送媒体もしくは通信リンク上で伝送することもできる。「機械読取り可能な媒体」には、情報を格納または伝送できるあらゆる媒体が含まれる。機械読取り可能な媒体の例としては、電子回路、半導体記憶装置、ＲＯＭ、フラッシュメモリ、ＥＲＯＭ、フロッピーディスク、ＣＤ−ＲＯＭ、光ディスク、ハードディスク、光ファイバー媒体、ＲＦリンク等が挙げられる。コードセクションは、インターネットやイントラネット等のコンピュータネットワークを介してダウンロードすることができる。
【００４５】
本発明は、その精神および本質的な特徴から逸脱することなく、他の様々な形式で実装することができる。例えば、実施例で説明したアルゴリズムは、システムアーキテクチャが本発明の基本精神から逸脱しない限り、変更が可能である。したがって、上記の実施例は、あらゆる観点において限定的なものではなく、例示的なものとみなされる。本発明の範囲は、上記の説明よりもむしろ付記した請求項により定義されるため、請求項の範囲に入るあらゆる変形またはその等価物は本発明の範囲に含まれる。
【００４６】
さらに、上記実施形態の一部又は全部は、以下の付記のようにも記載されうるが、これに限定されない。
【００４７】
（付記１）
ラベル付きデータサンプルを入力するステップと、
レベル付きデータサンプルを用いて最初のマルチレベル分類モデルを生成するステップと、
生成した最初のマルチレベル分類モデルを最適化するステップとを含み、
前記最適化ステップで、全てのレベル間の大局的なレベル値の距離に基づいて最初のマルチレベル分類モデルを調整することを特徴とするマルチレベル分類モデルを構築する方法。
【００４８】
（付記２）
全てのレベル間の大局的なレベル値の距離に基づいて最初のマルチレベル分類モデルを調整するステップが、
全てのラベル付きデータサンプルについて、以下の項目の和が最小となるようにレベル分類関数を調節するステップを含む
（１）レベル分類関数に対応する分類超平面の間の距離の逆数
（２）各ラベル付きデータサンプルの予測レベルラベル値とその対応するラベル付きレベルラベル値の間の距離の数学和
ことを特徴とする付記１に記載のマルチレベル分類モデルを構築する方法。
【００４９】
（付記３）
最適化ステップが、さらに、ラベル付きデータサンプル間の順序関係に基づいて前記最初のマルチレベル分類モデルを調節するステップを含むことを特徴とする付記１に記載のマルチレベル分類モデルを構築する方法。
【００５０】
（付記４）
ラベル付きデータサンプル間の順序関係に基づいて前記最初のマルチレベル分類モデルを調節するステップが、
全てのラベル付きデータサンプルについて、以下の項目の和が最小となるようにレベル分類関数を調節するステップを含む
（１）レベル分類関数に対応する分類超平面の間の距離の逆数
（２）各ラベル付きデータサンプルの予測レベルラベル値とその対応するラベル付きレベルラベル値の間の距離の数学和
（３）レベルラベルに従って再度並び替えられたラベル付きデータサンプルの配列における隣接するデータサンプルの予想値間の順序エラーの数学和
ことを特徴とする付記３に記載のマルチレベル分類モデルを構築する方法。
【００５１】
（付記５）
半教師ありシナリオに拡張して適用され、
ラベル無しデータサンプルを入力するステップと、
レベル付きデータサンプルとラベル無しデータサンプルを用いて最初のマルチレベル分類モデルを生成するステップとをさらに含むことを特徴とする付記３に記載のマルチレベル分類モデルを構築する方法。
【００５２】
（付記６）
最適化ステップが、データサンプル間の類似度およびレベル間の類似度に基づいて最初のマルチレベル分類モデルを平滑化するステップを含むことを特徴とする付記５に記載のマルチレベル分類モデルを構築する方法。
【００５３】
（付記７）
前記平滑化ステップが、
全てのラベル付きデータサンプルについて、以下の項目の和が最小となるようにレベル分類関数を調節するステップを含む
（１）レベル分類関数に対応する分類超平面の間の距離の逆数
（２）各ラベル付きデータサンプルの予測レベルラベル値とその対応するラベル付きレベルラベル値の間の距離の数学和
（３）レベルラベルに従って再度並び替えられたラベル付きデータサンプルの配列における隣接するデータサンプルの予想値間の順序エラーの数学和
（４）全てのラベル付きデータサンプルとラベル無しデータサンプルについて、データサンプル間の類似度に基づいて重み付けされた予測レベルラベル値の間の距離の数学和
（５）全てのラベル付きデータサンプルとラベル無しデータサンプルについて、データサンプルのレベル間の類似度に基づいて重み付けされた予測レベルラベル値の間の距離の数学和
ことを特徴とする付記６に記載のマルチレベル分類モデルを構築する方法。
【００５４】
（付記８）
前記数学和が、絶対値の和、平方和あるいは高累乗和であることを特徴とする付記２、付記４又は付記７の何れかに記載のマルチレベル分類モデルを構築する方法。
【００５５】
（付記９）
各項目の数学和について重みパラメータを割り当てるステップを含み、
前記重みパラメータが、０に等しいかあるいは０より大きいことを特徴とする付記２、付記４又は付記７の何れかに記載のマルチレベル分類モデルを構築する方法。
【００５６】
（付記１０）
最適化ステップが、以下の式を最小にする
ｆ＊＝ａｒｇｆｍｉｎ｜｜ｆ｜｜２Ｋ＋ｒ１ＶＬｅｖｅｌ（ｆ，ＹＲ）＋ｒ２ＶＯｒｄｅｒ（ｆ）＋ｒ３（１−α）｜｜ｆ｜｜２Ｉ＋ｒ３α｜｜ｆ｜｜２Ｌ
ここで、
【数７】
0005429940.tif 000008
ＢＬｋ，ｋ'＝ｅ−｜ｒｋ−ｒｋ'｜
（ＸＬ＝｛（ｘｉ，ｙｉ）｝，  ｉ＝１，．．．，ｌは、ｌ個のラベル付きデータサンプルを示し、ｆは、レベル関数を示し、｜｜ｆ｜｜２Ｋは、レベル関数ｆの基本的最適化項であり、ＹＲ＝｛ｙｉ｝，  ｉ＝１，．．．，ｌは、ｌ個のラベル付きデータサンプルのクラスラベルベクトルを示す）
であることを特徴とする付記９に記載のマルチレベル分類モデルを構築する方法。
【００５７】
（付記１１）
マルチレベル分類モデルを構築するためのシステムであって、
ラベル付きデータサンプルを入力する第１の入力手段と、
レベル付きデータサンプルを用いて最初のマルチレベル分類モデルを生成する分類モデル初期化手段と、
生成した最初のマルチレベル分類モデルを最適化する分類モデル最適化手段とを備え、
前記分類モデル最適化手段が、全てのレベル間の大局的なレベル値の距離に基づいて最初のマルチレベル分類モデルを調整するように構成されることを特徴とするシステム。
【００５８】
（付記１２）
前記分類モデル最適化手段が、さらに、ラベル付きデータサンプル間の順序関係に基づいて前記最初のマルチレベル分類モデルを調節するように構成されることを特徴とする付記１１に記載のシステム。
【００５９】
（付記１３）
半教師ありシナリオに拡張して適用され、
ラベル無しデータサンプルを入力する第２の入力手段を備え、
前記分類モデル初期化手段が、レベル付きデータサンプルとラベル無しデータサンプルを用いて最初のマルチレベル分類モデルを生成することを特徴とする付記１２に記載のシステム。
【００６０】
（付記１４）
前記分類モデル最適化手段が、さらに、データサンプル間の類似度およびレベル間の類似度に基づいて最初のマルチレベル分類モデルを平滑化するように構成されることを特徴とする付記１３に記載のシステム。
【符号の説明】
【００６１】
１０１：分類モデル初期化手段
１０２：局所レベル隣接度ベースの分類モデル調整手段
２０１：分類モデル初期化手段
２０２：データサンプル類似度ベースの分類モデル平滑化手段
３００：分類モデル最適化システム
３０１：分類モデル初期化手段
３０２：分類モデル最適化手段
【図１】
0005429940.tif 000009
【図２】
0005429940.tif 000010
【図３】
0005429940.tif 000011
【図４Ａ】
0005429940.tif 000012
【図４Ｂ】
0005429940.tif 000013
【図４Ｃ】
0005429940.tif 000014