(57)【要約】  本発明のデータ分析装置１００は、分析対象の複数のデータが入力されると、モデルパラメータの空間において複数のデータのそれぞれについて法線ベクトルに垂直、かつ、データを含む平面で囲まれる空間をバージョン空間とする制約条件を設定し、バージョン空間を囲む複数の面に内接する形状の大きさを最大化し、その形状の中心を求める制御部１８０を有する。【特許請求の範囲】
【請求項１】
分析対象の複数のデータが入力されると、モデルパラメータの空間において前記複数のデータのそれぞれについて法線ベクトルに垂直、かつ、該データを含む平面で囲まれる空間をバージョン空間とする制約条件を設定し、前記バージョン空間を囲む複数の面に内接する形状の大きさを最大化し、前記形状の中心を求める制御部を有するデータ分析装置。
【請求項２】
前記形状は楕円または楕円体である請求の範囲第１項に記載のデータ分析装置。
【請求項３】
前記形状は凸体である請求の範囲第１項に記載のデータ分析装置。
【請求項４】
前記制御部は、
前記形状の大きさを最大化する際のパラメータ設定に、サポートベクターマシンを拡張して適用する、請求の範囲第１項から第３項のいずれか１項記載のデータ分析装置。
【請求項５】
分析対象の複数のデータが入力されると、モデルパラメータの空間において前記複数のデータのそれぞれについて法線ベクトルに垂直、かつ、該データを含む平面で囲まれる空間をバージョン空間とする制約条件を設定し、
前記バージョン空間を囲む複数の面に内接する形状の大きさを最大化し、
前記形状の中心を求める、データ分析方法。
【請求項６】
前記形状は楕円または楕円体である請求の範囲第５項に記載のデータ分析方法。
【請求項７】
前記形状は凸体である請求の範囲第５項に記載のデータ分析方法。
【請求項８】
前記形状の大きさを最大化する際のパラメータ設定に、サポートベクターマシンを拡張して適用する請求の範囲第５項から第７項のいずれか１項記載のデータ分析方法。
【請求項９】
コンピュータに実行させるためのプログラムであって、
分析対象の複数のデータが入力されると、モデルパラメータの空間において前記複数のデータのそれぞれについて法線ベクトルに垂直、かつ、該データを含む平面で囲まれる空間をバージョン空間とする制約条件を設定し、
前記バージョン空間を囲む複数の面に内接する形状の大きさを最大化し、
前記形状の中心を求める処理を前記コンピュータに実行させるためのプログラム。
【請求項１０】
前記形状は楕円または楕円体である請求の範囲第９項に記載のプログラム。
【請求項１１】
前記形状は凸体である請求の範囲第９項に記載のプログラム。
【請求項１２】
前記形状の大きさを最大化する際のパラメータ設定に、サポートベクターマシンを拡張して適用する請求の範囲第９項から第１１項のいずれか１項記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、分類問題や回帰問題などに対するモデルを構築するためのデータ分析装置、データ分析方法、およびその方法をコンピュータに実行させるためのプログラムに関する。
【背景技術】
【０００２】
サポートベクターマシン（以下では、ＳＶＭと略記する）の一例が、米国特許第５６４９０６８明細書（以下では、文献１と称する）に開示されている。ＳＶＭを実行可能なデータ分析装置について説明する。ここでは、２クラス分類問題を取り扱う場合とする。【０００３】
図１は関連するデータ分析装置の一構成例を示すブロック図である。図１に示すように、データ分析装置２００は、分析対象のデータである分析対象データを格納するための記憶部２３０と、予め決められた手順によって超平面を求める制御部２１０とを有する。制御部２１０には、ＣＰＵ（Central  Processing  Unit）（不図示）が設けられ、ＣＰＵがプログラムにしたがって所定の処理を実行する。プログラムには、予め２次計画問題計算のための計算方法が記述されている。【０００４】
ＳＶＭ定式化の一例が、B.  Scholkopf,  A.J.  Smola,  R.C.  Williamson,  and  P.L.  Barlettによる“New  support  vector  algorithms,  Neural  Computation,  12:1207-1245,  2000”（以下では、文献２と称する）に開示されている。【０００５】
図１に示したデータ分析装置２００の動作を説明する。図２は図１に示したデータ分析装置の動作を説明するための図である。【０００６】
分析対象データとして、２クラスにラベルされた教師データが入力されると、制御部２１０は教師データを記憶部２３０に格納する。図２に示す黒丸と白丸がそれぞれ別のクラスのデータを示す点であるデータ点に相当する。続いて、制御部２１０は、記憶部２３０に格納した教師データを用いてクラス間の距離（マージン）を最大化する分離面を計算する。この計算は２次計画問題で定式化されており、制御部２１０は、その定式化により数値計算を行う。そして、図２に示す分類超平面の式を求めると、図に示さないディスプレイ装置を介して分類超平面を示す式を出力する。【０００７】
図２はデータにノイズが含まれない場合であるが、一般的には、図３に示すようにデータにはノイズが含まれていることが多い。図３に示すような場合には、エラーの値としてスラック変数ξを入れてその和とマージン最大化のトレードオフをとる定式化を行う。【０００８】
なお、多クラス問題の場合は複数の２クラス問題に分割して分離面（超平面）を複数計算し、その組み合わせにより分類を行う。【０００９】
また、データの別の空間への写像を用いて、一般的には高次元への写像を用いてデータを変換することにより、次のようにして非線形のモデルを構築できる。２次計画問題の双対問題は写像されたデータの内積のみで書かれるため、データの内積をカーネル関数として定義することで全ての計算およびモデル構築が可能である。カーネル関数を定義すれば写像を陽に定義する必要がないため、無限次元の写像を閉じた関数によって与えることができる。この方法はカーネルトリックと呼ばれている。【００１０】
一方、バージョン空間を利用したモデル構築法についての技術が、次の文献３から５に開示されている。文献３は、Ralph  Harbrich,  Thore  Graepel,  and  Colin  Campbellによる“Beyes  Point  Machines,  Journal  of  Machine  Learning  Research,  1:245-279,  2001”である。文献４は、P.  Rujanによる“Playing  billiard  in  version  space,  Neural  Computation,  9:99-122,  1997”である。文献５は、Theodore  .B.  Trafalis  and  Alexander  M.  Malyscheffによる“An  Analytic  Center  Machine,  Machine  Learning,  46,  203-223,  2002”である。【００１１】
バージョン空間とは、モデルパラメータの空間で全教師データを正しく学習する領域である。バージョン空間の内部の点で、空間を２等分する超平面の重なる中心点がベイズポイントである。ベイズポイントは優れた汎化能力を持つ。そのベイズポイントをバージョン空間の重心で近似することが文献３および文献４に開示されている。また、解析中心で近似したものが文献５に開示されている。
【発明の開示】
【００１２】
分析対象データから超平面を求める際、一般的なＳＶＭだけでは近似として粗いため、汎化能力がベイズポイントを用いた分類器より劣ってしまうという問題がある。
【００１３】
一方、ベイズポイントにより精度よく近似する点を求めるベイズポイントマシン（ＢＰＭ）を用いると、アルゴリズムがＳＶＭに比べて扱いにくいという問題がある。それは、ＢＰＭはバージョン空間でのビリヤードサンプリングから重心を求めるもので、高次元空間での収束速度が理論保障されていなく、また、ＳＶＭのようにエラーを許容する定式化、パラメータの意味づけが困難だからである。
【００１４】
文献５の解析中心では、どの程度ベイズポイントを近似するのか、理論的、直感的理解が困難であるということである。また、エラーの許容、パラメータの意味づけも困難である。
【００１５】
本発明の目的の一例は、ＳＶＭの有用性を維持し、より高精度な分析を可能にしたデータ分析装置、データ分析方法、およびその方法をコンピュータに実行させるためのプログラムを提供することである。
【００１６】
本発明の一側面のデータ分析装置は、分析対象の複数のデータが入力されると、モデルパラメータの空間において複数のデータのそれぞれについて法線ベクトルに垂直、かつ、そのデータを含む平面で囲まれる空間をバージョン空間とする制約条件を設定し、バージョン空間を囲む複数の面に内接する形状の大きさを最大化し、形状の中心を求める制御部を有する構成である。
【００１７】
また、本発明の一側面のデータ分析方法は、分析対象の複数のデータが入力されると、モデルパラメータの空間において複数のデータのそれぞれについて法線ベクトルに垂直、かつ、そのデータを含む平面で囲まれる空間をバージョン空間とする制約条件を設定し、バージョン空間を囲む複数の面に内接する形状の大きさを最大化し、形状の中心を求めるものである。
【００１８】
さらに、本発明の一側面のプログラムは、コンピュータに実行させるためのプログラムであって、分析対象の複数のデータが入力されると、モデルパラメータの空間において複数のデータのそれぞれについて法線ベクトルに垂直、かつ、そのデータを含む平面で囲まれる空間をバージョン空間とする制約条件を設定し、バージョン空間を囲む複数の面に内接する形状の大きさを最大化し、形状の中心を求める処理を前記コンピュータに実行させるものである。
【図面の簡単な説明】
【００１９】
【図１】図１は関連するデータ分析装置の一構成例を示すブロック図である。
【図２】図２は図１に示したデータ分析装置の動作を説明するための図である。
【図３】図３は図１に示したデータ分析装置の動作を説明するための図である。
【図４】図４は本実施形態のデータ分析装置の一構成例を示すブロック図である。
【図５】図５は図４に示した制御部を説明するための図である。
【図６】図６は本実施形態のデータ分析装置の処理手順を示すフローチャートである。
【図７】図７はバージョン空間を２次元で表す多角形の一例を示す図である。
【図８】図８はバージョン空間を２次元で表す多角形の別の例を示す図である。
【図９】図９は図８に示した多角形に内接する形状の一例を示す図である。
【図１０】図１０はＳＶＭのシステムに本実施形態のデータ分析装置を用いた例を示すブロック図である。
【符号の説明】
【００２０】
１００    データ分析装置
１３０    記憶部
１８０    制御部
４００    ネットワーク
【発明を実施するための最良の形態】
【００２１】
本実施形態のデータ分析装置の構成を説明する。図４は本実施形態のデータ分析装置の一構成例を示すブロック図である。【００２２】
図４に示すように、データ分析装置１００は、記憶部１３０と、制御部１８０とを有する。制御部１８０は、プログラムにしたがって処理を実行するＣＰＵ（不図示）と、プログラムを格納するためのメモリ（不図示）とを有する。【００２３】
図５は図４に示した制御部を説明するための図である。図５に示すように、制御部１８０は、バージョン空間設定手段１４０と、超平面最適化手段１６０とを有する。ＣＰＵがプログラムを実行することで、バージョン空間設定手段１４０および超平面最適化手段１６０がデータ分析装置１００に仮想的に構成される。【００２４】
データ分析装置１００の処理対象となる分析課題は分類問題や回帰問題、はずれ値予測問題などを含む。いずれも入力データについてのラベルの予測値を求めるものである。【００２５】
分類問題であれば、ラベルはクラスラベル（シンボル値、順序のない整数値など）またはラベルに属する度合いを示す実数値である。回帰問題であれば、ラベルは実数値である。はずれ値予測問題であれば、ラベルははずれ値スコアである。【００２６】
記憶部１３０には、制御部１８０による計算のための式やデータの情報が予め格納されている。また、外部より入力される分析対象データが格納される。さらに、計算途中のデータ、および算出された結果が格納される。【００２７】
バージョン空間設定手段１４０は、モデルパラメータ空間において、複数の分析対象データに対してバージョン空間を制約条件として設定する。バージョン空間の設定方法についての詳細は後述する。超平面最適化手段１６０は、バージョン空間を囲む複数の面に内接する形状の最大化を行い、その中心を求める。その際、超平面最適化手段１６０は、ＳＶＭに基づいて、カーネルトリックを用いて非線形モデルの構築、および非線形凸計画問題計算を実行する。【００２８】
各手段が実行する計算方法は予めプログラムに記述され、必要なデータは記憶部１３０に格納されている。【００２９】
次に、本実施形態のデータ分析装置１００の全体の処理の流れを説明する。図６は本実施形態のデータ分析装置の処理手順を示すフローチャートである。【００３０】
制御部１８０は、分析対象データとして複数のデータが入力されると、これらのデータを記憶部１３０に格納する。続いて、モデルパラメータ空間において、複数のデータについて法線ベクトルに垂直、かつ、データを含む平面を求め、求めた平面で囲まれた空間をバージョン空間とする制約条件を設定する(ステップ１００１)。その後、バージョン空間を囲む複数の面に内接する形状の大きさを最大化し（ステップ１００２）、その形状の中心を求める（ステップ１００３）。その中心を求めることが、超平面を示す式を求めることになる。【００３１】
次に、本実施形態のデータ分析装置１００による処理を詳細に説明する。ここでは、分析課題は２クラス分類問題とする。１クラスや多クラスへの拡張や回帰問題等への拡張も２クラス分類問題の分析方法から可能であることから、詳細な説明を省略する。【００３２】
はじめに、一般的なＳＶＭによる定式化の方法を説明する。【００３３】
分析対象データとして、ｎ（ｎは２以上の整数）次元のデータｘｉとそのラベルｙｉ（−１または１）がｍ個入力される。【００３４】
【数１】
2009099229.tif 000002
また、ｘｉの大きさを１とする。【００３５】
【数２】
2009099229.tif 000003
データ点を行ベクトルとする行列を次のようなデータ行列とする。【００３６】
【数３】
2009099229.tif 000004
続いて、次のようにして最適化問題の定式化を行う。ここでは、文献２に開示されたＳＶＭ定式化を用いると、以下の最適化問題を得る。【００３７】
【数４】
2009099229.tif 000005
【００３８】
【数５】
2009099229.tif 000006
式（５）はモデルによる予測であり、これとラベルの積が正であれば、予測は正しい。式（４）は図２のマージンの最大化としても解釈できる。データに含まれるエラーを許容するために、スラック変数ξを導入する。式（４）の不等式制約を等式で成り立つ点は、特に、サポートベクトルと呼ばれている。図２や図３のデータ点のうち円で囲まれたデータ点がサポートベクトルに相当する。【００３９】
【数６】
2009099229.tif 000007
式（６）はνＳＶＭといわれる、ＳＶＭの最適化問題である。【００４０】
ここで、図２および図３に示した超平面の法線ベクトルをｗとすると、図２および図３は、各データが点ベクトルで、超平面の法線ベクトルｗが方向ベクトルとした図である。【００４１】
本実施形態では、図２および図３に対して、バージョン空間設定手段１４０は、各データの点ベクトルを法線ベクトルとし、ｗを点ベクトルとする。そして、各データの点ベクトルを法線ベクトルとしたとき、法線ベクトルのそれぞれに垂直な平面を考える。これらの平面で囲まれる多面体を形成すると、この多面体の内部は全ての制約条件が満たされる空間であるバージョン空間となる。このようにして、バージョン空間設定手段１４０は、バージョン空間を制約条件として設定する。【００４２】
図７および図８はバージョン空間を２次元で表す多角形の一例を示す図である。図では、説明のために、多面体を多角形とし、平面の場合で示す。【００４３】
式（４）または式（６）において、【００４４】
【数７】
2009099229.tif 000008
【００４５】
【数８】
2009099229.tif 000009
式（７）は点ベクトルｗと式（８）が示す平面との距離（ｂを除いて考える）になる。つまり、式（４）および式（６）は、点ベクトルｗと制約条件の平面との距離の最小値を最大化するという問題になる。これは、多面体に内接する球の体積を最大にすることを求める問題と同様である。つまり、超平面最適化手段１６０は、バージョン空間で最大内接球の中心を求めることで、ベイズポイントの近似点を求めていることになる。【００４６】
図７に示す例の場合、多角形６０１の最大内接円５０１（多面体の球に相当）の中心となる点ベクトルｗはベイズポイントに比較的精度よく近似することが予測できる。しかし、図８に示す例のような場合、多角形６０３の最大内接円５０３の中心となる点ベクトルｗが、バージョン空間で偏った位置の点として求まってしまう。そのため、ベイズポイントＶとの近似の精度はよくない。【００４７】
そこで、本実施形態では、ベイズポイントとの近似の精度を向上させるために、バージョン空間に内接させる形状として、楕円体や、より高次の凸体を用いる。高次の凸体とは、２次の楕円に対して、例えば、媒介変数が４次の凸体である。以下では、楕円体の場合で説明する（図では楕円で示す）。図９は多角形６０３に内接する形状を楕円５０５にした場合の一例を示す図である。【００４８】
超平面最適化手段１６０は、次のように処理を行う。点ベクトルｗを中心とする楕円体は、以下に示すように、媒介変数で表現される。【００４９】
【数９】
2009099229.tif 000010
式（６）の制約条件にこの式を適用すると、【００５０】
【数１０】
2009099229.tif 000011
となる。これは点ベクトルｗが多面体の内接楕円体の中心である、という条件になる。この条件はすべてのｕに対して成り立つので、最悪、ｕ＝−ｘのときにも成り立つ。したがって、【００５１】
【数１１】
2009099229.tif 000012
とすることができる。【００５２】
楕円体の体積は、【００５３】
【数１２】
2009099229.tif 000013
式（１２）に比例することが知られており、楕円体の体積を最大化するには式（１２）を最大にする、つまり、最大内接楕円体を用いてバージョン空間のベイズポイントの近似点を求めるために、以下の定式化を行う。【００５４】
【数１３】
2009099229.tif 000014
ここで、Ｃは体積最大化とエラーの許容度合いを調整するトレードオフ定数である。これを解いて求めたモデルを楕円型ＳＶＭ（または、ＥＳＶＭ：ellipsoidal  SVM）と称する。【００５５】
続いて、超平面最適化手段１６０は、数値計算の安定化のために以下のような変更を与える。【００５６】
【数１４】
2009099229.tif 000015
ｒはトレードオフ定数である。【００５７】
【数１５】
2009099229.tif 000016
新たに加えた項（式（１５））はＢを単位行列Ｉに近づけるようなコストを与える。これが正規化の効果を持つ。ｒの値によって、ＢをＩに近づけようとする項の重要度を変えることができる。また、事前知識が記憶部１３０に予め格納され、Ｂの近づけたい値（Ｂ０）がわかっていれば、以下のように定式化する。【００５８】
【数１６】
2009099229.tif 000017
次に、超平面最適化手段１６０は、式（１６）に対してカーネル化をして非線形モデルを構築する。式（１４）のラグランジアンは、以下のようになる。【００５９】
【数１７】
2009099229.tif 000018
【００６０】
【数１８】
2009099229.tif 000019
ＫＫＴ（Karush-Kuhn-Tacker）条件を用いて双対問題を以下で与える。【００６１】
【数１９】
2009099229.tif 000020
目的関数の第２項を２次錘条件として書き、これを、【００６２】
【数２０】
2009099229.tif 000021
式（２０）のカーネルによる変換を用いて定数項などを省略すると、以下の問題を得る。【００６３】
【数２１】
2009099229.tif 000022
式（２１）は２次錘条件をもつ凸非線形計画問題であり、勾配法などを用いて解ける。超平面最適化手段１６０は、予測値として、【００６４】
【数２２】
2009099229.tif 000023
式（２２）を用いて、【００６５】
【数２３】
2009099229.tif 000024
と計算する。これが、求める超平面を示す式である。【００６６】
上述のようにして、超平面最適化手段１６０は、分析対象データからカーネルを構築し、パラメータ等の情報をまとめ、非線形凸計画問題計算で扱える形に整形する。非線形凸計画問題計算の実施の仕方は複数考えられる。汎用半正定値ライブラリを適用したもの、式（２１）をチャンキングのように小問題に分割して解く方法によって解くもの、小問題の最適化にしても、ライブラリを使う、式（２１）にカスタマイズした勾配法を実装するなどである。【００６７】
ここで、小問題に分割して解く方法によって解く場合の一例を説明する。以下の問題を考える。【００６８】
【数２４】
2009099229.tif 000025
式（２４）はα、β、γに関する、非線形凸計画問題である。【００６９】
まず、ＫＫＴ条件を与える。
ラグランジアンは、【００７０】
【数２５】
2009099229.tif 000026
と書ける。【００７１】
最適化の必要条件はラグランジアンの微分が０となることである。αによって微分すると、【００７２】
【数２６】
2009099229.tif 000027
となる。ここで、【００７３】
【数２７】
2009099229.tif 000028
また、【００７４】
【数２８】
2009099229.tif 000029
と定義する。【００７５】
文献（S.S.  Keerthi  et  al.,  “Improvements  to  Platt’s  SMO  Algorithm  for  SVM  Classifier  Design”,  Neural  Computation,  2001）に開示された方法と比較すると、Ｂの項が追加されていることに注目する。【００７６】
【数２９】
2009099229.tif 000030
この条件を用いて条件を満たさないデータを集中的に最適化し、それを繰り返すことで最適解を求める。【００７７】
ＳＶＭの最適化の方法例として、Sequential  minimal  optimization  (SMO)という方法があり、ここでもそれを用いる。
目的関数をＢを用いて書くと、【００７８】
【数３０】
2009099229.tif 000031
となる。ｍとｒは定数なので、第二項は省略する。【００７９】
ＳＭＯでは以下の条件を満たしながら、変数のα、２つのみを動かし、その２変数問題での最適値を求め、その繰り返しにより、大域解を求める。【００８０】
【数３１】
2009099229.tif 000032
したがって、一つ目の条件を満たすように、以下のような更新を考える。【００８１】
【数３２】
2009099229.tif 000033
ここで、sはステップサイズである。【００８２】
３つ目の条件を考えると、ｓには以下のような制約条件がある。【００８３】
【数３３】
2009099229.tif 000034
２つ目の条件の満たし方は、ＳＭＯと同様である。
２変数の問題を導出する。αの更新式（式（３２））とMatrix  determinant  lemmaを用いると、【００８４】
【数３４】
2009099229.tif 000035
となる。ここで、【００８５】
【数３５】
2009099229.tif 000036
と定義する。【００８６】
式（３４）は、２次元の行列式の対数を取ったものであり、簡単に計算できる。また、これにより、最適のｓを求める際に、行列式が正でなくてはならないという制約条件が必要となることがわかる。
式（３０）のｓによる微分を求めると、【００８７】
【数３６】
2009099229.tif 000037
ここで、ａ０からａ４までのパラメータを以下のように与える。【００８８】
【数３７】
2009099229.tif 000038
最適なステップサイズｓを求めるための式（３６）は、３次方程式なので解析解が求められる。この解を用いてＳＭＯを実行する。【００８９】
アルゴリズムは、
「０．初期値のα（βも）を制約条件の式（３１）を満たすように適当に与える。
１．現在のαをもとにしてＫＫＴ条件の式（２９）を満たさない点についてステップサイズｓを式（３６）を解くことにより、求める。その際に更新するαについての制約条件を満たすようにする（式(３１)、式（３３）に加え、式（３４）のｌｏｇの中の項は正という２次の条件）。
２．全てのデータについて、ＫＫＴ条件をみたすかどうか判定する。満たされない場合は１に戻る。」
のようになる。【００９０】
上述のいずれかの方法で非線形凸計画問題計算を行った後、超平面最適化手段１６０は、式（２３）に示すα、β、ｂ、カーネルパラメータ等の結果を記憶部１３０に保存し、また、結果をディスプレイ装置（不図示）に表示させる。【００９１】
本実施形態によれば、モデルパラメータ空間において、制約条件として設定したバージョン空間に内接する形状の体積を最大にし、その中心を求めることで超平面の式を導き出している。また、パラメータ設定にＳＶＭを拡張して適用すれば、ＳＶＭの操作性を維持し、ＢＰＭよりも計算の負荷を軽減し、ベイズポイントにより近似した点を含む超平面を求めることができる。
【実施例１】
【００９２】
本実施例は、本実施形態のデータ分析装置をＳＶＭのシステムに応用したものである。ＳＶＭの使用例は多数存在する。例えば、テキスト分類、薬品活性クラス分類、手書き文字分類、障害検出、商取引不正検知などである。本実施形態のデータ分析装置は、ＳＶＭの拡張による精度の向上なので、ＳＶＭを使用できるすべての問題に対して適用可能である。【００９３】
本実施例のシステムの構成を説明する。図１０は本実施例のシステムの一構成例を示すブロック図である。【００９４】
図１０に示すように、データ分析装置１００には、モデルを構築するためのデータベース４１０が接続されている。データ分析装置１００およびデータベース４１０は、ＡＳＰ（Application  Service  Provider）に設けられている。また、データ分析装置１００は、インターネットなどのネットワーク４００と接続されている。システムの利用者側に設けられた情報端末４５０がネットワーク４００と接続されている。【００９５】
データ分析装置１００は、図４および図５を用いて説明した機能の他に、制御部１８０は、ネットワーク４００を介して情報端末４５０とデータを送受信する機能を備えている。データの送受信の方法は、ＴＣＰ／ＩＰ（Transmission  Control  Protocol  /  Internet  Protocol）にしたがっており、ここではその詳細な説明を省略する。【００９６】
また、制御部１８０は、モデルを構築した後、そのモデルに対応する新規データを情報端末４５０から受信すると、モデルにしたがって新規データを解析し、その結果をネットワーク４００を介して情報端末４５０に送信する。【００９７】
データベース４１０には、超平面を算出するための分析対象データが格納されている。分析対象データは、実データに対して操作者による解析が行われた教師データである。教師データは、操作者が、調査対象に対して予め属性を定義し、データに対してラベルづけを行うことで生成される。【００９８】
上述したように分析対象の種類が多いと、分析対象データが種類毎に複数あるため、データを保存するために膨大な記憶容量が必要になる。そのため、本実施例では、データベース４１０を記憶部１３０とは別に設けているが、分析対象データを全て記憶部１３０に保存してもよい。【００９９】
情報端末４５０は、パーソナルコンピュータおよびワークステーション等の情報処理装置である。利用者は、情報端末４５０を操作して新規データをデータ分析装置１００に送信し、データ分析装置１００に解析させる。【０１００】
次に、本実施例のシステムの動作手順を説明する。説明のために、分析対象が１つの種類の場合とする。【０１０１】
データ分析装置１００は、データベース４１０に格納された分析対象データを用いて、実施形態で説明したようにして、超平面の式を求め、モデルを構築する。モデルを構築した後、データ分析装置１００は、そのモデルに対応する新規データを情報端末４５０から受信すると、モデルにしたがって新規データを解析する。そして、その結果をネットワーク４００を介して情報端末４５０に送信する。情報端末４５０は、データ分析装置１００から解析結果を受信すると、表示部（不図示）に解析結果を表示する。【０１０２】
本実施例によれば、データ解析のサービスを希望するユーザに対して、情報処理端末を用いてネットワークと接続可能であれば、いつでも、どこにいても、サービスを提供することが可能である。【０１０３】
本発明の効果の一例として、一般的なＳＶＭによる方法よりも超平面を通る点がベイズポイントにより近似した高精度のモデルを構築できる。【０１０４】
以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。【０１０５】
この出願は、２００８年２月７日に出願された日本出願の特願２００８−０２７７７５の内容が全て取り込まれており、この日本出願を基礎として優先権を主張するものである。
【図１】
2009099229.tif 000039
【図２】
2009099229.tif 000040
【図３】
2009099229.tif 000041
【図４】
2009099229.tif 000042
【図５】
2009099229.tif 000043
【図６】
2009099229.tif 000044
【図７】
2009099229.tif 000045
【図８】
2009099229.tif 000046
【図９】
2009099229.tif 000047
【図１０】
2009099229.tif 000048
【手続補正書】
【提出日】平成21年8月26日(2009.8.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
あらかじめ属性とラベルが付加された教師データが入力されると、前記教師データをふたつのカテゴリに分類するためのモデルを作成するデータ分析装置であって、
前記教師データを格納するための記憶部と、
前記モデルを表すパラメータが構成するモデルパラメータ空間において、前記教師データのそれぞれについて、カテゴリ分類が誤差なしで可能である空間となるバージョン空間を構成するための制約条件を設定するバージョン空間設定手段と、
前記バージョン空間を構成する複数の面に内接する形状の大きさを最大化する前記パラメータを求め、最大化した前記形状を前記モデルとする超平面最適化手段と、
を有するデータ分析装置。
【請求項２】
前記形状は凸体、楕円または楕円体である請求の範囲第１項に記載のデータ分析装置。
【請求項３】
前記超平面最適化手段は、
前記形状の大きさを最大化する際の前記パラメータの設定に、前記形状の最大化と誤差の許容値を導入した楕円型サポートベクターマシンを適用する、請求の範囲第１項または第２項に記載のデータ分析装置。
【請求項４】
前記モデルが適用される新規データが入力されると、請求の範囲第１項から第３項のいずれかのデータ分析装置により作成されたモデルを用いて前記新規データを複数のカテゴリに分類し、その結果を表示装置に表示させることを特徴とするデータ分析装置。
【請求項５】
あらかじめ属性とラベルが付加された教師データが入力されると、前記教師データをふたつのカテゴリに分類するためのモデルを作成するデータ分析装置によるデータ分析方法であって、
前記教師データが入力されると、前記モデルを表すパラメータが構成するモデルパラメータ空間において、前記教師データのそれぞれについて、カテゴリ分類が誤差なしで可能である空間となるバージョン空間を構成するための制約条件を設定し、
前記バージョン空間を構成する複数の面に内接する形状の大きさを最大化する前記パラメータを求め、最大化した前記形状を前記モデルとする、データ分析方法。
【請求項６】
前記形状は凸体、楕円または楕円体である請求の範囲第５項に記載のデータ分析方法。
【請求項７】
前記形状の大きさを最大化する際の前記パラメータの設定に、前記形状の最大化と誤差の許容値を導入した楕円型サポートベクターマシンを適用する、請求の範囲第５項または第６項に記載のデータ分析方法。
【請求項８】
前記モデルが適用される新規データが入力されると、請求の範囲第５項から第７項のいずれかのデータ分析方法により作成されたモデルを用いて前記新規データを複数のカテゴリに分類し、その結果を表示装置に表示させることを特徴とするデータ分析方法。
【請求項９】
あらかじめ属性とラベルが付加された教師データが入力されると、前記教師データをふたつのカテゴリに分類するためのモデルを作成するコンピュータに実行させるためのプログラムであって、
前記教師データが入力されると、前記モデルを表すパラメータが構成するモデルパラメータ空間において、前記教師データのそれぞれについて、カテゴリ分類が誤差なしで可能である空間となるバージョン空間を構成するための制約条件を設定し、
前記バージョン空間を構成する複数の面に内接する形状の大きさを最大化する前記パラメータを求め、最大化した前記形状を前記モデルとする処理を前記コンピュータに実行させるためのプログラム。
【請求項１０】
前記形状は凸体、楕円または楕円体である請求の範囲第９項に記載のプログラム。
【請求項１１】
前記形状の大きさを最大化する際の前記パラメータの設定に、前記形状の最大化と誤差の許容値を導入した楕円型サポートベクターマシンを適用する、請求の範囲第９項または第１０項に記載のプログラム。
【請求項１２】
前記モデルが適用される新規データが入力されると、請求の範囲第９項から第１１項のいずれかのプログラムが実行されることにより作成されたモデルを用いて前記新規データを複数のカテゴリに分類し、その結果を表示装置に表示させる処理をさらに有することを特徴とするプログラム。