(57)【要約】  ラベルあり学習データを頻繁に収集することなく分類精度が維持された分類器を作成することを目的として、学習部（１３）が、現在までに収集されたラベルが付与された学習用のデータを用いて、現在までの過去の各時点における分類器の分類基準を学習し、該分類基準の時系列変化を学習し、分類器作成部（１４）が、学習された分類基準と時系列変化とを用いて未来の分類器の分類基準を予測して、入力されたデータの属性を表すラベルを出力する分類器を作成する。
2017130835.tif 000002
【特許請求の範囲】
【請求項１】
入力されたデータの属性を表すラベルを出力する分類器を作成する作成装置であって、
過去の各時点における分類器の分類基準を学習する分類器学習部と、
該分類基準の時系列変化を学習する時系列変化学習部と、
学習された前記分類基準と前記時系列変化とを用いて未来の分類器の分類基準を予測する予測部と、
を備えることを特徴とする作成装置。
【請求項２】
前記分類器学習部および前記時系列変化学習部は、現在までに収集された前記ラベルが付与された学習用のデータを用いることを特徴とする請求項１に記載の作成装置。
【請求項３】
前記データは、一定の離散的な時間間隔で連続していないことを特徴とする請求項１または２に記載の作成装置。
【請求項４】
前記予測部は、さらに、予測した前記分類基準の予測の確からしさを導出することを特徴とする請求項１〜３のいずれか１項に記載の作成装置。
【請求項５】
前記分類器学習部の処理の後、前記時系列変化学習部の処理を行うことを特徴とする請求項１〜４のいずれか１項に記載の作成装置。
【請求項６】
前記分類器学習部の処理と、前記時系列変化学習部の処理とを、同時に行うことを特徴とする請求項１〜４のいずれか１項に記載の作成装置。
【請求項７】
入力されたデータの属性を表すラベルを出力する分類器を作成する作成装置で実行される作成方法であって、
過去の各時点における分類器の分類基準を学習する分類器学習工程と、
該分類基準の時系列変化を学習する時系列変化学習工程と、
学習された前記分類基準と前記時系列変化とを用いて未来の分類器の分類基準を予測する予測工程と、
を含んだことを特徴とする作成方法。
【請求項８】
コンピュータに、
過去の各時点における分類器の分類基準を学習する分類器学習ステップと、
該分類基準の時系列変化を学習する時系列変化学習ステップと、
学習された前記分類基準と前記時系列変化とを用いて未来の分類器の分類基準を予測する予測ステップと、
を実行させることを特徴とする作成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、作成装置、作成方法、および作成プログラムに関する。
【背景技術】
【０００２】
機械学習において、あるデータが入力された場合に、そのデータの属性を表すラベルを出力する分類器が知られている。例えば、データとして新聞記事が分類器に入力された場合に、政治、経済、あるいはスポーツ等のラベルが出力される。学習すなわち分類器の作成は、学習用のデータとこの学習データのラベルとを組み合わせたラベルあり学習データを用いて行われる。【０００３】
分類器の分類基準は時間経過とともに変化する場合がある。例えば、スパムメールの作成者は、分類器をすり抜けるために、常に新しい特徴を有するスパムメールを作成している。そのため、スパムメールの分類基準は時間経過とともに変化して、分類器の分類精度が大きく低下してしまう。【０００４】
このような分類器の分類精度の経時劣化を防止するためには、分類基準が更新された分類器の作成（以下、分類器の更新とも記する）を行う必要がある。そこで、ラベルあり学習データを継続的に収集し、収集された最新のラベルあり学習データを用いて分類器を更新する技術が開示されている（非特許文献１，２参照）。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】I.Koychev，“Gradual  Forgetting  for  Adaptation  to  Concept  Drift”，Proceedings  of  ECAI  2000  Workshop  on  Current  Issues  in  Spatio-Temporal  Reasoning，Berlin，2000年，p.101-107
【非特許文献２】H.Shimodaira，“Improving  predictive  inference  under  covariate  shift  by  weighting  the  log-likelihood  function”，Journal  of  Statistical  Planning  and  Inference  90(2000)，2000年，p.227-244
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、ラベルあり学習データは、各学習データに専門家によりラベルが付与されたものであるため、ラベルあり学習データの継続的な収集や分類器の頻繁な更新は困難であった。また、分類器が閉鎖的な環境で使用される場合には、分類器の更新もしくは更新された分類器の適用が困難であった。例えば、セキュリティドメインでは、アンチウィルスソフトの更新ファイルすなわち更新された分類器は定期的に配布されているものの、アンチウィルスソフトを閉鎖環境で利用している場合には、更新された分類器の適用は困難であった。【０００７】
本発明は、上記に鑑みてなされたものであって、ラベルあり学習データを頻繁に収集することなく分類精度が維持された分類器を作成することを目的とする。
【課題を解決するための手段】
【０００８】
上述した課題を解決し、目的を達成するために、本発明に係る作成装置は、入力されたデータの属性を表すラベルを出力する分類器を作成する作成装置であって、過去の各時点における分類器の分類基準を学習する分類器学習部と、該分類基準の時系列変化を学習する時系列変化学習部と、学習された前記分類基準と前記時系列変化とを用いて未来の分類器の分類基準を予測する予測部と、を備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、ラベルあり学習データを頻繁に収集することなく分類精度が維持された分類器を作成することができる。
【図面の簡単な説明】
【００１０】
【図１】図１は、本発明の第１の実施形態に係る作成装置の概略構成を示す模式図である。
【図２】図２は、第１の実施形態の作成処理手順を示すフローチャートである。
【図３】図３は、第１の実施形態の分類処理手順を示すフローチャートである。
【図４】図４は、第１の実施形態の作成装置による作成処理の効果を説明するための説明図である。
【図５】図５は、第２の実施形態の作成装置の概略構成を示す模式図である。
【図６】図６は、第２の実施形態の作成処理手順を示すフローチャートである。
【図７】図７は、第３の実施形態の作成装置の概略構成を示す模式図である。
【図８】図８は、第３の実施形態の作成処理手順を示すフローチャートである。
【図９】図９は、第３の実施形態の分類処理手順を示すフローチャートである。
【図１０】図１０は、第３の実施形態の作成装置による作成処理の効果を説明するための説明図である。
【図１１】図１１は、第３の実施形態の作成装置による作成処理の効果を説明するための説明図である。
【図１２】図１２は、第４の実施形態の作成装置の概略構成を示す模式図である。
【図１３】図１３は、第４の実施形態の作成処理手順を示すフローチャートである。
【図１４】図１４は、作成プログラムを実行するコンピュータを例示する図である。
【発明を実施するための形態】
【００１１】
［第１の実施形態］
以下、図面を参照して、本発明の一実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
【００１２】
［作成装置の構成］
まず、図１を参照して、本実施形態に係る作成装置の概略構成を説明する。本実施形態に係る作成装置１は、ワークステーションやパソコン等の汎用コンピュータで実現され、後述する作成処理を実行して、入力されたデータの属性を表すラベルを出力する分類器を作成する。
【００１３】
なお、図１に示すように、本実施形態の作成装置１は、作成処理を行う作成部１０に加え、分類処理を行う分類部２０を有する。分類部２０は、作成部１０により作成された分類器を用いてデータを分類してラベルを出力する分類処理を行う。分類部２０は、作成部１０と同一のハードウェアに実装されてもよいし、異なるハードウェアに実装されてもよい。
【００１４】
［作成部］
作成部１０は、学習データ入力部１１、データ変換部１２、学習部１３、分類器作成部１４、および分類器格納部１５を有する。
【００１５】
学習データ入力部１１は、キーボードやマウス等の入力デバイスを用いて実現され、操作者による入力操作に対応して、制御部に対して各種指示情報を入力する。本実施形態において、学習データ入力部１１は、作成処理に用いられるラベルあり学習データを受け付ける。
【００１６】
ここで、ラベルあり学習データとは、学習用のデータとこの学習データのラベルとの組み合わせを意味する。例えば、学習データがテキストである場合、政治、経済、あるいはスポーツ等のテキストの内容を表すラベルが付与される。また、ラベルあり学習データには、時刻情報が付与されている。時刻情報とは、例えば、学習データがテキストである場合、テキストが発刊された日時等を意味する。本実施形態では、現在までの過去の異なる時刻情報が付与された複数のラベルあり学習データが受け付けられる。
【００１７】
なお、ラベルあり学習データは、ＮＩＣ（Network  Interface  Card）等で実現される図示しない通信制御部を介して、外部のサーバ装置等から作成部１０に入力されてもよい。
【００１８】
制御部は、処理プログラムを実行するＣＰＵ（Central  Processing  Unit）等を用いて実現され、データ変換部１２、学習部１３、および分類器作成部１４として機能する。
【００１９】
データ変換部１２は、後述する学習部１３における処理の準備として、受け付けられたラベルあり学習データを、収集時刻、特徴ベクトル、および数値ラベルの組み合わせのデータに変換する。以下の作成部１０の処理におけるラベルあり学習データとは、データ変換部１２による変換後のデータを意味する。
【００２０】
ここで、数値ラベルとは、ラベルあり学習データに付与されているラベルが数値に変換されたものである。また、収集時刻は、時刻情報を元にデータに付与される離散化された時刻を表す。同一タイムウィンドウ内で受け付けられたラベルあり学習データの時刻情報が、同一の収集時刻に変換される。
【００２１】
また、特徴ベクトルとは、受け付けられたラベルあり学習データの特徴をｎ次元の数ベクトルで表記したものである。機械学習における汎用手法により変換される。例えば、学習データがテキストである場合には、形態素解析、ｎ−ｇｒａｍ、または区切り文字により変換される。
【００２２】
学習部１３は、現在までの過去の各時点における分類器の分類基準を学習する分類器学習部として機能する。また、学習部１３は、該分類基準の時系列変化を学習する時系列変化学習部として機能する。本実施形態において、学習部１３は、分類器学習部としての処理と時系列学習部としての処理とを同時に行う。
【００２３】
具体的に、学習部１３は、収集時刻ｔ＝１〜Ｔが付与されたラベルあり学習データを用いて、分類器の分類基準の学習と分類基準の時系列変化の学習とを同時に行う。本実施形態において、分類器であるラベルが付与される事象が所定の確率分布で発生するものとして、分類器のモデルにロジスティック回帰が適用される。なお、分類器のモデルはロジスティック回帰に限定されず、サポートベクターマシン、ブースティング等でもよい。
【００２４】
また、本実施形態において、分類器の分類基準の時系列変化を表す時系列モデルには、ＶＡＲ（Vector  AutoRegressive）  ｍｏｄｅｌが適用される。なお、時系列モデルはＶＡＲ  ｍｏｄｅｌに限定されず、Ｇａｕｓｓｉａｎ  Ｐｒｏｃｅｓｓｅｓ等のモデルでもよい。
【００２５】
まず、時刻ｔにおけるラベルあり学習データを、次式（１）のように表すことにする。なお、本実施形態において、ラベルは２つの離散値とした。
【００２６】
【数１】
2017130835.tif 000003
【００２７】
また、時刻ｔ＝１〜Ｔにおけるラベルあり学習データの全体を、次式（２）のように表すことにする。
【００２８】
【数２】
2017130835.tif 000004
【００２９】
この場合に、ロジスティック回帰が適用された分類器において、特徴ベクトルｘｎｔのラベルｙｎｔが１である確率は、次式（３）で表される。
【００３０】
【数３】
2017130835.tif 000005
【００３１】
また、ｍ次のＶＡＲ  ｍｏｄｅｌが適用された分類器の分類基準を表すパラメタｗｔは、過去のパラメタｗｔ−１，…，ｗｔ−ｍに線形に依存すると仮定される。したがって、パラメタｗｔの時系列変化すなわちダイナミクスは、次式（４）のように表すことができる。
【００３２】
【数４】
2017130835.tif 000006
【００３３】
なお、ｔ≦ｍの場合には、ＶＡＲ  ｍｏｄｅｌが適用できないため、パラメタｗｔは平均０の正規分布Ｎ（０，θ０−１Ｉｄ）に従うものとする。
【００３４】
また、本実施形態においては簡単化のため、ダイナミクスＡ１，…，Ａｍは対角行列に制限する。この場合、ｗｔの第ｉ成分ｗｔ，ｉ（ｉ＝１〜ｄ）は、過去の値ｗｔ−１，ｉ，…，ｗｔ−ｍ，ｉにのみ依存する。
【００３５】
ここで、分類器のパラメタＷと時系列モデルのパラメタＡの同時分布の確率モデルは、次式（５）で定義される。
【００３６】
【数５】
2017130835.tif 000007
【００３７】
上記式（５）に定義される確率モデルにおいて、ラベルあり学習データＤが与えられた場合におけるパラメタＷ、Ａ、Γ、θ、θ０の確率分布ｐ（Ｗ，Ａ、Γ、θ、θ０｜Ｄ）を求めればよい。ただし、これらの確率分布を直接求めることは困難であるため、本実施形態では、事後確率を近似的に求めるいわゆる変分ベイズ法を用いて、確率分布ｐ（Ｗ，Ａ、Γ、θ、θ０｜Ｄ）の近似分布ｑ（Ｗ，Ａ、Γ、θ、θ０｜Ｄ）を求める。
【００３８】
まず、計算の簡便化のため、ロジスティック回帰式を次式（６）の右辺に示すように近似する。
【００３９】
【数６】
2017130835.tif 000008
【００４０】
次に、近似分布ｑ（Ｗ，Ａ、Γ、θ、θ０｜Ｄ）が次式（７）で表されるものと仮定する。
【００４１】
【数７】
2017130835.tif 000009
【００４２】
この場合に、変分ベイズ法を用いると、パラメタＷ，Ａ、Γ、θ、θ０の近似分布は次式（８）に示す関数形をもつことがわかる。
【００４３】
【数８】
2017130835.tif 000010
【００４４】
学習部１３は、上記式（８）に示したパラメタＷ，Ａ、Γ、θ、θ０の近似分布を、次式（９）に示す更新式を用いて、所定の収束条件が満たされるまで更新を繰り返すことにより求めることができる。なお、所定の収束条件とは、例えば、予め定められた更新回数を超えること、あるいは、パラメタの変化量がある一定値以下になること等を意味する。
【００４５】
【数９】
2017130835.tif 000011
【００４６】
分類器作成部１４は、未来の分類器の分類基準を予測する予測部として機能する。具体的に、分類器生成部１４は、学習部１３によって求められた時系列モデルを用いて、未来の時刻ｔ＝Ｔ＋１，Ｔ＋２，…における分類器を作成する。例えば、上記のように分類器のモデルにロジスティック回帰が適用され、分類器の分類基準の時系列変化を表す時系列モデルにＶＡＲ  ｍｏｄｅｌが適用された場合には、上記式（９）により学習されたパラメタＷおよびＡを上記式（４）に適用することにより、逐次的に未来の分類器のパラメタｗＴ＋１，ｗＴ＋２，…が求められる。これにより、分類器作成部１４は、未来の時刻の予測された分類基準の分類器を作成することができる。分類器作成部１４は、作成された分類器を分類器格納部１５に格納する。
【００４７】
分類器格納部１５は、ＲＡＭ（Random  Access  Memory）、フラッシュメモリ（Flash  Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現され、作成された未来の時刻の分類器を格納する。格納形式は特に限定されず、例えば、ＭｙＳＱＬやＰｏｓｔｇｒｅＳＱＬ等のデータベース形式、表形式、またはテキスト形式等が例示される。
【００４８】
［分類部］
分類部２０は、データ入力部２１、データ変換部２２、分類部２３、および分類結果出力部２４を有し、上述したように、作成部１０により作成された分類器を用いてデータを分類してラベルを出力する分類処理を行う。
【００４９】
データ入力部２１は、キーボードやマウス等の入力デバイスを用いて実現され、操作者による入力操作に対応して、制御部に対して各種指示情報を入力したり、分類処理対象のデータを受け付けたりする。ここで受け付けられる分類処理対象のデータには、ある時点の時刻情報が付与されている。データ入力部２１は、学習データ入力部１１と同一のハードウェアでもよい。
【００５０】
制御部は、処理プログラムを実行するＣＰＵ等を用いて実現され、データ変換部２２と分類部２３とを有する。
【００５１】
データ変換部２２は、作成部１０のデータ変換部１２と同様に、データ入力部２１が受け付けた分類処理対象のデータを収集時刻および特徴ベクトルの組み合わせに変換する。ここで、分類処理対象のデータには、ある時点の時刻情報が付与されているため、収集時刻と時刻情報とが同一となる。
【００５２】
分類部２３は、分類器格納部１５を参照し、分類処理対象のデータの収集時刻と同時刻の分類器を用いて、データの分類処理を行う。例えば、上記のように分類器のモデルにロジスティック回帰が適用され、分類器の分類基準の時系列変化を表す時系列モデルにＶＡＲ  ｍｏｄｅｌが適用された場合には、上記式（３）により当該データのラベルが１である確率が得られる。分類部２３は、得られた確率が予め設定された所定の閾値以上であれば、ラベル＝１とし、該閾値より小さい場合には、ラベル＝０とする。
【００５３】
分類結果出力部２４は、液晶ディスプレイなどの表示装置、プリンター等の印刷装置、情報通信装置等によって実現され、分類処理の結果を操作者に対して出力する。例えば、入力されたデータに対するラベルを出力したり、入力されたデータにラベルを付与して出力したりする。
【００５４】
［作成処理］
次に、図２を参照して、作成装置１の作成部１０による作成処理について説明する。図２のフローチャートは、例えば、ユーザによる作成処理の開始を指示する操作入力があったタイミングで開始される。
【００５５】
まず、学習データ入力部１１が、時刻情報が付与されたラベルあり学習データを受け付ける（ステップＳ１）。次に、データ変換部１２が、受け付けたラベルあり学習データを、収集時刻、特徴ベクトルおよび数値ラベルの組み合わせのデータに変換する（ステップＳ２）。
【００５６】
次に、学習部１３が、データ変換部１２による変換後のラベルあり学習データを用いて、時刻ｔ＝１〜Ｔの分類器の分類基準と分類基準の時系列変化を示す時系列モデルとを学習する（ステップＳ３）。例えば、ロジスティック回帰モデルのパラメタＷ（ｗｔ＝ｗ１〜ｗＴ）と、ＶＡＲ  ｍｏｄｅｌのパラメタＡ（＝Ａ０〜Ａｍ）とが、同時に求められる。
【００５７】
次に、分類器作成部１４が、時系列モデルを用いて、未来の時刻ｔ＝Ｔ＋１，Ｔ＋２，…の分類器の分類基準を予測して分類器を作成する（ステップＳ４）。例えば、ロジスティック回帰およびＶＡＲ  ｍｏｄｅｌが適用された分類器について、未来の分類器のパラメタｗＴ＋１，ｗＴ＋２，…が求められる。
【００５８】
最後に、分類器作成部１４により作成された未来の時刻ｔ＝Ｔ＋１，Ｔ＋２，…の分類器が、分類器格納部１５に格納される（ステップＳ５）。
【００５９】
［分類処理］
次に図３を参照して作成装置１の分類部２０による分類処理について説明する。図３のフローチャートは、例えば、ユーザによる分類処理の開始を指示する操作入力があったタイミングで開始される。
【００６０】
まず、データ入力部２１が、時刻ｔ＝Ｔ＋１以降の分類処理対象のデータを受け付け（ステップＳ６）、データ変換部２２が、受け付けたデータを収集時刻、特徴ベクトルの組み合わせのデータに変換する（ステップＳ７）。
【００６１】
次に、分類部２３が、分類器格納部１５を参照して、受け付けたデータの収集時刻の分類器を用いてデータの分類処理を行う（ステップＳ８）。そして、分類結果出力部２４が、分類結果の出力すなわち分類されたデータのラベルの出力を行う（ステップＳ９）。
【００６２】
以上、説明したように、本実施形態の作成装置１では、学習部１３が、現在までの過去の各時点における分類器の分類基準と、該分類基準の時系列変化とを学習し、分類器作成部１４が、学習された分類基準と時系列変化とを用いて未来の分類器の分類基準を予測する。すなわち、図４に例示するように、入力された現在までの収集時刻ｔ＝１〜Ｔのラベルあり学習データＤｔ（Ｄ１，…，ＤＴ）を用いて、学習部１３が、時刻ｔ＝１〜Ｔの分類器ｈｔ（ｈ１、ｈ２、ｈ３、…，ｈＴ）の分類基準と、分類基準の時系列変化すなわちダイナミクスを表す時系列モデルとを学習する。そして、分類器作成部１４が、未来の時刻ｔ＝Ｔ＋１，Ｔ＋２，…の分類基準を予測して、各時刻の分類器ｈＴ＋１，ｈＴ＋２，…を作成する。
【００６３】
これにより、本実施形態の作成装置１における作成部１０の作成処理によれば、最新のラベルあり学習データを用いなくても分類器の分類精度の低下を抑止できる。すなわち、最新のラベルあり学習データを頻繁に追加して分類器を更新しなくても、分類精度の低下を抑止できる。このように、ラベルあり学習データを頻繁に収集することなく分類精度が維持された分類器を作成することができる。
【００６４】
例えば、セキュリティベンダーがアンチウィルスソフトの更新ファイルすなわち更新された分類器を定期的に配布する場合に、次回の配布までの間に変化するウィルスにも対応して精度よく分類できる。また、アンチウィルスソフトに未来の時刻の分類器を内蔵しておけば、オフライン環境で使用される場合にも、変化するウィルスに対応できる。
【００６５】
また、特に分類器の分類基準と分類基準の時系列変化とを同時に学習する場合には、例えば、ラベルあり学習データの数が少ない場合にも、分類器の分類基準と分類基準の時系列変化とを別々に学習する場合より、安定した学習を行うことができる。
【００６６】
なお、本発明の作成処理は、ラベルを離散値とした分類問題に限定されず、ラベルを実数値とした回帰問題としてもよい。これにより、多様な分類器の未来の分類基準を予測することができる。
【００６７】
また、上記実施形態では、学習部１３は一度の作成処理で過去の収集時刻ｔ＝１〜Ｔのラベルあり学習データを用いて分類器の分類基準と該分類基準の時系列変化とを学習しているが、これに限定されない。例えば、学習部１３は、収集時刻ｔ＝１〜Ｔ−１のラベルあり学習データを用いて分類器の分類基準と該分類基準の時系列変化とを学習した後、最新の収集時刻Ｔのラベルあり学習データを用いて分類器の分類基準と該分類基準の時系列変化とを学習してもよい。その場合、学習した分類器の各分類基準と該分類基準の時系列変化とを用いて、未来の分類器を作成する。これにより、最新の収集時刻Ｔのラベルあり学習データの特徴を精度高く反映した分類器を作成できる。
【００６８】
また、ラベルあり学習データが過去の収集時刻ｔ＝１〜Ｔのうちの一部すなわち一定の離散的な時間間隔で連続していなくてもよい。例えば、分類器の分類基準の時系列変化を表す時系列モデルにＧａｕｓｓｉａｎ  Ｐｒｏｃｅｓｓｅｓを適用した場合、離散的な時間間隔が不均一であっても、分類器を作成できる。
【００６９】
［第２の実施形態］
上記の第１の実施形態の学習部１３は、分類器学習部１３ａと時系列モデル学習部１３ｂとに分離されてもよい。図５は、第２の実施形態の作成装置１の概略構成を例示する図である。本実施形態は、上記の第１の実施形態の学習部１３による処理を、分類器学習部１３ａおよび時系列モデル学習部１３ｂが分担して行う点においてのみ異なる。その他の処理は第１の実施形態と同一であるので、説明を省略する。
【００７０】
なお、本実施形態において、上記第１の実施形態と同様に、分類器のモデルにはロジスティック回帰が適用され、分類器の分類基準の時系列変化を表す時系列モデルにはＶＡＲ  ｍｏｄｅｌが適用される。
【００７１】
分類器学習部１３ａは、現在までの過去の各時点における分類器の分類基準を学習する。具体的に、ＶＡＲ  ｍｏｄｅｌへの入力となる分類器のパラメタｗｔは、最大事後確率（ＭＡＰ，Maximum  A  Posteriori）推定を利用して、次式（１０）に示す対数事後分布を最大化する点として得られる。
【００７２】
【数１０】
2017130835.tif 000012
【００７３】
分類器学習部１３ａは、パラメタｗ１からｗＴまでについて、この順に上記のＭＡＰ推定を実行することにより、時刻ｔ＝１〜Ｔの分類器を得ることができる。
【００７４】
時系列モデル学習部１３ｂは、該分類基準の時系列変化を学習する時系列変化学習部として機能する。本実施形態において、時系列モデル学習部１３ｂは、分類器学習部１３ａによる分類器学習処理の後に、時系列変化学習処理を行う。
【００７５】
具体的に、分類器学習部１３ａにより得られた時刻ｔ＝１〜Ｔの分類器を用いると、分類器のパラメタＷと時系列モデルのパラメタＡの同時分布の確率モデルは、次式（１１）で定義される。
【００７６】
【数１１】
2017130835.tif 000013
【００７７】
ここで、上記の第１の実施形態と同様に、変分ベイズ法を用いると、パラメタＡ、Γ、θの近似分布は次式（１２）に示す関数形をもつことがわかる。
【００７８】
【数１２】
2017130835.tif 000014
【００７９】
時系列モデル学習部１３ｂは、第１の実施形態と同様に、上記式（１２）に示したパラメタＡ、Γ、θの近似分布を、次式（１３）に示す更新式を用いて、所定の収束条件が満たされるまで更新を繰り返すことにより求めることができる。
【００８０】
【数１３】
2017130835.tif 000015
【００８１】
次に、図６を参照して、本実施形態の作成装置１の作成部１０による作成処理について説明する。上記した第１の実施形態とは、ステップＳ３１の処理およびステップＳ３２の処理のみが異なる。
【００８２】
ステップＳ３１の処理では、分類器学習部１３ａは、収集時刻ｔ＝１〜Ｔのラベルあり学習データを用いて、時刻ｔ＝１〜Ｔの分類器の分類基準を学習する。例えば、ロジスティック回帰モデルのパラメタＷ（ｗｔ＝ｗ１〜ｗＴ）が求められる。
【００８３】
ステップＳ３２の処理では、時系列モデル学習部１３ｂが、分類器学習部１３ａにより得られた時刻ｔ＝１〜Ｔの分類器の分類基準を用いて、該分類基準の時系列変化を表す時系列モデルを学習する。例えば、ＶＡＲ  ｍｏｄｅｌのパラメタＡ（＝Ａ０〜Ａｍ）が求められる。
【００８４】
このように、本実施形態の作成装置１の作成部１０の作成処理によれば、分類器の分類基準と分類基準の時系列変化とが別々に学習される。これにより、例えば、ラベルあり学習データの数が多い場合にも、分類器の分類基準と分類基準の時系列変化とを同時に学習する場合より、各機能部の処理負荷を軽くすることができる。
【００８５】
［第３の実施形態］
上記の第１の実施形態または第２の実施形態の分類器作成部１４は、さらに、分類器の分類基準の予測の確からしさを導出してもよい。図７は、第３の実施形態の作成装置１の概略構成を例示する図である。本実施形態において、分類器のモデルにはロジスティック回帰が適用され、分類器の分類基準の時系列変化を表す時系列モデルにはＧａｕｓｓｉａｎ  Ｐｒｏｃｅｓｓｅｓが適用される。以下に、上記の第１の実施形態と異なる処理についてのみ説明する。なお、第１の実施形態と同一の処理については説明を省略する。
【００８６】
具体的に、学習部１３は、ｔＴまでの収集時刻ｔが付与されたラベルあり学習データを用いて、分類器の分類基準の学習と分類基準の時系列変化の学習とを同時に行う。なお、以下の説明において、ｔ１＜ｔ２＜…＜ｔＴとする。本実施形態において、分類器であるラベルが付与される事象が所定の確率分布で発生するものとして、分類器のモデルにロジスティック回帰が適用される。なお、分類器のモデルはロジスティック回帰に限定されず、サポートベクターマシン、ブースティング等でもよい。
【００８７】
また、本実施形態において、分類器の分類基準の時系列変化を表す時系列モデルには、Ｇａｕｓｓｉａｎ  Ｐｒｏｃｅｓｓｅｓが適用される。なお、時系列モデルはＧａｕｓｓｉａｎ  Ｐｒｏｃｅｓｓｅｓに限定されず、ＶＡＲ  ｍｏｄｅｌ等のモデルでもよい。
【００８８】
まず、時刻ｔにおけるラベルあり学習データを、次式（１４）のように表すことにする。なお、本実施形態において、ラベルは２つの離散値としたが、ラベルが３つ以上の場合も適用可能である。
【００８９】
【数１４】
2017130835.tif 000016
【００９０】
また、時刻ｔ＝ｔ１〜ｔＴにおけるラベルあり学習データの全体を次式（１５）のように表すことにする。
【００９１】
【数１５】
2017130835.tif 000017
【００９２】
この場合に、ロジスティック回帰が適用された分類器において、特徴ベクトルｘｎｔのラベルｙｎｔが１である確率は、次式（１６）で表される。
【００９３】
【数１６】
2017130835.tif 000018
【００９４】
時刻ｔにおける分類器のパラメタのｄ成分ｗｔｄは、非線形関数ｆｄを用いて次式（１７）より記述されるものと仮定する。ここで、ｄ＝１〜Ｄである。
【００９５】
【数１７】
2017130835.tif 000019
【００９６】
また、非線形関数ｆｄの事前分布は、Ｇａｕｓｓｉａｎ  Ｐｒｏｃｅｓｓｅｓに従うものとする。すなわち、次式（１８）に示す時刻ｔ＝ｔ１〜ｔＴの各時点における非線形関数の値は、次式（１９）に示すガウス分布から生成されるものと仮定する。
【００９７】
【数１８】
2017130835.tif 000020
【００９８】
【数１９】
2017130835.tif 000021
【００９９】
ここで、この共分散行列の各成分は、次式（２０）で表される。
【０１００】
【数２０】
2017130835.tif 000022
【０１０１】
上記のｋｄは任意のカーネル関数で定義され得るが、本実施形態において、次式（２１）に示すカーネル関数で定義される。
【０１０２】
【数２１】
2017130835.tif 000023
【０１０３】
この場合に、次式（２２）に示す時刻ｔ＝ｔ１〜ｔＴの分類器のパラメタ（ｄ成分）の確率分布は、次式（２３）で表される。
【０１０４】
【数２２】
2017130835.tif 000024
【０１０５】
【数２３】
2017130835.tif 000025
【０１０６】
この共分散行列の成分は、次式（２４）に示すカーネル関数ｃｄで定義される。
【０１０７】
【数２４】
2017130835.tif 000026
【０１０８】
この場合に、次式（２５）に示す分類器の分類基準Ｗと、分類基準の時系列変化（ダイナミクス）を表す次式（２６）に示すパラメタθとを学習するための同時分布の確率モデルは、次式（２７）で定義される。
【０１０９】
【数２５】
2017130835.tif 000027
【０１１０】
【数２６】
2017130835.tif 000028
【０１１１】
【数２７】
2017130835.tif 000029
【０１１２】
次に、上記式（２７）で定義される確率モデルをもとに、データから事前確率を経験的に与えるいわゆる経験ベイズ法を用いて、ラベルあり学習データが与えられた場合に分類器Ｗが得られる確率とダイナミクスパラメータθとを推定する。経験ベイズ法において、次式（２８）に示す下限Ｌを最大化することにより、所望のＷの分布すなわちｑ（Ｗ）とダイナミクスパラメータθとが得られる。
【０１１３】
【数２８】
2017130835.tif 000030
【０１１４】
ここで、まずｑ（Ｗ）が次式（２９）に示すように因数分解できるものと仮定する。
【０１１５】
【数２９】
2017130835.tif 000031
【０１１６】
その場合に、ｑ（Ｗ）は次式（３０）に示すガウス分布の関数形を示すことがわかる。
【０１１７】
【数３０】
2017130835.tif 000032
【０１１８】
ここで、μｔｄおよびλｔｄは、次式（３１）に示す更新式を用いて推定される。
【０１１９】
【数３１】
2017130835.tif 000033
【０１２０】
また、ダイナミクスパラメータθは、非連立方程式の解を求めるためのいわゆる準ニュートン法を用いて更新される。準ニュートン法において、次式（３２）に示す下限Ｌのθに関する項とθに関する微分とが用いられる。
【０１２１】
【数３２】
2017130835.tif 000034
【０１２２】
学習部１３は、上記の更新式を用いて、所定の収束条件が満たされるまで、ｑ（Ｗ）の更新とθの更新とを交互に繰り返すことにより、所望のパラメタを推定できる。所定の収束条件とは、例えば、予め定められた更新回数を超えること、あるいは、パラメタの変化量がある一定値以下になること等を意味する。
【０１２３】
なお、更新を繰り返すと分類に影響を及ぼさない特徴に関するパラメタｗ・ｄの大きさは０に近づく。このように、Ｇａｕｓｓｉａｎ  Ｐｒｏｃｅｓｓｅｓを用いた場合に、重要ではない特徴が自動的に排除される。
【０１２４】
分類器作成部１４は、学習部１３が学習した分類器の分類基準と分類基準の時系列変化とを用いて、未来の時刻ｔ＊＞ｔＴの分類器の分類基準の予測と、予測の確からしさすなわち確信度とを導出する。時刻ｔ＊＞ｔＴにおいて分類器Ｗが得られる確率分布は、次式（３３）で表される。
【０１２５】
【数３３】
2017130835.tif 000035
【０１２６】
これにより、分類器作成部１４は、未来の時刻の予測された分類基準の分類器を、その予測の確信度とともに得ることができる。分類器作成部１４は、予測された分類器と確信度とを分類器格納部１５に格納する。
【０１２７】
分類部２３は、分類器格納部１５を参照し、分類処理対象のデータの収集時刻と同時刻の分類器とその確信度とを用いて、データの分類処理を行う。例えば、上記のように分類器のモデルにロジスティック回帰が適用され、分類器の分類基準の時系列変化を表す時系列モデルにＧａｕｓｓｉａｎ  Ｐｒｏｃｅｓｓｅｓが適用された場合には、次式（３４）により、当該データｘのラベルｙが１である確率が得られる。分類部２３は、得られた確率が予め設定された所定の閾値以上であれば、ラベル＝１とし、該閾値より小さい場合には、ラベル＝０とする。
【０１２８】
【数３４】
2017130835.tif 000036
【０１２９】
次に、図８は、本実施形態の作成処理手順を例示するフローチャートである。図８に示すように、学習部１３が時刻ｔＴまでの分類器の分類基準と分類器の時系列変化を表す時系列モデルとを学習する（ステップＳ３０）。この場合に、上記の第１の実施形態とは、分類器作成部１４がｔ＞ｔＴの分類器の分類基準を確信度とともに予測して（ステップＳ４０）、分類器格納部１５に格納すること（ステップＳ５０）が異なる。また、図９は、本実施形態の分類処理手順を例示するフローチャートである。図９に示すように、上記の第１の実施形態とは、分類部２３が、受け付けたデータの収集時刻の分類器とともにその確信度を用いてデータを分類すること（ステップＳ８０）が異なる。
【０１３０】
このように、本実施形態の作成装置１によれば、未来の分類基準を確信度とともに予測する。すなわち、図１０および図１１に例示するように、予測できる未来の分類器の分類基準ｗの確率分布は様々に異なる。図１０に例示するように、分類基準ｗの確率の分散が小さい場合には、高い確率すなわち高い確信度で分類基準ｗを予測できる。一方、図１１に例示するように、分類基準ｗの確率の分散が大きい場合には、分類基準ｗの確率すなわち確信度が低くなる。したがって、予測される分類基準ｗの確信度を考慮して分類器を用いることにより、高精度に分類を行うことが可能となる。
【０１３１】
［第４の実施形態］
上記の第３の実施形態の学習部１３は、分類器学習部１３ａと時系列モデル学習部１３ｂとに分離されてもよい。図１２は、第４の実施形態の作成装置１の概略構成を例示する図である。本実施形態は、上記の第３の実施形態の学習部１３による処理を、分類器学習部１３ａおよび時系列モデル学習部１３ｂが分担して行う点においてのみ異なる。その他の処理は第３の実施形態と同一であるので、説明を省略する。
【０１３２】
なお、本実施形態において、上記第３の実施形態と同様に、分類器のモデルにはロジスティック回帰が適用され、分類器の分類基準の時系列変化を表す時系列モデルにはＧａｕｓｓｉａｎ  Ｐｒｏｃｅｓｓｅｓが適用される。なお、時系列モデルはＧａｕｓｓｉａｎ  Ｐｒｏｃｅｓｓｅｓに限定されず、ＶＡＲ  ｍｏｄｅｌ等のモデルでもよい。
【０１３３】
分類器学習部１３ａは、現在までの過去の各時点における分類器の分類基準を学習する。具体的に、分類器の分類基準を表すパラメタｗｔは、最大事後確率（ＭＡＰ）推定を利用して、次式（３５）に示す対数事後分布を最大化する点として得られる。
【０１３４】
【数３５】
2017130835.tif 000037
【０１３５】
分類器学習部１３ａは、時刻ｔ１からｔＴまでの各時刻ｔにおけるパラメタｗｔについて、この順に上記のＭＡＰ推定を実行することにより、時刻ｔＴまでの分類器を得ることができる。
【０１３６】
また、時系列モデル学習部１３ｂは、分類器学習部１３ａにより得られた時刻ｔＴまでの分類器をもとに、上記の第３の実施形態と同様に、分類器の分類基準の時系列変化を学習する。
【０１３７】
図１３は、本実施形態の作成処理手順を例示するフローチャートである。上記した第３の実施形態とは、ステップＳ３０１の処理およびステップＳ３０２の処理のみが異なる。
【０１３８】
ステップＳ３０１の処理では、分類器学習部１３ａは、収集時刻ｔ＝ｔ１〜ｔＴのラベルあり学習データを用いて、時刻ｔＴの分類器の分類基準を学習する。例えば、ロジスティック回帰モデルの時刻ｔＴまでの各時刻ｔにおけるパラメタｗｔが求められる。
【０１３９】
ステップＳ３０２の処理では、時系列モデル学習部１３ｂが、分類器学習部１３ａにより得られた時刻ｔＴまでの分類器の分類基準を用いて、該分類基準の時系列変化を表す時系列モデルを学習する。例えば、Ｇａｕｓｓｉａｎ  Ｐｒｏｃｅｓｓｅｓのパラメタθが求められる。
【０１４０】
このように、本実施形態の作成装置１によれば、上記第２の実施形態と同様に、分類器の分類基準と分類基準の時系列変化とが別々に学習される。これにより、例えば、ラベルあり学習データの数が多い場合にも、分類器の分類基準と分類基準の時系列変化とを同時に学習する場合より、各機能部の処理負荷を軽くして、短時間で処理することができる。
【０１４１】
［プログラム］
上記実施形態に係る作成装置１が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。一実施形態として、作成装置１は、パッケージソフトウェアやオンラインソフトウェアとして上記の作成処理を実行する作成プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、上記の作成プログラムを情報処理装置に実行させることにより、情報処理装置を作成装置１として機能させることができる。ここで言う情報処理装置には、デスクトップ型またはノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やＰＨＳ（Personal  Handyphone  System）などの移動体通信端末、さらには、ＰＤＡ（Personal  Digital  Assistants）などのスレート端末などがその範疇に含まれる。また、ユーザが使用する端末装置をクライアントとし、当該クライアントに上記の作成処理に関するサービスを提供するサーバ装置として実装することもできる。例えば、作成装置１は、ラベルあり学習データを入力とし、分類器を出力する作成処理サービスを提供するサーバ装置として実装される。この場合、作成装置１は、Ｗｅｂサーバとして実装することとしてもよいし、アウトソーシングによって上記の作成処理に関するサービスを提供するクラウドとして実装することとしてもかまわない。以下に、作成装置１と同様の機能を実現する作成プログラムを実行するコンピュータの一例を説明する。
【０１４２】
図１４に示すように、作成プログラムを実行するコンピュータ１０００は、例えば、メモリ１０１０と、ＣＰＵ１０２０と、ハードディスクドライブインタフェース１０３０と、ディスクドライブインタフェース１０４０と、シリアルポートインタフェース１０５０と、ビデオアダプタ１０６０と、ネットワークインタフェース１０７０とを有する。これらの各部は、バス１０８０によって接続される。
【０１４３】
メモリ１０１０は、ＲＯＭ（Read  Only  Memory）１０１１およびＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic  Input  Output  System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０３１に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１０４１に接続される。ディスクドライブ１０４１には、例えば、磁気ディスクや光ディスク等の着脱可能な記憶媒体が挿入される。シリアルポートインタフェース１０５０には、例えば、マウス１０５１およびキーボード１０５２が接続される。ビデオアダプタ１０６０には、例えば、ディスプレイ１０６１が接続される。
【０１４４】
ここで、図１４に示すように、ハードディスクドライブ１０３１は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３およびプログラムデータ１０９４を記憶する。上記実施形態で説明した各テーブルは、例えばハードディスクドライブ１０３１やメモリ１０１０に記憶される。
【０１４５】
また、作成プログラムは、例えば、コンピュータ１０００によって実行される指令が記述されたプログラムモジュール１０９３として、ハードディスクドライブ１０３１に記憶される。具体的には、上記実施形態で説明した作成装置１が実行する各処理が記述されたプログラムモジュール１０９３が、ハードディスクドライブ１０３１に記憶される。
【０１４６】
また、作成プログラムによる情報処理に用いられるデータは、プログラムデータ１０９４として、例えば、ハードディスクドライブ１０３１に記憶される。そして、ＣＰＵ１０２０が、ハードディスクドライブ１０３１に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して、上述した各手順を実行する。
【０１４７】
なお、作成プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０３１に記憶される場合に限られず、例えば、着脱可能な記憶媒体に記憶されて、ディスクドライブ１０４１等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、作成プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ＬＡＮ（Local  Area  Network）やＷＡＮ（Wide  Area  Network）等のネットワークを介して接続された他のコンピュータに記憶され、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。
【０１４８】
以上、本発明者によってなされた発明を適用した実施形態について説明したが、本実施形態による本発明の開示の一部をなす記述および図面により本発明は限定されることはない。すなわち、本実施形態に基づいて当業者等によりなされる他の実施形態、実施例および運用技術等は全て本発明の範疇に含まれる。
【符号の説明】
【０１４９】
１  作成装置
１０  作成部
１１  学習データ入力部
１２  データ変換部
１３  学習部
１３ａ  分類器学習部
１３ｂ  時系列モデル学習部
１４  分類器作成部
１５  分類器格納部
２０  分類部
２１  データ入力部
２２  データ変換部
２３  分類部
２４  分類結果出力部
【図１】
2017130835.tif 000038
【図２】
2017130835.tif 000039
【図３】
2017130835.tif 000040
【図４】
2017130835.tif 000041
【図５】
2017130835.tif 000042
【図６】
2017130835.tif 000043
【図７】
2017130835.tif 000044
【図８】
2017130835.tif 000045
【図９】
2017130835.tif 000046
【図１０】
2017130835.tif 000047
【図１１】
2017130835.tif 000048
【図１２】
2017130835.tif 000049
【図１３】
2017130835.tif 000050
【図１４】
2017130835.tif 000051
【国際調査報告】
2017130835.tif 000052
2017130835.tif 000053
2017130835.tif 000054
2017130835.tif 000055