(57)【要約】  機械学習のより効率化を図ることを可能にするために、辞書学習装置１は、重要度算出部２とデータ選択部３を備える。ここで、教師データの特徴ベクトルを構成する要素を変数として持つ特徴空間に複数の教師データを特徴ベクトルに基づいて配置したとする。この場合に、重要度算出部２は、複数の教師データに含まれるラベル無しデータ毎に、当該ラベル無しデータを基準にした設定の大きさの領域内における教師データのラベル有りデータの密度に基づいて、ラベル無しデータの重要度を算出する。データ選択部３は、データを識別する基となる識別関数に基づいた識別境界とラベル無しデータとの近さを表す情報と、重要度算出部２による重要度を表す情報とに基づいて、複数のラベル無しデータの中からラベル付けするデータを選択する。
2018116921.tif 000002
【特許請求の範囲】
【請求項１】
教師データの特徴ベクトルを構成する要素を変数として持つ特徴空間に複数の教師データを前記特徴ベクトルに基づいて配置した場合に前記複数の教師データに含まれるラベル無しデータ毎に、当該ラベル無しデータを基準にした設定の大きさの領域内における、前記教師データに含まれるラベル有りデータの密度に基づいて前記ラベル無しデータの重要度を算出する重要度算出手段と、
データを識別する基となる識別関数に基づいた識別境界と前記ラベル無しデータとの近さを表す情報と、前記算出された重要度を表す情報とに基づいて、複数の前記ラベル無しデータの中からラベル付けするデータを選択するデータ選択手段と、
を備える辞書学習装置。
【請求項２】
前記重要度算出手段は、ラベル無しデータ毎に、当該ラベル無しデータを基準にした設定の大きさの領域内における前記ラベル有りデータの密度と前記ラベル無しデータの密度との比に基づいて、前記ラベル無しデータの重要度を算出する請求項１に記載の辞書学習装置。
【請求項３】
前記重要度算出手段は、前記ラベル有りデータに対する前記ラベル無しデータの比が大きくなるに従って前記重要度が高くなる請求項２に記載の辞書学習装置。
【請求項４】
前記重要度算出手段は、前記ラベル無しデータに対する前記ラベル有りデータの比が小さくなるに従って前記重要度が高くなる請求項２に記載の辞書学習装置。
【請求項５】
前記データ選択手段により選択された前記ラベル無しデータに付与するラベルの情報を外部から受信した場合に、当該受信した情報に基づいて前記選択されたラベル無しデータに前記ラベルを付与するラベル付与手段と、
前記ラベル付与手段によって前記ラベルが付与された新たなラベル有りデータを含む複数の前記教師データに基づいて前記識別関数のパラメータである辞書を学習することにより、前記識別関数を更新する更新手段と
をさらに備える請求項１乃至請求項４の何れか一つに記載の辞書学習装置。
【請求項６】
教師データの特徴ベクトルを構成する要素を変数として持つ特徴空間に複数の教師データを前記特徴ベクトルに基づいて配置した場合に前記複数の教師データに含まれるラベル無しデータ毎に、当該ラベル無しデータを基準にした設定の大きさの領域内における、前記複数の教師データに含まれるラベル有りデータの密度に基づいて前記ラベル無しデータの重要度を算出し、
データを識別する基となる識別関数に基づいた識別境界と前記ラベル無しデータとの近さを表す情報と、前記算出された重要度を表す情報とに基づいて、複数の前記ラベル無しデータの中からラベル付けするデータを選択し、
選択された前記ラベル無しデータに付与するラベルの情報を外部から受信した場合に当該ラベル無しデータに前記ラベルを付与し、
前記ラベルが付与された新たなラベル有りデータを含む複数の前記教師データに基づいて前記識別関数のパラメータである辞書を学習することにより、前記識別関数を更新する辞書学習方法。
【請求項７】
教師データの特徴ベクトルを構成する要素を変数として持つ特徴空間に複数の教師データを前記特徴ベクトルに基づいて配置した場合に前記複数の教師データに含まれるラベル無しデータ毎に、当該ラベル無しデータを基準にした設定の大きさの領域内における、前記複数の教師データに含まれるラベル有りデータの密度に基づいて前記ラベル無しデータの重要度を算出し、
データを識別する基となる識別関数に基づいた識別境界と前記ラベル無しデータとの近さを表す情報と、前記算出された重要度を表す情報とに基づいて、複数の前記ラベル無しデータの中からラベル付けするデータを選択し、
選択された前記ラベル無しデータに付与するラベルの情報を外部から受信した場合に当該ラベル無しデータに前記ラベルを付与し、
前記ラベルが付与された新たなラベル有りデータを含む複数の前記教師データに基づいて前記識別関数のパラメータである辞書を学習することにより、前記識別関数を更新する辞書学習方法によって前記識別関数を学習し、
当該学習された識別関数を利用して、外部から受信したデータを認識するデータ認識方法。
【請求項８】
教師データの特徴ベクトルを構成する要素を変数として持つ特徴空間に複数の教師データを前記特徴ベクトルに基づいて配置した場合に前記複数の教師データに含まれるラベル無しデータ毎に、当該ラベル無しデータを基準にした設定の大きさの領域内における、前記複数の教師データに含まれるラベル有りデータの密度に基づいて前記ラベル無しデータの重要度を算出する処理と、
データを識別する基となる識別関数に基づいた識別境界と前記ラベル無しデータとの近さを表す情報と、前記算出された重要度を表す情報とに基づいて、複数の前記ラベル無しデータの中からラベル付けするデータを選択する処理と
をコンピュータによって実行させるコンピュータプログラムを記憶するプログラム記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、機械学習の一つである能動学習の技術に関する。
【背景技術】
【０００２】
音声や画像などのパターンをコンピュータに認識（識別）させる場合に用いられる識別器は機械学習により学習される。機械学習の一つとして教師あり学習が有る。当該教師あり学習では、識別の正解を表す情報であるラベルが付いているデータ（教師データ）を利用し、識別の基となる辞書と呼ばれる識別関数のパラメータを学習する。【０００３】
教師あり学習では、データにラベルを付与する作業が必要である。識別器による識別精度を高めるためには、学習に利用する教師データの量は多いことが望ましいが、ラベルを付与するデータの量が増加すると、その全てのデータにラベルを付与する作業を行っていたのでは時間と手間が掛かり過ぎる。能動学習は、そのような事情を考慮した機械学習である。能動学習では、全てのデータにラベルを付与するのではなく、ラベルを付与するデータを選択することにより、学習の効率化を図ろうとしている。【０００４】
特許文献１には、ラベルが既に付与されているラベル付き画像の特徴との違いが大きい未ラベル画像や、判別面に近い未ラベル画像を、ラベルを付与する対象の画像データとして選択する技術が開示されている。また、非特許文献１には、間違ったラベルが付与されそうなデータを選択し、選択したデータにラベルを付与する構成が示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−１２５３２２号公報
【非特許文献】
【０００６】
【非特許文献１】B. Settles, Active Learning Book, Synthesis Lectures on Artificial Intelligence and Machine Learning, Morgan & Claypool Publishers, June 2012
【発明の概要】
【発明が解決しようとする課題】
【０００７】
能動学習において、ラベルを付与するデータを選択する手法は様々に提案されているが、より効率良く学習を進めることを可能にする手法が望まれている。【０００８】
本発明はそのような課題を解決するために考え出された。すなわち、本発明の主な目的は、機械学習のより効率化を図ることを可能にする技術を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の辞書学習装置は、
教師データの特徴ベクトルを構成する要素を変数として持つ特徴空間に複数の教師データを前記特徴ベクトルに基づいて配置した場合に前記複数の教師データに含まれるラベル無しデータ毎に、当該ラベル無しデータを基準にした設定の大きさの領域内における、前記教師データに含まれるラベル有りデータの密度に基づいて前記ラベル無しデータの重要度を算出する重要度算出部と、
データを識別する基となる識別関数に基づいた識別境界と前記ラベル無しデータとの近さを表す情報と、前記算出された重要度を表す情報とに基づいて、複数の前記ラベル無しデータの中からラベル付けするデータを選択するデータ選択部と、
を備える。【００１０】
本発明の辞書学習方法は、
教師データの特徴ベクトルを構成する要素を変数として持つ特徴空間に複数の教師データを前記特徴ベクトルに基づいて配置した場合に前記複数の教師データに含まれるラベル無しデータ毎に、当該ラベル無しデータを基準にした設定の大きさの領域内における、前記複数の教師データに含まれるラベル有りデータの密度に基づいて前記ラベル無しデータの重要度を算出し、
データを識別する基となる識別関数に基づいた識別境界と前記ラベル無しデータとの近さを表す情報と、前記算出された重要度を表す情報とに基づいて、複数の前記ラベル無しデータの中からラベル付けするデータを選択し、
選択された前記ラベル無しデータに付与するラベルの情報を外部から受信した場合に当該ラベル無しデータに前記ラベルを付与し、
前記ラベルが付与された新たなラベル有りデータを含む複数の前記教師データに基づいて前記識別関数のパラメータである辞書を学習することにより、前記識別関数を更新する。【００１１】
本発明のデータ認識方法は、
教師データの特徴ベクトルを構成する要素を変数として持つ特徴空間に複数の教師データを前記特徴ベクトルに基づいて配置した場合に前記複数の教師データに含まれるラベル無しデータ毎に、当該ラベル無しデータを基準にした設定の大きさの領域内における、前記複数の教師データに含まれるラベル有りデータの密度に基づいて前記ラベル無しデータの重要度を算出し、
データを識別する基となる識別関数に基づいた識別境界と前記ラベル無しデータとの近さを表す情報と、前記算出された重要度を表す情報とに基づいて、複数の前記ラベル無しデータの中からラベル付けするデータを選択し、
選択された前記ラベル無しデータに付与するラベルの情報を外部から受信した場合に当該ラベル無しデータに前記ラベルを付与し、
前記ラベルが付与された新たなラベル有りデータを含む複数の前記教師データに基づいて前記識別関数のパラメータである辞書を学習することにより、前記識別関数を更新する辞書学習方法によって前記識別関数を学習し、
当該学習された識別関数を利用して、外部から受信したデータを認識する。【００１２】
本発明のプログラム記憶媒体は、
教師データの特徴ベクトルを構成する要素を変数として持つ特徴空間に複数の教師データを前記特徴ベクトルに基づいて配置した場合に前記複数の教師データに含まれるラベル無しデータ毎に、当該ラベル無しデータを基準にした設定の大きさの領域内における、前記複数の教師データに含まれるラベル有りデータの密度に基づいて前記ラベル無しデータの重要度を算出する処理と、
データを識別する基となる識別関数に基づいた識別境界と前記ラベル無しデータとの近さを表す情報と、前記算出された重要度を表す情報とに基づいて、複数の前記ラベル無しデータの中からラベル付けするデータを選択する処理と
をコンピュータによって実行させるコンピュータプログラムを記憶する。【００１３】
なお、本発明の上記主な目的は、本発明の辞書学習装置に対応する辞書学習方法によっても達成される。また、本発明の上記主な目的は、本発明の辞書学習装置、辞書学習方法に対応するコンピュータプログラムおよび当該コンピュータプログラムを記憶する記憶媒体によっても達成される。
【発明の効果】
【００１４】
本発明によれば、機械学習のより効率化を図ることを可能にする。
【図面の簡単な説明】
【００１５】
【図１】本発明に係る第１実施形態の辞書学習装置の構成を簡略化して表すブロック図である。
【図２】第１実施形態の辞書学習装置における技術事項を説明する図である。
【図３】図２に続いて、第１実施形態の辞書学習装置における技術事項を説明する図である。
【図４】図３に続いて、第１実施形態の辞書学習装置における技術事項を説明する図である。
【図５】図４に続いて、第１実施形態の辞書学習装置における技術事項を説明する図である。
【図６】図５に続いて、第１実施形態の辞書学習装置における技術事項を説明する図である。
【図７】第１実施形態の辞書学習装置により学習された識別関数（辞書）を利用するパターン認識装置の構成を簡略化して表すブロック図である。
【図８】本発明に係る第２〜第４の実施形態の辞書学習装置の構成を簡略化して表すブロック図である。
【図９】第２〜第４の実施形態の辞書学習装置のハードウェア構成を簡略化して表すブロック図である。
【図１０】第２実施形態の辞書学習装置における学習動作の一例を説明するフローチャートである。
【発明を実施するための形態】
【００１６】
以下に、本発明に係る実施形態を図面に基づいて説明する。
【００１７】
＜第１実施形態＞
本発明に係る第１実施形態の辞書学習装置は、機械学習の一つである教師有り学習によって辞書を学習する装置である。ここでの辞書とは、データを識別（認識）する基となる識別関数のパラメータである。
【００１８】
第１実施形態の辞書学習装置は、次に述べる技術事項に基づいた構成を備えている。すなわち、図２は、教師データの２次元の特徴ベクトルを構成する要素Ｘ，Ｙを変数として持つ特徴空間に複数の教師データを特徴ベクトルに基づいて配置した場合の一例が表されている。図２では、黒丸はクラスＡのラベルが付与されている教師データ（換言すれば、ラベル有りデータ）を表す。四角はクラスＢのラベルが付与されている教師データ（換言すれば、ラベル有りデータ）を表す。三角はラベルが付与されていない教師データ（換言すれば、ラベル無しデータ）を表す。
【００１９】
ここでは、クラスＡを識別する基となる識別関数と、クラスＢを識別する基となる識別関数が同じであると定義する。これにより、クラスＡとクラスＢの識別関数による識別境界が図２では点線Ｆにより表されている。
【００２０】
例えば、図２におけるラベル無しデータ（△）の全てにラベルを付与したところ、図３に表されるような結果が得られたとする。図３では、クラスＡのラベルが新たに付与されたデータは黒の三角で表され、クラスＢのラベルが新たに付与されたデータはグレーの三角で表されている。このようにラベルが付与された新たなデータを加えたラベル有りデータに基づいた機械学習によって、学習後の識別関数による識別境界が、例えば、図３における点線に表される識別境界Ｆから実線で表される識別境界Ｆに更新される。
【００２１】
ところで、教師データにラベルを付与する手間の軽減（換言すれば、効率化）を図るべく、ラベル無しデータの全てにラベルを付与するのではなく、ラベル無しデータの中から選択したデータにラベルを付与することが考えられる。しかしながら、この場合には、ラベルを付与するデータを適切に選択しなければ、精度の良い識別関数を得ることができないという問題が発生する。例えば、図２に表されるラベル無しデータ（△）の中から、図４に表されるデータＤ１が選択され、当該データＤ１にクラスＡのラベルが付与されたとする。この場合には、新たにラベルが付与されたデータＤ１を含むラベル有りデータに基づいて機械学習しても、識別関数の識別境界Ｆに変化は殆ど見られない。つまり、ラベル無しデータ（△）の全てにラベルが付与され当該ラベルが付与されたデータを含むラベル有りデータに基づいて機械学習した場合には、図３において実線で表される識別関数の識別境界Ｆが得られる。このような識別境界Ｆが得られることが望ましいが、上記の如く選択されてラベルが付与されたデータＤ１を考慮した機械学習では、その実線で表される識別境界Ｆが得られない。
【００２２】
これに対し、例えば、図２に表されるラベル無しデータ（△）の中から、図５に表されるデータＤ２が選択され、当該データＤ２にクラスＡのラベルが付与されたとする。この場合に、新たにラベルが付与されたデータＤ２を含むラベル有りデータに基づいて機械学習した場合には、図３において実線で表される識別関数の識別境界Ｆとほぼ同様の識別境界Ｆが得られる。つまり、ラベル無しデータの全てにラベルを付与していないのにも拘わらず、データＤ２を選択してラベルを付与することにより、ラベル無しデータの全てにラベルを付与して学習した場合と同様の精度の良い識別関数（辞書）を得ることができる。
【００２３】
そこで、本発明者は、識別関数（辞書）を効率良く、かつ、精度良く学習できるラベル無しデータの選択条件について検討したところ、識別境界Ｆに近く、かつ、ラベル有りデータの密度が小さいラベル無しデータを選択することが好ましいことが分かった。
【００２４】
このようなことから、第１実施形態の辞書学習装置は、次のような構成を備えている。すなわち、図１は、第１実施形態の辞書学習装置の構成を簡略化して表すブロック図である。第１実施形態の辞書学習装置１は、重要度算出部２と、データ選択部３とを備えている。
【００２５】
重要度算出部２は、教師データに含まれるラベル無しデータ毎に重要度を次のように算出する機能を備えている。つまり、教師データの特徴ベクトルを構成する要素を変数として持つ特徴空間に、特徴ベクトルに基づいて複数の教師データが配置される。この場合に、重要度算出部２は、複数の教師データに含まれるラベル無しデータ毎に、ラベル無しデータを基準にした設定の大きさの領域（例えば、図６に表される領域Ｚ１，Ｚ２）内におけるラベル有りデータの密度を求める。そして、重要度算出部２は、その求めた密度に基づいてラベル無しデータの重要度を予め定められた算出手法により算出する。
【００２６】
データ選択部３は、算出された重要度を表す情報と、データを識別する基となる識別関数に基づいた識別境界とラベル無しデータとの近さらしさを表す情報とに基づいて、複数のラベル無しデータの中からラベル付けするデータを選択する機能を備えている。
【００２７】
第１実施形態の辞書学習装置１は、例えば、さらに、その選択されたラベル無しデータにラベルが付与された場合には、当該ラベル無しデータをも含む教師データに基づいて識別関数（辞書）を学習する機能を備える。このように学習された識別関数（辞書）は、辞書学習装置１から、例えば図７に表されるパターン認識装置５に出力され、当該パターン認識装置５のパターン認識処理に利用される。
【００２８】
上記のような構成を備える第１実施形態の辞書学習装置１は、全てのラベル無しデータにラベルを付与しなくとも、データ選択部３により選択されたラベル無しデータにラベルを付与することにより、効率良く、かつ、精度良く辞書を学習できる。
【００２９】
なお、重要度算出部２およびデータ選択部３の機能部は、例えば、そのような機能を実現するコンピュータプログラムをコンピュータが実行することによって、実現される。
【００３０】
＜第２実施形態＞
以下に、本発明に係る第２実施形態を説明する。
【００３１】
図８は、第２実施形態の辞書学習装置の機能構成を簡略化して表すブロック図である。第２実施形態の辞書学習装置１０は、重要度算出部１２と、比較部１３と、選択部（データ選択部）１４と、受信部１５と、付与部（ラベル付与部）１６と、更新部１７と、出力部１８と、記憶部１９とを備えている。
【００３２】
なお、図９は、辞書学習装置１０のハードウェア構成を簡略化して表すブロック図である。辞書学習装置１０は、例えば、ＣＰＵ（Central Processing Unit）２２と、通信ユニット２３と、メモリ２４と、入出力ＩＦ（Interface）２５とを有する。通信ユニット２３は、例えば、情報通信網（図示せず）を介して他の装置（図示せず）等に接続し、当該装置等との通信を実現する機能を備えている。入出力ＩＦ２５は、例えば、表示装置（図示せず）や、装置の操作者（ユーザ）が情報を入力するキーボード等の入力装置（図示せず）等に接続し、これら装置との情報（信号）の通信を実現する機能を備えている。受信部１５と出力部１８は、例えば入出力ＩＦ２５により実現される。
【００３３】
メモリ２４は、データやコンピュータプログラム（プログラム）を格納する記憶装置である。記憶装置には様々な種類が有り、１つの装置に複数種の記憶装置が搭載されることがあるが、ここでは、包括的に１つのメモリと表している。記憶部１９は、メモリ２４により実現される。
【００３４】
ＣＰＵ２２は、演算回路であり、メモリ２４に格納されているプログラムを読み出し当該プログラムを実行することにより、辞書学習装置１０の動作を制御する機能を備える。例えば、重要度算出部１２と比較部１３と選択部１４と付与部１６と更新部１７は、ＣＰＵ２２により実現される。
【００３５】
第２実施形態では、記憶部１９には、教師データと、識別関数（辞書）とが記憶される。識別関数とは、例えば画像や音声等のパターンのデータをコンピュータが識別（認識）する処理で使用する関数である。つまり、パターンを分類する複数のクラスが予め設定されており、識別関数は、クラス分け対象のデータをコンピュータが識別し分類する処理にて使用される。
【００３６】
教師データは、識別関数のパラメータ（辞書とも呼ばれる）を学習する処理で用いられるデータである。教師データには、データが分類されるクラスの情報を表すラベルが付与されているラベル有りデータと、ラベルが付与されていないラベル無しデータとの種類が有る。ここでは、記憶部１９には、ラベル有りデータとラベル無しデータの両方の教師データが複数ずつ格納されているとする。
【００３７】
第２実施形態の辞書学習装置１０は、記憶部１９に記憶されている複数の教師データを利用して識別関数（換言すれば、辞書）を重要度算出部１２と比較部１３と選択部１４と受信部１５と付与部１６と更新部１７によって学習する機能を備えている。
【００３８】
すなわち、重要度算出部１２は、記憶部１９に記憶されている複数のラベル無しデータのそれぞれの重要度（重み）を算出する機能を備えている。重要度は、ラベル無しデータ毎に、当該ラベル無しデータを基準にした設定の大きさの領域内におけるラベル有りデータの密度に基づいて算出される値である。
【００３９】
ここで、重要度の算出手法の具体例を述べる。例えば、教師データを表す特徴ベクトルの要素を変数として持つ特徴空間において、記憶部１９の教師データが特徴ベクトルに基づいて配置されたとする。この場合に、重要度算出部１２は、教師データのラベル無しデータ毎に、当該ラベル無しデータを基準にした設定の大きさを持つ領域内におけるラベル有りデータの密度を求める。例えば、ラベル無しデータをＤn（ただし、ｎは、１からラベル無しデータの個数までの整数とする）とした場合に、ラベル無しデータＤnを基準にした設定の大きさの領域内におけるラベル有りデータの密度をρL（Ｄn）とする。
【００４０】
そして、重要度算出部１２は、その求めた密度と、式（１）に基づいて、各ラベル無しデータの重要度Ｗ（Ｄn）を算出する。
Ｗ（Ｄn）＝ａ／（ρL（Ｄn）＋ａ）・・・・・・・（１）
ただし、式（１）におけるａは、予め設定された正の実数を表す。
【００４１】
式（１）に基づいて算出される重要度Ｗ（Ｄn）は、ラベル有りデータの密度ρL（Ｄn）が小さくなるに従って“１”に近付き、ラベル有りデータの密度ρL（Ｄn）が大きくなるに従って“０”に近付く。
【００４２】
重要度算出部１２は、例えば、算出した重要度Ｗ（Ｄn）の情報を記憶部１９に格納する。
【００４３】
比較部１３は、各ラベル無しデータと、識別関数に基づいた識別境界との近さらしさを求める機能を備えている。例えば、ラベル無しデータＤnと、識別関数に基づいた識別境界との近さらしさを求める尤度関数ｒ（Ｄn；θ）が式（２）のように定義される。
ｒ（Ｄn；θ）＝｜ｇ1（Ｄn；θ）−ｇ2（Ｄn；θ）｜・・・・・・・（２）
ただし、式（２）におけるｇ1（Ｄn；θ）は、設定されたクラス１を識別する識別関数を表し、θは当該識別関数のパラメータ（辞書）を表す。ｇ2（Ｄn；θ）は、設定されたクラス２を識別する識別関数を表し、θは当該識別関数のパラメータ（辞書）を表す。
【００４４】
第２実施形態では、ｇ1（Ｄn；θ）の値とｇ2（Ｄn；θ）の値が同じである場合に尤度関数ｒ（Ｄn；θ）が“０”になるから、ラベル無しデータＤnに関する尤度関数ｒ（Ｄn；θ）の値が“０”に近付くに従って、そのラベル無しデータＤnが識別境界に近いことが表される。換言すれば、尤度関数ｒ（Ｄn；θ）が“０”に近いデータ程、識別境界に近いことから、ラベル無しデータＤnは、識別処理において識別を間違えやすいデータと判断される。
【００４５】
比較部１３は、例えば、算出した識別境界への近さらしさｒ（Ｄn；θ）の情報を記憶部１９に格納する。
【００４６】
選択部１４は、重要度算出部１２による重要度Ｗ（Ｄn）と、比較部１３による識別境界への近さらしさｒ（Ｄn；θ）とに基づいて、ラベル無しデータの中から、識別関数のパラメータ（辞書）の学習に用いるデータを選択する機能を備えている。例えば、選択部１４は、重要度算出部１２による重要度Ｗ（Ｄn）と、比較部１３による識別境界への近さらしさｒ（Ｄn；θ）とに基づいて、選択優先度を表す情報Ｊ（Ｄn）をラベル無しデータ毎に算出する。選択優先度を表す情報（単に選択優先度とも記す）Ｊ（Ｄn）は例えば式（３）に基づいて算出される。
2018116921.tif 000003
ただし、式（３）におけるγは予め設定された正の実数（例えば学習内容に応じて設定された正の実数）を表している。
【００４７】
式（３）に表される選択優先度Ｊ（Ｄn）は、ラベル有りデータの密度が小さくなるに従って大きくなり、また、識別境界に近付くに従っても大きくなる。換言すれば、選択優先度Ｊ（Ｄn）は、識別境界に近付き、かつ、ラベル有りデータの密度が小さくなるに従って大きくなる。
【００４８】
選択部１４は、算出した各ラベル無しデータの選択優先度Ｊ（Ｄn）に基づいて、ラベル無しデータの中からラベルを付与するデータを選択する。データ選択手法としては、例えば、選択部１４は、ラベル無しデータの中から、選択優先度Ｊ（Ｄn）の大きいデータから順に、設定された数のデータを選択する。あるいは、選択部１４は、予め設定された閾値以上の選択優先度Ｊ（Ｄn）を持つラベル無しデータを選択してもよい。さらに、選択部１４は、選択優先度Ｊ（Ｄn）が最も大きいラベル無しデータを選択してもよい。このように、選択優先度Ｊ（Ｄn）に基づいて、ラベル無しデータの中からデータを選択する手法は、適宜な手法が採用される。
【００４９】
このように選択されたデータの情報は、選択部１４によって記憶部１９に格納される。
【００５０】
例えば、上記のような処理により選択されたデータにラベルを付与することを促すメッセージ等が辞書学習装置１０の操作者（ユーザ）に提示され、これにより、操作者（ユーザ）が入力装置（図示せず）を用いてラベルの情報を入力したとする。
【００５１】
受信部１５は、そのように操作者（ユーザ）により入力されたラベルの情報を受信する（受け付ける）機能を備えている。
【００５２】
付与部１６は、ラベルが入力されると、当該入力されたラベルに対応するラベル無しデータを記憶部１９から読み出し、当該ラベル無しデータに、入力されたラベルを付与し、新たなラベル有りデータとして記憶部１９に更新する機能を備えている。
【００５３】
更新部１７は、ラベル無しデータからラベル有りデータに更新されたデータが有る場合に、識別関数のパラメータ（辞書）を学習し、学習された識別関数（つまり、辞書）を記憶部１９に更新する機能を備えている。
【００５４】
出力部１８は、記憶部１９に格納されている識別関数（辞書）を出力する機能を備えている。具体的には、例えば、辞書学習装置１０が図８に表されるパターン認識装置３０に接続されている状態で、パターン認識装置３０から識別関数（辞書）の出力要求を受けた場合に、出力部１８は、パターン認識装置３０に識別関数（辞書）を出力する。
【００５５】
第２実施形態の辞書学習装置１０は上記のような構成を備えている。次に、辞書学習装置１０における辞書学習処理に関わる動作の一例を図１０のフローチャートに基づき説明する。
【００５６】
例えば、辞書学習装置１０は、ラベル有りデータとラベル無しデータが混在している複数の教師データを受信すると、これら教師データを記憶部１９に格納する（ステップＳ１０１）。その後、辞書学習装置１０は、教師データのうちのラベル有りデータに基づいて、予め設定された機械学習手法により識別関数を学習し（ステップＳ１０２）、学習により得られた識別関数を記憶部１９に格納する。
【００５７】
然る後に、辞書学習装置１０の重要度算出部１２が、記憶部１９におけるラベル無しデータＤnのそれぞれについて、例えば、前述したようなラベル有りデータの密度ρL（Ｄn）および式（１）に基づき重要度Ｗ（Ｄn）を算出する（ステップＳ１０３）。また、比較部１３は、ラベル無しデータのそれぞれについて、記憶部１９に格納されている識別関数による識別境界への近さらしさｒ（Ｄn；θ）を前述したような式（２）を利用して算出する（ステップＳ１０４）。
【００５８】
そして、選択部１４は、重要度算出部１２による重要度Ｗ（Ｄn）と、比較部１３による識別境界への近さらしさｒ（Ｄn；θ）とに基づき、前述したような各ラベル無しデータの選択優先度Ｊ（Ｄn）を算出する。その後、選択部１４は、算出した選択優先度Ｊ（Ｄn）を利用して、ラベル無しデータＤnからラベル付与対象のデータを選択する（ステップＳ１０５）。
【００５９】
然る後に、受信部１５が、選択されたラベル付与対象のデータに付与するラベルの情報を受け付けると（ステップＳ１０６）、付与部１６は、対応するラベル無しデータにラベルを付与する（ステップＳ１０７）。これにより、ラベルが付与されたデータは、新たなラベル有りデータとして記憶部１９に更新される。
【００６０】
そして、更新部１７は、ラベルが付与された新たなラベル有りデータをも含むラベル有りデータに基づいて、識別関数（辞書）を学習し、学習された識別関数（辞書）を記憶部１９に更新する（ステップＳ１０８）。
【００６１】
辞書学習装置１０は、このようにして識別関数（辞書）を学習する。
【００６２】
第２実施形態の辞書学習装置１０は、上記の如く、ラベル有りデータの密度が小さく、かつ、識別境界に近いラベル無しデータを選択する機能を備え、その選択されたデータにラベルが付与されたラベル有りデータを用いて、識別関数（辞書）を学習する。このため、辞書学習装置１０は、第１実施形態と同様に、効率良く、かつ、精度良く識別関数（辞書）を学習できる。
【００６３】
なお、第２実施形態では、図１０に表されるフローチャートのステップＳ１０１において、ラベル有りデータとラベル無しデータが混在している教師データが入力される例を述べている。しかしながら、ステップＳ１０１にて、ラベル有りデータを含まない教師データ（ラベル無しデータによる教師データ）が入力されてもよい。この場合には、入力された教師データにラベル有りデータが含まれていないことから、当該教師データに基づいて識別関数を算出することができない。このことから、この場合には、予め初期データとしての識別関数の情報が記憶部１９に格納されることとし、ステップＳ１０２における識別関数を算出する動作は省略される。
【００６４】
＜第３実施形態＞
以下に、本発明に係る第３実施形態を説明する。なお、第３実施形態の説明において、第２実施形態の辞書学習装置を構成する構成部分と同一名称部分には同一符号を付し、その共通部分の重複説明は省略する。
【００６５】
この第３実施形態の辞書学習装置１０では、重要度算出部１２は、ラベル無しデータのそれぞれについて、ラベル無しデータを基準にした設定の大きさを持つ領域内におけるラベル無しデータの密度およびラベル有りデータの密度に基づき重要度を算出する。
【００６６】
すなわち、第２実施形態と同様に、ラベル無しデータをＤnとし、また、ラベル無しデータＤnを基準にした設定の大きさを持つ領域内におけるラベル有りデータの密度をρL（Ｄn）とする。さらに、第３実施形態では、その領域内におけるラベル無しデータの密度をρNL（Ｄn）とする。
【００６７】
重要度算出部１２は、それら密度ρL（Ｄn），ρNL（Ｄn）を求めた後に、式（４）に基づいて、各ラベル無しデータＤnについて、重要度Ｗ（Ｄn）を算出する。
Ｗ（Ｄn）＝ρNL（Ｄn）／（ρL（Ｄn）＋ρNL（Ｄn））・・・・・・・（４）
式（４）による重要度Ｗ（Ｄn）は、ラベル有りデータの密度ρL（Ｄn）がラベル無しデータの密度ρNL（Ｄn）に比べて小さくなるに従って“１”に近付く。換言すれば、重要度Ｗ（Ｄn）は、ラベル有りデータの密度ρL（Ｄn）がラベル無しデータの密度ρNL（Ｄn）に比べて大きくなるに従って“０”に近付く。
【００６８】
第３実施形態の辞書学習装置１０における上記したような重要度算出の構成以外の構成は、第２実施形態と同様である。
【００６９】
第３実施形態の辞書学習装置１０は、ラベル有りデータの密度に比べてラベル無しデータの密度が大きく（つまり、ラベル有りデータの密度が小さく）、かつ、識別境界に近いラベル無しデータを選択する機能を備えている。第３実施形態の辞書学習装置１０は、第１や第２の実施形態と同様に、効率良く、かつ、精度良く識別関数（辞書）を学習できる。
【００７０】
＜第４実施形態＞
以下に、本発明に係る第４実施形態を説明する。なお、第４実施形態の説明において、第２や第３の実施形態の辞書学習装置を構成する構成部分と同一名称部分には同一符号を付し、その共通部分の重複説明は省略する。
【００７１】
第４実施形態では、データの密度の算出にＫ近傍法を利用する。
【００７２】
すなわち、ここで、ラベル有りデータの総数をＮLとする。また、予め設定された個数ＫLのラベル有りデータが含まれる体積を持ち、かつ、ラベル無しデータＤnを基準にした超球の体積をＶLとする。この場合に、その超球におけるラベル有りデータの密度ρL（Ｄn）は式（５）により表される。
ρL（Ｄn）＝ＫL／（ＮL×ＶL）・・・・・・・（５）
また、ラベル無しデータの総数をＮNLとする。また、予め設定された個数ＫNLのラベル無しデータが含まれる体積を持ち、かつ、ラベル無しデータＤnを基準にした超球の体積をＶNLとする。この場合に、その超球におけるラベル無しデータの密度ρNL（Ｄn）は式（６）により表される。
ρNL（Ｄn）＝ＫNL／（ＮNL×ＶNL）・・・・・・・（６）
さらに、ＫL個のラベル有りデータのうち、ラベル無しデータＤnから最も遠いデータをデータＤLとした場合に、半径｜Ｄn−ＤL｜を満たす超球内のラベル無しデータの個数がＫNLであれば、ＶL＝ＶNLと見なすことができる。この場合には、式（５）と式（６）に基づいて、式（７）が導かれる。
ρNL（Ｄn）／ρL（Ｄn）＝（ＫNL×ＮL）／（ＫL×ＮNL）・・・・・・・（７）
さらに、式（７）と式（４）に基づいて、式（８）が導かれる。
Ｗ（Ｄn）＝（ＫNL×ＮL）／（（ＫL×ＮNL）＋（ＫNL×ＮL））・・・・・・・（８）
第４実施形態では、重要度算出部１２は、各ラベル無しデータＤnについて、式（８）に基づき重要度Ｗ（Ｄn）を算出する。
【００７３】
第４実施形態の辞書学習装置１０における上記したような重要度算出の構成以外の構成は、第２や第３の実施形態と同様である。
【００７４】
第４実施形態の辞書学習装置１０においても、第１〜第３の実施形態と同様に、ラベル有りデータの密度が小さく、かつ、識別境界に近いラベル無しデータを選択する機能を備えている。このことから、第４実施形態の辞書学習装置１０は、効率良く、かつ、精度良く識別関数（辞書）を学習できる。
【００７５】
＜その他の実施形態＞
なお、本発明は、第１〜第３の実施形態に限定されることなく、様々な実施の形態を採り得る。例えば、第２〜第４の実施形態では、選択部１４は、式（３）に基づいて選択優先度Ｊ（Ｄn）を算出している。これに代えて、例えば、選択部１４は、予め設定された単調減少関数ｆ（ｒ（Ｄn；θ））を用いて、選択優先度Ｊ（Ｄn）を算出してもよい。この場合には、選択部１４は、式（９）に基づいて選択優先度Ｊ（Ｄn）を算出する。
2018116921.tif 000004
式（９）による選択優先度Ｊ（Ｄn）を用いて選択部１４がデータを選択しても、第２〜第４の各実施形態と同様の効果を得ることができる。
【００７６】
さらに、第３実施形態では、重要度算出部１２は、ラベル有りデータの密度ρL（Ｄn）に比べてラベル無しデータの密度ρNL（Ｄn）が大きい場合に、重要度Ｗ（Ｄn）が大きくなる式（４）に基づいて、重要度Ｗ（Ｄn）を算出している。これに代えて、重要度算出部１２は、ラベル無しデータの密度ρNL（Ｄn）に比べてラベル有りデータの密度ρL（Ｄn）が小さい場合に、重要度Ｗ（Ｄn）が大きくなる重要度Ｗ（Ｄn）を算出してもよい。
【００７７】
以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
【００７８】
この出願は、２０１６年１２月２１日に出願された日本出願特願２０１６−２４７４３１を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【００７９】
１，１０  辞書学習装置
２，１２  重要度算出部
３  データ選択部
１４  選択部
１６  付与部
１７  更新部
【図１】
2018116921.tif 000005
【図２】
2018116921.tif 000006
【図３】
2018116921.tif 000007
【図４】
2018116921.tif 000008
【図５】
2018116921.tif 000009
【図６】
2018116921.tif 000010
【図７】
2018116921.tif 000011
【図８】
2018116921.tif 000012
【図９】
2018116921.tif 000013
【図１０】
2018116921.tif 000014
【手続補正書】
【提出日】令和1年6月11日(2019.6.11)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項８
【補正方法】変更
【補正の内容】
【請求項８】
教師データの特徴ベクトルを構成する要素を変数として持つ特徴空間に複数の教師データを前記特徴ベクトルに基づいて配置した場合に前記複数の教師データに含まれるラベル無しデータ毎に、当該ラベル無しデータを基準にした設定の大きさの領域内における、前記複数の教師データに含まれるラベル有りデータの密度に基づいて前記ラベル無しデータの重要度を算出する処理と、 
データを識別する基となる識別関数に基づいた識別境界と前記ラベル無しデータとの近さを表す情報と、前記算出された重要度を表す情報とに基づいて、複数の前記ラベル無しデータの中からラベル付けするデータを選択する処理と
をコンピュータによって実行させるコンピュータプログラム。
【国際調査報告】
2018116921.tif 000015
2018116921.tif 000016
2018116921.tif 000017
2018116921.tif 000018