(57)【要約】  データ変換学習装置が、ソースデータとターゲットデータとを入力とし、データの変換を行うデータ変換部と、変換されたデータからドメインを識別するドメイン識別部と、変換されたデータからクラスを識別するクラス識別部と、ドメイン識別部から得られるドメイン確信度に基づいて未出現クラスのデータを推定する第１推定部と、クラス識別部から得られるクラス確信度に基づいて未出現クラスのデータを推定する第２推定部と、第１推定部が推定した未出現クラスのデータと入力のソースデータおよびターゲットデータとを用いてクラス識別の機械学習を行うクラス識別学習部と、第２推定部が推定した未出現クラスのデータと入力のソースデータおよびターゲットデータとを用いてドメイン識別の機械学習を行うドメイン識別学習部とを備える。
2020152774.tif 000002
【特許請求の範囲】
【請求項１】
ソースドメインのデータの確率分布とターゲットドメインのデータの確率分布とを近付けるためのデータ変換を行うデータ変換部と、
前記ソースドメインおよび前記ターゲットドメインの各々について前記データ変換後のデータがそのドメインに属する確からしさを示すドメイン確信度、および、前記ソースドメインのデータが分類されるクラスの各々について前記データ変換後のデータがそのクラスに分類される確からしさを示すクラス確信度のうち少なくとも何れか一方を算出する識別部と、
前記クラスのうち前記ターゲットドメインに出現していないクラスである未出現クラスかつ前記ターゲットドメインに関する損失を、前記ドメイン確信度および前記クラス確信度のうち少なくとも何れか一方を用いて算出し、算出した損失を用いて前記データ変換の機械学習を行う学習部と、
を備えるデータ変換学習装置。
【請求項２】
前記データ変換部は、ニューラルネットワークを用いて前記データ変換を行う、
請求項１に記載のデータ変換学習装置。
【請求項３】
前記学習部は、前記ドメイン確信度を用いて算出した前記損失を用いて前記クラス確信度の算出の機械学習を行い、前記クラス確信度を用いて算出した前記損失を用いて前記ドメイン確信度の算出の機械学習を行う、
請求項１または請求項２に記載のデータ変換学習装置。
【請求項４】
請求項１から３の何れか一項に記載のデータ変換学習装置と、
前記データ変換学習装置が変換したデータを用いた機械学習で得られたパターン認識モデルを用いてパターン認識を行うパターン認識部と、
を備えるパターン認識装置。
【請求項５】
ソースドメインのデータの確率分布とターゲットドメインのデータの確率分布とを近付けるためのデータ変換を行う工程と、
前記ソースドメインおよび前記ターゲットドメインの各々について前記データ変換後のデータがそのドメインに属する確からしさを示すドメイン確信度、および、前記ソースドメインのデータが分類されるクラスの各々について前記データ変換後のデータがそのクラスに分類される確からしさを示すクラス確信度のうち少なくとも何れか一方を算出する工程と、
前記クラスのうち前記ターゲットドメインに出現していないクラスである未出現クラスかつ前記ターゲットドメインに関する損失を、前記ドメイン確信度および前記クラス確信度のうち少なくとも何れか一方を用いて算出する工程と、
算出した損失を用いて前記データ変換の機械学習を行う工程と、
を含むデータ変換学習方法。
【請求項６】
コンピュータに、
ソースドメインのデータの確率分布とターゲットドメインのデータの確率分布とを近付けるためのデータ変換を行う工程と、
前記ソースドメインおよび前記ターゲットドメインの各々について前記データ変換後のデータがそのドメインに属する確からしさを示すドメイン確信度、および、前記ソースドメインのデータが分類されるクラスの各々について前記データ変換後のデータがそのクラスに分類される確からしさを示すクラス確信度のうち少なくとも何れか一方を算出する工程と、
前記クラスのうち前記ターゲットドメインに出現していないクラスである未出現クラスかつ前記ターゲットドメインに関する損失を、前記ドメイン確信度および前記クラス確信度のうち少なくとも何れか一方を用いて算出する工程と、
算出した損失を用いて前記データ変換の機械学習を行う工程と、
を実行させるためのプログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データ変換学習装置、パターン認識装置、データ変換学習方法および記録媒体に関する。
【背景技術】
【０００２】
入力されたパターンがどのクラスに属するパターンであるかを推定することは、パターン認識と称される。パターン認識の例として、画像を入力として写っている物体を推定する物体認識、および、音声を入力として発話内容を推定する音声認識が挙げられる。【０００３】
パターン認識を実現するために機械学習を用いることができる。例えば、教師あり学習では、認識結果を示すラベルが付与されたパターンを学習データとして用いて、パターンとラベルとの関係をモデルに反映させるように機械学習を行う。機械学習で得られたモデルを、ラベルの付いていない認識すべきパターンに適用することで、パターン認識の結果を得られる。ラベルの付いていない認識すべきパターンは、テストデータと称される。【０００４】
多くの機械学習手法では、学習データの分布とテストデータの分布とが一致していることを仮定している。学習データとテストデータとで分布が異なっていると、異なりの度合に応じてパターン認識の性能が低下してしまう。例えば、画像を用いた物体認識において、実写画像からなる学習データを用いてモデルの機械学習を行い、イラスト画像からなるテストデータを用いてモデルを評価した場合、物体認識の性能が大きく劣化してしまう。これは、実写画像とイラスト画像とでは画像上での物体の見た目が大きく異なり、これによって学習データの分布とテストデータの分布とが大きく異なるためである。【０００５】
２つ、あるいはそれ以上のデータ分布を一致させるための手法として、ドメイン適応がある（例えば、特許文献１参照）。ドメインとは、ある１つの確率分布から発生するデータの所属のことを指す。適応元のドメインをソースドメインと称し、適応先のドメインをターゲットドメインと称する。また、ソースドメインのデータをソースデータと称し、ターゲットドメインのデータをターゲットデータと称する。【０００６】
機械学習の前処理としてドメイン適応を実行する場合、例えば、学習データをソースデータとし、テストデータをターゲットデータとしてドメイン適応を実行する。このドメイン適応の実行によって、学習データをソースドメインのデータからターゲットドメインのデータに変換する。これによって学習データの分布とテストデータの分布とを一致させる、あるいは、差異を小さくするようにデータ変換を行うことができる。変換後のデータを用いてモデルの機械学習および評価を行うことで、上述した、学習データとテストデータとで分布が異なっていることによるパターン認識の性能の低下を回避または軽減することができる。【０００７】
ドメイン適応で用いられるアプローチの１つに、敵対的学習によるアプローチがある。このアプローチでは、データ変換を機械学習する際に、データ変換後のデータを入力としてクラスを識別するクラス識別器と、データ変換後のデータを入力としてドメインを識別するドメイン識別器とを、同じ学習データを用いて機械学習する。このアプローチでは、クラス識別器によるパターンの認識を行いつつ、ドメイン識別器による識別が困難になるようにデータ変換を機械学習する。ドメイン識別器による識別が困難であるということは、ドメイン間でデータの分布が似ているということである。したがって、ドメイン識別器に対して敵対的にデータ変換を機械学習することで、ドメイン適応を実現できる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】日本国特表２０１８−５２９１５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
敵対的学習に基づくドメイン適応の一般的なアプローチでは、ソースデータに出現する全てのクラスがターゲットデータにおいて出現している必要がある。これに対し、ターゲットデータの収集コストが高い場合など、全てのクラスのデータを網羅してターゲットデータを集めることが難しい場合がある。
仮にソースデータには出現するがターゲットデータには出現していないクラスＣがあったとする。この場合、クラスＣのデータが入力されたとき、ドメイン識別器は入力されたデータがクラスＣに属すると認識できれば、このデータのドメインがソースドメインであると、正しくドメインを識別することができる。【００１０】
これに対し、敵対的学習に基づくドメイン適応の一般的なアプローチでは、上記のように、ドメイン識別器による識別が困難になるようにデータ変換を機械学習する。ドメイン識別器による識別を困難にするためには、データがクラスＣに属することを認識できなくする必要がある。ドメイン識別器による識別が困難になるようにデータ変換を機械学習することで、クラスＣのデータについてクラスの識別が困難になり、識別精度が低下してしまう。ドメイン識別器による識別が困難になるようにデータ変換を機械学習するアプローチでは、この点で、ドメイン適応の精度が低下してしまう。すなわち、ドメイン適応によるソースデータの確率分布とターゲットデータの確率分布との類似の度合いが低下してしまう。【００１１】
一方、仮に上記のクラスＣのデータのようにターゲットドメインで出現していないクラスのデータを用いず、ソースドメインおよびターゲットドメインの両方で出現するクラスのデータのみを用いてドメイン適応を行う場合を考える。この場合、用いられないクラスのデータ分布をドメイン間で一致させることができず、やはりドメイン適応の精度が低下してしまう。【００１２】
本発明の目的の一例は、上述の課題を解決することのできる、データ変換学習装置、パターン認識装置、データ変換学習方法および記録媒体を提供することである。
【課題を解決するための手段】
【００１３】
本発明の第１の態様によれば、データ変換学習装置は、ソースドメインのデータの確率分布とターゲットドメインのデータの確率分布とを近付けるためのデータ変換を行うデータ変換部と、前記ソースドメインおよび前記ターゲットドメインの各々について前記データ変換後のデータがそのドメインに属する確からしさを示すドメイン確信度、および、前記ソースドメインのデータが分類されるクラスの各々について前記データ変換後のデータがそのクラスに属する確からしさを示すクラス確信度のうち少なくとも何れか一方を算出する識別部と、前記クラスのうち前記ターゲットドメインに出現していないクラスである未出現クラスかつ前記ターゲットドメインに関する損失を、前記ドメイン確信度および前記クラス確信度のうち少なくとも何れか一方を用いて算出し、算出した損失を用いて前記データ変換の機械学習を行う学習部と、を備える。【００１４】
本発明の第２の態様によれば、データ変換学習方法は、ソースドメインのデータの確率分布とターゲットドメインのデータの確率分布とを近付けるためのデータ変換を行う工程と、前記ソースドメインおよび前記ターゲットドメインの各々について前記データ変換後のデータがそのドメインに属する確からしさを示すドメイン確信度、および、前記ソースドメインのデータが分類されるクラスの各々について前記データ変換後のデータがそのクラスに分類される確からしさを示すクラス確信度のうち少なくとも何れか一方を算出する工程と、前記クラスのうち前記ターゲットドメインに出現していないクラスである未出現クラスかつ前記ターゲットドメインに関する損失を、前記ドメイン確信度および前記クラス確信度のうち少なくとも何れか一方を用いて算出する工程と、算出した損失を用いて前記データ変換の機械学習を行う工程と、を含む。【００１５】
本発明の第３の態様によれば、記録媒体は、コンピュータに、ソースドメインのデータの確率分布とターゲットドメインのデータの確率分布とを近付けるためのデータ変換を行う工程と、前記ソースドメインおよび前記ターゲットドメインの各々について前記データ変換後のデータがそのドメインに属する確からしさを示すドメイン確信度、および、前記ソースドメインのデータが分類されるクラスの各々について前記データ変換後のデータがそのクラスに分類される確からしさを示すクラス確信度のうち少なくとも何れか一方を算出する工程と、前記クラスのうち前記ターゲットドメインに出現していないクラスである未出現クラスかつ前記ターゲットドメインに関する損失を、前記ドメイン確信度および前記クラス確信度のうち少なくとも何れか一方を用いて算出する工程と、算出した損失を用いて前記データ変換の機械学習を行う工程と、を実行させるためのプログラムである。
【発明の効果】
【００１６】
上記したデータ変換学習装置、パターン認識装置、データ変換学習方法および記録媒体によれば、ソースドメインで出現するクラスのうちターゲットドメインで出現していないクラスである未出現クラスがある場合に、ドメイン適応の精度の低下を回避または低減することができる。
【図面の簡単な説明】
【００１７】
【図１】実施形態に係るデータ変換学習装置の機能構成の例を示す概略ブロック図である。
【図２】ドメイン適応前のドメインの例を模式的に示す図である。
【図３】ドメイン適応後のドメインの例を模式的に示す図である。
【図４】実施形態に係るデータ変換学習装置が行う処理の手順の例を示す図である。
【図５】ドメインおよびクラスへのデータの所属の例を示す図である。
【図６】実施形態に係るパターン認識装置の機能構成の例を示す概略ブロック図である。
【図７】実施形態に係るデータ変換学習装置の構成の例を示す図である。
【図８】実施形態に係るデータ変換学習方法の処理手順の例を示す図である。
【図９】少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
【発明を実施するための形態】
【００１８】
以下、本発明の実施形態を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１９】
以下では、どのクラスがターゲットドメインで出現していないかという情報が得られていると仮定する。ターゲットドメインで出現していないクラスを未出現クラスと称する。
ここでいう、クラスがドメインで出現するとは、そのクラスかつそのドメインのデータが存在することである。クラスがドメインで出現しないとは、そのクラスかつそのドメインのデータが存在しないことである。
【００２０】
未出現クラスは、ソースデータが分類されるクラスのうち、分類されるターゲットデータが無いクラスである。ソースドメインでは未出現クラスに分類されるデータがあるように、ターゲットドメインのデータ分布でも、サンプル数（データ数）が増えれば、未出現クラスに分類されるデータが現れると見込まれる。一方、データ変換学習装置１００に与えられたデータの範囲では、ターゲットドメインのデータには、未分類データに分類されるデータは含まれていない。
【００２１】
図１は、実施形態に係るデータ変換学習装置の機能構成の例を示す概略ブロック図である。
図１に示す構成で、データ変換学習装置１００は、データ変換部１１０と、ドメイン識別部１２０と、クラス識別部１３０と、第１推定部１４０と、第２推定部１５０と、クラス識別学習部１６０と、ドメイン識別学習部１７０とを備える。
ドメイン識別部１２０とクラス識別部１３０との組み合わせを、識別部１０１と称する。第１推定部１４０と、第２推定部１５０と、クラス識別学習部１６０と、ドメイン識別学習部１７０との組み合わせを、学習部１０２と称する。
【００２２】
データ変換学習装置１００は、未出現クラスかつターゲットドメインに関する損失を算出し、算出した損失を含む全クラスかつ全ドメインに関する損失を用いて、ドメイン適応の関数のパラメータ値を機械学習する。ここでの損失は、ニューラルネットワークの機械学習等に用いられる経験損失である。損失の全データについての総和が、機械学習における目的変数として用いられ、データ変換学習装置１００は、損失の総和を最小化するように機械学習を行う。例えば、データ変換学習装置１００が、機械学習における個々のステップで、損失の総和がステップ実行前と同じ値またはそれ以下となるようにステップを実行するようにしてもよい。
以下では、機械学習を単に学習とも称する。
【００２３】
データ変換学習装置１００は、データ変換学習装置１００に与えられるデータが存在しない未出現クラスかつターゲットドメインを含む全クラスおよび全ドメインについて損失を算出し、損失の総和を最小化するように機械学習を行う。この機械学習により、データ変換学習装置１００は、ドメイン適応実行前からソースドメインおよびターゲットドメインの両方で出現するクラスのデータだけでなく、未出現クラスのデータも用いてデータの分布を一致させる、または、データの分布の差異を小さくする。これにより、上述したような未出現クラスの識別精度の低下を回避または低減することができる。
【００２４】
ここで、図２および図３を参照してドメイン適応について説明する。
図２は、ドメイン適応前のドメインの例を模式的に示す図である。
図２では、第１データＡ１１を含む第１ドメインＭ１１と第２データＡ１２を含む第２ドメインＭ１２とが示されている。
第１ドメインＭ１１と第２ドメインＭ１２とが重なる部分は、第１ドメインＭ１１と第２ドメインＭ１２とが一致する部分を模式的に示している。第１ドメインＭ１１のうち第２ドメインＭ１２と重なっていない部分は、第１ドメインＭ１１のうち第２ドメインＭ１２と相違する部分を模式的に示している。第２ドメインＭ１２のうち第１ドメインＭ１１と重なっていない部分は、第２ドメインＭ１２のうち第１ドメインＭ１１と相違する部分を模式的に示している。
【００２５】
図３は、ドメイン適応後のドメインの例を模式的に示す図である。
図３では、第３データＡ２１を含む第３ドメインＭ２１と第４データＡ２２を含む第４ドメインＭ２２とが示されている。第３データＡ２１、第３ドメインＭ２１、第４データＡ２２、第４ドメインＭ２２は、それぞれ、第１データＡ１１、第１ドメインＭ１１、第２データＡ１２、第２ドメインＭ１２に対してデータ適応による変換を行って得られる。
【００２６】
第１データＡ１１、第１ドメインＭ１１、第２データＡ１２、第２ドメインＭ１２のうち何れか１つ以上が、ドメイン適応の前後で同じであってもよい。例えば、第１ドメインＭ１１をソースドメインとし、第２ドメインＭ１２をターゲットドメインとしてもよい。この場合、第１ドメインＭ１１は、ドメイン適応によって変化する。一方、第２ドメインＭ１２は、ドメイン適応の前後で同一である。
【００２７】
第３ドメインＭ２１と第４ドメインＭ２２とが重なる部分は、第３ドメインＭ２１と第４ドメインＭ２２とが一致する部分を模式的に示している。第３ドメインＭ２１のうち第４ドメインＭ２２と重なっていない部分は、第３ドメインＭ２１のうち第４ドメインＭ２２と相違する部分を模式的に示している。第４ドメインＭ２２のうち第３ドメインＭ２１と重なっていない部分は、第４ドメインＭ２２のうち第３ドメインＭ２１と相違する部分を模式的に示している。
【００２８】
図２、図３それぞれで、２つのドメインの全体の面積に対する、２つのドメインが重なっていない部分の面積の割合は、２つのドメインの差異の大きさを模式的に示している。図２では、２つのドメインは第１ドメインＭ１１および第２ドメインＭ１２である。図３では、２つのドメインは第３ドメインＭ２１および第４ドメインＭ２２である。
【００２９】
図２と図３とを比較すると、図２における２つのドメインの全体の面積に対する、２つのドメインが重なっていない部分の面積の割合よりも、図３における２つのドメインの全体の面積に対する、２つのドメインが重なっていない部分の面積の割合の方が小さい。このことは、第１ドメインＭ１１と第２ドメインＭ１２との差異よりも、第３ドメインＭ２１と第４ドメインＭ２２との差異の方が小さいことを模式的に示している。したがって、図２および図３の例では、ドメイン適応によって２つのドメインの差異が小さくなっている。
【００３０】
仮に、データ変換学習装置１００が、データの各々について損失を算出し、全データについての損失の総和を算出する場合、未出現クラスかつターゲットドメインにはデータ変換学習装置１００に与えられるデータは存在しない。すなわち、データ変換学習装置１００に与えられるデータには、未出現クラスのターゲットデータは含まれていない。このため、データ変換学習装置１００は、未出現クラスかつターゲットドメインに関する損失をデータに基づいて直接的に算出することはできない。
そこで、データ変換学習装置１００は、未出現クラスかつターゲットドメインに関する損失の推定に、２つの方法を用いる。２つの方法のうち１つ目は、ソースデータのうち未出現クラスのデータに算出される損失に、ドメイン確信度に基づいて算出される重みを適用して、未出現クラスかつターゲットドメインに関する損失を算出する方法である。
あるドメインのドメイン確信度は、データのドメインがどれだけそのドメインらしいかの度合いである。例えば、ソースドメインのドメイン確信度は、データのドメインがどれだけソースドメインらしいかの度合いである。ターゲットドメインのドメイン確信度は、データのドメインがどれだけターゲットドメインらしいかの度合いである。
【００３１】
２つの方法のうち２つ目は、ターゲットデータのうち未出現クラス以外のクラスのデータに算出される損失に、クラス確信度に基づいて算出される重みを適用して、未出現クラスかつターゲットドメインに関する損失を算出する方法である。あるクラスのクラス確信度は、データのクラスがどれだけそのクラスらしいかの度合いである。例えば、未出現クラスのクラス確信度は、データのクラスがどれだけ未出現クラスらしいかの度合いである。
ドメイン確信度とクラス確信度とは、それぞれドメイン識別器とクラス識別器とを用いて算出される。データ変換学習装置１００では、ドメイン識別部１２０がドメイン識別器として機能し、クラス識別部１３０がクラス識別器として機能する。
【００３２】
データ変換学習装置１００は、得られた損失を、ドメイン識別部１２０によるドメイン確信度の推定の学習、および、クラス識別部１３０によるクラス確信度の算出の推定に適用する。仮に、ドメイン確信度を用いて得られた損失を、ドメイン識別部１２０でのドメイン確信度の推定の学習に適用した場合、学習効率が非常に悪い。また、クラス確信度を用いて得られた損失を、クラス識別部１３０でのクラス確信度の推定の学習に適用した場合、学習効率が非常に悪い。
そこで、データ変換学習装置１００は、ドメイン確信度を用いて得られた損失をクラス識別部１３０でのクラス確信度の推定の学習に用い、クラス確信度を用いて得られた損失をドメイン識別部１２０でのドメイン確信度の推定の学習に用いる。これにより、データ変換学習装置１００は、上述した学習効率の低下を回避する。
【００３３】
データ変換部１１０は、ソースデータとターゲットデータとを入力とし、データの変換を行う。具体的には、データ変換部１１０は、ドメイン適応を行う。但し、データ変換部１１０は、機械学習によってドメイン適応のためのパラメータ値を取得する。機械学習が進んでいない段階では、ドメイン適応の精度は高くない。ドメイン適応の精度とは、ドメイン適応によってソースデータの確率分布とターゲットデータの確率分布とを近付ける精度である。
【００３４】
ドメイン識別部１２０は、上記のようにドメイン識別器として機能し、データ変換部１１０が変換したデータからドメインを識別する。ドメイン識別部１２０は、ドメイン識別結果としてドメイン確信度を出力する。
クラス識別部１３０は、上記のようにクラス識別器として機能し、データ変換部１１０が変換したデータからクラスを識別する。クラス識別部１３０は、クラス識別結果としてクラス確信度を出力する。
【００３５】
第１推定部１４０は、ドメイン識別部１２０から得られるドメイン確信度に基づいて、未出現クラスかつターゲットドメインに関する損失を求めるための重みを推定する。
第２推定部１５０は、クラス識別部１３０から得られるクラス確信度に基づいて、未出現クラスかつターゲットドメインに関する損失を求めるための重みを推定する。
【００３６】
クラス識別学習部１６０は、第１推定部１４０が推定した未出現クラスのデータと、入力のソースデータおよびターゲットデータとを用いて、データ変換部１１０によるドメイン適応の機械学習およびクラス識別部１３０によるクラス識別の機械学習を行う。
ドメイン識別学習部１７０は、第２推定部１５０が推定した未出現クラスのデータと、入力のソースデータおよびターゲットデータとを用いて、データ変換部１１０によるドメイン適応の機械学習およびドメイン識別部１２０によるドメイン識別の機械学習を行う。
【００３７】
データ変換学習装置１００による処理の例について説明する。
図４は、データ変換学習装置１００が行う処理の手順の例を示す図である。
以下では、データをｘ、クラスをｙ、ドメイン情報をｄと表記する。また、ドメインはソースドメインとターゲットドメインの２つであるとし、それぞれｄ＝Ｓ、ｄ＝Ｔと表記する。データが所属するクラスは２つのクラスのいずれかであるとし、どちらのクラスに属するかをｙ＝０、ｙ＝１として表記する。
以下では、ソースデータにはｙ＝０のクラスのデータおよびｙ＝１のクラスのデータが出現するが、ターゲットデータにはｙ＝１のクラスのデータのみ出現し、ｙ＝０のクラスのデータが出現しないものとする。すなわちｙ＝０が未出現クラスを示すものとする。
ｙ＝０のクラスをクラス０とも表記する。ｙ＝１のクラスをクラス１とも表記する。
【００３８】
図５は、ドメインおよびクラスへのデータの所属の例を示す図である。
図５の例では、２つのドメインｄ＝Ｓおよびｄ＝Ｔがあり、また、２つのクラスｙ＝０およびｙ＝１がある。上記のように、ｄ＝Ｓはソースドメインを示し、ｄ＝Ｔはターゲットドメインを示す。また、ｙ＝０は未出現クラスを示す。
これらのドメインおよびクラスの組み合わせのうち、ドメインｄ＝Ｓかつクラスｙ＝１、ドメインｄ＝Ｓかつクラスｙ＝０、および、ドメインｄ＝Ｔかつクラスｙ＝１にはデータがある。一方、ドメインｄ＝Ｔかつクラスｙ＝０にはデータがない。
【００３９】
矢印Ａ１は、第１推定部１４０によるデータの推定を示す。第１推定部１４０は、ドメインｄ＝Ｓかつクラスｙ＝０のデータに基づいて、ドメインｄ＝Ｔかつクラスｙ＝０に関する損失を求めるための重みを推定する。
矢印Ａ２は、第２推定部１５０によるデータの推定を示す。第２推定部１５０は、ドメインｄ＝Ｔかつクラスｙ＝１のデータに基づいて、ドメインｄ＝Ｔかつクラスｙ＝０に関する損失を求めるための重みを推定する。
【００４０】
但し、データ変換学習装置１００が扱うクラスの個数は複数であればよい。したがって、データ変換学習装置１００が扱うクラスの個数は２つに限らず３つ以上であってもよい。
【００４１】
データ変換学習装置１００は、ソースデータとして、複数の（ｘ，ｙ）の組を取得する。データ変換学習装置１００は、ターゲットデータとして、複数のｘと、どのクラスが未出現クラスであるかという情報を取得する。
データ変換部１１０は、入力されたデータを、ドメイン識別およびクラス識別を行うためのデータに変換する（ステップＳ１０１）。具体的には、データ変換部１１０は、ドメイン適応を実行することで、ソースデータをターゲットドメインのデータに変換したデータを出力する。
【００４２】
データ変換部１１０が行うデータ変換はパラメータを含む。このパラメータの値は機械学習によって最適化される。データ変換部１１０の機械学習では、データ変換によってソースデータとターゲットデータの分布が一致し、かつ、クラス識別しやすいデータになるように、パラメータ値が調整される。
データ変換学習装置１００が、ニューラルネットワークを用いてデータ変換を行うようにしてもよい。この場合、変換のためのパラメータは、ニューラルネットワークのパラメータ（例えばニューロン間の結合重みなど）である。以下では、データ変換部１１０のデータ変換に用いられるニューラルネットワークをＮＮｆ、パラメータをθｆ、変換後のデータをｚ＝ＮＮｆ（ｘ｜θｆ）と表記する。
【００４３】
ドメイン識別部１２０は、データ変換部１１０が変換したデータを入力として、入力されたデータがソースデータであるかターゲットデータであるかを識別する（ステップＳ１１１）。
ドメイン識別部１２０が、ニューラルネットワークを用いてドメイン識別を行うようにしてもよい。以下では、ドメイン識別に用いられるニューラルネットワークをＮＮｄ、パラメータをθｄ、識別結果をＮＮｄ（ｚ｜θｄ）と表記する。ドメイン識別部１２０は、識別結果として、あるドメインにデータが属する確率をドメインごとに並べたものを出力する。あるドメインにデータが属する確率は、上述したドメイン確信度で示される。
【００４４】
ドメイン識別部１２０によるドメイン識別は、［ｐ（ｄ＝Ｓ｜ｘ），ｐ（ｄ＝Ｔ｜ｘ）］＝ＮＮｄ（ｚ｜θｄ）と表される。ｐ（ｄ＝Ｓ｜ｘ）は、データｘのドメインがソースドメインであるドメイン確信度を示す。ｐ（ｄ＝Ｔ｜ｘ）は、データｘのドメインがターゲットドメインであるドメイン確信度を示す。
【００４５】
上記の式の左辺にｘを用いているのは、データ変換学習装置１００に入力されるソースデータおよびターゲットデータについて、確率分布に基づくドメイン識別を行うことが目的だからである。ｚ＝ＮＮｆ（ｘ｜θｆ）のように、ｚの値はｘの値に依存するため、上記の式が成立する。ドメイン識別の直接の対象がｚであるという点で、上記の式を［ｐ（ｄ＝Ｓ｜ｚ），ｐ（ｄ＝Ｔ｜ｚ）］＝ＮＮｄ（ｚ｜θｄ）と表してもよい。
【００４６】
クラス識別部１３０は、データ変換部１１０が変換したデータを入力として、入力されたデータのクラスを識別する（ステップＳ１１２）。クラス識別部１３０が、ニューラルネットワークを用いてクラス識別を行うようにしてもよい。以下では、クラス識別に用いられるニューラルネットワークをＮＮｃ、パラメータをθｃ、識別結果をＮＮｃ（ｚ｜θｃ）と表記する。クラス識別部１３０は、識別結果として、あるクラスにデータが属する確率をクラスごとに並べたものを出力する。あるクラスにデータが属する確率は、上述したクラス確信度で示される。
【００４７】
クラス識別部１３０によるクラス識別は、［ｐ（ｙ＝０｜ｘ），ｐ（ｙ＝１｜ｘ）］＝ＮＮｃ（ｚ｜θｃ）と表される。ｐ（ｙ＝０｜ｘ）は、データｘのクラスがｙ＝０のクラスであるクラス確信度を示す。ｐ（ｙ＝１｜ｘ）は、データｘのクラスがｙ＝１のクラスであるクラス確信度を示す。
【００４８】
上記の式の左辺にｘを用いているのは、データ変換学習装置１００に入力されるソースデータおよびターゲットデータについて、確率分布に基づくクラス識別を行うことが目的だからである。ドメイン識別の場合と同様、ｚ＝ＮＮｆ（ｘ｜θｆ）のように、ｚの値はｘの値に依存するため、上記の式が成立する。クラス識別の直接の対象がｚであるという点で、上記の式を［ｐ（ｙ＝０｜ｚ），ｐ（ｙ＝１｜ｚ）］＝ＮＮｃ（ｚ｜θｃ）と表してもよい。
【００４９】
第１推定部１４０は、ドメイン確信度に基づいて、未出現クラスのデータ推定を行う（ステップＳ１２１）。具体的には、第１推定部１４０は、未出現クラスのドメインデータについてドメイン識別部１２０が出力するドメイン確信度に基づいて、未出現クラスかつターゲットドメインに関する損失を算出するための重みを推定する。ここでは、ドメイン確信度としてｐ（ｄ｜ｘ）の推定量であるドメイン識別結果ＮＮｄ（ｘ｜θｄ）を用いる。すなわち、第１推定部１４０は、クラス０のソースデータに対して、ドメイン識別部１２０がドメイン識別結果として出力するドメイン確信度ｐ（ｄ｜ｘ）に基づいて、クラス０のターゲットデータに関する損失を算出するための重みを推定する。クラス０のソースデータのサンプル毎に損失が算出されることから、クラス０のターゲットドメインに関する損失を、クラス０のターゲットデータに関する損失と称している。ここでいうサンプルは、データが示す個々の値である。
【００５０】
第１推定部１４０は、クラス０のソースデータに対してサンプルごとに算出される損失に、そのサンプルに算出される重みをつけることでクラス０のターゲットデータに関する損失を推定する。
損失に対する重み付けは、損失に重みを乗算することで行われる。第１推定部１４０は、クラス０のソースデータに算出される損失に、そのデータについて算出される重みを乗算することで、クラス０のターゲットデータに関する損失を算出する。
【００５１】
クラス０のソースデータの分布はｐ（ｘ｜ｄ＝Ｓ，ｙ＝０）、クラス０のターゲットデータの分布はｐ（ｘ｜ｄ＝Ｔ，ｙ＝０）であるから、重みｗｄ（ｘ）は式（１）のように設定すればよい。
【００５２】
【数１】
2020152774.tif 000003
【００５３】
ここで、ドメインｄとクラスｙの条件付き独立（ｐ（ｄ，ｙ｜ｘ）＝ｐ（ｄ｜ｘ）ｐ（ｙ｜ｘ））を仮定すると、ベイズの定理を用いて、上記の重みは式（２）のように変形できる。
【００５４】
【数２】
2020152774.tif 000004
【００５５】
第１推定部１４０は、式（２）に基づいて重みｗｄ（ｘ）を算出する。
ここで、ｐ（ｄ＝Ｓ）およびｐ（ｄ＝Ｔ）は、何れもデータからは推定できない。そこで、これらの値を事前に人手で設定する。ｐ（ｄ＝Ｓ）およびｐ（ｄ＝Ｔ）の値として、データ変換学習装置１００への入力におけるソースデータに含まれるサンプルの個数とターゲットデータに含まれるサンプルの個数との割合を用いるようにしてもよいが、これに限定されない。ｐ（ｄ＝Ｓ）およびｐ（ｄ＝Ｔ）の値として、それぞれ任意の確率を設定することができる。
このように、第１推定部１４０は、ドメイン確信度ｐ（ｄ｜ｘ）を用いて重みｗｄ（ｘ）を算出することができる。第１推定部１４０は、クラス０のソースデータに関する損失を重み付けすることで、クラス０のターゲットデータに関する損失（クラス０のターゲットドメインに関する損失）を推定し、推定結果をクラス識別学習部１６０へ出力する。
【００５６】
データ変換学習装置１００が行う重みの推定手法は、サンプルごとの重みづけを用いる手法に限定されない。例えば、データ変換学習装置１００が、Generative Adversarial Networksを用いた生成モデルに基づく手法を用いるようにしても良い。
データ変換学習装置１００が機械学習に用いる最適化手法は、特定の手法に限定されず、公知のいろいろな手法とすることができる。データ変換学習装置１００が用いる損失は、最適化手法に応じていろいろな損失とすることができる。
【００５７】
第２推定部１５０は、クラス確信度に基づいて、未出現クラスのデータ推定を行う（ステップＳ１２２）。具体的には、第２推定部１５０は、未出現クラスのドメインデータについてクラス識別部１３０が算出するクラス確信度に基づいて、未出現クラスのターゲットドメインに関する損失を算出するための重みを推定する。ここでは、クラス確信度としてｐ（ｙ｜ｘ）の推定量であるクラス識別結果ＮＮｃ（ｘ｜θｃ）を用いる。すなわち、第２推定部１５０は、クラス１のターゲットデータに対して、クラス識別部１３０がクラス識別結果として出力するクラス確信度ｐ（ｙ｜ｘ）に基づいて、クラス０のターゲットデータに関する損失を算出するための重みを推定する。クラス１のターゲットデータのサンプル毎に損失が算出されることから、クラス０のターゲットドメインに関する損失を、クラス０のターゲットデータに関する損失と称している。
【００５８】
第２推定部１５０は、クラス１のターゲットデータに対してサンプルごとに算出される損失に、そのサンプルに算出される重みをつけることでクラス０のターゲットデータに関する損失を推定する。具体的には、第２推定部１５０は、クラス１のターゲットデータに算出される損失に、そのデータについて算出される重みを乗算することで、クラス０のターゲットデータに関する損失を算出する。
【００５９】
クラス１のターゲットデータの分布はｐ（ｘ｜ｄ＝Ｔ，ｙ＝１）、クラス０のターゲットデータの分布はｐ（ｘ｜ｄ＝Ｔ，ｙ＝０）であるから、重みｗｃ（ｘ）は式（３）のように設定すればよい。
【００６０】
【数３】
2020152774.tif 000005
【００６１】
ここで、ドメインｄとクラスｙの条件付き独立（ｐ（ｄ，ｙ｜ｘ）＝ｐ（ｄ｜ｘ）ｐ（ｙ｜ｘ））を仮定すると、ベイズの定理を用いて、上記の重みは式（４）のように変形できる。
【００６２】
【数４】
2020152774.tif 000006
【００６３】
第２推定部１５０は、式（４）に基づいて重みｗｃ（ｘ）を算出する。
ここで、ｐ（ｙ＝０）およびｐ（ｙ＝１）の値は、何れもデータからは推定できない。そこで、これらの値を事前に人手で設定する。ｐ（ｙ＝０）およびｐ（ｙ＝１）として、データ変換学習装置１００への入力におけるクラス０のデータに含まれるサンプルの個数とクラス１のデータに含まれるサンプルの個数との割合を用いるようにしてもよいが、これに限定されないｐ（ｙ＝０）およびｐ（ｙ＝１）の値として、任意の確率を設定することができる。
このように、第２推定部１５０は、クラス確信度ｐ（ｙ｜ｘ）を用いて重みｗｃ（ｘ）を算出することができる。第２推定部１５０は、クラス１のターゲットデータに関する損失を重み付けすることで、クラス０のターゲットデータに関する損失（クラス０のターゲットドメインに関する損失）を推定し、推定結果をドメイン識別学習部１７０へ出力する。
【００６４】
クラス識別学習部１６０は、ソースデータ、ターゲットデータ、および、第１推定部１４０が推定した損失を用いて、データ変換のパラメータθｆとクラス識別のためのパラメータθｃとを機械学習する（ステップＳ１３１）。クラス識別学習部１６０は、全てのドメインかつ全てのクラスについての損失の総和を最小化するように機械学習を行う。すなわち、クラス識別学習部１６０は、クラス０のソースデータ、クラス０のターゲットデータ、クラス１のソースデータおよびクラス１のターゲットデータについての、経験損失の総和を最小化するように機械学習を行う。
【００６５】
ドメイン識別学習部１７０は、ソースデータ、ターゲットデータ、および、第２推定部１５０が推定した損失を用いて、データ変換のパラメータθｆとドメイン識別のためのパラメータθｄとを機械学習する（ステップＳ１３２）。ドメイン識別学習部１７０は、全てのドメインかつ全てのクラスについての損失の総和を最小化するように機械学習を行う。すなわち、ドメイン識別学習部１７０は、クラス０のソースデータ、クラス０のターゲットデータ、クラス１のソースデータおよびクラス１のターゲットデータについての、経験損失の総和を最小化するように機械学習を行う
【００６６】
データ変換学習装置１００は、終了条件が成立しているか判定する（ステップＳ１４１）。具体的には、データ変換学習装置１００は、与えられる学習データ全てについて機械学習を行ったか否かを判定する。
終了条件が成立していると判定した場合、データ変換学習装置１００は、図４の処理を終了する。この場合、データ変換学習装置１００は、得られたデータ変換のパラメータθｆをデータ変換部１１０に設定する。これにより、データ変換部１１０に機械学習結果が反映され、データ変換部１１０によるドメイン適応を実運用可能になる。
一方、終了条件が成立していないと判定した場合、処理がステップＳ１０１へ戻る。この場合、データ変換学習装置１００は、機械学習を未実施の学習データを用いて引き続き機械学習を行う。
【００６７】
クラス識別学習部１６０およびドメイン識別学習部１７０のうち何れか一方のみがデータ変換部１１０によるデータ変換の学習を行うようにしてもよい。従って、学習部１０２は、ドメイン確信度を用いてクラス識別部１３０によるクラス確信度の算出の機械学習を行い、クラス確信度を用いてドメイン識別部１２０によるドメイン確信度の算出の機械学習を行い、ドメイン確信度およびクラス確信度のうち少なくとも何れか一方を用いてデータ変換部１１０によるデータ変換の機械学習を行う。
【００６８】
以上のように、データ変換部１１０は、ソースドメインのデータの確率分布とターゲットドメインのデータの確率分布とを近付けるためのデータの変換を行う。識別部１０１は、ドメイン確信度およびクラス確信度のうち少なくとも何れか一方を算出する。ドメイン確信度は、ソースドメインおよびターゲットドメインの各々についてデータ変換後のデータがそのドメインに属する確からしさを示す。クラス確信度は、ソースドメインのデータが分類されるクラスの各々についてデータ変換後のデータがそのクラスに分類される確からしさを示す。学習部１０２は、未出現クラスかつターゲットドメインに関する損失を、ドメイン確信度およびクラス確信度のうち少なくとも何れか一方を用いて算出し、算出した損失を用いてデータ変換部１１０によるデータ変換の機械学習を行う。未出現クラスは、ソースドメインのデータが分類されるクラスのうちターゲットドメインに出現していないクラスである。
これにより、データ変換学習装置１００では、未出現クラスがある場合に、ドメイン適応前にはデータが存在していない未出現クラスかつターゲットドメインについても損失を算出して、データ変換部１１０によるドメイン適応の機械学習を行うことができる。データ変換学習装置１００によれば、この点で、ドメイン適応の精度の低下を回避または低減することができる。
【００６９】
また、データ変換部１１０は、データの変換方法としてニューラルネットワークを用いる。
これにより、データ変換部１１０は、データの変換方法を機械学習することができる。
【００７０】
また、学習部１０２は、ドメイン確信度を用いて算出した損失を用いてクラス確信度の算出の機械学習を行い、クラス確信度を用いて算出した損失を用いてドメイン確信度の算出の機械学習を行う
これにより、データ変換学習装置１００は、ドメイン確信度を用いて得られた損失を、ドメイン識別部１２０でのドメイン確信度の推定の学習に適用することによる学習効率の低下、および、クラス確信度を用いて得られた損失を、クラス識別部１３０でのクラス確信度の推定の学習に適用することによる学習効率の低下の何れも回避することができる。
【００７１】
データ変換学習装置１００を用いてパターン認識装置を構成するようにしてもよい。
図６は、実施形態に係るパターン認識装置の機能構成の例を示す概略ブロック図である。図６に示すパターン認識装置２００は、データ変換学習装置１００と、モデル学習部２１０と、パターン認識部２２０とを備える。データ変換学習装置１００は、データ変換部１１０と、ドメイン識別部１２０と、クラス識別部１３０と、第１推定部１４０と、第２推定部１５０と、クラス識別学習部１６０と、ドメイン識別学習部１７０とを備える。ドメイン識別部１２０とクラス識別部１３０との組み合わせを、識別部１０１と称する。第１推定部１４０と、第２推定部１５０と、クラス識別学習部１６０と、ドメイン識別学習部１７０との組み合わせを、学習部１０２と称する。
図６のデータ変換学習装置１００およびその各部は図１の場合と同様であり、同一の符号（１００、１０１、１０２、１１０、１２０、１３０、１４０、１５０、１６０、１７０）を付して説明を省略する。
【００７２】
モデル学習部２１０は、データ変換学習装置１００がドメイン適応にて変換した学習データを用いて、パターン認識のためのモデルを機械学習する。モデル学習部２１０がモデルの機械学習に用いる手法は特定の手法に限定されず、例えば公知のいろいろな機械学習手法を用いることができる。
パターン認識部２２０は、モデル学習部２１０が機械学習したモデルを用いてパターン認識を行う。
【００７３】
パターン認識装置２００によれば、データ変換学習装置１００がドメイン適応した学習データを用いて機械学習を行うことで、学習データの確率分布とテストデータの確率分布とが異なることによる学習精度の低下を回避または低減することができる。パターン認識装置２００によれば、この点で、パターン認識を高精度に行うことができる。
また、パターン認識装置２００によれば、未出現クラスがある場合に、ドメイン適応の精度の低下を回避または低減することができる。これにより、パターン認識装置２００では、未出現クラスがあることによるパターン認識精度の低下を回避または低減することができる。
【００７４】
次に、図７および図８を参照して本発明の実施形態の構成について説明する。
図７は、実施形態に係るデータ変換学習装置の構成の例を示す図である。図７に示すデータ変換学習装置１０は、データ変換部１１と、識別部１２と、学習部１３と、を備える。
【００７５】
かかる構成で、データ変換部１１は、ソースドメインのデータの確率分布とターゲットドメインのデータの確率分布とを近付けるためのデータの変換を行う。識別部１２は、ソースドメインおよびターゲットドメインの各々についてデータ変換後のデータがそのドメインに属する確からしさを示すドメイン確信度、および、ソースドメインのデータが分類されるクラスの各々についてデータ変換後のデータがそのクラスに分類される確からしさを示すクラス確信度のうち少なくとも何れか一方を算出する。学習部１３は、クラスのうちターゲットドメインに出現していないクラスである未出現クラスかつターゲットドメインに関する損失を、ドメイン確信度およびクラス確信度のうち少なくとも何れか一方を用いて算出し、算出した損失を用いてデータ変換の機械学習を行う。
これにより、データ変換学習装置１０では、未出現クラスがある場合に、ドメイン確信度の算出の学習効率の低下、および、クラス確信度の算出の学習効率の低下を回避することができる。
【００７６】
図８は、実施形態に係るデータ変換学習方法の処理手順の例を示す図である。
図８に示す処理で、ステップＳ１１では、ソースドメインのデータの確率分布とターゲットドメインのデータの確率分布とを近付けるためのデータの変換を行う。ステップＳ１２では、ソースドメインおよびターゲットドメインの各々について、データ変換後のデータがそのドメインに属する確からしさを示すドメイン確信度、および、ソースドメインのデータが分類されるクラスの各々について、データ変換後のデータがそのクラスに属する確からしさを示すクラス確信度のうち少なくとも何れか一方を算出する。ステップＳ１３では、クラスのうち前記ターゲットドメインに出現していないクラスである未出現クラスかつターゲットドメインに関する損失を、ドメイン確信度およびクラス確信度のうち少なくとも何れか一方を用いて算出する。ステップＳ１４では、ステップＳ１３で算出した損失を用いてデータ変換部１１０によるデータ変換の機械学習を行う。
かかるデータ変換学習方法によれば、ソースドメインで出現するクラスのうちターゲットドメインで出現していないクラスである未出現クラスがある場合に、未出現クラスの識別精度の低下を回避することができる。
【００７７】
図９は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
図９に示す構成で、コンピュータ７００は、ＣＰＵ（Central Processing Unit）７１０と、主記憶装置７２０と、補助記憶装置７３０と、インタフェース７４０とを備える。
上記のデータ変換学習装置１０および１００と、パターン認識装置２００とのうち何れか１つ以上が、コンピュータ７００に実装されてもよい。その場合、上述した各処理部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ７１０は、プログラムに従って、上述した各記憶部に対応する記憶領域を主記憶装置７２０に確保する。データ変換学習装置１０または１００と他の装置との通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って通信を行うことで実行される。データ変換学習装置１０または１００のユーザインタフェースは、インタフェース７４０が表示デバイスを備えてデータ表示しまた、入力デバイスを備えてデータの入力を受け付けることで実行される。
【００７８】
データ変換学習装置１０がコンピュータ７００に実装される場合、データ変換部１１と、識別部１２と、学習部１３との動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
【００７９】
データ変換学習装置１００がコンピュータ７００に実装される場合、データ変換部１１０と、ドメイン識別部１２０と、クラス識別部１３０と、第１推定部１４０と、第２推定部１５０と、クラス識別学習部１６０と、ドメイン識別学習部１７０との動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
【００８０】
パターン認識装置２００がコンピュータ７００に実装される場合、データ変換部１１０と、ドメイン識別部１２０と、クラス識別部１３０と、第１推定部１４０と、第２推定部１５０と、クラス識別学習部１６０と、ドメイン識別学習部１７０と、モデル学習部２１０と、パターン認識部２２０との動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
【００８１】
なお、データ変換学習装置１０および１００の全部または一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。ここでいう「コンピュータシステム」とは、ＯＳ（オペレーティングシステム）や周辺機器等のハードウェアを含む。
「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００８２】
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【産業上の利用可能性】
【００８３】
本発明の実施形態は、データ変換学習装置、パターン認識装置、データ変換学習方法および記録媒体に適用してもよい。
【符号の説明】
【００８４】
１０、１００  データ変換学習装置
１１、１１０  データ変換部
１２、１０１  識別部
１３、１０２  学習部
１２０  ドメイン識別部
１３０  クラス識別部
１４０  第１推定部
１５０  第２推定部
１６０  クラス識別学習部
１７０  ドメイン識別学習部
２００  パターン認識装置
２１０  モデル学習部
２２０  パターン認識部
【図１】
2020152774.tif 000007
【図２】
2020152774.tif 000008
【図３】
2020152774.tif 000009
【図４】
2020152774.tif 000010
【図５】
2020152774.tif 000011
【図６】
2020152774.tif 000012
【図７】
2020152774.tif 000013
【図８】
2020152774.tif 000014
【図９】
2020152774.tif 000015
【手続補正書】
【提出日】令和3年7月7日(2021.7.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ソースドメインのデータの確率分布とターゲットドメインのデータの確率分布とを近付けるためのデータ変換を行うデータ変換部と、
前記ソースドメインおよび前記ターゲットドメインの各々について前記データ変換後のデータがそのドメインに属する確からしさを示すドメイン確信度、および、前記ソースドメインのデータが分類されるクラスの各々について前記データ変換後のデータがそのクラスに分類される確からしさを示すクラス確信度のうち少なくとも何れか一方を算出する識別部と、
前記クラスのうち前記ターゲットドメインに出現していないクラスである未出現クラスかつ前記ターゲットドメインに関する損失を、前記ドメイン確信度および前記クラス確信度のうち少なくとも何れか一方を用いて算出し、算出した損失を用いて前記データ変換の機械学習を行う学習部と、
を備えるデータ変換学習装置。
【請求項２】
前記データ変換部は、ニューラルネットワークを用いて前記データ変換を行う、
請求項１に記載のデータ変換学習装置。
【請求項３】
前記学習部は、前記ドメイン確信度を用いて算出した前記損失を用いて前記クラス確信度の算出の機械学習を行い、前記クラス確信度を用いて算出した前記損失を用いて前記ドメイン確信度の算出の機械学習を行う、
請求項１または請求項２に記載のデータ変換学習装置。
【請求項４】
請求項１から３の何れか一項に記載のデータ変換学習装置と、
前記データ変換学習装置が変換したデータを用いた機械学習で得られたパターン認識モデルを用いてパターン認識を行うパターン認識部と、
を備えるパターン認識装置。
【請求項５】
ソースドメインのデータの確率分布とターゲットドメインのデータの確率分布とを近付けるためのデータ変換を行う工程と、
前記ソースドメインおよび前記ターゲットドメインの各々について前記データ変換後のデータがそのドメインに属する確からしさを示すドメイン確信度、および、前記ソースドメインのデータが分類されるクラスの各々について前記データ変換後のデータがそのクラスに分類される確からしさを示すクラス確信度のうち少なくとも何れか一方を算出する工程と、
前記クラスのうち前記ターゲットドメインに出現していないクラスである未出現クラスかつ前記ターゲットドメインに関する損失を、前記ドメイン確信度および前記クラス確信度のうち少なくとも何れか一方を用いて算出する工程と、
算出した損失を用いて前記データ変換の機械学習を行う工程と、
を含むデータ変換学習方法。
【請求項６】
コンピュータに、
ソースドメインのデータの確率分布とターゲットドメインのデータの確率分布とを近付けるためのデータ変換を行う工程と、
前記ソースドメインおよび前記ターゲットドメインの各々について前記データ変換後のデータがそのドメインに属する確からしさを示すドメイン確信度、および、前記ソースドメインのデータが分類されるクラスの各々について前記データ変換後のデータがそのクラスに分類される確からしさを示すクラス確信度のうち少なくとも何れか一方を算出する工程と、
前記クラスのうち前記ターゲットドメインに出現していないクラスである未出現クラスかつ前記ターゲットドメインに関する損失を、前記ドメイン確信度および前記クラス確信度のうち少なくとも何れか一方を用いて算出する工程と、
算出した損失を用いて前記データ変換の機械学習を行う工程と、
を実行させるためのプログラム。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、データ変換学習装置、パターン認識装置、データ変換学習方法およびプログラムに関する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
本発明の目的の一例は、上述の課題を解決することのできる、データ変換学習装置、パターン認識装置、データ変換学習方法およびプログラムを提供することである。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
本発明の第３の態様によれば、プログラムは、コンピュータに、ソースドメインのデータの確率分布とターゲットドメインのデータの確率分布とを近付けるためのデータ変換を行う工程と、前記ソースドメインおよび前記ターゲットドメインの各々について前記データ変換後のデータがそのドメインに属する確からしさを示すドメイン確信度、および、前記ソースドメインのデータが分類されるクラスの各々について前記データ変換後のデータがそのクラスに分類される確からしさを示すクラス確信度のうち少なくとも何れか一方を算出する工程と、前記クラスのうち前記ターゲットドメインに出現していないクラスである未出現クラスかつ前記ターゲットドメインに関する損失を、前記ドメイン確信度および前記クラス確信度のうち少なくとも何れか一方を用いて算出する工程と、算出した損失を用いて前記データ変換の機械学習を行う工程と、を実行させるためのプログラムである。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
上記したデータ変換学習装置、パターン認識装置、データ変換学習方法およびプログラムによれば、ソースドメインで出現するクラスのうちターゲットドメインで出現していないクラスである未出現クラスがある場合に、ドメイン適応の精度の低下を回避または低減することができる。
【国際調査報告】
2020152774.tif 000016
2020152774.tif 000017
2020152774.tif 000018
2020152774.tif 000019