(57)【要約】      （修正有）【課題】推論モデルの再学習を容易に行える推論装置を提供する。【解決手段】入力データの内容に関するパラメータを推論するための推論装置１であって、ＮＩＲ画像とそれに対応するＲＧＢ画像を教師データとして学習された画像変換モデルと、ＲＧＢ画像とそれに対応する発話内容を教師データとして学習されたＬＲモデルと、画像変換モデル及びＬＲモデルを用いて、ＮＩＲ画像から発話内容を推論する画像変換推論部１１及び発話内容推論部１２と、発話内容のデータ出力部１３と、ＮＩＲ画像とそれに対応する発話内容とを教師データとして、ＬＲモデルを固定した状態で画像変換モデルを再学習する再学習部１４とを備える。【選択図】図１
2020030458.tif 000002
【特許請求の範囲】
【請求項１】
入力データの内容に関するパラメータを推論するための推論装置であって、
入力データから中間データを推論するための第１のモデルであって、入力データとそれに対応する中間データを教師データとして学習された第１のモデルと、
中間データから前記パラメータを推論するための第２のモデルであって、中間データとそれに対応する前記パラメータを教師データとして学習された第２のモデルと、
前記第１のモデル及び前記第２のモデルを用いて、入力データから前記パラメータを推論する推論部と、
前記推論部によって推論されたパラメータに関するデータを出力する出力部と、
前記入力データとそれに対応する前記パラメータとを教師データとして、前記第２のモデルを固定した状態で前記第１のモデルを再学習する再学習部と、
を備える推論装置。
【請求項２】
前記第１のモデルは、赤外線画像からＲＧＢ画像を推論するための画像変換モデルであり、
前記第２のモデルは、発話者が映っているＲＧＢ画像から発話内容を推論するためのリップリーティングモデルであり、
前記再学習部は、発話者が映っている赤外線画像とそれに対応する発話内容を教師データとして、前記第２のモデルを固定した状態で前記第１のモデルを再学習する請求項１に記載の推論装置。
【請求項３】
前記第２のモデルの後段に、発話者に適合した推論を行うための第３のモデルを備え、
前記再学習部は、特定の発話者が映っている赤外線画像とそれに対応する発話内容を教師データとして、前記第２のモデルを固定した状態で前記第３のモデルを学習する請求項２に記載の推論装置。
【請求項４】
入力データの内容に関するパラメータを推論するための推論装置であって、
入力データから前記パラメータを推論するための複数のモデルであって、各モデルが独立した学習によって生成された複数のモデルと、
前記複数のモデルを用いて、入力データから前記パラメータを推論する推論部と、
前記推論部によって推論されたパラメータに関するデータを出力する出力部と、
前記入力データとそれに対応する前記パラメータとを教師データとして、前記複数のモデルのうちの一部のモデルを固定した状態で、その他のモデルを再学習する再学習部と、
を備える推論装置。
【請求項５】
入力データの内容に関するパラメータを推論するための推論装置であって、
入力データから中間データを推論するための第１のモデルであって、入力データとそれに対応する中間データを教師データとして学習された第１のモデルと、
中間データから前記パラメータを推論するための第２のモデルであって、中間データとそれに対応する前記パラメータを教師データとして学習された第２のモデルと、
前記第１のモデル及び前記第２のモデルを用いて、入力データから前記パラメータを推論する推論部と、
前記推論部によって推論されたパラメータに関するデータを出力する出力部と、
を備え、
前記第１のモデルは、前記入力データとそれに対応する前記パラメータとを教師データとして、前記第２のモデルを固定した状態で再学習されている推論装置。
【請求項６】
入力データの内容に関するパラメータを推論するための推論装置で用いられるモデルを学習する学習方法であって、
入力データとそれに対応する中間データを教師データとして、入力データから中間データを推論するための第１のモデルを学習によって生成するステップと、
中間データとそれに対応する前記パラメータを教師データとして、中間データから前記パラメータを推論するための第２のモデルを学習によって生成するステップと、
入力データとそれに対応する前記パラメータとを教師データとして、前記第２のモデルを固定した状態で前記第１のモデルを再学習するステップと、
を備える学習方法。
【請求項７】
入力データの内容に関するパラメータを推論するための推論装置で用いられるモデルを学習するためのプログラムであって、コンピュータに、
入力データとそれに対応する中間データを教師データとして、入力データから中間データを推論するための第１のモデルを学習によって生成するステップと、
中間データとそれに対応する前記パラメータを教師データとして、中間データから前記パラメータを推論するための第２のモデルを学習によって生成するステップと、
入力データとそれに対応する前記パラメータとを教師データとして、前記第２のモデルを固定した状態で前記第１のモデルを再学習するステップと、
を実行させるプログラム。
【請求項８】
入力データの内容に関するパラメータを出力するよう、コンピュータを機能させるための学習済みモデルであって、
入力データから中間データを推論するための第１のモデルと、中間データから前記パラメータを推論するための第２のモデルとから構成され、
前記第１のモデルは、入力データとそれに対応する中間データを教師データとした学習によって生成され、前記第２のモデルは、中間データとそれに対応する前記パラメータを教師データとした学習によって生成され、さらに、前記第１のモデルは、入力データとそれに対応する前記パラメータとを教師データとして、前記第２のモデルを固定した状態で再学習されたものであり、
前記第１のモデルにデータを入力することにより、入力データを中間データに変換し、前記中間データを前記第２のモデルに入力することにより、前記中間データから前記パラメータを推論するよう、コンピュータを機能させる学習済みモデル。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、推論装置、学習方法、プログラム及び学習済みモデルに関する。
【背景技術】
【０００２】
近年、研究が盛んに行われている深層学習（ディープラーニング）等の機械学習では、データに正解ラベルを付与して学習を行う「教師あり学習」が行われる。学習に用いられるデータは、「教師データ」「訓練データ」等と呼ばれ、自然言語の文に係る教師データは「コーパス」とも呼ばれる。
【０００３】
機械学習を行うためには、大量の教師データが必要である。例えば、音声認識の機械学習では、一言語につき数千時間時間分のコーパスが必要だとも言われるように、教師データを収集するためには膨大なコストがかかる。また、膨大がコストを用いて機械学習を行うのにも時間的なコストがかかる。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Joon Son Chung他「Lip Reading Sentences in the Wild」(https://www.robots.ox.ac.uk/~vgg/publications/2017/Chung17/chung17.pdf)
【発明の概要】
【発明が解決しようとする課題】
【０００５】
所定の入力データに対して推論を行うための学習済みモデルがいったん生成された後に、異なる形式のデータの入力に対して推論を行いたい場合がある。ここで、一例として、近赤外線画像（以下、「ＮＩＲ画像」という。）を用いてリップリーディングを行うモデルを挙げる。ＮＩＲ画像からそこに映る発話者の発話内容を推論するためのリップリーディングのモデルを生成した後に、ＮＩＲ画像を撮影する近赤外線カメラの仕様が変わったとする。あるいは、異なる仕様の近赤外線カメラで撮影したＮＩＲ画像に対してリップリーディングを行いたいとする。このような場合に、推論対象のＮＩＲ画像の形式が学習済みモデルとは変わることになるが、新しい形式のＮＩＲ画像の教師データを収集して推論モデルを再学習するのは、上述したとおり膨大なコストがかかるので、不経済である。
【０００６】
本発明は、上記背景に鑑み、推論モデルの再学習を容易に行える推論装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の推論装置は、入力データの内容に関するパラメータを推論するための推論装置であって、入力データから中間データを推論するための第１のモデルであって、入力データとそれに対応する中間データを教師データとして学習された第１のモデルと、中間データから前記パラメータを推論するための第２のモデルであって、中間データとそれに対応する前記パラメータを教師データとして学習された第２のモデルと、前記第１のモデル及び前記第２のモデルを用いて、入力データから前記パラメータを推論する推論部と、前記推論部によって推論されたパラメータに関するデータを出力する出力部と、前記入力データとそれに対応する前記パラメータとを教師データとして、前記第２のモデルを固定した状態で前記第１のモデルを再学習する再学習部とを備える。この構成により、入力データの形式等に変更があった場合に、低コストで再学習を行って推論装置の最適化を行うことができる。
【０００８】
本発明の推論装置において、前記第１のモデルは、赤外線画像からＲＧＢ画像を推論するための画像変換モデルであり、前記第２のモデルは、発話者が映っているＲＧＢ画像から発話内容を推論するためのリップリーティングモデルであり、前記再学習部は、発話者が映っている赤外線画像とそれに対応する発話内容を教師データとして、前記第２のモデルを固定した状態で前記第１のモデルを再学習してもよい。
【０００９】
この構成により、赤外線画像を撮影する赤外線カメラの仕様変更等により、赤外線画像に変更があった場合に、低コストで再学習することができる。また、ＲＧＢ画像とそこに映る発話者の発話内容の教師データは比較的容易に収集できると共に、ＮＩＲ画像とそれに対応するＲＧＢ画像の教師データも比較的容易に収集できる。したがって、これらの２種類の教師データを用いて、２つのモデルを生成した後、第１のモデルをチューンナップすることにより、ＮＩＲ画像とそこに映る発話者の発話内容の教師データが少ない場合であっても、ＮＩＲ画像から発話内容を適切に推論できる推論装置を構成できる。
【００１０】
本発明の推論装置は、前記第２のモデルの後段に、発話者に適合した推論を行うための第３のモデルを備え、前記再学習部は、特定の発話者が映っている赤外線画像とそれに対応する発話内容を教師データとして、前記第２のモデルを固定した状態で前記第３のモデルを学習してもよい。この構成により、発話者に適合した推論を行うことができる。
【００１１】
本発明の推論装置は、入力データの内容に関するパラメータを推論するための推論装置であって、入力データから前記パラメータを推論するための複数のモデルであって、各モデルが独立した学習によって生成された複数のモデルと、前記複数のモデルを用いて、入力データから前記パラメータを推論する推論部と、前記推論部によって推論されたパラメータに関するデータを出力する出力部と、前記入力データとそれに対応する前記パラメータとを教師データとして、前記複数のモデルのうちの一部のモデルを固定した状態で、その他のモデルを再学習する再学習部とを備える。
【００１２】
この構成により、複数のモデルを有する推論装置についても、入力データの形式等に変更があった場合に、低コストで再学習することができる。ここで、独立した学習とは、他のモデルの推論結果を利用せずに収集した教師データを用いて学習を行うことである。
【００１３】
本発明の推論装置は、入力データの内容に関するパラメータを推論するための推論装置であって、入力データから中間データを推論するための第１のモデルであって、入力データとそれに対応する中間データを教師データとして学習された第１のモデルと、中間データから前記パラメータを推論するための第２のモデルであって、中間データとそれに対応する前記パラメータを教師データとして学習された第２のモデルと、前記第１のモデル及び前記第２のモデルを用いて、入力データから前記パラメータを推論する推論部と、前記推論部によって推論されたパラメータに関するデータを出力する出力部とを備え、前記第１のモデルは、前記入力データとそれに対応する前記パラメータとを教師データとして、前記第２のモデルを固定した状態で再学習されている。
【００１４】
本発明の学習方法は、入力データの内容に関するパラメータを推論するための推論装置で用いられるモデルを学習する学習方法であって、入力データとそれに対応する中間データを教師データとして、入力データから中間データを推論するための第１のモデルを学習によって生成するステップと、中間データとそれに対応する前記パラメータを教師データとして、中間データから前記パラメータを推論するための第２のモデルを学習によって生成するステップと、入力データとそれに対応する前記パラメータとを教師データとして、前記第２のモデルを固定した状態で前記第１のモデルを再学習するステップとを備える。
【００１５】
本発明のプログラムは、入力データの内容に関するパラメータを推論するための推論装置で用いられるモデルを学習するためのプログラムであって、コンピュータに、入力データとそれに対応する中間データを教師データとして、入力データから中間データを推論するための第１のモデルを学習によって生成するステップと、中間データとそれに対応する前記パラメータを教師データとして、中間データから前記パラメータを推論するための第２のモデルを学習によって生成するステップと、入力データとそれに対応する前記パラメータとを教師データとして、前記第２のモデルを固定した状態で前記第１のモデルを再学習するステップとを実行させる。
【００１６】
本発明の学習済みプログラムは、入力データの内容に関するパラメータを出力するよう、コンピュータを機能させるための学習済みモデルであって、入力データから中間データを推論するための第１のモデルと、中間データから前記パラメータを推論するための第２のモデルとから構成され、前記第１のモデルは、入力データとそれに対応する中間データを教師データとした学習によって生成され、前記第２のモデルは、中間データとそれに対応する前記パラメータを教師データとした学習によって生成され、さらに、前記第１のモデルは、入力データとそれに対応する前記パラメータとを教師データとして、前記第２のモデルを固定した状態で再学習されたものであり、前記第１のモデルにデータを入力することにより、入力データを中間データに変換し、前記中間データを前記第２のモデルに入力することにより、前記中間データから前記パラメータを推論するよう、コンピュータを機能させる。
【発明の効果】
【００１７】
本発明によれば、入力データの形式等に変更があった場合に、低コストで再学習することができる。
【図面の簡単な説明】
【００１８】
【図１】第１の実施の形態の推論装置の構成を示す図である。
【図２】第１の実施の形態の推論装置によって推論を行うときに機能する構成要素を強調して示す図である。
【図３】第１の実施の形態の推論装置によって学習を行うときに機能する構成要素を強調して示す図である。
【図４】第１の実施の形態の推論装置による学習の動作を示す図である。
【図５】第２の実施の形態の推論装置の構成を示す図である。
【図６】第３の実施の形態の推論装置の構成を示す図である。
【図７】第３の実施の形態の推論装置の構成を示す図である。
【図８】第４の実施の形態の推論装置の構成を示す図である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施の形態に係る推論装置について図面を参照して説明する。
（第１の実施の形態）
図１は、第１の実施の形態の推論装置１の構成を示す図である。推論装置１は、入力部１０と、画像変換推論部１１と、発話内容推論部１２と、出力部１３と、再学習部１４とを有する。第１の実施の形態では、発話者が映っている様子が映ったＮＩＲ画像から、その発話内容を推論するリップリーディングを行う装置を例として説明する。
【００２０】
本実施の形態の推論装置１は、例えば、車両に搭載して用いられ、近赤外線カメラによって運転手を撮影し、運転手の唇の動きから発話内容を推定するのに用いられる。運転中の車内は、ノイズが大きいので、音声認識によって運転手の音声を認識することが困難な場合があるが、リップリーディングによって発話内容を分析すれば、ロバストなシステムを実現できる。なお、運転手の指示を認識するために、音声認識を併用してよいことは言うまでもない。
【００２１】
図２は、第１の実施の形態の推論装置１によって推論を行うときに機能する構成要素を強調して示す図である。入力部１０は、ＮＩＲ画像の入力を受け付け、入力された画像を画像変換推論部１１に渡す。画像変換推論部１１は、入力されたＮＩＲ画像をＲＧＢ画像に変換する。
【００２２】
画像変換推論部１１には、画像変換モデルを記憶した画像変換モデル記憶部２０が接続されている。画像変換モデルは、多数のＮＩＲ画像とそれに対応するＲＧＢ画像を教師データとする学習によって生成されたニューラルネットワークモデルである。ＮＩＲ画像とそれに対応するＲＧＢ画像は比較的容易に収集することができるので、精度の高い画像変換モデルを生成することが可能である。
【００２３】
また、画像変換モデルは、単に、ＮＩＲ画像をＲＧＢ画像に精度良く変換するということにとどまらず、後段の発話内容推論部１２にて、適切に発話内容の推論を行える入力画像が得られるように再学習されている。画像変換モデルの再学習については後述する。
【００２４】
画像変換推論部１１は、画像変換モデル記憶部２０から画像変換モデルを読み出し、ＮＩＲ画像を画像変換モデルに適用することにより、ＲＧＢ画像に変換する。画像変換推論部１１は、変換によって得られたＲＧＢ画像を発話内容推論部１２に渡す。
【００２５】
発話内容推論部１２は、ＲＧＢ画像に映る発話者の発話内容を推論し、テキストデータとして出力する。発話内容推論部１２には、リップリーディングモデル（以下、「ＬＲモデル」という）が記憶されたＬＲモデル記憶部２１が接続されている。ＬＲモデルは、発話内容を示すテキストデータ（例えば、字幕等）が付加されたＲＧＢ画像を教師データとする学習によって生成されたニューラルネットワークモデルである。テキスト付きのＲＧＢ画像は比較的容易に収集することができるので、精度の高いＬＲモデルを生成することが可能である。
【００２６】
発話内容推論部１２は、ＬＲモデル記憶部２１からＬＲモデルを読み出し、ＲＧＢ画像をＬＲモデルに適用することにより、ＲＧＢ画像に映る発話者の発話内容を推論する。出力部１３は、発話内容推論部１２にて推論された発話内容のデータを出力する。本実施の形態で用いられる画像変換モデルとＬＲモデルは、ＮＩＲ画像から発話内容を推定するための学習済みモデルに相当する。
【００２７】
図３は、第１の実施の形態の推論装置１によって学習を行うときに機能する構成要素を強調して示す図である。入力部１０は、学習を行う際には、教師データの入力を受け付ける。教師データは、ＮＩＲ画像とそのＮＩＲ画像に映る発話内容のセットである。入力部１０は、入力された教師データを画像変換推論部１１に渡す。画像変換推論部１１は、画像変換モデルを用いて、入力されたＮＩＲ画像をＲＧＢ画像に変換し、変換したＲＧＢ画像を発話内容推論部１２に渡す。
【００２８】
発話内容推論部１２は、ＬＲモデルを用いて、入力されたＲＧＢ画像に映る発話内容を推論し、推論結果を再学習部１４に渡す。再学習部１４は、入力された推論結果としての発話内容と、教師データとして入力された発話内容との差分が最小となるように、画像変換モデルの学習を行う。これにより、画像変換モデルは、ＮＩＲ画像を、発話内容を推論するために最適なＲＧＢ画像に画像変換するモデルへと更新される。なお、再学習部１４は、ＬＲモデルの学習は行わない。つまり、ＬＲモデルを固定した状態で、画像変換モデルの学習を行う。
【００２９】
図４は、第１の実施の形態の推論装置１による学習の動作を示す図である。推論装置１は、ＮＩＲ画像とそのＮＩＲ画像に映る発話者の発話内容を教師データとして入力する（Ｓ１０）。
【００３０】
推論装置１は、入力されたＮＩＲ画像をＲＧＢ画像に変換し（Ｓ１１）、変換されたＲＧＢ画像から発話内容を推論する（Ｓ１２）。推論装置１は、推論結果である発話内容と教師データの発話内容との差分に基づいて、画像変換モデルの学習を行う（Ｓ１３）。続いて、推論装置１は、全ての教師データについて処理が終了したか否か判定し（Ｓ１４）、全ての教師データについての処理が終了していないと判定された場合には（Ｓ１４でＮＯ）、次の教師データについて、上記した処理を繰り返す。全ての教師データについての処理が終了したと判定された場合には（Ｓ１４でＹＥＳ）、学習の処理を終了する。
【００３１】
図４に示す学習の処理は、最初に画像変換モデルを生成するときや、近赤外線カメラの仕様が変更になってＮＩＲ画像の形式が変更になったときに行う。これにより、ＮＩＲ画像をＲＧＢ画像に変換する際に、後段のＬＲモデルを使った推論において、発話内容を適切に推論できるＲＧＢ画像に変換を行うことができる。
【００３２】
以上、本実施の形態の推論装置の構成について説明したが、上記した推論装置のハードウェアの例は、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、ディスプレイ、キーボード、マウス、通信インターフェース等を備えたコンピュータである。上記した各機能を実現するモジュールを有するプログラムをＲＡＭまたはＲＯＭに格納しておき、ＣＰＵによって当該プログラムを実行することによって、上記した推論装置が実現される。このようなプログラムも本発明の範囲に含まれる。
【００３３】
本実施の形態の推論装置１において、ＮＩＲ画像から発話内容を推論するために用いるモデルは、ＮＩＲ画像からＲＧＢ画像に変換する画像変換モデルと、ＲＧＢ画像から発話内容を推論するＬＲモデルとによって構成される。画像変換モデルは、ＮＩＲ画像とＲＧＢ画像のセットからなる教師データを使った学習により生成され、ＬＲモデルはＲＧＢ画像と発話内容のセットからなる教師データを使った学習によって生成される。これらの教師データは、ＮＩＲ画像とその発話内容のセットからなる教師データよりもはるかに容易に収集できる。そして、ＮＩＲ画像とその発話内容を教師データとして画像変換モデルを再学習することにより、低コストで画像変換モデルをチューンナップできる。これにより、推論装置１は、画像変換モデルおよびＬＲモデルを用いた推論により、ＮＩＲ画像からそこに映る発話者の発話内容を適切に推論できる。
【００３４】
（第２の実施の形態）
図５は、第２の実施の形態の推論装置２の構成を示す図である。第２の実施の形態の推論装置２は、ノイズが入った音声の入力から音声を認識する推論装置２である。推論装置２は、入力部３０と、ノイズリダクション部３１と、音声認識部３２と、出力部３３と、再学習部３４とを有している。
【００３５】
ノイズリダクション部３１は、ノイズ入りの音声からノイズを除去した音声を推定するためのノイズリダクションモデル（以下、「ＮＲモデル」という）を記憶したＮＲモデル記憶部４０に接続されている。ＮＲモデルは、ノイズ入りの音声とそれに対応する音声を教師データとする学習により生成されたモデルである。ノイズリダクション部３１は、ＮＲモデル記憶部４０から読み出したＮＲモデルに、入力されたノイズ入りの音声を適用することにより、ノイズを除去した音声を推定する。
【００３６】
音声認識部３２は、ノイズリダクション部１６にてノイズが除去された音声に基づいて音声認識を行う。音声認識部３２は、音声認識を行うためのモデルを記憶した音声認識モデル記憶部４１に接続されている。音声認識モデルは、音声とそれに対応するテキストデータを教師データとする学習により生成されたモデルである。音声認識部３２は、音声認識モデル記憶部４１から読み出した音声認識モデルに、ノイズが除去された音声を適用することにより、音声認識を行う。
【００３７】
再学習部３４は、音声認識モデルを固定した状態で、ＮＲモデルの再学習を行う。再学習を行うときには、入力部３０に、教師データを入力する。教師データは、ノイズ入りの音声データとその音声の内容を示すテキストデータである。再学習部３４は、音声認識部３２による音声認識結果であるテキストデータと、教師データのテキストデータとの差分に基づいてＮＲモデルの再学習を行う。
【００３８】
音声に入るノイズは、推論装置２が用いられる環境に左右される。例えば、推論装置２が車両で用いられる場合には、その車両の種類や同乗者等によってノイズが異なる。本実施の形態の推論装置２の設置場所を変えるときに、音声認識モデルを固定した状態で、ＮＲモデルを再学習する。これにより、ノイズ入りの音声から適切に音声を除去し、音声認識部３２にて音声認識を行うことが可能なモデルを、低コストで生成できる。
【００３９】
（第３の実施の形態）
図６は、第３の実施の形態の推論装置３の構成を示す図である。第３の実施の形態の推論装置３の基本的な構成は、第１の実施の形態の推論装置１と同じであるが、第１の実施の形態の推論装置１の構成に加え、ユーザ適合部１５を有している。
【００４０】
ユーザ適合部１５は、推論装置３による推論を、ユーザに適合させる機能を有する。ユーザ適合部１５は、ユーザ適合モデルを記憶したユーザ適合モデル記憶部２２に接続されている。ユーザ適合モデルは、発話内容推論部１２にて推論された発話内容の候補をランキングするためのニューラルネットワークのモデルである。ユーザ適合部１５は、ユーザ適合モデルを用いた推論によって発話内容の候補をランキングし、候補の中から発話内容を選択することにより、ユーザごとに適合した推論を行える。
【００４１】
図７は、推論装置３がユーザ適合モデルを学習する動作を示す図である。ユーザ適合モデルの再学習を行う際に用いる教師データは、ユーザを撮影したＮＩＲ画像とその発話内容である。発話内容の正解データは、ユーザのリアクションによって取得する。
【００４２】
推論装置３は、ユーザを撮影して得られたＮＩＲ画像を入力する（Ｓ２０）。推論装置３は、入力されたＮＩＲ画像をＲＧＢ画像に変換し（Ｓ２１）、変換したＲＧＢ画像から発話内容を推論する（Ｓ２２）。推論装置３は、発話内容に基づく出力を行う（Ｓ２３）。例えば、推論装置３は、「〇〇ですね？」というように、発話内容を確認するメッセージを出力する。また、例えば、「窓を開けて」という発話内容に対して、車両の窓を開けるといった動作を、発話内容に基づく出力としてもよい。
【００４３】
続いて、推論装置３は、発話内容に基づく出力に対するユーザのリアクションを取得する（Ｓ２４）。例えば、推論装置３が「〇〇ですね？」と確認した場合には、「そうです。」や「違います。」といった返事を取得する。窓を開ける例については、窓を開けたことを許容する行動があった（窓を閉めよという指示がない）かどうかを判断してもよい。ここまでの処理により、推論結果が正解だったか不正解だったが分かる。
【００４４】
推論装置３は、ＮＩＲ画像とその推論結果が正解か不正解かという情報に基づいて、発話内容推論モデルを固定した状態のまま、ユーザ適合部１５の学習を行う（Ｓ２５）。この際、再学習部１４は、画像変換モデルを合わせて再学習してもよい。
【００４５】
第３の実施の形態の推論装置３は、上記した第１の実施の形態の推論装置３と同様に、低コストで画像変換モデルをチューンナップできることに加え、発話内容の推論を各ユーザに適合させて行うことができるようになる。推論装置３を、車両で用いる場合には、各々の運転手に合わせた推論を行えるようになるため、運転手からの指示を適切に取得できるようになる。
【００４６】
（第４の実施の形態）
図８は、第４の実施の形態の推論装置４の構成を示す図である。第４の実施の形態の推論装置４の基本的な構成は、第１の実施の形態の推論装置４と同じであるが、第４の実施の形態の推論装置４は、画像変換モデルとＬＲモデルに加えて、変換されたＲＧＢ画像に含まれるノイズを除去するためのＮＲモデルを有している。なお、ＮＲモデルは、ノイズ入りのＲＧＢ画像とそれに対応するノイズなしのＲＧＢ画像を教師データとする学習によって生成されたモデルである。
【００４７】
入力部１０は、ノイズ入りのＮＩＲ画像の入力を受け付け、入力された画像を画像変換推論部１１に渡す。画像変換推論部１１は、入力されたＮＩＲ画像をＲＧＢ画像に変換する。変換されたＲＧＢ画像にはノイズが入っている。
【００４８】
画像変換推論部１１は、変換で得られたＲＧＢ画像をノイズリダクション部１６に入力する。ノイズリダクション部１６は、ノイズの入ったＲＧＢ画像からノイズを除去する。ノイズリダクション部１６は、ＮＲモデル記憶部２３からＮＲモデルを読み出し、ＮＲモデルに、ノイズ入りのＲＧＢ画像を適用することにより、ノイズを除去したＲＧＢ画像を推論する。ノイズリダクション部１６は、ノイズを除去したＲＧＢ画像を発話内容推論部１２に渡す。発話内容推論部１２は、ＲＧＢ画像に映る発話者の発話内容を推論し、テキストデータとして出力する。
【００４９】
次に、第４の実施の形態の推論装置４による再学習について説明する。第４の実施の形態の推論装置４では、再学習部１４は、ＮＲモデル及びＬＲモデルを固定した状態で、画像変換モデルの再学習を行う。
【００５０】
入力部１０は、学習を行う際には、教師データの入力を受け付ける。教師データは、ノイズ入りのＮＩＲ画像とそのＮＩＲ画像に映る発話内容のセットである。推論装置４は、上述した手順により、入力された教師データのうちノイズ入りのＮＩＲ画像から発話内容の推論を行い、推論結果を再学習部１４に入力する。
【００５１】
再学習部１４は、推論結果である発話内容と教師データとして入力された発話内容との差分に基づいて、画像変換モデルの再学習を行う。なお、再学習部１４は、ＬＲモデル及びＮＲモデルの学習は行わない。つまり、ＬＲモデル及びＮＲモデルを固定した状態で、画像変換モデルの学習を行う。
【００５２】
本実施の形態では、ノイズ入りのＮＩＲ画像から発話内容を推論するために画像変換モデル、ＮＲモデル、ＬＲモデルの３つの独立に学習可能なモデルを用いる例を説明した。このように、３つのモデルを用いる推論装置４においても、ＮＲモデル及びＬＲモデルの２つのモデルを固定した状態で、画像変換モデルの学習を行うことにより、低コストで推論装置４の学習を行うことができる。
【００５３】
なお、本実施の形態では、ＮＲモデル及びＬＲモデルの両方を固定した状態で学習を行う例を説明したが、いずれか片方だけを固定して学習を行ってもよい。いずれか片方だけを固定する場合には、ＬＲモデルを固定するのが好ましい。発話内容推論部１２にノイズのないＲＧＢ画像を入力することができれば、適切に発話内容の推論を行えると考えられ、画像からノイズが除去されれば、ＬＲモデルは変更しなくてもよいからである。
【００５４】
また、ここでは、３つのモデルを有する例を挙げているが、本発明は、４つ以上のモデルを有する場合にも適用できる。複数のモデルがある場合、どのモデルを固定するかは、入力されるデータの分布に基づいて決定することができる。
【００５５】
以上、本発明の推論装置について実施の形態を挙げて詳細に説明したが、本発明は上記した実施の形態に限定されるものではない。上記した第１の実施の形態では、ＮＩＲ画像を用いて、発話者のリップリーディングを行う例を挙げたが、本発明の推論装置は、顔特徴点検出（face keypoint detection）、眠気推定、感情推定等に用いることも可能である。
【産業上の利用可能性】
【００５６】
本発明は、教師データを用いた機械学習に有用である。
【符号の説明】
【００５７】
１〜４  推論装置
１０  入力部
１１  画像変換推論部
１２  発話内容推論部
１３  出力部
１４  再学習部
１５  ユーザ適合部
１６  ノイズリダクション部
２０  画像変換モデル記憶部
２１  ＬＲモデル記憶部
２２  ユーザ適合モデル記憶部
２３  ＮＲモデル記憶部
３０  入力部
３１  ノイズリダクション部
３２  音声認識部
３３  出力部
４０  ＮＲモデル記憶部
４１  音声認識モデル記憶部
【図１】
2020030458.tif 000003
【図２】
2020030458.tif 000004
【図３】
2020030458.tif 000005
【図４】
2020030458.tif 000006
【図５】
2020030458.tif 000007
【図６】
2020030458.tif 000008
【図７】
2020030458.tif 000009
【図８】
2020030458.tif 000010