(57)【要約】【課題】画像のドメイン変換を行うモデルの学習を効率よく行う。【解決手段】機械学習システムは、入力画像が第２ドメイン画像か否かを判定する第１判定モデルと、入力画像から対象物が存在する領域を抽出した抽出画像が第２ドメイン画像から対象物が存在する領域を抽出した抽出画像か否かを判定する第２判定モデルと、を備え、疑似第２ドメイン画像及び第２ドメイン画像のいずれかを選択して第１判定モデルに入力し、疑似第２ドメイン画像の第１抽出画像と第２ドメイン画像の第２抽出画像のいずれかを選択して画像抽出部に入力し、第１判定モデルの第１判定結果に基づき第１判定モデルの学習を行い、第２判定モデルの第２判定結果に基づき第２判定モデルの学習を行い、第１判定結果と第２判定結果とに基づき、対象物を撮影した第１ドメイン画像を疑似第２ドメイン画像に変換する疑似画像生成モデルの学習を行う。【選択図】図４
2020095364.tif 000002
【特許請求の範囲】
【請求項１】
認識対象の物体である対象物を撮影した第１ドメインにおける画像である第１ドメイン画像を、第２ドメインにおける画像である第２ドメイン画像に似せた画像である疑似第２ドメイン画像に変換する機械学習モデルである疑似画像生成モデルの学習を行う情報処理システムであり、
入力される画像が前記第２ドメイン画像であるか否かを判定する第１判定モデルと、
前記入力される画像から、当該画像において対象物が存在する領域を特定する情報である領域情報に基づき抽出される画像である抽出画像が前記第２ドメイン画像から当該画像において対象物が存在する領域を特定する情報である領域情報に基づき抽出される画像であるか否かを判定する第２判定モデルと、
前記抽出画像を生成して前記第２判定モデルに入力する、画像抽出部と、
前記疑似第２ドメイン画像及び前記第２ドメイン画像のいずれかを選択して前記第１判定モデルに入力するとともに、前記疑似第２ドメイン画像と当該疑似第２ドメイン画像についての前記領域情報である第１領域情報との第１の組合せ、及び、前記第２ドメイン画像と当該第２ドメイン画像についての前記領域情報である第２領域情報との第２の組合せ、のいずれかを選択して前記画像抽出部に入力する、選択入力部と、
前記第１判定モデルによる判定の結果と当該判定についての正解情報とを含んだ第１判定結果に基づき前記第１判定モデルの学習を行い、前記第２判定モデルの判定の結果と当該判定についての正解情報とを含んだ第２判定結果に基づき前記第２判定モデルの学習を行い、前記第１判定結果と前記第２判定結果とに基づき前記疑似画像生成モデルの学習を行う、学習処理部と、
を備える、機械学習システム。
【請求項２】
請求項１に記載の機械学習システムであって、
前記画像抽出部は、前記入力される画像から、前記対象物が存在する領域を抽出した画像を前記抽出画像として生成する、
機械学習システム。
【請求項３】
請求項１に記載の機械学習システムであって、
前記画像抽出部は、前記入力される画像から、前記対象物が存在しない領域を抽出した画像を前記抽出画像として生成する、
機械学習システム。
【請求項４】
請求項１に記載の機械学習システムであって、
前記第１ドメイン画像は被写体までの距離を示す情報を取得可能な撮影装置により撮影される画像であり、前記領域情報は、前記距離に関する情報に基づき取得される情報である、
機械学習システム。
【請求項５】
請求項１に記載の機械学習システムであって、
前記領域情報は、前記第１ドメイン画像を画像処理することにより取得される情報である、機械学習システム。
【請求項６】
認識対象の物体である対象物を撮影した第１ドメインにおける画像である第１ドメイン画像を、第２ドメインにおける画像である第２ドメイン画像に似せた画像である疑似第２ドメイン画像に変換する機械学習モデルである疑似画像生成モデルの学習を行う情報処理システムであり、
入力される画像が前記第２ドメイン画像であるか否かを判定する、第１判定モデルと、
前記入力される画像から、当該画像において対象物が存在する領域を特定する情報であ
る領域情報に基づき抽出される画像である第１抽出画像が前記第２ドメイン画像から当該画像において対象物が存在する領域を特定する情報である領域情報に基づき抽出される画像であるか否かを判定する第２判定モデルと、
前記入力される画像から、前記領域情報に基づき前記対象物が存在しない領域を抽出した画像である第２抽出画像が前記第２ドメイン画像から前記領域情報に基づき前記対象物が存在しない領域を抽出した画像であるか否かを判断する第３判定モデルと、
前記第１抽出画像を生成して前記第２判定モデルに入力し、前記第２抽出画像を生成して前記第３判定モデルに入力する、画像抽出部と、
前記疑似第２ドメイン画像及び前記第２ドメイン画像のいずれかを選択して前記第１判定モデルに入力するとともに、前記疑似第２ドメイン画像と当該疑似第２ドメイン画像についての前記領域情報である第１領域情報との第１の組合せ、及び、前記第２ドメイン画像と当該第２ドメイン画像についての前記領域情報である第２領域情報との第２の組合せ、のいずれかの組合せを選択して前記画像抽出部に入力する選択入力部と、
前記第１判定モデルによる判定の結果と当該判定についての正解情報とを含んだ第１判定結果に基づき前記第１判定モデルの学習を行い、前記第２判定モデルの判定の結果と当該判定についての正解情報とを含んだ第２判定結果に基づき前記第２判定モデルの学習を行い、前記第３判定モデルの判定の結果と当該判定についての正解情報とを含んだ第３判定結果に基づき前記第３判定モデルの学習を行い、前記第１判定結果、前記第２判定結果、及び前記第３判定結果に基づき前記疑似画像生成モデルの学習を行う、学習処理部と、
を備える、機械学習システム。
【請求項７】
請求項６に記載の機械学習システムであって、
前記第１ドメイン画像は被写体までの距離に関する情報を取得可能な撮影装置により撮影された画像であり、前記領域情報は、前記距離に関する情報に基づき取得される情報である、機械学習システム。
【請求項８】
請求項６に記載の機械学習システムであって、
前記領域情報は、前記第１ドメイン画像を画像処理することにより取得される情報である、機械学習システム。
【請求項９】
請求項１に記載の前記機械学習システムにおける前記学習処理部により学習した前記疑似画像生成モデルを備えるドメイン変換装置であって、前記疑似画像生成モデルにより前記第１ドメイン画像を前記疑似第２ドメイン画像に変換する、ドメイン変換装置。
【請求項１０】
請求項６に記載の前記機械学習システムにおける前記学習処理部により学習した前記疑似画像生成モデルを備えるドメイン変換装置であって、前記疑似画像生成モデルにより前記第１ドメイン画像を前記疑似第２ドメイン画像に変換する、ドメイン変換装置。
【請求項１１】
認識対象の物体である対象物を撮影した第１ドメインにおける画像である第１ドメイン画像を、第２ドメインにおける画像である第２ドメイン画像に似せた画像である疑似第２ドメイン画像に変換する機械学習モデルである疑似画像生成モデルの学習を行う方法であって、
入力される画像が前記第２ドメイン画像であるか否かを判定する第１判定モデルと、
前記入力される画像から、当該画像において対象物が存在する領域を特定する情報である領域情報に基づき抽出される画像である抽出画像が前記第２ドメイン画像から当該画像において対象物が存在する領域を特定する情報である領域情報に基づき抽出される画像であるか否かを判定する第２判定モデルと、
前記抽出画像を生成して前記第２判定モデルに入力する、画像抽出部と、
を備える情報処理装置が、
前記疑似第２ドメイン画像及び前記第２ドメイン画像のいずれかを選択して前記第１判
定モデルに入力するとともに、前記疑似第２ドメイン画像と当該疑似第２ドメイン画像についての前記領域情報である第１領域情報との第１の組合せ、及び、前記第２ドメイン画像と当該第２ドメイン画像についての前記領域情報である第２領域情報との第２の組合せ、のいずれかを選択して前記画像抽出部に入力するステップと、
前記第１判定モデルによる判定の結果と当該判定についての正解情報とを含んだ第１判定結果に基づき前記第１判定モデルの学習を行い、前記第２判定モデルの判定の結果と当該判定についての正解情報とを含んだ第２判定結果に基づき前記第２判定モデルの学習を行い、前記第１判定結果と前記第２判定結果とに基づき前記疑似画像生成モデルの学習を行うステップと、
を実行する、機械学習方法。
【請求項１２】
請求項１１に記載の機械学習方法であって、
前記情報処理装置が、前記入力される画像から、前記対象物が存在する領域を抽出した画像を前記抽出画像として生成するステップ、
をさらに実行する、機械学習方法。
【請求項１３】
請求項１１に記載の機械学習方法であって、
前記情報処理装置が、前記入力される画像から、前記対象物が存在しない領域を抽出した画像を前記抽出画像として生成するステップ、
をさらに実行する、機械学習方法。
【請求項１４】
認識対象の物体である対象物を撮影した第１ドメインにおける画像である第１ドメイン画像を、第２ドメインにおける画像である第２ドメイン画像に似せた画像である疑似第２ドメイン画像に変換する機械学習モデルである疑似画像生成モデルの学習を行う方法であって、
入力される画像が前記第２ドメイン画像であるか否かを判定する、第１判定モデルと、
前記入力される画像から、当該画像において対象物が存在する領域を特定する情報である領域情報に基づき抽出される画像である第１抽出画像が前記第２ドメイン画像から当該画像において対象物が存在する領域を特定する情報である領域情報に基づき抽出される画像であるか否かを判定する第２判定モデルと、
前記入力される画像から、前記領域情報に基づき前記対象物が存在しない領域を抽出した画像である第２抽出画像が前記第２ドメイン画像から前記領域情報に基づき前記対象物が存在しない領域を抽出した画像であるか否かを判断する第３判定モデルと、
前記第１抽出画像を生成して前記第２判定モデルに入力し、前記第２抽出画像を生成して前記第３判定モデルに入力する、画像抽出部と、
を備える情報処理装置が、
前記疑似第２ドメイン画像及び前記第２ドメイン画像のいずれかを選択して前記第１判定モデルに入力するとともに、前記疑似第２ドメイン画像と当該疑似第２ドメイン画像についての前記領域情報である第１領域情報との第１の組合せ、及び、前記第２ドメイン画像と当該第２ドメイン画像についての前記領域情報である第２領域情報との第２の組合せ、のいずれかの組合せを選択して前記画像抽出部に入力するステップと、
前記第１判定モデルによる判定の結果と当該判定についての正解情報とを含んだ第１判定結果に基づき前記第１判定モデルの学習を行い、前記第２判定モデルの判定の結果と当該判定についての正解情報とを含んだ第２判定結果に基づき前記第２判定モデルの学習を行い、前記第３判定モデルの判定の結果と当該判定についての正解情報とを含んだ第３判定結果に基づき前記第３判定モデルの学習を行い、前記第１判定結果、前記第２判定結果、及び前記第３判定結果に基づき前記疑似画像生成モデルの学習を行うステップと、
を実行する、機械学習方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、機械学習システム、ドメイン変換装置、及び機械学習方法に関する。      
【背景技術】
【０００２】
特許文献１には、生成モデル学習方法に関し、ユーザにとって好ましくないデータの生成を抑制する技術に関して記載されている。生成モデル学習方法は、予め用意された学習データに基づき第１生成モデルを教師なし学習により学習する第１学習工程と、第１生成モデルによる生成データを生成する生成工程と、学習データとユーザにより好ましくないと判定された生成データとに基づき第２生成モデルを教師あり学習により学習する第２学習工程と、を含む。
【０００３】
非特許文献１には、敵対的生成ネットワーク（GAN:Generative Adversarial network）を用いて、シミュレータからのアノテーション情報を保持しつつ、実データを用いてシミュレータの出力のリアリティを改善するモデルを学習することにより、合成画像と実際の画像とのギャップを減少させる技術に関して記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１８−６３５０４号公報
【非特許文献１】”Learning from Simulated and Unsupervised Images through Adversarial Training"，"Ashish Shrivastava, Tomas Pfister, Oncel Tuzel, Josh Susskind, Wenda Wang, Russ Webb"，"Apple Inc"，インターネット，２０１８年１１月２９日検索
【発明の概要】
【発明が解決しようとする課題】
【０００５】
画像認識を行う機械学習システムにおけるモデルの学習には膨大な数の学習データが必要である。モデルの学習を効率よく行う方法として、機械学習システムが適用される現場の環境を模したシミュレーション環境における学習データを用いてモデルを学習する方法がある。
【０００６】
しかしこの方法による場合、シミュレーション環境と現場環境の状態の相違（ギャップ）が課題となる。上記の相違を解消する方法として、現場環境における画像を、敵対的生成ネットワーク（GAN:Generative Adversarial network）の生成モデル（Generator）に
よりシミュレーション環境の画像に似せた画像に変換（ドメイン変換）する方法があるが、この場合は生成モデルの変換精度の向上が課題となる。
【０００７】
特許文献１に記載の技術は、生成モデルによる、ユーザにとって好ましくないデータの生成を抑制することを目的とするものであり、生成モデルの学習データの準備等にかかるユーザの負荷軽減を目的とするものではない。
【０００８】
本発明は以上の課題に鑑みてなされたもので、画像のドメイン変換を行うモデルの学習を効率よく行うことが可能な、機械学習システム、ドメイン変換装置、及び機械学習方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するための本発明の一つは、認識対象の物体である対象物を撮影した第
１ドメインにおける画像である第１ドメイン画像を、第２ドメインにおける画像である第２ドメイン画像に似せた画像である疑似第２ドメイン画像に変換する機械学習モデルである疑似画像生成モデルの学習を行う情報処理システム（機械学習システム）であり、入力される画像が前記第２ドメイン画像であるか否かを判定する第１判定モデルと、前記入力される画像から、当該画像において対象物が存在する領域を特定する情報である領域情報に基づき抽出される画像である抽出画像が前記第２ドメイン画像から当該画像において対象物が存在する領域を特定する情報である領域情報に基づき抽出される画像であるか否かを判定する第２判定モデルと、前記抽出画像を生成して前記第２判定モデルに入力する、画像抽出部と、前記疑似第２ドメイン画像及び前記第２ドメイン画像のいずれかを選択して前記第１判定モデルに入力するとともに、前記疑似第２ドメイン画像と当該疑似第２ドメイン画像についての前記領域情報である第１領域情報との第１の組合せ、及び、前記第２ドメイン画像と当該第２ドメイン画像についての前記領域情報である第２領域情報との第２の組合せ、のいずれかを選択して前記画像抽出部に入力する、選択入力部と、前記第１判定モデルによる判定の結果と当該判定についての正解情報とを含んだ第１判定結果に基づき前記第１判定モデルの学習を行い、前記第２判定モデルの判定の結果と当該判定についての正解情報とを含んだ第２判定結果に基づき前記第２判定モデルの学習を行い、前記第１判定結果と前記第２判定結果とに基づき前記疑似画像生成モデルの学習を行う、学習処理部と、を備える。
【００１０】
その他、本願が開示する課題、及びその解決方法は、発明を実施するための形態の欄、及び図面により明らかにされる。
【発明の効果】
【００１１】
本発明によれば、画像のドメイン変換を行うモデルの学習を効率よく行うことができる。
【図面の簡単な説明】
【００１２】
【図１】ドメイン変換システムを説明する図である。
【図２】疑似画像生成モデルの学習を説明する図である。
【図３】疑似画像生成モデルの学習が好ましくない方向に進んでしまうのを防ぐ方法の例を説明する図である。
【図４】機械学習システムのブロック図である。
【図５】機械学習システムの動作を説明する図である。
【図６】機械学習システムの動作を説明する図である。
【図７】機械学習システムの動作を説明する図である。
【図８】機械学習システムの動作を説明する図である。
【図９】機械学習システムのブロック図である。
【図１０】機械学習システムの構成に際して用いる情報処理装置の一例である。
【発明を実施するための形態】
【００１３】
以下、実施形態について図面を参照しつつ説明する。尚、以下の説明において、同一のまたは類似する構成について共通の符号を付して重複した説明を省略することがある。
【００１４】
一般に画像認識を行う機械学習システムにおける機械学習モデル（以下、「モデル」とも称する。）の学習には膨大な数の学習データが必要であり、学習データの準備のためにユーザは多大な労力と時間を要する。例えば、画像認識により物体を認識しつつロボットアームを制御するモデル（以下、「制御モデル」と称する。）の学習では、ユーザは機械学習システムが適用される現場において物体が取りうる様々な状態に対応する膨大な数の撮影画像を学習データとして用意するとともに、各撮影画像にラベル付け（正解情報の設定）を行う必要がある。
【００１５】
モデルの学習を効率よく行う方法として、現場環境を模したシミュレーション環境を利用する方法がある。しかしこの方法では、シミュレーション環境と現場環境の状態の相違（ドメインの相違）により、現場環境における画像（以下、「現場画像」と称する。）をそのままモデルに入力してもモデルが正しく機能しないことがある。
【００１６】
シミュレーション環境で学習したモデルを現場環境においても正しく機能させる方法として、現場環境において取得したデータを、機械学習モデル（以下、「疑似画像生成モデル」と称する。）を用いたドメイン変換装置によってシミュレーション環境におけるデータに似せたデータに変換する方法が考えられる。
【００１７】
具体的には、例えば、前述した制御モデルの場合、現場画像（以下、「第１ドメイン」画像と称する。）を、機械学習モデル（以下、「疑似画像生成モデル」と称する。）により構成したドメイン変換装置によりシミュレーション環境の画像（以下、「第２ドメイン画像」と称する。）に似せた画像（以下、「疑似第２ドメイン画像」と称する。）に変換（以下、「ドメイン変換」と称する。）し、疑似第２ドメイン画像を制御モデルに入力するようにする。
【００１８】
しかしこの方法では、疑似画像生成モデルの学習のために多数の学習データ（第１ドメイン画像とラベルの組）を用意しなければならないことが課題である。
【００１９】
疑似画像生成モデルとして敵対的生成ネットワーク（ＧＡＮ:Generative Adversarial network）の生成モデル（Generatior）を用いる方法がある。
【００２０】
図１は、上記の方法を実現するシステム（以下、「ドメイン変換システム５」と称する。）説明する図である。同図に示すように、ドメイン変換システム５は、ＧＡＮの生成モデルとして生成した疑似画像生成モデルＧにより、第１ドメイン画像１１を疑似第２ドメイン画像１１ｇに変換する。
【００２１】
図２は、疑似画像生成モデルＧの学習を説明する図である。一般的なＧＡＮの生成モデルの学習と同様、ＧＡＮの生成モデルである疑似画像生成モデルＧの学習に際しては、疑似画像生成モデルＧに加えて判定モデルＤ（Discriminator）（以下、「第１判定モデル
Ｄ１」と称する。）が用いられる。
【００２２】
同図に示すように、疑似画像生成モデルＧには第１ドメイン画像群１１１から選択された第１ドメイン画像１１が１つ入力される。また第１判定モデルＤ１には、疑似画像生成モデルＧが生成した疑似第２ドメイン画像１１ｇの１つ、もしくは第２ドメイン画像群２１１から選択された（真の）第２ドメイン画像２１の１つ、のいずれかがランダムに選択されて入力される。
【００２３】
第１判定モデルＤ１は、入力された画像が、第２ドメイン画像２１（真の第２ドメイン画像）であるか否かを判定し、その判定結果（以下、「第１判定結果Ａ１」と称する。）を出力する。第１判定結果Ａ１は、第１判定モデルＤ１の判定結果である、入力された画像が第２ドメイン画像に似ているか否かの情報（もしくは似ている度合いを示す情報）と、ラベルの情報（入力された画像が疑似第２ドメイン画像であるか第２ドメイン画像２１であるかを示す正解情報）と、を含む。
【００２４】
上記の第１判定結果Ａ１は、疑似画像生成モデルＧの学習と第１判定モデルＤ１の学習に用いられ、疑似画像生成モデルＧは、第１判定結果Ａ１に基づき、第１判定モデルＤ１が第２ドメイン画像２１か否かの判定を間違えるように学習し、一方、第１判定モデルＤ
１は、第１判定結果Ａ１に基づき、疑似画像生成モデルＧが生成した疑似第２ドメイン画像１１ｇを第２ドメイン画像と間違えないように学習する。このように、疑似画像生成モデルＧと第１判定モデルＤ１とが互いに競い合うように学習することで、疑似画像生成モデルＧの疑似第２ドメイン画像１１ｇの生成精度と第１判定モデルＤ１の判定精度の双方が高められていく。尚、疑似画像生成モデルＧや第１判定モデルＤ１の学習は、機械学習システムが備える機能の一つである、図示しない学習処理部が行う。
【００２５】
以上のように、この方法によれば、第１ドメイン画像１１にラベル付けを行うことなく、第１ドメイン画像群１１１と第２ドメイン画像群２１１を用意するだけで、疑似画像生成モデルＧの学習を行うことが可能である。
【００２６】
ところで、以上の方法による疑似画像生成モデルＧの学習に際しては、第１ドメイン画像群１１１からは任意に選択された第１ドメイン画像１１が、また第２ドメイン画像群２１１からは任意に選択された第２ドメイン画像２１が、夫々、学習データとして与えられる。そのため、疑似画像生成モデルＧが、例えば、第１ドメイン画像に含まれていない物体を含んだ画像を擬似第２ドメイン画像１１ｇに含めてしまう等、本来期待しない（例えば、前述した制御モデルが物体を認識する際にノイズとなるような）疑似第２ドメイン画像１１ｇを生成してしまう可能性がある。
【００２７】
ここでこのように疑似画像生成モデルＧの学習が好ましくない方向に進んでしまうのを防ぐ方法として、疑似画像生成モデルＧによる変換前後の画像の差分が小さくなるように疑似画像生成モデルＧの学習を行う方法がある。
【００２８】
図３はこの方法を説明する図である。同図に示すように、この方法では、疑似画像生成モデルＧに入力する第１ドメイン画像１１と疑似画像生成モデルＧが生成する疑似第２ドメイン画像１１ｇとの差分を検出する差分導出部ＤＦを設け、差分導出部ＤＦにより検出される上記の差分ｄｆが小さくなるよう疑似画像生成モデルＧを学習させるようにしている。しかしこの方法には、疑似画像生成モデルＧの変換前後の画像から差分ｄｆの算出に有益な情報を取り出すことや、画像から抽象的な情報の差分ｄｆを取り出すことが必ずしも容易でないといった課題がある。
【００２９】
そこで以上を踏まえ、本実施形態では、以下に示す方法により上記の課題の解決を図る。
【００３０】
図４は上記の課題を解決すべく構成した機械学習システム１の主要な構成を説明するブロック図である。機械学習システム１は、例えば、認識対象の物体である対象物の識別を行いつつロボットアームを制御する制御モデルを学習する情報処理システムである。
【００３１】
同図に示すように、機械学習システム１は、第１ドメイン画像群１１１、第１領域情報群１２１、第２ドメイン画像群２１１、及び第２領域情報群２２１を記憶している。
【００３２】
第１領域情報群１２１には、第１ドメイン画像１１について、対象物が存在する領域（対象物が存在する領域の輪郭情報）を特定する情報（以下、「第１領域情報１２」と称する。）が含まれる。尚、第１領域情報１２は、例えば、被写体までの距離（深度）に関する情報を取得可能な撮影装置（例えば、深度カメラ、ＴＯＦ距離画像カメラ、ステレオカメラ等）により取得される第１ドメイン画像１１について、上記距離について設定した閾値との比較を行うことにより取得（生成）することができる。尚、第１領域情報１２は、例えば、第１ドメイン画像１１について公知の画像処理技術を利用することにより取得（生成）することも可能である。
【００３３】
同図に示す疑似画像生成モデルＧは、第１ドメイン画像群１１１から選択された第１ドメイン画像１１の１つを疑似第２ドメイン画像１１ｇに変換する。
【００３４】
選択入力部Iには、疑似第２ドメイン画像１１ｇと、第１領域情報群１２１から選択さ
れる、当該疑似第２ドメイン画像１１ｇの変換元の第１ドメイン画像１１についての第１領域情報１２との組合せ（以下、「第１の組合せ」と称する。）が入力される。
【００３５】
また選択入力部Iには、第２ドメイン画像群２１１から選択された第２ドメイン画像２
１と、第２領域情報群２２１から選択される、当該第２ドメイン画像２１についての第２領域情報２２との組合せ（以下、「第２の組合せ」と称する。）が入力される。
【００３６】
選択入力部Iは、第１の組合せと第２の組合せのいずれかをランダムに選択し、選択し
た組合せにおける疑似第２ドメイン画像１１ｇまたは第２ドメイン画像２１を第１判定モデルＤ１に、また選択した第１の組合せまたは第２の組合せを画像抽出部Ｓに入力する。
【００３７】
第１の組合せを選択した場合、選択入力部Iは、当該組合せの疑似第２ドメイン画像１
１ｇを第１判定モデルＤ１に、また当該組合せの疑似第２ドメイン画像１１ｇ及び第１領域情報１２を画像抽出部Ｓに、夫々入力する。この場合、画像抽出部Ｓは、入力された疑似第２ドメイン画像１１ｇから、入力された第１領域情報１２で特定される領域（対象物が存在する領域）を抽出した画像（以下、「第１抽出画像１１ｃ」と称する。）を第２判定モデルＤ２に入力する。
【００３８】
また第２の組合せを選択した場合、選択入力部Iは、当該組合せにおける第２ドメイン
画像２１を第１判定モデルＤ１に、また当該組合せにおける第２ドメイン画像２１及び第２領域情報２２を画像抽出部Ｓに、夫々入力する。この場合、画像抽出部Ｓは、入力された第２ドメイン画像２１から、入力された第２領域情報２２で特定される領域（対象物が存在する領域）を抽出した画像（以下、「第２抽出画像２１ｃ」と称する。）を第２判定モデルＤ２に入力する。
【００３９】
第１判定モデルＤ１は、入力された画像が、第２ドメイン画像２１（真の第２ドメイン画像）であるか否かを判定して第１判定結果Ａ１を出力する。第１判定モデルＤ１は、第１判定結果Ａ１に基づき、疑似画像生成モデルＧが生成した疑似第２ドメイン画像１１ｇを第２ドメイン画像と間違えないように学習する。一方、疑似画像生成モデルＧは、第１判定結果Ａ１に基づき、第１判定モデルＤ１が判定を間違えるように（疑似第２ドメイン画像１１ｇを第２ドメイン画像であると誤って判定するように）学習する。尚、疑似画像生成モデルＧや第１〜第２判定モデルＤ１〜Ｄ２の学習は、機械学習システムが備える機能の一つである、図示しない学習処理部が行う。
【００４０】
第２判定モデルＤ２は、入力される画像が第１抽出画像１１ｃか第２抽出画像２１ｃかを判定して第２判定結果Ａ２を出力する。第２判定モデルＤ２は、第２判定結果Ａ２に基づき、入力される画像が第１抽出画像１１ｃか第２抽出画像２１ｃかを正しく判定するように学習する。一方、疑似画像生成モデルＧは、第２判定結果Ａ２に基づき、第２判定モデルＤ２が判定を間違えるように（第２判定モデルＤ２が、第１抽出画像１１ｃを第２抽出画像２１ｃであると誤って判定するように）学習する。
【００４１】
ここでこのように、入力される画像が第１抽出画像１１ｃか第２抽出画像２１ｃかを正しく判定するように第２判定モデルＤ２が学習することは、第２判定モデルＤ２が、第２抽出画像２１ｃに含まれている対象物の認識精度が高まる方向に学習していることに等しい。そのため、第２判定モデルＤ２の学習が進むにつれ対象物の認識精度が高まり、その結果、第１抽出画像１１ｃにノイズが含まれているか否かの判定精度が高められる。この
ように、第２判定モデルＤ２が高い精度で判定した第２判定結果Ａ２が疑似画像生成モデルＧの学習にフィードバックされ、その結果、疑似画像生成モデルＧは、物体の認識に際してノイズとなるような本来期待しない疑似第２ドメイン画像１１ｇを生成する可能性が低くなる方向に学習することになる。
【００４２】
図５は、図４に示した機械学習システム１の動作を説明する図であり、疑似画像生成モデルＧの学習が進んでいない段階における疑似画像生成モデルＧと第２判定モデルＤ２の動作を説明する図である。
【００４３】
同図に示すように、学習が進んでいない疑似画像生成モデルＧは、元の第１ドメイン画像１１にあった対象物を誤って消去した疑似第２ドメイン画像１１ｇを生成する。第２判定モデルＤ２は、第１抽出画像１１ｃや第２抽出画像２１ｃが、疑似第２ドメイン画像１１ｇであるか第２ドメイン画像２１であるかを正しく判定することができる。
【００４４】
図６は、図４に示した機械学習システム１の動作を説明する図であり、疑似画像生成モデルＧの学習が進んだ段階における疑似画像生成モデルＧと第２判定モデルＤ２の動作を説明する図である。
【００４５】
同図に示すように、学習が進んでいる疑似画像生成モデルＧは、元の第１ドメイン画像における対象物の情報を維持したまま疑似第２ドメイン画像１１ｇを生成する。第２判定モデルＤ２は、第１抽出画像１１ｃや第２抽出画像２１ｃが、疑似第２ドメイン画像１１ｇであるか第２ドメイン画像２１であるかを正しく判定することができない。
【００４６】
尚、図５及び図６に示した例は、画像抽出部Ｓが、元の画像（疑似第２ドメイン画像１１ｇまたは第２ドメイン画像２１）から「対象物が存在する領域」を抽出する場合であったが、画像抽出部Ｓが、元の画像から「対象物が存在しない領域」を抽出するようにしてもよい。そのようにすれば、疑似画像生成モデルＧが元の第１ドメイン画像１１に含まれていない対象物を、元の画像の「対象物が存在しない領域」に誤って描画した場合にも対応することができる。以下、その場合における機械学習システム１の構成について図面を参照しつつ説明する。
【００４７】
図７は、画像抽出部Ｓが、元の画像（疑似第２ドメイン画像１１ｇまたは第２ドメイン画像２１）から「対象物が存在しない領域」を抽出するようにした場合における、図４に示した機械学習システム１の動作を説明する図であり、疑似画像生成モデルＧの学習が進んでいない段階における疑似画像生成モデルＧと第２判定モデルＤ２の動作を説明する図である。
【００４８】
同図に示すように、学習が進んでいない疑似画像生成モデルＧは、元の第１ドメイン画像１１に存在しない対象物を誤って追加した疑似第２ドメイン画像１１ｇを生成する。第２判定モデルＤ２は、第１抽出画像１１ｃや第２抽出画像２１ｃが、疑似第２ドメイン画像１１ｇであるか第２ドメイン画像２１であるかを正しく判定することができる。
【００４９】
図８は、画像抽出部Ｓが、元の画像（疑似第２ドメイン画像１１ｇまたは第２ドメイン画像２１）から「対象物が存在しない領域」を抽出するようにした場合における、図４に示した機械学習システム１の動作を説明する図であり、疑似画像生成モデルＧの学習が進んだ段階における疑似画像生成モデルＧと第２判定モデルＤ２の動作を説明する図である。
【００５０】
同図に示すように、学習が進んでいる疑似画像生成モデルＧは、元の第１ドメイン画像１１における対象物の情報を維持したまま（対象物等を追加することなく）疑似第２ドメ
イン画像１１ｇを生成する。第２判定モデルＤ２は、疑似第２ドメイン画像１１ｇが疑似第２ドメイン画像であることを正しく判定することができない。
【００５１】
尚、以上では、画像抽出部Ｓが、元の画像（疑似第２ドメイン画像または第２ドメイン画像２１）から「対象物が存在する領域」を抽出する場合と、画像抽出部Ｓが「対象物が存在しない領域」を抽出する場合のいずれか一方のみを行う場合を説明したが、画像抽出部Ｓが、これらの双方を並行して行うようにしてもよい。
【００５２】
図９は、そのような構成とした機械学習システム１のブロック図である。同図に示すように、この機械学習システム１は、図４に示した機械学習システム１の構成に、画像抽出部Ｓが「対象物が存在しない領域」を抽出した抽出画像について判定を行う第３判定モデルＤ３を追加した構成になっている。機械学習システム１をこのような構成とすることで、疑似画像生成モデルＧはより高い精度で疑似第２ドメイン画像１１ｇを生成するようにすることができる。尚、疑似画像生成モデルＧや第１〜第３判定モデルＤ１〜Ｄ３の学習は、機械学習システム１が備える機能の一つである、図示しない学習処理部が行う。
【００５３】
追加した第３判定モデルＤ３は、第１領域情報１２で特定される領域（対象物が存在しない領域）を抽出した画像（以下、「第１抽出画像１１ｃ’」と称する。）か第２領域情報２２で特定される領域（対象物が存在しない領域）を抽出した画像（以下、「第２抽出画像２１ｃ’」と称する。）かを判定して第３判定結果Ａ３を出力する。第３判定モデルＤ３は、第３判定結果Ａ３に基づき、第１抽出画像１１ｃ’か第２抽出画像２１ｃ’かを正しく判定するように学習する。一方、疑似画像生成モデルＧは、第３判定結果に基づき、第３判定モデルＤ３が判定を間違えるように、即ち、第３判定モデルＤ３が、第１抽出画像１１ｃ’を第２抽出画像２１ｃ’であると誤って判定するように学習する。
【００５４】
このように、疑似画像生成モデルが、第１判定結果Ａ１に加えて、第２判定結果Ａ２と第３判定結果Ａ３とに基づき学習を行うので、物体の認識に際してノイズとなるような本来期待しない疑似第２ドメイン画像１１ｇを疑似画像生成モデルＧが生成してしまうのを確実に防ぎつつ、精度の高い疑似第２ドメイン画像１１ｇを生成するように、疑似画像生成モデルＧを効率よく学習させることができる。
【００５５】
図１０は、図１や図４、図９に示す構成を備えた機械学習システム１の実現に用いる情報処理装置（コンピュータ）のハードウェアの一例である。
【００５６】
同図に示すように、例示する情報処理装置１００は、プロセッサ１１０、主記憶装置１２０、補助記憶装置１３０、入力装置１４０、出力装置１５０、及び通信装置１６０を備える。これらは図示しないバス等の通信手段を介して互いに通信可能に接続されている。
【００５７】
尚、情報処理装置１００は、例えば、ロボットアーム（マニピュレータ）に実装されているマイクロコンピュータのように、当該機械学習システムが適用される他のシステムの一部を構成するものであってもよい。また情報処理装置１００は、例えば、クラウドシステムにより提供されるクラウドサーバのような仮想的な情報処理資源を用いて実現されるものであってもよい。
【００５８】
プロセッサ１１０は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）、ＡＩチップ等を用いて構成されている。
【００５９】
主記憶装置１２０は、プログラムやデータを記憶する装置であり、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、不揮発性メモリ（ＮＶＲＡＭ（No
n Volatile RAM））等である。
【００６０】
補助記憶装置１３０は、例えば、ハードディスクドライブ、ＳＳＤ（Solid State Drive）、光学式記憶装置（ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）等）
、ストレージシステム、ＩＣカード、ＳＤカードや光学式記録媒体等の記録媒体の読取／書込装置、クラウドサーバの記憶領域等である。補助記憶装置１３０には、記録媒体の読取装置や通信装置１６０を介してプログラムやデータを読み込むことができる。補助記憶装置１３０に記憶されているプログラムやデータは主記憶装置１２０に随時読み込まれる。
【００６１】
入力装置１４０は、外部からの入力を受け付けるインタフェースであり、例えば、キーボード、マウス、タッチパネル、カードリーダ、音声入力装置等である。
【００６２】
出力装置１５０は、処理経過や処理結果等の各種情報を出力するインタフェースである。出力装置１５０は、例えば、上記の各種情報を可視化する表示装置（液晶モニタ、ＬＣＤ（Liquid Crystal Display）、グラフィックカード等）、上記の各種情報を音声化する装置（音声出力装置（スピーカ等））、上記の各種情報を文字化する装置（印字装置等）である。尚、例えば、情報処理装置１００が通信装置１６０を介して他の装置との間で情報の入力や出力を行う構成としてもよい。
【００６３】
通信装置１６０は、他の装置との間の通信を実現する装置である。通信装置１６０は、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、インターネット等の通
信手段を介した他の装置との間の通信を実現する有線方式又は無線方式の通信インタフェースであり、例えば、ＮＩＣ（Network Interface Card）、無線通信モジュール、ＵＳＢ（Universal Serial Interface）モジュール、シリアル通信モジュール等である。
【００６４】
前述した疑似画像生成モデルＧ、選択入力部I、画像抽出部Ｓ、第１〜第３判定モデル
Ｄ１〜Ｄ３、及び図示しない学習処理部の機能は、例えば、情報処理装置１００のプロセッサ１１０が、主記憶装置１２０に格納されているプログラムを読み出して実行することにより実現される。
【００６５】
また主記憶装置１２０や補助記憶装置１３０は、疑似画像生成モデルＧや第１〜第３判定モデルＤ１〜Ｄ３を定義する各種パラメータ、第１ドメイン画像１１、疑似第２ドメイン画像１１ｇ、第１領域情報１２、第２領域情報２２、第１抽出画像１１ｃ、第２抽出画像２１ｃ、及び第１〜第３判定結果Ａ１〜Ａ３を記憶する。
【００６６】
以上詳細に説明したように、本実施形態の機械学習システム１によれば、疑似画像生成モデルが、第１判定結果Ａ１に加えて、第２判定結果Ａ２や第３判定結果Ａ３に基づき学習を行うので、物体の認識に際してノイズとなるような本来期待しない疑似第２ドメイン画像１１ｇを疑似画像生成モデルＧが生成してしまうのを防ぎつつ、精度の高い疑似第２ドメイン画像１１ｇを生成するように疑似画像生成モデルＧを効率よく学習させることができる。
【００６７】
また本実施形態の機械学習システム１によれば、学習データの準備に際してユーザはラベル付けや第１ドメイン画像１１と第２ドメイン画像２１との対応づけ等の煩雑な作業を行う必要がなく、疑似画像生成モデルの学習を効率よく行うことができる。
【００６８】
ところで、本発明は前述した実施形態に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。例えば、前述した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した
全ての構成を備えるものに本発明は限定されない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えてもよい。また、ある実施形態の構成に他の実施形態の構成を加えてもよい。また、各実施形態の構成の一部について、他の構成の追加、削除、又は置換をしてもよい。
【００６９】
前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。
【００７０】
各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、又は、ＩＣ（Integrated Circuit）カ
ード、ＳＤカード、ＤＶＤ（Digital Versatile Disc）の記録媒体に格納することができる。
【００７１】
制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。
【符号の説明】
【００７２】
１  機械学習システム
５  ドメイン変換システム
Ｇ  疑似画像生成モデル
Ｉ  選択入力部
Ｓ  画像抽出部
Ｄ１  第１判定モデル
Ｄ２  第２判定モデル
Ｄ３  第３判定モデル
１１１  第１ドメイン画像群
１１  第１ドメイン画像
１１ｇ  疑似第２ドメイン画像
１１ｃ  第１抽出画像
１２１  第１領域情報群
１２  第１領域情報
２１１  第２ドメイン画像群
２１  第２ドメイン画像
２１ｃ  第２抽出画像
２２１  第２領域情報群
２２  第２領域情報
Ａ１  第１判定結果
Ａ２  第２判定結果
Ａ３  第３判定結果
【図１】
2020095364.tif 000003
【図２】
2020095364.tif 000004
【図３】
2020095364.tif 000005
【図４】
2020095364.tif 000006
【図５】
2020095364.tif 000007
【図６】
2020095364.tif 000008
【図７】
2020095364.tif 000009
【図８】
2020095364.tif 000010
【図９】
2020095364.tif 000011
【図１０】
2020095364.tif 000012