(57)【要約】【課題】本発明は、トレーニング画像処理装置に用いるトレーニング装置とトレーニング方法及び画像処理装置を提供する。【解決手段】第一、第二画像処理ユニットをトレーニングするためのトレーニング装置は、所定特徴を有しない第一実画像を第一画像処理ユニットに入力し、第一画像処理により所定特徴を有する第一生成画像を生成し、所定特徴を有する第二実画像を第二画像処理ユニットに入力し、第二画像処理により所定特徴を有しない第二生成画像を生成するためのトレーニングユニット；及び、分類処理を行い、実画像と生成画像を区分するための分類ユニットを含む。トレーニングユニットは、さらに、実画像及び生成画像に基づいて分類ユニットに対してトレーニングを行う第一トレーニング処理を実行し、また、第一トレーニング処理のトレーニング結果に基づいて第一、第二画像処理ユニットに対してトレーニングを行う第二トレーニング処理を実行し、これにより、分類ユニットの分類の正確度を低減させる。【選択図】図２
2018097875.tif 000002
【特許請求の範囲】
【請求項１】
トレーニング画像処理装置に用いられ、第一画像ユニット及び第二画像処理ユニットをトレーニングするためのトレーニング装置であって、
所定特徴を有しない第一実画像を前記第一画像処理ユニットに入力し、前記第一画像処理ユニットの第一画像処理により、前記所定特徴を有する第一生成画像を生成し、また、前記所定特徴を有する第二実画像を前記第二画像処理ユニットに入力し、前記第二画像処理ユニットの第二画像処理により、前記所定特徴を有しない第二生成画像を生成するためのトレーニングユニット；及び
分類処理を行い、前記第一実画像及び前記第二実画像を含む実画像と、前記第一生成画像及び前記第二生成画像を含む生成画像とを区分するための分類ユニットを含み、
前記トレーニングユニットは、さらに、
前記実画像及び前記生成画像に基づいて前記分類ユニットに対してトレーニングを行う第一トレーニング処理を実行し、また、前記第一トレーニング処理のトレーニング結果に基づいて前記第一画像処理ユニット及び前記第二画像処理ユニットに対してトレーニングを行う第二トレーニング処理を実行し、前記分類ユニットの分類の正確度を低下させる、装置。
【請求項２】
請求項1に記載のトレーニング装置であって、
前記トレーニングユニットは、さらに、前記第一トレーニング処理及び前記第二トレーニング処理を、前記分類ユニットの分類の正確度が安定になるまで、交替で実行する、装置。
【請求項３】
請求項1に記載のトレーニング装置であって、
前記第一画像処理は、第一残差画像を生成する処理であり、前記第一生成画像は、前記第一実画像と前記第一残差画像との和であり、
前記第二画像処理は、第二残差画像を生成する処理であり、前記第二生成画像は、前記第二実画像と前記第二残差画像との和である、装置。
【請求項４】
請求項3に記載のトレーニング装置であって、
前記第一残差画像及び前記第二残差画像は、前記所定特徴のみに関連する、装置。
【請求項５】
請求項1に記載のトレーニング装置であって、
前記分類ユニットは、さらに、前記第一実画像及び前記第二実画像を区分する、装置。
【請求項６】
請求項1に記載のトレーニング装置であって、
前記第一画像処理ユニットは、さらに、第一画像処理を行うことで前記第二生成画像に基づいて第三生成画像を生成し、
前記第二画像処理ユニットは、さらに、第二画像処理を行うことで前記第一生成画像に基づいて第四生成画像を生成し、
前記トレーニングユニットは、さらに、前記第一実画像、前記第二実画像、前記第三生成画像及び前記第四生成画像を用いて前記第一画像処理ユニット及び前記第二画像処理ユニットに対してトレーニングを行う第三トレーニング処理を実行する、装置。
【請求項７】
請求項6に記載のトレーニング装置であって、
前記トレーニングユニットは、さらに、前記第一トレーニング処理、前記第二トレーニング処理及び前記第三トレーニング処理を、前記分類ユニットの分類の正確度が安定になるまで、交替で実行する、装置。
【請求項８】
請求項6に記載のトレーニング装置であって、
前記第三トレーニング処理は、前記第一実画像と前記第四生成画像との間の差異、及び前記第二実画像と前記第三生成画像との間の差異を用いて、前記第一画像処理ユニット及び前記第二画像処理ユニットに対してトレーニングを行う、装置。
【請求項９】
トレーニング画像処理装置に用いられ、第一画像ユニット及び第二画像処理ユニットをトレーニングするためのトレーニング方法であって、
所定特徴を有しない第一実画像を前記第一画像処理ユニットに入力し、前記第一画像処理ユニットの第一画像処理により、前記所定特徴を有する第一生成画像を生成し；
前記所定特徴を有する第二実画像を前記第二画像処理ユニットに入力し、前記第二画像処理ユニットの第二画像処理により、前記所定特徴を有しない第二生成画像を生成し；
分類処理を行い、前記第一実画像及び前記第二実画像を含む実画像と、前記第一生成画像及び前記第二生成画像を含む生成画像とを区分し；及び
前記実画像及び前記生成画像に基づいて前記分類処理に対してトレーニングを行う第一トレーニング処理を実行し、また、前記第一トレーニング処理のトレーニング結果に基づいて前記第一画像処理ユニット及び前記第二画像処理ユニットに対してトレーニングを行う第二トレーニング処理を実行し、前記分類処理の正確度を低減させることを含む、方法。
【請求項１０】
画像処理装置であって、
前記画像処理装置は、請求項1〜9のうちの任意の１項に記載の第一画像処理ユニット又は第二画像処理ユニットにより構成される、画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、トレーニング画像処理装置に用いるトレーニング装置とトレーニング方法及びその対応する画像処理装置に関する。
【背景技術】
【０００２】
人物顔画像への適切な修正により、人物顔画像に所定特徴を持たせ、又は、人物顔画像から所定特徴を削除すること、即ち、人物顔特徴への操作が良く行われている。例えば，メガネをかけた人物を含む人物顔画像からメガネを削除し、又は、人物顔画像中の人物にメガネをかけるなどの操作が良く行われている。人物顔画像に対しての修正は、人物顔画像中の所定特徴と関係のない他の領域に影響を与えず、人物顔画像の視覚的忠実度を保つ必要がある。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本開示の目的は、トレーニング画像処理装置に用いるトレーニング装置及びトレーニング方法を提供することにあり、本開示のトレーニング装置及びトレーニング方法によりトレーニングされた画像処理装置は、高い視覚的忠実度を保つとともに、画像中の所定特徴への操作を実現することができる。本開示のトレーニング装置及びトレーニング方法によりトレーニングされた画像処理装置は、特に、人物顔画像への処理に適用することで、人物顔画像中の所定特徴への操作を実現することができる。
【課題を解決するための手段】
【０００４】
本開示の目的を達成するために、本開示の一側面によれば、トレーニング画像処理装置に用いるトレーニング装置が提供され、それは、第一画像ユニット及び第二画像処理ユニットをトレーニングするために用いられ、前記トレーニング装置は、
所定特徴を有しない第一実画像（true  image；以下、同様）を第一画像処理ユニットに入力し、第一画像処理ユニットの第一画像処理により、所定特徴を有する第一生成画像を生成し、また、所定特徴を有する第二実画像を第二画像処理ユニットに入力し、第二画像処理ユニットの第二画像処理により、所定特徴を有しない第二生成画像を生成するトレーニングユニット；及び
分類処理を行い、第一実画像と第二実画像を含む実画像、及び、第一生成画像と第二生成画像を含む生成画像を区別する分類ユニットを含み、
レーニングユニットは、さらに、実画像及び生成画像に基づいて分類ユニットに対してトレーニングを行う第一トレーニング処理を行い、また、第一トレーニング処理のトレーニング結果に基づいて第一画像処理ユニット及び第二画像処理ユニットに対してトレーニングを行う第二トレーニング処理を行い、分類ユニットの分類の正確度を下げるように構成される。
【０００５】
本開示の他の側面によれば、トレーニング画像処理装置に用いるトレーニング方法が提供され、それは、第一画像ユニット及び第二画像処理ユニットをトレーニングするために用いられ、前記トレーニング方法は、
所定特徴を有しない第一実画像を第一画像処理ユニットに入力し、第一画像処理ユニットの第一画像処理により、所定特徴を有する第一生成画像を生成し、所定特徴を有する第二実画像を第二画像処理ユニットに入力し、第二画像処理ユニットの第二画像処理により、所定特徴を有しない第二生成画像を生成し；
分類処理を行い、第一実画像と第二実画像を含む実画像、及び、第一生成画像と第二生成画像を含む生成画像を区別し；及び
実画像及び生成画像に基づいて分類処理に対してトレーニングを行う第一トレーニング処理を行い、また、第一トレーニング処理のトレーニング結果に基づいて第一画像処理ユニット及び第二画像処理ユニットに対してトレーニングを行う第二トレーニング処理を行い、分類処理の正確度を下げることを含む。
【０００６】
本開示の他の側面によれば、さらに、本開示のトレーニング装置及びトレーニング方法によるトレーニングにより得られた画像処理装置が提供される。
【０００７】
本開示の他の側面によれば、さらに、上述のトレーニング方法を実現し得るコンピュータプログラムが提供される。また、さらに、少なくともコンピュータ可読媒体形式のコンピュータプログラムプロダクトが提供され、その中には、上述のトレーニング方法を実現するためのコンピュータプログラムコードが記憶されている。
【０００８】
本開示のトレーニング技術によりトレーニングされた画像処理装置は、画像に所定特徴を追加し、又は、画像から所定特徴を削除することができる。画像の他の特徴がほぼ変わらないまま、即ち、高い視覚的忠実度を保つとともに、画像の所定特徴への操作を実現することができる。また、本開示のトレーニング技術によりトレーニングされた画像処理装置が得た画像は、増加した画像データ、又は、前処理を経た画像データとして、他の応用に用いることができる。
【０００９】
特に、本開示のトレーニング技術によりトレーニングされた画像処理装置は、画像の高い視覚的忠実度を保つとともに、人物顔画像中の所定特徴への操作を実現することができる。
【図面の簡単な説明】
【００１０】
【図１】従来技術による敵対的トレーニング装置の構成図である。
【図２】本開示の実施例によるトレーニング装置の構成図である。
【図３】本開示の実施例によるトレーニング装置が行うトレーニング処理を示す図である。
【図４】本開示の実施例におけるペア連合学習を示す図である。
【図５】本開示の実施例によるトレーニング方法のフローチャートである。
【図６】本開示の実施例によるトレーニング技術を実現し得る汎用マシンの構成図である。
【発明を実施するための形態】
【００１１】
以下、添付した図面を参照しながら、本発明を実施するための好適な形態を詳細に説明する。なお、以下に開示の実施形態は、例示に過ぎず、本発明を限定するものでない。
【００１２】
本開示のトレーニング技術の思想は、機械学習分野における敵対的トレーニング（adversarial  training／AT）（敵対的学習（adversarial learning）とも称される）技術に基づくものである。図1は、従来技術による敵対的トレーニング装置100の構成図である。
【００１３】
図1に示すように、敵対的トレーニング装置100は、生成モデル（generative  model）G  101及び分類モデル（discriminative  model（識別／判別モデル））D  102を含む。生成モデルG  101は、実データ（true  data）としてのトレーニングサンプルを得て生成サンプルを生成する。分類モデルD  102は、二分類器と見なされても良く、トレーニングサンプルと生成サンプルを区分することができる。
【００１４】
敵対的トレーニング装置100のトレーニングプロセスでは、先ず、トレーニングサンプル、及び、生成モデルG  101がトレーニングサンプルに基づいて生成した生成サンプルを用いて、分類モデルD  102に対してトレーニングを行う。その後、分類モデルD  102に対してのトレーニングの結果に基づいて、生成モデルG  101に対してトレーニングを行う。そして、新しいトレーニングサンプルを用いて継続して上述のステップに従って交替で生成モデルG  101及び分類モデルD  102に対してトレーニングを行う。換言すると、G  101は、できれば、自分の出力がトレーニングサンプルに似るようにさせる必要があり、D  102は、できれば、トレーニングサンプルでないものを識別する必要がある。通常、分類モデルD  102の分類の正確度が安定状態に達した時に、トレーニングプロセスを終了する。
【００１５】
本開示は、画像処理装置に対してトレーニングを行うためのトレーニング技術を提案し、該トレーニング技術によりトレーニングされた画像処理装置は、画像の高い視覚的忠実度を保つまま、画像の所定特徴への操作を実現することができる。
【００１６】
図2は、本開示の実施例によるトレーニング装置200の構成図である。図3は、本開示の実施例によるトレーニング装置200が行うレーニング処理を示す図である。
【００１７】
トレーニング装置200は、第一画像処理ユニット10及び第二画像処理ユニット20に対してトレーニングを行うために用いられる。トレーニング装置200は、分類ユニット201及びトレーニングユニット202を含む。以下、第一画像処理ユニット10、第二画像処理ユニット20、分類ユニット201及びトレーニングユニット202についてそれぞれ詳細に説明する。
【００１８】
＜第一画像処理ユニット10及び第二画像処理ユニット20＞
第一画像処理ユニット10は、第一画像処理を行うことで、所定特徴を有しない第一実画像に基づいて、所定特徴を有する第一生成画像を生成することができる。第二画像処理ユニット20は、第二画像処理を行うことで、所定特徴を有する第二実画像に基づいて、所定特徴を有しない第二生成画像を生成することができる。
【００１９】
本開示の一実施例によれば、第一実画像及び第二実画像は、例えば、人物顔画像であっても良く、所定特徴は、例えば、ひげ、メガネ、笑みなどであっても良い。
【００２０】
１つの具体例として、図3に示すように、第一画像処理ユニット10に入力される第一実画像は、メガネなしの人物顔画像であり、第一画像処理ユニット10は、第一画像処理を行うことで、第一実画像にメガネを追加し、第一生成画像としてのメガネありの人物顔画像を生成することができる。
【００２１】
これに対して、図3に示すように、第二画像処理ユニット20に入力される第二実画像は、メガネありの人物顔画像であり、第二画像処理ユニット20は、第二画像処理を行うことで、第二実画像からメガネを削除し、第二生成画像としてのメガネなしの人物顔画像を生成することができる。
【００２２】
第一実画像及び第二実画像は、第一画像処理ユニット10及び第二画像処理ユニット20に入力される前に、既に、所定特徴を有する実画像と所定特徴を有しない実画像に分類されている。トレーニング装置200が第一画像処理ユニット10及び第二画像処理ユニット20に対してトレーニングを行う目的は、第一画像処理ユニット10及び第二画像処理ユニット20が生成した生成画像が高い視覚的忠実度を有するとともに、実画像中の所定特徴に対しての操作、例えば、実画像において所定特徴を追加し又は所定特徴を除去するような処理を実現し得るようにさせることにある。
【００２３】
なお、本開示によれば、第一実画像及び第二実画像としての人物顔画像について特に限定しない。換言すると、これらの人物顔画像は、任意のものであっても良く、第一画像処理ユニット10及び第二画像処理ユニット20に入力される前に、例えば、メガネのような所定特徴があるかどうかが確定されれば良い。また、必ずしも、所定特徴を有しない実画像及び所定特徴を有する実画像がペアのものであることを要しない。例えば、メガネをかけた人物顔画像中の人は、メガネをかけない人物顔画像中の人とは異なっても良い。
【００２４】
本開示の実施例によれば、第一画像処理ユニット10が実行する第一画像処理は、第一残差画像を生成する処理であっても良く、また、第一生成画像は、第一実画像と第一残差画像との和である。本開示の実施例によれば、第一残差画像は、所定特徴のみに関連しても良く、例えば、人物顔画像中のメガネのみに関連しても良い。第一残差画像は、所定特徴を有しない第一実画像と、所定特徴を有する第一生成画像との間の差である。
【００２５】
それに対応して、第二画像処理ユニット20が実行する第二画像処理は、第二残差画像を生成する処理であっても良く、また、第二生成画像は、第二実画像と第二残差画像との和である。第二残差画像は、所定特徴だけに関連しても良く、例えば、人物顔画像中のメガネだけに関連しても良い。第二残差画像は、所定特徴を有する第二実画像と、所定特徴を有しない第二生成画像との間の差である。
【００２６】
第一残差画像は、第二残差画像と互いに補い合うものであると理解されても良く、１つは、所定特徴を追加するために用いられ、もう１つは、所定特徴を除去するために用いられる。
【００２７】
例えば、図3に示すように、第一残差画像は、人物顔画像にメガネを追加するための画像である。よって、図3に示すように、第一実画像としてのメガネなしの人物顔画像と、メガネに関する第一残差画像との重ね合わせにより、第一生成画像としてのメガネありの人物顔画像を得ることができる。逆に、第二残差画像は、人物顔画像からメガネを削除するための画像である。よって、図3に示すように、第二実画像としてのメガネありの人物顔画像と、メガネに関する第二残差画像との重ね合わせにより、第二生成画像としてメガネなしの人物顔画像を得ることができる。
【００２８】
第一画像処理ユニット10及び第二画像処理ユニット20中で第一残差画像及び第二残差画像を使用する利点は、第一実画像及び第二実画像に対しての処理を、所定特徴に関連する領域のみに限定することができる。例えば、図3に示すように、第一残差画像及び第二残差画像は、メガネのみに関連し、言い換えれば、人物顔画像中の目の周囲の領域のみに関連するので、第一画像処理及び第二画像処理は、人物顔画像中の目の周囲の局所領域だけに対して行われても良い。このように、第一残差画像及び第二残差画像を採用することで、人物顔画像の他の特徴がほぼ変わらないまま、即ち、高い視覚的忠実度を維持するとともに、所定特徴に対しての人物顔画像を処理することができ、これにより、計算資源（リソース）を節約することができる。
【００２９】
本開示の実施例によれば、畳み込みニューラルネットワーク（Convolutional  Neural  Network、CNN）に基づいて第一画像処理ユニット10の第一画像処理及び第二画像処理ユニット20の第二画像処理を実現することができる。具体的には、畳み込みニューラルネットワークにより、第一画像処理ユニット10の第一残差画像及び第二画像処理ユニット20の第二残差画像を生成することができる。
【００３０】
以下、畳み込みニューラルネットワークについて簡単に紹介する。畳み込みニューラルネットワークは、フィードフォワードニューラルネットワークであり、画像及び語音処理分野に幅広く応用されている。畳み込みニューラルネットワークは、主に、３つの重要な特徴、即ち、受容野（receptive  field）、重み共有（weight  sharing）及びプーリング（pooling）に基づくものである。
【００３１】
畳み込みニューラルネットワークは、各神経元（セル）と、その隣接領域における神経元とが接続関係を有し、且つ互いに影響すると仮定する。受容野は、該隣接領域の大小（サイズ）を示す。また、畳み込みニューラルネットワークは、ある領域における神経元間の接続重みが全ての他の領域にも適用し、即ち、重みを共有すると仮定する。畳み込みニューラルネットワークのプーリングとは、畳み込みニューラルネットワークを分類問題に応用する時にアグリゲーション統計に基づいて行われる次元削減（dimensionality  reduction）操作を指す。
【００３２】
畳み込みニューラルネットワークを用いて第一画像処理及び第二画像処理を実現する場合、第一画像処理ユニット10及び第二画像処理ユニット20に対してのトレーニングは、第一画像処理及び第二画像処理を実現する畳み込みニューラルネットワークに対してのトレーニングである。
【００３３】
図3に示すように、例えば、「畳み込み−逆畳み込み」の構造を有する畳み込みニューラルネットワークを用いて、第一画像処理ユニット10が行う第一画像処理及び第二画像処理ユニット20が行う第二画像処理を実現することができ、即ち、第一残差画像及び第二残差画像を生成する。
【００３４】
本開示の実施例によれば、畳み込みニューラルネットワークを用いて、第一画像処理ユニット10及び第二画像処理ユニット20の第一画像処理及び第二画像処理を実現する場合、第一画像処理ユニット10及び第二画像処理ユニット20に対してトレーニングを行う時に、第一画像処理及び第二画像処理を実現する畳み込みニューラルネットワークの受容野、接続重み及びプーリング関数のうちの少なくともの１つを調節（調整）しても良い。
【００３５】
なお、畳み込みニューラルネットワークを用いて第一画像処理及び第二画像処理を実現する場合、第一画像処理ユニット10及び第二画像処理ユニット20に対してのトレーニングプロセスは、第一残差画像及び第二残差画像に対して調節を行うプロセスと見なされても良く、該トレーニングプロセスの目的は、高い視覚的忠実度を有する第一生成画像及び第二生成画像を生成することにある。
【００３６】
＜分類ユニット201＞
分類ユニット201は、分類処理を行うことで、第一実画像及び第二実画像を含む実画像と、第一生成画像及び第二生成画像を含む生成画像とを区分することができる。
【００３７】
換言すると、図3に示す例について、分類ユニット201は、第一実画像及び第二実画像としての真（true）の人物顔画像と、第一生成画像及び第二生成画像としての、第一画像処理ユニット10及び第二画像処理ユニット20が生成した人物顔画像とを区分することができる。
【００３８】
本開示の実施例によれば、分類ユニット201が実行する分類処理も、畳み込みニューラルネットワークに基づいて実現されても良い。分類処理を実現する畳み込みニューラルネットワークは、図3に示す畳み込み構造を有しても良い。この場合、分類ユニット201の分類処理を実現する畳み込みニューラルネットワークは、分類器と見なされても良い。
【００３９】
例えば、第一実画像及び第二実画像を含む実画像がタグ0を有し、第一生成画像及び第二生成画像を含む、第一画像処理ユニット10及び第二画像処理ユニット20が生成した生成画像がタグ1を有するように設定することができる。第一実画像、第二実画像、第一生成画像及び第二生成画像を含む画像を分類ユニット201に入力した時に、分類ユニット201は、0又は1を出力して、入力された画像が実画像であるか、それとも、第一画像処理ユニット10及び第二画像処理ユニット20が生成した生成画像であるかの区分結果を示すことができる。
【００４０】
本開示の実施例によれば、トレーニング装置200は、交替で、第一画像処理ユニット10及び第二画像処理ユニット20に対してのトレーニング、及び分類ユニット201に対してのトレーニングを行う。
【００４１】
分類ユニット201に対してトレーニングを行う目的は、分類ユニット201に、できるだけ正確に、第一実画像及び第二実画像を含む実画像と、第一生成画像及び第二生成画像を含む、第一画像処理ユニット10及び第二画像処理ユニット20が生成した生成画像とを区分させることにある。
【００４２】
本開示の実施例によれば、畳み込みニューラルネットワークを用いて分類ユニット201の分類処理を実現する場合、分類ユニット201に対してトレーニングを行う時に、分類処理を実現する畳み込みニューラルネットワークの受容野、接続重み及びプーリング関数のうちの少なくとも１つを調節しても良い。
【００４３】
本開示のもう１つの実施例によれば、分類ユニット201は、さらに、第一実画像と第二実画像とを区別することができる。
【００４４】
例えば、この場合、所定特徴を有しない第一実画像がタグ0を有し、所定特徴を有する第二実画像がタグ1を有し、且つ第一画像処理ユニット10及び第二画像処理ユニット20が生成した第一生成画像及び第二生成画像がタグ2を有するように設定しても良い。
【００４５】
この場合、図3に示すように、分類ユニット201は、0、1又は2を出力して、それぞれ、入力された画像が所定特徴を有しない第一実画像であるか、所定特徴を有する第二実画像であるか、又は、第一画像処理ユニット10又は第二画像処理ユニット20が生成した第一生成画像又は第二生成画像であるかを示すことができる。
【００４６】
＜トレーニングユニット202＞
トレーニングユニット202は、第一実画像と第二実画像、及び第一画像処理ユニット10と第二画像処理ユニット20が生成した第一生成画像と第二生成画像に基づいて、分類ユニット201に対してトレーニングを行う第一トレーニング処理を実行し、また、第一トレーニング処理のトレーニング結果に基づいて、第一画像処理ユニット10及び第二画像処理ユニット20に対してトレーニングを行う第二トレーニング処理を実行し、これにより、分類ユニット201の分類の正確度を下げることができる。
【００４７】
トレーニングユニット202が行うトレーニングプロセスの思想は、敵対的トレーニング技術によるものである。具体的には、第一画像処理ユニット10及び第二画像処理ユニット20が一方とされ、分類ユニット201が他方とされ、双方は、敵対的トレーニングを行う。一方では、実画像及び生成画像に基づいて分類ユニット201に対してトレーニングを行う第一トレーニング処理の目的は、分類ユニット201が実画像と生成画像を正確に区分し得るようにさせることにある。
【００４８】
逆に、他方では、分類ユニット201の第一トレーニング処理のトレーニング結果に基づいて、第一画像処理ユニット10の第一画像処理及び第二画像処理ユニット20の第二画像処理に対して第二トレーニング処理を行う目的は、できるだけ、分類ユニット201が実画像と生成画像を区別できないようにさせることにある。
【００４９】
本開示の実施例によれば、トレーニングユニット202は、第一トレーニング処理及び第二トレーニング処理を、分類ユニット201の分類の正確度が安定になるまで、交替で行うことができる。
【００５０】
具体的には、トレーニングプロセスでは、先ず、第一実画像及び第二実画像をそれぞれ第一画像処理ユニット10及び第二画像処理ユニット20に入力して第一生成画像及び第二生成画像を生成し、その後、第一実画像及び第二実画像と、第一生成画像及び第二生成画像とを用いて、分類ユニット201に対して第一トレーニング処理を行う。
【００５１】
畳み込みニューラルネットワークを用いて分類ユニット201を実現する場合、分類ユニット201に対してのトレーニングは、分類ユニット201の分類処理を実現する畳み込みニューラルネットワークの受容野、接続重み及びプーリング関数のうちの少なくともの１つを調節することにより行われ、トレーニングの目的は、できるだけ、分類ユニット201の分類の正確度を上げ、即ち、分類ユニット201を実現する畳み込みニューラルネットワークの損失関数を最小化させる。
【００５２】
その後、分類ユニット201の第一トレーニング処理のトレーニング結果に基づいて、第一画像処理ユニット10及び第二画像処理ユニット20に対して第二トレーニング処理を行う。
【００５３】
畳み込みニューラルネットワークを用いて第一画像処理ユニット10、第二画像処理ユニット20及び分類ユニット201を実現する場合、第一トレーニング処理のトレーニング結果に基づいて第一画像処理ユニット10及び第二画像処理ユニット20に対して第二トレーニング処理を行う原理は、第一画像処理ユニット10及び第二画像処理ユニット20が損失関数を有せず、分類ユニット201が損失関数を有し、分類ユニット201の損失関数が分類ユニット201の分類の正確度を反映し得るということにある。理想の場合、損失関数はゼロであり、それ相応に、分類の正確度は、最も高い。
【００５４】
よって、最急降下法（gradient  descent  method）により、分類ユニット201のトレーニング結果に基づいて、第一画像処理ユニット10及び第二画像処理ユニット20に対してトレーニングを行っても良い。具体的には、分類ユニット201の損失関数が、分類ユニット201の入力としての生成画像による貢献を含むので、分類ユニット201の損失関数の生成画像に対しての勾配を計算し、該勾配に基づいて第一画像処理ユニット10及び第二画像処理ユニット20に対してトレーニングを行うことができる。
【００５５】
畳み込みニューラルネットワークを用いて第一画像処理ユニット10の第一画像処理及び第二画像処理ユニット20の第二画像処理を実現する場合、第一画像処理ユニット10及び第二画像処理ユニット20に対してのトレーニングは、第一画像処理及び第二画像処理を実現する畳み込みニューラルネットワークの受容野、接続重み及びプーリング関数のうちの少なくともの１つを調節することにより行われ、トレーニングの目的は、できるだけ、分類ユニット201の分類の正確度を下げ、即ち、分類処理を実現する畳み込みニューラルネットワークの損失関数を大きくさせる。
【００５６】
この点で、畳み込みニューラルネットワークを用いて第一画像処理ユニット10、第二画像処理ユニット20及び分類ユニット201を実現する場合、第一画像処理、第二画像処理及び分類処理を実現する畳み込みニューラルネットワークに対してのトレーニングは、すべて、分類処理を実現する畳み込みニューラルネットワークの損失関数に基づいて行われる。
【００５７】
上述のトレーニングプロセスは、１つのトレーニングステップと見なされても良く、その後、新しい第一実画像及び第二実画像を用いて、上述のトレーニングステップを繰り返しても良い。
【００５８】
なお、第一実画像及び第二実画像を含む実画像は、循環使用されて、第一画像処理ユニット10、第二画像処理ユニット20及び分類ユニット201に対してトレーニングを行っても良い。例えば、レーニングサンプルとしての実画像を若干組に分け、第一組の実画像から、トレーニングステップを実行する度に、新しい一組の実画像を使用し、このような処理を、実画像がなくなるまで行っても良い。その後、再び第一組の実画像から、上述のトレーニングプロセスを、予期するトレーニング効果に達するまで繰り返すことができる。
【００５９】
トレーニングが完成したかどうかを判断する条件は、具体的な応用に応じて確定される。例えば、トレーニング開始時に、第一画像処理ユニット10及び第二画像処理ユニット20がトレーニングされていないので、得られた生成画像と実画像との間の差異は、比較的大きい。よって、分類ユニット201に対しての第一トレーニング処理は、比較的良いトレーニング効果を得ることができ、即ち、分類の正確度が比較的高い。第一画像処理ユニット10及び第二画像処理ユニット20の第二トレーニング処理の進行に伴い、比較的良い生成画像を得ることができる。よって、分類ユニット201の分類の正確度は、それに伴って低下する。通常、上述のようなトレーニングステップの複数回の反復後に、分類ユニット201の分類の正確度は、安定な状態に達することができる。この時に、トレーニングを終了しても良い。例えば、各トレーニングステップ終了後に、現在の分類の正確度と、この前の若干回のトレーニングステップ終了後の分類の正確度とを比較し、互いの間の差異が所定範囲内にあれば、トレーニングを終了しても良い。
【００６０】
また、さらに人為的に具体的なトレーニング回数を設定しても良い。
【００６１】
本開示のもう１つの実施例によれば、第一画像処理ユニット10は、さらに、第一画像処理を行うことで第二生成画像に基づいて第三生成画像を生成し、また、第二画像処理ユニット20は、さらに、第二画像処理を行うことで前記第一生成画像に基づいて第四生成画像を生成することができる。トレーニングユニット202は、さらに、第一実画像、第二実画像、第三生成画像及び第四生成画像を用いて第一画像処理ユニット10及び第二画像処理ユニット20に対してトレーニングを行う第三トレーニング処理を実行することができる。第三トレーニング処理は、「対（ペア）連合学習」（Paired-Associate  Learning／PAL）とも称される。
【００６２】
図4は、本開示の実施例によるペア連合学習を示す図である。
【００６３】
第二生成画像は、所定特徴を有しない画像であるため、第一画像処理ユニットの第一画像処理により、所定特徴が再び追加され、これにより、所定特徴を有する第三生成画像を得ることができる。同様に、第一生成画像は、所定特徴を有する画像であるので、第二画像処理ユニットの第二画像処理により、所定特徴が再び消去され、これにより、所定特徴を有しない第四生成画像を得ることができる。
【００６４】
例えば、図4に示すように、第一画像処理ユニット10が生成したメガネありの人物顔画像は、第二画像処理ユニット20に入力されて、メガネなしの人物顔画像を生成し、第二画像処理ユニット20が生成したメガネ無しの人物顔画像は、第一画像処理ユニット10に入力されて、メガネありの人物顔画像を生成することができる。
【００６５】
理想の場合、第三生成画像は、第二実画像と同じであるはずであり、第四生成画像は、第一実画像と同じであるはずである。よって、本開示の一実施例によれば、第三トレーニング処理は、第一実画像と第四生成画像との間の差異、及び第二実画像と第三生成画像との間の差異に基づいて、第一画像処理ユニット10及び第二画像処理ユニット20に対してトレーニングを行う。
【００６６】
本開示の一実施例によれば、トレーニングユニット202は、順に、第一トレーニング処理、第二トレーニング処理及び第三トレーニング処理を繰り返して実行しても良い。しかし、本開示は、これに限定されない。トレーニングユニット202は、若干回の第一トレーニング処理及び第二トレーニング処理を行った後に、一回の第三トレーニング処理を行っても良い。或いは、第一、第二トレーニング処理及び第三トレーニング処理は、任意の回数及び順序で組み合わせることもできる。
【００６７】
第一実画像、第二実画像、第三生成画像及び第四生成画像を用いて第一画像処理ユニット10及び第二画像処理ユニット20に対してトレーニングを行うことで、第一画像処理ユニット10及び第二画像処理ユニット10のトレーニング速度を加速し、また、第一画像処理及び第二画像処理の処理効果を向上させることができる。
【００６８】
レーニング装置200の上述のようなトレーニングプロセスにより、第一画像処理ユニット10及び第二画像処理ユニット20は、所定特徴に対しての画像操作を実現することができ、また、高い視覚的忠実度を維持することもできる。また、本開示の実施例により、トレーニングされた第一画像処理ユニット10又は第二画像処理ユニット20は、画像中の所定特徴に対して操作を行うための画像処理装置を構成することができる。
【００６９】
以下、図5に基づいて本開示のトレーニング画像処理装置に用いるトレーニング方法を説明する。図5は、本開示の実施例によるトレーニング方法500のフローチャートである。
【００７０】
図5に示すトレーニング方法500は、ステップS501で始まる。その後、ステップS502では、所定特徴を有しない第一実画像を第一画像処理ユニットに入力し、第一画像処理ユニットの第一画像処理により、所定特徴を有する第一生成画像を生成する。例えば、図2をもとに説明された第一画像処理ユニット10の処理によりステップS502を実現することができるので、ここでは、その詳しい説明を省略する。
【００７１】
ステップS503は、ステップS502と並列に実行することができる。ステップ503では、所定特徴を有する第二実画像を第二画像処理ユニットに入力し、第二画像処理ユニットの第二画像処理により、所定特徴を有しない第二生成画像を生成する。例えば、図2に基づいて説明された第二画像処理ユニット20の処理によりステップS503を実現することができるため、ここでは、その詳しい説明を省略する。
【００７２】
その後、方法500は、ステップS504に移行する。ステップ504では、分類処理を行い、第一実画像と第二実画像を含む実画像、及び第一生成画像と第二生成画像を含む生成画像を区別する。例えば、図2をもとに説明された分類ユニット201の処理によりステップS504を実現することができるので、ここでは、その詳しい説明を省略する。
【００７３】
その後、方法500は、ステップS505に移行する。ステップS505では、実画像と生成画像とに基づいて分類処理に対してトレーニングを行う第一トレーニング処理を実行し、且つ、第一トレーニング処理のトレーニング結果に基づいて第一画像処理ユニット及び第二画像処理ユニットに対してトレーニングを行う第二トレーニング処理を実行する。例えば、図2に基づいて説明されたトレーニングユニット202の処理によりステップS505を実現することができるため、ここでは、その詳しい説明を省略する。
【００７４】
本開示の一実施例によれば、ステップS505では、さらに、第一トレーニング処理及び第二トレーニング処理を、分類処理の分類の正確度が安定になるまで、交替で実行することもできる。
【００７５】
また、本開示の一実施例によれば、ステップS505では、さらに、上述の図4に基づいて説明された、第一実画像、第二実画像、第三生成画像及び第四生成画像を用いて、第一画像処理ユニット及び第二画像処理ユニットに対してトレーニングを行う第三トレーニング処理を実行しても良い。
【００７６】
画像処理方法500は、ステップS506で終了する。
【００７７】
本開示の実施例による画像処理方法500は、上述の時間順序に従って実行することに限定されず、他の時間順序に従って、並列に、又は、独立して実行されても良い。よって、本明細書に記載の画像処理方法の執行順序は、本開示の技術的範囲を限定しない。
【００７８】
例えば、ステップS502は、ステップS503の前に実行されても良く、ステップS503の後に実行されても良い。
【００７９】
また、本開示の上述した具体例についての記載では、人物顔画像処理の特定の応用に基づいて本開示の画像処理技術を説明した。しかし、本開示による画像処理技術は、人物顔画像処理に限定されない。明らかのように、当業者は、本開示の内容に基づいて、本開示の画像処理技術を他の画像処理分野の実施に応用することができる。
【００８０】
図6は、図5の本開示の実施例によるトレーニング方法500を実現し得る汎用マシン600の構造図である。汎用マシン600は、例えば、コンピュータシステムであっても良い。なお、汎用マシン600は、例示に過ぎず、本開示の方法及び装置の使用範囲又は機能を限定するものでない。
【００８１】
図6に示すように、中央処理ユニット（ＣＰＵ）601が、リードオンリーメモリ（ＲＯＭ）602に記憶されているプログラム、又は、記憶部608からランダムアクセスメモリ（ＲＡＭ）603にロードされているプログラムに基づいて各種の処理を行う。ＲＡＭ603は、ニーズに応じて、ＣＰＵ601が各種の処理などを実行するときに必要なデータを記憶しても良い。ＣＰＵ601、ＲＯＭ602及びＲＡＭ603は、バス604を経由して互いに接続される。また、入力／出力インターフェース605もバス604に接続される。
【００８２】
入力／出力インターフェース605には、入力部606（キーボードやマウスなどを含む）、出力部607（表示器、例えばＣＲＴ、ＬＣＤ、スピーカーなどを含む）、記憶部608（ハードディスクなどを含む）、及び通信部609（ネットワーク接続カード、例えばＬＡＮカード、モデムなどを含む）が接続される。通信部609は、ネットワーク、例えばインターネットを経由して通信処理を行う。また、ドライブ610がニーズに応じて入力／出力インターフェース605に接続されても良い。また、ニーズに応じて、取り外し可能な媒体611、例えば磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどをドライブ610にセットすることにより、その中から読み出したコンピュータプログラムを記憶部608にインストールしても良い。
【００８３】
ソフトウェアにより上述の処理を実現する場合は、ネットワーク、例えばインターネット、又は記憶媒体、例えば取り外し可能な媒体611から、このソフトウェアを構成するプログラムをインストールしても良い。
【００８４】
なお、当業者が理解すべきは、このような記憶媒体は、その中にプログラムが記憶されており、ユーザにプログラムを提供するように装置と独立して配られる図6に示すような取り外し可能な媒体611に限定されないということである。取り外し可能な媒体611の例としては、磁気ディスク（フロッピーディスク（登録商標）を含む）、光ディスク（ＣＤ−ＲＯＭ及びＤＶＤを含む）、光磁気ディスク（ＭＤ（登録商標）を含む）、及び半導体メモリを含む。或いは、記憶媒体はＲＯＭ602、記憶部608に含まれるハードディスクなどであってもよく、それらにはプログラムが記憶されており、且つそれらを含む装置とともにユーザに配られても良い。
【００８５】
また、本開示は、マシン（例えば、コンピュータ）読取可能な命令コードからなるプログラムプロダクトにも関する。この命令コードは、マシンに読み取られて実行される時に、上述の実施例による方法を実行することができる。
【００８６】
さらに、上述のマシン読取可能な命令コードからなるプログラムプロダクトを記憶している記憶媒体も本開示に含まれている。このような記憶媒体は、磁気ディスク（フロッピーディスク）、光ディスク、光磁気ディスク、メモリカード、メモリスティックなどを含むが、これらに限定されない。
【００８７】
本開示の上述の実施例による方法は、明細書に記載の又は図面に図示の時間順序に従って実行することに限定されず、他の時間順序に従って、並列に又は独立して実行しても良い。よって、本明細書又は図面に記載の方法の実行順序は、本開示の技術の範囲を限定しない。
【００８８】
また、もちろん、本開示の上述の方法の各処理プロセスは、各種のマシン可読記憶媒体に保存されたコンピュータ実行可能なプログラムの方式により実現されても良い。
【００８９】
また、本開示の目的は、上述の実行可能なプログラムコードを記憶している記憶媒体を直接又は間接にシステム又は装置に提供し、且つ、該システム又は装置中のコンピュータ又は中央処理ユニット（CPU）が上述のプログラムコードを読み出して実行させる方式で実現されても良い。
【００９０】
また、該システム又は装置はプログラムを実行する機能を有すれば、本開示の実施方式はプログラムに限定されず、また、該プログラムは他の任意の形式、例えば、オブジェクトプログラム、インタープリター実行用プログラム、又は、オペレーティングシステム操作システムに提供するスクリプトプログラムなどであっても良い。
【００９１】
上述のマシン可読記憶媒体は、各種の記憶装置及び記憶ユニット、半導体装置、ディスユニット例えば光、磁気及び光磁気ディス、及び他の任意の使用可能な情報記憶媒体などであっても良い。
【００９２】
また、クライントコンピュータが、インターネットに接続されている所定のウェブサイトを経由して、本開示の上述の実施例によるコンピュータプログラムコードをダウンロードし、コンピュータにインストールした後に、該プログラムを実行することにより、本開示を実現することもできる。
【００９３】
また、以上の複数の実施例に関し、さらに、次のような付記も開示する。
【００９４】
（付記1）
トレーニング画像処理装置に用いられ、第一画像ユニット及び第二画像処理ユニットをトレーニングするためのトレーニング装置であって、
所定特徴を有しない第一実画像を前記第一画像処理ユニットに入力し、前記第一画像処理ユニットの第一画像処理により、前記所定特徴を有する第一生成画像を生成し、また、前記所定特徴を有する第二実画像を前記第二画像処理ユニットに入力し、前記第二画像処理ユニットの第二画像処理により、前記所定特徴を有しない第二生成画像を生成するためのトレーニングユニット；及び
分類処理を行い、前記第一実画像及び前記第二実画像を含む実画像、及び前記第一生成画像及び前記第二生成画像を含む生成画像を区別するための分類ユニットを含み、
トレーニングユニットは、さらに、
前記実画像及び前記生成画像に基づいて前記分類ユニットに対してトレーニングを行う第一トレーニング処理を実行し、また、前記第一トレーニング処理のトレーニング結果に基づいて前記第一画像処理ユニット及び前記第二画像処理ユニットに対してトレーニングを行う第二トレーニング処理を実行し、前記分類ユニットの分類の正確度を低下させる、装置。
【００９５】
（付記2）
付記1に記載のトレーニング装置であって、
前記トレーニングユニットは、さらに、前記第一トレーニング処理及び前記第二トレーニング処理を、前記分類ユニットの分類の正確度が安定になるまで、交替で実行する、装置。
【００９６】
（付記3）
付記1に記載のトレーニング装置であって、
前記第一画像処理は、第一残差画像を生成する処理であり、前記第一生成画像は、前記第一実画像と前記第一残差画像との和であり、
前記第二画像処理は、第二残差画像を生成する処理であり、前記第二生成画像は、前記第二実画像と前記第二残差画像との和である、装置。
【００９７】
（付記4）
付記3に記載のトレーニング装置であって、
前記第一残差画像及び前記第二残差画像は、前記所定特徴のみに関連する、装置。
【００９８】
（付記5）
付記1に記載のトレーニング装置であって、
前記分類ユニットは、さらに、前記第一実画像及び前記第二実画像を区別することができる、装置。
【００９９】
（付記6）
付記1に記載のトレーニング装置であって、
前記第一画像処理ユニットは、さらに、第一画像処理を実行することで前記第二生成画像に基づいて第三生成画像を生成し、
前記第二画像処理ユニットは、さらに、第二画像処理を実行することで前記第一生成画像に基づいて第四生成画像を生成し、
前記トレーニングユニットは、さらに、前記第一実画像、前記第二実画像、前記第三生成画像及び前記第四生成画像を用いて前記第一画像処理ユニット及び前記第二画像処理ユニットに対してトレーニングを行う第三トレーニング処理を実行する、装置。
【０１００】
（付記7）
付記6に記載のトレーニング装置であって、
前記トレーニングユニットは、さらに、前記第一トレーニング処理、前記第二トレーニング処理及び前記第三トレーニング処理を、前記分類ユニットの分類の正確度が安定になるまで、交替で実行する、装置。
【０１０１】
（付記8）
付記6に記載のトレーニング装置であって、
前記第三トレーニング処理は、前記第一実画像と前記第四生成画像との間の差異、及び前記第二実画像と前記第三生成画像との間の差異を用いて、前記第一画像処理ユニット及び前記第二画像処理ユニットに対してトレーニングを行う、装置。
【０１０２】
（付記9）
付記1に記載のトレーニング装置であって、
前記第一画像処理及び前記第二画像処理は、畳み込みニューラルネットワークにより実現され、前記第一画像処理ユニット及び前記第二画像処理ユニットに対してのトレーニングは、畳み込みニューラルネットワークの受容野、接続重み及びプーリング関数のうちの少なくとも１つを調節することにより実現される、装置。
【０１０３】
（付記10）
付記1に記載のトレーニング装置であって、
前記分類処理は、畳み込みニューラルネットワークにより実現され、前記分類ユニットに対してのトレーニングは、畳み込みニューラルネットワークの受容野、接続重み及びプーリング関数のうちの少なくとも１つを調節することにより実現される、装置。
【０１０４】
（付記11）
付記1に記載のトレーニング装置であって、
前記第一実画像及び前記第二実画像は、人物顔画像であり、前記所定特徴は、ひげ、メガネ及び笑みのうちの少なくとも１つである、装置。
【０１０５】
（付記12）
トレーニング画像処理装置に用いられ、第一画像ユニット及び第二画像処理ユニットをトレーニングするためのトレーニング方法であって、
所定特徴を有しない第一実画像を前記第一画像処理ユニットに入力し、前記第一画像処理ユニットの第一画像処理により、前記所定特徴を有する第一生成画像を生成し；
前記所定特徴を有する第二実画像を前記第二画像処理ユニットに入力し、前記第二画像処理ユニットの第二画像処理により、前記所定特徴を有しない第二生成画像を生成し；
分類処理を行い、前記第一実画像及び前記第二実画像を含む実画像、及び前記第一生成画像及び前記第二生成画像を含む生成画像を区別し；及び
前記実画像及び前記生成画像に基づいて前記分類処理に対してトレーニングを行う第一トレーニング処理を実行し、また、前記第一トレーニング処理のトレーニング結果に基づいて前記第一画像処理ユニット及び前記第二画像処理ユニットに対してトレーニングを行う第二トレーニング処理を実行し、前記分類処理の正確度を低下させることを含む。方法。
【０１０６】
（付記13）
付記12に記載のトレーニング方法であって、
前記第一トレーニング処理及び前記第二トレーニング処理は、前記分類処理の分類の正確度が安定になるまで、交替で実行される、方法。
【０１０７】
（付記14）
付記12に記載のトレーニング方法であって、
前記第一画像処理は、第一残差画像を生成する処理であり、前記第一生成画像は、前記第一実画像と前記第一残差画像との和であり、
前記第二画像処理は、第二残差画像を生成する処理であり、前記第二生成画像は、前記第二実画像と前記第二残差画像との和である、方法。
【０１０８】
（付記15）
付記14に記載のトレーニング方法であって、
前記第一残差画像及び前記第二残差画像は、前記所定特徴のみに関連する、方法。
【０１０９】
（付記16）
付記12に記載のトレーニング方法であって、
前記分類処理は、さらに、前記第一実画像及び前記第二実画像を区分することができる、方法。
【０１１０】
（付記17）
付記12に記載のトレーニング方法であって、
前記第一画像処理ユニットは、さらに、第一画像処理を実行することで前記第二生成画像に基づいて第三生成画像を生成し、
前記第二画像処理ユニットは、さらに、第二画像処理を実行することで前記第一生成画像に基づいて第四生成画像を生成し、
前記トレーニング方法は、さらに、前記第一実画像、前記第二実画像、前記第三生成画像及び前記第四生成画像を用いて、前記第一画像処理ユニット及び前記第二画像処理ユニットに対してトレーニングを行う第三トレーニング処理を実行することを含む、方法。
【０１１１】
（付記18）
付記17に記載のトレーニング方法であって、
前記第一トレーニング処理、前記第二トレーニング処理及び前記第三トレーニング処理は、前記分類処理の分類の正確度が安定になるまで、交替で実行される、方法。
【０１１２】
（付記19）
付記17に記載のトレーニング方法であって、
前記第三トレーニング処理は、前記第一実画像と前記第四生成画像との間の差異、及び前記第二実画像と前記第三生成画像との間の差異を用いて、前記第一画像処理ユニット及び前記第二画像処理ユニットに対してトレーニングを行う、方法。
【０１１３】
（付記20）
画像処理装置であって、
前記画像処理装置は、付記1〜11のうちの任意の１項に記載の第一画像処理ユニット又は第二画像処理ユニットにより構成される、装置。
【０１１４】
以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の技術的範囲に属する。
【図１】
2018097875.tif 000003
【図２】
2018097875.tif 000004
【図３】
2018097875.tif 000005
【図４】
2018097875.tif 000006
【図５】
2018097875.tif 000007
【図６】
2018097875.tif 000008