(57)【要約】      （修正有）【課題】画像現実感の画像予測のための予測器と、予測器を使用した画像の空間的現実マップを製作する方法を提供する。【解決手段】画像内のオブジェクトの現実感を予測するための方法は、所定のオブジェクトタイプのための訓練画像セットを生成することを含む。訓練画像セットは、コンピュータを使用して少なくとも部分的に生成された１つ以上の訓練画像を含む。画素レベル訓練空間的現実感マップが、１つ以上の訓練画像の各訓練画像に対して生成される。各訓練空間的現実感マップは、対応する訓練画像の知覚的な現実感を表すように構成されている。予測器は、訓練画像セット及び対応する訓練空間的現実感マップを使用して訓練される。所定のオブジェクトの画像が受信される。受信した画像の空間的現実感マップは、訓練された予測器を使用して製作される。【選択図】図１
2020109627.tif 000002
【特許請求の範囲】
【請求項１】
画像内のオブジェクトの現実感を予測するための方法であって、
所定のオブジェクトタイプのための訓練画像セットを生成することであって、前記訓練画像セットが、コンピュータを使用して少なくとも部分的に生成された１つ以上の訓練画像を含む、生成することと、
前記１つ以上の訓練画像の各訓練画像のために画素レベル訓練空間的現実感マップを生成することであって、各訓練空間的現実感マップは、対応する訓練画像の知覚的現実感を表すように構成されている、生成することと、
前記訓練画像セット及び前記対応する訓練空間的現実感マップを使用して予測器を訓練することと、
前記所定のオブジェクトの画像を受信することと、
前記訓練された予測器を使用して、前記受信した画像の空間的現実感マップを製作することと、を含む、方法。
【請求項２】
前記所定のオブジェクトのための訓練画像を生成することが、自然画像の少なくとも一部分を歪めることを含み、前記対応する空間的現実感マップが、前記画像の前記歪み部分における低い現実感スコアと、非歪み部分における高い現実感スコアとを有するように定義される、請求項１に記載の方法。
【請求項３】
前記自然画像の少なくとも一部分を歪めることが、前記自然画像の少なくとも前記一部分を、コンピュータ生成画像の対応する部分と交換して、組み合わせた画像を作成することを含む、請求項２に記載の方法。
【請求項４】
前記自然画像と前記コンピュータ生成部分とを滑らかに混合させることを更に含む、請求項３に記載の方法。
【請求項５】
前記所定のオブジェクトのための訓練画像セット及び空間的現実感マップセットを生成することが、
前記訓練画像セットの各訓練画像をユーザに提示することと、
前記ユーザから前記訓練画像の注釈付けを受信することと、
前記受信された注釈付けに基づいて画素レベル空間的現実感マップを生成することと、を含む、請求項１に記載の方法。
【請求項６】
前記注釈付けが、前記ユーザにとって非現実的に見える前記画像内の１つ以上のマークされた領域を含む、請求項５に記載の方法。
【請求項７】
前記注釈付けが、境界多角形、円、及び楕円のうちの１つ以上を含む、請求項６に記載の方法。
【請求項８】
訓練画像セットを生成することが、ディープ畳み込み敵対的生成ネットワーク、自己注意型敵対的生成ネットワーク（ｓｅｌｆ−ａｔｔｅｎｔｉｏｎ  ｇｅｎｅｒａｔｉｖｅ  ａｄｖｅｒｓａｒｉａｌ  ｎｅｔｗｏｒｋ、ＳＡＧＡＮ）、及び境界平衡型敵対的生成ネットワーク（ｂｏｕｎｄａｒｙ  ｅｑｕｉｌｉｂｒｉｕｍ  ｇｅｎｅｒａｔｉｖｅ  ａｄｖｅｒｓａｒｉａｌ  ｎｅｔｗｏｒｋ、ＢＥＧＡＮ）のうちの１つ以上を使用して、前記訓練画像セットを生成することを含む、請求項１に記載の方法。
【請求項９】
前記所定のオブジェクトが、人間の顔面である、請求項１に記載の方法。
【請求項１０】
前記予測器が、ディープ畳み込みニューラルネットワークとして実装される、請求項１に記載の方法。
【請求項１１】
前記予測器が、Ｕ−Ｎｅｔディープニューラルネットワークとして実装される、請求項１に記載の方法。
【請求項１２】
画像現実感予測器であって、
プロセッサと、
コンピュータプログラム命令を記憶するメモリであって、前記コンピュータプログラム命令が、前記プロセッサによって実行されると、前記プロセッサに、
所定のオブジェクトタイプのための訓練画像セットを生成することであって、前記訓練画像セットが、コンピュータを使用して少なくとも部分的に生成された１つ以上の訓練画像を含む、生成することと、
前記１つ以上の訓練画像の各訓練画像のために画素レベル訓練空間的現実感マップを生成することであって、各訓練空間的現実感マップが、対応する訓練画像の知覚的現実感をマッピングするように構成されている、生成することと、
前記訓練画像セット及び前記対応する訓練空間的現実感マップを使用して、予測器を訓練することと、
前記所定のオブジェクトの画像を受信することと、
前記訓練された予測器を使用して、前記受信した画像の空間的現実感マップを製作することと、を含む動作を実行させる、メモリと、を備える、画像現実感予測器。
【請求項１３】
前記所定のオブジェクトのための訓練画像を生成することが、自然画像の少なくとも一部分を歪ませることを含み、前記対応する空間的現実感マップが、前記画像の前記歪み部分における低い現実感スコアと、非歪み部分における高い現実感スコアとを有するように定義される、請求項１２に記載の画像現実感予測器。
【請求項１４】
前記自然画像の少なくとも一部分を歪めることが、前記自然画像の少なくとも一部分を、コンピュータ生成画像の対応する部分と交換して、組み合わせた画像を作成することを含む、請求項１３に記載の画像現実感予測器。
【請求項１５】
前記プロセッサが、前記自然画像と前記コンピュータ生成部分とを混合させるように構成されている、請求項１４に記載の画像現実感予測器。
【請求項１６】
前記所定のオブジェクトのための訓練画像セット及び空間的現実感マップセットを生成することが、
前記訓練画像セットの各訓練画像をユーザに提示することと、
前記ユーザから前記訓練画像の注釈付けを受信することと、
前記受信された注釈付けに基づいて画素レベル空間的現実感マップを生成することと、を含む、請求項１２に記載の画像現実感予測器。
【請求項１７】
前記注釈付けが、前記ユーザにとって非現実的に見える前記画像内の１つ以上のマークされた領域を含む、請求項１６に記載の画像現実感予測器。
【請求項１８】
前記注釈付けが、境界多角形、円、及び楕円のうちの１つ以上を含む、請求項１７に記載の画像現実感予測器。
【請求項１９】
前記プロセッサが、ディープ畳み込み敵対的生成ネットワーク、自己注意型敵対的生成ネットワーク（ＳＡＧＡＮ）、及び境界平衡型敵対的生成ネットワーク（ＢＥＧＡＮ）のうちの１つ以上を使用して、前記訓練画像セットを生成するように構成されている、請求項１２に記載の画像現実感予測器。
【請求項２０】
画像の空間的現実感マップを生成するためのシステムであって、
所定のオブジェクトタイプの画像を受信するように構成された受信機と、
前記画像の画素レベル空間的現実感マップを生成するように構成されたプロセッサと、
前記空間的現実感マップを表示するように構成されたディスプレイを含むユーザインターフェースと、を備える、システム。
【請求項２１】
前記ユーザインターフェースが、ユーザからの入力を受信するように構成されたユーザ入力デバイスを含む、請求項２０に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理、具体的には、画像現実感の画像予測に関する。
【０００２】
画像合成は、長い間、娯楽、画像修復、画像ベースのレンダリングにおける多くのアプリケーションと共に、及びコンピュータビジョンアルゴリズムを訓練及び検証する手段として、重要な研究の話題であった。
【０００３】
本明細書に記載される実施形態は、画像内のオブジェクトの現実感を予測するための方法を含む。所定のオブジェクトタイプのための訓練画像セットが生成される。訓練画像セットは、コンピュータを使用して少なくとも部分的に生成された１つ以上の訓練画像を含む。画素レベル訓練空間的現実感マップが、１つ以上の訓練画像の各訓練画像に対して生成される。各訓練空間的現実感マップは、対応する訓練画像の知覚的な現実感を表すように構成されている。予測器は、訓練画像セット及び対応する訓練空間的現実感マップを使用して訓練される。所定のオブジェクトの画像が受信される。受信した画像の空間的現実感マップは、訓練された予測器を使用して製作される。
【０００４】
本明細書に記載される実施形態は、プロセッサと、プロセッサによって実行されるとプロセッサに動作を実行させるコンピュータプログラム命令を記憶するメモリと、を備える画像現実感予測器を含む。その動作は、所定のオブジェクトタイプのための訓練画像セットを生成することを含み、訓練画像セットは、コンピュータを使用して少なくとも部分的に生成された１つ以上の訓練画像を含む。画素レベル訓練空間的現実感マップが、１つ以上の訓練画像の各訓練画像に対して生成される。各訓練空間的現実感マップは、対応する訓練画像の知覚的な現実感を表すように構成されている。予測器は、訓練画像セット及び対応する訓練空間的現実感マップを使用して訓練される。所定のオブジェクトの画像が受信される。受信した画像の空間的現実感マップは、訓練された予測器を使用して製作される。
【０００５】
本明細書に記載される実施形態は、画像の空間的現実感マップを生成するためのシステムを含む。受信機は、所定のオブジェクトタイプの画像を受信するように構成されている。プロセッサは、画像の画素レベル空間的現実感マップを生成するように構成されている。システムは、空間的現実感マップを表示するように構成されたディスプレイを含むユーザインターフェースを含む。
【図面の簡単な説明】
【０００６】
【図１】本明細書に記載される実施形態に従って、所定のオブジェクトの空間的現実感マップを製作するためのプロセスを示す。
【図２】本明細書に記載される実施形態に従って、自動化プロセスを使用して空間的現実感マップを作成するためのプロセスを示す。
【図３】本明細書に記載される実施形態に従って、自動化プロセスを使用して訓練画像及び対応する空間的現実感マップを作成することのより詳細な例示を示す。
【図４】本明細書に記載される実施形態に従って、空間的現実感マップを作成するための例示的な自動化プロセスを示す。
【図５】本明細書に記載される実施形態に従って、少なくとも部分的に手動プロセスを使用して空間的現実感マップを作成するプロセスを示す。
【図６Ａ】本明細書に記載される実施形態に従って、訓練画像を注釈付けるための例示的なグラフィカルユーザインターフェースを示す。
【図６Ｂ】本明細書に記載される実施形態に従って、訓練画像を注釈付けるための例示的なグラフィカルユーザインターフェースを示す。
【図７】本明細書に記載される実施形態を実装することができるシステムのブロック図を示す。
【図８】本明細書に記載される実施形態に従って、顔面現実感予測器の例示的なネットワークアーキテクチャを示す。
【発明を実施するための形態】
【０００７】
近年、敵対的生成ネットワーク（ｇｅｎｅｒａｔｉｖｅ  ａｄｖｅｒｓａｒｉａｌ  ｎｅｔｗｏｒｋ、ＧＡＮ）は、画像合成のための普及した手段となっている。標準的なＧＡＮの最適化は、統計的測定、すなわち、生成された画像の、特徴空間内の入力訓練サンプルから推定された確率分布への適合性に基づく。同様に、ＧＡＮ性能を評価するために使用される測定はまた、インセプションスコア（Ｉｎｃｅｐｔｉｏｎ  Ｓｃｏｒｅ）及びフレシェ・インセプション距離（Ｆｒｅｃｈｅｔ  Ｉｎｃｅｐｔｉｏｎ  Ｄｉｓｔａｎｃｅ）を含む例に統計的に基づく。純粋に統計的なアプローチの問題は、空間的形状などの画像の意味論的に重要な特性を無視する可能性があることである。人間の顔面の画像の合成において、例えば、ＧＡＮ最適化では顔面の対称性又は自然性を明示的に符号化又は評価しない。したがって、ＧＡＮ出力は、高いインセプションスコアを生成することができるが、知覚的に歪んで及び／又は不自然に見える。
【０００８】
画像品質又は現実感を評価するための標準的な技術の他の欠点は、ＧＡＮ測定が、画像全体にわたって集約される単一値のメトリクスであること、及び全般的な知覚的品質又は意味論的完全性に向けて重要な寄与因子であり得る特定の局所領域を強調しないことである。画像が現実的か又は偽物であるかどうかを判定することを課される典型的なＧＡＮ内の選別器は、この部類に入る。画像が（通常、人間によって）評価される機構及び目的物は、ＧＡＮ合成画像によるものと根本的に異なる。したがって、純粋にＧＡＮ技術を使用した画像の知覚的現実感を決定することは困難であり得る。本明細書に記載される実施形態は、入力画像を受信し、空間的現実感「ヒートマップ」を出力する画像現実感予測器の訓練及び適用を含み、ここで、ヒートマップ上の所与の空間領域内の高い値は、その領域が現実的な外観であることを示し、低い値は、その領域が非現実的な外観であることを示す。本明細書における用語「画像現実感」は、シーン又はオブジェクトを正確に、かつ真に迫った手法で表現する画像の品質を指す。いくつかの実施形態では、予測器は、ディープ畳み込みニューラルネットワークとして実装される。本明細書に記載される実施形態は、あらゆるタイプのシーンコンテンツに適用可能であるが、実施例は、人間の顔面の画像の現実感を予測するための方法を記載する。ディープ顔面現実感予測器ネットワークの訓練は、コンピュータ生成顔面画像と、対応するグランドトゥルース予測マップとを含むデータセットを必要とする。合成画像は容易に生成されるが、予測マップを取得することは些細ではない。本明細書に記載される様々な実施形態によれば、空間的に局所化された様式でコンピュータ生成画像の知覚的現実感を予測する方法を使用して、特定のオブジェクトの画像の現実感を決定することができる。
【０００９】
図１は、本明細書に記載される実施形態に従って、所定のオブジェクトの空間的現実感マップを製作するためのプロセスを示す。所定のオブジェクトタイプのための訓練画像セットを生成する１１０。所定のオブジェクトタイプは、任意のタイプのオブジェクトを含むことができる。例えば、所定のオブジェクトタイプは、人間の顔面、動物、自動車、及び電子機器のうちの１つ以上を含んでもよい。様々な実施形態によれば、訓練画像セットの１つ以上の訓練画像は、敵対的生成ネットワーク（ＧＡＮ）のうちの１つ以上を使用して作成される。例えば、訓練画像は、ディープ畳み込みＧＡＮ（ｄｅｅｐ  ｃｏｎｖｏｌｕｔｉｏｎａｌ  ＧＡＮ、ＤＣＧＡＮ）、自己注意型ＧＡＮ（ｓｅｌｆ−ａｔｔｅｎｔｉｏｎ  ＧＡＮ、ＳＡＧＡＮ）、及び／又は境界平衡型ＧＡＮ（ｂｏｕｎｄａｒｙ  ｅｑｕｉｌｉｂｒｉｕｍ  ＧＡＮ、ＢＥＧＡＮ）のうちの１つ以上を使用して作成することができる。訓練画像セットの訓練画像のうちの１つ以上は、少なくとも部分的にコンピュータ生成される。訓練空間的現実感マップを、訓練画像セットの各訓練画像のために生成する１２０。様々な実施態様によれば、空間的現実感マップは、画素レベル空間的現実感マップである。場合によっては、各空間的現実感マップは、それぞれの訓練画像の知覚的現実感をマッピングするように構成される。
【００１０】
予測器を、訓練画像セット及びそれぞれの訓練空間的現実感マップを使用して訓練する１３０。予測器は、例えば、Ｕ−Ｎｅｔなどのディープ畳み込みニューラルネットワークとして実装されてもよい。所定のオブジェクトタイプのユーザ画像を受信する１４０。ユーザ画像の空間的現実感マップを、訓練された予測器を使用して製作する１５０。本明細書に記載される画像現実感予測器は、ＧＡＮ出力の最終品質メトリックとして使用されるだけでなく、例えば、最適化中にＧＡＮの損失関数に先立って差別化可能な意味論として組み込まれてもよい。
【００１１】
訓練画像及び対応する訓練空間的現実感マップは、様々な手法で作成することができる。図２は、本明細書に記載される実施形態に従って、自動化プロセスを使用して空間的現実感マップを作成するためのプロセスを示す。様々な実施態様によれば、訓練画像セットの訓練画像を作成することは、自然画像の少なくとも一部分を歪ませることを含む。場合によっては、対応する空間的現実感マップは、画像の歪み部分における低い現実感スコアと、画像の非歪み部分における高い現実感スコアとを有するように定義される。様々な実施形態によれば、自然画像の少なくとも一部分を歪めることは、自然画像の少なくとも一部分を、コンピュータ生成画像の対応する部分と交換すること２１０を含む。様々な構成によれば、自然画像は、例えば、人間の顔面の自然画像を含む。交換部分は、画像の眼領域を含んでもよい。自然画像とコンピュータ生成部分との間の境界は、混合されてもよい２２０。訓練空間的現実感マップは、交換部分に基づいて自動的に生成され２３０、そのため、交換部分は、低い現実感スコアでマークされ、非変更領域は、高いスコアでマークされる。
【００１２】
図３は、本明細書に記載される実施形態に従って、自動化プロセスを使用して訓練画像及び対応する訓練空間的現実感マップを作成することのより詳細な説明を示す。所定のオブジェクトタイプの自然画像は、データベースから取得される３１０。様々な構成によれば、自然画像は、訓練画像の作成時にユーザインターフェースを使用してアップロードされる。画像ランドマークが、自然画像に対して検出される３２０。人間の顔面の例を使用して、検出され得るランドマークとしては、目、眉毛、額、頬、鼻、口、及び顎が挙げられる。交換領域は、検出された画像ランドマークに基づいてマークされる３３０。場合によっては、システムは、訓練画像セットの各自然画像に使用するランドマークをランダムに選択する。様々な構成によれば、同じ画像ランドマークが、訓練画像セットの自然画像のそれぞれに対して選択される。
【００１３】
所定のオブジェクトタイプのコンピュータ生成画像は、例えば、ＤＣＧａｎを使用して作成される３１５。コンピュータ生成画像のランドマークが検出される３２５。自然画像のマークされた交換領域に対応するコンピュータ生成画像の交換領域が抽出される３３５。自然画像の処理及びコンピュータ生成画像の処理は、直列又は並列で行われてもよい。コンピュータ生成画像の抽出された交換領域は、自然画像に交換される３４０。一例として、自然画像の左目が、コンピュータ生成画像の左目と交換されてもよい。場合によっては、自然画像の２つ以上の部分が、コンピュータ生成画像の対応する部分と交換されてもよい。次いで、自然画像の交換部分は、非現実的（例えば、現実感値０）として自動的に注釈付けられ、一方で、画像の残りは、現実的（例えば、現実感値１）としてマークされる。
【００１４】
視覚的に自然かつシームレスな交換を生じさせるために、新たに挿入された合成画像領域を、ガウシアンぼかし及び／又は色補正を使用して元の画像に滑らかに混合してもよい。そのような場合、空間的現実感マップは、ローパスフィルタを介して処理され、現実的なものからコンピュータ生成領域への滑らかな移行を作り出す。空間的現実感マップは、データベース３５０内に記憶され、訓練画像と関連付けられる。図４に示されるプロセスは、訓練画像のセット及び対応する訓練空間的現実感マップを作成するために使用されてもよい。現実感予測器のための大きな訓練データセットを組み立てるために、画像は、現実的なもの及びコンピュータ生成源の両方からランダムに描かれ、交換領域もまた、ランダムに選択される。
【００１５】
図４は、本明細書に記載される実施形態に従って、空間的現実感マップを作成するための例示的な自動化プロセスを示す。人間の顔面の自然画像は、ユーザから及び／又はデータベースから受信される。人間の顔面のコンピュータ生成画像４２０が作成される。コンピュータ生成画像の一部分は、自然画像の対応する部分４５０と交換され、訓練画像４４０をもたらす。画素レベル空間的現実感マップ４３０が作成され、交換部分４３５を示す。交換部分４３５は、低いスコアを与えられ、それゆえ、訓練空間的現実感マップ４３０上で黒く見える。画像の非交換部分は、比較的高いスコアを受け取り、空間的現実感マップ４３０上で白く見える。
【００１６】
図５は、本明細書に記載される実施形態に従って、少なくとも部分的に手動のプロセスを使用して空間的現実感マップを作成するプロセスを示す。訓練画像セットの少なくとも１つの訓練画像は、ユーザインターフェースを介してユーザに提示される５１０。注釈付き訓練画像は、ユーザから受信され５２０、ユーザにとって非現実的な訓練画像の任意の部分を示す。様々な実施形態によれば、注釈付けは、境界多角形、円、及び／又は楕円のうちの１つ以上を含む。空間的現実感マップは、注釈付き訓練画像に基づいて生成される５３０。場合によっては、ユーザは、訓練画像のどの部分も非現実的ではないと判定し得る。この場合、対応する空間的現実感マップは、訓練画像のどの部分も非現実的ではないことを示す。本明細書に記載される実施形態は、訓練画像セットを作成することが自動化プロセス又は手動プロセスを含むことを記載するが、訓練画像セットの訓練画像の第１の部分が自動化プロセスを使用することによって作成され得、かつ訓練画像の第２の部分が手動プロセスを使用することによって作成され得ることを理解されたい。場合によっては、自動化アプローチは、セット内の訓練画像の全て又は一部のための手動アプローチに加えて使用される。
【００１７】
図６Ａ及び図６Ｂは、本明細書に記載される実施形態に従って、訓練画像を注釈付けるための例示的なグラフィカルユーザインターフェースを示す。図６Ａは、訓練画像セットの訓練画像６４５を示す。様々な構成によれば、訓練画像は、少なくとも部分的にコンピュータ生成される。場合によっては、訓練画像は、完全にコンピュータ生成される。インターフェースは、訓練画像セットの画像番号６０５を示す。ユーザは、グラフィックツールを用いて、ユーザにとって視覚的に非現実的に見える訓練画像６４５の領域を特定するように求められる。ユーザは、注釈付けボタン６１０を使用して画像を注釈付けるよう選択することができる。ユーザが注釈付き画像に満足しない場合、ユーザは、リセットボタン６１５を使用して、注釈付けをリセットすることができる。ユーザは、１つ以上の注釈付け見本を見るために、見本ボタン６３５を選択することができる。任意選択的に、ユーザはコメントフィールド６４０を使用して、訓練画像６４５と関連付けられる任意のコメントを入力することができる。ユーザは、前ボタン６２０を選択して、前の訓練画像に戻って見ることを選択することができる。ユーザが訓練画像６４５の注釈付けを完了すると、ユーザは、次ボタン６３０を選択することによって次の訓練画像に進むことができる。ユーザは、保存及び退出ボタン６２５を選択して、プログラムを退出することができる。
【００１８】
図６Ｂは、本明細書に記載の実施形態に従って、図６Ａに示される訓練画像６４５の例示的なユーザ注釈付けを示す。ユーザが注釈付けボタン６５５を選択すると、ユーザは、訓練画像６４５の領域６９５を選択することができる。注釈付き訓練画像を使用して、訓練画像の空間的現実感マップを作成する。空間的現実感マップは、自動化プロセスに関連して上述した空間的現実感マップと同様であってもよい。訓練画像の注釈付き領域は、０などの低い値を割り当てられ得、残りの領域は、１などの高い値を割り当てられる。場合によっては、空間的現実感マップは二値マップではなく、３つ以上の値が、空間的現実感マップを作成するために使用されてもよい。これらの場合、ユーザは、画像の注釈付き部分の異なる領域に対して現実感スコア（例えば、０〜１０）を与えるように求められてもよい。様々な構成によれば、各画像は、複数のユーザによって注釈付けられ、結果は、観察者間変動を考慮するために組み合わされる（例えば、平均化される）。
【００１９】
上記の方法は、周知のコンピュータプロセッサ、メモリユニット、記憶デバイス、コンピュータソフトウェア、及び他の構成要素を使用してコンピュータ上に実装することができる。このようなコンピュータの高レベルブロック図を図７に示す。コンピュータ７００は、プロセッサ７１０を含み、プロセッサ７１０は、コンピュータ７００の全体的な動作を、そのような動作を定義するコンピュータプログラム命令を実行することによって、制御する。コンピュータプログラム命令は、記憶デバイス７２０（例えば、磁気ディスク）内に記憶されてもよく、コンピュータプログラム命令の実行が所望されるときにメモリ７３０にロードされてもよい。したがって、本明細書に記載される方法のステップは、メモリ７３０内に記憶され、かつコンピュータプログラム命令を実行するプロセッサ７１０によって制御されるコンピュータプログラム命令によって定義され得る。コンピュータ７００は、ネットワークを介して他のデバイスと通信するための１つ以上のネットワークインターフェース７５０を含んでもよい。コンピュータ７００はまた、コンピュータ７００とのユーザ対話を可能にするユーザインターフェース７６０を含む。ユーザインターフェース７６０は、ユーザがコンピュータと対話することを可能にするために、Ｉ／Ｏデバイス７６２（例えば、キーボード、マウス、スピーカ、ボタンなど）を含んでもよい。このような入力／出力デバイス７６２は、本明細書に記載される実施形態に従って、画像を注釈付けるための注釈付けツールとして、コンピュータプログラムのセットと共に使用されてもよい。ユーザインターフェースはまた、画像及び空間的現実感マップをユーザに表示するためのディスプレイ７６４を含む。コンピュータはまた、ユーザインターフェース７６０から又は記憶デバイス７２０から画像を受信するように構成された受信機７１５を含んでもよい。様々な実施形態によれば、図７は、例示目的のためのコンピュータの可能な構成要素の高レベル表現であり、コンピュータは、他の構成要素を含んでもよい。
【００２０】
実施例
本明細書に記載の自動領域交換アプローチを使用して訓練したプロトタイプ顔面現実感予測器を実施した。顔面画像をＣｅｌｅｂＡデータセット（Ｚ．Ｌｉｕ、Ｐ．Ｌｕｏ、ａ．Ｘ．Ｗａｎｇ、及びＸ．Ｔａｎｇ、Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ（ＩＣＣＶ）、２０１５における「Ｄｅｅｐ  Ｌｅａｒｎｉｎｇ  Ｆａｃｅ  Ａｔｔｒｉｂｕｔｅｓ  ｉｎ  ｔｈｅ  Ｗｉｌｄ」を参照）からランダムに描画して、ランダム領域を、同様にＣｅｌｅｂＡ上で訓練した、ＤＣＧＡＮ顔面生成器の合成出力から抽出した対応する領域に置き換えた。歪みの様々な度合いをシミュレートするために、ＤＣＧＡＮ訓練における異なるエポックからの合成画像を取得した。３０，０００個の画像及び顔面現実感マップのデータセットを生成し、Ｕ−Ｎｅｔ顔面現実感予測器を訓練するように使用した。Ｕ−Ｎｅｔネットワークアーキテクチャを図８に示す。他のニューラルネットワークが使用されてもよい。
【００２１】
実施された実施形態と元のＵ−Ｎｅｔ実施態様との間の相違は、以下のとおりである。
１．画像を対応する逆畳み込み特徴マップに連結しながら画像をトリミングする代わりに、元の特徴マップサイズをその連結に使用した。この場合において、出力予測マップのサイズは入力画像のものと同じである。
２．入力画像を訓練及び試験のために１２８＊１２８にサイズ変更した。
３．二値マスクをグランドトゥルースとして使用する代わりに、画像への交換領域の滑らかな混合を示す、滑らかにされた連続値マスクを使用した。
４．ソフトマックスを使用する代わりに、シグモイドを最後の層に使用した。
５．Ｕ−Ｎｅｔのバイパス接続を無効化した。
【００２２】
Ａｄａｍオプティマイザを使用し、０．０５の減衰で初期学習率を０．０００１に設定した。１００個のエポックを二値交差エントロピーで訓練した。最終的な訓練損失は、０．０４近くに到達した。この結果は、非現実的な領域がネットワークによって非常に正確に予測されたことを示す。最終的なＤＩＣＥセグメンテーションオーバーラップ係数は、訓練サンプルについて０．８８であり、独立した９００個の試験サンプルセットについて０．８３であった。
【００２３】
別途指示されない限り、本明細書及び特許請求の範囲で使用される特徴サイズ、量、及び物理的特性を表す全ての数は、全ての場合において、用語「約」によって修飾されるものとして理解されたい。したがって、反対に指示されない限り、前述の明細書及び添付の特許請求の範囲に規定される数値パラメータは、本明細書に開示される教示を利用して当業者が得ようとする所望の特性に応じて変化し得る近似値である。端点による数値範囲の使用は、その範囲内の全ての数（例えば、１〜５は、１、１．５、２、２．７５、３、３．８０、４、及び５を含む）、及びその範囲内の任意の範囲を含む。
【００２４】
上記の様々な実施形態は、特定の結果を提供するように相互作用する回路及び／又はソフトウェアモジュールを使用して実装されてもよい。コンピュータ技術分野の当業者は、当該技術分野において一般的に既知の知識を使用して、モジュールレベルで又は全体としてのいずれかで、かかる記載した機能を容易に実施することができる。例えば、本明細書に示されるフローチャートは、プロセッサによる実行のためのコンピュータ可読命令／コードを作成するために使用されてもよい。このような命令は、コンピュータ可読媒体上に記憶され、当該技術分野において既知のように実行するためにプロセッサに転送されてもよい。上掲の構造及び手順は、上記したようなインクジェット噴出器の診断を容易にするために使用することができる実施形態の代表的な例に過ぎない。
【図１】
2020109627.tif 000003
【図２】
2020109627.tif 000004
【図３】
2020109627.tif 000005
【図４】
2020109627.tif 000006
【図５】
2020109627.tif 000007
【図６Ａ】
2020109627.tif 000008
【図６Ｂ】
2020109627.tif 000009
【図７】
2020109627.tif 000010
【図８】
2020109627.tif 000011