(57)【要約】【課題】欠損領域に対してコンプリーション処理を行った画像において、欠損領域内外における見た目の違和感を低減させること。【解決手段】欠損領域を含む領域と類似した類似領域を探索する際に使用される参照画像を記憶する参照画像記憶部に記憶されている参照画像から、複数の特徴量組に基づいて欠損領域を含む領域と類似した類似領域を特徴量組毎に選択し、類似領域を用いて、原画像における欠損領域に対してコンプリーション処理を行うことによって第１画像を特徴量組毎に生成するコンプリーション処理部と、原画像及び第１画像における欠損領域に該当する領域に集まる視線量の比を特徴量組毎に算出し、視線量の比を用いて第１画像の自然さの評価結果である評価値を特徴量組毎に算出する評価部と、特徴量組毎の第１画像の中から欠損領域内外における見た目の違和感が最も少ない第１画像を選定する選定部と、を備える画像生成装置。【選択図】図１
2016206777.tif 000002
【特許請求の範囲】
【請求項１】
欠損領域の除去対象の原画像と前記欠損領域を示すマスク情報とに基づいて前記原画像から前記欠損領域の画像を除去することによって第１画像を生成する画像生成装置であって、
前記欠損領域を含む領域と類似した類似領域を探索する際に使用される参照画像を記憶する参照画像記憶部に記憶されている前記参照画像から、予め定められた複数の特徴量組に基づいて前記欠損領域を含む領域と類似した類似領域を前記特徴量組毎に選択し、選択した前記類似領域を用いて、前記原画像における前記欠損領域に対してコンプリーション処理を行うことによって前記第１画像を前記特徴量組毎に生成するコンプリーション処理部と、
前記原画像及び前記第１画像における前記欠損領域に該当する領域に集まる視線量の比を前記特徴量組毎に算出し、算出した前記視線量の比を用いて前記第１画像の自然さの評価結果である評価値を前記特徴量組毎に算出する評価部と、
前記評価値に基づいて前記特徴量組毎の前記第１画像の中から前記欠損領域内外における見た目の違和感が最も少ない前記第１画像を選定する選定部と、
を備える画像生成装置。
【請求項２】
前記評価部において前記評価値を算出する際に用いる前記原画像及び前記第１画像中の注意を引く領域である注視領域に対して所定の重みが画素毎に設定された注視領域画像を生成する注視領域画像生成部をさらに備え、
前記評価部は、前記原画像及び前記第１画像それぞれにおいて主観評価による推定法によって推定された視線量に応じて予め定められた画素値が画素毎に算出された注視領域分布を生成し、前記注視領域分布の前記欠損領域に該当する領域に含まれる画素に対して、前記画素と同じ場所に位置する前記注視領域画像の前記欠損領域に該当する領域に含まれる画素を乗算し、前記注視領域分布の前記欠損領域に該当する領域に含まれる画素と、前記注視領域画像の前記欠損領域に該当する領域に含まれる画素との総和を算出することによって、前記原画像及び前記第１画像それぞれの前記欠損領域における重み付け後の値を算出し、算出した前記第１画像の前記欠損領域における重み付け後の値を前記原画像の前記欠損領域における重み付け後の値で除算することによって前記視線量の比を算出する、請求項１に記載の画像生成装置。
【請求項３】
欠損領域の除去対象の原画像と前記欠損領域を示すマスク情報とに基づいて前記原画像から前記欠損領域の画像を除去することによって第１画像を生成する画像生成装置であって、
前記欠損領域を含む領域と類似した類似領域を探索する際に使用される参照画像を記憶する参照画像記憶部に記憶されている前記参照画像から、コンプリーション処理に用いるパラメータである、予め定められた複数のパラメータ組に含まれる特徴量に基づいて前記欠損領域を含む領域と類似した類似領域を前記パラメータ組毎に選択し、選択した前記類似領域を用いて、前記原画像における前記欠損領域に対してコンプリーション処理を行うことによって前記第１画像を前記パラメータ組毎に生成するコンプリーション処理部と、
前記原画像及び前記第１画像における前記欠損領域に該当する領域に集まる視線量の比を前記パラメータ組毎に算出し、算出した前記視線量の比を用いて前記第１画像の自然さの評価結果である評価値を前記パラメータ組毎に算出する評価部と、
前記評価値に基づいて、前記コンプリーション処理部において前記欠損領域内外における見た目の違和感が最も少ない前記第１画像を生成するための最適パラメータとして、前記評価値を最小化する前記パラメータ組を選定する選定部と、
を備え、
前記コンプリーション処理部は、選定された前記最適パラメータを用いて前記原画像に対してコンプリーション処理を行うことによって前記第１画像を生成する画像生成装置。
【請求項４】
請求項１から３のいずれか一項に記載の画像生成装置としてコンピュータを機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像生成装置及びコンピュータプログラムに関する。
【背景技術】
【０００２】
写真などの静止画像や映像などの動画像を撮影する際に、撮影したい被写体に被さって不要なものを撮影してしまうことがある。被写体に被さった不要なものが撮影された静止画像や動画像は視聴の体感品質を大きく損なってしまうおそれがあり、静止画像や動画像に含まれる不要なものを見た目に違和感なく除去する手法に対する需要は極めて高い。
【０００３】
また、自由視点映像合成と呼ばれる技術では、複数のカメラで撮影された映像群から任意の視点からの画像を合成する。このとき、オブジェクトによる遮蔽などが原因で、合成された任意の視点からの映像の一部が欠損してしまうことがある。このような欠損も画像の視聴の体感品質を大きく損なうおそれがあるため、欠損を見た目に違和感なく補完する手法に対する需要は高い。
【０００４】
以下、静止画像や動画像における、不要な物の映り込みを除去したい領域及び遮蔽などで観測されていない領域などの補完したい領域を欠損領域という。また、欠損領域がマスクで与えられた画像を入力して、入力した画像において欠損領域が、欠損領域以外の領域（以下、「欠損周辺領域」という。）との見た目に違和感なく補完された画像を取得する処理をコンプリーション（Completion）処理という。
【０００５】
欠損領域の位置や大きさを示すマスクは、静止画像や動画像に拘わらず手動又は公知の技術によって与えられるものとする。マスクを取得する公知の技術としては、例えば非特許文献１に記載の技術がある。なお、マスクとは、画像処理の対象となる画像において、当該画像処理を行う領域であるか否かを示す情報である。
【０００６】
図１１は、欠損領域を表すマスクの例を示す図である。図１１（Ａ）は、マスクを二値の画像で与える一例である。図１１（Ａ）に示すマスクは、画像処理を施す対象の画像とは別に与えられる。このマスクは、領域９１ａで示す領域に対して画像処理を行うことを示し、領域９１ｂで示す領域に対して画像処理を行わないことを示している。図１１（Ｂ）は、画像処理を施す対象の画像にマスクを重畳した画像でマスクを与える一例である。図１１（Ｂ）に示すマスクは、領域９２で示す領域に対して画像処理を行うことを示し、他の領域に対して画像処理を行わないことを示している。図１１（Ｂ）のようにマスクを与える場合には、領域９２は、他の領域との区別が容易な色やパターンなどで与えられる。
【０００７】
コンプリーション処理の手法の一つにパッチベースの手法がある。パッチベースのコンプリーション処理は以下の手順によって行われる。
（手順１）コンプリーション処理の対象となる画像内の領域から、欠損領域と欠損周辺領域とを共に含む小領域（以下、「コンプリーション対象パッチ」という。）を選択する。この方法としては、欠損領域の輪郭上に存在し、かつ、周辺のエッジの強いパッチを選定する方法などが挙げられる（例えば、非特許文献２参照）。
（手順２）手順１で選択されたコンプリーション対象パッチの欠損周辺領域の画素を基に、類似パッチを探索する。探索範囲としては、同一画像又は動画像内やストレージ上に保存されている静止画像や動画像等が挙げられる。
（手順３）手順２で探索した類似パッチを、手順１で選択されたコンプリーション対象パッチにコピーする。
以上の手順１〜３に示した処理が、コンプリーション対象領域であるマスクで示される欠損領域が無くなるまで繰り返し行なわれる。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】Xue Bai, Jue Wang, David Simons and Guillermo Sapiro, "Video SnapCut: Robust Video Object Cutout Using Localized Classifiers", ACM Transactions on Graphics(TOG)- Proceedings of ACM SIGGRAPH 2009, Volume 28, Issue 3, August 2009, Article No.70
【非特許文献２】A. Criminisi, P. Perez, and K. Toyama, “Region filling and object removal by exemplar-based image inpainting,” IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 13, NO. 9, pp. 1200-1212, Sept. 2004.
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、非特許文献２に記載されたコンプリーション処理の手法では、コンプリーション処理を行う際に色やテクスチャ情報など様々な特徴量に基づいて類似パッチが求められる。多くの特徴量に基づいてパッチを探索した場合、利用した全ての特徴量について類似するパッチが見つかればより良いコンプリーション処理が可能である。一方で、利用した一部の特徴量について類似するパッチしか見つからない場合には、必ずしも最適な類似パッチを取得できない。このような場合にコンプリーション処理が行われると、コンプリーション処理後の画像の欠損領域内外において見た目に違和感が生じてしまうことがある。これは、利用する特徴の重要度と人間の知覚との間のズレに起因する。この問題を解決する最も単純な方法は、あらゆる欠損領域に対してあらゆる特徴が合致するパッチを含む膨大な参照画像又は動画像を用意することであるが現実的ではないという問題があった。
【００１０】
上記事情に鑑み、本発明は、欠損領域に対してコンプリーション処理を行った画像において、欠損領域内外における見た目の違和感を低減させる技術の提供を目的としている。
【課題を解決するための手段】
【００１１】
本発明の一態様は、欠損領域の除去対象の原画像と前記欠損領域を示すマスク情報とに基づいて前記原画像から前記欠損領域の画像を除去することによって第１画像を生成する画像生成装置であって、前記欠損領域を含む領域と類似した類似領域を探索する際に使用される参照画像を記憶する参照画像記憶部に記憶されている前記参照画像から、予め定められた複数の特徴量組に基づいて前記欠損領域を含む領域と類似した類似領域を前記特徴量組毎に選択し、選択した前記類似領域を用いて、前記原画像における前記欠損領域に対してコンプリーション処理を行うことによって前記第１画像を前記特徴量組毎に生成するコンプリーション処理部と、前記原画像及び前記第１画像における前記欠損領域に該当する領域に集まる視線量の比を前記特徴量組毎に算出し、算出した前記視線量の比を用いて前記第１画像の自然さの評価結果である評価値を前記特徴量組毎に算出する評価部と、前記評価値に基づいて前記特徴量組毎の前記第１画像の中から前記欠損領域内外における見た目の違和感が最も少ない前記第１画像を選定する選定部と、を備える画像生成装置である。
【００１２】
本発明の一態様は、上記の画像生成装置であって、前記評価部において前記評価値を算出する際に用いる前記原画像及び前記第１画像中の注意を引く領域である注視領域に対して所定の重みが画素毎に設定された注視領域画像を生成する注視領域画像生成部をさらに備え、前記評価部は、前記原画像及び前記第１画像それぞれにおいて主観評価による推定法によって推定された視線量に応じて予め定められた画素値が画素毎に算出された注視領域分布を生成し、前記注視領域分布の前記欠損領域に該当する領域に含まれる画素に対して、前記画素と同じ場所に位置する前記注視領域画像の前記欠損領域に該当する領域に含まれる画素を乗算し、前記注視領域分布の前記欠損領域に該当する領域に含まれる画素と、前記注視領域画像の前記欠損領域に該当する領域に含まれる画素との総和を算出することによって、前記原画像及び前記第１画像それぞれの前記欠損領域における重み付け後の値を算出し、算出した前記第１画像の前記欠損領域における重み付け後の値を前記原画像の前記欠損領域における重み付け後の値で除算することによって前記視線量の比を算出する。
【００１３】
本発明の一態様は、欠損領域の除去対象の原画像と前記欠損領域を示すマスク情報とに基づいて前記原画像から前記欠損領域の画像を除去することによって第１画像を生成する画像生成装置であって、前記欠損領域を含む領域と類似した類似領域を探索する際に使用される参照画像を記憶する参照画像記憶部に記憶されている前記参照画像から、コンプリーション処理に用いるパラメータである、予め定められた複数のパラメータ組に含まれる特徴量に基づいて前記欠損領域を含む領域と類似した類似領域を前記パラメータ組毎に選択し、選択した前記類似領域を用いて、前記原画像における前記欠損領域に対してコンプリーション処理を行うことによって前記第１画像を前記パラメータ組毎に生成するコンプリーション処理部と、前記原画像及び前記第１画像における前記欠損領域に該当する領域に集まる視線量の比を前記パラメータ組毎に算出し、算出した前記視線量の比を用いて前記第１画像の自然さの評価結果である評価値を前記パラメータ組毎に算出する評価部と、前記評価値に基づいて、前記コンプリーション処理部において前記欠損領域内外における見た目の違和感が最も少ない前記第１画像を生成するための最適パラメータとして、前記評価値を最小化する前記パラメータ組を選定する選定部と、を備え、前記コンプリーション処理部は、選定された前記最適パラメータを用いて前記原画像に対してコンプリーション処理を行うことによって前記第１画像を生成する画像生成装置である。
【００１４】
本発明の一態様は、上記の画像生成装置としてコンピュータを機能させるためのコンピュータプログラムである。
【発明の効果】
【００１５】
本発明により、欠損領域に対してコンプリーション処理を行った画像において、欠損領域内外における見た目の違和感を低減させることが可能となる。
【図面の簡単な説明】
【００１６】
【図１】第１の実施形態における画像生成装置１０の構成例を示すブロック図である。
【図２】画像生成装置１０が入力する原画像とマスク情報との一例を示す図である。
【図３】特徴量組テーブルの具体例を示す図である。
【図４】画像生成装置１０の処理の流れを示すフローチャートである。
【図５】第２の実施形態における画像生成装置１０ａの構成例を示すブロック図である。
【図６】重み付けの値が設定されたＡＯＩ画像ＡＯＩ＿ｍａｐの一例を示す図である。
【図７】画像生成装置１０ａの処理の流れを示すフローチャートである。
【図８】第３の実施形態における画像生成装置１０ｂの構成例を示すブロック図である。
【図９】パラメータ組テーブルの具体例を示す図である。
【図１０】画像生成装置１０ｂの処理の流れを示すフローチャートである。
【図１１】欠損領域を表すマスクの例を示す図である。
【発明を実施するための形態】
【００１７】
以下、本発明の一実施形態を、図面を参照しながら説明する。
画像生成装置は、入力される静止画像又は動画像において指定される欠損領域における画像を補完することにより、欠損領域の画像を除去した静止画像又は動画像を生成する装置である。以下、静止画像と動画像とを区別しない場合に静止画像と動画像とを単に画像という。なお、動画像は、複数の連続した静止画像（フレーム）の集合である。
以下、画像生成装置の具体的な構成例（第１の実施形態〜第３の実施形態）について説明する。
【００１８】
［第１の実施形態］
図１は、第１の実施形態における画像生成装置１０の構成例を示すブロック図である。
画像生成装置１０は、図１に示すように、画像取得部１０１、参照画像記憶部１０２、コンプリーション処理部１０３、評価部１０４、選定部１０５を備える。
画像取得部１０１は、原画像Ｉ＿Ｏｒｉｇｉｎａｌと、欠損領域Ｄａｍａｇｅｄを示すマスク情報Ｍａｓｋと、マスク領域を表す色情報Ｍａｓｋ＿ｃｏｌｏｒを外部から取得する。マスク情報Ｍａｓｋは、原画像Ｉ＿Ｏｒｉｇｉｎａｌと同じサイズを有する画像であり、欠損領域Ｄａｍａｇｅｄの画素値が１、欠損周辺領域の画素値が０で表される。ただし、マスク情報Ｍａｓｋにおける画素値は、欠損領域Ｄａｍａｇｅｄと欠損周辺領域とが区別できれば上述の値以外の値であってもよい。また、色情報Ｍａｓｋ＿ｃｏｌｏｒはＲＧＢ値をもつ三次元ベクトルであり、例えばマゼンダがマスク領域として指定されている場合はＭａｓｋ＿ｃｏｌｏｒ＝（２５５，０，２５５）のように表すことができる。
【００１９】
図２は、画像生成装置１０が入力する原画像Ｉ＿Ｏｒｉｇｉｎａｌとマスク情報Ｍａｓｋとの一例を示す図である。
画像生成装置１０は、図２（Ａ）及び（Ｂ）に示すように、原画像Ｉ＿Ｏｒｉｇｉｎａｌとマスク情報Ｍａｓｋとを個別に入力する。或いは画像生成装置１０は、図２（Ｃ）に示すように、原画像Ｉ＿Ｏｒｉｇｉｎａｌに対してマスクが重畳された画像を入力する。図２（Ａ）、（Ｂ）のように原画像Ｉ＿Ｏｒｉｇｉｎａｌと、欠損領域Ｄａｍａｇｅｄを示すマスク情報Ｍａｓｋとが別で与えられた場合、画像生成装置１０はマスクで示された領域を欠損領域Ｄａｍａｇｅｄとして用いる。このとき、マスク領域を表す色情報Ｍａｓｋ＿ｃｏｌｏｒが指定される必要はない。
【００２０】
また、図２（Ｃ）に示したような原画像Ｉ＿Ｏｒｉｇｉｎａｌにマスクが重畳された画像が画像生成装置１０に入力された場合には、画像取得部１０１は入力された画像においてマスクを表す色情報Ｍａｓｋ＿ｃｏｌｏｒで表されたマスク領域と、欠損周辺領域とを二値で表したマスク情報Ｍａｓｋを生成する。画像生成装置１０は、マスク領域で示された領域を欠損領域Ｄａｍａｇｅｄとして用いる。欠損領域Ｄａｍａｇｅｄは、欠損として指定されたピクセルの位置の集合｛（ｄｘ１，ｄｙ１）、・・・、（ｄｘｎ，ｄｙｎ）｝で表されても良いし、原画像Ｉ＿Ｏｒｉｇｉｎａｌと同じ大きさの画像で欠損領域Ｄａｍａｇｅｄを１、欠損周辺領域を０とした２値画像として保持されてもよい。
【００２１】
参照画像記憶部１０２は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。参照画像記憶部１０２は、類似パッチＳｉｍｉｌａｒ＿Ｐａｔｃｈの探索候補として使用される画像である参照画像Ｉ＿Ｓｏｕｒｃｅ＝｛Ｉ１，・・・，ＩＭ｝を記憶している。ここで、Ｍは２以上の整数である。類似パッチＳｉｍｉｌａｒ＿Ｐａｔｃｈは、コンプリーション対象パッチの欠損周辺領域の画素と類似するパッチである。なお、参照画像Ｉ＿Ｓｏｕｒｃｅに原画像Ｉ＿Ｏｒｉｇｉｎａｌが含まれてもよい。原画像Ｉ＿Ｏｒｉｇｉｎａｌを格納する場合は、欠損領域Ｄａｍａｇｅｄの領域を除去するなどして参照画像Ｉ＿Ｓｏｕｒｃｅに含めないよう処理すればよい。
【００２２】
コンプリーション処理部１０３は、画像取得部１０１によって取得されたマスク情報Ｍａｓｋで示される欠損領域Ｄａｍａｇｅｄにコンプリーション処理を行うことによって、欠損領域Ｄａｍａｇｅｄの画像が除去された画像を生成する。具体的には、コンプリーション処理部１０３は、入力された原画像Ｉ＿Ｏｒｉｇｉｎａｌと、欠損領域Ｄａｍａｇｅｄと、参照画像記憶部１０２に記憶されている参照画像Ｉ＿Ｓｏｕｒｃｅとに基づいて、欠損領域Ｄａｍａｇｅｄの画像が除去された画像を生成する。
【００２３】
以下、コンプリーション処理部１０３の具体的な処理について説明する。
ステップ１：まず、コンプリーション処理部１０３は、予め定められた特徴量Ｆｅａｔｕｒｅのグループ（以下、「特徴量組」という。）に関する情報を取得する。例えば、コンプリーション処理部１０３は、図３に示すような特徴量組の情報が登録されている特徴量組テーブルから特徴量組に関する情報を取得してもよい。このように構成される場合、特徴量組テーブルは、不図示の記憶部に記憶される。記憶部は、画像生成装置１０が備えていてもよいし、他の装置に記憶されていてもよい。なお、特徴量組は、必ずしも複数の特徴量Ｆｅａｔｕｒｅの組合せである必要はない。例えば、特徴量組は、１つの特徴量Ｆｅａｔｕｒｅのみであってもよい。
【００２４】
図３は、特徴量組テーブルの具体例を示す図である。
特徴量組テーブルは、特徴量組に関する情報を表すレコードを複数有する。レコードは、特徴量組ＩＤ及び特徴量の各値を有する。特徴量組ＩＤの値は、特徴量空間を示す特徴量組を識別するための識別情報を表す。特徴量空間の具体例として、Ｒ空間、Ｇ空間、Ｂ空間、グレースケール空間、ＨＯＧ特徴量空間などがある。特徴量の値は、同じレコードの特徴量組ＩＤで識別される特徴量組で示される特徴量空間の特徴量を表す。図３では、特徴量の具体例として、Ｒ、Ｇ、Ｂ、Ｇｒａｙ、ＨＯＧ、ＧＩＳＴなどがある。図３では、特徴量組ＩＤ毎に、各特徴量の利用有無が示されている。より具体的には、各特徴量の項目の０は同じレコードの特徴量組ＩＤで識別される特徴量組で示される特徴量空間に当該特徴量を利用しないことを表し、各特徴量の項目の１は同じレコードの特徴量組ＩＤで識別される特徴量組で示される特徴量空間に当該特徴量を利用することを表す。
【００２５】
図３に示される例では、特徴量組テーブルには複数の特徴量組ＩＤ（図３の場合、Ｍ個の特徴量組ＩＤ）が登録されている。これらの特徴量組ＩＤは、“１”、“２”、“３”、“４”、“５”、・・・、“Ｍ”である。図３において、特徴量組テーブルの最上段に登録されているレコードは、特徴量組ＩＤの値が“１”、特徴量Ｒの値が“１”、特徴量Ｇの値が“０”、特徴量Ｂの値が“０”、特徴量Ｇｒａｙの値が“０”、特徴量ＨＯＧの値が“０”、特徴量ＧＩＳＴの値が“０”である。すなわち、特徴量組ＩＤ“１”で識別される特徴量組で示される特徴量空間は、特徴量Ｒのみを利用することが表されている。つまり、特徴量組ＩＤ“１”で示される特徴量空間は、Ｒ空間である。
【００２６】
また、図３において、特徴量組テーブルの最下段に登録されているレコードは、特徴量組ＩＤの値が“Ｍ”、特徴量Ｒの値が“１”、特徴量Ｇの値が“１”、特徴量Ｂの値が“０”、特徴量Ｇｒａｙの値が“０”、特徴量ＨＯＧの値が“０”、特徴量ＧＩＳＴの値が“０”である。すなわち、特徴量組ＩＤ“Ｍ”で識別される特徴量組で示される特徴量空間は、特徴量Ｒ及び特徴量Ｇを利用することが表されている。つまり、特徴量組ＩＤ“Ｍ”で示される特徴量空間は、ＲＧ空間である。
【００２７】
ステップ２：次に、コンプリーション処理部１０３は、原画像Ｉ＿Ｏｒｉｇｉｎａｌからコンプリーション対象パッチＤａｍａｇｅｄ＿Ｐａｔｃｈを選択する。この方法としては、欠損領域Ｄａｍａｇｅｄの輪郭上に存在し、周辺のエッジの強いパッチから選定する方法などが挙げられる。なお、パッチの大きさは予め定められたパッチの大きさＰａｔｃｈ＿ｓｉｚｅにより決定される。Ｐａｔｃｈ＿ｓｉｚｅの大きさは欠損領域Ｄａｍａｇｅｄと欠損周辺領域とを共に含むことのできる小領域の大きさであればどのような大きさであってもよい。
【００２８】
ステップ３：そして、コンプリーション処理部１０３は、各特徴量組に基づいて、コンプリーション対象パッチＤａｍａｇｅｄ＿Ｐａｔｃｈの類似パッチＳｉｍｉｌａｒ＿Ｐａｔｃｈを探索する。例えば、コンプリーション処理部１０３は、ある１つの特徴量組を選択して、選択した特徴量組の特徴量に基づいて、コンプリーション対象パッチＤａｍａｇｅｄ＿Ｐａｔｃｈの類似パッチＳｉｍｉｌａｒ＿Ｐａｔｃｈを探索する。コンプリーション処理部１０３は、探索した類似パッチＳｉｍｉｌａｒ＿Ｐａｔｃｈを用いて、コンプリーション対象パッチＤａｍａｇｅｄ＿Ｐａｔｃｈに対してコンプリーション処理を行う。コンプリーション処理部１０３は、ステップ２及びステップ３の処理をコンプリーション対象領域全てに対して行うことによって、ある１つの特徴量組に対するコンプリーション結果を取得する。
【００２９】
また、コンプリーション処理部１０３は、ステップ１からステップ３までの処理を全ての特徴量組に対して行うことによって、各特徴量組に対するコンプリーション結果Ｃｏｍｐｌｅｔｅｄ＿ｉ（１≦ｉ≦Ｍ、Ｍは特徴量組ＩＤの総数）を取得する。なお、画像に対するコンプリーション処理に関する研究は多数行われており、コンプリーション処理部１０３は、公知の技術を用いて原画像Ｉ＿Ｏｒｉｇｉｎａｌにコンプリーション処理を行う。
【００３０】
評価部１０４は、コンプリーション処理部１０３で取得されたコンプリーション結果Ｃｏｍｐｌｅｔｅｄ＿ｉを取得する。評価部１０４は、取得したＣｏｍｐｌｅｔｅｄ＿ｉのそれぞれに欠損領域内外における見た目の違和感の少なさを表す指標を用いて、各コンプリーション結果Ｃｏｍｐｌｅｔｅｄ＿ｉの評価値を算出する。評価値は、コンプリーション処理後の画像における自然さの評価結果である。算出される評価値をＳｃｏｒｅ＿ｉ（１≦ｉ≦Ｍ、Ｍは特徴量組ＩＤの総数）とする。評価値Ｓｃｏｒｅ＿ｉの算出方法は、画像の主観評価による推定法に準ずるものであれば特に制限しない。例えば、評価値Ｓｃｏｒｅ＿ｉは、下記に示すＶｉｓｕａｌ  Ｓａｌｉｅｎｃｙを利用して算出されてもよい。
【００３１】
（Ｖｉｓｕａｌ  Ｓａｌｉｅｎｃｙを利用した評価値の算出方法）
コンプリーション処理後の画像（コンプリーション結果Ｃｏｍｐｌｅｔｅｄ＿ｉ）は、欠損領域Ｄａｍａｇｅｄに該当する領域に集まる視線量が多いほど、人間にとって違和感のある不自然なコンプリーション処理がなされていると考えることができる（参考文献１参照）。そのため、参考文献１で提案されているように、コンプリーション処理前の画像（原画像Ｉ＿Ｏｒｉｇｉｎａｌ）及びコンプリーション処理後の画像（コンプリーション結果Ｃｏｍｐｌｅｔｅｄ＿ｉ）の欠損領域Ｄａｍａｇｅｄに該当する領域に集まる視線量の比Ｇａｚｅ（違和感の少なさを表す指標）を算出し、算出した視線量の比Ｇａｚｅをコンプリーション結果Ｃｏｍｐｌｅｔｅｄ＿ｉの自然さの評価指標として用いることが可能である。
［参考文献１］M. Vijay Venkatesh and Sen-ching S. Cheung, “EYE TRACKING BASED PERCEPTUAL IMAGE INPAINTING QUALITY ANALYSIS”, ICIP, page 1109-1112. IEEE, (2010)
【００３２】
ここで、参考文献１に記載された技術は、実測の人の視線を利用するものであるが、本実施形態においては画像中の注視領域を画像処理的に算出する手法であるＶｉｓｕａｌ  Ｓａｌｉｅｎｃｙを用いる。これは、画像処理的に注視領域を算出することで、逐次、人の視線を計測することなく評価を行うことを可能にするためである。なお、以下の説明では、Ｖｉｓｕａｌ  Ｓａｌｉｅｎｃｙを用いて算出した注視領域分布をＶｉｓｕａｌ  Ｓａｌｉｅｎｃｙ  Ｍａｐと記載する。Ｖｉｓｕａｌ  Ｓａｌｉｅｎｃｙ  Ｍａｐは、画像中の全画素に対して推定された視線量に応じて予め定められた０〜２５５の値が与えられた画像である（例えば、参考文献２参照）。
［参考文献２］L Itti, C Koch, E Niebur, “A model of saliency-based visual attention for rapid scene analysis”, IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 20, NO. 11, 1998.
【００３３】
原画像Ｏｒｉｇｉｎａｌ及びコンプリーション結果Ｃｏｍｐｌｅｔｅｄ（コンプリーション結果の１つ）の位置（ｘ，ｙ，t）（ただし、ｔは画像生成装置１０に動画像が入力された時のみ、以下同様）におけるＶｉｓｕａｌ  Ｓａｌｉｅｎｃｙ  Ｍａｐの値をそれぞれＭａｐ＿ｏｒｉｇｉｎａｌ（ｘ，ｙ，t）、Ｍａｐ＿ｃｏｍｐｌｅｔｅｄ（ｘ，ｙ，t）と表す。また、これらの値の欠損領域Ｄａｍａｇｅｄに含まれる画素（ｘ，ｙ，t）に関して総和を算出したものをそれぞれＧａｚｅ＿ｏｒｉｇｉｎａｌ、Ｇａｚｅ＿ｃｏｍｐｌｅｔｅｄとすると視線量の比Ｇａｚｅは以下の式１のように表される。
【００３４】
【数１】
2016206777.tif 000003
【００３５】
そこで、各コンプリーション結果Ｃｏｍｐｌｅｔｅｄ＿ｉの評価値Ｓｃｏｒｅ＿ｉは、以下の式２のように表される。
【００３６】
【数２】
2016206777.tif 000004
【００３７】
選定部１０５は、コンプリーション処理部１０３で得られたコンプリーション結果Ｃｏｍｐｌｅｔｅｄ＿ｉ及び評価部１０４で得られた評価値Ｓｃｏｒｅ＿ｉを入力する。選定部１０５は、評価値Ｓｃｏｒｅ＿ｉに基づいて、コンプリーション結果Ｃｏｍｐｌｅｔｅｄ＿ｉの中から最も良好なコンプリーション結果（以下、「最良結果」という。）Ｃｏｍｐｌｅｔｅｄ＿ｗｅｌｌを選定する。例えば、コンプリーション結果Ｃｏｍｐｌｅｔｅｄが不自然な結果であるほど視線量の比Ｇａｚｅが高い値を取り、自然な結果であるほど視線量の比Ｇａｚｅが小さい値を取る。つまり、最良結果とは、コンプリーション処理後の画像において、欠損領域内外の違和感が最も少ない画像である。そのため、選定部１０５は、評価値Ｓｃｏｒｅ＿ｉを最小にするコンプリーション結果Ｃｏｍｐｌｅｔｅｄ＿ｉを最良結果Ｃｏｍｐｌｅｔｅｄ＿ｗｅｌｌとして選定する。
【００３８】
図４は、画像生成装置１０の処理の流れを示すフローチャートである。なお、図４の説明では、画像生成装置１０には原画像Ｉ＿Ｏｒｉｇｉｎａｌと、マスク情報Ｍａｓｋとが個別に入力される場合を例に説明する。
画像取得部１０１は、外部から原画像Ｉ＿Ｏｒｉｇｉｎａｌ及びマスク情報Ｍａｓｋを個別に取得する（ステップＳ１０１）。画像取得部１０１は、取得した原画像Ｉ＿Ｏｒｉｇｉｎａｌ及びマスク情報Ｍａｓｋをコンプリーション処理部１０３に出力する。
【００３９】
コンプリーション処理部１０３は、図３に示した特徴量組テーブルに登録されている特徴量組ＩＤの中から１つの特徴量組ＩＤを選択する（ステップＳ１０２）。次に、コンプリーション処理部１０３は、画像取得部１０１から出力された原画像Ｉ＿Ｏｒｉｇｉｎａｌ及びマスク情報Ｍａｓｋに基づいてコンプリーション対象パッチＤａｍａｇｅｄ＿Ｐａｔｃｈを選択する（ステップＳ１０３）。コンプリーション処理部１０３は、参照画像記憶部１０２に記憶されている参照画像Ｉ＿Ｓｏｕｒｃｅから、ステップＳ１０２の処理において選択した特徴量組ＩＤで識別される特徴量組に属する特徴量（例えば、特徴量組ＩＤ１で示される特徴量）に基づいて、コンプリーション対象パッチＤａｍａｇｅｄ＿Ｐａｔｃｈの類似パッチＳｉｍｉｌａｒ＿Ｐａｔｃｈを探索する（ステップＳ１０４）。
【００４０】
コンプリーション処理部１０３は、探索した類似パッチＳｉｍｉｌａｒ＿Ｐａｔｃｈを用いて、マスク情報Ｍａｓｋで示される欠損領域Ｄａｍａｇｅｄに対して、コンプリーション処理を行う（ステップＳ１０５）。その後、コンプリーション処理部１０３は、コンプリーション対象領域全てに対してコンプリーション処理を行ったか否か判定する（ステップＳ１０６）。コンプリーション対象領域全てに対してコンプリーション処理を行っていない場合（ステップＳ１０６−ＮＯ）、コンプリーション処理部１０３はコンプリーション対象領域全てに対してコンプリーション処理が終了するまでステップＳ１０３から１０５までの処理を繰り返し実行する。
【００４１】
一方、コンプリーション対象領域全てに対してコンプリーション処理を行った場合（ステップＳ１０６−ＹＥＳ）、コンプリーション処理部１０３はステップＳ１０２の処理において選択した特徴量組に対するコンプリーション結果Ｃｏｍｐｌｅｔｅｄを取得する。その後、コンプリーション処理部１０３は、図３に示す特徴量組テーブルに登録されている特徴量組ＩＤで識別される各特徴量組に対するコンプリーション結果Ｃｏｍｐｌｅｔｅｄ＿ｉを得たか否か判定する（ステップＳ１０７）。
【００４２】
各特徴量組に対するコンプリーション結果Ｃｏｍｐｌｅｔｅｄ＿ｉを得ていない場合（ステップＳ１０７−ＮＯ）、コンプリーション処理部１０３はステップＳ１０２の処理においてコンプリーション結果Ｃｏｍｐｌｅｔｅｄ＿ｉを得ていない特徴量組ＩＤを選択する。そして、コンプリーション処理部１０３は、ステップＳ１０３から１０６までの処理を実行する。
一方、各特徴量組に対するコンプリーション結果Ｃｏｍｐｌｅｔｅｄ＿ｉを得た場合（ステップＳ１０７−ＹＥＳ）、コンプリーション処理部１０３はコンプリーション結果Ｃｏｍｐｌｅｔｅｄ＿ｉを評価部１０４及び選定部１０５に出力する。
【００４３】
評価部１０４は、Ｖｉｓｕａｌ  Ｓａｌｉｅｎｃｙの技術を利用することによって、コンプリーション結果Ｃｏｍｐｌｅｔｅｄ＿ｉそれぞれの評価値Ｓｃｏｒｅ＿ｉを算出する（ステップＳ１０８）。評価部１０４は、算出した評価値Ｓｃｏｒｅ＿ｉを選定部１０５に出力する。選定部１０５は、コンプリーション結果Ｃｏｍｐｌｅｔｅｄ＿ｉと、評価値Ｓｃｏｒｅ＿ｉとに基づいて最良結果Ｃｏｍｐｌｅｔｅｄ＿ｗｅｌｌを選定する（ステップＳ１０９）。具体的には、選定部１０５は、評価値Ｓｃｏｒｅ＿ｉを最小にするコンプリーション結果Ｃｏｍｐｌｅｔｅｄ＿ｉを最良結果Ｃｏｍｐｌｅｔｅｄ＿ｗｅｌｌとして選定する。選定部１０５は、選定した最良結果Ｃｏｍｐｌｅｔｅｄ＿ｗｅｌｌを出力する。
【００４４】
以上のように構成された画像生成装置１０によれば、欠損領域に対してコンプリーション処理を行った画像において、欠損領域内外における見た目の違和感を低減させるができる。以下、この効果について詳細に説明する。
画像生成装置１０は、特徴量組毎のコンプリーション処理後の画像（コンプリーション結果Ｃｏｍｐｌｅｔｅｄ＿ｉ）の中から評価値Ｓｃｏｒｅ＿ｉを最小にするコンプリーション結果Ｃｏｍｐｌｅｔｅｄ＿ｉを最良結果Ｃｏｍｐｌｅｔｅｄ＿ｗｅｌｌとして選定する。この評価値Ｓｃｏｒｅ＿ｉは、欠損領域Ｄａｍａｇｅｄに該当する領域に集まる視線量の比Ｇａｚｅに相当する。つまり、評価値Ｓｃｏｒｅ＿ｉが高いほど、人間にとって違和感のある不自然なコンプリーション処理がなされていると考えられる。したがって、画像生成装置１０が、評価値Ｓｃｏｒｅ＿ｉを最小にするコンプリーション結果Ｃｏｍｐｌｅｔｅｄ＿ｉを選定することによって、複数のコンプリーション処理後の画像の中から、人間にとってより違和感のない自然な画像を最良のコンプリーション処理後の画像として選定することができる。そのため、欠損領域に対してコンプリーション処理を行った画像において、欠損領域内外における見た目の違和感を低減させることが可能になる。
【００４５】
＜変形例＞
画像取得部１０１、参照画像記憶部１０２、コンプリーション処理部１０３、評価部１０４、選定部１０５の各機能部は、それぞれ別の装置に実装されてもよいし、各機能部の一部が別の装置に実装されてもよい。
【００４６】
［第２の実施形態］
図５は、第２の実施形態における画像生成装置１０ａの構成例を示すブロック図である。
画像生成装置１０ａは、図５に示すように、画像取得部１０１、参照画像記憶部１０２、コンプリーション処理部１０３、評価部１０４ａ、選定部１０５、注視領域画像生成部１０６を備える。画像生成装置１０ａは、評価部１０４に代えて評価部１０４ａを備える点、注視領域画像生成部１０６を新たに備える点で画像生成装置１０と構成が異なる。画像生成装置１０ａは、他の構成については画像生成装置１０と同様である。そのため、画像生成装置１０ａ全体の説明は省略し、評価部１０４ａ及び注視領域画像生成部１０６について説明する。
【００４７】
注視領域画像生成部１０６は、欠損領域Ｄａｍａｇｅｄを入力として、評価部１０４において評価値Ｓｃｏｒｅ＿ｉを算出する際に用いる画像（原画像Ｉ＿Ｏｒｉｇｉｎａｌ及びコンプリーション結果Ｃｏｍｐｌｅｔｅｄ＿ｉ）中の注意を引く領域（以下、「注視領域」という。）ＡＯＩ（Area Of Interest）に対して所定の重みが画素毎に設定されたＡＯＩ画像ＡＯＩ＿ｍａｐ（注視領域画像）を生成する。ＡＯＩ画像ＡＯＩ＿ｍａｐは、原画像Ｉ＿Ｏｒｉｇｉｎａｌと同じサイズを有する画像である。
【００４８】
以下、注視領域画像生成部１０６の具体的な処理について説明する。
まず、事前処理として、画素位置（ｘ，ｙ，t）におけるＡＯＩ画像ＡＯＩ＿ｍａｐをＡＯＩ＿ｍａｐ（ｘ，ｙ，t）とする。ＡＯＩ＿ｍａｐ（ｘ，ｙ，t）は０以上１以下の小数で表される。ＡＯＩ＿ｍａｐ（ｘ，ｙ，t）＝１の場合は当該画素位置を注視領域として計算することを表し、ＡＯＩ＿ｍａｐ（ｘ，ｙ，t）＝０の場合は当該画素位置を注視領域として計算しないことを表す。ＡＯＩ＿ｍａｐ（ｘ，ｙ，t）が１未満かつ０より大きい場合は、評価部１０４ａは当該画素位置を注視領域として計算する際に当該画素位置における重みを評価値Ｓｃｏｒｅ＿ｉの算出に用いる。
次に、ＡＯＩ画像ＡＯＩ＿ｍａｐを生成するための複数の方法について説明する。
【００４９】
（方法１．欠損領域ＤａｍａｇｅｄをそのままＡＯＩ画像ＡＯＩ＿ｍａｐとする方法）
この方法は、欠損領域Ｄａｍａｇｅｄで示された領域内の全ての画素に対して、ＡＯＩ＿ｍａｐ（ｘ，ｙ，t）＝１を設定することによってＡＯＩ画像ＡＯＩ＿ｍａｐを生成する方法である。具体的には、注視領域画像生成部１０６は、以下の式３に基づいて、ＡＯＩ画像ＡＯＩ＿ｍａｐの各画素位置（ｘ，ｙ，t）に値を設定することによってＡＯＩ画像ＡＯＩ＿ｍａｐを生成する。
【００５０】
【数３】
2016206777.tif 000005
【００５１】
方法１によって生成されたＡＯＩ画像ＡＯＩ＿ｍａｐを用いて評価値Ｓｃｏｒｅ＿ｉが算出されることによって、欠損領域Ｄａｍａｇｅｄ全体を考慮した評価値Ｓｃｏｒｅが算出可能になる。
【００５２】
（方法２．欠損領域Ｄａｍａｇｅｄの輪郭周辺のみをＡＯＩ画像ＡＯＩ＿ｍａｐとする方法）
この方法は、欠損領域Ｄａｍａｇｅｄの輪郭を構成する画素のうち、予め定められた閾値以内に位置する画素に対して、ＡＯＩ＿ｍａｐ（ｘ，ｙ，t）＝１を設定することによってＡＯＩ画像ＡＯＩ＿ｍａｐを生成する方法である。具体的には、まず事前処理として注視領域画像生成部１０６は、欠損領域Ｄａｍａｇｅｄの輪郭を構成する画素をＰ＝（ｘ，ｙ，t）とする。次に、注視領域画像生成部１０６は、欠損領域Ｄａｍａｇｅｄの輪郭を構成する画素Ｐ全てに対し、予め定められた閾値ｒ＿ｔｈ以内に位置する画素Ｑ＝（ｘ，ｙ，t）、（｜Ｐ（ｘ，ｙ，t）−Ｑ（ｘ，ｙ，t）｜＜ｒ＿ｔｈ）に対してＡＯＩ画像ＡＯＩ＿ｍａｐ（ｘ，ｙ，t）＝１を設定し、それ以外の画素に対してＡＯＩ画像ＡＯＩ＿ｍａｐ（ｘ，ｙ，t）＝０を設定することによってＡＯＩ画像ＡＯＩ＿ｍａｐを生成する。
【００５３】
方法２によって生成されたＡＯＩ画像ＡＯＩ＿ｍａｐを用いて評価値Ｓｃｏｒｅ＿ｉが算出されることによって、特にコンプリーション処理後の画像で違和感の出やすい輪郭周辺を重点的に考慮した評価値が算出可能になる。
【００５４】
（方法３．欠損領域Ｄａｍａｇｅｄの輪郭からの距離に応じて重み付けを行う方法）
この方法は、欠損領域Ｄａｍａｇｅｄの輪郭からの距離に応じて、各画素に重みを設定することによってＡＯＩ画像ＡＯＩ＿ｍａｐを生成する方法である。具体的には、まず事前処理として注視領域画像生成部１０６は、欠損領域Ｄａｍａｇｅｄを構成する画素をＰ＝（ｘ，ｙ，t）とする。また、注視領域画像生成部１０６は、欠損領域Ｄａｍａｇｅｄの中心位置画素をＣ（ｘ，ｙ，t）とし、中心位置画素Ｃと欠損領域Ｄａｍａｇｅｄの輪郭との最長距離をｄとする。このとき、注視領域画像生成部１０６は、欠損領域Ｄａｍａｇｅｄを構成する画素Ｐ全てに対し、以下の式４に基づいて、ＡＯＩ画像ＡＯＩ＿ｍａｐの各画素位置（ｘ，ｙ，t）に重み付けの値を設定することによってＡＯＩ画像ＡＯＩ＿ｍａｐを生成する。下記式４に基づいて、算出されたＡＯＩ画像ＡＯＩ＿ｍａｐの一例を図６に示す。
【００５５】
【数４】
2016206777.tif 000006
【００５６】
図６は、重み付けの値が設定されたＡＯＩ画像ＡＯＩ＿ｍａｐの一例を示す図である。
図６において、図６（Ａ）は原画像Ｉ＿Ｏｒｉｇｉｎａｌであり、図６（Ｂ）はマスク情報Ｍａｓｋであり、図６（Ｃ）は重み付けの値が設定されたＡＯＩ画像ＡＯＩ＿ｍａｐである。
図６（Ａ）において、原画像Ｉ＿Ｏｒｉｇｉｎａｌの領域９３はマスク情報Ｍａｓｋで示される欠損領域Ｄａｍａｇｅｄ９４を表す。つまり、原画像Ｉ＿Ｏｒｉｇｉｎａｌの領域９３は、コンプリーション対象領域である。また、図６（Ｃ）において、欠損領域Ｄａｍａｇｅｄ９４と同じ画素位置で構成される領域９５内では、画素毎に上記式に基づいて算出された重み付けの値が設定されている。
【００５７】
方法３によって生成されたＡＯＩ画像ＡＯＩ＿ｍａｐを用いて評価値Ｓｃｏｒｅ＿ｉが算出されることによって、特にコンプリーション処理後の画像で違和感の出やすい輪郭周辺を重点的に考慮しつつも欠損領域Ｄａｍａｇｅｄ全体を考慮した評価値が算出可能になる。
【００５８】
以上で、注視領域画像生成部１０６の具体的な処理についての説明を終了する。なお、注視領域画像生成部１０６が上記方法１から方法３のいずれの方法でＡＯＩ画像ＡＯＩ＿ｍａｐを生成するのかは、画像生成装置１０に予め設定されていてもよいし、処理開始時に設定されてもよいし、その他のタイミングで設定されてもよい。
【００５９】
評価部１０４ａは，コンプリーション処理部１０３で得られたコンプリーション結果Ｃｏｍｐｌｅｔｅｄ＿ｉ及び注視領域画像生成部１０６で得られたＡＯＩ画像ＡＯＩ＿ｍａｐを入力とし、コンプリーション結果Ｃｏｍｐｌｅｔｅｄ＿ｉそれぞれの評価値Ｓｃｏｒｅ＿ｉを算出する。
【００６０】
以下、評価部１０４ａの具体的な処理について説明する。
Ｓｔｅｐ１：原画像Ｏｒｉｇｉｎａｌ及びコンプリーション結果Ｃｏｍｐｌｅｔｅｄの位置（ｘ，ｙ）、時刻ｔにおけるＶｉｓｕａｌ  Ｓａｌｉｅｎｃｙ  Ｍａｐの値をそれぞれＭａｐ＿ｏｒｉｇｉｎａｌ（ｘ，ｙ，t）、Ｍａｐ＿ｃｏｍｐｌｅｔｅｄ（ｘ，ｙ，t）と表す。また、該当位置のＡＯＩ画像ＡＯＩ＿ｍａｐをＡＯＩ画像ＡＯＩ＿ｍａｐ（ｘ，ｙ，t）と表す。また、これらの値の欠損領域Ｄａｍａｇｅｄに含まれる画素（ｘ，ｙ，t）に関して総和を算出したものをそれぞれＧａｚｅ＿ｏｒｉｇｉｎａｌ、Ｇａｚｅ＿ｃｏｍｐｌｅｔｅｄとする。このとき、Ｇａｚｅ＿ｏｒｉｇｉｎａｌ及びＧａｚｅ＿ｃｏｍｐｌｅｔｅｄはそれぞれ以下の式５及び式６のように表される。
【００６１】
【数５】
2016206777.tif 000007
【数６】
2016206777.tif 000008
【００６２】
Ｓｔｅｐ２：評価部１０４ａは、視線量の比Ｇａｚｅを上記式１に基づいて算出する。評価部１０４ａは、コンプリーション結果Ｃｏｍｐｌｅｔｅｄ＿ｉ全てに対して視線量の比Ｇａｚｅを算出し、上記式２に基づいてコンプリーション結果Ｃｏｍｐｌｅｔｅｄ＿ｉそれぞれの評価値Ｓｃｏｒｅ＿ｉを算出する。
【００６３】
図７は、画像生成装置１０ａの処理の流れを示すフローチャートである。なお、図７の説明では、画像生成装置１０ａには原画像Ｉ＿Ｏｒｉｇｉｎａｌと、マスク情報とが個別に入力される場合を例に説明する。また、図４と同様の処理については、図７において図４と同様の符号を付して説明を省略する。
【００６４】
注視領域画像生成部１０６は、ステップＳ１０１の処理で取得されたマスク情報で示される欠損領域Ｄａｍａｇｅｄ上記方法１から方法３のいずれかの方法に基づいて、ＡＯＩ画像ＡＯＩ＿ｍａｐを生成する（ステップＳ２０１）。注視領域画像生成部１０６は、生成したＡＯＩ画像ＡＯＩ＿ｍａｐを評価部１０４ａに出力する。その後、ステップＳ１０２からステップ１０７までの処理が実行される。そして、ステップＳ１０７の処理において、各特徴量組に対するコンプリーション結果Ｃｏｍｐｌｅｔｅｄ＿ｉを得た場合（ステップＳ１０７−ＹＥＳ）、コンプリーション処理部１０３はコンプリーション結果Ｃｏｍｐｌｅｔｅｄ＿ｉを評価部１０４ａ及び選定部１０５に出力する。
【００６５】
評価部１０４ａは、原画像Ｏｒｉｇｉｎａｌと、コンプリーション結果Ｃｏｍｐｌｅｔｅｄ＿ｉと、ステップＳ２０１の処理で生成されたＡＯＩ画像ＡＯＩ＿ｍａｐとを入力する。評価部１０４ａは、入力された情報に基づいて、コンプリーション結果Ｃｏｍｐｌｅｔｅｄ＿ｉそれぞれの評価値Ｓｃｏｒｅ＿ｉを算出する（ステップＳ２０２）。具体的には、評価部１０４ａは、入力された情報と、原画像Ｏｒｉｇｉｎａｌ及びコンプリーション結果Ｃｏｍｐｌｅｔｅｄの位置（ｘ，ｙ，t）におけるＶｉｓｕａｌ  Ｓａｌｉｅｎｃｙ  Ｍａｐの値とに基づいて、上記式５及び６からＧａｚｅ＿ｏｒｉｇｉｎａｌ及びＧａｚｅ＿ｃｏｍｐｌｅｔｅｄを算出する。そして、評価部１０４ａは、算出したＧａｚｅ＿ｏｒｉｇｉｎａｌ及びＧａｚｅ＿ｃｏｍｐｌｅｔｅｄに基づいて、上記２からコンプリーション結果Ｃｏｍｐｌｅｔｅｄ＿ｉ毎の評価値Ｓｃｏｒｅ＿ｉを算出する。その後、ステップＳ１０９の処理が実行される。
【００６６】
以上のように構成された画像生成装置１０ａによれば、第１の実施形態より精度が高い欠損領域内外における見た目の違和感を低減させる画像を選定することができる。以下、この効果について詳細に説明する。
画像生成装置１０ａは、コンプリーション結果Ｃｏｍｐｌｅｔｅｄ＿ｉの中から欠損領域内外における見た目の違和感が最も小さい画像を選定するために、欠損領域Ｄａｍａｇｅｄに関連する画素について値が設定されたＡＯＩ画像ＡＯＩ＿ｍａｐを用いてコンプリーション結果Ｃｏｍｐｌｅｔｅｄ＿ｉ毎の評価値Ｓｃｏｒｅ＿ｉを算出する。このように、画像生成装置１０ａは、欠損領域Ｄａｍａｇｅｄを重視して評価値Ｓｃｏｒｅ＿ｉを算出することができる。そして、画像生成装置１０ａは、欠損領域Ｄａｍａｇｅｄを重視して算出した評価値Ｓｃｏｒｅ＿ｉの中から評価値Ｓｃｏｒｅ＿ｉを最小にするコンプリーション結果Ｃｏｍｐｌｅｔｅｄ＿ｉを最良結果Ｃｏｍｐｌｅｔｅｄ＿ｗｅｌｌとして選定する。したがって、画像生成装置１０ａは、第１の実施形態における画像生成装置１０と比べてより欠損領域Ｄａｍａｇｅｄ内外における見た目の違和感がない自然な画像を最良のコンプリーション処理後の画像として選定することができる。そのため、欠損領域に対してコンプリーション処理を行った画像において、欠損領域内外における見た目の違和感を低減させることが可能になる。
【００６７】
＜変形例＞
画像取得部１０１、参照画像記憶部１０２、コンプリーション処理部１０３、評価部１０４ａ、選定部１０５、注視領域画像生成部１０６の各機能部は、それぞれ別の装置に実装されてもよいし、各機能部の一部が別の装置に実装されてもよい。
【００６８】
［第３の実施形態］
図８は、第３の実施形態における画像生成装置１０ｂの構成例を示すブロック図である。
図８に示すように、画像生成装置１０ｂは、画像取得部１０１、参照画像記憶部１０２、コンプリーション処理部１０３ｂ、評価部１０４、選定部１０５ｂを備える。
画像生成装置１０ｂは、コンプリーション処理部１０３及び選定部１０５に代えてコンプリーション処理部１０３ｂ及び選定部１０５ｂを備える点で画像生成装置１０と構成が異なる。画像生成装置１０ｂは、他の構成については画像生成装置１０と同様である。そのため、画像生成装置１０ｂ全体の説明は省略し、コンプリーション処理部１０３ｂ及び選定部１０５ｂについて説明する。
【００６９】
コンプリーション処理部１０３ｂは、画像取得部１０１によって取得されたマスク情報Ｍａｓｋで示される欠損領域Ｄａｍａｇｅｄにコンプリーション処理を行うことによって、欠損領域Ｄａｍａｇｅｄの画像が除去された画像を生成する。具体的には、コンプリーション処理部１０３ｂは、入力された原画像Ｉ＿Ｏｒｉｇｉｎａｌと、欠損領域Ｄａｍａｇｅｄと、参照画像記憶部１０２に記憶されている参照画像Ｉ＿Ｓｏｕｒｃｅとに基づいて、欠損領域Ｄａｍａｇｅｄの画像が除去された画像を生成する。
【００７０】
以下、画像生成装置１０ｂの具体的な処理について説明する。
ステップ１：まず、コンプリーション処理部１０３ｂは、コンプリーション処理に用いるパラメータである、特徴量Ｆｅａｔｕｒｅ、パッチサイズＰａｔｃｈ＿ｓｉｚｅ及びコンプリーション手法Ｍｅｔｈｏｄの組（以下、「パラメータ組」という。）に関する情報を取得する。例えば、コンプリーション処理部１０３ｂは、図９に示すようなパラメータ組の情報が登録されているパラメータ組テーブルからパラメータ組に関する情報を取得してもよい。このように構成される場合、パラメータ組テーブルは、不図示の記憶部に記憶される。記憶部は、画像生成装置１０ｂが備えていてもよいし、他の装置に記憶されていてもよい。
【００７１】
図９は、パラメータ組テーブルの具体例を示す図である。
パラメータ組テーブルは、パラメータ組に関する情報を表すレコードを複数有する。レコードは、パラメータ組ＩＤ、Ｆｅａｔｕｒｅ、Ｐａｔｃｈ＿ｓｉｚｅ及びＭｅｔｈｏｄの各値を有する。パラメータ組ＩＤの値は、コンプリーション処理に用いるパラメータであるパラメータ組を識別するための識別情報を表す。特徴量の値は、同じレコードのパラメータ組ＩＤで識別されるパラメータ組で示される特徴量空間の特徴量を表す。図９では、特徴量の具体例として、Ｒ、Ｇ、Ｂ、Ｇｒａｙ、ＨＯＧ、ＧＩＳＴなどがある。図９では、パラメータ組ＩＤ毎に、各特徴量の利用有無が示されている。より具体的には、各特徴量の項目の０は同じレコードのパラメータ組ＩＤで識別されるパラメータ組で示される特徴量空間に当該特徴量を利用しないことを表し、各特徴量の項目の１は同じレコードのパラメータ組ＩＤで識別されるパラメータ組で示される特徴量空間に当該特徴量を利用することを表す。Ｐａｔｃｈ＿ｓｉｚｅの値は、コンプリーション対象パッチのサイズを表す。なお、パッチサイズＰａｔｃｈ＿ｓｉｚｅとしては自然数を入力すればよい。例えば、パッチサイズＰａｔｃｈ＿ｓｉｚｅが５×５［ｐｉｘｅｌ］のときは、パッチサイズＰａｔｃｈ＿ｓｉｚｅ＝５とすればよい。Ｍｅｔｈｏｄの値は、複数のコンプリーション手法を表す。なお、Ｍｅｔｈｏｄとしては複数のコンプリーション手法の通し番号（１,２,・・・）を入力しておけばよい。
【００７２】
図９に示される例では、パラメータ組テーブルには複数のパラメータ組ＩＤ（図９の場合、Ｎ個のパラメータ組ＩＤ）が登録されている。これらのパラメータ組ＩＤは、“１”、“２”、“３”、“４”、“５”、・・・、“Ｎ”である。図９において、パラメータ組テーブルの最上段に登録されているレコードは、パラメータ組ＩＤの値が“１”、特徴量Ｒの値が“１”、特徴量Ｇの値が“０”、特徴量Ｂの値が“０”、特徴量Ｇｒａｙの値が“０”、特徴量ＨＯＧの値が“０”、特徴量ＧＩＳＴの値が“０”、Ｐａｔｃｈ＿ｓｉｚｅの値が“９”、Ｍｅｔｈｏｄの値が“１”である。すなわち、パラメータ組ＩＤ“１”で識別されるパラメータ組で示される特徴量空間は、特徴量Ｒのみを利用し、パッチサイズＰａｔｃｈ＿ｓｉｚｅが９×９［ｐｉｘｅｌ］であり、コンプリーション手法として通し番号“１”に設定されているコンプリーション手法を用いることが表されている。なお、パラメータ組テーブルにおいて、パラメータの取りうる事例を全て与える必要はない。
【００７３】
ステップ２：コンプリーション処理部１０３ｂは、各パラメータの組み合わせ（パラメータ組）に基づき原画像Ｉ＿Ｏｒｉｇｉｎａｌにおける欠損領域Ｄａｍａｇｅｄに対してコンプリーション処理を行い、各パラメータ組ＩＤに対するコンプリーション結果Ｃｏｍｐｌｅｔｅｄ＿ｉ（１≦ｉ≦Ｎ、Ｎはパラメータ組ＩＤの総数）を生成する。
ステップ３：コンプリーション処理部１０３ｂは、ステップ２で得られたコンプリーション結果Ｃｏｍｐｌｅｔｅｄ＿ｉを評価部１０４に入力する。評価部１０４は、それぞれに対する評価値Ｓｃｏｒｅ＿ｉ（１≦ｉ≦Ｎ、Ｎはパラメータ組ＩＤの総数）を算出する。評価部１０４による評価値Ｓｃｏｒｅ＿ｉの算出方法は、第１の実施形態と同様であるため説明を省略する。
【００７４】
ステップ４：コンプリーション処理部１０３ｂは、ステップ３で得られた評価値Ｓｃｏｒｅ＿ｉ及びステップ１で取得したパラメータ組に関する情報を選定部１０５ｂに入力する。
選定部１０５ｂは、入力された評価値Ｓｃｏｒｅ＿ｉ及びパラメータ組に関する情報に基づいて、最良結果Ｃｏｍｐｌｅｔｅｄ＿ｗｅｌｌを生成するためのパラメータに最も適しているパラメータ（以下、「最適パラメータ」という。）Ｐａｒａｍｅｔｅｒ＿ｗｅｌｌを選定する。選定部１０５ｂによる最適パラメータの選定方法については後述する。
ステップ５：コンプリーション処理部１０３ｂは、ステップ４で得られた最適パラメータＰａｒａｍｅｔｅｒ＿ｗｅｌｌを用いて、原画像Ｉ＿Ｏｒｉｇｉｎａｌに対してコンプリーション処理を行うことによって最良結果Ｃｏｍｐｌｅｔｅｄ＿ｗｅｌｌを生成する。
【００７５】
以下、最適パラメータＰａｒａｍｅｔｅｒ＿ｗｅｌｌの算出方法について説明する。
ステップ１：選定部１０５ｂは、ステップ１で取得したパラメータ組を多次元ベクトルＰａｒａｍｅｔｅｒ＿ｉで表す。Ｐａｒａｍｅｔｅｒ＿ｉの次元数は、パラメータ組のもつパラメータ数に等しく、例えば図９のパラメータ組ＩＤ＝１の状態は、Ｐａｒａｍｅｔｅｒ＿１＝｛１,０,０,０,０,０,・・・,９,１｝のように表すことができる．また、各Ｐａｒａｍｅｔｅｒ＿ｉの事例の評価値Ｓｃｏｒｅ＿ｉで与える。
【００７６】
ステップ２：選定部１０５ｂは、Ｐａｒａｍｅｔｅｒ＿ｉ、評価値Ｓｃｏｒｅ＿ｉの情報に基づいて、最良結果Ｃｏｍｐｌｅｔｅｄ＿ｗｅｌｌを生成するための最適パラメータＰａｒａｍｅｔｅｒ＿ｗｅｌｌを選定する。最適パラメータＰａｒａｍｅｔｅｒ＿ｗｅｌｌを選定する方法としては、評価値Ｓｃｏｒｅを最小化するＰａｒａｍｅｔｅｒを、遺伝的アルゴリズムを用いて求める方法などが挙げられる。遺伝的アルゴリズムとしては、参考文献３に記載された技術が用いられてもよい。選定部１０５ｂは、評価値Ｓｃｏｒｅを最小化するＰａｒａｍｅｔｅｒを最適パラメータＰａｒａｍｅｔｅｒ＿ｗｅｌｌとして選定する。そして、選定部１０５ｂは、最適パラメータＰａｒａｍｅｔｅｒ＿ｗｅｌｌを用いて原画像Ｉ＿Ｏｒｉｇｉｎａｌに対してコンプリーション処理が行なわれて生成された画像を最良結果Ｃｏｍｐｌｅｔｅｄ＿ｗｅｌｌとして選定する。
［参考文献３］http://ja.wikipedia.org/wiki/%E9%81%BA%E4%BC%9D%E7%9A%84%E3%82%A2%E3%83%AB%E3%82%B4%E3%83%AA%E3%82%BA%E3%83%A0
【００７７】
図１０は、画像生成装置１０ｂの処理の流れを示すフローチャートである。なお、図１０の説明では、画像生成装置１０ｂには原画像Ｉ＿Ｏｒｉｇｉｎａｌと、マスク情報とが個別に入力される場合を例に説明する。また、図４と同様の処理については、図１０において図４と同様の符号を付して説明を省略する。
【００７８】
ステップＳ１０１の処理がなされると、コンプリーション処理部１０３ｂは図９に示したパラメータ組テーブルに登録されているパラメータ組ＩＤの中から１つのパラメータ組ＩＤを選択する（ステップＳ３０１）。次に、コンプリーション処理部１０３ｂは、画像取得部１０１から出力された原画像Ｉ＿Ｏｒｉｇｉｎａｌ及びマスク情報Ｍａｓｋに基づいてコンプリーション対象パッチＤａｍａｇｅｄ＿Ｐａｔｃｈを選択する（ステップＳ３０２）。この際、コンプリーション処理部１０３ｂは、図９に示したパラメータ組テーブルにおいて、ステップＳ３０１の処理で選択されたパラメータ組ＩＤのレコードのパッチサイズＰａｔｃｈ＿ｓｉｚｅの項目に登録されているサイズのコンプリーション対象パッチＤａｍａｇｅｄ＿Ｐａｔｃｈを選択する。
【００７９】
コンプリーション処理部１０３ｂは、参照画像記憶部１０２に記憶されている参照画像Ｉ＿Ｓｏｕｒｃｅから、ステップＳ３０１の処理において選択したパラメータ組ＩＤで識別されるパラメータ組に属する特徴量（例えば、パラメータ組ＩＤ１で示される特徴量）に基づいて、コンプリーション対象パッチＤａｍａｇｅｄ＿Ｐａｔｃｈの類似パッチＳｉｍｉｌａｒ＿Ｐａｔｃｈを探索する（ステップＳ３０３）。コンプリーション処理部１０３ｂは、探索した類似パッチＳｉｍｉｌａｒ＿Ｐａｔｃｈ及びステップＳ３０１の処理で選択されたパラメータ組ＩＤのレコードのＭｅｔｈｏｄに設定されているコンプリーション手法に基づいて、マスク情報Ｍａｓｋで示される欠損領域Ｄａｍａｇｅｄに対して、コンプリーション処理を行う（ステップＳ３０４）。コンプリーション処理部１０３ｂは、コンプリーション対象領域全てに対してコンプリーション処理が終了するまでステップＳ３０２から３０４までの処理を繰り返し実行する。
【００８０】
次に、コンプリーション処理部１０３ｂは、図９に示すパラメータ組テーブルに登録されているパラメータ組ＩＤで識別される各パラメータ組に対するコンプリーション結果Ｃｏｍｐｌｅｔｅｄ＿ｉを得たか否か判定する（ステップＳ３０５）。各パラメータ組に対するコンプリーション結果Ｃｏｍｐｌｅｔｅｄ＿ｉを得ていない場合（ステップＳ３０５−ＮＯ）、コンプリーション処理部１０３ｂはステップＳ３０１の処理においてコンプリーション結果Ｃｏｍｐｌｅｔｅｄ＿ｉを得ていないパラメータ組ＩＤを選択する。そして、コンプリーション処理部１０３ｂは、ステップＳ３０１から１０６までの処理を実行する。
一方、各パラメータ組に対するコンプリーション結果Ｃｏｍｐｌｅｔｅｄ＿ｉを得た場合（ステップＳ３０５−ＹＥＳ）、コンプリーション処理部１０３ｂはコンプリーション結果Ｃｏｍｐｌｅｔｅｄ＿ｉを評価部１０４及び選定部１０５ｂに出力する。
【００８１】
その後、評価部１０４によりステップＳ１０８の処理が実行され、コンプリーション結果Ｃｏｍｐｌｅｔｅｄ＿ｉそれぞれの評価値Ｓｃｏｒｅ＿ｉが算出される。選定部１０５ｂは、算出された評価値Ｓｃｏｒｅ＿ｉと、図９に示すパラメータ組テーブルとに基づいて、各パラメータ組の中から最適パラメータを選定する（ステップＳ３０６）。選定部１０５ｂは、選定した最適パラメータをコンプリーション処理部１０３ｂに出力する。
コンプリーション処理部１０３ｂは、最適パラメータを用いて、原画像に対してコンプリーション処理を行うことによって最良結果Ｃｏｍｐｌｅｔｅｄ＿ｗｅｌｌを生成する（ステップＳ３０７）。コンプリーション処理部１０３ｂは、生成した最良結果Ｃｏｍｐｌｅｔｅｄ＿ｗｅｌｌを選定部１０５ｂに出力する。選定部１０５ｂは、生成された最良結果Ｃｏｍｐｌｅｔｅｄ＿ｗｅｌｌを出力する（ステップＳ３０８）。
【００８２】
以上のように構成された画像生成装置１０ｂによれば、欠損領域に対してコンプリーション処理を行った画像において、欠損領域内外における見た目の違和感を低減させるができる。以下、この効果について詳細に説明する。
画像生成装置１０ｂは、一度コンプリーション処理がなされたコンプリーション結果Ｃｏｍｐｌｅｔｅｄ＿ｉから評価値Ｓｃｏｒｅ＿ｉを算出し、算出した評価値Ｓｃｏｒｅ＿ｉと、パラメータ組テーブルとに基づいて、最良結果Ｃｏｍｐｌｅｔｅｄ＿ｗｅｌｌを生成するためのパラメータに最も適しているパラメータである最適パラメータを選定する。そして、画像生成装置１０ｂは、選定した最適パラメータを用いて、原画像Ｉ＿Ｏｒｉｇｉｎａｌに対してコンプリーション処理を行うことによって最良結果Ｃｏｍｐｌｅｔｅｄ＿ｗｅｌｌを生成する。そのため、欠損領域に対してコンプリーション処理を行った画像において、欠損領域内外における見た目の違和感を低減させることが可能になる。
【００８３】
＜変形例＞
画像取得部１０１、参照画像記憶部１０２、コンプリーション処理部１０３ｂ、評価部１０４、選定部１０５ｂの各機能部は、それぞれ別の装置に実装されてもよいし、各機能部の一部が別の装置に実装されてもよい。
画像生成装置１０ｂは、第２の実施形態における注視領域画像生成部１０６を備えるように構成されてもよい。
【００８４】
各実施形態に共通する変形例について説明する。
本実施形態では、コンプリーション対象となる原画像Ｉ＿Ｏｒｉｇｉｎａｌを外部から画像生成装置１０（１０ａ及び１０ｂ）に入力する構成を示したが、これに限定される必要はない。例えば、画像生成装置１０が原画像Ｉ＿Ｏｒｉｇｉｎａｌを記憶する画像記憶部をさらに備え、画像記憶部に記憶されている原画像Ｉ＿Ｏｒｉｇｉｎａｌに対してコンプリーション処理を行ってもよい。このように構成される場合、マスク情報Ｍａｓｋは、外部から入力される。
【００８５】
上述した実施形態における画像生成装置１０、１０ａ及び１０ｂをコンピュータで実現するようにしてもよい。その場合、画像生成装置１０、１０ａ及び１０ｂが有する構成要素を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００８６】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。更に「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した構成要素の一部を実現するためのものであってもよく、更に前述した構成要素をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。
【００８７】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００８８】
１０、１０ａ、１０ｂ…画像生成装置，  １０１…画像取得部，  １０２…参照画像記憶部，  １０３、１０３ｂ…コンプリーション処理部，  １０４、１０４ａ…評価部，  １０５、１０５ｂ…選定部，  １０６…注視領域画像生成部
【図１】
2016206777.tif 000009
【図２】
2016206777.tif 000010
【図３】
2016206777.tif 000011
【図４】
2016206777.tif 000012
【図５】
2016206777.tif 000013
【図６】
2016206777.tif 000014
【図７】
2016206777.tif 000015
【図８】
2016206777.tif 000016
【図９】
2016206777.tif 000017
【図１０】
2016206777.tif 000018
【図１１】
2016206777.tif 000019