(57)【要約】【課題】欠損領域に対してコンプリーション処理を行った画像において、欠損領域内外における見た目の違和感を低減させること。【解決手段】欠損領域の除去対象の原画像と欠損領域を示すマスク情報とに基づいて原画像から欠損領域の画像を除去することによって第１画像を生成する画像生成装置であって、類似領域を探索する際に使用される参照画像を記憶する参照画像記憶部に記憶されている参照画像から複数の類似領域を選択する選択部と、複数の類似領域と、類似領域の中から欠損領域内外における見た目の違和感を最も低減させる最適な領域を選定する際に使用される判定用画像を記憶する判定用画像記憶部に記憶されている判定用画像とに基づいて最適な領域を選定する選定部と、最適な領域を用いて、原画像における欠損領域に対してコンプリーション処理を行うことによって第１画像を生成する画像生成部と、を備える。【選択図】図１
2016197370.tif 000002
【特許請求の範囲】
【請求項１】
欠損領域の除去対象の原画像と前記欠損領域を示すマスク情報とに基づいて前記原画像から前記欠損領域の画像を除去することによって第１画像を生成する画像生成装置であって、
前記欠損領域を含む領域と類似した類似領域を探索する際に使用される参照画像を記憶する参照画像記憶部に記憶されている前記参照画像から、前記欠損領域を含む領域と類似した複数の類似領域を選択する選択部と、
選択された複数の前記類似領域と、前記類似領域の中から前記欠損領域内外における見た目の違和感を最も低減させる最適な領域を選定する際に使用される判定用画像を記憶する判定用画像記憶部に記憶されている前記判定用画像とに基づいて前記最適な領域を選定する選定部と、
選定された前記最適な領域を用いて、前記原画像における前記欠損領域に対してコンプリーション処理を行うことによって前記第１画像を生成する画像生成部と、
を備える画像生成装置。
【請求項２】
前記選定部は、複数の前記類似領域をクエリとして前記判定用画像に対して画像検索手法を用いて検索を行い、前記類似領域と前記判定用画像内の領域との類似度が予め設定された閾値以上である検索数を前記類似領域毎に算出し、前記検索数が最小となる前記類似領域を前記最適な領域として選定する、請求項１に記載の画像生成装置。
【請求項３】
前記選定部は、前記判定用画像を構成する、前記欠損領域を含む領域と同じサイズの前記領域を教師データとして設定し、前記教師データと、複数の前記類似領域とに基づいて異常検出手法によって前記類似領域毎に異常度を算出し、算出した前記類似領域毎の異常度の中で異常度が最小となる前記類似領域を前記最適な領域として選定する、請求項１に記載の画像生成装置。
【請求項４】
請求項１から３のいずれか一項に記載の画像生成装置としてコンピュータを機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像生成装置及びコンピュータプログラムに関する。
【背景技術】
【０００２】
写真などの静止画像や映像などの動画像を撮影する際に、撮影したい被写体に被さって不要なものを撮影してしまうことがある。被写体に被さった不要なものが撮影された静止画像や動画像は視聴の体感品質を大きく損なってしまうおそれがあり、静止画像や動画像に含まれる不要なものを見た目に違和感なく除去する手法に対する需要は極めて高い。
【０００３】
また、自由視点映像合成と呼ばれる技術では、複数のカメラで撮影された映像群から任意の視点からの画像を合成する。このとき、オブジェクトによる遮蔽などが原因で、合成された任意の視点からの映像の一部が欠損してしまうことがある。このような欠損も画像の視聴の体感品質を大きく損なうおそれがあるため、欠損を見た目に違和感なく補完する手法に対する需要は高い。
【０００４】
以下、静止画像や動画像における、不要なものの映り込みを除去したい領域及び遮蔽などで観測されていない領域などの補完したい領域を欠損領域という。また、欠損領域がマスクで与えられた画像を入力して、入力した画像において欠損領域が、欠損領域以外の領域（以下、「欠損周辺領域」という。）との見た目に違和感なく補完された画像を取得する処理をコンプリーション（Completion）処理という。
【０００５】
欠損領域の位置や大きさを示すマスクは、静止画像や動画像に拘わらず手動又は公知の技術によって与えられるものとする。マスクを取得する公知の技術としては、例えば非特許文献１に記載の技術がある。なお、マスクとは、画像処理の対象となる画像において、当該画像処理を行う領域であるか否かを示す情報である。
【０００６】
図４は、欠損領域を表すマスクの例を示す図である。図４（Ａ）は、マスクを二値の画像で与える一例である。図４（Ａ）に示すマスクは、画像処理を施す対象の画像とは別に与えられる。このマスクは、領域９１ａで示す領域に対して画像処理を行うことを示し、領域９１ｂで示す領域に対して画像処理を行わないことを示している。図４（Ｂ）は、画像処理を施す対象の画像にマスクを重畳した画像でマスクを与える一例である。図４（Ｂ）に示すマスクは、領域９２で示す領域に対して画像処理を行うことを示し、他の領域に対して画像処理を行わないことを示している。図４（Ｂ）のようにマスクを与える場合には、領域９２は、他の領域との区別が容易な色やパターンなどで与えられる。
【０００７】
コンプリーション手法の一つにパッチベースの手法がある。パッチベースのコンプリーションは以下の手順によって行うことができる。
（手順１）コンプリーション対象の領域の中から欠損領域と欠損周辺領域とを共に含む小領域（以下、「コンプリーション対象パッチ」という。）を選択する。この方法としては、欠損領域の輪郭上に存在し、かつ、周辺のエッジの強いパッチを選定する方法などが挙げられる（例えば、非特許文献２参照）。
（手順２）手順１で選択されたコンプリーション対象パッチの欠損周辺領域の画素を基に、類似パッチを探索する。探索範囲としては、同一画像又は動画像内やストレージ上に保存されている静止画像や動画像等が挙げられる。
（手順３）手順２で探索した類似パッチを、手順１で選択されたコンプリーション対象パッチにコピーする。
以上の手順１〜３がコンプリーション対象の領域が無くなるまで繰り返し行なわれる。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】Xue Bai, Jue Wang, David Simons and Guillermo Sapiro, "Video SnapCut: Robust Video Object Cutout Using Localized Classifiers", ACM Transactions on Graphics(TOG)- Proceedings of ACM SIGGRAPH 2009, Volume 28, Issue 3, August 2009, Article No.70
【非特許文献２】A. Criminisi, P. Perez, and K. Toyama, “Region filling and object removal by exemplar-based image inpainting,” IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 13, NO. 9, pp. 1200-1212, Sept. 2004.
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、非特許文献２に記載されたコンプリーション手法では、コンプリーション処理を行う際に色やテクスチャ情報など様々な特徴量に基づいて類似パッチが求められる。多くの特徴量に基づいてパッチを探索すると、利用した全ての特徴量について類似するパッチが見つかればより良いコンプリーション処理が可能である。一方で、利用した一部の特徴量について類似するパッチしか見つからない場合には、必ずしも最適な類似パッチを取得できない。このような場合にコンプリーションが行われると、コンプリーション処理された画像の欠損領域内外で見た目に違和感が生じてしまうことがある。これは、利用する特徴の重要度と人間の知覚との間のズレに起因する。この問題を解決する最も単純な方法は、あらゆる欠損領域に対してあらゆる特徴が合致するパッチを含む膨大な参照画像又は動画像を用意することであるが現実的ではないという問題があった。
【００１０】
上記事情に鑑み、本発明は、欠損領域に対してコンプリーション処理を行った画像において、欠損領域内外における見た目の違和感を低減させる技術の提供を目的としている。
【課題を解決するための手段】
【００１１】
本発明の一態様は、欠損領域の除去対象の原画像と前記欠損領域を示すマスク情報とに基づいて前記原画像から前記欠損領域の画像を除去することによって第１画像を生成する画像生成装置であって、前記欠損領域を含む領域と類似した類似領域を探索する際に使用される参照画像を記憶する参照画像記憶部に記憶されている前記参照画像から、前記欠損領域を含む領域と類似した複数の類似領域を選択する選択部と、選択された複数の前記類似領域と、前記類似領域の中から前記欠損領域内外における見た目の違和感を最も低減させる最適な領域を選定する際に使用される判定用画像を記憶する判定用画像記憶部に記憶されている前記判定用画像とに基づいて前記最適な領域を選定する選定部と、選定された前記最適な領域を用いて、前記原画像における前記欠損領域に対してコンプリーション処理を行うことによって前記第１画像を生成する画像生成部と、を備える画像生成装置である。
【００１２】
本発明の一態様は、上記の画像生成装置であって、前記選定部は、複数の前記類似領域をクエリとして前記判定用画像に対して画像検索手法を用いて検索を行い、前記類似領域と前記判定用画像内の領域との類似度が予め設定された閾値以上である検索数を前記類似領域毎に算出し、前記検索数が最小となる前記類似領域を前記最適な領域として選定する。
【００１３】
本発明の一態様は、上記の画像生成装置であって、前記選定部は、前記判定用画像を構成する、前記欠損領域を含む領域と同じサイズの前記領域を教師データとして設定し、前記教師データと、複数の前記類似領域とに基づいて異常検出手法によって前記類似領域毎に異常度を算出し、算出した前記類似領域毎の異常度の中で異常度が最小となる前記類似領域を前記最適な領域として選定する。
【００１４】
本発明の一態様は、上記の画像生成装置としてコンピュータを機能させるためのコンピュータプログラムである。
【発明の効果】
【００１５】
本発明により、欠損領域に対してコンプリーション処理を行った画像において、欠損領域内外における見た目の違和感を低減させることが可能となる。
【図面の簡単な説明】
【００１６】
【図１】画像生成装置１０の構成例を示すブロック図である。
【図２】画像生成装置１０が入力する原画像とマスク情報との一例を示す図である。
【図３】画像生成装置１０の処理の流れを示すフローチャートである。
【図４】欠損領域を表すマスクの例を示す図である。
【発明を実施するための形態】
【００１７】
以下、本発明の一実施形態を、図面を参照しながら説明する。
画像生成装置は、入力される静止画像又は動画像において指定される欠損領域における画像を補完することにより、欠損領域の画像を除去した静止画像又は動画像を生成する装置である。以下、静止画像と動画像とを区別しない場合に静止画像と動画像とを単に画像という。なお、動画像は、複数の連続した静止画像（フレーム）の集合である。
【００１８】
図１は、画像生成装置１０の構成例を示すブロック図である。
画像生成装置１０は、欠損領域Ｄａｍａｇｅｄを補完するコンプリーション処理の対象とする画像である原画像Ｉ＿Ｏｒｉｇｉｎａｌと、欠損領域Ｄａｍａｇｅｄを示すマスク情報Ｍａｓｋとを外部から入力する。画像生成装置１０は、原画像Ｉ＿Ｏｒｉｇｉｎａｌとマスク情報Ｍａｓｋとに基づいて原画像Ｉ＿Ｏｒｉｇｉｎａｌから欠損領域Ｄａｍａｇｅｄの画像を除去することによって欠損領域Ｄａｍａｇｅｄの画像が除去された画像（第１画像）を生成する。
【００１９】
図１に示すように、画像生成装置１０は、画像取得部１０１、参照画像記憶部１０２、収集部１０３、判定用画像記憶部１０４、コンプリーション処理部１０５を備える。図２は、画像生成装置１０が入力する原画像Ｉ＿Ｏｒｉｇｉｎａｌとマスク情報Ｍａｓｋとの一例を示す図である。画像生成装置１０は、図２（Ａ）及び（Ｂ）に示すように、原画像Ｉ＿Ｏｒｉｇｉｎａｌとマスク情報Ｍａｓｋとを個別に入力する。或いは画像生成装置１０は、図２（Ｃ）に示すように、原画像Ｉ＿Ｏｒｉｇｉｎａｌに対してマスクが重畳された画像を入力する。
【００２０】
画像取得部１０１は、コンプリーションを施す対象の原画像Ｉ＿Ｏｒｉｇｉｎａｌと、欠損領域Ｄａｍａｇｅｄを示すマスク情報Ｍａｓｋと、マスク領域を表す色情報Ｍａｓｋ＿ｃｏｌｏｒを外部から取得する。マスク情報Ｍａｓｋは、原画像Ｉ＿Ｏｒｉｇｉｎａｌと同じサイズを有する画像であり、欠損領域Ｄａｍａｇｅｄの画素値が１（図２（Ｂ）では白）、欠損周辺領域の画素値が０（図２（Ｂ）では黒）で表される。ただし、マスク情報における画素値は、欠損領域Ｄａｍａｇｅｄと欠損周辺領域とが区別できれば上述の値以外の値であってもよい。また、色情報Ｍａｓｋ＿ｃｏｌｏｒはＲＧＢ値をもつ三次元ベクトルであり、例えばマゼンダがマスク領域として指定されている場合はＭａｓｋ＿ｃｏｌｏｒ＝（２５５，０，２５５）のように表すことができる。なお、図２（Ａ）、（Ｂ）のように原画像Ｉ＿Ｏｒｉｇｉｎａｌと、欠損領域Ｄａｍａｇｅｄを示すマスク情報Ｍａｓｋが別で与えられた場合にはマスクで示された領域を欠損領域Ｄａｍａｇｅｄとして用いる。このとき、マスク領域を表す色情報Ｍａｓｋ＿ｃｏｌｏｒが指定される必要はない。
【００２１】
また、図２（Ｃ）に示したような原画像Ｉ＿Ｏｒｉｇｉｎａｌにマスクが重畳された画像が画像生成装置１０に入力された場合には、画像取得部１０１は入力された画像においてマスクを表す色情報Ｍａｓｋ＿ｃｏｌｏｒで表されたマスク領域と、欠損周辺領域とを二値で表したマスク情報Ｍａｓｋを生成する。画像生成装置１０は、マスク領域で示された領域を欠損領域Ｄａｍａｇｅｄとして用いる。欠損領域Ｄａｍａｇｅｄは、欠損として指定されたピクセルの位置の集合｛（ｄｘ１，ｄｙ１）、・・・、（ｄｘｎ，ｄｙｎ）｝で表されても良いし、原画像Ｉ＿Ｏｒｉｇｉｎａｌと同じ大きさの画像で欠損領域Ｄａｍａｇｅｄを１、欠損周辺領域を０とした２値画像として保持されてもよい。
【００２２】
参照画像記憶部１０２は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。参照画像記憶部１０２は、類似パッチの探索候補として使用される画像である参照画像Ｉ＿Ｓｏｕｒｃｅ＝｛Ｉ１，・・・，ＩＭ｝を記憶している。ここで、Ｍは２以上の整数である。類似パッチは、コンプリーション対象パッチの欠損周辺領域の画素と類似するパッチである。なお、参照画像Ｉ＿Ｓｏｕｒｃｅに原画像Ｉ＿Ｏｒｉｇｉｎａｌが含まれてもよい。原画像Ｉ＿Ｏｒｉｇｉｎａｌを格納する場合は、欠損領域Ｄａｍａｇｅｄの領域を除去するなどして参照画像Ｉ＿Ｓｏｕｒｃｅに含めないよう処理すればよい。
【００２３】
収集部１０３は、最適パッチの選定に利用する判定用参照画像Ｉ＿Ｄａｔａとして、既に存在する画像を収集する。最適パッチとは、人間の知覚にとって欠損領域内外における見た目の違和感を最も低減させることができるパッチである。既に存在する画像は、自然な見た目を有していると考えられる。そのため、判定用参照画像Ｉ＿Ｄａｔａとして既に存在する自然な画像を収集することによって、最適パッチの選定時において自然な画像に対する類似性または異常性を算出することが可能となる。収集部１０３は、以下のような方法によって判定用参照画像Ｉ＿Ｄａｔａを収集する。
【００２４】
（収集方法１：ランダムな収集）
収集部１０３は、Ｗｅｂ上にアップロードされている画像（映像も含む）やユーザのローカルディスクに保存された画像を、アップロード日時や更新日時などに基づきランダムに一定数収集する。例えば、収集部１０３は、アップロード日時や更新日時が現時点の時刻に近い画像を一定数収集してもよい。ランダムに収集することで、特定のトピックに偏らない母集団を得ることが可能である。
【００２５】
（収集方法２：ユーザによる収集）
特定のトピックに偏らないようにユーザが手動で選択したＷｅｂ上にアップロードされている画像（映像も含む）やユーザのローカルディスクに保存された画像を一定数収集する。
【００２６】
判定用画像記憶部１０４は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。判定用画像記憶部１０４は、収集部１０３によって収集された判定用参照画像Ｉ＿Ｄａｔａ＝｛Ｉ１，・・・，ＩＬ｝を記憶している。ここで、Ｌは２以上の整数である。なお、参照画像Ｉ＿Ｓｏｕｒｃｅとの重複が存在しても構わない。
【００２７】
コンプリーション処理部１０５は、画像取得部１０１によって取得されたマスク情報Ｍａｓｋで示される欠損領域Ｄａｍａｇｅｄにコンプリーション処理を行うことによって、欠損領域Ｄａｍａｇｅｄの画像が除去された画像を生成する。コンプリーション処理部１０５は、選択部１０５１、探索部１０５２、選定部１０５３及び画像生成部１０５４を備える。
【００２８】
選択部１０５１は、原画像Ｉ＿Ｏｒｉｇｉｎａｌからコンプリーション対象パッチＤａｍａｇｅｄ＿Ｐａｔｃｈを選択する。この方法としては、欠損領域Ｄａｍａｇｅｄの輪郭上に存在し、周辺のエッジの強いパッチから選定する方法などが挙げられる。なお、パッチの大きさは欠損領域Ｄａｍａｇｅｄと欠損周辺領域とを共に含む小領域の大きさであればどのような大きさであってもよい。
【００２９】
探索部１０５２は、参照画像記憶部１０２に記憶されている参照画像Ｉ＿Ｓｏｕｒｃｅから、コンプリーション対象パッチＤａｍａｇｅｄ＿Ｐａｔｃｈの類似パッチＳｉｍｉｌａｒ＿ＰａｔｃｈをＬ個探索する。以下、探索部１０５２によって探索された類似パッチを類似パッチ候補Ｓｉｍｉｌａｒ＿Ｐａｔｃｈ＿ｉ（１≦ｉ≦Ｌ）とする。なお、Ｌは予め定められた２以上の自然数である。また、類似パッチ候補Ｓｉｍｉｌａｒ＿Ｐａｔｃｈ＿ｉを求める指標としては、ＲＧＢ値のユークリッド距離やＳＳＤ（Sum of Squared Difference）などを用いることができるが、本発明ではこの距離関数を特に制限するものではなく、画像の特徴量空間についても同様に特に制限しない。
【００３０】
選定部１０５３は、判定用画像記憶部１０４に記憶されている判定用参照画像Ｉ＿Ｄａｔａと、探索された類似パッチ候補Ｓｉｍｉｌａｒ＿Ｐａｔｃｈ＿ｉとに基づいて、類似パッチ候補Ｓｉｍｉｌａｒ＿Ｐａｔｃｈ＿ｉの中から最適パッチＳｉｍｉｌａｒ＿Ｐａｔｃｈ＿ｗｅｌｌを選定する。
【００３１】
以下、最適パッチＳｉｍｉｌａｒ＿Ｐａｔｃｈ＿ｗｅｌｌの選定方法については説明する。
（選定方法１：類似画像検索手法を利用した最適パッチＳｉｍｉｌａｒ＿Ｐａｔｃｈ＿ｗｅｌｌの選定）
この選定は、類似画像検索手法を用いて、類似パッチの自然さをスコア付けし、類似パッチ候補Ｓｉｍｉｌａｒ＿Ｐａｔｃｈ＿ｉの中から見た目の違和感が最もないパッチを選定する方法である。違和感のない画像を構成しているパッチは、違和感のないパッチであると考えることができる。そのため、判定用参照画像Ｉ＿Ｄａｔａに対し類似パッチ候補Ｓｉｍｉｌａｒ＿Ｐａｔｃｈ＿ｉをクエリとして画像検索を行った際に発見される類似画像の数や類似度を算出することにより違和感のあるパッチであるか否かが判定可能である。類似画像検索手法については参考文献１の技術が用いられてもよい。
［参考文献１］B. S. Manjunath and W.Y. Ma,"Texture features for browsing and retrieval of image data"IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI - Special issue on Digital Libraries), vol. 18, no. 8, pp. 837-42, Aug. 1996. 
【００３２】
選定方法１における具体的な処理について説明する。
ステップ１：予め類似度の閾値Ｔｈｒｅｓｈを設定する。
ステップ２：類似パッチ候補Ｓｉｍｉｌａｒ＿Ｐａｔｃｈ＿ｉをクエリとして、判定用参照画像Ｉ＿Ｄａｔａに対し画像検索手法を用いて探索を行い、類似パッチ候補Ｓｉｍｉｌａｒ＿Ｐａｔｃｈ＿ｉと、判定用参照画像Ｉ＿Ｄａｔａ内の領域に存在するパッチとの類似度が閾値Ｔｈｒｅｓｈ以上になった検索数をＳｃｏｒｅ＿ｉ（１≦ｉ≦Ｌ）とする。選定部１０５３は、ステップ２の処理を類似パッチ候補Ｓｉｍｉｌａｒ＿Ｐａｔｃｈ＿ｉ分実行する。ここで、判定用参照画像Ｉ＿Ｄａｔａ内の領域に存在するパッチとは、類似パッチ候補Ｓｉｍｉｌａｒ＿Ｐａｔｃｈ＿ｉと同サイズのパッチである。
ステップ３：選定部１０５３は、Ｓｃｏｒｅ＿ｉが最小となる類似パッチ候補Ｓｉｍｉｌａｒ＿Ｐａｔｃｈ＿ｉを最適パッチＳｉｍｉｌａｒ＿Ｐａｔｃｈ＿ｗｅｌｌとして選定する。
【００３３】
（選定方法２：異常検出手法を利用した最適パッチＳｉｍｉｌａｒ＿Ｐａｔｃｈ＿ｗｅｌｌの選定）
この選定は、異常検出（Ａｂｎｏｒｍａｌ  Ｄｅｔｅｃｔｉｏｎ）手法を利用して、類似パッチ候補Ｓｉｍｉｌａｒ＿Ｐａｔｃｈ＿ｉそれぞれの異常度を数値で算出し、異常度が最小となる類似パッチ候補Ｓｉｍｉｌａｒ＿Ｐａｔｃｈ＿ｉを最適パッチＳｉｍｉｌａｒ＿Ｐａｔｃｈ＿ｗｅｌｌとして選定する方法である。違和感のない画像を構成しているパッチは、違和感のないパッチであると考えることができる。そのため、判定用参照画像Ｉ＿Ｄａｔａに対し異常なパッチであるか否かのスコア付けを行うことにより違和感のあるパッチであるか否かが判定可能である。異常検出手法については参考文献２及び３の技術が用いられてもよい。
［参考文献２］Cewu Lu, Jianping Shi, Jiaya Jia, "Abnormal Event Detection at 150 FPS in Matlab" , in ICCV, 2013
［参考文献３］Yang Cong, Junsong Yuan, Ji Liu, "Sparse Reconstruction Cost for Abnormal Event Detection", CVPR, 2011
【００３４】
選定方法２における具体的な処理について説明する。
ステップ１：選定部１０５３は、判定用参照画像Ｉ＿Ｄａｔａを構成するパッチを教師データとして設定する。パッチの大きさは可変であり，本発明はこれを制限するものではないが、コンプリーション対象パッチの大きさと同一である必要がある。
ステップ２：ステップ１で設定した教師データと、類似パッチ候補Ｓｉｍｉｌａｒ＿Ｐａｔｃｈ＿ｉとを入力として、異常検出手法により類似パッチ候補Ｓｉｍｉｌａｒ＿Ｐａｔｃｈ＿ｉそれぞれに対する異常度を算出する。異常度は単一の値で与えられる場合と、類似パッチ候補Ｓｉｍｉｌａｒ＿Ｐａｔｃｈ＿ｉに含まれる画素毎に与えられる場合とが考えられる。しかし、後者の場合は画素毎のＡｂｎｏｒｍａｌ値の平均を異常度とする。
ステップ３：異常度が最小となる類似パッチ候補Ｓｉｍｉｌａｒ＿Ｐａｔｃｈ＿ｉを最適パッチＳｉｍｉｌａｒ＿Ｐａｔｃｈ＿ｗｅｌｌとする。
【００３５】
以上のように、選定部１０５３は、選定方法１又は２の方法によりＬ個の類似パッチ候補Ｓｉｍｉｌａｒ＿Ｐａｔｃｈ＿ｉの中から最適パッチＳｉｍｉｌａｒ＿Ｐａｔｃｈ＿ｗｅｌｌを選定する。
以上で、最適パッチの選定方法についての説明を終了する。
【００３６】
画像生成部１０５４は、選定部１０５３によって選定された最適パッチを用いて、原画像Ｉ＿Ｏｒｉｇｉｎａｌにおいてマスク情報Ｍａｓｋで示される欠損領域Ｄａｍａｇｅｄに対してコンプリーション処理を行うことによって欠損領域Ｄａｍａｇｅｄの画像が除去された画像を生成する。画像に対するコンプリーション処理に関する研究は多数行われており、画像生成部１０５４は、公知の技術を用いて原画像Ｉ＿Ｏｒｉｇｉｎａｌにコンプリーション処理を行う。
【００３７】
図３は、画像生成装置１０の処理の流れを示すフローチャートである。なお、図３の説明では、画像生成装置１０には原画像Ｉ＿Ｏｒｉｇｉｎａｌと、マスク情報Ｍａｓｋとが個別に入力される場合を例に説明する。
画像取得部１０１は、外部から原画像Ｉ＿Ｏｒｉｇｉｎａｌ及びマスク情報Ｍａｓｋを個別に取得する（ステップＳ１０１）。画像取得部１０１は、取得した原画像Ｉ＿Ｏｒｉｇｉｎａｌ及びマスク情報Ｍａｓｋを選択部１０５１に出力する。選択部１０５１は、原画像Ｉ＿Ｏｒｉｇｉｎａｌとマスク情報Ｍａｓｋとに基づいてコンプリーション対象パッチを選択する（ステップＳ１０２）。選択部１０５１は、選択したコンプリーション対象パッチを探索部１０５２に出力する。
【００３８】
探索部１０５２は、参照画像記憶部１０２に記憶される参照画像Ｉ＿Ｓｏｕｒｃｅに基づいて、コンプリーション対象パッチの類似パッチ候補Ｓｉｍｉｌａｒ＿Ｐａｔｃｈ＿ｉを探索する（ステップＳ１０３）。
選定部１０５３は、探索された類似パッチ候補Ｓｉｍｉｌａｒ＿Ｐａｔｃｈ＿ｉの中から最適パッチＳｉｍｉｌａｒ＿Ｐａｔｃｈ＿ｗｅｌｌを選定する（ステップＳ１０４）。例えば、選定部１０５３は、上記選定方法１又は２のいずれかの方法によって最適パッチＳｉｍｉｌａｒ＿Ｐａｔｃｈ＿ｗｅｌｌを選定する。選定部１０５３は、選定した最適パッチＳｉｍｉｌａｒ＿Ｐａｔｃｈ＿ｗｅｌｌを画像生成部１０５４に出力する。
【００３９】
画像生成部１０５４は、最適パッチＳｉｍｉｌａｒ＿Ｐａｔｃｈ＿ｗｅｌｌを用いて、原画像Ｉ＿Ｏｒｉｇｉｎａｌに対してコンプリーション処理を行う（ステップＳ１０５）。具体的には、画像生成部１０５４は、最適パッチＳｉｍｉｌａｒ＿Ｐａｔｃｈ＿ｗｅｌｌを用いて、原画像Ｉ＿Ｏｒｉｇｉｎａｌにおいて指定される欠損領域Ｄａｍａｇｅｄに対して当該最適パッチＳｉｍｉｌａｒ＿Ｐａｔｃｈ＿ｗｅｌｌをコピーする。
【００４０】
画像生成部１０５４は、コンプリーション対象領域全てに対してコンプリーション処理を行ったか否か判断する（ステップＳ１０６）。コンプリーション対象領域全てに対してコンプリーション処理を行った場合（ステップＳ１０６−ＹＥＳ）、画像生成部１０５４はコンプリーション処理がなされた画像を、原画像Ｉ＿Ｏｒｉｇｉｎａｌにおける欠損領域の画像が除去された画像として出力する。
一方、コンプリーション対象領域全てに対してコンプリーション処理を行っていない場合（ステップＳ１０６−ＮＯ）、画像生成装置１０はコンプリーション対象領域全てに対してコンプリーション処理が終了するまでステップＳ１０２〜１０５の処理を繰り返し実行する。
【００４１】
以上のように構成された画像生成装置１０によれば、欠損領域に対してコンプリーション処理を行った画像において、欠損領域内外における見た目の違和感を低減させることが可能になる。以下、この効果について詳細に説明する。
画像生成装置１０は、コンプリーション対象パッチの類似パッチの中から、所定の選定方法で示される方法において欠損領域内外における見た目の違和感が最も小さいパッチを最適パッチとして選定する。そして、画像生成装置１０は、選定した最適パッチでコンプリーション対象パッチに対してコンプリーション処理を行う。そのため、欠損領域内外における見た目の違和感を低減させることが可能になる。
【００４２】
＜変形例＞
本実施形態では、コンプリーション対象となる画像を外部から画像生成装置１０に入力する構成を示したが、これに限定される必要はない。例えば、画像生成装置１０がコンプリーション対象となる画像を記憶する画像記憶部をさらに備え、画像記憶部に記憶されている画像に対してコンプリーション処理を行ってもよい。このように構成される場合、マスク情報は、外部から入力される。
画像取得部１０１、参照画像記憶部１０２、収集部１０３、判定用画像記憶部１０４、コンプリーション処理部１０５の各機能部は、それぞれ別の装置に実装されてもよいし、各機能部の一部が別の装置に実装されてもよい。
【００４３】
上述した実施形態における画像生成装置１０をコンピュータで実現するようにしてもよい。その場合、画像生成装置１０が有する構成要素を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。更に「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した構成要素の一部を実現するためのものであってもよく、更に前述した構成要素をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。
【００４４】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００４５】
１０…画像生成装置，  １０１…画像取得部，  １０２…参照画像記憶部，  １０３…収集部，  １０４…判定用画像記憶部，  １０５…コンプリーション処理部，  １０５１…選択部，  １０５２…探索部，  １０５３…選定部，  １０５４…画像生成部
【図１】
2016197370.tif 000003
【図２】
2016197370.tif 000004
【図３】
2016197370.tif 000005
【図４】
2016197370.tif 000006