(57)【要約】【課題】欠損領域に対してコンプリーション処理を行った画像において、欠損領域内外における見た目の違和感を低減させること。【解決手段】欠損領域の除去対象の原画像と欠損領域を示すマスク情報とに基づいて原画像から欠損領域の画像を除去することによって第１画像を生成する画像生成装置における画像生成方法であって、欠損領域を含む領域と類似した類似領域を探索する際に使用される画像を記憶する画像記憶部に記憶されている画像と、原画像との複数の特徴量の組合せについて導出された最小誤差と、原画像から導出される画像特徴量と、欠損領域から導出される特徴量とに基づいて類似領域を探索するために用いられる特徴量の組合せを選択し、特徴量の組合せに基づいて画像記憶部内から類似領域を探索し、探索した類似領域を用いて原画像における欠損領域に対してコンプリーション処理を行うことによって第１画像を生成する。【選択図】図１
2016099780.tif 000002
【特許請求の範囲】
【請求項１】
欠損領域の除去対象の原画像と前記欠損領域を示すマスク情報とに基づいて前記原画像から前記欠損領域の画像を除去することによって第１画像を生成する画像生成装置における画像生成方法であって、
前記欠損領域を含む領域と類似した類似領域を探索する際に使用される画像を記憶する画像記憶部に記憶されている前記画像と、前記原画像との複数の特徴量の組合せについて導出された最小誤差と、前記原画像から導出される画像特徴量と、欠損領域から導出される特徴量とに基づいて前記類似領域を探索するために用いられる特徴量の組合せを選択する特徴量選択ステップと、
選択された特徴量の組合せに基づいて前記画像記憶部内から類似領域を探索し、探索した前記類似領域を用いて前記原画像における前記欠損領域に対してコンプリーション処理を行うことによって前記第１画像を生成するコンプリーション処理ステップと、
を有する画像生成方法。
【請求項２】
前記特徴量選択ステップにおいて、原画像の画像特徴量と、欠損領域の特徴量と、最小誤差と、特徴量の組合せを一意に識別するための識別情報とを対応付けて複数記憶している記憶部を参照し、導出された前記最小誤差と、導出された前記画像特徴量と、導出された前記特徴量とに最も類似している原画像の画像特徴量と、欠損領域の特徴量と、最小誤差とに対応付けられている前記識別情報で特定される特徴量の組合せを前記類似領域を探索するために用いられる特徴量の組合せとして選択する、請求項１に記載の画像生成方法。
【請求項３】
欠損領域の除去対象の原画像と前記欠損領域を示すマスク情報とに基づいて前記原画像から前記欠損領域の画像を除去することによって第１画像を生成する画像生成装置であって、
前記欠損領域を含む領域と類似した類似領域を探索する際に使用される画像を記憶する画像記憶部と、
前記画像記憶部に記憶されている前記画像と、前記原画像との複数の特徴量の組合せについて導出された最小誤差と、前記原画像から導出される画像特徴量と、欠損領域から導出される特徴量とに基づいて前記類似領域を探索するために用いられる特徴量の組合せを選択する特徴量選択部と、
選択された特徴量の組合せに基づいて前記画像記憶部内から類似領域を探索し、探索した前記類似領域を用いて前記原画像における前記欠損領域に対してコンプリーション処理を行うことによって前記第１画像を生成するコンプリーション処理部と、
を備える画像生成装置。
【請求項４】
請求項１又は２に記載の画像生成方法をコンピュータに実行させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像生成方法、画像生成装置及びコンピュータプログラムに関する。
【背景技術】
【０００２】
写真などの静止画像や映像などの動画像を撮影する際に、撮影したい被写体に被さって不要なものを撮影してしまうことがある。被写体に被さった不要なものが撮影された静止画像や動画像は視聴の体感品質を大きく損なってしまうおそれがあり、静止画像や動画像に含まれる不要なものを見た目に違和感なく除去する手法に対する需要は極めて高い。
【０００３】
また、自由視点映像合成と呼ばれる技術では、複数のカメラで撮影された映像群から任意の視点からの画像を合成する。このとき、オブジェクトによる遮蔽などが原因で、合成された任意の視点からの映像の一部が欠損してしまうことがある。このような欠損も画像の視聴の体感品質を大きく損なうおそれがあるため、欠損を見た目に違和感なく補完する手法に対する需要は高い。
【０００４】
以下、静止画像や動画像における、不要なものの映り込みを除去したい領域及び遮蔽などで観測されていない領域などの補完したい領域を欠損領域という。また、欠損領域がマスクで与えられた画像を入力して、入力した画像において欠損領域が、欠損領域以外の領域（以下、「欠損周辺領域」という。）との見た目に違和感なく補完された画像を取得する処理をコンプリーション（Completion）処理という。
【０００５】
欠損領域の位置や大きさを示すマスクは、静止画像や動画像に拘わらず手動又は公知の技術によって与えられるものとする。マスクを取得する公知の技術としては、例えば非特許文献１に記載の技術がある。なお、マスクとは、画像処理の対象となる画像において、当該画像処理を行う領域であるか否かを示す情報である。
【０００６】
図６は、欠損領域を表すマスクの例を示す図である。図６（Ａ）は、マスクを二値の画像で与える一例である。図６（Ａ）に示すマスクは、画像処理を施す対象の画像とは別に与えられる。このマスクは、領域９１ａで示す領域に対して画像処理を行うことを示し、領域９１ｂで示す領域に対して画像処理を行わないことを示している。図６（Ｂ）は、画像処理を施す対象の画像にマスクを重畳した画像でマスクを与える一例である。図６（Ｂ）に示すマスクは、領域９２で示す領域に対して画像処理を行うことを示し、他の領域に対して画像処理を行わないことを示している。図６（Ｂ）のようにマスクを与える場合には、領域９２は、他の領域との区別が容易な色やパターンなどで与えられる。
【０００７】
コンプリーション手法の一つにパッチベースの手法がある。パッチベースのコンプリーションは以下の手順によって行うことができる。
（手順１）コンプリーション対象の領域の中から欠損領域と欠損周辺領域とを共に含む小領域（パッチ）を選択する。この方法としては、欠損領域の輪郭上に存在し、かつ、周辺のエッジの強いパッチを選定する方法などが挙げられる（例えば、非特許文献２参照）。
（手順２）手順１で選択されたパッチの欠損周辺領域の画素を基に、類似パッチを探索する。探索範囲としては、同一画像又は動画像内やストレージ上に保存されている静止画像や動画像等が挙げられる。
（手順３）手順２で探索した類似パッチを、手順１で選択されたパッチにコピーする。
以上の手順１〜３がコンプリーション対象の領域が無くなるまで繰り返し行なわれる。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】Xue Bai, Jue Wang, David Simons and Guillermo Sapiro, "Video SnapCut: Robust Video Object Cutout Using Localized Classifiers", ACM Transactions on Graphics(TOG)- Proceedings of ACM SIGGRAPH 2009, Volume 28, Issue 3, August 2009, Article No.70
【非特許文献２】A. Criminisi, P. Perez, and K. Toyama, “Region filling and object removal by exemplar-based image inpainting,” IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 13, NO. 9, pp. 1200-1212, Sept. 2004.
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、非特許文献２に記載されたコンプリーション手法では、コンプリーション処理を行う際に色やテクスチャ情報など様々な特徴量に基づいて類似パッチが求められる。多くの特徴量に基づいてパッチを探索すると、利用した全ての特徴量について類似するパッチが見つかればより良いコンプリーション処理が可能である。一方で、利用した一部の特徴量について類似するパッチしか見つからない場合には、必ずしも最適な類似パッチを取得できない。このような場合にコンプリーションが行われると、コンプリーション処理された画像の欠損領域内外で見た目に違和感が生じてしまうことがあるという問題があった。
【００１０】
上記事情に鑑み、本発明は、欠損領域に対してコンプリーション処理を行った画像において、欠損領域内外における見た目の違和感を低減させる技術の提供を目的としている。
【課題を解決するための手段】
【００１１】
本発明の一態様は、欠損領域の除去対象の原画像と前記欠損領域を示すマスク情報とに基づいて前記原画像から前記欠損領域の画像を除去することによって第１画像を生成する画像生成装置における画像生成方法であって、前記欠損領域を含む領域と類似した類似領域を探索する際に使用される画像を記憶する画像記憶部に記憶されている前記画像と、前記原画像との複数の特徴量の組合せについて導出された最小誤差と、前記原画像から導出される画像特徴量と、欠損領域から導出される特徴量とに基づいて前記類似領域を探索するために用いられる特徴量の組合せを選択する特徴量選択ステップと、選択された特徴量の組合せに基づいて前記画像記憶部内から類似領域を探索し、探索した前記類似領域を用いて前記原画像における前記欠損領域に対してコンプリーション処理を行うことによって前記第１画像を生成するコンプリーション処理ステップと、を有する画像生成方法である。
【００１２】
本発明の一態様は、上記の画像生成方法であって、前記特徴量選択ステップにおいて、原画像の画像特徴量と、欠損領域の特徴量と、最小誤差と、特徴量の組合せを一意に識別するための識別情報とを対応付けて複数記憶している記憶部を参照し、導出された前記最小誤差と、導出された前記画像特徴量と、導出された前記特徴量とに最も類似している原画像の画像特徴量と、欠損領域の特徴量と、最小誤差とに対応付けられている前記識別情報で特定される特徴量の組合せを前記類似領域を探索するために用いられる特徴量の組合せとして選択する。
【００１３】
本発明の一態様は、欠損領域の除去対象の原画像と前記欠損領域を示すマスク情報とに基づいて前記原画像から前記欠損領域の画像を除去することによって第１画像を生成する画像生成装置であって、前記欠損領域を含む領域と類似した類似領域を探索する際に使用される画像を記憶する画像記憶部と、前記画像記憶部に記憶されている前記画像と、前記原画像との複数の特徴量の組合せについて導出された最小誤差と、前記原画像から導出される画像特徴量と、欠損領域から導出される特徴量とに基づいて前記類似領域を探索するために用いられる特徴量の組合せを選択する特徴量選択部と、選択された特徴量の組合せに基づいて前記画像記憶部内から類似領域を探索し、探索した前記類似領域を用いて前記原画像における前記欠損領域に対してコンプリーション処理を行うことによって前記第１画像を生成するコンプリーション処理部と、を備える画像生成装置である。
【００１４】
本発明の一態様は、上記の画像生成方法をコンピュータに実行させるためのコンピュータプログラムである。
【発明の効果】
【００１５】
本発明により、欠損領域に対してコンプリーション処理を行った画像において、欠損領域内外における見た目の違和感を低減させることが可能となる。
【図面の簡単な説明】
【００１６】
【図１】画像生成装置１０の構成例を示すブロック図である。
【図２】画像生成装置１０が入力する原画像とマスク情報との一例を示す図である。
【図３】特徴量組合せテーブルの具体例を示す図である。
【図４】事例テーブルの具体例を示す図である。
【図５】画像生成装置１０の処理の流れを示すフローチャートである。
【図６】欠損領域を表すマスクの例を示す図である。
【発明を実施するための形態】
【００１７】
以下、本発明の一実施形態を、図面を参照しながら説明する。
画像生成装置は、入力される静止画像又は動画像において指定される欠損領域における画像を補完することにより、欠損領域を除去した静止画像又は動画像を生成する装置である。以下、静止画像と動画像とを区別しない場合に静止画像と動画像とを画像という。なお、動画像は、複数の連続した静止画像（フレーム）の集合である。図１に示すように、画像生成装置１０は、画像取得部１０１、特徴量選択部１０２、コンプリーション処理部１０３、記憶部１０４を備える。
【００１８】
図１は、画像生成装置１０の構成例を示すブロック図である。
画像生成装置１０は、欠損領域の画像を補完するコンプリーション処理の対象とする静止画像又は動画像である原画像と、欠損領域を示すマスク情報とを外部から入力する。画像生成装置１０は、原画像とマスク情報とに基づいて原画像から欠損領域の画像を除去することによって欠損領域が除去された画像（第１画像）を生成する。図２は、画像生成装置１０が入力する原画像とマスク情報との一例を示す図である。画像生成装置１０は、図２（Ａ）及び（Ｂ）に示すように、原画像とマスク情報とを個別に入力する。或いは画像生成装置１０は、図２（Ｃ）に示すように、原画像に対してマスクが重畳された画像を入力する。
【００１９】
画像取得部１０１は、コンプリーションを施す対象の原画像と、欠損領域を示すマスク情報とを外部から取得する。マスク情報は、原画像と同じサイズを有する画像であり、欠損領域の画素値が１、欠損周辺領域の画素値が０で表される（図２（Ｂ）参照）。ただし、マスク情報における画素値は、欠損領域と欠損周辺領域とが区別できれば上述の値以外の値であってもよい。
なお、図２（Ｂ）に示したような原画像にマスクが重畳された画像が画像生成装置１０に入力された場合には、画像取得部１０１は入力された画像においてマスクが示す欠損領域と欠損周辺領域とを二値で表したマスク情報を生成する。
【００２０】
特徴量選択部１０２は、画像取得部１０１によって取得された原画像及びマスク情報と、記憶部１０４に記憶される情報とに基づいて、類似パッチを探索するために有効な特徴量（以下、「参照特徴量」という。）の組合せ（以下、「参照特徴量組」という。）を選択する。
【００２１】
コンプリーション処理部１０３は、画像取得部１０１によって取得されたマスク情報と、選択された参照特徴量組の情報とを特徴量選択部１０２から取得する。コンプリーション処理部１０３は、参照特徴量組として選択された特徴量の組合せに基づいて探索された類似パッチを用いて、原画像においてマスク情報で示される欠損領域に対してコンプリーション処理を行うことによって欠損領域が除去された画像を生成する。静止画像及び動画像に対するコンプリーション処理に関する研究は多数行われており、コンプリーション処理部１０３は、公知の技術を用いて原画像にコンプリーション処理を行う。なお、マスクが原画像に重畳された画像を画像取得部１０１が取得した場合には、コンプリーション処理部１０３はマスク情報を特徴量選択部１０２から取得する。
【００２２】
記憶部１０４は、特徴量組合せテーブル記憶部１０４１、事例テーブル記憶部１０４２及び参照画像記憶部１０４３で構成される。以下、各記憶部について具体的に説明する。
特徴量組合せテーブル記憶部１０４１は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。特徴量組合せテーブル記憶部１０４１は、特徴量組合せテーブルを記憶している。特徴量組合せテーブルは、特徴量の組み合わせに関するレコード（以下、「組合せレコード」という。）によって構成される。
【００２３】
事例テーブル記憶部１０４２は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。事例テーブル記憶部１０４２は、事例テーブルを記憶している。事例テーブルは、過去の事例に基づく事例結果に関するレコード（以下、「事例レコード」という。）によって構成される。より具体的に、事例テーブルには、どの特徴量の組合せで類似パッチを探索した場合に最も良好なコンプリーション処理を実現可能であるのかを表す事例結果が記憶されている。なお、事例結果は、被験者実験などによって得られた結果に基づいて事前に作成される。
【００２４】
参照画像記憶部１０４３は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。参照画像記憶部１０４３は、類似パッチの探索候補として使用される静止画像や動画像等の参照画像を記憶している。
【００２５】
図３は、特徴量組合せテーブルの具体例を示す図である。
特徴量組合せテーブルは、組合せレコード２０を複数有する。組合せレコード２０は、特徴量組ＩＤ及び特徴量の各値を有する。特徴量組ＩＤの値は、特徴量の組合せを一意に識別するための識別情報を表す。特徴量の値は、参照特徴量の候補となる特徴量を表す。具体的には、特徴量の値が、“１”の項目に対応する特徴量は、参照特徴量の候補であることを表す。つまり、特徴量の値が、“１”の項目に対応する特徴量は、類似パッチを探索するために利用される特徴量であることを表す。一方、特徴量の値が、“０”の項目に対応する特徴量は、参照特徴量の候補ではないことを表す。つまり、特徴量の値が、“０”の項目に対応する特徴量は、類似パッチを探索するために利用されない特徴量であることを表す。特徴量の具体例として、Ｒ（画素値のＲｅｄ）、Ｇ（画素値のＧｒｅｅｎ）、Ｂ（画素値のＢｌｕｅ）、Ｇｒａｙ、ＨＯＧ（Histograms of Oriented Gradients）、ＧＩＳＴなどがある。
【００２６】
図３に示される例では、特徴量組合せテーブルには複数の特徴量組ＩＤが登録されている。これらの特徴量組ＩＤは、“１”、“２”、“・・・”、“Ｎ（Ｎは２以上の整数）”である。図３において、特徴量組合せテーブルの最上段に登録されている組合せレコード２０は、特徴量組ＩＤの値が“１”、Ｒの値が“１”、Ｇの値が“０”、Ｂの値が“１”、Ｇｒａｙの値が“０”、ＨＯＧの値が“１”、ＧＩＳＴの値が“１”である。すなわち、特徴量組ＩＤ“１”で識別される特徴量の組合せが、特徴量“Ｒ”、“Ｂ”、“ＨＯＧ”及び“ＧＩＳＴ”の組合せであることが表されている。
【００２７】
図４は、事例テーブルの具体例を示す図である。
事例テーブルは、事例レコード３０を複数有する。事例レコード３０は、事例ＩＤ、画像特徴量、欠損領域特徴量、最小誤差情報及び特徴量組ＩＤの各値を有する。事例ＩＤの値は、事例結果を一意に識別するための情報を表す。画像特徴量の値は、原画像（静止画像又は動画像）の特徴を表す。画像特徴量は、例えばフーリエ変換によって求まる周波数情報、平均色、輝度などである。欠損領域特徴量の値は、マスク情報で示される欠損領域の特徴を表す。欠損領域特徴量は、例えば欠損領域のピクセル数、欠損領域の原画像に対するサイズの割合、中心からの離れ度合などがある。最小誤差情報の値は、原画像から得られるパッチと、参照画像から得られる類似パッチとの各特徴量の組合せについて求められた最小誤差を表す。特徴量組ＩＤの値は、特徴量の組合せを一意に識別するための識別情報を表す。
【００２８】
図４に示される例では、事例テーブルには複数の事例ＩＤが登録されている。これらの事例ＩＤは、“１”、“・・・”、“Ｍ（Ｍは２以上の整数）”である。図４において、事例テーブルの最上段に登録されている事例レコード３０は、事例ＩＤの値が“１”、画像特徴量の値が“ａ、ｂ、ｃ”、欠損領域特徴量の値が“ｐ、ｑ”、最小誤差情報の値が“ｘ、ｙ”、特徴量組ＩＤの値が“１”である。すなわち、事例ＩＤ“１”で識別される事例結果として、画像特徴量の値が“ａ、ｂ、ｃ”のいずれかと、欠損領域特徴量の値が“ｐ、ｑ” のいずれかと、最小誤差情報の値が“ｘ、ｙ”のいずれかと類似する値がある場合に、特徴量組ＩＤ“１”が選択されることが表されている。
【００２９】
図５は、画像生成装置１０の処理の流れを示すフローチャートである。なお、図５の説明では、画像生成装置１０には原画像と、マスク情報とが個別に入力される場合を例に説明する。
画像取得部１０１は、外部から原画像及びマスク情報を個別に取得する（ステップＳ１０１）。画像取得部１０１は、取得した原画像及びマスク情報を特徴量選択部１０２に出力する。特徴量選択部１０２は、原画像及びマスク情報と、記憶部１０４に記憶される各情報とに基づいて参照特徴量組を選択する（ステップＳ１０２）。以下、特徴量選択部１０２の具体的な処理について説明する。
【００３０】
まず、特徴量選択部１０２は、原画像から、欠損領域と欠損周辺領域とを共に含むパッチ（以下、「コンプリーション対象パッチ」という。）を選択する。この方法としては、欠損領域の輪郭上に存在し、周辺のエッジの強いパッチから選定する方法などが挙げられる。なお、パッチの大きさは欠損領域と欠損周辺領域とを共に含む小領域の大きさであればどのような大きさであってもよい。
【００３１】
次に、特徴量選択部１０２は、特徴量組合せテーブルに登録されている各特徴量の組合せそれぞれに基づいて、参照画像記憶部１０４３に記憶されている参照画像からコンプリーション対象パッチと類似している類似パッチを選択する。具体例を挙げて説明する。まず、特徴量選択部１０２は、特徴量組合せテーブルの最上段に登録されている特徴量組ＩＤ“１”として登録されている各特徴量の組合せを選択する。次に、特徴量選択部１０２は、選択した各特徴量の組合せを用いてコンプリーション対象パッチと、各特徴量の組合せが類似する類似パッチを参照画像から選択する。例えば、この例では、特徴量選択部１０２は、コンプリーション対象パッチの“Ｒ”、“Ｂ”、“ＨＯＧ”及び“ＧＩＳＴ”の各特徴量と類似する類似パッチを参照画像から選択する。特徴量選択部１０２は、この処理を特徴量組合せテーブルに登録されている各特徴量の組合せ全てに対して行う。その後、特徴量選択部１０２は、コンプリーション対象パッチと、選択された類似パッチとの最小誤差をそれぞれ導出する。最小誤差の導出には、最小二乗法やユークリッド距離が最小となるものを求める方法などが利用される。
【００３２】
また、特徴量選択部１０２は、原画像の画像特徴量及びマスク情報で示される欠損領域の特徴量（欠損領域特徴量）を求める。
その後、特徴量選択部１０２は、導出した各特徴量の組合せごとのコンプリーション対象パッチと類似パッチとの最小誤差と、各特徴量（画像特徴量及び欠損領域特徴量）とに基づいて、事例テーブル記憶部１０４２に記憶されている事例テーブルから１つの特徴量組ＩＤを取得する。例えば、特徴量選択部１０２は、事例テーブルに登録されている事例レコード３０のうち、導出した最小誤差と、各特徴量（画像特徴量及び欠損領域特徴量）とに最も類似する値が登録されている事例レコード３０を選択する。そして、特徴量選択部１０２は、選択した事例レコード３０の特徴量ＩＤの項目に記憶されている値を取得する。
【００３３】
そして、特徴量選択部１０２は、取得した特徴量ＩＤの値に基づいて、特徴量組合せテーブル記憶部１０４１に記憶されている特徴量組合せテーブルから参照特徴量組を選択する。例えば、特徴量選択部１０２は、特徴量組合せテーブルに登録されている組合せレコード２０のうち、取得した特徴量ＩＤの値に対応する組合せレコード２０を選択する。そして、特徴量選択部１０２は、選択した組合せレコード２０の特徴量の項目に記録されている各特徴量の値を取得する。特徴量選択部１０２は、取得した各特徴量の値において“１”の値が記録されている特徴量の組合せを参照特徴量組として選択する。特徴量選択部１０２は、原画像、マスク情報、参照特徴量組及び当該参照特徴量組を用いて選択された類似パッチをコンプリーション処理部１０３に出力する。
【００３４】
コンプリーション処理部１０３は、参照特徴量組として選択された特徴量の組合せに基づいて探索された類似パッチを用いて、原画像に対してコンプリーション処理を行う（ステップＳ１０３）。具体的には、コンプリーション処理部１０３は、特徴量選択部１０２から取得した参照特徴量組を用いて選択された類似パッチの中からコンプリーション対象パッチとの最小誤差が最も小さい類似パッチを用いて、原画像において指定される欠損領域に対して当該類似パッチをコピーする。
【００３５】
コンプリーション処理部１０３は、コンプリーション対象領域全てに対してコンプリーション処理を行ったか否か判断する（ステップＳ１０４）。コンプリーション対象領域全てに対してコンプリーション処理を行った場合（ステップＳ１０４−ＹＥＳ）、画像生成装置１０はコンプリーション処理がなされた画像を、原画像における欠損領域が除去された画像として出力する。
一方、コンプリーション対象領域全てに対してコンプリーション処理を行っていない場合（ステップＳ１０４−ＮＯ）、画像生成装置１０はコンプリーション対象領域全てに対してコンプリーション処理が終了するまでステップＳ１０２及び１０３の処理を繰り返し実行する。
【００３６】
以上のように構成された画像生成装置１０によれば、欠損領域内外における見た目の違和感を低減させることができる。以下、具体的に説明する。画像生成装置１０は、画像特徴量、欠損領域特徴量及び最小誤差情報と、事例テーブルとに基づいて１つの特徴量の組合せを選択する。この際に選択される特徴量の組合せは、過去の事例から事例テーブルに登録されている特徴量の組合せで類似パッチを探索した場合に最も良好なコンプリーション処理を実現可能であるとの事例結果を有する特徴量の組合せである。そのため、画像生成装置１０は、選択された特徴量の組合せに基づく類似パッチをコンプリーション対象パッチと類似する類似パッチとしてコンプリーション処理に利用することによって欠損領域内外における見た目の違和感を低減させることが可能になる。
【００３７】
＜変形例＞
本実施形態では、コンプリーション対象となる画像を外部から画像生成装置１０に入力する構成を示したが、これに限定される必要はない。例えば、画像生成装置１０がコンプリーション対象となる画像を記憶する画像記憶部をさらに備え、画像記憶部に記憶されている画像に対してコンプリーション処理を行ってもよい。このように構成される場合、マスク情報は、外部から入力される。
画像取得部１０１、特徴量選択部１０２、コンプリーション処理部１０３の各機能部は、それぞれ別の装置に実装されてもよいし、各機能部の一部が別の装置に実装されてもよい。
特徴量組合せテーブルの特徴量の項目には、上述した特徴量以外の特徴量が登録されていてもよい。例えば、特徴量組合せテーブルの特徴量の項目には、ＳＩＦＴ（Scale-Invariant Feature Transform）、ＳＵＲＦ（Speeded Up Robust Features）などの特徴量が登録されていてもよいし、特徴量であればどのような特徴量が登録されていてもよい。
【００３８】
上述した実施形態における画像生成装置１０をコンピュータで実現するようにしてもよい。その場合、画像生成装置１０が有する構成要素を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。更に「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した構成要素の一部を実現するためのものであってもよく、更に前述した構成要素をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。
【００３９】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００４０】
１０…画像生成装置，  １０１…画像取得部，  １０２…特徴量選択部，  １０３…コンプリーション処理部，  １０４…記憶部，  １０４１…特徴量組合せテーブル記憶部，  １０４２…事例テーブル記憶部，  １０４３…参照画像記憶部
【図１】
2016099780.tif 000003
【図３】
2016099780.tif 000004
【図４】
2016099780.tif 000005
【図５】
2016099780.tif 000006
【図２】
2016099780.tif 000007
【図６】
2016099780.tif 000008