(57)【要約】【課題】実際に修復処理を実際に施す領域の最適化処理を行う画像領域生成装置等を提供する。【解決手段】画像領域生成装置は、所定の領域を、画素値を補完する対象となる欠損領域として取得する欠損領域取得部と、欠損領域を修復領域の初期値とし、修復領域に基づいて画像を修復する修復部と、修復部で修復した画像から、違和感がある領域である違和感領域を抽出する違和感領域抽出部と、違和感領域に基づいて修復領域を最適化する修復領域最適化部とを含む。【選択図】図４
2019020877.tif 000002
【特許請求の範囲】
【請求項１】
所定の領域を、画素値を補完する対象となる欠損領域として取得する欠損領域取得部と、
前記欠損領域を修復領域の初期値とし、修復領域に基づいて画像を修復する修復部と、
前記修復部で修復した画像から、違和感がある領域である違和感領域を抽出する違和感領域抽出部と、
前記違和感領域に基づいて前記修復領域を最適化する修復領域最適化部とを含む、
画像領域生成装置。
【請求項２】
請求項１の画像領域生成装置であって、
前記違和感領域が所定の値以下になるまで、前記修復部、前記違和感領域抽出部、前記修復領域最適化部における処理を繰り返す、
画像領域生成装置。
【請求項３】
請求項１または請求項２の画像領域生成装置であって、
所定の領域を、画素値を補完する対象としない保持領域として取得する保持領域取得部をさらに含み、
(i)前記修復部において、前記修復領域であって、前記保持領域でない領域を修復する、
または／および
(ii)前記違和感領域抽出部において、前記違和感領域であって、前記保持領域でない領域を抽出する、
または／および
(iii)前記修復領域最適化部において、前記修復領域が前記保持領域を含まないように前記修復領域を最適化する、
画像領域生成装置。
【請求項４】
所定の領域を、画素値を補完する対象となる欠損領域として取得する欠損領域取得ステップと、
前記欠損領域を修復領域の初期値とし、修復領域に基づいて画像を修復する修復ステップと、
前記修復ステップで修復した画像から、違和感がある領域である違和感領域を抽出する違和感領域抽出ステップと、
前記違和感領域に基づいて前記修復領域を最適化する修復領域最適化ステップとを含む、
画像領域生成装置が実行する画像領域生成方法。
【請求項５】
請求項４の画像領域生成方法であって、
前記違和感領域が所定の値以下になるまで、前記修復ステップ、前記違和感領域抽出ステップ、前記修復領域最適化ステップにおける処理を繰り返す、
画像領域生成方法。
【請求項６】
請求項４または請求項５の画像領域生成方法であって、
所定の領域を、画素値を補完する対象としない保持領域として取得する保持領域取得ステップをさらに含み、
(i)前記修復ステップにおいて、前記修復領域であって、前記保持領域でない領域を修復する、
または／および
(ii)前記違和感領域抽出ステップにおいて、前記違和感領域であって、前記保持領域でない領域を抽出する、
または／および
(iii)前記修復領域最適化ステップにおいて、前記修復領域が前記保持領域を含まないように前記修復領域を最適化する、
画像領域生成方法。
【請求項７】
請求項１から請求項３の何れかの画像領域生成装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画素値を補完する対象となる欠損領域を含む画像とその欠損領域を示すマスク情報を用いて、画像から見た目に違和感なく欠損領域を除去し補完する画像処理技術に関する。
【背景技術】
【０００２】
写真や動画を撮影すると、撮影したいものの手前に不要なものが映りこんでしまうことがある。それにより撮影した写真や動画の視聴の体感品質を大きく損なう恐れがある。このような不要な映り込みを、画像処理によって見た目に違和感なく除去するという手法への需要は、極めて高い。
【０００３】
なお、不要な映り込みなどの除去したい画像内の領域および遮蔽などで観測されず補完したい領域を以降では「欠損領域」と呼ぶ。
【０００４】
また、欠損領域がマスクで与えられた画像を入力として、欠損領域が欠損領域外の領域との見た目に違和感なく補完された画像を出力する処理を修復処理と呼ぶ。
【０００５】
欠損領域の位置を示すマスク情報は、静止画、動画に関わらず手動または既存手法（例として非特許文献１等が挙げられる）によって与えられるものとする。
【０００６】
なお、マスク情報とは画像処理においてある処理を施す領域であるか否かを示す情報であり、例えば、図１Ａに示すように、入力画像とは別に処理を施す部分とそうでない部分を二値で与えるものや、図１Ｂに示すように、画像内で使用されておらず判別が容易な色を入力画像に重畳して処理する領域を明示し、該当色で示された領域は処理を施さないようにするものなどが挙げられる。
【０００７】
修復処理手法としては、非特許文献２のようにパッチ単位で画像中から修復に適した領域を探索し、それに基づいて逐次修復を行う方法や、非特許文献３のようにパッチ単位で画像をどの程度平行移動させれば類似領域が存在するかを調べ、その情報を元に修復を行う方法が挙げられるが、本発明は特に修復手法を限定するものではない。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】Bai, X., Wang, J., Simons, D., Sapiro, G.: Video snapcut: robust video object cutout using localized classifiers. ACM Trans. Graphics 28 (2009)
【非特許文献２】A. Criminisi, P. Perez, and K. Toyama, “Region filling and object removal by examplar-based inpainting,” IEEE Trans. Image Processing, vol. 13, no. 9, pp. 1200-1212, Sept. 2004.
【非特許文献３】Kaiming He, and Jian Sun, “Image Completion Approaches Using the Statistics of Similar Patches”, IEEE Transactions on pattern analysis and machine intelligence, vol36, no12, pp2423-2435, 2014.
【発明の概要】
【発明が解決しようとする課題】
【０００９】
画像、映像の修復処理には、一様なテクスチャが連続しているなどの背景領域の補完は良好に行なえるが、オブジェクトや複雑な構造物などの補完は困難であるという課題がある。そのため、与えられた欠損領域がオブジェクトや複雑な構造物などの、修復が難しい領域に重複している場合、良好な補完処理を行うことができない。 
【００１０】
本発明は、実際に修復処理を実際に施す領域（以下、修復領域ともいう）の最適化処理を行う画像領域生成装置、その方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記の課題を解決するために、本発明の一態様によれば、画像領域生成装置は、所定の領域を、画素値を補完する対象となる欠損領域として取得する欠損領域取得部と、欠損領域を修復領域の初期値とし、修復領域に基づいて画像を修復する修復部と、修復部で修復した画像から、違和感がある領域である違和感領域を抽出する違和感領域抽出部と、違和感領域に基づいて修復領域を最適化する修復領域最適化部とを含む。
【００１２】
上記の課題を解決するために、本発明の他の態様によれば、画像領域生成装置が実行する画像領域生成方法は、所定の領域を、画素値を補完する対象となる欠損領域として取得する欠損領域取得ステップと、欠損領域を修復領域の初期値とし、修復領域に基づいて画像を修復する修復ステップと、修復ステップで修復した画像から、違和感がある領域である違和感領域を抽出する違和感領域抽出ステップと、違和感領域に基づいて修復領域を最適化する修復領域最適化ステップとを含む。
【発明の効果】
【００１３】
本発明によれば、修復領域を最適化することができるという効果を奏する。
【図面の簡単な説明】
【００１４】
【図１】マスク情報の例を示す図。
【図２】欠損領域と修復領域とが同一の場合の例を示す図。
【図３】欠損領域と修復領域とが異なり、修復領域が欠損領域を拡大して得られる領域である場合の例を示す図。
【図４】第一実施形態及び第二実施形態に係る画像領域生成装置の機能ブロック図。
【図５】第一実施形態及び第二実施形態に係る画像領域生成装置の処理フローの例を示す図。
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態について、説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。以下の説明において、ベクトルや行列の各要素単位で行われる処理は、特に断りが無い限り、そのベクトルやその行列の全ての要素に対して適用されるものとする。
【００１６】
＜第一実施形態のポイント＞
良好な補完処理が行えていない領域を避けて欠損領域が指定できるよう、欠損領域の最適化処理を行う。なお、本発明原稿において以下のように用語を定義するものとする。
・原画像・映像  ・・・  初期入力となる元画像および映像。
・欠損領域  ・・・  初期値として与えられた修復処理を施す領域。言い換えると、画素値を補完する対象となる所定の領域。
・修復領域  ・・・  欠損領域と同じ、もしくはそれよりも拡大または縮小された、実際に修復処理を施す領域。
・非修復領域  ・・・  原画像・映像中にある、修復領域以外の領域。
【００１７】
先行研究では、オクルージョン（手前にある物体が背後にある物体を隠す状態）などにより補完が必要な領域（欠損領域）と修復処理を施す領域（修復領域）とが同一であった。
【００１８】
これに対し本実施形態は、修復領域を欠損領域から拡大または縮小することで、修復処理をより簡単な問題設定にし、より良好な修復結果を導出する。
【００１９】
効果の例を図２及び図３を用いて説明する。図２及び図３の原画像において、手前の人物が表示されている領域を欠損領域とする。図２は欠損領域と修復領域とが同一の場合の例を、図３は欠損領域と修復領域とが異なり、修復領域が欠損領域を拡大して得られる領域である場合の例を示す。図２の例では、補間後の画像において、奥の人物の影が不自然に消えており、波打ち際で遊ぶ人物の手前に砂煙のようなものが発生し、違和感が生じている。一方、図３の例では、欠損領域(手前の人物)の奥にいる人物にまで修復領域を拡大することで違和感のない画像を生成している。
【００２０】
このように、欠損領域近傍で原画像、原映像(以下、「原画像等」という)が複雑な構造や色変化や激しい動きを有し、当該領域の修復処理が困難である場合には、欠損領域近傍の非修復領域の複雑な構造や色の変化を有する領域を修復領域に含める、または、欠損領域内の複雑な構造や色の変化を有する領域を修復領域から除くことで問題を簡単化し、良好な修復処理を実現することができる。
【００２１】
以下、上述の修復処理を実現するための構成について説明する。
【００２２】
＜第一実施形態＞
図４は本実施形態に係る画像領域生成装置１００の機能ブロック図を、図５はその処理フローの例を示す。
【００２３】
画像領域生成装置１００は、欠損領域取得部１１０と、修復部１２０と、違和感領域抽出部１３０と、修復領域最適化部１４０とを含む。
【００２４】
画像領域生成装置１００は、例えば、中央演算処理装置（CPU: Central Processing Unit）、主記憶装置（RAM: Random Access Memory）などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。画像領域生成装置１００は、例えば、中央演算処理装置の制御のもとで各処理を実行する。画像領域生成装置１００に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて中央演算処理装置へ読み出されて他の処理に利用される。画像領域生成装置１００の各処理部は、少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。画像領域生成装置１００が備える各記憶部は、例えば、RAM（Random Access Memory）などの主記憶装置、ハードディスクや光ディスクもしくはフラッシュメモリ（Flash Memory）のような半導体メモリ素子により構成される補助記憶装置、またはリレーショナルデータベースやキーバリューストアなどのミドルウェアにより構成することができる。
【００２５】
画像領域生成装置１００は、修復処理を施す対象の原画像等I_inと、欠損領域を指定するマスク画像、マスク映像(以下、「マスク画像等」)I_maskを入力とする。さらに、必要に応じてマスク領域を表す色情報Cを入力とする。CはRGB値をもつ三次元ベクトルであり、例えばマゼンダがマスク領域として指定されている場合はC =(255, 0, 255)のように表すことができる。画像領域生成装置１００は、これらのデータを用いて、修復領域を求め、修復領域を示す情報と修復処理を施した画像との少なくとも何れかを出力する。
【００２６】
＜欠損領域取得部１１０＞
欠損領域取得部１１０は、修復処理を施す対象の原画像等I_inと欠損領域を指定するマスク画像等I_maskを入力とする。さらに、必要に応じてマスク領域を表す色情報Cを入力とする。これらの情報を用いて、欠損領域を取得する（Ｓ１１０）。
【００２７】
図１Ａのように原画像等I_inと、欠損領域を示すマスク画像等I_maskが別で与えられた場合は、マスクで示された領域を欠損領域として用いる。このとき、マスク領域を表す色情報Cが指定される必要はない。
【００２８】
一方、図１Ｂのように原画像等I_inとマスク画像等I_maskが重畳されて与えられた場合は、マスク領域を表す色情報Cで表されたマスク領域とそうでない領域を二値で表したマスク画像等を、原画像等とは別に生成し、これを欠損領域として用いる。
【００２９】
欠損領域は、欠損として指定されたピクセルの位置の集合{(dx1, dy1), …,(dxn, dyn)}で表しても良いし、また、原画像等I_inと同じ大きさの画像で、欠損領域を1、そうでない領域を0などとした2値画像として保持しても構わない。また、このときの2値は他の値でも構わない。
【００３０】
＜修復部１２０＞
修復部１２０は、欠損領域取得部１１０から原画像等I_inを受け取る。さらに、修復部１２０は、欠損領域取得部１１０から欠損領域を、または、後述する修復領域最適化部１４０から修復領域I_damagedを受け取る。修復部１２０は、欠損領域取得部１１０から欠損領域を受け取った場合、欠損領域を修復領域I_damagedの初期値として用いる。修復部１２０は、修復領域I_damagedに基づいて画像を修復し（Ｓ１２０）、修復した画像I_inpaintedを得る。例えば、修復領域I_damagedで示された修復領域を原画像等I_inから除去し違和感なく補完した画像I_inpaintedを得る。
【００３１】
修復処理手法としては、非特許文献２、非特許文献３などが挙げられるが、本発明は特に修復手法を限定するものではない。
【００３２】
＜違和感領域抽出部１３０＞
違和感領域抽出部１３０は、修復部１２０から修復した画像I_inpaintedを受け取り、画像I_inpaintedから、違和感がある領域を抽出し（Ｓ１３０）、違和感領域I_saliencyを得る。違和感領域I_saliencyが存在しない場合(Ｓ１３１の「no」)は、処理を終了する。
【００３３】
違和感領域I_saliencyは、指定されたピクセルの位置の集合{(sx1, sy1), …,(sxn, syn)}で表しても良いし、また、画像I_inpaintedと同じ大きさの画像で、違和感がある領域を1、そうでない領域を0等とした2値画像として保持しても構わない。また、このときの2値は他の値でも構わない。また、違和感の強さを画素値（例えば0から255）として保持しても構わない。また、以下の抽出例２に記すように修復領域I_damagedを小領域単位に分割した際の小領域を示す添え字番号の集合{ID_damaged_1, …, ID_damaged_n}を用いて、違和感がある小領域を示す添え字番号の集合で違和感領域I_saliencyを表しても構わない。
【００３４】
以下に違和感領域抽出部１３０の抽出例を示す。
【００３５】
(抽出例１)saliency mapを用いる方法
画像中の顕著な領域（saliency map）を抽出する手法を用いて、画像I_inpaintedの顕著性マップを生成する。顕著性マップは画像I_inpaintedと同じ大きさの2次元配列であり、顕著性の強さに応じて実数値を与えても良いし、画像として0から255の値を与えても良い。顕著性マップの算出方法としては参考文献１等が考えられるが、本発明は特にこの手法を制限するものではない。
（参考文献１）X. Hou and L. Zhang, “Saliency detection: A spectral residual approach,” in IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2007, pp. 1-8.
【００３６】
生成した顕著性マップを用いて、違和感のある画素を抽出し、違和感領域I_saliencyとして出力する。
【００３７】
本発明は特に違和感のある画素の抽出方法に関して制限するものではないが、例えば前述の実数値または0から255の値が所定の閾値Th1以上になる画素は違和感のある画素であると決定すればよい。
【００３８】
(抽出例２)画像分割を用いる方法
後述する修復領域最適化部１４０で小領域単位の拡大または縮小処理を施すことを前提にし、どの小領域を拡大または縮小すれば良いかを抽出する方法である。
【００３９】
まず、違和感領域抽出部１３０は、修復部１２０から画像I_inpaintedと共に修復領域I_damagedを受け取り、修復領域I_damagedを小領域に分割し、小領域集合Seg_damaged={Seg_damaged_1, Seg_damaged_2, …, Seg_damaged_n}を得る。分割する手法としては、参考文献２に挙げるスーパーピクセル分割などが考えられるが、本発明は特にこの分割手法を制限するものではない。
（参考文献２）Radhakrishna Achanta, Appu Shaji, Kevin Smith, Aurelien Lucchi, Pascal Fua, and Sabine Susstrunk, SLIC Superpixels, EPFL Technical Report no. 149300, 2010.
【００４０】
さらに、求めた小領域集合Seg_damagedのうち、どの小領域に違和感が生じているかを抽出するため、小領域集合Seg_damagedのうち、修復領域I_damagedの輪郭に重複する小領域の添え字の集合IDgを生成する。次に、集合IDgに格納されている添え字(以下、IDともいう）を持つ小領域全てに対して、参考文献３に示す手法を元にランキング関数fの出力値を求め、ランキング関数出力値の集合vを求める。
（参考文献３）M. Isogawa, D. Mikami, K. Takahashi, and A. Kojima, “Eye gaze analysis and learning-to-rank to obtain the most preferred result in image inpainting,” in IEEE International Conference on Image Processing (ICIP), 2016, pp. 3538-3542.
【００４１】
なお、参考文献３により求まるランキング関数fは、画像を「修復結果の良好さ」という一次元軸に射影するための出力値を求めるためのものである。さらに、得られたランキング関数出力値の集合vに基づいて、外れ値をもつ小領域を検出し、その小領域のIDを外れ値ID集合ベクトルOUTに格納し、小領域集合Seg_damaged={Seg_damaged_1, Seg_damaged_2, …, Seg_damaged_n}およびOUTを出力する。なお、外れ値ID集合ベクトルOUTが違和感領域I_saliencyに相当する。
【００４２】
本発明は特に外れ値の検出方法に関して制限するものではないが、例えば一定の閾値Th以下のものは外れ値である(違和感のある小領域である)と決定すればよい。
【００４３】
＜修復領域最適化部１４０＞
修復領域最適化部１４０は、違和感領域抽出部１３０から違和感領域I_saliencyを受け取り、違和感領域I_saliencyに基づいて修復領域I_damagedを最適化し（Ｓ１４０）、最適化後の修復領域I_damagedを得る。例えば、違和感領域I_saliencyに基づいて、欠損領域を拡大または縮小することで最適化し、修復領域I_damagedを得る。
【００４４】
修復領域最適化部１４０では、違和感領域抽出部１３０で得られた違和感領域I_saliencyに基づいて、修復領域I_damagedを拡大または縮小させ、修復領域I_damagedを更新する。拡大により更新された後の修復領域をI_damaged_dilate、縮小により更新された後の修復領域を I_damaged_erodeとする。
【００４５】
以下に修復領域最適化部１４０の処理例を示す。違和感領域抽出部１３０の抽出例１のとき修復領域最適化部１４０の最適化例１が使われ、違和感領域抽出部１３０の抽出例２のとき修復領域最適化部１４０の最適化例２が使われる。
【００４６】
(最適化例１)：saliency mapを用いる方法（違和感領域抽出部１３０の抽出例１に対応）
(1-1)I_damaged_dilateの生成方法：
まず、I_damaged_1=I_damagedとなる一時格納領域I_damaged_1を用意する。次に一時格納領域I_damaged_1中の修復領域の輪郭上に、違和感領域I_saliencyに含まれる画素が存在する場合、その画素の近傍画素を一時格納領域I_damaged_1に加え、一時格納領域I_damaged_1を更新する。この処理を繰り返し、一時格納領域I_damaged_1に加えられる画素がなくなったら一時格納領域I_damaged_1を修復領域I_damaged_dilateとして出力する。
【００４７】
なお、近傍画素とは８近傍画素、もしくは一定距離以内に存在する画素などが考えられるが本発明は特にこれを制限しない。
(1-2)I_damaged_erodeの生成方法：
まず、I_damaged_1=I_damagedとなる一時格納領域I_damaged_1を用意する。次に一時格納領域I_damaged_1中の修復領域の輪郭上に、違和感領域I_saliencyに含まれる画素が存在する場合、その画素を一時格納領域I_damaged_1から除き、一時格納領域I_damaged_1を更新する。この処理を繰り返し、一時格納領域I_damaged_1から除くことができる画素がなくなったら一時格納領域I_damaged_1を修復領域I_damaged_erodeとして出力する。
【００４８】
(最適化例２)：画像分割を用いる方法（違和感領域抽出部１３０の抽出例２に対応）
違和感領域抽出部１３０で得られた小領域集合Seg_damaged={Seg_damaged_1, Seg_damaged_2, …, Seg_damaged_n}および、はずれ値IDの集合ベクトルOUTを入力として、修復領域I_damaged_dilate、 I_damaged_erodeを出力する方法について説明する。
(2-1)I_damaged_dilateの生成方法：
全てのOUTを構成する外れ値IDについて、外れ値IDに隣接している小領域をSeg_damaged={Seg_damaged_1, Seg_damaged_2, …, Seg_damaged_n}から探索し、その小領域が修復領域I_damaged_dilateに含まれていない場合はその小領域を修復領域I_damaged_dilateに含めて修復領域I_damaged_dilateを更新する。
(2-2)I_damaged_erodeの生成方法：
原画像等を考慮した修復領域の縮小を行うため、まず原画像等I_inを小領域に分割し、小領域集合Seg_in={Seg_in_1, Seg_in_2, …, Seg_in_n}を得る。分割する手法としては、参考文献２に挙げるスーパーピクセル分割などが考えられるが、本発明は特にこの分割手法を制限するものではない。
【００４９】
次に、全てのOUTを構成する外れ値IDについて、外れ値IDに対応する小領域(修復領域I_damagedを分割して得られる小領域)をSeg_damaged={Seg_damaged_1, Seg_damaged_2, …, Seg_damaged_n}から探索し、その小領域と重複する画素位置に存在する小領域集合Seg_in中の小領域を探索する。なお、小領域集合Seg_damagedと小領域集合Seg_inとは分割位置が異なる場合があるため、修復領域I_damagedを分割して得られる1つの小領域に対して複数の小領域(原画像等I_inを分割して得られる小領域)が探索され得る。該当する小領域集合Seg_in中の小領域が見つかったら、その小領域を修復領域I_damaged_erodeから除いて修復領域I_damaged_erodeを更新する。より詳しく説明すると、このとき、修復領域I_damaged_erodeから除くのは、小領域そのものではなく、外れ値IDに対応する小領域(修復領域I_damagedを分割して得られる小領域)と、その小領域と重複する画素位置に存在する小領域集合Seg_in中の小領域(原画像等I_inを分割して得られる小領域)との重複部分である。
【００５０】
修復部１２０では最適化した修復領域I_damaged(I_damaged_dilateとI_damaged_erodeeとの少なくとも何れか)に基づいて画像を修復する。違和感領域抽出部１３０では、最適化した修復領域I_damaged(I_damaged_dilateとI_damaged_erodeeとの少なくとも何れか)に基づき修復した画像I_inpaintedを用いて、違和感領域を抽出する。
【００５１】
（繰り返し処理）
違和感領域抽出部１３０における違和感領域I_saliencyの抽出が無くなるまで(Ｓ１３１の「yes」)、修復部１２０、違和感領域抽出部１３０、修復領域最適化部１４０における処理Ｓ１２０，Ｓ１３０，Ｓ１４０を繰り返す。
【００５２】
修復領域最適化部１４０は、最適化後の修復領域I_damaged(I_damaged_dilateとI_damaged_erodeとの少なくとも何れか)を出力する。違和感領域I_saliencyの抽出が無くなるまで(Ｓ１３１の「yes」)は修復部１２０に出力し、違和感領域I_saliencyの抽出が無い場合(Ｓ１３１の「no」)は必要に応じて画像領域生成装置１００の出力値として出力する。なお、上述の通り、画像領域生成装置１００は、修復領域最適化部１４０の出力値である修復領域I_damagedと修復部１２０の出力値である修復した画像I_inpaintedとの少なくとも何れかを出力する。
【００５３】
なお、修復領域を拡大させる場合には修復領域を拡大させる処理を繰り返し、修復領域を縮小させる場合には修復領域を縮小させる処理を繰り返す。また、画像領域生成装置１００は修復領域を拡大させる処理のみ行ってもよいし、縮小させる処理のみを行ってもよい。さらに、拡大させる処理と縮小させる処理とを並行して行ってもよい。例えば、拡大させる処理と縮小させる処理を並行して行い、その結果、得られる二つの修復した画像等から何れの処理がより適切かを人手、または、判定装置により判断してもよい。
【００５４】
＜効果＞
以上の構成により、修復領域を最適化することができ、良好な補完処理を行うことができる。本実施形態では、良好な補完処理が行えていない領域を避けて修復領域を指定することで、補完問題を簡単化し、より良好な修復結果を導出することが可能である。
【００５５】
なお、原画像等が映像である場合には、フレーム毎に上述の処理を行うことで、修復した映像を得ることができる。
【００５６】
なお、修復領域を示す情報及び修復処理を施した画像は電子計算機による処理の用に供する情報であり、画像領域生成装置を用いた画像領域生成方法に係る発明が、特許法第二条第三項第三号の「物を生産する方法の発明」に該当することは言うまでもない。
【００５７】
＜変形例＞
本実施形態では、Ｓ１３１で違和感領域が存在する場合、修正処理Ｓ１２０，違和感領域抽出処理Ｓ１３０、修復領域最適化処理Ｓ１４０を繰り返し行っている。しかしながら、必ずしも繰り返し処理を行う必要はない。そのような場合であっても、必要に応じて、欠損領域とは異なるより適切な修復領域を生成することができる。
【００５８】
本実施形態では、Ｓ１３１において、違和感領域が１つ以上存在する場合、修正処理Ｓ１２０、違和感領域抽出処理Ｓ１３０、修復領域最適化処理Ｓ１４０を繰り返し行っている。しかしながら、違和感領域が所定の値以下になった場合、修正処理Ｓ１２０，違和感領域抽出処理Ｓ１３０、修復領域最適化処理Ｓ１４０を終了する構成としてもよい。例えば、所定の値としては、予め定めた値や違和感領域か否かを判定する際の対象(ピクセル、小領域)の総数の所定の割合(例えば1〜10%)等を利用することができる。なお、第一実施形態は、違和感領域がゼロ(予め定めた値)以下になった場合、処理を終了していると考えられるため、本変形例の一例と言える。
【００５９】
＜第二実施形態＞
第一実施形態と異なる部分を中心に説明する。
【００６０】
図４は本実施形態に係る画像領域生成装置２００の機能ブロック図を、図５はその処理フローの例を示す。
【００６１】
画像領域生成装置２００は、欠損領域取得部１１０と、修復部１２０と、違和感領域抽出部１３０と、修復領域最適化部１４０と、保持領域取得部２６０とを含む。
【００６２】
＜保持領域取得部２６０＞
保持領域取得部２６０は、コンプリーションを施す対象の原画像等I_inと、コンプリーション処理を施さない保持領域(言い換えると、画素値を補完する対象としない所定の領域)I_saveを入力として取得する（Ｓ２６０）。これは、修復領域最適化部１４０においてユーザにとって必要な領域まで修復領域I_damagedとして拡大してしまうことを避けるためである。本実施形態は特に保持領域I_saveの指定方法を限定するものではないが、修復領域I_damagedの指定方法と同様に、ユーザによって与えられるマスク情報により行うなどすればよい。
【００６３】
修復領域最適化部１４０では、原画像等I_inと、修復領域I_damaged、保持領域取得部２６０で得られた保持領域I_saveを入力とし、最適化を行った修復領域I_damaged_dilateまたはI_damaged_erodeを出力する。この際、保持領域I_saveに該当する領域は修復領域I_damaged_dilateまたはI_damaged_erodeに含めない。要は、修復領域最適化部１４０において、修復領域I_damagedが保持領域I_saveを含まないように修復領域I_damagedを最適化する。
【００６４】
＜効果＞
このような構成とすることで、第一実施形態と同様の効果を得ることができる。さらに、ユーザにとって必要な領域が誤って修正されてしまう事態を避けることができる。
【００６５】
＜変形例＞
本実施形態では、修復領域最適化部１４０において、修復領域I_damagedが保持領域I_saveを含まないように修復領域I_damagedを最適化しているが、修復部１２０または違和感領域抽出部１３０において保持領域I_saveを修正しないように処理してもよい。例えば、(i)修復部１２０において、修復領域I_damagedであって、保持領域I_saveでない領域を修復する構成としてもよいし、(ii)違和感領域抽出部１３０において、違和感領域I_saliencyであって、保持領域I_saveでない領域を抽出する構成としてもよい。また、本実施形態の構成と、これらの構成との少なくとも1つを含めばよい。
【００６６】
＜その他の変形例＞
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
【００６７】
＜プログラム及び記録媒体＞
また、上記の実施形態及び変形例で説明した各装置における各種の処理機能をコンピュータによって実現してもよい。その場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
【００６８】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【００６９】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させてもよい。
【００７０】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶部に格納する。そして、処理の実行時、このコンピュータは、自己の記憶部に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実施形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよい。さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００７１】
また、コンピュータ上で所定のプログラムを実行させることにより、各装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
2019020877.tif 000003
【図２】
2019020877.tif 000004
【図３】
2019020877.tif 000005
【図４】
2019020877.tif 000006
【図５】
2019020877.tif 000007