(57)【要約】画像処理装置（１００）は、入力画像を取得する画像取得部（１０１）と、入力画像の内で不要領域を示すマスク画像を取得するマスク画像取得部（１０２）と、不要領域の第一方向に隣接する第一領域において、第一探索幅分の数の画素が第一方向に連続して並ぶ第一画素群を、第一方向の反対方向に折り返して配置する第一処理を第一方向に直交する方向に繰り返して行うことにより第一折り返し画像を生成し、不要領域の第二方向に隣接する第二領域において、第二探索幅分の数の画素が第二方向に連続して並ぶ第二画素群を、第二方向の反対方向に折り返して配置する第二処理を第二方向に直交する方向に繰り返して行うことにより第二折り返し画像を生成する、画像生成部（１１０）と、画像生成部により生成された、第一折り返し画像と、第二折り返し画像との合成により、合成画像を生成する画像合成部（１０５）と、を備える。
2013179560.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を取得する画像取得部と、
前記入力画像の内で不要領域を示す情報である領域情報を取得する取得部と、
（ｉ）前記領域情報により示される前記不要領域の第一方向に隣接する第一領域において、前記不要領域の前記第一方向における第一の幅分の数の画素が前記第一方向に連続して並ぶ第一画素群を、前記不要領域の境界を基準として前記第一方向の反対方向に折り返して配置する第一処理を前記第一方向に直交する方向に繰り返して行うことにより第一折り返し画像を生成し、（ｉｉ）前記不要領域の第二方向に隣接する第二領域において、前記不要領域の前記第二方向における第二の幅分の数の画素が前記第二方向に連続して並ぶ第二画素群を、前記不要領域の境界を基準として前記第二方向の反対方向に折り返して配置する第二処理を前記第二方向に直交する方向に繰り返して行うことにより第二折り返し画像を生成する、画像生成部と、
前記画像生成部により生成された、前記第一折り返し画像と、前記第二折り返し画像との合成により、合成画像を生成する画像合成部と、を備える
画像処理装置。
【請求項２】
前記画像生成部は、
前記第一領域において前記第一方向に連続して並ぶ画素の数が、前記第一の幅分の数よりも少ないと判定した場合に、当該第一領域の前記第一方向に連続して並ぶ画素群を取得して、当該画素群を前記第一方向の反対方向に前記第一の幅分を繰り返し折り返して配置する処理を前記第一処理として前記第一方向に直交する方向に繰り返して行うことにより前記第一折り返し画像を生成し、
前記第二領域において前記第一方向に連続して並ぶ画素の数が、前記第二の幅分の数よりも少ないと判定した場合に、当該第二領域の前記第二方向に連続して並ぶ画素群を取得して、当該画素群を前記第二方向の反対方向に前記第二の幅分を繰り返し折り返して配置する処理を前記第二処理として前記第二方向に直交する方向に繰り返して行うことにより前記第二折り返し画像を生成する
請求項１に記載の画像処理装置。
【請求項３】
さらに、
禁止領域を設定する領域設定部を備え、
前記画像生成部は、（ｉ）前記禁止領域が前記不要領域よりも前記第一方向側にある場合には、前記第一領域から前記禁止領域を除く領域において前記第一処理を前記第一方向に直交する方向に繰り返して行うことにより、前記第一折り返し画像を生成し、（ｉｉ）前記禁止領域が前記不要領域よりも前記第二方向側にある場合には、前記第二領域から前記禁止領域を除く領域において前記第二処理を前記第二方向に直交する方向に繰り返して行うことにより、前記第二折り返し画像を生成する
請求項１または２に記載の画像処理装置。
【請求項４】
さらに、
探索領域を設定する領域設定部を備え、
前記画像生成部は、（ｉ）前記探索領域において前記第一処理を前記第一方向に直交する方向に繰り返して行うことにより、前記第一折り返し画像を生成し、（ｉｉ）前記探索領域を除く領域において前記第二処理を前記第二方向に直交する方向に繰り返して行うことにより、前記第二折り返し画像を生成する
請求項１または２に記載の画像処理装置。
【請求項５】
前記第一方向は水平方向上で前記不要領域の境界から左側の方向であり、
前記第二方向は水平方向上で前記不要領域の境界から右側の方向である
請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
前記画像生成部はさらに、
（ｉ）垂直方向で前記不要領域の上側の方向である第三方向に隣接する第三領域において、前記不要領域の前記第三方向における第三の幅分の数の画素が前記第三方向に連続して並ぶ第三画素群を、前記不要領域の境界を基準として前記第三方向の反対方向に折り返して配置する第三処理を前記第三方向に直交する方向に繰り返して行うことにより第三折り返し画像を生成し、（ｉｉ）垂直方向で前記不要領域の下側の方向である第四方向に隣接する第四領域において、前記不要領域の前記第四方向における第四の幅分の数の画素が前記第四方向に連続して並ぶ第四画素群を、前記不要領域の境界を基準として前記第四方向の反対方向に折り返して配置する第四処理を前記第四方向に直交する方向に繰り返して行うことにより第四折り返し画像を生成し、
前記画像合成部は、前記画像生成部により生成された、前記第一折り返し画像と、前記第二折り返し画像と、前記第三折り返し画像と、第四折り返し画像との合成により、合成画像を生成する
請求項５に記載の画像処理装置。
【請求項７】
前記画像合成部は、
前記第一折り返し画像における複数の画素のそれぞれの画素値に対して設定された第一の重みを、当該画素値に掛け合わせ、
前記第二折り返し画像における複数の画素のそれぞれの画素値に対して設定された第二の重みを、当該画素値に掛け合わせ、
前記第一の重みの掛け合わされた後の前記第一折り返し画像の複数の画素値のそれぞれと、前記第二の重みの掛け合わされた後の前記第二折り返し画像の複数の画素値のそれぞれとを足し合わせることで前記合成を行う
請求項１から５のいずれか１項に記載の画像処理装置。
【請求項８】
前記画像合成部は、前記不要領域の境界から近い画素ほど重みが大きくなるように前記第一の重みおよび第二の重みを設定する
請求項７に記載の画像処理装置。
【請求項９】
前記画像合成部は、前記不要領域を構成する複数の画素のそれぞれについて、当該画素に対応する位置にある前記第一折り返し画像の画素値に掛け合わされる前記第一の重みと、および当該画素に対応する位置にある前記第二折り返し画像の画素値に掛け合わされる前記第二の重みとの加算値が１になるように、前記第一の重みと前記第二の重みとを設定する
請求項７または８に記載の画像処理装置。
【請求項１０】
さらに、
前記不要領域の周辺領域のテクスチャを解析することで、前記第一方向および前記第二方向を決定するテクスチャ解析部を備える
請求項１から９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記テクスチャ解析部は、前記入力画像のエッジ画像から求めたエッジ強度およびエッジ角度から、最頻度の直線を検出し、前記第一の方向および前記第二方向を、検出した前記最頻度の直線上の両方向に決定する
請求項１０に記載の画像処理装置。
【請求項１２】
前記テクスチャ解析部は、前記入力画像のエッジ画像から求めた画素ごともしくは領域ごとのエッジの角度から、頻度の高い角度を検出し、前記第一方向および前記第二方向を、検出した前記頻度の高い角度に対して垂直な方向に決定する
請求項１０または１１に記載の画像処理装置。
【請求項１３】
さらに、
前記入力画像のうち前記不要領域の周辺の領域を、同一もしくは類似の特徴を有する画素の集合である複数の領域に分割する領域分割部を備え、
前記画像生成部は、前記複数の領域のそれぞれについて、前記不要領域の当該領域で設定される所定方向における幅分の数の画素が前記所定方向に連続して並ぶ画素群を、前記不要領域の境界を基準として前記所定方向の反対方向に折り返して配置する処理を前記所定方向に直交する方向に繰り返して行うことにより分割折り返し画像を生成する
請求項１から１２のいずれか１項に記載の画像処理装置。
【請求項１４】
さらに、
前記画像合成部の結果を表示する画像表示部を備える
請求項１から１３のいずれか１項に記載の画像処理装置。
【請求項１５】
ユーザによるタッチ入力が可能な表示部を備える画像処理装置であって、
前記表示部に表示されている入力画像内においてタッチ入力されることにより特定された領域を前記入力画像における不要領域として検出する第一検出部と、
前記不要領域が前記第一検出部により検出された後、再びタッチ入力を検出し、検出した前記タッチ入力による検出位置が所定値以上の移動である場合に、当該移動の方向を第一方向として検出する第二検出部と、
前記不要領域の前記第一方向に隣接する第一領域に、前記不要領域の前記第一方向の幅分の数の画素が前記第一方向に連続して並ぶ第一画素群を、前記不要領域の境界を基準として前記第一方向の反対方向に折り返して配置する第一処理を前記第一方向に直交する方向に繰り返して行うことにより第一折り返し画像を生成する画像生成部と、
前記入力画像と、前記第一折り返し画像とを合成することにより、合成画像を生成する画像合成部と、
前記合成画像を表示する前記表示部と、を備える
画像処理装置。
【請求項１６】
入力画像を取得する画像取得ステップと、
前記入力画像の内で不要領域を示す情報である領域情報を取得する取得ステップと、
（ｉ）前記領域情報により示される前記不要領域の第一方向に隣接する第一領域において、前記不要領域の前記第一方向における第一の幅分の数の画素が前記第一方向に連続して並ぶ第一画素群を、前記不要領域の境界を基準として前記第一方向の反対方向に折り返して配置する第一処理を前記第一方向に直交する方向に繰り返して行うことにより第一折り返し画像を生成し、（ｉｉ）前記不要領域の第二方向に隣接する第二領域において、前記不要領域の前記第二方向における第二の幅分の数の画素が前記第二方向に連続して並ぶ第二画素群を、前記不要領域の境界を基準として前記第二方向の反対方向に折り返して配置する第二処理を前記第二方向に直交する方向に繰り返して行うことにより第二折り返し画像を生成する、画像生成ステップと、
前記画像生成ステップにより生成された、前記第一折り返し画像と、前記第二折り返し画像との合成により、合成画像を生成する画像合成ステップと、を含む
画像処理方法。
【請求項１７】
請求項１６に記載の画像処理方法をコンピュータに実行させるためのプログラム。
【請求項１８】
入力画像を取得する画像取得部と、
前記入力画像の内で不要領域を示す情報である領域情報を取得する取得部と、
（ｉ）前記領域情報により示される前記不要領域の第一方向に隣接する第一領域において、前記不要領域の前記第一方向における第一の幅分の数の画素が前記第一方向に連続して並ぶ第一画素群を、前記不要領域の境界を基準として前記第一方向の反対方向に折り返して配置する第一処理を前記第一方向に直交する方向に繰り返して行うことにより第一折り返し画像を生成し、（ｉｉ）前記不要領域の第二方向に隣接する第二領域において、前記不要領域の前記第二方向における第二の幅分の数の画素が前記第二方向に連続して並ぶ第二画素群を、前記不要領域の境界を基準として前記第二方向の反対方向に折り返して配置する第二処理を前記第二方向に直交する方向に繰り返して行うことにより第二折り返し画像を生成する、画像生成部と、
前記画像生成部により生成された、前記第一折り返し画像と、前記第二折り返し画像との合成により、合成画像を生成する画像合成部と、を備える
集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は静止画、動画における指定した不要領域の画像を除去する画像処理装置および画像処理技術に関するものである。本発明は、例えばデジタルビデオカメラ、デジタルカメラ、ＤＶＤレコーダ等の映像・画像系の情報処理装置分野に広く活用される。
【背景技術】
【０００２】
家族の写真撮影で意図せずに他人が一緒に写ってしまった場合や、観光名所の写真撮影で意図せずに建物以外の通行人が一緒に写ってしまった場合など、撮影後に当該写真撮影で得られた画像から不要な領域を除去したい要望がある。【０００３】
従来の不要領域の除去方法としては、事前にユーザが不要領域を指定することにより、指定された不要領域の面積を判定し、面積の大きさに応じて処理内容を変更するものがある。具体的には、不要領域の面積が閾値未満なら等方拡散方程式＋異方拡散方程式を、閾値以上なら不用意にテクスチャがボケるのを防ぐため、移流方程式とナビエ・ストークス（ＮＳ：Ｎａｖｉｅｒ−Ｓｔｏｋｅｓ）方程式を利用し、不要領域を周辺から補完する（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−２８６７３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の技術では、画像処理にかかる計算量が多く、画像処理に長い時間を要してしまうという問題があり、短時間で処理させるためには処理能力の大きい装置を利用しないと難しい。また、不要領域の面積が大きいと画像処理が行われた箇所が不自然に処理されることが多いという問題もある。【０００６】
本発明は、前記従来の課題を解決するもので、計算量が少なく、かつ、より自然な不要領域の補完処理が実現可能な画像処理装置を提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の一態様に係る画像処理装置は、入力画像を取得する画像取得部と、前記入力画像の内で不要領域を示す情報である領域情報を取得する取得部と、（ｉ）前記領域情報により示される前記不要領域の第一方向に隣接する第一領域において、前記不要領域の前記第一方向における第一の幅分の数の画素が前記第一方向に連続して並ぶ第一画素群を、前記不要領域の境界を基準として前記第一方向の反対方向に折り返して配置する第一処理を前記第一方向に直交する方向に繰り返して行うことにより第一折り返し画像を生成し、（ｉｉ）前記不要領域の第二方向に隣接する第二領域において、前記不要領域の前記第二方向における第二の幅分の数の画素が前記第二方向に連続して並ぶ第二画素群を、前記不要領域の境界を基準として前記第二方向の反対方向に折り返して配置する第二処理を前記第二方向に直交する方向に繰り返して行うことにより第二折り返し画像を生成する、画像生成部と、前記画像生成部により生成された、前記第一折り返し画像と、前記第二折り返し画像との合成により、合成画像を生成する画像合成部と、を備える。【０００８】
これにより、第一折り返し画像および第二折り返し画像を不要領域の境界から折り返すことにより生成している。このため、高速に、かつ、不要領域周辺のテクスチャの周波数と同等の成分を含む自然な画像で不要領域を補完することが可能である。【０００９】
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【００１０】
本発明の画像処理装置および画像処理方法によれば、計算量が少なく、かつ、より自然な不要領域の補完処理を行うことができる。
【図面の簡単な説明】
【００１１】
【図１】図１は、実施の形態１における画像処理装置の構成図である。
【図２】図２は、実施の形態１における処理のフローチャートを示す図である。
【図３】図３は、実施の形態１における第一折り返し画像、第二折り返し画像、および合成画像の生成方法について説明するための図である。
【図４】図４は、重み係数のグラフなどを示す図である。
【図５】図５は、実施の形態１における折り返し画像生成の処理手順図である。
【図６】図６は、入力画像に対して不要領域を設定して、合成画像が表示されるまでの流れを示す図である。
【図７】図７は、ＵＩ表示の一例を示した図である。
【図８】図８は、ＵＩ表示の一例を示した図である。
【図９】図９は、不要領域に近い位置に背景画像とは別の画像がある場合の処理方法を説明するための図である。
【図１０】図１０は、不要領域に近い位置に背景画像とは別の画像がある場合の処理方法を説明するための図である。
【図１１】図１１は、実施の形態２における画像処理装置の構成図である。
【図１２】図１２は、実施の形態２における処理のフローチャートを示す図である。
【図１３】図１３は、実施の形態２におけるテクスチャ解析する際のマスク画像の境界周辺領域の一例を示した図である。
【図１４】図１４は、エッジ方向の頻度を表すヒストグラムを示す図である。
【図１５】図１５は、実施の形態２における第一折り返し画像および第二折り返し画像の生成方法について説明するための図である。
【図１６】図１６は、実施の形態３における画像処理装置の構成図である。
【図１７】図１７は、実施の形態３における処理のフローチャートを示す図である。
【図１８】図１８は、実施の形態３における領域分割結果の一例を示した図である。
【図１９】図１９は、従来の不要物除去装置による処理の処理手順を示す図である。
【発明を実施するための形態】
【００１２】
（本発明の基礎となった知見）
図１９は、特許文献１に記載された従来の不要物除去装置の画像処理における処理フローを示すものである。
【００１３】
図１９において、タッチパネル等のＵＩ（Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）で指定された不要領域はマスク画像に変換され、ステップＳ１０１で取得される。次に、マスク画像が示す不要領域における面積計算をステップＳ１０２で実施する。そして、ステップＳ１０２で算出された面積が閾値以上か否かをステップＳ１０３で判定する。不要領域の面積が閾値未満であれば（Ｓ１０３：Ｙｅｓ）、異方拡散方程式と等方拡散方程式を利用し、不要領域の周辺から不要領域へ画素を拡散および伝播させる不要領域の補完処理を実施する（Ｓ１０４）。また、不要領域が閾値以上の場合、不要領域の補完処理結果がボケるのを防ぐため、移流方程式とＮＳ方程式を併用し拡散および伝播させる（Ｓ１０５）。
【００１４】
しかしながら、前記従来の構成では、拡散方程式や移流体方程式等を用いて繰り返し計算を行い、時間伝播させるため計算量が多いという課題を有している。また、ＮＳ方程式ベースでは不要領域の面積が一定以上大きい場合、不要領域の補完処理結果が周辺領域のテクスチャと異なり、ボケた結果になるという課題を有している。
【００１５】
上記目的を達成するために、本発明の一態様に係る画像処理装置は、入力画像を取得する画像取得部と、前記入力画像の内で不要領域を示す情報である領域情報を取得する取得部と、（ｉ）前記領域情報により示される前記不要領域の第一方向に隣接する第一領域において、前記不要領域の前記第一方向における第一の幅分の数の画素が前記第一方向に連続して並ぶ第一画素群を、前記不要領域の境界を基準として前記第一方向の反対方向に折り返して配置する第一処理を前記第一方向に直交する方向に繰り返して行うことにより第一折り返し画像を生成し、（ｉｉ）前記不要領域の第二方向に隣接する第二領域において、前記不要領域の前記第二方向における第二の幅分の数の画素が前記第二方向に連続して並ぶ第二画素群を、前記不要領域の境界を基準として前記第二方向の反対方向に折り返して配置する第二処理を前記第二方向に直交する方向に繰り返して行うことにより第二折り返し画像を生成する、画像生成部と、前記画像生成部により生成された、前記第一折り返し画像と、前記第二折り返し画像との合成により、合成画像を生成する画像合成部と、を備える。
【００１６】
これによれば、不要領域の第一方向側の第一領域に第一画素群がある場合、および、不要領域の第二方向側の第二領域に第二画素群がある場合、第一折り返し画像および第二折り返し画像を不要領域の境界から折り返すことにより生成している。このため、高速に、かつ、不要領域周辺のテクスチャの周波数と同等の成分を含む自然な画像で不要領域を補完することができる。
【００１７】
また、前記画像生成部は、前記第一領域において前記第一方向に連続して並ぶ画素の数が、前記第一の幅分の数よりも少ないと判定した場合に、当該第一領域の前記第一方向に連続して並ぶ画素群を取得して、当該画素群を前記第一方向の反対方向に前記第一の幅分を繰り返し折り返して配置する処理を前記第一処理として前記第一方向に直交する方向に繰り返して行うことにより前記第一折り返し画像を生成し、前記第二領域において前記第一方向に連続して並ぶ画素の数が、前記第二の幅分の数よりも少ないと判定した場合に、当該第二領域の前記第二方向に連続して並ぶ画素群を取得して、当該画素群を前記第二方向の反対方向に前記第二の幅分を繰り返し折り返して配置する処理を前記第二処理として前記第二方向に直交する方向に繰り返して行うことにより前記第二折り返し画像を生成してもよい。
【００１８】
このため、不要領域の周辺の画素が少ない場合であっても、高速に、かつ、不要領域周辺のテクスチャの周波数と同等の成分を含む自然な画像で不要領域を補完することができる。
【００１９】
また、さらに、禁止領域を設定する領域設定部を備え、前記画像生成部は、（ｉ）前記禁止領域が前記不要領域よりも前記第一方向側にある場合には、前記第一領域から前記禁止領域を除く領域において前記第一処理を前記第一方向に直交する方向に繰り返して行うことにより、前記第一折り返し画像を生成し、（ｉｉ）前記禁止領域が前記不要領域よりも前記第二方向側にある場合には、前記第二領域から前記禁止領域を除く領域において前記第二処理を前記第二方向に直交する方向に繰り返して行うことにより、前記第二折り返し画像を生成してもよい。
【００２０】
これによれば、領域設定部により設定された禁止領域を除いて、第一画素または第二画素を取得することにより第一折り返し画像または第二折り返し画像を生成する。このため、不要領域周辺のテクスチャと明らかに異なるテクスチャを用いて第一折り返し画像または第二折り返し画像を生成することを防ぐことができる。これにより、不要領域周辺のテクスチャの周波数と同等の成分を含む自然な画像で不要領域を補完することができる。
【００２１】
また、さらに、探索領域を設定する領域設定部を備え、前記画像生成部は、（ｉ）前記探索領域において前記第一処理を前記第一方向に直交する方向に繰り返して行うことにより、前記第一折り返し画像を生成し、（ｉｉ）前記探索領域を除く領域において前記第二処理を前記第二方向に直交する方向に繰り返して行うことにより、前記第二折り返し画像を生成してもよい。
【００２２】
これによれば、領域設定部により設定された探索領域について、第一画素または第二画素を取得することにより第一折り返し画像または第二折り返し画像を生成する。このため、探索領域が不要領域周辺のテクスチャと類似するテクスチャに設定されれば、類似するテクスチャを用いて第一折り返し画像または第二折り返し画像を生成することができる。これにより、不要領域周辺のテクスチャの周波数と同等の成分を含む自然な画像で不要領域を補完することができる。
【００２３】
また、前記第一方向は水平方向上で前記不要領域の境界から左側の方向であり、前記第二方向は水平方向上で前記不要領域の境界から右側の方向であってもよい。
【００２４】
これによれば、一般的な画像では背景領域のテクスチャに水平成分が多いため、水平方向で折り返すことで自然な補完ができる。
【００２５】
また、前記画像生成部はさらに、（ｉ）垂直方向で前記不要領域の上側の方向である第三方向に隣接する第三領域において、前記不要領域の前記第三方向における第三の幅分の数の画素が前記第三方向に連続して並ぶ第三画素群を、前記不要領域の境界を基準として前記第三方向の反対方向に折り返して配置する第三処理を前記第三方向に直交する方向に繰り返して行うことにより第三折り返し画像を生成し、（ｉｉ）垂直方向で前記不要領域の下側の方向である第四方向に隣接する第四領域において、前記不要領域の前記第四方向における第四の幅分の数の画素が前記第四方向に連続して並ぶ第四画素群を、前記不要領域の境界を基準として前記第四方向の反対方向に折り返して配置する第四処理を前記第四方向に直交する方向に繰り返して行うことにより第四折り返し画像を生成し、前記画像合成部は、前記画像生成部により生成された、前記第一折り返し画像と、前記第二折り返し画像と、前記第三折り返し画像と、第四折り返し画像との合成により、合成画像を生成してもよい。
【００２６】
これによれば、一般的な画像に多く含まれる垂直画像のテクスチャも折り返すことで、より自然な合成画像が生成できる。
【００２７】
また、前記画像合成部は、前記第一折り返し画像における複数の画素のそれぞれの画素値に対して設定された第一の重みを、当該画素値に掛け合わせ、前記第二折り返し画像における複数の画素のそれぞれの画素値に対して設定された第二の重みを、当該画素値に掛け合わせ、前記第一の重みの掛け合わされた後の前記第一折り返し画像の複数の画素値のそれぞれと、前記第二の重みの掛け合わされた後の前記第二折り返し画像の複数の画素値のそれぞれとを足し合わせることで前記合成を行ってもよい。具体的には、前記画像合成部は、前記不要領域の境界から近い画素ほど重みが大きくなるように前記第一の重みおよび第二の重みを設定してもよい。また、前記画像合成部は、前記不要領域を構成する複数の画素のそれぞれについて、当該画素に対応する位置にある前記第一折り返し画像の画素値に掛け合わされる前記第一の重みと、および当該画素に対応する位置にある前記第二折り返し画像の画素値に掛け合わされる前記第二の重みとの加算値が１になるように、前記第一の重みと前記第二の重みとを設定してもよい。
【００２８】
これらにより、複数の方向から画素を折り返すことにより折り返し画像を合成する際に、より自然な画像を生成できる。
【００２９】
また、さらに、前記不要領域の周辺領域のテクスチャを解析することで、前記第一方向および前記第二方向を決定するテクスチャ解析部を備えてもよい。具体的には、前記テクスチャ解析部は、前記入力画像のエッジ画像から求めたエッジ強度およびエッジ角度から、最頻度の直線を検出し、前記第一の方向および前記第二方向を、検出した前記最頻度の直線上の両方向に決定してもよい。また、前記テクスチャ解析部は、前記入力画像のエッジ画像から求めた画素ごともしくは領域ごとのエッジの角度から、頻度の高い角度を検出し、前記第一方向および前記第二方向を、検出した前記頻度の高い角度に対して垂直な方向に決定してもよい。
【００３０】
これによれば、多くの場合、ユーザの撮影した画像は完全に水平に撮像出来ておらず、傾いた画像となる。よって、背景領域における水平成分も傾いて表示されていることが多い。以上の構成のようにテクスチャ解析部を設けることにより、画像の傾き角を検出し、折り返しの方向に反映させることができるため、より自然な合成画像が生成できる。
【００３１】
また、さらに、前記入力画像のうち前記不要領域の周辺の領域を、同一もしくは類似の特徴を有する画素の集合である複数の領域に分割する領域分割部を備え、前記画像生成部は、前記複数の領域のそれぞれについて、前記不要領域の当該領域で設定される所定方向における幅分の数の画素が前記所定方向に連続して並ぶ画素群を、前記不要領域の境界を基準として前記所定方向の反対方向に折り返して配置する処理を前記所定方向に直交する方向に繰り返して行うことにより分割折り返し画像を生成してもよい。
【００３２】
これによれば、周辺領域の特徴によって領域分割することで、その分割された領域ごとに折り返しの方向を決定する。このため、背景のテクスチャに合わせてより自然な合成画像が生成できる。
【００３３】
また、さらに、前記画像合成部の結果を表示する画像表示部を備えてもよい。
【００３４】
また、ユーザによるタッチ入力が可能な表示部を備える画像処理装置であって、前記表示部に表示されている入力画像内においてタッチ入力されることにより特定された領域を前記入力画像における不要領域として検出する第一検出部と、前記不要領域が前記第一検出部により検出された後、再びタッチ入力を検出し、検出した前記タッチ入力による検出位置が所定値以上の移動である場合に、当該移動の方向を第一方向として検出する第二検出部と、前記不要領域の前記第一方向に隣接する第一領域に、前記不要領域の前記第一方向の幅分の数の画素が前記第一方向に連続して並ぶ第一画素群を、前記不要領域の境界を基準として前記第一方向の反対方向に折り返して配置する第一処理を前記第一方向に直交する方向に繰り返して行うことにより第一折り返し画像を生成する画像生成部と、前記入力画像と、前記第一折り返し画像とを合成することにより、合成画像を生成する画像合成部と、前記合成画像を表示する前記表示部と、を備える画像処理装置としてもよい。
【００３５】
これによれば、ユーザにより決定されたタッチ入力により設定された不要領域および方向に基づいて、不要領域に対する画像処理を行う。このため、ユーザは、自分の所望の条件で画像処理を行わせることができる。
【００３６】
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【００３７】
以下、本発明の一態様に係る画像処理装置および画像処理方法について、図面を参照しながら具体的に説明する。
【００３８】
なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００３９】
（実施の形態１）
図１は、本発明の実施の形態１における画像処理装置の構成図である。図１において、本発明の画像処理装置１００は、画像取得部１０１、マスク画像取得部１０２、画像生成部１１０、および画像合成部１０５、により構成される。画像生成部１１０は、第一画像生成部１０３および第二画像生成部１０４を含む。また、本発明の実施の形態１における画像処理装置１００は図１に示すように画像表示部１０６を備えていてもよい。
【００４０】
すなわち本実施の形態における画像処理装置は、入力画像を取得する画像取得部と、前記入力画像の内で不要領域を示す情報である領域情報を取得する取得部と、（ｉ）前記領域情報により示される前記不要領域の第一方向に隣接する第一領域において、前記不要領域の前記第一方向における第一の幅分の数の画素が前記第一方向に連続して並ぶ第一画素群を、前記不要領域の境界を基準として前記第一方向の反対方向に折り返して配置する第一処理を前記第一方向に直交する方向に繰り返して行うことにより第一折り返し画像を生成し、（ｉｉ）前記不要領域の第二方向に隣接する第二領域において、前記不要領域の前記第二方向における第二の幅分の数の画素が前記第二方向に連続して並ぶ第二画素群を、前記不要領域の境界を基準として前記第二方向の反対方向に折り返して配置する第二処理を前記第二方向に直交する方向に繰り返して行うことにより第二折り返し画像を生成する、画像生成部と、前記画像生成部により生成された、前記第一折り返し画像と、前記第二折り返し画像との合成により、合成画像を生成する画像合成部と、を備える。
【００４１】
以下、本実施の形態における各構成の説明をする。
【００４２】
画像取得部１０１は、デジタルカメラやデジタルビデオカメラで撮影した静止画や動画等の入力画像を取得する。画像取得部１０１は、取得した入力画像をマスク画像取得部１０２へ送る。
【００４３】
マスク画像取得部１０２は、画像取得部１０１から送られる入力画像と、例えばユーザからタッチパネル等のＵＩで指定された不要領域を表現するマスク画像とを取得する取得部である。マスク画像取得部１０２は、取得した入力画像およびマスク画像を第一画像生成部１０３および第二画像生成部１０４へ送る。マスク画像は、例えば不要領域であれば２５５、それ以外は０の輝度値を割り当てた画像（例えば二値化画像）等である。なお、マスク画像取得部１０２は、不要領域を示す領域情報を取得すれば、マスク画像を取得することに限定しない。つまり、マスク画像は、領域情報に含まれる。また、不要領域の特定方法は様々な方法が考えられるがその方法を限定しない。例えば上述のようにタッチパネル等のＵＩによってユーザが指定した領域を不要領域とする場合には、ユーザが画面上の一定領域の境界をなぞるようにタッチすることにより不要領域を指定してもよい。また、予め複数の領域に分割された画像に対して、ユーザが一点のみをタッチし、タッチされた点を含む領域を不要領域としてもよい。また、ユーザが指定することに限らずに、予め定められた一定の基準によって不要領域を自動的に検出するアルゴリズムを設けてもよい。例えば画像処理または画像認識により顔検出や上半身検出を行い、顔や人単位で予め不要領域の候補を検出してもよい。同様に、画像処理等で動き検出を行い、移動物体を不要領域の候補として検出してもよく、さらにＭｅａｎＳｈｉｆｔ法等の領域分割で色の近い塊単位を不要領域の候補としてもよい。
【００４４】
第一画像生成部１０３は、マスク画像取得部１０２から入力画像およびマスク画像を取得し、マスク画像が示す不要領域の境界（以下、「折り返し境界」という）から第一方向へ画素を探索し、折り返し境界を境に探索した画素を折り返して配置することにより第一折り返し画像を生成する。第一画像生成部１０３は、不要領域内の画素を補完する第一折り返し画像を生成した後、画像合成部１０５へ送る。第一画像生成部１０３における折り返し境界（以下、「第一折り返し境界」という）は、不要領域を第一方向へ探査する事で求める事ができる境界である。つまり、第一画像生成部１０３は、マスク画像により示される不要領域の第一方向に隣接する第一領域（以下、「第一探索領域」という）において、不要領域の第一方向における第一の幅（以下、「第一探索幅」という）分の数の画素が第一方向に連続して並ぶ第一画素群を、第一折り返し境界を基準として第一方向の反対方向に折り返して配置する第一処理を第一方向に直交する方向に繰り返し行うことにより第一折り返し画像を生成する。より具体的には、第一画像生成部１０３は、不要領域の第一方向に隣接する第一方向に一列に連続している第一画素群を取得して、第一画素群の第一折り返し境界に近い画素ほど不要領域の境界に近くなるように不要領域に対して第一方向に配置する。
【００４５】
第二画像生成部１０４は、マスク画像取得部１０２から入力画像およびマスク画像を取得し、マスク画像が示す不要領域の折り返し境界から第一方向とは異なる第二方向へ画素を探索し、折り返し境界を境に探索した画素を折り返して配置することにより第二折り返し画像を生成する。第二画像生成部１０４は、不要領域内の画素を補完する第二折り返し画像を生成した後、画像合成部１０５へ送る。第二画像生成部１０４における折り返し境界（以下、「第二折り返し境界」という）は、不要領域を第二方向へ探査する事で求める事ができる境界である。つまり、第二画像生成部１０４は、不要領域の第二方向に隣接する第二領域（以下、「第二探索領域」という）において、不要領域の第二方向における第二の幅（以下、「第二探索幅」という）分の数の画素が第二方向に連続して並ぶ第二画素群を、第二折り返し境界を基準として第二方向の反対方向に折り返して配置する第二処理を第二方向に直交する方向に繰り返し行うことにより第二折り返し画像を生成する。より具体的には、第二画像生成部１０４は、不要領域の第二方向に隣接する第二方向に一列に連続している第二画素群を取得して、第二画素群の第二折り返し境界に近い画素ほど不要領域の境界に近くなるように不要領域に対して第二方向に配置する。
【００４６】
画像合成部１０５は、第一画像生成部１０３および第二画像生成部１０４から、第一折り返し画像および第二折り返し画像と入力画像とマスク画像とを取得する。画像合成部１０５は、第一折り返し画像および第二折り返し画像の折り返しの基準となる折り返し境界からの距離に応じて、第一折り返し画像および第二折り返し画像の各画素を重み付けて重ねる合成により、合成画像を生成する。これにより、画像合成部１０５は、取得した入力画像の不要領域が補完された合成画像を画像表示部１０６へ送る。
【００４７】
画像表示部１０６は、画像合成部１０５から送られる不要領域を補完した後の画像合成結果を液晶ディスプレイ等に表示する。上述したように、画像表示部１０６は本実施の形態における画像処理装置が備えていてもよいし、表示部を備えない画像処理装置の場合には、外部の表示部に出力するようにしてもよい。
【００４８】
次に図２、および図３を用いて本実施の形態の画像生成装置における合成画像を生成する方法を示したフローを説明する。
【００４９】
まずステップＳ１１において画像取得部１０１は入力画像を取得する。
【００５０】
次にステップＳ１２において、マスク画像取得部１０２はマスク画像を取得する。マスク画像の取得方法は上述した通りである。
【００５１】
次にステップＳ１３ａおよびステップＳ９３ｂにて、第一画像生成部１０３および第二画像生成部１０４は、第一方向における第一折り返し画像および第二方向における第二折り返し画像をそれぞれ生成する。本実施の形態における第一方向および第二方向は、予め設定されているものであり、以下の説明では第一方向を水平方向上で不要領域の境界から左側の方向とし、第二方向を水平方向上で不要領域の境界から右側の方向としている。ただし第一方向および第二方向はこれに限るものではない。ステップＳ１３ａおよびステップＳ１３ｂでは、第一方向および第二方向を基に、マスク画像が示す不要領域における各画素に対して折り返すための折り返し境界を設定し、設定した折り返し境界を基準に折り返す対象となる各画素を折り返す。ここで「各画素を折り返す」と表現したが、折り返す対象となる画素は、各画素における輝度値やＲＧＢの値である。また、以下で説明する処理において、画素に対して行っている処理は、実際には、各画素における輝度値やＲＧＢの値（つまり画素値）に対して行われている。
【００５２】
次にステップＳ１４ａおよびステップＳ１４ｂにて、画像合成部１０５は折り返した各画素に、重みを掛け合わせる。本発明では、単一の方向ではなく複数の方向から対象画素を不要領域に対して折り返し、折り返された複数の方向からの各画素を合成し合成画像を生成する。このため、マスク画像における不要領域内の各画素に一旦複数の画素値（つまり、複数の方向からの画素値）が当てはめられる。よって当てはめられた複数の画素値をそれぞれどの程度、反映させて、不要領域内の各画素に対して各合成画素を生成するかに際し、重み付けが必要となる。重み付けの値に関して、詳しくは後述する。
【００５３】
次にステップＳ１５にて、画像合成部１０５はステップＳ１４ａおよびステップＳ１４ｂにて重みを掛け合わせた後の第一折り返し画像と第二折り返し画像を合成し、合成画像を生成する。
【００５４】
以下、図３を用いて、ステップＳ１３ａ、Ｓ１３ｂ、Ｓ１４ａ、Ｓ１４ｂ、およびＳ１５における具体的な処理の例を記載する。
【００５５】
図３には、入力画像２１０、第一方向における第一折り返し境界２１１、第一折り返し画像２１２、第一方向２１３、第一折り返し画像の重み係数２２０、重み係数と第一折り返し画像を掛けた画像２３０、第二方向における第二折り返し境界２４１、第二折り返し画像２４２、第二方向２４３、第二折り返し画像の重み係数２５０、重み係数と第二折り返し画像とを掛けた画像２６０、および第一折り返し画像と第二折り返し画像とを合成した合成画像２７０とを示す。以下、具体的な処理の説明をする。
【００５６】
まず折り返し画像の生成についての具体的な処理について説明する（ステップＳ１３ａ、Ｓ１３ｂ）。
【００５７】
第一画像生成部１０３は、第一折り返し画像２１２を生成するために、第一方向２１３（水平方向における左）に基づいて、各画素を折り返す基準の境界である第一折り返し境界２１１を探索する。つまり、第一画像生成部１０３は、不要領域と第一探索領域との境界を特定することにより、第一折り返し境界２１１を探索する。そして、第一画像生成部１０３は、第一折り返し境界２１１から第一方向２１３である左方向へ入力画像２１０内の画素を探索し、第一折り返し境界２１１を境に不要領域へ画素を折り返し、第一折り返し画像２１２を生成する。同様に、第二折り返し画像２４２を生成するために、第二画像生成部１０４は、第二方向２４３（水平方向における右）に基づいて、各画素を折り返す基準の境界である第二折り返し境界２４１を探索する。つまり、第二画像生成部１０４は、不要領域と不要領域の第一方向側の第二領域（以下、「第二探索領域」という）との境界を特定することにより、第二折り返し境界２４１を探索する。第二画像生成部１０４は、第二折り返し境界２４１から第二方向２４３である右方向へ入力画像２１０内の画素を探索し、第二折り返し境界２４１を境に不要領域へ画素を折り返し、第二折り返し画像２４２を生成する。
【００５８】
次に、各折り返し画像２１２、２４２に対して重みを掛け合わせる処理について説明する（ステップＳ１４ａ、Ｓ１４ｂ）。
【００５９】
画像合成部１０５は、第一折り返し境界２１１から近い距離ほど重みが大きくなるように、第一折り返し画像２１２の複数の画素毎に重み係数２２０を計算し、第一折り返し画像２１２の複数の画素毎に、算出した複数の重み係数２２０を掛けることにより画像２３０を生成する。画像合成部１０５は、同様に第二折り返し境界２４１から近い距離ほど重みが大きくなるように、第二折り返し画像２４２の複数の画素毎に重み係数２５０を計算し、第二折り返し画像２４２の複数の画素毎に、算出した重み係数２５０を掛けることにより画像２６０を生成する。
【００６０】
この際の重み係数は任意の方法により設定される。図３の例では、ある画素２０１に対して、第一重み係数は０．８４、第二重み係数は０．１６と設定されており、第一重み係数と第二重み係数とを足し合わせると１となる。このように複数の方向の重みを足し合わせると１になることを条件として設定することが好ましい。つまり、画像合成部１０５は、不要領域を構成する複数の画素のそれぞれについて、当該画素に対応する位置にある第一折り返し画像の画素に掛け合わされた第一重み係数と、当該画素に対応する位置にある第二折り返し画像の画素に掛け合わされた第二重み係数との加算値が１になるように、第一重み係数と第二重み係数とを設定してもよい。また、折り返し境界から近い距離ほど重みを大きくなるよう各重み係数を設定することには、例えば図１０のテーブルのようなものを用いて重みを算出しても良い。図１０の（ａ）は、折り返し境界からの距離に応じて、不要領域の中で最も近い画素の重み係数を１．０、不要領域の中で最も遠い画素の重み係数を０として設定された、第一方向における重み係数算出用のテーブルを示す。図１０の（ｂ）は、不要領域の画素数が１１の時に、（ａ）のテーブルを用いて各画素に第一の方向における重み係数を算出した結果を割り当てたものを示す図である。図１０の（ｃ）および図１０の（ｄ）は同様に第二方向における重み算出テーブルと、不要領域の画素数が１１の時に、各画素に重み係数を割り当てたものを示す図である。このように折り返し境界から近い距離ほど重みが大きくなるように、なおかつ複数の方向の重みを足し合わせると１になるように設定すれば、複数の方向からの画素を精度よく折り返し画像に反映できる。なお、第一のテーブルだけ設けていれば、第二のテーブルを設けていなくてもよい。すなわちその場合は第一のテーブルによって算出された重み係数に基づき足して１になるような第二方向の重みを算出すればよい。また、図１０で表されるような一次関数（直線）で表されるテーブルのみならず、二次関数（曲線）などで表されるようなテーブルを設けてもよい。つまり、当該テーブルは、折り返し境界に最も近い画素の重み係数を１．０とし、不要領域の中で最も遠い画素の重み係数を０として設定された単調減少の関数であれば関数の形状は限定されない。
【００６１】
そして以上の方法によって算出された重みを、各折り返し画像における各画素値に掛けていく。図３では、画素２０１においては、第一方向に関しては１×０．８４＝０．８４の値が、第二方向に関しては４×０．１６＝０．６４の値が割り当てられる。
【００６２】
最後に、重みを掛け合わせた複数の画像を足し合わせる処理について説明する（ステップＳ１５）。
【００６３】
図３の例のように、画像２３０と画像２６０とを足し合わせ、不要領域を補完した合成画像２７０を生成する。ある画素２０１は、第一画像からの算出値０．８４と第二画像からの算出値０．６４を足し合わせて、１．４８という合成値が得られていることがわかる。
【００６４】
なお、第一折り返し画像および第二折り返し画像の不要領域以外の画素に対する各重み係数は、０．５に設定される。
【００６５】
次に、図５を用いて、Ｓ１３ａ、Ｓ１３ｂにおける画像生成部１１０の折り返し画像の生成処理の処理手順をさらに詳しく説明する。図５において、実施の形態１では第一方向および第二方向が水平方向のため、折り返し画像の生成処理は行単位での処理に分解できる。
【００６６】
まず、処理が開始されると、ステップＳ２１では、画像生成部１１０は、計算対象の入力画像の行を最初の行にセットし、ステップＳ２２へ移動する。
【００６７】
ステップＳ２２では、画像生成部１１０は、不要領域を含む行の未処理行が存在するか判定し、未処理行が存在する場合（Ｓ２２：Ｙｅｓ）は、ステップＳ２３へ、未処理行が存在しない場合（Ｓ２２：Ｎｏ）は折返し画像の生成処理が完了したので当該生成処理を終了する。
【００６８】
ステップＳ２３では、画像生成部１１０は、計算対象の行に不要領域が含まれるか判定し、不要領域が含まれない場合（Ｓ２３：Ｎｏ）はステップＳ２７へ、不要領域が含まれる場合（Ｓ２３：Ｙｅｓ）は、Ｓ２４へ移動する。
【００６９】
ステップＳ２４では、画像生成部１１０は、折り返し方向（つまり、第一方向または第二方向）に応じた不要領域内の折り返し境界を特定し、ステップＳ２５へ移動する。
【００７０】
ステップＳ２５では、画像生成部１１０は、ステップＳ２４で特定した折り返し境界からの折り返す幅を決定する基準となる不要領域の探索幅（つまり、当該行における不要領域の幅）を計算し、ステップＳ２６へ移動する。なお、ここでいう「不要領域の探索幅」とは、第一折り返し画像を生成する処理の場合には、第一探索幅であり、第二折り返し画像を生成する処理の場合には、第二探索幅である。
【００７１】
ステップＳ２６では、画像生成部１１０は、折り返し境界から不要領域の探索幅分、指定された折り返し方向へ画素を探索し、折り返し境界を境に探索した探索幅分の画素を折り返して折り返し画像を一行分生成し、ステップＳ２７へ移動する。
【００７２】
ステップＳ２７では、計算対象の行を＋１し、ステップＳ２２へ移動する。つまり、ステップＳ２７では、ステップＳ２６までの処理の対象である行の次の行を計算対象とする処理が行われる。なお、次の行がない場合には、生成処理を終了してもよい。
【００７３】
図６は、本発明における画像処理装置１００として、画像表示部１０６付きの撮像装置、携帯端末等に採用されたＵＩ表示の一例を示した図である。まず入力画像３０１に対してユーザが不要領域をタッチまたは画面をなぞる動作によって指定する。するとマスク画像３０２が生成され、決定された不要領域が表示される。そして決定等を示す入力が行われた場合もしくは一定時間が経過した場合に、合成画像３０３が表示される。この際、マスク画像３０２は必ずしも図６のようなものでなくてもよく、原画像に不要領域を視覚的に分かり易く表示させたものであってもよい。つまり、不要領域の輪郭を枠で囲って表示させてもよいし、不要領域を構成する複数の画素の全てを、不要領域を示す同一の画素（例えば黒）で埋めることにより表示させてもよい。また必ずしもマスク画像３０２のようにマスク領域を表示する必要はなく、ユーザが不要領域を指定した直後に合成画像が表示されてもよい。また、図６に示すものはあくまで一例であり、その他ユーザに不要領域除去のための操作方法の手順を案内するようなＵＩ表示を採用してもよい。
【００７４】
以上のように、本実施の形態における画像処理装置１００では、第一方向および第二方向である水平方向の左右方向のそれぞれから、不要領域の折り返し境界に沿って折り返して画像生成し合成することで、より精度の高い合成画像の生成を実現している。画像処理装置１００は、単一の方向のみから補完するのではなく、複数の方向から不要領域を補完するための折り返し画像を複数生成することで、様々なシーンに対応できる自然な補完処理が可能である。また、合成画像を生成する際に、第一方向および第二方向における画素に重み係数を掛けてから、それぞれを足し合わせる合成を行っているので、従来の方法のように足し合わせた結果の合成画像におけるボケが発生することなく、より自然な不要領域の補完処理が実現可能となっている。
【００７５】
なお、本実施の形態において、第一方向および第二方向を水平方向の左右方向のそれぞれとしたが、他の方向であってもよい。つまり、例えば、第一方向が垂直方向の上方向であって、第二方向が垂直方向の下方向であってもよい。また、第一方向および第二方向が同じ直線上に並ばなくても良い。その際、本実施の形態における画像処理装置は、方向決定部を新たに有していてもよい。また処理フローには、ステップＳ１２の後に、方向決定部が方向を決定し、決定された方向にしたがって折り返すための境界を設定するステップが新たに加えられてもよい。
【００７６】
また、本実施の形態１では、通常写真撮影する際、水平ラインをそろえて撮影し、カメラに映る建物等がほぼ水平ライン上に沿って垂直に配置されているのを想定している。そのため、第一方向および第二方向を水平方向と割り当てているが、例えばデジタルコンパス等を用いてカメラの傾きを検出し、第一方向および第二方向を割り当ててもよい。
【００７７】
また、ユーザがタッチパネル上で不要領域をなぞる動作等で指定したあと、画像を見てユーザが判断した所望の方向へすばやく指を移動させるフリック操作等を行うことにより折り返し方向を割り当ててもよく、例えばフリック操作で指定された方向を第一方向に、第一方向の１８０度反対方向を第二方向としてもよい。これにより、ユーザは所望の不要領域の補完方法を選択できるため、ユーザの意思が反映された補完結果が得られる。このように、ユーザの意思がより反映された合成画像が作成できるため、本実施の形態１のように複数の方向から折り返し画像を生成するのではなく、一方向のみから折り返し画像を生成する画像処理装置として実現してもよい。すなわち、ユーザによるタッチ入力が可能な表示部を備える画像処理装置であって、前記表示部に表示されている入力画像内においてタッチ入力されることにより特定された領域を前記入力画像における不要領域として検出する第一検出部と、前記不要領域が前記第一検出部により検出された後、再びタッチ入力を検出し、検出した前記タッチ入力による検出位置が所定値以上の移動である場合に、当該移動の方向を第一方向として検出する第二検出部と、前記不要領域の前記第一方向に隣接する第一領域に、前記不要領域の前記第一方向の幅分の数の画素が前記第一方向に連続して並ぶ第一画素群を、前記不要領域の境界を基準として前記第一方向の反対方向に折り返して配置する第一処理を前記第一方向に直交する方向に繰り返して行うことにより第一折り返し画像を生成する画像生成部と、前記入力画像と、前記第一折り返し画像とを合成することにより、合成画像を生成する画像合成部と、前記合成画像を表示する前記表示部と、を備える画像処理装置として実現しもよい。また、この場合、さらに、前記第一検出部および前記第二検出部による検出とは異なるタイミングで、前記表示部に表示されている入力画像内においてタッチ入力されることにより特定された領域を前記入力画像における禁止領域として検出する第三検出部を備え、前記画像生成部は、前記禁止領域が前記不要領域よりも前記第一方向側にある場合には、前記第一領域から前記禁止領域を除く領域において前記第一処理を前記第一方向に直交する方向に繰り返して実行することにより、前記第一折り返し画像を生成してもよいし、さらに、前記第一検出部および前記第二検出部による検出とは異なるタイミングで、前記表示部に表示されている入力画像内においてタッチ入力されることにより特定された領域を前記入力画像における探索領域として検出する第四検出部を備え、前記画像生成部は、前記探索領域内の領域において前記第一処理を前記第一方向に直交する方向に繰り返して実行することにより、前記第一折り返し画像を生成してもよい。図７はこの際の動作におけるＵＩ表示を示したものである。
【００７８】
また、ユーザがタッチパネル上で、不要領域指定後に、折り返し画像を探索するための探索領域を指定してもよい。例えば、入力画面上に、不要領域を指定する第一の矩形と、折り返し画像を生成するための探索領域を表現する第二の矩形を表示し、ユーザが矩形の四隅を調整して不要領域を示す第一の矩形と探索領域を示す第二の矩形とを指示してもよい。図８はこの際の動作におけるＵＩ表示を示したものである。
【００７９】
これにより、ユーザは所望の不要領域と、不要領域を補完するための所望の探索領域を指定する事が可能になる。なお、この際にも、画像処理装置１００は、折り返すための第一方向および第二方向の決定を、フリック操作でユーザにより指定された方向を用いて行ってもよい。
【００８０】
また、同様に、不要領域を囲む外接矩形の対角上の点２点を、ユーザによりタッチパネル上で指定された２点を対角の点とする外形矩形の領域を不要領域または探索領域として決定してもよく、当該不要領域または当該探索領域をピンチ操作等で大きさや重心位置を調整することにより決定してもよい。
【００８１】
なお、本実施の形態１において、折り返し境界から不要領域の探索幅の分だけ探索領域から取得した画素を一回折り返して配置する処理を行うことにより折り返し画像を生成しているが、これに限定されない。例えば、不要領域の探索幅が大きい場合は、折り返し画像を生成するための探索領域が広くなり、本来不要領域周辺の背景画像を折り返し補完するはずが、人物等の前景画像を含んで折り返す事になり、不自然な折り返し結果が発生する恐れがある。このため、探索幅に閾値を設け、探索幅が閾値以上である場合は、二回折り返し、三回折り返し等にしてもよい。また、当該閾値は、予め定められた固定値であってもよいし、第一探索領域の幅または第二探索領域の幅としてもよい。なお、後者の場合には、第一探索幅と第一探索領域の第一方向における幅とを比較し、第二探索幅と第二探索領域の第二方向における幅とを比較する。そして、画像生成部は、第一探索領域において第一方向に連続して並ぶ画素の数が、第一探索幅分の数よりも少ないと判定した場合に、当該第一領域の第一方向に連続して並ぶ画素群を取得して、当該画素群を第一方向の反対方向に第一探索幅分を繰り返し折り返して配置する処理を第一処理として第一方向に直交する方向に繰り返して行うことにより第一折り返し画像を生成してもよい。また、画像生成部は、第二探索領域において第一方向に連続して並ぶ画素の数が、第二の幅分の数よりも少ないと判定した場合に、当該第二領域の第二方向に連続して並ぶ画素群を取得して、当該画素群を第二方向の反対方向に第二の幅分を繰り返し折り返して配置する処理を第二処理として第二方向に直交する方向に繰り返して行うことにより第二折り返し画像を生成してもよい。なお、ここでいう「繰り返し折り返して配置する処理」とは、例えば第一方向に連続して複数の画素が並ぶ画素群の場合には、第一折り返し境界を基準にして第一方向とは反対方向に当該画素群を折り返して配置し、その後に、既に折り返して配置した画素群の当該反対方向の端部の画素を基準にして当該画素群を再度当該反対方向に折り返して配置する処理である。つまり、取得できた画素群の第一方向における幅が第一探索幅に満たない場合には複数回「繰り返し折り返して配置する処理」を、第一探索幅を満たすまで行うことにより、第一探索幅の第一折り返し画像を生成できる。また、当該「繰り返し折り返して配置する処理」は、上述しているように、第二方向に対しても同様に行われる。
【００８２】
また、探索幅に閾値を設ける際には、折り返し境界からの色や輝度差、エッジ強度の変化量等を考慮してもよい。これは、不要領域周辺の背景画像の確からしさを、折り返し境界からの距離と、色や輝度差およびエッジ強度で評価し、不自然な折り返しの原因である前景画像を折り返しの対象としないための方法である。例えば図９の（ａ）のように、不要領域である人物Ｂの近隣に、背景以外の領域である人物Ａが存在する時、人物Ａを考慮せずに折り返し画像を生成した場合、折り返す画素の一部に人物Ａの画素の一部がそのまま入り込んでしまう。よって、意図している合成画像が得られない。そこで、図９の（ｂ）のように探索領域に閾値（つまり、予め定められた幅の領域）を設け閾値以内の領域を探索領域とし、当該探索領域の画素を複数回（例えば、二回、三回など）折り返すようにしてもよい。つまり、閾値以内の領域である探索領域の画素を取得して、取得した画素を繰り返し折り返して配置する処理を行ってもよい。また図９の（ｃ）のように不要領域周辺の画素の確からしさを用いて折り返しに使う領域を設定してもよい。
【００８３】
つまり、画像処理装置は、さらに、禁止領域を設定する領域設定部を備えていてもよい。この場合、画像生成部は、禁止領域が不要領域よりも第一方向側にある場合には、第一領域から禁止領域を除く領域から第一画素を取得することにより、第一折り返し画像を生成する。また、画像生成部は、禁止領域が不要領域よりも第二方向側にある場合には、第二領域から禁止領域を除く領域から第二画素を取得することにより、第二折り返し画像を生成する。なお、領域設定部は、ユーザによる入力に基づいて禁止領域を設定してもよいし、例えば背景画像の確からしさを用いた画像処理または画像認識の結果に基づいて禁止領域を設定してもよい。つまり、上述した不要領域を画像処理または画像認識で検出する方法を利用することにより禁止領域を設定してもよい。
【００８４】
また、図１０の（ａ）のように、不要領域が画像の端近くに存在する場合は、第一方向のみから補完するようにしてもよい。また、図１０（ｂ）のように仮想的に対称画像を作成して、折り返しに利用するための探索領域を仮想的に作成してもよい。つまり、入力画像を反転した画像を、入力画像の第二方向（右方向）に仮想的に配置して、折り返しに利用するための探索領域を拡大することで、折り返し画像を生成してもよい。
【００８５】
なお、本実施の形態において、第一画像生成部と第二画像生成部との二つの処理部を用いているがこれに限定されない。例えば、不要領域の境界の上方向である第三方向を基準とした折り返しを行うことで第三折り返し画像を生成する第三画像生成部と、不要領域の境界の下方向である第四方向を基準とした折り返しを行うことで第四折り返し画像を生成する第四画像生成部とを備え、画像合成部は、第一折り返し画像、第二折り返し画像、第三折り返し画像、および第四折り返し画像を合成してもよい。
【００８６】
さらに、第五方向および第六方向として、右上斜め４５度の直線上の両方向が設定され、不要領域の境界から右上方向（第五方向）および左下方向（第六方向）とする第五画像生成部および第六画像生成部を備えてもよい。また、さらに、第七方向および第八方向として、左上斜め４５度の直線上の両方向が設定され、不要領域の境界から左上方向（第七方向）および右下方向（第八方向）とする第七画像生成部および第八画像生成部を備えてもよい。なお、この場合には、画像合成部は、第一から第八折り返し画像を合成してもよい。また、さらにｎ個の方向が設定され当該方向を基準とする画像生成部を備えてもよく、当該画像生成部により生成された折り返し画像を、合成画像の合成に利用してもよい。
【００８７】
また、合成画像を合成する際の折り返し境界からの距離に応じた重みを計算する際、第一折り返し画像から第ｎ折り返し画像までの各折り返し画像に対して均等に割り当ててもよく、逆に、不均一にしてもよい。例えば、画像合成部は、第一折り返し画像を生成する際、折り返しの参照元である探索領域内の輝度や色分布やエッジ強度やエッジ方向の分布が、他の第二から第ｎ折り返し画像を生成するための探索領域内と大きく異なる傾向の場合、当該第一折り返し画像に対する重み計数を他の第二から第ｎ折り返し画像に対する重み係数よりも重みを小さくするように設定してもよい。
【００８８】
これは、本来不要領域の周辺の背景画像から補完するのを想定しているが、方向によっては、想定した背景画像ではなく、背景画像とは別の前景画像が探索領域を多数占める場合があり、この場合に、他の探索領域内の傾向と異なる結果が出る。そのため、各方向における探索領域内の傾向を計算した後、類似する傾向の探索領域からの補完した折り返し画像に対する画像合成の割合を強める事で、意図しない画像からの不要領域の補完を極力小さくする狙いがある。
【００８９】
また、ユーザ等がタッチパネル上で不要領域を指定したり、画像処理で不要領域の候補を自動検出したりした際、本来消したい領域の一部が不要領域として指定されず、不要領域として指定された領域の境界外に本来消したい領域の一部が存在する場合もある。この時、折り返し画像を生成すると、本来削除したい領域の一部が、折返し画像に含まれることになり、結果的に２倍の面積で強調された合成画像が生成されるという課題が生じる。
【００９０】
そこで、例えばマスク画像取得後、画像処理の膨張処理を実施し、不要領域の境界を任意画素分膨張させる。つまり、不要領域として指定された領域よりも膨張した分だけ大きい領域が不要領域として特定されるため、これにより本来消したい領域が多少残っていても対応する事が可能である。また、他の対策として、マスク画像と入力画像とを画像処理し、マスク画像の不要領域の境界（エッジ）を、入力画像のエッジと一致させるようにマスク画像を膨張させることにより、対応する事も可能である。
【００９１】
また、上記の説明では、第一折り返し画像および第二折り返し画像は、入力画像と同じサイズの画像で生成される。つまり、第一折り返し画像および第二折り返し画像は、入力画像の不要領域以外の領域の画素の画素値を維持したまま、不要領域を補完するための画像が生成された画像である。しかしながら、上記に限らずに、第一折り返し画像および第二折り返し画像は、不要領域と同じサイズの画像で生成されてもよい。つまり、不要領域を置き換えるための画像として生成されてもよい。この場合には、画像合成部は、第一折り返し画像および第二折り返し画像を合成することにより、不要領域を置換するための補完画像を生成する。そして、画像合成部は、入力画像の不要領域を補完画像で置換することにより、合成画像を合成することになる。
【００９２】
（実施の形態２）
図１１は、本発明の実施の形態２の画像処理装置の構成図である。図１１において、図１と同じ構成要素については同じ符号を用い、説明を省略する。
【００９３】
図１１において、本実施の形態の画像処理装置４００は、画像取得部１０１、マスク画像取得部１０２、テクスチャ解析部４０１、画像生成部１１０、および画像合成部１０５により構成される。画像生成部１１０は、第一画像生成部１０３および第二画像生成部１０４を含む。また、本発明の実施の形態２における画像処理装置４００は図１１に示すように画像表示部１０６を備えていてもよい。
【００９４】
実施の形態２における画像処理装置４００は、不要領域の周辺領域のテクスチャを解析することで、第一方向および第二方向を決定するテクスチャ解析部４０１を備えることを特徴する。
【００９５】
図１２は本実施の形態における画像処理装置４００において、合成画像を生成するフローである。ステップＳ１１、ステップＳ１２、ステップＳ１３ａ、ステップＳ１３ｂ、ステップＳ１４ａ、ステップＳ１４ｂ、およびステップＳ１５は、実施の形態１の画像処理装置において合成画像を作成する際の処理と同一の処理であるので説明を省略する。
【００９６】
ステップＳ３１において、テクスチャ解析部４０１は第一方向および第二方向を決定する。
【００９７】
図１３は、テクスチャ解析によって第一方向および第二方向を決定する際に用いる、不要領域５０１の境界周辺領域の一例を示した図である。つまり、テクスチャ解析部４０１は、不要領域の周辺領域のテクスチャを解析することで、第一方向および第二方向を決定する。
【００９８】
まず、テクスチャ解析部４０１は、不要領域５０１に外接する外接円５０２を計算し、外接円５０２における半径の３倍に相当する円を周辺領域円５０３として計算し、テクスチャ解析の対象範囲とする。
【００９９】
そして、テクスチャ解析部４０１は、テクスチャ解析の対象範囲である周辺領域円５０３内において、取得した入力画像の一次微分であるエッジ画像を、Ｓｏｂｅｌフィルタ等を用いて生成する。テクスチャ解析部４０１は、エッジ画像から得られるエッジの方向を何段階かに分割したエッジ方向の頻度を表すヒストグラムへエッジ強度で重み付けしながら投票し、頻度の高い角度と直交する角度を、第一方向および第二方向として決定する。すなわち、テクスチャ解析部４０１は、入力画像のエッジ画像から求めた画素ごともしくは領域ごとのエッジの角度から、頻度の高い角度を検出し、第一方向および第二方向を、検出した頻度の高い角度に対して垂直な方向とする。例えば周辺境界領域内が理想的な横縞の場合、エッジ方向は縦方向を多く含むため、エッジ画像から得られる頻度の高い角度は縦方向に相当する。この時、縦方向と直交する横方向を折り返し方向に設定すれば、不要領域を綺麗に横縞で補完する事が可能となる。
【０１００】
図１４にはエッジ方向の頻度を表すヒストグラムの例を示す。図１４の例の場合、最も頻度の高い角度は１３５度であるので、第一方向および第二方向は、それぞれの角度と直行する、２２５度の方向および４５度の方向と決まる。
【０１０１】
次にステップＳ３２において、テクスチャ解析部４０１は、決定した折り返しの方向である第一方向および第二方向を用いて折り返し境界を決定する。図１５は、第一画像生成部１０３および第二画像生成部１０４によって折り返し画像を生成する一例を示した図である。図１５の例では第一方向６０１および第二方向６１１をそれぞれ２２５度および４５度と決定して、第一折り返し境界６０３および第二折り返し境界６０４を設定し、それぞれ対応画素を折り返している。この結果、図示されるように第一折り返し画像６０２および第二折り返し画像６１２が生成される。
【０１０２】
以降、実施の形態１と同様の処理を行うことにより、合成画像が生成される。
【０１０３】
以上の処理により本実施の形態２における画像処理装置４００では、より不要領域の周辺領域におけるテクスチャに対応した、折り返し画像を生成できる。多くの場合、ユーザの撮影した画像は完全に水平に撮像出来ておらず、傾いた画像となる。よって、背景領域における水平成分も傾いて表示されていることが多い。本実施の形態における画像処理装置では、その傾き角を検出し、折り返しの方向に反映させているので、より自然な合成画像が生成できる。
【０１０４】
なお、テクスチャ解析部４０１は、入力画像のエッジ画像から求めたエッジ強度およびエッジ角度から、最頻度の直線を検出し、第一方向および第二方向を、検出した直線上の両方向としてもよい。
【０１０５】
なお、テクスチャ解析部４０１は、最も頻度の高い角度を第一方向に設定し、第一方向と１８０度反対の方向を第二方向として設定してもよい。
【０１０６】
さらに、テクスチャ解析部４０１は、二番目に頻度の高い角度と直交する角度を第三方向に設定し、第三方向と１８０度反対の方向を第四方向として設定してもよく、それぞれの方向に対する折り返し画像を用いて合成画像を合成してもよい。
【０１０７】
また、第一方向および第二方向を互いに１８０度正反対の方向に割り当てるのではなく、頻度の高い角度の順番に従って、第一方向、第二方向、第三方向、・・・と方向を割り当ててもよい。この時、画像合成時に使用する重み係数は、折り返し境界からの距離だけでなく、角度の頻度に応じて調整してもよい。
【０１０８】
これにより、複数の方向から周辺境界領域内のテクスチャ情報を考慮し折り返し画像の生成および画像合成する事が可能となり、より自然な不要領域の補完が実現できる。
【０１０９】
また、テクスチャ解析部は、ハフ変換等の画像処理等で画面全体または不要領域周辺における直線の傾きを検出し、検出した直線の傾きを第一方向および第二方向として設定してもよい。
【０１１０】
なお、テクスチャ解析部４０１は、周辺境界領域内を一つの領域として、エッジ方向の頻度を計算したが、複数の領域に分割し、複数の領域のそれぞれについてエッジ方向の頻度を計算してもよい。例えば、この場合のテクスチャ解析部は、図１３の周辺領域円５０３を、９０度単位で４分割し、分割された周辺領域円のそれぞれにおけるエッジ方向の最頻度の方向をそれぞれ第一方向、第二方向、第三方向および第四方向として決定する。そして、テクスチャ解析部により決定された第一から第四方向を基準として４つの折り返し画像を生成し、当該４つの折り返し画像を用いて均等に画像合成し、不要領域の補完を実施してもよい。また、この場合の画像合成部は、折り返し境界からの距離だけでなく、分割した境界周辺領域の重心からの距離等で重み係数を決定してもよい。
【０１１１】
図１１において、第一画像生成部１０３は、テクスチャ解析部４０１から取得する第一方向とマスク画像と入力画像とから、第一折り返し境界を計算し、第一折り返し画像を生成する。また、同様に、第二画像生成部１０４は、テクスチャ解析部４０１から取得する第二方向とマスク画像と入力画像とから、第二折り返し境界を計算し、第二折り返し画像を生成する。
【０１１２】
（実施の形態３）
図１６は、本発明の実施の形態３の画像処理装置の構成図である。図１６において、図１および図１１と同じ構成要素については同じ符号を用い、説明を省略する。
【０１１３】
図１６において、本実施の形態３の画像処理装置７００は、画像取得部１０１、マスク画像取得部１０２、領域分割部７０１、画像生成部１１０、画像合成部１０５、および画像表示部１０６により構成される。画像生成部１１０は、第一画像生成部１０３および第二画像生成部１０４を含む。また、本発明の実施の形態３における画像処理装置７００は図１６に示すように画像表示部１０６を備えていてもよい。
【０１１４】
本実施の形態３における画像処理装置７００は、さらに、入力画像のうち不要領域の周辺の領域を、同一もしくは類似の特徴を有する画素の集合である複数の領域に分割する領域分割部７０１を備える。
【０１１５】
図１７は本実施の形態における画像処理装置において、合成画像を生成するフローである。ステップＳ１１、ステップＳ１２、ステップＳ３１、ステップＳ３２、ステップＳ１３ａ、ステップＳ１３ｂ、ステップＳ１４ａ、ステップＳ１４ｂ、およびステップＳ１５は、実施の形態１のおよび実施の形態２の画像処理装置１００、４００において合成画像を作成する際の処理と同一の処理であるので説明を省略する。
【０１１６】
ステップＳ４１において、領域分割部７０１は、境界周辺領域内の画像を領域分割する。
【０１１７】
そして、ステップＳ３１〜Ｓ１３ｂにおいて、画像生成部１１０は、不要領域の当該領域で設定される所定方向における幅分の数の画素が所定方向に連続して並ぶ画素群を、不要領域の境界を基準として所定方向の反対方向に折り返して配置する処理を所定方向に直交する方向に繰り返し行うことにより分割折り返し画像を生成する。
【０１１８】
領域分割部７０１は、マスク画像取得部１０２より入力画像およびマスク画像を取得し、マスク画像の境界周辺領域を領域分割する。領域分割の方法は、例えばＭｅａｎＳｈｉｆｔ法による領域分割や、Ｋ−ｍｅａｎｓ法による領域分割等、統計学上で利用されるクラスタ分類や画像処理で利用される領域分割法などを利用する事が可能である。
【０１１９】
図１８は、領域分割結果の一例を示した図であり、不要領域８０１の周辺に、４つの領域で領域分割された境界周辺領域８１１〜８１４が存在し、境界周辺領域８１１〜８１４毎にテクスチャ解析部４０１が折り返し方向を計算し、４つの折り返し画像を画像合成部１０５が合成することで、不要領域の補完を実現する。
【０１２０】
ステップＳ４１において領域分割された境界周辺領域８１１〜８１４は、テクスチャ解析部４０１に送られ、境界周辺領域毎８１１〜８１４にテクスチャ解析され、各方向および折り返し境界を境界周辺領域８１１〜８１４ごとに決定する。
【０１２１】
以降の処理も境界周辺領域８１１〜８１４ごとに実施の形態１および実施の形態２と同様の処理を行う。
【０１２２】
以上本実施の形態の画像処理装置によれば、周辺領域の特徴によって領域分割し、その分割された領域ごとに折り返しの方向を決定しているので、背景のテクスチャに合わせてより自然な合成画像が生成できる。
【０１２３】
なお、画像合成する際、各折り返し画像に掛ける重み係数は、折り返し境界からの距離だけでなく、領域分割した領域の中心または重心からの距離を考慮してもよい。
【０１２４】
（その他変形例）
なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
【０１２５】
（１）上記の撮像装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、撮像装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
【０１２６】
（２）上記の撮像装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。
【０１２７】
（３）上記の撮像装置を構成する構成要素の一部または全部は、撮像装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
【０１２８】
（４）本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
【０１２９】
また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ  Ｄｉｓｃ：登録商標）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。
【０１３０】
また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
【０１３１】
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。
【０１３２】
また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を、前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
【０１３３】
（５）上記実施の形態および上記変形例をそれぞれ組み合わせるとしてもよい。
【０１３４】
（６）なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の画像復号化装置などを実現するソフトウェアは、次のようなプログラムである。
【０１３５】
すなわち、このプログラムは、コンピュータに、入力画像を取得する画像取得ステップと、前記入力画像の内で不要領域を示す情報である領域情報を取得する取得ステップと、（ｉ）前記領域情報により示される前記不要領域の第一方向に隣接する第一領域において、前記不要領域の前記第一方向における第一の幅分の数の画素が前記第一方向に連続して並ぶ第一画素群を、前記不要領域の境界を基準として前記第一方向の反対方向に折り返して配置する第一処理を前記第一方向に直交する方向に繰り返して行うことにより第一折り返し画像を生成し、（ｉｉ）前記不要領域の第二方向に隣接する第二領域において、前記不要領域の前記第二方向における第二の幅分の数の画素が前記第二方向に連続して並ぶ第二画素群を、前記不要領域の境界を基準として前記第二方向の反対方向に折り返して配置する第二処理を前記第二方向に直交する方向に繰り返して行うことにより第二折り返し画像を生成する、画像生成ステップと、前記画像生成ステップにより生成された、前記第一折り返し画像と、前記第二折り返し画像との合成により、合成画像を生成する画像合成ステップと、を含む画像処理方法を実行させる。
【０１３６】
以上、本発明の一つまたは複数の態様に係る画像処理装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。
【産業上の利用可能性】
【０１３７】
本発明にかかる画像処理装置は、計算量が少なく、かつ、より自然な不要領域の補完処理が実現可能な画像処理装置等であって、特にデジタルビデオカメラやデジタルカメラ上でリアルタイムに撮影画像内の不要領域を除去可能な、不要領域除去アプリ等として有用である。
【符号の説明】
【０１３８】
１００、４００、７００  画像処理装置
１０１  画像取得部
１０２  マスク画像取得部
１０３  第一画像生成部
１０４  第二画像生成部
１０５  画像合成部
１０６  画像表示部
１１０  画像生成部
２０１  画素
２１０  入力画像
２１１  第一折り返し境界
２１２  第一折り返し画像
２１３  第一方向
２２０  重み係数
２３０  第一折り返し画像３１２に重み係数３２０を掛けた画像
２４１  第二折り返し境界
２４２  第二折り返し画像
２４３  第二方向
２５０  重み係数
２６０  第二折り返し画像３４２に重み係数３５０を掛けた画像
２７０  合成画像
４０１  テクスチャ解析部
５０１  不要領域
５０２  外接円
５０３  周辺領域円
６０１  第一方向
６０２  第一折り返し画像
６０３  第一折り返し境界
６０４  第二折り返し境界
６１１  第二方向
６１２  第二折り返し画像
７０１  領域分割部
８０１  不要領域
８１１〜８１４  境界周辺領域
【図１】
2013179560.tif 000003
【図２】
2013179560.tif 000004
【図３】
2013179560.tif 000005
【図４】
2013179560.tif 000006
【図５】
2013179560.tif 000007
【図６】
2013179560.tif 000008
【図７】
2013179560.tif 000009
【図８】
2013179560.tif 000010
【図９】
2013179560.tif 000011
【図１０】
2013179560.tif 000012
【図１１】
2013179560.tif 000013
【図１２】
2013179560.tif 000014
【図１３】
2013179560.tif 000015
【図１４】
2013179560.tif 000016
【図１５】
2013179560.tif 000017
【図１６】
2013179560.tif 000018
【図１７】
2013179560.tif 000019
【図１８】
2013179560.tif 000020
【図１９】
2013179560.tif 000021
【国際調査報告】
2013179560.tif 000022
2013179560.tif 000023
2013179560.tif 000024
2013179560.tif 000025