(57)【要約】【課題】撮影後の画像を用いて後から焦点距離と視点を変更した画像を生成する際に、欠落領域が少なく被写体の位置関係を保った画像を生成できる画像処理装置を提供する。【解決手段】画像のデータと画像に対応する被写体の距離の情報とを入力する入力部と、画像のそれぞれの被写体を変形し、画像を撮像したレンズの焦点距離と画像を撮像した撮像装置の位置を仮想的に変更した画像を生成する画像変形部と、画像の視覚的に目立つ被写体を含む領域である顕著領域を検出する検出部と、を備え、画像変形部は、画像における主たる被写体の距離の情報と、顕著領域の距離の情報とに基づいて、被写体のそれぞれの変倍率を変更する。【選択図】  図３
2016039616.tif 000002
【特許請求の範囲】
【請求項１】
画像のデータと該画像に対応する被写体の距離の情報とを入力する入力手段と、
前記画像のそれぞれの被写体を変形し、前記画像を撮像したレンズの焦点距離と前記画像を撮像した撮像装置の位置を仮想的に変更した画像を生成する画像変形手段と、
前記画像の視覚的に目立つ被写体を含む領域である顕著領域を検出する検出手段と、を備え、
前記画像変形手段は、前記画像における主たる被写体の距離の情報と、前記顕著領域の距離の情報とに基づいて、前記被写体のそれぞれの変倍率を変更することを特徴とする画像処理装置。
【請求項２】
前記画像変形手段は、前記被写体のそれぞれを変倍した場合に生じる画像の欠落領域の生じる大きさに基づいて、前記被写体のそれぞれの変倍率を変更することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像変形手段は、前記顕著領域については、該顕著領域の被写体の距離と、前記主たる被写体の距離とに逆転が生じないように前記変倍率を変更し、前記顕著領域でない被写体については前記画像の欠落領域の生じる大きさに基づいて、前記変倍率を変更することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記検出手段で複数の顕著領域を検出した場合、前記画像変形手段は、前記画像における主たる被写体の距離の情報と、前記撮像装置に最も近い位置にある顕著領域の被写体の距離の情報とに基づいて、前記被写体のそれぞれの変倍率を変更することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記画像変形手段は、前記主たる被写体の大きさを超えないように、前記顕著領域の被写体を変倍することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記画像変形手段は、前記検出手段により前記顕著領域が検出されない場合、前記被写体のそれぞれの距離の情報に基づいて、前記被写体のそれぞれの変倍率を変更することを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記画像変形手段は、前記被写体のそれぞれを変倍した場合に画像の欠落領域が生じない場合、前記被写体のそれぞれの距離の情報に基づいて、前記被写体のそれぞれの変倍率を変更することを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記画像と異なる撮像装置の位置で撮影した画像から、前記画像に対して対応する点の探索を行い、対応する点が存在しない領域を前記欠落領域とすることを特徴とする請求項１に記載の画像処理装置。
【請求項９】
仮想的に変更した前記焦点距離と、仮想的に変更した前記撮像装置の位置とに基づいて被写体の距離の情報を透視投影変換した際に、投影されない画素の位置を前記欠落領域とすることを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記画像と異なる撮像装置の位置で撮影した画像から、前記画像に対する撮像装置の姿勢を推定し、前記撮像装置の位置を変更した画像との差分が所定以上の大きさである領域を前記欠落領域とすることを特徴とする請求項１に記載の画像処理装置。
【請求項１１】
画像のデータと該画像に対応する被写体の距離の情報とを入力する入力工程と、
前記画像のそれぞれの被写体を変形し、前記画像を撮像したレンズの焦点距離と前記画像を撮像した撮像装置の位置を仮想的に変更した画像を生成する画像変形工程と、
前記画像の視覚的に目立つ被写体を含む領域である顕著領域を検出する検出工程と、を備え、
前記画像変形工程では、前記画像における主たる被写体の距離の情報と、前記顕著領域の距離の情報とに基づいて、前記被写体のそれぞれの変倍率を変更することを特徴とする画像処理方法。
【請求項１２】
請求項１１に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。
【請求項１３】
請求項１１に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影後の画像データを用いて後から焦点距離と視点を変更した画像を生成する技術に関するものである。
【背景技術】
【０００２】
撮像装置を前後に移動させながらズーム操作し、被写体の大きさは変化させずに背景を大きくすることで遠近感を操作する撮影技法が広く知られている。しかしながら、物理的に遠ざかれない撮影場所や、使用するレンズの倍率以上の焦点距離が必要となるといった物理的制約が原因で、このような撮影ができないことがある。
【０００３】
そこで、従来から撮影後の画像に対して、仮想視点で撮影した画像を後処理で生成することが行なわれている。特許文献１は、撮影画像を被写体領域ごとに分割した後に、距離情報を用いて被写体領域と拡大または縮小した背景画像を合成することで、仮想視点で撮影した画像を生成している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−３３２７４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
被写体距離に応じた変形量で背景を変形する場合、図１３に示すように欠落領域の出現と被写体の位置関係が崩れるという課題が発生する。以下、図１３を用いて具体的に説明する。図１３（Ａ）は撮影画像（１００１が合焦被写体、１００２〜１００４が背景被写体）、図１３（Ｂ）は各被写体の位置関係、図１３（Ｃ）は被写体距離毎に設定した変倍率をそれぞれ示している。この場合、図１３（Ｄ）のように、合焦被写体１００１の変形量が１．０倍に対して、背景被写体１００２〜１００４の変形量が大きいため、手前の被写体に隠された領域が変形量の差により欠落領域（図中の黒色領域）として現れる。
【０００６】
また、図１３（Ｅ）のように、合焦被写体１００１以外の背景被写体を同一の変形量にすると、背景被写体１００２〜１００４の変形量の差がなくなるため、１００２〜１００４の被写体間に欠落領域は発生しない。しかし、合焦被写体１００１に対する欠落領域が大きくなる。さらに、背景被写体１００２が合焦被写体１００１より大きくなる可能性があるため、本来後方にいるはずの被写体が前方に位置したような画像となり、被写体の位置関係が崩れた違和感のある画像となる。
【０００７】
本発明は上述した課題に鑑みてなされたものであり、その目的は、撮影後の画像を用いて後から焦点距離と視点を変更した画像を生成する際に、欠落領域が少なく被写体の位置関係を保った画像を生成できる画像処理装置を提供することである。
【課題を解決するための手段】
【０００８】
本発明に係わる画像処理装置は、画像のデータと該画像に対応する被写体の距離の情報とを入力する入力手段と、前記画像のそれぞれの被写体を変形し、前記画像を撮像したレンズの焦点距離と前記画像を撮像した撮像装置の位置を仮想的に変更した画像を生成する画像変形手段と、前記画像の視覚的に目立つ被写体を含む領域である顕著領域を検出する検出手段と、を備え、前記画像変形手段は、前記画像における主たる被写体の距離の情報と、前記顕著領域の距離の情報とに基づいて、前記被写体のそれぞれの変倍率を変更することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、撮影後の画像を用いて後から焦点距離と視点を変更した画像を生成する際に、欠落領域が少なく被写体の位置関係を保った画像を生成できる画像処理装置を提供することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１の実施形態の画像処理装置のシステム構成図。
【図２】第１の実施形態の画像処理装置の動作を示すフローチャート。
【図３】第１の実施形態の処理で用いる画像を説明する図。
【図４】仮想視点でのカメラ位置と焦点距離の関係を説明する図。
【図５】第２の実施形態の画像処理装置のシステム構成図。
【図６】遮蔽領域の検出を説明する図。
【図７】第２の実施形態の処理で用いる画像を説明する図。
【図８】第２の実施形態の処理で用いる画像を説明する図。
【図９】第２の実施形態の処理で用いる画像を説明する図。
【図１０】変倍率と欠落領域の関係を説明する図。
【図１１】第３の実施形態の画像処理装置のシステム構成図。
【図１２】第３の実施形態の処理で用いる画像を説明する図。
【図１３】従来技術の課題を説明する図。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態について、添付図面を参照して詳細に説明する。
【００１２】
（第１の実施形態）
本発明の第１の実施形態について図１〜図４を用いて説明する。第１の実施形態は、複数の撮影画像から仮想視点画像を生成する際、合焦被写体と背景の間に視覚的に目立つ被写体を検出したら、その被写体距離に応じた変倍率に変更する形態である。なお、仮想視点画像はカメラ位置を後方に移動してズームした画像を例にする。また、視覚的に目立つ被写体は、位置関係や大きさの関係が崩れると違和感のある被写体を指し、本実施形態では人物を例にして説明する。
【００１３】
図１は本実施形態の画像処理装置１００のシステム構成図、図２は画像処理装置の動作を示すフローチャート、図３は画像処理装置の処理で用いる画像、図４は仮想視点でのカメラ位置と焦点距離の関係を説明する図である。
【００１４】
本実施形態の画像処理装置１００のシステム構成について図１を用いて説明する。なお、撮像装置における撮影時には、画像の他に、撮像装置から各被写体までの距離情報（被写体距離情報）、撮影時の焦点距離などのカメラパラメータが取得されているものとする。
【００１５】
図１（Ａ）において、１０１は画像入力部であり、撮影画像のデータを画像処理装置１００へ入力する。１０２は画像変形部であり、被写体距離情報と変形パラメータを用いて撮影画像を変形し、仮想視点で撮影された画像を生成する。画像変形部１０２の内部について図１（Ｂ）を参照して以下に説明する。
【００１６】
１１１は領域分割部であり、被写体距離情報を用いて、合焦距離と同じ距離にある領域を合焦被写体領域と定義し、合焦被写体領域と背景領域に分割した画像を生成する。さらに、背景領域を被写体距離情報に応じて、１つ以上の背景領域に分割する。１１２は領域別変形部であり、被写体距離情報に基づいて算出された変形パラメータで各背景領域を幾何変形する。
【００１７】
１１３は画像合成部であり、合焦被写体画像と変形後の背景画像を合成することで仮想視点で撮影した画像を生成する。なお、使用する被写体距離情報は距離情報入力部１０３から入力し、変形パラメータは変形パラメータ算出部１０５から入力する。１０３は距離情報入力部であり、被写体距離情報を入力する。
【００１８】
１０４はカメラパラメータ入力部であり、撮影時の焦点距離ｆｗと仮想焦点距離ｆｔを入力する。１０５は変形パラメータ算出部であり、距離情報入力部１０３とカメラパラメータ入力部１０４から取得した情報に基づき、仮想視点で撮影した画像を生成するために必要な変形パラメータである背景の変倍率を算出する。
【００１９】
１０６は画像出力部であり、仮想的な視点で撮影した画像を画像処理装置１００から出力して記録する他、ディスプレイ等の表示部に表示する。１０７は顕著領域検出部であり、画像入力部１０１の画像を用いて被写体が人物であるかを人物／顔検出処理で判定し、その結果を変形パラメータ算出部１０５に送る。
【００２０】
次に、図２と図３を用いて、画像処理装置１００の動作について説明する。Ｓ２０１では、画像入力部１０１から撮影画像３００が入力されてＳ２０２に移行する。Ｓ２０２では、距離情報入力部１０３から被写体距離情報を入力する。被写体距離とは、図３（Ｂ）における撮像装置３１０から各被写体３０１，３０２，３０３までの距離であり、合焦被写体３０１までの距離をＳｆ、背景被写体３０２までの距離をＳＢ１、背景被写体３０３までの距離をＳＢ２として、撮影画像中のすべての被写体の距離情報を取得する。また、カメラパラメータ入力部１０４から、撮影時の焦点距離ｆｗと仮想焦点距離ｆｔを入力する。
【００２１】
Ｓ２０３では、距離情報入力部１０３から得られた被写体距離情報を用いて、合焦被写体３０１と、背景領域３０２〜３０４とに分割する。画像の領域分割は、被写体距離情報を用いて行う。まず、合焦距離付近にある領域を合焦被写体領域とするために、撮影時のフォーカス情報を用いて合焦領域までの距離を算出する。次に、合焦距離から所定の距離範囲にある被写体を合焦被写体領域と判定する。最後に、合焦被写体領域以外の範囲も同様の処理を行ない、背景を複数の被写体領域に分割する。
【００２２】
画像の領域分割は、被写体距離情報と撮影時のフォーカス情報を用いて行う。合焦領域の分割は、合焦領域までの距離から所定の距離にある領域を合焦被写体領域３０１として検出する。また、背景領域は被写体距離情報のヒストグラムを用いて行なう。まず、背景領域における、被写体距離情報を基にヒストグラムを生成する。次に、ヒストグラムの極大値を検出し、各極大値の間にある極小値の検出を行ない、その範囲内の距離にある領域を１つの被写体領域として分割する。この処理を行なうことで、背景領域３０２から３０４を分割することができる。
【００２３】
Ｓ２０４では、距離情報入力部１０３とカメラパラメータ入力部１０４から取得した情報に基づき、仮想視点で撮影した画像を生成するために必要な変形パラメータを算出する。この変形パラメータの算出方法について図４を用いて説明する。図４は説明を分かりやすくするために、合焦被写体と背景の２つの被写体を撮影した場合を例にとる。また、図中の記号は以下の内容を示している。
【００２４】
ｙ１：合焦被写体の大きさ、ｙ２：背景の大きさ
ｆｗ：撮影時の焦点距離
ｙｗ１，ｙｗ２：撮影時の像面上の大きさ
Ｓｗ１，Ｓｗ２：撮影時の被写体までの距離
ｆＴ：仮想視点での焦点距離
ｙＴ１，ｙＴ２：仮想視点で撮影した時の像面上の大きさ、
ＳＴ１，ＳＴ２：仮想視点での被写体距離
ｔ３：撮影時から仮想視点へのカメラ移動量
合焦被写体の大きさを変化させずに背景を大きくした画像を生成する場合、撮影時の合焦被写体ｙ１の像面上の大きさｙｗ１に対して、仮想視点で撮影した合焦被写体ｙ１の像面上の大きさｙＴ１が同じとなるため、三角形の相似関係とレンズの公式から、背景の変倍率として下記式（１）が成立する。
【００２５】
【数１】
2016039616.tif 000003
【００２６】
…（１）
ここで、背景の変倍率をＮ＝ｙＴ２／ｙｗ２と定義し、背景の変倍率Ｎは撮影時の焦点距離ｆｗ、被写体距離情報Ｓｗ１，Ｓｗ２、仮想視点の焦点距離ｆＴにより算出される。なお、Ｎは各被写体毎に計算されるため、例えば、Ｓｗ２をＳＢ１にすれば被写体３０２に対する変倍率を算出することができる。
【００２７】
Ｓ２０５では、視覚的に目立つ被写体である顕著領域の検出を行なう。本実施形態では顕著領域として人物を検出するために人物／顔検出を行い、検出した結果を顕著領域として用いる。Ｓ２０６では、背景領域に顕著領域が存在するかどうかを判定する。撮像画像３００においては、顕著領域として人物３０２を検出することができるためＳ２０７に移行する。
【００２８】
Ｓ２０７では、背景領域の変倍率を変更する。図３（Ｅ）は、被写体距離に応じて決定した各被写体の変倍率を示しているが、顕著被写体である人物３０２を検出したため、被写体３０３，３０４に対する変倍率を被写体３０２と同一の変倍率に変更する。なお、顕著被写体の被写体距離は合焦被写体の被写体距離よりも遠いため、顕著被写体の変倍率は、顕著被写体が合焦被写体よりも不自然に大きくなって遠近関係が逆転しないように設定する。
【００２９】
これを図３（Ｅ）と図３（Ｆ）を用いて説明すると、顕著被写体３０２の変倍率は２．０倍であるため、被写体３０３の変倍率は３．０倍から２．０倍へ、被写体３０４の変倍率は４．０倍から２．０倍へ変更する。一方、Ｓ２０６で背景領域に顕著領域を検出しなかった場合は、変倍率の変更は行なわないようにする。背景被写体３０２〜３０４の変倍率を同一の変倍率にする理由は、背景被写体同士の欠落領域が出現しないようにするためである。
【００３０】
Ｓ２０８では、決定した変倍率に基づき背景領域である被写体３０２〜３０４を変形することで背景画像を生成する。Ｓ２０９では、変形した背景領域に合焦被写体３０１を合成することで仮想視点で撮影した画像、図３（Ｇ）を生成する。なお、変形後の背景領域と合焦被写体領域を合成する際、境界部分の段差を目立ちにくくするために、合焦被写体と変形後の背景の加重加算を、下記式（２）を用いた合焦被写体に対する画素のα値の重みを大きくして処理を行い、画像出力するようにしてもよい。ここでのαは被写体距離情報を基に決定する。また、式中の記号は以下の内容を示している。
【００３１】
Ｉｎ１：合焦被写体の画素値
Ｉｎ２：変形後の背景の画素値
Ｏｕｔ：出力画像の画素値
Ｏｕｔ＝αＩｎ１＋（１−α）Ｉｎ２        …（２）
また、仮想焦点距離が長い場合は、被写界深度の浅い画像となるため、合成後の画像に対して合焦被写体と背景の距離比を用いて、背景領域に対してローパスフィルタ処理を行ない、背景領域をぼかすことを行なっても良い。また、撮影画像中に顕著領域が複数存在した場合は、カメラから最も手前にある顕著領域に対して行なうようにする。以上が第１の実施形態である。
【００３２】
（第２の実施形態）
第２の実施形態について、図５〜図１０を用いて説明する。第２の実施形態は、仮想視点画像を生成する際、撮影時に取得した遮蔽領域（被写体に隠れた領域）に応じて、変倍率を変更する形態である。
【００３３】
図５は本実施形態の画像処理装置のシステム構成図、図６は遮蔽領域検出を説明する図、図７、図８、図９は画像処理装置の処理動作を示す図、図１０は変倍率と欠落領域の関係を説明する図である。
【００３４】
本実施形態の画像処理装置４００のシステム構成について図５を用いて説明する。なお、撮像装置における撮影時には、画像の他に、撮像装置から各被写体までの距離情報（被写体距離情報）、撮影時の焦点距離などのカメラパラメータが取得されているものとする。
【００３５】
図５において、４０１は画像入力部であり、撮影画像を画像処理装置４００へ入力する。４０２は画像変形部であり、被写体距離情報と変形パラメータを用いて撮影画像を変形し、仮想視点で撮影された画像を生成する。画像変形部４０２の内部は図１の１０２と同一である。
【００３６】
４０３は距離情報入力部であり、被写体距離情報を入力する。４０４はカメラパラメータ入力部であり、撮影時の焦点距離ｆｗと仮想焦点距離ｆｔを入力する。４０５は変形パラメータ算出部であり、距離情報入力部４０３とカメラパラメータ入力部４０４から取得した情報に基づき、仮想視点で撮影した画像を生成するために必要な変形パラメータである背景の変倍率を算出する。４０６は画像出力部であり、仮想視点で撮影した画像を画像処理装置４００から出力して記録する他、ディスプレイ等の表示部に表示する。
【００３７】
４０７は遮蔽領域検出部で、具体的処理について図６を用いて説明する。図６（Ａ）は視点変更する基準画像、図６（Ｂ）は、図６（Ａ）とは異なる視点で撮影した画像である。なお、８００、８１０が合焦被写体とする。
【００３８】
初めに、各画像の対応関係の有無を検出するために、基準画像とは異なる視点で撮影した画像（別視点画像）において、画素を含む任意サイズのブロックを設定し、そのブロックと相関の高いブロックを基準画像から探索する。相関の度合いを計算する方法としては、ブロックマッチングがあり、基準ブロックと探索範囲に含まれるブロックの画素毎の差分絶対値や差分二乗和を算出して、その値が最小となるブロックを相関の高いブロックとするものである。この結果、別視点画像における画素８１１〜８１３は、それぞれ基準画像における画素８０１〜８０３との対応関係がとれることになる。
【００３９】
一方、画素８１５は、本来基準画像の８０５と対応関係があるはずであるが、被写体に隠れた領域となるため対応関係がとれない画素（基準画像では隠れていて別視点画像で現れた画素）となる。図６（Ｃ）は、別視点画像の背景領域を基準画像の背景領域へ投影（位置合わせ）して補間した画像を示す。８２１は基準画像における合焦被写体領域、８２２は別視点画像における合焦被写体領域を示している。領域８２１の中で、黒色で塗りつぶされていない領域は、基準画像では隠れていて別視点画像で現れた領域となる。また、領域８２２の中で、黒色に塗りつぶされていない領域は、元々基準画像で現れている領域となる。よって、黒色で塗りつぶされた領域８２３は、基準画像および別視点画像のどちらでも取得できていない領域、すなわち遮蔽領域として検出することができる。
【００４０】
なお、遮蔽領域の検出は上記手法に限ったものではなく、仮想焦点距離と仮想カメラ移動量に基づき被写体距離情報を透視投影変換した際に、投影されない画素位置を遮蔽領域としてもよい。また、異なる視点で撮影した画像から画像に対するカメラ姿勢を推定して、視点変更したい画像の視点に変更した画像との差分が所定以上の大きさである領域を遮蔽領域としても良い。
【００４１】
次に、変倍率の変更と変形動作について説明する。変形動作については、合焦被写体に対する遮蔽領域が欠落領域として出現しない例と、背景領域を含めた全ての被写体で遮蔽領域が欠落領域として出現しない例の２つを説明する。
【００４２】
前者について図７を用いて説明する。図７（Ａ）は撮影画像であり、図７（Ｂ）は上述した手法で検出した遮蔽領域を示すものであり６１０が遮蔽領域に相当する。なお、遮蔽領域６１０は、図７（Ｂ）のように、破線で示す合焦被写体の背後の背景領域に存在するものである。図７（Ｃ）は、各被写体に対する変倍率を示しており、６０１が１．０倍、６０２が２．０倍、６０３が３．０倍、６０４が４．０倍とする。図７（Ｄ）は、その変倍率を用いて変形した画像であり、図１３（Ｅ）、（Ｆ）で示したものと同一である。この変倍率では、遮蔽領域６１０が欠落領域として画像に現れることになるため、変形後の画像に欠落領域が出現しないような変倍率に各被写体に対する変倍率を変更する。
【００４３】
この処理について図１０を用いて説明する。図１０（Ａ）は、図７（Ｅ）の合焦領域と遮蔽領域のみを示した図であり、５０１が合焦領域、５０２が遮蔽領域である。図１０（Ｂ）は合焦領域５１１と変倍した遮蔽領域５１２を示している。図１０（Ｃ）は、合焦領域と変倍した遮蔽領域の差分を示し、５２１のように差分領域が出現している場合は欠落領域が出現することになる。よって、変倍率を下げて上述した処理を繰り返すことで、欠落領域が出現しなくなる変倍率を最終的な変倍率として決定する。図７（Ｅ）は決定された変倍率を示し、背景被写体６０２〜６０４を変形することで背景画像を生成し、変形した背景領域に合焦被写体６０１を合成することで図７（Ｆ）を生成する。
【００４４】
後者について図８、図９を用いて説明する。図８（Ａ）は撮影画像であり、図８（Ｂ）は上述した手法で検出した遮蔽領域を示すものであり７１０と７１１が遮蔽領域に相当する。７１０は合焦被写体７０１に遮蔽された領域、７１１は背景被写体７０２に遮蔽された領域を示す。図８（Ｃ）は、被写体７０１と７０３に対する変更前の変倍率を示しており、７０１を１．０倍、７０３を３．０倍とする。図８（Ｄ）は、図８（Ｃ）で設定した変倍率で変形したものであり、合焦被写体７０１に遮蔽されていた領域７１０が欠落領域７２１として出現したものを示している。そこで、図１０で説明したように、欠落領域７２１が出現しなくなるまで被写体７０３に対する変倍率を下げることを行なう。この例では、図８（Ｅ）のように、被写体７０３に対する変倍率を２．５倍にすると、欠落領域が出現しないものとする。同様の処理を背景の各被写体に対して行なう。
【００４５】
図９（Ｆ）は被写体７０２と７０４に対する変更前の変倍率を示しており、７０２を１．５倍、７０４を４．０倍とする。図９（Ｇ）は、図９（Ｆ）で設定した変倍率で変形したものであり、被写体７０２に遮蔽されていた領域７１１が欠落領域７３１として出現したものを示している。そこで、図１０で説明したように、７３１の領域が出現しなくなるまで被写体７０４に対する変倍率を下げることを行なう。この処理は図１０で示した処理と同じ処理で行うことができる。この例では、図９（Ｈ）のように、被写体７０４に対する変倍率を３．０倍にすると、欠落領域が出現しないものとする。
【００４６】
これらの処理を行なうことで最終的に変更された各被写体の変倍率を図９（Ｉ）に示す。被写体距離に応じて算出した変倍率に対して、上述した処理を行なうことで、欠落領域が出現しない変倍率に変更されるため、図９（Ｊ）で示したような欠落領域を生じない画像を得ることができる。以上が、第２の実施形態の動作である。
【００４７】
（第３の実施形態）
第３の実施形態について、図１１と図１２を用いて説明する。第３の実施形態は、仮想視点画像を生成する際、合焦被写体と背景の間に視覚的に目立つ被写体を検出したかどうかという情報と、撮影時に取得した遮蔽領域（被写体に隠れた領域）に応じて、変倍率を変更する形態である。
【００４８】
図１１は本実施形態の画像処理装置のシステム構成図、図１２は画像処理装置の処理動作を示す図である。
【００４９】
本実施形態の画像処理装置１１００のシステム構成について図１１を用いて説明する。なお、撮像装置における撮影時には、画像の他に、撮像装置から各被写体までの距離情報（被写体距離情報）、撮影時の焦点距離などのカメラパラメータが取得されているものとする。
【００５０】
図１１において、１１０１は画像入力部であり、撮影画像を画像処理装置１１００へ入力する。１１０２は画像変形部であり、被写体距離情報と変形パラメータを用いて撮影画像を変形し、仮想視点で撮影された画像を生成する。画像変形部１１０２の内部は図１の画像変形部１０２と同一である。
【００５１】
１１０３は距離情報入力部であり、被写体距離情報を入力する。１１０４はカメラパラメータ入力部であり、撮影時の焦点距離ｆｗと仮想焦点距離ｆｔを入力する。１１０５は変形パラメータ算出部であり、距離情報入力部１１０３とカメラパラメータ入力部１１０４から取得した情報に基づき、仮想視点で撮影した画像を生成するために必要な変形パラメータである背景の変倍率を算出する。
【００５２】
１１０６は画像出力部であり、仮想視点で撮影した画像を画像処理装置１１００から出力して記録する他、ディスプレイ等の表示部に表示する。１１０７は顕著領域検出部であり、第１の実施形態で説明した図１の顕著領域検出部１０７と同一である。１１０８は遮蔽領域検出部であり、第２の実施形態で説明した図５の遮蔽領域検出部４０７と同一である。
【００５３】
次に、変倍率の変更と変形動作について図１２を用いて説明する。図１２（Ａ）は撮影画像であり、図１２（Ｂ）は第２の実施形態で示した手法で検出した遮蔽領域を示すものであり１２１０と１２１１が遮蔽領域に相当する。１２１０は合焦被写体１２０１に遮蔽された領域、１２１１は背景被写体１２０２に遮蔽された領域を示す。図１２（Ｃ）は、第１の実施形態で示した手法により算出された顕著領域の有無で決定した各被写体の変倍率を示す。被写体１２０２は、顕著被写体である人物であるため、被写体１２０２〜１２０４に対する変倍率を被写体１２０２と同一の変倍率に変更する。この例では、背景被写体１２０２〜１２０４の変倍率が１．５倍の変倍率に変更されたものとする。図１２（Ｄ）は、第２の実施形態で示した手法により算出された欠落領域が出現しない各被写体の変倍率を示す。合焦被写体１２０１に遮蔽されていた領域１２１０が欠落領域として出現しなくなるまで背景被写体に対する変倍率を下げることを行なう。この例では、被写体１２０２が２．０倍、被写体１２０３が２．５倍、被写体１２０４が３．０倍に変更されたものとする。
【００５４】
次に、顕著領域の有無で決定された変倍率と欠落領域が出現しない変倍率を用いて、各被写体に対する変倍率を決定する。これは、顕著領域の有無で決定された変倍率を最終的な変倍率とすると、被写体の位置関係の崩れはなくなるが、遮蔽領域が取得できていない場合、欠落領域が出現する可能性があるからである。逆に、遮蔽領域が取得できている場合は、本来顕著領域より後方にある被写体の変倍率を大きくできるにも拘わらず、顕著被写体に対する変倍率に制限されてしまう。
【００５５】
そこで、顕著領域に対しては顕著領域に対する被写体距離で算出した変倍率を用い、顕著領域でない領域に対しては欠落領域が出現しない変倍率を最終的な変倍率とするようにする。顕著領域１２０２は図１２（Ｃ）の変倍率である１．５倍を選択する。一方、被写体１２０３，１２０４は顕著でない領域のため、１２０３は２．５倍、１２０４は３．０倍を選択する。この処理を行なった結果が図１２（Ｅ）であり、この変倍率で画像変形した結果が図１２（Ｆ）であり、被写体の位置関係が崩れず、欠落領域も出現しない画像を生成することができる。以上が第３の実施形態である。
【００５６】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００５７】
１０１：画像入力部、１０２：画像変形部、１０３：距離情報入力部、１０４：カメラパラメータ入力部、１０５：変形パラメータ算出部、１０６：画像出力部、１０７：顕著領域検出部
【図１】
2016039616.tif 000004
【図２】
2016039616.tif 000005
【図３】
2016039616.tif 000006
【図４】
2016039616.tif 000007
【図５】
2016039616.tif 000008
【図６】
2016039616.tif 000009
【図７】
2016039616.tif 000010
【図８】
2016039616.tif 000011
【図９】
2016039616.tif 000012
【図１０】
2016039616.tif 000013
【図１１】
2016039616.tif 000014
【図１２】
2016039616.tif 000015
【図１３】
2016039616.tif 000016