(57)【要約】      （修正有）【課題】撮像後の画像に対して後から焦点距離と視点を変更した画像を生成する際、仮想視点で撮影した画像の評価範囲内にある遮蔽領域を考慮して撮影することで、実際に仮想視点で撮影した画像に近い画像が生成できる画像処理装置及び画像処理装置の制御方法を提供する。【解決手段】撮影画像の複数の領域を評価する評価手段と、評価手段での評価結果を基に撮像制御を行う制御手段と、撮影画像の基準画像に対する遮蔽領域を検出する遮蔽領域検出手段とを有し、制御手段は、各撮影画像について遮蔽領域が目標値となるように、撮像制御を行う。【選択図】図２
2016213575.tif 000002
【特許請求の範囲】
【請求項１】
撮影画像の複数の領域を評価する評価手段と、
前記評価手段での評価結果を基に撮像制御を行う制御手段と、
前記撮影画像のうち、基準画像に存在しない領域である遮蔽領域を検出する遮蔽領域検出手段とを有し、
前記制御手段は、前記遮蔽領域の評価結果に基づいて前記撮像制御を行うことを特徴とする画像処理装置。
【請求項２】
前記制御手段は、撮影画像の前記遮蔽領域の評価結果に、他の領域の評価結果よりも重みを付けて撮像制御を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記制御手段は、複数の前記撮影画像の中で、撮影されている前記遮蔽領域の面積の割合が既定の値以上となる撮影画像の評価値を用いて撮像制御を行うことを特徴とする請求項１また２に記載の画像処理装置。
【請求項４】
前記制御手段は、前記撮影画像の評価結果を用いて前記遮蔽領域の評価値を予測し、予測した評価値を用いて撮像制御を行うことを特徴とする請求項１乃至３のいずれか１つに記載の画像処理装置。
【請求項５】
前記複数の撮影画像を用いてホワイトバランスを評価し、評価結果を用いて前記複数の撮影画像のホワイトバランス補正を行うホワイトバランス補正手段を有することを特徴とする請求項１乃至４のいずれか１つに記載の画像処理装置。
【請求項６】
前記評価手段は露出の評価として輝度成分の積分値、ホワイトバランスの評価として色成分の積分値を評価結果として出力することを特徴とする請求項１乃至５のいずれか１つに記載の画像処理装置。
【請求項７】
前記評価手段において、前記撮影画像における任意視点の出力画角範囲をズーム倍率から計算し、算出した範囲内で評価を行うことを特徴とする請求項１乃至６のいずれか１つに記載の画像処理装置。
【請求項８】
前記評価手段において、前記撮影画像における評価領域をユーザが指定可能であることを特徴とする請求項１乃至７のいずれか１つに記載の画像処理装置。
【請求項９】
前記遮蔽領域検出手段は、前記撮影画像と異なる視点で撮影された基準画像から前記撮影画像に対する対応点探索を行ない、前記対応点がない領域を遮蔽領域とすることを特徴とする請求項１乃至８のいずれか１つに記載の画像処理装置。
【請求項１０】
前記撮影画像における前記遮蔽領域の像高位置情報を用いて、前記撮影画像と異なる視点で撮影した前記撮影画像における前記遮蔽領域のシェーディング補正を行うシェーディング補正手段を有することを特徴とする請求項１乃至９のいずれか１つに記載の画像処理装置。
【請求項１１】
撮影画像の複数の領域を評価する評価ステップと、
前記評価ステップでの評価結果を基に撮像制御を行う制御ステップと、
前記撮影画像のうち、基準画像に存在しない領域である遮蔽領域を検出する遮蔽領域検出ステップとを有し、
前記制御ステップでは、撮影画像について前記遮蔽領域の評価結果に基づいて前記撮像制御を行うことを特徴とする画像処理装置の制御方法。
【請求項１２】
請求項１１に記載の画像処理装置の制御方法の手順が記述されたコンピュータで実行可能なプログラム。
【請求項１３】
コンピュータに、請求項１１に記載の撮像装置の制御方法の各工程を実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像後の画像に対して後から焦点距離と視点を変更した画像を生成するための画像処理装置及び画像処理装置の制御方法に関するものである。
【背景技術】
【０００２】
従来から異なる視点位置で撮像された複数枚の画像を用いて、焦点距離と視点位置を変更する仮想視点で撮影した画像を後処理で生成することが行われている。
【０００３】
特許文献１は、撮像条件（ズーム値、露出、ホワイトバランス）を変化させずに異なる位置で複数枚の画像を撮影し、カメラ間の位置関係と仮想視点位置に基づいて、撮像位置とは異なる視点位置の画像を生成する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２―２０９８９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
撮影後の画像から仮想視点で撮影した画像を生成する場合、両画像の撮影画角が違うため、露出やＷＢなどの評価範囲が異なり、実際に仮想視点位置で撮影した画像と撮影画像から生成した画像では必ずしも同じ明るさの画像にはならない。また、撮影画像から生成した仮想視点画像の多くが、手前の被写体に隠された領域である遮蔽領域となるため、遮蔽領域を考慮して評価値を決める必要がある。
【０００６】
上記課題に鑑み、本発明の目的は、ある視点の画像を生成するために複数の画像を撮像し、ある視点の画像が適切な明るさになるように撮像制御を行うことができる画像処理装置及び画像処理装置の制御方法を提供することである。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明の画像処理装置は、撮影画像の複数の領域を評価する評価手段と、前記評価手段での評価結果を基に撮像制御を行う撮像制御手段と、前記撮影画像の遮蔽領域を検出する遮蔽領域検出手段を備え、前記制御手段は、各撮影画像について前記遮蔽領域が目標値となるように、前記撮像制御を行うことを特徴とする。
【発明の効果】
【０００８】
撮像後の画像に対して後から焦点距離と視点を変更した画像を生成する際、仮想視点で撮影した画像の評価範囲内にある遮蔽領域を考慮して撮影することで、実際に仮想視点で撮影した画像に近い画像が生成できる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態のシステム図である。
【図２】第１の実施形態の撮像時のフローチャートである。
【図３】第１の実施形態の仮想視点画像生成時のフローチャートである。
【図４】第１の実施形態の処理で用いる画像を説明する図である。
【図５】第１の実施形態の遮蔽領域の検出を説明する図である。
【図６】第１の実施形態の画像の領域分割を説明する図である。
【図７】第１の実施形態の画像の露出決定について説明する図である。
【図８】第１の実施形態の遮蔽領域の補間を説明する図である。
【図９】第１の実施形態の仮想視点でのカメラ位置と焦点距離の関係を説明する図である。
【図１０】第１の実施形態の合成後の画像を用いた露出の調整を説明する図である。
【図１１】第１の実施形態の像高位置を考慮したシェーディング補正を説明する図である。
【図１２】第１の実施形態の出力画角を考慮した評価範囲の指定を説明する図である。
【図１３】第２の実施形態のシステム図である。
【図１４】第２の実施形態の撮像時のフローチャートである。
【図１５】第２の実施形態の仮想視点画像生成時のフローチャートである。
【図１６】第３の実施形態のシステム図である。
【図１７】第３の実施形態の撮像時のフローチャートである。
【図１８】第３の実施形態の遮蔽領域の露光量の予測を説明する図である。
【発明を実施するための形態】
【００１０】
〔第１の実施形態〕
第１の実施形態について図１から図１２を用いて説明する。第１の実施形態は、被写体に隠れた領域（遮蔽領域）を考慮して背景領域が目標値になるような露出の制御を行うために、露出を順次変更して画像を撮影する。そして、遮蔽領域を別の視点で撮影した画像で埋め、撮像装置から各被写体までの距離情報（被写体距離情報）を基に画像を分割、幾何変形することによって仮想視点で撮影した画像を生成する形態である。
【００１１】
以下に説明する実施形態は、画像処理装置の一例としての、撮影により得られた画像から異なる撮影条件の画像を生成可能な撮像装置１００に、本発明を適用した例を説明する。しかし、本発明は、撮影により得られた画像から異なる撮影条件の画像を生成することが可能な任意の機器に適用可能である。
【００１２】
本画像処理装置のシステム構成について図１を用いて説明する。
【００１３】
図１において、１０１はカメラ信号処理部であり、センサから読み取った信号に対してセンサ補正と被写体距離情報の算出を行う。
【００１４】
１０２は評価部であり、被写体距離情報とセンサから読み取った信号から露光量の評価を行う。なお、使用する被写体距離情報はカメラ信号処理部１０１から入力する。
【００１５】
１０３は遮蔽領域検出部であり、基準画像と異なる視点で撮影された画像（別視点画像）を用いて遮蔽領域を検出する。
【００１６】
１０４は撮像制御部であり、評価部１０２と遮蔽領域検出部１０３から取得した情報を基に、露出の制御を行う。
【００１７】
１０５はメモリ部であり、複数枚撮影したＲＡＷ画像を保管する。
【００１８】
１０６はホワイトバランス補正（ＷＢ補正）部であり、撮影した複数枚のＲＡＷ画像全てを用いてＷＢ補正処理を行う。
【００１９】
１０７は現像処理部であり、ＷＢ補正処理が終わった複数枚の全ての画像に対してＮＲ処理、収差補正処理、現像処理を行う。
【００２０】
１０８は画像変形部であり、被写体距離情報に基づいて算出された変形パラメータで撮影画像４０１を幾何変形する。
【００２１】
１０９は画像合成部であり、合焦距離にある合焦被写体画像４１１と変形後の背景画像４３１を合成することで仮想視点で撮影した画像４４１を生成し、生成した画像に対して再度露出の調整を行う。
【００２２】
１１０は画像記憶部であり、仮想視点で撮影した画像を本画像処理装置から出力して記録する他、ディスプレイ等の表示部に表示する。
【００２３】
以上の動作を処理の流れに従ったものが図２、図３のフローチャートであり、撮像時の処理の詳細を図４〜図７を用いて説明する。
【００２４】
また、以下に説明する各ブロックは、例えば撮像装置１００が有する不図示の制御部が、メモリに記録された対応するアプリケーションプログラムをＲＡＭ等に展開して実行することで実現される、画像処理に係る各モジュールであるものとして説明する。しかしながら、本発明の実施において画像処理はプログラムにより実現されるものに限らず、１以上のモジュールに対応する機能を有する情報処理回路等のハードウェアによって動作が実現されるものであってもよい。
【００２５】
Ｓ２０１では、仮想視点で撮影した画像を生成するための基準となる画像の撮影を行う。撮影時に合焦位置を決定し、合焦距離と同じ距離にある領域を合焦被写体領域と定義する。基準画像では、合焦被写体領域が適正となるように露出を制御する。また、基準画像撮影後は合焦被写体にフォーカスを合わせ続けて撮影する。
【００２６】
Ｓ２０２では、別視点で撮影時のセンサから読み取った信号を評価部１０２と遮蔽領域検出部１０３に入力する。
【００２７】
Ｓ２０３では、遮蔽領域検出部１０３において仮想視点で撮影した画像を生成ために、基準となる画像と別視点で撮影した画像を用いて遮蔽領域を検出する。遮蔽領域の検出について図５を用いて説明する。図５は基準画像５０１と別視点画像５１１を示しており、各画像の合焦被写体を５０２、５１２、各画像の特徴点を５０３〜５０７、５１３〜５１７で示す。
【００２８】
まず、画像中の特徴点の検出を行う。基準画像５０１と別視点画像５１１に対してバンドパスフィルタやエッジ検出器を用いて、信号の変化が大きい領域や、エッジの強度が大きい領域を特徴点とする。
【００２９】
次に、各画像にある特徴点の相関の度合いを計算することで画像間の対応関係の有無の検出（対応点探索）を行う。この結果、基準画像における特徴点５０３と別視点画像の特徴点５１３、特徴点５０４と特徴点５１４、特徴点５０５と特徴点５１５は対応関係がとれている（互いに対応点である）ことになる。一方で、基準画像の特徴点５０６と別視点画像の特徴点５１６、特徴点５０７と特徴点５１７は対応関係がとれていない。この対応関係がとれていない特徴点のある領域が遮蔽領域の候補となる。遮蔽領域の候補に対して、別視点画像における基準画像の合焦被写体領域の位置を用いて遮蔽領域であるかどうかを判定する。別視点画像における基準画像の合焦被写体領域の位置を点線５１８で示す。別視点画像の特徴点５１６は点線５１８の領域に含まれるため、基準画像においては合焦被写体に隠された領域（遮蔽領域）と判定される。これに対し、特徴点５１７は点線５１８の領域に含まれないため、遮蔽領域であるとは判定しない。
【００３０】
Ｓ２０４では評価部１０２において、カメラ信号処理部１０１から得られた被写体距離情報を用いて、撮影画像４０１から合焦被写体領域４１１の検出を行う。
【００３１】
合焦被写体領域検出は、図６に示すような被写体距離情報のヒストグラムを用いて判定を行う。図６のグラフでは、縦軸は画素値のカウント数、横軸は被写体距離情報を示している。まず、ヒストグラムの極大値を検出し、各極大値の間にある極小値の検出を行う。次に、合焦距離付近にある領域を合焦被写体領域（評価領域）とするために、撮影時のフォーカス情報を用いて合焦領域までの距離を算出する。最後に、合焦距離が含まれるヒストグラムの山６０２の両端にある極小値を選択し、その範囲内の距離にある領域を合焦被写体領域と判定する。
【００３２】
Ｓ２０５では、背景領域における露光量の評価を行う。露光量の評価について図７を用いて説明する。図７は別視点で撮影した画像を任意のブロックに分割した画像７０１と、任意ブロックにおける輝度値の積分値７１１、重み係数７２１を示す。まず、別視点画像７０１を任意サイズ（Ｍ×Ｎ）のブロックに分割する。次に、背景領域の評価値を算出するため、別視点画像７０１における合焦被写体領域を含むブロック情報を用いる。別視点画像７０１において合焦被写体領域を含むブロックは点線領域７０２で示され、この点線領域７０２を除く領域に対して露光量の評価を行う。露光量の評価としては下記式（１）を用いて、撮影画像内の各ブロックにおける輝度成分の積分値Ｙ（Ｍ，Ｎ）を算出する。
【００３３】
【数１】
2016213575.tif 000003
【００３４】
ｐ（ｘ，ｙ）：各画素の輝度値
【００３５】
Ｓ２０６では撮像制御部１０４において、評価部１０２から入力した評価結果と、遮蔽領域検出部１０３から入力した遮蔽領域範囲を用いて露出を決定する。その際、後述する画像合成後に再度明るさを調整するため、遮蔽領域が飽和しない露出で撮影を行うものとする。別視点画像７０１における遮蔽領域を黒色領域７０３で示す。この遮蔽領域７０３を含むブロックは重み係数７２１の点線領域７２２で示され、この点線領域７２２を考慮して露出を決定するために、点線領域７２２の評価値の重みを大きくするような重み係数Ｗ（Ｍ，Ｎ）を求める。そして、下記式（２）を用いて、遮蔽領域の重みを大きくしたＷ（Ｍ，Ｎ）とＳ２０５で算出したＹ（Ｍ，Ｎ）の加重平均処理を行い、被写体輝度値ＢＶを算出する。
【００３６】
【数２】
2016213575.tif 000004
【００３７】
次に、算出した画像の被写体輝度値ＢＶが飽和しない露出となるような、レンズ絞り値、シャッタースピード、ＩＳＯ感度を決定する。算出には式（３）を用いる。
【００３８】
【数３】
2016213575.tif 000005
【００３９】
ＥＶ：露出値
ＢＶ：被写体輝度値
ＡＶ：レンズ絞り値
ＴＶ：シャッタースピード
ＳＶ：ＩＳＯ感度
【００４０】
Ｓ２０７では、Ｓ２０６で決定したＡＶ、ＴＶ、ＳＶを基に撮像制御を行う。
【００４１】
Ｓ２０８では、撮影した複数枚のＲＡＷ画像をメモリ部１０５に記録する。
【００４２】
Ｓ２０９では、複数枚全てのＲＡＷ画像を用いてＷＢ補正処理を行う。まず、全ＲＡＷ画像を用いたＷＢの評価として、各ＲＡＷ画像を任意のサイズに分割し、各ブロックにおける色成分の積分値Ｃ（Ｍ，Ｎ）を算出する。次に、算出したＣ（Ｍ，Ｎ）を用いて全画像から白検出を行い、ＷＢ補正係数を算出する。最後に、ＷＢ補正係数を用いて全ＲＡＷ画像のＷＢ補正処理を行う。
【００４３】
仮想視点画像生成時の処理の詳細を図４、図８〜図１０を用いて説明する。
【００４４】
Ｓ３０１では、メモリに保存されている撮影した複数枚の画像と、撮影時の各距離情報、カメラパラメータを画像変形部１０８に入力する。
【００４５】
Ｓ３０２では、Ｓ２０４の合焦被写体領域検出の処理と同様に、被写体距離情報を用いて、合焦被写体領域と背景領域に分割する。さらに、背景領域４２１を被写体距離情報に応じて、１つ以上の背景領域に分割する。分割方法としては、ヒストグラムの極大値を検出し、各極大値の間にある極小値の検出を行う。そして、合焦距離を含まない各山の両端にある極小値を選択し、範囲内にある被写体距離情報を用いて背景を分割する。６０１では、合焦被写体と背景Ａ〜Ｄに分割することができる。
【００４６】
また、領域分割に使用する情報は被写体距離情報だけでなく、画像の特徴量を併用しても良い。
【００４７】
Ｓ３０３では、複数枚画像を用いて遮蔽領域の補間を行う。遮蔽領域の補間処理について図８を用いて説明する。図８は基準画像８０１、別視点画像８１１、遮蔽領域補間後の画像を８２１で示しており、黒色領域８０２は遮蔽領域を示している。遮蔽領域の検出としては、Ｓ２０３と同様の処理を行う。まず、基準画像と別視点画像の位置合わせを行う。次に、検出した遮蔽領域を用いて、別視点画像の背景領域を基準画像の背景領域へ投影することで、遮蔽領域の補間処理を行う。８１２は別視点画像における遮蔽領域の位置を示しており、基準画像から視点が移動したため、合焦被写体領域によって隠されていた背景領域の一部が別視点画像に写っている。この写っている領域を基準画像に投影することで補間処理を行う。８２２は別視点画像から投影された領域であり、８２３は別視点画像８１１で合焦被写体８１３に隠された領域であるが、基準画像に元から写っていた領域である。一方で、黒色の領域８２４は別視点画像で取得されていない領域であり、遮蔽領域として残っている領域である。
【００４８】
Ｓ３０４では、被写体距離情報とカメラパラメータの情報に基づき、仮想視点で撮影した画像を生成するために必要な変形パラメータを算出する。この変形パラメータの算出方法について図９を用いて説明する。図９は説明を分かりやすくするために、合焦被写体と背景の２つの被写体を撮影した場合を例にとる。また、図中の記号は以下の内容を示している。
ｙ１：合焦被写体の大きさ
ｙ２：背景の大きさ
ｆｗ：撮影時の焦点距離
ｙｗ１、ｙｗ２：撮影時の像面上の大きさ
Ｓｗ１、Ｓｗ２：撮影時の被写体までの距離
ｆＴ：仮想視点での焦点距離
ｙＴ１、ｙＴ２：仮想視点で撮影した時の像面上の大きさ
ＳＴ１、ＳＴ２：仮想視点での被写体距離
ｔ３：撮影時から仮想視点へのカメラ移動量
【００４９】
合焦被写体の大きさを変化させずに背景を大きくした画像を生成する場合、撮影時の合焦被写体ｙ１の像面上の大きさｙｗ１に対して、仮想視点で撮影した合焦被写体ｙ１の像面上の大きさｙＴ１が同じとなる。このため、三角形の相似関係とレンズの公式から、背景の変倍率として下記式（４）が成立する。
【００５０】
【数４】
2016213575.tif 000006
【００５１】
ここで、背景の変倍率をＮ＝ｙＴ２／ｙｗ２と定義し、背景の変倍率Ｎは撮影時の焦点距離ｆｗ、被写体距離情報Ｓｗ１、Ｓｗ２、仮想視点の焦点距離ｆＴにより算出される。
【００５２】
Ｓ３０５では、Ｓ３０３において被写体距離情報を用いて分割し、遮蔽領域の補間を行った各背景領域に対して、Ｓ３０４で算出した変形パラメータを用いて幾何変形を行う。変形パラメータで背景画像４２１を変形することで変形後の背景画像４４１を生成する。
【００５３】
Ｓ３０６では、合焦被写体画像４２１と変形後の背景画像４３１を合成することで仮想視点で撮影した画像４４１を生成する。なお、変形後の背景領域と合焦被写体領域を合成する際、境界部分を目立ちにくくするために、合焦被写体と変形後の背景の加重加算を、下記式（５）を用いた合焦被写体に対する画素のα値の重みを大きくして処理を行い、画像を出力するようにしても良い。ここでのαは被写体距離情報を基に決定する。また、式中の記号は以下の内容を示している。
Ｉｎ１：合焦被写体の画素値
Ｉｎ２：変形後の背景の画素値
Ｏｕｔ：出力画像の画素値
【００５４】
【数５】
2016213575.tif 000007
【００５５】
また、仮想焦点距離が長い場合は、被写界深度の浅い画像となるため、合成後の画像に対して合焦被写体と背景の距離比を用いて、背景領域に対してローパスフィルタ処理を行ない、背景領域をぼかすことを行なっても良い。
【００５６】
Ｓ３０７では、合成画像を用いて露出の再調整を行う。露出の再調整の処理について図１０を用いて説明する。図１０は基準画像に対して２枚の別視点画像を用いて遮蔽領域を投影し、背景領域を変形した合成画像１００１を示しており、点線領域が遮蔽領域の補間処理で投影された領域である。領域１００２は基準画像の合焦被写体領域、領域１００３は基準画像の背景領域、点線領域１００４は１枚の別視点画像から投影した領域、点線領域１００５は点線領域１００４とは別の別視点画像から投影した領域である。また、基準画像における合焦被写体領域の被写体輝度値をＢＶ１、背景領域の被写体輝度値をＢＶ２、各画像から投影された遮蔽領域の被写体輝度値をＢＶ３、ＢＶ４と示す。
【００５７】
この合成画像では、基準画像では合焦被写体領域、別視点画像では遮蔽領域に重みをもたせて露出の制御を行ったため、画像内の領域ごとに被写体輝度値が異なっている。そのため、まずは背景領域と遮蔽領域におけるＢＶ２、ＢＶ３、ＢＶ４の評価値を用いて、点線領域１００４、１００５にデジタルゲインをかけることで、基準画像の背景領域１００３に合わせる。次に、Ｓ２０５、Ｓ２０６と同様の処理を行い、合成画像全体に対して露光量の評価と調整を行う。露光量の評価としては、式（１）を用いて合成画像の各任意ブロックにおける輝度成分の積分値Ｙ（Ｍ，Ｎ）を算出する。そして、式（２）を用いて、合焦被写体領域の重みを大きくした重み係数Ｗ（Ｍ，Ｎ）と算出したＹ（Ｍ，Ｎ）の加重平均処理を行い、合成画像のＢＶ’を算出する。最後に、算出したＢＶ’に合わせるために、合焦被写体領域１００２と背景領域１００３にデジタルゲインをかけることで調整を行う。
【００５８】
本実施形態では、遮蔽領域を考慮した露出制御を複数枚の画像を用いて行うため、別視点画像を撮影するごとに遮蔽領域の像高位置が異なる。図１１のように基準画像１１０１での遮蔽領域の像高位置１１０２と別視点画像１１１１での遮蔽領域の像高位置１１１２が異なり、グラフ１１２１で示すように像高位置によってシェーディング補正後の輝度値が異なる。グラフ１１２１では、縦軸は輝度値、横軸は像高位置を示す。そのため、基準画像１１０１における像高位置情報を用いてシェーディング補正係数を変更し、別視点画像１１１１のシェーディング補正を行う。
【００５９】
また、本実施形態では、図２のフローチャートのＳ２０５において説明したように、遮蔽領域に重みをもたせて背景領域全体で露光量の評価値を算出する例を示したが、図１２のように別視点画像１２１１の出力画角範囲を用いて評価範囲を限定しても良い。すなわち、基準画像１２０１における任意視点の出力画角範囲１２０２をズーム倍率から計算し、算出した範囲内で評価を行うこともできる。
【００６０】
また、本実施形態では、図２のフローチャートのＳ２０５において説明したように、遮蔽領域に重みをもたせて背景領域全体で露光量の評価値を算出する例を示したが、ユーザが評価範囲（評価領域）を指定可能にしても良い。
【００６１】
また、本実施形態では、図２のフローチャートのＳ２０８、Ｓ２０９において説明したように、メモリ部１０５で複数枚全てのＲＡＷ画像を保存し、全画像を用いてＷＢ補正を行う例を示したが、１枚ごとにＷＢ補正を行っても良い。この場合、システム構成におけるメモリ部１０５で一時画像を保存する必要がない。
【００６２】
〔第２の実施形態〕
第２の実施形態は、遮蔽領域の重みを考慮した露出を制御するために、第１の実施形態に示した撮像を行うごとに露光量を変更して制御する処理を、遮蔽領域の面積を考慮して、既定の割合を越えた場合に露出を固定する処理に変更した形態である。
【００６３】
図１３は本画像処理装置のシステム図、図１４は本画像処理装置のフローチャートを示す図、図１５は遮蔽領域の面積比較を説明する図である。
【００６４】
本画像処理装置のシステム構成を図１３に示す。構成要素は図１と同一であり、図１との差異は遮蔽領域面積比較部１３０４で、遮蔽領域検出部１３０３から取得した遮蔽領域の位置情報を用いて既定の割合を越えたかどうかを判定し、その結果を撮像制御部に送る。
【００６５】
また、本画像処理のフローチャートについて図１４を用いて説明するが、図２との差異は、遮蔽領域の面積を比較する処理Ｓ１４０４である。そのため、各構成要素の説明は省略して、遮蔽領域の面積を比較する処理Ｓ１４０４について説明する。
【００６６】
Ｓ１４０４では、遮蔽領域検出部１３０３から遮蔽領域の位置情報を入力する。図１５のグラフで遮蔽領域が別視点画像に撮影されている遮蔽領域の割合の推移を表している。図１５のグラフでは、縦軸は写っている遮蔽領域の面積の割合、横軸は撮影時間を示す。処理としては、入力された遮蔽領域の位置情報から面積を算出し、基準画像における合焦被写体領域の面積を用いて撮影されている遮蔽領域の面積の割合を算出する。遮蔽領域の面積の割合が既定の値以上なった場合、その時点よりも後に撮影される画像は露出固定位置１５０２での露出で撮影を行う。
【００６７】
〔第３の実施形態〕
第３の実施形態は、遮蔽領域の重みを考慮した露出を制御するために、第１の実施形態に示した撮像を行うごとに露光量を変更して制御する処理を、１枚の画像から遮蔽領域の露光量を予測し、その評価値を用いて露出を固定する処理に変更した形態である。
【００６８】
図１６は本画像処理装置のシステム図、図１７は本画像処理装置のフローチャートを示す図、図１８は遮蔽領域の露光量の予測を説明する図である。
【００６９】
本画像処理装置のシステム構成を図１６示す。構成要素は図１と同一であり、図１との差異は、遮蔽領域の露光値を１枚の画像から予測するため、合焦被写体領域の位置を用いることである。
【００７０】
また、本画像処理のフローチャートについて図１７を用いて説明するが、図２との差異は、遮蔽領域の露光量を予測する処理Ｓ１７０４である。そのため、各構成要素の説明は省略して、遮蔽領域の露光量を予測する処理Ｓ１７０４について説明する。
【００７１】
Ｓ１７０４では、Ｓ１７０３で行った背景領域における露光量の評価を用いて、遮蔽領域の評価値を予測する。遮蔽領域の評価値を予測する処理について図１８を用いて説明する。図１８は別視点で撮影した画像を任意のブロックに分割した画像１８０１と、任意ブロックにおける輝度値の積分値１８１１を示している。遮蔽領域は合焦被写体領域に隠された背景領域であるため、合焦被写体付近にある背景領域の評価値を用いて遮蔽領域の評価値を算出する。別視点画像１８０１の遮蔽領域を含む評価エリアを点線１８０２で示し、その点線１８０２における輝度成分の積分値を予測するために、点線１８１２の周辺にある領域１８１３の輝度成分値を用いて遮蔽領域の輝度成分値を算出する。
【００７２】
（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。
【００７３】
この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。
【００７４】
また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。
【００７５】
また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。
【００７６】
更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。
【符号の説明】
【００７７】
１０１  カメラ信号処理部
１０２  評価部
１０３  遮蔽領域検出部
１０４  撮像制御部
１０５  メモリ部
１０６  ＷＢ補正部
１０７  現像処理部
１０８  画像変形部
１０９  画像合成部
１１０  画像記憶部
【図１】
2016213575.tif 000008
【図２】
2016213575.tif 000009
【図３】
2016213575.tif 000010
【図４】
2016213575.tif 000011
【図５】
2016213575.tif 000012
【図６】
2016213575.tif 000013
【図７】
2016213575.tif 000014
【図８】
2016213575.tif 000015
【図９】
2016213575.tif 000016
【図１０】
2016213575.tif 000017
【図１１】
2016213575.tif 000018
【図１２】
2016213575.tif 000019
【図１３】
2016213575.tif 000020
【図１４】
2016213575.tif 000021
【図１５】
2016213575.tif 000022
【図１６】
2016213575.tif 000023
【図１７】
2016213575.tif 000024
【図１８】
2016213575.tif 000025