(57)【要約】【課題】入力画像から被写体を検出する場合に被写体の誤検出を抑制させることを目的とする。【解決手段】画像処理装置は、入力画像と、該入力画像に対応する奥行分布情報と、該入力画像における背景と前景との差異を示す差異情報とを取得する取得手段と、少なくとも前記差異情報に基づいて前記入力画像における被写体を検出する検出手段と、を有し、前記検出手段は、前記奥行分布情報が示す奥行のばらつきに応じて対応する前記差異情報の重み付けを変更して、該重み付けされた前記差異情報に基づいて被写体を検出することを特徴とする。【選択図】図５
2019191681.tif 000002
【特許請求の範囲】
【請求項１】
入力画像と、該入力画像に対応する奥行分布情報と、該入力画像における背景と前景との差異を示す差異情報とを取得する取得手段と、
少なくとも前記差異情報に基づいて前記入力画像における被写体を検出する検出手段と、を有し、
前記検出手段は、
前記奥行分布情報が示す奥行のばらつきに応じて対応する前記差異情報の重み付けを変更して、該重み付けされた前記差異情報に基づいて被写体を検出することを特徴とする画像処理装置。
【請求項２】
前記検出手段は、
奥行のばらつきが小さい奥行分布情報の場合には、前記差異情報の影響が大きくなるように重み付けを変更することで、重み付けされた差異情報に対応する領域から被写体が検出されやすくなり、
奥行のばらつきが大きい奥行分布情報の場合には、前記差異情報の影響が小さくなるように重み付けを変更することで、重み付けされた差異情報に対応する領域から被写体が検出されにくくすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記検出手段は、
前記入力画像に設定した領域に対して、前記差異情報を用いた評価情報を求め、
前記評価情報が所定の条件を満たす場合には前記領域を被写体として検出し、
前記評価情報が所定の条件を満たさない場合には被写体を検出しないことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記差異情報は、
前記背景と前記前景との色差を含む情報であって、
前記背景と前記前景との色差が小さい場合には色差が大きい場合に比べて、小さい値であることを特徴とする請求項１ないし３の何れか１項に記載の画像処理装置。
【請求項５】
前記差異情報は、
前記背景と前記前景との色差を含む情報であって、
前記背景と前記前景との色差が小さいほど、前記評価情報が前記所定の条件を満たさない値として求められることを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記背景は、前記入力画像のうち周辺部に位置する画像であり、
前記前景は、前記入力画像のうち周辺部よりも内側に位置する画像であることを特徴とする請求項１ないし５の何れか１項に記載の画像処理装置。
【請求項７】
前記取得手段は、
前記入力画像の奥行情報を取得し、
前記検出手段は、
前記差異情報および前記取得手段により取得された奥行情報に基づいて前記入力画像における被写体を検出することを特徴とする請求項１ないし６の何れか１項に記載の画像処理装置。
【請求項８】
前記検出手段は、
奥行のばらつきが小さい奥行分布情報の場合には、前記奥行情報の影響が小さくするように重み付けを変更することで、重み付けされた奥行情報に対応する領域から被写体が検出されにくくなり、
奥行のばらつきが大きい奥行分布情報の場合には、前記奥行情報の影響が大きくなるように重み付けを変更することで、重み付けされた奥行情報に対応する領域から被写体が検出されやすくすることを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記取得手段は、
前記入力画像の色顕著情報を取得し、
前記検出手段は、
前記差異情報、前記奥行情報、および、前記取得手段により取得された色顕著情報に基づいて前記入力画像における被写体を検出することを特徴とする請求項７または８に記載の画像処理装置。
【請求項１０】
前記検出手段は、
奥行のばらつきが小さい奥行分布情報ほど重み付けを大きくするように変更した前記差異情報と、前記色顕著情報とに基づいて前記入力画像における被写体を検出し、
奥行のばらつきが大きい奥行分布情報ほど重み付けを大きくするように変更した前記奥行情報と、前記色顕著情報とに基づいて前記入力画像における被写体を検出することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記入力画像の色顕著情報に基づいて前記入力画像に対する領域を抽出する抽出手段を有し、
前記検出手段は、
前記差異情報および前記抽出手段により抽出された領域に基づいて前記入力画像における被写体を検出することを特徴とする請求項１ないし１０の何れか１項に記載の画像処理装置。
【請求項１２】
前記抽出手段は、
前記入力画像に対して設定した領域の画像信号と、前記設定した領域の外側領域の画像信号とに基づいて前記入力画像の色顕著情報を求め、前記色顕著情報に基づいて前記設定した領域を抽出することを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記検出手段は、
前記取得手段により取得された奥行分布情報に基づいて前記差異情報の重み付けを変更して、前記領域ごとに前記差異情報を用いた評価情報を求めることを特徴とする請求項１１または１２に記載の画像処理装置。
【請求項１４】
前記検出手段は、
前記領域ごとに求めた評価情報が所定の閾値に達しない場合には前記入力画像における被写体を検出しないことを特徴とする請求項１３に記載の画像処理装置。
【請求項１５】
前記検出手段は、
前記領域ごとに求めた評価情報のうち最も高い評価情報に対応する領域を前記入力画像の被写体として検出することを特徴とする請求項１３または１４に記載の画像処理装置。
【請求項１６】
入力画像と、該入力画像に対応する奥行分布情報と、該入力画像における背景と前景との差異を示す差異情報とを取得する取得ステップと、
少なくとも前記差異情報に基づいて前記入力画像における被写体を検出する検出ステップと、を有し、
前記検出ステップでは、
前記奥行分布情報が示す奥行のばらつきに応じて対応する前記差異情報の重み付けを変更して、該重み付けされた前記差異情報に基づいて被写体を検出することを特徴とする画像処理装置の制御方法。
【請求項１７】
コンピュータを、請求項１ないし１５の何れか１項に記載の手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、その制御方法およびプログラムに関する。
【背景技術】
【０００２】
画像撮像時に、ＡＥやＡＦ等の評価値と使用するために、主被写体領域を自動で判定する機能を有するデジタルカメラ等の画像処理装置が提案されている。
特許文献１には、階調マップに基づく検出方法と視差マップに基づく検出方法との間の相互作用を採用して物体を検出する対象検出方法が開示されている。
特許文献２には、外側背景領域の色と近い色の背景候補領域を抽出して、背景候補領域を背景領域とする画像処理方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−２９５６４号公報
【特許文献２】特開２０１７−１２６２２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１では風景を撮影した画像のように画像内に主被写体がなく、視差画像に差分がない場合には被写体と背景領域との分離を行うことができない。したがって、階調の微妙な差によって、被写体領域でない領域を主被写体と誤検出してしまう虞がある。この場合には、特許文献２の方法を用いて背景領域を判定することが考えられる。しかしながら、特許文献２の方法で背景領域を推定する場合、背景に被写体が重なっている場合には被写体色と背景色が分離できず、被写体領域を背景領域と誤検出してしまう虞がある。
本発明は、上述したような問題点に鑑みてなされたものであり、入力画像から被写体を検出する場合に被写体の誤検出を抑制させることを目的とする。
【課題を解決するための手段】
【０００５】
本発明は、入力画像と、該入力画像に対応する奥行分布情報と、該入力画像における背景と前景との差異を示す差異情報とを取得する取得手段と、少なくとも前記差異情報に基づいて前記入力画像における被写体を検出する検出手段と、を有し、前記検出手段は、前記奥行分布情報が示す奥行のばらつきに応じて対応する前記差異情報の重み付けを変更して、該重み付けされた前記差異情報に基づいて被写体を検出することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、入力画像から被写体を検出する場合に被写体の誤検出を抑制させることができる。
【図面の簡単な説明】
【０００７】
【図１】撮像装置の構成の一例を示す図である。
【図２】撮像素子の構造の一例を示す図である。
【図３】被写体距離の取得方法を説明するための図である。
【図４】被写体検出処理の一例を示すフローチャートである。
【図５】入力画像と奥行情報、色顕著度、背景度、被写体領域を説明するための図である。
【図６】色顕著度算出処理の一例を示すフローチャートである。
【図７】評価領域を説明するための図である。
【図８】外側評価領域を説明するための図である。
【図９】背景度算出処理の一例を示すフローチャートである。
【図１０】画像枠領域の一例を示す図である。
【図１１】被写体領域決定処理の一例を示すフローチャートである。
【発明を実施するための形態】
【０００８】
以下、本発明に係る実施形態について図面を参照して説明する。本実施形態では、画像処理装置の一例として、撮像装置を取り上げて説明する。なお、撮像装置は、被写体を撮影して、動画や静止画のデータを、光ディスク、磁気ディスク、テープ、固体メモリ等の各種メディアに記録可能なデジタルスチルカメラやビデオカメラ等であるが、これらに限定されるものではない。
【０００９】
図１は、撮像装置１００の構成の一例を示す図である。
撮像装置１００の各ユニットは、バス１６０を介して接続されている。また各ユニットは、ＣＰＵ１５１（中央演算処理装置）により制御される。
撮像装置１００は、一つのマイクロレンズを共有する複数の光電変換素子（第１の光電変換素子および第２の光電変換素子）を備えた撮像素子を用いて、視差画像を生成可能な構成である。また、視差画像より算出されるデフォーカス情報を、後述する被写体領域を決定する場合に利用する。
【００１０】
レンズユニット１０１は、固定１群レンズ１０２、ズームレンズ１０３、絞り１０４、固定３群レンズ１０５、フォーカスレンズ１０６、ズームモータ（ＺＭ）１０７、絞りモータ１０８（ＡＭ）およびフォーカスモータ（ＦＭ）１０９を有する。
また、撮像装置１００は、ズーム制御部１１０、絞り制御部１１１、フォーカス制御部１１２を有する。ズーム制御部１１０、絞り制御部１１１およびフォーカス制御部１１２は、ＣＰＵ１５１の指示に基づいて動作する。
【００１１】
ズーム制御部１１０は、ズームモータ１０７を介してズームレンズ１０３を駆動することにより焦点距離を変更する。絞り制御部１１１は、絞りモータ１０８を介して絞り１０４を駆動することにより、絞り１０４の開口径を調整して撮影時の光量調節を行う。フォーカス制御部１１２は、レンズユニット１０１のピント方向のずれ量に基づいてフォーカスモータ１０９を駆動する駆動量を決定する。また、フォーカス制御部１１２はフォーカスモータ１０９を介してフォーカスレンズ１０６を駆動することにより、焦点調節状態を制御する。フォーカス制御部１１２およびフォーカスモータ１０９によるフォーカスレンズ１０６の移動制御により、ＡＦ制御が実現される。フォーカスレンズ１０６は、焦点調節用レンズであり、図１には単一のレンズで示しているが、通常複数のレンズで構成される。
【００１２】
レンズユニット１０１を介して撮像素子１４１上に結像される被写体像は、撮像素子１４１により電気信号に変換される。撮像素子１４１は、被写体像（光学像）を電気信号に光電変換を行う光電変換素子である。撮像素子１４１は、横方向にｍ画素、縦方向にｎ画素の受光素子のそれぞれに、二つの光電変換素子（受光領域）が配置されている。撮像素子１４１上に結像されて光電変換された画像は、撮像信号処理部１４２により画像信号（画像データ）として整えられる。二つの光電変換素子の出力を加算することで、撮像面の画像を取得することができる。また、二つの光電変換素子の出力を各々扱うことにより視差の異なる２つの画像（視差画像）を取得することができる。本実施形態では、二つの光電変換素子の出力を加算したものをＡ＋Ｂ像、二つの光電変換素子のそれぞれ出力されたものをＡ像、Ｂ像と呼称する。
【００１３】
撮像信号処理部１４２から出力される画像データは、撮像制御部１４３に入力され、一時的にＲＡＭ１５４（ランダム・アクセス・メモリ）に蓄積される。ＲＡＭ１５４に蓄積された画像データは、画像圧縮解凍部１５３にて圧縮された後、画像記録媒体１５７に記録される。これと並行して、ＲＡＭ１５４に蓄積された画像データは、画像処理部１５２に送信される。画像処理部１５２は、画像信号を処理し、例えば、画像データに対して最適なサイズへの縮小・拡大処理を行う。最適なサイズに処理された画像データを、適宜モニタディスプレイ１５０に送信して表示することでプレビュー画像表示やスルー画像表示を行うことができる。
【００１４】
ＣＰＵ１５１は、一時的にＲＡＭ１５４に蓄積された画像データの画素信号の大きさに基づき、撮像素子１４１の蓄積時間、撮像素子１４１から撮像信号処理部１４２へ出力を行う際のゲインの設定値を決定する。撮像制御部１４３は、ＣＰＵ１５１から蓄積時間、ゲインの設定値の指示を受け取り、撮像素子１４１を制御する。
【００１５】
奥行情報算出部１６１は、ＲＡＭ１５４に蓄積された視差画像（Ａ像、Ｂ像）から奥行情報を算出する。
被写体領域決定部１５６では、ＲＡＭ１５４に蓄積された画像（Ａ＋Ｂ像）および奥行情報算出部１６１で算出した奥行情報から被写体が存在する被写体領域を決定する。被写体領域決定部１５６は、検出手段の一例に対応する。被写体領域決定部１５６により決定された被写体領域の情報は、バス１６０や各構成部に送信される。フォーカス制御部１１２は、特定の被写体領域に対してＡＦ制御を行う。絞り制御部１１１は、特定の被写体領域の輝度値を用いた露出制御を行う。画像処理部１５２は、被写体領域に基づいたガンマ補正、ホワイトバランス処理等を行う。また、モニタディスプレイ１５０は、ＣＰＵ１５１の指示に基づいて被写体領域を矩形等で表示する。
【００１６】
また、撮像装置１００は、フラッシュメモリ１５５、電源管理部１５８、バッテリ１５９を有する。
フラッシュメモリ１５５は、撮像装置１００の動作に必要なプログラムを格納する。ユーザの操作により撮像装置１００が起動（電源オフ状態から電源オン状態へ移行）すると、フラッシュメモリ１５５に格納されたプログラムがＲＡＭ１５４の一部に展開される。ＣＰＵ１５１は、ＲＡＭ１５４に展開されたプログラムに従って撮像装置１００の動作を制御する。
【００１７】
（撮像素子の構造）
図２を参照して、撮像素子１４１の画素構造について説明する。図２は、撮像素子１４１の画素構造を示す図である。図２（ａ）は撮像素子１４１の画素配列を説明するための図であり、図２（ｂ）は画素２１０ＧのＺ−Ｘ平面による断面図である。
図２（ａ）は、撮像素子１４１（２次元ＣＭＯＳセンサ）の画素配列を、４行×４列の画素範囲で示している。画素２１０の配列は、ベイヤー配列が採用されている。対角方向の２画素として、Ｇ（緑）の分光感度を有する画素２１０Ｇが配置されている。また、他の２画素として、Ｒ（赤）の分光感度を有する画素２１０Ｒ、および、Ｂ（青）の分光感度を有する画素２１０Ｂがそれぞれ配置されている。画素２１０Ｒ、２１０Ｇ、２１０Ｂは、それぞれ、瞳分割用の２つの副画素２０１ａ、２０１ｂを有する。また、副画素２０１ａは、撮像光学系の第１瞳強領域を通過した光束を受光する第１画素である。また、副画素２０１ｂは、撮像光学系の第２瞳領域を通過した光束を受光する第２画素である。各画素は、撮像用画素および焦点検出用画素として機能する。
【００１８】
図２（ａ）中のＸ、Ｙ、Ｚで示される座標軸に関し、Ｘ−Ｙ平面は図２（ａ）の紙面に対して平行であり、Ｚ軸は紙面に対して垂直な軸である。副画素２０１ａ、２０１ｂは、Ｘ軸方向に沿って配置されている。
図２（ｂ）中のＸ、Ｙ、Ｚで示される座標軸に関し、Ｘ−Ｚ平面は図２（ｂ）の紙面内に位置し、Ｙ軸は紙面に対して垂直な軸である。検出部はｐ型層２００およびｎ型層から構成されるフォトダイオードを有する。マイクロレンズ２０２は、受光面からＺ軸方向に所定の距離だけ離れた位置に配置されている。マイクロレンズ２０２は、カラーフィルタ２０３上に形成されている。
本実施形態では、撮像素子１４１の全ての画素２１０Ｒ、２１０Ｇ、２１０Ｂに、瞳分割用の副画素２０１ａ、２０１ｂが設けられている。副画素２０１ａ、２０１ｂは、焦点検出用画素として用いられる。ただし、撮像素子１４１は、このような構成に限定されるものではなく、瞳分割可能な焦点検出用画素が全画素のうちの一部の画素にのみ設けられている構成であってもよい。
【００１９】
（奥行情報算出部の構成および動作）
奥行情報算出部１６１は、１組の視差画像から像のずれ量、デフォーカス量、被写体距離の少なくともいずれかを算出することで、奥行情報を生成する。本実施形態では、被写体距離を算出するものとする。奥行情報算出部１６１は、入力画像の奥行情報等を取得する取得手段の一例に対応する。奥行情報は画素のそれぞれが像ずれ量、デフォーカス量、あるいは被写体距離を表す距離情報の１つであり、距離マップ、デプスマップ、奥行き画像、距離画像と呼ばれることもある。なお、奥行情報算出部１６１は、視差画像を用いずに奥行情報を生成してもよい。奥行情報算出部１６１は、例えば、コントラスト評価値が極大となるフォーカスレンズ１０６位置を画素ごとに求めることで、画素ごとの被写体距離を取得し、奥行情報を生成してもよい。
【００２０】
図３を用いて被写体距離の算出方法について説明する。
図３に示すように、Ａ像３０１ａとＢ像３０１ｂが得られたとすると、レンズユニット１０１の焦点距離および、フォーカスレンズ１０６と撮像素子１４１との距離情報から、実線のように光束が屈折されることがわかる。したがって、ピントの合う被写体は３０２ａの位置にあることがわかる。同様にして、Ａ像３０１ａに対してＢ像３０１ｃが得られた場合には位置３０２ｂ、Ａ像３０１ａに対してＢ像３０１ｄが得られた場合には位置３０２ｃにピントの合う被写体があることがわかる。以上のように、各画素において、その画素を含むＡ像と、対応するＢ像との相対位置から、その画素位置における被写体の距離情報を算出することができる。
【００２１】
例えば、図３に示すように、Ａ像３０１ａとＢ像３０１ｄが得られたとする。この場合には、奥行情報算出部１６１は、像のずれ量の半分に相当する中間点の画素３０４から被写体位置３０２ｃまでの距離３０３または距離３０３に相当するデフォーカス量を、画素３０４の画素値として記憶する。このようにして、各画素について被写体の距離情報を算出し、奥行情報を生成することができる。
なお、画像を微小領域に分割し、微小領域ごとにデフォーカス量を算出することによって奥行分布情報を生成してもよい。微小領域に含まれる画素からＡ像およびＢ像を生成し、その位相差（像ずれ量）を相関演算によって検出し、デフォーカス量に変換すればよい。この場合においても生成される距離マップは各画素が被写体距離を示すが、微小領域に含まれる画素は同じ被写体距離を示す。奥行情報算出部１６１は、算出した奥行情報を被写体領域決定部１５６に送信する。
【００２２】
（被写体領域決定処理）
図４と図５を参照して、被写体領域決定部１５６における処理全体の流れについて説明する。
図５（ａ）は風景５０１を撮影した画像である。図５（ｂ）は図５（ａ）に対応する奥行情報あるいは奥行分布情報を示し、図５（ｃ）は図５（ａ）に対応する色顕著度を示し、図５（ｄ）は図５（ａ）に対応する背景度を示し、図５（ｅ）は図５（ａ）に対応する被写体領域を示している。
図５（ｆ）は被写体５０２を撮影した画像である。図５（ｇ）は図５（ｆ）に対応する奥行情報あるいは奥行分布情報を示し、図５（ｈ）は図５（ｆ）に対応する色顕著度を示し、図５（ｉ）は図５（ｆ）に対応する背景度を示し、図５（ｊ）は図５（ｆ）に対応する被写体領域を示している。
図５（ｋ）は風景を背景に人物５０３を撮影した画像である。図５（ｌ）は図５（ｋ）に対応する奥行情報あるいは奥行分布情報を示し、図５（ｍ）は図５（ｋ）に対応する色顕著度を示し、図５（ｎ）は図５（ｋ）に対応する背景度を示し、図５（ｏ）は図５（ｋ）に対応する被写体領域を示している。
【００２３】
図５（ｂ）と図５（ｇ）と図５（ｌ）では、白に近い画素は距離が近く、黒に近い画素は距離が遠いことを示している。図５（ｃ）と図５（ｈ）と図５（ｍ）では、白に近い画素は色が顕著であることを示し、黒に近い画素は顕著ではないことを示している。図５（ｄ）と図５（ｉ）と図５（ｎ）では、白に近い画素は背景らしさが低く、黒に近い画素は背景らしさが高いことを示している。
なお、便宜上、図５（ｂ）〜（ｄ）と図５（ｇ）〜（ｉ）と図５（ｌ）〜（ｎ）は２値の評価値として示しているが、実際には多階調の評価値である。図５（ｊ）に示す５０４の矩形領域および図５（ｏ）に示す５０５の矩形領域は最終的に決定した被写体領域の例を示す。
【００２４】
次に、図４のフローチャートを参照して、被写体領域決定部１５６における処理全体の流れについて説明する。図４のフローチャートは、ＣＰＵ１５１がフラッシュメモリ１５５に格納されたプログラムをＲＡＭ１５４に展開して、展開したプログラムを実行することにより実現する。
Ｓ４０１では、被写体領域決定部１５６は撮像制御部１４３から入力画像を取得する。
Ｓ４０２では、被写体領域決定部１５６は奥行情報算出部１６１から奥行情報を取得する。図５（ａ）は風景５０１を撮影しているため図５（ｂ）のように奥行情報は画像全体が遠距離であることを示している。一方、図５（ｆ）と図５（ｋ）は被写体５０２、５０３を撮影しているため、図５（ｇ）や図５（ｌ）のように奥行情報は被写体部分が近距離を示し、背景部分が遠距離であることを示している。
【００２５】
Ｓ４０３では、被写体領域決定部１５６は入力画像に対して、中心位置とサイズが異なる複数の評価領域を設定して、評価領域ごとに色顕著度を求める。なお、色顕著度の詳細は後述する。図５（ｃ）、図５（ｈ）、図５（ｍ）は、後述する評価領域と外側評価領域との色顕著度が高い箇所を白くして示している。
Ｓ４０４では、被写体領域決定部１５６は入力画像に対して背景度を求める。なお、背景度の詳細は後述する。図５（ｄ）、図５（ｉ）、図５（ｎ）は後述する画像枠領域と類似の色をもつ画素が黒くなっている。図５（ａ）と図５（ｆ）はすべての画素が画像枠領域と類似の画素を持つため画像全体が黒くなっているが、図５（ｋ）は被写体５０３と画像枠領域の画素とで差異があるため白い領域が示されている。
【００２６】
Ｓ４０５では、被写体領域決定部１５６は取得した奥行情報に基づいて奥行のばらつき（分散）を求める。奥行のばらつきＤｉｓｔは次の式により算出される。奥行のばらつきは奥行分布情報の一例である。
【００２７】
【数１】
2019191681.tif 000003
【００２８】
ここで、ｍａｘは取得した奥行情報の最大値であり、ｍｉｎは取得した奥行情報の最小値である。また、ｍａｘｄｅｆは奥行情報が取り得る最大値である。本実施形態では近距離になるほど奥行情報の値が大きくなり、無限遠で０になるとする。奥行のばらつきＤｉｓｔが大きくなるほど奥行情報がばらついているとみなす。
図５（ｂ）では画像全体の奥行情報が遠距離であり、奥行情報のばらつきが小さいために奥行のばらつきＤｉｓｔは小さくなる。一方、図５（ｇ）や図５（ｌ）では、奥行情報が近距離と遠距離とがあり、奥行情報のばらつきが大きいために奥行のばらつきＤｉｓｔは図５（ｂ）よりも大きくなる。なお、本実施形態では、奥行情報の最大値と最小値の差分から奥行のばらつきを算出したが、標準偏差を用いて奥行のばらつきを算出してもよい。
【００２９】
図４のフローチャートに戻り、Ｓ４０６では、被写体領域決定部１５６は取得した奥行情報、Ｓ４０３で求めた色顕著度、Ｓ４０４で求めた背景度、Ｓ４０５で求めた奥行のばらつきに基づいて被写体領域を決定する。なお、被写体領域決定の詳細は後述する。
図５（ｅ）では後述の被写体尤度が低く、被写体の未検出を示している。一方、図５（ｊ）と図５（ｏ）は後述の被写体尤度が高い箇所を被写体領域５０４と被写体領域５０５として示している。
【００３０】
（色顕著度算出処理）
次に、図６のフローチャート、図７および図８を参照して、Ｓ４０３における画像信号による色顕著度算出処理について説明する。
Ｓ６０１では、被写体領域決定部１５６は画像信号の評価を行う評価領域を設定する。この処理は、入力画像に対する領域を設定する設定手段の一例に対応する。
図７は、評価領域を設定するときの処理を説明するための図である。図７では、７０１が入力画像、７０２が評価画素、７０３が評価領域を示している。図７（ａ）から図７（ｃ）に示すように、被写体領域決定部１５６は、評価領域を複数のサイズで算出する。評価領域のサイズは所定値をｎ倍した値で算出し、例えば１６画素、３２画素、６４画素とする。また、被写体領域決定部１５６は、評価画素を入力画像の全画素からラスタ処理で順次選択する。
【００３１】
Ｓ６０２では、被写体領域決定部１５６は評価領域に対する外側評価領域（外側領域）を決定する。
図８は、外側評価領域を説明するための図である。図８では、８０１が入力画像、８０２が評価画素、８０３が評価領域、８０４が外側評価領域を示している。図８に示すように、被写体領域決定部１５６は、中心位置を評価領域８０３と同一位置とし、外径サイズを評価領域８０３のサイズに所定値加算した値として、評価領域８０３を除いたドーナツ状の領域を外側評価領域８０４として決定する。なお、加算する所定値は入力画像の割合で決定し、例えば、入力画像の水平サイズの１０％とする。
Ｓ６０３では、被写体領域決定部１５６は評価領域と外側評価領域に対応する画像信号の色顕著度Ｄを求める。色顕著度Ｄは、外側評価領域に対して評価領域の色が顕著であるかを示す評価値であって、色顕著情報あるいは相違度の一例に対応する。色顕著度Ｄは次の式により算出される。
【００３２】
【数２】
2019191681.tif 000004
【００３３】
ここで、ｄHは評価領域および外側評価領域の色相情報から算出される相違度であり、ｐHiは評価領域の色相情報がｉである画素数を示し、ｑHiは外側評価領域のうち色相情報がｉである画素数を示している。また、ｄS、ｐSi、ｑSiは彩度情報に関する同様の値であり、ｄV、ｐVi、ｑViは輝度情報に関する同様の値である。また、ｍは色相情報、彩度情報、輝度情報が取り得る最大値である。評価領域と外側評価領域との間で画像信号が相違しているほど色顕著度Ｄは大きくなる。
【００３４】
Ｓ６０４では、被写体領域決定部１５６は未処理の評価領域があるか否かを判定する。未処理の評価領域がある場合にはＳ６０１に戻り一連の処理を繰り返し、未処理の評価領域がない場合には処理を終了してＳ４０３に戻る。
このような処理により、全ての評価領域について、評価領域ごとに色顕著度Ｄが求められる。被写体領域は評価領域と外側評価領域との間の色顕著度Ｄが大きくなることから、色顕著度Ｄが大きい評価領域が被写体領域の候補となる。
【００３５】
（背景度算出処理）
次に、図９のフローチャートおよび図１０を参照して、Ｓ４０４における画像信号による背景度算出処理について説明する。本実施形態では、画像枠（図１０に示す最も外側の枠）に接している後述する画像枠領域の画像、換言すると、入力画像のうち周辺部に位置する画像を背景とする。また、背景よりも内側の領域（画像枠領域を除いた領域）の画像、換言すると、入力画像のうち周辺部よりも内側に位置する画像を前景とする。ここで、前景における各画素の背景度を求める。
Ｓ９０１では、被写体領域決定部１５６は画像枠領域を設定する。
【００３６】
図１０は、画像枠領域を設定するときの処理を説明するための図である。図１０では、１００１が入力画像、１００２が画像枠領域を示している。画像枠領域１００２は、入力画像１００１の左端、右端、上端から所定画素幅の領域である。所定画素幅は入力画像の割合で決定し、例えば、入力画像の水平サイズの１％とする。なお、本実施形態では、入力画像１００１の下端は、背景とならない場合が多いことから、画像枠領域の対象外とする。これは、図５（ｋ）に示すように、被写体５０３を撮影した場合には、人物の身体と入力画像の下端とが重なってしまうために背景とならないことが多いことに起因する。
【００３７】
Ｓ９０２では、被写体領域決定部１５６は入力画像のうち画像枠領域を除く全画素について背景度Ｂを求める。背景度Ｂは、背景と前景との間の差異情報の一例である。各画素の背景度Ｂは次の式により算出される。
【００３８】
【数３】
2019191681.tif 000005
【００３９】
ここで、ｊは画像枠領域の画素位置を示し、ｙjは画像枠領域の画素位置jでの輝度値、ｙは評価画素での輝度値を示している。また、ｕj、ｕは色差（青信号−輝度値）に関する同様の値であり、ｖj、ｖは色差（赤信号−輝度値）に関する同様の値である。背景度Ｂが小さいほど評価画素を背景とみなすことができる。すなわち、背景に対して前景の差異がないほど背景度Ｂは小さくなる。
Ｓ９０３では、被写体領域決定部１５６は未処理の評価画素があるか否かを判定する。未処理の評価画素がある場合にはＳ９０２に戻り処理を繰り返し、未処理の評価画素がない場合には処理を終了してＳ４０４に戻る。
このような処理により、全ての評価画素について、評価画素ごとに背景度Ｂが求められる。
【００４０】
（被写体領域決定処理）
次に、図１１のフローチャートを参照して、Ｓ４０６における被写体領域決定処理について説明する。
Ｓ１１０１では、被写体領域決定部１５６は設定した複数の評価領域のうち色顕著度Ｄの高い評価領域を抽出する。この処理は、入力画像の色顕著情報に基づいて入力画像に対する領域を抽出する抽出手段による処理の一例に対応する。具体的には、色顕著度Ｄの高い上位１０の評価領域を抽出したり、色顕著度Ｄが予め定めた閾値を超える評価領域をすべて抽出したり、画像を格子状の領域に分割して各格子領域で最大の色顕著度Ｄをもつ領域を１つ抽出したりする方法等を用いることができる。
【００４１】
Ｓ１１０２では、被写体領域決定部１５６は取得した奥行情報、Ｓ４０３で求めた背景度Ｂ、Ｓ４０４で求めた奥行のばらつきＤｉｓｔを用いて、Ｓ１１０１で抽出した評価領域から被写体領域を決定する。被写体領域の決定は次の式により算出する。
【００４２】
【数４】
2019191681.tif 000006
【００４３】
ａｖｅ（ｄｅｆ）は評価領域内の全画素の奥行情報の平均である。ｍａｘｄｅｆは奥行情報が取り得る最大値である。ａｖｅ（Ｂ）は評価領域内の全画素の背景度Ｂの平均である。ｍａｘＢは背景度Ｂが取り得る最大値である。Ｓは被写体尤度であり、評価情報の一例に対応する。
被写体領域決定部１５６は被写体尤度Ｓが最大になる評価領域を被写体領域として決定する。このとき、被写体領域決定部１５６は、最大の被写体尤度Ｓが所定の閾値以上である場合に評価領域を被写体領域として決定する。この場合には、被写体領域決定部１５６は決定した被写体領域を被写体として検出する。
一方、被写体領域決定部１５６は、最大の被写体尤度Ｓが上述した閾値に達しない場合には評価領域を被写体領域として決定しない。この場合には、被写体領域決定部１５６は被写体を検出しない。すなわち、被写体領域決定部１５６は被写体を未検出とする。
最大の被写体尤度Ｓが所定の閾値以上である場合が、評価情報が所定の条件を満たす場合の一例である。
【００４４】
ここで、数４に示す式の２番目の項に注目すると、奥行のばらつきＤｉｓｔによって背景度Ｂの重み付けが変更される。すなわち、奥行情報のばらつきが小さいＤｉｓｔの場合には、（１−Ｄｉｓｔ）によって背景度Ｂの影響が大きくなる。逆に、奥行情報のばらつきが大きいＤｉｓｔの場合には、（１−Ｄｉｓｔ）によって背景度Ｂの影響が小さくなる。
また、数４に示す式の１番目の項に注目すると、奥行のばらつきＤｉｓｔによって奥行情報の重み付けが変更される。すなわち、奥行情報のばらつきが小さいＤｉｓｔの場合には、Ｄｉｓｔによって奥行情報の影響が小さくなる。逆に、奥行情報のばらつきが大きいＤｉｓｔの場合には、Ｄｉｓｔによって奥行情報の影響が大きくなる。
【００４５】
ここで、図５を参照して、奥行のばらつきＤｉｓｔによって背景度Ｂおよび奥行情報の寄与度を調整することで、被写体の誤検出を抑制できることについて具体的に説明する。
図５（ａ）は、図５（ｃ）のように色顕著度の大きい領域があるものの、図５（ｂ）のように奥行のばらつきが小さいので、数４に示す式の１番目の項によって奥行情報の影響が小さくなり、逆に２番目の項によって背景度Ｂ（差異情報）の影響が大きくなる。しかしながら、図５（ｄ）のように画像全体において背景度Ｂ自体が小さいために、画像全体の被写体尤度Ｓが小さく算出される。小さい値の被写体尤度Ｓは閾値に達しないことから、被写体領域決定部１５６は評価領域を被写体領域として決定しない。したがって、図５（ｅ）のように被写体ではない領域を被写体と誤検出することを抑制できる。すなわち、背景と前景との間で差異がない風景のような画像の背景度Ｂは、被写体尤度Ｓが閾値に達しないような値で算出される。
【００４６】
一方、図５（ｆ）は、図５（ｈ）のように色顕著度の大きい領域があり、図５（ｇ）のように奥行のばらつきが大きいので、数４に示す式の２番目の項によって背景度Ｂ（差異情報）の影響が小さくなり、逆に１番目の項によって奥行情報の寄与度が大きくなる。図５（ｇ）のように比較的に奥行情報が大きいために、画像全体の被写体尤度Ｓが大きく算出される。大きい値の被写体尤度Ｓは閾値以上となることから、被写体領域決定部１５６は評価領域を被写体領域として決定する。したがって、図５（ｊ）のように被写体領域を正しく検出することができる。
【００４７】
以上のように、本実施形態によれば、背景と前景との間の差異情報（背景度）に基づいて入力画像における被写体を検出する場合に、奥行のばらつきに基づいて差異情報の重み付けを変更する。したがって、奥行のばらつきに応じて差異情報の影響が大きく、または、小さくなるように重み付けを変更できる。
例えば、被写体を検出してほしくない風景のような画像では奥行のばらつきに基づくと差異情報の影響が大きくなるように重み付けを変更する。差異情報は背景と前景との間の差異であり、影響が大きくなるように変更された差異情報に基づくことで、画像が背景と前景との間で差異がない風景であるとして被写体を検出しないようにすることができる。
【００４８】
また、本実施形態によれば、差異情報（背景度）および奥行情報に基づいて入力画像における被写体を検出する場合に、奥行のばらつきに基づいて差異情報および奥行情報の重み付けを変更する。したがって、奥行のばらつきに応じて奥行情報の影響が大きく、または、小さくなるように重み付けを変更できる。
例えば、被写体を検出してほしい画像では奥行のばらつきに基づくと差異情報の影響が小さく、逆に奥行情報の影響が大きくなるように重み付けを変更する。したがって、仮に、被写体が存在するが背景と前景との間で差異がないような画像では、差異情報の影響は小さく、逆に奥行情報の影響が大きくなるように変更されることから、奥行情報から被写体を検出でき、被写体が検出されないことを抑制することができる。
【００４９】
＜他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００５０】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
なお、上述した図４のフローチャートのうち、Ｓ４０３からＳ４０５の処理の順番が異なっていてもよい。
また、被写体領域決定部１５６が行うものとして説明した上述の処理は１つのハードウェア（例えばＣＰＵ１５１）が行ってもよいし、複数のハードウェア（例えば、複数のプロセッサーや回路）が処理を分担して行ってもよい。
【符号の説明】
【００５１】
１００：撮像装置  １０１：レンズユニット  １４１：撮像素子  １４２：撮像信号処理部  １４３：撮像制御部  １５１：ＣＰＵ  １６１：奥行情報算出部  １５６：被写体領域決定部
【図１】
2019191681.tif 000007
【図２】
2019191681.tif 000008
【図３】
2019191681.tif 000009
【図４】
2019191681.tif 000010
【図５】
2019191681.tif 000011
【図６】
2019191681.tif 000012
【図７】
2019191681.tif 000013
【図８】
2019191681.tif 000014
【図９】
2019191681.tif 000015
【図１０】
2019191681.tif 000016
【図１１】
2019191681.tif 000017