(57)【要約】      （修正有）【課題】被写体の距離に関連する情報の分布の精度を向上させる技術を提供する。【解決手段】画像処理装置は、撮影範囲の奥行き方向の距離に関する情報の分布を画素値の分布により表現する距離マップを取得する取得手段と、距離マップに第１のフィルタを適用する第１のフィルタ手段と、第１のフィルタが適用された距離マップに第２のフィルタを適用する第２のフィルタ手段と、を備える。第１のフィルタは、距離マップにおいて複数の周辺画素の画素値の傾向から外れている着目画素の画素値を、傾向からの外れの度合いを低減するように変更するフィルタであり、第２のフィルタは、距離マップにおいて所定の画素値範囲の分布を収縮させるフィルタである。【選択図】図４
2020009180.tif 000002
【特許請求の範囲】
【請求項１】
撮影範囲の奥行き方向の距離に関する情報の分布を画素値の分布により表現する距離マップを取得する取得手段と、
前記距離マップに第１のフィルタを適用する第１のフィルタ手段と、
前記第１のフィルタが適用された前記距離マップに第２のフィルタを適用する第２のフィルタ手段と、
を備え、
前記第１のフィルタは、前記距離マップにおいて複数の周辺画素の画素値の傾向から外れている着目画素の画素値を、前記傾向からの外れの度合いを低減するように変更するフィルタであり、
前記第２のフィルタは、前記距離マップにおいて所定の画素値範囲の分布を収縮させるフィルタである
ことを特徴とする画像処理装置。
【請求項２】
前記第１のフィルタは、メディアンフィルタである
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
奥行き方向において手前ほど画素値が大きくなるように前記距離マップが構成されている場合、前記第２のフィルタは最小値フィルタであり、
奥行き方向において手前ほど画素値が小さくなるように前記距離マップが構成されている場合、前記第２のフィルタは最大値フィルタである
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記第２のフィルタは、ローパスフィルタである
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項５】
前記第２のフィルタが適用された前記距離マップにおいて所定の画素値範囲の画素値を持つオブジェクト領域を識別する識別手段
を更に備えることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記取得手段は、前記撮影範囲に対応する撮影画像を取得し、
前記画像処理装置は、前記オブジェクト領域に基づいて、前記撮影画像に対して明るさ補正処理又は背景ぼかし処理を行う画像処理手段を更に備える
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記取得手段は、前記撮影範囲に対応する撮影画像を取得し、
前記画像処理装置は、前記オブジェクト領域を示す情報と前記撮影画像とを関連付けて記録手段に記録する記録制御手段を更に備える
ことを特徴とする請求項５に記載の画像処理装置。
【請求項８】
前記第２のフィルタが適用された前記距離マップに第３のフィルタを適用する第３のフィルタ手段を更に備え、
前記取得手段は、前記撮影範囲に対応する撮影画像を取得し、
前記第３のフィルタは、前記距離マップにおける着目画素と複数の周辺画素との間の類似度が前記撮影画像における前記着目画素と前記複数の周辺画素との間の類似度に近づくように、前記距離マップにおける前記着目画素の画素値を変更するフィルタである
ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項９】
前記第３のフィルタは、バイラテラルフィルタである
ことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記第３のフィルタが適用された前記距離マップにおいて所定の画素値範囲の画素値を持つオブジェクト領域を識別する識別手段
を更に備えることを特徴とする請求項８又は９に記載の画像処理装置。
【請求項１１】
前記オブジェクト領域に基づいて、前記撮影画像に対して明るさ補正処理又は背景ぼかし処理を行う画像処理手段
を更に備えることを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記オブジェクト領域を示す情報と前記撮影画像とを関連付けて記録手段に記録する記録制御手段
を更に備えることを特徴とする請求項１０に記載の画像処理装置。
【請求項１３】
撮影範囲の奥行き方向の距離に関する情報の分布を画素値の分布により表現する距離マップを取得する取得手段と、
前記距離マップにおいて所定の画素値範囲の画素値を持つオブジェクト領域を示すオブジェクト領域マップを生成する生成手段であって、前記オブジェクト領域マップにおいて、前記オブジェクト領域が第１の画素値範囲に含まれる画素値を持ち、前記オブジェクト領域以外の領域が前記第１の画素値範囲と重ならない第２の画素値範囲に含まれる画素値を持つ、生成手段と、
前記オブジェクト領域マップに第１のフィルタを適用する第１のフィルタ手段と、
前記第１のフィルタが適用された前記オブジェクト領域マップに第２のフィルタを適用する第２のフィルタ手段と、
を備え、
前記オブジェクト領域マップの画素値のビット数は前記距離マップの画素値のビット数よりも少なく、
前記第１のフィルタは、前記オブジェクト領域マップにおいて複数の周辺画素の画素値の傾向から外れている着目画素の画素値を、前記傾向からの外れの度合いを低減するように変更するフィルタであり、
前記第２のフィルタは、前記オブジェクト領域マップにおいて前記オブジェクト領域を収縮させるフィルタである
ことを特徴とする画像処理装置。
【請求項１４】
撮影範囲の奥行き方向の距離に関する情報の分布を画素値の分布により表現する距離マップと、前記撮影範囲に対応する撮影画像とを取得する取得手段と、
前記距離マップに第２のフィルタを適用する第２のフィルタ手段と、
前記第２のフィルタが適用された前記距離マップに第３のフィルタを適用する第３のフィルタ手段と、
を備え、
前記第２のフィルタは、前記距離マップにおいて所定の画素値範囲の分布を収縮させるフィルタであり、
前記第３のフィルタは、前記距離マップにおける着目画素と複数の周辺画素との間の類似度が前記撮影画像における前記着目画素と前記複数の周辺画素との間の類似度に近づくように、前記距離マップにおける前記着目画素の画素値を変更するフィルタである
ことを特徴とする画像処理装置。
【請求項１５】
撮影範囲の奥行き方向の距離に関する情報の分布を画素値の分布により表現する距離マップと、前記撮影範囲に対応する撮影画像とを取得する取得手段と、
前記距離マップにおいて所定の画素値範囲の画素値を持つオブジェクト領域を示すオブジェクト領域マップを生成する生成手段であって、前記オブジェクト領域マップにおいて、前記オブジェクト領域が第１の画素値範囲に含まれる画素値を持ち、前記オブジェクト領域以外の領域が前記第１の画素値範囲と重ならない第２の画素値範囲に含まれる画素値を持つ、生成手段と、
前記オブジェクト領域マップに第２のフィルタを適用する第２のフィルタ手段と、
前記第２のフィルタが適用された前記オブジェクト領域マップに第３のフィルタを適用する第３のフィルタ手段と、
を備え、
前記オブジェクト領域マップの画素値のビット数は前記距離マップの画素値のビット数よりも少なく、
前記第２のフィルタは、前記オブジェクト領域マップにおいて前記オブジェクト領域を収縮させるフィルタであり、
前記第３のフィルタは、前記オブジェクト領域マップにおける着目画素と複数の周辺画素との間の類似度が前記撮影画像における前記着目画素と前記複数の周辺画素との間の類似度に近づくように、前記オブジェクト領域マップにおける前記着目画素の画素値を変更するフィルタである
ことを特徴とする画像処理装置。
【請求項１６】
請求項１乃至１５のいずれか１項に記載の画像処理装置と、
撮像手段と、
を備えることを特徴とする撮像装置。
【請求項１７】
画像処理装置が実行する画像処理方法であって、
撮影範囲の奥行き方向の距離に関する情報の分布を画素値の分布により表現する距離マップを取得する取得工程と、
前記距離マップに第１のフィルタを適用する第１のフィルタ工程と、
前記第１のフィルタが適用された前記距離マップに第２のフィルタを適用する第２のフィルタ工程と、
を備え、
前記第１のフィルタは、前記距離マップにおいて複数の周辺画素の画素値の傾向から外れている着目画素の画素値を、前記傾向からの外れの度合いを低減するように変更するフィルタであり、
前記第２のフィルタは、前記距離マップにおいて所定の画素値範囲の分布を収縮させるフィルタである
ことを特徴とする画像処理方法。
【請求項１８】
画像処理装置が実行する画像処理方法であって、
撮影範囲の奥行き方向の距離に関する情報の分布を画素値の分布により表現する距離マップを取得する取得工程と、
前記距離マップにおいて所定の画素値範囲の画素値を持つオブジェクト領域を示すオブジェクト領域マップを生成する生成工程であって、前記オブジェクト領域マップにおいて、前記オブジェクト領域が第１の画素値範囲に含まれる画素値を持ち、前記オブジェクト領域以外の領域が前記第１の画素値範囲と重ならない第２の画素値範囲に含まれる画素値を持つ、生成工程と、
前記オブジェクト領域マップに第１のフィルタを適用する第１のフィルタ工程と、
前記第１のフィルタが適用された前記オブジェクト領域マップに第２のフィルタを適用する第２のフィルタ工程と、
を備え、
前記オブジェクト領域マップの画素値のビット数は前記距離マップの画素値のビット数よりも少なく、
前記第１のフィルタは、前記オブジェクト領域マップにおいて複数の周辺画素の画素値の傾向から外れている着目画素の画素値を、前記傾向からの外れの度合いを低減するように変更するフィルタであり、
前記第２のフィルタは、前記オブジェクト領域マップにおいて前記オブジェクト領域を収縮させるフィルタである
ことを特徴とする画像処理方法。
【請求項１９】
画像処理装置が実行する画像処理方法であって、
撮影範囲の奥行き方向の距離に関する情報の分布を画素値の分布により表現する距離マップと、前記撮影範囲に対応する撮影画像とを取得する取得工程と、
前記距離マップに第２のフィルタを適用する第２のフィルタ工程と、
前記第２のフィルタが適用された前記距離マップに第３のフィルタを適用する第３のフィルタ工程と、
を備え、
前記第２のフィルタは、前記距離マップにおいて所定の画素値範囲の分布を収縮させるフィルタであり、
前記第３のフィルタは、前記距離マップにおける着目画素と複数の周辺画素との間の類似度が前記撮影画像における前記着目画素と前記複数の周辺画素との間の類似度に近づくように、前記距離マップにおける前記着目画素の画素値を変更するフィルタである
ことを特徴とする画像処理方法。
【請求項２０】
画像処理装置が実行する画像処理方法であって、
撮影範囲の奥行き方向の距離に関する情報の分布を画素値の分布により表現する距離マップと、前記撮影範囲に対応する撮影画像とを取得する取得工程と、
前記距離マップにおいて所定の画素値範囲の画素値を持つオブジェクト領域を示すオブジェクト領域マップを生成する生成工程であって、前記オブジェクト領域マップにおいて、前記オブジェクト領域が第１の画素値範囲に含まれる画素値を持ち、前記オブジェクト領域以外の領域が前記第１の画素値範囲と重ならない第２の画素値範囲に含まれる画素値を持つ、生成工程と、
前記オブジェクト領域マップに第２のフィルタを適用する第２のフィルタ工程と、
前記第２のフィルタが適用された前記オブジェクト領域マップに第３のフィルタを適用する第３のフィルタ工程と、
を備え、
前記オブジェクト領域マップの画素値のビット数は前記距離マップの画素値のビット数よりも少なく、
前記第２のフィルタは、前記オブジェクト領域マップにおいて前記オブジェクト領域を収縮させるフィルタであり、
前記第３のフィルタは、前記オブジェクト領域マップにおける着目画素と複数の周辺画素との間の類似度が前記撮影画像における前記着目画素と前記複数の周辺画素との間の類似度に近づくように、前記オブジェクト領域マップにおける前記着目画素の画素値を変更するフィルタである
ことを特徴とする画像処理方法。
【請求項２１】
コンピュータを、請求項１乃至１５のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
所定の視差を有する一対の画像を撮影し、これらの一対の画像に基づいて求められた被写体の距離に関連する情報の分布を用いて、画像に対しボケを付加する画像処理を施す技術が知られている。被写体の距離に関連する情報の分布を算出する方法として、特許文献１は、微小ブロックにおける一対の画素データを相対的にずらしながら２つの画素データ間のずらし量に基づいてデフォーカス量分布を算出する方法を開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１５７５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１のように一対の画素データ間のずらし量に基づいてデフォーカス量分布をブロック単位で算出する場合、被写体領域よりも外側に膨張したデフォーカス量分布が生成される。そして、膨張したデフォーカス量分布から背景領域を抽出し、その背景領域に対してぼかし処理を施すと、被写体と背景との境界付近の背景画像がくっきりしてしまう。即ち、被写体と背景との間の境界領域が不自然なぼけ方になるという問題があった。
【０００５】
本発明はこのような状況に鑑みてなされたものであり、被写体の距離に関連する情報の分布の精度を向上させる技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明は、撮影範囲の奥行き方向の距離に関する情報の分布を画素値の分布により表現する距離マップを取得する取得手段と、前記距離マップに第１のフィルタを適用する第１のフィルタ手段と、前記第１のフィルタが適用された前記距離マップに第２のフィルタを適用する第２のフィルタ手段と、を備え、前記第１のフィルタは、前記距離マップにおいて複数の周辺画素の画素値の傾向から外れている着目画素の画素値を、前記傾向からの外れの度合いを低減するように変更するフィルタであり、前記第２のフィルタは、前記距離マップにおいて所定の画素値範囲の分布を収縮させるフィルタであることを特徴とする画像処理装置を提供する。
【発明の効果】
【０００７】
本発明によれば、被写体の距離に関連する情報の分布の精度を向上させることが可能となる。
【０００８】
なお、本発明のその他の特徴及び利点は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。
【図面の簡単な説明】
【０００９】
【図１】画像処理装置１００の機能構成を示すブロック図。
【図２】（ａ）図１の撮像部１０５の画素の配列構成を示す図、（ｂ）図２（ａ）に示す画素２００を拡大して示す図。
【図３】第１の実施形態に係る、画像処理装置１００の画像処理部１０７の具体的な構成の一例を示すブロック図。
【図４】第１の実施形態に係る画像処理部１０７が実行する画像処理のフローチャート。
【図５】静止画記録用の画像の例を示す図。
【図６】デフォーカス量を計算する方法を説明する図。
【図７】画面の微小ブロックへの分割を示す図。
【図８】（ａ）デフォーカスマップの例を示す図、（ｂ）デフォーカスマップにおける外れ値を示す図、（ｃ）相関量Ｃ（ｋ）における局所的な最小値を示す図、（ｄ）デフォーカスマップにおけるムラを示す図。
【図９】メディアンフィルタ後のデフォーカスマップを示す図。
【図１０】デフォーカスマップに最小値フィルタを施す処理を説明する図。
【図１１】図１０（ｃ）のデフォーカスマップ１０１０に対応するヒストグラムを示す図。
【図１２】第２の実施形態に係る、画像処理装置１００の画像処理部１０７の具体的な構成の一例を示すブロック図。
【図１３】第２の実施形態に係る画像処理部１０７が実行する画像処理のフローチャート。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して、本発明の実施形態を説明する。添付図面の全体を通じて、同一の参照符号が付与された要素は、同一又は同様の要素を表す。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。また、別々の実施形態の中で説明されている特徴を適宜組み合せることも可能である。
【００１１】
［第１の実施形態］
図１は、画像処理装置１００の機能構成を示すブロック図である。以下の説明において、画像処理装置１００はデジタルカメラであるものとする。しかしながら、本実施形態の画像処理装置１００はデジタルカメラに限定されず、例えばパーソナルコンピュータなどであってもよい。
【００１２】
最初に、本実施形態の画像処理装置１００が実行する処理の一例について簡単に説明する。画像処理装置１００は、被写体の距離に関連する情報の分布としてデフォーカス量分布（以下、「デフォーカスマップ」とも呼ぶ）を取得する。そして、画像処理装置１００は、デフォーカスマップに含まれている外れ値やムラを除去するために、デフォーカスマップに対してメディアンフィルタを施す。次に、画像処理装置１００は、デフォーカスマップに対して、被写体領域よりも外側に膨張しているデフォーカス量を収縮させるフィルタ（例えば、最小値フィルタ）を施す。最後に、画像処理装置１００は、フィルタが施されたデフォーカスマップに基づいてオブジェクト領域を抽出する。これにより、デフォーカスマップに含まれる外れ値やムラに起因するオブジェクト領域の穴抜けを抑制し、かつデフォーカス量の膨張に起因するオブジェクト領域の膨張を抑制することができる。
【００１３】
以下、第１の実施形態について詳細に説明する。図１に示すように、画像処理装置１００は、システム制御部１０１と、ＲＯＭ１０２と、ＲＡＭ１０３とを有している。また、画像処理装置１００は、光学系１０４と、撮像部１０５と、Ａ／Ｄ変換部１０６と、画像処理部１０７と、記録媒体１０８と、バス１０９とを有している。システム制御部１０１、ＲＯＭ１０２、ＲＡＭ１０３、撮像部１０５、Ａ／Ｄ変換部１０６、画像処理部１０７、及び記録媒体１０８は、それぞれバス１０９に接続されている。
【００１４】
システム制御部１０１は、画像処理装置１００全体を制御するものであり、例えばＣＰＵである。システム制御部１０１は、画像処理装置１００が備える各ブロックの動作プログラムをＲＯＭ１０２より読み出し、ＲＡＭ１０３に展開して実行することにより、画像処理装置１００が備える各ブロックの動作を制御する。
【００１５】
ＲＯＭ１０２は、書き換え可能な不揮発性メモリであり、例えばフラッシュＲＯＭ等が用いられている。ＲＯＭ１０２は、画像処理装置１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。
【００１６】
ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、画像処理装置１００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。システム制御部１０１及び画像処理部１０７は、ＲＡＭ１０３をワークメモリとして使用する。
【００１７】
光学系１０４は、被写体像を撮像部１０５に結像する。光学系１０４には、例えば、固定レンズ、焦点距離を変更する変倍レンズ、焦点調節を行うフォーカスレンズ等が含まれている。光学系１０４には絞りも含まれており、絞りにより光学系の開口径を調節することで撮影時の光量調節を行う。
【００１８】
撮像部１０５は、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子である。撮像部１０５は、光学系１０４により撮像素子に結像された光学像を光電変換してアナログ画像信号を得る。撮像部１０５は、得られたアナログ画像信号をＡ／Ｄ変換部１０６に出力する。
【００１９】
Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号にＡ／Ｄ変換処理を適用してデジタル画像データを得る。Ａ／Ｄ変換部１０６は、得られたデジタル画像データをＲＡＭ１０３に出力して記憶させる。
【００２０】
画像処理部１０７は、ＲＡＭ１０３に記憶されている画像データに対して画像処理を行う。具体的には、画像処理部１０７は、例えば、ホワイトバランス調整、色補間、縮小／拡大等の処理を行う。また、画像処理部１０７は、デフォーカスマップの生成や、フィルタ処理等の様々な画像処理を行う。画像処理部１０７は、画像処理後の画像を記録媒体１０８に記録する。
【００２１】
記録媒体１０８は、例えば、画像処理装置１００に対して着脱可能なメモリカード等である。記録媒体１０８には、画像処理部１０７で処理されＲＡＭ１０３に記憶された画像データや、Ａ／Ｄ変換部１０６でＡ／Ｄ変換された画像データ等が、記録画像として記録される。
【００２２】
バス１０９は、画像処理装置１００の各ブロックを接続する。各ブロックは、バス１０９を介して信号のやり取りを行う。
【００２３】
図２（ａ）は、図１の撮像部１０５の画素の配列構成を示す図である。図２（ａ）に示すように、撮像部１０５では、複数の画素２００が二次元的に規則的に配列されている。具体的には、複数の画素２００は、例えば二次元格子状に配列されている。なお、画素２００の配列構成は、格子状の配列構成に限定されるものではなく、他の配列構成を採用することもできる。
【００２４】
図２（ｂ）は、図２（ａ）に示す画素２００を拡大して示す図である。図２（ｂ）に示すように、各画素２００は、マイクロレンズ２０１と、一対の光電変換部により構成される一対の瞳分割画素２０２Ａ、２０３Ｂとを有している。瞳分割画素２０２Ａ、２０３Ｂは、互いに同一の平面形状を有しており、それぞれｙ軸方向を長手方向とする長方形状の平面形状を有している。各画素２００において、瞳分割画素２０２Ａ、２０３Ｂは、マイクロレンズ２０１のｙ軸方向に沿った垂直二等分線を対称軸として、線対称に配置されている。なお、瞳分割画素２０２Ａ、２０３Ｂの平面形状は、これに限定されるものではなく、他の平面形状を採ることができる。また、瞳分割画素２０２Ａ、２０３Ｂの配置の態様も、これに限定されるものではなく、他の配置の態様を採ることができる。
【００２５】
本実施形態においては、二次元的に規則的に配列された瞳分割画素２０２Ａ、２０３Ｂから、視差画像としてそれぞれＡ像、Ｂ像が出力されるものとする。撮像部１０５を図２（ａ）及び図２（ｂ）に示すように構成することで、光学系１０４の瞳の異なる領域を通過する一対の光束を一対の光学像として結像させて、それらをＡ像、Ｂ像として出力することができる。画像処理部１０７は、このＡ像、Ｂ像を参照して、後述する位相差検出を行い、デフォーカスマップを生成する。
【００２６】
なお、Ａ像、Ｂ像の取得方法は、上記の方法に限られず、種々の方法を採ることができる。例えば、空間的に間隔をあけて設置した複数台のカメラ等の撮像装置により取得された互いに視差のついた画像をＡ像、Ｂ像としてもよい。また、複数の光学系と撮像部とを有する１台のカメラ等の撮像装置により取得された視差画像をそれぞれＡ像、Ｂ像としてもよい。
【００２７】
図３は、第１の実施形態に係る、画像処理装置１００の画像処理部１０７の具体的な構成の一例を示すブロック図である。図３に示すように、画像処理部１０７は、デフォーカスマップ生成部３００と、外れ値・ムラ除去フィルタ部３０１と、収縮フィルタ部３０２と、オブジェクト領域抽出部３０３と、明るさ補正部３０４とを有している。
【００２８】
以下、図４を参照して、画像処理部１０７が実行する画像処理について説明する。図４は、第１の実施形態に係る画像処理部１０７が実行する画像処理のフローチャートである。画像処理部１０７は、システム制御部１０１による制御に従って本フローチャートの画像処理を行う。
【００２９】
Ｓ４００で、画像処理部１０７は、一対の視差画像であるＡ像及びＢ像を取得する。この時、画像処理装置１００は、撮像部１０５を用いて撮像を行うことによりＡ像及びＢ像を生成する。或いは、画像処理装置１００は、予めＡ像及びＢ像を記録媒体１０８に記録しておいてもよい。この場合、画像処理部１０７は、記録媒体１０８からＡ像及びＢ像を取得する。また、画像処理装置１００は、Ａ像とＢ像を加算して静止画記録用の画像として記録媒体１０８に記録してもよい。
【００３０】
図５に、静止画記録用の画像の例を示す。画像５５０は、Ａ像とＢ像を加算した画像であり、背景領域の中央に合焦した被写体５００が存在している。
【００３１】
Ｓ４０１で、デフォーカスマップ生成部３００は、Ｓ４００で取得したＡ像及びＢ像を用いて、被写体の距離に関連する情報の分布として、各画素位置におけるデフォーカス量を計算する。Ａ像及びＢ像の位相差を検出してデフォーカス量を計算する方法としては、例えば特許文献１に開示されている方法を用いることができる。以下、デフォーカス量を計算する方法について詳細に説明する。
【００３２】
着目画素位置を中心とする微小ブロックにおけるＡ像のデータ系列をＥ（１）〜Ｅ（ｍ）、Ｂ像のデータ系列をＦ（１）〜Ｆ（ｍ）と一般化して表現する。なお、ｍはデータ数である。この場合において、データ系列Ｅ（１）〜Ｅ（ｍ）に対してデータ系列Ｆ（１）〜Ｆ（ｍ）を相対的にずらしながら、式（１）により２つのデータ系列間のずらし量ｋにおける相関量Ｃ（ｋ）を演算する。
Ｃ（ｋ）＝Σ｜Ｅ（ｎ）―Ｆ（ｎ＋ｋ）｜  ・・・（１）
式（１）において、Σ演算はｎについて計算される。このΣ演算において、ｎ、ｎ＋ｋの取る範囲は、１〜ｍの範囲に限定される。また、ずらし量ｋは整数であり、一対の画像データの検出ピッチを単位とした相対的シフト量である。
【００３３】
図６に、式（１）の演算結果の例として、横軸にずらし量ｋをとり、縦軸に相関量Ｃ（ｋ）をとったグラフを示す。図６より、一対のデータ系列の相関が高いずらし量ｋにおいて相関量Ｃ（ｋ）が最小になることがわかる。そして、下記式（２）〜（５）による３点内挿の手法を用い、連続的な相関量に対する最小値Ｃ（ｘ）を与えるずらし量ｘを計算して求める。
ｘ＝ｋｊ＋Ｄ／ＳＬＯＰ  ・・・（２）
Ｃ（ｘ）＝Ｃ（ｋｊ）−｜Ｄ｜  ・・・（３）
Ｄ＝{Ｃ（ｋｊ−１）−Ｃ（ｋｊ＋１）}／２  ・・・（４）
ＳＬＯＰ＝ＭＡＸ{Ｃ（ｋｊ＋１）−Ｃ（ｋｊ），Ｃ（ｋｊ−１）−Ｃ（ｋｊ）}
・・・（５）
ここで、ｋｊは離散的な相関量Ｃ（ｋ）が最小となるｋである。図６に示す例では、ｋｊは２である。
【００３４】
式（２）で求めたずらし量ｘより、被写体像面の予定結像面に対するデフォーカス量ＤＥＦを下記式（６）で求めることができる。
ＤＥＦ＝ＫＸ・ＰＹ・ｘ  ・・・（６）
式（６）において、ＰＹは検出ピッチであり、ＫＸは一対の瞳を通過する光束の重心の開き角の大きさによって決まる変換係数である。
【００３５】
図７に示すように画面７００を微小ブロック７０１（ｍ×ｍサイズ）に分割し、式（６）を用いて微小ブロックごとにデフォーカス量を算出する。ここでは、微小ブロックの１辺のサイズｍは７であるものとする。また、以降の説明において、ずらし量ｘを視差と呼ぶこともある。
【００３６】
本実施形態においては、デフォーカスマップ生成部３００は、式（６）のデフォーカス量に対し、一定の値を加算して負の信号が正の値になるように変換したのち、８ビットのグレースケールで表現したものをデフォーカスマップとして出力するものとする。こうして生成されたデフォーカスマップは、撮影範囲の奥行き方向の距離に関する情報の分布を画素値の分布により表現している。
【００３７】
なお、デフォーカスマップの値の算出方法はこれに限定されず、例えば式（６）のデフォーカス量の絶対値をデフォーカスマップとして出力する構成としても構わない。また、デフォーカスマップを含む被写体の距離に関連する情報の分布を予め記録媒体１０８に記録しておき、画像処理部１０７が読み出して取得する構成を採用してもよい。
【００３８】
図８（ａ）に、生成したデフォーカスマップの例を示す。図８（ａ）では、手前ほど（距離が近いほど）白く（画素値が大きく）なるようにデフォーカスマップを図示している。図８（ａ）において、領域８００は、被写体のデフォーカス量の領域を示し、点線で示す境界８０１は、図５の被写体５００の境界を示している。つまり、被写体のデフォーカス量の分布が被写体５００の領域よりも外側に膨張していることがわかる。なお、本実施形態において、デフォーカスマップにおいて合焦を示すデフォーカス量の画素値は１２８であるものとする。また、領域８００が被写体５００の境界から膨張する幅は、デフォーカス量を算出した微小ブロックのサイズｍの半分であり、ここでは３となる。
【００３９】
図８（ａ）の画素８０２は、生成したデフォーカスマップにおける外れ値に対応する。画素８０２及びその周辺の８画素をそれらのデフォーカス量を表す画素値とともに示したのが図８（ｂ）である。画素８０２の画素値が低いのは、一対のデータ系列の相関が低く、図８（ｃ）のような相関量Ｃ（ｋ）における局所的な最小値だからである。模様がほとんどない服や、輝度変化の少ない空、輝度が高い太陽などで外れ値が検出されやすい。
【００４０】
図８（ａ）の画素８０３は、生成したデフォーカスマップにおけるムラに対応する。ムラの生じている領域の画素８０３及びその周辺の８画素をそれらのデフォーカス量を表す画素値とともに示したのが図８（ｄ）である。デフォーカスマップにムラが生じる理由について以下に説明する。
【００４１】
上記３点内挿の手法を用いることで、連続的な相関量に対する最小値Ｃ（ｘ）を与えるずらし量ｘ、及びデフォーカス量を得ることができる。このとき、仮にＣ（ｋｊ）の値が同一であったとしても、Ｃ（ｋｊ＋１）、Ｃ（ｋｊ−１）の大小関係が変化すると、得られるずらし量ｘ、及びデフォーカス量が変化することが分かる。これにより、同一の被写体内に着目画素が存在し、Ｃ（ｋｊ）の値が同一であっても、被写体の模様の変化の影響によりＣ（ｋｊ＋１）、Ｃ（ｋｊ−１）の大小関係が変化することで、デフォーカス量が変動してデフォーカスマップにムラが生じることがわかる。
【００４２】
また、撮像部１０５として用いられるイメージセンサの画素間でＳ／Ｎ比（信号対雑音比）がばらつくため、入力信号に生じるばらつきの影響でもデフォーカスマップにムラが生じる。また、被写体が低コントラストであるために所望のＣ（ｋｊ）を算出することができない場合や、図６に示すＳＬＯＰが小さくなることでデフォーカス量の変動が大きくなる場合であってもデフォーカスマップにムラが生じる。
【００４３】
これに対して、本実施形態では、後述するようにフィルタ処理を施すことにより、外れ値やムラを除去し、更に、膨張しているデフォーカス量を収縮させることができる。これにより、デフォーカスマップに含まれる外れ値やムラに起因するオブジェクト領域の穴抜けを抑制し、かつデフォーカス量の膨張に起因するオブジェクト領域の膨張を抑制することができる。
【００４４】
図４に戻り、Ｓ４０２で、外れ値・ムラ除去フィルタ部３０１は、Ｓ４０１で生成したデフォーカスマップに対してフィルタ処理を施す。本実施形態では、外れ値・ムラ除去フィルタ部３０１は、デフォーカスマップに対してメディアンフィルタを施すこととする。外れ値・ムラ除去フィルタ部３０１は、メディアンフィルタを施すために、着目画素及びその周辺の８画素の画素値を降順又は昇順に並び替え、画素値が中央値になった参照画素を参照して、その画素値を着目画素の画素値として選択して出力する。例えば、図８（ｂ）における画素８０２を着目画素とした場合、メディアンフィルタ後の画素値は１２８となる。また、図８（ｄ）における画素８０３を着目画素とした場合、メディアンフィルタ後の画素値は１２８となる。このように、着目画素の画素値（デフォーカス量）は、周囲に存在する被写体のデフォーカス量を示す値域に補正される。
【００４５】
図９に、メディアンフィルタ後のデフォーカスマップを示す。図９より、デフォーカスマップから外れ値とムラがなくなっていることがわかる。なお、メディアンフィルタを施す画素領域は、着目画素及びその周辺の８画素を含む３×３の画素領域に限定されるものではなく、例えば、着目画素を中心とする５×５の画素領域であってもよい。
【００４６】
なお、外れ値・ムラ除去フィルタ部３０１がデフォーカスマップに適用するフィルタは、メディアンフィルタに限定されない。デフォーカスマップにおける外れ値・ムラとは、デフォーカスマップにおいて特定の画素の画素値が複数の周辺画素の画素値の傾向から外れている状態に相当する。従って、外れ値・ムラ除去フィルタ部３０１は、デフォーカスマップにおいて複数の周辺画素の画素値の傾向から外れている着目画素の画素値を、この傾向からの外れの度合いを低減するように変更する任意のフィルタを利用することができる。
【００４７】
Ｓ４０３で、収縮フィルタ部３０２は、Ｓ４０２で外れ値とムラを除去したデフォーカスマップに対してフィルタ処理を施す。ここでは、収縮フィルタ部３０２は、デフォーカスマップに対して最小値フィルタを施すこととする。
【００４８】
図１０（ａ）〜（ｃ）は、デフォーカスマップに最小値フィルタを施す処理を説明するための図である。図１０（ａ）におけるデフォーカスマップ１０００は、Ｓ４０２の処理により得られたデフォーカスマップである。図１０（ｂ）における符号１００２は、図１０（ａ）の断面１００１における画素値プロファイルを表しており、横軸がｘ座標、縦軸が画素値である。図１０（ｂ）の符号１００３は、被写体の境界を示している。図１０（ｂ）の符号１００４、１００６は、最小値フィルタの着目画素位置を示している。図１０（ｂ）の符号１００５、１００７は、最小値フィルタの参照幅を表している。膨張しているデフォーカス量の幅は３であるので、最小値フィルタの参照幅を微小ブロックの１辺のサイズｍ（ここでは、７）に一致させれば、位相差検出で膨張してしまった部分を収縮することができる。最小値フィルタを施した後のデフォーカスマップ１０１０を図１０（ｃ）に示す。
【００４９】
なお、上の説明では、デフォーカスマップが手前ほど白く（画素値が大きく）なるように構成されているため、収縮フィルタ部３０２において最小値フィルタを施すものとした。しかしながら、デフォーカスマップが手前ほど黒く（画素値が小さく）なるように構成されている場合は、収縮フィルタ部３０２は最大値フィルタを施す。
【００５０】
ここで、Ｓ４０２で外れ値とムラを除去するフィルタ処理を行った後に、Ｓ４０３の収縮フィルタを施すという処理の順番を採用することの効果について説明する。仮に先に収縮フィルタを施した場合、図８（ｂ）の画素８０２のような外れ値を周囲の画素に広げてしまうことになり、後から外れ値とムラを除去するフィルタを施しても十分に除去することができなくなってしまう。収縮フィルタを施す前に外れ値とムラを除去するフィルタ処理を行うことにより、外れ値とムラを効果的に除去することができる。
【００５１】
なお、収縮フィルタ部３０２がデフォーカスマップに適用するフィルタは、最小値フィルタ（又は最大値フィルタ）に限定されない。デフォーカスマップにおける膨張は、相対的に近距離の領域において発生している。従って、収縮フィルタ部３０２は、距離マップにおいて所定の画素値範囲の分布（例えば、相対的に近距離の領域）を収縮させる任意のフィルタを利用することができる。
【００５２】
次に、Ｓ４０４で、オブジェクト領域抽出部３０３は、Ｓ４０３の処理により得られたデフォーカスマップを参照してオブジェクト領域を抽出する。具体的には、オブジェクト領域抽出部３０３は、デフォーカスマップに対するヒストグラムの情報を参照して、デフォーカスマップにおけるオブジェクト領域を抽出する。
【００５３】
図１１は、図１０（ｃ）のデフォーカスマップ１０１０に対応するヒストグラムを示す図である。符号１１００は、被写体のヒストグラムの山を、符号１１０１は、背景領域のヒストグラムの山を表している。オブジェクト領域抽出部３０３は、合焦を示すデフォーカス量の画素値である１２８を含むヒストグラムの山（符号１１００）からＴＨ１とＴＨ２を決定する。これにより、距離マップにおいて所定の画素値範囲の画素値を持つオブジェクト領域が識別される。そして、オブジェクト領域抽出部３０３は、デフォーカスマップ１０１０において画素値がＴＨ１〜ＴＨ２に含まれている場合は、被写体のオブジェクト領域を示すマップ（以下、「オブジェクト領域マップ」と呼ぶ）の画素値を２５５とする。そうでない場合は、オブジェクト領域抽出部３０３は、オブジェクト領域マップの画素値を０とする。これにより、オブジェクト領域を抽出したオブジェクト領域マップを生成することができる。オブジェクト領域マップにおいては、オブジェクト領域が第１の画素値範囲に含まれる画素値を持ち、オブジェクト領域以外の領域が第１の画素値範囲と重ならない第２の画素値範囲に含まれる画素値を持つ。上の説明では、第１の画素値範囲が「２５５」という１つの画素値のみを含み、第２の画素値範囲が「０」という１つの画素値のみを含む。しかしながら、オブジェクト領域マップの画素値のビット数がデフォーカスマップの画素値のビット数よりも少ない限り、第１の画素値範囲及び第２の画素値範囲はそれぞれ複数の画素値を含んでもよい。
【００５４】
デフォーカスマップにおいて被写体領域に外れ値やムラが残っているとオブジェクトの抽出対象から外れてしまうので、オブジェクト領域マップに穴が開いてしまう。本実施形態では、デフォーカスマップにおいて外れ値及びムラを抑制することができるため、オブジェクト領域マップに穴が開くことを抑制することができる。
【００５５】
なお、合焦していない被写体をオブジェクト領域として抽出する場合は、例えば被写体が人物であれば公知の顔検出技術で検出した顔領域の平均デフォーカス量の画素値を含むヒストグラムの山からＴＨ１とＴＨ２を決定するようにすればよい。また、画像処理装置１００にＬＣＤ等の表示デバイスとユーザ操作部とを設け、デフォーカスマップのヒストグラムを表示し、ユーザがＴＨ１とＴＨ２を指定する構成としてもよい。このように構成することで、例えば背景領域をオブジェクト領域として抽出することもできる。
【００５６】
次に、Ｓ４０５で、明るさ補正部３０４は、Ｓ４０４で生成したオブジェクト領域マップをもとに、図５に示した静止画記録用の画像に対して、明るさ補正処理を施す。例えば、逆光状態で撮影すると人物の領域が暗くなってしまうが、明るさ補正処理を施すことによって被写体の明るさを補正することができる。
【００５７】
なお、本実施形態では、一対の視差画像であるＡ像及びＢ像からデフォーカスマップを生成する構成について説明したが、デフォーカスマップの生成方法はこれに限定されない。デフォーカスマップを生成するために、例えばピントや絞り値が異なる２枚の画像の相関からデフォーカスマップを取得するＤＦＤ（Ｄｅｐｔｈ  Ｆｒｏｍ  Ｄｅｆｏｃｕｓ）方式を用いる構成を採用してもよい。その場合であっても、コントラストのより強い方にデフォーカス量が引っ張られるため、被写体に合焦した画像と背景に合焦した画像において、被写体境界近傍の相関をとると、被写体のデフォーカス量が被写体領域よりも外側に膨張する。また、被写体の模様、ボケ感の変化、センサ画素のＳ／Ｎのバラつき等によって、デフォーカスマップに外れ値やムラが発生する。このため、ＤＦＤ法を適用した場合においても、上述の画像処理と同様の画像処理を適用することで、被写体領域よりも外側にはみでることなくオブジェクト領域を抽出することができる。
【００５８】
また、本実施形態では、被写体の距離に関連する情報の分布としてデフォーカス分布を用いたが、被写体の距離に関連する情報の分布はデフォーカス分布に限定されるものではない。例えば、被写体の距離に関連する情報の分布として、式（２）で求めたずらし量ｘ（視差）の分布を用いてもよいし、撮像装置から被写体までの実際の距離を表す実距離の分布を用いてもよい。
【００５９】
また、被写体の距離に関連する情報の分布として、ＴＯＦ（Ｔｉｍｅ  ｏｆ  Ｆｌｉｇｈｔ）方式等の測距センサモジュールから得た距離に関連する情報の分布を用いる構成を採用してもよい。その場合であっても、測距センサモジュールから得られる距離に関する情報の分布の解像度は、記録用の静止画の解像度よりも一般的に低いので、距離に関する情報の分布を記録用の静止画相当の解像度に拡大してから参照すると、被写体の距離に関する情報の分布は、被写体領域よりも外側に膨張している。このため、ＴＯＦ方式を採用した場合においても、上述の画像処理と同様の画像処理を適用することで、被写体領域よりも外側にはみでることなくオブジェクト領域を抽出することができる。
【００６０】
このように、被写体の距離に関連する情報の分布としては、様々な種類の情報を用いることができる。本実施形態では、このような様々な種類の情報を総称して、「距離マップ」と呼ぶ。即ち、図４のＳ４０２〜Ｓ４０４の処理は、撮影範囲の奥行き方向の距離に関する情報の分布を画素値の分布により表現する距離マップの一例であるデフォーカスマップに対して適用することもできるが、その他の任意の種類の距離マップに対して適用することもできる。
【００６１】
また、上の説明では、Ｓ４０１においてデフォーカスマップ生成部３００がデフォーカスマップのみを生成した。しかしながら、Ｓ４０１において、デフォーカスマップ生成部３００は、デフォーカスマップに加えて、デフォーカスマップに対する信頼度マップを生成してもよい。ここで、信頼度とは、Ｓ４０１で算出したＡ像とＢ像との相関が高いずらし量を、対象領域でどの程度検出しやすいかを表す値である。ずらし量を検出しにくい領域で算出されたデフォーカス量は正確でない可能性が高いため、信頼度が低くなるようにする。ずらし量を検出しにくい領域とは、例えば、空や自動車のボディといった被写体の模様の変化が乏しい領域である。デフォーカスマップ生成部３００は、このような領域を検出し、低い信頼度を割り当てる。模様の変化が乏しいか否かを判定する指標としては、エッジ積分値を用いることができる。具体的には、デフォーカスマップ生成部３００は、Ｓ４０１で相関量を算出する際に、参照したデータ系列のエッジ振幅の絶対値を積分することでエッジ積分値を算出する。そして、デフォーカスマップ生成部３００は、エッジ積分値が大きいほど信頼度が大きくなるように信頼度を割り当てる。この処理を着目画素ごとに繰り返し行うことで、デフォーカスマップに対する信頼度マップを生成することができる。そして、Ｓ４０２で外れ値とムラを除去するフィルタを施す処理が行われる前に、デフォーカスマップ生成部３００は、信頼度マップを参照して、低い信頼度が割り当てられている箇所のデフォーカス量の画素値を例えば０などに置き換える処理を行う。
【００６２】
また、上の説明では、外れ値及びムラを除去するフィルタ処理（Ｓ４０２）及び収縮フィルタ処理（Ｓ４０３）の後にオブジェクト領域マップを生成する処理（Ｓ４０４）を行うものとした。しかしながら、オブジェクト領域マップを生成する処理を行うタイミングは、上で説明したタイミングに限定されない。画像処理部１０７は、Ｓ４０１でデフォーカスマップを生成した時点でヒストグラムの情報を参照して、オブジェクト領域マップを生成しても構わない。この場合、Ｓ４０２及びＳ４０３において、デフォーカスマップの代わりにオブジェクト領域マップに対してフィルタ処理が行われる。この場合、画像処理部１０７は、Ｓ４０２において外れ値・ムラを除去するためのメディアンフィルタを施す際に、２値化した画素のうち０又は２５５の一方の画素値の数をカウントし、多い方の画素値を出力するだけで、メディアンフィルタの効果が得られる。そのため、多値のデフォーカスマップに対してメディアンフィルタを適用する場合と異なり、参照するすべての画素の画素値を降順又は昇順に並び替える必要がないので、演算にかかる負荷を削減することができる。
【００６３】
また、上の説明では、オブジェクト領域マップは２値であるものとしたが、本実施形態はこれに限定されず、多値のグレースケールマップとしてもよい。この場合、収縮フィルタ部３０２おいて多値のオブジェクト領域マップ（グレースケールマップマップ）に対してＬＰＦ（ローパスフィルタ）を施すことで、被写体と背景領域のデフォーカス量の変化をなだらかにすることができる。そして、多値のオブジェクト領域マップをαマップとして明るさ補正処理を行うことで、境界において明るさの変化がなだらかな画像を生成することもできる。
【００６４】
また、上の説明では、画像処理装置１００にて生成したオブジェクト領域マップに基づいて静止画記録用の画像に対して明るさ補正処理を施したが、本実施形態はこれに限定されるものではない。例えば、静止画に関連付けてオブジェクト領域マップを記録媒体１０８に記録する記録制御を行い、外部の画像処理装置において、オブジェクト領域マップに基づいて静止画に対して明るさ補正処理を施す構成を採用してもよい。
【００６５】
以上説明したように、第１の実施形態によれば、画像処理装置１００は、デフォーカスマップに対して外れ値やムラを除去するフィルタ（例えば、メディアンフィルタ）を適用する。その後、画像処理装置１００は、デフォーカスマップに対して膨張しているデフォーカス量を収縮させるフィルタ（例えば、最小値フィルタ）を適用する。これにより、デフォーカスマップのような被写体の距離に関連する情報の分布の精度を向上させることが可能となる。
【００６６】
［第２の実施形態］
第２の実施形態では、収縮フィルタ（例えば、最小値フィルタ）が適用されたデフォーカスマップに対して整形処理を行う構成について説明する。この構成により、被写体の境界形状に精度よく沿ったオブジェクト領域を抽出することが可能になる。本実施形態において、画像処理装置１００の基本的な構成は第１の実施形態と同様である。以下、主に第１の実施形態と異なる点について説明する。
【００６７】
図１２は、第２の実施形態に係る、画像処理装置１００の画像処理部１０７の具体的な構成の一例を示すブロック図である。図１２に示すように、画像処理部１０７は、デフォーカスマップ生成部３００と、外れ値・ムラ除去フィルタ部３０１と、収縮フィルタ部３０２と、オブジェクト領域抽出部３０３とを有している。これら各部は、図３に示す第１の実施形態のものと同じである。加えて、画像処理部１０７は、整形処理部１２００と、背景ぼかし処理部１２０１とを有している。
【００６８】
なお、収縮フィルタ部３０２では、最小値（最大値）フィルタや、ＬＰＦを選択することができる。ＬＰＦを選択する場合、フィルタの幅をデフォーカスマップ生成時の位相差検出の幅よりも広くして、被写体領域よりも外側にデフォーカス量が膨張する程度を低減する構成とするのがよい。
【００６９】
以下、図１３を参照して、画像処理部１０７が実行する画像処理について説明する。図１３は、第２の実施形態に係る画像処理部１０７が実行する画像処理のフローチャートである。画像処理部１０７は、システム制御部１０１による制御に従って本フローチャートの画像処理を行う。
【００７０】
Ｓ４００〜Ｓ４０３の処理は、図４に示すＳ４００〜Ｓ４０３の処理と同様である。
【００７１】
Ｓ１３００で、整形処理部１２００は、整形用画像を用いて、Ｓ４０３で収縮フィルタが適用されたデフォーカスマップに対して整形処理を行う。以下、整形処理後のデフォーカスマップを整形デフォーカスマップと呼ぶ。また、整形用画像としては、Ｓ４００で取得したＡ像とＢ像とを加算した静止画記録用の画像を用いることとする。なお、本実施形態の整形用画像は静止画記録用の画像に限定されず、例えばＡ像又はＢ像を整形用画像として用いることも可能である。
【００７２】
第１の実施形態においては、収縮フィルタを施したデフォーカスマップからオブジェクト領域を抽出する方法について説明した。収縮フィルタは、参照する幅において、膨張しているデフォーカス量を収縮させるのに効果的な手法である。しかし、オブジェクトの境界の形状が複雑であると、画素単位にオブジェクトの境界に沿って領域を抽出するのは困難であった。そこで、以下に説明する整形処理を行うことで、境界の形状が複雑なオブジェクトであっても、より高精度なオブジェクト領域の抽出を行うことが可能となる。
【００７３】
整形処理部１２００は、整形用画像を参照しながらデフォーカスマップに対してバイラテラルフィルタ処理を施す。バイラテラルフィルタ処理は、例えば特開２０１７−１１６５２号公報に開示されており、着目画素位置ｐのフィルタ結果をＪｐと記すと、下記の式（７）で表される。
Ｊｐ＝（１／Ｋｐ）ΣＩ１ｑ・ｆ（｜ｐ−ｑ｜）・ｇ（｜Ｉ２ｐ−Ｉ２ｑ｜）
・・・（７）
なお、式（７）中の各記号の意味は以下のとおりである。
ｑ  ：周辺画素位置
Ω  ：着目画素位置ｐを中心とする積算対象領域
Σ  ：ｑ∈Ω範囲の積算
Ｉ１ｑ：周辺画素位置ｑにおけるデフォーカスマップ画素値
ｆ（｜ｐ−ｑ｜）：着目画素位置ｐを中心とするガウシアン関数
Ｉ２ｐ  ：着目画素位置ｐでの整形用画像の画素値
Ｉ２ｑ  ：周辺画素位置ｑでの整形用画像の画素値
ｇ（｜Ｉ２ｐ−Ｉ２ｑ｜）：整形用画像の画素値Ｉ２ｐを中心とするガウシアン関数
Ｋｐ  ：正規化係数であり、ｆ・ｇ重みの積算値。
【００７４】
式（７）より、着目画素位置ｐでの画素値Ｉ２ｐと周辺画素位置ｑでの画素値Ｉ２ｑとの差が小さい場合（即ち、整形用画像において着目画素の画素値と周辺画素の画素値が近い場合）、その周辺画素のｆ・ｇ重み（平滑化の重み）は大きくなる。一般的に、同一の被写体における着目画素とその周辺画素の画素値は近い傾向にある。一方、周辺画素が異なる被写体（背景領域など）であると着目画素の画素値との乖離が大きい傾向にあるので、式（７）の演算を行うことで、同一被写体のデフォーカス量のみを参照して画素値を生成する効果がある。そのため、整形デフォーカスマップからオブジェクト領域を抽出することで、形状が複雑であっても高精度にオブジェクト領域の抽出を行うことができる。つまり、バイラテラルフィルタを用いた整形処理は、収縮フィルタの効果を持っている。しかし、被写体のデフォーカス量が被写体領域の外側に膨張して背景領域に存在していると、着目画素が背景領域であるのに、デフォーカス量は被写体領域という状態となる。そのため、着目画素のデフォーカス量を背景領域のデフォーカス量に変えるには、積算対象領域Ωを広範囲に設定しなければならず、演算にかかる負荷が非常に大きくなってしまう。そこで、本実施形態のようにデフォーカスマップに含まれている膨張を収縮フィルタで低減した後に整形処理を行う構成とすることで、演算の効率がよく、かつ精度よくオブジェクト領域を抽出することができる。
【００７５】
図１３の例では、画像処理部１０７は、デフォーカスマップから外れ値やムラを除去してから膨張しているデフォーカス量を収縮させ、その後更に整形処理を施したデフォーカスマップをもとにオブジェクト領域を抽出する。これにより、外れ値やムラによるオブジェクト領域の穴抜けを抑制し、被写体領域よりも外側にはみでることなく、かつ被写体の境界形状に精度よく沿ったオブジェクト領域を抽出することができる。
【００７６】
なお、整形処理部１２００がデフォーカスマップに適用するフィルタは、バイラテラルフィルタに限定されない。整形処理部１２００は、距離マップにおける着目画素と複数の周辺画素との間の類似度が撮影画像における着目画素と複数の周辺画素との間の類似度に近づくように、距離マップにおける着目画素の画素値を変更する任意のフィルタを利用することができる。
【００７７】
Ｓ４０４の処理は、図４に示すＳ４０４の処理と同様である。
【００７８】
Ｓ１３０１で、背景ぼかし処理部１２０１は、Ｓ４０４で生成したオブジェクト領域マップに基づいて、図５に示した静止画記録用の画像における背景領域に対して、ぼかし処理を施す。静止画記録用の画像にボケを付加することによって、より遠近感を強調した画像を生成することができる。更に、オブジェクト領域に対してエッジ強調を施すことで、より効果を強調することも可能である。
【００７９】
なお、上の説明では、外れ値及びムラを除去するフィルタ処理（Ｓ４０２）、収縮フィルタ処理（Ｓ４０３）、及び整形処理（Ｓ１３００）の後にオブジェクト領域マップを生成する処理（Ｓ４０４）を行うものとした。しかしながら、オブジェクト領域マップを生成する処理を行うタイミングは、上で説明したタイミングに限定されない。画像処理部１０７は、Ｓ４０１でデフォーカスマップを生成した時点でヒストグラムの情報を参照して、オブジェクト領域マップを生成しても構わない。この場合、Ｓ４０２、Ｓ４０３、及びＳ１３００において、デフォーカスマップの代わりにオブジェクト領域マップに対してフィルタ処理及び整形処理が行われる。この場合、画像処理部１０７は、Ｓ４０２において外れ値・ムラを除去するためのメディアンフィルタを施す際に、２値化した画素のうち０又は２５５の一方の画素値の数をカウントし、多い方の画素値を出力するだけで、メディアンフィルタの効果が得られる。そのため、多値のデフォーカスマップに対してメディアンフィルタを適用する場合と異なり、参照するすべての画素の画素値を降順又は昇順に並び替える必要がないので、演算にかかる負荷を削減することができる。
【００８０】
また、上の説明では、画像処理装置１００にて生成したオブジェクト領域マップに基づいて静止画記録用の画像に対して背景ぼかし処理を施したが、本実施形態はこれに限定されるものではない。例えば、静止画に関連付けてオブジェクト領域マップを記録媒体１０８に記録する記録制御を行い、外部の画像処理装置において、オブジェクト領域マップに基づいて静止画に対して背景ぼかし処理を施す構成を採用してもよい。
【００８１】
以上説明したように、第２の実施形態によれば、画像処理装置１００は、デフォーカスマップに対して膨張しているデフォーカス量を収縮させるフィルタ（例えば、最小値フィルタ）を適用する。その後、画像処理装置１００は、デフォーカスマップに対して撮影画像に基づく整形処理（例えば、バイラテラルフィルタの適用）を行う。これにより、デフォーカスマップのような被写体の距離に関連する情報の分布の精度を向上させることが可能となる。
【００８２】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００８３】
１００…画像処理装置、１０１…システム制御部、１０２…ＲＯＭ、１０３…ＲＡＭ、１０７…画像処理部、３０１…外れ値・ムラ除去フィルタ部、３０２…収縮フィルタ部、３０３…オブジェクト領域抽出部、３０４…明るさ補正部
【図１】
2020009180.tif 000003
【図２】
2020009180.tif 000004
【図３】
2020009180.tif 000005
【図４】
2020009180.tif 000006
【図５】
2020009180.tif 000007
【図６】
2020009180.tif 000008
【図７】
2020009180.tif 000009
【図８】
2020009180.tif 000010
【図９】
2020009180.tif 000011
【図１０】
2020009180.tif 000012
【図１１】
2020009180.tif 000013
【図１２】
2020009180.tif 000014
【図１３】
2020009180.tif 000015