(57)【要約】【課題】複数の撮影画像から推定された距離画像において、撮影画像中でテクスチャが少なく距離推定誤差が大きい領域の距離を補正することを可能にする。【解決手段】画像と前記画像に対応する距離画像とに基づいて前記距離画像を補正する画像処理装置であって、前記画像中に含まれる物体を検出する検出手段と、前記検出手段によって検出された物体の大きさが閾値以下であるか否か判定する判定手段と、前記検出された物体の大きさが前記閾値以下である場合に、前記距離画像における当該物体の領域に対応する対象領域内の距離を補正する補正手段と、を備えることを特徴とする。【選択図】図２
2015096812.tif 000002
【特許請求の範囲】
【請求項１】
画像と前記画像に対応する距離画像とに基づいて前記距離画像を補正する画像処理装置であって、
前記画像中に含まれる物体を検出する検出手段と、
前記検出手段によって検出された物体の大きさが閾値以下であるか否か判定する判定手段と、
前記検出された物体の大きさが前記閾値以下である場合に、前記距離画像における当該物体の領域に対応する対象領域内の距離を補正する補正手段と、
を備える画像処理装置。
【請求項２】
前記物体の大きさは、検出された物体の画像中での縦方向長さ、横方向長さまたは面積の少なくともいずれかである、
請求項１に記載の画像処理装置。
【請求項３】
前記検出手段は、検出した物体の種類も判別し、
前記判定手段は、検出した物体の種類に応じて前記閾値を異ならせる、
請求項１または２に記載の画像処理装置。
【請求項４】
前記判定手段は、テクスチャの多い物体ほど前記閾値を小さくする、
請求項３に記載の画像処理装置。
【請求項５】
前記補正手段は、前記距離画像における前記物体の領域に対応する対象領域内の画素の距離を、当該対象領域内の距離の代表値で置き換える、
請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
前記代表値は、前記対象領域内の距離の平均値、最頻値、または中央値のいずれかである、
請求項５に記載の画像処理装置。
【請求項７】
前記補正手段は、前記対象領域の全域の距離の平均値を算出し、当該平均値との差が所定値以下の距離のみを用いて前記代表値を算出する、
請求項５または６に記載の画像処理装置。
【請求項８】
前記補正手段は、前記距離画像の各位置における距離算出の信頼度を取得し、前記信頼度も考慮して前記代表値を算出する、
請求項５から７のいずれか１項に記載の画像処理装置。
【請求項９】
前記補正手段は、前記信頼度が高い距離のみを用いて前記代表値を算出する、
請求項８に記載の画像処理装置。
【請求項１０】
前記補正手段は、前記信頼度を重み付け係数とする距離の重み付け平均値を前記代表値として算出する、
請求項８に記載の画像処理装置。
【請求項１１】
前記信頼度は、前記画像において輝度が所定値以下の画素および輝度が飽和した画素において低く算出される、
請求項８から１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記信頼度は、前記画像において局所領域ごとにエントロピーまたは標準偏差を算出し
、所定値以下の画素において低く算出される、
請求項８から１０のいずれか１項に記載の画像処理装置。
【請求項１３】
前記信頼度は、前記画像の撮影時におけるＡＦによる距離情報と距離画像における距離との差が大きい画素において低く算出される、
請求項８から１０のいずれか１項に記載の画像処理装置。
【請求項１４】
前記物体の領域を複数の分割領域に分割し、前記複数の分割領域のそれぞれを前記対象領域として決定する領域決定手段を更に有し、
前記補正手段は、前記領域決定手段によって決定された対象領域のそれぞれについて、対象領域内の距離を当該対象領域内の距離の代表値で置き換える、
請求項５から１３のいずれか１項に記載の画像処理装置。
【請求項１５】
前記画像を複数の分割領域に分割し、当該複数の分割領域のうち、前記検出手段によって検出された物体の領域に対応する分割領域を、前記対象領域として決定する領域決定手段を更に有し、
前記補正手段は、前記領域決定手段によって決定された対象領域のそれぞれについて、対象領域内の距離を当該対象領域内の距離の代表値で置き換える、
請求項５から１３のいずれか１項に記載の画像処理装置。
【請求項１６】
前記物体の領域の画像中での大きさと前記代表値から得られる物体までの絶対距離と対応する像側での絶対距離とから前記物体の大きさを算出し、算出された大きさが正常範囲外の大きさであれば、エラーが発生したと判定する検証手段を更に有する、
請求項５から１５のいずれか１項に記載の画像処理装置。
【請求項１７】
前記物体は、人の顔である、
請求項１から１６のいずれか１項に記載の画像処理装置。
【請求項１８】
前記対象領域は、前記検出手段によって検出された顔領域付近の肌色領域、前記顔領域付近の肌色領域および髪領域、前記画像を分割した分割領域のうちの前記顔領域に対応する分割領域、のいずれかである、
請求項１７に記載の画像処理装置。
【請求項１９】
視点の異なる複数の画像またはぼけの異なる複数の画像に基づいて距離画像を生成する距離算出手段をさらに有し、
前記画像処理装置は、前記複数の画像の少なくともいずれか１つと前記距離画像を用いて、前記距離画像を補正する、
画像処理装置。
【請求項２０】
撮像手段と、
請求項１９に記載の画像処理装置と、
を有し、
前記距離算出手段は、前記撮像手段によって撮影された視点の異なる複数の画像またはぼけの異なる複数の画像に基づいて距離画像を生成する、
撮像装置。
【請求項２１】
コンピュータによって実行される、画像と前記画像に対応する距離画像とに基づいて前記距離画像を補正する距離補正方法であって、
前記画像中に含まれる物体を検出する検出ステップと、
前記検出ステップにおいて検出された物体の大きさが閾値以下であるか否か判定する判
定ステップと、
前記検出された物体の大きさが前記閾値以下である場合に、前記距離画像における当該物体の領域に対応する対象領域における距離を補正する補正ステップと、
を含む、距離補正方法。
【請求項２２】
請求項２１に記載の距離補正方法の各ステップをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置に関連し、特に距離画像の補正を行う技術に関する。
【背景技術】
【０００２】
従来、撮像された複数枚の画像からステレオ法やＤＦＤ（Ｄｅｐｔｈ  ｆｒｏｍ  Ｄｅｆｏｃｕｓ）法、ＤＦＦ（Ｄｅｐｔｈ  ｆｒｏｍ  Ｆｏｃｕｓ）法などを用いて距離を推定し、距離画像を生成する技術が提案されている。ステレオ法は、異なる視点から撮影された複数の画像に基づいて距離を算出する技術である。ＤＦＤ法およびＤＦＦ法は、撮影パラメータが異なる複数の画像に基づいて距離を算出する技術である。これらの手法で生成された距離画像には誤差が含まれ、距離画像を利用したアプリケーションの品質劣化につながる。
【０００３】
この問題に対し、距離画像の補正を行う手法として特許文献１が提案されている。特許文献１では、画像の画素値および距離値の少なくとも一方に対してクラスタリング処理を行い、生成したクラスタ内の代表距離値を生成する。その後、補正対象画素に対応するクラスタの代表値によって補正対象画素の距離を置き換えることで距離の補正を行っている。
【０００４】
また、物体ごとの距離をより精度よく求めるため、特許文献２では画像に含まれる物体を検出し、距離情報をもつモデルを用いて画像中の物体の距離を推定する方法が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第５１５０６９８号公報
【特許文献２】特許第５１３２７５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ステレオ法やＤＦＤ法、ＤＦＦ法で推定された距離画像では、特に撮影画像においてテクスチャの少ない領域で距離推定エラーが生じ、誤差が大きくなることが知られている。テクスチャのある同じ物体であっても撮影された物体が画像中において小さい場合は、撮影画像上で物体のテクスチャがなくなってしまい距離推定エラーも大きくなる。逆にテクスチャが多く存在し画像中での大きさが大きい物体は、比較的精度よく距離を算出できる。
【０００７】
特許文献１に記載されているような補正方法では、距離の推定精度を考慮せずに、クラスタリングを用いて距離補正を行っている。距離の推定精度を考慮していないため、精度よく距離算出が行えている部分についても補正処理が施され、逆に正しい距離からのずれが大きくなる可能性もある。また、局所領域でのクラスタリングによって分割された領域を利用した距離補正なので、物体ごとに同じ距離にする補正はできない。
【０００８】
特許文献２では、シーンによってベースとなる距離を仮定し、物体ごとの距離モデルを保持しておき、これをベースとなる距離にあてはめることで距離画像を推定している。この手法は、物体ごとの距離を得ることができるが、撮影された複数枚の画像変化から距離を推定するというよりは、予め用意した距離情報を撮影シーンにあてはめる手法である。また、ベースとなる距離とそれに対する物体の位置関係を誤ると推定した距離に大きな誤
差が生じるといった課題がある。
【０００９】
上記のような問題を考慮して、本発明の目的は、距離画像において距離推定が正しく行えない領域についてのみ距離補正を行うことで、精度の良い距離画像を生成可能な技術を提供することにある。
【課題を解決するための手段】
【００１０】
本発明の第１の態様は、画像と前記画像に対応する距離画像とに基づいて前記距離画像を補正する画像処理装置であって、
前記画像中に含まれる物体を検出する検出手段と、
前記検出手段によって検出された物体の大きさが閾値以下であるか否か判定する判定手段と、
前記検出された物体の大きさが前記閾値以下である場合に、前記距離画像における当該物体の領域に対応する対象領域内の距離を補正する補正手段と、
を備える画像処理装置である。
【００１１】
本発明の第２の態様は、コンピュータによって実行される、画像と前記画像に対応する距離画像とに基づいて前記距離画像を補正する距離補正方法であって、
前記画像中に含まれる物体を検出する検出ステップと、
前記検出ステップにおいて検出された物体の大きさが閾値以下であるか否か判定する判定ステップと、
前記検出された物体の大きさが前記閾値以下である場合に、前記距離画像における当該物体の領域に対応する対象領域における距離を補正する補正ステップと、
を含む、距離補正方法である。
【発明の効果】
【００１２】
本発明によれば、距離画像において距離推定が正しく行えない領域についてのみ距離補正を行うことが可能となり、したがって精度の良い距離画像を得ることが可能となる。
【図面の簡単な説明】
【００１３】
【図１】第１の実施形態に係る画像処理装置の構成を示すブロック図。
【図２】第１の実施形態に係る画像処理のフローチャート。
【図３】入力画像の例。
【図４】第２の実施形態に係る画像処理装置の構成を示すブロック図。
【図５】第２の実施形態に係る画像処理のフローチャート。
【図６】第２の実施形態に係る顔検出結果の例。
【図７】第２の実施形態に係る領域分割結果の例。
【図８】第３の実施形態に係る画像処理装置の構成を示すブロック図。
【図９】第４の実施形態に係る画像処理装置の構成を示すブロック図。
【図１０】第５の実施形態に係る画像処理装置の構成を示すブロック図。
【発明を実施するための形態】
【００１４】
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る画像処理装置の構成を模式的に示している。画像処理装置は、距離算出装置１３と距離補正装置１とから構成される。距離補正装置１は、物体検出部１０、サイズ判定部１１、距離補正部１２を有している。
【００１５】
距離算出装置１３は、複数の画像を入力として受け付け、入力画像に対応する距離画像を生成する機能部である。距離算出の具体的なアルゴリズムは任意であってよいが、以下で説明する距離補正処理は、パッシブな方法で生成された距離画像に対して好適に適用可
能である。パッシブな距離算出方法として、ステレオ法、ＤＦＤ法、ＤＦＦ法が挙げられる。ステレオ法は、視点の異なる複数の画像を入力として受け付け、これらの画像間における視差に基づいて距離を算出する。ＤＦＤ法は、撮影パラメータが異なる複数の画像を入力として受け付け、画像間のぼけ量の違いに基づいてフォーカス位置からの相対距離を算出する。ＤＦＦ法は、撮影パラメータが異なる複数の画像を入力として受け付け、最も良く合焦したときのフォーカス位置に基づいて距離を算出する。
【００１６】
なお、距離算出装置１３で算出される距離は対象物体までの絶対距離であっても良いし、フォーカス位置からの相対距離であっても良い。相対距離が算出される場合、フォーカス位置の距離から絶対距離に換算しても良い。
【００１７】
物体検出部１０は、距離算出装置１３が生成した距離画像と、距離画像生成に用いられた撮影画像のうちの１つの画像を入力画像として受け付ける。入力される距離画像は、主要被写体に対して合焦している画像であることが好ましい。なお、入力される撮影画像は、必ずしも距離算出のために用いられた画像である必要はない。
【００１８】
物体検出部１０は、画像中に存在する物体を検出し、各物体の位置および領域の情報を出力する。ここで物体検出は、物体が何であるかを特定するといった詳細な検出をしてもよいが、物体の種類など大まかな分類だけを検出してもよい。検出方法としては、公知の手法を用いてよく、例えば物体ごとの学習データを用いた識別器を用意して入力画像から物体を識別する手法などがある。本発明は、物体の検出方法を限定するものではなく、他の検出手法を用いることも可能である。また、画像中に存在する物体全てを検出する必要はなく、人物や車、花などといった特定の物体のみを検出してもよい。
【００１９】
サイズ判定部１１は、物体検出部１０で検出された物体ごとに画像中の物体の大きさを算出し、物体の大きさが閾値以下か否かを判定する。ここで物体の大きさとは、画像中の物体の高さ（縦方向長さ）、幅（横方向長さ）、面積のうちの何れかを指し、判定には少なくとも１つ以上を用いる。ここで、閾値は対象となる物体に依らず一定でもよいが、物体の大きさや物体表面のテクスチャに応じて異なる値を用いるのが好適である。物体の大きさが閾値以下の場合は、距離補正部１２で物体の距離補正を行う必要があると判定する。
【００２０】
距離補正部１２は、サイズ判定部１１で距離補正が必要と判定された物体に対して距離補正を行い、補正した距離画像を出力する。補正方法としては、物体領域内の距離の平均値を算出して代表値とし、物体領域内の距離を代表値で置き換える方法がある。その他に代表値として、物体領域内の距離の中央値や最頻値を用いることも可能である。
【００２１】
次に本実施形態に係る画像処理装置における距離補正方法（画像処理方法）の流れを、図２を用いて説明する。図２は、本実施形態による距離補正方法の流れを示すフローチャートである。
【００２２】
まず、距離補正装置１に、入力画像として距離推定に用いた画像のうち少なくとも１画像（以後、距離画像と区別し単に画像と呼ぶ）と、推定された距離画像が入力される。図３に入力画像のうちの撮影画像（画像１００）の例を示す。距離画像は、撮像装置からの絶対距離を表すデータでもよいし、画像中の特定物体からの相対的な距離を表すデータでもよい。相対的な距離の場合、一般にフォーカスを合わせた物体からの相対的な距離を表す。また、距離画像は必ずしも距離でなくともよく、例えば距離に対応する視差やデフォーカス量を表す画像であってもよい。
【００２３】
画像１００は、物体検出部１０に入力され、物体検出処理が実行される（Ｓ１０１）。
物体検出により、画像１００の場合では手前の花１０１、奥の花１０２、車１０３、家１０４といったように物体ごとに位置と領域が検出される。ここで検出される位置は、物体の中心座標や重心座標である。また検出される領域は、物体形状に一致するような領域でもよいが、より簡易的に物体に外接や内接する矩形や楕円形などの単純な図形形状であってもよい。形状以外の領域情報として、検出した形状の縦、横における最大の長さ、面積も検出しておいてもよい。更に物体検出部１０は、付属情報として物体の種類情報（例では家、車、花）を同時に出力してもよい。検出されたこれらの物体に関する情報は、不図示のメモリ等に保存される。
【００２４】
次に検出した物体の数だけサイズ判定部１１の判定処理および距離補正部１２の補正処理が繰り返し行われる（Ｓ１０２からＳ１０５）。サイズ判定（Ｓ１０３）は、距離推定時に誤差が生じる可能性の高い物体を判定するために行われる処理である。
【００２５】
同じ物体であっても画像中における物体サイズが小さい場合は、物体のテクスチャの細部が記録されないため、距離推定の誤差が生じやすい。これは、ステレオ法の場合は、テクスチャがないことで対応点が探索できなくなるためであり、ＤＦＤ法やＤＦＦ法の場合はテクスチャがないことでぼけの変化が検出できないためである。また、単に誤差の発生する場合があるだけでなく、距離情報を推定できない場合もあり得る。このような領域に対しては、距離補正処理を施すことで正しい距離に近づけることができる。
【００２６】
一方、画像中における物体サイズが大きい場合、物体のテクスチャが細部まで記録されるので、距離推定における誤差が少ない。距離推定の誤差が少ない領域に補正処理を施すと、逆に正しい距離からのずれが多くなる可能性もある。
【００２７】
物体サイズと距離推定精度に上記のような関係があるため、本実施形態にかかる距離補正装置１では、物体サイズが閾値以上であるか否かに応じて距離の補正処理を行うか否かを切り替える。このような簡単な処理により距離推定精度を判別することができる。また、補正の必要な精度の低い領域のみを効率的に補正することができる。
【００２８】
判定処理の対象となる物体サイズは、検出された物体の画像中での縦サイズ（縦方向長さ）、横サイズ（横方向長さ）または面積の少なくともいずれかである。ここでは、判定処理の具体例として、画像１００において手前の花１０１に対する縦サイズまたは横サイズに基づいて判定の場合を説明する。サイズ判定部１１では、物体検出部１０で検出した手前の花１０１の縦横の大きさ、花であるという物体の種類情報および、画像の縦横サイズ、撮影時の縦撮り、横撮り情報を取得する。画像１００は横撮りのため、サイズ判定部１１は、画像の短辺サイズと花の縦サイズ、もしくは画像の長辺サイズと花の横サイズを比較する。画像サイズに対する花のサイズが閾値より大きい場合は、補正処理Ｓ１０４に進まず、ループＳ１０５に進み次の物体がある場合はＳ１０２に戻ってサイズ判定を繰り返す。一方、画像サイズに対する花のサイズが閾値以下の場合は、補正処理Ｓ１０４に進み距離補正部１２で花領域の距離補正が実行される。
【００２９】
例えば、閾値として、画像サイズと物体サイズの比の閾値０．３を採用することができる。この場合、花１０１の縦サイズの画像短辺サイズに対する比はおよそ０．５あるので閾値より大きいと判定される。
【００３０】
なお、ここでは画像の短辺サイズと花１０１の縦サイズを比較したが、画像の長辺サイズと花１０１の横サイズも判定に加えてもよい。また、画像の面積（画素数）に対する花１０１領域の面積（画素数）の比を用いて判定してもよい。縦撮り・横撮りの情報が無い場合には面積で比較するのが有効である。更に、縦撮り・横撮りの情報が無い場合は、単に物体の縦横サイズに対する閾値を設けて判定してもよい。特に物体のサイズやテクスチ
ャが個体差によらずほぼ決まっているような物体では、画像中での物体の縦横サイズに基づいてテクスチャが解像できているか容易に判定可能となる。
【００３１】
次に閾値の決定方法に関して説明する。閾値は物体の実際の大きさや物体中のテクスチャによって異なる。テクスチャを多く含む物体種類（低周波から高周波までの空間周波数を含む物体）は、画像中に小さく写された場合でもテクスチャ情報が画像中に記録され、小さな誤差で距離推定が可能である。このような物体の場合は閾値を小さく設定する。一方、テクスチャの少ない物体は、画像中に大きく写されても記録されるテクスチャが少なく物体のエッジ近傍以外に距離推定誤差が増加する。よってこのような場合は閾値を大きく設定する。
【００３２】
また、同じ種類の物体でも個体差によりテクスチャや実際の大きさは異なる。しかしながら、全ての物体に対して閾値を保持するのは現実的でないため、物体の種類ごとに閾値を決定するのが好適である。例えば、人の顔は個体差が少ないので、人の顔に対しては一定の閾値を採用可能である。その他にも、例えば車両についても、乗用車、トラック、バスという種類に分類すれば、それぞれの種類について個体差はあまり大きくないので、各種類について一定の閾値を採用可能である。
【００３３】
次に、サイズ判定Ｓ１０３で補正処理Ｓ１０４が必要と判定された場合を説明する。補正処理Ｓ１０４は、距離補正部１２によって実行される。距離補正部１２には、物体の領域情報および距離画像が入力される。その後、入力された物体の領域に対応する距離画像中の物体領域を抽出し、物体領域中の平均距離を算出する。算出した平均距離を物体領域の代表値として、距離画像における物体領域中の距離を代表値に置き換え距離画像を更新する。代表値を算出する際に、物体領域中の距離画像に欠落部分（距離未算出部分）がある場合は、それを除いて代表値を算出する。また、平均値の場合、算出される値が極端に誤差の大きな値の影響を受けるため、中央値や最頻値を算出して代表値としてもよい。
【００３４】
なお、補正対象となる物体領域は、画像中において小さい領域であり、その領域では誤差の影響により推定距離がばらつくよりも、一定の値を持った方が距離画像としては高精度と言える。また、画像中において実際の物体の大きさを考慮した上で小さい領域となる物体は、その物体が遠方にあることを示している。一般に距離を推定する場合、遠方にある物体ほど推定誤差が大きくなり、距離分解能も劣化する。よって、遠方に存在する物体の距離を一つの距離に代表させることで、より物体中のばらつきの無い距離を得ることができる。
【００３５】
本実施形態によれば、物体検出およびサイズ判定によってテクスチャが少なく距離推定誤差の大きい物体を特定することが可能となる。さらに、検出した物体中の距離を代表値に置き換えることで物体中の距離のばらつきを無くした距離画像を推定することができる。この際、物体中の距離情報が欠落した部分に対しても距離情報を求めることが可能となり、欠損の無い距離画像を生成することが可能となる。更には、画像中の大きな物体に対しては補正処理を行わないことで、距離解像度、画像中のＸＹ方向の空間解像度の劣化を生じさせずに距離補正を行うことが可能となる。
【００３６】
＜第２の実施形態＞
図４は、本発明の第２の実施形態に係る画像処理装置の構成を模式的に示している。画像処理装置は、距離算出装置１３と距離補正装置２とから構成される。距離補正装置２は、顔検出部２０、サイズ判定部１１、領域決定部２１、距離補正部１２を有している。
【００３７】
第２の実施形態では、物体検出として人物の顔検出に特化している点が、第１の実施形態と異なる。したがって、本実施形態では物体検出部１０の代わりに顔検出部２０が設け
られる。更には、距離の代表値を算出する領域決定部２１を設けている点が第１の実施形態と異なる。本実施形態では、距離の代表値を算出する領域（対象領域）を、検出部で検出した領域と異なるようにできる。以下、第１の実施形態と異なる部分を中心に説明する。なお、第１の実施形態と同様の構成については同一の符号を付し、その説明は基本的に省略する。
【００３８】
第２の実施形態においても、距離推定に用いた画像のうち少なくとも１画像と距離画像が入力され、第１の実施形態と同様の流れで距離画像の補正が行われる。
【００３９】
次に本実施形態に係る画像処理装置における距離補正方法（画像処理方法）の流れを、図５を用いて説明する。図５は、本実施形態による距離補正方法の流れを示すフローチャートである。
【００４０】
顔検出処理Ｓ２０１では、デジタルカメラ等の撮像装置に搭載されているような方法を用いて、図６の（ａ）に示すように画像中の顔領域を検出する。この際に検出する情報としては、顔領域の中心座標、顔の縦・横の大きさ、左右の目の座標などがある。より正確な顔の大きさを検出するために、顔のローリング角度やヨーイング角度を追加情報として保存してもよい。これらの検出した顔情報はメモリ等に保存される。
【００４１】
より顔領域を精度良く検出するために、図６の（ｂ）に示すように検出された顔領域付近（顔領域内およびその近傍）における肌色領域を検出して顔領域として検出し、その縦・横サイズおよび検出領域を保存してもよい。この場合、顔領域に首も含めてもよい。更には、図６の（ｃ）のように頭部領域も含む楕円領域としてその中心座標、縦・横サイズを保存してもよい。他にも図６の（ｄ）のように顔領域付近から髪の毛の色に基づいて髪領域を検出し、顔領域と合わせて全体を顔領域としてその領域、縦・横サイズを保存してもよい。顔領域の検出方法および検出対象とする領域は限定しないが、検出した領域がどの部分まで含むかによって後述の閾値の設定が変わってくるので対応を取ることが重要である。
【００４２】
次に、検出した顔の数だけＳ２０２からＳ２０６までの処理を繰り返し実行する。
【００４３】
サイズ判定処理Ｓ２０３では、第１の実施形態で示した一般物体の場合と同様に、顔の縦横サイズや検出した領域の面積（画素数）と、画像の縦横サイズ、画像の面積（画素数）の比を算出する。続いて算出した値が閾値より大きいか閾値以下か判定する。なお閾値は、前述したように検出した顔領域がどの領域まで含むかによって変える必要がある。顔領域の場合の閾値は、画像短辺サイズに対する顔の縦サイズが３割程度にするのが好適である。
【００４４】
検出した顔サイズが閾値より大きい場合は対象領域決定処理Ｓ２０４、補正処理Ｓ２０５をスキップしてＳ２０６に移行する。
【００４５】
検出した顔サイズが閾値以下の場合は対象領域決定処理Ｓ２０４を実行する。第１の実施形態では、検出した物体領域を一つの領域とみなして補正処理を行ったが、必ずしも物体領域を全て同じ距離にする必要はない。特に、検出した物体中に距離差が存在するような物体で、かつ物体サイズが閾値近傍の場合は、物体中の大まかな距離変化が必要となる可能性がある。そのような場合を考慮し、対象領域決定処理Ｓ２０４では、検出した物体領域を複数の領域に分割する。本実施形態では、顔領域をいくつかの領域として分割する。分割手法としては様々な公知の手法が適用可能である。例えば、似た色の領域は近い距離である可能性が高いと仮定し、色空間における距離で顔領域内を微小領域に分割する方法などを用いることができる。
【００４６】
ここでは対象領域決定処理Ｓ２０４を顔検出後の領域に対して実行しているが、図７のように予め画像全体に対し領域分割を行い、領域分割結果と顔検出結果が重なる領域の部分領域ごとに分割することも可能である。よって、必ずしも補正領域決定処理が顔検出後である必要はない。なお、領域分割結果と顔検出結果が重なるという基準として、分割領域が顔領域に完全に含まれる、分割領域のうち所定割合が顔領域に含まれる、分割領域の一部でも顔領域に含まれる、といういずれの基準も採用可能である。
【００４７】
次に、顔領域中の分割領域ごとに補正処理Ｓ２０５で第１の実施形態と同様に代表値を算出して領域中の距離値を代表値に置き換える。
【００４８】
ここで、第１の実施形態では、検出した領域中の画素全ての距離値を用いて代表値を算出していた。本実施形態では異なる補正方法の例を示す。対象領域内には、大きく距離が異なる値が含まれている可能性がある。このような大きな特異値が含まれる場合、平均値が特異値に引きずられてしまう可能性がある。そのような事態を避けるため、対象領域全域での平均距離から大きく外れる距離を使用しないで、代表値を求める。このような判定を行うためには、まず対象領域全域の距離を用いて平均距離（仮代表値）を算出し、この平均距離との差が小さい距離値（差が所定値以下の距離値）のみを用いて代表値を求めればよい。この閾値は、対象領域から求められる標準偏差を用いて決定することができる。これにより、より精度の高い代表値を算出することが可能となる。なお、この処理は代表値として平均値を採用する場合以外にも、最頻値や中間値を採用する場合にも有効である。
【００４９】
顔検出を行う機能は、既にデジタルカメラ等の撮像装置に搭載されており、本発明の画像処理装置を撮像装置に容易に搭載することが可能である。
【００５０】
また、人物の肌はテクスチャが少なく距離推定の誤差が大きいため、距離画像補正の効果が大きい。更に、人物は主被写体となる撮影シーンが多く、人物領域の中でも特に顔領域に距離のエラーが生じた場合に、距離画像を利用した種々の画像処理を行った際に違和感が大きい。よって、本実施形態により顔領域の距離の欠損などのエラーを低減することが可能となり、大きな効果が生じる。
【００５１】
なお、本実施形態では第１の実施形態と比較して、人の顔に特化している点、顔領域を分割してそれぞれについて補正処理を施している点、特異値を除いて代表値を決定している点で異なる。これら３つの構成は必ずしも組み合わせて用いる必要はない。分割領域を対象領域とすることは、顔のように距離の違いがあることが明らかであり、かつ、その違いが鑑賞者に顕著に表れる場合に特に有効であるが、その他の物体を対象とする場合も有効であることは明らかであろう。また、特異値を除いて代表値を決定する構成も単独で使用可能であることは明らかであろう。
【００５２】
＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。第１の実施形態では、物体領域内において推定された距離値全てを利用して平均値を算出するなどして補正処理を行うようにした。また、第２の実施形態でも、同様に物体領域内の部分領域において、部分領域内において推定された距離値のうち特異値を除いた距離を用いて補正処理を行うようにした。これに対し、第３の実施形態では、距離画像以外のデータを用い、距離画像中における信頼度の高い距離のみを利用して補正処理を行う。以下、第１の実施形態と異なる部分を中心に説明する。
【００５３】
図８は、本発明の第３の実施形態に係る画像処理装置の構成を模式的に示している。画
像処理装置は、距離算出装置１３と距離補正装置３とから構成される。距離補正装置３は、物体検出部１０、サイズ判定部１１、距離補正部３０を有し、信頼度データ３１を距離補正部３０に利用する構成となっている。
【００５４】
本実施形態における距離算出装置１３は、距離算出処理を行う際に、距離画像を推定した際の推定精度を表す数値データを求めて保存する。推定精度は、距離画像の各画素について求めることができる。この推定精度を表す数値データが信頼度データ３１である。例えばステレオ法での距離計測の場合、２画像中の領域のマッチング度合い（相関値）などが利用できる。その他にも、ノイズの影響が多い低輝度領域（輝度値が閾値以下の画素位置）や、輝度飽和した領域（画素位置）は正しく距離画像が推定できない可能性があるのでこれらを信頼度データとして用いてもよい。この場合、低輝度領域や飽和領域の信頼度を０とし、他の領域を１とするような２値の信頼度データが生成可能である。更には、テクスチャが少ない領域は距離推定の信頼度が低いため、テクスチャ解析を行って信頼度データとして用いてもよい。テクスチャ解析としては、エントロピーや標準偏差などを用いることができる。すなわち、撮影画像中の局所領域ごとにエントロピーや標準偏差を算出し、この値を信頼度データとして用いることができる。ここで、利用する信頼度はこれらの一つとは限らず、複数の信頼度データを用いてもよい。信頼度データは前述したように、信頼度が高いか低いかの二値でもよいし、連続値であってもよい。 
【００５５】
本実施形態の画像処理フローは図２に示す第１の実施形態のフローと同様であるが、距離補正部３０における補正処理Ｓ１０４の動作が異なる。
【００５６】
距離補正部３０には信頼度データ３１が入力される。補正処理では、入力された信頼度データも考慮して距離の平均値（あるいはその他の代表値）を算出する。ここで、信頼度データを考慮した距離平均値の算出として、例えば、信頼度が高い（信頼度が所定の閾値以上の）画素位置の距離値のみを利用して平均値を算出する処理が挙げられる。なお、信頼度データが連続値の場合には、信頼度データを重み付け係数として距離の重み付け平均値を算出する処理も、信頼度データを考慮した距離平均値算出処理の一例である。これにより、距離の誤差の少ないデータで代表値を算出することが可能となり、物体領域中の代表値をより正確に求めることが可能となる。また、代表値を物体領域中の距離値と置き換えることで信頼度の低い領域においても高信頼度の距離で補正することが可能となる。
【００５７】
第１の実施形態と同様に平均値以外にも中央値や最頻値を用いることも可能である。
【００５８】
他にも信頼度の高い距離を抽出する方法として、ＡＦ（オートフォーカス）による距離情報を用いてもよい。入力された距離画像が絶対距離を表す画像で、距離補正対象の物体が主被写体（フォーカスを合わせた被写体）である場合にはＡＦの距離情報を利用できる。物体領域内の距離において、ＡＦ距離値と比較してその差が閾値より大きいの場合は信頼度が低いと判定することができる。ここでの閾値は、検出した物体の種類と物体サイズから物体の奥行きサイズを算出して利用する。
【００５９】
本実施形態の距離補正によれば、信頼度データやＡＦ距離情報を利用することで信頼度の高い距離のみを使って検出した物体領域の代表値を算出することが可能となる。これにより距離推定誤差に依存しない代表値を推定することが可能となる。
【００６０】
＜第４の実施形態＞
次に、本発明の第４の実施形態について説明する。ここまでの実施形態はいずれも画像から自動で物体を検出して物体サイズを判定するようにした。これに対し、第４の実施形態では、画像処理を実行するユーザーが物体領域を指定するインタラクティブな補正処理を行う。以下、ここまでの実施形態と異なる部分を中心に説明する。
【００６１】
図９は、本発明の第４の実施形態に係る画像処理装置の構成を模式的に示している。画像処理装置は、距離算出装置１３と距離補正装置４とから構成される。距離補正装置４は、物体検出部１０、サイズ判定部１１、距離補正部１２および入力部４０を有し、入力部４０で入力された情報を物体検出部１０、サイズ判定部１１で利用する構成となっている。
【００６２】
本実施形態の画像処理フローは図２に示す第１の実施形態のフローと同様であるが、距離補正装置１０における動作が異なる。
【００６３】
物体検出部１０で物体検出Ｓ１０１が実行されると入力部４０が動作し、ユーザーに対して物体領域の指定を促す。ユーザーは検出する必要がある物体に対して物体領域を指定する。このとき物体の種類を表す情報も同時に入力する。これらの入力情報を物体検出結果として保存する。
【００６４】
同時に、入力部４０では各物体のサイズの閾値も入力するようにしてもよい。ここで入力された閾値を保存し、サイズ判定部で判定に用いる。ここで、入力部４０では、物体検出および閾値のいずれか一方のみを入力するようにしても構わない。
【００６５】
本実施形態によれば、ユーザーが物体領域を指定することで、自動の物体検出での生じる物体検出エラーを低減することが可能となる。また、サイズ判定の閾値をユーザーが必要な距離精度や空間分解能に応じて設定することが可能となる。
【００６６】
＜第５の実施形態＞
次に、本発明の第５の実施形態について説明する。本実施形態では、距離補正処理によって得られた距離が適切な値となっているかを検証する機能が追加された点が上記の実施形態と異なる。ここでは、第１の実施形態に検証機能を付加した場合を説明する。
【００６７】
図１０は、本発明の第５の実施形態に係る画像処理装置の構成を模式的に示している。画像処理装置は、距離算出装置１３と距離補正装置５とから構成される。距離補正装置５は、物体検出部１０、サイズ判定部１１、距離補正部１２および距離検証部５１を有する。
【００６８】
距離検証部５１は、画像から検出された物体について距離補正処理を施した後に、距離補正によって得られた距離画像が適切であるかどうかを検証する。距離検証部５１による検証処理は、図１のフローチャートにおけるステップＳ１０２〜Ｓ１０５の各ループ内（すなわちステップＳ１０４の直後）に行われてもよいし、このループを抜けた後（ステップＳ１０５の後）に各検出物体を対象として行われてもよい。
【００６９】
距離検証部５１は次のようにして、補正距離画像が適切であるか検証する。まず、距離検証部５１は、検出された物体の画像上での大きさと、画素サイズから像側での大きさを算出する。また、補正後の対象物体までの絶対距離（代表値）と、対応する像側での絶対距離から撮影倍率を算出する。
【００７０】
画像上での大きさと撮影倍率とから、検出された物体の実際の大きさを求めることができる。ここで、検出物体が人の顔のようにある程度大きさが定まっている物体であれば、計算によって算出された物体の実際の大きさが、正常値の範囲内であるかどうかを判別できる。距離検証部５１は、計算によって算出された大きさが正常範囲外の大きさであれば、距離補正処理において何らかのエラーが発生したと判断できる。エラーを検出した場合の動作は特に限定されない。例えば、エラーが発生したことをユーザーに通知してもよい
し通知しなくてもよい。また、距離補正処理を取り消して補正前の状態に戻してもよく、補正処理をそのまま適用してもよく、あるいはユーザーに補正処理を適用するか否か問い合わせてもよい。さらに、エラーが発生した場合に、距離補正処理における設定パラメータを変化させて再度距離補正処理を実行するようにしてもよい。
【００７１】
＜実装例＞
上記の実施形態の説明は、本発明を例示的に説明するものであり、本発明を限定する主旨のものではない。上記の実施形態の個々の構成要素は可能な限り組み合わせて実装することができる。また、本発明の技術的思想の範囲内で、上記の実施形態の構成から変形を施しても構わない。例えば、距離画像の補正処理は上記のように対象領域内の距離を代表値で統一する補正処理に限定する必要はなく、対象領域内の距離画像に対してローパスフィルタを適用するなどその他の任意の補正処理方法を採用することができる。
【００７２】
上述した本発明の距離補正技術は、例えば、デジタルカメラやデジタルカムコーダなどの撮像装置、或いは撮像装置で得られた画像データに対し画像処理を施す画像処理装置やコンピュータなどに好ましく適用できる。また、このような撮像装置或いは画像処理装置を内蔵する各種の電子機器（携帯電話、スマートフォン、スレート型端末、パーソナルコンピュータを含む）にも本発明の技術を適用可能である。
【００７３】
本発明の距離補正技術は、また、距離計測の機能を有する撮像装置に適用できる。距離計測機能はどのように構成してもよい。また、撮像装置を有するコンピュータに距離計測の機能を組み込み、撮像装置で撮影した画像をコンピュータが取得して、それに基づいて距離の算出を行い、それを補正するようにしてもよい。また、有線あるいは無線によりネットワークアクセス可能なコンピュータに距離計測の機能が組み込まれて、そのコンピュータがネットワークを介して複数枚の画像を取得し、それに基づいて距離計測を行う場合に適用してもよい。得られた距離情報は、例えば、画像の領域分割、立体画像や奥行き画像の生成、ボケ効果のエミュレーションなどの各種画像処理に利用することができる。
【００７４】
なお、上記装置への具体的な実装は、ソフトウェア（プログラム）による実装とハードウェアによる実装のいずれも可能である。例えば、撮像装置や画像処理装置に内蔵されたコンピュータ（マイコン、ＦＰＧＡ等）のメモリにプログラムを格納し、当該プログラムをコンピュータに実行させることで、本発明の目的を達成するための各種処理を実現してもよい。また、本発明の全部又は一部の処理を論理回路により実現するＡＳＩＣ等の専用プロセッサを設けることも好ましい。また、本発明の全ての機能は１つのコンピュータ等で実現されてもよいし、複数のコンピュータ等でそれぞれ異なる機能を実現してこれらのコンピュータを連携させてもよい。また、本発明の各機能についても、１つのコンピュータ等で実現されるだけでなく、複数のコンピュータ等が連携することで実現されてもよい。
【符号の説明】
【００７５】
１０    物体検出部
１１    サイズ判定部
１２    距離補正部
【図１】
2015096812.tif 000003
【図２】
2015096812.tif 000004
【図３】
2015096812.tif 000005
【図４】
2015096812.tif 000006
【図５】
2015096812.tif 000007
【図６】
2015096812.tif 000008
【図７】
2015096812.tif 000009
【図８】
2015096812.tif 000010
【図９】
2015096812.tif 000011
【図１０】
2015096812.tif 000012