(57)【要約】【課題】距離算出精度を高めることができる画像処理装置を提供する。【解決手段】本技術の一形態に係る画像処理装置は、視差情報生成部を具備する。  上記視差情報生成部は、第１の視差画像と第２の視差画像とを対象として、ピクセル単位で生成された第１の位相差分布と、上記第１の位相差分布に基づいてサブピクセル単位で生成された第２の位相差分布とに基づいて、視差情報を生成する。【選択図】図２
2014064875.tif 000002
【特許請求の範囲】
【請求項１】
第１の視差画像と第２の視差画像とを対象として、ピクセル単位で生成された第１の位相差分布と、前記第１の位相差分布に基づいてサブピクセル単位で生成された第２の位相差分布とに基づいて、視差情報を生成する視差情報生成部
を具備する画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記第１の位相差分布に基づいて、前記第２の位相差分布を生成する位相差算出部をさらに具備する
画像処理装置。
【請求項３】
請求項２に記載の画像処理装置であって、
前記位相差算出部は、前記第１の位相差分布を、前記第１の位相差分布から検出されたエッジ情報で補正することで、前記第２の位相差分布を生成する
画像処理装置。
【請求項４】
請求項３に記載の画像処理装置であって、
前記位相差算出部は、前記第１の視差画像について算出されたエッジ部の局所的な輝度分布と、前記第２の視差画像について算出されたエッジ部の局所的な輝度分布とをマッチング処理することで、前記第２の位相差分布を生成する
画像処理装置。
【請求項５】
請求項２に記載の画像処理装置であって、
前記位相差算出部は、第１の視差画像を構成する第１のピクセル群における輝度分布と、前記第２の視差画像を構成し前記第１のピクセル群に対応する第２のピクセル群における輝度分布との間の相関値を算出することで、前記第２の位相差分布を生成する
画像処理装置。
【請求項６】
請求項５に記載の画像処理装置であって、
前記位相差算出部は、前記第１のピクセル群と前記第２のピクセル群とをピクセル単位で相互に重ね合わせたときに相互に隣接する複数のピクセル間の輝度差に関連する評価関数を用いて前記相関値を算出する
画像処理装置。
【請求項７】
請求項６に記載の画像処理装置であって、
前記位相差算出部は、前記複数のピクセルの輝度値を繋ぎ合わせたときに得られる折れ線の長さを前記評価関数として用いる
画像処理装置。
【請求項８】
請求項６に記載の画像処理装置であって、
前記位相差算出部は、前記複数のピクセルの輝度値を繋ぎ合わせたときに得られる所定の立体面の表面積を前記評価関数として用いる
画像処理装置。
【請求項９】
請求項１に記載の画像処理装置であって、
前記視差情報生成部は、前記視差情報として測定対象の距離情報を生成する
画像処理装置。
【請求項１０】
請求項９に記載の画像処理装置であって、
前記視差情報生成部により生成された距離情報を用いて、リフォーカス画像を生成する制御部をさらに具備する
画像処理装置。
【請求項１１】
請求項１に記載の画像処理装置であって、
相互に視点が異なる複数の視差画像を取得する撮像部をさらに具備する
画像処理装置。
【請求項１２】
第１の視差画像と第２の視差画像とを取得し、
前記第１の視差画像と前記第２の視差画像とを対象として、ピクセル単位で生成された第１の位相差分布と、前記第１の位相差分布に基づいてサブピクセル単位で生成された第２の位相差分布とに基づいて、視差情報を生成する
画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、測定対象の距離情報を取得可能な画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
視点の異なる複数の画像を用いて測定対象までの距離を測定する技術が知られている。例えば下記特許文献１にはステレオマッチングと呼ばれる手法を用いた距離算出方法が記載されている。【０００３】
このようなステレオマッチングの手法では、画像内の水平方向（Ｈ方向）又は垂直方向（Ｖ方向）に沿った複数の視差画像から距離を算出する場合、視差画像間の位相差が求められる。位相差を求める処理は、比較対象の局所領域（単位領域）を水平方向に逐次移動させ、比較範囲内で最も相関が強い単位領域同士の視差画像間での位置ずれ（Pixelずれ、ディスパリティ）を位相差として求める。画像内の任意の角度方向に沿った複数の視差画像からも距離を算出することが可能である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１７１８５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ステレオマッチングにおいては、物体とカメラの距離によって視差画像間の位相差の測定精度が決定される。すなわち物体とカメラの距離が遠いほど、カメラノイズ、外乱などの影響によって、位相差の測定精度が低下し、これに伴って距離算出精度も低下するという問題がある。【０００６】
以上のような事情に鑑み、本技術の目的は、距離算出精度を高めることができる画像処理装置および画像処理方法を提供することにある。
【課題を解決するための手段】
【０００７】
以上の目的を達成するため、本技術の一形態に係る画像処理装置は、視差情報生成部を具備する。
上記視差情報生成部は、第１の視差画像と第２の視差画像とを対象として、ピクセル単位で生成された第１の位相差分布と、上記第１の位相差分布に基づいてサブピクセル単位で生成された第２の位相差分布とに基づいて、視差情報を生成する。【０００８】
上記画像処理装置においては、ピクセル単位で生成された第１の位相差分布と、第１の位相差分布を用いてサブピクセル単位で生成された第２の位相差分布とに基づいて、視差情報を生成するようにしている。このため、カメラノイズ等の外乱に対してよりロバストであり、かつ、より高精度な視差情報を取得することができる。【０００９】
ここで、サブピクセルとは、色画素という意味で用いられることもあるが、本明細書においては１画素よりも小さい画素単位を意味する。したがって各色画素を１ピクセルとしたときは、サブピクセルは、それよりも小さい画素単位を意味することになる。【００１０】
上記画像処理装置は、上記第１の位相差分布に基づいて、上記第２の位相差分布を生成する位相差算出部をさらに具備してもよい。【００１１】
上記位相差算出部は、上記第１の位相差分布を、上記第１の位相差分布から検出されたエッジ情報で補正することで、前記第２の位相差分布を生成するように構成されてもよい。
エッジ部近傍は輝度差が大きいため、サブピクセル単位の位相差の推定が容易となる。【００１２】
この場合、上記第１の視差画像について算出されたエッジ部の局所的な輝度分布と、上記第２の視差画像について算出されたエッジ部の局所的な輝度分布とをマッチング処理することで、上記第２の位相差分布を生成してもよい。
これによりサブピクセル単位の位相差を高精度に検出することができる。【００１３】
一方、上記位相差算出部は、第１の視差画像を構成する第１のピクセル群における輝度分布と、上記第２の視差画像を構成し上記第１のピクセル群に対応する第２のピクセル群における輝度分布との間の相関値を算出することで、上記第２の位相差分布を生成するように構成されてもよい。
このような方法によっても、サブピクセル単位の位相差を検出することができる。【００１４】
この場合、上記第１のピクセル群と上記第２のピクセル群とをピクセル単位で相互に重ね合わせたときに相互に隣接する複数のピクセル間の輝度差に関連する評価関数を用いてもよい。【００１５】
上記評価関数としては、上記複数のピクセルの輝度値を繋ぎ合わせたときに得られる折れ線の長さを用いることができる。あるいは、上記評価関数として、上記複数のピクセルの輝度値を繋ぎ合わせたときに得られる所定の立体面の表面積を用いることができる。【００１６】
上記視差情報は、典型的には、測定対象の距離情報である。これにより当該距離情報に基づく各種の情報処理の実行が可能となる。【００１７】
上記画像処理装置は、上記視差情報生成部により生成された距離情報を用いて、リフォーカス画像を生成する制御部をさらに具備してもよい。
これにより所望とするリフォーカス画像を高精度に生成することができる。【００１８】
上記画像処理装置は、相互に視点が異なる複数の視差画像を取得する撮像部をさらに具備してもよい。
この場合、上記視差情報生成部は、撮像部で取得された複数の視差画像を用いて、視差情報を生成することができる。【００１９】
本技術の一形態に係る画像処理方法は、第１の視差画像と第２の視差画像とを取得することを含む。
上記第１の視差画像と上記第２の視差画像とを対象として、ピクセル単位で生成された第１の位相差分布と、前記第１の位相差分布に基づいてサブピクセル単位で生成された第２の位相差分布とに基づいて、視差情報が生成される。
上記第１及び第２の視差画像は、予め用意された画像であってもよいし、撮像装置等で撮像された視差画像であってもよい。
【発明の効果】
【００２０】
以上のように、本技術によれば、外乱に対してよりロバストであり、かつ、より高精度な視差情報を取得することができる。
【図面の簡単な説明】
【００２１】
【図１】本技術の一実施形態に係る撮像装置の概略構成図である。
【図２】図１に示した制御部の概略構成を表す機能ブロック図である。
【図３】上記制御部の作用を説明するフローチャートである。
【図４】上記撮像装置で取得される視差画像の一例を示す概略図であり、（Ａ）は左視点画像を示し、（Ｂ）は右視点画像を示す。
【図５】上記制御部における第１の位相差分布の生成方法を説明する模式図である。
【図６】上記制御部における第２の位相差分布の生成方法を説明する模式図である。
【図７】上記第２の位相差分布を生成するための処理手順を説明する模式図である。
【図８】図７に示したサンプリング軸のとり方を説明する図である。
【図９】上記第２の位相差分布を生成するための処理手順を説明する模式図である。
【図１０】上記第２の位相差分布を生成するための処理手順を説明する模式図である。
【図１１】上記第２の位相差分布を生成するための処理手順を説明する模式図である。
【図１２】比較例による位相差検出方法を説明する図である。
【図１３】本技術の第２の実施形態における第２の位相差分布の生成方法を説明する図であって、（Ａ）は左視点画像の要部の輝度分布を示し、（Ｂ）は右視点画像の要部の輝度分布を示す。
【図１４】第２の実施形態に係る第２の位相差分布を生成するための処理手順を説明する模式図である。
【図１５】第２の実施形態に係る第２の位相差分布を生成するための処理手順を説明する模式図である。
【図１６】第２の実施形態に係る第２の位相差分布を生成するための処理手順を説明する模式図である。
【図１７】第２の実施形態に係る第２の位相差分布を生成するための処理手順を説明する模式図である。
【図１８】第２の実施形態に係る第２の位相差分布を生成するための処理手順を説明する模式図である。
【図１９】本技術の第３の実施形態における第２の位相差分布の生成方法を説明する図であって、第２の位相差分布を生成するための処理手順を説明する模式図である。
【図２０】第３の実施形態に係る第２の位相差分布を生成するための処理手順を説明する模式図である。
【図２１】第３の実施形態に係る第２の位相差分布を生成するための処理手順を説明する模式図である。
【図２２】第３の実施形態に係る第２の位相差分布を生成するための処理手順を説明する模式図である。
【図２３】第３の実施形態に係る第２の位相差分布を生成するための処理手順の変形例を説明する模式図である。
【図２４】第３の実施形態に係る第２の位相差分布を生成するための処理手順の変形例を説明する模式図である。
【図２５】第３の実施形態に係る第２の位相差分布を生成するための処理手順の変形例を説明する模式図である。
【図２６】第３の実施形態に係る第２の位相差分布を生成するための処理手順の変形例を説明する模式図である。
【発明を実施するための形態】
【００２２】
以下、本技術に係る実施形態を、図面を参照しながら説明する。
【００２３】
＜第１の実施形態＞
図１は、本技術の一実施形態に係る撮像装置の全体構成を示す概略図である。撮像装置１は、撮像対象物（被写体）２を撮像して所定の画像処理を施すことにより、画像データ（撮像データ）Ｄoutを生成し出力する。
【００２４】
［全体構成］
撮像装置１は、撮像部１０と、制御部２０とを有する。
【００２５】
撮像部１０は、２つのカメラ１１，１２を有しており、これらのカメラ１１，１２によって相互に視点が異なる複数の視差画像を取得することが可能に構成されている。カメラの数は２つに限られず、３つ以上有していてもよい。また複数のカメラは直線的に配列されている場合に限られず、マトリクス状に配列されていてもよい。
【００２６】
カメラ１１，１２は、典型的には、水平及び垂直方向に複数の画素が配列されたＣＣＤ（Charge Coupled Device；電荷結合素子）またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などの２次元固体撮像素子により構成されている。カメラ１１，１２は、被写体２の撮像データＤ０を生成し、制御部２０へ出力する。
【００２７】
制御部２０は、画像処理部としての機能を有する。制御部２０は、撮像部１０により取得された撮像データＤ０に対して所定の画像処理を施すことにより、視差情報を含む画像データＤoutを生成する。
【００２８】
なお本実施形態の画像処理方法は、制御部２０において具現化されるため、以下併せて説明する。また本実施形態の画像処理プログラムは、制御部２０における各画像処理機能をソフトウェア的に実現したものに対応している。この場合、そのソフトウェアは、各画像処理機能をコンピュータにより実行させるためのプログラム群で構成される。各プログラムは、例えば、専用のハードウェアに予め組み込まれて用いられてもよいし、汎用のパーソナルコンピュータなどにネットワークや記録媒体からインストールして用いられてもよい。
【００２９】
制御部２０は、上記複数の視差画像間のピクセル単位での第１の位相差分布を生成し、上記第１の位相差分布に基づいて上記複数の視差画像間のサブピクセル単位での第２の位相差分布を生成する。制御部２０は、上記第１の位相差分布と上記第２の位相差分布とに基づいて視差情報を生成する。
【００３０】
［制御部］
次に、図２を参照して、制御部２０の詳細構成について説明する。図２は、制御部２０の機能ブロック構成を表したものである。制御部２０は、欠陥補正部２１と、クランプ処理部２２と、距離情報取得部２３と、記憶部２４とを有している。
【００３１】
欠陥補正部２１は、撮像データＤ０に含まれる黒とび等の欠陥（カメラ１１，１２自体の異常に起因した欠陥）を補正する。
【００３２】
クランプ処理部２２は、欠陥補正部２１による欠陥補正後の撮像データにおいて、各画素データの黒レベルの設定処理（クランプ処理）を行う。なお、クランプ処理後の撮像データに対して、更にデモザイク処理などのカラー補間処理を施すようにしてもよい。
【００３３】
距離情報取得部２３は、クランプ処理部２２から供給される撮像データＤ１に基づいて、所定の距離情報を取得する。距離情報取得部２３は、位相差算出部２３１と、視差情報生成部２３２とを有する。
【００３４】
位相差算出部２３１は、撮像データＤ１に基づいて、第１の位相差分布ＤＭ１および第２の位相差分布ＤＭ２をそれぞれ生成（算出）する。すなわち位相差算出部２３１は、相互に視点が異なる第１の視差画像および第２の視差画像間のピクセル単位での第１の位相差分布ＤＭ１を生成し、第１の位相差分布に基づいて第１の視差画像および第２の視差画像間のサブピクセル単位での第２の位相差分布ＤＭ２を生成する。
【００３５】
視差情報生成部２３２は、第１，第２の位相差分布ＤＭ１，ＤＭ２に基づいて、距離情報を含む視差情報ｄを算出する。
【００３６】
記憶部２４は、例えばＲＯＭ（Read Only Memory）又はＲＡＭ（Random Access Memory）で構成され、制御部２０を構成する上述した各部の演算に必要なプログラム、算出データ、設定パラメータ等を記憶する。記憶部２４は、制御部２０の外部に備えられてもよい。この場合、記憶部２４は、制御部２０によって制御される。また、記憶部２４は、ハードディスクドライブ等の外付けの記憶装置で構成されてもよい。
【００３７】
制御部２０は、予め用意された第１の位相差分布および第２の位相差分布に基づいて視差情報を生成してもよく、この場合、上記第１の位相差分布および第２の位相差分布は記憶部２４に記憶される。
【００３８】
［撮像装置の動作］
続いて、本実施形態の撮像装置１の動作とともに、制御部２０の詳細について説明する。
【００３９】
本実施形態における画像処理方法は、第１の視差画像と第２の視差画像とを取得する工程と、
上記第１の視差画像と上記第２の視差画像とを対象として、ピクセル単位で生成された第１の位相差分布と、前記第１の位相差分布に基づいてサブピクセル単位で生成された第２の位相差分布とに基づいて、視差情報を生成する工程とを有する。
【００４０】
図３は、制御部２０（位相差算出部２３１）の処理手順を示すフローチャートである。制御部２０は、視差画像入力工程（ステップ１）と、エッジ認識工程（ステップ２）と、同一エッジ推定工程（ステップ３）と、エッジ角度推定工程（ステップ４）と、マッチング処理工程（ステップ５）と、ディスパリティ補正工程（ステップ６）とを有する。
【００４１】
カメラ１１は、第１の視差画像として左画像ＰＬを取得し、カメラ１２は、第２の視差画像として右画像ＰＲを取得する。左画像ＰＬおよび右画像ＰＲは、同一の被写体２を同時に撮像することで得られる。
【００４２】
制御部２０は、撮像部１０から左画像ＰＬおよび右画像ＰＲの両視差画像の撮像データＤ０の入力を受け付ける（ステップ１）。そして制御部２０では、欠陥補正部２１が撮像データＤ０に対して欠陥補正を行ったのち、クランプ処理部２２が欠陥補正後の撮像データに対してクランプ処理を行う。これにより、クランプ処理後の撮像データＤ１が、距離情報取得部２３へ入力され、ここで第１，第２の位相差分布ＤＭ１，ＤＭ２がそれぞれ生成される。
【００４３】
（第１の位相差分布の生成）
位相差算出部２３１は、これら２つの視差画像についてエッジ処理、色認識、１ピクセル（Pixel）単位の測距等によってエッジ処理を行う（ステップ２）。
【００４４】
図４（Ａ）は、撮像部１０で取得される左画像ＰＬの一部の領域を示し、図４（Ｂ）は撮像部１０で取得される右画像ＰＲの一部の領域を示している。いずれの画像も同一の被写体（本例では家屋）２を撮像したものであり、各々の画像に現れた明暗の境界をエッジ部ＥＬ，ＥＲと認識する。
【００４５】
位相差算出部２３１は、左画像ＰＬおよび右画像ＰＲ間の位相差を算出することで、１ピクセル（画素）単位での第１の位相差分布を生成する。カメラ１１とカメラ１２とは水平方向の視点が異なるため、左画像ＰＬのエッジ部ＥＬと右画像ＰＲのエッジ部ＥＲとは水平方向で画素の位置が相互に異なり、その差分が位相差すなわちディスパリティに相当する。
【００４６】
左画像ＰＬと右画像ＰＲとの位相差を検出する際には、例えば以下のようなステレオマッチングの手法が用いられる。これは、２つの視差画像同士を局所領域で逐次比較していく（画像同士の類似度を示す相関値（画素相関値）を求める）ことにより、物体の移動量（視差画像間の位相差）を求めるという手法である。
【００４７】
具体的には、図５に示すように水平方向（Ｈ方向）に沿った２つの視差画像ＤＣ，ＤＨ間の位相差を求める場合、以下のようにして位相差分布ＤＭを生成する。すなわち、まず、一方の視差画像ＤＣ内の単位領域（図５中の部分画像Ｃ１：中心座標（ｘ１，ｙ１））を取り出し、位置を固定させる。次いで、他方の視差画像ＤＨ内における比較対象の単位領域（図５中の部分画像Ｈ１：中心座標（ｘ１，ｙ１）を取り出し、この部分画像Ｈ１の位置を比較範囲Ｈ１０内で水平方向に逐次移動させつつ、相関値を逐次算出する。そして、この比較範囲Ｈ１０内で最も相関が強いときの部分画素Ｃ１，Ｈ１同士の位置ずれ（Pixelずれ）が、位相差（Disparity）として求められる。また、このような演算処理を、部分画像Ｃ１の位置を変化させつつ視差画像ＤＣ，ＤＨの全面について繰り返し行うことにより、第１の位相差分布ＤＭ１が得られる。
【００４８】
第１の位相差分布ＤＭ１の生成に際しては、垂直方向（Ｖ方向）の位相差をも求めるようにしてもよい。この場合も上述と同様に、一方の視差画像の単位領域を固定し、他方の視差画像における比較対象の単位領域を比較範囲内で垂直方向に逐次移動させつつ、相関値を算出すればよい。
【００４９】
相関値の算出式としては種々のものを用いることができるが、代表的なものとして、ＳＡＤ（Sum of Absolute Difference）、ＳＳＤ（Sum of Squared Difference）、またはＮＣＣ（Normalized Cross-Correlation）などを相関値として用いることができる。ＳＡＤおよびＳＳＤはそれぞれ、値が小さいほど（０に近いほど）相関が強いことを示し、値が大きいほど（∞に近いほど）相関が弱いことを示す。一方、ＮＣＣは、値が１に近いほど相関が強いことを示し、値が０に近いほど相関が弱いことを示す。
【００５０】
以上のようにして、左画像ＰＬと右画像ＰＲとの間の１ピクセル単位での第１の位相差分布ＤＭ１が生成される。本実施形態では第１の位相差分布ＤＭ１の生成に際して左画像ＰＬおよび右画像ＰＲにエッジ処理を施しているため、位相差の算出を容易に行うことができる。
【００５１】
（第２の位相差分布の生成）
続いて、位相差算出部２３１は、第２の位相差分布ＤＭ２を生成する。本実施形態では、第１の位相差分布ＤＭ１からエッジ情報を検出し、第１の位相差分布ＤＭ１を当該エッジ情報で補正することで、第２の位相差分布ＤＭ２を生成する（ステップ３〜６）。
【００５２】
位相差算出部２３１は、第１の位相差分布ＤＭ１からエッジ部ＥＬとエッジ部ＥＲとが同一対象であることを推定し、サブピクセル検出を行うエリアを決定する（ステップ３）。ここでは、図４（Ａ），（Ｂ）に示したようにエッジ部ＥＬ，ＥＲを含む５×５の画素領域を検出エリアとして決定する。
【００５３】
本実施形態において位相差算出部２３１は、第１の視差画像（左画像ＰＬ）について算出されたエッジ部ＥＬの局所的な輝度分布と、第２の視差画像（右画像ＰＲ）について算出されたエッジ部ＥＲの局所的な輝度分布とをマッチング処理することで、第２の位相差分布を生成する（ステップ４，５）。
【００５４】
以下、その詳細について説明する。
【００５５】
位相差算出部２３１は、左画像ＰＬおよび右画像ＰＲの同一検出エリア内における各画素の輝度を測定する。図６は、左画像ＰＬの検出エリアにおける輝度分布を示している。水平座標をＸ軸、垂直座標をＹ軸とし、これらに直交するＺ軸に沿って輝度の大きさを表している。
【００５６】
図６に示した５つの曲線Ｌ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５は、検出エリアの各画素の輝度値を行（Ｙ１，Ｙ２，Ｙ３，Ｙ４，Ｙ５）単位で結んで得られる近似曲線であり、各々の曲線Ｌ１〜Ｌ５はエッジ部ＥＬで輝度の勾配を有している。エッジ部ＥＬは各行の画素間を跨いでいるため、１ピクセル単位ではエッジ部ＥＬの位相差を高精度に検出することができない。そこで本実施形態では、以下のような処理によってサブピクセルレベルの位相差を検出するようにしている。
【００５７】
まず、位相差算出部２３１は、上記検出エリアの輝度分布からエッジ部ＥＬのエッジ角度を推定する（ステップ４）。
【００５８】
本実施形態では図７及び図８に示すように、輝度軸に直交する（ＸＹ平面に平行な）サンプリング軸Ｓを設定する。そして、サンプリング軸ＳとＹ軸に平行な基準軸（Ｙ）とのなす角θを変化させ、当該サンプリング軸Ｓの軸方向に沿って仮想的にサンプリングした各曲線Ｌ１〜Ｌ５の輝度値が一致する（あるいは最も近似する）角度θansをエッジ角度として推定する。ここではサンプル軸Ｓとして、（Ｘ３，Ｙ３）座標に位置する画素を通る軸に設定したが、勿論これに限られない。
【００５９】
図９（Ａ）〜（Ｃ）は、θ＝０、θ１およびθ２（θ２＞θ１）のときの各曲線Ｌ１〜Ｌ５のサンプリング結果を示す。各図中、縦軸は輝度を表し、横軸は、水平座標に垂直座標を合成した合成軸（Ｘ−Ｙtanθ）に相当する。評価の結果、θ＝θ２のときに各曲線Ｌ１〜Ｌ５の輝度値が一致し、当該θ２がエッジ角度（θans）と推定される（図９（Ｂ））。このようにエッジ角度（θans）と推定された合成図を以下、「評価用輝度分布」ともいう。
【００６０】
上述のようなエッジ角度（θans）の推定は、左画像ＰＬおよび右画像ＰＲの各々について行われる。左画像ＰＬおよび右画像ＰＲ各々について取得された評価用輝度分布の各点の輝度は、任意の演算式で規格化される。これによりカメラ１１，１２間の個体差による影響を排除することができる。
【００６１】
規格化の演算式は特に限定されず、本実施形態では以下の演算式が用いられる。
左画像の輝度（Left Value）＝Left輝度×（Left最大値／Left最小値）
右画像の輝度（Right Value）＝Right輝度×（Right最大値／Right最小値）
【００６２】
ここで、「Left 最大値」および「Left最小値」は、図１０（Ａ）に示すように評価用輝度分布における輝度の最大値および最小値にそれぞれ相当する。同様に、「Right 最大値」および「Right最小値」は、図１０（Ｂ）に示すように評価用輝度分布における輝度の最大値および最小値にそれぞれ相当する。
【００６３】
次に、位相差算出部２３１は、左画像ＰＬの評価用輝度分布と右画像ＰＲの評価輝度分布とを用いて、両画像のマッチング処理を実行する（ステップ５）。
【００６４】
図１１は、マッチング処理の一例を示す説明図である。本例では、左画像（Left Image）の任意の（Ｘ−Ｙtanθ）座標の画素（座標）ｄに着目し、これと同じ輝度をもつ（Ｘ−Ｙtanθ）座標を右画像（Right Image）から探索する。図示の例では、左画像の画素ｄと同じ輝度をもつ右画像の（Ｘ−Ｙtanθ）座標はｄではなく、ｄより「d sub」だけ離れた座標となる。上記「d sub」は、サブピクセル単位の位相差に相当する。このようなマッチングを画像全面にわたって実行することにより、当該座標系における位相差分布を取得する。
【００６５】
第２の位相差分布の生成に際しては、カメラ画像に含まれるノイズの影響を抑えるため、各画像の評価用輝度分布（高サンプリングされたエッジ）に対し、線形補間等のフィッティング処理を施してもよい。
【００６６】
続いて、位相差算出部２３１は、画像全面にわたって取得した「d sub」の座標値を元のＸ−Ｙ座標系の座標値に再変換して、上記位相差分布を補正する（ステップＳ６）。以上のようにしてサブピクセル単位の第２の位相差分布ＤＭ２が生成される。
【００６７】
（視差情報の生成）
位相差算出部２３１で生成された第１，第２の位相差分布ＤＭ１，ＤＭ２は、視差情報生成部２３２へ入力される。位相差算出部２３１は、第１，第２の位相差分布ＤＭ１，ＤＭ２を合成した位相差分布を視差情報生成部２３２へ入力してもよい。視差情報生成部２３２は、第１の位相差分布ＤＭ１と第２の位相差分布Ｄ２とに基づいて視差情報ｄを生成する。
【００６８】
視差情報ｄには、距離情報が含まれる。距離情報とは、カメラ１１，１２（撮影レンズ）から、撮像データＤ０に対応する撮像画像内における任意の基準位置までの距離の情報を意味している。当該距離の情報には、カメラ１１，１２から上記基準位置までの距離の情報、あるいは、上記撮像レンズの物体側の焦点距離を含む。
【００６９】
制御部２０は、視差情報ｄを含む画像データＤoutを情報処理装置へ出力可能に構成される。上記情報処理装置は、画像データＤoutに基づいて被写体２の距離等に関するデータを取得し、これにより、例えば被写体２の任意の位置に焦点が合った画像（リフォーカス画像）を高精度に生成することができる。また、被写体は静止物に限らず、撮像装置１に対して移動する動体であってもよい。この場合、動体の位置や距離、移動速度、移動方向に関する情報の検出が可能となるため、撮像装置１は、動体の動きに応じた所定の処理を上記情報処理装置に実行させる入力装置として構成することができる。
【００７０】
以上のように本実施形態においては、ピクセル単位で生成された第１の位相差分布Ｄ１と、第１の位相差分布Ｄ１を用いてサブピクセル単位で生成された第２の位相差分布Ｄ２とに基づいて、視差情報ｄを生成するようにしている。このため、カメラノイズ等の外乱に対してよりロバストであり、かつ、より高精度な視差情報ｄを取得することができる。
【００７１】
例えばピクセル単位のディスパリティのみで距離情報を取得する方法では、図１２に示すように、ピクセル単位で取得した相関値分布から最も相関が高いディスパリティ（ｄsub）を推定していたが、相関値分布がカメラノイズの影響を受けて変動が大きかった。
【００７２】
これに対して本実施形態では、検出エリア内の複数の画素を用いてサブピクセル単位の位相差を算出しているため、ノイズの影響を受けにくく、これにより距離情報を高精度に取得することが可能である。
【００７３】
さらに本実施形態においては、検出エリアとしてエッジ部近傍の複数の画素を用いているため、画素間の輝度差を確保でき、サブピクセル単位の位相差の推定が容易となる。
【００７４】
＜第２の実施形態＞
次に、本技術の第２の実施形態について説明する。本実施形態では、制御部２０（位相差算出部２３１）における第２の位相差分布（ＤＭ２）の生成方法が上述の第１の実施形態と異なる。以下、第１の実施形態と異なる構成について主に説明し、上述の実施形態と同様の構成については同様の符号を付しその説明を省略または簡略化する。
【００７５】
まず始めに、ステレオマッチングなどの既存技術を用いて１ピクセル単位の位相差を検出する。
【００７６】
次に、サブピクセル単位の視差（位相差）検出を行いたい対象画素全てにおいて以下の処理を行う。
【００７７】
すなわち位相差算出部２３１は、第１の視差画像を構成する第１のピクセル群における輝度分布と、第２の視差画像を構成し第１のピクセル群に対応する第２のピクセル群における輝度分布との間の相関値を算出することで、第２の位相差分布を生成する。
【００７８】
図１３は、局所領域の画素輝度値を立体構造で表現した図であり、（Ａ）は左画像のピクセル群の輝度分布、（Ｂ）は右画像のピクセル群の輝度分布をそれぞれ示している。ここでは、図６を参照して説明した視差画像のエッジ情報に基づいた画素輝度値を用いることができる。図１３に示すように、１ピクセルレベルでマッチングが取れている画素R32とL32において、その周辺の画素をマッチング評価対象データとして用いる。
【００７９】
図１４は、左画像のピクセル群の画素輝度値と右画像のピクセル群の画素輝度値とをピクセル単位で相互に重ね合わせたときのデータを示している。
【００８０】
図１４に示すように、画素R32とL32のサブピクセルレベルの視差をΔｘ、Δｙとすると、画素R32を中心とする（２ｎ＋１）行（２ｎ＋１）列（ｎは０以上の整数）の右視点マッチング評価データ（R21, R22, R23, R31, R32, R33, R41, R42, R43）と、R32を取り囲む（２ｎ）行（２ｎ）列、または、２（ｎ＋１）行２（ｎ＋１）列 の左視点マッチング評価データ（L11 ,L12, L13, L14, L21, L22, L23, L24, L31, L32, L33, L34, L41, L42, L43, L44）を用いる。
【００８１】
ｎの値を大きく設定した場合、視差検出の精度を上げられる反面、２つの視差画像の差異が大きい部分（オクル―ジョンなど）でエラーが発生し易くなる。このため演算コストも考慮しながら適切な値を設定する。
【００８２】
任意のΔｘ、Δｙにおいて、サブピクセルレベルでのマッチング度合を評価するための評価関数をｆ（Δｘ、Δｙ）と定義すると、ｆ（Δｘ、Δｙ）が最も高評価となるΔｘ、Δｙを求めればよいことになる。この時、Δｘ、Δｙの探査範囲は１ピクセル視差検出の精度が十分に高い場合、±0.5ピクセルの範囲で行えばよい。性能が低い場合には、±数ピクセルの範囲で探査を行う。
【００８３】
位相差算出部２３１は、上記第１のピクセル群と上記第２のピクセル群とをピクセル単位で相互に重ね合わせときに相互に隣接する複数のピクセル間の輝度差に関連する評価関数を用いて上記相関値を算出する。本実施形態では、複数のピクセルの輝度値を繋ぎ合わせたときに得られる折れ線の長さを評価関数として用いる。
【００８４】
図１５に示すように、任意のΔｘ、Δｙにおけるマッチング評価データ（R21, R22, R23, R31, R32, R33, R41, R42, R43, L11, L12, L13, L14, L21, L22, L23, L24, L31, L32, L33, L34, L41, L42, L43, L44）を観測角θから見た射影像に変換し、隣り合う輝度値を直線で結び、図１６に示すような、折れ線形状を生成する。観測角θは、Ｘ軸（水平軸）に平行な基準軸とＸＹ平面に平行な観測軸とのなす角度をいうが、基準軸は任意に設定可能であり、図示の例に限られない。
【００８５】
２つの視差画像がサブピクセルレベルで一致し、更に観測角θが適切な角度でるとき、この折れ線形状が凹凸無く滑らかに繋がることが期待できる。従って、この折れ線形状が滑らかに繋がったことを評価すればよい。凹凸が無く滑らかになると折れ線の長さは最小になるため、折れ線形状の長さを評価関数として用いればよいことになる。図１７および図１８はサブピクセルレベルでマッチングが取れ、長さ最小となった場合の例である。
【００８６】
図１５〜図１８の例では、R32を中心に全てのマッチング評価データ（R21, R22, R23, R31, R32, R33, R41, R42, R43, L11, L12, L13, L14, L21, L22, L23, L24, L31, L32, L33, L34, L41, L42, L43, L44）を（−θ）度回転させ、ｘｚ平面に描いたものが観測角θから見た射影像になる。ある評価データの初期座標を(ｘ＋Δｘ，ｙ＋Δｙ)とすると、回転後の座標(ｘr，ｙr)は以下の式で求まる。実際には、ｘrのみ活用するため、ｙrは計算しなくてもよい。
【００８７】
ｘr = (ｘ＋Δｘ) cos（−θ）−(ｙ+Δｙ) sin（−θ）
ｙr = (ｘ＋Δｘ) sin（−θ）＋(ｙ+Δｙ) cos（−θ）
【００８８】
次に、射影した輝度値を繋いで、折れ線の長さを求める方法を示す。例えば L11, R21の回転後のｘ座標をそれそれ ｘL11、ｘR21、輝度値をそれぞれB1、B2とし、L11とR21を結んだ線分の長さをD1とすると、D1は以下の式で表すことができる。
【００８９】
D1 = √( (ｘL11−ｘR21)2 + (a(B1 - B2))2 )
【００９０】
この式には係数aが使われている。この係数aは輝度を空間の距離情報に変換するためのパラメータであり、評価関数の性能を左右する。このため、評価関数の性能が高くなるよう十分に考慮して値を決定する必要がある。このようにして全ての線分（D1, D2, D3,・・・・・・D3, D24）の長さを求め、R32を中心とした幅（２ｎ＋１）の範囲のみ折れ線の長さを求めたものが評価関数ｆ（Δｘ、Δｙ）となる。
【００９１】
折れ線長最小法による評価では、撮影画像の局所領域がある方向を向いたエッジの集合体であることを前提とした評価法である。従ってエッジの無いエリアでは評価困難となるが、エッジの無いエリアは、そもそもサブピクセルを求めるための情報が乏しいため、評価対象としないように排除してもよい。
【００９２】
以上のようにしてサブピクセル単位の第２の位相差分布が生成される。第１の実施形態では、左画像と右画像とでエッジ角度を別個に推定した後、両画像のマッチング処理を行って第２の位相差分布を生成したが、本実施形態では、右画像と左画像とを相互に重ね合わせた状態でエッジ情報に基づく第２の位相差分布を生成する。本実施形態においても第１の実施形態と同様の作用効果を得ることができる。
【００９３】
＜第３の実施形態＞
次に、本技術の第３の実施形態について説明する。本実施形態では、制御部２０（位相差算出部２３１）における第２の位相差分布（ＤＭ２）の生成方法が上述の第１，第２の実施形態と異なる。以下、第１，第２の実施形態と異なる構成について主に説明し、上述の実施形態と同様の構成については同様の符号を付しその説明を省略または簡略化する。
【００９４】
位相差算出部２３１は、第２の実施形態と同様に、第１の視差画像を構成する第１のピクセル群における輝度分布と、第２の視差画像を構成し第１のピクセル群に対応する第２のピクセル群における輝度分布との間の相関値を算出することで、第２の位相差分布を生成する。位相差算出部２３１は、上記第１のピクセル群と上記第２のピクセル群とをピクセル単位で相互に重ね合わせときに相互に隣接する複数のピクセル間の輝度差に関連する評価関数を用いて上記相関値を算出する。本実施形態では、複数のピクセルの輝度値を繋ぎ合わせたときに得られる所定の立体面の表面積を評価関数として用いる点で、第２の実施形態と異なる。
【００９５】
図１９に示すように、任意のΔｘ、Δｙにおけるマッチング評価データ（R21, R22, R23, R31, R32, R33, R41, R42, R43, L11, L12, L13, L14, L21, L22, L23, L24, L31, L32, L33, L34, L41, L42, L43, L44）を３次元空間上で繋ぎ合わせ、図２０に示すような、立体面形状を生成する。
【００９６】
２つの視差画像がサブピクセルレベルで一致するとき、この立体面形状が凹凸無く滑らかに繋がることが期待できる。従って、この立体面形状が滑らかに繋がったことを評価すればよい。凹凸が無く滑らかになると表面積は最小になるため、立体面形状の表面積を評価関数として用いればよいことになる。図２１および図２２は、サブピクセルレベルでマッチングが取れ、面積最小となった場合の例である。
【００９７】
ここで、マッチング評価データを３次元空間上で繋ぎ合わせて表面積を求める方法の例を示す。図１９〜図２２の例では、マッチング評価データL11, R21, L21から成る三角形の面積をS11、マッチング評価データL11, R21, L12から成る三角形の面積をS12というように、予め決めておいたルールに従って三角形を構成し、S11からS94まで合計３６個の三角形の面積を決定し、総和を求めればよい。
【００９８】
次に、三角形の面積の決定方法を示す。例えば L11, R21, L21の輝度値をそれぞれB1, B2, B3とし、L11とR21を結ぶ線分の長さをD1、R21とL21を結ぶ線分の長さをD2、L21とL11を結ぶ線分の長さをD3とすると、D1, D2, D3は以下の式で表すことができる。
【００９９】
D1 = √(Δｘ2  + (１−Δｙ)2  + (ａ(B1−B2))2 )
D2 = √(Δｘ2  +   Δｙ2    + (ａ(B2−B3))2 )
D3 = √( １       +          (ａ(B3−B1))2 )
【０１００】
これらの式には係数aが使われている。この係数aは輝度を空間の距離情報に変換するためのパラメータであり、評価関数の性能を左右する。このため、評価関数の性能が高くなるよう十分に考慮して値を決定する必要がある。このようにして求めた線分の長さD1, D2, D3より三角形の面積S11をヘロンの公式を用いて求める。
【０１０１】
S11 = √(s(s−D1)(ｓ−D2)(ｓ−D3) )  ただし、ｓ= (D1 + D2 + D3) / 2
【０１０２】
その他の三角形面積(S12〜S94)も同様の方法で求める。
以上より、評価関数ｆ（Δｘ、Δｙ）は、
ｆ（Δｘ、Δｙ）= S11 + S12 + S13+ S14 + S21 + …… + S84 + S91 + S92 + S93 + S94
となる。
【０１０３】
以上のようにしてサブピクセル単位の第２の位相差分布が生成される。本実施形態においても第１，第２の実施形態と同様の作用効果を得ることができる。特に本実施形態においては、評価関数として所定の三角形の面積を利用しているため、所定の折れ線の長さを評価関数に利用する第２の実施形態よりも高精度に相関値を求めることができる。
【０１０４】
（変形例）
続いて、第３の実施形態の変形例について説明する。
【０１０５】
上述の第３の実施形態において制御部２０は、撮像部１０により取得された撮像データＤ０を現像し、現像された複数の視差画像に基づいてサブピクセル単位の第２の位相差分布を生成した。これに代えて、撮像データＤ０の現像前の画像すなわちＲＡＷ画像のままマッチング処理を行い、第２の位相差分布を生成してもよい。
【０１０６】
ＲＡＷデータのままマッチング評価を行う場合は、各色成分を分離し、それぞれの色について複数のピクセルの輝度値を繋ぎ合わせたときに得られる立体の表面積を求め、各色の表面積の合算値を評価関数として用いればよい。
【０１０７】
図２３〜図２６は、ＲＡＷ画像のマッチング評価の一例を示す図である。本例では、１つの画素に４つの色画素（ＲＧＧＢ）が配置された例を説明する。
【０１０８】
図２３に、左画像のピクセル群の各色の画素輝度値と、右画像のピクセル群の各色の画素輝度値とを、ピクセル単位で相互に重ね合わせたときのデータを示す。これをそれぞれの色について上述と同様な手法で各画像間における輝度分布の相関値を算出する。図２４にＲ画素で構成される立体面の例を、図２５にＧ画素で構成される立体面の例を、そして図２６にＢ画素で構成される立体面の例をそれぞれ示す。
【０１０９】
次に、Ｒ画素で構成される立体面の表面積の評価関数ｆR（Δｘ、Δｙ）と、Ｇ画素で構成される立体面の表面積の評価関数ｆG（Δｘ、Δｙ）と、Ｂ画素で構成される立体面の表面積の評価関数ｆB（Δｘ、Δｙ）との合算値が最小となるΔｘ、Δｙを算出する。以上のようにして算出されたΔｘ、Δｙが、サブピクセルの第２の位相差分布として生成される。
【０１１０】
以上、本技術の実施形態について説明したが、本技術は上述の実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【０１１１】
例えば以上の実施形態では、２台のカメラ１１，１２を有する撮像部１０を例に挙げて説明したが、撮像部として、単一のカメラの受光面にマイクロレンズアレイを配置した構造の撮像装置を用いてもよい。また、マイクロレンズアレイ１２に代えて、液晶レンズアレイ、液体レンズアレイ、回折レンズアレイ等の光線を振り分けることが可能な光学素子が用いられてもよい。
【０１１２】
また以上の実施形態では、画像処理部を撮像装置に組み込んだ例を説明したが、これに限られず、画像処理部をＰＣ（Personal Computer）端末等の情報処理装置で構成してもよい。この場合、多視点カメラで取得した複数の視点画像データを有線又は無線で受信することにより、上述したような手法で測定対象の距離情報が算出される。
【０１１３】
さらに以上の第３の実施形態においては、評価関数に所定の三角形の面積を用いたが、これに代えて、当該三角形の体積や、隣接する複数の三角形の総面積等を上記評価関数として用いてもよい。
【０１１４】
なお、本技術は以下のような構成も採ることができる。
（１）第１の視差画像と第２の視差画像とを対象として、ピクセル単位で生成された第１の位相差分布と、前記第１の位相差分布に基づいてサブピクセル単位で生成された第２の位相差分布とに基づいて、視差情報を生成する視差情報生成部
を具備する画像処理装置。
（２）上記（１）に記載の画像処理装置であって、
前記第１の位相差分布に基づいて、前記第２の位相差分布を生成する位相差算出部をさらに具備する
画像処理装置。
（３）上記（２）に記載の画像処理装置であって、
前記位相差算出部は、前記第１の位相差分布を、前記第１の位相差分布から検出されたエッジ情報で補正することで、前記第２の位相差分布を生成する
画像処理装置。
（４）上記（３）に記載の画像処理装置であって、
前記位相差算出部は、前記第１の視差画像について算出されたエッジ部の局所的な輝度分布と、前記第２の視差画像について算出されたエッジ部の局所的な輝度分布とをマッチング処理することで、前記第２の位相差分布を生成する
画像処理装置。
（５）上記（２）に記載の画像処理装置であって、
前記位相差算出部は、第１の視差画像を構成する第１のピクセル群における輝度分布と、前記第２の視差画像を構成し前記第１のピクセル群に対応する第２のピクセル群における輝度分布との間の相関値を算出することで、前記第２の位相差分布を生成する
画像処理装置。
（６）上記（５）に記載の画像処理装置であって、
前記位相差算出部は、前記第１のピクセル群と前記第２のピクセル群とをピクセル単位で相互に重ね合わせときに相互に隣接する複数のピクセル間の輝度差に関連する評価関数を用いて前記相関値を算出する
画像処理装置。
（７）上記（６）に記載の画像処理装置であって、
前記位相差算出部は、前記複数のピクセルの輝度値を繋ぎ合わせたときに得られる折れ線の長さを前記評価関数として用いる
画像処理装置。
（８）上記（６）に記載の画像処理装置であって、
前記位相差算出部は、前記複数のピクセルの輝度値を繋ぎ合わせたときに得られる所定の立体面の表面積を前記評価関数として用いる
画像処理装置。
（９）上記（１）〜（８）のいずれか１つに記載の画像処理装置であって、
前記視差情報生成部は、前記視差情報として測定対象の距離情報を生成する
画像処理装置。
（１０）上記（９）に記載の画像処理装置であって、
前記視差情報生成部により生成された距離情報を用いて、リフォーカス画像を生成する制御部をさらに具備する
画像処理装置。
（１１）上記（１）〜（１０）のいずれか１つに記載の画像処理装置であって、
相互に視点が異なる複数の視差画像を取得する撮像部をさらに具備する
画像処理装置。
（１２）第１の視差画像と第２の視差画像とを取得し、
前記第１の視差画像と前記第２の視差画像とを対象として、ピクセル単位で生成された第１の位相差分布と、前記第１の位相差分布に基づいてサブピクセル単位で生成された第２の位相差分布とに基づいて、視差情報を生成する
画像処理方法。
【符号の説明】
【０１１５】
１…撮像装置
２…被写体（撮像対象物）
１０…撮像部
１１，１２…カメラ
２０…制御部
２３１…位相差算出部
２３２…視差情報生成部
ＥＬ，ＥＲ…エッジ部
ＰＬ…左画像
ＰＲ…右画像
【図１】
2014064875.tif 000003
【図２】
2014064875.tif 000004
【図３】
2014064875.tif 000005
【図４】
2014064875.tif 000006
【図５】
2014064875.tif 000007
【図６】
2014064875.tif 000008
【図７】
2014064875.tif 000009
【図８】
2014064875.tif 000010
【図９】
2014064875.tif 000011
【図１０】
2014064875.tif 000012
【図１１】
2014064875.tif 000013
【図１２】
2014064875.tif 000014
【図１３】
2014064875.tif 000015
【図１４】
2014064875.tif 000016
【図１５】
2014064875.tif 000017
【図１６】
2014064875.tif 000018
【図１７】
2014064875.tif 000019
【図１８】
2014064875.tif 000020
【図１９】
2014064875.tif 000021
【図２０】
2014064875.tif 000022
【図２１】
2014064875.tif 000023
【図２２】
2014064875.tif 000024
【図２３】
2014064875.tif 000025
【図２４】
2014064875.tif 000026
【図２５】
2014064875.tif 000027
【図２６】
2014064875.tif 000028
【国際調査報告】
2014064875.tif 000029
2014064875.tif 000030
2014064875.tif 000031