(57)【要約】【課題】ステレオ視による距離検知の際に、必要以上に高い空間分解能で距離を求めることによって生じる、解析処理オーバーヘッドを削減し、更に、それに伴う照合誤りを削減することである。【解決手段】２台のカメラ１１，２１から撮像された画像はＡ／Ｄ変換器１２，２２によりデジタル化される。カメラ１１は右画像、カメラ２１は左画像を撮影する。撮影された画像は３種類の距離エリアに分けられて、各距離エリア毎に照合処理が行われる。画像の下部分１／２を近距離エリア（領域１）とする。領域１よりも上に位置する画像１／４を中距離エリア（領域２）とする。残りの画像の上部分１／４を遠距離エリアとする。【選択図】  図２
2004245701.tif 000002
【特許請求の範囲】
【請求項１】
空間的位置の相異なる複数の視点から撮影された画像を解析することにより、撮像された対象物の距離分布を求める距離分布検知装置において、
前記画像の被解析単位となる部分画像を照合し、前記距離を計算する際の、距離方向又は視差角方向の空間分解能の高さを、前記部分画像が属すると推定される距離レンジに応じて選択する空間分解能選択手段を有し、
前記空間分解能選択手段は、前記画像の下部領域を近距離レンジとし、上部領域を遠距離レンジとして、前記画像の上部になるにしたがって前記空間分解能の高さを高くするように連続的または段階的に設定することを特徴とする距離分布検知装置。
【請求項２】
前記空間分解能選択手段は、近距離レンジに属する前記部分画像の距離解析結果に基づいて、前記近距離レンジよりも遠い距離レンジに属する前記部分画像の照合の際の視差探索領域を設定することを特徴とする請求項１に記載の距離分布検知装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、車両前方監視等に利用されるステレオ視による距離分布検知装置に関する。
【０００２】
【従来の技術】
車両前方監視等に利用されるステレオ視による距離分布検知装置としては、例えば、特許文献１に記載された車輌用車外監視装置が一般に知られている。
【０００３】
特許文献１に記載の車輌用車外監視装置では、距離画像を求める際、領域サイズを固定にした相関法でステレオ照合を行っており、空間分解能は、遠方での物体検出に必要になる値に固定して距離を求めている。このため、領域サイズは４×４画素であり、視差の分解能も画像の１画素精度と高分解能に設定されている。
【０００４】
また、視差を求める際の相関は、処理量の比較的少ない差分絶対値和（ＳＡＤ）を用いて計っている。相関を計るその他の指標には、例えば、差の自乗和等があり、正規化相関等を用いる方法なども一般に広く使用されている。
【０００５】
差分絶対値和（ＳＡＤ）を用いてステレオ照合する際の点（ｘ，ｙ｜０≦ｘ＜Ｖ，０≦ｙ＜Ｈ）における相関指数Ｓの計算式を次式（１）に示す。
【数１】
2004245701.tif 000003
【０００６】
ここで、
Ｓ  ：  相関指数（この値を最小にするｄの値（０≦ｄ≦Ｄｍａｘ）を点（ｘ，ｙ）における視差として求める。）
Ｉｒ：  右カメラで撮影された画像の各比較点における比較量（明度等）
Ｉｌ：  左カメラで撮影された同時刻画像の各比較点における比較量
Ｍ  ：  相関領域サイズ（縦方向）
Ｎ  ：  相関領域サイズ（横方向）
Ｈ  ：  被解析画像サイズ（縦方向）
Ｖ  ：  被解析画像サイズ（横方向）
Ｄｍａｘ：  視差探索幅
【０００７】
式（１）から判るように、画像解析の演算量は、ステレオ照合する際の相関の種類等に依存し、特に、相関領域（部分画像）の大きさ（Ｍ×Ｎ）、画像のサイズ（Ｖ×Ｈ）、及び、視差ｄの探索範囲の大きさＤｍａｘ等に比例している。
【０００８】
また、上記の従来技術による方法では、遠方の物体検出に必要な固定値の空間分解能で全距離レンジに渡り距離を求めるため、相関領域サイズは４×４画素と小さく、視差の分解能も画像の１画素精度になっている。
【０００９】
特許文献２に記載の距離分布検知装置は、求まる距離に応じて視差の分解能を変化させて、計算コストの削減と照合誤りの低減を図っている。
【００１０】
【特許文献１】
特開平５−２６５５４７号公報
【特許文献２】
特開２００１−１２６０６５号公報
【００１１】
【発明が解決しようとする課題】
しかしながら、物体の見かけ上の大きさは距離に反比例しているため、特許文献１のように視差の分解能を一定にすると、距離の分解能は近距離ほど細かくなるため、領域サイズを固定した場合、近距離の物体に対しては必要以上に高い分解能で距離を演算する事になる。その結果、距離画像から物体を検出する後処理においては、近距離の物体に対しては膨大な距離値を扱う必要が生じ、処理量が膨大になる。
【００１２】
また、小さな領域サイズで相関演算を行うと、領域内のバターンの特徴が減少するため、照合誤りが発生しやすくなるという問題がある。また、分解能の高い距離値を求めること自体の計算コストが大きいという問題がある。
【００１３】
即ち、従来の方法では、ステレオ照合処理を距離レンジに依らず遠方で必要とされる空間分解能で一括して行うため、即ち、相関の領域サイズを一定、示唆の探索分解能を一定で距離を求めるため、近い距離の物体は得られる距離画像の分解能（距離方向、視差角方向）が必要以上に細かくなってしまう点が、処理性能、及び、出力結果の信頼性の面で問題となっていた。
【００１４】
本発明は、上記の課題を解決するために成されたものであり、その目的は、上記のように、必要以上に高い空間分解能で距離を求めることによって生じる、解析処理オーバーヘッド（メモリ・オーバーヘッド、ＣＰＵ・オーバーヘッド等）を削減し、更に、それに伴う照合誤りを削減することである。
【００１５】
【課題を解決するための手段】
上記課題を解決するため本発明の第１の手段は、空間的位置の相異なる複数の視点から撮影された画像を解析することにより、撮像された対象物の距離分布を求める距離分布検知装置において、前記画像の被解析単位となる部分画像を照合し、前記距離を計算する際の、距離方向又は視差角方向の空間分解能の高さを、前記部分画像が属すると推定される距離レンジに応じて選択する空間分解能選択手段を有し、前記空間分解能選択手段は、前記画像の下部領域を近距離レンジとし、上部領域を遠距離レンジとして、前記画像の上部になるにしたがって空間分解能の高さを高くするように連続的または段階的に設定することを特徴とする。
【００１６】
また、第２の手段は、上記の空間分解能選択手段は、近距離レンジに属する部分画像の距離解析結果に基づいて、近距離レンジよりも遠い距離レンジに属する部分画像の照合の際の視差探索領域を設定することを特徴とする。
【００１７】
【発明の作用及び効果】
従来方法では、ステレオ照合処理を距離エリアに依らず遠方で必要な分解能で一括して行う、すなわち相関の領域サイズを一定、相関の計算間隔を一定、視差の探索分解能を一定で距離を求めるため、近い距離の物体は得られる距離画像の分解能が必要以上に細かくなるという問題があった。
【００１８】
本発明の上記手段によれば、求める距離に応じて必要十分な分解能で照合ができ、各距離に応じて必要十分な距離値を得ることが出来る。また、画像の上下位置に基づいて、距離エリアを設定し、各距離で必要十分な分解能で照合が行えるため、照合誤りを削減することが出来る。また、不必要に高い分解能で距離を計算する場合に比べて処理量を小さくでき、処理を高速化できる。
【００１９】
さらに、上記第２の手段によれば、近い距離エリアの照合手段で遠方の距離値を求めそれを遠い距離エリア用の照合手段の予測値として探索視差範囲の制御（限定）を行い、また視差の分解能を制御（視差を計算する密度を変化）することにより、処理量をさらに小さくできる。また、視差の探索範囲を限定することにより、照合誤りによる距離値の誤りを削減できる
【００２０】
本発明の全ての構成で、必要な分解能で距離値（距離画像）を得ることができるようになるので、距離画像に基づく物体検出や形状推定などの後処理が容易に行える。また、必要以上に高い分解能の距離値を求める従来手法と比べると処理時間が大幅に短縮化できる。また、距離の予測値による視差探索範囲の制御と照合の密度の制御によりさらなる高速化と照合誤りの削減が可能になる。
【００２１】
【発明の実施の形態】
以下に図面を参照して本発明の実施の形態を説明する。
（第１の実施の形態）
図１に距離計測装置の第１の実施の形態の全体構成を示す。２台のカメラ１１，２１から撮像された画像はＡ／Ｄ変換器１２，２２によりデジタル化される。カメラ１１は右画像、カメラ２１は左画像を撮影する。左右の画像は解像度変換３０へ入力される。
【００２２】
解像度変換器３０は、入力された画像を距離レンジで必要十分な空間分解能とするために３つの解像度の画像に変換する。本実施の形態では、３つの距離エリアとするため、３つの解像度の画像を得る。即ち、遠距離エリア照合用に入力画像そのままの解像度の画像、中距離エリア照合用に１／２の解像度の画像、近距離エリア照合用に１／４の解像度の画像を得る。
【００２３】
本実施の形態において、距離エリアは図２に示すように、撮影された画像を３種類の距離エリアに分ける。画像の下部分１／２を近距離エリア（領域１）とする。領域１よりも上に位置する画像１／４を中距離エリア（領域２）とする。残りの画像の上部分１／４を遠距離エリアとする。
【００２４】
次に、空間フィルタ４０で、左右画像間の明度差の補償や濃度変化の強調による照合の改善等を目的とした空間フィルタ処理を行う。このためには１次、２次微分フィルタや直流分除去フィルタ等が使われる。
【００２５】
空間フィルタ処理された画像に対し、照合器６０では左右画像の照合を行う。左右画像間での対応点（右画像と同じ左画像の点）を探索する。探索方法は比較的演算量の少ない差分絶対値和（ＳＡＤ）を利用する。差分の二乗和や正規化相関を使ってもよい。相関の領域サイズは３×３画素としているが、必要に応じて２×２や５×５画素などのサイズを用いてもよい。距離画像を計算する画素間隔は１画素間隔とした。これについても必要とする距離画像の分解能に合わせて決めればよい。ステレオ照合位置は照合度合いを表すＳＡＤの残差（ｓＣｏｒｒ）の最小値、照合度合いの一意性を示すＳＡＤの最小値での残差の勾配値（ｓＧｒａｄ）、対応の取れやすさを示すパターンの存在を表わす１次微分絶対値（ｓＣｈｄｉｖ）等からその照合度合い（信頼度）を評価し、照合が得られた時、その位置の距離値を算出する。
【００２６】
各距離エリア用の照合処理は、必要十分な距離画像の空間分解能を得るために、各距離エリアごとに視差探索領域を限定して照合を行う。例えば、視差探索範囲の限定は以下のように行う。必要十分な空間分解能（距離精度）を０．３ｍとし、焦点距離Ｆ＝１６ｍｍ、基調線Ｂ＝０．３０ｍｍ、セルサイズα＝９．９μｍ（１／２インチＣＣＤ、６４０×４８０画素の場合）のステレオカメラの場合、視差１２８から１１２までは近距離エリア用の照合手段、視差１１２から５６までは中距離用照合手段、視差５６以下は遠距離エリア用の照合手段が担当して用いる。
【００２７】
照合器５０での処理の流れを図３のフローチャートに示す。始めに照合する画素がどの領域にあるのかを判定する。画素位置が領域１にある場合、近距離エリア用の照合処理を行う（Ｓ１０）。
【００２８】
近距離エリア用の照合処理は、視差探索領域を１２８から１１２までに限定する（Ｓ３１）。照合に用いる、１／４解像度の画像を得る（Ｓ３２）。照合処理（Ｓ３３）によって、距離値を得る（Ｓ３４）。画素位置が領域１にない場合には、領域２にあるかどうか判定する（Ｓ２０）。領域２にある場合には、中距離エリア用の照合処理を行う。
【００２９】
中距離エリア用の照合処理は、視差探索領域を１１２から５６までに限定する（Ｓ４１）。照合に用いる、１／２解像度の画像を得る（Ｓ４２）。照合処理（Ｓ４３）によって、距離値を得る（Ｓ４４）。画素位置が領域２にもない場合、即ち領域３にある場合には、遠距離エリア用の処理を行う。
【００３０】
遠距離エリア用の照合処理は、視差探索領域を５６以下に限定する（Ｓ５１）。照合には、原画像を用いる（Ｓ５２）。照合処理（Ｓ５３）によって、距離値を得る（Ｓ５４）。全ての画素について終了したが場合（Ｓ６０）、各距離エリア用照合手段で算出された距離を合わせ画像全体の距離分布を検出する。
【００３１】
なお、本実施の形態では、照合器６０で、画像内における画素位置を判定し、該当する領域ごとの処理を行っているが、解像度変換に先立ち、原画像を領域ごとに分割しておいてもよい。また、画素の存在位置を領域１から判定しているが、領域３から判定するようにしても構わない。
【００３２】
（第２の実施の形態）
第２の実施の形態は、第１の実施の形態において、画面いっぱいに写るような近距離物体があるときにも対応できるようにするものである。近距離に大きな物体がある場合、領域３にも近距離の物体が写る（図４）。第１の実施の形態の場合、領域３に写った近距離物体は視差が限定されているため、照合が出来なくなる。第２の実施の形態では、まず近距離エリア（領域１）から照合を始め、中距離エリア（領域２）では、近距離エリア（領域１）での照合結果を参照して視差探索範囲を設定する。また同様に、遠距離エリア（領域３）では、中距離エリア（領域２）での照合結果を参照して視差探索領域を設定する。
【００３３】
照合器６０での処理の流れを図５のフローチャートに示す。始めに照合する画素がどの領域にあるのかを判定する（Ｓ１０）。画素位置が領域１にある場合、近距離エリア用の照合処理を行う。
【００３４】
近距離エリア用の照合処理は、視差探索領域を１２８から１１２までに限定して照合を行う（Ｓ３１）。照合に用いる、１／４解像度の画像を得る（Ｓ３２）。照合処理（Ｓ３３）によって、距離値を得る（Ｓ３４）。画素位置が領域１にない場合には、領域２にあるかどうか判定する（Ｓ２０）。領域２にある場合には、中距離エリア用の照合処理を行う。
【００３５】
中距離エリア用の照合処理は、近距離エリア用の照合処理で照合が得られた視差を参考にして、視差探索領域を確定する。例えば、近距離エリア用の照合処理において、照合が得られたかどうかを判定し（Ｓ７０）、最も遠い距離として視差１２０で照合が得られた場合、視差探索領域を１２０から５６までに限定して照合を行う（Ｓ４５）。これは領域２に存在する物体は、領域１に存在する物体よりも遠い位置にあるという仮定からである。なお、領域１２０からとしたが、かならずしも領域１で照合が得られた視差からではなく例えば視差１２２からにするなど幅を持たせることはもちろん構わない。近距離エリア用の照合処理で照合が得られなかった場合には、あらかじめ定めておいた視差探索領域１１２から５６を使用する（Ｓ４１）。照合に用いる１／２解像度の画像を得る（Ｓ４２）。照合処理（Ｓ４３）によって、距離値（Ｓ４４）を得る。画素位置が領域２にもない場合、即ち領域３にある場合には、遠距離エリア用の処理を行う。
【００３６】
遠距離エリア用の照合処理は、中距離エリア用の照合処理で照合が得られた視差を参考にして、視差探索領域を確定する。例えば、近距離エリア用の照合処理において照合が得られたかどうか判定し（Ｓ８０）、最も遠い距離として視差１００で照合が得られた場合、視差探索領域を１００以下に限定して照合を行う（Ｓ５５）。これは領域３に存在する物体は、領域２に存在する物体よりも遠い位置にあるという仮定からである。なお、視差１００以下としたが、かならずしも領域２で照合が得られた視差からではなく例えば視差１０２からにするなど幅を持たせることはもちろん構わない。中距離エリア用の照合処理で照合が得られなかった場合には、あらかじめ定めておいた視差探索領域５６以下に限定して照合を行う（Ｓ５１）。照合には、原画像を用いる（Ｓ５２）。照合処理（Ｓ５３）によって、距離値（Ｓ５４）を得る。全ての画素について終了すると（Ｓ６０）、各距離エリア用照合手段で算出された距離を合わせ画像全体の距離分布が検出される。。
【００３７】
このように本実施の形態によれば、近距離エリアで得られた照合結果を基に視差探索範囲を求めているので、近距離にある大きな物体を対応を取ることが可能になる。
【００３８】
尚、本発明の距離分布検知装置は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【図面の簡単な説明】
【図１】本発明の実施の形態の全体構成を示すブロック図。
【図２】本発明の第１の実施の形態での画像分割の例を示す図。
【図３】本発明の第１の実施の形態の照合器の動作を示すフローチャート。
【図４】本発明の第２の実施の形態で撮影された画像の例を示す図。
【図５】本発明の第２の実施の形態の照合器の動作を示すフローチャート。
【図１】
2004245701.tif 000004
【図２】
2004245701.tif 000005
【図３】
2004245701.tif 000006
【図４】
2004245701.tif 000007
【図５】
2004245701.tif 000008