(57)【要約】【課題】  自車両前方の状況を連続的に把握できる車両用距離画像データ生成装置を提供すること。【解決手段】  イメージインテンシファイア７ｂ及び高速度カメラ８により得られたターゲット距離の異なる複数の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表す距離画像データを生成する画像処理部１０を備え、画像処理部１０は、ターゲット距離の異なる複数の撮像画像中の画素に対して、周囲の所定画素範囲の平均輝度値との比較により画素の輝度値を変更するステップS4〜S6の処理を備えた。【選択図】  図１
2010121995.tif 000002
【特許請求の範囲】
【請求項１】
自車両前方に所定周期でパルス光を投光する投光手段と、
ターゲット距離に応じて設定される撮像タイミングで前記ターゲット距離から帰ってくる反射光を撮像する撮像手段と、
前記ターゲット距離が連続的に変化するように前記撮像タイミングを制御するタイミング制御手段と、
前記撮像手段により得られたターゲット距離の異なる複数の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表す距離画像データを生成する距離画像データ生成手段と、
を備え、
前記距離画像データ生成手段は、
ターゲット距離の異なる複数の撮像画像中の画素に対して、周囲の所定画素範囲の平均輝度値との比較により前記画素の輝度値を変更するデータ変更手段を備えた、
ことを特徴とする車両用距離画像データ生成装置。
【請求項２】
請求項１に記載の車両用距離画像データ生成装置において、
前記データ変更手段は、
画素の輝度値と、その画素の周囲の所定範囲の平均輝度値の輝度差を予め設定した閾値と比較し、輝度差が前記閾値以下の場合には、その画素の輝度値を、前記距離画像データ生成手段の処理の際に空間として処理される輝度値に、変更する、
ことを特徴とする車両用距離画像データ生成装置。
【請求項３】
請求項１に記載の車両用距離画像データ生成装置において、
前記データ変更手段は、
画素の輝度値から、その画素の周囲の所定範囲の平均輝度値の輝度差を減算した結果を、その画素の輝度値に変更する、
ことを特徴とする車両用距離画像データ生成装置。
【請求項４】
請求項１〜請求項３のいずれか１項に記載の車両用距離画像データ生成装置において、
前記タイミング制御手段は、
一つのターゲット距離の撮像画像が、前記投光手段による複数回の投光と、前記撮像手段による前記撮像タイミングでの複数回の撮像で生成されるよう制御を行う、
ことを特徴とする車両用距離画像データ生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両用距離画像データ生成装置の技術分野に属する。
【背景技術】
【０００２】
特許文献１には、自車両前方を投光し、ターゲット距離から戻ってくる反射光のタイミングに合わせて撮像した画像に基づいて、当該ターゲット距離に障害物等の物体が存在するか否かを検出する技術が開示されている。
【特許文献１】米国特許第６７００１２３号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記従来技術にあっては、ターゲット距離以外の物体を検出できない。つまり、状況の把握が間欠的であり、自車両前方の状況を連続的に把握できないという問題があった。
【０００４】
本発明の目的は、自車両前方の状況を連続的に把握できる車両用距離画像データ生成装置を提供することにある。
【課題を解決するための手段】
【０００５】
上記目的を達成するため、本発明の車両用距離画像データ生成装置では、自車両前方に所定周期でパルス光を投光する投光手段と、ターゲット距離に応じて設定される撮像タイミングで前記ターゲット距離から帰ってくる反射光を撮像する撮像手段と、前記ターゲット距離が連続的に変化するように前記撮像タイミングを制御するタイミング制御手段と、前記撮像手段により得られたターゲット距離の異なる複数の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表す距離画像データを生成する距離画像データ生成手段と、を備え、前記距離画像データ生成手段は、ターゲット距離の異なる複数の撮像画像中の画素に対して、周囲の所定画素範囲の平均輝度値との比較により前記画素の輝度値を変更するデータ変更手段を備えた、ことを特徴とする。
【発明の効果】
【０００６】
よって、本発明にあっては、自車両前方の状況を連続的に把握できる。
【発明を実施するための最良の形態】
【０００７】
以下、本発明の車両用距離画像データ生成装置を実現するための最良の形態を、請求項１，２，４に係る発明に対応する実施例１と、請求項１，３，４に係る発明に対応する実施例２により説明する。
【実施例１】
【０００８】
まず、構成を説明する。
図１は、本発明の車両用距離画像データ生成装置を適用した実施例１の障害物検出装置１の構成を示すブロック図であり、実施例１の障害物検出装置１は、距離画像データ生成装置２と、物体認識処理部３と、判断部４とを備えている。
【０００９】
距離画像データ生成装置２は、投光器（投光手段）５と、対物レンズ６と、光倍増部７と、高速度カメラ（撮像手段）８と、タイミングコントローラ（タイミング制御手段）９と、画像処理部（距離画像データ生成手段）１０とを備えている。
投光器５は、車両の前端部に配置した近赤外線LEDであり、タイミングコントローラ９から出力されるパルス信号に応じて、所定の投光時間tL（例えば、5ns）の間、パルス光を出力する。パルス信号の周期は、投光器５の投光周期tPであり、投光周期tPは、例えば、1/100s以下の間隔とする。
対物レンズ６は、物体からの反射光を受光するためのもので、投光器５と隣接配置している。例えば、自車両前方の所定範囲を撮像できる画角とするように設定された光学系である。
【００１０】
光倍増部７は、ゲート７ａとイメージインテンシファイア７ｂとを備えている。
ゲート７ａは、タイミングコントローラ９からの開閉指令信号に応じて開閉する。ここで、実施例１では、ゲート７ａの開時間（ゲート時間）tGを、投光時間tLと同じ5nsとしている。ここで、ゲート時間tGは、撮像エリア（ターゲット距離）の撮像対象幅に相当し、ゲート時間tGを長くするほど撮像エリアの撮像対象幅は長くなる。実施例１では、ゲート時間tG=5nsとしているため、撮像対象幅は、光速度（約3×108m/s）×ゲート時間(5ns)から、1.5mとなる。
【００１１】
イメージインテンシファイア７ｂは、極微弱な光（物体からの反射光等）を一旦電子に変換して電気的に増幅し、再度蛍光像に戻すことで光量を倍増してコントラストのついた像を見るデバイスである。イメージインテンシファイア７ｂの光電面より光電現象によって打ち出された光電子はkVオーダーの高電圧で加速され、陽極側の蛍光面に打ち込まれることにより、100倍以上の光子数の蛍光を発する。蛍光面で発生した蛍光は、ファイバオプティックプレートにより、そのままの位置関係を保ったまま散乱されることなく高速度カメラ８のイメージセンサに導かれる。
高速度カメラ８は、タイミングコントローラ９からの指令信号に応じて、光倍増部７から発せられた像を撮像し、撮像画像（カラー画像）を画像処理部１０へ出力する。実施例１では、解像度640×480（横：縦）、輝度値1〜255(256段階)、100fps以上のカメラを用いている。
【００１２】
タイミングコントローラ９は、高速度カメラ８により撮像される撮像画像が、狙った撮像エリアから帰ってくる反射光のタイミングとなるように、投光器５の投光開始時点からゲート７ａを開くまでの時間であるディレイ時間tDを設定し、ディレイ時間に応じた開閉指令信号を出力することで、撮像タイミングを制御する。つまり、ディレイ時間tDは、自車両から撮像エリアまでの距離（撮像対象距離）を決める値であり、ディレイ時間tDと撮像対象距離との関係は、以下の式となる。
撮像対象距離＝光速度（約3×108m/s）×ディレイ時間tD/2
図２に、１つの撮像エリアを撮像する際の、投光器５の動作（投光動作）とゲート７ａの動作（カメラゲート動作）との時間的な関係を示す。
【００１３】
タイミングコントローラ９は、撮像エリアが車両手前側から先方へと連続的に移動するように、ディレイ時間tDを所定間隔（例えば、10ns）ずつ長くすることで、高速度カメラ８の撮像範囲を車両前方側へ変化させる。なお、タイミングコントローラ９は、ゲート７ａが開く直前に高速度カメラ８の撮像動作を開始させ、ゲート７ａが完全に閉じた後に撮像動作を終了させる。但し、実施例１では、タイミングコントローラ９は、撮像対象距離に応じて、予め多重露光回数を設定しておき、このデータを読み出して、ある一つの撮像対象距離における撮像が所定回数の投光動作とゲート７ａの開閉動作で構成されるようにする。そのため、設定された所定回数が複数回の場合は、複数回の投光動作とゲート７ａの開閉動作後に撮像動作を終了させることになる。
【００１４】
また、実施例１では、図３に示すように、撮像対象距離をB1→B2→B3→…と連続的に変化させながら撮像する際、撮像エリアの撮像対象幅Aよりも撮像対象距離の増加量（B2-B1）を短くすることで、撮像エリアの一部がオーバーラップしながら変化するように撮像対象距離の増加量を設定している。
【００１５】
図４は、撮像対象距離の増加量を極限まで小さくした場合、言い換えると、撮像エリアを無限に増やして撮像を行った場合の時間的な輝度変化を示す模式図であり、撮像エリアの一部をオーバーラップさせることで、連続する複数の撮像画像における同一の画素の輝度値は、徐々に増加し、ピーク後は徐々に小さくなる特性となる。なお、実際には撮像エリアは有限個（１〜n）であるが、連続する撮像エリアの一部をオーバーラップさせることで、時間的な輝度変化は図４の特性に近くなる。
【００１６】
タイミングコントローラ９は、１フレーム分、すなわち、設定された所定範囲（エリア１、エリア２、…、エリアn）の撮像画像が全て撮像された場合、画像処理部１０に対し画像処理指令信号を出力する。
【００１７】
画像処理部１０は、高速度カメラ８により撮像された１フレーム分の撮像画像（撮像画素）から、距離情報を色や輝度等で表す距離画像データを生成し、生成した距離画像データを物体認識処理部３へ出力する。
【００１８】
物体認識処理部３は、距離画像データに含まれる物体に対して、画像処理、例えば、ラベリング、パターンマッチング等により距離画像データに含まれる物体を特定する。
判断部４は、物体認識処理部３により特定された物体（人、自動車、標識等）と自車両との関係（距離、相対速度等）に基づいて、警報等による運転者への情報提示、自動ブレーキ等の車両制御の要否を判断する。
【００１９】
［距離画像データ生成制御処理］
図５は、実施例１の画像処理部１０で実行される距離画像データ生成制御処理の流れを示すフローチャートで、以下、各ステップについて説明する。なお、この処理は、所定の演算周期で繰り返し実行される。
【００２０】
ステップS1では、画像処理部１０が、投光器５による投光を行わずに自車両前方を撮像した撮像画像の最も輝度の低い輝度値データを後の輝度判断のために記憶し、ステップS2へ移行する。このデータは、距離画像データ生成の際に用いるものとする。
【００２１】
ステップS2では、画像処理部１０が、撮像画像を入力し、ステップS3へと移行する。なお、実施例１においては、入力される撮像画像は、撮像する距離範囲に応じて予め設定された多重露光回数により複数回撮像された画像となる。
【００２２】
ステップS3では、画像処理部１０が、１フレーム分（エリア１、エリア２、…、エリアn）の画像入力が終了したか否かを判定する。YESの場合にはステップS4へ移行し、NOの場合にはステップS2へ移行する。
【００２３】
ステップS4では、画像処理部１０が、ｎ番目（例えば１や０から始まるものとする）の画像におけるｍ番目（例えば１や０から始まるものとする）の画素（注目画素）を中心に設定される所定範囲の平均輝度値を算出する。なお、輝度値は例えば０〜２５６ビット値として処理される。
【００２４】
ステップS5では、画像処理部１０が、ステップS4の画素（対象画素）の輝度値とその周囲に設定された範囲の平均輝度値の差を算出する。
【００２５】
ステップS6では、画像処理部１０が、ステップS5の輝度差と閾値との比較により、ステップS4の画素（対象画素）をステップS11の距離画像データを生成する処理に用いるか、除外するかを決定する。
【００２６】
ステップS7では、ｎ番目の画像のｍ番目の画素の次の画素を処理するために、ｍを増加する処理を行う。例えばｍ＝ｍ＋１とする。
【００２７】
ステップS8では、ｎ番目の画像の１画像分の処理が終了したかどうかを判断し、終了したならばステップS9へ進み、終了していないならばステップS4へ戻る。
【００２８】
ステップS9では、ｎ番目の画像の次の画像を処理するために、ｎを増加する処理を行う。例えばｎ＝ｎ＋１とする。
【００２９】
ステップS10では、１フレーム分の処理、つまり１フレーム分のｎ番目までの画像の処理が終了したかどうかを判断し、終了したならばステップS11へ進み、終了していないならばステップS4へ戻る。
【００３０】
ステップS11では、色や輝度により距離情報を伴う画像として、距離画像データを生成し、リターンへ移行する。
【００３１】
次に、作用を説明する。
［距離画像データ生成作用］
タイミングコントローラ９は、高速度カメラ８により撮像される撮像画像が、狙った撮像エリアから帰ってくる反射光のタイミングとなるように、ディレイ時間tDを設定し、高速度カメラ８の撮像タイミングを制御する。狙った撮像エリアに物体が存在している場合、投光器５から出射された光が撮像エリアから戻ってくる時間は、自車両と撮像エリアまでの距離（撮像対象距離）を光が往復する時間となるため、ディレイ時間tDは、撮像対象距離と光速度から求めることができる。
【００３２】
上記方法で得られた高速度カメラ８の撮像画像において、撮像エリアに物体が存在する場合、当該物体の位置に対応する画素の輝度値データは、反射光の影響を受け、他の画素の輝度値データよりも高い値を示す。これにより、各画素の輝度値データに基づいて、狙った撮像エリアに存在する物体との距離を求めることができる。
【００３３】
さらに、実施例１では、ディレイ時間tDを変化させながら撮像エリア１〜nの撮像画像を取得する。続いて、同じ画素位置の前後の距離の輝度値データを比較し、最も高い輝度値データを当該画素で検出する物体の距離とし、撮像範囲(640×480)の距離の情報を持つデータ（距離画像データ）を生成する。
【００３４】
従来のレーザレーダやステレオカメラを用いた距離検出方法では、雨、霧や雪などの影響を受けやすく、信号レベルに対するノイズレベルが大きくなる（SN比が小さい）ため、悪天候時の信頼性が低い。なお、悪天候の影響を受けにくいミリ波レーダを用いた場合、距離検出の信頼性は高くなるが、ミリ波レーダの信号から物体認識（物体の特定）を行うのは困難であり、別途カメラ画像が必要となる。そして、悪天候時にはカメラ画像が不明瞭となるため、正確な物体認識を行うことは困難である。
【００３５】
これに対し、実施例１では、狙った撮像エリアから帰ってくる反射波のみを撮像画像に反映させるため、雨、霧や雪などの影響により屈曲した光、すなわち、ノイズの混入レベルを低く抑え、高いSN比を得ることができる。つまり、悪天候や夜間にかかわらず、高い距離検出精度を得ることができる。
そして、生成された距離画像データにより、画像から検出される物体の距離が分かるため、その後パターンマッチング等の手法を用いて物体認識を行う場合、物体との距離を瞬時に把握できる。
【００３６】
さらに、実施例１では、撮像エリアを連続的に変化させて複数の撮像画像を取得し、各撮像画像を比較して各画素の距離を検出しているため、自車両前方の状況を連続的に、かつ、広範囲に亘って把握できる。例えば、自車両と先行車両との間に歩行者が飛び出してきた状況であっても、先行車と歩行者の距離をそれぞれ同時に把握でき、警報による運転者への情報提示や自動ブレーキ等の車両制御を行うことが可能である。
【００３７】
図６は、自車両前方の異なる位置に４人の歩行者A〜Dが存在している状況を示し、自車両と各歩行者との距離の関係は、A<B<C<Dとする。
このとき、実施例１では、１つの物体からの反射光が連続する複数の撮像エリアにおける撮像画像のオブジェクトを構成する画素に反映されるように、撮像エリアの一部をオーバーラップさせている。このため、各歩行者に対応するオブジェクトを構成する画素の時間的な輝度変化は、図７に示すように、歩行者の位置でピークを取る三角形の特性を示す。
【００３８】
なお、距離画像データは、警報や車両制御に用いるデータであるため、ある程度の演算速度が要求される以上、撮像エリアを無限に細かく設定することは時間的に不可能であるが、１つの物体からの反射光が複数の撮像画像の含まれるようにすることで、図８に示すように、画素の時間的な輝度変化を上記特性に近似させ、三角形部分のピークと対応する撮像エリアを、当該画素における物体の距離とすることで、検出精度を高めることができる。
【００３９】
[多重露光による輝度補正]
実施例１の距離画像データ生成装置２では、撮像対象距離を徐々に遠くしながら複数の撮像画像を取得しているため、遠くの撮像エリアに存在する物体からの反射光は、近くの撮像エリアに存在する物体の反射光よりも弱くなる。このため、各撮像エリアで撮像時間（ゲート時間tG）を一定とした場合、遠い撮像エリアほど撮像画像が暗くなってしまう。
【００４０】
一方、画像処理部１０では、複数の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表す距離画像データを生成しているため、撮像画像間で上述した撮像対象距離の違いによる輝度差が生じると、同一画素の輝度を比較する際、正確な比較を行うことができない。
【００４１】
これに対し、実施例１では、物体が存在する撮像エリアにおける撮像画像の輝度ピーク値（輝度の最大値）が目標輝度となるよう、撮像対象距離に対して多重露光回数を設定し、記憶させる。そして、タイミングコントローラ９が、設定された多重露光回数に従って１画像に対して投光動作とゲート７ａの開閉動作の複数組を行う。つまり、本実施例１の多重露光回数とは、高速度カメラ８で撮像する１画像に対して、タイミングコントローラ９の制御により行われる、投光器５の投光動作と、上記説明のように投光動作と対になる（ディレイ時間tDによる）ゲート７ａの開閉動作の繰り返し回数を意味する。
【００４２】
このため、撮像対象距離の異なる各撮像画像の輝度レンジ幅（輝度最小値と輝度最大値との差）を撮像エリアにかかわらず均一化し、予め良好な処理ができるように設定された目標輝度に近づけることができる（図９参照）。
【００４３】
[距離検出精度の向上作用]
図１０は実施例１の距離画像データ生成装置の画像処理部が輝度の頻度を用いた処理を行う状態の説明図である。
実施例１の距離画像データ生成装置２では、悪天候における距離検出精度をさらに向上させている。以下、詳細に説明する。
実施例１の距離画像データ生成装置２において、例えば霧などがある場合の悪天候条件下では、検出されるべき物体の手前にある霧等（雨の場合もある）からの反射光により得られる画像の輝度が、物体からの反射光より得られる画像の輝度より高くなる場合がある。すると、画像の輝度のピーク値を算出した場合に、霧を物体として検出してしまう。
【００４４】
これに対して実施例１の距離画像データ生成装置２では、上記多重露光による距離における輝度の均一化により、物体が輝度のピークとして検出されやすくしている。
さらに、撮像画像に対して、各画素のデータを距離画像の生成に用いるかどうかの判断を周囲との輝度差により判断する。
図１０に示すのは画像処理部１０がステップS4〜S6の処理で行う平均輝度値を用いた処理の説明図である。
実施例１では、１フレームを構成する複数画像の各画像の各画素に対して、以下に説明する処理を行い、その後に距離画像データを生成する。
【００４５】
例えば、図１０(a)に示す対象画素１００について処理する場合には、対象画素１００を中心に縦横±Ｎ画素の範囲１００ａを設定する。図１０(a)では例として±６画素とし、縦１３画素、横１３画素の範囲１００ａを設定する。
そして、この範囲１００ａにおいて、対象画素１００を除いた画素の輝度値を合計し、その画素数で除算（割る）することにおり平均輝度値を算出する（ステップS4）。図１０(a)にはこの輝度平均値をＳＩとして示す。
次に、この対象画素１００の輝度値をＩとし、輝度平均値ＳＩとの輝度差を算出する（ステップS5)。
次に、この輝度差を予め定めた閾値Ｋと比較し、輝度差が閾値以下の場合はこの対象画素１００を後の距離画像データの生成で使用しないように、例えば値を０に置き換える。輝度差が閾値を超える場合は、この対象画素１００をそのままとし、後の距離画像データの生成で用いるようにする。
【００４６】
言い換えると、Ｉを対象画素の輝度値、ＳＩを対象画素を中心に縦Ｎ×横Ｎの画素範囲１００ａの輝度平均値、Ｋを閾値として、Ｉ−ＳＩ>Ｋの演算を行い、判断を行う。
また、図１０(b)に示すように、対象画素１００の画像中の端の位置あることによって、範囲１００ａが図１０(a)の縦横Ｎ画素の範囲に満たない場合は、画素数が少なくなるが、縦横Ｎを周囲に設定する処理が可能な範囲１００ｂで平均輝度値を算出する。
なお、処理の負荷等から母数を変更しない場合には、一番近い画素の輝度値で補間してもよい。
【００４７】
実施例１の距離画像データ生成装置２において、撮像される画像は、各対象距離ごとの画像である。そのため、この画像には対象距離に存在する物体のみ撮像され、それより遠方、及び近距離の物体は撮像されない。この点に着目すると、物体と背景のコントラストが小さくても輪郭を見つけやすいことになる。上記閾値は、このことから設定された値とする。よって、上記説明した処理により、平均輝度値との差が閾値以下画素を距離画像に用いなくても、対象画素の近傍の平均輝度に対して輝度差がある部分のみを画像処理することにより、輪郭となる特徴的な画素を抽出する。
【００４８】
そして、対象物より手前にある霧などが、対象物より輝度値高く撮像され、距離画像データにおいて、対象物を覆い隠すような場合には、この霧の部分は比較的広い範囲で輝度値高く撮像される。そのため、対象画素の輝度値と周囲の所定輝度範囲の平均輝度値との輝度差が閾値より低くなる。
すると、距離画像データで用いられないよう例えば輝度値を０に置き換えられる。これにより背景と同じ取り扱いとなり、その奥側の距離に存在する対象物が距離画像に表れることになる。これにより、距離画像の精度が向上する。
【００４９】
実施例の作用を明確にするために、図を参照してさらに具体的に説明する。
図１１は実施例１の距離画像データ生成装置で処理する対象距離が近い場合の画像例と、対象距離が遠い場合の画像例を示す説明図である。図１２は画素ごとに対象距離に対してピーク値を取った画像と、その距離画像データの例を示す説明図である。図１３は実施例１の距離画像データ生成装置で、平均輝度値の処理を行った場合の距離画像データの例を示す説明図である。
【００５０】
図１１(a)に示す対象物１０２がある距離の画像に対して、それより手前の距離の画像である図１１(b)に示す画像には、全体的に霧が光を反射した状態となって撮像されている。霧部分に符号１０１を示す。また、図１１(a)の画像においても、対象物１０２は霧でほとんど認識できない状態である。
図７で説明した、同じ画素位置の対象距離に対する輝度ピーク値を、図１１(a),(b)を有する複数の画像データ（１フレームのデータ）において抽出し、画像にすると図１２(a)のようになる。図１２(a)では、対象物１０２を検出する画像において、手前の霧１０１の影響が非常に大きくなっている。そのため、図１２(a)の画像では対象物１０２がほとんど認識できない状態である。この状態の画像データから距離画像を生成すると、図１２(b)に示すように、霧１０１を検出してしまい、奥側に存在する対象物が隠れてしまう。
画像処理部１０で生成される距離画像データでは、例えば、距離が近くから遠くになるにつれ、赤→黄→緑→青というように色等で画素ごとに表現されることになる。そのため、特にこのように物体がその距離から青く複数画素で見える場合にその手前の霧等が大きな面積で黄色に見えると物体が隠れるように見えることになる。この隠れて見える感覚は、そのまま、その後のパターンマッチング等の難しさを示すことになる。
【００５１】
これに対して、ステップS4〜S6の処理により、図１１(a),(b)を有する複数の画像データ（１フレームのデータ）の霧部分は、画像データの画素の輝度値が周囲の平均輝度値との差が小さい場合となり、距離画像データに有効に用いられなくなる。この処理後の画像データから距離画像を生成すると、図１３のようになる。図１３では、霧１０１を除外し、対象物１０２を検出できる距離画像データになっている。
【００５２】
さらに説明を加える。
対象距離ごとに撮像を行う場合に、極微弱な光（物体からの反射光等）を増倍するには、時間的に積分させて増倍することが考えられる。しかし、時間的な遅延が発生することになる。そのため、応答速度が要求される車両のセンサには好ましくない。実施例１では、イメージインテンシファイア７ｂを用いているため、時間的な遅延の問題は発生しない。しかしながら、イメージインテンシファイア７ｂには、その性質上、ノイズも増倍する特性がある。また、実施例１では、シャッター開時間をナノ秒単位に制御するため、この微弱な光電子にはノイズが多く含まれてしまう。そのため、雨、雪、霧などの悪天候時、つまり低視程時には、空気中の水滴から反射光を受光してしまう。よって、従来の距離検出方法に対して、低視程時に高いSN比を得ることができるものの、目標となる障害物からの反射光だけを検出することが難しい場合がある。実施例１の距離画像データ生成装置２では、この低視程による影響を除去して距離画像データを生成するので、さらに、高い距離検出精度を得る。
【００５３】
次に、効果を説明する。
実施例１の距離画像データ生成装置２にあっては、以下に列挙する効果を奏する。
【００５４】
(1)自車両前方に所定周期でパルス光を投光する投光器５と、ターゲット距離に応じて設定される撮像タイミングでターゲット距離から帰ってくる反射光を撮像するイメージインテンシファイア７ｂ及び高速度カメラ８と、ターゲット距離が連続的に変化するように撮像タイミングを制御するタイミングコントローラ９と、イメージインテンシファイア７ｂ及び高速度カメラ８により得られたターゲット距離の異なる複数の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表す距離画像データを生成する画像処理部１０を備え、画像処理部１０は、ターゲット距離の異なる複数の撮像画像中の画素に対して、周囲の所定画素範囲の平均輝度値との比較により画素の輝度値を変更するステップS4〜S6の処理を備えたため、自車両前方の状況を連続的に把握できる。また、悪天候条件下における距離画像データの距離検出精度を向上させることができる。
【００５５】
(2)上記(1)において、画像処理部１０が実行するステップS4〜S6の処理は、画素の輝度値と、その画素の周囲の所定範囲の平均輝度値の輝度差を予め設定した閾値と比較し、輝度差が閾値以下の場合には、その画素の輝度値を、ステップS11の距離画像データ処理の際に空間として処理される輝度値に、変更するため、対象物の手前で霧など低視程要因による水滴の反射を撮像している部分により距離画像データにおいて対象物隠されることを抑制し、低視程要因による悪天候条件下における距離画像データの距離検出精度を向上させることができる。
【００５６】
(4)上記(1)または(2)において、タイミングコントローラ９は、一つのターゲット距離の撮像画像が、投光器５による複数回の投光と、イメージインテンシファイア７ｂ及び高速度カメラ８による撮像タイミングでの複数回の撮像で生成されるよう制御を行うため、多重露光により、遠くに位置する物体の輝度ピークが、近くに位置する物体の輝度ピークに近い値が得られるようにでき、遠い距離の物体が確実に検出された距離画像データを生成できる。また、悪天候下で、物体の手前で霧等が輝度高く光を反射する場合に、物体をより明らかにし、霧等より奥側の物体をより検出しやすくでき、これにより精度を向上した距離画像データを生成できる。
【実施例２】
【００５７】
実施例２は、対象画素の輝度値から周囲画素の平均輝度値を減算し、新たな対象画素の輝度値に置き換える例である。
構成を説明する。
実施例２では、画像処理部１０で実行する距離画像データ生成処理において、対象画素の輝度値から周囲画素の平均輝度値を減算する処理を行う。
図１４は、実施例２の画像処理部１０で実行される距離画像データ生成制御処理の流れを示すフローチャートで、以下、各ステップについて説明する。なお、この処理は、所定の演算周期で繰り返し実行される。また、実施例１の図５の処理を同様の処理には、同じ符号を付し、説明を省略する。
【００５８】
ステップS12では、画像処理部１０が、ステップS4の画素（対象画素）の輝度値からその周囲に設定された範囲の平均輝度値を減算した輝度値を相対輝度値として算出する。つまり相対輝度値＝対象画素輝度値−平均輝度値を算出する。
【００５９】
ステップS13では、ステップS12で算出した相対輝度値を、ステップS4の画素（対象画素）の新たな輝度値となるように置き換える。
その他構成は実施例１と同様であるので説明を省略する。
【００６０】
作用を説明する。
[距離検出精度の向上作用]
実施例２では、１画像中の画素の輝度値から、図１０に示すようにその画素の周囲に設定された所定画素範囲の平均輝度値を減算して、相対輝度値とする。そして、この相対輝度値をその画素の新たな輝度値として置き換える。このようにして、１フレーム分の処理を行うと、対象物の手前に、図１２に示すような霧などが存在する場合に、周囲の平均輝度値が減算されることで、空間とほぼ同じ扱いの低い値、もしくはマイナスの値となる。そのため、距離画像データにおいて、対象物を近距離側で隠してしまう図１２に示すような霧などが除外され、図１３に示すように、対象物を検出できる距離画像データとなる。これにより距離画像データにおける距離検出精度が向上する。
【００６１】
効果を説明する。
実施例２の距離画像データ生成装置２にあっては、上記(1),(4)に加えて、以下の効果を有する。
(3)上記(1)において、画像処理部１０が実行するステップS12〜S13の処理は、画素の輝度値から、その画素の周囲の所定範囲の平均輝度値の輝度差を減算した結果を、その画素の輝度値に変更するため、対象物の手前で霧など低視程要因による水滴の反射を撮像している部分により、距離画像データにおいて対象物が隠されることを抑制し、低視程要因による悪天候条件下における距離画像データの距離検出精度を向上させることができる。
その他作用効果は実施例１と同様であるので説明を省略する。
以上、本発明を実施するための最良の形態を、実施例に基づき説明したが、本発明の具体的な構成については、実施例の構成に限らず、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計変更や追加等は許容される。
【００６２】
例えば、投光周期、投光時間、ゲート時間、撮像対象幅、撮像対象距離の変化量、１フレーム中の撮像エリア数は、撮像手段の性能や距離画像データ生成手段の性能に応じて適宜設定することができる。
【００６３】
実施例では、１画像中の全ての画素について、平均輝度値との比較処理を行ったが、車両前方を撮像する場合に、運転視界に対して重要なカメラ中心のみ、この処理を行うようにしてもよい。
平均輝度値との比較を行う画素データは、比較的近距離の対象距離の画像にのみ行うようにして、低視程の影響を受けやすい画像の処理を除去するようにし、且つ処理の負荷軽減を行うようにしてもよい。
【図面の簡単な説明】
【００６４】
【図１】実施例１の障害物検出装置１の構成を示すブロック図である。
【図２】１つの撮像エリアを撮像する際の、投光器５の動作（投光動作）とゲート７ａの動作（カメラゲート動作）との時間的な関係を示す図である。
【図３】撮像エリアの一部がオーバーラップする状態を示す図である。
【図４】撮像エリアを無限に増やして撮像を行った場合の時間的な輝度変化を示す模式図である。
【図５】実施例１の画像処理部１０で実行される距離画像データ生成制御処理の流れを示すフローチャートである。
【図６】自車両前方の異なる位置に４人の歩行者A〜Dが存在している状況を示す図である。
【図７】各歩行者A〜Bに対応する画素の時間的な輝度変化を示す模式図である。
【図８】実施例１の距離画像データ生成作用を示す図である。
【図９】実施例１の多重露光による距離画像データ生成作用を示す図である。
【図１０】実施例１の距離画像データ生成装置の画像処理部が輝度の頻度を用いた処理を行う状態の説明図である。
【図１１】実施例１の距離画像データ生成装置で処理する対象距離が近い場合の画像例と、対象距離が遠い場合の画像例を示す説明図である。
【図１２】画素ごとに対象距離に対してピーク値を取った画像と、その距離画像データの例を示す説明図である。
【図１３】実施例１の距離画像データ生成装置で、平均輝度値の処理を行った場合の距離画像データの例を示す説明図である。
【図１４】実施例２の画像処理部１０で実行される距離画像データ生成制御処理の流れを示すフローチャートである。
【符号の説明】
【００６５】
１  障害物検出装置
２  距離画像データ生成装置
３  物体認識処理部
４  判断部
５  投光器（投光手段）
６  対物レンズ
７  光増倍部
７ａ  ゲート
７ｂ  イメージインテンシファイア
８  高速度カメラ（撮像手段）
９  タイミングコントローラ（タイミング制御手段）
１０  画像処理部（距離画像データ生成手段）
１００  対象画素
１００ａ  （平均輝度値を算出する）画素範囲
１００ｂ  （平均輝度値を算出する）画素範囲
１０１  霧部分
１０２  対象物
【図１】
2010121995.tif 000003
【図２】
2010121995.tif 000004
【図３】
2010121995.tif 000005
【図４】
2010121995.tif 000006
【図５】
2010121995.tif 000007
【図６】
2010121995.tif 000008
【図７】
2010121995.tif 000009
【図８】
2010121995.tif 000010
【図９】
2010121995.tif 000011
【図１０】
2010121995.tif 000012
【図１１】
2010121995.tif 000013
【図１２】
2010121995.tif 000014
【図１３】
2010121995.tif 000015
【図１４】
2010121995.tif 000016