(57)【要約】【課題】  自車両前方の状況を連続的に把握できる車両用距離画像データ生成装置及び方法を提供すること。【解決手段】  投光器５と、イメージインテンシファイア７ｂ及び高速度カメラ８と、タイミングコントローラ９と、高速度カメラ８により得られたターゲット距離の異なる複数の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表す距離画像データを生成する画像処理部１０を備え、画像処理部１０は、ノイズによる輝度を抑制しつつ移動平均に基づいて、距離画像データの生成に用いられる輝度を補正するステップS3〜S5の処理を備えた。【選択図】  図１
2010145255.tif 000002
【特許請求の範囲】
【請求項１】
自車両前方に所定周期でパルス光を投光する投光手段と、
ターゲット距離に応じて設定される撮像タイミングで前記ターゲット距離から帰ってくる反射光を撮像する撮像手段と、
前記ターゲット距離が連続的に変化するように前記撮像タイミングを制御するタイミング制御手段と、
前記撮像手段により得られたターゲット距離の異なる複数の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表す距離画像データを生成する距離画像データ生成手段と、
を備え、
前記距離画像データ生成手段は、
急峻なノイズによる輝度を排除して演算する移動平均に基づいて、前記距離画像データの生成に用いられる輝度を補正するノイズ抑制手段を備えた、
ことを特徴とする車両用距離画像データ生成装置。
【請求項２】
請求項１に記載の車両用距離画像データ生成装置において、
前記ノイズ抑制手段は、
同一画素で、前記ターゲット距離が連続する複数の輝度を１組とし、同組の範囲を前記ターゲット距離で移動させつつ組毎に抽出を行う抽出手段と、
１組の複数の輝度から最大輝度を除く最大輝度除去手段と、
最大輝度が除かれた１組の中の平均を移動平均として算出し、これをターゲット距離の輝度とする移動平均算出手段と、
を備えたことを特徴とする車両用距離画像データ生成装置。
【請求項３】
請求項２に記載の車両用距離画像データ生成装置において、
前記タイミング制御手段は、前記物体を複数の撮像画像で捉えるよう前記撮像タイミングを制御し、前記抽出手段が抽出する１組のターゲット距離の数を、前記物体を捉える撮像画像の数より小さくした、
ことを特徴とする車両用距離画像データ生成装置。
【請求項４】
自車両前方に所定周期でパルス光を投光し、
ターゲット距離に応じて設定される撮像タイミングで前記ターゲット距離から帰ってくる反射光を撮像し、
前記ターゲット距離が連続的に変化するように前記撮像タイミングを制御し、
急峻なノイズによる輝度を排除して演算する移動平均に基づいて、前記距離画像データの生成に用いられる輝度を補正し、
撮像され、補正されたターゲット距離の異なる複数の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表す距離画像データを生成した、
ことを特徴とする車両用距離画像データ生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両用距離画像データ生成装置及び方法の技術分野に属する。
【背景技術】
【０００２】
特許文献１には、自車両前方を投光し、ターゲット距離から戻ってくる反射光のタイミングに合わせて撮像した画像に基づいて、当該ターゲット距離に障害物等の物体が存在するか否かを検出する技術が開示されている。
【特許文献１】米国特許第６７００１２３号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記従来技術にあっては、ターゲット距離以外の物体を検出できない。つまり、状況の把握が間欠的であり、自車両前方の状況を連続的に把握できないという問題があった。
【０００４】
本発明の目的は、自車両前方の状況を連続的に把握できる車両用距離画像データ生成装置及び方法を提供することにある。
【課題を解決するための手段】
【０００５】
上記目的を達成するため、自車両前方に所定周期でパルス光を投光する投光手段と、ターゲット距離に応じて設定される撮像タイミングで前記ターゲット距離から帰ってくる反射光を撮像する撮像手段と、前記ターゲット距離が連続的に変化するように前記撮像タイミングを制御するタイミング制御手段と、前記撮像手段により得られたターゲット距離の異なる複数の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表す距離画像データを生成する距離画像データ生成手段と、を備え、前記距離画像データ生成手段は、急峻なノイズによる輝度を排除して演算する移動平均に基づいて、前記距離画像データの生成に用いられる輝度を補正するノイズ抑制手段を備えた、ことを特徴とする。
【発明の効果】
【０００６】
よって、本発明にあっては、自車両前方の状況を連続的に把握できる。
【発明を実施するための最良の形態】
【０００７】
以下、本発明の車両用距離画像データ生成装置及び方法を実現するための最良の形態を、図面に基づく実施例により説明する。
【実施例１】
【０００８】
まず、構成を説明する。
図１は、本発明の車両用距離画像データ生成装置を適用した実施例１の障害物検出装置１の構成を示すブロック図であり、実施例１の障害物検出装置１は、距離画像データ生成装置２と、物体認識処理部３と、判断部４とを備えている。
【０００９】
距離画像データ生成装置２は、投光器（投光手段）５と、対物レンズ６と、光倍増部７と、高速度カメラ（撮像手段）８と、タイミングコントローラ（タイミング制御手段）９と、画像処理部（距離画像データ生成手段）１０とを備えている。
投光器５は、車両の前端部に配置した近赤外線LED５ａ（レンズと発光部を構成する）であり、タイミングコントローラ９から出力されるパルス信号に応じて、所定の投光時間tL（例えば、5ns）の間、パルス光を出力する。パルス信号の周期は、投光器５の投光周期tPであり、投光周期tPは、例えば、1/100s以下の間隔とする。
対物レンズ６は、物体からの反射光を受光するためのもので、投光器５と隣接配置している。例えば、自車両前方の所定範囲を撮像できる画角とするように設定された光学系である。
【００１０】
光倍増部７は、ゲート７ａとイメージインテンシファイア７ｂとを備えている。
ゲート７ａは、タイミングコントローラ９からの開閉指令信号に応じて開閉する。ここで、実施例１では、ゲート７ａの開時間（ゲート時間）tGを、投光時間tLと同じ5nsとしている。ここで、ゲート時間tGは、撮像エリア（ターゲット距離）の撮像対象幅に相当し、ゲート時間tGを長くするほど撮像エリアの撮像対象幅は長くなる。実施例１では、ゲート時間tG=5nsとしているため、撮像対象幅は、光速度（約3×108m/s）×ゲート時間(5ns)から、1.5mとなる。
【００１１】
イメージインテンシファイア７ｂは、極微弱な光（物体からの反射光等）を一旦電子に変換して電気的に増幅し、再度蛍光像に戻すことで光量を倍増してコントラストのついた像を見るデバイスである。イメージインテンシファイア７ｂの光電面より光電現象によって打ち出された光電子はkVオーダーの高電圧で加速され、陽極側の蛍光面に打ち込まれることにより、100倍以上の光子数の蛍光を発する。蛍光面で発生した蛍光は、ファイバオプティックプレートにより、そのままの位置関係を保ったまま散乱されることなく高速度カメラ８のイメージセンサに導かれる。
高速度カメラ８は、タイミングコントローラ９からの指令信号に応じて、光倍増部７から発せられた像を撮像し、撮像画像（カラー画像）を画像処理部１０へ出力する。実施例１では、解像度640×480（横：縦）、輝度値1〜255(256段階)、100fps以上のカメラを用いている。
【００１２】
タイミングコントローラ９は、高速度カメラ８により撮像される撮像画像が、狙った撮像エリアから帰ってくる反射光のタイミングとなるように、投光器５の投光開始時点からゲート７ａを開くまでの時間であるディレイ時間tDを設定し、ディレイ時間に応じた開閉指令信号を出力することで、撮像タイミングを制御する。つまり、ディレイ時間tDは、自車両から撮像エリアまでの距離（撮像対象距離）を決める値であり、ディレイ時間tDと撮像対象距離との関係は、以下の式となる。
撮像対象距離＝光速度（約3×108m/s）×ディレイ時間tD/2
図２に、１つの撮像エリアを撮像する際の、投光器５の動作（投光動作）とゲート７ａの動作（カメラゲート動作）との時間的な関係を示す。
【００１３】
タイミングコントローラ９は、撮像エリアが車両手前側から先方へと連続的に移動するように、ディレイ時間tDを所定間隔（例えば、10ns）ずつ長くすることで、高速度カメラ８の撮像範囲を車両前方側へ変化させる。なお、タイミングコントローラ９は、ゲート７ａが開く直前に高速度カメラ８の撮像動作を開始させ、ゲート７ａが完全に閉じた後に撮像動作を終了させる。但し、実施例１では、タイミングコントローラ９は、撮像対象距離（ターゲット距離）に応じて、予め多重露光回数を設定しておき、このデータを読み出して、ある一つの撮像対象距離における撮像が所定回数の投光動作とゲート７ａの開閉動作で構成されるようにする。そのため、設定された所定回数が複数回の場合は、複数回の投光動作とゲート７ａの開閉動作後に撮像動作を終了させることになる。
【００１４】
また、実施例１では、図３に示すように、撮像対象距離をB1→B2→B3→…と連続的に変化させながら撮像する際、撮像エリアの撮像対象幅Aよりも撮像対象距離の増加量（B2-B1）を短くすることで、撮像エリアの一部がオーバーラップしながら変化するように撮像対象距離の増加量を設定している。
【００１５】
図４は、撮像対象距離の増加量を極限まで小さくした場合、言い換えると、撮像エリアを無限に増やして撮像を行った場合の時間的な輝度変化を示す模式図であり、撮像エリアの一部をオーバーラップさせることで、連続する複数の撮像画像における同一の画素の輝度値は、徐々に増加し、ピーク後は徐々に小さくなる特性となる。なお、実際には撮像エリアは有限個（１〜n）であるが、連続する撮像エリアの一部をオーバーラップさせることで、時間的な輝度変化は図４の特性に近くなる。
【００１６】
タイミングコントローラ９は、１フレーム分、すなわち、設定された所定範囲（エリア１、エリア２、…、エリアn）の撮像画像が全て撮像された場合、画像処理部１０に対し画像処理指令信号を出力する。
【００１７】
画像処理部１０は、高速度カメラ８により撮像された１フレーム分の撮像画像（撮像画素）から、距離情報を色や輝度等で表す距離画像データを生成し、生成した距離画像データを物体認識処理部３へ出力する。
【００１８】
物体認識処理部３は、距離画像データに含まれる物体に対して、画像処理、例えば、ラベリング、パターンマッチング等により距離画像データに含まれる物体を特定する。
判断部４は、物体認識処理部３により特定された物体（人、自動車、標識等）と自車両との関係（距離、相対速度等）に基づいて、警報等による運転者への情報提示、自動ブレーキ等の車両制御の要否を判断する。
【００１９】
［距離画像データ生成制御処理］
図５は、実施例１の画像処理部１０で実行される距離画像データ生成制御処理の流れを示すフローチャートで、以下、各ステップについて説明する。なお、この処理は、所定の演算周期で繰り返し実行される。
【００２０】
ステップS1では、画像処理部１０が、投光器５による投光を行わずに自車両前方を撮像した撮像画像の最も輝度の低い輝度値データを後の輝度判断のために記憶し、ステップS2へ移行する。このデータは、距離画像データ生成の際に用いるものとする。
【００２１】
ステップS2では、画像処理部１０が、撮像画像を入力し、ステップS3へと移行する。
以下のステップS3〜S5の処理は、ステップS2で新たな画像が入力される毎に、以前に入力された画像と合わせて所定の複数画像分のデータ処理を行うようにする。つまり、新たに入力された画像をｎとすると、例えばｎ−２〜ｎまでの画像データ処理を行うようにする。
【００２２】
ステップS3では、画像処理部１０が、撮像対象距離が前後で所定数となる組み合わせの画素データを抽出する。例えば、同一画素位置で撮像対象距離が、ｎ〜ｎ−２となる輝度データを組にして抽出する。
なお、このデータ抽出は、例えばｎ〜ｎ−２を抽出したら、次はｎ＋１〜ｎ−１となるようにデータを重複させつつ撮像対象距離を移動させるようにする。
言い換えると、移動平均を算出する移動平均範囲のデータを組として抽出する。この移動平均範囲は、例えばｎ＝３とした場合、全ての撮像対象距離をｎ＝３で除算（割る）した組に分けるのではなく、その抽出数（ｎ＝３）を同じにして、その範囲が１つ次の撮像対象距離を含むように徐々に移動させるものである。
【００２３】
ステップS4では、画像処理部１０が、ステップS3で抽出した輝度データの組から、輝度値が最大のデータを除去する。
【００２４】
ステップS5では、画像処理部１０が、ステップS4で最大値を除去したデータの組の平均輝度値を算出し、これを例えば、その撮像対象距離の中央の輝度値データとする。これを移動平均値とする。そして、画素ごとに移動平均値が最大となる画像の番号（ディレイ時間）を算出し、距離データへ一次変換する。
例えば、各画素データの最大輝度の画像の番号（フレーム番号）を記憶し、この番号と撮像対象距離との係数を乗じて（一次関数変換して）距離データを得る。
【００２５】
ステップS6では、画像処理部１０が、１フレーム分（エリア１、エリア２、…、エリアn）の画像入力が終了したか否かを判定する。YESの場合にはステップS7へ移行し、NOの場合にはステップS2へ移行する。
【００２６】
ステップS7では、色や輝度により距離情報を伴う画像として、距離画像データを生成し、リターンへ移行する。
【００２７】
次に、作用を説明する。
［距離画像データ生成作用］
タイミングコントローラ９は、高速度カメラ８により撮像される撮像画像が、狙った撮像エリアから帰ってくる反射光のタイミングとなるように、ディレイ時間tDを設定し、高速度カメラ８の撮像タイミングを制御する。狙った撮像エリアに物体が存在している場合、投光器５から出射された光が撮像エリアから戻ってくる時間は、自車両と撮像エリアまでの距離（撮像対象距離）を光が往復する時間となるため、ディレイ時間tDは、撮像対象距離と光速度から求めることができる。
【００２８】
上記方法で得られた高速度カメラ８の撮像画像において、撮像エリアに物体が存在する場合、当該物体の位置に対応する画素の輝度値データは、反射光の影響を受け、他の画素の輝度値データよりも高い値を示す。これにより、各画素の輝度値データに基づいて、狙った撮像エリアに存在する物体との距離を求めることができる。
【００２９】
さらに、実施例１では、ディレイ時間tDを変化させながら撮像エリア１〜nの撮像画像を取得する。続いて、同じ画素位置の前後の距離の輝度値データを比較し、最も高い輝度値データを当該画素で検出する物体の距離とし、撮像範囲(640×480)の距離の情報を持つデータ（距離画像データ）を生成する。
【００３０】
従来のレーザレーダやステレオカメラを用いた距離検出方法では、雨、霧や雪などの影響を受けやすく、信号レベルに対するノイズレベルが大きくなる（SN比が小さい）ため、悪天候時の信頼性が低い。なお、悪天候の影響を受けにくいミリ波レーダを用いた場合、距離検出の信頼性は高くなるが、ミリ波レーダの信号から物体認識（物体の特定）を行うのは困難であり、別途カメラ画像が必要となる。そして、悪天候時にはカメラ画像が不明瞭となるため、正確な物体認識を行うことは困難である。
【００３１】
これに対し、実施例１では、狙った撮像エリアから帰ってくる反射波のみを撮像画像に反映させるため、雨、霧や雪などの影響により屈曲した光、すなわち、ノイズの混入レベルを低く抑え、高いSN比を得ることができる。つまり、悪天候や夜間にかかわらず、高い距離検出精度を得ることができる。
そして、生成された距離画像データにより、画像から検出される物体の距離が分かるため、その後パターンマッチング等の手法を用いて物体認識を行う場合、物体との距離を瞬時に把握できる。
【００３２】
さらに、実施例１では、撮像エリアを連続的に変化させて複数の撮像画像を取得し、各撮像画像を比較して各画素の距離を検出しているため、自車両前方の状況を連続的に、かつ、広範囲に亘って把握できる。例えば、自車両と先行車両との間に歩行者が飛び出してきた状況であっても、先行車と歩行者の距離をそれぞれ同時に把握でき、警報による運転者への情報提示や自動ブレーキ等の車両制御を行うことが可能である。
【００３３】
図６は、自車両前方の異なる位置に４人の歩行者A〜Dが存在している状況を示し、自車両と各歩行者との距離の関係は、A<B<C<Dとする。
このとき、実施例１では、１つの物体からの反射光が連続する複数の撮像エリアにおける撮像画像のオブジェクトを構成する画素に反映されるように、撮像エリアの一部をオーバーラップさせている。このため、各歩行者に対応するオブジェクトを構成する画素の時間的な輝度変化は、図７に示すように、歩行者の位置でピークを取る三角形の特性を示す。
【００３４】
なお、距離画像データは、警報や車両制御に用いるデータであるため、ある程度の演算速度が要求される以上、撮像エリアを無限に細かく設定することは時間的に不可能であるが、１つの物体からの反射光が複数の撮像画像の含まれるようにすることで、図８に示すように、画素の時間的な輝度変化を上記特性に近似させ、三角形部分のピークと対応する撮像エリアを、当該画素における物体の距離とすることで、検出精度を高めることができる。
【００３５】
[ノイズの除去作用]
実施例１の距離画像データ生成装置２では、夜間や視界が悪い状況でも、より遠方の物体を検出するために、近赤外線LED５ａの微弱な反射光を、イメージインテンシファイア７ｂで増幅させている。
このイメージインテンシファイア７ｂの増幅では、真空管の中に残留イオンにより映像にノイズが出てしまう。
【００３６】
実施例１では移動平均処理により、このノイズを取り除く処理を行う。
移動平均は、例えば、同一画素位置において、ある撮像対象距離と、その前の撮像対象距離、その次の撮像対象距離の３つの輝度値データの平均値を取り、その撮像対象距離のデータに置き換えるものである。
つまり、図４や図８において、撮像対象距離が移動し、これに対応して輝度値データが変化していく場合に、その輝度値データは、それぞれその撮像対象距離の前後との平均値となる。そして、撮像対象距離に対して、ｎ＝３の平均値が推移していく。このｎを移動平均回数とする。
【００３７】
すると、実施例１では、図８に示すように、撮像対象に対して、複数の撮像対象距離のデータにより、ピークを検出するようにしているため、移動平均により、輝度値データの撮像対象距離に対する変化が緩やかになり、ノイズにより１つの撮像対象距離における輝度値が高くなっているものは、前後との平均となることにより、撮像対象とは検出されにくい値となる。
図９は実施例１の距離画像データ生成装置において、移動平均を行わない場合の距離画像の例である。図１０は実施例１の距離画像データ生成装置において、移動平均回数を２回とした場合の距離画像の例である。図１１は実施例１の距離画像データ生成装置において、移動平均回数を３回とした場合の距離画像の例である。
【００３８】
図９に示すように、距離画像中には、ノイズ５０が複数存在している。これに対して、図１０、図１１に示すように移動平均処理を行ったものは、距離画像中のノイズ５０が少なくなっていることがわかる。このように移動平均処理により、ノイズの除去が行えていることがわかる。
ここで、移動平均処理の移動平均回数を多くしていけば、ノイズをさらに除去することになるが、リソースを多く消費してしまう。言い換えると、処理負荷が高くなり、マイコン等のコストを増加しなければならなくなる。
【００３９】
そのため実施例１では、この移動平均処理の前に最大値除去処理を行うようにしている。
この処理では、例えば移動平均が３回の場合に、画像データが画像処理部１０に入力されると（ステップS2)、その前の撮像対象距離の画素の移動平均値が求められることになる。
その際には、まず、同一画素毎に撮像対象距離が前後する３つの輝度データを１組となるように抽出する（ステップS3)。そして、その１組の中で、最大値を除去する(ステップS4)。
次に、この１組の平均値を算出し、これを移動平均値とし、その撮像対象距離の輝度データと置き換える。そして、この移動平均値を、距離画像を生成する画素ごとの輝度データにする(ステップS5)。
【００４０】
イメージインテンシファイア７ｂの光学倍増作用に起因するノイズは、その発生が非常にランダムであるため、同一画素で前後の撮像対象距離にも発生することはほとんどない。そのため、このように、例えば前後３つのデータにおいて、最大値を除去し、この移動平均値をデータとすると、ノイズが確実に除去され、且つ変化を撮像対象距離に対する輝度値データの変化を緩やかにして撮像対象に起因する輝度ピークは確実に捉えることになる。
この最大値除去処理(ステップS4)によって、移動平均回数を少なくして、ノイズを除去した距離画像を生成する。
【００４１】
図１２は実施例１の距離画像データ生成装置において、移動平均回数を２回とし、且つ最大値除去を行った場合の距離画像の例である。図１３は実施例１の距離画像データ生成装置において、移動平均回数を３回とし、且つ最大値除去を行った場合の距離画像の例である。
図９に示す距離画像中に複数存在したノイズ５０は、最大値除去処理と移動平均回数の少ない移動平均処理により、図１２、図１３に示すように確実に除去されている。これは、図１０、図１１より効果高くノイズ５０の除去が行えていることがわかる。
【００４２】
図１４は実施例１の距離画像データ生成装置において、ノイズが発生している画素位置の同一画素の撮像対象距離と輝度値の関係を示すグラフ図である。
図１４には、移動平均処理を行わない場合を符号１００、移動平均回数を３回とした移動平均処理を行う場合を符号１０１、最大値除去処理と移動平均回数を３回とした移動平均処理を行う場合を符号１０２で示す。
【００４３】
図１４に符号１００で示す移動平均処理を行わない場合には、急峻に変化するノイズ５０が全撮像対象距離において輝度ピークとなり、距離画像にノイズ５０があるものとなってしまう。移動平均処理のみを行った図１４に符号１０１で示すものでは、少ない移動平均回数のため、ノイズ５０を充分に低下できておらず、このデータの場合には、やはり距離画像にノイズ５０があるものとなってしまう。
これに対して、最大値除去処理と移動平均処理を行ったものでは、ノイズ５０が充分に除去され、撮像対象（物体）を確実に検出できる距離画像を生成するデータが形成されていることがわかる。
【００４４】
さらに説明を加える。
車両において、実施例１の距離画像データ生成装置２の生成する距離画像データを障害物等の検出等に用いる場合には、運転を行うドライバを支援するため、検出からその内容をドライバへ伝達する時間を非常に短時間にする必要がある。そのためには、時間のかかる処理を行うことは、好ましくない。そのため、時間のかかる処理を短時間にするためには、マイコン等が高コストなものになってしまう。実施例１の距離画像データ生成装置２では、このような高コストを招くことなく、ノイズが除去された精度のよい距離画像データを車両に提供する。
【００４５】
次に、効果を説明する。
実施例１の距離画像データ生成装置２にあっては、以下に列挙する効果を奏する。
【００４６】
(1)自車両前方に所定周期でパルス光を投光する投光器５と、ターゲット距離に応じて設定される撮像タイミングでターゲット距離から帰ってくる反射光を撮像するイメージインテンシファイア７ｂ及び高速度カメラ８と、ターゲット距離が連続的に変化するように撮像タイミングを制御するタイミングコントローラ９と、イメージインテンシファイア７ｂ及び高速度カメラ８により得られたターゲット距離の異なる複数の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表す距離画像データを生成する画像処理部１０を備え、画像処理部１０は、急峻なノイズによる輝度を排除して演算する移動平均に基づいて、距離画像データの生成に用いられる輝度を補正するステップS3〜S5の処理を備えたため、自車両前方の状況を連続的に把握でき、イメージインテンシファイア７ｂに起因し、連続するターゲット距離に単発的に現れるノイズが、光学倍増作用により高い輝度値であることから、移動平均計算範囲の最大輝度値を除くことで、これを除去し、精度のよい距離画像データを生成することができる。
【００４７】
(2)上記(1)において、ノイズの抑制は、同一画素で、ターゲット距離が連続する複数の輝度を１組とし、同組の範囲をターゲット距離で移動させつつ組毎に抽出を行うステップS3の処理と、１組の複数の輝度から最大輝度を除くステップS4の処理と、最大輝度が除かれた１組の中の平均を移動平均として算出し、これをターゲット距離の輝度とするステップS5の処理を備えたため、イメージインテンシファイア７ｂに起因するノイズを、最大値として除去し、移動平均処理を行うことにより、最大値とならないノイズの影響が距離画像データに反映されないよう抑制する。これにより、物体を捉える緩やかな輝度変化を確実に捉える輝度値にして、この輝度値により距離画像データが生成されるようにして、イメージインテンシファイア７ｂに起因するノイズを除去して精度のよい距離画像データを生成することができる。
【００４８】
(3)上記(2)において、タイミングコントローラ９は、物体を複数の撮像画像で捉えるよう撮像タイミングを制御し、ステップS4の処理が抽出する１組のターゲット距離の数を、物体を捉える撮像画像の数より小さくしたため、移動平均により輝度変化を緩やかにする作用が、物体の反射が形成する輝度変化を阻害しないようにし、且つステップS5の処理で排除できない輝度値の低いノイズを平均化処理で距離画像データに反映されないよう抑制することができる。
【００４９】
(4)自車両前方に所定周期でパルス光を投光し、ターゲット距離に応じて設定される撮像タイミングでターゲット距離から帰ってくる反射光を撮像し、ターゲット距離が連続的に変化するように撮像タイミングを制御し、急峻なノイズによる輝度を排除して演算する移動平均に基づいて、距離画像データの生成に用いられる輝度を補正するステップS3〜S5の処理を行ない、撮像され、ノイズの影響を抑制されたターゲット距離の異なる複数の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表す距離画像データを生成したため、自車両前方の状況を連続的に把握でき、イメージインテンシファイア７ｂに起因し、連続するターゲット距離に単発的に現れるノイズが、光学倍増作用により高い輝度値であることから、移動平均計算範囲の最大輝度値を除くことで、これを除去し、精度のよい距離画像データを生成することができる。
以上、本発明を実施するための最良の形態を、実施例に基づき説明したが、本発明の具体的な構成については、実施例の構成に限らず、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計変更や追加等は許容される。
【００５０】
例えば、投光周期、投光時間、ゲート時間、撮像対象幅、撮像対象距離の変化量、１フレーム中の撮像エリア数は、撮像手段の性能や距離画像データ生成手段の性能に応じて適宜設定することができる。
【図面の簡単な説明】
【００５１】
【図１】実施例１の障害物検出装置１の構成を示すブロック図である。
【図２】１つの撮像エリアを撮像する際の、投光器５の動作（投光動作）とゲート７ａの動作（カメラゲート動作）との時間的な関係を示す図である。
【図３】撮像エリアの一部がオーバーラップする状態を示す図である。
【図４】撮像エリアを無限に増やして撮像を行った場合の時間的な輝度変化を示す模式図である。
【図５】実施例１の画像処理部１０で実行される距離画像データ生成制御処理の流れを示すフローチャートである。
【図６】自車両前方の異なる位置に４人の歩行者A〜Dが存在している状況を示す図である。
【図７】各歩行者A〜Bに対応する画素の時間的な輝度変化を示す模式図である。
【図８】実施例１の距離画像データ生成作用を示す図である。
【図９】実施例１の距離画像データ生成装置において、移動平均を行わない場合の距離画像の例である。
【図１０】実施例１の距離画像データ生成装置において、移動平均回数を２回とした場合の距離画像の例である。
【図１１】実施例１の距離画像データ生成装置において、移動平均回数を３回とした場合の距離画像の例である。
【図１２】実施例１の距離画像データ生成装置において、移動平均回数を２回とし、且つ最大値除去を行った場合の距離画像の例である。
【図１３】実施例１の距離画像データ生成装置において、移動平均回数を３回とし、且つ最大値除去を行った場合の距離画像の例である。
【図１４】実施例１の距離画像データ生成装置において、ノイズが発生している画素位置の同一画素の撮像対象距離と輝度値の関係を示すグラフ図である。
【符号の説明】
【００５２】
１  障害物検出装置
２  距離画像データ生成装置
３  物体認識処理部
４  判断部
５  投光器（投光手段）
５ａ  近赤外線LED
６  対物レンズ
７  光増倍部
７ａ  ゲート
７ｂ  イメージインテンシファイア
８  高速度カメラ（撮像手段）
９  タイミングコントローラ（タイミング制御手段）
１０  画像処理部（距離画像データ生成手段）
５０  ノイズ
１００  （移動平均処理を行わない場合の輝度変化を示す）線
１０１  （移動平均回数を３回とした移動平均処理を行う場合の輝度変化を示す）線
１０２  （最大値除去処理と移動平均回数を３回とした移動平均処理を行う場合の輝度変化を示す）線
【図１】
2010145255.tif 000003
【図２】
2010145255.tif 000004
【図３】
2010145255.tif 000005
【図４】
2010145255.tif 000006
【図５】
2010145255.tif 000007
【図６】
2010145255.tif 000008
【図７】
2010145255.tif 000009
【図８】
2010145255.tif 000010
【図９】
2010145255.tif 000011
【図１０】
2010145255.tif 000012
【図１１】
2010145255.tif 000013
【図１２】
2010145255.tif 000014
【図１３】
2010145255.tif 000015
【図１４】
2010145255.tif 000016