(57)【要約】【課題】  車外監視手段としてのレーダ２とカメラ１を有する車載システムにおいて、カメラ１により得られた画像における画像処理すべき領域（画像処理エリア）を、レーダ２の測定結果に基づいて適切に設定できる車載用画像処理装置であって、分解能の高いレーダを必要としない車載用画像処理装置を提供する。【解決手段】  レーダ２によって検出された物体の測定位置に応じて、前記画像処理エリアの中心位置を決定し、レーダ２から出力される電磁波のビームプロファイルに応じて、前記画像処理エリアの大きさを決定する画像処理装置３を設ける。【選択図】  図１
2006151125.tif 000002
【特許請求の範囲】
【請求項１】
車外に走査しつつ出力した電磁波の反射波に基づいて車外に存在する物体までの距離と方位を測定するレーダと、車外の画像を取得するための撮像手段と、この撮像手段により得られる画像中の所定の画像処理エリアについて画像処理を行う画像処理手段と、を備えた車載用画像処理装置において、
前記レーダによって検出された物体の測定位置に応じて、前記画像処理エリアの中心位置を決定し、前記レーダから出力される電磁波のビームプロファイルに応じて、前記画像処理エリアの大きさを決定する画像処理エリア決定手段を設けたことを特徴とする車載用画像処理装置。
【請求項２】
前記画像処理エリア決定手段は、
前記レーダによって検出された物体の測定位置が複数あり、これら測定位置が前記レーダの分解能以下又は分解能近くに接近している場合には、これらの測定位置を同一物体のものとしてグループ化し、これら測定位置に基づく前記画像処理エリアを一つの画像処理エリアとして統合することを特徴とする請求項１に記載の車載用画像処理装置。
【請求項３】
前記電磁波のビームの断面形状は、円形又は楕円形であることを特徴とする請求項１又は２に記載の車載用画像処理装置。
【請求項４】
前記電磁波のビームの拡がり角は、何れの方向についても、撮像手段の画角に比べて小さいことを特徴とする請求項１〜３の何れかに記載の車載用画像処理装置。
【請求項５】
前記画像処理エリア決定手段は、
自車が走行する路面に平行な平面を仮定し、前記レーダによって検出された物体の測定位置を前記平面に投影し、この投影された位置を２点以上結んでなる線を画像座標に変換し、この変換後の線によって前記画像処理エリアの下限を限定することを特徴とする請求項１〜４の何れかに記載の車載用画像処理装置。
【請求項６】
前記画像処理手段は、
前記変換後の線に接する位置から画像処理のラスタスキャンを開始することを特徴とする請求項５に記載の車載用画像処理装置。
【請求項７】
前記画像処理エリア決定手段は、
前記レーダから出力される電磁波のビーム強度が最大値の半分となる位置に応じて、前記画像処理エリアの大きさを決定することを特徴とする請求項１〜６の何れかに記載の車載用画像処理装置。
【請求項８】
前記画像処理エリア決定手段は、
前記レーダによって検出された物体までの距離が増加するのに応じて、前記画像処理エリアの大きさを小さくすることを特徴とする請求項１〜７の何れかに記載の車載用画像処理装置。
【請求項９】
前記レーダと前記撮像手段の中心軸のなす角度に応じて、前記画像処理エリアの位置を補正する画像処理エリア位置補正手段を備えることを特徴とする請求項１〜８の何れかに記載の車載用画像処理装置。
【請求項１０】
前記画像処理エリア決定手段は、
前記レーダから出力される電磁波の円形又は楕円系のビーム断面形状に、内接又は外接する矩形領域として、前記画像処理エリアを決定することを特徴とする請求項１〜９の何れかに記載の車載用画像処理装置。
【請求項１１】
前記画像処理エリア決定手段は、
前記矩形領域の対角に位置する二つの角位置によって、前記画像処理エリアを特定することを特徴とする請求項１０に記載の車載用画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車外監視手段としてのレーダと撮像手段を有する車載システムに関する。
【背景技術】
【０００２】
車両の先行車追従自動走行機能等を実現するためには、先行車や障害物などの物体を識別してその位置情報などを取得することが必要であり、そのための車外監視手段としては、レーダ（レーザレーダやミリ波レーダなど）や撮像手段（ＣＣＤカメラやＣＭＯＳカメラなど）が用いられる。このうちレーダは、物体までの距離や方位を測定することは比較的高速かつ精度良く可能であるが、物体が何であるか（先行車なのか障害物なのかなど）を正確に判定できないという欠点を持つ。一方、撮像手段は、周知の画像処理によって撮影された画像内に存在するものが何であるかを推定することが可能であるが、画像処理に時間がかかり、十分な応答性（リアルタイム性）を得ることが困難であるという欠点を持つ。
そこで、特許文献１や特許文献２に見られるように、レーダと撮像手段を併用し、レーダの測定結果に基づいて、撮像手段により得られた画像における特定の領域（物体が存在すると推定される領域、以下、画像処理エリアという）を決定し、この領域のみについて画像処理を行う画像処理装置が提案されている。
【０００３】
【特許文献１】特開平７−１２５５６７号公報
【特許文献２】特開平６−１２４３４０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところが、上述した従来の画像処理装置は、以下のような解決すべき問題点を有する。
まず、特許文献１の装置では、当該特許文献１の段落［００３０］の式によって、画像処理を行なう基準点及びエリアを算出しているが、検出された物体の大きさや形状に応じて画像処理エリアが算出されているとはいえず、予め想定された縦横比率に応じて画像設定エリアを算出していることになる。したがって、想定外の形状又は大きさの物体が存在した場合、適切な画像処理エリアを設定できないという問題がある。例えば、自動車を想定していると、人や自転車或いはバイク等に対しては、画像処理エリアが大きくなりすぎてしまい、不適切になる。
【０００５】
また特許文献１には、物体との距離に応じて画像処理エリアのサイズを設定することが記載されているが、自車の直前に自転車などが存在した場合においては、ほぼ全画面が画像処理エリアとなり、合理的とはいえない。また、同じ距離に異なる物体（例えば、大型トラックと自転車）が存在する場合においては、同じ大きさの画像処理エリアを設定してしまうことになり、適切な画像処理エリアを設定できない（何れか一方については、大きすぎるエリアを設定したり、小さすぎるエリアを設定してしまったりする）問題がある。
【０００６】
なお、特許文献１の装置は、水平方向にのみスキャンするレーザレーダを用いている。従って、路面の勾配による前方物体の検出漏れを防止するため、上下方向に長いレーザビームを用いる必要がある。この構成であれば、水平方向の分解能を高く設定することはできるが、上下方向の分解能は低くならざるを得ず、物体からの反射があった場合、実質的にレーザレーダの検知範囲内のどこに物体が存在するかを上下方向については判別することはできない。このため、検出漏れを防止するためには、上下方向については画像処理エリアを特に大きく設定せざるを得ず、画像処理エリアが不適切になる程度が著しい。
【０００７】
次に、特許文献２の装置は、上下左右にスキャンする２次元スキャン方式のレーザレーダを用いており、レーダの測定結果において、距離のデータが同一である測定点が存在する上下左右方向の領域を、物体が存在する領域と判定し、この領域の大きさにある適当な値を掛けることによって物体よりも大きな領域（物体及び物体の周辺を含む領域）を設定し、この領域を画像処理エリアとしている。
このため、この特許文献２の装置では、レーザレーダによって物体が存在する領域を上下及び左右方向について判定すべく、レーダを２次元スキャンするとともに、レーザレーダの発光頻度（レーダの分解能）を上下左右の両方向について相当に高める必要があり、レーダの動作或いは測定データの処理に時間がかかり、リアルタイム処理が困難になる、さらには、消費電力も増えてしまうという問題がある。
【０００８】
そこで本発明は、車外監視手段としてのレーダと撮像手段を有する車載システムにおいて、撮像手段により得られた画像における画像処理すべき領域（画像処理エリア）を、レーダの測定結果に基づいて適切に設定できる車載用画像処理装置であって、分解能の高いレーダを必要としない車載用画像処理装置を提供することを目的としている。
【課題を解決するための手段】
【０００９】
本願の車載用画像処理装置は、車外に走査しつつ出力した電磁波の反射波に基づいて車外に存在する物体までの距離と方位を測定するレーダと、車外の画像を取得するための撮像手段と、この撮像手段により得られる画像中の所定の画像処理エリアについて画像処理を行う画像処理手段と、を備えた車載用画像処理装置において、
前記レーダによって検出された物体の測定位置に応じて、前記画像処理エリアの中心位置を決定し、前記レーダから出力される電磁波のビームプロファイルに応じて、前記画像処理エリアの大きさを決定する画像処理エリア決定手段を設けたものである。
【００１０】
ここで、「ビームプロファイル」とは、ビームの伝搬方向に直交する断面における二次元方向の拡がりを意味し、具体的には、ビームの径、断面積、或いは拡がり角などである。また、「レーダによって検出された物体の測定位置」とは、物体が存在するとして検出された測定点の座標（上下左右前後の３次元の位置情報）を意味し、具体的には、しきい値を越える反射波が受信された時の例えば送信ビームの中心軸位置であり、距離方向については、その時の送信から反射波受信までの遅延時間により計算される距離の位置である。なお、この測定位置は、レーダの分解能に対する物体の大きさによっては、一つの物体に対して走査方向に複数存在する。一般の自動車に対しては、この測定位置が複数検出されるように、一般的な車幅に対して十分小さい走査分解能が設定されるのが通常である。
また「レーダ」は、二方向に走査（スキャン）を行う二次元スキャン方式が望ましいが、一方向にのみ走査を行う一次元スキャン方式でもよい。
【００１１】
本願の車載用画像処理装置によれば、物体が存在するとして検出された測定位置を中心として、レーダのビーム断面に応じた拡がりをもつ領域が、画像処理エリアとして決定される。また、物体がレーダの走査方向にある程度の大きさを持つ場合には、上記測定位置は走査方向に複数存在し、それに対応して画像処理エリアも複数決定される。
このため、ビーム断面の拡がりを適度に設定すれば、決定された画像処理エリア全体（複数ある場合には、これらの集合）は、少なくとも走査方向においては、物体の大きさにかかわらず物体とその周辺を適度に含む適切な領域となる。例えば、人や自転車のように比較的小さな物体の場合には、上記測定位置の数が少なくなり、その分だけ画像処理エリアが走査方向に狭くなる。一方、例えば通常の自動車や大型トラックのように比較的大きな物体の場合には、上記測定位置の数がその大きさに応じて多くなり、その分だけ画像処理エリアが走査方向に広くなる。なお、このように画像処理エリアが適切な大きさになる効果は、二次元スキャン方式のレーダを使用した場合には、両方向について得られる。
【００１２】
また、本願の車載用画像処理装置によれば、上述したようにビーム断面の拡がりに応じて画像処理エリアを決定するため、物体の大きさ自体をレーダによって正確に判定しなくてもよい。このため、二次元スキャン方式のレーダを使用する場合でも、特許文献２の装置のようにレーダの分解能を各方向について高める必要がなく、高い応答性や省エネ性が実現できる。
【００１３】
次に、本願発明の好ましい態様は、レーダによって検出された物体の測定位置が複数あり、これら測定位置がレーダの分解能以下又は分解能近くに接近している場合には、画像処理エリア決定手段が、これらの測定位置を同一物体のものとしてグループ化し、これら測定位置に基づく画像処理エリアを一つの画像処理エリアとして統合する態様である。この場合、同一物体の画像処理エリアが統合され、物体を個々に識別するための画像処理が容易になる利点がある。
【００１４】
また、本願発明の好ましい別の態様は、前記電磁波のビームの断面形状が、円形又は楕円形であることを特徴とするものである。
また、本願発明の好ましい別の態様は、前記電磁波のビームの拡がり角が、何れの方向についても、撮像手段の画角に比べて小さいことを特徴とするものである。この場合、画像処理エリアを、何れの方向についても、撮像手段により得られる画像よりも小さく制限することが可能となり、画像処理の負担を減らす効果が顕著になる。
【００１５】
また、本願発明の好ましい別の態様は、前記画像処理エリア決定手段が、自車が走行する路面に平行な平面を仮定し、前記レーダによって検出された物体の測定位置を前記平面に投影し、この投影された位置を２点以上結んでなる線を画像座標に変換し、この変換後の線によって前記画像処理エリアの下限を限定することを特徴とするものである。この場合、上下方向に走査を行わない一次元スキャン方式のレーダを使用して、上下方向のビームの拡がりを検出漏れがないように十分広く設定した場合でも、画像処理エリアの下限を必要最小限に制限することができ、画像処理エリアの上下方向の無用な拡がりを制限して、それによる画像処理の負担増を回避できる。
なお、自車から見た物体（先行車等）の高さ方向の位置は、路面の形状に依存する。自車と物体間で標高差が存在したとしても、二車が平面の傾いた路面上に存在するのであれば、上記平面の位置を補正することなく上記態様によって画像処理エリアの下限を適度な設定することができる。しかし、自車が水平な路面上に存在し、物体が斜面上に存在する場合は、車両から物体を見ると高い位置（もしくは、低い位置）に見えるため、上記平面の高さ方向の位置を補正する必要がある。そしてこの補正は、次のような方法により可能である。自車の位置はＧＰＳ（全地球測位システム）によって求めることが出来る。また、物体の位置は自車との相対位置から求めることが出来る。これらの現在位置に基づいて、道路地図情報を検索することにより斜度情報を知ることができる。これにより、相対的に、自車から物体が上下のどの位置に見えるかを求めることができ、この結果に応じて上記平面の高さ方向の位置を補正することによって、正しく画像処理エリアの下限を求めることが出来る。また、ＧＰＳを用いるのではなく、画像処理により路上の白線などの形状変化から路面の上下変化を求めることが出来るので、同様に自車と物体との相対的な上下位置関係を求めることが出来る。
また上記態様の場合、前記画像処理手段が、前記変換後の線に接する位置から画像処理のラスタスキャンを開始する態様とすることが望ましい。このようにすると、物体の下部位置から画像処理を開始することになり、物体をより早く画像処理によって識別できる。
【００１６】
また、本願発明の好ましい別の態様は、前記画像処理エリア決定手段が、前記レーダから出力される電磁波のビーム強度が最大値の半分となる位置に応じて、前記画像処理エリアの大きさを決定するものである。これは、ビーム断面の拡がり（外縁）をどこに設定するかの態様であり、ビーム強度が最大値の半分となる位置（或いはその近傍）を、ビーム断面の外縁とするものである。ビーム強度は、中心から外側に向かって当然低下する傾向にあるが、例えばビーム強度がゼロとなる位置を外縁としたのでは、画像処理エリアがあまりに広くなり、画像処理エリアをあまり最適なものとすることができないが、半分程度のところであれば、より最適な大きさとすることができる。
【００１７】
また、本願発明の好ましい別の態様は、前記画像処理エリア決定手段が、レーダによって検出された物体までの距離が増加するのに応じて、画像処理エリアの大きさを小さくするものである。具体的には、例えば画像処理エリアの大きさを決めるビームプロファイル（ビームの径、断面積、或いは拡がり角）を距離の増加に応じて小さく設定するものである。この態様であると、物体までの距離が離れても、画像処理エリアを必要最小限の最適な大きさとすることができる。遠方からの反射光はビーム中心の強度が高いところからしか返ってこなくなり、物体はビームのより中心側に存在するようになるからである。
【００１８】
また、本願発明の好ましい別の態様は、レーダと撮像手段の中心軸のなす角度に応じて、画像処理エリアの位置を補正する画像処理エリア位置補正手段を備えるものである。この態様であると、レーダと撮像手段の中心軸が平行でないときでも、適正な位置に画像処理エリアを設定できる。
【００１９】
また、本願発明の好ましい別の態様は、前記画像処理エリア決定手段が、レーダから出力される電磁波の円形又は楕円系のビーム断面形状に、内接又は外接する矩形領域として、前記画像処理エリアを決定することを特徴とするものである。この態様であると、画像処理エリアが矩形であるため、画像処理エリアの設定が容易になる。
なおこの場合、前記画像処理エリア決定手段が、前記矩形領域の対角に位置する二つの角位置によって、前記画像処理エリアを特定する態様が望ましい。このようにすれば、前記画像処理エリアを特定するための処理データ量が少なくてすむという利点がある。
【発明の効果】
【００２０】
本発明の車載用画像処理装置によれば、画像処理エリアを物体の大きさにかかわらず適切に設定できるとともに、分解能の高いレーダを必要とせず、高い応答性や省エネ性が実現できる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の実施の形態を図面に基づいて説明する。
（第１形態例）
図１（ａ）は、本例の車載用画像処理装置を含む車外監視システムの構成を説明するブロック図、図１（ｂ）はレーザレーダの投光ビーム断面等を説明する図である。また図２（ａ）は、レーザレーダの投光ビームとスキャンの方向を示す平面図であり、図２（ｂ）は、レーザレーダの投光ビームを示す側面図である。
【００２２】
まず、全体構成について説明する。
本システムは、図１（ａ）に示すように、カメラ１（撮像手段）と、レーザレーダ（Ｌ／Ｒ）２と、画像処理装置３（画像処理エリア決定手段、画像処理手段）とを備える。
レーザレーダ２は、水平方向に走査を行う一次元スキャン方式のレーザレーダであり、自車の前方に向けて水平に搭載されている（図４参照）。このレーダ２の投光ビームは、図１（ｂ）に示す如く断面が縦長の楕円形状であり、図２に示すように、その横拡がり角αは縦拡がり角βよりも格段に小さい。また、レーダ２の投光ビームの横拡がり角αも縦拡がり角βも、撮像手段であるカメラ１の画角（視野）に比べて格段に小さい（図１３（ａ）参照）。なお、ビーム拡がり角αとβ（即ち、ビーム断面の拡がり）は、ビーム強度の断面方向の分布をガウス分布（正規分布）と仮定し、その分布における例えば３σ（σは標準偏差）までの範囲として定義される。
次にカメラ１は、例えばＣＣＤ又はＣＭＯＳなどの周知のデバイスよりなる撮像手段であり、この場合、１個だけ設置されている。またカメラ１は、例えば自車前方の画像が得られるように、自車の前方に向けて略水平に搭載される（図４参照）。なお、カメラ１とレーザレーダ２の中心軸（光軸）は、相互に平行であることが望ましいが、平行でなくてもよい。
【００２３】
画像処理装置３は、マイクロコンピュータ（以下、マイコンという）を含む回路よりなり、レーザレーダ２を制御し、レーザレーダ２の測定結果から、カメラ１により得られる画像中の特定の領域（画像処理エリア）を決定し、この画像処理エリアについて画像処理を行うことによって、車両前方の物体判別等を行って、その情報を車両の他のコントローラに出力するものである。
以下、この画像処理装置３が実行する処理を、図７のフローチャート等を参照しつつ説明する。
【００２４】
図７に示すように、画像処理装置３は、まず、ステップＳ１において、レーザビームスキャン、即ちレーザレーダ２による１回の走査分の測定動作を行う。
次いでステップＳ２では、ステップＳ１のレーダ２の測定動作によって検出された物体の測定位置（Ｎ個の測距ポイント）のデータを一つ取得する。具体的には、測距ポイントの座標Ｃｉ（Ｈ、ＹＬｉ、ＺＬｉ）のデータを一つ取得する（Ｎ個のうちの一つを取得する）。ここで、Ｈは、図４に示すＸ方向（上下方向）の座標値であり、レーダ２の投光ビームの中心軸の高さに相当する値である。また、ＹＬｉは、図４に示すＹ方向（左右方向）の座標値であり、しきい値を超える反射光が受信された際の走査角度に基づいて求められる。また、ＺＬｉは、図４に示すＺ方向（前後方向、距離方向）の座標値であり、しきい値を超える反射光が受信された際の発光からの遅延時間に基づいて求められる。なお、この座標Ｃｉに相当する画像上の位置は、画像処理エリアの中心位置とされる。
【００２５】
次にステップＳ３で、予め設定されたビーム拡がり角αとβ（例えば、強度分布が３σの位置）から、ステップＳ２で求めた測定位置の距離ＺＬｉにおけるビーム断面の径ａ，ｂを、数１に示す式によって計算する。なお、ビーム断面の径ａ，ｂは、図５（ａ）に示すように、ビーム断面の外縁に相当する楕円の短軸の半分の長さａと、長軸の半分の長さｂである。なお、図１（ｂ）に示すように、ビーム断面の拡がりを、ガウス分布の３σの半分の幅（半値幅）をもつ楕円とし、この楕円から上記径ａ，ｂを求めてもよい。
【００２６】
【数１】
2006151125.tif 000003
【００２７】
次いでステップＳ４では、ステップＳ２で求めた測距ポイントの座標Ｃｉを中心とする楕円（ステップＳ３で求めた径ａ，ｂの楕円）に外接する矩形領域を画像処理エリアとして、この矩形領域を特定する位置を取得する。この場合、前記矩形領域の対角に位置する二つの角位置、即ち、左上座標Ａｉ（Ｈ＋ｂ、ＹＬｉ−ａ、ＺＬｉ）と、右下座標Ｂｉ（Ｈ−ｂ、ＹＬｉ＋ａ、ＺＬｉ）とを求める。なお、左下座標と右上座標を求めてもよいことはいうまでもない。また、外接でなく、内接する矩形領域を画像処理エリアとして求めてもよい。
【００２８】
次にステップＳ５では、ステップＳ２及びＳ４で得られた座標Ｃｉ，Ａｉ，Ｂｉ（Ｌ／Ｒ座標系）をカメラ座標系（Ｘｃ、Ｙｃ、Ｚｃ）に変換し、その後ステップＳ６で、さらに画像座標系（Ｕ、Ｖ）に変換する。
なお、図４や図５（ｂ）に示すように、各座標系の符号と方向の関係を定めた場合、Ｌ／Ｒ（ＸＬ、ＹＬ、ＺＬ）とカメラ座標系（Ｘｃ、Ｙｃ、Ｚｃ）と画像座標系（Ｕ、Ｖ）の間には、次の数２及び数３に示す関係式が成り立つ。上記座標変換は、この関係式を用いて行う。数２において、Ｒは３×３の行列、Ｔは３×１の行列を表す。また、ＲとＴは、周知のカメラキャリブレーションで予め設定しておく。また数３において、Ｆはカメラ１の焦点距離、Ｕ０，Ｖ０は画像中心、ｄＵ，ｄＶは１画素の各方向の長さである。
【００２９】
【数２】
2006151125.tif 000004
【００３０】
【数３】
2006151125.tif 000005
【００３１】
次にステップＳ７では、全ての測距ポイントの座標Ｃｉ（ｉ＝０、…、Ｎ−１）のデータについてステップＳ２〜Ｓ６の処理が完了であればステップＳ８に進み、そうでなければステップＳ２に戻り、次の測距ポイントについてステップＳ２〜Ｓ６の処理を繰り返す。
次にステップＳ８では、同一距離にある測距ポイント（距離ＺＬｉのデータが所定の許容誤差範囲内で略同じである測距ポイント）を、同一物体のものとしてグループ化する（一つのグループとして関連付ける）。但しここでは、同一距離であっても、測定位置が前記レーダの分解能以下又は分解能近くに接近している場合にのみ、それら測定位置をグループ化する。例えば、投光ビームの横方向（Ｙ方向）の分解能（単位はラジアン）に距離データを乗算して得られた間隔に対して、測定位置の横方向の間隔が等しいか小さいときに、それら特定位置の上記グループ化を行う。なお、測定位置の横方向の間隔が分解能に等しいか、小さい場合であっても、距離ＺＬｉが所定の許容誤差範囲を越えている場合は、別のグループとして扱う。
【００３２】
次にステップＳ９では、ステップＳ１でグループ化した各測定位置に基づく前記画像処理エリアを一つの画像処理エリアとして統合する。具体的には、統合された画像処理エリアを特定するデータとして、統合されたエリアの左上座標と右下座標を求める。ここで、左上座標は、複数あるグループ化された左上座標Ａｉのうちで最も左上の座標であり、右下座標は、複数あるグループ化された左上座標Ｂｉのうちで最も右下の座標である。
【００３３】
次にステップＳ１０では、ステップＳ９で統合されたエリア及び統合されなかったエリアの画像データ上のアドレスを計算する。
次いでステップＳ１１では、ステップＳ１０で特定された画像処理エリアについて、所定の画像処理を行い、車両判別等を実現し、その結果を車両のコントローラ等に出力する。ステップＳ１１を経ると、一例の処理を終了する。
なお、次の走査タイミングで、またステップＳ１から処理が繰り返される。
【００３４】
以上説明した制御処理によれば、自車の前方に先行車１０が１台いる場合（図３（ａ）のような画像がカメラ１により撮影されている場合）、ステップＳ１の測定動作によって、例えば図３（ａ），（ｂ）に示すような複数の測距ポイントＣｉ（ｉ＝０、…、Ｎ−１）が得られる。
そして、ステップＳ２〜Ｓ６の処理によって、図６（ａ）に示すように、一つの測距ポイントＣｉに対して一つの矩形領域Ｋｉが求められ、ステップＳ２〜Ｓ６が繰り返されることによって、図６（ｂ）に示すように（煩雑を避けるため、図６（ｂ）では測距ポイントＣ１〜Ｃ３と矩形領域Ｋ１〜Ｋ３のみに符号を付している）、全ての測距ポイントＣｉに対してそれぞれ矩形領域Ｋｉが求められる。その後ステップＳ８〜Ｓ１０の処理によって、図６（ｃ）に示すように、各矩形領域Ｋｉが統合された矩形領域Ｋが最終的に画像処理エリアとして決定される。
なお、例えば通常の自動車よりも横幅の狭い自転車などに対しては、自動車に比較して統合される矩形エリアの数（即ち、測距ポイントの数）が少なくなり、その分だけ最終的な画像処理エリアが狭くなり、一方トラックなどの大型な物体に対しては、その分だけ最終的な画像処理エリアが広くなり、結局、物体の横幅に応じた適度な横幅をもつ画像処理エリアが決定される。
【００３５】
本例の車載用画像処理装置によれば、物体が存在するとして検出された測定位置を中心として、レーダのビーム断面に応じた拡がりをもつ領域が、画像処理エリアとして決定される。また、物体がレーダの走査方向にある程度の大きさを持つ場合には、上記測定位置は走査方向に複数存在し、それに対応して画像処理エリアも複数決定される。
このため、ビーム断面の拡がりを適度に設定すれば、決定された画像処理エリア全体（複数ある場合には、これらの集合）は、少なくとも走査方向においては、物体の大きさにかかわらず物体とその周辺を適度に含む適切な領域となる。例えば、人や自転車のように比較的小さな物体の場合には、上記測定位置の数が少なくなり、その分だけ画像処理エリアが走査方向に狭くなる。一方、例えば通常の自動車や大型トラックのように比較的大きな物体の場合には、上記測定位置の数がその大きさに応じて多くなり、その分だけ画像処理エリアが走査方向に広くなる。
【００３６】
また本例によれば、前述したようにビーム断面の拡がりに応じて画像処理エリアを決定するため、物体の大きさ自体をレーダによって正確に判定しなくてもよい。このため、特許文献２の装置のようにレーダの走査方向の分解能を高める必要がなく、高い応答性や省エネ性が実現できる。
また本例では、レーダによって検出された物体の測定位置が複数あり、これら測定位置がレーダの分解能以下又は分解能近くに接近している場合には、これらの測定位置を同一物体のものとしてグループ化し、これら測定位置に基づく画像処理エリアを一つの画像処理エリアとして統合する。このため、同一物体の画像処理エリアが統合され、物体を個々に識別するための画像処理が容易になる利点がある。
【００３７】
また本例では、レーダ２のビームの拡がり角が、何れの方向についても、撮像手段（カメラ１）の画角に比べて小さい。このため、画像処理エリアを、何れの方向についても、撮像手段により得られる画像よりも小さく制限することが可能となり、画像処理の負担を減らす効果が顕著になる。なお上記形態例において、走査を行わない上下方向については、ビームの拡がり角をカメラの画角と同じか広く設定してもよい。この場合でも走査方向（横方向）については、画像処理エリアを制限することができる。
また本例では、レーダから出力される電磁波の円形又は楕円系のビーム断面形状に、内接又は外接する矩形領域として、画像処理エリアを決定する。このため、画像処理エリアが矩形となり、画像処理エリアの設定が容易になる。特に本例では、矩形領域の対角に位置する二つの角位置によって、画像処理エリアを特定するため、画像処理エリアを特定するための処理データ量が少なくてすむという利点がある。
【００３８】
（第２形態例）
次に、レーダの走査を行わない上下方向における下限側で、画像処理エリアをさらに制限する態様（第２形態例）を説明する。なお、以下では、第１形態例と同様の構成については説明を省略する。
この例では、前述した図７の一連の処理におけるステップＳ１０とステップＳ１１の間において、画像処理装置３が次のような処理を実行する。
まず、自車が走行する路面に平行な平面１１（例えば、自車が走行するタイヤ接地平面そのもの、或いはこの平面を上下に所定量平行移動させた平面）を仮定する。この平面１１は、例えばカメラ１と車体（タイヤ接地平面）とが平行な場合には、カメラ座標系（Ｘｃ、Ｙｃ、Ｚｃ）においては、高さ方向の座標Ｘｃのデータ（例えば、タイヤ接地平面からカメラ１の光軸までの高さのデータ）によって特定できる。またこの平面１１は、路面が平坦である場合には、図８（ａ）に示す如く、先行車１０等が走行する路面にも当然に平行である。次に、レーダによって検出された物体の測定位置（例えば、前述のステップＳ５で得られた測距ポイントＣｉの座標データ）を、図８（ｂ）に示すように平面１１に投影し、この投影された投影ポイントＣｉ´の座標を求める。次いで、図９（ａ）に示すように、これら投影ポイントＣｉ´を２点以上結んでなる線Ｌを求める。そして、図９（ｂ）や図１０（ａ）に示すように、この線Ｌを画像座標に変換し、図１０（ｂ）に示すようにこの変換後の線Ｌによって前記画像処理エリアＫの下限を限定して、最終的な画像処理エリアＫ´を決定する。
【００３９】
本例の場合、上下方向に走査を行わない一次元スキャン方式のレーダを使用して、上下方向のビームの拡がりを検出漏れがないように十分広く設定した場合でも、画像処理エリアの下限を必要最小限に制限することができ、画像処理エリアの上下方向の無用な拡がりを制限して、それによる画像処理の負担増を回避できる。
なおこの場合、図１１（ａ）に示すように、画像座標への変換後の線Ｌ（下限の線）に接する位置から画像処理のラスタスキャンを開始する態様とすることが望ましい。このようにすると、物体の下部位置から画像処理を開始することになり、物体をより早く画像処理によって識別できる。なお、図１１（ａ）において、符号１２はラスタスキャンの特徴抽出ウインドウ（複数の画素よりなる領域、例えば図１１（ｂ）に示すような３×３ピクセルの領域）を示し、図１１（ｂ）は、このウインドウの画像データ例（例えば画像の明暗の値）を示す図である。ラスタスキャンは、このようなウインドウを例えば図１１（ａ）に矢印で示すように、ジグザグに走査しつつ、画像データの積和演算による物体画像のエッジ抽出などを行うためのものである。
【００４０】
（第３形態例）
次に、レーダ２が測定した物体までの距離が増加するのに応じて、図１２に示すように、画像処理エリア（ビーム断面の拡がり）の大きさを小さくする態様（第３形態例）を説明する。
この例では、前述した図７の一連の処理におけるステップＳ３において、画像処理装置３が、例えば次の処理（イ）〜（ハ）のうちの何れかを実行する。
（イ）数４に示す関係式に基づき、レーダの測定結果としてステップＳ２で得られた距離ＺＬのデータに応じてビーム径を変更する。数４において、ａは変更前のビーム径、ａ´は変更後のビーム径、ｄは基準となる距離データ、ｄ´は測定結果としての距離データである（図１２（ａ），（ｂ）参照）。また、Ｋは調整のための定数である。
【００４１】
【数４】
2006151125.tif 000006
【００４２】
（ロ）数５に示す関係式に基づき、前記距離ＺＬのデータに応じてビーム断面積が変化するように、ビーム径を変更する。数５において、Ｓは変更前のビーム断面積、Ｓ´は変更後のビーム断面積、ｄは基準となる距離データ、ｄ´は測定結果としての距離データである（図１２（ａ），（ｂ）参照）。また、Ｋは調整のための定数である。
【００４３】
【数５】
2006151125.tif 000007
【００４４】
（ハ）数６に示す関係式に基づき、前記距離ＺＬのデータに応じてビーム拡がり角を変化させ、その結果に応じてビーム径を変更する。数６において、θは変更前のビーム拡がり角、θ´は変更後のビーム拡がり角、ｄは基準となる距離データ、ｄ´は測定結果としての距離データである（図１２（ｃ），（ｄ）参照）。また、Ｋは調整のための定数である。
【００４５】
【数６】
2006151125.tif 000008
【００４６】
なお本例では、便宜上ビーム断面が円形である場合について説明したが、第１形態例のように楕円形である場合にも、本例と同様の態様とすることができる。長軸側と短軸側の２種類のビーム径を、同様に変更すればよい。
以上説明した第３形態例の態様であると、物体までの距離が離れても、画像処理エリアを必要最小限の最適な大きさとすることができる。遠方からの反射光はビーム中心の強度が高いところからしか返ってこなくなり、物体はビームのより中心側に存在するようになるからである。
【００４７】
（第４形態例）
次に、レーダ２とカメラ１の中心軸のなす角度に応じて、画像処理エリアの位置を補正する態様（第４形態例）を説明する。
この例では、前述した図７の一連の処理における例えばステップＳ２とステップＳ３の間において、画像処理装置３が次のような補正処理を実行する。
すなわち、レーダ２とカメラ１の中心軸の上下方向のなす角度を、ずれ角ｄθ（図１４（ａ）参照）とした場合、各測距ポイントＣｉのＸＬ方向（上下方向）の座標データを、「Ｈ」から「Ｈ＋ＺＬ×ｔａｎ（ｄθ）」に変更する。
【００４８】
図１３（ａ）に示すように、レーダ２とカメラ１の中心軸が平行な状態で座標変換式を設定した場合、レーダ２とカメラ１の中心軸が平行状態に維持されている限り、ビームエリアの位置（即ち、画像処理エリアの位置）は、図１３（ｂ）に示す如く適正状態に維持される。ところが、なんらかの原因で図１４（ａ）に示す如く上記各軸が平行でなくなると、そのままでは図１４（ｂ）に示す如く画像処理エリアが適正位置からずれてしまう。しかし本形態例であると、そのずれ角ｄθが分かっている場合（例えば、先行車が接近するとそれに応じて光軸を上向きに変更する機能と、そのための角度センサとを持つレーダの場合）には、画像処理エリアを、上記補正処理によって適正状態（図１３（ｂ）に示す位置）に修正することができるという効果がある。
【００４９】
なお、本発明は上述した形態例に限られず、各種の変形や応用があり得る。
例えば、二次元スキャン方式のレーダをもつシステムに本発明を適用してもよい。この場合、前述したように画像処理エリアが適切な大きさになる効果は、各走査方向について得られる。
また、電磁波のビームの断面形状は、円形であってもよい。例えば二次元スキャン方式のレーダの場合には、上下方向での検出漏れを防止するために上下方向にビームを長くする必要性が低下するので、円形にし易い。
【図面の簡単な説明】
【００５０】
【図１】（ａ）は車載用画像処理装置を含む車外監視システムの構成を説明するブロック図、（ｂ）はレーザレーダの投光ビーム断面等を説明する図である。
【図２】（ａ）はレーザレーダの投光ビームとスキャンの方向を示す平面図であり、（ｂ）はレーザレーダの投光ビームを示す側面図である。
【図３】（ａ）はカメラによる画像例と画像中の測距ポイントの例を示す図、（ｂ）は測距ポイントとレーダ視野との関係を示す平面図である。
【図４】カメラとレーダの配置関係や座標系を示す図である。
【図５】（ａ）は画像処理エリアとなる矩形領域を説明する図、（ｂ）は画像座標系とカメラ座標系の関係を示す図である。
【図６】（ａ）は一つの測距ポイントから設定された一つの画像処理エリアを示す図、（ｂ）は複数の画像処理エリアが統合されたものを示す図である。
【図７】画像処理エリアを決定する制御処理を説明するフローチャートである。
【図８】（ａ）は測距ポイントを投影する平面を示す図、（ｂ）は投影した測距ポイントを示す図である。
【図９】（ａ）は投影した測距ポイントを結んだ線を示す図、（ｂ）は画像上におけるその線を示す図である。
【図１０】（ａ）は上記線によって画像処理エリアの下限を制限する前の状態を示す図、（ｂ）は上記線によって画像処理エリアの下限を制限した後の状態を示す図である。
【図１１】（ａ）はラスタスキャンを説明する図、（ｂ）はラスタスキャンのウインドウを説明する図である。
【図１２】（ａ）は測定された距離が基準値である場合のビーム断面の拡がりを示す図、（ｂ）は測定された距離が基準値よりも遠い場合のビーム断面の拡がりを示す図、（ｃ）は測定された距離が基準値である場合のビーム拡がり角を示す図、（ｄ）は測定された距離が基準値よりも遠い場合のビーム拡がり角を示す図である。
【図１３】（ａ）はカメラとレーダの中心軸が平行な状態を示す図、（ｂ）は適正なビームエリア（画像処理エリア）の位置を示す図である。
【図１４】（ａ）はカメラとレーダの中心軸が平行でない状態を示す図、（ｂ）は下方にずれたビームエリア（画像処理エリア）の位置を示す図である。
【符号の説明】
【００５１】
１  カメラ（撮像手段）
２  レーザレーダ
３  画像処理装置（画像処理手段、画像処理エリア決定手段）
【図１】
2006151125.tif 000009
【図２】
2006151125.tif 000010
【図３】
2006151125.tif 000011
【図４】
2006151125.tif 000012
【図５】
2006151125.tif 000013
【図６】
2006151125.tif 000014
【図７】
2006151125.tif 000015
【図８】
2006151125.tif 000016
【図９】
2006151125.tif 000017
【図１０】
2006151125.tif 000018
【図１１】
2006151125.tif 000019
【図１２】
2006151125.tif 000020
【図１３】
2006151125.tif 000021
【図１４】
2006151125.tif 000022