(57)【要約】【課題】車速の増加に伴い、他車線の状況をより遠方まで把握できるようにする。【解決手段】側方カメラ１３Ｌ、１３Ｒと、後方カメラ１３Ｂとを備え、側方カメラ１３Ｌ、１３Ｒによる画像と、後方カメラ１３Ｂによる画像とから、特定の抽出画角α、βの範囲で、画像を抽出し、これらの画像を貼り合わせる。特に、車速の上昇に応じて抽出画角βの角度を増し、抽出画角αの角度を減らすことにより、高速道路での車線変更の際において隣車線の状況をより遠方まで把握することができる。【選択図】図２
2004312523.tif 000002
【特許請求の範囲】
【請求項１】
車両の後方へ向けて撮像し、該後方の画像を取得する後方画像取得手段と、
車両の側方へ向けて撮像し、該側方の画像を取得する側方画像取得手段と、
車両の速度を検出する車速検出手段と、
前記取得した後方及び側方の画像から、抽出する画像領域を前記検出した車速に応じて決定する画像領域決定手段と、
前記決定された後方の画像領域及び側方の画像領域を合成する合成手段と、
前記合成された画像を車両内の表示装置に表示する表示手段と、
を備えたことを特徴とする車載画像処理装置。
【請求項２】
前記画像領域決定手段は、前記車両の速度が高くなるほど前記側方の画像領域の抽出割合を大きくする
ことを特徴とする請求項１に記載の車載画像処理装置。
【請求項３】
車両の現在位置を検出する現在位置検出手段と、
道路情報が記憶された道路情報記憶手段と、
前記車両の現在位置及び前記道路情報に基づき現在位置における道路状況を検出する道路状況検出手段と、を備え、
前記画像領域決定手段は、更に前記現在位置における道路状況の変化に基づいて、前記後方の画像及び前記側方の画像から抽出する画像領域を決定する
ことを特徴とする請求項１又は請求項２に記載の車載画像処理装置。
【請求項４】
車両の後方へ向けて撮像し、該後方の画像を取得する後方画像取得手段と、
車両の側方へ向けて撮像し、該側方の画像を取得する側方画像取得手段と、
車両の現在位置を検出する現在位置検出手段と、
道路情報が記憶された道路情報記憶手段と、
前記車両の現在位置及び前記道路情報に基づき現在位置における道路状況を検出する道路状況検出手段と、
前記現在位置における道路状況の変化に基づいて、前記後方の画像及び前記側方の画像から抽出する画像領域を決定する画像領域決定手段と、
前記決定された後方の画像領域及び側方の画像領域を合成する合成手段と、
前記合成された画像を車両内の表示装置に表示する表示手段と、
を備えたことを特徴とする車載画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、車両の画像処理装置にかかり、詳しくは、周囲の車両によって生じる死角領域の画像を生成し、運転者による車両周囲の確認を補助する車載画像処理装置に関するものである。
【０００２】
【従来の技術】
運転者は、車両を走行操作する際、車両周囲の状況を視覚により確認を行うが、自車の車体により、或は障害物の存在などにより、運転者から視覚で認識できない死角領域が発生する。従来、このような死角領域の運転者による認識を補助するため、車体に取り付けられたカメラによって死角領域の画像を採取し、その画像を車内の画面に表示して、運転者の補助を行うものが提案されている。例えば、このような技術としては、以下に掲げるものがある。
【０００３】
【特許文献１】
特開２００２−１６６８０２号
【０００４】
【発明が解決しようとする課題】
一方、高速道路などを走行している場合では、車速が比較的速い状態で、方向舵を切る必要があり、他の車両との相対速度も大きい場合がある。このような場合、車線を変更するには、進入する車線に走行車両が存在するかの確認を要するが、後方に車両が存在すると、その後方車両の陰となってしまう領域（死角領域）が生じる。この死角領域に、高速で近づいてくる他車が存在する場合、この車両を確実に認識することは難しい。特に、制限速度が高い高速道路では、他車との相対速度が大きい場合があり、他車の確認を要する死角領域が拡大している。
上記特許文献１に記載の発明では、死角領域において対象物が高速で移動してくることは想定していない。つまり、死角領域において、高速で近接してくる他車を認識することは困難な場合がある。
【０００５】
この発明は、運転者の死角領域を認識する画像処理装置において、死角領域を認識するための領域を、車両の走行速度に応じて変更できる画像処理装置を提供することを目的とするものである。
【０００６】
【課題を解決するための手段】
以上のような目的は、以下の本発明により達成される。
（１）  車両の後方へ向けて撮像し、該後方の画像を取得する後方画像取得手段と、
車両の側方へ向けて撮像し、該側方の画像を取得する側方画像取得手段と、
車両の速度を検出する車速検出手段と、
前記取得した後方及び側方の画像から、抽出する画像領域を前記検出した車速に応じて決定する画像領域決定手段と、
前記決定された後方の画像領域及び側方の画像領域を合成する合成手段と、
前記合成された画像を車両内の表示装置に表示する表示手段と、
を備えたことを特徴とする車載画像処理装置。
【０００７】
（２）  前記画像領域決定手段は、前記車両の速度が高くなるほど前記側方の画像領域の抽出割合を大きくする
ことを特徴とする上記（１）に記載の車載画像処理装置。
【０００８】
（３）  車両の現在位置を検出する現在位置検出手段と、
道路情報が記憶された道路情報記憶手段と、
前記車両の現在位置及び前記道路情報に基づき現在位置における道路状況を検出する道路状況検出手段と、を備え、
前記画像領域決定手段は、更に前記現在位置における道路状況の変化に基づいて、前記後方の画像及び前記側方の画像から抽出する画像領域を決定する
ことを特徴とする上記（１）又は（２）に記載の車載画像処理装置。
【０００９】
（４）  車両の後方へ向けて撮像し、該後方の画像を取得する後方画像取得手段と、
車両の側方へ向けて撮像し、該側方の画像を取得する側方画像取得手段と、
車両の現在位置を検出する現在位置検出手段と、
道路情報が記憶された道路情報記憶手段と、
前記車両の現在位置及び前記道路情報に基づき現在位置における道路状況を検出する道路状況検出手段と、
前記現在位置における道路状況の変化に基づいて、前記後方の画像及び前記側方の画像から抽出する画像領域を決定する画像領域決定手段と、
前記決定された後方の画像領域及び側方の画像領域を合成する合成手段と、
前記合成された画像を車両内の表示装置に表示する表示手段とを備えたことを特徴とする車載画像処理装置。
【００１０】
【発明の実施の形態】
以下、本発明の好適実施形態について、添付図面に基づいて詳細に説明する。
図１は本発明の車載画像処理装置１の構成を示すブロック図である。車載画像処理装置１は、画像処理を行う演算処理装置１２と、車体に取り付けられた３つの画像取得手段としてのカメラ１３Ｂ、１３Ｒ、１３Ｌと、画像を表示する表示手段としての表示装置１４と、現在位置検出装置１５と、入力装置１８と、距離測定手段としての測距センサ１９と、記憶装置１０とを備え、これらの装置は、システムバス１１を介して相互に接続されている。
【００１１】
図２は、本発明の車載画像処理装置１を搭載している車２１の全体平面図である。車２１には、車体の側方に向けて設けられた側方画像取得手段としてのカメラ１３Ｒ、１３Ｌが、車体の後端部には、後方画像取得手段としてのカメラ１３Ｂがそれぞれ設けられている。これらのカメラ１３Ｒ、１３Ｌ、１３Ｂは、それぞれ魚眼レンズを用いており、例えばＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅｓ）により、光（画像）信号を電気信号に変換する構成を備えている。それぞれのカメラ１３Ｒ、１３Ｌ、１３Ｂは、カメラＡ／Ｄ変換器１３１Ｒ、１３１Ｌ、１３１Ｂを介してシステムバス１１に各々接続される。カメラ１３Ｒは、車２１の右側方をレンズの光軸として、その周囲の景色を画像として取得する。カメラ１３Ｌは、車２１の左側方をレンズの光軸として、その周囲の景色を画像として取得する。カメラ１３Ｂは、自車２１の後方をレンズの光軸として、その周囲の景色を画像として取得する。この実施形態では、魚眼レンズの画角は、１８０度としている。
【００１２】
各カメラ１３Ｒ、１３Ｌ、１３Ｂから出力された画像信号は、Ａ／Ｄ変換器１３１Ｒ、１３１Ｌ、１３１Ｂによって、それぞれデジタル信号に変換される。また、接続されたカメラ１３Ｒ、１３Ｌ、１３Ｂが、デジタル信号出力が可能なものである場合には、Ａ／Ｄ変換器１３１Ｒ、１３１Ｌ、１３１Ｂには不要である。
【００１３】
現在位置検出手段としての機能する現在位置検出装置１５は、舵角センサ１５１、車速センサ１５２、ＧＰＳ受信装置１５３、方位センサ１５４、距離センサ１５５とを備えている。舵角センサ１５１は、車の操舵角を検出する。操舵角は、ハンドルの回転角または駆動輪の角度を検出して得られる。車速検出手段としての車速センサ１５２は、車両の走行速度を検出する。ＧＰＳ受信装置１５３は、車両の絶対位置を検出する。方位センサ１５４は、車両の向きを検出する。距離センサ１５５は、車両の移動距離を検出する。
【００１４】
画像表示装置１４は、例えば液晶ディスプレイ等で構成され、合成画像データメモリ１７Ｃに格納された合成画像が表示される。画像表示装置１４へ送られるデータは、Ｄ／Ａ変換器１４１を介してアナログ信号に変換される。また、画像表示装置１４がデジタル信号入力可能な場合には、Ｄ／Ａ変換器は不要となる。
【００１５】
測距センサ１９は、後方車両との距離を測定するセンサであり、例えば超音波、マイクロ波、ミリ波レーダ等が使用され、この実施形態では、超音波が使用されている。発信された超音波は、後方車両に反射し、この反射超音波によって、後方車両との距離の測定を行う。測距センサ１９は、インターフェース１９１を介して、システムバス１１に接続されている。入力装置１８は、キーボード、ポインティングディバイス、画像表示装置１４の画面上にマトリックス状に感圧素子を配置した透明なパネルを配置して構成されたタッチスクリーンなどによって構成される。この入力装置１８は、インターフェース１８１を介してバスライン１１に接続されている。入力装置１８を介して、運転者により初期値入力、モード変換等の入力操作を行う。
【００１６】
記憶装置１０は、カメラ１３Ｒ、１３Ｌ、１３Ｂや現在位置検出装置１５、入力装置１８、測距センサ１９などから入力されたデータを記憶する入力データメモリ１６と、視点変換した画像を記憶する視点変換画像データメモリ１７Ｓと、合成された画像を記憶する合成画像データメモリ１７Ｃと、画像処理用設定データメモリ１７Ａとを備えている。
【００１７】
入力データメモリ１６は、後方画像データメモリ１６１と、左側方画像データメモリ１６２と、右側方画像データメモリ１６３と、位置データメモリ１６４と、時刻データメモリ１６５とを備えている。後方画像データメモリ１６１は、カメラ１３Ｂによって取得された画像を格納し、左側方画像データメモリ１６２は、カメラ１３Ｌによって取得それた画像を格納し、右側方画像データメモリ１６３は、カメラ１３Ｒによって取得それた画像を格納する。位置データメモリ１６４には、現在位置検出装置１５で検出された位置データ（例えば、ＧＰＳ受信装置１５３で検出された車両の絶対位置、方位センサ１５４で検出された方位など）が格納され、時刻データメモリ１６５には、ＧＰＳ受信装置１５３やリアルタイムクロック（図示せず）を用いて、位置データを検出した時の時刻が格納される。
【００１８】
視点変換画像データメモリ１７Ｓは、後方画像データメモリ１７Ｂと、左側方画像データメモリ１７Ｌと、右側方画像メモリ１７Ｒとを備えている。後方画像データメモリ１７Ｂには、最初に取得された後方画像を運転者の視点位置から視認した場合の画像に変換した後方画像が記録される。左側方画像データメモリ１７Ｌには、最初に取得された左側方画像を運転者の視点位置から視認した場合の画像に変換した左側方画像が記録される。右側方画像データメモリ１７Ｒには、最初に取得された右側方画像を運転者の視点位置から視認した場合の画像に変換した右側方画像が記録される。
【００１９】
合成画像データメモリ１７Ｃには、側方画像と後方画像からそれぞれ所定画角で切り出された画像を合成した画像が記録される。また、画像処理用設定データメモリ１７Ａには、各画像から合成画像を作成するために抽出する画像領域を確定する抽出処理、視点変換処理、魚眼レンズで取得された画像の歪を補正し、正像に変換する正像変換処理、合成処理等に必要なデータや、車体の外形を表す輪郭線（ワイヤーフレーム）が記録されている。
【００２０】
演算処理装置１２は、中央処理装置［ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）］１２１と、リードオンリーメモリ［ＲＯＭ］１２２と、ランダムアクセスメモリ［ＲＡＭ］１２３とを備えている。中央処理装置１２１は、例えば、現在位置検出装置１５から得られた位置データや車両の向きと、受信した前方車両に関する位置データから、前方車両と自車両との相対位置についての情報を算出し、或いは、記憶装置１０から自車両の画像データ、受信した前方車両の画像データを取得し、これらのデータから合成画像データを生成するなどの作用を有する。    ＲＯＭ１２２には、例えば、中央処理装置１２１が画像処理を行うためのソフトウエア等が格納されており、ＲＡＭ１２３は、例えば、各種画像処理等を行う場としてのワーキングエリアとして使用される。
【００２１】
本発明の画像処理装置は、次のような作用をする。各カメラ１３Ｂ、１３Ｌ、１３Ｒから取得した画像から、所定の画角に対応した画像領域を切り出す。切り出した画像を正像変換処理を行う。正像変換処理を行った画像を、視点変換処理を行う。視点変換処理した画像を合成し、表示画像を構成する。
【００２２】
ここで表示画面に表示される画像は、後方画像と、左右の側方画像から、それぞれ切り取られた画像を貼り合わせ、合成して構成される。そして、側方画像と後方画像とから画像を切り取るために設定される画角は、その際の車両が位置する道路状況によりその都度設定される。図２に示されているように、高速道路を走行している場合で、後方に車両が存在する場合、追い越し車線を走行するＣ車は、Ｂ車の陰となり、後方のカメラ１３Ｂのみによって把握することはできない。この場合には、右側方のカメラ１３Ｒの画像を合成することによって、Ｃ車を把握できる画像を作成する。切り取る画像の画角は、車速が速くなるに従って、後方画像から切り取る画像の画角αを小さく、側方画像から切り取る画像の画角βを大きく採る。車速の上昇に伴って、側方カメラ１３Ｌ、１３Ｒの画角βを大きく採るのは、隣の車線を走る他車（図２の場合では、Ｃ車）に対して画像が見易く、死角となりにくいためであり、また、魚眼画像の周辺部を多く使用することで、全体的な画像処理負荷が軽くなり、高速走行時の描画レスポンスも向上するからである。
【００２３】
また、高速走行時では、後方よりも側方（隣の車線）の車両の存在の確認が必要となること、及び、低速の時は周囲の車も低速の場合が多く、自車に追いつくまでの時間が多いため、安全に車線変更できる可能性が高いが、車速が高速になるに従って、後方他車が自車の位置まで接近する時間が早くなるため、車線変更において他車に接触してしまう可能性が高くなることから、隣の車線の遠方を、より確実に映し出せる側方カメラ１３Ｌ、１３Ｒの抽出画角を特に広く取る必要がある。
【００２４】
特に、高速走行の場合には、ステアリングを切る前に、隣の車線を確認する必要がある。このため、隣の車線の画像は、運転者による切換スイッチのオン又は、方向指示器のオン操作により、車線変更を開始する前（ステアリングを切る前）に、抽出画角が決定され、合成画像が表示される。
【００２５】
以上のように構成された本発明の画像処理装置１の作用について説明する。図３は、演算処理装置１２の動作を示すフローチャートである。
処理の開始は、例えば、イグニッションオン、若しくはシステムのスイッチオン等の操作による。スイッチオンのきっかけは、この他、シフトチェンジレバーをＤ位置にセットしたときとしてもよい。この他、車速（例えば１０ｋｍ／ｈ以上に加速したとき）によりスイッチオンとする構成としてもよい。
【００２６】
システムが起動されると、初期化処理が行われる（ステップＳ１０１）。これはシステムに必要な設定値を読み込み、画像処理の準備を行う処理である。つまり、記憶装置１０の画像処理用設定データメモリ１７Ａに記録されている処理に必要な設定値を読み出した後、画像データなどを記憶領域に書き込みができるように、記憶装置に記憶されているデータを検索し、記憶可能な領域が無い場合には、次に取得するデータを上書き可能にする準備をし、また、画像データと共に記憶された位置や時刻等を参照して今後使用しないデータを消去する。
【００２７】
設定値とは、画像取り込み解像度、魚眼画像の切り出し（抽出）範囲、画像取り込みレート、カメラ設置位置、合成画像視点位置、表示画像（正像か鏡像か）、等である。なお、カメラ設定位置と合成画像視点位置より視点変換時の視点移動量が求められる。また、ユーザによる合成パターン等の設定値の変更も可能である。このような設定値の変更は、入力装置１８を介して行われる。
【００２８】
次に、各カメラから画像を取得する（ステップＳ１０３）。画像取得処理では、全カメラ１３Ｒ、１３Ｌ、１３Ｂの同期を取って同時に画像が取り込まれる（設定された取り込み解像度や取り込みレートに基づく。）。また、画像を取得すると同時にＧＰＳ受信装置１５３により位置、時刻を取得する。なお、時刻に関しては、リアルタイムクロック（図示せず）を用いて、別途取得するようにしてもよい。
【００２９】
取得した画像を保存する（ステップＳ１０５）。取り込まれた各画像は記憶装置１０の入力データメモリ１６に画像を取得した際の位置データ、時刻と共に保存される。つまり、カメラ１３Ｂが取得した後方画像は、後方画像データメモリ１６１に、カメラ１３Ｌが取得した左側方画像は、左側方画像データメモリ１６２に、カメラ１３Ｒが取得した右側方画像は、右側方画像データメモリ１６３に、位置データは位置データメモリ１６４に、時刻は時刻データメモリ１６５にそれぞれ記録される。
【００３０】
保存した画像の処理を行う（ステップＳ１０７）。この画像処理は、図４に示されているサブルーチンに基づき説明する。
まず合成パターンの選択を行う（ステップＳ４０１）。
車速、シフトポジション等の車両信号や、入力装置の信号等（例えばボタン押下やダイヤルＳＷの回転操作など）を取得し、各カメラカメラ１３Ｒ、１３Ｌ、１３Ｂから取得された各画像から、合成画像を作成するための画像領域（以下、切り出し画角という）・方向を決定する。この合成パターンの選択処理は、図５に示されているサブルーチンに基づき説明する。
【００３１】
車両についての各種情報を取得する（ステップＳ６０１）。具体的には、方向指示器からの信号、及び車速センサ１５２から車速の情報を取得する、方向指示器が作動している場合、運転者は車線変更を行うと判断し、方向指示器が出ている方向の側方画像を表示する準備を行う。また、画像領域の切り出し画角を設定するための車速の情報を受け取り、次のステップに移る。
【００３２】
切り出し画角の変更を行うか判断する（ステップＳ６０３）。ステップＳ６０１で得た情報を基に左右、及び後方の各魚眼画像の使用する画角（各魚眼画像の切り出し画角）を判断する。この画角の決定は、車速が速くなるに従って、側方画像の切り出し画角βの角度を大きくし、後方画像の切り出し画角αを小さくするよう行われる。例えば、表１に示されるテーブルに従って画角が決定される。なお、画角αは、カメラ１３Ｂのレンズの光軸を中心として左右に開いた角度であり、０〜１８０°の範囲で設定される。画角βは、魚眼レンズの画像において、車両後方を映し出す端部位置を基準として、該基準位置からレンズの軸線に向けて測られる角度であり、０〜９０°の範囲で設定される。
【００３３】
【表１】
2004312523.tif 000003
画角の変更の必要がない場合には、ステップＳ６０５をスキップし、ステップＳ６０７を実行する。
切り出し画角の変更の必要があると判断した場合には、切り出し画角又は使用する画像の変更（ステップＳ６０５）をする。つまり、ステップＳ６０１、ステップＳ６０３の判断に基づいて、変更がある場合は設定値を変更する。ステップＳ６０１〜Ｓ６０５によって、画像領域決定手段が構成される。
【００３４】
入力装置からの指示があるか否かを判断する（ステップＳ６０７）。例えば、予め複数の設定値を合成パターンのユーザ設定として登録しておき、運転中はスイッチの切換操作により、合成パターンを選択できるようにしておくことができる。
【００３５】
例えば、短縮ボタンのようなものを複数設置し、Ａボタンはデフォルト、Ｂボタンは運転者が設定した左側方の画像、Ｃボタンは運転者が設定した右側方の画像、といったものである。指示がない場合には、図４のフローチャートにリターンされる。
【００３６】
合成画像用設定値を読み出す（ステップＳ６０９）。入力装置１８から、表示すべき画像の画角などの変更の指示がある場合、ユーザからの入力が優先されるため、入力装置１８からの指示に従って設定値を変更する必要がある。
【００３７】
入力装置から変更される設定値としては、各カメラの画角、合成画像の表示方向、表示する側（右側／左側）などである。設定値の読み出しの後、図４のフローチャートにリターンされる。
【００３８】
画像切り出し処理を行う（ステップＳ４０３）。合成パターンの選択（ステップＳ４０１）により決定された設定値に従って、記憶装置１０に保存されている各魚眼画像を読み出し、必要な画像領域が切り出される（切り出す位置はリアルタイムにユーザが操作できるように構成してもよい。）。上記ステップＳ４０１、Ｓ４０３によって、後方画像抽出手段と、側方画像抽出手段が構成される。
【００３９】
次に、正像変換処理を行う（ステップＳ４０５）。
【００４０】
切り出された画像は魚眼レンズにより撮像された画像なので、そのレンズ特性を基に歪みを補正する正像変換処理が行われる。ステップＳ４０５によって、正像変換手段が構成される。
【００４１】
さらに、視点変換処理を行う（ステップＳ４０７）。
【００４２】
次に正像変換した画像を運転者の視点位置より見た画像とするため、各画像に対して視点変換処理が行われる。視点変換処理における視点移動量は、初期化処理で設定されているカメラ設置位置と合成画像の視点位置とから決まる。視点変換処理において、前後方向の変換は画像の縮小処理で対応する。上下左右方向の変換については、予め規定された値に基づいて視点変換先（運転者視点位置）が画像中心となるように、正射影、立体射影、等距離射影、等立体射影等の魚眼レンズの射影方式によって決まる変換式を使用して、座標変換を行う。こうして生成される画像が視点変換画像である。視点変換された各画像は記憶装置１０の視点変換画像データメモリ１７Ｓに記憶される。このステップＳ４０７によって視点変換手段が構成される。
【００４３】
視点変換処理後、各画像が合成される（ステップＳ４０９）。必要ならばここで、記憶装置１０に記憶されている車体の外形を表す輪郭線（ワイヤーフレーム）が合成される。合成された画像は記憶装置１０の合成画像データメモリ１７Ｃに保存される。ステップＳ４０９により画像合成手段が構成される。複数の画像を同一視点位置に視点変換した後、合成されるので、死角位置する対象物（他車両）と自車両との位置関係が、視覚で認識した場合に近い状態で、単一の画面に表示され、状況の把握が容易にできる。
【００４４】
合成画像の画像表示を行う（ステップＳ１０９）。側方画像と、後方画像は、視点変換された後、合成されるので、死角領域に位置する隣の車線の他車両と、後方車との位置関係が、視覚で視認した場合に近い状態で、単一の画面内に合成された表示されるので、運転者は把握が容易である。
【００４５】
ここで、測距センサ等によって車両周囲に物体を検知した場合は、警告表示を行ったり、画面のフラッシュを行ったりしてもよい。また、画像を表示する際に、後方画像の場合は、バックミラーに映されていると同じように画像を左右反転させることも可能である。運転者がバックミラーやサイドミラーを視認した時と同じ感覚で、後方の画像を認識でき、画像の内容を把握することが容易となる。この画像表示処理は、図６に示されているフローチャートに基づき説明する。
【００４６】
警告表示の要否を判断する（ステップＳ５０１）。
【００４７】
システムに搭載されている、測距センサ１９（本実施形態では、超音波センサ）により自車両周辺に障害物や他車両などが検知されたか否かの情報を取得し、警告表示が必要か否かを判断する。
【００４８】
警告表示データを準備する（ステップＳ５０３）。
【００４９】
ステップＳ５０１において、自車両周辺（例えば半径２ｍ以内等）に障害物などが検知された場合（警告が必要であると判断した場合）、警告表示をする準備を行う。なお、自車両周辺の定義は速度によって変更されてもよい。つまり、車速が速くなるにつれて、警告する範囲も広くする。例えば車速が０ｋｍ〜３０ｋｍまでは自車両半径２ｍだが、３０ｋｍ〜６０ｋｍまでは自車両半径５ｍと変更するなどである。
【００５０】
警告表示方法は、警告文字を画面に表示、画面色を通常の色から別の色に変える、フラッシュを行う、警告音を鳴らすなどである。
【００５１】
画像表示装置へ出力する（ステップＳ５０５）。以上のステップを経て決定された設定における画像を表示装置１４へ出力する。このステップＳ５０５の処理により表示手段が構成される。この処理の後、メインルーチンにリターンされる。
【００５２】
設定値の変更があるか判断する（ステップＳ１１１）。
【００５３】
画像の表示が終わると、設定値の変更があるかどうかを確認し（操作スイッチの入力等、運転者から新たな入力がないかをチェックする）、変更がある場合は設定値の変更を受付ける。変更がない場合には、ステップＳ１１３はスキップし、ステップＳ１１５を実行する。
【００５４】
設定値の変更をする（ステップＳ１１３）。なお、この設定値の変更は、ステップＳ６０９で行うことも可能である。
【００５５】
ステップＳ１１１にて、変更ありと判断された場合、変更すべき設定値を変更する。設定値変更時は画像処理を一旦中断しても、継続していても構わない（また、継続させる場合は別ルーチンで設定変更監視を行う構成とすることができる。）。
【００５６】
ここで変更する設定値は、合成パターンの選択時に変更される以外の設定値、つまり画像解像度や画像レート等である。
【００５７】
終了トリガを判断する（ステップＳ１１５）
続いてシステム終了トリガを確認し、トリガがなければデータ取得以後の処理を繰り返す。尚、システム終了のトリガはイグニッションＯＦＦ、シフトチェンジ（例えばＤポジション→Ｐポジション）、車速（例えば５ｋｍ／ｈ以下に減速したとき）、あるいはシステム終了用スイッチ等が考えられる。
【００５８】
なお、この判断は、別に終了トリガを監視するルーチンを使用して、終了トリガを確認したと同時に、すぐに画像処理を中断してしまう構成とすることもできる。
【００５９】
以上説明した実施形態の他、後退時において、後方カメラ１３Ｂの画像を用い、視野の広いバックモニタとして使用することもできる。魚眼カメラは、画角が１８０°に近いため、カメラの視点から車両の両側が同時に撮影できる。このため、見通しの悪い狭い場所から道路に後進で出る場合など、車両後部が道路に臨んだ位置で、見えない道路の状況を把握することができ、安全確認をするために有効に利用できる。また、側方カメラ１３Ｌ、１３Ｒを利用すれば、車両後方側の画像を利用して車体両側を同時に確認しながら後進移動できる。
【００６０】
さらに、カーナビゲーションシステムが有するデータを用いて、画像合成のために、一層精密な制御をすることもできる。カーナビゲーションシステムは、ユーザが所望する目的地までの案内を行うための地図データ（図示せず）を備えており、本願発明の道路情報記憶手段として機能する。この道路情報記憶手段としての地図データと、現在位置検出手段として機能する現在位置検出装置１５が検出する現在位置とを使用することにより、車両が位置する道路の種類、道路の形状、道路幅などの道路に関する状況を検出する道路状況検出手段を備えている。
【００６１】
このようなカーナビゲーションの機能によって、現在、自車両が走行している道路の状況、例えば、高速道路と一般道路の区別、交差点、合流地点、駐車場、道路の幅などの判別が可能となる。
【００６２】
例えば、高速道路を走行している場合には、車線変更、合流あるいは渋滞などへの注意が必要である。この場合、自車に隣接する車線の車の挙動に注意を払わなければならない。つまり側方カメラからの画像が重要となるので、そのような場所に位置することを検出した場合には、側方カメラの切り出し画角を多く取り、或は、側方カメラの画像のみで合成画像を構成するようにすることができる。
【００６３】
具体的には、自車両が高速道路の本線を走行中、左からの進入路線が検出された場合、後方撮影用カメラ１３Ｂは３０°、左側方撮影用カメラ１３Ｌは１２０°、右側方撮影用カメラ１３Ｒは３０°のような画角が設定され、車両速度の上昇に伴い、左側方カメラの画角を広げていく。このような画角にすることにより、左側進入車の確認が行えると共に、右側後方の走行車の確認も同時に行うことができる。
【００６４】
また、車両の現在位置と地図データとから車両が高速道路の進入路を走行していることが検出された場合、後方撮影用カメラ１３Ｂは３０°、左側方撮影用カメラ１３Ｌは０°、右側方撮影用カメラ１３Ｒは１５０°のような画角に設定され、車両速度の上昇に伴い、右側方カメラの画角を広げていく。この場合、高速道路本線を走行中の車に細心の注意を配ることができる。このような画角設定は、高速道路に限らず、一般道路の合流地点が検出された場合においても応用可能である。
【００６５】
また、車両の現在位置と地図データとから車両が交差点付近に位置することが検出され、車速の減速により交差点において自車両が曲がると推測された場合、方向指示器からの信号に基づいて、曲がる方向の周囲を表示し、減速に基づいて後方カメラの画角を狭めると共に側方カメラの画角を広くしていくことも可能である。この場合、側方カメラのみを使用することも可能である。このような画角にすると、前方の安全が確認できると共に、巻き込み防止の確認も可能となる。
【００６６】
また、地図データから現在位置が駐車場であると検出された場合、車速が０ｋｍ／ｈ付近への減速を検出したら、車庫入れと判断し、後方撮影用カメラ１３Ｂのみを使用してもよい。この場合、広範囲を確認可能なバックモニタとして利用することが可能となる。さらに、駐車の際にはステアリング切角から車の内輪側と外輪側で表示する周囲の方向を変更して表示することも可能である。
【００６７】
また、道幅の狭い道路を走行している場合には、対向車、駐車車両、軽車両、歩行者への注意等が必要である。接触事故防止のためにも、自車との位置関係が把握できる画像が望まれる。この場合にも、側方カメラによる画像を用いて表示画像を生成する構成とすることができる。
【００６８】
【発明の効果】
請求項１に記載の発明によれば、車速に応じて複数画像を張り合わせる割合を調整できるので、車速に応じて生じる死角領域に対して、これを十分に補完する合成画像を得ることでき、運転者の死角に対する不安感を減らすことができる。
【００６９】
請求項２に記載の発明によれば、車速が高くなる程、後方画像では把握できない領域が広がるので、側方画像取得手段によって後方画像取得手段による画像では把握できない領域の画像を補完し、後方から接近する死角領域の他車両を把握することが容易となる。
【００７０】
請求項３に記載の発明によれば、さらに走行中の道路に関する情報を取得することで、周囲の状況に応じた、自車両の周囲の画像を選択して合成することが可能となり、一層死角領域の削減を図ることができる。
【００７１】
請求項４に記載の発明によれば、自車の位置する道路状況の変化に応じて画像領域が決定されるので、道路状況の変化に応じて生じる死角領域の画像や、その他運転操作をするにあたって必要となる方向の画像を取得することができる。
【図面の簡単な説明】
【図１】本発明の画像処理装置の構成を示すブロック図である。
【図２】本発明の画像処理装置を搭載した車両と、画像取得手段の撮像範囲を示す平面図である。
【図３】本発明の画像処理装置の作用を示すフローチャートである。
【図４】本発明の画像処理装置の作用を示すフローチャートである。
【図５】本発明の画像処理装置の作用を示すフローチャートである。
【図６】本発明の画像処理装置の作用を示すフローチャートである。
【符号の説明】
１  画像処理装置
１０  記憶装置
１２  演算処理装置
１３  カメラ
１４  画像表示装置
１５  現在位置検出装置
１６  入力データメモリ
１７Ｓ  視点変換画像データメモリ
１８  入力装置
１９  測距センサ
２１  自車
【図１】
2004312523.tif 000004
【図２】
2004312523.tif 000005
【図３】
2004312523.tif 000006
【図４】
2004312523.tif 000007
【図５】
2004312523.tif 000008
【図６】
2004312523.tif 000009