(57)【要約】【課題】  運転者が必要とするカメラ画像を、カメラ画像間の相互の関係が運転者に見やすいように、ディスプレイに表示切換え可能に提供することを目的とする。【解決手段】  車両周辺監視装置は、後方カメラ２ｂと、車両の側部に取り付けられ、車両の左右側部後方を撮影する左、右の後側方カメラ２ａ、２ｃを備え、それらのカメラ画像が周辺監視ＣＵ１に入力され、周辺監視ＣＵで画像処理されディスプレイ３に表示される。周辺監視ＣＵにはギアシフト位置センサ４、操舵角センサ５が接続している。周辺監視ＣＵは表示範囲切り出し部１１、画像合成部１２、制御部１３からなる。例えば３画像画面表示を選択した場合、制御部は後進時に、左右方向への操舵角が大きいほど左、右の後側方カメラ画像から切り出す表示範囲を広く設定し、後方カメラ画像から切り出す表示範囲を狭く設定して表示させ、操舵角が小さいときは逆の表示範囲の配分にする。【選択図】    図１
2005223524.tif 000002
【特許請求の範囲】
【請求項１】
車両周囲を撮影する複数のカメラと、
該カメラからのカメラ画像を表示するディスプレイと、
前記車両の操縦状態を検出する操縦状態検出手段と、
前記操縦状態検出手段からの信号に応じて前記カメラ画像の表示範囲を設定する画像表示範囲設定手段と、
該画像表示範囲設定手段によって設定された前記カメラ画像の表示範囲部分を、運転者から見た位置関係に配置して前記ディスプレイに１つの画面として表示するように合成する画像合成部とを備えることを特徴とする車両周辺監視装置。
【請求項２】
車両周囲を撮影する複数のカメラと、
該カメラからのカメラ画像を表示するディスプレイと、
前記車両の操縦状態を検出する操縦状態検出手段と、
前記操縦状態検出手段からの信号に応じて前記カメラのカメラ画像を選択する画像選択手段と、
前記操縦状態検出手段からの信号に応じて前記選択されたカメラ画像の表示範囲を設定する画像表示範囲設定手段と、
該画像表示範囲設定手段によって設定された前記カメラ画像の表示範囲部分を、運転者から見た位置関係に配置して前記ディスプレイに１つの画面として表示するように合成する画像合成部とを備えることを特徴とする車両周辺監視装置。
【請求項３】
前記操縦状態検出手段は、車両のギアシフト位置の後進と、操舵角を検出し、
前記画像表示範囲設定手段は、車両の後進時に、操舵角に応じて前記各カメラ画像の前記表示範囲の設定を変更することを特徴とする請求項１または２に記載の車両周辺監視装置。
【請求項４】
前記カメラは、車両の後部に取り付けられて後方を撮影する第１のカメラと、車両の左側部に取り付けられ、車両の左側部後方を撮影する第２のカメラと、車両の右側部に取り付けられ、車両の右側部後方を撮影する第３のカメラとから構成されることを特徴とする請求項１から３のいずれか１に記載の車両周辺監視装置。
【請求項５】
前記カメラは、車両の後部に取り付けられて後方を撮影する第１のカメラと、車両の左側部に取り付けられ、車両の左側部後方を撮影する第２のカメラと、車両の右側部に取り付けられ、車両の右側部後方を撮影する第３のカメラとから構成され、
前記操縦状態検出手段は、車両のギアシフト位置の後進と、操舵角を検出し、
前記画像選択手段は、後進時に、左方向の操舵状態のときは前記第１および第２のカメラからのカメラ画像を選択し、前記車両の左側部後方と後方の映像を表示させ、
右方向の操舵状態のときは前記第１および第３のカメラからのカメラ画像を選択し、前記車両の後方と右側部後方の映像を表示させることを特徴とする請求項２に記載の車両周辺監視装置。
【請求項６】
前記画像表示範囲設定手段は、左方向への操舵角が大きいほど前記第２のカメラ画像の表示範囲を左外側方向に広く設定し、前記第１のカメラからのカメラ画像の表示範囲を車両の車幅方向中心からの左右範囲を狭く設定して表示させ、
右方向への操舵角が大きいほど前記第３のカメラ画像の表示範囲を右外側方向に広く設定し、前記第１のカメラからのカメラ画像の表示範囲を車両の車幅方向中心からの左右範囲を狭く設定して表示させ、
左方向への操舵角が小さいほど前記第２のカメラからのカメラ画像の表示範囲を左外側方向に狭く設定し、前記第１のカメラからのカメラ画像の表示範囲を車両の車幅方向中心からの左右範囲を広く設定して表示させ、
右方向への操舵角が小さいほど前記第３のカメラからのカメラ画像の表示範囲を右外側方向に狭く設定し、前記第１のカメラからのカメラ画像の表示範囲を車両の車幅方向中心からの左右範囲を広く設定して表示させることを特徴とする請求項５に記載の車両周辺監視装置。
【請求項７】
前記カメラは、車両の後部に取り付けられて後方を撮影する第１のカメラと、車両の左側部に取り付けられ、車両の左側部後方を撮影する第２のカメラと、車両の右側部に取り付けられ、車両の右側部後方を撮影する第３のカメラとから構成され、
前記操縦状態検出手段は、車両のギアシフト位置の後進と、操舵角を検出し、
前記画像表示範囲設定手段は、後進時に、左方向または右方向への操舵角が大きいほど、前記第２カメラからのカメラ画像の表示範囲を左手前方向に広く設定し、かつ前記第３のカメラからのカメラ画像の表示範囲を右手前方向に広く設定し、前記第１のカメラからのカメラ画像の表示範囲を車両の後部から後方へ狭く設定して表示させ、
左方向または右方向への操舵角が小さくなるほど前記第２のカメラからのカメラ画像の表示範囲を左後方に狭く設定し、かつ前記第３のカメラからのカメラ画像の表示範囲を右後方に狭く設定し、前記第１のカメラからのカメラ画像の表示範囲を車両の後部から後方へ広く設定して表示させることを特徴とする請求項１に記載の車両周辺監視装置。
【請求項８】
車両周囲を撮影する複数のカメラと、
該カメラからのカメラ画像を表示するディスプレイと、
前記車両の操縦状態を検出する操縦状態検出手段と、
画像数選択スイッチと、
表示範囲切換スイッチと、
前記操縦状態検出手段からの信号と、前記画像数選択スイッチからの信号に応じて前記カメラからのカメラ画像を選択する画像選択手段と、
前記表示範囲切換スイッチからの信号に応じて前記選択されたカメラ画像の表示範囲を設定する画像表示範囲設定手段と、
該画像表示範囲設定手段によって設定された前記カメラ画像の表示範囲部分を、前記ディスプレイに１つの画面として表示するために合成する画像合成部とを備えることを特徴とする車両周辺監視装置。
【請求項９】
さらに、運転者が操作可能の作動スイッチと、
前記作動スイッチがオン状態になってからの進出距離を算出する進出距離検出手段とを備え、
前記カメラは、車両の前部の車幅方向中央に取り付けられて前下方を撮影する第４のカメラと、車両の前部に取り付けられて車両の左側方を撮影する第５のカメラと、車両の前部に取り付けられて車両の右側方を撮影する第６のカメラとから構成され、
前記画像表示範囲設定手段は、進出距離が小さいときは前記第５カメラからのカメラ画像の表示範囲を左遠方から手前方向に広く設定し、かつ前記第６のカメラからのカメラ画像の表示範囲を右遠方から手前方向に広く設定し、前記第４のカメラからのカメラ画像の表示範囲を車両の前部から前方へ狭く設定して表示させ、
進出距離が大きくなるほど前記第５のカメラからのカメラ画像の表示範囲を左遠方に狭く設定し、かつ前記第６のカメラからのカメラ画像の表示範囲を右遠方に狭く設定し、前記第４のカメラからのカメラ画像の表示範囲を車両の前部から前方へ広く設定して表示させることを特徴とする請求項１に記載の車両周辺監視装置。
【請求項１０】
さらに、運転者が操作可能の作動スイッチと、
前記作動スイッチがオン状態になってからの進出距離を算出する進出距離検出手段とを備え、
前記カメラは、車両の後部の車幅方向中央に取り付けられて後下方を撮影する第１のカメラと、車両の後部に取り付けられて車両の左側方を撮影する第７のカメラと、車両の後部に取り付けられて車両の右側方を撮影する第８のカメラとから構成され、
前記画像表示範囲設定手段は、進出距離が小さいときは前記第７のカメラからのカメラ画像の表示範囲を左遠方から手前方向に広く設定し、かつ前記第８のカメラからのカメラ画像の表示範囲を右遠方から手前方向に広く設定し、前記第１のカメラからのカメラ画像の表示範囲を車両の後部から後方へ狭く設定して表示させ、
進出距離が大きくなるほど前記第７のカメラからのカメラ画像の表示範囲を左遠方に狭く設定し、かつ前記第８のカメラからのカメラ画像の表示範囲を右遠方に狭く設定し、前記第１のカメラからのカメラ画像の表示範囲を車両の後部から後方へ広く設定して表示させることを特徴とする請求項１に記載の車両周辺監視装置。
【請求項１１】
さらに、前記画像表示範囲設定手段により設定された前記複数のカメラ画像の表示範囲部分中の、地面上の特徴点を抽出する特徴点抽出手段を備え、
前記画像合成部は、前記複数のカメラ画像の表示範囲部分中の前記特徴点同士を近接させるように配置して合成することを特徴とする請求項１から１０のいずれか１に記載の車両周辺監視装置。
【請求項１２】
さらに、撮影方向設定手段を備え、
前記第２および第３のカメラは、それぞれのカメラの撮影方向を変更可能に設定するアクチュエータを有し、
撮影方向設定手段は、前記表示範囲切換スイッチからの信号または操舵角に基づいて、前記アクチュエータを制御して、前記第２および第３のカメラの撮影方向を設定することを特徴とする請求項５から８のいずれか１に記載の車両周辺監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラによって車両周囲の状況を確認する車両周辺監視装置に関する。
【背景技術】
【０００２】
複数のカメラにより自車両周囲を撮影したカメラ画像を、一つのディスプレイに表示させる車両周辺監視装置が提案されている（特許文献１参照）。
【特許文献１】特開２０００−２３８５９４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記従来の装置では、複数のカメラ画像をディスプレイ画面上に固定分割して表示しており、画面上の個々のカメラ画像分の表示面積は狭くなるという問題があった。また、個々のカメラ画像を単に配置しているだけであり、車両周囲の状況を複数のカメラ画像から直感的に把握し難いという問題があった。
本発明は、上記の問題点を解決するために、車両の操縦状態を検出して運転者が必要とするカメラ画像を、カメラ画像間の相互の関係が運転者に分かりやすいように、ディスプレイに表示切換え可能に提供することを目的とする。
【課題を解決するための手段】
【０００４】
このため、本発明は、車両周囲を撮影する複数のカメラと、カメラからのカメラ画像を表示するディスプレイと、車両の操縦状態を検出する操縦状態検出手段と、操縦状態検出手段からの信号に応じてカメラ画像の表示範囲を設定する画像表示範囲設定手段と、画像表示範囲設定手段によって設定されたカメラ画像の表示範囲部分を、運転者から見た位置関係に配置して前記ディスプレイに１つの画面として表示するように合成する画像合成部とを備えるものとした。
【発明の効果】
【０００５】
本発明により、車両の操縦状態を検出して、各カメラ画像から運転者の操縦上の必要に応じた範囲表示範囲を切り出し、運転者から見た位置関係に配置して一つの画面として合成し、ディスプレイに表示する。従って、各カメラ画像が縮小されず、各カメラ画像を運転者が車内から見た位置関係で見ることができ、車両周囲の監視がしやすい。
【発明を実施するための最良の形態】
【０００６】
以下本発明の実施の形態を実施例により説明する。
【実施例１】
【０００７】
図１は第１の実施例の車両周辺監視装置の構成を示すブロック図である。
本実施例の車両周辺監視装置では、左の後側方カメラ２ａ、後方カメラ２ｂ、右の後側方カメラ２ｃの３台のカメラで車両の左側部後方、車両後方および右側部後方を撮影し、その画像が周辺監視コントロールユニット（以下、周辺監視ＣＵと称する）１に入力され、画像処理された画像がディスプレイ３に表示される。
周辺監視ＣＵ１には、運転者がディスプレイ３に表示させるカメラ画像の表示方法を切換え可能とする切換スイッチ６と、車両の後進状態を検出するギアシフト位置センサ４と操舵角センサ５が接続している。
【０００８】
周辺監視ＣＵ１は、上記３台のカメラ２ａ、２ｂ、２ｃからのカメラ画像を取り込み、各カメラ画像からディスプレイ３に表示する表示範囲を切り出す表示範囲切り出し部１１と、複数のカメラ画像から切り出された表示範囲を所定の配置にして１画面の画像に合成する画像合成部１２と、操舵角センサ５および切換スイッチ６からの信号に応じて上記表示範囲切り出し部１１に各カメラ画像から切り出す表示範囲を指令し、また画像合成部１２に各表示範囲の配置方法を指令する制御部１３とから構成される。
【０００９】
切換スイッチ６は、ディスプレイ３に表示する周辺監視画像の表示方法の「オート」モードと「マニュアル」モードを選択可能なオート／マニュアル切換スイッチ（Ａ／Ｍ、以下Ａ／Ｍ切換スイッチと称する）２１と、カメラ２ａ、２ｂ、２ｃからのカメラ画像中、左の後側方カメラ２ａと後方カメラ２ｂ、または後方カメラ２ｂと右の後側方カメラ２ｃからのカメラ画像をディスプレイ３に表示する２画像選択スイッチ（ＦＬ２）２２ａと、３台のカメラ全部のカメラ画像をディスプレイ３に表示する３画像選択スイッチ（ＦＬ３）２２ｂを有している。以下では２画像選択スイッチ２２ａと３画像選択スイッチ２２ｂを総称するときは単に画像数選択スイッチ２２と称する。
なお、Ａ／Ｍ切換スイッチ２１、２画像選択スイッチ２２ａおよび３画像選択スイッチ２２ｂは、例えば押しボタンスイッチで、そのボタン部に着色灯が設けられ、そのスイッチがオン時に点灯可能な構成である。
さらに、２画像選択および３画像選択における各カメラ画像の表示範囲を手動で切換可能とする表示範囲切換スイッチ２４を有している。表示範囲切換スイッチ２４は、例えば「位置１」、「位置２」、「位置３」を設定可能なロータリスイッチである。
これら各種のスイッチのオン信号は制御部１３に入力される。
【００１０】
図２は、本実施例の車両周辺監視装置の各構成の配置状態を示す図である。ディスプレイ３は、例えば液晶表示装置であり、運転者が見易い位置、例えばインストルメントパネルなど車室内前部に設けられている。切換スイッチ６はディスプレイ３の近傍に配置されている。
ギアシフト位置センサ４は、前部車室床部に設置の図示省略のギアシフト機構に、操舵角センサ５はステアリングホイール３３の基部に設けられている。
【００１１】
車両３１の後部で上下方向の中段から上方の車幅方向のほぼ中央に、後方カメラ２ｂが、車両後方地面を撮影可能に斜め下方に向けて設置されている。車両３１の左右のドアミラー３２Ｌ、３２Ｒには、それぞれ左の後側方カメラ２ａと右の後側方カメラ２ｃが、車両の左側部後方または右側部後方を撮影可能に、後方に向けて設置されている。
なお、左、右の後側方カメラ２ａ、２ｃの撮影方向は、ドアミラー３２Ｌ、３２Ｒの反射面の運転者への都合の良い方向への向きの調整による影響を受けない構成である。
【００１２】
次に、切換スイッチ６の動作と制御部１３の機能を説明する。
車両周辺監視装置は、図示しないイグニッションキースイッチがオン状態で、連動して待機状態になり、ギアシフト位置センサ４が後進位置を検出したとき動作を開始し、以後ギアシフト位置センサ４が後進以外の位置に所定時間以上設定されているかイグニッションキースイッチがオフされたとき、動作を停止する。
車両周辺監視装置が動作を開始すると、制御部１３は先ず「オート」モードに自動的に設定する。制御部１３は、「オート」モードのときＡ／Ｍ切換スイッチ２１のボタン部の、例えば緑色灯を点灯する。Ａ／Ｍ切換スイッチ２１を運転者が押すと、制御部１３は、「マニュアル」モードに切り換え、Ａ／Ｍ切換スイッチ２１のボタン部の灯火を切り換え、例えば赤色灯を点灯する。
【００１３】
「オート」モードでは、制御部１３は自動的に先ず３つのカメラ画像全部を表示する３画像画面表示状態とし、３画像選択スイッチ２２ｂのボタン部の、例えば緑色灯を点灯する。この状態で運転者が２画像選択スイッチ２２ａを押すと、制御部１３は、操舵角センサ５の検出する操舵方向に応じた２つのカメラ画像を表示する２画像画面表示状態とし、３画像選択スイッチ２２ｂのボタン部を消灯し、２画像選択スイッチ２２ａのボタン部の緑色灯を点灯する。さらに３画像選択スイッチ２２ｂを押し直せば、２画像選択スイッチ２２ａのボタン部が消灯し、３画像選択スイッチ２２ｂのボタン部の緑色灯が点灯し、再び３画像画面表示状態に戻る。
【００１４】
運転者による２画像画面表示か、３画像面表示かの選択に応じ、制御部１３は、３つのカメラ画像の内表示に使用するカメラ画像を選択する。２画像画面表示の場合、制御部１３は、操舵角センサ５からの操舵角信号に応じて、左、右の後側方カメラ２ａ、２ｃのいずれと、後方カメラ２ｂのカメラ画像の組み合わせにするのかの自動選択制御を行う。
さらに、制御部１３は、操舵角に応じてディスプレイ３に表示するための、選択したカメラ画像から切り出す表示範囲を設定し、表示範囲切り出し部１１にその表示範囲の切り出しを指令する。各カメラ画像から切り出す表示範囲の設定は、例えば３段階に切換え可能である。
また、２画像画面、３画像画面それぞれの表示において、画像合成部１２に切り出された表示範囲の配置方法を指令する。
【００１５】
「マニュアル」モードでは、同様に制御部１３は自動的に先ず３画像画面表示状態に設定し、３画像選択スイッチ２２ｂのボタン部の緑色灯が点灯する。運転者が画像選択スイッチ２２ａをオン操作すると、制御部１３に「オート」モードと同様にカメラ画像数の選択信号が入力され、２画像画面表示状態に切換える。
また２画像画面表示の場合、制御部１３は、操舵角センサ５からの操舵角信号に応じて、左、右の後側方カメラ２ａ、２ｃのいずれと、後方カメラ２ｂとのカメラ画像の組み合わせにするかの自動選択制御を行う。
【００１６】
さらに、制御部１３は、運転者が表示範囲切換スイッチ２４を操作して設定した「位置１」、「位置２」、「位置３」に応じて、ディスプレイ３に表示するための、選択したカメラ画像から切り出す表示範囲を設定し、表示範囲切り出し部１１にその表示範囲の切り出しを指令する。各カメラ画像から切り出す表示範囲の設定は、例えば３段階に切換え可能である。
また、２画像画面、３画像画面それぞれの表示において、画像合成部１２に切り出された表示範囲の配置方法を指令する。
【００１７】
なお、表示範囲切り出し部１１および画像合成部１２は、ハード的には例えば一つの画像処理プロセッサーと画像メモリで構成されている。制御部１３は、ハード的には例えばＣＰＵ（中央演算装置）とＲＯＭ、ＲＡＭとで構成されている。そして、上記画像処理プロセッサーは上記ＣＰＵに接続して制御され、画像処理プロセッサーからの画像出力信号がディスプレイ３に入力される。
また、ディスプレイ３に表示される各カメラ画像は、運転者がバックミラー、ドアミラーを介して後方を見るときと同じ左右、上下関係になるように表示する。そのため以下の説明における各カメラ画像も左右を反転して表示してある。
【００１８】
以下にカメラ画像とディスプレイ３への表示画像の関係を具体的例に基づいて説明する。この例では、運転者は、駐車場において、駐車スペースの駐車方向に対して直角方向の走行通路から、左操舵の後進にて、白線で描かれた駐車スペースに入ろうとしているとする。
図３はディスプレイ３に２画像画面を表示するときの例を示す図である。ここでは、左方向に大きく操舵し駐車スペースへ接近する段階であり、左の後側方カメラ２ａと後方カメラ２ｂのカメラ画像が選択され、２つのカメラ画像からそれぞれ切り出された表示範囲が一つの画面として合成される。
図３の（ａ）は左の後側方カメラ２ａによるカメラ画像を、（ｂ）は後方カメラ２ｂによるカメラ画像を示し、（ａ）、（ｂ）の破線の枠で囲った範囲は、表示範囲切り出し部１１がそれぞれのカメラ画像から切り出す表示範囲Ｒａ、Ｒｂである。この例は、表示範囲Ｒａの方が表示範囲Ｒｂより左右方向の幅を広く設定した場合である。
（ｃ）は、この表示範囲Ｒａ、Ｒｂを左右に並べて配置し、その間の斜線で示した境界領域ｆに隙間処理、例えば黒色に塗りつぶして、１画面に合成表示した結果を示す図である。以下（ｃ）を、２画像画面（１）と称する。
【００１９】
図４は、左操舵で後進を続け、操舵角を小さくして駐車スペースに進入しようとしている段階であり、（ａ）は左の後側方カメラ２ａによるカメラ画像を、（ｂ）は後方カメラ２ｂによるカメラ画像を示す。（ｃ）は、同様に２画像画面（２）を示す。図３との相違は、表示範囲Ｒａ、Ｒｂの左右幅がほぼ同じ点である。
図５は、ほぼ中央に操舵角を戻し、駐車スペースに進入し後進している段階であり、（ａ）は左の後側方カメラ２ａによるカメラ画像を、（ｂ）は後方カメラ２ｂによるカメラ画像を示す。（ｃ）は、同様に２画像画面（３）を示す。図３、図４との相違は、表示範囲Ｒａ、Ｒｂの左右幅が、表示範囲Ｒａの方が表示範囲Ｒｂより狭い点である。
なお、右操舵状態における２画像画面表示の場合において、図３から図５と異なる点は、画面の左側に後方カメラ２ｂからの表示範囲Ｒｂを、画面の右側に右の後側方カメラ２ｃからの表示範囲Ｒｃを配置する点だけである。
【００２０】
図６はディスプレイ３に３画像画面表示をするときの例を示す図である。図３から図５と同様に左操舵で後進して駐車スペースへの接近段階から進入段階までの場合に対応した、左の後側方カメラ２ａ、後方カメラ２ｂおよび右の後側方カメラ２ｃのカメラ画像が、一つの画面として合成される例を示す。
図６は、左方向に大きく操舵し駐車スペースへ接近する段階を示し、（ａ）は左の後側方カメラ２ａによるカメラ画像を、（ｂ）は右の後側方カメラ２ｃによるカメラ画像を、（ｃ）は後方カメラ２ｂによるカメラ画像を示す。（ａ）、（ｂ）、（ｃ）の破線の枠で囲った範囲は、表示範囲切り出し部１１がそれぞれのカメラ画像から切り出す表示範囲Ｒ’ａ、Ｒ’ｃ、Ｒ’ｂである。
【００２１】
表示範囲Ｒ’ａ、Ｒ’ｃは左右対称で、カメラ画像の上下方向幅を車体側寄りの後方上部分に設けた台形の切り欠き部分Ｓａ、Ｓｃを除いてカバーし、カメラ画像の左右幅方向には車体に近い側のほぼ半分の幅である。
表示範囲Ｒ’ｂは、図６の（ｃ）の後方カメラ画像において、車体後端寄りの部分を逆さ等脚台形状に、等脚台形の高さ（車両の前後方向の長さ）および横幅を小さく設定する。
図６の（ｄ）は、この場合の３画像画面（１）を示す。表示範囲Ｒ’ａ、Ｒ’ｃを左右に並べて配置し、その両者の中間上部に表示範囲Ｒ’ｂを配置し、その間の境界領域ｆに隙間処理をして、１画面に合成表示した結果を示す図である。
【００２２】
図７は、左操舵で後進を続け、操舵角を小さくして駐車スペースに進入しようとしている段階であり、（ａ）は左の後側方カメラ２ａによるカメラ画像を、（ｂ）は右の後側方カメラ２ｃによるカメラ画像を、（ｃ）は後方カメラ２ｂによるカメラ画像を示す。
（ｄ）は、同様に３画像画面（２）を示す。図６との相違は、表示範囲Ｒ’ａ、Ｒ’ｃの上下幅が、カメラ画像の上側ほぼ２／３であり、切り欠き部分Ｓａ、Ｓｃの台形形状の横幅が広がり、台形形状の脚部分の角度が垂直に近づく。また表示範囲Ｒ’ｂの高さはカメラ画像の上下幅のほぼ１／２に設定され、その脚部分の角度が垂直に近づく。
【００２３】
図８は、ほぼ中央に操舵角を戻し、駐車スペースに進入し後進している段階であり、（ａ）は左の後側方カメラ２ａによるカメラ画像を、（ｂ）は右の後側方カメラ２ｃによるカメラ画像を、（ｃ）は後方カメラ２ｂによるカメラ画像を示す。
（ｄ）は同様に３画像画面（３）を示す。図６、図７との相違は、表示範囲Ｒ’ａ、Ｒ’ｃの上下幅が、カメラ画像の上側ほぼ１／２であり、切り欠き部分Ｓａ、Ｓｃの台形形状の横幅がさらに広がり、台形形状の脚部分の角度がさらに垂直に近づく。また、表示範囲Ｒ’ｂの高さはカメラ画像のほぼ２／３に設定され、その脚部分の角度が垂直により近づく。
【００２４】
本実施例の画像表示の切換制御の流れを以下に説明する。
図９は画像表示の切換制御の流れの全体のフローチャートである。
図示省略のイグニッションキーがオンされると、本車両周辺監視装置が待機状態になる。
本制御は制御部１３、表示範囲切り出し部１１、画像合成部１２のプログラムとして処理される。
【００２５】
ステップ１０１では、制御部１３は、ギアシフト位置センサ４からの信号により、ギアシフト位置が後進位置かどうかをチェックする。
後進位置の場合はステップ１０２に進む。後進位置以外の場合はステップ１５１に進み、車両周辺監視装置が動作状態であれば、後進位置以外の位置設定が所定時間以上続いている場合に動作を停止させ、そうで無い場合はそのままステップ１０１に戻る。
ステップ１０２では、制御部１３は車両周辺監視装置が動作状態で無い場合に、動作を開始させる。つまり左の後側方カメラ２ａ、後方カメラ２ｂ、右の後側方カメラ２ｃ、とディスプレイ３をオンし、制御部１３は、切換スイッチ６をプリセットの「オート」モード、３画像画面表示選択状態にする。
ステップ１０３では、表示範囲切り出し部１１は、左の後側方カメラ２ａ、後方カメラ２ｂ、右の後側方カメラ２ｃからのカメラ画像を取得する。
【００２６】
ステップ１０４では、制御部１３は、Ａ／Ｍ切換スイッチ２１の位置が「オート」、または「マニュアル」であるかどうかをチェックする。「オート」の場合は、ステップ１０５に進み、「マニュアル」の場合はステップ２０１に進む。
ステップ１０５では、制御部１３は、操舵角センサ５からの信号により、操舵方向を検出する。
【００２７】
ステップ１０６では、制御部１３は画像数選択スイッチ２２の状態、つまり２画像選択スイッチ２２ａがオンであるか、３画像選択スイッチ２２ｂがオンであるかを検出する。ステップ１０７では、制御部１３は、画像数選択スイッチ２２の状況と操舵角に応じて、各カメラ画像から切り出してディスプレイに表示する表示範囲を設定して、表示範囲切り出し部１１に出力する。それを受けて表示範囲切り出し部１１は、表示範囲の切り出しを行い、切り出された表示範囲を画像合成部１２に出力する。なお、ステップ１０７の詳細な制御は、図１０に基づき後述する。
ステップ１０８では、画像合成部１２は、ステップ１０７において切り出された表示範囲を１画面に画像合成する。その後ステップ１０９では、貼り付けた各画像間の隙間を、黒色で埋める画像の隙間処理を行う。
ステップ１０９の後、ステップ１１０に進み、ディスプレイ３は合成画像を運転者に提示する。
【００２８】
ステップ１０４の後、ステップ２０１に進んだ場合、つまり「マニュアル」モードの場合、制御部１３は操舵角センサ５からの信号により、操舵方向を検出する。
ステップ２０２では、制御部１３は画像数選択スイッチ２２の状態を検出する。ステップ２０３では、制御部１３は、表示範囲切換スイッチ２４の設定状態を検出する。
ステップ２０４では、制御部１３は、画像数選択スイッチ２２のオン状態、操舵角、および表示範囲切換スイッチ２４の設定状態に応じて、各カメラ画像から切り出してディスプレイに表示する表示範囲を設定して、表示範囲切り出し部１１に出力する。それを受けて表示範囲切り出し部１１は、表示範囲の切り出しを行い、切り出された表示範囲を画像合成部１２に出力する。なお、ステップ２０４の詳細な制御は、図１１に基づき後述する。
ステップ２０５では、画像合成部１２は、ステップ２０４において切り出された表示範囲を１画面に画像合成する。その後ステップ２０６では、貼り付けた各画像間の隙間を、黒色で埋める画像の隙間処理を行う。ステップ２０６の後、ステップ１１０へ進み、ディスプレイ３は合成画像を運転者に提示する。
ステップ１１０の後、ステップ１０１に戻る。
【００２９】
図１０は図９のステップ１０７をより詳細に説明したフローチャートである。
ステップ１０６の後、ステップ１２１に進み、制御部１３はステップ１０６の画像数選択スイッチ２２の状態検出結果から運転者が２画像画面を選択したか、３画像画面を選択したかどうかをチェックする。
２画像選択スイッチ２２ａがオン状態の場合はステップ１２２へ、３画像選択スイッチ２２ｂがオン状態の場合はステップ１３１へ進む。
ステップ１２２では、制御部１３は操舵方向が左か右かをチェックする。なお、操舵角θは、左方向を正、中央を０、右方向を負とする。操舵方向が左または中央の場合はステップ１２３へ進み、左の後側方カメラ２ａと後方カメラ２ｂのカメラ画像を、ディスプレイ３に表示するカメラ画像として選択する。操舵方向が右の場合はステップ１２４へ進み、右の後側方カメラ２ｃと後方カメラ２ｂのカメラ画像を、ディスプレイ３に表示するカメラ画像として選択する。ステップ１２３、１２４の後、ステップ１２５へ進む。
【００３０】
ステップ１２５では、制御部１３は操舵角θの絶対値｜θ｜の範囲をチェックする。
操舵角の絶対値｜θ｜が所定の値θ２以上の場合はステップ１２６に進み、制御部１３は操舵方向側の２画像画面（１）を表示するための切り出し表示範囲を設定し、表示範囲切り出し部１１に指令し、画像合成部１２に配置方法を指令する。表示範囲切り出し部１１は指令を受けて、例えば左方向への操舵の場合は図３の（ａ）、（ｂ）に破線枠で示すような表示範囲Ｒａ、Ｒｂをカメラ画像から切り出し、画像合成部１２に出力する。
【００３１】
操舵角の絶対値｜θ｜が所定の値θ１以上かつ所定の値θ２未満の場合はステップ１２７に進み、制御部１３は操舵方向側の２画像画面（２）を表示するための切り出し表示範囲を設定し、表示範囲切り出し部１１に指令し、画像合成部１２に配置方法を指令する。表示範囲切り出し部１１は指令を受けて、例えば左方向への操舵の場合は図４の（ａ）、（ｂ）に破線枠で示すような表示範囲Ｒａ、Ｒｂをカメラ画像から切り出し、画像合成部１２に出力する。
【００３２】
操舵角の絶対値｜θ｜が０以上かつ所定の値θ１未満の場合はステップ１２８に進み、制御部１３は操舵方向側の２画像画面（３）を表示するための切り出し表示範囲を設定し、表示範囲切り出し部１１に指令し、画像合成部１２に配置方法を指令する。表示範囲切り出し部１１は指令を受けて、例えば左方向への操舵の場合は図５の（ａ）、（ｂ）に破線枠で示すような表示範囲Ｒａ、Ｒｂをカメラ画像から切り出し、画像合成部１２に出力する。
ステップ１２６、１２７、１２８の後、ステップ１０８へ進む。
【００３３】
以上のステップ１２２からステップ１２８は、図３から図５の画面表示を例に説明したように、操舵角が大きな駐車スペースへの接近段階から操舵角が小さい駐車スペース内での後進段階への車両の操縦状態の変化に応じて、２画像画面における各カメラ画像の表示範囲を自動的に切り換える制御である。駐車スペースへの接近段階では、駐車スペース位置の把握のため操舵方向側の後側方カメラ画像が必要である。この例では左の後側方カメラ２ａのカメラ画像の車両の左外側方向へ表示範囲を大きくとり、後方カメラ２ｂのカメラ画像の表示範囲を小さくするように、自動的に設定している。
駐車スペース内での後進段階では、車輪止めまたは後方停止線までの障害物の有無と距離把握のため、後方カメラ画像の車体幅一杯に後方奥行きのある表示範囲が必要である。この例では後方カメラ２ｂのカメラ画像の左右方向の表示範囲を大きくし、左の後側方カメラ２ａのカメラ画像の車両の左外側方向への表示範囲を小さくするように、自動的に設定している。
【００３４】
ステップ１２１の後、ステップ１３１へ進んだ場合は、制御部１３は操舵角の絶対値｜θ｜の範囲をチェックする。
操舵角の絶対値｜θ｜が所定の値θ２以上の場合はステップ１３２に進み、制御部１３は３画像画面（１）を表示するための切り出し表示範囲を設定し、表示範囲切り出し部１１に指令し、画像合成部１２に配置方法を指令する。表示範囲切り出し部１１は指令を受けて、例えば左方向への操舵の場合は図６の（ａ）、（ｂ）、（ｃ）に破線枠で示すような表示範囲Ｒ’ａ、Ｒ’ｃ、Ｒ’ｂをカメラ画像から切り出し、画像合成部１２に出力する。
【００３５】
操舵角の絶対値｜θ｜が所定の値θ１以上かつ所定の値θ２未満の場合はステップ１３３に進み、制御部１３は３画像画面（２）を表示するための切り出し表示範囲を設定し、表示範囲切り出し部１１に指令し、画像合成部１２に配置方法を指令する。表示範囲切り出し部１１は指令を受けて、例えば左方向への操舵の場合は図７の（ａ）、（ｂ）、（ｃ）に破線枠で示すような表示範囲Ｒ’ａ、Ｒ’ｃ、Ｒ’ｂをカメラ画像から切り出し、画像合成部１２に出力する。
【００３６】
操舵角の絶対値｜θ｜が０以上かつ所定の値θ１未満の場合はステップ１３４に進み、制御部１３は３画像画面（３）を表示するための切り出し表示範囲を設定し、表示範囲切り出し部１１に指令し、画像合成部１２に配置方法を指令する。表示範囲切り出し部１１は指令を受けて、例えば左方向への操舵の場合は図８の（ａ）、（ｂ）、（ｃ）に破線枠で示すような表示範囲Ｒ’ａ、Ｒ’ｃ、Ｒ’ｂをカメラ画像から切り出し、画像合成部１２に出力する。
ステップ１３２、１３３、１３４の後、ステップ１０８へ進む。
【００３７】
以上のステップ１３１からステップ１３４は、図６から図８の画面表示を例に説明したように、操舵角が大きな駐車スペースへの接近段階から操舵角が小さい駐車スペース内での後進段階への車両の操縦状態の変化に応じて、３画像画面における各カメラ画像の表示範囲を自動的に切り換える制御である。駐車スペースへの接近段では、駐車スペース位置の把握のため操舵方向側の後側方カメラ画像が必要である。この例では、左の後側方カメラ２ａおよび右の後側方カメラ２ｃの前後方向の表示範囲をそれぞれ大きく表示し、後方カメラ２ｂのカメラ画像の前後方向の表示範囲を車両後端側近くだけを表示するように、自動的に設定している。
駐車スペース内での後進段階では、車輪止めまたは後方停止線までの障害物の有無と距離把握のため、後方カメラ画像の後方奥行きのある画像が必要である。この例では後方カメラ２ｂのカメラ画像の表示範囲を車体幅一杯に、より車両後方奥行きを大きく表示し、左の後側方カメラ２ａおよび右の後側方カメラ２ｃのカメラ画像の前方側の表示範囲を小さく表示するように、自動的に設定している。
【００３８】
図１１は図９のステップ２０４をより詳細に説明したフローチャートである。
ステップ２０３の後、ステップ２２１に進み、制御部１３はステップ２０２の画像数選択スイッチ２２の状態検出結果から運転者が２画像画面を選択したか、３画像画面を選択したかどうかをチェックする。
２画像選択スイッチ２２ａがオン状態の場合はステップ２２２へ、３画像選択スイッチ２２ｂがオン状態の場合はステップ２３１へ進む。
ステップ２２２では、制御部１３は操舵方向が左か右かをチェックする。操舵方向が左または中央の場合はステップ２２３へ進み、左の後側方カメラ２ａと後方カメラ２ｂのカメラ画像をディスプレイ３に表示するカメラ画像として選択する。操舵方向が右の場合はステップ２２４へ進み、右の後側方カメラ２ｃと後方カメラ２ｂのカメラ画像をディスプレイ３に表示するカメラ画像として選択する。ステップ２２３、２２４の後、ステップ２２５へ進む。
【００３９】
ステップ２２５では、制御部１３は表示範囲切換スイッチ２４の設定位置をチェックする。
運転者が、「位置１」を選択している場合はステップ２２６に進み、制御部１３は操舵方向側の２画像画面（１）を表示するための切り出し表示範囲を設定し、表示範囲切り出し部１１に指令し、画像合成部１２に配置方法を指令する。表示範囲切り出し部１１は指令を受けて、例えば左方向への操舵の場合は図３の（ａ）、（ｂ）に破線枠で示すような表示範囲Ｒａ、Ｒｂをカメラ画像から切り出し、画像合成部１２に出力する。
【００４０】
運転者が、「位置２」を選択している場合はステップ２２７に進み、制御部１３は操舵方向側の２画像画面（２）を表示するための切り出し表示範囲を設定し、表示範囲切り出し部１１に指令し、画像合成部１２に配置方法を指令する。表示範囲切り出し部１１は指令を受けて、例えば左方向への操舵の場合は図４の（ａ）、（ｂ）に破線枠で示すような表示範囲Ｒａ、Ｒｂをカメラ画像から切り出し、画像合成部１２に出力する。
【００４１】
運転者が、「位置３」を選択している場合はステップ２２８に進み、制御部１３は操舵方向側の２画像画面（３）を表示するための切り出し表示範囲を設定し、表示範囲切り出し部１１に指令し、画像合成部１２に配置方法を指令する。表示範囲切り出し部１１は指令を受けて、例えば左方向への操舵の場合は図５の（ａ）、（ｂ）に破線枠で示すような表示範囲Ｒａ、Ｒｂをカメラ画像から切り出し、画像合成部１２に出力する。
ステップ２２６、２２７、２２８の後、ステップ２０５へ進む。
以上のステップ２２２からステップ２２８は、運転者の表示範囲切換スイッチ２４の操作に応じて、任意に２画像画面の表示範囲を切換える制御である。
【００４２】
ステップ２２１の後、ステップ２３１へ進んだ場合は、制御部１３は表示範囲切換スイッチ２４の位置をチェックする。
運転者が、「位置１」を選択している場合はステップ２３２に進み、制御部１３は３画像画面（１）を表示するための切り出し表示範囲を設定し、表示範囲切り出し部１１に指令し、画像合成部１２に配置方法を指令する。表示範囲切り出し部１１は指令を受けて、例えば左方向への操舵の場合は図６の（ａ）、（ｂ）、（ｃ）に破線枠で示すような表示範囲Ｒ’ａ、Ｒ’ｃ、Ｒ’ｂをカメラ画像から切り出し、画像合成部１２に出力する。
【００４３】
運転者が、「位置２」を選択している場合はステップ２３３に進み、制御部１３は３画像画面（２）を表示するための切り出し表示範囲を設定し、表示範囲切り出し部１１に指令し、画像合成部１２に配置方法を指令する。表示範囲切り出し部１１は指令を受けて、例えば左方向への操舵の場合は図７の（ａ）、（ｂ）、（ｃ）に破線枠で示すような表示範囲Ｒ’ａ、Ｒ’ｃ、Ｒ’ｂをカメラ画像から切り出し、画像合成部１２に出力する。
【００４４】
運転者が、「位置３」を選択している場合はステップ２３４に進み、制御部１３は３画像画面（３）を表示するための切り出し表示範囲を設定し、表示範囲切り出し部１１に指令し、画像合成部１２に配置方法を指令する。表示範囲切り出し部１１は指令を受けて、例えば左方向への操舵の場合は図８の（ａ）、（ｂ）、（ｃ）に破線枠で示すような表示範囲Ｒ’ａ、Ｒ’ｃ、Ｒ’ｂをカメラ画像から切り出し、画像合成部１２に出力する。
ステップ２３２、２３３、２３４の後、ステップ２０５へ進む。
以上のステップ２３２からステップ２３４は、運転者の表示範囲切換スイッチ２４の操作に応じて、任意に３画像画面の表示範囲を切換える制御である。
【００４５】
本実施例のギアシフト位置センサ４と操舵角センサ５は本発明の操縦状態検出手段を、２画像選択スイッチ２２ａと３画像選択スイッチ２２ｂは画像数選択スイッチを構成する。なお、後方カメラ２ｂは本発明の第１のカメラに、左の後側方カメラ２ａは第２のカメラに、右の後側方カメラ２ｃは第３のカメラに対応する。
また、フローチャートのステップ１２２〜１２４およびステップ２２２〜２２４は本発明の画像選択手段を、ステップ１２５〜１２８、ステップ１３１〜１３４、ステップ２２５〜２２８およびステップ２３１〜２３４は画像表示範囲設定手段を構成する。
【００４６】
以上のように本実施の形態によれば、「オート」モードにおいて、複数のカメラ画像から自動的に、車両の操舵角状態に応じて必要なカメラ画像を大きく切り出し、その時点でそれほど必要でないカメラ画像は小さく切り出される。切り出された表示範囲は、運転者からドアミラー、バックミラーを通して見るような左右配置の１画面に合成して、２画像画面（１）、（２）、（３）または３画像画面（１）、（２）、（３）として自動的に切り替え、縮小されない画像をディスプレイ３に表示するので、車両左右側部後方および車両後方を監視し易い。
【００４７】
また、「マニュアル」モードでは、運転者の画像数選択スイッチ２２の操作、および表示範囲切換スイッチ２４の操作に応じて、複数のカメラ画像から、予め決められた表示範囲を、任意に切換えて切り出す。切り出された表示範囲は、運転者からドアミラー、バックミラーを通して見るような左右配置の１画面に合成して、２画像画面（１）、（２）、（３）または３画像画面（１）、（２）、（３）として、縮小されない画像をディスプレイ３に表示するので、車両左右側部後方および車両後方を監視し易い。
また、２画像画面表示の場合は、「オート」モードおよび「マニュアル」モードの場合共操舵角によって、自動的に操舵方向側の後側方カメラ画像と後方カメラ画像を選択して表示するので、カメラ画像の選択という負担が運転者に掛からない。
【００４８】
さらに、２画像画面表示、３画像画面表示のいずれの場合も、ディスプレイ３に複数のカメラ画像を表示するときの画像の配置関係が操舵状態または表示範囲切換スイッチ２４の操作に関係なく維持され、２画像画面（１）、（２）、（３）間または３画像画面（１）、（２）、（３）間の表示範囲の変化時にも、一貫して画像間の繋がりを運転者が理解し易い。
【実施例２】
【００４９】
次に本発明の第２の実施例を説明する。図１２は本実施例の車両周辺監視装置のブロック構成図である。第１の実施例と同じ構成については、同一符号を付して説明を省略する。
本実施例の車両周辺監視装置は、左の後側方カメラ２ａ、後方カメラ２ｂ、右の後側方カメラ２ｃからのカメラ画像が、周辺監視ＣＵ１’に入力され、周辺監視ＣＵ１’で画像処理された画像がディスプレイ３に表示される。
左の後側方カメラ２ａおよび右の後側方カメラ２ｃには、それぞれ角度センサ付きのアクチュエータ７ａ、７ｃが取り付けられており、周辺監視ＣＵ１’の後述の制御部１３’によって左右方向、上下方向に撮影方向を変更可能な構造となっている。
周辺監視ＣＵ１’には、運転者がディスプレイ３に表示させるカメラ画像の表示方法を切換可能とする切換スイッチ６と、車両の後進状態を検出するギアシフト位置センサ４と操舵角センサ５が接続している。
【００５０】
周辺監視ＣＵ１’は、３台のカメラ２ａ、２ｂ、２ｃからのカメラ画像を取り込み、ディスプレイ３に表示する表示範囲を切り出す表示範囲切り出し部１１’と、複数のカメラ画像から切り出された表示範囲を画像処理して地上の目印を抽出して、さらにその目印端を抽出する特徴点抽出部１４と、表示範囲を所定の配置にして１画面の画像に合成する画像合成部１２’と、操舵角センサ５および切換スイッチ６からの信号に応じて上記表示範囲切り出し部１１’に各カメラ画像から切り出す表示範囲を指令し、また画像合成部１２’に各表示範囲の配置方法を指令する制御部１３’から構成される。
【００５１】
制御部１３’は、切換スイッチ６からの信号に応じて、「オート」／「マニュアル」モードの切換、ディスプレイ３に２画像画面表示をするか３画像画面表示をするかの切換を行う。
「マニュアル」モードで２画像画面表示の場合、制御部１３’は、操舵角センサ５からの操舵角信号に応じて、左、右の後側方カメラ２ａ、２ｃのいずれと、後方カメラ２ｂのカメラ画像の組み合わせにするのかの自動選択制御を行う。
【００５２】
また、「マニュアル」モードの場合、２画像画面、３画像画面それぞれの表示において、制御部１３’は、表示範囲切換スイッチ２４からの信号に応じて、左、右の後側方カメラ２ａ、２ｃの撮影方向を制御する。
２画像画面表示を選択の場合は、表示範囲切換スイッチ２４の設定位置に応じて、左、右の後側方カメラ２ａ、２ｃの内、操舵方向側の後側方カメラを車両から横外側方向に例えば３段階の角度で自動設定する。例えば表示範囲切換スイッチ２４の設定位置が「位置１」の場合は、外側方向、例えば１０°横外側方向、「位置２」の場合は、やや外側方向、例えば５°横外側方向、「位置３」の場合は、ほぼ真後ろ方向に向ける。
【００５３】
３画像画面を選択の場合は、例えば表示範囲切換スイッチ２４の設定位置に応じて、左右両方の後側方カメラ２ａ、２ｃを上下方向に３段階の角度で自動設定する。例えば表示範囲切換スイッチ２４の設定位置が「位置１」の場合は、下側方向、例えば１０°下側方向、「位置２」の場合は、やや下側方向、例えば５°下側方向、「位置３」の場合は、ほぼ真後ろ水平方向に向ける。
また、２画像画面、３画像画面それぞれの表示において、制御部１３’は、表示範囲切換スイッチ２４の設定位置に応じて表示範囲切り出し部１１’に各カメラ画像から切り出す表示範囲を指令し、画像合成部１２’に切り出された表示範囲の配置方法を指令する。
【００５４】
「オート」モードで２画像画面表示の場合、制御部１３’は、操舵角センサ５からの操舵角信号に応じて、左、右の後側方カメラ２ａ、２ｃのいずれと、後方カメラ２ｂのカメラ画像の組み合わせにするのかの自動選択制御を行う。
また、制御部１３’は、２画像画面、３画像画面それぞれの表示において、操舵角信号に応じて左、右の後側方カメラ２ａ、２ｃの撮影方向を制御する。
さらに、２画像画面、３画像画面それぞれの表示において、制御部１３’は、操舵角信号に応じて表示範囲切り出し部１１’に各カメラ画像から切り出す表示範囲を指令し、画像合成部１２’に表示範囲の配置方法を指令する。
【００５５】
「オート」モードの場合の操舵角θに応じた左、右の後側方カメラ２ａ、２ｃの撮影方向の制御を以下に説明する。
２画像画面表示を選択の場合は、操舵角に応じて操舵方向側の後側方カメラを車両から横外側方向に３段階の角度で自動設定する。例えば操舵角θが０≦｜θ｜＜θ１の場合は、ほぼ真後ろ方向、θ１≦｜θ｜＜θ２の場合は、やや外側方向、例えば５°横外側方向、操舵角θがθ２≦｜θ｜の場合は、より外側方向、例えば１０°横外側方向に向ける。
３画像画面を選択の場合は、操舵角に応じて左右両方の後側方カメラを上下方向に３段階の角度で自動設定する。例えば操舵角θが０≦｜θ｜＜θ１の場合は、ほぼ真後ろ水平方向、θ１≦｜θ｜＜θ２の場合は、やや下側方向、例えば５°下側方向、操舵角θがθ２≦｜θ｜の場合は、より下側方向、例えば１０°下側方向に向ける。
【００５６】
次に、表示範囲切り出し部１１’が、各カメラ画像から表示範囲を切り出す方法を説明する。
２画像画面表示の場合は、「マニュアル」モードでは運転者の表示範囲切換スイッチ２４の設定位置によって、また「オート」モードでは操舵角信号に応じて、左、右の後側方カメラ２ａ、２ｃの撮影方向が角度センサ付きアクチュエータ７ａ、７ｃで設定制御される点が異なるだけで、カメラ画像から切り出す表示範囲は第１の実施例と同じである。
【００５７】
３画像画面表示の場合を図１３、図１４を用いて説明する。ここでは、「オート」モードの場合で説明する。
図１３の（ａ）、（ｂ）、（ｃ）は操舵角θが大きいθ２≦｜θ｜場合の左の後側方カメラ画像、右の後側方カメラ画像および後方カメラ画像を示す。（ａ）、（ｂ）、（ｃ）の破線の枠で囲った範囲は、それぞれ表示範囲切り出し部１１’が切り出す表示範囲Ｒ’ａ、Ｒ’ｃ、Ｒ’ｂである。操舵角が大きい場合は、後輪の予想軌跡と駐車スペースの白線との位置関係が捉えやすくなるように、角度センサ付きアクチュエータ７ａ、７ｃを駆動し、後車輪から後方を視野にするように左、右の後側方カメラ２ａ、２ｃは水平方向から下方に１０°向けられている。
【００５８】
表示範囲Ｒ’ａ、Ｒ’ｃは左右対称で、カメラ画像の上下方向幅を車体側寄りの後方上部分に設けた台形の切り欠き部分Ｓａ、Ｓｃを除いてカバーし、カメラ画像の左右幅方向には車体に近い側のほぼ半分の幅である。
表示範囲Ｒ’ｂは、図１３の（ｃ）の後方カメラ画像において、車体後端寄りの部分を逆さ等脚台形状で、等脚台形の高さ（車両の前後方向の長さ）および横幅を小さく設定する。
図１３の（ｄ）は本実施例における３画像画面（１）を示す。３画像画面（１）は、表示範囲Ｒ’ａ、Ｒ’ｃを左右に並べて配置し、その両者の中間上部に表示範囲Ｒ’ｂを配置し、その間の境界領域ｆに隙間処理をして、１画面に合成したものである。
【００５９】
図１４の（ａ）、（ｂ）は、操舵角が０の場合の左、右の後側方のカメラ画像を、（ｃ）は後方カメラ画像を示す。操舵角θが小さい場合（操舵角θが０≦｜θ｜＜θ１の場合）は、後輪の予想軌跡よりも駐車スペースの白線と車体の前後方向との平行具合が捉えやすくなるように、角度センサ付きアクチュエータ７ａ、７ｃを駆動し、車体後方の駐車スペースの奥行き全体を視野にするように左、右の後側方カメラ２ａ、２ｃは水平方に向けている。
図１３との相違は、（ａ）、（ｂ）に示すように、表示範囲Ｒ’ａ、Ｒ’ｃの上下幅が、カメラ画像の上下幅と同じであるが、切り欠き部分Ｓａ、Ｓｃの台形形状の横幅および高さが増大し、台形形状の高さはカメラ画像の上側約２／３の上下幅に達している。切り欠き部分Ｓａ、Ｓｃの台形形状の脚部分の角度も垂直に近づく。また（ｃ）に示すように表示範囲Ｒ’ｂの横幅が大きくなり、脚の角度が垂直に近づき、高さ（車両の前後方向の長さ）もカメラ画像のほぼ２／３に設定される。
図１４の（ｄ）は本実施例における３画像画面（３）を示す。
【００６０】
操舵角θがθ１≦｜θ｜＜θ２の場合、図示省略するが、表示範囲Ｒ’ａ、Ｒ’ｃの上下幅は、カメラ画像の上下幅と同じであり、切り欠き部分Ｓａ、Ｓｃの高さがカメラ画像の下方向に伸びカメラ画像の約１／２の上下幅に達している。表示範囲Ｒ’ｂの高さもカメラ画像の上下幅のほぼ１／２に設定される。このように設定された表示範囲Ｒ’ａ、Ｒ’ｃ、Ｒ’ｂを、図１３の（ｄ）または図１４の（ｄ）のような位置関係に配置して１画面に合成したものを３画像画面（２）とする。
なお、マニュアルモードで３画像画面表示をするときの３画像画面（１）、（２）、（３）も、同じ表示である。
【００６１】
さらにオートモードで３画像画面表示を選択すると、制御部１３’は、特徴点抽出部１４に特徴点を抽出するように指令する。特徴点抽出部１４は各カメラ画像の表示範囲に対してエッジ検出処理を行い、地面上の白線などの目印を抽出し、目印が含まれる場合にさらに特徴点として目印端を抽出する。制御部１３’は、その目印端が複数のカメラ画像の表示範囲に含まれる場合、目印端同士が接近するようにカメラ画像の配置調整を画像合成部１２’に指令する。
なお、表示範囲切り出し部１１’、画像合成部１２’および特徴点抽出部１４は、ハード的には例えば一つの画像処理プロセッサーと画像メモリで構成されている。制御部１３’は、ハード的には例えばＣＰＵ（中央演算装置）とＲＯＭ、ＲＡＭとで構成されている。
【００６２】
以下に、特徴点抽出部１４における目印および目印端検出の方法を説明する。
図１４に示した３画像画面（３）の場合の例で説明する。駐車スペースを示す白線Ｗが（ａ）の左の後側方カメラ画像、（ｂ）の右の後側方カメラ画像、（ｃ）の後方カメラ画像に映っている。特徴点抽出部１４は、各カメラ画像から表示範囲切り出し部１１’が切り出した表示範囲に対して、周知のエッジ検出処理を行い、地面上の駐車スペースを描いた例えば白線、ロープなどの輪郭を抽出する。さらに抽出された輪郭が、設定された表示範囲の、例えば図１４の（ｃ）に示すような隣接画像縁部ｈとの交点を、目印端Ｘ（Ｘ１Ｂ、Ｘ２Ｂ）として抽出する。
抽出された輪郭と隣接画像縁部ｈとが直接交わらない場合は、図１４の（ａ）、（ｂ）に示すように、その延長線と隣接画像縁部ｈとの交点を目印端Ｘ（Ｘ１Ａ、Ｘ２Ａ）とする。
特徴点抽出部１４は、目印端Ｘが得られた場合、目印端Ｘを得た画像が何れのカメラによるものか、また白線またはロープの輪郭の位置座標、目印端Ｘの位置座標を制御部１３’に出力する。目印端Ｘが得られた場合は、制御部１３’はそのカメラ画像中の座標を記憶しておく。
【００６３】
次に、制御部１３’は、左の後側方カメラ２ａ、右の後側方カメラ２ｃの角度センサ付きアクチュエータ７ａ、７ｃからの角度信号を読み出し、それぞれのカメラの撮影方向を検出する。後方カメラ２ｂの固定された撮影方向、３台のカメラの取付け位置、各カメラの焦点距離データは予め制御部１３’に記憶されており、制御部１３’は、それらのデータと左、右の後側カメラ２ａ、２ｃの撮影方向、抽出された輪郭の画像位置座標から、車両３１の所定の後部基準位置からの、例えば白線の実際の位置を算出する。
算出した後部基準位置からの位置が同じ場合、制御部１３’は各カメラ画像の表示範囲から抽出された輪郭が同一の白線のものと判定し、その目印端Ｘ同士が接近するように、３画像画面の位置調整を画像合成部１２’に指令する。
【００６４】
画像合成部１２’の機能は、第１の実施例と基本的に同じである。異なるのは、「オートモード」で３画像画面表示が選択された場合、制御部１３’からの位置調整の指令に基づいて、表示範囲Ｒ’ａ、Ｒ’ｃの隣接画像縁部ｈの目印端Ｘが、表示範囲Ｒ’ｂの隣接画像縁部ｈの対応する目印端Ｘと接近するように、表示範囲Ｒ’ａ、Ｒ’ｃの位置を左右に調整する点である。
【００６５】
図１４の（ｄ）は、表示範囲Ｒ’ａ、Ｒ’ｃの左右方向の位置調整の結果、表示範囲Ｒ’ａの目印端Ｘ１Ａと表示範囲Ｒ’ｂの目印端Ｘ１Ｂとが接近するように表示範囲Ｒ’ａを配置し、表示範囲Ｒ’ｃの目印端Ｘ２Ａと表示範囲Ｒ’ｂの目印端Ｘ２Ｂとが接近するように表示範囲Ｒ’ｃを配置した結果である。
（ｅ）に位置調整前の仮配置の３画像画面（３）を示す。この状態では、表示範囲Ｒ’ｂの目印端Ｘ１Ｂ、Ｘ２Ｂと表示範囲Ｒ’ａ、Ｒ’ｃそれぞれの目印端Ｘ１Ａ、Ｘ２Ａとが左右に食い違っており、運転者に違和感を与える。
（ｄ）のように表示範囲Ｒ’ａと表示範囲Ｒ’ｃを左右にずらす位置調整をした結果、白線が後方につながって見え、違和感を与えない。
【００６６】
本実施例の画像表示の切換制御の流れを以下に説明する。
画像表示の切換制御の流れの全体のフローチャートは第１の実施例の図９と同じである。「オート」モードの場合、図９のステップ１０７に相当する詳細なフローチャートが、図１５に示すフローチャートに置き換わる。
なお、表示範囲切り出し部１１は表示範囲切り出し部１１’に、画像合成部１２は画像合成部１２’に、制御部１３は制御部１３’に読み直す。
ステップ１０６の後、ステップ３０１に進み、制御部１３’はステップ１０６の画像数選択スイッチ２２の状態検出結果から運転者が２画像画面表示を選択したか、３画像画面表示を選択したかどうかをチェックする。
２画像選択スイッチ２２ａがオン状態の場合はステップ３０２へ、３画像選択スイッチ２２ｂがオン状態の場合はステップ３１１へ進む。
【００６７】
ステップ３０２では、制御部１３’は操舵方向が左か右かをチェックする。操舵方向が左または中央の場合はステップ３０３へ進み、左の後側方カメラ２ａと後方カメラ２ｂのカメラ画像をディスプレイ３に表示するカメラ画像として選択する。操舵方向が右の場合はステップ３０４へ進み、右の後側方カメラ２ｃと後方カメラ２ｂのカメラ画像をディスプレイ３に表示するカメラ画像として選択する。ステップ３０３、３０４の後、ステップ３０５へ進む。
【００６８】
ステップ３０５では、制御部１３’は操舵角θに応じて操舵方向側の後側方カメラの左右撮影方向を設定する。
ステップ３０６では、制御部１３’は操舵角θに応じて、操舵方向側の後側方カメラ画像と後方カメラ画像からの切り出し表示範囲を設定して表示範囲切り出し部１１’に指令し、画像合成部１２’に配置方法を指令する。指令を受けて表示範囲切り出し部１１’は、表示範囲の切り出しを行い、画像合成部１２’に出力する。
ステップ３０２から３０６の結果、表示範囲切り出し部１１’において、操舵角θがθ２≦｜θ｜の場合は操舵方向側の２画像画面（１）を、操舵角θがθ１≦｜θ｜＜θ２の場合は操舵方向側の２画像画面（２）を、操舵角θが０≦｜θ｜＜θ１の場合は操舵方向側の２画像画面（３）が表示されるように、各カメラ画像から表示範囲が切り出される。
ステップ３０６の後、ステップ１０８へ進む。
【００６９】
以上ステップ３０２からステップ３０６は、操舵角が大きな駐車スペースへの接近段階から操舵角が小さい駐車スペース内での後進段階への車両の操縦状態の変化に応じて、２画像画面における各カメラ画像の表示範囲を自動的に切り換える制御である。駐車スペースへの接近段階では、後輪の予想軌跡と駐車スペース位置の把握のため操舵方向側の後側方カメラ画像が必要である。例えば左へ後進する例では、左の後側方カメラ２ａのカメラ画像範囲を左側に少しシフトして、車両左外方向へ大きい表示範囲とし、後方カメラ２ｂのカメラ画像範囲を小さくするように、表示範囲を自動的に設定している。
駐車スペース内での後進段階では、車輪止めまたは後方停止線までの障害物の有無と距離把握のため、後方カメラ画像の車幅一杯に後方奥行きのある表示範囲が必要である。この例では、後方カメラ２ｂのカメラ画像の左右方向の表示範囲を大きくし、左の後側方カメラ２ａのカメラ画像に側部真後ろが入るようにし、車体の前後方向が駐車スペース線Ｗに平行であることを確認しやすく、必要が小さい左外方向の表示範囲を小さくするように、表示範囲を自動的に設定している。
【００７０】
ステップ３０１の後、ステップ３１１へ進んだ場合は、制御部１３’は操舵角θに応じて左、右の後側方カメラ２ａ、２ｃの上下撮影方向を設定する。
ステップ３１２では、制御部１３’は操舵角θに応じて、左、右の後側方カメラ画像と後方カメラ画像からの切り出し表示範囲Ｒ’ａ、Ｒ’ｃ、Ｒ’ｂを設定して表示範囲切り出し部１１’に指令し、画像合成部１２’に配置方法を指令する。指令を受けて表示範囲切り出し部１１’は、表示範囲の切り出しを行い、画像合成部１２’と特徴点抽出部１４に出力する。
ステップ３１２の結果、表示範囲切り出し部１１’において、操舵角θがθ２≦｜θ｜場合は３画像画面（１）が、操舵角θがθ１≦｜θ｜＜θ２の場合は３画像画面（２）が、操舵角θが０≦｜θ｜＜θ１の場合は３画像画面（３）が、ディスプレイ３に表示されるように、各カメラ画像から表示範囲が切り出される。
【００７１】
ステップ３１３では、特徴点抽出部１４が、ステップ３１２で切り出された表示範囲に対してエッジ処理をし、特徴点を抽出する。つまり、駐車スペースを示す白線またはロープなどの輪郭を検出し、輪郭と隣接画像縁部ｈとの交点または輪郭の隣接画像縁部ｈへの延長線と隣接画像縁部ｈとの交点である目印端Ｘ（特徴点）を抽出する。特徴点抽出部１４は、目印端Ｘの有無、目印端の座標位置を制御部１３’に出力する。
ステップ３１４では、画像合成部１２’は、各カメラ画像の表示範囲を、１画面にするため仮配置をする。
【００７２】
ステップ３１５では、制御部１３’は、抽出された目印端Ｘ（特徴点）が表示範囲Ｒ’ｂと、表示範囲Ｒ’ａ、Ｒ’ｃのいずれかの隣接画像縁部ｈに存在し、それが同一の輪郭のものであるかどうかをチェックする。
表示範囲Ｒ’ｂと、表示範囲Ｒ’ａまたはＲ’ｃの何れかに同一の輪郭の目印端Ｘ（特徴点）が映っている場合は、ステップ３１６に進み、そうでない場合はステップ１０８に進む。
ステップ３１６では、画像合成部１２’は、後方カメラ画像の表示範囲の目印端Ｘ（特徴点）と隣接する左、右の後側方カメラの表示範囲の目印端Ｘ（特徴点）の表示位置が接近するように、表示範囲Ｒ’ａ、表示範囲Ｒ’ｃを左右に位置調整する。
ステップ３１６の後ステップ１０８に進む。
【００７３】
以上ステップ３１１からステップ３１６は、操舵角が大きな駐車スペースへの接近段階から操舵角が小さい駐車スペース内での後進段階への車両の操縦状態の変化に応じて、３画像画面における各カメラ画像の表示範囲を自動的に切り換える制御である。駐車スペースへの接近段階では、後輪の予想軌跡と駐車スペース位置の把握のため後側方カメラ画像が必要である。この例では左、右の後側方カメラ２ａ、２ｃのカメラ画像範囲に、車体後輪と側部後方地面が入りやすいようにカメラ方向を下げ、そのカメラ画像の表示範囲を大きくし、後方カメラ２ｂのカメラ画像の表示範囲を小さくするように、表示範囲を自動的に設定している。
駐車スペース内での後進段階では、車輪止めまたは後方停止線までの障害物の有無と距離把握のため、後方カメラ画像の車体幅一杯に後方奥行きのある表示範囲が必要である。この例では後方カメラ２ｂのカメラ画像の左右方向の表示範囲を車体前後方向に大きくとり、逆に左、右の後側方カメラ２ａ、２ｃのカメラ画像は水平後方を捉え、白線と車体の前後方向が平行な状態を分かりやすくし、その左右外側への表示範囲を小さくするように、表示範囲を自動的に設定している。
【００７４】
なお、本実施例の「マニュアル」モードにおけるステップ２０４の詳細なフローチャートは図示省略したが、図１１のステップ２２５と各ステップ２２６〜２２８との間に、追加のステップとして「表示範囲切換スイッチの位置に応じて、操舵方向側の後側方カメラの撮影方向を設定」する処理を挿入する。同様にステップ２３１と各ステップ２３２〜２３４との間に、追加のステップとして「表示範囲切換スイッチの位置に応じて、左、右の後側方カメラの撮影方向を設定」する処理を挿入する。
本実施例のギアシフト位置センサ４と操舵角センサ５は本発明の操縦状態検出手段を、２画像選択スイッチ２２ａと３画像選択スイッチ２２ｂは画像数選択スイッチを構成する。なお、後方カメラ２ｂは本発明の第１のカメラに、左の後側方カメラ２ａは第２のカメラに、右の後側方カメラ２ｃは第３のカメラに対応する。
また、フローチャートのステップ３０２〜３０４およびステップ２２２〜２２４は本発明の画像選択手段を、ステップ３０６、ステップ３１２、ステップ２２５〜２２８およびステップ２３１〜２３４は画像表示範囲設定手段を、ステップ３１３は特徴点抽出手段を、ステップ３０５、３１１は撮影方向設定手段を構成する。
【００７５】
以上のように本実施の形態によれば、第１の実施例と同様に「オート」モードにおいて、複数のカメラ画像から自動的に、車両の操舵角状態に応じて必要なカメラ画像を大きく切り出し、その時点でそれほど必要でないカメラ画像は小さく切り出される。切り出された表示範囲は、運転者からドアミラー、バックミラーを通して見るような左右配置の１画面に合成して、２画像画面（１）、（２）、（３）または３画像画面（１）、（２）、（３）として自動的に切り替え、縮小されない画像をディスプレイ３に表示するので、車両左右側部後方および車両後方を監視し易い。
また、「マニュアル」モードでは、運転者の画像数選択スイッチ２２の操作、および表示範囲切換スイッチ２４の操作に応じて、複数のカメラ画像から、任意に予め決められた表示範囲を切換えて切り出す。切り出された表示範囲は、運転者からドアミラー、バックミラーを通して見るような左右配置の１画面に合成して、２画像画面（１）、（２）、（３）または３画像画面（１）、（２）、（３）として、縮小されない画像をディスプレイ３に表示するので、車両左右側部後方および車両後方を監視し易い。
また、第１の実施例と同様に２画像画面表示の場合は、「オート」モードおよび「マニュアル」モードの場合共、操舵角によって、自動的に操舵方向側の後側方カメラ画像と後方カメラ画像を選択して表示するので、カメラ画像の選択という負担が運転者に掛からない。
また、２画像画面表示、３画像画面表示のいずれの場合も、ディスプレイ３に複数のカメラ画像を表示するときの画像の配置関係が操舵状態または表示範囲切換スイッチ２４の操作に関係なく維持され、２画像画面（１）、（２）、（３）間または３画像画面（１）、（２）、（３）間の表示範囲の変化時にも、一貫して画像間の繋がりを運転者が理解し易い。
【００７６】
さらに、２画像画面表示、３画像画面表示のいずれの場合も、「オート」モードでは操舵角が大きいほど、操舵方向側の後側方カメラ画像の撮影範囲を側部後方の地面が広く映るように撮影方向を制御する。
また、２画像画面表示、３画像画面表示のいずれの場合も、「マニュアル」モードで運転者が表示範囲切換スイッチ２４を操作して、「位置１」、「位置２」、「位置３」から選択して設定したとき、前者ほど操舵方向側の後側方カメラ画像の撮影範囲を側部外側の地面が広く映るように撮影方向を制御する。
従って、駐車スペースへの接近段階において、後輪の予想軌跡と駐車スペースの位置を、ディスプレイ３で確認しやすい。
また、３画像画面表示において、各カメラ画像から切り出す表示範囲を設定して１画面に合成する時に、境界領域の隙間が少ないように設定しているので、ディスプレイ３の表示画面を有効に活用できる。
さらに、「オート」モードで３画像画面表示を選択したとき、各カメラ画像から切り出された表示範囲に含まれる白線などの輪郭が一致する場合、複数の表示範囲を１画面に合成する段階で、各表示範囲の隣接画像縁部ｈで輪郭の特徴点同士が近接するように、位置調整するので、運転者に後方監視画面が違和感なく理解できる。
【実施例３】
【００７７】
次に本発明の第３の実施例を説明する。図１６は本実施例の車両周辺監視装置のブロック構成図である。第１の実施例または第２の実施例と同じ構成については、同一符号を付して説明を省略する。
本実施例の車両周辺監視装置は、左前端側方カメラ８ａ、前下方カメラ８ｂ、右前端側方カメラ８ｃの３台のカメラで車両の左方向、車両の前下方向および右方向を撮影し、その画像が周辺監視ＣＵ１ａに入力され、画像処理された画像がディスプレイ３に表示される。
周辺監視ＣＵ１ａには、運転者が車両周辺監視機能を作動／停止させる作動スイッチ６’と、車両の前進状態を検出するギアシフト位置センサ４と車輪速センサ９が接続している。
【００７８】
周辺監視ＣＵ１ａは、これら３台のカメラ８ａ、８ｂ、８ｃからのカメラ画像を取り込み、各カメラ画像からディスプレイ３に表示する表示範囲を切り出す表示範囲切り出し部１１ａと、複数のカメラ画像から切り出された表示範囲を画像処理して地上の目印を抽出して、さらにその目印端を抽出する特徴点抽出部１４ａと、前述の表示範囲を所定の配置にして１画面の画像に合成する画像合成部１２ａと、後述の進出距離Ｌに応じて上記表示範囲切り出し部１１ａに各カメラ画像から切り出す表示範囲を指令し、また画像合成部１２ａに各表示範囲の配置方法を指令する制御部１３ａから構成される。
なお、表示範囲切り出し部１１ａ、画像合成部１２ａおよび特徴点抽出部１４ａは、ハード的には例えば図示しない一つの画像処理プロセッサーと画像メモリで構成されている。
また、制御部１３ａはハード的には例えばＣＰＵ、ＲＯＭ、ＲＡＭから構成されている。
【００７９】
図１７は本実施例の構成の配置を示す図である。車両３１’は例えば運転席が高いバスまたは貨物車両である。左前端側方カメラ８ａは車両前部の左端の例えばバンパー上方に左側方をほぼ水平に撮影するように設置されている。前下方カメラ８ｂは車両前部の車幅方向中央の高さ方向の中段から上段に設置され、車幅方向に広く撮影可能に広角レンズを用いたカメラである。右前端側方カメラ８ｃは、車両前部右端の例えばバンパー上方に右側方をほぼ水平に撮影するように設置されている。
【００８０】
次に、周辺監視ＣＵ１ａの各構成を詳細に説明する。
車両周辺監視装置は、図示しないイグニッションキースイッチがオン状態で、連動して待機状態になり、ギアシフト位置センサ４が前進位置でかつ作動スイッチ６’のオン状態を検出したとき、前方監視機能が起動する。作動スイッチ６’のオフ状態を検出すると前方監視機能が停止する。
制御部１３ａは、起動すると車輪速センサ９からパルス信号を計数開始し、パルス信号の計数から作動スイッチ６’のオン以後の車両３１の進出距離Ｌを算出する。
制御部１３ａは、進出距離Ｌに応じて各カメラ画像から切り出す表示範囲を３段階で表示範囲切り出し部１１ａに指令する。
【００８１】
以下に、図１８に示すような見通しの悪い交差点の手前で、車両３１’が最徐行または一旦停車してから進入する例で説明する。
図１９は進出距離Ｌが０以上で、所定距離Ｌ１未満の場合に、前部の３台のカメラ画像を、一つの画面に合成してディスプレイ３に表示するときの例を示す図である。ここで、所定距離Ｌ１は、例えば路肩または歩道の幅に相当する０．６ｍとする。
図１９の（ａ）は左前端側方カメラ８ａによるカメラ画像を、（ｂ）は右前端側方カメラ８ｃによるカメラ画像を、（ｃ）は前下方カメラ８ｂによるカメラ画像を示す。（ａ）、（ｂ）、（ｃ）の破線の枠で囲った範囲は、表示範囲切り出し部１１ａがそれぞれのカメラ画像から切り出す表示範囲Ｒ１、Ｒ３、Ｒ２である。
【００８２】
表示範囲Ｒ１、Ｒ３は左右対称で、カメラ画像の左右方向中央で横幅の約１／２の幅で、上下方向に対しては上側の約２／３の幅である。
表示範囲Ｒ２は、図１９の（ｃ）の前下方カメラ画像において、横幅一杯で上下方向には下側から約１／３の幅で設定する。
図１９の（ｄ）は、表示範囲Ｒ１、Ｒ３を上側に左右に配置し、その下側に表示範囲Ｒ２を配置して、その間の斜線で示す境界領域ｆに隙間処理をして、１画面に合成表示したものである。以下、これを前３画像画面（１）と称する。
【００８３】
図２０は進出距離Ｌが所定の距離Ｌ２以上の場合に、前部の３台のカメラ画像を、一つの画面に合成してディスプレイ３に表示するときの例を示す図である。ここで、所定の距離Ｌ２は、例えば交差点中央への進出段階に相当する２ｍとする。
図２０の（ａ）、（ｂ）は左、右前端側方カメラ８ａ、８ｃによるカメラ画像を、（ｃ）は前下方カメラ８ｂによるカメラ画像を示す。（ａ）、（ｂ）、（ｃ）の破線の枠で囲った範囲は、表示範囲切り出し部１１ａがそれぞれのカメラ画像から切り出す表示範囲Ｒ１、Ｒ３、Ｒ２である。図１９との相違は、表示範囲Ｒ１、Ｒ３の上下幅が、カメラ画像の上側ほぼ１／３であり、また表示範囲Ｒ２の上下方向の幅はカメラ画像の上下幅のほぼ下側２／３に設定される。
図２０の（ｄ）は、表示範囲Ｒ１、Ｒ３、Ｒ２を前３画像画面（１）と同様に配置して、１画面に合成した前３画像画面（３）を示す。
進出距離Ｌが所定の距離Ｌ１以上で、所定の距離Ｌ２未満の場合については、図示省略するが、表示範囲Ｒ１、Ｒ３の上下幅が、カメラ画像の上側約１／２幅であり、表示範囲Ｒ２の上下方向の幅もカメラ画像の下側ほぼ１／２である。この表示範囲Ｒ１、Ｒ３およびＲ２を上記と同様に一つの画面に配置して合成表示したものを、前３画像画面（２）とする。
【００８４】
特徴点抽出部１４ａは、表示範囲切り出し部１１ａが各カメラ画像から切り出した表示範囲に対して、周知のエッジ検出処理を行い、地面上の、例えば路肩を示す白線、車道と歩道とを区分する境界の白線、または車道と歩道との境界縁石の輪郭を抽出し、さらに抽出された輪郭と、設定された表示範囲の隣接画像縁部ｈとの交点を目印端Ｘとして抽出する。
抽出された白線などの輪郭と隣接画像縁部ｈとが直接交わらない場合は、輪郭の隣接画像縁部ｈへの延長線と、隣接画像縁部ｈとの交点を目印端Ｘとする。
図１９に示した前３画像画面（１）の場合の例で、説明すると、路肩を示す白線Ｗａが左前端側方カメラ画像、前下方カメラ画像、右前端側方カメラ画像に映っている。（ａ）に示すように、隣接画像縁部ｈに目印端Ｘ（ＸａＬ）が、（ｂ）に示すように隣接画像縁部ｈに目印端Ｘ（ＸａＲ）が、（ｃ）に示すように隣接画像縁部ｈに目印端Ｘ（ＸａＦ、ＸｂＦ）が得られる。
特徴点抽出部１４ａは、目印端Ｘが得られた場合、目印端Ｘを得た画像が何れのカメラによるものか、また輪郭の位置座標、目印端Ｘの位置座標を制御部１３ａに出力する。
【００８５】
左前端側方カメラ８ａ、右前端側方カメラ８ｃ、前下方カメラ８ｂのそれぞれの固定された撮影方向、取付け位置、各カメラの焦点距離データは予め制御部１３ａに記憶されており、制御部１３ａは、各カメラ画像の表示範囲から抽出された例えば白線の車両３１’の前部基準位置からの実際の位置が算出できる。
算出した位置が、前部基準位置から車両前方の同一距離にある場合、制御部１３ａは、各カメラ画像の抽出された輪郭を同一の白線のものと判定し、その目印端Ｘ同士が接近するように、前３画像画面の位置調整を画像合成部１２ａに指令する。
【００８６】
画像合成部１２ａは、制御部１３ａからの位置調整の指令に基づいて、表示範囲Ｒ１の隣接画像縁部ｈの目印端Ｘ（ＸａＬ）が表示範囲Ｒ２の隣接画像縁部ｈの対応する目印端Ｘ（ＸａＦ）と接近するように、また、表示範囲Ｒ３の隣接画像縁部ｈの目印端Ｘ（ＸｂＲ）が表示範囲Ｒ２の隣接画像縁部ｈの対応する目印端Ｘ（ＸｂＦ）と接近するように表示範囲Ｒ２の横方向幅を縮小または拡大して位置を左右に調整する。なお、縮小率は所定の制限値が設定されており、余り小さく縮小し過ぎないように制限する。
図１９の（ｄ）は、表示範囲Ｒ２の左右方向幅を縮小調整の結果、表示範囲Ｒ２の目印端ＸａＦと表示範囲Ｒ１の目印端ＸａＬとを、表示範囲Ｒ３の目印端ＸｂＲと表示範囲Ｒ２の目印端ＸｂＦとを、接近配置した結果である。
（ｅ）に位置調整前の仮配置の前３画像画面（３）を示す。この状態では、表示範囲Ｒ２の位置調整をしていないので、表示範囲Ｒ２の目印端ＸａＦと表示範囲Ｒ１の目印端ＸａＬとが左右に大きく食い違っており、また、表示範囲Ｒ３の目印端ＸｂＲと表示範囲Ｒ２の目印端ＸｂＦとが左右に大きく食い違っており、運転者に違和感を与える。
（ｄ）のように表示範囲Ｒ２を左右幅方向に縮小して左右にずらし位置調整をした結果、白線が前下方カメラ画像とから左、右前端側方カメラ間でつながって見え易く、違和感が少ない。
【００８７】
本実施例の画像表示の切換制御の流れを以下に説明する。
図２１は画像表示の切換制御の流れの全体のフローチャートである。
図示省略のイグニッションキーがオンされると、本車両周辺監視装置が待機状態になる。
本制御は制御部１３ａ、表示範囲切り出し部１１ａ、画像合成部１２ａ、特徴点抽出部１４ａのプログラムとして処理される。
【００８８】
ステップ４０１では、制御部１３ａは、作動スイッチ６’がオンかどうかをチェックする。オンの場合はステップ４０２に進み、そうで無い場合はステップ４０１を繰り返す。
ステップ４０２では、車両周辺監視装置が動作を開始し、制御部１３ａは車輪速センサ９からのパルス信号の計数を開始する。計数に応じて動作開始後の車両３１の前進距離つまり進出距離Ｌの算出を開始する。ステップ４０２の後、ステップ４０３に進む。
ステップ４０３では、表示範囲切り出し部１１ａは、左前端側方カメラ８ａ、前下方カメラ８ｂ、右前端側方カメラ８ｃからのカメラ画像を取得する。
【００８９】
ステップ４０４では、制御部１３ａは進出距離Ｌをチェックする。
進出距離Ｌが０以上で所定の距離Ｌ１未満の場合はステップ４０５に進み、制御部１３ａは前３画像画面（１）を表示するための切り出し表示範囲を設定し、表示範囲切り出し部１１ａに指令し、画像合成部１２ａに配置を指令する。表示範囲切り出し部１１ａは指令を受けて、例えば図１９の（ａ）、（ｂ）、（ｃ）に破線枠で示すような表示範囲Ｒ１、Ｒ３、Ｒ２をカメラ画像から切り出し、画像合成部１２ａと特徴点抽出部１４ａに出力する。
【００９０】
進出距離Ｌが所定の値Ｌ１以上かつ所定の値Ｌ２未満の場合はステップ４０６に進み、制御部１３ａは前３画像画面（２）を表示するための切り出し表示範囲を設定し、表示範囲切り出し部１１ａに指令し、画像合成部１２ａに配置を指令する。表示範囲切り出し部１１ａは指令を受けて、表示範囲Ｒ１、Ｒ３、Ｒ２を切り出し、画像合成部１２と特徴点抽出部１４ａに出力する。
【００９１】
進出距離Ｌが所定の値Ｌ２以上の場合はステップ４０７に進み、制御部１３ａは前３画像画面（３）を表示するための切り出し表示範囲を設定し、表示範囲切り出し部１１ａに指令し、画像合成部１２ａに配置を指令する。表示範囲切り出し部１１ａは指令を受けて、例えば図２０の（ａ）、（ｂ）、（ｃ）に破線枠で示すような表示範囲Ｒ１、Ｒ３、Ｒ２をカメラ画像から切り出し、画像合成部１２ａと特徴点抽出部１４ａに出力する。
ステップ４０５、４０６、４０７の後、ステップ４０８へ進む。
【００９２】
ステップ４０８では、特徴点抽出部１４ａが、ステップ４０５、４０６または４０７で設定された各カメラ画像からの切り出し表示範囲に対してエッジ処理をし、目印端Ｘ（特徴点）を抽出する。つまり、例えば路肩を示す白線などの輪郭を検出し、隣接画像縁部ｈと輪郭との交点、または輪郭の隣接画像縁部ｈへの延長線と隣接画像縁部ｈとの交点である目印端Ｘ（特徴点）を抽出する。特徴点抽出部１４ａは、目印端Ｘの有無、目印端Ｘの座標位置を制御部１３ａに出力する。
ステップ４０９では、画像合成部１２ａは、各カメラ画像から切り出された表示範囲を、１画面にするため仮配置する。
【００９３】
ステップ４１０では、制御部１３ａは、抽出された目印端Ｘ（特徴点）が表示範囲Ｒ２と、表示範囲Ｒ１またはＲ３の何れかの画像に存在し、それが同一の輪郭のものであるかどうかをチェックする。
表示範囲Ｒ１またはＲ３のいずれかに、表示範囲Ｒ２の輪郭と同一の輪郭の目印端Ｘ（特徴点）がある場合はステップ４１１に進み、そうでない場合はステップ４１２に進む。
ステップ４１１では、画像合成部１２ａは、抽出された目印端Ｘ（特徴点）が隣接画像同士で接近するように、前下方カメラ画像の表示範囲Ｒ２を左右方向に縮尺調整する。
ステップ４１１の後、ステップ４１２に進む。
【００９４】
ステップ４１２では、画像合成部１２ａは、ステップ４０９または４１１において配置された各表示範囲を１画面に画像合成する。その後ステップ４１３では、貼り付けた各画像間の隙間を、黒色で埋める画像の隙間処理を行う。
ステップ４１４では、ディスプレイ３は合成画像を運転者に提示する。
ステップ４１５では、制御部１３ａは、作動スイッチ６’がオフかどうかをチェックし、オフで無い場合はステップ４０３に戻って、進出距離Ｌに応じた前３画像画面表示の制御を繰り返す。
作動スイッチ６’がオフの場合、車両周辺監視機能を停止し、ステップ４０１に戻る。
【００９５】
以上のステップ４０４からステップ４１４は、図１９、図２０の画面表示を例に説明したように、見通しの悪い交差点への入り口段階から交差点中央への進出段階における車両の操縦状態の変化に応じて、前３画像画面における各カメラ画像の表示範囲を自動的に切り換える制御である。
交差点への入り口段階では、車両３１’は一旦停車して左右方向から交差点に進入してくる車両や人を監視するため左右方向の奥行きのあるカメラ画像が必要である。これに対し、前下方カメラ画像は車両３１’直前の人を見落とさないように手前側だけのカメラ画像で十分である。図１９の（ｄ）の例では左右前端側方カメラ８ａ、８ｃのカメラ画像の前後方向の表示範囲を遠方から手前に向けて大きくとり、前下方カメラ８ｂのカメラ画像の表示範囲を小さくするように、自動的に設定している。
交差点中央への進出段階では、第１に車両３１’前方の交差点全体の障害物の有無確認のため、前下方カメラ画像のできるだけ奥行きのある表示範囲が必要である。次に交差点通過時の状況把握のため、左右方向から交差点に接近してくる車両を認知しておく必要がある。従って、図２０の（ｄ）に示すように前下方カメラ８ｂのカメラ画像の前後方向の表示範囲を大きくし、左右前端側方カメラ８ａ、８ｃのカメラ画像の遠方部分を切り出し表示し、上下幅方向の表示範囲を小さくするように、自動的に設定している。
【００９６】
本実施例のギアシフト位置センサ４と車輪速センサ９は本発明の操縦状態検出手段を構成する。なお、前下方カメラ８ｂは本発明の第４のカメラに、左前端側方カメラ８ａは第５のカメラに、右前端側方カメラ８ｃは第６のカメラに対応する。
また、フローチャートのステップ４０２は本発明の進出距離検出手段を、ステップ４０４〜４０７は画像表示範囲設定手段を、ステップ４０８は特徴点抽出手段を構成する。
【００９７】
以上のように本実施の形態によれば、見通しの悪い交差点への進入または見通しの悪い路地から交通量のある道路へ出るとき、車両の左方、右方および車両前方のカメラ画像を１画面に合成して、前３画像画面（１）、（２）、（３）を自動的に切り替えディスプレイ３に表示するので、左、右前端側方および前下方を監視し易い。
さらに、ディスプレイ３に前３画像画面を表示するときの画像の配置関係が、進出距離Ｌに関係なく維持され、前３画像画面（１）、（２）、（３）間の表示範囲の変化時にも、一貫して画像間の繋がりを運転者が理解し易い。
【００９８】
さらに、各カメラ画像から切り出された表示範囲に含まれる白線などの輪郭が一致する場合、各表示範囲の隣接画像縁部ｈで輪郭の特徴点同士の位置が接近するように複数の表示範囲を１画面に合成する段階で位置調整するので、運転者に左右方向と前方を同時に監視する一つの合成画面が違和感なく理解できる。
【００９９】
なお、第１の実施例および第２の実施例の「オート」モードでの２画像画面または３画像画面の表示範囲の切換制御において、操舵角θの範囲に応じて、（１）、（２）、（３）の３段階に切換えるものとしたが、連続的に表示範囲を切換制御しても良い。
また、第１および第２の実施例において、左、右の後側方カメラ２ａ、２ｃはドアミラー３２Ｌ、３２Ｒに設置するものとしたが、それに限定されるものではない。車両３１の車体前部の側面、車体後部の側面または車体後部の左右端部に設置しても良い。
【０１００】
また、第３の実施例の前３画像画面の表示範囲の切換制御において、進出距離Ｌの範囲に応じて、（１）、（２）、（３）の３段階に切換えるものとしたが、連続的に表示範囲を切換制御しても良い。
さらに、本実施例では、車両のカメラとして車両３１’の前部に左、右前端カメラ８ａ、８ｃと前下方カメラ８ｂを設けたが、同様に車両の後部に左、右後端側方カメラと後下方カメラを設け、後進により駐車スペースまたは私道などから公道に出るときに後方監視する構成としても良い。この場合、後下方カメラが本発明の第１のカメラに、左、右の後端側方カメラが第７、第８のカメラに対応する。
【図面の簡単な説明】
【０１０１】
【図１】本発明の第１の実施例の構成を示すブロック図である。
【図２】第１の実施例の構成の配置を示す図である。
【図３】第１の実施例の２画像画面（１）を説明する図である。
【図４】第１の実施例の２画像画面（２）を説明する図である。
【図５】第１の実施例の２画像画面（３）を説明する図である。
【図６】第１の実施例の３画像画面（１）を説明する図である。
【図７】第１の実施例の３画像画面（２）を説明する図である。
【図８】第１の実施例の３画像画面（３）を説明する図である。
【図９】第１の実施例の画像表示の切換制御の全体の流れを示すフローチャートである。
【図１０】「オート」モードでの画像表示の切換制御の流れの一部を示すフローチャートである。
【図１１】「マニュアル」モードでの画像表示の切換制御の流れの一部を示すフローチャートである。
【図１２】本発明の第２の実施例の構成を示すブロック図である。
【図１３】第２の実施例の３画像画面（１）を説明する図である。
【図１４】第２の実施例の３画像画面（３）を説明する図である。
【図１５】「オート」モードでの画像表示の切換制御の流れの一部を示すフローチャートである。
【図１６】本発明の第３の実施例の構成を示すブロック図である。
【図１７】第３の実施例の構成の配置を示す図である。
【図１８】第３の実施例の前３画像画面を説明する図である。
【図１９】第３の実施例の前３画像画面（１）を説明する図である。
【図２０】第３の実施例の前３画像画面（３）を説明する図である。
【図２１】第３の実施例の画像表示の切換制御の全体の流れを示すフローチャートである。
【符号の説明】
【０１０２】
１、１’、１ａ    周辺監視コントロールユニット
２ａ      左の後側方カメラ
２ｂ      後方カメラ
２ｃ      右の後側方カメラ
３        ディスプレイ
４        ギアシフト位置センサ
５        操舵角センサ
６        切換スイッチ
６’      作動スイッチ
７ａ、７ｂ    角度センサ付きアクチュエータ
８ａ      左前端側方カメラ
８ｂ      前下方カメラ
８ｃ      右前端側方カメラ
９        車輪速センサ
１１、１１’、１１ａ    表示範囲切り出し部
１２、１２’、１２ａ    画像合成部
１３、１３’、１３ａ    制御部
１４、１４ａ      特徴点抽出部
２１      オート／マニュアル切換スイッチ
２２ａ    ２画像選択スイッチ
２２ｂ    ３画像選択スイッチ
２４      表示範囲切換スイッチ
３１、３１’    車両
３２Ｌ、３２Ｒ    ドアミラー
３３      ステアリングホイール
【図１】
2005223524.tif 000003
【図２】
2005223524.tif 000004
【図３】
2005223524.tif 000005
【図４】
2005223524.tif 000006
【図５】
2005223524.tif 000007
【図６】
2005223524.tif 000008
【図７】
2005223524.tif 000009
【図８】
2005223524.tif 000010
【図９】
2005223524.tif 000011
【図１０】
2005223524.tif 000012
【図１１】
2005223524.tif 000013
【図１２】
2005223524.tif 000014
【図１３】
2005223524.tif 000015
【図１４】
2005223524.tif 000016
【図１５】
2005223524.tif 000017
【図１６】
2005223524.tif 000018
【図１７】
2005223524.tif 000019
【図１８】
2005223524.tif 000020
【図１９】
2005223524.tif 000021
【図２０】
2005223524.tif 000022
【図２１】
2005223524.tif 000023