(57)【特許請求の範囲】
【請求項１】
車両の後部に設置され車両周辺部を撮影する撮影手段と、
前記撮影手段で撮影された画像をディジタル信号に変換するディジタル変換手段と、
前記ディジタル変換手段からのディジタル画像信号を圧縮する圧縮手段と、
前記圧縮手段により圧縮された圧縮ディジタル画像信号を元のディジタル画像信号に戻す伸長手段と、
前記伸長手段により伸長されたディジタル画像信号より車両の周辺部を判定する車両周辺部判定手段と、
前記撮影手段による撮影時点から表示時点までの間の車両の挙動を計測する車両挙動計測手段と、
前記車両挙動計測手段により計測される車両の挙動より、前記車両周辺部判定手段により判定された車両周辺部よりの車両の移動分を計算し、画像データに変換する車両移動画像生成手段と、
前記伸長手段により伸長された画像信号と前記車両移動画像生成手段により生成された車両の移動分の画像データとを合成する画像合成手段と、
前記画像合成手段により合成された画像を表示する表示手段と
を備えた車両周辺監視装置。
【請求項２】
請求項１に記載の車両周辺監視装置において、
前記車両周辺部判定手段の代わりに、前記伸長手段により伸長されたディジタル画像信号より車両の後方の物体を判定する車両後方物体判定手段を備えると共に、
前記車両移動画像生成手段の代わりに、前記車両挙動計測手段により計測される車両の挙動より、前記車両後方物体判定手段により判定された後方物体の車両の移動分に相当する移動分を計算し、画像データに変換する後方物体移動画像生成手段を備え、
前記画像合成手段は、前記伸長手段により伸長された画像信号と前記後方物体移動画像生成手段により生成された後方物体の移動分の画像データとを合成する
ことを特徴とする車両周辺監視装置。
【請求項３】
請求項１または２項に記載の車両周辺監視装置において、
前記車両挙動計測手段は、
車両の前輪の操舵角を検出する操舵角検出手段と、
車両の各々の従動輪の回転数を計測する車輪速計測手段と、
前記操舵角検出手段と前記車輪速計測手段の各検出値より、撮影時点より表示時点までの間の車両の移動量を計算する移動量計算手段と
を備えたことを特徴とする車両周辺監視装置。
【請求項４】
請求項１ないし３のいずれかに記載の車両周辺監視装置において、
前記伸長手段からの出力に基づいて移動物位置画像を生成する移動物画像生成手段をさらに備え、
前記画像合成手段は、前記移動物位置画像も前記表示手段に重ねて表示する
ことを特徴とする車両周辺監視装置。
【請求項５】
請求項４に記載の車両周辺監視装置において、
前記画像合成手段は、前記移動物位置画像を車両移動分の画像と別な色で表示する
ことを特徴とする車両周辺監視装置。
【請求項６】
請求項１、３ないし５のいずれかに記載の車両周辺監視装置において、
前記画像合成手段は、車両周辺部から車両の移動量分だけずれた位置に車両周辺部画像を移動させた画像をディジタル画像データ上で合成する
ことを特徴とする車両周辺監視装置。
【請求項７】
請求項６に記載の車両周辺監視装置において、
前記画像合成手段は、車両周辺部画像を移動させて空いた部分を車体と同じ色に塗りつぶす
ことを特徴とする車両周辺監視装置。
【請求項８】
請求項２ないし５のいずれかに記載の車両周辺監視装置において、
前記画像合成手段は、車両周辺部から車両の移動量分だけずれた位置に車両後方物体画像を移動させた画像をディジタル画像データ上で合成する
ことを特徴とする車両周辺監視装置。
【請求項９】
請求項８に記載の車両周辺監視装置において、
前記画像合成手段は、車両後方物体画像を移動させて空いた部分を地面と同じ色に塗りつぶす
ことを特徴とする車両周辺監視装置。
【請求項１０】
請求項１または３ないし９のいずれかに記載の車両周辺監視装置において、
前記車両周辺部判定手段は、車両周辺部に付けられた目印を検出することで後端部を判定する
ことを特徴とする車両周辺監視装置。
【請求項１１】
請求項１ないし１０のいずれかに記載の車両周辺監視装置において、
前記車輪速計測手段からの車輪速度を判定し、所定の車輪速度以上の場合には、前記表示手段が後方撮影画像を表示しないか、運転者に目視を促すメッセージを表示するよう制御する制御手段をさらに備えた
ことを特徴とする車両周辺監視装置。
【請求項１２】
請求項１ないし１０のいずれかに記載の車両周辺監視装置において、
車両周辺部の移動量が一部でも前記表示手段の表示範囲を超えた場合には、前記表示手段が後方撮影画像を表示しないか、運転者に目視を促すメッセージを表示するよう制御する制御手段をさらに備えた
ことを特徴とする車両周辺監視装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、車両後部に設置したカメラで車両後方を撮影し、撮影した画像をディジタル信号で伝送し、車両のコンソールに設置された表示手段（ディスプレイ）に表示する車両周辺監視装置に関するもので、特にディジタル信号伝送による時間遅れを補正する処置に関する。
【０００２】
【従来の技術】
従来の車両周辺監視装置は、車両後部に設置したカメラで車両後方を撮影し、撮影した画像をアナログ信号で伝送し、そのまま車両のコンソールに設置された表示手段（ディスプレイ）に表示していた。さらに、その後方撮影画像に、特開平９−１９３７１０号公報に示されるように、距離表示と車幅表示を重ねて表示する例や、特開平１１−３３４４７０号公報に示されるように、走行予想軌跡を重ねて表示する例や、特開平１０−１７５４８２号公報に示されるように、後輪の走行軌跡を重ねて表示する例や、特開２０００−３１３２９２号公報に示されるように、固定のガイドラインを重ねて表示する例も見られる。
【０００３】
また、特開平１０−１７５４８２号公報や特開平１１−３３４４７０号公報では、操舵角や車速センサの検出値より後輪の移動軌跡や走行予想軌跡を計算し、路面上の座標系からカメラ撮影する画面内の座標系（いわゆるグラフィック表示座標系）に合うように座標変換して表示手段（ディスプレイ）に重ねて表示する手法が示されている。また、特開平１１−３３４４７０号公報や特開２０００−３１３２９２号公報では、シフトレバーがリバース位置にあるかどうかをスイッチにて判定しており、シフトレバーがリバース位置に入った場合のみ、後方撮影画像や付加情報を表示手段（ディスプレイ）に表示する手法が示されている。従来のアナログ信号による画像伝送ではカメラで撮影する撮影時刻とその撮影画像が表示手段に表示される表示時刻との間の時間遅れはほとんど生じなかった。
【０００４】
【発明が解決しようとする課題】
しかし、最近、車載ネットワーク（ＬＡＮ：Local Area Network）が普及しディジタルで信号を伝送することが多くなってきた。これは、ＣＤ、ＭＤなどのディジタル音声録音メディアが普及し、また、ＤＶＤなどの映像信号が元々圧縮して記録されているディジタル映像録画メディアも普及し、それらのプレイヤーと再生機器（例えば、ＣＤプレーヤとスピーカ、ＤＶＤプレーヤとディスプレイ）を車両内の離れた位置に設置するため、そのディジタル信号を車載ネットワークで伝送するようになってきたからである。同様に、車両後方監視用に設置されているカメラで撮影した画像信号を車載ネットワークで伝送しようということも考えられた。
【０００５】
ところが、車両後方監視用に設置されているカメラで撮影した画像信号を同様にそのままディジタル化して伝送したのではデータ量が多く伝送しにくいことが問題となった。例えば画素ごとの白黒輝度信号を８ビットで量子化し、その横６４０×縦４８０画素の画像データを１秒間に３０枚分で送るとすると、約７３．７Ｍｂｐｓの伝送量となる。カラー信号では、この３倍の２２１Ｍｂｐｓとなる。画像信号をディジタル化してメモリに記憶する例は特開平６−１２４３９７号公報にも見られる。
【０００６】
そこで、ディジタル画像データをＭＰＥＧやＭｏｖｉｎｇＪＰＥＧなどの手法を使ってデータ圧縮して伝送することが考えられた。この方法では、このデータ量圧縮のための圧縮処理と、圧縮したデータを元の画像に伸長復元する伸長処理が必要であり、その処理に時間がかかり、撮影時刻と表示時刻との間に時間遅れが生じ、実際に表示されているのは時間遅れ分前に撮影された画像であるという問題点がでてきた。この遅れ時間は、画像データ圧縮手法によって異なるが、ＭＰＥＧ２方式では数秒の時間遅れが実測されている。
【０００７】
さらに、この圧縮したディジタル信号を伝送する方法を車両周辺監視装置に使おうとすると、表示画像を見て後方を監視している場合、時間遅れ分前の画像を監視していることになるので、この時間遅れが事故を引き起こす可能性があるという問題点がでてきた。例えば、車両が時速１ｋｍ（１ｋｍ／ｈ）程度の超低速走行でも車両は１秒間に２８ｃｍ進む。そのため、縁石や壁に当たらないと思っていても当たってみたり、時には後ろを横切る子供や犬に当たる危険性もあった。
【０００８】
この発明は前記のような問題点を解決するためなされたもので、ディジタル信号伝送による時間遅れに伴い生じる事故を確実に防止することができる車両周辺監視装置を得ることを目的としたものである。
【０００９】
【課題を解決するための手段】
この発明に係る車両周辺監視装置は、車両の後部に設置され車両周辺部を撮影する撮影手段と、前記撮影手段で撮影された画像をディジタル信号に変換するディジタル変換手段と、前記ディジタル変換手段からのディジタル画像信号を圧縮する圧縮手段と、前記圧縮手段により圧縮された圧縮ディジタル画像信号を元のディジタル画像信号に戻す伸長手段と、前記伸長手段により伸長されたディジタル画像信号より車両の周辺部を判定する車両周辺部判定手段と、前記撮影手段による撮影時点から表示時点までの間の車両の挙動を計測する車両挙動計測手段と、前記車両挙動計測手段により計測される車両の挙動より、前記車両周辺部判定手段により判定された車両周辺部よりの車両の移動分を計算し、画像データに変換する車両移動画像生成手段と、前記伸長手段により伸長された画像信号と前記車両移動画像生成手段により生成された車両の移動分の画像データとを合成する画像合成手段と、前記画像合成手段により合成された画像を表示する表示手段とを備えたものである。
【００１０】
また、前記車両周辺部判定手段の代わりに、前記伸長手段により伸長されたディジタル画像信号より車両の後方の物体を判定する車両後方物体判定手段を備えると共に、前記車両移動画像生成手段の代わりに、前記車両挙動計測手段により計測される車両の挙動より、前記車両後方物体判定手段により判定された後方物体の車両の移動分に相当する移動分を計算し、画像データに変換する後方物体移動画像生成手段を備え、前記画像合成手段は、前記伸長手段により伸長された画像信号と前記後方物体移動画像生成手段により生成された後方物体の移動分の画像データとを合成する  ことを特徴とするものである。
【００１１】
また、前記車両挙動計測手段は、車両の前輪の操舵角を検出する操舵角検出手段と、車両の各々の従動輪の回転数を計測する車輪速計測手段と、前記操舵角検出手段と前記車輪速計測手段の各検出値より、撮影時点より表示時点までの間の車両の移動量を計算する移動量計算手段とを備えたことを特徴とするものである。
【００１２】
また、前記伸長手段からの出力に基づいて移動物位置画像を生成する移動物画像生成手段をさらに備え、前記画像合成手段は、前記移動物位置画像も前記表示手段に重ねて表示することを特徴とするものである。
【００１３】
また、前記画像合成手段は、前記移動物位置画像を車両移動分の画像と別な色で表示することを特徴とするものである。
【００１４】
また、前記画像合成手段は、車両周辺部から車両の移動量分だけずれた位置に車両周辺部画像を移動させた画像をディジタル画像データ上で合成することを特徴とするものである。
【００１５】
また、前記画像合成手段は、車両周辺部画像を移動させて空いた部分を車体と同じ色に塗りつぶすことを特徴とするものである。
【００１６】
また、前記画像合成手段は、車両周辺部から車両の移動量分だけずれた位置に車両後方物体画像を移動させた画像をディジタル画像データ上で合成することを特徴とするものである。
【００１７】
また、前記画像合成手段は、車両後方物体画像を移動させて空いた部分を地面と同じ色に塗りつぶすことを特徴とするものである。
【００１８】
また、前記車両周辺部判定手段は、車両周辺部に付けられた目印を検出することで後端部を判定することを特徴とするものである。
【００１９】
また、前記車輪速計測手段からの車輪速度を判定し、所定の車輪速度以上の場合には、前記表示手段が後方撮影画像を表示しないか、運転者に目視を促すメッセージを表示するよう制御する制御手段をさらに備えたことを特徴とするものである。
【００２０】
さらに、車両周辺部の移動量が一部でも前記表示手段の表示範囲を超えた場合には、前記表示手段が後方撮影画像を表示しないか、運転者に目視を促すメッセージを表示するよう制御する制御手段をさらに備えたことを特徴とするものである。
【００２１】
【発明の実施の形態】
実施の形態１．
図１は、この発明の実施の形態１に係る車両周辺監視装置の構成を示すブロック図である。図１において、１は撮像手段としてのカメラであり、レンズ、ＣＣＤ撮像素子、ＣＣＤ駆動回路、アンプ回路などで構成され、アナログの画像信号を出力する。カメラ１は、例えば広角の視野（例えば左右１００〜１４０度、上下６０〜９０度など）を持ち、車両の後端部上部に設置され、車両後方と車両周辺部であるバンパーなどを撮影している。実写に装着した例として、例えばＲＶ車の天井後部にカメラ１を設置した例を図２に示す。
【００２２】
２はＡ／Ｄ変換手段であり、アンチエリアジングフィルタ、サンプルホールド回路、Ａ／Ｄコンバータなどで構成され、アナログ画像信号をディジタル画像信号に変換する。３はデータ圧縮手段であり、圧縮専用ＩＣ、伝送用インターフェース回路などで構成され、Ａ／Ｄ変換手段２から送られたディジタル画像信号を圧縮し、そのデータ量を例えば１０分の１以下に減らす。この圧縮手法には、ＭＰＥＧ１、ＭＰＥＧ２、ＭＰＥＧ４、ＭｏｖｉｎｇＪＰＥＧなどの手法があり、手法や圧縮度合いによってデータ圧縮量と画質が異なるが、カメラ撮影画像に適切な手法を用いるのが望ましい。Ａ／Ｄ変換手段２及びデータ圧縮手段３は主にカメラ１の設置場所周辺に配置される。
【００２３】
４は伝送手段である車載ネットワーク（ＬＡＮ）であり、データ圧縮手段３が圧縮した画像データを所定の受け手に伝送する。５はデータ伸長手段であり、伸長専用ＩＣ、伝送用インターフェース回路、複数画面分の画像メモリなどで構成され、伝送手段４でデータ圧縮手段３から送られたディジタル画像信号を伸長し、そのデータ量を元に戻し、画像メモリに１画面分ごとに画像データとして保存する。６は車両周辺部として車両後端部を判定する車両後端部判定手段であり、画像認識用ＩＣなどで構成され、データ伸長手段５内の１画面分の画像データより、車両後端部にあるバンパーを認識し、車両の後端部がどこにあるかを判定する。一度カメラが設置されれば車両後端部は変わらないので、この判定はカメラ位置が変わる毎に一度行えばよい。７はＤ／Ａ変換手段であり、Ｄ／Ａコンバータ、スムージングフィルタなどで構成され、データ伸長手段５内の１画面分の画像データであるディジタル画像信号をアナログ画像信号に変換する。
【００２４】
１０は車両挙動計測手段であり、操舵角検出手段１１、車輪速計測手段１２、車両移動量計算手段１３から構成される。操舵角検出手段１１は、ハンドルに設置された操舵角センサとハンドル操舵角を車両前輪の操舵角に変換する手段などで構成され、車両前輪の操舵角を検出する。操舵角センサはその角度分解能が例えば１０度以下の細かい分解能があることが望ましい。車輪速計測手段１２は、車両の各々の後輪に設置された車輪速センサなどで構成され、後輪の左右それぞれの回転数を計測し、それぞれの移動距離を計算する。車両移動量計算手段１３は、計算用ＣＰＵ、プログラムメモリなどで構成され、操舵角検出手段１１からの操舵角検出値と、車輪速計測手段１２から右後輪、左後輪のそれぞれの移動距離を、例えば１００ｍＳごとの一定時刻ごとに測定して記録し、その測定値に基づいて撮影時点より表示時点までの間の車両の移動量、特に車両後端部の移動量を計算する。データ圧縮手法が決まっていれば、この時間間隔は一定であるので、一定時間過去の記録値より現在までの移動量を例えば１００ｍＳの一定時刻ごとに毎回計算する。
【００２５】
１５は車両移動画像生成手段であり、計算用ＣＰＵ、プログラムメモリなどで構成され、車両移動量計算手段１３から得られた車両後端部の移動量を、路面上の座標系からカメラ撮影する画面内の座標系（いわゆるグラフィック表示座標系）に合うように座標変換し、車両後端部判定手段６で求められた車両後端部の位置より、車両の移動量分だけずれた位置に現在の車両移動位置画像の線分を作成し、画像データに変換する。１６は画像合成手段であり、スーパーインポーズ回路などで構成され、Ｄ／Ａ変換手段７より送られたアナログ画像信号に、車両移動画像生成手段１５より送られた車両移動位置画像を重ね合わせる。１７は表示手段であり、ディスプレイ、バックライト、ディスプレイ駆動回路などで構成され、画像合成手段１７より送られた画像信号を表示する。
【００２６】
図３は、この表示手段１７に表示された例を示している。図３には、車両後端部と車両後方にある車止めと車両後方左右にある白線がカメラに写っており、その画像に重ねて車両移動位置画像が表示されている。この車両移動位置画像は、運転者がよく分かるように、目立つ色例えば黄色やオレンジ色を使って表示するのが望ましい。図３においては、車両は画面右上方に移動している例を示している。
【００２７】
１８は制御手段であり、計算用ＣＰＵ、プログラムメモリなどで構成され、シフトレバーリバーススイッチ１９が接続されており、シフトレバーがリバース位置にあるかどうかを判定し、シフトレバーがリバース位置にある場合に、表示手段１７に司令をだして、後方撮影画像を表示するように制御する。また、車輪速計測手段１２からの各車輪速度を判定しており、車輪速度が一定以上になった場合は車両移動位置画像が合成不可能になるので、表示手段１７に司令をだして、後方撮影画像を表示しないように制御する。
【００２８】
例えば、カメラの設置位置とカメラの方向とカメラ画角によって撮影、表示できる車両後方の路上座標上の距離が決まるが、これが５ｍだとし、圧縮伝送により時間遅れが３秒生じているすると、車速６ｋｍ／ｈが車両移動位置画像が合成可能な限界である。また、１０ｍで２秒だとすると、車速１８ｋｍ／ｈが限界となる。後方撮影画像を表示しないように制御するのは、描画が不可能になるだけではなく、この車速であると表示画像が時間遅れの画像であるために、表示画像を見、それに頼って運転したのでは危険になるからでもある。この時、後方撮影画像を表示しないだけではなく、この危険性を運転者に知らせるため、例えば「目視で後方を確認下さい」といったメッセージを表示してもよい。ここで、車両移動量計算手段１３と車両移動画像生成手段１５と制御手段１８は同一のＣＰＵを用いることもできる。
【００２９】
前記構成に係る実施の形態１に係る車両周辺監視装置の動作について、主に制御手段１８の制御内容を示す図４に示すフローチャートを参照して説明する。なお、図４に示すフローチャートは、電源オン（アクセサリー電源がオン）された場合に処理がスタートするようになっている。まず、ステップＳ１では、この処理に必要な各種初期値を設定する。操舵角、車輪速の記録値もクリアする。次に、シフトレバーリバーススイッチ１９の状態をチェックし（ステップＳ２）、シフトレバーリバーススイッチ１９がオフ（リバースではない）ならば、表示手段（デイスプレイ）１７の表示を消し（ステップＳ３）、ステップＳ２に戻る。
【００３０】
ステップＳ２でシフトレバーリバーススイッチ１９がオンであれば、車両前輪の操舵角を検出する（ステップＳ４）。また、左後輪と右後輪それぞれの移動距離を計算する（ステップＳ５）。そして、これらの操舵角値と移動距離を記録する（ステップＳ６）。次に、シフトレバーリバーススイッチ１９がオンされてからの経過時間を判定し（ステップＳ７）、所定時間以内であれば、ステップＳ４に戻る。この所定時間は、撮影時点より表示時点までの間の時間即ちディジタル圧縮伝送伸長に伴う時間遅れ分の時間である。この所定時間以内ではステップＳ８以下の処理を行わない意味でもある。
【００３１】
ステップＳ７で所定時間が経過した以降であれば、記録された操舵角値と移動距離より一定時間過去の記録値より現在までの車両後端部の移動量を計算する（ステップＳ８）。次に、車両後端部の移動量を、路面上の座標系からカメラ撮影する画面内の座標系（いわゆるグラフィック表示座標系）に合うように座標変換し（ステップＳ９）、車両後端部判定手段６で求められた車両後端部の位置より、車両の移動量分だけずれた位置に現在の車両移動位置画像の線分を作成し、画像データに変換する（ステップＳ１０）。そして、アナログ画像信号に車両移動位置画像を重ね合わせる（ステップＳ１１）。
【００３２】
次に、車輪速度を判定し（ステップＳ１２）、車輪速度が一定以上になった場合、危険性を運転者に知らせる。例えば「目視で後方を確認下さい」といったメッセージを表示する（ステップＳ１３）。車輪速度が一定以下の場合は、重ね合わさった画像を表示する（ステップＳ１４）。ステップＳ１３、ステップＳ１４の処理後はステップＳ２に戻る。
【００３３】
このフローチャートで触れられてないが、撮像手段（カメラ）１で撮影された後方画像は電源が入っておれば常時撮影され、Ａ／Ｄ変換され、データ圧縮され、伝送され、データ伸長され、Ｄ／Ａ変換されている。さらに、車両後端部も判定されている。しかし、シフトレバーリバーススイッチ１９がオフの時は電源をオフし、動作しないようにしてもよい。
【００３４】
従って、前記実施の形態１によれば、表示画像は実際より遅れたものであっても、実際の車体の位置や後方物体の位置が分かるので、縁石や壁などに当たらず、安全に運転することができ、ディジタル信号伝送による時間遅れに伴い生じる事故を確実に防止することができる。
【００３５】
実施の形態２．
上述した実施の形態１では、車両後方に石、縁石、壁、車止め、白線など移動しない物体がある場合を説明したが、車両後方には、子供や犬などの移動物体が横切ることもある。実施の形態２は、これら移動物体がある場合について説明する。
【００３６】
図５は、この発明の実施の形態２に係る車両周辺監視装置の構成を示すブロック図である。図５において、１〜７、１０〜１３、１５〜１９は図１に示す実施の形態１と同一であるのでその説明を省略する。新たな符号として、１４は移動物画像生成手段であり、計算用ＣＰＵ、プログラムメモリなどで構成され、データ伸長手段５内の複数画面分の画像データより、移動しない物体を取り除き、移動する物体がある場合には、複数画面間でその物体の動く方向、動く速度を計算し、その方向と速度が同じと推定して、最新の画像より、時間遅れ分後のその移動物体の位置を推定し、その移動物位置画像の線分を生成する。
【００３７】
移動物画像生成手段１４の出力は、画像合成手段１６に送られ、画像合成手段１６では、Ｄ／Ａ変換手段７より送られたアナログ画像信号に、車両移動画像生成手段１５より送られた車両移動位置画像と移動物画像生成手段１４より送られた移動物位置画像が重ね合わされ、表示手段１７で表示される。この移動物位置画像も目立つ色、例えば黄色やオレンジ色で表示されるのが望ましい。また、移動物位置画像は、車両移動位置画像と色が異なっている方が運転者に分かりやすく、運転者にその危険さを認知しやすくするため、例えば赤色のようにより注意を促す色を使うのが望ましい。図６は、車両周辺監視装置の表示手段（ディスプレイ）に表示された画像の例を示し、図６においては、犬がいて、犬の推定移動位置を表示している例を示している。また、図６においては、犬の頭部のみの推定移動位置を表示しているが、犬の体全体の推定移動位置を表示しても良い。
【００３８】
次に、実施の形態２に係る車両周辺監視装置の動作について説明する。この動作は、図４に示される実施の形態１による動作を示すフローチャートと類似しており、ステップＳ１０とステップＳ１１の間に移動物位置画像を生成するステップを加えればいいだけであるので、詳細なフローチャートの説明は省略する。
【００３９】
従って、上記実施の形態２によれば、後ろを横切る子供や犬などに当たることもなくなり、安全に運転することができる。また、移動物体の移動画像を、静止物の移動位置と別な色で表示することにより、より運転手に分かりやすい画像を提供することができ、さらに、移動物体の移動画像をより注意を促す色で表示することにより、運転手は危険な犬や子供の移動により注意することができる。
【００４０】
実施の形態３．
実施の形態１においては、後方撮影画像中に現在の車両移動位置画像を重ねて表示する場合を説明したが、逆に、車両後方にある石、縁石、壁、車止め、白線などの移動位置画像を重ねて表示することもできる。実施の形態３は、これら後方物体の位置画像を重ねて表示する場合について説明する。
【００４１】
図７は、この発明の実施の形態３に係る車両周辺監視装置の構成を示すブロック図である。図７において、１〜７、１０〜１３、１６〜１９は図１に示す実施の形態１と同一であるのでその説明を省略する。新たな符号として、２１は図１に示す車両後端部判定手段６の代わりに設けた後方物体判定手段であり、画像認識用ＩＣなどで構成され、データ伸長手段５内の１画面分の画像データより、車両後方にある車止めなどの目立つ物体を認識する。２２は図１に示す車両移動画像生成手段１５の代わりに設けた後方物体移動画像生成手段であり、計算用ＣＰＵ、プログラムメモリなどで構成され、車両移動量計算手段１３から得られた車両後端部の移動量を、路面上の座標系からカメラ撮影する画面内の座標系（いわゆるグラフィック表示座標系）に合うように座標変換し、後方物体判定手段２１で求められた後方物体の位置より、車両の移動量分だけずれた位置に現在の後方物体位置画像の線分を作成し、画像データに変換し、画像合成手段１６に送る。
【００４２】
画像合成手段１６では、Ｄ／Ａ変換手段７より送られたアナログ画像信号に後方物体移動画像生成手段２２より送られた後方物体移動位置画像が重ね合わされ、表示手段１７で表示される。この後方物体位置画像も目立つ色、例えば黄色やオレンジ色で表示されるのが望ましい。図８は、図２と同じ距離車両が移動した場合の表示手段（ディスプレイ）に表示された例であり、車止めと白線の移動位置が示されている。
【００４３】
次に、実施の形態３に係る車両周辺監視装置の動作について説明する。この動作は図４に示されるこの発明の実施の形態１による動作を示すフローチャートと類似しており、ステップＳ１０の車両移動画像生成を後方移動物体画像生成のステップに変更すればいいだけであるので、詳細なフローチャートの説明は省略する。
【００４４】
従って、上記実施の形態３によれば、表示画像は実際より遅れたものであっても、実際の後方物体の位置が分かるので、縁石や壁などに当たらず、安全に運転することができる。
【００４５】
実施の形態４．
実施の形態３のように表示している場合に、実施の形態２のように子供や犬などの移動物体がある場合は、移動物体の位置は、車両移動に伴う移動量と移動体自身の移動推定距離を足したものを計算し、重ねて表示すればいい。実施の形態４はこの場合の実施の形態である。
【００４６】
図９は、この発明の実施の形態４に係る車両周辺監視装置の構成を示すブロック図である。また、図１０は、車両周辺監視装置の表示手段（ディスプレイ）に表示された画像の例を示す図である。図９において、１〜５、７、１０〜１４、１６〜１９、２１、２２は、図１に示す実施の形態１と同一であるのでその説明を省略する。移動体画像生成手段１４には、図５に示す実施の形態２の場合に加えて、車両移動量計算手段１３から車両後端部の移動量も送られる。移動体画像生成手段１４は、データ伸長手段５内の複数画面分の画像データより、移動しない物体を取り除き、移動する物体がある場合には、複数画面間でその物体の動く方向、動く速度を計算し、その方向と速度が同じと推定して、最新の画像より、時間遅れ分後のその移動体の位置を推定する。さらに、車両移動量計算手段１３から得られた車両後端部の移動量を、路面上の座標系からカメラ撮影する画面内の座標系（いわゆるグラフィック表示座標系）に合うように座標変換し、前記移動体の推定位置より車両の移動量分だけずれた位置にその移動物位置画像の線分を作成し、画像データに変換し、画像合成手段１６に送る。
【００４７】
画像合成手段１６では、Ｄ／Ａ変換手段７より送られたアナログ画像信号に、後方物体移動画像生成手段２２より送られた後方物体移動位置画像と移動物画像生成手段１４より送られた移動物位置画像が重ね合わされ、表示手段１７で表示される。この移動物位置画像も目立つ色、例えば黄色やオレンジ色で表示されるのが望ましい。また、移動物位置画像は後方物体移動位置画像と色が異なっている方が運転者に分かりやすく、運転者にその危険さを認知しやすくするため、例えば赤色のようにより注意を促す色を使うのが望ましい。
【００４８】
次に、実施の形態４に係る車両周辺監視装置の動作について説明する。この動作は図４に示されるこの発明の実施の形態１による動作を示すフローチャートと類似しており、ステップＳ１０の車両移動画像生成を後方移動物体画像生成のステップに変更し、後方移動物体画像生成のステップとステップＳ１１の間に、移動物画像生成手段１４に対応するステップを加えればよいので、詳細なフローチャートの説明は省略する。
【００４９】
従って、上記実施の形態４によれば、実施の形態２と同様に、後ろを横切る子供や犬などに当たることもなくなり、安全に運転することができる。また、移動物体の移動画像を、静止物の移動位置と別な色で表示することにより、より運転手に分かりやすい画像を提供することができ、さらに、移動物体の移動画像をより注意を促す色で表示することにより、運転手は危険な犬や子供の移動により注意することができる。
【００５０】
実施の形態５．
実施の形態１においては、画像合成手段１６での画像合成をアナログ信号上で行っているため、車両後端部の位置より、車両の移動量分だけずれた位置に現在の車両移動位置画像の線分を描画し、後方撮影画像に重ねて表示する場合を説明したが、ディジタル画像データの上で画像の合成を行ってもよい。これによって、スーパーインポーズ回路などが省略でき、安価に構成することができる。さらに、車両後方部画像そのものをその位置に動かすように描画することができるので、さらに運転者にわかりやすい表示ができる。
【００５１】
図１１は、この発明の実施の形態５に係る車両周辺監視装置の構成を示すブロック図である。また、図１２は、車両周辺監視装置の表示手段（ディスプレイ）に表示された画像の例を示す図である。図１１において、１〜５、７、１０〜１３、１７〜１９は図１に示す実施の形態１と同一であるので説明を省略する。３１は車両後端部画像抽出手段であり、画像認識用ＩＣなどで構成され、データ伸長手段５内の１画面分の画像データより、車両後端部全体（車両後部＋バンパー）を認識し、車両後端部画像として抽出する。３２は、車両後端部画像移動手段であり、計算用ＣＰＵ、プログラムメモリ、１画面分の画面メモリなどで構成され、車両移動量計算手段１３から得られた車両後端部の移動量を、路面上の座標系からカメラ撮影する画面内の座標系（いわゆるグラフィック表示座標系）に合うように座標変換し、車両の移動量分だけずれた位置に、車両後端部画像抽出手段３１より抽出した車両後端部画像を移動させた画像を作成する。この時、そのまま車両後端部画像を上方に動かすと画面下部より宙に浮いたような表示画像になるので、この部分（図１２で斜線部で表わした部分）は車体と同じ色で塗りつぶすのがよい。
【００５２】
また、３３はディジタル画像合成手段であり、データ伸長手段５内の１画面分の画像データより、車両後端部画像を抜き出し、その画像に車両後端部画像移動手段３２より送られた移動後の車両後端部画像を重ねあわせる。このとき、空白の画像部分があれば、近くの地面の画像データで埋める。このディジタル画像合成手段３３で重ねあわせた車両後方画像は、Ｄ／Ａ変換手段７でアナログ画像信号に変換され、表示手段１７で表示される。
【００５３】
すなわち、ディジタル画像合成手段３３により、車両周辺部画像を移動させて空いた部分を車体と同じ色に塗りつぶすようにし、また、車両後方物体画像を移動させて空いた部分を地面と同じ色に塗りつぶすようにする。
【００５４】
次に、実施の形態５に係る車両周辺監視装置の動作について説明する。この動作は、図４に示される実施の形態１による動作を示すフローチャートと類似しており、ステップＳ１０の車両移動画像生成を車両後端部移動画像生成のステップに変更すればいいだけであるので、詳細なフローチャートの説明は省路する。
【００５５】
従って、上記実施の形態５によれば、車両後端部画像をそのまま見ることができるので、より運転手に分かりやすい情報を提供できる。
【００５６】
実施の形態６．
実施の形態５のようにディジタルで画像合成することにすれば、実施の形態２、実施の形態３、実施の形態４も全く同様に、ディジタル画像合成手段３３をＤ／Ａ変換手段７の前に置き、後方物体画像や移動物体画像を抽出し、それらの画像を移動させることによって実施することができる。また、車両後方画像全体を移動させることもできる。
【００５７】
従って、実施の形態６によれば、実施の形態５と同様にして、車両後方物体画像をそのまま見ることができるので、より運転手に分かりやすい情報を提供できる。
【００５８】
実施の形態７．
夜間や薄暮や雨天のように比較的暗い場合、または車体が黒色や濃紺色など暗い色や濃い色の場合には、地面の色と車体の色の区別が付けにくい場合が起こる。この問題点を解決するため、車両後端部の例えばバンパーに白や明るい色の線や丸印の目印を付けことによって、車体後端部の判定を確実、容易にすることができる。すなわち、車両後端部判定手段６は、目印を検出することで車両後端部を容易に判定することができる。
【００５９】
図１３は、実施の形態１に係る車両周辺監視装置における車両後端部であるバンパーに付けられた目印の例を示す図である。図１３において、（ａ）は白線を付けた例、（ｂ）は丸印を複数個に付けた例である。目印はこれに限るものではなく、車体後端部の判別がし易いものなら何でもよい。
【００６０】
従って、実施の形態７によれば、車両後端部に付けられた目印を検出することで車体後部の判定がより確実、容易になる。
【００６１】
実施の形態８．
以上の実施の形態１〜６においては、車輪速に応じて、表示手段（ディスプレイ）に表示したり消したりを制御しているが、これに限るものではなく、車両後端部の移動量が一部でも表示範囲を超えた時に、表示を消したり、運転者に目視を促すメッセージを出力するようにしてもよい。これは、ハンドルを急角度に操作した場合に有効である。
【００６２】
従って、実施の形態８によれば、車両後端部の移動量が一部でも表示範囲を超えた場合に、表示を消したり、メッセージを出力するようにしたので、運転者に危険を知らせることができ、運転手が表示画像に頼ることによって引き起こされる事故を減らすことができる。
【００６３】
実施の形態９．
上述した各実施の形態は車両後方の監視の場合を説明したが、これに限るものではなく車両側方や前方の監視の場合であっても、撮影画像中に車体が写っているのものであれば、まったく同様である。
【００６４】
【発明の効果】
以上のように、この発明によれば、表示画像は実際より遅れたものであっても、実際の車体の位置が分かるので、縁石や壁などに当たらず、安全に運転することができる。
【００６５】
また、表示画像は実際より遅れたものであっても、実際の後方物体の位置が分かるので、縁石や壁などに当たらず、安全に運転することができる。
【００６６】
また、車両挙動計測手段により、正確に車両の移動量を計算することができる。
【００６７】
また、表示画像は実際より遅れたものであっても、実際の後方移動物体の位置が分かるので、後ろを横切る子供や犬などに当たることもなくなる。
【００６８】
また、危険な移動物体としてより注意を促すので、より運転手に分かりやすい情報を提供できる。
【００６９】
また、車両後端部画像をそのまま見ることができるので、より運転手に分かりやすい情報を提供できる。
【００７０】
また、車両後方物体画像をそのまま見ることができるので、より運転手に分かりやすい情報を提供できる。
【００７１】
また、車両後端部に目印が付くので、車体後部の判定がより確実、容易になる。
【００７２】
また、一定車輪速を超えた場合に、表示を消したり、メッセージを出力するようにしたので、運転者に危険を知らせることができ、運転手が表示画像に頼ることによって引き起こされる事故を減らすことができる。
【００７３】
さらに、車両後端部の移動量が一部でも表示範囲を超えた場合に、表示を消したり、メッセージを出力するようにしたので、運転者に危険を知らせることができ、運転手が表示画像に頼ることによって引き起こされる事故を減らすことができる。
【図面の簡単な説明】
【図１】  この発明の実施の形態１の構成を示すブロック図である。
【図２】  この発明の実施の形態１の表示手段（ディスプレイ）に表示された画像の例を示す図である。
【図３】  この発明の実施の形態１の撮影手段（カメラ）を実車に装着した例を示す図である。
【図４】  この発明の実施の形態１の動作を示すフローチャートである。
【図５】  この発明の実施の形態２の構成を示すブロック図である。
【図６】  この発明の実施の形態２の表示手段（ディスプレイ）に表示された画像の例を示す図である。
【図７】  この発明の実施の形態３の構成を示すブロック図である。
【図８】  この発明の実施の形態３の表示手段（ディスプレイ）に表示された画像の例を示す図である。
【図９】  この発明の実施の形態４の構成を示すブロック図である。
【図１０】  この発明の実施の形態４の表示手段（ディスプレイ）に表示された画像の例を示す図である。
【図１１】  この発明の実施の形態５の構成を示すブロック図である。
【図１２】  この発明の実施の形態５の表示手段（ディスプレイ）に表示された画像の例を示す図である。
【図１３】  この発明の実施の形態７で、車両後端部であるバンパーに付けられた目印の例を示す図である。
【符号の説明】
１  カメラ、２  Ａ／Ｄ変換手段、３  データ圧縮手段、４  伝送手段、５  データ伸長手段、６  車両後端部判定手段、７  Ｄ／Ａ変換手段、１０  車両挙動計測手段、１１  操舵角検出手段、１２  車輪速計測手段、１３  車両移動量計算手段、１４  移動物画像生成手段、１５  車両移動画像生成手段、１６  画像合成手段、１７  表示手段、１８  制御手段、１９  シフトレバーリバーススイッチ、２１  後方物体判定手段、２２  後方物体移動画像生成手段、３１  車両後端部画像抽出手段、３２  車両後端部画像移動手段、３３  ディジタル画像合成手段。
【図１】
0003805702.tif 000002
【図２】
0003805702.tif 000003
【図３】
0003805702.tif 000004
【図４】
0003805702.tif 000005
【図５】
0003805702.tif 000006
【図６】
0003805702.tif 000007
【図７】
0003805702.tif 000008
【図８】
0003805702.tif 000009
【図９】
0003805702.tif 000010
【図１０】
0003805702.tif 000011
【図１１】
0003805702.tif 000012
【図１２】
0003805702.tif 000013
【図１３】
0003805702.tif 000014