(57)【要約】【課題】画像提示の遅延を低減できる車両周囲画像変換装置を提供する。【解決手段】車両の周囲を撮像する複数のカメラ１ａ、１ｂと、カメラから出力される画像データ１０ａ、１０ｂを画像処理するＣＰＵ２と、書き込みアドレスを格納するパターンメモリ３ａ、３ｂと、出力用メモリ４とを有し、ＣＰＵ２から出力される同期信号２０をトリガに、カメラ１ａ、１ｂがＣＰＵ２に対して画像データ１０ａ、１０ｂを出力し、ＣＰＵ２は、カメラ１ａ、１ｂからの画像データ１０ａ、１０ｂの出力にタイミングを合わせ、書き込みアドレスを用いて画像データ１０ａ、１０ｂを出力用メモリ４に書き込む構成。【選択図】    図１
2005117554.tif 000002
【特許請求の範囲】
【請求項１】
車両の周囲を撮像する単数あるいは複数のカメラと、
前記カメラから出力される画像信号を画像処理する画像処理部と、
書き込みアドレスを格納するパターンメモリと、
出力用メモリとを有し、
前記画像処理部から出力される同期信号をトリガに、前記カメラが前記画像処理部に対して前記画像信号を出力し、
前記画像処理部は、前記カメラからの前記画像信号の出力にタイミングを合わせ、前記書き込みアドレスを用いて前記画像信号を前記出力用メモリに書き込むことを特徴とする車両周囲画像変換装置。
【請求項２】
前記タイミングを内部あるいは外部の周波数源により生成することを特徴とする請求項１記載の車両周囲画像変換装置。
【請求項３】
前記出力用メモリは２面を有し、前記書き込みアドレス処理の結果を前記出力用メモリの片面毎に書き込むことを特徴とする請求項１または２記載の車両周囲画像変換装置。
【請求項４】
前記パターンメモリを前記カメラの数に対応して備え、
前記書き込みアドレス処理の際に前記カメラが出力する前記画像信号に応じて、前記パターンメモリを切り替えることを特徴とする請求項１ないし３のいずれか記載の車両周囲画像変換装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転者の視界を補助するための運転支援システム等における車両周囲画像変換装置に関するものである。
【背景技術】
【０００２】
車両の後進による車庫入れや幅寄せ、見通しの良くない交差点やＴ字路に車両を進入させる（頭出し）等の場面において、運転者の視界を補助するための運転支援システムにおける車両周囲画像変換装置が提供されている（下記特許文献１参照）。  
車両周囲画像変換装置に備えられた電子式のカメラで撮像する箇所としては、リアビュー（車両後方）やブラインドコーナービュー（車両前方左右方向）等が挙げられる。運転者に対して複数方向の映像を同時に提供する必要性が増えている。このため、運転支援システムでは、複数のカメラを用いて車両の周囲の環境画像を撮像し、モニタの一画面に複数の画像を並べて表示させる用途が増えている。  
以下、従来の車両周囲画像変換装置の構成および動作について説明する。例えばカメラで撮像する画像データの出力分解能と、運転者に提示するモニタの分解能をＶＧＡ（Video Graphics Array）（６４０×４８０画素）サイズを例として説明する。  
従来の車両周囲画像変換装置では、カメラから伝送されてくる画像データ速度と、ＣＰＵ（中央演算処理装置）での処理速度との差異から、カメラとＣＰＵとの間には入力フレームバッファが設けられている。入力フレームバッファは、カメラ１台につき２面構成となっており、そのサイズは、カメラの出力分解能に対応し、６４０×４８０画素分のアドレス空間を備えている。これは、カメラから伝送される１フレーム分の画像データを入力フレームバッファの１面に格納し終えると、ＣＰＵは、画像データを格納した面を画像変換処理に当て、もう片面を次のフレームの受信に備えるということを繰り返すためである。ＣＰＵは、画像変換処理に当てられた２系統の入力フレームバッファ内の画像データをパターンメモリに格納されるアドレスに従って読み出し処理を行い、出力用メモリに格納する。  
複数のカメラから取得した画像をモニタの一画面に複数の画像を並べて提示する場合、カメラが伝送する画像データの一部を間引きして表示することが一般的に行われる。つまりこの場合、ＶＧＡサイズのカメラの２系統の画像データは、読み出し処理によって間引きされ、モニタに表示される。なお、運転者に提示する画像のちらつきを防ぐため、ＣＰＵは、出力用メモリへ１フレーム分の提示データの格納が完了したタイミングで表示するのが一般的である。
【０００３】
【特許文献１】特開平１１−３２８３６８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記の従来技術では、入力フレームバッファにおいて１フレーム、データを提示するタイミングを入力フレームバッファの面の切り替えに同期させるとすると、出力用メモリで更に１フレームの、計２フレーム遅延することになる。これをテレビの画像信号方式であるＮＴＳＣ（National Television System Committee）を例に換算すると、６６ｍｓとなる。これは例えば、本装置にて時速３６ｋｍで動く物体を確認する場合、実在の位置と６６ｃｍずれて表示されることになる。本装置を、駐車や幅寄せ等の低速領域で使用する場合は多少の遅延が許容できるが、交差点やＴ字路への進入や車両どうしのすり抜けの場面等で使用する場合は、安全上、より早い処理が求められる。また、発進時、「実際の車両は動いているのにモニタ内画像は止まっている」、停車時、「実際の車両は止まっているのにモニタ内画像は動いている」という実際の車両の動きとモニタ内の画像の不一致が運転者に不快感を与える。このように画像提示の遅延は、車ならではの重要な問題点となる。  
本発明は、以上の課題を解決し、その目的は、画像提示の遅延を低減できる車両周囲画像変換装置を提供することにある。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明は、車両の周囲を撮像する単数あるいは複数のカメラから出力される画像信号を画像処理する画像処理部と、書き込みアドレスを格納するパターンメモリと、出力用メモリとを有し、画像処理部から出力される同期信号をトリガに、カメラが画像処理部に対して画像信号を出力し、画像処理部は、カメラからの画像信号の出力にタイミングを合わせ、前記書き込みアドレスを用いて前記画像信号を出力用メモリに書き込むという構成になっている。
【発明の効果】
【０００６】
本発明によれば、画像提示の遅延を低減できる車両周囲画像変換装置を提供することができる。
【発明を実施するための最良の形態】
【０００７】
以下、図面を用いて本発明の実施の形態について詳細に説明する。なお、以下で説明する図面で、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。  
図２は、本発明の実施の形態の車両周囲画像変換装置を説明するための図で、（ａ）は見通しの悪いＴ字路における自車両および他車両を上から見た図、（ｂ）は（ａ）の場合に自車両の車両周囲画像変換装置が備えるモニタが運転者に提示する画像の一例を示す図である。  
すなわち、図２（ａ）に示すように、見通しの悪いＴ字路において、道路に自車両を進入させる場合に、図２（ｂ）に示すように、自車両の前方左右方向の近距離の状況であるブラインドコーナービューをモニタに提示している様子を示す。図２（ａ）は、図２（ｂ）の画像を提示するタイミングでの車両状況を上から見た図である。  
図２（ａ）において、１１は自車両、１２ａは自車両１１を基準として左方向から直進する他車両、１２ｂは自車両１１を基準として右方向から直進する他車両、１３ａは自車両１１の前方左に設置された１個のカメラ（ここでは図示省略。左カメラと称す）により撮像される撮像範囲、１３ｂは自車両１１の前方右に設置された１個のカメラ（ここでは図示省略。右カメラと称す）により撮像される撮像範囲である。  
図２（ｂ）において、１４ａは左カメラにより撮像された自車両１１の左方向の画像、１４ｂは右カメラにより撮像された自車両１１の右方向の画像、１２ａ′は撮像された他車両１２ａの画像、１２ｂ′は撮像された他車両１２ｂの画像、１５は左右のブラインドコーナービューをモニタ上で区分けする仕切り線（マスク画像）である。
【０００８】
以下、カメラで撮像する画像データの出力分解能と、運転者に提示するモニタの分解能をＶＧＡ（６４０×４８０画素）サイズを例として、本発明の実施の形態の車両周囲画像変換装置の構成および動作について図面を用いて説明する。  
図１は、本発明の実施の形態の車両周囲画像変換装置の構成を示す図である。  
図１において、１ａ、１ｂは車両の周囲の所定位置に設置され、車両の周囲を撮像する電子式のカメラ、２はＣＰＵ（中央演算処理装置）、３ａ、３ｂはパターンメモリ、４は出力用メモリ、５はモニタ、１０ａ、１０ｂは画像データ、２０は同期信号、４０は提示データである。
【０００９】
カメラ１ａ、１ｂはＣＰＵ２から送出される同期信号２０をトリガとして１フレームの画像データ１０ａ、１０ｂの送信を開始する。例えば、カメラ１ａ、１ｂとＣＰＵ２間の画像伝送方式がＮＴＳＣの場合、ＣＰＵ２は、１フレーム分の時間間隔、すなわち３３ｍｓ単位で同期信号２０を送出することになる。  
ＣＰＵ２は、同期信号２０の送出、後述の書き込みアドレス処理、および書き込み処理を制御する。また、カメラ１ａ、１ｂの出力分解能（６４０×４８０画素）に対応する画素カウンタ（図示省略）を備えている。  
パターンメモリ３ａ、３ｂは、カメラ１ａ、１ｂの数に対応して２個設けられ、かつ、カメラ１ａ、１ｂの出力分解能に対応するアドレス空間（６４０×４８０画素）をそれぞれ備えている。  
出力用メモリ４は、モニタ５の分解能に対応するアドレス空間（６４０×４８０画素）を備えるものを２面有している。一方の面は、書き込み処理後の提示データ４０の格納用、もう一方の面は、モニタ５への出力処理用である。
【００１０】
図３は、本実施の形態の車両周囲画像変換装置の動作を示すフローチャートである。  
ＣＰＵ２は、一定周期間隔の同期信号２０をカメラ１ａ、１ｂに対して送信し続ける。例えば、画像伝送方式としてＮＴＳＣを用いた場合は、１フレーム分の時間間隔である３３ｍｓ周期でトリガ信号として機能する同期信号２０を送出することになる。つまり、３３ｍｓ周期で同期信号２０を出力するように、同期用タイマ（図示省略）の制御を開始する（Ｓ３０１）。  
なお、複数個のカメラ１ａ、１ｂの同期をとる理由は２つある。第１の理由は、カメラが複数個あったとしても同時刻の情報を運転者に提示するためである。第２の理由は、ＣＰＵ２が書き込みアドレス処理（アドレス変換処理）をする際に、出力した同期信号２０に同期して複数のパターンメモリ３ａ、３ｂの情報を先頭番地から読みに行けばよいので、これによりＣＰＵ２の負荷を低減させるためである。  
同期信号２０が発生するタイミングと同時に画素カウンタ（６４０×４８０画素）は、０にリセットされ、画素カウンタによる制御が開始される（Ｓ３０２）。  
画素カウンタは、図１の画像データ１０ａおよび画像データ１０ｂの受信タイミングと、出力用メモリ４への書き込みタイミングを一致させる目的で備えられ、画素カウンタのカウントアップのタイミングでそれぞれの画像データ１０ａ、１０ｂは、それぞれのパターンメモリ３ａ、３ｂに格納される出力用メモリ４の書き込みアドレス（格納先アドレス）へ書き込まれる。画像伝送方式としてＮＴＳＣを用いた場合は、１フレームの伝送周期３３ｍｓ内でカメラ１ａ、１ｂの出力分解能分の画像データ１０ａ、１０ｂが送信されるため、カメラ１ａ、１ｂの出力分解能がＶＧＡサイズ（６４０×４８０画素）の場合は、１０７ｎｓ単位でカウントアップすることになる。  
なお、上述した書き込みタイミングは、カメラ１ａ、１ｂ側で伝送する１画素分の画像データ１０ａ、１０ｂにタイミング信号を重畳させ、ＣＰＵ２でそれを検知する方法等を適用してもよい。  
ＣＰＵ２は、画素カウンタのカウント値が変化したかどうかを判断する（Ｓ３０３）。  
画素カウンタのカウント値が変化したことを検知すると、２系統のカメラ１ａ、１ｂから伝送されたそれぞれ１画素分の画像データ１０ａ、１０ｂをパターンメモリ３ａ、３ｂに従って出力用メモリ４に格納する（Ｓ３０４）。なお、内部の周波数源（図示省略）により生成したタイミングでカメラ１ａ、１ｂから出力される画像データ１０ａ、１０ｂをＣＰＵ２に取り込む。ここで、詳細は後で述べるが、指定アドレスが不定の場合、ＣＰＵ２はスリープモードとなる。
【００１１】
次いで、ＣＰＵ２は、カウンタ値が「６４０×４８０−１」と一致するかどうかを判断する（Ｓ３０５）。カウンタ値が「６４０×４８０−１」未満の場合は（Ｓ３０３）〜（Ｓ３０５）の書き込み処理を繰り返す。  
（Ｓ３０５）において、カウント値が「６４０×４８０−１」と一致した場合は、１フレーム分の画像データ１０ａ、１０ｂの伝送完了と同義のため、出力用メモリ４のバンクを切り替え、次のフレームの画像データ１０ａ、１０ｂを新たな面に書き込む。また、書き込みが完了したバンクは、運転者に提示するための処理に回される。なお、出力用メモリ４を２面構成とした理由は、運転者に提示する画像のちらつきを抑えるためである。
【００１２】
図４（ａ）は、本実施の形態の車両周囲画像変換装置の動作を示す概念図、（ｂ）はそのタイミングチャートである。  
前述したようにカメラ１ａ、１ｂから出力される２系統の画像データ１０ａ、１０ｂは、（ｂ）のタイミングチャートに示すように同期信号２０に同期して、１画素ずつ一定の周期で伝送される。ＣＰＵ２は、バッファを介さずに順次送達される画像データ１０ａ、１０ｂに前述のような方法でタイミングを合わせ、パターンメモリ３ａ、３ｂに従って出力用メモリ４の書き込みアドレス３０ａ、３０ｂに対してそれぞれの画像データ１０ａ、１０ｂを書き込む。すなわち、パターンメモリ３ａ、３ｂには、同期信号２０に同期して読み出しが開始され、画像データ１０ａ、１０ｂの出力順に読み出し可能な出力用メモリ４の書き込みアドレス３０ａ、３０ｂに格納されており、画像データ１０ａ、１０ｂが出力される毎にパターンメモリ３ａ、３ｂから読み出される出力用メモリ４の書き込みアドレス３０ａ、３０ｂに、画像データ１０ａ、１０ｂが格納される（書き込みアドレス処理）。  
ここで、図２（ｂ）に示したように、複数のカメラ１ａ、１ｂにより撮像された複数の画像を１つのモニタ５に並べて表示させる場合、間引きさせることが一般的に行われるため、全ての画像データ１０ａ、１０ｂのアドレス変換をする必要はない。そこで、提示用データ４０として必要でないと判断される画像データ１０ａ、１０ｂに与える書き込みアドレス３０ａ、３０ｂは不定（図中、ｘｘ）とし、その間、ＣＰＵ２はスリープモードとなるように動作する。  
すなわち、例えば、画像データ１０ａから出力されたデータ（１２）は、パターンメモリ３ａに格納されている出力用メモリ４への書き込みアドレス（０３）に基づいて出力用メモリ４の書き込みアドレス（０３）に格納される。一方、同時刻に出力された画像データ１０ｂの出力データ（ＡＢ）は、パターンメモリ３ｂに格納された出力用メモリ４への書き込みアドレス（××）に基づき、間引きされる。  
また、画像データ１０ａの出力データ（４９）は、パターンメモリ３ａに格納されている出力用メモリ４への書き込みアドレス（××）に基づき、間引きされる。一方、同時刻に出力された画像データ１０ｂの出力データ（０８）は、パターンメモリ３ｂに格納された出力用メモリ４への書き込みアドレス（０４）に基づいて出力用メモリ４の書き込みアドレス（０４）に格納される。  
また、画像データ１０ａの出力データ（６Ａ）は、パターンメモリ３ａに格納されている出力用メモリ４への書き込みアドレス（０２）に基づいて出力用メモリ４の書き込みアドレス（０２）に格納される。一方、同時刻に出力された画像データ１０ｂの出力データ（４５）は、パターンメモリ３ｂに格納された出力用メモリ４への書き込みアドレス（××）に基づき、間引きされる。  
さらに、画像データ１０ａの出力データ（３８）は、パターンメモリ３ａに格納されている出力用メモリ４への書き込みアドレス（××）に基づき、間引きされる。一方、同時刻に出力された画像データ１０ｂの出力データ（５Ｂ）は、パターンメモリ３ｂに格納された出力用メモリ４への書き込みアドレス（０１）に基づいて出力用メモリ４のアドレス（０１）に格納される。  
このような操作を繰り返して１フレーム分の画像データ１０ａ、１０ｂの伝送を完了し、次いで、２フレーム目の画像データ１０ａ、１０ｂの伝送を引き続き行う。  
以上説明したように本実施の形態の車両周囲画像変換装置は、車両の周囲を撮像する複数のカメラ１ａ、１ｂと、カメラから出力される画像データ１０ａ、１０ｂ（画像信号）を画像処理するＣＰＵ（画像処理部）２と、書き込みアドレスを格納するパターンメモリ３ａ、３ｂと、出力用メモリ４とを有し、ＣＰＵ２から出力される同期信号２０をトリガに、カメラ１ａ、１ｂがＣＰＵ２に対して画像データ１０ａ、１０ｂを出力し、ＣＰＵ２は、カメラ１ａ、１ｂからの画像データ１０ａ、１０ｂの出力にタイミングを合わせ、書き込みアドレスを用いて画像データ１０ａ、１０ｂを出力用メモリ４に書き込む（書き込みアドレス処理）という構成になっている。  
このように車両の周囲に設置され、同期信号２０をトリガとして、画像データ１０ａ、１０ｂをそれぞれ同期に出力する複数のカメラ１ａ、１ｂの画像データ１０ａ、１０ｂに対して、書き込みアドレス処理を行うことで入出力遅延を低減させることができる。つまり、上記従来技術と比較してパターンメモリ３ａ、３ｂの容量は増加してしまうが、上記従来技術における入力フレームバッファを削除することができ、入出力遅延を低減させることができる。具体的には、２フレームの入出力遅延を１フレームに低減することができる。したがって、車両周囲の環境画像をリアルタイムに近い情報として運転者に提示することができ、安全運転を支援することができる。  
なお、本実施の形態では、カメラ１ａ、１ｂは複数（２台）設けたが、カメラが３台以上の場合も、また、単数の場合も本発明は適用可能であり、同様の効果を奏することができる。  
また、カメラ１ａ、１ｂから出力される画像データ１０ａ、１０ｂをＣＰＵ２に取り込む、つまり、書き込みアドレス処理を行うタイミングは、内部あるいは外部の周波数源により生成するようになっている。このような構成により、カメラ１ａ、１ｂから伝送される画像データ１０ａ、１０ｂを一度バッファに格納することなく、リアルタイムで書き込みアドレス処理をすることができる。なお、このタイミングは、外部の周波数源により生成してもよい。  
また、出力用メモリ４は２面を有し、書き込みアドレス処理の結果を出力用メモリ４の片面毎に書き込むようになっている。このような構成により、運転者に提示するモニタ５の画像のちらつきを抑制することができる。  
また、パターンメモリ３ａ、３ｂをカメラ１ａ、１ｂの数に対応して備え、書き込みアドレス処理の際にカメラ１ａ、１ｂが出力する画像データ１０ａ、１０ｂに応じて、パターンメモリ３ａ、３ｂを切り替えるようになっている。このような構成により、例えばカメラが３機以上あり、モニタ５にカメラ２機分の画像を並べて運転者に提示する場合、その組み合わせを任意に設定することができる。  
なお、以上説明した実施の形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記実施の形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施の形態の車両周囲画像変換装置の構成を示す図である。
【図２】（ａ）は本発明の実施の形態の車両周囲画像変換装置において、見通しの悪いＴ字路における自車両および他車両を上から見た図、（ｂ）は（ａ）の場合に自車両の車両周囲画像変換装置が備えるモニタが運転者に提示する画像の一例を示す図である。
【図３】本実施の形態の車両周囲画像変換装置の動作を示すフローチャートである。
【図４】（ａ）は、本実施の形態の車両周囲画像変換装置の動作を示す概念図、（ｂ）はそのタイミングチャートである。
【符号の説明】
【００１４】
１ａ、１ｂ…カメラ、２…ＣＰＵ、３ａ、３ｂ…パターンメモリ、４…出力用メモリ、５…モニタ、１０ａ、１０ｂ…画像データ、１１…自車両、１２ａ、１２ｂ…他車両、１２ａ′、１２ｂ′…他車両の画像、１３ａ、１３ｂ…撮像範囲、１４ａ、１４ｂ…画像、１５…仕切り線、２０…同期信号、４０…提示データ。
【図１】
2005117554.tif 000003
【図２】
2005117554.tif 000004
【図３】
2005117554.tif 000005
【図４】
2005117554.tif 000006