(57)【要約】【課題】車両の周辺状況を認識できる動画像を遅延なく連続して表示することができる設置作業の容易な車両周辺監視装置を提供する。【解決手段】カメラ６を備える送信側処理装置１と、表示装置１６を備える受信側処理装置１１との間で無線通信を利用することで、設置や結線に係る作業が容易となる。また、画像処理部２，１２が、ウェーブレット変換に基づく画像データの圧縮符号化を行って画像データを低周波成分と高周波成分とに分離し、低周波成分のデータを優先して送受信することで、画質よりも遅延なく連続して動画像を表示することを要求する車両周辺監視装置を実現することができる。【選択図】図１
2005303450.tif 000002
【特許請求の範囲】
【請求項１】
車両周辺を撮像した映像を当該車両に設置された表示装置に表示する車両周辺監視装置であって、
前記車両の周辺を撮像するカメラと、
前記車両に設置された前記表示装置と、
前記カメラで撮像した画像データをウェーブレット変換を利用して符号化または復号化する画像処理手段と、
を備えることを特徴とする車両周辺監視装置。
【請求項２】
請求項１に記載の車両周辺監視装置であって、さらに、
前記画像処理手段が処理を施した画像データを無線通信によって送受信する通信手段、
を備えることを特徴とする車両周辺監視装置。
【請求項３】
請求項１または請求項２に記載の車両周辺監視装置であって、
前記通信手段は、前記画像処理手段が前記ウェーブレット変換により符号化したデータのうち、所定周波数以下の低周波成分のデータを優先して送受信することを特徴とする車両周辺監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両周辺を撮像した映像を遅延無く当該車両に設置された表示装置に表示する車両周辺監視装置に関するものである。
【背景技術】
【０００２】
近年、周辺情報の取得を目的として動画像を利用する車両周辺監視装置の車両への搭載が増えている。車両周辺監視装置によれば、例えば、図７に示すように、運転席の左右にある障害物４１のために、進入しようとする交差点の左右の状況が視認できないときに、車両前部に設置したカメラ４０で撮像した動画像データを表示装置上に表示して、交差点の状況を確認することができる。
【０００３】
動画像の圧縮符号化には、ＭＰＥＧ（Motion Picture Experts Group）形式が利用されることが多い。ＭＰＥＧ形式の圧縮符号化方法は、コンピュータ関連の分野で利用されることが多く、動画像の画質を維持しながらデータ容量を抑えることが重要視されている。そして、これを実現するため、離散コサイン変換（ＤＣＴ：Discret Cosine Transform）を施して得たフレームデータを、その前後のフレームデータを利用して符号化する予測符号化技術が利用されている。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、車両の周辺情報を認識するための動画像データに対しては、時々刻々と変化する他の車両、通行人等の情報を、遅延なく、かつ途切れることなく連続して、運転者に伝達することが要求される。
【０００５】
そのため、伝送中に一部のフレームデータが欠落したために、このフレームデータを利用して符号化されたその後のフレームデータも復号できない可能性を有する予測符号化技術は、車両周辺監視装置への利用には適さないという問題があった。また、車両の周辺情報としては、細部を細かく描写することよりも、運転者が車両の周辺状況を認識できる画像を得ることが重要であるため、低周波成分の画像データが重要となるが、ＤＣＴ変換を利用する符号化技術では、圧縮率を高めると低周波成分のデータ損失が大きくなる上にブロックノイズが発生して画質の劣化が顕著になるという問題もあった。
【０００６】
さらに、車両の前部や後部に設置した複数台のカメラで撮像した動画像を、運転席付近に設置された表示装置上で表示するための、設置作業やカメラと表示装置との結線に係る作業が煩雑であるという問題もあった。
【０００７】
そこで、この発明の課題は、車両の周辺状況を認識することができる動画像を遅延なく連続して表示することができる設置作業の容易な車両周辺監視装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決すべく、請求項１の発明は、車両周辺を撮像した映像を当該車両に設置された表示装置に表示する車両周辺監視装置であって、前記車両の周辺を撮像するカメラと、前記車両に設置された前記表示装置と、前記カメラで撮像した画像データをウェーブレット変換を利用して符号化または復号化する画像処理手段とを備えることを特徴とする。
【０００９】
また、請求項２の発明は、請求項１の発明に係る車両周辺監視装置であって、さらに、前記画像処理手段が処理を施した画像データを無線通信によって送受信する通信手段、を備えることを特徴とする。
【００１０】
また、請求項３の発明は、請求項１または請求項２の発明に係る車両周辺監視装置であって、前記通信手段は、前記画像処理手段が前記ウェーブレット変換により符号化したデータのうち、所定周波数以下の低周波成分のデータを優先して送受信することを特徴とする。
【発明の効果】
【００１１】
請求項１に記載の発明によれば、車両周辺の状況を把握できる動画像を、遅延なく連続して再生表示する車両周辺監視装置を実現することができる。
【００１２】
請求項２に記載の発明によれば、煩雑な結線作業を行うことなく、車両周辺監視装置を車両へ設置することができる。
【００１３】
請求項３に記載の発明によれば、重要なデータを優先して高速に送受信して、多少の画質の劣化はあっても、車両周辺の状況を認識できる動画像を遅延なく表示する車両周辺監視装置を実現することができる。
【発明を実施するための最良の形態】
【００１４】
図１は、本発明の一の実施の形態に係る車両周辺監視装置を示す図である。図１の如く、車両周辺監視装置は送信側処理部１と受信側処理部１１とからなり、カメラ６で撮像した車両周辺の動画像を送信側処理部１から無線通信により送信し、これを受信した受信側処理部１１が復号した動画像を表示装置１６に出力表示する機能を有する。カメラ６は、例えば、車両周辺を撮像するために、車両前部、車両後部、あるいはサイドミラー等に設置され、その近傍に送信側処理部１が配置される。また、表示装置１６は、例えば運転席周辺のインストルメントパネル等に設置され、その近傍に受信側処理部１１が設置される。
【００１５】
送信側処理部１は、接続端子５を介してカメラ６から入力される動画像データを処理する画像処理部２と、処理を施したデータを無線送信する無線通信部３と、画像処理部２が動画像データの処理等に利用するメモリ４と、から構成される。受信側処理部１１は、無線通信によりデータを受信する無線通信部１３と、受信したデータを処理する画像処理部１２と、接続端子１５を介して画像処理部１２から出力される動画像を再生表示するための表示装置１６と、画像処理部１２が動画像データの処理等に利用するメモリ１４と、から構成される。
【００１６】
カメラ６は、ＣＣＤやＣＭＯＳ等のセンサを利用して撮像した対象物をＮＴＳＣ（National Television System Committee）方式やデジタル方式の映像信号に変換して出力する機能を有する。図１では、１台のカメラを利用する態様を示しているが、２台以上のカメラを利用する態様であっても構わない。
【００１７】
画像処理部２は、カメラ６から入力される動画像データをウェーブレット変換を利用して圧縮符号化する機能を有する。画像処理部１２は、同様にウェーブレット変換を利用し、圧縮復号化されたデータを元の動画像データに伸張復号化する機能を有する。画像処理部２，１２（画像処理手段）は、例えば、ＡＳＩＣやＦＰＧＡ等を利用して専用のハードウェア及びソフトウェアによって実現する。
【００１８】
無線通信部３は、画像処理部２で処理されたデータを無線送信する機能を有する。無線通信部１３は、同様に無線通信によりデータを受信する機能を有する。無線通信部３，１３（通信手段）は、専用のハードウェア及びソフトウェアによって実現され、送信側処理部１と受信側処理部１との間で無線通信を実現する。無線通信の方式は、例えば、無線ＬＡＮの標準仕様として勧告されているＩＥＥＥ８０２．１１仕様等に基づくものであってもよいし、短距離無線技術として利用されるＢｌｕｅｔｏｏｔｈ等に基づくものであってもよいし、自動料金収受システム（ＥＴＣ）で利用される狭域通信システム（ＤＳＲＣ）等を応用したものであっても構わない。
【００１９】
メモリ４，１４は、画像処理装置２，１２が動画像データの符号化や復号化等の処理を行うときに一時記憶用の作業用メモリであって、例えば、ＳＤＲＡＭを利用する。
【００２０】
表示装置１６は、受信側処理部１１で伸張復号化した動画像を再生表示する機能を有する装置であって、例えば、液晶ディスプレイ装置を利用する。
【００２１】
接続端子５，１５は、送信側処理部１とカメラ６、受信側処理部１１と表示装置１６、を電気的に接続する機能を有する。コネクタ等で実現され脱着可能な態様であるため、車両周辺監視装置に利用するカメラ６や表示装置１６を容易に変更することができる。
【００２２】
上記構成を有する車両周辺監視装置は、ウェーブレット変換を利用して圧縮符号化した動画像データを無線通信によって送受信することを特徴とする。具体的には、画像処理部２、１２は、ウェーブレット変換を利用するＪＰＥＧ２０００（Joint Photographic Experts Group 2000）方式に基づいて動画像データの処理を行う。
【００２３】
ＭＰＥＧ方式ではＤＣＴ変換を利用するのに対し、ＪＰＥＧ２０００方式ではＤＷＴ（離散ウェーブレット変換；Discrete Wavelet Transform）を採用する点に特徴がある。また、エントロピー符号化には、ビットプレーン符号化を行うＥＢＣＯＴ（Embedded Block Coding with Optimized Truncation）を採用する。以下、画像処理部２で行う動画像データの圧縮符号化の処理の詳細について説明する。
【００２４】
図２は、画像処理部２の概略構成を示す機能ブロック図である。画像処理部２は、図２に示すような機能ブロックを専用のハードウェアやソフトウェアにより実現し、圧縮符号化を行う。以下、図２を参照しつつ、その手順について説明する。
【００２５】
接続端子５を介してカメラ６から画像処理部２に入力される動画像データは、ＤＣレベルシフト部２１で必要に応じてＤＣレベル変換を施された後に、色空間変換部２２に出力される。次に、色空間変換部２２は、ＤＣレベルシフト部２１から入力されるデータの色空間を変換する。具体的には、例えば、ＲＧＢ信号を、ＹＣｂＣｒ信号（輝度信号Ｙと色差信号Ｃｂ，Ｃｒからなる信号）に変換する。
【００２６】
次に、タイリング部２３は、色空間変換部２２から入力される画像データを、複数の矩形状の「タイル」と称する領域成分に分割してＤＷＴ部２４に出力する。ＤＷＴ部２４は、タイリング部２３から入力される画像データに対してタイル単位で整数型または実数型のＤＷＴを施し、その結果得られる変換係数を出力する。
【００２７】
ＤＷＴでは、高域成分（高周波数成分）と低域成分（低周波数成分）とに分割する１次元フィルタが、２次元画像信号に対して垂直方向と水平方向の順で適用される。そして、垂直方向および水平方向の双方で低域側に分割した帯域成分のみを、さらに再帰的に帯域分割する（オクターブ分割）。このとき再帰的に帯域分割した回数は、分解レベル（decomposition level）と呼ばれる。
【００２８】
図３は、オクターブ分割方式に従って、分解レベル３のＤＷＴを施した２次元画像３１を示す模式図である。分解レベル１では、２次元画像３１は、前述の１次元フィルタを垂直方向と水平方向とに順次適用することで、ＨＨ１，ＨＬ１，ＬＨ１およびＬＬ１（図示せず）の４つの帯域成分に分割される。ここで、「Ｈ」は高域成分を、「Ｌ」は低域成分をそれぞれ示している。例えば、ＨＬ１は、分解レベル１における水平方向の高域成分Ｈと垂直方向の低域成分Ｌとからなる帯域成分である。即ち、「ＸＹｎ」（Ｘ，ＹはＨ，Ｌの何れか；ｎは１以上の整数）は、分解レベルｎにおける水平方向の帯域成分Ｘと垂直方向の帯域成分Ｙとからなる帯域成分を指す。
【００２９】
分解レベル２では、低域成分ＬＬ１は、ＨＨ２，ＨＬ２，ＬＨ２およびＬＬ２（図示せず）に帯域分割される。更に、分解レベル３では、低域成分ＬＬ２は、ＨＨ３，ＨＬ３，ＬＨ３およびＬＬ３に帯域分割される。こうして生成された帯域成分ＨＨ１〜ＬＬ３を配列したものが図３である。尚、図３では簡単のため、３次の分解レベルの例を示しているが、本実施の形態の分解レベルはこれ以上であっても構わない。
【００３０】
次に、量子化部２５は、ＤＷＴ部２４から出力された変換係数を量子化する。また量子化部２５は、ＲＯＩ部２６による指定領域（ＲＯＩ；Region Of Interest）の画質を優先させるビットシフト処理を行う機能も有している。
【００３１】
次に、量子化部２５から出力された変換係数は、上述のＥＢＣＯＴに従って、係数ビットモデリング部２７と算術符号化部２８とで、順次、ブロックベースのエントロピー符号化を施され、符号量制御部２９でレートを制御される。具体的には、係数ビットモデリング部２７は、入力する変換係数の帯域成分を１６×１６や３２×３２や６４×６４程度の「コードブロック」と称する領域に分割し、更に、各コードブロックを、各ビットの２次元配列で構成される複数のビットプレーンに分解する。
【００３２】
図４は、複数のコードブロック３２分解された２次元画像３１を示す模式図である。また、図５は、このコードブロック３２を構成するｎ枚のビットプレーン３３0〜３３n-1（ｎ：自然数）を示す模式図である。コードブロック３２中の１点の変換係数の２進値３４が、図５に示すように”０１１…０”である場合、この２進値３４を構成するビットは、それぞれ、ビットプレーン３３n-1，３３n-2，３３n-3，…，３３0に属するように分解される。図中のビットプレーン３３n-1は、変換係数の最上位ビット（ＭＳＢ）のみからなる最上位ビットプレーンを表し、ビットプレーン３３0は、その最下位ビット（ＬＳＢ）のみからなる最下位ビットプレーンを表している。
【００３３】
更に、係数ビットモデリング部２７は、各ビットプレーン３３k（ｋ＝０〜ｎ−１）内の各ビットのコンテクスト（context）判定を行い、図６に示すように、各ビットの有意性（判定結果）に応じて、ビットプレーン３３kを３種類の符号化パス、すなわち、ＣＬパス（CLeanup pass），ＭＲパス（Magnitude Refinement pass），ＳＩＧパス（SIGnificance propagation pass）に分解する。各符号化パスに関するコンテクスト判定のアルゴリズムは、ＥＢＣＯＴで定められている。それによれば、「有意である」とは、これまでの符号化処理において注目係数がゼロでないとわかっている状態のことを意味し、「有意で無い」とは、係数値がゼロであるか、或いはゼロである可能性がある状態のことを意味する。
【００３４】
係数ビットモデリング部２７は、ＳＩＧパス（有意な係数が周囲にある有意でない係数の符号化パス）、ＭＲパス（有意な係数の符号化パス）およびＣＬパス（ＳＩＧパス，ＭＲパスに該当しない残りの係数情報の符号化パス）の３種類の符号化パスでビットプレーン符号化を実行する。ビットプレーン符号化は、最上位ビットプレーンから最下位ビットプレーンにかけて、各ビットプレーンのビットを４ビット単位で走査し、有意な係数が存在するか否かを判定することで行われる。有意で無い係数（０ビット）のみで構成されるビットプレーンの数はパケットヘッダに記録され、有意な係数が最初に出現したビットプレーンから実際の符号化が開始される。その符号化開始のビットプレーンはＣＬパスのみで符号化され、当該ビットプレーンよりも下位のビットプレーンは、上記３種類の符号化パスで順次符号化される。
【００３５】
次に、算術符号化部２８は、ＭＱコーダを用いて、係数ビットモデリング部２７からの係数列に対して、コンテクストの判定結果に基づいて符号化パス単位で算術符号化を実行する。尚、この算術符号化部２８で、係数ビットモデリング部２７から入力される係数列の一部を算術符号化させないバイパス処理を行うモードもある。
【００３６】
次に、符号量制御部２９は、算術符号化部２８が出力した符号列の下位ビットプレーンを切り捨てるポスト量子化を行うことで、最終符号量を制御する。そして、ビットストリーム生成部３０は、符号量制御部２９が出力した符号列と付加情報（ヘッダ情報，レイヤー構成、スケーラビリティ情報、量子化テーブルなど）とを多重化したビットストリームを生成し、圧縮画像データとして出力する。
【００３７】
画像処理部１２は、上述した圧縮符号化の手順を逆にたどることで、原画像データを復号する。
【００３８】
尚、本実施の形態では、ＲＯＩ部２６やＥＢＣＯＴによるエントロピー符号化を実現する処理部２７〜２９を示したが、本実施の形態はこれに限らず、ＲＯＩ部２６を有さずＲＯＩを利用しない態様であってもよいし、ＥＢＣＯＴ以外のエントロピー符号化を利用する態様であっても構わない。
【００３９】
従来のＭＰＥＧ方式では予測符号化を利用するため、各フレームデータが、時間軸方向に前後にあるフレームデータに依存する。そのため、データの送受信時に、例えばノイズ等の影響により、一のフレームデータが欠落すると、他のフレームデータまでが影響を受け、画像を復号できないフレームデータが複数生ずる可能性がある。しかし、上述した車両周辺監視装置では、動画像データを構成する各フレームデータを、それぞれ独立した一の静止画像データとして圧縮符号化する。よって、一のフレームデータに問題が発生しても他のフレームデータは影響を受けず、カメラ６で撮像した動画像データを、途切れることなく連続して表示装置１６上に表示することができる。また、ＭＰＥＧ方式のように、予測符号化や動き補償といった処理を必要としないことは、符号化や複合化処理にかかる負荷の軽減にもつながる。
【００４０】
車両の周辺情報としては、高画質の画像によって細部を細かく描写することよりも、多少画質が悪くとも運転者が車両の周辺状況を遅延なく連続して認識できることが重要である。画像データは低周波成分によっておおよその内容を再現することができ、高周波成分によってその細部を再現している。上述したように、ウェーブレット変換を利用するＤＷＴによって符号化する場合、その処理過程で画像データが低周波成分と高周波成分とに分離されるため、これを利用すれば、例えば高周波成分のデータに対して低周波成分のデータを優先して処理する等、周波数成分によって処理の優先度を設定することが可能である。
【００４１】
具体的には、例えば、画像処理部２が出力したデータを、無線通信部３，１３がパケットデータとして送受信するときに、そのパケットデータの含む画像データの周波数域を認識できるようにしておけば、所定の周波数成分を含むパケットデータは確実に送受信するように優先して送受信するといったことが可能になる。あるいは、低周波成分のデータを含むパケットデータのデータサイズを、高周波成分のデータを含むパケットデータのデータサイズよりも小さくすれば、低周波成分のデータについては送受信の成功確立を向上しながら一のパケットデータを喪失したときの影響を抑制できる。このとき、所定の周波数以上の高周波成分についてはパケットデータを喪失しても無視するといった処理等を行うことも可能である。あるいは、所定の周波数以上の高周波成分は、車両周辺監視装置には必要ないものとして、該当する高周波成分のデータを、データの生成段階で切り捨てるとか、データの送信段階で通信状況に応じて切り捨てるといった処理をすることも可能である。
【００４２】
このように、画像データの低周波成分を優先的に扱えば、送受信するデータの一部が欠落するといった通信障害が発生した場合でも、多少の画質の劣化があっても車両の周辺状況を全体的に把握できる動画像を得ることができる。また、送受信するデータの全体容量を抑制し高速通信を実現することも可能となり、カメラ６で撮像した動画像を遅延なく連続して表示装置１６上で表示することもできる。
【００４３】
また、ＲＯＩ部２６の機能を利用すれば、重要な領域のみを画質を落とさずに圧縮符号化することが可能である。例えば、車両周辺の状況を撮像する際に、運転者が注目する他の車両、通行人、障害物の存在等を他のものより優先して、画質の劣化を抑えるように処理すれば、データ容量を抑えながら、車両周辺の重要な情報のみをより正確に捉えることが可能となる。
【００４４】
その他、ウェーブレット変換を利用する上述した圧縮符号化によれば、ＤＣＴ変換を利用する場合のように復号した画像にブロックノイズが生じることがなく、同一のデータ容量で従来のＪＰＥＧ等に比べても高画質な復号画像を得ることができ、編集や加工も容易であるといった様々な利点がある。
【００４５】
このように、撮像する動画像の処理にウェーブレット変換を利用すれば、車両周辺監視装置に必要とされる様々な要求を満たすことができる。即ち、従来のＭＰＥＧ等の方式で動画像を処理する装置に比べて、特有の効果を有する車両周辺監視装置を実現することができる。
【００４６】
また、送信側処理部１と受信側処理部１１との間の通信を無線化することで、従来のように、結線のためのケーブルの取り回しや車室外から車室内へのケーブルの引き込みといった煩雑な作業を行うことなく、容易に車両周辺監視装置を設置することができる。
【図面の簡単な説明】
【００４７】
【図１】本発明の一の実施の形態に係る車両周辺監視装置を示す図である。
【図２】本発明の一の実施の形態に係る画像処理部を示す機能ブロック図である。
【図３】本発明の一の実施の形態に係るＤＷＴを施した２次元画像を示す模式図である。
【図４】本発明の一の実施の形態に係る複数のコードブロックに分解された２次元画像を示す模式図である。
【図５】本発明の一の実施の形態に係るコードブロックを構成する複数枚のビットプレーンを示す模式図である。
【図６】本発明の一の実施の形態に係る３種類の符号化パスを示す模式図である。
【図７】車両周辺監視装置が設置された車両を示す平面図である。
【符号の説明】
【００４８】
１  送信側処理部
２、１２  画像処理部
３、１３  無線通信部
４，１４  メモリ
５，１５  接続端子
１１  受信側処理部
【図１】
2005303450.tif 000003
【図２】
2005303450.tif 000004
【図３】
2005303450.tif 000005
【図４】
2005303450.tif 000006
【図５】
2005303450.tif 000007
【図６】
2005303450.tif 000008
【図７】
2005303450.tif 000009