(57)【要約】【課題】車載カメラが取り付けられている車体の車高変化や傾き変化にかかわらず、良好な画質によるモニタ映像の確保を達成することができる車両用モニタ映像生成装置を提供すること。【解決手段】車両周辺を撮像する車載のリアカメラ１，２，３と、該車載のリアカメラ１，２，３から見たカメラ映像を、予め決めた仮想視点から見た映像に視点変換し、モニタ映像信号を生成するモニタ映像生成コントローラ８と、モニタ映像を表示するモニタ９と、を備えた車両用モニタ映像生成装置において、前記モニタ映像生成コントローラ８は、前記車載のリアカメラ１，２，３の車輪接地面に対する相対的な取り付け位置情報である外部パラメータを算出し、算出した外部パラメータの変化に追従してカメラ視点と仮想視点の位置関係を一定に保つ視点変換を行う手段とした。【選択図】図１
2009253571.tif 000002
【特許請求の範囲】
【請求項１】
車両周辺を撮像する車載カメラと、該車載カメラから見たカメラ映像を、予め決めた仮想視点から見た映像に視点変換し、モニタ映像信号を生成するモニタ映像生成コントローラと、モニタ映像を表示するモニタと、を備えた車両用モニタ映像生成装置において、
前記モニタ映像生成コントローラは、前記車載カメラの車輪接地面に対する相対的な取り付け位置情報である外部パラメータを算出し、算出した外部パラメータの変化に追従してカメラ視点と仮想視点の位置関係を一定に保つ視点変換を行うことを特徴とする車両用モニタ映像生成装置。
【請求項２】
請求項１に記載された車両用モニタ映像生成装置において、
車体に加わる荷重の大きさや荷重分布状態によって変化する車高や車体傾きを示す車体姿勢を検出する車体姿勢検出手段を設け、
前記モニタ映像生成コントローラは、
前記車体姿勢検出手段からの車体姿勢検出値に基づいて外部パラメータを算出し、外部パラメータを算出する毎に、外部パラメータに応じてマッピングデータを算出するマッピングデータ作成手段と、
前記マッピングデータと前記車載カメラからの実カメラ映像の画素データを用い、カメラ視点映像を示す画素データの並びを、仮想視点映像を示す画素データの並びに変換し、外部パラメータの変化に追従してカメラ視点と仮想視点の位置関係を一定に保つ視点変換を行うマッピング手段と、
を有することを特徴とする車両用モニタ映像生成装置。
【請求項３】
請求項２に記載された車両用モニタ映像生成装置において、
前記車体姿勢検出手段は、車両の各車輪位置に設けられ、各車輪位置でのサスペンション沈み込み量を検出するサスペンション沈み込み量センサであることを特徴とする車両用モニタ映像生成装置。
【請求項４】
請求項２または請求項３に記載された車両用モニタ映像生成装置において、
前記マッピングデータ作成手段は、算出された外部パラメータに応じ、マッピングデータの全画素に対してデータが必要であるのに対し、一部の画素のみデータを持つ間引きマッピングデータをリアルタイム演算により算出することを特徴とする車両用モニタ映像生成装置。
【請求項５】
請求項４に記載された車両用モニタ映像生成装置において、
前記マッピングデータ作成手段は、１フレーム分の間引きマッピングデータを作成する手段とし、
前記マッピングデータ作成手段により作成された１フレーム分の間引きマッピングデータ群を一時記憶する一時記憶手段と、
映像同期信号に同期して前記一時記憶手段から１フレーム分の間引きマッピングデータを読み込み、算出されている一部の画素データを用い、データを持たない画素のデータを補間する間引きマッピングデータ補間手段と、
を有することを特徴とする車両用モニタ映像生成装置。
【請求項６】
請求項１乃至請求項５の何れか１項に記載された車両用モニタ映像生成装置において、
前記車載カメラは、車両に複数台搭載され、
前記モニタ映像生成コントローラは、複数台の車載カメラのそれぞれについて外部パラメータを算出し、それぞれの外部パラメータの変化に追従してカメラ視点と仮想視点の位置関係を一定に保つ視点変換を行って複数の映像信号を取得し、取得した複数の映像信号を合成することで１つの映像合成信号を生成することを特徴とする車両用モニタ映像生成装置。
【請求項７】
請求項６に記載された車両用モニタ映像生成装置において、
前記車載カメラは、車両後部位置に複数台搭載されたリアカメラであり、
前記モニタ映像生成コントローラは、前記モニタに車両後方映像を表示する車両後退走行時、外部パラメータの算出と、算出した外部パラメータの変化に追従する視点変換を行うことを特徴とする車両用モニタ映像生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載カメラから見たカメラ映像を、予め決めた仮想視点から見た映像に視点変換し、モニタ映像信号を生成する車両用モニタ映像生成装置に関する。
【背景技術】
【０００２】
最近、車載カメラの映像をそのままモニタにて見せるのではなく、視点変換により、レンズ歪みを除去した映像や車両の上から見たような映像（以下、「俯瞰映像」という。）をモニタに表示する車両用モニタ映像生成装置が知られている。
【０００３】
例えば、複数のカメラ映像を、マッピングテーブルで選択し、且つ、画素データの並び替えを行い、カメラ視点によるカメラ画素データを仮想視点からの画素データに変換し、この視点変換により仮想視点から見たときの合成画像を生成する画像処理装置が知られている（例えば、特許文献１参照）。
【０００４】
これらの視点変換による画像処理技術により、運転者は、より見やすい映像で、安全運転を行えるようになった。
【特許文献１】特許第３３００３３４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、視点変換手法を用いた画像処理装置において、正確な視点変換を行うためには、実際の車載カメラの高さ位置や傾き等、取り付けパラメータを厳密に測定して、マッピングテーブルに反映させなければならない。特に、複数の車載カメラを使って一枚の映像に合成する場合は、映像の繋ぎ目の部分で問題が生じやすいため、慎重にパラメータを調整する必要がある。
【０００６】
これに対し、従来の画像処理装置に用いられるマッピングテーブルは、視点変換システムの組み立て時にFLASHメモリ等に書き込むため、いったん書き込まれたマッピングテーブルは、リアルタイムに書き換えることができない。ところが、実際には、車両への乗車人数、乗車位置、そして乗車する人の体重、あるいは、荷物の積載態様等で車高や車体の傾きが変化し、車載カメラの取り付けパラメータも様々に変化する。
【０００７】
一方、視点変換に用いるマッピングテーブルは、例えば、車両に誰も乗っていない状態での車載カメラの取り付け位置を想定するというように、全く変化しない取り付けパラメータに基づいて決めたデータが書き込まれる。
【０００８】
このため、マッピングテーブルに書き込んだデータが想定している固定した位置関係による取り付けパラメータと、実際の車載カメラにおける様々に変化する取り付けパラメータとの間に差異が出てしまい、モニタに映し出される映像が歪んだり、合成したカメラ映像の繋ぎ目がずれたりする等の不具合が生じてしまう、という問題があった。
【０００９】
本発明は、上記問題に着目してなされたもので、車載カメラが取り付けられている車体の車高変化や傾き変化にかかわらず、良好な画質によるモニタ映像の確保を達成することができる車両用モニタ映像生成装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するため、本発明では、車両周辺を撮像する車載カメラと、該車載カメラから見たカメラ映像を、予め決めた仮想視点から見た映像に視点変換し、モニタ映像信号を生成するモニタ映像生成コントローラと、モニタ映像を表示するモニタと、を備えた車両用モニタ映像生成装置において、
前記モニタ映像生成コントローラは、前記車載カメラの車輪接地面に対する相対的な取り付け位置情報である外部パラメータを算出し、算出した外部パラメータの変化に追従してカメラ視点と仮想視点の位置関係を一定に保つ視点変換を行うことを特徴とする。
【発明の効果】
【００１１】
よって、本発明の車両用モニタ映像生成装置にあっては、モニタ映像生成コントローラにおいて、車載カメラの車輪接地面に対する相対的な取り付け位置情報である外部パラメータが算出され、算出された外部パラメータの変化に追従してカメラ視点と仮想視点の位置関係を一定に保つ視点変換が行われる。
すなわち、外部パラメータが変化すると、パラメータ変化に伴いカメラ視点も変化することになり、正確な視点変換が確保されず、視点変換により生成されるモニタ映像信号によるモニタ映像が歪んだり、合成映像の場合は繋ぎ目がずれたりして画質を劣化させる。
これに対し、モニタ映像生成コントローラにて外部パラメータ情報を取り込み、外部パラメータの変化に追従してカメラ視点と仮想視点の位置関係を一定に保つ視点変換を行うことで、外部パラメータの変化影響がモニタ映像に表れることを解消できる。
この結果、車載カメラが取り付けられている車体の車高変化や傾き変化にかかわらず、良好な画質によるモニタ映像の確保を達成することができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の車両用モニタ映像生成装置を実現する最良の形態を、図面に示す実施例１に基づいて説明する。
【実施例１】
【００１３】
まず、構成を説明する。
図１は、実施例１の車両用モニタ映像生成装置が適用された３台のリアカメラからの合成映像をモニタ映像とするバックビューモニタシステムを示す全体システム図である。
【００１４】
実施例１の車両用モニタ映像生成装置が適用されたバックビューモニタシステムは、図１に示すように、第１リアカメラ１（車載カメラ）と、第２リアカメラ２（車載カメラ）と、第３リアカメラ３（車載カメラ）と、左右前輪４Ｌ，４Ｒと、左右後輪５Ｌ，５Ｒと、左右前席６Ｌ，６Ｒと、左右後席７Ｌ，７Ｒと、モニタ映像生成コントローラ８と、モニタ９と、を備えている。
【００１５】
そして、前記モニタ映像生成コントローラ８へ入力情報をもたらす手段として、図１に示すように、インヒビタースイッチ１０と、前輪左サスペンション沈み込み量センサ１１（車体姿勢検出手段）と、前輪右サスペンション沈み込み量センサ１２（車体姿勢検出手段）と、後輪左サスペンション沈み込み量センサ１３（車体姿勢検出手段）と、後輪右サスペンション沈み込み量センサ１４（車体姿勢検出手段）と、を備えている。
【００１６】
前記第１リアカメラ１、第２リアカメラ２、第３リアカメラ３は、車両周辺を撮像する車載カメラの一例であり、車両後部に設けられ、車両後方映像を撮像する。
第１リアカメラ１は、図１に示すように、右後輪５Ｒから車両後方側へ延長した車両後部の右隅位置に取り付けられ、車両右後方のカメラ映像を取得する。第２リアカメラ２は、図１に示すように、左右後輪５Ｌ，５Ｒの中点から車両後方側へ延長した車両後部の中央位置に取り付けられ、車両真後ろのカメラ映像を取得する。第３リアカメラ３は、図１に示すように、左後輪５Ｌから車両後方側へ延長した車両後部の左隅位置に取り付けられ、車両左後方のカメラ映像を取得する。これらのリアカメラ１，２，３としては、例えば、夜間でも画質が鮮明で視認性が良く、物体の認識がしやすい、赤外線カラーカメラ等が採用され、撮像素子としてCCDやCMOS等が用いられる。
【００１７】
前記モニタ映像生成コントローラ８は、図外のインスツルメントパネルの内部位置等に設置され、変速機ギア位置のうち、リバースギア位置を選択しているとき、前記リアカメラ１，２，３により撮像されたカメラ視点による映像を画素データに変換し、各カメラ映像の画素データに対し、各リアカメラ１，２，３の取り付け位置情報に応じて算出されるマッピングデータを用いた視点変換を行い、モニタ９へ出力するモニタ映像の画素データを生成する。
【００１８】
前記モニタ９は、例えば、インスツルメントパネルの中央部位置に取り付けられ、前記モニタ映像生成コントローラ８からのモニタ映像信号を入力し、ルームミラーで後方を見た場合に合わせるため、左右反転させた鏡像にて車両の後方映像を表示する。このモニタ９としては、例えば、液晶ディスプレイや有機ELディスプレイ等が用いられる。
【００１９】
前記インヒビタースイッチ１０は、自動変速機のセレクトレバーがどのレンジ位置（例えば、Ｄ，Ｎ，Ｒ，Ｐ等）にあるかを検出するスイッチである。実施例１のバックビューモニタシステムでは、インヒビタースイッチ１０からのリバースギア信号（後退情報）に基づき、モニタ９の表示画面に表示される映像を、それまでの映像（例えば、サイドビュー映像）から、各リアカメラ１，２，３からの車両後方映像（リアビュー映像）へ自動的に切り換える方式を採用している。
【００２０】
前記前輪左サスペンション沈み込み量センサ１１は、左前輪４Ｌの位置におけるサスペンション沈み込み量（＝車高低下量）を検出する。前記前輪右サスペンション沈み込み量センサ１２は、右前輪４Ｒの位置におけるサスペンション沈み込み量（＝車高低下量）を検出する。前記後輪左サスペンション沈み込み量センサ１３は、左後輪５Ｌの位置におけるサスペンション沈み込み量（＝車高低下量）を検出する。前記後輪右サスペンション沈み込み量センサ１４は、右後輪５Ｒの位置におけるサスペンション沈み込み量（＝車高低下量）を検出する。
【００２１】
図２は、実施例１の車両用モニタ映像生成装置におけるモニタ映像生成制御処理系を示すブロック図である。
【００２２】
実施例１のモニタ映像生成制御処理系は、図２に示すように、第１リアカメラ１と、第２リアカメラ２と、第３リアカメラ３と、モニタ映像生成コントローラ８と、モニタ９と、インヒビタースイッチ１０と、前輪左サスペンション沈み込み量センサ１１と、前輪右サスペンション沈み込み量センサ１２と、後輪左サスペンション沈み込み量センサ１３と、後輪右サスペンション沈み込み量センサ１４と、を備えている。
【００２３】
そして、前記モニタ映像生成コントローラ８は、図２に示すように、デジタルデコーダ801と、デジタルデコーダ802と、デジタルデコーダ803と、FIFOメモリ811と、FIFOメモリ812と、FIFOメモリ813と、マイコン821（マッピングデータ作成手段）と、一時記憶回路822（一時記憶手段）と、間引きマッピングデータ補間回路823（間引きマッピングデータ補間手段）と、マッピング回路830（マッピング手段）と、デジタルエンコーダ840と、を有している。
【００２４】
前記デジタルデコーダ801は、第１リアカメラ１からのNTSC信号（画像信号）を、YCrCb（色差信号）に変換する。前記デジタルデコーダ802は、第２リアカメラ２からのNTSC信号（画像信号）を、YCrCb（色差信号）に変換する。前記デジタルデコーダ803は、第３リアカメラ３からのNTSC信号（画像信号）を、YCrCb（色差信号）に変換する。
【００２５】
ここで、「NTSC（National Television Standards Committeeの略）」とは、地上波アナログカラーテレビ放送の方式を策定するアメリカの標準化委員会が策定した方式で、水平方向の走査線数が525本で毎秒30フレーム(1秒間に30回画面を書き換える)のインターレース方式で、水平走査周波数は15.75kHz、垂直走査周波数は60Hzである。
「YCrCb」とは、明るさと色みの組み合わせによって色を表現する形式をいう。Yは、明るさ（輝度）を表す。CrとCbは、色を定める補足情報で色合い（色差）を表す。Crは、赤の色差を表し、Cbは、青の色差を表す。
【００２６】
前記FIFOメモリ811は、デジタルデコーダ801からのYCrCb信号を一時的に蓄え、他の２つのYCrCb信号と同期させてマッピング回路830に第１リアカメラ１からのYCrCb信号を出力するメモリである。前記FIFOメモリ812は、デジタルデコーダ802からのYCrCb信号を一時的に蓄え、他の２つのYCrCb信号と同期させてマッピング回路830に第２リアカメラ２からのYCrCb信号を出力するメモリである。前記FIFOメモリ813は、デジタルデコーダ803からのYCrCb信号を一時的に蓄え、他の２つのYCrCb信号と同期させてマッピング回路830に第３リアカメラ３からのYCrCb信号を出力するメモリである。
ここで、「FIFOメモリ（FIFOは、First In,First Outの略）」とは、書き込んだ順番でのみ読み出しが可能なメモリをいう。
【００２７】
前記マイコン821は、インヒビタースイッチ１０からのリバースギア信号と、各サスペンション沈み込み量センサ１１，１２，１３，１４からのセンサ信号を入力し、マッピングに必要な１フレーム分の間引きマッピングデータを算出する。
【００２８】
前記一時記憶回路822は、マイコン821からの１フレーム分の間引きしたマッピングデータ群を一時記憶させておく。
【００２９】
前記間引きマッピングデータ補間回路823は、映像同期信号に基づいて一時記憶回路822からデータを読み込み、データ（アドレス値）を持つピクセル（画素）を用いた線形補間により、間引かれたピクセルのデータを補間する。
【００３０】
前記マッピング回路830は、FIFOメモリ811,812,813からの同期したYCrCb信号に基づき、間引きマッピングデータ補間回路823からの線形補間済みのマッピングデータを用い、カメラ視点による画素データを仮想視点からの画素データに変換し、この視点変換により仮想視点から見たときの３つの映像信号を取得し、取得した３つの映像信号を、例えば、それぞれ横方向1/3に縮小して合成することで、１つの映像合成信号（YCrCb信号）を生成する。
【００３１】
前記デジタルエンコーダ840は、マッピング回路830からYCrCb信号を入力し、YCrCb信号をモニタ９に映し出すためのモニタ映像信号（NTSC信号）に変換し、NTSC信号をモニタ９に出力する。
【００３２】
図３は、実施例１のモニタ映像生成コントローラ８のマイコン821にて実行される間引きマッピングデータ算出処理の流れを示すフローチャートであり、以下、各ステップについて説明する。
【００３３】
ステップＳ301では、インヒビタースイッチ１０からのリバースギア信号がONであるか否かを判断し、YES（リバースギア信号ON）の場合はステップＳ302へ移行し、NO（リバースギア信号OFF）の場合はステップＳ301での判断を繰り返す。
【００３４】
ステップＳ302では、ステップＳ301でのリバースギア信号ONであるとの判断に続き、前輪左サスペンション沈み込み量センサ１１からのセンサ値を読み取り、ステップＳ303へ移行する。
【００３５】
ステップＳ303では、ステップＳ302でのセンサ値読み取りに続き、前輪右サスペンション沈み込み量センサ１２からのセンサ値を読み取り、ステップＳ304へ移行する。
【００３６】
ステップＳ304では、ステップＳ303でのセンサ値読み取りに続き、後輪左サスペンション沈み込み量センサ１３からのセンサ値を読み取り、ステップＳ305へ移行する。
【００３７】
ステップＳ305では、ステップＳ304でのセンサ値読み取りに続き、後輪右サスペンション沈み込み量センサ１４からのセンサ値を読み取り、ステップＳ306へ移行する。
【００３８】
ステップＳ306では、ステップＳ305でのセンサ値読み取りに続き、車両の傾きを算出し、ステップＳ307へ移行する。
ここで、車両の傾きは、左側の２つの沈み込み量センサ１１，１３からのセンサ値の平均値と、右側の２つの沈み込み量センサ１２，１４からのセンサ値の平均値の差を用い、車幅方向の車両傾き角度を算出する。同様に、左右前輪の２つの沈み込み量センサ１１，１２からのセンサ値の平均値と、左右後輪の２つの沈み込み量センサ１３，１４からのセンサ値の平均値の差を用い、車両前後方向の車両傾き角度を算出する。
【００３９】
ステップＳ307では、ステップＳ306での車両の傾き算出に続き、各リアカメラ１，２，３の外部パラメータを算出し、ステップＳ308へ移行する。
このステップＳ307では、各リアカメラ１，２，３の外部パラメータとして、各リアカメラ１，２，３の高さと、各リアカメラ１，２，３の車幅方向回転角α（＝車幅方向の車両傾き角度）と、各リアカメラ１，２，３の車両前後方向回転角β（＝車両前後方向の車両傾き角度）と、を求める。
【００４０】
ステップＳ308では、ステップＳ307での各リアカメラ１，２，３の外部パラメータ算出、あるいは、ステップＳ309でのリバースギア信号ONとの判断に続き、各リアカメラ１，２，３の外部パラメータに基づき、１フレーム分の間引きマッピングデータを算出し、ステップＳ309へ移行する。
ここで、「間引きマッピングデータ」とは、例えば、縦横16ピクセル毎に間引かれたピクセルのみについて、アドレス値を計算したものをいう。
【００４１】
ステップＳ309では、ステップＳ308での１フレーム分の間引きマッピングデータ算出に続き、リバースギア信号がOFFであるか否かを判断し、YES（リバースギア信号OFF）の場合は終了に移行し、NO（リバースギア信号ON）の場合はステップＳ308へ戻る。
【００４２】
次に、作用を説明する。
まず、「マッピングテーブルを用いた視点変換方式の課題」の説明を行い、続いて、実施例１の車両用モニタ映像生成装置における作用を、「サスペンション沈み込み量からの各カメラの外部パラメータを求める方法」、「外部パラメータとマッピングデータの関係」、「マッピングデータの算出作用」、「視点変換による各カメラ映像からモニタ映像生成作用」に分けて説明する。
【００４３】
［マッピングテーブルを用いた視点変換方式の課題］
図４は、誰も乗車していない車両の後方映像を３台のカメラからのカメラ映像を合成して得る場合のカメラ取り付け例を示す図である。図５は、図４に示す車両に搭載された３台のカメラからのカメラ映像を横方向に縮小して合成した車両後方映像の一例を示す図である。図６は、車両右側の運転席と後部座席に２人乗車している車両の後方映像を３台のカメラからのカメラ映像を合成して得る場合のカメラ取り付け例を示す図である。図７は、図６に示す車両に搭載された３台のカメラからのカメラ映像を横方向に縮小して合成した車両後方映像の一例を示す図である。
【００４４】
例えば、図４に示すように、３台のカメラを車両後部位置に取り付けた車両の場合、従来装置では、マッピングテーブルを使い、３台のカメラからのカメラ映像を視点変換し、視点変換したカメラ映像を合成して車両後方のモニタ映像を得る。このとき、マッピングテーブルは、通常、誰も乗っていない状態の車両におけるカメラパラメータを取得して作成する。
【００４５】
一般に、カメラパラメータとは、「内部パラメータ」と「外部パラメータ」とに分けられる。「内部パラメータ」は、レンズ歪みデータや受光素子の取り付け位置データ等であり、一度計測すれば変わることがない。一方、「外部パラメータ」は、カメラ本体の取り付け位置情報である。つまり、車両に取り付けたカメラの高さ位置や傾きは、乗車人数や乗車位置で大きく変わり、これに従い「外部パラメータ」も大きく変わることになる。しかし、上記のように、マッピングテーブルを用いて視点変換するマッピングテーブル方式では、「外部パラメータ」の変化に対応することができない。
【００４６】
例えば、図４に示すように、誰も乗車していない車両の後方右側位置に人が立っていた場合、カメラ１とカメラ２とカメラ３の合成映像は、図５に示すように、カメラ１映像とカメラ２映像の繋ぎ目が連続的にあらわれ、人の映像品質を確保できる。その理由は、誰も乗車していない車両におけるカメラパラメータを取得してマッピングテーブルを作成していることで、パラメータ一致性を持つことによる。
【００４７】
しかし、実際の車両では、最低でも運転者一人が乗車することになるので、この場合でも、カメラ１とカメラ２とカメラ３の高さ位置と傾きが異なり、マッピングテーブルの作成時の外部パラメータと違いが出てくる。
【００４８】
例えば、図６に示すように、車両右側の運転席と後部座席に２人乗車している車両の後方右側位置に人が立っていた場合、カメラ１とカメラ２とカメラ３の合成映像は、図７に示すように、カメラ１映像とカメラ２映像の繋ぎ目がずれ、人の映像品質を劣化させてしまう。その理由は、運転者一人が乗車している車両に比べ、車両右側に２人乗車している車両の方が、よりカメラ１とカメラ２とカメラ３の高さ位置と傾きが変化する。言い換えると、マッピングテーブルの作成時の外部パラメータと違いが顕著になり、予め設定されているマッピングテーブルでは対応できないことによる。
【００４９】
上記のように、予め設定したマッピングテーブルを用いて視点変換するマッピングテーブル方式では、「外部パラメータ」の変化に対応することができないため、これらのモニタ映像劣化は、許容せざるを得ないのが現状である。
【００５０】
［サスペンション沈み込み量からの各カメラの外部パラメータを求める方法］
図８は、誰も乗車していない車両の後部に設置された３台のカメラ位置イメージを示す図である。図９は、車両右側の運転席と後部座席に２人乗車している車両の後部に設置された３台のカメラ位置イメージを示す図である。
【００５１】
サスペンション沈み込み量からの各カメラの外部パラメータを求める方法の一例について説明する。説明を簡便にするため、誰も乗車していない車両の後部に設置された３台のカメラ位置は、図８に示すように、全て同じカメラ高さ（＝Ｚ）であり、カメラ１とカメラ３はサスペンションの真上位置に配置され、カメラ２はカメラ１とカメラ３の中点位置に配置されているものとする。なお、カメラ１とカメラ２の車幅方向間隔、ならびに、カメラ２とカメラ３の車幅方向間隔は共にＬとする。また、誰も乗車していないため、このときのサスペンション沈み込み量センサの値を０とする。
【００５２】
この場合の外部パラメータは、
カメラ１：高さ＝Ｚ  車幅方向回転角＝０  車両前後方向回転角＝０
カメラ２：高さ＝Ｚ  車幅方向回転角＝０  車両前後方向回転角＝０
カメラ３：高さ＝Ｚ  車幅方向回転角＝０  車両前後方向回転角＝０
となる。
【００５３】
これに対し、車両右側の運転席と後部座席に２人乗車している車両の後部に設置された３台のカメラ位置は、図９に示すように、片寄った右側位置に２人乗車しているため、車体が沈み込むと共に傾き、３台のカメラ位置が変化する。この場合、左側のサスペンション沈み込み量をＡ、右側のサスペンション沈み込み量をＢとすると、各カメラの高さは、
カメラ１：高さ＝Ｚ−Ｂ
カメラ２：高さ＝Ｚ−（Ａ＋Ｂ）
カメラ３：高さ＝Ｚ−Ａ
と計算される。また、各カメラの車幅方向回転角αは、３つ共に同じ角度であり、車両の車幅方向傾き角度に一致し、
α＝Sin-1((Ａ−Ｂ)/２Ｌ)
と計算される。各カメラの車両前後方向回転角βは、３つ共に同じ角度であり、車両前後方向傾き角度に一致するため、車幅方向回転角αと同様に計算で求められる。
【００５４】
よって、この場合の外部パラメータは、
カメラ１：高さ＝Ｚ−Ｂ          車幅方向回転角α  車両前後方向回転角β
カメラ２：高さ＝Ｚ−（Ａ＋Ｂ）  車幅方向回転角α  車両前後方向回転角β
カメラ３：高さ＝Ｚ−Ａ          車幅方向回転角α  車両前後方向回転角β
となる。
【００５５】
上記のように、４つの車輪と複数台のカメラの位置関係（カメラ高さＺやカメラ間隔Ｌやホイールベース長、等）が明らかであり、サスペンション沈み込み量の情報をセンサ値から取得すると、各カメラの外部パラメータを算出することができる。
【００５６】
［外部パラメータとマッピングデータの関係］
図１０は、誰も乗車していない車両の後部に設置された３台のカメラの前に板状の物体を置いたときの映像であり、(a),(b),(c)はそれぞれのカメラ映像イメージを示し、(d)はこれら３つの映像を横方向に1/3に縮小して合成したカメラ映像イメージを示す。図１１は、車両右側の運転席と後部座席に２人乗車している車両の後部に設置された３台のカメラの前に板状の物体を置いたときの映像であり、(a),(b),(c)はそれぞれのカメラ映像イメージを示し、(d)はこれら３つの映像を横方向に1/3に縮小して合成したカメラ映像イメージを示す。
【００５７】
誰も乗車していない車両の後部に設置された３台のカメラの前に板状の物体を置いたときには、図１０の(a),(b),(c)に示すように、３台のカメラからは、水平方向の同じ位置に板状の物体がカメラ映像として得られる。そして、図１０の(d)に示すように、３つの映像を横方向に1/3に縮小して合成すると滑らかに繋がった板状の物体がカメラ映像として得られる。
【００５８】
これに対し、車両右側の運転席と後部座席に２人乗車している車両の後部に設置された３台のカメラの前に板状の物体を置いたときには、図１１の(a),(b),(c)に示すように、３台のカメラからは、３つ同じように傾斜した板状の物体がカメラ映像として得られる。そして、図１１の(d)に示すように、３つの映像を横方向に1/3に縮小して合成すると互いに断層状にずれた板状の物体がカメラ映像として得られる。
【００５９】
すなわち、図１１は、カメラの外部パラメータが変化すると、マッピング映像に問題が発生することを示している。しかし、上記の手法により、車体が傾いた場合の外部パラメータを算出しておく、この算出した外部パラメータを用いることで、図１１の(a),(b),(c)に示すカメラ１とカメラ２とカメラ３の映像を、あたかも図８の位置にあるカメラ１とカメラ２とカメラ３から見た映像に視点変換することができる。つまり、図１１の(a),(b),(c)に示す各カメラ映像を、図１０の(a),(b),(c)に示す各カメラ映像に視点変換し、これらを合成すれば、連続性の保たれた合成映像を生成できることになる。
【００６０】
上記のように、図１１の(a),(b),(c)に示す各カメラ映像を、図１０の(a),(b),(c)に示す各カメラ映像に視点変換するために用いるマッピングデータは、算出された外部パラメータに基づいて作成されるという関係を持つ。
【００６１】
［マッピングデータの算出作用］
図１２は、実施例１の車両用モニタ映像生成装置においてリアルタイムで算出される間引きマッピングデータの一例を示すイメージ図である。
【００６２】
モニタ映像生成コントローラ８のマイコン821には、左右前輪４Ｌ，４Ｒと左右後輪５Ｌ，５Ｒのサスペンションに取り付けられている各サスペンション沈み込み量センサ１１，１２，１３，１４からのセンサ値が入力されている。これら４つのセンサ値から車両の傾き情報を取得し、この傾き情報から各リアカメラ１，２，３の高さ、傾き（車幅方向回転角と車両前後方向回転角）、すなわち、各リアカメラ１，２，３の外部パラメータが算出できる。当然、各沈み込み量センサ１１，１２，１３，１４と各リアカメラ１，２，３の位置関係は、既知であることは言うまでもない。
【００６３】
これらの各リアカメラ１，２，３の外部パラメータから、マイコン821は、マッピングに必要なマッピングデータを算出する。ここで、問題となるのは、マイコン821の演算速度である。本方式は、マッピングテーブルを持たないため、リアルタイムでマッピングデータを作る必要がある。つまり、マイコン821は、１フレーム分のピクセル数のマッピングデータを１フレーム時間（約33.3msec）の間に計算しなくてはならず、通常、車載に使われるマイコンでは、ほとんど不可能である。そこで、本方式では、全てのマッピングデータを計算せず、間引いた形で演算する方式を採る。図１２に間引きマッピングデータのイメージを示す。マッピングデータとは、マッピング参照用のアドレス（カメラ選択情報も含む）であり、通常、図１２の白丸も黒丸も含めた全体ピクセルに対しデータが必要となるが、実施例１では、例えば、縦横16ピクセル毎に間引かれた黒丸のピクセルのみのアドレス値をマイコン821が計算することになる。これにより、演算の数は256分の１まで減り、マイコン821の処理時間を大幅に短縮でき、通常用いられるマイコンでも処理が可能となる。
【００６４】
また、当然ながら間引かれたマッピングデータは、このままでは、正常にマッピング処理することはできない。このために、マッピング処理する前に、間引かれたデータを線形補間して、完全なマッピングデータに戻す必要がある。また、マイコン821が計算して出力するマッピングデータ群は、映像信号に同期していないので、１フレーム分の間引きされたマッピングデータ群を一時記憶させておく必要がある（図２の一時記憶回路822）。
【００６５】
図２の間引きマッピングデータ補間回路823では、映像同期信号に同期して一時記憶回路822からデータを読み込み、線形補間を行う。そして、この線形補間操作は、機械的な処理であるため、専用のロジック回路を用いることで高速化を図ることができる。
【００６６】
尚、マッピングデータを間引き、補間処理することで、画質の劣化が懸念されるが、縦横16ピクセル毎の間引かれたマッピングデータでも十分に実用的であることは、実験により確認されている。
【００６７】
実施例１の車両用モニタ映像生成装置の場合は、駐車等での後退走行時、車両後方映像をモニタ９に映し出すバックビューモニタシステムに適用されたものであるため、各リアカメラ１，２，３が車両後方映像を撮像しているとき以外は、リアルタイムのマッピングデータ算出処理を実行する必要が無く、マイコン821では、図３に示すようなマッピングデータ算出処理を実行する。
【００６８】
つまり、リバースギア信号がONになると、図３のフローチャートにおいて、ステップＳ301→ステップＳ302→ステップＳ303→ステップＳ304→ステップＳ305→ステップＳ306→ステップＳ307→ステップＳ308へと進み、ステップＳ308にて１フレーム分の間引きマッピングデータが算出される。そして、リバースギア信号がONを維持している間は、図３のフローチャートにおいて、ステップＳ308→ステップＳ309へと進む流れが繰り返され、ステップＳ308にて１フレーム毎に間引きマッピングデータが算出される。
【００６９】
［視点変換による各カメラ映像からのモニタ映像生成作用］
マッピングデータを用いた視点変換による各カメラ映像からのモニタ映像生成作用を、図２に示すブロック図に基づき説明する。
【００７０】
まず、３台のリアカメラ１，２，３からのNTSC映像信号が、それぞれデジタルデコーダ801,802,803に入力され、デジタルデコーダ801,802,803にてYCrCb信号（色差信号）に変換される。一般に、各リアカメラ１，２，３は、それぞれが非同期に映像を出力するので、デジタルデコーダ801,802,803から出力されるそれぞれのYCrCb信号は、FIFOメモリ811,812,813に一旦蓄えられる。そして、マッピング回路830において、同期したYCrCb信号がFIFOメモリ811,812,813から読み込まれる。
【００７１】
一方、インヒビタースイッチ１０からのリバースギア信号と、各サスペンション沈み込み量センサ１１，１２，１３，１４からのセンサ信号を入力するマイコン821では、上記のように、マッピングに必要な間引きマッピングデータが算出される。そして、一時記憶回路822において、マイコン821からの１フレーム分の間引きしたマッピングデータ群を一時記憶させておき、次の間引きマッピングデータ補間回路823において、映像同期信号に基づいて一時記憶回路822からデータを読み込み、間引かれたデータ（アドレス値）がアドレス値を持つデータにより線形補間される。そして、マッピング回路830において、線形補間済みのマッピングデータが、間引きマッピングデータ補間回路823から読み込まれる。
【００７２】
マッピング回路830では、FIFOメモリ811,812,813で同期されたカメラ映像信号であるYCrCb信号と、間引きマッピングデータ補間回路823からの線形補間済みのマッピングデータを用い、カメラ視点による画素データが仮想視点からの画素データに変換され、この視点変換により仮想視点から見たときの３つの映像信号を、例えば、横方向1/3に縮小して合成した合成映像信号（YCrCb信号）を生成する。そして、マッピング回路830からYCrCb信号を入力するデジタルエンコーダ840では、YCrCb信号をモニタ９に映し出すためのモニタ映像信号（NTSC信号）に変換し、NTSC信号をモニタ９に出力することで、モニタ画面に視点変換されたモニタ映像を表示する。
【００７３】
このように、実施例１の車両用モニタ映像生成装置では、従来のように、予め設定されたマッピングテーブルを使わずに、モニタ映像生成コントローラ８にて車高の変化情報を捕捉し、車高の変化情報に基づいて外部パラメータを算出し、算出した外部パラメータの変化に追従してリアルタイム演算にて作成されたマッピングデータを用い、カメラ視点と仮想視点の位置関係を一定に保つ視点変換を行う。この結果、外部パラメータの変化影響でモニタ映像が歪んだり、合成画像の繋ぎ目がずれたりするというような、画質の劣化が解消される。
【００７４】
次に、効果を説明する。
実施例１の車両用モニタ映像生成装置にあっては、下記に列挙する効果を得ることができる。
【００７５】
(1) 車両周辺を撮像する車載カメラ（リアカメラ１，２，３）と、該車載カメラから見たカメラ映像を、予め決めた仮想視点から見た映像に視点変換し、モニタ映像信号を生成するモニタ映像生成コントローラ８と、モニタ映像を表示するモニタ９と、を備えた車両用モニタ映像生成装置において、前記モニタ映像生成コントローラ８は、前記車載カメラの車輪接地面に対する相対的な取り付け位置情報である外部パラメータを算出し、算出した外部パラメータの変化に追従してカメラ視点と仮想視点の位置関係を一定に保つ視点変換を行う。このため、車載カメラが取り付けられている車体の車高変化や傾き変化にかかわらず、良好な画質によるモニタ映像の確保を達成することができる。
【００７６】
(2) 車体に加わる荷重の大きさや荷重分布状態によって変化する車高や車体傾きを示す車体姿勢を検出する車体姿勢検出手段を設け、前記モニタ映像生成コントローラ８は、前記車体姿勢検出手段からの車体姿勢検出値に基づいて外部パラメータを算出し、外部パラメータを算出する毎に、外部パラメータに応じてマッピングデータを算出するマッピングデータ作成手段（マイコン821）と、前記マッピングデータと前記車載カメラからの実カメラ映像の画素データを用い、カメラ視点映像を示す画素データの並びを、仮想視点映像を示す画素データの並びに変換し、外部パラメータの変化に追従してカメラ視点と仮想視点の位置関係を一定に保つ視点変換を行うマッピング手段（マッピング回路830）と、を有する。このため、車体姿勢の検出情報により外部パラメータを車体姿勢の変化に応じて算出することができると共に、外部パラメータに対応するマッピングデータを用い、画素データを並び替えるだけの容易なマッピング処理により、カメラ視点と仮想視点の位置関係が一定に保たれた視点変換を行うことができる。
【００７７】
(3) 前記車体姿勢検出手段は、車両の各車輪位置に設けられ、各車輪位置でのサスペンション沈み込み量を検出するサスペンション沈み込み量センサ１１，１２，１３，１４である。このため、各車輪位置で車高の変化を捉えることができ、車載カメラの高さと、車載カメラの車幅方向回転角と、車載カメラの車両前後方向回転角による外部パラメータを精度良く算出することができる。
【００７８】
(4) 前記マッピングデータ作成手段（マイコン821）は、算出された外部パラメータに応じ、マッピングデータの全画素に対してデータが必要であるのに対し、一部の画素のみデータを持つ間引きマッピングデータをリアルタイム演算により算出する。このため、全画素に対してデータを演算する場合に比べ、マッピングデータの演算処理時間を大幅に短縮することができ、通常の車載用マイコンを用いた低コストの構成としながら、間引きマッピングデータのリアルタイム演算を行うことができる。
【００７９】
(5) 前記マッピングデータ作成手段（マイコン821）は、１フレーム分の間引きマッピングデータを作成する手段とし、前記マッピングデータ作成手段により作成された１フレーム分の間引きマッピングデータ群を一時記憶する一時記憶手段（一時記憶回路882）と、映像同期信号に同期して前記一時記憶手段から１フレーム分の間引きマッピングデータを読み込み、算出されている一部の画素データを用い、データを持たない画素のデータを補間する間引きマッピングデータ補間手段（間引きマッピングデータ補間回路823）と、を有する。このため、マッピング処理を行う前に、映像の同期性を保ちながら間引かれたデータを補間して完全なマッピングデータに戻すことで、データの欠落が無いマッピングデータを用いた正常なマッピング処理を経過し、十分に実用的な画質によるモニタ映像を得ることができる。
【００８０】
(6) 前記車載カメラ（リアカメラ１，２，３）は、車両に複数台搭載され、前記モニタ映像生成コントローラ８は、複数台の車載カメラのそれぞれについて外部パラメータを算出し、それぞれの外部パラメータの変化に追従してカメラ視点と仮想視点の位置関係を一定に保つ視点変換を行って複数の映像信号を取得し、取得した複数の映像信号を合成することで１つの映像合成信号を生成する。このため、複数台の車載カメラが取り付けられているそれぞれの車体位置における車高変化や傾き変化にかかわらず、合成されたモニタ映像の繋ぎ目に生じるずれを抑えた良好な画質を確保することができる。
【００８１】
(7) 前記車載カメラは、車両後部位置に複数台搭載された第１リアカメラ１と第２リアカメラ２と第３リアカメラ３であり、前記モニタ映像生成コントローラ８は、前記モニタ９に車両後方映像を表示する車両後退走行時、外部パラメータの算出と、算出した外部パラメータの変化に追従する視点変換を行う。このため、複数のリアカメラ１，２，３を用いたバックビューモニタシステムにおいて、各リアカメラ１，２，３からの映像繋ぎ目にずれがない高画質のモニタ合成映像を、運転者に対する駐車支援情報として提供することができる。
【００８２】
以上、本発明の車両用モニタ映像生成装置を実施例１に基づき説明してきたが、具体的な構成については、この実施例１に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。
【００８３】
実施例１では、車載カメラとして、３台のリアカメラを用いる例を示した。しかし、車載カメラとしては、１台のリアカメラであっても良いし、サイドブラインドカメラであっても良いし、１台もしくは複数台のフロントカメラ等であっても良い。さらに、例えば、アラウンドビューモニタシステムのように、合成した俯瞰画像をモニタに表示するために車両全周に設置される複数台の車載カメラであっても良い。
【００８４】
実施例１では、車体姿勢検出手段として、各車輪位置でのサスペンション沈み量センサの例を示した。しかし、各車輪のサスペンションの車体支持部分に作用する輪荷重センサを用いても良いし、また、走行中における車体姿勢の変化を検出するために、横加速度センサや前後加速度センサ等を用いても良い。また、各車輪位置での車高変化や輪荷重変化を、車速センサや操舵角センサからの車速情報や舵角情報による推定演算により検出する手段としても良い。
【００８５】
実施例１では、基本的にカメラ映像をそのままモニタ映像として表示するため、乗員が誰も乗っていないカメラ取り付け状態でのカメラ視点を仮想視点とする例を示した。しかし、俯瞰映像をモニタ表示するため、カメラ取り付け位置の上方位置から下向きの仮想視点を決めておくような例でも良いし、また、遠景をパース映像とし近景になるに従って俯瞰映像化する映像をモニタ表示するため、回転や移動するような仮想視点を決めておくような例でも良い。
【産業上の利用可能性】
【００８６】
実施例１では、リアカメラを搭載したバックビューモニタシステムへ車両用モニタ映像生成装置を適用する例を示した。しかし、バックビューモニタシステムに限らず、サイドブラインドモニタシステムやフロントビューモニタシステムやアラウンドビューモニタシステム等、車両周辺を撮像する車載カメラを備えた様々のモニタシステムに本発明の車両用モニタ映像生成装置を適用することができる。
【図面の簡単な説明】
【００８７】
【図１】実施例１の車両用モニタ映像生成装置が適用された３台のリアカメラからの合成画像をモニタ映像とするバックビューモニタシステムを示す全体システム図である。
【図２】実施例１の車両用モニタ映像生成装置におけるモニタ映像生成制御処理系を示すブロック図である。
【図３】実施例１のモニタ映像生成コントローラ８のマイコン821にて実行されるマッピングデータ算出処理の流れを示すフローチャートである。
【図４】誰も乗車していない車両の後方映像を３台のカメラからのカメラ映像を合成して得る場合のカメラ取り付け例を示す図である。
【図５】図４に示す車両に搭載された３台のカメラからのカメラ映像を横方向に縮小して合成した車両後方映像の一例を示す図である。
【図６】車両右側の運転席と後部座席に２人乗車している車両の後方映像を３台のカメラからのカメラ映像を合成して得る場合のカメラ取り付け例を示す図である。
【図７】図６に示す車両に搭載された３台のカメラからのカメラ映像を横方向に縮小して合成した車両後方映像の一例を示す図である。
【図８】誰も乗車していない車両の後部に設置された３台のカメラ位置イメージを示す図である。
【図９】車両右側の運転席と後部座席に２人乗車している車両の後部に設置された３台のカメラ位置イメージを示す図である。
【図１０】誰も乗車していない車両の後部に設置された３台のカメラの前に板状の物体を置いたときの映像であり、(a),(b),(c)はそれぞれのカメラ映像イメージを示し、(d)はこれら３つの映像を横方向に1/3に縮小して合成したカメラ映像イメージを示す。
【図１１】車両右側の運転席と後部座席に２人乗車している車両の後部に設置された３台のカメラの前に板状の物体を置いたときの映像であり、(a),(b),(c)はそれぞれのカメラ映像イメージを示し、(d)はこれら３つの映像を横方向に1/3に縮小して合成したカメラ映像イメージを示す。
【図１２】実施例１の車両用モニタ映像生成装置においてリアルタイムで算出される間引きマッピングデータの一例を示すイメージ図である。
【符号の説明】
【００８８】
１  第１リアカメラ（車載カメラ）
２  第２リアカメラ（車載カメラ）
３  第３リアカメラ（車載カメラ）
４Ｌ  左前輪
４Ｒ  右前輪
５Ｌ  左後輪
５Ｒ  右後輪
６Ｌ  左前席
６Ｒ  右前席
７Ｌ  左後席
７Ｒ  右後席
８  モニタ映像生成コントローラ
801,802,803  デジタルデコーダ
811,812,813  FIFOメモリ
821  マイコン（マッピングデータ作成手段）
822  一時記憶回路（一時記憶手段）
823  間引きマッピングデータ補間回路（間引きマッピングデータ補間手段）
830  マッピング回路（マッピング手段）
840  デジタルエンコーダ
９  モニタ
１０  インヒビタースイッチ
１１  前輪左サスペンション沈み込み量センサ（車体姿勢検出手段）
１２  前輪右サスペンション沈み込み量センサ（車体姿勢検出手段）
１３  後輪左サスペンション沈み込み量センサ（車体姿勢検出手段）
１４  後輪右サスペンション沈み込み量センサ（車体姿勢検出手段）
【図１】
2009253571.tif 000003
【図２】
2009253571.tif 000004
【図３】
2009253571.tif 000005
【図４】
2009253571.tif 000006
【図５】
2009253571.tif 000007
【図６】
2009253571.tif 000008
【図７】
2009253571.tif 000009
【図８】
2009253571.tif 000010
【図９】
2009253571.tif 000011
【図１０】
2009253571.tif 000012
【図１１】
2009253571.tif 000013
【図１２】
2009253571.tif 000014