(57)【特許請求の範囲】
【請求項１】
車両に取り付けられ、斜め下方を俯瞰して車両周辺の画像を撮影画面に撮影する撮影手段と、
該撮影手段により撮影した画像及び該撮影手段の俯角情報に基づいて、その鳥瞰図画像を逐次生成する鳥瞰図画像生成手段と、
該鳥瞰図画像生成手段により生成された鳥瞰図画像を、車両の移動に合わせて順次合成して、合成鳥瞰図画像を生成する合成鳥瞰図画像生成手段と、
該合成鳥瞰図画像生成手段が生成した合成鳥瞰図画像を表示するとともに、その特定位置に自車両を表示する表示手段と、
を備えた車両周辺画像処理装置において、
前記俯角をリアルタイムで検出する俯角検出手段を備え、
前記鳥瞰図画像生成手段は、前記俯角検出手段が検出した俯角を用いて前記鳥瞰図画像を生成することを特徴とする車両周辺画像処理装置。
【請求項２】
前記俯角検出手段は、
前記車両の傾斜角の変化量を検出する傾斜角変化量検出手段を備え、
前記車両が初期状態にあるときに予め検出した俯角の初期値と、前記傾斜角変化量検出手段が検出した傾斜角の変化量とに基づいて、前記俯角のリアルタイム値を検出することを特徴とする請求項１記載の車両周辺画像処理装置。
【請求項３】
前記傾斜角変化量検出手段は、
前記車両に搭載された傾斜角センサが検出したピッチ角の初期値と現在値とのずれとに基づいて、前記傾斜角の変化量を検出することを特徴とする請求項２記載の車両周辺画像処理装置。
【請求項４】
前記傾斜角センサが、前記車両に搭載されそのヘッドライトの光軸角度を自動調整する装置に用いられるハイトセンサからなることを特徴とする請求項３記載の車両周辺画像処理装置。
【請求項５】
車両に取り付けられ、斜め下方を俯瞰して車両周辺の画像を撮影画面に撮影する撮影手段と、
前記撮影手段により撮影した画像に基づく鳥瞰図画像を表示するための表示手段と、
前記撮影手段の俯角をリアルタイムで検出する俯角検出手段と、
を備える車載装置のコンピュータに、
前記撮影手段が撮影した画像及び前記俯角検出手段が検出した俯角に基づいて、その鳥瞰図画像を逐次生成する鳥瞰図画像生成手段と、
該鳥瞰図画像生成手段により生成された鳥瞰図画像を、車両の移動に合わせて順次合成して、合成鳥瞰図画像を生成する合成鳥瞰図画像生成手段と、
前記表示手段に、前記合成鳥瞰図画像生成手段が生成した合成鳥瞰図画像を表示させると共に、その表示画像の特定位置に自車両を表示させる表示制御手段
としての機能を、実現させるためのプログラム。
【請求項６】
請求項５記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、例えば車両の周辺を撮影してモニタに表示できる車両周辺画像処理装置，プログラム及び記録媒体に関するものである。
【０００２】
【従来の技術】
従来より、車両後退時の操作等を支援するために、車両の後部にカメラを取り付け、そのカメラにて撮影された画像をそのままモニタに表示する装置や、カメラにて撮影された画像を、鉛直方向から地上面を見下ろした鳥瞰図を表す画像に逐次変換し、その画像の中に自車両を表す画像を合成してモニタに表示する装置（例えば特開平１０−２１１８４９号公報）が知られている。
【０００３】
特に後者の装置では、自車両と鳥瞰図画像に示された物体（例えば駐車枠等）との位置関係がある程度把握できるようになるため、カメラでの撮影画像をそのままモニタに表示する前者の装置と比較して、車両操作上の便宜が向上する。
しかし、後者の装置では、モニタ中の鳥瞰図画像の表示領域が自車両表示より後方だけの狭い範囲に限られてしまうため、周辺画像の表示が見難く、依然としてモニタの表示画面を十分に有効活用できないという問題があった。
【０００４】
こうした中、既に本願発明者らにより、逐次変換される鳥瞰図画像の時間的変化或いは車両から得られる車両信号（例えば車速信号やヨーレイト信号）に基づいて車両の動きを把握し、カメラの視野外に消えて行く画像領域を適宜合成して、従来より広い範囲を表示する技術が開発されている。
【０００５】
【発明が解決しようとする課題】
ところで、上記開発技術は現在実用化段階の手前にあり、種々の評価試験が行われている。そしてその評価試験では、後述するように、カメラにより斜め下方を俯瞰して車両後方を撮影し、そのときのカメラの俯角（見下ろし角）を、鳥瞰変換における演算処理の一つのパラメータとして用いるのであるが、その俯角については車両に取り付けられたカメラの固定角度からほぼ一定であるとして、固定値を用いることとしていた。
【０００６】
しかしながら、実際の道路上で車両を操作する際には、路面の起伏や車両への荷物の搭載、或いは車両の前輪又は後輪の障害物（石等）への乗り上げや車両の経年変化等により、路面に対するカメラの俯角が変化して、初期に設定したカメラの俯角値では正しい鳥瞰変換をすることができないといった問題が生じた。そして、特に上記開発技術のように鳥瞰図画像を逐次合成する装置においては、カメラの俯角が変化すると異なったスケールの鳥瞰変換画像が生成され、これが合成されると歪みの大きい画像が出力表示されるといった問題があった。
【０００７】
本発明は、かかる問題を解決するためになされたものであり、例えばカメラの俯角が変化しても正確な鳥瞰図画像を生成することができ、それにより、精度良く合成鳥瞰図画像を表示することができる車両周辺画像処理装置,プログラム及び記録媒体を提供することを目的とする。
【０００８】
【課題を解決するための手段及び発明の効果】
上記課題に鑑み、本願請求項１記載の車両周辺画像処理装置においては、車両に取り付けられた撮影手段（例えばカメラ）が、斜め下方を俯瞰して車両周辺の画像を撮影画面に撮影し、鳥瞰図画像生成手段が、この撮影手段により撮影した画像及び撮影手段の俯角情報に基づいて、その鳥瞰図画像を逐次生成する。
【０００９】
そして、合成鳥瞰図画像生成手段が、この鳥瞰図画像生成手段により生成された鳥瞰図画像を、車両の移動に合わせて順次合成して合成鳥瞰図画像を生成し、表示手段（例えばモニタ）が、この合成鳥瞰図画像を表示するとともに、その特定位置に自車両を表示する。
【００１０】
尚、この合成鳥瞰図画像生成手段は、逐次生成される鳥瞰図画像の時間的変化から車両の動きを算出して撮影手段の視野外に消えていく画像領域を算出し、更に現時刻の鳥瞰図画像を貼り付けて合成していってもよいし、或いは、車両から得られる車両信号（例えば車速信号やヨーレイト信号）に基づいて車両の移動後の鳥瞰図画像を生成し、これを順次合成していってもよい。
【００１１】
当該車両周辺画像処理装置では、俯角検出手段が上記俯角をリアルタイムで検出し、上記鳥瞰図画像生成手段が、この俯角検出手段が検出した俯角を用いて上記鳥瞰図画像を生成する。
かかる車両周辺画像処理装置によれば、路面の起伏や車両への荷物の搭載、或いは車両の前輪又は後輪の障害物（石等）への乗り上げや車両の経年変化等によって車両が傾き、路面に対する撮影手段の俯角が変化しても、そのリアルタイムな検出値が鳥瞰図画像生成の際の演算処理に用いられることになる。このため、車両の現状に応じて正確な鳥瞰図画像を生成することができる。その結果、従来のように合成鳥瞰図画像の歪みが大きくなる等の問題を防止することができる。
【００１２】
上記俯角検出手段の構成としては、例えば請求項２に記載のように、傾斜角変化量検出手段が車両の傾斜角の変化量を検出し、車両が初期状態にあるときに予め検出した俯角の初期値と、この傾斜角変化量検出手段が検出した傾斜角の変化量とに基づいて、俯角のリアルタイム値を検出するものが考えられる。
【００１３】
尚、ここでいう「初期状態」とは、車両が何ら問題なく平坦な路面上に位置する状態を意味する。つまり、車両の位置する路面がその途中から傾斜したり車両が障害物に乗り上げたりして車両が傾いたり、又は荷物の搭載や経年変化等により車両が傾いたりしていない状態を意味する。
【００１４】
そして上記傾斜角変化量検出手段の具体的構成としては、例えば請求項３に記載のものが考えられる。
【００１９】
即ち、傾斜角変化量検出手段は、車両に搭載された傾斜角センサが検出したピッチ角の初期値と現在値とのずれとに基づいて、上記傾斜角の変化量を検出する構成にすることができる。尚、ここでいう「ピッチ角の初期値」とは、車両が上記初期状態にあるときに傾斜角センサが検出したピッチ角を意味する。傾斜角センサは、車両の傾斜角そのものを検出するため、その傾斜角の変化が撮影手段の傾斜角の変化に該当する。このため、傾斜角センサが検出したピッチ角の初期値と現在値とのずれが俯角の変化量となることに着目したものである。
【００２０】
一般に、車両には、車両制御のために車両のピッチ角を検出する傾斜角センサが設けられており、この傾斜角センサの具体例としては、請求項４に記載のように、車両に搭載されそのヘッドライトの光軸角度を適正な角度に自動調整する装置に用いられるハイトセンサが挙げられる。
尚、上記車両周辺画像処理装置が有する各手段としての機能は、プログラムにより、一部、コンピュータに実現させることができる。例えば、撮影手段と、撮影手段の俯角をリアルタイムで検出する俯角検出手段と、撮影手段により撮影した画像に基づく鳥瞰図画像を表示するための表示手段と、を備える車載装置においては、鳥瞰図画像生成手段及び合成鳥瞰図画像生成手段としての機能と、上記表示手段に、合成鳥瞰図画像生成手段が生成した合成鳥瞰図画像を表示させると共に、その表示画像の特定位置に自車両を表示させる表示制御手段としての機能と、をコンピュータに実現させるためのプログラムを、当該車載装置のコンピュータに実行させることで、車両周辺画像処理装置の一部機能を、プログラムにより、コンピュータに実現させることができる。
また、このようなプログラムは、請求項６に記載のように、例えばＦＤ、ＭＯ、ＤＶＤ、ＣＤ−ＲＯＭ、ハードディスク等のコンピュータ読取可能な記録媒体に記録し、必要に応じてコンピュータにロードして起動することにより用いることができる。この他、ＲＯＭやバックアップＲＡＭをコンピュータ読取可能な記録媒体としてプログラムを記録しておき、このＲＯＭ或いはバックアップＲＡＭをコンピュータに組み込んでもよい。
【００２１】
【発明の実施の形態】
以下、本発明の実施の形態を一層明確にするため、本発明の好適な実施例を図面とともに説明する。
［第１実施例］
本発明の第１実施例に係る車両周辺画像処理装置の概略構成を図１及び図２を用いて説明する。
【００２２】
図１に示すように、本実施例の車両周辺画像処理装置は、自動車の後部に配置されたカメラ（例えばＣＣＤカメラ）１と、カメラ１に内蔵されたレーザ発光装置２と、ダッシュボードに配置された車載モニタ（例えば液晶ディスプレイ）３と、車速を検出する車速センサ５と、ヨーレイトを検出するヨーレイトセンサ７と、画像処理を行う画像処理ユニット９とを備えている。
【００２３】
画像処理ユニット９は、図２に示すように、マイクロコンピュータを主要部とする画像データの処理を行う電子装置であり、カメラ１で撮影した画像データの座標変換を行って鳥瞰図画像を作成する鳥瞰図変換回路１１と、作成された鳥瞰図画像の画像データを一時的に蓄える画像メモリＡと、車速信号を入力する車速信号入力回路１３と、ヨーレイト信号を入力するヨーレイト信号入力回路１５と、車速信号及びヨーレイト信号を読み込んで鳥瞰図画像を移動（例えば回転移動）させる等の演算を行うＣＰＵ１７と、モニタ３に表示する鳥瞰図画像のデータを記憶する画像メモリＢとを備えている。
【００２４】
ここで、画像メモリＢに記憶する鳥瞰図画像の画像データとは、後述するように、前回（例えば時刻Ｔに）カメラ１にて撮影され、その画像データに基づいて作成された鳥瞰図画像（第１鳥瞰図画像）を移動させた鳥瞰図画像（移動後鳥瞰図画像）と、新たに（例えば時刻Ｔ＋１に）カメラ１にて撮影され、その画像データに基づいて作成された鳥瞰図画像（第２鳥瞰図画像）とを合成した鳥瞰図画像（合成鳥瞰図画像）の画像データ、及び、時刻Ｔ＋２以降では、第１鳥瞰図画像の代わりに前回の合成鳥瞰図画像を用いて作成された新たな合成鳥瞰図画像データである。
【００２５】
尚、画像処理ユニット９は、カメラ１と一体の構造となっていてもよく、画像処理ユニット９内の各構成は、一部又は全体で一体化してＬＳＩで構成してもよい。
次に、本実施例における画像処理の手順等を、図３〜図５に基づいて説明する。ここでは、車両を後退（バック）させて駐車枠内に入れる場合を例に挙げる。最初に、カメラ１から入力された画像を、鳥瞰図変換回路１１で上空から見た鳥瞰図画像に変換し、画像メモリＡに保存する手順を説明する。
【００２６】
まず、カメラ１から出力される原画像（出力画像）を図３（ａ）に示すが、この原画像は、車両の後部の上部に配置されたカメラ１により、地上に描かれた駐車枠及びその周囲を撮影した画像であるので、自車両（従ってカメラ１）と駐車枠の各線の位置との距離などに応じて、本来矩形である駐車枠が歪んで表示されている。
【００２７】
よって、後に詳述するように、原画像の画像データを座標変換して、図３（ｂ）に示すような歪みのない鳥瞰図画像を作成し、この鳥瞰図画像の画像データを画像メモリＡに記憶する。
次に、カメラ１で撮影された原画像を鳥瞰図画像に変換する手順を説明する。尚、この手順は、以下に説明するように、従来技術（例えば特開平１０−２１１８４９号公報）を利用できる。ここでは、通常の透視変換の逆の処理を行うことにより、地上平面における画像（例えば駐車枠）の位置を鳥瞰図として求める。
【００２８】
具体的には、図４に示すように、地上の画像の位置データをカメラ位置Ｒからの焦点距離ｆにあるスクリーン平面Ｓに投影するときの透視変換を実行する。
詳しくは、カメラ１は、Ｚ軸上の点Ｒ（０，０，Ｈ）に位置し、俯角（見下ろし角）τで地上面（ｘｙ座標面）における画像をモニタしているとする。
【００２９】
従って、ここでは、下記式（１）に示すようにして、スクリーン平面Ｓ（撮影画面）上の２次元座標（α、β）を、地上面上の座標（鳥瞰図座標）に変換（逆の透視変換）できる。
【００３０】
【数１】
0003900415.tif 000002
【００３１】
つまり、上記式（１）を用いることにより、投影画像データを（鳥瞰図画像を示す）モニタ３の画面に対応した画像データに変換してモニタ表示することができる。
そして本実施例では、上記俯角τとして、車両の障害物への乗り上げ等による変化をも反映したリアルタイムな値を用いて正確な鳥瞰変換処理を行う。
【００３２】
具体的には、図５左段に示すように、まず、車両が何ら問題なく平坦な道路上にある初期状態（車両の位置する路面がその途中から傾斜したり車両が障害物に乗り上げる等して車両が傾いたり、又は荷物の搭載や経年変化等により車両が傾いたりしていない状態）における俯角τの初期値τ０を内部メモリに記憶しておく。
【００３３】
そして、車両がこの初期状態となっている或る時刻Ｔにおいて、レーザ発光装置２から車両後方の路面に向けて赤色のレーザ光（波長約６７０ｎｍ）を照射し、カメラ１の撮影画面（上記スクリーン画面Ｓ）におけるこのレーザ光の路面への投影画像である赤色点（照射投影画像）の位置（初期位置）を検出する。この赤色点の検出は、投影画像中の路面がグレーの色をしているため、その中で赤色を検出する処理により行われる。その場合、車両の姿勢変化や路面の起伏等によって赤色点が撮影画面に存在しない（撮影画面から外れている）場合には、車両が通常考えにくい体勢にあるか或いは車両周辺画像処理装置の故障等の異常事態であると考えられるため、処理を中止する。
【００３４】
この赤色点の初期位置は、カメラ１の撮影画面における分解能に対応させて検出する。つまり、本実施例では撮影画面の中心を基準点とし、当該赤色点がそこから左右方向（Ｘ方向）及びに上下方向（Ｙ方向）にそれぞれ何ドットの位置にあるかを検出する。今仮に、赤色点の初期位置が（Ｘ０，Ｙ０）であると検出されたとする。
【００３５】
そして、例えば車両の後輪が或る障害物（石等）に乗り上げ、撮影画面上の赤色点の位置が相対的に移動し、時刻Ｔ＋１における赤色点の検出位置が（Ｘ０，Ｙ１）に変化したことが検出されると、この位置変化により車両の傾斜角の変化量（つまり俯角τの変化量）が算出され、俯角τのリアルタイム値が算出される。
【００３７】
そして、この俯角τを用いてカメラ１の撮影画像を上記式（１）を用いて鳥瞰変換して鳥瞰図画像を生成し、画像メモリＡに保存する。
次に、車速信号とヨーレイト信号を用い、車両の動き量（移動量）に応じて、前記画像メモリＡに記憶した鳥瞰図画像を移動（例えば回転移動）させる手順を説明する。
【００３８】
ここでは、図６に時刻Ｔの車両位置を示すが、時刻Ｔ＋１になるまでの車両の移動距離はＬ、時刻Ｔ＋１になるまでに車両が動いた角度はθ１（＝回転中心における回転角度θＣ）とする。
まず、カメラ１のサンプリング時間が１００[ｍｓ]の場合、車速信号から得られる車速Ｓ[ｋｍ／ｈ]を用いて、下記式（３）から、車両が移動した距離Ｌ[ｍ]を算出できる。
【００３９】
0003900415.tif 000003
また、図６に示す図形の関係があるので、ヨーレイト信号から得られるヨーレイトθ０[度／ｓ]を用いて、下記式（４）から、車両が動いた角度θ１を算出できる。
【００４０】
θ１[度]＝θ０[度／ｓ]×１００[ｍｓ]÷１０００[ｍｓ／ｓ]・・（４）
更に、ここでは、車両の回転中心は後輪車軸の延長線上にあるとしているので、その回転中心は、カメラ位置を原点として算出し、車両の進行方向をＹ、これに垂直な方向をＸとすると、Ｘ方向の回転中心位置ＸＣ[ｍ]は、下記式（５）から算出できる。
【００４１】
ＸＣ[ｍ]＝Ｌ[ｍ]÷ＴＡＮ（θ１）・・（５）
一方、Ｙ方向の中心位置は、後輪車軸上であるので、カメラ１と後輪車軸までの距離はＹＣ[ｍ]である。
また、回転中心における回転角度θＣは、図６に示す図形の関係から、車両が動いた角度θ１に一致する。
【００４２】
次に、上述したようにして求めた回転中心位置（ＸＣ、ＹＣ）、回転角度θＣを用いて、下記のようにして、鳥瞰図画像を移動する。
画像メモリＡに記憶された鳥瞰図画像の画像データは、最初だけ、画像メモリＢにも記憶される。従って、ここでは、画像メモリＢに記憶された鳥瞰図画像の画像データを、ＣＰＵ１７の内部メモリに転送し、前記回転中心位置（ＸＣ、ＹＣ）及び回転角度θＣを用いて、鳥瞰図画像を回転移動する。
【００４３】
この回転移動を行うための変換式を、下記式（６）に示すが、この変換式を用いたＣＰＵ１７の内部処理により、回転角度θにて移動させた移動後の座標（ＸＢ、ＹＢ）に対して、移動前の対応する点（ＸＡ、ＹＡ）を算出し、（ＸＡ、ＹＡ）の画素値を（ＸＢ、ＹＢ）のアドレスメモリに保存する。
ＸＡ＝ＸＢ・ＣＯＳθ＋ＹＢ・ＳＩＮθ ・・・（６）
ＹＡ＝ＹＢ・ＣＯＳθ−ＸＢ・ＳＩＮθ
但し、（ＸＡ、ＹＢ）：移動前の座標
（ＸＢ、ＹＢ）：移動後の座標
θ ：回転角度
そして、全ての座標についてこれらの演算を行うことにより、画像メモリＡに記憶された鳥瞰図画像（時刻Ｔにおける第１鳥瞰図画像）から、移動後の鳥瞰図画像（時刻Ｔにおける移動後鳥瞰図画像）を作成する。
【００４４】
それとともに、新たにカメラ１により撮影した画像に基づいて作成した鳥瞰図画像、即ち、現在の鳥瞰図画像（時刻Ｔ＋１における第２鳥瞰図画像）を、新たに画像メモリＡよりＣＰＵ１７に転送する。
よって、ＣＰＵ１７では、第２鳥瞰図画像を時刻Ｔと位置関係が対応する位置（移動後鳥瞰図画像との画像のずれが生じない位置）に書き込み、それによって、移動後鳥瞰図画像と第２鳥瞰図画像とを合成した合成鳥瞰図画像の画像データを作成し、その画像データを画像メモリＢに記憶する。時刻Ｔ＋２以降は、画像メモリＢの画像データを車両の動きとともに回転させ、新しい第２鳥瞰図画像を書き込んでいく。
【００４５】
尚、合成鳥瞰図画像を作成する際には、車両の位置やカメラ１の視野角の画像なども加入して画像メモリＢに記憶し、その合成鳥瞰図画像をモニタ３の画面に表示してもよいが、車両の位置やカメラ１の視野角の画像などは画像メモリＢに記憶せずに、モニタ３に画像メモリＢに記憶した合成鳥瞰図画像を描画する際に、車両の位置やカメラ１の視野角の画像など加えて描画してもよい。
【００４６】
次に、前記画像処理ユニット９等にて行われる処理を、図７のフローチャートに基づいて説明する。
図７に示すように、まず、ステップ１００にて、シフト位置がバックであるか否かを判定する。ここで肯定判断されるとステップ１１０に進み、一方否定判断されるとステップ１９０に進む。
【００４７】
尚、シフト位置は、シフト位置検出センサ（図示せず）からの信号や、他の電子制御装置からの信号により検出することができる。
ステップ１９０では、以前に描画したカメラ１の視野外の領域の画像を消去し、即ち、現在のカメラ１の画像（鳥瞰図画像）のみを表示し、前記ステップ１００に戻る。
【００４８】
一方、ステップ１１０では、カメラ１で撮影した画像の座標変換（前記鳥瞰図変換）を行って、鳥瞰図画像を作成する。
続くステップ１２０では、前記鳥瞰図画像を画像メモリＡに記憶する。尚、最初は、画像メモリＢにも同様な鳥瞰図画像を記憶する。
【００４９】
続くステップ１３０では、車速信号及びヨーレイト信号に基づいて、移動距離Ｌ及び回転角度θＣで示される車両の動き量（移動量）を求める。
続くステップ１４０では、車両の移動量に基づいて、前記画像メモリＢに記憶されている鳥瞰図画像（時刻Ｔの第１鳥瞰図画像）を移動させて、移動後の鳥瞰図画像（時刻Ｔの移動後鳥瞰図画像）を求める。
【００５０】
続くステップ１５０では、新たに撮影されて画像メモリＡに記憶された（時刻Ｔ＋１における）第２鳥瞰図画像を、画像メモリＡから読み込む。
続くステップ１６０では、移動後鳥瞰図画像と第２鳥瞰図画像とを合成して合成鳥瞰図画像を作成する。
【００５１】
具体的には、図８に示すように、新たな（第２鳥瞰図画像に対応する）カメラ視野の外に、今回の車両の移動によりカメラ視野外となった部分、即ち、第１鳥瞰図画像を車両の移動量に対応して移動させて形成した移動後鳥瞰図画像の一部（詳しくは第２鳥瞰図画像と重なる部分は除いたもの）を書き込むようにして、合成鳥瞰図画像を作成する。
【００５２】
尚、同図で車両は参考にために記載したものであり、実際には、例えばモニタ画面の描画の際に、車両を示す枠等を描画する。
続くステップ１７０では、合成鳥瞰図画像を、画像メモリＢに記憶する。
続くステップ１８０では、車両を示す画像や視野角を示す画像などを加味して、画像メモリＢに記憶した合成鳥瞰図画像をモニタ３に表示する。
【００５３】
続くステップ１９０では、シフト位置がバックであるか否かを判定する。ここで肯定判断されるとステップ２００に進み、一方否定判断されると一旦本処理を終了する。
ステップ２００では、画像メモリＢの合成鳥瞰図画像を第１鳥瞰図画像としてセットする。そして、ステップ１１０に戻り、上述したステップ１２０〜ステップ１９０の処理を繰り返す。
【００５４】
このように、本実施例では、カメラ１で撮影した画像を鳥瞰図画像に変換し、車両信号に基づいて車両の移動量を検出し、その車両の移動量に応じて鳥瞰図画像を移動させて移動後鳥瞰図画像を作成している。そして、移動後鳥瞰図画像と新たに読み込んだ鳥瞰図画像とを合成して合成鳥瞰図画像を作成し、その合成鳥瞰図画像に自車両及び視野角の画像を加えて、モニタ３の画面に表示している。
【００５５】
つまり、本実施例では、車両が移動する際にカメラ視野から外れた領域を推定し、合成することによって、通常はカメラ視野外となる表示できない部分も含めて表示することができるので、図９に示すように、自車両と駐車枠との位置関係が明瞭に把握できる。尚、同図では、車両が駐車枠に対して、回転移動した後に後方に直線的に移動する際に、本実施例の手法によって演算処理されたモニタ３の表示画面を、（ａ），（ｂ），（ｃ）と順を追って示している。
【００５６】
以上に説明したように、本実施例の車両周辺画像処理装置では、路面の起伏や車両への荷物の搭載、或いは車両の前輪又は後輪の障害物（石等）への乗り上げや車両の経年変化等によって車両が傾き、路面に対する撮影手段の俯角が変化しても、そのリアルタイムな検出値が鳥瞰図画像生成の際の演算処理に用いられる。このため、車両の現状に応じて正確な鳥瞰図画像を生成することができる。その結果、従来のように合成鳥瞰図画像の歪みが大きくなる等の問題を防止することができる。
【００５７】
尚、本実施例において、カメラ１が撮影手段に該当し、画像処理ユニット９が鳥瞰図画像生成手段及び合成鳥瞰図画像生成手段に該当し、さらにモニタ３が表示手段に該当する。また、カメラ１，レーザ発光装置２，及び画像処理ユニット９が俯角検出手段及び傾斜角変化量検出手段に該当し、そのうちレーザ発光装置２が照射手段に該当し、画像処理ユニット９が位置検出手段に該当する。
［第２実施例］
次に、本発明の第２実施例に係る車両周辺画像処理装置について説明する。
【００５８】
上記第１実施例では、カメラ１の俯角τのリアルタイム値を求めるために、カメラ１にレーザ発光装置２を内蔵した構成を示したが、本実施例では、このレーザ発光装置２のようなハード構成を追加装備しなくても俯角τのリアルタイム値を求められる構成を示す。尚、車両周辺画像処理装置としての主たる構成の大部分については、上記第１実施例の構成と同様であるため、同様の構成部分については同一の符号を示し、その説明を省略する。
【００５９】
図１０に示すように、本実施例の車両周辺画像処理装置では、傾斜角信号を入力する傾斜角信号入力回路１２（傾斜角センサ）の信号を用いて俯角τを算出する。この傾斜角信号入力回路１２は、車両制御のために車両のピッチ角を検出するものであり、本実施例では、車両に搭載されそのヘッドライトの光軸角度を適正な角度に自動調整する装置に用いられるハイトセンサにより構成されている。
【００６０】
そして、車両が初期状態にあるときに予め検出した俯角の初期値τ０と、ハイトセンサが検出したピッチ角の初期値θh0と現在値θhtとのずれとに基づいて、俯角τのリアルタイム値を検出する。尚、ここでいう「初期状態」及び「俯角の初期値」については上記第１実施例と同様である。また、「ピッチ角の初期値」とは、車両が初期状態にあるときにハイトセンサが検出したピッチ角を意味する。
【００６１】
具体的には、下記式（７）により俯角τが算出される。
τ＝τ０＋（θht−θh0）・・・（７）
そして、このとき得られた俯角τを用いて上記第１実施例の上記式（１）を用いて同様の鳥瞰変換処理を行う。
【００６２】
かかる構成によれば、車両に既存のハイトセンサを用いるため、第１実施例のようなレーザ発光装置２のようなハード構成を追加装備しなくても俯角τのリアルタイム値を求められる。このため、第１実施例と同様に車両の現状に応じた正確な鳥瞰図画像を生成することができるとともに、車両周辺画像処理装置を低コストに製造することができる。
【図面の簡単な説明】
【図１】  本発明の第１実施例に係る車両周辺画像処理装置の主要構成を示す説明図である。
【図２】  第１実施例の車両周辺画像処理装置の電気的構成を示す説明図である。
【図３】  第１実施例の車両周辺画像処理装置により用いられる画像を示し、（ａ）はカメラの撮影画面に表れた撮影画像を示し、（ｂ）は鳥瞰図画像を示す説明図である。
【図４】  第１実施例の車両周辺画像処理装置による座標変換の際の位置関係を示す説明図である。
【図５】  第１実施例の車両周辺画像処理装置による俯角の算出方法を示す説明図である。
【図６】  第１実施例の車両周辺画像処理装置による車両の移動量を求めるための手法を示す説明図である。
【図７】  第１実施例の車両周辺画像処理装置の処理を示すフローチャートである。
【図８】  第１実施例の車両周辺画像処理装置による画像作成の手順を示す説明図である。
【図９】  第１実施例の車両周辺画像処理装置により表示されるモニタ画像を示す説明図である。
【図１０】  本発明の第２実施例に係る車両周辺画像処理装置の主要構成を示す説明図である。
【符号の説明】
１・・・カメラ、  ２・・・レーザ発光装置、  ３・・・モニタ、
５・・・車速センサ、  ７・・・ヨーレイトセンサ、
９・・・画像処理ユニット
【図１】
0003900415.tif 000004
【図２】
0003900415.tif 000005
【図３】
0003900415.tif 000006
【図４】
0003900415.tif 000007
【図５】
0003900415.tif 000008
【図６】
0003900415.tif 000009
【図７】
0003900415.tif 000010
【図８】
0003900415.tif 000011
【図９】
0003900415.tif 000012
【図１０】
0003900415.tif 000013