(57)【要約】【課題】カメラの視野外に出た部分を描画すると共に、演算処理負担を軽減できる車両周辺画像処理装置及び記録媒体を提供する。【解決手段】ステップ１１０では、カメラ１で撮影した画像の座標変換を行い鳥瞰図画像を作成する。ステップ１２０では、鳥瞰図変換を画像メモリＡに記憶する。ステップ１３０では、車速信号及びヨーレイト信号に基づき車両の移動量を求める。ステップ１４０では、車両の移動量に基づき画像メモリＢに記憶中の鳥瞰図画像を移動させて移動後鳥瞰図画像を求める。ステップ１５０では、新たな第２鳥瞰図画像を画像メモリＡから読み込む。ステップ１６０では、移動後鳥瞰図画像と第２鳥瞰図画像とを合成して合成鳥瞰図画像を作成する。ステップ１７０では、合成鳥瞰図画像を画像メモリＢに記憶する。ステップ１８０では、画像メモリＢの合成鳥瞰図画像を、車両を示す画像とカメラ１の視野角を示す画像と共にモニタ５に表示する。【選択図】図７
2006252577.tif 000002
【特許請求の範囲】
【請求項１】
車両周辺の画像を撮影する撮影手段と、画像を表示する表示手段とを備えた車両に対して、前記撮影手段により撮影された画像を処理して前記表示手段に表示する車両周辺画像処理装置において、
前記撮影手段により撮影した画像に基づいて、その鳥瞰図画像を作成する鳥瞰図画像作成手段と、
前記車両の動き量を、前記車両から得られる車両信号に基づいて検出する車両動き量検出手段と、
前記車両動き量検出手段により検出した車両の動き量に基づいて、前記鳥瞰図画像作成手段により作成された第１鳥瞰図画像を移動させて、移動後鳥瞰図画像を作成する鳥瞰図画像移動手段と、
前記第１鳥瞰図画像より後に撮影されて作成された第２鳥瞰図画像と、前記移動後鳥瞰図画像とを合成して、前記表示手段に表示する合成鳥瞰図画像を作成する合成鳥瞰図画像作成手段と、
前記合成鳥瞰図画像作成手段により作成した合成鳥瞰図画像と車両を示す画像と前記撮像手段の視野角を示す画像を前記表示手段に表示する手段と
を備えたことを特徴とする車両周辺画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば車両の周辺を撮影してモニタに表示できる車両周辺画像処理装置及び記録媒体に関するものである。
【背景技術】
【０００２】
従来より、車両の後方の様子を表示する装置として、車両の後部に取り付けたカメラの画像を、そのままモニタに出力する表示装置が知られている。この表示装置では、車両後方の状態が有る程度分かるが、自車両とモニタに表示されている対象物（例えば駐車枠）の画像の相対位置関係が分かりに難いという問題がある。
【０００３】
また、これとは別に、特開平１０−２１１８４９号公報には、後方カメラで撮影した画像（後方カメラ画像）を鳥瞰図に変換し、自車両をその中に表示するという技術が提案されている。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
この技術の場合には、鳥瞰図の中に自車両を示すので、画像に表示された対象物と自車両の位置関係は、撮影した画像をそのままモニタに表示するものより分かり易くなっているが、カメラの現在の視野の外にあるものは表示できないという別の問題があった。
【０００５】
そのため、例えば車両を後退させて駐車枠に入れるような場合には、カメラの視野外に出た駐車枠を表示できないので、依然として、車両を駐車枠に入れる操作が容易ではないという問題があった。これに対して、既に本願発明者らにより、車両後部に取り付けたカメラから、車両後方の画像を撮影し、画像処理でこれらを上から見た鳥瞰画像に変換し、変換した画像の時間的変化から車両の動きを算出して、カメラの視野外に消えて行く画像領域を算出し、更に現時刻の変換画像を貼り付けて、従来より広い範囲を表示する技術が開発されている。
【０００６】
この技術は、それ以前の技術よりも優れているものであるが、画像処理のための演算は膨大なものであるので、演算処理の負担の軽減など、一層の改善が望まれている。本発明は、前記課題を解決するためになされたものであり、例えばカメラの視野の外に出た部分を推定して描画することができるとともに、その演算処理の負担を軽減することができる車両周辺画像処理装置及び記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００７】
（１）請求項１の発明は、車両周辺の画像を撮影する撮影手段（例えばカメラ）と、画像を表示する表示手段（例えばモニタ）とを備えた車両に対して、撮影手段により撮影された画像を処理して表示手段に表示する車両周辺画像処理装置に関するものである。
【０００８】
本発明では、撮影手段により撮影した画像を、例えば撮影手段を視点として投影した地上面座標系のデータに変換して鳥瞰図画像の画像データを順次作成する。即ち、第１鳥瞰図画像及びそれより後の画像である第２鳥瞰図画像等の画像データを作成する。これにより、画像は、例えばカメラで撮影したままの歪んだ画像ではなく、地面の上方より見たような見やすい鳥瞰図画像となる。
【０００９】
更に、本発明では、車両の動き量（移動量）を、車両から得られる車両信号（例えば車速信号やヨーレイト信号）に基づいて検出する。この検出した車両の動き量は、第１鳥瞰図画像の動き量に対応しているので、車両の動き量に応じて第１鳥瞰図画像を移動させて移動後鳥瞰図画像の画像データを作成する。
【００１０】
そして、（第１鳥瞰図画像より）新しい第２鳥瞰図画像の画像データと、移動後鳥瞰図画像の画像データとを合成して、表示手段に表示する合成鳥瞰図画像の画像データを作成する。つまり、車両が移動するにつれて、例えばカメラの視野が変化するので、当然、撮影した時間が異なる第１鳥瞰図画像と第２鳥瞰図画像では、画像のずれ（撮影された部分の違い）が発生する。そこで、本発明では、第２鳥瞰図画像に、そのずれの部分（即ち過去に視野内であったが現在視野から消えている部分）の移動後鳥瞰図画像を適宜加味することにより、モニタ等にカメラの視野から消えた部分を表示でき、それによって、車両の周囲の状況をより明確に把握することができる。
【００１１】
この様に、本発明では、例えばカメラの現在の視野から外れた領域を表示できるので、例えばバックで駐車する場合に、その操作が極めて容易になるという効果を奏する。特に、本発明では、画像の時間的変化から車両の動きを算出して移動後鳥瞰図画像を作成するのではなく、車両信号を用いて移動後鳥瞰図画像を作成するので、画像処理のための演算等を簡易化できるという利点がある。
【００１２】
また、本発明では、合成鳥瞰図画像作成手段により作成した合成鳥瞰図画像と車両を示す画像と撮像手段の視野角を示す画像を表示手段に表示するようにしている。通常、撮像手段（カメラ）の視野角は一定である。そのため、自車両だけでなく、モニタの画面に、撮像手段の視野角（左右の範囲）も表示するのがよい。
【００１３】
以上本発明によれば、マイクロコンピュータ等の負担が軽減するので、全体として処理速度を高めることができる。また、演算処理能力の低いマイクロコンピュータでも処理が可能になるので、コストダウンにも寄与する。
【発明を実施するための最良の形態】
【００１４】
以下に、本発明の車両周辺画像処理装置及び記録媒体の実施の形態の例（実施例）を説明する。
【００１５】
（実施例）
ａ）本実施例の基本的なシステム構成を図１及び図２を用いて説明する。
【００１６】
図１に示す様に、本実施例の車両周辺画像処理装置は、自動車の後部に配置されたカメラ（例えばＣＣＤカメラ）１と、ダッシュボードに配置された車載モニタ（例えば液晶ディスプレイ）３と、車速を検出する車速センサ５と、ヨーレイトを検出するヨーレイトセンサ７と、画像処理を行う画像処理ユニット９を備えている。
【００１７】
前記画像処理ユニット９は、図２に示す様に、マイクロコンピュータを主要部とする画像データの処理を行う電子装置であり、カメラ１で撮影した画像データの座標変換を行って鳥瞰図画像を作成する座標変換部（鳥瞰図変換回路）１１と、作成された鳥瞰図画像の画像データを一時的に蓄える画像メモリＡと、車速信号を入力する車速信号入力回路１３と、ヨーレイト信号を入力するヨーレイト信号入力回路１５と、車速信号及びヨーレイト信号を読み込んで鳥瞰図画像を移動（例えば回転移動）させる等の演算を行うＣＰＵ１７と、モニタ３に表示する鳥瞰図画像のデータを記憶する画像メモリＢとを備えている。
【００１８】
ここで、画像メモリＢに記憶する鳥瞰図画像の画像データとは、後述する様に、前回（例えば時刻Ｔに）カメラ１にて撮影され、その画像データに基づいて作成された鳥瞰図画像（第１鳥瞰図画像）を移動させた鳥瞰図画像（移動後鳥瞰図画像）と、新たに（例えば時刻Ｔ＋１に）カメラ１にて撮影され、その画像データに基づいて作成された鳥瞰図画像（第２鳥瞰図画像）とを合成した鳥瞰図画像（合成鳥瞰図画像）の画像データである。
【００１９】
尚、画像処理ユニット３は、カメラ１と一体の構造となっていてもよく、画像処理ユニット９内の各構成は、一部又は全体で一体化してＬＳＩで構成してもよい。
【００２０】
ｂ）次に、本実施例における画像処理の手順等を、図３〜図５に基づいて説明する。
【００２１】
ここでは、車両を後退（バック）させて駐車枠内に入れる場合を例に挙げる。
【００２２】
（Ａ）最初に、カメラ１から入力された画像を、鳥瞰図変換回路１１で上空から見た鳥瞰図画像に変換し、画像メモリＡに保存する手順を説明する。まず、カメラ１から出力される原画像（出力画像）を、図３（ａ）に示すが、この原画像は、車両の後部の上部に配置されたカメラ１により、地上に描かれた駐車枠及びその周囲を撮影した画像であるので、自車両（従ってカメラ１）と駐車枠の各線の位置との距離などに応じて、本来矩形である駐車枠が歪んで表示されている。
【００２３】
よって、後に（Ｂ）にて詳述する様に、原画像の画像データを座標変換して、図３（ｂ）に示す様な歪みのない鳥瞰図画像を作成し、この鳥瞰図画像の画像データを画像メモリＡに記憶する。
【００２４】
（Ｂ）次に、前記カメラ１で撮影された原画像を鳥瞰図画像に変換する手順を説明する。尚、この手順は、以下に説明する様に、従来技術（例えば特開平１０−２１１８４９号公報）を利用できる。
【００２５】
ここでは、通常の透視変換の逆の処理を行うことにより、地上平面における画像（例えば駐車枠）の位置を鳥瞰図として求める。具体的には、図４に示す様に、地上の画像の位置データをカメラ位置Ｒからの焦点距離ｆにあるスクリーン平面Ｔに投影するときの透視変換を実行する。
【００２６】
詳しくは、カメラ１は、Ｚ軸上の点Ｒ（０，０，Ｈ）に位置し、見下ろし角τで地上面（ｘｙ座標面）における画像をモニタしているとする。従って、ここでは、下記式（１）に示す様にして、スクリーン平面Ｔ上の２次元座標（α、β）を、地上面上の座標（鳥瞰図座標）に変換（逆の透視変換）できる。
［数１］
2006252577.tif 000003
つまり、上記式（１）を用いることにより、投影画像データを（鳥瞰図画像を示す）モニタ５の画面に対応した画像データに変換してモニタ表示することができる。
【００２７】
（Ｃ）次に、車速信号とヨーレイト信号を用い、車両の動き量（移動量）に応じて、前記画像メモリＡに記憶した鳥瞰図画像を移動（例えば回転移動）させる手順を説明する。
【００２８】
ここでは、図５に時刻Ｔの車両位置を示すが、時刻Ｔ＋１になるまでの車両の移動距離はＬ、時刻Ｔ＋１になるまでに車両が動いた角度はθ１（＝回転中心における回転角度θＣ）とする。
【００２９】
・まず、カメラ１のサンプリング時間が１００［ｍｓ］の場合、車速信号から得られる車速Ｓ［ｋｍ／ｈ］を用いて、下記式（２）から、車両が移動した距離Ｌ［ｍ］を算出できる。
【００３０】
Ｌ［ｍ］＝Ｓ［ｋｍ／ｈ］×１０００［ｍ／ｋｍ］÷３６００［Ｓ／ｈ］×１００［ｍｓ］÷１０００［ｍｓ／ｓ］・・・（２）
また、図５に示す図形の関係があるので、ヨーレイト信号から得られるヨーレイトθ０［度／ｓ］を用いて、下記式（３）から、車両が動いた角度θ１を算出できる。
【００３１】
θ１［度］＝θ０［度／ｓ］×１００［ｍｓ］÷１０００［ｍｓ／ｓ］・・・（３）
更に、ここでは、車両の回転中心は後輪車軸の延長線上にあるとしているので、その回転中心は、カメラ位置を原点として算出し、車両の進行方向をＹ、これに垂直な方向をＸとすると、Ｘ方向の回転中心位置ＸＣ［ｍ］は、下記式（４）から算出できる。
【００３２】
ＸＣ［ｍ］＝Ｌ［ｍ］÷ＴＡＮ（θ１）・・・（４）
一方、Ｙ方向の中心位置は、後輪車軸上であるので、カメラ１と後輪車軸までの距離はＹＣ［ｃｍ］である。また、回転中心における回転角度θＣは、図５に示す図形の関係から、車両が動いた角度θ１に一致する。
【００３３】
・次に、上述した様にして求めた回転中心位置（ＸＣ、ＹＣ）、回転角度θＣを用いて、下記の様にして、鳥瞰図画像を移動する。画像メモリＡに記憶された鳥瞰図画像の画像データは、一旦、画像メモリＢにも記憶される。従って、ここでは、画像メモリＢに記憶された鳥瞰図画像の画像データを、ＣＰＵ１７の内部メモリに転送し、前記回転中心位置（ＸＣ、ＹＣ）及び回転角度θＣを用いて、鳥瞰図画像を回転移動する。
【００３４】
この回転移動を行うための変換式を、下記式（５）に示すが、この変換式を用いたＣＰＵ１７の内部処理により、回転角度θにて移動させた移動後の座標（ＸＢ、ＹＢ）に対して、移動前の対応する点（ＸＡ、ＹＡ）を算出し、（ＸＡ、ＹＡ）の画素値を（ＸＢ、ＹＢ）のアドレスメモリに保存する。
【００３５】
ＸＡ＝ＸＢ・ＣＯＳθ＋ＹＢ・ＳＩＮθ        ・・・（４）
ＹＡ＝ＹＢ・ＣＯＳθ−ＸＢ・ＳＩＮθ
但し、（ＸＡ、ＹＢ）：移動前の座標
（ＸＢ、ＹＢ）：移動後の座標
θ            ：回転角度
・そして、全ての座標についてこれらの演算を行うことにより、画像メモリＡに記憶された鳥瞰図画像（時刻Ｔにおける第１鳥瞰図画像）から、移動後の鳥瞰図画像（時刻Ｔにおける移動後鳥瞰図画像）を作成する。
【００３６】
それとともに、新たにカメラ１により撮影した画像に基づいて作成した鳥瞰図画像、即ち、現在の鳥瞰図画像（時刻Ｔ＋１における第２鳥瞰図画像）を、新たに画像メモリＡよりＣＰＵ１７に転送する。よって、ＣＰＵ１７では、第２鳥瞰図画像を時刻Ｔと位置関係が対応する位置（移動後鳥瞰図画像との画像のずれが生じない位置）に書き込み、それによって、移動後鳥瞰図画像と第２鳥瞰図画像とを合成した合成鳥瞰図画像の画像データを作成し、その画像データを画像メモリＢに記憶する。
【００３７】
尚、合成鳥瞰図画像を作成する際には、自車両の位置やカメラ１の視野角の画像なども加入して画像メモリＢに記憶し、その合成鳥瞰図画像をモニタ５の画面に表示してもよいが、自車両の位置やカメラ１の視野角の画像などは画像メモリＢに記憶せずに、モニタ５に画像メモリＢに記憶した合成鳥瞰図画像を描画する際に、自車両の位置やカメラ１の視野角の画像など加えて描画してもよい。
【００３８】
ｃ）次に、前記画像処理ユニット５等にて行われる処理を、図６のフローチャートに基づいて説明する。図６に示す様に、まず、ステップ１００にて、シフト位置がバックであるか否かを判定する。ここで肯定判断されるとステップ１１０に進み、一方否定判断されるとステップ１９０に進む。
【００３９】
尚、シフト位置は、シフト位置検出センサ（図示せず）からの信号や、他の電子制御装置からの信号により検出することができる。ステップ１９０では、以前に描画したカメラ１の視野外の領域の画像を消去し、即ち、現在のカメラ１の画像（鳥瞰図画像）のみを表示し、前記ステップ１００に戻る。
【００４０】
一方、ステップ１１０では、カメラ１で撮影した画像の座標変換（前記鳥瞰図変換）を行って、鳥瞰図画像を作成する。続くステップ１２０では、前記鳥瞰図画像を画像メモリＡに記憶する。尚、このときには、画像メモリＢにも同様な鳥瞰図画像を記憶する。
【００４１】
続くステップ１３０では、車速信号及びヨーレイト信号に基づいて、移動距離Ｌ及び回転角度θＣで示される車両の動き量（移動量）を求める。続くステップ１４０では、車両の移動量に基づいて、前記画像メモリＢに記憶されている鳥瞰図画像（時刻Ｔの第１鳥瞰図画像）を移動させて、移動後の鳥瞰図画像（時刻Ｔの移動後鳥瞰図画像）を求める。
【００４２】
続くステップ１５０では、新たに撮影されて画像メモリＡに記憶された（時刻Ｔ＋１における）第２鳥瞰図画像を、画像メモリＡから読み込む。続くステップ１６０では、移動後鳥瞰図画像と第２鳥瞰図画像とを合成して合成鳥瞰図画像を作成する。
【００４３】
具体的には、図７に示す様に、新たな（第２鳥瞰図画像に対応する）カメラ視野の外に、今回の車両の移動によりカメラ視野外となった部分、即ち、第１鳥瞰図画像を車両の移動量に対応して移動させて形成した移動後鳥瞰図画像の一部（詳しくは第２鳥瞰図画像と重なる部分は除いたもの）を書き込むようにして、合成鳥瞰図画像を作成する。
【００４４】
尚、同図で車両は参考のために記載したものであり、実際には、例えばモニタ画面の描画の際に、車両を示す枠等を描画する。続くステップ１７０では、合成鳥瞰図画像を、画像メモリＢに記憶する。続くステップ１８０では、車両を示す画像や視野角を示す画像などを加味して、画像メモリＢに記憶した合成鳥瞰図画像をモニタ５に表示し、一旦本処理を終了する。
【００４５】
ｄ）この様に、本実施例では、カメラ１で撮影した画像を鳥瞰図画像に変換し、車両信号に基づいて車両の移動量を検出し、その車両の移動量に応じて鳥瞰図画像を移動させて移動後鳥瞰図画像を作成している。そして、移動後鳥瞰図画像と新たに読み込んだ鳥瞰図画像とを合成して合成鳥瞰図画像を作成し、その合成鳥瞰図画像に自車両及び視野角の画像を加えて、モニタ５の画面に表示している。
【００４６】
つまり、本実施例では、車両が移動する際にカメラ視野から外れた領域を推定し、合成することによって、通常はカメラ視野外となり表示できない部分も含めて表示することができるので、図８に示す様に、自車両と駐車枠との位置関係が明瞭に把握できる。そのため、バックで駐車する操作などが、極めて容易になるという顕著な効果を奏する。
【００４７】
尚、前記図８では、車両が駐車枠に対して、回転移動した後に後方に直線的に移動する際に、本実施例の手法によって演算処理されたモニタ３の表示画面を、（ａ）、（ｂ）、（ｃ）と順を追って示している。特に本実施例では、例えば第１及び第２鳥瞰図画像の画像の時間的変化から車両の動きを算出して移動後鳥瞰図画像を作成するのではなく、車速センサ５やヨーレイトセンサ７によって得られた車両信号を用いて移動後鳥瞰図画像を作成するので、その演算処理が容易であるという利点がある。
【００４８】
つまり、多くの演算処理が必要な画像のマッチングなどによる画像処理を省略できるので、演算処理の負担が軽減され、速やかに必要な画像をモニタ３に表示することができる。よって、マイクロコンピュータ等の負担が軽減するので、全体として処理速度を高めることができる。また、演算処理能力の低いマイクロコンピュータでも処理が可能になるので、コストダウンにも寄与する。
【００４９】
尚、本発明は前記実施例になんら限定されるものではなく、本発明を逸脱しない範囲において種々の態様で実施しうることはいうまでもない。
【００５０】
（１）例えば前記実施例では、シフト位置をバックで検出して処理を開始しているが、駐車時の切り返し運転による車両の前進時でも処理するため、車速信号で処理の開始・継続を決定してもよい。
【００５１】
例えば、時速が１０ｋｍ／ｈで処理を開始し、この間は処理を実行して鳥瞰図画像を表示するなどである。これにより、切り返しでシフト位置が変化しても、鳥瞰図画像がリセットされることなく継続して表示できる。
【００５２】
（２）更に、本発明のその他の応用例として、車両の前方を撮像するカメラによって、視野外となる車体近傍の合成鳥瞰図画像を表示し、狭い道などでのすり抜けの可否を判断する情報を提供することもできる。
【００５３】
（３）また、例えば前記実施例では、車両周辺画像処理装置について述べたが、この装置による処理を実行させる手段を記憶している記録媒体も、本発明の範囲である。例えば記録媒体としては、マイクロコンピュータとして構成される電子制御装置、マイクロチップ、フロッピィディスク、ハードディスク、光ディスク等の各種の記録媒体が挙げられる。
【００５４】
つまり、上述した車両周辺画像処理装置の処理を実行させることができる例えばプログラム等の手段を記憶したものであれば、特に限定はない。
【図面の簡単な説明】
【００５５】
【図１】実施例の車両周辺画像処理装置の主要構成を示す説明図である。
【図２】実施例の車両周辺画像処理装置の電気的構成を示す説明図である。
【図３】実施例の車両周辺画像処理装置により用いられる画像を示し、（ａ）はカメラにより撮影された画像の説明図、（ｂ）は鳥瞰図画像を示す説明図である。
【図４】実施例の車両周辺画像処理装置による座標変換の際の位置関係を示す説明図である。
【図５】実施例の車両周辺画像処理装置による車両の移動量を求めるための手法を示す説明図である。
【図６】実施例の車両周辺画像処理装置の処理を示すフローチャートである。
【図７】実施例の車両周辺画像処理装置のよる画像作成の手順を示す説明図である。
【図８】実施例の車両周辺画像処理装置により表示されるモニタ画像を示す説明図である。
【符号の説明】
【００５６】
１…カメラ
３…車載モニタ（モニタ）
５…車速センサ
７…ヨーレイトセンサ
９…画像処理ユニット
【図１】
2006252577.tif 000004
【図２】
2006252577.tif 000005
【図３】
2006252577.tif 000006
【図４】
2006252577.tif 000007
【図５】
2006252577.tif 000008
【図６】
2006252577.tif 000009
【図７】
2006252577.tif 000010
【図８】
2006252577.tif 000011