(57)【要約】【課題】  自車両の周囲環境を撮像した映像を切り換える場合に、切り換え後の映像から自車両の周囲環境をすぐに理解できるようにする。【解決手段】  自車両に搭載され、自車両周辺を撮像して実映像を出力する実撮像手段と、実撮像手段による実映像を任意の位置と向きに設定した仮想撮像手段による仮想映像に変換する画像処理手段と、実撮像手段の実映像または画像処理手段の仮想映像を表示する表示手段とを備え、画像処理手段によって、表示手段の表示映像を第１の実映像または仮想映像から第２の実映像または仮想映像に切り換える途中に、第１の実映像または仮想映像を撮像した位置および向きと第２の実映像または仮想映像を撮像した位置および向きとの中間の位置および向きから見た補間仮想映像を生成し、表示手段に表示する。【選択図】  図１２
2006171849.tif 000002
【特許請求の範囲】
【請求項１】
自車両に搭載され、自車両周辺を撮像して実映像を出力する実撮像手段と、
前記実撮像手段による実映像を任意の位置と向きに設定した仮想撮像手段による仮想映像に変換する画像処理手段と、
前記実撮像手段の実映像または前記画像処理手段の仮想映像を表示する表示手段とを備えた画像処理装置であって、
前記画像処理手段は、前記表示手段の表示映像を第１の実映像または仮想映像から第２の実映像または仮想映像に切り換える途中に、前記第１の実映像または仮想映像を撮像した位置および向きと前記第２の実映像または仮想映像を撮像した位置および向きとの中間の位置および向きから見た補間仮想映像を生成し、前記表示手段に表示することを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記画像処理手段は、前記表示手段の表示映像を前記第１の実映像または仮想映像から前記第２の実映像または仮想映像に切り換える途中に、前記第１の実映像または仮想映像を撮像した位置および向きから前記第２の実映像または仮想映像を撮像した位置および向きに至るまでの中間の複数の位置および向きから見た複数の補間仮想映像を生成し、それらを順に切り換えて前記表示手段に表示することを特徴とする画像処理装置。
【請求項３】
請求項１または請求項２に記載の画像処理装置において、
前記画像処理手段は、前記表示手段の表示映像を前記第１の実映像または仮想映像から前記第２の実映像または仮想映像に切り換える途中に、前記実撮像手段および前記仮想撮像手段の撮影レンズの光学特性を連続的に変化させることを特徴とする画像処理装置。
【請求項４】
請求項１〜３のいずれか１項に記載の画像処理装置において、
前記画像処理手段は、複数の前記実撮像手段または前記仮想撮像手段の映像を合成して実映像または仮想映像を生成し、前記表示手段に表示することを特徴とする画像処理装置。
【請求項５】
請求項４に記載の画像処理装置において、
前記画像処理手段は、複数の前記実撮像手段または前記仮想撮像手段の合成映像から、自車両の上空の位置から自車両の向きに設定された単一の前記仮想撮像手段Ａの仮想映像に切り換える途中に、前記仮想撮像手段Ａよりも自車両に近接する位置から自車両の向きに設定された単一の前記仮想撮像手段Ｂの補間仮想映像を生成し、前記表示手段に表示することを特徴とする画像処理装置。
【請求項６】
請求項４または請求項５に記載の画像処理装置において、
複数の前記実撮像手段または前記仮想撮像手段の合成映像から単一の前記実撮像手段または前記仮想撮像手段の映像に切り換える場合には、前記単一の前記実撮像手段または前記仮想撮像手段の位置および向きを、前記合成映像を撮像する前記複数の前記実撮像手段または前記仮想撮像手段の位置および向きの平均値とすることを特徴とする画像処理装置。
【請求項７】
請求項１〜６のいずれかの項に記載の画像処理装置において、
前記画像処理手段は、自車両に近接した位置に自車両の向きに設定した前記仮想撮像手段Ｃの仮想映像を表示する場合には、まず前記仮想撮像手段Ｃよりも自車両から遠い位置に自車両の向きに設定した前記仮想撮像手段Ｄの仮想映像を表示し、次に前記仮想撮像手段Ｄと前記仮想撮像手段Ｃとの中間の位置と向きに設定された前記仮想撮像手段Ｅの補間仮想映像を表示した後、前記仮想撮像手段Ｃの仮想映像を表示することを特徴とする画像処理装置。
【請求項８】
請求項１〜７のいずれかの項に記載の画像処理装置において、
前記画像処理手段は、前記補間仮想映像を撮像するための前記仮想撮像手段の位置と向きから見た自車両の概略図を前記補間仮想映像に重畳して前記表示手段に表示することを特徴とする画像処理装置。
【請求項９】
請求項１〜７のいずれかの項に記載の画像処理装置において、
前記画像処理手段は、路面に等間隔に設定されたグリッドライン（格子線）を前記補間仮想映像を撮像するための前記仮想撮像手段の位置と向きから見たグリッドラインに変換し、前記補間仮想映像に重畳して前記表示手段に表示することを特徴とする画像処理装置。
【請求項１０】
請求項１〜７のいずれかの項に記載の画像処理装置において、
前記画像処理手段は、前記補間仮想映像を撮像するための前記仮想撮像手段の位置と向きから見た自車両の概略図を前記補間仮想映像に代えて前記表示手段に表示することを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載カメラにより撮像した映像を処理して仮想カメラによる映像に変換する画像処理装置に関する。
【背景技術】
【０００２】
車載カメラにより撮像した映像を処理して仮想カメラによる映像に変換し、自車位置および駐車位置を示すアイコンを重畳表示して後退駐車を支援する装置が知られている（例えば、特許文献１参照）。
【０００３】
この出願の発明に関連する先行技術文献としては次のものがある。
【特許文献１】特開２００３−１１８５２２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の装置では、実カメラの映像や仮想カメラの映像をいきなり切り換えると、切り換わり後の映像上の自車両周囲の物体と、元の映像上の自車両周囲の物体、あるいは実際の自車両周囲の物体との対応関係や位置関係を直ちに運転者に認識させるのが困難である、という問題がある。
【課題を解決するための手段】
【０００５】
自車両に搭載され、自車両周辺を撮像して実映像を出力する実撮像手段と、実撮像手段による実映像を任意の位置と向きに設定した仮想撮像手段による仮想映像に変換する画像処理手段と、実撮像手段の実映像または画像処理手段の仮想映像を表示する表示手段とを備えた画像処理装置であって、画像処理手段は、表示手段の表示映像を第１の実映像または仮想映像から第２の実映像または仮想映像に切り換える途中に、第１の実映像または仮想映像を撮像した位置および向きと第２の実映像または仮想映像を撮像した位置および向きとの中間の位置および向きから見た補間仮想映像を生成し、表示手段に表示する。
【発明の効果】
【０００６】
本発明によれば、自車両の周囲環境を撮像した映像を切り換える場合に、切り換え後の映像から自車両の周囲環境をすぐに理解できるようにする。
【発明を実施するための最良の形態】
【０００７】
《発明の第１の実施の形態》
図１は一実施の形態の構成を示す図である。この一実施の形態では４台のカメラ１〜４を自車両に搭載し、自車両周囲の実映像を撮像する。図２に４台のカメラ１〜４の設置位置（視点）と向きすなわち撮影レンズの光軸の方向（視線方向）のベクトルを示す。前方カメラ１は車両左右中央のフェンダー前端に設置され、図３に示すように自車両前方の路面を見下ろした映像を撮像する。右側方カメラ２は車両右側方のフェンダーに設置され、図４に示すように自車両右側方の路面を見下ろした映像を撮像する。左側方カメラ３は車両左側方のフェンダーに設置され、図５に示すように自車両左側方の路面を見下ろした映像を撮像する。後方カメラ４は車両左右中央のルーフ後端あるいはトランクリッド後端に設置され、図６に示すように自車両後方の路面を見下ろした映像を撮像する。なお、この一実施の形態では水平画角が約１８０度の広角レンズを搭載したカメラを例に上げて説明する。
【０００８】
画像処理装置５はＣＰＵとメモリやＡ／Ｄコンバーターなどの周辺部品を備え、カメラ１〜４による撮像映像に対する歪曲の補正、拡大、縮小、回転、視点変換、合成などの処理を行う。なお、これらの画像処理手法については周知であるから説明を省略する。視点変換については、リアルタイムで変換演算を行ってもよいが、この一実施の形態では予め計算されている変換テーブルを参照し、入力映像のピクセルの色情報を出力映像のピクセルに割り当てる方法を採用する。変換テーブルは視点変換と画像合成の種類に応じて予め用意する。表示器６は画像処理装置５により生成された映像を表示する。
【０００９】
画像処理装置５は、自車両に搭載されたカメラ１〜４による自車両周辺の実映像に視点変換や合成などの処理を施し、任意の位置と向きに設定した仮想カメラによる仮想映像に変換する。図７に、一実施の形態の仮想カメラＶＡ、ＶＢ、ＶＣ、ＶＤ、ＶＥ、ＶＦの設置位置（視点）と向きすなわち撮影レンズの光軸方向（視線方向）のベクトルを示す。仮想カメラＶＡは自車両前方の上空から自車両１０を見下ろすように配置され、仮想カメラＶＢは自車両前方からほぼ水平方向に自車両１０を見るように配置される。また、仮想カメラＶＣは車両フェンダーの左側方から自車両後方を見るように配置され、仮想カメラＶＤは車両フェンダーの右側方から自車両後方を見るように配置される。さらに、仮想カメラＶＥは車両フェンダー上の左右中央位置から自車両後方を見るように配置され、仮想カメラＶＦは車両フェンダーの左右中央位置の真上から自車両１０を見下ろすように配置される。なお、仮想カメラＶＥは、自車両１０に遮られて自車両後方の映像を撮像できないが、自車両１０がない場合の映像を合成により撮像する。
【００１０】
この第１の実施の形態では、自車両前方上空から自車両を見下ろす仮想カメラＶＡの俯瞰映像から、自車両前方からほぼ水平方向に自車両を見る仮想カメラＶＢの映像に切り換える場合の画像処理を示す。図８に仮想カメラＶＡの映像例を示し、図９に仮想カメラＶＢの映像例を示す。これらの映像は、白線で描かれた駐車位置に後退で進入する場合に、４台の車載カメラ１〜４により撮像した映像を視点変換し、それらを合成したものである。今、図８に示す仮想カメラＶＡの俯瞰映像から図９に示す仮想カメラＶＢの映像にいきなり切り換えると、切り換え後の図９に示す映像上の物体と図８に示す元の映像上の物体あるいは実際の物体との対応関係や位置関係をすぐに把握できないため、運転者が戸惑うことがある。例えば、図８に示す元の映像には自車両後方の他車が写っていないが、切り換え後の図９に示す映像には自車両後方の他車が写っている。
【００１１】
図１０は自車両と仮想カメラの位置関係を示す上面図と側面図であり、図１１は映像切り換え時の仮想カメラの位置（視点）と向き（撮影レンズの光軸方向＝視線方向）の変化を示す図である。この明細書では仮想カメラの位置をＸ、Ｙ、Ｚで表し、自車両の左右方向をＸ軸とし、左右中央をＸ＝０、それより左方向をＸ＞０、右方向をＸ＜０とする。また、自車両の前後方向をＹ軸とし、前輪位置をＹ＝０、それより自車両後方をＹ＞０、自車両前方をＹ＜０とする。さらに、自車両の高さ方向をＺ軸とし、前輪の接地点をＺ＝０、それより上方をＺ＞０、下方をＺ＜０とする。また、この明細書では仮想カメラの向きをヨー、ピッチ、ロールで表す。ここで、ヨーは仮想カメラを通るＺ軸と平行な軸回りの回転を表し、ピッチは仮想カメラを通るＸ軸と平行な軸回りの回転を表し、ロールは仮想カメラを通るＹ軸と平行な軸回りの回転を表す。図１１では、フレームごとの仮想カメラの位置（Ｘ，Ｙ，Ｚ）と向き（ヨー、ピッチ、ロール）を示す。
【００１２】
この一実施の形態では、図１１に示すように、自車両前方上空の仮想カメラＶＡの位置から自車両前方の仮想カメラＶＢの位置に至るまで、フレームごとに仮想カメラの位置がＶＩ１〜ＶＩ９と変化したとする。仮想カメラの位置（視点）は、自車両前方上空のＶＡの位置から自車両前方のＶＢの位置に至るまで、自車両１０との距離Ｙが徐々に小さくなり、高さＺが徐々に低くなるが、車両左右方向の位置Ｘは一定である。一方、仮想カメラの向き（視線方向）は、自車両前方上空のＶＡの位置から自車両前方のＶＢの位置に至るまで、ピッチが下向きから上向きに徐々に変化するが、ヨーとロールは一定である。
【００１３】
今、仮想カメラＶＡのピッチを−３５度、仮想カメラＶＢのピッチを−５度とすると、フレームごとに３度ずつピッチが上向きになり、１／３０秒間隔でフレームのリフレッシュを行うと、約１／３秒で仮想カメラの位置をＶＡからＶＢまで切り換えることができる。つまり、１／３０秒間隔で仮想カメラＶＡ、ＶＩ１、ＶＩ２、・・、ＶＩ９、ＶＢの仮想映像が順に表示されることになる。
【００１４】
図１２は第１の実施の形態の映像切り換え表示例を示す図である。図１２(ａ)は図８と同様な仮想カメラＶＡの映像例を示し、図１２(ｅ)は図９と同様な仮想カメラＶＢの映像例を示す。そして、図１２(ｂ)、(ｃ)、(ｄ)は、仮想カメラＶＡとＶＢとの間の補間的な仮想カメラＶＩ２、ＶＩ５、ＶＩ８の補間仮想映像例を示す。
【００１５】
上述したように、仮想カメラＶＡの映像から仮想カメラＶＢの映像にいきなり切り換わった場合には、運転者が切り換わり後の仮想カメラＶＢの映像を理解するのに時間がかかるが、仮想カメラＶＡの仮想映像と仮想カメラＶＢの仮想映像との間に、補間的に仮想カメラＶＩ１〜ＶＩ９の補間仮想映像を順次表示することによって、仮想カメラＶＡの仮想映像から仮想カメラＶＢの仮想映像まで約１／３秒で映像が徐々に切り換わり、切り換わり後の仮想カメラＶＢの仮想映像を直ちに理解させることができる。
【００１６】
なお、上述した一実施の形態では仮想カメラの位置（Ｘ，Ｙ，Ｚ）と向き（ヨー、ピッチ、ロール）を補間的に徐々に切り換える例を示したが、撮影レンズの光学特性による映像の歪曲具合や映像の水平方向および垂直方向の画角などのパラメーターを変化させてもよい。例えばレンズの歪曲特性が近似式
ｈ＝ａ＊sin（ｂ＊θ）  ・・・（１）
で与えられ、仮想カメラＶＡの場合はａ＝ｂ＝１、仮想カメラＶＢの場合はａ＝ｂ＝２である場合、これらのパラメーターａとｂと連続的に変化させることによって、異なる歪曲特性の映像を違和感なく繋げることができる。なお、（１）式において、θは入射角、ｈは入射角θの光の撮像面上の中心からの距離、ａとｂは撮影レンズの歪曲特性を表す定数である。
【００１７】
《発明の第２の実施の形態》
第２の実施の形態では、図１３に示す仮想カメラＶＣとＶＤの合成仮想映像から図８に示す仮想カメラＶＡの映像に切り換える場合の画像処理を示す。図１３に示す合成仮想映像において、画面の右半分が仮想カメラＶＣの仮想映像を示し、画面の左半分が仮想カメラＶＤの仮想映像を示す。
【００１８】
この第２の実施の形態の構成は図１に示す構成と同様であり、説明を省略する。図１４は自車両と仮想カメラの位置関係を示す上面図と側面図であり、図１５は映像切り換え時の仮想カメラの位置（視点）と向き（視線方向）の変化を示す図である。なお、仮想カメラの位置（Ｘ，Ｙ，Ｚ）と向き（ヨー、ピッチ、ロール）の定義は図１０および図１１に示す定義と同様である。この第２の実施の形態では、仮想カメラＶＣとＶＤの位置（Ｘ）が徐々に変化して両カメラが自車両の左右中央に寄っていくと同時に、両仮想カメラＶＣとＶＤの向き（ヨー）が徐々に変化して両カメラが真後ろの向きに近づいていき、車両フェンダー上の左右中央位置から自車両後方を見た仮想カメラＶＥに統合した後、仮想カメラの位置（Ｙ，Ｚ）と向き（ピッチ）が徐々に変化して自車両前方上空から自車両を見下ろす仮想カメラＶＡの位置に至る。仮想カメラＶＣ、ＶＤの位置から仮想カメラＶＥの位置に至るまでの仮想カメラの位置（Ｘ）と向き（ヨー）は、２台の仮想カメラＶＣとＶＤの平均値を用いる。
【００１９】
仮想カメラＶＣとＶＤの合成仮想映像から仮想カメラＶＥの仮想映像までの間に、フレームごとに仮想カメラ（ＶＣ１１、ＶＤ１１）〜（ＶＣ１４、ＶＤ１４）の仮想映像が補間的に表示され、さらに仮想カメラＶＥの仮想映像から仮想カメラＶＡの仮想映像までの間に、フレームごとに仮想カメラＶＥ１〜ＶＥ４の仮想映像が補間的に表示される。
【００２０】
図１６は第２の実施の形態の映像切り換え表示例を示す図である。(ａ)は図１３と同様な仮想カメラＶＣ、ＶＤの合成仮想映像例を示し、(ｃ)は仮想カメラＶＥの仮想映像例を示す。そして、(ｂ)は仮想カメラＶＣ、ＶＤと仮想カメラＶＥとの間の補間的な仮想カメラ（ＶＣ１１，ＶＤ１１）の合成仮想映像例を示す。さらに、(ｅ)は図８と同様な仮想カメラＶＡの仮想映像例を示し、(ｄ)は仮想カメラＶＥと仮想カメラＶＡとの間の補間的な仮想カメラＶＥ２の仮想映像例を示す。
【００２１】
このように、仮想カメラＶＣ、ＶＤの合成仮想映像から仮想カメラＶＡの仮想映像にいきなり切り換わった場合には、運転者が切り換わり後の仮想カメラＶＡの仮想映像を理解するのに時間がかかるが、仮想カメラＶＣ、ＶＤの合成仮想映像と仮想カメラＶＡの仮想映像との間に、補間的に仮想カメラ（ＶＣ１１、ＶＤ１１）〜（ＶＣ１４、ＶＤ１４）、ＶＥ、ＶＥ１１〜ＶＥ１４の仮想映像を１／３０秒ごとに順次表示することによって、仮想カメラＶＣ、ＶＤの合成仮想映像から仮想カメラＶＡの仮想映像までの約１／３秒の間にフレームごとに映像が徐々に切り換わり、切り換わり後の仮想カメラＶＡの仮想映像を直ちに理解させることができる。
【００２２】
《発明の第３の実施の形態》
上述した第２の実施の形態では、仮想カメラＶＣ、ＶＤの合成仮想映像からいったん仮想カメラＶＥの仮想映像に切り換えた後、さらに仮想カメラＶＡの仮想映像に切り換えたが、この第３の実施の形態では、仮想カメラＶＣ、ＶＤの合成仮想映像（図１３参照）から直接、仮想カメラＶＡの仮想映像（図８参照）に切り換える場合の画像処理を示す。なお、この第３の実施の形態の構成は図１に示す構成と同様であり、説明を省略する。
【００２３】
図１７は自車両と仮想カメラの位置関係を示す上面図と側面図であり、図１８は映像切り換え時の仮想カメラの位置（視点）と向き（視線方向）の変化を示す図である。なお、仮想カメラの位置（Ｘ，Ｙ，Ｚ）と向き（ヨー、ピッチ、ロール）の定義は図１０および図１１に示す定義と同様である。この第３の実施の形態では、仮想カメラＶＣとＶＤの位置（Ｘ）が徐々に変化して両カメラが自車両の左右中央に寄っていくとともに、両仮想カメラＶＣとＶＤの向き（ヨー）が徐々に変化して両カメラが真後ろの向きに近づいていく。また、これらの位置（Ｘ）と向き（ヨー）の変化と同時に、両仮想カメラＶＣ、ＶＤの位置（Ｙ、Ｚ）が徐々に変化して仮想カメラＶＡの位置（Ｙ、Ｚ）に近づいていくとともに、両仮想カメラＶＣ、ＶＤの向き（ピッチ）が徐々に変化して仮想カメラＶＡの向き（ピッチ）に近づいていく。仮想カメラＶＣ、ＶＤの位置から仮想カメラＶＡの位置に至るまでの仮想カメラの位置（Ｘ）と向き（ヨー）は、２台の仮想カメラＶＣとＶＤの平均値を用いる。
【００２４】
この第３の実施の形態では、仮想カメラＶＣ、ＶＤの合成仮想映像から仮想カメラＶＡの仮想映像までの間に、フレームごとに仮想カメラ（ＶＣ１１、ＶＤ１１）〜（ＶＣ１９、ＶＤ１９）の合成仮想映像が補間的に表示される。図１９は第３の実施の形態の映像切り換え表示例を示す図である。図１９(ａ)は図１３と同様な仮想カメラＶＣ、ＶＤの合成仮想映像例を示し、図１９(ｅ)は図８と同様な仮想カメラＶＡの仮想映像例を示す。そして、図１９(ｂ)、(ｃ)、(ｄ)は、仮想カメラＶＣ、ＶＤと仮想カメラＶＡとの間の補間的な仮想カメラ（ＶＣ１２、ＶＤ１２）、（ＶＣ１５、ＶＤ１５）、（ＶＣ１８、ＶＤ１８）の合成仮想映像例を示す。
【００２５】
このように、仮想カメラＶＣ、ＶＤの合成仮想映像から仮想カメラＶＡの仮想映像にいきなり切り換わった場合には、運転者が切り換わり後の仮想カメラＶＡの仮想映像を理解するのに時間がかかるが、仮想カメラＶＣ、ＶＤの合成仮想映像と仮想カメラＶＡの仮想映像との間に、補間的に仮想カメラ（ＶＣ１１、ＶＤ１１）〜（ＶＣ１９、ＶＤ１９）の仮想映像を１／３０秒のフレームごとに順次表示することによって、仮想カメラＶＣ、ＶＤの合成仮想映像から仮想カメラＶＡの仮想映像までの約１／３秒の間にフレームごとに映像が徐々に切り換わり、切り換わり後の仮想カメラＶＡの仮想映像を直ちに理解させることができる。
【００２６】
《発明の第４の実施の形態》
第４の実施の形態では、図１３に示す仮想カメラＶＣ、ＶＤの合成仮想映像からいったん仮想カメラＶＦの仮想映像に切り換えた後、さらに仮想カメラＶＡの仮想映像に切り換える。なお、この第４の実施の形態の構成は図１に示す構成と同様であり、説明を省略する。
【００２７】
図２０は自車両と仮想カメラの位置関係を示す上面図と側面図であり、図２１は映像切り換え時の仮想カメラの位置（視点）と向き（視線方向）の変化を示す。なお、仮想カメラの位置（Ｘ、Ｙ、Ｚ）と向き（ヨー、ピッチ、ロール）の定義は図１０および図１１に示す定義と同様である。この第４の実施の形態では、仮想カメラＶＣとＶＤの位置（Ｘ）が徐々に変化して両カメラが自車両の左右中央に寄っていくとともに、両カメラの向き（ヨー）が徐々に変化して真後ろの向きに近づいていく。また、これらの位置（Ｘ）と向き（ヨー）の変化と同時に、両仮想カメラＶＣ、ＶＤの位置（Ｙ、Ｚ）が徐々に変化して仮想カメラＶＦの位置（Ｙ、Ｚ）に近づいていくとともに、両仮想カメラＶＣ、ＶＤの向き（ピッチ）が徐々に変化して仮想カメラＶＦの向き（ピッチ）に近づいていく。仮想カメラＶＣ、ＶＤが仮想カメラＶＦに統合された後、仮想カメラの位置（Ｙ、Ｚ）と向き（ピッチ）は仮想カメラＶＡの位置（Ｙ、Ｚ）と向き（ピッチ）に近づいていく。
【００２８】
仮想カメラＶＣ、ＶＤの位置から仮想カメラＶＦの位置に至るまでの仮想カメラの位置（Ｘ）と向き（ヨー）は、２台の仮想カメラＶＣ、ＶＤの平均値を用いる。また、仮想カメラＶＣ、ＶＤ、ＶＡ、ＶＦの位置を（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）とした場合に、仮想カメラＶＦのＸ座標Ｘ４とＹ座標Ｙ４は、
Ｘ４＝（Ｘ１＋Ｘ２＋Ｘ３）／３，
Ｙ４＝（Ｙ１＋Ｙ３）／２＝（Ｙ２＋Ｙ３）／２
とする。
【００２９】
この第４の実施の形態では、仮想カメラＶＣ、ＶＤの合成仮想映像から仮想カメラＶＦの仮想映像までの間に、フレームごとに仮想カメラ（ＶＣ１１、ＶＤ１１）〜（ＶＣ１４、ＶＤ１４）の合成仮想映像が補間的に表示される。図２２は第４の実施の形態の映像切り換え表示例を示す図である。図２２(ａ)は図１３と同様な仮想カメラＶＣ、ＶＤの合成仮想映像例を示し、図２２(ｅ)は図８と同様な仮想カメラＶＡの仮想映像例を示す。そして、図２２(ｂ)は仮想カメラＶＣ、ＶＤと仮想カメラＶＦとの間の補間的な仮想カメラ（ＶＣ１２、ＶＤ１２）の合成仮想映像例を示し、図２２(ｃ)、(ｄ)は仮想カメラＶＦと仮想カメラＶＡとの間の補間的な仮想カメラＶＦ１、ＶＦ３の仮想映像例を示す。
【００３０】
このように、仮想カメラＶＣ、ＶＤの合成仮想映像から仮想カメラＶＡの仮想映像にいきなり切り換わった場合には、運転者が切り換わり後の仮想カメラＶＡの仮想映像を理解するのに時間がかかるが、仮想カメラＶＣ、ＶＤの合成映像と仮想カメラＶＡの仮想映像との間に、補間的に仮想カメラ（ＶＣ１１、ＶＤ１１）〜（ＶＣ１４、ＶＤ１４）、ＶＦ、ＶＦ１〜ＶＦ４の仮想映像を１／３０秒のフレームごとに順次表示することによって、仮想カメラＶＣ、ＶＤの合成仮想映像から仮想カメラＶＡの仮想映像までの約１／３秒間に映像が徐々に切り換わり、切り換わり後の仮想カメラＶＡの仮想映像を直ちに理解させることができる。
【００３１】
《発明の第５の実施の形態》
第５の実施の形態では、図１３に示す仮想カメラＶＣ、ＶＤの合成仮想映像からいったん仮想カメラＶＢの仮想映像に切り換えた後、さらに仮想カメラＶＡの仮想映像に切り換える。なお、この第５の実施の形態の構成は図１に示す構成と同様であり、説明を省略する。
【００３２】
図２３は自車両と仮想カメラの位置関係を示す上面図と側面図であり、図２４は映像切り換え時の仮想カメラの位置（視点）と向き（視線方向）の変化を示す。なお、仮想カメラの位置（Ｘ、Ｙ、Ｚ）と向き（ヨー、ピッチ、ロール）の定義は図１０および図１１に示す定義と同様である。この第５の実施の形態では、仮想カメラＶＣとＶＤの位置（Ｘ）が徐々に変化して両カメラが自車両の左右中央に寄っていくとともに、両カメラの向き（ヨー）が徐々に変化して真後ろの向きに近づいていく。また、これらの位置（Ｘ）と向き（ヨー）の変化と同時に、両仮想カメラＶＣ、ＶＤの位置（Ｙ）が徐々に変化して仮想カメラＶＢの位置（Ｙ）に近づいていく。仮想カメラＶＣ、ＶＤの位置から仮想カメラＶＢの位置に至るまでの仮想カメラの位置（Ｘ）と向き（ヨー）は、２台の仮想カメラＶＣ、ＶＤの平均値を用いる。仮想カメラＶＣ、ＶＤが仮想カメラＶＢに統合された後、仮想カメラの位置（Ｙ、Ｚ）と向き（ピッチ）は仮想カメラＶＡの位置（Ｙ、Ｚ）と向き（ピッチ）に近づいていく。
【００３３】
この第５の実施の形態では、仮想カメラＶＣ、ＶＤの合成仮想映像から仮想カメラＶＢの仮想映像までの間に、フレームごとに仮想カメラ（ＶＣ１１、ＶＤ１１）〜（ＶＣ１４、ＶＤ１４）の合成仮想映像が補間的に表示される。図２５は第５の実施の形態の映像切り換え表示例を示す図である。図２５(ａ)は図１３と同様な仮想カメラＶＣ、ＶＤの合成仮想映像例を示し、図２５(ｅ)は図８と同様な仮想カメラＶＡの仮想映像例を示す。そして、図２５(ｂ)は仮想カメラＶＣ、ＶＤと仮想カメラＶＦとの間の補間的な仮想カメラ（ＶＣ１２、ＶＤ１２）の合成仮想映像例を示し、図２５(ｃ)、(ｄ)は仮想カメラＶＢと仮想カメラＶＡとの間の補間的な仮想カメラＶＢ１、ＶＢ３の仮想映像例を示す。
【００３４】
このように、仮想カメラＶＣ、ＶＤの合成仮想映像から仮想カメラＶＡの仮想映像にいきなり切り換わった場合には、運転者が切り換わり後の仮想カメラＶＡの仮想映像を理解するのに時間がかかるが、仮想カメラＶＣ、ＶＤの合成仮想映像と仮想カメラＶＡの仮想映像との間に、補間的に仮想カメラ（ＶＣ１１、ＶＤ１１）〜（ＶＣ１４、ＶＤ１４）、ＶＢ、ＶＢ１〜ＶＢ４の仮想映像を１／３０秒のフレームごとに順次表示することによって、仮想カメラＶＣ、ＶＤの合成仮想映像から仮想カメラＶＡの仮想映像までの約１／３秒間に映像が徐々に切り換わり、切り換わり後の仮想カメラＶＡの仮想映像を直ちに理解させることができる。
【００３５】
《発明の第６の実施の形態》
自車両周囲の映像に自車両のワイヤーフレームを重畳表示する実施例を説明する。図２６(ａ)〜(ｅ)は、仮想カメラＶＡの仮想映像から仮想カメラＶＢの仮想映像に切り換える場合の各映像に、自車両のワイヤーフレームを重畳して表示した例を示す。このように、自車両のワイヤーフレームを自車両周囲の仮想映像に重畳表示することによって、自車両周囲の映像上の駐車枠や他車両との位置関係を容易に把握することができ、最終的に表示される自車両周囲の映像を直ちに理解することができる。
【００３６】
《発明の第７の実施の形態》
自車両周囲の映像にグリッドライン（格子）を重畳表示する実施例を説明する。図２７(ａ)〜(ｅ)は、仮想カメラＶＡの仮想映像から仮想カメラＶＢの仮想映像に切り換える場合の各映像に、グリッドラインを重畳表示した例を示す。このグリッドラインは、地上（平面道路地図上）に等間隔に設定されたグリッドラインを仮想カメラの位置（視点）と向き（視線方向）から見たグリッドラインに視点変換し、それを自車両周囲の映像に重畳表示する。これにより、自車両周囲の映像上の駐車枠や他車両との距離を感覚的に把握することができ、最終的に表示される自車両周囲の映像を直ちに理解することができる。
【００３７】
《発明の第８の実施の形態》
上述した一実施の形態では、自車両周囲の映像を切り換える際に切り換え途中の補間映像を表示して最終的に表示される自車両周囲の映像を理解しやすいようにしたが、補間映像の代わりに自車両のワイヤーフレーム画像を表示してもよい。例えば図２８に示すように、仮想カメラＶＡの仮想映像(ａ)から仮想カメラのＶＢの仮想映像(ｅ)に切り換える場合に、切り換え途中で補間仮想映像を表示せずに、(ｂ)〜(ｄ)に示すように代わりに自車両のワイヤーフレーム画像を表示する。この自車両のワイヤーフレーム画像では、自車両のワイヤーフレームを、補間仮想映像を撮像する仮想カメラの位置（視点）と向き（視線方向）から見た俯瞰図に変換して表示する。これにより、自車両周囲の仮想映像を撮像する仮想カメラの位置と向き、すなわち自車両周囲映像の視点と視線方向の変化を容易に把握することができ、最終的に表示される自車両周囲映像を直ちに理解することができる。
【００３８】
《発明の第９の実施の形態》
運転者が画像処理装置を起動した直後には、図１３に示すような仮想カメラＶＣとＶＤの合成仮想映像を表示する。しかしながら、起動直後にいきなり仮想カメラＶＣとＶＤの合成仮想映像を表示すると、運転者はその合成仮想映像がどの位置（視点）からどの方向（視線方向）を見た映像なのか理解しにくい。そこで図２９(ａ)に示すように、まず、仮想カメラＶＦあるいはＶＡの映像、すなわち自車両の前方上空から自車両を見下ろした俯瞰映像を表示し、次に(ｂ)〜(ｄ)に示すように、仮想カメラの位置（視点）と向き（視線方向）を徐々に変えて最終的に仮想カメラＶＣとＶＤの位置まで移動し、(ｅ)に示すように最終的に仮想カメラＶＣとＶＤの合成仮想映像を表示する。
【００３９】
なお、上述した一実施の形態では、仮想カメラの仮想映像から別の仮想カメラの仮想映像に切り換える例を示したが、実カメラの実映像から仮想カメラの仮想映像に切り換える場合、あるいは逆に仮想カメラの仮想映像から実カメラの実映像に切り換える場合にも、本願発明を適用することができる。
【００４０】
このように、一実施の形態によれば、自車両に搭載され、自車両周辺を撮像して実映像を出力する実カメラ１〜４と、実カメラ１〜４による実映像を任意の位置と向きに設定した仮想カメラＶＡ、ＶＢ、ＶＣ、ＶＤ、ＶＥ、ＶＦによる仮想映像に変換する画像処理装置５と、実カメラ１〜４の実映像または画像処理装置５の仮想映像を表示する表示器６とを備え、画像処理装置５によって、表示器６の表示映像を第１の実映像または仮想映像から第２の実映像または仮想映像に切り換える途中に、第１の実映像または仮想映像を撮像した位置および向きと第２の実映像または仮想映像を撮像した位置および向きとの中間の位置および向きから見た補間仮想映像を生成し、表示器６に表示するようにした。これにより、自車両の周囲環境を撮像した映像を切り換える場合に、切り換わり後の映像上の自車両周囲の物体と、元の映像上の自車両周囲の物体、あるいは実際の自車両周囲の物体との対応関係や位置関係を直ちに運転者に認識させることができ、切り換え後の映像から自車両の周囲環境をすぐに理解させることができる。
【００４１】
また、一実施の形態によれば、表示器６の表示映像を第１の実映像または仮想映像から第２の実映像または仮想映像に切り換える途中に、第１の実映像または仮想映像を撮像した位置および向きから第２の実映像または仮想映像を撮像した位置および向きに至るまでの中間の複数の位置および向きから見た複数の補間仮想映像を生成し、それらを順に切り換えて表示器６に表示するようにしたので、映像の切り換わりの様子を把握させることができ、切り換え後の映像から自車両の周囲環境をすぐに理解させることができる。
【００４２】
さらに、一実施の形態によれば、画像処理装置５によって、表示器６の表示映像を第１の実映像または仮想映像から第２の実映像または仮想映像に切り換える途中に、実カメラ１〜４および仮想カメラＶＡ、ＶＢ、ＶＣ、ＶＤ、ＶＥ、ＶＦの撮影レンズの光学特性を連続的に変化させるようにしたので、仮想映像が見やすくなり、映像の切り換わりを容易に理解させることができる。
【００４３】
一実施の形態によれば、画像処理装置５によって、複数の実カメラ１〜４または仮想カメラＶＡ、ＶＢ、ＶＣ、ＶＤ、ＶＥ、ＶＦの映像を合成して実映像または仮想映像を生成し、表示器６に表示するようにしたので、１台の表示器６の映像から自車両周囲の環境を効率的に把握することができる。
【００４４】
一実施の形態によれば、画像処理装置５によって、複数の実カメラまたは仮想カメラの合成映像から、自車両の上空の位置から自車両の向きに設定された単一の仮想カメラＡの仮想映像に切り換える途中に、仮想カメラＡよりも自車両に近接する位置から自車両の向きに設定された単一の仮想カメラＢの補間仮想映像を生成し、表示器６に表示するようにしたので、複数の補間仮想映像の中から合成仮想映像の割合を減らすことができ、補間仮想映像が見やすくなり、映像の切り換わりを容易に理解させることができる。
【００４５】
一実施の形態によれば、複数の実カメラまたは仮想カメラの合成映像から単一の実カメラまたは仮想カメラの映像に切り換える場合には、単一の実カメラまたは仮想カメラの位置および向きを、合成映像を撮像する複数の実カメラまたは仮想カメラの位置および向きの平均値としたので、映像の切り替わりが解りやすく、切り換わり後の映像をすぐに理解させることができる。
【００４６】
一実施の形態によれば、画像処理装置５によって、自車両に近接した位置に自車両の向きに設定した仮想カメラＣの仮想映像を表示する場合には、まず仮想カメラＣよりも自車両から遠い位置に自車両の向きに設定した仮想カメラＤの仮想映像を表示し、次に仮想カメラＤと仮想カメラＣとの中間の位置と向きに設定された仮想カメラＥの補間仮想映像を表示した後、仮想カメラＣの仮想映像を表示するようにしたので、画像処理装置を起動した直後に自車両に近接した位置から自車両を見た仮想映像を表示する場合でも、その仮想映像における自車両の周囲環境をすぐに理解することができる。
【００４７】
一実施の形態によれば、画像処理装置５によって、補間仮想映像を撮像するための仮想カメラの位置と向きから見た自車両の概略図（ワイヤーフレーム）を補間仮想映像に重畳して表示器６に表示するようにしたので、補間仮想映像上の自車位置と映像の切り替わりが解りやすく、切り換わり後の映像をすぐに理解させることができる。
【００４８】
一実施の形態によれば、画像処理装置５によって、路面に等間隔に設定されたグリッドライン（格子線）を補間仮想映像を撮像するための仮想カメラの位置と向きから見たグリッドラインに変換し、補間仮想映像に重畳して表示器６に表示するようにしたので、自車両周囲の映像上の駐車枠や他車両との距離を感覚的に把握することができ、最終的に表示される自車両周囲の映像を直ちに理解することができる。
【００４９】
一実施の形態によれば、画像処理装置５によって、補間仮想映像を撮像するための仮想カメラの位置と向きから見た自車両の概略図を補間仮想映像に代えて表示器６に表示するようにしたので、補間仮想映像上の自車位置と映像の切り替わりが解りやすく、切り換わり後の映像をすぐに理解させることができる。
【図面の簡単な説明】
【００５０】
【図１】一実施の形態の構成を示す図である。
【図２】車載カメラの設置位置を示す図である。
【図３】車両前方カメラにより撮像した映像を示す図である。
【図４】車両右側方カメラにより撮像した映像を示す図である。
【図５】車両左側方カメラにより撮像した映像を示す図である。
【図６】車両後方カメラにより撮像した映像を示す図である。
【図７】仮想カメラの位置と向きを示す図である。
【図８】仮想カメラＶＡの映像例を示す図である。
【図９】仮想カメラＶＢの映像例を示す図である。
【図１０】第１の実施の形態の自車両と仮想カメラの位置関係を示す図である。
【図１１】第１の実施の形態の映像切り換え時の仮想カメラの位置と向きの変化を示す図である。
【図１２】第１の実施の形態の映像切り換え表示例を示す図である。
【図１３】仮想カメラＶＣとＶＤの合成映像を示す図である。
【図１４】第２の実施の形態の自車両と仮想カメラの位置関係を示す図である。
【図１５】第２の実施の形態の映像切り換え時の仮想カメラの位置と向きの変化を示す図である。
【図１６】第２の実施の形態の映像切り換え表示例を示す図である。
【図１７】第３の実施の形態の自車両と仮想カメラの位置関係を示す図である。
【図１８】第３の実施の形態の像切り換え時の仮想カメラの位置と向きの変化を示す図である。
【図１９】第３の実施の形態の映像切り換え表示例を示す図である。
【図２０】第４の実施の形態の自車両と仮想カメラの位置関係を示す図である。
【図２１】第４の実施の形態の像切り換え時の仮想カメラの位置と向きの変化を示す図である。
【図２２】第４の実施の形態の映像切り換え表示例を示す図である。
【図２３】第５の実施の形態の自車両と仮想カメラの位置関係を示す図である。
【図２４】第５の実施の形態の像切り換え時の仮想カメラの位置と向きの変化を示す図である。
【図２５】第５の実施の形態の映像切り換え表示例を示す図である。
【図２６】第６の実施の形態の映像切り換え表示例を示す図である。
【図２７】第７の実施の形態の映像切り換え表示例を示す図である。
【図２８】第８の実施の形態の映像切り換え表示例を示す図である。
【図２９】第９の実施の形態の映像切り換え表示例を示す図である。
【符号の説明】
【００５１】
１  前方カメラ
２  右側方カメラ
３  左側方カメラ
４  後方カメラ
５  画像処理装置
６  表示器
【図１】
2006171849.tif 000003
【図２】
2006171849.tif 000004
【図３】
2006171849.tif 000005
【図４】
2006171849.tif 000006
【図５】
2006171849.tif 000007
【図６】
2006171849.tif 000008
【図７】
2006171849.tif 000009
【図８】
2006171849.tif 000010
【図９】
2006171849.tif 000011
【図１０】
2006171849.tif 000012
【図１１】
2006171849.tif 000013
【図１２】
2006171849.tif 000014
【図１３】
2006171849.tif 000015
【図１４】
2006171849.tif 000016
【図１５】
2006171849.tif 000017
【図１６】
2006171849.tif 000018
【図１７】
2006171849.tif 000019
【図１８】
2006171849.tif 000020
【図１９】
2006171849.tif 000021
【図２０】
2006171849.tif 000022
【図２１】
2006171849.tif 000023
【図２２】
2006171849.tif 000024
【図２３】
2006171849.tif 000025
【図２４】
2006171849.tif 000026
【図２５】
2006171849.tif 000027
【図２６】
2006171849.tif 000028
【図２７】
2006171849.tif 000029
【図２８】
2006171849.tif 000030
【図２９】
2006171849.tif 000031