(57)【要約】      （修正有）【課題】俯瞰画像をシームレスに表示して運転者に違和感を与えることがなく、仮想投影面を容易に設定でき、表示範囲を拡大して死角を減らすことができ、地面上の物を変形させることなく表示でき、遠方の景観の湾曲を抑制する。【解決手段】車両周囲の画像を車両上方の仮想視点から見下ろした俯瞰画像に変換して表示する俯瞰画像提示装置において、俯瞰画像を投影する仮想投影面は、車両を平面上に置いた状態で、平面に対して水平であり任意の高さに位置する水平面によって仮想投影面を切断した場合に仮想投影面の水平方向切断面が超楕円形状で表されるとともに、超楕円の中心を通り平面に対して垂直であり任意の向きである垂直面によって仮想投影面を切断した場合に仮想投影面の垂直方向切断面がバスタブ曲線で表される立体曲面であり、かつ、１つの数式で表される。【選択図】図１
2014154904.tif 000002
【特許請求の範囲】
【請求項１】
車両周囲を撮像する撮像手段と、前記撮像手段により撮像された画像を車両上方の仮想視点から見下ろした俯瞰画像に変換する画像変換手段と、前記画像変換手段により変換された俯瞰画像を表示する表示手段とを備えた俯瞰画像提示装置において、前記俯瞰画像を投影する仮想投影面は、車両を平面上に置いた状態で、平面に対して水平であり任意の高さに位置する水平面によって仮想投影面を切断した場合に仮想投影面の水平方向切断面が超楕円形状で表されるとともに、超楕円の中心を通り平面に対して垂直であり任意の向きである垂直面によって仮想投影面を切断した場合に仮想投影面の垂直方向切断面がバスタブ曲線で表される立体曲面であり、かつ、１つの数式で表されることを特徴とする俯瞰画像提示装置。
【請求項２】
前記画像変換手段は、車両の状態に基づいて超楕円の次数を変化させることを特徴とする請求項１に記載の俯瞰画像提示装置。
【請求項３】
車両の操舵角を検出する操舵角検出手段を備え、前記画像変換手段は、前記操舵角検出手段により検出された操舵角に基づいて超楕円の次数を変化させることを特徴とする請求項２に記載の俯瞰画像提示装置。
【請求項４】
前記画像変換手段は、俯瞰画像を左右に分割し、前記操舵角検出手段により検出された操舵角に基づいて左右の画像の次数を変化させることを特徴とする請求項３に記載の俯瞰画像提示装置。
【請求項５】
前記画像変換手段は、複数の撮像手段により撮像された画像を結合して、車両を中心とした車両全周の俯瞰画像を生成することを特徴とする請求項４に記載の俯瞰画像提示装置。
【請求項６】
前記画像変換手段は、仮想視点の位置を低くした時には、仮想投影面の車両横方向の長さを短くするとともに、超楕円の次数を大きくすることを特徴とする請求項２に記載の俯瞰画像提示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は俯瞰画像提示装置に係り、特に、運転支援等を目的として車載カメラで撮像した画像を仮想視点から見下ろした俯瞰画像に変換してモニタに表示する俯瞰画像提示装置に関する。
【背景技術】
【０００２】
近年、車両後退時の運転支援を目的として、車両の上方から見下ろしたような俯瞰画像を運転者に提示する俯瞰画像提示装置が一般に普及されつつある。俯瞰画像提示装置は、車両後部に搭載した車載カメラ（バックカメラ）で撮像した画像を変換し、仮想的に車両の上方の視点から目標とする駐車枠と車両後端とを見下ろす俯瞰画像を作成し、作成した俯瞰画像をモニタに表示して運転者に提示する機能を有している。
【０００３】
この運転支援等を目的とした俯瞰画像を作成し、提示する機能は、次の２点を満たすことが望まれる。
１．車両周囲の物体を運転者が視認可能な大きさ、解像度で周辺表示視野を拡大して、死角をなくすこと
２．駐車枠等の元々地面上に描画されている物、ガイドライン等、仮想的に地面上に描画する物を変形させることなく表示すること（例えば、直線を直線として表示すること）
【０００４】
このような俯瞰画像提示装置としては、特開２００８−１４１６４３号公報、特開２００５−１６７６３８号公報に記載された装置がある。
特開２００８−１４１６４３号公報には、近景面と遠景面とをつないだ仮想立体面を設定し、仮想立体面を用いた視点変換により、車載カメラが撮像した画像データから近景用と遠景用との２つの表示データを作成して表示する俯瞰画像提示装置が記載されている。
特開２００５−１６７６３８号公報には、周囲３６０度の視野領域の映像を得て、視野中心付近では車両の一部を含む路面を俯瞰する画像データに変換し、視野中心から離れた部分では車両の上方を横方向に見た画像データに変換し、俯瞰と横方向との２つの画像データを表示する俯瞰画像提示装置が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−１４１６４３号公報
【特許文献２】特開２００５−１６７６３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特開２００８−１４１６４３号公報に記載された装置においては、近景用投影面と遠景用投影面とで別々に仮想投影面を作成し、近景用投影面と遠景用投影面との境界を結合している。また、特開２００５−１６７６３８号公報に記載された装置においては、俯瞰用投影面と横方向用投影面とで別々に仮想投影面を作成し、俯瞰用投影面と横方向用投影面との境界を結合している。
つまり、特開２００８−１４１６４３号公報、特開２００５−１６７６３８号公報に記載された装置においては、仮想投影面は、２つの投影面で別々に仮想投影面を作成し、底面と壁面との境界を結合している。このため、２つの投影面の境界で不整合が生じるおそれがあり、運転者に違和感を与えることになる。また、不整合を回避するために、仮想投影面を作成する処理が複雑になる。
【０００７】
この発明は、俯瞰画像をシームレスに表示して運転者に違和感を与えないようにすることができ、仮想投影面を容易に設定することができ、また、表示範囲を拡大して死角を減らすとともに、地面に描画されている物を変形させることなく表示することができ、遠方の景観の湾曲を抑制することができる俯瞰画像提示装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
この発明は、車両周囲を撮像する撮像手段と、前記撮像手段により撮像された画像を車両上方の仮想視点から見下ろした俯瞰画像に変換する画像変換手段と、前記画像変換手段により変換された俯瞰画像を表示する表示手段とを備えた俯瞰画像提示装置において、前記俯瞰画像を投影する仮想投影面は、車両を平面上に置いた状態で、平面に対して水平であり任意の高さに位置する水平面によって仮想投影面を切断した場合に仮想投影面の水平方向切断面が超楕円形状で表されるとともに、超楕円の中心を通り平面に対して垂直であり任意の向きである垂直面によって仮想投影面を切断した場合に仮想投影面の垂直方向切断面がバスタブ曲線で表される立体曲面であり、かつ、１つの数式で表されることを特徴とする。
【発明の効果】
【０００９】
この発明の仮想投影面は、水平方向切断面が超楕円形状で表されるとともに垂直方向切断面がバスタブ曲線で表される立体曲面であるため、平面状の底面と底面周囲から斜め上方に延びる壁面とから構成される。このため、この発明は、表示範囲を拡大して死角を減らすとともに、地面に描画されている物を変形させることなく表示することができる。
この発明の仮想投影面は、底面に平行でかつ底面と仮想視点との間に位置する任意の平面による切断面が底面の形状を拡大した形状であるため、遠方の景観の湾曲を抑制することができる。
この発明の仮想投影面は、１つの数式で表される曲面であるため、俯瞰画像をシームレスに表示して運転者に違和感を与えないようにすることができ、また、仮想投影面を容易に設定することができる。
【図面の簡単な説明】
【００１０】
【図１】図１は俯瞰画像提示装置のシステム構成図である。（実施例）
【図２】図２（Ａ）は楕円形状とバスタブ曲線で表される仮想投影面の平面図、図２（Ｂ）は楕円形状とバスタブ曲線で表される仮想投影面をＹ軸方向から見た図、図２（Ｃ）は楕円形状とバスタブ曲線で表される仮想投影面をＸ軸方向から見た図、図２（Ｄ）は楕円形状とバスタブ曲線で表される仮想投影面をＺ軸方向から見た図である。（実施例）
【図３】図３はアレニウス化学反応式を応用したバスタブ曲線で表される仮想投影面の垂直方向切断面を示す図である。（実施例）
【図４】図４は水平方向切断面が楕円形状で垂直方向切断面がバスタブ曲線で表される仮想投影面を表す数式を示す図である。（実施例）
【図５】図５（Ａ）は高さに関係なく一定の相似楕円形状の仮想投影面の平面図、図５（Ｂ）は高さに関係なく一定の相似楕円形状の仮想投影面の斜視図である。（実施例）
【図６】図６（Ａ）は楕円の長半径方向の曲率を小さくした俯瞰画像を示す図、図６（Ｂ）は楕円の長半径方向の曲率を大きくした俯瞰画像を示す図である。（実施例）
【図７】図７は全周が曲率の大きな曲面の仮想投影面を示す図である。（実施例）
【図８】図８（Ａ）は超楕円形状とバスタブ曲線で表される仮想投影面の平面図、図８（Ｂ）は超楕円形状とバスタブ曲線で表される仮想投影面をＹ軸方向から見た図、図８（Ｃ）は超楕円形状とバスタブ曲線で表される仮想投影面をＸ軸方向から見た図、図８（Ｄ）は超楕円形状とバスタブ曲線で表される仮想投影面をＺ軸方向から見た図である。（実施例）
【図９】図９は水平方向切断面が超楕円形状で垂直方向切断面がバスタブ曲線で表される仮想投影面を表す数式を示す図である。（実施例）
【図１０】図１０は前後・左右の面を曲率の小さなガブリエル・ラメ曲線とした仮想投影面を示す図である。（実施例）
【図１１】図１１（Ａ）は底面を超楕円形状とし、高さに関係なく一定の相似超楕円形状の仮想投影面の平面図、図１１（Ｂ）は底面を超楕円形状とし、高さに関係なく一定の相似超楕円形状の仮想投影面の斜視図である。（実施例）
【図１２】図１２は底面の形状を超楕円形状とした仮想投影面による俯瞰画像を示す図である。（実施例）
【図１３】図１３はアレニウス化学反応式、シグモイド曲線、双曲線関数ｔａｎｈを応用した仮想投影面の高さ方向の変化を示す図である。（実施例）
【図１４】図１４は車両を後退させて駐車枠に移動させる状況の説明図である。（実施例）
【図１５】図１５は図１４の位置Ａにおける俯瞰画像を示す図である。（実施例）
【図１６】図１６（Ａ）は図１４の位置Ｂにおける俯瞰画像を示す図、図１６（Ｂ）は図１４の位置Ｂにおける俯瞰画像の角部の背景移動を説明する図である。（実施例）
【図１７】図１７（Ａ）はある次数を持つ超楕円形状の底面を有する俯瞰画像を示す図、図１７（Ｂ）は図１７（Ａ）と異なる次数を持つ超楕円形状の底面を有する俯瞰画像を示す図である。（実施例）
【図１８】図１８（Ａ）は左右に分割した画面の左側を楕円形状の底面とし、右側を超楕円形状の底面とした俯瞰画像を示す図、図１８（Ｂ）は図１８（Ａ）における俯瞰画像の角部の背景移動を説明する図である。（実施例）
【図１９】図１９（Ａ）は従来の俯瞰画像の一部を取り出して拡大した画像を示す図、図１９（Ｂ）はカメラにより撮像された画像と俯瞰画像とを示す図である。（実施例）
【図２０】図２０（Ａ）は車両に対する仮想視点の高さ位置の関係を示す図、図２０（Ｂ）は俯瞰画像の一部を取り出して拡大した画像を示す図である。（実施例）
【図２１】図２１（Ａ）は車両に対して仮想視点を低くした場合の視野を説明する図、図２１（Ｂ）は車両に対して低くした仮想視点からの俯瞰画像の一部を取り出して拡大した画像を示す図、図２１（Ｃ）は車両に対してＸ軸方向を小さくした場合の画像の変形を説明する図である。（実施例）
【図２２】図２２（Ａ）は従来の俯瞰画像の一部を取り出して拡大した画像を示す図、図２２（Ｂ）は超楕円形状とバスタブ曲線で表される仮想投影面による俯瞰画像を示す図、図２２（Ｃ）は超楕円の次数を大きくした仮想投影面による俯瞰画像を示す図である。（実施例）
【図２３】図２３は前後で超楕円形状を表す数式の次数が異なる２つの投影面を組み合わせた仮想投影面を示す図である。（実施例）
【図２４】図２４は俯瞰画像提示装置のシステム構成図である。（実施例）
【図２５】図２５（Ａ）は前景カメラが撮像した前景画像と後景カメラが撮像した後景画像とを結合した画像を示す図、図２５（Ｂ）は前景画像と後景画像とを大きな次数の仮想投影面により変換した俯瞰画像を示す図、図２５（Ｃ）は前景画像と後景画像とを小さな次数の仮想投影面により変換した俯瞰画像を示す図である。（実施例）
【図２６】図２６は前後・左右で超楕円形状を表す数式の次数が異なる４つの投影面を組み合わせた仮想投影面を示す図である。（実施例）
【図２７】図２７（Ａ）は超楕円形状を表す数式の次数が大きい仮想投影面を４つに分割した変換テーブルを示す図、図２７（Ｂ）は楕円形状を表す数式の次数が小さい仮想投影面を４つに分割した変換テーブルを示す図である。（実施例）
【図２８】図２８は前後・左右で超楕円形状を表す数式の次数が異なる４つの投影面により変換した各画像を組み合わせた俯瞰画像を示す図である。（実施例）
【発明を実施するための形態】
【００１１】
以下図面に基づいて、この発明の実施例を説明する。
【実施例】
【００１２】
図１〜図２８は、この発明の実施例を示すものである。図１に示すように、車両１の俯瞰画像提示装置２は、車両１の周囲を撮像する撮像手段のカメラ３と、カメラ３により撮像されて画像Ｇｃを車両上方の仮想視点Ｓｖから見下ろした俯瞰画像Ｇｐに変換する画像変換手段４と、画像変換手段４により変換された俯瞰画像Ｇｐを表示する表示手段のモニタ５とを備えている。カメラ３は、車両１の後部に取り付けられ、車両１の後方を撮像する。画像変換手段４は、俯瞰画像提示装置２の処理手段６に設けられている。
処理手段６には、前記カメラ３とモニタ５とを接続するとともに、後退確認スイッチ７と俯瞰画像表示選択スイッチ８と操舵角検出手段の操舵角センサ９とを接続している。後退確認スイッチ７は、俯瞰画像提示装置２を起動してモニタ５に俯瞰画像Ｇｐを表示させる。俯瞰画像表示選択スイッチ８は、モニタ５に表示させる画像をカメラ３が撮像した画像Ｇｃと俯瞰画像Ｇｐとに選択して切り替える。操舵角センサ９は、車両１のステアリングハンドルの操舵角を検出する。
前記仮想視点Ｓｖは、図２（Ｂ）、（Ｃ）、（Ｄ）に示すように、車両１の上方から見下ろすように配置した仮想カメラ１０の撮像位置に設定されている。前記俯瞰画像Ｇｐは、平面１１上に車両１を置いた場合、車両１の後部に取り付けられたカメラ３が撮像した画像Ｇｃを、車両１の上方に配置した仮想カメラ１０の仮想視点Ｓｖから見下ろす方向に設定した仮想投影面Ｐｓに投影した画像である。
前記仮想投影面Ｐｓは、図２（Ａ）〜（Ｄ）に示すように、平面視で楕円形状をしている。この仮想投影面Ｐｓは、図３に示すように、仮想投影面Ｐｓの高さｙｅ方向の設定にアレニウス（Ａｒｒｅｈｎｉｕｓ）化学反応式（以下、「アレニウス式」と記す。）を応用し、楕円形状とバスタブ曲線で表される立体曲面（バスタブ投影面）からなり、平面１１上の底面１２と底面１２の周囲から斜め上方に延びる壁面１３とから構成される。
【００１３】
図４に示すように、仮想投影面Ｐｓの座標系を［ｘｅ，ｙｅ，ｚｅ］、底面１２の長半径ａと短半径ｂの比率ｎとし、底面１２上のＹｅ＝Ｙｅ０＝０で、底面１２周囲（壁面１３）までの点［ｘｅ，ｙｅ，ｚｅ］＝［ｘｅ０，０，ｚｅ０］（底面１２の形状）を「高さｙｅで平面１１に対して水平に切断した楕円面の長半径ａ、短半径ｂで表される楕円一般式」（式１）でモデル化し、ｂ＝ｎ・ａで展開して「長半径ａを媒介変数とするアレニウス式に基づく高さｙｅ」が相関するモデル式（式２）で示す立体曲面の仮想投影面Ｐｓとする。
このモデル式（式２）で示す仮想投影面Ｐｓは、図５に示すように、平面１１に対して水平に切断した楕円面の長半径方向（Ｘ方向）の曲率を変化させて短半径方向（Ｚ方向）の曲率を小さくし、高さｙｅに関係なく曲率が上方に一定の相似楕円形状とすることで、図６に示すように、車両１の後方の遠方景観に対して、湾曲変形を抑えた状態で直線度を確保した画像を表示できる。
ただし、仮想投影面Ｐｓの底面１２の形状を、平面１１に対して水平に切断した楕円面の短半径方向（Ｚ方向）の曲率を小さくした楕円形状とした場合は、車両１の左右方向（Ｘ方向）の曲率が大きくなり、「左右視野の確保」と「車両１の後方の遠方景観に関する湾曲の軽減・直線度の向上」との効果を両立させることが困難となる。すなわち、図７に示すように、仮想投影面Ｐｓの底面１２の形状を楕円形状とした場合は、壁面１３の全周が曲率の大きな曲面となり、湾曲変形が強かった。
【００１４】
そこで、この俯瞰画像提示装置２は、俯瞰画像Ｇｐを投影する仮想投影面Ｐｓを以下のように設定している。
仮想投影面Ｐｓは、図８（Ｂ）、（Ｃ）、（Ｄ）に示すように、車両１を平面１１上に置いた状態で、平面１１に対して水平であり任意の高さに位置する水平面Ｐｈによって仮想投影面Ｐｓを切断した場合に仮想投影面Ｐｓの水平方向切断面が超楕円形状で表されるとともに、超楕円の中心Ｍを通り平面１１に対して垂直であり任意の向きである垂直面Ｐｖによって仮想投影面Ｐｓを切断した場合に仮想投影面Ｐｓの垂直方向切断面がバスタブ曲線（故障率曲線）で表される立体曲面（超楕円形状のバスタブ投影面）であり、かつ、１つの数式（図９参照）で表される。
前記仮想投影面Ｐｓは、図８（Ａ）〜（Ｄ）に示すように、平面視で超楕円形状をしている。
この仮想投影面Ｐｓは、図９に示すように、仮想投影面Ｐｓの座標系を［ｘｅ，ｙｅ，ｚｅ］、底面１２の長半径ａと短半径ｂの比率ｎとし、さらに、図４のアレニウス式を応用した楕円の一般式（式２）に関して変換次数（ｋ乗）を調整可能とする以下の公式で代替する。超楕円形状の底面１２上のＹｅ＝Ｙｅ０＝０で、底面１２周囲（壁面１３）までの点［ｘｅ，ｙｅ，ｚｅ］＝［ｘｅ０，０，ｚｅ０］（底面１２の形状）を超楕円の一般式（式３）で定義し、ｂ＝ｎ・ａで展開して超楕円形状とバスタブ曲線とで表される立体曲面を表す１つの数式（式４）を得る。
つまり楕円の公式を、ガブリエル・ラメ（Ｇａｂｒｉｅｌ  Ｌａｍｅ）の提唱する超楕円形状（角丸四角形状）の式（ガブリエル・ラメの超楕円式）に置き換えて、超楕円形状とバスタブ曲線とで表される立体曲面を表す１つの数式を得る。ガブリエル・ラメの超楕円式は、モデル式の次数ｋを大きくするほど「楕円が超楕円（角丸四角）に近づく」、また、「楕円も超楕円も次数を問わず縦・横各半径（長半径・短半径）が共通」という特徴を有している。前記１つの数式により、断面における長半径ａを媒介変数とする仮想投影面Ｐｓ：Ｙｅ＝Ａ・（−１＋ＥＸＰ［Ｂ・（ａ）］）を設定する。
この仮想投影面Ｐｓは、図１０、図１１に示すように、底面１２の形状を平面１１に対して水平に切断した断面を超楕円形状（角丸四角形状）とし、壁面１３の形状を高さｙｅに関係なく曲率が一定の相似超楕円形状としたので、図１２に示すように、車両１の後方の直線度を維持でき、遠方景観の湾曲を回避できる。
【００１５】
このように、この俯瞰画像提示装置２の仮想投影面Ｐｓは、水平方向切断面が超楕円形状で表されるとともに垂直方向切断面がバスタブ曲線で表される立体曲面であるため、平面状の底面１２と底面１２の周囲から斜め上方に延びる壁面１３とから構成される。このため、この俯瞰画像提示装置２は、表示範囲を拡大して死角を減らすとともに、地面に描画されている物を変形させることなく表示することができる。
この俯瞰画像提示装置２の仮想投影面Ｐｓは、底面１２に平行でかつ底面１２と仮想視点Ｓｖとの間に位置する任意の平面による切断面が底面１２の形状を拡大した形状であるため、遠方の景観の湾曲を抑制することができる。
この俯瞰画像提示装置２の仮想投影面Ｐｓは、１つの数式（式４）で表される曲面であるため、俯瞰画像Ｇｐをシームレスに表示して運転者に違和感を与えないようにすることができ、また、仮想投影面Ｐｓを容易に設定することができる。
なお、仮想投影面Ｐｓの高さｙｅ方向の計算式では、媒介変数ａ（断面長半径）を適用するアレニウス式を応用したが、図１３に示すように、アレニウス式以外にも、媒介変数ａ（断面長半径）を適用するシグモイド曲線、双曲線関数ｔａｎｈを応用して同様のバスタブ曲線を求めることができる。但し、シグモイド曲線、双曲線関数ｔａｎｈによって仮想投影面Ｐｓの高さｙｅ方向の曲面を設定する場合は、ともに高さｙｅ方向に限界点（収束点）が発生する。よって、俯瞰画像Ｇｐの場合は、収束高さが仮想カメラ１０の設置高さ、つまり仮想視点Ｓｖの高さ位置よりも上方になるようパラメータ設定を行う必要がある。
【００１６】
前記俯瞰画像提示装置２は、図１４に示すように、車両１を駐車枠（ガイドライン）１４に移動させる状況において、位置Ａ付近で車両１を直進後退させている場合、モニタ５に超楕円形状とバスタブ曲線とで表される立体曲面からなる仮想投影面Ｐｓにより変換された俯瞰画像Ｇｐを表示することで、図１５に示すように、視野の確保（死角削減）と画面表示の湾曲変形の改善を図ることができる。
一方、この俯瞰画像提示装置２は、図１４に示すように、車両１を駐車枠（ガイドライン）１４に移動させる状況において、位置Ｂ付近で車両１を旋回後退させている場合、図１６（Ａ）に示すように、モニタ５に表示される俯瞰画像Ｇｐの超楕円形状のコーナ部（角丸四角の角部）付近では、図１６（Ｂ）に矢印で示すように、背景画像が車両１の動きと一致しない直角に近い軌跡で移動する。このような背景画像の移動は、運転者に違和感を与える場合がある。
ところで、前述のようにガブリエル・ラメの超楕円式は、「楕円も超楕円も次数を問わず縦・横各半径（長半径・短半径）が共通」という特徴を有しているので、図９に示す超楕円形状を表す１つの数式（式４）の次数ｋと長半径ａおよび短半径ｂとは、それぞれ独立したパラメータであり、値の大きさが相互に影響することはない。よって、異なる異なる乗数（次数ｋ）の底面１２、あるいは壁面１３（バスタブ断面）であっても、バスタブ座標系［ｘｅ，ｙｅ，ｚｅ］におけるｙｅ軸回り［０，９０，１８０，２７０］ｄｅｇ位置では、長半径ａおよび短半径ｂに起因する同じ周回位置で必ず結像することになる。
そこで、画像変換手段４には、図１７（Ａ）、（Ｂ）に示すように、俯瞰画像Ｇｐを左右に分割し、俯瞰画像Ｇｐの左右で異なる次数ｋを持ち長半径・短半径が共通の投影面（バスタブ投影面）を予め複数準備しておき、車両１の旋回走行中に操舵角センサ９が検出するステアリングハンドルの操舵角に基づき、図１８（Ａ）に示すように、左右の投影面を組み合わせた仮想投影面Ｐｓを切り替えることで、図１８（Ｂ）に示すように、超楕円形状のコーナ部付近での背景の移動を見た目に自然な表示に近づけることができる。
なお、実際の仮想投影面Ｐｓの切り替え処理では、予め画像変換処理を行うための画像変換テーブル（オフセットテーブル）をモニタ５の画面の左半分・右半分サイズ単位でガブリエル・ラメ式の乗数（次数ｋ）のパターン分だけ準備しておき、直進後退中は同じ乗数（次数ｋ）のテーブルを組み合わせ、旋回後退中は操舵角に応じて異なる乗数（次数ｋ）のテーブルを組み合わせる。これにより、旋回後退中は、車両１の旋回に沿った自然な背景画像の移動を実現できるテーブルの組み合わせに切り替えて、より車両１の動きに沿った俯瞰画像Ｇｐを表示することができる。
【００１７】
このように、画像変換手段４は、車両１の状態に基づいて超楕円で表される投影面の次数ｋを変化させるため、運転者に与える違和感を抑制することができる。具体的には、俯瞰画像提示装置２に車両１の操舵角を検出する操舵角センサ９を備え、画像変換手段４は操舵角センサ９により検出された操舵角に基づいて超楕円の次数ｋを変化させるため、車両１の旋回中には車両１の旋回に合わせて自然に背景が変化するように表示して、運転者に違和感を与えないようにすることができる。
さらに、画像変換手段４は、俯瞰画像Ｇｐを左右に分割し、操舵角センサ９により検出された操舵角に基づいて左右の画像の投影面の次数ｋを変化させるため、車両１の旋回中には車両１の旋回に合わせて自然に背景が変化するように表示して、運転者に違和感を与えないようにすることができる一方、左右の表示範囲を確保し、さらに遠方の景観の湾曲を軽減することができる。
また、この俯瞰画像提示装置２は、仮想投影面Ｇｐを構成する壁面１３が超楕円形状であるため、左右の画像の次数を変化させても画像の接合部でずれが生じないようにすることができる。
【００１８】
ところで、地面投影面に基づく従来の俯瞰画像では、図１９（Ａ）に示すように、変換画像に関して「表示変形の小さい領域」だけを抽出し、モニタの画面サイズに合わせて拡大する処理が行なわれていた。この場合、モニタの画面サイズに合わせて拡大する処理は仮想カメラを低い位置に設置し、地面付近を接写する状態としてモデルを定義することができる。その結果、画面上で表示される駐車枠（ガイドライン）１４の表示サイズは大きく、視力に衰えを覚える高齢者などを対象とした駐車支援画像の仕様としては見やすいものとなっていた。
逆に、前述超楕円形状とバスタブ曲線で表される仮想投影面Ｐｓによる広範囲俯瞰画像では、仮想カメラ１０を上方に設置して仮想視点Ｓｖの位置を高くしているため、図１９（Ｂ）に示すように、駐車枠（ガイドライン）１４等は画面に対して比較的小さな表示サイズとなり、少々視認しづらい場合が想定される。
よって、広範囲俯瞰画像で示される駐車枠（ガイドライン）１４付近の表示サイズを、従来の俯瞰画像寄りに「大きく」表示する広範囲俯瞰画像を設定するためには、仮想カメラ１０を下方に設置して仮想視点Ｓｖを低い位置に設定しなければならない。
駐車枠１４付近の表示サイズの拡大を目的に、仮想視点Ｓｖを低く設定した変換画像を図２０に示す。図２０（Ａ）に示すように、仮想視点Ｓｖを低く設定した場合、図２０（Ｂ）に示すように、変換画像上の左右表示範囲が、地面投影による従来の俯瞰画像（図１９（Ｂ））と殆ど差がないため、立体投影面を利用するメリットが失われる。
そこで、左右の視野を拡大するために、図２１（Ａ）に示すように、超楕円形状とバスタブ曲線で表される仮想投影面Ｐｓの底面１２のＸ軸方法のＲｘ半径の値を縮小する処理、つまり長半径ａと短半径ｂの比率ｎを拡大する処理を行なうことで、図２１（Ｃ）に示すように、左右表示範囲を拡大することができる。ところが、図２１（Ｃ）の画像では、従来の俯瞰画像（図２１（Ｂ））よりも左右表示範囲を拡大し、死角を削減することができた一方で、車両１の後方遠方部分の駐車枠１４の直線度が立体曲面に引き寄せられて湾曲し、平行度が異なるハの字（遠方に向かって先窄まり）に変形した俯瞰画像となるため、駐車支援の効果が低下してしまうことになる。
このように、仮想視点Ｓｖを低い位置に設定した俯瞰画像Ｇｐに関して、半球や楕円体の特徴が投影面のプロフィール要素に反映された投影面では、表示上の地面付近の解像度が向上してしまうため、投影面曲率による湾曲の影響が、より強く変換画像に反映されてしまうことになる。また、方形のモニタ５の表示画像に対して曲面を持つ投影面で俯瞰処理を試みる場合、画面上部コーナ部（左上・右上隅角部）の補正を均等に行なうことは難しく、やはり違和感を伴う表示変形が発生する。
【００１９】
このような問題について、ガブリエル・ラメの提唱する超楕円形状に基づく底面１２を持つ仮想投影面Ｐｓ（バスタブ投影面）に関しては、方形のモニタ５の表示画像に対して方形のプロフィールを要素に持つことから、湾曲変形および画面上部の２つの隅角部の補完についても、充分に対応可能である。
そこで、この俯瞰画像提示装置２は、画像変換手段４によって、仮想視点Ｓｖの位置を低くした時には、図２２（Ａ）に示す従来の楕円形状に基づく仮想投影面に対して、図２２（Ｂ）に示すように超楕円形状に基づく底面１２を持つ仮想投影面Ｐｓの車両１の横方向（Ｘ軸方向）の長さを短くするとともに、図２２（Ｃ）に示すように超楕円の次数ｋを大きくする。
このように、画像変換手段４は、仮想視点Ｓｖの位置を低くした時には、仮想投影面Ｐｓの車両１の横方向（Ｘ軸方向）の長さを短くするとともに、超楕円の次数ｋを大きくすることことで、仮想視点Ｐｓの位置を低くしても、図２２（Ａ）に示す従来の画像に対して、左右の表示範囲をより広く確保することができるとともに遠方の景観の湾曲を軽減することができ、より駐車しやすい俯瞰画像Ｇｐに変換することができる。
【００２０】
前述の俯瞰画像提示装置２は、１つのカメラ３により撮像した車両１の後方の画像を俯瞰画像Ｇｐに変換してモニタ５に表示させたが、車両１に取り付けた複数のカメラ３により撮像した車両１の周囲の画像を全周囲俯瞰画像に変換してモニタ５に表示させることもできる。この場合、図２３に示すように、仮想投影面Ｐｓの座標系［ｘｅ，ｙｅ，ｚｅ］の原点は、ワールド座標系の車両１の中心位置付近に設定するのが望ましい。
例えば、図２４に示すように、車両全周の俯瞰画像を提示する俯瞰画像提示装置２は、車両１の前方の景観を撮像する前景カメラ３ｆと、車両１の後方の景観を撮像する後景カメラ３ｂと、前景カメラ３ｆが撮像した前景画像Ｇｃｆと後景カメラ３ｂが撮像した後景画像Ｇｃｂとを車両全周の俯瞰画像Ｇｐｗに変換する画像変換手段４と、俯瞰画像Ｇｐｗを表示するモニタ５とを備えている。俯瞰画像提示装置２の処理手段６には、前述カメラ３ｆ、３ｂとモニタ５とを接続するとともに、後退確認スイッチ７と俯瞰画像表示選択スイッチ８と操舵角検出手段の操舵角センサ９とを接続している。
画像変換手段４は、図２５（Ａ）に示すように前景カメラ３ｆが撮像した前景画像Ｇｃｆおよび後景カメラ３ｂが撮像した後景画像Ｇｃｂを入力して前景画像Ｇｃｆおよび後景画像Ｇｃｂと結合し、図２５（Ｂ）に示すように超楕円の次数ｋを大きくした仮想投影面Ｐｓに投影して車両全周の俯瞰画像Ｇｐｗに変換し、あるいは、図２５（Ｃ）に示すように超楕円の次数ｋを小さくした仮想投影面Ｐｓに投影して車両全周の俯瞰画像Ｇｐｗに変換し、モニタ５に表示させる。
これにより、図２４、図２５に示す俯瞰画像提示装置２は、前方の景観に関しても、後方の景観に関しても、駐車枠（ガイドライン）などの自車両近傍の路面上描画物の直線性は確保され、さらに仮想投影面Ｐｓ（バスタブ投影面）の側面部分を使うことでより広範囲の遠方周囲景観を違和感なく表示できる。さらに、複数のカメラ３ｆ、３ｂの画像Ｇｃｆ、Ｇｃｂを連結した全周囲俯瞰画像Ｇｐｗについても、仮想投影面Ｐｓの底面１２と側面１３との連結境界付近の連続性を確保（継ぎ目なくシームレスな画像を作成）できる。
なお、俯瞰画像提示装置２は、前述前景カメラ３ｆおよび後景カメラ３ｂだけでなく、図２４に破線で示すように、車両１の左側方の景観を撮像する左景カメラ３ｌと、車両１の右側方の景観を撮像する右景カメラ３ｒとを処理手段６に接続し、画像変換手段４によって、左景カメラ３ｌが撮像した左景画像Ｇｃｌと右景カメラ３ｒが撮像した右景画像Ｇｃｒとを入力して前述前景画像Ｇｃｆおよび後景画像Ｇｃｂと組み合わせて結合し、車両全周の俯瞰画像Ｇｐｗに変換し、モニタ５に表示させることもできる。
【００２１】
また、上述のように複数のカメラ３により撮像した車両１の周囲の画像を全周囲俯瞰画像Ｇｐｗに変換して提示する俯瞰画像提示装置２は、俯瞰画像Ｇｐｗを分割し、分割した各画像の次数ｋを操舵角センサ９により検出された操舵角に基づいて変化させることで、車両１が旋回中にモニタ５に表示される全周囲画像の移動を自然な表示に近づけることができる。
俯瞰画像提示装置２は、図２６に示すように、仮想投影面Ｐｓの座標系［ｘｅ，ｙｅ，ｚｅ］の原点をワールド座標系の車両１の中心位置付近に設定し、図２７（Ａ）（Ｂ）に示すように、俯瞰画像Ｇｐｗを長半径、短半径位置で４つの第１〜第４象限Ｑ１〜Ｑ４に分割し、第１〜第４象限Ｑ１〜Ｑ４毎に大きな次数ｋで超楕円形状（角丸四角形状）の投影面の変換テーブルＴ１（図２７（Ａ））と小さな次数ｋで楕円形状の投影面の変換テーブルＴ２（図２７（Ｂ））とを画像変換手段４に予め準備しておく。画像変換手段４は、車両１の走行中に操舵角センサ９が検出するステアリングハンドルの操舵角に基づき、第１〜第４象限Ｑ１〜Ｑ４に設定した投影面の組み合わせを設定する。
例えば、画像変換手段４は、車両１が直進走行している場合に、第１〜第４象限Ｑ１〜Ｑ４の全てを図２７（Ａ）に示す大きな次数ｋで超楕円形状の投影面に設定し、俯瞰画像Ｇｐｗをモニタ５に表示する。これにより、俯瞰画像Ｇｐｗは、湾曲変形が少なく自然な表示にすることができる。
一方、画像変換手段４は、車両１が旋回走行している場合に、図２８に示すように、旋回方向で前方内側（第２象限Ｑ２）を大きな次数ｋで超楕円形状の投影面（図２７（Ａ））に設定するとともに、旋回方向で前方外側（第１象限Ｑ１）を小さな次数ｋで楕円形状の投影面（図２７（Ｂ））に設定し、俯瞰画像Ｇｐｗをモニタ５に表示する。これにより、俯瞰画像Ｇｐｗは、旋回方向内側を湾曲変形が少なく自然な表示にでき、旋回方向外側を背景の移動が自然な表示にでき、旋回中の画像のコーナ部付近での背景の移動を見た目に自然な表示に近づけることができる。
なお、車両１が旋回走行している場合には、前述のように第１象限Ｑ１、第２象限Ｑ２だけでなく、第３象限Ｑ３、第４象限Ｑ４についても、図２８に示すように、第３象限Ｑ３を小さな次数ｋで楕円形状の投影面（図２７（Ｂ））に設定するとともに、第４象限Ｑ４を大きな次数ｋで超楕円形状の投影面（図２７（Ａ））に設定し、俯瞰画像Ｇｐｗをモニタ５に表示する。
つまり、操舵角に応じて複数のカメラ３別の最適なテーブルの組合せをデータベース化しておき、車両１の直進移動・旋回移動別に変換テーブルの組合せを可変することで、動的全周囲画像をつくることができる。
このように、俯瞰画像提示装置２は、画像変換手段４によって、複数のカメラ３により撮像された画像を結合して、車両１を中心とした車両全周の俯瞰画像Ｇｐｗを生成することで、車両１が旋回中であっても、画像の結合部にギャップを生じることなく、全周囲俯瞰画像Ｇｐｗをモニタ５に表示することができる。
【産業上の利用可能性】
【００２２】
この発明は、俯瞰画像をシームレスに表示して運転者に違和感を与えないようにし、仮想投影面を容易に設定でき、また、表示範囲を拡大して死角を減らすとともに、地面に描画されている物を変形させることなく表示することができ、各種車両の運転支援を目的とする俯瞰画像提示装置に適用することができる。
【符号の説明】
【００２３】
１  車両
２  俯瞰画像提示装置
３  カメラ
４  画像変換手段
５  モニタ
６  処理手段
７  後退確認スイッチ
８  俯瞰画像表示選択スイッチ
９  操舵角センサ
１０  仮想カメラ
１１  平面
１２  底面
１３  壁面
１４  駐車枠（ガイドライン）
【図１】
2014154904.tif 000003
【図２】
2014154904.tif 000004
【図３】
2014154904.tif 000005
【図４】
2014154904.tif 000006
【図５】
2014154904.tif 000007
【図７】
2014154904.tif 000008
【図８】
2014154904.tif 000009
【図９】
2014154904.tif 000010
【図１０】
2014154904.tif 000011
【図１１】
2014154904.tif 000012
【図１３】
2014154904.tif 000013
【図１４】
2014154904.tif 000014
【図２３】
2014154904.tif 000015
【図２４】
2014154904.tif 000016
【図２６】
2014154904.tif 000017
【図６】
2014154904.tif 000018
【図１２】
2014154904.tif 000019
【図１５】
2014154904.tif 000020
【図１６】
2014154904.tif 000021
【図１７】
2014154904.tif 000022
【図１８】
2014154904.tif 000023
【図１９】
2014154904.tif 000024
【図２０】
2014154904.tif 000025
【図２１】
2014154904.tif 000026
【図２２】
2014154904.tif 000027
【図２５】
2014154904.tif 000028
【図２７】
2014154904.tif 000029
【図２８】
2014154904.tif 000030