(57)【要約】【課題】旋回時、運転場面に応じた最適なモニタ映像の表示変更制御を行うことで、的確な駐車操作支援や安全確認支援を達成することができる運転支援装置を提供すること。【解決手段】車両に設置したリアカメラ１とは異なる位置に設定した仮想カメラ８と、リアカメラ１により映し出される被写体側に設定した仮想投影面と、を用いた視点変換により、リアカメラ１のカメラ映像データから車室内のモニタ３に映し出すモニタ画像データを生成するモニタ画像データ生成手段を備えた運転支援装置において、モニタ画像データ生成手段は、旋回後進時、中立位置からのハンドル操舵角θの大きさが大きいほど、左右方向の斜め視点映像範囲を拡大するように、少なくとも遠景用スクリーン72と遠景用ＣＣＤ92の形状を変更し、形状変更制御による仮想カメラ８と仮想立体スクリーン７と仮想立体ＣＣＤ９を用いた視点変換により、モニタ３に映し出すモニタ画像データを生成する手段とした。【選択図】図１
2008149878.tif 000002
【特許請求の範囲】
【請求項１】
車両に設置した実カメラとは異なる位置に設定した仮想カメラと、実カメラにより映し出される被写体側に設定した仮想投影面と、を用いた視点変換により、実カメラのカメラ映像データから車室内のモニタに映し出すモニタ画像データを生成するモニタ画像データ生成手段を備えた運転支援装置において、
前記仮想投影面として、俯瞰映像を得る近景用投影面と斜め視点映像を得る遠景用投影面を有する仮想立体投影面を設定する仮想立体投影面設定手段と、
前記仮想カメラの仮想撮像面として、俯瞰映像を得る近景用撮像面と斜め視点映像を得る遠景用撮像面を有する仮想立体撮像面を設定する仮想立体撮像面設定手段と、
ハンドル操舵角を検出するハンドル操舵角検出手段と、を設け、
前記モニタ画像データ生成手段は、車両旋回時、中立位置からのハンドル操舵角の大きさが大きいほど、左右方向の斜め視点映像範囲を拡大するように、少なくとも前記遠景用投影面と前記遠景用撮像面の形状を変更し、形状変更制御による仮想カメラと仮想立体投影面と仮想立体撮像面を用いた視点変換により、前記モニタに映し出すモニタ画像データを生成することを特徴とする運転支援装置。
【請求項２】
請求項１に記載された運転支援装置において、
前記実カメラは、車両後部位置に設定されたリアカメラであり、
前記モニタ画像データ生成手段は、操舵系ハンドルを右に切っての左旋回後進時、または、操舵系ハンドルを左に切っての右旋回後進時、ハンドル操舵角が中立位置のとき、俯瞰映像と斜め視点映像による二平面映像に設定し、ハンドル操舵角が中立位置から大きくなるほど、左右方向の斜め視点映像範囲を拡大するモニタ画像データを生成することを特徴とする運転支援装置。
【請求項３】
請求項１または請求項２の何れか１項に記載された運転支援装置において、
前記モニタ画像データ生成手段は、旋回時、中立位置からのハンドル操舵角の大きさが不感角度以下の領域のとき、ハンドル操舵角の微小変化にかかわらず二平面映像を固定とするモニタ画像データを生成することを特徴とする運転支援装置。
【請求項４】
請求項１乃至３の何れか１項に記載された運転支援装置において、
前記遠景用投影面及び遠景用撮像面による斜め視点映像領域の中心位置を面に沿って縦方向に通る線を斜め視点映像の分割線とすると共に、この分割線を第１斜め視点映像と第２斜め視点映像の分割回転軸とし、
前記分割回転軸周りの斜め視点映像領域から第１斜め視点映像領域までの角度と、前記分割回転軸周りの斜め視点映像領域から第２斜め視点映像領域までの角度を、分割回転角というとき、
前記モニタ画像データ生成手段は、旋回後進時、ハンドル操舵角が不感角度以下のとき、俯瞰映像と斜め視点映像による二平面映像に設定し、ハンドル操舵角が不感角度を超えると、斜め視点映像領域を前記分割線により左右に二分割し、俯瞰映像と第１斜め視点映像と第２斜め視点映像による三平面映像に設定し、ハンドル操舵角が中立位置から不感角度を超えて大きくなるほど前記分割回転角を大きくし、第１斜め視点映像と第２斜め視点映像による左右方向の斜め視点映像範囲を拡大するモニタ画像データを生成することを特徴とする運転支援装置。
【請求項５】
請求項１乃至請求項３の何れか１項に記載された運転支援装置において、
前記モニタ画像データ生成手段は、旋回後進時、ハンドル操舵角が不感角度以下のとき、俯瞰映像と斜め視点映像による二平面映像に設定し、ハンドル操舵角が不感角度を超えると、俯瞰映像領域と斜め視点映像領域の左右位置に第１横視点映像領域と第２横視点映像領域を追加し、俯瞰映像と斜め視点映像と第１横視点映像と第２横視点映像による四平面映像に設定し、ハンドル操舵角が中立位置から不感角度を超えて大きくなるほど、第１横視点映像および第２横視点映像と共に俯瞰映像領域と斜め視点映像領域を左右方向に拡大するモニタ画像データを生成することを特徴とする運転支援装置。
【請求項６】
請求項５に記載された運転支援装置において、
前記モニタ画像データ生成手段は、斜め視点映像領域と第１横視点映像領域の接続部を円弧面によりを滑らかに繋ぎ、斜め視点映像領域と第２横視点映像領域の接続部を円弧面により滑らかに繋いだことを特徴とする運転支援装置。
【請求項７】
請求項１乃至請求項３の何れか１項に記載された運転支援装置において、
前記モニタ画像データ生成手段は、旋回後進時、ハンドル操舵角が不感角度以下のとき、俯瞰映像と斜め視点映像による二平面映像に設定し、ハンドル操舵角が中立位置から大きく外れた場合の仮想立体投影面と仮想立体撮像面として、二平面形状に沿った形状を持つ自由曲面による仮想立体自由投影曲面と仮想立体自由撮像曲面を設定し、ハンドル操舵角が中立位置から不感角度を超えて大きくなるほど、二平面による仮想立体投影面と仮想立体撮像面からモーフィングにより仮想立体自由投影曲面と仮想立体自由撮像曲面に変形してゆくモニタ画像データを生成することを特徴とする運転支援装置。
【請求項８】
請求項１乃至請求項７の何れか１項に記載された運転支援装置において、
前記モニタ画像データ生成手段は、車両旋回時、中立位置からのハンドル操舵角の大きさに応じて前記仮想カメラを車両の旋回方向に自転させ、自転する仮想カメラと仮想立体撮像面と仮想立体投影面を用いた視点変換により、近景の俯瞰映像と遠景の斜め視点映像をシームレスに接合した映像を前記モニタに映し出すモニタ画像データを生成することを特徴とする運転支援装置。
【請求項９】
請求項８に記載された運転支援装置において、
前記モニタ画像データ生成手段は、車両旋回時、中立位置からのハンドル操舵角の大きさに応じて前記仮想カメラを車両の旋回方向に自転させると共に、自転する仮想カメラの仮想立体撮像面と仮想立体投影面の相対的な位置関係を維持することを特徴とする運転支援装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想カメラと仮想立体投影面／仮想立体撮像面（二平面立体モデル）を用いた視点変換により、カメラ映像データからモニタ画像データを生成する運転支援装置、特に、ハンドル操舵に基づいて二平面立体モデル形状を変更制御する運転支援装置に関する。
【背景技術】
【０００２】
従来、運転支援装置としては、車両の動きに応じて画面構成及び、視点位置を連続的に変更することにより、ドライバに理解しやすい映像を提供することを目的とし、車両の動きに連動して、複数の撮影装置により撮像された複数のカメラ映像を１つの視点から見た俯瞰映像として表示させる１視点映像と、複数のカメラ映像を分割画面に表示した多視点映像とを切り換えるものが知られている（例えば、特許文献１参照）。
【０００３】
また、従来の画像生成装置としては、数台のカメラで撮影された複数枚の画像について、画像を互いに独立して表示するのではなく、数台のカメラで撮影しているエリアの全体の様子が直感的に分かるように、一枚に合成した画像を表示するものが知られている（例えば、特許文献２参照）。
【特許文献１】特開２００５−２３６４９３号公報
【特許文献２】特許第３２８６３０６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１の運転支援装置及び特許文献２の画像生成装置にあっては、いずれもハンドル操舵角にかかわらず、仮想投影面の形状が固定された一定形状であるため、この一定形状の仮想投影面による視点変換手法によるモニタ映像は、例えば、同じ映像視野範囲による近景の俯瞰映像のみのままであったり、同じ映像視野範囲による遠景のパース映像のみのままであったりというように、固定視野による映像表示となる。
【０００５】
このように、固定視野による映像表示で、どのような場面にも対応するためには、最も一般的な表示、あるいは、妥協的な表示をするしかなく、リアカメラを用いた運転支援装置では、結果的に、真後ろへ直進するときに車両後方を視認できる仮想投影面の形状設定による表示になる。これでは、旋回後進時という運転場面においては、これから進もうとする斜め後ろ進行方向の映像をモニタ画面に表示することができない、という問題があった。
【０００６】
これを解決する案として、例えば、リアカメラをズームカメラとし、モニタ映像の画角を運転場面に応じて調整操作するという案があるが、駐車時など煩雑な運転操作の最中にモニタ映像の画角を手動操作にて調整するのは不便であるし、安全性までも損なうおそれがある。
【０００７】
本発明は、上記問題に着目してなされたもので、ハンドル操舵に基づく二平面立体モデルの形状制御手法を提案し、旋回時、運転場面に応じた最適なモニタ映像の表示変更制御を行うことで、的確な駐車操作支援や安全確認支援を達成することができる運転支援装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明では、車両に設置した実カメラとは異なる位置に設定した仮想カメラと、実カメラにより映し出される被写体側に設定した仮想投影面と、を用いた視点変換により、実カメラのカメラ映像データから車室内のモニタに映し出すモニタ画像データを生成するモニタ画像データ生成手段を備えた運転支援装置において、
前記仮想投影面として、俯瞰映像を得る近景用投影面と斜め視点映像を得る遠景用投影面を有する仮想立体投影面を設定する仮想立体投影面設定手段と、
前記仮想カメラの仮想撮像面として、俯瞰映像を得る近景用撮像面と斜め視点映像を得る遠景用撮像面を有する仮想立体撮像面を設定する仮想立体撮像面設定手段と、
ハンドル操舵角を検出するハンドル操舵角検出手段と、を設け、
前記モニタ画像データ生成手段は、車両旋回時、中立位置からのハンドル操舵角の大きさが大きいほど、左右方向の斜め視点映像範囲を拡大するように、少なくとも前記遠景用投影面と前記遠景用撮像面の形状を変更し、形状変更制御による仮想カメラと仮想立体投影面と仮想立体撮像面を用いた視点変換により、前記モニタに映し出すモニタ画像データを生成することを特徴とする。
【発明の効果】
【０００９】
よって、本発明の運転支援装置にあっては、ハンドル操舵角検出手段において、ハンドル操舵角が検出される。そして、モニタ画像データ生成手段において、車両旋回時、中立位置からのハンドル操舵角の大きさが大きいほど、左右方向の斜め視点映像範囲を拡大するように、少なくとも遠景用投影面と遠景用撮像面の形状が変更され、形状変更制御による仮想カメラと仮想立体投影面と仮想立体撮像面を用いた視点変換により、モニタに映し出すモニタ画像データが生成される。
一般に、真後ろへ直進するときには、広い視野範囲を必要としないため、後方風景中の障害物等が小さく映し出される広い映像範囲表示よりも後方風景中の障害物等が大きく映し出される狭い映像範囲表示の方が望ましいが、駐車時等で後方へ旋回運動するときには、狭い映像範囲表示よりも旋回により進行しようとする方向の障害物等を写し出せる広い映像範囲表示の方が望ましい。
これに対し、本発明では、ハンドル操舵角が中立位置にあるときには、モニタ画面において、俯瞰映像と斜め視点映像による二平面映像に設定され、ハンドル操舵角が中立位置から大きくなるほど、左右方向の斜め視点映像範囲が拡大されることになる。すなわち、旋回時、ハンドル操舵角が大きいほどモニタ画面の斜め視点映像範囲を拡大化するという、運転場面に応じた最適なモニタ映像の表示変更制御が行われる。
このように、ハンドル操舵角に基づくモデル形状変更制御を行うことで、ハンドル操舵角の大きさにかかわらず、モニタ画面を注視するだけで予想進路領域情報が確実に取得されることになり、的確な駐車操作支援や安全確認支援が達成される。
この結果、旋回時、運転場面に応じた最適なモニタ映像の表示変更制御を行うことで、的確な駐車操作支援や安全確認支援を達成することができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の運転支援装置を実現する最良の形態を、図面に示す実施例１〜実施例４に基づいて説明する。
【実施例１】
【００１１】
まず、構成を説明する。
図１は実施例１の後進時運転支援装置（運転支援装置の一例）を示す全体システム図である。図２は実施例１の後進時運転支援装置においてハンドル操舵角に基づくモデル形状変更制御による仮想カメラと仮想立体スクリーン／仮想立体ＣＣＤ（二平面立体モデル）を用いた視点変換手法の一例を説明する模式図である。図３は実施例１の後進時運転支援装置においてハンドル操舵角に対する分割回転角の関係を示す単調型・ステップ型・加速型の各特性図である。図４は実施例１の後進時運転支援装置において旋回後進時におけるモニタ画像であり、(a)はハンドル操舵角が中立域でのモニタ画像を示し、(b)はハンドル操舵角を大きく与えたときのモニタ画像を示す。
【００１２】
実施例１における後進時運転支援装置は、図１に示すように、リアカメラ１（実カメラ）と、画像処理コントローラ２と、モニタ３と、ハンドル操舵角センサ４（ハンドル操舵角検出手段）と、シフトレバー位置センサ５と、仮想カメラ位置調整操作ダイアル６と、仮想立体スクリーン７（仮想立体投影面）と、仮想カメラ８と、仮想立体ＣＣＤ９（仮想立体撮像面）と、操舵系ハンドル１０と、シフトレバー１１と、を備えている。ここで、「ＣＣＤ」とは、「Charge Coupled Device」の略で、電荷結合素子のことをいう。
【００１３】
実施例１の後進時運転支援装置は、車両に設置したリアカメラ１とは異なる位置に設定した仮想カメラ８と、リアカメラ１により映し出される被写体側に設定した仮想立体スクリーン７と、を用いた視点変換により、リアカメラ１のカメラ映像データからモニタ３に映し出すモニタ画像データを生成する装置である。
【００１４】
前記リアカメラ１は、図１に示すように、車両の後部位置に取り付けられ、車両の後方景色を映し出す。このリアカメラ１の実撮像面（リアカメラＣＣＤ）に投影される画像によりカメラ映像データを取得する。
【００１５】
このリアカメラ１の被写体側（レンズ軸側）には、図１及び図２に示すように、仮想投影面として、二平面立体モデルである仮想立体スクリーン７が設定される（仮想立体投影面設定手段）。
前記仮想立体スクリーン７は、地面に沿って設定した俯瞰映像を得る近景用スクリーン71（近景用投影面）と、近景用スクリーン71から上向き傾斜角度αにより連接して設定した斜め視点映像を得る遠景用スクリーン72（遠景用投影面）と、を有する。
【００１６】
また、リアカメラ１より高い位置には、図１及び図２に示すように、リアカメラ１からの水平方向距離ａ、地面からの垂直方向距離ｂ、により規定される位置に仮想カメラ８が設定される。
【００１７】
さらに、前記仮想カメラ８の仮想撮像面として、図１及び図２に示すように、仮想立体スクリーン７と相似な二平面立体モデルである仮想立体ＣＣＤ９が設定される（仮想立体撮像面設定手段）。
【００１８】
前記仮想立体ＣＣＤ９は、仮想カメラ８の背面側から前面側に移した状態において、近景用スクリーン71に平行に設定され俯瞰映像を得る近景用ＣＣＤ91（近景用撮像面）と、近景用ＣＣＤ91から上向き傾斜角度βにより連接して設定した斜め視点映像を得る遠景用ＣＣＤ92（遠景用撮像面）を有する。なお、実施例１では、傾斜角度αと傾斜角度βの関係を、α＝βとしているため、仮想立体スクリーン７と仮想立体ＣＣＤ９とは相似形が保たれる。
【００１９】
前記画像処理コントローラ２は、図１に示すように、デコーダ間変換部２１と、座標変換処理部２２と、ＲＯＭ２３と、ＲＡＭ２４と、エンコーダ変換部２５と、を有する。
【００２０】
前記デコーダ間変換部２１は、リアカメラ１に接合されているデコーダと、座標変換処理部２２にて想定しているデコーダと、の相違に基づき、両デコーダ間でカメラ入力座標系からデコーダ変換座標系へとデータ座標系を変換する。なお、「デコーダ」とは、一定の規則に基づいて符号化されたデータを復元し、元のデータを取り出すソフトウェアをいう。
【００２１】
前記座標変換処理部２２は、リアカメラ１により取得した単独のカメラ映像データとして前記デコーダ間変換部２１からのデコーダ変換座標系を入力し、前記ＲＯＭ２３に予め記憶設定されているマッピングテーブルを用いる。そして、座標変換にしたがって仮想カメラ８の仮想立体ＣＣＤ９上にカメラ映像データの各画素を移し、仮想カメラ８から仮想立体スクリーン７を見たときに仮想立体ＣＣＤ９に投影される画像をモニタ画像とし、このモニタ画像を得るモニタ画像データを生成する（モニタ画像データ生成手段）。
【００２２】
前記ＲＯＭ２３は、仮想立体ＣＣＤ９上での一つの画素位置を指定し、仮想立体スクリーン７上で指定した一つの画素位置に対応する第１対応位置を決め、リアカメラ１の撮像面上で第１対応位置に対応する第２対応位置を決めるという順番により、各画素位置の座標変換を行って作成したマッピングテーブルを記憶設定しておくメモリである。
【００２３】
このマッピングテーブルの作成時、リアカメラ１により取得した単独のカメラ映像データの各画素位置と、仮想立体スクリーン７を介した仮想カメラ８の仮想立体ＣＣＤ９上の各画素位置と、の間で座標変換される。また、マッピングテーブルの作成時、歪み映像による光軸位置からの画素の距離と無歪み映像による光軸位置からの画素の距離との変換量関係特性を予め定め、各画素の光軸位置からの距離と変換量関係特性とを用い、リアカメラ１により取得した単独のカメラ映像データの各画素位置の座標系歪みを補正変換し、仮想立体ＣＣＤ９の座標系としている。なお、マッピングテーブルには、仮想カメラ８の位置（ａ，ｂ）と、仮想立体スクリーン７／仮想立体ＣＣＤ９による二平面立体モデルの形状変更程度に応じて、複数のマッピングテーブルが記憶設定されている。そして、細かなカメラ位置設定や形状変更設定に対しては、例えば、補間法を用いて対応するようにしている。
【００２４】
前記ＲＡＭ２４は、書き換え可能な情報を記憶設定しておくメモリである。
実施例１は、視点変換手法に基づき作成したマッピングテーブルを予めＲＯＭ２３に記憶設定しておき、カメラ映像データをモニタ３に映し出すモニタ画像データとするために座標変換処理を行うようにした例である。しかし、例えば、演算処理速の速いハードウェアを搭載し、リアルタイムで座標変換を行いながらモニタ画像データを生成するようなシステムとした場合、このＲＡＭ２４に、各画素等の座標変換式を記憶設定しておく。
【００２５】
前記エンコーダ変換部２５は、前記座標変換処理部２２により生成されたモニタ画像データを、例えば、運転者視点対応の左右反転処理を含んで、モニタ３に映し出す画像データに変換する。なお、「エンコーダ」とは、データを一定の規則に基づいて符号化するソフトウェアをいう。
【００２６】
前記モニタ３は、車室内のインスツルメントパネル位置等に設定され、画像処理コントローラ２からの画像データに基づいて、モニタ画面３１に車両後方側風景のうち、近景を俯瞰映像により表示し、遠景を斜め視点映像により表示する。そして、モニタ画面３１には、図４(a),(b)に示すように、後進時、近景の俯瞰映像表示と遠景の斜め視点映像表示に加え、車両イラスト１２を画面中央下部に表示する。
【００２７】
前記ハンドル操舵角センサ４は、操舵系ハンドル１０を操作した場合、ハンドル操作方向と共に、操舵中立位置からのハンドル操舵角θを検出する。実施例１のシステムにおいて、このハンドル操舵角センサ４からは、ハンドル操作方向情報とハンドル操舵角情報を得る。
【００２８】
前記シフトレバー位置センサ５は、シフトレバー１１を操作した場合、レバー操作位置を検出するもので、例えば、自動変速機のシフトレバー１１である場合、パーキングレンジ位置（Ｐ）、ドライブレンジ位置（Ｄ）、ニュートラルレンジ位置（Ｎ）、リバースレンジ位置（Ｒ）などの選択操作位置に応じたセンサ信号を出力する。実施例１のシステムにおいて、このシフトレバー位置センサ５からは、リバースレンジ位置の選択情報（＝後進情報）を得る。
【００２９】
前記仮想カメラ位置調整操作ダイアル６は、運転者等による外部からの設定操作により任意の空間位置に仮想カメラ８を設定するための仮想カメラ位置調整操作手段である。この仮想カメラ位置調整操作ダイアル６では、図１に示すように、リアカメラ１からの水平方向距離ａ（例えば、2m）と、地面からの垂直方向距離ｂ（例えば、3m）と、を独立に設定できるようにしている。
【００３０】
モニタ画像データ生成手段としての前記座標変換処理部２２では、旋回後進時、中立位置からのハンドル操舵角θの大きさが大きいほど、左右方向の斜め視点映像範囲を拡大するように、少なくとも遠景用スクリーン72と遠景用ＣＣＤ92の形状を変更し、形状変更制御による仮想カメラ８と仮想立体スクリーン７と仮想立体ＣＣＤ９を用いた視点変換により、モニタ３に映し出すモニタ画像データが生成される。
【００３１】
そして、前記座標変換処理部２２では、操舵系ハンドル１０を右に切っての左旋回後進時、または、操舵系ハンドル１０を左に切っての右旋回後進時、ハンドル操舵角θが中立位置のとき、俯瞰映像３Ｂと斜め視点映像３Ｐによる二平面映像に設定し、ハンドル操舵角θが中立位置から大きくなるほど、左右方向の斜め視点映像範囲を拡大するモニタ画像データが生成される。ここで、旋回後進時、中立位置からのハンドル操舵角θの大きさが不感角度θ0以下の領域のとき、ハンドル操舵角θの微小変化にかかわらず二平面映像を固定とするモニタ画像データが生成される（図３）。
【００３２】
実施例１では、図２に示すように、遠景用スクリーン72及び遠景用ＣＣＤ92による斜め視点映像領域の中心位置を面に沿って縦方向に通る線が斜め視点映像３Ｐの分割線Ｌとされると共に、この分割線Ｌが第１斜め視点映像３Ｐ-1と第２斜め視点映像３Ｐ-2の分割回転軸Ｌとされる。そして、分割回転軸Ｌ周りの斜め視点映像領域72,92から第１斜め視点映像領域72-1,92-1までの角度と、分割回転軸Ｌ周りの斜め視点映像領域72,92から第２斜め視点映像領域72-2,92-2までの角度が、分割回転角γと定義される。なお、２つの分割回転角γは、回転角の変化方向が互いに逆方向となっている。
【００３３】
実施例１の座標変換処理部２２では、旋回後進時、ハンドル操舵角θが不感角度θ0以下のとき、俯瞰映像３Ｂと斜め視点映像３Ｐによる二平面映像に設定し（図４(a)参照）、ハンドル操舵角θが不感角度θ0を超えると、斜め視点映像領域72,92を前記分割線Ｌにより左右に二分割し、俯瞰映像３Ｂと第１斜め視点映像３Ｐ-1と第２斜め視点映像３Ｐ-2による三平面映像に設定し（図４(b)参照）、ハンドル操舵角θが中立位置から不感角度θ0を超えて大きくなるほど前記分割回転角γを大きくし、第１斜め視点映像３Ｐ-1と第２斜め視点映像３Ｐ-2による左右方向の斜め視点映像範囲を拡大するモニタ画像データが生成される。
【００３４】
ここで、ハンドル操舵角θが不感角度θ0以下のとき、俯瞰映像３Ｂと斜め視点映像３Ｐによる二平面映像は、例えば、予め定めた領域配分（例えば、50％：50％）に基づいた設定とされる。また、旋回後進時、ハンドル操舵角θの大きさが不感角度θ0を超えた角度領域であるとき、分割回転角γは、0°〜90°の角度範囲で変化するもので、図３の実線特性に示すように、ハンドル操舵角θの大きさに比例して増加する単調型特性により分割回転角γを変化させる制御が行われる。なお、図３の点線特性に示すように、ハンドル操舵角θの大きさに対しステップ的に増加するステップ型特性により分割回転角γを変化させる制御を行っても良いし、ハンドル操舵角θの大きさに対し加速度的に増加する加速型特性により分割回転角γを変化させる制御を行っても良い。
【００３５】
次に、作用を説明する。
実施例１の後進時運転支援装置は、仮想カメラ８と仮想立体スクリーン７／仮想立体ＣＣＤ９（二平面立体モデル）を用いた視点変換により、カメラ映像データからモニタ画像データを生成し、旋回後進時、モニタ３に映し出される映像を運転支援情報として活用するものである。
実施例１の発明ポイントは、ハンドル操舵角θに基づいて仮想カメラ８と仮想立体スクリーン７／仮想立体ＣＣＤ９（二平面立体モデル）によるモデル形状を変更制御すること、言い換えると、ハンドル操舵角θにより斜め視点映像の形状を変更制御することにある。
以下、実施例１の後進時運転支援装置における作用として、［カメラ映像データからのモニタ映像生成作用］、［運転支援作用］について説明する。
【００３６】
［カメラ映像データからのモニタ映像生成作用］
本発明者は、二平面立体スクリーン／二平面立体ＣＣＤ（二平面立体モデル）を用いたリアカメラ映像の視点変換技術を先に提案している。その技術では、車両近景の路面映像は真上から見下ろした俯瞰映像（＝頂上俯瞰映像）に変換し、遠景映像は斜め見下ろしの斜め視点映像（＝斜め俯瞰映像）に変換し、それらを連続的に同時表示している。
【００３７】
しかし、二平面立体モデルを用いたリアカメラ映像の視点変換技術では、ハンドル操舵角にかかわらず、モデル形状が固定されているため、このモデル形状固定による二平面立体モデルを用いた視点変換手法によるモニタ映像は、例えば、近景の俯瞰映像領域と遠景の斜め視点映像領域の視野範囲が固定された映像表示となる。
【００３８】
このように、モデル形状固定による映像表示では、視野範囲が狭いモデル形状とし直線後進を重視する表示、視野範囲が広いモデル形状とし旋回後進を重視する表示、直線後進と旋回後進とで妥協的な視野範囲によるモデル形状とする表示、の３パターンの表示から選択するしかない。
視野範囲が狭いモデル形状によるモニタ表示を選択した場合、前進走行時や高速での直線後進時等において、離れた障害物等の存在を確認することができるが、低速で旋回後進させる駐車時において、進行方向の映像が視野範囲から外れ、進行方向に存在する障害物等を確認することができない。
また、視野範囲が広いモデル形状によるモニタ表示を選択した場合、低速で旋回後進させる駐車時において、進行方向に存在する障害物等を確認することができるが、前進走行時や高速での直線後進時等において、離れた障害物等が画面上で小さく写し出され、障害物等の存在を早期に確認することができない。
さらに、直線後進と旋回後進とで妥協的な視野範囲によるモデル形状によるモニタ表示を選択した場合、直線後進しようとしても旋回後進しようとしても進行方向に存在する障害物等の存在確認が中途半端なものとなるし、車庫入れするときや車庫出しするとき、予想進路領域情報を確実に取得したいという要求に応えることができない。
【００３９】
これに対し、実施例１の後進時運転支援装置にあっては、操舵系ハンドル１０を右に切っての左旋回後進時、または、操舵系ハンドル１０を左に切っての右旋回後進時、シフトレバー位置センサ５において、リーバース選択操作が検出されると共に、ハンドル舵角センサ４において、ハンドル操舵角θが検出される。この旋回後進時、座標変換処理部２２において、中立位置からのハンドル操舵角θの大きさが大きいほど、左右方向の斜め視点映像範囲を拡大するように、少なくとも遠景用スクリーン72と遠景用ＣＣＤ92の形状を変更し、形状変更制御による仮想カメラ８と仮想立体スクリーン７と仮想立体ＣＣＤ９を用いた視点変換により、モニタ３に映し出すモニタ画像データが生成される。
【００４０】
一般に、真後ろへ直進するときには、広い視野範囲を必要としないため、後方風景中の障害物等が小さく映し出される広い視野範囲表示よりも後方風景中の障害物等が大きく映し出される狭い視野範囲表示の方が望ましい。逆に、駐車時等で後方へ旋回運動するときには、狭い視野範囲表示よりも旋回により進行しようとする方向の障害物等を写し出せる広い視野範囲表示の方が望ましい。
【００４１】
これに対し、実施例１では、旋回後進時、ハンドル操舵角θが不感角度θ0以下のとき、図４(a)に示すように、モニタ画面３１は、俯瞰映像３Ｂと斜め視点映像３Ｐによる二平面映像に設定される。そして、ハンドル操舵角θが不感角度θ0を超えると、斜め視点映像領域72,92が分割線Ｌにより左右に二分割され、図４(b)に示すように、モニタ画面３１は、俯瞰映像３Ｂと第１斜め視点映像３Ｐ-1と第２斜め視点映像３Ｐ-2による三平面映像に設定される。さらに、ハンドル操舵角θが中立位置から不感角度θ0を超えて大きくなるほど分割回転角γが大きくされ、これに伴って、第１斜め視点映像３Ｐ-1と第２斜め視点映像３Ｐ-2による左右方向の斜め視点映像範囲が拡大される。
【００４２】
さらに、座標変換処理部２２では、旋回後進時であっても、図３に示すように、中立位置からのハンドル操舵角θの大きさが不感角度θ0以下の領域のときには、ハンドル操舵角θの微小変化にかかわらず、俯瞰映像３Ｂと斜め視点映像３Ｐによる二平面映像に設定に固定する制御が行われる（図４(a)参照）。
【００４３】
加えて、旋回後進時、中立位置からのハンドル操舵角θの大きさが不感角度θ0を超えた角度領域であるとき、図３に示すように、ハンドル操舵角θの大きさに比例して増加する単調型特性により、第１斜め視点映像３Ｐ-1と第２斜め視点映像３Ｐ-2による視野範囲を拡大する制御が行われる。
【００４４】
［運転支援作用］
上記のように、旋回後進時、ハンドル操舵角θが不感角度θ0以下の中立位置領域にあるときには、モニタ画面３１を二平面映像に固定し、中立位置からのハンドル操舵角θの大きさが不感角度θ0を超えると、モニタ画面３１を三平面映像とし、全画面表示を保ったままでハンドル操舵角θが大きくなるほど、モニタ画面３１の斜め視点映像範囲を拡大する制御が行われる。すなわち、旋回時、ハンドル操舵角が大きいほどモニタ画面３１における斜め視点映像の視野範囲を拡大化するという、運転場面に応じた最適なモニタ映像の表示変更制御が行われる。
【００４５】
このように、ハンドル操舵角θに基づくモデル形状変更制御を行うことで、ハンドル操舵角θの大きさにかかわらず、モニタ画面３１を注視するだけで予想進路領域情報が確実に取得されることになり、的確な駐車操作支援や安全確認支援が達成される。
【００４６】
例えば、車庫入れや車庫出しをするときには、ハンドル操舵角θが大きいほど斜め視点映像の視野範囲が拡大化するモニタ表示により、進行方向に存在する障害物等を見逃すことなく確認することができるというように、予想進路領域情報の確実な取得により的確な運転支援となる。
【００４７】
また、屋外駐車場での駐車時等で大きなハンドル操舵角θにより後方へ旋回運動するときには、斜め視点映像の視野範囲を拡大したモニタ表示により、予想進路領域情報を確実に取得できるというように、後進の旋回操作を伴う駐車時に駐車操作支援となる。
【００４８】
また、ハンドル操舵角θを中立域として真後ろへ直進するときには、斜め視点映像の視野範囲を縮小したモニタ表示により、遠く離れた場所にある障害物等の存在を早期に確認できるというように、後進の直線走行時に安全確認支援となる。
【００４９】
さらに、実施例１では、中立位置からのハンドル操舵角θの大きさが不感角度θ0以下の領域のときには、ハンドル操舵角θの微小変化にかかわらず斜め視点映像の視野範囲を固定する制御が行われる。このため、車両挙動の直線後進を確保するように、修正操舵を行いながらの後進時、モニタ画面３１の映像が、わずかなハンドル操作に応答して変動することが無く、修正操舵を伴う直線後進時、モニタ画面３１上でブレの無い安定した俯瞰映像と斜め視点映像によるモニタ画面３１を確保することができる。
【００５０】
加えて、ハンドル操舵角θが中立位置から不感角度θ0を超えて大きくなるほど分割回転角γを大きくし、第１斜め視点映像３Ｐ-1と第２斜め視点映像３Ｐ-2による左右方向の斜め視点映像範囲を拡大する制御が行われる。このため、左右広範囲の映像が見える効果が得られるばかりでなく、車両の後進旋回方向に合わせて車両後面に正対するようにスクリーン面やＣＣＤ面の角度が変化することで、拡大した斜め視点映像の両端部における映像歪みが小さく抑えられる。つまり、ハンドル操舵角に応じた画角変更制御でも左右広範囲の映像が見えるものの、広範囲にするほど映像の両端部で歪みが大きくなる点で、モデル形状変更制御は、画角変更制御と異なる。
【００５１】
次に、効果を説明する。
実施例１の後進時運転支援装置にあっては、下記に列挙する効果を得ることができる。
【００５２】
(1) 車両に設置した実カメラとは異なる位置に設定した仮想カメラ８と、実カメラにより映し出される被写体側に設定した仮想投影面と、を用いた視点変換により、実カメラのカメラ映像データから車室内のモニタ３に映し出すモニタ画像データを生成するモニタ画像データ生成手段を備えた運転支援装置において、前記仮想投影面として、俯瞰映像を得る近景用スクリーン71と斜め視点映像を得る遠景用スクリーン72を有する仮想立体スクリーン７を設定する仮想立体投影面設定手段と、前記仮想カメラ８の仮想撮像面として、俯瞰映像を得る近景用ＣＣＤ91と斜め視点映像を得る遠景用ＣＣＤ92を有する仮想立体ＣＣＤ９を設定する仮想立体撮像面設定手段と、ハンドル操舵角θを検出するハンドル操舵角センサ４と、を設け、前記モニタ画像データ生成手段は、車両旋回時、中立位置からのハンドル操舵角θの大きさが大きいほど、左右方向の斜め視点映像範囲を拡大するように、少なくとも前記遠景用スクリーン72と前記遠景用ＣＣＤ92の形状を変更し、形状変更制御による仮想カメラ８と仮想立体スクリーン７と仮想立体ＣＣＤ９を用いた視点変換により、前記モニタ３に映し出すモニタ画像データを生成するため、旋回時、運転場面に応じた最適なモニタ映像の表示変更制御を行うことで、的確な駐車操作支援や安全確認支援を達成することができる。特に、回転運動中の視認性が、固定型の二平面立体モデルに比べ向上し、的確な駐車操作や安全確認に効果がある。
【００５３】
(2) 前記実カメラは、車両後部位置に設定されたリアカメラ１であり、前記モニタ画像データ生成手段は、操舵系ハンドル１０を右に切っての左旋回後進時、または、操舵系ハンドル１０を左に切っての右旋回後進時、ハンドル操舵角θが中立位置のとき、俯瞰映像３Ｂと斜め視点映像３Ｐによる二平面映像に設定し、ハンドル操舵角θが中立位置から大きくなるほど、左右方向の斜め視点映像範囲を拡大するモニタ画像データを生成するため、旋回後進時、運転場面に応じた最適なモニタ映像３１の表示変更制御を行うことができる。特に、車庫入れや車庫出しをするとき、状況変化に応じた的確な運転支援を行うことができる。
【００５４】
(3) 前記モニタ画像データ生成手段は、旋回後進時、中立位置からのハンドル操舵角θの大きさが不感角度θ0以下の領域のとき、ハンドル操舵角θの微小変化にかかわらず二平面映像を固定とするモニタ画像データを生成するため、修正操舵を伴う直線後進時、モニタ画面３１上でブレの無い安定したモニタ映像を確保することができる。
【００５５】
(4) 前記遠景用スクリーン72及び遠景用ＣＣＤ92による斜め視点映像領域の中心位置を面に沿って縦方向に通る線が斜め視点映像３Ｐの分割線Ｌとされると共に、この分割線Ｌが第１斜め視点映像３Ｐ-1と第２斜め視点映像３Ｐ-2の分割回転軸Ｌとし、前記分割回転軸Ｌ周りの斜め視点映像領域72,92から第１斜め視点映像領域72-1,92-1までの角度と、前記分割回転軸Ｌ周りの斜め視点映像領域72,92から第２斜め視点映像領域72-2,92-2までの角度を、分割回転角γというとき、前記モニタ画像データ生成手段は、旋回後進時、ハンドル操舵角θが不感角度θ0以下のとき、俯瞰映像３Ｂと斜め視点映像３Ｐによる二平面映像に設定し、ハンドル操舵角θが不感角度θ0を超えると、斜め視点映像領域72,92を前記分割線Ｌにより左右に二分割し、俯瞰映像３Ｂと第１斜め視点映像３Ｐ-1と第２斜め視点映像３Ｐ-2による三平面映像に設定し、ハンドル操舵角θが中立位置から不感角度θ0を超えて大きくなるほど前記分割回転角γを大きくし、第１斜め視点映像３Ｐ-1と第２斜め視点映像３Ｐ-2による左右方向の斜め視点映像範囲を拡大するモニタ画像データを生成するため、旋回後進時、左右広範囲の映像が見えるばかりでなく、拡大した斜め視点映像３Ｐ-1，３Ｐ-2の両端部における映像歪みを小さく抑えることができる。
【実施例２】
【００５６】
実施例２は、ハンドル操舵に応じてモデル形状を二面形状から四面形状に変更させるようにした例である。
【００５７】
まず、構成を説明する。
図５は実施例２の後進時運転支援装置においてハンドル操舵角に基づくモデル形状変更制御による仮想カメラと仮想立体スクリーン／仮想立体ＣＣＤ（二平面立体モデル）を用いた視点変換手法の一例を説明する模式図である。図６は実施例２の後進時運転支援装置において旋回後進時にハンドル操舵角を大きく与えたときのモニタ画像を示す図である。
【００５８】
実施例２におけるモニタ画像データ生成手段としての前記座標変換処理部２２では、旋回後進時、ハンドル操舵角θが不感角度θ0以下のとき、俯瞰映像３Ｂと斜め視点映像３Ｐによる二平面映像に設定する（図４(a)参照）。そして、ハンドル操舵角θが不感角度θ0を超えると、図５に示すように、俯瞰映像領域71と斜め視点映像領域72の左右位置に第１横視点映像領域73-1と第２横視点映像領域73-2を追加し、図６に示すように、俯瞰映像３Ｂと斜め視点映像３Ｐと第１横視点映像３Ｓ-1と第２横視点映像３Ｓ-2による四平面映像に設定する。そして、ハンドル操舵角θが中立位置から不感角度θ0を超えて大きくなるほど、モニタ画面３１での全画面表示を保ったままで、第１横視点映像３Ｓ-1および第２横視点映像３Ｓ-2と共に俯瞰映像領域３Ｂと斜め視点映像領域３Ｐを左右方向に拡大するモニタ画像データが生成される。ここで、ハンドル操舵角θに対する俯瞰映像領域３Ｂと斜め視点映像領域３Ｐを左右方向に拡大特性は、実施例１と同様に、単調型特性、ステップ型特性、加速型特性のいずれの特性により与えても良い（図３参照）。
【００５９】
さらに、実施例２の座標変換処理部２２では、図５に示すように、斜め視点映像領域72と第１横視点映像領域73-1の接続部を円弧面74-1によりを滑らかに繋ぎ、斜め視点映像領域72と第２横視点映像領域73-2の接続部を円弧面74-2により滑らかに繋いでいる。なお、他の構成は、実施例１と同様であるので、図示並びに説明を省略する。
【００６０】
次に、作用を説明すると、実施例２では、旋回後進時、中立位置からのハンドル操舵角θの大きさが不感角度θ0を超えると、ハンドル操舵角θが大きいほど、第１横視点映像３Ｓ-1および第２横視点映像３Ｓ-2と共に俯瞰映像領域３Ｂと斜め視点映像領域３Ｐを左右方向に拡大する制御が行われる。
【００６１】
したがって、ハンドル操舵時、モニタ画面３１の映像は、図６に示すように、俯瞰映像３Ｂが左右方向に拡大され、斜め視点映像３Ｐが左右方向と車両上方向に拡大される。加えて、モニタ画面３１の両端部に第１横視点映像３Ｓ-1と第２横視点映像３Ｓ-2が追加される。このため、第１横視点映像３Ｓ-1と第２横視点映像３Ｓ-2の追加により、実施例１に比べて左右方向の視野範囲が拡大し、旋回後進時に進行方向の横方向の遠景までも視認することができる。なお、図４(a)と図６の比較からも明らかなように、モニタ画面３１において、視野範囲の拡大に伴って車両イラスト１２を小さく表示することで、視野範囲の拡大程度を画面注視により容易に判別することができる。
【００６２】
さらに、実施例２では、斜め視点映像領域72と第１横視点映像領域73-1の接続部と、斜め視点映像領域72と第２横視点映像領域73-2の接続部を、それぞれ円弧面74-1，74-2により滑らかに繋いでいるため、斜め視点映像３Ｐと第１横視点映像３Ｓ-1との繋ぎ目の映像、斜め視点映像３Ｐと第２横視点映像３Ｓ-2との繋ぎ目の映像を、違和感を与えることのない最適映像とすることができる。尚、他の作用は実施例１と同様である。
【００６３】
次に、効果を説明する。
実施例２の後進時運転支援装置にあっては、実施例１の(1),(2),(3)の効果に加え、下記に列挙する効果を得ることができる。
【００６４】
(5) 前記モニタ画像データ生成手段は、旋回後進時、ハンドル操舵角θが不感角度θ0以下のとき、俯瞰映像３Ｂと斜め視点映像３Ｐによる二平面映像に設定し、ハンドル操舵角θが不感角度θ0を超えると、俯瞰映像領域71と斜め視点映像領域72の左右位置に第１横視点映像領域73-1と第２横視点映像領域73-2を追加し、俯瞰映像３Ｂと斜め視点映像３Ｐと第１横視点映像３Ｓ-1と第２横視点映像３Ｓ-2による四平面映像に設定し、ハンドル操舵角θが中立位置から不感角度θ0を超えて大きくなるほど、第１横視点映像３Ｓ-1および第２横視点映像３Ｓ-2と共に俯瞰映像領域３Ｂと斜め視点映像領域３Ｐを左右方向に拡大するモニタ画像データを生成するため、第１横視点映像３Ｓ-1と第２横視点映像３Ｓ-2の追加により左右方向の視野範囲が拡大し、旋回後進時に進行方向の横方向の遠景までも視認することができる。
【００６５】
(6) 前記モニタ画像データ生成手段は、斜め視点映像領域72と第１横視点映像領域73-1の接続部を円弧面74-1によりを滑らかに繋ぎ、斜め視点映像領域72と第２横視点映像領域73-2の接続部を円弧面74-2により滑らかに繋いだため、斜め視点映像３Ｐと両横視点映像３Ｓ-1，３Ｓ-2との繋ぎ目の映像を、違和感を与えることのない最適映像にすることができる。
【実施例３】
【００６６】
実施例３は、ハンドル操舵に応じてモデル形状を二面形状から自由曲面形状にモーフィング手法を用いて変更させるようにした例である。
【００６７】
まず、構成を説明する。
図７は実施例３の後進時運転支援装置においてハンドル操舵角に基づくモデル形状変更制御による仮想カメラと仮想立体スクリーン／仮想立体ＣＣＤ（二平面立体モデル）を用いた視点変換手法の一例を説明する模式図である。
【００６８】
実施例３におけるモニタ画像データ生成手段としての前記座標変換処理部２２では、旋回後進時、ハンドル操舵角θが不感角度θ0以下のとき、俯瞰映像３Ｂと斜め視点映像３Ｐによる二平面映像に設定する（図４(a)参照）。そして、ハンドル操舵角θが中立位置から大きく外れた場合の仮想立体スクリーン７と仮想立体ＣＣＤ９として、図７(b)に示すように、二平面形状に沿った形状を持つ自由曲面による仮想立体自由曲面スクリーン７’（仮想立体自由投影曲面）と仮想立体自由曲面ＣＣＤ９’（仮想立体自由撮像曲面）を設定する。そして、ハンドル操舵角θが中立位置から不感角度θ0を超えて大きくなるほど、二平面による仮想立体スクリーン７と仮想立体ＣＣＤ９からモーフィングにより仮想立体自由曲面スクリーン７’と仮想立体自由曲面ＣＣＤ９’に変形してゆくモニタ画像データが生成される。ここで、「モーフィング」とは、２つの画像を合成させて中間状態を作り、一方の形状から他方の形状へと変形していく様子を画像加工にて生成することをいう。また、ハンドル操舵角θに対してモーフィングにより自由曲面に変形を進行させる特性は、実施例１と同様に、単調型特性、ステップ型特性、加速型特性のいずれの特性により与えても良い（図３参照）。なお、他の構成は、実施例１と同様であるので、図示並びに説明を省略する。
【００６９】
次に、作用を説明すると、実施例３では、旋回後進時、中立位置からのハンドル操舵角θの大きさが不感角度θ0を超えると、ハンドル操舵角θが大きいほど、モーフィングにより二平面による仮想立体スクリーン７と仮想立体ＣＣＤ９から仮想立体自由曲面スクリーン７’と仮想立体自由曲面ＣＣＤ９’に変形させる制御が行われる。
【００７０】
したがって、実施例３では、ハンドル操舵時、モニタ画面３１の映像は、二平面モデルによる俯瞰映像３Ｂと斜め視点映像３Ｐが、自由曲面モデル化により、周りの遠景映像を徐々に取り込みながら曲面化し、視野範囲が360°方向に拡大される。このように、ハンドル操舵時に最終形状を自由曲面モデルとし、ハンドル操舵角θが大きくなるほど徐々に自由曲面モデルに近づくことで、実施例１，２に比べ、画像的に折れ曲がり等による違和感を無くしながら、全画面表示を保ったままで全周方向に視野範囲が拡大することで、旋回後進時に進行方向に含まれる遠景までも視認することができる。尚、他の作用は実施例１と同様である。
【００７１】
次に、効果を説明する。
実施例３の後進時運転支援装置にあっては、実施例１の(1),(2),(3)の効果に加え、下記の効果を得ることができる。
【００７２】
(7) 前記モニタ画像生成手段は、旋回後進時、ハンドル操舵角θが不感角度θ0以下のとき、俯瞰映像３Ｂと斜め視点映像３Ｐによる二平面映像に設定し、ハンドル操舵角θが中立位置から大きく外れた場合の仮想立体スクリーン７と仮想立体ＣＣＤ９として、二平面形状に沿った形状を持つ自由曲面による仮想立体自由曲面スクリーン７’と仮想立体自由曲面ＣＣＤ９’を設定し、ハンドル操舵角θが中立位置から不感角度θ0を超えて大きくなるほど、二平面による仮想立体スクリーン７と仮想立体ＣＣＤ９からモーフィングにより仮想立体自由曲面スクリーン７’と仮想立体自由曲面ＣＣＤ９’に変形してゆくモニタ画像データを生成するため、旋回後進時、違和感の無い画像を保ちながら、全周方向への視野範囲拡大により、進行方向に含まれる遠景までも確実に視認することができる。
【実施例４】
【００７３】
実施例４は、実施例１〜３のハンドル操舵角によるモデル形状変更制御に、ハンドル操舵角による仮想カメラの自転制御を組み合わせた複合制御例である。
【００７４】
まず、構成を説明する。
図８は実施例４の後進時運転支援装置においてハンドル操舵角に応じて位置／姿勢が制御される仮想カメラと仮想立体スクリーンと仮想立体ＣＣＤを使った視点変換手法の一例を説明する模式図である。
【００７５】
実施例４におけるモニタ画像データ生成手段としての前記座標変換処理部２２では、旋回後進時、中立位置からのハンドル操舵角θの大きさに応じて前記仮想カメラ８を車両の旋回方向に自転させると共に、自転する仮想カメラ８の仮想立体ＣＣＤ９と仮想立体スクリーン７の相対的な位置関係を維持し、自転する仮想カメラ８と仮想立体ＣＣＤ９と仮想立体スクリーン７を用いた視点変換により、近景の俯瞰映像と遠景の斜め視点映像をシームレスに接合する映像を前記モニタ３に映し出すモニタ画像データが生成される。なお、他の構成は、実施例１〜３と同様であるので、図示並びに説明を省略する。
【００７６】
次に、作用を説明する。
操舵系ハンドル１０を右に切っての左旋回後進時、または、操舵系ハンドル１０を左に切っての右旋回後進時、シフトレバー位置センサ５において、リーバース選択操作が検出されると共に、ハンドル舵角センサ４において、ハンドル操舵角θが検出される。この旋回後進時、座標変換処理部２２において、ハンドル操舵角θに応じて車両イラスト１２を画面中央上部位置にて回転表示すると共に、自車が将来必ず通ると予想される予測位置（この予測位置は、例えば、モニタ画面３１の中央上部に表示しても良い。）が動かないように、仮想カメラ８を車両の旋回方向に自転させると共に仮想カメラ８の位置を地面と平行に移動させる。
【００７７】
そして、自転と共に移動する仮想カメラ８を用いた視点変換により、座標変換処理部２２において、モニタ画像データが生成される。
【００７８】
このため、自転する仮想カメラ８を用いた視点変換により生成された画像データによりモニタ画面３１に映し出される映像は、操舵系ハンドル１０の回転動作に逐次対応して車両後方の映像全体が回転することになり、旋回後進時、モニタ３のモニタ画面３１には、予想進路領域を画面中央部に捉えて表示することができる。他の作用については、実施例１〜３と同様であるので説明を省略する。
次に、効果を説明する。
実施例４の後進時運転支援装置にあっては、実施例１〜３の効果に加え、下記に列挙する効果を得ることができる。
【００７９】
(8) 前記モニタ画像データ生成手段は、旋回後進時、中立位置からのハンドル操舵角θの大きさに応じて前記仮想カメラ８を車両の旋回方向に自転させ、自転する仮想カメラ８と仮想立体ＣＣＤ９と仮想立体スクリーン７を用いた視点変換により、近景の俯瞰映像と遠景の斜め視点映像をシームレスに接合した映像を前記モニタ３に映し出すモニタ画像データを生成するため、旋回後進時、モニタ画面３１の画面中央部に予想進路領域の映像を捉えて表示しながら、運転場面に応じた最適な画角によるモニタ映像３１の表示変更制御を行うことができる。
【００８０】
(9) 前記モニタ画像データ生成手段は、旋回後進時、中立位置からのハンドル操舵角θの大きさに応じて前記仮想カメラ８を車両の旋回方向に自転させると共に、自転する仮想カメラ８の仮想立体ＣＣＤ９と仮想立体スクリーン７の相対的な位置関係を維持するため、仮想立体スクリーン７を固定とした場合、ハンドル操舵角θが大きな領域でモニタ画面３１の端部映像に歪みが生じるのに対し、ハンドル操舵角θが大きな領域であっても、映像歪みを無くして、モニタ画面３１に近景の俯瞰映像と遠景の斜め視点映像をシームレスに接合した映像を表示することができる。
【００８１】
以上、本発明の運転支援装置を実施例１〜実施例４に基づき説明してきたが、具体的な構成については、これらの実施例に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。
【００８２】
実施例１〜３では、ハンドル操舵角による仮想立体スクリーン／仮想立体ＣＣＤ（二平面立体モデル）のモデル形状を変更する制御例を示し、実施例４では、「二平面立体モデルのモデル形状変更制御」と「二平面立体モデルの仮想カメラ自転制御」との複合制御例を示した。しかし、「二平面立体モデルのモデル形状変更制御」、あるいは、「モデル形状変更制御と仮想カメラ自転制御との複合制御」に、
・「二平面立体モデルの二平面接続位置変更制御（ハンドル操舵角が大きいほどモニタに表示される俯瞰映像領域を拡大する制御）」
・「二平面立体モデルの二平交差角度変更制御（ハンドル操舵角が大きいほどモニタに表示される斜め視点映像領域を俯瞰映像化する制御）」
・「二平面立体モデルのモデル画角変更制御（ハンドル操舵角が大きいほどモニタに表示される画角を広範囲とする制御）」
のうち、少なくとも１つの制御を加えて、複合的に利用することも可能である。
【００８３】
実施例１〜４では、操舵中立位置での視点変換モデルとして仮想立体スクリーン／仮想立体ＣＣＤ（二平面立体モデル）を用いた例を示した。しかし、操舵中立位置での視点変換モデルとしては、これらのモデルに限られるものではなく、三平面以上の複数の平面で構成した立体モデル、或いは、平面と平面とのつなぎ目を円筒面や楕円筒面等の曲面で構成した立体モデル、或いは、無数の平面を組み合わせた自由曲面で構成した立体モデルにも適用することができる。
【００８４】
実施例１〜４では、ハンドル操舵角情報と後進情報を用いて後進時に運転支援を行う例を示したが、例えば、車庫入れ時や車庫出し時や駐車時に特定して運転支援を行う場合、車速センサを用い、車速が設定車速以下の低速域あるいは停止域にて本発明のモデル形状変更制御を実行するような例としても良い。
【００８５】
実施例１〜４では、モニタ画面３１の中央部下部に車両イラスト１２を表示する例を示したが、車両イラスト１２をモニタ画面３１の中央部上部に表示しても良いし、また、車両イラスト１２を表示することなく、自車の俯瞰映像をそのまま表示するようにしても良い。
【産業上の利用可能性】
【００８６】
実施例１〜４では、実カメラをリアカメラとし、直線後進時や旋回後進時に運転支援する後進時運転支援装置の例を示したが、実カメラを車両のフロント側やサイド側の映像データを取得するフロントカメラやドアミラーカメラ等とし、直線前進時や旋回前進時に運転支援する前進時運転支援装置としても適用することができる。
【図面の簡単な説明】
【００８７】
【図１】実施例１の後進時運転支援装置（運転支援装置の一例）を示す全体システム図である。
【図２】実施例１の後進時運転支援装置においてハンドル操舵角に基づくモデル形状変更制御による仮想カメラと仮想立体スクリーン／仮想立体ＣＣＤ（二平面立体モデル）を用いた視点変換手法の一例を説明する模式図である。
【図３】実施例１の後進時運転支援装置においてハンドル操舵角に対する分割回転角の関係を示す単調型・ステップ型・加速型の各特性図である。
【図４】実施例１の後進時運転支援装置において旋回後進時におけるモニタ画像であり、(a)はハンドル操舵角が中立域でのモニタ画像を示し、(b)はハンドル操舵角を大きく与えたときのモニタ画像を示す。
【図５】実施例２の後進時運転支援装置においてハンドル操舵角に基づくモデル形状変更制御による仮想カメラと仮想立体スクリーン／仮想立体ＣＣＤ（二平面立体モデル）を用いた視点変換手法の一例を説明する模式図である。
【図６】実施例２の後進時運転支援装置において旋回後進時にハンドル操舵角を大きく与えたときのモニタ画像を示す図である。
【図７】実施例３の後進時運転支援装置においてハンドル操舵角に基づくモデル形状変更制御による仮想カメラと仮想立体スクリーン／仮想立体ＣＣＤ（二平面立体モデル）を用いた視点変換手法の一例を説明する模式図である。
【図８】実施例４の後進時運転支援装置においてハンドル操舵角に応じて位置／姿勢が制御される仮想カメラと仮想立体スクリーンと仮想立体ＣＣＤを使った視点変換手法の一例を説明する模式図である。
【符号の説明】
【００８８】
１  リアカメラ（実カメラ）
２  画像処理コントローラ
２１  デコーダ間変換部
２２  座標変換処理部
２３  ＲＯＭ
２４  ＲＡＭ
２５  エンコーダ変換部
３  モニタ
３Ｂ  俯瞰映像
３Ｐ  斜め視点映像
３Ｐ-1  第１斜め視点映像
３Ｐ-2  第２斜め視点映像
４  ハンドル操舵角センサ（ハンドル操舵角検出手段）
５  シフトレバー位置センサ
６  仮想カメラ位置調整操作ダイアル
７  仮想立体スクリーン（仮想立体投影面）
71  近景用スクリーン（近景用投影面、俯瞰映像領域）
72  遠景用スクリーン（遠景用投影面、斜め視点映像領域）
８  仮想カメラ
９  仮想立体ＣＣＤ（仮想立体撮像面）
91  近景用ＣＣＤ（近景用撮像面、俯瞰映像領域）
92  遠景用ＣＣＤ（遠景用撮像面、斜め視点映像領域）
１０  操舵系ハンドル
１１  シフトレバー
【図１】
2008149878.tif 000003
【図２】
2008149878.tif 000004
【図３】
2008149878.tif 000005
【図４】
2008149878.tif 000006
【図５】
2008149878.tif 000007
【図６】
2008149878.tif 000008
【図７】
2008149878.tif 000009
【図８】
2008149878.tif 000010