(57)【要約】【課題】運転者が混乱を起こすことなく画像内の被写体を容易に追跡できる運転支援装置を提供すること。【解決手段】車両の後方を撮影する撮影手段と、撮影手段の出力である画像データから駐車領域を検出する駐車領域検出手段と、駐車領域検出手段の出力をもとに車両から駐車領域までの距離を算出する駐車距離推定手段と、駐車距離推定手段の出力をもとに撮影手段の出力である画像データの仮想カメラ視点変換を行う画像変換手段と、画像変換手段の出力である変換画像データを表示する画像表示手段とを備え、画像変換部は駐車距離推定手段からの出力の変化に応じて連続して仮想カメラの視点を変更する。【選択図】図２
2012214169.tif 000002
【特許請求の範囲】
【請求項１】
車両の後方を撮影する撮影手段と、
前記撮影手段の出力である画像データから駐車領域を検出する駐車領域検出手段と、
前記駐車領域検出手段の出力をもとに前記車両から前記駐車領域までの距離を算出する駐車距離推定手段と、
前記駐車距離推定手段の出力をもとに前記撮影手段の出力である画像データの仮想カメラ視点変換を行う画像変換手段と、
前記画像変換手段の出力である変換画像データを表示する画像表示手段とを備え、
前記画像変換部は前記駐車距離推定手段からの出力の変化に応じて連続して仮想カメラの視点を変更することを特徴とする運転支援装置。
【請求項２】
画像変換手段は駐車距離推定手段からの出力が予め定められた第一の設定値よりも大きい場合に仮想カメラの視点を変更しないことを特徴とする請求項１に記載の運転支援装置。
【請求項３】
画像変換手段は駐車距離推定手段からの出力が予め定められた第二の設定値よりも小さい場合に仮想カメラが真下を見下ろす視点に画像データを変換することを特徴とする請求項１または２に記載の運転支援装置。
【請求項４】
車両の後方を撮影する撮影手段と、
前記撮影手段の出力である画像データから障害物を検出する障害物検出手段と、
前記障害物検出手段の出力をもとに前記車両から前記障害物までの距離を算出する障害物距離推定手段と、
前記障害物距離推定手段の出力をもとに前記撮影手段の出力である画像データの仮想カメラ視点変換を行う画像変換手段と、
前記画像変換手段の出力である変換画像データを表示する画像表示手段とを備え、
前記画像変換部は前記障害物距離推定手段からの出力の変化に応じて連続して仮想カメラの視点を変更することを特徴とする運転支援装置。
【請求項５】
画像変換手段は障害物距離推定手段からの出力が予め定められた第一の設定値よりも大きい場合に仮想カメラの視点を変更しないことを特徴とする請求項４に記載の運転支援装置。
【請求項６】
画像変換手段は障害物距離推定手段からの出力が予め定められた第二の設定値よりも小さい場合に仮想カメラが真下を見下ろす視点に画像データを変換することを特徴とする請求項４または５に記載の運転支援装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の後方を撮影した画像に基づいて車両の運転を支援する運転支援装置に関するものである。
【背景技術】
【０００２】
車両をバックで駐車しようとする運転者を支援するために、車両の後方を撮影するカメラからの画像をダッシュボードに備え付けられたモニターにリアルタイムに表示する運転支援装置がある。
【０００３】
バックで車両を駐車しようとするときの車両と駐車領域との位置関係を分かりやすくする方法として、カメラから取得した画像を鳥瞰画像に変換し、車両と駐車領域との距離に応じてカメラから取得した画像と鳥瞰画像とを切り換える方法がある（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１３０２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の運転支援装置では、カメラから取得した画像から鳥瞰画像へ切り替わる瞬間に、カメラの視点が急激に変化する。そのため、カメラから取得した画像と鳥瞰画像との間で画像上の被写体の位置が大きく変化し、画像を見ている運転者が混乱を起こすことがあるという問題があった。
【０００６】
本発明は前記のような問題を解決するためになされたもので、運転者が混乱を起こすことなく画像内の被写体を容易に追跡できる運転支援装置を提供することを目的としている。
【課題を解決するための手段】
【０００７】
本発明による運転支援装置は、車両の後方を撮影する撮影手段と、撮影手段の出力である画像データから駐車領域を検出する駐車領域検出手段と、駐車領域検出手段の出力をもとに車両から駐車領域までの距離を算出する駐車距離推定手段と、駐車距離推定手段の出力をもとに撮影手段の出力である画像データの仮想カメラ視点変換を行う画像変換手段と、画像変換手段の出力である変換画像データを表示する画像表示手段とを備え、画像変換部は駐車距離推定手段からの出力の変化に応じて連続して仮想カメラの視点を変更するものである。
【発明の効果】
【０００８】
本発明によれば、車両の後方を撮影する撮影手段と、撮影手段の出力である画像データから駐車領域を検出する駐車領域検出手段と、駐車領域検出手段の出力をもとに車両から駐車領域までの距離を算出する駐車距離推定手段と、駐車距離推定手段の出力をもとに撮影手段の出力である画像データの仮想カメラ視点変換を行う画像変換手段と、画像変換手段の出力である変換画像データを表示する画像表示手段とを備え、画像変換部は駐車距離推定手段からの出力の変化に応じて連続して仮想カメラの視点を変更するので、滑らかに視点を変化させて変換画像を表示することができ、運転者が駐車領域を容易に確認することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施の形態１による運転支援装置の適用例である。
【図２】本発明の実施の形態１による運転支援装置の構成を示すブロック図である。
【図３】本発明の実施の形態１による運転支援装置の動作を示すフローチャートである。
【図４】本発明の実施の形態１による運転支援装置の処理例を示した図である。
【図５】本発明の実施の形態１による運転支援装置における画像空間座標の変換の様子を示した図である。
【図６】本発明の実施の形態１による画像変換手段における仮想カメラの視点を示した図である。
【図７】本発明の実施の形態１による画像変換手段における仮想カメラの視点を示した図である。
【図８】本発明の実施の形態２による運転支援装置の構成を示すブロック図である。
【図９】本発明の実施の形態２による運転支援装置の動作を示すフローチャートである。
【図１０】本発明の実施の形態２による運転支援装置の処理例を示した図である。
【発明を実施するための形態】
【００１０】
実施の形態１
図１は、本発明の実施の形態１による運転支援装置の一例を示したものである。車両１は、後方を撮影する撮影手段２を備えている。撮影手段２は、例えば動画像を撮影するカメラであり、画像データを処理ユニット３に送信する。なお、撮影手段２は、車両の後方の様子を画像データとして出力するものであれば、どの様なものであってもかまわない。例えば、静止画像を間欠的に出力するものでも良い。
【００１１】
処理ユニット３は、撮影手段２から入力された画像データを処理し、その結果を画像表示手段４に出力する。画像表示手段４は、処理ユニット３の出力である処理後の画像データを運転者あるいは同乗者に対して表示する。
【００１２】
図２は、本発明の実施の形態１による運転支援装置の構成を示すブロック図である。撮影手段２の出力である画像データは、処理ユニット３に入力される。処理ユニット３は、駐車領域検出手段５、駐車距離推定手段６および画像変換手段７から構成される。撮影手段２の出力である画像データは、駐車領域検出手段５および画像変換手段７に入力される。駐車領域検出手段５は、撮影手段２の出力である画像データから駐車領域を検出し、駐車距離推定手段６に出力する。駐車距離推定手段６は、駐車領域検出手段５の出力から車両１と駐車領域との距離を算出し、画像変換手段７に出力する。画像変換手段７は、駐車距離推定手段６から入力された車両１と駐車領域との距離情報をもとに、撮影手段２から入力された画像データの仮想カメラ視点変換を行い、変換画像データを作成し、画像表示手段４に出力する。画像表示手段４は、画像変換手段７から入力された変換画像データを表示する。
【００１３】
以上に説明した運転支援装置の動作の例を、図３のフローチャートを用いて説明する。撮影手段２は、車両１の後方を撮影し、画像データを駐車領域検出手段５および画像変換手段７に出力する（Ｓ０２）。駐車領域検出手段５は、撮影手段２の出力である画像データから白線を抽出することにより駐車領域を検出する（Ｓ０３）。駐車領域が検出されなかった場合は、撮影手段２による画像の撮影を継続し、駐車車両が検出された場合は、駐車領域検出手段５は画像データにおける駐車領域の座標を駐車距離推定手段６に出力する（Ｓ０４）。駐車距離推定手段６は、画像データにおける駐車領域の座標から車両から駐車領域までの距離を算出し、距離情報を画像変換手段７に出力する（Ｓ０５）。画像変換手段７は、駐車距離推定手段６から入力された距離情報に応じて、撮影手段２から入力された画像データの仮想カメラ視点の位置を算出し、変換画像を生成し、画像表示部４に出力する（Ｓ０６）。画像表示部４は、画像変換手段７から入力された変換画像を表示する（Ｓ０７）。
【００１４】
次に、図４に示した本発明の実施の形態１による運転支援装置の処理例を用いて、処理の内容について説明する。図４（ａ）は、駐車場において車両１が白線８の内側に駐車しようとしているところを示している。車両１は、後方を撮影する撮影手段２を備えている。図４（ｂ）は、図４（ａ）に示された状態における撮影手段２の出力である画像データ９を示している。画像データ９には、白線８が含まれている。駐車領域検出手段５は、撮影手段２から出力された画像データ９を受け取る。駐車領域検出手段５は、画像データ９から白線８を検出し、その位置・幅・長さなどから、検出した白線８が駐車領域のものであるかどうかを判定する。検出した白線８が駐車領域のものであると判定した場合、白線８の位置から駐車領域の中心部１０の位置を特定し、画像データ９における駐車領域の中心部１０の位置情報を駐車距離推定手段６に出力する。駐車距離推定手段６は、駐車領域検出手段５から受け取った駐車領域の中心部１０の位置情報から、車両１から駐車領域の中心部１０までの距離を算出する。
【００１５】
図５を用いて、駐車距離推定手段６の処理について説明する。図５は、本発明の実施の形態１による運転支援装置における画像空間座標の変換の様子を示した図である。図５は、撮影手段２を用いて白線８を撮影している様子を示している。図５では、Ｘ、Ｙ、Ｚの３軸からなる実世界の空間を表しており、Ｘ、Ｙ、Ｚの３軸からなる座標を世界座標と呼ぶ。また、カメラなどの撮影手段２によって得られる画像は、ｕ、ｖ軸の２軸からなる画像空間である。ここで、本発明の実施の形態１による運転支援装置においては、撮影手段２の内部パラメータＡを予め求めておく。撮影手段２の内部パラメータＡは、画像中心（ｃｕ，ｃｖ）、焦点距離ｆ、横方向と縦方向の画素の物理的な間隔（δｕ，δｖ）から構成されている。
【００１６】
【数１】
2012214169.tif 000003
【００１７】
世界座標Ｍ＝［Ｘ，Ｙ，Ｚ］Ｔから撮影手段２の画像座標ｘｃ＝［ｕｃ，ｖｃ］Ｔへの変換は、次式で表される。
【００１８】
【数２】
2012214169.tif 000004
【００１９】
ここで、Ｒｃは撮影手段２のカメラの向きを表す回転行列であり、Ｔｃは撮影手段２の撮影方向を表す平行移動ベクトルである。外部パラメータの回転行列Ｒは、Ｚ軸回りの回転φ、Ｙ軸回りの回転θ、Ｘ軸回りの回転ψから構成され、平行移動ベクトルＴは、各座標軸における座標位置Ｘｔ、Ｙｔ、Ｚｔから構成されるものである。
【００２０】
【数３】
2012214169.tif 000005
【００２１】
ここで、駐車距離推定手段６に対して、図４（ｂ）に示された撮影手段２の出力である画像データ９における駐車領域の中心部１０の座標が入力された場合を考える。画像データ９における駐車領域の中心部１０の座標は、式（２）の逆変換を用いることにより、図５に示された世界座標に変換することができる。世界座標に変換された駐車領域の中心部１０の座標により、撮影手段２から駐車領域の中心部１０までの距離ｄを求めることができる。なお、撮影手段２は車両１の後部に固定されているため、撮影手段２から駐車領域の中心部１０までの距離ｄから、車両１から駐車領域の中心部１０までの距離も求めることができる。ここでは、撮影手段２から駐車領域の中心部１０までの距離と車両１から駐車領域の中心部１０までの距離とが同じであるとして、以下の説明を行う。
【００２２】
次に、図４から図７を用いて、画像変換手段７の動作について説明する。画像変換手段７は、駐車距離推定手段６の出力として、撮影手段２から駐車領域の中心部１０までの距離の情報を受け取る。撮影手段２から駐車領域の中心部１０までの距離が予め定められた第一の設置値より大きく、車両１が駐車領域から十分離れていると判断された場合、画像変換手段７は画像変換処理を行わない。これは、言い換えると、仮想カメラ１１は撮影手段２と全く同じ位置にある。図４（ｃ）は、この場合の変換画像１２を表しており、画像変換処理が行われていないために、変換画像１２は撮影手段２から出力された画像データ９と全く同じである。
【００２３】
図４（ｄ）は、車両１が駐車領域に近づいた状態を示している。図４（ｅ）は、このときの撮影手段２から出力された画像データ１３を示したものであり、図４（ｂ）に比べて白線８が大きく映っている。画像データ１３を元に求められた撮影手段２から駐車領域の中心部１０までの距離が、予め定められた第一の設置値より小さい場合、仮想カメラ１１が駐車領域を斜め上から見下ろす位置にあるものとして画像変換手段７において画像変換処理を行う。
【００２４】
図５において、仮想カメラ１１は白線８を見下ろす位置にある。仮想カメラ１１の画像座標ｘｂ＝［ｕｂ，ｖｂ］Ｔは、仮想カメラ１１への回転行列Ｒｂ、および、仮想カメラ１１への平行移動ベクトルＴｂを用いて、以下のように表すことができる。
【００２５】
【数４】
2012214169.tif 000006
【００２６】
図６は、車両１が図４（ｄ）に示す位置にあるときの、図５に示した世界座標における撮影手段２と仮想カメラ１１の位置関係をＹＺ平面で示したものである。撮影手段２から駐車領域の中心部１０までの距離ｄが予め定められた第一の設置値であるｄｒより小さい場合、仮想カメラ１１は、駐車領域の中心部１０を中心とする半径ｄｒの円弧１７上で、駐車領域の中心部１０の方向を撮影する位置にあるものとする。また、撮影手段２が駐車領域の中心部１０に近づくときに、仮想カメラ１１は円弧１７上をＺ軸の座標位置が大きくなる方向に滑らかに移動するものとする。
【００２７】
このとき、仮想カメラ１１への平行移動ベクトルＴｂは、撮影手段２の世界座標におけるＸ座標の位置Ｘｃ、駐車領域の中心部１０を中心として撮影手段２と仮想カメラ１１がなす角ρ、撮影手段２から駐車領域の中心部１０までの距離ｄ、仮想カメラ１１から駐車領域の中心部１０までの距離ｄｒを用いて、以下のように表すことができる。
【００２８】
【数５】
2012214169.tif 000007
【００２９】
【数６】
2012214169.tif 000008
【００３０】
また、仮想カメラ１１のＸ軸の回転角ψは、駐車領域の中心部１０を中心として撮影手段２と仮想カメラ１１がなす角ρを用いて、以下のように表すことができる。
【００３１】
【数７】
2012214169.tif 000009
【００３２】
よって、仮想カメラ１１への回転行列Ｒｂは、以下のように表すことができる。
【００３３】
【数８】
2012214169.tif 000010
【００３４】
以上により、図４（ｅ）に示した撮影手段２から出力された画像データ１３から、図４（ｆ）に示した仮想カメラ１１からの画像である変換画像１４を得ることができる。
【００３５】
図４（ｇ）は、車両１の一部が駐車領域に入っている状態を示している。図４（ｈ）は、このときの撮影手段２から出力された画像データ１５を示したものであり、図４（ｅ）に比べて白線８がさらに大きく映っている。図４（ｇ）では、車両１が駐車領域の中心部１０を通り越しているため、図４（ｈ）の画像データ１５には駐車領域の中心部１０が映っていない。このときには、例えば、図４（ｈ）の画像データ１５内にある白線８の端部の位置を用いて世界座標における撮影手段２の位置を求めるものとする。
【００３６】
図７は、車両１が図４（ｇ）に示す位置にあるときの、図５に示した世界座標における撮影手段２と仮想カメラ１１の位置関係をＹＺ平面で示したものである。撮影手段２は、駐車領域の中心部１０を超した位置にある。言い換えると、撮影手段２から駐車領域の中心部１０までの距離ｄは、ゼロよりも小さな負の値である。この場合は、仮想カメラ１１は、真下を見下ろす位置にあるものとする。図４（ｉ）はこのときの仮想カメラ１１からの画像である変換画像１６を示したものである。
【００３７】
なお、撮影手段２から駐車領域の中心部１０までの距離がゼロよりも小さな値になった場合に、仮想カメラ１１は真下を見下ろす位置にあるとしたが、撮影手段２から駐車領域の中心部１０までの距離が予め定められた第一の設置値より小さい場合に仮想カメラ１１は真下を見下ろす位置にあるとしてもよい。
【００３８】
このような処理を行うことにより、車両１が駐車領域の中心部１０に近づくにしたがって仮想的な視点が滑らかに変化し、運転者が直感的に理解しやすい画像を画像表示手段４に表示することが可能となる。
【００３９】
なお、実施の形態１では、駐車領域検出手段５は、駐車領域の中心部１０の位置を特定し、その後の処理はこれの情報をもとに行っていたが、これに限るものではない。例えば、駐車領域検出手段５が特定する場所は、白線８等で示された駐車領域の後ろの端部など、駐車領域の位置を特定する場所であればどこでも良い。
【００４０】
上記の説明では撮影手段２の内部パラメータと仮想カメラの外部パラメータを用いて変換画像を生成したが、平面射影行列Ｈを用いて変換画像を生成しても良い。平面射影行列Ｈは、最低４組の２次元座標点を用いて座標変換を行うことができる３×３の行列である。撮影手段２の画像座標をｘｃ＝［ｕｃ，ｖｃ］Ｔ、仮想カメラ１１の画像座標をｘｂ＝［ｕｂ，ｖｂ］Ｔとすると、変換画像の生成は以下の式により行うことができる。
【００４１】
【数９】
2012214169.tif 000011
【００４２】
距離に応じた視点毎にあらかじめ平面射影行列Ｈを準備しておくことにより、様々な視点の変換画像を生成することができる。
【００４３】
実施の形態２．
図６は、本発明の実施の形態２による運転支援装置の構成を示すブロック図である。図６を本発明の実施の形態１による運転支援装置の構成を示す図である図２と比べると、駐車領域検出手段５が障害物検出手段１８に、駐車距離推定手段６が障害物距離推定手段１９に変更されている以外は、同じである。
【００４４】
撮影手段２の出力である画像データは、障害物検出手段１８と画像変換手段７とに入力される。障害物検出手段１８は、撮影手段２の出力である画像データから障害物を検出し、障害物距離推定手段１９に出力する。障害物距離推定手段１９は、障害物検出手段１８の出力から車両１と障害物との距離を算出し、画像変換手段７に出力する。画像変換手段７は、障害物距離推定手段１９から入力された車両１と障害物との距離情報をもとに、撮影手段２から入力された画像データの仮想カメラ視点変換を行い、変換画像データを作成し、画像表示手段４に出力する。画像表示手段４は、画像変換手段７から入力された変換画像データを表示する。
【００４５】
以上に説明した運転支援装置の動作の例を、図９のフローチャートを用いて説明する。撮影手段２は、車両１の後方を撮影し、画像データを障害物検出手段１８および画像変換手段７に出力する（Ｓ１２）。障害物検出手段１８は、撮影手段２の出力である画像データから障害物を検出する（Ｓ１３）。障害物が検出されなかった場合は、撮影手段２による画像の撮影を継続し、障害物が検出された場合は、障害物検出手段１８は画像データにおける障害物の座標を障害物距離推定手段１９に出力する（Ｓ１４）。障害物距離推定手段１９は、画像データにおける障害物の座標から車両から障害物までの距離を算出し、距離情報を画像変換手段７に出力する（Ｓ１５）。画像変換手段７は、障害物距離推定手段１９から入力された距離情報に応じて、撮影手段２から入力された画像データの仮想カメラ視点の位置を算出し、変換画像を生成し、画像表示部４に出力する（Ｓ１６）。画像表示部４は、画像変換手段７から入力された変換画像を表示する（Ｓ１７）。
【００４６】
次に、図１０に示した本発明の実施の形態１による運転支援装置の処理例を用いて、処理の内容について説明する。図１０（ａ）は、車両１が障害物２０に近づいているところを示している。図１０（ｂ）は、図１０（ａ）に示された状態における撮影手段２の出力である画像データ２１を示している。画像データ２１には、障害物２０が含まれている。障害物検出手段１８は、撮影手段２から出力された画像データ２１を受け取る。障害物検出手段１８は、画像データ２１から障害物２０の有無を検出する。障害物２０が存在すると判定した場合、障害物２０の位置を特定し、画像データ２１における障害物２０の位置情報を障害物距離推定手段１９に出力する。障害物距離推定手段１９は、障害物検出手段１８から受け取った障害物２０の位置情報から、車両１から障害物２０までの距離を算出する。
【００４７】
障害物距離推定手段１９から出力された距離情報に応じて画像変換手段７において行う画像変換処理については、実施の形態１と同じである。
【００４８】
このような処理を行うことにより、車両１が障害物２０に近づくにしたがって仮想的な視点が滑らかに変化し、運転者が直感的に理解しやすい画像を画像表示手段４に表示することが可能となる。
【００４９】
なお、障害物２０の有無の検出、および、車両１から障害物２０までの距離の検出は、超音波センサ、レーザレンジファインダなどを用いてもかまわない。
【符号の説明】
【００５０】
２  撮影手段
４  画像表示手段
５  駐車領域検出手段
６  駐車距離推定手段
７  画像変換手段
【図１】
2012214169.tif 000012
【図２】
2012214169.tif 000013
【図３】
2012214169.tif 000014
【図４】
2012214169.tif 000015
【図５】
2012214169.tif 000016
【図６】
2012214169.tif 000017
【図７】
2012214169.tif 000018
【図８】
2012214169.tif 000019
【図９】
2012214169.tif 000020
【図１０】
2012214169.tif 000021