(57)【特許請求の範囲】
【請求項１】
自車両に設けられた複数の撮像装置によって撮像された撮像画像に基づき、仮想視点から見た合成画像を生成して表示部へ出力する画像処理部と、
前記自車両に対してなされた運転操作に基づき、前記自車両を進行方向に対して右側または左側へ移動させる右左折および進路変更を含む意思表示を検出する検出部と
を備え、
前記画像処理部は、
前記検出部によって前記意思表示が検出された場合に、検出された前記意思表示に対応する側の前記自車両の側面を前記進行方向の前方側から見た前記合成画像を生成するとともに、検出された前記意思表示が前記右左折であるか前記進路変更であるかに応じて前記仮想視点の位置を変化させ、
前記意思表示が前記右左折である場合の前記仮想視点の位置は、前記意思表示が前記進路変更である場合の前記仮想視点の位置に比べて前記自車両から遠い側に設定されること
を特徴とする画像生成装置。
【請求項２】
前記画像処理部は、
検出された前記意思表示に対応する側の前記自車両の側面を前記進行方向の前方側かつ前記自車両の外部から見た前記合成画像を生成すること
を特徴とする請求項１に記載の画像生成装置。
【請求項３】
前記画像処理部は、
前記自車両を進行方向に対して左側へ移動させる前記意思表示が検出された場合には、前記進行方向に対して左前方側の外部から前記自車両の左側面を見た前記合成画像を生成し、前記自車両を進行方向に対して右側へ移動させる前記意思表示が検出された場合には、前記進行方向に対して右前方側の外部から前記自車両の右側面を見た前記合成画像を生成すること
を特徴とする請求項２に記載の画像生成装置。
【請求項４】
前記画像処理部は、
検出された前記意思表示に対応する側の前記自車両の側面に設けられるサイドミラーの位置として予め決められた位置から前記自車両の側面を見た前記合成画像を生成すること
を特徴とする請求項１〜３のいずれか一つに記載の画像生成装置。
【請求項５】
前記画像処理部は、
検出された前記意思表示に対応する側の前記自車両の側面を前記進行方向の前方側かつ前記自車両の内部から見た前記合成画像を生成すること
を特徴とする請求項１に記載の画像生成装置。
【請求項６】
前記画像処理部は、
前記進行方向が後退方向である場合、検出された前記意思表示に対応する側の前記自車両の側面を前記自車両の後方側から見た前記合成画像を生成し、前記自車両から前記自車両の後方を見た画像とともに前記表示部へ出力すること
を特徴とする請求項１〜５のいずれか一つに記載の画像生成装置。
【請求項７】
前記画像処理部は、
前記合成画像を反転させて前記表示部へ出力すること
を特徴とする請求項１〜６のいずれか一つに記載の画像生成装置。
【請求項８】
複数の前記仮想視点のうち選択された前記仮想視点を前記意思表示と対応付けて記憶部に記憶させる記憶処理部
を備え、
前記画像処理部は、
検出された前記意思表示に対応する側の前記自車両の側面を、検出された前記意思表示に対応付けて記憶された前記仮想視点から見た前記合成画像を生成すること
を特徴とする請求項１〜７のいずれか一つに記載の画像生成装置。
【請求項９】
請求項１〜８のいずれか一つに記載の画像生成装置と、
前記画像生成装置によって生成された画像を表示する表示部と
を備えることを特徴とする画像表示システム。
【請求項１０】
自車両に設けられた複数の撮像装置によって撮像された撮像画像に基づき、仮想視点から見た合成画像を生成して表示部へ出力する画像処理工程と、
前記自車両に対してなされた運転操作に基づき、前記自車両を進行方向に対して右側または左側へ移動させる右左折および進路変更を含む意思表示を検出する検出工程と
を含み、
前記画像処理工程は、
前記検出工程において前記意思表示を検出した場合に、検出した前記意思表示に対応する側の前記自車両の側面を前記進行方向の前方側から見た前記合成画像を生成するとともに、検出された前記意思表示が前記右左折であるか前記進路変更であるかに応じて前記仮想視点の位置を変化させ、
前記意思表示が前記右左折である場合の前記仮想視点の位置は、前記意思表示が前記進路変更である場合の前記仮想視点の位置に比べて前記自車両から遠い側に設定されること
を特徴とする画像表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像生成装置、画像表示システムおよび画像表示方法に関する。
【背景技術】
【０００２】
従来、車両に搭載された複数の撮像装置から得られるカメラ画像を合成することにより、車両の直上や後部などの任意の仮想視点からみた車両の周囲の様子を示す合成画像を生成してディスプレイに出力する装置が提案されている。
【０００３】
例えば、特許文献１には、ウィンカースイッチが操作された場合に、ウィンカースイッチで指示された側の車両の側方領域を車両の後方位置からみた合成画像を生成する画像生成装置が記載されている。この画像生成装置によれば、ドライバ自身の視野の向きと同じ視野の向きの合成画像をディスプレイに表示させることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−２７４８１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した従来技術には、右左折や進路変更等を行う際の確認を容易化するという点でさらなる改善の余地がある。
【０００６】
例えば、右左折や進路変更等を行う際に自車両と接触する可能性がある車両等は、自車両の後方から自車両に接近してくるケースが多い。このため、従来技術のように、車両の後方位置から車両の側方領域をみた合成画像を生成するのでは、後方から接近してくる車両等を早期に捉えにくく、発見が遅れる可能性がある。
【０００７】
本発明は、上記に鑑みてなされたものであって、右左折や進路変更等を行う際の確認を容易化することができる画像生成装置、画像表示システムおよび画像表示方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る画像生成装置は、画像処理部と、検出部とを備える。画像処理部は、自車両に設けられた複数の撮像装置によって撮像された撮像画像に基づき、仮想視点から見た合成画像を生成して表示部へ出力する。検出部は、自車両に対してなされた運転操作に基づき、自車両を進行方向に対して右側または左側へ移動させる意思表示を検出する。また、画像処理部は、検出部によって意思表示が検出された場合に、検出された意思表示に対応する側の自車両の側面を進行方向の前方側から見た合成画像を生成する。
【発明の効果】
【０００９】
本発明によれば、右左折や進路変更等を行う際の確認を容易化することができる。
【図面の簡単な説明】
【００１０】
【図１Ａ】図１Ａは、実施形態に係る画像表示方法の説明図である。
【図１Ｂ】図１Ｂは、表示部に表示される合成画像の一例を示す図である。
【図２】図２は、実施形態に係る画像表示システムの構成例を示す図である。
【図３】図３は、複数の撮像装置の配置例を示す図である。
【図４Ａ】図４Ａは、自車両の周囲に設定される仮想視点領域および視線対象領域を示す図である。
【図４Ｂ】図４Ｂは、意思表示に対応する仮想視点領域と視線対象領域との組み合わせを示す図である。
【図５Ａ】図５Ａは、仮想視点領域に設定される仮想視点および視線対象領域に設定される視線対象の一例を示す図である。
【図５Ｂ】図５Ｂは、仮想視点領域に設定される仮想視点および視線対象領域に設定される視線対象の一例を示す図である。
【図６Ａ】図６Ａは、サイドミラーから自車両の側面を見た合成画像を生成する場合の説明図である。
【図６Ｂ】図６Ｂは、サイドミラーから自車両の側面を見た合成画像を生成する場合の説明図である。
【図７Ａ】図７Ａは、ドライバの意思表示が左折である場合に設定される仮想視点および視線対象の位置を示す図である。
【図７Ｂ】図７Ｂは、ドライバの意思表示が左側への進路変更である場合に設定される仮想視点および視線対象の位置を示す図である。
【図８】図８は、設定情報の一例を示す図である。
【図９】図９は、画像生成装置が実行する処理手順を示すフローチャートである。
【図１０】図１０は、自車両の周囲に設定される仮想視点領域および視線対象領域の変形例を示す図である。
【発明を実施するための形態】
【００１１】
以下に添付図面を参照して、本発明に係る画像生成装置、画像表示システムおよび画像表示方法の実施形態を詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。
【００１２】
以下では先ず、実施形態に係る画像表示方法の概要について図１Ａおよび図１Ｂを参照して説明する。図１Ａは、実施形態に係る画像表示方法の説明図である。また、図１Ｂは、表示部に表示される合成画像の一例を示す図である。なお、図１Ａには、自車両のドライバが左折しようとしている状況を示している。
【００１３】
実施形態に係る画像表示方法は、例えば右左折や進路変更など、自車両１００を進行方向に対して右側または左側へ移動させるドライバの意思表示を検出する（ステップＳ０１）。
【００１４】
この意思表示は、ウィンカースイッチやステアリング等への運転操作に基づいて検出することができる。すなわち、例えば左ウィンカーを点滅させる操作やステアリングを左に所定角度以上切る操作が行われた場合には、自車両１００を進行方向に対して左側へ移動させるドライバの意思表示を検出する。同様に、右ウィンカーを点滅させる操作やステアリングを右に所定角度以上切る操作が行われた場合には、自車両１００を進行方向に対して右側へ移動させるドライバの意思表示を検出する。
【００１５】
上記意思表示が検出されると、自車両１００に設けられた複数の撮像装置（図示せず）によって撮像された撮像画像に基づき、仮想視点から見た合成画像を生成する（ステップＳ０２）。具体的には、検出した意思表示に対応する側の自車両１００の側面を自車両１００の進行方向の前方側から見た合成画像を生成する。
【００１６】
例えば、自車両１００を進行方向に対して左側へ移動させるドライバの意思表示（図１Ａに示す場合には、左折の意思表示）が検出された場合、自車両１００の左側面（自車両１００に向かって右側面）を自車両１００の前方側から見た合成画像を生成して表示部２０へ出力する。これにより、表示部２０には、図１Ｂに示したような合成画像が表示される。
【００１７】
このように、実施形態に係る画像表示方法では、自車両１００の進行方向前方側の仮想視点から自車両１００の側面を見た合成画像を生成して表示部２０に表示することとした。
【００１８】
このため、実施形態に係る画像表示方法によれば、車両の後方側から車両の側方領域をみた合成画像を生成する従来技術と比べて、自車両１００の後方から接近してくる障害物Ｏをより早期に捉えることができる。
【００１９】
また、実施形態に係る画像表示方法によれば、意思表示に対応する側の自車両１００の側面、例えば左折であれば左側面、右折であれば右側面を見た合成画像を生成するため、障害物Ｏと接触する可能性が高い自車両１００の側面を確実に画像中に捉えておくことができる。
【００２０】
したがって、実施形態に係る画像表示方法によれば、右左折や進路変更等を行う際の確認を容易化することができる。
【００２１】
なお、図１Ａおよび図１Ｂには、自車両１００の外部から自車両１００の側面を見た合成画像を生成する場合の例を示したが、これに限らず、自車両１００の内側から自車両１００の側面を見た合成画像を生成してもよい。この点については後述する。
【００２２】
次に、実施形態に係る画像表示システムの構成例について図２および図３を参照して説明する。図２は、実施形態に係る画像表示システムの構成例を示す図である。また、図３は、複数の撮像装置の配置例を示す図である。
【００２３】
図２に示すように、実施形態に係る画像表示システム１は、画像生成装置１０と、表示部２０と、位置情報出力部３０と、地図情報出力部４０と、操作部５０とを備える。
【００２４】
画像生成装置１０は、例えばＥＣＵ(Electronic  Control  Unit)であり、他のＥＣＵ、例えば後述するウィンカー情報出力部３、シフトレバー情報出力部４、操舵情報出力部５等との間で情報の送受信を行うことができる。ＥＣＵ間の通信は、例えばＣＡＮ（Controller  Area  Network）バス等の車載ＬＡＮ（Local  Area  Network）を用いて行われる。
【００２５】
表示部２０、位置情報出力部３０、地図情報出力部４０および操作部５０は、例えばカーナビゲーション装置に設けられる。なお、画像表示システム１は、画像生成装置１０および表示部２０を一体的に含んだ単体の車載装置であってもよい。
【００２６】
画像生成装置１０は、画像処理部１１と、検出部１２と、記憶処理部１３と、記憶部１４とを備える。
【００２７】
画像処理部１１は、自車両１００に設けられた複数の撮像装置２ａ〜２ｄによって撮像された撮像画像に基づき、仮想視点から見た合成画像を生成して表示部２０へ出力する。
【００２８】
図３に示すように、複数の撮像装置２ａ〜２ｄは、それぞれ自車両１００の前方、後方、右方および左方にそれぞれ配置される。
【００２９】
撮像装置２ａ〜２ｄは、ＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）などの撮像素子を備え、かかる撮像素子を用いて自車両１００の周囲を撮像する。具体的には、撮像装置２ａは自車両１００の前方を撮像し、撮像装置２ｂは自車両１００の後方を撮像し、撮像装置２ｃは自車両１００の右方を撮像し、撮像装置２ｄは自車両１００の左方を撮像する。
【００３０】
撮像装置２ａ〜２ｄは、魚眼レンズなどの広角レンズを備えており、１８０度以上の画角を有する。したがって、撮像装置２ａ〜２ｄにより自車両１００の全周囲を撮影することができる。
【００３１】
画像処理部１１は、各撮像装置２ａ〜２ｄによって撮像された画像を例えばＮＴＳＣ（National  Television  System  Committee）ケーブル等の出力線を介して取得する。また、画像処理部１１は、取得した撮像画像に対して座標変換処理を行うことにより、自車両１００の周囲を任意の仮想視点から見た合成画像を生成する。
【００３２】
かかる座標変換処理において、画像処理部１１は、例えば、撮像画像を所定の投影面に投影（マッピング）し、所定の投影面に投影された入力画像のうち任意の仮想視点から見て所定の視野角に含まれる領域の画像を合成画像とする。
【００３３】
例えば、画像処理部１１は、入力画像に含まれるデータの位置と、所定の投影面の位置との対応関係を示すテーブルを記憶しており、かかるテーブルを用いて、入力画像に含まれるデータを、所定の投影面の対応する位置に投影することができる。
【００３４】
かかる所定の投影面は、例えば、略半球状（例えば、お椀形状）をしており、その中心領域（例えば、お椀の底部分）は自車両１００の位置であり、自車両１００の位置の外側（例えば、お椀の底部分以外の部分）は、自車両１００の周囲の領域に相当する。所定の投影面は、曲面でなく平面であってもよい。
【００３５】
そして、画像処理部１１は、生成した合成画像に対し、自車両１００を上記仮想視点から見た車両画像をクロマキー合成した合成画像を生成して表示部２０に表示させる。
【００３６】
表示部２０は、例えばＬＣＤ（Liquid  Crystal  Display）を備え、画像処理部１１から取得した合成画像を表示する。表示部２０としては、例えばタッチパネル式ディスプレイを用いることができる。この場合、タッチパネルは、例えば操作部５０に相当する。
【００３７】
画像処理部１１は、自車両１００を進行方向に対して右側または左側へ移動させるドライバの意思表示が検出部１２によって検出された場合に、検出された意思表示に対応する側の自車両１００の側面を進行方向の前方側から見た合成画像を生成する。
【００３８】
かかる点について図４Ａおよび図４Ｂを参照して説明する。図４Ａは、自車両１００の周囲に設定される仮想視点領域および視線対象領域を示す図である。また、図４Ｂは、意思表示に対応する仮想視点領域と視線対象領域との組み合わせを示す図である。
【００３９】
図４Ａに示すように、自車両１００の周囲には、複数の仮想視点領域ＦＬ，ＦＲ，ＢＲ，ＢＬが予め設定されている。例えば、仮想視点領域ＦＬおよびＦＲは、自車両１００中央よりも前方側かつ自車両１００の外部の領域である。このうち、仮想視点領域ＦＬは自車両１００の中央よりも左側の領域であり、仮想視点領域ＦＲは自車両１００の中央よりも右側の領域である。また、仮想視点領域ＢＲおよびＢＬは、自車両１００の背面よりも後方側の領域であり、このうち、仮想視点領域ＢＬは自車両１００の中央よりも右側（後退方向左側）の領域であり、仮想視点領域ＦＲは自車両１００の中央よりも左側（後退方向右側）の領域である。
【００４０】
また、自車両１００の両側面には、それぞれ視線対象領域ＳＬ，ＳＲが設定されている。視線対象領域ＳＬ，ＳＲは、例えば、自車両１００の中央よりも後方側の側面であり、このうち、視線対象領域ＳＬは自車両１００の中央よりも左側の領域であり、視線対象領域ＳＲは自車両１００の中央よりも右側の領域である。
【００４１】
画像処理部１１は、進行方向が前進方向である場合には、検出部１２によって検出された意思表示に対応する側の自車両１００の側面を自車両１００の前方側から見た合成画像を生成し、進行方向が後退方向である場合には、検出された意思表示に対応する側の自車両１００の側面を自車両１００の後方側から見た合成画像を生成する。また、画像処理部１１は、自車両１００を進行方向に対して左側へ移動させる意思表示が検出部１２によって検出された場合には、進行方向に対して左前方側の外部から自車両１００の左側面を見た合成画像を生成し、自車両１００を進行方向に対して右側へ移動させる意思表示が検出された場合には、進行方向に対して右前方側の外部から自車両の右側面を見た合成画像を生成する。
【００４２】
例えば、図４Ｂに示すように、自車両１００の進行方向が前進であるときに、自車両１００を前進方向左側へ移動させるドライバの意思表示が検出部１２によって検出された場合、画像処理部１１は、仮想視点領域ＦＬから視線対象領域ＳＬを見た合成画像を生成する。また、自車両１００の進行方向が前進であるときに、自車両１００を前進方向右側へ移動させるドライバの意思表示が検出部１２によって検出された場合、画像処理部１１は、仮想視点領域ＦＲから視線対象領域ＳＲを見た合成画像を生成する。
【００４３】
また、自車両１００の進行方向が後退であるときに、自車両１００を後退方向右側へ移動させるドライバの意思表示が検出部１２によって検出された場合、画像処理部１１は、仮想視点領域ＢＲから視線対象領域ＳＬを見た合成画像を生成する。また、自車両１００の進行方向が後退であるときに、自車両１００を後退方向左側へ移動させるドライバの意思表示が検出部１２によって検出された場合、画像処理部１１は、仮想視点領域ＢＬから視線対象領域ＳＲを見た合成画像を生成する。
【００４４】
このように、画像処理部１１は、自車両１００の進行方向前方側から自車両１００の側面を見た合成画像を生成して表示部２０に出力する。これにより、車両の後方側から車両の側方領域をみた合成画像を生成する従来技術と比べて、自車両１００の後方から接近してくる障害物Ｏ（図１Ａ参照）をより早期に捉えることができる。
【００４５】
また、意思表示に対応する側の自車両１００の側面、例えば左折であれば左側面、右折であれば右側面を見た合成画像を生成することで、障害物Ｏと接触する可能性が高い自車両１００の側面を確実に捉えた合成画像をドライバに提供することができる。
【００４６】
また、自車両１００の側面を進行方向の前方側かつ自車両１００の外部から見た合成画像を生成することで、自車両１００の側面と障害物Ｏとの位置関係を把握し易い合成画像をドライバに提供することができる。
【００４７】
さらに、自車両１００を進行方向に対して左側へ移動させる意思表示が検出された場合には、進行方向に対して左前方側の外部から自車両１００の左側面を見た合成画像を生成し、自車両１００を進行方向に対して右側へ移動させる意思表示が検出された場合には、進行方向に対して右前方側の外部から自車両１００の右側面を見た合成画像を生成する。したがって、右左折時や進路変更時において障害物Ｏと接触する可能性が高い自車両１００の側面をこの側面により正対する位置から見た合成画像をドライバに提供することができる。
【００４８】
図５Ａおよび図５Ｂは、仮想視点領域ＦＬに設定される仮想視点および視線対象領域ＳＬに設定される視線対象の一例を示す図である。なお、ここでは、仮想視点領域が「ＦＬ」であり視線対象領域が「ＳＬ」である場合を例に挙げて説明するが、仮想視点領域および視線対象領域の他の組み合わせについても同様である。
【００４９】
図５Ａおよび図５Ｂに示すように、仮想視点ＶＰの位置は、仮想視点領域ＦＬ内において乗車者が任意に設定可能である。例えば、図５Ａおよび図５Ｂに示すように、仮想視点ＶＰの位置は、仮想視点ＶＰと視線対象Ｔとを結ぶ線（すなわち視線）の自車両１００の進行方向に対する角度、視線対象Ｔと仮想視点ＶＰとの距離、仮想視点ＶＰの路面からの高さなどを設定することで決定される。また、図５Ｂに示すように、視線対象Ｔの位置も視線対象領域ＳＬ内において乗車者が任意に設定可能である。
【００５０】
仮想視点ＶＰおよび視線対象Ｔの位置は、例えば操作部５０への操作により設定可能である。設定された情報は、後述する記憶処理部１３によって記憶部１４に記憶される。画像処理部１１は、記憶部１４に記憶された設定情報を参照して仮想視点ＶＰおよび視線対象Ｔの位置を決定する。
【００５１】
上記の例では、仮想視点ＶＰの位置は任意に設定可能であることとしたが、仮想視点ＶＰの位置は予め決定されていてもよい。かかる点について図６Ａおよび図６Ｂを参照して説明する。図６Ａおよび図６Ｂは、サイドミラーから自車両１００の側面を見た合成画像を生成する場合の説明図である。なお、図６Ａおよび図６Ｂでは、仮想視点領域が「ＦＬ」であり、視線対象領域が「ＳＬ」である場合を例に挙げて説明するが、仮想視点領域が「ＦＲ」であり、視線対象領域が「ＳＲ」である場合にも同様の処理が可能である。
【００５２】
図６Ａに示すように、仮想視点領域ＦＬには自車両１００のサイドミラーが含まれる。そこで、画像処理部１１は、サイドミラーの位置を仮想視点ＶＰとし、かかる仮想視点ＶＰから視線対象Ｔを見た合成画像を生成するようにしてもよい。具体的には、画像処理部１１は、検出部１２によって検出された意思表示に対応する側の自車両１００の側面に設けられるサイドミラーの位置として予め決められた位置から自車両１００の側面を見た合成画像を生成し、生成した合成画像を左右反転させて表示部２０に出力する。
【００５３】
これにより、図６Ｂに示すように、実際にサイドミラーで見たときに見える範囲Ｍよりも広い範囲を捉えた合成画像を表示部２０に表示させることができる。したがって、自車両１００のドライバは、左折時や左側への進路変更時等において、かかる合成画像を見ながら容易に障害物Ｏの有無等を確認することができる。
【００５４】
ところで、画像処理部１１は、ドライバの意思表示が「右左折」であるか「進路変更」であるかに応じて、仮想視点ＶＰの位置を変化させてもよい。かかる点について図７Ａおよび図７Ｂを参照して説明する。図７Ａは、ドライバの意思表示が左折である場合に設定される仮想視点ＶＰおよび視線対象Ｔの位置を示す図である。また、図７Ｂは、ドライバの意思表示が左側への進路変更である場合に設定される仮想視点ＶＰおよび視線対象Ｔの位置を示す図である。なお、ここでは、仮想視点領域が「ＦＬ」であり、視線対象領域が「ＳＬ」である場合を例に挙げて説明するが、仮想視点領域が「ＦＲ」であり、視線対象領域が「ＳＲ」である場合にも同様の処理が可能である。
【００５５】
図７Ａに示すように、仮想視点領域ＦＬは、例えば、左側の領域である左折領域ＦＬＬと、右側の領域である進路変更領域ＦＬＲに分割される。そして、画像処理部１１は、自車両１００を左折させる意思表示が検出部１２によって検出された場合には、左折領域ＦＬＬから視線対象領域ＳＬを見た合成画像を生成する。
【００５６】
一方、図７Ｂに示すように、画像処理部１１は、自車両１００を左側へ進路変更させる意思表示が検出部１２によって検出された場合には、進路変更領域ＦＬＲから視線対象領域ＳＬを見た合成画像を生成する。
【００５７】
このように、画像処理部１１は、ドライバの意思表示が左折であるか進路変更であるかによって領域ＦＬＬ，ＦＬＲを異ならせてもよい。
【００５８】
左折領域ＦＬＬは、進路変更領域ＦＬＲよりも自車両１００から遠い側に設けられる。このため、左折領域ＦＬＬ内の仮想視点ＶＰから視線対象Ｔを見る視線の角度は、進路変更領域ＦＬＲ内の仮想視点ＶＰから視線対象Ｔを見る視線の角度よりも深くなる。
【００５９】
左折時においては、いわゆる巻き込み事故を防止するために、自車両１００の左側面に障害物Ｏが存在しないことを重点的に確認することが好ましい。そこで、左折時において、自車両１００の左側面をこの側面により正対する位置から見た合成画像を生成することで、左折時の確認により適した合成画像をドライバに提供することができる。
【００６０】
一方、進路変更領域ＦＬＲは、左折領域ＦＬＬよりも自車両１００から近い側に設けられる。このため、進路変更領域ＦＬＲ内の仮想視点ＶＰから視線対象Ｔを見る視線の角度は、左折領域ＦＬＬ内の仮想視点ＶＰから視線対象Ｔを見る視線の角度よりも浅くなる。
【００６１】
進路変更時においては、後続車両との追突を防止するために、自車両１００の後方の状況をより重点的に確認することが好ましい。そこで、進路変更時においては、自車両１００の後方側の領域をより広く捉えた合成画像を生成することで、進路変更時の確認により適した合成画像をドライバに提供することができる。
【００６２】
図２に戻り、検出部１２の構成について説明する。検出部１２は、自車両１００に対してなされた運転操作に基づき、自車両１００を進行方向に対して右側または左側へ移動させる意思表示を検出する。
【００６３】
例えば、検出部１２は、自車両１００が、前進、後退および駐停車のいずれの状態であるかを検出する。具体的には、検出部１２は、シフトレバーの位置が、ドライブ（Ｄ）やセカンド（２）等である旨の情報をシフトレバー情報出力部４から取得した場合に、自車両１００が前進状態であることを検出する。また、検出部１２は、シフトレバーの位置が、リバース（Ｒ）である旨の情報をシフトレバー情報出力部４から取得した場合には、自車両１００が後退状態であることを検出し、パーキング（Ｐ）である旨の情報を取得した場合には、駐停車状態であることを検出する。
【００６４】
そして、検出部１２は、自車両１００が前進状態である場合において、左ウィンカー（運転席から見て左側に設けられたウィンカー）を点滅させる操作がなされた旨の情報をウィンカー情報出力部３から取得すると、自車両１００を前進方向に対して左側へ移動させるドライバの意思表示を検出し、検出結果を画像処理部１１へ出力する。また、検出部１２は、自車両１００が前進状態である場合において、右ウィンカーを点滅させる操作がなされた旨の情報をウィンカー情報出力部３から取得すると、自車両１００を前進方向に対して右側へ移動させるドライバの意思表示を検出し、検出結果を画像処理部１１へ出力する。
【００６５】
また、検出部１２は、自車両１００が後退状態である場合において、ステアリングを左に所定角度以上切る操作が行われた旨の情報を操舵情報出力部５から取得すると、自車両１００を後退方向に対して右側（前進方向に対しては左側）へ移動させるドライバの意思表示を検出し、検出結果を画像処理部１１へ出力する。また、検出部１２は、自車両１００が後退状態である場合において、ステアリングを右に所定角度以上切る操作が行われた旨の情報を操舵情報出力部５から取得すると、自車両１００を後退方向に対して左側へ移動させるドライバの意思表示を検出し、検出結果を画像処理部１１へ出力する。
【００６６】
また、検出部１２は、位置情報出力部３０および地図情報出力部４０から出力される情報に基づき、自車両１００を前進方向に対して左側へ移動させるドライバの意思表示が、具体的には左折であるのか、左側への進路変更であるのかをさらに検出する。
【００６７】
例えば、検出部１２は、位置情報出力部３０から出力される自車両１００の現在位置の情報と、地図情報出力部４０から出力される地図情報とを用いて、自車両１００が走行中の道路に関する情報、例えば、交差点の有無等を認識することができる。そして、検出部１２は、例えば自車両１００の前進中に自車両１００を左側へ移動させる意思表示を検出した場合に、自車両１００の前方に交差点があり、かつ、その交差点から所定範囲内に自車両１００が位置するか否かを判定し、肯定されれば上記意思表示が「左折」であることを検出し、否定されれば「左側への進路変更」であることを検出する。なお、自車両１００の前進中に自車両１００を右側へ移動させる意思表示を検出した場合も同様である。
【００６８】
記憶処理部１３は、複数の仮想視点のうち操作部５０への操作によって選択された仮想視点ＶＰの位置等を意思表示と対応付けて記憶部１４に記憶させる。ここで、記憶部１４に記憶される設定情報の一例について図８を参照して説明する。図８は、設定情報の一例を示す図である。
【００６９】
図８に示すように、設定情報は、例えば「仮想視点の位置」、「視線対象の位置」、「鏡像出力の有無」等の項目をドライバの意思表示に対応付けた情報である。ここで、「仮想視点の位置」項目は、仮想視点領域ＦＬ，ＦＲ，ＢＬ，ＢＲ内における仮想視点ＶＰの座標を示す情報である。また、「視線対象の位置」項目は、視線対象領域ＳＬ，ＳＲ内における視線対象Ｔの座標を示す情報である。また、「鏡像出力の有無」項目は、合成画像を左右反転させて表示部２０へ出力するか否かについての情報である。
【００７０】
画像処理部１１は、記憶部１４に記憶された設定情報に基づき、検出された意思表示に対応付けて記憶された仮想視点ＶＰから、検出された意思表示に対応付けられた視線対象Ｔを見た合成画像を生成する。
【００７１】
例えば、図８に示す例では、意思表示「左折」に対し、「仮想視点の位置」として「ＦＬ１」、「視線対象の位置」として「ＳＬ１」、「鏡像出力の有無」として「あり」が設定されている。この場合、画像処理部１１は、「ＦＬ１」の座標位置から「ＳＬ１」の座標位置を見た合成画像を生成し、生成した合成画像を左右反転させて表示部２０へ出力する。このように、仮想視点を任意に変更できるようにすることで、ドライバは、自分にとって最適な仮想視点の位置を自由に選択することが可能である。
【００７２】
次に、画像生成装置１０の具体的動作について図９を参照して説明する。図９は、画像生成装置１０が実行する処理手順を示すフローチャートである。なお、図９には、表示部２０に対して合成画像が出力されるまでの処理手順を示している。
【００７３】
図９に示すように、画像生成装置１０は、まず、自車両１００の進行方向が前進であるか否かを判定する（ステップＳ１０１）。この判定において、自車両１００の進行方向が前進であると判定された場合（ステップＳ１０１，Ｙｅｓ）、画像生成装置１０は、ドライバの意思表示を検出したか否かを判定する（ステップＳ１０２）。この判定において意思表示が検出されない場合（ステップＳ１０２、Ｎｏ）、画像生成装置１０は、処理をステップＳ１０１へ戻す。
【００７４】
ステップＳ１０２においてドライバの意思表示が検出された場合（ステップＳ１０２，Ｙｅｓ）、画像生成装置１０は、検出された意思表示に対応する合成画像を生成する（ステップＳ１０３）。すなわち、画像処理部１１は、左折や左側への進路変更など、自車両１００を進行方向に対して左側へ移動させる意思表示が検出された場合には、仮想視点領域ＦＬから視線対象領域ＳＬを見た合成画像を記憶部１４に記憶された設定情報に基づいて生成する。また、画像処理部１１は、右折や右側への進路変更など、自車両１００を進行方向に対して右側へ移動させる意思表示が検出された場合には、仮想視点領域ＦＲから視線対象領域ＳＲを見た合成画像を記憶部１４に記憶された設定情報に基づいて生成する。
【００７５】
なお、画像処理部１１は、左折または右折の意思表示が検出された場合には、仮想視点領域ＦＬの左側の領域（左折領域ＦＬＬ）または仮想視点領域ＦＲの右側の領域から視線対象領域ＳＬ，ＳＲを見た合成画像を生成するようにしてもよい。また、画像処理部１１は、進路変更の意思表示が検出された場合には、仮想視点領域ＦＬの右側の領域（進路変更領域ＦＬＲ）または仮想視点領域ＦＲの左側の領域から視線対象領域ＳＬ，ＳＲを見た合成画像を生成するようにしてもよい。
【００７６】
つづいて、画像生成装置１０は、鏡像出力が「あり」に設定されているか否かを判定し（ステップＳ１０４）、設定されていれば（ステップＳ１０４，Ｙｅｓ）、生成した合成画像を反転して（ステップＳ１０５）、表示部２０へ出力する（ステップＳ１０６）。このように、生成した合成画像を左右反転させて表示部２０へ出力することで、サイドミラーやルームミラーを用いて見たときと同じような画像をドライバに提供することができる。したがって、例えば、サイドミラーやルームミラーを用いて確認し、さらに、合成画像でも確認しようとする場合に、ドライバの混乱を防止することができる。
【００７７】
一方、鏡像出力が「あり」に設定されていない場合（ステップＳ１０４，Ｎｏ）、画像生成装置１０は、生成した合成画像を反転することなく表示部２０へ出力する（ステップＳ１０６）。
【００７８】
また、画像生成装置１０は、ステップＳ１０１において、自車両１００の進行方向が前進でない場合（ステップＳ１０１，Ｎｏ）、自車両１００の進行方向が後退であるか否かを判定する（ステップＳ１０７）。この判定において、自車両１００の進行方向が後退であると判定された場合（ステップＳ１０７，Ｙｅｓ）、画像生成装置１０は、撮像装置２ｂ（図３参照）によって撮像された撮像画像（以下、「バック画像」と記載する）を表示部２０へ出力する（ステップＳ１０８）。
【００７９】
つづいて、画像生成装置１０は、ドライバの意思表示を検出したか否かを判定する（ステップＳ１０９）。この判定は、例えば、操舵情報出力部５から出力される情報に基づき、ステアリングを所定角度以上切る操作を検出したか否かにより行われる。この判定においてドライバの意思表示が検出された場合（ステップＳ１０９，Ｙｅｓ）、画像生成装置１０は、検出された意思表示に対応する合成画像を生成する（ステップＳ１１０）。すなわち、画像処理部１１は、自車両１００を後退方向に対して左側へ移動させる意思表示が検出された場合には、仮想視点領域ＢＬから視線対象領域ＳＲを見た合成画像を生成し、自車両１００を後退方向に対して右側へ移動させる意思表示が検出された場合には、仮想視点領域ＢＲから視線対象領域ＳＬを見た合成画像を生成する。仮想視点領域ＢＬ，ＢＲ内における仮想視点ＶＰの位置および視線対象領域ＳＬ，ＳＲ内における視線対象Ｔの位置は、記憶部１４に記憶された設定情報に基づいて決定される。
【００８０】
つづいて、画像生成装置１０は、鏡像出力が「あり」に設定されているか否かを判定し（ステップＳ１１１）、設定されていれば（ステップＳ１１１，Ｙｅｓ）、生成した合成画像を反転する（ステップＳ１１２）。そして、画像生成装置１０は、ステップＳ１１２において生成した合成画像をバック画像とともに表示部２０に出力する、すなわち２画面出力する（ステップＳ１１３）。このように、自車両１００の後退時において、合成画像をバック画像とともに表示部２０に表示することにより、ドライバは、バック画像により自車両１００の後方を確認しつつ、合成画像によりドライバの意思表示に対応する側の自車両１００の側面を確認することができる。
【００８１】
一方、ステップＳ１１１において、鏡像出力が「あり」に設定されていない場合には（ステップＳ１１１，Ｎｏ）、ステップＳ１１０において生成した合成画像をバック画像とともに表示部２０に出力する（ステップＳ１１３）。
【００８２】
ステップＳ１０７において自車両の進行方向が後退ではない場合（ステップＳ１０７，Ｎｏ）、すなわち、例えば駐停車状態である場合、画像生成装置１０は、処理をステップＳ１０１へ戻す。すなわち、仮に、駐停車状態においてウィンカースイッチ等が操作されたとしても、ドライバの意思表示としては検出せず、合成画像の生成も行わない。また、画像生成装置１０は、ステップＳ１０９においてドライバの意思表示が検出されない場合にも（ステップＳ１０９，Ｎｏ）、処理をステップＳ１０１へ戻す。
【００８３】
ところで、上述した実施形態では、自車両１００の外部から自車両１００の側面を見た合成画像を生成する場合の例を示したが、これに限らず、自車両１００の内側から自車両１００の側面を見た合成画像を生成してもよい。かかる点について図１０を参照して説明する。図１０は、自車両１００の周囲に設定される仮想視点領域および視線対象領域の変形例を示す図である。
【００８４】
図１０に示すように、変形例では、仮想視点領域ＦＬ，ＦＲが自車両１００の内部の領域に設定される。具体的には、仮想視点領域ＦＬおよびＦＲは、自車両１００の中央よりも前方側かつ自車両１００の内側の領域であり、そのうち、仮想視点領域ＦＬは自車両１００の中央よりも前進方向左側の領域であり、仮想視点領域ＦＲは自車両１００の中央よりも前進方向右側の領域である。
【００８５】
そして、変形例に係る画像処理部１１は、検出部１２によって検出された意思表示に対応する側の自車両１００の側面を進行方向の前方側かつ自車両１００の内側から見た合成画像を生成する。
【００８６】
例えば、図１０に示すように、自車両１００を進行方向に対して左側に移動させる意思表示が検出部１２によって検出された場合、画像処理部１１は、自車両１００の左側面を仮想視点領域ＦＲから見た合成画像を生成して表示部２０へ出力する。これにより、自車両１００の内部から自車両１００を透過させて自車両１００の側面を見た合成画像が表示部２０に表示される。
【００８７】
このように、自車両１００の内部、具体的には運転席から自車両１００の側面を見た合成画像を生成することにより、例えば目視で巻き込み確認を行うのと同じような画像をドライバに提供することができる。
【００８８】
上述してきたように、実施形態に係る画像生成装置１０は、画像処理部１１と、検出部１２とを備える。画像処理部１１は、自車両１００に設けられた複数の撮像装置２ａ〜２ｄによって撮像された撮像画像に基づき、仮想視点ＶＰから見た合成画像を生成して表示部２０へ出力する。検出部１２は、自車両１００に対してなされた運転操作に基づき、自車両１００を進行方向に対して右側または左側へ移動させる意思表示を検出する。また、画像処理部１１は、検出部１２によって意思表示が検出された場合に、検出された意思表示に対応する側の自車両１００の側面を進行方向の前方側から見た合成画像を生成する。
【００８９】
したがって、実施形態に係る画像生成装置１０によれば、右左折や進路変更等を行う際の確認を容易化することができる。
【００９０】
なお、上述した実施形態では、ウィンカースイッチへの操作に基づいて、右左折または進路変更の意思表示を検出することとしたが、これに限らず、ステアリングが右または左に所定角度以上切った場合に、自車両１００を進行方向に対して右側または左側へ移動させる意思表示を検出するようにしてもよい。
【００９１】
また、上述した実施形態では、ウィンカースイッチが操作された場合に、自車両１００が交差点の近くに位置していれば、右左折の意思表示として検出し、そうでなければ、進路変更の意思表示として検出する場合の例について説明した。しかし、これに限らず、例えば、検出部１２は、自車両１００に搭載された車速センサ等から自車両１００の速度に関する情報を取得し、ウィンカースイッチが操作された場合に、自車両１００の速度が閾値以上であれば進路変更の意思表示として検出し、閾値未満であれば右左折の進路変更として検出するようにしてもよい。
【００９２】
以上、本願に係る画像処理装置および画像処理方法の実施例のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【符号の説明】
【００９３】
１  画像表示システム
２ａ〜２ｄ  撮像装置
１０  画像生成装置
１１  画像処理部
１２  検出部
１３  記憶処理部
１４  記憶部
２０  表示部
【図１Ａ】
0006723820.tif 000002
【図１Ｂ】
0006723820.tif 000003
【図２】
0006723820.tif 000004
【図３】
0006723820.tif 000005
【図４Ａ】
0006723820.tif 000006
【図４Ｂ】
0006723820.tif 000007
【図５Ａ】
0006723820.tif 000008
【図５Ｂ】
0006723820.tif 000009
【図６Ａ】
0006723820.tif 000010
【図６Ｂ】
0006723820.tif 000011
【図７Ａ】
0006723820.tif 000012
【図７Ｂ】
0006723820.tif 000013
【図８】
0006723820.tif 000014
【図９】
0006723820.tif 000015
【図１０】
0006723820.tif 000016