(57)【要約】  複数の撮影部を用いて撮影した映像をモニタに表示する映像表示装置を提供する。撮像部（１０１ａ〜１０１ｎ）が車両周辺を撮影し、基準位置設定部（１０２ａ〜１０２ｎ）が重点監視位置を映像構成基準位置として設定する。操舵角度検出部（１０８）が運転者の操作による操舵角度を検出し、操舵角度に合わせて映像構成基準位置を補正する。映像構成基準位置情報付加部（１０３ａ〜１０３ｎ）が映像構成基準位置情報を映像に対して付加した後、映像構成部（１０４）で映像構成基準位置が重なるように各撮像部の映像を合成する。表示映像生成部（１０６）は、表示領域指定部（１０５）で指定された表示領域に従って映像を切り出し、映像表示部（１０７）によってモニタに表示出力する。
2008044589.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮影部を用いて撮影した映像をモニタに表示する映像表示装置であって、
所定の位置を映像構成基準位置として設定する基準位置設定部と、
前記複数の撮像部が撮影した映像に前記基準位置設定部によって設定された前記映像構成基準位置に関する情報を付加する少なくとも１つの映像構成基準位置情報付加部と、
前記映像構成基準位置情報付加部によって付加された前記映像構成基準位置が重なるように、前記複数の撮像部が撮影した映像を合成して広範囲な映像を生成する映像構成部と、
前記映像構成部によって生成された広範囲な映像から前記モニタに表示するための表示領域を指定する表示領域指定部と、
前記表示領域指定部によって指定された表示領域を前記映像構成部によって生成された広範囲な映像から切り出し、当該切り出した映像を前記モニタに表示出力する表示映像生成部とを備える、映像表示装置。
【請求項２】
前記広範囲な映像とは、前記複数の撮影部のうちいずれか１つの撮影部を用いて撮影した映像よりも広い範囲を撮影した映像であることを特徴とする、請求項１に記載の映像表示装置。
【請求項３】
前記表示領域指定部は、前記広範囲な映像に付加された前記映像構成基準位置が中心となるように、前記広範囲な映像から前記モニタに表示するための表示領域を指定することを特徴とする、請求項１又は２に記載の映像表示装置。
【請求項４】
移動機器の操舵角度を検出するための操舵角度検出部をさらに備え、
前記基準位置設定部は、前記操舵角度検出部が検出した前記移動機器の操舵角度に合わせて前記映像構成基準位置を変更することを特徴とする、請求項１〜３のいずれかに記載の映像表示装置。
【請求項５】
前記映像構成部は、前記撮像部が撮影した映像を合成する際に、前記映像構成基準位置が映像の中心に近い映像のレイヤから順に上位層に配置されるように、前記撮像部が撮影した映像を合成することを特徴とする、請求項１〜４のいずれかに記載の映像表示装置。
【請求項６】
前記映像構成基準位置は、前記撮像部の設置状態と前記撮像部が撮影した映像を見る際の想定視点に基づいて決定される重点監視位置に設定されることを特徴とする、請求項１〜５のいずれかに記載の映像表示装置。
【請求項７】
前記映像構成基準位置は、移動機器の操作者によって、前記表示映像生成部がモニタに出力する映像を参照しながら任意に決められることを特徴とする、請求項１〜５のいずれかに記載の映像表示装置。
【請求項８】
複数の撮影部を用いて撮影した映像をモニタに表示する映像表示方法であって、
所定の位置を映像構成基準位置として設定するステップと、
前記複数の撮影部が撮影した映像に前記映像構成基準位置に関する情報を付加するステップと、
前記付加された映像構成基準位置が重なるように、前記複数の撮影部が撮影した映像を合成して広範囲な映像を生成するステップと、
前記生成された広範囲な映像から前記モニタに表示するための表示領域を指定するステップと、
前記指定された表示領域を前記広範囲な映像から切り出し、当該切り出した映像を前記モニタに出力表示するステップとを備える、映像表示方法。
【請求項９】
複数の撮影部を用いて撮影した映像をモニタに表示するプログラムを記憶した記憶媒体であって、
所定の位置を映像構成基準位置として設定するステップと、
前記複数の撮影部が撮影した映像に前記映像構成基準位置に関する情報を付加するステップと、
前記付加された映像構成基準位置が重なるように、前記複数の撮影部が撮影した映像を合成して広範囲な映像を生成するステップと、
前記生成された広範囲な映像から前記モニタに表示するための表示領域を指定するステップと、
前記指定された表示領域を前記広範囲な映像から切り出し、当該切り出した映像を前記モニタに出力表示するステップとを備える、プログラムを記憶した記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転者にとって死角となる移動機器（例えば車両）の周辺状況を、複数のカメラからの映像を合成して表示することによって、運転者の操舵操作を支援する映像表示装置に関するものである。
【背景技術】
【０００２】
従来の運転支援のための映像表示装置としては、複数のカメラの映像の一部を切り出して、１つの表示モニタに同時に表示することで死角を低減するというものがあった（例えば、特許文献１参照）。図２１は、特許文献１に記載された従来の映像表示装置の構成を示すブロック図である。【０００３】
図２１において、左の後側方カメラ２２０２ａ、後方カメラ２２０２ｂ、及び右の後側方カメラ２２０２ｃは、車両の周辺の映像を撮影するものである。制御部２２１３は、ギアシフト位置センサ２２０４、操舵角センサ２２０５、及び切換スイッチ２２０６からの情報に従い、表示範囲切り出し部２２１１を用いて左の後側方カメラ２２０２ａ、後方カメラ２２０２ｂ、及び右の後側方カメラ２２０２ｃの映像から表示範囲を切り出していた。そして、合成部２２１２で切り出された複数の映像を１つの表示画面の中に合成して、ディスプレイ２２０３で表示していた。【０００４】
図２２は、従来の映像表示装置における映像処理について説明する図である。図２２（ａ）は、左の後側方カメラ２２０２ａの映像であり、切り出し領域２３０２ａが画面表示のために切り出される部分を示している。図２２（ｂ）は、後方カメラ２２０２ｂの映像であり、切り出し領域２３０２ｂが画面表示のために切り出される部分を示している。図２２（ｃ）は、後方カメラ２２０２ｃの映像であり、切り出し領域２３０２ｃが画面表示のために切り出される部分を示している。図２２（ｄ）は、各カメラの映像から切り出した複数の映像をディスプレイ２２０３に表示するために合成した映像である。図２２（ａ）〜（ｄ）に示すように、従来の映像表示装置は、各カメラから切り出した複数の映像を合成して、ディスプレイ２２０３で表示していた。
【特許文献１】特開２００５−２２３５２４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、図２１に記載の従来の映像表示装置では、各カメラの映像毎に表示に必要な範囲を求め、各カメラの映像からその表示範囲の映像を切り出して、切り出した映像を合成してディスプレイ２２０３に表示していた。そのため、図２２（ａ）〜（ｃ）に示すように、各カメラの映像毎に表示に必要な範囲を求める処理が必要になり、各カメラの映像から切り出す範囲は単純な矩形ではなく、サイズも異なるため、処理が複雑になるという課題を有していた。また、図２２（ｄ）に示すように、ディスプレイ２２０３には、各カメラから切り出した複数の映像が表示されるため、各カメラの映像の相関が分かりにくいという課題も有していた。【０００６】
それ故に、本発明の目的は、従来の課題を解決するものであり、車両周辺を撮影する複数の撮影部の映像から、運転者の運転支援を行うための映像を簡易な処理によって合成し、運転者に直感的な操作ができる映像を提供することによって操舵操作を支援する映像表示装置を提供することである。
【課題を解決するための手段】
【０００７】
本発明は、複数の撮影部を用いて撮影した映像をモニタに表示する映像表示装置に向けられている。そして、上記目的を達成するために、本発明の映像表示装置は、所定の位置を映像構成基準位置として設定する基準位置設定部と、複数の撮像部が撮影した映像に基準位置設定部によって設定された映像構成基準位置に関する情報を付加する少なくとも１つの映像構成基準位置情報付加部と、映像構成基準位置情報付加部によって付加された映像構成基準位置が重なるように、複数の撮像部が撮影した映像を合成して広範囲な映像を生成する映像構成部と、映像構成部によって生成された広範囲な映像からモニタに表示するための表示領域を指定する表示領域指定部と、表示領域指定部によって指定された表示領域を映像構成部によって生成された広範囲な映像から切り出し、切り出した映像をモニタに表示出力する表示映像生成部とを備える。【０００８】
これによって、映像表示装置は、複数の撮像部が撮影した映像を簡易な方法で合成して、広範囲な映像を生成することができる。また、生成された広範囲な映像から、モニタに表示するための映像を切り出して表示するため、運転者にとって分かりやすい映像を提供することができる。【０００９】
広範囲な映像とは、複数の撮影部のうちいずれか１つの撮影部を用いて撮影した映像よりも広い範囲を撮影した映像である。また、表示領域指定部は、広範囲な映像に付加された映像構成基準位置が中心となるように、広範囲な映像からモニタに表示するための表示領域を指定する。【００１０】
また、映像表示装置は、移動機器の操舵角度を検出するための操舵角度検出部をさらに備える構成であってもよい。この場合、基準位置設定部は、操舵角度検出部が検出した移動機器の操舵角度に合わせて映像構成基準位置を変更する。【００１１】
また、映像構成部は、撮像部が撮影した映像を合成する際に、映像構成基準位置が映像の中心に近い映像のレイヤから順に上位層に配置されるように、撮像部が撮影した映像を合成する。【００１２】
好ましくは、映像構成基準位置は、撮像部の設置状態と撮像部が撮影した映像を見る際の想定視点とに基づいて決定される重点監視位置に設定される。【００１３】
また、映像構成基準位置は、移動機器の操作者によって、表示映像生成部がモニタに出力する映像を参照しながら任意に決めてもよい。【００１４】
また、本発明は、複数の撮影部を用いて撮影した映像をモニタに表示する映像表示方法に向けられている。そして、上記目的を達成するために、本発明の映像表示方法は、所定の位置を映像構成基準位置として設定するステップと、複数の撮影部が撮影した映像に映像構成基準位置に関する情報を付加するステップと、付加された映像構成基準位置が重なるように、複数の撮影部が撮影した映像を合成して広範囲な映像を生成するステップと、生成された広範囲な映像からモニタに表示するための表示領域を指定するステップと、指定された表示領域を広範囲な映像から切り出し、切り出した映像をモニタに出力表示するステップとを備える。【００１５】
また、本発明は、上述した映像表示方法を実行するプログラムを記憶した記憶媒体にも向けられている。そして、上記目的を達成するために、本発明のプログラムは、所定の位置を映像構成基準位置として設定するステップと、複数の撮影部が撮影した映像に映像構成基準位置に関する情報を付加するステップと、付加された映像構成基準位置が重なるように、複数の撮影部が撮影した映像を合成して広範囲な映像を生成するステップと、生成された広範囲な映像からモニタに表示するための表示領域を指定するステップと、指定された表示領域を広範囲な映像から切り出し、切り出した映像をモニタに出力表示するステップとを備える。
【発明の効果】
【００１６】
本発明の映像表示装置によれば、簡易な方法によって、使用者にとって分かりやすい映像をモニタに表示することが可能となる。また、本発明の映像表示装置によれば、移動機器の操舵角度に合わせて映像構成基準位置を変更することで、運転者のハンドル操作に合わせた映像情報を運転者に分かり易く表示することができる。これによって、映像表示装置は、直感的に操作ができる映像情報を運転者に提供することが可能となる。
【図面の簡単な説明】
【００１７】
【図１】図１は、本発明の第１の実施形態に係る映像表示装置の構成を示すブロック図である。
【図２】図２は、複数の撮影部１０１ａ〜１０１ｎの車両２０１への搭載状況と映像構成基準位置との関係を示す図である。
【図３】図３は、後方確認用のカメラ２０３ａ、２０３ｂ、２０３ｃの車両２０１への搭載状況と各カメラから得られる映像との関係を示す図である。
【図４】図４は、カメラ２０３ａ〜２０３ｃから得られる各映像の合成処理を説明する図である。
【図５】図５は、映像構成部１０４で生成された広範囲な映像から表示領域を切り出す処理を説明する図である。
【図６】図６は、本発明の第１の実施形態に係る映像表示装置の動作の一例を示すフローチャートである。
【図７】図７は、後方確認用のカメラ２０３ａ、２０３ｂ、２０３ｃの車両２０１への搭載状況と各カメラから得られる映像との関係を示す図である。
【図８】図８は、カメラ２０３ａ〜２０３ｃから得られる各映像の合成処理を説明する図である。
【図９】図９は、カメラ２０３ａが故障して映像が得られなくなった場合の処理を説明する図である。
【図１０】図１０は、カメラ２０３ａが故障して映像が得られなくなった場合の処理を説明する図である。
【図１１】図１１は、本発明の第２の実施形態に係る映像表示装置の構成を示すブロック図である。
【図１２】図１２は、後方確認用のカメラ２０３ａ、２０３ｂ、２０３ｃの車両２０１への搭載状況及び操舵角度と、各カメラから得られる映像との関係を示す図である。
【図１３】図１３は、カメラ２０３ａ〜２０３ｃから得られる各映像の合成方法を説明する図である。
【図１４】図１４は、カメラ２０３ｃから得られる映像内に映像構成基準位置２２１ｂが無い場合の映像の合成方法を説明する図である。
【図１５】図１５は、後方確認用のカメラ２０３ａ、２０３ｂ、２０３ｃの車両２０１への搭載状況と各カメラから得られる映像との関係を示す図である。
【図１６】図１６は、カメラ２０３ａ〜２０３ｃから得られる各映像の合成処理を説明する図である。
【図１７】図１７は、図１４とは異なる映像の一例を示す図である。
【図１８】図１８は、カメラ２０３ａが故障して映像が得られなくなった場合の処理を説明する図である。
【図１９】図１９は、カメラ２０３ａが故障して映像が得られなくなった場合の処理を説明する図である。
【図２０】図２０は、カメラ２０３ａが故障して映像が得られなくなった場合の処理を説明する図である。
【図２１】図２１は、従来の映像表示装置の構成を示すブロック図である。
【図２２】図２２は、従来の映像表示装置における映像処理について説明する図である。
【符号の説明】
【００１８】
１０１ａ、１０１ｂ、１０１ｎ  撮像部
１０２ａ、１０２ｂ、１０２ｎ  基準位置設定部
１０３ａ、１０３ｂ、１０３ｎ  映像構成基準位置情報付加部
１０４  映像構成部
１０５  表示領域指定部
１０６  表示映像生成部
１０７  映像表示部
１０８  操舵角度検出部
１０９  映像構成基準位置補正部
１１０  映像表示制御部
１１１  移動方向検出部
２０１  車両
２０２  操舵基準線
２０３ａ、２０３ｂ、２０３ｃ、２０３ｄ、２０３ｅ、２０３ｆ、２０３ｇ、２０３ｈ  カメラ
２０５  所定の変更線
２１０ａ、２１０ｂ  運転者
２１１ａ、２１１ｂ  運転者の想定視点
２２０ａ、２２０ｂ、２２１ａ、２２１ｂ  映像構成基準位置
２２０１  周辺監視コントロールユニット
２２０２ａ  左の後側方カメラ  
２２０２ｂ  後方カメラ
２２０２ｃ  右の後側方カメラ
２２０３  ディスプレイ
２２０４  ギアシフト位置センサ
２２０５  操舵角センサ
２２０６  切換スイッチ
２２１１  表示範囲切り出し部
２２１２  映像合成部
２２１３  制御部
２３０２ａ  左の後側方カメラの映像切り出し領域
２３０２ｂ  後方カメラの映像切り出し領域
２３０２ｃ  右の後側方カメラの映像切り出し領域
【発明を実施するための最良の形態】
【００１９】
以下、本発明の各実施形態について、図面を参照しながら説明する。【００２０】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る映像表示装置の構成を示すブロック図である。図１において、映像表示装置は、複数の撮影部１０１ａ〜１０１ｎと、複数の基準位置設定部１０２ａ〜１０２ｎと、複数の映像構成基準位置情報付加部１０３ａ〜１０３ｎと、映像構成部１０４と、表示領域指定部１０５と、表示映像生成部１０６と、映像表示部１０７と、映像表示制御部１１０と、移動方向検出部１１１とを備える。なお、映像表示装置は、複数の撮影部１０１ａ〜１０１ｎを必ずしも自身が備える必要はなく、外部の装置が備える複数の撮影部を利用してもよい。また、映像表示装置は、複数の基準位置設定部１０２ａ〜１０２ｎと、複数の映像構成基準位置情報付加部１０３ａ〜１０３ｎとを必ずしも、複数の撮影部１０１ａ〜１０１ｎの数に合わせて備える必要はなく、任意の数を備えていてもよいものとする。【００２１】
複数の撮像部１０１ａ〜１０１ｎは、移動機器（たとえば車両）の周辺の映像を撮影する。複数の基準位置設定部１０２ａ〜１０２ｎは、所定の位置を重点監視位置として設定する。ここで、重点監視位置とは、複数の撮影部１０１ａ〜１０１ｎを用いて重点的に監視する位置であり、複数の撮影部１０１ａ〜１０１ｎで撮影された映像を合成する際の基準として用いられる。重点監視位置は、例えば、撮像部１０１ａ〜１０１ｎの設置位置や、運転者の想定視点に基づいて設定される。例えば、重点監視位置は、撮影部１０２ａ〜１０２ｎ（もしくは車両）からの距離や、地表面からの高さ等の情報として与えられる。以下、重点監視位置のことを映像構成基準位置と記す。【００２２】
複数の映像構成基準位置情報付加部１０３ａ〜１０３ｎは、複数の基準位置設定部１０２ａ〜１０２ｎによって設定された映像構成基準位置に関する情報を撮像部１０１ａ〜１０１ｎで撮影された各映像に対して付加した後、映像構成部１０４に出力する。映像構成部１０４は、各映像構成基準位置が重なるように、複数の撮影部１０１ａ〜１０１ｎで撮影された映像を合成して、合成映像を生成する。合成映像は、複数の撮影部１０１ａ〜１０１ｎのうちいずれか１つの撮影部を用いて撮影した映像よりも広い範囲を撮影した映像となるので、以下、合成映像のことを広範囲な映像と記す。【００２３】
表示領域指定部１０５は、表示用のモニタサイズや運転者の表示領域変更操作に基づいて、映像構成部１０４で生成された広範囲な映像のモニタ上の表示領域を指定する。表示映像生成部１０６は、表示領域指定部１０５により指定された表示領域を映像構成部１０４で生成された広範囲な映像から切り出して映像表示部１０７に出力する。映像表示部１０７は、表示映像生成部１０６から入力される映像を映像表示制御部１１０の指示に従ってモニタに出力表示する。映像表示制御部１１０は、移動方向検出部１１１によって検出された車両の移動方向によって、表示映像生成部１０６から入力される映像を左右反転するか否かの制御を行う。【００２４】
このような構成によれば、複数の撮像部１０１ａ〜１０１ｎによって車両の周辺を撮影することで広範囲な映像を得ることができ、得られた映像を運転者に分かり易く表示することで運転者の死角を減ずることが可能となる。【００２５】
以下に、本実施形態の映像表示装置について詳しく説明する。
映像表示装置において、複数の撮像部１０１ａ〜１０１ｎは、移動機器（たとえば車両）の周辺の状況を映像として撮影する。複数の撮像部１０１ａ〜１０１ｎを持つことによって、車両周辺の広範囲な映像を得ることができ、死角を減ずることができる。図２は、複数の撮影部１０１ａ〜１０１ｎの車両２０１への搭載状況と映像構成基準位置との関係を示す図である。図２（ａ）は、車両２０１における撮像部１０１ａ〜１０１ｎの設置の例を示している。図２（ａ）を参照して、車両２０１の後方を確認するための撮像部としてカメラ２０３ａ、２０３ｂ、２０３ｃが、車両２０１の前方を確認するための撮像部としてカメラ２０３ｄ、２０３ｅ、２０３ｆが設置されている。また、側方確認のための撮影部としてカメラ２０３ｇ、２０３ｈが設置されている。【００２６】
これら複数のカメラ２０３ａ〜２０３ｈによって、車両２０１の周辺の広範囲な映像を得ることができる。基準位置設定部１０２ａ〜１０２ｎは、移動機器（たとえば車両）の移動方向の基準となる車両上の位置から、移動のための駆動力が働く方向に延ばした線（以後、操舵基準線と称する）上のいずれかの位置に、重点監視位置（すなわち、映像構成基準位置）を設定する。なお、映像構成基準位置は、必ずしも操舵基準線上の位置に設定される必要はなく、例えば、映像構成基準位置は、撮像部１０１ａ〜１０１ｎの設置位置や想定視点、あるいは運転者の操作等によっては、操舵基準線以外の位置に設定されてもよいものとする。【００２７】
図２（ｂ）および（ｃ）は、車両２０１における映像構成基準位置の設定例を示すものである。図２（ｂ）は、右ハンドルの車両の場合の例であり、運転者２１０ａからの視点２１１ａを考慮し、カメラの設置位置の高さや角度から得られる映像において重点的に監視したい位置が、車両２０１における操舵基準線２０２上に映像構成基準位置２２０ａとして初期設定される。図２（ｃ）は、左ハンドルの車両の場合で、車両の形状やカメラの設置位置の高さや角度が図２（ｂ）とは異なる場合を示した例である。図２（ｂ）の場合と同様に、運転者２１０ｂからの視点２１１ｂを考慮し、カメラの設置位置の高さや角度から得られる映像において重点的に監視したい位置が映像構成基準位置２２０ｂとして初期設定される。【００２８】
複数の映像構成基準位置情報付加部１０３ａ〜１０３ｎは、複数の基準位置設定部１０２ａ〜１０２ｎによって設定された映像構成基準位置に関する情報を撮像部１０１ａ〜１０１ｎで撮影された各映像に対して付加する。なお、付加する情報としては、例えば、映像構成基準位置が、各撮像部から得られる映像のどの位置になるかを映像上の座標位置として示す情報である。【００２９】
図３は、後方確認用のカメラ２０３ａ、２０３ｂ、２０３ｃの車両２０１への搭載状況と各カメラから得られる映像との関係を示す図である。図３（ａ）〜（ｃ）は、各カメラが撮影した映像に映像構成基準位置の位置情報を付加したものを概念的に示したものである。図３（ａ）はカメラ２０３ａの映像を、図３（ｂ）はカメラ２０３ｂの映像を、図３（ｃ）はカメラ２０３ｃの映像を示している。図３（ｄ）は、車両２０１における後方確認用のカメラ２０３ａ、２０３ｂ、２０３ｃの設定の例を示している。なお、図中の黒丸が映像構成基準位置を示すが、実際の映像に黒丸が付加されるわけではなく、黒丸に相当する位置の座標情報が付加されることになる。【００３０】
映像構成部１０４は、映像構成基準位置情報付加部１０３ａ〜１０３ｎで付加された映像構成基準位置が重なるように、撮像部１０１ａ〜１０１ｎが撮影した各映像を合成して広範囲な映像を生成する。図４は、カメラ２０３ａ〜２０３ｃから得られる各映像の合成処理を説明する図である。図４（ａ）〜（ｃ）は、図３（ａ）〜（ｃ）と同一である。映像構成部１０４は、これら複数の映像に付加された映像構成基準位置が重なるように複数の映像を合成する。この合成された映像を図４（ｄ）に示しており、これによって広範囲な映像が得られる。【００３１】
映像構成部１０４は、図４（ｅ）に示すように、映像構成基準位置が映像の中心に近い映像のレイヤから順に上位層に配置されるように、カメラ２０３ａ〜２０３ｃが撮影した映像を合成する。この方法によれば、重点監視する位置の映像としてより最適なカメラの映像が選択されることになると共に、映像合成時の処理が簡易になる。【００３２】
表示領域指定部１０５は、車両２０１に設置されている表示用モニタのサイズや運転者の表示領域変更操作に基づいて、映像構成部１０４で生成された広範囲な映像の表示領域を設定する。具体的には、表示領域指定部１０５は、映像構成部１０４で生成された広範囲な映像の表示領域の位置やサイズを表示領域情報として指定する。【００３３】
表示映像生成部１０６は、表示領域指定部１０５により指定された表示領域情報に従い、映像構成部１０４で生成された広範囲な映像から表示領域を切り出して、モニタに表示する映像を生成する。図５は、映像構成部１０４で生成された広範囲な映像から表示領域を切り出す処理を説明する図である。ただし、図５（ａ）〜（ｄ）は、図４（ａ）〜（ｄ）と同一である。図５（ｅ）は、映像構成部１０４で生成された広範囲な映像から表示領域を切り出した後に生成される映像を示している。この例では、映像構成基準位置が映像の中心となるように表示領域が切り出されている。【００３４】
移動方向検出部１１１は、車両２０１の移動方向を、センサもしくは移動方向設定装置（ギア）情報等によって検知し、その情報を映像表示制御部１１０に出力する。映像表示制御部１１０は、移動方向検出部１１１で検知した情報に従い、映像を左右反転するか否かの判断や、センサもしくは運転者の設定による映像の明暗等の調整制御を行う。映像表示部１０７は、表示映像生成部１０６から入力される映像を映像表示制御部１１０の指示に従って画像処理し、モニタに出力表示する。【００３５】
次に、本実施形態の映像表示装置の動作の流れを、図１を参照しつつ、フローチャートに従って説明する。図６は、本発明の第１の実施形態に係る映像表示装置の動作を示すフローチャートである。ステップＳ１において、処理が開始され、ステップＳ２において、撮像部１０１ａ〜１０１ｎは車両２０１周辺の撮影を開始する。ステップＳ３において、基準位置設定部１０２ａ〜１０２ｎは、初期設定された映像構成基準位置に変更が必要か否かの判定を行う。判定の結果、初期設定された映像構成基準位置に変更が必要な場合（「Ｙｅｓ」）、制御をステップＳ４に進めて、新たな映像構成基準位置を変更指示に従って設定する。ステップＳ４において、映像構成基準位置を変更した後、制御をステップＳ５に進める。判定の結果、初期設定された映像構成基準位置に変更が必要ない場合（「Ｎｏ」）、制御をステップＳ５に進める。【００３６】
ステップＳ５において、映像構成基準位置情報付加部１０３ａ〜１０３ｎは、基準位置設定部１０２ａ〜１０２ｎで設定された映像構成基準位置に関する情報を撮像部１０１ａ〜１０１ｎによって入力された各映像に対して付加する。ステップＳ６において、映像構成基準位置に関する情報が付加された映像が複数あるか否かの判定を行い、映像構成基準位置に関する情報が付加された映像が複数ある場合（「Ｙｅｓ」）は、制御をステップＳ７に進める。映像構成基準位置に関する情報が付加された映像が複数ない場合（「Ｎｏ」）には、制御をステップＳ８に進める。【００３７】
ステップＳ７において、映像構成部１０４は、映像構成基準位置に関する情報が付加された複数の映像に対して、各映像の映像構成基準位置が重なるように合成を行い、広範囲な映像を生成して、制御をステップＳ８に進める。ステップＳ８において、表示領域指定部１０５は、映像構成部１０４が生成した広範囲な映像の映像構成基準位置が中心になるように、表示領域を表示モニタに合わせて指定する。【００３８】
ステップＳ９において、表示領域指定部１０５は、表示領域に変更が必要か否かの判定を行って、判定の結果、表示領域に変更が必要な場合（「Ｙｅｓ」）は、制御をステップＳ１０に進める。判定の結果、表示領域に変更が必要ない場合（「Ｎｏ」）には、制御をステップ１１に進める。【００３９】
ステップ１０において、表示領域の変更指示に従い、表示領域指定部１０５は、新たな表示領域を指定し（すなわち、表示領域を変更し）、制御をステップ１１に進める。ステップＳ１１において、表示領域指定部１０５により指定された表示領域情報に従い、表示映像生成部１０６は、映像構成部１０４で生成した広範囲な映像から表示領域を切り出す。【００４０】
ステップＳ１２において、映像表示制御部１１０の指示に従い、映像表示部１０７は、表示映像生成部１０６で切り出された映像に対して左右反転や画質調整等の映像処理を行ってモニタに出力する。ステップＳ１３において、映像表示制御部１１０は、表示停止要求があるか否かの判定を行い、判定の結果、表示停止要求がある場合（「Ｙｅｓ」）は、制御をステップＳ１４に進めて終了する。判定の結果、表示停止要求がない場合（「Ｎｏ」）には、制御をステップＳ３に戻し、ステップＳ３からステップＳ１３までの処理を繰り返す。【００４１】
以上のように、本発明の第１の実施形態に係る映像表示装置は、複数の撮像部１０１ａ〜１０１ｎが撮影した映像を重点監視位置が重なるように合成し、広範囲な映像を生成し、重点監視位置を切り出してモニタに表示する。これによって、映像表示装置は、簡易な方法によって、使用者にとって分かりやすい映像をモニタに表示することが可能となる。また、映像表示装置は、車両等に搭載される車載映像表示装置として、死角を減じた運転支援システムにも応用することができる。また、監視カメラによるセキュリティシステムや複数カメラを用いて広範囲な映像を生成する映像システム等の用途にも応用することができる。【００４２】
なお、図７及び図８には、カメラ２０３ａ〜２０３ｃの設置に際し、カメラ２０３ａ〜２０３ｃの設置位置や撮影方向の角度の違いによって得られる、図３〜図５とは異なる映像の一例を示している。図７及び図８が、図３〜図５と異なるのは、カメラ２０３ａ〜２０３ｃの設置位置や撮影方向の角度の違いによって付加される映像構成基準位置が異なっている点だけである。図７及び図８の場合も、図３〜図５の場合と同様に、映像表示装置は、簡易な処理によって、車両周辺を撮影する複数の撮像部１０１ａ〜１０１ｎの映像を元に、広範囲な映像を生成し、重点監視位置を切り出してモニタに表示することが可能となる。【００４３】
また、本発明の第１の実施形態によれば、カメラ２０３ａ〜２０３ｃのいずれかが故障などにより、映像が得られない状態になっても、映像が得られないものに対しては映像構成基準位置に関する情報が付加されないようにすれば、一連の処理を変えることなく表示映像を得ることができる。図９及び図１０は、カメラ２０３ａが故障して映像が得られなくなった場合の例を示すものである。図９（ａ）及び図１０（ａ）はカメラ２０３ａからの映像が得られない状態を、図９（ｂ）及び図１０（ｂ）はカメラ２０３ｂの映像を、図９（ｃ）及び図１０（ｃ）はカメラ２０３ｃの映像を示している。図９（ｄ）は、車両２０１における後方確認用のカメラ２０３ａ、２０３ｂ、２０３ｃの設定の例を示している。このような場合は、映像構成部１０４は、カメラ２０３ｂとカメラ２０３ｃとの映像を合成して、図１０（ｄ）に示すような広範囲な映像を生成する。表示映像生成部１０６は、表示領域指定部１０５により指定された表示領域情報に従い、映像構成部１０４で生成された広範囲な映像から表示領域を切り出して、図１０（ｅ）に示すような映像を生成する。【００４４】
（第２の実施形態）
図１１は、本発明の第２の実施形態に係る映像表示装置の構成を示すブロック図である。図１１において、図１と同一の構成要素については、同一の参照符号を付して説明を省略する。本実施形態の映像表示装置は、第１の実施形態に係る映像表示装置と比較して、操舵角度検出部１０８と映像構成基準位置補正部１０９とをさらに備えている。操舵角度検出部１０８は、運転者がハンドルを操作したとき操舵角度を検出するための構成である。映像構成基準位置補正部１０９は、操舵角度検出部１０８で検出された操舵角度に合わせて、基準位置設定部１０２ａ〜１０２ｎで設定された映像構成基準位置を補正する。【００４５】
以下に、本実施形態の映像表示装置について詳しく説明する。
図１２は、後方確認用のカメラ２０３ａ、２０３ｂ、２０３ｃの車両２０１への搭載状況及び操舵角度と、各カメラから得られる映像との関係を示す図である。図１２（ａ）〜（ｃ）は、各カメラが撮影した映像に映像構成基準位置２２１ａ，２２１ｂの位置情報を付加したものを概念的に示したものである。図１２（ａ）はカメラ２０３ａの映像を、図１２（ｂ）はカメラ２０３ｂの映像を、図１２（ｃ）はカメラ２０３ｃの映像を示している。図１２（ｄ）は、車両２０１における後方確認用のカメラ２０３ａ、２０３ｂ、２０３ｃの設定の例を示している。【００４６】
図１２に示す例では、操舵角度が“０”のときに、映像構成基準位置２２１ａが設定された場合において、運転手がハンドル操作を行うことで、操舵角度“θ”が発生した場合の例を示している。操舵角度が“０”のときの映像構成基準位置（すなわち、初期状態での映像構成基準位置）は、第１の実施形態と同様に、操舵基準線２０２上のいずれかの位置に設定されている。なお、図中の黒丸が映像構成基準位置を示すが、実際の映像に黒丸が付加されるわけではなく、黒丸に相当する位置の座標情報が付加されることになる。【００４７】
図１２（ｄ）を参照して、操舵角度θが発生すると、操舵角度検出部１０８は、操舵角度θを検出して、映像構成基準位置補正部１０９に検出した情報を出力する。映像構成基準位置補正部１０９は、操舵角度検出部１０８によって検出された操舵角度θに合わせて映像構成基準位置２２１ａを新たな映像構成基準位置２２１ｂとして補正する。すなわち、運転者の操作による操舵角度θに合わせて、映像構成基準位置が補正されることになる。映像構成基準位置情報付加部１０３ａ〜１０３ｎは、映像構成基準位置補正部１０９によって補正された映像構成基準位置２２１ｂの情報を各映像に付加する。【００４８】
なお、図１２（ｃ）は、操舵角度θが発生することで、映像構成基準位置２２１ｂがカメラ２０３ｃから得られる映像の外に位置する場合を示している。この場合、映像構成基準位置情報付加部１０３ｃは、映像構成基準位置２２１ｂの情報がカメラ２０３ｃから得られる映像の外にあるものとして、映像構成基準位置２２１ｂをカメラ２０３ｃから得られる映像に付加する。【００４９】
映像構成基準位置補正部１０９は、操舵角度θに合わせて、所定の変更線２０５上に位置するように映像構成基準位置を補正することで、容易に補正位置を補正することができる。所定の変更線２０５は、撮像部１０１ａ〜１０１ｎの設置位置や、運転者の想定視点に基づいて任意に決定することができる。また、所定の変更線２０５は、例えば、操舵基準線２０２上の一点から所定の半径を有する円弧（楕円を含む）の一部を所定の変更線２０５として用いてもよい。【００５０】
第２の実施形態に係る映像表示装置と、図６のフローチャートに示す第１の実施形態との動作の違いは、ステップＳ３における初期設定された映像構成基準位置の変更が必要か否かの判定に、操舵角度検出部１０８で検出した操舵角度の情報を判定の要因として追加し、ステップＳ４において映像構成基準位置の変更を実施する点である。【００５１】
映像構成部１０４は、映像構成基準位置情報付加部１０３ａ〜１０３ｎで付加された映像構成基準位置が重なるように撮像部１０１ａ〜１０１ｎが撮影した各映像を合成して、広範囲な映像を生成する。図１３は、カメラ２０３ａ〜２０３ｃから得られる各映像の合成方法を説明する図である。図１３（ａ）〜（ｃ）は、図１２（ａ）〜（ｃ）と同一である。映像構成部１０４では、これら複数の映像に付加された映像構成基準位置が重なるように複数の映像を合成する。この合成された映像を図１３（ｄ）に示しており、これによって広範囲な映像が得られる。表示映像生成部１０６は、第１の実施形態と同様の手順にて、映像構成部１０４で合成された広範囲な映像から表示領域を切り出して、図１３（ｅ）に示すような映像を生成する。【００５２】
なお、映像表示装置は、撮像部１０１ａ〜１０１ｎが撮影した各映像を合成するのに、図１３で説明した映像の合成方法とは異なる方法を用いてもよい。この方法を図１４に示す。図１３に示す方法では、カメラ２０３ｃから得られる映像の外に映像構成基準位置２２１ｂが位置する場合に、映像構成基準位置２２１ｂの情報が映像の外にあるものとして扱ったが、図１４に示す方法では、カメラ２０３ｃから得られる映像内に映像構成基準位置２２１ｂが無いものとして扱う。図１４（ａ）〜（ｂ）は、図１３（ａ）〜（ｂ）と同一である。【００５３】
図１４（ｃ）は、映像構成基準位置２２１ｂがカメラ２０３ｃから得られる映像内に無いものとして扱った場合の映像を示している。この場合は、映像構成基準位置情報付加部１０３ｃは、映像構成基準位置２２１ｂがカメラ２０３ｃから得られる映像内に無いものとして、映像構成基準位置２２１ｂをカメラ２０３ｃから得られる映像に対して付加しない。すなわち、映像構成部１０４は、映像合成時に映像構成基準位置２２１ｂが付加された映像のみを用いることになるため、映像構成部１０４で生成される広範囲な映像は、図１４（ｄ）に示すようにカメラ２０３ａとカメラ２０３ｂとを用いて合成された映像になる。表示映像生成部１０６は、第１の実施形態と同様の手順にて、映像構成部１０４で合成された広範囲な映像から表示領域を切り出して、図１４（ｅ）に示すような映像を生成する。本実施形態の映像表示装置のその他の動作は、本発明の第１の実施形態の映像表示装置と同様であり説明を省略する。【００５４】
以上のように、本発明の第２の実施形態に係る映像表示装置は、移動機器の操舵角度に合わせて映像構成基準位置を変更することで、第１の実施形態で説明した効果に加え、運転者のハンドル操作に合わせた映像を運転者に分かり易く表示することができ、運転者の死角を減ずることが可能となる。【００５５】
なお、図１５〜１６には、カメラ２０３ａ〜２０３ｃの設置に際し、カメラ２０３ａ〜２０３ｃの設置位置や撮影方向の角度の違いによって得られる、図１２〜１３とは異なる映像の一例を示している。同様に、図１７には、図１４とは異なる映像の一例を示している。図１５〜１６及び図１７が、図１２〜１３及び図１４と異なるのは、カメラ２０３ａ〜２０３ｃの設置位置や撮影方向の角度の違いによって付加される映像構成基準位置が異なっている点だけである。図１５〜１６及び図１７の場合も、図１２〜１３及び図１４の場合と同様に、映像表示装置は、簡易な処理によって、車両周辺を撮影する複数の撮影部１０１ａ〜１０１ｎの映像を元に、広範囲な映像を生成し、重点監視位置を切り出してモニタに表示することが可能となる。【００５６】
また、本発明の第２の実施形態によれば、カメラ２０３ａ〜２０３ｃのいずれかが故障などにより、映像が得られない状態になっても、映像が得られないものに対しては映像構成基準位置に関する情報が付加されないようにすれば、一連の処理を変えることなく表示映像を得ることができる。図１８〜図１９は、カメラ２０３ａが故障して映像が得られなくなった場合の処理を説明する図である。図１８（ａ）及び図１９（ａ）はカメラ２０３ａからの映像が得られない状態を示し、図１８（ｂ）及び図１９（ｂ）はカメラ２０３ｂの映像を、図１８（ｃ）及び図１９（ｃ）はカメラ２０３ｃの映像を示している。図１８（ｄ）は、車両２０１における後方確認用のカメラ２０３ａ、２０３ｂ、２０３ｃの設定の例を示している。このような場合は、映像構成部１０４は、カメラ２０３ｂとカメラ２０３ｃとの映像を合成して、図１９（ｄ）に示すような映像を生成する。表示映像生成部１０６は、表示領域指定部１０５により指定された表示領域情報に従い、映像構成部１０４で合成された広範囲な映像から表示領域を切り出して、図１９（ｅ）に示すような映像を生成する。【００５７】
また、図２０の場合も同様に、カメラ２０３ｃから得られる映像内に映像構成基準位置２２１ｂが無いものとして扱い、映像構成部１０４は、図２０（ｂ）に示すカメラ２０３ｂの映像から、図２０（ｄ）に示すような映像を生成する。表示映像生成部１０６は、表示領域指定部１０５により指定された表示領域情報に従い、映像構成部１０４で合成された広範囲な映像から表示領域を切り出して、図２０（ｅ）に示すような映像を生成する。【００５８】
なお、本実施の形態において、操舵角度検出部１０８で検出された操舵角度に合わせて映像構成基準位置を補正するものとして映像構成基準位置補正部１０９を設けたが、映像構成基準位置補正部１０９は、基準位置設定部１０２ａ〜１０２ｎに機能を統合してもよい。【００５９】
また、上述した第１及び第２の実施形態に係る映像表示装置が実施する動作は、ＣＰＵ（中央演算装置）によって実行可能なプログラムとして提供されても構わない。プログラムは、ＤＲＡＭ、フラッシュメモリ等のメモリ、ＨＤ（Hard Disk）、及びＤＶＤ（Digital Versatile Disk）等の記憶媒体に記憶することができる。
【産業上の利用可能性】
【００６０】
本発明にかかる映像表示装置は、車両等の車載映像表示装置等として有用である。
【図１】
2008044589.tif 000003
【図２】
2008044589.tif 000004
【図３】
2008044589.tif 000005
【図４】
2008044589.tif 000006
【図５】
2008044589.tif 000007
【図６】
2008044589.tif 000008
【図７】
2008044589.tif 000009
【図８】
2008044589.tif 000010
【図９】
2008044589.tif 000011
【図１０】
2008044589.tif 000012
【図１１】
2008044589.tif 000013
【図１２】
2008044589.tif 000014
【図１３】
2008044589.tif 000015
【図１４】
2008044589.tif 000016
【図１５】
2008044589.tif 000017
【図１６】
2008044589.tif 000018
【図１７】
2008044589.tif 000019
【図１８】
2008044589.tif 000020
【図１９】
2008044589.tif 000021
【図２０】
2008044589.tif 000022
【図２１】
2008044589.tif 000023
【図２２】
2008044589.tif 000024
【手続補正書】
【提出日】平成21年1月14日(2009.1.14)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転者にとって死角となる移動機器（例えば車両）の周辺状況を、複数のカメラからの映像を合成して表示することによって、運転者の操舵操作を支援する映像表示装置に関するものである。
【背景技術】
【０００２】
従来の運転支援のための映像表示装置としては、複数のカメラの映像の一部を切り出して、１つの表示モニタに同時に表示することで死角を低減するというものがあった（例えば、特許文献１参照）。図２１は、特許文献１に記載された従来の映像表示装置の構成を示すブロック図である。
【０００３】
図２１において、左の後側方カメラ２２０２ａ、後方カメラ２２０２ｂ、及び右の後側方カメラ２２０２ｃは、車両の周辺の映像を撮影するものである。制御部２２１３は、ギアシフト位置センサ２２０４、操舵角センサ２２０５、及び切換スイッチ２２０６からの情報に従い、表示範囲切り出し部２２１１を用いて左の後側方カメラ２２０２ａ、後方カメラ２２０２ｂ、及び右の後側方カメラ２２０２ｃの映像から表示範囲を切り出していた。そして、合成部２２１２で切り出された複数の映像を１つの表示画面の中に合成して、ディスプレイ２２０３で表示していた。
【０００４】
図２２は、従来の映像表示装置における映像処理について説明する図である。図２２（ａ）は、左の後側方カメラ２２０２ａの映像であり、切り出し領域２３０２ａが画面表示のために切り出される部分を示している。図２２（ｂ）は、後方カメラ２２０２ｂの映像であり、切り出し領域２３０２ｂが画面表示のために切り出される部分を示している。図２２（ｃ）は、後方カメラ２２０２ｃの映像であり、切り出し領域２３０２ｃが画面表示のために切り出される部分を示している。図２２（ｄ）は、各カメラの映像から切り出した複数の映像をディスプレイ２２０３に表示するために合成した映像である。図２２（ａ）〜（ｄ）に示すように、従来の映像表示装置は、各カメラから切り出した複数の映像を合成して、ディスプレイ２２０３で表示していた。
【特許文献１】特開２００５−２２３５２４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、図２１に記載の従来の映像表示装置では、各カメラの映像毎に表示に必要な範囲を求め、各カメラの映像からその表示範囲の映像を切り出して、切り出した映像を合成してディスプレイ２２０３に表示していた。そのため、図２２（ａ）〜（ｃ）に示すように、各カメラの映像毎に表示に必要な範囲を求める処理が必要になり、各カメラの映像から切り出す範囲は単純な矩形ではなく、サイズも異なるため、処理が複雑になるという課題を有していた。また、図２２（ｄ）に示すように、ディスプレイ２２０３には、各カメラから切り出した複数の映像が表示されるため、各カメラの映像の相関が分かりにくいという課題も有していた。
【０００６】
それ故に、本発明の目的は、従来の課題を解決するものであり、車両周辺を撮影する複数の撮影部の映像から、運転者の運転支援を行うための映像を簡易な処理によって合成し、運転者に直感的な操作ができる映像を提供することによって操舵操作を支援する映像表示装置を提供することである。
【課題を解決するための手段】
【０００７】
本発明は、複数の撮影部を用いて撮影した映像をモニタに表示する映像表示装置に向けられている。そして、上記目的を達成するために、本発明の映像表示装置は、所定の位置を映像構成基準位置として設定する基準位置設定部と、複数の撮影部が撮影した映像に基準位置設定部によって設定された映像構成基準位置に関する情報を付加する少なくとも１つの映像構成基準位置情報付加部と、映像構成基準位置情報付加部によって付加された映像構成基準位置が重なるように、複数の撮影部が撮影した映像を合成して広範囲な映像を生成する映像構成部と、映像構成部によって生成された広範囲な映像からモニタに表示するための表示領域を指定する表示領域指定部と、表示領域指定部によって指定された表示領域を映像構成部によって生成された広範囲な映像から切り出し、切り出した映像をモニタに表示出力する表示映像生成部とを備える。
【０００８】
これによって、映像表示装置は、複数の撮影部が撮影した映像を簡易な方法で合成して、広範囲な映像を生成することができる。また、生成された広範囲な映像から、モニタに表示するための映像を切り出して表示するため、運転者にとって分かりやすい映像を提供することができる。
【０００９】
広範囲な映像とは、複数の撮影部のうちいずれか１つの撮影部を用いて撮影した映像よりも広い範囲を撮影した映像である。また、表示領域指定部は、広範囲な映像に付加された映像構成基準位置が中心となるように、広範囲な映像からモニタに表示するための表示領域を指定する。
【００１０】
また、映像表示装置は、移動機器の操舵角度を検出するための操舵角度検出部をさらに備える構成であってもよい。この場合、基準位置設定部は、操舵角度検出部が検出した移動機器の操舵角度に合わせて映像構成基準位置を変更する。
【００１１】
また、映像構成部は、撮影部が撮影した映像を合成する際に、映像構成基準位置が映像の中心に近い映像のレイヤから順に上位層に配置されるように、撮影部が撮影した映像を合成する。
【００１２】
好ましくは、映像構成基準位置は、撮影部の設置状態と撮影部が撮影した映像を見る際の想定視点とに基づいて決定される重点監視位置に設定される。
【００１３】
また、映像構成基準位置は、移動機器の操作者によって、表示映像生成部がモニタに出力する映像を参照しながら任意に決めてもよい。
【００１４】
また、本発明は、複数の撮影部を用いて撮影した映像をモニタに表示する映像表示方法に向けられている。そして、上記目的を達成するために、本発明の映像表示方法は、所定の位置を映像構成基準位置として設定するステップと、複数の撮影部が撮影した映像に映像構成基準位置に関する情報を付加するステップと、付加された映像構成基準位置が重なるように、複数の撮影部が撮影した映像を合成して広範囲な映像を生成するステップと、生成された広範囲な映像からモニタに表示するための表示領域を指定するステップと、指定された表示領域を広範囲な映像から切り出し、切り出した映像をモニタに出力表示するステップとを備える。
【００１５】
また、本発明は、上述した映像表示方法を実行するプログラムを記憶した記憶媒体にも向けられている。そして、上記目的を達成するために、本発明のプログラムは、所定の位置を映像構成基準位置として設定するステップと、複数の撮影部が撮影した映像に映像構成基準位置に関する情報を付加するステップと、付加された映像構成基準位置が重なるように、複数の撮影部が撮影した映像を合成して広範囲な映像を生成するステップと、生成された広範囲な映像からモニタに表示するための表示領域を指定するステップと、指定された表示領域を広範囲な映像から切り出し、切り出した映像をモニタに出力表示するステップとを備える。
【発明の効果】
【００１６】
本発明の映像表示装置によれば、簡易な方法によって、使用者にとって分かりやすい映像をモニタに表示することが可能となる。また、本発明の映像表示装置によれば、移動機器の操舵角度に合わせて映像構成基準位置を変更することで、運転者のハンドル操作に合わせた映像情報を運転者に分かり易く表示することができる。これによって、映像表示装置は、直感的に操作ができる映像情報を運転者に提供することが可能となる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の各実施形態について、図面を参照しながら説明する。
【００１８】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る映像表示装置の構成を示すブロック図である。図１において、映像表示装置は、複数の撮影部１０１ａ〜１０１ｎと、複数の基準位置設定部１０２ａ〜１０２ｎと、複数の映像構成基準位置情報付加部１０３ａ〜１０３ｎと、映像構成部１０４と、表示領域指定部１０５と、表示映像生成部１０６と、映像表示部１０７と、映像表示制御部１１０と、移動方向検出部１１１とを備える。なお、映像表示装置は、複数の撮影部１０１ａ〜１０１ｎを必ずしも自身が備える必要はなく、外部の装置が備える複数の撮影部を利用してもよい。また、映像表示装置は、複数の基準位置設定部１０２ａ〜１０２ｎと、複数の映像構成基準位置情報付加部１０３ａ〜１０３ｎとを必ずしも、複数の撮影部１０１ａ〜１０１ｎの数に合わせて備える必要はなく、任意の数を備えていてもよいものとする。
【００１９】
複数の撮影部１０１ａ〜１０１ｎは、移動機器（たとえば車両）の周辺の映像を撮影する。複数の基準位置設定部１０２ａ〜１０２ｎは、所定の位置を重点監視位置として設定する。ここで、重点監視位置とは、複数の撮影部１０１ａ〜１０１ｎを用いて重点的に監視する位置であり、複数の撮影部１０１ａ〜１０１ｎで撮影された映像を合成する際の基準として用いられる。重点監視位置は、例えば、撮影部１０１ａ〜１０１ｎの設置位置や、運転者の想定視点に基づいて設定される。例えば、重点監視位置は、撮影部１０１ａ〜１０１ｎ（もしくは車両）からの距離や、地表面からの高さ等の情報として与えられる。以下、重点監視位置のことを映像構成基準位置と記す。
【００２０】
複数の映像構成基準位置情報付加部１０３ａ〜１０３ｎは、複数の基準位置設定部１０２ａ〜１０２ｎによって設定された映像構成基準位置に関する情報を撮影部１０１ａ〜１０１ｎで撮影された各映像に対して付加した後、映像構成部１０４に出力する。映像構成部１０４は、各映像構成基準位置が重なるように、複数の撮影部１０１ａ〜１０１ｎで撮影された映像を合成して、合成映像を生成する。合成映像は、複数の撮影部１０１ａ〜１０１ｎのうちいずれか１つの撮影部を用いて撮影した映像よりも広い範囲を撮影した映像となるので、以下、合成映像のことを広範囲な映像と記す。
【００２１】
表示領域指定部１０５は、表示用のモニタサイズや運転者の表示領域変更操作に基づいて、映像構成部１０４で生成された広範囲な映像のモニタ上の表示領域を指定する。表示映像生成部１０６は、表示領域指定部１０５により指定された表示領域を映像構成部１０４で生成された広範囲な映像から切り出して映像表示部１０７に出力する。映像表示部１０７は、表示映像生成部１０６から入力される映像を映像表示制御部１１０の指示に従ってモニタに出力表示する。映像表示制御部１１０は、移動方向検出部１１１によって検出された車両の移動方向によって、表示映像生成部１０６から入力される映像を左右反転するか否かの制御を行う。
【００２２】
このような構成によれば、複数の撮影部１０１ａ〜１０１ｎによって車両の周辺を撮影することで広範囲な映像を得ることができ、得られた映像を運転者に分かり易く表示することで運転者の死角を減ずることが可能となる。
【００２３】
以下に、本実施形態の映像表示装置について詳しく説明する。
映像表示装置において、複数の撮影部１０１ａ〜１０１ｎは、移動機器（たとえば車両）の周辺の状況を映像として撮影する。複数の撮影部１０１ａ〜１０１ｎを持つことによって、車両周辺の広範囲な映像を得ることができ、死角を減ずることができる。図２は、複数の撮影部１０１ａ〜１０１ｎの車両２０１への搭載状況と映像構成基準位置との関係を示す図である。図２（ａ）は、車両２０１における撮影部１０１ａ〜１０１ｎの設置の例を示している。図２（ａ）を参照して、車両２０１の後方を確認するための撮影部としてカメラ２０３ａ、２０３ｂ、２０３ｃが、車両２０１の前方を確認するための撮影部としてカメラ２０３ｄ、２０３ｅ、２０３ｆが設置されている。また、側方確認のための撮影部としてカメラ２０３ｇ、２０３ｈが設置されている。
【００２４】
これら複数のカメラ２０３ａ〜２０３ｈによって、車両２０１の周辺の広範囲な映像を得ることができる。基準位置設定部１０２ａ〜１０２ｎは、移動機器（たとえば車両）の移動方向の基準となる車両上の位置から、移動のための駆動力が働く方向に延ばした線（以後、操舵基準線と称する）上のいずれかの位置に、重点監視位置（すなわち、映像構成基準位置）を設定する。なお、映像構成基準位置は、必ずしも操舵基準線上の位置に設定される必要はなく、例えば、映像構成基準位置は、撮影部１０１ａ〜１０１ｎの設置位置や想定視点、あるいは運転者の操作等によっては、操舵基準線以外の位置に設定されてもよいものとする。
【００２５】
図２（ｂ）および（ｃ）は、車両２０１における映像構成基準位置の設定例を示すものである。図２（ｂ）は、右ハンドルの車両の場合の例であり、運転者２１０ａからの視点２１１ａを考慮し、カメラの設置位置の高さや角度から得られる映像において重点的に監視したい位置が、車両２０１における操舵基準線２０２上に映像構成基準位置２２０ａとして初期設定される。図２（ｃ）は、左ハンドルの車両の場合で、車両の形状やカメラの設置位置の高さや角度が図２（ｂ）とは異なる場合を示した例である。図２（ｂ）の場合と同様に、運転者２１０ｂからの視点２１１ｂを考慮し、カメラの設置位置の高さや角度から得られる映像において重点的に監視したい位置が映像構成基準位置２２０ｂとして初期設定される。
【００２６】
複数の映像構成基準位置情報付加部１０３ａ〜１０３ｎは、複数の基準位置設定部１０２ａ〜１０２ｎによって設定された映像構成基準位置に関する情報を撮影部１０１ａ〜１０１ｎで撮影された各映像に対して付加する。なお、付加する情報としては、例えば、映像構成基準位置が、各撮影部から得られる映像のどの位置になるかを映像上の座標位置として示す情報である。
【００２７】
図３は、後方確認用のカメラ２０３ａ、２０３ｂ、２０３ｃの車両２０１への搭載状況と各カメラから得られる映像との関係を示す図である。図３（ａ）〜（ｃ）は、各カメラが撮影した映像に映像構成基準位置の位置情報を付加したものを概念的に示したものである。図３（ａ）はカメラ２０３ａの映像を、図３（ｂ）はカメラ２０３ｂの映像を、図３（ｃ）はカメラ２０３ｃの映像を示している。図３（ｄ）は、車両２０１における後方確認用のカメラ２０３ａ、２０３ｂ、２０３ｃの設定の例を示している。なお、図中の黒丸が映像構成基準位置を示すが、実際の映像に黒丸が付加されるわけではなく、黒丸に相当する位置の座標情報が付加されることになる。
【００２８】
映像構成部１０４は、映像構成基準位置情報付加部１０３ａ〜１０３ｎで付加された映像構成基準位置が重なるように、撮影部１０１ａ〜１０１ｎが撮影した各映像を合成して広範囲な映像を生成する。図４は、カメラ２０３ａ〜２０３ｃから得られる各映像の合成処理を説明する図である。図４（ａ）〜（ｃ）は、図３（ａ）〜（ｃ）と同一である。映像構成部１０４は、これら複数の映像に付加された映像構成基準位置が重なるように複数の映像を合成する。この合成された映像を図４（ｄ）に示しており、これによって広範囲な映像が得られる。
【００２９】
映像構成部１０４は、図４（ｅ）に示すように、映像構成基準位置が映像の中心に近い映像のレイヤから順に上位層に配置されるように、カメラ２０３ａ〜２０３ｃが撮影した映像を合成する。この方法によれば、重点監視する位置の映像としてより最適なカメラの映像が選択されることになると共に、映像合成時の処理が簡易になる。
【００３０】
表示領域指定部１０５は、車両２０１に設置されている表示用モニタのサイズや運転者の表示領域変更操作に基づいて、映像構成部１０４で生成された広範囲な映像の表示領域を設定する。具体的には、表示領域指定部１０５は、映像構成部１０４で生成された広範囲な映像の表示領域の位置やサイズを表示領域情報として指定する。
【００３１】
表示映像生成部１０６は、表示領域指定部１０５により指定された表示領域情報に従い、映像構成部１０４で生成された広範囲な映像から表示領域を切り出して、モニタに表示する映像を生成する。図５は、映像構成部１０４で生成された広範囲な映像から表示領域を切り出す処理を説明する図である。ただし、図５（ａ）〜（ｄ）は、図４（ａ）〜（ｄ）と同一である。図５（ｅ）は、映像構成部１０４で生成された広範囲な映像から表示領域を切り出した後に生成される映像を示している。この例では、映像構成基準位置が映像の中心となるように表示領域が切り出されている。
【００３２】
移動方向検出部１１１は、車両２０１の移動方向を、センサもしくは移動方向設定装置（ギア）情報等によって検知し、その情報を映像表示制御部１１０に出力する。映像表示制御部１１０は、移動方向検出部１１１で検知した情報に従い、映像を左右反転するか否かの判断や、センサもしくは運転者の設定による映像の明暗等の調整制御を行う。映像表示部１０７は、表示映像生成部１０６から入力される映像を映像表示制御部１１０の指示に従って画像処理し、モニタに出力表示する。
【００３３】
次に、本実施形態の映像表示装置の動作の流れを、図１を参照しつつ、フローチャートに従って説明する。図６は、本発明の第１の実施形態に係る映像表示装置の動作を示すフローチャートである。ステップＳ１において、処理が開始され、ステップＳ２において、撮影部１０１ａ〜１０１ｎは車両２０１周辺の撮影を開始する。ステップＳ３において、基準位置設定部１０２ａ〜１０２ｎは、初期設定された映像構成基準位置に変更が必要か否かの判定を行う。判定の結果、初期設定された映像構成基準位置に変更が必要な場合（「Ｙｅｓ」）、制御をステップＳ４に進めて、新たな映像構成基準位置を変更指示に従って設定する。ステップＳ４において、映像構成基準位置を変更した後、制御をステップＳ５に進める。判定の結果、初期設定された映像構成基準位置に変更が必要ない場合（「Ｎｏ」）、制御をステップＳ５に進める。
【００３４】
ステップＳ５において、映像構成基準位置情報付加部１０３ａ〜１０３ｎは、基準位置設定部１０２ａ〜１０２ｎで設定された映像構成基準位置に関する情報を撮影部１０１ａ〜１０１ｎによって入力された各映像に対して付加する。ステップＳ６において、映像構成基準位置に関する情報が付加された映像が複数あるか否かの判定を行い、映像構成基準位置に関する情報が付加された映像が複数ある場合（「Ｙｅｓ」）は、制御をステップＳ７に進める。映像構成基準位置に関する情報が付加された映像が複数ない場合（「Ｎｏ」）には、制御をステップＳ８に進める。
【００３５】
ステップＳ７において、映像構成部１０４は、映像構成基準位置に関する情報が付加された複数の映像に対して、各映像の映像構成基準位置が重なるように合成を行い、広範囲な映像を生成して、制御をステップＳ８に進める。ステップＳ８において、表示領域指定部１０５は、映像構成部１０４が生成した広範囲な映像の映像構成基準位置が中心になるように、表示領域を表示モニタに合わせて指定する。
【００３６】
ステップＳ９において、表示領域指定部１０５は、表示領域に変更が必要か否かの判定を行って、判定の結果、表示領域に変更が必要な場合（「Ｙｅｓ」）は、制御をステップＳ１０に進める。判定の結果、表示領域に変更が必要ない場合（「Ｎｏ」）には、制御をステップＳ１１に進める。
【００３７】
ステップＳ１０において、表示領域の変更指示に従い、表示領域指定部１０５は、新たな表示領域を指定し（すなわち、表示領域を変更し）、制御をステップＳ１１に進める。ステップＳ１１において、表示領域指定部１０５により指定された表示領域情報に従い、表示映像生成部１０６は、映像構成部１０４で生成した広範囲な映像から表示領域を切り出す。
【００３８】
ステップＳ１２において、映像表示制御部１１０の指示に従い、映像表示部１０７は、表示映像生成部１０６で切り出された映像に対して左右反転や画質調整等の映像処理を行ってモニタに出力する。ステップＳ１３において、映像表示制御部１１０は、表示停止要求があるか否かの判定を行い、判定の結果、表示停止要求がある場合（「Ｙｅｓ」）は、制御をステップＳ１４に進めて終了する。判定の結果、表示停止要求がない場合（「Ｎｏ」）には、制御をステップＳ３に戻し、ステップＳ３からステップＳ１３までの処理を繰り返す。
【００３９】
以上のように、本発明の第１の実施形態に係る映像表示装置は、複数の撮影部１０１ａ〜１０１ｎが撮影した映像を重点監視位置が重なるように合成し、広範囲な映像を生成し、重点監視位置を切り出してモニタに表示する。これによって、映像表示装置は、簡易な方法によって、使用者にとって分かりやすい映像をモニタに表示することが可能となる。また、映像表示装置は、車両等に搭載される車載映像表示装置として、死角を減じた運転支援システムにも応用することができる。また、監視カメラによるセキュリティシステムや複数カメラを用いて広範囲な映像を生成する映像システム等の用途にも応用することができる。
【００４０】
なお、図７及び図８には、カメラ２０３ａ〜２０３ｃの設置に際し、カメラ２０３ａ〜２０３ｃの設置位置や撮影方向の角度の違いによって得られる、図３〜図５とは異なる映像の一例を示している。図７及び図８が、図３〜図５と異なるのは、カメラ２０３ａ〜２０３ｃの設置位置や撮影方向の角度の違いによって付加される映像構成基準位置が異なっている点だけである。図７及び図８の場合も、図３〜図５の場合と同様に、映像表示装置は、簡易な処理によって、車両周辺を撮影する複数の撮影部１０１ａ〜１０１ｎの映像を元に、広範囲な映像を生成し、重点監視位置を切り出してモニタに表示することが可能となる。
【００４１】
また、本発明の第１の実施形態によれば、カメラ２０３ａ〜２０３ｃのいずれかが故障などにより、映像が得られない状態になっても、映像が得られないものに対しては映像構成基準位置に関する情報が付加されないようにすれば、一連の処理を変えることなく表示映像を得ることができる。図９及び図１０は、カメラ２０３ａが故障して映像が得られなくなった場合の例を示すものである。図９（ａ）及び図１０（ａ）はカメラ２０３ａからの映像が得られない状態を、図９（ｂ）及び図１０（ｂ）はカメラ２０３ｂの映像を、図９（ｃ）及び図１０（ｃ）はカメラ２０３ｃの映像を示している。図９（ｄ）は、車両２０１における後方確認用のカメラ２０３ａ、２０３ｂ、２０３ｃの設定の例を示している。このような場合は、映像構成部１０４は、カメラ２０３ｂとカメラ２０３ｃとの映像を合成して、図１０（ｄ）に示すような広範囲な映像を生成する。表示映像生成部１０６は、表示領域指定部１０５により指定された表示領域情報に従い、映像構成部１０４で生成された広範囲な映像から表示領域を切り出して、図１０（ｅ）に示すような映像を生成する。
【００４２】
（第２の実施形態）
図１１は、本発明の第２の実施形態に係る映像表示装置の構成を示すブロック図である。図１１において、図１と同一の構成要素については、同一の参照符号を付して説明を省略する。本実施形態の映像表示装置は、第１の実施形態に係る映像表示装置と比較して、操舵角度検出部１０８と映像構成基準位置補正部１０９とをさらに備えている。操舵角度検出部１０８は、運転者がハンドルを操作したとき操舵角度を検出するための構成である。映像構成基準位置補正部１０９は、操舵角度検出部１０８で検出された操舵角度に合わせて、基準位置設定部１０２ａ〜１０２ｎで設定された映像構成基準位置を補正する。
【００４３】
以下に、本実施形態の映像表示装置について詳しく説明する。
図１２は、後方確認用のカメラ２０３ａ、２０３ｂ、２０３ｃの車両２０１への搭載状況及び操舵角度と、各カメラから得られる映像との関係を示す図である。図１２（ａ）〜（ｃ）は、各カメラが撮影した映像に映像構成基準位置２２１ａ，２２１ｂの位置情報を付加したものを概念的に示したものである。図１２（ａ）はカメラ２０３ａの映像を、図１２（ｂ）はカメラ２０３ｂの映像を、図１２（ｃ）はカメラ２０３ｃの映像を示している。図１２（ｄ）は、車両２０１における後方確認用のカメラ２０３ａ、２０３ｂ、２０３ｃの設定の例を示している。
【００４４】
図１２に示す例では、操舵角度が“０”のときに、映像構成基準位置２２１ａが設定された場合において、運転手がハンドル操作を行うことで、操舵角度“θ”が発生した場合の例を示している。操舵角度が“０”のときの映像構成基準位置（すなわち、初期状態での映像構成基準位置）は、第１の実施形態と同様に、操舵基準線２０２上のいずれかの位置に設定されている。なお、図中の黒丸が映像構成基準位置を示すが、実際の映像に黒丸が付加されるわけではなく、黒丸に相当する位置の座標情報が付加されることになる。
【００４５】
図１２（ｄ）を参照して、操舵角度θが発生すると、操舵角度検出部１０８は、操舵角度θを検出して、映像構成基準位置補正部１０９に検出した情報を出力する。映像構成基準位置補正部１０９は、操舵角度検出部１０８によって検出された操舵角度θに合わせて映像構成基準位置２２１ａを新たな映像構成基準位置２２１ｂとして補正する。すなわち、運転者の操作による操舵角度θに合わせて、映像構成基準位置が補正されることになる。映像構成基準位置情報付加部１０３ａ〜１０３ｎは、映像構成基準位置補正部１０９によって補正された映像構成基準位置２２１ｂの情報を各映像に付加する。
【００４６】
なお、図１２（ｃ）は、操舵角度θが発生することで、映像構成基準位置２２１ｂがカメラ２０３ｃから得られる映像の外に位置する場合を示している。この場合、映像構成基準位置情報付加部１０３ｃは、映像構成基準位置２２１ｂの情報がカメラ２０３ｃから得られる映像の外にあるものとして、映像構成基準位置２２１ｂをカメラ２０３ｃから得られる映像に付加する。
【００４７】
映像構成基準位置補正部１０９は、操舵角度θに合わせて、所定の変更線２０５上に位置するように映像構成基準位置を補正することで、容易に補正位置を補正することができる。所定の変更線２０５は、撮影部１０１ａ〜１０１ｎの設置位置や、運転者の想定視点に基づいて任意に決定することができる。また、所定の変更線２０５は、例えば、操舵基準線２０２上の一点から所定の半径を有する円弧（楕円を含む）の一部を所定の変更線２０５として用いてもよい。
【００４８】
第２の実施形態に係る映像表示装置と、図６のフローチャートに示す第１の実施形態との動作の違いは、ステップＳ３における初期設定された映像構成基準位置の変更が必要か否かの判定に、操舵角度検出部１０８で検出した操舵角度の情報を判定の要因として追加し、ステップＳ４において映像構成基準位置の変更を実施する点である。
【００４９】
映像構成部１０４は、映像構成基準位置情報付加部１０３ａ〜１０３ｎで付加された映像構成基準位置が重なるように撮影部１０１ａ〜１０１ｎが撮影した各映像を合成して、広範囲な映像を生成する。図１３は、カメラ２０３ａ〜２０３ｃから得られる各映像の合成方法を説明する図である。図１３（ａ）〜（ｃ）は、図１２（ａ）〜（ｃ）と同一である。映像構成部１０４では、これら複数の映像に付加された映像構成基準位置が重なるように複数の映像を合成する。この合成された映像を図１３（ｄ）に示しており、これによって広範囲な映像が得られる。表示映像生成部１０６は、第１の実施形態と同様の手順にて、映像構成部１０４で合成された広範囲な映像から表示領域を切り出して、図１３（ｅ）に示すような映像を生成する。
【００５０】
なお、映像表示装置は、撮影部１０１ａ〜１０１ｎが撮影した各映像を合成するのに、図１３で説明した映像の合成方法とは異なる方法を用いてもよい。この方法を図１４に示す。図１３に示す方法では、カメラ２０３ｃから得られる映像の外に映像構成基準位置２２１ｂが位置する場合に、映像構成基準位置２２１ｂの情報が映像の外にあるものとして扱ったが、図１４に示す方法では、カメラ２０３ｃから得られる映像内に映像構成基準位置２２１ｂが無いものとして扱う。図１４（ａ）〜（ｂ）は、図１３（ａ）〜（ｂ）と同一である。
【００５１】
図１４（ｃ）は、映像構成基準位置２２１ｂがカメラ２０３ｃから得られる映像内に無いものとして扱った場合の映像を示している。この場合は、映像構成基準位置情報付加部１０３ｃは、映像構成基準位置２２１ｂがカメラ２０３ｃから得られる映像内に無いものとして、映像構成基準位置２２１ｂをカメラ２０３ｃから得られる映像に対して付加しない。すなわち、映像構成部１０４は、映像合成時に映像構成基準位置２２１ｂが付加された映像のみを用いることになるため、映像構成部１０４で生成される広範囲な映像は、図１４（ｄ）に示すようにカメラ２０３ａとカメラ２０３ｂとを用いて合成された映像になる。表示映像生成部１０６は、第１の実施形態と同様の手順にて、映像構成部１０４で合成された広範囲な映像から表示領域を切り出して、図１４（ｅ）に示すような映像を生成する。本実施形態の映像表示装置のその他の動作は、本発明の第１の実施形態の映像表示装置と同様であり説明を省略する。
【００５２】
以上のように、本発明の第２の実施形態に係る映像表示装置は、移動機器の操舵角度に合わせて映像構成基準位置を変更することで、第１の実施形態で説明した効果に加え、運転者のハンドル操作に合わせた映像を運転者に分かり易く表示することができ、運転者の死角を減ずることが可能となる。
【００５３】
なお、図１５〜１６には、カメラ２０３ａ〜２０３ｃの設置に際し、カメラ２０３ａ〜２０３ｃの設置位置や撮影方向の角度の違いによって得られる、図１２〜１３とは異なる映像の一例を示している。同様に、図１７には、図１４とは異なる映像の一例を示している。図１５〜１６及び図１７が、図１２〜１３及び図１４と異なるのは、カメラ２０３ａ〜２０３ｃの設置位置や撮影方向の角度の違いによって付加される映像構成基準位置が異なっている点だけである。図１５〜１６及び図１７の場合も、図１２〜１３及び図１４の場合と同様に、映像表示装置は、簡易な処理によって、車両周辺を撮影する複数の撮影部１０１ａ〜１０１ｎの映像を元に、広範囲な映像を生成し、重点監視位置を切り出してモニタに表示することが可能となる。
【００５４】
また、本発明の第２の実施形態によれば、カメラ２０３ａ〜２０３ｃのいずれかが故障などにより、映像が得られない状態になっても、映像が得られないものに対しては映像構成基準位置に関する情報が付加されないようにすれば、一連の処理を変えることなく表示映像を得ることができる。図１８〜図１９は、カメラ２０３ａが故障して映像が得られなくなった場合の処理を説明する図である。図１８（ａ）及び図１９（ａ）はカメラ２０３ａからの映像が得られない状態を示し、図１８（ｂ）及び図１９（ｂ）はカメラ２０３ｂの映像を、図１８（ｃ）及び図１９（ｃ）はカメラ２０３ｃの映像を示している。図１８（ｄ）は、車両２０１における後方確認用のカメラ２０３ａ、２０３ｂ、２０３ｃの設定の例を示している。このような場合は、映像構成部１０４は、カメラ２０３ｂとカメラ２０３ｃとの映像を合成して、図１９（ｄ）に示すような映像を生成する。表示映像生成部１０６は、表示領域指定部１０５により指定された表示領域情報に従い、映像構成部１０４で合成された広範囲な映像から表示領域を切り出して、図１９（ｅ）に示すような映像を生成する。
【００５５】
また、図２０の場合も同様に、カメラ２０３ｃから得られる映像内に映像構成基準位置２２１ｂが無いものとして扱い、映像構成部１０４は、図２０（ｂ）に示すカメラ２０３ｂの映像から、図２０（ｄ）に示すような映像を生成する。表示映像生成部１０６は、表示領域指定部１０５により指定された表示領域情報に従い、映像構成部１０４で合成された広範囲な映像から表示領域を切り出して、図２０（ｅ）に示すような映像を生成する。
【００５６】
なお、本実施の形態において、操舵角度検出部１０８で検出された操舵角度に合わせて映像構成基準位置を補正するものとして映像構成基準位置補正部１０９を設けたが、映像構成基準位置補正部１０９は、基準位置設定部１０２ａ〜１０２ｎに機能を統合してもよい。
【００５７】
また、上述した第１及び第２の実施形態に係る映像表示装置が実施する動作は、ＣＰＵ（中央演算装置）によって実行可能なプログラムとして提供されても構わない。プログラムは、ＤＲＡＭ、フラッシュメモリ等のメモリ、ＨＤ（Hard Disk）、及びＤＶＤ（Digital Versatile Disk）等の記憶媒体に記憶することができる。
【産業上の利用可能性】
【００５８】
本発明にかかる映像表示装置は、車両等の車載映像表示装置等として有用である。
【図面の簡単な説明】
【００５９】
【図１】本発明の第１の実施形態に係る映像表示装置の構成を示すブロック図
【図２】複数の撮影部１０１ａ〜１０１ｎの車両２０１への搭載状況と映像構成基準位置との関係を示す図
【図３】後方確認用のカメラ２０３ａ、２０３ｂ、２０３ｃの車両２０１への搭載状況と各カメラから得られる映像との関係を示す図
【図４】カメラ２０３ａ〜２０３ｃから得られる各映像の合成処理を説明する図
【図５】映像構成部１０４で生成された広範囲な映像から表示領域を切り出す処理を説明する図
【図６】本発明の第１の実施形態に係る映像表示装置の動作の一例を示すフローチャート
【図７】後方確認用のカメラ２０３ａ、２０３ｂ、２０３ｃの車両２０１への搭載状況と各カメラから得られる映像との関係を示す図
【図８】カメラ２０３ａ〜２０３ｃから得られる各映像の合成処理を説明する図
【図９】カメラ２０３ａが故障して映像が得られなくなった場合の処理を説明する図
【図１０】カメラ２０３ａが故障して映像が得られなくなった場合の処理を説明する図
【図１１】本発明の第２の実施形態に係る映像表示装置の構成を示すブロック図
【図１２】後方確認用のカメラ２０３ａ、２０３ｂ、２０３ｃの車両２０１への搭載状況及び操舵角度と、各カメラから得られる映像との関係を示す図
【図１３】カメラ２０３ａ〜２０３ｃから得られる各映像の合成方法を説明する図
【図１４】カメラ２０３ｃから得られる映像内に映像構成基準位置２２１ｂが無い場合の映像の合成方法を説明する図
【図１５】後方確認用のカメラ２０３ａ、２０３ｂ、２０３ｃの車両２０１への搭載状況と各カメラから得られる映像との関係を示す図
【図１６】カメラ２０３ａ〜２０３ｃから得られる各映像の合成処理を説明する図
【図１７】図１４とは異なる映像の一例を示す図
【図１８】カメラ２０３ａが故障して映像が得られなくなった場合の処理を説明する図
【図１９】カメラ２０３ａが故障して映像が得られなくなった場合の処理を説明する図
【図２０】カメラ２０３ａが故障して映像が得られなくなった場合の処理を説明する図
【図２１】従来の映像表示装置の構成を示すブロック図
【図２２】従来の映像表示装置における映像処理について説明する図
【符号の説明】
【００６０】
１０１ａ、１０１ｂ、１０１ｎ  撮影部
１０２ａ、１０２ｂ、１０２ｎ  基準位置設定部
１０３ａ、１０３ｂ、１０３ｎ  映像構成基準位置情報付加部
１０４  映像構成部
１０５  表示領域指定部
１０６  表示映像生成部
１０７  映像表示部
１０８  操舵角度検出部
１０９  映像構成基準位置補正部
１１０  映像表示制御部
１１１  移動方向検出部
２０１  車両
２０２  操舵基準線
２０３ａ、２０３ｂ、２０３ｃ、２０３ｄ、２０３ｅ、２０３ｆ、２０３ｇ、２０３ｈ  カメラ
２０５  所定の変更線
２１０ａ、２１０ｂ  運転者
２１１ａ、２１１ｂ  運転者の想定視点
２２０ａ、２２０ｂ、２２１ａ、２２１ｂ  映像構成基準位置
２２０１  周辺監視コントロールユニット
２２０２ａ  左の後側方カメラ
２２０２ｂ  後方カメラ
２２０２ｃ  右の後側方カメラ
２２０３  ディスプレイ
２２０４  ギアシフト位置センサ
２２０５  操舵角センサ
２２０６  切換スイッチ
２２１１  表示範囲切り出し部
２２１２  映像合成部
２２１３  制御部
２３０２ａ  左の後側方カメラの映像切り出し領域
２３０２ｂ  後方カメラの映像切り出し領域
２３０２ｃ  右の後側方カメラの映像切り出し領域
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の撮影部を用いて撮影した映像をモニタに表示する映像表示装置であって、
所定の位置を映像構成基準位置として設定する基準位置設定部と、
前記複数の撮影部が撮影した映像に前記基準位置設定部によって設定された前記映像構成基準位置に関する情報を付加する少なくとも１つの映像構成基準位置情報付加部と、
前記映像構成基準位置情報付加部によって付加された前記映像構成基準位置が重なるように、前記複数の撮影部が撮影した映像を合成して広範囲な映像を生成する映像構成部と、
前記映像構成部によって生成された広範囲な映像から前記モニタに表示するための表示領域を指定する表示領域指定部と、
前記表示領域指定部によって指定された表示領域を前記映像構成部によって生成された広範囲な映像から切り出し、当該切り出した映像を前記モニタに表示出力する表示映像生成部とを備える、映像表示装置。
【請求項２】
前記広範囲な映像とは、前記複数の撮影部のうちいずれか１つの撮影部を用いて撮影した映像よりも広い範囲を撮影した映像であることを特徴とする、請求項１に記載の映像表示装置。
【請求項３】
前記表示領域指定部は、前記広範囲な映像に付加された前記映像構成基準位置が中心となるように、前記広範囲な映像から前記モニタに表示するための表示領域を指定することを特徴とする、請求項１又は２に記載の映像表示装置。
【請求項４】
移動機器の操舵角度を検出するための操舵角度検出部をさらに備え、
前記基準位置設定部は、前記操舵角度検出部が検出した前記移動機器の操舵角度に合わせて前記映像構成基準位置を変更することを特徴とする、請求項１〜３のいずれかに記載の映像表示装置。
【請求項５】
前記映像構成部は、前記撮影部が撮影した映像を合成する際に、前記映像構成基準位置が映像の中心に近い映像のレイヤから順に上位層に配置されるように、前記撮影部が撮影した映像を合成することを特徴とする、請求項１〜４のいずれかに記載の映像表示装置。
【請求項６】
前記映像構成基準位置は、前記撮影部の設置状態と前記撮影部が撮影した映像を見る際の想定視点に基づいて決定される重点監視位置に設定されることを特徴とする、請求項１〜５のいずれかに記載の映像表示装置。
【請求項７】
前記映像構成基準位置は、移動機器の操作者によって、前記表示映像生成部がモニタに出力する映像を参照しながら任意に決められることを特徴とする、請求項１〜５のいずれかに記載の映像表示装置。
【請求項８】
複数の撮影部を用いて撮影した映像をモニタに表示する映像表示方法であって、
所定の位置を映像構成基準位置として設定するステップと、
前記複数の撮影部が撮影した映像に前記映像構成基準位置に関する情報を付加するステップと、
前記付加された映像構成基準位置が重なるように、前記複数の撮影部が撮影した映像を合成して広範囲な映像を生成するステップと、
前記生成された広範囲な映像から前記モニタに表示するための表示領域を指定するステップと、
前記指定された表示領域を前記広範囲な映像から切り出し、当該切り出した映像を前記モニタに出力表示するステップとを備える、映像表示方法。
【請求項９】
複数の撮影部を用いて撮影した映像をモニタに表示するプログラムを記憶した記憶媒体であって、
所定の位置を映像構成基準位置として設定するステップと、
前記複数の撮影部が撮影した映像に前記映像構成基準位置に関する情報を付加するステップと、
前記付加された映像構成基準位置が重なるように、前記複数の撮影部が撮影した映像を合成して広範囲な映像を生成するステップと、
前記生成された広範囲な映像から前記モニタに表示するための表示領域を指定するステップと、
前記指定された表示領域を前記広範囲な映像から切り出し、当該切り出した映像を前記モニタに出力表示するステップとを備える、プログラムを記憶した記憶媒体。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2008044589.tif 000025
【図２】
2008044589.tif 000026
【図３】
2008044589.tif 000027
【図４】
2008044589.tif 000028
【図５】
2008044589.tif 000029
【図６】
2008044589.tif 000030
【図７】
2008044589.tif 000031
【図８】
2008044589.tif 000032
【図９】
2008044589.tif 000033
【図１０】
2008044589.tif 000034
【図１１】
2008044589.tif 000035
【図１２】
2008044589.tif 000036
【図１３】
2008044589.tif 000037
【図１４】
2008044589.tif 000038
【図１５】
2008044589.tif 000039
【図１６】
2008044589.tif 000040
【図１７】
2008044589.tif 000041
【図１８】
2008044589.tif 000042
【図１９】
2008044589.tif 000043
【図２０】
2008044589.tif 000044
【図２１】
2008044589.tif 000045
【図２２】
2008044589.tif 000046
【国際調査報告】
2008044589.tif 000047
2008044589.tif 000048
2008044589.tif 000049
2008044589.tif 000050