(57)【要約】【課題】車両周辺の映像を運転者に対して表示する際において、撮像した映像をもとに死角領域を容易に視認させる技術を提供する。【解決手段】表示制御装置２０における取得部６０は、車両の側面において、ドアノブよりも車両の前方に配置された第２撮像装置１０ｂから車両の後方を撮像した第１映像を取得する。抽出部７０は、取得部６０において取得した第１映像から、ドアノブに映る領域の第２映像を抽出する。出力部６８は、第２映像と、第１映像とを第２表示装置４０ｂに出力する。【選択図】図３
2019118023.tif 000002
【特許請求の範囲】
【請求項１】
車両の側面において、ドアノブよりも車両の前方に配置された撮像装置から車両の後方を撮像した第１映像を取得する取得部と、
前記第１映像から、前記ドアノブに映る領域の第２映像を抽出する抽出部と、
前記第２映像と、前記第１映像とを表示装置に出力する出力部と、
を備えることを特徴とする表示制御装置。
【請求項２】
前記第２映像と、前記第１映像とに対して異なった処理を実行し、処理の結果を前記出力部に出力する映像処理部をさらに備えることを特徴とする請求項１に記載の表示制御装置。
【請求項３】
前記映像処理部は、前記第２映像と、前記第１映像とに対して異なった拡大率を使用することを特徴とする請求項２に記載の表示制御装置。
【請求項４】
前記第２映像として前記抽出部において抽出すべき領域に対する調節を実行する調節部をさらに備えることを特徴とする請求項１から３のいずれかに記載の表示制御装置。
【請求項５】
前記取得部は、方向指示に関する情報も取得し、
前記出力部は、前記取得部が方向指示に関する情報を取得した場合に、前記第２映像を表示装置に出力することを特徴とする請求項１から４のいずれかに記載の表示制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示制御技術に関し、特に車両周辺の映像を運転者に対して表示する表示制御装置に関する。
【背景技術】
【０００２】
車両を安全に運転するために、車両の周囲の状況を目視によって確認する必要がある。直接目視できない領域を目視するために、これまでドアミラーなどが利用されてきたが、車載カメラの利用が検討されている。例えば、車両の後方を撮像する車載カメラにより、車両の後方領域を撮像するとともに、車両の後方部分に取り付けられた小型ミラーに映った車両の前方の死角領域の鏡面画像も撮像する。この鏡面画像も表示される（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第１３／１４４９９８号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
車両に新たに小型ミラーを取り付ける場合、小型ミラーによる空気抵抗が増加するとともに、車両のデザイン性が低下する。さらに、小型ミラーによるコストが増加する。
【０００５】
本発明はこうした状況に鑑みてなされたものであり、その目的は、車両周辺の映像を運転者に対して表示する際において、撮像した映像をもとに死角領域を容易に視認させる技術を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある態様の表示制御装置は、車両の側面において、ドアノブよりも車両の前方に配置された撮像装置から車両の後方を撮像した第１映像を取得する取得部と、第１映像から、ドアノブに映る領域の第２映像を抽出する抽出部と、第２映像と、第１映像とを表示装置に出力する出力部と、を備える。
【０００７】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【０００８】
本発明によれば、車両周辺の映像を運転者に対して表示する際において、撮像した映像をもとに死角領域を容易に視認できる。
【図面の簡単な説明】
【０００９】
【図１】図１（ａ）−（ｂ）は、実施例における車両の構成を模式的に示す図である。
【図２】図１（ａ）−（ｂ）の撮像装置による撮像領域を示す図である。
【図３】実施例における映像表示システムの構成を示す図である。
【図４】図３の抽出部における処理の概要を示す図である。
【図５】図３の第２表示装置に表示される映像を示す図である。
【図６】実施例における車両の別の構成を模式的に示す図である。
【発明を実施するための形態】
【００１０】
本発明の実施例を具体的に説明する前に、概要を述べる。本発明の実施例は、車両に搭載される映像表示システム（カメラモニタリングシステム）に関する。映像表示システムは、例えば、電子ミラー等の撮像装置に使用される。ドアミラーの代わりに設置された撮像装置が、各ミラーに対応する車両周辺の映像を撮像し、表示制御装置は、撮像した映像を表示装置に表示させる。なお、表示される映像には、車両周辺の映像（車両の後方の映像）と、ドアミラーの反射像に相当する映像（車両の前方の映像）が含まれる。ドアミラーによる車両の前方死角の視認に関して直前直左鏡法令が定められる。当該法令では、小型自動車、軽自動車、普通自動車に対して、車両の前面から０．３ｍの距離にある鉛直面および車両の左側面から０．３ｍの距離にある鉛直面と車両との間に存在する障害物を運転者が運転席から確認するための鏡等の装置が必要とされる。また、当該法令では、キャブオーバ型大型貨物自動車等に対して、車両の前面から２ｍの距離にある鉛直面および車両の左側面から３ｍの距離にある鉛直面が使用される。
【００１１】
このような車両の前方死角の視認は、ドアミラーの代わりに撮像装置を使用する場合であっても要求される。車両の後方を撮像するための撮像するための撮像装置をドアミラーの位置に設置するだけでは、前方死角の視認に関する要求を満たせない車両も存在するので、映像表示システムを搭載可能な車両が限定されてしまう。一方、車両の前方死角を視認するために、前述のごとく、車両に新たに小型ミラーを取り付けると、小型ミラーによる空気抵抗が増加するとともに、車両のデザイン性が低下する。さらに、小型ミラーによるコストが増加する。そのため、新たな小型ミラー等の装置の取り付けは望まれない。
【００１２】
新たな小型ミラー等の装置を取り付けず前方死角の視認を可能にするために、本実施例に係る表示制御装置は左側の撮像装置において撮像した車両の後方の映像から、ドアノブに映る領域を抽出する。表示制御装置は、抽出した領域を拡大した映像（以下、「抽出映像」という）を表示装置に表示する。ここで、ドアノブはミラーとしても機能して、ドアノブには車両の前方死角、つまり直前直左の状況が映っている。そのため、車両の前方死角に障害物が存在する場合、抽出映像には障害物が示されるので、抽出映像を前方死角の視認に使用可能である。
【００１３】
図１（ａ）−（ｂ）は、車両Ｃ１の構成を模式的に示す。特に、図１（ａ）は車両Ｃ１の全体の構成を示す。車両Ｃ１には、後述する映像表示システム１００が搭載される。映像表示システム１００では、撮像装置１０、表示制御装置２０、表示装置４０が連携して、後述の映像を車両Ｃ１の乗員（運転者等）に提示する。車両Ｃ１は、サイドミラーＣ２と総称される第１サイドミラーＣ２ａ、第２サイドミラーＣ２ｂ、撮像装置１０と総称される第１撮像装置１０ａ、第２撮像装置１０ｂ、表示制御装置２０、表示装置４０と総称される第１表示装置４０ａ、第２表示装置４０ｂを含む。第１サイドミラーＣ２ａは車両Ｃ１の右側に設置され、第２サイドミラーＣ２ｂは車両Ｃ１の左側に設置される。また、第１サイドミラーＣ２ａには、第１撮像装置１０ａ、第１表示装置４０ａが搭載され、第２サイドミラーＣ２ｂには、第２撮像装置１０ｂ、第２表示装置４０ｂが搭載される。ここで、車両Ｃ１は、右ハンドルであるとする。
【００１４】
図１（ｂ）は、車両Ｃ１の第１サイドミラーＣ２ａの構成を示す。第１サイドミラーＣ２ａにおける車両Ｃ１のボディの付け根部分に第１撮像装置１０ａが配置される。また、第１サイドミラーＣ２ａにおいて、ミラーが配置されるべき部分に第１表示装置４０ａが配置される。第２サイドミラーＣ２ｂも第１サイドミラーＣ２ａと同様の構造を有する。図１（ａ）に戻る。第１撮像装置１０ａは、車両Ｃ１の右側の後方を撮像する。第１撮像装置１０ａによって撮像される領域は、「第１撮像装置１０ａの撮像領域」と示される。また、第２撮像装置１０ｂは、車両Ｃ１の左側の後方を撮像する。第２撮像装置１０ｂによって撮像される領域は、「第２撮像装置１０ｂの撮像領域」と示される。また、映像表示システム１００は、撮像装置１０において撮像した映像を表示装置４０に表示する。例えば、第１撮像装置１０ａにおいて撮像された映像が第１表示装置４０ａに表示され、第２撮像装置１０ｂにおいて撮像された映像が第２表示装置４０ｂに表示される。なお、「第１撮像装置１０ａの撮像領域」および「第２撮像装置１０ｂの撮像領域」には、後述するドアノブＣ３を含む車両Ｃ１の側面ボディの一部が含まれる。
【００１５】
図２は、第２撮像装置１０ｂによる撮像領域を示す。これは、車両Ｃ１の左側の側面図である。前述のごとく、第２サイドミラーＣ２ｂには第２撮像装置１０ｂが搭載され、車両Ｃ１の助手席側ドアにはドアノブＣ３が配置される。第２撮像装置１０ｂは、「第２撮像装置１０ｂの撮像領域」での撮像を実行する。その結果、車両Ｃ１の側面において、ドアノブＣ３よりも車両Ｃ１の前方に配置された第２撮像装置１０ｂから車両Ｃ１の後方を撮像した映像が撮像される。このような映像は、第１撮像装置１０ａにおいても同様に撮像される。ドアノブＣ３による反射（鏡面反射）によって、ドアノブＣ３よりも車両Ｃ１の前方に向かうように「ドアノブＣ３に反射した撮像領域」が形成される。そのため、ドアノブＣ３には、「ドアノブＣ３に反射した撮像領域」の映像が映る。その結果、第２撮像装置１０ｂによって撮像された「第２撮像装置１０ｂの撮像領域」の映像には、「ドアノブＣ３に反射した撮像領域」の映像が含まれる。なお、ドアノブＣ３は、車両Ｃ１の前方のドアに対して凸状に取り付けられ、且つ、鏡面加工されたものが好ましい。
【００１６】
図３は、映像表示システム１００の構成を示す。映像表示システム１００は、撮像装置１０と総称される第１撮像装置１０ａ、第２撮像装置１０ｂ、表示制御装置２０、方向指示装置３０、表示装置４０と総称される第１表示装置４０ａ、第２表示装置４０ｂを含む。表示制御装置２０は、取得部６０と総称される第１取得部６０ａ、第２取得部６０ｂ、処理部６２、出力部６８を含み、処理部６２は、抽出部７０、映像処理部７２、調節部７４を含む。
【００１７】
撮像装置１０は、車両Ｃ１のサイドミラーＣ２に設置され、車両周辺の映像を撮像する。前述のごとく、第１撮像装置１０ａは、車両Ｃ１の右側側方に設置されて後方に向かって映像を撮像し、第２撮像装置１０ｂは、車両Ｃ１の左側側方に設置されて後方に向かって映像を撮像する。撮像装置１０は撮像した映像を表示制御装置２０に出力する。
【００１８】
取得部６０は、撮像装置１０からの映像を取得する。取得部６０は、例えば、揮発性メモリにより構成され、映像を無加工で一時的に蓄えるが、映像に対して所定の処理がなされていてもよい。ここで、第１取得部６０ａは第１撮像装置１０ａからの映像を取得し、第２取得部６０ｂは第２撮像装置１０ｂからの映像を取得する。つまり、取得部６０は、車両Ｃ１の側面において、ドアノブＣ３よりも車両Ｃ１の前方に配置された撮像装置１０から車両Ｃ１の後方を撮像した映像を取得する。なお、以下では、第２取得部６０ｂにおいて取得した映像をもとに説明を進める。取得部６０は、映像を処理部６２に出力する。
【００１９】
抽出部７０は、取得部６０において取得される映像のうち、抽出すべき領域（以下、「抽出領域」という）に関する情報を予め記憶する。抽出領域は、車両Ｃ１の左側の側面に配置されたドアノブＣ３に映る領域である。撮像装置１０に設置された第２撮像装置１０ｂがずれなければ、映像においてドアノブＣ３に映る領域は固定の位置であるので、抽出部７０は、抽出領域に関する情報として固定の位置を記憶する。そのため、抽出領域に関する情報は、抽出領域が矩形状を有する場合、４つの頂点の座標を含む。なお、抽出領域に関する情報が、４つの頂点のうちの１つの頂点、例えば、左上の頂点の座標と、横方向の辺の長さ、縦方向の辺の長さを含んでもよい。
【００２０】
抽出部７０は、取得部６０において取得した映像を受けつけ、受けつけた映像から抽出領域の部分を抽出する。抽出した部分の映像が「抽出映像」に相当する。ここで、取得部６０において取得した映像を「第１映像」と呼ぶ場合、抽出映像は「第２映像」と呼ばれる。また、抽出部７０は、取得部６０において取得される映像のうち、表示装置４０に表示させる車両Ｃ１の後方の映像として、予め設定した所定範囲の映像（後述する映像２００に相当する映像）も抽出する。図４は、抽出部７０における処理の概要を示す。これは、車両Ｃ１の後方の映像として抽出した映像２００であり、ドアノブＣ３に映る領域が抽出領域２１０として規定される。抽出部７０は、抽出領域２１０の部分を抽出映像として抽出する。図３に戻る。抽出部７０は、映像２００と抽出映像を映像処理部７２に出力する。
【００２１】
映像処理部７２は、抽出部７０からの映像２００と抽出映像を受けつける。映像処理部７２は、映像２００に対して、拡大、歪み補正等の処理（以下、「第１処理」という）を実行する。第１処理には公知の技術が使用されればよいので、ここでは説明を省略する。また、映像処理部７２は、抽出映像に対して、反転、拡大、歪み、色彩補正等の処理（以下、「第２処理」という）を実行する。第２処理には公知の技術が使用されればよいので、ここでは説明を省略する。
【００２２】
ここで、抽出映像のサイズは映像２００のサイズよりも小さい。そのため、第２処理において抽出映像に対して使用される拡大率は、第１処理において映像２００に対して使用される拡大率よりも大きい。つまり、映像処理部７２は、抽出映像と映像２００とに対して異なった拡大率を使用する。また、抽出映像は、ドアノブＣ３に映った映像であるので、一般的に映像２００よりも歪んでいる。つまり、抽出映像と映像２００とでは歪みの程度が異なる。そのため、第２処理において抽出映像に対して使用される歪み補正は、第１処理において映像２００に対して使用される歪み補正とは異なる。
【００２３】
このように映像処理部７２は、抽出映像と映像２００とに対して異なった処理を実行する。なお、第１処理と第２処理には複数種類の処理が含まれているが、そのうちの一部が同一であってもよい。映像処理部７２は、第１処理を実行した映像２００（以下、これもまた「映像２００」という）と、第２処理を実行した抽出映像（以下、これもまた「抽出映像」という）を出力部６８に出力する。
【００２４】
出力部６８は、映像処理部７２から映像２００と抽出映像とを受けつける。処理部６２は、映像２００と抽出映像とを第２表示装置４０ｂに出力する。第２表示装置４０ｂは、映像２００と抽出映像とを表示する。図５は、第２表示装置４０ｂに表示される映像を示す図である。図示のごとく、映像２００と抽出映像２０２とが並んで表示される。抽出映像２０２には、車両Ｃ１の直前直左の死角領域が示される。図３に戻る。なお、第１取得部６０ａにおいて取得された映像（具体的には、第１取得部６０ａにおいて取得される映像のうち、表示装置４０に表示させる車両Ｃ１の後方の映像として、予め設定した所定範囲の映像）に対して、映像処理部７２は、拡大、歪み補正等の処理（以下、「第３処理」という）を実行する。第１表示装置４０ａは、第３処理を実行した映像を表示する。つまり、第１取得部６０ａにおいて取得された映像に対しては、抽出映像が生成されず、表示もされない。
【００２５】
以下では、映像表示システム１００における付加的な処理を２つ説明する。１つ目の付加的な処理は、抽出領域に対する調節処理である。車両Ｃ１に搭載された第２撮像装置１０ｂの位置あるいは角度がずれることによって、映像２００においてドアノブＣ３に映る領域もずれる。また、車両Ｃ１の角度がずれることによって、ドアノブＣ３に映る映像の角度もずれる。そのため、調節部７４は、抽出部７０からの映像２００を受けつけ、エッジ検出処理等の特徴検出処理を実行することによって、映像２００におけるドアノブＣ３を検出する。また、調節部７４は、検出したドアノブＣ３に映る領域を含むように抽出領域の位置を調節する。調節部７４は、調節した抽出領域を抽出部７０に記憶させる。
【００２６】
２つ目の付加的な処理は、第２表示装置４０ｂに抽出映像２０２を常時表示させる必要がない種類の車両Ｃ１において、左折時あるいは左側車線への車線変更時にのみ、第２表示装置４０ｂに抽出映像２０２を表示させる処理である。方向指示装置３０は、運転者による操作あるいは自動運転制御によって左折の方向指示の要求あるいは右折の方向指示の要求を受けつける。方向指示装置３０は、左折の方向指示の要求を受けつけた場合に、左折の方向指示を実行し、右折の方向指示の要求を受けつけた場合に、右折の方向指示を実行する。方向指示装置３０は、左折の方向指示を実行すると、左折の方向指示に関する情報を処理部６２に出力する。
【００２７】
取得部６０は、方向指示装置３０からの左折の方向指示に関する情報も取得する。出力部６８は、取得部６０が左折の方向指示に関する情報を取得した場合に、映像２００と抽出映像２０２とを第２表示装置４０ｂに出力する。一方、出力部６８は、取得部６０が左折の方向指示に関する情報を取得していない場合に、映像２００を第２表示装置４０ｂに出力し、抽出映像２０２を出力しない。この結果、左折の方向指示があった場合には、車両Ｃ１の表示装置４０では、映像２００を表示する状態から、映像２００と抽出映像２０２とを同時に表示する状態に切り替わる。
【００２８】
これまでは、図１（ｂ）のごとく、撮像装置１０と表示装置４０とがサイドミラーＣ２に搭載されている。一方、撮像装置１０と表示装置４０とを分離して配置させてもよい。図６は、車両Ｃ１の別の構成を模式的に示す。図示のごとく、撮像装置１０が車両Ｃ１の外側に設置され、表示装置４０が車両Ｃ１の内側に設置される。このように撮像装置１０と表示装置４０を分離して設置することによって、車外の撮像装置１０を極力小さくすることができる。これにより、デザイン性がよくなる。また、空気抵抗が抑えられ、燃費を改善できる。また、表示装置４０を車内に設置することによって、降雨時でも雨滴の影響を抑えながら映像を直視できる。また、太陽光の影響も抑えることができる。さらに、熱の影響が低減されるので、動作を安定化できる。
【００２９】
この構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ハードウエアとソフトウエアの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
【００３０】
本実施例によれば、車両の後方を撮影した映像からドアノブに映る領域の抽出映像を表示するので、車両の後方を撮像した映像をもとに死角領域を容易に視認させることができる。また、車両の後方を撮影した映像からドアノブに映る領域の抽出映像を表示するので、新たな装置の車両への搭載を不要にできる。また、抽出映像と、車両の後方を撮影した映像とに対して異なった処理を実行するので、それぞれの映像に適した処理を実行できる。また、それぞれの映像に適した処理が実行されるので、それぞれの映像を視認しやすくできる。また、抽出映像と、車両の後方を撮影した映像とに対して異なった拡大率を使用するので、それぞれの映像を適切に拡大できる。また、抽出領域に対する調節を実行するので、撮像装置を車両に搭載する際の細やかな角度調整を不要にできる。また、撮像装置を車両に搭載する際の細やかな角度調整が不要になるので、車両への搭載を容易にできる。また、方向指示に関する情報を取得したときに、抽出映像を表示装置に出力するので、必要に応じて映像を表示できる。
【００３１】
本発明の一態様の概要は、次の通りである。本発明のある態様の表示制御装置は、車両の側面において、ドアノブよりも車両の前方に配置された撮像装置から車両の後方を撮像した第１映像を取得する取得部と、第１映像から、ドアノブに映る領域の第２映像を抽出する抽出部と、第２映像と、第１映像とを表示装置に出力する出力部と、を備える。
【００３２】
この態様によると、車両の後方を撮影した第１映像からドアノブに映る領域の第２映像を抽出して表示するので、車両の後方を撮像した第１映像をもとに死角領域を容易に視認させることができる。
【００３３】
第２映像と、第１映像とに対して異なった処理を実行し、処理の結果を出力部に出力する映像処理部をさらに備えてもよい。この場合、抽出した領域の第２映像と、取得した第１映像とに対して異なった処理を実行するので、それぞれの映像を視認しやすくできる。
【００３４】
映像処理部は、第２映像と、第１映像とに対して異なった拡大率を使用してもよい。この場合、抽出した領域の第２映像と、取得した第１映像とに対して異なった拡大率を使用するので、それぞれの映像を適切に拡大できる。
【００３５】
第２映像として抽出部において抽出すべき領域に対する調節を実行する調節部をさらに備えてもよい。この場合、抽出すべきドアノブを含む領域に対する調節を実行するので、車両への搭載を容易にできる。
【００３６】
取得部は、方向指示に関する情報も取得し、出力部は、取得部が方向指示に関する情報を取得した場合に、第２映像を表示装置に出力してもよい。
この場合、方向指示に関する情報を取得したときに、抽出した領域の第２映像を表示装置に出力するので、必要に応じて第２映像を表示できる。
【００３７】
以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００３８】
本実施例において、車両Ｃ１は右ハンドルであることを前提としている。しかしながらこれに限らず例えば、車両Ｃ１は左ハンドルであってもよい。その場合、これまでの説明における左側の説明が右側に変更される。本変形例によれば、本実施例の適用範囲を拡大できる。
【００３９】
本実施例において、車両Ｃ１の前方のドアのドアノブＣ３を前提としている。しかしながらこれに限らず、車両Ｃ１の後方のドアのドアノブを用いて行ってもよい。また、各ドアノブからの映像を合成するようにしてもよい。本変形例によれば、本実施例の適用範囲を拡大できる。
【符号の説明】
【００４０】
Ｃ１  車両、  Ｃ２  サイドミラー、  Ｃ３  ドアノブ、  １０  撮像装置、  ２０  表示制御装置、  ３０  方向指示装置、  ４０  表示装置、  ６０  取得部、  ６２  処理部、  ６８  出力部、  ７０  抽出部、  ７２  映像処理部、  ７４  調節部、  １００  映像表示システム。
【図１】
2019118023.tif 000003
【図２】
2019118023.tif 000004
【図３】
2019118023.tif 000005
【図４】
2019118023.tif 000006
【図５】
2019118023.tif 000007
【図６】
2019118023.tif 000008