(57)【要約】【課題】車外の良好な視認性を確保すること。【解決手段】車両の後方を撮影した映像を取得する映像取得部３１と、車両の周辺の明暗を規定する情報を取得する情報取得部３２と、映像取得部３１が取得した映像の被撮影物の輪郭を抽出する強調処理部３３と、車両の周辺の明暗を規定する情報が、車両の周辺が暗いことを示しているときに、映像取得部３１が取得した映像の輝度を低下させ、強調処理部３３が抽出した輪郭を重畳させてリヤビューモニタ３に表示させる表示制御部３４とを備える。【選択図】図２
2017200035.tif 000002
【特許請求の範囲】
【請求項１】
車両の後方を撮影した映像を取得する映像取得部と、
前記車両の周辺の明暗を規定する情報を取得する情報取得部と、
前記映像取得部が取得した映像の被撮影物を強調する強調処理部と、
前記車両の周辺の明暗を規定する情報が、前記車両の周辺が暗いことを示しているときに、前記映像取得部が取得した映像の輝度を低下させ、前記強調処理部で前記被撮影物を強調させて表示装置に表示させる表示制御部と
を備えることを特徴とする車両用表示制御装置。
【請求項２】
前記強調処理部は、前記被撮影物の輪郭を抽出し、
前記表示制御部は、前記車両の周辺の明暗を規定する情報が、前記車両の周辺が暗いことを示しているときに、前記映像取得部が取得した映像の輝度を低下させ、前記強調処理部が抽出した前記輪郭を重畳させて表示装置に表示させる請求項１に記載の車両用表示制御装置。
【請求項３】
前記映像取得部が取得した映像に対して物体認識を行う物体認識部を備え、
前記強調処理部は、前記物体認識部が他車両または人として認識した物体に対して輪郭を抽出する請求項２に記載の車両用表示制御装置。
【請求項４】
前記映像取得部は、前記車両の後方を撮影した映像として、可視光で撮影した第一映像と、赤外光で撮影した第二映像とを取得し、
前記強調処理部は、前記第二映像から特徴部の輪郭を抽出し、
前記表示制御部は、前記第一映像の輝度を低下させ、前記強調処理部が抽出した輪郭を重畳させて表示装置に表示させる請求項２または３に記載の車両用表示制御装置。
【請求項５】
前記映像取得部が取得した映像に基づき被撮影対象の輝度を取得する輝度取得部を備え、
前記表示制御部は、前記車両の周辺が暗いことを示しており、前記映像に所定輝度以上の被撮影対象が撮影されている場合に、前記映像取得部が取得した映像の輝度を低下させ、前記強調処理部で前記被撮影物を強調させて表示装置に表示させる請求項１から４のいずれか一項に記載の車両用表示制御装置。
【請求項６】
前記情報取得部は、前記車両の周辺の明暗を規定する情報として、現在時刻が夜間であることを示す情報を取得し、
前記表示制御部は、前記車両の周辺の明暗を規定する情報として、現在時刻が夜間であることを示しているときに、前記映像取得部が取得した映像の輝度を低下させ、前記強調処理部で前記被撮影物を強調させて表示装置に表示させる請求項１から５のいずれか一項に記載の車両用表示制御装置。
【請求項７】
前記情報取得部は、前記車両の周辺の明暗を規定する情報として、照度センサからの情報を取得し、
前記表示制御部は、前記車両の周辺の明暗を規定する情報として、前記照度センサからの情報が所定光量未満であることを示しているときに、前記映像取得部が取得した映像の輝度を低下させ、前記強調処理部で前記被撮影物を強調させて表示装置に表示させる請求項１から５のいずれか一項に記載の車両用表示制御装置。
【請求項８】
前記映像取得部に映像を出力するカメラ、前記表示装置、のうち少なくともいずれかと、
請求項１から７のいずれか一項に記載の車両用表示制御装置と
を備えた車両用表示システム。
【請求項９】
車両の後方を撮影した映像を取得する映像取得ステップと、
前記車両の周辺の明暗を規定する情報を取得する情報取得ステップと、
前記映像取得ステップにおいて取得した映像の被撮影物を強調する強調処理ステップと、
前記車両の周辺の明暗を規定する情報が、前記車両の周辺が暗いことを示しているときに、前記映像取得ステップにおいて取得した映像の輝度を低下させ、前記強調処理ステップで前記被撮影物を強調させて表示装置に表示させる表示制御ステップと
を含む車両用表示制御方法。
【請求項１０】
車両の後方を撮影した映像を取得する映像取得ステップと、
前記車両の周辺の明暗を規定する情報を取得する情報取得ステップと、
前記映像取得ステップにおいて取得した映像の被撮影物を強調する強調処理ステップと、
前記車両の周辺の明暗を規定する情報が、前記車両の周辺が暗いことを示しているときに、前記映像取得ステップにおいて取得した映像の輝度を低下させ、前記強調処理ステップで前記被撮影物を強調させて表示装置に表示させる表示制御ステップと
を車両用表示制御装置として動作するコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラムに関する。
【背景技術】
【０００２】
車両の後方を確認するルームミラーに代わって、車両後方に向けたカメラの画像を表示する表示装置において、夜間時に後続車両の前照灯が写った箇所の輝度を検出して、輝度が所定の閾値を超えていた場合、前照灯が写った領域の輝度を減少させる補正を行う技術が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−１９８３０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところが、車両の周囲が暗いとき、リヤビューモニタの発光した表示素子で車室内が照らされる。照らされた車室内は、ウィンドシールドに映り込み、車外の視認性を低下させるおそれがある。
【０００５】
本発明は、上記に鑑みてなされたものであって、車外の良好な視認性を確保することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明に係る車両用表示制御装置は、車両の後方を撮影した映像を取得する映像取得部と、前記車両の周辺の明暗を規定する情報を取得する情報取得部と、前記映像取得部が取得した映像の被撮影物を強調する強調処理部と、前記車両の周辺の明暗を規定する情報が、前記車両の周辺が暗いことを示しているときに、前記映像取得部が取得した映像の輝度を低下させ、前記強調処理部で前記被撮影物を強調させて表示装置に表示させる表示制御部とを備えることを特徴とする。
【０００７】
本発明に係る車両用表示システムは、前記映像取得部に映像を出力するカメラ、前記表示装置、のうち少なくともいずれかと、上記の車両用表示制御装置とを備える。
【０００８】
本発明に係る車両用表示制御方法は、車両の後方を撮影した映像を取得する映像取得ステップと、前記車両の周辺の明暗を規定する情報を取得する情報取得ステップと、前記映像取得ステップにおいて取得した映像の被撮影物を強調する強調処理ステップと、前記車両の周辺の明暗を規定する情報が、前記車両の周辺が暗いことを示しているときに、前記映像取得ステップにおいて取得した映像の輝度を低下させ、前記強調処理ステップで前記被撮影物を強調させて表示装置に表示させる表示制御ステップとを含む。
【０００９】
本発明に係るプログラムは、車両の後方を撮影した映像を取得する映像取得ステップと、前記車両の周辺の明暗を規定する情報を取得する情報取得ステップと、前記映像取得ステップにおいて取得した映像の被撮影物を強調する強調処理ステップと、前記車両の周辺の明暗を規定する情報が、前記車両の周辺が暗いことを示しているときに、前記映像取得ステップにおいて取得した映像の輝度を低下させ、前記強調処理ステップで前記被撮影物を強調させて表示装置に表示させる表示制御ステップとを車両用表示制御装置として動作するコンピュータに実行させる。
【発明の効果】
【００１０】
本発明によれば、車外の良好な視認性を確保することができるという効果を奏する。
【図面の簡単な説明】
【００１１】
【図１】図１は、第一実施形態に係る車両用表示システムの構成例を示す概略図である。
【図２】図２は、第一実施形態に係る車両用表示システムの構成例を示すブロック図である。
【図３】図３は、第一実施形態に係る車両用表示システムの構成例の他の例を示す概略図である。
【図４】図４は、第一実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の一例を示す図である。
【図５】図５は、第一実施形態に係る車両用表示システムで輪郭抽出された映像データの一例を示す図である。
【図６】図６は、第一実施形態に係る車両用表示システムの車両用表示制御装置における処理の流れを示すフローチャートである。
【図７】図７は、第一実施形態に係る車両用表示システムで輝度低下された映像データの一例を示す図である。
【図８】図８は、第一実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の一例を示す図である。
【図９】図９は、第二実施形態に係る車両用表示システムの構成例を示すブロック図である。
【図１０】図１０は、第二実施形態に係る車両用表示システムで物体認識された映像データの一例を示す図である。
【図１１】図１１は、第二実施形態に係る車両用表示システムで認識された物体が輪郭抽出された映像データの一例を示す図である。
【図１２】図１２は、第二実施形態に係る車両用表示システムの車両用表示制御装置における処理の流れを示すフローチャートである。
【図１３】図１３は、第二実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の一例を示す図である。
【図１４】図１４は、第三実施形態に係る車両用表示システムの構成例を示すブロック図である。
【図１５】図１５は、第三実施形態に係る車両用表示システムの可視光カメラで撮影された映像データの一例を示す図である。
【図１６】図１６は、第三実施形態に係る車両用表示システムの赤外光カメラで撮影された映像データの一例を示す図である。
【図１７】図１７は、第三実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の一例を示す図である。
【図１８】図１８は、第三実施形態に係る車両用表示システムの赤外光カメラで撮影された映像データから、リヤビューモニタに表示される範囲を切出した映像の一例を示す図である。
【図１９】図１９は、第三実施形態に係る車両用表示システムの赤外光カメラで撮影された映像データから輪郭抽出された映像データの一例を示す図である。
【図２０】図２０は、第三実施形態に係る車両用表示システムの車両用表示制御装置における処理の流れを示すフローチャートである。
【図２１】図２１は、第三実施形態に係る車両用表示システムで輝度低下された映像データの一例を示す図である。
【図２２】図２２は、第三実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の一例を示す図である。
【図２３】図２３は、第四実施形態に係る車両用表示システムの構成例を示すブロック図である。
【図２４】図２４は、第四実施形態に係る車両用表示システムで所定輝度以上の領域が抽出された映像データの一例を示す図である。
【図２５】図２５は、第四実施形態に係る車両用表示システムの車両用表示制御装置における処理の流れを示すフローチャートである。
【図２６】図２６は、第四実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の一例を示す図である。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照して、本発明に係る車両用表示制御装置１０、車両用表示システム１、車両用表示制御方法およびプログラムの実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。
【００１３】
［第一実施形態］
車両用表示システム１は、車両に搭載され、車両後方を撮影した映像を表示する。図１は、第一実施形態に係る車両用表示システムの構成例を示す概略図である。図２は、第一実施形態に係る車両用表示システムの構成例を示すブロック図である。本実施形態では、後方について説明するが、側後方についても同様に適用される。
【００１４】
図１、図２に示すように、車両用表示システム１は、後方カメラ２と、リヤビューモニタ３と、車両用表示制御装置１０とを有する。
【００１５】
後方カメラ２は、車両の後方に配置され、車両の後方を撮影する。後方カメラ２は、リヤビューモニタ３による確認範囲を含んだ範囲を撮影する。後方カメラ２は、通常時、リヤビューモニタ３に表示されない範囲を含んで撮影している。後方カメラ２は、水平方向の画角が例えば３０〜６０°、上下方向の画角が例えば５〜２０°である。後方カメラ２は、リヤビューモニタ３に表示させる範囲より広い範囲の映像を撮影可能であるが、リヤビューモニタ３を用いて車両の運転者が適切に後方を認識できるような範囲を切出してリヤビューモニタ３に表示する。後方カメラ２は、撮影した撮影映像データを車両用表示制御装置１０の制御部３０の映像取得部３１へ出力する。
【００１６】
リヤビューモニタ３は、一例としては電子ルームミラーである。リヤビューモニタ３を電子ルームミラーとして用いる場合は、後方を光学的な反射により確認するためのハーフミラーの有無は問わない。リヤビューモニタ３は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｏｒｇａｎｉｃ  Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどを含むディスプレイである。リヤビューモニタ３は、運転者から視認容易な位置に配置されている。本実施形態では、リヤビューモニタ３は、ウィンドシールドＳの車幅方向の中央上部に配置されている。リヤビューモニタ３は、図３に示すように、ダッシュボードＤの車幅方向の中央上部に配置されていてもよい。図３は、第一実施形態に係る車両用表示システムの構成例の他の例を示す概略図である。
【００１７】
リヤビューモニタ３は、車両用表示制御装置１０の制御部３０の表示制御部３４から出力された映像信号に基づき、車両の後方映像を表示する。具体的に、リヤビューモニタ３は、図４に示すような後方映像を表示する。図４は、第一実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の一例を示す図である。図４に示す映像データ１００は、後続車両２０１と道路２０２と建物２０３とが被撮影物として映されている。
【００１８】
図２に戻って、車両用表示制御装置１０は、記憶部２０と、制御部３０とを有する。
【００１９】
記憶部２０は、車両用表示制御装置１０における各種処理に要するデータおよび各種処理結果を記憶する。記憶部２０は、例えば、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、フラッシュメモリ（Ｆｌａｓｈ  Ｍｅｍｏｒｙ）などの半導体メモリ素子、または、ハードディスク、光ディスク、ネットワークを介した外部記憶装置などの記憶装置である。または、図示しない通信装置を介して無線接続される外部記憶装置であってもよい。
【００２０】
制御部３０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）などで構成された演算処理装置である。制御部３０は、映像取得部３１と、情報取得部３２と、強調処理部３３と、表示制御部３４とを含む。制御部３０は、記憶部２０に記憶されているプログラムに含まれる命令を実行する。
【００２１】
映像取得部３１は、車両の後方および側後方を撮影した映像を取得する。映像取得部３１が取得する撮影映像データは、例えば、毎秒６０フレームの画像が連続した映像データである。本実施形態では、映像取得部３１は、後方カメラ２が出力した撮影映像データを取得する。映像取得部３１は、撮影映像データから、リヤビューモニタ３に表示させる範囲を切出す。撮影映像データのどの範囲を切出すかは、あらかじめ記憶部２０に記憶されている。映像取得部３１は、切出した映像データ１００を強調処理部３３と表示制御部３４とに出力する。
【００２２】
情報取得部３２は、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ  Ｃｏｎｔｒｏｌ  Ｕｎｉｔ）またはＣＡＮ（Ｃｏｎｔｒｏｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）から、昼夜を判定するための情報を取得する。本実施形態において、夜間とは、日没時刻または日没前の時刻から日の出の時刻までの時間帯とする。情報取得部３２は、取得した情報を表示制御部３４に出力する。
【００２３】
例えば、情報取得部３２は、現在時刻と車両の現在位置との組み合わせである昼夜情報を取得する。昼夜情報は、例えば、ナビゲーション装置や通信回線を介して外部のサーバから取得する。または、例えば、情報取得部３２は、昼間または夜間特有の車両に対する操作に関する操作情報を取得する。情報取得部３２は、例えば、ライトのＯＮ／ＯＦＦ情報を取得する。または、例えば、情報取得部３２は、車両の外部の光量を測定する照度センサで測定された照度情報を取得する。
【００２４】
強調処理部３３は、映像データ１００の被撮影物の映像が強調表示される処理を行う。本実施形態では、強調処理部３３は、映像データ１００から被撮影物の輪郭を抽出する処理を行う。強調処理部３３は、エッジ検出処理など公知の輪郭抽出手法を用いて、図５に示すような、被撮影物の輪郭を抽出する。図５は、第一実施形態に係る車両用表示システムで輪郭抽出された映像データの一例を示す図である。被撮影物の輪郭が詳細に検出されると、実際の映像データ１００との差異が小さくなり、情報量が多くなってしまい、被撮影物の認識に時間を要するおそれがある。また、被撮影物の輪郭が粗く検出されると、実際の映像データ１００との差異が大きくなり、情報量が少なく、被撮影物を正しく認識できないおそれがある。このため、強調処理部３３は、適切に輪郭が抽出されるようにしきい値が設定されている。図５に示す輪郭映像データ１１０は、図４に示す映像データ１００から、後続車両の輪郭２１１と、道路の輪郭２１２と、建物の輪郭２１３とが抽出されている。強調処理部３３は、検出した輪郭映像データ１１０を表示制御部３４に出力する。
【００２５】
表示制御部３４は、通常時の通常表示処理として、映像取得部３１から出力された映像データ１００をリヤビューモニタ３に表示させる。より詳しくは、表示制御部３４は、図４に示すような映像データ１００をリヤビューモニタ３に表示させる。
【００２６】
表示制御部３４は、上述の通常表示処理に加えて、毎フレームまたは所定フレームごとに、所定条件を満たすか否かを判定して、所定条件を満たす場合、映像データ１００に含まれる被撮影物の輪郭を抽出し重畳表示させる。
【００２７】
次に、図６を用いて、制御部３０による処理の流れについて説明する。図６は、第一実施形態に係る車両用表示システムの車両用表示制御装置における処理の流れを示すフローチャートである。
【００２８】
制御部３０は、表示制御部３４で、車両の周辺が暗いか否かを判定させる（ステップＳ１１）。より詳しくは、制御部３０は、表示制御部３４で、情報取得部３２で取得したデータに基づいて、車両の周辺が暗いか否かを判定させる。例えば、表示制御部３４は、情報取得部３２で取得した昼夜情報に基づいて、現在時刻が車両の現在位置において夜間か否かを判定する。表示制御部３４は、夜間であると判定した場合、車両の周辺が暗いと判定する。または、例えば、表示制御部３４は、情報取得部３２で取得したライトのＯＮ／ＯＦＦ情報に基づいて、ライトがＯＮ操作された場合、車両の周辺が暗いと判定する。または、例えば、表示制御部３４は、情報取得部３２で取得した照度情報が１００ルクス以下の場合、車両の周辺が暗いと判定する。
【００２９】
制御部３０は、表示制御部３４で、車両の周辺が暗くないと判定された場合（ステップＳ１１でＮｏ）、ステップＳ１２に進む。
【００３０】
制御部３０は、表示制御部３４で、車両の周辺が暗いと判定した場合（ステップＳ１１でＹｅｓ）、ステップＳ１３に進む。
【００３１】
制御部３０は、表示制御部３４で、通常表示をさせる（ステップＳ１２）。より詳しくは、制御部３０は、表示制御部３４で、映像取得部３１から出力された映像データ１００をリヤビューモニタ３に表示させる。より詳しくは、表示制御部３４で、図４に示すような映像データ１００をリヤビューモニタ３に表示させる。
【００３２】
制御部３０は、強調処理部３３で、被撮影物の輪郭を抽出させる（ステップＳ１３）。より詳しくは、制御部３０は、強調処理部３３で、映像データ１００から、図５に示すような、被撮影物の輪郭を抽出する。図５に示す輪郭映像データ１１０は、図４に示す映像データ１００から、後続車両の輪郭２１１と、道路の輪郭２１２と、建物の輪郭２１３とが抽出されている。制御部３０は、ステップＳ１４に進む。
【００３３】
制御部３０は、表示制御部３４で、映像輝度を低下させる（ステップＳ１４）。より詳しくは、制御部３０は、表示制御部３４で、図７に示すように、映像データ１００の輝度を低下させた輝度低下映像データ１２０を生成させる。輝度低下映像データ１２０は、例えば、映像データ１００の画素ごとの明度を低減させて生成してもよい。または、輝度低下映像データ１２０を生成する代わりに、リヤビューモニタ３のバックライトを通常の輝度より低減させる制御信号を生成して出力してもよい。図７は、第一実施形態に係る車両用表示システムで輝度低下された映像データの一例を示す図である。制御部３０は、ステップＳ１５に進む。
【００３４】
制御部３０は、表示制御部３４で、重畳表示させる（ステップＳ１５）。より詳しくは、制御部３０は、表示制御部３４で、映像データ１００の輝度を低下させた輝度低下映像データ１２０に輪郭映像データ１１０を重畳させた表示映像データ１３０を生成させる。制御部３０は、表示制御部３４で、図８に示すように、リヤビューモニタ３に表示映像データ１３０を表示させる。図８は、第一実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の一例を示す図である。
【００３５】
上述したように、本実施形態によれば、車両の周辺が暗い場合、映像データ１００に含まれる被撮影物の輪郭を抽出し、輝度を低下させた輝度低下映像データ１２０に輪郭映像データ１１０を重畳させた表示映像データ１３０をリヤビューモニタ３に表示させる。このため、車両の周辺が暗いときであっても、リヤビューモニタ３に表示された表示映像データ１３０は輝度が低下されているので、リヤビューモニタ３の発光した表示素子で車室内が照らされ、ウィンドシールドＳなどの車両のガラスに映り込むことが低減される。このように、本実施形態によれば、車外の良好な視認性を確保することができる。
【００３６】
本実施形態よれば、輝度を低下させた輝度低下映像データ１２０に輪郭映像データ１１０を重畳させた表示映像データ１３０をリヤビューモニタ３に表示させるので、輝度を低下させたとしても、被撮影物を容易に認識することができる。
【００３７】
本実施形態よれば、車両の周辺が明るい場合、映像データ１００がそのままリヤビューモニタ３に表示される。このように、本実施形態によれば、車両の周辺の明るさによらず、いつでも車外の良好な視認性を確保することができる。
【００３８】
［第二実施形態］
図９ないし図１３を参照しながら、本実施形態に係る車両用表示システム１Ａについて説明する。図９は、第二実施形態に係る車両用表示システムの構成例を示すブロック図である。図１０は、第二実施形態に係る車両用表示システムで物体認識された映像データの一例を示す図である。図１１は、第二実施形態に係る車両用表示システムで認識された物体が輪郭抽出された映像データの一例を示す図である。図１２は、第二実施形態に係る車両用表示システムの車両用表示制御装置における処理の流れを示すフローチャートである。図１３は、第二実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の一例を示す図である。車両用表示システム１Ａは、基本的な構成は第一実施形態の車両用表示システム１と同様である。以下の説明においては、車両用表示システム１と同様の構成要素には、同一の符号または対応する符号を付し、その詳細な説明は省略する。
【００３９】
図９に示すように、本実施形態の車両用表示システム１Ａは、認識辞書４Ａと、物体認識部３３Ａとを有する点が、第一実施形態の車両用表示システム１と異なる。
【００４０】
認識辞書４Ａは、例えば、四輪車、二輪車、人を含む物体の形状、大きさ、色などのパターンを照合可能な辞書を記憶している。認識辞書４Ａは、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの半導体メモリ素子、または、ハードディスク、光ディスク、ネットワークを介した外部記憶装置などの記憶装置に記憶されている。認識辞書４Ａが記憶されている記憶装置は、記憶部２０と同一であってもよい。
【００４１】
物体認識部３３Ａは、映像データから物体を認識する。より詳しくは、物体認識部３３Ａは、映像データに対して、認識辞書４Ａが記憶している認識辞書を用いたパターンマッチングを行い、物体の存在を検出する。本実施形態では、物体認識部３３Ａは、物体として車両を認識する。本実施形態では、物体認識部３３Ａは、図４に示す映像データ１００から、図１０に示すように、物体として車両２０１Ａを認識する。物体認識部３３Ａは、物体を検出する際に、物体の形状に基づいて車両であるとの判断に加えて、映像データにおける物体がナンバープレートを有していれば、ナンバープレートの英数字や記号を読み取り、読み取った英数字や記号に基づいて車両であると認識してもよい。物体認識部３３Ａは、物体認識映像データ１１０Ａを強調処理部３４Ａに出力する。
【００４２】
強調処理部３４Ａは、映像データ１００から検出された物体の輪郭を抽出する。より詳しくは、強調処理部３４Ａは、物体認識映像データ１１０Ａから物体の輪郭を抽出する。本実施形態では、強調処理部３４Ａは、図１１に示すように、車両の輪郭２１１Ａを検出する。強調処理部３４Ａは、検出した輪郭映像データ１２０Ａを表示制御部３５Ａに出力する。
【００４３】
表示制御部３５Ａは、所定条件を満たすか否かを判定して、所定条件を満たす場合、映像データ１００から検出された物体について被撮影物の輪郭を抽出し重畳表示させる。
【００４４】
次に、図１２を用いて、制御部３０Ａによる処理の流れについて説明する。
【００４５】
制御部３０ＡのステップＳ２１、ステップＳ２２、ステップＳ２５、ステップＳ２６の処理は、第一実施形態の制御部３０のステップＳ１１、ステップＳ１２、ステップＳ１４、ステップＳ１５の処理と同一であるため、説明を省略する。
【００４６】
制御部３０Ａは、物体認識を行う（ステップＳ２３）。より詳しくは、制御部３０Ａは、物体認識部３３Ａで、映像データ１００の物体を検出させる。制御部３０Ａは、物体認識部３３Ａで、物体認識映像データ１１０Ａを強調処理部３４Ａに出力させる。
【００４７】
制御部３０Ａは、被撮影物の輪郭を抽出させる（ステップＳ２４）。より詳しくは、制御部３０Ａは、強調処理部３３Ａで、物体認識映像データ１１０Ａから被撮影物の輪郭を抽出する。制御部３０Ａは、強調処理部３４Ａで、輪郭映像データ１２０Ａを表示制御部３５Ａに出力させる。
【００４８】
このようにして、車両用表示システム１Ａは、車両の周辺が暗い場合、表示制御部３５Ａで、映像データ１００に含まれる物体の検出し、検出した物体の輪郭を抽出し、図１３に示すように、映像データ１００に輪郭映像データ１２０Ａを重畳表示させる。
【００４９】
上述したように、本実施形態によれば、車両の周辺が暗い場合、映像データ１００に含まれる物体を検出し、検出した物体の輪郭を抽出し、輝度を低下させた輝度低下映像データ１２０に輪郭映像データ１２０Ａを重畳させた表示映像データ１３０Ａをリヤビューモニタ３に表示させる。このように、輝度を低下させた輝度低下映像データ１２０に輪郭映像データ１２０Ａを重畳させた表示映像データ１３０Ａをリヤビューモニタ３に表示させるので、輝度を低下させたとしても、被撮影物を容易に認識することができる。
【００５０】
しかも、本実施形態によれば、映像データ１００から物体を検出し、検出した物体の輪郭を抽出する。このため、本実施形態は、輪郭抽出の処理に要する負荷および時間を削減することができる。
【００５１】
本実施形態によれば、物体である車両のみ輪郭が強調されるので、後方確認において必要な情報を的確に認識させ、被撮影物の視認性をより高めることができる。
【００５２】
［第三実施形態］
図１４ないし図２２を参照しながら、本実施形態に係る車両用表示システム１Ｂについて説明する。図１４は、第三実施形態に係る車両用表示システムの構成例を示すブロック図である。図１５は、第三実施形態に係る車両用表示システムの可視光カメラで撮影された映像データの一例を示す図である。図１６は、第三実施形態に係る車両用表示システムの赤外光カメラで撮影された映像データの一例を示す図である。図１７は、第三実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の一例を示す図である。図１８は、第三実施形態に係る車両用表示システムの赤外光カメラで撮影された映像データから、リヤビューモニタに表示される範囲を切出した映像の一例を示す図である。図１９は、第三実施形態に係る車両用表示システムの赤外光カメラで撮影された映像データから輪郭抽出された映像データの一例を示す図である。図２０は、第三実施形態に係る車両用表示システムの車両用表示制御装置における処理の流れを示すフローチャートである。図２１は、第三実施形態に係る車両用表示システムで輝度低下された映像データの一例を示す図である。図２２は、第三実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の一例を示す図である。
【００５３】
図１４に示すように、本実施形態の車両用表示システム１Ｂは、後方可視光カメラ２Ｂ１と、後方赤外カメラ２Ｂ２とを有する点が、第一実施形態の車両用表示システム１と異なる。
【００５４】
後方可視光カメラ２Ｂ１は、車両の後方に配置され、車両の後方を可視光で撮影する。後方可視光カメラ２Ｂ１は、第一実施形態の後方カメラ２と同様に構成されている。後方可視光カメラ２Ｂ１は、例えば、図１５に示す可視光撮影映像データ１００Ｂを撮影している。後方可視光カメラ２Ｂ１は、撮影した可視光撮影映像データ１００Ｂを車両用表示制御装置１０Ｂの制御部３０Ｂの映像取得部３１Ｂへ出力する。
【００５５】
後方赤外カメラ２Ｂ２は、車両の後方に配置され、車両の後方を赤外光で撮影する。後方赤外カメラ２Ｂ２は、リヤビューモニタ３による確認範囲を含んだ範囲を撮影する。後方赤外カメラ２Ｂ２は、通常時、リヤビューモニタ３に表示されない範囲を含んで撮影している。後方赤外カメラ２Ｂ２は、水平方向の画角が例えば３０〜６０°、上下方向の画角が例えば５〜２０°である。後方赤外カメラ２Ｂ２は、リヤビューモニタ３に表示させる範囲より広い範囲の映像を撮影可能であるが、リヤビューモニタ３を用いて車両の運転者が適切に後方を認識できるような範囲を切出してリヤビューモニタ３に表示する。後方赤外カメラ２Ｂ２は、後方可視光カメラ２Ｂ１と同一の向き、同一の画角の映像を撮影することが好ましい。後方赤外カメラ２Ｂ２は、例えば、図１６に示す赤外光撮影映像データ１１０Ｂを撮影している。後方赤外カメラ２Ｂ２は、撮影した赤外光撮影映像データ１１０Ｂを車両用表示制御装置１０Ｂの制御部３０Ｂの映像取得部３１Ｂへ出力する。
【００５６】
映像取得部３１Ｂは、後方可視光カメラ２Ｂ１が出力した可視光撮影映像データ１００Ｂと、後方赤外カメラ２Ｂ２が出力した赤外光撮影映像データ１１０Ｂとを取得する。映像取得部３１Ｂは、可視光撮影映像データ１００Ｂから、図１７に示す、リヤビューモニタ３に表示させる範囲を切出す。映像取得部３１Ｂは、赤外光撮影映像データ１１０Ｂから、図１８に示す、可視光映像データ１２０Ｂと対応する範囲を切出す。映像取得部３１Ｂは、切出した可視光映像データ１２０Ｂと赤外光映像データ１３０Ｂとを強調処理部３３Ｂと表示制御部３４Ｂとに出力する。
【００５７】
強調処理部３３Ｂは、赤外光映像データ１３０Ｂから被撮影物の輪郭を抽出する。強調処理部３３Ｂは、強調処理部３３と同様に、公知の輪郭抽出手法を用いて、赤外光映像データ１３０Ｂの明るさの不連続な変化を検出し、図１９に示すような、被撮影物の輪郭を抽出する。図１９に示す輪郭映像データ１４０Ｂは、赤外光映像データから、人の輪郭２１４Ｂと人の輪郭２１５Ｂとが抽出されている。強調処理部３３は、検出した輪郭映像データ１４０Ｂを表示制御部３４Ｂに出力する。
【００５８】
表示制御部３４Ｂは、所定条件を満たすか否かを判定して、所定条件を満たす場合、赤外光映像データ１３０Ｂに含まれる被撮影物の輪郭を抽出し、可視光映像データ１２０Ｂに重畳表示させる。
【００５９】
次に、図２０を用いて、制御部３０Ｂによる処理の流れについて説明する。
【００６０】
制御部３０ＢのステップＳ３１、ステップＳ３２の処理は、第一実施形態の制御部３０のステップＳ１１、ステップＳ１２の処理と同一であるため、説明を省略する。
【００６１】
制御部３０Ｂは、強調処理部３３Ｂで、赤外カメラ映像から被撮影物の輪郭を抽出させる（ステップＳ３３）。より詳しくは、制御部３０Ｂは、強調処理部３３Ｂで、赤外光映像データ１３０Ｂから、図１９に示すような、被撮影物の輪郭を抽出させる。
【００６２】
制御部３０Ｂは、表示制御部３４Ｂで、映像輝度を低下させる（ステップＳ３４）。より詳しくは、制御部３０Ｂは、表示制御部３４Ｂで、図２１に示すように、可視光撮影映像データ１００Ｂの輝度を低下させた輝度低下映像データ１５０Ｂを生成させる。
【００６３】
制御部３０Ｂは、表示制御部３４Ｂで、重畳表示させる（ステップＳ３５）。より詳しくは、制御部３０Ｂは、表示制御部３４Ｂで、図２２に示すように、可視光映像データ１２０Ｂの輝度を低下させた輝度低下映像データ１５０Ｂに輪郭映像データ１４０Ｂを重畳させた表示映像データ１６０Ｂを生成させる。制御部３０は、表示制御部３４で、リヤビューモニタ３に表示映像データ１６０Ｂを表示させる。
【００６４】
上述したように、本実施形態によれば、車両の周辺が暗い場合、赤外光映像データ１３０Ｂから被撮影物の輪郭を抽出し、抽出した被撮影物の輪郭を、輝度低下映像データ１５０Ｂに重畳表示させた表示映像データ１６０Ｂをリヤビューモニタ３に表示させる。本実施形態は、例えば、車両の周辺が暗く、いわゆる蒸発現象により、可視光映像データ１２０Ｂから被撮影物を視認したり、輪郭を抽出したりすることが困難な場合であっても、赤外光映像データ１３０Ｂから被撮影物の輪郭を抽出することができる。このように、本実施形態は、リヤビューモニタ３に視認性の高い映像を表示させることができる。このため、本実施形態は、車外の良好な視認性を確保することができる。
【００６５】
［第四実施形態］
図２３ないし図２６を参照しながら、本実施形態に係る車両用表示システム１Ｃについて説明する。図２３は、第四実施形態に係る車両用表示システムの構成例を示すブロック図である。図２４は、第四実施形態に係る車両用表示システムで所定輝度以上の領域が抽出された映像データの一例を示す図である。図２５は、第四実施形態に係る車両用表示システムの車両用表示制御装置における処理の流れを示すフローチャートである。図２６は、第四実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の一例を示す図である。
【００６６】
図２３に示すように、本実施形態の車両用表示システム１Ｃは、制御部３０Ｃの構成が、第一実施形態の車両用表示システム１と異なる。
【００６７】
制御部３０Ｃは、映像取得部３１Ｃと、輝度取得部３２Ｃと、情報取得部３３Ｃと、強調処理部３４Ｃと、表示制御部３５Ｃとを含む。
【００６８】
映像取得部３１Ｃは、切出した映像データ１００を輝度取得部３２Ｃと強調処理部３４Ｃと表示制御部３５Ｃとに出力する。
【００６９】
輝度取得部３２Ｃは、映像データ１００の輝度を取得する。より詳しくは、輝度取得部３２Ｃは、映像データ１００の輝度分布を算出する。輝度取得部３２Ｃは、算出した輝度分布を表示制御部３５Ｃに出力する。図２４には、輝度取得部３２Ｃで算出した輝度分布が所定輝度以上の領域Ａを図示している。
【００７０】
情報取得部３３Ｃは、情報取得部３２と同様の処理を行う。
【００７１】
強調処理部３４Ｃは、強調処理部３３と同様の処理を行う。
【００７２】
表示制御部３５Ｃは、所定条件を満たすか否かを判定して、所定条件を満たす場合、映像データ１００に含まれる被撮影物の輪郭を抽出し重畳表示させる。
【００７３】
次に、図２５を用いて、制御部３０Ｃによる処理の流れについて説明する。
【００７４】
制御部３０ＣのステップＳ４１、ステップＳ４２、ステップＳ４４〜ステップＳ４６の処理は、第一実施形態の制御部３０のステップＳ１１、ステップＳ１２、ステップＳ１３〜ステップＳ１５の処理と同一であるため、説明を省略する。
【００７５】
制御部３０Ｃは、表示制御部３５Ｃで、後方映像に所定輝度以上の範囲があるか否かを判定する（ステップＳ４３）。より詳しくは、制御部３０Ｃは、輝度取得部３２Ｃで、映像データ１００の輝度分布を取得させる。所定輝度とは、後方映像に映った後方車両の前照灯など、リヤビューモニタ３にそのまま表示した場合に、リヤビューモニタ３が発する光の映り込みが運転者の視認に影響する程度の輝度である。例えば、所定輝度は、８００ｃｄ／ｍ２などとする。所定輝度は、例えば、車外の明るさや車内の明るさ、運転者の視力などによって変化する。
【００７６】
制御部３０Ｃは、表示制御部３５Ｃで、後方映像に所定輝度以上の範囲があると判定した場合（ステップＳ４３でＹｅｓ）、ステップＳ４４に進む。この場合は、図２６に示すように、輝度を低下させた輝度低下映像データに輪郭映像データを重畳させた表示映像データ１２０Ｃをリヤビューモニタ３に表示させる。
【００７７】
制御部３０Ｃは、表示制御部３５Ｃで、後方映像に所定輝度以上の範囲がないと判定した場合（ステップＳ４３でＮｏ）、ステップＳ４２に進む。この場合は、輝度を低下させず、そのままの輝度で表示させる。
【００７８】
上述したように、本実施形態によれば、映像データ１００に所定輝度以上の範囲が存在する場合、輝度を低下させた輝度低下映像データに輪郭映像データを重畳させた表示映像データ１２０Ｃをリヤビューモニタ３に表示させる。本実施形態は、例えば、車両の周辺が暗く、いわゆる蒸発現象により、映像データ１００から被撮影物を視認することが困難な場合、被撮影物の輪郭を抽出して表示することができる。このように、本実施形態は、リヤビューモニタ３に視認性の高い映像を表示させることができる。このため、本実施形態は、車外の良好な視認性を確保することができる。
【００７９】
図示した車両用表示システム１の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。
【００８０】
車両用表示システム１の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。
【００８１】
上記に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記に記載した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。
【００８２】
上記実施形態では、情報取得部３２は、ＥＣＵまたはＣＡＮから昼夜を判定するための情報を取得するものとして説明したが、これに限らず、例えば、映像データ１００を画像解析して昼夜を判定するための情報を取得してもよい。
【００８３】
上記実施形態では、強調処理部３３は、映像データ１００から被撮影物の輪郭を抽出するものとして説明したが、これに限らない。強調処理部３３は、例えば、映像データ１００のコントラストが強調されるようにガンマカーブを調整し、映像データ１００を補正することで、被撮影物を強調してもよい。この場合、表示制御部３４は、強調処理部３３で上記のように映像データ１００を補正してから、補正した映像データの輝度を低下させ、リヤビューモニタ３に表示させてもよい。
【００８４】
また、上記実施形態における強調処理部３３が抽出した被撮影物の輪郭に対して、表示制御部３４は、輪郭を着色して重畳表示してもよい。例えば、黄色や緑色など目立つ色などが適切である。さらには、認識した車両の輪郭を、映像データ１００における車両サイズおよび位置から推定される自車両からの距離に応じて、輪郭の着色を変更してもよい。具体例としては、自車両から近い車両の輪郭をより目立つ色に着色して表示する。このような表示により、上記実施形態の効果に加えて、後方の情報をより的確に認識することができる。
【００８５】
制御部は、例えば、図６に示すフローチャートのステップＳ１１において、車両の周辺が暗いことに加えて、さらに、映像データ１００の輝度総和が所定値以上である場合、Ｙｅｓと判定してもよい。映像データ１００の輝度総和とは、映像データ１００の明るさを示す値である。例えば、映像データ１００の輝度総和は、映像データ１００の各画素の輝度の総和である。所定値は、映像データ１００をリヤビューモニタ３に表示させた際に、ウィンドシールドＳに映り込み、車外の視認性を低下させるおそれがある値に設定する。所定値は、例えば、車外の明るさや車内の明るさ、運転者の視力などによって変化する。
【符号の説明】
【００８６】
１        車両用表示システム
２        後方カメラ
３        リヤビューモニタ
１０      車両用表示制御装置
２０      記憶部
３０      制御部
３１      映像取得部
３２      情報取得部
３３      強調処理部
３４      表示制御部
【図１】
2017200035.tif 000003
【図２】
2017200035.tif 000004
【図３】
2017200035.tif 000005
【図４】
2017200035.tif 000006
【図５】
2017200035.tif 000007
【図６】
2017200035.tif 000008
【図７】
2017200035.tif 000009
【図８】
2017200035.tif 000010
【図９】
2017200035.tif 000011
【図１０】
2017200035.tif 000012
【図１１】
2017200035.tif 000013
【図１２】
2017200035.tif 000014
【図１３】
2017200035.tif 000015
【図１４】
2017200035.tif 000016
【図１５】
2017200035.tif 000017
【図１６】
2017200035.tif 000018
【図１７】
2017200035.tif 000019
【図１８】
2017200035.tif 000020
【図１９】
2017200035.tif 000021
【図２０】
2017200035.tif 000022
【図２１】
2017200035.tif 000023
【図２２】
2017200035.tif 000024
【図２３】
2017200035.tif 000025
【図２４】
2017200035.tif 000026
【図２５】
2017200035.tif 000027
【図２６】
2017200035.tif 000028