(57)【要約】      （修正有）【課題】表示領域から照射される光を継続的に減少させて、表示領域への誘目を低減させる技術を提供する。【解決手段】映像処理装置ＨＣＵ３０は、複数のカメラによって撮像された車両後方の映像を、それぞれ表示領域を形成している右側方表示器５０ａ、左側方表示器５０ｂ及び後方表示器１５０の各表示画面５２ａ、５２ｂ、１５２に表示させる。ＨＣＵ３０は、各カメラから入力された入力映像のうちで、空が写る空領域を特定する。さらにＨＣＵ３０は、車両周囲の明暗を判定する。車両周辺が暗いと判定された場合、各表示画面５２ａ、５２ｂ、１５２に表示される出力映像の空領域が、カメラによる入力映像の空領域よりも暗くなるよう、空領域となる画素の階調値を変更する。【選択図】図２
2017028349.tif 000002
【特許請求の範囲】
【請求項１】
撮像部（２１，２２，２３）によって撮像された車両後方の映像を、少なくとも一つの表示領域に表示させる映像処理装置であって、
前記撮像部によって撮像された前記映像が入力される入力部（３１）と、
前記入力部に入力された入力映像（７０）のうちで空が写る空領域（７２）を特定する領域特定部（６１）と、
前記車両周辺の明暗を判定する明暗判定部（６２）と、
前記明暗判定部によって前記車両周辺が暗いと判定された場合に、前記表示領域に表示される出力映像（７５）の前記空領域が前記入力映像の前記空領域よりも暗くなるよう、当該出力映像を構成する一連の画像（７６）にて前記空領域にあたる画素の階調値を変更する階調値変更部（６３）と、を備えることを特徴とする映像処理装置。
【請求項２】
前記表示領域を表示画面（５２ａ，５２ｂ，２５２，３５２）により形成する液晶ディスプレイ（５１ａ，５１ｂ，２５１，３５１）へ向けて前記出力映像を出力する出力部（３３）、をさらに備えることを特徴とする請求項１に記載の映像処理装置。
【請求項３】
前記液晶ディスプレイは、前記階調値を下げても前記画素がそれ以上暗くならない飽和階調値（ＧＶｓ）を有し、
前記階調値変更部は、前記車両周辺が暗いと判定された場合に、前記空領域にあたる前記画素の前記階調値を、前記飽和階調値よりも低い値に変更することを特徴とする請求項２に記載の映像処理装置。
【請求項４】
前記階調値変更部は、前記車両周辺が暗いと判定された場合に、前記空領域にあたる前記画素の前記階調値を、当該画素に割り当てられる階調値のうちで最も暗い最低階調値（ＧＶｍｉｎ）に変更することを特徴とする請求項２又は３に記載の映像処理装置。
【請求項５】
請求項２〜４のいずれか一項に記載の映像処理装置と、
前記液晶ディスプレイと、
前記表示画面に沿って配列された複数の光源（５４）により前記液晶ディスプレイを透過照明するバックライト（５３）と、
複数の前記光源の発光を制御する発光制御部（５５）と、を備える運転支援表示システムであって、
前記発光制御部は、前記車両周辺が暗いと判定された場合に、前記空領域に配置された前記光源の輝度を低減させることを特徴とする運転支援表示システム。
【請求項６】
前記表示領域を表示画面により形成する有機ＥＬディスプレイ（１５１）へ向けて前記出力映像を出力する出力部（３３）、をさらに備えることを特徴とする請求項１に記載の映像処理装置。
【請求項７】
撮像部（２１，２２，２３）によって撮像された車両後方の映像を、少なくとも一つの表示領域に表示させる映像処理方法であって、
少なくとも一つのプロセッサ（４１，４２）により実行されるステップとして、
前記撮像部によって撮像された前記映像を取得する取得ステップ（Ｓ１１１）と、
前記取得ステップにて取得される入力映像（７０）のうちで空が写る空領域（７２）を特定する領域特定ステップ（Ｓ１１４）と、
前記車両周辺の明暗を判定する明暗判定ステップ（Ｓ１０２）と、
前記明暗判定ステップによって前記車両周辺が暗いと判定された場合に、前記表示領域に表示される出力映像（７５）の前記空領域が前記入力映像の前記空領域よりも暗くなるよう、当該出力映像を構成する一連の画像（７６）にて前記空領域にあたる画素の階調値を変更する階調値変更ステップ（Ｓ１１６）と、を含むことを特徴とする映像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両後方の映像を表示領域に表示させる映像処理の技術に関する。
【背景技術】
【０００２】
従来、例えば特許文献１に開示されているように、車両の周辺を撮影した映像の一部にフィルタをかけたうえで、車室内に設けられたディスプレイに表示させる技術が知られている。特許文献１に開示の装置は、車両の前方を撮影した映像において、運転者に対する誘目性が高く、且つ運転行動に不要と推定される高誘目性領域を特定し、特定した高誘目性領域にフィルタをかけることができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−２４７８４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
さて、本発明の発明者は、例えば夜間に郊外を走行する等の状況で、車両周辺が暗い場合において、映像を表示する表示画面の全体がうっすらと光った状態となる問題を見出した。このように表示画面から照射される光は、運転者の視線を車両前方から表示画面に引き寄せてしまう等の悪影響を引き起こし得る。
【０００５】
このような問題は、高誘目性領域にフィルタをかける特許文献１の技術の適用によっても、解決困難である。詳しく説明すると、車両の周辺が暗くなる状況では、高誘目性領域となるような建物の照明、ネオンサイン、及び電光掲示板等が存在しない。故に、車両前方の映像には、フィルタがかかり難くなる。加えてフィルタの種類によっては、表示画面から照射される光を減少させることができない。故に、特許文献１の技術を単に適用した構成では、表示画面から照射される光を減少させられない状況が想定され得た。
【０００６】
本発明は、このような問題に鑑みてなされたものであり、その目的は、車両周辺が暗い状態において、表示領域から照射される光を継続的に減少させて、表示領域への誘目を低減可能な技術を提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、開示された一つの発明は、撮像部（２１，２２，２３）によって撮像された車両後方の映像を、少なくとも一つの表示領域に表示させる映像処理装置であって、撮像部によって撮像された映像が入力される入力部（３１）と、入力部に入力された入力映像（７０）のうちで空が写る空領域（７２）を特定する領域特定部（６１）と、車両周辺の明暗を判定する明暗判定部（６２）と、明暗判定部によって車両周辺が暗いと判定された場合に、表示領域に表示される出力映像（７５）の空領域が入力映像の空領域よりも暗くなるよう、当該出力映像を構成する一連の画像（７６）にて空領域にあたる画素の階調値を変更する階調値変更部（６３）と、を備える映像処理装置とする。
【０００８】
また、開示された他の一つの発明は、  撮像部（２１，２２，２３）によって撮像された車両後方の映像を、少なくとも一つの表示領域に表示させる映像処理方法であって、少なくとも一つのプロセッサ（４１，４２）により実行されるステップとして、撮像部によって撮像された映像を取得する取得ステップ（Ｓ１１１）と、取得ステップにて取得される入力映像（７０）のうちで空が写る空領域（７２）を特定する領域特定ステップ（Ｓ１１４）と、車両周辺の明暗を判定する明暗判定ステップ（Ｓ１０２）と、明暗判定ステップによって車両周辺が暗いと判定された場合に、表示領域に表示される出力映像（７５）の空領域が入力映像の空領域よりも暗くなるよう、当該出力映像を構成する一連の画像（７６）にて空領域にあたる画素の階調値を変更する階調値変更ステップ（Ｓ１１６）と、を含む映像処理方法とする。
【０００９】
この発明では、車両の周辺が暗い場合に、空の写る空領域が特定され、空領域にあたる画素の階調値が階調値変更部によって変更される。一般に、撮像部によって撮像される車両後方の映像のうちで、空の写る空領域は、運転者の必要とする情報に乏しい。故に、空領域の情報が失われても、表示領域に表示される映像は、十分な情報を提供し得る。そして、表示領域にて比較的広い範囲を占める空領域を暗く表示させることにより、表示領域から照射される光は、継続的に減少し得る。したがって、表示領域への誘目は、低減可能となる。
【００１０】
尚、上記括弧内の参照番号は、本発明の理解を容易にすべく、後述する実施形態における具体的な構成との対応関係の一例を示すものにすぎず、本発明の範囲を何ら制限するものではない。
【図面の簡単な説明】
【００１１】
【図１】第一実施形態による運転支援表示システムにおいて、左右の側方表示器及び後方表示器のレイアウトを示す図である。
【図２】第一実施形態による運転支援表示システム等の全体構成を示すブロック図である。
【図３】周辺監視装置の各カメラの車両における搭載位置及び撮像範囲を模式的に示す図である。
【図４】ＬＣＤパネル及びＥＬパネルにおいて、階調値と画素の輝度との相関を比較して示す図である。
【図５】ＨＣＵの制御部に構築される機能ブロックを説明する図である。
【図６】右後側方カメラから入力される入力映像の１フレームを示す図である。
【図７】図６の入力映像にマスク処理が施された出力映像の１フレームを示す図である。
【図８】左後側方カメラから入力される入力映像の１フレームを示す図である。
【図９】図８の入力映像にマスク処理が施された出力映像の１フレームを示す図である。
【図１０】明暗判定処理の詳細を示すフローチャートである。
【図１１】映像加工処理の詳細を示すフローチャートである。
【図１２】第二実施形態による運転支援表示システムにおいて、各表示領域のレイアウトを示す図である。
【図１３】第二実施形態による運転支援表示システム等の全体構成を示すブロック図である。
【図１４】第三実施形態による運転支援表示システムにおけるセンターディスプレイのレイアウトを示す図である。
【図１５】第三実施形態による運転支援表示システム等の全体構成を示すブロック図である。
【発明を実施するための形態】
【００１２】
以下、本発明の複数の実施形態を図面に基づいて説明する。尚、各実施形態において対応する構成要素には同一の符号を付すことにより、重複する説明を省略する場合がある。各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。また、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合わせることができる。そして、複数の実施形態及び変形例に記述された構成同士の明示されていない組み合わせも、以下の説明によって開示されているものとする。
【００１３】
（第一実施形態）
本発明が適用される運転支援表示システム１００は、図１に示すように、車両１１０に搭載され、電子ミラーとして機能する。運転支援表示システム１００は、車両１１０の後方の映像を車室内に設けられた複数の表示器５０ａ，５０ｂ，１５０に表示することで、運転者の運転操作を支援する。運転支援表示システム１００は、図２に示すように、照度センサ１０及び周辺監視装置２０と接続されている。運転支援表示システム１００は、右側方表示器５０ａ、左側方表示器５０ｂ、後方表示器１５０、及びＨＣＵ（HMI（Human Machine Interface）Control Unit）３０を備えている。
【００１４】
照度センサ１０は、フォトトランジスタ及びフォトダイオード等を用いて、当該センサ周囲の明るさを検出する照度検出部である。照度センサ１０は、例えば車室内のインスツルメントパネル１１１の上面に配置されている。照度センサ１０は、ＨＣＵ３０と電気的に接続されており、車両１１０（図３参照）の周囲の明るさに応じた出力信号を、ＨＣＵ３０へ向けて出力可能である。照度センサ１０から出力される出力信号は、例えば前照灯のオン及びオフの切り替え等に用いられる。
【００１５】
周辺監視装置２０は、図２及び図３に示すように、車両１１０の周囲の映像を撮影し、ＨＣＵ３０へ向けて出力する。周辺監視装置２０は、右後側方カメラ２１、左後側方カメラ２２、後方カメラ２３、撮像制御部２５、及び映像出力部２７等によって構成されている。
【００１６】
右後側方カメラ２１、左後側方カメラ２２、及び後方カメラ２３はそれぞれ、入射する光を電気信号に変換する撮像素子と、撮像素子の撮像面へ光を入射させる光学系を有している。撮像素子としては、ＣＣＤ（Charge-Coupled Device）イメージセンサ、及びＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等が使用可能である。
【００１７】
右後側方カメラ２１は、車両１１０の後方に撮像面を向けた姿勢にて、例えば車両１１０の右側方（運転席側）のドアに取り付けられている。右後側方カメラ２１は、車両１１０の周囲のうちで、進行方向右側の側方及び後方（以下、右後側方）の範囲を、所定のフレームレートで撮影する。
【００１８】
左後側方カメラ２２は、車両１１０の後方に撮像面を向けた姿勢にて、例えば車両１１０の左側方（助手席側）のドアに取り付けられている。後方カメラ２３は、車両１１０の周囲のうちで、進行方向左側の側方及び後方（以下、左後側方）の範囲を、所定のフレームレートで撮影する。
【００１９】
後方カメラ２３は、車両１１０の後方に撮像面を向けた姿勢にて、例えば車両１１０のトランクリッド又はテールゲート等に取り付けられている。後方カメラ２３は、車両１１０の周囲のうちで、車両１１０の真後ろとなる範囲を、所定のフレームレートで撮影する。
【００２０】
撮像制御部２５は、各カメラ２１〜２３と電気的に接続されたマイコン等を主体とする制御回路であって、各カメラ２１〜２３の作動を制御する。具体的に、撮像制御部２５は、各カメラ２１〜２３におけるシャッタースピード、及び撮像素子における電気信号の増幅度（ゲイン）等を、各カメラ２１〜２３の撮像範囲の明るさに応じて調整可能である。
【００２１】
映像出力部２７は、各カメラ２１〜２３及びＨＣＵ３０と電気的に接続されている。映像出力部２７は、各カメラ２１〜２３によって撮影された映像を逐次取得し、ＨＣＵ３０へ向けて逐次転送する。映像出力部２７は、入力される映像信号の方式と、出力する映像信号の方式とを相互に変換することも可能である。
【００２２】
右側方表示器５０ａは、図１及び図２に示すように、右後側方カメラ２１によって撮像された映像を表示する表示器である。右側方表示器５０ａは、右後側方カメラ２１の映像を表示する表示領域を、表示画面５２ａによって形成している。表示画面５２ａには、右後側方カメラ２１によって撮影された映像の全体が表示されてもよく、又はトリミングされた右後側方カメラ２１の撮影が表示されてもよい。右側方表示器５０ａは、車両１１０の車室内において、ウインドシールド１１２の進行方向右側に位置するピラーの根本近傍に配置されている。右側方表示器５０ａは、表示画面５２ａを運転席１１３のヘッドレストへ向けた姿勢にて、車両１１０の構造物に取り付けられている。
【００２３】
左側方表示器５０ｂは、左後側方カメラ２２によって撮像された映像を表示する表示器である。左側方表示器５０ｂは、左後側方カメラ２２の映像を表示する表示領域を、表示画面５２ｂによって形成している。表示画面５２ｂには、左後側方カメラ２２によって撮影された映像の全体が表示されてもよく、又はトリミングされた左後側方カメラ２２の撮影が表示されてもよい。左側方表示器５０ｂは、車両１１０の車室内において、ウインドシールド１１２の進行方向左側に位置するピラーの根本近傍に配置されている。左側方表示器５０ｂは、表示画面５２ｂを運転席１１３のヘッドレストへ向けた姿勢にて、車両１１０の構造物に取り付けられている。
【００２４】
各側方表示器５０ａ，５０ｂはそれぞれ、液晶ディスプレイ（以下、ＬＣＤ）パネル５１ａ，５１ｂ、バックライト５３、映像入力部５７、及び表示制御部５５を有している。各ＬＣＤパネル５１ａ，５１ｂはそれぞれ、表示画面５２ａ，５２ｂを形成している。ＬＣＤパネル５１ａ，５１ｂは、表示画面５２ａ，５２ｂに沿って二次元配列された複数の液晶画素を有している。ＬＣＤパネル５１ａ，５１ｂは、アクティブマトリックス方式の表示パネルであって、各液晶画素を形成するＲＧＢのサブ画素における光の透過率の増減により、種々の画像をフルカラーにて表示できる。
【００２５】
バックライト５３は、各ＬＣＤパネル５１ａ，５１ｂの背面側に配置されており、各ＬＣＤパネル５１ａ，５１ｂを透過照明する。バックライト５３は、各表示画面５２ａ，５２ｂに沿って二次元配列されることで、各液晶画素群の直下に位置する複数の光源５４を有している。光源５４は、例えば白色光を放出する発光ダイオードである。
【００２６】
映像入力部５７は、ＨＣＵ３０と電気的に接続されており、各表示画面５２ａ，５２ｂに映し出す映像の信号を、ＨＣＵ３０から取得する。表示制御部５５は、ＬＣＤパネル５１ａ，５１ｂと電気的に接続されたマイコン等を主体とする制御回路である。表示制御部５５は、映像入力部５７に入力される映像信号に基づき、各ＬＣＤパネル５１ａ，５１ｂの液晶画素の透過率を制御することで、各表示画面５２ａ，５２ｂに映像を再生させる。表示制御部５５は、映像信号に基づいて各光源５４の発光輝度を個別に多段階で制御可能である。例えば表示制御部５５は、暗い画素を透過照明する位置の光源５４の輝度を低減させるか、又はこの光源５４を消灯させることができる。こうした制御により、表示制御部５５は、表示画面５２ａ，５２ｂの映像のコントラスト比を向上させる。
【００２７】
後方表示器１５０は、後方カメラ２３によって撮像された映像を表示するルームミラー型の表示器である。後方表示器１５０は、後方カメラ２３の映像を表示する表示領域を、表示画面１５２によって形成している。表示画面１５２には、後方カメラ２３によって撮影された映像の全体が表示されてもよく、又はトリミングされた後方カメラ２３の撮影が表示されてもよい。後方表示器１５０は、車両１１０の車室内において、ウインドシールド１１２の上縁中央に配置されている。後方表示器１５０は、表示画面１５２を運転席１１３のヘッドレストへ向けた姿勢にて、ウインドシールド１１２又は車両１１０の天井等に取り付けられている。
【００２８】
後方表示器１５０は、有機ＥＬディスプレイ（以下、ＥＬ）パネル１５１、映像入力部１５７、及び表示制御部１５５を有している。ＥＬパネル１５１は、表示画面１５２に沿って二次元配列された複数のＥＬ（Electro Luminescence）画素を有している。各ＥＬ画素は、電流の印加によって自発光するＲＧＢのサブ画素を含んでいる。ＥＬパネル１５１は、ＲＧＢのサブ画素の輝度の増減により、種々の画像をフルカラーにて表示できる。
【００２９】
映像入力部１５７は、映像入力部５７と実質的に同一であり、表示画面１５２に映し出す映像の信号を、ＨＣＵ３０から取得する。表示制御部１５５は、表示制御部５５に相当する構成であり、マイコン等を主体とする制御回路である。表示制御部１５５は、映像入力部１５７に入力される映像信号に基づき、ＥＬ画素の発光を制御することで、表示画面１５２に映像を再生させる。
【００３０】
以上の側方表示器５０ａ，５０ｂ及び後方表示器１５０において、液晶画素及びＥＬ画素それぞれのサブ画素は、映像信号の階調値に対応した輝度にて発光する。例えば、ＲＧＢの各色がそれぞれ８ビットで規定されている場合、一つのサブ画素には、２５６の階調値が割り当てられている。即ち、最低階調値ＧＶｍｉｎは０であり、最高階調値ＧＶｍａｘは２５５となる。
【００３１】
図４に示すように、サブ画素は、階調値が高くなるほど高輝度にて明るく発光する。ＥＬ画素では、階調値が低くなる従って、輝度も漸減する。対して、液晶画素では、階調値が低くなるに従って、輝度の減少が飽和する。このように、輝度の低下が飽和し、階調値を下げても画素がそれ以上暗くならなくなる階調値を、飽和階調値ＧＶｓとする。
【００３２】
図１及び図２に示すＨＣＵ３０は、各カメラ２１〜２３の映像を処理する映像処理装置としての機能を有している。ＨＣＵ３０は、映像入力部３１、映像出力部３３、照度信号入力部３５、及び制御部４０等によって構成されている。
【００３３】
映像入力部３１は、周辺監視装置２０の映像出力部２７と電気的に接続されている。映像入力部３１には、映像出力部２７を経由して、各カメラ２１〜２３によって撮像された映像が入力される。映像入力部３１は、映像出力部２７から伝送される映像信号を取得し、制御部４０に転送する。
【００３４】
映像出力部３３は、右側方表示器５０ａ、左側方表示器５０ｂ、及び後方表示器１５０それぞれの映像入力部５７，１５７と電気的に接続されている。映像出力部３３には、制御部４０にて画像処理された各カメラ２１〜２３の映像が制御部４０から転送される。映像出力部３３は、各表示器５０ａ，５０ｂ、１５０の各表示領域に表示される映像の信号を、各映像入力部５７，１５７へ向けて出力する。
【００３５】
照度信号入力部３５は、照度センサ１０と電気的に接続されている。照度信号入力部３５には、照度センサ１０の出力信号が入力される。照度信号入力部３５は、照度センサ１０の出力信号を制御部４０に転送する。
【００３６】
制御部４０は、メインプロセッサ４１、描画プロセッサ４２、ＲＡＭ４３、フラッシュメモリ４４、及びこれらを相互に接続するバス等を有している。メインプロセッサ４１及び描画プロセッサ４２は、プログラムに基づいて種々の演算処理を実行する。ＲＡＭ４３は、各プロセッサ４１，４２による演算の作業領域として機能する。フラッシュメモリ４４は、プログラム等の情報を格納する非遷移的実体的記憶媒体である。
【００３７】
制御部４０は、図５に示すように、映像入力部３１に入力される映像（以下、入力映像）７０を画像処理することにより、映像出力部３３から出力される映像（以下、出力映像）７５を生成する。制御部４０による画像処理によれば、出力映像７５を構成する一連の画像７６において空が写る空領域７７（図７及び図９のドットが記載された範囲を参照）が、入力映像７０を構成する一連の画像７１の空領域７２（図６及び図８参照）よりも暗くされる。このような画像処理を実施するため、制御部４０は、各プロセッサ４１，４２（図２参照）にて所定のプログラムを実行することで、明暗判定部６２、領域特定部６１、及び階調値変更部６３を機能ブロックとして構築する。
【００３８】
明暗判定部６２は、車両周辺の明暗を判定する明暗判定処理を実施する。明暗判定処理の詳細が、図１０のフローチャートである。明暗判定処理は、例えば車両１１０の電源がオフ状態からオン状態へと切り替えられたことに基づいて開始され、車両１１０の電源がオフ状態へと切り替えられるまで繰り返し継続される。
【００３９】
Ｓ１０１では、照度センサ１０からの出力信号を取得し、Ｓ１０２に進む。Ｓ１０２では、Ｓ１０１にて取得した出力信号（例えば電流値）が所定の閾値以上か否かを判定する。Ｓ１０２にて用いられる閾値は、予め設定された固定値であってもよく、又は運転者等によって調整可能な値であってもよい。
【００４０】
Ｓ１０２にて、出力信号が閾値以上であると判定した場合、Ｓ１０３に進む。Ｓ１０３では、車両周囲の明判定を行い、Ｓ１０１に戻る。一方、Ｓ１０２にて、出力信号が閾値未満であると判定した場合、Ｓ１０４に進む。Ｓ１０４では、車両周囲の暗判定を行い、Ｓ１０１に戻る。
【００４１】
図５に示す領域特定部６１は、映像入力部３１に入力された入力映像７０のうちで、空が写る空領域７２（図７及び図９参照）を特定する。例えば明暗判定部６２は、入力映像７０の１フレームとしての画像７１において、上縁の近傍に位置し、且つ、階調値が所定の範囲内に収まるような概ね一様な領域を、空領域７２とする。
【００４２】
階調値変更部６３は、出力映像７５の１フレームとしての画像７６のうちで、入力映像７０の空領域７２（図７及び図９参照）にあたる画素の階調値を低い値に変更する。階調値変更部６３によって上書きされる階調値は、最低階調値ＧＶｍｉｎよりも低い値であることが望ましく、最低階調値ＧＶｍｉｎであればさらに望ましい。以上により、表示器５０ａ，５０ｂ，１５０（図１参照）の表示領域に表示される出力映像７５の空領域７７（図６及び図８参照）は、入力映像７０の空領域７２よりも暗くされる。階調値変更部６３は、明暗判定部６２によって車両周辺が暗いと暗判定された場合に、空領域７７のマスク処理を実行する。
【００４３】
以上の明暗判定部６２及び階調値変更部６３による映像加工処理の詳細が、図１１のフローチャートである。映像加工処理は、明暗判定処理と同様に、車両１１０の電源がオン状態へと切り替えられたことに基づいて開始され、車両１１０の電源がオフ状態へと切り替えられるまで繰り返し継続される。映像加工処理は、明暗判定処理と並列処理される。
【００４４】
Ｓ１１１では、映像入力部３１から入力映像７０を取得し、Ｓ１１２に進む。Ｓ１１２では、明暗判定処理に基づく判定結果を読み込み、Ｓ１１３に進む。Ｓ１１３では、照度判定を行うため、Ｓ１１２にて読み込んだ明暗の判定結果に基づき、車両周囲の明るさを判定する。
【００４５】
Ｓ１１３にて、明判定中との判定結果を取得していた場合、Ｓ１１７に進む。この場合のＳ１１７では、マスク処理の施されていない入力映像７０を、出力映像７５として、映像出力部３３から出力させる。尚、Ｓ１１３の肯定判定の後、トリミング等の画層処理がＳ１１７以前に実施されてもよい。
【００４６】
Ｓ１１３にて、暗判定中との判定結果を取得していた場合、Ｓ１１４に進む。Ｓ１１４では、入力映像７０の空領域７２を特定し、Ｓ１１５に進む。Ｓ１１５では、Ｓ１１４にて特定された空領域７２の有無を判定する。Ｓ１１５にて、空領域７２が特定されていないと判定した場合、明判定中の場合と同様にＳ１１７に進み、マスク処理の施されていない入力映像７０を出力映像７５として出力する。
【００４７】
一方、Ｓ１１５にて、特定される空領域７２が有ると判定した場合、Ｓ１１６に進む。Ｓ１１６では、Ｓ１１４にて特定された空領域７２にあたる画素の階調値を最低の階調値に変更し、Ｓ１１７に進む。この場合のＳ１１７では、入力映像７０にマスク処理を行うことで生成された出力映像７５を、映像出力部３３から出力させる。マスク処理された出力映像７５を取得する各側方表示器５０ａ，５０ｂでは、表示制御部５５が、空領域７７に属する画素の透過率を低くすると共に、空領域７２の画素を透過照明する光源５４の輝度を調整する。具体的には、マスク処理された範囲の光源５４の輝度は、マスク処理される以前の輝度よりも低く設定される。さらに、マスク処理された空領域７２のうちで他の領域との境界付近に位置する光源５４は、僅かに点灯した状態とされる。一方、空領域７２のうちで境界付近から遠い光源５４は、消灯される。
【００４８】
ここまで説明した第一実施形態の映像処理方法によれば、車両周辺が暗い場合に、入力映像７０から空領域７２が特定され、出力映像７５の空領域７７の階調値が低く変更される。入力映像７０から明らかなように、空領域７２は、運転者の必要とする情報に乏しい領域である。故に、階調値が変更されても、運転者には十分な情報が提供され得る。そして、各表示画面５２ａ，５２ｂ，１５２にて比較的広い範囲を占める空領域７７が暗く表示されるようになれば、これら表示画面５２ａ，５２ｂ，１５２から照射される光は、継続的に減少し得る。したがって、表示画面５２ａ，５２ｂ，１５２への誘目は、低減可能となる。
【００４９】
加えて空領域７２は、階調値の変動が少ない領域であるため、他の領域からの切り分けが比較的容易である。故に、制御部４０の演算負荷を抑えつつ、高精度な空領域７２の特定が可能である。以上のように、出力映像７５の空領域７７をマスク処理する手法は、高い実現性を備えつつ、誘目を低減する効果を発揮できる。
【００５０】
また第一実施形態において、各側方表示器５０ａ，５０ｂに用いられるＬＣＤパネル５１ａ，５１ｂは、暗い環境下において、表示画面５２ａ，５２ｂに生じるバックライト５３の光漏れにより、違和感のある映像を映し易い。こうした違和感は、運転者の誘目になり得る。故に、空領域７７に含まれる画素の階調値を下げて表示画面５２ａ，５２ｂへの誘目を低減する効果は、ＨＣＵ３０がＬＣＤパネル５１ａ，５１ｂと組み合わされるシステムにおいて、特に有効に発揮される。
【００５１】
さらに第一実施形態において、階調値変更部６３によって更新される階調値は、飽和階調値ＧＶｓ以下の値とされている。こうした値まで階調値を下げることによれば、各表示画面５２ａ，５２ｂを確実に暗くすることが可能となる。また表示制御部５５は、空領域７７の直下に位置する光源５４の輝度を個別に低減可能である。故に、各表示画面５２ａ，５２ｂの空領域７７から照射される光は、確実に減少し得る。したがって、空領域７７を暗く表示して誘目を低減する効果は、最大限に発揮され得る。
【００５２】
加えて、マスク処理の境界付近に位置する光源５４が僅かに点灯状態とされるため、マスク処理の境界部分が目立ち難くなる。以上によれば、空領域７２を違和感のない表示態様で、暗く表示することが可能となる。
【００５３】
さらに第一実施形態にて後方表示器１５０に用いられているＥＬパネル１５１は、階調値を下げることにより、ＬＣＤパネル５１ａ，５１ｂよりも各画素を暗く表示できる。故に、後方表示器１５０は、表示画面１５２への誘目を低減させる効果を発揮させる表示器として、好適な構成なのである。加えて、階調値変更部６３は、空領域７７の画素の階調値を、最も暗い黒を表示する最低階調値ＧＶｍｉｎまで下げることができる。故に、ＥＬパネル１５１を採用する後方表示器１５０は、表示画面１５２を確実に暗い状態にできる。
【００５４】
尚、第一実施形態において、右後側方カメラ２１、左後側方カメラ２２、及び後方カメラ２３が「撮像部」に相当し、映像入力部３１が「入力部」に相当し、映像出力部３３が「出力部」に相当する。また、メインプロセッサ４１及び描画プロセッサ４２が「プロセッサ」に相当し、ＬＣＤパネル５１ａ，５１ｂが「液晶ディスプレイ」に相当し、ＥＬパネル１５１が「有機ＥＬディスプレイ」に相当する。さらに、表示制御部５５が「発光制御部」に相当し、ＨＣＵ３０が「映像処理装置」に相当する。そして、Ｓ１０２が「明暗判定ステップ」に相当し、Ｓ１１１が「取得ステップ」に相当し、Ｓ１１４が「領域特定ステップ」に相当し、Ｓ１１６が「階調値変更ステップ」に相当する。
【００５５】
（第二実施形態）
図１２及び図１３示す本発明の第二実施形態は、第一実施形態の変形例である。第二実施形態の運転支援表示システム２００は、第一実施形態の各表示器５０ａ，５０ｂ，１５０（図１参照）に替えて、メータ表示器２５０及びヘッドアップディスプレイ（ＨＵＤ：Head-up Display）装置４５０をＨＣＵ３０と共に備えている。
【００５６】
メータ表示器２５０は、ＬＣＤパネル２５１に加えて、第一実施形態と実質同一のバックライト５３、映像入力部５７、及び表示制御部５５（図２参照）を有する表示デバイスである。メータ表示器２５０は、車両１１０の車室内にて運転席１１３（図１参照）の前方に配置されている。メータ表示器２５０は、運転席１１３に着座する運転者によって視認可能な表示画面２５２を、ＬＣＤパネル２５１によって形成している。メータ表示器２５０は、ＨＣＵ３０から取得した情報に基づき、スピードメータ、タコメータ、及び燃料計等を表示画面２５２に表示し、コンビネーションメータとして機能する。
【００５７】
加えてメータ表示器２５０は、左右の後側方カメラ２１，２２によって撮像された映像を表示する表示器としても機能する。メータ表示器２５０の表示画面２５２には、二つの表示領域２５２ａ，２５２ｂが水平方向に並んで規定されている。一方の表示領域２５２ａは、メータ表示器２５０の中央よりも右側に位置し、右後側方カメラ２１によって撮影された映像を表示する。他方の表示領域２５２ｂは、メータ表示器２５０の中央よりも左側に位置し、左後側方カメラ２２によって撮影された映像を表示する。
【００５８】
ＨＵＤ装置４５０は、後方カメラ２３によって撮像された映像を表示させる表示器である。ＨＵＤ装置４５０は、ＨＣＵ３０から取得した出力映像７５に基づく画像７６の光を、ウインドシールド１１２に規定された表示領域４５２へ向けて投影する。ウインドシールド１１２によって車室内側に反射された画像７６の光は、運転席１１３（図１参照）に着座する運転者により、車両前方の外界風景と重畳された虚像表示として視認される。
【００５９】
以上説明した第二実施形態の表示構成においても、第一実施形態と同様に、各表示領域２５２ａ，２５２ｂ，４５２の空領域７７（図７及び図９参照）がマスク処理によって暗く表示される。その結果、表示領域２５２ａ，２５２ｂ，４５２から照射される光は、継続的に減少し得る。したがって、各表示領域２５２ａ，２５２ｂ，４５２への誘目は、低減可能となる。尚、第二実施形態において、ＬＣＤパネル２５１が「液晶ディスプレイ」に相当する。
【００６０】
（第三実施形態）
図１４及び図１５示す本発明の第三実施形態は、第一実施形態の別の変形例である。第三実施形態による運転支援表示システム３００と接続される周辺監視装置３２０からは、右後側方カメラ２１及び左後側方カメラ２２（図１参照）が省略されている。周辺監視装置３２０は、後方カメラ２３によって撮影される後方の映像を、入力映像７０として映像入力部３１に出力する。
【００６１】
運転支援表示システム３００は、第一実施形態の後方表示器１５０（図１参照）に替えてセンターディスプレイ３５０を備えている。加えて、運転支援表示システム３００からは、第一実施形態の右側方表示器５０ａ及び左側方表示器５０ｂ（図１参照）に相当する構成が省略されている。
【００６２】
センターディスプレイ３５０は、ＬＣＤパネル３５１に加えて、第一実施形態と実質同一のバックライト５３、映像入力部５７、及び表示制御部５５（図２参照）を有する表示デバイスである。センターディスプレイ３５０は、車両１１０の車室内にて、センタクラスタの上方に配置され、インスツルメントパネル１１１内に収容されている。ＬＣＤパネル３５１は、運転者だけでなく、例えば助手席及び後部座席に着座する乗員にも視認可能な表示画面３５２を形成している。センターディスプレイ３５０は、後方カメラ２３によって撮像された映像を表示画面３５２表示する。
【００６３】
以上説明した第三実施形態の表示構成においても、第一実施形態と同様に、表示画面３５２の空領域７７（図７及び図９参照）がマスク処理によって暗く表示される。故に、表示画面３５２から照射される光は、継続的に減少し得る。したがって、表示画面３５２への誘目は、低減可能となる。
【００６４】
加えて第三実施形態のセンターディスプレイ３５０は、運転者以外の乗員にも視認され易い表示器である。故に、表示画面３５２の明るさを低減することにより、他の車両乗員に表示画面３５２を煩わしく感じさせてしまう事態も回避可能となる。尚、第三実施形態において、ＬＣＤパネル３５１が「液晶ディスプレイ」に相当する。
【００６５】
（他の実施形態）
以上、本発明による複数の実施形態について説明したが、本発明は、上記実施形態に限定して解釈されるものではなく、本発明の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。
【００６６】
上記実施形態では、複数の表示構成の例を示したが、運転支援表示システムに設けられる表示構成は、上記実施形態の構成に限定されない。例えば、上記第一実施形態の変形例１では、後方表示器が省略され、右側方表示器及び左側方表示器のみが設けられている。この変形例１のように、運転支援表示システムは、左右後側方の映像のみを表示する電子ミラーであってもよい。
【００６７】
また、上記第一実施形態の変形例２では、後方表示器に替えて、第三実施形態のセンターディスプレイに相当する表示器が、後方の映像を表示するモニタとして設けられている。以上のように、後方映像、さらに左右後側方を表示する表示器は、形状、サイズ、及び配置等を、車両の種別に応じて適宜変更可能である。また、液晶ディスプレイ、有機ＥＬディスプレイ、及びＨＵＤ装置以外の表示器が、車両の後側方及び後方を表示する表示デバイスとして採用可能である。
【００６８】
上記実施形態における明暗判定処理及び映像加工処理は、車両の電源がオン状態とされた場合に開始されていた。しかし、運転者が車両に搭乗する以前に表示画面による後方映像の表示を開始させるために、例えばキーレスエントリーによる開錠操作に基づいて、ＨＣＵが明暗判定処理及び映像加工処理を開始することも可能である。
【００６９】
上記実施形態では、空領域内の画素の階調値は、最低階調値ＧＶｍｉｎ（図４参照）まで下げられていた。しかし、更新される階調値の値は、運転者を誘目しない程度まで空領域を暗くできれば、例えば飽和階調値ＧＶｓ（図４参照）よりも高い値であってもよい。さらに、更新される階調値の値は、予め設定された所定値に固定されていてもよく、又は運転者によって変更可能であってもよい。或いは、運転席周辺が暗くなるほど、空領域内の画素の階調値が暗い値に調整されるよう、更新される階調値は、自動調整されてもよい。
【００７０】
上記第一実施形態では、マスク処理が施された空領域を自然な表示とするために、境界付近の光源は、僅かに点灯した状態とされていた。このような空領域に位置する光源の輝度は、例えば境界から離れるに従って段階的に低減されてもよい。さらに、マスク処理を施された空領域に位置する光源の全てが、一様に消灯されてもよい。
【００７１】
上記実施形態では、インスツルメントパネルに設けられた照度センサの出力信号に基づき、車両周囲の明暗が判定されていた。しかし、他の信号に基づく明暗の判定が実施可能である。例えば、前照灯の点灯及び消灯を切り替えるスイッチのオンオフ状態に基づき、前照灯が点灯状態である場合に暗い判定がなされてもよい。また、カメラによって撮影された映像の明るさに基づいて、車両周囲の明暗が判定されてもよい。さらに、ＨＣＵ３０に内蔵された時計の日時の情報に基づいて、車両周囲の明暗が判定されてもよい。
【００７２】
上記実施形態におけるＬＣＤパネル及びＥＬパネルは、階調値が小さい値になるほど、画素の輝度を暗くする設定であった。しかし、階調値が大きい値になるほど、画素の輝度を暗くする設定のＬＣＤパネル及びＥＬパネルが使用可能である。こうした設定の表示パネルでは、出力映像において空領域内に位置する画素の階調値は、入力画像よりも高い値に更新される。
【００７３】
そして、本発明を適用した運転支援表示システムは、上記実施形態のような小型の乗用車だけでなく、トラック等の貨物自動車及びバスといった大型車両にも搭載可能である。
【符号の説明】
【００７４】
２１  右後側方カメラ（撮像部）、２２  左後側方カメラ（撮像部）、２３  後方カメラ（撮像部）、３０  ＨＣＵ（映像処理装置）、３１  映像入力部（入力部）、３３  映像出力部（出力部）、４１  メインプロセッサ（プロセッサ）、４２  描画プロセッサ（プロセッサ）、５１ａ，５１ｂ，２５１，３５１  ＬＣＤパネル（液晶ディスプレイ）、５２ａ，５２ｂ，２５２，３５２  表示画面、５３  バックライト、５４  光源、５５  表示制御部（発光制御部）、６１  領域特定部、６２  明暗判定部、６３  階調値変更部、７０  入力映像、７２  空領域、７５  出力映像、７６  画像、１００，２００，３００  運転支援表示システム、１５１  ＥＬパネル（有機ＥＬディスプレイ）
【図１】
2017028349.tif 000003
【図２】
2017028349.tif 000004
【図３】
2017028349.tif 000005
【図４】
2017028349.tif 000006
【図５】
2017028349.tif 000007
【図６】
2017028349.tif 000008
【図７】
2017028349.tif 000009
【図８】
2017028349.tif 000010
【図９】
2017028349.tif 000011
【図１０】
2017028349.tif 000012
【図１１】
2017028349.tif 000013
【図１２】
2017028349.tif 000014
【図１３】
2017028349.tif 000015
【図１４】
2017028349.tif 000016
【図１５】
2017028349.tif 000017