(57)【要約】【課題】ドライバーの車両前方の視界の見え方に近い画像を表示させる。【解決手段】画像表示装置１は、車両の周囲の画像を撮影するカメラ１１、１２と、カメラ１１、１２の撮影画像の色温度Ｔｃを検出する検出部６１と、車両の周囲の入射光ＩＬの色温度Ｔｓを検出するカラーセンサ３０と、撮影画像のホワイトバランスの調整を行うＷＢ調整部６２と、ＷＢ調整部６２によって調整された撮影画像を表示するディスプレイ２１、２２と、を備える。ＷＢ調整部６２は、検出部６１が検出した色温度Ｔｃと、カラーセンサ３０が検出した色温度Ｔｓの差分ΔＴの大きさに応じて、色温度Ｔｃに基づいた第１の方式と、色温度Ｔｓに基づいた第２の方式とを切り替える。【選択図】図３
2020150323.tif 000002
【特許請求の範囲】
【請求項１】
車両の周囲の画像を撮影する撮像部と、
前記撮像部の撮影画像の色温度を検出する色温度検出部と、
車両の周囲の入射光の色温度を検出する色温度センサと、
前記撮影画像のホワイトバランスの調整を行うホワイトバランス調整部と、
前記ホワイトバランス調整部によって調整された前記撮影画像を表示する表示部と、を備え、
前記ホワイトバランス調整部は、前記色温度検出部が検出した前記撮影画像の色温度と、前記色温度センサが検出した前記入射光の色温度の差分の大きさに応じて、前記撮影画像の色温度に基づいた第１のホワイトバランス調整と、前記入射光の色温度に基づいた第２のホワイトバランス調整とを切り替えることを特徴とする画像表示装置。
【請求項２】
前記撮像部は、前記車両の後方の画像を撮影し、
前記色温度センサは、前記車両の前方に設置されることを特徴とする請求項１記載の画像表示装置。
【請求項３】
前記撮影画像の色温度と前記入射光の色温度の差分を閾値と比較して、前記第１のホワイトバランス調整と前記第２のホワイトバランス調整との切り替えを判定する色温度比較部を備え、
前記色温度比較部は、前記第１のホワイトバランス調整から前記第２のホワイトバランス調整への切り替えを判定するための閾値と、前記第２のホワイトバランス調整から前記第１のホワイトバランス調整への切り替えを判定するための閾値とに、ヒステリシス特性を持たせることを特徴とする請求項１記載の画像表示装置。
【請求項４】
前記撮影画像の明るさを検出する照度検出部と、
前記車両の周囲の入射光の明るさを検出する照度センサと、
前記撮影部の露出を制御する露出制御部と、を備え、
前記露出制御部は、前記撮影画像の明るさと前記入射光の明るさの差分の大きさに応じて、前記撮影画像の明るさに基づいた第１の露出制御と、前記入射光の明るさに基づいた第２の露出制御とを切り替えることを特徴とする請求項１または２記載の画像表示装置。
【請求項５】
前記撮像部は、前記車両の後方の画像を撮影し、
前記照度センサは、前記車両の前方に設置されることを特徴とする請求項４記載の画像表示装置。
【請求項６】
前記撮影画像の色温度と前記入射光の色温度の差分と、前記撮影画像の明るさと前記入射光の明るさの差分のいずれか一方がそれぞれの閾値以上となった場合、前記ホワイトバランス調整部および前記露出制御部は、それぞれ、前記第２のホワイトバランス調整および第２の露出制御に切り替えることを特徴とする請求項４記載の画像表示装置。
【請求項７】
前記撮影画像の明るさと前記入射光の明るさの差分を閾値と比較して、前記第１の露出制御と前記第２の露出制御の切り替えを判定する明るさ比較部を備え、
前記明るさ比較部は、前記第１の露出制御から前記第２の露出制御への切り替えを判定するための閾値と、前記第２の露出制御から前記第１の露出制御への切り替えを判定するための閾値とにヒステリシス特性を持たせることを特徴とする請求項４記載の画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示装置に関する。
【背景技術】
【０００２】
運転者が車両を運転する際に、車両の後方または／および側方を明確に視認できるように、車両はアウトサイドミラーを備えているが、このアウトサイドミラーに代えて、またはアウトサイドミラーと併用して、画像表示装置を用いることが提案されている。画像表示装置は、車両の周囲をカメラで撮影し、撮影した画像を車内に設置したディスプレイで表示させる。
カメラによって撮像される被写体や風景は、全て反射光である。つまり、太陽光や夜間・トンネル等の照明灯によって照射される入射光の色温度によって、反射光の色温度も変化する。太陽光はその時刻や季節、天候によって刻々と変化し、また照明灯はＬＥＤやナトリウムランプなど光源の種類によってその色温度が異なる。そのような場合においてもカメラが撮像する映像の色味を雰囲気の色温度に合わせる必要がある。そこで、撮影画像において白色と推定される領域を白に近づけるように、撮影画像から検出した色温度を補正するオートホワイトバランス処理が行われる（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２８３７１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、朝や夕方等の陽が浅い時間帯や、夕立後に路面に水溜りができている状況等において、カメラには被写体からの強い反射光が映り込むことがある。撮影画像に意図しない反射光が高い面積比率で映り込むと撮影画像から検出される面積の平均色温度が下がるため、その状態でオートホワイトバランス処理を行うと、補正後の撮影画像全体が青みがかって見えることがある。これによって、ドライバーの車両前方の視界と、ディスプレイが表示する撮影画像の見え方が異なるものとなり、ドライバーに違和感を与える可能性がある。
【０００５】
画像表示装置において、反射光の強さに関わらず、ディスプレイの表示する撮影画像の見え方をドライバーの視界に近づけ、ドライバーが撮影画像に覚える違和感を低減させることが求められている。
【課題を解決するための手段】
【０００６】
本発明に係る画像表示装置は、
車両の周囲の画像を撮影する撮像部と、
前記撮像部の撮影画像の色温度を検出する色温度検出部と、
車両の周囲の入射光の色温度を検出する色温度センサと、
前記撮影画像のホワイトバランスの調整を行うホワイトバランス調整部と、
前記ホワイトバランス調整部によって調整された前記撮影画像を表示する表示部と、を備え、
前記ホワイトバランス調整部は、前記色温度検出部が検出した前記撮影画像の色温度と、前記色温度センサが検出した前記入射光の色温度の差分の大きさに応じて、前記撮影画像の色温度に基づいた第１のホワイトバランス調整と、前記入射光の色温度に基づいた第２のホワイトバランス調整とを切り替える。
【発明の効果】
【０００７】
本発明によれば、画像表示装置は、ディスプレイの表示する撮影画像の見え方を、ドライバーの視界に近づけ、ドライバーが撮影画像に覚える違和感を低減させることができる。
【図面の簡単な説明】
【０００８】
【図１】実施の形態に係る画像表示装置を設置した車両を示す図である。
【図２】画像表示装置の構成を示すブロック図である。
【図３】ＩＳＰ制御部の処理を示すフローチャートである。
【図４】光源からの入射光と被写体からの反射光を示す図である。
【図５】色温度を示すグラフである。
【図６】ドライバーの視界とディスプレイに表示される画像の比較例を示す図である。
【図７】変形例１に係る画像表示装置のＩＳＰ制御部の処理を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施の形態に係る画像表示装置を、図面を参照して説明する。
図１は、実施の形態に係る画像表示装置を設置した車両を示す図である。
図２は、画像表示装置の構成を示すブロック図である。
図１に示すように、画像表示装置１は、カメラ１１、１２、ディスプレイ２１、２２、カラーセンサ３０および制御装置４０を備える。
図２に示すように、制御装置４０は、画像表示装置の全体的な制御を行うＥＣＵ５０（Electronic Control Unit）と、画像処理を主に行うＩＳＰ６０（Image Signal Processor）とを備える。
【００１０】
図１に示すように、カメラ１１、１２は、それぞれ車両１００の左方および右方のフロントドアに、レンズを車両１００の後方に向けて設置される。
カメラ１１、１２は、不図示のレンズ、モータ、ＣＭＯＳセンサ、カラーフィルタ等から構成される撮像素子と、撮像素子を制御するＣＰＵ（Central Processing Unit）、撮影画像および各種設定を記憶するメモリ等から構成される。
【００１１】
図１に、カメラ１１、１２それぞれの撮影範囲を点線で示しているが、カメラ１１は、車両１００の左側方および後方を撮影する。カメラ１２は、車両１００の右側方および後方を撮影する。カメラ１１、１２は固定式であり、一定の撮影範囲を撮影する。カメラ１１、１２は、車両１００の走行中は常時撮影を行う。
【００１２】
ディスプレイ２１、２２は、例えば、車両１００の内部のダッシュボードやフロントピラーに設置する。ディスプレイ２１はカメラ１１が撮影した画像を表示し、ディスプレイ２２はカメラ１２が撮影した画像を表示する。図１では、ディスプレイ２１、２２を並べて配置しているが、ディスプレイ２１、２２をそれぞれ左右のフロントピラーに配置しても良い。
車両１００のドライバーは、アウトサイドミラーと併用して、またはアウトサイドミラーに代えて、進路変更等の際に、ディスプレイ２１、２２が表示する撮影画像を見ることで、車両１００の側方および後方の確認を行う。
【００１３】
カラーセンサ３０は、車両１００の前方に設置され、光源から入射する光（以降、「入射光」という）の色を示す色温度Ｔｓと、入射光の明るさを示す照度Ｉｓを検出する。カラーセンサ３０は、例えば、図示のようにフロントガラスの車内側の面の上方に取り付けることができるが、車両１００の前方の入射光を検出できる位置であれば良く、設置箇所は限定されない。カラーセンサ３０は所定のサンプリング周期で色温度Ｔｓおよび照度Ｉｓを検出してデータをＥＣＵ５０に出力する。
【００１４】
図２に示すように、ＩＳＰ６０は、カメラ１１、１２およびＥＣＵ５０と車載ＬＡＮによって接続され、それぞれとデータの授受を行う。ＩＳＰ６０には、カメラ１１、１２の撮影画像が順次入力される。ＩＳＰ６０は、撮影画像の画像処理を行ってＥＣＵ５０に出力すると共に、撮影画像の検出結果に基づいてカメラ１１、１２の撮影の制御を行う。
ＩＳＰ６０が行う処理は様々な種類があるが、実施の形態では、撮影画像のホワイトバランスの調整処理と、カメラ１１、１２の露出制御について説明する。
【００１５】
ＩＳＰ６０は、検出部６１、ホワイトバランス調整部６２（以降、「ＷＢ調整部６２」という。）および露出制御部６３を備える。これらの機能構成は、ＩＳＰ６０のメモリに格納されたプログラムを実行することによって実現される。
【００１６】
検出部６１は、所定のサンプリング周期で、カメラ１１、１２の撮影画像を取得してその色温度Ｔｃおよび照度Ｉｃを検出し、ＥＣＵ５０に出力する。検出部６１は、例えば、撮影画像を構成する各画素の色温度および照度の平均値を、撮影画像全体の色温度Ｔｃおよび照度Ｉｃとして検出することができる。検出部６１は、カメラ１１およびカメラ１２の撮影画像の双方から色温度Ｔｃおよび照度Ｉｃを検出して、その平均値を算出しても良いが、いずれか一方の撮影画像のみから色温度Ｔｃおよび照度Ｉｃを検出しても良い。
【００１７】
カメラ１１、１２の撮影画像は、光源からの入射光を被写体が反射した反射光を映すものである。したがって、前記したカラーセンサ３０が入射光の色温度Ｔｓおよび照度Ｉｓを検出するものであるのに対して、検出部６１は反射光の色を示す色温度Ｔｃと、明るさを示す照度Ｉｃを検出する。すなわち、ＥＣＵ５０には、入射光と反射光の双方の色温度と照度のデータが、所定のサンプリング周期で入力される。
【００１８】
ＷＢ調整部６２は、カメラ１１、１２のそれぞれの撮影画像のホワイトバランスを調整する画像処理を行う。
露出制御部６３は、カメラ１１、１２の撮影画像の明るさを調整するために、カメラ１１、１２の露出時間を制御する露出制御信号を生成する。
実施の形態において、ＷＢ調整部６２および露出制御部６３は、反射光を基準とする第１の方式と、入射光を基準とする第２の方式との間で切り替えて処理を行う。第１の方式と第２の方式の切り替えは、後述するＥＣＵ５０からの切替指令にしたがって行われる。
【００１９】
ＷＢ調整部６２は、ホワイトバランスの調整として、撮影画像の白色と推定される領域を白に近づけるように、撮影画像全体の色温度を補正する、いわゆるオートホワイトバランス処理（以降、「ＡＷＢ処理」という）を行う。
【００２０】
ＡＷＢ処理は公知の手法を用いることができるが、ＷＢ調整部６２は、第１の方式において、検出部６１が検出した反射光の色温度Ｔｃを補正対象とし、第２の方式においては、カラーセンサ３０が検出した入射光の色温度Ｔｓを補正対象とする。色温度Ｔｃおよび色温度Ｔｓのデータは、ＥＣＵ５０からの切替指令に含まれており、ＷＢ調整部６２はそのデータを取得して処理を行う。
【００２１】
露出制御部６３は、撮影画像全体の平均反射率が１８％となる適切露出が得られるように、撮影画像の明るさを示す露出値（以降、「ＥＶ値」という）を補正し、補正後のＥＶ値に基づいてカメラ１１、１２の露出を制御する、いわゆる自動露出制御（以降「ＡＥ制御」という）を行う。
【００２２】
ＡＥ制御は公知の手法を用いることができるが、露出制御部６３は、第１の方式において、検出部６１が検出した反射光の照度Ｉｃに基づくＥＶ値Ｖｃを用い、第２の方式においては、カラーセンサ３０が測定した入射光の照度Ｉｓ基づくＥＶ値Ｖｓを用いる。
ＥＶ値ＶｃおよびＥＶ値Ｖｓのデータは、ＥＣＵ５０からの切替指令に含まれる。
【００２３】
露出制御部６３は、ＥＶ値ＶｃまたはＥＶ値Ｖｓの、適正露出の範囲からズレを算出し、そのズレが閾値（例えば、２）以上であれば、ＥＶ値ＶｃまたはＥＶ値Ｖｓを適正露出とするためにカメラ１１、１２を制御する制御信号を生成する。
適正露出の範囲は、撮影画像に露出オーバー（白飛び）や露出アンダー（黒潰れ）が無く、撮影画像全体の平均反射率が１８％に近い状態となる中間領域を意味し、適正露出の範囲は時間や天候といった撮影条件に応じて変動する。ＩＳＰ６０のメモリには、撮影条件に応じて予め決定された適正露出の範囲が記憶されている。
【００２４】
カメラ１１、１２の露出は、露出時間とゲインの組み合わせにより決定される。ＩＳＰ６０のメモリには、各ＥＶ値に対応する露出時間とゲインの組み合わせを記載したテーブルが記憶されている。露出制御部６３は、補正後のＥＶ値に対応する露出時間とゲインの組み合わせを取得し、これらデータを含む制御信号を生成してカメラ１１、１２に出力する。カメラ１１、１２のＣＰＵは、入力された制御信号にしたがって撮像素子を制御することで、カメラ１１、１２の露出を調整する。
【００２５】
制御信号を受信したカメラ１１、１２において、制御信号にしたがって露出時間とゲインの設定を変更することで、カメラ１１、１２の露出が適正露出となるように制御される。
【００２６】
ＥＣＵ５０は、例えば、不図示のＣＰＵ、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）等のメモリ、入出力インターフェース、ならびにコンピューター間通信部等で構成される。
【００２７】
図２に示すように、ＥＣＵ５０は、通信部５１、表示画像出力部５２およびＩＳＰ制御部５３を備える。ＥＣＵ５０のＣＰＵがメモリに記憶させた各種アプリケーションを実行することによって、これらの機能構成を実現する。メモリには、ＥＣＵ５０の処理に必要な各種の情報が格納されると共に、各部の処理結果が一時的に記憶される。
【００２８】
通信部５１は、ＩＳＰ６０、カラーセンサ３０およびディスプレイ２１、２２と車載ＬＡＮによって接続し、それぞれとデータの授受を行う。前記したように、カラーセンサ３０からは入射光の色温度Ｔｓおよび照度Ｉｓのデータが、ＩＳＰ６０の検出部６１からは反射光の色温度Ｔｃおよび照度Ｉｃのデータが、所定のサンプリング周期で入力されるが、これらのデータはＥＣＵ５０のメモリに記憶される。
【００２９】
表示画像出力部５２は、ＩＳＰ６０から入力されたカメラ１１、１２の撮影画像を表示画像としてディスプレイ２１、２２に出力して表示させる。表示画像出力部５２は、カメラ１１の撮影画像をディスプレイ２１の表示画像として、カメラ１２の撮影画像をディスプレイ２２の表示画像として、それぞれ出力する。
【００３０】
詳細な説明は省略するが、表示画像出力部５２は、撮影画像をディスプレイ２１、２２に表示させるために必要な処理を行うようにしても良い。表示画像出力部５２は、例えば、撮影画像をディスプレイ２１、２２のサイズに合わせるトリミング処理や、撮影画像をアウトサイドミラーと同じ見え方にするために反転処理等を行っても良い。また、撮影画像上に運転支援情報を重畳させる合成処理を行うようにしても良い。
【００３１】
ＩＳＰ制御部５３は、ＩＳＰ６０のＷＢ調整部６２および露出制御部６３で行われる処理の方式を制御する。前記したように、ＷＢ調整部６２および露出制御部６３の処理は、反射光を基準とする第１の方式と入射光を基準とする第２の方式のいずれで行われる。ＩＳＰ制御部５３は、カラーセンサ３０およびＩＳＰ６０の検出部６１から入力される入射光および反射光のデータを比較することで、第１の方式および第２の方式の切り替えを決定する。
【００３２】
ＩＳＰ制御部５３は、第１および第２の方式の切り替えを判定するために、ＥＶ値決定部５３１、差分算出部５３２および比較部５３３を備える。
【００３３】
図３は、ＩＳＰ制御部５３の処理を示すフローチャートである。
ＥＣＵ５０のメモリには、ＩＳＰ６０の処理の方式を示すフラグが記憶されている。フラグは、例えば第１の方式であれば「０」とし、第２の方式であれば「１」とすることができる。
【００３４】
図３に示すように、ＥＶ値決定部５３１は、メモリを参照して、ＩＳＰ６０が入力した反射光の照度Ｉｃとカラーセンサ３０が入力した入射光の照度Ｉｓとを取得し、それぞれに対応するＥＶ値Ｖｃ、Ｖｓを決定する（ステップＳ０１）。
【００３５】
それぞれ明るさを示す指標である照度とＥＶ値は相関関係があり、ＥＣＵ５０のメモリには照度とＥＶ値の対応を示すテーブルが記憶されている。ＥＶ値決定部５３１はこのテーブルを参照して反射光のＥＶ値Ｖｃと入射光のＥＶ値Ｖｓを決定する。ＥＶ値決定部５３１は、決定したＥＶ値Ｖｃ、Ｖｓをメモリに一時的に記憶させる。
【００３６】
差分算出部５３２は、メモリを参照して、反射光の色温度Ｔｃと入射光の色温度Ｔｓの差分ΔＴと、反射光のＥＶ値Ｖｃおよび入射光のＥＶ値Ｖｓの差分ΔＶをそれぞれ算出する（ステップＳ０２）。差分算出部５３２は、ΔＴおよびΔＶを絶対値として算出する。
【００３７】
比較部５３３は、差分算出部５３２が算出した色温度の差分ΔＴと、ＥＶ値の差分ΔＶをそれぞれ閾値ＴＨｔ、ＴＨｖと比較して（ステップＳ０３）、第１の方式と第２の方式の切り替えを判定する。
【００３８】
閾値ＴＨｔ、ＴＨｖは、色温度の差分ΔＴとＥＶ値の差分ΔＶの大きさがＩＳＰ６０の処理の方式の切り替える大きさであることを示す値であり、言い換えれば、反射光と入射光の乖離の大きさがドライバーが違和感を覚える可能性があることを示す値である。
色温度の差分の閾値ＴＨｔは、例えば１０００Ｋ程度とすることができ、ＥＶ値の差分の閾値ＴＨｖは、例えば２とすることができる。
【００３９】
ＩＳＰ６０の処理は、反射光と入射光の乖離が大きくなければ、反射光に基づいた第１の方式で行われる。しかしながら、以下に説明するように、環境条件によって反射光と入射光の乖離が大きくなることがある。その場合に第１の方式で処理を行うと、ドライバーの視界とディスプレイ２１、２２に表示される表示画像の見え方が異なるものとなり、ドライバーに違和感を与える可能性がある。そのため、実施の形態では、反射光と入射光の乖離が大きくなった場合には、第１の方式から第２の方式へ切り替える。
【００４０】
図４は、光源からの入射光と被写体からの反射光を示す図である。
図５は、色温度を示すグラフである。
図６は、ドライバーの視界とディスプレイに表示される画像の比較例を示す図である。図６は、簡略化のためディスプレイ２１のみを図示している。
【００４１】
図４に示すように、通常、車両１００と光源Ｓとの距離は車両１００の前方および後方において変わらない。すなわち、ドライバーが見ている車両１００の前方と、カメラ１１が撮影する後方において、入射光ＩＬの色温度や明るさに大きな違いはなく、ドライバーも、車両１００の前方と後方で見え方が同じになると、感覚的に把握している。
【００４２】
一方、前記したように、カメラ１１の撮影画像に映し出されるのは被写体からの反射光ＲＬである。例えば、夕立後で路面に水溜りＷができている状況では、入射光ＩＬが水溜りＷに反射され、強い反射光ＲＬがカメラ１１の撮影画像に映り込むことがある。撮影画像において、この強い反射光ＲＬの部分は赤みを帯びた白となる。
【００４３】
図５に示すように、色温度は中央部分が白色の領域であり、色温度が高くなると寒色系の色となり、低くなると暖色系の色となる。ＷＢ調整部６２が行うＡＷＢ処理は、撮影画像全体の色温度を中央部分に近づける処理である。
【００４４】
撮影画像において、赤みを帯びた部分の面積比率が高くなれば、ＩＳＰ６０の検出部６１が検出する撮影画像全体の色温度Ｔｃは低くなる。この低い色温度Ｔｃを基準としてＡＷＢ処理を行うと、撮影画像全体の色温度Ｔｃを上げるように補正が行われる。これによって、図６ではハッチングにより示しているが、ＡＷＢ処理後のディスプレイ２１に表示される画像は、ドライバーの視界よりも青みがかって見えることになる。
【００４５】
また、強い反射光ＲＬが映り込むことによって、ＩＳＰ６０の検出部６１が検出する撮影画像の照度Ｉｃが高くなる。結果として、例えば夕方等の、実際はＥＶ値が低くなる時間帯にもかかわらず、照度Ｉｃに対応するＥＶ値Ｖｃが高くなり、適正露出の範囲とずれやすくなる。このＥＶ値Ｖｃを基準としてＡＥ制御を行うと、撮影画像が暗くなるようにカメラ１１、１２の露出が変更され、ディスプレイ２１に表示される画像はドライバーの視界よりも暗くなる可能性がある。
【００４６】
このように、強い反射光ＲＬが映り込んだ撮影画像から検出した色温度Ｔｃおよび照度Ｉｃに基づいた第１の方式でＡＷＢ処理およびＡＥ制御と、ドライバーの視界と見え方が異なる画像がディスプレイ２１に表示される可能性がある。このような現象は、夕立後の他にも、朝や夕方等の、陽が浅く路面や車体に反射しやすい時間帯に起こる可能性がある。
【００４７】
さらに、図４に示す夕立後の状況では、車両１００の走行によって撮影画像に水溜りＷが映ったり映らなかったりするため、撮影画像から検出される色温度Ｔｃと照度Ｉｃが変動しやすい。そのような場合には、ディスプレイ２１に表示される画像の色温度や明るさがめまぐるしく変わり、ドライバーに与える違和感が大きくなる可能性がある。
【００４８】
一方、カラーセンサ３０は車両１００の前方のフロントガラスの上部に設置され、光源Ｓからの入射光ＩＬを検出するものである。そのため、図４に示す水溜りＷからの反射光ＲＬの影響を受けない色温度Ｔｓおよび照度Ｉｃを検出することができる。この入射光ＩＬの色温度Ｔｓおよび照度Ｉｃに基づいた第２の方式でＡＷＢ処理およびＡＩ制御を行えば、ドライバーの視界に近い画像をディスプレイ２１に表示できる。
【００４９】
そこで、実施の形態では、比較部５３３が反射光ＲＬと入射光ＩＬを比較し、その乖離が大きくなった場合には、第１の方式から第２の方式に切り替えることで、ドライバーの視界に近づけた画像をディスプレイ２１、２２に表示させる。また、反射光ＲＬと入射光ＩＬの乖離が小さくなった場合には、再び第２の方式から第１の方式に切り替える。
【００５０】
図３に戻り、前記したように、比較部５３３は、反射光ＲＬと入射光ＩＬの色温度の差分ΔＴと、ＥＶ値の差分ΔＶをそれぞれ閾値ＴＨｔ、ＴＨｖと比較する（ステップＳ０３）
比較部５３３は、フラグが第１の方式を示す「０」の場合（ステップＳ０４：Ｙｅｓ）、色温度の差分ΔＴとＥＶ値の差分ΔＶのいずれか一方または両方が閾値ＴＨｔ、ＴＨｖ以上になれば（ステップＳ０５：Ｙｅｓ）、第２の方式への切り替えを判定する（ステップＳ０６。比較部５３３は、第２の方式への切替指令を生成してＩＳＰ６０に出力し、フラグを「０」から第２の方式を示す「１」に書き替える（ステップＳ０７）。
【００５１】
比較部５３３は、第２の方式への切替指令を生成する際に、メモリに記憶されているカラーセンサ３０が測定した色温度Ｔｓと、ＥＶ値決定部５３１が決定したＥＶ値Ｖｓのデータを指令に含ませる。切替指令の出力後は、ステップＳ０１に戻る。
【００５２】
比較部５３３は、ステップＳ０５において色温度の差分ΔＴとＥＶ値の差分ΔＶの双方が閾値ＴＨｔ、ＴＨｖ未満である場合（ステップＳ０５：Ｎｏ）、方式の切り替えは必要ないため、切替指令は生成せずにステップＳ０１に戻る。
【００５３】
比較部５３３は、第２の方式へ切り替えた後に、色温度の差分ΔＴとＥＶ値の差分ΔＶの双方が閾値ＴＨｔ、ＴＨｖ未満になった場合（ステップＳ０４：Ｎｏ、ステップＳ０８：Ｙｅｓ）、第１の方式への切り替えを判定する（ステップ０９）。比較部５３３は、第１の方式への切替指令を生成してＩＳＰ６０に出力し、フラグを「１」から「０」に書き替える（ステップＳ１０）。
【００５４】
比較部５３３は、第１の方式への切替指令を生成する際に、メモリに記憶されているＩＳＰ６０の検出部６１が検出した色温度Ｔｃと、ＥＶ値決定部５３１が決定したＥＶ値Ｖｃのデータを指令に含ませる。切替指令の出力後は、ステップＳ０１に戻る。
【００５５】
比較部５３３は、ステップＳ０７において色温度の差分ΔＴとＥＶ値の差分ΔＶのいずれか一方または両方が閾値ＴＨｔ、ＴＨｖ以上の状態が維持されていれば（ステップＳ０８：Ｎｏ）、第２の方式を維持するため切替指令は生成せずにステップＳ０１に戻る。
【００５６】
以上のように、車両１００の走行中は、所定のサンプリング周期ごとに、ＥＣＵ５０の比較部５３３において入射光ＩＬと反射光ＲＬの乖離の大きさが判定され、乖離が大きければＩＳＰ６０の処理を第１の方式から第２の方式へ切り替え、乖離が小さくなれば再び第２の方式から第１の方式に戻すように処理が行われる。
【００５７】
前記したように、ＩＳＰ６０のＷＢ調整部６２および露出制御部６３は、ＥＣＵ５０から切替指令が入力されると、切替指令が示す第１の方式または第２の方式に処理を切り替える。その際に、ＷＢ調整部６２および露出制御部６３は、切替指令に含まれる色温度ＴｃとＥＶ値Ｖｃまたは色温度ＴｓまたはＥＶ値Ｖｓのデータを取得してそれぞれの処理に用いる。
【００５８】
なお、図４では、入射光ＩＬと反射光ＲＬの乖離が大きくなる状況として、強い反射光ＲＬが撮影画像に映り込む状況を説明したが、例えば、トンネルの出口等では、反射光ＲＬより入射光ＩＬが強くなる状況もある。差分算出部５３２は、反射光ＲＬと入射光ＩＬの色温度の差分ΔＴおよびＥＶ値の差分ΔＶを絶対値として算出するので、このような場合も反射光ＲＬと入射光ＩＬの乖離が大きければ第１の方式から第２の方式への切り替えが行われる。これによって、ドライバーの視界に近い画像の表示が可能となる。
【００５９】
以上の通り、実施の形態に係る画像表示装置１は、
（１）車両１００の周囲の画像を撮影するカメラ１１、１２（撮像部）と、
カメラ１１、１２の撮影画像の色温度Ｔｃを検出する検出部６１（色温度検出部）と、
車両１００の周囲の入射光ＩＬの色温度Ｔｓを検出するカラーセンサ３０（色温度センサ）と、
撮影画像のホワイトバランスの調整を行うＷＢ調整部６２（ホワイトバランス調整部）と、
ＷＢ調整部６２によって調整された撮影画像を表示するディスプレイ２１、２２（表示部）と、を備え、
ＷＢ調整部６２は、検出部６１が検出した色温度Ｔｃ（第１の色温度）と、カラーセンサ３０が検出した色温度Ｔｓ（第２の色温度）の差分ΔＴの大きさに応じて、色温度Ｔｃに基づいた第１の方式（第１のホワイトバランス調整）と、色温度Ｔｓに基づいた第２の方式（第２のホワイトバランス調整）とを切り替える。
【００６０】
撮影画像のＡＷＢ処理は、通常、反射光ＲＬを映す撮影画像から検出した色温度Ｔｃに基づいて行う、反射光制御が行われている。しかしながら、朝や夕方等の陽が浅い時間帯や、夕立後に路面に水溜りができている状況では、車両１００の後方を撮影するカメラ１１、１２に被写体からの強い反射光ＲＬが映り込むことがある。強い反射光ＲＬによって撮影画像から検出する色温度Ｔｃが下がる傾向があり、これによってＡＷＢ処理後の撮影画像がドライバーの視界と見え方が異なり、ドライバーに違和感を与える可能性がある。実施の形態では、車両１００の周囲の入射光ＩＬの色温度Ｔｓを検出するカラーセンサ３０を設けた。反射光ＲＬの色温度Ｔｃと入射光ＩＬの色温度Ｔｓの差分に応じて、第１の方式（反射光制御）と第２の方式（入射光制御）に切り替えてＡＷＢ処理を行う。これによって、反射光ＲＬの強さに関わらず、ドライバーの車両１００の前方の視界の見え方に近い、違和感を低減した撮影画像をディスプレイ２１、２２に表示させることができる。
【００６１】
（２）画像表示装置１は、
撮影画像の照度Ｉｃ（明るさ）を検出する検出部６１（照度検出部）と、
車両１００の周囲の入射光ＩＬの照度Ｉｓ（明るさ）を検出するカラーセンサ３０（照度センサ）と、
撮影部の露出を制御する露出制御部６３と、を備え、
露出制御部６３は、撮影画像のＥＶ値Ｖｃ（明るさ）と入射光ＩＬのＥＶ値Ｖｓ（明るさ）の差分ΔＶの大きさに応じて、撮影画像のＥＶ値Ｖｃに基づいた第１の方式（第１の露出制御）と、入射光ＩＬのＥＶ値Ｖｓに基づいた第２の方式（第２の露出制御）とを切り替える。
【００６２】
撮影画像に強い反射光ＲＬが映り込んだとき、撮影画像から検出される照度Ｉｃにも影響を与えるため、照度Ｉｃから決定したＥＶ値Ｖｃに基づいて露出調整を行うと、撮影画像とドライバーの視界の見え方が異なるものとなり、ドライバーに違和感を与える可能性がある。実施の形態では、反射光ＲＬから決定したＥＶ値Ｖｃと入射光ＩＬから決定したＥＶ値Ｖｓの差分ΔＶに応じて、第１の方式（反射光制御）と第２の方式（入射光制御）に切り替える。これによって、ＡＥ制御後の撮影画像の見え方を、ドライバーの視界に近づけることができ、ドライバーに与える違和感を低減することができる。反射光ＲＬに影響されない入射式制御に切り替えてＡＥ制御を行う。これによって、反射光ＲＬの強さに関わらず、ドライバーの車両１００の前方の視界の見え方に近い、違和感を低減した撮影画像をディスプレイ２１、２２に表示させることができる。
【００６３】
（３）ＷＢ調整部６２および露出制御部６３は、色温度Ｔｃと色温度Ｔｓの差分ΔＴと、ＥＶ値ＶｃとＥＶ値Ｖｓの差分ΔＶのいずれか一方が閾値ＴＨｔ、ＴＨｖ以上の場合は、それぞれ第２の方式に切り替える。
【００６４】
色温度の差分ΔＴとＥＶ値の差分ΔＶのいずれか一方がそれぞれの閾値ＴＨｔ、ＴＨｖ以上であれば、撮影画像がドライバーに違和感を与える可能性があるため、ＡＷＢ処理およびＡＥ制御の双方を第２の方式（入射光制御）に切り替えることで、ドライバーに違和感を低減した画像を表示させることができる。
【００６５】
なお、第１の方式および第２の方式の切り替えは実施の形態で説明したものに限定されない。色温度の差分ΔＴおよびＥＶ値の差分ΔＶの双方が閾値ＴＨｔ、ＴＨｖを超えた場合のみ、第２の方式へ切り替えても良い。あるいは、色温度の差分ΔＴのみが閾値ＴＨｔ以上になった場合はＡＷＢ処理のみを第２の方式に切り替え、ＥＶ値の差分ΔＶのみが閾値ＴＨｖ以上になった場合はＡＥ制御のみを第２の方式に切り替えるようにしても良い。
【００６６】
（４）カメラ１１、１２は、車両１００の後方の画像を撮影し、カラーセンサ３０は、車両１００の前方に設置される。
【００６７】
カラーセンサ３０をドライバーが見ている車両１００の前方の入射光ＩＬを検出できる位置に設けることによって、カラーセンサ３０はドライバーの視界に近い色温度および照度を検出することができる。これによって、第２の方式において違和感を低減した撮影画像をディスプレイ２１、２２に表示させることができる。
【００６８】
＜変形例１＞
図７は、変形例１に係る画像表示装置１のＩＳＰ制御部５３の処理の詳細を示すフローチャートである。
図７のステップＳ１１〜Ｓ１４、Ｓ１６〜Ｓ１７、Ｓ１９〜Ｓ２０の処理は、前記した実施の形態のステップＳ０１〜Ｓ０４、Ｓ０６〜Ｓ０７、Ｓ０９〜Ｓ２０の処理と同じなので、説明は省略する。
実施の形態では、第１の方式から第２の方式への切り替えの判定（図３のステップＳ０５）と第２の方式から第１の方式への切り替えの判定（図３のステップＳ０８）に、同じ閾値ＴＨｔ、ＴＨｖを用いていた。
【００６９】
変形例１では、２つの切り替えの判定に用いる閾値を異ならせて、ヒステリシス特性を持たせるようにした。
図７に示すように、比較部は、第１の方式から第２の方式への切り替えを判定する際には、色温度の差分ΔＴとＥＶ値の差分ΔＶを、それぞれ閾値ＴＨｔａ、ＴＨｖａと比較する（ステップＳ１５）。比較部は、差分ΔＴ、ΔＶのいずれか一方または双方が閾値ＴＨｔａ、ＴＨｖａ以上であれば（ステップＳ１５：Ｙｅｓ）、第２の方式に切り替える（ステップＳ１６）。
【００７０】
比較部は、第２の方式から第１の方式への切り替えを判定する際には、色温度の差分ΔＴとＥＶ値の差分ΔＶを、それぞれ閾値ＴＨｔｂ、ＴＨｖｂと比較する（ステップＳ１８）。比較部は、差分ΔＴ、ΔＶの双方が閾値ＴＨｔａ、ＴＨｖａ未満であれば（ステップＳ１８：Ｙｅｓ）、第１の方式に切り替える（ステップＳ１９）。
【００７１】
ステップＳ１８で用いる色温度の閾値ＴＨｔｂとＥＶ値の閾値ＴＨｖｂは、ステップＳ１５で用いる色温度の閾値ＴＨｔａとＥＶ値の閾値ＴＨｖａよりも小さい値とする。
これによって、例えば、色温度とＥＶ値の差分ΔＴ、ΔＶが閾値ＴＨｔａ、ＴＨｖａ前後で変動しているような場合に、第１の方式と第２の方式の間で方式が頻繁に切り替えられることが無く、第２の方式が維持される。そして、変動が収まって入射光ＩＬと反射光ＲＬの乖離が小さくなり、差分ΔＴ、ΔＶが閾値ＴＨｔｂ、ＴＨｖｂ未満になったところで第１の方式に再び切り替えられる。
【００７２】
以上の通り、変形例１に係る画像表示装置１は、
（５）色温度Ｔｃと色温度Ｔｓの差分ΔＴを閾値と比較して、第１の方式（第１のホワイトバランス調整）と第２の方式（第２のホワイトバランス調整）の切り替えを判定する比較部５３３（色温度比較部）を備え、
比較部５３３は、第１の方式から第２の方式への切り替えを判定するための閾値ＴＨｔａと、第２の方式から第１の方式への切り替えを判定するための閾値ＴＨｔｂとにヒステリシス特性を持たせる。
また、変形例１に係る画像表示装置１は、
（６）ＥＶ値ＶｃとＥＶ値Ｖｓの差分ΔＶを閾値と比較して、第１の方式（第１の露出制御）と第２の方式（第２の露出制御）の切り替えを判定する比較部５３３（露出値比較部）を備え、
比較部５３３は、第１の方式から第２の方式への切り替えを判定するための閾値ＴＨｖａと、第２の方式から第１の方式への切り替えを判定する閾値ＴＨｖｂとにヒステリシス特性を持たせる。
【００７３】
夕立後の撮影画像に水溜りが映ったり映らなかったりするような状況では、反射光ＲＬの色温度ＴｃやＥＶ値Ｖｃは変動しやすく、閾値の前後で変動し続けることがある。第１の方式から第２の方式への切り替えのための閾値ＴＨｔａ、ＴＨｖａと、第２の方式から第１の方式への切り替えのための閾値ＴＨｔｂ、ＴＨｖｂにヒステリシス特性を持たせることで、ＡＷＢ処理とＡＥ制御が第１の方式と第２の方式の間を頻繁に切り替わることを抑制することができる。これによって、ディスプレイ２１、２２に表示される画像の見え方を安定させ、方式の切り替えの際にＥＣＵ５０、ＩＳＰ６０およびカメラ１１、１２間の通信コストを低減することができる。
【００７４】
＜変形例２＞
前記した実施の形態では、色温度Ｔｓと照度Ｉｓの双方を検出できるカラーセンサ３０を用いる例を説明したが、これに限定されず、色温度センサと照度センサを別個に車両１００に設置しても良い。
【００７５】
＜変形例３＞
前記した実施の形態では、撮影画像のＡＷＢ処理とカメラ１１、１２のＡＥ制御を、制御装置４０が備えるＩＳＰ６０において行う例を説明したが、これに限定されない。カメラ１１、１２の内部にＩＳＰを備えるようにし、カメラ１１、１２においてＡＷＢ処理とＡＥ制御を行うようにしても良い。この場合は、カメラ１１、１２はＥＣＵ５０と直接通信を行って、ＥＣＵ５０から第１の方式および第２の方式の切替指令を受け取る。また、カメラ１１、１２はＡＷＢ処理後の撮影画像をＥＣＵ５０に出力する。
【符号の説明】
【００７６】
１  画像表示装置
１１、１２  カメラ
２１、２２  ディスプレイ
３０  カラーセンサ
４０  制御装置
５０  ＥＣＵ
５１  通信部
５２  表示画像出力部
５３  ＩＳＰ制御部
５３１  ＥＶ値決定部
５３２  差分算出部
５３３  比較部
６０  ＩＳＰ
６１  検出部
６２  ＷＢ調整部（ホワイトバランス調整部）
６３  露出制御部
１００  車両
Ｓ  光源
ＩＬ  入射光
ＲＬ  反射光
【図１】
2020150323.tif 000003
【図２】
2020150323.tif 000004
【図３】
2020150323.tif 000005
【図４】
2020150323.tif 000006
【図５】
2020150323.tif 000007
【図６】
2020150323.tif 000008
【図７】
2020150323.tif 000009
【手続補正書】
【提出日】令和1年11月26日(2019.11.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
車両の後方の画像を撮影する撮像部と、
前記撮像部の撮影画像の色温度を検出する色温度検出部と、
前記車両の前方に設置され、前記車両の前方の入射光の色温度を検出する色温度センサと、
前記撮影画像のホワイトバランスの調整を行うホワイトバランス調整部と、
前記ホワイトバランス調整部によって調整された前記撮影画像を表示する表示部と、を備え、
前記ホワイトバランス調整部は、前記色温度検出部が検出した前記撮影画像の色温度と、前記色温度センサが検出した前記入射光の色温度の差分が閾値以上の場合に、前記撮影画像の色温度に基づいた第１のホワイトバランス調整から、前記入射光の色温度に基づいた第２のホワイトバランス調整に切り替えることを特徴とする画像表示装置。
【請求項２】
前記撮影画像の色温度と前記入射光の色温度の差分を閾値と比較して、前記第１のホワイトバランス調整と前記第２のホワイトバランス調整との切り替えを判定する色温度比較部を備え、
前記色温度比較部は、前記第１のホワイトバランス調整から前記第２のホワイトバランス調整への切り替えを判定するための閾値と、前記第２のホワイトバランス調整から前記第１のホワイトバランス調整への切り替えを判定するための閾値とに、ヒステリシス特性を持たせることを特徴とする請求項１記載の画像表示装置。
【請求項３】
前記撮影画像の明るさを検出する照度検出部と、
前記車両の前方に設置され、前記車両の前方の入射光の明るさを検出する照度センサと、
前記撮像部の露出を制御する露出制御部と、を備え、
前記露出制御部は、前記撮影画像の明るさと前記入射光の明るさの差分が閾値以上の場合に、前記撮影画像の明るさに基づいた第１の露出制御から、前記入射光の明るさに基づいた第２の露出制御に切り替えることを特徴とする請求項１記載の画像表示装置。
【請求項４】
前記撮影画像の色温度と前記入射光の色温度の差分と、前記撮影画像の明るさと前記入射光の明るさの差分のいずれか一方がそれぞれの閾値以上となった場合、前記ホワイトバランス調整部および前記露出制御部は、それぞれ、前記第２のホワイトバランス調整および第２の露出制御に切り替えることを特徴とする請求項３記載の画像表示装置。
【請求項５】
前記撮影画像の明るさと前記入射光の明るさの差分を閾値と比較して、前記第１の露出制御と前記第２の露出制御の切り替えを判定する明るさ比較部を備え、
前記明るさ比較部は、前記第１の露出制御から前記第２の露出制御への切り替えを判定するための閾値と、前記第２の露出制御から前記第１の露出制御への切り替えを判定するための閾値とにヒステリシス特性を持たせることを特徴とする請求項３記載の画像表示装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
本発明に係る画像表示装置は、
車両の後方の画像を撮影する撮像部と、
前記撮像部の撮影画像の色温度を検出する色温度検出部と、
前記車両の前方に設置され、前記車両の前方の入射光の色温度を検出する色温度センサと、
前記撮影画像のホワイトバランスの調整を行うホワイトバランス調整部と、
前記ホワイトバランス調整部によって調整された前記撮影画像を表示する表示部と、を備え、
前記ホワイトバランス調整部は、前記色温度検出部が検出した前記撮影画像の色温度と、前記色温度センサが検出した前記入射光の色温度の差分が閾値以上の場合に、前記撮影画像の色温度に基づいた第１のホワイトバランス調整から、前記入射光の色温度に基づいた第２のホワイトバランス調整に切り替える。