(57)【要約】【課題】ドライバーが画像に覚える違和感を低減させる。【解決手段】画像表示装置１１は、車体５００の側面を含む車両側方の画像を撮影する撮像部１３と、撮像部１３が撮影した画像から車体５００の側面を含む車体領域ＣＡを除いた領域に含まれる画像データに基づいて、画像全体のホワイトバランスを調整するＡＷＢ処理部１５１と、ＡＷＢ処理部１５１によって調整された画像を表示するディスプレイ２１、２２と、を備える。【選択図】図２
2019169788.tif 000002
【特許請求の範囲】
【請求項１】
車体の側面を含む車両側方の画像を撮影する撮像部と、
前記撮像部が撮影した画像から前記車体の側面を含む車体領域を除いた領域に含まれる画像データに基づいて、前記画像全体のホワイトバランスを調整するホワイトバランス調整部と、
前記ホワイトバランス調整部によって調整された前記画像を表示する表示部と、を備えることを特徴とする画像表示装置。
【請求項２】
ユーザの入力に応じて、前記撮像部が撮影する画像の全体から、前記表示部で表示する表示領域を決定する表示領域決定部と、
前記表示領域決定部で決定された前記表示領域から前記車体領域と重複する領域を除いた所定領域を決定する所定領域決定部と、を備え、
前記ホワイトバランス調整部は、前記所定領域に含まれる画像データに基づいて、前記画像全体のホワイトバランスを調整することを特徴とする請求項１記載の画像表示装置。
【請求項３】
前記撮像部が撮影する画像の全体における前記車体領域に関する情報を記憶する記憶部を備え、
前記所定領域決定部は、前記車体領域に関する情報を用いて前記所定領域を決定することを特徴とする請求項２記載の画像表示装置。
【請求項４】
前記撮像部が撮影した画像を前記表示領域に合わせてトリミングするトリミング部と、
前記トリミングした画像から、前記車体の側面を検出し、当該車体の側面を含む前記車体領域を決定する車体領域決定部と、を備え、
前記所定領域決定部は、前記表示領域から前記車体領域決定部で決定された前記車体領域と重複する領域を除いて前記所定領域を決定することを特徴とする請求項２記載の画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示装置に関する。
【背景技術】
【０００２】
運転者が車両を運転する際に、車両の側方を確認するのを支援するために、車両はドアミラーを備えている。ドアミラーに代えて、またはドアミラーと併用して、画像表示装置を用いることが提案されている。画像表示装置は、車両の側方をカメラで撮影し、撮影した画像を車内に設置したディスプレイで表示させる。カメラが撮影する画像は、日中の太陽光や、夜間のナトリウムランプ等の光源によって、同じ撮影対象であっても画像上の色が変化することがある。撮影画像をそのままディスプレイに表示させるとドライバーが違和感を覚える可能性があるため、画像表示装置においてホワイトバランスを調整し、画像上の色をドライバーが撮影対象を目視したときの色に近づける（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−７８２０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
画像表示装置は、撮影画像中の無彩色領域、すなわち白に近い領域を抽出し、その部分を白に合わせることで、ホワイトバランスを調整する。
ドライバーは側方確認の際に、自車両の車体と他車両の車体の大きさを比較して車間距離を把握するため、カメラの撮影範囲には自車両の車体の側面が含まれる。この車体に太陽光が当たると、撮影画像において車体の色が白に近くなることがある。例えば、赤い車体に太陽光が当たると、撮影画像では赤みがかかった白となり、画像表示装置は車体の部分を無彩色領域と判定する。画像表示装置は、車体の色を白に近づけるために画像全体の色温度を上げるホワイトバランス調整を行い、結果として画像全体が青みのかかった色となってしまい、ドライバーが違和感を覚える可能性がある。
【０００５】
車両の側方の画像を表示する画像表示装置において、ドライバーが画像に覚える違和感を低減させることが求められている。
【課題を解決するための手段】
【０００６】
本発明に係る画像表示装置は、
車体の側面を含む車両側方の画像を撮影する撮像部と、
前記撮像部が撮影した画像から前記車体の側面を含む車体領域を除いた領域に含まれる画像データに基づいて、前記画像全体のホワイトバランスを調整するホワイトバランス調整部と、
前記ホワイトバランス調整部によって調整された前記画像を表示する表示部と、を備える。
【発明の効果】
【０００７】
本発明によれば、画像表示装置は、車体に当たった太陽光によってホワイトバランスの調整に影響が出にくいので、表示部に表示させる画像に対するドライバーの違和感を低減させ、運転の快適性を向上させることができる。
【図面の簡単な説明】
【０００８】
【図１】実施の形態に係る画像表示装置を設置した車両を示す図である。
【図２】画像表示装置の構成を示すブロック図である。
【図３】カメラの撮影画像の一例を示す図である。
【図４】表示領域の変更に伴うＡＷＢ基準領域の変更を説明する図である。
【図５】カメラの構成を示すブロック図である。
【図６】色温度を示すグラフである。
【図７】太陽光による車体の色の変化を説明する図である。
【図８】カラーレンダリングの試験における色測定結果を示す表である。
【図９】ＥＣＵの処理を示すフローチャートである。
【図１０】カメラの処理を示すフローチャートである。
【図１１】変形例１に係る画像表示装置の構成を示すブロック図である。
【図１２】変形例１に係るＥＣＵの処理を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施の形態に係る画像表示装置を、図面を参照して説明する。
［構成］
図１は、実施の形態に係る画像表示装置を設置した車両を示す図である。
図２は、画像表示装置の構成を示すブロック図である。
図１に示すように、画像表示装置１は、車体５００に設置されたカメラ１１、１２と、車内に設置されたディスプレイ２１、２２と、カメラ１１、１２が撮影した画像をディスプレイ２１、２２に表示させる制御を行う制御装置としてＥＣＵ（Electronic Control Unit）３０と、を備える。
【００１０】
車両のドライバーは、ドアミラーに代えて、またはドアミラーと併用して、ディスプレイ２１、２２が表示する画像を見て、側方確認を行う。
【００１１】
カメラ１１、１２は、それぞれ車体５００の左方および右方のフロントドアに、レンズを車両の後方に向けて設置される。図１に、カメラ１１、１２それぞれの撮影範囲を点線で示しているが、カメラ１１は、車両の左側方および後方を撮影する。カメラ１２は、車両の右側方および後方を撮影する。カメラ１１、１２は固定式であり、一定の撮影範囲を撮影する。カメラ１１、１２は、車両の走行中は常時撮影を行う。カメラ１１、１２が撮影した画像は、順次ＥＣＵ３０に入力される。
【００１２】
図３は、カメラ１１の撮影画像の一例を示す図である。
図３に示すように、撮影画像ＰＩには、車両の左側方と後方に加えて、車体５００の左側の側面も表示される。図示は省略するが、カメラ１２の撮影画像ＰＩにも、車体５００の右側の側面が表示される。ドライバーは側方確認の際に、自車両の車体５００と他車両の車体５００の大きさを比較して車間距離を把握するため、カメラ１１、１２の撮影範囲に自車両の車体５００の側面が含まれるように、カメラ１１、１２を設置する。
【００１３】
ディスプレイ２１、２２は、例えば、車両の内部の運転席のダッシュボードに設置する。ディスプレイ２１はカメラ１１が撮影した画像を表示し、ディスプレイ２２はカメラ１２が撮影した画像を表示する。ディスプレイ２１、２２は、カメラ１１、１２の撮影画像ＰＩ全体ではなく、表示画面の大きさに合わせてトリミングされた画像を表示する。トリミング処理は後述するＥＣＵ３０で行われる。すなわち、図３に太線で示した、カメラ１１、１２の撮影画像ＰＩのなかの一部の領域が、ディスプレイ２１、２２で表示される領域（以降、「表示領域ＤＡ」という）である。
【００１４】
実施の形態において、撮影画像ＰＩにおける表示領域ＤＡの大きさは一定だが、表示領域ＤＡの位置は変更することができる。図２に示すように、ディスプレイ２１、２２は、ユーザが表示領域ＤＡを変更するための操作部２３を備える。操作部２３は、ディスプレイ２１、２２の表示画面に重ねて設けられたタッチパネルを含んで構成される。ユーザがタッチパネルを操作して表示領域ＤＡを移動させると、操作部２３は操作された内容を示す操作信号を後述のＥＣＵ３０に入力する。
【００１５】
図１に示すように、操作部２３は、例えば、ドライバーがタッチパネルに触れることによって表示される４つの矢印によって構成することができる。矢印は、それぞれの先端が上端、下端、右端、左端に向く。操作部２３は、ドライバーがいずれかの矢印に触れると、その矢印が向いた方向への表示領域ＤＡの移動操作の入力を受け付ける。表示領域ＤＡの移動量は、接触回数または接触時間に応じて増やすことができる。操作部２３は、表示領域ＤＡの移動方向および移動量を示す操作信号をＥＣＵ３０に入力する。
【００１６】
なお、ドライバーが側方確認を安全に行うことができるように、表示領域ＤＡの変更は、表示領域ＤＡ内に車両の側面が入る範囲に限定しても良い。また、操作部２３はタッチパネルに限定されず、例えば、ディスプレイ２１、２２の表示画面の周囲に設けられた操作ボタンで構成しても良い。
【００１７】
なお、図３では、撮影画像ＰＩ上に表示領域ＤＡを示しているが、ディスプレイ２１、２２が実際に表示する画像は、撮影画像ＰＩを後述するＥＣＵ３０で反転させたものである。ドアミラーは実際の像を反転した虚像を映すため、ディスプレイ２１、２２の画像がドアミラーの虚像と同じ見え方になるように、撮影画像ＰＩを反転させる。
【００１８】
図２に示すように、ＥＣＵ３０は、表示領域決定部３１、ＡＷＢ（Auto White Balance）基準領域決定部３２、画像処理部３３および記憶部３４を備える。
【００１９】
ＥＣＵ３０は、例えば、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）等のメモリ、入出力インターフェース、ならびにコンピューター間通信部等で構成される。ＣＰＵがメモリに記憶させた各種アプリケーションを実行することによって、各部の機能を実現する。ＥＣＵ３０は、カメラ１１、１２およびディスプレイ２１、２２と車載ＬＡＮによって接続され、これらとデータの授受を行う。
【００２０】
記憶部３４は、各部の処理に必要な情報を格納し、また、各部の処理結果を記憶する。実施の形態では、記憶部３４は、一例として、車体領域ＣＡ、表示領域ＤＡおよびＡＷＢ基準領域ＢＡの情報を格納する。これらの情報は、例えばピクセル数で記憶される。
【００２１】
車体領域ＣＡとは、カメラ１１、１２の撮影画像ＰＩにおいて、車体５００が映る領域である。
前記したように、撮影画像ＰＩには車体５００の側面が表示される。自車両の車体５００はカメラ１１、１２との距離が変わらないため、撮影画像ＰＩにおいて車体５００の側面は常に一定の領域を占める。そこで、カメラ１１、１２のそれぞれ撮影画像ＰＩにおいて車体領域ＣＡを予め決定して、その情報を記憶部３４に記憶させる。車体領域ＣＡは、車体５００の形状に完全に一致する領域でなくても良い。例えば、図３で点線で示すように、車体５００を包含する矩形の領域を車体領域ＣＡとしても良い。
【００２２】
表示領域ＤＡは、前記したように、カメラ１１、１２の撮影画像ＰＩのなかのディスプレイ２１、２２で表示される領域である。初期状態では予め決定された表示領域ＤＡの情報が記憶部３４に記憶されるが、ディスプレイ２１、２２の操作部２３の操作によって、表示領域ＤＡの情報は変更される。ディスプレイ２１、２２の表示領域ＤＡは個別に変更可能であるため、記憶部３４にはディスプレイ２１、２２それぞれの表示領域ＤＡが記憶される。
【００２３】
ディスプレイ２１、２２のいずれかの操作部２３から操作信号が入力されると、表示領域決定部３１は、操作信号が示す表示領域ＤＡの移動方向および移動量を参照して、対応するディスプレイ２１、２２の表示領域ＤＡを変更する。表示領域決定部３１は、変更した表示領域ＤＡの情報を記憶部３４に記憶させる。
【００２４】
ＡＷＢ基準領域ＢＡは、カメラ１１、１２で後述するＡＷＢ処理を行う際に使用する領域である。ＡＷＢ基準領域ＢＡは、表示領域ＤＡの変更に伴って変更されるものである。ＡＷＢ基準領域ＢＡは、図３においてハッチングで示しているが、表示領域ＤＡから車体領域ＣＡと重複する部分を除いた領域である。
【００２５】
図４は、表示領域ＤＡの変更に伴うＡＷＢ基準領域ＢＡの変更を説明する図である。図４では、図３から表示領域ＤＡを変更した状態を示している。
前記したように、表示領域ＤＡの変更は、表示領域ＤＡ内に車両の側面が映る範囲に限定されるため、表示領域ＤＡには常に車体領域ＣＡと重複する部分が生じる。表示領域ＤＡを変更すると、車体領域ＣＡと重複する部分の位置および大きさが変化するため、ＡＷＢ基準領域ＢＡも変更される。
【００２６】
初期状態では、表示領域ＤＡの初期値から予め算出されたＡＷＢ基準領域ＢＡの情報が記憶部３４に記憶されている。表示領域決定部３１がディスプレイ２１、２２のいずれかの表示領域ＤＡを変更すると、ＡＷＢ基準領域決定部３２は変更された表示領域ＤＡから車体領域ＣＡと重複する範囲を除く演算を行って、ＡＷＢ基準領域ＢＡを決定する。ＡＷＢ基準領域決定部３２は、決定したＡＷＢ基準領域ＢＡの情報を記憶部３４に記憶させる。ＡＷＢ基準領域決定部３２は、さらに決定したＡＷＢ基準領域ＢＡの情報を、対応するカメラ１１、１２のいずれかに出力する。
【００２７】
画像処理部３３は、カメラ１１、１２のそれぞれから入力された撮影画像ＰＩを取得て、必要な各種の画像処理を行って、対応するディスプレイ２１、２２に出力する。
画像処理部３３は、記憶部３４に記憶された表示領域ＤＡの情報を参照し、ディスプレイ２１、２２の表示領域ＤＡに合わせて撮影画像ＰＩのトリミングを行うトリミング部３３１を備える。画像処理部３３は、また、トリミングした画像の反転処理を行う反転部３３２を備える。画像処理部３３は、他にも、輝度調整等の必要な処理を行うが、説明は省略する。
【００２８】
図５は、カメラの構成を示すブロック図である。
図５に示すように、カメラ１１、１２は、撮像部１３、ＡＷＢ基準領域設定部１４、画像処理部１５および記憶部１６を備える。
【００２９】
撮像部１３は、レンズ、モータ、ＣＣＤ、カラーフィルタ等から構成される。記憶部１６は、ＲＯＭ、ＲＡＭ、記録メディア等のメモリによって構成される。撮像部１３によって撮影された画像は、記憶部１６に一時的に記憶される。記憶部１６は、撮像部１３が撮影した画像を記憶する他に、ＣＰＵが実行するアプリケーションプログラムや、ＣＰＵの処理に必要な各種情報を記憶する。記憶部１６は、例えば、ＡＷＢ基準領域ＢＡを記憶する。
【００３０】
ＡＷＢ基準領域設定部１４および画像処理部１５は、ＣＰＵ、ＤＳＰ（Digital Signal Processor）およびメモリ等から構成される。
【００３１】
ＡＷＢ基準領域設定部１４は、ＥＣＵ３０のＡＷＢ基準領域決定部３２から入力されるＡＷＢ基準領域ＢＡの情報を取得して記憶部１６に記憶させることで、カメラ１１、１２のそれぞれにおけるＡＷＢ基準領域ＢＡを設定する。表示領域ＤＡが変更されると、それに伴って変更されたＡＷＢ基準領域ＢＡの情報がＥＣＵ３０から入力されるので、ＡＷＢ基準領域設定部１４は、入力されたＡＷＢ基準領域ＢＡをその都度記憶部１６に記憶させて、ＡＷＢ基準領域ＢＡの情報を更新する。
【００３２】
画像処理部１５は、記憶部１６から撮像部１３が撮影した画像を順次読み出し、必要な画像処理を行う。
画像処理部１５は、画像のホワイトバランスを調整する処理、いわゆるオートホワイトバランス処理を行う、ＡＷＢ処理部１５１を備える。以降、ホワイトバランスは「ＷＢ」と記載し、オートホワイトバランスは「ＡＷＢ」と記載する。画像処理部１５は、他にも露出調整、フォーカス調整、圧縮処理等の処理を行うが、ここでは説明は省略する。
【００３３】
ＡＷＢ処理は、撮影画像ＰＩから白色と推定される領域を検出し、その領域を白に近づけるように、画像全体の色温度を補正する処理である。ＡＷＢ処理を行うことによって、画像上の色をドライバーが撮影対象を目視したときの色に近づける。
ＡＷＢ処理には、様々な手法があるが、ここではその一例を簡潔に説明する。
【００３４】
ＡＷＢ処理部１５１は、撮影画像ＰＩを複数のブロックに分割し、ブロックに含まれる画素のＲ、Ｇ、Ｂ信号の積算値（Ｇ／Ｒ、Ｇ／Ｂ）の比を、ＷＢ評価値として算出する。
実施の形態では、ＡＷＢ処理部１５１は、撮影画像ＰＩ全体ではなく、ＡＷＢ基準領域ＢＡの部分のみをＷＢ評価値の算出の対象とする。すなわち、ＡＷＢ処理部１５１は、ＡＷＢ基準領域ＢＡに含まれる画像データに基づいてＡＷＢ処理を行う。
ＡＷＢ処理部１５１は、記憶部１６に記憶されたＡＷＢ基準領域ＢＡの情報を参照して、撮影画像ＰＩのなかのＡＷＢ基準領域ＢＡの部分を複数のブロックに分割して、ＷＢ評価値を算出する。
【００３５】
ＡＷＢ処理部１５１は、ＷＢ評価値をＷＢ色空間上にプロットし、ＷＢ評価値の分布から画像において白色と推定されるブロックを検出する。検出したブロックのＲＧＢの積算比がＲ：Ｇ：Ｂ＝１：１：１に近づくように、Ｒ信号およびＢ信号に対して乗算するゲインの値を、ＷＢ制御値として算出する。ＡＷＢ処理部１５１は、算出したＷＢ制御値を、画像全体の画素のＲ信号およびＢ信号に乗算する。これによって、画像全体の色温度が補正され、ホワイトバランスが調整される。
【００３６】
図６は、色温度を示すグラフである。
図６に示すように、色温度を高くすると画像の青みが増し、色温度を低くすると赤みが増す。グラフの中央部分が、白色の領域である
ＡＷＢ処理部１５１は、画像全体のＧ信号は固定として、Ｒ信号およびＢ信号を調整する。すなわち、ＡＷＢ処理部１５１は、ＷＢ評価値に基づいて検出した、白色と推定されるブロックを色温度の中央に近づけるように、画像全体の色温度を補正する。ＡＷＢ処理部１５１は、白色と推定されるブロックが赤みを帯びていれば、画像全体の色温度を上げる補正を行う。白色と推定されるブロックが青みを帯びていれば、画像全体の色温度を下げる補正を行う
【００３７】
色温度の補正は、図３に示した撮影画像ＰＩ全体に対して行うが、前記したように、色温度の補正の基準となるＷＢ評価値の算出はＡＷＢ基準領域ＢＡのみを対象とする。ＡＷＢ基準領域ＢＡは、表示領域ＤＡから車体領域ＣＡと重複する部分を除外したものである。ＷＢ評価値算出の対象から車体領域ＣＡを除外するのは、車体５００の色が色温度の調整に影響を与える可能性があるからである。
【００３８】
図７は、太陽光による車体の色の変化を説明する図である。
図７に示すように、車体５００が有彩色であっても、太陽光が車体５００に当たると、撮影画像ＰＩに映る車体５００は白に近い色になることがある。例えば、赤色の車体５００に太陽光が当たると、車体５００自体の赤みと太陽光の色が合わさって、撮影画像ＰＩに映る車体５００は赤みを帯びた白色になる。
【００３９】
ＡＷＢ処理部１５１が、車体領域ＣＡを除外せずにＷＢ評価値を算出した場合、赤みを帯びた白色になった車体５００を映すブロックが、白色と推定されることになる。車体５００の赤みを帯びた白色を白色に近づけるために、画像全体の色温度を上げる補正が行われ、結果として画像全体が青みがかったものとなり、ドライバーに違和感を与える可能性がある。
【００４０】
また、撮影画像ＰＩ全体が青みがかったものとなることによって、判別がつきにくくなる色が生じる可能性がある。
図８は、カラーレンダリングの試験における色測定結果を示す表である。
カラーレンダリングは、国連基準UN-R46の6.2.2.3.3.4項に規定された試験であり、ISO16505の6.7.3に記載される測定手法で色測定を行った。
本試験では、車体５００に対してライトの光を照射した状態で、車体５００と共に赤（Ｒ）、緑（Ｇ）、青（Ｂ）、黄（Ｙ）、白（Ｗ）を含むカラーチャートをカメラで撮影し、ＡＷＢ処理後の画像の色を測定して、色再現性を検証した。
【００４１】
表の比較例１および比較例２では、車体領域ＣＡを除外せず、撮影画像ＰＩ全体からＷＢ評価値を算出してＡＷＢ処理を行った。実施例１では、撮影画像ＰＩの車体領域ＣＡを除外した部分からＷＢ評価値を算出してＡＷＢ処理を行った。比較例１は車体５００の色が白であり、比較例２および実施例１は車体５００の色が赤である。
【００４２】
図８の表に示すＲｉの数値が０．０２を超えていれば、その色の再現性が基準を満たしていると判定される。
図８に示すように、車体５００が白の比較例１では、全ての色についてＲｉは０．０２を超えている。比較例１は車体５００が元々白であるため、ライトが当たっても撮影画像ＰＩにおいて大きな色の変化が無く、ＡＷＢ処理に影響を与えなかったためと考えられる。
【００４３】
一方、車体５００が赤の比較例２では、緑についてＲｉが０．０２を下回っている。前記したように、赤の車体５００にライトが当たることによって、撮影画像ＰＩにおいて車体５００は赤みがかった白に映る。比較例２では、ＡＷＢ処理において車体領域ＣＡを除外しなかったため、車体５００の赤みがかった白色が白と推定され全体の色温度を上げる補正が行われた結果、緑の色再現性が基準値を下回ったと考えられる。
【００４４】
一方、実施例１は、車体５００が赤であるにもかかわらず、緑のＲｉは０．０２を超え、色再現性の基準を満たしている。実施例１では車体領域ＣＡを除外したため、車体５００の色が白と推定されることがなく、ＡＷＢ処理において全体の色温度を上げる補正が行われなかったためと考えられる。
【００４５】
ＡＷＢ処理部１５１は、表示領域ＤＡから車体領域ＣＡを除外したＡＷＢ基準領域ＢＡから算出したＷＢ評価値を用いてＡＷＢ処理を行うことで、車体５００の色が色温度の補正に影響を与えることを低減する。また、ＡＷＢ基準領域ＢＡは、表示領域ＤＡ外の部分も除外しているため、ＡＷＢ処理は、ユーザが視認する表示領域ＤＡ内の色を基準に行われる。
【００４６】
［動作］
画像表示装置１の各部の処理を説明する。
図９は、ＥＣＵの処理を示すフローチャートである。
ここでは、カメラ１１が撮影した画像に対するＥＣＵ３０の処理を説明する。
図９に示すように、車両の運転が開始されると、カメラ１１が撮影を開始し、ＥＣＵ３０の画像処理部３３は、カメラ１１から入力される画像を、順次取得する（ステップＳ０１）。
【００４７】
ディスプレイ２１の操作部２３から操作信号の入力が無ければ（ステップＳ０２：Ｎｏ）、トリミング部３３１は、記憶部３４に記憶された表示領域ＤＡの情報に従って、撮影画像ＰＩをトリミングする（ステップＳ０３）。反転部３３２は、トリミング部３３１がトリミングした画像を反転処理する（ステップＳ０４）。画像処理部３３はその他の必要な画像処理を行い、画像をディスプレイ２１に出力する（ステップＳ０５）。以降、ステップＳ０１に戻り、車両の運転が終了するまで、順次画像の取得と画像処理を行う。
【００４８】
ステップＳ０２に戻り、ディスプレイ２１の操作部２３から、表示領域ＤＡを変更する操作信号の入力があれば（ステップＳ０２：Ｙｅｓ）、表示領域決定部３１が、操作信号が示す移動方向と移動量に基づいて、表示領域ＤＡを変更する（ステップＳ０６）。ＡＷＢ基準領域決定部３２が、変更後の表示領域ＤＡと、車体領域ＣＡに基づいて、ＡＷＢ基準領域ＢＡを変更する（ステップＳ０７）。ＡＷＢ基準領域決定部３２は変更したＡＷＢ基準領域ＢＡの情報をカメラ１１に出力して（ステップＳ０８）、ステップＳ０３に進む。
【００４９】
カメラ１２が撮影した画像に対するＥＣＵ３０の処理も、カメラ１１と同様である。ＥＣＵ３０の画像処理部３３は、カメラ１２が撮影した画像を順次取得して、トリミングおよび反転処理を行って、ディスプレイ２２に出力する（ステップＳ０１〜Ｓ０５）。ディスプレイ２２から操作信号の入力があれば（ステップＳ０２：Ｙｅｓ）、表示領域決定部３１はディスプレイ２２の表示領域ＤＡを変更し、ＡＷＢ基準領域決定部３２はカメラ１２のＡＷＢ基準領域ＢＡを変更する（ステップＳ０６〜Ｓ０７）。
【００５０】
図１０は、カメラの処理を示すフローチャートである。
ここでは、カメラ１１の処理を説明する。
車両の運転が開始されると、カメラ１１の撮像部１３が撮影を開始し（ステップＳ１０１）、撮影画像ＰＩを記憶部１６に記憶させる。
【００５１】
ＥＣＵ３０からのＡＷＢ基準領域ＢＡの入力が無ければ（ステップＳ１０２：Ｎｏ）、画像処理部１５が撮影画像ＰＩを記憶部１６から順次読み出し、ＡＷＢ処理部１５１が、記憶部１６に記憶されたＡＷＢ基準領域ＢＡの情報を参照してＡＷＢ処理を行う（ステップＳ１０３）。画像処理部１５は、その他の画像処理も行い、処理後の画像をＥＣＵ３０に出力する（ステップＳ１０４）。以降、ステップＳ１０１に戻り、車両の運転が終了するまで、順次画像の撮影とＡＷＢ処理を行う。
【００５２】
ステップＳ１０２において、ＥＣＵ３０からカメラ１１のＡＷＢ基準領域ＢＡの情報の入力があれば（ステップＳ１０２：Ｙｅｓ）、ＡＷＢ基準領域設定部１４がＡＷＢ基準領域ＢＡを設定し（ステップＳ１０５）、ステップＳ１０３に進む。
【００５３】
カメラ１２の処理についても、カメラ１１と同様である。カメラ１２は、撮像部１３が撮影した画像を、順次ＡＷＢ処理を行って、ＥＣＵ３０に出力する（ステップＳ１０１〜Ｓ１０４）。ＥＣＵ３０からカメラ１２のＡＷＢ基準領域ＢＡの情報の入力があれば（ステップＳ１０２：Ｙｅｓ）、ＡＷＢ基準領域設定部１４は記憶部１６のＡＷＢ基準領域ＢＡの設定を更新する（ステップＳ１０５）。
【００５４】
以上の通り、実施の形態に係る画像表示装置１は、
（１）車体５００の側面を含む車両側方の画像を撮影する撮像部１３と、
撮像部１３が撮影した撮影画像ＰＩ（画像）から車体５００の側面を含む車体領域ＣＡを除いた領域に含まれる画像データに基づいて、撮影画像ＰＩ全体のホワイトバランスを調整するＡＷＢ処理部１５１（ホワイトバランス調整部）と、
ＡＷＢ処理部１５１によって調整された画像を表示するディスプレイ２１、２２（表示部）と、を備える。
【００５５】
カメラ１１、１２の撮影画像ＰＩから車体５００の側面が映る車体領域ＣＡを除外した領域に含まれる画像データに基づいてホワイトバランスの調整を行うことで、車体５００に太陽光が当たって白に近い色になったとしても、車体５００の色がホワイトバランスの調整に影響を及ぼすことを低減することができる。これによって、ドライバーに違和感の少ない画像を表示させることができるため、運転の快適性を向上させることができる。
【００５６】
（２）ユーザの入力に応じて、撮像部１３が撮影する撮影画像ＰＩの全体から、表示部で表示する表示領域ＤＡを決定する表示領域決定部３１と、
表示領域決定部３１で決定された表示領域ＤＡから車体領域ＣＡと重複する領域を除いたＡＷＢ基準領域ＢＡ（所定領域）を決定するＡＷＢ基準領域決定部３２（所定領域決定部）と、を備え、
ＡＷＢ処理部１５１は、ＡＷＢ基準領域ＢＡに含まれる画像データに基づいて、撮影画像ＰＩ全体のホワイトバランスを調整する。
【００５７】
ドライバーが目にしない表示領域ＤＡ外の部分は、所定領域から除外することで、ホワイトバランスの調整を適切に行うことができる。また、ユーザの入力に応じて表示領域ＤＡが変わる場合に、その都度車体領域ＣＡを除いた範囲を決定することで、太陽光が当たった車体５００の色にホワイトバランスの調整が影響されることを低減することができる。
【００５８】
（３）撮像部１３が撮影する撮影画像ＰＩの全体における車体領域ＣＡに関する情報を記憶する記憶部３４を備え、ＡＷＢ基準領域決定部３２は、車体領域ＣＡに関する情報を用いてＡＷＢ基準領域ＢＡを決定する。
【００５９】
撮像範囲が固定されている場合、記憶部３４に予め車体領域ＣＡは記憶させ、表示領域ＤＡが変更された場合に、表示領域ＤＡから車体領域ＣＡと重複する領域を除く演算を行ってＡＷＢ基準領域ＢＡを決定することで、ホワイトバランスの調整を適切に行うことができる。
【００６０】
［変形例１］
前記した実施の形態では、撮影画像ＰＩにおける車体領域ＣＡを予め決定して記憶部３４に記憶させたが、これに限られず、カメラ１１、１２の撮影画像ＰＩから車体５００の側面を検出して、リアルタイムで車体領域ＣＡを決定しても良い。
【００６１】
図１１は、変形例１に係る画像表示装置の構成を示すブロック図である。
なお、変形例１では、実施の形態と同様の構成については同じ符号を付し、詳細な説明は省略する。
図１１に示すように、変形例１に係る画像表示装置１のＥＣＵ３０は、図２に示した構成に加えて、車体領域決定部３５を備える。
【００６２】
車体領域決定部３５は、画像処理部３３のトリミング部３３１が表示領域ＤＡに合わせてトリミングした画像から、車体５００の側面を検出する。車体領域決定部３５は、例えば、画像にフィルタ処理を行ってエッジを検出し、検出したエッジに対してテンプレートマッチングを行うことにより、車体５００の側面を検出する。なお、撮影画像ＰＩには他車両の車体も映る可能性があるが、カメラ１１の撮影画像ＰＩであれば、画像の左端から最も近い距離の車体を自車両の車体５００として検出し、カメラ１２の撮影画像ＰＩであればする画像の左端から最も近い距離の車体を自車両の車体５００として検出する。
【００６３】
車体領域決定部３５は、画像から検出した車体５００の側面を含む領域を車体領域ＣＡとして決定する。車体領域ＣＡは、車体５００の形状に沿った非矩形の領域としても良く、実施の形態と同様に、車体５００の側面を含む矩形の領域としても良い。
【００６４】
車体領域決定部３５は、ディスプレイ２１、２２の操作部２３からの操作信号の入力により、表示領域決定部３１が表示領域ＤＡを変更したタイミングで、車体５００の側面の検出と車体領域ＣＡの決定を行う。車体領域決定部３５は決定した車体領域ＣＡを記憶部３４に記憶させる。
【００６５】
ＡＷＢ基準領域決定部３２は、車体領域決定部３５が決定した車体領域ＣＡを用いて、ＡＷＢ基準領ＢＡを決定する。ＡＷＢ基準領域決定部３２は、実施の形態と同様に、表示領域ＤＡから車体領域ＣＡと重複する範囲を除く演算を行って、ＡＷＢ基準領域ＢＡを決定し、カメラ１１、１２に出力する。
【００６６】
図１２は、変形例１に係るＥＣＵの処理を示すフローチャートである。
実施の形態と同様に、カメラ１１が撮影した画像に対するＥＣＵ３０の処理を説明するが、カメラ１２が撮影した画像に対するＥＣＵ３０の処理もカメラ１１と同様である。
【００６７】
図１２に示すように、ＥＣＵ３０の画像処理部３３は、カメラ１１から入力された撮影画像ＰＩを取得する（ステップＳ１１）。ディスプレイ２１の操作部２３から操作信号の入力が無ければ（ステップＳ１２：Ｎｏ）、トリミング部３３１が表示領域ＤＡに合わせて撮影画像ＰＩをトリミングする（ステップＳ１３）。反転部３３２はトリミングした画像を反転処理し（ステップＳ１４）、ディスプレイ２１に出力する（ステップＳ１５）。以降、ステップＳ０１に戻り、車両の運転が終了するまで、順次画像の取得と画像処理を行う。
【００６８】
ステップＳ１２においてディスプレイ２１の操作部２３から操作信号の入力があれば（ステップＳ１２：Ｙｅｓ）、表示領域決定部３１が、操作信号が示す移動方向と移動量に基づいて、表示領域ＤＡを変更する（ステップＳ１６）。トリミング部３３１は変更した表示領域ＤＡに合わせて撮影画像ＰＩをトリミングする（ステップＳ１７）。車体領域決定部３５は、トリミングした画像から車体５００の側面を検出し（ステップＳ１８）、車体領域ＣＡを決定する（ステップＳ１９）。
ＡＷＢ基準領域決定部３２が、変更された表示領域ＤＡと車体領域ＣＡからＡＷＢ基準領域ＢＡを決定して（ステップＳ２０）、ステップＳ１４に進む。
【００６９】
カメラ１１、１２は、実施の形態と同様に、ＥＣＵ３０から入力されたＡＷＢ基準領域ＢＡを用いて、撮影画像ＰＩのＡＷＢ処理を行う。
【００７０】
以上の通り、変形例１に係る画像表示装置１は、
（４）撮像部１３が撮影した撮影画像ＰＩを表示領域ＤＡに合わせてトリミングするトリミング部３３１と、トリミングした画像から車体５００の側面を検出し、当該車体５００の側面を含む車体領域ＣＡを決定する車体領域決定部３５と、を備え、
ＡＷＢ基準領域決定部３２は、表示領域ＤＡから車体領域決定部３５で決定された車体領域ＣＡと重複する領域を除いてＡＷＢ基準領域ＢＡを決定する。
【００７１】
ディスプレイ２１、２２の表示領域ＤＡに合わせてトリミングした画像から、車体５００の側面を検出することによって、車体５００の側面を除いた領域であるＡＷＢ基準領域ＢＡを正確に決定することができるため、ＡＷＢ処理を適切に行うことができる。
【００７２】
［変形例２］
前記した実施の形態では、表示領域ＤＡから車体領域ＣＡと重複する部分を除いた領域をＡＷＢ基準領域ＢＡとしたが、これに限られず、撮影画像ＰＩ全体から車体領域ＣＡを除いた部分をＡＷＢ基準領域ＢＡとしても良い。この場合は、表示領域ＤＡの変更に合わせてＡＷＢ基準領域ＢＡを変更する必要が無く、ＡＷＢ基準領域ＢＡを固定値として予め記憶させておくことができるため、ＥＣＵ３０およびカメラ１１、１２の処理効率を向上させることができる。
【符号の説明】
【００７３】
１  画像表示装置
１１、１２  カメラ
１３  撮像部
１４  ＡＷＢ基準領域設定部
１５  画像処理部
１５１  ＡＷＢ処理部
１６  記憶部
２１、２２  ディスプレイ
２３  操作部
３０  ＥＣＵ
３１  表示領域決定部
３２  ＡＷＢ基準領域決定部
３３  画像処理部
３４  記憶部
３５  車体領域決定部
３３１  トリミング部
３３２  反転部
５００  車体
ＰＩ  撮影画像
ＤＡ  表示領域
ＣＡ  車体領域
ＢＡ  ＡＷＢ基準領域
【図１】
2019169788.tif 000003
【図２】
2019169788.tif 000004
【図３】
2019169788.tif 000005
【図４】
2019169788.tif 000006
【図５】
2019169788.tif 000007
【図６】
2019169788.tif 000008
【図７】
2019169788.tif 000009
【図８】
2019169788.tif 000010
【図９】
2019169788.tif 000011
【図１０】
2019169788.tif 000012
【図１１】
2019169788.tif 000013
【図１２】
2019169788.tif 000014