(57)【要約】【課題】モニタが表示する遅延画像をリアルタイムの画像に近づける。【解決手段】画像表示制御装置１は、自車両ＣＡに設置した左方カメラ３および右方カメラ４（カメラ）が撮影する自車両ＣＡの周囲の画像を、モニタ５に表示させるものであって、左方カメラ３および右方カメラ４で撮影した画像から他車両ＣＢ（他の車両）を検出する車両検出部１２と、車両検出部１２が他車両ＣＢを検出した場合、左方カメラ３および右方カメラ４で撮影した画像をモニタ５に表示させるまでにかかる遅延時間ΔＴｃｄに基づいて、画像に拡大処理を行う拡大部１８と、拡大部１８が拡大処理した画像を、モニタ５に出力する出力部２０と、を有する。【選択図】図１
2018103974.tif 000002
【特許請求の範囲】
【請求項１】
車両に設置したカメラが撮影する当該車両の周囲の画像を、モニタに表示させる画像表示制御装置であって、
前記カメラで撮影した画像から他の車両を検出する車両検出部と、
前記車両検出部が前記他の車両を検出した場合、前記カメラで撮影した画像を前記モニタに表示させるまでにかかる遅延時間に基づいて、当該画像に拡大処理を行う拡大部と、
前記拡大部が拡大処理した画像を、前記モニタに出力する出力部と、を有する画像表示制御装置。
【請求項２】
前記遅延時間に基づいて、前記拡大部の拡大処理に用いる拡大率を決定する拡大率決定部をさらに備える請求項１記載の画像表示制御装置。
【請求項３】
前記拡大部は、前記拡大率決定部が決定した拡大率に前記画像全体を拡大し、
前記拡大部が拡大した画像を、前記モニタの表示領域に合わせてトリミングするトリミング部をさらに備える、請求項２記載の画像表示制御装置。
【請求項４】
前記トリミング部は、前記拡大部で拡大した画像のトリミングを行う際、当該拡大した画像における前記他の車両の位置を、前記拡大部で拡大する前の画像における前記他の車両の位置と同じにする、請求項３記載の画像表示制御装置。
【請求項５】
前記拡大部は、前記画像に映る前記他の車両を、前記拡大率決定部が決定した拡大率に拡大し、前記画像において、当該拡大した他の車両を、拡大前の他の車両と置き換える、請求項２記載の画像表示制御装置。
【請求項６】
前記拡大部は、前記画像において、前記拡大した他の車両の中心位置を、拡大前の他の車両の中心位置に合わせて置き換える、請求項５記載の画像表示制御装置。
【請求項７】
前記車両検出部が前記画像から前記他の車両を検出した場合、
前記カメラを設置した車両と前記他の車両との車間距離を測定する距離測定部と、
前記車間距離に基づいて、前記他の車両の前記カメラを設置した車両に対する相対速度を算出する相対速度算出部と、をさらに備え、
前記拡大率決定部は、前記車間距離、前記相対速度および前記遅延時間に基づいて、前記拡大部の拡大処理に用いる拡大率を決定する、請求項２記載の画像表示制御装置。
【請求項８】
前記車両検出部が前記画像から複数の他の車両を検出した場合、
前記距離測定部は、前記カメラを設置した車両の進行方向と直交する方向の位置が最も近い他の車両との車間距離を測定する、請求項７記載の画像表示制御装置。
【請求項９】
前記カメラは、車両の一方の側方と他方の側方にそれぞれ設置され、前記車両検出部が双方のカメラで同じタイミングで撮影した画像から他の車両を検出した場合、前記拡大率決定部は、それぞれの画像について拡大率を決定し、前記拡大部は、大きい方の拡大率に基づいて前記画像に拡大処理を行う、請求項７記載の画像表示制御装置。
【請求項１０】
前記モニタの液晶ディスプレイの温度に基づいて、前記遅延時間を決定する遅延時間決定部をさらに備える、請求項１記載の画像表示制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示制御装置に関する。
【背景技術】
【０００２】
運転者が車両を運転する際に、後方および側方を確認するのを支援するために、車両はドアミラーを備えている。ドアミラーに代えて、またはドアミラーと併用して、車両の後方および側方をカメラで撮影し、撮影した画像をダッシュボードに設置したモニタで表示させることが提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−６８８２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
カメラで撮影した画像をモニタが表示するまでにかかる遅延時間によって、モニタが表示する画像は、リアルタイムの画像に対して遅延している。運転者は、レーン変更等の操作の際にモニタの画像を確認し、変更先のレーンで他の車両の接近状態を確認する。モニタが表示する画像が遅延していると、他の車両の接近状態を把握しにくい。遅延時間を考慮してモニタに画像を表示させ、運転の際の安全性を向上させることが求められている。
【課題を解決するための手段】
【０００５】
本発明は、
車両に設置したカメラが撮影する当該車両の周囲の画像を、モニタに表示させる画像表示制御装置であって、
前記カメラで撮影した画像から他の車両を検出する車両検出部と、
前記車両検出部が前記他の車両を検出した場合、前記カメラで撮影した画像を前記モニタに表示させるまでにかかる遅延時間に基づいて、当該画像に拡大処理を行う拡大部と、
前記拡大部が拡大処理した画像を、前記モニタに出力する出力部と、を有する。
【発明の効果】
【０００６】
本発明によれば、モニタが表示する遅延した画像における他の車両を、リアルタイムの画像における大きさに近づけることができるため、運転の際の安全性を向上させることができる。
【図面の簡単な説明】
【０００７】
【図１】実施の形態に係る画像表示制御装置の構成を示すブロック図である。
【図２】画像表示制御装置の車両への設置状態を示す模式図である。
【図３】モニタのＬＥＤバックライト基板の構成を示す図である。
【図４】（ａ）は、他車両の相対速度が１００ｋｍ／ｈの場合の、遅延した画像を示し、（ｂ）はリアルタイムの画像を示す図である。
【図５】実施の形態に係る画像表示制御装置の処理を示すフローチャートである。
【図６】画像から他車両を検出する処理の一例を示す図である。
【図７】（ａ）は、撮影範囲、実際の車幅および車間距離の関係を説明する模式図であり、（ｂ）は画像における車幅とＸ方向幅の関係を説明する模式図である。
【図８】車幅と車間距離の関係の一例を示すグラフである。
【図９】遅延時間において他車両が移動する距離を、相対速度ごとに示したグラフである。
【図１０】遅延時間決定処理の詳細を示すフローチャートである。
【図１１】液晶の輝度の変化を示すグラフである。
【図１２】液晶温度と反応時間の関係を示すグラフである。
【図１３】反応時間テーブルの一例を示す図である。
【図１４】画像における他の車両との車間距離と、実際の他の車両との車間距離の関係を説明する図である。
【図１５】画像の拡大処理を示す図である。
【図１６】画像のトリミング処理を示す図である。
【図１７】変形例１に係る画像表示制御装置の構成を示すブロック図である。
【図１８】変形例１に係る画像表示制御装置が実行する処理を示すフローチャートである。
【図１９】変形例１の拡大処理を説明する図である。
【図２０】画像補正部による画像補正を説明する図である。
【発明を実施するための形態】
【０００８】
以下、本発明の実施の形態に係る画像表示制御装置を、図面を参照して説明する。
図１は、画像表示制御装置の構成を示すブロック図である。
図２は、画像表示制御装置の車両への設置状態を示す模式図である。
【０００９】
［構成］
図１および図２に示すように、画像表示制御装置１は車両の内部に設置し、左方カメラ３、右方カメラ４およびモニタ５に接続する。画像表示制御装置１は、左方カメラ３および右方カメラ４が撮影した車両の周囲の画像をモニタ５に表示させる。詳しくは後述するが、画像表示制御装置１は、モニタ５が表示する遅延した画像をリアルタイムの画像に近づけるために、画像の拡大処理を行う。
以降、実施の形態に係る画像表示制御装置１を設置し、左方カメラ３および右方カメラ４で撮影を行っている車両を「自車両ＣＡ」という。また、左方カメラ３および右方カメラ４で撮影した画像が表示する自車両ＣＡ以外の車両を「他車両」という。
【００１０】
図２において、左方カメラ３および右方カメラ４それぞれの撮像範囲は、破線で示している。左方カメラ３は、自車両ＣＡの左側のフロントドアに設置する。左方カメラ３は、自車両ＣＡの左側の側方および後方を撮影する。右方カメラ４は、自車両ＣＡの右側のフロントドアに設置する。右方カメラ４は、自車両ＣＡの右側の側方および後方を撮影する。左方カメラ３および右方カメラ４は、車両の走行中は常時撮影を行う。
【００１１】
モニタ５は、車両の内部の運転席のダッシュボードに設置する。モニタ５は左方カメラ３および右方カメラ４の画像を表示させる液晶ディスプレイ５０を備える。図２に示すように、モニタ５は一つの液晶ディスプレイ５０を備え、一つの液晶ディスプレイ５０に左方カメラ３および右方カメラ４の二つの画像を並べて表示させても良い。あるいは、モニタ５は二つの液晶ディスプレイ５０を備え、それぞれに左方カメラ３および右方カメラ４の画像を表示させても良い。モニタ５は、左方カメラ３および右方カメラ４のそれぞれの画像について、一定の大きさの表示領域ＤＡを有している。
【００１２】
図１に示すように、モニタ５は、液晶ディスプレイ５０の温度を測定する温度測定部として、サーミスタ５３を備えている。
図３は、サーミスタ５３を備えたモニタ５のＬＥＤバックライト基板５１の構成を示す図である。ＬＥＤバックライト基板５１は、液晶ディスプレイ５０を照射するＬＥＤ５２を、間隔を空けて配置したものである。サーミスタ５３はＬＥＤバックライト基板５１の中央部に配置する。
【００１３】
図１に示すように、画像表示制御装置１は、画像取得部１１、車両検出部１２、距離測定部１３、相対速度算出部１４、温度取得部１５、遅延時間決定部１６、拡大率決定部１７、拡大部１８、トリミング部１９、出力部２０および記憶部２１を備えている。画像表示制御装置１は、例えば、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）等のメモリを備えたＣＰＵ（Central Processing Unit）で構成する。
【００１４】
記憶部２１は、画像表示制御装置１の処理に必要な各種情報を記憶する。記憶部２１は、例えば、反応時間テーブル２１１を記憶する。
【００１５】
画像取得部１１は、左方カメラ３と右方カメラ４が撮影した画像を取得する。前記したように、左方カメラ３および右方カメラ４は、車両の走行中は常時撮影を行っている。画像取得部１１は、左方カメラ３および右方カメラ４が撮影を行っている間、撮影した各フレームの画像を順次取得する。
【００１６】
車両検出部１２は、画像取得部１１が取得した画像から他車両を検出する。距離測定部１３は、車両検出部１２が検出した他車両と自車両ＣＡとの車間距離Ｄを測定する。相対速度算出部１４は、距離測定部１３が測定した車間距離Ｄに基づいて、他車両の自車両ＣＡに対する相対速度Ｖｒを算出する。
【００１７】
左方カメラ３と右方カメラ４の撮影する画像はそれぞれ異なる。車両検出部１２は左方カメラ３の画像と右方カメラ４の画像それぞれに対して他車両の検出を行う。車両検出部１２が双方の画像で他車両を検出した場合は、距離測定部１３および相対速度算出部１４はそれぞれの他車両について車間距離Ｄの測定と相対速度Ｖｒの算出を行う。
【００１８】
温度取得部１５は、モニタ５のサーミスタ５３が測定する液晶ディスプレイ５０の温度を取得する。遅延時間決定部１６は、温度取得部１５が取得した液晶ディスプレイ５０の温度に基づいて、遅延時間ΔＴｃｄを決定する。遅延時間ΔＴｃｄは、左方カメラ３および右方カメラ４が画像を撮影してからモニタ５がその画像を表示するまでにかかる時間である。遅延時間決定部１６は、遅延時間ΔＴｃｄを決定する際に、記憶部２１に記憶させた反応時間テーブル２１１を参照する。
【００１９】
液晶ディスプレイ５０の温度は刻々と変化する。よって、車両の走行中、温度取得部１５は所定間隔で液晶ディスプレイ５０の温度を取得する。遅延時間決定部１６は、温度取得部１５が液晶ディスプレイ５０の温度を取得するごとに、遅延時間ΔＴｃｄを決定して更新する。温度測定の間隔は、液晶ディスプレイ５０の温度変化の傾向やデータ送信の負荷等を考慮して適当な間隔を決定することができる。
【００２０】
拡大率決定部１７は、車間距離Ｄ、相対速度Ｖｒおよび遅延時間ΔＴｃｄに基づいて、画像を拡大させる拡大率Ｚを決定する。車両検出部１２が左方カメラ３および右方カメラ４の双方の画像から他車両を検出した場合は、拡大率決定部１７はそれぞれの他車両の車間距離Ｄと相対速度Ｖｒに基づいて、拡大率を算出する。拡大率決定部１７は、算出した拡大率のうち大きい方を最終的な拡大率Ｚとして決定する。
【００２１】
拡大部１８は、画像の拡大処理として、画像取得部１１が取得した画像全体を、拡大率決定部１７が決定した拡大率Ｚに拡大する。トリミング部１９は、拡大部１８が拡大した画像を、モニタ５の表示領域ＤＡに合わせてトリミングする。出力部２０は、トリミング部１９がトリミングした画像を、モニタ５に出力する。
【００２２】
［動作］
前記したように、画像表示制御装置１は、左方カメラ３および右方カメラ４が撮影した自車両ＣＡの周囲の画像をモニタ５に出力して表示させる。カメラが画像を撮影してからモニタ５がその画像を表示するまでにかかる遅延時間ΔＴｃｄによって、モニタ５が表示する画像はリアルタイムの画像に対して遅延している。
【００２３】
図４に具体例を示す。図４は、左方カメラ３が撮影した画像に、自車両ＣＡの隣のレーンで自車両ＣＡの後方から相対速度１００ｋｍ／ｈで走行している他車両が映っている例を示している。図４では、遅延時間ΔＴｃｄが２００ｍｓｅｃの例を示している。図４の（ａ）は、モニタ５が表示する画像、すなわち遅延した画像である。図４の（ｂ）は、リアルタイムで左方カメラ３が撮影している画像である。他車両が自車両ＣＡに接近している状態であるため、他車両は、遅延した画像よりもリアルタイムの画像において大きく映っている。
【００２４】
運転者は、画像における他車両の大きさから、他車両がどれだけ接近しているかを感覚的に把握する。遅延した画像であっても、表示する他車両の大きさをリアルタイムの画像の大きさに近づけることで、運転者は他車両の接近状態を把握しやすくなる。画像表示制御装置１は、遅延した画像に映る他車両をリアルタイムの画像に近づけるために、画像を拡大する処理を行う。
【００２５】
以下、画像表示制御装置１が実行する処理を説明する。
図５は、画像表示制御装置１が実行する処理を示すフローチャートである。
画像取得部１１は、左方カメラ３と右方カメラ４が撮影した画像を取得する（ステップＳ０１）。車両検出部１２は、画像取得部１１が取得した画像から他車両を検出する（ステップＳ０２）。車両検出部１２は、例えば、画像にフィルタ処理を行ってエッジを検出し、検出したエッジに対してテンプレートマッチングを行うことにより、他車両を検出する。
【００２６】
車両検出部１２が画像から他車両を検出した場合（ステップＳ０２：Ｙｅｓ）、車両検出部１２は、画像上における他車両の車幅Ｗと位置を測定し、検出結果として距離測定部１３に入力する。車両検出部１２が画像から他車両を検出しなかった場合（ステップＳ０２：Ｎｏ）、出力部２０は画像に拡大処理は行わずに、画像をそのままモニタ５に出力して表示させる（ステップＳ０９）。
【００２７】
図６は、画像から他車両を検出する処理の一例を示す図である。
図６は、一例として、左方カメラ３が撮影した画像を示している。画像上における車幅Ｗとは、車両のＸ方向における画素数［ｐｘ］を意味する。画像上における他車両の位置とは、他車両の中心の画像の水平方向（Ｘ方向）における座標（Ｘi）および垂直方向（Ｙ方向）における座標（Ｙi）である。
【００２８】
ここで、車両検出部１２が、一つの画像上で、複数の他車両を検出する場合がある。図６では、複数の他車両ＣＢ、ＣＤを検出した場合を示している。他車両ＣＢが自車両ＣＡのすぐ隣のレーンを走行し、他車両ＣＤは二つ隣のレーンを走行している。これらの他車両ＣＢ、ＣＤと自車両ＣＡとの距離を考えると、進行方向の距離は他車両ＣＤの方が近い。しかしながら、運転者がレーン変更等の操作を行う際には、自車両ＣＡに最も近いレーンを走行する他車両、すなわち進行方向に直交する方向の距離が近い他車両ＣＢに注目する。よって、車両検出部１２は、複数の他車両ＣＢ、ＣＤを検出した場合は、自車両ＣＡの進行方向に直交する方向において自車両ＣＡに最も近い他車両ＣＢを選択する。
【００２９】
具体的な処理としては、車両検出部１２は、まず、画像上における他車両ＣＢの位置（Ｘ1；Ｙ2）と他車両ＣＤの位置（Ｘ2；Ｙ1）を測定する。画像のＸ方向は、自車両ＣＡの進行方向に直交する方向に近い。よって、車両検出部１２はＸ方向の座標が自車両ＣＡの座標（Ｘ0；Ｙ0）と最も近い他車両ＣＢを選択する。なお、自車両ＣＡに最も近い他車両ＣＢを選択する処理はこれに限られない。例えば、車両検出部１２は画像からレーンを区切る車線Ｌを検出し、自車両ＣＡに最も近いレーンを走行する車両を選択するようにしても良い。車両検出部１２は、選択した他車両ＣＢの車幅Ｗを測定して、既に測定した他車両ＣＢの位置（Ｘ1；Ｙ2）と共に距離測定部１３に入力する。
【００３０】
ここでは、左方カメラ３が撮影した画像に対する検出処理を説明したが、右方カメラ４が撮影した画像についても同様の処理を行う。以下、基本的に左方カメラ３で撮影した画像の処理について説明するが、特に言及が無い場合は右方カメラ４で撮影した画像についても同様の処理を行う。また、車両検出部１２が測定した他車両の位置（Ｘi；Ｙi）は、後述するトリミング部１９まで使用されない。そのため、特には言及しないが、相対速度算出部１４、拡大率決定部１７および拡大部１８は、車両検出部１２が測定した他車両の位置（Ｘi；Ｙi）を各部の処理結果と共に出力する。
【００３１】
距離測定部１３は、車両検出部１２が入力した他車両ＣＢの画像における車幅Ｗを用いて、自車両ＣＡと他車両ＣＢの車間距離Ｄを測定する（ステップＳ０３）。
図７の（ａ）は、左方カメラ３の撮影範囲Ｓ、実際の車幅Ｗｃａｒおよび車間距離Ｄの関係を説明する模式図である。図７の（ｂ）は画像における車幅Ｗと画像のＸ方向幅Ｗｃの関係を説明する模式図である。
【００３２】
図７の（ａ）に示すように、他車両ＣＢが左方カメラ３の撮影範囲Ｓに入ると、図７の（ｂ）に示すように、画像が他車両ＣＢを表示する。左方カメラ３の撮影範囲Ｓ［ｍ］と他車両ＣＢの実際の車幅Ｗｃａｒ［ｍ］の関係は、画像のＸ方向幅［ｐｘ］と画像における車幅Ｗ［ｐｘ］の関係に対応するため、次式（１）が成り立つ。
【数１】
2018103974.tif 000003
【００３３】
一方、左方カメラ３の水平画角をθ［°］としたとき、他車両ＣＢと左方カメラ３との距離、すなわち他車両ＣＢと自車両ＣＡとの車間距離Ｄ［ｍ］と、撮影範囲Ｓ［ｍ］の関係については、次式（２）が成り立つ。
【数２】
2018103974.tif 000004
【００３４】
式（１）および式（２）より、以下の関係式（３）が導き出される。
【数３】
2018103974.tif 000005
【００３５】
実際の車幅Ｗｃａｒ、カメラの撮影範囲Ｓ、画像のＸ方向幅Ｗｃ、カメラの水平画角θは予め決定して記憶部２１に記憶させる。実際の車幅Ｗｃａｒは、例えば、車両の幅の平均値等としても良い。あるいは、普通乗用車、大型車、二輪車等の車種に応じて異なる実際の車幅Ｗｃａｒを設定しても良い。その場合は、車両検出部１２において車両を検出する際に、普通乗用車、大型車、二輪車等の車種も特定する。距離測定部１３は、車両検出部１２が特定した車種に合わせた実際の車幅Ｗｃａｒを用いるようにしても良い。距離測定部１３は、車両検出部１２が入力した画像における車幅Ｗを式（３）に代入して演算することにより、車間距離Ｄを算出する。距離測定部１３は、算出した車間距離Ｄを相対速度算出部１４に入力する。
【００３６】
図８は、画像における車幅Ｗと車間距離Ｄの関係の一例を示すグラフである。図８では、実際の車幅Ｗｃａｒを２ｍ、画像のＸ方向幅を１２８０ｐｘ、カメラの水平画角を５０°とする。記憶部２１に、図８のグラフに示すような、画像における車幅Ｗと車間距離Ｄの対応をリストにしたテーブルを記憶させても良い。距離測定部１３は、前記した式（３）の演算を行う代わりに、テーブルを参照して車間距離Ｄを決定しても良い。
【００３７】
相対速度算出部１４は、距離測定部１３が入力した車間距離Ｄに基づいて、他車両ＣＢの自車両ＣＡに対する相対速度Ｖｒを算出する（ステップＳ０４）。
図９は、遅延時間ΔＴｃｄにおいて他車両ＣＢが移動する距離を、相対速度ごとに示したグラフである。図９では、遅延時間ΔＴｃｄが２００ｍｓｅｃの場合を実線で示し、遅延時間ΔＴｃｄが１００ｍｓｅｃの場合は破線で示している。他車両ＣＢの相対速度Ｖｒが異なると、同じ遅延時間ΔＴｃｄであっても他車両ＣＢが進む距離が異なるためである。他車両ＣＢが進む距離が変わると、リアルタイムの画像における他車両ＣＢの画像の大きさも変わる。前記した図４の（ａ）および図４の（ｂ）では、相対速度Ｖｒが１００ｋｍ／ｈの場合の画像を図示している。例えば、もし相対速度Ｖｒが２００ｋｍ／ｈになると、リアルタイムの画像における他車両ＣＢは、図４の（ｂ）に示したものよりも大きくなる。すなわち、遅延した画像に映る他車両ＣＢをリアルタイムの画像に近づけるために画像をどれだけ拡大させるかは、相対速度Ｖｒに応じて変わる。そこで、相対速度算出部１４は相対速度Ｖｒの算出を行う。
【００３８】
相対速度算出部１４は、距離測定部１３が時間的に連続して入力した二つの車間距離Ｄの差と、画像の各フレームの撮影時間差ΔＴｆを用いて相対速度Ｖｒを算出する。前記したように、左方カメラ３および右方カメラ４は車両の走行中に常時撮影を行っている。他車両ＣＢが接近している状態で、車両検出部１２があるフレームの画像について車両を検出すると、後のフレームの画像でも順次車両を検出し、それぞれの車幅Ｗを測定して距離測定部１３に入力する。距離測定部１３も順次車間距離Ｄの測定を行い、相対速度算出部１４に入力する。
【００３９】
時間的に連続したフレームの画像において、自車両ＣＡと他車両ＣＢの車間距離Ｄは変化する。例えば、他車両ＣＢが自車両ＣＡに接近している状態であれば、あるフレームの画像について測定した車間距離Ｄｃは、その一つ前の画像について測定した車間距離Ｄｐよりも短くなる。二つの車間距離Ｄｐ、Ｄｃの差と、各フレームの画像の撮影時間差ΔＴｆから、以下の式（４）により他車両ＣＢの相対速度Ｖｒが求められる。
【数４】
2018103974.tif 000006
【００４０】
撮影時間差ΔＴｆは、予め決定して記憶部２１に記憶させる。相対速度算出部１４は、距離測定部１３が時間的に連続して入力した二つの車間距離Ｄｐ、Ｄｃを用いて式（４）の演算を行うことにより、相対速度Ｖｒを算出する。なお、ある車間距離が入力された場合、それより前に入力された車間距離が無い場合は、次の車間距離の入力を待ってから、処理を開始する。
【００４１】
画像表示制御装置１は、遅延時間ΔＴｃｄを決定する処理を行う（ステップＳ０５）。図５のフローチャートでは、ステップＳ０１〜Ｓ０４の処理の後に遅延時間決定処理を記載しているが、順序はこれに限られない。ステップＳ０２で車両検出部１２が画像から他車両ＣＢを検出した場合に、ステップＳ０３〜Ｓ０４の処理と並行して遅延時間決定処理を進めても良い。または、車両の走行中は、常時遅延時間決定処理を行って遅延時間ΔＴｃｄを更新するようにしても良い。
【００４２】
図１０は、図５のステップＳ０５の遅延時間決定処理の詳細を示すフローチャートである。
図１１は、液晶の輝度の変化を示すグラフである。
図１２は、液晶温度と反応時間の関係を示すグラフである。
図１３は、反応時間テーブル２１１の一例を示す図である。
【００４３】
図１０に示すように、温度取得部１５は、モニタ５のサーミスタ５３が測定した液晶の温度を取得する（ステップＳ５１）。温度取得部１５は、取得した液晶の温度を遅延時間決定部１６に入力する。
【００４４】
前記したように、遅延時間ΔＴｃｄはカメラが画像を撮影してからモニタ５がその画像を表示するまでにかかる時間である。詳細には、遅延時間ΔＴｃｄは、伝送時間Ｔｔｒと反応時間Ｔｒｓを加算したものである。伝送時間Ｔｔｒは、画像表示制御装置１が、左方カメラ３および右方カメラ４から画像を取得してモニタ５に出力するまでにかかる時間である。この伝送時間Ｔｔｒは、おおむね一定であるため、予め決定して記憶部２１に記憶させておく。
【００４５】
反応時間Ｔｒｓとは、モニタ５の液晶ディスプレイ５０が目標輝度に達するまでの時間である。目標輝度とは、画像が表示する色を運転者が判断できる輝度である。この反応時間Ｔｒｓは、液晶ディスプレイ５０の温度によって変動する。図１２に示すように、反応時間Ｔｒｓは、液晶ディスプレイ５０の温度が低くなるほど長くなり、高くなるほど短くなる傾向がある。図１２に示すような液晶ディスプレイ５０の温度と反応時間Ｔｒｓの対応をまとめたものを、記憶部は反応時間テーブル２１１として記憶している。図１３に反応時間テーブル２１１の一例を示している。図１３の反応時間テーブル２１１は、１０℃ごとの液晶ディスプレイ５０の温度と、対応する反応時間Ｔｒｓを表示している。なお、図１３はあくまで一例であるので、表示する温度の間隔は１０℃より小さくしても良く、または大きくしても良い。
【００４６】
遅延時間決定部１６は、反応時間テーブル２１１を参照し、温度取得部１５が取得した液晶ディスプレイ５０の温度に対応する反応時間Ｔｒｓを決定する（ステップＳ５２）。なお、液晶ディスプレイ５０の温度が、反応時間テーブル２１１の表示温度の間の場合は、取得した温度を繰り上げまたは繰り下げて対応する反応時間Ｔｒｓを決定しても良い。遅延時間決定部１６は、決定した反応時間Ｔｒｓを伝送時間Ｔｔｒに加算して、遅延時間ΔＴｃｄを算出する（ステップＳ５３）。
【００４７】
図５に戻り、拡大率決定部１７は、他車両ＣＢの車間距離Ｄ、相対速度Ｖｒ、遅延時間ΔＴｃｄに基づいて、画像を拡大させる拡大率Ｚを決定する（ステップＳ０６）。
図１４は、モニタ５が表示する遅延した画像における他車両ＣＢとの車間距離Ｄと、リアルタイムの画像における他車両ＣＢとの車間距離Ｄｔｒｕｅの関係を説明する図である。
【００４８】
図１４に示すように、他車両ＣＢが自車両ＣＡに接近している場合、遅延した画像における他車両ＣＢと自車両ＣＡの車間距離Ｄよりも、リアルタイムの画像における車間距離Ｄｔｒｕｅのほうが短くなる。車間距離Ｄと車間距離Ｄｔｒｕｅの差をΔＤとする。
【００４９】
拡大率決定部１７は、遅延時間決定部１６が決定した遅延時間ΔＴｃｄと、相対速度算出部１４が算出した相対速度Ｖｆから、次式（５）を用いて、差ΔＤを求める。
【数５】
2018103974.tif 000007
【００５０】
拡大率決定部１７は、式（５）から求めた差ΔＤと、距離測定部１３が測定した車間距離Ｄとから、次式（６）を用いて、リアルタイムの画像における車間距離Ｄｔｒｕｅを求める。
【数６】
2018103974.tif 000008
【００５１】
ここで、リアルタイムの画像における車間距離Ｄｔｒｕｅと車幅Ｗｔｒｕｅについては、前記した式（３）を用いて以下の関係式（７）を導き出すことができる。
【数７】
2018103974.tif 000009
式（７）から、リアルタイムの画像における車幅Ｗｔｒｕｅは、次式（８）により求めることができる。
【数８】
2018103974.tif 000010
【００５２】
拡大率決定部１７は、式（６）から求めた車間距離Ｄｔｒｕｅを用いて式（８）の演算を行い、リアルタイムの画像における車幅Ｗｔｒｕｅを求める。
【００５３】
拡大率決定部１７は、次式（９）の通り、遅延した画像の車幅Ｗに対するリアルタイムの画像における車幅Ｗｔｒｕｅの割合を求め、求めた割合を画像の拡大率Ｚとして決定する。
【数９】
2018103974.tif 000011
【００５４】
拡大率決定部１７は、算出した拡大率Ｚを拡大部１８に入力する。もし、同じタイミングで撮影した左方カメラ３と右方カメラ４の双方の画像で、車両検出部１２が異なる他車両を検出した場合、それぞれの画像に対して拡大率決定部１７は拡大率を算出する。ただし、双方の画像を異なる拡大率で拡大すると、運転者に違和感を与える可能性がある。そこで、拡大率決定部１７は、算出した拡大率のうち、大きい方を最終的な拡大率Ｚとして決定し、拡大部１８に入力する。
【００５５】
図５に戻り、拡大部１８は、画像取得部１１が取得した画像全体を、拡大率決定部１７が決定した拡大率Ｚに拡大する（ステップＳ０７）。
図１５は、画像の拡大処理を示す図である。拡大後の画像において点線で示しているのが、拡大前の画像の大きさである。画像を拡大することによって、画像に映る他車両ＣＢも拡大し、図７（ｂ）に示したリアルタイムの画像における他車両ＣＢの大きさに近くなる。
【００５６】
トリミング部１９は、拡大部１８が拡大した画像を、モニタ５の表示領域ＤＡに合わせてトリミングする（ステップＳ０８）。
図１６は、画像のトリミング処理を示す図である。
トリミング部１９は、拡大部１８で拡大した画像を、モニタ５の表示領域ＤＡの大きさに合わせてトリミングする。図１６に示すように、トリミング部１９は、トリミング後の画像における他車両ＣＢの位置を、拡大前の画像における他車両ＣＢの位置と同じになるようにする。具体的には、トリミング部１９は、車両検出部１２が検出した他車両ＣＢの位置（Ｘ1；Ｙ2）を参照して、トリミング後の画像において他車両ＣＢが同じ位置（Ｘ1；Ｙ2）になるように、トリミングの範囲を決定する。
【００５７】
出力部２０は、トリミング部１９がトリミングした画像を、モニタ５に出力して表示させる（ステップＳ０９）。画像表示制御装置１は、車両の走行中は前記したステップＳ０１〜Ｓ０９の処理を継続して行うことで、他車両の接近状態に合わせて画像を拡大させる。また、詳細な説明は省くが、画像表示制御装置１は、前記した処理のほかに、画像をモニタ５に適切に表示させるための各種の画像処理を行っても良い。例えば、画像をドアミラーの鏡像と合わせるために、画像の左右を反転させる処理を行っても良い。
【００５８】
以上の通り、実施の形態に係る画像表示制御装置１は、
（１）自車両ＣＡに設置した左方カメラ３および右方カメラ４（カメラ）が撮影する自車両ＣＡの周囲の画像を、モニタ５に表示させるものであって、左方カメラ３および右方カメラ４で撮影した画像から他車両ＣＢ（他の車両）を検出する車両検出部１２と、車両検出部１２が他車両ＣＢを検出した場合、左方カメラ３および右方カメラ４で撮影した画像をモニタ５に表示させるまでにかかる遅延時間ΔＴｃｄに基づいて、画像に拡大処理を行う拡大部１８と、拡大部１８が拡大処理した画像を、モニタ５に出力する出力部２０と、を有する。
【００５９】
カメラで撮影した画像をモニタ５が表示するまでにかかる遅延時間ΔＴｃｄによって、モニタ５が表示する画像は、リアルタイムの画像に対して遅延する。他車両ＣＢが自車両ＣＡに接近している状態では、遅延した画像ではリアルタイムの画像よりも、他車両ＣＢが小さく映る。運転者は、レーン変更等の操作の際にモニタ５の画像を確認し、変更先のレーンで他車両ＣＢが接近しているか否かを確認する。モニタ５が表示する画像が遅延していると、他車両ＣＢがどれだけ接近しているかを把握しにくい。実施の形態の画像表示制御装置１は、遅延時間ΔＴｃｄに基づいて遅延した画像を拡大することで、遅延した画像であっても、表示する他車両ＣＢの大きさをリアルタイムの画像の大きさに近づける。これによって、運転者は他車両ＣＢの接近状態を把握しやすくなり、車両の運転時の安全性を向上させることができる。
【００６０】
（２）画像表示制御装置１は、遅延時間ΔＴｃｄに基づいて、拡大部１８の拡大処理に用いる拡大率Ｚを決定する拡大率決定部１７をさらに備える。拡大部１８は、拡大率決定部１７が決定した拡大率Ｚに画像全体を拡大する。画像表示制御装置１は、拡大部１８が拡大した画像を、モニタ５の表示領域ＤＡに合わせてトリミングするトリミング部１９をさらに備える。
画像を拡大することで、画像に映る他の車両ＣＢの大きさがリアルタイムの画像に近づくが、画像全体のサイズも大きくなるため、モニタ５の表示領域ＤＡに合わせたトリミングを行うことによって、拡大画像をモニタ５に適切に表示することができる。
【００６１】
（３）トリミング部１９は、拡大部１８で拡大した画像のトリミングを行う際、他車両ＣＢの位置（Ｘi；Ｙi）を、拡大部１８で拡大する前の画像における他車両ＣＢの位置（Ｘi；Ｙi）と同じにする。トリミング前と後の画像で他車両ＣＢの位置を合わせることで、他車両ＣＢをリアルタイムの画像に近い表示とすることができる。
【００６２】
（４）画像表示制御装置１は、車両検出部１２が画像から他車両ＣＢを検出した場合、自車両ＣＡと他車両ＣＢとの車間距離Ｄを測定する距離測定部１３と、車間距離Ｄに基づいて、他車両ＣＢの自車両ＣＡに対する相対速度Ｖｒを算出する相対速度算出部１４と、をさらに備え、拡大率決定部１７は、車間距離Ｄ、相対速度Ｖｒおよび遅延時間ΔＴｃｄに基づいて、画像を拡大させる。
【００６３】
他車両ＣＢの相対速度Ｖｒによって、遅延時間ΔＴｃｄで他車両ＣＢの接近状態は異なるため、画像をどれだけ拡大させるかも異なってくる。そこで、距離測定部１３および相対速度算出部１４において車間距離Ｄと相対速度を求め、それらに基づいて拡大率Ｚを決定することで、他車両ＣＢをリアルタイムの画像の大きさに近づけることができる。
【００６４】
（５）車両検出部１２が画像から複数の他車両ＣＢ、ＣＤを検出した場合、距離測定部１３は、カメラを設置した車両の進行方向と直交する方向の位置（Ｘｉ）が最も近い他車両ＣＢとの車間距離Ｄを測定する。運転者がレーン変更等の操作を行う際には、自車両ＣＡに最も近いレーンを走行する他車両ＣＢを注目する。そこで、車両検出部１２は、自車両ＣＡの進行方向と直交する方向の位置（Ｘｉ）が最も近い他車両ＣＢの車幅Ｗの情報を距離測定部１３に入力し、距離測定部１３がその他車両ＣＢと自車両ＣＡとの車間距離Ｄを測定する。これによって、運転者の視点に合わせて画像を拡大することができる。
【００６５】
（６）左方カメラ３および右方カメラ４は、車両の左方（一方の側方）と右方（他方の側方）にそれぞれ設置する。車両検出部１２が双方のカメラで同じタイミングで撮影した画像から他車両を検出した場合、拡大率決定部１７は、それぞれの画像について拡大率を求め、拡大部１８は、大きい方の拡大率Ｚに基づいて画像に拡大処理を行う。
【００６６】
同じタイミングで撮影した左方カメラ３と右方カメラ４の双方の画像で、車両検出部１２が異なる他車両を検出した場合、左右の画像に対して拡大率決定部１７は異なる拡大率を算出することになる。この場合、大きい方の拡大率Ｚを用いる、左右の画像の拡大率が異なり運転者に違和感を与えることを防止できる。また、大きい方の拡大率Ｚを選択することで、自車両ＣＡにより近い他車両に合わせて画像を拡大させることになるため、運転中の安全性を向上させることができる。
【００６７】
（７）画像表示制御装置１は、モニタ５の液晶ディスプレイ５０の温度に基づいて、遅延時間ΔＴｃｄを決定する遅延時間決定部１６をさらに備える。液晶ディスプレイ５０の温度によって、目標輝度に達するまでの反応時間Ｔｒｓが異なる。よって、液晶ディスプレイ５０の温度に基づいて遅延時間ΔＴｃｄを決定することで、より適切に画像の拡大率Ｚを決定することができる。
【００６８】
［変形例１］
前記した実施の形態では、拡大部１８は、画像の拡大処理として、画像全体を拡大したが、これに限られない。例えば、拡大部１８は、画像の拡大処理として、画像に映る他車両ＣＢのみを拡大しても良い。
【００６９】
図１７は、変形例１に係る画像表示制御装置１０の構成を示すブロック図である。
図１７に示すように、変形例１の画像表示制御装置１０は、実施の形態の画像表示制御装置１（図１参照）のトリミング部１９の代わりに、画像補正部２２を有している。他の構成は実施の形態の画像表示制御装置１と同様であるため、詳細な説明は省略する。
【００７０】
変形例１において、拡大部１８は、画像の拡大処理として、画像取得部１１が取得した画像に映る他車両ＣＢを、拡大率決定部１７が決定した拡大率Ｚに拡大する。拡大部１８はまた、画像において、拡大した他車両ＣＢを拡大前の他車両ＣＢと置き換える。画像補正部２２は、拡大部１８が拡大処理を行って出力した画像に対して画像補正を行う。
【００７１】
図１８は、変形例１に係る画像表示制御装置１０が実行する処理を示すフローチャートである。
図１９は、変形例１の拡大処理を説明する図である。
図１８のステップＳ１１〜ステップＳ１６は、図５のステップＳ０１〜Ｓ０６と同じ処理であるため、説明は省略する。
【００７２】
図１８に示すように、拡大部１８は、画像取得部１１が取得した画像に映る他車両ＣＢを、拡大率決定部１７が決定した拡大率Ｚに拡大する（ステップＳ１７）。
図１９に示すように、拡大部１８は、画像から他車両ＣＢの部分を切り出す。拡大部１８は、例えば、車両検出部１２で検出した、他車両ＣＢの車幅Ｗと位置（Ｘ1；Ｙ2）の情報を用いて、他車両ＣＢを含む領域を切り出す。切り出しを行う際には、他車両ＣＢの周囲の部分が含まれても良い。拡大部１８は、画像から切り出した部分を拡大率Ｚで拡大する。
【００７３】
拡大部１８は、拡大した他車両ＣＢの画像を、拡大前の他車両ＣＢの画像に置き換える（ステップＳ１８）。拡大部１８は、拡大前の他車両ＣＢの画像に拡大した他車両ＣＢの画像を貼り合わせることで、置き換えを行う。
図１９に示すように、拡大部１８は、車両検出部１２の検出結果である他車両ＣＢの位置、すなわち拡大前の画像の他車両ＣＢの中心位置（Ｘ1；Ｙ2）を参照する。拡大部１８は、ステップＳ１７で切り出して拡大した領域の画像における他車両ＣＢの中心位置を、元の他車両ＣＢの中心位置（Ｘ1；Ｙ2）に合わせて貼り合わせる。
拡大部１８は、拡大処理を行った画像を、画像補正部２２に出力する。
【００７４】
画像補正部２２は、拡大部１８が入力した画像に対して、画像補正を行う（ステップＳ１９）。
図２０は、画像補正部２２による画像補正を説明する図である。
図２０では、拡大部１８が入力した画像の他車両ＣＢの部分を示している。
拡大部１８が拡大処理を行った画像は、他車両ＣＢの部分のみを拡大したことにより、他車両ＣＢの部分は画素が少なくなるため、その他の部分と比べて画像が粗くなっている。画像補正部２２は、画像の他車両ＣＢの部分と、その他の部分の画質の差を低減する補正処理を行う。補正処理は、公知の方法を適宜選択することができるが、例えば、超解像技術を用いて、他車両ＣＢの部分の画素をその他の部分に合わせて補間する。これによって、図２０に示すように、他車両ＣＢの部分が明確になり、運転者が見やすい画像となる。
【００７５】
出力部２０は、画像補正部２２が補正した画像を、モニタ５に出力して表示させる（ステップＳ２０）。
【００７６】
以上の通り、変形例１に係る画像表示制御装置１０において、
（８）拡大部１８は、画像に映る他車両ＣＢを、拡大率決定部１７が決定した拡大率Ｚに拡大し、画像において、拡大した他車両ＣＢを、拡大前の他車両ＣＢと置き換える。画像から他車両ＣＢの部分のみを拡大すると、例えば、画像に映る自車両ＣＡの画像は拡大されることがない。これによって、運転者が画像を見たときに、他車両ＣＢの接近状態の把握に集中しやすくなり、車両の運転時の安全性を向上させることができる。
【００７７】
（９）拡大部１８は、画像において、拡大した他の車両の中心位置を、拡大前の他車両ＣＢの中心位置に合わせて置き換える。これによって、元の画像から欠落する部分が無く、欠落部分を埋める処理が必要ない。
【００７８】
なお、変形例１で説明した画像補正部２２の画像補正は、実施の形態で説明した画像全体の拡大処理とトリミングの後に行っても良い。トリミング後の画像は、拡大処理を行っていない画像と比べて画素数が少なくなるため、粗くなる。トリミング後の画像全体の画素を、拡大処理前の画像に合わせて補間することで、拡大処理を行う前後の画像との画質の違いを低減し、運転者に見やすい画像とすることができる。
【００７９】
［変形例２］
前記した実施の形態では、画像表示制御装置１が左右のフロントドアに設置したカメラの画像を拡大する例を説明したが、これに限られない。例えば、車両のリアガラスに、車両の後方を撮影するカメラを設置し、画像表示制御装置１はこのカメラの画像に対して前記した処理を行っても良い。また、モニタ５も、運転席のダッシュボードに設置する例に限られない。例えば、車内の運転席と助手席の間の上部に設置するルームミラーを、モニタ５に置き換えても良い。
【００８０】
［変形例３］
前記した実施の形態では、温度に応じて変動する液晶ディスプレイ５０の反応時間Ｔｒｓを考慮して、遅延時間決定部１６が遅延時間ΔＴｃｄを算出したが、これに限られない。例えば、画像表示制御装置１に遅延時間決定部１６を設けず、固定の遅延時間ΔＴｃｄを予め記憶部２１に記憶させても良い。例えば、温度による反応時間Ｔｒｓの変動が少ない液晶ディスプレイ５０を用いる場合や、車両が温度の変動が少ない環境で走行するような場合には、反応時間Ｔｒｓを固定値としても良い。伝送時間Ｔｔｒと反応時間Ｔｒｓを双方とも固定値であるため、遅延時間ΔＴｃｄも固定値となる。拡大率決定部１７は、固定値の遅延時間ΔＴｃｄを用いて演算を行い、拡大率Ｚを決定しても良い。
【００８１】
［変形例４］
前記した実施の形態では、距離測定部１３と相対速度算出部１４で他車両ＣＢの自車両ＣＡとの車間距離Ｄと相対速度Ｖｒを求め、拡大率決定部１７がこれらを用いて拡大率Ｚを算出したが、これに限られない。画像表示制御装置１に距離測定部１３と相対速度算出部１４を設けず、拡大率決定部１７は他車両ＣＢが自車両ＣＡに接近していると判定した場合には、特定の拡大率で画像を拡大するようにしても良い。
【００８２】
他車両の接近の判定は、例えば、車両検出部１２が行っても良い。車両検出部１２は、例えば、ある画像で測定した車幅Ｗ１を一つ前のフレームの画像で測定した車幅Ｗ２と比較する。車幅Ｗ１が車幅Ｗ２よりも大きければ、車両検出部１２は他車両ＣＢが自車両ＣＡに接近していると判定する。特定の拡大率は、予め決定して記憶部２１に記憶させる。実施の形態と同様に、遅延時間決定部１６が遅延時間ΔＴｃｄを決定する場合は、遅延時間ΔＴｃｄに応じた複数の拡大率を予め決定しておいても良い。あるいは、変形例１のように固定値の遅延時間ΔＴｃｄを用いる場合には、一つの拡大率のみを決定しておいても良い。
【００８３】
［変形例５］
前記した実施形態では、距離測定部１３は画像における車幅Ｗを用いて式（１）の演算を行うことにより、自車両ＣＡと他車両ＣＢの車間距離Ｄを測定したが、これに限られない。例えば、レーザーレーダー、ミリ波レーダー等のセンサを用いて、他車両ＣＢとの車間距離を測定しても良い。
【符号の説明】
【００８４】
１、１０  画像表示制御装置
３  左方カメラ（カメラ）
４  右方カメラ（カメラ）
５  モニタ
１１  画像取得部
１２  車両検出部
１３  距離測定部
１４  相対速度算出部
１５  温度取得部
１６  遅延時間決定部
１７  拡大率決定部
１８  拡大部
１９  トリミング部
２０  出力部
２１  記憶部
２２  画像補正部
５０  液晶ディスプレイ
５１  ＬＥＤバックライト基板
５２  ＬＥＤ
５３  サーミスタ
２１１  反応時間テーブル
ＣＡ  自車両（カメラが設置された車両）
ＣＢ、ＣＤ  他車両（他の車両）
ＤＡ  表示領域
Ｌ  車線
【図１】
2018103974.tif 000012
【図２】
2018103974.tif 000013
【図３】
2018103974.tif 000014
【図４】
2018103974.tif 000015
【図５】
2018103974.tif 000016
【図６】
2018103974.tif 000017
【図７】
2018103974.tif 000018
【図８】
2018103974.tif 000019
【図９】
2018103974.tif 000020
【図１０】
2018103974.tif 000021
【図１１】
2018103974.tif 000022
【図１２】
2018103974.tif 000023
【図１３】
2018103974.tif 000024
【図１４】
2018103974.tif 000025
【図１５】
2018103974.tif 000026
【図１６】
2018103974.tif 000027
【図１７】
2018103974.tif 000028
【図１８】
2018103974.tif 000029
【図１９】
2018103974.tif 000030
【図２０】
2018103974.tif 000031