(57)【要約】【課題】カメラが撮影した画像の遅延時間を測定する。【解決手段】画像表示制御装置１は、自車両ＣＡに設置した左方カメラ３および右方カメラ４が撮影する自車両ＣＡの周囲の画像の遅延時間ΔＴｃｄを測定する。画像表示制御装置１は、自車両ＣＡに設置され左方カメラ３および右方カメラ４の撮像範囲内で発光する発光部３０と、左方カメラ３および右方カメラ４で撮影した画像から発光部３０の発光を検出する検出部と、発光部３０の発光から検出部による発光の検出までにかかる検出時間Ｔｄｔを測定する発光制御部１０と、検出時間Ｔｄｔに基づいて、遅延時間ΔＴｃｄを決定する遅延時間決定部と、を備える。【選択図】図１
2018148413.tif 000002
【特許請求の範囲】
【請求項１】
車両に設置したカメラが撮影する当該車両の周囲の画像の遅延時間を測定する遅延時間測定装置であって、
前記車両に設置され前記カメラの撮像範囲内で発光する発光部と、
前記カメラで撮影した画像から前記発光部の発光を検出する発光検出部と、
前記発光部の発光から前記発光検出部による発光の検出までにかかる検出時間を測定する検出時間測定部と、
前記検出時間に基づいて、前記遅延時間を決定する遅延時間決定部と、
を備えることを特徴とする遅延時間測定装置。
【請求項２】
前記遅延時間決定部は、前記検出時間と、前記モニタの液晶ディスプレイの反応時間とに基づいて、前記遅延時間を決定することを特徴とする請求項１記載の遅延時間測定装置。
【請求項３】
前記発光部は、前記車両のエンジンを始動させたときに、発光を開始することを特徴とする請求項１または２記載の遅延時間測定装置。
【請求項４】
車両に設置したカメラが撮影する当該車両の周囲の画像をモニタに表示させる画像表示制御装置であって、
前記車両に設置され前記カメラの撮像範囲内で発光する発光部と、
前記カメラで撮影した画像から前記発光部の発光を検出する発光検出部と、
前記発光部の発光から前記発光検出部による発光の検出までにかかる検出時間を測定する検出時間測定部と、
前記検出時間に基づいて、前記画像の遅延時間を決定する遅延時間決定部と、
前記カメラで撮影した画像から他の車両を検出する車両検出部と、
前記車両検出部が前記他の車両を検出した場合、前記遅延時間に基づいて、当該画像を拡大する拡大部と、
前記拡大部が拡大した画像を、前記モニタの表示領域に合わせてトリミングするトリミング部と、
前記トリミング部がトリミングした画像を、前記モニタに出力する出力部と、を備えることを特徴とする画像表示制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、遅延時間測定装置および画像表示制御装置に関する。
【背景技術】
【０００２】
運転者が車両を運転する際に、後方および側方を確認するのを支援するために、車両はドアミラーを備えている。ドアミラーに代えて、またはドアミラーと併用して、車両の後方および側方をカメラで撮影し、撮影した画像をダッシュボードに設置したモニタで表示させることが提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−６８８２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
カメラで撮影した画像をモニタが表示するまでにかかる遅延時間によって、モニタが表示する画像は、リアルタイムの画像に対して遅延している。運転者は、レーン変更等の操作の際にモニタの画像を確認し、変更先のレーンで他の車両の接近状態を確認する。モニタが表示する画像が遅延していると、他の車両の接近状態を把握しにくい。遅延時間を考慮してモニタに画像を表示させ、運転の際の安全性を向上させることが求められている。
【課題を解決するための手段】
【０００５】
本発明は、車両に設置したカメラが撮影する当該車両の周囲の画像の遅延時間を測定する遅延時間測定装置であって、
前記車両に設置され前記カメラの撮像範囲内で発光する発光部と、
前記カメラで撮影した画像から前記発光部の発光を検出する発光検出部と、
前記発光部の発光から前記発光検出部による発光の検出までにかかる検出時間を測定する検出時間測定部と、
前記検出時間に基づいて、前記遅延時間を決定する遅延時間決定部と、
を備える。
【０００６】
また、本発明は、車両に設置したカメラが撮影する当該車両の周囲の画像をモニタに表示させる画像表示制御装置であって、
前記車両に設置され前記カメラの撮像範囲内で発光する発光部と、
前記カメラで撮影した画像から前記発光部の発光を検出する発光検出部と、
前記発光部の発光から前記発光検出部による発光の検出までにかかる検出時間を測定する検出時間測定部と、
前記検出時間に基づいて、前記画像の遅延時間を決定する遅延時間決定部と、
前記カメラで撮影した画像から他の車両を検出する車両検出部と、
前記車両検出部が前記他の車両を検出した場合、前記遅延時間に基づいて、当該画像を拡大する拡大部と、
前記拡大部が拡大した画像を、前記モニタの表示領域に合わせてトリミングするトリミング部と、
前記トリミング部がトリミングした画像を、前記モニタに出力する出力部と、を備える。
【発明の効果】
【０００７】
本発明の遅延時間測定装置によれば、カメラで撮影した画像をモニタが表示するまでにかかる遅延時間を測定することができる。また、本発明の画像表示制御装置によれば、モニタが表示する遅延した画像における他の車両を、リアルタイムの画像における大きさに近づけることができる。これによって、車両の運転の際の安全性を向上させることができる。
【図面の簡単な説明】
【０００８】
【図１】実施の形態に係る画像表示制御装置の構成を示すブロック図である。
【図２】画像表示制御装置の車両への設置状態を示す模式図である。
【図３】遅延時間の内容を説明する図である。
【図４】モニタのＬＥＤバックライト基板の構成を示す図である。
【図５】（ａ）は、他車両の相対速度が１００ｋｍ／ｈの場合の、遅延した画像を示し、（ｂ）はリアルタイムの画像を示す図である。
【図６】画像表示制御装置がエンジンを始動させたタイミングで実行する処理を示すフローチャートである。
【図７】画像表示制御装置が車両の走行中に実行する処理を示すフローチャートである。
【図８】画像から他車両を検出する処理の一例を示す図である。
【図９】（ａ）は、撮像範囲、実際の車幅および車間距離の関係を説明する模式図であり、（ｂ）は画像における車幅とＸ方向幅の関係を説明する模式図である。
【図１０】車幅と車間距離の関係の一例を示すグラフである。
【図１１】遅延時間において他車両が移動する距離を、相対速度ごとに示したグラフである。
【図１２】遅延時間決定処理の詳細を示すフローチャートである。
【図１３】液晶の輝度の変化を示すグラフである。
【図１４】液晶温度と反応時間の関係を示すグラフである。
【図１５】反応時間テーブルの一例を示す図である。
【図１６】画像における他の車両との車間距離と、実際の他の車両との車間距離の関係を説明する図である。
【図１７】画像の拡大処理を示す図である。
【図１８】画像のトリミング処理を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施の形態に係る画像表示制御装置を、図面を参照して説明する。
図１は、画像表示制御装置の構成を示すブロック図である。
図２は、画像表示制御装置の車両への設置状態を示す模式図である。
図３は、遅延時間の内容を説明する図である。
【００１０】
図１および図２に示すように、画像表示制御装置１は車両の内部に設置し、左方カメラ３、右方カメラ４およびモニタ５に接続する。画像表示制御装置１は、左方カメラ３および右方カメラ４が撮影した車両の周囲の画像をモニタ５に表示させる。詳しくは後述するが、画像表示制御装置１は、モニタ５が表示する遅延した画像をリアルタイムの画像に近づけるために、画像を拡大する処理を行う。
【００１１】
図３に示すように、画像をモニタ５に表示するまでに、以下の時間が生じる。
・画像表示制御装置１が、左方カメラ３および右方カメラ４が撮影した画像に、モニタ５に表示するための各種処理を行い、モニタ５に出力するまでにかかる時間（伝送時間Ｔｔｒ）
・モニタ５が、入力された画像を表示するための目標輝度に達するまでの時間（反応時間Ｔｒｓ）
【００１２】
前記の伝送時間Ｔｔｒと反応時間Ｔｒｓを合わせた時間、すなわち左方カメラ３および右方カメラ４が画像を撮影してからモニタ５がその画像を表示するまでにかかる時間が、画像がどれだけ遅延しているかを示す遅延時間ΔＴｃｄである。画像表示制御装置１は、遅延時間ΔＴｃｄを決定し、遅延時間ΔＴｃｄに基づいて、画像を拡大する処理を行う。なお、伝送時間Ｔｔｒは検出時間Ｔｄｔと出力時間Ｔｏｐから構成されるものであるが、その詳細については後述する。
【００１３】
以降、画像表示制御装置１の具体的な構成と動作について説明する。以降の説明では、実施の形態に係る画像表示制御装置１を設置し、左方カメラ３および右方カメラ４で撮影を行っている車両を「自車両ＣＡ」という。また、左方カメラ３および右方カメラ４で撮影した画像が表示する自車両ＣＡ以外の車両を「他車両」という。
【００１４】
［構成］
図２において、左方カメラ３および右方カメラ４それぞれの撮像範囲は、破線で示している。左方カメラ３は、自車両ＣＡの左側のフロントドアに設置する。左方カメラ３は、自車両ＣＡの左側の側方および後方を撮影する。右方カメラ４は、自車両ＣＡの右側のフロントドアに設置する。右方カメラ４は、自車両ＣＡの右側の側方および後方を撮影する。左方カメラ３および右方カメラ４は、車両の走行中は常時撮影を行う。
【００１５】
モニタ５は、車両の内部の運転席のダッシュボードに設置する。モニタ５は左方カメラ３および右方カメラ４の画像を表示させる液晶ディスプレイ５０を備える。図２に示すように、モニタ５は一つの液晶ディスプレイ５０を備え、一つの液晶ディスプレイ５０に左方カメラ３および右方カメラ４の二つの画像を並べて表示させても良い。あるいは、モニタ５は二つの液晶ディスプレイ５０を備え、それぞれに左方カメラ３および右方カメラ４の画像を表示させても良い。モニタ５は、左方カメラ３および右方カメラ４のそれぞれの画像について、一定の大きさの表示領域ＤＡを有している。
【００１６】
図１に示すように、モニタ５は、液晶ディスプレイ５０の温度を測定する温度測定部として、サーミスタ５３を備えている。
図４は、サーミスタ５３を備えたモニタ５のＬＥＤバックライト基板５１の構成を示す図である。ＬＥＤバックライト基板５１は、液晶ディスプレイ５０を照射するＬＥＤ５２を、間隔を空けて配置したものである。サーミスタ５３はＬＥＤバックライト基板５１の中央部に配置する。
【００１７】
図１に示すように、画像表示制御装置１は、ＣＰＵ１００（Central Processing Unit）、記憶部２１および発光部３０を備えている。ＣＰＵ１００と記憶部２１は車両の内部に設置し、発光部３０は車体に設置し、互いに有線で接続する。ＣＰＵ１００は、タイマを備えたものである。ＣＰＵ１００は、機能構成として、発光制御部１０、画像取得部１１、検出部１２、距離測定部１３、相対速度算出部１４、温度取得部１５、遅延時間決定部１６、拡大率決定部１７、拡大部１８、トリミング部１９および出力部２０を備えている。記憶部２１は、例えば、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）等のメモリで構成する。記憶部２１は、画像表示制御装置１の制御プログラムを記憶する。ＣＰＵ１００が記憶部２１に記憶された制御プログラムを読み出して実行することで、前記した機能構成を実現する。
【００１８】
記憶部２１は、画像表示制御装置１の処理に必要な各種情報を記憶する。記憶部２１は、例えば、反応時間テーブル２１１、出力時間Ｔｏｐ、検出時間Ｔｄｔ、液晶ディスプレイ５０の温度を記憶する。また、特に記載しないが、ＣＰＵ１００の各部は、処理結果を一時的に記憶部２１に記憶させ、必要なデータや処理対象を記憶部２１から読み出し、処理終了後に一時的に記憶させたデータをリセットする。
【００１９】
発光部３０は、図２に示すように、車両の、左方カメラ３および右方カメラ４の撮像範囲内に設置する。発光部３０の設置箇所は限定されないが、例えば、車体の左右の後方にそれぞれ設置することができる。
【００２０】
発光部３０は、画像処理によって検出可能な光を発するものであれば良く、特定のものに限定されない。発光部３０は、例えば、ＬＥＤとすることができる。発光部３０が発する光の種類も特定のものに限定されない。発光部３０の発光は、前記した遅延時間ΔＴｃｄを決定するために用いるものであり、運転には直接関係しないためドライバーが視認する必要は無い。よって、発光部３０は可視光を発するものでも赤外光を発するものでも良い。
【００２１】
ＣＰＵ１００の発光制御部１０は、発光部３０の発光および消光を制御する。発光制御部１０は、車両のエンジンを始動させるタイミングで、発光部３０を発光させる。発光部３０の発光は、左方カメラ３および右方カメラ４の撮影する画像に映り込む。後述する検出部１２は、画像に映りこんだ発光を検出する。発光制御部１０は、検出部１２が発光を検出すると発光部３０を消光させる。発光部３０は、発光部３０を制御すると共に、タイマを用いて発光部３０の発光開始から消光までの時間を測定する。発光部３０の発光開始から消光までの時間とは、左方カメラ３および右方カメラ４が画像を撮影してから、検出部１２がその画像から検出対象（発光部３０の発光）を検出するまでにかかる時間（検出時間Ｔｄｔ）を意味する。
【００２２】
前記したように、伝送時間Ｔｔｒは検出時間Ｔｄｔと出力時間Ｔｏｐを合わせたものである（図３参照）。出力時間Ｔｏｐは、検出部１２が検出対象を検出した後に、画像に後述する拡大処理等を行ってモニタ５に出力するまでの時間である。出力時間Ｔｏｐとして、予め拡大処理等にかかる時間を測定して決定した固定値を、記憶部２１に記憶させておく。一方、検出時間Ｔｄｔは、運転時の外光の影響等で変動する可能性がある。よって、発光制御部１０は、車両の走行前のエンジンを始動させるタイミングで、発光部３０の発光を利用して検出時間Ｔｄｔを測定する。発光制御部１０は、測定した検出時間Ｔｄｔを記憶部２１に記憶させる。
【００２３】
画像取得部１１は、左方カメラ３と右方カメラ４が撮影した画像を取得する。前記したように、左方カメラ３および右方カメラ４は、エンジンを始動させると同時に撮影を開始し、車両の走行中は常時撮影を行っている。画像取得部１１は、左方カメラ３および右方カメラ４が撮影を行っている間、撮影した各フレームの画像を順次取得する。
【００２４】
検出部１２は、画像取得部１１が取得した画像に対して画像処理を行い、検出対象を検出する。実施の形態において、検出部１２は発光部３０の発光と他車両を検出する。もちろん、検出部１２の検出対象は特定のものに限定されず、他の対象を検出しても良い。また、ここでは、画像の拡大処理のために他車両の検出を行う例を説明しているが、他車両の検出の目的はこれに限られない。例えば、他車両の検出は、自動運転の制御のために用いることもできる。
【００２５】
距離測定部１３は、検出部１２が検出した他車両と自車両ＣＡとの車間距離Ｄを測定する。相対速度算出部１４は、距離測定部１３が測定した車間距離Ｄに基づいて、他車両の自車両ＣＡに対する相対速度Ｖｒを算出する。
【００２６】
左方カメラ３と右方カメラ４の撮影する画像はそれぞれ異なる。検出部１２は左方カメラ３の画像と右方カメラ４の画像それぞれに対して他車両の検出を行う。検出部１２が双方の画像で他車両を検出した場合は、距離測定部１３および相対速度算出部１４はそれぞれの他車両について車間距離Ｄの測定と相対速度Ｖｒの算出を行う。
【００２７】
温度取得部１５は、モニタ５のサーミスタ５３が測定する液晶ディスプレイ５０の温度を取得して、記憶部２１に記憶させる。車両の走行中に液晶ディスプレイ５０の温度は変化することがあるため、温度取得部１５は所定間隔で液晶ディスプレイ５０の温度を取得して、記憶部２１を上書きする。温度測定の間隔は、液晶ディスプレイ５０の温度変化の傾向やデータ送信の負荷等を考慮して適当な間隔を決定することができる。
【００２８】
遅延時間決定部１６は、発光制御部１０が測定した検出時間Ｔｄｔと、温度取得部１５が取得した液晶ディスプレイ５０の温度に基づいて、遅延時間ΔＴｃｄを決定する。遅延時間決定部１６は、遅延時間ΔＴｃｄを決定する際に、記憶部２１に記憶させた反応時間テーブル２１１を参照する。
【００２９】
拡大率決定部１７は、車間距離Ｄ、相対速度Ｖｒおよび遅延時間ΔＴｃｄに基づいて、画像を拡大させる拡大率Ｚを決定する。検出部１２が左方カメラ３および右方カメラ４の双方の画像から他車両を検出した場合は、拡大率決定部１７はそれぞれの他車両の車間距離Ｄと相対速度Ｖｒに基づいて、拡大率を算出する。拡大率決定部１７は、算出した拡大率のうち大きい方を最終的な拡大率Ｚとして決定する。
【００３０】
拡大部１８は、画像取得部１１が取得した画像を、拡大率決定部１７が決定した拡大率Ｚに拡大する。トリミング部１９は、拡大部１８が拡大した画像を、モニタ５の表示領域ＤＡに合わせてトリミングする。出力部２０は、トリミング部１９がトリミングした画像を、モニタ５に出力する。
【００３１】
［動作］
前記したように、画像表示制御装置１は、左方カメラ３および右方カメラ４が撮影した自車両ＣＡの周囲の画像をモニタ５に出力して表示させる。前記した遅延時間ΔＴｃｄによって、モニタ５が表示する画像はリアルタイムの画像に対して遅延している。
【００３２】
図５に具体例を示す。図５は、左方カメラ３が撮影した画像に、自車両ＣＡの隣のレーンで自車両ＣＡの後方から相対速度１００ｋｍ／ｈで走行している他車両が映っている例を示している。図５では、遅延時間ΔＴｃｄが２００ｍｓｅｃの例を示している。図５の（ａ）は、モニタ５が表示する画像、すなわち遅延した画像である。図５の（ｂ）は、リアルタイムで左方カメラ３が撮影している画像である。他車両が自車両ＣＡに接近している状態であるため、他車両は、遅延した画像よりもリアルタイムの画像において大きく映っている。
【００３３】
運転者は、画像における他車両の大きさから、他車両がどれだけ接近しているかを感覚的に把握する。遅延した画像であっても、表示する他車両の大きさをリアルタイムの画像の大きさに近づけることで、運転者は他車両の接近状態を把握しやすくなる。画像表示制御装置１は、遅延した画像に映る他車両をリアルタイムの画像に近づけるために、画像を拡大する処理を行う。
【００３４】
以下、画像表示制御装置１が実行する処理を説明する。
画像表示制御装置１の処理は、エンジンを始動したタイミングで行う処理と、車両の走行中に行う処理を含む。画像表示制御装置１は、エンジンを始動したタイミングで、発光部３０を発光させて検出時間Ｔｄｔの測定を行う。画像表示制御装置は、車両の走行中に画像から他車両を検出した場合、遅延時間ΔＴｃｄを決定し、遅延時間ΔＴｃｄに基づいて画像を拡大する。
【００３５】
図６は、画像表示制御装置１がエンジンを始動したタイミングで実行する処理を示すフローチャートである。
図７は、画像表示制御装置１が車両の走行中に実行する処理を示すフローチャートである。
【００３６】
図６に示すように、発光制御部１０は、車両のエンジンが始動すると（ステップＳ１００：Ｙｅｓ）、発光部３０を発光させ（ステップＳ１０１）、タイマを用いて検出時間Ｔｄｔの測定を開始する（ステップＳ１０２）。車両の左方カメラ３と右方カメラ４もエンジンの始動と共に起動し、撮影を開始する。左方カメラ３と右方カメラ４が撮影する画像には、発光部３０の発光が映りこむ。画像取得部１１は、左方カメラ３と右方カメラ４が撮影した画像を取得する（ステップＳ１０３）。検出部１２は、画像取得部１１が取得した画像に対して画像処理を行い、発光部３０の発光を検出する（ステップＳ１０４）。検出部１２は、例えば、画像にフィルタ処理を行ってエッジを検出し、検出したエッジに対してテンプレートマッチングを行うことにより、発光部３０の発光を検出する。
【００３７】
検出部１２が発光部３０の発光を検出すると、発光制御部１０は発光部３０を消光させ（ステップＳ１０５）、検出時間Ｔｄｔの測定を終了する（ステップＳ１０６）。発光制御部１０は測定した検出時間Ｔｄｔを記憶部２１に記憶させる（ステップＳ１０７）。
【００３８】
次に、画像表示制御装置１が車両の走行中に行う処理を説明する。  図７に示すように、画像取得部１１は、左方カメラ３と右方カメラ４が撮影した画像を取得する（ステップＳ０１）。検出部１２は、画像取得部１１が取得した画像から他車両を検出する（ステップＳ０２）。検出部１２は、発光部３０の発光の検出と同様に、例えば、テンプレートマッチングを行うことにより、他車両を検出する。
【００３９】
検出部１２が画像から他車両を検出した場合（ステップＳ０２：Ｙｅｓ）、検出部１２は、画像上における他車両の車幅Ｗと位置を測定し、検出結果として距離測定部１３に入力する。検出部１２が画像から他車両を検出しなかった場合（ステップＳ０２：Ｎｏ）、出力部２０は画像の拡大処理は行わずに、画像をそのままモニタ５に出力して表示させる（ステップＳ０９）。
【００４０】
図８は、画像から他車両を検出する処理の一例を示す図である。
図８は、一例として、左方カメラ３が撮影した画像を示している。画像上における車幅Ｗとは、車両のＸ方向における画素数［ｐｘ］を意味する。画像上における他車両の位置とは、他車両の中心の画像の水平方向（Ｘ方向）における座標（Ｘi）および垂直方向（Ｙ方向）における座標（Ｙi）である。
【００４１】
ここで、検出部１２が、一つの画像上で、複数の他車両を検出する場合がある。図８では、複数の他車両ＣＢ、ＣＤを検出した場合を示している。他車両ＣＢが自車両ＣＡのすぐ隣のレーンを走行し、他車両ＣＤは二つ隣のレーンを走行している。これらの他車両ＣＢ、ＣＤと自車両ＣＡとの距離を考えると、進行方向の距離は他車両ＣＤの方が近い。しかしながら、運転者がレーン変更等の操作を行う際には、自車両ＣＡに最も近いレーンを走行する他車両、すなわち進行方向に直交する方向の距離が近い他車両ＣＢに注目する。よって、検出部１２は、複数の他車両ＣＢ、ＣＤを検出した場合は、自車両ＣＡの進行方向に直交する方向において自車両ＣＡに最も近い他車両ＣＢを選択する。
【００４２】
具体的な処理としては、検出部１２は、まず、画像上における他車両ＣＢの位置（Ｘ1；Ｙ2）と他車両ＣＤの位置（Ｘ2；Ｙ1）を測定する。画像のＸ方向は、自車両ＣＡの進行方向に直交する方向に近い。よって、検出部１２はＸ方向の座標が自車両ＣＡの座標（Ｘ0；Ｙ0）と最も近い他車両ＣＢを選択する。なお、自車両ＣＡに最も近い他車両ＣＢを選択する処理はこれに限られない。例えば、検出部１２は画像からレーンを区切る車線Ｌを検出し、自車両ＣＡに最も近いレーンを走行する車両を選択するようにしても良い。検出部１２は、選択した他車両ＣＢの車幅Ｗを測定して、既に測定した他車両ＣＢの位置（Ｘ1；Ｙ2）と共に距離測定部１３に入力する。
【００４３】
ここでは、左方カメラ３が撮影した画像に対する検出処理を説明したが、右方カメラ４が撮影した画像についても同様の処理を行う。以下、基本的に左方カメラ３で撮影した画像の処理について説明するが、特に言及が無い場合は右方カメラ４で撮影した画像についても同様の処理を行う。また、検出部１２が測定した他車両の位置（Ｘi；Ｙi）は、後述するトリミング部１９まで使用されない。そのため、特には言及しないが、相対速度算出部１４、拡大率決定部１７および拡大部１８は、検出部１２が測定した他車両の位置（Ｘi；Ｙi）を各部の処理結果と共に出力する。
【００４４】
距離測定部１３は、検出部１２が入力した他車両ＣＢの画像における車幅Ｗを用いて、自車両ＣＡと他車両ＣＢの車間距離Ｄを測定する（ステップＳ０３）。
図９の（ａ）は、左方カメラ３の撮像範囲Ｓ、実際の車幅Ｗｃａｒおよび車間距離Ｄの関係を説明する模式図である。図９の（ｂ）は画像における車幅Ｗと画像のＸ方向幅Ｗｃの関係を説明する模式図である。
【００４５】
図９の（ａ）に示すように、他車両ＣＢが左方カメラ３の撮像範囲Ｓに入ると、図９の（ｂ）に示すように、画像が他車両ＣＢを表示する。左方カメラ３の撮像範囲Ｓ［ｍ］と他車両ＣＢの実際の車幅Ｗｃａｒ［ｍ］の関係は、画像のＸ方向幅［ｐｘ］と画像における車幅Ｗ［ｐｘ］の関係に対応するため、次式（１）が成り立つ。
【数１】
2018148413.tif 000003
【００４６】
一方、左方カメラ３の水平画角をθ［°］としたとき、他車両ＣＢと左方カメラ３との距離、すなわち他車両ＣＢと自車両ＣＡとの車間距離Ｄ［ｍ］と、撮像範囲Ｓ［ｍ］の関係については、次式（２）が成り立つ。
【数２】
2018148413.tif 000004
【００４７】
式（１）および式（２）より、以下の関係式（３）が導き出される。
【数３】
2018148413.tif 000005
【００４８】
実際の車幅Ｗｃａｒ、カメラの撮像範囲Ｓ、画像のＸ方向幅Ｗｃ、カメラの水平画角θは予め決定して記憶部２１に記憶させる。実際の車幅Ｗｃａｒは、例えば、車両の幅の平均値等としても良い。あるいは、普通乗用車、大型車、二輪車等の車種に応じて異なる実際の車幅Ｗｃａｒを設定しても良い。その場合は、検出部１２において車両を検出する際に、普通乗用車、大型車、二輪車等の車種も特定する。距離測定部１３は、検出部１２が特定した車種に合わせた実際の車幅Ｗｃａｒを用いるようにしても良い。距離測定部１３は、検出部１２が入力した画像における車幅Ｗを式（３）に代入して演算することにより、車間距離Ｄを算出する。距離測定部１３は、算出した車間距離Ｄを相対速度算出部１４に入力する。
【００４９】
図１０は、画像における車幅Ｗと車間距離Ｄの関係の一例を示すグラフである。図１０では、実際の車幅Ｗｃａｒを２ｍ、画像のＸ方向幅を１２８０ｐｘ、カメラの水平画角を５０°とする。記憶部２１に、図１０のグラフに示すような、画像における車幅Ｗと車間距離Ｄの対応をリストにしたテーブルを記憶させても良い。距離測定部１３は、前記した式（３）の演算を行う代わりに、テーブルを参照して車間距離Ｄを決定しても良い。
【００５０】
相対速度算出部１４は、距離測定部１３が入力した車間距離Ｄに基づいて、他車両ＣＢの自車両ＣＡに対する相対速度Ｖｒを算出する（ステップＳ０４）。
図１１は、遅延時間ΔＴｃｄにおいて他車両ＣＢが移動する距離を、相対速度ごとに示したグラフである。図１１では、遅延時間ΔＴｃｄが２００ｍｓｅｃの場合を実線で示し、遅延時間ΔＴｃｄが１００ｍｓｅｃの場合は破線で示している。他車両ＣＢの相対速度Ｖｒが異なると、同じ遅延時間ΔＴｃｄであっても他車両ＣＢが進む距離が異なるためである。他車両ＣＢが進む距離が変わると、リアルタイムの画像における他車両ＣＢの画像の大きさも変わる。前記した図５の（ａ）および図５の（ｂ）では、相対速度Ｖｒが１００ｋｍ／ｈの場合の画像を図示している。例えば、もし相対速度Ｖｒが２００ｋｍ／ｈになると、リアルタイムの画像における他車両ＣＢは、図５の（ｂ）に示したものよりも大きくなる。すなわち、遅延した画像に映る他車両ＣＢをリアルタイムの画像に近づけるために画像をどれだけ拡大させるかは、相対速度Ｖｒに応じて変わる。そこで、相対速度算出部１４は相対速度Ｖｒの算出を行う。
【００５１】
相対速度算出部１４は、距離測定部１３が時間的に連続して入力した二つの車間距離Ｄの差と、画像の各フレームの撮影時間差ΔＴｆを用いて相対速度Ｖｒを算出する。前記したように、左方カメラ３および右方カメラ４は車両の走行中に常時撮影を行っている。他車両ＣＢが接近している状態で、検出部１２があるフレームの画像について車両を検出すると、後のフレームの画像でも順次車両を検出し、それぞれの車幅Ｗを測定して距離測定部１３に入力する。距離測定部１３も順次車間距離Ｄの測定を行い、相対速度算出部１４に入力する。
【００５２】
時間的に連続したフレームの画像において、自車両ＣＡと他車両ＣＢの車間距離Ｄは変化する。例えば、他車両ＣＢが自車両ＣＡに接近している状態であれば、あるフレームの画像について測定した車間距離Ｄｃは、その一つ前の画像について測定した車間距離Ｄｐよりも短くなる。二つの車間距離Ｄｐ、Ｄｃの差と、各フレームの画像の撮影時間差ΔＴｆから、以下の式（４）により他車両ＣＢの相対速度Ｖｒが求められる。
【数４】
2018148413.tif 000006
【００５３】
撮影時間差ΔＴｆは、予め決定して記憶部２１に記憶させる。相対速度算出部１４は、距離測定部１３が時間的に連続して入力した二つの車間距離Ｄｐ、Ｄｃを用いて式（４）の演算を行うことにより、相対速度Ｖｒを算出する。なお、ある車間距離が入力された場合、それより前に入力された車間距離が無い場合は、次の車間距離の入力を待ってから、処理を開始する。
【００５４】
画像表示制御装置１は、遅延時間ΔＴｃｄを決定する処理を行う（ステップＳ０５）。図７のフローチャートでは、ステップＳ０１〜Ｓ０４の処理の後に遅延時間決定処理を記載しているが、順序はこれに限られない。ステップＳ０２で検出部１２が画像から他車両ＣＢを検出した場合に、ステップＳ０３〜Ｓ０４の処理と並行して遅延時間決定処理を進めても良い。または、車両の走行中は、常時遅延時間決定処理を行って遅延時間ΔＴｃｄを更新するようにしても良い。
【００５５】
図１２は、図５のステップＳ０５の遅延時間決定処理の詳細を示すフローチャートである。
図１３は、液晶の輝度の変化を示すグラフである。
図１４は、液晶温度と反応時間の関係を示すグラフである。
図１５は、反応時間テーブル２１１の一例を示す図である。
【００５６】
図３に示したように、遅延時間ΔＴｃｄは、伝送時間Ｔｔｒと反応時間Ｔｒｓを加算したものである。伝送時間Ｔｔｒは、検出時間Ｔｄｔと出力時間Ｔｏｐを合わせたものである。遅延時間決定部１６は、記憶部２１を参照して、エンジン始動時に発光制御部１０が測定した検出時間Ｔｄｔと、固定値の出力時間Ｔｏｐを取得する。遅延時間決定部１６は、図１２に示すように、検出時間Ｔｄｔと出力時間Ｔｏｐを加算して、伝送時間Ｔｔｒを算出する（ステップＳ５１）。
【００５７】
続いて、遅延時間決定部１６は、記憶部２１から液晶ディスプレイ５０の温度を取得する（ステップＳ５２）。前記したように、液晶ディスプレイ５０の温度は、モニタ５のサーミスタ５３が測定したものを温度取得部１５が所定間隔で取得して、記憶部２１に記憶させたものである。
【００５８】
前記したように、反応時間Ｔｒｓは、モニタ５の液晶ディスプレイ５０が目標輝度に達するまでの時間である。目標輝度とは、画像が表示する色を運転者が判断できる輝度である。この反応時間Ｔｒｓは、液晶ディスプレイ５０の温度によって変動する。図１４に示すように、反応時間Ｔｒｓは、液晶ディスプレイ５０の温度が低くなるほど長くなり、高くなるほど短くなる傾向がある。図１４に示すような液晶ディスプレイ５０の温度と反応時間Ｔｒｓの対応をまとめたものを、記憶部２１は反応時間テーブル２１１として記憶している。図１５に反応時間テーブル２１１の一例を示している。図１５の反応時間テーブル２１１は、１０℃ごとの液晶ディスプレイ５０の温度と、対応する反応時間Ｔｒｓを表示している。なお、図１５はあくまで一例であるので、表示する温度の間隔は１０℃より小さくしても良く、または大きくしても良い。
【００５９】
遅延時間決定部１６は、反応時間テーブル２１１を参照し、温度取得部１５が取得した液晶ディスプレイ５０の温度に対応する反応時間Ｔｒｓを決定する（ステップＳ５３）。なお、液晶ディスプレイ５０の温度が、反応時間テーブル２１１の表示温度の間の場合は、取得した温度を繰り上げまたは繰り下げて対応する反応時間Ｔｒｓを決定しても良い。遅延時間決定部１６は、決定した反応時間Ｔｒｓを、ステップＳ５１で算出した伝送時間Ｔｔｒに加算して、遅延時間ΔＴｃｄを算出する（ステップＳ５４）。
【００６０】
図７に戻り、拡大率決定部１７は、他車両ＣＢの車間距離Ｄ、相対速度Ｖｒ、遅延時間ΔＴｃｄに基づいて、画像を拡大させる拡大率Ｚを決定する（ステップＳ０６）。
図１６は、モニタ５が表示する遅延した画像における他車両ＣＢとの車間距離Ｄと、リアルタイムの画像における他車両ＣＢとの車間距離Ｄｔｒｕｅの関係を説明する図である。
【００６１】
図１６に示すように、他車両ＣＢが自車両ＣＡに接近している場合、遅延した画像における他車両ＣＢと自車両ＣＡの車間距離Ｄよりも、リアルタイムの画像における車間距離Ｄｔｒｕｅのほうが短くなる。車間距離Ｄと車間距離Ｄｔｒｕｅの差をΔＤとする。
【００６２】
拡大率決定部１７は、遅延時間決定部１６が決定した遅延時間ΔＴｃｄと、相対速度算出部１４が算出した相対速度Ｖｆから、次式（５）を用いて、差ΔＤを求める。
【数５】
2018148413.tif 000007
【００６３】
拡大率決定部１７は、式（５）から求めた差ΔＤと、距離測定部１３が測定した車間距離Ｄとから、次式（６）を用いて、リアルタイムの画像における車間距離Ｄｔｒｕｅを求める。
【数６】
2018148413.tif 000008
【００６４】
ここで、リアルタイムの画像における車間距離Ｄｔｒｕｅと車幅Ｗｔｒｕｅについては、前記した式（３）を用いて以下の関係式（７）を導き出すことができる。
【数７】
2018148413.tif 000009
式（７）から、リアルタイムの画像における車幅Ｗｔｒｕｅは、次式（８）により求めることができる。
【数８】
2018148413.tif 000010
【００６５】
拡大率決定部１７は、式（６）から求めた車間距離Ｄｔｒｕｅを用いて式（８）の演算を行い、リアルタイムの画像における車幅Ｗｔｒｕｅを求める。
【００６６】
拡大率決定部１７は、次式（９）の通り、遅延した画像の車幅Ｗに対するリアルタイムの画像における車幅Ｗｔｒｕｅの割合を求め、求めた割合を画像の拡大率Ｚとして決定する。
【数９】
2018148413.tif 000011
【００６７】
拡大率決定部１７は、算出した拡大率Ｚを拡大部１８に入力する。もし、同じタイミングで撮影した左方カメラ３と右方カメラ４の双方の画像で、検出部１２が異なる他車両を検出した場合、それぞれの画像に対して拡大率決定部１７は拡大率を算出する。ただし、双方の画像を異なる拡大率で拡大すると、運転者に違和感を与える可能性がある。そこで、拡大率決定部１７は、算出した拡大率のうち、大きい方を最終的な拡大率Ｚとして決定し、拡大部１８に入力する。
【００６８】
図７に戻り、拡大部１８は、画像取得部１１が取得した画像を、拡大率決定部１７が決定した拡大率Ｚに拡大する（ステップＳ０７）。
図１７は、画像の拡大処理を示す図である。拡大後の画像において点線で示しているのが、拡大前の画像の大きさである。画像を拡大することによって、画像に映る他車両ＣＢも拡大し、図９（ｂ）に示したリアルタイムの画像における他車両ＣＢの大きさに近くなる。
【００６９】
トリミング部１９は、拡大部１８が拡大した画像を、モニタ５の表示領域ＤＡに合わせてトリミングする（ステップＳ０８）。
図１８は、画像のトリミング処理を示す図である。
トリミング部１９は、拡大部１８で拡大した画像を、モニタ５の表示領域ＤＡの大きさに合わせてトリミングする。図１８に示すように、トリミング部１９は、トリミング後の画像における他車両ＣＢの位置を、拡大前の画像における他車両ＣＢの位置と同じになるようにする。具体的には、トリミング部１９は、検出部１２が検出した他車両ＣＢの位置（Ｘ1；Ｙ2）を参照して、トリミング後の画像において他車両ＣＢが同じ位置（Ｘ1；Ｙ2）になるように、トリミングの範囲を決定する。
【００７０】
出力部２０は、トリミング部１９がトリミングした画像を、モニタ５に出力して表示させる（ステップＳ０９）。画像表示制御装置１は、車両の走行中は前記したステップＳ０１〜Ｓ０９の処理を継続して行うことで、他車両の接近状態に合わせて画像を拡大させる。また、詳細な説明は省くが、画像表示制御装置１は、前記した処理のほかに、画像をモニタ５に適切に表示させるための各種の画像処理を行っても良い。
【００７１】
以上の通り、実施の形態に係る画像表示制御装置１（遅延時間測定装置）は、
（１）自車両ＣＡに設置した左方カメラ３および右方カメラ４（カメラ）が撮影する自車両ＣＡの周囲の画像の遅延時間ΔＴｃｄを測定するものであって、
自車両ＣＡに設置され左方カメラ３および右方カメラ４の撮像範囲内で発光する発光部３０と、
左方カメラ３および右方カメラ４で撮影した画像から発光部３０の発光を検出する検出部１２（発光検出部）と、
発光部３０の発光から検出部１２による発光の検出までにかかる検出時間Ｔｄｔを測定する発光制御部１０（検出時間測定部）と、
検出時間Ｔｄｔに基づいて、遅延時間ΔＴｃｄを決定する遅延時間決定部１６と、
を備える。
【００７２】
左方カメラ３および右方カメラ４カメラで撮影した画像をモニタ５が表示するまでにかかる遅延時間ΔＴｃｄによって、モニタ５が表示する画像は、リアルタイムの画像に対して遅延している。遅延時間ΔＴｃｄは、左方カメラ３および右方カメラ４が画像を撮影してから、検出部１２がその画像から検出対象（他車両）を検出するまでにかかる検出時間Ｔｄｔを含む。この検出時間Ｔｄｔは、運転時の外光の影響等で変動する可能性がある。画像表示制御装置１は発光部３０を備え、発光部３０の発光の開始から検出部１２による発光の検出までの時間を検出時間Ｔｄｔとして測定し、検出時間Ｔｄｔを用いて遅延時間ΔＴｃｄを決定する。遅延時間ΔＴｃｄを把握することにより、例えば、モニタ５が表示する遅延した画像における他の車両を、リアルタイムの画像における大きさに近づけるように画像を拡大することができ、車両の運転の際の安全性を向上させることができる。
【００７３】
（２）遅延時間決定部１６は、検出時間Ｔｄｔと、モニタ５の液晶ディスプレイ５０の反応時間Ｔｒｓとに基づいて、遅延時間ΔＴｃｄを決定する。遅延時間ΔＴｃｄには、モニタ５の液晶ディスプレイ５０の反応時間Ｔｒｓも含む。よって、検出時間Ｔｄｔと反応時間Ｔｒｓに基づいて遅延時間ΔＴｃｄを決定することで、より適切に遅延時間ΔＴｃｄを決定することができる。
【００７４】
（３）発光部３０は、自車両ＣＡのエンジンを始動させたときに、発光を開始する。これによって、自車両ＣＡを走行させる前に検出時間Ｔｄｔを予め測定しておくことができる。これによって、車両の走行中に予め測定した検出時間Ｔｄｔを用いて遅延時間ΔＴｃｄを速やかに決定することができる。
【００７５】
実施の形態に係る画像表示制御装置１は、また、前記（１）で述べた構成に加えて、
（４）左方カメラ３および右方カメラ４で撮影した画像から他車両ＣＢを検出する検出部１２（車両検出部）と、
検出部１２が他車両ＣＢを検出した場合、遅延時間ΔＴｃｄに基づいて、画像を拡大する拡大部１８と、
拡大部１８が拡大した画像を、モニタ５の表示領域ＤＡに合わせてトリミングするトリミング部１９と、
トリミング部１９がトリミングした画像を、モニタ５に出力する出力部２０と、を有する。
【００７６】
前記したように、遅延時間ΔＴｃｄによって、モニタ５が表示する画像は、リアルタイムの画像に対して遅延する。他車両ＣＢが自車両ＣＡに接近している状態では、遅延した画像ではリアルタイムの画像よりも、他車両ＣＢが小さく映る。運転者は、レーン変更等の操作の際にモニタ５の画像を確認し、変更先のレーンで他車両ＣＢが接近しているか否かを確認する。モニタ５が表示する画像が遅延していると、他車両ＣＢがどれだけ接近しているかを把握しにくい。実施の形態の画像表示制御装置１は、遅延時間ΔＴｃｄに基づいて遅延した画像を拡大することで、遅延した画像であっても、表示する他車両ＣＢの大きさをリアルタイムの画像の大きさに近づける。これによって、運転者は他車両ＣＢの接近状態を把握しやすくなり、車両の運転時の安全性を向上させることができる。
【００７７】
［変形例１］
前記した実施の形態では、画像表示制御装置１が左右のフロントドアに設置したカメラの画像を拡大する例を説明したが、これに限られない。例えば、車両のリアガラスに、車両の後方を撮影するカメラを設置し、画像表示制御装置１はこのカメラの画像に対して前記した処理を行っても良い。また、モニタ５も、運転席のダッシュボードに設置する例に限られない。例えば、車内の運転席と助手席の間の上部に設置するルームミラーを、モニタ５に置き換えても良い。
【００７８】
［変形例２］
前記した実施の形態では、液晶ディスプレイ５０の温度に応じて反応時間Ｔｒｓを決定したが、これに限られない。例えば、温度による反応時間Ｔｒｓの変動が少ない液晶ディスプレイ５０を用いる場合や、車両が温度の変動が少ない環境で走行するような場合には、反応時間Ｔｒｓを固定値としても良い。
【００７９】
［変形例３］
前記した実施の形態では、距離測定部１３と相対速度算出部１４で他車両ＣＢの自車両ＣＡとの車間距離Ｄと相対速度Ｖｒを求め、拡大率決定部１７がこれらを用いて拡大率Ｚを算出したが、これに限られない。画像表示制御装置１に距離測定部１３と相対速度算出部１４を設けず、拡大率決定部１７は他車両ＣＢが自車両ＣＡに接近していると判定した場合には、特定の拡大率で画像を拡大するようにしても良い。
【００８０】
他車両の接近の判定は、例えば、検出部１２が行っても良い。検出部１２は、例えば、ある画像で測定した車幅Ｗ１を一つ前のフレームの画像で測定した車幅Ｗ２と比較する。車幅Ｗ１が車幅Ｗ２よりも大きければ、検出部１２は他車両ＣＢが自車両ＣＡに接近していると判定する。特定の拡大率は、予め決定して記憶部２１に記憶させる。実施の形態と同様に、遅延時間決定部１６が遅延時間ΔＴｃｄを決定する場合は、遅延時間ΔＴｃｄに応じた複数の拡大率を予め決定しておいても良い。あるいは、変形例１のように固定値の遅延時間ΔＴｃｄを用いる場合には、一つの拡大率のみを決定しておいても良い。
【００８１】
［変形例４］
前記した実施の形態では、距離測定部１３は画像における車幅Ｗを用いて式（１）の演算を行うことにより、自車両ＣＡと他車両ＣＢの車間距離Ｄを測定したが、これに限られない。例えば、レーザーレーダー、ミリ波レーダー等のセンサを用いて、他車両ＣＢとの車間距離を測定しても良い。
【００８２】
［変形例５］
前記した実施の形態では、自車両ＣＡのエンジンを始動させたときに、発光部３０制御部は発光部３０を発光させ、検出時間Ｔｄｔの測定を行ったが、検出時間Ｔｄｔの測定のタイミングはこれに限られない。前記したように、検出時間Ｔｄｔは外光等の影響を受けて変動する。外光が変化するタイミングとしては、例えば日の出、日没、トンネルへの進入、進出等が考えられる。このようなタイミングでは、運転者は自車両ＣＡのヘッドライト等のライトを点灯または消灯させる。そこで、発光制御部１０は、自車両ＣＡのライトが点灯または消灯したタイミングで、発光部３０を発光させ、検出時間Ｔｄｔの測定を行っても良い。あるいは、自車両ＣＡに照度センサを設置し、自車両ＣＡの周囲の外光を測定するようにしても良い。発光制御部１０は、照度センサが測定する照度が所定値以上変動した場合に、発光部３０を発光させて、検出時間Ｔｄｔを測定しても良い。
【００８３】
［変形例６］
実施の形態では、本発明に係る遅延時間測定装置を画像表示制御装置１へ適用する例を説明したが、適用例はこれに限られず、カメラの撮影した画像を利用する装置に適宜適用することができる。一例として、カメラで撮影した画像を用いて車両の自動運転を制御する制御装置に適用することもできる。自動運転制御装置は、カメラが撮影した画像から他車両や信号機等の検出対象を検出して、走行速度やブレーキをかけるタイミング等を制御する。自動運転制御装置に適用する場合は、遅延時間ΔＴｃｄには、出力時間Ｔｏｐと液晶ディスプレイ５０の反応時間Ｔｒｓは含まれない。よって、遅延時間測定装置は、発光制御部１０が測定した検出時間Ｔｄｔをそのまま遅延時間ΔＴｃｄとして用いても良い。
【符号の説明】
【００８４】
１  画像表示制御装置（遅延時間測定装置）
３  左方カメラ（カメラ）
４  右方カメラ（カメラ）
５  モニタ
１００  ＣＰＵ
１０  発光制御部（検出時間測定部）
１１  画像取得部
１２  検出部（発光検出部、車両検出部）
１３  距離測定部
１４  相対速度算出部
１５  温度取得部
１６  遅延時間決定部
１７  拡大率決定部
１８  拡大部
１９  トリミング部
２０  出力部
２１  記憶部
３０  発光部
５０  液晶ディスプレイ
５１  ＬＥＤバックライト基板
５２  ＬＥＤ
５３  サーミスタ
２１１  反応時間テーブル
ＣＡ  自車両（カメラが設置された車両）
ＣＢ、ＣＤ  他車両（他の車両）
ＤＡ  表示領域
Ｌ  車線
【図１】
2018148413.tif 000012
【図２】
2018148413.tif 000013
【図３】
2018148413.tif 000014
【図４】
2018148413.tif 000015
【図５】
2018148413.tif 000016
【図６】
2018148413.tif 000017
【図７】
2018148413.tif 000018
【図８】
2018148413.tif 000019
【図９】
2018148413.tif 000020
【図１０】
2018148413.tif 000021
【図１１】
2018148413.tif 000022
【図１２】
2018148413.tif 000023
【図１３】
2018148413.tif 000024
【図１４】
2018148413.tif 000025
【図１５】
2018148413.tif 000026
【図１６】
2018148413.tif 000027
【図１７】
2018148413.tif 000028
【図１８】
2018148413.tif 000029