(57)【要約】【課題】安価な製作コストで表示光の輝度を制御できる表示制御システムおよび表示制御方法を提供する。【解決手段】表示制御システムが、運転者近傍に配置され、車両前方からの光束を反射する反射部と、運転者の像を含む第１の領域と反射部によって反射された車両前方の光束を含む第２の領域とを撮像する撮像部と、撮像部によって撮像された第２の領域の照度を検出する検出部と、表示光を発生する表示光源と、検出結果に基づいて、表示光源からの表示光の輝度を制御する制御部と、撮像部によって撮像された第１の領域から単眼位置を算出する算出部と、算出部によって算出された運転者の単眼に、制御部によって輝度が制御された表示光を照射する照射部とを具備する。【選択図】図１
2010064715.tif 000002
【特許請求の範囲】
【請求項１】
運転者近傍に配置され、車両前方からの光束を反射する反射部と、
前記運転者の像を含む第１の領域と前記反射部によって反射された車両前方の光束を含む第２の領域とを撮像する撮像部と、
前記撮像部によって撮像された前記第２の領域の照度を検出する検出部と、
表示光を発生する表示光源と、
前記検出結果に基づいて、前記表示光源からの表示光の輝度を制御する制御部と、
前記撮像部によって撮像された前記第１の領域から単眼位置を算出する算出部と、
前記算出部によって算出された運転者の単眼に、前記制御部によって輝度が制御された前記表示光を照射する照射部と、
を具備することを特徴とする表示制御システム。
【請求項２】
前記反射鏡は、前記運転者近傍の車室内の天井部に配置される
ことを特徴とする請求項１に記載の表示制御システム。
【請求項３】
前記撮像部は、照度比が８０ｄＢ以上のダイナミックレンジを有する
ことを特徴とする請求項１または２に記載の表示制御システム。
【請求項４】
前記撮像部は、前記第１の領域と前記第２の領域とを異なる感度で撮像する
ことを特徴とする請求項１乃至３のいずれか１つに記載の表示制御システム。
【請求項５】
前記撮像部は、前記撮像部によって前記第２の領域の照度を低減する減光フィルタを備え、
前記検出部は、前記減光フィルタによって低減された前記第２の領域の照度を検出する
ことを特徴とする請求項１乃至４のいずれか１つに記載の表示制御システム。
【請求項６】
運転者近傍に配置され、車両前方からの光束を反射するステップと、
前記運転者の像を含む第１の領域と前記反射された車両前方の光束を含む第２の領域とを撮像部によって撮像するステップと、
前記撮像部によって撮像された第２の領域の照度を検出部によって検出するステップと、
表示光源によって表示光を発生するステップと、
前記検出結果に基づいて、前記表示光源からの表示光の輝度を制御部によって制御するステップと、
前記撮像部によって撮像された運転者の顔領域から単眼位置を算出部によって算出するステップと、
前記算出部によって算出された運転者の単眼に、前記制御部によって輝度が制御された前記表示光を照射部によって照射するステップと、
を含むことを特徴とする表示制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＨＵＤ（Ｈｅａｄ  Ｕｐ  Ｄｉｓｐｌａｙ）の表示光の輝度を制御する表示制御システムおよび表示制御方法に関する。
【背景技術】
【０００２】
運転者の単眼に表示光を照射する際には、車両前方の明るさによって、表示光の輝度を調光する必要がある。そこで、車両周囲の照度を検出する照度センサを用いて、ＨＵＤの輝度を制御するものや自動調光装置を用いて車両前方の路面の風景を撮影し照度を検出してＨＵＤの輝度を制御する技術が開示されている（特許文献１参照）。
【特許文献１】実開平６−５０９５３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、前述の技術では、車両周囲の照度を検出する専用の照度センサや前景撮影カメラが必要となり、製作コストが高価になる。
上記に鑑み、本発明は、安価な製作コストで表示光の輝度を制御できる表示制御システムおよび表示制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００４】
本発明の一態様に係る表示制御システムは、運転者近傍に配置され、車両前方からの光束を反射する反射部と、運転者の像を含む第１の領域と反射部によって反射された車両前方の光束を含む第２の領域とを撮像する撮像部と、撮像部によって撮像された第２の領域の照度を検出する検出部と、表示光を発生する表示光源と、検出結果に基づいて、表示光源からの表示光の輝度を制御する制御部と、撮像部によって撮像された第１の領域から単眼位置を算出する算出部と、算出部によって算出された運転者の単眼に、制御部によって輝度が制御された表示光を照射する照射部と、を具備する。
【０００５】
本発明の一態様に係る表示制御方法は、運転者近傍に配置され、車両前方からの光束を反射するステップと、運転者の像を含む第１の領域と反射された車両前方の光束を含む第２の領域とを撮像部によって撮像するステップと、撮像部によって撮像された第２の領域の照度を検出部によって検出するステップと、表示光源によって表示光を発生するステップと、記検出結果に基づいて、表示光源からの表示光の輝度を制御部によって制御するステップと、撮像部によって撮像された運転者の顔領域から単眼位置を算出部によって算出するステップと、算出部によって算出された運転者の単眼に、制御部によって輝度が制御された表示光を照射部によって照射するステップと、を含む。
【発明の効果】
【０００６】
本発明によれば、安価な製作コストで表示光の輝度を制御できる表示制御システムおよび表示制御方法を提供できる。
【発明を実施するための最良の形態】
【０００７】
以下、図面を参照して、本発明の実施の形態を詳細に説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態に係る表示制御システム１の構成図である。図２は、車両２での表示制御システム１の主要部分の配置を示す配置図である。この表示制御システム１は、撮像装置１０、中央演算処理装置２０、記憶装置３０、照射装置４０および反射鏡６０を具備する。
【０００８】
（撮像装置１０）
撮像装置１０は、例えば車両のインストルメントパネル３に固定して、運転者５０の略正面に設置されるカメラ１０１を具備する。
【０００９】
カメラ１０１は、予め決められた所定の時間間隔で、この運転者５０の顔５０２や反射鏡（反射部）６０で反射された車両前方の風景の光束を含む被写体を連続的に撮像する。カメラ１０１は、所定の時間間隔で行われる撮像の所定回数、例えば６０回に１回の割合で、撮像の感度を高感度から低感度に変更して、顔５０２や風景を撮像する。感度の変更は、カメラセンサの露光時間および後述する露出制御により設定される。カメラ１０１は、撮像した画像を中央演算処理装置２０へ入力する。このカメラ１０１は、車両の運転者５０と、反射鏡６０によって反射された車両前方の風景とを撮像する撮像部として機能する。また、このカメラ１０１は、露出制御機能を有し、この露出制御によって、シャッター速度や絞りなどを変更する。ここで、カメラ１０１は、運転者近傍、すなわち、運転者を撮影する撮像部の撮影画角内の車室内空間に設置される。
【００１０】
中央演算処理装置２０は、画像信号生成部２０１、位置算出部２０２、感度調整部２０３、輝度制御部２０４、駆動制御部２０５を具備する。
【００１１】
位置算出部２０２は、カメラ１０１から得られる画像毎に画像処理を行い、運転者５０の単眼５０１の位置を算出する。なお、走行中における運転者５０の顔５０２の位置は、ほぼ固定されており、カメラ１０１も運転者５０および反射鏡６０を撮像可能な位置に固定される。この結果、顔５０２の位置は、カメラ１０１の画像上の位置で特定できる。この特定した顔５０２の位置に基づいて、単眼５０１の位置の特定が可能となる。
【００１２】
図３は、カメラ１０１によって撮像される画像上での単眼５０１と反射鏡６０の位置を表す図である。
位置算出部２０２は、算出した単眼５０１の画像上の画素位置から車両の走行方向に対して垂直な平面Ａ上での位置を算出する。すなわち、この垂直な平面Ａでのゼロ点を決めておき、このゼロ点と単眼５０１の位置との間の画素数を計算する。これにより、単眼５０１の画像上の位置からこの垂直な平面Ａにおける単眼５０１の位置を算出できる。また、反射鏡６０の位置は後述するように固定であり、カメラ１０１も固定である。この結果、反射鏡６０の位置は、カメラ１０１の画像上の位置から特定できる。
【００１３】
感度調整部２０３は、カメラ１０１によって撮像される運転者５０の顔５０２領域（第１の領域）のデータ（画素）と風景領域（第２の領域）のデータ（画素）とを抽出する。そして、感度調整部２０３は、これらの画素の照度を測定することで、顔５０２領域および風景領域の照度を検出する。感度調整部２０３は、撮像部によって撮像された風景の照度を検出する検出部として機能する。
【００１４】
感度調整部２０３は、カメラ１０１の感度を調整する。感度調整部２０３は、検出した照度が適正な範囲にあるかチェックする。次に、感度調整部２０３は、検出した照度が適正な範囲になるように、カメラ１０１の感度調整を行う。すなわち、感度調整部２０３は、顔５０２領域の照度に基づいて、カメラ１０１を高感度に調整する。また、感度調整部２０３は、風景領域の照度に基づいて、カメラ１０１を低感度に調整する。
【００１５】
感度調整部２０３は、検出した風景領域の照度に基づく信号レベルの検出信号を中央演算処理装置２０へ入力する。
【００１６】
輝度制御部２０４は、照射装置４０から照射される表示光の輝度を制御する。輝度制御部２０４は、感度調整部２０３から得られた検出信号レベルに応じて、調光演算を行い、この表示光の輝度を算出する。輝度制御部２０４は、この算出した輝度に基づいて、照射装置４０から照射される表示光の輝度を調整する。この輝度制御部２０４は、風景の検出結果に基づいて、照射装置４０から照射される表示光の輝度を制御する制御部として機能する。
【００１７】
輝度制御部２０４は、風景と表示される対象物（表示対象物）の画像とが最適なコントラストになるように、図４に示す曲線Ｂに応じて、表示光の輝度制御を行う。すなわち、輝度制御部２０４は、晴天の風景のように、検出される風景の照度が高くなると、表示光の輝度も高くなるように制御する。照射される輝度は、一般のＨＵＤの場合は最大２０００乃至３０００ｃｄ／ｍ２であるが、本実施例の単眼照射方式では両眼方式に比べて運転者の輝度視認性が違うため、最大１００００ｃｄ／ｍ２の輝度で照射している。
【００１８】
駆動制御部２０５は、位置算出部２０２で算出された単眼５０１の位置へ表示対象物の画像が照射されるように駆動部４０６へ制御信号を出力する。
【００１９】
本実施例ではカーナビゲーション情報を車両前方の実景に適切な輝度で表示する方法を例示するが、この他に車速、エンジン回転数、警告情報などを表示してもよい。
ここで、カメラで撮像した画像から単眼５０１の位置を算出して、この単眼位置へ画像が照射されるまでには一定の時間がかかる。このため、単眼５０１が移動している場合、画像を投影した位置と実際の単眼５０１の位置との間に差が生じる可能性がある。そこで、単眼５０１が移動している場合、位置算出部２０２で算出された位置よりも単眼５０１の移動方向に任意の距離だけ進んだ位置へ画像を投影する。このようにすれば、単眼５０１の位置が移動している場合でも、画像を投影した位置と実際の単眼５０１の投影位置との誤差を低減できる。
【００２０】
むろん、位置算出部２０２で算出された位置を、単眼５０１の位置として画像を投影しても良い。また、移動距離に閾値を設ける。そして、車両の移動距離がこの閾値以下の場合には、位置算出部２０２で算出された位置を、単眼５０１の位置とする。また、車両の移動距離がこの閾値より大きい場合には、位置算出部２０２で算出された位置よりも単眼５０１の移動方向に任意の距離だけ進んだ位置を単眼５０１の位置としても良い。
【００２１】
画像信号生成部２０１は、車両位置と、記憶装置３０に記憶された表示対象物のＰＯＩ情報との関係から、単眼５０１の位置で認識される表示対象物を含む画面の画像信号を生成する。画像信号生成部２０１は、表示対象物の位置と位置算出部２０２で算出された単眼５０１の位置との間に仮想スクリーンを設定する。
次に、画像信号生成部２０１は、この表示対象物の位置と単眼５０１の位置とを結ぶ線を引き、この線と仮想スクリーンとの交点に表される表示対象物の例えばＰＯＩ情報の画像信号を生成する。画像信号生成部２０１は、この生成した画像信号を照射装置４０へ供給する。
【００２２】
（記憶装置３０）
記憶装置３０には、図４に示した風景の照度と表示輝度との関係を表す曲線Ｂの情報がマップとして記憶されている。この他に、記憶装置３０には、地図上に配置される表示対象物、たとえば店舗、ホテル、公園、行楽地などの情報が記憶されている。また、この記憶装置３０には、この表示対象物の位置に対応して表すＰＯＩ情報が記録されている。この表示対象物のＰＯＩ情報とは、アイコンやその他の絵記号の画像で表示されるもので、この表示対象物のＰＯＩ情報も、表示対象物に対応してこの記憶装置３０に記憶されている。さらに、記憶装置３０には、車両の位置情報や単眼５０１の位置情報なども記憶されている。記憶装置３０としては、半導体メモリ、磁気ディスク、光ディスクなどが使用できる。
【００２３】
（照射装置４０）
照射装置４０は、光束生成装置４０１、投影レンズ４０２、投影範囲制御部４０３、投影位置制御部４０４、画像拡大部４０５、駆動部４０６、反射部材４０７を具備する。この照射装置４０は、カメラ１０１によって撮像された運転者の単眼に表示光を照射する照射部として機能する。
【００２４】
光束生成装置４０１は、表示光を発生する表示光源を含む。光束生成装置４０１は、輝度制御部２０４の制御に対応して表示光の輝度を調整する。さらに、光束生成装置４０１は、画像信号生成部２０１から得られた画像信号から運転者５０の単眼５０１に投影する表示対象物の画像を生成する。すなわち、光束生成装置４０１は、風景と表示対象物の画像とが最適なコントラストになるように、表示対象物の画像を生成する。光束生成装置４０１としては、液晶パネル、マイクロミラーを用いたデジタルマイクロミラーデバイス（ＤＭＤ）パネル、発光ダイオード（ＬＥＤ）光源プロジェクタなどを使用できる。
【００２５】
投影範囲制御部４０３は、光束生成装置４０１で生成された画像の投影範囲を制御する。投影された画像の幅は、６ｃｍ程度に制御することが望ましい。成人の両眼の間隔は約６センチ程度である。投影される画像の幅を６ｃｍ程度に制御することで、画像が両眼に投影されることを効果的に防止できる。投影範囲制御部４０３として、開口板（いわゆるアパーチャ）などを使用できる。
【００２６】
投影位置制御部４０４は、水平方向および垂直方向に回転可能なステージと、このステージに設置されたミラーとを具備する。投影位置制御部４０４は、ステージの回転によりミラーの角度を制御して、光束生成装置４０１で生成された表示対象物の画像の投影位置を制御する。
【００２７】
駆動部４０６は、投影位置制御部４０４が具備するステージを駆動するモータである。駆動部４０６は、駆動制御部２０５からの制御信号に応じてモータを駆動し、投影位置制御部４０４のステージを回転動作させる。
【００２８】
図５は、投影位置制御部４０４のミラーの角度と画像の投影位置との関係を表した図である。図５に示すように、ミラーの角度と画像の投影位置は一対一に対応する関係となる。駆動制御部２０５は、この対応関係に基づいて、運転者５０の単眼５０１へ画像を投影するために必要なミラーの角度を算出して制御信号を駆動部４０６へ出力する。
【００２９】
画像拡大部４０５は、投影位置制御部４０４からの画像の投影サイズを拡大する。反射部材（コンバイナ）４０７は、画像拡大部４０５で拡大された画像を反射する。
反射部材４０７は、車両のフロントガラス４０８に貼られた半透明性の部材である。運転者５０は、この反射部材４０７を介して前方の風景が認識できる。なお、画像を投影する単眼５０１は、運転者５０の右目または左目のどちらでも良い。
【００３０】
（表示制御動作）
次に、この表示制御システム１による表示制御動作を説明する。
図６は、第１の実施形態に係る表示制御システム１による表示制御動作を説明するフローチャートである。
【００３１】
初めに、感度調整部２０３は、カメラ１０１が撮像する感度の初期設定を行う（ステップＳ１１）。ここでは、この感度を固定にすることが考えられる。しかし、日中に走行する車両においては、カメラ１０１が逆光状態となる。この状態では、風景領域の照度が適正範囲から外れてしまう可能性がある。そこで、予め定めた感度でカメラ１０１による撮像を行い、感度調整部２０３は、顔５０２領域のデータと風景領域のデータを抽出して、これら領域の照度を検出する。次に、この検出した照度が適正範囲になるように、カメラ１０１の感度（高感度および低感度）を決定する。
【００３２】
次に、感度調整部２０３で調整された感度でカメラ１０１が、連続的に顔５０２と風景の撮像を行う。この撮像において、カメラ１０１は、撮像の感度を、例えば６０回に１回の割合で、高感度から低感度に変更して、顔５０２や風景を連続的に撮像する（ステップ１２）。なお、感度調整部２０３は、カメラ１０１で撮像された顔５０２領域のデータと風景領域のデータとに基づき、カメラ１０１の感度を調整する。この感度調整は、撮像毎または予め定められた撮像回数毎に行われる。
【００３３】
次に、中央演算処理装置２０は、撮像された画像が、単眼５０１位置の検出用か、照度の検出用か、すなわち高感度か低感度かを判断する（ステップＳ１３）。ここで、単眼５０１位置の検出用の場合、位置算出部２０２は、カメラ１０１が高感度で撮像した顔５０２領域の画像を画像処理して、単眼５０１位置を算出する（ステップＳ１４）。この位置算出部２０２によって算出された単眼５０１の位置は、画像信号生成部２０１へ供給される。
【００３４】
次に、画像信号生成部２０１は、位置算出部２０２から供給された単眼５０１の位置と、記憶装置３０に記憶された表示対象物のＰＯＩ情報との対応関係から、表示対象物を含んだ画面の画像信号を生成する（ステップＳ１５）。画像信号生成部２０１は、生成したこの画像信号を照射装置４０へ供給する。
【００３５】
次に、照射装置４０は、画像信号生成部２０１から得られた画像信号から表示対象物の画像を生成して単眼５０１へ照射する（ステップＳ１６）。
【００３６】
また、ステップＳ１３において、照度の検出用の場合、感度調整部２０３は、カメラ１０１から得られた画像から風景領域のデータを抽出して、この領域の照度を検出する。次に、感度調整部２０３は、検出した照度に基づく信号レベルの検出信号を輝度制御部２０４へ供給する（ステップＳ１７）。
【００３７】
輝度制御部２０４は、感度調整部２０３から得られた検出信号レベルに応じて、表示光の輝度を算出し、照射装置４０から照射される表示光の輝度を調整する（ステップＳ１８）。この表示制御動作は、ＨＵＤの起動中に繰り返し行われる。
【００３８】
以上のように、第１の実施形態に係る表示制御システム１では、反射鏡６０から反射された風景の照度を感度調整部２０３で検出する。次に、輝度制御部２０４が、感度調整部２０３から得られた照度に基づいて、表示光の輝度を調整する。この結果、照射装置４０は、風景と表示対象物の画像とが最適なコントラストになるように、生成した画像を照射できる。これにより、車両前方の風景の照度を検出する専用の照度センサや自動調光装置が不要となり、安価な製作コストで表示光の輝度を制御できる。
【００３９】
また、一般的には、明るい所と暗い所の照度比が、６０ｄＢのダイナミックレンジを有する撮像装置を使用する。これに対し、この実施形態の撮像装置では、例えばこの照度比が８０ｄＢ程度以上の広いダイナミックレンジを有するものを用いる。
【００４０】
この結果、この実施形態に係る表示制御システムでは、逆光などによりダイナミックレンジが飽和状態になるのを防ぎ、反射鏡６０からの風景の照度を的確に検出できる。これにより、車両前方の風景の照度を検出する専用の照度センサや自動調光装置が必要となり、安価な製作コストで表示光の輝度を制御できる。
【００４１】
（第２の実施形態）
図７は、第２の実施形態に係る表示制御システム１ａの構成図である。この表示制御システム１ａでは、撮像装置１０が、ＮＤ（Ｎｅｕｔｒａｌ  Ｄｅｎｓｉｔｙ）フィルタ１０２と、駆動部１０３とを具備する。上述した点が第１の実施形態に係る表示制御システム１と異なる。
【００４２】
ＮＤフィルタ１０２は、カメラ１０１で撮像される被写体の照度を部分的に低減させる。すなわち、この第２の実施形態では、反射鏡６０からの風景領域と車窓領域の照度を部分的に低減させる。ＮＤフィルタ１０２は、カメラ１０１で撮像される風景領域の照度を低減してカメラの逆光撮影を防止する減光フィルタとして機能する。
【００４３】
駆動部１０３は、ＮＤフィルタ１０２を移動するモータである。駆動部１０３は、駆動制御部２０５の制御信号に応じて、このＮＤフィルタ１０２をカメラ１０１と被写体（反射鏡６０）との間に移動させる。例えば、駆動部１０３は、所定時間間隔毎に得られる画像のうち、６０画像毎に一回の割合で、ＮＤフィルタ１０２をカメラ１０１と反射鏡６０との間に挿入させる。なお、反射鏡６０の位置は、カメラ１０１の画像上の位置から特定できるので、ＮＤフィルタ１０２の挿入位置も特定できる。
【００４４】
感度調整部２０３は、ＮＤフィルタ１０２によって低減された風景の照度を検出する。感度調整部２０３は、検出した照度に基づき、制御信号を輝度制御部２０４へ供給し、表示光の輝度調整を可能にする。
【００４５】
以上のように、第２の実施形態に係る表示制御システム１ａでは、ＮＤフィルタ１０２を介して反射鏡６０から反射された風景の照度を低減した状態で照度を感度調整部２０３で検出する。この結果、照射装置４０は、輝度制御部２０４の輝度制御に対応して、風景と表示対象物の画像とが最適なコントラストになるように、生成した画像を照射できる。これにより、車両前方の風景の照度を検出する専用の照度センサや自動調光装置が必要となり、安価な製作コストで表示光の輝度を制御できる。
【００４６】
（その他の実施形態）
本発明の実施形態は上記の実施形態に限られず拡張、変更可能であり、拡張、変更した実施形態も本発明の技術的範囲に含まれる。
【図面の簡単な説明】
【００４７】
【図１】本発明の第１の実施形態に係る表示制御システムの構成図である。
【図２】車両での表示制御システムの主要部分の配置を示す配置図である。
【図３】画像上での単眼と反射鏡の位置を表す図である。
【図４】風景の照度と表示輝度との関係を表す図である。
【図５】投影位置制御部のミラーの角度と画像の投影位置との関係を表した図である。
【図６】表示制御システムによる表示制御動作を説明するフローチャートである。
【図７】本発明の第２の実施形態に係る表示制御システムの構成図である。
【符号の説明】
【００４８】
１，１ａ…表示制御システム、２…車両、３…インストルメントパネル、１０…撮像装置、２０…中央演算処理装置、３０…記憶装置、４０…照射装置、５０…運転者、６０…反射鏡、１０１…カメラ、１０２…ＮＤフィルタ、１０３，４０６…駆動部、２０１…画像信号生成部、２０２…位置算出部、２０３…感度調整部、２０４…輝度制御部、２０５…駆動制御部、４０１…光束生成装置、４０２…投影レンズ、４０３…投影範囲制御部、４０４…投影位置制御部、４０５…画像拡大部、４０７…反射部材、４０８…フロントガラス、５０１…単眼、５０２…顔
【図１】
2010064715.tif 000003
【図２】
2010064715.tif 000004
【図３】
2010064715.tif 000005
【図４】
2010064715.tif 000006
【図５】
2010064715.tif 000007
【図６】
2010064715.tif 000008
【図７】
2010064715.tif 000009