(57)【要約】  本表示装置は、車両の乗員の前方に虚像を表示する表示装置であって、撮像部が撮像した画像の一部の領域である対象領域の明るさ値に基づいて、表示する画像の輝度を調整する輝度調整部と、前記輝度調整部により輝度が調整された画像を乗員の視界に虚像として表示する画像表示部と、を有し、前記対象領域は、虚像表示可能領域の少なくとも一部を含む。
2017056953.tif 000002
【特許請求の範囲】
【請求項１】
車両の乗員の前方に虚像を表示する表示装置であって、
撮像部が撮像した画像の一部の領域である対象領域の明るさ値に基づいて、表示する画像の輝度を調整する輝度調整部と、
前記輝度調整部により輝度が調整された画像を乗員の視界に虚像として表示する画像表示部と、を有し、
前記対象領域は、虚像表示可能領域の少なくとも一部を含むことを特徴とする表示装置。
【請求項２】
前記撮像部が撮像した画像から前記対象領域を抽出し、前記対象領域の明るさ値を算出する明るさ値算出部を有することを特徴とする請求項１に記載の表示装置。
【請求項３】
前記対象領域は、前記虚像表示可能領域の全てを含むことを特徴とする請求項１又は２に記載の表示装置。
【請求項４】
前記輝度調整部は、前記対象領域の明るさの２次元分布に基づいて、前記対象領域中の複数の領域において、表示する画像の輝度を個別に調整することを特徴とする請求項１乃至３の何れか一項に記載の表示装置。
【請求項５】
前記虚像表示可能領域の高さは可変可能であり、
前記虚像表示可能領域の高さの変化に対応して前記対象領域の高さを変化させることを特徴とする請求項１乃至４の何れか一項に記載の表示装置。
【請求項６】
前記撮像部が、ステレオカメラであることを特徴とする請求項１乃至５の何れか一項に記載の表示装置。
【請求項７】
前記撮像部が、単眼カメラであることを特徴とする請求項１乃至５の何れか一項に記載の表示装置。
【請求項８】
前記撮像部が、車両の周囲を全方位にわたり撮像する全方位カメラであることを特徴とする請求項１乃至５の何れか一項に記載の表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、表示装置に関する。
【背景技術】
【０００２】
車両に搭載され、運転者の視界に虚像を表示する表示装置（所謂ヘッドアップディスプレイ）が知られている。このような表示装置では、背景の輝度を考慮して、表示する虚像の輝度を調整している。例えば、周辺環境の外光の明るさを検出する照度検出手段を設け、照度検出手段で検知した外光の明るさに対応して虚像の輝度を調整する技術が開示されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５‐０１４７８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記の技術では、照度検出手段として、フォトトランジスタやフォトダイオード等の日射センサを用いているため、光の受光範囲が広く、虚像と重なる背景領域以外の明るさも取得してしまう。その結果、虚像の背景となる領域の正しい明るさ値を得られず、虚像の輝度を適切に調整することが困難であった。【０００５】
そこで、一側面によれば、本発明は、虚像の輝度を適切に調整可能な表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
一側面によれば、車両の乗員の前方に虚像を表示する表示装置であって、撮像部が撮像した画像の一部の領域である対象領域の明るさ値に基づいて、表示する画像の輝度を調整する輝度調整部と、前記輝度調整部により輝度が調整された画像を乗員の視界に虚像として表示する画像表示部と、を有し、前記対象領域は、虚像表示可能領域の少なくとも一部を含む表示装置が提供される。
【発明の効果】
【０００７】
虚像の輝度を適切に調整可能な表示装置を提供できる。
【図面の簡単な説明】
【０００８】
【図１】第１の実施の形態に係る表示装置を例示する模式図である。
【図２】第１の実施の形態に係る表示装置を例示するブロック図である。
【図３】画像表示部の構成を例示する図である。
【図４】画像処理部の処理の流れを示すフローチャートの一例である。
【図５Ａ】撮像部が撮像した画像の処理の一例を示す図である。
【図５Ｂ】撮像部が撮像した画像の処理の一例を示す図である。
【図５Ｃ】撮像部が撮像した画像の処理の一例を示す図である。
【図６】撮像部及び表示装置を備えた自車両と対向車両とがすれ違う状況を例示する図である。
【図７Ａ】自車両の前方に車両が存在する場合を例示する図である。
【図７Ｂ】自車両の前方に車両が存在する場合を例示する図である。
【図７Ｃ】自車両の前方に車両が存在する場合を例示する図である。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照しながら各実施例について詳細に説明する。各図面において、同一構成部分には同一符号を付し、重複した説明を省略する場合がある。
【００１０】
〈第１の実施の形態〉
［表示装置の概要］
図１は、第１の実施の形態に係る表示装置を例示する模式図である。図１を参照するに、表示装置１は、自車両１２０に搭載されており、所定の画像を運転者１３０の前方のフロントガラス１２５に投影し、運転者１３０の視界に虚像１１０として重畳して表示する機能を有する、所謂ヘッドアップディスプレイである。表示装置１は、自車両１２０のインテリアデザインに準拠して任意の位置に配置してよく、例えば、自車両１２０内のダッシュボード上に配置することができる。表示装置１を自車両１２０のダッシュボード内に埋め込んでもよい。なお、撮像部６０は、自車両１２０の前方風景を撮像して表示装置１に受け渡す部分である。
【００１１】
図２は、第１の実施の形態に係る表示装置を例示するブロック図である。図１及び図２を参照するに、表示装置１は、画像処理部２０と、画像表示部４０とを有する。画像処理部２０は、撮像部６０から自車両１２０の前方の画像を取得可能に構成されている。
【００１２】
撮像部６０は、運転者１３０から見て虚像１１０と重なる風景を含めた、自車両１２０の前方風景を画角に捉える形態で配置されている。撮像部６０は、自車両１２０のインテリアデザインに準拠して任意の位置に配置してよく、例えば、自車両１２０内の天井部に配置することができる。撮像部６０を自車両１２０内のダッシュボード上等に配置してもよい。
【００１３】
撮像部６０は、領域が分割可能な複数の画素、若しくは複数のフォトセンサを保有するものであり、具体的には、単眼カメラ、複眼カメラ（ステレオカメラ）、又は、車両の周囲を全方位にわたり撮像する全方位カメラ等である。尚、全方位カメラでは、複数のカメラ画像が合成することで１つの画像が生成されてもよい。ここでは、撮像部６０が単眼カメラである場合を例にして以降の説明を行う。
【００１４】
なお、撮像部６０は、表示装置１における主要な用途である明るさ取得以外に、ドライブレコーダやセンシングとして用いられてもよい。センシングの用途としては、例えば、前方車両や人間、標識等の検出や障害物までの距離の検知等を挙げることができる。言い換えれば、撮像部６０は、表示装置１専用でなくてもよく、ドライブレコーダ等に用いられているものを利用すればよい。但し、表示装置１専用の撮像部を設けることを否定するものではない。
【００１５】
画像処理部２０は、撮像部６０から入手した自車両１２０の前方の画像に基づいて表示画像に所定の画像処理を施し、画像表示部４０に出力する機能を有する。なお、表示画像とは、運転者１３０の視界に虚像１１０として重畳して表示する画像である。表示画像は、例えば、自車両１２０に搭載された車速センサから取得した車速情報に基づいて生成した、車速を数値等で表示した画像（例えば、６０ｋｍ／ｈ等）である。或いは、予めＲＯＭ等に記憶されていた画像であってもよい。
【００１６】
画像処理部２０は、明るさ値算出部２１と、輝度調整部２２と、画像出力部２３とを有する。画像処理部２０は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、メインメモリ等を含む構成とすることができる。この場合、画像処理部２０の各種機能は、ＲＯＭ等に記録されたプログラムがメインメモリに読み出されてＣＰＵにより実行されることによって実現できる。但し、画像処理部２０の一部又は全部は、ハードウェアのみにより実現されてもよい。又、画像処理部２０は、物理的に複数の装置等により構成されてもよい。
【００１７】
撮像部６０が撮像した画像は、画像処理部２０の明るさ値算出部２１に入力される。明るさ値算出部２１は、撮像部６０から入手した画像から、虚像１１０を表示可能な領域（以降、虚像表示可能領域とする）を含む特定の画像領域（以降、対象領域とする）を抽出し、抽出した対象領域の明るさ値を算出する。明るさ値算出部２１は、算出した明るさ値を輝度調整部２２に出力する。なお、対象領域とは、撮像部６０が撮像した画像の一部の領域であって、虚像表示可能領域の少なくとも一部を含む領域である。
【００１８】
輝度調整部２２は、明るさ値算出部２１から得た明るさ値に基づいて、表示画像の輝度を調整する。輝度調整部２２が選択した輝度の調整値は画像出力部２３に出力される。
【００１９】
なお、撮像部６０が撮像した画像の明るさ値を算出する機能を、撮像部６０側に持たせてもよい。この場合には、明るさ値算出部２１は、撮像部６０から入手した明るさ値から、虚像表示可能領域を含む対象領域の明るさ値を算出（抽出）する。
【００２０】
何れにしても、輝度調整部２２は、撮像部６０が撮像した画像の、虚像表示可能領域を含む対象領域の明るさ値に基づいて、表示画像の輝度を調整する。なお、明るさ値の算出及び輝度の調整については、別途詳述する。
【００２１】
画像出力部２３は、輝度調整部２２による輝度の調整結果（輝度調整部２２から入手した輝度の調整値）に基づいて、画像表示部４０に適切な光量制御を行うよう命令する。例えば、画像表示部４０に、光源であるレーザの光量制御を行うよう命令する。
【００２２】
画像表示部４０は、画像処理部２０から入手した輝度が調整された画像を、運転者１３０の視界に虚像１１０として重畳して表示する機能を有する。画像表示部４０は、内部で生成した中間像をミラーやレンズ等で拡大虚像表示し、運転者１３０の視点から所定の距離感を持って画像を表示することができるモジュールである。画像表示部４０の実現形態としてはパネル投射型やレーザ走査型等があるが、本実施の形態では何れの形態を用いてもよい。以下、レーザ走査型の画像表示部４０の例について説明する。
【００２３】
図３は、画像表示部の構成を例示する図である。図３を参照するに、画像表示部４０は、大略すると、光源部４１と、光偏向器４２と、第１ミラー４３と、被走査面４４と、第２ミラー４５とを有する。なお、図３において、１３５は運転者の眼球（以降、眼球１３５とする）を示している。
【００２４】
光源部４１は、例えば、ＲＧＢに対応した３つのレーザ光源、カップリングレンズ、アパーチャ、合成素子、レンズ等を備えており、３つのレーザ光源から出射されたレーザ光を合成して光偏向器４２の反射面に向かって導く。光偏向器４２の反射面に導かれたレーザ光は、光偏向器４２により２次元的に偏向される。
【００２５】
光偏向器４２としては、例えば、直交する２軸に対して揺動する１つの微小なミラーや、１軸に揺動又は回動する２つの微小なミラー等を用いることができる。光偏向器４２は、例えば、半導体プロセス等で作製されたＭＥＭＳ（Micro Electro Mechanical Systems）とすることができる。光偏向器４２は、例えば、圧電素子の変形力を駆動力とするアクチュエータにより駆動することができる。
【００２６】
光偏向器４２により２次元的に偏向された光束は、第１ミラー４３に入射し、第１ミラー４３により折り返されて被走査面４４に２次元像を描画する。被走査面４４は、第１ミラー４３で反射された光束が入射して２次元像が形成される透過性を有する面である。被走査面４４から射出された光束は、第２ミラー４５及び半透過鏡４９（コンバイナ）により拡大表示される。第２ミラー４５としては、例えば、凹面ミラーを用いることができる。画像表示部４０は、レンズやプリズム等の透過型光学素子を具備してもよい。
【００２７】
半透過鏡４９は、可視域の透過率が１０〜７０％程度である鏡であり、第２ミラー４５により折り返された光束が入射する側に、例えば、誘電体多層膜或いはワイヤーグリッド等が形成された反射面を有する。半透過鏡４９の反射面は、レーザが出射する光束の波長帯を選択的に反射するものとすることができる。すなわち、ＲＧＢに対応した３つのレーザからの出射光を包含する反射ピークや反射バンドを有するものや、特定の偏向方向に対して反射率を強めるように形成されたものとすることができる。
【００２８】
半透過鏡４９は、例えば、自車両１２０のフロントガラス１２５（図１参照）と一体化することができる。画像表示部４０を自車両１２０において運転者１３０の前方に配置することにより、半透過鏡４９の反射面で反射された光束は、運転席にいる運転者１３０の眼球１３５へ入射する。そして、被走査面４４の２次元像が、半透過鏡４９の反射面よりも前方の所定の位置に拡大された虚像１１０として運転者１３０に視認される。
【００２９】
図３に示すレーザ走査型の画像表示部４０の場合、画像出力部２３の命令により、輝度調整部２２が調整した輝度の調整値に基づいて、光源部４１を構成するレーザ光源の光量制御が行われる。これにより、適切な輝度の表示画像が運転者１３０の視界に虚像１１０として重畳して表示される。
【００３０】
なお、表示装置１では、運転者１３０の背の高さの違い等を考慮して、虚像表示可能領域の高さを可変可能に構成されている。明るさ値算出部２１は、虚像表示可能領域の高さの変化に対応して、抽出する対象領域の高さを変化させることができる。これにより、虚像表示可能領域の高さが変わった場合でも、算出した明るさ値と運転者の見た目の明るさとの差異を軽減することが可能となり、表示画像の輝度を適切に決定することができる。
【００３１】
［明るさ値の算出及び輝度の調整］
図４は、画像処理部の処理の流れを示すフローチャートの一例である。図５Ａ乃至図５Ｃは、撮像部が撮像した画像の処理の一例を示す図である。図４及び図５Ａ乃至図５Ｃを参照しながら、撮像部６０による撮像と、撮像部６０から画像を取得した画像処理部２０の処理について説明する。
【００３２】
まず、ステップＳ１０１において、撮像部６０は自車両１２０の前方の風景を撮像する。撮像部６０が撮像した画像の例を図５Ａに示す。図５Ａの画像には、運転者１３０から見て虚像１１０と重なる風景も含まれている。つまり、表示装置１が虚像１１０を表示可能な虚像表示可能領域も含まれている。
【００３３】
次に、ステップＳ１０２において、明るさ値算出部２１は、撮像部６０が撮像した画像を入手し、入手した画像から虚像表示可能領域と重なる対象領域を抽出する。撮像部６０が撮像する撮像領域Ａと、表示装置１が虚像１１０を表示可能な虚像表示可能領域Ｂとの関係を図５Ｂに示す。このように、撮像部６０が撮像した画像には、虚像表示可能領域Ｂの画像も含まれている。
【００３４】
明るさ値算出部２１は、図５Ａの画像の中から、図５Ｂに示した虚像表示可能領域Ｂと重なる対象領域を抽出する。抽出した対象領域の例を図５Ｃに示す。なお、撮像部６０の設置位置、画角、向き等の特性と、表示装置１の画角、俯角、設置位置等の特性とが既知であれば、図５Ａの画像の中で図５Ｂに示した虚像表示可能領域Ｂと重なる対象領域は明らかになる。但し、抽出する対象領域は、虚像表示可能領域Ｂと完全に重なる領域としてもよいが、虚像表示可能領域Ｂの周囲に余白を持たせて広めに抽出してもよい。
【００３５】
次に、ステップＳ１０３において、明るさ値算出部２１は、抽出した対象領域から明るさ値Ｌを算出する。明るさ値Ｌは、例えば、撮像部６０が撮像した画像がグレースケールである場合は、画素毎の諧調値を利用して算出することができる。又、撮像部６０が撮像した画像がカラー画像である場合は、画素毎のＲＧＢ値を利用して算出することができる。夫々の場合において、各画素の値を平均や積分する方法、画像の領域を区切る方法等を利用して明るさ値Ｌを算出してもよい。
【００３６】
次に、ステップＳ１０４において、輝度調整部２２は、明るさ値算出部２１が算出した明るさ値Ｌに基づいて表示画像（虚像）の輝度を調整する。輝度調整部２２は、例えば、明るさ値Ｌと虚像の輝度の対応関係を補正テーブル等として予めＲＯＭ等に記憶しておき、記憶した情報に基づいて、明るさ値Ｌに対応した適切な輝度の調整値を選択する。輝度調整部２２は、所定の関係式を用いて、明るさ値Ｌに対応した適切な輝度の調整値を選択してもよい。輝度調整部２２が選択した輝度の調整値は画像出力部２３に出力される。
【００３７】
ここで、具体的な状況の例を示しながら、表示装置１の奏する所定の効果について説明する。図６は、撮像部及び表示装置を備えた自車両と対向車両とがすれ違う状況を例示する図であり、対向車両２２０がヘッドライト２２５を点灯しながら通過する様子を示している。
【００３８】
図６の場合、従来の照度検出手段（フォトダイオード等）では、自車両の前方の輝度を、例えば、領域Ｃのような広い範囲で取り込む。そのため、ヘッドライト２２５の光が運転者の目に直接入ってこない場合においても、照度検出手段はヘッドライト２２５の光を検出してしまい、運転者の見た目と異なる明るさ値を算出する。従って、運転者に適切な、表示画像の正しい輝度が決定できない。又、このような問題を避けるために光の取込み角を狭めた場合には、取得できる光量が低下するという別の問題が生じる。
【００３９】
表示装置１では、虚像表示可能領域Ｂを含む対象領域Ｄを抽出し、抽出した対象領域Ｄの画像情報から対象領域Ｄの明るさ値Ｌを算出する。これにより、算出した明るさ値Ｌと運転者の見た目の明るさとの差異を軽減することが可能となり、表示画像の輝度を適切に決定することができる。その結果、運転者１３０が視認しやすい適切な明るさの虚像１１０を得ることができる。
【００４０】
なお、以上の説明では、明るさ値算出部２１が、虚像表示可能領域Ｂの全てを含む対象領域Ｄを抽出し、抽出した対象領域Ｄの明るさ値Ｌを算出する例を示したが、これには限定されない。明るさ値算出部２１は、虚像表示可能領域Ｂの少なくとも一部を含む対象領域を抽出し、抽出した対象領域の明るさ値Ｌを算出してもよい。例えば、後述の図７Ｃの虚像表示可能領域Ｂの虚像Ｂ１の背景となる部分を対象領域として抽出し、抽出した対象領域の明るさ値Ｌを算出することができる。この場合、輝度調整部２２は、明るさ値算出部２１が算出した虚像Ｂ１の背景となる対象領域の明るさ値Ｌに基づいて虚像Ｂ１の輝度を調整することができる。
【００４１】
〈第２の実施の形態〉
第２の実施の形態では、抽出した対象領域の画像情報を利用して表示画像の輝度を２次元的に調整する例を示す。なお、第２の実施の形態において、既に説明した実施の形態と同一構成部についての説明は省略する場合がある。
【００４２】
図７Ａ乃至７Ｃは、自車両の前方に車両が存在する場合を例示する図である。図７Ａは、前方車両２３０のテールライト２３５が虚像表示可能領域Ｂの一部分に重なった状況を示している。図７Ａのような状況において、虚像の輝度を一律に増加させるよりも、光源となるテールライト２３５と重なった部分を重点的に増加させることが好ましい。
【００４３】
しかし、従来の照度検出手段では車両の前方の明るさを一律に取り込むため、テールライト２３５と重なった部分のみを検出することができなかった。
【００４４】
本実施の形態では、明るさ値算出部２１は、虚像表示可能領域Ｂの画像情報を利用して、明るさの２次元分布を算出する。具体的には、図７Ｂに示すように、虚像表示可能領域Ｂの画像中の各画素値を参照し、虚像表示可能領域Ｂの画像の明るさの２次元分布を算出する。これにより、明るい領域と暗い領域とを区別できるため、図７Ｃのように、輝度調整部２２は、明るい領域に表示する虚像Ｂ１のみの輝度を増加させ、暗い領域に表示する虚像Ｂ２の輝度は変化させないように調整することができる。
【００４５】
このように、第２の実施の形態では、輝度調整部２２は、対象領域の明るさの２次元分布に基づいて、対象領域中の複数の領域において、表示画像の輝度を個別に調整することができる。その結果、複数の虚像を同時に表示させる場合でも、運転者１３０が視認しやすい適切な明るさの虚像を得ることができる。
【００４６】
なお、ここでは、一例として、虚像表示可能領域Ｂ＝対象領域としているが、これには限定されない。
【００４７】
以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した実施例の構成要素を全部又は複数を組み合わせることも可能である。
【００４８】
例えば、上記実施の形態では、運転者１３０の側に表示装置１を配置する例を示したが、これに代えて、或いはこれに加えて、助手席等の運転者１３０以外の乗員用の表示装置を設けてもよい。例えば、助手席の乗員用の表示装置を設け、助手席の乗員に近隣の店舗情報を虚像として表示する場合等が考えられる。このように、表示装置１は、車両の乗員（運転者も含む）の前方に虚像を表示することができる。
【００４９】
又、上記実施の形態では、画像表示部４０において、３つのレーザを用いる例を示したが、単一のレーザを用いて単色の画像を形成する構成としてもよい。この場合には、合成素子等は不要である。
【００５０】
又、本発明に係る表示装置は、車等の乗り物以外で、情報を表示させる手段としても使用できる。
【００５１】
なお、本国際出願は、２０１５年１０月２日に出願した日本国特許出願２０１５−１９６６１０号に基づく優先権を主張するものであり、その全内容は本国際出願にここでの参照により援用されるものとする。
【符号の説明】
【００５２】
１  表示装置
２０  画像処理部
２１  明るさ値算出部
２２  輝度調整部
２３  画像出力部
４０  画像表示部
４１  光源部
４２  光偏向器
４３  第１ミラー
４４  被走査面
４５  第２ミラー
４９  半透過鏡
６０  撮像部
１１０  虚像  
１２０  自車両
１２５  フロントガラス
１３０  運転者
１３５  運転者の眼球
２２０  対向車両
２２５  ヘッドライト
２３０  前方車両
２３５  テールライト
【図１】
2017056953.tif 000003
【図２】
2017056953.tif 000004
【図３】
2017056953.tif 000005
【図４】
2017056953.tif 000006
【図５Ａ】
2017056953.tif 000007
【図５Ｂ】
2017056953.tif 000008
【図５Ｃ】
2017056953.tif 000009
【図６】
2017056953.tif 000010
【図７Ａ】
2017056953.tif 000011
【図７Ｂ】
2017056953.tif 000012
【図７Ｃ】
2017056953.tif 000013
【国際調査報告】
2017056953.tif 000014
2017056953.tif 000015
2017056953.tif 000016