(57)【要約】【課題】背景の輝度に基づいて画像の表示位置を移動させる情報表示装置を提供する。【解決手段】背景検出部１０は、フロントガラス２０を透過する背景の輝度情報１５０を作成し、乗員検出部１１は、乗員３の目の動きに基づいて視点情報１５１を作成する。表示制御部１２は、輝度情報１５０及び視点情報１５１に基づいて乗員３のフロントガラス２０上の視点の位置に近い、輝度が高くないスクリーン１４０上に情報表示部１４を移動させる。【選択図】図２
2008285105.tif 000002
【特許請求の範囲】
【請求項１】
車両の外を撮像する第１のカメラと、
乗員を撮像する第２のカメラと、
情報を前記車両の一部に投影する投影部と、
前記第１及び第２のカメラで撮像した画像に基づいて前記情報を投影する表示位置を変更するように前記投影部を制御する制御部とを有する情報表示装置。
【請求項２】
前記制御部は、前記第１のカメラで撮像した前記画像の輝度に基づいて前記情報の前記表示位置を変更することを特徴とする請求項１に記載の情報表示装置。
【請求項３】
前記制御部は、前記第２のカメラで撮像した前記車両の一部に対する前記乗員の視点の位置、及び前記第１のカメラで撮像した前記画像の輝度に基づいて前記情報の前記表示位置を変更することを特徴とする請求項１に記載の情報表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報表示装置に関し、特に乗員の視点の変化、及び情報が表示されるフロントガラスに映る背景の輝度に基づいて画像の表示位置を移動させる情報表示装置に関する。
【背景技術】
【０００２】
従来の技術として、車両の前方に配置され、車両の進行方向を撮像する赤外線テレビカメラと、車両の内部に設置され、乗員の顔を撮像する２台のテレビカメラと、２台のテレビカメラで撮像した画像に基づいて乗員の視点の位置を検出する視点検出ユニットと、赤外線カメラで撮像した画像を処理する表示情報処理ユニットと、車両のフロントガラスに設置され、処理された赤外線カメラで撮像した画像を表示するヘッドアップディスプレイとで構成される車上表示装置が知られている（特許文献１）。
【０００３】
この車上表示装置によると、赤外線テレビカメラで撮像した車両の進行方向の画像は、情報処理ユニットによって処理され、ヘッドアップディスプレイに表示される。このとき、視点検出ユニットは、車両内に設置された２台のテレビカメラの画像に基づいて乗員の視点の位置を算出し、表示情報処理ユニットは、算出された乗員の視点の位置に基づいてヘッドアップディスプレイに表示された画像を乗員が見やすい位置に移動させる。
【特許文献１】特開平６−２４７１８４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、従来の車上表示装置によると、ヘッドアップディスプレイを透過する背景の輝度が高い位置に、画像が重なって表示されることがあり、乗員が画像を見辛い場合があった。
【０００５】
従って、本発明の目的は、表示部を透過する背景の輝度に基づいて画像の表示位置を移動させる情報表示装置を提供することにある。
【課題を解決するための手段】
【０００６】
本発明は、上記目的を達成するために、車両の外を撮像する第１のカメラと、乗員を撮像する第２のカメラと、情報を前記車両の一部に投影する投影部と、前記第１及び第２のカメラで撮像した画像に基づいて前記情報を投影する表示位置を変更するように前記投影部を制御する制御部とを有する情報表示装置を提供する。
【０００７】
上記のような構成によれば、表示部を透過する背景の輝度に基づいて画像の表示位置を移動させることができる。
【発明の効果】
【０００８】
本発明によると、背景の輝度に基づいて画像の表示位置を移動させることができる。
【発明を実施するための最良の形態】
【０００９】
[実施の形態]
図１（ａ）は、本発明の実施の形態に係る車両の側面図であり、図１（ｂ）は、本発明の実施の形態に係る車両の内部の概略図である。情報表示装置１は、後述する背景検出部１０、乗員検出部１１、表示制御部１２、投影部１３、及び情報表示部１４を備えている。また、車両２は、フロントガラス２０と、ダッシュボード２１とを有し、フロントガラス２０には、透過型のスクリーン１４０が備えられており、本実施の形態においては、およそ下半分が透過型のスクリーン１４０となっているが、これに限定されず、乗員３の運転操作に支障が無い位置であれば良い。
【００１０】
（情報表示装置１の構成）
図２は、本発明の実施の形態に係る情報表示装置のブロック図である。情報表示装置１は、図１（ａ）に示す車両２の内部上方に備えられ、車両２の進行方向を撮像する背景検出部１０と、図１（ｂ）に示す車両２の内部に備えられ、乗員の顔を撮像する乗員検出部１１と、情報表示部１４に表示される画像を処理する表示制御部１２と、表示制御部１２で処理した画像をフロントガラス２０上の透過型のスクリーン１４０に投影する投影部１３と、投影部１３によって投影された画像が表示されている領域を表す情報表示部１４と、輝度情報１５０及び視点情報１５１を格納するメモリ１５と、第２のカメラ１１０によって撮像された画像を後述する理由で補正する補正部１６とによって概略構成されている。なお、補正部１６は、情報表示部１４が、乗員３の正面に無いとき、乗員３は、情報表示部１４に表示された情報を斜め方向から見るため、表示された情報、例えば、文字が歪んで見える。補正部１６は、その歪みに対する補正も同時に行うものとする。
【００１１】
背景検出部１０は、車両２の進行方向を撮像する第１のカメラ１００と、第１のカメラ１００の前方を照らす第１の照明１０１と、第１のカメラ１００の撮像する位置、及び焦点距離等を制御する第１のカメラ制御部１０２と、第１のカメラ１００が撮像した画像をデジタルデータに変換する第１の画像キャプチャ部１０３と、第１の画像キャプチャ部１０３から出力されたデジタルデータから輝度を検出し、輝度情報１５０を作成する第１の画像処理部１０４とによって構成されている。
【００１２】
乗員検出部１１は、乗員３を撮像する第２のカメラ１１０と、夜間等に乗員３を撮像し易いように僅かに乗員３を照らす第２の照明１１１と、第２のカメラ１１０の撮像する位置、及び焦点距離等を制御する第２のカメラ制御部１１２と、第２のカメラ１１０が撮像した画像をデジタルデータに変換する第２の画像キャプチャ部１１３と、第２の画像キャプチャ部１１３から出力されたデジタルデータに基づいて乗員３のフロントガラス２０上の視点の位置、及び頭の動きを算出し、視点情報１５１を作成する第２の画像処理部１１４とによって構成されている。
【００１３】
なお、第１のカメラ１００は、例えば、レーンキープ用カメラ、ナイトビジョン用カメラ及び前方監視用カメラを流用し、第２のカメラ１１０は、例えば、ドライバモニタリング用カメラを流用しても良い。
【００１４】
（輝度情報１５０について）
図３（ａ）は、本発明の実施の形態に係る第１のカメラによって撮像された背景画像であり、図３（ｂ）は、本発明の実施の形態に係る背景画像の輝度情報を視覚化した図である。図３（ａ）は、車両２が昼間に走行中に撮像した画像であり、第１の画像処理部１０４は、この画像を輝度によって領域に分割し、輝度情報１５０を作成する。図３（ｂ）に示す輝度情報１５０は、撮像された車両２のフロント２２で輝度の高い第１の領域１０５と、撮像された道路４で輝度の低い第２の領域１０６と、撮像された草木４３で輝度の低い第３の領域１０７と、撮像された空４５で輝度が高い第４の領域１０８と、撮像されたセンターライン４１、白線４２、及び標識４４であって輝度の高い第５の領域１０９とで概略構成されている。これらの領域は、第１の画像処理部１０４が有するしきい値に基づいて領域に分割されるので、しきい値を変えることによって、より細かく領域に分割することも、大きく分割することもできる。なお、本実施の形態において、フロントガラス２０全体に亘って輝度情報１５０を作成しているが、輝度情報１５０は、情報表示部１４が表示されるスクリーン１４０近傍だけでも良い。また、図３（ｂ）に示した領域Ｘ〜Ｚは、スクリーン１４０上に実際には表示されず、表示制御部１２が設定する仮想の領域である。
【００１５】
（視点情報１５１について）
図４は、本発明の実施の形態に係る乗員の視差に関する図であり、図５は、本発明の実施の形態に係る視界に関する図である。乗員３とフロントガラス２０までの距離Ｌは、乗員３による座席の位置調整等によって変化するので、例えば、乗員３の着座を検出する図示しない着座検出装置からの着座検出、エンジンの始動、及び乗員検出部１１による乗員３の検出等のタイミングによって、表示制御部１２は、座席の位置からＬを測定する。また、乗員３の目の高さは、身体的特徴に左右され、例えば、図４に示すように乗員３が、道路４上の地点Ａを見ながら運転操作を行うとき、乗員３Ａと乗員３Ｂでは、フロントガラス２０の領域２００において、図４に示す視差が生じる。同様に背景検出部１０は、本実施の形態において乗員３の頭上付近に設置されているので、領域２００において撮像する画像にずれ（視差）が生じる。なお、左右方向に対しては、視差は少ないと考えられるので、本実施の形態においては考慮していない。
【００１６】
乗員３Ａは、目の位置が低いので、図５に示すように、Ａの視界３０で示した領域が主に見える。乗員３Ｂは、乗員３Ａよりも目の位置が高いので、Ａの視界３０よりもやや下側のＢの視界３１で示した領域が、主に見える。また、背景検出部１０は、更に第１のカメラ１００の位置が高いので、Ｂの視界３１よりも下側の撮像領域１００ａを撮像することになる。
【００１７】
撮像領域１００ａを基準にすると、Ａの視界３０に合わせるためには、図５に示す視差ｄ１、及びＢの視界３１に合わせるためには、視差ｄ２をそれぞれ補正しなければならない。そこで、補正部１６は、本実施の形態においては、乗員３Ａを標準モデルの乗員とし、視差ｄ１を補正する。乗員３Ｂの場合は、乗員３Ｂの第２の画像処理部１１４で作成された視点情報１５１に基づいて図４に示す乗員３Ａを基準にした高さｈを算出し、この高さｈと視差ｄ１に基づいてｄ２を算出し、撮像領域１００ａを補正する。こうすることによって、乗員３の視界と撮像領域１００ａが一致する。
【００１８】
（動作）
以下に本発明の実施の形態に係る情報表示装置の動作について、図１から図５を参照しつつ、図６のフローチャートに従って詳細に説明する。
【００１９】
乗員３が車両２に乗り込み、エンジンを始動させると、表示制御部１２は、座席の位置に基づいて距離Ｌを測定する。続いて背景検出部１０の第１のカメラ１００は、車両２の進行方向を撮像し、第１の画像処理部１０４は、第１のカメラ制御部１０２及び第１の画像キャプチャ部１０３を介して取得した第１のカメラ１００が撮像した画像に基づいて輝度情報１５０を作成し（Ｓ１）、メモリ１５に格納する。この動作は、例えば、１秒間隔で繰り返し行われ、輝度情報１５０は、その都度更新される。更新の間隔は、これに限定されない。
【００２０】
同時に乗員検出部１１の第２のカメラ１１０は、乗員３の顔を撮像する。撮像された画像は、第２のカメラ制御部１１２及び第２の画像キャプチャ部１１３を介して第２の画像処理部１１４に送信される。第２の画像処理部１１４は、例えば、乗員３の目に基準点を設定し、その基準点の動きをフロントガラス２０上に変換し、視点情報１５１を作成する（Ｓ２）。補正部１６は、視点情報１５１に基づいてメモリ１５に格納されている上述した乗員３Ａの目の位置を基準として高さｈを算出する。補正部１６は、距離Ｌ及び高さｈに基づいて視差ｄ１を算出し、算出した視差ｄ１に基づいて撮像領域１００ａを補正する。視差に基づく補正は、補正情報としてメモリ１５に格納され、乗員３が降車するまで更新せずに使用する。続いて表示制御部１２は、補正した視点情報１５１をメモリ１５に格納する。この動作は、上記の輝度情報１５０の作成動作と同様に、例えば、１秒間隔で繰り返し行われ、視点情報１５１は、その都度更新される。更新の間隔は、これに限定されない。
【００２１】
なお、視差に基づく補正については、識別情報を有するキーによって乗員３を識別できるとき、識別情報と共に補正情報を作成し、メモリ１５に格納し、キーによって乗員３が識別できたとき、メモリ１５から読み出すようにしても良い。
【００２２】
続いて、表示制御部１２は、視点情報１５１に基づいてフロントガラス２０上の乗員３の視点位置近傍における輝度情報１５０を参照し、スクリーン１４０上のどの位置に情報表示部１４を移動させるのが適切であるか判定する（Ｓ３）。以下に図３（ｂ）における領域Ｘ〜Ｚに乗員３の視点がある場合について説明する。なお、情報表示部１４が表示される初期の位置は、例えば、図３（ａ）の位置であり、情報表示部１４には、現在の速度等の画像が、常に表示されているとする。
【００２３】
（１）乗員３の視点位置が輝度の低い領域にある場合
すなわち、乗員３のフロントガラス２０上の視点位置が、図３（ｂ）における領域Ｘ近傍であった場合、この領域Ｘは、輝度が低い第２の領域１０６に属し（Ｓ４；Ｙｅｓ）、かつ、スクリーン１４０上でもあるので、表示制御部１２は、乗員３から視認し易いと判定し、投影部１３を制御し、領域Ｘに情報表示部１４を移動させる（Ｓ５）。
【００２４】
（２）乗員３の視点位置が輝度の高い領域にある場合
すなわち、乗員３のフロントガラス２０上の視点位置が、図３（ｂ）における領域Ｙ近傍であった場合、この領域Ｙは、輝度が高い第５の領域１０９（白線４２）を含み、かつ、スクリーン１４０から若干外れているので（Ｓ４；Ｎｏ）、表示制御部１２は、例えば、領域Ｙを画面下側に所定の距離（例えば、１ｃｍ）を移動させ、その位置における輝度が適切であるか判定する（Ｓ６）。移動させた領域Ｙの輝度が低く、かつ、スクリーン１４０内に領域Ｙが入るとき（Ｓ４；Ｙｅｓ）、表示制御部１２は、移動させた領域Ｙに情報表示部１４を移動させる（Ｓ５）
【００２５】
しかし、所定の距離を移動させても輝度が高いときは（Ｓ４；Ｎｏ）、輝度の低い適切な領域が得られるまで、ステップ４及び６が繰り返し行われる。本実施の形態においては、領域の判定を画面下側に連続的に移動させて行うが、例えば、画面下側、右側、左側と順番に判定するようにしても良く、また、これに限定されない。また、領域Ｙを移動させる最大距離（例えば、１０ｃｍ）を設定できるようにしても良く、設定された最大距離を越えても適切な領域を得られなかった場合は、情報表示部１４の移動を中止し、初期の位置に情報表示部１４を表示させる。
【００２６】
（３）乗員３の視点位置がスクリーン１４０を大きく外れている場合
すなわち、乗員３のフロントガラス２０上の視点位置が、図３（ｂ）における領域Ｚ近傍であった場合、この領域Ｚは、輝度が高い第５の領域１０９（標識４４）を含みかつ、スクリーン１４０の外であるので（Ｓ４；Ｎｏ）、表示制御部１２は、例えば、領域Ｚを画面下側に大きく移動させ、領域Ｚをスクリーン１４０内に入れ、スクリーン１４０内に入ってから上記（２）の動作を行って、適切な表示位置を探すようにしても良いし、上記（２）の動作を行うようにしても良い。
【００２７】
なお、本実施の形態において、適切な表示位置が得られたとき、その表示位置に情報表示部１４を移動させるようにしたが、以下に示す方法を単独又は併用しても良い。
【００２８】
（１）履歴に基づいた方法
表示制御部１２は、情報表示部１４の表示位置とそのときの輝度情報１５０を履歴としてメモリ１５に記録し、現在の輝度情報１５０と類似した履歴があり、視点位置が情報表示部１４の表示位置が頻繁に移動する可能性のある位置にあるとき、類似した履歴に基づいて、情報表示部１４の移動距離を制限するようにしても良い。制限することによって、情報表示部１４の大きな位置の変化を防止できる。なお、履歴は、過去に作成されたものでも良いし、更新中の履歴であっても良い。
【００２９】
（２）輝度に基づいた方法
また、輝度に基づいて情報表示部１４の表示位置の更新の間隔を可変にしても良い。例えば、輝度が低い領域に視点位置があるときは、視認性が良いので、視点位置が多少変化しても頻繁に表示位置を変えず、輝度が高い領域に視点位置があるときは、視認性が良くないので視点位置に基づいて情報表示部１４を適切な表示位置に移動させる。
【００３０】
上記した一連の動作は、乗員３がエンジンを停止するまで行われ、乗員３の視点位置が変化したときは、輝度情報１５０及び視点情報１５１は常に更新されているので、常にステップ３に戻って処理が続けられる。
【００３１】
[実施の形態の効果]
上記した実施の形態によると、スクリーン１４０を透過する背景の輝度情報１５０、及び乗員３の視点情報１５１に基づいて情報表示部１４の表示位置を決めるので、乗員３にとって見易い位置に画像を表示することができる。
【００３２】
なお、本発明は、上記した実施の形態に限定されず、本発明の技術思想を逸脱あるいは変更しない範囲内で種々の変形が可能である。
【図面の簡単な説明】
【００３３】
【図１】（ａ）は、本発明の実施の形態に係る車両の側面図であり、（ｂ）は、本発明の実施の形態に係る車両の内部の概略図である。
【図２】本発明の実施の形態に係る情報表示装置のブロック図である。
【図３】（ａ）は、本発明の実施の形態に係る第１のカメラによって撮像された背景画像であり、（ｂ）は、本発明の実施の形態に係る背景画像の輝度情報を視覚化した図である。
【図４】本発明の実施の形態に係る乗員の視差に関する図である。
【図５】本発明の実施の形態に係る視界に関する図である。
【図６】本発明の実施の形態に係るフローチャートである。
【符号の説明】
【００３４】
１…情報表示装置、２…車両、３、３Ａ、３Ｂ…乗員、４…道路、１０…背景検出部、１１…乗員検出部、１２…表示制御部、１３…投影部、１４…情報表示部、１５…メモリ、１６…補正部、２０…フロントガラス、２１…ダッシュボード、２２…フロント、３０…Ａの視界、３１…Ｂの視界、４１…センターライン、４２…白線、４３…草木、４４…標識、４５…空、１００…第１のカメラ、１００ａ…撮像領域、１０１…第１の照明、１０２…第１のカメラ制御部、１０３…第１の画像キャプチャ部、１０４…第１の画像処理部、１０５…第１の領域、１０６…第２の領域、１０７…第３の領域、１０８…第４の領域、１０９…第５の領域、１１０…第２のカメラ、１１１…第２の照明、１１２…第２のカメラ制御部、１１３…第２の画像キャプチャ部、１１４…第２の画像処理部、１４０…スクリーン、１５０…輝度情報、１５１…視点情報、２００…領域、Ａ…地点、ｄ１〜ｄ２…視差、Ｌ…距離、Ｘ、Ｙ、Ｚ…領域
【図１】
2008285105.tif 000003
【図２】
2008285105.tif 000004
【図３】
2008285105.tif 000005
【図４】
2008285105.tif 000006
【図５】
2008285105.tif 000007
【図６】
2008285105.tif 000008