(57)【要約】【課題】揺れまたは振動のある環境で使用される表示装置において、簡単な装置構成により表示内容を的確に把握できかつ見やすい表示を可能にする。【解決手段】表示すべき画像データを受け入れて一時記憶する画像メモリと、前記画像メモリからの読出しデータに基づき画像表示を行なう表示部とを有する画像表示装置に、前記画像表示装置の観察者の少なくとも一部または前記観察者に対して固定した位置にある物体の画像を撮像する撮像部と、前記撮像部の撮像データに基づき、表示部と観察者との相対移動量および方向を示す移動ベクトルを計算する移動ベクトル計算部を設ける。この移動ベクトル計算部からの移動ベクトルに基づき、前記画像メモリの読出しアドレスを制御することにより、表示部と観察者との相対的移動を軽減または除去する。【選択図】  図１
2004343622.tif 000002
【特許請求の範囲】
【請求項１】
表示すべき画像データを受け入れて一時記憶する画像メモリと、前記画像メモリからの読出しデータに基づき画像表示を行なう表示部とを有する画像表示装置であって、
前記画像表示装置の観察者の少なくとも一部または前記画像表示装置の観察者に対して固定した位置にある物体の画像を撮像する撮像部と、
前記撮像部の撮像データに基づき前記表示部と前記観察者との相対移動量及び方向を示す移動ベクトルを計算する移動ベクトル計算部と、
前記移動ベクトル計算部からの移動ベクトルに基づき、前記画像メモリの読出しアドレスを制御するアドレス制御部と、を具備することを特徴とする画像表示装置。
【請求項２】
前記撮像部は前記表示部と一体化されていることを特徴とする請求項１に記載の画像表示装置。
【請求項３】
前記撮像部の撮像レンズ前に取付けられた水準器を具備することを特徴とする請求項１に記載の画像表示装置。
【請求項４】
前記撮像部によって前記水準器の気泡を撮像して移動ベクトルを求めることを特徴とする請求項３に記載の画像表示装置。
【請求項５】
前記撮像部は前記表示装置の観察者の頭部を撮像することを特徴とする請求項１に記載の画像表示装置。
【請求項６】
前記観察者の頭部は観察者の目を含む部分であることを特徴とする請求項５に記載の画像表示装置。
【請求項７】
前記撮像部は前記観察者の位置する地面に対して固定した物体の画像を撮像することを特徴とする請求項１に記載の画像表示装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像表示装置に関し、例えば携帯用あるいは車載用の電子装置に使用され振動あるいは揺れのある環境においても画像を見やすく表示することができる画像表示装置に関する。
【０００２】
【従来の技術】
携帯用電子装置には小型の表示装置を利用したものが多い。図５は、そのような表示装置を使用した携帯用電子装置の一例を示す。図５（ａ）は表示装置５７およびカメラ５９を備えた携帯用ビデオレコーダーを示し、図５（ｂ）は表示装置６１およびおよびカメラ６３を備えた携帯電話を示し、かつ図５（ｃ）は表示部６５およびカメラ６７を備えたいわゆるＰＤＡ（Ｐｏｒｔａｂｌｅ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔｓ）と称される携帯用情報端末を示す。これらの携帯用電子装置は、それぞれ比較的小型かつ低解像度の表示装置を備えたものが多く、かつ比較的目に近接した状態で観察されるものであった。このため、これらの表示装置が人間により携帯されあるいは車両上で使用された場合に、揺れまたは振動が加えられることによって画像が多少見にくくなっても大きな問題とはならなかった。
【０００３】
また、従来、振動を伴う環境で使用される画像表示装置において画像を見やすくするため、ジャイロセンサ、磁気センサなどを使用するものが提案されている。特開平０９−００９１７９号および特開平１０−０６９２６６号参照。
【０００４】
【発明が解決しようとする課題】
しかしながら、最近の技術の進歩により、携帯用あるいは車載用電子装置においても、比較的大型で高解像度の表示装置（ディスプレイ）が使用されるようになってきている。このような比較的大型で高解像度の表示装置が振動のある環境で使用された場合には、表示装置の画面に表示される表示内容を的確に把握することは困難であり画面が非常に見づらくなるという不都合があった。また、ジャイロセンサなどを使用して表示装置の揺れ補正を行なうものにあっては、特殊なセンサなどを使用する必要があり、装置構成が複雑になるという不都合があった。
【０００５】
したがって、本発明の目的は、このような従来技術における問題点に鑑み、揺れまたは振動のある環境で使用される表示装置において、簡単な装置構成により、表示画面が大型で高解像度のものであっても見やすい表示画面を提供可能とすることにある。
【０００６】
【課題を解決するための手段】
本発明の一態様では、表示すべき画像データを受け入れて一時記憶する画像メモリと、前記画像メモリからの読出しデータに基づき画像表示を行なう表示部とを有する画像表示装置が提供され、該表示装置は、前記画像表示装置の観察者の少なくとも一部または前記画像表示装置の観察者に対して固定した位置にある物体の画像を撮像する撮像部と、前記撮像部の撮像データに基づき前記表示部と前記観察者との相対移動量及び方向を示す移動ベクトルを計算する移動ベクトル計算部と、前記移動ベクトル計算部からの移動ベクトルに基づき、前記画像メモリの読出しアドレスを制御するアドレス制御部と、を具備することを特徴とする。
【０００７】
前記撮像部は前記表示部と一体化されていると好都合である。
【０００８】
あるいは、前記撮像部の撮像レンズ前に取付けられた水準器を具備するよう構成することもできる。
【０００９】
この場合、前記撮像部によって前記水準器の気泡を撮像して移動ベクトルを求めることができる。
【００１０】
また、前記撮像部は前記表示装置の観察者の頭部を撮像するよう構成できる。
【００１１】
この場合、前記観察者の頭部は観察者の目を含む部分であると好都合である。
【００１２】
また、前記撮像部は前記観察者の位置する地面に対して固定した物体の画像を撮像することもできる。
【００１３】
【発明の実施の形態】
以下、図面を参照して本発明の好ましい実施形態につき説明する。図１は、本発明の一実施形態に係わる画像安定化またはずれ補正手段を備えた画像表示装置の構成、およびそのような画像表示装置をユーザが観察している様子を示す。図１においては、画像表示装置は参照数字１で示されており、携帯用電子装置として構成されている。画像表示装置１は概略的に表示部３および該表示部３に取付けられたまたは一体化されたカメラ５を備えている。なお、表示装置１は、表示部３の内部などに、携帯用電子装置として必要な電子回路などを備えているものとする。
【００１４】
図１の画像表示装置１においては、表示部３には画像表示装置１が機能するのに必要な画像情報などが表示される。画像表示装置１はユーザすなわち観察者７によって保持され、該観察者７の目９によって表示部３の画面が観察される。
【００１５】
観察者７は例えば地面１１の上に位置しているものとする。この場合、画像表示装置１のカメラ５は地面１１または地面１１に対して固定した位置にあるチェックパターンＡ（参照数字１３）を撮像している。チェックパターンＡは、例えば、地面１１の上にある任意の物体、パターンその他の画像とすることができる。
【００１６】
このような状況において、観察者７の保持する画像表示装置１が、例えば、観察者７の手が動くことにより参照数字１ａ、１ｂで模式的に示されるように揺れまたは振動を生じた場合につき考察する。このような場合、画像表示装置１、したがってその表示部３、も観察者７の目９に対して揺れまたは振動を生じる。このため、表示部３に表示される画像が見にくくなり表示内容を把握することが困難になる。特に、表示部３によって表示される画像が高解像度の画像である場合に表示画像が見にくくなる。
【００１７】
本発明では、このような場合に表示画像を見やすくしかつ表示内容を的確に把握できるようにするため、次のような手法によって表示画像を見やすくする。すなわち、カメラ５によってチェックパターンＡを連続的にあるいは所定の時間間隔で撮像する。これによって、カメラ５に対するチェックパターンＡの移動方向と移動量を示すデータ、すなわち移動ベクトルを求める。そして、この移動ベクトルに基づき表示部３に表示される画像の位置を移動させる。
【００１８】
例えば図１において、カメラ５が矢印の方向に移動したものとすると、カメラ５で撮像されるチェックパターンＡは参照数字１５で示される移動ベクトルに示されるように移動する。このようなチェックパターンＡの移動により得られた移動ベクトルにしたがって表示部３の画面に表示される画像または文字Ｂの位置を矢印の方向に移動させ、画像Ｂと観察者７の目９との相対的な移動をなくし、あるいは低減する。これによって、参照数字１９で示されるように、観察者７が保持する画像表示装置１が該観察者７の目９に対して振動しあるいは揺れを生じても、観察者７の目９と表示部３に表示される表示画像との間の相対的な振動または揺れは除去されあるいは極めて少ないものとされる。したがって、観察者７にとっては、画像表示装置１の表示部３に表示される画像または文字などは非常に見やすいものとなり、表示内容を的確に把握することが可能になる。
【００１９】
図２は、本発明の別の実施形態に係わる画像表示装置を備えた携帯用電子装置の概略の構成を示す。図２（ａ）に示すように、この実施形態に係わる画像表示装置２１は表示部２３と、該表示部２３に取付けられたカメラ２５を備えている。装置２１は、観察者７の手に保持され、該観察者７の目９によって表示部２３の表示画面が観察される。なお、参照数字２１ａおよび２１ｂは観察者７の手に保持された装置２１が振動または揺れることを模式的に示している。
【００２０】
図２（ａ）はこの実施形態に係わる画像表示装置２１のカメラ２５の部分の詳細な構成例を示す。該カメラ２５は、カメラヘッド２７と、該カメラヘッド２７で撮像される水準器２９を備えている。したがって、例えば、カメラヘッド２７は図示しない広角マクロレンズを備え、該広角マクロレンズの前に水準器２９が配置されている。水準器２９は、密閉容器２９ｃの中に水その他の液体２９ａを封入して構成され、該液体２９ａには気泡（バブル）２９ｂが設けられている。
液体２９ａはカメラヘッド２７によって撮像される気泡２９ｂの画像を鮮明にするために、必要に応じて、着色などを行なってもよい。
【００２１】
図２（ａ）および（ｂ）に示される画像表示装置においては、水準器２９の気泡２９ｂは装置２１が多少移動してもまたは振動しても常に密閉容器２９ｃの最上部に位置し、ほぼ地面に対して固定した位置にとどまっている。したがって、カメラ２５により水準器２９の気泡２９ｂの画像を撮像することにより、装置２１の、例えば、地面に対する移動状態を示す移動ベクトルを求めることができる。したがって、この移動ベクトル情報を使用して表示部２３に表示される画像の位置を補正することにより、表示部２３に表示される画像と観察者７の目９との間の相対的な移動をなくしあるいは軽減することができる。これにより、観察者７は表示画像が見やすくなりかつ表示内容を的確に把握することが可能になる。
【００２２】
図３は、本発明のさらに別の実施形態に係わる表示装置の概略の構成を示す。
この実施形態に係わる表示装置３１は、例えば自動車などの車両に搭載される車載用ナビゲーションシステムとされる。この表示装置３１は、表示部３３と該表示部３３に固定されたカメラ３５を備えている。この実施形態に係わる表示装置３１は、車両に取付けられている。図３では、該表示装置３１はハンドル３７の軸受け部分に取り付けられているが、車両上の任意の場所に取り付けることができる。
【００２３】
この実施形態では、表示装置３１のカメラ３５は観察者７である車両の運転者の目９または目９を含む頭部９ａの画像を撮像するよう配置されている。カメラ３５は、観察者７の目９以外の目９とほぼ同様の動きをする部分を撮像してもよい。この実施形態においては、観察者７などが車両を運転することにより、表示装置３１が観察者７に対して相対的に移動すると、カメラ３５によって撮像される観察者７の目９などの画像位置が移動し移動ベクトルが得られる。この移動ベクトルに基づき表示部３３に表示される画像の表示位置を制御することにより観察者７と表示部３３に表示される画像との相対的なずれを補償することができ、表示画像が見やすくなりかつ内容も容易に把握することが可能になる。なお、参照数字３１ａ、３１ｂは観察者７に対して表示装置３１が移動する様子を模式的に示している。
【００２４】
図４は、本発明に係わる表示装置において使用可能な電気回路部分の概略の構成を示す。図４の電気回路部分は、移動ベクトルを検出して表示画像の補正を行なう移動補正部４１と、入力画像データ、例えばＲＧＢまたはＹＵＶデータ、に基づき画像表示を行なう表示部５３を含む表示装置部分などによって構成される。
【００２５】
移動補正部４１は、表示部５３と一体化されたまたは表示部５３に取付けられたカメラ４７を備えている。カメラ４７は、表示装置に元々設けられているものを利用してもよく、あるいは振動または揺れを補正するために新たに設けてもよい。移動補正部４１は、さらに、カメラ４７によって得られた画像データを一時的に記憶するメモリ４３と、移動ベクトル計算部４５と、読出しアドレス制御部４９を備えている。移動ベクトル計算部４５は、メモリ４３に記憶された画像データ、あるいはメモリ４３に記憶された画像データとカメラ４７から出力される画像データを用いて移動ベクトルを示す信号を求める。移動ベクトルは、カメラ４７によって撮像した画像データから求めた表示装置と観察者の頭部との間の相対的な移動方向と移動量を示すパラメータである。したがって、移動ベクトルを求めるためには、カメラは表示装置側に設置してもよく、あるいは観察者の頭部側に設置してもよい。
【００２６】
したがって、例えば、観察者の頭部から見て表示装置がどのように振動しているかを測定するには、表示装置側にカメラを固定し頭部または目がどのように振動するかを求めればよい、すなわち動き検出すればよい。この場合、カメラとしては、例えば、視野角が約４６度程度のものを使用することができる。また、移動ベクトル計算部４５は、一例として、画像が１フレーム＝１／６０秒で水平および垂直各方向に何ピクセル分動いたかを計算する。したがって、カメラ４７で撮像されたデータおよび／またはメモリ４３に記憶されたデータに基づき、各フレームごとに何ピクセル分いずれの方向に移動したかが計算できる。
【００２７】
このような移動ベクトルを示すデータは移動ベクトル計算部４５から読出しアドレス制御部４９に供給される。読出しアドレス制御部４９は、このような移動ベクトルデータに基づき、表示装置側の画像メモリ（メモリ５５）に記憶された画像データの読出しアドレスを制御するため、読出しアドレス制御データを作成し、メモリ制御部５１に供給する。
【００２８】
表示装置側では、通常、入力画像データ（ＲＧＢ／ＹＵＶ）がメモリ制御部５１の制御のもとに一旦画像メモリ５５に記憶される。この画像メモリ５５から読み出された画像データに基づき表示部５３において画像表示が行なわれる。メモリ制御部５１は、ランダムアクセスメモリ（ＲＡＭ）およびＤ／Ａ変換器（ＤＡＣ）を含む通常ＲＡＭＤＡＣと称される表示デバイス５１ａを備えている。ＲＡＭＤＡＣ５１ａは、画像メモリ５５に記憶されたデジタルデータをアナログ信号に変換し、表示部５３において表示できるようにするためのデバイスである。
【００２９】
前述のような表示装置側のメモリ制御部５１に対し、移動補正部４１側の読出しアドレス制御部４９から移動補正データ、すなわち、読出しアドレス制御データが入力される。この読出しアドレス制御データは、例えば、移動ベクトルの値に応じて画像メモリ５５からの画像データの読出し開始アドレスを制御することによって表示部５３の表示画面上に表示される画像の表示位置を観察者の目に対して固定された位置となるよう制御する。
【００３０】
また、移動ベクトルの検出と表示部の表示の時間差が著しい場合は、「動き予測」を行なってもよい。この場合は、移動ベクトルのパラメータとしては加速度、すなわち動き変化、も必要になる。この加速度の単位は例えばピクセル毎秒とすることができる。この場合は、移動ベクトルを検出してから画像位置の補正を行なうまでの間に、例えば、「水平および垂直各方向に何ピクセル分動くと思われる」というデータを過去データから予測することができる。これによって、表示装置と観察者との間のより多様な相対的移動態様に対してもより的確に補正することが可能になる。
【００３１】
なお、本発明の別の応用例として、揺れる電車から眺める、線路脇の大型ディスプレイなどのぶれ補正に適用することもできる。例えば、そのようなディスプレイの脇にカメラを設置し、このカメラによって電車の揺れを検知し、ディスプレイに表示される画像の補正を行なうことにより、電車の乗客はぶれのない表示画像を見ることが可能になる。
【００３２】
【発明の効果】
以上から明らかなように、本発明によれば、表示装置に設けられたカメラを使用することにより、簡単な装置構成によって、前記表示装置が揺れまたは振動のある環境で使用されても見やすい表示画面を提供することができる。また、表示装置の表示画面が大型で高解像度のものであっても、表示画像のぶれを的確に補正することができ、表示内容を的確に把握することが可能になる。
【００３３】
さらに、画像表示装置が例えば携帯用表示装置であって元々カメラを備えたものである場合は、そのカメラによる撮像データを使用して表示画像のぶれ補正を行なうこともできる。この場合も、ジャイロセンサのような特殊な装置を使用することなく、簡単な装置構成で表示画像のぶれ補正を行なうことが可能になる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係わる画像表示装置の構成および使用状態を示す説明図である。
【図２】本発明の別の実施形態に係わる画像表示装置を示す説明図であり、（ａ）は該画像表示装置の構成および使用状態を示し、（ｂ）は該画像表示装置のカメラ部分の詳細を示す。
【図３】本発明のさらに別の実施形態に係わる画像表示装置の構成および使用状態を示す説明図である。
【図４】本発明に係わる画像表示装置の回路構成の一例を示すブロック図である。
【図５】画像表示装置を備えた従来の携帯用電子装置の例を示す説明図である。
【符号の説明】
１，２１，３１  画像表示装置
３，２３，３３  表示部
５，２５，３５  カメラ部
７  観察者
９  観察者の目
１１  地面
２７  カメラヘッド
２９  水準器
３７  ハンドル
４１  移動補正部
４３  画像メモリ
４５  移動ベクトル計算部
４７  カメラ部
４９  読出しアドレス制御部
５１  メモリ制御部
５３  表示部
５５  画像メモリ
【図１】
2004343622.tif 000003
【図２】
2004343622.tif 000004
【図３】
2004343622.tif 000005
【図４】
2004343622.tif 000006
【図５】
2004343622.tif 000007