(57)【特許請求の範囲】
【請求項１】
レンチキュラーレンズを画像表示部の前面に用いた立体ディスプレイにおいて、立体ディスプレイ上の観察者の視線位置を検出する手段と、その視線検出位置において右眼用画像と左眼用画像の観察対象の像がディスプレイ上で一致するように制御する手段と、を備えたことを特徴とする立体ディスプレイ装置。
【請求項２】
レンチキュラーレンズを画像表示部の前面に用いた立体ディスプレイの画面制御方法において、立体ディスプレイ上の観察者の視線位置を検出し、その視線検出位置において右眼用画像と左眼用画像の観察対象の像がディスプレイ上で一致するように制御することを特徴とする立体ディスプレイ装置における画面制御方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明はテレビ、ビデオ、コンピュータモニタ、ゲームマシンなどにおいて立体表示を行う立体ディスプレイ装置及び該装置における画面制御方法に関する。
【０００２】
【従来の技術】
従来、立体ディスプレイの方式として、右眼用と左眼用画像に対して偏光状態を異ならせ、偏光めがねを用いて左右の画像を分離するものがある。その偏光状態を異ならせるためにディスプレイ側に液晶シャッターを設け、ディスプレイの表示画像のフィールド信号に同期させて、偏光状態を切り替え、偏光めがねをかけた観察者は時分割で片目づつ左右画像を分離して立体視を可能にする方式が実用化されている。しかし、この方式では観察者は常に偏光めがねをかけねばならないという欠点があった。
【０００３】
それに対して、偏光めがねを用いない立体ディスプレイとして、ディスプレイの前面にレンチキュラーレンズを設け、空間的に左右の眼に入る画像を分離する方式がある。図１１はレンチキュラーレンズを用いた方式の従来例の説明図である。１は液晶ディスプレイで、液晶の表示画素部３はガラス基板２，４の間に形成されている。液晶ディスプレイ１の表面には、断面が図示のように半円状で各々紙面に直角方向に延びるシリンドリカルレンズからなるレンチキュラーレンズ５が設けられており、その焦点面に液晶の表示画素部３が位置するようになっている。
【０００４】
表示画素部３には図示のようにレンチキュラーレンズの一つのピッチに対応して右眼用画像（黒塗りの部分）、左眼用画像（白抜きの部分）がストライプ状に対となるよう交互に配置されており、レンチキュラーレンズ５により観察者の右眼ＥＲ  、左眼ＥＬ  に光学的に分離して結像され立体視が可能となる。図中にはディスプレイの両端と中央部分の右眼用、左眼用画像の各々を観察できる空間的領域を示してあり、画面全面にわたって観察者の目（両眼中心距離はｅ）に左右分離して見える共通領域が図中の太線部分の立体視領域６である。さらに、この立体視領域６に隣接した領域（不図示）においても左右分離して立体視できる領域が存在する。
【０００５】
【発明が解決しようとする課題】
しかしながら、このような立体画像表示方式では、表示される右眼用画像と左眼用画像はステレオのカメラ、ＶＴＲなどで撮影した画像をそのまま表示しており、両画像中の対象の像はカメラからの距離により画面上での視差量が決まってくる。観察者が観察するときには、右眼用と左眼用画像の対象の像の視差量により奥行き感を認識しており、対象の像の視差量が観察者が一つの像として認識できる程度の距離以上離れてしまうと対象の像が二重になり見えにくくなるという欠点があった。
【０００６】
そこで本発明の目的は、画面内において、観察者の視ている位置における像が常に鮮明に違和感なく観察できるようにした立体ディスプレイ装置およびその画面制御方法を提供することにある。
【０００７】
【課題を解決するための手段】
このような課題を解決するために、本願における請求項１に記載の発明は、レンチキュラーレンズを画像表示部の前面に用いた立体ディスプレイにおいて、立体ディスプレイ上の観察者の視線位置を検出する手段と、その視線検出位置において右眼用画像と左眼用画像の観察対象の像がディスプレイ上で一致するように制御する手段とを備えた立体ディスプレイ装置を特徴とする。
【０００８】
また本願の請求項２に記載の発明は、レンチキュラーレンズを画像表示部の前面に用いた立体ディスプレイにおいて、立体ディスプレイ上の観察者の視線位置を検出し、その視線検出位置において右眼用画像と左眼用画像の観察対象の像がディスプレイ上で一致するように制御する立体ディスプレイ装置における画面制御方法を特徴とする。
【０００９】
【作用】
これによって、観察者の視線位置を検出し、その位置で左右画像の視線位置の対象の像を一致させることにより、視線位置の対象の像を鮮明に観察することができる。
【００１０】
【発明の実施の形態】
〈参考技術例１〉
図１，図２，図３は本発明の参考技術例１の説明図であり、以下図面を用いて説明する。図３は参考技術例１の原理の説明図である。３は液晶ディスプレイ、プラズマディスプレイ、蛍光表示管またはＣＲＴなどの表示素子の表示画素部を模式的に示しており、フェースプレートなどのガラス基板は省略して表示している。表示画素部３の前面にはアクリル樹脂などの透明な樹脂またはガラスからなるレンチキュラーレンズ５が配設されており、紙面に垂直方向にシリンドリカルな面が延びている。従来例で説明したように、レンチキュラーレンズ５により表示画素部３の画像は光学的に分解され、観察者の右眼には右眼用画像（表示画素の黒塗り部分）、左眼には左眼用画像（表示画素の白抜き部分）が入るようになっている。このレンチキュラーレンズ５と表示画素部３から構成される立体ディスプレイはその中央部分で、レンチキュラーレンズのシリンドリカルレンズの長手方向の回転軸１００で回転支持されて図のように角度を変えることができる。
【００１１】
図中には観察者が立体ディスプレイの中央線上の基準位置にいるときの右眼ＥＲ  、左眼ＥＬ  の位置と立体視できる領域６ａを示しており、観察者が図のように基準位置からずれて右眼がＥＲ  ’、左眼がＥＬ  ’の位置にきたときには、それに応じて立体ディスプレイを角度θだけ回転させて立体視できる領域を６ｂのようになるように追従させる。たとえば、観察者の基準位置をディスプレイから約５０ｃｍとした時、回転角θが±５度の範囲で観察者に追従できるとすると立体視領域６ａは左右に±約４４ｍｍ移動する。これにより観察者の立体視領域は、立体ディスプレイが固定の状態で観察者に追従しないときは中央の基準位置を中心として左右に±３２．５ｍｍ（両眼距離の標準を６５ｍｍとする）の範囲であったものが、観察者に追従させて角度を変化させることにより±７６．５ｍｍと倍以上にすることができる。
【００１２】
図１は本参考技術例の装置の具体的な構成の説明図である。レンチキュラーレンズ５を設けた液晶ディスプレイ１は図示せぬ軸受けに支持された回転軸１５を中心に回動するようになっており、液晶ディスプレイ１の端部部材１６には回転駆動機構２１が設けられている。回転駆動機構２１は電磁コイルを利用したリニアアクチュエータ１７と部材１６をリニアアクチュエータに押しつけるための復元用ばね１８からなる。また、角度検出センサ２３は部材１６の一部に設けられたエンコーダー目盛り１９とフォトセンサ２０から構成されている。２２は超音波センサからなる頭部位置検出センサで、ディスプレイの左右に配置されて超音波の反射時間により各々観察者の頭部までの距離を検出し、図示せぬ検出回路で演算して観察者の頭部のディスプレイに平行な水平方向の位置を求めるものである。
【００１３】
図２は本参考技術例の装置の制御系の構成を示したブロック図である。ＣＰＵ３４は頭部位置検出センサ２２及び検出回路３２で検出した観察者の頭部位置を読み込み、その信号に基づいて液晶ディスプレイが観察者の方向を向くような目標の角度を演算する。同時に液晶ディスプレイの現在の角度を角度検出センサ２３及び検出回路３３を通して読み込み、目標の角度と比較して、その差が０となるように駆動回路３１が角度可変アクチュエータ１７により液晶ディスプレイの角度を制御している。これにより、液晶ディスプレイが動く範囲内で観察者は常に立体視領域のほぼ中央にいるように制御され、立体視領域を実質的に広くすることができる。本参考技術例は、超音波センサを用いたが、赤外線を用いた距離センサによる頭部位置検出センサで構成してもよいし、またビデオカメラにより観察者の頭部を撮影し、画像処理して頭部または両眼の位置を求める方式でもよい。
【００１４】
また、本参考技術例では液晶ディスプレイを直接回転制御していたが、モニターとして組み立てられたユニット全体を回転制御しても同様な効果が得られる。〈参考技術例２〉
図４，図５，図６は本発明の参考技術例２の説明図であり、以下図面を用いて説明する。図６は上記参考技術例２の原理の説明図である。３は液晶ディスプレイ、プラズマディスプレイ、蛍光表示管またはＣＲＴなどの表示素子の表示画素部を模式的に示しており、フェースプレートなどのガラス基板は省略している。表示画素部３の前面にはアクリル樹脂などの透明な樹脂またはガラスからなるレンチキュラーレンズ５が配設されており、紙面に垂直方向にシリンドリカルな面が延びている。従来例で説明したように、レンチキュラーレンズ５により光学的に分離されて、観察者の右眼には右眼用画像（表示画素の黒塗り部分）、左眼には左眼用画像（表示画素の白抜き部分）が入るようになっている。このレンチキュラーレンズの前面には、特開平５−１４２５００に開示された公知の可変頂角プリズム９が配設されている。この可変頂角プリズムは透明ガラス板１０，１１とその間に充填したシリコンオイルなどの透明液体またはシリコンゴムなどの柔らかい弾性体からなる透明部材１２と透明部材１２を封入するポリエチレンなどからなる蛇腹１３から構成されている。前面のガラス板１０は回転中心１４を軸として回転し、可変頂角プリズムの頂角θを自由に変えることができる。可変頂角プリズムはその頂角に応じて光線を曲げることができ、透明部材１２の屈折率をｎ、頂角をθ、入射光線と出射光線のふれ角をδとすると頂角の小さい範囲ではふれ角δは以下のように表される。
【００１５】
δ＝（ｎ−１）θ
ここで、透明部材１２としてシリコンオイルを用いた場合、約ｎ＝１．４なので頂角θを１０度とするとふれ角δは４度となる。
【００１６】
図中では観察者が立体ディスプレイの中央線上の基準位置にいるときの右眼ＥＲ  、左眼ＥＬ  の位置と立体視できる領域６ａを示しており、観察者が図のように基準位置からずれて右眼がＥＲ  ’、左眼がＥＬ  ’の位置にきたときには、それに応じて可変頂角プリズムの頂角θを変化させ、立体視できる領域を６ｂとなるように追従させる。可変頂角プリズムの頂角がθのときは光線は図のように曲げられて立体視領域は６ｂのようにふれ角δだけ回転する。たとえば、観察者の基準位置をディスプレイから約５０ｃｍとしたとき、可変頂角プリズムのふれ角δが±４度（頂角で±１０度に相当）の範囲で観察者に追従できるとすると立体視領域は左右に±約３５ｍｍ移動する。これにより観察者の立体視領域は、立体ディスプレイが観察者に追従しないときは中央の基準位置を中心として左右に±３２．５ｍｍ（両眼距離の標準を６５ｍｍとする）であったものが、観察者に追従させて角度を変化させることにより±６７．５ｍｍとほぼ倍にすることができる。
【００１７】
図４は本参考技術例の装置の具体的な構成の説明図である。レンチキュラーレンズ５を設けた液晶ディスプレイ１の前面に可変頂角プリズム９を配置し、観察者は可変頂角プリズム９を通して映像を見るようになっている。可変頂角プリズム９の後面のガラス板１１は固定で、前面のガラス板１０は図示せぬ軸受けに支持された回転軸１５を中心に回動するようになっており、前面ガラス板１０の端部の部材１６に回転駆動機構２１が設けられている。回転駆動機構２１は電磁コイルを利用したリニアアクチュエータ１７と部材１６をリニアアクチュエータに押しつけるための復元用ばね１８からなる。また、角度検出センサ２３は部材１６の一部に設けられたエンコーダー目盛り１９とフォトセンサ２０から構成されている。２２は超音波センサからなる頭部位置検出センサで、ディスプレイの左右に配置されて超音波の反射時間により各々観察者の頭部までの距離を検出し、図示せぬ検出回路で演算して観察者の頭部のディスプレイに平行な水平方向の位置を求めるものである。
【００１８】
図５は本参考技術例の装置の制御系の構成を示したブロック図である。ＣＰＵ３４は頭部位置検出センサ２２及び検出回路３２で検出した観察者の頭部位置を読み込み、その信号に基づいて可変頂角プリズムの光軸が観察者の頭部の中央部の方向を向くような目標の頂角の角度を演算する。同時に可変頂角プリズム９の頂角を角度検出センサ２３及び検出回路３３を通して、現在の頂角の角度を読み込み、目標の頂角と比較して、その差が０となるように駆動回路３１、角度可変アクチュエータ１７により可変頂角プリズム９を制御している。これにより、可変頂角プリズムが動く範囲内で観察者は常に立体視領域のほぼ中央にいるように制御され、立体視領域を実質的に広くすることができる。本実施例では、超音波センサを用いたが、赤外線を用いた距離センサによる頭部位置検出センサで構成してもよいし、またビデオカメラにより観察者の頭部を撮影し、画像処理して頭部または両眼の位置を求める方式でもよい。
【００１９】
また、本参考技術例では、可変頂角プリズムの観察者側のガラス板を可動として説明したが、反対に、ディスプレイ側を可動にして、観察者側を固定としても同様の効果が得られる。
〈実施形態〉
図７〜図１０を用いて、本発明の実施形態を説明する。
【００２０】
一般に、レンチキュラーレンズを用いた立体ディスプレイにおける奥行き感は観察者の両眼に入る右眼用画像と左眼用画像の差異により生ずるもので、観察者が画像の中で注目している対象の右眼用画像と左眼用画像（以降右画像及び左画像と略す）の水平方向の位置の差により奥行きを感じている。図７は奥行きの違う対象Ａ，Ｂをカメラで撮影したときの左右画像における位置関係を示している。ＯＲ  ，ＯＬ  は撮影レンズで、各々撮像面６１，６２に結像し、その像を反転すると、右画像６３、左画像６４が得られる。各々の画像でＡ，Ｂの像の水平方向の位置は入れ替わっている。ここで得られた左右の画像をレンチキュラーレンズを用いた立体ディスプレイに表示するとき、左右の画像の水平方向の位置関係により観察者にどのように見えるかを示したのが図８（ａ），（ｂ）である。
【００２１】
図８（ａ）は対象Ａの左右画像の像ａ１，ａ２をディスプレイ画面上で一致させた場合で、対象Ａは画面上にあるように見え、対象Ｂは画面上で視差を持つため、画面の奥にあるように見える。また、図８（ｂ）は対象Ｂの左右画像の像ｂ１，ｂ２を一致させた場合で、対象Ｂは画面上に見え、対象Ａは画面の手前にあるように見える。すなわち、左右の画像をディスプレイ画面上で水平方向にずらすことにより、どの対象をディスプレイ画面上で一致して見えるようにするか選ぶことができる。
【００２２】
実際に観察者が立体ディスプレイを見るとき、対象の左右画像の像が画面上である程度以上の視差をもっていると２重の像を一つのものとして融合して認識するのが困難になり、対象の像がぼやけて鮮明に見えなくなる傾向がある。そこで、本実施例では立体ディスプレイに表示する際、観察者のディスプレイ画面上の視線位置を検出し、その視線位置の対象の像が画面上で一致するように左右画像を水平方向に移動させるように制御を行う。
【００２３】
図９は本実施形態の立体ディスプレイの画面制御の原理説明図で、図１０はその画面制御のフローを説明するブロック線図である。
【００２４】
図９（ａ）で、４１はレンチキュラーレンズ方式の立体ディスプレイ画面で、４２は左画像４５の中の対象像、４３は右画像４６の中の対象像であり、レンチキュラーレンズにより各々左眼、右眼に分離して観察されて立体視される。４４は観察者が注視している視線位置を中心とする領域で、図９（ｂ）のように、その領域で視線位置の対象像について、左画像４５と右画像４６を立体ディスプレイ画面４１に対して各々右と左に移動させることにより一致させることにより対象像はより鮮明に見えるようになる。
【００２５】
図９（ｃ）は実際の移動量の求め方の説明図であり、図１０は画面制御のフローチャートである。図９（ｃ）において、左画像４５、右画像４６がディスプレイ画面に対して図のようにｄｉ  だけずれた状態から始まるとして、視線が次の視線位置に移動する時の画面制御を説明する。視線が正６角形の対象４８（左画像４５上）、対象４９（右画像４６上）に移動した時、視線検出センサにより観察者の視線の平均滞留位置４７すなわちディスプレイ画面上の座標（Ｘ，Ｙ）を求め、そこを中心として前もって大きさが最適化されたウインドウ領域４４を設定する。次に、その視線滞留位置４７の左画像４５を基準とした水平座標ｘＬ  を求めるとｘＬ  ＝Ｘ＋ｄｉ  となる。そして、左画像のウインドウ領域４４内の画像を基準として、右画像上でもっとも相関の高い画像領域を探索しその位置ｘＲ  （右画像４６を基準としたｘ座標）を求めるために右画像の同じ水平線上に沿って走査して画像相関を演算する。
【００２６】
画像相関演算の方法としては対応する各々のピクセルごとの濃度値の誤差の２乗和が最小となる位置を求める方法を用いる。視線滞留位置の左画像の水平座標ｘＬ  と右画像の水平座標ｘＲ  とから新たな左右画像のずらし量ｄｉ  を求めると、ｄｉ  ＝（ｘＬ  −ｘＲ  ）／２となる。そのずらし量ｄｉ  だけ左右画像をディスプレイ画面に対して水平方向に移動させ、再びレンチキュラーレンズ方式に対応するように左右画像が交互にストライプ状に並ぶような合成処理をして表示する。
【００２７】
以上の画像制御の流れを図１０に示す。視線の滞留位置が変化するごとにその位置の新たな対象像が左右画像で一致するように常に画面制御される。
【００２８】
ここで、左右画像をずらし量ｄｉ  だけずらすと、ディスプレイ画面上では左右の部分が左右画像のどちらか一方の画像しかなくなるため、その部分ではレンチキュラーレンズの一つのピッチ内での表示はその一方の画像のストライプと同じものを他方の画像位置に配置して、左眼と右眼に同じ画像が入るようにする。これにより、その部分は立体感が得られないが、ディスプレイ画面の両端なので違和感は少ない。表示のディスプレイ画面の幅に対して左右画面の幅が十分大きい場合にはこのような処理は必要ない。
【００２９】
以上説明した画像制御は、ＣＰＵを用いてソフトウェアで処理してもよいし、専用の画像処理回路を用いてもよい。視線位置検出に関しては、ビデオカメラで観察者の頭部を撮影し、画像処理により両眼の部分を切り出し、黒目の部分と白目の部分をパターン認識して、両眼の黒目の間隔及び水平位置を視線位置と対応づける方式を用いることができる。また、参考技術例１で述べた頭部位置検出方法と、眼鏡のフレームに眼球に赤外線を投射するＬＥＤとその反射光を検出するＣＣＤカメラとを設け、そのプルキニエ像を利用して眼球の角度を求めて視線位置を検出する方式とを組み合わせた視線位置検出方式でもよい。
【００３０】
【発明の効果】
以上説明したように、本発明によれば、観察者の視線位置を検出し、その位置で左右画像の視線位置の対象の像を一致させることにより、像が二重に見えるような不都合が防止され、視線位置の対象の像を鮮明に観察することができる。
【図面の簡単な説明】
【図１】本発明の参考技術例１の立体ディスプレイ装置の概略構成を示す斜視図。
【図２】図１の装置の制御系の構成を示すブロック図。
【図３】図１の装置における立体視領域の拡大方法を説明するための図。
【図４】本発明の参考技術例２の立体ディスプレイ装置の概略構成を示す斜視図。
【図５】図４の装置における制御系の概略構成を示すブロック図。
【図６】図４の装置における立体視領域の拡大方法を説明するための図。
【図７】本発明の実施形態の立体ディスプレイ装置における立体視の原理を説明するための図。
【図８】立体視において左眼画像と右眼画像との位置の入れ替りを説明するための図。
【図９】（ａ）は立体ディスプレイ画面における左眼画像と右眼画像とを説明するための図。（ｂ）は立体ディスプレイ画面において左眼画像と右眼画像とをそれぞれ左と右に移動させて対象像を鮮明にする場合を示した図。（ｃ）は左画像と右画像を移動させる場合の移動量の求め方の説明図。
【図１０】本発明の実施形態である画像制御方法の説明図。
【図１１】レンチキュラーレンズを用いた従来の立体ディスプレイの説明図。
【符号の説明】
１…液晶ディスプレイ                ２，４…ガラス基板
３…表示画素部                      ５…レンチキュラーレンズ
６…立体視領域                      ９…可変頂角プリズム
１０，１１…透明ガラス板            １２…透明部材
１３…蛇腹                          １４…回転中心
１５…回転軸                        １６…端部部材
１７…リニアアクチュエータ          １８…復元用ばね
１９…エンコーダ目盛り              ２０…フォトセンサ
２１…回転駆動機構                  ２２…頭部位置検出センサ
２３…角度検出センサ                ３２，３３…検出回路
３４…ＣＰＵ                        ３１…駆動回路
４１…立体ディスプレイ画面          ４２…左画像の中の対象像
４３…右画像の中の対象像            ４５…左画像
４６…右画像                        ４７…平均滞留位置
【図１】
0003577042.tif 000002
【図２】
0003577042.tif 000003
【図３】
0003577042.tif 000004
【図４】
0003577042.tif 000005
【図５】
0003577042.tif 000006
【図６】
0003577042.tif 000007
【図７】
0003577042.tif 000008
【図８】
0003577042.tif 000009
【図９】
0003577042.tif 000010
【図１０】
0003577042.tif 000011
【図１１】
0003577042.tif 000012