(57)【特許請求の範囲】
【請求項１】
立体表示と平面表示とのどちらか一方で画像を表示する表示装置であって、
当該表示装置の動きを検出する検出部と、
前記検出部が検出した当該表示装置の動きを示す値と、あらかじめ設定された閾値とを比較する判定部と、
前記判定部における比較の結果に基づいて、視差を有する少なくとも２つの画像データと、視差の無い画像データとのどちらか一方を生成して出力する画像生成部と、
複数の単位画素から構成され、前記画像生成部が出力した画像データを表示する表示パネルと、
前記表示パネルに表示された画像データの、該表示パネルから外部への投影を制御する画像振分手段とを有し、
前記検出部は、前記表示装置の動きとして当該表示装置の傾き角を検出し、
前記判定部は、
立体表示が可能な所望の位置となる前記傾き角を観察者が初期値として記録する機能と、前期表示装置の動きに応じた前記傾き角と、あらかじめ設定された傾き角閾値とを比較し、前記傾き角が前記傾き角閾値よりも小さな場合は立体表示を決定し、それ以外の場合は平面表示を決定する第１の判定機能と、
前記初期値に基づいて、平面表示から立体表示に移行する傾き角を２Ｄ−３Ｄ戻り値として設定し、前記平面表示時に、前記表示装置の動きに応じた前記傾き角と、設定された前記２Ｄ−３Ｄ戻り値とを比較し、前記傾き角が前記２Ｄ−３Ｄ戻り値内の場合は立体表示を決定し、それ以外の場合は、平面表示を決定する第２の判定機能とを有し、
前記画像生成部は、前記判定部の第１あるいは第２の判定機能により、立体表示が決定された場合は、前記視差を有する画像データを生成し、平面表示が決定された場合は、前記視差の無い画像データを生成する表示装置。
【請求項２】
請求項１に記載の表示装置において、
前記検出部は、加速度センサまたは地磁気センサまたはジャイロセンサの角速度センサであることを特徴とする表示装置。
【請求項３】
請求項１または請求項２に記載の表示装置において、
前記検出部は、前記表示装置の動きとして、さらに当該表示装置の移動量を検出し、
前記判定部は、
立体表示が可能な所望の位置となる前記移動量を初期値としてさらに記録する機能と、
前記表示装置の動きに応じた前記移動量と、あらかじめ設定された移動量閾値とをさらに比較し、前記傾き角が前記傾き角閾値よりも小さく、前記移動量が前記移動量閾値よりも小さい場合は立体表示を決定し、それ以外の場合は、平面表示を決定する第１の判定機能と、
前記初期値に基づいて、平面表示から立体表示に移行する移動量を２Ｄ−３Ｄ戻り値としてさらに設定し、前記平面表示時に、前記表示装置の動きに応じた前記傾き角と移動量を、設定された前記２Ｄ−３Ｄ戻り値とを比較し、前記傾き角と移動量が前記２Ｄ−３Ｄ戻り値内の場合は立体表示を決定し、それ以外の場合は、平面表示を決定する第２の判定機能と
を有し、
前記画像生成部は、前記判定部の第１あるいは第２の判定機能により、立体表示が決定された場合は、前記視差を有する画像データを生成し、平面表示が決定された場合は、前記視差の無い画像データを生成する表示装置。
【請求項４】
請求項３に記載の表示装置において、
前記検出部は、加速度センサまたは超音波センサまたは小型カメラであることを特徴とする表示装置。
【請求項５】
立体表示と平面表示とのどちらか一方で画像を表示する表示装置であって、
当該表示装置の動きを検出する検出部と、
前記検出部が検出した当該表示装置の動きを示す値と、あらかじめ設定された閾値とを比較する判定部と、
前記判定部における比較の結果に基づいて、視差を有する少なくとも２つの画像データと、視差の無い画像データとのどちらか一方を生成して出力する画像生成部と、
複数の単位画素から構成され、前記画像生成部が出力した画像データを表示する表示パネルと、
前記表示パネルに表示された画像データの、該表示パネルから外部への投影を制御する画像振分手段とを有し、
前記判定部は、
立体表示が可能な所望の位置となる前記動きを示す値を観察者が初期値として記録する機能と、
前記表示装置の動きに応じた前記動きを示す値と、あらかじめ設定された閾値とを比較し、前記動きを示す値が前記閾値よりも小さい場合は立体表示を決定し、それ以外の場合は平面表示を決定する第１の判定機能と、
前記初期値に基づいて、平面表示から立体表示移行する動きを示す値を２Ｄ−３Ｄ戻り値として設定し、前記平面表示時に、前記表示装置の動きに応じた前記動きを示す値と、設定された前記２Ｄ−３Ｄ戻り値を比較し、前記動きを示す値が２Ｄ−３Ｄ戻り値内の場合は立体表示を決定し、それ以外の場合は、平面表示を決定する第２の判定機能とを有し、
前記画像生成部は、前記判定部の第１あるいは第２の判定機能により、立体表示が決定された場合は、前記視差を有する画像データを生成し、平面表示が決定された場合は、前記視差の無い画像データを生成し、前記検出部が検出した当該表示装置の動きの方向に応じた視点用画像を選択して出力する表示装置。
【請求項６】
請求項１乃至５のいずれか１項に記載の表示装置において、
前記立体表示と前記平面表示とが互いに同じ解像度であることを特徴とする表示装置。
【請求項７】
請求項１乃至５のいずれか１項に記載の表示装置において、
前記立体表示が、２つ以上の視点画像の表示を行うことを特徴とする表示装置。
【請求項８】
請求項１乃至７のいずれか１項に記載の表示装置において、
前記画像振分手段は、電気光学素子からなることを特徴とする表示装置。
【請求項９】
請求項８に記載に表示装置において、
前記画像振分手段は、前記判定部の第１あるいは第２の判定機能により、立体表示が決定された場合はオンとし、平面表示が決定された場合はオフとすることを特徴とする表示装置。
【請求項１０】
請求項１乃至７のいずれか１項に記載の表示装置において、
前記画像生成部は、前記判定部における比較の結果にかかわらず、前記視差を有する画像データを生成し、
前記表示パネルは、前記判定部の第１あるいは第２の判定機能により、立体表示が決定された場合は、前記単位画素を用いて少なくとも２つの視差を有する前記画像データを表示し、平面表示が決定された場合は、前記単位画素を用いて前記視差を有する画像データのうち１つの画像データを表示することを特徴とする表示装置。
【請求項１１】
請求項１乃至９のいずれか１項に記載の表示装置において、
前記表示パネルは、各単位画素を右眼用画素と左眼用画素とし、少なくとも２つの単位画素から構成される立体画素ユニットを用いて前記画像データを表示することを特徴とする表示装置。
【請求項１２】
請求項１乃至９のいずれか１項に記載の表示装置において、
前記表示パネルは、前記単位画素に右眼用画素と左眼用画素とを水平方向に設け、１つの単位画素から構成される立体画素ユニットを用いて前記画像データを表示することを特徴とする表示装置。
【請求項１３】
請求項１乃至９のいずれか１項に記載の表示装置において、
前記表示パネルは、少なくとも３つ以上の単位画素から構成される各視点用画素を立体画素ユニットとして水平方向に設け、該立体画素ユニットを用いて前記画像データを表示することを特徴とする表示装置。
【請求項１４】
請求項１乃至９のいずれか１項に記載の表示装置において、
前記表示パネルは、少なくとも３つ以上の各視点用画素を１つの単位画素内に立体画素ユニットとして水平方向に設け、１つの単位画素から構成される立体画素ユニットを用いて前記画像データを表示することを特徴とする表示装置。
【請求項１５】
請求項１乃至１４のいずれか１項に記載の表示装置において、
前記画像生成部は、奥行き情報を持つ表示対象データに対して、該奥行き情報に応じた視差量を展開することを特徴とする表示装置。
【請求項１６】
請求項１乃至１４のいずれか１項に記載の表示装置において、
前記画像生成部は、左眼用と中央用と右眼用との３つの画像を有する表示対象データに対して、前記少なくとも２つの視差を有する画像データを該左眼用の画像データおよび右眼用の画像データとし、前記視差の無い画像データを該中央用の画像データとすることを
特徴とする表示装置。
【請求項１７】
請求項１乃至１６のいずれか１項に記載の表示装置において、
前記画像生成部は、前記視差の無い画像データを生成する場合、前記検出部が検出した当該表示装置の動きの方向に関わらず、外部から設定された観察者の利き目に応じて任意の視点用画像を選択して出力することを特徴とする表示装置。
【請求項１８】
立体表示と平面表示とのどちらか一方で画像を表示する表示装置であって、
当該表示装置の動きを検出する検出部と、
前記検出部が検出した当該表示装置の動きを示す値と、あらかじめ設定された閾値とを比較する判定部と、
前記判定部における比較の結果に基づいて、視差を有する少なくとも２つの画像データと、視差の無い画像データとのどちらか一方を生成して出力する画像生成部と、
複数の単位画素から構成され、前記画像生成部が出力した画像データを表示する表示パネルと、
前記表示パネルに表示された画像データの、該表示パネルから外部への投影を制御する画像振分手段とを有し、
前記視差を有する画像データは、少なくとも１つの右眼用データと少なくとも１つの左目用データからなり、
前記画像生成部は、前記判定部における比較の結果、前記表示装置の動きを示す値が前記閾値よりも小さな場合、前記視差を有する画像データを生成し、それ以外の場合は、前記検出部が検出した当該表示装置の動きの方向が、観察者から観て右方向の場合、あるいは、傾きが、観察者から見て、パネルの左端部が該観察者に近づく回転のときは、左眼用データを視差のない画像データとして出力し、
前記検出部が検出した当該表示装置の動きの方向が、観察者から観て左方向の場合、あるいは、傾きが、観察者から見て、パネルの右端部が該観察者に近づく回転のときは、右眼用データを視差のない画像データとして出力する表示装置。
【請求項１９】
請求項１乃至１８のいずれか１項に記載の表示装置を用いた端末装置。
【請求項２０】
画像を表示装置に表示する表示方法であって、
前記表示装置の動きを検出する検出処理と、
前記検出した当該表示装置の動きを示す値と、あらかじめ設定された閾値とを比較する比較処理と、
前記比較の結果に基づいて、視差を有する少なくとも２つの画像データと、視差の無い画像データとのどちらか一方を生成して出力する生成処理と、
前記生成した画像データを表示する処理とを有し、
前記検出処理は、前記表示装置の動きとして該表示装置の傾き角と移動量とを検出し、該検出した傾き角と移動量とから前記表示装置の動きを示す値を算出し、
前記比較処理は、前記算出した、前記表示装置の動きを示す値と、前記閾値とを比較し、
前記生成処理は、前記比較の結果、前記表示装置の動きを示す値が前記閾値よりも小さな場合、前記視差を有する画像データを生成し、それ以外の場合は、前記視差の無い画像データを生成し、前記表示装置の動きを示す値に応じた視点用画像を選択して出力する表示方法。
【請求項２１】
画像を表示装置へ、立体表示、あるいは平面表示のどちらか一方で表示する表示方法であって、
前記表示装置の動きを検出する検出処理と、
前記検出した動きを初期値として記録する記録処理と、
前記記録した初期値に基づいて平面表示から立体表示に移行する２Ｄ−３Ｄ戻り値を設定する設定処理と、
前記検出した当該表示装置の動きと、あらかじめ設定された閾値とを比較する第１の比較処理と、
前記検出した当該表示装置の動きと、２Ｄ−３Ｄ戻り値とを比較する第２の比較処理と、
前記第１及び第２の比較の結果に基づいて、画像表示を立体表示と平面表示のどちらか一方に決定する判定処理と、
前記判定の結果に基づいて、視差を有する少なくとも２つの画像データと、視差の無い画像データとのどちらか一方を生成する生成処理と、
前記生成した画像データを表示する処理とを有し、
前記検出処理は、前記表示装置の傾き角を検出し、
前記記録処理は、立体表示が可能な所望の位置となる前記検出した傾き角を初期値として記録し、
前記設定処理は、前記初期値に基づいて、平面表示から立体表示に移行する傾き角を２Ｄ−３Ｄ戻り値として設定し、
前記第１の比較処理は、前記検出した傾き角と、あらかじめ設定された傾き角閾値とを
比較し、
前記判定処理は、第１の比較結果、前記傾き角が前記傾き角閾値よりも小さい場合は立体表示を決定し、それ以外の場合は、平面表示を決定し、
前記第２の比較処理は、前記検出した傾き角と、２Ｄ−３Ｄ戻り値とを比較し、
平面表示時、前記判定処理は、第２の比較結果、前記傾き角が前記２Ｄ−３Ｄ戻り値内の場合は立体表示を決定し、それ以外の場合は、平面表示を決定し、
前記生成処理は、前記判定の結果、立体表示が決定された場合は、前記視差を有する画像データを生成し、平面表示が決定された場合は、前記視差の無い画像データを生成する表示方法。
【請求項２２】
請求項２１に記載の表示方法において、
前記検出処理は、さらに前記表示装置の移動量を検出し、
前記記録処理は、立体表示が可能な所望の位置となる前記検出した移動量をさらに初期値として記録し、
前記設定処理は、前記初期値に基づいて、平面表示から立体表示に移行する傾き角を２Ｄ−３Ｄ戻り値として設定し、
前記第１の比較処理は、前記検出した移動量と、あらかじめ設定された移動量閾値とをさらに比較し、
前記判定処理は、第１の比較結果、前記傾き角が前記傾き角閾値よりも小さく、前記移動量が前記移動量閾値よりも小さい場合は立体表示を決定し、それ以外の場合は、平面表示を決定し、
前記第２の比較処理は、前記検出した移動量と、２Ｄ−３Ｄ戻り値とをさらに比較し、
平面表示時、前記判定処理は、第２の比較結果、前記傾き角と移動量が前記２Ｄ−３Ｄ戻り値内の場合は立体表示を決定し、それ以外の場合は、平面表示を決定し、
前記生成処理は、前記判定の結果、立体表示が決定された場合は、前記視差を有する画像データを生成し、平面表示が決定された場合は、前記視差の無い画像データを生成する表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を表示する表示装置および表示方法に関し、特に立体画像を表示する表示装置、端末装置および表示方法に関する。
【背景技術】
【０００２】
近年、携帯電話やＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）の発展にともない、表示装置の小型化、高精細化が進んでいる。一方で、携帯機器の新たな付加価値として立体表示装置が注目されている。立体画像を表示する手段としては、両眼視差を有する画像をそれぞれ左右の眼に投影する方式が一般的であり、画像振分手段としてレンチキュラレンズやパララックスバリアを表示パネルに備える方式の立体表示装置がある。また、右眼と左眼とに集光する２つの光源を備え、左右の視差像を右眼と左眼とに交互に投影する時分割方式の立体表示装置がある（例えば、特許文献１参照。）。
【０００３】
これらの方式の立体表示装置は、特殊な眼鏡を装着する必要がなく、眼鏡を装着する煩わしさがない点で携帯機器への搭載に適している。実際にパララックスバリア方式の立体表示装置を搭載した携帯電話が製品化されている（例えば、非特許文献1参照。）。
【０００４】
ただし、これらの方式では視差画像は空間的に分離して投影されるため、観察者が正規に立体として見える場所は限定される。観察者が立体として見える領域は立体視域と呼ばれ、立体視域は立体表示装置の設計時に決定される。観察者の両眼の位置が立体視域から外れると、左眼用画像と右眼用画像が重なって見えたり（いわゆる二重画像）、奥行き感が逆になった映像が見えたり（いわゆる逆視）するという問題がある。
【０００５】
ここで、立体視域について図を参照し説明する。
【０００６】
はじめに、画像振分手段にパララックスバリアを用いたときの立体視域について説明する。
【０００７】
図１にパララックスバリア方式の立体表示装置において、観察者の左右両眼に視差画像を投影する光学モデルの一例を示す。図１は、観察者の頭上から見た断面図であり、観察者の両眼（右眼５５Ｒと左眼５５Ｌ）が表示装置の表示面より最適観察距離ＯＤ離れた観察面３０に位置し、かつ観察者の両眼中心との表示パネルの中心とが一致する位置関係となっている。
【０００８】
表示パネル（図示なし）は、マトリックス状に配列された画素となる光変調素子群から構成されており（例えば液晶パネル）、図１には、交互に並ぶ右眼用画素４Ｒと左眼用画素４Ｌとのうちパネル両端と中心との各画素のみ図示している。画像振分手段として機能するパララックスバリア６は、観察者から見て表示パネルの奥に配置されている。パララックスバリア６は、細い縦縞状の多数のスリット６ａが形成されたバリア（遮光板）であり、表示パネルの左眼用画素４Ｌと右眼用画素４Ｒとが並ぶ方向に対して、バリアの長手方向が直交するように配置されている。パララックスバリアのさらに奥には光源（図示なし：いわゆるバックライト）が設置され、光源から出た光はスリット６ａを通過し、表示パネル内の画素において強度が変調され観察者に向けて投影される。右眼用画素４Ｒ及び、左眼用画素４Ｌの投影方向は、スリット６ａの存在により制限される。ここで、各々のスリット６aから出た光のうち最も近い画素を通る光の軌跡を光線２０として図示すると、全ての右眼用画素４Ｒの投影像が重なる右眼領域７０Ｒと、全ての左眼用画素４Ｌの投影像が重なる左眼領域７０Ｌとが得られる。右眼領域７０Ｒでは右眼用画素４Ｒからの投影像しか観察できず、また左眼領域７０Ｌでは左眼用画素４Ｌからの投影像しか観察できない。そのため、観察者の右眼５５Ｒが右眼領域７０Ｒ内に位置し、左眼５５Ｌが左眼領域７０Ｌ内に位置しているとき、左右の眼に視差画像を投影すると観察者は立体画像として視認する。逆にいえば、観察者は、右眼５５Ｒが右眼領域７０Ｒ内に位置し、かつ左眼５５Ｌが左眼領域７０Ｌ内に位置しているときに所望の立体画像を観察できる。
【０００９】
図１の表示装置は、観察面３０において、右眼領域７０Ｒ、左眼領域７０Ｌの幅が最大になるように、各右眼用画素４Ｒと左眼用画素４Ｌ（幅Ｐ）の距離ＯＤにおける投影像（幅Ｐ’）が全て重なるように設計されている。この投影像の幅Ｐ’は、主にスリット６ａと画素との距離ｈ、画素ピッチＰ、最適観察距離ＯＤにより決定できる。Ｐ’を広げれば、右眼領域７０Ｒ、左眼領域７０Ｌの幅は広がるが、観察者の両眼は各々を任意の位置に置くことは不可能なので、立体画像を視認できる立体視域は必ずとも広がるわけではない。両眼の間隔をｅとすると、Ｐ’は両眼間隔ｅと等しくなるように設計することが好ましい。Ｐ’が両眼間隔ｅよりも小さな場合には、立体視が行える領域はＰ’に制限される。また、Ｐ’が両眼間隔ｅよりも大きな場合においては、両方の眼が右眼領域７０Ｒ、あるいは、左眼領域７０Ｌに位置する領域が増えるだけである。また、観察者が立体視を行えるパネルとの最短距離ＮＤや最長距離ＦＤも、両眼間隔ｅの制約と右眼領域７０Ｒ、左眼領域７０Ｌとから決まる。
【００１０】
以上のように、視差画像の投影によって観察者が立体を視認する領域は、画像振分手段により光学的に決定される右眼領域７０Ｒ、左眼領域７０Ｌだけではなく、観察者の両眼間隔ｅから決まる。そのため、立体視域を観察者の右眼５５Ｒと左眼５５Ｌとの中点Ｍの領域で表現することもある。
【００１１】
図２に示すように、この場合の立体視域７１はダイヤモンド状の四角形となる。ただし、図２の立体視域７１は、観察者の両眼を含む平面と表示パネル面との平行関係が保たれるときのみ有効である。
【００１２】
また、図３に、画像振分手段として機能するパララックスバリア６が、観察者から見て表示パネルの手前に配置されている場合の光学モデルを示す。観察者の表示パネルの奥に配置されている例と同様に、観察者は最適観察位置ＯＤに位置し、観察面３０において、左右各画素（幅Ｐ）の投影像（幅Ｐ’）は重なるように設計されている。各々の画素から出た光のうち最も近いスリット６aを通る光の軌跡を光線２０として図示することで、全ての右眼用画素４Ｒの投影像が重なる右眼領域７０Ｒと、全ての左眼用画素４Ｌの投影像が重なる左眼領域７０Ｌとが得られる。
【００１３】
次に、画像振分手段にレンチキュラレンズを用いたときの立体視域を図４に示す。
【００１４】
図４は図３において、画像振分手段がかわっただけである。
【００１５】
レンチキュラレンズ方式の光学モデルを用いて、観察者が立体視域から外れた場合について考察する。
【００１６】
図５は、観察者が右に移動し、右眼５５Ｒと左眼５５Ｌとの中点Ｍを用いて表現した立体視域７１を外れたときの観察者の頭上から見た断面図である。観察者の右眼５５Ｒは右眼領域７０Ｒ外に位置し、左眼５５Ｌが右眼領域７０Ｒ内に位置する。このとき、観察者の右眼５５Ｒの位置には、左眼用画素４Ｌ及び、右眼用画素４Ｒから出た光の中で、最も近いシリンドリカルレンズ３ａの主点（頂点）を通る光線２０は届かない。しかしながら、左眼用画素４Ｌから出た光の中で２番目に近いシリンドリカルレンズ３ａの主点（頂点）を通る光に着目し、光線２１として図示すると、第２の左眼領域７２が得られる。つまり、図５においては、観察者は右眼５５Ｒで左眼用画素４Ｌからの投影像を観察し、左眼５５Ｌで右眼用画素４Ｒからの投影像を観察することになり、視差画像を観察すると飛び出しと奥行きとが反対となり（いわゆる逆視）所望の立体像を観察できない。
【００１７】
上記の問題を解決するために、観察者の位置を常時検出し、検出された位置に応じて右眼用画素と左眼用画素の表示を入れ換える方法が提案されている（例えば、特許文献２参照。）。
【００１８】
また、カメラを用いて観察者を撮影し、得られる顔画像から視点位置を検出し、視差画像を調整する方法が提案されている（例えば、特許文献３参照。）。
【００１９】
また、視点位置検出方法においては、赤外光照射装置とカメラを用い、瞳孔部分を検出する方法が提案されている（例えば、特許文献４参照。）。
【先行技術文献】
【特許文献】
【００２０】
【特許文献１】特開２００１−６６５４７号公報（３〜４頁、図６）
【特許文献２】特開平９−１５２６６８号公報
【特許文献３】特開２０００−１５２２８５号公報
【特許文献４】特開平１１−７２６９７号公報
【非特許文献】
【００２１】
【非特許文献１】日経エレクトロニクス，２００３年１月６日，Ｎｏ．８３８号，ｐ．２６−２７
【発明の概要】
【発明が解決しようとする課題】
【００２２】
携帯型の立体表示装置においては、観察者は自らの体を使い立体視に最適な位置に表示装置を調整できる反面、装置の操作や乗り物の揺れなどの外的要因により表示装置自体が傾いたり移動したりすることがある。
【００２３】
表示装置が動いた結果、観察者の両眼位置が立体視域から外れることがある。観察者は二重画像や逆視を見る不快感が伴うばかりでなく、場合によっては、繰り返して正規の立体と二重画像や逆視を見ることにより疲労感が発生し、めまいや乗り物酔いのような症状に陥る場合もある。
【００２４】
しかしながら、一般的な視点追従方式では、カメラや視点位置検出の画像処理機能、赤外線照射装置を搭載しなくてはならず、装置の大型化や高度な画像処理能力の要求などにより、携帯型の立体表示装置に適さないという問題点がある。
【００２５】
本発明は、上述した課題を解決する表示装置、端末装置および表示方法を提供することを目的とする。
【課題を解決するための手段】
【００２６】
本発明の表示装置は、
画像を表示する表示装置であって、
当該表示装置の動きを検出し、該検出した動きに応じて、立体表示と平面表示とのどちらか一方で前記画像を表示する。
【００２７】
また、本発明の表示方法は、
画像を表示装置に表示する表示方法であって、
前記表示装置の動きを検出する処理と、
前記検出した動きに応じて、立体表示と平面表示とのどちらか一方で前記画像を表示する処理とを有する。
【発明の効果】
【００２８】
以上説明したように本発明においては、表示装置の動きを検出し、検出した動きに応じて、立体表示と平面表示とのどちらか一方で画像を表示する構成としたため、観察者の意図に反して表示装置が動くことにより観察者が立体視域から外れた場合であっても、容易に逆視画像や二重画像を観察することを防ぎ、観察者に不快感や疲労感を与えることを避けることができる。
【図面の簡単な説明】
【００２９】
【図１】パララックスバリアが表示パネルの奥に設置されば場合のパララックスバリア方式の立体表示装置の光学モデルを示す図である。
【図２】観察者の右眼と左眼との中点Ｍを用いて、立体視が行える領域をＭの領域として表現した図である。
【図３】パララックスバリアが表示パネルの手前に設置されば場合のパララックスバリア方式の立体表示装置の光学モデルを示す図である。
【図４】レンチキュラレンズ方式の立体表示装置の光学モデルを示す図である。
【図５】観察者が立体視域から外れた場合を説明する光学モデルを示す図である。
【図６】本発明に係る表示装置の正面図である。
【図７】本発明に係る表示装置の断面図である。
【図８】本発明の第１の実施の形態における表示コントローラの機能ブロック図である。
【図９（ａ）】本発明の第１、第２の実施形態における画像データのイメージである。
【図９（ｂ）】本発明の第１、第２の実施形態における画像データのイメージである。
【図１０】観察者が本発明の表示装置を最適位置で、視差画像を観察するときの光学モデルである。
【図１１】本発明の表示装置において、画素の投影像の幅が観察者の両眼間隔と等しくない場合の光学モデルである。
【図１２（ａ）】本発明の表示装置において、画像振分手段の中心スリットと端のスリットとの距離が両眼間隔と等しくない場合の光学モデルである。
【図１２（ｂ）】本発明の表示装置において、画像振分手段の中心スリットと端のスリットとの距離が両眼間隔と等しくない場合の光学モデルである。
【図１３（ａ）】本発明の表示装置がＸ軸に沿って移動したときの光学モデルである。
【図１３（ｂ）】本発明の表示装置がＸ軸に沿って移動したときの光学モデルである。
【図１４（ａ）】本発明の表示装置がＺ軸に沿って移動したときの光学モデルである。
【図１４（ｂ）】本発明の表示装置がＺ軸に沿って移動したときの光学モデルである。
【図１５（ａ）】本発明の表示装置がＸ軸およびＺ軸に沿って移動したときの光学モデルである。
【図１５（ｂ）】本発明の表示装置がＸ軸およびＺ軸に沿って移動したときの光学モデルである。
【図１６（ａ）】本発明の表示装置がＹ軸を回転軸として傾いたときの光学モデルである。
【図１６（ｂ）】本発明の表示装置がＹ軸を回転軸として傾いたときの光学モデルである。
【図１７】本発明の表示装置に加速度センサを設置したときの一例を示す図である。
【図１８】加速度センサを設置した本発明の表示装置において、Ｘ軸回りの回転をした場合の重力加速度を基準に傾き角を算出する説明図である。
【図１９】加速度センサを設置した本発明の表示装置において、Ｙ軸回りの回転をした場合の重力加速度を基準に傾き角を算出する説明図である。
【図２０】本発明の第１、第３、第４、第６の実施形態における動作を説明するためのフローチャートである。
【図２１】本発明の第２の実施形態における機能ブロック図である。
【図２２】本発明の第２、第３、第５、第７の実施形態における動作を説明するためのフローチャートである。
【図２３】本発明の第３、第４の実施形態における機能ブロック図である。
【図２４（ａ）】本発明の第３の実施形態における画像生成部で生成される画像データのイメージ図である。
【図２４（ｂ）】本発明の第３の実施形態における画像生成部で生成される画像データのイメージ図である。
【図２５】本発明の第３、第４の実施形態における機能ブロック図である。
【図２６（ａ）】本発明の第４の実施形態において用いる表示パネルの画素構造を説明する模式図である。
【図２６（ｂ）】本発明の第４の実施形態において用いる表示パネルの画素構造を説明する模式図である。
【図２７】本発明の第４の実施形態において用いる表示パネルとレンチキュラレンズの位置関係を示す模式図である。
【図２８（ａ）】本発明の第４、第５の実施形態における画像生成部で生成される画像データのイメージ図である。
【図２８（ｂ）】本発明の第４、第５の実施形態における画像生成部で生成される画像データのイメージ図である。
【図２８（ｃ）】本発明の第４、第５の実施形態における画像生成部で生成される画像データのイメージ図である。
【図２８（ｄ）】本発明の第４、第５の実施形態における画像生成部で生成される画像データのイメージ図である。
【図２９】本発明の第６の実施形態において用いる表示パネルの画素構造を説明する模式図である。
【図３０】本発明の第６の実施形態において最適観察距離離れた平面に向けて画像を投影する光学モデルを示す図である。
【図３１】本発明の第６の実施形態において、観察者の右眼が領域７４Ｂ、左眼が領域７４Ｃに位置するときの光学モデルを示す図である。
【図３２（ａ）】発明の第６、第７の実施形態における画像生成部で生成される画像データのイメージ図である。
【図３２（ｂ）】発明の第６、第７の実施形態における画像生成部で生成される画像データのイメージ図である。
【図３３】本発明の第６の実施形態において、観察者が様々な組み合わせで視差画像を観察するときの光学モデルを示す図である。
【発明を実施するための形態】
【００３０】
次に、本発明の実施の形態について図面を参照して詳細に説明する。
（第１の実施の形態）
［構成の説明］
図６は、本発明を適用した表示装置の一例を正面から見た図である。
【００３１】
図７は、図６中の線ｂにおける筐体断面を観察者の頭上から見た断面図である。
【００３２】
本発明の表示装置は、表示パネル１１、画像振分手段１３、表示コントローラ１２、操作スイッチ１４が筐体１０内に収まっている。
【００３３】
表示パネル１１は、複数の単位画素がマトリックス状に形成された透過型液晶パネルであり、立体表示を行うときは、観察者の両眼が並ぶ方向と平行となる方向である水平方向に並ぶ単位画素を、交互に左眼用画素４Ｌ、右眼用画素４Ｒとして使用する。なお、図７において、表示パネル１１の両端および中央以外の左眼用画素４Ｌ、右眼用画素４Ｒは図示を省略している。
【００３４】
画像振分手段１３は、パララックス・バリアパターンを表示する電気光学素子であり、たとえば、透過型液晶パネルが適用可能である。パララックス・バリアパターンが表示されたとき、スリットとして働く透過部が表示パネル１１に対して垂直となり、右眼用画素４Ｒと左眼用画素４Ｌとの間に位置するように表示パネル１１の上に配置される。表示パネル１１との距離、スリットのピッチは、観察者の最適観察位置を定めたとき、表示パネル１１の全て右眼用画素４Ｒからの投影画像は観察者５０の右眼５５Ｒに投影され、表示パネル１１の全ての左眼用画素４Ｌからの投影画像は観察者５０の左眼５５Ｌに投影されるように設計するのが好ましい。なお、パララックス・バリアパターンを表示しないときは、バリアとして機能しないため、観察者の両眼には、通常のパネル表示と同様に、右眼用左眼用両方の画素からの投影画像が投影される。この画像振分手段１３により、表示パネル１１に表示された画像の、表示パネル１１から外部への投影が制御される。
【００３５】
表示コントローラ１２は、表示パネル１１を駆動する機能、バリアを制御する機能、筐体１０の動きを検出し、立体視の判別を行う機能を有する。
【００３６】
図８を用いて、表示コントローラ１２について説明する。
【００３７】
図８は、本発明の第１の実施の形態における表示コントローラ１２の機能ブロック図である。
【００３８】
表示コントローラ１２は、画像生成部１００、検出部８０、判定部９０、表示パネル駆動回路１１０、画像振分制御回路１１１から構成される。
【００３９】
検出部８０は、筐体１０が動いた結果生じる変位を検出するためのセンサで構成される。筐体１０の変位とは、傾き角の変化や移動量であり、例えば、加速度センサや地磁気センサ等のセンサを用いると、重力加速度や地磁気を基準として算出できる。
【００４０】
判定部９０は、検出部８０のセンサから得られる傾き角、移動量に関する情報と、表示パネル１１の立体視域に関する情報等を保持するメモリ９１を備え、また、検出部８０のセンサから適宜得られる情報とメモリ９１に蓄えられた情報とから観察者の両眼が立体視域内であるかを判定するための演算器９２を備える。
【００４１】
画像生成部１００は、表示パネル１１に送る画像データを生成する機能を備え、演算器１０１、データ蓄積部１０２、メモリ１０３、外部ＩＦ（Ｉｎｔｅｒｆａｃｅ：インターフェイス）１０４から構成される。また、画像生成部１００は判定部９０からの信号に応じて、視差を有する画像データ（３Ｄデータ）生成、あるいは、視差の無い画像データ（２Ｄデータ）生成する機能を備えている。
【００４２】
画像データの生成は、データ蓄積部１０２の表示対象データを演算器１０１で読み出して画像処理を施して行うが、表示対象データが奥行き情報を含む３次元データであり、演算器１０１でレンダリング処理を施すことによって２次元画像データを生成する方法が好ましい。立体表示に用いる３Ｄデータ、すなわち、視差を有する左右両眼用の２次元画像データは、観察者の左右両眼に相当する仮想の２視点を設定し、各々レンダリング処理を施して生成する。一方、平面表示に用いる２Ｄデータ、すなわち、視差の無い画像データは、観察者の両眼の中央に相当する１視点を設定し、レンダリング処理を施し生成する。ただし、視差画像を用いて立体表示を行うときは、表示パネル１１の単位画素を水平方向に、右眼用画素、左眼用画素として交互に用いる。このため、立体表示用に生成する各２次元画像データの水平方向の解像度は、表示パネル１１の半分となる。つまり、生成する画像データのイメージを図示すると、３Ｄデータは図９（ａ）、２Ｄデータは図９（ｂ）のようになる。
【００４３】
前述のように、画像データの生成は、奥行き情報を含む３次元データより生成する方法が好ましいが、データ蓄積部１０２に予めレンダリング処理を施した表示対象データを蓄積しておき、選択的に読み出してもよい。すなわち、奥行き情報を含まない図９（ａ）および図９（ｂ）に相当する２次元データの形式で蓄積し、立体表示が平面表示に応じて選択し、読み出す方法でもよい。この方法では、レンダリング処理が不要となるため、レンダリングを要する方法よりも演算器１０１の処理能力や演算速度が低くてよい。このため、画像生成部１００を安価に構成できる利点がある。
【００４４】
上記のようにして、画像生成部１００は、判定部９０からの信号に応じて、２Ｄ／３Ｄデータを生成し、表示パネル駆動回路１１０へ出力する。これと同時に、画像生成部１００は、立体表示時はバリアを有効にする信号を、また平面表示時のときはバリアを無効にする信号を画像振分制御回路１１１に送る機能を備える。
【００４５】
表示パネル駆動回路１１０は、表示パネル１１を駆動するために必要な信号（同期信号等）生成する機能を備え、画像振分制御回路１１１では、パララックス・バリアパターンを表示するための信号を生成する機能を備える。
【００４６】
なお、画像振分手段１３は、パララックス・バリアパターンをオン／オフする電気光学素子のかわりに、例えば、複数の液晶レンズを用いてレンチキュラレンズを構成した、電気信号によりオン／オフできる電気光学素子を使用してもよい。
【００４７】
さらに、図８において説明の便宜上、判定部９０と画像生成部１００とに演算器９２，１０１が独立して存在するが、同一の演算器であってもよい。また、適用する携帯型表示装置の他の機能（例えば通信制御）を処理する演算器や、他のプロセッサ内に処理機能を設けてもよい。
【００４８】
次に、立体視域内に観察者の両眼が位置するかどうかを判定する方法について図を参照し説明する。なお、以降の説明において、画像振分手段はパララックス・バリアパターンを表示する電気光学素子を用いるが、前述の通りレンチキュラレンズを構成する手段でもよい。レンチキュラレンズの場合は、以下の説明において、パララックスバリアをレンチキュラレンズに、スリットをレンズの主点に置き換えればよい。
【００４９】
図１０は、観察者５０が本発明の表示装置において立体視を行うとき、すなわち、視差画像を観察するときの光学モデルの一例である。
【００５０】
説明のため、ＸＹＺ直交座標系を以下のように定義する。観察者５０の両眼が並ぶ方向であり、表示パネル１１の水平方向である方向をＸ軸と定める。また、表示装置の投影面（あるいは平行関係にある画素がマトリックス状に形成される面）とＸ軸と直交する方向をＹ軸と定める。また、表示装置の投影面と直角に交わる軸をＺ軸とする。ＸＹＺ軸の正負の方向は、図１０に示す通りとする。
【００５１】
図１０において、観察者５０と表示装置とは立体視を行う際に最も適した位置関係にあり、画像振分手段１３と観察者の両眼５５Ｒ及び５５Ｌとまでの距離を最適観察距離ＯＤとし、距離ＯＤ離れたＸＹ平面を最適観察面とする。
【００５２】
また、画像振分手段１３は、パララックスバリアとして機能している状態であり、中心のスリットと端のスリットとの間の距離をＷＳとする。
【００５３】
表示パネル１１は、複数の単位画素を含み、Ｘ軸方向に交互に左眼用画素４Ｌ、右眼用画素４Ｒとして使用しているが、中心の部分の左眼用画素４Ｌ、右眼用画素４Ｒのみを図示している。単位画素のピッチ（幅）をＰとしたとき、各画素から最短に位置するスリットから投影される投影像の最適観察面における幅をＰ’とする。また、表示パネル１１の両端と中心との左眼用画素および右眼用画素から投影像Ｐ’を形成する光線をそれぞれ２２Ｒ、２３Ｒ、２４Ｒ、２５Ｒ、２２Ｌ、２３Ｌ、２４Ｌ、２５Ｌとする。
【００５４】
図１０のように、表示パネル１１と画像振分手段１３とは、最適観察面で全ての右眼用画素の投影像Ｐ’が重なり、また、全ての左眼用画素の投影像Ｐ’が重なるように設計されることが好ましい。さらに、Ｐ’は観察者の両眼間隔eと等しく設定することが好ましい。
【００５５】
なお、最適観察距離ＯＤは設計値である。上記の設計条件では、観察者が適切に立体視を行える右眼領域７０Ｒおよび左眼領域７０Ｌは、図１０に示すように、画像振分手段の両端のスリットから出る光線２２Ｒ、２３Ｒ、２４Ｒ、２２Ｌ、２３Ｌ、２４Ｌから決まる。
【００５６】
図１１に画素の投影像の幅Ｐ’が観察者の両眼間隔eと等しくない場合の光学モデルを示す。
【００５７】
背景技術で前述したように、Ｐ’＜ｅのときは立体視域が狭くなる。また、Ｐ’＞ｅのときは右眼領域７０Ｒおよび左眼領域７０Ｌを広げることが可能となるが、観察者の両眼を任意の位置に置くことは不可能であるため、両眼間隔制限により立体視域が広がるわけではない。しかしながら、Ｐ’＜ｅの場合においては、例えば、画素とパララックスバリアとの距離が長くてもよく、表示装置を設計する上で構成要素の選択肢が増えるという利点がある。また、Ｐ’＞ｅの場合においては、観察者５０が最適な観察位置からずれたときに、左右の眼に反対の視差画像が投影され、飛び出しと奥行きとが反対となって見える（いわゆる逆視）領域を抑制する効果がある。以後の説明では、Ｐ’＝ｅと設定された表示パネル１１を光学モデルに用いるが、Ｐ’＜ｅあるいはＰ’＞ｅの表示パネルも本発明に適用することは可能である。
【００５８】
また、図１０は、ＷＳと投影像の幅Ｐ’とが等しく設計された場合、すなわちＷＳと観察者の両眼間隔ｅとが等しい光学モデルである。
【００５９】
図１２にＷＳ＞ｅ（＝Ｐ’）、ＷＳ＜ｅ（＝Ｐ’）としたときの光学モデル示す。図１２（ａ）は、ＷＳ＞ｅの場合であり、図１２（ｂ）は、ＷＳ＜ｅの場合である。
【００６０】
観察者５０が立体視を行える右眼領域７０Ｒおよび左眼領域７０Ｌは、同じ最適観察距離ＯＤで設計したとき、ＷＳ＞eの場合、前後方向に狭くなり、ＷＳ＜eの場合は前後方向に広がる。ｅは、成人の両眼間隔の平均値から、６２ｍｍから６５ｍｍとして設計することが適当である。e=６３ｍｍを採用すると、図１０の立体表示装置の横方向はＷＳ×２＝１２６ｍｍ程度となる。そこで、携帯型の表示装置としてのサイズを考慮すると、ＷＳ＞e、ＷＳ＝e、ＷＳ＜eのいずれも適用範囲である。以後の説明においては、便宜上ＷＳ＝ｅの光学モデルを用いる。
【００６１】
図１０〜図１２（ａ）、（ｂ）に示したように、右眼用の投影像が重なる右眼領域７０Ｒ、左眼用の投影像が重なる左眼領域７０Ｌは、設計条件によって決定される。設計条件により領域の大きさは変化するが、出来上がった表示装置においては、立体表示を行うときに変化するものでなく表示装置固有の領域である。したがって、設計条件から導き出した右眼領域７０Ｒ、左眼領域７０Ｌ、あるいは出来上がった表示装置から測定によって求めた右眼領域７０Ｒ、左眼領域７０Ｌを立体視域のデータとして記憶しておき、観察者の両眼位置のデータを取得し、演算器を用いてそれらを比較すれば、立体視域内に観察者の両眼が位置するかどうかを判定できる。ここで、立体視域と観察者の両眼位置とは相対的な関係である。そのため、観察者の両眼が最適観察位置から動かなければ、表示装置筐体１０の動きに応じて立体視の可否は決定される。本発明の表示装置は、立体視域のデータを記憶し、表示装置筐体１０の動きを検出することによって、観察者の両眼が立体視域内に位置するかどうかを判定する。
【００６２】
立体視の判定においては、右眼領域７０Ｒ、左眼領域７０Ｌを形成する菱形の境界情報を記憶しておくことが好ましい。図１０〜図１２（ａ）、（ｂ）に示した菱形の境界情報は、図１０で示した光線２２Ｒ、２３Ｒ、２４Ｒ、２２Ｌ、２３Ｌ、２４Ｌで決定されている。
【００６３】
しかしながら、例えば、左右用の各画素の投影像Ｐ’が全て重ならない場合、図１０で示した光線２５Ｒ、２５Ｌもそれぞれ領域７０Ｒ、７０Ｌの境界となり、さらに、左右の投影像が重なり合い二重画像が観える領域（３Ｄクロストーク領域）の大きさによっては、これを考慮した光線で決めることも可能である。そのため、結果として境界情報が菱形以外の多角形でも構わない。しかし、表示装置の設計条件にもよるが、前記した右眼及び左眼領域情報である多角形の境界情報がなくとも判定は可能である。以下に、一例を説明する。
【００６４】
図１０に示す筐体１０と観察者５０との位置関係を最適観察位置とし、図を参照して、観察者５０が移動せずに筐体１０が動いたときの立体視が可能な範囲について説明する。
【００６５】
図１３は、筐体１０がＸ軸に沿って平行に移動したときの立体視の限界を示す図である。
【００６６】
図１３（ａ）はＸ軸の正（＋）の方向へ、図１３（ｂ）はＸ軸の負（−）の方向に移動したときの図である。観察者５０が適切に立体視を行えるのは、右眼５５Ｒが右眼領域７０Ｒにあり、かつ左眼５５Ｌが左眼領域７０Ｌにあるときである。そのため、Ｘ軸の正（＋）の方向へ移動量の限界は表示装置から出る光線２２Ｒ、２３Ｒと両眼が重なるときとなる。また、Ｘ軸の負（−）の方向へ移動量の限界は表示装置から出る光線２２Ｌ、２３Ｌと両眼が重なるときである。
【００６７】
図１４は、筐体１０がＺ軸に沿って平行に移動したときの立体視の限界を示す図である。
【００６８】
図１４（ａ）は筐体１０がＺ軸の正（＋）の方向に移動したときの図である。また、図１４（ｂ）は筐体１０がＺ軸の負（−）の方向に移動したときの図である。Ｚ軸の正（＋）の方向へ移動量の限界は表示装置から出る光線２３Ｒ、２３Ｌと両眼が重なるときとなる。また、Ｚ軸の負（−）の方向へ移動量の限界は表示装置から出る光線２２Ｌ、２２Ｌと両眼が重なるときである。
【００６９】
図１５は、筐体１０が表示パネル１１面と観察者５０の両眼を含む観察面との平行関係を維持したまま、Ｘ軸方向、Ｚ軸方向に移動したときの立体視の限界を示す図である。
【００７０】
図１５（ａ）は筐体１０がＸ軸の正（＋）の方向ならびにＺ軸の正（＋）の方向に移動したときであり、観察者５０が適切に立体視を行える限界は、光線２３Ｒと右眼５５Ｒとが重なるときである。また、図１５（ｂ）は筐体１０がＸ軸の負（−）の方向ならびにＺ軸の負（−）の方向に移動したときであり、観察者５０が適切に立体視を行える限界は、光線２２Ｒと右眼５５Ｒとが重なるときである。
【００７１】
以上、ＷＳ＝ｅとした図１３（ａ）、（ｂ）〜図１５（ａ）、（ｂ）用いて立体視の限界条件を説明した。ＷＳ＜e、ＷＳ＞eの場合も、ＸＺ平面において、Ｚ軸と光線２４Ｒあるいは光線２４Ｌとのなす角が、Ｚ軸と光線２２Ｒあるいは光線２２Ｌとのなす角よりも大きくならない限り、光線２４Ｒ、光線２４Ｌは、立体視の限界を決定する条件に寄与しない。したがって、立体視の限界を決定する条件は、表１となる。
【００７２】
【表１】
0005497882.tif 000002
【００７３】
光線２２Ｒ、２３Ｒ、２４Ｒ、及び光線２２Ｌ、２３Ｌ、２４Ｌと、表示面との傾きは、立体表示装置を設計したときに決定される。このため、最適観察位置からの筐体１０の移動量が得られれば、立体視の可否を算出できる。
【００７４】
上記の条件は筐体１０が傾くことなく、すなわち、表示パネル１１面と観察者両眼の位置する面とが平行関係を維持しているときである。筐体１０が傾いたときの立体視の限界は、傾き角を加味した算出が必要となる。
【００７５】
図１６は、筐体１０が表示パネル１１表面を中心として、Ｙ軸を回転軸として傾いた場合の立体視の限界を示す図である。図１６（ａ）はＹ軸の正（＋）の方向をみて左回りに回転したときの図であり、観察者５０が適切に立体視を行える限界は、光線２３Ｌと左眼５５Ｌとが重なるときである。また、図１６（ｂ）はＹ軸の正（＋）の方向をみて右回りに回転したときの図であり、観察者５０が適切に立体視を行える限界は、光線２３Ｒと右眼５５Ｒとが重なるときである。光線２３Ｒ、２３Ｌの傾きは表示装置の設計で決定されているため、筐体１０の最適観察位置からの傾き角が得られれば、立体視の可否を算出できる。
【００７６】
以上のように、最適観察位置からの筐体１０の移動量と傾き角、ならびに、設計で決まる光線２２Ｒ、光線２２Ｌ、光線２３Ｒ、光線２３Ｌのパネル表面との角度によって、立体視の判定を行うことができる。
【００７７】
次に、検出部８０の傾き角検出８１、移動量検出８２の具体的な検出手段について説明する。
【００７８】
傾き角と移動量の検出の一例として、３軸加速度センサを用いる場合を挙げて説明する。
【００７９】
加速度センサの出力には、我々が知りたい傾き角と移動量以外にさまざまな信号が含まれている。その主なものは、重力加速度による地軸に向かう加速度成分および筐体を持つ人体と筐体とが同時に受ける振動等の使用環境要因のノイズ成分である。使用環境が原因の振動等のノイズ成分は、フィルタにより除去する事が有効である。フィルタとしては、デジタルフィルタが最適である。しかし、環境と使用者の特性によっては、フーリエ変換もしくはウェーブレット変換により周波数領域の特性を利用するフィルタが有効な場合も多い。以下では、これらのフィルタリング処理が施された後の信号の検出方法について述べる。
【００８０】
加速度センサを筐体１０に設置した様子を図１７に示す。
【００８１】
パネルのレンチキュラレンズ３の座標系と、加速度センサの座標系とを図１７のように定義する。すなわち、Ｚ軸の正方向（図で矢印のある方向）に観察者が位置し、Ｚ軸の負方向に存在するパネルを観察している。また、観察者から見たパネルの上方向はＹ軸の正方向、パネルの下方向はＹ軸の負方向である。パネルは地軸の鉛直方向から傾いて使用される事が多く、この状態を図１８に示す。
【００８２】
図１８は、図１７のＹ軸、Ｚ軸を含む平面から見た図であり、パネルと地軸の鉛直方向の傾き角度をφ、重力加速度ベクトルをＧで示す。
【００８３】
移動量は、加速度センサ出力の時間積分により速度を算出し、算出された速度を時間積分する事により算出できる。ただし、２つの点に注意する必要がある。第１点は、積分によるノイズの蓄積である。第２点は、重力加速度の影響である。
【００８４】
まず、第１点のノイズの蓄積について説明する。検出された加速度にノイズが混入すると、それが単発のノイズであっても、積分の効果により、速度や移動量が大きく変化することである。すなわち、単発のノイズαが混入した信号を積分すると、そのノイズ以降の速度がα・Δｔだけ変化する（ここで、Δｔは、ノイズ混入から積分終了までの時間を示す）。移動量の計算においては、ノイズ混入以降、α・（Δｔ）２だけ変化する。このように、積分により、特に移動量に大きな変化が生じる。
【００８５】
このノイズに対しては、次の２つの方法が有効である。第１の方法は、ノイズを平滑化するフィルタを利用することである。第２の方法は、積分時間を短く設定することである。すなわち、積分時間が短いとΔｔも小さくなるため、ノイズにより移動量の変動が小さくなる。短い積分時間で得られた短い移動量を加算することにより、所望の時間での移動量を計算できる。
【００８６】
次の第２点の重力加速度に関し、述べる。重力加速度は常に存在するため、全ての加速度センサ出力に混入している。このため、重力加速度の影響を排除するには、例えば、初期状態における加速度センサの出力ａｘ０，ａｙ０，ａｚ０を記録しておき、それ以降の加速度出力センサの出力と初期状態の加速度センサの出力との差分のみを積分において利用する。
【００８７】
このような方法により、重力加速度の影響を受けずに、移動量を算出することが出来る。尚、Ｚ軸回りの回転が生じていない条件では、ａｘへの重力加速度の影響はない。このため、Ｚ軸回りの回転が観測されない場合は、初期状態のａｙ０およびａｚ０のみを記録し差分を取る事により、算出をより簡単にすることが可能である。
【００８８】
傾き角に関しては、いくつかの傾きが考えられる。まず、飛行機や車の挙動に習い、ピッチ・ロール・ヨーの傾き、すなわち、各座標軸回りの回転を考える。すべての傾きは、これらピッチ・ロール・ヨーの組み合わせで表現できるため、基本的なピッチ・ロール・ヨーが解析できると全ての傾きを容易に解析できる。
【００８９】
ここで、座標系とピッチ・ロール・ヨーの関係を次のように定義する。ピッチは、Ｘ軸回りの回転とする。すなわち、観察者から見て、パネルの上端部（＋Ｙ側）が近づくか、パネルの下端部（−Ｙ側）が近づくかという回転である。また、ロールは、Ｙ軸回りの回転とする。すなわち、観察者から見て、パネルの右端部（＋Ｘ側）が近づくか、パネルの左端部（−Ｘ側）が近づくかという回転である。また、ヨーは、Ｚ軸回りの回転である。すなわち、観察者から正面から観察した平面内で、パネルが観察者の視線の方向を中心に回転するような回転である。
【００９０】
ここで、ピッチは次のようにして求めることが可能である。
【００９１】
図１８にＹ軸、Ｚ軸を含む平面、並びにその面内の重力加速度Ｇを示す。
【００９２】
変位は、Ｘ軸回りの回転のみとする。Ｙ軸方向の加速度センサは、重力加速度のうちＹ軸に沿った成分を検出する。すなわち、ＧのＹ軸への射影である、−Ｇ・ｃｏｓ（φ）を検出する。観察者に静止状態で、立体視を行いやすい姿勢で筐体１０を保持してもらい、その時の加速度センサの出力を初期値としてメモリすると、このＧのＹ軸への射影成分が検出できる。この観察容易な初期状態でのY軸方向の加速度センサの出力をａｙ０とすると、ａｙ０＝−Ｇ・ｃｏｓ（φ）である。重力加速度は、地上でほぼ一定の値を取るため、観察容易な初期状態でのピッチ角度Φ０は、Φ０＝ａｒｃｃｏｓ（−ａｙ０／Ｇ）で求めることが出来る。
【００９３】
同様にして、傾き角が変化した時のピッチ角度Φは、その時々の加速度センサの出力ａｙを用いて、Φ＝ａｒｃｃｏｓ（−ａｙ／Ｇ）で与えられる。このピッチ角度Φにより、初期状態のピッチ角度Φ０との変化や、時々刻々でのピッチ角度の変化を得ることが出来る。
【００９４】
さて、立体視の視認性に大きく影響を与える、ロールを求める方法も、ピッチを求める方法と同様である。この場合、変異は、Ｙ軸回りの回転のみとする。Ｙ軸方向の重力加速度成分は、図１８と同様であり、−Ｇ・ｃｏｓ（Φ）のまま変化しない。一方、Ｚ軸方向の重力加速度成分は、Ｙ軸回りの回転がない図１８の状態では、−Ｇ・ｓｉｎ（Φ）であるが、Ｙ軸回りの回転が発生すると、Ｚ軸方向の成分とＸ軸方向の成分とに分かれる。この様子を、図１９に示す。
【００９５】
図１９で、破線で示したＸ軸、Ｚ軸は、Ｙ軸回りの回転が発生する前の軸方向である。この時、重力加速度のＹ軸と垂直な成分は、Ｚ軸の負方向にあり、−Ｇ・ｓｉｎ（Φ）である。さて、Ｙ軸回りの角度βの回転を考える。この時、Ｘ軸およびＺ軸は、図１９のＸ’とＺ’の位置にそれぞれ移動する。Ｚ’軸上の重力加速度成分は、−Ｇ・ｓｉｎ（Φ）・ｃｏｓ（β）となる。ピッチの時の初期状態と同様に、Ｚ軸方向の初期状態を求めておくと、β＝０でのＺ軸上の重力加速度成分である−Ｇ・ｓｉｎ（Φ）がＺ軸の加速度センサの出力ａｚ０として検出される。傾き角度が変化した時のロール角度βは、その時々の加速度センサの出力ａｚを用いて、β＝ａｒｃｃｏｓ｛−ａｚ／［Ｇ・ｓｉｎ（Φ）］｝で与えられる。このロール角度βにより、時々刻々でのロール角度の変化を得ることが出来る。
【００９６】
この例では、３軸加速度センサを例として示したが、ピッチ・ロール等は２軸の加速度センサでも検出できることは自明である。
【００９７】
以上、傾き角および移動量の検出の一例を説明したが、傾き角の検出に地磁気センサを用い、移動量の検出に加速度センサを用いてもよい。３軸地磁気センサによる傾き角の検出方法は、前述の加速度センサによる傾き角の説明において、重力加速度を地磁気に置き換えることで説明できる。また、傾き角の検出には、角速度センサあるいはジャイロセンサ、移動量の検出には、小型カメラあるいは超音波発信源と超音波センサを適用すること可能である。
［動作の説明］
次に、本発明の実施の形態の動作について図２０のフローチャートを参照して説明する。
【００９８】
はじめに、立体表示が開始されると同時に、筐体１０の動きを検出するセンサも起動する。
【００９９】
次に、観察者を最適観察位置に導くために基準画面を表示する。なお、第1の実施の形態において立体表示とは、画像振分手段の機能をオンとし（例えば、パララックス・バリアパターン表示）、表示パネル１１には図９（ａ）に示すような視差を有する画像データを送り、各々の画像を観察者の左右の眼に投影することである。
【０１００】
ステップ１にて観察者は基準画面の表示が立体として良好に見られるよう筐体１０の位置、傾きを調整する。
【０１０１】
次に、ステップ２にて観察者が筐体１０の位置、傾きを調整した状態における検出部８０の出力を初期値として記録し、所望の立体表示のコンテンツを再生する。
【０１０２】
ステップ３にて検出部８０からの出力と初期値の記録とから所定期間ΔＴの移動量、傾き角を算出する。
【０１０３】
算出された移動量、傾き角をもとにステップ４にて立体視の判定を行う。これは、算出された移動量、傾き角が、あらかじめ設定されたそれぞれの閾値よりも大きいかどうかに基づいて判定される。例えば、算出された移動量があらかじめ設定された移動量閾値よりも小さな場合、立体視が可能と判定される。また、算出された傾き角があらかじめ設定された傾き角閾値よりも小さな場合、立体視が可能と判定される。立体視が可能と判定された場合、続けてステップ５にて立体表示を行い、ステップ７に進む。
【０１０４】
立体視が不可能と判定された場合、ステップ６にて平面表示に切り換える。第1の実施の形態において平面表示とは、画像振分手段の機能をオフにし（例えば、パララックス・バリアパターン非表示）、表示パネル１１には、図９（ｂ）に示すような視差のない画像データを送り、視差のない画像を観察者に投影することである。平面表示に切り換えた後は、ステップ３に戻り、再び所定期間ΔＴの移動量、傾き角を算出する。
【０１０５】
ステップ７では、筐体１０の動きを算出する際に基準とする初期値を更新するか判定する。ステップ７の判定結果がＮｏの場合はステップ３に戻る。また、ステップ７の判定結果がＹｅｓの場合はステップ２に戻り、このときの検出部８０の出力をステップ１で記録した初期値と置き換えて記録する。すなわち、初期値を更新する。
【０１０６】
以後、上記のステップが繰り返される。
【０１０７】
前述の動作フローにおいて、所定期間ΔＴは、表示パネル１１のフレーム周期程度から０．２秒程度の間に設定するのが好ましい。図２０のフローチャートよりわかるように、ΔＴが長いと筐体１０の動きに対して、立体表示から平面表示への切り換えが遅れる。その結果として観察者が逆視や二重画像を観たのちに平面表示へ切換わることになる。
【０１０８】
このため、ΔＴは短い方がよいが、表示パネル１１の１フレーム周期内で複数回の立体表示と平面表示を切換えようとしても表示画面全体へ画像データを切り換える時間がない。つまり、ΔＴをフレーム周期よりも短くしても筐体１０の動きへの切り換え追従に関しては、あまり効果がない。
【０１０９】
なお、ステップ７は、観察者の姿勢の変化や、表示装置の持ち方を変えたりするときに起こる筐体位置および傾きの変化に対応するための機能である。したがって、ステップ７の判定は、通過毎に行う必要はない。通過回数をカウントし、適当なカウント値になったときに観察者に表示装置の操作スイッチ等から判定を入力させてもよいし、所定のカウント値のとき自動的にＹｅｓとなるようにしてもよい。ただし、移動量の検出に加速度センサを用いるときには、積算誤差をクリアする働きがあるため初期値の更新は適当に行うことが好ましい。
【０１１０】
また、ステップ４における立体視の判定条件は、先に図１３（ａ）、（ｂ）〜図１６（ａ）、（ｂ）を用いて説明したように、表示装置の設計で決定される右眼領域７０Ｒ、左眼領域７０Ｌと、同様に設計時に設定された観察者両眼の最適位置から導かれる立体視の限界条件である。しかしながら、上記の設計条件から導かれた立体視の判定条件は、初期設定に適用し、ステップ１において観察者が立体視を行いながら、筐体１０を移動させたり、傾けたりして、立体視の限界を探り、立体視の限界条件を記憶させる機能（立体視の限界時の移動量や傾き量あるいは、関連するセンサ出力を記録させる機能）を備えてもよい。この場合、観察者に作業負担がかかるが、表示装置の設計パラメータである両眼間隔、観察距離ではなく、自身の両眼間隔と好みの観察距離が反映され、個々の観察者に適した立体表示と平面表示との切り換えが可能になる。さらに、一度、記録させた立体視の限界条件を表示装置電源が切断されても保存する機能を備えれば、観察者が表示装置を使用する度に立体視の限界条件を記録させる作業せずに済む。
（第２の実施の形態）
第２の実施の形態は、前述の第１の実施の形態と同じ構成であり、観察者の両眼が立体視域にあるか判定する方法も同じである。しかし、観察者の両眼が立体視外と判定され平面表示に切り換えてから、再び立体表示を行うまでの動作が異なる。より具体的には、一旦、平面表示に切り換えたのちは、筐体１０の位置および傾きが記録された初期値近傍に、戻ってから、立体表示を再開することを特徴とする。立体表示再開する初期値近傍の値（以降、２Ｄ→３Ｄ戻り値と呼ぶ）は、例えば、表示画面に大／中／小と選択肢を示し（例えば「大」は初期値の±１０％、「中」は初期値の±５％、「小」は初期値の±２％とする）、観察者が好みに合わせて設定をすることが好ましい。すなわち、第２の実施の形態においては、第１の実施の形態に比べ、２Ｄ→３Ｄ戻り値を設定する機能が加わり、動作が異なる。
【０１１１】
図２１は本発明の第２の実施の形態における機能ブロック図である。第１の実施の形態と同様に、表示パネル１１、画像振分手段１３、表示コントローラ１２から構成され、表示コントローラ１２は、画像生成部１００、検出部８０、判定部９０、表示パネル駆動回路１１０、画像振分制御回路１１１から構成される。図２１に示すように、第２の実施の形態の構成は、前述のように、判定部９０のなかに２Ｄ→３Ｄ戻り値設定９３機能が追加された以外は、第１の実施の形態において説明したとおりである。また、観察者の両眼が立体視域にあるか判定する方法も第１の実施の形態において説明したとおりである。
【０１１２】
２Ｄ→３Ｄ戻り値については、例えば、図１０に示した右眼領域７０Ｒ、左眼領域７０Ｌを最適な観察者の右目位置、左目位置を中心として縮小した戻り値の判定用領域を算出し判定にもちいればよい。
【０１１３】
第２の実施の形態の動作について図２２のフローチャートを参照して説明する。
【０１１４】
はじめに、立体表示が開始されると同時に、筐体１０の動きを検出するセンサも起動する。
【０１１５】
次に、観察者を最適観察位置に導くために基準画面を表示する。なお、第２の実施の形態において立体表示とは、第１の実施の形態と同じく画像振分手段の機能をオンにし（例えば、パララックス・バリアパターン表示）、表示パネルには図９（ａ）に示すような視差を有する画像データを送り、各々の画像を観察者の左右の眼に投影することである。
【０１１６】
ステップ１１にて観察者は基準画面の表示が立体として良好に見られるよう筐体１０の位置、傾きを調整する。また、平面表示から立体表示に切り換えるときの２Ｄ→３Ｄ戻り値設定９３を行う。
【０１１７】
次に、ステップ１２にて観察者が筐体１０の位置、傾きを調整した状態における検出部８０の出力を初期値として記録し、所望の立体表示のコンテンツを再生する。
【０１１８】
ステップ１３にて検出部８０からの出力と初期値の記録から所定期間ΔＴの移動量、傾き角を算出する。
【０１１９】
算出された移動量、傾き角をもとにステップ１４にて立体視の判定を行う。これは、第１の実施の形態と同様に、算出された移動量、傾き角が、あらかじめ設定されたそれぞれの閾値よりも大きいかどうかに基づいて判定される。例えば、算出された移動量があらかじめ設定された移動量閾値よりも小さな場合、立体視が可能と判定される。また、算出された傾き角があらかじめ設定された傾き角閾値よりも小さな場合、立体視が可能と判定される。立体視が可能と判定された場合、続けてステップ１５にて立体表示を行い、ステップ１７に進む。
【０１２０】
立体視が不可能と判定された場合、ステップ１６にて平面表示に切り換える。第２の実施の形態において平面表示とは、第１の実施の形態と同じく画像振分手段の機能をオフにし（例えば、パララックス・バリアパターン非表示）、表示パネルには、図９（ｂ）に示すような視差のない画像データを送り、視差のない画像を観察者に投影することである。
【０１２１】
平面表示に切り換えた後は、ステップ１８に進み、所定期間ΔＴの移動量、傾き角を算出する。次に、ステップ１９にて、算出された移動量、傾き角が設定された２Ｄ→３Ｄ戻り値であるか判定を行う。ここで、２Ｄ→３Ｄ戻り値内であれば、ステップ１５にて立体表示に切り換える。２Ｄ→３Ｄ戻り値内でなければ、平面表示のままステップ１８に戻る。つまり、２Ｄ→３Ｄ戻り値内にならない限り、ステップ１８とステップ１９を繰り返し立体表示に復旧しない。
【０１２２】
検出部８０の出力が２Ｄ→３Ｄ戻り値内になり、立体表示に切換わった後は、ステップ１７に進む。
【０１２３】
ステップ１７では、筐体１０の動きを算出する際に基準とする初期値を更新するか判定する。ステップ１７の判定結果がＮｏの場合はステップ１３に戻る。また、ステップ１７の判定結果がＹｅｓの場合はステップ１２に戻り、このときの検出部の出力をステップ１１で記録した初期値と置き換えて記録する。すなわち、初期値を更新する。
【０１２４】
以後、上記のステップが繰り返される。
【０１２５】
図２２を用いて説明した前述の動作フローにおいて、第１の実施の形態の動作で説明したとおり、所定期間ΔＴは、表示パネル１１のフレーム周期程度から０．２秒程度の間に設定するのが好ましい。また、ステップ１７の判定は、第１の実施の形態の動作で説明したとおり、通過毎に行う必要はない。通過回数をカウントし、適当なカウント値になったときに観察者に表示装置の操作スイッチ等から判定を入力させてもよいし、所定のカウント値のとき自動的にＹｅｓとなるようにしてもよい。さらに、ステップ１４に立体視の判定条件を第１の実施の形態の動作で説明したとおり、観察者が立体視の限界条件を決定し記憶させる機能を備えてもよい。
【０１２６】
以上の説明のように、第２の実施の形態は第１の実施の形態に比べ、処理が複雑となり機能も追加されているが、立体表示に戻すポイントを観察者が自ら設定するため、立体表示に戻るときの違和感を抑える効果や、立体表示と平面表示が頻繁に切換わることによって生じる不快感を抑制する効果が生じる。
（第３の実施の形態）
第３の実施の形態は、画像振分手段として、前述の第１および２の実施の形態において用いた電気信号によりオン／オフできる電気光学素子（例えば、パララックス・バリアパターンを表示する透過型液晶パネル）ではなく、通常の光学素子（パララックスバリア、レンチキュラレンズ等）を用いること特徴とする。画像振分手段以外の他の構成については、第１の実施の形態と同じである。
【０１２７】
図２３に第３の実施の形態の機能ブロック図を示す。
【０１２８】
第３の実施の形態は第１の実施の形態と同様に、表示パネル１１、画像振分手段１３、表示コントローラ１２から構成される。しかし、前述のように画像振分手段が通常の光学素子であるため、表示コントローラ１２は、第１の実施の形態（図８）のから画像振分制御回路１１１を省いた構成となる。
【０１２９】
図２３に示すように、第３の実施の形態の表示コントローラ１２は、画像生成部１００、検出部８０、判定部９０、表示パネル駆動回路１１０から構成され、各々構成要素の役割については第１の実施の形態と同様であるため説明省略する。
【０１３０】
ただし、画像生成部１００で生成する平面表示に用いる２Ｄデータが第１の実施の形態と異なる。第３の実施の形態においては、画像振分機能をオフできない。そのため、平面表示を行うときも立体表示と同様に、表示パネルの単位画素を水平方向に、右眼用画素、左眼用画素として交互に用いることになる。このため、平面表示用に生成する各２次元画像データの水平方向の解像度も表示パネルの半分となる。画像データの生成は、第１の実施の形態と同様に、奥行き情報を含む３次元データにレンダリング処理を施す方法が好ましく、立体表示用３Ｄデータは、観察者の両眼に相当する仮想の２視点を設定し、一方、平面表示用の２Ｄデータは、観察者の両眼の中央に相当する１視点を設定しレンダリング処理を施し生成する。前述のように生成する画像データのイメージを図示すると、３Ｄデータは図２４（ａ）、２Ｄデータは図２４（ｂ）のようになる。
【０１３１】
第１の実施の形態と同様に、画像データの生成は、奥行き情報を含む３次元データより生成する方法が好ましいが、データ蓄積部１０２に予めレンダリング処理を施した図２４（ａ）、（ｂ）に示すような表示対象データを蓄積しておき、選択的に読み出してもよい。レンダリング処理が不要となるため、レンダリングを要する方法より演算器１０１の処理能力や演算速度が低くてよい。このため、画像生成部１００を安価に構成できる利点がある。
【０１３２】
第３の実施の形態の動作は、第１の実施の形態と共通点が多いため、第１の実施の形態の動作を説明した図２０のフローチャートを用いて差異のみを説明する。
【０１３３】
第３の実施の形態においては、ステップ６で平面表示に切換えるとき、画像振分手段の制御を行わない。また、第３の実施の形態における平面表示は、図２４（ａ）に示す右眼画像を左右両画素へ送る、あるいは、左眼画像を左右両画素へ送る、または、図２４（ｂ）に示す画像データを送ることにより視差のない画像を観察者に投影することである。つまり、左右両画素へ送る画像データを互いに同一のデータとすることである。
【０１３４】
ここで、ステップ１６の平面表示は、図１０及び図１３（ａ）、（ｂ）〜図１６（ａ）、（ｂ）の説明時の座標系を用いて、判定時の筐体１０の移動方向がＸ軸の負の方向、あるいは、傾きが左回転のときは、左眼用データを左右両画素に送るとよい。また、判定時の筐体１０の移動方向がＸ軸の正の方向、あるいは、傾きが右回転のときは、左眼用データを左右両画素に送るとよい。
【０１３５】
前述のようにデータを切り換えることで、立体表示から平面表示の切り換わるときの違和感を減少させる効果が生まれる。ただし、我々の調査によると、観察者によっては、立体表示から平面表示に切り換るとき、筐体１０の移動方向や傾き方向に関わらず、右目用データあるいは左目用データに切り換る方が自然に感じるというケースも見られた。本ケースで観察者が自然に感じるデータは、観察者の利き目と合った表示データであった。このため、ステップ６の平面表示において、左右両画素に送るデータは、観察者自らが設定できる機能を設けることがより好ましい。
【０１３６】
また、第３の実施の形態の構成において、第２の実施の形態の適用も可能である。
【０１３７】
この場合、機能ブロック図は図２５に示すように、判定部９０に２Ｄ→３Ｄ戻り値設定９３機能が加わったものとなる。前述のように、第３の実施の形態の構成が第２の実施の形態の構成と異なる点は、画像振分制御回路１１１がない点と、画像生成部１００において生成される画像データが異なる点とである。動作においては、図２２に示すフローチャートが適用でき、先に説明したように、平面表示への切換え（ステップ１６）における画像振分手段の制御がない点と平面表示に適用する画像データ以外は、第２の実施の形態と同じ動作である。さらに、平面表示に適用する画像データを上記のように、筐体１０の移動、傾き方向に応じて選択したり、観察者の利き目と合わせて選択したりする機能を備えてもよい。
【０１３８】
以上、本発明の第１および第２の実施の形態と第３の実施の形態との違いについて説明した。第３の実施の形態は、第１および第２の実施の形態のように電気光学素子を使用しない。そのため、平面表示時の水平方向の解像度が劣るが、低コストと装置を製作でき、さらに装置筐体も若干小さくすることが可能であり、信頼性も高まるといった効果がある。
（第４の実施の形態）
第４の実施の形態における構成は、標準的な平面表示パネルの画像を構成する最小表示単位である１つの画素に相当する部分から、観察者の右眼と左眼とに異なる画像を投影できる表示パネルを用いることを特徴とする。前述の表示パネルとは、たとえば、特許文献１記載の時分割法式の立体表示パネルである。たとえば、標準的な平面表示パネルに対して、観察者の両眼の並ぶ方向である横方向に２倍の画素数を有する表示パネルである。
【０１３９】
第４の実施の形態を適用した表示装置の一例は、第１の実施の形態で説明したものと同様に図６に示す正面図となる。同様に、図６中の線ｂにおける筐体１０の断面図である図７に示すように、第４の実施の形態の表示装置は、表示パネル１１、画像振分手段１３、表示コントローラ１２、操作スイッチ１４が筐体１０内に収まっている。表示パネル１１は、複数の単位画素に形成された透過型液晶パネルであるが、標準的な平面表示パネルと比較し以下の特徴をもつ。
【０１４０】
図２６（a）は、標準的な平面表示パネルの画素構造の模式図であり、横方向に６個、縦方向に３個のマトリクス状に配列された画素４から構成され、画素４は各々の任意の階調表現が可能であり、入力されたデータに応じて６×３の画像を表現できる。ここで、画素４を正方形で表現しているが、説明の便宜上であり、６×３の画素から画像表現を行った際の縦横比率が等しければ、どのような形状でもよい。
【０１４１】
一方、図２６（ｂ）に、第４の実施の形態に用いる一例の表示パネルの画素構造を図２６（a）と比較したときの模式図を示す。標準的な平面表示パネルの画素４を縦に分割した形状の画素４１が、横方向に１２個、縦方向に３個のマトリクス状に配列する。画素４１は各々任意の階調表現が可能であり、１２×３の画像を表現することが可能であるが、縦に対して横が半分となっているため、表示画面サイズは、図２６（a）に示す標準的な平面表示パネルと同じである。ここで、画素４１を長方形で表現しているが、説明の便宜上であり、縦横の比率が２：１であれば、どのような形状でもよい。そして、立体表示を行うとき、画素４１は水平方向に交互に左眼用画素４Ｌ、右眼用画素４Ｒとして機能するように、図２７に示すように画像振分手段１３であるレンチキュラレンズを配置する。
【０１４２】
第４の実施の形態の機能ブロック図は、第３の実施の形態と同じ図２３となる。
【０１４３】
第４の実施の形態が第３の実施の形態と異なる点は、画像生成部１００において生成される画像データである。画像データの生成は、前述の実施の形態と同じく、データ蓄積部１０２の表示対象のデータが奥行き情報を含む３次元データであり、演算器１０１でレンダリング処理を施すことによって２次元画像データを生成する方法が好ましい。立体表示に用いる３Ｄデータ、すなわち、視差を有する左右両眼用の２次元画像データは、観察者の左右両眼に相当する仮想の２視点を設定し、各々レンダリング処理を施して生成する。
【０１４４】
一方、平面表示に用いる２Ｄデータ、すなわち、視差の無い画像データは、観察者の両眼の中央に相当する１視点を設定し、レンダリング処理を施し生成してもよい。第４の実施の形態の表示パネルは、水平方向に２倍の解像度を有するため、平面表示に用いる２Ｄデータとして、立体表示用にレンダリング処理を施した右眼用データを左右両眼用のデータとし、または、立体表示用にレンダリング処理を施した左眼用データを左右両眼用のデータとしてもよい。生成する３Ｄデータ、２Ｄデータの画像データのイメージを図示すると、図２８（ａ）から図２８（ｄ）のようになる。
【０１４５】
第４の実施の形態においても、データ蓄積部１０２に予めレンダリング処理を施した表示対象データ、すなわち、奥行き情報を含まない図２８（ａ）に相当する２次元データの形式で蓄積しておいてもよい。この形式は、２台のカメラを用いて撮影した実写コンテンツに多く用いられている。また、図２８（ａ）と図２８（ｄ）とに相当する２次元データを蓄積しておいてもよい。前述の通り、これらの場合、レンダリング処理が不要となるため、演算器１０１やメモリ１０３を安価に構成できる利点がある。
【０１４６】
なお、図２７において、画像振分手段１３にレンチキュラレンズ用いているが、パララックスバリアを用いることも可能である。パララックスバリアを用いることにより、レンチキュラレンズに比べて明るさが劣るものの、より低コストで表示装置を製作できる効果がある。
【０１４７】
立体視域内に観察者の両眼が位置するかを判定する方法については、第１の実施の形態で説明したとおりである。
【０１４８】
第４実施の形態の動作は、第３の実施の形態と同様に説明できる。第４実施の形態の動作と第３の実施の形態とが違う点は、図２０のフローチャートを参照し、ステップ６において適用する平面表示のデータのみである。
【０１４９】
第４の実施の形態においても、平面表示とは、第３の実施の形態と同様に、右眼用画素４Ｒと左眼用画素４Ｌとに送る画像データを互いに同一のデータとすることである。ただし、第３の実施の形態とは適用する画像データの水平方向の解像度が異なり、画像データのイメージを図示すると、図２８（ｂ）から図２８（ｄ）のいずれでもよい。
【０１５０】
そして、第３の実施ｎｏ形態と同様に、平面表示に適用する画像データを筐体１０の移動、傾き方向に応じて選択したり、観察者の利き目と合わせて選択したりする機能を備えてもよい。
［効果］
第４の実施の形態の立体表示装置においては、図２６の（ｂ）に模式図を示す表示パネル１１を使用するため平面表示と立体表示とで解像度が変わらない。このため、例えば、図２０のステップ４からステップ６の平面表示切り換え時に、第１の実施の形態および第２の実施の形態では、水平方向の解像度が変化することによって違和感が生じるのに対して、違和感が発生しないという効果がある。
【０１５１】
なお、本実施の形態では、１つの単位画素からなる立体画素ユニットを用いた構成として、単位画素に右眼用画素と左眼用画素とを水平方向に設けているが、これに限定されない。
【０１５２】
他の例として、バックライト制御等による光学振り分け手段を用いて、単位画素から時分割に出射された光線を観察者の左右の眼に視差画像を投影する方式でも同様に適用可能で、上記と同じ効果が得られる。
（第５の実施の形態）
第５の実施の形態は、前述の第４の実施の形態の構成において、第２の実施の形態の動作を適用したものである。
【０１５３】
第５の実施の形態における機能ブロック図は図２７と同じである。第５の実施の形態と第４の実施の形態との違いは、第５の実施の形態には、判定部９０のなかに第２の実施の形態で説明した２Ｄ→３Ｄ戻り値設定９３機能がある点のみであり、説明を略す。
【０１５４】
動作については、第２の実施の形態とほぼ同様である。図２２のフローチャートを参照し、第５の実施の形態と第２の実施の形態との違いは、画像振分手段のオン／オフ制御がない点と、ステップ１６において適用する画像データとである。第５の実施の形態において、平面表示に適用する画像データは、第４の実施の形態で説明とおり、図２８（ｂ）から図２８（ｄ）のいずれでもよい。また、適用する画像データを筐体１０の移動、傾き方向に応じて選択したり、観察者の利き目と合わせて選択したりする機能を備えてもよい。
［効果］
第５の実施の形態の立体表示装置においては、第４の実施の形態と同じく、平面表示と立体表示との解像度が同じであるため、解像度の変化による違和感が発生しないという効果、ならびに第２の実施の形態と同じく立体表示と平面表示とが頻繁に切換わることによって生じる不快感を抑制する効果がある。
（第６の実施の形態）
第６の実施の形態は、少なくとも３つ以上の各視点用画素を水平方向に設けた表示パネルを用いることを特徴とする。ここで、各視点用画素として各単位画素を用いることも可能であるが、本実施の形態の説明においては、標準的な平面表示パネルの画像を構成する最小表示単位である一つの単位画素に相当する部分に、少なくとも３つ以上の各視点用画素を水平方向に設けた表示パネルを用いて説明を行う。すなわち視点数をＮとすると、標準的な平面表示パネルの画像を構成する最小表示単位である一つの画素に相当する部分に、Ｎ個の画素を設けたことを特徴とする表示パネルを用いるということである。
【０１５５】
以下、Ｎ＝４の場合を例に第６の実施の形態について説明する。
【０１５６】
第６の実施の形態を適用した表示装置は、図６に示すように、表示パネル１１、画像振分手段１３、表示コントローラ１２、操作スイッチ１４が筐体１０内に収まっている。表示パネル１１は、前述のように、標準的な平面表示パネルの画像を構成する最小表示単位である１つの画素に相当する部分に４個の画素を有する。
【０１５７】
図２９は、第６の実施の形態に用いる表示パネルの画素構造の模式図である。
【０１５８】
図２６（a）に示す標準的な平面表示パネルの画素４に対して、第６の実施の形態では図２９に示すように、縦に４分割した形状の画素が、横方向に２４個、縦方向に３個のマトリクス状に配列する。図２９の各々の画素は、任意の階調表現が可能であり（例えば、液晶パネル）、２４×３の画像を表現することが可能であるが、縦に対して横が１／４となっているため、表示画面サイズは、図２６（a）に示す６×３の画素から構成される標準的な平面表示パネルを同じである。図２９において、画素を長方形で表現しているが、説明の便宜上であり、縦横で画素数の比率が４：１であれば、どのような形状でもよい。また、表示パネルを２４×３の画素から構成しているが、説明の便宜上であり、目的に応じて総画素数を定めればよい。これらの画素は、立体表示を行うとき、水平方向に第１の視点用画素４Ｄ、第２の視点用画素４Ｃ、第３の視点用画素４Ｂ、第４の視点用画素４Ａとして機能し、図２９に示すように画像振分手段１３であるレンチキュラレンズが配置される。
【０１５９】
第６の実施の形態に用いる表示パネルの立体表示について図を参照して説明する。
【０１６０】
図３０は、表示パネル面と平行関係にあり、最適観察距離ＯＤ離れた観察面３０に向けて画像を投影する光学モデルの断面図である。
【０１６１】
表示パネル（図示なし）は、前述のようにマトリックス状に配列された画素となる光変調素子群から構成されており（例えば液晶パネル）、図３０には、第１の視点用画素４Ｄ、第２の視点用画素４Ｃ、第３の視点用画素４Ｂ、第４の視点用画素４Ａが順番に並ぶ様子のみ図示している。
【０１６２】
画像振分手段として機能するレンチキュラレンズ３は、表示パネルの前面（観察面３０側）に配置され、表示パネルの背面（レンチキュラレンズ３と反対側）には、光源（図示なし：いわゆるバックライト）が設置される。レンチキュラレンズ３は、多数のシリンドリカルレンズ３ａが一次元配列されたレンズアレイである。シリンドリカルレンズ３ａは、かまぼこ状の凸部を有する一次元レンズであり、長手方向にレンズ効果は持たず、その直交方向である配列方向にのみレンズ効果を有する。レンチキュラレンズ３は、表示パネルの第１の視点用画素４Ｄ、第２の視点用画素４Ｃ、第３の視点用画素４Ｂ、第４の視点用画素４Ａが並ぶ方向に対して、シリンドリカルレンズ３ａの長手方向が直交するように配置されている。シリンドリカルレンズ３ａは、前記画素４Ｄ、４Ｃ、４Ｂ、４Ａを１組として、4画素１組に対して１個設けられる。
【０１６３】
各画素から出た光は、レンチキュラレンズ３により偏向され投影される。各々の画素から出た光の中で、最も近いシリンドリカルレンズ３ａの主点（頂点）を通る光に着目し、光線として図示する。すると、全ての第１の視点用画素４Ｄからの投影像が重なる領域７４Ｄと、全ての第２の視点用画素４Ｃからの投影像が重なる７４Ｃ、同様に第３の視点用画素４Ｂから領域７４Ｂ、第４の視点用画素４Ａから領域７４Ａが得られる。なお、各画素のピッチをＰとしたとき、最適観察距離ＯＤ離れた観察面３０における投影像の幅をＰ’とする。
【０１６４】
図３０は、観察者５０の右眼５５Ｒを領域７４Ｂ、左眼５５Ｌを領域７４Ｃに位置させたときのモデル図である。
【０１６５】
ここで、第２の視点用画素４Ｃと第３の視点用画素４Ｂに送られる画像データ間に視差があれば、観察者は立体画像として認識する。また、観察者の右眼を領域７４Ａ、左眼を領域７４Ｂに位置させてもよく、図３１に示すように、第６の実施の形態においては、観察者は領域７４Ａ〜領域７４Ｄの間で様々な組み合わせの視差画像を楽しむことが可能である。ここで、領域７４Ａから領域７４Ｄに投影する画像を、表示対象を４視点からレンダリング処理した画像とすれば、観察者は観察位置を変化させることにより、異なる角度からの立体画像を楽しむことができると同時に運動視差も付与されるため、より立体感を与える効果がある。
【０１６６】
第６の実施の形態の機能ブロックは、第４の実施の形態と同じであるため、図２３を参照とする。機能ブロック図は同じであるが、用いる表示パネルが異なるため、画像生成部１００において生成するデータは異なる。
【０１６７】
画像データの生成は、前述の実施の形態を同じく、データ蓄積部１０２の表示対象のデータが奥行き情報を含む３次元データであり、演算器１０１でレンダリング処理を施すことによって２次元画像データを生成する方法が好ましい。立体表示に用いる３Ｄデータ、すなわち、視差を有する４つの２次元画像データは、仮想の４視点を設定し、各々レンダリング処理を施して生成する。
【０１６８】
一方、平面表示に用いる２Ｄデータ、すなわち、視差の無い画像データは、観察者の両眼の中央に相当する１視点を設定し、レンダリング処理を施し生成してもよい。第６の実施形態の表示パネルは、水平方向に４倍の解像度を有するため、平面表示に用いる２Ｄデータとして、立体表示用にレンダリング処理を施したデータ（４画像）のうちの１つを利用してもよい。
【０１６９】
生成する３Ｄデータ、２Ｄデータの画像データのイメージを図３２（ａ）、図３２（ｂ）に示す。
【０１７０】
ここで、データ蓄積部に予めレンダリング処理を施した表示対象データ、すなわち、奥行き情報を含まない図３２（ａ）に相当する２次元データの形式で蓄積しておいてもよい。例えば４台分のカメラを用いて撮影した実写コンテンツにも対応できる。また、図３２（ａ）と図３２（ｂ）とに相当する２次元データを蓄積しておいてもよい。これらの場合、レンダリング処理が不要となるため、演算器やメモリを安価に構成できる利点がある。
【０１７１】
上記のようにして、画像生成部１００は、２Ｄ／３Ｄデータを判定部９０からの信号に応じて、２Ｄ／３Ｄデータを生成し、表示パネル駆動回路１１０へ出力する。
【０１７２】
なお、第６の実施の形態の構成において、画像振分手段１３にレンチキュラレンズ用いているが、パララックスバリアを用いることも可能である。パララックスバリアを用いることにより、レンチキュラレンズに比べて明るさが劣るものの、より低コストで表示装置を製作できる効果がある。
【０１７３】
第６の実施の形態において、立体視域内に観察者の両眼が位置するかを判定する条件は、図３０に示した菱形の領域７４Ａ〜７４Ｄの境界線情報を利用すればよい。ただし、図３１に示す領域７４Ａ〜領域７４Ｄの組み合わせが許容される。さらに、例えば、領域７４Ａと領域７４Ｂとに投影される画像にあまり視差がなく、二重画像が気にならなければ、図３３に示す両方みえる位置も許容される。したがって、本実施の形態においては、観察者が好みに合わせてように立体視の条件を決定することが好ましい。
［動作の説明］
第６の実施の形態の動作は、第３および第４実施形態の動作と同様に図２０に示すフローチャートで説明できる。動作において違う点は、ステップ６において適用する平面表示のデータが異なる点である。第６の実施の形態において平面表示とは、第１の視点用画素から第４の視点用画素に送る画像データを全て同じすることである。画像データのイメージを図示すると、図３２（ａ）のいずれか、あるいは、図３２（ｂ）となる。
【０１７４】
また、図２０のステップ４における立体視の判定は、他の実施の形態においても説明したように、設計条件から導かれた立体視の判定条件は初期設定に適用し、ステップ１において観察者が立体視を行いながら、筐体１０を移動させたり、傾けたりして、立体視の限界を探り、立体視の限界条件を記憶させてもよい。先の判定する条件の説明で述べたように、第６の実施の形態においては、特にこの方法が有効である。
【０１７５】
さらに、ステップ６の平面表示は、判定時の筐体１０の移動方向がＸ軸の負の方向、あるいは、傾きが左回転のときは、第１の視点用データを４種の画素に送るとよい。また、判定時の筐体の移動方向がＸ軸の正の方向、あるいは、傾きが右回転のときは、第４の視点用データを４種の画素に送るとよい。前述のようにデータを切り換えることで、立体表示から平面表示の切り換わるときの違和感を減少させる効果が生まれる。
【０１７６】
ただし、我々の調査によると、観察者によっては、立体表示から平面表示に切り換るとき、筐体１０の移動方向や傾き方向に関わらず、第１・第２視点用データあるいは第３・第４視点用データに切り換る方が自然に感じるというケースも見られた。本ケースで観察者が自然に感じるデータは、観察者の利き目と合った表示データであった。このため、ステップ６の平面表示において、４種の画素に送るデータは、観察者自らが設定できる機能を設けることが好ましい。
【０１７７】
以上、第６の実施の形態の説明を４視点分の画素を設けるパネルとして行ったが、視点数はＮ視点としてよい。その場合は、画像生成部１００で生成する画像データもＮ視点分用意する。
（第７の実施の形態）
第７の実施の形態は、前述の第６の実施の形態の構成において、第２の実施の形態の動作を適用したものであり、平面表示に切り換えてから、再び立体表示を行うまでの動作が異なる。
【０１７８】
構成については、判定部９０のなかに２Ｄ→３Ｄ戻り値設定９３機能がある点以外は第６の実施の形態と同じであるため説明を略す。また、第７の実施の形態に用いる表示パネルは、第６の実施の形態と同様に、４視点分の画素を有するパネルとして説明するが、視点数はＮ、画像データ数もＮ視点分としてよい。
【０１７９】
第７の実施の形態の動作は、第３および第５実施形態の動作と同様に図２２に示すフローチャートで説明できる。ステップ１６において適用する平面表示のデータは、第６の実施形態と同様に、図３２（ａ）のいずれか、あるいは、図３２（ｂ）となる。
【０１８０】
また、ステップ１６の平面表示を行うときの適用データは、第６の実施の形態で説明したように、筐体１０の移動、傾き方向に応じて選択したり、観察者の利き目と合わせて選択したりする機能を備えてもよい。
【０１８１】
第７の実施の形態の立体表示装置においては、第６の実施の形態と同じく、観察者が違う角度からの立体画像を楽しむことができると同時に運動視差も付与され、より立体感を与える効果がある。
【０１８２】
本発明は、携帯電話、携帯型パソコン、携帯型ゲーム機、携帯メディアプレーヤー等の携帯型情報端末（端末装置）に適用できる。
【０１８３】
以上説明したように本発明の立体表示装置は、表示装置を含む筐体の動きを検出し、立体表示が適当でない状況では、視差の無い画像を投影することにより、観察者に不快感を与えず、めまいや乗り物酔いのような症状を起こさない効果がある。立体視域の判定を筐体の動きの検出と演算から行うことにより、カメラや視点位置検出の画像処理機能、および赤外線照射装置を必要とした従来の視線追従型と比較し、簡易に安価な表示装置を提供できる。
【０１８４】
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【０１８５】
この出願は、２００８年１１月２６日に出願された日本出願特願２００８−３００９６５を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【０１８６】
１０    筐体
１１    表示パネル
１２    表示コントローラ
１３    画像振分手段
１４    操作スイッチ
２２Ｌ，２２Ｒ，２３Ｌ，２３Ｒ，２４Ｌ，２４Ｒ，２５Ｌ，２５Ｒ    光線
３    レンチキュラレンズ
３０    観察面
４，４１    画素
４Ｌ    左眼用画素
４Ｒ    右眼用画素
４Ａ    第４の視点用画素
４Ｂ    第３の視点用画素
４Ｃ    第２の視点用画素
４Ｄ    第１の視点用画素
５０    観察者
５５Ｌ    左眼
５５Ｒ    右眼
７０Ｌ    左眼領域
７０Ｒ    右眼領域
７４Ａ    画素４Ａからの投影像が重なる領域
７４Ｂ    画素４Ｂからの投影像が重なる領域
７４Ｃ    画素４Ｃからの投影像が重なる領域
７４Ｄ    画素４Ｄからの投影像が重なる領域
８０    検出部
８１    傾き角検出
８２    移動量検出
９０    判定部
９１，１０３    メモリ
９２，１０１    演算器
９３    ２Ｄ→３Ｄ戻り値設定
１０２    データ蓄積部
１０４    外部ＩＦ
１００    画像生成部
１１０    表示パネル駆動回路
１１１    画像振分制御回路
【図１】
0005497882.tif 000003
【図２】
0005497882.tif 000004
【図３】
0005497882.tif 000005
【図４】
0005497882.tif 000006
【図５】
0005497882.tif 000007
【図６】
0005497882.tif 000008
【図７】
0005497882.tif 000009
【図８】
0005497882.tif 000010
【図９（ａ）】
0005497882.tif 000011
【図９（ｂ）】
0005497882.tif 000012
【図１０】
0005497882.tif 000013
【図１１】
0005497882.tif 000014
【図１２（ａ）】
0005497882.tif 000015
【図１２（ｂ）】
0005497882.tif 000016
【図１３（ａ）】
0005497882.tif 000017
【図１３（ｂ）】
0005497882.tif 000018
【図１４（ａ）】
0005497882.tif 000019
【図１４（ｂ）】
0005497882.tif 000020
【図１５（ａ）】
0005497882.tif 000021
【図１５（ｂ）】
0005497882.tif 000022
【図１６（ａ）】
0005497882.tif 000023
【図１６（ｂ）】
0005497882.tif 000024
【図１９】
0005497882.tif 000025
【図２０】
0005497882.tif 000026
【図２１】
0005497882.tif 000027
【図２２】
0005497882.tif 000028
【図２３】
0005497882.tif 000029
【図２４（ａ）】
0005497882.tif 000030
【図２４（ｂ）】
0005497882.tif 000031
【図２５】
0005497882.tif 000032
【図２６（ａ）】
0005497882.tif 000033
【図２６（ｂ）】
0005497882.tif 000034
【図２７】
0005497882.tif 000035
【図２８（ａ）】
0005497882.tif 000036
【図２８（ｂ）】
0005497882.tif 000037
【図２８（ｃ）】
0005497882.tif 000038
【図２８（ｄ）】
0005497882.tif 000039
【図２９】
0005497882.tif 000040
【図３０】
0005497882.tif 000041
【図３１】
0005497882.tif 000042
【図３２（ａ）】
0005497882.tif 000043
【図３２（ｂ）】
0005497882.tif 000044
【図３３】
0005497882.tif 000045
【図１７】
0005497882.tif 000046
【図１８】
0005497882.tif 000047