(57)【特許請求の範囲】
【請求項１】
表示部と、
前記表示部に対する観察者の観察角度を検出する検出部と、
検出された観察角度が予め定められた範囲を超えた場合に、入力映像信号の視差量を０に決定し、前記検出された観察角度が予め定められた範囲を超えない場合に、前記視差量を所定の値に決定する決定部と、
決定された視差量に基づいて前記表示部に表示すべき多視点画像を生成する生成部と、を備えたことを特徴とする立体画像表示装置。
【請求項２】
前記決定部は、前記検出された観察角度が前記予め定められた範囲を超えない場合に、前記視差量を、前記検出された観察角度が前記表示部正面からの角度が大きい、または、距離が近い程、減少した値に決定することを特徴とする請求項１に記載の立体画像表示装置。
【請求項３】
前記決定部は、前記視差量を、前記検出された観察角度が大きい程、線形関数により連続的に減少させた値に決定することを特徴とする請求項２に記載の立体画像表示装置。
【請求項４】
前記決定部は、前記視差量を、前記検出された観察角度が大きい程、余弦関数により連続的に減少させた値に決定することを特徴とする請求項２に記載の立体画像表示装置。
【請求項５】
前記決定部は、前記検出された観察角度が前記予め定められた範囲を超えた場合に、前記入力映像信号と無関係な平面画像に決定することを特徴とする請求項１に記載の立体画像表示装置。
【請求項６】
前記無関係な平面画像は、無彩色画像であることを特徴とする請求項５に記載の立体画像表示装置。
【請求項７】
前記決定部は、前記検出された観察角度が前記予め定められた範囲を超えない場合に、前記視差量を変化させないことを特徴とする請求項５に記載の立体画像表示装置。
【請求項８】
前記決定部は、前記視差量を、前記検出された観察角度が大きい程、前記多視点画像を取得する視点間隔を小さい値に決定することを特徴とする請求項２に記載の立体画像表示装置。
【請求項９】
前記検出部は、前記表示部に取り付けられた加速度センサであって、前記加速度センサの出力から、前記表示部の正面からの前記観察者の観察角度を検出することを特徴とする請求項１に記載の立体画像表示装置。
【請求項１０】
前記観察角度と、前記表示部の正面からの前記観察者の観察距離との対応関係を予め記憶する記憶部をさらに備え、
前記検出部は、前記加速度センサが検出した前記観察角度を取得し、さらに、前記記憶部に記憶された前記対応関係において、検出した前記観察角度に対応して記憶された前記観察距離を求め、
前記決定部は、前記視差量を、前記観察角度と前記観察距離とから決定することを特徴とする請求項９に記載の立体画像表示装置。
【請求項１１】
ヘッドトラッキングセンサをさらに備え、
前記検出部は、前記加速度センサと前記ヘッドトラッキングセンサの出力から、前記表示部の正面からの前記観察者の観察角度を検出することを特徴とする請求項９に記載の立体画像表示装置。
【請求項１２】
撮像手段をさらに備え、
前記検出部は、前記撮像手段により撮像画像から前記観察者の頭部の大きさを求め、前記頭部の大きさに基づいて、前記表示部の正面からの前記観察者の観察距離を求め、
前記決定部は、前記視差量を、前記観察角度と前記観察距離とから決定することを特徴とする請求項１１に記載の立体画像表示装置。
【請求項１３】
立体画像表示装置で実行される立体画像表示方法であって、
前記立体画像表示装置は、表示部を備え、
前記表示部に対する観察者の観察角度を検出することと、
検出された観察角度が予め定められた範囲を超えた場合に、入力映像信号の視差量を０に決定し、前記検出された観察角度が予め定められた範囲を超えない場合に、前記視差量を所定の値に決定することと、
決定された視差量に基づいて前記表示部に表示すべき多視点画像を生成することと、
を含むことを特徴とする立体画像表示方法。
【請求項１４】
コンピュータに実行させるためのプログラムであって、
前記コンピュータは、表示部を備え、
前記表示部に対する観察者の観察角度を検出する機能と、
検出された観察角度が予め定められた範囲を超えた場合に、入力映像信号の視差量を０に決定し、前記検出された観察角度が予め定められた範囲を超えない場合に、前記視差量を所定の値に決定する機能と、
決定された視差量に基づいて前記表示部に表示すべき多視点画像を生成する機能と、
を前記コンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、立体画像の表示技術に関する。
【背景技術】
【０００２】
近年、映画等では、観察者に眼鏡を装着させて、左右の眼に各々その位置から見える画像（視差画像）を見せることで、立体映像を見せる方式が普及しつつある。また、裸眼方式の立体画像の表示技術としては、ＦＰＤ（フラットパネルディスプレイ）の表示面側にたとえばピンホールやスリット、レンズアレイといった視差バリアを配置し、観察位置に応じて見えるサブ画素を切り替えることで、観察者の観察位置や観察者の左右の目の位置に応じた視差情報を視認させる技術が知られている。
【０００３】
いずれも、視差が大きければ、大きく手前に飛び出したり奥に引っ込んだりして知覚され、視差がなければ、平面画像として知覚される。
【０００４】
さらに、臨場感の高い三次元映像を表示する技術として、観察者の観察位置の移動にともなって、運動視差により側面が見えるようにする技術がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−１７４４３４号公報
【特許文献２】特許第３８９２８０８号公報
【特許文献３】特許第３９４４１８８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
このような立体画像の表示技術において、利用者の観察位置にかかわらず、高品質な立体画像を表示することが望まれている。
【課題を解決するための手段】
【０００７】
実施の形態によれば、立体画像表示装置は、表示部と、前記表示部に対する観察者の観察角度を検出する検出部と、検出された観察角度が予め定められた範囲を超えた場合に、入力映像信号の視差量を０に決定し、前記検出された観察角度が予め定められた範囲を超えない場合に、前記視差量を所定の値に決定する決定部と、決定された視差量に基づいて前記表示部に表示すべき多視点画像を生成する生成部と、を備えている。
【図面の簡単な説明】
【０００８】
【図１】実施の形態１の立体画像表示装置の構成図。
【図２】表示部の構造図。
【図３】立体画像表示装置による立体画像の表示状態の図。
【図４】立体画像表示装置による立体画像の表示状態の図。
【図５】眼鏡式の立体画像表示装置による立体画像の表示状態の図。
【図６】観察位置検知部の機能の説明図。
【図７】表示面が狭く認識される現象の説明図。
【図８】観察角度と見た目の幅の関係のグラフ。
【図９】視域幅が狭くなることの説明図。
【図１０】観察角度と視域角の関係のグラフ。
【図１１】視距離が短くなることの説明図。
【図１２】観察角度と視域幅の関係のグラフ。
【図１３】観察角度とクロストーク量の関係のグラフ。
【図１４】実施の形態１の観察角度と飛び出し奥行き量の関係のグラフ。
【図１５】各パラメータの関係図。
【図１６】実施の形態１の立体画像表示処理のフローチャート。
【図１７】実施の形態２の立体画像表示装置の構成図。
【図１８】実施の形態２の観察角度と飛び出し奥行き量の関係のグラフ。
【図１９】平面表示領域と三次元画像表示領域の図。
【図２０】実施の形態２の立体画像表示処理のフローチャート。
【図２１】変形例１の観察角度と飛び出し奥行き量の関係のグラフ。
【図２２】変形例１の立体画像表示処理のフローチャート。
【図２３】変形例２の観察角度と飛び出し奥行き量の関係のグラフ。
【図２４】変形例２の立体画像表示処理のフローチャート。
【発明を実施するための形態】
【０００９】
以下、本実施形態について図面を用いて説明する。なお、以下に示す実施の形態では、説明の都合上、図面上の大きさの比率は実際の実施の形態とは異なる部分があり、また上下左右等の向きは相対的な位置関係であり、重力方向を基準とした向きとは異なる部分がある。
【００１０】
また、以下に示す実施の形態では、裸眼方式として、垂直方向に延伸したレンチキュラーレンズのアレイを用い、光線の集合によって自然でフリッピング（画像の飛び）が抑制された、インテグラルイメージング方式（以下、ＩＩ方式と略称する）と呼ばれる表示方式で三次元画像を表示する立体画像表示装置を例にあげて説明する。ただし、ＩＩ方式に限定されるものではなく、他の裸眼方式の立体画像表示装置の他、眼鏡式の立体画像表示装置にも本実施形態を適用することができる。
【００１１】
（実施の形態１）
本実施の形態の立体画像表示装置１０は、図１に示すように、入力部１０５と、観察位置検知部１０１と、視差量決定部１０２と、表示画像生成部１０３と、表示部１０４とを主に備えている。本実施の形態の立体画像表示装置１０は、表示対象の三次元画像を外部の画像生成装置や画像再生装置から入力してリアルタイムに表示部１０４に表示するものである。
【００１２】
入力部１０５は、多視点画像や三次元画像信号を、カメラ等の画像生成装置から入力したり、三次元画像信号を画像再生装置などのデコーダを介して入力する。
【００１３】
観察位置検知部１０１は、表示部１０４に対する観察者の観察位置を検出する。本実施の形態では、立体画像表示装置１０の重力方向に対する角度を測定するための加速度センサを設け、加速度センサの出力から、表示部１０４に対する観察者の観察角度を、観察位置として検知する。
【００１４】
なお、観察位置検知部１０１は、これに限定されるものではなく、カメラによる撮像画像を用いて認識された顔や頭の方向を推定するためのヘッドトラッキングセンサを立体画像表示装置１０に装着し、観察位置検知部１０１が、このヘッドトラッキングセンサからの出力から、表示部１０４の正面に対する観察者の観察角度を、前記観察位置として検知するように観察位置検知部１０１を構成してもよい。さらに、立体画像表示装置１０に、観察者と表示部１０４との距離を測定するための距離センサを設け、距離センサからの出力により表示部１０４からの観察者の距離を観察位置として検知するように観察位置検知部１０１を構成してもよい。
【００１５】
視差量決定部１０２は、表示画像生成部１０３が表示部１０４に表示するために生成する要素画像アレイを生成するため、入力部１０５によって入力された三次元画像信号の視差情報の視差量を、観察位置としての、表示部１０４の正面からの観察角度θが大きい程、連続的に減少した値に決定する。また、この他、上記視差量を、観察位置としての、表示部１０４の正面から距離が近い程、減少した値に決定するように視差量決定部１０２を構成してもよい。なお、視差量決定部１０２の詳細については後述する。
【００１６】
ここで、要素画像とは、後述する射出瞳（開口部１１６）に対応したサブ画素単位で表示された視差画像の集合をいい、要素画像アレイは、表示部１０４に表示される要素画像群をいう。
【００１７】
表示画像生成部１０３は、視差量決定部１０２によって決定された視差量に基づいて要素画像からなる要素画像アレイ（多視点画像）を生成し、生成された要素画像アレイを表示部１０４に表示する。
【００１８】
表示部１０４は、表示画像生成部１０３によって生成された多視点画像を表示するデバイスである。図２は、本実施の形態の表示部１０４の構造の一例を概略的に示した斜視図である。図２では、視点数ｎ＝１８として説明する。図２に例示されるように、表示部１０４は、表示素子アレイ１１４と、当該表示素子アレイ１１４の前面に配置された開口制御部１１５とを備える。表示素子アレイ１１４としては、例えばＬＣＤ(Liquid  Crystal  Display)を用いることができる。
【００１９】
開口制御部１１５は、透過する光線を制限して光線を所定方向に向けて出射させる光線制御素子である。本実施の形態の開口制御部１１５としては、図２に示すように、レンチキュラーシートが用いられている。レンチキュラーシートは、入射および射出光線を制御して光線を所定方向に向けるレンズセグメントのアレイ板である。開口制御部１１５として、光透過領域を適宜設けたスリットなどのアレイ板を用いることもできる。これら光透過領域およびレンズセグメントは、表示素子アレイ１１４からその前方に向けて発散される光線中のうち特定の方向に向かう光線のみを選択的に出射する機能を有する。以下では、レンズセグメントおよび光透過領域を、纏めて開口部と称する。
【００２０】
開口制御部１１５は、例えば表示素子アレイ１１４における画面の垂直方向に母線を有するレンズのアレイ板であるレンチキュラーシートを用いる。レンズセグメントの各開口部１１６、１１６、…が画素に対応して配置される。開口制御部１１５は、上述したレンチキュラーセグメントや光透過領域を集積したアレイ板に限らず、時間と共に光透過領域の位置および形状を変えることができる光シャッタとしてＬＣＤを利用することもできる。
【００２１】
ここで、一般的なＦＰＤでは、１つの画素はＲＧＢ各色のサブ画素から構成される。１つの表示素子が１つのサブ画素に対応するものとする。図２の例では、表示素子アレイ１１４には、画素が正方形になるように縦横比が３：１にされた表示素子（サブ画素１４０、１４０、…）がマトリクス状に配列される。各サブ画素は、それぞれ、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のいずれかを担う。行方向については、各サブ画素を視差の数だけ行方向に並べた画素群に表示される画像、すなわち射出瞳（開口部１１６）に対応したサブ画素単位で表示された視差画像の集合を要素画像と呼ぶ。なお、サブ画素は、Ｒ、Ｇ、Ｂに限定されるものではない。
【００２２】
列方向については、図２の例では、列方向に並ぶ６つのサブ画素の組で要素画像が構成されている。すなわち、行方向に１８画素、列方向に６画素で、１つの要素画像１４１（図２内で枠を付して示す）を表示する。図２では、水平方向に１８視差を与える立体表示が可能となり、さらに列方向を６画素にすることで、要素画像、すなわち立体表示用の画素が正方形になる。なお、１つの実効画素内の水平方向における画素の位置は、開口制御部１１５と対応し、射出される光線の角度と相関を持つ。光線方向を表すアドレスを視差アドレスと呼ぶ。視差アドレスは、１実効画素内の水平方向における画素の位置に対応する。視差アドレスは、画面の右方向に向けて大きくなる。
【００２３】
開口制御部１１５における開口部１１６、１１６、…は、要素画像の位置に対応して設けられる。図２の例では、開口部１１６の幅（レンズピッチ）Ｐｓと、１要素画像の幅とが一致させられている。
【００２４】
上述のような構成において、例えば、カメラ等の画像生成装置や画像再生装置などのデコーダなどから、同一被写体から異なる複数の視差でそれぞれ取得された複数の画像が入力部１０５に供給される。複数の画像は、位置が対応する画素毎にそれぞれインターリーブして１の画像データとして供給される。これに限らず、複数の画像データをそれぞれ供給するようにもできる。表示画像生成部１０３は、例えば供給された複数の画像について、位置が対応し視差が異なる画素を視差に応じた順番に配分する。表示画像生成部１０３は、配分により要素画像を構成して表示部１０４の表示素子アレイ１１４に供給する。
【００２５】
ここで、開口制御部１１５の開口部１１６は、要素画像１４１と対応するように設けられた射出瞳である（以降、開口部１１６を射出瞳と呼ぶ場合もある）。このため、要素画像１４１内の、観察者の視点からの方向に応じた視差の画素からの光線が、選択的に観察者の視点に到達する。観察者の両眼にそれぞれ異なる視差の画素からの光線が到達することで、観察者は、立体的な画像を観察することができる。
【００２６】
観察者から見てレンチキュラーシートの後ろ側に配置される表示素子アレイ１１４は、上述した開口部１１６と、複数の画素が配列された要素画像とにより、角度に応じて微妙に見え方の違う視差画像群、すなわち多視点画像を表示する。この多視点画像による光線は、開口制御部１１５の何れかの開口部１１６を通って射出方向が定まり、立体画像が再生される。
【００２７】
図３は、本実施の形態の立体画像表示装置１０において、立体画像表示装置１０の断面、サブ画素、ある観察距離（視距離）での立体画像が観察される範囲である視域幅１２および視差アドレスの関係を模式的に表している。サブ画素の集合である要素画像は有限の幅を持っており、サブ画素に表示された視差画像が観察される視域幅１２も有限の幅を有する。図３に係る例では、開口制御部１１５の開口部１１６である射出瞳１つに割り当てられたサブ画素数、すなわち視点数は２である。観察者が有限の距離で立体視できるようにするためには、射出瞳（開口部１１６）に割り当てられた２個のサブ画素の画素幅より開口部１１６の幅、すなわちレンズピッチＰｓを狭く設定する。
【００２８】
図４に示す例では、射出瞳（開口部１１６）１つに割り当てられたサブ画素数、すなわち視点数は４である。図４の例でも、射出瞳（開口部１１６）に割り当てられた４個のサブ画素の画素幅より開口部１１６のレンズピッチＰｓを狭く設定する。逆に、レンズピッチＰｓを４個のサブ画素の画素幅に等しくする場合は、全ての開口部１１６の後ろに、４個、ときどき５個のサブ画素を配置し、サブ画素の幅の平均値を４個のサブ画素の画素幅より少し大きくすることにより、有限の視距離で視域を広げることができる。
【００２９】
本実施の形態を眼鏡式の立体画像表示装置に適用した場合には、図５に示すように、時間的に２枚の左右の眼に見せるべき視差画像を偏光または円偏光方向が互いに直交する２方向に切り替えて表示し、表示される視差画像の偏光または円偏光方向と観察者１１の眼鏡の左右に設けられた偏光板の、偏光または円偏光方向をそれぞれ左の眼、右の眼の視差画像の偏光または円偏光方向に一致させておくことで、両眼視差を与えて立体視を実現する。
【００３０】
次に、観察者の表示部１０４に対する観察位置と立体画像の表示の関係について説明する。図６は、観察位置検知部１０１の機能を説明する図である。立体画像表示装置１０の角度を傾けた場合、立体画像表示装置１０を基準とした観察者１１の位置が変化する。立体画像表示装置１０の重力方向を加速度センサで検出し、その出力を観察位置検知部１０１に入力することにより、観察者１１の表示部１０４の正面に対する観察位置を間接的に取得する。図６に示すように、観察者の観察位置は、表示部１０４の表示面と平行な方向であるＸＹ方向と表示面との距離方向（Ｚ方向）とがあるが、少なくともＸ方向を取得する。ここで、Ｘ方向とは、開口制御部１１５（レンチキュラーシート）の延伸方向に垂直な方向である。
【００３１】
図７は、表示部１０４が平面かつ矩形の立体画像表示装置を傾けて観察したときに、表示面が狭く認識されることを説明するための概念図である。図８は、正面からの観察角度θと、見た目の幅（または高さ）の関係を示すグラフである。観察者１１が立体画像表示装置１０を正面から左右に傾けると、図７に示すように、見た目の幅が狭くなり、観察者１１が立体画像表示装置１０を９０度傾けると表示部１０４の表示面は視認できなくなる。また、観察者１１が立体画像表示装置１０を正面から上下に傾けると、見た目の高さが狭くなり、９０度傾けると表示部１０４の表示面は視認できなくなる。すなわち、図８に示すように、観察者１１が立体画像表示装置１０を傾け、観察角度θが大きくなる程、見た目の幅は小さくなり視認しにくくなる。
【００３２】
図９は、本実施の形態の立体画像表示装置１０において、正面から角度を成して観察すると、同じ視域幅ＶＷでも、視域が狭くなることを説明するための図である。画素幅をｐｐ、射出瞳一つに割り当てられた画素の数をＮ、射出瞳と画素までの距離をｇ、表示部１０４の表示面から観察位置までの距離を視距離Ｌとすると、視域幅ＶＷは（１）式で算出される。
【００３３】
ＶＷ＝（ｐｐ×Ｎ）×Ｌ／ｇ  ・・・（１）
【００３４】
表示部１０４の表示面から観察位置までの視距離Ｌが一定の場合、射出瞳に割り当てるＮ個の画素を切り替えても、視域幅ＶＷは一定になる。言い換えれば、図９に示す視域角φは、表示部１０４の正面から離れるに従って狭くなる。図１０は、視域角φが観察角度θに依存する関係を示す説明図である。図１０に示すように、観察角度θが大きくなるにつれて、視域幅ＶＷが維持されても視域角φは狭くなり、両眼が視域に入ることが困難になる。
【００３５】
図１１は、観察者１１が立体画像表示装置１０を保持して、立体画像表示装置１０を観察角度θだけ傾けた場合に、視距離Ｌが短くなることを示す図である。（１）式に示すように、視距離Ｌと視域幅ＶＷは比例関係にあるので、表示部１０４の正面からの観察角度θと視域幅ＶＷの関係は、図１２に示すようになり、観察角度θが大きくなると視域幅ＶＷが狭くなり、両目が視域に入らなくなると、正しい三次元画像を視認できなくなる。
【００３６】
さらに、本実施の形態のように、表示部１０４において光線制御子としての開口制御部１１５にレンチキュラーシートを用いた場合には、図１３に示すように、観察位置の表示部１０４の正面からの観察角度θが大きくなると、像面湾曲によりクロストーク量が増大し、視差画像の空間的な分離が不十分となる。ここでクロストーク量は、本来見えるべき視差画像に対する、当該視差画像以外の視差画像の混入する割合である。
【００３７】
このように、表示部１０４の表示面正面から観察角度θが増大するに従って、見た目の表示面の幅もしくは高さが減少したり（図８参照）、視域角φが狭くなったり（図１０参照）、クロストーク量が増大する（図１３参照）。さらに、観察者１１が手で立体画像表示装置１０を保持する場合は、視距離Ｌの減少に伴って視域幅ＶＷも狭くなる（図１２参照）。この結果、三次元画像の飛び出し奥行きが表現できなくなったり、隣接した射出瞳（開口部１１６）から出射されるはずの視差画像を視認してしまうことにより視差の並びが逆転して三次元画像の凹凸が逆転して視認される逆視や、複数の視差画像が重畳する多重像等の異常画像が発生して、三次元画像の画質が低下する。
【００３８】
このため、本実施の形態では、観察者の観察位置として表示部１０４の表示面正面からの観察角度θが増大した場合、上述した飛び出し奥行きの表現への制約や画質低下が発生すると判定し、三次元画像の飛び出し奥行き表現を抑制して三次元画像の表示の品質を維持している。すなわち、視差量決定部１０２は、観察位置検知部１０１が検知した観察角度θが増大するにしたがって飛び出し奥行き量を減少させるため、表示画像生成部１０３が要素画像アレイを生成するために用いる画像情報として視差量が少ない画像を用いるべく、図１４に示すように、観察角度θの増加に伴い、視差量を連続的に小さい値に決定している。
【００３９】
より具体的には、視差量決定部１０２は、観察角度θの増加に伴い、多視点画像の取得間隔（視点間隔）を連続的に狭い距離に決定することにより、視差量を小さくし、これにより、観察角度θが増大するにしたがって飛び出し奥行き量を減少させている。
【００４０】
図１４に示す例では、表示部１０４の正面で観察される飛び出し奥行き表現量を１とした場合に、観察角度θの増大に応じて、点線で示す線形関数により、または曲線で示すｃｏｓ関数のような非線形関数により連続的に視差量を減少させる決定を行って飛び出し奥行きを抑える。
【００４１】
視差量決定部１０２により、観察角度θの増大に伴って減少させる多視点画像の取得間隔の値の決定手法としては、以下の手法がある。図１５は、観察角度θの増大に伴って減少させる多視点画像の取得間隔の値の決定手法を説明するための図である。
【００４２】
視差数をＮ、要素画像ピッチをＰ、開口部１１６の幅、すなわちレンズピッチをＰｓ、水平方向のサブ画素ピッチ［ｍｍ］をｐｐ、開口制御部１１５（レンチキュラーシート）と画素間の距離［ｍｍ］をｇ、表示部１０４の表示面からの距離［ｍｍ］をＬ、視域最適化距離をＬ０、観察距離をＬｖ、光線間隔＠Ｐｌ［ｍｍ］をＰｌ（Ｌ）とすると、ｐｐ、Ｐｌ（Ｌ）、ｇ、Ｌ、Ｐ、Ｐｅ、Ｌ０は、（２）、（３）式で算出される。
【００４３】
ｐｐ：Ｐｌ（Ｌ）＝ｇ：Ｌ  ・・・（２）
Ｐ：Ｐｓ＝（Ｌ０＋ｇ）：Ｌ０・・・（３）
【００４４】
ここで、ｐｐ＝０．０５において、Ｌｖ＝４００でＰｌ（４００）＝６２（眼間距離）にする場合には、ｇを（４）式のように設定する。
【００４５】
０．０５：６２＝ｇ：４００、ｇ＝０．３２  ・・・（４）
【００４６】
さらに、Ｌ０＝５００で、視域幅（ＶＷ（５００））を最大にするためには、（５）式を満たすように、ＰとＰｓを設定する。
【００４７】
Ｐ：Ｐｓ＝１：（５００＋０．３２）／５００  ＝１：１．０００６４  ・・・（５）
【００４８】
このとき、視域幅ＶＷ（Ｌ０）と観察角度θは、（６）、（７）式で算出される。ここで、ＶＷ（Ｌ０）右端）、（ＶＷ（Ｌ０）左端）は、視域幅ＶＷ（Ｌ０）の両端の座標である。
【００４９】
ＶＷ（Ｌ０）＝Ｐ×Ｌ０／ｇ  ・・・（６）
θ＝｛ａｔａｎ（ＶＷ（Ｌ０）右端  ／Ｌ０）−ａｔａｎ（ＶＷ（Ｌ０）左端／Ｌ０）｝／２  ・・・（７）
【００５０】
上式からわかるように、観察角度θが増大すると視域幅ＶＷが狭くなる。一方、観察に必要な視域角φは、眼間距離を６２とすると、（８）式で算出される。
【００５１】
φ＝ａｔａｎ（６２／Ｌｖ）／２  ・・・（８）
【００５２】
（８）式からわかるように、視域角φは、眼間距離と観察距離に依存する。これらの式から、例えば、（θ−φ）の値に連動して、飛び出し奥行き量を少なくするために、多視点画像の取得間隔を狭い値に決定したり、θ＞φで三次元画像、θ≦φで、平面画像になるように視差量決定部１０２を構成すればよい。
【００５３】
次に、以上のように構成された本実施の形態の立体画像表示処理について図１６のフローチャートを用いて説明する。
【００５４】
まず、入力部１０５は、三次元画像信号を、カメラ等の画像生成装置から入力したり、三次元画像信号を画像再生装置などのデコーダを介して入力する（ステップＳ１１）。そして、観察位置検知部１０１が、加速度センサ等により、観察者の表示部１０４の正面からの観察角度θを検知する（ステップＳ１２）。
【００５５】
次に、視差量決定部１０２が、ステップＳ１２で検知された観察角度θに応じて、多視点画像の取得間隔（視点間隔）を決定する（ステップＳ１３）。具体的には、視差量決定部１０２は、図１４のグラフおよび図１５の手法に従って、観察角度θが増大する程、小さい値の視点間隔を決定する。
【００５６】
そして、表示画像生成部１０３が、ステップＳ１３で決定された視点間隔で視差画像を視差画像配置テーブルに配列して要素画像アレイを生成し（ステップＳ１７）、要素画像アレイを表示部１０４に表示する（ステップＳ１８）。
【００５７】
ここで、視差画像配置テーブルは、表示部１０４の表示面に表示される多視点画像、すなわち要素画像アレイの各要素画像内に各視差画像がどのように配置されるかを示す配置表であり、その詳細については特許文献３に詳述されている。
【００５８】
このように本実施の形態では、観察角度θの増加に伴い、連続的に視差量を小さくすることにより、図８、１０、１２、１３に示すように連続的に変化する見た目の幅、視域角φ、視域幅ＶＷ、クロストーク量の変化に違和感なく合致させることができ、立体画像を高品位に表示することができる。すなわち、表示部１０４の正面から観察位置が大きくはずれた場合に、運動視差の理想的な付与を妨げずに、飛び出し奥行き量を抑えることで、異常画像を防止して高品位な立体画像の表示を実現することができる。なぜなら、視差量が減少しても、運動視差を別途提供できることから、広い範囲で立体感を提供し続けることができるからである。 
【００５９】
なお、本実施の形態では、表示対象の三次元画像を外部の画像生成装置や画像再生装置から入力してリアルタイムに表示部１０４に表示する立体画像表示装置を例にあげて説明したが、これに限定されるものではなく、ハードディスクドライブ装置（ＨＤＤ）や揮発性または不揮発性のメモリ等の記憶媒体に蓄積された三次元画像を読み込んで表示部１０４に表示する立体画像表示装置に本実施の形態を適用することもできる。
【００６０】
（実施の形態２）
実施の形態１では、観察角度θの増加に伴い、連続的に視差量を小さくしていたが、この実施の形態２では、観察角度θが増加して閾値を超えたときに表示画像を急峻に平面画像に切り替えるものである。また、実施の形態１では、三次元画像信号を、外部の画像生成装置や画像再生装置などから入力して表示部１０４に表示していたが、この実施の形態２では、予め画像記憶部１７０５に記憶された多視点画像や単視点画像を表示部１０４に表示する。
【００６１】
ただし、三次元画像信号を外部の画像生成装置や画像再生装置などから入力して表示部１０４に表示する立体画像表示装置に本実施の形態を適用してもよい。
【００６２】
実施の形態２にかかる立体画像表示装置１７００は、図１７に示すように、画像記憶部１７０５と、観察位置検知部１０１と、視差量決定部１７０２と、表示画像生成部１７０３と、表示部１０４とを主に備えている。ここで、観察位置検知部１０１および表示部１０４の機能および構成は実施の形態１と同様である。
【００６３】
画像記憶部１７０５は、多視点画像や単視点画像からなる三次元画像信号を予め記憶するＨＤＤやメモリ等の記憶媒体である。
【００６４】
視差量決定部１７０２は、観察位置検知部１０１で検知された観察角度θが所定の閾値を超えたか否かを判断し、閾値を超えた場合には、視差量を減少させた画像に決定する。具体的には、視差量決定部１７０２は、図１８に示すように、観察角度θが閾値以下である場合には、視差量を変更せず、観察角度θが閾値を超えた場合、平面画像を選択することを決定する。なお、立体画像表示装置１７００を、表示対象の三次元画像をカメラ等の画像生成装置や画像再生装置から入力してリアルタイムに表示部１０４に表示する装置に適用した場合には、観察角度θが所定の閾値を超えた場合に、視差量を０、すなわち多視点画像の取得間隔（視点間隔）を０に決定するように構成すればよい。
【００６５】
このように、閾値を設けることによって、両眼が視域に入らない、または、クロストーク量が許容値を超える状態になる前まで、正面と同等の三次元画像を維持する。図１９に一例として、平面表示をする領域と三次元画像の表示領域の分割例を示す。
【００６６】
ここで、観察角度θが閾値を超えたときに平面画像に切り替える場合おいて、異常画像防止の目的を満たすためには、切り替える平面画像は、表示対象の三次元画像と関連の有無は問わない。例えば、表示対象の三次元画像と無関係な平面画像や黒表示（非表示）等の無彩色画像を選択するように構成してもよい。
【００６７】
図１７に戻り、表示画像生成部１７０３は、実施の形態１と同様に、要素画像アレイを生成し、生成された要素画像アレイを表示部１０４に表示するが、観察角度θが閾値を超えた場合には、視差量決定部１７０２で決定された平面画像を画像記憶部１７０５から選択して、要素画像アレイを生成する。
【００６８】
次に、以上のように構成された本実施の形態の立体画像表示処理について図２０のフローチャートを用いて説明する。
【００６９】
まず、観察位置検知部１０１が、加速度センサ等により、観察者の表示部１０４の正面からの観察角度θを検知する（ステップＳ２２）。
【００７０】
次に、視差量決定部１７０２が、ステップＳ２２で検知された観察角度θが閾値を超えたか否かを判断する（ステップＳ２３）。そして、観察角度θが閾値以下である場合には（ステップＳ２３：Ｎｏ）、視差量の変更は行わない。観察角度θが閾値を超えた場合には（ステップＳ２３：Ｙｅｓ）、視差量決定部１７０２は平面画像を選択することを決定する（ステップＳ２４）。
【００７１】
そして、表示画像生成部１７０３が、ステップＳ２４で決定された平面画像を画像記憶部１７０５から取得して、視差画像配置テーブルに配列して要素画像アレイを生成し（ステップＳ２７）、要素画像アレイを表示部１０４に表示する（ステップＳ２８）。
【００７２】
このように本実施の形態では、観察角度θが増加して閾値を超えたときに表示画像を急峻に平面画像に切り替えて表示部１０４に表示するので、正面から観察位置が大きくはずれた場合に、運動視差の理想的な付与を妨げずに、飛び出し奥行き量を抑えることで、異常画像を防止して高品位な立体画像の表示を実現することができる。また、視差をなくすだけなら、平面画像ではあっても運動視差を別途提供できることから、程度は少ないが立体感を提供し続けることができる。 
【００７３】
（変形例１）
実施の形態１と実施の形態２とを組み合わせて立体画像表示を行うこともできる。変形例１では、図２１に示すように、視差量決定部１０２が観察位置検知部１０１で検知した観察角度θが閾値以下である場合には、視差量の変更を行わず、観察角度θが閾値を超えた場合に、実施の形態１と同様に、視差量を連続的に減少した値、すなわち多視点画像の視点間隔を連続的に小さくなる値に決定する。
【００７４】
この変形例１の立体画像表示処理について、図２２のフローチャートを用いて説明する。三次元画像信号の入力、観察角度θの検知の処理までは（ステップＳ４１、Ｓ４２）、実施の形態１と同様である。
【００７５】
次に、視差量決定部１０２が、ステップＳ４２で検知された観察角度θが閾値を超えたか否かを判断する（ステップＳ４３）。そして、観察角度θが閾値以下である場合には（ステップＳ４３：Ｎｏ）、視差量の変更は行わない。観察角度θが閾値を超えた場合には（ステップＳ４３：Ｙｅｓ）、ステップＳ４２で検知された観察角度θに応じて、多視点画像の取得間隔（視点間隔）を決定する（ステップＳ４４）。具体的には、視差量決定部１０２は、図２１のグラフに従って、観察角度θが増大する程、小さい値の視点間隔を決定する。
【００７６】
そして、表示画像生成部１０３が、ステップＳ４４で決定された視点間隔で視差画像を視差画像配置テーブルに配列して要素画像アレイを生成し（ステップＳ４７）、要素画像アレイを表示部１０４に表示する（ステップＳ４８）。
【００７７】
（変形例２）
変形例２では、図２３に示すように、視差量決定部１０２が観察角度θが閾値以下である場合には、実施の形態１と同様に、視差量を連続的に減少した値、すなわち多視点画像の視点間隔を連続的に小さくする。一方、観察角度θが閾値を超えた場合には、視差量決定部１０２が平面画像を選択する。
【００７８】
この変形例２の立体画像表示処理について、図２４のフローチャートを用いて説明する。三次元画像信号の入力、観察角度θの検知の処理までは（ステップＳ３１、Ｓ３２）、実施の形態１と同様である。
【００７９】
次に、視差量決定部１０２が、ステップＳ３２で検知された観察角度θが閾値を超えたか否かを判断する（ステップＳ３３）。そして、観察角度θが閾値以下である場合には（ステップＳ３３：Ｎｏ）、ステップＳ３２で検知された観察角度θに応じて、多視点画像の取得間隔（視点間隔）を決定する（ステップＳ３５）。具体的には、視差量決定部１０２は、図２３のグラフに従って、観察角度θが増大する程、小さい値の視点間隔を決定する。一方、観察角度θが閾値を超えた場合には（ステップＳ３３：Ｙｅｓ）、視差量決定部１０２は、実施の形態２と同様に、多視点画像の取得間隔を０、すなわち平面画像を選択することを決定する（ステップＳ３４）。
【００８０】
そして、表示画像生成部１０３が、ステップＳ３４で決定された視点間隔で視差画像を視差画像配置テーブルに配列して要素画像アレイを生成し（ステップＳ３７）、要素画像アレイを表示部１０４に表示する（ステップＳ３８）。
【００８１】
このような変形例１、２においても、表示部１０４の正面から観察位置が大きくはずれた場合に、運動視差の理想的な付与を妨げずに、飛び出し奥行き量を抑えることで、異常画像を防止して高品位な立体画像の表示を実現することができる。
【００８２】
なお、上記実施の形態および変形例において、水平方向と垂直方向の双方に視差情報を付与する場合には、水平方向と垂直方向の双方に上記立体画像表示処理を適用する必要があるが、観察角度θに応じた飛び出し奥行き量の低減の手法はそれぞれ独立に実現することができる。水平方向のみ視差情報を提示する立体画像表示装置では、垂直方向は通常のトラッキングと組みわせてよい。また、Ｎ個の画素の最適化による視域拡大と、本実施の形態の、多視点画像の切り替えを両立して実現することもできる。
【００８３】
なお、上記実施の形態および変形例では、表示部１０４の正面からの観察角度θに応じて視差量を減少させることにより、飛び出し奥行き量を減少させていたが、飛び出し奥行き量を減少させる方向に変更する手法であれば、他の手法を用いることもできる。
【００８４】
また、本実施の形態の立体画像表示装置１０，１７００において、観察位置検知部１０１、視差量決定部１０２の構成を種々変形することができる。
【００８５】
例えば、本実施の形態の立体画像表示装置１０，１７００において、図１２に示すような、観察角度θと、表示部１０４の正面からの観察者の観察距離との対応関係のテーブルをメモリ等の記憶媒体に予め記憶しておく。そして、上記対応関係のテーブルにおいて、観察者位置検知部１０１により検知した観察角度θに対応する観察距離を求めるように観察者位置検知部１０１を構成してもよい。さらに、この場合、視差量を、観察角度と観察距離とから決定するように視差量決定部１０２を構成してもよい。この場合には、観察角度θに加え、観察距離も考慮するので、視差量を高精度で求めることができ、より高品位な立体画像の表示を実現することができる。
【００８６】
また、本実施の形態の立体画像表示装置１０，１７００に撮像カメラ等の撮像手段を設けてもよい。この場合、撮像手段により撮像画像から観察者の頭部の大きさを算出し、算出された頭部の大きさから、表示部１０４の正面からの観察者の観察距離を求めるように観察位置検知部１０１を構成することができる。さらに、視差量を、観察角度θと観察距離とから決定するように視差量決定部１０２を構成することもできる。この場合にも、観察角度θに加え、観察距離も考慮するので、視差量を高精度で求めることができ、より高品位な立体画像の表示を実現することができる。
【００８７】
なお、上記実施の形態の立体画像表示装置で実行される立体画像表示プログラムは、ＲＯＭ等に予め組み込まれて提供される。
【００８８】
上記実施の形態の立体画像表示装置で実行される立体画像表示プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【００８９】
さらに、上記実施の形態の立体画像表示装置で実行される立体画像表示プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、上記実施の形態の立体画像表示装置で実行される立体画像表示プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【００９０】
上記実施の形態の立体画像表示装置で実行される立体画像表示プログラムは、上述した各部（入力部、観察位置検知部、視差量決定部、表示画像生成部）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭから立体画像表示プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、入力部、観察位置検知部、視差量決定部、表示画像生成部が主記憶装置上に生成されるようになっている。
【００９１】
なお、上記実施の形態および変形例は、例示であり、発明の範囲はそれらに限定されない。
【符号の説明】
【００９２】
１０，１７００  立体画像表示装置
１１  観察者
１２  視域幅
１３  視距離
１０１  観察位置検知部
１０２，１７０２  視差量決定部
１０３，１７０３  表示画像生成部
１０４  表示部
１０５  入力部
１１４  表示素子アレイ
１１５  開口制御部
１１６  開口部
１４０  サブ画素
１４１  要素画像
【図１】
0005364666.tif 000002
【図２】
0005364666.tif 000003
【図３】
0005364666.tif 000004
【図４】
0005364666.tif 000005
【図５】
0005364666.tif 000006
【図６】
0005364666.tif 000007
【図７】
0005364666.tif 000008
【図８】
0005364666.tif 000009
【図９】
0005364666.tif 000010
【図１０】
0005364666.tif 000011
【図１１】
0005364666.tif 000012
【図１２】
0005364666.tif 000013
【図１３】
0005364666.tif 000014
【図１４】
0005364666.tif 000015
【図１５】
0005364666.tif 000016
【図１６】
0005364666.tif 000017
【図１７】
0005364666.tif 000018
【図１８】
0005364666.tif 000019
【図１９】
0005364666.tif 000020
【図２０】
0005364666.tif 000021
【図２１】
0005364666.tif 000022
【図２２】
0005364666.tif 000023
【図２３】
0005364666.tif 000024
【図２４】
0005364666.tif 000025