(57)【要約】 【課題】視聴者の位置のみならず、立体画像の解像度や、複屈折素子を用いる場合のクロストークを評価することにより立体画像の表示を制御する。【解決手段】実施形態によると、立体画像表示装置は、複数の画素がマトリクス状に配列された表示素子と、光学特性が可変の光学素子とを具備する。また立体画像表示装置は、取得部と、算出部と、制御部とを具備する。取得部は、立体映像を鑑賞する各人物の位置を含む人物情報を取得する。算出部は、前記人物情報に基づき、各人物について立体視の良好度合いを表す重みを算出する。制御部は、前記算出部により算出された重みに対応する光学特性パラメータを選択し、該光学特性パラメータに基づいて前記光学素子の光学特性を制御する。【選択図】図１
2013182209.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素がマトリクス状に配列された表示素子と、
光学特性が可変の光学素子と、
立体映像を鑑賞する各人物の位置を含む人物情報を取得する取得部と、
前記人物情報に基づき、各人物について立体視の良好度合いを表す重みを算出する算出部と、
前記算出部により算出された重みに対応する光学特性パラメータを選択し、該光学特性パラメータに基づいて前記光学素子の光学特性を制御する制御部と、
を具備する立体画像表示装置。
【請求項２】
前記制御部は、各人物の前記重みの総和が最大となる光学特性パラメータを選択する請求項１に記載の装置。
【請求項３】
前記算出部は、前記人物情報に加え、１視差画像あたりの解像度に基づいて前記重みを算出する請求項１記載の装置。
【請求項４】
前記算出部は、前記人物情報に加え、視差数に基づいて前記重みを算出する請求項１記載の装置。
【請求項５】
前記算出部は、前記人物情報に加え、前記光学素子のレンズピッチに基づいて前記重みを算出する請求項１記載の装置。
【請求項６】
前記光学素子は、屈折率分布が可変の光学素子である請求項１乃至５のいずれかに記載の装置。
【請求項７】
前記光学特性パラメータは、前記屈折率分布を変更するためのパラメータを含む請求項６に記載の装置。
【請求項８】
前記光学素子は、光学的開口部のピッチが可変の光学素子である請求項１乃至５のいずれかに記載の装置。
【請求項９】
前記光学特性パラメータは、前記光学素子の開口部のピッチを変更するためのパラメータを含む請求項８に記載の装置。
【請求項１０】
前記算出部は、前記人物情報に加え、前記光学素子の各レンズの主点から前記各人物の位置と前記主点とを結ぶ光路上に存在する画素までの第１の光路長と、前記光学素子の焦点距離に相当する第２の光路長との差に基づいて前記重みを算出する請求項１記載の装置。
【請求項１１】
前記第１の光路長と、前記第２の光路長との差がより小さいほど、前記重みをより大きくする請求項１０記載の装置。
【請求項１２】
前記制御部は、前記算出部により算出された各人物の重みに基づいて、表示する画素の並びを変化させることにより視差数を変更するパラメータを選択し、選択されたパラメータに従う多視点画像を出力する請求項１乃至１１のいずれかに記載の装置。
【請求項１３】
複数の画素がマトリクス状に配列された表示素子と、光学特性が可変の光学素子とを含む立体画像表示装置による立体画像表示方法であって、
立体映像を鑑賞する各人物の位置を含む人物情報を取得するステップと、
前記人物情報に基づき、各人物について立体視の良好度合いを表す重みを算出するステップと、
前記重みに対応する光学特性パラメータを選択し、該光学特性パラメータに基づいて前記光学素子の光学特性を制御するステップと、
を含む立体画像表示方法。
【請求項１４】
複数の画素がマトリクス状に配列された表示素子と、光学特性が可変の光学素子とを含む立体画像表示装置を制御する制御装置であって、
立体映像を鑑賞する各人物の位置を含む人物情報を取得する取得部と、
前記人物情報に基づき、各人物について立体視の良好度合いを表す重みを算出する算出部と、
前記重みに対応する光学特性パラメータを選択し、該光学特性パラメータに基づいて前記光学素子の光学特性を制御する制御部と、を具備する立体画像表示装置の制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、立体画像表示に関する。
【背景技術】
【０００２】
専用眼鏡を使用しない立体画像表示装置は、視点の異なる複数の画像を表示し、これらの光線を光学素子によって制御する。制御された光線は視聴者の両眼に導かれるが、視聴者の観察位置が適切な範囲（以下「視域」という）内であれば、視聴者は立体画像を認識することができる。視域は限定されているため、視聴者と立体画像表示装置の相対位置関係によっては、良好な立体視が困難な場合がある。さらに、視聴者が当初は視域内に収まっていたとしても、のちの移動によって視聴者が視域を外れてしまう場合もある。したがって、視聴者の位置に応じて、立体視が可能なように立体画像表示の態様を変化させることが好ましい。
【０００３】
また、上記の光線素子に液晶光学素子あるいは複屈折素子を用いる技術が知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平８−３２８１７０号公報
【特許文献２】特開２００８−２３３４６９号公報
【特許文献３】特表２００９−５２０２３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
視聴者の位置のみならず、立体画像の解像度や、複屈折素子を用いる場合のクロストークを評価することにより立体画像の表示を制御できることが望ましい。
【課題を解決するための手段】
【０００６】
実施形態によると、立体画像表示装置は、複数の画素がマトリクス状に配列された表示素子と、光学特性が可変の光学素子とを具備する。また立体画像表示装置は、取得部と、算出部と、制御部とを具備する。取得部は、立体映像を鑑賞する各人物の位置を含む人物情報を取得する。算出部は、前記人物情報に基づき、各人物について立体視の良好度合いを表す重みを算出する。制御部は、前記算出部により算出された重みに対応する光学特性パラメータを選択し、該光学特性パラメータに基づいて前記光学素子の光学特性を制御する。
【図面の簡単な説明】
【０００７】
【図１】実施形態の立体画像表示装置を示す図
【図２】表示部を示す図
【図３】光学素子を示す図
【図４】光学素子の屈折率変化と液晶の配向状態の一例を示す図
【図５】表示部の正面図
【図６】算出部および制御部のブロック図
【図７】人物情報取得部の詳細なブロック図
【図８】算出部の詳細なブロック図
【図９】レンズピッチの変更に伴う視差数、１視差画像の解像度、および視域の変化示す図
【図１０】複屈折素子に代えて液晶バリアを適用する場合を示す図
【図１１】光路長の差に基づく重みについて説明するための図
【図１２】立体視可能な領域の面積に基づく重みの算出について説明するための図
【図１３】光線密度に基づく重みの算出について説明するための図
【図１４】重みの値を実空間座標に配置したマップの例を示す図
【図１５】画像出力部の詳細なブロック図
【図１６】視域に関して制御する表示パラメータを説明するための図
【図１７】視域に関して制御する表示パラメータを説明するための図
【図１８】隣の視差について説明するための図
【図１９】表示する画素の並びによる制御について説明するための図
【図２０】表示部の移動、回転、または変形による視域の制御について説明するための図
【図２１】視差数が異なる場合の光線密度を示す図
【図２２】視差数をソフトウェア的に切り替える場合を示す図
【発明を実施するための形態】
【０００８】
以下、実施の形態について、図面を参照して説明する。図１に示すように、本実施形態に係る立体画像表示装置は、人物情報取得部１００、算出部２００、制御部３００、表示部４００を備える。本装置は、例えば複数の視聴者が同時に良好な立体映像を鑑賞可能にするものであり、立体画像表示の態様を視聴者の位置に応じて変化させることに加え、立体画像の解像度や、複屈折素子を用いる場合のクロストークを評価することにより立体画像の表示を制御する。
【０００９】
視聴者（人物）Ｐは、光学素子４０１を介して表示素子４０２を観察することで（図１中、矢印ＺＡ方向参照）、表示部４００に表示される立体画像等を観察する。表示素子４０２は、例えば、立体画像の表示に用いる視差画像を表示する。表示素子４０２は、複数の画素を第１方向及び第２方向にマトリクス状に配列させた表示面を有する。第１方向は、例えば行方向（図１中、Ｘ軸方向（水平方向））であり、第２方向は、第１方向に直交する方向であり、例えば、列方向（図１中、Ｙ軸方向（垂直方向））である。
【００１０】
人物情報取得部１００は、視聴者Ｐの位置を検出する。本実施形態は、対象とする視聴者が複数の場合に対応するものであって、各人物の位置が検出される。人物情報取得部１００は、検出された各人物の位置を表す人物情報を出力する。例えば、人物の位置をカメラ等の検出部により検出し、その結果から視聴者Ｐと立体画像表示装置の相対位置座標（以下「位置座標（ＸＰ，ＹＰ））とを求めてもよい。算出部２００は、人物情報取得部１００により取得された各人物の位置を含む人物情報に基づき、各人物について、立体視の良好度合いを表す重みを算出する。制御部３００は、算出部２００により算出された各人物の重みの総和が最大となる表示パラメータを選択し、選択された表示パラメータに従う多視点画像（すなわち視差画像）を出力する。表示部４００は、制御部３００から出力された多視点画像を表示する。
【００１１】
表示部４００は、立体画像または平面画像を表示するための表示デバイスである。図２は、表示部４００の概略構成を示す模式図である。光学素子４０１は、印加電圧に応じて、屈折率分布が変化する複屈折素子である。表示素子４０２から光学素子４０１側に向かって発散された光線は、光学素子４０１を透過することによって、該光学素子４０１の屈折率分布に応じた方向に向かって出射する。光学素子４０１は、印加電圧に応じて屈折率分布が変化する素子であればよい。光学素子４０１としては、例えば、一対の基板間に液晶を分散させた液晶素子が挙げられる。なお、本実施の形態では、一例として、光学素子４０１に液晶素子を用いた場合を説明する。しかし、光学素子４０１は、印加電圧に応じて屈折率分布が変化する素子であればよく、液晶素子に限られない。例えば、光学素子４０１として、水溶液と油という２種類の液体で構成される液体レンズや水の表面張力を利用した水レンズ等を用いてもよい。光学素子４０１は、一対の基板４０１Ｅ及び基板４０１Ｄ間に、液晶層４０１Ｃを配置した構成である。基板４０１Ｅには、電極４０１Ａが設けられている。また、基板４０１Ｄには、電極４０１Ｂが設けられている。なお、本実施の形態では、光学素子４０１は、基板４０１Ｅ及び基板４０１Ｄの各々に電極（電極４０１Ａ及び電極４０１Ｂ）が設けられた構成である場合を説明する。しかし、光学素子４０１は、液晶層４０１Ｃに電圧を印加可能な構成であればよく、この構成に限られない。例えば、基板４０１Ｄ及び基板４０１Ｅの何れか一方の基板に電極が設けられた構成であってもよい。
【００１２】
図３は、光学素子４０１の一部を拡大した模式図である。図３に示すように、液晶層４０１Ｃは、分散媒４０５中に液晶４０６が分散されている。液晶４０６としては、印加電圧に応じた配向を示す液晶材料が用いられる。液晶材料としては、該特性を示す液晶材料であればよく、例えば、印加電圧に応じて配向方向が変化するネマティック液晶が挙げられる。液晶材料は、公知のごとく、細長い形状であり、その分子の長手方向に屈折率の異方性が生じる。液晶４０６の配向変化を生じさせるための印加電圧の強さや電圧印加時間は、液晶４０６の種類や光学素子４０１の構成（すなわち、電極４０１Ａ及び電極４０１Ｂの形状や配置等）等によって異なる。このため、例えば、液晶層４０１Ｃにおける、表示素子４０２の各要素画素に対応する位置に特定の形状の電界が形成されるように、電極４０１Ａ、及び電極４０１Ｂ（例えば、電極４０１Ｂ１〜電極４０１Ｂ３）に電圧を印加する。すると、液晶層４０１Ｃには、電界に沿った配向に液晶４０６が配列され、光学素子４０１は、印加電圧に応じた屈折率分布を示すこととなる。これは、液晶４０６が、偏光状態によって屈折率異方性を示すためである。すなわち、液晶４０６は、電圧印加による配向変化によって、任意の偏光状態における屈折率変化を示すためである。例えば、表示素子４０２の各要素画素に対応する位置毎に異なる電界を形成するように、予め電極４０１Ａ及び電極４０１Ｂを配置する。そして、液晶層４０１Ｃにおける各要素画素に対応する領域に、レンズ４０３形状の電界が形成されるように電極４０１Ｂ及び電極４０１Ａに電圧を印加する。すると、液晶層４０１Ｃにおける液晶４０６は、印加電圧に応じて形成された電界に沿った配向を示す。この場合、光学素子４０１は、図３に示すように、レンズ４０３形状の屈折率分布を示す。このため、この場合、光学素子４０１は、図２に示すように、複数のレンズ４０３が所定方向に配列されたレンズアレイ形状の屈折率分布を示すこととなる。
【００１３】
なお、このレンズアレイ形状の屈折率分布は、例えば、表示素子４０２の要素画素の配列方向に沿った屈折率分布である。更に具体的には、例えば、光学素子４０１は、表示素子４０２の表示面における水平方向及び垂直方向の何れか一方、または双方の方向に、レンズアレイ形状の屈折率分布を示す。なお、水平方向及び垂直方向の何れか一方または双方の方向の何れの方向に屈折率分布を示す構成とするかは、光学素子４０１の構成（すなわち、電極４０１Ａ及び電極４０１Ｂの形状や配置等）によって調整することができる。なお、液晶４０６の特定の配向を実現するために液晶層４０１Ｃに印加する電圧強度及び電圧印加時間等の電圧条件は、液晶４０６の種類や、電極４０１Ａ及び電極４０１Ｂの形状や配置等によって異なる。
【００１４】
図４は、光学素子４０１の屈折率変化と液晶４０６の配向状態の一例を示す図である。詳細には、図４（Ａ）は、電極４０１Ａと電極４０１Ｂへの印加電圧と光学素子４０１の屈折率との関係の一例を示す図である。図４（Ｂ）及び図４（Ｃ）は、光学素子４０１の屈折率に対応する液晶４０６の配向状態の一例を示す図である。
【００１５】
図４に示す例では、電極４０１Ａと電極４０１Ｂとの間に電圧が印加されていない状態では、液晶４０６は水平方向に配向し（図４（Ｂ）参照）、屈折率ｎは低い値を示す（図４（Ａ））。そして、電極４０１Ａと電極４０１Ｂに印加する電圧値を上げるほど液晶４０６は垂直方向に向かって配向する（図４（Ｃ）参照）。この配向変化に伴い光学素子４０１の屈折率ｎは上昇する（図４（Ａ）参照。このため、図４に示す例では、印加電圧と光学素子４０１の屈折率との関係は、線図４０７の関係を示す。
【００１６】
このため、電極４０１Ａ及び電極４０１Ｂの配置や、これらの電極４０１Ａ及び電極４０１Ｂ等を介して液晶層４０１Ｃに印加する電圧の印加条件を調整することによって、図３に示すように、光学素子４０１は、レンズ４０３形状の屈折率分布を示すこととなる。そして、結果的に、光学素子４０１は、図２に示すような、レンズアレイ形状の屈折率分布を示すこととなる。
【００１７】
なお、本実施の形態では、光学素子４０１は、電圧印加によってレンズ４０３形状の屈折率分布を示す場合を説明するが、レンズ４０３形状の屈折率分布に限られない。例えば、電極４０１Ａ及び電極４０１Ｂに印加する電圧の印加条件や、電極４０１Ａ及び電極４０１Ｂの配置や形状等によって、光学素子４０１を所望の形状の屈折率分布を示す構成とすることができる。例えば、光学素子４０１がプリズム形状の屈折率分布を示すように、電圧印加条件や、電極４０１Ａ及び電極４０１Ｂの配置や形状等を調整してもよい。更に、光学素子４０１がプリズム形状とレンズ形状が混在するような屈折率分布を示すように電圧印加条件を調整してもよい。
【００１８】
本実施の形態の表示部４００は以上のように構成されている。したがって、光学素子４０１への印加電圧を制御することにより、光学素子４０１のレンズ形状が変化し、これにより光学素子４０１のレンズピッチおよび焦点距離といった光学特性を変化させることができる。
【００１９】
図５は、表示部４００を正面から見た図である。表示部４００は、複数の視差画像を表示可能なデバイスである。視差画像は、立体画像を視聴者に観察させるのに用いる画像であり、立体画像を構成する個々の画像である。立体画像は、視聴者Ｐの視点位置から、光学素子４０１を通して表示素子４０２を観察した場合、視聴者の一方の眼には一の視差画像が観察され、もう一方の眼には他の視差画像が観察されるように、視差画像の各画素を割り当てたものである。すなわち、各視差画像の画素が並べ替えられることにより、立体画像が生成される。なお、視差画像の一画素は複数のサブ画素を含む。表示素子４０２は、色成分を有する複数のサブ画素（例えば、Ｒ，Ｇ，Ｂ）が、第１方向（行方向）と第２方向（列方向）とに、マトリクス状に配列された液晶パネルである。表示素子４０２は、直視型２次元ディスプレイ、例えば、有機ＥＬ（Ｏｒｇａｎｉｃ  Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）やＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）、ＰＤＰ（ＰｌａｓｍａＤｉｓｐｌａｙ  Ｐａｎｅｌ）、投射型ディスプレイ、プラズマディスプレイなどである。図５の例では、ひとつの画素はＲＧＢ各色のサブ画素から構成される。各サブ画素は、第１方向にＲ（赤）、Ｇ（緑）、Ｂ（青）の順で繰り返し配列され、第２方向に同一の色成分が配列される。光学素子４０１は、表示素子４０２の各サブ画素からの光線の出射方向を制御する。光学素子４０１は、光線を出射するための光学的開口が直線状に延伸し、当該光学的開口が第１方向に複数配列されたものである。表示素子４０２と光学素子４０１とは、一定の距離（ギャップ）を有する。また、光学素子４０１は、その光学的開口の延伸方向が表示素子４０２の第２方向（列方向）に対して、所定の傾きを有するように配置されるので、光学的開口と表示画素との行方向の位置がずれることにより、高さごとに視域（立体画像を観察可能な領域）が異なる。
【００２０】
算出部２００および制御部３００の概略構成を図６に示す。算出部２００は、人物情報取得部１００により取得された各人物の位置を含む人物情報１０１およびレンズ形状・画像を決定するパラメータ群２０１を入力し、各人物について立体視の良好度合いを表す重みを算出し、各人物の重みおよび対応する表示パラメータ２０３を出力する重み算出部２０２を備える。
【００２１】
立体視の良好度合いを重みＷとすると、この重みＷは、立体画像表示装置に表示する多視点画像（即ち、表示する画素の並びの組み合わせ）や、立体画像表示装置のハードウェア設計、レンズ形状等に関係する表示パラメータ群２０１の表示パラメータそれぞれについて人物情報１０１に基づいて算出される。重みＷの値が大きいほど、立体視は良好なものとなる。重みＷは、少なくとも各人物の位置を反映しているが、どのように変化させるかは任意である。例えば、視聴者が選択可能な幾つかの視聴モードに対応するように重みＷを変化させてもよい。なお、表示する画素の並びの組合せ等、表示パラメータにより制御可能な対象については後に詳しく説明する。
【００２２】
本実施形態では、立体視可能な表示領域の面積、光線密度、予め指定された位置に応じた重み（「位置重み」という）を算出する。このため、何らかの手段により各人物の位置情報を取得できることが必要である。また、別の位置重みとして、本実施形態では立体画像の解像度、クロストークに関係する光路長の差を算出する。これらの位置重みについては後に詳しく説明する。
【００２３】
また、本実施形態では、位置重みに加え、各人物の属性に応じた重み（「属性重み」という）を算出する。重みＷは、これら位置重みの値と属性重みの値とを合成することにより算出される。
【００２４】
制御部３００は、各人物の重みＷおよび対応する表示パラメータ２０３を入力し、算出部２００により算出された各人物の重みＷの総和が最大となる表示パラメータを選択するパラメータ選択部３０１と、パラメータ選択部３０１により選択された表示パラメータに従った立体画像を出力する画像出力部３０２と、パラメータ選択部３０１により選択された表示パラメータに従って光学素子４０１の光学特性を変化させるための印加電圧を出力する電圧印加部３０３と、を備える。
【００２５】
以下、本実施形態に係る立体画像表示装置のより具体的な構成例について説明する。
【００２６】
人物情報取得部１００の構成を図７に示す。人物情報取得部１００は、カメラ画像等１０２を入力して各人物の位置を検出し、各人物の位置および属性を表す人物情報１０１を出力する検出部１０３と、該検出部１０３からの出力に基づいて所定時間にわたり同一人物の位置の変化、すなわち各人物の移動を追跡する追跡部１０４とを備える。
【００２７】
位置検出に用いられる画像はカメラからの画像に限定されず、例えばレーダーから提供される信号を用いてもよい。また位置検出においては、顔、頭、人物全体、マーカーなど、人であると判定可能な任意の対象を検出してもよい。各人物の属性としては、各人物の名前、大人と子供の区別、視聴時間、リモコン保持者であるか否か等の情報が挙げられる。これらは何らかの手段によって検出され、あるいは視聴者等らが明示的に入力してもよい。
【００２８】
なお、人物情報取得部１００が出力する各人物の位置情報について、カメラ座標系における座標値を実空間座標系における座標値に変換する人物位置変換部１０５を備えてもよい。また、人物位置変換部１０５を人物情報取得部１００に設ける代わりに、これを算出部２００に設けても良い。
【００２９】
算出部２００の構成を図８に示す。算出部２００は、人物情報取得部１００からの人物情報１０１とレンズ形状・画像を決定するパラメータ群２０１とを入力し、各人物の重みおよび対応する表示パラメータ２０３を算出して出力する重み算出部２０２を備える。重み算出部２０２は、人物位置１０１Ａおよびパラメータ群２０１に基づいて位置重みを算出する位置重み算出部２０２Ａと、人物属性１０１Ｂから属性重みを算出する属性重み算出部２０２Ｂと、算出された位置重みと属性重みの和または積を計算する計算部２１３と、を備える。なお、いずれか一つの重みを用いる構成とする場合には、和または積の計算を省略することができる。
【００３０】
位置重み算出部２０２Ａは、立体画像の解像度２０４、光路長の差２０５、立体視可能なディスプレイの領域２０６、光線密度２０７、予め指定された位置の重み２０８等に基づいて位置重みを算出する。立体画像の解像度２０４は、光学素子４０１のレンズピッチ変更による、解像度に関する重みである。光路長の差２０５は、焦点距離変更による、クロストーク量に関する重みである。具体的には、光学素子４０１のレンズ焦点距離ｆと、人物位置と光学素子４０１のレンズ位置とを結ぶ直線の、レンズ位置から表示素子４０２までの長さｄｍとの差（｜ｆ−ｄｍ｜）に相当する。これら立体画像の解像度２０４および光路長の差２０５に基づく重みについては後に詳しく説明する。
【００３１】
各人物の位置（即ち立体画像表示装置の表示画面との相対的位置）と多視点画像とによって立体視可能なディスプレイの領域２０６の面積が決定する。この面積が大きければ、位置重みの値も大きくなる。また、立体画像表示装置の表示画面からの距離と視点数とによって光線密度２０７が決定する。この光線密度２０７が密であれば、位置重みは大きくなる。予め指定された位置の重み２０８については、定常的に視聴をする位置に他の位置よりも大きな重みを与える。
【００３２】
位置重み算出部２０２Ａは、立体画像の解像度２０４、光路長の差２０５、立体視可能なディスプレイの領域２０６、光線密度２０７、予め指定された位置の重み２０８等についてそれぞれ算出された重みの値の和または積を算出して出力する。なお、いずれか一つの重みを用いる構成とする場合には、位置の重みの和または積の計算を省略することができる。また、これら以外にも見えに関する重みを表現できる項を追加してもかまわない。
【００３３】
属性重み算出部２０２Ｂは、視聴時間または開始順序２０９、特定の人物２１０、リモコンの保持者２１１、人物間の位置関係２１２等の属性の値に基づいて属性重みを算出する。視聴時間または開始順序２０９については、長時間にわたり視聴している人物や、先に視聴を開始した人物が優先されるように重みの値を大きくする。同様に、特定の人物２１０や、リモコン保持者２１１が優先されるように重みの値を大きくする。人物間の位置関係２１２については、全員のなかで、ディスプレイの正面にいる人や近い人ほど重みの値を大きくする。属性重み算出部２０２Ｂは、視聴時間または開始順序２０９、特定の人物２１０、リモコンの保持者２１１、人物間の位置関係２１２等についてそれぞれ算出された重みの値の和または積を算出して出力する。なお、いずれか一つの重みを用いる構成とする場合には、和または積の計算は省略することができる。また、これら以外にも視聴者の属性に関する重みを表現できる項を追加してもかまわない。
【００３４】
さらに、計算部２１３は、位置重み算出部２０２Ａから出力された位置重みの値と、属性重み算出部２０２Ｂから出力された属性重みの値との和または積を計算する。
【００３５】
なお、特定の人物２０９の情報のみに基づいてパラメータ選択を行う場合を除き、少なくとも位置重みの算出は必要である。また、レンズ形状・画像を決定するパラメータ群２０１に含まれる複数の表示パラメータのそれぞれについて各人物の重みを算出する。また、原則として全ての人物について重みを算出する（特定の人物２０９の情報のみに基づいてパラメータ選択を行う場合を除く）。
【００３６】
立体画像の解像度２０４に基づく重みについて図９を参照して説明する。
【００３７】
光学素子４０１のレンズピッチを基準に対して変更すると、視差数、１視差画像の解像度、および視域が変化する。光学素子４０１のレンズピッチを基準より大きくすると（θ１＞θ）、１レンズあたりの表示素子数が増加する。この時、１レンズあたりの１視差画像に対する表示画素数が一定であれば視差数が増える。１視差画像の解像度は、Ｈを水平方向の画素数、Ｖを垂直方向の画素数、Ｎを視差数とするとき、Ｈ×Ｖ／Ｎで表すことができる。これは、１視差あたりの画素数のことであって、立体画像の解像度２０４のことである。光学素子４０１のレンズピッチを基準より大きくすると、上記のとおり視差数が増加し、これにより１視差画像の解像度は低下する。また図９から分かるように、視域は１０Ｂから１０Ａに拡大する。一方、光学素子４０１のレンズピッチを基準より小さくすると（θ２＜θ）、１レンズあたりの表示素子数が減少して視差数が減る。したがって１視差画像の解像度は増加する。また図９から分かるように、視域は１０Ｂから１０Ｃに縮小する。
【００３８】
このような可変の立体画像の解像度２０４について、例えば、立体画像の解像度２０４が高い（即ち、視差数小、レンズピッチ小）場合ほど大きな重みを与える。逆に、立体画像の解像度２０４が低い（即ち、視差数大、レンズピッチ大）場合ほど重みを小さくする。具体的には、次の（１）〜（３）のいずれかによって重みを計算してもよい。
【００３９】
（１）１視差画像の解像度Ｒを用いる
パネルの解像度をＲｍａｘとするとき、１視差画像の解像度がRの場合の重みｗ１を次式のように計算する。
【数１】
2013182209.tif 000003
【００４０】
この式は１視差あたりの解像度Ｒが大きいほど、重みの値を大きくするというものであり、それを満たす方法であれば上記式（１）以外でもよい。
【００４１】
（２）視差数Ｎを用いる
最大視差数をＮｍａｘとするとき、視差数Ｎの場合の重みｗ１を次式のように計算する。
【数２】
2013182209.tif 000004
【００４２】
この式は視差数Ｎが小さいほど、重みの値を大きくするというものであり、それを満たす方法であれば上記式（２）以外でもよい。
【００４３】
（３）レンズピッチｐを用いる
最大レンズピッチをｐｍａｘとするとき、レンズピッチｐの場合の重みｗ１を次式のように計算する。
【数３】
2013182209.tif 000005
【００４４】
この式はレンズピッチｐが小さいほど、重みの値を大きくするというものであり、それを満たす方法であれば上記式（３）以外でもよい。
【００４５】
上記（１）〜（３）の式はいずれも分数部分が大事な項である。各パラメータを、各パラメータがとりうる最大値と比較することにより重みとしている。なお、分数を引数としたガウス分布にしてもよい。そのほか、解像度Ｒ，視差数Ｎ，レンズピッチｐを引数としたシグモイド関数を用いてもよい。
【００４６】
図１０は、光学素子として液晶バリアを適用する場合を示す図である。光学素子４０１として、屈折率分布が可変の素子（複屈折素子）に代えて、液晶バリアを用いることができる。図１０のように、液晶バリア４０８によれば、光を透過する光学開口部（レンズに相当する）１１のピッチを同図（ａ）〜（ｃ）のように変化させることができる。
【００４７】
図１１は、光路長の差に基づく重みについて説明するための図である。上述したように、光学素子４０１の焦点距離を変化させることができる。焦点距離を変更すると、合焦の方向および距離が変化する。その結果、クロストーク量すなわち立体画像の「見え」の良好度が変化する。クロストークが小さいほど、立体画像の「見え」は良好である。クロストーク量そのものを計算することは困難である。そこで、視聴者Ｐの位置とレンズ主点を結ぶ線分の、該レンズ主点から表示画素までの光路長をｄｍとし、レンズの焦点距離ｆと光路長ｄｍとの差をΔとする。Δが０に近いということは、該表示画素の位置にレンズの焦点が存在することになり、その光は最も効果的に視聴者Ｐの位置に到達し、クロストーク量は減る。反対にΔが０からはなれた値をとる場合、該表示画素よりも後ろ（もしくは前）に焦点が存在することになり、該表示画素周辺の光も視聴者Ｐの位置に到達することになり、クロストーク量が増加する。したがって、次式のように光路長の差Δ＝｜ｆ−ｄｍ｜をクロストークを反映する量として用い、Δの値に応じて重みを計算する。
【数４】
2013182209.tif 000006
【００４８】
光路長の差Δが小さいほど、立体画像の「見え」の重みを大きくする。逆に、光路長の差Δが大きいほど、立体画像の「見え」の重みを小さくする。
【００４９】
光路長の差Δは各レンズごとに計算することが好ましい。例えば、レンズｉについての光路長の差Δｉの重み付け平均をΔとしてもよい。この場合の重みは一定でもよいし、画面の端ほど小さくなるように変化させてもよい。このように計算された光路長の差Δを使って、例えば次式のような立体画像の「見え」に関する重みｗ２を計算することができる。次式の重みｗ２は、ガウス分布に従う。
【数５】
2013182209.tif 000007
【００５０】
そのほか、光路長の差Δの最大値をΔｍａｘとするとき、例えば次式により重みｗ２を計算することができる。ただし、Δは０以上である。
【数６】
2013182209.tif 000008
【００５１】
次に、図１２を参照し、立体視可能な領域２０６の面積に基づく重みの算出について説明する。「見え」の図は幾何的に求めることができ、計算可能である。視聴者Ｐと表示部４００（ディスプレイ）の両端それぞれを結んだ線が視域設定距離で切り取る絵柄２１は、ディスプレイの「見え」と一致する。この図１２の例では、絵柄２１における領域２２は立体視可能領域であり、領域２３は立体視不能領域である。絵柄２１の全領域の面積に占める立体視可能な領域２２の割合を重みとして算出することができる。例えば、立体視可能な領域２２の割合が１００％であれば、全てを立体視でき、最大値として例えば値「１」とする。
【００５２】
次に、光線密度２０７に基づく重みの算出について図１３を参照して説明する。視差数をＮ、光線の広がりを２θ、ディスプレイ４００から視聴者Ｐまでの距離をＺ、視聴者Ｐの眼間距離をｄとするとき、
【数７】
2013182209.tif 000009
【００５３】
に従って光線密度２０７の重みを算出することができる。即ち、視聴者Ｐの目の位置における、光線幅ｌｅｎと眼間距離ｄの比率を光線密度２０７の重みとする。眼間距離ｄよりも光線幅ｌｅｎが狭い場合には、光線密度２０７の重みの値を「１」にする。
【００５４】
図１４に、算出部２００により算出された重みの値を実空間座標に配置したマップＭの例を示す。
【００５５】
次に、画像出力部の構成を図１５に示す。画像出力部３０２には、算出部２００から出力された各人物の重みおよび対応する表示パラメータ２０３が入力される。各人物の重みおよび対応する表示パラメータ２０３としては、１出力または多出力としてもよい。例えば、１出力の場合、各人物の重みの総和の最大値、特定の人物の重みの最大値、各人物の重みの平均値または中央値のうちの最大値が用いられてもよい。また、属性重みによって視聴者の優先順位をつけておき、ある順位以上の各人物の重みの総和の最大値、重みの平均値または中央値のうちの最大値が用いられてもよい。多出力の場合、各人物の重みの値の最大値が用いられてもよい。
【００５６】
画像出力部３０２の判定部３１０は、上記のような重みの値が所定の基準値以上であるか否かを判定する。多出力の場合、全員（あるいはＮ人以上）の重みの値が所定の基準値以上であるか否かが判定される。また、属性重みによって視聴者の優先順位をつけておき、ある順位以上の各人物のみで判定を行ってもかまわない。いずれの場合においても、基準値以上の重みに対応する表示パラメータ２１３を選択する。画像切替えの際の視認性を向上するための処理として、過去の表示パラメータ２１４に基づき、このたび選択された表示パラメータと、過去の表示パラメータ２１４をブレンドしてゆっくり変化させる、変化を知覚しにくいシーンチェンジまたは画像の動きの激しいときに画像切替えを行うなどのブレンド／選択部３１１を備えてもよい。同様に、画像切替えの際の視認性を向上するための処理として、過去画像２１６に基づき、ブレンド／選択部３１１から出力された表示パラメータに従う多視点画像（立体画像）２１５と過去画像２１６をブレンドしてゆっくり変化させるなどのブレンド／選択部３１２をさらに設けてもよい。ブレンド処理においては、一次遅れなどを吸収できることが好ましい。
【００５７】
なお、選択された表示パラメータに従う多視点画像（立体画像）は、後述するように、表示部４００の位置や向き等を物理的に変化させることによっても実現可能である。
【００５８】
判定部３１０において、重みの値が基準値を下回る場合には、適切でない立体視を防止するために、二次元画像、黒画像（非表示）、無彩色画像等２１２を表示する（２Ｄ表示）。２Ｄ表示とする基準としては、重みの総和が小さい、見えない人がいる、特定の人物の見えに依存させるなどが挙げられる。この場合に、立体視が可能な位置に人物を誘導し、あるいは立体視が可能であることの警告を発する情報表示部３１３をさらに備えてもよい。
【００５９】
ここで、画像を決定するパラメータ群２０１について、各々の表示パラメータによる制御の例について説明する。表示パラメータとしては、視域に関して制御するものと、光線密度に関して制御するものとがある。視域に関して制御する表示パラメータとしては、画像のシフト、画素並びのピッチ、レンズと画素の隙間（ギャップ）、ディスプレイの回転、変形、位置移動などが挙げられる。光線密度に関して制御する表示パラメータとしては、レンズと画素の隙間（ギャップ）、視差数などが挙げられる。
【００６０】
図１６および図１７を参照して視域に関して制御する表示パラメータについて説明する。表示画像を例えば右にシフトさせると、立体視が良好に行える場所、すなわち「視域」は、図１６に示す視域Ａから視域Ｂに変化する。これは、図１７の（ａ）と（ｃ）の比較から分かるように、光線Ｌが（ｃ）の場合では左に寄ることにより、視域も左に寄って視域Ｂに変化することによる。
【００６１】
光学素子４０１と表示素子４０２との隙間を短くすると、図１７の（ａ）と（ｂ）の比較から分かるように、図１６に示す視域Ａから視域Ｃに変化する。この場合、視域が近くなるが光線密度は減ることになる。
【００６２】
なお、図１７に示すように、表示素子４０２には視差画像が順番に並ぶ。視差画像は、視点のずれた画像のことであり、例えば同図に示すように視聴者Ｐを複数のカメラ１０６のそれぞれによって撮影した画像に相当する。表示素子４０２（サブ画素）からの光線はレンズ（光学的開口部）４０１を経て出射する。視域の形状は、図１７に示すθやηによって幾何的に求めることが可能である。
【００６３】
隣りの視域に関して図１８を参照して説明する。主に視聴を行う視域Ａの隣の視域Ｂは、（左端の画素，左端より１個右のレンズ）と、（右端より１個左の画素，右端のレンズ）の組合せによって形成される視域である。この視域Ｂをさらに左側や右側に移動することも可能である。
【００６４】
図１９を参照して、表示する画素の並び（表示ピッチ）による制御について説明する。画面の端（右端、左端）ほど、表示素子４０２と光学素子（レンズ）４０１の位置を相対的に多くずらすことにより視域を制御することができる。表示素子４０２と光学素子４０１の相対位置のずれ量を大きくすると、視域は、同図に示す視域Ａから視域Ｂに変化する。逆に、表示素子４０２と光学素子４０１の相対位置のずれ量を小さくすると、視域は、同図に示す視域Ａから視域Ｃに変化する。このように、視域の幅や近さを画素の並び（画素ピッチ）に関する表示パラメータによって制御することが可能である。なお、もっとも視域の幅が広い場所を「視域設定距離」と呼ぶ。
【００６５】
図２０を参照して、表示部４００の移動、回転、または変形による視域の制御について説明する。図２０の（ａ）に示すように、表示部４００を回転することにより、基本時の視域Ａを視域Ｂに変化させることができる。同様に、表示部４００を移動することにより、基本時の視域Ａを視域Ｃに変化させることができ、表示部４００を変形することにより、基本時の視域Ａを視域Ｄに変化させることができる。表示パラメータを変化させることにより、表示部４００の移動、回転、または変形し、視域の制御を行うことができる。
【００６６】
光線密度に関して制御する表示パラメータに関して、視差数が異なる場合の光線密度について図２１を参照して説明する。
【００６７】
例えば図２１の（ａ）に示す視差数が６の場合、同図から分かるように、相対的に人物３０よりも表示部４００に近い人物３１は、視差を与える光線の数が多くなり、立体視が良好なものとなる。また、図２１の（ｂ）に示す視差数が３の場合、（ａ）の場合よりも視差数が減って光線が疎になるので、等距離での立体視は困難になる。表示部４００の各画素から出射する光線の光線密度は、レンズや隙間に応じて決まる角度θと、視差数と、人の位置とから算出することができる。
【００６８】
次に、視差数をソフトウェア的に切り替える場合について説明する。上述の実施形態では、光学素子４０１のレンズピッチを変化させると視差数が変化し、これに伴い立体画像の解像度が変化することについて説明した。このような解像度の切替は、光学素子４０１のレンズピッチを変化させることのみに依らず、視差数をソフトウェア的に切り替えることにより実現することができる。例えば、図２２の（ａ）は６視差すなわち視差数が「６」である場合を示している。隣接する２つの画素を束ねることにより、図２２の（ｂ）に示すように３視差すなわち視差数を「３」に変化させることができる。このように視差数をソフトウェア的に切り替える場合について、光学素子４０１のレンズピッチを変化させる場合と同様に重みを計算してもよい。
【００６９】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００７０】
１００…人物情報取得部；１０１…人物情報；２００…算出部；２０１…レンズ形状・画像を決定するパラメータ群；２０２…重み算出部；２０３…各人物の重みと対応パラメータ；３００…制御部；３０１…パラメータ選択部；３０２…パラメータに従った立体画像出力部；３０３…パラメータに従った電圧印加部；４００…画像表示部
【図１】
2013182209.tif 000010
【図２】
2013182209.tif 000011
【図３】
2013182209.tif 000012
【図４】
2013182209.tif 000013
【図５】
2013182209.tif 000014
【図６】
2013182209.tif 000015
【図７】
2013182209.tif 000016
【図８】
2013182209.tif 000017
【図９】
2013182209.tif 000018
【図１０】
2013182209.tif 000019
【図１１】
2013182209.tif 000020
【図１２】
2013182209.tif 000021
【図１３】
2013182209.tif 000022
【図１４】
2013182209.tif 000023
【図１５】
2013182209.tif 000024
【図１６】
2013182209.tif 000025
【図１７】
2013182209.tif 000026
【図１８】
2013182209.tif 000027
【図１９】
2013182209.tif 000028
【図２０】
2013182209.tif 000029
【図２１】
2013182209.tif 000030
【図２２】
2013182209.tif 000031