(57)【要約】【課題】立体画像の閲覧者の閲覧姿勢に合わせた立体画像を表示する。【解決手段】平面をなす３つ以上の異なる視点Ａ〜Ｄから被写体を撮像した画像データＡ〜Ｄを記憶手段に記憶し、前記記憶手段に記憶された該画像データに基づいて、左眼用画像と右眼用画像を表示部が表示し、該表示部を閲覧する閲覧者の左右の眼を結ぶ線と該表示部との相対的な傾きを視点検出部が検出し、該相対的な傾きに基づいて、該画像データから左眼用画像と右眼用画像を表示制御部が生成する。【選択図】図１７
2012015818.tif 000002
【特許請求の範囲】
【請求項１】
平面をなす３つ以上の異なる視点から被写体を撮像した画像データを記憶する記憶手段と、
前記記憶手段に記憶された該画像データに基づいて、左眼用画像と右眼用画像を表示する表示部と、
該表示部を閲覧する閲覧者の左右の眼を結ぶ線と該表示部との相対的な傾きを検出する視点検出部と、
該相対的な傾きに基づいて、該画像データから左眼用画像と右眼用画像を生成する表示制御部と
を備える立体画像表示装置。
【請求項２】
請求項１に記載の立体画像表示装置であって、
前記記憶された画像データは被写体に対し４つの異なる視点から撮像された画像データであり、前記相対的な傾きに対し同じ向きの画像データが前記記憶された画像データ中に有るか無いかを判定する判定手段を更に備え、
前記表示制御部は、該判定手段の結果に応じて、該記憶された画像データから左眼用画像と右眼用画像を生成する
ことを特徴とする立体画像表示装置。
【請求項３】
請求項１又は請求項２に記載の立体画像表示装置であって、
前記表示制御部は、前記判定手段が画像データ有りと判定したときは、前記記憶された画像データから左眼用画像と右眼用画像を選択し、該判定手段が画像データ無しと判定したとき、前記記憶された画像データを合成して前記視点の向きに合わせた左眼用画像と右眼用画像を生成する
ことを特徴とする立体画像表示装置。
【請求項４】
請求項２又は請求項３に記載の立体画像表示装置であって、前記判定手段は、前記同じ向きの画像データが有るか無いかの判定を、前記相対的な傾きに対する角度が所定閾値未満の画像データが有るか無いかで判定する立体画像表示装置。
【請求項５】
請求項１乃至請求項４のいずれか１項に記載の立体画像表示装置であって、前記視点検出部が検出した前記閲覧者の右眼が左眼より下側にあるか否かに応じて前記表示制御部は前記左眼用画像と前記右眼用画像を生成する立体画像表示装置。
【請求項６】
請求項１乃至請求項５のいずれか１項に記載の立体画像表示装置であって、
前記表示制御部は、前記視点検出部が前記相対的な傾きの変化を検出したとき、該相対的な傾きの変化に応じて左眼用画像と右眼用画像を生成することを特徴とする立体画像表示装置。
【請求項７】
請求項１乃至請求項６のいずれか１項に記載の立体画像表示装置であって、
前記視点検出部が前記閲覧者として複数人の前記相対的な傾きを検出したとき、該複数人の前記相対的な傾きの平均値を求める平均視点検出手段を更に備え、
前記表示制御部は、該平均値に合わせて左眼用画像と右眼用画像を生成する
ことを特徴とする立体画像表示装置。
【請求項８】
請求項１乃至請求項７のいずれか１項に記載の立体画像表示装置であって、
前記表示制御部は、前記視点検出部が前記複数人の前記相対的な傾きを検出したとき、前記記憶された画像データから前記複数人の該相対的な傾きに応じた左眼用画像と右眼用画像を生成し、該複数人の該相対的な傾きの順番に左眼用画像と右眼用画像を表示する
ことを特徴とする立体画像表示装置。
【請求項９】
請求項８に記載の立体画像表示装置と、前記複数人の各々が掛けている複数の閲覧用保持具とを備えた立体画像表示システムであって、
該複数の閲覧用保持具は、前記表示部の画像を前記複数人の各々の前記相対的な傾きに合わせて別々に制御する
ことを特徴とする立体画像表示システム。
【請求項１０】
請求項２乃至請求項８のいずれか１項に記載の立体画像表示装置であって、前記４つの視点は正方形に配置される立体画像表示装置。
【請求項１１】
請求項１０に記載の立体画像表示装置であって、前記４つの視点は前記被写体の左斜め上と右斜め上と左斜め下と右斜め下とに配置される立体画像表示装置。
【請求項１２】
請求項１０に記載の立体画像表示装置であって、前記４つの視点は前記被写体の上下左右に配置される立体画像表示装置。
【請求項１３】
平面をなす３つ以上の異なる視点から被写体を撮像した画像データを記憶手段に記憶し、
前記記憶手段に記憶された該画像データに基づいて、左眼用画像と右眼用画像を表示部が表示し、
該表示部を閲覧する閲覧者の左右の眼を結ぶ線と該表示部との相対的な傾きを視点検出部が検出し、
該相対的な傾きに基づいて、該画像データから左眼用画像と右眼用画像を表示制御部が生成する
立体画像表示方法。
【請求項１４】
請求項１３に記載の立体画像表示方法であって、
前記記憶された画像データは被写体に対し４つの異なる視点から撮像された画像データであり、前記相対的な傾きと同じ向きの画像データが前記記憶された画像データ中に有るか無いかを判定手段が判定し、
前記表示制御部は、該判定手段の結果に応じて、前記記憶された画像データから左眼用画像と右眼用画像を生成する
ことを特徴とする立体画像表示方法。
【請求項１５】
請求項１３又は請求項１４に記載の立体画像表示方法であって、
前記表示制御部は、前記判定手段が画像データ有りと判定したときは、前記記憶された画像データから左眼用画像と右眼用画像を選択し、該判定手段が画像データ無しと判定したとき、前記記憶された画像データを合成して前記視点の向きに合わせた左眼用画像と右眼用画像を生成する
ことを特徴とする立体画像表示方法。
【請求項１６】
請求項１４又は請求項１５に記載の立体画像表示方法であって、前記判定手段は、前記同じ向きの画像データが有るか無いかの判定を、前記相対的な傾きに対する角度が所定閾値未満の画像データが有るか無いかで判定する立体画像表示方法。
【請求項１７】
請求項１３乃至請求項１６のいずれか１項に記載の立体画像表示方法であって、前記視点検出部が検出した前記閲覧者の右眼が左眼より下側にあるか否かに応じて前記表示制御部は前記左眼用画像と前記右眼用画像を生成する立体画像表示方法。
【請求項１８】
請求項１３乃至請求項１７のいずれか１項に記載の立体画像表示方法であって、
前記表示制御部は、前記視点検出部が前記相対的な傾きの変化を検出したとき、該相対的な傾きの変化に応じて左眼用画像と右眼用画像を生成することを特徴とする立体画像表示方法。
【請求項１９】
請求項１３乃至請求項１８のいずれか１項に記載の立体画像表示方法であって、
前記視点検出部が前記閲覧者として複数人の前記相対的な傾きを検出したとき、該複数人の前記相対的な傾きの平均値を平均値視点検出手段が求め、
前記表示制御部は、該平均値に合わせて左眼用画像と右眼用画像を生成する
ことを特徴とする立体画像表示方法。
【請求項２０】
請求項１３乃至請求項１９のいずれか１項に記載の立体画像表示方法であって、
前記表示制御部は、前記視点検出部が前記複数人の前記相対的な傾きを検出したとき、前記記憶された画像データから前記複数人の該相対的な傾きに応じた左眼用画像と右眼用画像を生成し、該複数人の該相対的な傾きの順番に左眼用画像と右眼用画像を表示する
ことを特徴とする立体画像表示方法。
【請求項２１】
請求項２０に記載の前記複数人の各々が掛けている複数の閲覧用保持具を備えた立体画像表示システムの立体画像表示方法であって、
該複数の閲覧用保持具は、前記表示部の画像を前記複数人の各々の前記相対的な傾きに合わせて別々に制御する
ことを特徴とする立体画像表示方法。
【請求項２２】
請求項１４乃至請求項２０のいずれか１項に記載の立体画像表示方法であって、前記４つの視点は正方形に配置される立体画像表示方法。
【請求項２３】
請求項２２に記載の立体画像表示方法であって、前記４つの視点は前記被写体の左斜め上と右斜め上と左斜め下と右斜め下とに配置される立体画像表示方法。
【請求項２４】
請求項２２に記載の立体画像表示方法であって、前記４つの視点は前記被写体の上下左右に配置される立体画像表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体の立体画像を表示する立体画像表示装置及び表示方法に関する。
【背景技術】
【０００２】
例えば特許文献１〜４に記載されている様なステレオカメラ等が普及し始め、誰でも簡単に被写体の立体画像を撮影することができるようになってきている。また、立体画像を表示可能なパーソナルコンピュータのモニタ装置やテレビジョン装置等の立体画像表示装置も普及し始めている。
【０００３】
立体画像表示装置は、閲覧者が縦向き（正立した状態）で視聴しても横向き（寝そべった状態）で視聴しても立体画像が表示できるように、縦向き／横向きの２つの方向で立体表示が可能なものもある（例えば特許文献５，６）。
【０００４】
また、特許文献７記載の従来技術では、携帯電話機等の表示画面を立体映像装置とし、表示画面に対するユーザの相対的な姿勢変化（視点の変化）を検出し、ユーザがどの視点にいても明瞭な立体画像を表示できるようにしている。
【０００５】
しかし、特許文献７の立体映像装置は、携帯型でユーザが手に持って使用するため、ユーザとの間の相対的な姿勢変化といっても制限があり、水平方向の視点位置の変化にしか対応していない。
【０００６】
また、特許文献７の従来技術では、表示対象物の周囲の水平方向の７視点から見た夫々の映像データを全て保持しておき、ユーザの姿勢をジャイロセンサで検出してその視点に整合する映像データを表示しているため、保持しておかなければならない映像データ量が膨大になってしまうという問題があり、また、ユーザの視点に対応する映像データが無い場合には、その表示対象物の立体映像を表示できない。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１０―１１４５７７号公報
【特許文献２】特開２００８―１６７０６６号公報
【特許文献３】特開２００３―７９９４号公報
【特許文献４】特開平１０―４２３１４号公報
【特許文献５】特開平６―２５８７３３号公報
【特許文献６】特開２００６―３０８８６４号公報
【特許文献７】特開２００６―１７４４３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
例えば大型テレビジョン装置で閲覧者が立体映像を観賞する場合、ユーザの顔が正立状態で左右の眼が水平になっている場合もあり、右側に寝そべって右眼が下側になっている場合もあり、左側に寝そべって左眼が下側になっている場合もあり、あるいは、寝そべっているが腕枕をしているため左右の眼が右斜め４５度あるいは左斜め４５度に傾いている場合もあり、様々な姿勢を自由にとることが想定される。
【０００９】
従来の立体画像表示装置は、閲覧者の様々な姿勢変化について考慮しておらず、姿勢を変化させると立体画像が観賞できなくなってしまうという問題がある。また、閲覧者の様々な姿勢に応じた立体映像データの全てを保持しなければならないと、膨大な量の映像データが必要になり、これを保存するメモリも大容量になってしまう。
【００１０】
このため、閲覧者の姿勢に対応した映像データが存在しない場合、どの様にして立体映像を表示すればよいかという課題が生じる。また、同一画面を観賞している閲覧者が複数存在した場合、夫々の閲覧者に適切な立体映像をどの様に表示すればよいかという課題も生じる。
【００１１】
本発明の目的は、閲覧者が閲覧姿勢を変化させても立体映像を継続して観賞でき、また、少ない立体映像データを用いて閲覧者の様々な姿勢に対応した立体画像を表示でき、更にまた、複数の閲覧者毎に適切な立体映像を表示できる立体画像表示装置及び表示方法を提供することにある。
【課題を解決するための手段】
【００１２】
本発明の立体画像表示装置及びその方法は、平面をなす３つ以上の異なる視点から被写体を撮像した画像データを記憶手段に記憶し、前記記憶手段に記憶された該画像データに基づいて、左眼用画像と右眼用画像を表示部が表示し、該表示部を閲覧する閲覧者の左右の眼を結ぶ線と該表示部との相対的な傾きを視点検出部が検出し、該相対的な傾きに基づいて、該画像データから左眼用画像と右眼用画像を表示制御部が生成することを特徴とする。
【００１３】
また、本発明の立体画像表示装置及びその方法は、前記記憶された画像データは被写体に対し４つの異なる視点から撮像された画像データであり、前記相対的な傾きと同じ向きの画像データが前記記憶された画像データ中に有るか無いかを判定手段が判定し、前記表示制御部は、該判定手段の結果に応じて、前記記憶された画像データから左眼用画像と右眼用画像を生成することを特徴とする。
【発明の効果】
【００１４】
本発明によれば、閲覧者が閲覧中にその姿勢を変化させても、この変化に対応した立体画像を画面に表示するため、閲覧者は立体画像を観賞し続けることができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態を説明するための立体画像撮像装置の外観斜視図である。
【図２】図１に示す立体画像撮像装置の内部機能ブロック図である。
【図３】図２に示す撮像素子の表面模式図である。
【図４】図３に示す撮像素子の要部説明図である。
【図５】図３の撮像素子で撮影する被写体の一例を示す図である。
【図６】図４の各視点と図５の被写体との関係を示す図である。
【図７】図６の各視点から見た被写体の画像例を示す図である。
【図８】本発明の一実施形態に係る立体画像表示装置の内部機能ブロック図である。
【図９】立体画像撮像装置で記録された複数視点の撮像画像データから視差画像を生成する説明図である。
【図１０】図９に示す視差画像の具体例を示す図である。
【図１１】複数視点の撮像画像データから視差画像を生成する処理手順を示すフローチャートである。
【図１２】図３に示す撮像素子に代わる別の撮像素子の表面模式図である。
【図１３】図１２に示す撮像素子の要部説明図である。
【図１４】図１３の各視点と被写体との関係を示す図である。
【図１５】図１４の各視点から見た被写体の画像例を示す図である。
【図１６】図１４に示す各視点による撮像画像データから視差画像を生成する処理手順を示すフローチャートである。
【図１７】図１６の処理で生成される視差画像の具体例を示す図である。
【図１８】図１４に示す各視点による撮像画像データから異なる視点（斜め方向）の視差画像を生成する処理手順を示すフローチャートである。
【図１９】図１８の処理で生成される斜め方向の視差画像の具体例を示す図である。
【図２０】複数の視点情報から視差画像を生成する全体の処理手順を示すフローチャートである。
【図２１】視点が３つの場合の視点位置の一例を示す図である。
【図２２】閲覧者が複数の場合の立体画像表示手順を示すフローチャートである。
【図２３】図２２の表示手順による各視点の画像情報の表示例を示す図である。
【図２４】閲覧者が複数の場合の別実施形態の立体画像表示手順を示すフローチャートである。
【図２５】図１４に示す各視点の画像データをシーケンシャルに画面に表示したときの図２４の制御手順による表示タイミングの例を示す図である。
【発明を実施するための形態】
【００１６】
以下、本発明の一実施形態について、図面を参照して説明するが、立体画像表示装置の説明に先立ち、立体画像撮像装置について説明し、どの様な視点の立体画像データを取得するかを説明する。そして、その次に、これらの立体画像データに基づいて様々な視点の立体画像をどのように表示するかについて説明する。
【００１７】
図１は、単眼の立体画像撮像装置の一例を示す外観斜視図である。この立体画像撮像装置１０は、カメラ筐体１１の前部に、単眼の撮影レンズ系１２を収納するレンズ鏡筒１３が沈胴可能に取り付けられており、カメラ筐体１１の上面右端部にはシャッタレリーズボタン１４が設けられており、カメラ筐体１１の背部には、図１では図示しない液晶表示部（図２の表示部２２）が設けられている。
【００１８】
図２は、立体画像撮像装置１０の内部の機能ブロック構成図である。撮影レンズ系１２の背部には、瞳分割光学系１３が設けられた撮像素子１４が配置されている。撮像素子１４は、４画素（画素Ａ，画素Ｂ，画素Ｃ，画素Ｄ）を１組として半導体基板受光面上に配列形成されており、各組の画素Ａの検出信号，画素Ｂの検出信号，画素Ｃの検出信号，画素Ｄの検出信号が、夫々毎に設けられたアナログデジタル（Ａ／Ｄ）変換器１５を通して画像入力コントローラ１６に取り込まれ、各画素Ａ，Ｂ，Ｃ，Ｄ毎のデジタルの撮像画像信号が画像入力コントローラ１６から内部バス１７に出力される。
【００１９】
バス１７には、この立体画像撮像装置１０の全体を統括制御するＣＰＵ２０と、画素Ａの撮像画像信号に対し周知の画像処理（例えばオフセット処理，ガンマ変換処理，同時化処理，ＲＧＢ／ＹＣ変換処理等）を施して被写体の第１の撮像画像データを生成し、画素Ｂの撮像画像信号に対し周知の画像処理を施して被写体の第２の撮像画像データを生成し、画素Ｃの撮像画像信号に対し周知の画像処理を施して被写体の第３の撮像画像データを生成し、画素Ｄの撮像画像信号に対し周知の画像処理を施して被写体の第４の撮像画像データを生成する画像信号処理部２１と、これらの撮像画像信号を表示画像に変換して表示部２２に表示するビデオエンコーダ２３とが接続される。
【００２０】
バス１７には、更に、ＲＯＭ２５と、ＲＡＭ２６と、ＡＥ／ＡＷＢ検出回路２７と、記録メディア２８への書き込み／読み込み制御を行うメディア記録制御部２９と、スピーカ３０やマイク３１が接続され音声案内等を行う音声入出力処理部３２と、上記の第１，第２，第３，第４の撮像画像データ間の視差補正機能を有する３Ｄ画像信号処理部３３とが接続される。
【００２１】
ＣＰＵ２０には、撮像素子１４を駆動するタイミングジェネレータ３５と、撮影レンズ系１２の望遠位置，フォーカス位置等をモータ駆動するモータドライバ３６と、ユーザからの入力指示をユーザインタフェース（ＵＩ）処理を介して行う操作部３７と、電源３８とが接続される。
【００２２】
図３は、図２に示す撮像素子の一例を示す表面模式図である。なお、この例ではＣＣＤ型のイメージセンサを例示するが、ＣＭＯＳ型イメージセンサでも良い。
【００２３】
図３に示す撮像素子１４は、半導体基板の受光面に二次元アレイ状、図示の例では正方格子状に複数の画素４１が配列形成され、各画素列に沿って垂直電荷転送路（ＶＣＣＤ）４２が形成される。各垂直電荷転送路４２の転送方向端部に沿ってラインメモリ４３が形成され、ラインメモリ４３に並列に水平電荷転送路（ＨＣＣＤ）４４が形成され、水平電荷転送路４４の出力端部に、転送されてきた信号電荷量に応じた電圧値信号を撮像画像信号として出力するアンプ４５が設けられている。
【００２４】
ラインメモリ４３は、垂直電荷転送路４２毎の信号電荷一時蓄積用のバッファ４３ａを備え、例えば特開２００６―１５７６２４号公報に記載されている様に、垂直電荷転送路４２から送られてきた信号電荷を一時的に保持し、この信号電荷を水平電荷転送路４４に転送するときのタイミングを制御することで、水平方向の画素加算（信号電荷の混合）を行う機能を有する。なお、本実施形態では、ラインメモリ４３を搭載した撮像素子１４について説明したが、以下に述べる立体画像データを撮影するときは、このラインメモリ４３を使った画素加算（画素混合）は行わない。
【００２５】
図中の各画素４１上に記載した「Ｒ」「Ｇ」「Ｂ」はカラーフィルタの色（Ｒ＝赤、Ｇ＝緑、Ｂ＝青）を表している。本実施形態の撮像素子１４では、縦横に隣接し夫々の正方形の４角位置に配置された最隣接４画素を１組として、組内の４画素に同一色のカラーフィルタを積層している。そして、各組毎の色配列が全体としてベイヤ配列となるようにカラーフィルタを配列している。
【００２６】
そして、図３に示す４画素１組の夫々の上部に、破線円で示すマイクロレンズ４７を設けている。これらのマイクロレンズ４７が、図２に示す瞳分割光学系１３を構成し、マイクロレンズ４７を通して下部の各画素Ａ〜Ｄに光が入射するとき、各々の画素Ａ〜Ｄへの入射光に指向性が生じ、異なる視差を持つ画像が各画素Ａ〜Ｄで撮像される。
【００２７】
図４は、図３に示す画素４１のうち４×４＝１６画素を示す図であり、４画素１組として４組の画素と夫々の瞳分割用のマイクロレンズ４７を示している。各４画素の中央に記載したＲ，Ｇ，Ｂがカラーフィルタの色を表し、各４画素のうち左斜め上を画素Ａ，右斜め上を画素Ｂ，左斜め下を画素Ｃ，右斜め下を画素Ｄとする。この画素Ａ〜Ｄが、図２の撮像素子１４で説明した画素Ａ〜Ｄである。
【００２８】
図５は、被写体としての木４９を示している。図４の紙面の手前側に撮影者の目が存在し、各組の４画素を通して被写体の木４９を見た場合、図６に示す様に、画素Ａは木４９を左斜め上（視点Ａ）から見た画像データを取得し、画素Ｂは木４９を右斜め上（視点Ｂ）から見た画像データを取得し、画素Ｃは木４９を左斜め下（視点Ｃ）から見た画像データを取得し、画素Ｄは木４９を右斜め下（視点Ｄ）から見た画像データを取得することになる。
【００２９】
図７（ａ）（ｂ）（ｃ）（ｄ）は、図６で説明した視点Ａ，Ｂ，Ｃ，Ｄから見た画像データの具体例である。各組の画素Ａから出力された撮像画像信号を信号処理部２１が画像処理して得た撮像画像データ（図７（ａ））を記録メディア２８に保存し、各組の画素Ｂから出力された撮像画像信号を信号処理部２１が画像処理して得た撮像画像データ（図７（ｂ））を記録メディア２８に保存し、各組の画素Ｃから出力された撮像画像信号を信号処理部２１が画像処理して得た撮像画像データ（図７（ｃ））を記録メディア２８に保存し、各組の画素Ｄから出力された撮像画像信号を信号処理部２１が画像処理して得た撮像画像データ（図７（ｄ））を記録メディア２８に保存する。
【００３０】
これら図７（ａ）〜（ｄ）の木４９の４枚の撮像画像データは、マルチピクチャーフォーマットとして関連付けを行って記録メディア２８に保存する。なお、記録される撮像画像データは、静止画像であっても、動画像であっても良い。
【００３１】
この様に、各視点Ａ，Ｂ，Ｃ，Ｄから撮影されマルチピクチャーフォーマットで記録メディア２８に保存された撮像画像データを、３Ｄ画像表示を行える立体画像表示装置で観賞する場合、記録メディア２８を立体画像表示装置に装着し、閲覧者が立体画像を観賞することになる。
【００３２】
図８は、本発明の一実施形態に係る立体画像表示装置の機能ブロック構成図である。この立体画像表示装置５０は、バス５１に接続されたＣＰＵ５２と、画像選択部５３と、閲覧者の姿勢（右眼の視点と左眼の視点とが並ぶ方向）を検出する視点検出部５４と、図２で説明した３Ｄ画像信号処理部３３と同じ機能を持つ３Ｄ画像信号処理部５５と、画像信号処理部５６と、ＲＯＭ５７と、ＲＡＭ５８と、スピーカ６０及びマイク６１が接続された音声入出力処理部６１と、立体画像撮像装置１０から取り出した記録メディア２８を装着するメディア読出制御部６２と、３Ｄ画像を表示する表示部６５が接続されたビデオエンコーダ６６と、３Ｄ画像の表示方式によっては必要となる偏光メガネ等の閲覧者の視聴補助具６７が接続される補助具制御部６８とが接続される。ＣＰＵ５２には、操作部６９や電源７０が接続される。表示部６５は、縦向き／横向きの両方で立体画像を表示できる特許文献６に記載される様な表示部を用いる。
【００３３】
縦向き／横向きの両方で立体画像を表示できる表示部は、通常はテレビジョン装置の様な矩形の枠体内に填め込まれ、矩形の上縁が水平となるように部屋内に設置されるのが普通である。この結果、この「水平」と上記の縦向き／横向きの「縦向き」とが直交することになる。以下の説明では、この枠体の上縁に沿う方向を表示部の水平方向とし、これを基準として説明する。即ち、閲覧者が地面に対して直立に立っている時に左右の眼を結ぶ線が地面に対して水平になるので、その状態の閲覧者に立体視できる画像が提供される様に表示部を設置したときの横方向を「表示部の水平方向」と呼ぶことにする（例えば、特許文献６の表示部を用いた場合、縦向き（縦置き）の場合は同文献の図４のＡ方向で、横向き（横置き）の場合は同文献の図５のＢの方向とする。）。
【００３４】
立体画像表示装置５０の視点検出部５４は、表示部の上記水平方向に対する視点の相対的な傾きを検出する。例えば、上記の枠体上縁部にカメラを備え、カメラが閲覧者の顔又は眼などの顔部位を検出し、閲覧者の左右の眼を結ぶ線と表示部の水平方向との相対的な傾きを検出する。また、立体表示方式が、偏光方式、液晶シャッタによるフィールドシーケンシャル方式等眼鏡を装着する場合、眼鏡に設けられた姿勢検出部により表示部に対する視点の傾きを検出しても良い。
【００３５】
記録メディア２８が立体画像表示装置５０に装着され、操作部６９から観賞対象とする画像が選択されたとき、画像選択部５３は、記録メディア２８から表示に必要となる立体画像データを、閲覧者の検出視点に基づいて読み出す。なお、実施形態では、立体画像表示装置５０が記録メディア２８を介して画像データを読み込む構成としているが、勿論、ネットワーク等の信号線を介して画像データを読み込む構成でも良い。
【００３６】
この立体画像データは、通常はＪＰＥＧ形式やＭＰＥＧ形式等の圧縮形態で記録されているため、画像信号処理部５６はこの圧縮データを伸張して３Ｄ画像信号処理部５５に転送する。３Ｄ画像信号処理部５５は、閲覧者の視点に基づき、後述する様に組み合わせる立体画像データをビデオエンコーダ６６に渡し、立体画像を３Ｄ画像表示部６５に表示する。
【００３７】
図９は、立体画像を表示するときに組み合わせる（合成する）画像データの説明図であり、図１０は、図９と同じ図であるが、実際の木４９の画像を使って組み合わせる画像の具体例を示している。図１１は、画像の組合せ合成の処理手順を示すフローチャートである。
【００３８】
記録メディア２８には、図７（ａ）（ｂ）（ｃ）（ｄ）に示す４視点から見た画像データＡ，Ｂ，Ｃ，Ｄが記録されている。閲覧者の姿勢を判定し（ステップＳ１）、この判定結果により左右の眼が表示部の水平方向に対して相対的に水平方向に近い（水平方向に対する角度が所定閾値（例えば４５度）より小さい）場合（判定結果がＹｅｓ）には、ステップＳ２に進み、水平方向の視差画像を選択する。具体的には、視点Ａの画像と視点Ｃの画像を加算合成してＡ＋Ｃの画像を生成し、これを左眼表示用の画像とする。また、視点Ｂの画像と視点Ｄの画像を加算合成してＢ＋Ｄの画像を生成し、これを右眼表示用の画像とし、次のステップＳ３で、これらの画像を表示部６５に表示する。
【００３９】
ステップＳ１の判定の結果が否定（水平方向でなく、左右の眼が表示部の水平方向に対して相対的に垂直方向に近い）の場合には、次にステップＳ４に進み、閲覧者の姿勢により右眼の検出位置が左眼の検出位置よりも下側になっているか否かを判定する。この判定結果が肯定（Ｙｅｓ）の場合には、ステップＳ５に進み、右眼が下となる視差画像を選択する。つまり、視点Ａの画像と視点Ｂの画像を加算合成してＡ＋Ｂの画像を生成し、これを左眼表示用の画像とする。そして、視点Ｃの画像と視点Ｄの画像を加算合成してＣ＋Ｄの画像を生成し、これを右眼表示用の画像とし、ステップＳ３に進んでこれら画像を表示部６５に表示する。
【００４０】
ステップＳ４の判定の結果が否定の場合には、左眼の検出位置が右眼の検出位置よりも下側であると判断してステップＳ６に進み、左眼が下となる視差画像を選択する。即ち、視点Ｃの画像と視点Ｄの画像を加算合成してＣ＋Ｄの画像を生成し、これを左眼表示用の画像とする。そして、視点Ａの画像と視点Ｂの画像を加算合成してＡ＋Ｂの画像を生成し、これを右眼表示用の画像とし、ステップＳ３に進んでこれら画像を表示部６５に表示する。
【００４１】
ステップＳ１，Ｓ２，Ｓ３，Ｓ４，Ｓ５，Ｓ６の処理を、所定時間毎に繰り返し行うことで、閲覧者の姿勢が途中で切り替わった場合でも、例えば視聴の途中で寝そべった姿勢に変化した場合でも、閲覧者は継続して立体画像を観賞することができる。しかも、本実施形態では、ステップＳ４を設け、右眼が下か左眼が下かを判断しているため、同じ傾きでも右眼用画像と左眼用画像とを逆に間違って表示することがなくなる。
【００４２】
なお、図９〜図１１では、斜め４５度の立体画像については説明を省略したが、図６から明らかなように、視点Ａの画像を左眼用，視点Ｄの画像を右眼用とすれば、右斜め４５度に傾いた立体画像データを表示でき、視点Ｃの画像を左眼用，視点Ｂの画像を右眼用とすれば、左斜め４５度に傾いた立体画像データを表示できる。
【００４３】
図１２は、図３とは異なる画素配列の撮像素子８０の表面模式図である。この例ではＣＣＤ型イメージセンサであるが、ＣＭＯＳ型イメージセンサでも良いことは図３の実施形態と同様である。
【００４４】
本実施形態の撮像素子８０では、奇数行の画素行に対して偶数行の画素行が１／２画素ピッチづつずらして配列されており、各画素列に沿って形成される垂直電荷転送路（ＶＣＣＤ）４２が、各画素４１を避けるように蛇行して設けられている点が図３と異なるだけであるため、図３と同一部材には同一符号を付してその説明は省略する。
【００４５】
本実施形態の撮像素子８０でも４画素１組として同一色のカラーフィルタが積層されている。本実施形態の１組を構成する最隣接４画素の画素配列は、図１３に示す様に４画素で構成される正方形を菱形状に配置して配列した構成となっており、１組毎に１つのマイクロレンズ４７と同色カラーフィルタが積層される。菱形状配列の左角に設けられる画素Ａと、上角に設けられる画素Ｂと、下角に設けられる画素Ｃと、右角に設けられる画素Ｄとが１つのマイクロレンズ下に設けられることで、瞳分割が行われる。
【００４６】
図１４は、木４９の画像を画素Ａ〜Ｄを通して見たときの視点位置Ａ〜Ｄを示す図である。視点Ａ（画素Ａ）は被写体４９を若干左側から見ることになり、視点Ｂ（画素Ｂ）は被写体４９を若干上側から見ることになり、視点Ｃ（画素Ｃ）は被写体４９を若干下側から見ることになり、視点Ｄ（画素Ｄ）は被写体４９を若干右側から見ることになる。
【００４７】
図３の撮像素子１４と図１２の撮像素子８０が画素数同一でチップサイズも同一とすると、図１３の撮像素子８０の水平方向（画素Ａ―画素Ｄ間）の視差が、図４の撮像素子１４の水平方向（画素Ａ―画素Ｂ間）の視差より広くとれ、立体画像のデータとして有利となる。
【００４８】
図１５（ａ）（ｂ）（ｃ）（ｄ）は、図１４で説明した視点Ａ，Ｂ，Ｃ，Ｄから見た画像データの具体例である。各組の画素Ａで撮像された木４９の撮像画像データ（図１５（ａ））を図２の記録メディア２８にマルチピクチャーフォーマット（以下、同様）で保存し、各組の画素Ｂで撮像された木４９の撮像画像データ（図１５（ｂ））を記録メディア２８に保存し、各組の画素Ｃで撮像された木４９の撮像画像データ（図１５（ｃ））を記録メディア２８に保存し、各組の画素Ｄで撮像された木４９の撮像画像データ（図１５（ｄ））を記録メディア２８に保存する。
【００４９】
図１６は、図１５（ａ）〜（ｄ）の画像データを保存した記録メディア２８から撮像画像データを読み出して立体画像を表示する立体画像表示装置５０における処理手順を示すフローチャートであり、図１７は、図１６のフローチャートに従って選択された画像データを示す図である。
【００５０】
先ず、ステップＳ１１で、表示部の水平方向に対する閲覧者の視点の相対的な傾きを検出し、傾きの方向が水平に近い（水平方向に対する角度が所定閾値（例えば４５度）より小さい）場合（判定結果がＹｅｓ）にはステップＳ１２に進み、左眼表示用の画像として画素Ａで撮像した画像データＡを選択すると共に右眼表示用の画像として画素Ｄで撮像した画像データＤを選択し、次のステップＳ１３でこれら画像データＡ，Ｄを立体表示画面に表示する。
【００５１】
ステップＳ１１の判定の結果、傾きの方向が水平に近くない場合（垂直に近い場合で、判定結果がＮｏ）には、次にステップＳ１４に進み、その傾きが垂直方向で右眼の検出位置が左眼の検出位置よりが下側であるか否かを判定する。判定結果が肯定（Ｙｅｓ）であり右眼が下側の場合にはステップＳ１５に進み、左眼表示用の画像として画像データＢを選択すると共に右眼表示用画像として画像データＣを選択し、ステップＳ１３に進み、画像データＢ，Ｃを立体画像として表示する。
【００５２】
ステップＳ１４の判定の結果、否定（Ｎｏ）の場合、即ち、傾きの方向が垂直方向に近くて左眼が下側の場合には、ステップＳ１６に進み、左眼表示用の画像として画像データＣを選択すると共に右眼表示用の画像として画像データＢを選択し、ステップＳ１３でこれら画像データＣ，Ｂを立体画像として表示する。
【００５３】
このステップＳ１１〜Ｓ１６の処理を所定時間毎に繰り返し行うことで、閲覧者の姿勢が途中で切り替わった場合でも、例えば視聴の途中で寝そべった姿勢に変化した場合でも、閲覧者は継続して立体画像を観賞することができる。しかも、本実施形態でもステップＳ１４を設け、右眼が下か左眼が下かを判断しているため、同じ傾きでも右眼用画像と左眼用画像とを逆に間違って表示することがなくなる。
【００５４】
図１６の処理では、説明を簡単に行うために、傾きの方向が斜めの場合を考慮していなかったが、図１８に、傾きの方向が斜め方向の場合も含む処理手順を示す。図１９は、図１８の処理で選択される画像データを示す図である。
【００５５】
図１８のステップＳ２１では、先ず、表示部の水平方向に対する閲覧者の視点の相対的な傾きが垂直、水平方向に比べて斜め方向に近いか否かを判定する。この判定の結果が否定の（Ｎｏ）の場合には、ステップＳ２２に進み、図１８で説明したステップＳ１１，Ｓ１２，Ｓ１４，Ｓ１５，Ｓ１６の処理ステップで画像選択を行い、次にステップＳ１３に進んで選択された画像データを表示する。
【００５６】
ステップＳ２１の判定の結果が肯定（Ｙｅｓ）の場合には次のステップＳ２３に進み、右眼の検出位置が左眼の検出位置よりも下か否かを判定する。判定結果が肯定（Ｙｅｓ）の場合にはステップＳ２４に進み、左眼表示用の画像として画像データＡと画像データＢを加算合成した画像Ａ＋Ｂを生成し、右眼表示用の画像として画像データＣと画像データＤを加算合成した画像Ｃ＋Ｄを生成し、次のステップＳ１３に進んで、画像Ａ＋Ｂと画像Ｃ＋Ｄを画面に立体画像として表示する。
【００５７】
ステップＳ２３の判定の結果が否定（Ｎｏ）即ち、左眼の検出位置が下側で表示部の水平方向に対する閲覧者の視点の相対的な傾きが斜めの場合には、ステップＳ２５に進み、左眼表示用の画像として画像データＡと画像データＣを加算合成した画像Ａ＋Ｃを生成し、右眼表示用の画像として画像データＢと画像データＤを加算合成した画像Ｂ＋Ｄを生成し、次のステップＳ１３に進み、画像Ａ＋Ｃと画像Ｂ＋Ｄを画面に立体画像として表示する。
【００５８】
この様に、斜め方向の視点にも対応可能にすると、更に細かい傾き方向の調整が可能となる。斜め方向にも容易に対処可能とする立体画像表示装置としては、視点の方向によらずに左右の分離が容易な眼鏡着用による偏光方式や、フィールドシーケンシャル方式等によるものが望ましい。
【００５９】
図２０は、立体画像表示装置における全体の処理手順の基本を示すフローチャートである。立体画像表示装置５０は、閲覧者の視点の方向を検出するが、この検出方法としては、前述したように、立体画像表示装置に装着したカメラ等で閲覧者の顔画像を撮影し、左右の目を結ぶ直線とその傾きを検出することで実現するのが、閲覧者側への負担が少なく好ましい。しかし、眼鏡着用による方式（偏光、フィールドシーケンシャル）の場合は、眼鏡に、ジャイロセンサ等により検出した傾き情報を送信させる機能を持たせても良い。
【００６０】
立体画像表示装置５０は、先ず、ステップＳ３１で、表示部の水平方向に対する閲覧者（視聴者）の視点の相対的な傾き及び方向を検出し、次のステップＳ３２で、図１６，図１８で説明した画像選択の実施を行い、次のステップＳ３３（＝図１８のステップＳ１３）で左右の視差画像を画面に表示する。
【００６１】
そして、次のステップＳ３４では、立体画像の閲覧（観賞）が終了したか否かを判定し、終了してない場合にはステップＳ３１に戻る。これにより、閲覧者が立体画像の閲覧中にその姿勢を変化させ、例えば寝そべって観賞する姿勢に変化しても、その姿勢変更に合わせた視差画像が選択，合成されて画面に表示されるため、閲覧者は姿勢を変化させても違和感なく立体画像の観賞を継続することができる。
【００６２】
上述した実施形態では、単眼式の立体画像撮像装置で撮影した４つの視点の撮像画像データを基に、立体視可能な左眼用，右眼用の画像を選択あるいは合成して画面に表示したが、立体画像撮像装置は単眼である必要はなく、画素Ａ，Ｂ，Ｃ，Ｄに相当する撮影レンズ系及び撮像素子を４系統備えるものでもよい。
【００６３】
あるいは、３眼の撮像装置でもよく、単眼で３つの視点の画像データを得て、複数の視点方向の画像を合成することも可能である。例えば、図２１に示す様に、被写体を中心に正三角形を成す視点Ａ，Ｂ，Ｃの画像を撮像することができれば、画像Ｂと画像Ｃとで水平方向の視差画像を得ることができ、画像Ａと画像（Ｂ＋Ｃ）／２とで垂直方向の視差画像を得ることができ、画像Ｂと画像（Ａ＋Ｃ）／２とで斜め３０度に傾斜した視差画像を得ることができ、画像Ａと画像Ｂとで斜め６０度に傾斜した視差画像を得ることができる。なお、図２１に限ることなく、正三角形を逆三角形として各視点を配置しても良い。
【００６４】
３視点の場合には、上記の様に、垂直，水平，右３０度，右６０度，左３０度，左６０度の各視差画像を合成できるため、閲覧者の姿勢がこれらの（表示部の水平方向に対する視点の相対的な）傾き方向に全く一致していなくても、これら視差画像の中で最も立体視可能な視差画像を合成することになる。これは４視点の場合も同様である。
【００６５】
以上述べた実施形態では、閲覧者が一人の場合を想定しているが、閲覧者が複数存在した場合には、各人が立体画像を観賞できる様にするのが好ましい。
【００６６】
図２２は、複数の閲覧者に対応できる処理手順を示すフローチャートである。先ず、記録メディア２８から表示用データを読み込み（ステップＳ４１）、立体画像表示用のデータがあるか否かを判定する（ステップＳ４２）。立体画像表示用のデータが記録メディア２８内になく、２Ｄ画像（平面画像）のデータしか無い場合にはステップＳ４３に進み、２Ｄ画像データを表示してこの処理を終了する。
【００６７】
ステップＳ４２の判定の結果、立体画像の表示用データが存在する場合には、次に、その立体画像の表示用データが複数の視点情報として存在するか否かを判定する（ステップＳ４４）。即ち、図１４の視点Ａ，Ｂ，Ｃ，Ｄの立体画像のデータとして存在するか（或いは図２１の始点Ａ，Ｂ，Ｃの立体画像のデータとして存在するか）判定する。
【００６８】
少なくとも３点以上の視点による立体画像のデータが存在しない場合（２点の視点情報しかない場合）には、ステップＳ４４からステップ４５に進み、その２点の視点による立体画像データを表示し、視聴が終了したか否かを判定し（ステップＳ４６）、視聴が終了した場合にはこの処理を終了し、視聴が終了していない場合にはステップＳ４６からステップ４４に戻る。
【００６９】
ステップＳ４４の判定の結果、少なくとも３点以上の視点による立体画像のデータが存在する場合には、ステップＳ４４からステップＳ４７に進み、閲覧者が複数存在するか否かを判定する。閲覧者が単数の場合には、ステップＳ４８に進み、図１６又は図１８の処理を行い、ステップＳ４６に進む。
【００７０】
ステップＳ４７の判定の結果、複数の閲覧者が存在する場合には、ステップＳ５０に進み、各閲覧者の姿勢をカメラ映像等から夫々算出する。そして、次のステップＳ５１で、複数の閲覧者の平均的姿勢（平均的傾き方向）を算出し、平均的視差画像を合成して画面に表示し（ステップＳ５２）、ステップＳ４６に進む。
【００７１】
この様に、複数閲覧者の平均的傾き方向の画像を合成して表示するため、各人が夫々の姿勢で立体画像を観賞することが可能となる。
【００７２】
図２３は、図２２の処理手順によって表示する視点情報の変化を示す図である。第１，第２のユーザ（閲覧者）は最初は水平方向の姿勢を保って画面を見ているが、第２ユーザ（閲覧者）が途中で横に寝転がって画面を視聴し（傾き方向が垂直方向）、次にまた起きあがって画面を視聴したとする。
【００７３】
最初は水平方向の視差画像とするために、図１４に示す視点Ａの画像を左眼用として表示すると共に視点Ｄの画像を右眼用として表示しているが、途中で第２閲覧者の姿勢が変わったため、第１，第２の閲覧者の姿勢の平均値に基づき、斜め４５度となる視点Ａの画像を左眼用として表示すると共に視点Ｂの画像を右眼用として表示する。これにより、第２閲覧者が姿勢を変化させても第１，第２の閲覧者共に立体画像を視聴し続けることが可能となる。
【００７４】
なお、この実施形態の場合、その姿勢により立体表示ができない閲覧者が発生することもある。このときは、その閲覧者に対してガイド表示などを行い、立体表示可能な姿勢をとるように通知しても良い。
【００７５】
図２４は、別実施形態に係る複数閲覧者に対応する処理手順を示すフローチャートである。本実施形態は、図２２の実施形態と、ステップＳ５０，Ｓ５１，Ｓ５２が異なるだけであり、これらに代わるステップＳ５０ａ，Ｓ５１ａ，Ｓ５２ａについてだけ説明する。
【００７６】
複数の閲覧者が存在する場合に進むステップＳ５０ａでは、各視点データＡ，Ｂ，Ｃ，Ｄをフレームシーケンシャル駆動する。そして、次のステップＳ５１ａでは、閲覧者の夫々の視聴姿勢を検出し、次のステップＳ５２ａでは、各人の視聴姿勢に応じて視聴用機器へタイミング信号を発信し、ステップＳ４６に進む。
【００７７】
図２５は、図２４の処理手順によって表示する情報変化を示す図である。ステップＳ５０ａにより、巡回的に、視点Ａ→視点Ｂ→視点Ｃ→視点Ｄ→視点Ａ→…とシーケンシャルに各視点データ（画像データ）が立体画像表示装置５０の画面に切換表示されている（図２５の左端）。この画面を見る第１，第２閲覧者は、アクティブシャッタメガネ等の視聴用装着器具を掛けており、立体画像表示装置５０はこの視聴用装着器具に制御信号を発信し、夫々の閲覧者姿勢に応じたタイミングで、メガネのシャッタ開閉制御を閲覧者毎に別個に行う。
【００７８】
第１閲覧者の姿勢は、最初、その傾き方向が垂直方向となるように寝そべった姿勢で画面を視聴しており、途中で起きあがってその傾き方向を水平としている。このとき、傾き方向が垂直のときは視点Ｃの画像を左眼用に、視点Ｂの画像を右眼用に表示させるため、視点Ｃの画像が表示されているタイミングで第１閲覧者のメガネの左眼のシャッタを「開」とし、視点Ｂの画像が画面に表示されているタイミングで第１閲覧者のメガネの右眼のシャッタを「開」とする。
【００７９】
第１閲覧者が姿勢を変化させ傾き方向が水平となったときは、視点Ａの画像が表示されているタイミングで第１閲覧者のメガネの左眼のシャッタを「開」とし、視点Ｄの画像が画面に表示されているタイミングで第１閲覧者のメガネの右眼のシャッタを「開」とする。これにより、第１閲覧者は、姿勢を変化させても常に立体画像を観賞することができる。
【００８０】
第２閲覧者の場合も第１閲覧者と同様に、該当する視点情報が画面に表示されているタイミングで、第２閲覧者の左右のシャッタを開とすることで、途中で姿勢を変化させても常に立体画像を観賞することが可能となる。
【００８１】
このアクティブシャッタ方式の場合、目の残像を利用しているため、例えば、上述した画像合成（Ａ＋Ｂ）を行うとき視点Ａの情報が表示されているタイミングと視点Ｂの情報が表示されているタイミングの両方でシャッタを「開」とすれば、目の残像上で画像合成を行うことが可能となる。
【００８２】
本実施形態の場合、どの閲覧者の視聴姿勢にも当てはまらない視点データの駆動期間を、他の視点データに割り当てても良い。その場合、各視点データ毎の表示時間の差による輝度差や画面のちらつきを防止するため、均等に割り当てるのが良い。また、どの閲覧者の視聴姿勢にも当てはまらない視点データの駆動期間を、黒データの表示に割り当て、残像によるクロストークを軽減する等してもよい。
【００８３】
本実施形態によれば、複数の閲覧者が異なる視聴姿勢で同じ画面を見ていても、各閲覧者の視聴姿勢に夫々対応した正しい立体映像を観賞させることが可能となり、より気楽で簡単に立体映像を視聴させることができる。
【００８４】
以上述べた様に、実施形態の立体画像表示装置及びその方法は、平面をなす３つ以上の異なる視点から被写体を撮像した画像データを記憶手段に記憶し、前記記憶手段に記憶された該画像データに基づいて、左眼用画像と右眼用画像を表示部が表示し、該表示部を閲覧する閲覧者の左右の眼を結ぶ線と該表示部との相対的な傾きを視点検出部が検出し、該相対的な傾きに基づいて、該画像データから左眼用画像と右眼用画像を表示制御部が生成することを特徴とする。
【００８５】
また、実施形態の立体画像表示装置及びその方法は、前記記憶された画像データは被写体に対し４つの異なる視点から撮像された画像データであり、前記相対的な傾きと同じ向きの画像データが前記記憶された画像データ中に有るか無いかを判定手段が判定し、前記表示制御部は、該判定手段の結果に応じて、前記記憶された画像データから左眼用画像と右眼用画像を生成することを特徴とする。
【００８６】
また、実施形態の立体画像表示装置及びその方法の前記表示制御部は、前記判定手段が画像データ有りと判定したときは、前記記憶された画像データから左眼用画像と右眼用画像を選択し、該判定手段が画像データ無しと判定したとき、前記記憶された画像データを合成して前記視点の向きに合わせた左眼用画像と右眼用画像を生成することを特徴とする。
【００８７】
また、実施形態の立体画像表示装置及びその方法の前記判定手段は、前記同じ向きの画像データが有るか無いかの判定を、前記相対的な傾きに対する角度が所定閾値未満の画像データが有るか無いかで判定することを特徴とする。
【００８８】
また、実施形態の立体画像表示装置及びその方法は、前記視点検出部が検出した前記閲覧者の右眼が左眼より下側にあるか否かに応じて前記表示制御部は前記左眼用画像と前記右眼用画像を生成することを特徴とする。
【００８９】
また、実施形態の立体画像表示装置及びその方法の前記表示制御部は、前記視点検出部が前記相対的な傾きの変化を検出したとき、該相対的な傾きの変化に応じて左眼用画像と右眼用画像を生成することを特徴とする。
【００９０】
また、実施形態の立体画像表示装置及びその方法は、前記視点検出部が前記閲覧者として複数人の前記相対的な傾きを検出したとき、該複数人の前記相対的な傾きの平均値を平均値視点検出手段が求め、前記表示制御部は、該平均値に合わせて左眼用画像と右眼用画像を生成することを特徴とする。
【００９１】
また、実施形態の立体画像表示装置及びその方法の前記表示制御部は、前記視点検出部が前記複数人の前記相対的な傾きを検出したとき、前記記憶された画像データから前記複数人の該相対的な傾きに応じた左眼用画像と右眼用画像を生成し、該複数人の該相対的な傾きの順番に左眼用画像と右眼用画像を表示することを特徴とする。
【００９２】
また、実施形態の立体画像表示装置及びその方法は、前記複数人の各々が掛けている複数の閲覧用保持具を備えた立体画像表示システムの立体画像表示装置及び方法であって、該複数の閲覧用保持具は、前記表示部の画像を前記複数人の各々の前記相対的な傾きに合わせて別々に制御することを特徴とする。
【００９３】
また、実施形態の立体画像表示装置及びその方法は、前記４つの視点が正方形に配置されることを特徴とする。
【００９４】
また、実施形態の立体画像表示装置及びその方法は、前記４つの視点が前記被写体の左斜め上と右斜め上と左斜め下と右斜め下とに配置されることを特徴とする。
【００９５】
また、実施形態の立体画像表示装置及びその方法は、前記４つの視点が前記被写体の上下左右に配置されることを特徴とする。
【００９６】
以上述べた実施形態によれば、閲覧者が閲覧姿勢を変化させても変化前後で立体映像を継続して観賞でき、また、少ない立体映像データを用いて閲覧者の様々な姿勢に対応した立体画像を表示でき、更にまた、複数の閲覧者毎に適切な立体映像を表示することが可能となる。
【産業上の利用可能性】
【００９７】
本発明に係る立体画像表示方法及びその装置は、閲覧者（視聴者）が閲覧（視聴）中に姿勢を変化させても閲覧者は立体画像を観賞し続けることができるため、パーソナルコンピュータのモニタ装置やテレビジョン装置等の立体画像表示装置等に適用すると有用である。
【符号の説明】
【００９８】
１０  立体画像撮像装置
１２  撮影レンズ
１３  瞳分割光学系
１４  撮像素子
２０  ＣＰＵ
２１  画像処理装置
２８  記録メディア
４１  画素
４２  垂直電荷転送路（ＶＣＣＤ）
４７  マイクロレンズ
５０  立体画像表示装置
５２  ＣＰＵ
５３  画像選択部
５４  視点検出部
５５  ３Ｄ画像信号処理部
６５  ３Ｄ画像表示部
【図１】
2012015818.tif 000003
【図２】
2012015818.tif 000004
【図３】
2012015818.tif 000005
【図４】
2012015818.tif 000006
【図５】
2012015818.tif 000007
【図６】
2012015818.tif 000008
【図７】
2012015818.tif 000009
【図８】
2012015818.tif 000010
【図９】
2012015818.tif 000011
【図１０】
2012015818.tif 000012
【図１１】
2012015818.tif 000013
【図１２】
2012015818.tif 000014
【図１３】
2012015818.tif 000015
【図１４】
2012015818.tif 000016
【図１５】
2012015818.tif 000017
【図１６】
2012015818.tif 000018
【図１７】
2012015818.tif 000019
【図１８】
2012015818.tif 000020
【図１９】
2012015818.tif 000021
【図２０】
2012015818.tif 000022
【図２１】
2012015818.tif 000023
【図２２】
2012015818.tif 000024
【図２３】
2012015818.tif 000025
【図２４】
2012015818.tif 000026
【図２５】
2012015818.tif 000027