(57)【特許請求の範囲】
【請求項１】
ディスプレイ面に直交する方向に深度を持つ立体視動画を、ディスプレイに表示させる画像表示手段と、
ディスプレイ面に直交する方向に深度を持つポインタ画像を、ディスプレイに表示される前記立体視動画のポインティング位置に、所定の描画レートで合成するグラフィカルユーザインターフェイス手段とを備え、
グラフィカルユーザインターフェイス手段は、
ポインティング位置における前記立体視動画の深度が、第１描画サイクルと前記第１描画サイクルの後の第２描画サイクルとで所定量を超えて変化しない場合、第１描画サイクルでのポインタ画像の深度と第２描画サイクルでのポインティング位置における立体視動画の深度との中間の深度で、第２描画サイクルにおけるポインタ画像を描画し、
ポインティング位置における前記立体視動画の深度が、第１描画サイクルと第２描画サイクルとで所定量を超えて変化する場合、第１描画サイクルにおけるポインタ画像と同じ深度で、第２描画サイクルにおけるポインタ画像を描画する
ことを特徴とする立体視画像表示装置。
【請求項２】
立体視画像表示処理を行う半導体集積回路であって、
ディスプレイ面に直交する方向に深度を持つ立体視動画を、ディスプレイに表示させる画像表示手段と、
ディスプレイ面に直交する方向に深度を持つポインタ画像を、ディスプレイに表示される前記立体視動画のポインティング位置に、所定の描画レートで合成するグラフィカルユーザインターフェイス手段とを備え、
グラフィカルユーザインターフェイス手段は、
ポインティング位置における前記立体視動画の深度が、第１描画サイクルと前記第１描画サイクルの後の第２描画サイクルとで所定量を超えて変化しない場合、第１描画サイクルでのポインタ画像の深度と第２描画サイクルでのポインティング位置における立体視動画の深度との中間の深度で、第２描画サイクルにおけるポインタ画像を描画し、
ポインティング位置における前記立体視動画の深度が、第１描画サイクルと第２描画サイクルとで所定量を超えて変化する場合、第１描画サイクルにおけるポインタ画像と同じ深度で、第２描画サイクルにおけるポインタ画像を描画する
ことを特徴とする半導体集積回路。
【請求項３】
ディスプレイ面に直交する方向に深度を持つ立体視動画を、ディスプレイに表示するためのビデオメモリへ書き込む立体視画像描画ステップと、
ディスプレイ面に直交する方向に深度を持つポインタ画像を、ビデオメモリへ書き込まれた前記立体視動画のポインティング位置に、所定の描画レートで合成するポインタ画像合成ステップとを含み、
ポインタ画像合成ステップでは、
ポインティング位置における前記立体視動画の深度が、第１描画サイクルと前記第１描画サイクルの後の第２描画サイクルとで所定量を超えて変化しない場合、第１描画サイクルでのポインタ画像の深度と第２描画サイクルでのポインティング位置における立体視動画の深度との中間の深度で、第２描画サイクルにおけるポインタ画像を描画し、
ポインティング位置における前記立体視動画の深度が、第１描画サイクルと第２描画サイクルとで所定量を超えて変化する場合、第１描画サイクルにおけるポインタ画像と同じ深度で、第２描画サイクルにおけるポインタ画像を描画する
ことを特徴とする立体視画像表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像から視差を有する立体視画像を生成する立体視画像表示装置に関し、特に、視認性の改善に関するものである。
【背景技術】
【０００２】
従来の立体視画像表示技術として、右眼から見た視野に相当する右目用画像と、左眼から見た視野に相当する左目用画像とを用意し、右目用画像を右眼のみに、左目用画像を左眼のみに投影するものがある。このような立体視画像表示技術では、右目用画像と左目用画像との水平方向の変位量である視差から立体感を得ることでき、被写体を立体的に見せる映画等に利用される。このような技術の普及により、今後は撮影された立体視画像の編集を行うための機器の家庭での利用も想定される。【０００３】
画像の編集では、画像内の対象物の指定や表示領域を指定する等の目的で、立体視画像と同一画面内にポインタ画像を表示することがある。立体視画像内にポインタを表示する場合には、より正確に物体を指し示すことができるよう、ポインタ画像自体にも視差を設けて立体的に表現し、立体視画像として合成することが考えられる。ここで、ポインタ画像の表示深度を固定してしまうと、ポインタが指し示す対象物の表示深度とポインタ画像の表示深度が異なる場合、利用者の焦点を対象物に当てると、ポインタ画像が二重に見え、焦点をポインタに当てると、対象物が二重に見えるという視認性の問題が生じる。そこで、特許文献１には、ポインタ画像の表示深度を、指し示した対象物の表示深度に合わせるよう補正する技術が開示されている。特許文献１に開示の技術によれば、ポインタ画像で指し示したいポインティング位置での立体視画像の視差、すなわち右目用画像と左目用画像のずれ量に合わせて、右目用画像に合成するポインタ画像と左目用画像に合成するポインタ画像とに視差を持たせる。この結果、ポインティング位置における立体視画像とポインタ画像との表示深度が一致し視認性が改善される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−３２６９４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、特許文献１に開示の技術では、ユーザが立体視画像上でポインティング位置を移動させる際、視差が大きくことなる複数の被写体間をポインティング位置が移動すると、ポインタ画像の視差も瞬間的に大きく変化することになる。視差が大きく異なる被写体間の移動とは、例えば、立体視画像を見ているユーザから見て、非常に手前に位置するように見える被写体から、遠くに位置するよう見える被写体へポインタが移動する場合などに発生する。【０００６】
このような場合、ユーザの目が、視差の急な変化に適応できず、ポインタ画像から焦点が外れてしまい、視認性が損なわれる問題が生じる。ポインティング位置は、マウス等のポインティングデバイスを用いて指示されるが、ユーザが意図しない手のわずかな振動に応じてポインティング位置がわずかに移動することで、表示深度の大きく異なる被写体間でポインタ移動が発生することがある。特にこのような場合、ポインタ画像にユーザが意図しない深度変化が生じるため、視認性の問題が顕著になる。【０００７】
また、立体視画像が動画である場合には、ポインタが静止していてもポインタの背景として表示される立体視画像側の対象物が動いて視差が変化することで、視差量の差が大きい移動が発生する場合もある。【０００８】
本発明の目的は、立体視画像上の表示深度の大きく異なる被写体間でポインティング位置が移動する場合に、ポインタ画像などの指示オブジェクトの視認性を向上させる立体視画像表示装置を提供することである。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明に係る立体視画像表示装置は、左目用画像と右目用画像とから構成される立体視画像を、ディスプレイに表示させる画像表示手段と、ディスプレイ面に並行な直交座標系におけるポインティング位置を受け付ける操作手段と、ディスプレイ面に直交する方向に表示深度を持つポインタ画像を、ディスプレイに表示される前記立体視画像に対して、所定の描画レートで合成するグラフィカルユーザインターフェイス手段とを備え、グラフィカルユーザインターフェイス手段は、第１描画サイクルでのポインタ画像の表示深度と、当該第１描画サイクルの次の第２描画サイクルでのポインティング位置における前記立体視画像の表示深度とが異なる場合、第２描画サイクル以後の連続した複数描画サイクルにおいて、第１描画サイクルでのポインタ画像の表示深度から第２描画サイクルでのポインティング位置における前記立体視画像の表示深度まで、表示深度を順に変化させてポインタ画像を描画する。【００１０】
ここで一般に、ポインタ画像の表示深度と、ポインティング位置における立体視画像の表示深度とを合わせるのは、ポインタ画像が立体視画像の何れの被写体を指し示すかを視認しやすくするためである。しかし、ポインタ画像の表示深度と、ポインティング位置における立体視画像の表示深度とを必ずしも厳密に一致させずとも、この目的は達成可能である。例えば、実際に指し示している立体視画像よりもポインタ画像がわずかに手前に浮き出るような表示深度で描画しても、ポインタ画像が指し示す位置は十分に視認できる。【００１１】
そのため、グラフィカルユーザインターフェイス手段による第２描画サイクル以後の連続した複数描画サイクルにおけるポインタ画像の描画でも、ポインタ画像の表示深度を最終的に第２描画サイクルでのポインティング位置における立体視画像の表示深度に厳密に一致させずとも、本発明の目的を達成することが可能である。
【発明の効果】
【００１２】
課題を解決するための手段に記載の構成によって、ポインティング位置での立体視画像の表示深度が変化した場合に、ポインタ画像の表示深度が複数描画サイクルをかけて、立体視画像の表示深度まで変化する。そのため、ポインタ画像の表示深度と、ポインティング位置での立体視画像の表示深度との差が大きい場合にも、ポインタ画像の視差が瞬間的に大きく変化することがない。【００１３】
従って、立体視画像上の表示深度の大きく異なる被写体間でポインティング位置が移動する場合にも、ポインタ画像から焦点を外すことなく注視することができ、立体視画像上に合成されたポインタ画像の視認性が向上する。
【図面の簡単な説明】
【００１４】
【図１】実施の形態１に係る立体視画像表示装置を備えた情報処理装置のハードウェア構成を示す図
【図２】立体視画像表示装置の構成を示すブロック図
【図３】立体視画像表示の一例を示した図
【図４】立体視画像表示の他の例を示した図
【図５】立体視画像において表示深度の大きく異なる被写体間でポインティング位置が移動する場合のポインタ画像の動きを模式的に示す図
【図６】表示深度の大きく異なる被写体間でポインティング位置が移動する場合の右目用画像と左目用画像とにおけるポインタ画像の描画座標を示す図
【図７】ポインタ画像の視差の時間変化を示す図
【図８】ポインタ画像表示処理の流れを示したフローチャート
【図９】実施の形態２に係る立体視画像表示装置の構成を示すブロック図
【図１０】実施の形態２におけるポインタ画像表示処理の流れを示したフローチャート
【発明を実施するための形態】
【００１５】
以下、本発明に係る立体視画像表示装置の実施の形態について、図を用いて説明する。
【００１６】
（実施の形態１）
図１は、実施の形態１における立体視画像表示装置を備えた情報処理装置ハード構成を示す図である。この情報処理装置１０００は、それ自体としてユーザの使用に供することもできるが、様々な電気機器に組み込まれてもよい。情報処理装置１０００の一例は、代表的にはＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ；パーソナルコンピュータあるいはパソコン）等の汎用のコンピュータである。また、情報処理装置１０００は、テレビ受像機やＡＶ再生装置などのＡＶ機器、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｃｅ）あるいは携帯電話機等の通信端末でもよい。
【００１７】
情報処理装置１０００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；中央演算処理部）１０、メモリ装置２０、通信装置３０、入力装置４０、表示装置４５、タイマ回路５１及び割り込みコントローラ５５を備えている。これらの装置は、バスライン５０を通じて互いに接続されている。また、必要に応じて、バスライン５０には、ハードディスク装置２５及び読み取り装置３２を接続することが可能となっている。ハードディスク装置２５、読み取り装置３２、入力装置４０及び表示装置４５は、それぞれ、インタフェース２６、３５、４１及び４６を通じてバスライン５０に接続される。
【００１８】
ＣＰＵ１０は、単一のＣＰＵで構成されてもよく、複数のＣＰＵで構成されてもよい。図１の情報処理装置１０００は、単一のＣＰＵ１０を有する例を示している。
【００１９】
メモリ装置２０は、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２１及びＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２２を備えている。ＲＯＭ２１は、ＣＰＵ１０の動作を規定するコンピュータプログラム及びデータを記憶している。コンピュータプログラム及びデータは、ハードディスク装置２５に記憶させることもできる。ＣＰＵ１０は、ＲＯＭ２１又はハードディスク装置２５が格納するコンピュータプログラム及びデータを、必要に応じてＲＡＭ２２に書き込みつつ、コンピュータプログラムが規定する処理を実行する。ＲＡＭ２２は、ＣＰＵ１０が処理を実行するのに伴って発生するデータを一時的に記憶する媒体としても機能する。メモリ装置２０は、フラッシュメモリなど、書き込みが可能で、電源を切っても記憶内容を保持できる不揮発性のメモリと記憶媒体を含んでいる。
【００２０】
ハードディスク装置２５は、内蔵する不図示のハードディスクへ、コンピュータプログラム、あるいはデータを書き込み及び読み出す装置である。
【００２１】
読み取り装置３２は、記録媒体３１（例えばＣＤ、ＤＶＤ、メモリカードなど）に記録されたコンピュータプログラム、あるいはデータを読み取る装置である。
【００２２】
通信装置３０は、電話回線、ネットワーク線、無線、赤外線通信等の通信回線３３を通じて、外部と自身との間で、コンピュータプログラム、あるいはデータを交換する装置である。
【００２３】
入力装置４０は、ユーザの操作によりデータ等を入力する装置であり、例えば、ＰＤＡに配列されたキーボード、携帯電話機に配列された入力ボタン、あるいは着脱自在のマウス、キーボードである。
【００２４】
表示装置４５は、データ、画像等を画面に表示したり、データ等を音声で出力したりする装置であり、例えばＬＣＤ（Ｌｉｇｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ；液晶表示器）、ブラウン管、スピーカである。
【００２５】
タイマ回路５１は、一定の周期でタイマ割り込み信号を出力する装置である。割り込みコントローラ５５は、タイマ回路５１、入力装置４０、ＣＰＵ１０、ネットワークデバイ
スである通信装置３０、ハードディスク装置２５、読み取り装置３２等から送られる割り込み要求信号を、ＣＰＵ１０へ中継する装置である。各装置からの割り込み要求には優先度が付けられている。割り込みコントローラ５５は、同時に複数の装置から割り込みが発生した場合には、それらの要求を優先度に応じて調停する機能を有している。
【００２６】
以上のように、情報処理装置１０００は、コンピュータとして構成されている。上記コンピュータプログラムは、ＲＯＭ２１、ハードディスク装置２５、不図示のフレキシブルディスク、ＣＤ−ＲＯＭ等の記録媒体３１を通じて供給することも、電気通信回線３３等の伝送媒体を通じて供給することも可能である。例えば、記録媒体３１（ＣＤ−ＲＯＭ）に記録されたコンピュータプログラムは、読み取り装置３２を情報処理装置１０００へ接続することで、読み出すことができる。また、読み出したコンピュータプログラムを、ＲＡＭ２２あるいはハードディスク装置２５に格納することができる。
【００２７】
プログラム記録媒体としてＲＯＭ２１からコンピュータプログラムが供給される場合には、当該ＲＯＭ２１を情報処理装置１０００に搭載することにより、ＣＰＵ１０は上記コンピュータプログラムに従った処理を実行可能となる。電気通信回線３３等の伝送媒体を通じて供給されるコンピュータプログラムは、通信装置３０を通じて受信され、例えば、ＲＡＭ２２あるいはハードディスク装置２５に格納される。伝送媒体は、有線の伝送媒体に限られず、無線の伝送媒体であってもよい。また、伝送媒体は通信線路のみでなく、通信線路を中継する中継装置、例えばルータをも含む。
【００２８】
次に、立体視画像表示装置について説明する。図２は、実施の形態１における立体視画像表示装置の機能構成を示すブロック図である。
【００２９】
図２において、立体視画像表示装置は、記憶手段１０１と、圧縮伸長手段１０２と、表示手段１０３と、操作手段１０６と、視差取得手段１０８と、視差補正手段１０９とを備えている。
【００３０】
記憶手段１０１は、立体視画像データ１１を保存、もしくは立体視画像データ１１を再生する際に一時的に記憶する手段である。これは、図１のメモリ装置２０に対応付けることができる。立体視画像データ１１は、立体視画像を視聴するユーザの左眼のみに投影されるための左目用画像１２と、右眼のみに投影されるための右目用画像１３とを含むデータである。左目用画像１２および右目用画像１３は、例えばそれぞれＭＰＥＧ形式に代表されるような特定の形式に圧縮されている場合もある。
【００３１】
画像表示手段として機能する圧縮伸長手段１０２は、特定の圧縮形式によって圧縮された立体視画像データ１１を受け取り、表示手段１０３で表示可能な形式に伸長変換してＶＲＡＭ１０５へ出力する。画像の圧縮形式には静止画であればＪＰＥＧ形式やＧＩＦ形式、ＰＮＧ形式などが代表的であり、動画であればＡＶＩ形式やＭＰＥＧ形式などが代表的である。例えば、立体視画像データ１１が左目用画像１２、右目用画像１３のそれぞれをＭＰＥＧ形式で圧縮したデータで構成されている場合には、立体視画像データ１１の左眼用と右眼用のＭＰＥＧ圧縮形式のデータそれぞれを、ＭＰＥＧデコーダである圧縮伸長手段１０２によってデコードし、表示手段１０３で画面出力可能な形式の左目用画像１２と右目用画像１３に変換して、ＶＲＡＭ１０５へフレーム単位で転送する。
【００３２】
表示手段１０３は、表示画面であるディスプレイ１０４と、ディスプレイ１０４に出力する画像情報を格納するＶＲＡＭ（ビデオランダムアクセスメモリ）１０５とを備えている。これは、図１の表示装置４５に対応付けることができる。表示手段１０３は、ＶＲＡＭ１０５に転送された画像情報をディスプレイ１０４へ画面出力する。このとき表示手段１０３は、ＶＲＡＭ１０５に転送された左目用画像１２と右目用画像１３を、視聴者にとって立体画像として結像できるように表示する。立体画像として結像するための方法として、例えば図３に示すような、偏光フィルタを使用する方法がある。偏光フィルタを使用する方法では、ディスプレイ１０４の画面上に左目用画像１２と右目用画像１３を横方向に並列して表示する。左目用画像１２が表示される領域に偏光フィルタ２０１を貼付け、もう一方の右目用画像１３が表示される領域に、左目用画像上に貼り付けた偏光フィルタと偏光方向が９０度異なる向きで偏光フィルタ２０２を貼り付ける。視聴者は、立体視画像閲覧用めがね２０３を利用して見る。立体視画像閲覧用めがね２０３は、画面に貼り付けた偏光フィルタと同じ偏光方向を持つ偏光フィルタを、左眼と右眼それぞれに貼り付けものである。すると、左眼には左目用画像１２のみが、右眼には右目用画像１３のみが見える状態で両画像が結像し、互いの画像の視差によって画像が立体的に見えるようになる。前期立体視画像閲覧用めがね２０３は、さらに左目用画像と右目用画像が結像しやすいように屈折するレンズを持っていてもよい。立体画像として結像するための他の方法としては、図４に示すように、ディスプレイに右目用画像及び左目用画像を交互に表示するとともに、立体視画像閲覧用めがねの右目及び左目を交互に透光、遮光を繰り返す時差分割方式がある。この方式では、ユーザの脳内で目の残像反応により左右のシーンの重合せがなされ、顔の中央の延長線上に立体映像が存在すると認識することができる。
【００３３】
表示手段１０３は、さらに、ポインタ表示手段１０７を備えている。ポインタ表示手段１０７は、視差取得手段１０８、及び視差補正手段１０９と供にグラフィカルユーザインターフェイス手段を構成し、操作手段１０６からの操作内容に基づき、ポインタ画像をディスプレイ１０４へ画面出力するようにＶＲＡＭ１０５へポインタ画像情報を出力する。ポインタ表示手段１０７は、左眼用ポインタ画像１４、右眼用ポインタ画像１５を生成し、前述する立体視画像の表示と同様の方法により、ポインタ自体も視差によって立体画像として結像できるよう、ＶＲＡＭ１０５へ転送する。なお、ポインタ表示手段１０７は、視差補正手段１０９によって補正された視差を取得して、ポインタを表示する視差として適用するよう左眼用ポインタ画像１４と右眼用ポインタ画像１５を生成する。ポインタを表示する視差の補正方法についても、詳細は後述する。
【００３４】
操作手段１０６は、ユーザから立体視画像編集装置１０に対しての操作を入力するための手段である。これは、図１の入力装置４０に対応付けることができる。表示対象の立体視画像データを選択する際や、ディスプレイ１０４に画面出力された立体視画像に対して指示する際に、ユーザは、操作手段１０６を用いて立体視画像表示装置に対して操作内容を入力する。
【００３５】
視差取得手段１０８は、画面出力される立体視画像上において、操作手段１０６によって指示された位置における左目用画像１２と右目用画像１３との視差量を取得する。これは、図１のＣＰＵ１０で動作する、記憶装置２０に記憶されたプログラムに対応付けることができる。なお、ハードウェアとして実装することも可能である。視差の取得方法については、詳細を後述する。
【００３６】
視差補正手段１０９は、視差取得手段１０８によって取得した視差量から、実際にポインタ画像の表示に利用する視差に補正し、補正した視差量でポインタ画像を表示するようポインタ表示手段１０７へ通知する。視差補正手段１０９における視差の補正では、現時点で表示しているポインタ画像の視差と、視差取得手段１０８から取得した立体視画像の視差との中間視差を算出し、この中間視差を補正した視差とする。中間視差の算出方法については、詳細を後述する。このような視差補正手段１０９の機能は、図１のＣＰＵ１０で動作する記憶装置２０に記憶されたプログラムに対応付けることができる。あるいは、ハードウェアとして実装することも可能である。
【００３７】
（ポインタ画像の表示）
次に、図５、図６を参照しながら、本発明におけるポインタ画像の動きを説明する。図５は、立体視画像において表示深度の大きく異なる被写体間でポインティング位置が移動する場合のポインタ画像の動きを模式的に示す図である。本図に示すように、ここで用いる立体視画像はディスプレイ面よりも飛び出した位置に自動車が結像する画像である。また、本図において時間は、時点ｔ０、時点ｔ１、時点ｔ２、時点ｔ３の順に遷移する。
【００３８】
操作手段であるマウスは初期位置Ｍ０に位置しており、この時のポインティング位置は、被写体である自動車の前面に相当する。図６の（ａ）は時点ｔ０におけるポインタ画像が合成された左目用画像及び右目用画像である。左目用画像では、自動車の前面の水平座標ｘ１にポインタ画像が描画され、左目用画像では、自動車の前面の水平座標ｘ２にポインタ画像が描画されている。このように、右目用画像、及び左目用画像における自動車の前面の視差Ｐｉｍｇとポインタ画像の視差Ｐｏｂｊ（ｔ０）とは供にｘ１−ｘ２であり、この結果、時点ｔ０のポインタ画像は、このポインティング位置に応じて、自動車の前面と同じ表示深度で結像される。
【００３９】
ここで、図５のように時点ｔ１においてマウスが、初期位置Ｍ０から右方向の位置Ｍ１へ移動されると、ポインティング位置は、ディスプレイ面と同じ表示深度の背景上の一点に変化する。図６の（ｂ）は時点ｔ１におけるポインタ画像が合成された左目用画像及び右目用画像である。時点ｔ１では、ポインティング位置の移動に伴って、ポインタ画像が左目用画像及び右目用画像に対して、それぞれ水平座標ｘ１’、ｘ２’の位置に合成される。この時、ポインタ画像の視差Ｐｏｂｊ（ｔ１）は、時点ｔ０でポインタ画像が指し示していた自動車の前面の視差ｘ１−ｘ２よりも小さく、ディスプレイ面と同じ表示深度の背景での視差０よりも大きい。その結果、図５に示すように、時点ｔ１におけるポインタ画像は、時点ｔ０におけるポインタ画像の表示深度とディスプレイ面の表示深度との間の表示深度で結像する。
【００４０】
その後、マウスが移動されることなくポインティング位置に変化がなければ、図５に示すように、時点２においてポインタ画像の表示深度を更にポインティング位置であるディスプレイ面の表示深度に近づけ、最終的に、時点ｔ３においてポインタ画像の表示深度を、ポインティング位置における立体視画像の表示深度、即ちディスプレイ面の表示深度に一致させる。図６の（ｃ）は時点ｔ３におけるポインタ画像が合成された左目用画像及び右目用画像である。時点ｔ３では、ポインタ画像が左目用画像及び右目用画像に対して、それぞれ水平座標ｘ１’’、ｘ２’’の位置に合成される。ここでｘ１’’、ｘ２’’は同じ座標であり、左目用画像及び右目用画像に合成されたポインタ画像の視差Ｐｏｂｊ（ｔ３）は０である。
【００４１】
より詳細には、図７に示すような視差の時間変化で、ポインタ画像を左目用画像及び右目用画像に合成することで、ポインタ画像の表示深度が急激に変化することなく、ユーザが視認しやすいポインタ画像の動きを実現することができる。
【００４２】
次に、図８を参照しながら、本実施の形態１におけるポインタ画像表示処理の流れを説明する。図８は、本実施の形態１にかかる立体視画像表示装置におけるポインタ画像表示処理の流れを示したフローチャートである。
【００４３】
本フローチャートに示すポインタ画像表示処理は、ディスプレイに立体視画像が表示された状態で実行される。立体視画像の表示は、ユーザが操作手段１０６を介してディスプレイ１０４に出力させたい立体視画像データ１１を選択した場合に、選択された立体視画像データが記憶手段１０１から読み出され、圧縮伸長手段１０２が圧縮された立体視画像データ１１を表示手段１０３で表示可能な形式に伸長変換し、ＶＲＡＭ１０５へ転送することで実現される。
【００４４】
ポインタ画像表示処理では、先ずポインタ画像の描画タイミングが到来する度に（ステップＳ３０１：Ｙｅｓ）、ステップＳ３０２〜ステップＳ３０８の描画サイクルが繰り返し実行される。ポインタ画像の描画タイミングとしては、表示装置のフレームレートと同期させてもよいし、数フレーム毎に１度のポインタ画像描画タイミングを設けてもよい。あるいは、タイマを用いた計時によりポインタ画像の描画周期を設定してもよい。
【００４５】
ステップＳ３０２〜３０４では、この描画サイクル実行時に指定されているポインティング位置に対応する左眼用画像１２及び右眼用画像１３の部位の視差Ｐｉｍｇが算出される。
【００４６】
視差の取得方法としては様々な方法があるが、ここでは左眼用画像と右眼用画像とで同じ特徴点を持つ箇所を検出し、それぞれの特徴点を比較し、水平方向のずれを視差として取得する方法を述べる。通常、ユーザが操作手段１０６を介して、画面に出力されている立体視画像上にポインタを表示するように操作すると、例えばフレーム単位ごとに、操作手段１０６からポインティング位置の情報が視差取得手段１０８へ通知される。視差取得手段１０８は、情報が通知される毎に、圧縮伸長手段１０２によって伸長変換された左眼用画像１２または右眼用画像１３のどちらか一方の画像上において、ポインタが指示する部位の座標を特定する。さらに、視差取得手段１０８は、特定した部位周辺の画像と同じ特徴点を持つ箇所を、もう一方の画像から探索し、その部位の座標を取得する。尚、同じ特徴点を持つ箇所を検索する方法としては、一般的にはパターンマッチング法や、テンプレートマッチング法、ＤＰマッチング法などがあり、いずれの手法を用いてもよい。また、上述した視差取得方法以外にも、立体視画像データ１１そのものが、あらかじめ各フレームおよび各画素単位における視差情報を含むフォーマットであれば、より簡易的にポインティング位置における視差量を取得することができる。
【００４７】
このような特徴点探索処理が視差取得手段１０８において常時実行されており、ステップＳ３０２の手順が処理されるタイミングで実行された、特徴点探索の結果が、ステップＳ３０３において比較される。左眼用画像１２と右眼用画像１３とで同じ特徴点が検出された場合（ステップＳ３０３：Ｙｅｓ）、視差取得手段１０８は、ポインタが指示する位置における被写体の視差を算出する（ステップＳ３０４）。具体的には、ポインティング位置の被写体がディスプレイ面とは異なる表示深度で結像する場合には、ステップＳ３０２において特徴点を探索した結果、左眼用画像１２と右眼用画像１３とのそれぞれのポインティング位置の相対座標が水平方向にずれている。視差取得手段１０８は、このずれの量（水平方向にずれる画素の数）をポインタの指示位置における被写体の視差Ｐｉｍｇとして取得する。一方、左眼用画像１２と右眼用画像１３とで同じ特徴点が検出されなかった場合（ステップＳ３０３：Ｎｏ）は、ステップＳ３０８に遷移し、ポインタ表示手段１０７が前サイクルでのポインタ画像と同じ座標位置にポインタ画像を合成する。
【００４８】
ステップＳ３０４において視差Ｐｉｍｇが得られると、次に、視差補正手段１０９において、前サイクルでポインタ画像の描画に用いた視差Ｐｏｂj(ｔｎ−１)と視差Ｐｉｍｇとの差の絶対値が算出され、Ｐｉｍｇ−Ｐｏｂj(ｔｎ−１)の絶対値が所定の閾値Ｔｈ１以下であるか否かが判定される（ステップＳ３０５）。Ｐｉｍｇ−Ｐｏｂj(ｔｎ−１)の絶対値が所定の閾値Ｔｈ１以下である場合（ステップＳ３０５：Ｙｅｓ）は、ポインタ画像自体の表示に用いる視差を補正する必要はないと判断され、視差補正手段１０９は、その旨をポインタ表示手段１０７へ通知する。処理はステップＳ３０８に遷移し、ポインタ表示手段１０７は、左目用ポインタ画像１４と右目用ポインタ画像１５との間に視差Ｐｉｍｇと同じ値の視差を持たせて、左目用画像１２と右目用画像１３とに合成する。この結果、ポインタ画像の表示深度は、ポインティング位置における被写体の表示深度と一致することになる。尚、閾値Ｔｈ１は、ポインタ画像の視差が１サイクルで変化しても、ユーザの目が視差の変化に適応できる程度の視差変化量の値を用いる。このような閾値Ｔｈ１の好適な値は、ディスプレイサイズに応じて定まる。これは、視差Ｐｉｍｇと視差Ｐｏｂj(ｔｎ−１)との差が同じであっても、ディスプレイサイズが小さいものより大きいものの方が、被写体とポインタ画像との表示深度の差が大きく見えるためである。そのため、ディスプレイサイズが大きいほど、閾値Ｔｈ１に小さな値を用いることになる。
【００４９】
一方、ステップＳ３０５において、Ｐｉｍｇ−Ｐｏｂj(ｔｎ−１)の絶対値が、所定の閾値を超える場合（ステップＳ３０５：Ｎｏ）、視差補正手段１０９は、現在のポインタ画像描画サイクルにおいて用いる視差Ｐｏｂj(ｔｎ)を算出する（ステップＳ３０６）。ここで視差補正手段１０９により算出される視差Ｐｏｂj(ｔｎ)は、現在のポインティング位置における被写体の視差Ｐｉｍｇと、前サイクルにおけるポインタ画像の視差Ｐｏｂj(ｔｎ−１)との中間視差となる。中間視差の算出方法は、例えば、式１を用いて説明する次の方法で実施できる。
【００５０】
【数１】
0005497758.tif 000002
式１において、ポインティング位置の変化又は立体視画像の変化により指し示される被写体の視差が変化した時点をｔ０とし、Ｐｏｂｊは時点ｔ０におけるポインタ画像の視差である。また、Ｋ／Ｔは、視差の変化量を決める定数であり、この値が大きいと視差の変化が速くなる。より詳細には、定数Ｋが変化の速さを決める定数であり、変数Ｔには「初期値Ｐｏｂｊから終了値ＰｉｍｇまでＴ秒で変化する」といった視差の変化に要する時間を設定することができる。また、Ｓは視差を変化させるタイミングを決める定数であり、この値が大きいほど早い時点でサイクル間の視差の変化が大きくなる。具体的には、定数Ｓが大きいとｔ０に近い時点で視差の変化が大きくなりだし、図７に示すシグモイドカーブがなだらかなものとなるが、定数Ｓが大きいとｔ０に遠い時点で視差の変化が大きくなりだすため、図７に示すシグモイドカーブがより急峻なものとなる。
【００５１】
尚、定数Ｋ、Ｓ、及び変数Ｔは任意の値を設定することができるが、一例として、Ｋ＝２、Ｓ＝２の場合に、ポインタ画像の表示深度変化がスムーズになり、ポインタ画像を視認しやすい良好な効果が得られる。具体的には、ポインタ画像を更新する描画レートが３０ｆｐｓであり、Ｋ＝２、Ｓ＝２、変数Ｔ＝２、即ち２秒で視差を変化させるとした場合、時点ｔ０でのポインタ画像視差Ｐｏｂjが２０ピクセル、ポインティング位置での被写体の視差Ｐｉｍｇが５０ピクセルであれば、Ｐｏｂｊ（ｔｎ）は、図７に示すグラフのように変化する。
【００５２】
また、視差補正手段１０９は、立体視画像およびポインタ画像を表示する画面の大きさ、あるいは画面解像度を取得し、その値に応じてポインタ画像の視差の補正開始タイミングを変更するように、定数Ｋ、Ｓ、及び変数Ｔを動的に設定する構成としてもよい。例えば、大画面や低解像度など、視差の変化が目立ちやすい画面においてはポインタ画像の視差変化を抑制するようにＳやＴに大きな値を設定したり、逆に小画面や高解像度など視差の変化が目立ちにくい画面においてはポインタ画像の視差変化の抑制を解除するためにＳやＴに小さなの値を設定したりすることで、出力画面に応じて視認性を向上することができる。ポインタ画像の視差を変化させるときの変化量を、画面の大きさ、あるいは画面解像度によって決定することで、出力画面に応じて視認性を向上することができる。
【００５３】
ステップＳ３０６において視差Ｐｏｂj(ｔｎ)を算出した視差補正手段１０９は、視差Ｐｏｂj(ｔｎ)をポインタ表示手段１０７へ通知する。視差Ｐｏｂj(ｔｎ)を通知されたポインタ表示手段１０７は、ステップＳ３０７において、左目用画像及び右目用画像にポインタ画像を合成する座標を決定し、ポインタ画像を補正する。例えば、Ｓ３０４で左眼用画像１２におけるポインタが指示する位置を基準に視差Ｐｉｍｇを算出した場合においては、Ｐｏｂｊ（ｔｎ）は、右眼用画像１３に合成するポインタ画像が水平方向にずれる画素の数となる。そこで、左眼用画像１２上に合成する左眼用ポインタ画像１４の位置を、ステップＳ３０２において探索した左眼用画像１２の特徴点の座標に補正し、一方、右眼用画像１３上に合成する右眼用ポインタ画像１５の位置を、左眼用ポインタ画像１４の座標位置よりも水平方向にＰｏｂｊ（ｔｎ）だけずらした座標位置に補正する。これにより、視差Ｐｏｂｊ（ｔｎ）がポインタ画像に反映されることになる。ここでＰｏｂｊ（ｔｎ）の値が正の値であれば右眼用画像１３は左眼用画像１２より水平方向に右へずらした座標位置となり、Ｐｏｂｊ（ｔｎ）の値が負の値であれば水平方向に左へずらした座標位置となる。
【００５４】
最後に、ポインタ表示手段１０７が、左眼用ポインタ画像１４をＶＲＡＭ上の左目用画像１２に合成し、右眼用ポインタ画像１５をＶＲＡＭ上の右眼用画像１３に合成する（ステップＳ３０８）。具体的には、視差補正手段１０９がステップＳ３０７で座標補正を行なった場合、ポインタ表示手段１０７は、補正した左眼用ポインタ画像１４と、補正した右眼用ポインタ画像１５を、左目用画像１２と右眼用画像１３との合成に用いる。これにより、ディスプレイ１０４へ表示されたポインタ画像は、視差Ｐｏｂｊ（ｔｎ）に応じた表示深度で結像する。
【００５５】
以上の手順により、前サイクルでのポインタ画像の視差と、今回のサイクルでのポインティング位置における立体視画像上の被写体の視差との差が大きい場合に、補正によりその中間の視差を今回のサイクルにおけるポインタ画像に適用して表示することができる。
【００５６】
さらに、このようなポインタ画像描画サイクルを、フレーム単位、もしくは一定の時間単位で繰り返し実行すことにより、ポインタ画像の表示深度を初期値から滑らかに変化させて、最終的にポインティング位置における被写体の表示深度まで遷移させる画像表現が可能となる。
【００５７】
つまり、立体視画像上の表示深度の大きく異なる被写体間でポインティング位置が移動した場合でも、ポインタ画像の表示深度の急激な変化を抑制しながら、ポインタ画像の表示深度を被写体の表示深度まで滑らかに遷移させることができるので、立体視画像に重畳したポインタ画像の視認性を向上することができる。
（実施の形態２）
図９は、実施の形態２における立体視画像表示装置の機能構成を示すブロック図である。前述した図２と同じ構成要素は、同じ番号で示し、説明を省略する。
【００５８】
図９において、立体視画像表示装置は、図２に示す構成と比較して、視差変化量検知手段１１２、及び画面情報取得手段１１３を追加し、視差補正手段１０９を視差補正手段１１４に置換した構成である。
【００５９】
視差変化量検知手段１１２は、視差取得手段１０８が算出したポインタが指示する位置における立体視画像上の視差Ｐｉｍｇ（ｔｎ−１）を取得し、ポインタ画像の描画処理の次の処理サイクルまで保持する。さらに、視差変化量検知手段１１２は、次の処理サイクルにおいて、視差取得手段１０８から取得する視差Ｐｉｍｇ（ｔｎ）の値と保持している視差Ｐｉｍｇ（ｔｎ−１）とを比較する。比較した値の差があらかじめ設定された閾値Ｔｈ２以内である場合、視差変化量検知手段１１２は、視差補正手段１１４に対してポインタ画像の視差を変更するよう通知し、視差Ｐｉｍｇ（ｔｎ）を出力する。比較した値があらかじめ設定された閾値を超えた場合は、視差変化量検知手段１１２は、視差補正手段１１４に対してポインタ画像の視差を変更しないように通知する。さらに視差変化量検知手段１１２は、比較結果にかかわらず、保持する値を前記視差Ｐｉｍｇ（ｔｎ）の値に更新する。
【００６０】
画面情報取得手段１１３は、表示手段１０３における画面サイズまたは画面解像度を含む画面情報を取得し、視差補正手段１１４からの要求に応じて前記画面情報を出力する。画面情報の取得は、例えば、ＨＤＭI接続のネゴシエーションフェーズにおける機器情報の取得により実現できる。
【００６１】
視差補正手段１１４は、視差変化量検知手段１１２からポインタ画像の視差を変更するかしないかを示す通知と、ポインタが指示する位置における立体視画像の視差Ｐｉｍｇ（ｎ）を取得する。視差補正手段１１４は、ポインタ画像の視差を変更する旨の通知を受けると、視差変化量検知手段１１２から取得した視差Ｐｉｍｇ（ｎ）の値を用いて、実際にポインタ画像の表示に利用する視差を補正する。また、ポインタ画像の表示に利用する視差を補正した場合、視差補正手段１１４は、補正した視差でポインタ画像を表示するようにポインタ表示手段１０７へ通知する。視差補正手段１１４における補正は、現時点で表示しているポインタ画像の視差と、視差取得手段１０８が算出した立体視画像の視差との中間視差を算出し、算出した中間視差を補正した視差量とするものである。中間視差の算出方法については、実施の形態１に記載の視差補正手段１０９と同様である。
【００６２】
また、視差補正手段１１４は、ポインタの視差を変更しない旨の通知を受け取ると、現在表示に用いているポインタ画像の視差と同じ値を、次サイクルのポインタ画像の視差とするよう、ポインタ表示手段１０７へ通知する。
【００６３】
さらに、視差補正手段１１４は、ポインタ画像の表示に用いる中間視差を算出する際に、画面情報取得手段１１３から取得した画面サイズまたは画面解像度に応じて、ポインタ画像の視差を補正する程度を変更する機能を有する。例えば、画面サイズが大型（例えば３２インチを超える大画面）である場合には、ポインタ画像の表示深度が急激に変化しないように、１サイクルあたりの視差の変化量を抑制する。逆に画面サイズが小型（例えば３２インチ以下の小さな画面）である場合には、ポインタ画像の表示深度の変化をはっきりさせるために、１サイクルあたりの視差の変化量を増加させる。これにより、表示する画面のサイズおよび画面解像度に対して好適な視差の変化で、ポインタを表示することができ、視認性の向上を図ることができる。
【００６４】
次に、図１０を参照しながら、本実施の形態２におけるポインタ画像表示処理の流れを説明する。図１０は、本実施の形態２に係る立体視画像表示装置でのポインタ画像表示処理の流れを示したフローチャートである。
【００６５】
本図に示す処理の流れは、実施の形態１で説明した図８の処理の流れと比較して、ステップＳ４０５の処理と、ステップＳ４１０の処理が追加されている点で相違する。以下、実施の形態１におけるポインタ画像表示処理との相異点について説明する。
【００６６】
ステップＳ４０５は、描画サイクルでの視差Ｐｉｍｇ（ｔｎ）と前描画サイクルでの視差Ｐｉｍｇ（ｔｎ−１）との差を、閾値Ｔｈ２と比較する処理であり、ステップＳ４１０は、視差変化量検知手段１１２で保持している視差Ｐｉｍｇを、１の描画サイクルの最後に現在の描画サイクルで算出した値に更新する処理である。
【００６７】
ステップＳ４０５の詳細について説明する。視差変化量検知手段１１２は、上述したように前回の描画サイクル（ステップＳ４０１〜ステップＳ４１０）のにおいて算出されたポインティング位置での被写体視差Ｐｉｍｇ（ｔｎ−１）を保持しており、ステップＳ４０５では、ステップＳ４０４にて算出された現在の描画サイクルでの視差Ｐｉｍｇ（ｔｎ）と保持している前描画サイクルでの視差Ｐｉｍｇ（ｔｎ−１）との差（変化量）を、閾値Ｔｈ２と比較する。ここで、描画サイクルでの視差Ｐｉｍｇ（ｔｎ）と前描画サイクルでの視差Ｐｉｍｇ（ｔｎ−１）との差は、ポインティング位置での立体視画像の視差の変化量を示すことになる。視差の変化量が、あらかじめ設定された閾値Ｔｈ２以下である場合（ステップＳ４０５で閾値以下）は、視差の補正処理を行うとして、視差変化量検知手段１１２がその旨を視差補正手段１１４へ通知し、処理がステップＳ４０６に遷移する。一方、視差の変化量が、閾値Ｔｈ２をこえる場合（ステップＳ４０５で閾値超過）は、視差の補正処理を行わない旨を視差変化量検知手段１１２が視差補正手段１１４へ通知する。この場合、視差補正手段１１４は、前の描画サイクルでポインタ画像に用いられている視差Ｐｏｂｊ（ｔｎ−１）と同じ値を、そのまま現在の描画サイクルでもポインタ画像の視差Ｐｏｂｊ（ｔｎ）として用いるようポインタ画像表示手段１０７へ通知して、ステップＳ４０９に遷移する。ここで閾値Ｔｈ２は、画面サイズ、画面解像度に応じて決定することが望ましい。例えば、式２を用いることができる。
Ｔｈ２＝（e/2）/(画面サイズ/水平解像度)  ・・・式２
式２においてeは、視聴者の目の幅である。
サイズが５０ｉｎｃでフルＨＤ（水平解像度が１９２０ピクセル）の画面を例にとると、
目の幅が一般に６．５ｃｍとして、閾値Ｔｈ２は、６８．１８ピクセルとなる。
【００６８】
以上の手順により、本実施の形態２におけるポインタ画像表示処理では、前描画サイクルからのポインティング位置における立体視画像上の視差Ｐｉｍｇの変化量が、閾値Ｔｈ２以内である場合、すなわち、ポインティング位置における被写体の表示深度変化が、前サイクルからある程度に抑えられる場合には、実施の形態１におけるポインタ画像表示処理と同様の視差補正処理が実行され、その結果、ポインタ画像の表示深度が滑らかに変化するよう描画される。これに対して、前描画サイクルからの視差Ｐｉｍｇの変化量が閾値Ｔｈ２を超える場合、すなわち、ポインティング位置における被写体の表示深度が、前サイクルから大きく変化する場合には、前サイクルでのポインタ画像の視差Ｐｏｂｊ（ｔｎ-１）と同じ値が、現在の描画サイクルでもそのまま用いられ、その結果、ポインタ画像の表示深度が前サイクルから変化しないように描画される。
【００６９】
立体視映像が動画である場合、ポインティング位置に変化がなくとも、画像の動きによりポインタが指示するオブジェクトが、フレーム毎に、繰り返し切り替わる場合がある。
上述の処理手順では、繰り返し切り替わるオブジェクトＡとオブジェクトＢの深度に大きな差があり、この差が閾値Ｔｈ２を超える場合は視差補正処理を行わない。これにより、ポインタがオブジェクトＡとオブジェクトＢとをフレーム毎に交互に指し示すような場合に、ポインタの深度をフレーム毎に変化させずに描画することになり、ポインタ表示のちらつきを低減することが可能となる。このような効果は、撮影時の手振れなどにより動画である立体視画像に微細な揺れがある場合に特に顕著なものとなる。
(備考)
以上、本願の出願時点において、出願人が知り得る最良の実施形態について説明したが、以下に示す技術的トピックについては、更なる改良や変更実施を加えることができる。各実施形態に示した通り実施するか、これらの改良・変更を施すか否かは、何れも任意的であり、実施する者の主観によることは留意されたい。
（システムＬＳＩ化）
本発明は、図２、及び図９に示す構成を本質的部分とする。立体視画像表示装置のうち、かかる本質的部分を抜き出して、システムＬＳＩとして構成してもよい。
【００７０】
システムＬＳＩとは、高密度基板上にベアチップを実装し、パッケージングしたものをいう。複数個のベアチップを高密度基板上に実装し、パッケージングすることにより、あたかも１つのＬＳＩのような外形構造を複数個のベアチップに持たせたものも、システムＬＳＩに含まれる（このようなシステムＬＳＩは、マルチチップモジュールと呼ばれる。）。
【００７１】
ここでパッケージの種別に着目するとシステムＬＳＩには、ＱＦＰ（クッド  フラッド  アレイ）、ＰＧＡ（ピン  グリッド  アレイ）という種別がある。ＱＦＰは、パッケージの四側面にピンが取り付けられたシステムＬＳＩである。ＰＧＡは、底面全体に、多くのピンが取り付けられたシステムＬＳＩである。
【００７２】
これらのピンは、他の回路とのインターフェイスとしての役割を担っている。システムＬＳＩにおけるピンには、こうしたインターフェイスの役割が存在するので、システムＬＳＩにおけるこれらのピンに、他の回路を接続することにより、システムＬＳＩは、再生装置の中核としての役割を果たす。
【００７３】
かかるシステムＬＳＩは、再生装置は勿論のこと、ＴＶやゲーム、パソコン、ワンセグ携帯等、映像再生を扱う様々な機器に組込みが可能であり、本発明の用途を多いに広げることができる。
【００７４】
具体的な生産手順の詳細は以下のものになる。まず各実施形態に示した構成図を基に、システムＬＳＩとすべき部分の回路図を作成し、回路素子やＩＣ，ＬＳＩを用いて、構成図における構成要素を具現化する。
【００７５】
そうして、各構成要素を具現化してゆけば、回路素子やＩＣ，ＬＳＩ間を接続するバスやその周辺回路、外部とのインターフェイス等を規定する。更には、接続線、電源ライン、グランドライン、クロック信号線等も規定してゆく。この規定にあたって、ＬＳＩのスペックを考慮して各構成要素の動作タイミングを調整したり、各構成要素に必要なバンド幅を保証する等の調整を加えながら、回路図を完成させてゆく。
【００７６】
回路図が完成すれば、実装設計を行う。実装設計とは、回路設計によって作成された回路図上の部品（回路素子やＩＣ，ＬＳＩ）を基板上のどこへ配置するか、あるいは、回路図上の接続線を、基板上にどのように配線するかを決定する基板レイアウトの作成作業である。
【００７７】
ここで実装設計は、自動配置と、自動配線とからなる。
【００７８】
ＣＡＤ装置を利用する場合、この自動配置は、“重心法”と呼ばれる専用のアルゴリズムを用いて実現することができる。自動配線は、回路図上の部品のピン同士を接続するような接続線を、金属箔やビアを用いて規定する。ＣＡＤ装置を利用する場合、この配線処理は、“メーズ法”“ラインサーチ法”と呼ばれる専用のアルゴリズムを用いて実現することができる。
【００７９】
こうして実装設計が行われ、基板上のレイアウトが確定すれば、実装設計結果をＣＡＭデータに変換して、ＮＣ工作機械等の設備に出力する。ＮＣ工作機械は、このＣＡＭデータを基に、ＳｏＣ実装やＳｉＰ実装を行う。ＳｏＣ（Ｓｙｓｔｅｍ  ｏｎ  ｃｈｉｐ）実装とは、１チップ上に複数の回路を焼き付ける技術である。ＳｉＰ（Ｓｙｓｔｅｍ  ｉｎ  Ｐａｃｋａｇｅ）実装とは、複数チップを樹脂等で１パッケージにする技術である。以上の過程を経て、本発明に係るシステムＬＳＩは、各実施形態に示した再生装置の内部構成図を基に作ることができる。
【００８０】
尚、上述のようにして生成される集積回路は、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【００８１】
さらに、各再生装置の構成要素の一部又は全てを１つのチップとして構成してもよい。集積回路化は、上述したＳｏＣ実装，ＳｉＰ実装に限るものではなく、専用回路又は汎用プロセスで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なシリコンフィギュラブル・プロセッサを利用することが考えられる。更には、半導体技術の進歩又は派生する技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積回路化を行っても良い。例えば、バイオ技術の適用などが可能性としてありうる。
【００８２】
（プログラム）
本発明は、各実施の形態で説明したフローチャートの処理手順が開示するアプリケーション実行方法であるとしてもよい。また、前記処理手順でコンピュータを動作させるプログラムコードを含むコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。各実施形態においてフローチャートを引用して説明した制御手順や、機能的な構成要素による制御手順は、ハードウェア資源を用いて具体的に実現されていることから、自然法則を利用した技術的思想の創作といえ、“プログラムの発明”としての成立要件を満たす。
【００８３】
また、本発明は、前記コンピュータプログラム又は前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ  Ｄｉｓｃ）、半導体メモリなど、に記録したものとしてもよい。
【００８４】
また、本発明は、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送するものとしてもよい。
【００８５】
また、前記コンピュータプログラム又は前記デジタル信号を前記記録媒体に記録して移送することにより、又は前記コンピュータプログラム又は前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
【００８６】
（外部Ｉ／Ｆ）
各実施形態で説明した立体視画像表示装置は、さらにＵＳＢやネットワーク、カメラ入力や外部記憶媒体などの外部データを取得する外部Ｉ／Ｆを備えてもよい。立体視画像表示装置は、立体視画像データ１１を外部Ｉ／Ｆを介して取得して、記憶手段１０１へ記憶する構成としてもよい。
【００８７】
（操作手段）
操作手段１０６は、立体視画像表示装置に対して操作内容を入力できる手段であればよい。操作手段１０６は、キーボードやマウスに限定されず、例えばタッチパネルディスプレイに代表されるような、ディスプレイ１０４と一体型の入力デバイスであってもよい。
【００８８】
また、ポインタを表示する位置情報は各実施の形態で説明した方法以外でも取得することができ、立体視画像上の位置を特定できる情報さえ取得できれば、いずれの方法を用いてもよい。操作手段１０６から直接取得するほかに、例えば、次の方法がある。操作手段１０６が表示手段１０３にポインタの位置情報を提供し、表示手段１０３が実際にポインタを表示する位置を決定するような構成とする場合には、表示手段１０３から実際のポインタの表示位置を取得する方法でもよい。
【００８９】
（ポインタ画像の視差補正）
実施の形態１においては、ポインタの視差が連続的に変化するよう視差を補正する式として式１を例示したが、視差補正手段における中間視差の算出方法は上述以外の方法および式を用いることもできる。
【００９０】
例えば、中間視差の算出に式３を用いてもよい。式３では、前サイクルでのポインタ画像の視差をＰｏｂｊ（ｔｎ−１）、現在のサイクルで用いるポインタ画像の視差をＰｏｂｊ（ｔｎ）、現在のポインタが指示する位置における立体視画像上の被写体の視差をＰいｍｇと示す。
Ｐｏｂｊ（ｔｎ）＝Ｐｏｂｊ（ｔｎ−１）＋［（Ｐｉｍｇ−Ｐｏｂｊ（ｔｎ−１））／ｋ］    ・・・式３
ｋは視差の変化量の割合を決定する値である。ｋの値が大きいほど、ポインタの視差がポインタの指示する位置における立体視画像上の被写体の視差と一致するまで、より多くのフレーム数を要することとなり、結果としてより時間をかけて変化することになる。ユーザにとって好適な視差変化が得られる値をｋに設定する。カッコ［］はガウス記号であり、「［］内の値を超えない最大の整数値」であることを示す。これにより、現在の描画サイクルで用いるポインタ画像の補正視差Ｐｏｂｊ（ｔｎ）を求めることができる。
【００９１】
（画面サイズの小さなディスプレイへの適用）
各実施の形態において説明したポインタ画像の視差補正は、ポインタ画像の表示深度が急激に変化することを抑制することを目的とするものであるが、そもそもポインタ画像を表示する画面サイズが極めて小型である場合には、視差変化が大きくともユーザに視認される深度変化が小さなものとなるため、ポインタ画像の視差補正のメリットも顕著なものではなくなる。
【００９２】
そこで、画面サイズが極めて小型である場合、例えば、画面サイズが２０ｉｎｃ以下である場合、図８のステップＳ３０６、及び図１０のステップＳ４０７の処理を実行せず、ポインタ画像の視差Ｐｏｂｊとして、ポインティング位置での被写体の視差Ｐｉｍｇと同じ値を用いてポインタ画像を描画するとしてもよい。
【００９３】
（ポインタ画像と被写体が一致した状態でのポインタ画像表示深度）
各実施の形態では、ポインタ画像の表示深度と、ポインティング位置における立体視画像の表示深度とを一致させることで、ポインタ画像が立体視画像の何れの被写体を指し示すかを視認しやすくしている。しかし、指し示している立体視画像よりも、ポインタ画像をわずかに手前に浮き出るような表示深度で描画することで、被写体とポインタとの区別を視認しやすくすることができる。
【００９４】
そこで、被写体とポインタとの区別を視認しやすくする目的で、ポインティング位置での立体視画像よりも表示深度がわずかに手前になる程度の視差で、ポインタ画像を描画してもよい。例えば、ポインタ画像と被写体が一致した状態を表現する場合に、ポインタ画像の視差をポインティング位置における立体視画像の視差よりも、手前に浮き出る方向に１ピクセル程度ずらして描画することで、被写体とポインタとの区別が明瞭になる。このときポインタ画像の視差とポインティング位置における立体視画像の視差との間で設けるズレの大きさは、ポインタ画像が何れの被写体を指し示すかを十分に視認可能な範囲であればよく、画面サイズ、画面解像度に応じて好適な値が定まる。即ち、このズレが一定であっても画面サイズが大きい程、被写体とポインタとの間隔が広く視認される。
【産業上の利用可能性】
【００９５】
本発明にかかる立体視画像表示装置は、立体視画像上の被写体を指示する機能を有した情報処理装置やＡＶ機器等として有用である。また、ＰＤＡ、携帯電話機などの通信端末等の用途にも応用できる。
【符号の説明】
【００９６】
１０    ＣＰＵ
２０    メモリ装置
２１    ＲＯＭ
２２    ＲＡＭ
２５    ハードディスク装置
２６，３５，４１，４６    インタフェース
３０    通信装置
３１    記録媒体
３２    読取装置
３３    電気通信回線
４０    入力装置
４５    表示装置
５０    バスライン
５１    タイマ回路
５５    割込コントローラ
１１    立体視画像データ
１２    左眼用画像
１３    右眼用画像
１４    左眼用ポインタ画像（左眼用指示オブジェクト画像）
１５    左眼用ポインタ画像（左眼用指示オブジェクト画像）
１６    立体視表示用ポインタ画像
１０１    記憶手段
１０２    圧縮／伸長手段
１０３    表示手段
１０４    ディスプレイ
１０５    ＶＲＡＭ
１０６    操作手段
１０７    ポインタ表示手段
１０８    視差取得手段
１０９，１１４    視差補正手段
１１１    外部Ｉ／Ｆ
１１２    視差変化量検知手段
１１３    画面情報取得手段
２０１    偏光フィルタ
２０２    偏光フィルタ２０１と偏光方向が９０度異なる偏光フィルタ
２０３    立体視画像閲覧用めがね
【図１】
0005497758.tif 000003
【図２】
0005497758.tif 000004
【図３】
0005497758.tif 000005
【図４】
0005497758.tif 000006
【図５】
0005497758.tif 000007
【図６】
0005497758.tif 000008
【図７】
0005497758.tif 000009
【図８】
0005497758.tif 000010
【図９】
0005497758.tif 000011
【図１０】
0005497758.tif 000012