(57)【特許請求の範囲】
【請求項１】
複数のチャンネルの画素からなるブロック領域が複数設けられた表示部と、
前記ブロック領域内の各チャンネルの画素に表示された画像を分離させる分離部と、
前記表示部と前記分離部の位置関係を示すパラメータを保持する保持部と、
前記表示部を観察するユーザの視点位置と前記パラメータとに基づいて定められた、前記ブロック領域内の各チャンネルの画素への視差画像の割り当てにしたがって、複数の前記視差画像を合成し、合成画像を生成する生成部と
を備え、
前記保持部は、
前記表示部に表示された、互いに隣接する異なるチャンネルの画素に、異なる画像が割り当てられたキャリブレーション画像を所定の測定位置で撮像することで得られた測定画像に基づいて算出された、前記測定位置から画素のほぼ中央が観察される前記ブロック領域の前記表示部上の位置を測定境界位置とし、
前記パラメータと前記測定位置に基づいて算出された、前記測定位置が前記ユーザの前記視点位置であるとしたときに前記ユーザにより画素のほぼ中央が観察される前記ブロック領域の前記表示部上の位置を理論境界位置として、
複数の前記パラメータのうち、前記測定境界位置と前記理論境界位置の誤差が最小となる前記パラメータを保持する
表示装置。
【請求項２】
前記測定境界位置は、前記測定画像上における、同じチャンネルの画素が観察されている領域の重心位置を求めることにより算出される
請求項１に記載の表示装置。
【請求項３】
前記ユーザの前記視点位置と前記パラメータとに基づいて、前記ブロック領域内の画素のうちの前記視点位置から視認される視認画素と、前記視認画素の視認位置とを算出する視認位置算出部と、
前記視認画素と前記視認位置の算出結果に基づいて、前記ブロック領域内の各チャンネルの画素に複数の前記視差画像の何れかを割り当てる割り当て部と
をさらに備え、
前記生成部は、前記割り当て部による割り当てにしたがって前記合成画像を生成する
請求項２に記載の表示装置。
【請求項４】
複数のチャンネルの画素からなるブロック領域が複数設けられた表示部と、
前記ブロック領域内の各チャンネルの画素に表示された画像を分離させる分離部と、
前記表示部と前記分離部の位置関係を示すパラメータを保持する保持部と、
前記表示部を観察するユーザの視点位置と前記パラメータとに基づいて定められた、前記ブロック領域内の各チャンネルの画素への視差画像の割り当てにしたがって、複数の前記視差画像を合成し、合成画像を生成する生成部と
を備え、
前記保持部が、
前記表示部に表示された、互いに隣接する異なるチャンネルの画素に、異なる画像が割り当てられたキャリブレーション画像を所定の測定位置で撮像することで得られた測定画像に基づいて算出された、前記測定位置から画素のほぼ中央が観察される前記ブロック領域の前記表示部上の位置を測定境界位置とし、
前記パラメータと前記測定位置に基づいて算出された、前記測定位置が前記ユーザの前記視点位置であるとしたときに前記ユーザにより画素のほぼ中央が観察される前記ブロック領域の前記表示部上の位置を理論境界位置として、
複数の前記パラメータのうち、前記測定境界位置と前記理論境界位置の誤差が最小となる前記パラメータを保持する
表示装置の表示方法であって、
前記生成部が前記合成画像を生成し、
前記表示部が前記合成画像を表示する
ステップを含む表示方法。
【請求項５】
複数のチャンネルの画素からなるブロック領域が複数設けられた表示部と、
前記ブロック領域内の各チャンネルの画素に表示された画像を分離させる分離部と、
前記表示部と前記分離部の位置関係を示すパラメータを保持する保持部と、
前記表示部を観察するユーザの視点位置と前記パラメータとに基づいて定められた、前記ブロック領域内の各チャンネルの画素への視差画像の割り当てにしたがって、複数の前記視差画像を合成し、合成画像を生成する生成部と
を備え、
前記保持部が、
前記表示部に表示された、互いに隣接する異なるチャンネルの画素に、異なる画像が割り当てられたキャリブレーション画像を所定の測定位置で撮像することで得られた測定画像に基づいて算出された、前記測定位置から画素のほぼ中央が観察される前記ブロック領域の前記表示部上の位置を測定境界位置とし、
前記パラメータと前記測定位置に基づいて算出された、前記測定位置が前記ユーザの前記視点位置であるとしたときに前記ユーザにより画素のほぼ中央が観察される前記ブロック領域の前記表示部上の位置を理論境界位置として、
複数の前記パラメータのうち、前記測定境界位置と前記理論境界位置の誤差が最小となる前記パラメータを保持する
表示装置を制御するコンピュータに、
前記生成部に前記合成画像を生成させ、
前記表示部に前記合成画像を表示させる
ステップを含む処理を実行させるプログラム。
【請求項６】
複数のチャンネルの画素からなるブロック領域が複数設けられた表示部と、前記ブロック領域内の各チャンネルの画素に表示された画像を分離させる分離部とを有する表示装置における、前記表示部と前記分離部の位置関係を示すパラメータを出力する情報処理装置であって、
前記表示部に表示された、互いに隣接する異なるチャンネルの画素に、異なる画像が割り当てられたキャリブレーション画像を、所定の測定位置で撮像することで得られた測定画像に基づいて、前記測定位置から画素のほぼ中央が観察される前記ブロック領域の前記表示部上の位置を測定境界位置として算出する測定境界位置算出部と、
前記パラメータと前記測定位置に基づいて、前記測定位置が前記表示部を観察するユーザの視点位置であるとしたときに前記ユーザにより画素のほぼ中央が観察される前記ブロック領域の前記表示部上の位置を理論境界位置として算出する理論境界位置算出部と、
複数の前記パラメータのうち、前記測定境界位置と前記理論境界位置の誤差が最小となるものを、出力する前記パラメータとして選択する選択部と
を備える情報処理装置。
【請求項７】
前記測定境界位置算出部は、前記測定画像上における、同じチャンネルの画素が観察されている領域の重心位置を求めることで前記測定境界位置を算出する
請求項６に記載の情報処理装置。
【請求項８】
前記選択部は、複数の前記測定位置について求められた前記誤差の和が最小となる前記パラメータを選択する
請求項７に記載の情報処理装置。
【請求項９】
複数のチャンネルの画素からなるブロック領域が複数設けられた表示部と、前記ブロック領域内の各チャンネルの画素に表示された画像を分離させる分離部とを有する表示装置における、前記表示部と前記分離部の位置関係を示すパラメータを出力する情報処理方法であって、
前記表示部に表示された、互いに隣接する異なるチャンネルの画素に、異なる画像が割り当てられたキャリブレーション画像を、所定の測定位置で撮像することで得られた測定画像に基づいて、前記測定位置から画素のほぼ中央が観察される前記ブロック領域の前記表示部上の位置を測定境界位置として算出し、
前記パラメータと前記測定位置に基づいて、前記測定位置が前記表示部を観察するユーザの視点位置であるとしたときに前記ユーザにより画素のほぼ中央が観察される前記ブロック領域の前記表示部上の位置を理論境界位置として算出し、
複数の前記パラメータのうち、前記測定境界位置と前記理論境界位置の誤差が最小となるものを、出力する前記パラメータとして選択する
ステップを含む情報処理方法。
【請求項１０】
複数のチャンネルの画素からなるブロック領域が複数設けられた表示部と、前記ブロック領域内の各チャンネルの画素に表示された画像を分離させる分離部とを有する表示装置における、前記表示部と前記分離部の位置関係を示すパラメータを出力する情報処理用のプログラムであって、
前記表示部に表示された、互いに隣接する異なるチャンネルの画素に、異なる画像が割り当てられたキャリブレーション画像を、所定の測定位置で撮像することで得られた測定画像に基づいて、前記測定位置から画素のほぼ中央が観察される前記ブロック領域の前記表示部上の位置を測定境界位置として算出し、
前記パラメータと前記測定位置に基づいて、前記測定位置が前記表示部を観察するユーザの視点位置であるとしたときに前記ユーザにより画素のほぼ中央が観察される前記ブロック領域の前記表示部上の位置を理論境界位置として算出し、
複数の前記パラメータのうち、前記測定境界位置と前記理論境界位置の誤差が最小となるものを、出力する前記パラメータとして選択する
ステップを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は表示装置および方法、情報処理装置および方法、並びにプログラムに関し、特に、より高品質な立体画像を提示できるようにした表示装置および方法、情報処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、立体画像を表示する方法として、立体視用の眼鏡を用いる眼鏡方式と、立体視用の特殊な眼鏡を用いることなく裸眼での立体視を可能にした裸眼方式が知られている。
【０００３】
例えば裸眼方式の代表的なものとしては、パララックスバリア方式とレンチキュラ方式とがある。パララックスバリア方式やレンチキュラ方式の場合、２次元表示パネルに立体視用の視差画像（２視点の場合には右眼用視差画像と左眼用視差画像）が空間分割されて表示され、その視差画像が視差分離部によって水平方向に視差分離されて立体視が実現される。このときパララックスバリア方式では、視差分離部としてスリット状の開口が設けられたパララックスバリアが用いられ、レンチキュラ方式では、視差分離部として、シリンドリカル状の分割レンズを複数並列配置したレンチキュラレンズが用いられる。
【０００４】
また、裸眼方式の表示装置として、液晶パネルの画像形成面とパララックスバリアとの距離を短くすることで、設計上の適視距離を短くできるようにするものも提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平９−５００１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、パララックスバリア等の視差分離部は、視差画像が表示される液晶パネルに対して設計で定められた位置関係となるように固定されるが、視差分離部の固定時に微小な誤差が生じ、視差分離部と液晶パネルとの位置関係が設計通りとならなくなることがある。
【０００７】
このように視差分離部と液晶パネルとの位置関係に誤差が生じると、立体画像の表示制御を行なう場合に、視差分離部と液晶パネルの位置関係のずれにより、適切に各視点の視差画像が分離されなくなってしまうことがある。そうすると、ユーザの眼で観察される立体画像に違和感が生じ、立体画像の品質が低下してしまう。
【０００８】
本技術は、このような状況に鑑みてなされたものであり、より高品質な立体画像を提示することができるようにするものである。
【課題を解決するための手段】
【０００９】
本技術の第１の側面の表示装置は、複数のチャンネルの画素からなるブロック領域が複数設けられた表示部と、前記ブロック領域内の各チャンネルの画素に表示された画像を分離させる分離部と、前記表示部と前記分離部の位置関係を示すパラメータを保持する保持部と、前記表示部を観察するユーザの視点位置と前記パラメータとに基づいて定められた、前記ブロック領域内の各チャンネルの画素への視差画像の割り当てにしたがって、複数の前記視差画像を合成し、合成画像を生成する生成部とを備え、前記保持部は、前記表示部に表示された、互いに隣接する異なるチャンネルの画素に、異なる画像が割り当てられたキャリブレーション画像を所定の測定位置で撮像することで得られた測定画像に基づいて算出された、前記測定位置から画素のほぼ中央が観察される前記ブロック領域の前記表示部上の位置を測定境界位置とし、前記パラメータと前記測定位置に基づいて算出された、前記測定位置が前記ユーザの前記視点位置であるとしたときに前記ユーザにより画素のほぼ中央が観察される前記ブロック領域の前記表示部上の位置を理論境界位置として、複数の前記パラメータのうち、前記測定境界位置と前記理論境界位置の誤差が最小となる前記パラメータを保持する。
【００１１】
前記測定境界位置は、前記測定画像上における、同じチャンネルの画素が観察されている領域の重心位置を求めることにより算出されるようにすることができる。
【００１２】
表示装置には、前記ユーザの前記視点位置と前記パラメータとに基づいて、前記ブロック領域内の画素のうちの前記視点位置から視認される視認画素と、前記視認画素の視認位置とを算出する視認位置算出部と、前記視認画素と前記視認位置の算出結果に基づいて、前記ブロック領域内の各チャンネルの画素に複数の前記視差画像の何れかを割り当てる割り当て部とをさらに設け、前記生成部には、前記割り当て部による割り当てにしたがって前記合成画像を生成させることができる。
【００１３】
本技術の第１の側面の表示方法またはプログラムは、複数のチャンネルの画素からなるブロック領域が複数設けられた表示部と、前記ブロック領域内の各チャンネルの画素に表示された画像を分離させる分離部と、前記表示部と前記分離部の位置関係を示すパラメータを保持する保持部と、前記表示部を観察するユーザの視点位置と前記パラメータとに基づいて定められた、前記ブロック領域内の各チャンネルの画素への視差画像の割り当てにしたがって、複数の前記視差画像を合成し、合成画像を生成する生成部とを備え、前記保持部が、前記表示部に表示された、互いに隣接する異なるチャンネルの画素に、異なる画像が割り当てられたキャリブレーション画像を所定の測定位置で撮像することで得られた測定画像に基づいて算出された、前記測定位置から画素のほぼ中央が観察される前記ブロック領域の前記表示部上の位置を測定境界位置とし、前記パラメータと前記測定位置に基づいて算出された、前記測定位置が前記ユーザの前記視点位置であるとしたときに前記ユーザにより画素のほぼ中央が観察される前記ブロック領域の前記表示部上の位置を理論境界位置として、複数の前記パラメータのうち、前記測定境界位置と前記理論境界位置の誤差が最小となる前記パラメータを保持する表示装置の表示方法またはプログラムであって、前記生成部が前記合成画像を生成し、前記表示部が前記合成画像を表示するステップを含む。
【００１４】
本技術の第１の側面においては、複数のチャンネルの画素からなるブロック領域が複数設けられた表示部と、前記ブロック領域内の各チャンネルの画素に表示された画像を分離させる分離部と、前記表示部と前記分離部の位置関係を示すパラメータを保持する保持部と、前記表示部を観察するユーザの視点位置と前記パラメータとに基づいて定められた、前記ブロック領域内の各チャンネルの画素への視差画像の割り当てにしたがって、複数の前記視差画像を合成し、合成画像を生成する生成部とを備え、前記保持部が、前記表示部に表示された、互いに隣接する異なるチャンネルの画素に、異なる画像が割り当てられたキャリブレーション画像を所定の測定位置で撮像することで得られた測定画像に基づいて算出された、前記測定位置から画素のほぼ中央が観察される前記ブロック領域の前記表示部上の位置を測定境界位置とし、前記パラメータと前記測定位置に基づいて算出された、前記測定位置が前記ユーザの前記視点位置であるとしたときに前記ユーザにより画素のほぼ中央が観察される前記ブロック領域の前記表示部上の位置を理論境界位置として、複数の前記パラメータのうち、前記測定境界位置と前記理論境界位置の誤差が最小となる前記パラメータを保持する表示装置において、前記生成部により前記合成画像が生成され、前記表示部により前記合成画像が表示される。
【００１５】
本技術の第２の側面の情報処理装置は、複数のチャンネルの画素からなるブロック領域が複数設けられた表示部と、前記ブロック領域内の各チャンネルの画素に表示された画像を分離させる分離部とを有する表示装置における、前記表示部と前記分離部の位置関係を示すパラメータを出力する情報処理装置であって、前記表示部に表示された、互いに隣接する異なるチャンネルの画素に、異なる画像が割り当てられたキャリブレーション画像を、所定の測定位置で撮像することで得られた測定画像に基づいて、前記測定位置から画素のほぼ中央が観察される前記ブロック領域の前記表示部上の位置を測定境界位置として算出する測定境界位置算出部と、前記パラメータと前記測定位置に基づいて、前記測定位置が前記表示部を観察するユーザの視点位置であるとしたときに前記ユーザにより画素のほぼ中央が観察される前記ブロック領域の前記表示部上の位置を理論境界位置として算出する理論境界位置算出部と、複数の前記パラメータのうち、前記測定境界位置と前記理論境界位置の誤差が最小となるものを、出力する前記パラメータとして選択する選択部とを備える。
【００１６】
前記測定境界位置算出部には、前記測定画像上における、同じチャンネルの画素が観察されている領域の重心位置を求めることで前記測定境界位置を算出させることができる。
【００１７】
前記選択部には、複数の前記測定位置について求められた前記誤差の和が最小となる前記パラメータを選択させることができる。
【００１８】
本技術の第２の側面の情報処理方法またはプログラムは、複数のチャンネルの画素からなるブロック領域が複数設けられた表示部と、前記ブロック領域内の各チャンネルの画素に表示された画像を分離させる分離部とを有する表示装置における、前記表示部と前記分離部の位置関係を示すパラメータを出力する情報処理方法またはプログラムであって、前記表示部に表示された、互いに隣接する異なるチャンネルの画素に、異なる画像が割り当てられたキャリブレーション画像を、所定の測定位置で撮像することで得られた測定画像に基づいて、前記測定位置から画素のほぼ中央が観察される前記ブロック領域の前記表示部上の位置を測定境界位置として算出し、前記パラメータと前記測定位置に基づいて、前記測定位置が前記表示部を観察するユーザの視点位置であるとしたときに前記ユーザにより画素のほぼ中央が観察される前記ブロック領域の前記表示部上の位置を理論境界位置として算出し、複数の前記パラメータのうち、前記測定境界位置と前記理論境界位置の誤差が最小となるものを、出力する前記パラメータとして選択するステップを含む。
【００１９】
本技術の第２の側面においては、複数のチャンネルの画素からなるブロック領域が複数設けられた表示部と、前記ブロック領域内の各チャンネルの画素に表示された画像を分離させる分離部とを有する表示装置における、前記表示部と前記分離部の位置関係を示すパラメータを出力する情報処理において、前記表示部に表示された、互いに隣接する異なるチャンネルの画素に、異なる画像が割り当てられたキャリブレーション画像を、所定の測定位置で撮像することで得られた測定画像に基づいて、前記測定位置から画素のほぼ中央が観察される前記ブロック領域の前記表示部上の位置が測定境界位置として算出され、前記パラメータと前記測定位置に基づいて、前記測定位置が前記表示部を観察するユーザの視点位置であるとしたときに前記ユーザにより画素のほぼ中央が観察される前記ブロック領域の前記表示部上の位置が理論境界位置として算出され、複数の前記パラメータのうち、前記測定境界位置と前記理論境界位置の誤差が最小となるものが、出力する前記パラメータとして選択される。
【発明の効果】
【００２０】
本技術の第１の側面および第２の側面によれば、より高品質な立体画像を提示することができる。
【図面の簡単な説明】
【００２１】
【図１】キャリブレーションシステムの一実施の形態の構成例を示す図である。
【図２】表示装置の構成例を示す図である。
【図３】表示部のより詳細な構成例を示す図である。
【図４】４視点の視差画像の立体表示について説明する図である。
【図５】開口部の各部の設計について説明する図である。
【図６】ユーザにより観察される画素のチャンネルについて説明する図である。
【図７】視認位置の算出について説明する図である。
【図８】視認位置の算出について説明する図である。
【図９】視差画像の割り当てについて説明する図である。
【図１０】境界位置の算出について説明する図である。
【図１１】立体表示できない視点位置について説明する図である。
【図１２】立体表示可能な領域について説明する図である。
【図１３】表示処理を説明するフローチャートである。
【図１４】視差画像の割り当てについて説明する図である。
【図１５】情報処理装置の構成例を示す図である。
【図１６】キャリブレーション処理を説明するフローチャートである。
【図１７】測定境界位置の算出について説明する図である。
【図１８】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００２２】
以下、図面を参照して、本技術を適用した実施の形態について説明する。
【００２３】
〈第１の実施の形態〉
［キャリブレーションシステムについて］
本技術は、パララックスバリア等の視差分離部を利用して裸眼方式により画像の立体表示を行なう表示装置について、視差分離部の固定位置に関するキャリブレーションを行なうことで、より高品質な立体画像を提示できるようにするものである。
【００２４】
図１は、本技術を適用したキャリブレーションシステムの一実施の形態の構成例を示す図である。
【００２５】
本技術のキャリブレーションシステムは、表示装置１１、撮像部１２、および情報処理装置１３から構成される。
【００２６】
表示装置１１は、裸眼方式により立体画像を表示する表示装置であり、表示装置１１を観察するユーザの視点位置に応じて立体画像の表示を制御する。ここで、立体画像は、複数視点の視差画像からなる。
【００２７】
また、表示装置１１は、情報処理装置１３から供給された貼り付けパラメータを記録している。貼り付けパラメータは、立体画像表示時において、異なる視点の視差画像を光学的に分離する視差分離部としてのバリア素子の固定位置に関するパラメータであり、立体画像の表示制御に用いられる。
【００２８】
具体的には、立体画像の表示時には、ユーザの視点位置と貼り付けパラメータとに基づいて、表示装置１１の表示部の各領域に複数の視点の視差画像のうちの何れかが割り当てられる。そして、その割り当てにしたがって視差画像が表示されることで、ユーザの眼には、立体画像が観察されるようになる。
【００２９】
さらに、キャリブレーションシステムでは、表示装置１１が保持している貼り付けパラメータのキャリブレーションが行なわれる。
【００３０】
キャリブレーション時には、表示装置１１は、予め定められた画像（以下、キャリブレーション画像とも称する）を表示し、撮像部１２は、表示装置１１に表示されたキャリブレーション画像を撮像して情報処理装置１３に供給する。
【００３１】
情報処理装置１３は、撮像部１２から供給された、キャリブレーション画像を被写体として撮像された画像（以下、測定画像とも称する）と、撮像部１２の位置（以下、測定位置とも称する）とに基づいて、より確からしい貼り付けパラメータを算出する。
【００３２】
情報処理装置１３は、算出した貼り付けパラメータを表示装置１１に供給し、保持させる。表示装置１１は、このようにして情報処理装置１３から供給された貼り付けパラメータを用いることで、ユーザの視点位置に対して、より適切に視差画像の割り当てを行なうことができる。これにより、クロストークの少ない、より高品質な立体画像を提示することができるようになる。
【００３３】
［表示装置の構成例］
まず、図１の表示装置１１について説明する。
【００３４】
図２は、表示装置１１のより詳細な構成例を示す図である。表示装置１１は、撮像部２１、検出部２２、割り当て制御部２３、記録部２４、生成部２５、表示制御部２６、表示部２７、および取得部２８から構成される。
【００３５】
撮像部２１は、表示装置１１周辺のユーザの画像、例えば表示部２７のほぼ正面から、表示部２７に表示された画像を観察するユーザの画像（以下、周辺画像と称する）を撮像し、検出部２２に供給する。
【００３６】
検出部２２は、撮像部２１から供給された周辺画像からユーザの眼を検出し、その検出結果を割り当て制御部２３に供給する。また、検出部２２は、視点位置算出部３１を備えており、視点位置算出部３１は、周辺画像に基づいて、表示部２７に対するユーザの視点位置を算出し、割り当て制御部２３に供給する。
【００３７】
割り当て制御部２３は、検出部２２からの検出結果やユーザの視点位置に基づいて、表示部２７の表示面上の各領域に、複数の視差画像を割り当てる。割り当て制御部２３は、判定部３２、視認位置算出部３３、境界位置算出部３４、およびパラメータ保持部３５を備えている。
【００３８】
判定部３２は、検出部２２からの視点位置に基づいて、複数の視差画像による被写体の立体表示（３Ｄ表示）が可能か否かを判定し、割り当て制御部２３は、その判定結果に応じて生成部２５での画像生成を制御する。
【００３９】
視認位置算出部３３は、検出部２２からの視点位置と、パラメータ保持部３５に保持されている貼り付けパラメータとに基づいて、ユーザにより視認されている表示部２７の表示面上の画素内の位置を視認位置として算出する。境界位置算出部３４は、視認位置に基づいて、表示部２７の表示面上の各領域に複数の視差画像を割り当てる。パラメータ保持部３５は、取得部２８から供給された貼り付けパラメータを保持（記録）する。
【００４０】
記録部２４は、キャリブレーション画像や、立体画像を構成する複数の視差画像を記録しており、必要に応じてキャリブレーション画像や視差画像を生成部２５に供給する。
【００４１】
生成部２５は、割り当て制御部２３の制御にしたがって、記録部２４からの視差画像に基づいて、それらの視差画像を空間分割して合成した合成画像を生成し、表示制御部２６に供給する。また、生成部２５は、割り当て制御部２３の制御にしたがって、記録部２４からの視差画像のうちの何れかを、そのまま表示制御部２６に供給したり、記録部２４からのキャリブレーション画像を表示制御部２６に供給したりする。
【００４２】
表示制御部２６は、生成部２５からの合成画像を表示部２７に供給して表示させることで、視差画像上の被写体を立体表示させたり、生成部２５からの視差画像やキャリブレーション画像を表示部２７に供給して表示させたりする。表示部２７は、裸眼方式により立体画像を表示可能な液晶表示パネルなどからなり、表示制御部２６から供給された合成画像や視差画像、キャリブレーション画像を表示する。
【００４３】
取得部２８は、情報処理装置１３から貼り付けパラメータを取得し、割り当て制御部２３のパラメータ保持部３５に供給する。
【００４４】
［表示部の構成例］
また、図２の表示部２７は、例えば図３に示すように構成される。
【００４５】
すなわち、表示部２７は、バックライト６１、光変調パネル６２、およびバリア素子６３から構成される。
【００４６】
バックライト６１は、例えばＬＥＤ（Light Emitting Diode）光源や導光板などからなり、画像を表示させるための光を射出し、光変調パネル６２に入射させる。
【００４７】
光変調パネル６２は、例えば液晶層やＲ，Ｇ，Ｂの各色のカラーフィルタなどからなり、バックライト６１から入射した光を透過させることで、画像を表示させる。このとき、光変調パネル６２は、光変調パネル６２に設けられた画素ごとに、光の透過率を変化させることで、画像の各画素の階調表示を行なう。
【００４８】
より詳細には、光変調パネル６２は、透明基板７１、透明基板７２、および液晶層７３を備えており、液晶層７３は、互いに対向するように配置された平板状の透明基板７１と透明基板７２の間に形成されている。液晶層７３には、画像が表示される画素としての透過部が設けられており、画像の表示時において、透明基板７１と透明基板７２に設けられている電極に電圧が印加されると、バックライト６１から透過部に入射した光の透過率が印加された電圧に応じて変化する。
【００４９】
また、バリア素子６３は、偏光板やスイッチ液晶層などからなり、光変調パネル６２から入射した光の一部を遮光し、残りの一部を透過させることで、各視差画像を光学的に分離させる。バリア素子６３は、透明基板７４、透明基板７５、およびスイッチ液晶層７６を備えており、スイッチ液晶層７６は、互いに対向するように配置された平板状の透明基板７４と透明基板７５の間に形成されている。
【００５０】
透明基板７４と透明基板７５には、電極が形成されており、これらの電極の一部または全部に電圧が印加されると、スイッチ液晶層７６内の液晶分子の配向方向が変化し、これにより、スイッチ液晶層７６にはパララックスバリアが形成される。
【００５１】
図３の例では、光変調パネル６２から入射した光を透過させる開口部８１−１乃至開口部８１−３と、光変調パネル６２から入射した光を遮光する遮蔽部８２−１乃至遮蔽部８２−３とからなるパララックスバリアが、スイッチ液晶層７６に形成されている。
【００５２】
なお、以下、開口部８１−１乃至開口部８１−３を特に区別する必要のない場合、単に開口部８１とも称し、遮蔽部８２−１乃至遮蔽部８２−３を特に区別する必要のない場合、単に遮蔽部８２とも称する。また、被写体を立体表示する合成画像が光変調パネル６２に表示される場合には、バリア素子６３にパララックスバリアが形成されるが、２Ｄ画像である視差画像が光変調パネル６２に表示される場合には、バリア素子６３にパララックスバリアは形成されない。
【００５３】
図３のように構成される表示部２７では、ユーザはバリア素子６３側から光変調パネル６２に表示される画像を観察する。特に、合成画像の表示時には、バックライト６１から射出され、光変調パネル６２およびバリア素子６３を透過した光が、ユーザの右眼ＥＲまたは左眼ＥＬに入射する。このとき、ユーザの右眼ＥＲと左眼ＥＬには、バリア素子６３で分離された異なる光が入射するので、右眼ＥＲと左眼ＥＬで互いに視差を有する異なる視差画像が観察される。
【００５４】
なお、図３では、視差画像を光学的に分離する分離部の例としてバリア素子６３について説明したが、分離部はパララックスバリアに限らず、レンチキュラレンズなどとされてもよい。また、分離部としてのパララックスバリアは、可変式のバリアに限らず、遮蔽板等に開口部が設けられた固定式のバリアとされてもよい。
【００５５】
さらに、バリア素子６３は、光変調パネル６２とバックライト６１の間に配置されるようにしてもよい。
【００５６】
［適視距離からの立体画像の観察について］
ところで、表示装置１１に４つの異なる視点の視差画像を合成して得られた合成画像を表示し、ユーザが表示部２７から所定の距離だけ離れた位置から表示部２７を観察する場合について考える。
【００５７】
例えば図４に示すように、ユーザの右眼ＥＲと左眼ＥＬの中間位置をユーザの視点位置とし、ユーザの視点位置がバリア素子６３の表面から距離Ｚ０（以下、適視距離Ｚ０と称する）だけ離れた位置にあるとする。また、右眼ＥＲと左眼ＥＬとの距離（以下、眼間距離Ｅと称する）が６５ｍｍであるとする。なお、一般的な大人の眼間距離は約６５ｍｍである。
【００５８】
また、光変調パネル６２の表示面上には、４つの視点の視差画像のそれぞれが表示される画素である、チャンネルＣＨ０乃至チャンネルＣＨ３の４つの各チャンネルの画素からなるブロック領域が、図中、横方向に並ぶように設けられている。
【００５９】
なお、図４では、光変調パネル６２における１つの四角形は１つの画素を表しており、それらの画素の図中、下側には、各画素が属すチャンネルの番号が示されている。また、図中、横方向および縦方向をそれぞれｘ方向およびｙ方向とし、ｘ方向およびｙ方向に垂直な方向をｚ方向とする。ここで、ｘ方向はユーザの右眼ＥＲと左眼ＥＬが並ぶ方向、つまり光変調パネル６２に表示される視差画像の視差方向であり、ｙ方向は光変調パネル６２の表示面と垂直な方向である。
【００６０】
図４では、ブロック領域内において、図中、右側から左側までチャンネルＣＨ０の画素、チャンネルＣＨ１の画素、チャンネルＣＨ２の画素、およびチャンネルＣＨ３の画素が順番に並んでいる。
【００６１】
また、ブロック領域において、例えばｚ方向には、同じチャンネルの画素が並んでいる。そして、光変調パネル６２の表示面上には、このようなブロック領域がｘ方向に連続して並んでいる。以下、１つのブロック領域内において、同じチャンネルの画素からなる領域をチャンネル領域とも称することとする。
【００６２】
また、バリア素子６３には、１つのブロック領域に対して、パララックスバリアを構成する１つの開口部８１が設けられている。したがって、視点Ｐ０乃至視点Ｐ３の視差画像のそれぞれが、チャンネルＣＨ０乃至チャンネルＣＨ３の画素のそれぞれに表示されると、それらの各視点の視差画像は、バリア素子６３により光学的に分離される。
【００６３】
すなわち、バリア素子６３から適視距離Ｚ０だけ離れたｘｚ平面上において、チャンネルＣＨ３の各画素から射出され、開口部８１を通過した光は領域ＣＲ０に到達し、チャンネルＣＨ２の各画素から射出され、開口部８１を通過した光は領域ＣＲ１に到達する。同様に、チャンネルＣＨ１の各画素から射出され、開口部８１を通過した光は領域ＣＲ２に到達し、チャンネルＣＨ０の各画素から射出され、開口部８１を通過した光は領域ＣＲ３に到達する。
【００６４】
なお、図中、上側においてｘ方向に並ぶ数字０乃至数字３は、その数字が記された領域に到達する光が発せられた画素のチャンネル番号を示している。例えば、領域ＣＲ０の図中、上側に記された数字「３」は、領域ＣＲ０には、チャンネルＣＨ３の画素からの光が到達することを表している。
【００６５】
ここで、領域ＣＲ０乃至領域ＣＲ３の各領域のｘ方向の幅は眼間距離Ｅ（＝６５ｍｍ）となる。したがって、バリア素子６３から適視距離Ｚ０だけ離れたｘｚ平面上に位置するユーザの左右の眼には、１視点分だけずれた異なる視点の視差画像が観察されることになる。例えば、図４の例では、ユーザの右眼ＥＲは領域ＣＲ２内に位置し、左眼ＥＬは領域ＣＲ１内に位置するから、ユーザの右眼ＥＲおよび左眼ＥＬには、それぞれ視点Ｐ１の視差画像、および視点Ｐ２の視差画像が観察されることになる。その結果、ユーザにそれらの視差画像上の被写体が立体的に知覚される。
【００６６】
また、例えばこの状態からユーザの視点位置が図中、左方向に眼間距離Ｅだけ移動すると、ユーザの右眼ＥＲおよび左眼ＥＬには、それぞれ視点Ｐ０の視差画像、および視点Ｐ１の視差画像が観察されることになる。
【００６７】
［パララックスバリアの設計について］
このように、適視距離Ｚ０だけ離れた位置から表示部２７を観察するユーザに、各開口部８１を介して同じチャンネルの画素が視認されるようにするには、開口部８１間の距離や、開口部８１から光変調パネル６２までの距離などを適切に定める必要がある。
【００６８】
例えば、図４の例では、ユーザの左右の眼には、光変調パネル６２上の互いに隣接する画素が開口部８１を介して観察される。このような場合、適視距離Ｚ０＝９００ｍｍであるとすると、図５に示すように、開口部８１から光変調パネル６２までの距離Ｄ１と、開口部８１間の距離Ｄ２が定められる。なお、図中、横方向および縦方向はｘ方向およびｙ方向を示している。
【００６９】
図５の左側において、開口部８１の中心を通るｙ方向に平行な直線を直線Ａ１１とし、ユーザの片方の眼が点ＰＥ１１にあるとする。ここで、点ＰＥ１１は、直線Ａ１１からｘ方向に距離Ｘ１だけ離れており、かつ開口部８１からｙ方向に適視距離Ｚ０だけ離れた位置にある。また、バリア素子６３の図中、下側にある各四角形は、光変調パネル６２上の画素を表している。
【００７０】
例えば、図中、左側に示すようにユーザの眼の位置ＰＥ１１から、開口部８１を介して１つの画素Ｇ１１が視認されるとする。各画素間の距離をＤ３とすると、この画素Ｇ１１の中心は、直線Ａ１１から（Ｄ３）／２だけ離れた位置にある。
【００７１】
ここで、バリア素子６３から光変調パネル６２の各画素までの間がガラス材で満たされており、点ＰＥ１１からこのガラス材へと進む光の相対屈折率がｋ１であるとすると、Ｘ１：Ｚ０＝（Ｄ３）／２：Ｄ１／ｋ１であるので、Ｄ１＝Ｚ０×（（Ｄ３）／２）×ｋ１／Ｘ１となる。例えば、Ｚ０＝900mm，Ｄ３＝0.05435mm，Ｘ１＝32.5mm，ｋ１＝1.5であるとすると、これらの値からＤ１＝900×（（0.05435）/2）×1.5／32.5＝1.1288mmとなる。
【００７２】
また、図中、右側に示すように、ユーザの眼が直線Ａ１１上の点ＰＥ１２にあるとする。この場合、光変調パネル６２は４視点用であるから、点ＰＥ１２から図中、左側の開口部８１を介して見える光変調パネル６２の位置と、その開口部８１の右側に隣接する開口部８１を介して見える光変調パネル６２の位置とは４画素分だけ離れているはずである。
【００７３】
したがって、Ｚ０：Ｄ２＝（Ｚ０＋（Ｄ１／ｋ１））：４×Ｄ３が成立するので、Ｄ２＝Ｚ０×Ｄ３×４／（Ｚ０＋（Ｄ１／ｋ１））により、開口部８１間の距離Ｄ２が求まる。ここで、Ｚ０＝900mm，Ｄ３＝0.05435mm，Ｄ１＝1.1288mm，ｋ１＝1.5であるとすると、これらの値からＤ２＝900×0.05435×4／（900＋（1.1288/1.5））＝0.2172184mmとなる。
【００７４】
表示装置１１のパラメータ保持部３５には、開口部８１から光変調パネル６２までの距離Ｄ１や、開口部８１間の距離Ｄ２、光変調パネル６２に対する各開口部８１のｘ方向の位置など、バリア素子６３の位置関係に関する値が貼り付けパラメータとして保持されている。なお、以下では、説明を簡単にするため、貼り付けパラメータは、開口部８１から光変調パネル６２までの距離Ｄ１のみであるものとして説明を続ける。
【００７５】
［適視距離の半分の距離からの観察について］
ところで、ユーザの視点位置が、表示部２７からｙ方向に上述した適視距離の半分の距離Ｚ０／２だけ離れた位置にあるとする。そのような場合、ユーザの右眼と左眼により視認されるブロック領域内の画素は、２画素分の距離だけ離れた位置にある画素となる。
【００７６】
したがって、例えばユーザの右眼ＥＲから所定の開口部８１を介してブロック領域のチャンネルＣＨ１の画素が見えている状態では、ユーザの左眼ＥＬからは、同じ開口部８１を介してブロック領域のチャンネルＣＨ３の画素が見える。
【００７７】
そこで、例えば表示装置１１に表示させる立体画像が２視点の視差画像、つまり右眼用と左眼用の視差画像からなるものとし、これらの視差画像を表示部２７に表示させる場合について考える。
【００７８】
このように右眼用と左眼用の視差画像を表示部２７に表示させる場合に、各チャンネルの画素に適切に右眼用または左眼用の視差画像を表示させ、ユーザが適視距離Ｚ０の約半分の距離から視差画像を観察すれば、クロストークの発生を抑制することができる。
【００７９】
例えば、図４に示した状態では、ユーザの右眼ＥＲはチャンネルＣＨ１の画素を観察しており、ユーザの左眼ＥＬはチャンネルＣＨ２の画素を観察している。この状態から、例えばユーザが図４中、右方向にわずかに移動したとする。そうすると、チャンネルＣＨ１の画素とチャンネルＣＨ２の画素は互いに隣接しているから、ユーザの右眼ＥＲには、これまで見えていたチャンネルＣＨ１の画素だけでなく、左眼ＥＬで見えていたチャンネルＣＨ２の画素も見えてしまい、クロストークが発生する。すなわち、左右の視差画像上の被写体が２重に見えてしまう。
【００８０】
これに対して、例えばユーザが適視距離Ｚ０の約半分の距離から表示部２７を観察している状態で、図４中、光変調パネル６２の中央にあるブロック領域のチャンネルＣＨ１に右眼用の視差画像を表示させ、同じブロック領域のチャンネルＣＨ３に左眼用の視差画像を表示させたとする。
【００８１】
この場合、ユーザの右眼ＥＲには右眼用の視差画像が観察され、ユーザの左眼ＥＬには左眼用の視差画像が観察されることになる。この状態からユーザが図中、右方向にわずかに移動しても、チャンネルＣＨ１とチャンネルＣＨ３の画素は２画素分だけ離れているので、ユーザの右眼ＥＲに左眼用の視差画像が観察されることはない。
【００８２】
さらに、ユーザの視点位置の移動に応じて、クロストークが発生する前に各チャンネルの画素における視差画像の表示の切り替えを行なえば、各領域における左右の視差画像の表示の切り替えをユーザに感じさせることなく、より自然な画像の提示が可能となる。
【００８３】
このように、ユーザの視点位置に応じて、各チャンネルの画素に適切に右眼用または左眼用の視差画像を表示させ、ユーザが通常の適視距離の約半分の距離から観察すれば、クロストークの発生を抑制し、より高品質な画像を提示することが可能である。以下、このような立体画像の表示方式を、半視距離表示方式と称することとする。
【００８４】
［半視距離表示方式における表示制御について］
次に、左眼用と右眼用の視差画像に基づいて、半視距離表示方式により立体画像を表示させる具体的な制御について説明する。
【００８５】
例えば、図６に示すように、ユーザが所定の位置にいる場合に、ユーザの右眼に光変調パネル６２の図中、左端の領域Ｂ１１内のチャンネルＣＨ２の画素が視認されているとする。また、光変調パネル６２の領域Ｂ１２、領域Ｂ１３、および領域Ｂ１４では、それぞれユーザの右眼によりチャンネルＣＨ１の画素、チャンネルＣＨ０の画素、およびチャンネルＣＨ３の画素が視認されているとする。
【００８６】
この場合、光変調パネル６２の領域Ｂ１１乃至領域Ｂ１４では、ユーザの左眼には、それぞれチャンネルＣＨ０の画素、チャンネルＣＨ３の画素、チャンネルＣＨ２の画素、およびチャンネルＣＨ１の画素が視認される。
【００８７】
なお、これらの領域Ｂ１１乃至領域Ｂ１４は、複数のブロック領域からなる領域である。このような状態で、表示装置１１は領域Ｂ１１乃至領域Ｂ１４について、それらの領域内のブロック領域のうち、ユーザにより視認される画素からの光の輝度が最も高くなるブロック領域の位置を特定し、それらの位置を境界位置ＬＢ１１乃至境界位置ＬＢ１４とする。
【００８８】
すなわち、境界位置ＬＢ１１は、領域Ｂ１１内のブロック領域のうち、視認される画素からの光の輝度が最も高いブロック領域の位置である。同様に、境界位置ＬＢ１２乃至境界位置ＬＢ１４のそれぞれは、領域Ｂ１２乃至領域Ｂ１４のそれぞれにあるブロック領域のうち、視認される画素からの光の輝度が最も高いブロック領域のそれぞれの位置である。
【００８９】
このようにして境界位置が特定されると、表示装置１１は光変調パネル６２上の境界位置ＬＢ１１乃至境界位置ＬＢ１４により分割される各領域に対して、各チャンネルへの左右の視差画像の割り当てを行なう。
【００９０】
具体的には、領域Ｂ１１の左端から境界位置ＬＢ１１までの間にある各ブロック領域では、チャンネルＣＨ２とチャンネルＣＨ３の画素に右眼用の視差画像が割り当てられ、チャンネルＣＨ０とチャンネルＣＨ１の画素に左眼用の視差画像が割り当てられる。
【００９１】
同様に、境界位置ＬＢ１１から境界位置ＬＢ１２までの間にある各ブロック領域では、チャンネルＣＨ１とチャンネルＣＨ２の画素に右眼用の視差画像が割り当てられ、チャンネルＣＨ０とチャンネルＣＨ３の画素に左眼用の視差画像が割り当てられる。また、境界位置ＬＢ１２から境界位置ＬＢ１３までの間にある各ブロック領域では、チャンネルＣＨ０とチャンネルＣＨ１の画素に右眼用の視差画像が割り当てられ、チャンネルＣＨ２とチャンネルＣＨ３の画素に左眼用の視差画像が割り当てられる。
【００９２】
さらに、境界位置ＬＢ１３から境界位置ＬＢ１４までの間にある各ブロック領域では、チャンネルＣＨ０とチャンネルＣＨ３の画素に右眼用の視差画像が割り当てられ、チャンネルＣＨ１とチャンネルＣＨ２の画素に左眼用の視差画像が割り当てられる。また、境界位置ＬＢ１４から領域Ｂ１４の右端までの間にある各ブロック領域では、チャンネルＣＨ２とチャンネルＣＨ３の画素に右眼用の視差画像が割り当てられ、チャンネルＣＨ０とチャンネルＣＨ１の画素に左眼用の視差画像が割り当てられる。
【００９３】
そして、このようなブロック領域における各チャンネルへの視差画像の割り当てにしたがって合成画像が生成され、生成された合成画像が光変調パネル６２に表示される。
【００９４】
さらに、この状態からユーザの視点位置が移動すると、各ブロック領域内でユーザにより視認される画素のチャンネルが変化するので、視点位置の変化に追従して境界位置ＬＢ１１乃至境界位置ＬＢ１４の位置も移動する。そして、境界位置ＬＢ１１乃至境界位置ＬＢ１４の移動に応じて、ブロック領域内の各チャンネルの画素に対する視差画像の割り当てが変更される。
【００９５】
なお、以下、光変調パネル６２において、連続して並ぶいくつかのブロック領域からなる領域であって、同じチャンネルの画素に同じ視差画像が割り当てられるブロック領域からなる領域を、連続ブロック領域とも称することとする。
【００９６】
例えば、図６の例では、境界位置ＬＢ１１から境界位置ＬＢ１２までの間にある各ブロック領域からなる領域や、境界位置ＬＢ１２から境界位置ＬＢ１３までの間にある各ブロック領域からなる領域が１つの連続ブロック領域とされる。つまり、図６では、境界位置ＬＢ１１乃至境界位置ＬＢ１４のそれぞれが、連続ブロック領域の境界となる。
【００９７】
ところで、連続ブロック領域の境界位置は、ユーザにより視認される画素からの光の輝度が最も高くなるブロック領域の位置である。ここで、輝度が最も高くなるブロック領域とは、ユーザにより画素の略中央が視認されているブロック領域である。
【００９８】
表示部２７の端部では、バリア素子６３と光変調パネル６２との間にあるガラスの見かけ上の厚みが薄くなるという現象が起こることが知られている。そのため、ユーザの視点位置に基づいて、連続ブロック領域の境界位置を求める場合には、光の入射角と屈折角の厳密式を用いて、ブロック領域ごとにどのチャンネルの画素のどの位置がユーザにより視認されているかを正確に求めることが望ましい。
【００９９】
例えば、図７に示すように、所定の光線Ｈ１１が空気中を通って、厚さＤ２１のガラス材に入射し、光変調パネル６２の表面に到達したとする。また、光線Ｈ１１のガラス材への入射位置を通り、ガラス材の表面に垂直な直線を直線Ａ２１とする。
【０１００】
このとき、空気中を伝播する光線Ｈ１１のガラス材への入射角度Ｔ１に対して、光線Ｈ１１のガラス材への入射後の光路と、直線Ａ２１とのなす角度Ｔ２は、光線Ｈ１１が空気中からガラス材へと進むときの相対屈折率ｋ１１と入射角度Ｔ１とから求まる。すなわち、角度Ｔ２＝asin（sin(T1/k11)）である。
【０１０１】
また、角度Ｔ２が求まると、ガラス材の見かけの厚みＤ２２と角度Ｔ２とにより、直線Ａ２１から、光線Ｈ１１の光変調パネル６２の表面への入射位置までの距離ｘ１１が求まる。すなわち、距離ｘ１１＝Ｄ２２×ｔａｎ（Ｔ２）である。
【０１０２】
このようにして距離ｘ１１を求めることで、各ブロック領域について、ユーザにより視認される画素上の正確な位置（以下、画素の視認位置とも称する）を求めることができる。
【０１０３】
具体的には、例えば図８に示すように、図中、横方向、つまり光変調パネル６２の表示面と平行な方向をｘ方向とし、図中、縦方向、つまり光変調パネル６２の表示面と垂直な方向をｙ方向として、ｘｙ座標系上の所定位置がユーザの眼の位置ＣＰであるとする。
【０１０４】
また、バリア素子６３の中央にある開口部８１を０番目の開口部８１として、その開口部８１から図中、左方向にｎ番目にある開口部８１をｎ番目の開口部８１とし、０番目の開口部８１から図中、右方向にｎ番目にある開口部８１を−ｎ番目の開口部８１とする。
【０１０５】
ここで、ｎ番目の開口部８１（以下、番号ｎの開口部８１とも称する）について、その開口部８１からユーザによりブロック領域内のどのチャンネルの画素が視認されるかを求めることを考える。まず、位置ＣＰの座標と、開口部８１の中心位置の座標とから、位置ＣＰからの光線のｎ番目の開口部８１への入射角度Ｔ１１が求まる。すなわち、入射角度Ｔ１１は、ｙ方向に平行な直線Ｌ２１と、位置ＣＰからの光線とのなす角度である。
【０１０６】
入射角度Ｔ１１が求まると、位置ＣＰから開口部８１に入射し、光変調パネル６２へと進む光線、つまりその光線の光路を示す直線Ｌ２２と、直線Ｌ２１とのなす角度Ｔ１２が求まる。すなわち、図７を参照して説明したように、入射角度Ｔ１１と、開口部８１から光変調パネル６２の画素までの間のガラス材の屈折率ｋ１１とから、角度Ｔ１２＝asin（sin(T11/k11)）が求まる。
【０１０７】
すると、直線Ｌ２２を表す式（例えば、ｙ＝ａｘ＋ｂ）が求まるので、光線の光路を表す直線Ｌ２２が光変調パネル６２の画素と交わる点の座標を求めれば、どのチャンネルの画素のどの位置がユーザにより視認されるかを求めることができる。
【０１０８】
なお、直線Ｌ２２と光変調パネル６２の画素との交点の位置の座標の算出には、上述した貼り付けパラメータとしての距離Ｄ１、つまり開口部８１から光変調パネル６２までのｙ方向の距離が用いられる。この場合、より正確な貼り付けパラメータを用いれば、より高精度に直線Ｌ２２と光変調パネル６２の画素との交点位置を求めることができる。
【０１０９】
図８では、位置ＣＰからの光線は、画素Ｇ３１に到達しており、この画素Ｇ３１がユーザにより視認されることが分かる。
【０１１０】
また、ユーザにより視認される画素内の位置、つまり画素におけるユーザの視認位置は、画素の中心位置が０とされて、−０．５から０．５までの間の値とされる。例えば、画素の図中、右端の位置が−０．５とされ、画素の図中、左端の位置が０．５とされる。
【０１１１】
このようにして、ユーザの右眼と左眼について、ブロック領域（開口部８１）ごとにユーザにより視認される画素（以下、視認画素とも称する）のチャンネルｍと、その視認画素上の視認位置とを求めると、例えば図９の右側に示す結果が得られる。
【０１１２】
なお、図９の右側において、横軸は開口部８１の番号ｎを示しており、縦軸は視認画素のチャンネル番号または視認位置を示している。
【０１１３】
図９では、折れ線Ｃ１１は、ユーザの右眼から見える各ブロック領域の視認画素のチャンネル番号を示しており、折れ線Ｃ１２は、ユーザの右眼から見える各ブロック領域の視認画素における視認位置を示している。
【０１１４】
ここで０番目の開口部８１から、ｎ番目（但し、１≦ｎ）の開口部８１に向かう方向を＋ｘ方向とし、＋ｘ方向と反対方向を−ｘ方向とする。この場合、例えば０番目の開口部８１に対して＋ｘ方向側に隣接するいくつかの開口部８１を観察するユーザの右眼には、それらの開口部８１を介してチャンネルＣＨ１の画素が視認されることが分かる。また、チャンネルＣＨ１の画素が視認される連続して並ぶ開口部８１のほぼ中央にある開口部８１では、その開口部８１を介して、チャンネルＣＨ１の画素のほぼ中央が、ユーザの右眼で観察されていることが分かる。
【０１１５】
このような折れ線Ｃ１１から、矢印Ｑ２１に示すように、光変調パネル６２の表示面上の各領域において、ユーザの右眼によりどのチャンネルの画素が観察されるかが分かる。なお、矢印Ｑ２１に示される横長の四角形は、ユーザから見える光変調パネル６２の表示面全体を表しており、その四角形内の縦長の長方形内の数字は、その長方形の領域を観察するユーザの右眼により視認される画素のチャンネル番号を示している。
【０１１６】
したがって、光変調パネル６２の表示面の図中、右端の領域、つまり＋ｘ方向側の端の領域では、ユーザの右眼にはチャンネルＣＨ２の画素が観察され、その領域に対して図中、左側に隣接する領域では、ユーザの右眼にはチャンネルＣＨ１の画素が観察される。また、光変調パネル６２の表示面の中央からやや−ｘ方向側に位置する領域では、ユーザの右眼にはチャンネルＣＨ０の画素が観察され、その領域の左側に隣接する領域では、ユーザの右眼にはチャンネルＣＨ３の画素が観察される。
【０１１７】
また、折れ線Ｃ１２から、ユーザの右眼位置から見た各視認画素の視認位置が分かるので、視認位置が０となるブロック領域（開口部８１）の位置を連続ブロック領域の境界位置とすれば、矢印Ｑ２１に示すように境界位置ＬＢ５１乃至境界位置ＬＢ５４が定まる。
【０１１８】
境界位置ＬＢ５１乃至境界位置ＬＢ５４により分割されて得られる各連続ブロック領域では、その連続ブロック領域内で視認画素とされる２つのチャンネルの画素に、右眼用の視差画像が割り当てられる。
【０１１９】
すなわち、例えば光変調パネル６２の−ｘ方向側の端から境界位置ＬＢ５１までの間にある各ブロック領域では、チャンネルＣＨ２とチャンネルＣＨ３の画素に、右眼用の視差画像が割り当てられる。また、境界位置ＬＢ５１から境界位置ＬＢ５２までの間では、チャンネルＣＨ０とチャンネルＣＨ３の画素に右眼用の視差画像が割り当てられ、境界位置ＬＢ５２から境界位置ＬＢ５３までの間では、チャンネルＣＨ０とチャンネルＣＨ１の画素に右眼用の視差画像が割り当てられる。
【０１２０】
さらに、境界位置ＬＢ５３から境界位置ＬＢ５４までの間では、チャンネルＣＨ１とチャンネルＣＨ２の画素に右眼用の視差画像が割り当てられ、境界位置ＬＢ５４から光変調パネル６２の＋ｘ方向側の端までの間では、チャンネルＣＨ２とチャンネルＣＨ３の画素に右眼用の視差画像が割り当てられる。
【０１２１】
右眼における場合と同様に、図９において、折れ線Ｃ１３は、ユーザの左眼から見える各ブロック領域の視認画素のチャンネル番号を示しており、折れ線Ｃ１４は、ユーザの左眼から見える各ブロック領域の視認画素における視認位置を示している。例えば、０番目の開口部８１に対して＋ｘ方向側に隣接するいくつかの開口部８１を観察するユーザの左眼には、それらの開口部８１を介してチャンネルＣＨ３の画素が視認されることが分かる。
【０１２２】
このような折れ線Ｃ１３から、矢印Ｑ２２に示すように、光変調パネル６２の表示面上の各領域において、ユーザの左眼によりどのチャンネルの画素が観察されるかが分かる。なお、矢印Ｑ２２に示される横長の四角形は、光変調パネル６２の表示面全体を表しており、その四角形内の縦長の長方形内の数字は、その長方形の領域を観察するユーザの左眼により視認される画素のチャンネル番号を示している。
【０１２３】
したがって、光変調パネル６２の表示面の図中、右端の領域から左端の領域まで順番に、ユーザの左眼によって、チャンネルＣＨ０、チャンネルＣＨ３、チャンネルＣＨ２、およびチャンネルＣＨ１の画素が観察される領域が並んでいることが分かる。
【０１２４】
また、折れ線Ｃ１４から、ユーザの左眼位置から見た各視認画素の視認位置が分かるので、視認位置が０となるブロック領域（開口部８１）の位置を連続ブロック領域の境界位置とすれば、矢印Ｑ２２に示すように境界位置ＬＢ６１乃至境界位置ＬＢ６４が定まる。
【０１２５】
境界位置ＬＢ６１乃至境界位置ＬＢ６４により分割されて得られる各連続ブロック領域では、その連続ブロック領域内で視認画素とされる２つのチャンネルの画素に、左眼用の視差画像が割り当てられる。
【０１２６】
すなわち、光変調パネル６２の−ｘ方向側の端から境界位置ＬＢ６１までの間にある各ブロック領域では、チャンネルＣＨ０とチャンネルＣＨ１の画素に、左眼用の視差画像が割り当てられる。また、境界位置ＬＢ６１から境界位置ＬＢ６２までの間では、チャンネルＣＨ１とチャンネルＣＨ２の画素に左眼用の視差画像が割り当てられ、境界位置ＬＢ６２から境界位置ＬＢ６３までの間では、チャンネルＣＨ２とチャンネルＣＨ３の画素に左眼用の視差画像が割り当てられる。
【０１２７】
さらに、境界位置ＬＢ６３から境界位置ＬＢ６４までの間では、チャンネルＣＨ０とチャンネルＣＨ３の画素に左眼用の視差画像が割り当てられ、境界位置ＬＢ６４から光変調パネル６２の＋ｘ方向側の端までの間では、チャンネルＣＨ０とチャンネルＣＨ１の画素に左眼用の視差画像が割り当てられる。
【０１２８】
このように、各開口部８１（ブロック領域）について、視認画素のチャンネル番号と、その視認画素における視認位置とが求まると、連続ブロック領域の境界位置が定まる。これにより、各連続ブロック領域に属すブロック領域ごとに、左右の視差画像を割り当てるチャンネルが定まる。
【０１２９】
但し、連続ブロック領域の境界位置は、右眼から見たときの境界位置と、左眼から見たときの境界位置とが同じ位置となるのが理想的であるが、実際にはユーザの右眼と左眼の位置は異なる位置にあるので、それらの境界位置にずれが生じる。
【０１３０】
例えば、ユーザの視点位置が番号０の開口部８１の略正面に位置し、かつ表示部２７から視点位置までの距離が適視距離Ｚ０の略半分である場合でも、図１０に示すようにユーザの右眼と左眼を基準とした境界位置のずれは、中央から離れた位置ほど大きくなる。
【０１３１】
なお、図１０において、横軸は開口部８１の番号ｎを示しており、縦軸は視認画素のチャンネル番号または視認位置を示している。
【０１３２】
図１０では、折れ線Ｃ２１は、ユーザの右眼から見える各ブロック領域の視認画素のチャンネル番号を示しており、折れ線Ｃ２２は、ユーザの右眼から見える各ブロック領域の視認画素における視認位置を示している。また、直線ＬＢ７１乃至直線ＬＢ７４は、それぞれ折れ線Ｃ２２から定まる連続ブロック領域の境界位置を示している。
【０１３３】
さらに、折れ線Ｃ２３は、ユーザの左眼から見える各ブロック領域の視認画素のチャンネル番号を示しており、折れ線Ｃ２４は、ユーザの左眼から見える各ブロック領域の視認画素における視認位置を示している。また、直線ＬＢ８１乃至直線ＬＢ８４は、それぞれ折れ線Ｃ２４から定まる連続ブロック領域の境界位置を示している。
【０１３４】
なお、以下、直線ＬＢ７１乃至直線ＬＢ７４を境界位置ＬＢ７１乃至境界位置ＬＢ７４とも称し、直線ＬＢ８１乃至直線ＬＢ８４を境界位置ＬＢ８１乃至境界位置ＬＢ８４とも称する。
【０１３５】
図１０の例では、左眼を基準とした境界位置ＬＢ８１乃至境界位置ＬＢ８４のそれぞれが、右眼を基準とした境界位置ＬＢ７１乃至境界位置ＬＢ７４に対応するが、それらの境界位置のずれは、光変調パネル６２の中央から遠い位置にある境界位置ほど大きい。
【０１３６】
このようなずれが生じると、ブロック領域における各チャンネルの画素への視差画像の割り当てに矛盾が生じてしまう。
【０１３７】
例えば、右眼を基準として、境界位置ＬＢ７１から境界位置ＬＢ７２までの間のブロック領域で、チャンネルＣＨ０とチャンネルＣＨ３の画素に右眼用の視差画像を割り当てるとする。また、左眼を基準として、光変調パネル６２の−ｘ方向側の端から境界位置ＬＢ８１までの間のブロック領域で、チャンネルＣＨ０とチャンネルＣＨ１の画素に左眼用の視差画像を割り当てるとする。
【０１３８】
そうすると、境界位置ＬＢ７１から境界位置ＬＢ８１までの間のブロック領域では、チャンネルＣＨ０の画素に対して、右眼用の視差画像と左眼用の視差画像の両方が割り当てられることになってしまう。
【０１３９】
そこで、表示装置１１では、境界位置ＬＢ７１乃至境界位置ＬＢ７４のそれぞれと、境界位置ＬＢ８１乃至境界位置ＬＢ８４のそれぞれとの中間位置（平均位置）を、最終的な境界位置である境界位置ＬＢ９１乃至境界位置ＬＢ９４とする。
【０１４０】
これにより、例えば図中、下側に示すように、境界位置ＬＢ９１乃至境界位置ＬＢ９４で分割される領域を連続ブロック領域として、各ブロック領域で視差画像の割り当てが行なわれる。なお、図中、下側には、各領域で右眼用および左眼用の視差画像が割り当てられる画素のチャンネル番号が記されている。
【０１４１】
例えば、境界位置ＬＢ９１から境界位置ＬＢ９２までの間では、ブロック領域内のチャンネルＣＨ０とチャンネルＣＨ３の画素に右眼用の視差画像が割り当てられ、チャンネルＣＨ１とチャンネルＣＨ２の画素に左眼用の視差画像が割り当てられる。
【０１４２】
また、境界位置ＬＢ９２から境界位置ＬＢ９３の間では、ブロック領域内のチャンネルＣＨ０とチャンネルＣＨ１の画素に右眼用の視差画像が割り当てられ、チャンネルＣＨ２とチャンネルＣＨ３の画素に左眼用の視差画像が割り当てられる。
【０１４３】
なお、右眼を基準とする境界位置と左眼を基準とする境界位置との中間位置を、最終的な連続ブロック領域の境界位置とすると、境界位置近傍では右眼または左眼を基準とした視差画像の割り当てと多少のずれが生じるが、特に視差画像の立体視に影響は生じない。
【０１４４】
但し、ユーザの視点位置が、半視距離表示方式における最適な視距離であるＺ０／２からずれてくると、すなわち、例えばユーザの視点位置が表示部２７に近付いたり、遠ざかったりすると、次第に右眼を基準とする境界位置と左眼を基準とする境界位置とのずれが大きくなる。
【０１４５】
そうすると、例えば図１１に示すように、いくつかのブロック領域において、ユーザの右眼と左眼とで同じチャンネルの画素が視認画素として観察されてしまう。なお、図１１において、横軸は開口部８１の番号ｎを示しており、縦軸は視認画素のチャンネル番号または視認位置を示している。
【０１４６】
図１１では、折れ線Ｃ３１は、ユーザの右眼から見える各ブロック領域の視認画素のチャンネル番号を示しており、折れ線Ｃ３２は、ユーザの右眼から見える各ブロック領域の視認画素における視認位置を示している。また、折れ線Ｃ３３は、ユーザの左眼から見える各ブロック領域の視認画素のチャンネル番号を示しており、折れ線Ｃ３４は、ユーザの左眼から見える各ブロック領域の視認画素における視認位置を示している。
【０１４７】
この例では、折れ線Ｃ３１と折れ線Ｃ３３の一部が重なっており、これらの部分ではブロック領域において、ユーザの右眼と左眼とで同じチャンネルの画素が視認画素として観察される。そのため、右眼を基準として求めた境界位置と、左眼を基準として求めた境界位置との中間位置を最終的な連続ブロック領域の境界位置としても、所定のブロック領域では、同じチャンネルに右眼用と左眼用の両方の視差画像を割り当てなくてはならなくなる。つまり、ユーザが被写体を立体的に観察できなくなり、右眼用の視差画像と左眼用の視差画像とを用いた立体表示が不可能となる。
【０１４８】
このように、所定の視点位置において、開口部８１（ブロック領域）ごとに、ブロック領域内の視認画素を求めると、その結果から、ユーザが現視点位置から表示部２７を観察する場合に、視差画像の立体視が可能であるかを特定することができる。
【０１４９】
したがって、各視点位置について、ブロック領域ごとに視認画素を求める演算を行なえば、例えば図１２に示すように、ｘｙ平面上において立体表示（立体視）が可能な領域と不可能な領域とを求めることができる。なお、図１２において、横方向および縦方向はｘ方向およびｙ方向を示している。
【０１５０】
図１２の例では、表示部２７の周囲の領域のうち、斜線の施された領域ＷＲ１１は、視差画像の立体表示が可能な領域を示している。そこで、表示装置１１は、半視距離表示方式により視差画像の立体表示を行なう場合において、領域ＷＲ１１内にある領域ＷＲ１２を視差画像の立体表示が可能な領域とする。そして、表示装置１１は、ユーザの視点位置が領域ＷＲ１２内にある場合、左右の視差画像に基づいて被写体を立体表示させ、ユーザの視点位置が領域ＷＲ１２外にある場合、左右の何れか一方の視差画像を表示する。
【０１５１】
このようにユーザの視点位置に応じて、３Ｄ表示と２Ｄ表示を切り替えることで、ユーザに違和感のない自然な画像を提示することができる。
【０１５２】
［表示処理の説明］
次に、表示装置１１の具体的な動作について説明する。
【０１５３】
表示装置１１のパラメータ保持部３５には、予め情報処理装置１３から供給された貼り付けパラメータが保持されている。この貼り付けパラメータは、後述するキャリブレーション処理により求められた、開口部８１から光変調パネル６２までのより正確な距離Ｄ１の値である。
【０１５４】
表示装置１１は、右眼用の視差画像と左眼用の視差画像からなる立体画像が指定され、これらの視差画像の半視距離表示方式による表示が指示されると、表示処理を行って、視差画像を立体表示させる。以下、図１３のフローチャートを参照して、表示装置１１による表示処理について説明する。
【０１５５】
ステップＳ１１において、撮像部２１は、表示部２７の周囲の領域の画像を周辺画像として撮像し、検出部２２に供給する。
【０１５６】
ステップＳ１２において、検出部２２は、撮像部２１から供給された周辺画像に基づいて、ユーザの眼を検出する。例えば検出部２２は、周辺画像からユーザの顔を検出し、検出された顔の領域から、さらにユーザの眼を検出する。
【０１５７】
ステップＳ１３において、検出部２２は周辺画像からユーザの眼が検出されたか否かを判定する。
【０１５８】
ステップＳ１３において、ユーザの眼が検出されたと判定された場合、ステップＳ１４において、視点位置算出部３１は、検出されたユーザの眼の位置から、ユーザの視点位置を算出し、割り当て制御部２３に供給する。例えば視点位置算出部３１は、ｘｙ平面上におけるユーザの左右の眼の中間の位置を、視点位置として求める。
【０１５９】
ステップＳ１５において、割り当て制御部２３の判定部３２は、視点位置算出部３１から供給されたユーザの視点位置に基づいて、視差画像の立体表示が可能であるか否かを判定する。
【０１６０】
例えば判定部３２は、図１２に示した立体表示可能な領域ＷＲ１２を特定するための領域情報を予め記録しており、記録している領域情報に基づいて、ユーザの視点位置が領域ＷＲ１２内の位置であるか否かを特定することで、立体表示が可能であるかを判定する。したがって、例えばユーザの視点位置が領域ＷＲ１２内の位置である場合、立体表示が可能であると判定される。
【０１６１】
ステップＳ１５において、立体表示が可能であると判定された場合、処理はステップＳ１６に進む。
【０１６２】
ステップＳ１６において、視認位置算出部３３は、視点位置算出部３１から供給されたユーザの視点位置と、パラメータ保持部３５に保持されている貼り付けパラメータとに基づいて、開口部８１ごとに視認画素および視認位置を算出する。
【０１６３】
すなわち、視認位置算出部３３は、視点位置から定まるユーザの右眼位置と左眼位置とについて、貼り付けパラメータを用いて、開口部８１（ブロック領域）ごとに図８を参照して説明した演算を行なう。つまり、ユーザの視点位置等から直線Ｌ２２が求められ、直線Ｌ２２と光変調パネル６２との交点位置が求められる。このような演算を行なうことで、開口部８１（ブロック領域）ごとに、その開口部８１を介して観察される視認画素と、その視認画素における視認位置が算出される。
【０１６４】
これにより、例えば図９に示した演算結果が得られる。すなわち、各ブロック領域について、ユーザの右眼または左眼から観察される画素（視認画素）のチャンネル番号と、その画素上のユーザにより観察される位置（視認位置）が求まる。
【０１６５】
ステップＳ１７において、境界位置算出部３４は、各ブロック領域についての視認位置の算出結果に基づいて、連続ブロック領域の境界位置を算出する。
【０１６６】
具体的には境界位置算出部３４は、右眼位置について求められた各ブロック領域の視認位置の算出結果に基づいて、視認位置が「０」となる位置を、右眼を基準とする境界位置とする。すなわち、開口部８１を介して、右眼により画素の中央が観察されるブロック領域の位置が、右眼を基準とする境界位置とされる。同様に、境界位置算出部３４は、左眼位置について求められた各ブロック領域の視認位置の算出結果に基づいて、視認位置が「０」となる位置を、左眼を基準とする境界位置とする。
【０１６７】
そして、境界位置算出部３４は、右眼を基準とする境界位置と、それらの境界位置に対応する、左眼を基準とする境界位置との中間の位置を、最終的な連続ブロック領域の境界位置とする。ここで、右眼を基準とする境界位置に対応する、左眼を基準とする境界位置とは、右眼を基準とする境界位置に最も近い位置にある、左眼を基準とする境界位置である。
【０１６８】
このような演算により、例えば図１０に示した境界位置ＬＢ９１乃至境界位置ＬＢ９４が求められる。
【０１６９】
ステップＳ１８において、境界位置算出部３４は、連続ブロック領域の境界位置の算出結果に基づいて、各ブロック領域の画素に右眼用または左眼用の視差画像を割り当てる。
【０１７０】
図１０の例では、例えば光変調パネル６２の表示面上のブロック領域のうち、境界位置ＬＢ９１から境界位置ＬＢ９２の間にあるブロック領域では、チャンネルＣＨ０とチャンネルＣＨ３の画素（チャンネル領域）に対して、右眼用の視差画像が割り当てられる。また、境界位置ＬＢ９１から境界位置ＬＢ９２の間にあるブロック領域において、チャンネルＣＨ１とチャンネルＣＨ２の画素に対して、左眼用の視差画像が割り当てられる。
【０１７１】
より具体的には、例えば図１４に示すように、光変調パネル６２上の４つの画素からなる領域がブロック領域ＢＲ１およびブロック領域ＢＲ２とされたとする。なお、図１４において、横方向はｘ方向を示している。
【０１７２】
図１４では、矢印Ｑ４１乃至矢印Ｑ４３により示される長方形は、右眼用の視差画像、左眼用の視差画像、および光変調パネル６２を表している。また、それらの長方形内の１つの四角形は１つの画素を表しており、各画素内の文字「Ｒ」，「Ｇ」，「Ｂ」は、それぞれ画素の色を表している。
【０１７３】
例えば、光変調パネル６２上の画素Ｇ５１乃至画素Ｇ５４が含まれる領域が、ブロック領域ＢＲ１とされており、画素Ｇ５５乃至画素Ｇ５８が含まれる領域が、ブロック領域ＢＲ２とされている。ここで、例えば画素Ｇ５１は、Ｒ（赤）のカラーフィルタが設けられた、Ｒの光のみを透過させる画素であり、画素Ｇ５２は、Ｇ（緑）のカラーフィルタが設けられた、Ｇの光のみを透過させる画素である。
【０１７４】
また、光変調パネル６２上の各画素の図中、下側には、それらの画素のチャンネル番号が記されている。例えば、画素Ｇ５１はチャンネルＣＨ０の画素であり、画素Ｇ５２は、チャンネルＣＨ１の画素である。
【０１７５】
さらに、図中、横方向において光変調パネル６２上の各画素と同じ位置には、それらの画素と同じ位置にある、右眼用および左眼用の視差画像の画素が示されている。
【０１７６】
一般的に、画像上の画素は、Ｒ，Ｇ，Ｂの各色の値をもつため、互いに隣接するＲ，Ｇ，Ｂの領域が１つの画素とされ、Ｒ，Ｇ，Ｂの各色の領域がサブピクセル（サブ画素）として扱われることが多い。
【０１７７】
具体的には、例えば右眼用の視差画像の図中、左端の連続するＲ，Ｇ，Ｂの３つの画素からなる領域が一般的には１つの画素（以下、適宜、ＲＧＢ画素とも称する）とされ、各色の画素Ｇ６１や画素Ｇ６２がサブピクセルとして扱われることが多い。しかし、ここでは、これらの画素Ｇ６１や画素Ｇ６２を１つの画素と呼ぶこととする。
【０１７８】
同様に、例えば一般的に、画素Ｇ５１乃至画素Ｇ５３からなる３つの色の領域が１つの画素として扱われることがあるが、ここでは画素Ｇ５１乃至画素Ｇ５３のそれぞれを、１つの画素として扱うこととする。
【０１７９】
例えば、ブロック領域ＢＲ１とブロック領域ＢＲ２において、境界位置算出部３４により、チャンネルＣＨ０とチャンネルＣＨ１の画素に右眼用の視差画像が割り当てられ、チャンネルＣＨ２とチャンネルＣＨ３の画素に左眼用の視差画像が割り当てられたとする。
【０１８０】
このとき、境界位置算出部３４は、右眼用の視差画像の画素Ｇ６１と画素Ｇ６２を、それらの画素と同じ位置にある光変調パネル６２上の画素Ｇ５１と画素Ｇ５２に割り当てる。また、境界位置算出部３４は、左眼用の視差画像の画素Ｇ７１と画素Ｇ７２を、それらの画素と同じ位置にある光変調パネル６２上の画素Ｇ５３と画素Ｇ５４に割り当てる。
【０１８１】
同様に、境界位置算出部３４は、右眼用の視差画像の画素Ｇ６３と画素Ｇ６４を、画素Ｇ５５と画素Ｇ５６に割り当て、左眼用の視差画像の画素Ｇ７３と画素Ｇ７４を、画素Ｇ５７と画素Ｇ５８に割り当てる。
【０１８２】
このように、ブロック領域の所定のチャンネルに右眼用または左眼用の視差画像が割り当てられたとき、より詳細には、そのチャンネルの画素には、その画素と同じ位置にある右眼用または左眼用の視差画像の画素が割り当てられる。
【０１８３】
このようにして、ブロック領域ごとに、各チャンネルの画素に対して右眼用または左眼用の視差画像を割り当てると、境界位置算出部３４はその割り当て結果を生成部２５に供給し、合成画像の生成を指示する。
【０１８４】
ステップＳ１９において、生成部２５は、境界位置算出部３４から供給された割り当て結果と、記録部２４から読み出した右眼用および左眼用の視差画像とに基づいて、合成画像を生成し、表示制御部２６に供給する。例えば、図１４に示した割り当てが行なわれた場合、生成部２５は、右眼用の視差画像の画素Ｇ６１と画素Ｇ６２が、画素Ｇ５１と画素Ｇ５２に表示され、左眼用の視差画像の画素Ｇ７１と画素Ｇ７２が、画素Ｇ５３と画素Ｇ５４に表示されるように、合成画像を生成する。
【０１８５】
なお、視差画像を記録部２４から取得するのではなく、外部の装置から視差画像を取得したり、視差画像を受信したりするようにしてもよい。
【０１８６】
ステップＳ２０において、表示制御部２６は、生成部２５から供給された合成画像を表示部２７に供給して表示させる。
【０１８７】
例えば、表示部２７は、供給された合成画像に基づいてバックライト６１から光を射出させるとともに、光変調パネル６２に電圧を印加させてバックライト６１からの光の透過率を画素ごとに制御する。また、表示部２７はバリア素子６３に電圧を印加させて開口部８１と遮蔽部８２とからなるパララックスバリアを形成させる。
【０１８８】
これにより、バックライト６１から光変調パネル６２の各画素を透過した光は、パララックスバリアにより光学的に分離され、分離された一部の光がユーザの右眼または左眼に入射して、ユーザにより視差画像上の被写体が立体的に観察される。すなわち、合成画像上の右眼用の視差画像の領域がユーザの右眼により観察され、合成画像上の左眼用の視差画像の領域がユーザの左眼により観察される。
【０１８９】
このとき、例えば左右の視差画像に付随する音声がある場合には、表示装置１１は、合成画像の表示に合わせて、付随する音声を図示せぬスピーカから出力させる。
【０１９０】
ステップＳ２１において、表示装置１１は、表示装置１１の電源をオフするか否かを判定する。例えば、ユーザの操作により電源のオフが指示された場合、電源をオフすると判定される。
【０１９１】
ステップＳ２１において、電源をオフしないと判定された場合、処理はステップＳ１１に戻り、上述した処理が繰り返される。すなわち、ユーザの視点位置の移動に応じて、ブロック領域内の各チャンネルの画素に対する視差画像の割り当てが変更され、新たな割り当てにしたがって生成された合成画像が表示される。
【０１９２】
これに対して、ステップＳ２１において、電源をオフすると判定された場合、表示装置１１は各部の処理を停止させて電源をオフし、表示処理は終了する。
【０１９３】
また、ステップＳ１５において、立体表示が可能でないと判定された場合、割り当て制御部２３は、生成部２５に２次元の視差画像の表示を指示し、処理はステップＳ２２へと進む。
【０１９４】
ステップＳ２２において、生成部２５は、割り当て制御部２３からの指示に応じて、２次元の視差画像を表示させる。すなわち、生成部２５は、記録部２４から右眼用または左眼用の何れかの視差画像を読み出して、読み出した視差画像をそのまま表示制御部２６に供給する。
【０１９５】
すると、表示制御部２６は、生成部２５から供給された視差画像を表示部２７に供給し、視差画像を表示させる。このとき、例えばバリア素子６３は、パララックスバリアを形成せず、表示部２７は視差画像をそのまま表示させる。また、表示部２７に設けられるパララックスバリアが固定式のものである場合でも、表示部２７に視差画像をそのまま表示させることで、視差画像が２次元表示（２Ｄ表示）される。
【０１９６】
ステップＳ２２において視差画像が表示されると、その後、処理はステップＳ２１へと進み、上述した処理が行われる。
【０１９７】
また、ステップＳ１３において、ユーザの眼が検出されなかったと判定された場合、検出部２２は、眼が検出されなかった旨の検出結果を割り当て制御部２３に供給し、処理はステップＳ２３に進む。
【０１９８】
ステップＳ２３において、割り当て制御部２３は、ユーザの眼が検出されていない状態となってから、一定時間が経過したか否かを判定する。
【０１９９】
ステップＳ２３において、一定時間が経過していないと判定された場合、処理はステップＳ２２に進み、上述した処理が行われる。すなわち、表示部２７に視差画像が２次元表示される。
【０２００】
これに対して、ステップＳ２３において、一定時間経過したと判定された場合、ステップＳ２４において、割り当て制御部２３は、生成部２５を制御して画像が表示されない状態とさせる。生成部２５は、割り当て制御部２３の制御にしたがって、画像の表示制御部２６への供給を停止する。これにより、表示部２７には、画像が表示されない状態となる。つまり、消画された状態となる。
【０２０１】
なお、視差画像に付随する音声がある場合、消画された状態で音声のみが継続して再生されるようにしてもよいし、音声も消音されるようにしてもよい。このように、一定時間、ユーザの眼が検出されなかった場合、ユーザは視差画像を見ていないはずであるので、消画することで消費電力を抑えることができる。
【０２０２】
ステップＳ２４において消画された状態とされると、その後、処理はステップＳ２１に進み、上述した処理が行われて表示処理は終了する。
【０２０３】
以上のようにして、表示装置１１は、ユーザの視点位置と貼り付けパラメータに基づいて、ブロック領域ごとに視認画素と視認位置を算出し、その算出結果に基づいて、ブロック領域の各チャンネルの画素に、右眼用または左眼用の視差画像を割り当てて合成画像を生成する。
【０２０４】
このとき、ブロック領域のｘ方向に隣接して並ぶ少なくとも２つの画素に、右眼用または左眼用の視差画像のうちの同じ視差画像が割り当てられるようにすることで、より簡単にクロストークの発生を抑制し、より高品位な画像を提示することができるようになる。
【０２０５】
また、ユーザの視点位置の移動に応じて、ブロック領域内の各チャンネルの画素に対する視差画像の割り当てを変化させることで、各チャンネルにおける視差画像の表示の切り替えをユーザに感じさせることなく、より自然で高品位な画像を提示することができる。
【０２０６】
さらに、キャリブレーションにより得られた貼り付けパラメータを用いて、視認画素と視認位置を算出することで、より正確に視認画素と視認位置を求めることができ、より適切に視差画像の割り当てを行なうことができる。
【０２０７】
例えば、表示装置１１の組み立て時には、予め定められた値、つまり設計値に基づいて光変調パネル６２に対するバリア素子６３の位置が定められ、バリア素子６３が固定される。しかしながら、バリア素子６３の固定時には誤差が生じるため、バリア素子６３と光変調パネル６２の位置関係が設計通りになるとは限らない。また、バリア素子６３における開口部８１の間隔等にも誤差が生じる可能性がある。
【０２０８】
そのため、視認画素や視認位置の算出に用いる貼り付けパラメータを、設計値により定まる値とすると、表示装置１１の組み立てに誤差が生じた場合には、算出される視認画素や視認位置にも誤差が生じてしまう。そうすると、各ブロック領域における視差画像の割り当てが不適切なものとなって、クロストークの発生により立体画像の画質が低下してしまうおそれがある。
【０２０９】
そこで、本技術のように、より確からしい貼り付けパラメータを求めておき、その貼り付けパラメータを用いて視認画素や視認位置を求めることで、より高精度に連続ブロック領域の境界位置を算出することができるようになる。その結果、ブロック領域における視差画像の割り当てをより適切に行なうことができ、クロストークの少ない高品質な立体画像を提示することができる。
【０２１０】
なお、以上において説明した表示処理では、判定部３２が立体表示可能な領域を特定するための領域情報を予め記録していると説明したが、そのような領域情報を予め記録せずに、視認画素の算出結果から、立体表示可能かを判定するようにしてもよい。
【０２１１】
そのような場合、判定部３２は、視認位置算出部３３により算出された、各ブロック領域の視認画素の算出結果を用いる。すなわち、判定部３２は、右眼を基準とする視認画素と、左眼を基準とする視認画素とが、同じチャンネルの画素となるブロック領域がある場合、立体表示が可能でないと判定する。
【０２１２】
また、表示装置１１には、撮像部２１と表示部２７が設けられると説明したが、これらの撮像部２１や表示部２７は、表示装置１１の外部に設けられるようにしてもよい。
【０２１３】
［情報処理装置の構成例］
続いて、貼り付けパラメータのキャリブレーションを行なう情報処理装置１３について説明する。図１５は、情報処理装置１３の構成例を示す図である。
【０２１４】
図１５の情報処理装置１３は、撮像制御部１２１、測定境界位置算出部１２２、測定境界位置保持部１２３、およびパラメータ決定部１２４から構成される。
【０２１５】
撮像制御部１２１は、撮像部１２を制御して、撮像部１２を所望の測定位置に移動させるとともに、撮像部１２により撮像された測定画像を撮像部１２から取得し、測定画像と測定位置を測定境界位置算出部１２２に供給する。
【０２１６】
ここで、撮像部１２の測定位置とは、撮像部１２が表示装置１１に表示されたキャリブレーション画像を測定画像として撮像するときの撮像位置である。
【０２１７】
測定境界位置算出部１２２は、撮像制御部１２１からの測定画像に基づいて、測定位置がユーザの視点位置であるとした場合における、表示装置１１の連続ブロック領域の境界位置を算出し、得られた境界位置と測定位置を測定境界位置保持部１２３に供給する。
【０２１８】
なお、以下、測定画像に基づいて算出された境界位置を、測定境界位置とも称することとする。この測定境界位置は、測定画像から求められた、測定位置から画素のほぼ中央が観察されるブロック領域の光変調パネル６２上の位置である。
【０２１９】
測定境界位置保持部１２３は、測定境界位置算出部１２２から供給された測定境界位置と測定位置とを対応付けて保持し、必要に応じて測定境界位置と測定位置をパラメータ決定部１２４に供給する。
【０２２０】
パラメータ決定部１２４は、測定境界位置保持部１２３に保持されている測定境界位置と測定位置のペアを複数用いて、貼り付けパラメータを決定し、表示装置１１の取得部２８に供給する。
【０２２１】
パラメータ決定部１２４は、理論境界位置算出部１３１、差分算出部１３２、選択部１３３、およびパラメータ保持部１３４を備えている。
【０２２２】
理論境界位置算出部１３１は、測定境界位置保持部１２３に保持されている測定位置をユーザの視点位置として、その視点位置と貼り付けパラメータとに基づいて、連続ブロック領域の理論上の境界位置を算出する。理論境界位置算出部１３１は、貼り付けパラメータを変化させながら、貼り付けパラメータの各値に対して境界位置を算出する。
【０２２３】
なお、以下、測定位置をユーザの視点位置として、視点位置と貼り付けパラメータから算出された境界位置を、理論境界位置とも称することとする。この理論境界位置は、測定位置と貼り付けパラメータに基づいて算出された、測定位置から画素のほぼ中央が観察されるブロック領域の光変調パネル６２上の位置である。
【０２２４】
差分算出部１３２は、貼り付けパラメータの各値について、理論境界位置と測定境界位置との誤差を評価する。選択部１３３は、差分算出部１３２による誤差の評価結果に基づいて、複数の貼り付けパラメータのなかから、より確からしい貼り付けパラメータを選択する。すなわち、誤差が最小となる貼り付けパラメータが選択される。
【０２２５】
パラメータ保持部１３４は、選択部１３３により選択された貼り付けパラメータを一時的に保持し、選択部１３３の制御にしたがって保持する貼り付けパラメータを更新する。
【０２２６】
［キャリブレーション処理の説明］
次に、図１のキャリブレーションシステムにより行なわれるキャリブレーション処理について説明する。
【０２２７】
例えば、キャリブレーション処理が行なわれる前の状態では、表示装置１１のパラメータ保持部３５や情報処理装置１３のパラメータ決定部１２４には、貼り付けパラメータの値として設計値が保持されている。但し、この貼り付けパラメータでは、表示装置１１における視認画素や視認位置の算出に誤差が生じるため、キャリブレーション処理が行なわれ、貼り付けパラメータが、より確からしい値に更新される。
【０２２８】
以下、図１６のフローチャートを参照して、キャリブレーションシステムによるキャリブレーション処理について説明する。
【０２２９】
ステップＳ６１において、表示装置１１は、キャリブレーション画像を表示させる。
【０２３０】
すなわち、情報処理装置１３が、表示装置１１にキャリブレーション画像の表示を指示すると、表示装置１１の生成部２５は、その指示に応じて、記録部２４からキャリブレーション画像を読み出して、表示制御部２６に供給する。すると、表示制御部２６は、生成部２５から供給されたキャリブレーション画像を表示部２７に供給して表示させる。
【０２３１】
ここで、キャリブレーション画像は、光変調パネル６２の画素のチャンネルごとに異なる色の画像などとされる。具体的には、例えばチャンネルＣＨ０の画素に白い画像が表示され、チャンネルＣＨ１の画素に青い画像が表示され、チャンネルＣＨ２の画素に緑の画像が表示され、チャンネルＣＨ３の画素に赤い画像が表示される、白，青，緑，赤の４つの色の領域からなる画像とされる。
【０２３２】
キャリブレーション画像の表示時には、バリア素子６３にはパララックスバリアが形成される。したがって、表示されたキャリブレーション画像をユーザが観察した場合には、ユーザの視点位置によって異なる画像が観察されることになる。
【０２３３】
なお、キャリブレーション画像は、各チャンネルに独立した色が割り当てられた画像に限らず、表示部２７に表示したときに、表示部２７の各領域においてユーザからどのチャンネルの画素が視認されているかが特定できる画像であれば、どのような画像であってもよい。
【０２３４】
ステップＳ６２において、撮像制御部１２１は、撮像部１２による測定位置を定める。例えば、キャリブレーション処理では、予めいくつかの測定位置が定められており、撮像制御部１２１は、それらの測定位置のなかから、まだ処理対象とされていない測定位置を１つ選択することで、処理対象とする測定位置を定める。測定位置はどのような位置であってもよいが、例えば各測定位置は、図１２の領域ＷＲ１２内の位置などとされる。
【０２３５】
撮像制御部１２１は、処理対象とする測定位置を定めると、撮像部１２を制御し、その測定位置に撮像部１２を移動させる。例えば、撮像部１２は、被写体を撮像するカメラと、カメラの位置を移動させるアクチュエータなどからなり、撮像部１２としてのアクチュエータは、撮像制御部１２１の指示に応じて駆動し、カメラの位置を測定位置に移動させる。
【０２３６】
ステップＳ６３において、撮像部１２は撮像制御部１２１の制御にしたがって表示装置１１、より詳細には表示装置１１に表示されたキャリブレーション画像を撮像し、その結果得られた測定画像を撮像制御部１２１に供給する。撮像制御部１２１は、撮像部１２からの測定画像と、その測定画像の測定位置とを測定境界位置算出部１２２に供給する。
【０２３７】
ステップＳ６４において、測定境界位置算出部１２２は、撮像制御部１２１からの測定画像に基づいて、測定画像上の各色領域の重心位置を求めることで測定境界位置を算出する。
【０２３８】
例えば、キャリブレーション画像を被写体として撮像すると、図１７に示す測定画像ＭＰ１１が得られる。この測定画像ＭＰ１１には、それぞれ異なる色の領域ＭＲ１１乃至領域ＭＲ１４が含まれている。
【０２３９】
ここで、チャンネルＣＨ０乃至チャンネルＣＨ３に、それぞれ白，青，緑，赤の各色が割り当てられたキャリブレーション画像が撮像されて、測定画像ＭＰ１１が得られたとする。そのような場合、例えば領域ＭＲ１１は白い領域となり、領域ＭＲ１２は青い領域となり、領域ＭＲ１３は緑の領域となり、領域ＭＲ１４は赤い領域となる。
【０２４０】
つまり、領域ＭＲ１１乃至領域ＭＲ１４は、それぞれ光変調パネル６２上のチャンネルＣＨ０乃至チャンネルＣＨ３の画素の領域の画像となる。
【０２４１】
このような測定画像ＭＰ１１が得られた場合、測定境界位置算出部１２２は、領域ＭＲ１１乃至領域ＭＲ１４のそれぞれについて、それらの領域の図中、横方向、すなわちｘ方向の重心位置を求める。そして測定境界位置算出部１２２は、測定画像ＭＰ１１上における領域ＭＲ１１乃至領域ＭＲ１４の重心位置、領域ＭＲ１１乃至領域ＭＲ１４の色、および測定画像ＭＰ１１と光変調パネル６２の大きさの関係等から、測定境界位置を算出する。
【０２４２】
例えば、図１７の例では、直線ＧＲ１１乃至直線ＧＲ１４の位置が、領域ＭＲ１１乃至領域ＭＲ１４のそれぞれのｘ方向の重心位置として得られる。例えば、直線ＧＲ１１の位置は、領域ＭＲ１１の図中、左右の端の中間の位置となっている。
【０２４３】
ここで、領域ＭＲ１１は光変調パネル６２における同じチャンネルの画素の領域であり、領域ＭＲ１１のｘ方向の重心位置である直線ＧＲ１１の位置は、光変調パネル６２のブロック領域のうち、視認画素の中央の位置が視認位置となるブロック領域の位置である。
【０２４４】
したがって、測定画像ＭＰ１１を撮像したときの測定位置を、ユーザが表示装置１１を観察するときの視点位置（眼の位置）と考えると、測定画像ＭＰ１１上における直線ＧＲ１１の位置は、連続ブロック領域の境界位置に対応する位置となる。
【０２４５】
測定画像ＭＰ１１と光変調パネル６２の大きさ等の関係から、測定画像ＭＰ１１上における直線ＧＲ１１の位置が、光変調パネル６２のどのブロック領域に対応するかが分かる。また、領域ＭＲ１１の色から、直線ＧＲ１１の位置に対応するブロック領域の視認画素のチャンネルを特定することができる。
【０２４６】
したがって、測定画像ＭＰ１１上の直線ＧＲ１１乃至直線ＧＲ１４の各位置と、領域ＭＲ１１乃至領域ＭＲ１４の色とから、測定位置をユーザの視点位置とした場合における実際の境界位置（測定境界位置）と、その境界位置における視認画素のチャンネルが得られることになる。
【０２４７】
なお、以上においては、例えば領域ＭＲ１１の図中、横方向の端の中間位置を重心位置として求めると説明したが、領域ＭＲ１１内の各画素の画素値（色の濃度）に重みを付けて領域ＭＲ１１の図中、横方向の重心位置を求めるようにしてもよい。
【０２４８】
図１６のフローチャートの説明に戻り、測定位置に対して測定境界位置が算出されると、測定境界位置算出部１２２は、求めた測定境界位置と測定位置とを対応付けて測定境界位置保持部１２３に供給し、処理はステップＳ６４からステップＳ６５に進む。
【０２４９】
ステップＳ６５において、測定境界位置保持部１２３は、測定境界位置算出部１２２から供給された測定位置と測定境界位置のペアを保持する。
【０２５０】
ステップＳ６６において、撮像制御部１２１は、予め定めた全ての測定位置において、測定画像の撮像を行なったか否かを判定する。
【０２５１】
ステップＳ６６において、まだ全ての測定位置について撮像を行なっていないと判定された場合、処理はステップＳ６２に戻り、上述した処理が繰り返される。すなわち、新たな測定位置が定められ、その測定位置について測定境界位置が求められる。
【０２５２】
これに対して、ステップＳ６６において、全ての測定位置について撮像を行なったと判定された場合、処理はステップＳ６７に進む。
【０２５３】
ステップＳ６７において、パラメータ決定部１２４は、貼り付けパラメータを定める。
【０２５４】
例えば、パラメータ決定部１２４は、予め貼り付けパラメータの値（初期値）としての設計値を保持している。パラメータ決定部１２４は、以降の処理では、貼り付けパラメータの値を、例えば設計値を中心とする所定の処理対象範囲内の各値に変更しながら、変更後の各貼り付けパラメータについて処理を行なう。
【０２５５】
したがって、パラメータ決定部１２４は、ステップＳ６７では、処理対象範囲内のまだ処理対象とされていない所定の値を、貼り付けパラメータの値として定める。
【０２５６】
ステップＳ６８において、理論境界位置算出部１３１は、測定境界位置保持部１２３に保持されている各測定位置について、その測定位置と、ステップＳ６７で定めた貼り付けパラメータの値とに基づいて理論境界位置を算出する。
【０２５７】
例えば、理論境界位置算出部１３１は、測定位置がユーザの視点位置である、より詳細には測定位置がユーザの眼の位置であるとして、測定位置と貼り付けパラメータとに基づいて、バリア素子６３の開口部８１ごとに視認画素および視認位置を算出する。
【０２５８】
これにより、各ブロック領域について、測定位置、つまりユーザの眼から観察される視認画素のチャンネル番号と、その画素上のユーザにより観察される視認位置が求まるので、理論境界位置算出部１３１は、視認位置が「０」となる位置を理論境界位置とする。この理論境界位置は、連続ブロック領域の境界位置に相当する。
【０２５９】
このように、ステップＳ６８では、図１３のステップＳ１６およびステップＳ１７と同様の処理が行なわれ、各測定位置に対する理論境界位置が算出される。
【０２６０】
ステップＳ６９において、差分算出部１３２は、測定境界位置保持部１２３に保持されている測定位置と測定境界位置を参照して、測定境界位置と理論境界位置との誤差として、境界位置の差分絶対値和を算出する。
【０２６１】
すなわち、差分算出部１３２は、測定境界位置保持部１２３に保持されている各測定位置について、その測定位置について求められた測定境界位置と理論境界位置との差分絶対値の和を求め、各測定位置の差分絶対値の和の総和を、境界位置の差分絶対値和として算出する。
【０２６２】
ここで、測定境界位置は、測定により得られた、実際に境界位置とすべき位置を示しており、理論境界位置は、貼り付けパラメータが用いられて算出された理論上の境界位置、つまり表示装置１１で算出される境界位置を示している。したがって、測定境界位置と理論境界位置の差分絶対値は、測定位置をユーザの眼の位置とした場合に生じる、実測値と理論値の誤差を示している。
【０２６３】
また、ステップＳ６９で求められる差分絶対値和は、各測定位置における誤差を示す差分絶対値和の総和であるから、その総和の値が小さいほど、理論境界位置の算出に用いられた貼り付けパラメータは、より確からしいことになる。つまり、貼り付けパラメータの値が真値に近いことになる。
【０２６４】
例えば、図１７の例では、直線ＧＲ１１乃至直線ＧＲ１４の各位置について、測定境界位置が得られる。そこで、差分算出部１３２は、直線ＧＲ１１乃至直線ＧＲ１４のそれぞれの位置について、各位置の測定境界位置と、それらの測定境界位置に対応する理論境界位置との差分の絶対値を求め、それらの差分絶対値の和を算出する。
【０２６５】
ここで、各理論境界位置が、どの測定境界位置に対応するものであるかは、測定境界位置について求められた視認画素のチャンネルと、理論境界位置について求められた視認画素のチャンネルとから特定される。つまり、視認画素のチャンネルが同じである理論境界位置と測定境界位置との差分絶対値が求められる。
【０２６６】
このようにして、１つの測定位置について、４つの差分絶対値の和が求められると、各測定位置で求められた差分絶対値和の総和が求められ、得られた総和がステップＳ６９の処理で得ようとする、境界位置の差分絶対値和とされる。このようにして得られる境界位置の差分絶対値和は、各測定位置における理論境界位置と測定境界位置の誤差の総和である。
【０２６７】
なお、対応する理論境界位置と測定境界位置のそれぞれで観察される視認画素は、同じチャンネルの画素であることが必要であるので、それらの視認画素が同じチャンネルの画素となるように貼り付けパラメータの処理対象範囲が定められることが望ましい。
【０２６８】
対応する理論境界位置と測定境界位置における視認画素のチャンネルが同じとならない場合には、例えば処理対象となっている貼り付けパラメータを最終的に出力する貼り付けパラメータから除外すればよい。
【０２６９】
また、対応する理論境界位置と測定境界位置における視認画素のチャンネルが必ず同じとなるように処理対象範囲が定められる場合には、測定画像上において互いに隣接する、同じチャンネルの画素の領域の境界の位置が特定できればよい。したがって、そのような場合には、キャリブレーション画像は、ブロック領域上において、互いに隣接するチャンネル領域に異なる画像が割り当てられた画像とされてもよい。
【０２７０】
ステップＳ７０において、選択部１３３は、差分絶対値和が最小となる貼り付けパラメータを選択し、パラメータ保持部１３４に保持させる。
【０２７１】
すなわち、パラメータ保持部１３４には、これまでのステップＳ６７乃至ステップＳ７０の処理で処理対象とされた各貼り付けパラメータのうち、最も差分絶対値和が小さいものが、差分絶対値和と対応付けられて保持されている。
【０２７２】
選択部１３３は、パラメータ保持部１３４に保持されている貼り付けパラメータの差分絶対値和と、直前のステップＳ６７乃至ステップＳ６９の処理で求められた貼り付けパラメータの差分絶対値和とを比較し、差分絶対値和の小さい貼り付けパラメータを選択する。
【０２７３】
そして、選択部１３３は、選択した貼り付けパラメータと、その貼り付けパラメータの差分絶対値和をパラメータ保持部１３４に供給し、保持させる。
【０２７４】
つまり、これまでパラメータ保持部１３４に保持されていた貼り付けパラメータが選択された場合には、パラメータ保持部１３４に保持されている貼り付けパラメータと差分絶対値和がそのまま保持される。
【０２７５】
また、直前のステップＳ６７乃至ステップＳ６９の処理で処理対象となっていた貼り付けパラメータが選択された場合には、これまでパラメータ保持部１３４に保持されていた貼り付けパラメータと差分絶対値和が破棄される。そして、新たに選択された貼り付けパラメータと差分絶対値和がパラメータ保持部１３４に保持される。
【０２７６】
このようにしてパラメータ保持部１３４に保持される貼り付けパラメータは、これまで処理対象とされていた貼り付けパラメータのなかで、最も確からしい貼り付けパラメータである。
【０２７７】
ステップＳ７１において、パラメータ決定部１２４は、全ての貼り付けパラメータの値について処理を行なったか否かを判定する。
【０２７８】
すなわち、処理対象範囲内の全ての値が、処理対象の貼り付けパラメータの値とされたか否かが判定される。なお、貼り付けパラメータが複数種類ある場合には、各種類の貼り付けパラメータの全ての組み合わせについて処理が行なわれたか否かが判定される。
【０２７９】
ステップＳ７１において、まだ全ての貼り付けパラメータの値について処理を行なっていないと判定された場合、処理はステップＳ６７に戻り、上述した処理が繰り返される。すなわち、新たな貼り付けパラメータの値が定められ、その貼り付けパラメータについて、誤差の評価が行なわれる。
【０２８０】
これに対して、ステップＳ７１において、全ての貼り付けパラメータの値について処理を行なったと判定された場合、処理はステップＳ７２に進む。
【０２８１】
ステップＳ７２において、パラメータ決定部１２４は、パラメータ保持部１３４に保持されている貼り付けパラメータを、最終的な貼り付けパラメータとして採用し、その貼り付けパラメータを表示装置１１の取得部２８に供給（出力）する。そして、取得部２８は、パラメータ決定部１２４から供給された貼り付けパラメータを、パラメータ保持部３５に供給する。
【０２８２】
ステップＳ７３において、パラメータ保持部３５は、取得部２８から供給された貼り付けパラメータを保持（記録）し、キャリブレーション処理は終了する。すなわち、パラメータ保持部３５は、これまで保持していた貼り付けパラメータを破棄し、取得部２８から供給された貼り付けパラメータを保持することで、貼り付けパラメータの更新を行なう。
【０２８３】
パラメータ保持部３５に保持された貼り付けパラメータは、その後、図１３を参照して説明した表示処理に用いられる。
【０２８４】
以上のようにしてキャリブレーションシステムは、貼り付けパラメータの値を変化させながら、貼り付けパラメータの各値について測定境界位置と理論境界位置との誤差を評価し、より確からしい貼り付けパラメータを求める。
【０２８５】
このように、より確からしい貼り付けパラメータを求めて表示装置１１に保持させておくことで、表示装置１１では、簡単に、より確からしい境界位置を求めることができ、クロストークの少ない高品質な立体画像を提示することができるようになる。
【０２８６】
特に、本技術では、光変調パネル６２に対するバリア素子６３の位置を再調整する必要がないので、簡単な処理で、より高精度な画像制御を行なうことができる。
【０２８７】
なお、以上において説明したキャリブレーションシステムは、例えば表示装置１１の組み立て後、表示装置１１に確からしい貼り付けパラメータを記録させる場合に限らず、他の用途にも適用することができる。例えば、表示装置１１の組み立て時において、光変調パネル６２に対してバリア素子６３を仮固定させておき、キャリブレーション処理により得られた貼り付けパラメータに基づいて、バリア素子６３の固定位置を微調整する場合などにも適用することが可能である。
【０２８８】
また、貼り付けパラメータは、半視距離表示方式による立体画像の表示に限らず、２以上の視点の視差画像からなる立体画像を表示する場合にも、当然用いることができる。
【０２８９】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０２９０】
図１８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０２９１】
コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【０２９２】
バス２０４には、さらに、入出力インターフェース２０５が接続されている。入出力インターフェース２０５には、入力部２０６、出力部２０７、記録部２０８、通信部２０９、及びドライブ２１０が接続されている。
【０２９３】
入力部２０６は、キーボード、マウス、マイクロホンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記録部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインターフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
【０２９４】
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記録部２０８に記録されているプログラムを、入出力インターフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【０２９５】
コンピュータ（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０２９６】
コンピュータでは、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インターフェース２０５を介して、記録部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記録部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記録部２０８に、あらかじめインストールしておくことができる。
【０２９７】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２９８】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２９９】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０３００】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０３０１】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０３０２】
さらに、本技術は、以下の構成とすることも可能である。
【０３０３】
［１］
複数のチャンネルの画素からなるブロック領域が複数設けられた表示部と、
前記ブロック領域内の各チャンネルの画素に表示された画像を分離させる分離部と、
前記表示部と前記分離部の位置関係を示すパラメータを保持する保持部と、
前記表示部を観察するユーザの視点位置と前記パラメータとに基づいて定められた、前記ブロック領域内の各チャンネルの画素への視差画像の割り当てにしたがって、複数の前記視差画像を合成し、合成画像を生成する生成部と
を備え、
前記保持部は、前記表示部に表示された、互いに隣接する異なるチャンネルの画素に、異なる画像が割り当てられたキャリブレーション画像を所定の測定位置で撮像することで得られた測定画像と、前記測定位置とに基づいて定められた前記パラメータを保持する
表示装置。
［２］
前記保持部は、
前記測定画像に基づいて算出された、前記測定位置から画素のほぼ中央が観察される前記ブロック領域の前記表示部上の位置を測定境界位置とし、
前記パラメータと前記測定位置に基づいて算出された、前記測定位置から画素のほぼ中央が観察される前記ブロック領域の前記表示部上の位置を理論境界位置として、
複数の前記パラメータのうち、前記測定境界位置と前記理論境界位置の誤差が最小となる前記パラメータを保持する
［１］に記載の表示装置。
［３］
前記測定境界位置は、前記測定画像上における、同じチャンネルの画素が観察されている領域の重心位置を求めることにより算出される
［２］に記載の表示装置。
［４］
前記ユーザの前記視点位置と前記パラメータとに基づいて、前記ブロック領域内の画素のうちの前記視点位置から視認される視認画素と、前記視認画素の視認位置とを算出する視認位置算出部と、
前記視認画素と前記視認位置の算出結果に基づいて、前記ブロック領域内の各チャンネルの画素に複数の前記視差画像の何れかを割り当てる割り当て部と
をさらに備え、
前記生成部は、前記割り当て部による割り当てにしたがって前記合成画像を生成する
［１］乃至［３］の何れかに記載の表示装置。
［５］
複数のチャンネルの画素からなるブロック領域が複数設けられた表示部と、
前記ブロック領域内の各チャンネルの画素に表示された画像を分離させる分離部と、
前記表示部と前記分離部の位置関係を示すパラメータを保持する保持部と、
前記表示部を観察するユーザの視点位置と前記パラメータとに基づいて定められた、前記ブロック領域内の各チャンネルの画素への視差画像の割り当てにしたがって、複数の前記視差画像を合成し、合成画像を生成する生成部と
を備え、
前記保持部が、前記表示部に表示された、互いに隣接する異なるチャンネルの画素に、異なる画像が割り当てられたキャリブレーション画像を所定の測定位置で撮像することで得られた測定画像と、前記測定位置とに基づいて定められた前記パラメータを保持する
表示装置の表示方法であって、
前記生成部が前記合成画像を生成し、
前記表示部が前記合成画像を表示する
ステップを含む表示方法。
［６］
複数のチャンネルの画素からなるブロック領域が複数設けられた表示部と、
前記ブロック領域内の各チャンネルの画素に表示された画像を分離させる分離部と、
前記表示部と前記分離部の位置関係を示すパラメータを保持する保持部と、
前記表示部を観察するユーザの視点位置と前記パラメータとに基づいて定められた、前記ブロック領域内の各チャンネルの画素への視差画像の割り当てにしたがって、複数の前記視差画像を合成し、合成画像を生成する生成部と
を備え、
前記保持部が、前記表示部に表示された、互いに隣接する異なるチャンネルの画素に、異なる画像が割り当てられたキャリブレーション画像を所定の測定位置で撮像することで得られた測定画像と、前記測定位置とに基づいて定められた前記パラメータを保持する
表示装置を制御するコンピュータに、
前記生成部に前記合成画像を生成させ、
前記表示部に前記合成画像を表示させる
ステップを含む処理を実行させるプログラム。
［７］
複数のチャンネルの画素からなるブロック領域が複数設けられた表示部と、前記ブロック領域内の各チャンネルの画素に表示された画像を分離させる分離部とを有する表示装置における、前記表示部と前記分離部の位置関係を示すパラメータを出力する情報処理装置であって、
前記表示部に表示された、互いに隣接する異なるチャンネルの画素に、異なる画像が割り当てられたキャリブレーション画像を、所定の測定位置で撮像することで得られた測定画像に基づいて、前記測定位置から画素のほぼ中央が観察される前記ブロック領域の前記表示部上の位置を測定境界位置として算出する測定境界位置算出部と、
前記パラメータと前記測定位置に基づいて、前記測定位置から画素のほぼ中央が観察される前記ブロック領域の前記表示部上の位置を理論境界位置として算出する理論境界位置算出部と、
複数の前記パラメータのうち、前記測定境界位置と前記理論境界位置の誤差が最小となるものを、出力する前記パラメータとして選択する選択部と
を備える情報処理装置。
［８］
前記測定境界位置算出部は、前記測定画像上における、同じチャンネルの画素が観察されている領域の重心位置を求めることで前記測定境界位置を算出する
［７］に記載の情報処理装置。
［９］
前記選択部は、複数の前記測定位置について求められた前記誤差の和が最小となる前記パラメータを選択する
［７］または［８］に記載の情報処理装置。
［１０］
複数のチャンネルの画素からなるブロック領域が複数設けられた表示部と、前記ブロック領域内の各チャンネルの画素に表示された画像を分離させる分離部とを有する表示装置における、前記表示部と前記分離部の位置関係を示すパラメータを出力する情報処理方法であって、
前記表示部に表示された、互いに隣接する異なるチャンネルの画素に、異なる画像が割り当てられたキャリブレーション画像を、所定の測定位置で撮像することで得られた測定画像に基づいて、前記測定位置から画素のほぼ中央が観察される前記ブロック領域の前記表示部上の位置を測定境界位置として算出し、
前記パラメータと前記測定位置に基づいて、前記測定位置から画素のほぼ中央が観察される前記ブロック領域の前記表示部上の位置を理論境界位置として算出し、
複数の前記パラメータのうち、前記測定境界位置と前記理論境界位置の誤差が最小となるものを、出力する前記パラメータとして選択する
ステップを含む情報処理方法。
［１１］
複数のチャンネルの画素からなるブロック領域が複数設けられた表示部と、前記ブロック領域内の各チャンネルの画素に表示された画像を分離させる分離部とを有する表示装置における、前記表示部と前記分離部の位置関係を示すパラメータを出力する情報処理用のプログラムであって、
前記表示部に表示された、互いに隣接する異なるチャンネルの画素に、異なる画像が割り当てられたキャリブレーション画像を、所定の測定位置で撮像することで得られた測定画像に基づいて、前記測定位置から画素のほぼ中央が観察される前記ブロック領域の前記表示部上の位置を測定境界位置として算出し、
前記パラメータと前記測定位置に基づいて、前記測定位置から画素のほぼ中央が観察される前記ブロック領域の前記表示部上の位置を理論境界位置として算出し、
複数の前記パラメータのうち、前記測定境界位置と前記理論境界位置の誤差が最小となるものを、出力する前記パラメータとして選択する
ステップを含む処理をコンピュータに実行させるプログラム。
【符号の説明】
【０３０４】
１１  表示装置，  １２  撮像部，  １３  情報処理装置，  ２３  割り当て制御部，  ２７  表示部，  ３３  視認位置算出部，  ３４  境界位置算出部，  ３５  パラメータ保持部，  １２１  撮像制御部，  １２２  測定境界位置算出部，  １２４  パラメータ決定部，  １３１  理論境界位置算出部，  １３２  差分算出部，  １３３  選択部，  １３４  パラメータ保持部
【図１】
0005924046.tif 000002
【図２】
0005924046.tif 000003
【図３】
0005924046.tif 000004
【図４】
0005924046.tif 000005
【図５】
0005924046.tif 000006
【図６】
0005924046.tif 000007
【図７】
0005924046.tif 000008
【図８】
0005924046.tif 000009
【図９】
0005924046.tif 000010
【図１０】
0005924046.tif 000011
【図１１】
0005924046.tif 000012
【図１２】
0005924046.tif 000013
【図１３】
0005924046.tif 000014
【図１４】
0005924046.tif 000015
【図１５】
0005924046.tif 000016
【図１６】
0005924046.tif 000017
【図１７】
0005924046.tif 000018
【図１８】
0005924046.tif 000019