(57)【要約】【課題】立体画像表示部に表示されている立体画像の移動指示を受け付けた場合、受け付けた移動指示による立体画像の移動位置を、適切な立体画像が表示されるように制御する。【解決手段】立体画像表示部に表示されている立体画像の移動指示を受け付けた場合（Ｓ１）、受け付けた移動指示による立体画像の移動位置を、立体画像のカラー情報が崩れない位置に修正する（Ｓ２〜Ｓ４）。これにより、インテグラルイメージング方式の立体画像表示装置のように立体画像を移動する際にピクセルまたはサブピクセルのセットの単位を考慮しないと立体画像の見え方がおかしくなってしまうような場合であっても、正しく立体画像として見えなくなってしまうという現象を避けることができ、適切な立体画像が表示されるように制御することができる。【選択図】        図４
2007081562.tif 000002
【特許請求の範囲】
【請求項１】
カラー画素ドットが複数個配列された画像表示素子と、この画像表示素子上に配置され、前記画像表示素子から出射する光線方向を限定する光線方向限定素子とを有している立体画像表示部を備えて、当該立体画像表示部に対して立体画像を視認可能に表示する立体画像表示装置において、
前記立体画像表示部に表示されている前記立体画像の移動指示を受け付ける移動指示受付手段と、
この移動指示受付手段により受け付けた移動指示による前記立体画像の移動位置を、前記立体画像のカラー情報が崩れない位置に修正する表示位置修正手段と、
を備えることを特徴とする立体画像表示装置。
【請求項２】
前記表示位置修正手段は、移動指示受付手段により受け付けた移動指示による前記立体画像の移動位置を、前記立体画像の視域方向を変化させない位置に修正する視域方向修正手段を更に備える、
ことを特徴とする請求項１記載の立体画像表示装置。
【請求項３】
カラー画素ドットが複数個配列された画像表示素子と、この画像表示素子上に配置され、前記画像表示素子から出射する光線方向を限定する光線方向限定素子とを有している立体画像表示部を備えて、当該立体画像表示部に対して立体画像を視認可能に表示する立体画像表示装置において、
前記立体画像表示部に表示されている前記立体画像の移動指示を受け付ける移動指示受付手段と、
この移動指示受付手段により受け付けた移動指示による前記立体画像の移動位置を、前記立体画像の視域方向を変化させない位置に修正する視域方向修正手段と、
を備えることを特徴とする立体画像表示装置。
【請求項４】
前記表示位置修正手段は、前記立体画像表示部に出力される前記立体画像の移動位置を前記立体画像のカラー情報が崩れない位置に修正する場合に、前記立体画像のカラー情報が崩れない最小の移動単位を参照して、前記移動指示受付手段により受け付けた移動指示による前記立体画像の移動位置に最も近い位置に修正する、
ことを特徴とする請求項１または２記載の立体画像表示装置。
【請求項５】
前記視域方向算出手段は、前記表示位置修正手段によりカラー情報が崩れない位置に修正した前記立体画像の中心位置における光線再生方向の中心である視域の中心が観察位置の最も近くを通過するように、前記立体画像の視域方向を変化させない最小の移動単位の刻みで調整する、
ことを特徴とする請求項２または３記載の立体画像表示装置。
【請求項６】
前記立体画像の視域方向を変化させない最小の移動単位と前記立体画像のカラー情報が崩れない最小の移動単位とを前記立体画像表示部毎に記憶部に記憶する移動単位記憶手段と、
前記移動指示受付手段により移動指示受け付けた場合に、前記移動単位記憶手段により前記記憶部に記憶されている複数の移動単位のうちいずれを使うのかあるいはいずれも使わないのかを切り替える移動単位切り替え手段と、
を備えることを特徴とする請求項４および５記載の立体画像表示装置。
【請求項７】
観察者の頭部の位置を検出する頭部位置検出手段を更に備え、
この頭部位置検出手段により観察者の頭部の位置を検出して前記観察位置とする、
ことを特徴とする請求項５記載の立体画像表示装置。
【請求項８】
前記画像表示素子にはＲＧＢのカラーフィルタが垂直方向にストライプ配列されており、前記光線方向限定素子がＮ視差垂直レンティキュラーレンズの場合には、
前記立体画像のカラー情報が崩れない最小の移動単位は（１，３）
前記立体画像の視域方向を変化させない最小の移動単位は（Ｎ／３，３）
である、
ことを特徴とする請求項４および５記載の立体画像表示装置。
【請求項９】
前記画像表示素子にはＲＧＢのカラーフィルタが垂直方向にストライプ配列されており、前記光線方向限定素子がＮ視差斜めレンティキュラーレンズの場合には、
前記立体画像のカラー情報が崩れない最小の移動単位は（１，１）
前記立体画像の視域方向を変化させない最小の移動単位は（√Ｎ，√Ｎ）
である、
ことを特徴とする請求項４および５記載の立体画像表示装置。
【請求項１０】
カラー画素ドットが複数個配列された画像表示素子と、この画像表示素子上に配置され、前記画像表示素子から出射する光線方向を限定する光線方向限定素子とを有している立体画像表示部を備えた立体画像表示装置のコンピュータに当該立体画像表示部に対して立体画像を視認可能に表示させる立体画像表示プログラムであって、
前記立体画像表示部に表示されている前記立体画像の移動指示を受け付ける移動指示受付機能と、
この移動指示受付機能により受け付けた移動指示による前記立体画像の移動位置を、前記立体画像のカラー情報が崩れない位置に修正する表示位置修正機能と、
を前記コンピュータに実行させることを特徴とする立体画像表示プログラム。
【請求項１１】
移動指示受付手段により受け付けた移動指示による前記立体画像の移動位置を、前記立体画像の視域方向を変化させない位置に修正する視域方向修正機能を更に前記コンピュータに実行させる、
ことを特徴とする請求項１０記載の立体画像表示プログラム。
【請求項１２】
カラー画素ドットが複数個配列された画像表示素子と、この画像表示素子上に配置され、前記画像表示素子から出射する光線方向を限定する光線方向限定素子とを有している立体画像表示部を備えた立体画像表示装置のコンピュータに当該立体画像表示部に対して立体画像を視認可能に表示させる立体画像表示プログラムであって、
前記立体画像表示部に表示されている前記立体画像の移動指示を受け付ける移動指示受付機能と、
この移動指示受付機能により受け付けた移動指示による前記立体画像の移動位置を、前記立体画像の視域方向を変化させない位置に修正する視域方向修正機能と、
を前記コンピュータに実行させることを特徴とする立体画像表示プログラム。
【請求項１３】
カラー画素ドットが複数個配列された画像表示素子と、この画像表示素子上に配置され、前記画像表示素子から出射する光線方向を限定する光線方向限定素子とを有している立体画像表示部を備えた立体画像表示装置の当該立体画像表示部に対して立体画像を視認可能に表示させる立体画像表示方法であって、
前記立体画像表示部に表示されている前記立体画像の移動指示を受け付ける移動指示受付工程と、
この移動指示受付工程により受け付けた移動指示による前記立体画像の移動位置を、前記立体画像のカラー情報が崩れない位置に修正する表示位置修正工程と、
を含むことを特徴とする立体画像表示方法。
【請求項１４】
移動指示受付手段により受け付けた移動指示による前記立体画像の移動位置を、前記立体画像の視域方向を変化させない位置に修正する視域方向修正工程を更に含む、
ことを特徴とする請求項１３記載の立体画像表示方法。
【請求項１５】
カラー画素ドットが複数個配列された画像表示素子と、この画像表示素子上に配置され、前記画像表示素子から出射する光線方向を限定する光線方向限定素子とを有している立体画像表示部を備えた立体画像表示装置の当該立体画像表示部に対して立体画像を視認可能に表示させる立体画像表示方法であって、
前記立体画像表示部に表示されている前記立体画像の移動指示を受け付ける移動指示受付工程と、
この移動指示受付工程により受け付けた移動指示による前記立体画像の移動位置を、前記立体画像の視域方向を変化させない位置に修正する視域方向修正工程と、
を含むことを特徴とする立体画像表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体画像表示装置、立体画像表示プログラムおよび立体画像表示方法に関する。
【背景技術】
【０００２】
近年、様々な方式の立体画像表示装置が開発、実用化されている。例えば、垂直レンティキュラーレンズを用いたインテグラルイメージング方式の立体画像表示装置の原理については、特許文献１などに詳述されている。
【０００３】
このような垂直レンティキュラーレンズを用いたインテグラルイメージング方式の立体画像表示装置においては、例えばレンズの１ピッチに１８個のサブピクセル（つまり６画素）が入っており、この１８個のサブピクセルからの光線がレンズにより観察空間の１８方向に配分される。全てのレンズからこのように分離された光線が表示されることで、目の位置により異なる像が観察される立体画像表示装置が可能になる。このようなインテグラルイメージング方式の立体画像表示装置の構成の特徴としては、カラーフィルタの構成が通常と異なっている点が挙げられる。インテグラルイメージング方式の立体画像表示装置では、カラーフィルタの配色が縦方向にＲＢＧＲＢＧ・・・と並んでいる。このことによって、縦方向の３サブピクセルでひとつの色を構成する。縦に並んだ３サブピクセルが１レンズピッチに１８個並ぶことで１８視差を実現する。通常のカラーフィルタ構成を用いると、横方向の３サブピクセルでひとつの色を表現する必要があるため、６視差しか実現できなくなってしまうため、このような構成をすることに大きな意味がある。
【０００４】
【特許文献１】特開２００５−０８６４１４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
従来、立体画像を表示する際は、立体画像表示装置のディスプレイ全体に立体表示を行うのが通常である。ところが、例えばパーソナルコンピュータのＯＳ（Operating System）が有しているグラフィカルユーザインタフェースであるウィンドウのように画面の一部にディスプレイ解像度より小さい立体画像コンテンツを表示する場合には、インテグラルイメージング方式の立体画像表示装置においては解決せねばならない問題がある。
【０００６】
上述したように、インテグラルイメージング方式の立体画像表示装置においては、カラーフィルタの配色が縦方向にＲＢＧＲＢＧ・・・と並べることにより縦方向の３サブピクセルでひとつの色を構成するようにしていることから、表示する画像が垂直方向に１または２画素ずれてしまうとＲＧＢの組み合わせが狂って画像の色が変わってしまう。すなわち、インテグラルイメージング方式の立体画像表示装置においてディスプレイ解像度より小さい立体画像コンテンツを表示する場合には、コンテンツを配置する場所によっては正しいカラー画像が表示されなくなるという問題がある。
【０００７】
つまり、インテグラルイメージング方式の立体画像表示装置は、いくつかのピクセルまたはサブピクセルをセットにしてそれを与えられた方向に分離表示するため、立体画像を移動するときは、そのピクセルまたはサブピクセルのセットの単位を考慮しないと、立体画像の見え方がおかしくなってしまう。
【０００８】
また、斜めレンティキュラーレンズを用いた立体画像表示もあるが、この場合、カラー情報は維持されるが、移動させることで視域方向が変化する。視域方向を変えないままで立体画像を移動させることは困難である。
【０００９】
本発明は、上記に鑑みてなされたものであって、立体画像表示部に表示されている立体画像の移動指示を受け付けた場合、受け付けた移動指示による立体画像の移動位置を、適切な立体画像が表示されるように制御することを目的とする。
【課題を解決するための手段】
【００１０】
上述した課題を解決し、目的を達成するために、本発明の立体画像表示装置は、カラー画素ドットが複数個配列された画像表示素子と、この画像表示素子上に配置され、前記画像表示素子から出射する光線方向を限定する光線方向限定素子とを有している立体画像表示部を備えて、当該立体画像表示部に対して立体画像を視認可能に表示する立体画像表示装置において、前記立体画像表示部に表示されている前記立体画像の移動指示を受け付ける移動指示受付手段と、この移動指示受付手段により受け付けた移動指示による前記立体画像の移動位置を、前記立体画像のカラー情報が崩れない位置に修正する表示位置修正手段と、を備える。
【００１１】
また、本発明の立体画像表示装置は、カラー画素ドットが複数個配列された画像表示素子と、この画像表示素子上に配置され、前記画像表示素子から出射する光線方向を限定する光線方向限定素子とを有している立体画像表示部を備えて、当該立体画像表示部に対して立体画像を視認可能に表示する立体画像表示装置において、前記立体画像表示部に表示されている前記立体画像の移動指示を受け付ける移動指示受付手段と、この移動指示受付手段により受け付けた移動指示による前記立体画像の移動位置を、前記立体画像の視域方向を変化させない位置に修正する視域方向修正手段と、を備える。
【００１２】
また、本発明の立体画像表示プログラムは、カラー画素ドットが複数個配列された画像表示素子と、この画像表示素子上に配置され、前記画像表示素子から出射する光線方向を限定する光線方向限定素子とを有している立体画像表示部を備えた立体画像表示装置のコンピュータに当該立体画像表示部に対して立体画像を視認可能に表示させる立体画像表示プログラムであって、前記立体画像表示部に表示されている前記立体画像の移動指示を受け付ける移動指示受付機能と、この移動指示受付機能により受け付けた移動指示による前記立体画像の移動位置を、前記立体画像のカラー情報が崩れない位置に修正する表示位置修正機能と、を前記コンピュータに実行させる。
【００１３】
また、本発明の立体画像表示プログラムは、カラー画素ドットが複数個配列された画像表示素子と、この画像表示素子上に配置され、前記画像表示素子から出射する光線方向を限定する光線方向限定素子とを有している立体画像表示部を備えた立体画像表示装置のコンピュータに当該立体画像表示部に対して立体画像を視認可能に表示させる立体画像表示プログラムであって、前記立体画像表示部に表示されている前記立体画像の移動指示を受け付ける移動指示受付機能と、この移動指示受付機能により受け付けた移動指示による前記立体画像の移動位置を、前記立体画像の視域方向を変化させない位置に修正する視域方向修正機能と、を前記コンピュータに実行させる。
【００１４】
また、本発明の立体画像表示方法は、カラー画素ドットが複数個配列された画像表示素子と、この画像表示素子上に配置され、前記画像表示素子から出射する光線方向を限定する光線方向限定素子とを有している立体画像表示部を備えた立体画像表示装置の当該立体画像表示部に対して立体画像を視認可能に表示させる立体画像表示方法であって、前記立体画像表示部に表示されている前記立体画像の移動指示を受け付ける移動指示受付工程と、この移動指示受付工程により受け付けた移動指示による前記立体画像の移動位置を、前記立体画像のカラー情報が崩れない位置に修正する表示位置修正工程と、を含む。
【００１５】
また、本発明の立体画像表示方法は、カラー画素ドットが複数個配列された画像表示素子と、この画像表示素子上に配置され、前記画像表示素子から出射する光線方向を限定する光線方向限定素子とを有している立体画像表示部を備えた立体画像表示装置の当該立体画像表示部に対して立体画像を視認可能に表示させる立体画像表示方法であって、前記立体画像表示部に表示されている前記立体画像の移動指示を受け付ける移動指示受付工程と、この移動指示受付工程により受け付けた移動指示による前記立体画像の移動位置を、前記立体画像の視域方向を変化させない位置に修正する視域方向修正工程と、を含む。
【発明の効果】
【００１６】
本発明によれば、立体画像を移動指示により移動させても、適切な立体画像が表示されるように制御することができるという効果を奏する。
【発明を実施するための最良の形態】
【００１７】
以下に添付図面を参照して、この発明にかかる立体画像表示装置、立体画像表示プログラムおよび立体画像表示方法の最良な実施の形態を詳細に説明する。
【００１８】
［第１の実施の形態］
本発明の第１の実施の形態を図１ないし図４に基づいて説明する。
【００１９】
図１は、本発明の第１の実施の形態にかかる立体画像表示装置１００の構成を示すブロック図である。立体画像表示装置１００は、情報処理を行うＣＰＵ（Central Processing Unit）１、ＢＩＯＳなどを記憶した読出し専用メモリであるＲＯＭ（Read Only Memory）２、各種データを書換え可能に記憶する記憶部であるＲＡＭ（Random Access Memory）３、立体画像のコンテンツを格納する画像格納手段として機能するとともに立体画像表示プログラムを格納するＨＤＤ（Hard Disk Drive）４、立体画像を出力・表示するインテグラルイメージング方式の立体画像表示部５、ユーザが本装置に対して各種指示を入力したり各種情報を表示したりするユーザインタフェース６等から構成されている。
【００２０】
立体画像表示装置１００のＣＰＵ１は、立体画像表示プログラムに従って各種の演算処理を実行して各部を制御する。立体画像表示装置１００のＣＰＵ１が立体画像表示プログラムに従って実行する本実施の形態の特長的な処理について以下に説明する。
【００２１】
図２は、立体画像表示装置１００の機能構成を示すブロック図である。図２に示すように、立体画像表示装置１００は、ＣＰＵ１が立体画像表示プログラムに従って各部を制御することにより、画像格納手段（ＨＤＤ４）に格納されている立体画像のコンテンツを読み出す画像読み込み手段１０と、画像読み込み手段１０で読み出された画像を立体画像表示部５に出力する適切な画像に変換する画像変換手段１１と、立体画像表示部５に対する出力画像の表示位置を適切に制御して決定する出力画像表示位置決定手段１２と、現在接続されている立体画像表示部５に適した移動単位を決定する移動単位決定手段１３と、移動単位決定手段１３で決定した移動単位をＲＡＭ３などに記憶する移動単位記憶手段１４と、ＲＡＭ３などに記憶されている複数の移動単位のうちいずれを使うのかあるいはいずれも使わないのかを切り替える移動単位切り替え手段１５と、を備えることになる。
【００２２】
ここで、立体画像表示部５について説明する。図３は、立体画像表示部５の構成を一部拡大して示す斜視図である。図３に示すように、立体画像表示部５は、２次元平面状に複数配列されたカラー画素ドットを備えてカラー画像を表示可能な画像表示素子５１と、カラー画素ドットから出射する光線方向を限定することにより水平方向の視認可能な角度を制限する光線方向限定素子５２から構成されている。画像表示素子５１は、画面内のカラー画素ドットの位置ずれが光線の出射方向に大きく影響することから、２次元上に画素ドットがマトリクス配列された、所謂フラットパネルがＣＲＴ、プロジェクターよりも好ましく、そのような表示方式として非発光型の液晶パネル（ＬＣＤ）、発光型のプラズマディスプレイパネル（ＰＤＰ）、有機ＥＬ（エレクトロルミネッセンス）パネルなどが挙げられる。光線方向限定素子５２は、画面垂直方向に母線を有する垂直レンティキュラーレンズである。
【００２３】
画像表示素子５１には、縦横比が３：１の画素が、横方向および縦方向にそれぞれ直線状にマトリクス状に並び、各画素は同一行内で横方向にＲ（赤）、Ｇ（緑）、Ｂ（青）が交互に並ぶように配列されており、同一列内で縦方向にＲ（赤）、Ｂ（青）、Ｇ（緑）が交互に並ぶように配列されている。図４は、画素配列の一例を示す平面図である。−９から９までの数字は、視差番号を表しており、隣接視差番号は隣接列に割当てられている。画素行の縦周期は、画素の横周期Ｐｐの３倍である。図３に示される画像表示素子５１では、１８列６行の画素で１実効画素５３（この１実効画素５３は、図３において黒枠で示されている）が構成される。このような画像表示素子５１の構造では、水平方向に１８視差を与える立体表示が可能となる。
【００２４】
このような立体画像表示部５に出力される画像は、各視差画像がインターリーブされているため、光線方向限定素子（垂直レンティキュラーレンズ）５２無しで観察すると正常な画像とは認識されず、ＪＰＥＧやＭＰＥＧといった画像圧縮をするのに適していない。そこで、画像格納手段（ＨＤＤ４）には、各視差画像をアレイ状に並べた画像が圧縮されて格納されており、再生時の画像変換手段１１においては、画像読み込み手段１０で読み出された画像をデコードして画像を復元するとともに、立体画像表示部５に出力できる形式の画像に変換するためにインターリーブ変換を行う。また、画像変換手段１１においては、デコードした画像をインターリーブ変換する前に、拡大縮小してサイズを変えることもできる。これは、サイズを変えてもインターリーブ変換は正しく行うことができるからである。
【００２５】
ところで、インテグラルイメージング方式の立体画像表示部５の画像表示素子５１においては、カラーフィルタの配色が縦方向にＲＢＧＲＢＧ・・・と並べることにより縦方向の３サブピクセルでひとつの色を構成するようにしていることから、表示する画像が垂直方向に１または２画素ずれてしまうとＲＧＢの組み合わせが狂って画像の色が変わってしまう。すなわち、インテグラルイメージング方式の立体画像表示部５においてディスプレイ解像度より小さい立体画像コンテンツを表示する場合には、コンテンツを配置する場所によっては正しいカラー画像が表示されなくなるという問題がある。
【００２６】
そこで、本実施の形態においては、移動単位決定手段１３によって現在接続されている立体画像表示部５に適した移動単位を決定するとともに、移動単位決定手段１３で決定した移動単位は移動単位記憶手段１４によってＲＡＭ３などに記憶し、ＲＡＭ３などに記憶されている複数の移動単位のうちいずれを使うのかあるいはいずれも使わないのかを移動単位切り替え手段１５により切り替える。そして、出力画像表示位置決定手段１２は、移動単位切り替え手段１５により切り替えられた移動単位を参照して立体画像表示部５に対する出力画像の表示位置を適切に制御して決定する。この点について、以下において詳述する。
【００２７】
移動単位は立体画像表示部５の種類によって異なる値を持っており、種類毎の移動単位を移動単位記憶手段１４によりＲＡＭ３などに記憶しておく。移動単位決定手段１３は、立体画像表示部５の属性情報から移動単位を決定する。この決定の仕方としては、立体画像表示部５の種別と移動単位の組み合わせをテーブルとして保持しておき、テーブルを参照することで移動単位を求めることもできるし、光線方向限定素子（垂直レンティキュラーレンズ）５２の傾きと視差数から計算で求めることもできる。また、ユーザがユーザインタフェース６を通して立体画像表示部５の種類を指定するなどして移動単位決定手段１３を制御することもできる。さらに、立体画像表示部５自体に移動単位量を記憶しておき、それを読み出して記憶することも可能である。
【００２８】
インターリーブ変換された画像を立体画像表示部５に出力する際には、出力画像表示位置決定手段１２で決められた出力画像の表示位置へ出力する。ユーザが出力画像の位置を変更したときは、出力画像表示位置決定手段１２は、移動単位を参照して、変更したい位置に最も近い適切な場所に修正して表示する。
【００２９】
ここで、ユーザが出力画像の位置を変更した場合の出力画像表示位置決定手段１２による出力画像の表示位置の修正手法について図４に示すフローチャートを参照しつつ説明する。なお、移動単位記憶手段１４によりＲＡＭ３には立体画像の視域方向を変化させない最小の移動単位である第１の移動単位（ｘｕ１、ｙｕ１）と立体画像のカラー情報が崩れない最小の移動単位である第２の移動単位（ｘｕ２、ｙｕ２）とが記憶されており、本実施の形態においては第２の移動単位（ｘｕ２、ｙｕ２）を参照して位置を調整する。
【００３０】
例えば、ＯＳ上で立体画像の表示を扱う場合として、ＯＳが有しているグラフィカルユーザインタフェースであるウィンドウの内容が立体画像であり、そのウィンドウを移動させることを考える。通常、ウィンドウを表示する際は、その左上の座標（ｘｗ、ｙｗ）を指定して表示する。すなわち、ウィンドウ内の立体画像表示部分は、ウィンドウの左端から一定の位置（ｘｓ、ｙｓ）だけずれて表示されることになるため、その左上の座標は（ｘｗ＋ｘｓ、ｙｗ＋ｙｓ）となる。出力画像表示位置決定手段１２は、この（ｘｗ＋ｘｓ、ｙｗ＋ｙｓ）の位置が適切になるように調整する。
【００３１】
図４に示すように、ユーザがウィンドウの位置を移動したことによるウィンドウ左上の仮の座標（ｘｗｔ、ｙｗｔ）を取得すると（ステップＳ１）、ウィンドウ内の立体画像表示部分の仮の左上座標（ｘｗｔ＋ｘｓ、ｙｗｔ＋ｙｓ）を求める（ステップＳ２）。
【００３２】
続くステップＳ３では、（ｎｎ×ｘｕ２、ｍｍ×ｙｕ２）が最も立体画像部分の仮の左上座標（ｘｗｔ＋ｘｓ、ｙｗｔ＋ｙｓ）に近くなるｎｎ、ｍｍを求める。より詳細には、
ｎ×ｘｕ２ ＜ ｘｗｔ＋ｘｓ ＜ （ｎ＋１）×ｘｕ２
ｍ×ｙｕ２ ＜ ｙｗｔ＋ｙｓ ＜ （ｍ＋１）×ｙｕ２
を満たす整数ｎ、ｍが存在する。このとき、
（ｘｗｔ＋ｘｓ）−（ｎ×ｘｕ２） ＜ [（ｎ＋１）×ｘｕ２]−（ｘｗｔ＋ｘｓ）
であれば、ｎｎ＝ｎ、そうでなければ、ｎｎ＝ｎ＋１とする。
また、
（ｙｗｔ＋ｙｓ）−（ｍ×ｙｕ２） ＜ [（ｍ＋１）×ｙｕ２]−（ｙｗｔ＋ｙｓ）
であれば、ｍｍ＝ｍ、そうでなければ、ｍｍ＝ｍ＋１とする。すなわち、ｎ×ｘｕ２が最もｘｗｔ＋ｘｓに近くなるような整数ｎがｎｎであり、ｍ×ｙｕ２が最もｙｗｔ＋ｙｓに近くなるような整数ｍがｍｍであることを表している。
【００３３】
続いて、求められたｎｎ、ｍｍを用いて、ウィンドウの最終的な左上座標（ｎｎ×ｘｕ２−ｘｓ、ｍｍ×ｙｕ２−ｙｓ）を求め（ステップＳ４）、求められた位置にウィンドウおよび立体画像を表示する（ステップＳ５）。より詳細には、
ｘｗ＝ｎｎ×ｘｕ２−ｘｓ
ｙｗ＝ｍｍ×ｙｕ２−ｙｓ
によって、調整されたウィンドウ位置（ｘｗ、ｙｗ）を求め、この座標に従って、ウィンドウを表示する。そうすることにより、ウィンドウ内の立体画像部分が適切な状態で表示されることになる。
【００３４】
このように本実施の形態によれば、立体画像表示部に表示されている立体画像の移動指示を受け付けた場合、受け付けた移動指示による立体画像の移動位置を、立体画像のカラー情報が崩れない位置に修正する。これにより、インテグラルイメージング方式の立体画像表示装置のように立体画像を移動する際にピクセルまたはサブピクセルのセットの単位を考慮しないと立体画像の見え方がおかしくなってしまうような場合であっても、正しく立体画像として見えなくなってしまうという現象を避けることができ、立体画像を移動指示により移動させても、適切な立体画像が表示されるように制御することができる。
【００３５】
なお、ＯＳが有しているグラフィカルユーザインタフェースであるウィンドウの内部に立体画像が表示されている場合、ウィンドウ自体を移動させることも、ウィンドウ自体は移動せず内部の立体画像のみを移動させることも、どちらも実装としては可能である。
【００３６】
［第２の実施の形態］
次に、本発明の第２の実施の形態を図５ないし図９に基づいて説明する。なお、前述した第１の実施の形態と同じ部分は同じ符号で示し説明も省略する。
【００３７】
第１の実施の形態では、ＯＳが有しているグラフィカルユーザインタフェースであるウィンドウを移動させた場合であっても、常に視域方向が維持されていた。しかしながら、場合によっては、視域方向をコントロールして、常に観察者の方向に向けるという工夫をすることで使いやすさが増す場合がある。例えば、画面サイズが大きくウィンドウが比較的小さい場合に、ウィンドウを端の方に移動すると、観察者の位置が視域の端の方に移動してしまうか、はずれてしまう場合がある。もともと立体画像表示部５の特性として、視域の幅が狭い設計がされている場合も同じようなことが起こりうる。
【００３８】
ここで、図５は垂直レンティキュラーレンズを用いた１２視差のインテグラルイメージング方式の立体画像表示部における１要素画像中の１２のサブピクセルがレンズによって、どのように空間に再生されるかを示したものである。ここで、画像が１画素ずれたとする。１画素は３サブピクセルのずれに相当するので、要素画像の１２サブピクセルの光線再生が図６のように変化する。そして、視域の中心方向も、ＡからＢのように変化する。そのずれは、観察距離Ｌにおいて“Ｌ×３×tanθ”であり、tanθは、１光線間隔を表すファクターであり、各立体画像表示部に固有の値である。正確には、１要素画像にｓ個のサブピクセルがあり、それをレンズが±θ１の角度に振り分けるとした時、tanθは以下の式で表される。
tanθ ＝ ２×tanθ１÷ｓ
【００３９】
ここで、ＯＳが有しているグラフィカルユーザインタフェースであるウィンドウが移動されたとき、その中の立体表示画像部分の視域の中心が、観察位置のもっとも近くを通過するように、視域方向を調整することができる。ここで、視域の中心は、立体画像部分の中心位置における、光線再生方向の中心であるとする。まず、ある要素画像のｘ座標が、“ａ×ｘｕ１＋ｂ×ｘｕ２”であるときに、その光線再生方向の中心方向がどこを向くのかを考察する。１２視差の立体表示部の場合、１要素画像の幅は４画素（１２サブピクセル）分であり、ここで、ａは−３から＋３までの値をとるとする。そして、それぞれのａの値に対し、観察距離Ｌにおける視域中心のずれは、“−ａ×Ｌ×３×tanθ”となる。視域のずれは、画面のｘ座標の方向と同じ場合に正であるとする。ただし、例えば、ａ＝−１の時は、“Ｌ×３×tanθ”の位置にずれるが、また同時に、“−３×Ｌ×３×tanθ”の位置でも同じ点が観測できる（図７参照）。これは、通常の立体画像観察の時においても、“±１２×Ｌ×tanθ”の位置で繰り返し同じ点が観測できるのと同じである。
【００４０】
そこで、本実施の形態においては、例えばＯＳが有しているグラフィカルユーザインタフェースであるウィンドウの位置をユーザが移動した場合には、第１の実施の形態で説明したカラー情報が崩れない最小の移動単位に応じた移動位置の調整に加えて、視域方向を変化させない最小の移動単位に応じた移動位置の調整を行い、視域方向を常に観察者の方向に向けるようにしたものである。
【００４１】
図８は、本発明の第２の実施の形態の立体画像表示装置１００の機能構成を示すブロック図である。図８に示すように、立体画像表示装置１００は、ＣＰＵ１が立体画像表示プログラムに従って各部を制御することにより、第１の実施の形態で説明した画像格納手段（ＨＤＤ４）に格納されている立体画像のコンテンツを読み出す画像読み込み手段１０と、画像読み込み手段１０で読み出された画像を立体画像表示部５に出力する適切な画像に変換する画像変換手段１１と、現在接続されている立体画像表示部５に適した移動単位を決定する移動単位決定手段１３と、移動単位決定手段１３で決定した移動単位をＲＡＭ３などに記憶する移動単位記憶手段１４とに加えて、移動単位記憶手段１４と連携する複数の表示位置制御手段（ウィンドウ位置制御手段２１、スクロール制御手段２２、視域方向制御手段２３）と出力画像表示手段２４とを備えている。
【００４２】
なお、移動単位記憶手段１４がＲＡＭ３などに記憶する移動単位としては、カラー情報が崩れない最小の移動単位である第２の移動単位と視域方向を変化させない最小の移動単位である第１の移動単位とを立体画像表示部５の種類毎に有している。
【００４３】
ウィンドウ位置制御手段２１は、移動単位記憶手段１４によりＲＡＭ３などに記憶されている複数の移動単位から現在接続されている立体画像表示部５に適した移動単位（第１の移動単位）を決定し、立体画像表示部５に対する出力画像の表示位置を適切に制御して決定し、出力画像表示手段２４に位置情報を渡している。
【００４４】
視域方向制御手段２３は、立体画像表示装置１００に備えられている頭部位置検出手段３０によって、観察者の頭部の位置を検出して、その位置に最適な視域方向を求め、その位置情報を出力画像表示手段２４に渡している。頭部位置検出手段３０については、ここでは詳述しないが、例えば、超音波センサを頭部に装着してその位置を検出したり、マーカーを頭部に付けてカメラ画像を用いて頭部位置を検出したり、観察者を含む画像から顔の位置を検出する方法などを用いることができる。
【００４５】
スクロール制御手段２２は、立体画像をスクロールさせる際において、移動単位記憶手段１４によりＲＡＭ３などに記憶されている複数の移動単位から現在接続されている立体画像表示部５に適した移動単位（第２の移動単位）を決定し、立体画像表示部５に対する出力画像の表示位置を適切に制御して決定し、出力画像表示手段２４に位置情報を渡している。例えば、右端と左端とが連続している、または上端と下端とが連続しているような立体画像は、それを自由な方向にスクロールすることで端から表示できなくなった部分を反対側に表示し、無限のスクロールが可能になる。このようなスクロール制御の場合は、基本的には、移動単位（第２の移動単位）を用いることで、視域方向を維持したままスクロールすることが可能になる。なお、スクロールをしつつ、頭部位置に応じて視域制御も同時に行いたければ、視域方向制御手段２３とも連携し、スクロール位置と視域方向を共に制御することも可能になる。
【００４６】
出力画像表示手段２４は、各表示位置制御手段（ウィンドウ位置制御手段２１、スクロール制御手段２２、視域方向制御手段２３）から渡された位置情報に従って立体画像を表示することで、適切な視域方向制御が可能となる。
【００４７】
なお、立体画像は画面全体に表示されている場合でも、視域方向を制御したい場合もある。このような場合は、立体画像が表示装置全体に表示されている状態から、第２の移動単位で、わずかに位置を調整することで視域方向を制御できる。
【００４８】
ここで、ユーザが出力画像の位置を変更した場合の視域方向の最適化手法について図９に示すフローチャートを参照しつつ説明する。ここでは、ＯＳ上で立体画像の表示を扱う場合として、ＯＳが有しているグラフィカルユーザインタフェースであるウィンドウの内容が立体画像であり、そのウィンドウを移動させることを考える。なお、観察者の位置は、立体画像表示部５の中心から距離Ｌの位置であるとする。
【００４９】
図９に示すように、ユーザがウィンドウの位置を移動したことによるウィンドウ左上の仮の座標（ｘｗｔ、ｙｗｔ）を取得すると（ステップＳ１１）、立体画像部分の中心位置と立体画像表示部５の中心の距離Ｄ（立体画像部分の中心が立体画像表示部５の中心よりｘ軸の正の方向にずれている場合、Ｄが正とする）を求める（ステップＳ１２）。すなわち、観察距離Ｌにおいて、Ｄだけ視域中心がずれるようにすればよい。
【００５０】
続くステップＳ１３では、視域のずれ量“−ａ×Ｌ×３×tanθ”が観察距離において適切な量になるようなａを求める。すなわち、視域のずれ量“−ａ×Ｌ×３×tanθ”が最も立体画像部分の中心位置と立体画像表示部５の中心の距離Ｄに近いａを求める。
【００５１】
次いで、ａに４の倍数を加えるか減ずるかして、ａを０から３の間の整数にする（ステップＳ１４）。
【００５２】
続いて、“ａ×ｘｕ１＋ｂ×ｘｕ２”が立体画像部分の中心の仮のウィンドウ位置に最も近くなるようなｂを求める（ステップＳ１５）。
【００５３】
続くステップＳ１６では、ステップＳ１４，１５で求められたａ，ｂを用いて立体画像中心“ａ×ｘｕ１＋ｂ×ｘｕ２”を求め、この立体画像中心を元にウィンドウの左上座標を決定する。
【００５４】
最後に、ステップＳ１６で求められた位置にウィンドウおよび立体画像を表示して処理を終了する（ステップＳ１７）。
【００５５】
以上、立体画像表示部５に垂直レンティキュラーレンズが用いられている場合について説明したが、立体画像表示部５に斜めレンティキュラーレンズが用いられている場合について簡単に説明する。
【００５６】
例えば、斜めレンティキュラーレンズで構成される１６視差の立体画像表示部５の場合、水平方向に、第２の移動単位だけ移動すると、４視差分視域がずれるが、垂直方向に第２の移動単位だけ移動すると、１視差分視域が移動する。垂直レンティキュラーレンズの場合は、垂直方向に移動しても視域の水平方向の移動はなかったため、水平方向のみの位置調整のみを考えれば良かったが、斜めレンティキュラーレンズ方式の場合は、垂直方向の調整も加味することでよりきめの細かい視域制御ができる。いずれにしろ、立体画像部分の中心位置と表示装置の中心との距離を求め、視域をどの程度ずらすのが適正なのかを求め、それに合わせて、第１の移動単位と第２の移動単位を組み合わせた最適位置を求める、というプロセスは同様である。
【００５７】
ここで、各種の立体画像表示部５に対応した第１の移動単位、第２の移動単位の計算手法について説明する。ここでは、垂直レンティキュラーレンズと斜めレンティキュラーレンズの場合のＮ視差の立体画像表示部５の場合の計算手法を示す。
【００５８】
まず、カラー情報が崩れない最小の移動単位である第２の移動単位については、立体画像表示部５の画像表示素子５１のカラーフィルタの配列が影響する。通常は、ＲＧＢのカラーフィルタが垂直方向にストライプ配列されており、斜めレンティキュラーレンズの場合は、カラーフィルタはそれと同じ配列である。垂直レンティキュラーレンズの立体画像表示装置の場合は、図３に示したように、垂直方向でフィルタの色が同じではなく、３画素毎に繰り返される。したがって、垂直レンティキュラーレンズの場合は、垂直方向には３画素単位でしか移動できない。水平方向および斜めレンティキュラーレンズの場合は、カラー情報が崩れることは無いので、１画素単位で移動できる。
【００５９】
次に、視域方向を変化させない最小の移動単位である第１の移動単位について説明する。垂直レンティキュラーレンズの場合は、水平方向のＮサブピクセルで１つの要素画像を構成するが、これはＮ／３ピクセルにあたる。従って、Ｎ／３画素移動することで視域方向は変わらない。斜めレンティキュラーレンズの場合は、例えば１６視差の場合、４×４画素が要素画像の単位であり、この１６画素＝４８サブピクセルを適切に１６方向に配分している。同様に２５視差の場合には、５×５画素が要素画像単位である。従って、１６視差の場合は、垂直、水平方向ともに４画素単位で移動させることで視域方向は変わらず、２５視差の場合は、垂直、水平方向ともに５画素単位で移動させることで視域が変わらない。
【００６０】
したがって、Ｎ視差垂直レンティキュラーレンズの場合は、
第１の移動単位は（Ｎ／３，３）
第２の移動単位は（１，３）
となる。一方、Ｎ視差斜めレンティキュラーレンズの場合は、
第１の移動単位は（√Ｎ，√Ｎ）
第２の移動単位は（１，１）
となる。
【００６１】
本実施の形態によれば、ＯＳが有しているグラフィカルユーザインタフェースであるウィンドウの内容を立体画像表示することが可能である。このようなＯＳが有しているグラフィカルユーザインタフェースは、各種のアイコンやフォント、デスクトップ画面など多くの画像要素の組み合わせで表現される。フォントは、テキスト情報であるが、画面に表示する際にはドットで表現された一種の画像であるから、画像要素の一つと考える。これらの画像要素それぞれを立体表示可能な画像として作成しておき、それを配置することで立体表示された画面構成を作ることができる。その際に、例えばアイコンのような小さな画像を立体表示することは可能であるが、小さい故に、視域方向の制御が重要となる。端の方にアイコンが置かれているときには、視域が観察者の位置に向くように、第２の移動単位で自動的に調整されるのが望ましい。本実施の形態によれば、アイコンを移動させたときに位置を自動調整することで、視域が観察者の位置に向くようすることが可能となる。また、ＯＳにはアイコンを自動整列される機能を有しているものがあるが、そのようなときにも、この視域の制御を考慮して整列させる。このような位置の自動制御機能は、ＯＳの内部に組み込まれるのが適当である。また、使用者によって、標準的な顔の位置（特に表示装置との距離）が異なることがあり、そのような場合には、前提とする顔位置の設定を変更できる。場合によっては、カメラなどを用いて頭部の位置を常に監視することで、その位置に適した視域調整をダイナミックに行うこともできる。このようにすることで、例えば、画面の奥に引っ込んだデスクトップ画面があり、デスクトップ面より手前に飛び出た立体アイコンが配置され、立体的なマウスカーソルで操作を行うような環境が実現できる。そして、画面上に表示されている全ての立体画像は、観察者の位置から適切に立体視されることになる。
【００６２】
このように本実施の形態によれば、立体画像表示部に表示されている立体画像の移動指示を受け付けた場合、受け付けた移動指示による立体画像の移動位置を、立体画像の視域方向を変化させない位置に修正する。これにより、常に視域方向が観察者に向いた状態で立体画像表示部分を移動することができることにより、表示装置全体より小さなウィンドウに含まれる立体画像を視域方向を維持したまま移動したり、また表示場所によって適切な視域方向となるように制御したりすることができ、適切な立体画像が表示されるように制御することができる。
【図面の簡単な説明】
【００６３】
【図１】本発明の第１の実施の形態にかかる立体画像表示装置の構成を示すブロック図である。
【図２】立体画像表示装置の機能構成を示すブロック図である。
【図３】立体画像表示部の構成を一部拡大して示す斜視図である。
【図４】立体画像の表示位置の修正処理の流れを示すフローチャートである。
【図５】本発明の第２の実施の形態の前提となるインテグラルイメージング方式の立体画像表示部における標準状態の視域方向を示す説明図である。
【図６】表示位置が第１の移動単位だけずれた場合の視域方向の変化を示す説明図である。
【図７】同時に観察される２つの視域方向を示す説明図である。
【図８】本発明の第２の実施の形態の立体画像表示装置の機能構成を示すブロック図である。
【図９】視域方向の最適化処理の流れを示すフローチャートである。
【符号の説明】
【００６４】
３        記憶部
５        立体画像表示部
１４      移動単位記憶手段
１５      移動単位切り替え手段
３０      頭部位置検出手段
５１      画像表示素子
５２      光線方向限定素子
１００    立体画像表示装置
【図１】
2007081562.tif 000003
【図２】
2007081562.tif 000004
【図３】
2007081562.tif 000005
【図４】
2007081562.tif 000006
【図５】
2007081562.tif 000007
【図６】
2007081562.tif 000008
【図７】
2007081562.tif 000009
【図８】
2007081562.tif 000010
【図９】
2007081562.tif 000011