(57)【要約】 【課題】どの位置から観察しても見える向きが変わらず、かつ、歪まない立体画像を呈示可能な画像処理装置、方法、及びプログラム、並びに、立体画像表示装置を提供する。【解決手段】実施形態の画像処理装置は、検出部と決定部と生成部とを備える。検出部は、立体画像を観察する観察者の実空間における位置を検出する。決定部は、実空間における観察者の位置に基づき、観察対象物の３次元データをレンダリングするための仮想空間において、３次元データの特定領域が仮想空間における観察者の位置に向けられるように、仮想空間における観察者の位置と３次元データと立体画像が表示されるディスプレイ面との位置関係を示す第１位置関係を決定する。生成部は、第１位置関係に基づいて３次元データをレンダリングして立体画像を生成する。【選択図】図４
2014241015.tif 000002
【特許請求の範囲】
【請求項１】
立体画像を観察する観察者の実空間における位置を検出する検出部と、
前記実空間における前記観察者の位置に基づき、観察対象物の３次元データをレンダリングするための仮想空間において、前記３次元データの特定領域が前記仮想空間における前記観察者の位置に向けられるように、前記仮想空間における前記観察者の位置と前記３次元データと前記立体画像が表示されるディスプレイ面との位置関係を示す第１位置関係を決定する決定部と、
前記第１位置関係に基づいて前記３次元データをレンダリングして前記立体画像を生成する生成部と、を備える、
画像処理装置。
【請求項２】
前記仮想空間における前記ディスプレイ面の位置と姿勢、前記３次元データの位置は予め定められており、
前記決定部は、
前記実空間における前記観察者の位置に応じて、前記仮想空間における前記観察者の位置を求め、前記特定領域が、その求めた前記観察者の位置に向けられるように、前記３次元データの姿勢を決定する、
請求項１に記載の画像処理装置。
【請求項３】
前記決定部は、前記３次元データ全体が立体表示されるよう、前記３次元データのサイズを可変に設定する、
請求項２に記載の画像処理装置。
【請求項４】
前記決定部は、前記３次元データの奥行きを示すデプスが、前記ディスプレイ面に対する奥行き方向の範囲であって前記立体画像を立体視可能な範囲を示す立体表示限界範囲に収まるよう、前記３次元データのデプスを可変に設定する、
請求項２に記載の画像処理装置。
【請求項５】
入力に応じて、前記３次元データのうちの何れかの領域を前記特定領域として指定する指定部をさらに備える、
請求項２に記載の画像処理装置。
【請求項６】
前記指定部は、
前記特定領域の指定を指示する入力を受け付けた場合、前記仮想空間における前記３次元データのうち、前記仮想空間における現在の前記観察者の位置へ向けられた領域を前記特定領域として指定する、
請求項５に記載の画像処理装置。
【請求項７】
前記仮想空間における前記観察者の位置は予め定められており、
前記決定部は、
前記実空間における前記観察者の位置に応じて、実空間における前記観察者の位置と前記ディスプレイ面との相対的な位置関係を示す第２位置関係を求め、その求めた第２位置関係に応じて、前記仮想空間における前記ディスプレイ面の位置と姿勢を決定し、
前記ディスプレイ面と前記３次元データとの予め定められた位置関係を示す第３位置関係から、前記仮想空間における前記３次元データの位置を決定し、前記仮想空間において、前記特定領域が前記仮想空間における前記観察者の位置に向けられるように、前記仮想空間における前記３次元データの姿勢を決定する、
請求項１に記載の画像処理装置。
【請求項８】
前記仮想空間における前記３次元データの位置と姿勢は予め定められており、
前記決定部は、
前記実空間における前記観察者の位置に応じて、実空間における前記観察者の位置と前記ディスプレイ面との相対的な位置関係を示す第２位置関係を求め、その求めた第２位置関係に応じて、前記仮想空間における前記ディスプレイ面の正面方向と前記ディスプレイ面に対する前記観察者の位置からの視線方向とのなす角度を示す仮想角度と、前記仮想空間における前記ディスプレイ面と前記観察者の位置との間の距離を示す仮想距離を決定し、
前記仮想空間において、前記特定領域が前記仮想空間における前記観察者の位置に向けられ、かつ、前記３次元データと前記観察者の位置との間の距離が前記仮想距離と等しくなるよう、前記仮想空間における前記観察者の位置を決定し、
前記ディスプレイ面と前記３次元データとの予め定められた位置関係を示す第３位置関係から、前記仮想空間における前記ディスプレイ面の位置を決定し、前記仮想角度に応じて、仮想空間における前記ディスプレイ面の姿勢を決定する、
請求項１に記載の画像処理装置。
【請求項９】
立体画像を観察する観察者の実空間における位置を検出し、
前記実空間における前記観察者の位置に基づき、観察対象物の３次元データをレンダリングするための仮想空間において、前記３次元データの特定領域が前記仮想空間における前記観察者の位置に向けられるように、前記仮想空間における前記観察者の位置と前記３次元データと前記立体画像が表示されるディスプレイ面との位置関係を決定し、
前記位置関係に基づいて前記３次元データをレンダリングして前記立体画像を生成する、
画像処理方法。
【請求項１０】
コンピュータを、
立体画像を観察する観察者の実空間における位置を検出する検出手段と、
前記実空間における前記観察者の位置に基づき、観察対象物の３次元データをレンダリングするための仮想空間において、前記３次元データの特定領域が前記仮想空間における前記観察者の位置に向けられるように、前記仮想空間における前記観察者の位置と前記３次元データと前記立体画像が表示されるディスプレイ面との位置関係を決定する決定手段と、
前記位置関係に基づいて前記３次元データをレンダリングして前記立体画像を生成する生成手段として機能させる画像処理プログラム。
【請求項１１】
立体画像を観察する観察者の実空間における位置を検出する検出部と、
前記実空間における前記観察者の位置に基づき、３次元データをレンダリングするための仮想空間において、前記３次元データの特定領域が前記仮想空間における前記観察者の位置に向けられるように、前記仮想空間における前記観察者の位置と前記３次元データと前記立体画像が表示されるディスプレイ面との位置関係を決定する決定部と、
前記位置関係に基づいて前記３次元データをレンダリングして前記立体画像を生成する生成部と、
前記ディスプレイ面を有する表示部と、を備える、
立体画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置、方法、及びプログラム、並びに、立体画像表示装置に関する。
【背景技術】
【０００２】
立体画像を表示する技術として、専用のメガネを用いて観察者の両眼に異なる映像を呈示することで立体像を認識させる方式や、専用のメガネを用いずに立体像を認識させる方式が知られている。専用のメガネを用いずに立体像を認識させる方式として、二眼式、多眼式、インテグラル・イメージング方式（ＩＩ方式）、インテグラル・ビデオグラフィー方式（ＩＶ方式）などが知られている（以下、ＩＩ方式及びＩＶ方式をまとめて「ＩＩ方式」と称する）。
【０００３】
例えば、複数の視点から立体視可能な立体画像を生成するために、各視点の前面に透視投影面を設定し、視点ごとに、当該視点から見える３次元モデルのレンダリングを行って立体画像を生成する技術が知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１６３５４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来技術では、例えば医療用データなどのように、決まった方向からオブジェクトを観察したい場合には、観察者の視点位置によってオブジェクトの見える向きが変化してしまい、所望の方向からオブジェクトを観察できないという問題がある。
【０００６】
また、観察者の視点位置によらず、特定の視点位置から見える状態を維持すると、所望の方向からオブジェクトを観察できるが、実空間におけるディスプレイ面と仮想空間におけるディスプレイ面（透視投影面）とが対応していないため、正しい透視投影変換を行うことができず、観察者から見える立体画像が歪んでしまうという問題がある。
【０００７】
本発明が解決しようとする課題は、どの位置から観察しても見える向きが変わらず、かつ、歪まない立体画像を呈示可能な画像処理装置、方法、及びプログラム、並びに、立体画像表示装置を提供することである。
【課題を解決するための手段】
【０００８】
実施形態の画像処理装置は、検出部と決定部と生成部とを備える。検出部は、立体画像を観察する観察者の実空間における位置を検出する。決定部は、実空間における観察者の位置に基づき、観察対象物の３次元データをレンダリングするための仮想空間において、３次元データの特定領域が仮想空間における観察者の位置に向けられるように、仮想空間における観察者の位置と３次元データと立体画像が表示されるディスプレイ面との位置関係を示す第１位置関係を決定する。生成部は、第１位置関係に基づいて３次元データをレンダリングして立体画像を生成する。
【図面の簡単な説明】
【０００９】
【図１】第１実施形態の立体画像表示装置の概略図。
【図２】第１実施形態の表示部の構成例を示す図。
【図３】第１実施形態の表示部を観察者が観察した状態を示す模式図。
【図４】第１実施形態の画像処理部の機能構成例を示す図。
【図５】第１実施形態の３次元データの初期状態の姿勢を示す模式図。
【図６】第１実施形態の３次元データの姿勢制御の例を示す模式図。
【図７】第１実施形態の画像処理部の動作例を示すフローチャート。
【図８】第１実施形態の変形例の画像処理部の機能構成例を示す図。
【図９】第２実施形態の画像処理部の機能構成例を示す図。
【図１０】第２実施形態の画像処理部の動作例を示すフローチャート。
【図１１】第３実施形態の画像処理部の機能構成例を示す図。
【図１２】第３実施形態の画像処理部の動作例を示すフローチャート。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照しながら、本発明に係る画像処理装置、方法、及びプログラム、並びに、立体画像表示装置の実施形態を詳細に説明する。以下の各実施形態の立体画像表示装置は、例えば、インテグラル・イメージング方式（ＩＩ方式）や多眼方式等の３Ｄディスプレイ方式を採用したものであってよい。立体画像表示装置の例としては、例えば観察者が裸眼で立体画像を観察可能なＴＶ、ＰＣ、スマートフォン、デジタルフォトフレームなどが挙げられる。立体画像とは、互いに視差を有する複数の視差画像を含む画像である。視差とは、異なる方向から見ることによる見え方の差をいう。なお、実施形態で述べる画像とは、静止画像又は動画像のいずれであってもよい。
【００１１】
（第１実施形態）
図１は、本実施形態の立体画像表示装置１の概略図である。図１に示すように、立体画像表示装置１は、表示部１０と、画像処理部２０とを備える。
【００１２】
図２は、表示部１０の構成例を示す図である。図２に示すように、表示部１０は、表示素子１１と開口制御部１２とを含む。立体画像を観察する観察者は、開口制御部１２を介して表示素子１１を観察することで、表示部１０に表示される立体画像を観察する。
【００１３】
表示素子１１は、立体画像の表示に用いる視差画像を表示する。表示素子１１としては、直視型２次元ディスプレイ、例えば、有機ＥＬ（Ｏｒｇａｎｉｃ  Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）やＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ  Ｄｉｓｐｌａｙ  Ｐａｎｅｌ）、投射型ディスプレイなどが挙げられる。表示素子１１は、例えば、ＲＧＢ各色のサブピクセルを、第１方向（例えば図２における行方向）と第２方向（例えば図２における列方向）とに、マトリクス状に配置した公知の構成であってよい。図２の例では、第１方向に並ぶＲＧＢ各色のサブピクセルが１画素を構成し、隣接する画素を視差の数だけ、第１方向に並べた画素群に表示される画像を要素画像１４と称する。なお、表示素子１１のサブピクセルの配列は、他の公知の配列であっても構わない。また、サブピクセルは、ＲＧＢの３色に限定されない。例えば、４色であっても構わない。
【００１４】
開口制御部１２は、表示素子１１からその前方に向けて発散される光線を、開口部を介して所定方向に向けて出射させる（以下ではこのような機能を有する開口部を光学的開口部と呼ぶ）。開口制御部１２としては、例えばレンチキュラレンズ、パララックスバリア、液晶ＧＲＩＮレンズ等が挙げられる。光学的開口部は、表示素子１１の各要素画像に対応するように配置される。
【００１５】
図３は、観察者が表示部１０を観察した状態を示す模式図である。表示素子１１に複数の要素画像１４を表示すると、表示素子１１には、複数の視差方向に対応した視差画像群（多視差画像）が表示される。この多視差画像による光線は、各光学的開口部を透過する。そして、観察者は、要素画像１４に含まれる異なる画素を、左目１６Ａおよび右目１６Ｂでそれぞれ観察することになる。このように、観察者の左目１６Ａおよび右目１６Ｂに対し、視差の異なる画像をそれぞれ表示させることで、観察者が立体画像を観察することができる。また、このように観察者が立体映像を観察することができる範囲を視域という。
【００１６】
なお、本実施形態では、開口制御部１２は、光学的開口部の延伸方向が、表示素子１１の第２方向（列方向）に一致するように配置されているが、これに限らず、例えば開口制御部１２は、光学的開口部の延伸方向が表示素子１１の第２方向（列方向）に対して、所定の傾きを有するように配置される構成（いわゆる斜めレンズ）であってもよい。
【００１７】
次に、画像処理部２０について説明する。画像処理部２０は、表示部１０に表示すべき立体画像を生成する。この例では、画像処理部２０は、請求項の「画像処理装置」に対応している。図４は、画像処理部２０の構成例を示す図である。図４に示すように、画像処理部２０は、検出部２１と、決定部２２と、生成部２３と、表示制御部２４とを有する。
【００１８】
検出部２１は、実空間における観察者の位置を検出する。この例では、観察者の頭部に装着したマーカー（目印として利用できるもの）を、赤外線等を用いたセンサ（不図示）を用いて検出する場合を例に挙げて説明するが、これに限られるものではない。この例では、検出部２１は、不図示のセンサからの信号に基づいて検出したマーカーの位置を、実空間における観察者の位置（視点位置）として検出する。なお、これに限らず、例えば検出部２１は、実空間上の所定の領域を撮影するカメラ（例えば単眼カメラ）によって撮影された画像（撮影画像）を用いて、撮影画像に映り込んだ観察者の視点位置を推定し、その推定した観察者の視点位置を、実空間における観察者の位置として検出する形態であってもよい。
【００１９】
決定部２２は、検出部２１により検出された観察者の位置に基づき、観察対象物の３次元データをレンダリングするための仮想空間において、３次元データの特定領域が仮想空間における観察者の位置に向けられるように、仮想空間における観察者の位置と３次元データとディスプレイ面（表示部１０のうち立体画像が表示される面を指す）との位置関係を示す第１位置関係を決定する。より具体的には以下のとおりである。なお、３次元データとは、立体物の形状を表現可能なデータであり、ボリュームデータなどの空間分割モデルや境界表現モデルなどが含まれ得る。空間分割モデルとは、例えば空間を格子状に分割し、分割した格子を用いて、立体物を表現するモデルを指す。境界表現モデルとは、例えば空間において立体物の占める領域の境界を表現することで、当該立体物を表現するモデルを指す。画像処理部２０が生成する立体画像の元となる３次元データの種類は任意である。
【００２０】
本実施形態では、仮想空間におけるディスプレイ面の位置と姿勢、３次元データの位置は予め定められており、決定部２２は、仮想空間におけるディスプレイ面の大きさ、位置および姿勢などを示すディスプレイ面情報と、仮想空間における３次元データの位置や初期状態の姿勢などを示す３次元データ情報を、不図示のメモリ（あるいは外部装置等）から取得することができる。この例では、３次元データの前面が「特定領域」に相当し、３次元データの初期状態の姿勢は、ディスプレイ面を正面から観察できる位置に観察者が位置していた場合に、当該観察者は３次元データの前面を正面から観察できるように予め設定されているものとする。なお、特定領域は、任意に設定可能であり、例えば３次元データの右側面、左側面、上面、下面、後面などのうちの何れかが特定領域として設定されてもよい。
【００２１】
図５は、３次元データの初期状態の姿勢の一例を示す模式図である。図５の例では、仮想空間において、３次元データの中心位置（重心位置）は、ディスプレイ面の中心位置に一致するように予め設定されるともに、３次元データの初期状態の姿勢は、３次元データの前面の法線方向が、ディスプレイ面の法線方向と一致するように予め設定されている。つまり、仮想空間における３次元データの初期状態の姿勢は、図５のようにディスプレイ面の中心を通る法線上に観察者が位置していた場合に（ディスプレイ面を正面から観察できる位置に観察者が位置していた場合に）、当該観察者は、３次元データの前面を正面から観察できるよう、予め設定されている。
【００２２】
図４に戻って決定部２２の説明を続ける。本実施形態では、決定部２２は、検出部２１により検出された観察者の位置（実空間における観察者の位置）に応じて、仮想空間における観察者の位置を求め、３次元データの特定領域が、その求めた観察者の位置に向けられるように、３次元データの姿勢を決定する。この例では、決定部２２は、スケール変換を行って、検出部２１により検出された観察者の位置を、仮想空間における観察者の位置に変換する。より具体的には、決定部２２は、距離単位が同一になるように、検出部２１により検出された観察者の位置に対して、仮想空間における距離単位と実空間における距離単位との比の値を乗算することでスケール変換を行う。また、決定部２２は、スケール変換を行って求めた仮想空間における観察者の位置（この例では頭部の位置）から、仮想空間における左眼と右眼の３次元位置をそれぞれ算出することもできる。例えば頭部の位置を中心として、左右に一定の大きさだけ移動した位置を、それぞれ左眼の視点位置、右眼の視点位置として算出することもできる。
【００２３】
そして、決定部２２は、３次元データの特定領域（例えば前面）の正面方向（特定領域を正面から観察可能な方向）が、上記のようにして求めた仮想空間における観察者の位置に向けられるように、３次元データの姿勢を、前述の３次元データ情報が示す初期状態の姿勢から変化させる制御を行う。例えば図６に示すように、仮想空間における観察者の位置がディスプレイ面の中心を通る法線上に存在しない場合（仮想空間における観察者の位置がディスプレイ面を正面から観察できる位置ではない場合）であっても、決定部２２は、３次元データの前面の正面方向が観察者の位置に向けられるように、３次元データの姿勢を、図５に示す初期状態の姿勢から変化させる制御を行う。この例では、決定部２２は、３次元データの重心位置を中心に３次元データを回転させることで、３次元データの姿勢を変化させる制御を行う。
【００２４】
図４に戻り、生成部２３について説明する。生成部２３は、決定部２２により決定された第１位置関係に基づいて、３次元データをレンダリングして立体画像を生成する。本実施形態では、生成部２３は、仮想空間におけるディスプレイ面を透視投影面として、決定部２２により姿勢が制御された３次元データを透視投影変換することで、仮想空間における左眼視点位置に対応する左眼用の２Ｄ画像（左眼用の視差画像）と、仮想空間における右眼視点位置に対応する右眼用の２Ｄ画像（右眼用の視差画像）を生成する。
【００２５】
表示制御部２４は、生成部２３により生成された左眼用の２Ｄ画像と、右眼用の２Ｄ画像とを含む立体画像を表示部１０に表示する制御を行う。
【００２６】
なお、本実施形態では、画像処理部２０のハードウェア構成は、ＣＰＵ（Central  Processing  Unit）、ＲＯＭ、ＲＡＭ、および、通信Ｉ／Ｆ装置などを備えた通常のコンピュータ装置を利用したハードウェア構成となっている。上述した各部（検出部２１、決定部２２、生成部２３、表示制御部２４）の機能は、ＣＰＵがＲＯＭに格納されたプログラムをＲＡＭ上で展開して実行することにより実現される。また、これに限らず、上述した各部の機能のうちの少なくとも一部を専用のハードウェア回路で実現することもできる。
【００２７】
次に、本実施形態に係る画像処理部２０の動作例を説明する。図７は、画像処理部２０の動作例を示すフローチャートである。図７に示すように、検出部２１は、実空間における観察者の位置を検出する（ステップＳ２０１）。決定部２２は、ステップＳ２０１で検出された観察者の位置に応じて、仮想空間における観察者の位置を算出する（ステップＳ２０２）。決定部２２は、３次元データの特定領域（例えば３次元データの前面）の正面方向が、ステップＳ２０２で求めた仮想空間における観察者の位置に向けられるように、仮想空間における観察者の位置と３次元データとディスプレイ面との位置関係を示す第１位置関係を決定する（ステップＳ２０３）。前述したように、本実施形態では、仮想空間におけるディスプレイ面の位置と姿勢、３次元データの位置は予め定められており、決定部２２は、前述のディスプレイ面情報と３次元データ情報を、不図示のメモリから取得する。そして、決定部２２は、３次元データの前面（特定領域の一例）の正面方向が、ステップＳ２０２で求めた仮想空間における観察者の位置に向けられるように、３次元データの姿勢を、前述の３次元データ情報が示す初期状態の姿勢から変化させる制御を行う。
【００２８】
次に、生成部２３は、ステップＳ２０３で決定された第１位置関係に基づいて３次元データをレンダリングして立体画像を生成する（ステップＳ２０４）。次に、表示制御部２４は、ステップＳ２０４で生成された立体画像を表示部１０に表示する制御を行う（ステップＳ２０５）。
【００２９】
以上に説明したように、本実施形態では、仮想空間におけるディスプレイ面の位置と姿勢、３次元データの位置は予め定められており、決定部２２は、検出部２１により検出された観察者の位置（実空間における観察者の位置）に応じて、仮想空間における観察者の位置を求め、３次元データの特定領域（例えば３次元データの前面）が、その求めた観察者の位置に向けられるように、３次元データの姿勢を制御することで、仮想空間における観察者の位置と３次元データとディスプレイ面との位置関係を示す第１位置関係を決定する。そして、このように決定された第１位置関係に基づいて３次元データをレンダリングすることで得られる立体画像が表示部１０に表示されるので、現在の観察者の位置がどの位置であっても、当該観察者は、３次元データの特定領域を正面から立体視できるとともに、観察者に見える立体画像が歪むこともないという有利な効果を達成できる。つまり、本実施形態によれば、どの位置から観察しても見える向きが変わらず、かつ、歪まない立体画像を呈示することが可能になる。
【００３０】
（第１実施形態の変形例１）
例えば決定部２２は、３次元データ全体が立体表示されるよう、３次元データのサイズを可変に設定することもできる。例えば図７のステップＳ２０４における透視投影変換によって３次元データの全体を表示できない場合は、図７のステップＳ２０３において、決定部２２は、ステップＳ２０４で生成される左眼用の２Ｄ画像および右眼用の２Ｄ画像のそれぞれに３次元データ全体が含まれるよう、３次元データの縮小処理を行ってもよい。これにより、視点位置によって観察対象の一部が見えなくなってしまう現象を防ぐことができる。
【００３１】
（第１実施形態の変形例２）
立体画像表示装置は、正しく立体表示できる奥行きに制限がある。例えば仮想空間内のディスプレイ面に対して、奥側および手前側のそれぞれに一定の閾値分の領域しか正しく立体表示できないなどの制限である。例えば決定部２２は、３次元データの奥行きを示すデプスが、ディスプレイ面に対する奥行き方向（法線方向）の範囲であって立体画像を立体視可能な範囲を示す立体表示限界範囲に収まるよう、３次元データのデプスを設定することもできる。例えば図７のステップＳ２０３において、決定部２２は、３次元データのデプスの上限と下限を算出し、これらが立体表示限界範囲に入っていない場合には、３次元データのデプスの上限と下限が立体表示限界範囲に収まるよう、３次元データのデプスを縮小してもよい。これにより、３次元データの大きさや視点位置によって観察対象を立体視できなくなるという現象を防ぐことができる。なお、立体表示限界範囲は、表示部１０の仕様や規格に応じて決まるパラメータであり、立体画像表示装置１内のメモリ（不図示）に格納される構成であってもよいし、外部装置に格納される構成であってもよい。
【００３２】
（第１実施形態の変形例３）
例えば図８に示すように、画像処理部２０は、指定部２５をさらに備える形態であってもよい。指定部２５は、入力に応じて、３次元データのうちの何れかの領域を特定領域として指定する。そして、決定部２２は、仮想空間において、指定部２５により指定された特定領域が仮想空間における観察者の位置に向けられるように、仮想空間における観察者の位置と３次元データとディスプレイ面との位置関係を示す第１位置関係を決定することができる。
【００３３】
例えば指定可能な特定領域が予め定められていてもよい。例えば３次元データの前面を特定領域候補パターン１、右側面を特定領域候補パターン２、左側面を特定領域候補パターン３とし、観察者は、特定領域候補パターン１乃至３のうちの何れかの選択を指示する入力を行うこともできる。そして、指定部２５は、観察者からの選択指示入力に応じて、特定領域候補パターン１乃至３のうちの何れかを、特定領域として指定することもできる。これにより、観察者は、特定領域を切り替えながら、立体画像を観察することもできる。なお、特定領域候補パターンの種類や数は任意に変更可能である。
【００３４】
また、例えば指定可能な特定領域が予め固定されていない形態であってもよい。例えば指定部２５は、特定領域の指定を指示する入力を受け付けた場合、仮想空間における３次元データのうち、仮想空間における現在の観察者の位置へ向けられた領域を特定領域として指定することもできる。例えば観察者は、特定領域の指定を指示するためのＯＮ／ＯＦＦスイッチを所持しており、スイッチをＯＮにする操作を行うことにより、特定領域の指定を指示する入力を行うこともできる。これにより、観察者は、より自由に特定領域を選択することができる。
【００３５】
なお、特定領域の指定が行われていない状態（例えばスイッチがＯＦＦの状態）においては、決定部２２は、検出部２１により検出された観察者の位置（実空間における観察者の位置）に応じて、仮想空間における観察者の位置を求めるものの、３次元データの姿勢を制御することは行わない。つまり、この場合は、仮想空間におけるディスプレイ面を透視投影面として、初期状態の姿勢の３次元データが透視投影変換されることにより、仮想空間における左眼視点位置に対応する左眼用の２Ｄ画像と、仮想空間における右眼視点位置に対応する右眼用の２Ｄ画像が生成されて表示部１０に表示される。この場合、立体視される３次元データの姿勢は初期状態のままであるが、観察者から見える立体画像が歪むことはない。
【００３６】
（第２実施形態）
次に、第２実施形態について説明する。第２実施形態では、仮想空間における観察者の位置は予め定められている（固定されている）点で上述の第１実施形態と相違する。以下、具体的な内容を説明する。なお、上述の第１実施形態と共通する部分については適宜に説明を省略する。
【００３７】
図９は、第２実施形態に係る画像処理部２００の構成例を示す図である。図９に示すように、画像処理部２００は、検出部２１と、決定部２２０と、生成部２３と、表示制御部２４とを備える。決定部２２０は、仮想空間における観察者の位置（固定値）を示す視点情報と、仮想空間におけるディスプレイ面の大きさ、初期状態の位置および姿勢などを示すディスプレイ面情報と、３次元データを示す３次元データ情報と、ディスプレイ面と３次元データの予め定められた位置関係（第３位置関係）を示す位置関係情報とを、不図示のメモリ（あるいは外部装置等）から取得することができる。以下では、決定部２２０の機能を中心に説明する。
【００３８】
決定部２２０は、検出部２１により検出された観察者の位置（実空間における観察者の位置）に応じて、実空間における観察者の位置とディスプレイ面との相対的な位置関係を示す第２位置関係を求める。実空間における観察者の位置とディスプレイ面との相対的な位置関係は、例えばディスプレイ面の正面方向とディスプレイ面に対する観察者の位置からの視線方向との角度（例えばディスプレイ面の中心を通る法線方向と、観察者の位置からディスプレイ面の中心へ向かう視線方向とのなす角度）や、ディスプレイ面と観察者の位置との間の距離などで表すことができる。決定部２２０は、その求めた第２位置関係と、前述の視点情報と、前述のディスプレイ面情報とに基づいて、仮想空間におけるディスプレイ面の位置と姿勢を決定する。そして、決定部２２０は、前述の位置関係情報が示す第３位置関係から、仮想空間における３次元データの位置を決定し、仮想空間において、３次元データの特定領域が仮想空間における観察者の位置に向けられるように、仮想空間における３次元データの姿勢を制御する。以上のようにして、決定部２２０は、仮想空間における観察者の位置と３次元データとディスプレイ面との位置関係を示す第１位置関係を決定する。
【００３９】
次に、本実施形態に係る画像処理部２００の動作例を説明する。図１０は、画像処理部２００の動作例を示すフローチャートである。図１０に示すように、検出部２１は、実空間における観察者の位置を検出する（ステップＳ３０１）。決定部２２０は、ステップＳ３０１で検出された観察者の位置に応じて、実空間における観察者の位置とディスプレイ面との相対的な位置関係を示す第２位置関係を求め、その求めた第２位置関係に応じて、仮想空間におけるディスプレイ面の位置と姿勢を決定する（ステップＳ３０２）。次に、決定部２２０は、前述の位置関係情報が示す第３位置関係から、仮想空間における３次元データの位置を決定し、仮想空間において、３次元データの特定領域の正面方向が仮想空間における観察者の位置に向けられるように、仮想空間における３次元データの姿勢を制御する。これにより、決定部２２０は、仮想空間における３次元データの位置および姿勢を決定する（ステップＳ３０３）。以上のようにして、決定部２２０は、仮想空間における観察者の位置と３次元データとディスプレイ面との位置関係を示す第１位置関係を決定する。
【００４０】
次に、生成部２３は、決定部２２０により決定された第１位置関係に基づいて３次元データをレンダリングして立体画像を生成する（ステップＳ３０４）。次に、表示制御部２４は、ステップＳ３０４で生成された立体画像を表示部１０に表示する制御を行う（ステップＳ３０５）。
【００４１】
以上の第２実施形態においても、第１実施形態と同様に、どの位置から観察しても見える向きが変わらず、かつ、歪まない立体画像を呈示することが可能になる。
【００４２】
（第３実施形態）
次に、第３実施形態について説明する。第３実施形態では、仮想空間における３次元データの位置と姿勢は予め定められている（固定されている）点で上述の各実施形態と相違する。以下、具体的な内容を説明する。なお、上述の各実施形態と共通する部分については適宜に説明を省略する。
【００４３】
図１１は、第３実施形態に係る画像処理部２１０の構成例を示す図である。図１１に示すように、画像処理部２１０は、検出部２１と、決定部２２５と、生成部２３と、表示制御部２４とを備える。決定部２２５は、仮想空間におけるディスプレイ面の大きさ、初期状態の位置および姿勢などを示すディスプレイ面情報と、仮想空間における３次元データの位置および姿勢などを示す３次元データ情報と、ディスプレイ面と３次元データの予め定められた位置関係（第３位置関係）を示す位置関係情報とを、不図示のメモリ（あるいは外部装置等）から取得することができる。以下では、決定部２２５の機能を中心に説明する。
【００４４】
決定部２２５は、検出部２１により検出された観察者の位置に応じて、実空間における観察者の位置とディスプレイ面との相対的な位置関係を示す第２位置関係を求める。そして、決定部２２５は、その求めた第２位置関係に応じて、仮想空間におけるディスプレイ面の正面方向とディスプレイ面に対する観察者の位置からの視線方向とのなす角度（例えばディスプレイ面の中心を通る法線方向と、観察者の位置からディスプレイ面の中心へ向かう視線方向とのなす角度）を示す仮想角度と、仮想空間におけるディスプレイ面と観察者の位置との間の距離を示す仮想距離を決定（算出）する。
【００４５】
また、決定部２２５は、仮想空間において、３次元データの特定領域が観察者の位置に向けられ、かつ、３次元データと観察者の位置との間の距離が前述の仮想距離と等しくなるよう、仮想空間における観察者の位置を決定する。さらに、決定部２２５は、前述の位置関係情報が示す第３位置関係から、仮想空間におけるディスプレイ面の位置を決定する。そして、決定部２２５は、前述の仮想角度に応じて、仮想空間におけるディスプレイ面の姿勢を決定する。より具体的には、決定部２２５は、仮想空間におけるディスプレイ面の姿勢を前述の仮想角度だけ傾けた姿勢に決定する。以上のようにして、決定部２２５は、仮想空間における観察者の位置と３次元データとディスプレイ面との位置関係を示す第１位置関係を決定する。
【００４６】
次に、本実施形態に係る画像処理部２１０の動作例を説明する。図１２は、画像処理部２１０の動作例を示すフローチャートである。図１２に示すように、検出部２１は、実空間における観察者の位置を検出する（ステップＳ４０１）。決定部２２５は、ステップＳ４０１で検出された観察者の位置に応じて、第２位置関係を求め、その求めた第２位置関係に応じて、前述の仮想角度と仮想距離を決定する（ステップＳ４０２）。
【００４７】
次に、決定部２２５は、仮想空間において、３次元データの特定領域の正面方向が観察者の位置に向けられ、かつ、３次元データと観察者の位置との間の距離が前述の仮想距離と等しくなるよう、仮想空間における観察者の位置を決定する（ステップＳ４０３）。次に、決定部２２５は、前述の位置関係情報が示すディスプレイ面と３次元データとの位置関係から、仮想空間におけるディスプレイ面の位置を決定し、仮想空間におけるディスプレイ面の姿勢を前述の仮想角度だけ傾けた姿勢に決定する（ステップＳ４０４）。以上のようにして、決定部２２５は、仮想空間における観察者の位置と３次元データとディスプレイ面との位置関係を示す第１位置関係を決定する。
【００４８】
次に、生成部２３は、決定部２２５により決定された第１位置関係に基づいて３次元データをレンダリングして立体画像を生成する（ステップＳ４０５）。次に、表示制御部２４は、ステップＳ４０５で生成された立体画像を表示部１０に表示する制御を行う（ステップＳ４０６）。
【００４９】
以上の第３実施形態においても、上述の各実施形態と同様に、どの位置から観察しても見える向きが変わらず、かつ、歪まない立体画像を呈示することが可能になる。
【００５０】
以上、本発明の実施形態を説明したが、上述の各実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００５１】
なお、以上においては、本発明が適用された立体画像表示装置の一例として、裸眼式の立体画像表示装置を例に挙げて説明したが、これに限らず、例えば眼鏡式の立体画像表示装置であってもよい。
【００５２】
また、上述の各実施形態および変形例の画像処理部（２０，２００，２１０）で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上述の各実施形態および変形例の画像処理部（２０，２００，２１０）で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。また、上述の各実施形態および変形例の画像処理部（２０，２００，２１０）で実行されるプログラムを、ＲＯＭ等の不揮発性の記録媒体に予め組み込んで提供するようにしてもよい。
【００５３】
さらに、上述の各実施形態および各変形例は、任意に組み合わせることも可能である。
【符号の説明】
【００５４】
１      立体画像表示装置
１０    表示部
１１    表示素子
１２    開口制御部
２０    画像処理部
２１    検出部
２２    決定部
２３    生成部
２４    表示制御部
２５    指定部
２００  画像処理部
２１０  画像処理部
２２０  決定部
２２５  決定部
【図１】
2014241015.tif 000003
【図２】
2014241015.tif 000004
【図３】
2014241015.tif 000005
【図４】
2014241015.tif 000006
【図５】
2014241015.tif 000007
【図６】
2014241015.tif 000008
【図７】
2014241015.tif 000009
【図８】
2014241015.tif 000010
【図９】
2014241015.tif 000011
【図１０】
2014241015.tif 000012
【図１１】
2014241015.tif 000013
【図１２】
2014241015.tif 000014