(57)【要約】【課題】  立体表示を実現する際の処理全体の高速化についての新たな考察が必要である。【解決手段】  立体画像処理装置１００は、まず、仮想三次元空間内に配置された一つの仮カメラをもとに、本カメラのそれぞれから定まるビューボリュームを包含する共通ビューボリュームを生成する。その後、この装置１００は、共通ビューボリュームに対し歪み変換を行い、本カメラごとのビューボリュームを取得する。最後に、本カメラごとに取得した二つのビューボリュームを投影面に投影し、視差をもたせた二次元画像を生成する。このように、共通ビューボリュームから本カメラごとのビューボリュームを取得することで、仮カメラのみで視差画像の基点となる二次元画像を生成することができる。その結果、本カメラを実際に配置する処理を省くことができ、処理全体の高速化を実現できる。【選択図】  図１
2005353047.tif 000002
【特許請求の範囲】
【請求項１】
異なる複数の視点からの二次元画像をもとに、仮想三次元空間内のオブジェクトを立体表示せしめる立体画像処理装置であって、
前記複数の視点のそれぞれから定まるビューボリュームを包含する共通ビューボリュームを生成するビューボリューム生成部を備えることを特徴とする立体画像処理装置。
【請求項２】
仮想三次元空間内にオブジェクトを配置するオブジェクト定義部と、
前記仮想三次元空間内に仮の視点を配置する仮視点配置部と、
をさらに備え、
前記ビューボリューム生成部は、前記仮視点配置部により配置された仮の視点をもとに前記共通ビューボリュームを生成することを特徴とする請求項１に記載の立体画像処理装置。
【請求項３】
前記共通ビューボリュームを座標変換し、前記複数の視点ごとのビューボリュームを取得する座標変換部と、
前記複数の視点ごとのビューボリュームを投影面に投影し、前記複数の視点ごとに前記二次元画像を生成する二次元画像生成部と、
をさらに備えることを特徴とする請求項１または２に記載の立体画像処理装置。
【請求項４】
前記ビューボリューム生成部は、前記共通ビューボリュームを一つ生成することを特徴とする請求項１から３のいずれかに記載の立体画像処理装置。
【請求項５】
前記座標変換部は、前記共通ビューボリュームを歪み変換することで、前記複数の視点ごとのビューボリュームを取得することを特徴とする請求項１から４のいずれかに記載の立体画像処理装置。
【請求項６】
前記座標変換部は、前記共通ビューボリュームを回転変換することで、前記複数の視点ごとのビューボリュームを取得することを特徴とする請求項１から４のいずれかに記載の立体画像処理装置。
【請求項７】
前記ビューボリューム生成部は、前記仮の視点の視野角を拡大して、前記共通ビューボリュームを生成することを特徴とする請求項１から６のいずれかに記載の立体画像処理装置。
【請求項８】
前記ビューボリューム生成部は、前方投影面および後方投影面を用いて、前記共通ビューボリュームを生成することを特徴とする請求項１から７のいずれかに記載の立体画像処理装置。
【請求項９】
前記ビューボリューム生成部は、近置最大視差量および遠置最大視差量を用いて、前記共通ビューボリュームを生成することを特徴とする請求項１から８のいずれかに記載の立体画像処理装置。
【請求項１０】
前記ビューボリューム生成部は、近置最大視差量あるいは遠置最大視差量のいずれかを用いて、前記共通ビューボリュームを生成することを特徴とする請求項１から８のいずれかに記載の立体画像処理装置。
【請求項１１】
前記共通ビューボリュームを正規化座標系に変換する正規化変換部をさらに備え、当該正規化変換部は、前記配置された仮の視点からの奥行き方向の距離に応じて、前記配置されたオブジェクトに奥行き方向の圧縮処理を施すことを特徴とする請求項２から１０のいずれかに記載の立体画像処理装置。
【請求項１２】
前記正規化変換部は、前記奥行き方向の距離が大きいほど、奥行き方向の圧縮率が高い圧縮処理を施すことを特徴とする請求項１１に記載の立体画像処理装置。
【請求項１３】
前記正規化変換部は、前記配置された仮の視点から奥行き方向のある地点にかけて徐々に奥行き方向の圧縮率を小さくする圧縮処理を施すことを特徴とする請求項１１に記載の立体画像処理装置。
【請求項１４】
立体画像を生成する際に、前記立体画像内に表現されるオブジェクトの幅と奥行きの比が人間の眼に正しく知覚される範囲の視差よりも、視差が大きくならないように前記近置最大視差量あるいは前記遠置最大視差量を制御する視差制御部をさらに備えることを特徴とする請求項９または１０に記載の立体画像処理装置。
【請求項１５】
異なる視差に対応する複数の二次元画像をもとに表示されるべき立体画像を周波数分析する画像判定部と、
前記周波数分析により判明する高周波成分の量に応じて、前記近置最大視差量あるいは前記遠置最大視差量を調整する視差制御部と、
をさらに備えることを特徴とする請求項９または１０に記載の立体画像処理装置。
【請求項１６】
前記視差制御部は、前記高周波成分の量が多い場合は、前記近置最大視差量あるいは前記遠置最大視差量を大きくする調整を行うことを特徴とする請求項１５に記載の立体画像処理装置。
【請求項１７】
異なる視差に対応する複数の二次元画像をもとに表示される立体画像の動きを検出する画像判定部と、
前記立体画像の動きの量に応じて、前記近置最大視差量あるいは前記遠置最大視差量を調整する視差制御部と、
をさらに備えることを特徴とする請求項９または１０に記載の立体画像処理装置。
【請求項１８】
前記視差制御部は、前記立体画像の動きの量が多い場合、前記近置最大視差量あるいは前記遠置最大視差量を大きくする調整を行うことを特徴とする請求項１７に記載の立体画像処理装置。
【請求項１９】
仮想三次元空間内にオブジェクトを配置するステップと、
前記仮想三次元空間内に仮の視点を配置するステップと、
前記仮想三次元空間内に配置された前記仮の視点をもとに、視差をもたせた二次元画像を生成する複数の視点のそれぞれから定まるビューボリュームを包含する共通ビューボリュームを生成するステップと、
前記共通ビューボリュームを座標変換し、前記複数の視点ごとのビューボリュームを取得するステップと、
前記複数の視点ごとのビューボリュームを投影面に投影し、前記複数の視点ごとに前記二次元画像を生成するステップと、
を有することを特徴とする立体画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は立体画像処理技術、特に、視差画像をもとに立体画像を生成する方法および装置に関する。
【背景技術】
【０００２】
近年、ネットワークインフラの未整備が問題視されてきたが、ブロードバンドへの移行期を迎え、むしろ、広い帯域を有効活用するコンテンツの種類や数の少なさが目立ち始めている。映像はいつの時代でも、最も重要な表現手段であったが、いままでの取り組みの多くは表示品質やデータ圧縮率の改善に関するものであり、それらに比べると、表現の可能性自体を広げる技術的な取り組みは、後手にまわっている感がある。
【０００３】
そうした中で、立体映像表示（以下、単に立体表示という）は、以前からいろいろ研究され、劇場用途や特殊な表示装置を利用する、ある程度限られた市場で実用化されてきた。今後は、より臨場感の溢れるコンテンツの提供を目指してこの方面の研究開発が加速し、個人ユーザが家庭でも立体表示を手軽に楽しむ時代が来るものと思われる。
【０００４】
また、立体表示は今後普及が期待されるものであるが、それ故に、現在の表示装置では想像し得なかった表示形態も提案されている。例えば、特許文献１には、二次元画像の選択された部分画像を立体にして表示する技術が開示されている。
【特許文献１】特開平１１−３９５０７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
確かに特許文献１によれば、平面画像の所望の部分を立体にして表示させることができるが、立体表示を実現する際の処理全体の高速化を意識したものではなく、それについての新たな考察が必要である。
【０００６】
本発明はこうした課題に鑑みてなされたものであり、その目的は、立体表示に係る処理全体の高速化を実現する立体画像処理装置および立体画像処理方法の提供にある。
【課題を解決するための手段】
【０００７】
本発明のある態様は、立体画像処理装置に関する。この装置は、異なる複数の視点からの二次元画像をもとに、仮想三次元空間内のオブジェクトを立体表示せしめる立体画像処理装置であって、複数の視点のそれぞれから定まるビューボリュームを包含する共通ビューボリュームを生成するビューボリューム生成部を備える。例えば、当該共通ビューボリュームは仮の視点をもとに生成されてもよい。この態様によれば、仮の視点をもとに生成された共通ビューボリュームから複数の視点ごとのビューボリュームを取得できるため、仮の視点で立体表示の基点となる複数の二次元画像を生成できる。そのため、効率的な立体画像処理を実現できる。
【０００８】
この装置は、仮想三次元空間内にオブジェクトを配置するオブジェクト定義部と、仮想三次元空間内に仮の視点を配置する仮視点配置部と、をさらに備え、ビューボリューム生成部は、仮視点配置部により配置された仮の視点をもとに共通ビューボリュームを生成してもよい。
【０００９】
この装置は、共通ビューボリュームを座標変換し、複数の視点ごとのビューボリュームを取得する座標変換部と、複数の視点ごとのビューボリュームを投影面に投影し、複数の視点ごとに二次元画像を生成する二次元画像生成部と、を備えてもよい。
【００１０】
座標変換部は、共通ビューボリュームを歪み変換することで、複数の視点ごとのビューボリュームを取得してもよい。座標変換部は、共通ビューボリュームを回転変換することで、複数の視点ごとのビューボリュームを取得してもよい。
【００１１】
ビューボリューム生成部は、仮の視点の視野角を拡大して、共通ビューボリュームを生成してもよい。ビューボリューム生成部は、前方投影面および後方投影面を用いて、共通ビューボリュームを生成してもよい。ビューボリューム生成部は、近置最大視差量および遠置最大視差量を用いて、共通ビューボリュームを生成してもよい。ビューボリューム生成部は、近置最大視差量あるいは遠置最大視差量のいずれかを用いて、共通ビューボリュームを生成してもよい。
【００１２】
この装置は、共通ビューボリュームを正規化座標系に変換する正規化変換部をさらに備え、当該正規化変換部は、配置された仮の視点からの奥行き方向の距離に応じて、配置されたオブジェクトに奥行き方向の圧縮処理を施してもよい。正規化変換部は、奥行き方向の距離が大きいほど、奥行き方向の圧縮率が高い圧縮処理を施してもよい。
【００１３】
正規化変換部は、配置された仮の視点から奥行き方向のある地点にかけて徐々に奥行き方向の圧縮率を小さくする圧縮処理を施してもよい。
【００１４】
この装置は、立体画像を生成する際に、立体画像内に表現されるオブジェクトの幅と奥行きの比が人間の眼に正しく知覚される範囲の視差よりも、視差が大きくならないように近置最大視差量あるいは遠置最大視差量を制御する視差制御部をさらに備えてもよい。
【００１５】
この装置は、異なる視差に対応する複数の二次元画像をもとに表示されるべき立体画像を周波数分析する画像判定部と、周波数分析により判明する高周波成分の量に応じて、近置最大視差量あるいは遠置最大視差量を調整する視差制御部と、をさらに備えてもよい。視差制御部は、高周波成分の量が多い場合は、近置最大視差量あるいは遠置最大視差量を大きくする調整を行ってもよい。
【００１６】
この装置は、異なる視差に対応する複数の二次元画像をもとに表示される立体画像の動きを検出する画像判定部と、立体画像の動きの量に応じて、近置最大視差量あるいは遠置最大視差量を調整する視差制御部と、をさらに備えてもよい。視差制御部は、立体画像の動きの量が多い場合、近置最大視差量あるいは遠置最大視差量を大きくする調整を行ってもよい。
【００１７】
本発明の別の態様は、立体画像処理方法に関する。この方法は、仮想三次元空間内にオブジェクトを配置するステップと、仮想三次元空間内に仮の視点を配置するステップと、仮想三次元空間内に配置された仮の視点をもとに、視差をもたせた二次元画像を生成する複数の視点のそれぞれから定まるビューボリュームを包含する共通ビューボリュームを生成するステップと、共通ビューボリュームを座標変換し、複数の視点ごとのビューボリュームを取得するステップと、複数の視点ごとのビューボリュームを投影面に投影し、複数の視点ごとに二次元画像を生成するステップと、を有する。
【００１８】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１９】
本発明によれば、効率的な立体画像処理を実現できる。
【発明を実施するための最良の形態】
【００２０】
以下に示す実施の形態１〜９に係る立体画像処理装置は、異なる複数の視点から立体表示の基点となる複数の二次元画像、すなわち視差画像を生成する。こうした画像を、立体表示ディスプレイなどに映し出すことで、目の前にオブジェクトが飛び出てくるような迫力ある三次元の立体映像表現を実現することができる。レーシングゲームを例にあげれば、プレーヤは、目の前に浮き出て立体表示されたオブジェクト、例えば車を操作してオブジェクト空間内で走行させ、他のプレーヤやコンピュータが操作する車と競争することで三次元ゲームを楽しむことができる。
【００２１】
異なる複数の視点、例えば二つのカメラ（以下、単に「本カメラ」という）ごとに二次元画像を生成する際、この装置は、まず、仮想三次元空間内に一つのカメラ（以下、単に「仮カメラ」という）を配置する。次に、その仮カメラをもとに、本カメラのそれぞれから定まるビューボリュームを包含する一つのビューボリューム、すなわち共通ビューボリュームを生成する。ビューボリュームとは、既知のごとく、前方クリップ面および後方クリップ面によりクリッピングされた空間であり、その空間内に含まれるオブジェクトが、最終的に二次元画像に写し込まれ、立体表示される。上述の本カメラは、二次元画像を生成するために使用され、仮カメラは、単に共通ビューボリュームを生成するために使用される。
【００２２】
共通ビューボリュームの生成後、この装置は、共通ビューボリュームに対し後述の変換行列を用いて座標変換を行い、本カメラごとのビューボリュームを取得する。最後に、本カメラごとに取得した二つのビューボリュームを投影面に投影し、二次元画像を生成する。このように、共通ビューボリュームから本カメラごとのビューボリュームを取得することで、仮カメラで視差画像の基点となる二つの二次元画像を生成することができる。その結果、本カメラを仮想三次元空間内に実際に配置する処理を省くことができ、とくに、本カメラの配置数が多い場合に高い効果を奏する。以下、実施の形態１〜３では、歪み変換を用いた座標変換を、実施の形態４〜６では、回転変換を用いた座標変換を示す。
【００２３】
実施の形態１
図１は、本実施の形態に係る立体画像処理装置１００の構成を示す。この立体画像処理装置１００は、立体表示した画像に対するユーザからの応答をもとに立体感を調整する立体感調整部１１０と、立体感調整部１１０で特定された適正視差を保存する視差情報保持部１２０と、一つの仮カメラを配置し、その仮カメラおよび適正視差をもとに共通ビューボリュームを生成し、当該共通ビューボリュームに歪み変換処理を施した結果生成されるビューボリュームを投影面に投影することで複数の二次元画像、すなわち視差画像を生成する視差画像生成部１３０と、表示装置そのもののハードウエア情報を取得し、また立体表示の方式を取得する機能を有する情報取得部１０４と、情報取得部１０４で取得した情報をもとに、視差画像生成部１３０で生成された視差画像の形式を変更するフォーマット変換部１０２を備える。立体画像処理装置１００には、オブジェクトと仮想三次元空間をコンピュータ上に描画するための三次元データが入力される。
【００２４】
以上の構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはＧＵＩ機能、視差画像生成機能その他の機能をもつプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところであり、以降の構成についてもその事情は同様である。
【００２５】
立体感調整部１１０は指示取得部１１２と視差特定部１１４を備える。指示取得部１１２は、立体表示された画像に対してユーザが適正視差の範囲を指定したとき、これを取得する。視差特定部１１４は、その範囲をもとに、ユーザがこの表示装置を用いたときの適正視差を特定する。適正視差は、表示装置のハードウエアに依存しない表現形式で表される。適正視差を実現することにより、ユーザの生理に適合した立体視が可能になる。このようなユーザからの適正視差の範囲の特定は、図示しないＧＵＩ（Graphical User Interface）によってなされ、その詳細は後述する。
【００２６】
視差画像生成部１３０は、オブジェクト定義部１３２と、仮カメラ配置部１３４と、ビューボリューム生成部１３６と、正規化変換部１３７と、歪み変換処理部１３８と、二次元画像生成部１４０と、を備える。オブジェクト定義部１３２は、モデル座標系で定義されたオブジェクトのデータをワールド座標系のデータに座標変換する。モデル座標系とは、個々のオブジェクトが有する座標空間である。一方、ワールド座標系とは、仮想三次元空間が有する座標空間である。このような座標変換により、オブジェクト定義部１３２は、仮想三次元空間内にオブジェクトを配置することができる。
【００２７】
仮カメラ配置部１３４は、仮想三次元空間内に、一つの仮カメラを暫定的に配置し、仮カメラの位置および視線の向きを定める。仮カメラ配置部１３４は、仮カメラの位置が視点座標系の原点、仮カメラの視線方向が視点座標系の奥行き方向、すなわちＺ軸の正方向となるようにアフィン変換させる。このとき、ワールド座標系のオブジェクトのデータは仮カメラの視点座標系のデータに座標変換される。この変換処理をビューイング変換と呼ぶ。
【００２８】
ビューボリューム生成部１３６は、仮カメラ配置部１３４により配置された仮カメラ、および視差情報保持部１２０に保持された適正視差をもとに、二つの本カメラのそれぞれから定まるビューボリュームを包含する共通ビューボリュームを生成する。共通ビューボリュームの前方クリップ面および後方クリップ面の位置は、既知の陰面消去アルゴリズムであるＺバッファ法を用いて決められる。Ｚバッファ法は、オブジェクトのＺ値を画素ごとに記憶させるとき、Ｚ軸上で視点から近いＺ値があれば、そのＺ値をすでに記憶されたＺ値に上書きする。こうして画素ごとに記憶されたＺ値の中で最大のＺ値（以下、単に「最大Ｚ値」という）および最小のＺ値（以下、単に「最小Ｚ値」という）を求めることで、共通ビューボリュームの範囲を特定する。適正視差、最大Ｚ値および最小Ｚ値を用いた具体的な共通ビューボリュームの範囲の特定方法については後述する。
【００２９】
Ｚバッファ法は、本来、後処理である二次元画像生成部１４０による二次元画像生成時に利用されるため、共通ビューボリュームを生成する時点では、最大Ｚ値および最小Ｚ値は存在しない。そのため、ビューボリューム生成部１３６は、直前のフレームにおいて、二次元画像生成時に求められた最大Ｚ値および最小Ｚ値を用いて、現フレームの前方クリップ面および後方クリップ面の位置を決める。
【００３０】
Ｚバッファ法は、既知のごとく、立体表示すべき可視面領域を検出する、すなわち不可視面である陰面領域を検出して、立体表示の対象から除外する。Ｚバッファ法により検出される可視面領域を共通ビューボリュームの範囲とし、ユーザがそもそも見ることができない陰面領域をその範囲から除外することで、共通ビューボリュームの範囲を最適化することができる。
【００３１】
正規化変換部１３７は、ビューボリューム生成部１３６により生成された共通ビューボリュームを正規化座標系に変換する。この変換処理を正規化変換と呼ぶ。歪み変換処理部１３８は、正規化変換部１３７による正規化変換後、歪み変換行列を導出し、その歪み変換行列を共通ビューボリュームに施すことで、本カメラごとのビューボリュームを取得する。これらの具体的な処理については後述する。
【００３２】
二次元画像生成部１４０は、本カメラごとのビューボリュームをスクリーン面に投影する。投影後、そのスクリーン面に写りこんだ二次元画像を表示装置固有のスクリーン座標系の指定した領域、すなわちビューポートに変換する。スクリーン座標系とは、画像の中で画素の位置を表すときに用いる座標系であり、二次元画像における座標系と同一である。こうした処理の結果、本カメラごとに適正視差を有する二次元画像が生成され、最終的に視差画像が生成される。適正視差を実現することで、ユーザの生理に適合した立体視が可能になる。
【００３３】
情報取得部１０４は、例えば、立体表示の視点数、空間分割または時間分割等の立体表示装置の方式、シャッタめがねの利用があるか否か、多眼式の場合における二次元画像の並び方、視差画像の中に視差が反転する二次元画像の並びがあるか否かなどをユーザからの入力により取得する。
【００３４】
図２〜図４は、ユーザが適正視差の範囲を特定する様子を示す。図２（ａ）、図２（ｂ）は、立体画像処理装置１００の立体感調整部１１０による適正視差の特定のプロセスにおいてそれぞれ表示された左眼画像２００、右眼画像２０２を示す。それぞれの画像には５個の黒丸が表示されており、上にいくほど近置かつ大きな視差、下へいくほど遠置かつ大きな視差が付けられている。「視差」とは、立体感を生むためのパラメータであり、いろいろな定義が可能だが、本実施の形態では、二次元画像間の同じ点を表す画素の座標値の差異で表現する。
【００３５】
「近置」は異なる場所に配置された２つのカメラの視線、すなわち光軸の交差位置（以下、「光軸交差位置」ともいう）にある面（以下、「光軸交差面」ともいう）より前に立体視されるような視差が付けられている状態を指す。「遠置」は逆に光軸交差面よりうしろに立体視されるような視差が付けられている状態を指す。近置オブジェクトの視差が大きくなるほどユーザに近づいて感知され、遠置オブジェクトの視差が大きくなるほどユーザから遠ざかって見える。特に断らないかぎり、視差は近置、遠置で正負が反転せず、ともに非負の値として定義し、光軸交差面において近置視差、遠置視差ともにゼロとする。
【００３６】
図３はこれら５個の黒丸をスクリーン面２１０に表示したとき、ユーザ１０に感知される距離感を模式的に示す。同図では、視差が異なる５個の黒丸が同時に、または順に表示され、許容できる視差であるか否かをユーザ１０が入力していく。一方、図４ではスクリーン面２１０への表示自体は１個の黒丸で行うが、その視差を連続的に変更する。遠置と近置それぞれの方向において許容する限界にきたとき、ユーザ１０からの所定の入力指示が行われることで、許容できる視差を決定することができる。指示は通常のキー操作、マウス操作、音声による入力等、それ自体は既知の技術を利用すればよい。
【００３７】
図３、図４のいずれの場合でも、指示取得部１１２は適正視差を範囲として取得でき、その近置側および遠置側の限界視差が決まる。近置側の限界視差を近置最大視差、遠置側の限界視差を遠置最大視差と呼ぶ。近置最大視差は、自分に最も近い位置に見える点に許す近さに対応する視差、遠置最大視差は、自分から最も遠い位置に見える点に許す遠さに対応する視差である。ただし、一般にはユーザの生理上の問題から近置最大視差をケアすべきことが多く、以下、近置最大視差のみを限界視差と呼ぶ場合もある。
【００３８】
一度、適正視差が立体画像処理装置１００内に取得されれば、以降、別の画像の立体表示の際にもその適正視差が実現される。表示中の画像の視差をユーザが適宜調整してもよい。あらかじめ所定の適正視差が立体画像処理装置１００に与えられていてもよい。
【００３９】
図５〜図１１は、立体画像処理装置１００が、仮カメラ配置部１３４により配置された仮カメラおよび適正視差をもとに共通ビューボリュームを生成し、その共通ビューボリュームに歪み変換処理を施すことで、本カメラごとのビューボリュームを取得する様子を示す。図５は、仮カメラ２２の視野角θと最終的に生成される二次元画像の水平方向の画素数Ｌとの関係を示す。視野角θとは、仮カメラ２２が仮想三次元空間内に配置されたオブジェクトを見込む角度である。本図では、仮カメラ２２から見て右方向にＸ軸、上方向にＹ軸、奥行き方向にＺ軸が置かれる。
【００４０】
オブジェクト２０は、オブジェクト定義部１３２により配置され、仮カメラ２２は、仮カメラ配置部１３４により配置される。前述の前方クリップ面、後方クリップ面は、本図において、それぞれオブジェクト最前面３０、オブジェクト最後面３２に相当する。オブジェクト前方面３０を前面、オブジェクト後方面３２を後面、仮カメラ２２からの第１視線Ｋ１を境界線とする空間が、仮カメラのビューボリューム（以下、単に「最終使用領域」という）であり、この空間に含まれるオブジェクトが、最終的に二次元画像に写し込まれる。最終使用領域の奥行き方向の範囲をＴと表現する。
【００４１】
上述のごとく、ビューボリューム生成部１３６は、Ｚバッファ法という既知の陰面消去アルゴリズムを用いて、オブジェクト前方面３０およびオブジェクト後方面３２の位置を決める。具体的には、ビューボリューム生成部１３６は、最小Ｚ値を用いて、仮カメラ２２が配置される面（以下、単に「視点面」という）２０４からオブジェクト最前面３０までの距離（以下、単に「視点距離」という）Ｓを決める。ビューボリューム生成部１３６は、最大Ｚ値を用いて、視点面２０４からオブジェクト最後面３２までの距離を決める。最終使用領域の範囲は、厳密性を必要としないため、ビューボリューム生成部１３６は、最小Ｚ値の近傍の値および最大Ｚ値の近傍の値を用いて、オブジェクト前方面３０およびオブジェクト後方面３２の位置を決めてもよい。ビューボリューム生成部１３６は、ビューボリュームがオブジェクトの可視部全体を高い確実性で含有できるように、最小Ｚ値よりも小さめの値および最大Ｚ値よりも大きめの値を用いて、オブジェクト前方面３０およびオブジェクト後方面３２の位置を決めてもよい。
【００４２】
仮カメラ２２からの視野角θをなす第１視線Ｋ１とオブジェクト前方面３０とが交差する位置を第１前方交差点Ｐ１および第２前方交差点Ｐ２とし、第１視線Ｋ１とオブジェクト後方面３２とが交差する位置を第１後方交差点Ｑ１および第２後方交差点Ｑ２とする。ここで、第１前方交差点Ｐ１および第２前方交差点Ｐ２の間隔と、第１後方交差点Ｑ１および第２後方交差点Ｑ２の間隔は、いずれも、最終的に生成される二次元画像の水平方向の画素数Ｌに相当する。第１前方交差点Ｐ１、第１後方交差点Ｑ１、第２後方交差点Ｑ２、第２前方交差点Ｐ２で囲まれた空間が、上述の最終使用領域である。
【００４３】
図６は、仮想三次元空間における近置最大視差量Ｍおよび遠置最大視差量Ｎを示す。図５と同様のものには同じ符号を与え適宜説明を略す。前述のごとく、近置最大視差量Ｍや遠置最大視差量Ｎは、ユーザにより立体感調整部１１０を介して指定される。このように指定された近置最大視差量Ｍや遠置最大視差量Ｎにより、視点面２０４上における二つの右眼用本カメラ２４ａおよび左眼用本カメラ２４ｂの位置が定まる。ただし、後述の理由のため、すでに近置最大視差量Ｍや遠置最大視差量Ｎが決められていた場合、本カメラ２４を実際に配置せずに、仮カメラ２２の共通ビューボリュームから本カメラ２４ごとのビューボリュームを取得することができる。
【００４４】
右眼用本カメラ２４ａからの第２視線Ｋ２とオブジェクト前方面３０とが交差する位置を第３前方交差点Ｐ３および第４前方交差点Ｐ４とし、第２視線Ｋ２とオブジェクト後方面３２とが交差する位置を第３後方交差点Ｑ３および第４後方交差点Ｑ４とする。同様に、左眼用本カメラ２４ｂからの第３視線Ｋ３とオブジェクト前方面３０とが交差する位置を第５前方交差点Ｐ５および第６前方交差点Ｐ６とし、第３視線Ｋ３とオブジェクト後方面３２とが交差する位置を第５後方交差点Ｑ５および第６後方交差点Ｑ６とする。
【００４５】
右眼用本カメラ２４ａにより定まるビューボリュームは、第３前方交差点Ｐ３、第３後方交差点Ｑ３、第４後方交差点Ｑ４、第４前方交差点Ｐ４で囲まれた領域（以下、単に「右眼用ビューボリューム」という）である。一方、左眼用本カメラ２４ｂにより定まるビューボリュームは、第５前方交差点Ｐ５、第５後方交差点Ｑ５、第６後方交差点Ｑ６、第６前方交差点Ｐ６で囲まれた領域（以下、単に「左眼用ビューボリューム」という）である。仮カメラ２２により定まる共通ビューボリュームは、第３前方交差点Ｐ３、第５後方交差点Ｑ５、第４後方交差点Ｑ４、第６前方交差点Ｐ６で囲まれた領域である。図示のごとく、共通ビューボリュームは、右眼用ビューボリュームおよび左眼用ビューボリュームを含む。
【００４６】
ここで、オブジェクト前方面３０における右眼用本カメラ２４ａの視野範囲と左眼用本カメラ２４ｂの視野範囲との水平方向のずれ量が、前述の立体感調整部１１０を介してユーザにより決められた近置最大視差量Ｍに相当する。具体的には、第３前方交差点Ｐ３および第５前方交差点Ｐ５の間隔と、第４前方交差点Ｐ４および第６前方交差点Ｐ６の間隔が、近置最大視差量Ｍに相当する。同様に、オブジェクト後方面３２における右眼用本カメラ２４ａの視野範囲と左眼用本カメラ２４ｂの視野範囲との水平方向のずれ量が、前述の立体感調整部１１０を介してユーザにより決められた遠置最大視差量Ｎに相当する。具体的には、第３後方交差点Ｑ３および第５後方交差点Ｑ５の間隔と、第４後方交差点Ｑ４および第６後方交差点Ｑ６の間隔が、遠置最大視差量Ｎに相当する。
【００４７】
近置最大視差量Ｍおよび遠置最大視差量Ｎが指定されることで、光軸交差面２１２の位置が決められる。すなわち、第３前方交差点Ｐ３および第３後方交差点Ｑ３を結ぶ線分と第５前方交差点Ｐ５および第５後方交差点Ｑ５を結ぶ線分が交差する第１光軸交差点Ｒ１が存在する面が、いわゆる光軸交差面２１２であり、前述のスクリーン面に相当する。このスクリーン面には、第４前方交差点Ｐ４および第４後方交差点Ｑ４を結ぶ線分と第６前方交差点Ｐ６および第６後方交差点Ｑ６を結ぶ線分が交差する第２光軸交差点Ｒ２も存在する。スクリーン面は、いわゆる投影面であり、ビューボリュームに含まれるオブジェクトがこの面に投影され、最終的に二次元画像に写し込まれる。
【００４８】
図７は、水平方向のずれ量を仮想三次元空間における単位に変換して表した様子を示す。第１前方交差点Ｐ１および第３前方交差点Ｐ３の間隔を第１水平ずれ量ｄ１、第１後方交差点Ｑ１および第３後方交差点Ｑ３の間隔を第２水平ずれ量ｄ２とすると、第１水平ずれ量ｄ１、第２水平ずれ量ｄ２は、それぞれＭ／２、Ｎ／２に相当するため、
ｄ１：Ｓｔａｎ（θ／２）＝Ｍ／２：Ｌ／２
ｄ２：（Ｓ＋Ｔ）ｔａｎ（θ／２）＝Ｎ／２：Ｌ／２
が成立する。その結果、第１水平ずれ量ｄ１、第２水平ずれ量ｄ２は、
ｄ１＝ＳＭｔａｎ（θ／２）／Ｌ
ｄ２＝（Ｓ＋Ｔ）Ｎｔａｎ（θ／２）／Ｌ
で表される。
【００４９】
上述のごとく、近置最大視差量Ｍおよび遠置最大視差量Ｎは、ユーザにより立体感調整部１１０を介して決められ、最終使用領域の範囲Ｔおよび視点距離Ｓは、最大Ｚ値および最小Ｚ値をもとに決められる。近置最大視差量Ｍおよび遠置最大視差量Ｎが一度、立体画像処理装置１００内に取得されれば、第１水平ずれ量ｄ１および第２水平ずれ量ｄ２を決めることができ、二つの本カメラ２４を実際に配置することなく、仮カメラ２２からの共通ビューボリュームを求めることができる。
【００５０】
図８は、第１水平ずれ量ｄ１および第２水平ずれ量ｄ２をもとに、共通ビューボリュームＶ１を生成する様子を示す。ビューボリューム生成部１３６は、オブジェクト前方面３０において、第１前方交差点Ｐ１および第２前方交差点Ｐ２からそれぞれ第１水平ずれ量ｄ１だけ、水平方向に外側にずれた点を、それぞれ第３前方交差点Ｐ３、第６前方交差点Ｐ６とする。一方、オブジェクト後方面３２において、第１後方交差点Ｑ１、第２後方交差点Ｑ２から第２水平ずれ量ｄ２だけ水平方向に外側にずれた点を、それぞれ第５後方交差点Ｑ５、第４後方交差点Ｑ４とする。ビューボリューム生成部１３６は、こうして求められた第３前方交差点Ｐ３、第５後方交差点Ｑ５、第４後方交差点Ｑ４、第６前方交差点Ｐ６で囲まれた領域を共通ビューボリュームＶ１とすればよい。
【００５１】
図９は、正規化変換後の共通ビューボリュームＶ１、右眼用ビューボリュームＶ２および左眼用ビューボリュームＶ３の関係を示す。縦軸はＺ軸、横軸はＸ軸を表す。図示のごとく、正規化変換部１３７により、仮カメラ２２の共通ビューボリュームＶ１は、正規化座標系に変換される。第６前方交差点Ｐ６、第３前方交差点Ｐ３、第５後方交差点Ｑ５、第４後方交差点Ｑ４で囲まれた領域が、共通ビューボリュームＶ１に相当する。第４前方交差点Ｐ４、第３前方交差点Ｐ３、第３後方交差点Ｑ３、第４後方交差点Ｑ４で囲まれた領域が、右眼用本カメラ２４ａにて定まる右眼用ビューボリュームＶ２に相当する。第６前方交差点Ｐ６、第５前方交差点Ｐ５、第５後方交差点Ｑ５、第６後方交差点Ｑ６で囲まれた領域が、左眼用本カメラ２４ｂにて定まる左眼用ビューボリュームＶ３に相当する。第１前方交差点Ｐ１、第２前方交差点Ｐ２、第２後方交差点Ｑ２、第１後方交差点Ｑ１で囲まれた領域が最終使用領域であり、この領域に含まれるオブジェクトのデータが最終的に二次元画像のデータに変換される。
【００５２】
図示のごとく、仮カメラ２２と本カメラ２４との視線方向は一致していないため、右眼用ビューボリュームＶ２および左眼用ビューボリュームＶ３は、仮カメラ２２の最終使用領域と一致しない。そのため、歪み変換処理部１３８は、後述する歪み変換行列を共通ビューボリュームＶ１に施すことで、右眼用ビューボリュームＶ２および左眼用ビューボリュームＶ３を最終使用領域に一致させる。ここで、第６前方交差点Ｐ６と第４後方交差点Ｑ４とを結ぶ第１線分ｌ１をＺ＝ａＸ＋ｂと定義する。ａ、ｂは、第６前方交差点Ｐ６および第４後方交差点Ｑ４の位置により決められる定数である。後述の歪み変換行列を導出する際にこの第１線分ｌ１を用いる。
【００５３】
図１０は、歪み変換処理後の右眼用ビューボリュームＶ２を示す。歪み変換行列は、以下のように求められる。第６前方交差点Ｐ６と第４後方交差点Ｑ４とを結ぶ第２線分ｌ２をＺ＝ｃＸ＋ｄとする。ｃ、ｄは、歪み変換処理後の第６前方交差点Ｐ６および第４後方交差点Ｑ４によって決められる定数である。前述の第１線分ｌ１上の点の座標（（Ｚ−ｂ）／ａ、Ｙ、Ｚ））は、第２線分ｌ２上の点の座標（（Ｚ−ｄ）／ｃ、Ｙ、Ｚ））に変換される。このとき、共通ビューボリュームＶ１内の座標（Ｘ０、Ｙ０、Ｚ０）は座標（Ｘ１、Ｙ１、Ｚ１）に変換され、したがって、変換式は以下のように表される。
Ｘ１＝Ｘ０＋｛（Ｚ０−ｄ）／ｃ−（Ｚ０−ｂ）／ａ｝
＝Ｘ０＋（１／ｃ−１／ａ）Ｚ０＋（ｂ／ａ−ｄ／ｃ）
＝Ｘ０＋ＡＺ０＋Ｂ
Ｙ１＝Ｙ０
Ｚ１＝Ｚ０
ただし、Ａ：１／ｃ−１／ａ、
Ｂ：ｂ／ａ−ｄ／ｃ、
を表す。
【００５４】
これにより、歪み変換行列は下記の式によって表される。
【数１】
2005353047.tif 000003
【００５５】
上述の歪み変換行列を用いた歪み変換処理により、第４前方交差点Ｐ４が第２前方交差点Ｐ２に、第３前方交差点Ｐ３が第１前方交差点Ｐ１に、第３後方交差点Ｑ３が第１後方交差点Ｑ１に、第４後方交差点Ｑ４が第２後方交差点Ｑ２に一致し、結果として右眼用ビューボリュームＶ２は、最終使用領域に一致する。二次元画像生成部１４０は、この最終使用領域をスクリーン面に投影することで、二次元画像を生成する。左眼用ビューボリュームＶ３についても、右眼用ビューボリュームＶ２の場合と同様の歪み変換処理が行われる。
【００５６】
このように、共通ビューボリュームを歪み変換して本カメラごとのビューボリュームを取得することで、仮カメラのみで視差画像の基点となる二つの二次元画像を生成することができる。その結果、本カメラを仮想三次元空間内に実際に配置する処理を省くことができ、立体画像処理の全体の高速化を実現できる。とくに、本カメラの配置数が多い場合に高い効果を奏する。
【００５７】
立体画像処理装置１００は、共通ビューボリュームを一つ生成するとき、仮カメラを一つ配置すればよく、仮カメラ配置部１３４による仮カメラの配置に伴うビューイング変換を一回で済ますことができる。ビューイング変換の座標変換の対象は、仮想三次元空間内に定義されたオブジェクトのデータ全体である。そのデータ全体の中には、最終的に二次元画像に写し込むオブジェクトのデータだけなく、最終的に二次元画像に写し込まないオブジェクトのデータも含まれる。本実施の形態では、こうしたビューイング変換を一回で済ますことで、最終的に二次元画像に写し込まないオブジェクトのデータに対して行う座標変換の回数を減らし、変換に要する時間を短縮することができる。その結果、立体画像処理の効率化を実現できる。最終的に二次元画像に写し込まないオブジェクトのデータの量が多いほど、あるいは、本カメラの配置数が多いほど、より高い効果を奏する。
【００５８】
共通ビューボリュームが生成された後、新たに歪み変換処理が行われるが、処理対象データとして、共通ビューボリューム内に含まれる最終的に二次元画像に写し込むデータに絞り込んでおり、その処理データ量は、仮想三次元空間に含まれるオブジェクト全体を対象にするビューイング変換時に処理されるデータ量に比べて少ない。そのため、立体表示の際の処理全体の高速化を実現できる。
【００５９】
仮カメラは一つであってもよい。なぜなら、本カメラは視差画像を生成するために使用されるが、仮カメラは単に共通ビューボリュームを生成するために使用され、仮カメラの役割はそれだけで十分である。そのため、仮カメラを複数用いて複数の共通ビューボリュームを生成してもよいが、一つ用いることで、短い時間で本カメラのそれぞれから定まるビューボリュームを取得することができる。
【００６０】
図１１は、視差画像の生成処理の流れを示す。この処理は１フレームごとに繰り返し行われる。立体画像処理装置１００は、三次元データを取得する（Ｓ１０）。オブジェクト定義部１３２は、立体画像処理装置１００により取得された三次元データをもとに、仮想三次元空間内にオブジェクトを配置する（Ｓ１２）。仮カメラ配置部１３４は、仮想三次元空間内に仮カメラを配置する（Ｓ１４）。仮カメラ配置部１３４による仮カメラの配置後、ビューボリューム生成部１３６は、第１水平ずれ量ｄ１および第２水平ずれ量ｄ２を導出し、共通ビューボリュームＶ１を生成する（Ｓ１６）。
【００６１】
正規化変換部１３７は、共通ビューボリュームＶ１を正規化座標系に変換する（Ｓ１８）。歪み変換処理部１３８は、歪み変換行列を導出し（Ｓ２０）、その歪み変換行列に基づいて共通ビューボリュームＶ１に対する歪み変換処理を行い、本カメラ２４から定まるビューボリュームを取得する（Ｓ２２）。二次元画像生成部１４０は、本カメラごとのビューボリュームをスクリーン面に投影し、複数の二次元画像、すなわち視差画像を生成する（Ｓ２４）。本カメラ２４の個数分の二次元画像が生成されていない場合（Ｓ２６のＮ）、歪み変換行列導出以降の処理を繰り返す。本カメラ２４の個数分の二次元画像が生成されている場合（Ｓ２６のＹ）、１フレームの処理が完了する。
【００６２】
実施の形態２
実施の形態２が実施の形態１と異なるのは、立体画像処理装置１００は、仮カメラの視野角を拡大することにより、共通ビューボリュームを生成する点である。このような処理は、図１に示した立体画像処理装置１００と同様の構成で実現できるが、ビューボリューム生成部１３６は、仮カメラの視野角を拡大し、共通ビューボリュームを生成する機能をさらに有する。二次元画像生成部１４０についても、仮カメラの視野角の拡大に応じて、水平方向の画素数を拡大させて二次元画像を取得し、その二次元画像の中から最終使用領域に相当する水平方向の画素数Ｌ分の二次元画像を切り出す機能をさらに有する。具体的な水平方向の画素数の拡大量については後述する。
【００６３】
図１２は、仮カメラ２２の視野角θを拡大して共通ビューボリュームＶ１を生成する様子を示す。図６と同様のものには同じ符号を与え適宜説明を略す。ビューボリューム生成部１３６により仮カメラ２２からの視野角はθからθ'に拡大される。仮カメラ２２の視野角θ'をなす第４視線Ｋ４とオブジェクト前方面３０とが交差する位置を第７前方交差点Ｐ７および第８前方交差点Ｐ８とし、第４視線Ｋ４とオブジェクト後方面３２とが交差する位置を第７後方交差点Ｑ７および第８後方交差点Ｑ８とする。ここで、第７前方交差点Ｐ７および第８前方交差点Ｐ８は、それぞれ前述した第３前方交差点Ｐ３および第６前方交差点Ｐ６に一致する。第１水平ずれ量ｄ１および第２水平ずれ量ｄ２の値によっては、第７後方交差点Ｑ７および第８後方交差点Ｑ８が、それぞれ前述した第５後方交差点Ｑ５および第４後方交差点Ｑ４に一致する場合もある。第７前方交差点Ｐ７、第７後方交差点Ｑ７、第８後方交差点Ｑ８、第８前方交差点Ｐ８で囲まれた領域が、本実施の形態に係る共通ビューボリュームＶ１である。前述のごとく、第１前方交差点Ｐ１、第１後方交差点Ｑ１、第２後方交差点Ｑ２、第２前方交差点Ｐ２で囲まれた空間が、最終使用領域に相当する。
【００６４】
仮カメラ２２の視野角は拡大されているため、二次元画像生成部１４０は、水平方向の画素数を増加させて二次元画像を取得する必要がある。共通ビューボリュームＶ１に対して生成される二次元画像の水平方向の画素数をＬ'としたとき、最終使用領域に対して生成される二次元画像の水平方向の画素数Ｌとの間に、以下の関係式が成立する。
Ｌ'：Ｌ＝Ｓｔａｎ（θ'／２）：Ｓｔａｎ（θ／２）
結果として、Ｌ'は、
Ｌ'＝ Ｌｔａｎ（θ'／２）／ｔａｎ（θ／２）
で表される。
【００６５】
二次元画像生成部１４０は、投影時、水平方向の画素数をＬｔａｎ（θ'／２）／ｔａｎ（θ／２）に拡大して二次元画像を取得する。θが十分に小さい場合、Ｌθ'／θに近似して取得してもよい。水平方向の画素数Ｌを、Ｌ＋ＭおよびＬ＋Ｎのうち、大きい方に拡大して取得してもよい。
【００６６】
図１３は、正規化変換後の共通ビューボリュームＶ１、右眼用ビューボリュームＶ２および左眼用ビューボリュームＶ３の関係を示す。縦軸はＺ軸、横軸はＸ軸を表す。図示のごとく、正規化変換部１３７により、仮カメラ２２の共通ビューボリュームＶ１は、正規化座標系に変換される。第７前方交差点Ｐ７、第７後方交差点Ｑ７、第８後方交差点Ｑ８、第８前方交差点Ｐ８で囲まれた領域が、共通ビューボリュームＶ１に相当する。第４前方交差点Ｐ４、第７前方交差点Ｐ７、第３後方交差点Ｑ３、第４後方交差点Ｑ４で囲まれた領域が、右眼用本カメラ２４ａにて定まる右眼用ビューボリュームＶ２に相当する。第８前方交差点Ｐ８、第５前方交差点Ｐ５、第５後方交差点Ｑ５、第６後方交差点Ｑ６で囲まれた領域が、左眼用本カメラ２４ｂにて定まる左眼用ビューボリュームＶ３に相当する。第１前方交差点Ｐ１、第１後方交差点Ｑ１、第２後方交差点Ｑ２、第２前方交差点Ｐ２で囲まれた領域が、最終使用領域であり、この領域に含まれるオブジェクトのデータが最終的に二次元画像のデータに変換される。
【００６７】
図１４は、歪み変換処理後の右眼用ビューボリュームＶ２を示す。図示のごとく、上述の歪み変換行列を用いた歪み変換処理により、第４前方交差点Ｐ４が第２前方交差点Ｐ２に、第７前方交差点Ｐ７が第１前方交差点Ｐ１に、第３後方交差点Ｑ３が第１後方交差点Ｑ１に、第４後方交差点Ｑ４が第２後方交差点Ｑ２に一致し、結果として右眼用ビューボリュームＶ２は、最終使用領域に一致する。左眼用ビューボリュームＶ３についても、右眼用ビューボリュームＶ２の場合と同様の歪み変換処理が行われる。
【００６８】
このように、共通ビューボリュームを歪み変換して本カメラごとのビューボリュームを取得することで、仮カメラのみで視差画像の基点となる二つの二次元画像を生成することができる。その結果、本カメラを仮想三次元空間内に実際に配置する処理を省くことができ、立体画像処理全体の高速化を実現できる。とくに、本カメラの配置数が多い場合に高い効果を奏する。また、実施の形態１と同様の効果を享受できる。
【００６９】
図１５は、視差画像の生成処理の流れを示す。この処理は１フレームごとに繰り返し行われる。立体画像処理装置１００は、三次元データを取得する（Ｓ３０）。オブジェクト定義部１３２は、立体画像処理装置１００により取得された三次元データをもとに、仮想三次元空間内にオブジェクトを配置する（Ｓ３２）。仮カメラ配置部１３４は、仮想三次元空間内に仮カメラを配置する（Ｓ３４）。仮カメラ配置部１３４による仮カメラの配置後、ビューボリューム生成部１３６は、第１水平ずれ量ｄ１および第２水平ずれ量ｄ２を導出し、仮カメラ２２の視野角θをθ'に拡大する（Ｓ３６）。ビューボリューム生成部１３６は、拡大した仮カメラ２２の視野角θ'をもとに、共通ビューボリュームＶ１を生成する（Ｓ３８）。
【００７０】
正規化変換部１３７は、共通ビューボリュームＶ１を正規化座標系に変換する（Ｓ４０）。歪み変換処理部１３８は、歪み変換行列を導出し（Ｓ４２）、その歪み変換行列に基づいて共通ビューボリュームＶ１に対する歪み変換処理を行い、本カメラ２４から定まるビューボリュームを取得する（Ｓ４４）。二次元画像生成部１４０は、投影時に生成される二次元画像の水平方向の画素数を設定する（Ｓ４６）。二次元画像生成部１４０は、本カメラごとのビューボリュームをスクリーン面に投影し、設定された画素数分の二次元画像を一度生成し、その中から画素数Ｌ分の画像を、複数の二次元画像、すなわち視差画像として生成する（Ｓ４８）。本カメラ２４の個数分の二次元画像が生成されていない場合（Ｓ５０のＮ）、歪み変換行列導出以降の処理を繰り返す。本カメラ２４の個数分の二次元画像が生成されている場合（Ｓ５０のＹ）、１フレームの処理が完了する。
【００７１】
実施の形態３
実施の形態１および実施の形態２では、Ｚバッファ法を利用して前方クリップ面および後方クリップ面の位置を決めていた。本実施の形態では、前方投影面および後方投影面を前方クリップ面および後方クリップ面として設定する。この処理は、実施の形態２に係る立体画像処理装置１００と同様の構成で実現できるが、ビューボリューム生成部１３６は、オブジェクト前方面およびオブジェクト後方面を用いて共通ビューボリュームを生成するかわりに、前方投影面および後方投影面を用いて共通ビューボリュームを生成する機能を有する。ここで、前方投影面および後方投影面の位置は、立体表示すべきオブジェクトが十分に含まれるよう、ユーザなどにより決められる。このような前方投影面および後方投影面を最終使用領域の範囲とすることで、その最終使用領域の範囲に含まれるオブジェクトを高い確実性で立体表示できる。
【００７２】
図１６は、前方投影面３４および後方投影面３６を用いて共通ビューボリュームを生成する様子を示す。図６あるいは図１２と同様のものには同じ符号を与え適宜説明を略す。視点面２０４に配置された仮カメラ２２からの第４視線Ｋ４と前方投影面３４とが交差する位置を第１前方投影交差点Ｆ１および第２前方投影交差点Ｆ２とし、第４視線Ｋ４と後方投影面３６とが交差する位置を第１後方投影交差点Ｂ１および第２後方投影交差点Ｂ２とする。第４視線Ｋ４と前方投影面３４とが交差する位置を第１前方交差点Ｐ'１および第２前方交差点Ｐ'２とし、第４視線Ｋ４と後方投影面３６とが交差する位置を第１後方交差点Ｑ'１および第２後方交差点とＱ'２とする。前方投影面３４とオブジェクト最前面３０とのＺ軸方向の間隔をＶ、オブジェクト最後面３２と後方投影面３６とのＺ軸方向の間隔をＷと表すものとする。第１前方投影交差点Ｆ１、第１後方投影交差点Ｂ１、第２後方投影交差点Ｂ２、第２前方交投影差点Ｆ２で囲まれた領域が、本実施の形態に係る共通ビューボリュームＶ１である。
【００７３】
図１７は、正規化変換後の共通ビューボリュームＶ１、右眼用ビューボリュームＶ２および左眼用ビューボリュームＶ３の関係を示す。縦軸はＺ軸、横軸はＸ軸を表す。図示のごとく、正規化変換部１３７により、仮カメラ２２の共通ビューボリュームＶ１は、正規化座標系に変換される。第４前方交差点Ｐ４、第７前方交差点Ｐ７、第３後方交差点Ｑ３、第４後方交差点Ｑ４で囲まれた領域が、右眼用本カメラ２４ａにて定まる右眼用ビューボリュームに相当する。第８前方交差点Ｐ８、第５前方交差点Ｐ５、第５後方交差点Ｑ５、第６後方交差点Ｑ６で囲まれた領域が、左眼用本カメラ２４ｂにて定まる左眼用ビューボリュームＶ３に相当する。第２前方交差点Ｐ'２、第１前方交差点Ｐ'１、第１後方交差点Ｑ'１、第２後方交差点Ｑ'２、で囲まれた領域が、最終使用領域であり、この領域に含まれるオブジェクトのデータが最終的に二次元画像のデータに変換される。
【００７４】
図１８は、歪み変換処理後の右眼用ビューボリュームＶ２を示す。図示のごとく、上述の歪み変換行列を用いた歪み変換処理により、第４前方交差点Ｐ４が第２前方交差点Ｐ２に、第７前方交差点Ｐ７が第１前方交差点Ｐ１に、第３後方交差点Ｑ３が第１後方交差点Ｑ１に、第４後方交差点Ｑ４が第２後方交差点Ｑ２に一致する。左眼用ビューボリュームＶ３についても、右眼用ビューボリュームＶ２の場合と同様の歪み変換処理が行われる。
【００７５】
このように、共通ビューボリュームを歪み変換して本カメラごとのビューボリュームを取得することで、仮カメラのみで視差画像の基点となる二つの二次元画像を生成することができる。その結果、本カメラを仮想三次元空間内に実際に配置する処理を省くことができ、立体画像処理全体の高速化を実現できる。とくに、本カメラの配置数が多い場合に高い効果を奏する。また、実施の形態１と同様の効果を享受できる。
【００７６】
実施の形態４
実施の形態４が実施の形態１と異なるのは、共通ビューボリュームを歪み変換するのではなく、回転変換を行う点である。図１９は、本実施の形態に係る立体画像処理装置１００の構成を示す。以下、実施の形態１と同等の構成には同じ符号を与え適宜説明を略す。本実施の形態に係る立体画像処理装置１００には、図１に示した立体画像処理装置１００の歪み変換処理部１３８のかわりに、新たに回転変換処理部１５０が設けられる。以上の構成による処理の流れは、実施の形態１と同様である。
【００７７】
回転変換処理部１５０は、歪み変換処理部１３８と同様に、後述する回転変換行列を導出し、その回転変換行列を正規化変換された共通ビューボリュームＶ１に施すことで、本カメラ２４ごとのビューボリュームを取得する。
【００７８】
ここで、回転変換行列は、以下のように求められる。図２０は、正規化変換後の共通ビューボリューム、右眼用ビューボリュームおよび左眼用ビューボリュームの関係を示す。本実施の形態の回転中心は座標（０．５、Ｙ、Ｍ／（Ｍ＋Ｎ））であるが、説明の便宜上、座標（Ｃｘ、Ｃｙ、Ｃｚ）とする。まず、回転変換処理部１５０は、回転中心を原点に平行移動させる。このとき、共通ビューボリュームＶ１内の座標（Ｘ０、Ｙ０、Ｚ０）は座標（Ｘ１、Ｙ１、Ｚ１）に平行移動され、したがって、変換式は以下のように表される。
【数２】
2005353047.tif 000004
【００７９】
次にＹ軸を回転軸として座標（Ｘ１、Ｙ１、Ｚ１）を座標（Ｘ２、Ｙ２、Ｚ２）に角度φだけ回転する。角度φは、図９において、第４前方交差点Ｐ４および第４後方交差点Ｑ４を結ぶ線分と、第２前方交差点Ｐ２および第２後方交差点Ｑ２とを結ぶ線分とで生成される角度をいう。この角度φは、Ｙ軸の正方向の向きに対し、時計回りを正の方向とする。変換式は以下のように表される。
【数３】
2005353047.tif 000005
【００８０】
最後に、原点にある回転中心を座標（Ｃｘ、Ｃｙ、Ｃｚ）に戻すよう平行移動する。
【数４】
2005353047.tif 000006
【００８１】
このような回転変換処理により、共通ビューボリュームを回転変換して本カメラごとのビューボリュームを取得することで、仮カメラのみで視差画像の基点となる二つの二次元画像を生成することができる。その結果、本カメラを仮想三次元空間内に実際に配置する処理を省くことができ、立体画像処理全体の高速化を実現できる。とくに、本カメラの配置数が多い場合に高い効果を奏する。
【００８２】
図２１は、視差画像の生成処理の流れを示す。この処理は１フレームごとに繰り返し行われる。立体画像処理装置１００は、三次元データを取得する（Ｓ６０）。オブジェクト定義部１３２は、立体画像処理装置１００により取得された三次元データをもとに、仮想三次元空間内にオブジェクトを配置する（Ｓ６２）。仮カメラ配置部１３４は、仮想三次元空間内に仮カメラを配置する（Ｓ６４）。仮カメラ配置部１３４による仮カメラの配置後、ビューボリューム生成部１３６は、第１水平ずれ量ｄ１および第２水平ずれ量ｄ２を導出し、共通ビューボリュームＶ１を生成する（Ｓ６６）。
【００８３】
正規化変換部１３７は、共通ビューボリュームＶ１を正規化座標系に変換する（Ｓ６８）。回転変換処理部１５０は、回転変換行列を導出し（Ｓ７０）、その回転変換行列に基づいて共通ビューボリュームＶ１に対する回転変換処理を行い、本カメラ２４から定まるビューボリュームを取得する（Ｓ７２）。二次元画像生成部１４０は、本カメラごとのビューボリュームをスクリーン面に投影し、複数の二次元画像、すなわち視差画像を生成する（Ｓ７４）。本カメラ２４の個数分の二次元画像が生成されていない場合（Ｓ７６のＮ）、歪み変換行列導出以降の処理を繰り返す。本カメラ２４の個数分の二次元画像が生成されている場合（Ｓ７６のＹ）、１フレームの処理が完了する。
【００８４】
実施の形態５
実施の形態５が実施の形態２と異なるのは、共通ビューボリュームを歪み変換するのではなく、回転変換を行う点である。本実施の形態に係る立体画像処理装置１００には、実施の形態２に係る立体画像処理装置１００の歪み変換処理部１３８のかわりに、新たに上述の回転変換処理部１５０が設けられる。本実施の形態の回転中心は（０．５、Ｙ、Ｍ／（Ｍ＋Ｎ））である。以上の構成による処理の流れは、実施の形態２と同様である。これにより、実施の形態２と同様の効果を享受できる。
【００８５】
実施の形態６
実施の形態６が実施の形態３と異なるのは、共通ビューボリュームを歪み変換するのではなく、回転変換を行う点である。本実施の形態に係る立体画像処理装置１００には、実施の形態３に係る立体画像処理装置１００から歪み変換処理部１４８のかわりに、新たに上述の回転変換処理部１５０が設けられる。本実施の形態の回転中心は（０．５、Ｙ、｛Ｖ＋ＴＭ／（Ｍ＋Ｎ）｝／（Ｖ＋Ｔ＋Ｗ））である。以上の構成による処理の流れは、実施の形態３と同様である。これにより、実施の形態３と同様の効果を享受できる。
【００８６】
実施の形態７
実施の形態７が上述の実施の形態と異なるのは、正規化変換部１３７により行われる共通ビューボリュームＶ１の正規化座標系への変換が非線形である点である。なお、本実施の形態に係る立体画像処理装置１００の構成は、実施の形態１に係る立体画像処理装置１００の構成と同様であるが、正規化変換部１３７はさらに以下の機能を有する。
【００８７】
正規化変換部１３７は、共通ビューボリュームＶ１を正規化座標系に変換するとともに、仮カメラ配置部１３４により配置された仮カメラからの奥行き方向の距離に応じて、オブジェクト定義部１３２により配置されたオブジェクトに奥行き方向の圧縮処理を施す。具体的には、例えば、正規化変換部１３７は仮カメラからの奥行き方向の距離が大きいほど、奥行き方向の圧縮率が高い圧縮処理を施す。
【００８８】
図２２は、正規化変換部１３７による奥行き方向の圧縮処理を模式的に示す。図２２の左側に示す座標系は仮カメラ２２を原点としたカメラ座標系であり、Ｚ’軸方向が奥行き方向である。なお、Ｚ’軸方向はＺ値が大きくなる方向と同一である。図示のごとく、第２オブジェクト３０４は第１オブジェクト３０２よりも仮カメラ２２から近い位置に配置されている。
【００８９】
一方、図２２の右側に示す座標系は正規化座標系である。前述のごとく、第３前方交差点Ｐ３、第５後方交差点Ｑ５、第４後方交差点Ｑ４、第６前方交差点Ｐ６で囲まれた領域が正規化変換部１３７により正規化座標系に変換された共通ビューボリュームＶ１である。
【００９０】
図２２に示すごとく、第１オブジェクト３０２は仮カメラ２２から遠い位置にあるため、正規化変換部１３７により奥行き方向の強い圧縮率の圧縮処理が施されており、図２２の右側に示す正規化座標系における第１オブジェクト３０２の奥行き方向の長さが極端に短くなっている。
【００９１】
図２３（ａ）は、圧縮処理に関するＺ’軸方向の値とＺ方向の値との第１関係を示し、一方、図２３（ｂ）は、圧縮処理に関するＺ’軸方向の値とＺ方向の値との第２関係を示す。実施の形態７に係る正規化変換部１３７による奥行き方向の圧縮処理はこの第１関係あるいは第２関係に基づいて行われる。第１関係のもとでは、正規化変換部１３７は、Ｚ’軸方向の値が大きいほど、Ｚ’軸方向の値の増加幅に対するＺ方向の値の増加幅を小さくせしめる圧縮処理をオブジェクトに施す。一方、第２関係のもとでは、正規化変換部１３７は、Ｚ’軸方向の値がある一定値を超えたとき、Ｚ’軸方向の値の増加に対するＺ方向の値の変化をゼロにせしめる圧縮処理をオブジェクトに施す。いずれの場合でも、仮の視点から離れているオブジェクトに対しては、奥行き方向の強い圧縮率の圧縮処理が施される。
【００９２】
実際、人間の両眼視差の効果が得られるのは自身から２０メートル程度の位置までといわれおり、遠方にあるオブジェクトの立体感を小さくさせるのはむしろ自然に感じられることが多い。そのため、本実施の形態に係る圧縮処理の実施は有意義である。
【００９３】
実施の形態８
実施の形態８が実施の形態１と異なるのは、立体感調整部１１０を介して得られた近置最大視差量Ｍおよび遠置最大視差量Ｎが適正になるように補正される点である。図２４は、実施の形態８に係る立体画像処理装置１００の構成を示す。実施の形態８に係る立体画像処理装置１００には、実施の形態１に係る立体画像処理装置１００に新たに視差制御部１３５が設けられる。以下、実施の形態１と同等の構成には同じ符号を与え適宜説明を略す。
【００９４】
視差制御部１３５は、立体画像を生成する際に、当該立体画像内に表現されるオブジェクトの幅と奥行きの比が人間の眼に正しく知覚される範囲の視差よりも、視差が大きくならないように近置最大視差量あるいは遠置最大視差量を制御する。この場合、視差制御部１３５は内部に、適正視差にしたがって設定されたカメラパラメータを修正するカメラ配置修正部（図示せず）を備えてもよい。ここで、「立体画像」とは立体感をもって表示された画像であり、そのデータの実体は、複数の画像に視差をもたせた「視差画像」である。視差画像は一般に複数の二次元画像の集合である。この近置最大視差量あるいは遠置最大視差量の制御処理は、仮カメラ配置部１３４により仮カメラが仮想三次元空間に設定された後に行われる。
【００９５】
一般に、例えば、球が正しく見えるような正しい視差状態に対して、適正視差処理によって視差が大きすぎる状態であると判断されれば、立体画像の視差が小さくなるように処理されることがある。このとき、球が奥行き方向につぶれたような形状に見えるが、一般的にこのような表示に対する違和感は小さい。人は、通常、平面画像を見慣れているため、視差が０の状態と正しい視差の状態との間であれば、人は違和感を覚えないことが多い。
【００９６】
逆に、球が正しく見えるような視差状態に対して、適正視差処理で立体画像の視差が小さくなりすぎると判断されれば、視差が大きくなるように処理されることがある。このとき、例えば球は奥行き方向に膨らんだような形状に見え、このような表示に対しては人は違和感を大きく覚えることがある。
【００９７】
単体のオブジェクトを立体表示する際などに、上述のような人が違和感を覚える現象が起こりやすく、建物や乗り物など、実生活で眼にする物体の表示では、特に、この視差の違いによる見え方の違和感が明確に認識される傾向がある。そこで、その違和感を低減するためには、視差が大きくなるような処理に対しては補正を加える必要がある。
【００９８】
立体画像が生成される場合、通常、本カメラの配置を変更することで、視差の調整を比較的容易に行うことができる。しかしながら、本明細書では、前述のごとく、立体画像が生成される際、本カメラは実際に仮想三次元空間内に配置されることはない。そのため、以下、架空の本カメラが配置されることを想定して視差、例えば、近置最大視差量Ｍおよび遠置最大視差量Ｎが補正されるものとする。以下、図２５から図３０をもとに視差の補正手順を示す。
【００９９】
図２５は、立体画像処理装置１００の表示画面４００において、観察者が立体画像を観察している様子を示している。表示画面４００の画面サイズがＬ、表示画面４００と観察者との距離がｄ、眼間距離がｅである。更に、近置限界視差Ｍと遠置限界視差Ｎは立体感調整部１１０により予め得られており、近置限界視差Ｍと遠置限界視差Ｎの間が適正視差となる。ここでは、理解を容易にするために近置限界視差Ｍのみを表示しており、この値から最大飛び出し量ｍが定まる。飛び出し量ｍとは、表示画面４００から近置点までの距離を指す。なお、前述のごとく、Ｌ、Ｍ、Ｎの単位は「画素」であり、他のｄ、ｍ、ｅ等のパラメータと異なり、本来は所定の変換式を用いて調整する必要があるが、ここでは説明を容易にするため同じ単位系で表している。さらに、本実施の形態では、二次元画像の水平方向の画素数と画面サイズはともにＬで等しいものとする。
【０１００】
このとき、球のオブジェクト２０を表示するために、オブジェクト２０の最近置点と最遠置点とを基準として、初期設定時に本カメラ配置が図２６のように決められたとする。右眼用本カメラ２４ａおよび左眼用本カメラ２４ｂによる光軸交差距離がＤ、それらカメラ間隔がＥｃである。ただし、パラメータの比較を容易にするために、光軸交差距離におけるカメラの見込み幅が画面サイズＬと一致するように座標系の拡大縮小処理がなされている。このとき、立体画像処理装置１００において、例えばカメラ間隔Ｅｃが眼間距離ｅに等しく、観察距離ｄが光軸交差距離Ｄに等しいとする。この場合、この系は、図２７のように、図２６に示したカメラ位置から観察者が観察するとオブジェクト２０が正しく見える。一方、立体画像処理装置１００において、例えばカメラ間隔Ｅｃが眼間距離ｅに等しく、観察距離ｄが光軸交差距離Ｄより大きかったとする。この場合、図２６に示す撮影系で生成された画像を立体画像処理装置１００の表示画面を介してオブジェクト２０を観察すると、図２８のように、適正視差範囲全体にわたって奥行き方向に伸びたオブジェクト２０が観察される。
【０１０１】
この原理を用いて、立体画像に対して補正が必要か否かを判断する手法を以下に示す。図２９は、図２６に示したカメラ配置で、表示画面４００からの距離がＡに位置する球の最近置点を撮影する様子を示している。このとき、右眼用本カメラ２４ａおよび左眼用本カメラ２４ｂのそれぞれと距離Ａの位置する点を結んでできる二つの直線によって、距離Ａに対応する最大視差Ｍが求まる。更に、図３０は、それら二つのカメラとカメラの光軸公差距離をｄとしたときに、図２９で示した視差Ｍを得るために必要なカメラ間隔Ｅ１を表している。これは、カメラ間隔以外の撮影系のパラメータを全て観察系のパラメータと一致させる変換ということができる。図２９および図３０には次の関係が成り立つ。  
Ｍ：Ａ＝Ｅｃ：Ｄ−Ａ
Ｍ：Ａ＝Ｅ１：ｄ−Ａ
Ｅｃ＝Ｅ１（Ｄ−Ａ）／（ｄ−Ａ）
Ｅ１＝Ｅｃ（ｄ−Ａ）／（Ｄ−Ａ）  
そして、このＥ１が眼間距離ｅより大きいときに視差が小さくなるような補正が必要と判断される。Ｅ１を眼間距離ｅにすればよいので、次式のようにＥｃを補正すればよい。
Ｅｃ＝ｅ（Ｄ−Ａ）／（ｄ−Ａ）  
【０１０２】
最遠置点についても同様で、図３１、および図３２において、オブジェクト２０の最近置点と最遠置点の距離を最終使用領域の範囲であるＴとすると、
Ｎ：Ｔ−Ａ＝Ｅｃ：Ｄ＋Ｔ−Ａ
Ｎ：Ｔ−Ａ＝Ｅ２：ｄ＋Ｔ−Ａ
Ｅｃ＝Ｅ２（Ｄ＋Ｔ−Ａ）／（ｄ＋Ｔ−Ａ）
Ｅ２＝Ｅｃ（ｄ＋Ｔ−Ａ）／（Ｄ＋Ｔ−Ａ）
更に、このＥ２が眼間距離ｅより大きいときに、補正が必要と判断される。続いて、Ｅ２を眼間距離ｅにすればよいので、次式のようにＥｃを補正すればよい。
Ｅｃ＝ｅ（Ｄ＋Ｔ−Ａ）／（ｄ＋Ｔ−Ａ）
【０１０３】
最終的には、最近置点、最遠置点からそれぞれ得られた二つのＥｃのうち、小さい方を選択すれば、近置および遠置のいずれに関しても視差が大きくなりすぎることがなくなる。この選択されたＥｃをもとの三次元空間の座標系にもどしてカメラを設定する。
【０１０４】
より、一般的には、
Ｅｃ＜ｅ（Ｄ−Ａ）／（ｄ−Ａ）
Ｅｃ＜ｅ（Ｄ＋Ｔ−Ａ）／（ｄ＋Ｔ−Ａ）
の２式を同時に満たすようにカメラ間隔Ｅｃを設定すればよい。これは、図３３および図３４において、観察距離ｄの位置に眼間距離ｅの間隔の、二次元画像生成時には実際には配置されないが、右眼用本カメラ２４ａおよび左眼用本カメラ２４ｂと、オブジェクトの最近置点とを結ぶ二つの光軸Ｋ５上、または、右眼用本カメラ２４ａおよび左眼用本カメラ２４ｂと最遠置点を結ぶ二つの光軸Ｋ６上に二つのカメラを配置したときの間隔が、カメラ間隔Ｅｃの上限であることを示している。つまり、図３３における二つの光軸Ｋ５の間隔、もしくは図３４における二つの光軸Ｋ６の間隔のうち狭い方の光軸の間に含まれるようにカメラパラメータを決めればよい。
【０１０５】
視差制御部１３５は、このようにカメラ間隔Ｅｃが修正されたとき、当該修正されたカメラ間隔Ｅｃに対する近置最大視差量Ｍあるいは遠置最大視差量Ｎを導出する。すなわち、近置最大視差量Ｍとして、
Ｍ＝ＥｃＡ／（Ｄ−Ａ）
同様に、遠置最大視差量Ｎとして、
Ｎ＝Ｅｃ（Ｔ−Ａ）／（Ｄ＋Ｔ−Ａ）
を設定する。視差制御部１３５により近置最大視差量Ｍあるいは遠置最大視差量Ｎが補正された後は、上述の共通ビューボリューム生成処理が行われ、以降は実施の形態１と同様の処理が行われる。
【０１０６】
なお、ここで光軸交差距離を変更せずにカメラ間隔のみで補正を行ったが、光軸交差距離を変更し、オブジェクトの位置を変更してもよいし、カメラ間隔および光軸交差距離の両方を変更してもよい。実施の形態８によれば、立体画像の観察者が違和感を感じることを低減できる。
【０１０７】
実施の形態９
実施の形態９が実施の形態８と異なるのは、立体感調整部１１０を介して得られた近置最大視差量Ｍおよび遠置最大視差量Ｎが周波数分析あるいはオブジェクトの動きの状態により補正される点である。図３５は、実施の形態９に係る立体画像処理装置１００の構成を示す。実施の形態９に係る立体画像処理装置１００には、実施の形態８に係る立体画像処理装置１００に新たに画像判定部１９０が設けられる。また、実施の形態９に係る視差制御部１３５はさらに以下の機能を有する。以下、実施の形態８と同等の構成には同じ符号を与え適宜説明を略す。
【０１０８】
画像判定部１９０は、異なる視差に対応する複数の二次元画像をもとに表示されるべき立体画像を周波数分析する。視差制御部１３５は、周波数分析により判明する高周波成分の量に応じて、近置最大視差量Ｍあるいは遠置最大視差量Ｎを調整する。具体的には、視差制御部１３５は、高周波成分の量が多い場合は、近置最大視差量Ｍあるいは遠置最大視差量Ｎを大きくする調整を行う。ここで、二次元画像とは視差画像を構成する各画像であり、それぞれが対応する視点を有する「視点画像」と称してもよい。すなわち、複数の二次元画像によって視差画像が構成され、それを表示すると立体画像として表示される。
【０１０９】
さらに、画像判定部１９０は、異なる視差に対応する複数の二次元画像をもとに表示される立体画像の動きを検出する。この場合、視差制御部１３５は、立体画像の動きの量に応じて、近置最大視差量Ｍあるいは遠置最大視差量Ｎを調整する。具体的には、視差制御部１３５は、立体画像の動きの量が多い場合、近置最大視差量Ｍあるいは遠置最大視差量Ｎを大きくする調整を行う。
【０１１０】
観察者が違和感を覚える視差の限界は、画像によって異なる。一般に、模様や色の変化が少ない画像で、エッジが目立つような画像は、視差を大きくつけるとクロストークが目立つ。また、エッジの両側の輝度差が大きい画像も、視差を強くつけるとクロストークが目立つ。つまり、立体表示すべき画像、つまり視差画像、さらには視点画像において、高周波成分が少ない場合に、ユーザはその画像を視た際に違和感を覚える傾向がある。そこで、画像をフーリエ変換などでの手法で周波数解析し、その解析の結果得られた周波成分の分布に応じて適正視差に補正を加えるとよい。つまり、高周波成分の量が多い画像に関しては、視差が適正視差よりも大きくなる補正を加える。
【０１１１】
また、動きの多い画像はクロストークが目立たない。一般に、ファイル名の拡張子を調べることで、ファイルの種類が動画か静止画であるかが分かることが多い。そこで、動画像と判定された場合には、動きベクトルなどの既知の動き検出手法で、動きの状態を検出し、その状態に応じて適正視差量に補正を加えてもよい。動きの多い画像の場合や動きを強調したい場合などは視差が本来の視差よりも大きくなるような補正を加える。一方、動きの少ない画像には、視差が本来の視差よりも小さくなるような補正を加える。なお、適正視差の補正は一例で、予め決められた視差範囲であればどのようなものでも補正ができる。
【０１１２】
また、これらの分析結果をファイルのヘッダ領域に記録して、立体画像処理装置がそのヘッダを読みとり、次回以降の立体画像の表示の際に利用してもよい。また、高周波成分の量や動き分布は、画像の作成者やユーザによって実際の立体視によりランク付けがなされてもよいし、複数の評価者による立体視でランク付けを行い、その平均値が利用されてもよく、そのランク付けの手法は問わない。視差制御部１３５により近置最大視差量Ｍあるいは遠置最大視差量Ｎが補正された後は、上述の共通ビューボリューム生成処理が行われ、以降は実施の形態１と同様の処理が行われる。
【０１１３】
本発明と実施の形態に係る構成の対応を例示する。「仮視点配置部」は仮カメラ配置部１３４に対応し、「座標変換部」は歪み変換処理部１３８および回転変換処理部１５０に対応する。
【０１１４】
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、そうした変形例を述べる。
【０１１５】
実施の形態では、近置最大視差量Ｍおよび遠置最大視差量Ｎが決定されることで、光軸交差面２１２の位置が一意に決められる。変形例として、光軸交差面２１２はユーザにより所望の位置に決められてもよい。これにより、ユーザは、所望のオブジェクトをスクリーン面上に置き、そのオブジェクトが飛び出させないように操作することができる。ユーザが光軸交差面２１２の位置を決めたとき、その位置が近置最大視差量Ｍおよび遠置最大視差量Ｎで一意に決まる光軸交差面２１２の位置とは異なる可能性がある。そのため、このような光軸交差面２１２にオブジェクトが投影されれば、近置最大視差量Ｍおよび遠置最大視差量Ｎを実現する二次元画像が生成されないことがある。そこで、ビューボリューム生成部１３６は、光軸交差面２１２の位置が所望の位置に固定されたとき、後述するように、近置最大視差量Ｎあるいは遠置最大視差量Ｎのうちいずれかを優先し、優先した方の最大視差量に基づいて、共通ビューボリュームを生成する。
【０１１６】
図３６は、遠置最大視差量Ｎを優先させて共通ビューボリュームを生成する様子を示す。図６と同様のものには同じ符号を与え適宜説明を略す。図示のごとく、遠置最大視差量Ｎを優先した場合、第３前方交差点Ｐ３および第５前方交差点Ｐ５の間隔は、近置最大視差量Ｍより小さくなる。これにより、限界視差を超えない二次元画像を生成することができる。一方、ビューボリューム生成部１３６は、近置最大視差量Ｍを優先することにより、共通ビューボリュームを決めてもよい。
【０１１７】
ビューボリューム生成部１３６は、光軸交差面２１２の位置が最終使用領域の範囲Ｔの比較的前方にあるか比較的後方にあるかどうかを判断することで、近置最大視差量Ｍおよび遠置最大視差量Ｎのうち、いずれを優先させるかを決めてもよい。より正確には、近置最大視差量Ｍおよび遠置最大視差量Ｎから導出される光軸交差面２１２の位置に対して、ユーザが所望する光軸交差面２１２が前方にあるか後方にあるかを判断することで、近置最大視差量Ｍおよび遠置最大視差量Ｎのうち、いずれを優先させるかを決めてもよい。このとき、光軸交差面２１２の位置が最終使用領域の範囲Ｔの比較的前方にある場合、ビューボリューム生成部１３６は遠置最大視差量Ｎを優先し、比較的後方にある場合、近置最大視差量Ｍを優先する。なぜなら、光軸交差面２１２の位置が最終使用領域の範囲Ｔの比較的前方にあって、近置最大視差量Ｍが優先されれば、光軸交差面２１２とオブジェクト最後面３２との距離が比較的大きいため、第３後方交差点Ｑ３および第５後方交差点Ｑ５の間隔が遠置最大視差量Ｎの範囲を越える可能性が高くなるためである。
【０１１８】
実施の形態では、仮カメラ２２は単に共通ビューボリュームＶ１を生成するために使用されるものであったが、変形例として、仮カメラ２２は、共通ビューボリュームＶ１とともに二次元画像をも生成するものであってもよい。これにより、奇数枚の二次元画像を生成できる。
【０１１９】
実施の形態では、水平方向にカメラを配置したが、垂直方向にカメラを配置してもよく、水平方向の場合と同様の効果を享受できる。
【０１２０】
実施の形態では、近置最大視差量Ｍおよび遠置最大視差量Ｎは予め設定されているが、変形例として、それらの量は、必ずしも予め設定されている必要はない。立体画像処理装置１００は、所定の位置に設定された複数のカメラの配置条件に対し、本カメラごとのビューボリュームを含む共通ビューボリュームを生成すればよく、その際に近置最大視差量Ｍおよび遠置最大視差量Ｎに相当する値を算出すればよい。
【０１２１】
実施の形態７では、オブジェクトの奥行き方向の位置が仮カメラから遠いほど、奥行き方向の強い圧縮率の圧縮処理が当該オブジェクトに施されたが、変形例として、当該圧縮処理とは異なる圧縮処理を挙げる。本変形例に係る正規化変換部１３７は、仮カメラ配置部１３４により配置された仮カメラから奥行き方向のある地点にかけて徐々に奥行き方向の圧縮率を小さくする圧縮処理を施し、ある地点から奥行き方向にかけて徐々に奥行き方向の圧縮率を大きくする圧縮処理を施す。
【０１２２】
図３７は、圧縮処理に関するＺ’軸方向の値とＺ方向の値との第３関係を示す。第３関係のもとでは、正規化変換部１３７は、Ｚ’軸方向の値がある値から小さくなるほど、Ｚ’軸方向の値の減少幅に対するＺ方向の値の減少幅を小さくせしめる圧縮処理をオブジェクトに施すことができる。一方、正規化変換部１３７は、Ｚ’軸方向の値がある値から大きくなるほど、Ｚ’軸方向の値の増加幅に対するＺ方向の値の増加幅を小さくせしめる圧縮処理をオブジェクトに施すことができる。
【０１２３】
例えば、１フレームごとに動くオブジェクトが仮想三次元空間内に存在している場合、当該オブジェクトの一部分が正規化変換前の共通ビューボリュームＶ１から手前あるいは奥行き方向へ飛び出すことがある。本変形例はこのような場合に特に有効であり、本変形例によれば、正規化座標系に変換された共通ビューボリュームＶ１からの動的オブジェクトの一部分の飛び出しを抑制できる。なお、実施の形態７に係る二つの圧縮処理、および本変形例に係る圧縮処理のいずれを用いるかは、立体画像処理装置１００内部のプログラムにより自動的に決定、あるいはユーザにより選択されてもよい。
【図面の簡単な説明】
【０１２４】
【図１】実施の形態１に係る立体画像処理装置の構成を示す図である。
【図２】図２（ａ）、図２（ｂ）は、それぞれ、立体画像処理装置の立体感調整部によって表示される左眼画像と右眼画像を示す図である。
【図３】立体画像処理装置の立体感調整部によって表示される、異なる視差をもつ複数のオブジェクトを示す図である。
【図４】立体画像処理装置の立体感調整部によって表示される、視差が変化するオブジェクトを示す図である。
【図５】仮カメラのカメラ画角と二次元画像の水平方向の画素数との関係を示す図である。
【図６】仮想三次元空間における近置最大視差量および遠置最大視差量を示す図である。
【図７】水平方向のずれ量を仮想三次元空間における単位に変換して表した様子を示す図である。
【図８】第１水平ずれ量および第２水平ずれ量をもとに、共通ビューボリュームを生成する様子を示す図である。
【図９】実施の形態１に係る正規化変換後の共通ビューボリューム、右眼用ビューボリュームおよび左眼用ビューボリュームの関係を示す図である。
【図１０】実施の形態１に係る歪み変換処理後の右眼用ビューボリュームを示す図である。
【図１１】実施の形態１に係る視差画像の生成処理の流れを示す図である。
【図１２】実施の形態２に係る仮カメラの視野角を拡大して共通ビューボリュームを生成する様子を示す図である。
【図１３】実施の形態２に係る正規化変換後の共通ビューボリューム、右眼用ビューボリュームおよび左眼用ビューボリュームの関係を示す図である。
【図１４】実施の形態２に係る歪み変換処理後の右眼用ビューボリュームを示す図である。
【図１５】実施の形態２に係る視差画像の生成処理の流れを示す図である。
【図１６】実施の形態３に係る前方投影面および後方投影面を用いて共通ビューボリュームを生成する様子を示す図である。
【図１７】実施の形態３に係る正規化変換後の共通ビューボリューム、右眼用ビューボリュームおよび左眼用ビューボリュームの関係を示す図である。
【図１８】実施の形態３に係る歪み変換処理後の右眼用ビューボリュームを示す図である。
【図１９】実施の形態４に係る立体画像処理装置の構成を示す図である。
【図２０】実施の形態４に係る正規化変換後の共通ビューボリューム、右眼用ビューボリュームおよび左眼用ビューボリュームの関係を示す図である。
【図２１】実施の形態４に係る視差画像の生成処理の流れを示す図である。
【図２２】正規化変換部による奥行き方向の圧縮処理を模式的に示す図である。
【図２３】図２３（ａ）は、圧縮処理に関するＺ’軸方向の値とＺ方向の値との第１関係を示し、一方、図２３（ｂ）は、圧縮処理に関するＺ’軸方向の値とＺ方向の第２関係を示す図である。
【図２４】実施の形態８に係る立体画像処理装置の構成を示す図である。
【図２５】表示画面において、観察者が立体画像を観察している様子を示す図である。
【図２６】立体画像処理装置内にて定められるカメラ配置を示す図である。
【図２７】図２６のカメラ配置で得られた視差画像を観察者が観察している様子を示す図である。
【図２８】図２６のカメラ配置で適正視差が得られた画像を、図２５で示した観察者の位置で観察者が表示画面を観察している様子を示す図である。
【図２９】図２６に示したカメラ配置で、表示画面からの距離がＡに位置する球の最近置点を撮影する様子を示す図である。
【図３０】二つのカメラとカメラの光軸公差距離および、図２９で示した視差を得るために必要なカメラ間隔の関係を示す図である。
【図３１】図２６に示したカメラ配置で、表示画面からの距離がＴ−Ａに位置する球の最遠置点を撮影する様子を示す図である。
【図３２】二つのカメラとカメラの光軸公差距離および、図３１で示した視差を得るために必要なカメラ間隔Ｅ２の関係を示す図である。
【図３３】適正視差範囲内に立体画像の視差を設定するために必要とされるカメラパラメータの関係を示す図である。
【図３４】適正視差範囲内に立体画像の視差を設定するために必要とされるカメラパラメータの関係を示す図である。
【図３５】実施の形態９に係る立体画像処理装置の構成を示す図である。
【図３６】遠置最大視差量を優先させてビューボリュームを生成する様子を示す図である。
【図３７】圧縮処理に関するＺ’軸方向の値とＺ方向の値との第３関係を示す図である。
【符号の説明】
【０１２５】
２０  オブジェクト、２２  仮カメラ、２４  本カメラ、３４  前方投影面、３６  後方投影面、１００  立体画像処理装置、１３２  オブジェクト定義部、１３４  仮カメラ配置部、１３５  視差制御部、１３６  ビューボリューム生成部、１３７  正規化変換部、１３８  歪み変換処理部、１４０  二次元画像生成部、１５０  回転変換処理部、１９０  画像判定部、３０２  第１オブジェクト、３０４  第２オブジェクト、Ｖ１  共通ビューボリューム、Ｖ２  右眼用ビューボリューム、Ｖ３  左眼用ビューボリューム、θ  視野角、Ｍ  近置最大視差量、Ｎ  遠置最大視差量。
【図１】
2005353047.tif 000007
【図２】
2005353047.tif 000008
【図３】
2005353047.tif 000009
【図４】
2005353047.tif 000010
【図５】
2005353047.tif 000011
【図６】
2005353047.tif 000012
【図７】
2005353047.tif 000013
【図８】
2005353047.tif 000014
【図９】
2005353047.tif 000015
【図１０】
2005353047.tif 000016
【図１１】
2005353047.tif 000017
【図１２】
2005353047.tif 000018
【図１３】
2005353047.tif 000019
【図１４】
2005353047.tif 000020
【図１５】
2005353047.tif 000021
【図１６】
2005353047.tif 000022
【図１７】
2005353047.tif 000023
【図１８】
2005353047.tif 000024
【図１９】
2005353047.tif 000025
【図２０】
2005353047.tif 000026
【図２１】
2005353047.tif 000027
【図２２】
2005353047.tif 000028
【図２３】
2005353047.tif 000029
【図２４】
2005353047.tif 000030
【図２５】
2005353047.tif 000031
【図２６】
2005353047.tif 000032
【図２７】
2005353047.tif 000033
【図２８】
2005353047.tif 000034
【図２９】
2005353047.tif 000035
【図３０】
2005353047.tif 000036
【図３１】
2005353047.tif 000037
【図３２】
2005353047.tif 000038
【図３３】
2005353047.tif 000039
【図３４】
2005353047.tif 000040
【図３５】
2005353047.tif 000041
【図３６】
2005353047.tif 000042
【図３７】
2005353047.tif 000043