(57)【要約】【課題】  より自然な物体の見えを実現するとともに、全体としての計算量を低減しうる立体視用の三次元画像処理装置及び三次元画像処理方法を提供する。【解決手段】  座標変換処理部１では、画像内に含まれるオブジェクトの三次元位置情報を演算して算出し、その三次元位置情報を用いて視差処理部２で左眼用の画像と右眼用の画像を生成する。また仮想空間照明演算部３は、三次元位置情報を用いて三次元空間内における照明条件を求め、その照明条件における許容輝度と奥行きには関係を計算し、許容輝度記憶部４に記憶させる。画像補正部５は、許容輝度記憶部４に記憶されている許容輝度と奥行きの関係を取得し、左右眼用の画像に対して補正処理を行い、画像表示部６で表示して立体視を実現する。【選択図】  図１
2005250978.tif 000002
【特許請求の範囲】
【請求項１】
左眼用の画像と右眼用の画像とを生成してそれぞれ左眼と右眼とに表示して立体視を実現するための三次元画像処理装置において、画像内に含まれるオブジェクトの三次元情報から前記オブジェクトの奥行き方向の位置を含む三次元位置情報を算出する座標変換処理手段と、前記座標変換処理手段の処理結果に基づき奥行き量に伴う視差を加えて左眼用の画像と右眼用の画像を生成する左右画像視差処理手段と、仮想的な三次元空間内の照明条件における奥行きに応じた輝度の上限値である許容輝度と奥行きの関係を記憶する許容輝度記憶手段と、前記許容輝度記憶手段から前記許容輝度と奥行きの関係に基づいて前記左右画像視差処理手段で生成した左右眼用の画像を補正する三次元画像補正処理手段を有することを特徴とする三次元画像処理装置。
【請求項２】
さらに、前記座標変換処理手段の処理結果に基づき仮想的な三次元空間内における照明条件を求め奥行きの情報に応じて許容輝度を計算して前記奥行きの情報と対応づけて前記許容輝度記憶手段に記憶させる仮想空間照明演算手段を有することを特徴とする請求項１に記載の三次元画像処理装置。
【請求項３】
前記仮想空間照明演算手段は、前記座標変換処理手段の処理結果に基づき、それぞれの奥行きでの輝度条件から前記仮想的な三次元空間における照明条件を演算することを特徴とする請求項２に記載の三次元画像処理装置。
【請求項４】
前記仮想空間照明演算手段は、白色がそれぞれの奥行きに置かれたと仮定して前記許容輝度を計算することを特徴とする請求項２または請求項３に記載の三次元画像処理装置。
【請求項５】
前記座標変換処理手段は、奥行き情報に基づき視差量を演算することを特徴とする請求項１ないし請求項４のいずれか１項に記載の三次元画像処理装置。
【請求項６】
前記許容輝度記憶手段は、前記許容輝度と奥行きの関係をルックアップテーブル形式で記憶することを特徴とする請求項１ないし請求項５のいずれか１項に記載の三次元画像処理装置。
【請求項７】
前記許容輝度記憶手段は、前記許容輝度と奥行きの関係を多項式形式で表記したときの係数を記憶することを特徴とする請求項１ないし請求項６のいずれか１項に記載の三次元画像処理装置。
【請求項８】
前記三次元画像補正処理手段は、前記許容輝度と奥行きとの関係から、表示すべき左右眼用の画像の奥行きの情報に基づいて補正が必要であるか否かを判断し、必要であれば輝度補正を施すことを特徴とする請求項１ないし請求項７のいずれか１項に記載の三次元画像処理装置。
【請求項９】
生成する画像が動画であることを特徴とする請求項１ないし請求項８のいずれか１項に記載の三次元画像処理装置。
【請求項１０】
さらに、強調効果か融和効果を指示する指示手段を有し、前記三次元画像補正処理手段は、前記指示手段からの指示に従って補正を行うことを特徴とする請求項１ないし請求項９のいずれか１項に記載の三次元画像処理装置。
【請求項１１】
前記三次元画像補正処理手段は、前記指示手段から強調効果が指示されたとき、前記許容輝度と奥行きの関係を満たさないような補正を行うことを特徴とする請求項１０に記載の三次元画像処理装置。
【請求項１２】
左眼用の画像と右眼用の画像とを生成してそれぞれ左眼と右眼とに表示して立体視を実現するための三次元画像処理方法において、画像内に含まれるオブジェクトの三次元情報から前記オブジェクトの奥行き方向の位置を含む三次元位置情報を座標変換処理手段で算出し、前記三次元位置情報に基づき奥行き量に伴う視差を加えて左眼用の画像と右眼用の画像を左右画像視差処理手段で生成し、仮想的な三次元空間内における照明条件における奥行きに応じた輝度の上限値である許容輝度と奥行きの関係に基づいて前記左眼用の画像と前記右眼用の画像を三次元画像補正処理手段で補正することを特徴とする三次元画像処理方法。
【請求項１３】
さらに、前記三次元位置情報に基づき仮想的な三次元空間内における照明条件を仮想空間照明演算手段で求め、前記照明条件における奥行きに応じた前記許容輝度を求めることを特徴とする請求項１２に記載の三次元画像処理方法。
【請求項１４】
前記仮想的な三次元空間内における照明条件は、前記三次元位置情報に基づき、それぞれの奥行きでの輝度条件から演算することを特徴とする請求項１３に記載の三次元画像処理方法。
【請求項１５】
前記許容輝度は、前記照明条件に基づき、それぞれの奥行きにおいて許容される輝度として演算することを特徴とする請求項１３または請求項１４に記載の三次元画像処理方法。
【請求項１６】
前記三次元位置情報の算出として、奥行き情報に基づき視差量を演算することを特徴とする請求項１２ないし請求項１５のいずれか１項に記載の三次元画像処理方法。
【請求項１７】
前記許容輝度と奥行きの関係をルックアップテーブル形式で許容輝度記憶手段に記憶しておくことを特徴とする請求項１２ないし請求項１６のいずれか１項に記載の三次元画像処理方法。
【請求項１８】
前記許容輝度と奥行きの関係を多項式形式で表記したときの係数を許容輝度記憶手段に記憶しておき、前記補正時には前記多項式に基づいて奥行き情報から許容輝度を算出することを特徴とする請求項１２ないし請求項１７のいずれか１項に記載の三次元画像処理方法。
【請求項１９】
前記許容輝度と奥行きとの関係から、表示すべき左右眼用の画像の奥行きの情報に基づいて補正が必要であるか否かを判断し、必要であれば輝度補正を施すことを特徴とする請求項１２ないし請求項１８のいずれか１項に記載の三次元画像処理方法。
【請求項２０】
生成する画像が動画であることを特徴とする請求項１２ないし請求項１９のいずれか１項に記載の三次元画像処理方法。
【請求項２１】
さらに、強調効果か融和効果が指示手段によって指示され、該指示に従って補正を行うことを特徴とする請求項１２ないし請求項２０のいずれか１項に記載の三次元画像処理方法。
【請求項２２】
前記指示手段から強調効果が指示されたとき、前記許容輝度と奥行きの関係を満たさないような補正を行うことを特徴とする請求項２１に記載の三次元画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、左右両眼に視差に基づいて計算した、異なる画像を呈示することによって、観察者に三次元画像を知覚させるための三次元画像処理技術に関するものである。
【背景技術】
【０００２】
立体視用のゴーグルやディスプレイが最近になり普及し始めてきた。立体視を実現するためには、我々がどのようにして奥行き知覚を得ているかを理解した上で画像を生成する必要がある。人間が奥行きを知覚するのは、左眼と右眼に呈示された画像の対応点の奥行きが、注視点の奥行きとの相対的な関係で異なり、それが視差として与えられることによる。注視点よりも手前に呈示された物体と奥側に呈示された物体とでは、視差の方向は逆になる。
【０００３】
例えば、特許文献１では、左右ずらし処理部において対象物の奥行きに応じて左眼用と右眼用の画像を生成し、表示することにより立体視用の三次元表示を実現している。また特許文献２においては、さらに観察者の視線位置を獲得して、その視線位置に応じた左右眼の映像を作成し、立体視を実現している。
【０００４】
我々が日常生活しているのは三次元空間内であり、このように立体視用の画像表示装置を装着したときの仮想的現実感を与える仮想環境を形成した場合にも、人間はその環境を現実の環境とは矛盾しないような条件で知覚しようとする。その条件の中でも、照明に関する知覚に関しては、人間は潜在的にさまざまな仮定をおき、一番矛盾の少ない状況を作り出した上で、そういった環境認識を行う。絵画では、明示的に照明が描画されていないときには、左上方に照明が存在していると仮定して陰影等の処理がなされることが多いことも知られている。
【０００５】
三次元空間内で照明を何らかの形で仮定したとすれば、その空間での照明条件は一意に定められる。その状況下で奥行き条件が変化すれば、同一の物体の位置が変化したときには、その物体に対する照明条件も変化するので、絶対的な物体の輝度や色度に関する情報は変化するであろう。これらの物体の輝度や色度がどのようになるのかということに関しては、数多くの研究がなされてきている。
【０００６】
例えば上述の特許文献１や特許文献２においてもＺバッファを用いて隠面消去及びシェーディング処理を行うことによって立体感を出している。さらに、奥行きと関連した色度や輝度に関する情報までを考慮した計算モデルとしては、光線追跡法（レイ・トレーシング法）、及びその逆写像である逆・光線追跡法が良く知られている。この方法では、実際に光源からの光がどのように照射されるかといったことまでを考慮して処理がなされる。
【０００７】
しかしながら、上記のような従来の三次元立体画像処理装置では、表示画像が仮想空間を形成し、その内にオブジェクトを表示するものが多い。より実物らしく仮想空間を作製するためには、その中に置かれた呈示物体がいかに実物のように知覚されるのか、ということが重要になってくる。忠実にそれを逆光線追跡法のような手法を用いた計算によって求め、三次元画像に対してリアルタイムで処理を施そうとすると演算量などの面からは困難である。特に、特定のオブジェクトの奥行きが変化するような場合に、全画面に関して光線追跡法によって演算を行うことは効率的ではない。
【０００８】
異なる奥行きに呈示された物体の輝度が異なる状況で、あるオブジェクトの輝度を一定に保ったまま奥行きを変えて呈示すると、その奥行きに呈示された物体の輝度条件に合わない条件で呈示されたオブジェクトは不自然に見えるか、または別の照明下に置かれているかのような知覚が生じることが報告されている。
【０００９】
図４は、輝度と奥行きの関係の説明図である。図中、１１は表示体、１２は観察者である。ここでは、観察者１２の側に照明源があると仮定して、観察者１２からの距離を変化させ、表示体１１を観察者１２に呈示する実験を行う例を示している。このとき、観察者１２が表示体１１を距離によらずに同じ輝度で観察できるようにしておく。すると、観察者１２は、ある距離までは表示体１１を反射物体として認識するが、その距離よりも離れると表示体１１を自発光源として認識するようになる。また、この距離は表示体１１の明るさなどに応じて変化する。このように表示体１１が反射物体として認識される輝度の上限と距離との間には関係がある。
【００１０】
一般の三次元空間においては、表示体１１を遠ざけると反射光が減少するために暗くなる。しかし、立体視などでは視差を考慮した２つの平面画像を生成して観察者に呈示するため、遠いオブジェクトでも明るく表示することは可能であり、そのような表示が行われてしまうために不自然な見えとなってしまう。
【００１１】
このようにオブジェクトの輝度の上限と奥行きには関係が存在し、より自然な見えを実現するためには、その条件を満たす必要がある。しかし、従来の技術では、このような奥行き情報に合わせた輝度条件については考慮されておらず、不自然な画像が観察者に提示されることがあるという問題があった。
【００１２】
さらに、例えば非特許文献１などを参照してもわかるように、輝度の物理的な変化量と、表面として知覚される限界輝度の変化量との関係は線形ではない。従って、より自然な見えを簡易な構成で実現するためには、このような非線形の関係を定義して簡単に利用できる構成が必要である。
【００１３】
【特許文献１】特開平７−２００８７０号公報
【特許文献２】特開平１１−１９５１３１号公報
【非特許文献１】Ｙａｓｕｋｉ  Ｙａｍａｕｃｈｉ  ａｎｄ  Ｋｅｉｊｉ  Ｕｃｈｉｋａｗａ，“Ｕｐｐｅｒ−ｌｉｍｉｔ  ｌｕｍｉｎａｎｃｅ  ｆｏｒ  ｔｈｅ  ｓｕｒｆａｃｅ−ｃｏｌｏｒ  ｍｏｄｅ  ａｐｐｅａｒａｎｃｅ”，Ｊｏｕｒｎａｌ  ｏｆ  Ｏｐｔｉｃａｌ  Ｓｏｃｉｅｔｙ  Ａｍｅｒｉｃａ，（米国），２０００．１１，Ｖｏｌ．１７，Ｎｏ．１１
【発明の開示】
【発明が解決しようとする課題】
【００１４】
本発明は、上述した事情に鑑みてなされたもので、より自然な物体の見えを実現するとともに、全体としての計算量を低減しうる立体視用の三次元画像処理装置及び三次元画像処理方法を提供することを目的とするものである。
【課題を解決するための手段】
【００１５】
左眼用の画像と右眼用の画像とを生成してそれぞれ左眼と右眼とに表示して立体視を実現するための三次元画像処理装置及び三次元画像処理方法において、画像内に含まれるオブジェクトの三次元情報から前記オブジェクトの奥行き方向の位置を含む三次元位置情報を座標変換処理手段で算出し、前記三次元位置情報に基づき奥行き量に伴う視差を加えて左眼用の画像と右眼用の画像を左右画像視差処理手段で生成し、仮想的な三次元空間内における照明条件における奥行きに応じた輝度の上限値である許容輝度と奥行きの関係に基づいて前記左眼用の画像と前記右眼用の画像を三次元画像補正処理手段で補正することを特徴とするものである。なお、立体視用の画像は、静止画の他、動画であっても良い。
【００１６】
仮想的な三次元空間内における照明条件は、三次元位置情報に基づき仮想空間照明演算手段で求めることができ、その照明条件における奥行きに応じ、それぞれの奥行きで許容される輝度を輝度条件とし、その輝度条件から許容輝度を求めることができる。また、求めた許容輝度と奥行きとの関係は、例えばルックアップテーブル形式や多項式形式の係数として許容輝度記憶手段に記憶させておき、利用することができる。
【００１７】
また、左右眼用の画像に対する補正は、許容輝度と奥行きとの関係から、表示すべき左右眼用の画像の奥行きの情報に基づいて補正が必要であるか否かを判断し、必要であれば輝度補正を施すように構成することができる。
【００１８】
さらに、強調効果か融和効果かを指示手段によって指示するように構成し、例えば強調効果が指示されたときには、許容輝度と奥行きの関係を満たさないような補正を行って強調させることもできる。
【発明の効果】
【００１９】
本発明によれば、仮想空間内の奥行き情報に応じた輝度の上限値である許容輝度を求めて、その許容輝度に従って補正するので、明るすぎることによって光源として認識されるなどの不自然な表現を防止し、物体の質感や現実感などをより自然に表現することができるという効果がある。また、特定のオブジェクトの強調処理を行うことも容易になる。さらに、例えば許容輝度と奥行きとの関係をルックアップテーブル形式や多項式形式の係数として記憶しておくことによって、全体としての計算量を低減することができ、上述のような自然な表現を高速に得ることができるという効果がある。
【発明を実施するための最良の形態】
【００２０】
図１は、本発明の第１の実施の形態を示すブロック図である。図中、１は座標変換処理部、２は視差処理部、３は仮想空間照明演算部、４は許容輝度記憶部、５は画像補正部、６は画像表示部である。
【００２１】
座標変換処理部１では、画像内に含まれるオブジェクトの三次元位置情報を演算して算出する。これには公知の技術を用いればよく、例えば特許文献１に記載されている方法を用いることができる。すなわち、ラスタデータを獲得するまで仮想的に両眼融合して得られる１つの像が左右の眼の中央に視点を置いて得られる像と近似していることを利用する。そして、モデルによって与えられた情報をレンダリングすることにより、その物体がある位置から観察したときにどのように知覚されるかを考えて、その見え方に従った画像データを生成する。この画像データを生成する処理は複数のステップからなるが、大きく分けて、透視投影変換による座標変換、隠面消去処理やシェーディング処理などである。透視投影変換では、モデルで定義された形状データを視線との相対関係から視点座標系の値に変換する。次いで、モデルの中で想定した視点の中からどの部分が見えてどの部分が見えないか、ということを判断するする隠面処理処理を行う。これには、Ｚバッファ法やスキャンライン法といった公知のアルゴリズムを用いればよい。次いで、どの部分がどのような色でどのような明るさに見えるかを計算して画素の色を選択するのがシェーディング処理である。
【００２２】
これによって生成された画像データから実際に三次元画像を作成するためには、左右両眼の距離が約７センチ離れており、右眼と左眼の網膜像は奥行きに応じて微妙に異なる特性を基に、視差を与えて左右両眼に与える必要がある。両眼が通常の状態（視差を与えない条件）でどの奥行きを注視しているかを基準に奥行きに伴う視差を計算することができる。計算した視差の情報についても画像データとともに視差処理部２に渡す。また、座標変換処理を施した画像データは奥行きに関する情報が含まれているので、この画像データを仮想空間照明演算部３へ送出する。
【００２３】
視差処理部２は、座標変換処理部１から渡される画像データと視差の情報から、奥行き量に伴う視差を加えた左眼用の画像と右眼用の画像を生成する。
【００２４】
仮想空間照明演算部３は、座標変換処理部１から奥行きの情報を含む画像データを受け取り、この画像データに基づいて仮想的な三次元空間内における照明条件を求める。そして、その照明条件において、奥行き方向に変化するにつれて、完全拡散面である白色の輝度がどのような挙動を示すかを演算する。すなわち、白色がそれぞれの奥行きに置かれたと仮定したとき、その白色が自発光する発光光源とは認識されずに反射光源として認識される輝度の上限値である許容輝度を計算する。
【００２５】
図２は、許容輝度と視差量との関係の一例を示すグラフである。一般に、視差量が大きく、すなわち近くに感じられる物体に対しては、表面が明るくても反射物体であると知覚される。しかし、視差量が小さく、すなわち遠くに感じられる物体については許容輝度は低くなり、明るいと自発光源として知覚されてしまう。従って、許容輝度と奥行き（図２では視差量）との関係は、概略的には図２に示すような関係となる。
【００２６】
上述のようにして許容輝度が計算されることにより、その環境下での奥行きと表面として許容される物体の許容輝度が規定される。このとき、完全拡散面が理想的な全反射をする表面であることから、この面における許容輝度以下であれば他の色や反射条件の場合でも自発光源として認識されることはない。このような許容輝度をそれぞれの奥行きごとに計算し、許容輝度とそのときの奥行きとを対応づけて許容輝度記憶部４に記憶させる。
【００２７】
なお、例えば仮想的な三次元空間において照明条件を固定している場合には、予め許容輝度と奥行きの関係を求めて許容輝度記憶部４に記憶させておけば、実際の画像を処理する際には仮想空間照明演算部３を設けずに構成しても良い。
【００２８】
許容輝度記憶部４は、仮想空間照明演算部３で計算された許容輝度と奥行きの関係を記憶する。許容輝度と奥行きの関係は、例えばルックアップテーブル形式で記憶したり、あるいは、許容輝度と奥行きの関係を多項式形式で表記し、そのときの係数を記憶するように構成することができる。このようなルックアップテーブル形式や多項式形式で許容輝度と奥行きの関係を記憶しておくことによって、次の画像補正部５で行う補正処理を高速に行うことが可能となる。
【００２９】
また、例えば彩度が高い色は輝度が高くても明るく知覚される。そのため、知覚される明るさを求めるためには、彩度に応じた補正が必要である。この補正を行うために、例えば、白色で基準を作成しておいて、色情報により、その輝度を知覚される明るさに換算すればよい。この明るさと輝度の関係は明るさ効率と呼ばれ、Ｂ／Ｌという値で表されることが多い。許容輝度記憶部４には、例えば白色における許容輝度と奥行きの関係をルックアップテーブルに登録しておき、色度が指定された時にその色度に応じて許容輝度を補正するように構成すると良い。あるいは、色度毎に許容輝度と奥行きの関係を求めて、ルックアップテーブルを構成するなどといったことも可能である。
【００３０】
画像補正部５は、許容輝度記憶部４から許容輝度と奥行きの関係を読み出し、この関係に基づいて、視差処理部２で生成した左右眼用の画像に対して補正処理を行う。許容輝度と奥行きの関係を用いることによって、実際の立体視三次元画像を表示する際に、オブジェクトの奥行き情報が変化したときにそのオブジェクトの輝度情報をどのように変化させればよいかを計算することができる。もしも、補正前のオブジェクトの輝度が高すぎる場合には、その物体が表面色で知覚されずに、自発光源などのような不自然な見えを呈してしまう。そのため、許容輝度と奥行きの関係に基づき、輝度情報を補正することにより不自然な見えを解消している。なお、このような補正処理は、許容輝度と奥行きとの関係から、表示すべき左右眼用の画像の奥行きの情報に基づいて補正が必要であるか否かを判断し、必要である場合について補正処理を施すように構成することができる。
【００３１】
画像表示部６は、画像補正部５による補正後の左眼用の画像及び右眼用の画像をそれぞれ左眼、右眼に呈示する。これによって、従来の不自然な見えを解消した、自然な立体視を実現することができる。
【００３２】
図３は、本発明の第２の実施の形態を示すブロック図である。図中、図１と同様の部分には同じ符号を付して重複する説明を省略する。７は指示部である。この第２の実施の形態は、ユーザ等からの指示を受け付ける指示部７を設けた例を示している。
【００３３】
上述の第１の実施の形態では、物体の表面が自然な見えで知覚されるように補正を行ったが、その補正の度合いを調整したり、あるいは、逆にその物体の強調効果を狙うのであれば、許容輝度記憶部４に格納された関係を敢えて満たさないような表示条件を作り出すことも可能である。
【００３４】
指示部７では、このような補正方法をユーザが指示することができる。例えば強調効果か融和効果を指示するように構成し、指示部７で強調効果が指示された場合には、画像補正部５は許容輝度と奥行きの関係を満たさないような補正を行って物体を強調するような効果を引き出すことができる。なお、強調効果を指示する場合には、どの程度の補正を行うかまで指定可能に構成すると良い。
【００３５】
もちろん、自然な見えを実現する融和効果の場合にも、その度合いを指示可能に構成しても良い。また、許容輝度と奥行きの関係そのものを指示可能に構成することもできる。
【００３６】
なお、上述の各実施の形態では画像補正部５で行う補正として輝度に関する補正を行うものとして説明したが、この画像補正部５において、あるいは別の構成において、色補正などの他の要素に関する補正が可能なように構成することもできる。
【００３７】
また、上述の各実施の形態では、扱う画像として特定していないが、静止画に限らず、動画についても適用可能である。動画の場合、固定した仮想空間内に何らかの動くオブジェクトを時系列的に高速に表示してゆくことになる。このとき、許容輝度と奥行きの関係に基づいて、視差量からどの程度の輝度補正を施せばよいかを容易に算出することができるので、高速かつリアルタイム処理が可能であり、本発明のメリットを活かすことが可能である。
【図面の簡単な説明】
【００３８】
【図１】本発明の第１の実施の形態を示すブロック図である。
【図２】許容輝度と視差量との関係の一例を示すグラフである。
【図３】本発明の第２の実施の形態を示すブロック図である。
【図４】輝度と奥行きの関係の説明図である。
【符号の説明】
【００３９】
１…座標変換処理部、２…視差処理部、３…仮想空間照明演算部、４…許容輝度記憶部、５…画像補正部、６…画像表示部、７…指示部、１１…表示体、１２…観察者。
【図１】
2005250978.tif 000003
【図２】
2005250978.tif 000004
【図３】
2005250978.tif 000005
【図４】
2005250978.tif 000006