(57)【要約】【課題】立体画像のデータ量を削減出来る画像処理方法を提供すること。【解決手段】二次元画像において、視点からの距離が既知である基準点につき、法線方向を求めるステップＳ１１と、前記二次元画像において、視点からの距離が未知である非基準点につき、前記基準点を基準にした照度差に基づいて、視点からの距離及び法線方向を求めるステップＳ１２とを具備し、前記二次元画像と、前記基準点における前記距離及び法線方向、並びに前記非基準点における前記距離及び法線方向とにより、該二次元画像の立体画像情報が表現される。【選択図】図１
2010002273.tif 000002
【特許請求の範囲】
【請求項１】
二次元画像において、視点からの距離が既知である基準点につき、法線方向を求めるステップと、
前記二次元画像において、視点からの距離が未知である非基準点につき、前記基準点を基準にした照度差に基づいて、視点からの距離及び法線方向を求めるステップと
を具備し、前記二次元画像と、前記基準点における前記距離及び法線方向、並びに前記非基準点における前記距離及び法線方向とにより、該二次元画像の立体画像情報が表現される
ことを特徴とする画像処理方法。
【請求項２】
前記非基準点につき前記距離及び法線方向を求めるステップは、前記基準点における前記法線方向と光源との角度差である第１角度差を、照度差ステレオ法により求めるステップと、
前記非基準点における前記法線方向と前記光源との角度差である第２角度差を、前記照度差ステレオ法により求めるステップと、
前記基準点における前記法線方向と、前記第１角度差と前記第２角度差との差である第３角度差とに基づいて、非基準点における前記法線方向を求めるステップと、
前記第１角度差と前記第２角度差に基づいて、前記基準点と前記非基準点との、曲率中心からの角度差である第４角度差を求めるステップと、
前記基準点の前記距離と、前記第４角度差とに基づいて、前記非基準点の前記距離を求めるステップと
を備えることを特徴とする請求項１記載の画像処理方法。
【請求項３】
前記距離の求められた前記非基準点は、新たな基準点とされる
ことを特徴とする請求項１または２記載の画像処理方法。
【請求項４】
前記二次元画像を圧縮するステップと、
前記基準点及び非基準点における前記法線方向を、極座標で表現することにより圧縮するステップと、
前記基準点及び非基準点における前記距離を、逆数を対数に取ることにより圧縮するステップと
を更に備えることを特徴とする請求項１または２記載の画像処理方法。
【請求項５】
前記基準点及び前記非基準点における前記距離及び前記法線方向を求めた後、
前記二次元画像において、前記法線の方向が類似している領域を抽出するステップと、
抽出した前記領域が平面である場合、該平面における代表点を決定し、該代表点の前記距離と前記法線方向とにより該平面を表現し、抽出した前記領域が曲面である場合、該曲面における曲率半径及び曲率中心から構成される曲線により該曲面を表現するステップと
を更に備えることを特徴とする請求項１または２記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像処理方法に関するもので、例えば三次元立体画像に関する画像処理手法に関する。
【背景技術】
【０００２】
従来、三次元画像（三次元空間の画像であり、立体画像を意味する。以下同じ）を表現するためには、複数の画像、例えば視差に相当する距離にある２つの視点から得られた２枚の画像を用いている（例えば、特許文献１参照）。
【０００３】
そして複数の二次元画像（二次元空間の画像であり、平面画像を意味する。以下同じ）を記憶し、立体画像を復元する際にはこの複数の二次元画像を使用する。その結果、三次元画像のデータ量が非常に大きくなるという問題があった。
【特許文献１】特開２００７−０９６９５１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
この発明は、立体画像のデータ量を削減出来る画像処理方法を提供する。
【課題を解決するための手段】
【０００５】
この発明の一態様に係る画像処理方法は、二次元画像において、視点からの距離が既知である基準点につき、法線方向を求めるステップと、前記二次元画像において、視点からの距離が未知である非基準点につき、前記基準点を基準にした照度差に基づいて、視点からの距離及び法線方向を求めるステップとを具備し、前記二次元画像と、前記基準点における前記距離及び法線方向、並びに前記非基準点における前記距離及び法線方向とにより、該二次元画像の立体画像情報が表現される。
【発明の効果】
【０００６】
この発明によれば、立体画像のデータ量を削減出来る画像処理方法を提供できる。
【発明を実施するための最良の形態】
【０００７】
以下、この発明の実施形態を、図面を参照して説明する。この説明に際し、全図にわたり、共通する部分には共通する参照符号を付す。
【０００８】
［第１の実施形態］  
この発明の第１の実施形態に係る画像処理方法について、図１を用いて説明する。図１は、本実施形態に係る画像処理方法のフローチャートであり、カメラにより撮影して得た二次元画像に立体情報を含める方法を示している。
【０００９】
図示するように、まず二次元画像において基準点と非基準点とを決定する（ステップＳ１０）。基準点とは、視点（カメラ）からの距離が既知である点のことであり、非基準点は距離が未知であるそれ以外の点のことである。また、基準点及び非基準点は、それぞれ二次元画像の各画素に対応しても良いし、または複数の画素の集合を単位とする領域に対応しても良い。以下では、各画素に対応する場合を例に説明する。
【００１０】
基準点を得るためには、距離が把握されなければならない。距離の把握は、合焦による測距、赤外線等を用いた測距、または複数の二次元画像を用いたステレオ対応点探索法やモーション推定により可能である。
【００１１】
そして、基準点の法線方向を求める（ステップＳ１１）。基準点における物体の法線方向を求める。基準点の法線方向は、その周囲の近傍三点の基準点から求めることが出来る。すなわち、近傍三点の三次元座標を用いた外積演算により、法線方向を求めることが出来る。更には、照度差ステレオ法によって求めることも可能である。
【００１２】
更に、非基準点の視点からの距離と法線方向とを求める（ステップＳ１２）。本ステップで求められる非基準点の距離と法線方向の算出は、求めようとする非基準点と十分に位置が近接し、且つ求めようとする非基準点と同一の連続的な曲面または平面上にあると推定出来る基準点を元にして行われる。以下、非基準点の距離と法線方向の算出方法について、図２を用いて説明する。図２は、非基準点の距離及び法線方向の算出方法のフローチャートである。
【００１３】
図示するように、基準点における法線方向と光源との角度差を照度差ステレオ法により求め、また非基準点における法線方向と光源との角度差を照度差ステレオ法により求める（ステップＳ２０）。この時点では非基準点の法線方向は未知であるが、照度差ステレオ法によれば、法線方向と光源との角度差を算出することは可能である。そして、基準点と非基準点との間における、上記光源との角度差の差分は、基準点と非基準点との間における法線方向の角度差とみなすことが出来る（ステップＳ２１）。従って、ステップＳ２０で得られた角度差と、基準点または法線が既に推定された非基準点の法線方向とに基づいて、非基準点の法線方向を推定出来る（ステップＳ２２）。引き続き、基準点と非基準点とが同一の曲面または平面上にあると仮定した場合の、曲率中心からの角度差を求める（ステップＳ２３）。すると、ステップＳ２３で求めた角度差に基づいて、非基準点の距離を求めることが出来る（ステップＳ２４）。
【００１４】
以上の非基準点における視点からの距離及び法線方向の算出方法につき、具体例を用いて説明する。図３は、撮影対象となる物体と光源とを示す模式図である。図示するように、ある物体が円柱形状を有しており、それに対して光源Ｌから光が照射されている。なお、物体に対して光源Ｌの位置は無限遠と近似できるものとする。そして、カメラによって撮影される画像は、Ｘ方向とこれに直交するＹ方向とを含む二次元画像（ＸＹ平面）であり、その奥行き方向がＺ方向である。
【００１５】
図４は、図３におけるＹＺ平面を示し、特に円柱の表面と光源との関係について示す模式図である。上記ステップＳ２０により、円柱表面におけるある基準点Ｑの法線方向（法線ベクトルｎ１の向き）と光源との角度差θ１と、円柱表面におけるある非基準点Ｐの法線方向（法線ベクトルｎ２の向き）と光源との角度差θ２とが、照度差ステレオ法によって求められる。角度差θ１は、光源Ｌと基準点Ｑとを結ぶ直線Ｌ１と、法線ベクトルｎ１の向きとの角度差である。また角度差θ２は、光源Ｌと非基準点Ｐとを結ぶ直線Ｌ２と、法線ベクトルｎ２の向きとの角度差である。基準点Ｑと非基準点Ｐとが十分に近接している場合には、相対的に光源Ｌは無限遠であると近似することが出来る。光源Ｌが無限遠であるとすれば、直線Ｌ１と直線Ｌ２とは平行であると見ることが出来る。そして、角度差θ１からの角度差θ２への変化量Δθ１（＝θ２−θ１）が、法線ベクトルｎ２の向きの、法線ベクトルｎ１の向きに対する角度の変化とみなすことが出来る（ステップＳ２１）。
【００１６】
例えば光源が無限遠にあると仮定し、直立する円柱を考えると、基準点の上下方向にある非基準点の光源との角度（縦成分）は変化しないが、左右方向にある非基準点の光源との角度（横方向）は変化する。そして、その角度が法線の横方向の変化と推定出来る。斜め方向にある非基準点の場合には、縦成分と横成分の変化のベクトル和が、角度差として現れる。
【００１７】
すると、法線ベクトルｎ１の向きは既知であるから、Δθ１に基づいて法線ベクトルｎ２の向きを求めることが出来る（ステップＳ２２）。引き続き、基準点と非基準点の、曲率中心からの角度差Δθ２を求める（ステップＳ２３）。この角度差Δθ２は、θ１及びθ２から求めることが出来る。
【００１８】
次に、非基準点Ｐの視点からの距離を、上記角度差Δθ２から求める方法について、図５を用いて説明する。図５も図４と同様にＹＺ平面を示している。なお、基準点Ｑと非基準点Ｐとは、同一の連続的な曲面または平面上にあると推定出来、且つ十分に位置が近接していることを前提とする。図示するように、ステップＳ２３で求めた角度差Δθ２は、円柱形状を有する物体の曲率中心Ｏからの、基準点Ｑ及び非基準点Ｐまでの角度差である。すなわち、線分ＯＰと線分ＯＱとの角度に相当する。
【００１９】
すると、基準点Ｑと非基準点Ｐとは同じ曲率半径であるので、基準点Ｑと非基準点Ｐとを結ぶ線分ＱＰを考えると、∠ＯＱＰと∠ＯＰＱは等しい。これを角度αとする。また、非基準点Ｐを、ＸＹ平面に平行であって且つ基準点Ｑがある平面に正射影した点を点Ｒとし、曲率中心Ｏから基準点Ｑに達する直線を更に延長した点を点Ｓとすれば、基準点Ｑの法線の立体角が既知であるので、∠ＲＱＳの角度βも既知である。その結果、∠ＲＱＰ＝角度γ＝π−（α＋β）となる。
【００２０】
そして、線分ＲＱは、点Ｒ、ＱのＹ座標の差として求められる。従って線分ＲＰは、ＲＰ＝ＲＱ／tan γで求められる。つまり、基準点ＱのＺ座標をｚ１、非基準点ＰのＺ座標をｚ２とすれば、ｚ２＝ｚ１＋ＲＰとなる。そして、非基準点ＰのＺ座標の値ｚ２が求まれば、その視点からの距離を容易に求めることが出来る（ステップＳ２４）。なお、視点の位置はＸＹＺ座標の原点と考えることが出来る。
【００２１】
以上のようにして、基準点及び非基準点における視点からの距離と法線の方向とを求めて、立体画像を二次元画像、視点からの距離、及び法線方向により表現する（ステップＳ１３）。そして、二次元画像、距離、及び法線方向を圧縮して、記憶装置に格納する（ステップＳ１４）。距離及び法線方向は、二次元画像の画素、または画素の時間的範囲and/or空間的範囲の集合（以下、基本画素単位と呼ぶ）に対応づけられて、記憶装置に格納される。
【００２２】
＜効果＞  
以上のように、この発明の第１の実施形態に係る画像処理方法であると、下記（１）、（２）の効果が得られる。
【００２３】
（１）立体画像についてのデータ量を削減出来る。  
本実施形態に係る画像処理方法であると、二次元画像、距離情報、及び法線情報によって、三次元画像を表現している。すなわち、二次元画像に含まれる各物体の立体情報を直接使用している。従って、従来のように同一のシーンに対して異なる方向から撮影した複数枚の二次元画像を保持する必要が無く、立体画像についてのデータ量を削減出来る。また立体情報を直接使用することで、二次元画像に含まれる立体オブジェクトの取り扱いが容易となる。
【００２４】
（２）テクスチャの乏しい面についても、容易に立体形状を把握出来る。  
視点からの距離を測定する方法としては、合焦による測距、赤外線等を用いた測距、または複数の二次元画像を用いたステレオ対応点探索法等が一般的に知られている。しかし、テクスチャの乏しいオブジェクト（例えば同じ色で、模様が無く、また表面形状の変化が殆ど無い平面または曲面）では特徴点が殆ど存在しない。従って、ステレオ対応点探索法や、合焦による測距で距離を推定することは困難であり、推定出来たとしても精度が低くなりがちである。従って、このようなオブジェクトの距離を測定するためには、レーザや赤外線を用いて測距を行う必要がある。しかし、このような方法であると、装置が大規模化するという問題がある。
【００２５】
しかし、本実施形態に係る方法であると、非基準点の視点からの距離及び法線方向を、照度差ステレオ法を用いて算出している。従って、テクスチャの乏しいオブジェクトの表面であっても、言い換えれば、模様や形状の変化に乏しい面であっても、その面における各点の距離及び法線を精度よく算出出来、容易に立体形状を把握出来る。
【００２６】
すなわち、照度差ステレオ法を用いることで、テクスチャにかかわらず、例えば複数の点において照度差が一定であれば、それが平面であることが分かる。そして平面であれば、その平面にある点の法線と距離は同一であることが分かる。また、複数の点において照度差が一定に変化すれば、それが曲面であることが分かる。曲面であるから、法線方向も徐々に変化していく。そして、法線方向の変化によって、曲面の曲率を求めることが出来、その結果、曲面上のいずれかの基準点を基にして、非基準点の各点につき、視点からの距離を求めることが出来る。
【００２７】
図６は、本実施形態に係る距離測定方法を模式的に示す図であり、円柱形状の表面の距離を求める様子を示している。例えば、円柱と背景部分の境界の距離が、例えばステレオ対応点探索法等により推定出来たとする。すると、この点Ｑは基準点となる。基準点Ｑの法線ベクトルをｎ１とする。
【００２８】
すると、照度差ステレオ法によって、基準点Ｑに近い非基準点Ｐの法線ベクトルｎ２の向きが分かる。よって、法線ベクトルｎ１、ｎ２から、非基準点Ｐの距離を求めることが出来る。次に非基準点Ｐに近い非基準点Ｒの距離を求める際には、非基準点Ｐを基にして求めることが出来る。つまり、非基準点Ｐの法線ベクトルｎ２と距離とを求められた結果、非基準点Ｐを基準点に組み入れることが出来る。非基準点Ｒの法線ベクトルｎ３は照度差ステレオ法により求めることが出来るから、距離が分かれば非基準点Ｒも基準点に組み入れることが出来る。同様にして、非基準点Ｓの距離は、非基準点Ｒを基にして求めることが出来る。
【００２９】
なお、上記方法により距離を求める点（非基準点）は、基準点が存在する曲面または平面と同一の連続的な曲面または平面上にあると推定出来、且つ基準点と十分に位置が近接している点である。同一の連続的な曲面または平面上にあるか否かについては、法線方向が同一であるか、または連続的に変化しているか、更にはエッジに囲まれた同じ特徴量の領域にあるか否か、等によって判断出来る。また位置が近接しているか否かについては、特徴量の近接度や、ＸＹ方向の位置から判断出来る。
【００３０】
また、基準点が物体の頂点や稜線を構成している場合がある。このような場合には、頂点や稜線の近傍の点を基準点に用いて、非基準点の法線を求めることが望ましい。これは、頂点や稜線においては、法線が定義出来ないからである。更に、図４及び図５では直交座標系を用いる場合について説明したが、これは説明を容易にするためであって、その他の座標系であっても、座標変換を用いることで同様に計算可能である。
【００３１】
［第２の実施形態］  
次に、この発明の第２の実施形態に係る画像処理方法について説明する。本実施形態は、上記第１の実施形態で説明したステップＳ１４の詳細に関するものである。従って、その他のステップにおける処理は第１の実施形態で説明した通りであるので、その説明は省略する。
【００３２】
＜距離情報の圧縮＞  
まず、距離情報の圧縮方法について図７を用いて説明する。図７は、距離情報の圧縮方法を示すフローチャートである。
【００３３】
視点からの距離が増大すれば、それに伴って視差も減少し、無限遠の位置では視差はゼロとなる。従って、距離を表現する距離情報も、距離の増大に従って精度が低下する。そこで、距離情報を、視点からの距離に従って情報量が少なくなるような手法により表現出来る。すなわち距離情報を、例えば非線形関数（これを以下、距離関数と呼ぶ、ステップＳ３０）で表現する。距離関数としては、例えば対数関数類似や、指数関数の組み合わせが考え得る。その一例としては、距離をＤ(i,j)とすれば、距離情報をδ(i,j)＝log(１／Ｄ(i,j))で表現することが出来る。なお（i,j）は、二次元画像（ＸＹ平面）内の座標を示す。そしてＤ(i,j)及びδ(i,j)は、ｉ、ｊの関数である。
【００３４】
また、一定程度の遠距離になると、無限遠とほとんど区別がつかなくなる。従って、一定程度以上の距離の情報は無限遠とみなして、値を飽和させる距離関数を使用しても良い。更に、被写界深度より一定程度の近距離になると、画像の焦点が合わなくなり、距離の分解能が低下する。従って、被写界深度より一定程度の近距離については、一定値に値が飽和する距離関数としても良い。これらの無限遠とみなす距離や、被写界深度からの距離については、被写界深度や照度等、周囲の状況に合わせて変化させても良い。
【００３５】
ステップＳ３０で圧縮処理を完了しても良いが、引き続き距離情報δ(i,j)を符号化しても良い（ステップＳ３１）。符号化の一例は、例えば変換符号化等である。変換符号化を行う場合には、ステップＳ３０で求めた距離情報δ(i,j)を、離散フーリエ変換や離散コサイン変換して係数群Ｆd(u,v)を得る。そして、分散の大きい係数に長い符号を割り当て、分散の小さい係数に短い符号を割り当てる。言い換えれば、出現頻度の低い係数に長い符号を割り当て、出現頻度の高い符号に短い符号を割り当てる。通常、低周波成分の分散が大きく、高周波成分の分散が小さいので、低周波成分の係数に長い符号を割り当て、高周波成分の係数に短い符号を割り当てることとなる。このように係数毎に適切な符号長を定めて割り当てることで、変換符号化された距離情報Ｆds(u,v)が得られる。
【００３６】
勿論、ステップＳ３０での符号化は変換符号化に限られるものでは無く、種々の手法を用いることが出来る。そして符号化の際には、距離関数と同様に視覚特性や被写界深度に応じて、割り当てる符号長を変えても良い（ステップＳ３２）。すなわち、被写界深度内では分解能が高いため、割り当てる符号長を大きくする。また、距離が増大するに従って、割り当てる符号を少なくしても良い。または、距離や被写界深度に応じて、距離関数や符号長の組み合わせを選択し、被写界深度内について多くの符号を割り当てるようにしても良い。
【００３７】
＜法線情報の圧縮＞  
次に、法線情報の圧縮方法について図８を用いて説明する。図８は、法線情報の圧縮方法を示すフローチャートである。
【００３８】
まず、法線情報を例えば極座標（ｒ、θ、φ）で表現する（ステップＳ４０）。但し、ｒは法線の長さであり、θは法線の極角であり、φは法線の方位角である。このように、極座標を用いることで角度と長さが分離され、情報の扱い方が容易となる。なお、法線情報は、法線の長さ情報を省いて（θ、φ）で表現しても良い。また、法線の長さ情報については、長さｒ(i,j)の代わりに、ステップＳ３０で説明した距離関数δ(i,j)を用いて表現しても良い。そして、二次元画像上の点（i,j）に対応した法線情報は、ｉ、ｊの関数ｆ(i,j)として表すことが出来る。
【００３９】
ステップＳ４０で圧縮処理を完了しても良いが、引き続き法線情報ｆ(i,j)を符号化しても良い（ステップＳ４１）。符号化の一例は、例えばエントロピー符号化、変換符号化、またはベクトル量子化等である。これらの符号化について、以下説明する。勿論、法線情報の符号化手法は、これらに限定されるものでは無い。
【００４０】
＜＜エントロピー符号化＞＞  
まずエントロピー符号化について説明する。エントロピー符号化は、符号化の際に法線情報をエントロピーの小さい他のシンボルに変換するものである。
【００４１】
すなわち、注目する法線情報ｆ(i,j)と、これに隣接する法線情報ｆ(i-1,j)との差分ｄ(i,j)を考える。つまり、ｄ(i,j)＝ｆ(i,j)−ｆ(i-1,j)である。この際の演算は、ステップＳ４０で得た（ｒ、θ、φ）、または法線の長さにつき距離関数を用いた（δ、θ、φ）についての三次元演算、または長さ情報を省いた（θ、φ）についての二次元演算である。更に、角度情報θ、φについての演算は、２π周期での演算となる。
【００４２】
エントロピー符号化された法線情報は、ｄ(i,j)と、既に復号化されたｆ(i-1,j)を基にして復号出来る。すなわち、ｆ(i,j)＝f(i-1,j)＋ｄ(i,j)の計算を行うことで、法線情報ｆ(i,j)を復号出来る。
【００４３】
エントロピー符号化によれば、隣接した法線情報との差分のみを記憶すれば良く、情報を圧縮出来る。なお、動画の場合には、フレーム間で同様の符号化が可能である。すなわち、時間的に連続する２枚の二次元画像（フレーム）間におけるｆ(i,j)の差分を求め、これを記憶させても良い。例えば、時刻ｔ１における法線情報がｆ(i,j,t1)であり、時刻ｔ１に連続する時刻ｔ２における法線情報がｆ(i,j,t2)であったとする。この場合、両者の差分ｄ(i,j)=ｆ(i,j,t1)−ｆ(i,j,t2)を求めることで、法線情報を圧縮する。復号化する場合には、ｆ(i,j,t2)＝ｆ(i,j,t1)−ｄ(i,j)なる計算を行えば良い。
【００４４】
＜＜変換符号化＞＞  
次に変換符号化について説明する。変換符号化は、上記した距離情報の場合と同様である。すなわち、ステップＳ４０で得たｆ(i,j)につき、離散フーリエ変換または離散コサイン変換等を行い、係数群Ｆn(u,v)を得る。そして、距離情報の場合と同様に、出現頻度の高い係数に短い符号を割り当て、出現頻度の低い係数に長い符号を割り当てることで、法線情報Ｆns(u,v)を得る。
【００４５】
復号化する際には、符号の割り当て方に基づいて、Ｆns(u,v)からＦn(u,v)を求め、更にこれを逆変換符号化すれば良い。その結果、ｆ(i,j)が得られる。
【００４６】
＜＜ベクトル量子化＞＞  
次に、ベクトル量子化について説明する。ベクトル量子化では、個々の法線情報毎に符号化を行うのではなく、複数の法線の集まりを、法線情報を要素とするベクトルで表現し、符号化する。ベクトル量子化の方法について、図９を用いて説明する。図９は、ベクトル量子化の処理の流れを示すフローチャートである。
【００４７】
図示するように、まず法線情報を部分空間に分割する（ステップＳ５０）。すなわち、二次元画像を、複数の法線情報の集合である複数の部分空間（ブロック）に分割する。部分空間は、複数の画素の集合と言い換えることも出来る。そして、各ブロックにおける法線情報の平均値（平均ベクトル）を求める（ステップＳ５１）。次に各部分空間において、各画素単位の法線情報と、ステップＳ５１で求めた平均値との差分を表す差分ベクトルを求める（ステップＳ５２）。引き続き、予め容易されたコードブックのなかから、ステップＳ５２で求めた差分ベクトルに最も類似した代表ベクトルを抽出する（ステップＳ５３）。コードブックには複数の代表ベクトルが蓄えられている。そして、コードブックの何番目の代表ベクトルであるかという情報であるインデックスが、符号となる。そして、ステップＳ５１で求めた平均ベクトルと、ステップＳ５３で抽出したインデックスとを、二次元画像の法線情報として出力する（ステップＳ５３）。
【００４８】
以上の具体例を、図１０を用いて説明する。図１０は、（４×４）画素を有する二次元画像について、法線情報をベクトル量子化する手順を順次示す模式図である。
【００４９】
図示するように、まず（４×４）画素の二次元画像に含まれる１６個の画素を、それぞれ画素Ｐ０〜Ｐ１５と呼ぶ。また、各画素における法線情報を、それぞれ法線情報ｆ０〜ｆ１５と呼ぶ。そして、この二次元画像を（２×２）画素を含む４つの部分空間ＢＬＫ０〜ＢＬＫ３に分割する。部分空間ＢＬＫ０には画素Ｐ０〜Ｐ３が含まれ、部分空間ＢＬＫ１には画素Ｐ４〜Ｐ７が含まれ、部分空間ＢＬＫ２には画素Ｐ８〜Ｐ１１が含まれ、部分空間ＢＬＫ３には画素Ｐ１２〜Ｐ１５が含まれる。
【００５０】
次に、各部分空間ＢＬＫ０〜ＢＬＫ３における平均ベクトルｆave０〜ｆave３を求める。平均ベクトルｆave０は法線情報ｆ０〜ｆ３の平均値であり、平均ベクトルｆave１は法線情報ｆ４〜ｆ７の平均値であり、平均ベクトルｆave２は法線情報ｆ８〜ｆ１１の平均値であり、平均ベクトルｆave３は法線情報ｆ１２〜ｆ１５の平均値である。平均ベクトルｆave０〜ｆave３からなる画像を平均値画像と呼ぶ。
【００５１】
次に、各部分空間ＢＬＫ０〜ＢＬＫ３において、平均ベクトルｆave０〜ｆave３と、各画素の法線情報との差分ベクトルｄ０〜ｄ１５を求める。すなわち、ｄ０＝ｆave０−ｆ０であり、ｄ１＝ｆave０−ｆ１であり、ｄ２＝ｆave０−ｆ２であり、ｄ３＝ｆave０−ｆ３である。また、ｄ４＝ｆave１−ｆ４であり、ｄ５＝ｆave１−ｆ５であり、ｄ６＝ｆave１−ｆ６であり、ｄ７＝ｆave１−ｆ７である。更に、ｄ８＝ｆave２−ｆ８であり、ｄ９＝ｆave２−ｆ９であり、ｄ１０＝ｆave２−ｆ１０であり、ｄ１１＝ｆave２−ｆ１１である。更に、ｄ１２＝ｆave３−ｆ１２であり、ｄ１３＝ｆave３−ｆ１３であり、ｄ１４＝ｆave３−ｆ１４であり、ｄ１５＝ｆave３−ｆ１５である。差分ベクトルｄ０〜ｄ１５からなる画像を差分画像と呼ぶ。
【００５２】
次に、コードブックを参照する。コードブックには、代表となる差分ベクトル（代表ベクトル）が例えば８個含まれており、それぞれにインデックス０〜７が割り当てられている。各代表ベクトルは、例えば４つの差分ベクトルが含まれる。これは、部分空間ＢＬＫ０〜ＢＬＫ３の各々が４つの法線情報を含むからである。
【００５３】
そして、差分画像を得るために最適な代表ベクトルを、各部分空間毎にコードブックから選択する。図９の例では、ブロックＢＬＫ０〜ＢＬＫ３に最適な代表ベクトルは、それぞれインデックス０、２、４、６である。
【００５４】
以上のようにして求めた平均値画像とインデックス０、２、４、６が、ベクトル量子化による符号として出力される。
【００５５】
復号化は、平均値画像とインデックスとを用いて行われる。すなわち、まずインデックスを用いてコードブックを参照し、部分空間毎に代表ベクトルを抽出する。次に、代表ベクトルを差分ベクトルとして、平均値画像に含まれる平均ベクトルあら、部分空間の法線情報を算出する。そして、部分空間の法線情報から、二次元画像全体の法線情報を統合する。
【００５６】
図１０の例であると、インデックスとして０、２、４、６が与えられるので、コードブックからこれらのインデックスに相当する代表ベクトルを抽出する。そして、各代表ベクトルと平均ベクトルｆave０〜ｆave３とを加算して、法線情報ｆ０〜ｆ１５を得る。すなわち、部分空間ＢＬＫ０においては、平均ベクトルｆave０と差分ベクトルｄ０〜ｄ３とをそれぞれ加算し、法線情報ｆ０〜ｆ３を得る。部分空間ＢＬＫ１においては、平均ベクトルｆave１と差分ベクトルｄ４〜ｄ７とをそれぞれ加算し、法線情報ｆ４〜ｆ７を得る。部分空間ＢＬＫ２、ＢＬＫ３も同様である。そして、得られた法線情報ｆ０〜ｆ１５を統合すれば、（４×４）画素の二次元画像全体の法線情報が得られる。
【００５７】
＜三次元オブジェクトの抽出＞  
なお、符号化の際には、単に各画素における距離情報及び法線情報を符号化するのみならず、被写体から対象物となる立体オブジェクトを把握、抽出し、これを二次元画像に対応させて符号化しても良い。
【００５８】
＜＜平面オブジェクトの抽出＞＞  
まず始めに、平面オブジェクトの抽出方法について、図１１及び図１２を用いて説明する。図１１は抽出方法を示すフローチャートであり、図１２は直方体オブジェクトを示す模式図である。
【００５９】
まず、二次元画像内において法線方向が類似している領域を抽出する（ステップＳ６０）。例えば図１２の例であると、直方体の正面の平面Ｆ１（図１２において斜線を付した領域）では、全ての点で法線は正面を向いている。従って面Ｆ１は、法線方向が類似した領域として抽出される。これにより、この面Ｆ１の形状を示す境界情報が得られる。すなわち図１２の場合、他の２つの面Ｆ２、Ｆ３と接する２つの辺と、背景と接する２つの辺とが、境界情報として得られる。境界情報は、例えば二次元画像における座標で表現される。
【００６０】
次に、ステップＳ６０で抽出した面における代表点の位置と法線情報とを選択する（ステップＳ６１）。図１２の例では、例えば面Ｆ１に含まれる点のいずれかを代表点として選択する。代表点は特徴のある点であることが望ましい。そして、この代表点位置と代表点における法線情報（これらを代表点情報と呼ぶ）とにより、この面Ｆ１を表現する。
【００６１】
二次元画像を記憶させる際には、ステップＳ６０で抽出した領域の画像情報と視点の位置（撮影位置）とを、ステップＳ６０、Ｓ６１で得た境界情報及び代表点情報とに関連付ける（ステップＳ６２）。なお、図１２では面Ｆ１を抽出する場合を例に説明したが、面Ｆ２、Ｆ３を抽出する場合も同様である。
【００６２】
＜＜曲面オブジェクトの抽出＞＞  
次に、曲面オブジェクトの抽出方法について、図１３及び図１４を用いて説明する。図１３は抽出方法を示すフローチャートであり、図１４は半円筒オブジェクトを示す模式図である。
【００６３】
まず、二次元画像内において曲率半径が類似し、且つ曲率中心が連続的な曲線または点となる領域を抽出する（ステップＳ７０）。図１４の例であると、半円筒の正面の曲面は、曲率中心が連続的な直線Ｌ１であって、且つ曲率半径ｒが等しい。従って、曲面Ｆ４が抽出され、曲面Ｆ４の形状を示す境界情報が得られる。すなわち図１４の場合、半円筒の上面Ｆ５と接する１つの辺と、背景と接するが３つの辺とが、境界情報として得られる。
【００６４】
次に、ステップＳ７０で抽出した面の曲率中心がなす曲線と曲率半径とを記憶する（ステップＳ７１）。図１４の例では、曲率中心の直線Ｌ１がなす曲線（または点）と、曲率半径ｒとが記憶される。曲率半径は、曲線上にある２つの点の距離と法線の角度差から求まり、曲率中心は２点の座標と曲率半径から、曲率円の連立方程式を解くことで求まる。こうして得られた曲線と曲率半径（これらを曲面情報と呼ぶ）とにより、曲面Ｆ４が表現される。
【００６５】
二次元画像を記憶させる際には、ステップＳ７０で抽出した領域の画像情報と視点の位置（撮影位置）とを、ステップＳ７０、Ｓ７１で得た境界情報及び曲面情報とに関連付ける（ステップＳ７２）。なお、図１４における上面Ｆ５は、図１１及び図１２で説明した方法により抽出出来る。
【００６６】
＜効果＞  
以上のように、この発明の第２の実施形態に係る画像処理方法であると、上記第１の実施形態で説明した（１）、（２）の効果に加えて、下記（３）の効果が得られる。
【００６７】
（３）立体画像についてのデータ量を更に削減出来る。  
本実施形態に係る方法であると、距離情報及び法線情報を、種々の手法により圧縮している。従って、三次元画像情報のデータ量をより削減出来る。また、三次元オブジェクトを抽出することで、動画の場合、背景画像は一度記録すれば改めて記録する必要が無く、面積の小さい三次元オブジェクト（対象物体）のみを記憶すれば良く、高い圧縮率が得られる。
【００６８】
なお、符号化は上記の手法に限られるものでは無い。例えば、距離感に応じて距離情報に階調（距離情報についての１階調の範囲）に差異を設けても良い。すなわち、例えば二次元画像における背景は非常に遠距離であることが通常であり、その距離は人間の目では良く分からないことが多い。従って、このような領域については階調を粗くする。逆に、近景は人間にとって距離感をつかみやすい。従って、このような領域については階調を細かくする。このように、距離情報の階調に、距離別に差をつけることによっても、全体の情報量を圧縮出来る。
【００６９】
また、三次元オブジェクトを抽出する際、距離の差異に着目しても良い。すなわち、距離の変化が大きい点が、オブジェクトの境界であるとみなす。または距離が不連続である点が境界であり、連続していれば面であるとみなす。これにより、三次元オブジェクトの輪郭が把握出来、また法線情報から表面形状を把握出来る。三次元オブジェクトを抽出する際には、オブジェクトを微小な平面の集合として取り扱う。そして、距離関数が線形であり、または法線の向きが類似であれば、その領域が平面であることが分かる。
【００７０】
また、フレーム間において画面内に動きがある場合、すなわち動画の場合には、動き補償符号化を行っても良い。すなわち、三次元オブジェクトのフレーム内での動きを推定し、それを用いて予測値を求め、予測結果と実際の結果との差分を求める。そして、求めた差分を記憶する。より具体的には、２つのフレームにつき三次元オブジェクトを抽出する。次に、フレーム間で類似した三次元オブジェクトを探索する。そして、オブジェクトが平面の場合には、代表点を目印にして平面情報の探索を行い、その変化を算出する。曲面の場合には、曲面情報を探索して、その変化を算出する。この際、曲面上にある特徴点とその曲率中心を目印にして探索を行う。またテクスチャの変化は、三次元オブジェクトに画像情報を視点方向から投射（テクスチャの貼り付け）し、それを位置変化（移動、回転、拡大、縮小等の物理的位置関係の変化）させたものを予測値とし、実際のテクスチャの画像情報との差分を求める。すなわち、三次元オブジェクトに重なる背景部分が、過去または未来のフレームから補間され、オブジェクトが存在しない状態での背景を予測出来る。そして、これらのフレーム間の差分を保持することによって情報量を圧縮出来る。またこの際には、オブジェクト全体では無く微小領域単位で差分を考えることで、扱いが容易となる。このようにして得た２フレーム間の変化情報を用いて次のフレームでの変化を予測し、実際の値との差分を求める。
【００７１】
更に、三次元オブジェクトの視界から見えない部分の予測は、次のような方法によっても可能である。すなわち、抽出したオブジェクトを典型的な形状（直方体や球等の基本的な立体や、直線、平面、無限円等）と比較し、類似した形状を探索する。そして、オブジェクトに類似した典型形状を用いて、予測画像計算に用いる。または、三次元オブジェクトの表面の距離変化または法線方向の変化を関数で表し、その関数的性質から、比較する典型的形状を選択しても良い。例えば、隣接する画素単位の距離変化が、ある面積のある範囲にわたって線形的であれば、それらの集合を平面と推定出来る。面積の無い範囲にわたって線形的であれば、直線であると推定出来る。
【００７２】
また、三次元オブジェクト毎に形状とテクスチャを記憶する際、撮影装置の置かれている三次元の環境（視点とオブジェクトとの位置関係や角度）をあわせて記憶することで、撮影装置が移動したり角度が変化したりした場合に、視界にどのようなオブジェクトが現れるかを予測することも出来る。
【００７３】
更に、遠景は近景に比して変化が少ない。従って、予測のための参照画像の時間差を、距離によって変化させても良い。また、抽出した三次元オブジェクトの時系列における距離変化（接近または離反）に応じて、オブジェクトの拡大・縮小を予測しても良い。また、抽出した三次元オブジェクトと視点との位置関係の推移から、その前後の時間の位置関係を予測することも出来る。そして、予測した三次元オブジェクトをレンダリングし、実際の画像との差分を情報として記憶しても良い。
【００７４】
［第３の実施形態］  
次に、この発明の第４の実施形態に係る画像処理方法について説明する。本実施形態は、上記第１、第２の実施形態で説明した画像処理方法を実現する撮像装置及び再生装置に関するものである。
【００７５】
＜撮像装置＞  
まず、撮像装置について説明する。撮像装置は、上記第１、第２の実施形態に係る画像処理方法に従って、二次元画像の立体情報を生成・圧縮する。図１５は撮像装置のブロック図であり、その一例はカメラである。図示するように撮像装置１は、画像入力部２、測距部３、演算部４、及び伝送／蓄積部５を備えている。
【００７６】
画像入力部２は撮像部を含み、撮像部によって対象物体を撮影して二次元画像を得る。なお、画像入力部２自身が撮像部を含む必要は必ずしも無く、撮像装置１外部のカメラで撮影された二次元画像が画像入力部２に入力されても良い。
【００７７】
測距部３は、対象物体の距離を測定する。すなわち第１の実施形態で説明したように、合焦や、赤外線、レーザ等を用いて距離を測定し、または画像入力部２から与えられる複数の二次元画像を用いたステレオ対応点探索法等によって距離を推定する。
【００７８】
演算部４は、画像入力部２から二次元画像を受け取り、測距部３から距離を受け取る。そして演算部４は、撮影された二次元画像の立体情報を生成・圧縮する。演算部４の詳細は後述する。
【００７９】
伝送／蓄積部５は、例えばハードディスクドライブや、またはフラッシュメモリ等の半導体メモリである。この場合、伝送／蓄積部５はＬＡＮ等の通信装置を含み、記憶したデータをこれらの通信装置によって再生装置へ伝送する。また伝送／蓄積部５は、撮像装置に挿抜可能なメモリカード等であっても良い。この場合には、メモリカードがデータの伝送手段且つ蓄積手段となる。
【００８０】
＜＜演算部４の詳細＞＞  
次に、上記演算部４の詳細について説明する。図示するように演算部４は、二次元画像圧縮部６、付加情報計算部７、及び付加情報圧縮部８を備えている。
【００８１】
二次元画像圧縮部６は、画像入力部２から与えられる二次元画像を、周知の手法により圧縮する。そして、圧縮した二次元画像を、二次元画像圧縮データとして伝送／蓄積部５に記憶させる。
【００８２】
付加情報計算部７は、二次元画像を構成する画素につき、距離と法線方向とを計算する。付加情報計算部７は、第１付加情報計算部１０、照度差計算部１１、光源角度差計算部１２、及び第２付加情報計算部１３を備えている。
【００８３】
第１付加情報計算部１０は、基準点における法線方向を算出する。すなわち、測距部３から与えられる距離情報を元に基準点を定め、基準点について第１の実施形態で説明したステップＳ１１の処理を行い、基準点における法線方向を算出する。
【００８４】
照度差計算部１１は、画像入力部２から与えられる二次元画像について、照度差を計算する。照度差計算部１２は、二次元画像を構成する画素につき、隣接する画素との照度差を計算する。
【００８５】
光源角度差計算部１２は、非基準点における光源との角度差を求める。すなわち、二次元画像を構成する画素を順次選択し、その点が非基準点であれば、照度差計算部１１で算出した照度差に基づいて、法線方向の光源との角度差を求める。選択された画素が基準点か非基準点であるかの情報は、第１付加情報計算部１０から与えられる。
【００８６】
第２付加情報計算部１３は、第１付加情報計算部１０から与えられる基準点における距離及び法線方向と、光源角度差計算部１２から与えられる角度差に基づいて、非基準点における距離及び法線方向を計算する。非基準点における距離及び法線方向の算出方法は、第１の実施形態で説明した図２のフローの通りである。
【００８７】
付加情報圧縮部８は、付加情報計算部７で求められた基準点及び非基準点における距離と法線方向とを、第２の実施形態で説明した種々の方法により符号化して圧縮する。そして、圧縮した距離と法線方向とを、付加情報圧縮データとして伝送／蓄積部５に記憶させる。
【００８８】
＜再生装置＞  
次に、再生装置について説明する。再生装置は、上記第１、第２の実施形態に係る画像処理方法に従って、二次元画像の立体情報を伸張・再生する。図１６は再生装置のブロック図であり、その一例はパーソナルコンピュータ（ＰＣ）である。図示するように再生装置１は、伝送／蓄積部２１、演算部２２、表示部２３、及び入力部２４を備えている。
【００８９】
伝送／蓄積部２１は、撮像装置１の伝送／蓄積部５から伝送された二次元画像圧縮データ及び付加情報圧縮データを受け取り、蓄積する。
【００９０】
演算部２２は、伝送／蓄積部２１から二次元画像圧縮データ及び付加情報圧縮データを受け取り、二次元画像を再生すると共に、この立体画像を生成する。演算部２２の詳細については後述する。
【００９１】
表示部２３は、演算部で得られた二次元画像及び立体画像を表示する。
【００９２】
入力部２４は、例えばマウスやキーボードであって、立体画像の再生に必要な情報（例えば視点、注視点、被写界深度等）を受け付ける。
【００９３】
＜＜演算部２２の詳細＞＞  
次に、上記演算部２２の詳細について説明する。図示するように演算部２２は、二次元画像伸張部３０、付加情報伸張部３１、立体形状復元部３２、及びレンダリング部３３を備えている。
【００９４】
二次元画像伸張部３０は、伝送／蓄積部２１から与えられる二次元画像圧縮データを、周知の手法により復号化して、二次元画像を得る。この二次元画像が、表示部２３で表示される。
【００９５】
付加情報伸張部３１は、伝送／蓄積部２１から与えられる付加情報圧縮データを、第２の実施形態で説明した手法により復号化して、基準点及び非基準点における距離と法線の方向とを得る。
【００９６】
立体形状復元部３２は、付加情報伸張部３１で得られた距離と法線方向とを、二次元画像伸張部３０で得られた二次元画像に関連付けることで、二次元画像の立体形状を生成する。
【００９７】
レンダリング部３３は、立体形状復元部３２で得られた立体形状を、入力部２４で受け付けた情報に従ってレンダリングして、目的とする物体を生成する。そしてレンダリング部３３で得られた物体が、表示部２３に表示される。
【００９８】
以上のような装置により、上記第１、第２の実施形態を実現出来る。なお、本実施形態における演算部４、２２は、ソフトウェアによって実現しても良い。すなわち、撮像装置１はＣＰＵ等の演算装置を含み、演算装置をソフトウェアによって二次元画像圧縮部６、付加情報計算部７、及び付加情報圧縮部８として機能させても良い。演算部２２も同様である。
【００９９】
更に、本実施形態のように撮像装置１と再生装置２０とを分離させることが好ましい。通常、撮像装置１としてのカメラには可搬性が要求され、またカメラが高度な画像処理能力を有することは希だからである。そしてこの場合、撮像装置１から再生装置２０へデータを伝送する必要があるため、三次元画像のデータ量を圧縮することが重要となる。
【０１００】
また、上記撮像装置１及び再生装置２０は、三次元地図作成装置として応用することが出来る。この場合、撮像装置１の演算部４は三次元地図作成部と三次元地図圧縮部とを更に備える。三次元地図作成部は、第２付加情報計算部１３から、基準点及び非基準点における距離と法線方向とを受け取る。すなわち、二次元画像についての立体情報を受け取る。そして三次元地図作成部は、二次元画像を三次元に投射し、三次元地図情報を作成する。この際、テクスチャもあわせて統合する。そして三次元地図圧縮部は、三次元地図作成部で作成された三次元地図情報を圧縮して、三次元地図情報圧縮データとして、伝送／蓄積部５に記憶させる。
【０１０１】
また再生装置２０の演算部２２は、三次元地図伸張部及び三次元地図作成部を更に備える。三次元地図伸張部は、伝送／蓄積部２１から受け取った三次元地図情報圧縮データを伸張し、これに基づいて三次元地図作成部が三次元地図を作成する。そして立体形状復元部３２において、三次元地図における立体形状が復元される。
【０１０２】
上記のように、この発明の第１乃至第３の実施形態に係る画像処理方法によれば、二次元画像において、基準点の法線方向を求めるステップと、基準点を基準にした照度差に基づいて、非基準点の距離及び法線方向を求めるステップとを具備する。そして二次元画像と、基準点及び非基準点における距離及び法線方向とにより、二次元画像の立体画像情報を表現する。つまり、立体情報を直接利用して、三次元画像を取り扱うことが出来る。従って、必要な画像データは１枚の二次元画像だけで良く、三次元画像のデータ量を削減出来る。
【０１０３】
この方法を、図１７乃至図１９を用いて概略的に再度、説明する。図１７は二次元画像の模式図である。図示するように、背景上に円柱形状の前景物体が存在する。図中におけるハッチングは影（明るさ）を示す。このような二次元画像について、距離を測定出来た点を基準点とする。図１８は、図１７の二次元画像の基準点をバツ印で示すものである。図示するように、背景や前景物体の輪郭部分は距離が推定し易く、基準点となりやすい。その他のバツ印の無い領域は全て非基準点となる。そして、照度差と基準点の法線方向に基づき、非基準点の法線方向を求める。この様子を図１９に示す。図示するように、背景は床と２つの壁の３つの平面であることが照度差から分かり、これらの法線ベクトルｎ１〜ｎ３の方向を求めることが出来る。また前景物体が円柱形状であることも照度差から分かり、円柱上面の法線ベクトルｎ４の方向が分かり、また側面の法線ベクトルｎ５、ｎ６、ｎ７、…の方向が分かる。そして法線が分かることで、第１の実施形態で説明した図５等の方法により、非基準点の距離を求めることが出来る。
【０１０４】
非基準点の距離及び法線方向の算出は、次のような方法を用いることが出来る。すなわち、図５及び図６に示したように、まず基準点の法線方向と光源との角度差である第１角度差θ１を、照度差ステレオ法により求める。また、基準点に十分に近接し、且つ基準点と同一の連続する曲面または平面上にあると推定出来る非基準点の法線方向と光源との角度差である第２角度差θ２を、照度差ステレオ法により求める。次に、基準点の法線方向と、第１角度差θ１と第２角度差θ２との差である第３角度差Δθ１とに基づいて、非基準点における法線方向を求める。更に、第１角度差θ１と第２角度差θ２とに基づいて、基準点と非基準点との、曲率中心からの角度差である第４角度差Δθ２を求める。これにより、基準点の距離と第４角度差Δθ２とに基づいて、非基準点の距離を求めることが出来る。
【０１０５】
以上のように、照度差を利用することで、表面に変化の少ない物体であっても、その法線及び距離を求めることが容易となる。なお上記方法では、２点（基準点と、この基準点を元にして距離及び法線方向を求めたい非基準点）の法線方向と光源との角度差を、法線方向の角度差と近似している。従って、光源と２点とを結ぶ線分の角度差が法線角度の誤差となる。そのため、この誤差が許容出来る範囲内となるように、２点が近接していれば良い。つまり、光源からの距離と、法線角度の精度要請とに基づいて、２点が十分に近接しているかどうかを決めることが出来る。
【０１０６】
なお、本願発明は上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出されうる。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出されうる。
【図面の簡単な説明】
【０１０７】
【図１】この発明の第１実施形態に係る画像処理方法のフローチャート。
【図２】この発明の第１実施形態に係る画像処理方法における、非基準点の距離及び法線方向の算出方法を示すフローチャート。
【図３】三次元オブジェクトの模式図。
【図４】この発明の第１実施形態に係る非基準点の距離及び法線方向の算出方法を示す概念図。
【図５】この発明の第１実施形態に係る非基準点の距離算出方法を示す概念図。
【図６】三次元オブジェクトの模式図であり、この発明の第１実施形態に係る非基準点の距離及び法線方向の算出方法を説明する図。
【図７】この発明の第２実施形態に係るデータ圧縮方法のフローチャート。
【図８】この発明の第２実施形態に係るデータ圧縮方法のフローチャート。
【図９】この発明の第２実施形態に係るデータ圧縮方法のフローチャート。
【図１０】この発明の第２実施形態に係るデータ圧縮方法を説明するための模式図。
【図１１】この発明の第２実施形態に係るオブジェクト抽出方法のフローチャート。
【図１２】三次元オブジェクトの模式図であり、この発明の第２実施形態に係るオブジェクト抽出方法のフローチャート。
【図１３】この発明の第２実施形態に係るオブジェクト抽出方法のフローチャート。
【図１４】三次元オブジェクトの模式図であり、この発明の第２実施形態に係るオブジェクト抽出方法のフローチャート。
【図１５】この発明の第３実施形態に係る撮像装置のブロック図。
【図１６】この発明の第３実施形態に係る再生装置のブロック図。
【図１７】二次元画像の模式図。
【図１８】この発明の第１乃至第３実施形態に係る画像処理方法により、基準点における法線の方向を求める様子を示す模式図。
【図１９】この発明の第１乃至第３実施形態に係る画像処理方法により、非基準点における距離及び法線の方向を求める様子を示す模式図。
【符号の説明】
【０１０８】
１…撮像装置、２…画像入力部、３…測距部、４、２２…演算部、５、２１…伝送／蓄積部、６…二次元画像圧縮部、７…付加情報計算部、８…付加情報圧縮部、１０…第１付加情報計算部、１１…照度差計算部、１２…光源角度差計算部、１３…第２付加情報計算部、２０…再生装置、２３…表示部、２４…入力部、３０…二次元画像伸張部、３１…付加情報伸張部、３２…立体形状復元部、３３…レンダリング部
【図１】
2010002273.tif 000003
【図２】
2010002273.tif 000004
【図３】
2010002273.tif 000005
【図４】
2010002273.tif 000006
【図５】
2010002273.tif 000007
【図６】
2010002273.tif 000008
【図７】
2010002273.tif 000009
【図８】
2010002273.tif 000010
【図９】
2010002273.tif 000011
【図１０】
2010002273.tif 000012
【図１１】
2010002273.tif 000013
【図１２】
2010002273.tif 000014
【図１３】
2010002273.tif 000015
【図１４】
2010002273.tif 000016
【図１５】
2010002273.tif 000017
【図１６】
2010002273.tif 000018
【図１７】
2010002273.tif 000019
【図１８】
2010002273.tif 000020
【図１９】
2010002273.tif 000021