(57)【要約】本発明は、三次元の場面から実質的に完全な奥行きマップを得る方法に関する。奥行き値及び奥行き値の導関数の両方は、該三次元の場面から部分的な奥行きマップを得、該場面からの奥行き情報の導関数を得、該部分的な奥行きマップに非関連情報を加えることによって該部分的な奥行きマップを拡張し、該部分的な奥行きマップ及び奥行き情報の該導関数の両方と空間的に整合性の取れている高画素密度の完全な奥行きマップを作るステップを有する高画素密度の奥行きマップに用いられる。
2006513502.tif 000002
【特許請求の範囲】
【請求項１】
三次元の場面から実質的に完全な奥行きマップを得る方法であって、
a）該三次元の場面から部分的な奥行きマップを得、
b）該場面からの奥行き情報の導関数を得、
c）該部分的な奥行きマップに非関連情報を加えることによって該部分的な奥行きマップを拡張し、該部分的な奥行きマップ及び奥行き情報の該導関数の両方と空間的に整合性の取れている高画素密度の完全な奥行きマップを作るステップを有する方法。
【請求項２】
該奥行きマップを拡張する該非関連情報は、該非関連情報、該部分的な奥行きマップ及び該奥行きマップの該導関数を有する確率マップを最大にすることによって計算される、ことを特徴とする請求項１記載の方法。
【請求項３】
該部分的な奥行き情報及び奥行き情報の該導関数は、定量的な画像処理によって得られる、ことを特徴とする請求項１記載の方法。
【請求項４】
該部分的な奥行き情報は、画像テクスチャの局所的な量を検出し、空間的に高くテクスチャ化された領域から奥行きを決めることによって得られる、ことを特徴とする請求項１記載の方法。
【請求項５】
該部分的な奥行き情報及び奥行き情報の該導関数は、定性的な画像処理によって得られる、ことを特徴とする請求項１記載の方法。
【請求項６】
該部分的な奥行き情報は、該画像の中で対象を決める対象細分化、及び対象の順序付けの検出によって得られる、ことを特徴とする請求項１記載の方法。
【請求項７】
人間の奥行き認知は、奥行きセンサーによってモデル化され、前記高画素密度の完全な奥行きマップが該奥行きセンサーの特性に基づいて計算されること、を特徴とする請求項１記載の方法。
【請求項８】
該高画素密度の完全な奥行きマップは、前記部分的な奥行きマップ及び前記奥行きマップの前記導関数によって決められない画素値を摂動させ、前記確率マップを最小化することによって計算される、ことを特徴とする請求項１記載の方法。
【請求項９】
請求項１によって、静止及び／又は動作画像の画像処理を提供する集積回路。
【請求項１０】
民生電子機器、テレビ及びコンピュータ画像製品での請求項1による方法の使用。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、三次元場面から実質的に完全な奥行きのマップを得る方法に関する。更に、本発明は、このような方法の使用、及びこのような方法によって画像処理を提供する集積回路に関する。
【背景技術】
【０００２】
三次元映像の獲得は、今なお画像処理における挑戦である。それは、特別なカメラ、複合的なカメラ、及び処理、又は二次元から三次元への変換過程によって成され得る。最近のコンピュータ映像の務めは、既存の二次元映像記録及び通信インフラを再利用する一方で三次元映像の導入を可能にするので、二次元から三次元への移行において非常に重要である。依然として、これらのアプローチは、任意の自然のコンテンツに対して高品質の三次元映像を作り出すという目標から遠い。
【０００３】
人間の三次元認知に関する知識は、三次元映像システムで重要な役割を果たす。例えば、実際の指し値よりも小さい三次元を有する場面を示すことは今なお非常に楽しまれ、あるいはより一層自然に経験されることがすでに知られる。人間の認知に関して、人間は一般的に完全な測定よりも差に対して敏感である。
【０００４】
二次元から三次元への変換の演算手順はすでに多数ある。それらの結果は、異なる様相を有し、非常に多様な精度を有し得る。様相に関して、奥行き値をもたらす定量的なアプローチと、奥行きの順序付けのみをもたらす定性的なアプローチとの間には差がある。得られた値の様相は、値、又はその一次の、若しくはそれより高い次数の導関数であっても良い。
【０００５】
三次元の静止画像又は映像が得られなければならない時は常に、最初に夫々の二次元画像は従来のカメラ又は高価な奥行きカメラによって捕らえられる。前記二次元画像から三次元画像を取り出すために、これらの二次元画像は適切に処理されなければならない。この処理は複雑であり、大きな計算努力を要する。更に、画像が奥行きカメラによって撮られた場合、記録された場面の位相的な複雑さは制限される。単一の正面撮影像のみが捕らえられ、最前面の対象の後ろにある対象は捕らえられない。異なる角度から場面を撮ることによってのみ、更に複雑な対象が捕らえられ得る。奥行きカメラは直接的に三次元画像を記録する。三次元情報は直接的に三次元表示を支援するが、三次元の品質は十分ではない。
【０００６】
三次元画像処理の一つの主な焦点は、定量的な方法であって、画像内の動作に依存する動作検索からの構造であり、従って静止画を適用できない。
【０００７】
定性的な演算手順の例は、例えば、機能異常の調査及び映像内の対象の再出現、並びに静止画像に対する所謂T形解析によって、遮蔽の意味論（occlusion  semantics）を用いるものである。
【０００８】
両方の方法が、不完全である奥行き情報をもたらす。定量的な方法は不確定区間を有し、定性的な方法は奥行きの順序付け情報のみをもたらす。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明の目的は、部分的な奥行きマップから完全な三次元の奥行きマップを提供する三次元画像の獲得方法を提供することである。本発明の更なる目的は、処理に対する人間の認知の制約を考慮に入れるように、三次元画像の獲得方法を提供することである。
【課題を解決するための手段】
【００１０】
これら及び他の目的は、三次元の場面から部分的な奥行きマップを得、該場面から奥行き情報の導関数を得、該部分的な奥行きマップに非関連情報を加えることによって該部分的な奥行きマップを拡張し、該部分的な奥行きマップ及び奥行き情報の該導関数の両方と空間的に整合性の取れている高画素密度の完全な奥行きマップを作るステップを有し、該三次元の場面から実質的に完全な奥行きマップを得る方法によって解決される。
【００１１】
本発明は、人間が明るさ自体及びその空間／時間の導関数の両方に対するセンサーを有することに基づく。直接的な明るさセンサーの証拠は、我々が、如何なるテクスチャの欠如（例えば、目が一枚の紙によって覆われる時、空間の導関数は零である。）においてすら明るいか、暗いかを見ることが可能であることである。更に、人間は、明るさが時間経過に対して連続的に変化していない（即ち、零でない時間の導関数を有する）場合は、テクスチャを見ることが出来ない。静止画を見るために、人間の目は無意識の方法で絶えず微小に動作している。その時、テクスチャから生じる空間的な明るさの導関数は、測定され得る時間の導関数に変換される。
【００１２】
更に、人間は、三次元情報に関連するような画像部分を認知することしか出来ない。前記部分的な奥行き情報は、画像内の奥行きに関する情報を伝え、高い精度を有する。画像の幾つかの範囲において、奥行き情報は他の範囲においてよりも正確である。
【００１３】
本発明によれば、第一のステップは、画像内の最も関連性のある奥行き情報を取り出すことである。これらの範囲は、少なくとも奥行きの不連続を有する範囲であっても良い。該奥行き情報の導関数は、次のステップで得られる。前記部分的な奥行きマップ内での部分的な奥行き情報及び奥行き情報の導関数は、完全な奥行きマップの計算を可能にする。異なる様相の奥行き情報を用いることによって、奥行きの認知は再モデル化されても良く、取り出された完全な奥行きマップは、人間が実際の三次元の場面から認知する奥行き情報にうまく一致する。
【００１４】
この非関連性データは、一つの不連続から次の不連続まで、対象を滑らかにし得る。前記完全な奥行きマップは、取り出された奥行きの不連続、その導関数、及び対象範囲内の滑らかさの間でこの上ない一致を表わし得る。結果として得られる高画素密度の奥行きマップは、請求項２による方法が提供される場合に取り出され得る。部分的な奥行きマップ及び奥行きの導関数を用いることによって、結果として得られる値はノイズによる変化を有する。例えば、マルコフランダム場モデルの使用は、測定された奥行き値と空間的に一致する高画素密度の完全な奥行きマップを見つけることを可能にする。エネルギーマップUは、ギブス／マルコフランダム場モデルによって定義される。このモデルは、高画素密度の画素マップ内の全ての画素を表わす。確率Pの最大化は、エネルギーUの最小化に等しい。この利点は、方程式がより簡単であり、UのダイナミックレンジはPのダイナミックレンジよりもずっと小さいことである。Uの最小化は、この上なく一致する高画素密度の奥行きマップをもたらし、該奥行きマップは人間の奥行き認知の特徴によってモデル化され得る。
【００１５】
請求項３によれば、更なる画像処理が提案される。定量的な処理から奥行き情報を引き出すことによって、不確定範囲を有する奥行き値は利用可能である。画像に非関連情報を加えることを可能にするために、低い不確定値を有する奥行き値が用いられる。これらは、奥行きの不連続が生じるか、あるいは画像テクスチャが高値である領域である。これらの奥行き値に由来して、不連続は完全な奥行きマップを得るために用いられ、対象の範囲内での未知の奥行き値は、結果として前記非関連性データとなる奥行き値と一致する。非関連情報は、知覚的に完全な奥行きマップを有する画像の処理を可能にし、結果として三次元画像を作り出す。
【００１６】
高いテクスチャを有する領域は低い不確定要素を有する奥行き値を引き出すことを可能にするので、請求項４による方法は好ましい。
【００１７】
部分的な奥行き情報を取り出すことを可能にするために、請求項５による方法が提案される。定性的な画像処理は、奥行きの不連続、及び事によると不連続の導関数を決めることを可能にする。それによって、対象は、前記対象の奥行きの順序付けに関する順序付け情報と同様に、検出され得る。定性的な画像処理は、対象の細分化及びT形検出を用いても良い。画像細分化を用いることによって、画像内での対象の数及び大きさが取り出され得る。T形検出を適用することによって、検出された対象間の考えられる順序付けが取り出され得る。その時、本発明による方法は、見つけられた奥行きの順序付けに従う高画素密度の奥行きマップに任意の奥行き値を入れる。
【００１８】
完全な画像の奥行きは、N個のユニットであるように選ばれても良い。それは特定の表示装置の奥行きの能力に適合するように、あるいは画像処理が送信側で成される場合にはある規格によって、選ばれ得る。一般的に、高画素密度の奥行きマップは、様々な可能な奥行きマップ及び対象の順序付けに混じって、滑らかさ、及び順序付け規則からの部分的な奥行き情報の両方にこの上なく従う非関連性データを入れられた特定の奥行きが選ばれるように、得られうる。
【００１９】
請求項６によれば、対象の細分化が提案される。対象の細分化を画像に適用することによって、対象は検出され得る。更に、対象の順序付けが、例えばT形検出によって引き出され得る。対象及び対象の順序付けに関する情報を用いて、非関連性データは部分的な奥行きマップを完全にすることが出来る。これは、高画素密度の奥行きマップを計算することによって成され、画素値は推定画素値にこの上なく一致する。これらの推定画素値は既知の奥行き情報、既知の奥行きの導関数及び奥行きモデルによって計算され得、人間の奥行き認知をモデル化する。このモデルは、変化、ノイズ及び様々な要素を考慮に入れても良い。モデルは、高画素密度の奥行きマップと比較される。この上なく一致する高画素密度の奥行きマップは、最小化されたエネルギー又は最大化されたギブス／マルコフランダム場をもたらす。
【００２０】
更に、請求項７による方法が提案される。人間の奥行きの認知は、様々な奥行きセンサーによってモデル化され得る。夫々のモデルは、高画素密度の奥行きマップの様々なエネルギー値、及び様々なこの上なく一致する高画素密度の奥行きマップをもたらす。人間の奥行き認知のセンサーは、ガウスノイズ、空間的に異なる又は不変の非ガウスノイズ、負の指数マップ的なノイズ、センサーの飽和、二つのモードを有するセンサーノイズ、あるいは飽和した二つのモードを有するセンサーノイズを有しても良い。
【００２１】
感覚のデータ処理演算手順の務めは、入力データisense及び▽isenseのような奥行き及びその導関数のセンサー測定に基づいて奥行き値ipercで高画素密度の奥行きマップを計算することである。これは、請求項８によって計算される。この上なく一致する奥行きマップを計算するために、全ての奥行き値に渡るU(i)の最小化が必要とされる。U(i)はマルコフランダム場モデルであっても良い。
【００２２】
これは、所謂シミュレーテッド・アニーリング（SA）演算手順によって成される。この演算手順は、初期推定、即ちi0=isenseでまさに始まり、Uの最小値に収束するまで、級数ikを実行する。ikからik+1までの夫々の遷移において、無作為な摂動が各画素位置pにおいて独立にiまで成され、Uを▽Uによって変化させる。摂動が▽U＜0（より低く、より良いU）をもたらす時は常に、画素pでの摂動は受け入れられる。▽U＞0（より高く、より悪いU）である時はいつも、摂動は▽Uと共に急速に減少する確率単独で受け入れられる。SA演算の特徴は、局所的な最小値を回避する一方で、効果的にUの最小値を見つけ出すことを可能にする。SA演算手順は、二つの変数、摂動の大きさを制限するσperturb、及びより悪いUに導く摂動がどの程度受け入れられるかを規定する所謂温度Tを必要とする。
【００２３】
実質的に演算手順を促すために、それは所謂階層化方法で適用される。まず入力データisense及び▽isenseのより低い分解能バージョンが計算され、それからSA演算手順が結果ipercのより低い分解能バージョンを得るために再び実行される。その後、同じことが一段階上に移された分解能で成される。但し、初期推定として前の結果ipercをすぐに使用する。これは原点まで続き、完全な分解能が達成される。SA演算手順の無作為な摂動ノイズは、変化σpreturbを有するガウス分布であるように選ばれても良い。
【００２４】
本発明の更なる特徴は、前述の方法による静止及び／又は動作画像の画像処理を提供する集積回路である。更に、本発明の特徴は、民生電子機器、テレビ及びコンピュータ画像製品における前述の方法の使用である。
【発明を実施するための最良の形態】
【００２５】
本発明のこれら及び他の解釈は、図を参照して、明白に理解可能であるように説明される。
【００２６】
図１aは定量的な奥行きの処理を表わす。壁2bの前の対象2aが描かれている。更に、カメラ4、定量的な処理6、並びに奥行き情報8a及び奥行きの不確定要素8bを有する部分的な奥行きマップ8の形での定量的な処理6の結果が描かれている。
【００２７】
対象2a及び壁2bはカメラ4によって捕らえられる。カメラ4は、それらの二次元画像と共に、両方の画像を処理することによって奥行き情報を捕らえる。正確な奥行き情報は、二つのカメラ4によって取り出されることが出来ない。局所的な奥行きの精度は、他の要素に混じって、画像テクスチャの局所的な量に依存する。更なる奥行き情報は、奥行きの不連続から取り出されても良い。定量的な奥行きの処理6の結果は、奥行きデータ8a及び不確定な範囲8bを有する部分的な奥行き情報のグラフである。
【００２８】
場面の実際の奥行き情報は図３で示される。定量的な奥行きの処理の結果は図３で描かれている。実際の奥行き値8aのグラフが図３で描かれている。特定の空間的位置16で、奥行き情報は不連続を有する。これらの不連続16は、異なる対象間の変化によって生じうる。これらの不連続16の近傍での奥行き情報の精度は高い。
【００２９】
図３bで描かれるように、奥行き情報の精度は範囲8bによって示される。不連続及び高解像の局所的なテクスチャの場合、精度は高く、不確定要素は小さい。
【００３０】
図３cで描かれるように、本発明による方法の結果は、該不連続16のような部分的な奥行き情報に従う滑らかな奥行き側面図を有する、高画素密度の奥行きマップをもたらす。奥行きの不連続16の奥行き値は、高画像テクスチャ18を有する位置での高い精度の奥行き情報と共に、結果として得られる奥行きマップにコピーされる。結果として得られる奥行きマップは、カメラ4によって捕らえられる部分的な奥行きマップから取り出される部分的な奥行き情報16、18と一致する。部分的な奥行き情報16は、滑らかな奥行きマップ20を実現する非関連情報によって拡張される。これは、空間的な奥行き情報、奥行きの導関数及び奥行きの認知モデルと比較されるこの上なく一致した高画素密度の奥行きマップを見つけ出す奥行きマップの中で奥行き値を摂動させることによって成され、人間の奥行き認知をモデル化する。
【００３１】
非関連性データを有する高い精度の部分的な奥行き情報16、18を拡張するために、マルコフランダム場（MRF）方法が適用される。部分的な奥行き情報はDalgであり、その不確定要素はΔDalgである。奥行きマップ自体はDである。ΛS4は、二つの水平に隣り合う画素対PQ1とPQ2との間での全ての端Qを含む格子を表わす。ΛIは全ての画素格子の位置の集合である。滑らかさUsmoothness及び奥行き値UcopyのエネルギーマップUは、以下の式
【００３２】
【数１】
2006513502.tif 000003
【００３３】
【数２】
2006513502.tif 000004
であっても良い。Ucopyの最小化は単独で、奥行きマップDをDalgのコピーであるようにする。分母に小さい値を加えることによって、Ucopyは零ではなくなる。Usmoothnessの最小化は単独で、如何なる奥行き情報も用いずに、全体の画像に渡って奥行きマップDを滑らかにする。UsmoothnessとUcopyの両方の最小化は、α及びβによって与えられる、滑らかさとコピー制限との間の交換をもたらす。部分的な奥行きマップに非関連情報を加えることによって、完全な奥行きマップは構築され、二次元画像から場面の三次元認知を可能にする。この非関連性奥行き情報は、部分的な奥行き情報、奥行きの導関数及び人間の奥行きの認知の認知モデルを有する異なる非関連性奥行き情報と高画素密度の奥行きマップとを比較することによって取り出される。
【００３４】
図１bにおいて、奥行き情報の定性的な処理が描かれている。対象2a、2b、及び2cはカメラ10によって捕らえられる。画像細分化及びT形検出が捕らえられた画像で実行される。定性的な処理12によって、画像内の位置13での奥行きの不連続14が決められ得る。第一の不連続14aの方向は既知ではない。後の不連続14b、14cの方向は既知である。画像細分化12aによって、対象の形状も抽出され得、二つの六角形2a、2c及び壁2bを明らかにする。定性的な処理は、六角形2cが六角形2aの前に、且つ壁2bの前に存在することを明らかにする。結果として得られる奥行き情報は不完全であり、奥行き値の導関数を有する。
【００３５】
前記定性的な処理が図２で描かれている。捕らえられた画像22は、最初に細分化される。画像細分化の結果24は、二つの六角形を明らかにする。順序付け情報は不完全である。AがBの前にあることは既知である。CとBの順序付けは既知ではない。本発明による拡張を適用することによって、見つけられた奥行きの順序付けに従う任意の奥行き値は、画像で満足する。対象Aは、AがB及びCの前にあるN個の“奥行きユニット”であることを示す奥行き値を割り当てられる。結果として得られる画像28は、見つけられた奥行きの順序付けに従う対象に加えられた奥行き情報を有する。円の奥行きの順序付けの場合、対象の奥行きに関する単一の値を見つけることは不可能である。これらの場合、認知される奥行きが対象の中で滑らかに変化することを可能にする非関連情報を満足させることが、適切である。一つの奥行きマップは、部分的奥行き情報及び滑らかさの制限の両方に従うことを理解されても良い。
【００３６】
このような奥行きマップを見つける方法は、マルコフランダム場（MRF）方法であっても良い。奥行きの拡張は、全体の画像に渡って部分的な奥行き情報を含む過程を介して得られても良い。エネルギーマップUsmoothness及びUorderingは、奥行きマップDの全体に渡って最小化されるべきである。対象領域の中で0であり、対象の端で1であるような画像細分化から取り出される細分化マップとしてのSを用いると、奥行きユニットの個数N及び夫々の不連続の方向Vは、-1、0、1であり得る。最小化のために、所謂シミュレーテッド・アニーリング演算手順が用いられても良い。エネルギーマップは、以下の式
【００３７】
【数３】
2006513502.tif 000005
【００３８】
【数４】
2006513502.tif 000006
であっても良い。Usmoothnessの最小化は単独で、夫々の対象の中で奥行きマップDを滑らかにする。Uorderingの最小化は単独で、任意の奥行きサイズNを用いて、奥行きマップが不連続を有するようにする。Usmoothness及びUorderingの最小化は、滑らかさ及び順序付け制約の間の交換をもたらす。アスペクト（α及びβに依存）が一層強調されることによって、結果として得られる奥行きマップは、端から対象の中までの小さな空間的範囲のみを有する対象の端に沿いのみの不連続、又は数十の画素に渡っている奥行きの端を有する更に滑らかな結果を含む。
【００３９】
多くのエネルギーマップは、様々な最小化の結果を有するように、適用される。二乗値|X|2を用いることに加えて、すでに上述されたように、絶対値|X|、又は|X|-Xのような非対称なマップを用いることが可能である。定性的、及び定量的な奥行き値のどちらも利用可能である場合、Usmoothness、Ucopy及びUorderingの如何なる線形の組み合わせが最小化のために用いられても良い。このことによって、拡張された奥行きマップの特徴は影響を与えられる。不連続値S及びVが利用できない場合、それらはDalg及びΔDalgから以下の式
【００４０】
【数５】
2006513502.tif 000007
【００４１】
【数６】
2006513502.tif 000008
によって取り出され得る。ここで、Tは、奥行きの急変が不連続又はそれ以外として与えられるかを決める閾値である。
【００４２】
本発明の方法を二次元画像に適用することによって、対象の滑らかさ及び対象の不連続の両方に関して従うような場面の三次元認知を作ることが可能となる。
【図面の簡単な説明】
【００４３】
【図１】a及びbは、部分的な奥行き情報を得る方法を示す図である。
【図２】定性的な奥行きの処理を示す図である。
【図３】a、b及びcは、定量的な奥行きの処理を示す図である。
2006513502.tif 000009
【図２】
2006513502.tif 000010
2006513502.tif 000011
【国際調査報告】
2006513502.tif 000012
2006513502.tif 000013