(57)【要約】本発明は、２次元の静止画像や画像シーケンスまたは２次元のビデオの３次元レンダリングを実時間で生成する改良された方法及びシステムを提供するものであり、この生成は、２次元画像またはビデオ中の目標物体の位置を追跡し、画像情報源の各画素に対して３次元モデラを用いて３次元効果を生成することによって行う。
2008535116.tif 000002
【特許請求の範囲】
【請求項１】
２次元情報源を３次元にレンダリングする方法であって、前記２次元情報源がビデオまたは画像シーケンス中に少なくとも１つの移動物体を含み、前記移動物体はあらゆる種類の動きのある物体から成る方法において、
前記ビデオまたは画像シーケンスの最初の画像中の移動物体を検出するステップと；
検出した前記移動物体を３次元にレンダリングするステップと；
前記ビデオまたは画像シーケンスの前記最初の画像に後続する画像中で、前記移動物体を追跡するステップと；
追跡した前記移動物体を３次元にレンダリングするステップと
を具えていることを特徴とする３次元レンダリング方法。
【請求項２】
請求項１に記載の方法において、前記移動物体が人の頭および体から成る方法。
【請求項３】
請求項２に記載の方法において、前記移動物体が、頭および体によって定まる前景と、頭でも体でもない残りの領域により定まる背景とから成る方法。
【請求項４】
請求項３に記載の方法であって、さらに前記前景を分割するステップを具えている方法。
【請求項５】
請求項４に記載の方法において、前記前景を分割するステップが、頭の位置を検出した後に、前記頭の位置に標準テンプレートを適用することを含む方法。
【請求項６】
請求項５に記載の方法であって、前記検出するステップから前記追跡するステップまでの間に、前記前景を分割するステップを実行する前に、測定可能な頭の諸寸法に応じて前記標準テンプレートを調整することをさらに含む方法。
【請求項７】
請求項４に記載の方法において、前記前景を分割するステップが、頭の下にあり、頭と同様の動きの特徴を有し、かつコントラストを有する区切り線によって前記背景に対して体として区切られる領域に関して体の位置を推定することを含む方法。
【請求項８】
請求項１から７のいずれか一項に記載の方法であって、さらに、複数の移動物体を追跡するステップを具え、前記複数の移動物体の各々が、その大きさに対する奥行きの特徴を有する方法。
【請求項９】
請求項８に記載の方法において、前記複数の移動物体の各々についての前記奥行きの特徴は、３次元において、より大きい移動物体をより小さい移動物体より近くに見えるようにする特徴である方法。
【請求項１０】
２次元情報源を３次元にレンダリングするように構成された装置であって、前記２次元情報源がビデオまたは画像シーケンス中に少なくとも１つの移動物体を含み、前記移動物体はあらゆる種類の動きのある物体から成る装置において、
前記ビデオまたは画像シーケンスの最初の画像中の移動物体を検出するように構成された検出モジュールと；
前記ビデオまたは画像シーケンスの前記最初の画像に後続する画像中で、前記移動物体を追跡するように構成された追跡モジュールと；
検出した前記移動物体および追跡した前記移動物体を３次元にレンダリングするように構成された奥行きモデラと
を具えていることを特徴とする３次元レンダリング装置。
【請求項１１】
請求項１０に記載の装置において、前記移動物体が人の頭および体から成る装置。
【請求項１２】
請求項１０に記載の装置において、前記移動物体が、頭および体によって定まる前景と、その近傍の画像によって定まる背景とから成る方法。
【請求項１３】
請求項１０に記載の装置であって、さらに、標準テンプレートを用いて頭および体を抽出し、頭および体を前景として定め、画像の残りの部分を背景として定めるように構成された分割モジュールを具えている装置。
【請求項１４】
請求項１０に記載の装置において、前記分割モジュールが、前記検出モジュールによって検出した頭の諸寸法に基づいて、前記標準テンプレートの諸寸法を調整する装置。
【請求項１５】
請求項１０から１４のいずれか一項に記載の装置において、前記装置が携帯電話で構成される装置。
【請求項１６】
請求項１５に記載の携帯電話に関連し、一連の命令を記憶するコンピュータ読取可能メディアであって、前記一連の命令を前記装置のマイクロプロセッサによって実行した際に、前記マイクロプロセッサが、
ビデオまたは画像シーケンスの最初の画像中の移動物体を検出し；
検出した前記移動物体を３次元にレンダリングし；
前記移動物体を、前記ビデオまたは画像シーケンスの前記最初の画像に後続する画像中で追跡し； 
追跡した前記移動物体を３次元にレンダリングする
ことを特徴とするコンピュータ読取可能メディア。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般に、３次元画像の生成の分野に関するものであり、特に２次元情報源を３次元にレンダリングする方法および装置に関するものである。この２次元情報は、ビデオまたは画像シーケンス中に少なくとも１つの移動物体を含み、この移動物体はあらゆる種類の動きのある物体からなる。
【背景技術】
【０００２】
現実の３次元世界における物体形状を、１つ以上の２次元画像を利用し推定することは、コンピュータビジョンの分野における基本的な問題である。人は風景や物体の奥行きの知覚を認知し、その大部分は、人のそれぞれの目によって同時に得られる視覚を組み合わせて距離の知覚を形成することができるからである。しかし、いくつかの特定の状況では、照明、陰影付け、補間、パターンまたは相対寸法といった追加的な情報がある際に、人は１つ風景や物体の奥行きの知覚を持つことができる。このような理由で、例えば単眼カメラにより風景や物体の奥行きを推定することが可能である。
【０００３】
２次元の静止画像またはビデオシーケンスからの３次元画像またはモデルの再構成は、様々な分野において重要な効果を有し、識別、監視、場所のモデル化、娯楽、マルチメディア、医療画像、ビデオ通信への応用、および他の無数の有用な技術的応用を伴う。特に、平坦な２次元コンテンツからの奥行きの抽出は、進行中の研究分野であり、いくつかの技術が知られている。例えば、頭と体の動きに基づいて人の顔と体の奥行き地図を作成するように特別に設計された既知の技術が存在する。
【０００４】
【特許文献１】欧州特許公開第１３７９０６３Ａ１号
【０００５】
この問題に取り組むための一般的な方法は、異なる視点から同時に取得したいくつかの画像を解析、例えば、ステレオ画像対、あるいは異なる時刻における単一視点からの画像の差異の解析や、ビデオシーケンスの連続フレームの解析や、動き抽出や、閉塞部位の解析等である。また他の技術では、焦点ずれの尺度のような他の奥行きの手がかりを用いる。他のいくつかの技術では、信頼性の高い奥行き推定値を得るために、いくつかの奥行きの手がかりを組み合わせる。例えば、Ｋｏｎｙａに権利付与された欧州特許公開第１３７９０６３Ａ１号は、人の頭、首および肩の２次元静止画像を取得する単一のカメラと、この２次元静止画像に視差情報を与えて３次元画像を生成する３次元画像作成セクションと、この３次元画像を表示するディスプレイユニットとを具えた携帯電話を記載している。
【０００６】
しかし、従来技術を含む上述した例は、多くの要因により、満足でないことも多い。ステレオ画像対に基づくシステムは、追加的なカメラのコストを暗に意味し、画像を表示するのと同じ設定点で画像を撮影することになる。さらに、撮影を別の場所で行い、単一の視野しか利用できない場合には、この方法を用いることが出来ない。また、動き及び閉塞の解析に基づくシステムでは、動きが不十分な場合や全く動きがない際に、このシステムは不十分である。同様に、焦点のずれの解析に基づくシステムでは、顕著な焦点の差がない場合に機能せず、このことは、非常に短い焦点距離の光学器または低品質の光学器で写真を撮った場合であり、低コストの民生用装置において起こりやすい。そして、いくつかの手がかりを組み合わせるシステムは、実現するのが非常に複雑であり、低コストのプラットホームとはほとんど互換性がない。結果として、品質やロバスト性の不足およびコストの増加が、これらの従来技術が直面する問題を助長する。
【０００７】
従って、上述の問題を回避し、より低コストかつ簡易に実現可能である、改良した奥行き生成方法およびシステムを用いて、ビデオや、動画像シーケンスといった２次元オブジェクトから、３次元画像用の奥行きを生成することが望まれる。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
従って、本発明の目的は、２次元の静止画像や画像シーケンスまたは２次元のビデオ中の目標物体の位置を追跡し、原画像の各ピクセルに対して３次元モデラを用いて３次元効果を生じさせることによって、２次元の静止画像や画像シーケンスまたは２次元のビデオの実時間での３次元レンダリングを行う、改良した方法および装置を提供することにある。
【課題を解決するための手段】
【０００９】
この目的のために、本発明は、本明細書の導入部分に記載した方法において、さらに、
ビデオまたは画像シーケンスの最初の画像中の移動物体を検出するステップと、
この検出した移動物体を３次元レンダリングするステップと、
前記ビデオまたは画像シーケンスの前記最初の画像に後続する画像中で、前記移動物体を追跡するステップと、
この追跡した移動物体を３次元レンダリングするステップと
を具えていることを特徴とする。
【００１０】
また、以下の特徴を１つ以上含むこともできる。
本発明の１つの態様では、前記移動物体は人の頭と体を含む。さらに、前記移動物体は、頭と体によって定まる前景と、頭と体を除いた残りの部分によって定まる背景とから成る。
【００１１】
別の態様では、本発明の方法は、前景を分割することを含む。前景を分割することは、頭の位置を検出した後に、頭の位置に標準テンプレートを適用することを含む。さらに、分割のステップを実行する前に、前記検出および追跡のステップ中に、測定可能な頭の諸寸法に応じて前記標準テンプレートを調整することができる。
【００１２】
本発明のまた別の態様では、前景を分割することが、頭の下にあり、頭と同様の動きの特徴を有し、かつコントラストを有する区切り線によって背景に対して体として区切られる領域に関して体の位置を推定することを含む。
【００１３】
さらに、本発明の方法は、複数の移動物体を追跡し、この複数の移動物体の各々が、その大きさに対する奥行きの特徴を持つ。
【００１４】
別の態様では、前記複数の移動物体毎の奥行きの特徴は、より大きな移動物体が、より小さな移動物体より３次元中で近くに見えるようにレンダリングする。
【００１５】
また、本発明は、２次元情報源を３次元にレンダリングするように構成されている装置に関するものであり、この２次元情報源は、ビデオまたは画像シーケンスの中に少なくとも１つの移動物体を含み、この移動物体はあらゆる種類の動きのある物体から成る。この装置は、
ビデオまたは画像シーケンスの最初の画像中の移動物体を検出するように構成された検出モジュールと、
前記ビデオまたは画像シーケンスの前記最初の画像に後続する画像中で、前記移動物体を追跡するように構成された追跡モジュールと、
検出した移動物体および追跡した移動物体を３次元レンダリングするように構成された奥行きモデラとから成る。
【００１６】
本発明の方法および装置のその他の特徴は、従属請求項に記載する。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の実施例について図面を参照しながら説明する。
【００１８】
図１は、３次元画像を生成するための技術に大まかに関係し、２次元の情報源１１は、２次元物体用の奥行き生成の一般的な方法１２を適用され、この平坦な２次元情報源の３次元レンダリング１３が得られる。方法１２は、物体の２次元視を複数処理する技術や、モデルに基づくコーディングや、物体（例えば人の顔）の一般的なモデルを用いることのような、いくつかの３次元再構成の技術を含むことができる。
【００１９】
図２に、本発明による３次元レンダリングの方法を示す。画像や、ビデオ画像における静止画像または動画画像の組や、または画像シーケンスといった２次元情報源（２０２）の入力時に、本方法は、この画像が一番最初の画像から成るか否かを選択する（２０４）。この入力情報が最初の画像である場合、対象とする物体の画像を検出し（２０６）、物体の位置を定める（２０８）。ステップ２０４において、本方法により入力情報が最初の画像であることが示されない場合、対象とする物体の画像を追跡し（２１０）、物体の位置を定めることを続ける（２０８）。
【００２０】
その後、対象とする物体の画像を分割する（２１２）。画像の分割時に、背景（２１４）及び前景（２１６）を定め、この両者を３次元にレンダリングする（２１８）。
【００２１】
図３に、図２の方法を実行する装置３００を示す。この装置は、検出モジュール３０２と、追跡モジュール３０４と、分割モジュール３０６と、奥行きモデラ３０８とを具えている。この装置のシステム３００は、２次元のビデオまたは画像シーケンス３０１を処理して、３次元のビデオ又は画像シーケンス３１０へのレンダリングを行う。
【００２２】
以下、図２および３の両者を参照しながら、３次元レンダリングの方法および装置システム３００をさらに詳述する。ビデオ又は画像シーケンス３０１の最初の画像を処理する際に、検出モジュール３０２は移動物体の位置を検出する。移動物体を一旦検出すると、分割モジュール３０６が画像の領域を推定して３次元にレンダリングする。例えば、人の顔および体を３次元にレンダリングする目的で、標準テンプレートを用いて、対象画像の背景と前景とを本質的に形成する領域を推定する。この技術は、頭の位置に標準テンプレートを配置することによって、前景（例えば頭と体）の位置を推定する。標準テンプレートを使用する技術の他に様々な技術を用いて、３次元レンダリングをするための対象物体の位置を推定することができる。また、標準テンプレートの実現の精度を向上するためにも用いることのできる追加的な技術は、抽出した物体の大きさ（例えば頭／顔の大きさ）に応じて標準テンプレートの大きさを調整または拡大縮小することである。
【００２３】
他の方法は、動き検出を用いて、移動物体のすぐ回りを取り囲む領域を解析して、移動物体と一致する動きパターンを有する領域を検出することができる。換言すれば、人の頭／顔の場合には、検出した頭の下にある領域、つまり肩とトルソーの領域を含む体が、人の頭／顔と同様のパターンで動く。従って、動きのある領域のうち、移動物体と同様のパターンで移動している領域が、前景の一部となる候補である。
【００２４】
更に、特定の候補領域に対して、画像のコントラストについての境界のチェックを行うことができる。画像を処理するときに、最大コントラストのエッジを持つ候補領域を前景の領域として設定する。例えば、一般的な屋外の画像では、最大コントラストは必然的に、屋外の背景と人（前景）との間であり得る。従って、分割モジュール３０６が、物体の下にあってこの物体とほとんど同じ動きをする領域を形成し、物体の境界を最大コントラストのエッジに合わせて調整して物体にほぼ合わせる、こうした前景と背景との分割の方法は、ビデオ画像に対して特に有利である。
【００２５】
様々な画像処理アルゴリズムを利用して、物体または頭および肩の画像を、２つの物体すなわち人物（キャラクター）と背景とに分割することができる。結果として、追跡モジュール３０４は、物体または顔／頭の追跡の技術を実現し、これについては以下でさらに説明する。まず、検出モジュール３０２は、画像を前景と背景とに分割する。一度、図２のステップ２１２において、画像を適切に前景と背景とに分割すると、奥行きモデラ３０８が前景を処理して３次元にレンダリングする。
【００２６】
例えば、奥行きモデラ３０８の可能な実現は、背景と、対象とする物体（この場合人の頭と体）との深さモデルの構築から開始する。背景は一定の奥行きを有し得るのに対し、人物は、そのシルエットを、背景の前方または直前に配置した垂直軸の周りに回転することによって生成した円筒形の物体としてモデル化することができる。この奥行きモデルは一度構築し、奥行きモデラ３０８が使用するために保存する。従って、３次元画像用の奥行き生成の目的で、即ち、通常の平坦な２次元の画像または写真から奥行きの印象を伴って（３次元で）見ることのできる画像を生成する目的で、画像の画素毎の奥行き値を生成し、これにより奥行きマップを作成する。そして、原画像およびこれに関連する奥行きマップを、３次元画像化方法／装置によって処理する。このことは例えば、自動立体ＬＣＤスクリーン上に表示される一対のステレオ画像を生成する画像再構成方法とすることができる。
【００２７】
上記奥行きモデルは、分割した物体にできるだけ合うようにパラメータ化する。
例えば、画像の行毎に、先に生成した前景の横軸の端点ｘｌとｘｒを用いて、行を３つのセグメントに分割する。
左セグメント（ｘ＝０〜ｘｌ）は背景であり、奥行き値＝０に割り当てる。
中間セグメントは前景であり、[ｘ，ｚ]平面内で半分の楕円を生成する以下の式に従って奥行き値を割り当てる：
【数１】
2008535116.tif 000003
ここに、ｄｌは境界に割り当てられた奥行き値を表し、ｄｚはこのセグメントの中点において達した最大の奥行き値とｄｌとの差を表す。
右セグメント（ｘ＝ｘｒ〜ｘｍａｘ）は背景であり、奥行き値＝０に割り当てる。
【００２８】
従って、奥行きモデラ３０８は、画像を画素毎に走査する。画像の画素毎に、物体（背景または前景）の奥行きモデルを適用して、その奥行き値を生成する。この処理の終わりに、奥行きマップが得られる。
【００２９】
特にビデオフレームのレートで実時間処理を行うビデオ画像については、ビデオまたは画像シーケンス３０１の最初の画像を一度処理すると、後続の画像は追跡モジュール３０４によって処理する。物体すなわち頭／顔を検出した後に、ビデオまたは画像シーケンス３０１の最初の画像に追跡モジュール３０４を適用することもできる。一度、３次元レンダリングを行う物体を画像ｎ中に識別すると、次に望まれる結果は、画像ｎ＋１中の頭／顔を得ることである。換言すれば、次の２次元情報源が、最初の画像でない画像ｎ＋１中の物体すなわち頭／顔をもたらす。その後、画像ｎ＋１中の頭／顔として識別された画像領域内で、画像ｎと画像ｎ＋１との間で従来の動き推定処理を実行する。その結果は、動き推定から導出した大域的な頭／顔の動きであり、この動きは、例えば並進、拡大縮小および回転の組合せによる結果であり得る。
【００３０】
この動きを頭／顔ｎに適用することによって顔ｎ＋１を得る。目、口、及び顔境界の位置といったパターンマッチングによる、頭／顔ｎ＋１の追跡の改良を実行することができ得る。人の頭／顔用の追跡モジュール３０４によって提供される利点の一つは、各画像上での独立した顔検出に比べて時間整合性がより良好なことにあり、これは、独立した顔検出は、画像間で無相関の誤差による不可避な誤りのある頭の位置を与えるからである。こうして、追跡モジュール３０４は、移動物体の新たな位置を継続的に提供し、最初の画像に適用したのと同じ技術を用いて、画像を分割して前景を３次元レンダリングすることができる。
【００３１】
図４に、２次元の画像シーケンスのレンダリング４０２と、３次元の画像シーケンスのレンダリング４０４とを比較する代表的な図例４００を示す。２次元レンダリング４０２はフレーム４０２ａ〜４０２ｎを含み、３次元レンダリング４０４はフレーム４０４ａ〜４０４ｎを含む。２次元レンダリング４０２は、比較目的のみで図示した。
【００３２】
例えば、図例４００では、移動物体は１人の人である。この図例では、ビデオまたは画像シーケンス４０４ａの最初の画像（図３におけるビデオまたは画像シーケンス３０１の最初の画像）に対して、検出モジュール３０２は人の頭／顔のみを検出する。そして、分割モジュール３０６は、人の頭＋体／トルソーの組合せと等価なものとして前景を定める。
【００３３】
図２を参照して上述したように、体の位置は、頭の位置の検出後に、以下の３つの技術を用いて推定することが可能である。３つの技術とは、人の体の標準テンプレートを頭の下に適用する技術、まず、人の頭の大きさに応じて人の体の標準テンプレートを拡大縮小または調整する技術、あるいは、頭の下にあり、頭と同様の動きを有する領域を検出する技術である。分割モジュール３０６は、人の体のエッジと画像の背景との間の高コントラストを考慮することによっても、背景と前景の分割を改良する。
【００３４】
多くの追加的な実施例、即ち２つ以上の移動物体をサポートする実施例が可能である。
【００３５】
図５を参照すれば、図例５００は、２つ以上の移動物体が描かれている画像を示す。ここでは、２次元レンダリング５０２と３次元レンダリング５０４のそれぞれで、２人の人を描画し、２人の一方は他方より小さい。すなわち、人５０２ａと５０４ａは、人５０２ｂと５０４ｂよりも画像上のサイズが小さい。
【００３６】
この場合、装置システム３００の検出モジュール３０２と追跡モジュール３０４は、２つの異なる位置の位置測定を可能にし、分割モジュール３０６は、単一の背景に結び付いた２つの異なる前景を識別する。これにより、３次元レンダリング方法３００は、複数の物体、主に人の顔／体の奥行きのモデル化を可能にし、この物体は頭の大きさでパラメータ化され、その方法は、複数人に対してこの方法を用いる際に、大きい人が小さい人より近くに見えるようにする方法であり、写真の現実感を向上させる。
【００３７】
更に、本発明は、携帯電話のような電気通信機器、ＰＤＡ、ビデオ会議システム、３Ｇ携帯電話上のビデオ、セキュリティカメラといったいくつかの応用分野において組み込み及び実現することができるが、２次元の静止画像または静止画像シーケンスを提供するシステムにも適用することができる。
【００３８】
ハードウェアかソフトウェアまたはこれらの双方のアイテムによって、機能を実現する多くの方法が存在することを追記しておく。この関係では、図面は非常に概略的であり、本発明のいくつかの可能な実施例を示すにすぎない。従って、図面が異なる機能を異なるブロックとして示しているが、これは、ハードウェアまたはソフトウェアの単一アイテムが複数の機能を実行することを決して排除するものではない。また、ハードウェアかソフトウェアまたはこれらの双方のアイテムの組合せが単一の機能を実行することを排除するものではない。
【００３９】
以上で行った記述は、図面を参照した詳細な説明は本発明を例示するものであり限定するものではないことを示す。多くの代案が存在し、これらは特許請求の範囲に入る。「具えている」という語は、特許請求の範囲に挙げた以外の構成要素またはステップの存在を排除するものではない。
【図面の簡単な説明】
【００４０】
【図１】図１は、従来の３次元レンダリング処理を示す図である。
【図２】図２は、本発明による改良した方法のフローチャートである。
【図３】図３は、図２の方法を用いたシステムの概略ブロック図である。
【図４】図４は、本発明の実現の１つの概略図である。
【図５】図５は、他の実現の概略図である。
【図１】
2008535116.tif 000004
【図２】
2008535116.tif 000005
【図３】
2008535116.tif 000006
【図４】
2008535116.tif 000007
【図５】
2008535116.tif 000008
【国際調査報告】
2008535116.tif 000009
2008535116.tif 000010
2008535116.tif 000011
2008535116.tif 000012