(57)【要約】  本発明は、２次元イメージまたはビデオから、立体３次元イメージおよび／またはビデオを生成する方法、システム、装置、および、関連する処理論理回路を含む。本発明のいくつかの実施形態によれば、第１の２次元イメージおよび／またはビデオから、２次元補完イメージおよび／またはビデオを推定およびレンダリングするよう適合化された立体３次元生成システムを提供する。ここで、補完イメージまたはビデオは、第１のイメージまたはビデオ、あるいは、第２の補完イメージまたはビデオと結合され、第１のイメージまたはビデオにおいてキャプチャされたシーンの立体イメージを生成する。換言すると、本システムは、観察者が一方の目で第１のイメージまたは第２の補完イメージを観察し、もう一方の目で補完イメージを観察することで、イメージの中に奥行きがあると錯覚させるように、補完イメージまたはビデオを生成する。
2014504074.tif 000002
【特許請求の範囲】
【請求項１】
立体イメージを生成する方法であって、
シーンの２次元イメージを表す第１の２次元イメージデータセットを受け取る受け取りステップと、
前記第１の２次元イメージデータセット内の第１の非固定オブジェクトを識別する識別ステップと、
前記第１の非固定オブジェクトに３次元骨格モデルを関連付ける関連付けステップと、
前記骨格モデルの少なくとも一部に基づいて前記第１の非固定オブジェクトに関する奥行き情報を決定する決定ステップと、
前記シーンの第２の観察方向に対応したシフト量であって、前記シーン内のおける、前記第１の非固定オブジェクトの位置のシフト量を、前記第１の非固定オブジェクトに関する決定された前記奥行き情報に基づいて、計算する計算ステップと、
第２の観察方向から見た前記シーンを表す補完２次元イメージデータセットを生成する生成ステップと、を備え、
前記生成ステップは、計算されたシフトに基づいて、前記シーン内において、第１の非固定オブジェクトの位置をシフトするシフトステップを備える
ことを特徴とする立体イメージ生成方法。
【請求項２】
動画像列を構成する一連のイメージに対して、前記方法を実行する実行ステップを更に備える、
ことを特徴とする請求項１に記載の方法。
【請求項３】
前記補完２次元イメージデータセットと前記第１の２次元イメージデータセットを結合することにより、前記シーンの立体的なイメージを生成する生成ステップを更に備える、
ことを特徴とする請求項１に記載の方法。
【請求項４】
前記補完２次元イメージデータセットと、前記第１の２次元イメージデータセットから前記請求項１の方法の手順に従って生成した第２の補完２次元イメージデータセットとを結合することにより、前記シーンの立体イメージを生成する生成ステップを更に備える
ことを特徴とする請求項１に記載の方法。
【請求項５】
前記第１の３次元骨格モデルの少なくとも一部に基づいて、第２の観察方向から見た前記第１の非固定オブジェクトの外観を表すように、前記第１の非固定オブジェクトの外観を変更する変更ステップを更に備える
ことを特徴とする請求項１に記載の方法。
【請求項６】
前記第１の２次元イメージデータセット内の固定オブジェクトを識別する識別ステップと、
前記固定オブジェクトと前記第１の非固定オブジェクトとの間の空間的な関係に基づいて前記固定オブジェクトの奥行きを推定する推定ステップと、を更に備える
ことを特徴とする請求項１に記載の方法。
【請求項７】
前記固定オブジェクトの端に沿った１以上の画素のテクスチャを隣接画素に複製することにより、第２の観察方向に対応するように、前記第１のイメージデータセット内において、固定オブジェクトの外観を変更する変更ステップを更に備える
ことを特徴とする請求項１に記載の方法。
【請求項８】
前記方法がリアルタイムで実行される、
ことを特徴とする請求項１に記載の方法。
【請求項９】
立体イメージを生成するシステムであって、
シーンの２次元イメージを表す第１の２次元イメージデータセットを受け取る受け取りモジュールと、
前記第１の２次元イメージデータセット内の第１の非固定オブジェクトを識別するために、前記受け取りモジュールと機能的に関連付けられた個別オブジェクト識別モジュールと、
前記第１の非固定オブジェクトを３次元骨格モデルに関連付けるために、前記識別モジュールと機能的に関連付けられた参照モデル関連付け部と、
前記骨格モデルの少なくとも一部に基づいて前記第１の非固定オブジェクトに関する奥行き情報を決定する奥行き推定モジュールと、
第２の観察方向から見た前記シーンに対応したシフト量であって、前記シーン内のおける、前記第１の非固定オブジェクトの位置のシフト量を、前記第１の非固定オブジェクトに関する決定された前記奥行き情報に基づいて計算する水平シフト計算モジュールと、
第２の観察方向から見た前記シーンを表す補完２次元イメージデータセットを生成するレンダリングモジュールと、を備え、
前記生成する工程は、計算された前記シフト量に基づいて、前記シーン内において、第１の非固定オブジェクトの位置をシフトする工程を含む、ことを特徴とする立体イメージ生成システム。
【請求項１０】
前記第１の３次元骨格モデルの少なくとも一部に基づいて、第２の観察方向から見た前記第１の非固定オブジェクトの外観を表すように、前記第１の非固定オブジェクトの外観を変更する変更観察角度生成部を更に備える
ことを特徴とする請求項９に記載のシステム。
【請求項１１】
前記固定オブジェクトの端に沿った１以上の画素のテクスチャを隣接画素に複製することにより、前記第２の観察方向に対応するように、第１のイメージデータセット内において、固定オブジェクトの外観を変更するための変更観察角度生成部を更に備える
ことを特徴とする請求項９に記載の方法。
【請求項１２】
従来の２次元イメージデータセットから立体イメージを生成する方法であって、
前記２次元イメージデータセット内の１以上のオブジェクトを識別する識別ステップと、
少なくとも１つの識別されたオブジェクトに対して、前記識別されたオブジェクトの少なくとも１つの視認可能な特徴を表す少なくとも１つのパラメータを含む参照モデルを選択する選択ステップと、
前記イメージ内の識別されたオブジェクトの前記少なくとも１つの視認可能な特徴の外観を、選択された前記参照モデルのパラメータと比較することによって、  前記２次元イメージ内の識別されたオブジェクトの奥行きを推定する推定ステップと、
前記推定された奥行きに基づいて、生成されている立体イメージフレームの補完イメージフレームの各ペアにおける識別されたオブジェクトのインスタンス間の水平方向シフト量を計算する計算ステップと、を備える
ことを特徴とする方法。
【請求項１３】
前記選択ステップは、前記２次元イメージに関するメタデータを考慮する工程を含む
ことを特徴とする請求項１２に記載の方法。
【請求項１４】
少なくとも部分的に、既に実施された前記参照モデルの選択に基づいて、第２の識別されたオブジェクトに対する参照モデルを選択する選択ステップを更に備える
ことを特徴とする請求項１２に記載の方法。
【請求項１５】
前記参照モデルは３次元モデルである
ことを特徴とする請求項１２に記載の方法。
【請求項１６】
前記３次元モデルは前記モデルの要素間の空間的な制約を含んだ骨格モデルである
ことを特徴とする請求項１５に記載の方法。
【請求項１７】
前記奥行きの推定が、少なくとも部分的に、前記骨格モデルの制約に基づいている
ことを特徴とする請求項１６に記載の方法。
【請求項１８】
前記選択ステップは、前記２次元イメージに関する背景を考慮する工程を含む
ことを特徴とする請求項１２に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理に関し、特に、立体三次元イメージおよびビデオを生成する方法、システム、装置、および、関連する処理論理回路に関する。
【背景技術】
【０００２】
従来の三次元立体撮影は、典型的にはそれぞれのレンズの光学軸を平行にかつ一定の距離を離して配置された２台のカメラを用いる。これらの２台のカメラは一般的に一対のイメージを生成し、これらのイメージは、既知の立体表示技術または表現技術によって表示される。これらの技術は、右側のレンズによって撮影されたイメージを観察者の右目に、左側のレンズによって撮影されたイメージを左目に表示するという原理に基づいている。
【０００３】
例えば、テキサス・インスツルメンツ社に帰する、“Ｄｉｇｉｔａｌ  ｆｏｒｍａｔｔｅｒ  ｆｏｒ  ３−ｄｉｍｅｎｓｉｏｎａｌ  ｄｉｓｐｌａｙ  ａｐｐｌｉｃａｔｉｏｎｓ”という名称の米国特許第６，９０６，６８７号には、右目および左目用の加工映像データの保存および読込処理を行う４部分からなるメモリバッファを有する三次元デジタル投射表示装置が開示されている。この処理では映像データは４８ｆｐｓ（ｆｒａｍｅ／ｓｅｃ）で処理され、９６（最大１２０）ｆｐｓのフラッシュ率を提供するために２度（繰り返し）読み出される。ここで、前記フラッシュ率はフリッカー閾値を超える値である。このデータは、知覚３次元イメージを生成できるように右目と左目のフレームで正確に位相がずらされて、ヘッドセットやゴーグルと同期される。
【０００４】
立体動画は様々な異なった方法で生成することができる。アナグリフは１９４８年以前より使用されたにも関わらず、１９５０年代における“３次元映画の黄金期”の初期の間、米国における多くの長編映画作品では偏光システムが用いられた。偏光システムが備えられていない映画館のために、６０年代、７０年代の間にいくつかの古典映画がアナグリフに変換されたりもしたが、２１世紀に入っても偏光３次元システムは優位性を保持し続けており、３次元テレビにおいても見ることができる。８０年代中期後、いくつかの映画がアナグリフ３次元技術を用いて作られた。以下で、開発された、いくつかの主な３次元映画システムの詳細と原理を説明する。
【０００５】
アナグリフ
アナグリフイメージは大掛かりな３次元を表示する最も古い手法であり、コミック本や偏光技術が実用化される前の３次元テレビ放送のような大掛かりではない立体表示で用いられたことから、立体表示技術として大衆から広く認識されている。アナグリフイメージは、制作や展示の容易さからポピュラーとなった。最初のアナグリフ映画は１９１５年に製作された。初期の大掛かりな表示はこのシステムによって行われたが、５０年代から８０年代の多くの３次元映画では元々は偏光方式によって表示されていた。
【０００６】
アナグリフでは、１つは赤、もうひとつはシアンのフィルタを通すことで色が添加された２つのイメージが重ね合わせられている。除去される光の設定において、２つのイメージは白紙上に互いに補色関係にある色で印刷される。それぞれの目に対してカラーフィルタを備えたメガネによって、イメージ中のフィルタの色がキャンセルされえ、黒色に表示されることにより、適切なイメージに分離される。
【０００７】
アナグリフイメージは、最新のものでは明るさと正確な色も表現でき、特に赤色では彩度も表現できるにも関わらず、平行法または交差法による立体写真よりも容易に立体視を行うことができる。アナクロームとして知られる代替技術は、僅かに透過率が高いシアンフィルタをこの技術に関連し、特許化されたメガネに使用している。処理プロセスは、典型的なアナグリフイメージを、視差を抑えるように再処理する。
【０００８】
代替技術であるＣｏｌｏｒＣｏｄｅ３次元は、赤とシアンのフィルタを使用する特許化されたアナグリフシステムであり、このアナグリフシステムは赤色チャネルがしばしば欠落してしまうＮＴＳＣ映像方式においてアナグリフイメージを提供するために考案された。ＣｏｌｏｒＣｏｄｅではスクリーン上の色には補色の関係にある黄色と濃い青を用い、メガネのレンズの色にはアンバーと濃い青を用いる。
【０００９】
アナグリフ３次元システムは大掛かりな表示に用いられた最も古いシステムであり、特別な装置を要求しない。
【００１０】
アナグリフは印刷媒体や偏光が使われていないテレビでの３次元放映などにも用いられる。偏光を用いた３次元テレビや他の表示装置は２００８年にいくつかの製品においてのみ可能になった。これらの装置は、受信機側で偏光を生成できる。
【００１１】
偏光システム
初期のＩｍａｘ上映では点滅方式が使われていたり、６０年代と７０年代には特別上映のためにしばしば３次元の古典映画がアナグリフ方式に変換されたりしていたが、偏光３次元システムは１９５２年の映画“Ｂｗａｎａ  Ｄｅｖｉｌ”で使用されてから、映画上映の標準となった。偏光システムはアナグリフ方式に比べて、色再現性が高く、ゴーストが少ないという特徴がある。
【００１２】
立体動画を表示するために、２つのイメージがそれぞれ異なる偏光フィルタを通して、同一のスクリーン上に重ねて投射される。視聴者は低コストのグラスを装着し、このグラスは方向が異なる一対の偏光フィルタを有している（右回り／左回りの円偏光、または、９０度の角を成す、普通は４５度と１３５度の直線偏光）。それぞれのフィルタはフィルタと偏光方向が同じ光を透過させ、異なる光を遮断し、それぞれの目は異なるイメージを見る。これは、わずかに異なる視点から見た同じシーンの映像を両目に映すことで３次元的な効果を生み出すために用いられる。この方式では、顔を追従させる必要が無いため、複数の観客が同時に立体映像を見ることができる。加えて、一対のレンズはいずれも同じ色であるため、２つの色に分かれていた以前の方式には抵抗があった一方の目が悪い（弱視）の人でも、３次元効果を見ることができる。
【００１３】
ＲｅａｌＤの場合、１秒当たり１４４回偏光状態を切り替えられる液晶円偏光フィルタが投射レンズの前に置かれている。右目用と左目用のイメージが交互に表示されるため、プロジェクタは一つだけあればよい。ソニーが開発した２つの円偏光を同時に見せるＲｅａｌＤ  ＸＬＳと呼ばれる新しいシステムは、光を偏光させて投射する特別なレンズが装着された１つの４Ｋプロジェクタ（解像度４０９６×２１６０）が、２つの２Ｋ（解像度２０４８×８５８）のイメージを互いに重ねて同時に表示する。
【００１４】
トムソンテクニカラーは、伝統的な３５ｍｍプロジェクタにより、３５ｍｍ以上／以下のフィルムを用いて３次元イメージを投射するよう適合化された分割レンズを用いたシステムを開発した。このシステムで必要となるレンズと、スクリーンの金属（シルバー）スクリーンへの交換は、映像をデジタルに変換する方法に比べて費用対効果が非常に高い。このシステムでは、非金属スクリーンを用いることで偏光状態が解消されて光が反射されるのを防ぐために金属スクリーンが必要となる。
【００１５】
偏光立体写真は１９３６年頃に登場し、エドウィン・Ｈ・ランドが初めて動画に応用した。“３次元映画流行（３次元  ｍｏｖｉｅ  ｃｒａｚｅ）”と呼ばれた１９５２年から１９５５年には、ほとんどの映画館で直線偏光投射およびメガネを用いた上映が行われた。この間、アナグリフ方式を用いた３次元映画の上映は僅かであった。また、直線偏光は家庭向けのステレオプロジェクタにおいても使用された。偏光方式は８０年代の３次元映画の再流行時にも使用された。
【００１６】
２０００年代においては、コンピュータアニメーションや、ＤＶＤや他のメディアにおけるコンテンツ競争、デジタルプロジェクション、そして、洗練されたＩＭＡＸの７０ｍｍフィルムプロジェクタが、偏光３次元映画の新しいブームのきっかけを作った。
【００１７】
点滅方式
点滅方式では、片方の目に対応した映像がスクリーンに投射されている時に、もう片方の目への光を遮断している。プロジェクタは右と左のイメージを交互に投射し、メガネやビューワのシャッタがスクリーン上のイメージに同期して開閉される。これは、１９２２年に一時的に用いられたテレビューシステムに基づいている。
【００１８】
点滅方式のバリエーションとして、ＬＣＤシャッタメガネを用いる方法がある。メガネは液晶を有しており、この液晶は交互フレームシーケンスの原理を用いて、映画館やテレビ、コンピュータスクリーン上のイメージに同期して光を透過させる。これは、ｎＶｉｄｉａ、ＸｐａｎＤ  ３次元、初期のＩＭＡＸシステムにおいて用いられた方式である。この方式の欠点は、それぞれの視聴者が、表示機器と無線または有線で接続して同期をとるための電子機器を搭載した高価なメガネを装着する必要があることである。このシャッタメガネは、サングラスや一部の偏光メガネに比べて軽い軽量モデルもあるが、多くのモデルはほとんどの偏光メガネよりも重い。しかしながら、このシステムではイメージを投射するためにシルバースクリーンを用いる必要が無い。
【００１９】
干渉フィルタ技術
Ｄｏｌｂｙ  ３次元は、右目用に赤と緑、青の決まった波長を用い、左目用には異なる波長の赤と緑、青の波長を用いる。メガネは遮断する波長が厳密に決められており、これにより装着者に３次元イメージを見せている。この技術は映画館で最も広く用いられており、このシステムでは、ＲｅａｌＤなどの偏光システムで必要とされる高価なシルバースクリーンが不要となる。しかしながら、この方式では偏光システムで用いられるものよりも高価なメガネが必要となる。この方式はスペクトル選択フィルタリングや波長多重方式としても知られている。
【００２０】
最近登場したＰａｎａｖｉｓｉｏｎ  ３次元システムにおいてもこの技術が使用されている。ただし、スペクトルはより広く、波長選択性が細かく設定されている（Ｐａｎａｖｉｓｉｏｎシステムでは、片方の目にそれぞれ５つの波長が用いられる）。また、ＰａｎａｖｉｓｉｏｎではＤｏｌｂｙで用いられたものよりも安いメガネを用いる。
【００２１】
プルフリッヒ効果
プルフリッヒ効果は、暗いレンズを通して見たときなど、明りが少ない場合に人間の目の画像処理速度が遅くなる現象に基づいている。
【００２２】
位置Ｘから位置Ｙまで右側に移動するカメラを考えてみる。観察者が左目を暗いレンズを通してこのカメラの映像を観察した場合、右目がカメラが位置Ｙにある時に記録したイメージを見ている時、左目は数ミリ秒遅れた位置Ｘで記録したイメージを見ることになる。これにより、一つのカメラをシフトさせて静止イメージを生成する場合と同じように、左右の目で３次元を認知するための視差を発生させる。この効果の度合いは、カメラが撮影対象に対してどれくらい速く動くかに依存し、カメラが速く動くほど大きな視差が発生する。同様の効果は、静止したカメラと連続的に回転させたオブジェクト（撮影対象）を用いることによっても得ることができる。もし動きが止まったら、暗いレンズを通して見ている目（左右どちらの目かは、カメラが動く方向に依存する）が動きに追い付いて、この効果は消失する。このシステムの利点は、観察者はメガネをかけずに普通の写真を見て立体的に見ることができることである。
【００２３】
もちろん、オブジェクトの偶発的な動きは歪んだイメージを生み出し、この偶発的な動きは対象の実際の奥行きではなく見かけの奥行きに影響を与える。残念ながら、意図的にプルフリッヒ効果を生じさせたアプリケーションの多くでこの種の効果が生じており、この技術の評判は良くない。動きがカメラの横の動きの場合においてのみ、他の立体視の方法と同様の立体感を発生させるが、それ以外の不自然な状況においては、ほとんど立体感は得られない。
【００２４】
プルフリッヒ効果はしばしばテレビやコンピュータゲームで用いられるが、大規模な表示で用いられることはめったにない。
【００２５】
スペクトル分割
ＣｈｒｏｍａＤｅｐｔｈでは、メガネの中にホログラフィックフィルムを使用し、分散プリズムのような効果を発生させる。これは赤色のものは近くに、青色に近いものは遠くにあるように知覚させる。
【００２６】
レンチキュラーまたはバリアスクリーン
レンチキュラープリンティングと視差バリア技術では、細く、交互に配置された縞の中にあるシートに２つ（あついはそれ以上）の重なったイメージを用い、２つの縞状イメージのうちの１つを遮蔽する（視差バリア）、あるいは、同じ細さのレンズを配置することにより、全体で補完されたイメージを生成する（レンチキュラープリント）。立体効果を生み出すために、観察者は一方のイメージを一方の目で、もう片方のイメージをもう片方の目で見るように位置取りをしなければならない。この方法では、立体視を行うためにメガネは必要ない。
【００２７】
両方のイメージは高い輝度で、波型のスクリーンに投射され、大きな角度で反射される。立体イメージを見るために、観察者はスクリーン対して垂直に、とても狭い角度内に座らなければならず、観客席の大きさは制限される。レンチキュラーは、１９４０〜１９４８年にロシアにおいて多数のショートフィルムの上映に用いられ、１９５４年には長編映画の“Ｃｒｙｓｔａｌ”、“Ｍａｃｈｉｎｅ  ２２−１２”、“Ｔｈｅ  Ｐｅｎｃｉｌ  ｏｎ  Ｉｃｅ”にて使用された。
【００２８】
この方式は、大掛かりな上映には多少の制限が必要であるが、レンチキュラーはノベルティアイテムや３次元写真愛好家の間において広く用いられている。
【００２９】
これらの上記の方法は共通の欠点がある。それは、全て立体的な撮影が必要であることである。これは、特別な装置を用いた写真／映像のイメージにおいてのみ３次元的に見ることができることを意味する。このことから、従来の撮像装置（例えば、単一開口）を用いた従来のイメージ／撮影されたビデオ／映画から、立体イメージ／ビデオを生成することが望ましい。
【発明の概要】
【００３０】
本発明は２次元イメージまたはビデオから立体３次元イメージまたはビデオを生成するための方法、システム、装置、および、関連の処理論理回路を含む。本発明のいくつかの実施形態によれば、第１の２次元イメージおよび／またはビデオから２次元補完イメージを推定およびレンダリングするよう適合化された立体３次元イメージ生成システムを提供する。この補完イメージおよび/またはビデオが、第１のイメージまたはビデオ、或いは第２の補完イメージと結合することにより、第１のイメージ内にキャプチャされたシーンの立体イメージが生成される。立体３次元生成システムは、観察者が一方の目で第１のイメージまたは（第１の補完イメージとは異なる他方の方向にシフトした）第２の補完イメージを見て、もう一方の目で補完イメージ見た時に、イメージに奥行きがあると知覚または錯覚させる（例えば、立体３次元イメージ）ように、１以上の補完イメージを生成する。２つの補完イメージフレームは１つの立体フレームを構成する。
【００３１】
本発明の他の実施形態によれば、立体３次元生成システムは、更に、第１の一連の２次元イメージ（ビデオ）から一連の２次元補完イメージを推定およびレンダリングするよう適合化されている。この一連の補完イメージが第１の一連のイメージと結合することにより、第１の一連のイメージ内にキャプチャされたシーンの一連の立体イメージを生成する。３次元生成システムは、観察者が一方の目で第１の一連のイメージを見て、もう一方の目で一連の補完イメージ見た時に、イメージに奥行きがあると錯覚させるように、一連の補完イメージを生成する（例えば、立体３次元イメージ／ビデオ）。
【００３２】
本発明のいくつかの実施形態によれば、立体イメージ生成方法は、以下のステップを備える：（１）シーンの２次元イメージを表す第１の２次元イメージデータセットを受け取る受け取りステップ；（２）第１の２次元イメージデータセット内の第１の非固定オブジェクトを識別する識別ステップ；（３）第１の非固定オブジェクトの３次元骨格モデルを関連付ける関連付けステップ；（４）骨格モデルの少なくとも一部に基づいて第１の非固定オブジェクトに関する奥行き情報を決定する決定ステップ；（５）第１の非固定オブジェクトに関する決定された奥行き情報に基づいて、第２の観察位置（ｖｉｅｗｉｎｇ  ｐｏｓｉｔｉｏｎ）および観察方向（ｖｉｅｗｉｎｇ  ａｎｇｌｅ）に対応したシーン内のおける第１の非固定オブジェクトの位置のシフト量を計算する計算ステップ；（６）第２の観察位置および観察方向から見えるシーンを表す補完２次元イメージデータセットを生成する生成ステップ、ここで前記生成ステップは、シーン内における第１の非固定オブジェクトの位置を、計算されたシフト量に応じてシフトするシフトステップを備える；（７）少なくとも部分的に第１の３次元骨格モデルに基づいて、第２の観察方向から見る第１の非固定オブジェクトの外観を表すように、第１の非固定オブジェクトの外観を変更し、および／または、固定オブジェクトの端に沿った１以上の画素のテクスチャを隣接画素に複製することにより、第２の観察方向に対応するように第１のイメージデータセット内において固定オブジェクトの外観を変更する変更ステップ。
【００３３】
他の実施形態によれば、本システムは、第１の２次元イメージデータセットの中から固定オブジェクトを識別し、固定オブジェクトと第１の非固定オブジェクトとの空間的な位置関係に基づいて、固定オブジェクトの奥行きを見積もるよう適合化されている。シーンの立体イメージは補完２次元イメージデータセットを第１の２次元イメージデータセットと結合することで生成される。オプションとして、シーンの立体イメージを結合（一緒に表示）する時に、第１のイメージデータセットは２つの異なる補完２次元イメージデータセットを生成するために用いても良い。第１の補完２次元イメージデータセットと第２の補完イメージデータセットの両方が、上記の第１の２次元イメージデータセットに対する方法を用いて生成される。
【００３４】
また、本システムおよび方法は動画像列を構成する一連のイメージに適用しても良い。
【００３５】
また、この方法はリアルタイムで実行されても良い。
【００３６】
本発明の他の実施形態によれば、立体イメージを生成するシステムは以下の要素を備える：（１）シーンの２次元イメージを表す第１の２次元イメージデータセットを受け取る受け取りモジュール；（２）第１の２次元イメージデータセット内の第１の非固定オブジェクトを識別するために、受け取りモジュールと機能的に関連付けられた個別オブジェクト識別モジュール；（３）第１の非固定オブジェクトを３次元骨格モデルに関連付けるために、識別モジュールと機能的に関連付けられた参照モデル関連付け部；（４）関連付けられた骨格モデルの少なくとも一部に基づいて第１の非固定オブジェクトに関する奥行き情報を決定する奥行き推定モジュール；（５）決定された第１の非固定オブジェクトに関する奥行き情報に基づいて、シーン内のおける第１の非固定オブジェクトの第２の観察方向から見たシーンに対応した位置のシフト量を計算する水平シフト計算部；（６）少なくとも部分的に第１の３次元骨格モデルに基づいて、第２の観察方向から見た第１の非固定オブジェクトの外観を表すように、第１の非固定オブジェクトの外観を変更する、および／または、固定オブジェクトの端に沿った１以上の画素のテクスチャを隣接画素に複製することにより、第２の観察方向に対応するように第１のイメージデータセット内において固定オブジェクトの外観を変更する変更観察角度（ａｎｇｌｅ  ｏｆ  ｖｉｅｗ）生成部。また、第２の観察位置および観察方向から見えるシーンを表す補完２次元イメージデータセットを生成するためのレンダリングモジュールを備えても良い。ここで、前記補完２次元イメージデータを生成するステップは、計算されたシフト量に基づいて、シーン内において、第１の非固定オブジェクトの位置をシフトするステップを含む。
【００３７】
本発明の他の実施形態によれば、２つの２次元イメージデータセットから立体イメージを生成する方法は以下のステップを備える：（１）２次元イメージデータセットの中の１以上の個々のオブジェクトを識別する識別ステップ；（２）少なくとも１つの識別されたオブジェクトに対して、識別されたオブジェクトの少なくとも１つの視認可能な特徴を表す少なくとも１つのパラメータを含む参照モデル（２次元または３次元モデル）を選択する選択ステップ；（３）イメージ内の識別されたオブジェクトの少なくとも１つの視認可能な特徴の外観を、選択された参照モデルと比較することによって、２次元イメージ内の識別されたオブジェクトの奥行きを推定する推定ステップ；（４）推定された奥行きに基づいて、生成された立体イメージフレームのそれぞれの補完イメージフレームのペアにおける、識別されたオブジェクトのインスタンス間の水平方向シフト量を計算する計算ステップ。
【００３８】
他の実施形態によれば、参照モデルの選択ステップは、２次元イメージに関するメタデータの考慮または、少なくとも一部が、既に実行された参照モデルの選択に基づいて、第２の識別されたオブジェクトのための参照モデルを選択する行程を含む。
【００３９】
他の実施形態によれば、３次元モデルはモデルの要素間の空間的な制約を含んだ骨格モデルであり、少なくとも一部が、奥行きの推定は骨格モデルの制約に基づいている。
【００４０】
実施形態によれば、少なくとも一部の人体などの非固定オブジェクトの絶対的または相対的な奥行き情報を見積もるステップは、取得した２次元イメージデータセットにおける非固定の人体の非固定の構造物を識別するために構造識別を用いて実行される。骨格モデル挿入部は、３次元骨格モデルの要素を、取得した２次元イメージデータセット内において対応する、識別された構造物に関連づけるよう適合化されている。さらに、骨格モデル挿入部は、３次元骨格モデル上に制約を課すことにより、２次元イメージ内の人体の構造の少なくとも一部の奥行き情報を見積もるよう適合化されている。ここで、このモデルでは、骨格モデルの要素間の位置関係の制約と、取得した２次元イメージデータセット内の識別された非固定の人体の構造体間の空間的な位置関係が定義されている。このモデルは、モデルを２次元イメージデータセットに適合し、前記の非固定の胴体の構造物の少なくとも一つの３次元座標を見積もるために用いられる。  
【００４１】
２次元イメージデータから人体の奥行きまたは位置を見積もるステップは、取得したイメージに関連付けられた２次元イメージデータを受け取るステップを含む。ここで、取得したイメージは少なくとも人体の一部をキャプチャしたイメージである。２次元データ内の人体の解剖学的な構造は、計算により識別する。３次元骨格モデルの要素を２次元データ内の識別された構造物に適用する。ここで、骨格モデルは、２以上の人体の解剖学的な構造物間における空間的な制約を定義する。そして、適用した骨格モデルの要素の２次元投射と、受け取ったイメージデータ内の識別された解剖学的な構造物の位置との比較に基づいて、少なくとも一つの識別された構造物の位置情報を見積もる。ここで、位置情報は、取得したイメージがキャプチャされた時の構造物の物理的な位置に関連付けられている。
【図面の簡単な説明】
【００４２】
本発明とみなされる主題は、本明細書の結びの部分において具体的に規定され、明確に請求されている。しかしながら、本発明は、動作の機構および方法の両方に関して、その目的、特徴および利点と共に、添付の図面と以下の詳細な説明を参照して最も理解することができる。
【図１】図１は、本発明のいくつかの実施形態における、２次元イメージ／ビデオから立体的なイメージ／ビデオを生成するためのプロセスのフローチャート一例である。
【図２】図２は、本発明のいくつかの実施形態における、２次元イメージ／ビデオから立体イメージ／ビデオを生成するシステムのブロックダイアグラムの一例である。
【図３Ａ】図３Ａは、本発明のいくつかの実施形態における、異なる奥行きのオブジェクトの、イメージと補完イメージ間との間の水平シフトの一例を示す図である。
【図３Ｂ】図３Ｂは、本発明のいくつかの実施形態における、異なる奥行きのオブジェクトの、イメージと補完イメージ間との間の水平シフトの一例を示す図である。
【図４Ａ】図４Ａは、本発明のいくつかの実施形態における、異なる奥行きのオブジェクトの、イメージと補完イメージ間との間の水平シフトの一例を示す図であり、オブジェクトが視界の中心に配置されている時のシフトの効果を示している。
【図４Ｂ】図４Ｂは、本発明のいくつかの実施形態における、異なる奥行きのオブジェクトの、イメージと補完イメージ間との間の水平シフトの一例を示す図であり、オブジェクトが視界の中心に配置されている時のシフトの効果を示している。
【図５】図５は、本発明のいくつかの実施形態における、異なる奥行きにあるオブジェクト要素の、イメージと補完イメージ間との間の水平シフトの一例を示す図である。
【図６】図６は、本発明のいくつかの実施形態における、イメージと補完イメージに対応する観察角度の変更の一例を示す図である。
【図７】図７は、本発明のいくつかの実施形態における、イメージと補完イメージに対応する観察角度の変更の一例を示す図であり、オブジェクトに関連する事前に保存された３次元データを用いた例を示している。
【図８】図８は、本発明のいくつかの実施形態における、シーンの一例と、結果イメージ、生成された補完イメージを示す図である。
【図９Ａ】図９Ａは、本発明のいくつかの実施形態における、人の２次元イメージの一例である。
【図９Ｂ】図９Ｂは、本発明のいくつかの実施形態における、人の補完イメージを加えた人の２次元イメージの一例である。
【００４３】
図面を簡素かつ明瞭にするために、図中に示される部材にスケールを表示する必要はないことを理解されたい。例えば、図面を明瞭にするために、いくつかの部材の寸法は他の部材よりも誇張して描かれていてもよい。さらに、適切と判断される場合には、対応の又は類似の要素を示す図の間では、参照番号は繰り返し使用されてもよい。
【００４４】
添付の図面は、発明の詳細を明確にするために示された例示的なものであり、本発明の可能な組み合わせを全て含んでいるものではない。
【発明を実施するための形態】
【００４５】
以下の説明は、当該分野における技術を有する者が本発明を実施するために記載されているものであり、特定のアプリケーションおよびその要件に関するものである。開示された実施形態の様々な変形例があることは当該技術分野における当業者にとって明らかであり、ここで定義されている基本的な原理は、本発明の主旨を越えない範囲で他の実施形態とアプリケーションに適用できる。そのため、本発明はここで開示された実施形態に限定されるものではなく、ここで開示されている原理および特徴と整合する最も広い範囲に適用できる。
【００４６】
以下の詳細な説明では、本発明に対する理解を深めるために、詳細を具体的に多数示している。しかしながら、本発明はこれらの具体的な詳細が無くても当該技術分野における当業者によって実施されうることを理解されたい。一方、既知の方法、手順、構成要素および回路については、本発明の特徴を不明瞭にしないために詳細は記載していない。
【００４７】
特に述べられていない限り、以下の説明から明らかなように、本明細書を通じて、「処理する（ｐｒｏｃｅｓｓｉｎｇ）」「コンピュータで計算する（ｃｏｍｐｕｔｉｎｇ）」「計算する（ｃａｌｃｕｌａｔｉｎｇ）」「決定する（ｄｅｔｅｒｍｉｎｉｎｇ）」などの用語を用いた説明は、携帯電話やその他の携帯機器を含むコンピュータまたはコンピュータシステム、または、同様の電子コンピュータ装置の動作またはプロセスを参照し、かつ／または、コンピュータシステムのレジスタまたはメモリ内の物理的に、たとえば電子的な量として表されたデータを操作し、かつ／または、コンピュータシステムのメモリ、レジスタ、あるいは他の情報記憶装置、転送または表示機器内において同様に表された他のデータに変換することを意味する。
【００４８】
本発明の実施例は、本書に述べる動作を実行する装置を含むものである。この装置は、所望の目的に対して特別に構成されていてもよく、または、コンピュータまたは携帯電話またはその他のコンピュータ機器に保存されているコンピュータプログラムによって選択的に起動または再構築される汎用コンピュータを備えていてもよい。このようなコンピュータプログラムは、コンピュータにて読取可能な記憶媒体に記憶されていてもよい。当該記憶媒体は、例えば、フロッピィディスク、光学ディスク、ＣＤ−ＲＯＭ、光磁気ディスク、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、電子的にプログラム可能な読み取り専用メモリ（ＥＰＲＯＭ）、電子的に消去可能かつプログラム可能な読み取り専用メモリ（ＥＥＰＲＯＭ）、磁気あるいは光学カード、あるいは電子インストラクションの保存に適し、かつ、コンピュータシステムバスに接続可能ないかなるタイプの媒体でもよいが、これらに限定はされない。
【００４９】
本明細書で示す処理および表示は、特定のコンピュータまたはその他の装置とは本質的には関連していない。様々な汎用システムにおいて本明細書の教示に基づいたプログラムを用いることができ、また、所望の方法を実行するために、より特化された装置を構成する方が有用であるとこともありうる。これらのシステムに望ましい様々な構成は、以下の記載から明らかとなると考えられる。さらに、本発明の実施形態は、任意の特定のプログラム言語に関して記載はされていない。様々なプログラム言語を使用して本明細書に記載された本発明を実施できることを理解されたい。
【００５０】
現在知られている、あるいは今後考え出されるいずれのトポロジー、技術、コンピュータ通信の規格（例えば、メッシュネットワーク、インフィニバンドコネクション、ＲＤＭＡなど）においても、本発明は適用されうることを理解されたい。
【００５１】
本発明は、２次元イメージまたはビデオから３次元イメージまたはビデオを生成する方法およびシステム、デバイス、処理論理回路を含む。本発明のいくつかの実施形態によれば、立体３次元生成システムは、第１の２次元イメージまたはビデオから２次元補完イメージまたはビデオを推定および生成するよう適合化されている。ここで補完イメージまたはビデオは、第１のイメージまたはビデオ、または、第２の補完イメージまたはビデオと結合した時に、第１のイメージまたはビデオでキャプチャされたシーンの立体イメージを生成する。言い換えると、立体３次元生成システムは一つまたは複数の補完イメージを生成し、観察者が一方の目で第１のイメージまたは（第１の補完イメージから逆方向へシフトさせた）第２の補完イメージを観察し、もう一方の目で補完イメージを観察した時に、イメージの中に奥行きがあるように錯覚させる（例えば、立体３次元イメージ）。
【００５２】
本発明の他の実施形態によれば、立体３次元システムは複数の第１の一連の２次元イメージ（ビデオ）から一連の２次元補完イメージを推定およびレンダリングするように適合化されている。ここで、一連の補完イメージは、第１の一連のイメージを結合した時に、第１の一連のイメージでキャプチャされたシーンの一連の立体イメージを生成する。言い換えると、３次元生成システムは一連の補完イメージを生成し、観察者が一方の目で第１の一連のイメージを観察し、もう一方の目で一連の補完イメージを観察した時に、イメージの中に奥行きがあるように錯覚させる（例えば、立体３次元映画／ビデオ）。
【００５３】
本発明の実施形態によれば、（図１に示す）立体３次元イメージの生成プロセスは、以下のプロセスを含む。
【００５４】
ａ．立体３次元イメージに変換する第１の２次元データセットを受け取る受け取りステップ。
【００５５】
ｂ．２次元イメージデータセットの中から１以上の各オブジェクトを識別する識別ステップ。
【００５６】
ｃ．識別されたオブジェクトを特徴付ける特徴付けステップ。オブジェクトを特徴付ける特徴付けステップは、多重プロセスであっても良い。ここで、オブジェクトは、まず、固定または非固定のオブジェクトとして、または、静止した／動いているオブジェクトとして、または、人か／人でないかなどによって、補助的に特徴付けられ、さらに、識別したオブジェクトの視認可能な特徴に基づいて第１のサブグループ内で特徴付けられる。さらに、あるオブジェクトは、同じイメージ内の他のオブジェクトの特徴から影響を受け、または、アシストされて特徴付けられる（例えば、もし、すでに特徴付けられたテーブルが明らかになっていれば、イスとして特徴付けられる、あるいは、人の胴体として特徴付けられたオブジェクトの上の丸いオブジェクトは、胴体とは別に、頭として特徴付けられる、あるいは、信号機が特徴付けられているイメージ上のものは、車として特徴付けられる、など）。さらに別の実施形態では、特徴付けは参照モデルに基づいている。参照モデルは、関連するデータベースに記憶されている、または、モデルパラメ−タとオブジェクトの要素／特徴との関連性に基づいて外部から提供される。本プロセスは‘９５８出願において詳細に記載されている。本願は、‘９５８出願の一部継続出願であり、‘９５８出願に記されている全ての関連記載は、本プロセスにも関連する可能性があり、ここで本明細に組み込まれる。
【００５７】
ｄ．特徴付けられたオブジェクトまたはオブジェクト要素を可能な参照モデルへ関連付ける関連付けステップ。いくつかの実施形態によれば、参照モデルは２次元または３次元モデルである（‘９５８出願に記載の骨格モデルも含むが、それに限られない）。更に他の実施形態によれば、クラウドベースのオブジェクト認証の実現を目的としている（例えば、適切なデータネットワークを通してアクセスされる外部データベースやオブジェクト認証、モデリングリソースなど）。
【００５８】
ｅ．イメージデータセット内の識別されたオブジェクトの物理的特徴に基づいて、イメージデータセット内の識別されたオブジェクトへ関連する参照モデルを挿入する挿入ステップ。このプロセスは関連する参照モデルの歪曲化や変換、スケーリングを含んでいる。本プロセスは‘９５８出願において詳細に記載されている。本願は、‘９５８出願の一部継続出願であり、‘９５８出願に記されている全ての関連記載は、本プロセスにも関連する可能性があり、必要に応じて変形したものも含めて、ここで本明細に組み込まれる。
【００５９】
ｆ．第１のイメージをキャプチャした撮像装置、所望の視点、または、他のオブジェクトに関係して、識別されたオブジェクトとオブジェクト要素に関する奥行き情報の推定または見積りを行う見積もりステップ。第１のイメージをキャプチャした撮像装置からのイメージ内における各画素の一部どうしの距離が、逐次的にまたは同時並行で決定される。他の実施形態においては、参照モデルと関連付けられたオブジェクト（モデル化オブジェクト）に対するプロセスと、参照モデルに関連付けられないオブジェクト（非モデル化オブジェクト）に対するプロセスとは分けて実行される。
【００６０】
（ｉ）．モデル化オブジェクト‐いくつかの実施形態によれば、モデル化オブジェクトおよびオブジェクト要素に関する奥行き情報は、イメージデータセット内のオブジェクトの空間的な特徴とモデル化オブジェクトの既知のパラメータとの関係から推定される（例えば、もし、モデル化オブジェクトが５４年式のマスタングである場合、撮像装置とオブジェクト間の距離は、イメージ内のマスタングのタイヤの大きさと、既知の５４年式マスタングのタイヤの大きさとの比に基づいて決定される。同様に、具体的な事例がほとんど無い場合でも、多くの車のタイヤは同程度のサイズであることから距離が見積もられ、このような見積もりはどのような車に関しても可能である）。さらに別の実施形態では、‘９５８出願で詳細に記載されているように、非固定のオブジェクト（例えば、人）についても奥行き情報を見積もることができる。本願は、‘９５８出願の一部継続出願であり、‘９５８出願に記されている全ての関連記載は、本プロセスにも関連する可能性があり、ここで本明細に組み込まれる。更に、あるオブジェクトに関する奥行き情報は、当該オブジェクトと既に奥行き情報が決定された他のオブジェクト間の空間的な関係に基づいて見積もられる（例えば、イメージの中で人がイスに座っている場合、イスに関する奥行きデータは座っている人に関する奥行き情報と同じである）。さらに他の実施形態では、あるオブジェクトの奥行き情報は、一連のイメージ（例えば、ビデオ映像）のうち、前のイメージ内の同一オブジェクトに関する奥行き情報に基づいて決定される。さらに、あるオブジェクトの奥行き情報は、一連のイメージ内での空間的な位置に基づいて決定される（例えば、もし撮像装置がイメージ間で既知の距離だけ移動したと判断される場合、または、他のオブジェクトがイメージ内で既知の距離だけ移動した場合、単純な三角測量によって当該オブジェクトの奥行きを決定できる）。上記の方法の如何なる組み合わせ、および／または、上記の方法の繰り返しも使用できることも理解されたい。他の実施形態によれば、モデル化オブジェクトの異なる要素それぞれの奥行き情報は、イメージ内の（目的とする）要素の外観や、当該要素の同一オブジェクトの異なる要素の外観との関係や、当該要素のイメージ内の他のオブジェクトとの関係に基づいて推定されてもよい（例えば、図９Ａ、９Ｂの例では、人間の手は胴体よりも撮像装置の近くにあると判断され得るし、図５の例では、あるテーブルの脚は他の脚よりも撮像装置の近くにあると判断され得るし、立方体のある側面は他の側面よりも撮像装置の近くに存在し得る）。
【００６１】
（ｉｉ）．非モデル化オブジェクト‐非モデル化オブジェクトの距離を決定する本発明の他の実施形態は、上記の方法に加えて、モデル化オブジェクトの空間的な位置関係、それらの位置、または、一連のイメージを通した位置の変化に基づいて、これらのオブジェクトの距離を見積もる見積もりステップを含んでいる（例えば、多重イメージをキャプチャしている間にカメラの配置または位置が変わる場合は、静止オブジェクトの奥行きの計算は容易に実行できる。それと同様に、奥行き情報を持ち得る非静止オブジェクトが一連のイメージを通して動いた場合、静止オブジェクトとオブジェクト情報を持ち得るオブジェクトとの空間的な位置関係の変化に基づいて、静止オブジェクトの奥行きを見積もることができる）。
【００６２】
ｇ．決定された撮像装置からの距離／オブジェクトの所望の視点／オブジェクト要素／第１のイメージの画素／エピポーラ幾何学に基づいて、それぞれのオブジェクト／オブジェクト要素／画素の右側※への水平シフト量を計算する計算ステップ。言い換えると、水平移動はオブジェクト／オブジェクト要素／画素のそれぞれについて計算され、この移動は第２の視点を得るために必要である。ここで、第２の視点は、元イメージが右目で見たイメージである場合、左目から見たイメージに対応する。すなわち、オブジェクトの水平シフトは、イメージをキャプチャしている時に撮像装置が右目の位置から左目の位置に移動した場合（オリジナルイメージと結合する補完イメージを生成する場合）に生じるイメージ内でのオブジェクトの視認可能な水平シフトに対応し、基礎的な幾何学に基づいて明らかに、このシフトはオブジェクトの撮像装置からの距離に依存する（遠くのオブジェクトほどシフト量は小さくなる。逆もしかり）。あるいは、左目用と右目用の２つの補完イメージを結合する場合、１つは中心から左目側へ、２つ目は中心から右目側へシフトする。
【００６３】
図３Ａと３Ｂは、上述の水平シフトを図示したものである。これらの図は、左目と右目の視野（ｆｉｅｌｄ−ｏｆ−ｖｉｅｗ：ＦＯＶ）内にある３つの異なる奥行きにあるオブジェクト１００（Ａ、Ｂ、Ｃ）についての２つの例を示している。この３つのケースは、観察面１０１からの距離が異なる３つのオブジェクト１００を表している。両方の例において、両目の視野内における位置が互いに近くにあるオブジェクト（例えば、それぞれの目の間で水平シフトが小さいオブジェクト）は、観測面１０１から離れたオブジェクトとして見える。逆に、両目の視野内における位置が互いに離れている位置にあるオブジェクトは、観測面１０１に近いオブジェクトとして見える。もし、左目と右目の視野の間で同じ位置にあるオブジェクトがあれば、そのオブジェクトは無限遠にあるように見える。右目の視野内で左寄りにあるオブジェクトは、左目の視野内にあるオブジェクトと比較してより観測面に近くにあるように見える。
【００６４】
また、図３Ａと３Ｂから、カメラからより遠いオブジェクトの外観は視野内で小さく見え、カメラに近いオブジェクトの外観は視野内で大きく見えることが分かる。例えば、図３Ａでは、位置Ａのオブジェクト１００は、位置Ａよりもカメラ１０２に近い位置Ｃにある同じオブジェクトよりも、両目の視野内で小さく現れる。位置Ａにあるオブジェクトのイメージは、左目と右目の視野内において中心に近い位置にあり、これによりオブジェクトは遠くに見える。位置Ｃにあるオブジェクトは左目の視野内の右端、および、右目の視野内の左端にあり、これによりオブジェクトは観測者に近くにあるように見える。
【００６５】
図４Ａと４Ｂは、水平シフト量が、撮像装置の前（例えば、両目の間の領域内）に直接置かれたオブジェクトに依存していることについて説明するものである。図４Ｂに示しているように、このようなオブジェクトは、水平シフトが生じた結果、補完イメージ内で逆方向（鏡面）に表われる。
【００６６】
異なる奥行きに配置されたオブジェクト要素に関する水平シフトの追加の計算例が図５に示されている。この例では、カメラによってキャプチャされ、左目に表示されたオブジェクト１２０の２次元イメージがある。オブジェクト１２０のオブジェクト要素ａ、ｂ、ｃ、ｄ、ｅ、ｆが識別されており、オブジェクト要素ｃ、ｄ、ｅ、ｆはカメラに近く、オブジェクト要素ａ、ｂはカメラから離れていると判断されるように、これらの奥行きが見積もられている。その結果、それぞれのオブジェクト要素の左側へのシフト量が計算される‐オブジェクト要素ａ、ｂのカメラから離れる方向へのシフト量は２と計算される（オブジェクト要素ａに対してはｘ＝１１からｘ＝９、オブジェクト要素ｂに対してはｘ＝２３からｘ＝２１へのシフト量が計算される）。また、カメラに近いオブジェクト要素ｃ、ｄ、ｅ、ｆのシフトは４と計算される（オブジェクト要素ｄとｆはｘ＝２６からｘ＝２２へシフトし、オブジェクト要素ｃとｅはｘ＝１０からｘ＝６へシフトする）。その結果、右目に表示されるシフトされたイメージ１２１がレンダリングされる。
【００６７】
ｈ．それぞれのオブジェクト／オブジェクト要素に適用される変更観察角度（ａｎｇｌｅ  ｏｆ  ｖｉｅｗ：ＡＯＶ）を計算する計算ステップ。この変更は第１の２次元イメージ内におけるオブジェクト／オブジェクト要素の位置と、それぞれのオブジェクトまたはオブジェクト要素間の間隔に基づいており、この間隔は（１）第１のイメージをキャプチャした撮像装置、（２）所望の（仮想的な）視点、または、（３）お互いの関連性、から決定される。言い換えると、イメージをキャプチャした時（元のイメージに結合させる補完イメージを生成する場合）に、撮像装置が右目の位置から左目の位置（仮想的な観測点）へ移動した場合、所望の視点からのそれぞれのオブジェクトの奥行きに基づいて、観測されるオブジェクトの観察角度の変更が計算される。一方、左目用のイメージと右目用のイメージの２つの補完イメージが結合される場合、１つは中心から左目の方へ、２つ目は中心から右目の方へシフトする。基礎的な幾何学から明らかに、この変更は撮像装置からの距離（遠くのオブジェクトの変更は小さくなる。逆もしかり。）と、視野内の位置に依存している。図５、６に典型的なオブジェクトの変更観察角度を示している。
【００６８】
ｉ．それぞれのオブジェクトに対する変更観察角度を生成する生成ステップ。いくつか実施形態によると、３次元参照モデルと関連付けられたモデル化オブジェクトに対応する変更した観察角度（仮想的な視点）は、各オブジェクト／オブジェクト要素の適用された３次元モデルおよび所望の要求角度（例えば、仮想的な視点）から見たモデルの最適な２次元投射（オブジェクト／オブジェクト要素の見ため）に基づいて生成される。本プロセスは‘９５８出願において詳細に記載されている。本願は、‘９５８出願の一部継続出願であり、‘９５８出願に記されている全ての関連記載は、本プロセスにも関連する可能性があり、ここで本明細に組み込まれる。本発明のいくつかの実施形態によれば、オブジェクトに関連する３次元データは、メモリに記憶された複数の時空間フレーム内において、複数の角度からキャプチャされたオブジェクトから構成されている。
【００６９】
３次元データは、第１の２次元イメージではカメラには映っておらず、２次元補完イメージの中で表示されるべきオブジェクト要素を補完するために使用される。言い換えると、第２のイメージにおいて表示されていないオブジェクトの一部に関連する１つのイメージのデータは、必要に応じて第２のイメージの変更観察角度を構成するために用いられる＊＊。
【００７０】
図６と７は、観察角度の変更の例を示しており、これらの生成は本発明のいくつかの実施形態に基づいている。図６ａは、異なった角度からキャプチャされ、メモリに記録された立方体オブジェクトのモデルを示している。図６ｂは、キャプチャされた立方体オブジェクトを示している。本システムは、キャプチャされたイメージを左目の視野内に表示する。図６ｃは、右目の視野に適するように変更された観察角度を示している。
【００７１】
図７は、システムメモリに記憶されたオブジェクトイメージから生成した２次元補完イメージの例を示している。
【００７２】
図７ａは、メモリに記憶されたオブジェクトの３次元データセットの例を示している。オブジェクトまたはカメラが互いに相対的に動くことで、複数の角度からオブジェクトのイメージをキャプチャした多重時空間ビデオを構成する間に、本システムによってオブジェクトの３次元データが収集される。図７ｂは、カメラによって撮影された図７ａに示すオブジェクトのイメージを表しており、このイメージは左目の視野内に表示される。３次元データはシステムメモリに記憶されているため、オブジェクトの２次元イメージは任意の観察角度でレンダリングされる。図７ｃは、図７ｂのイメージの角度を相対的にシフトさせてレンダリングした図７ａのオブジェクトを示している。この表示イメージは、オブジェクトの立体３次元イメージを生成するために右目の視野に表示される。
【００７３】
その他の実施形態によれば、オブジェクトの変更観察角度を生成することは、オブジェクトの異なる観察角度を生成するために、オブジェクトのエッジの画素／テクスチャをコピーまたは引き延ばすことを含んでいる。例えば、変更観察角度において視認可能なオブジェクトの一部に関連したデータが利用できない場合、このデータはオブジェクトの最も近い視認可能なエッジのテクスチャに置きかえられる。言い換えると、３次元データが利用できないオブジェクトに対する変更観察角度を生成することは、変更観察角度の形の基礎的な幾何学計算を含む変更観察角度の見積もりに基づいており、ここで、テクスチャは、表示されている部分から“新たに表示される”部分へコピーされる。
【００７４】
ｊ．第１の２次元イメージにおいてキャプチャされたシーンを表す補完２次元イメージデータを生成する生成ステップ。ここでは、（１）各オブジェクト／オブジェクト要素／画素に対して計算されたシフト量に基づいて、第１の２次元イメージ内の各オブジェクト／オブジェクト要素／画素の位置が右側にシフトされる※、そして、（２）生成されたそれぞれのオブジェクトまたはオブジェクト要素の変更されたイメージが表示される。
【００７５】
図８は、本発明のいくつかの実施形態に関連した補完２次元イメージデータの例を示している。図８ａは、異なる奥行きに配置されたオブジェクト１１１、１１２、および１１３を含むシーンの例を示している。１０２Ａ、Ｂ、およびＣは、３つの異なる観察方向（ｖｉｅｗｉｎｇ  ａｎｇｌｅ）を表しており、１０２Ｂは元のイメージをキャプチャした位置、１０２Ａと１０２Ｃは（それぞれ）左目側と右目側にシフトさせた観察方向を表している。図８Ｂは生成された補完イメージを示しており、ここでＢは元々のキャプチャイメージ、Ａは左目用の補完イメージ、Ｃは右目用の補完イメージを示している。見ての通り、オブジェクト１１１と１１２、１１３の外観は相対的な奥行きに基づいて水平方向にシフトし、それによって、それぞれの観察角度は変化している（シフトと観察角度の変更は説明するために誇張して示している。）。
【００７６】
ｋ．生成した補完２次元イメージデータをレンダリングするレンダリングステップ。
【００７７】
ｌ．第１の２次元イメージ内でキャプチャされたシーンの立体３次元イメージを生成するため、レンダリングされた補完２次元イメージを、第１の２次元イメージまたは第２の補完イメージへ結合する結合ステップ。
【００７８】
ｍ．レンダリングされた立体３次元イメージを保存する保存ステップ。
【００７９】
図９Ａと９Ｂは、本願発明の他の実施形態における、元の２次元イメージから３次元立体イメージを生成する他の例を示している。この例（図９Ａ）では、カメラの方へ右腕（１０５）を伸ばしている人の２次元イメージが示されている。この例において、イメージ内の左腕（１０６）の長さは、人体の物理的な寸法に対する解剖学的な比率内にあり、左腕が胴体の横に置かれ、胴体と同じ平面上にあることを示している。この平面上にある左腕と胴体とはカメラまでの距離が同じである。右腕（１０５）のイメージは左腕（１０６）のイメージよりも短く、これは右腕がカメラの方を指しているまたはカメラから遠ざかった位置にあることを示している。しかしながら、右手の掌と指は左手の掌と指よりも大きく、人体の物理的な比率からすると不釣り合いに大きい。これは腕がカメラの方を指していることを示している。相対的な掌と指の大きさと腕の長さは、カメラから胴体までの距離に対する、右の掌まで相対的な距離を示している。
【００８０】
本発明のいくつかの実施形態によれば、第２のイメージは、体の他のパーツのカメラからの相対的な距離に応じてシフト量が異なることを用いて推定される。カメラに近い体のパーツのシフト量はより大きく、カメラから離れている体のパーツのシフト量はより小さくなる。
【００８１】
図９Ｂは、図９Ａに示す体の元イメージの例を示しており、カメラでキャプチャされたイメージは‘ａ’、生成された補完イメージは‘ｂ’とマークされている。図から分かるように、カメラからの距離がほぼ同じである体のパーツは左側へ同じ量だけシフトしている（“小さい水平シフト”とマークされている）。右手（１０５）の掌（１０７）は胴体よりも多くシフトしている（“大きい水平シフト”とマークされている）。腕の左側へのシフト量は、胴体の横の肩の近くの同じシフト量（“小さい水平シフト”とマークされている）から、掌の近くの最も大きいシフト量（“大きい水平シフト”とマークされている）まで徐々に大きくなっている。人の３次元立体映像を生成するために、キャプチャされたイメージ（添え字‘ａ’）は左目に表示され、シフトしたイメージ（添え字‘ｂ’）は右目に表示される。
【００８２】
本発明の他の実施形態によれば、３次元ビデオ／フィルムを生成するために、一連のイメージ（例えばビデオ）に対して上述の処理を順次実行してもよい。また、本発明のさらに他の実施形態によれば、上述の一連のイメージに対して上述の処理を実施する時、一連の中の任意のイメージ関して、蓄積され、計算が実行されたデータは、一連のイメージに対して実行される処理に用いてもよい（例えば、静止イメージが解析される時、または、軌跡と速度が見積もられる時に、１つのイメージから収集された任意のオブジェクトの一部分に関するテクスチャデータは、当該特定部分が視界から隠れているような第２のイメージにおいて当該オブジェクトの変更観察角度を生成するために用いられてもよい。また、１つのイメージから得た奥行き情報は第２のイメージのために用いられてもよい。この詳細は全て‘９５８出願に記載されている。）。更に、いくつかの計算は合成された一連のイメージ上で実行される（例えば、一連のイメージ上でのオブジェクトの動きは、イメージに関するデータの確認に用いられる）。
【００８３】
※本明細を通して、観測者の左目に表示するイメージを得るために、オブジェクトまたはオブジェクト要素、画素を右へシフトすることについて記載している。ここで、右へシフトすることについての記載は任意に選択されうるものであり、代わりに観測者の右目に表示するイメージを得るために左へシフトさせるように実行され得ることは明らかであることを理解されたい。その結果、右へのシフトに関するいかなる記載も、本説明を適宜変更して左へシフトすることも含んでいるとみなされたい。さらに、本開示内容を通した記載は、立体視を生成するために、一方の目に表示する補完イメージを生成しつつ、もう一方の目に元イメージを表示するものである。元イメージから互いに反対方向にシフトさせた２つの補完イメージ（一つは右目用、もう一つは左目用）についても同様に、立体イメージを生成するために用いられると理解されるべきであり、ここでの開示内容を必要に応じて変形したものも含むと理解されたい。
【００８４】
※※本明細を通して、本出願人による米国出願番号Ｎｏ．１１／７４２，９５８、名称“ＳＹＳＴＥＭ  ＡＮＤ  ＭＥＴＨＯＤ  ＦＯＲ  ３Ｄ  ＳＰＡＣＥ−ＤＩＭＥＮＳＩＯＮ  ＢＡＳＥＤ  ＩＭＡＧＥ  ＰＲＯＣＥＳＳＩＮＧ”を参照しており、これは、ここで全て本明細に組み込まれる。本発明に記載されているオブジェクトの骨格３次元モデルについての説明、および、このようなモデルのオブジェクトへ関連付け、オブジェクトへのモデルの適用、これらのモデルに基づいた計算および見積もりは、‘９５８出願の記載を参照して理解されたい。
【００８５】
本発明のいくつかの実施形態によれば、２次元イメージまたはビデオから立体３次元イメージまたはビデオを生成するための（図２に示される）立体３次元生成システムは、以下と機能的に関連付けられている、または、以下の機能から構成される。
【００８６】
ａ．‘９５８出願に記載されているデータの３次元表示を行う装置。
【００８７】
ｂ．１以上の一連の２次元イメージデータセットを受け取る受け取りモジュール。この受け取りモジュールは、受け取ったイメージを記憶するための記憶手段またはバッファを含んでいる。
【００８８】
ｃ．以下のデータを受け取る３次元表示装置インターフェースモジュール：（１）受け取ったイメージ内に表われている１以上のオブジェクトに関する奥行き情報、または、（２）受け取ったイメージ内の１以上のオブジェクトに関連する、３次元モデル、または、関連するデータベースに登録されたモデルとの関連性。
【００８９】
ｄ．１以上の個々のオブジェクト識別モジュール※※。これは、受け取ったイメージ内の個々のオブジェクト（例えば、テーブル）またはオブジェクト要素（例えば、テーブルの脚）を識別するよう適合化されている。
【００９０】
ｅ．上記の段落００５６のステップｃに記載されているプロセスを実行するための処理論理回路を備えるオブジェクトキャラクタライザ※※。オブジェクトキャラクタライザは、その機能を補助する外部サービスと通信する分散型データネットワークと機能的に関連している。
【００９１】
ｆ．上記の段落００５７のステップｄに記載されているような、識別されたオブジェクトを最適な参照モデルに関連付けるための処理論理回路を備える、参照モデル相関部※※。参照モデル相関部は、この目的のために選択されたモデルを記憶している最適なデータストレージと機能的に関連しており、更に、その機能を補助する外部サービスと通信する分散型データネットワークと機能的に関連している。あるいは、関連するデータネットワークを検索し、最適な参照モデルを読み出して関連付けるよう適合化されたクラウドベースのオブジェクト認識モジュールと関連している。
【００９２】
ｇ．参照モデルを、受け取ったイメージデータ内の識別されたオブジェクトの外観の特徴に適用する（変形、変換、拡大縮小を含む）よう適合化された処理論理回路を備えるモデル挿入ユニット。このコンポーネントについては‘９５８出願内に記載されている（骨格挿入ユニット）。本願は、‘９５８出願の一部継続出願であり、‘９５８出願に記されている全ての関連記載は、本プロセスにも関連する可能性があり、必要に応じて変形したものも含めて、ここで本明細に組み込まれる。
【００９３】
ｈ．（上記の段落００５９のステップｆに記載されているような）第１のイメージをキャプチャした撮像装置、または、互いの関係、または、所望の視点から、各オブジェクトおよびオブジェクト要素の距離を決定する処理論理回路を備えるオジェクト奥行き推定／見積もりモジュール※※。あるいは、または、同時に、オジェクト奥行き推定／見積もりモジュールは、第１のイメージをキャプチャした撮像装置から、イメージ内のそれぞれの画素または画素の一部までの距離を推定するまたは見積もる処理論理回路を備える。他の実施形態によれば、上記の段落００６０および段落００６１のステップｆ（ｉ）とｆ（ｉｉ）に記載されているように、モデル化オブジェクトと非モデル化オブジェクトの奥行きを決定するための、オブジェクト奥行き推定／見積もりモジュールまたは処理論理回路は、別々に提供されている。
【００９４】
ｉ．以下の要素から構成される補完イメージデータ計算部：（１）イメージ内のオブジェクト／オブジェクト要素／画素の決定された距離に基づいて、イメージの各オブジェクト／オブジェクト要素／画素に対する右へのシフト量※を計算するための処理論理回路を備える水平シフト計算部。このシフトは、左目からの視界に対応する第２視点を得るために、各オブジェクト／オブジェクト要素／画素に対して適用される（上記の段落００６２ないし段落００６６のステップｇに全て記載されている）；（２）イメージ内の識別された各オブジェクト／オブジェクト要素に適用する観察角度の変更を計算するための変更観察角度計算部。この計算は、イメージ内のオブジェクト／オブジェクト要素の位置およびイメージをキャプチャする撮像装置からそれぞれのオブジェクトとオブジェクト要素までの決定された距離、またはお互いの関係性、または所望の視点に基づいて行われる（上記の段落００６７のステップｈに全て記載されている）。
【００９５】
ｊ．オブジェクト／オブジェクト要素の変更イメージ（ｍｏｄｉｆｉｅｄ  ｖｉｅｗ）を生成する変更観察角度生成部※※。ここで、変更イメージは補完イメージデータ計算部によって実行される計算に基づいて変更される。変更観察角度生成部は以下の要素を備える：（１）オブジェクトの３次元モデル、および、これらのモデルの異なる２次元投射に基づいてオブジェクトの変更した観察角度を生成するための観察角度生成プロセス。ここで、このプロセスは‘９５８出願において詳細に述べられており、そこに記載されている本プロセスに関連する内容は、ここで本明細に組み込まれる。さらに、‘９５８出願における非固定オブジェクトの観察角度の変更に関する記載は、本発明の３次元モデルに関わる任意のオブジェクトにも関連し、同様の原理に基づいて、必要に応じて変更させながら、任意のオブジェクトの変更観察角度が生成される；（２）（段落００６８のステップｉに記載されているような）あるオブジェクトの異なる観察角度によるイリュージョンを生成するために当該オブジェクトの端部の画素またはテクスチャをコピーまたは引き延ばすことによって、非モデル化オブジェクト、および／または、必要データを含まないモデルと相関のあるオブジェクトの変更観察角度を生成する処理論理回路。
【００９６】
ｋ．任意の２次元イメージ内でキャプチャされたシーンを表す、補完２次元イメージデータセットを生成するための処理論理回路を備える、補完イメージデータ生成部。ここでは、（１）補完イメージデータ計算部で計算されたオブジェクト／オブジェクト要素／画素のシフト量に基づいて、各オブジェクト／オブジェクト要素／画素が、当該２次元イメージ内での位置から右側へシフトされる。そして、（２）補完イメージデータ計算部の計算に基づいて変更観察角度生成部で生成された、各オブジェクト／オブジェクト要素の変更イメージが表示される。
【００９７】
ｌ．補完イメージデータ生成部で生成されたイメージデータセットをレンダリングするための処理論理回路を備える、レンダリングモジュール。
【００９８】
ｍ．元の２次元イメージ内でキャプチャされたシーンの立体３次元イメージを生成するために、レンダリングされた補完２次元イメージを、生成された２次元イメージまたは第２の補完２次元イメージと結合するよう適合化された立体イメージ生成部。
【００９９】
ｎ．ディスプレイやデータストレージ、ユーザーインターフェース、コントローラ、あるいはその他の補助的な装置などのシステムの制御を補助する補助モジュールおよびハードウェア。
【０１００】
本発明のいくつかの実施形態によれば、オブジェクトの特徴付け、または、その後の参照モデルとの関連付けを含んでいる。
【０１０１】
整合／識別／認証アルゴリズムのうち、１以上は、コンテンツについての追加の特徴情報が生成されたときに、イメージのコンテンツに関する既知の特徴情報（例えば、タイトルや俳優などの様々なコンテンツパラメータを示すメタデータタグ）、または、以前のコンテンツについての特徴情報（例えば、メタデータや特徴パラメータ）を参照して実行される。特徴付けられるコンテンツと共に受け取った既知の特徴情報は、コンテンツと共に受け取った特徴データに基づいて外部のデータベースから読み出される、あるいは、１以上のアルゴリズムの一つによって生成／抽出される。本発明の他の実施形態によれば、既知の特徴情報は、与えられた整合／識別／認証アルゴリズムの調整や重み付けまたはその他の条件付けに用いられる。１以上のアルゴリズムの一つによって生成された特徴情報は、有効かそうでないかに分類される。
【０１０２】
本発明のいくつかの実施形態によれば、１回目の整合／認識／認証の解析が反復して実行される間に、１以上のアルゴリズムによって有効ではない特徴情報が生成される。１回目の反復解析時に、コンテンツと共に受け取った、または、外部データベースから読み出した特徴情報によって、解析の調整、重み付けまたはその他の条件付けがされる。本発明の他の実施形態によれば、１回目の反復解析が実行された時点で生成されたいずれの特徴情報も、１回目の反復解析の後に、１以上のアルゴリズムの調整、重み付けまたはその他の条件付けに用いられる。
【０１０３】
本発明の他の実施形態によれば、１以上のアルゴリズムのいくつかまたは全てはコンテンツの２回目の反復解析を実行するために用いられ、１回目が有効または非有効のいずれであっても、２回目の反復の間に非有効な特徴情報が生成される。２回目の反復の間、コンテンツと共に受け取った、または、外部データベースから読み出された、または、１回目の反復時に生成された特徴情報のうちのいくつかまたは全ては、１以上のアルゴリズムの調整、重み付けまたはその他の条件付けに用いられる。
【０１０４】
本発明の他の実施形態によれば、コンテンツは１つ以上のシーンまたは１つ以上のシーンの断片（例えば、同じシーンに対して複数のカメラが設置された場合）を含んでおり、このコンテンツはシーン／断片間の境界が定義またはマークされるように分割される。コンテンツを特徴付ける１回目または２回目または両方の反復解析でシーン／断片の分割が実行され、または、１以上のアルゴリズムによる解析の調整、重み付けまたはその他の条件付けを行うために、または、シーン／断片の境界を考慮して解析が実行される。
【０１０５】
本発明のいくつかの実施形態によれば、以下のものが提供される：（１）特徴付けされるマルチメディアコンテンツを受け取るように適合化されたコンテンツ受け取りモジュール；（２）受け取ったコンテンツのうち、すでにあるコンテンツを特徴付けるタグまたはメタデータ（例えば、映画やテレビ番組のタイトルや俳優のリスト、コンテンツ内の音楽のタイトルなど）を抽出するように適合化されたメタデータ抽出モジュール；（３）受け取ったコンテンツに関する特徴情報の追加のために、１以上の（外部）データベースリソース（例えば、Ｇｏｏｇｌｅ、ｆｌｉｘｔｅｒなど）を検索するように適合化された外部データベース照会モジュール（例えば、もし映画／番組のタイトルのみが分かっている場合、キャラクターや関連する俳優のリストが読みだされる。分かっている俳優／キャラクターの顔のイメージや声などが読み出される、など。）；（４）１以上の整合／認識／認証アルゴリズムを動かすよう構成された処理論理回路エンジン（例えば、プロセッサー）の１以上のクラスター。ここでアルゴリズムは以下のものに適合化されている：（ａ）音の動きの追尾（オブジェクトの位置の推定）、（ｂ）顔の認証（映画内の俳優の顔の整合を試みる）、（ｃ）声の認証（すなわち、話している話者を識別する）、（ｄ）オブジェクト追尾（動き、位置）、（ｅ）話し声の認識（話し声をテキストに変換する）、（ｆ）効果音認識（爆発音や飛行機、ヘリコプターなどを識別する）、（ｇ）オブジェクト認証（瓶、缶、車など）、（ｈ）動き認証（キャラクターの動き、オブジェクトの動き、カメラの動きなど）；（５）１以上のアルゴリズムから特徴データを受け取る、および、１以上のアルゴリズムに特徴データを提供するよう適合化されたデータ操作モジュール（例えば、コンテンツと共に受け取った特徴データを保存するテーブルを含むデータベースを有するデータベースアプリケーションのインターフェース。この特徴データはグローバルデータベースから受け取ったもので、一つまたは複数のアルゴリズムによって生成される）。
【０１０６】
言い換えると、本発明のいくつかの実施形態によれば、オブジェクトの特徴には任意のシーンに関連する状況のデータが考慮される。
【０１０７】
上記の要素のそれぞれ異なる多くの可能な組み合わせを含むそれぞれ異なる実施形態に基づいたシステムおよび方法によって、特徴の異なる組み合わせが得られることは明らかである。また、本システムの一つの要素によって実行されるように記載されているいくつかの機能が、本発明の他の実施形態において、本システムの異なる要素によって実行されうることは、当該技術分野における当業者によって理解されるべきである。
【０１０８】
本発明の実施形態の詳細な説明および請求項における、“備える（ｃｏｍｐｒｉｓｅ）”や、“含む（ｉｎｃｌｕｄｅ）”、“有する（ｈａｖｅ）”という各単語およびこれらの単語を用いた文は、これらの単語に関連付けられたリスト内の部材に限定されるわけではない。
【０１０９】
本開示内容に記載または記述されている内容は、本発明の一例および少数の応用例のみである。本発明は、他の様々な組み合わせや用途に対して適用可能であり、ここで記載されている本発明の範囲内で変更または変形を行うことができると理解されたい。
【０１１０】
本発明のいくつかの特徴がここで記載および記述されたことによって、当該技術分野における当業者によって多くの変更例、代替例、変形例、均等物の実施が可能になると考えられる。そのため、添付の請求項は本発明の精神を逸脱しない範囲で、そのような全ての変更例、変形例をカバーすることを目的としていることを理解されたい。
【図１】
2014504074.tif 000003
【図２】
2014504074.tif 000004
【図３Ａ】
2014504074.tif 000005
【図３Ｂ】
2014504074.tif 000006
【図４Ａ】
2014504074.tif 000007
【図４Ｂ】
2014504074.tif 000008
【図５】
2014504074.tif 000009
【図６】
2014504074.tif 000010
【図７】
2014504074.tif 000011
【図８】
2014504074.tif 000012
【図９Ａ】
2014504074.tif 000013
【図９Ｂ】
2014504074.tif 000014
【国際調査報告】
2014504074.tif 000015