【誤訳訂正書】
【提出日】平成23年10月17日(2011.10.17)
【誤訳訂正１】
【訂正対象書類名】明細書
【訂正対象項目名】００１０
【訂正方法】変更
【訂正の内容】
【００１０】
本発明は、立体画像を形成するため、画像の２Ｄ−３Ｄ変換のためにオブジェクトのモデルフィッティング及びレジストレーションのシステム及び方法を提供する。本システムは、現実の世界のオブジェクトの様々な３Ｄモデルを記憶するデータベースを含む。第一の２Ｄ入力画像（たとえば左目画像又は参照画像）について、３Ｄに変換されるべき領域は、システムオペレータ又は自動検出アルゴリズムにより識別され又は輪郭が描かれる。それぞれの領域について、システムは、３Ｄモデルの投影が最適なやり方で識別された領域内の画像コンテンツに整合するように、データベースから記憶されている３Ｄモデルを選択し、選択された３Ｄモデルを位置合わせする。この整合プロセスは、幾何学的なアプローチ又は光度的なアプローチを使用して実現することができる。レジストレーションプロセスを介して第一の２Ｄ画像について３Ｄオブジェクトの３Ｄ位置及びポーズが計算された後、変形されたテクスチャをもつ位置合わせされた３Ｄオブジェクトを含む３Ｄシーンを、異なるカメラの視野角をもつ別の画像形成のプレーン上に投影することで、第二の画像（たとえば右目画像又は相補的な画像）が形成される。
【誤訳訂正２】
【訂正対象書類名】明細書
【訂正対象項目名】００１１
【訂正方法】変更
【訂正の内容】
【００１１】
本発明の開示の１態様によれば、立体画像を形成する３次元（３Ｄ）変換方法が提供される。本方法は、少なくとも１つの２次元（２Ｄ）画像を取得するステップ、少なくとも１つの２Ｄ画像の少なくとも１つのオブジェクトを識別するステップ、複数の予め決定された３Ｄモデルから、識別された少なくとも１つのオブジェクトに関連する少なくとも１つの３Ｄモデルを選択するステップ、識別された少なくとも１つのオブジェクトに対して選択された３Ｄモデルを位置合わせし、選択された３Ｄモデルを少なくとも１つの２Ｄ画像の画像プレーンとは異なる画像プレーンに投影することで、相補的な画像を形成するステップを含む。
【誤訳訂正３】
【訂正対象書類名】明細書
【訂正対象項目名】００１２
【訂正方法】変更
【訂正の内容】
【００１２】
別の態様では、位置合わせするステップは、選択された３Ｄモデルの投影された２Ｄの輪郭を少なくとも１つのオブジェクトの輪郭に整合させるステップを含む。
【誤訳訂正４】
【訂正対象書類名】明細書
【訂正対象項目名】００１３
【訂正方法】変更
【訂正の内容】
【００１３】
本発明の更なる態様では、位置合わせするステップは、選択された３Ｄモデルの少なくとも１つの光度特性を、少なくとも１つのオブジェクトの少なくとも１つの光度特性に整合させるステップを含む。
【誤訳訂正５】
【訂正対象書類名】明細書
【訂正対象項目名】００１４
【訂正方法】変更
【訂正の内容】
【００１４】
本発明の別の態様では、オブジェクトの２次元（２Ｄ）画像から３次元（３Ｄ）への変換システムは、少なくとも１つの２Ｄ画像から相補的な画像を形成するポストプロセッシング装置を含んでおり、このポストプロセッシング装置は、少なくとも１つの２Ｄ画像における少なくとも１つのオブジェクトを識別するオブジェクト検出手段、識別された少なくとも１つのオブジェクトに対して少なくとも１つの３Ｄモデルを位置合わせするオブジェクト整合手段、少なくとも１つの３Ｄモデルをあるシーンに投影するオブジェクトレンダリング手段、及び、識別された少なくとも１つのオブジェクトに関連する少なくとも１つの３Ｄモデルを複数の予め決定された３Ｄモデルから選択し、選択された３Ｄモデルを少なくとも１つの２Ｄ画像の画像プレーンとは異なる画像プレーンに投影することで相補的な画像を形成する再構成モジュールを含む。
【誤訳訂正６】
【訂正対象書類名】明細書
【訂正対象項目名】００１５
【訂正方法】変更
【訂正の内容】
【００１５】
さらに、本発明の更なる態様によれば、２次元（２Ｄ）画像から立体画像を形成する方法ステップを実行するため、コンピュータにより実行可能な命令からなるプログラムを実施する、コンピュータにより読み取り可能なプログラムストレージ装置が提供される。本方法は、少なくとも１つの２次元（２Ｄ）画像を取得するステップ、少なくとも１つの２Ｄ画像の少なくとも１つのオブジェクトを識別するステップ、識別された少なくとも１つのオブジェクトに関連する少なくとも１つの３Ｄモデルを選択するステップ、識別された少なくとも１つのオブジェクトに対して選択された３Ｄモデルを位置合わせするステップ、及び、少なくとも１つの２Ｄ画像の画像プレーンとは異なる画像プレーンに選択された３Ｄモデルを投影することで、相補的な画像を形成するステップを含む。
【誤訳訂正７】
【訂正対象書類名】明細書
【訂正対象項目名】００２９
【訂正方法】変更
【訂正の内容】
【００２９】
本発明のシステム及び方法は、立体画像を形成するため、画像の２Ｄ−３Ｄ変換のための３Ｄに基づく技術を提供する。次いで、立体画像は、３Ｄ立体フィルムを形成するために、更なるプロセスで利用することができる。本システムは、現実の世界のオブジェクトの様々な３Ｄモデルを記憶するデータベースを含む。第一の２Ｄ入力画像（たとえば左目画像又は参照画像）について、３Ｄに変換されるべき領域は、システムオペレータ又は自動検出アルゴリズムにより識別され又は輪郭が描かれる。それぞれの領域について、システムは、３Ｄモデルの投影が最適なやり方で識別された領域内の画像コンテンツに整合するように、データベースから記憶されている３Ｄモデルを選択し、選択された３Ｄモデルを位置合わせする。この整合プロセスは、幾何学的なアプローチ又は光度的なアプローチを使用して実現することができる。レジストレーションプロセスを介して入力の２Ｄ画像について３Ｄオブジェクトの３Ｄ位置及びポーズが計算された後、変形されたテクスチャをもつ位置合わせされた３Ｄオブジェクトを含む３Ｄシーンを、異なるカメラの視野角をもつ別の画像形成のプレーン上に投影することで、第二の画像（たとえば右目画像又は相補的な画像）が形成される。
【誤訳訂正８】
【訂正対象書類名】明細書
【訂正対象項目名】００３４
【訂正方法】変更
【訂正の内容】
【００３４】
ソフトウェアプログラムは、立体画像を形成するため、２次元（２Ｄ）画像を３次元（３Ｄ）画像に変換するため、メモリ１１０に記憶される３次元（３Ｄ）変換モジュール１１４を含む。３Ｄ変換モジュール１１４は、２Ｄ画像においてオブジェクト又は領域を識別するオブジェクト検出器１１６を含む。オブジェクト検出器１１６は、画像編集ソフトウェアによりオブジェクトを含んでいる画像の領域の輪郭を手動的に描くか、又は、自動検出アルゴリズムでオブジェクトを含んでいる画像領域を分離することで、オブジェクトを識別する。また、３Ｄ変換モジュール１１４は、オブジェクトの３Ｄモデルを２Ｄオブジェクトに整合させ、位置合わせするオブジェクト整合手段１１８を含む。オブジェクト整合手段１１８は、以下に記載されるように、３Ｄモデルのライブラリ１２２と相互に作用する。３Ｄモデルのライブラリ１２２は、複数の３Ｄオブジェクトモデルを含み、この場合、それぞれのオブジェクトモデルは、予め定義されたオブジェクトに関連する。たとえば、予め決定された３Ｄモデルのうちの１つは、「ビルディング」オブジェクト又は「コンピュータモニタ」オブジェクトをモデリングするために使用される場合がある。それぞれの３Ｄモデルのパラメータは、予め決定されており、３Ｄモデルと共にデータベース１２２に保存される。オブジェクトレンダリング手段１２０は、３Ｄモデルを３Ｄシーンにレンダリングして、相補的な画像を形成するために設けられる。これは、ラスタライズプロセス、又はレイトレーシング又はフォトンマッピングのような更に進展された技術により実現される。
【誤訳訂正９】
【訂正対象書類名】明細書
【訂正対象項目名】００３８
【訂正方法】変更
【訂正の内容】
【００３８】
つぎに、ステップ２０８で、選択された３Ｄオブジェクトモデルは、識別されたオブジェクトに対して位置合わせされる。位置合わせプロセスのための輪郭に基づくアプローチ及び光度のアプローチが以下に記載される。
【誤訳訂正１０】
【訂正対象書類名】明細書
【訂正対象項目名】００３９
【訂正方法】変更
【訂正の内容】
【００３９】
輪郭に基づく位置合わせ技術は、選択された３Ｄオブジェクトの投影された２Ｄ輪郭（すなわち閉塞している輪郭）を２Ｄ画像における識別されたオブジェクトの描かれた／検出された輪郭に整合させる。３Ｄオブジェクトの閉塞している輪郭は、３Ｄオブジェクトが２Ｄプレーンに投影された後、オブジェクトの２Ｄ領域の境界である。たとえばコンピュータモニタ２２０である３Ｄモデルのフリーパラメータが、３Ｄ位置（ｘ，ｙ，ｚ）、３Ｄポーズ（（θ，φ）及び（図４に例示される）スケールｓ）を含むと仮定すると、３Ｄモデルの制御パラメータは、Φ（ｘ，ｙ，ｚ，θ，φ，ｓ）であり、これは、オブジェクトの３Ｄコンフィギュレーションを定義する。次いで、３Ｄモデルの輪郭は、以下のようにベクトル関数として定義される。
【誤訳訂正１１】
【訂正対象書類名】明細書
【訂正対象項目名】００４２
【訂正方法】変更
【訂正の内容】
【００４２】
ここでｍは３Ｄモデルを意味する。外形が描かれた領域の輪郭は、類似の関数として表現することができる。
【数３】
2010510569.tif 000001
この関数は、ノンパラメトリックな曲線である。次いで、最良のパラメータΦは、以下のように３Ｄコンフィギュレーションに関してコスト関数Ｃ（Φ）を最小にすることで発見される。
【誤訳訂正１２】
【訂正対象書類名】明細書
【訂正対象項目名】００４３
【訂正方法】変更
【訂正の内容】
【００４３】
【数４】
2010510569.tif 000002
しかし、上記式の最小化は、計算が非常に困難である。それは、３Ｄオブジェクトから２Ｄ領域へのジオメトリ変換が複雑であり、コスト関数が微分可能でない場合があり、従ってΦの閉じた解を得ることが困難な場合があるからである。計算を容易にする１つのアプローチは、（たとえばモンテカルロ法といった）非決定的なサンプリング法を使用して、たとえば予め決定された閾値といった所望のエラーに到達するまで、パラメータ空間においてパラメータをランダムにサンプリングすることである。
上記は、１つの輪郭をマッチングすることに基づいた３Ｄコンフィギュレーションの推定を説明している。しかし、多数のオブジェクトが存在する場合、又は識別されたオブジェクトにホールが存在する場合、２Ｄ投影後に多数の閉塞した輪郭が生じる場合がある。さらに、オブジェクト検出器１８８は、２Ｄ画像における多数の輪郭が描かれた領域を識別している場合がある。これらのケースでは、多対多の輪郭マッチングが処理される。モデルの輪郭（たとえば３Ｄモデルの２Ｄ投影）がｆｍ１，ｆｍ２，…，ｆｍＮとして表され、画像の輪郭（たとえば２Ｄ画像における輪郭）がｆｄ１，ｆｄ２，．．．ｆｄｉ，…ｆｄＭとして表されるものとし、この場合、ｉ，ｊは輪郭を識別するための整数のインデックスである。輪郭間の対応は、関数ｇ（・）として表すことができ、この関数は、モデルの輪郭のインデックスを図６に例示されるような画像の輪郭のインデックスにマッピングする。次いで、最良の輪郭の対応及び最小の３Ｄのコンフィギュレーションは、以下のように計算される全体のコスト関数を最小にするために決定される。
【誤訳訂正１３】
【訂正対象書類名】明細書
【訂正対象項目名】００４４
【訂正方法】変更
【訂正の内容】
【００４４】
【数５】
2010510569.tif 000003
ここでＣi,g(i)(Φ)は、ｉ番目の輪郭と、ｇ(i)として索引付けされる、その整合された画像の輪郭との間の式(４)で定義されるコスト関数であり、ｇ(.)は、対応関数である。
位置合わせの相補的なアプローチは、２Ｄ画像の選択された領域の光度特性を使用するアプローチである。光度特性の例は、とりわけ色の特性、テクスチャの特性を含む。光度の位置合わせについて、データベースに記憶された３Ｄモデルには、表面のテクスチャが付される。特性抽出技法は、限定されるものではないがカラーヒストグラム又はモーメントヒストグラムを含めて、オブジェクトのポース又は位置を記述するため、有益な属性を抽出するために適用することができる。その後、特性は、３Ｄモデルの幾何学的パラメータを推定するか、又は位置合わせの幾何学的アプローチの間に推定されている幾何学的パラメータをリファインするために使用することができる。
選択された３Ｄモデルの投影された画像がＩｍ（Φ）であるとすると、投影された画像は、３Ｄモデルの３Ｄポーズのパラメータの関数である。画像Ｉｍ（Φ）から抽出されたテクスチャの特徴はＴｍ（Φ）であり、選択された領域内の画像がＩｄである場合、テクスチャの特徴はＴｄである。上記と同様に、最小自乗コスト関数は、以下のように定義される。