(57)【要約】  本発明はオブジェクト・モデリング動作方法を開示する。方法はモバイル端末に適用され、モバイル端末はカラー・カメラと深度カメラとを含む。カラー・カメラと深度カメラとはモバイル端末の一方の側に位置している。方法は、カラー・カメラと深度カメラとを使用することにより、ターゲット・オブジェクトに関するパノラマ・スキャニングを実行し、ターゲット・オブジェクトの３Ｄモデルを取得するステップと、ターゲット動作方法を取得するステップと、ターゲット骨格モデルとターゲット・オブジェクトの３Ｄモデルとを融合するステップと、ターゲット動作方法を取得するステップと、ターゲット・オブジェクトの３Ｄモデルをターゲット動作方法で動かすために、ターゲット骨格モデルをターゲット動作方法で制御するステップとを含む。これは、スキャニング、３Ｄ再構成、骨格リギングから、オブジェクトの予め設定されたアニメーション表示までを１つの端末上で統合することを実現し、これにより静的なオブジェクトの動的化を実現し、ユーザーによるモバイル端末使用への関心を増加させることができる。
2021527895.tif 000002
【特許請求の範囲】
【請求項１】
オブジェクト・モデリング動作方法であって、前記方法はモバイル端末に適用され、前記モバイル端末はカラー・カメラと深度カメラとを含み、前記方法は、
前記カラー・カメラと前記深度カメラとを使用することにより、ターゲット・オブジェクトに関するパノラマ・スキャニングを実行し、前記ターゲット・オブジェクトの３Ｄモデルを取得するステップと、
ターゲット動作方法を取得するステップと、
前記ターゲット・オブジェクトの前記３Ｄモデルを前記ターゲット動作方法で動かすステップと
を含む方法。
【請求項２】
前記深度カメラはＴＯＦモジュールと構造化された光センサー・モジュールとを含み、前記カラー・カメラと前記深度カメラとは前記モバイル端末の一方の側に位置している、請求項１に記載の方法。
【請求項３】
前記ターゲット・オブジェクトの３Ｄモデルを取得する前記ステップの後に、前記方法は更に、
ターゲット骨格モデルを取得するステップと、
前記ターゲット骨格モデルと前記ターゲット・オブジェクトの前記３Ｄモデルとを融合するステップと、
を含み、前記ターゲット・オブジェクトの前記３Ｄモデルを前記ターゲット動作方法で動かす前記ステップの前に、前記方法は、
前記ターゲット骨格モデルを前記ターゲット動作方法で制御するステップ
を含む請求項１又は２に記載の方法。
【請求項４】
ターゲット骨格モデルを取得する前記ステップは、
ユーザーのオペレーション命令を受け取るステップを含み、前記オペレーション命令は、少なくとも２つの線分と少なくとも１つの点とを骨格モデルに結び付けるために使用され、前記線分は前記骨格モデルにおける骨格を表現し、前記点は前記骨格モデルにおける関節を表現する、請求項１〜３のうちの何れか１項に記載の方法。
【請求項５】
ターゲット骨格モデルを取得する前記ステップは、
少なくとも１つの予め設定された骨格モデルから、前記ターゲット・オブジェクトの形状に最も高い一致度を有する骨格モデルを、前記ターゲット骨格モデルとして選択するステップ
を含む、請求項１〜３のうちの何れか１項に記載の方法。
【請求項６】
ターゲット動作方法を取得する前記ステップは、
第１オブジェクトの動作方法を取得し、前記第１オブジェクトの前記動作方法を、前記ターゲット動作方法として使用するステップ
を含む、請求項１〜５のうちの何れか１項に記載の方法。
【請求項７】
ターゲット動作方法を取得する前記ステップは、
少なくとも２つの動作方法を前記ユーザーに提示し、前記ユーザーの選択命令を受け取り、前記少なくとも２つの動作方法から前記ターゲット動作方法を決定するステップ、又は
前記ターゲット・オブジェクトの属性に基づいて、複数の予め保存された運動方法から、最も高い属性一致度を有する運動方法を前記ターゲット運動方法として選択するステップ
を含む、請求項１〜５のうちの何れか１項に記載の方法。
【請求項８】
ターゲット動作方法を取得する前記ステップは、
前記骨格モデルに対して前記ユーザーにより行われた動きを受け取り、前記動きを前記ターゲット運動方法として決定するステップ
を含む、請求項１〜５のうちの何れか１項に記載の方法。
【請求項９】
オブジェクト・モデリング動作装置であって、前記装置はモバイル端末に適用され、前記モバイル端末はカラー・カメラと深度カメラとを含み、前記装置は、
前記カラー・カメラと前記深度カメラとを使用することにより、ターゲット・オブジェクトに関するパノラマ・スキャニングを実行し、前記ターゲット・オブジェクトの３Ｄモデルを取得するように構成されたスキャニング・モジュールと、
ターゲット動作方法を取得するように構成された第２取得モジュールと、
前記ターゲット・オブジェクトの前記３Ｄモデルを前記ターゲット動作方法で動かすように構成された動作モジュールと
を含む装置。
【請求項１０】
前記深度カメラはＴＯＦモジュールと構造化された光センサー・モジュールとを含み、前記カラー・カメラと前記深度カメラとは前記モバイル端末の一方の側に位置している、請求項９に記載の装置。
【請求項１１】
前記装置は更に、
ターゲット骨格モデルを取得するように構成された第１取得モジュールと、
前記ターゲット骨格モデルと前記ターゲット・オブジェクトの前記３Ｄモデルとを融合するように構成された融合モジュールと
を含み、前記動作モジュールは、前記ターゲット骨格モデルを前記ターゲット動作方法で制御するように更に具体的に構成されている、請求項９又は１０に記載の装置。
【請求項１２】
前記第１取得モジュールは、
ユーザーのオペレーション命令を受け取るステップであって、前記オペレーション命令は、少なくとも２つの線分と少なくとも１つの点とを骨格モデルに結び付けるために使用され、前記線分は前記骨格モデルにおける骨格を表現し、前記点は前記骨格モデルにおける関節を表現する、ステップ、
少なくとも１つの予め設定された骨格モデルから、前記ターゲット・オブジェクトの形状に最も高い一致度を有する骨格モデルを、前記ターゲット骨格モデルとして選択するステップ、又は
第１オブジェクトの動作方法を取得し、前記第１オブジェクトの前記動作方法を、前記ターゲット動作方法として使用するステップ
を行うように具体的に構成されている、請求項９〜１１のうちの何れか１項に記載の装置。
【請求項１３】
前記第２取得モジュールは、
少なくとも２つの動作方法を前記ユーザーに提示し、前記ユーザーの選択命令を受け取り、前記少なくとも２つの動作方法から前記ターゲット動作方法を決定するステップ、
前記骨格モデルに対して前記ユーザーにより行われた動きを受け取り、前記動きを前記ターゲット運動方法として決定するステップ、又は
前記ターゲット・オブジェクトの物理的属性に基づいて、複数の予め保存された運動方法から、最も高い属性一致度を有する運動方法を前記ターゲット運動方法として選択するステップ
を行うように具体的に構成されている、請求項９〜１１のうちの何れか１項に記載の装置。
【請求項１４】
端末デバイスであって、前記端末デバイスは、メモリと、プロセッサと、バスと、深度カメラと、カラー・カメラとを含み、前記カラー・カメラと前記深度カメラとは前記モバイル端末の一方の側に位置し、前記メモリと、前記深度カメラと、前記カラー・カメラと、前記プロセッサとは前記バスを使用することにより接続され、前記深度カメラと前記カラー・カメラとは前記プロセッサの制御の下でターゲット・オブジェクトに関するパノラマ・スキャニングを実行するように構成され、前記メモリはコンピュータ・プログラムと命令とを格納するように構成され、前記プロセッサは、前記メモリに格納された前記コンピュータ・プログラムと前記命令とを呼び出し、前記端末デバイスが請求項１〜９のうちの何れか１項に記載の方法を実行できるように構成されている、端末デバイス。
【請求項１５】
前記端末デバイスはアンテナ・システムを更に含み、前記アンテナ・システムは、前記プロセッサの制御の下で無線通信信号を送受信してモバイル通信ネットワークとの無線通信を実現し、前記モバイル通信ネットワークは、ＧＳＭネットワーク、ＣＤＭＡネットワーク、３Ｇネットワーク、４Ｇネットワーク、５Ｇネットワーク、ＦＤＭＡ、ＴＤＭＡ、ＰＤＣ、ＴＡＣＳ、ＡＭＰＳ、ＷＣＤＭＡ、ＴＤＳＣＤＭＡ、Ｗｉ−Ｆｉ、及びＬＴＥネットワークのうちの１つ以上を含む、請求項１４に記載の端末デバイス。
【請求項１６】
オブジェクト・モデリング動作方法であって、前記方法はモバイル端末に適用され、前記モバイル端末はカラー・カメラと深度カメラとを含み、前記カラー・カメラと前記深度カメラとは前記モバイル端末の一方の側に位置し、前記深度カメラはＴＯＦモジュールと構造化された光センサー・モジュールとを含み、前記方法は、
前記カラー・カメラと前記深度カメラとを使用することにより、ターゲット・オブジェクトに関するパノラマ・スキャニングを実行し、前記ターゲット・オブジェクトの３Ｄモデルを取得するステップと、
ターゲット骨格モデルを取得するステップと、
前記ターゲット骨格モデルと前記ターゲット・オブジェクトの前記３Ｄモデルとを融合するステップと、
ターゲット動作方法を取得するステップと、
前記ターゲット・オブジェクトの前記３Ｄモデルを前記ターゲット動作方法で動かすために、前記ターゲット骨格モデルを前記ターゲット動作方法で制御するステップと
を含む方法。
【請求項１７】
ターゲット骨格モデルを取得する前記ステップは、
ユーザーのオペレーション命令を受け取るステップであって、前記オペレーション命令は、少なくとも２つの線分と少なくとも１つの点とを骨格モデルに結び付けるために使用され、前記線分は前記骨格モデルにおける骨格を表現し、前記点は前記骨格モデルにおける関節を表現する、ステップ、又は
少なくとも１つの予め設定された骨格モデルから、前記ターゲット・オブジェクトの形状に最も高い一致度を有する骨格モデルを、前記ターゲット骨格モデルとして選択するステップ
を含む、請求項１６に記載の方法。
【請求項１８】
ターゲット動作方法を取得する前記ステップは、
第１オブジェクトの動作方法を取得し、前記第１オブジェクトの前記動作方法を、前記ターゲット動作方法として使用するステップ、
少なくとも２つの動作方法を前記ユーザーに提示し、前記ユーザーの選択命令を受け取り、前記少なくとも２つの動作方法から前記ターゲット動作方法を決定するステップ、
前記骨格モデルに対して前記ユーザーにより行われた動きを受け取り、前記動きを前記ターゲット運動方法として決定するステップ、又は
前記ターゲット・オブジェクトの属性に基づいて、複数の予め保存された運動方法から、最も高い属性一致度を有する運動方法を前記ターゲット運動方法として選択するステップ
を含む、請求項１６又は１７に記載の方法。
【請求項１９】
オブジェクト・モデリング動作装置であって、前記装置はモバイル端末に適用され、前記モバイル端末はカラー・カメラと深度カメラとを含み、前記カラー・カメラと前記深度カメラとは前記モバイル端末の一方の側に位置し、前記深度カメラはＴＯＦモジュールと構造化された光センサー・モジュールとを含み、前記装置は、
前記カラー・カメラと前記深度カメラとを使用することにより、ターゲット・オブジェクトに関するパノラマ・スキャニングを実行し、前記ターゲット・オブジェクトの３Ｄモデルを取得するように構成されたスキャニング・モジュールと、
ターゲット骨格モデルを取得するように構成された第１取得モジュールと、
前記ターゲット骨格モデルと前記ターゲット・オブジェクトの前記３Ｄモデルとを融合する融合モジュールと、
ターゲット動作方法を取得するように構成された第２取得モジュールと、
前記ターゲット・オブジェクトの前記３Ｄモデルを前記ターゲット動作方法で動かすために、前記ターゲット骨格モデルを前記ターゲット動作方法で制御するように構成された動作モジュールと
を含む装置。
【請求項２０】
前記第１取得モジュールは、
ユーザーのオペレーション命令を受け取るステップであって、前記オペレーション命令は、少なくとも２つの線分と少なくとも１つの点とを骨格モデルに結び付けるために使用され、前記線分は前記骨格モデルにおける骨格を表現し、前記ポイントは前記骨格モデルにおける関節を表現する、ステップ、
少なくとも１つの予め設定された骨格モデルから、前記ターゲット・オブジェクトの形状に最も高い一致度を有する骨格モデルを、前記ターゲット骨格モデルとして選択するステップ、又は
第１オブジェクトの動作方法を取得し、前記第１オブジェクトの前記動作方法を、前記ターゲット動作方法として使用するステップ、
を行うように具体的に構成され、
前記第２取得モジュールは、
少なくとも２つの動作方法を前記ユーザーに提示し、前記ユーザーの選択命令を受け取り、前記少なくとも２つの動作方法から前記ターゲット動作方法を決定するステップ、
前記骨格モデルに対して前記ユーザーにより行われた動きを受け取り、前記動きを前記ターゲット運動方法として決定するステップ、又は
前記ターゲット・オブジェクトの物理的属性に基づいて、複数の予め保存された運動方法から、最も高い属性一致度を有する運動方法を前記ターゲット運動方法として選択するステップ
を行うように具体的に構成されている、請求項１９に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は端末技術の分野、特にオブジェクト・モデリング動作方法及び装置並びにデバイスに関連する。
【背景技術】
【０００２】
情報通信技術の発達により、人々は、彼らの生活や仕事の中で、グラフィックスや画像に益々触れるようになった。画像を取得するための方法は、種々のビデオ・カメラ、カメラ、スキャナ等を使用することにより実行される。通常、オブジェクトの平面画像、即ちオブジェクトの２次元情報のみが、これらの手段を使用することにより取得され得る。機械ビジョン、顔検出、物理的プロファイリング、自動処理、製品品質管理、生物医学などの多くの分野において、オブジェクトの３次元情報は不可欠である。それ故に３Ｄスキャニング技術が現れる。一般的に使用されるデバイスは、３次元スキャナ（３Ｄスキャナ）である。３Ｄスキャナは、現実世界のオブジェクトや環境を検出及び分析し、形状（幾何学的構造）及び外観（色及び表面反射率などの特性）に関するデータを収集するために使用される科学機器である。３次元スキャナは、オブジェクトの幾何学的表面に点群（ｐｏｉｎｔ  ｃｌｏｕｄ）を作成するために使用される。これらの点は、補間によりオブジェクトの表面形状を形成するために使用されてもよい。より高密度な点群は、より正確なモデルを作成することが可能である（このようなプロセスは、３次元再構成とも呼ばれる）。スキャナが表面の色を取得することが可能である場合、更にテクスチャ・マップが、再構築された表面の周りに巻き付けられ、これはテクスチャ・マッピング（ｔｅｘｔｕｒｅ  ｍａｐｐｉｎｇ）と呼ばれる。
【０００３】
しかしながら、先行技術において、３次元スキャナを使用することは難しいので、専門的なユーザーしか３次元スキャナを操作することができない。更に、３次元スキャナの応用シナリオも比較的限定されている。そのため、一般のユーザーが３次元スキャニング技術を使用できるようにする方法は、解決されるべき緊急の課題である。
【発明の概要】
【０００４】
本発明の実施形態は、オブジェクト・モデリング及び動作方法及び装置並びにデバイスを提供し、その結果、ユーザーはいつでもどこでもオブジェクトをスキャンし、動的な効果を達成し、関心とプレイ性を高め、ユーザーのスティッキネスを向上させ、ユーザーがトレンドの先頭を行くことを可能にすることができる。
【０００５】
本発明の実施形態で提供される具体的な技術的ソリューションは以下の通りである。
【０００６】
第１態様によれば、本発明の実施形態はオブジェクト・モデリング動作方法を提供する。方法はモバイル端末に適用され、モバイル端末はカラー・カメラと深度カメラとを含む。カラー・カメラと深度カメラとはモバイル端末の正面又は背面の一方の側に位置する。方法は具体的には、カラー・カメラと深度カメラとを使用することにより、ターゲット・オブジェクトに関するパノラマ・スキャニングを実行し、ターゲット・オブジェクトの３Ｄモデルを取得するステップと、ターゲット骨格モデルを取得するステップと、ターゲット骨格モデルとターゲット・オブジェクトの３Ｄモデルとを融合するステップと、ターゲット動作方法を取得するステップと、ターゲット・オブジェクトの３Ｄモデルをターゲット動作方法で動かすために、ターゲット骨格モデルをターゲット動作方法で制御するステップとを含む。
【０００７】
第２態様によれば、本発明の実施形態はオブジェクト・モデリング動作装置を提供する。装置はモバイル端末に適用され、モバイル端末はカラー・カメラと深度カメラとを含む。カラー・カメラと深度カメラとはモバイル端末の正面又は背面の一方の側に位置する。装置は、カラー・カメラと深度カメラとを使用することにより、ターゲット・オブジェクトに関するパノラマ・スキャニングを実行し、ターゲット・オブジェクトの３Ｄモデルを取得するように構成されたスキャニング・モジュールと、ターゲット骨格モデルを取得するように構成された第１取得モジュールと、ターゲット骨格モデルとターゲット・オブジェクトの３Ｄモデルとを融合する融合モジュールと、ターゲット動作方法を取得するように構成された第２取得モジュールと、ターゲット・オブジェクトの３Ｄモデルをターゲット動作方法で動かすために、ターゲット骨格モデルをターゲット動作方法で制御するように構成された動作モジュールとを含む。
【０００８】
本発明の実施形態で提供される上記の方法及び装置の技術的ソリューションによれば、スキャニング、３Ｄ再構成、骨格リギングから、予め設定されたアニメーション表示までの統合された設計が、専門的なスキャニングのために専門的で負担の重い複雑な装置を使用することをユーザーに要求することなく、あるいは複雑なモデリング及びアニメーション処理をＰＣにおいて実行することなく、モバイル端末においてオブジェクトに関して実現されることが可能である。これらの機能は、ユーザーのために統合され及び提供され、その結果、ユーザーはモバイル端末上でこれらの操作方法を容易に実行することができ、ユーザー周囲の任意の「静止オブジェクト（又は静止オブジェクトに類似のもの）」がアニメーション化及び活性化され、それにより、ユーザーによる端末利用に対する関心を高め、ユーザーの体感を向上させることができる。
【０００９】
メディアの分野では、「カメラ」と「レンズ」は同義語であってもよいことが理解されるべきである。
【００１０】
第１態様又は第２態様によれば、可能な設計において、深度カメラはＴＯＦモジュールを使用する可能性がある。
【００１１】
第１態様又は第２態様によれば、可能な設計において、深度カメラは構造化された光センサー・モジュールを使用する可能性がある。
【００１２】
第１態様又は第２態様によれば、可能な設計において、深度カメラの視野は４０度から８０度の範囲である。
【００１３】
第１態様又は第２態様によれば、可能な設計において、深度カメラにおける赤外光の送信パワーは、５０ｍｗから４００ｍｗの範囲で選択されることが可能である。特殊な用途において極端に強い光の場合、送信パワーはより高いものであってもよい。
【００１４】
第１態様又は第２態様によれば、可能な設計において、オブジェクト・スキャニングのためのスキャニング距離は、２０ｃｍから８０ｃｍの範囲である。スキャニング距離は、深度カメラからターゲット・オブジェクトまでの距離として理解されてもよい。
【００１５】
第１態様又は第２態様によれば、可能な設計において、スキャニング・プロセスにおける深度カメラの撮影フレーム・レートは２５ｆｐｓより低くないように選択されてもよい。
【００１６】
第１態様又は第２態様によれば、可能な設計において、骨格モデルは、３Ｄモデルに基づく一連のアルゴリズムを使用することにより算出されてもよい。
【００１７】
第１態様又は第２態様によれば、可能な設計において、骨格モデル生成ライブラリ、例えば幾つかの線分と点とがユーザーに提供されることが可能であり、線分は骨格を表し、点は関節を表す。ユーザーのオペレーション命令、例えばジェスチャ、スライド、又はショートカット・キーが受信され、少なくとも２つの線分と少なくとも１つの点とが骨格モデルに結び付けられて骨格モデルが得られる。更に、骨格モデルはクラウドにアップロードされるか、又はローカルに格納される。方法は、第１取得モジュールによって実現されてもよい。ハードウェアにおいて、方法は、メモリ内のプログラム命令を呼び出すことによって、プロセッサにより実現されてもよい。
【００１８】
第１態様又は第２態様によれば、可能な設計において、より開放的な生成ライブラリがユーザーに提供される可能性があり、線分と点はユーザーによって完全に自由に設計され、ここで、線分は骨格を表し、点は関節を表す。ユーザーのオペレーション命令、例えばジェスチャ、スライド、又はショートカット・キーが受信され、少なくとも２つの線分と少なくとも１つの点とが骨格モデルに結び付けられて骨格モデルが得られる。更に、骨格モデルはクラウドにアップロードされるか、又はローカルに格納される。方法は、第１取得モジュールによって実現されてもよい。ハードウェアにおいて、方法は、メモリ内のプログラム命令を呼び出すことによって、プロセッサにより実現されてもよい。
【００１９】
第１態様又は第２態様によれば、可能な設計において、特定の実装プロセスにおいて、ターゲット・オブジェクトの形状と最も高い一致度を有する骨格モデルが、少なくとも１つの予め設定された骨格モデルから、ターゲット骨格モデルとして選択されることが可能である。予め設定された骨格モデルは、ネットワーク又はクラウドに格納されてもよいし、あるいはローカルに格納されてもよい。例えば、鶏の骨格モデル、犬の骨格モデル、及び魚の骨格モデルがローカルに格納されている。オブジェクトがアヒルである場合、システムは、外観認識により鶏の骨格モデルをターゲット骨格モデルとして使用する。類似性を決定する基準は、骨格形態、骨格の長さ、骨格の厚み、骨格の量、骨格の構成方式などを含むが、これらに限定されない。方法は、第１取得モジュールによって実現されてもよい。ハードウェアにおいて、方法は、メモリ内のプログラム命令を呼び出すことによって、プロセッサにより実現されてもよい。
【００２０】
第１態様又は第２態様によれば、可能な設計において、ユーザーの選択命令を受け取られてもよく、選択命令は、少なくとも１つの予め設定された骨格モデルから、ターゲット骨格モデルを選択するために使用され、これらの予め設定されたモデルはローカルに格納され、あるいはクラウド又はネットワークから呼び出される。方法は、第１取得モジュールによって実現されてもよい。ハードウェアにおいて、方法は、メモリ内のプログラム命令を呼び出すことによって、プロセッサにより実現されてもよい。
【００２１】
第１態様又は第２態様によれば、可能な設計において、第１オブジェクトの動作方法が取得されることが可能であり、第１オブジェクトの動作方法はターゲット動作方法として使用される。第１オブジェクトは、目下リアル・タイムで動いているオブジェクトであってもよいし、あるいはオブジェクトの動作方法であってキャプチャされ格納されていたものであってもよいし、あるいは特定のオブジェクトの予め設定された動作方法であってもよい。方法は、第２取得モジュールによって実現されてもよい。ハードウェアにおいて、方法は、メモリ内のプログラム命令を呼び出すことによって、プロセッサにより実現されてもよい。
【００２２】
第１態様又は第２態様によれば、可能な設計において、予め設定されたターゲット動作方法のうちの１つが選択されてもよい。方法は、第２取得モジュールによって実現されてもよい。ハードウェアにおいて、方法は、メモリ内のプログラム命令を呼び出すことによって、プロセッサにより実現されてもよい。予め設定されたターゲット動作方法は、一組の完全な動作方法であってもよいし、あるいはユーザー・オペレーションに対応する動作方法であってもよい。例えば、ユーザーが、端末上で表示される「活性化されたオブジェクト」に対してユーザーの手を振ると、オブジェクトは、予め設定された手振り応答アニメーション方法に従って動作することができる。より一般的には、ユーザーは、予め設定されたインタラクション・アクションを端末に入力してもよく、端末は、インタラクション・アクションに基づいて、対応する応答動作方法を取得し、応答動作方法に従って動かされるべきオブジェクトの３Ｄモデルを動かす。
【００２３】
第１態様又は第２態様によれば、可能な設計において、動作方法は、アニメーション制作ソフトウェアを使用することでユーザーによって作成されてもよい。もちろん、ソフトウェアは、システムに組み込まれたツールキットであってもよいし、スキャニング及び運動再構築のためにアプリケーションにロードされたツールキットであってもよいし、あるいは第三者のアニメーション設計ツールからのものであってもよい。動作方法は、履歴上作成済みのもの又は現在作成される動作又はアニメーションであってもよい。方法は、第２取得モジュールによって実現されてもよい。ハードウェアにおいて、方法は、メモリ内のプログラム命令を呼び出すことによって、プロセッサにより実現されてもよい。
【００２４】
第１態様又は第２態様によれば、可能な設計において、動作方法は、物理的属性に基づいて予め格納された複数の動作方法から、最も高い属性一致度を有する動作方法が、ターゲット動作方法として選択されるものであってもよい。方法は、第２取得モジュールによって実現されてもよい。ハードウェアにおいて、方法は、メモリ内のプログラム命令を呼び出すことによって、プロセッサにより実現されてもよい。
【００２５】
第１態様又は第２態様によれば、可能な設計において、動作方法は、代替的に、システム又はユーザー自身が、ターゲット動作方法を得るために、ターゲット・オブジェクトの骨格モデル（前述の設計における任意の方法を使用することで取得されてもよい）に基づいて骨格モデルを設計したものであってもよい。このような方法は、オブジェクトの３Ｄモデルに関してアニメーションを以後に実現するための最も適切なアニメーション・オペレーションである。方法は、第２取得モジュールによって実現されてもよい。ハードウェアにおいて、方法は、メモリ内のプログラム命令を呼び出すことによって、プロセッサにより実現されてもよい。
【００２６】
第１態様又は第２態様によれば、可能な設計において、オブジェクトの３Ｄモデルをスキャンした後に、ユーザーは、３Ｄモデルをローカルに格納してもよいし、あるいは３Ｄモデルをクラウドに格納し、一定期間後に３Ｄモデルを直接的に呼び出し、骨格リギング又はアニメーション方法を自由に選択し、更に、アニメーション背景を選択することが可能であり、アニメーション背景は、リアル・タイムでキャプチャされる画像、ローカルに格納された画像、クラウド内のデータ画像などを含むがこれらに限定されない。また、オブジェクトのアニメーションが実現されている間に、オブジェクトの影が更に表示されてもよいし、あるいはサウンド・エフェクトや特殊効果などが追加されてもよい。アニメーションは、モバイル端末によって自動的に再生されてもよいし、あるいはユーザーによるオペレーション命令を入力することによって再生されるように制御されてもよい。
【００２７】
第１態様又は第２態様によれば、可能な設計において、ターゲット動作方法で動かされるように骨格モデルを制御するプロセスにおいて、スキニング・オペレーションが、骨格モデル及びターゲット・オブジェクトの３Ｄモデルに関して実行され、スキニング・オペレーションは、骨格モデルの動きに基づいて３Ｄモデルの表面上の点の位置変化を決定するために使用され、ターゲット・オブジェクトの３Ｄモデルは骨格モデルに沿って動かされる。方法は、動作モジュールによって実現されてもよい。ハードウェアにおいて、方法は、メモリ内のプログラム命令を呼び出すことによって、プロセッサにより実現されてもよい。
【００２８】
上記の可能な設計を使用することで、人間とコンピュータのやりとりが高められ、その結果、ユーザーは、オブジェクトの活性化プロセスに、創造的想像力及びより多くの興味を持って、より自由に且つより深く関与することが可能になる。
【００２９】
より具体的には、前述のオペレーションに関連する他の技術的な実装は、メモリ内のプログラム及び命令を呼び出すことによって、プロセッサにより相応に処理されることが可能であり、例えば、カメラをイネーブルすること、画像を収集すること、３Ｄモデルを生成すること、骨格モデル又はアニメーションを取得すること、骨格モデル又はアニメーションを格納すること、特殊効果を追加すること、及びユーザーとの対話オペレーションを実行すること、を行うことが可能である。
【００３０】
第３態様によれば、本発明の実施形態は、端末デバイスを提供する。端末デバイスは、メモリと、プロセッサと、バスと、深度カメラと、カラー・カメラとを含む。カラー・カメラと深度カメラとはモバイル端末の一方の側に位置する。メモリと、深度カメラと、カラー・カメラと、プロセッサとはバスを使用することにより接続される。深度カメラとカラー・カメラとはプロセッサの制御の下でターゲット・オブジェクトに関するパノラマ・スキャニングを実行するように構成される。メモリはコンピュータ・プログラムと命令とを格納するように構成される。プロセッサは、メモリに格納されたコンピュータ・プログラムと命令とを呼び出し、端末デバイスが上記の可能な設計の方法を実行できるように構成される。
【００３１】
第３態様によれば、可能な設計において、端末デバイスはアンテナ・システムを更に含む。アンテナ・システムは、プロセッサの制御の下で無線通信信号を送受信してモバイル通信ネットワークとの無線通信を実現する。モバイル通信ネットワークは、ＧＳＭネットワーク、ＣＤＭＡネットワーク、３Ｇネットワーク、４Ｇネットワーク、５Ｇネットワーク、ＦＤＭＡ、ＴＤＭＡ、ＰＤＣ、ＴＡＣＳ、ＡＭＰＳ、ＷＣＤＭＡ、ＴＤＳＣＤＭＡ、Ｗｉ−Ｆｉ、及びＬＴＥネットワークのうちの１つ以上を含む。
【００３２】
概要の内容は、特許請求の範囲において実施されることが可能な全ての方法を含む可能性があることが理解されるべきであり、ここでは列挙しない。
【００３３】
前述の可能な実現方法及びステップの任意の何れかに関し、自然法則に違反することなく、様々な方法及びステップの自由な組み合わせが実行される可能性があり、幾つかの可能なステップが、様々な方法及びステップに対して追加又は削減される可能性がある。これは一つずつ列挙されておらず、本発明において詳細には説明されていない。
【００３４】
本発明では、スキャニング、３Ｄ再構成、骨格リギングから、オブジェクトのための予め設定されたアニメーション表示までの統合が、１つの端末上で実現されることが可能であり、これにより、静止オブジェクトの活性化を実現し、ユーザーによるモバイル端末使用への関心を増加させることができる。
【図面の簡単な説明】
【００３５】
【図１】本発明の実施形態による端末の概略構造図である。
【００３６】
【図２】本発明の実施形態によるオブジェクト・モデリング動作方法のフローチャートである。
【００３７】
【図３】本発明の実施形態によるオブジェクト・スキャニングからアニメーション実現までの主要なプロセスを示す。
【００３８】
【図４】本発明の実施形態による構造化された光の概略図である。
【００３９】
【図５】本発明の実施形態によるＴＯＦの概略図である。
【００４０】
【図６】本発明の実施形態によるメッシュ化＋テクスチャ・マッピング方法のフローチャートである。
【００４１】
【図７】本発明の実施形態による特定のメッシュ実装ソリューションのフローチャートである。
【００４２】
【図８】本発明の実施形態による特定のテクスチャ・マッピング実装ソリューションのフローチャートである。
【００４３】
【図９】本発明の実施形態による特定のメッシュ化＋テクスチャ・マッピング・インスタンスを示す。
【００４４】
【図１０】本発明の実施形態による特定の骨格リギング・ソリューションのフローチャートである。
【００４５】
【図１１】本発明の実施形態による特定のアニメーション・フローチャートである。
【００４６】
【図１２】本発明の実施形態によるオブジェクト・モデリング動作装置の概略図である。
【発明を実施するための形態】
【００４７】
以下、本発明の実施形態における添付図面を参照して、本発明の実施形態における技術的ソリューションを、明確かつ完全に説明する。明らかに、説明される実施形態は、本発明の実施形態の幾つかであるに過ぎず、すべてではない。創作的な労力なしに本発明の実施形態に基づいて当業者により得られる他のすべての実施形態は、本発明の保護範囲内に該当するものとする。
【００４８】
本発明の実施形態において、モバイル端末は、撮影機能及び／又はデータ接続性をユーザーに提供するデバイス、ワイヤレス接続機能を有するハンドヘルド・デバイス、又はワイヤレス・モデムに接続される他の処理デバイス、例えばデジタル・カメラ、シングル・レンズ反射カメラ、又はスマートフォンであってもよいし、あるいは撮影機能及び表示機能を有する他のインテリジェント・デバイス、例えばウェアラブル・デバイス、タブレット・コンピュータ、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ，パーソナル・デジタル・アシスタント）、ドローン、又は航空写真撮影機であってもよい。
【００４９】
図１は、端末１００のオプション的なハードウェア構造の概略図である。
【００５０】
図１に言及すると、端末１００は、無線周波数ユニット１１０、メモリ１２０、入力ユニット１３０、ディスプレイ・ユニット１４０、撮影ユニット１５０、オーディオ回路１６０、スピーカ１６１、マイクロフォン１６２、プロセッサ１７０、外部インターフェース１８０、電源１９０などのコンポーネントを含むことができる。
【００５１】
無線周波数ユニット１１０は、情報を送信及び受信すること、あるいは通話プロセスにおける信号を送信及び受信することを行うように構成されることが可能である。特に、無線周波数ユニット１１０は、基地局のダウンリンク情報を受信した後に、処理を行うプロセッサ１７０へダウンリンク情報を届け、また関連するアップリンク・データを基地局へ送信する。一般に、ＲＦ回路は、アンテナ、少なくとも１つの増幅器、トランシーバ、カプラ、低ノイズ増幅器（Ｌｏｗ  Ｎｏｉｓｅ  Ａｍｐｌｉｆｉｅｒ，ＬＮＡ）、デュプレクサなどを含むが、これらに限定されない。更に、無線周波数ユニット１１０は、無線通信によりネットワーク・デバイス及び他のデバイスと通信してもよい。任意の通信規格又はプロトコルが無線通信に使用される可能性があり、通信規格又はプロトコルは、移動通信用グローバル・システム（Ｇｌｏｂａｌ  Ｓｙｓｔｅｍ  ｆｏｒ  Ｍｏｂｉｌｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ，ＧＳＭ）、ゼネラル・パケット無線サービス（Ｇｅｎｅｒａｌ  Ｐａｃｋｅｔ  Ｒａｄｉｏ  Ｓｅｒｖｉｃｅ，ＧＰＲＳ）、符号分割多元接続（Ｃｏｄｅ  Ｄｉｖｉｓｉｏｎ  Ｍｕｌｔｉｐｌｅ  Ａｃｃｅｓｓ，ＣＤＭＡ）、ワイドバンド符号分割多元接続（Ｗｉｄｅｂａｎｄ  Ｃｏｄｅ  Ｄｉｖｉｓｉｏｎ  Ｍｕｌｔｉｐｌｅ  Ａｃｃｅｓｓ，ＷＣＤＭＡ）、ロング・ターム・エボリューション（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ，ＬＴＥ）、電子メール、ショート・メッセージング・サービス（Ｓｈｏｒｔ  Ｍｅｓｓａｇｉｎｇ  Ｓｅｒｖｉｃｅ，ＳＭＳ）等を含むがこれらに限定されない。
【００５２】
メモリ１２０は、命令及びデータを格納するように構成されることが可能である。メモリ１２０は、主に、命令記憶エリア及びデータ記憶エリアを含むことが可能である。データ記憶エリアは、ジョイント・タッチ・ジェスチャとアプリケーション・プログラム機能との間のアソシエーション関係を記憶することが可能である。命令記憶エリアは、オペレーティング・システム、アプリケーション、及び命令などのソフトウェア・ユニット、又はソフトウェア・ユニットのサブセット若しくは拡張セットを記憶することが可能である。メモリ１２０は、更に不揮発性ランダム・アクセス・メモリを含み、コンピュータ処理デバイス内のハードウェア、ソフトウェア、及びデータ・リソースを管理することや、ソフトウェア及びアプリケーションに関する制御をサポートすることを含む機能をプロセッサ１７０に提供することができる。メモリ１２０は、更に、マルチメディア・ファイル、実行プログラム、及びアプリケーションを記憶するように構成される。
【００５３】
入力ユニット１３０は、入力された数字又は文字情報を受信し、ポータブル多機能装置のユーザー設定や機能制御に関するキー信号入力を生成するように構成されてもよい。具体的には、入力ユニット１３０は、タッチスクリーン１３１及び他の入力デバイス１３２を含んでもよい。タッチスクリーン１３１は、タッチスクリーン上又はその近辺でのユーザーのタッチ操作（例えば、指、ジョイント、又はスタイラスのような任意の適切な物体を使用することによって、タッチスクリーン上又はその近辺でユーザーによって実行された操作）を収集し、予め設定されたプログラムに従って、対応する接続装置を駆動することが可能である。タッチスクリーンは、タッチスクリーン上でのユーザーのタッチ動作を検出し、タッチ動作をタッチ信号に変換し、タッチ信号をプロセッサ１７０に送信し、またプロセッサ１７０によって送信されたコマンドを受信して実行することができる。タッチ信号は、少なくともタッチ・ポイント座標情報を含む。タッチスクリーン１３１は、端末１００とユーザーとの間に入力スクリーン及び出力スクリーンを提供することができる。更に、タッチスクリーンは、抵抗型、容量型、赤外線型、及び表面弾性波型のような種々のタイプで実装されてもよい。タッチスクリーン１３１に加えて、入力ユニット１３０は、別の入力デバイスを更に含んでもよい。具体的には、別の入力デバイス１３２は、物理的なキーボード、ファンクション・キー（ボリュームコントロール・キー又はパワー・オン／オフ・キーなど）、トラックボール、マウス、ジョイスティックなどのうちの１つ以上を含む可能性があるが、これらに限定されない。
【００５４】
更に、タッチスクリーン１３１は表示パネル１４１をカバーしてもよい。タッチスクリーン１３１上又はその近辺でタッチ操作を検出した後、タッチスクリーン１３１は、そのタッチ操作をプロセッサ１７０に転送してタッチイベントのタイプを決定する。次いで、プロセッサ１７０は、タッチイベントのタイプに基づいて、対応する視覚出力をディスプレイ・パネル１４１上に提供する。実施形態において、タッチスクリーン及びディスプレイ・ユニットは、端末１００の入力、出力、及び表示の機能を実現するために、１つのコンポーネントに統合されてもよい。説明を容易にするために、本発明の実施形態では、タッチ・ディスプレイ・スクリーンは、タッチスクリーン及びディスプレイ・ユニットの機能のセットを表す。幾つかの実施形態において、タッチスクリーン及びディスプレイ・ユニットは、代替的に、２つの独立したコンポーネントとして使用されてもよい。
【００５５】
ディスプレイ・ユニット１４０は、ユーザーにより入力された情報、ユーザーに提供される情報、及び端末１００の各種メニューを表示するように構成されることが可能である。本発明の実施形態において、ディスプレイ・ユニットは、カメラ１５０を使用することによりディスプレイ・デバイスで取得された画像を表示するように更に構成され、その画像は、幾つかの撮影モードにおけるプレビュー画像、キャプチャされた初期画像、及び撮影後に特定のアルゴリズムを使用することで処理されるターゲット画像を含んでもよい。
【００５６】
撮影ユニット１５０は、画像やビデオを収集するように構成されており、アプリケーション・プログラム命令によってトリガすることにより、撮影機能やビデオ・カメラ機能を実現できるようにすることが可能である。撮影ユニットは、撮像レンズ、光フィルタ、及び撮像センサーなどのコンポーネントを含んでもよい。オブジェクトによって放射又は反射された光は、撮像レンズに入射し、光フィルタを通過することによってイメージ・センサー上に集められる。撮像レンズは、主に、オブジェクト（キャプチャされるオブジェクト又はターゲット・オブジェクトと言及されてもよい）によって放射又は反射される光を、撮影視野の中に集めて撮像を実行するように構成される。光フィルタは、主に、余分な光波（例えば、赤外線などの可視光以外の光波）を光から除外するように構成される。イメージ・センサーは、主に、受信した光信号に対して光電変換を実行し、光信号を電気信号に変換し、その後の処理のためにプロセッサ１７０に電気信号を入力するように構成される。
【００５７】
具体的には、撮影ユニット１５０は、カラー・カメラ（ａ  ｃｏｌｏｒ  ｌｅｎｓ）１５１及び深度カメラ（ａ  ｄｅｐｔｈ  ｌｅｎｓ）１５２を更に含む可能性がある。カラー・カメラは、ターゲット・オブジェクトのカラー画像を収集するように構成され、現在人気のある端末製品の間で一般的に使用されているカラー・カメラを含む。深度カメラは、ターゲット・オブジェクトの深度情報を取得するように設定されている。例えば、深度カメラは、ＴＯＦ技術及び構造化光技術を使用することにより実装されてもよい。
【００５８】
ＴＯＦはタイム・オブ・フライト（Ｔｉｍｅ  ｏｆ  Ｆｌｉｇｈｔ）技術の略である。具体的には、センサーは、変調された近赤外光を放出し、その光はオブジェクトに遭遇した後に反射されたものであり、センサーは、放出光と反射光との間の時間差又は位相差を計算し、キャプチャされたシーンの距離に変換して深度情報を生成し、そして、オブジェクトの３次元的な輪郭は、従来のカラー・カメラの撮影機能との組み合わせにおいて、異なる色が異なる距離を表現する地形図を使用することにより、提示されることが可能である。
【００５９】
構造化光は、投影素子とカメラとを含む一組のシステム構造である。投影素子が、オブジェクトの表面と背景に特定の光情報（例えば、ラスタにより回折させられた光情報）を投影した後に、カメラが光情報を収集し、オブジェクトの位置や深度などの情報が、オブジェクトによって生じる光信号の変化（例えば、光の幅の変化、及び変位）に基づいて算出され、更に３次元空間全体を復元する。
【００６０】
オーディオ回路１６０、スピーカ１６１、及びマイクロフォン１６２は、ユーザーと端末１００との間のオーディオ・インターフェースを提供することができる。オーディオ回路１６０は、受信したオーディオ・データから変換された電気信号をスピーカ１６１に送信することが可能であり、スピーカ１６１は、電気信号を出力用の音声信号に変換する。更に、マイクロフォン１６２は、音声信号を収集するように構成され、更に、収集された音声信号を電気信号に変換することができる。電気信号を受信した後、オーディオ回路１６０は、電気信号をオーディオ・データに変換し、オーディオ・データを処理のためにプロセッサ１７０に出力し、オーディオ・データを例えば無線周波数ユニット１１０を介して別の端末へ送信するか、又は、オーディオ・データを更なる処理のためにメモリ１２０に出力する。オーディオ回路はまた、オーディオ回路とイヤホンとの間の接続インターフェースを提供するように構成されたイヤフォン・ジャック１６３を含んでもよい。
【００６１】
プロセッサ１７０は、端末１００の制御センタであり、様々なインターフェース及びラインを介して携帯電話全体の様々な部分に接続される。プロセッサ１７０は、端末１００の様々な機能を実行し、メモリ１２０に記憶された命令を動作させ又は実行し、メモリ１２０に記憶されたデータを呼び出すことによってデータを処理し、携帯電話上で全体的なモニタリングを実行する。オプションとして、プロセッサ１７０は１つ以上の処理ユニットを含んでもよい。好ましくは、プロセッサ１７０は、アプリケーション・プロセッサ及びモデム・プロセッサと一体化されていてもよい。アプリケーション・プロセッサは、主に、オペレーティング・システム、ユーザー・インターフェース、アプリケーション・プログラム等を処理する。モデム・プロセッサは主に無線通信を処理する。代替的に、モデム・プロセッサはプロセッサ１７０に統合されていなくてもよいことが理解されるであろう。幾つかの実施形態において、プロセッサ及びメモリは、単一のチップ上に実装されてもよい。幾つかの実施形態において、プロセッサ及びメモリは、独立した複数のチップ上に別々に実装されてもよい。プロセッサ１７０は、更に、対応する動作制御信号を生成し、動作制御信号を演算処理デバイス内の対応するコンポーネントに送り、ソフトウェア内のデータを読み出して処理し、特にメモリ１２０内のデータ及びプログラムを読み出して処理し、その結果、命令によって要求される動作を実行するために対応するコンポーネントを制御するように、機能モジュールが対応する機能を実行する、ように構成されてもよい。
【００６２】
端末１００は外部インターフェース１８０を更に含む。外部インターフェースは、標準的なマイクロＵＳＢインターフェース又はマルチ・ピン・コネクタであってもよい。外部インターフェースは、端末１００を通信用の別の装置に接続するように構成されてもよいし、あるいは端末１００を充電するために充電器に接続するように構成されてもよい。
【００６３】
端末１００は、各コンポーネントに電力を供給する電源１９０（バッテリなど）を更に含む。好ましくは、電源は、電源管理システムを使用することによってプロセッサ１７０に論理的に接続され、充電機能、放電機能、及び電力消費管理などの機能を、電源管理システムを使用することによって実現することができる。
【００６４】
図示されていないが、端末１００は、フラッシュ、ワイファイ（ｗｉｒｅｌｅｓｓ  ｆｉｄｅｌｉｔｙ，Ｗｉ−Ｆｉ）モジュール、Ｂｌｕｅｔｏｏｔｈモジュール、異なる機能を有するセンサーなどを更に含むことが可能である。詳細はここでは説明されない。以下に説明される全ての方法は図１に示される端末に適用されることが可能である。また、図１は、ポータブル多機能装置の一例にすぎず、ポータブル多機能装置に関する如何なる限定も構成しないことを、当業者は理解するであろう。ポータブル多機能装置は、図に示されているものよりも多い又は少ないコンポーネントを含んでもよいし、あるいは幾つかのコンポーネントを組み合わせてもよいし、あるいは異なるコンポーネントを有してもよい。
【００６５】
図２に言及すると、本発明の実施形態はオブジェクト・モデリング動作方法を提供している。この方法はモバイル端末に適用され、モバイル端末はカラー・カメラと深度カメラとを含む。カラー・カメラと深度カメラはモバイル端末の一方の側に位置する。方法は以下のステップを含む：
【００６６】
ステップ２１：カラー・カメラと深度カメラとを使用することにより、ターゲット・オブジェクト（即ち、スキャンされる対象のオブジェクトであり、あるパラグラフでは省略してオブジェクトと言及される）に関するパノラマ・スキャニングを実行し、ターゲット・オブジェクトの３Ｄモデルを取得する。
【００６７】
ステップ２２：ターゲット骨格モデルを取得する。
【００６８】
ステップ２３：ターゲット骨格モデルとターゲット・オブジェクトの３Ｄモデルとを融合する。
【００６９】
ステップ２４：ターゲット動作方法を取得する。
【００７０】
ステップ２５：ターゲット骨格モデルをターゲット動作方法で制御し、ターゲット・オブジェクトの３Ｄモデルをターゲット動作方法で動かす。
【００７１】
カラー・カメラと深度カメラは、端末デバイスの正面に配置されてもよいし、あるいは端末デバイスの背面に配置されてもよい。カラー・カメラ及び深度カメラの具体的な配置方法及び数量は、設計者の要求に基づいて柔軟に決定されることが可能である。これは本発明で限定されない。
【００７２】
図３は、オブジェクト・スキャニングからアニメーション実現までの主要なプロセスを示す。先ず、オブジェクトがスキャンされ、深度カメラを使用することにより深度マップを取得し、カラー・カメラを使用することによりカラー画像を取得し；テクスチャリングされたメッシュ・モデル、即ちオブジェクトの３Ｄモデルを取得するために、深度マップ及びカラー画像について融合が実行され；骨格の動きに従って骨格モデルを動かすために、３Ｄモデルが骨格モデルに埋め込まれ（通常、骨格の動きは不可視であるが、特殊なシナリオ条件の下では、ユーザーにとって確実に可視的である可能性がある）、オブジェクトのアニメーション効果を視覚的に提示する。以下、具体例を参照しながら詳細な説明を行う。
【００７３】
ステップ２１
【００７４】
ステップ２１は、深度カメラ・スキャン、カラー・カメラ・スキャン、３Ｄ再構成に関連する。具体例は以下のとおりである。
【００７５】
深度カメラ・スキャニング
【００７６】
深度カメラは、３Ｄ／深度センサー又は３Ｄ／深度センサー・モジュールを含む可能性があり、静止オブジェクトの深度情報を取得するように構成されている。走査されたオブジェクトは、理論的には静的なオブジェクトであるはずであるが、実際の動作中に、僅かな動きがある程度許容されることが、理解されるべきである。深度情報は、構造化光技術及びＴＯＦを使用することにより取得されることが可能である。深度情報を得るための方法の出現に伴い、深度モジュールは、より豊富な実装を更に含む可能性があり、これは本発明において限定されない。
【００７７】
構造化光の原理図が図４に示されている。３０１は不可視の赤外線光源を表し、３０２は特定の光パターンを発生するラスタを表し、３０３は走査されるオブジェクトを表し、３０４は赤外線カメラを表す。３０３で反射された光パターンが取得され、予想される光パターンと比較され、ターゲット・オブジェクトのスキャンされた部分の深度情報が計算により取得される。
【００７８】
図５はＴＯＦ深度カメラを示す。３１１はターゲット・オブジェクトを表し、３１２はＴＯＦカメラ内の赤外線送信端部を表し、３１３は赤外線受信端部を表す。３１２が、赤外光線（その光は例えば８５０ｎｍ〜１２００ｎｍの範囲に及ぶ波長を伴う可能性があるが、これに限定されない）をターゲット・オブジェクトの方に送信すると、ターゲット・オブジェクトは赤外光線を反射し、反射された赤外光線は３１３によって受信される。３１３の中のセンサー（センサーは例えば２４０×１８０より高い解像度を有するＣＭＯＳアレイ又はＣＣＤアレイであってもよいが、これらに限定されない）は、反射された赤外光線に起因する一連の電位差信号を生成する。深度計算ユニット３１４は、一連の電位差信号に基づいて演算を行い、最終的に、ターゲット・オブジェクトのスキャンされた部分の深度情報３１５を取得する。
【００７９】
カラー・カメラ・スキャニング
【００８０】
ターゲット・オブジェクトをスキャンするプロセスでは、深度カメラとカラー・カメラが同期して呼び出され、特定のキャリブレーション及び相関アルゴリズムを使用することにより、深度カメラ及びカラー・カメラで相応にスキャンされたターゲット・オブジェクトの画像を一致させる。スキャン中にカラー・カメラにより画像を取得する方法は、基本的には、一般的なカメラを使用することにより画像を撮影する方法と同じであり、詳細はこのパートでは説明されない。
【００８１】
特定の実装プロセスでは、ターゲット・オブジェクトは、特定の角度範囲（通常、深度カメラ及びカラー・カメラの視野のうち、より小さい方の視野によって制限される）と特定の距離の内でスキャンされることを必要とする。オブジェクトは、深度情報（例えば、深度マップ）の品質によって制限され、通常、深度カメラ（又はモバイル端末）から２０ｃｍないし８０ｃｍの距離でスキャンされる。
【００８２】
具体的なスキャニング方法は次のとおりであってもよい：端末を静止させ、深度カメラの前方３０ｃｍ〜７０ｃｍの距離にターゲット・オブジェクトを保持及び配置し、オブジェクトを全周方向にゆっくりと回転させることを、スキャン画像全ての和集合が完全なオブジェクトを構成するために使用できるようになるまで行う。オブジェクトが保持されている場合に、オブジェクトの表面が遮られないようにすべきであることに留意すべきである。
【００８３】
特定のスキャニング方法は次のとおりであってもよい：オブジェクトを静止させ、深度カメラの前方３０ｃｍ〜７０ｃｍの距離に端末を保持及び配置し、オブジェクトに関するパノラマ・スキャニングを、スキャン画像全ての和集合が完全なオブジェクトを構成するために使用できるようになるまで行う。端末が保持されている場合に、オブジェクトの表面が遮られないようにすべきであることに留意すべきである。
【００８４】
特定のスキャニング方法は次のとおりであってもよい：オブジェクトを静止させ、深度カメラの前方３０ｃｍ〜７０ｃｍの距離に端末を保持及び配置し、予め設定された角度のインターバルでオブジェクトをスキャンすることを、スキャン画像全ての和集合が完全なオブジェクトを構成するために使用できるようになるまで行う。端末が保持されている場合に、オブジェクトの表面が遮られないようにすべきであることに留意すべきである。
【００８５】
具体的には、キャプチャリングは、シーン全体が確実にキャプチャされることを保証するために、複数回実行されてもよい。シーン情報は、オブジェクトの全ての眺めを含む。従って、パノラマ・スキャニング・プロセスでは、相応して、深度マップの複数のフレーム（深度マップのシーケンス）が存在する可能性があり、各深度マップは、１スキャニング中のスキャニング範囲内のシーンに対応する。また、複数のフレームのカラー画像（カラー画像のシーケンス）が相応して存在する可能性があり、各カラー画像は、１キャニング中のスキャニング範囲内のシーンに対応する。ターゲット・オブジェクトがスキャンされる場合に、他のオブジェクトも含まれる可能性がある。しかしながら、スキャニングが上記の適度な距離で実行されるならば、ターゲット・オブジェクト以外のノイズは、後続の３Ｄ再構成プロセスで除去されることが可能である。
【００８６】
可能な実装では、スキャン・プロセスにおける深度カメラの撮影フレーム・レートは、２５ｆｐｓ以上（例えば、３０ｆｐｓ、６０ｆｐｓ、１２０ｆｐｓ）であってもよい。
【００８７】
可能な実装において、スキャニング・プロセスにおいて、端末はターゲット・オブジェクトのスキャニングの進行を提示することが可能であり、その結果、ユーザーは、ターゲット・オブジェクトのパノラマがカバーされているかどうかを観察し、ユーザーは自律的にスキャニングの継続又はスキャニングの停止を選択することができる。
【００８８】
深度カメラとカラー・カメラは、正面を向いていても又は背面を向いていてもよいので、相応して正面スキャニング及び背面スキャニングという２つの方法が存在する。深度カメラが携帯電話の正面の上方部分に位置する場合、深度カメラは、正面カラー・カメラと共に使用されてもよく、正面スキャニングは、自己スキャニングを実現することができる。深度カメラが携帯電話の背面の上方部分にある場合、深度カメラは背面カラー・カメラと共に使用されてもよい。背面スキャニングでは、より多くのターゲット・オブジェクトが選択される可能性があり、その結果、ターゲット・オブジェクトは繊細にかつ安定的にスキャンされる。深度カメラ及びカラー・カメラの物理的な位置は、折り畳み式スクリーン端末の出現と共に変わる可能性があることが理解されるべきである。従って、正面及び背面の従来の概念は、物理的な位置に関する何らかの制限を構成すべきではない。３Ｄモデリングのためにオブジェクトがスキャンされる場合、画像の一貫性を保証するために、深度カメラとカラー・カメラは一方の側に配置されてもよく、端末に対する位置や方向は、３Ｄ再構成がカメラ位置の任意の組み合わせを使用して実現できることを条件として、制限されない。可能な実装において、端末は、例えば外部接続された撮影ロッド、スキャナ、又は外部接続されたカメラ等の、第三者の撮影デバイスを更に求めてもよい。オプションとして、外部カラー・カメラが使用されてもよいし、外部深度カメラが使用されてもよいし、あるいは両方が使用されてもよい。
【００８９】
ユーザーがスキャニング機能をトリガした場合に、上記のカラー・カメラのスキャニング及び深度カメラのスキャニングはイネーブルにされてもよい。トリガ動作は、タイミング、シャッター・トリガ、ジェスチャ動作、空中センシング、デバイス動作制御などを含む。更に、ユーザーがプレビューのためにカメラをイネーブルにすると、システムは、プレビュー画像の中でどのオブジェクトがスキャニング又は３Ｄモデリングに適しているかをプロンプトすることができる。例えば、ユーザーを促すためにプレビュー画像中のオブジェクトを識別するために、正方形のボックスが使用されてもよい。
【００９０】
更に、深度カメラ及びカラー・カメラに関連する特定のデバイス・パラメータは、製造プロセス、ユーザー要求、及び端末の設計制約に関連する。これは本発明において特には限定されない。
【００９１】
３Ｄ再構成（メッシュ化＋テクスチャ・マッピング）
【００９２】
図６に示すように、オブジェクトに対してマルチ・フレーム３６０度パノラマ・スキャニングが実行された後に、一連の深度マップ３２１及び一連のカラー画像３２２が取得される。深度カメラにより取得された各フレームは、スキャンされたシーンの深度マップ（例えば、深度マップ）であり、カラー・カメラにより取得された各フレームは、スキャンされたシーンのカラー画像（例えば、ＲＧＢ画像）である。メッシュ処理は、ターゲット・オブジェクトのメッシュ（Ｍｅｓｈ）モデルを取得するために、深度マップ３２１のシーケンスにおいて実行され、テクスチャ・マッピングされたメッシュ・モデル３２３、即ちオブジェクトの３Ｄモデルを取得するために、テクスチャ・マッピングが、カラー画像３２２のシーケンスに基づいてメッシュ・モデルに関して実行される。可能な実装において、テクスチャ・マッピングはまた、カラー画像のシーケンス内の全てのフレーム又は幾つかのフレームに基づいて実行されてもよい。
【００９３】
（１）メッシュ化
【００９４】
図７に言及すると、特定の実装プロセスにおいて、特定のメッシュ実装ソリューションは以下の通りである。
【００９５】
ステップ３３１：各スキャニング・シーンにおけるターゲット・オブジェクトのカラー（ＲＧＢを含むが、これに限定されない）マップと深度（Ｄｅｐｔｈ）マップを取得する。深度マップ（ｄｅｐｔｈ  ｍａｐ）は、深度カメラとターゲット・オブジェクト表面上の複数の点との間の距離に関する情報である。深度マップのピクセル値は、深度カメラとターゲット・オブジェクト表面上の１点との間の実際の距離を表現し得ることを除外して、深度マップはグレースケール画像に類似している。一般に、カラー画像と深度マップが登録される。
【００９６】
ステップ３３２は、深度マップに関してバイラテラル・フィルタリング及びデノイジングを実行すること、異なる解像度を有する画像ピラミッドを生成するために深度マップに関してダウンサンプリングを実行すること、深度マップを点群に変換すること、各頂点の法線ベクトルを推定すること、及び走査されたオブジェクトの範囲外の点をクロッピングすることを含むが、これらに限定されない。
【００９７】
ステップ３３３：ステップ３３２において、異なるスキャニング位置におけるターゲット・オブジェクトの深度マップのシーケンス及びカラー画像のシーケンスを収集するために、オブジェクト・モデルが生成されることを必要とする場合、収集されたマップ・シーケンスで得られる１フレームの３Ｄ点群は、統一座標系に変換されることを必要とする。言い換えると、オブジェクトの異なるスキャン位置の間のポーズ変換関係、即ち、ポーズ推定が取得される。ポーズ推定は、マップ・シーケンスに基づいてオブジェクトの３Ｄポーズを推定すべきである。ポーズ推定は、特徴ベースのレジストレーションと点群ベースのレジストレーションという２つの考えに基づいて実行されてもよい。マップ・シーケンスに対して比較的小さな角度で、オブジェクトの変換が実行される場合、精密な点群ベースのレジストレーションが使用される。例えば、反復的な最近接点（ｉｔｅｒａｔｉｖｅ  ｃｌｏｓｅｓｔ  ｐｏｉｎｔ）ＩＣＰアルゴリズムは、オブジェクトのポーズ推定のために使用されることが可能である。マップ・シーケンスに対して比較的大きな角度で、オブジェクトの変換が実行される場合、オブジェクトの３Ｄ特徴に基づいて２つのポーズ間で、粗いレジストレーションが更に実行されてもよく、粗いレジストレーションの結果は精密なレジストレーションの初期値として使用される。この方法は、高速スキャニングをサポートすることができる。
【００９８】
測定誤差が存在しない場合、現在のフレームの３Ｄ点は全て、ターゲット・オブジェクトの３Ｄ体積モデル（ｖｏｌｕｍｅｔｒｉｃ  ｍｏｄｅｌ）の表面上にある。従って、カメラ・ポーズ（ポーズ変換関係）を解明するために、それは、現在のフレームの３Ｄ点群と、ターゲット・オブジェクトの３Ｄ体積モデルの表面上の点群との間の距離の最小値を解くことに変換される。目的関数は次のとおりである：
【数１】
2021527895.tif 000003
【００９９】
Ｍはカメラのポーズ変換行列を表し、ｓｉは現在計算されているポーズのフレームの３Ｄ点群を表し、点群は体積モデルのビュー座標系に変換され、ｄｉはビュー座標系のモデルの点群を表し、ｎｉはモデル点群に対応する法線を表し、目的関数は、現在のフレームの点群から体積モデルの点群が位置する平面までの距離の最小二乗和を計算することを意味する。
【０１００】
ステップ３３４：２Ｄ深度マップを３Ｄ情報に変換し、統一された３Ｄ体積モデルへの３Ｄ情報における融合を実行する。ＴＳＤＦ（Ｔｒｕｎｃａｔｅｄ  Ｓｉｇｎｅｄ  Ｄｉｓｔａｎｃｅ  Ｆｕｎｃｔｉｏｎ，打ち切り符号付き距離関数）アルゴリズムが使用される。融合されたボクセル値は、ＳＤＦ（Ｓｉｇｎｅｄ  Ｄｉｓｔａｎｃｅ  Ｆｕｎｃｔｉｏｎ，符号付き距離関数）値、ウェイト（ｗｅｉｇｈｔ）値、及びオプションのカラー値である。ＴＳＤＦアルゴリズムは、現在、３Ｄ点群融合に関する主流処理アルゴリズムである。ウェイトは平均化によって計算される。古いウェイト値は、融合が実行されるたびに１つ増やされ、新しいウェイト値は１である。新しいＳＤＦ値と古いＳＤＦ値とは各自それぞれのウェイトで乗算され、得られた積は合計され、積の合計が融合回数（新しいウェイト値）で乗算され、このようにして新しく正規化されたＳＤＦ値が得られる。
【０１０１】
ステップ３３５：予め設定された量のキーフレームが、ロール／ヨー／ピッチの３方向における特定の角度間隔で（例えば、３０度、４５度、６０度、９０度などの予め設定された角度であるが、これらに限定されない）格納されるか否かを決定する；格納されるキーフレームの量が予め設定された量（ターゲット・オブジェクトのパノラマの長めがカバーされるかどうかに影響する）を下回っている場合は、シーン（カラー画像と深度マップ）をキャプチャし続け、この場合において、端末はより多くのスキャニングを実行するようにユーザーに指示し；キーフレームの量がターゲット・オブジェクトのパノラマの眺めをカバーするのに十分である場合は、スキャンが完了し、次のステップが進行してもよいことを、ユーザーに促す。
【０１０２】
ステップ３３６：リアル・タイム融合プロセスでは、テクスチャ・マッピングに必要とされる入力キーフレーム情報を選択してバッファリングし、この情報は、カラー画像、ポーズ（異なるマップ間の位置ポーズの差異）などを含む。オブジェクト・モデリングは３６０度スキャニングの機能を必要とするので、所定量（Ｎ）のキーフレームが、ロール、ヨー、ピッチの各方向で選択され、その結果、オブジェクトの３６０度のテクスチャが完全に復元されることが可能である。例えば、入力画像ストリーム中の各フレームの角度（ヨー／ピッチ／ロール）は、ＩＣＰの結果に基づいて決定され、各フレームの定義が算出され、選択ポリシーが、キーフレームを選択するための定義と角度とに基づいて構築される。
【０１０３】
角度ポリシーは、３６０度が異なる方向における３６０／Ｎ個のエリアに分割され、各エリアで明瞭なカラー画像のフレームが存在することを要する。
【０１０４】
ブラー検出の原理は、勾配法及びソーベル・オペレータは、通常、画像の不鮮明さの評価に使用されるものである。不鮮明さの計算のために、勾配法が選択されてもよい。以下の式に示されるように、画像中のピクセルは、ピクセルの右及びピクセルの左にある２つのピクセルを利用して、次のようにして計算される。
【数２】
2021527895.tif 000004
【０１０５】
より大きなブラー値は、より鮮明な画像を示す。
【０１０６】
ステップ３３７：３Ｄ点群メッシュを実現するためにマーチング・キューブ・アルゴリズムを使用し、三角形のフェイスを生成する。マーチング・キューブ・アルゴリズムの主なアイディアは、セルごとに、３Ｄ点群における中身の部分と背景の部分との間の境界を探索し、境界に適合するようにセルから三角形ファセットを抽出することである。簡単に言うと、ボクセル・データ・コンテンツを含むボクセル点は実点と呼ばれ、実点を越えるすべての背景ボクセル点は虚点と呼ばれる。このように、３次元点群は、様々な実点と虚点により構成されるドット・マトリクスである。例えば、単一のセルの観点からは、セルの８つのボクセル点の各々は、実点又は虚点である可能性があり、従って、２の８乗に及ぶ合計数、即ち、１つのセルに対して２５６個の可能なケースが存在する可能性がある。マーチング・キューブ・アルゴリズムの中心的なアイディアは、セルから等価な三角形のフェイスを抽出するために、２５６個の列挙可能なケースを使用することである。セルは、３次元画像内の８つの隣接するボクセル点で構成される立方体ペインである。マーチング・キューブ・アルゴリズムにおける「キューブ」の意味は、セルを意味する可能性もある。セルとボクセルとの間には相違が存在することに留意すべきである：セルは、８つのボクセル点で構成される立方体ペインである一方、各々のセルは（境界にあるものを除く）、８つのセルと共有される。
【０１０７】
（２）テクスチャ・マッピング
【０１０８】
特定の実装プロセスにおいて、図８に言及すると、特定のテクスチャ・マッピング実装ソリューションは、以下のとおりである：
【０１０９】
ステップ３４１：メッシュ・モデル（三角形フェイス情報）とキーフレームのポーズ情報に従って、各キーフレームのポーズ内のすべてのフェイスが見えるかどうかを判断する。メッシュ・モデルのすべての三角形フェイス及びキーフレームの空間座標に関する情報が入力され、すべての三角形フェイスが各キーフレームのポーズで可視的であるかどうかに関する情報が出力される。
【０１１０】
原理は以下のように説明される：三角形フェイスが特定のポーズにおいて可視的であるか又は非可視的であるかを決定する必要がある場合、それは、三角形フェイスの頂点とポーズとを結ぶことにより形成される放射状のラインが、モデルの他の三角形フェイスと交わるかどうかを決定することを必要とする。「ｙｅｓ」の場合、三角形フェイスが別のフェイスによってブロックされ、三角形フェイスが非可視的であることを示し；そうでない場合、三角形フェイスがそのポーズにおいて可視的である。
【０１１１】
衝突検出プロセスは、以下の内容：三角形の法線ベクトルの計算、放射状のラインが三角形と交差するかどうかを決定すること、放射状のラインがＡＡＢＢ（Ａｘｉｓ−ａｌｉｇｎｅｄ  ｂｏｕｎｄｉｎｇ  ｂｏｘ）と交差するかどうかを決定すること、階層的な二分木の構築、に関連する。
【０１１２】
具体的な処理手順は以下のとおりである：
【０１１３】
（１）フェイスの頂点を取得し、その頂点を現在のキーフレーム・ビューのカメラ視点に接続して、光線を取得する。
【０１１４】
（２）階層的な二分木のルートから始まり、放射状のラインに対してブロッキングが存在するかどうかを算出する。
【０１１５】
（３）ＢＶ（Ｂｏｕｎｄｉｎｇ  Ｖｏｌｕｍｅ）ノードがリーフ・ノードであるかどうかを判断し、ＢＶノードがリーフ・ノードである場合には、ステップ（６）に進む。
【０１１６】
（４）放射状ラインがＢＶのＡＡＢＢ境界ボックスと交差するかどうかを判断し、交差しない場合は（１）に戻る。
【０１１７】
（５）放射状ラインがＢＶと交わる場合は、ＢＶの２つのサブ・ノードを選択し、（３）に戻る。
【０１１８】
（６）ＢＶノードがリーフ・ノードである場合、先ず、放射状ラインがＡＡＢＢ境界ボックスと交差するかどうかを判断し、ｙｅｓの場合、放射状ラインが三角形と交差するかどうかを判断し、ｙｅｓの場合、頂点はブロックされていると判断する。
【０１１９】
（７）フェイスの１つ以上の頂点がブロックされる場合、フェイスは、現在のキーフレーム・ビューにおいて非可視的である。
【０１２０】
ステップ３４２：領域セグメンテーション及びグラフ・カット（Ｇｒａｐｈ  Ｃｕｔ）法を使用することにより、ステップ３４１における結果とメッシュ・モデルとに基づいてメッシュ・モデルに関して各フェイス（ｆａｃｅ）をラベル付けし、テクスチャを生成するために特定のキーフレーム・ビュー（ｖｉｅｗ）を選択することを決定し、その場合において、フェイス・ラベリング結果は、アフィン・マッピング（Ｗａｒｐｉｎｇ）モジュールの入力として使用されることが可能であり、予備的テクスチャ・マップを生成するために使用される。
【０１２１】
ステップ３４３：キーフレーム・ビューにおける対応する領域のテクスチャをテクスチャ・マップにマッピングし、異なるキーフレーム間のパッチ（ｐａｔｃｈ）に関して境界平滑化を実行する。
【０１２２】
オブジェクトの３Ｄモデルは複数のキーフレーム・ビューを使用することにより生成されたテクスチャ・マップであるので、キーフレーム・ビューが選択された後に、テクスチャ・マップ上の異なるキーフレーム・ビューの間で生成された継ぎ目の間に、多くの色の不連続が存在する。テクスチャの不連続部において、各頂点Ｖｅｒｔｅｘは２つの頂点：左フェイスに属するＶｌｅｆｔ、及び右フェイスに属するＶｒｉｇｈｔとして考察されてもよい。各頂点Ｖの調整前の色はｆｖとして示され、各頂点Ｖの補正後の色の値ｇｖは、以下の最小化方程式に従って求められる：
【数３】
2021527895.tif 000005
ここで、ａｒｇｍｉｎは最小差分値をとることを意味し、前述の式は次の２つのパートのような２つを含む：
【数４】
2021527895.tif 000006
【０１２３】
第１パートにおいて、ｖはキーフレーム間の継ぎ目における頂点（Ｖｅｒｔｅｘ）を表現し、即ち頂点は左パッチ及び右パッチの双方に属する。ｆｖｌｅｆｔ＋ｇｖｌｅｆｔにおけるｆｖは調整前の色の値を表し、ｇｖは補正後の色の値、即ち増分値（Δ）を表す。この式は、画像の異なるフレーム間の共通点の補正差分を可能な限り小さくし、継ぎ目における滑らかさを保証するために使用される。第２パートにおいて、Ｖｉ及びＶｊは、同じテクスチャ・パッチ上の任意の２つの隣接する頂点の増分が、可能な限り小さくなることを要求し、１回の増分が過剰に大きい一方で他のものが過剰に小さいことから生じる非平滑性を回避することを意味する。
【０１２４】
特定の実装プロセスにおいて、フェイス・ラベリング結果において同じラベルを有する隣接する領域はパッチとして格納され、すべてのパッチの頂点に対して境界平滑化が実行され、各頂点のピクセル値が調整され、最終的なテクスチャ・マップを取得するために、最終的な頂点により囲まれた三角形に対して、位置ベース、ピクセル・ベースのアフィン変換が実行される。
【０１２５】
オブジェクトの３Ｄモデルは、オブジェクトのメッシュ・モデルの表面においてオブジェクトのテクスチャ・マップ・セットを描くことによって取得され、通常、．ｏｂｊフォーマットで格納される。図９に示すように、例えば、ライオンのテクスチャ・マップ・セットがライオンのメッシュ・モデルにマッピングされ、ライオンのテクスチャ・マッピング済み３Ｄモデルが取得される。
【０１２６】
ステップ２２
【０１２７】
ステップ２１を実行することにより、３Ｄ再構成後に取得されるターゲット・オブジェクトの３Ｄモデル、即ちテクスチャ・メッシュ・モデルが取得される。次いで、骨格が、テクスチャ・メッシュ・モデルに埋め込まれることを必要とする。以下、骨格モデル、即ちターゲット骨格モデルを取得する方法を説明する。
【０１２８】
特定の実装プロセスにおいて、骨格モデル生成ライブラリがユーザーのために例えば何らかの線分と点について提供されている可能性があり、線分は骨格を表し、点は関節を表す。ユーザーのオペレーション命令、例えばジェスチャ、スライド、又はショートカット・キーが受信され、少なくとも２つの線分及び少なくとも１つの点が、骨格モデルを得るために結合される。更に、骨格モデルはクラウドにアップロードされるか、又はローカルに保存される。
【０１２９】
具体的な実装プロセスでは、よりオープンな生成ライブラリがユーザーに提供される可能性があり、線分と点はユーザーにより完全に自由に設計され、線分は骨格を表し、点は関節を表す。ユーザーのオペレーション命令、例えばジェスチャ、スライド、又はショートカット・キーが受信され、少なくとも２つの線分及び少なくとも１つの点が、骨格モデルを得るために結合される。更に、骨格モデルはクラウドにアップロードされるか、又はローカルに保存される。
【０１３０】
特定の実装プロセスにおいて、ターゲット・オブジェクトの形状との最も高い一致度を有する骨格モデルが、少なくとも１つの予め設定された骨格モデルの中から、ターゲット骨格モデルとして選択されることが可能である。予め設定された骨格モデルは、ネットワーク又はクラウドに格納されてもよいし、あるいはローカルに格納されてもよい。例えば、鶏の骨格モデル、犬の骨格モデル、及び魚の骨格モデルがローカルに保存される。オブジェクトが家鴨である場合、システムは、外観認識により、鶏の骨格モデルをターゲット骨格モデルとして使用する。類似性を決定する基準は、骨格形態、骨格の長さ、骨格の厚み、骨格の量、骨格の組成様式などを含むが、これらに限定されない。
【０１３１】
特定の実装プロセスでは、ユーザーの選択命令が受け取られ、選択命令は少なくとも１つの予め設定された骨格モデルからターゲット骨格モデルを選択するために使用される。
【０１３２】
ステップ２３
【０１３３】
融合がターゲット骨格モデルとターゲット・オブジェクトの３Ｄモデルとに関して実行される、あるいはターゲット骨格モデルがターゲット・オブジェクトの３Ｄモデルに埋め込まれる。オブジェクト／オブジェクトの骨格関節の位置は、最終的な骨格フレームワークが、ターゲット・オブジェクトの内部構造に最大限に適合し、かつ予め設定された（所与の）骨格フレームワークに可能な限り類似して見えるように、計算されることを必要とする。
【０１３４】
特定の実装プロセスにおいて、図１０に言及すると、特定の骨格リギング・ソリューションは、以下のとおりである：
【０１３５】
ステップ３５１：内側軸表面を近似するために、トリリニア補間の適応サンプリング距離フィールド（ａｄａｐｔｉｖｅｌｙ  Ｓａｍｐｌｅｄ  Ｄｉｓｔａｎｃｅ  Ｆｉｅｌｄｓ）を、他の計算を用いて計算する。ｋ−ｄツリー（Ｋ−ｄｉｍｅｎｓｉｏｎａｌ  ｔｒｅｅ）は、オブジェクトの任意の点から表面までの符号付き距離を評価するために構築されることが可能である。ｋ−ｄツリーは、ｋ次元データ空間を分割するためのデータ構造であり、主に多次元空間におけるキー・データの探索に使用される。
【０１３６】
ステップ３５２：オブジェクトの内側軸表面にほぼ位置するサンプル点のグループを計算し、骨格関節が位置しうる点を発見し、オブジェクトの表面に近い点をフィルタリングする。
【０１３７】
ステップ３５３：内側軸表面から骨格図の頂点を選択するために、オブジェクト内に球を埋め込み、３Ｄモデルの表面からの距離に基づいて中間軸表面に沿ってすべての点をソートし、３Ｄモデル内で最も遠い点から始まる（３Ｄモデルの表面範囲内で）最大の内接球を描いて球の半径を求め、内側軸線に沿ってすべての点を横断し、この場合において、内接球は、点が以前に追加された如何なる球内にも含まれていない場合に限り、その点を利用して構成される。
【０１３８】
ステップ３５４：幾つかの球の中心を接続することにより骨格図を構成し、任意の２つの交差する球を連結する球の中心間のエッジをエッジとして使用する。
【０１３９】
ステップ３５１〜ステップ３５４は、骨格ベースの認識と言及されてもよい。
【０１４０】
ステップ３５５：予め設定された骨格モデルを抽出し、ステップ３５４（ここで、Ｖは頂点を表し、Ｅはエッジを表す）で構築された幾何学的骨格図Ｇ＝（Ｖ，Ｅ）に骨格モデルを最適に埋め込む（ここで、Ｖは頂点を表し、Ｅはエッジを表す）。通常、節は削減されることを必要とし、骨格の枠組は最適化されることを必要とする。
【０１４１】
ステップ３５６：骨格の階層関係を識別し、骨格形状に近づくように単純な階層を減らす。
【０１４２】
骨格リギング（ステップ３５５及びステップ３５６）の後に、リギング済みの骨格モデルを有するオブジェクトの３Ｄモデルを取得することができる。
【０１４３】
ステップ２４
【０１４４】
ステップ２３において、骨格モデルが埋め込まれた３Ｄモデルが取得される。次に、ターゲット・オブジェクトの３Ｄモデルを動かすために、何らかの実行可能な動作方法が、骨格モデルに対して発見されることを必要とする。以下、骨格の動作方法（又は直感的にはアニメーションと言及される）、即ちターゲット動作方法を取得する方法を説明する。
【０１４５】
特定の実装プロセスでは、第１オブジェクトの動作方法が取得されることが可能であり、第１オブジェクトの動作方法がターゲット動作方法として使用される。第１オブジェクトは、現在リアル・タイムで動いているオブジェクトであってもよい（例えば、走っている人物がキャプチャされ、オブジェクトの骨格動作方法が、ニューラル・ネットワークを使用することにより抽出される）。代替的に、第１オブジェクトは、オブジェクトの動作方法であって、キャプチャされて格納されていたものであってもよい（例えば、犬のかわいらしい一連の行為がキャプチャされており、アルゴリズムを使用することによって、行為の動作方法式がローカルに格納されるか又はクラウドに格納されている）。代替的に、第１オブジェクトは、特定のオブジェクトの予め設定された動作方法であってもよい（例えば、人間関連の動作方法のみが選択される）。
【０１４６】
特定の実施プロセスでは、予め設定されたターゲット動作方法の１つが選択されてもよい（例えば、人の行為、犬の行為、猫の行為、馬の行為などがローカルに格納され、ユーザーは、ユーザーの好みやオブジェクト・タイプの適合度に基づいて、特定のカテゴリを選択してもよい）。
【０１４７】
具体的な実装プロセスでは、動作方法は、アニメーション制作ソフトを使用することによりユーザーが作成してもよい。もちろんソフトウェアは、システムに組み込まれたツールキットであってもよいし、スキャニング及び動作再構築のためにアプリケーションにロードされたツールキットであってもよいし、あるいは第三者のアニメーション設計ツールからのものであってもよい。動作方法は、過去に作成された、又は現在作成される移動方法又はアニメーションであってもよい。
【０１４８】
具体的な実現プロセスにおいて、動作方法は、物理的な属性に基づいた複数の予め格納された動作方法の中から、最も高い属性一致度を有する動作方法がターゲット動作方法として選択されるものであってもよい。例えば、魚が泳いでいるアニメーション、蛙がジャンプするアニメーション、馬が走っているアニメーションがローカルに予め格納される。ユーザーによりスキャンされるターゲット・オブジェクトが鹿である場合、ウマが走っているアニメーションが、鹿のターゲット動作方法として使用される（馬は、魚や蛙と比較して、外観、生物学的な種、骨格構造において、より鹿に類似している）。
【０１４９】
特定の実施プロセスにおいて、動作方法は、代替的に、システム又はユーザー自らが、ターゲット動作方法を得るために、ターゲット・オブジェクトの骨格モデル（前述のステップで任意の方法を使用することにより得ることができる）に基づいて骨格モデルを設計したものであってもよい。このような方法は、後にオブジェクトの３Ｄモデル上でアニメーションを実現するための最も適切なアニメーション方法である。
【０１５０】
特定の実装プロセスでは、動作方法は予め設定された骨格アニメーションであってもよく、通常は専門のアニメーション設計者によって作成される。
【０１５１】
骨格アニメーションは、骨格フレームワーク内での各関節の経時的な動的な変化を記述し、通常、キーフレーム形式で格納され表現されることが、理解されるべきである。一般に、１秒あたりのフレームの概念（ＦＰＳ）が使用され、これは１秒に含まれるフレームの量を意味する。骨格アニメーションは、骨格フレームワークから逸脱して存在することはできず、そうでなければ３Ｄモデルは駆動され得ない。従って、骨格アニメーションは、通常、特定の骨格フレームワークに依存して存在する。骨格フレームワークは、通常、リグと呼ばれ、一連の骨格フレームワークに含まれる骨格、すべての骨格間の継ぎ合わせ関係、各骨格のデフォルト変形（即ち、ポーズ）、及びその他の追加情報を記述する。ポーズは、骨格フレーム内の各関節の変化後の静的状態、例えば、立っていること又は走っていることのフレームなどを記述する。各々の骨格フレームワークは、結合ポーズを格納し、これは骨格フレームワークが作成される場合のデフォルト・ポーズである。ポーズは、一般に、骨格フレームワークの階層関係を格納せず、アレイを使用して、各関節の変化を順次格納する。関節は特定の骨格に属しており、従って、骨格フレームワークから逸脱して使用することはできない。更に、ポーズは骨格アニメーションのサンプリング結果の一部である。骨格フレームワーク、ポーズ、及び骨格アニメーションが互いに関連付けられ、これは以後のアニメーション動作を共同で実現することを知ることができる。
【０１５２】
ステップ２５
【０１５３】
骨格アニメーションは、一連のオブジェクトについての、位置、回転、及びスケーリングの動きであって、経時的に変化し、ツリー構造に基づいて格納されるもの、を本質的に記録している。各オブジェクトは骨格である。アニメーションは次のように実行される：一連のアニメーションにおける骨格アニメーション変化が、３Ｄモデルにマッピングされ、その３Ｄモデルにおいて以前のステップ「自動骨格リギング」で骨格がリギングされており、そのようなアクションのマッピング実装は、ゲーム・エンジン、アニメーション・エンジンなどを含むが、これらに限定されず；ポーズ変化が、３Ｄモデルに関して骨格変化に基づいて実行され、一貫したポーズ変化は一連のアニメーション・アクションである。ユーザーにとって、スキャンされたオブジェクトは視覚的に「再活性化」され、静的オブジェクトは「アニメート」される。アニメーション実現プロセスにおいて、スキニング（ｓｋｉｎｎｉｎｇ）技術は、オブジェクト３Ｄモデルが骨格モデルを使用して動かされることを確実にする基礎である。
【０１５４】
オブジェクトの３Ｄモデルのアニメーションは、骨格を装備した３Ｄモデルが、骨格モデルの変化する一連のアクションにマッピングされるように表現される。各フレームに関し、骨格の変化に基づいて、変形が、３Ｄモデルの表面（即ち、オブジェクトの３Ｄモデルの表皮）において実現されることを必要とする。このようなプロセスは、スキニングと呼ばれる。従って、これは３Ｄモデルからアクションへのマッピングを実現し、それによってアニメーション効果を達成する。
【０１５５】
特定の実装プロセスでは、線形ブレンディング・スキニング（ＬＢＳ）ソリューションが使用されてもよい。３Ｄモデルの表面上の任意の点に対して、現在の状態は、以下の式を使用することにより、以前の状態位置に基づいて取得されてもよい。ｖｉは以前の状態位置を表し、ｖｉ’は現在の状態位置を表し、ｗｉ，ｊは点ｉにおけるｊ番目の骨格のウェイトを表し、Ｔｊは変換行列を表す。特定の数量の頂点ｗｉｊが変換行列に従って決定された後、点−点変換が実行され、従って、アニメーションを実現するように、変換された３Ｄモデルが決定される。スキニング技術の核心は、各々の骨格に対応する各頂点のウェイトを発見することである。
【数５】
2021527895.tif 000007
【０１５６】
特定の実装プロセスにおいて、ウェイトは熱平衡と同様な方法で計算されてもよい。３Ｄモデルは断熱伝導体と考えられ、ｉ番目の骨格の温度は１℃に設定され、他のすべての骨格の温度は０℃に設定される。熱平衡原理によれば、表面上の頂点の平衡後に得られる温度は、点のウェイトとして設定されることが可能であり、ウェイト値は０から１の範囲にある。熱平衡に基づくウェイト計算法を用いることは、ウェイト計算結果を滑らかにし、提示される行動の影響を、より現実的で自然なものにする。
【０１５７】
オブジェクトの３Ｄモデルのアクション変化は、埋め込まれた骨格の位置を変えることによって（即ち、アニメーションによって）実現され、スキニング効果は視覚的にユーザーに提示されることが理解されるべきである。別段の設定をしない限り、ユーザーは、オブジェクトの３Ｄモデルがない場合に、骨格アニメーションを見ることを許容されてもよい。
【０１５８】
特定のアニメーション・プロセスは図１１に示されることが可能である。予め設定された骨格図とマルチ・フレーム動作を使用することにより、即ち、動作モデル又はアニメーション・モデルに従って、ターゲット骨格モデルが装備された３Ｄモデル上でアクションマッピングが実行され、ターゲット骨格モデルは、予め設定された動作モデルに従ってターゲット骨格モデルを動かすように制御される。アニメーション・プロセスでは、計算が実行され、スキニング・データがリアル・タイムで更新され、その結果、３Ｄモデルはターゲット骨格モデルとの滑らかな動きを実現することが可能であり、それによって３Ｄモデルのアニメーションを実現する。ターゲット・オブジェクトの骨格モデルはアニメーションの骨格構造と完全に同一でなくてもよいことが理解されるべきである。従って、位置マッピングは、オブジェクトの骨格モデルとアニメーションの骨格構造との間で実行されることが可能である。例えば、主要関節は一貫していることを必要とし、骨格の長さは比例して設定される可能性がある。代替的に、オブジェクトの骨格モデルとアニメーションの骨格構造とは、互いに適合させることが可能であり、例えば少なくともアニメーションの骨格構造がオブジェクトの３Ｄモデルの外表面を越えないようにするために、比例的した切断及び延長が実行されてもよい。更に、アニメーションの骨格をトリミングして調整し、アニメーションの骨格がオブジェクトの３Ｄモデルを最大限にサポートするように、幾つかの物理的な操作が実行されてもよく、その結果、アニメーションの骨格モデルはオブジェクトの３Ｄモデルとより調和する。
【０１５９】
前述のステップ２１からステップ２５は、一回限りの方法でステップごとに完了させられてもよいし、あるいは特定のインターバルで実行されてもよい。例えば、３Ｄモデルを得るためにオブジェクトをスキャニングした後に、ユーザーは、３Ｄモデルをローカルに格納してもよいし、あるいは３Ｄモデルをクラウドに格納してもよく、ある期間の後に３Ｄモデルを直接的に呼び出して、骨格リギングを自由に選択してもよいし、又はアニメーション方法を自由に選択してもよく、あるいは、リアル・タイムでキャプチャされた画像、ローカルに格納された画像、クラウド内のデータ画像などを含むがこれらに限定されないアニメーション背景を更に選択してもよい。また、オブジェクトのアニメーションが端末に表示されている間に、オブジェクトの影が更に表示されてもよいし、あるいは音声効果や特殊効果などが追加されてもよい。アニメーションは、モバイル端末によって自動的に再生されてもよいし、あるいはユーザーによるオペレーション命令を入力することによって再生されるように制御されてもよい。
【０１６０】
前述の実施形態は単に本発明の幾つかのオプション的な実装であることが理解されるべきである。更に、カメラ・パラメータ設計、アルゴリズム実装、ユーザー設定、端末オペレーティング・システム、端末が位置する環境、及びユーザーの使用習慣は異なるので、前述の実施形態におけるデバイス・パラメータ、ユーザーにより使用される方法、及び関連するアルゴリズムはそれぞれ複数のバリエーションを有する。これらは、列挙によって一つずつリスト化することはできず、当業者は、前述の理論に基づく適応的な調整によって生じる技術的ソリューションは、従来の方法の一部の置換も含めて、本発明の保護範囲内に該当するものとしていることを理解するはずである。
【０１６１】
本発明によれば、ターゲット・オブジェクトに対するスキャニング、３Ｄ再構成、骨格リギング、及び予め設定されたアニメーション表示などの一連の動作の統合が、モバイル端末上で実現されることが可能である。ユーザーにとって、３Ｄスキャニングは容易に実行できる。また、モバイル端末の撮影技術の幅広いアプリケーションにより、２Ｄ画像の提示から３Ｄアニメーションの提示への移行が実現可能となり、ユーザーは、実際にスキャンしてモデル化されたオブジェクトに対して、仮想的なアニメーション・アクションを最終的に実装することを許容される。これは、ユーザーがモバイル端末を使用することへの関心を大幅に高め、ユーザーのスティッキネスを向上させ、撮影アプリケーションを新しいトレンドに導く。
【０１６２】
本発明の実施形態は、前述の実施形態で提供されたオブジェクト・モデリング動作方法に基づいて、オブジェクト・モデリング動作装置７００を提供する。装置７００は、様々な撮影装置に適用されてもよい。図１２に示すように、装置７００は、スキャニング・モジュール７０１、第１取得モジュール７０２、融合モジュール７０３、第２取得モジュール７０４、及び動作モジュール７０５を含む。装置はモバイル端末に適用され、モバイル端末はカラー・カメラ及び深度カメラを含み、カラー・カメラ及び深度カメラはモバイル端末の一方の側に配置される。関連する特徴については、前述の方法の実施形態の説明を参照されたい。
【０１６３】
スキャニング・モジュール７０１は、カラー・カメラと深度カメラを使用することにより、ターゲット・オブジェクトに対してパノラマ・スキャニングを実行し、ターゲット・オブジェクトの３Ｄモデルを取得するように構成されている。スキャニング・モジュール７０１は、メモリ内のプログラム命令を呼び出すことによって、プロセッサにより、カラー・カメラと深度カメラに対して動作制御を行うことができる。更に、スキャニング中に収集された画像は、メモリに選択的に格納されてもよい。
【０１６４】
第１取得モジュール７０２は、ターゲット骨格モデルを取得するように構成される。第１取得モジュール７０２は、対応するプログラム命令を呼び出すことによって、プロセッサにより実現されてもよい。更に、第１取得モジュール７０２は、対応する計算を実行するために、ローカル・メモリ又はクラウド・サーバー内のデータ及びアルゴリズムを呼び出すことによって実現されてもよい。
【０１６５】
融合モジュール７０３は、ターゲット骨格モデルとターゲット・オブジェクトの３Ｄモデルとを融合するように構成される。融合モジュール７０３は、対応するプログラム命令を呼び出すことによって、プロセッサにより実現されてもよい。更に、融合モジュール７０３は、対応する計算を実行するために、ローカル・メモリ又はクラウド・サーバー内のデータ及びアルゴリズムを呼び出すことによって実現されてもよい。
【０１６６】
第２取得モジュール７０４は、ターゲット動作方法を取得するように構成される。第２取得モジュール７０４は、対応するプログラム命令を呼び出すことによって、プロセッサにより実現されてもよい。更に、第２取得モジュール７０４は、対応する計算を実行するために、ローカル・メモリ又はクラウド・サーバー内のデータ及びアルゴリズムを呼び出すことによって実現されてもよい。
【０１６７】
動作モジュール７０５は、ターゲット骨格モデルをターゲット動作方法で制御し、ターゲット・オブジェクトの３Ｄモデルをターゲット動作方法で動かすように構成される。動作モジュール７０５は、対応するプログラム命令を呼び出すことによって、プロセッサにより実現されてもよい。更に、動作モジュール７０５は、対応する計算を実行するために、ローカル・メモリ又はクラウド・サーバー内のデータ及びアルゴリズムを呼び出すことによって実現されてもよい。
【０１６８】
具体的な実装プロセスにおいて、スキャニング・モジュール７０１は、ステップ２１で言及した方法及び均等な置換方法を実行するように具体的に構成される。第１取得モジュール７０２は、ステップ２２で言及した方法及び均等な置換方法を実行するように具体的に構成される。融合モジュール７０３は、ステップ２３で言及した方法及び均等な置換方法を実行するように具体的に構成される。第２取得モジュール７０４は、ステップ２４で言及した方法及び均等な置換方法を実行するように具体的に構成される。動作モジュール７０５は、ステップ２５で言及した方法及び均等な置換方法を実行するように具体的に構成される。
【０１６９】
より具体的には、スキャニング・モジュール７０１は、ステップ３３１〜ステップ３３７及びステップ３４１〜ステップ３４３の方法を実行してもよい。融合モジュール７０３は、ステップ３５１〜ステップ３５６の方法を実行することができる。
【０１７０】
上記の具体的な方法の実施形態及び実施形態における技術的特徴の解釈、説明、拡張は、装置の実施形態における方法の実行にも適用可能であり、装置の実施形態において詳細は説明されない。
【０１７１】
本発明のこの実施形態で提供される装置７００は、スキャニング、３Ｄ再構成、骨格リギングから、オブジェクトに対する予め設定されたアニメーション表示までの統合された設計が、専門的なスキャニングのために専門的で負担の重い複雑な装置を使用することをユーザーに要求することなく、あるいは複雑なモデリング及びアニメーション処理をＰＣにおいて実行することなく、実現されることが可能である。これらの機能は、ユーザーのために統合され及び提供され、その結果、ユーザーは１つのモバイル端末上でこれらの動作方法を容易に実行することができ、ユーザー周囲の任意の「静止オブジェクト（又は静止オブジェクトに類似するもの）」がアニメーション化及び活性化され、それにより、ユーザーによる端末利用に対する関心を高め、ユーザーの体感を向上させることができる。
【０１７２】
前述の装置７００における複数のモジュールへの分割は、単に論理的な機能分割であり、そのうちの全部又は一部が、実際の実装では１つの物理的な実体に統合されてもよいし、あるいは物理的に分離されていてもよいことが理解されるべきである。例えば、前述のモジュールの各々は、別個の処理要素であってもよいし、あるいは端末のチップ上に集積されてもよいし、あるいはプログラム・コードの形態でコントローラの記憶素子に格納されてもよく、プロセッサの処理要素は、前述のモジュール各々の機能を呼び出して実行する。更に、モジュールは、統合されてもよいし、あるいは独立して実装されてもよい。処理要素は、集積回路チップであってもよく、信号処理能力を有する。実装プロセスにおいて、前述の方法におけるステップ又は前述のモジュールは、処理要素内のハードウェア集積論理回路を使用することによって、又はソフトウェアの形式における命令を使用することによって実現されることが可能である。処理要素は、汎用プロセッサ、例えば中央処理ユニット（英：ｃｅｎｔｒａｌ  ｐｒｏｃｅｓｓｉｎｇ  ｕｎｉｔ，略称ＣＰＵ）であってもよいし、あるいは前述の方法を実現するように構成された１つ以上の集積回路、例えば１つ以上の特定用途向け集積回路（英：ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ  ｉｎｔｅｇｒａｔｅｄ  ｃｉｒｃｕｉｔ，略称ＡＳＩＣ）、又は１つ以上のマイクロプロセッサ（英：ｄｉｇｉｔａｌ  ｓｉｇｎａｌ  ｐｒｏｃｅｓｓｏｒ，略称ＤＳＰ）、又は１つ以上のフィールド・プログラマブル・ゲート・アレイ（英：ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ  ｇａｔｅ  ａｒｒａｙ，略称ＦＰＧＡ）等であってもよい。
【０１７３】
本発明の実施形態は、方法、システム、又はコンピュータ・プログラム製品として提供されてもよいことを、当業者は理解するはずである。従って、本発明は、ハードウェアのみの実施形態、ソフトウェアのみの実施形態、又はソフトウェアとハードウェアの組み合わせによる実施形態の形態を使用することができる。更に、本発明は、コンピュータで使用可能なプログラム・コードを含む１つ以上のコンピュータで使用可能な記憶媒体（ディスクメモリ、ＣＤ−ＲＯＭ、光メモリなどを含むが、これらに限定されない）において実現されるコンピュータ・プログラム製品の形態を使用することができる。
【０１７４】
本発明は、本発明の実施形態による方法、デバイス（システム）、コンピュータ・プログラム製品のフローチャート及び／又はブロック図を参照して説明されている。コンピュータ・プログラム命令は、フローチャート及び／又はブロック図における各プロセス及び／又は各ブロック、並びにフローチャート及び／又はブロック図におけるプロセス及び／又はブロックの組み合わせを実現するために使用されてもよいことが理解されるべきである。これらのコンピュータ・プログラム命令は、マシンを生成するために、汎用コンピュータ、専用コンピュータ、内蔵プロセッサ、又は任意の他のプログラマブル・データ処理デバイスのプロセッサに提供されることが可能であり、その結果、コンピュータ又は任意の他のプログラマブル・データ処理デバイスのプロセッサにより実行される命令は、フローチャートの１つ以上のプロセス及び／又はブロック図の１つ以上のブロックにおける特定の機能を実現するための装置をもたらす。
【０１７５】
これらのコンピュータ・プログラム命令は、コンピュータ読み取り可能なメモリに格納されてもよく、コンピュータ又は他の任意のプログラマブル・データ処理デバイスが特定の方法で動作するように命令することが可能であり、その結果、コンピュータ読み取り可能なメモリに格納された命令は、命令装置を含む人工物をもたらす。命令装置は、フローチャートの１つ以上のプロセス及び／又はブロック図の１つ以上のブロックにおける特定の機能を実現する。
【０１７６】
これらのコンピュータ・プログラム命令は、コンピュータ又は他のプログラマブル・データ処理デバイスにロードされてもよく、その結果、一連の動作及びステップがコンピュータ又は他のプログラマブル・デバイス上で実行され、それにより、コンピュータに実装された処理をもたらす。従って、コンピュータ又は別のプログラマブル・デバイスにおいて実行される命令は、フローチャートの１つ以上のプロセス及び／又はブロック図の１つ以上のブロックにおいて特定の機能を実現するためのステップを提供する。
【０１７７】
本発明の実施形態が説明されているが、当業者は、いったん基本的な発明概念を学ぶと、これらの実施形態に対する変更及び修正を行うことが可能である。従って、以下の特許請求の範囲は、本発明の範囲内に該当する実施形態並びに全ての変更及び修正をカバーするように解釈されることを意図している。当業者は、本発明の実施形態の精神及び範囲から逸脱することなく、本発明の実施形態に対して種々の修正及び変更を行うことができることは明らかである。本発明は、以下の特許請求の範囲及びそれらの均等な技術によって規定される保護範囲内に該当することを条件として、これらの修正及び変形をカバーするように意図されている。
【図１】
2021527895.tif 000008
【図２】
2021527895.tif 000009
【図３】
2021527895.tif 000010
【図４】
2021527895.tif 000011
【図５】
2021527895.tif 000012
【図６】
2021527895.tif 000013
【図７】
2021527895.tif 000014
【図８】
2021527895.tif 000015
【図９】
2021527895.tif 000016
【図１０】
2021527895.tif 000017
【図１１】
2021527895.tif 000018
【図１２】
2021527895.tif 000019
【手続補正書】
【提出日】令和3年2月12日(2021.2.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
オブジェクト・モデリング動作方法であって、前記方法はモバイル端末に適用され、前記モバイル端末はカラー・カメラとデプス・カメラとを含み、前記カラー・カメラと前記デプス・カメラとは前記モバイル端末の一方の側に位置し、前記方法は、
前記カラー・カメラと前記デプス・カメラとを使用することにより、ターゲット・オブジェクトに関するパノラマ・スキャニングを実行し、カラー画像のシーケンスと深度マップのシーケンスとを取得するステップと、
カラー画像の前記シーケンスと深度マップの前記シーケンスとに基づいて前記ターゲット・オブジェクトの３Ｄモデルを取得するステップと、
第１オブジェクトの現在の動作方法を取得するステップと、
前記第１オブジェクトの前記現在の動作方法で動くように前記ターゲット・オブジェクトの前記３Ｄモデルを動かすステップと
を含む方法。
【請求項２】
第１オブジェクトの現在の動作方法を取得する前記ステップは、
前記第１オブジェクトのリアル・タイム・アクションをキャプチャするステップと、
前記第１オブジェクトの前記リアル・タイム・アクションの動作方法を、前記第１オブジェクトの前記現在の動作方法として使用するステップと
を含む、請求項１に記載の方法。
【請求項３】
前記方法は、
前記ターゲット・オブジェクトの前記３Ｄモデルが前記第１オブジェクトの前記現在の動作方法で動く場合に、前記第１オブジェクトの前記リアル・タイム・アクションのキャプチャされた画像を、前記ターゲット・オブジェクトの前記動作の背景として使用するステップ
を更に含む請求項１又は２に記載の方法。
【請求項４】
前記ターゲット・オブジェクトは静的なオブジェクトであり、前記第１オブジェクトはキャラクタである、請求項１〜３のうちの何れか１項に記載の方法。
【請求項５】
前記カラー・カメラと前記デプス・カメラとを使用することにより、ターゲット・オブジェクトに関するパノラマ・スキャニングを実行する前記ステップは、
前記ターゲット・オブジェクトをスキャンするために前記カラー・カメラと前記深度カメラとを同期して呼び出すステップであって、前記カラー・カメラの撮影フレーム・レート及び前記デプス・カメラの撮影フレーム・レートは両方とも２５ｆｐｓ以上である、ステップ
を含む、請求項１〜４のうちの何れか１項に記載の方法。
【請求項６】
前記カラー・カメラと前記デプス・カメラとを使用することにより、ターゲット・オブジェクトに関するパノラマ・スキャニングを実行する前記ステップの前に、前記方法は、
プレビュー画像を表示するステップであって、前記プレビュー画像における識別子は、前記ターゲット・オブジェクトがスキャンされることに適しているかどうかのプロンプトを示す、ステップ
を更に含む請求項１〜５のうちの何れか１項に記載の方法。
【請求項７】
前記カラー・カメラと前記デプス・カメラとを使用することにより、ターゲット・オブジェクトに関するパノラマ・スキャニングを実行する前記ステップの場合に、前記方法は、
前記モバイル端末のディスプレイ・インターフェースで前記ターゲット・オブジェクトのスキャニングの進行を提示するステップ
を更に含む請求項１〜６のうちの何れか１項に記載の方法。
【請求項８】
前記第１オブジェクトの前記現在の動作方法で動くように前記ターゲット・オブジェクトの前記３Ｄモデルを動かす前記ステップの場合に、前記方法は、
前記ディスプレイ・インターフェースにおいて前記ターゲット・オブジェクトの前記３Ｄモデルの影を表示する、又は前記ターゲット・オブジェクトの前記３Ｄモデルに特殊効果を追加するステップ
を更に含む請求項１〜７のうちの何れか１項に記載の方法。
【請求項９】
前記ターゲット・オブジェクトの３Ｄモデルを取得する前記ステップの後に、前記方法は、
ターゲット骨格モデルを取得するステップと、
前記ターゲット骨格モデルと前記ターゲット・オブジェクトの前記３Ｄモデルとを融合するステップと、
を更に含み、前記第１オブジェクトの前記現在の動作方法で動くように前記ターゲット・オブジェクトの前記３Ｄモデルを動かす前記ステップは、
前記第１オブジェクトの前記現在の動作方法で動くように前記ターゲット骨格モデルを制御し、前記第１オブジェクトの前記現在の動作方法で動くように前記ターゲット・オブジェクトの融合により取得された前記３Ｄモデルを動かすステップ
を更に含む請求項１〜８のうちの何れか１項に記載の方法。
【請求項１０】
ターゲット骨格モデルを取得する前記ステップは、
ユーザーのオペレーション命令を受け取るステップであって、前記オペレーション命令は、少なくとも２つの線分と少なくとも１つの点とを骨格モデルに結び付けるために使用され、前記線分は前記骨格モデルにおける骨格を表現し、前記点は前記骨格モデルにおける関節を表現する、ステップ、又は
前記ターゲット・オブジェクトの輪郭に一致する骨格モデルを取得し、前記骨格モデルを前記ターゲット骨格モデルとして使用するステップ
を含む請求項１〜９のうちの何れか１項に記載の方法。
【請求項１１】
前記方法は、
前記ターゲット骨格モデルと前記ターゲット・オブジェクトの前記３Ｄモデルとにスキニング・オペレーションを実行するステップであって、前記スキニング・オペレーションは、前記ターゲット骨格モデルの動作に基づいて前記ターゲット・オブジェクトの前記３Ｄモデルの表面上の点の位置変化を決定し、前記ターゲット・オブジェクトの前記３Ｄモデルが、前記ターゲット骨格モデルに沿って動くことを可能にするために使用される、ステップ
を更に含む請求項１〜１０のうちの何れか１項に記載の方法。
【請求項１２】
前記方法は、前記３Ｄモデルを前記モバイル端末にローカルに格納するステップを更に含む請求項１〜１１のうちの何れか１項に記載の方法。
【請求項１３】
前記方法は、前記モバイル端末により自動的に、又は前記ユーザーによりオペレーション命令を入力することにより、前記動作を再生するステップを更に含む請求項１〜１２のうちの何れか１項に記載の方法。
【請求項１４】
前記デプス・カメラにおける赤外光の送信パワーは５０ｍｗ〜４００ｍｗの範囲で選択される、請求項１〜１３のうちの何れか１項に記載の方法。
【請求項１５】
前記パノラマ・スキャニング中のオブジェクト・スキャニングに対するスキャニング距離は、２０ｃｍ〜８０ｃｍの範囲にある、請求項１〜１３のうちの何れか１項に記載の方法。
【請求項１６】
オブジェクト・モデリング動作装置であって、前記装置はモバイル端末に適用され、前記モバイル端末はカラー・カメラとデプス・カメラとを含み、前記カラー・カメラと前記デプス・カメラとは前記モバイル端末の一方の側に位置し、前記装置は、
前記カラー・カメラと前記デプス・カメラとを使用することにより、ターゲット・オブジェクトに関するパノラマ・スキャニングを実行し、カラー画像のシーケンスと深度マップのシーケンスとを取得し、且つカラー画像の前記シーケンスと深度マップの前記シーケンスとに基づいて前記ターゲット・オブジェクトの３Ｄモデルを取得するように構成されたスキャニング・モジュールと、
第１オブジェクトの現在の動作方法を取得するように構成された第２取得モジュールと、
前記第１オブジェクトの前記現在の動作方法で動くように前記ターゲット・オブジェクトの前記３Ｄモデルを動かすように構成された動作モジュールと
を含む装置。
【請求項１７】
前記第２取得モジュールは、
前記第１オブジェクトのリアル・タイム・アクションをキャプチャし、
前記第１オブジェクトの前記リアル・タイム・アクションの動作方法を、前記第１オブジェクトの前記現在の動作方法として使用する
ように具体的に構成されている、請求項１６に記載の装置。
【請求項１８】
前記動作モジュールは、
前記ターゲット・オブジェクトの前記３Ｄモデルが前記第１オブジェクトの前記現在の動作方法で動く場合に、前記第１オブジェクトの前記リアル・タイム・アクションのキャプチャされた画像を、前記ターゲット・オブジェクトの前記動作の背景として使用する
ように更に構成されている、請求項１６又は１７に記載の装置。
【請求項１９】
前記ターゲット・オブジェクトは静的なオブジェクトであり、前記第１オブジェクトはキャラクタである、請求項１６〜１８のうちの何れか１項に記載の装置。
【請求項２０】
前記スキャニング・モジュールは、
プレビュー画像を表示するように更に具体的に構成されており、
前記プレビュー画像における識別子は、前記ターゲット・オブジェクトがスキャンされることに適しているかどうかのプロンプトを示す、請求項１６〜１９のうちの何れか１項に記載の装置。
【請求項２１】
前記動作モジュールは、
前記モバイル端末のディスプレイ・インターフェースにおいて前記ターゲット・オブジェクトの前記３Ｄモデルの影を表示する、又は前記ターゲット・オブジェクトの前記３Ｄモデルに特殊効果を追加する
ように更に構成されている、請求項１６〜２０のうちの何れか１項に記載の装置。
【請求項２２】
前記装置は、
ターゲット骨格モデルを取得するように構成された第１取得モジュールと、
前記ターゲット骨格モデルと前記ターゲット・オブジェクトの前記３Ｄモデルとを融合するように構成された融合モジュールとを更に含み、
前記動作モジュールは、前記第１オブジェクトの前記現在の動作方法で動くように前記ターゲット骨格モデルを制御し、前記第１オブジェクトの前記現在の動作方法で動くように前記ターゲット・オブジェクトの融合により取得された前記３Ｄモデルを動かすように具体的に構成されており、
前記第１取得モジュールは、ユーザーのオペレーション命令を受け取るように具体的に構成されており、前記オペレーション命令は、少なくとも２つの線分と少なくとも１つの点とを骨格モデルに結び付けるために使用され、前記線分は前記骨格モデルにおける骨格を表現し、前記点は前記骨格モデルにおける関節を表現し、又は
前記第１取得モジュールは、前記ターゲット・オブジェクトの輪郭に一致する骨格モデルを取得し、前記骨格モデルを前記ターゲット骨格モデルとして使用するように具体的に構成されている、請求項１６〜２１のうちの何れか１項に記載の装置。
【請求項２３】
端末デバイスであって、前記端末デバイスは、メモリと、プロセッサと、バスと、デプス・カメラと、カラー・カメラとを含み、前記カラー・カメラと前記デプス・カメラとは前記端末デバイスの一方の側に位置し、前記メモリと、前記カラー・カメラと、前記デプス・カメラと、前記プロセッサとは前記バスを使用することにより接続され、前記デプス・カメラは深度マップを取得するように構成され、前記カラー・カメラはカラー・マップを取得するように構成され、前記メモリはコンピュータ・プログラムと命令とを格納するように構成され、前記プロセッサは、前記コンピュータ・プログラムと前記命令とを呼び出し、前記端末デバイスが請求項１〜１５のうちの何れか１項に記載の方法を実行できるように構成されている、端末デバイス。
【請求項２４】
前記端末デバイスはアンテナ・システムを更に含み、前記アンテナ・システムは、前記プロセッサの制御の下で無線通信信号を送受信してモバイル通信ネットワークとの無線通信を実現し、前記モバイル通信ネットワークは、ＧＳＭネットワーク、ＣＤＭＡネットワーク、３Ｇネットワーク、４Ｇネットワーク、５Ｇネットワーク、ＦＤＭＡ、ＴＤＭＡ、ＰＤＣ、ＴＡＣＳ、ＡＭＰＳ、ＷＣＤＭＡ、ＴＤＳＣＤＭＡ、Ｗｉ−Ｆｉ、及びＬＴＥネットワークのうちの１つ以上を含む、請求項２３に記載の端末デバイス。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０１７７
【補正方法】変更
【補正の内容】
【０１７７】
本発明の実施形態が説明されているが、当業者は、いったん基本的な発明概念を学ぶと、これらの実施形態に対する変更及び修正を行うことが可能である。従って、以下の特許請求の範囲は、本発明の範囲内に該当する実施形態並びに全ての変更及び修正をカバーするように解釈されることを意図している。当業者は、本発明の実施形態の範囲から逸脱することなく、本発明の実施形態に対して種々の修正及び変更を行うことができることは明らかである。本発明は、以下の特許請求の範囲及びそれらの均等な技術によって規定される保護範囲内に該当することを条件として、これらの修正及び変形をカバーするように意図されている。
【国際調査報告】
2021527895.tif 000020
2021527895.tif 000021
2021527895.tif 000022
2021527895.tif 000023