(57)【要約】  本発明は、３Ｄシーンでオブジェクトを再現するシステム及び方法を開示しており、前記システムは、表示すべきオブジェクトに対して、異なる角度から、同時に少なくとも２個のビデオストリームデータをリアルタイムに採集するためのオブジェクト採集手段と、前記少なくとも２個のビデオストリームデータから、リアルタイムに変化するオブジェクト形状を識別するためのオブジェクト識別手段と、前記リアルタイムに変化するオブジェクト形状に基づいて、対応するオブジェクト運動軌跡を取得するためのオブジェクト追跡手段と、前記リアルタイムに変化するオブジェクト形状及び対応するオブジェクト運動軌跡を３Ｄ画像に変換処理して、リアルタイムに３Ｄシーンに重畳投影するためのオブジェクト投影手段と、を含む。本発明の技術的解決手段は、オブジェクトを３Ｄシーンに再現し、３Ｄシーンにオブジェクトを忠実に表示するという目的を達成できる。【選択図】図１
2017534940.tif 000002
【特許請求の範囲】
【請求項１】
３Ｄシーンでオブジェクトを再現するシステムであって、
表示すべきオブジェクトに対して、異なる角度から、同時に少なくとも２個のビデオストリームデータをリアルタイムに採集するためのオブジェクト採集手段と、
前記少なくとも２個のビデオストリームデータから、リアルタイムに変化するオブジェクト形状を識別するためのオブジェクト識別手段と、
前記リアルタイムに変化するオブジェクト形状に基づいて、対応するオブジェクト運動軌跡を取得するためのオブジェクト追跡手段と、
前記リアルタイムに変化するオブジェクト形状及び前記対応するオブジェクト運動軌跡を３Ｄ画像に変換処理して、リアルタイムに３Ｄシーンに重畳投影するためのオブジェクト投影手段と
を含むことを特徴とするシステム。
【請求項２】
前記オブジェクト識別手段は、
前記少なくとも２個のビデオストリームデータの各々に対して、それぞれサンプリング処理を行い、毎回サンプリングしたビデオ画像データを取得するためのサンプリングモジュールと、
前記ビデオ画像データにオブジェクトが含まれているかどうかを判断し、オブジェクトが含まれている場合、前記ビデオ画像データに対して二値化処理を行って、オブジェクト輪郭情報を抽出するための輪郭抽出モジュールと、
予め設定されたオブジェクトモデルデータベースから、前記オブジェクト輪郭情報に対応するオブジェクト形状を識別するための形状識別モジュールと、
各ビデオストリームデータに対して毎回サンプリングして識別されたオブジェクト形状を合成して、リアルタイムに変化するオブジェクト形状を得るための形状合成モジュールと
を含むことを特徴とする請求項１に記載のシステム。
【請求項３】
前記オブジェクト追跡手段は、
リアルタイムに変化するオブジェクト形状の相対的空間位置情報を取得するための位置情報取得モジュールと、
リアルタイムに変化するオブジェクト形状において決められ、オブジェクトを識別する特徴的なキーポイントとなる接点に基づいて、前記リアルタイムに変化するオブジェクト形状における接点の変化情報を取得するための接点情報取得モジュールと、
前記相対的空間位置情報及び前記接点の変化情報に基づいて、予め設定された運動軌跡データベースから、対応するオブジェクト運動軌跡を取得するためのオブジェクト運動軌跡取得モジュールと
を含むことを特徴とする請求項１に記載のシステム。
【請求項４】
前記位置情報取得モジュールは、
前記少なくとも２個のビデオストリームデータのビデオ画像情報から、オブジェクト形状変化の角度情報を取得し、
前記オブジェクト形状変化の角度情報に基づいてオブジェクトの距離情報を取得し、或いは距離センサーによってオブジェクトの距離情報をリアルタイムにセンシングし、
前記オブジェクト形状変化の角度情報及び前記オブジェクトの距離情報に基づいて、オブジェクトの相対的空間位置情報を取得するために用いられることを特徴とする請求項３に記載のシステム。
【請求項５】
前記オブジェクト投影手段は、前記リアルタイムに変化するオブジェクト形状及び前記対応するオブジェクト運動軌跡を３Ｄ画像に変換処理して、画面分割技術によって前記３Ｄ画像を３Ｄシーンに投影するためにさらに用いられることを特徴とする請求項１に記載のシステム。
【請求項６】
３Ｄシーンでオブジェクトを再現する方法であって、
表示すべきオブジェクトに対して、異なる角度から、同時に少なくとも２個のビデオストリームデータをリアルタイムに採集するステップと、
前記少なくとも２個のビデオストリームデータから、リアルタイムに変化するオブジェクト形状を識別するステップと、
前記リアルタイムに変化するオブジェクト形状に基づいて、対応するオブジェクト運動軌跡を取得するステップと、
前記リアルタイムに変化するオブジェクト形状及び前記対応するオブジェクト運動軌跡を３Ｄ画像に変換処理して、リアルタイムに３Ｄシーンに重畳投影するステップと
を含むことを特徴とする方法。
【請求項７】
前記少なくとも２個のビデオストリームデータから、リアルタイムに変化するオブジェクト形状を識別する前記ステップは、
前記少なくとも２個のビデオストリームデータの各々に対して、それぞれサンプリング処理を行い、毎回サンプリングしたビデオ画像データを取得することと、
前記ビデオ画像データにオブジェクトが含まれているかどうかを判断し、オブジェクトが含まれている場合、前記ビデオ画像データに対して二値化処理を行って、オブジェクト輪郭情報を抽出することと、
予め設定されたオブジェクトモデルデータベースから、前記オブジェクト輪郭情報に対応するオブジェクト形状を識別することと、
各ビデオストリームデータに対して毎回サンプリングして識別されたオブジェクト形状を合成して、リアルタイムに変化するオブジェクト形状を得ることと
を含むことを特徴とする請求項６に記載の方法。
【請求項８】
前記リアルタイムに変化するオブジェクト形状に基づいて、対応するオブジェクト運動軌跡を取得する前記ステップは、
リアルタイムに変化するオブジェクト形状の相対的空間位置情報を取得することと、
リアルタイムに変化するオブジェクト形状において決められ、オブジェクトを識別する特徴的なキーポイントとなる接点に基づいて、前記リアルタイムに変化するオブジェクト形状における接点の変化情報を取得することと、
前記相対的空間位置情報及び前記接点の変化情報に基づいて、予め設定された運動軌跡データベースから、対応するオブジェクト運動軌跡を取得することと
を含むことを特徴とする請求項６に記載の方法。
【請求項９】
前記のリアルタイムに変化するオブジェクト形状の相対的空間位置情報を取得することは、
前記少なくとも２個のビデオストリームデータのビデオ画像情報から、オブジェクト形状変化の角度情報を取得することと、
前記オブジェクト形状変化の角度情報に基づいてオブジェクトの距離情報を取得し、或いは距離センサーによってオブジェクトの距離情報をリアルタイムにセンシングすることと、
前記オブジェクト形状変化の角度情報及び前記オブジェクトの距離情報に基づいて、オブジェクトの相対的空間位置情報を取得することと
を含むことを特徴とする請求項８に記載の方法。
【請求項１０】
前記リアルタイムに変化するオブジェクト形状及び前記対応するオブジェクト運動軌跡を３Ｄ画像に変換処理して、リアルタイムに３Ｄシーンに重畳投影する前記ステップは、
前記リアルタイムに変化するオブジェクト形状及び前記対応するオブジェクト運動軌跡を３Ｄ画像に変換処理することと、
画面分割技術によって前記３Ｄ画像を３Ｄシーンに投影することと
を含むことを特徴とする請求項６に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想現実の技術分野に関し、特に、３Ｄシーンでオブジェクトを再現するシステム及び方法に関する。
【背景技術】
【０００２】
仮想現実技術は、将来的に、人々のライフスタイルを変える新たなブレークスルーになると考えられるが、現在、仮想世界においてターゲットとのインタラクションを如何に行うのかは、仮想現実技術として直面しなければならない大きな課題であるため、仮想現実技術が消費市場へ本格参入するには、まだまだ長い道のりがある。
【０００３】
現在、従来の様々な仮想現実機器は、まだ、ユーザーと仮想世界との間のコミュニケーションを十分に行うことができず、３Ｄシーンにおいて、オブジェクトの形状や変位の変化をリアルタイムに表示することができず、オブジェクトを正確に再現することができない。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、オブジェクトを正確に再現することができないという従来技術の問題点を解決するために、３Ｄシーンでオブジェクトを再現するシステム及び方法を提供する。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、本発明の技術的解決手段は、下記のように実現される。
【０００６】
一つの局面において、本発明は、３Ｄシーンでオブジェクトを再現するシステムであって、
表示すべきオブジェクトに対して、異なる角度から、同時に少なくとも２個のビデオストリームデータをリアルタイムに採集するためのオブジェクト採集手段と、
前記少なくとも２個のビデオストリームデータから、リアルタイムに変化するオブジェクト形状を識別するためのオブジェクト識別手段と、
前記リアルタイムに変化するオブジェクト形状に基づいて、対応するオブジェクト運動軌跡を取得するためのオブジェクト追跡手段と、
前記リアルタイムに変化するオブジェクト形状及び前記対応するオブジェクト運動軌跡を３Ｄ画像に変換処理して、リアルタイムに３Ｄシーンに重畳投影するためのオブジェクト投影手段と、を含むシステムを提供している。
【０００７】
好ましくは、前記オブジェクト識別手段は、
前記少なくとも２個のビデオストリームデータの各々に対して、それぞれサンプリング処理を行い、毎回サンプリングしたビデオ画像データを取得するためのサンプリングモジュールと、
前記ビデオ画像データにオブジェクトが含まれているかどうかを判断し、オブジェクトが含まれている場合、前記ビデオ画像データに対して二値化処理を行って、オブジェクト輪郭情報を抽出するための輪郭抽出モジュールと、
予め設定されたオブジェクトモデルデータベースから、前記オブジェクト輪郭情報に対応するオブジェクト形状を識別するための形状識別モジュールと、
各ビデオストリームデータに対して毎回サンプリングして識別されたオブジェクト形状を合成して、リアルタイムに変化するオブジェクト形状を得るための形状合成モジュールと、を含む。
【０００８】
好ましくは、前記オブジェクト追跡手段は、
リアルタイムに変化するオブジェクト形状の相対的空間位置情報を取得するための位置情報取得モジュールと、
リアルタイムに変化するオブジェクト形状において決められ、オブジェクトを識別する特徴的なキーポイントとなる接点に基づいて、前記リアルタイムに変化するオブジェクト形状における接点の変化情報を取得するための接点情報取得モジュールと、
前記相対的空間位置情報及び前記接点の変化情報に基づいて、予め設定された運動軌跡データベースから、対応するオブジェクト運動軌跡を取得するための運動軌跡取得モジュールと、を含む。
【０００９】
好ましくは、前記位置情報取得モジュールは、具体的には、
前記少なくとも２個のビデオストリームデータのビデオ画像情報から、オブジェクト形状変化の角度情報を取得し、
前記オブジェクト形状変化の角度情報に基づいてオブジェクトの距離情報を取得し、或いは距離センサーによってオブジェクトの距離情報をリアルタイムにセンシングし、
前記オブジェクト形状変化の角度情報及び前記オブジェクトの距離情報に基づいて、オブジェクトの相対的空間位置情報を取得するために用いられる。
【００１０】
好ましくは、前記オブジェクト投影手段は、前記リアルタイムに変化するオブジェクト形状及び前記対応するオブジェクト運動軌跡を３Ｄ画像に変換処理して、画面分割技術によって前記３Ｄ画像を３Ｄシーンに投影するためにさらに用いられる。
【００１１】
もう一つの局面において、本発明は、３Ｄシーンでオブジェクトを再現する方法であって、
表示すべきオブジェクトに対して、異なる角度から、同時に少なくとも２個のビデオストリームデータをリアルタイムに採集するステップと、
前記少なくとも２個のビデオストリームデータから、リアルタイムに変化するオブジェクト形状を識別するステップと、
前記リアルタイムに変化するオブジェクト形状に基づいて、対応するオブジェクト運動軌跡を取得するステップと、
前記リアルタイムに変化するオブジェクト形状及び前記対応するオブジェクト運動軌跡を３Ｄ画像に変換処理して、リアルタイムに３Ｄシーンに重畳投影するステップと、を含む方法を提供している。
【００１２】
好ましくは、前記少なくとも２個のビデオストリームデータから、リアルタイムに変化するオブジェクト形状を識別する前記ステップは、
前記少なくとも２個のビデオストリームデータの各々に対して、それぞれサンプリング処理を行い、毎回サンプリングしたビデオ画像データを取得することと、
前記ビデオ画像データにオブジェクトが含まれているかどうかを判断し、オブジェクトが含まれている場合、前記ビデオ画像データに対して二値化処理を行って、オブジェクト輪郭情報を抽出することと、
予め設定されたオブジェクトモデルデータベースから、前記オブジェクト輪郭情報に対応するオブジェクト形状を識別することと、
各ビデオストリームデータに対して毎回サンプリングして識別されたオブジェクト形状を合成して、リアルタイムに変化するオブジェクト形状を得ることと、を含む。
【００１３】
好ましくは、前記リアルタイムに変化するオブジェクト形状に基づいて、対応するオブジェクト運動軌跡を取得する前記ステップは、
リアルタイムに変化するオブジェクト形状の相対的空間位置情報を取得することと、
リアルタイムに変化するオブジェクト形状において決められ、オブジェクトを識別する特徴的なキーポイントとなる接点に基づいて、前記リアルタイムに変化するオブジェクト形状における接点の変化情報を取得することと、
前記相対的空間位置情報及び前記接点の変化情報に基づいて、予め設定された運動軌跡データベースから、対応するオブジェクト運動軌跡を取得することと、を含む。
【００１４】
好ましくは、前記のリアルタイムに変化するオブジェクト形状の相対的空間位置情報を取得することは、
前記少なくとも２個のビデオストリームデータのビデオ画像情報から、オブジェクト形状変化の角度情報を取得することと、
前記オブジェクト形状変化の角度情報に基づいてオブジェクトの距離情報を取得し、或いは距離センサーによってオブジェクトの距離情報をリアルタイムにセンシングすることと、
前記オブジェクト形状変化の角度情報及び前記オブジェクトの距離情報に基づいて、オブジェクトの相対的空間位置情報を取得することと、を含む。
【００１５】
好ましくは、前記リアルタイムに変化するオブジェクト形状及び前記対応するオブジェクト運動軌跡を３Ｄ画像に変換処理して、リアルタイムに３Ｄシーンに重畳投影する前記ステップは、
前記リアルタイムに変化するオブジェクト形状及び前記対応するオブジェクト運動軌跡を３Ｄ画像に変換処理することと、
画面分割技術によって前記３Ｄ画像を３Ｄシーンに投影することと、を含む。
【発明の効果】
【００１６】
本発明の実施例の有益な効果としては、次のことが挙げられる。本発明の実施例は、３Ｄシーンでオブジェクトを再現するシステム及び方法を開示しており、前記システムにおいては、オブジェクト採集手段により、表示すべきオブジェクトに対して、異なる角度から、同時に少なくとも２個のビデオストリームデータをリアルタイムに採集し、オブジェクト識別手段により、前記少なくとも２個のビデオストリームデータから、完全なオブジェクト情報を有するオブジェクト形状を識別し、オブジェクト追跡手段により、前記リアルタイムに変化するオブジェクト形状に対応するオブジェクト運動軌跡を取得し、オブジェクト投影手段により、リアルタイムに変化するオブジェクト形状及び対応するオブジェクト運動軌跡を３Ｄ画像に変換処理して、リアルタイムに３Ｄシーンに重畳投影することで、３Ｄシーンにおいて、忠実なオブジェクトを表示するという目的を達成した。従来技術に比べ、本発明は、データベースのオブジェクト形状に応じて、表示すべきオブジェクトを再描画する必要がなく、採集したオブジェクトの画像をそのまま忠実に表示することができるため、ユーザーの利用体験を向上させた。
【図面の簡単な説明】
【００１７】
図面は、本発明に対する更なる理解のために提供されるものであり、明細書の一部とされ、本発明の実施例とともに本発明を解釈するために用いられるが、本発明を制限するものではない。
【図１】本発明の実施例に係る３Ｄシーンでオブジェクトを再現するシステムの構造模式図である。
【図２】本発明の実施例に係るオブジェクトを仮想現実ヘッドマウント機器に再現する技術のフローチャートである。
【図３】本発明の実施例に係る３Ｄシーンでオブジェクトを再現する方法のフローチャートである。
【発明を実施するための形態】
【００１８】
本発明の目的、技術的解決手段及び利点がより明白になるように、以下、図面を参照して、本発明の実施形態について更に詳しく説明する。
【００１９】
本発明の主な技術的構想は、少なくとも２個のカメラを用いて、異なる角度から、オブジェクトをリアルタイムに採集し、各カメラが採集したビデオストリームデータに基づいてオブジェクト形状を識別し、識別されたオブジェクト形状に基づいて対応するオブジェクト運動軌跡を取得し、リアルタイムに変化するオブジェクト形状及び対応するオブジェクト運動軌跡を３Ｄ画像に変換処理して、リアルタイムに３Ｄシーンに重畳投影することで、３Ｄシーンにオブジェクトを忠実に再現することにある。
【００２０】
図１は、本発明の実施例に係る３Ｄシーンでオブジェクトを再現するシステムの構造模式図であり、前記システムは、オブジェクト採集手段１１と、オブジェクト識別手段１２と、オブジェクト追跡手段１３と、オブジェクト投影手段１４とを含む。
【００２１】
オブジェクト採集手段１１は、表示すべきオブジェクトに対して、異なる角度から、同時に少なくとも２個のビデオストリームデータをリアルタイムに採集するために用いられる。
【００２２】
ここで、オブジェクト採集手段１１は、複数個のカメラによって、異なる角度から、表示すべきオブジェクトをリアルタイムに採集することで、複数個のビデオストリームデータを取得してもよい。実際の応用において、システムのデータ処理の性能及びシステム精度の要求に応じて、適切な数のカメラを選択して、対応する数のビデオストリームデータを採集することが可能である。説明しておきたいのは、オブジェクト採集手段１１におけるカメラは、通常性能の白色光カメラであっても良いし、赤外線カメラであっても良く、本実施例では、オブジェクト採集手段を特に限定しないとする。
【００２３】
オブジェクト識別手段１２は、少なくとも前記２個のビデオストリームデータから、リアルタイムに変化するオブジェクト形状を識別するために用いられる。
【００２４】
オブジェクト追跡手段１３は、リアルタイムに変化するオブジェクト形状に基づいて、対応するオブジェクト運動軌跡を取得するために用いられる。
【００２５】
オブジェクト投影手段１４は、リアルタイムに変化するオブジェクト形状及び対応するオブジェクト運動軌跡を３Ｄ画像に変換処理して、リアルタイムに３Ｄシーンに重畳投影するために用いられる。
【００２６】
実際の応用において、オブジェクト投影手段１４は、リアルタイムに変化するオブジェクト形状及び対応するオブジェクト運動軌跡を３Ｄ画像に変換処理して、画面分割技術によって３Ｄ画像を３Ｄシーンに投影する。即ち、メイン表示画面で３Ｄシーンを表示し、３Ｄ画像に変換処理されたリアルタイムに変化するオブジェクト形状及び対応するオブジェクト運動軌跡を別の表示画面で表示して、光学の関連原理により、オブジェクトの形状及び変位を含む３Ｄシーンを人々の目に見えるようにする。
【００２７】
本実施例においては、オブジェクト採集手段により、オブジェクトに対して、少なくとも２個のビデオストリームデータをリアルタイムに採集し、オブジェクト識別手段により、少なくとも２個のビデオストリームデータから、完全なオブジェクト情報を有するオブジェクト形状を識別し、オブジェクト追跡手段により、対応するオブジェクト運動軌跡を取得した後、オブジェクト投影手段により、リアルタイムに変化するオブジェクト形状及び対応するオブジェクト運動軌跡を３Ｄ画像に変換処理して、リアルタイムに３Ｄシーンに重畳投影することで、３Ｄシーンにおいて忠実なオブジェクトを再現するという目的を達成した。
【００２８】
好ましくは、上述した図１に示す実施例におけるオブジェクト識別手段１２は、サンプリングモジュールと、輪郭抽出モジュールと、形状識別モジュールと、形状合成モジュールとを含む。
【００２９】
サンプリングモジュールは、少なくとも２個のビデオストリームデータの各々に対して、それぞれサンプリング処理を行い、毎回サンプリングしたビデオ画像データを取得するために用いられる。
【００３０】
輪郭抽出モジュールは、ビデオ画像データにオブジェクトが含まれているかどうかを判断し、オブジェクトが含まれている場合、ビデオ画像データに対して二値化処理を行って、オブジェクト輪郭情報を抽出するめに用いられる。
【００３１】
形状識別モジュールは、予め設定されたオブジェクトモデルデータベースから、オブジェクト輪郭情報に対応するオブジェクト形状を識別するために用いられる。
【００３２】
例えば、上述したオブジェクトモデルデータベースには、様々なオブジェクトモデルが保存されており、当該オブジェクトモデルは、生体としての特徴を持つ人体の手部、頭部などの部位であっても良いし、機械、電気機器であっても良く、このとき、形状識別モジュールは、当該オブジェクトモデルデータベースにおける様々なオブジェクトモデルに基づいて、当該オブジェクト輪郭情報を識別して、対応するオブジェクト形状を取得することが可能である。
【００３３】
形状合成モジュールは、各ビデオストリームデータに対して毎回サンプリングして識別されたオブジェクト形状を合成して、リアルタイムに変化するオブジェクト形状を得るために用いられる。
【００３４】
実際の応用において、各ビデオストリームデータ毎にサンプリングされたのは、いずれもオブジェクトの一部しかなく、同一時刻に完全なオブジェクトを取得することができないので、本実施例は、形状合成モジュールを用いて、各ビデオストリームデータに対して毎回サンプリングした後に識別されたオブジェクト形状を合成処理することで、情報のより多いオブジェクト形状を取得する。
【００３５】
上述したように、オブジェクト識別手段は、各ビデオストリームデータにおけるオブジェクト輪郭情報に基づいて、対応するオブジェクト形状を識別するとともに、複数個のビデオストリームデータから識別されたオブジェクトを合成して、オブジェクトの全ての情報を含むオブジェクト形状を得ることで、３Ｄシーンに再現されるオブジェクトの忠実性を高めて、ユーザーの利用体験を向上させた。
【００３６】
好ましくは、上述した図１に示す好ましい実施例におけるオブジェクト追跡手段は、位置情報取得モジュールと、接点情報取得モジュールと、運動軌跡取得モジュールとを含む。
【００３７】
位置情報取得モジュールは、リアルタイムに変化するオブジェクト形状の相対的空間位置情報を取得するために用いられる。
【００３８】
複数のカメラが同一時刻で、異なる角度からオブジェクトを撮影するときに、各カメラから出射した光がオブジェクトと夾角を成すことになり、もしオブジェクトが移動したり、変化したりする場合、各カメラから出射した光とオブジェクトとの夾角が変化する可能性があり、これらの夾角の変化が、ビデオストリームデータに反映されると、空間位置の変化として表れるので、この技術的解決手段では、この客観的な事実に基づいて、リアルタイムに変化するオブジェクト形状の相対的空間位置情報を取得している。
【００３９】
具体的には、本発明は、リアルタイムに変化するオブジェクト形状の相対的空間位置情報を取得する２つの手法を模式的に示している。そのうち、オブジェクト形状の相対的空間位置情報を取得する１つ目の手法としては、
位置情報取得モジュールは、前記オブジェクト採集手段により採集された少なくとも２個のビデオストリームデータのビデオ画像情報から、オブジェクト形状変化の角度情報を取得し、オブジェクト形状変化の角度情報に基づいてオブジェクトの距離情報を取得し、オブジェクト形状変化の角度情報とオブジェクトの距離情報を合わせて、オブジェクトの相対的空間位置情報を取得する。
【００４０】
オブジェクト形状の相対的空間位置情報を取得する２つ目の手法としては、
位置情報取得モジュールは、前記オブジェクト採集手段により採集された少なくとも２個のビデオストリームデータのビデオ画像情報から、オブジェクト形状変化の角度情報を取得し、距離センサーによってオブジェクトの距離情報をリアルタイムにセンシングし、オブジェクト形状変化の角度情報とオブジェクトの距離情報を合わせて、オブジェクトの相対的空間位置情報を取得する。
【００４１】
上述した２つの手法は、いずれも、オブジェクト形状変化の角度情報とオブジェクトのリアルタイム距離情報を合わせることにより、オブジェクト形状の相対的空間位置情報を取得する精度を向上させるものである。１つ目の手法では、別途センサーを要せずに、ビデオストリームデータ自体により提供された情報だけで、オブジェクト形状の相対的空間位置情報を取得可能であるが、実現するには、高度なアルゴリズムが必要であり、システムの計算複雑度が高まってしまう。一方、２つ目の手法では、距離センサーによってオブジェクトの距離変化をリアルタイムにセンシングするため、簡単なアルゴリズムで、精度の高い相対的空間位置情報を取得することを実現する。実際の使用にあたって、具体的な設計要求に応じて適切な手法を選択しても良い。
【００４２】
接点情報取得モジュールは、リアルタイムに変化するオブジェクト形状において決められた接点に基づいて、リアルタイムに変化するオブジェクト形状における接点の変化情報を取得するために用いられ、前記接点がオブジェクトを識別する特徴的なキーポイントとなる。
【００４３】
説明しておきたいのは、本モジュールにおける接点は、オブジェクトを識別する特徴的なキーポイントであり、リアルタイムに変化するオブジェクト形状をより最適に特定するために、当該キーポイントは、運動オブジェクトの各関節点とするのが好ましい。本技術的解決手段は、オブジェクト形状における接点の数及び設定方式を特に限定しないので、設計の際に、システムの精度とデータ処理能力などの要求を総合的に考慮して具体的に設計を行えば良い。
【００４４】
運動軌跡取得モジュールは、相対的空間位置情報及び接点の変化情報に基づいて、予め設定された運動軌跡データベースから、対応するオブジェクト運動軌跡を取得するために用いられる。
【００４５】
本技術的解決手段の有益な効果をより詳しく説明するために、オブジェクトを仮想現実ヘッドマウント機器に再現する場合を例として説明する。
【００４６】
当該仮想ヘッドマウント機器は、３Ｄ仮想現実シーンを表示するための表示画面と、上記技術的解決手段に係る３Ｄシーンでオブジェクトを再現するシステムとを含み、そのうち、３Ｄシーンでオブジェクトを再現するシステムのオブジェクト採集手段は、仮想現実ヘッドマウント機器に設けられた前部カメラと底部カメラである。
【００４７】
オブジェクトを仮想現実ヘッドマウント機器に再現する作動原理としては、前部カメラと底部カメラにより、同時にオブジェクトをリアルタイムに採集して、２個のビデオストリームデータを取得し、２個のビデオストリームデータからオブジェクト形状を識別し、リアルタイムに変化するオブジェクト形状基づいて対応するオブジェクト変位を取得し、当該オブジェクト変位を３Ｄ画像に変換処理して、リアルタイムに３Ｄ仮想現実シーンに重畳投影する。
【００４８】
ここで、ビデオストリームデータからオブジェクト変位を取得し、当該オブジェクト変位を３Ｄ仮想現実ヘッドマウント機器に再現する技術フローチャートは、図２に示すようになる。
【００４９】
ステップＳ２００では、前部カメラと底部カメラにより、異なる角度から、同時にリアルタイムに採集された２個のビデオストリームデータを取得する。
【００５０】
ステップＳ２０１では、現在時刻の２個のビデオストリームデータに対して、それぞれビデオサンプリング処理を行い、対応するビデオ画像を取得する。
【００５１】
ステップＳ２０２では、ビデオ画像にオブジェクトがあるかどうかを判断し、オブジェクトがある場合、ステップＳ２０３に移行するが、ない場合、次の時刻のビデオストリームデータを取得する。
【００５２】
ステップＳ２０３では、ビデオ画像データに対して二値化処理を行い、オブジェクト輪郭情報を抽出する。
【００５３】
ステップＳ２０４では、予め設定されたオブジェクトモデルに基づいて、オブジェクト輪郭情報から現在のオブジェクト形状を識別する。
【００５４】
ステップＳ２０５では、２個のビデオストリームデータのサンプリング後に識別されたオブジェクト形状を合成して、より多くのオブジェクト情報を含むオブジェクト形状を得る。
【００５５】
ステップＳ２０６では、オブジェクトの空間位置の変化情報を取得する。
【００５６】
ステップＳ２０７では、オブジェクト接点の変化情報及びオブジェクト空間位置の変化情報に基づいて、ＨＭＭ（Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌ：隠れマルコフモデル）動的オブジェクト識別方法を利用して、リアルタイムに変化するオブジェクト形状の対応するオブジェクト変位を取得する。
【００５７】
ステップＳ２０８では、前記オブジェクト変位を３Ｄ仮想現実シーンに重畳投影する。
【００５８】
本実施例では、３Ｄシーンでオブジェクトを再現するシステムを仮想現実ヘッドマウント機器に応用して、当該３Ｄシーンでオブジェクトを再現するシステムによって、オブジェクトを仮想現実ヘッドマウント機器に再現し、仮想現実ヘッドマウント機器において、オブジェクト形状及び変位の変化をリアルタイムに表示することで、ユーザーの体験を向上させることができる。
【００５９】
図３は、本発明の実施例に係る３Ｄシーンでオブジェクトを再現する方法のフローチャートであり、前記方法は、下記のステップＳ３００〜Ｓ３０３を含み、
ステップＳ３００では、表示すべきオブジェクトに対して、異なる角度から、同時に少なくとも２個のビデオストリームデータをリアルタイムに採集する。
【００６０】
ステップＳ３０１では、前記少なくとも２個のビデオストリームデータから、リアルタイムに変化するオブジェクト形状を識別する。
【００６１】
具体的には、
前記少なくとも２個のビデオストリームデータの各々に対して、それぞれサンプリング処理を行い、毎回サンプリングしたビデオ画像データを取得し、
当該ビデオ画像データにオブジェクトが含まれているかどうかを判断し、オブジェクトが含まれている場合、当該ビデオ画像データに対して二値化処理を行って、オブジェクト輪郭情報を抽出し、
予め設定されたオブジェクトモデルデータベースから、オブジェクト輪郭情報に対応するオブジェクト形状を識別し、
各ビデオストリームデータに対して毎回サンプリングして識別されたオブジェクト形状を合成して、リアルタイムに変化するオブジェクト形状を得る。
【００６２】
ステップＳ３０２では、リアルタイムに変化するオブジェクト形状に基づいて、対応するオブジェクト運動軌跡を取得する。
【００６３】
具体的には、リアルタイムに変化するオブジェクト形状の相対的空間位置情報を取得し、
リアルタイムに変化するオブジェクト形状において決められ、オブジェクトを識別する特徴的なキーポイントとなる接点に基づいて、リアルタイムに変化するオブジェクト形状における接点の変化情報を取得し、
相対的空間位置情報及び接点の変化情報に基づいて、予め設定された運動軌跡データベースから、対応するオブジェクト運動軌跡を取得する。
【００６４】
ここで、リアルタイムに変化するオブジェクト形状の相対的空間位置情報を取得することは、
前記少なくとも２個のビデオストリームデータのビデオ画像情報から、オブジェクト形状変化の角度情報を取得することと、
オブジェクト形状変化の角度情報に基づいてオブジェクトの距離情報を取得し、或いは距離センサーによってオブジェクトの距離情報をリアルタイムにセンシングすることと、
オブジェクト形状変化の角度情報及びオブジェクトの距離情報に基づいて、オブジェクトの相対的空間位置情報を取得することと、を含む。
【００６５】
ステップＳ３０３は、リアルタイムに変化するオブジェクト形状及び対応するオブジェクト運動軌跡を３Ｄ画像に変換処理して、リアルタイムに３Ｄシーンに重畳投影する。
【００６６】
好ましくは、画面分割技術によって前記３Ｄ画像を３Ｄシーンに投影する。
【００６７】
上述をまとめると、本発明の実施例は、３Ｄシーンでオブジェクトを再現するシステム及び方法を開示しており、前記システムにおいては、オブジェクト採集手段により、表示すべきオブジェクトに対して、異なる角度から、少なくとも２個のビデオストリームデータをリアルタイムに採集し、オブジェクト識別手段により、前記少なくとも２個のビデオストリームデータから、完全なオブジェクト情報を有するオブジェクト形状を識別し、オブジェクト追跡手段により、前記リアルタイムに変化するオブジェクト形状に対応するオブジェクト運動軌跡を取得し、オブジェクト投影手段により、リアルタイムに変化するオブジェクト形状及び対応するオブジェクト運動軌跡を３Ｄ画像に変換処理して、リアルタイムに３Ｄシーンに重畳投影することで、３Ｄシーンにおいて忠実なオブジェクトを表示するという目的を達成した。従来技術に比べ、本発明は、データベースに格納されたオブジェクト形状に応じて、表示すべきオブジェクトを再描画する必要がなく、採集したオブジェクトの画像をそのまま忠実に表示するができるため、ユーザーの利用体験を向上させた。
【００６８】
上記したのは、あくまでも本発明の好ましい実施例であり、本発明の保護範囲を限定するものではない。本発明の精神及び原則内になされたいかなる補正、均等的置換、改善等は、いずれも本発明の保護範囲内に含まれる。
【図１】
2017534940.tif 000003
【図２】
2017534940.tif 000004
【図３】
2017534940.tif 000005
【手続補正書】
【提出日】平成29年3月28日(2017.3.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
３Ｄシーンでオブジェクトを再現するシステムであって、
表示すべきオブジェクトに対して、異なる角度から、同時に少なくとも２個のビデオストリームデータをリアルタイムに採集するためのオブジェクト採集手段と、
前記少なくとも２個のビデオストリームデータから、リアルタイムに変化するオブジェクト形状を識別するためのオブジェクト識別手段と、
前記リアルタイムに変化するオブジェクト形状に基づいて、対応するオブジェクト運動軌跡を取得するためのオブジェクト追跡手段と、
前記リアルタイムに変化するオブジェクト形状及び前記対応するオブジェクト運動軌跡を３Ｄ画像に変換処理して、リアルタイムに３Ｄシーンに重畳投影するためのオブジェクト投影手段と
を含み、
前記オブジェクト追跡手段は、
リアルタイムに変化するオブジェクト形状の相対的空間位置情報を取得するための位置情報取得モジュールと、
リアルタイムに変化するオブジェクト形状において決められ、オブジェクトを識別する特徴的なキーポイントとなる接点に基づいて、前記リアルタイムに変化するオブジェクト形状における接点の変化情報を取得するための接点情報取得モジュールと、
前記相対的空間位置情報及び前記接点の変化情報に基づいて、予め設定された運動軌跡データベースから、対応するオブジェクト運動軌跡を取得するためのオブジェクト運動軌跡取得モジュールと
を含むことを特徴とするシステム。
【請求項２】
前記オブジェクト識別手段は、
前記少なくとも２個のビデオストリームデータの各々に対して、それぞれサンプリング処理を行い、毎回サンプリングしたビデオ画像データを取得するためのサンプリングモジュールと、
前記ビデオ画像データにオブジェクトが含まれているかどうかを判断し、オブジェクトが含まれている場合、前記ビデオ画像データに対して二値化処理を行って、オブジェクト輪郭情報を抽出するための輪郭抽出モジュールと、
予め設定されたオブジェクトモデルデータベースから、前記オブジェクト輪郭情報に対応するオブジェクト形状を識別するための形状識別モジュールと、
各ビデオストリームデータに対して毎回サンプリングして識別されたオブジェクト形状を合成して、リアルタイムに変化するオブジェクト形状を得るための形状合成モジュールと
を含むことを特徴とする請求項１に記載のシステム。
【請求項３】
前記位置情報取得モジュールは、
前記少なくとも２個のビデオストリームデータのビデオ画像情報から、オブジェクト形状変化の角度情報を取得し、
前記オブジェクト形状変化の角度情報に基づいてオブジェクトの距離情報を取得し、或いは距離センサーによってオブジェクトの距離情報をリアルタイムにセンシングし、
前記オブジェクト形状変化の角度情報及び前記オブジェクトの距離情報に基づいて、オブジェクトの相対的空間位置情報を取得するために用いられることを特徴とする請求項１に記載のシステム。
【請求項４】
前記オブジェクト投影手段は、前記リアルタイムに変化するオブジェクト形状及び前記対応するオブジェクト運動軌跡を３Ｄ画像に変換処理して、画面分割技術によって前記３Ｄ画像を３Ｄシーンに投影するためにさらに用いられることを特徴とする請求項１に記載のシステム。
【請求項５】
３Ｄシーンでオブジェクトを再現する方法であって、
表示すべきオブジェクトに対して、異なる角度から、同時に少なくとも２個のビデオストリームデータをリアルタイムに採集するステップと、
前記少なくとも２個のビデオストリームデータから、リアルタイムに変化するオブジェクト形状を識別するステップと、
前記リアルタイムに変化するオブジェクト形状に基づいて、対応するオブジェクト運動軌跡を取得するステップと、
前記リアルタイムに変化するオブジェクト形状及び前記対応するオブジェクト運動軌跡を３Ｄ画像に変換処理して、リアルタイムに３Ｄシーンに重畳投影するステップと
を含み、
前記リアルタイムに変化するオブジェクト形状に基づいて、対応するオブジェクト運動軌跡を取得する前記ステップは、
リアルタイムに変化するオブジェクト形状の相対的空間位置情報を取得することと、
リアルタイムに変化するオブジェクト形状において決められ、オブジェクトを識別する特徴的なキーポイントとなる接点に基づいて、前記リアルタイムに変化するオブジェクト形状における接点の変化情報を取得することと、
前記相対的空間位置情報及び前記接点の変化情報に基づいて、予め設定された運動軌跡データベースから、対応するオブジェクト運動軌跡を取得することと
を含むことを特徴とする方法。
【請求項６】
前記少なくとも２個のビデオストリームデータから、リアルタイムに変化するオブジェクト形状を識別する前記ステップは、
前記少なくとも２個のビデオストリームデータの各々に対して、それぞれサンプリング処理を行い、毎回サンプリングしたビデオ画像データを取得することと、
前記ビデオ画像データにオブジェクトが含まれているかどうかを判断し、オブジェクトが含まれている場合、前記ビデオ画像データに対して二値化処理を行って、オブジェクト輪郭情報を抽出することと、
予め設定されたオブジェクトモデルデータベースから、前記オブジェクト輪郭情報に対応するオブジェクト形状を識別することと、
各ビデオストリームデータに対して毎回サンプリングして識別されたオブジェクト形状を合成して、リアルタイムに変化するオブジェクト形状を得ることと
を含むことを特徴とする請求項５に記載の方法。
【請求項７】
前記のリアルタイムに変化するオブジェクト形状の相対的空間位置情報を取得することは、
前記少なくとも２個のビデオストリームデータのビデオ画像情報から、オブジェクト形状変化の角度情報を取得することと、
前記オブジェクト形状変化の角度情報に基づいてオブジェクトの距離情報を取得し、或いは距離センサーによってオブジェクトの距離情報をリアルタイムにセンシングすることと、
前記オブジェクト形状変化の角度情報及び前記オブジェクトの距離情報に基づいて、オブジェクトの相対的空間位置情報を取得することと
を含むことを特徴とする請求項５に記載の方法。
【請求項８】
前記リアルタイムに変化するオブジェクト形状及び前記対応するオブジェクト運動軌跡を３Ｄ画像に変換処理して、リアルタイムに３Ｄシーンに重畳投影する前記ステップは、
前記リアルタイムに変化するオブジェクト形状及び前記対応するオブジェクト運動軌跡を３Ｄ画像に変換処理することと、
画面分割技術によって前記３Ｄ画像を３Ｄシーンに投影することと
を含むことを特徴とする請求項５に記載の方法。
【国際調査報告】
2017534940.tif 000006
2017534940.tif 000007
2017534940.tif 000008
2017534940.tif 000009
2017534940.tif 000010
2017534940.tif 000011