(57)【要約】本発明は、ＶＲオブジェクトの合成方法、装置、プログラム及び記録媒体に関し、前記方法は、端末機器により捕捉された画像におけるターゲットオブジェクトを取得するステップと、奥行き情報融合モードで、端末機器の撮像装置でターゲットオブジェクトの奥行き情報を取得するステップと、仮想オブジェクトの奥行き情報を取得するステップと、ターゲットオブジェクトの奥行き情報及び仮想オブジェクトの奥行き情報に基づき、仮想オブジェクトを画像に重畳させるステップと、を含む。異なる奥行き情報を有するオブジェクトの遮蔽関係は異なっており、ターゲットオブジェクトを取得した後、ターゲットオブジェクトの奥行き情報及び仮想オブジェクトの奥行き情報に基づき、仮想オブジェクトを端末機器により捕捉された画像に重畳させ、本発明の実施例のＶＲオブジェクトの合成方法及び装置によれば、重畳時の計算量を減少でき、端末機器のＡＲアプリケーションにより良好に適用されることができ、端末機器により捕捉された画像に仮想オブジェクトをリアルタイムに正確に表示できる。【選択図】図１
2020507136.tif 000002
【特許請求の範囲】
【請求項１】
端末機器に適用されるＶＲオブジェクトの合成方法であって、
前記方法は、
前記端末機器により捕捉された画像におけるターゲットオブジェクトを取得するステップと、
奥行き情報融合モードで、前記端末機器の撮像装置によって前記ターゲットオブジェクトの奥行き情報を取得し、前記奥行き情報融合モードは、コンピュータモデリングにより生成された仮想オブジェクトを前記画像に重畳させるために使用され、前記ターゲットオブジェクトの奥行き情報は、ターゲットオブジェクトと端末機器との間の距離を表すためのものであるステップと、
仮想オブジェクトの奥行き情報を取得するステップと、
前記ターゲットオブジェクトの奥行き情報及び前記仮想オブジェクトの奥行き情報に基づき、前記仮想オブジェクトを前記画像に重畳させるステップと、を含むことを特徴とするＶＲオブジェクトの合成方法。
【請求項２】
前記ターゲットオブジェクトの奥行き情報及び前記仮想オブジェクトの奥行き情報に基づき、前記仮想オブジェクトを前記画像に重畳させるステップは、
前記ターゲットオブジェクトの奥行き情報が前記仮想オブジェクトの奥行き情報より小さい場合、前記仮想オブジェクトの前記ターゲットオブジェクトにより遮蔽されていない部分を前記画像に重畳させるステップを含むことを特徴とする請求項１に記載のＶＲオブジェクトの合成方法。 
【請求項３】
前記ターゲットオブジェクトの奥行き情報及び前記仮想オブジェクトの奥行き情報に基づき、前記仮想オブジェクトを前記画像に重畳させるステップは、
前記ターゲットオブジェクトの奥行き情報が前記仮想オブジェクトの奥行き情報以上である場合、前記仮想オブジェクトを前記画像に重畳させるステップを含むことを特徴とする請求項１に記載のＶＲオブジェクトの合成方法。
【請求項４】
前記端末機器の撮像装置は、少なくとも２つのカメラを備え、前記端末機器の撮像装置により前記ターゲットオブジェクトの奥行き情報を取得するステップは、
前記ターゲットオブジェクトと前記少なくとも２つのカメラとの位置関係、及び前記少なくとも２つのカメラ間の距離に基づき、前記ターゲットオブジェクトの奥行き情報を決定するステップを含むことを特徴とする請求項１〜３のいずれか１項に記載のＶＲオブジェクトの合成方法。 
【請求項５】
仮想オブジェクトの奥行き情報を取得するステップは、
前記仮想オブジェクトが配置される位置の位置情報を取得するステップと、
前記位置情報に基づき、前記仮想オブジェクトの奥行き情報を決定するステップと、を含むことを特徴とする請求項１〜３のいずれか１項に記載のＶＲオブジェクトの合成方法。
【請求項６】
端末機器に適用されるＶＲオブジェクトの合成装置であって、
前記装置は、
前記端末機器により捕捉された画像におけるターゲットオブジェクトを取得するためのオブジェクト取得モジュールと、
奥行き情報融合モードで、前記端末機器の撮像装置により前記ターゲットオブジェクトの奥行き情報を取得するためのもので、前記奥行き情報融合モードは、コンピュータモデリングにより生成された仮想オブジェクトを前記画像に重畳させるために使用され、前記ターゲットオブジェクトの奥行き情報は、ターゲットオブジェクトと端末機器との間の距離を表すためのものである第１の情報取得モジュールと、
仮想オブジェクトの奥行き情報を取得するための第２の情報取得モジュールと、
前記ターゲットオブジェクトの奥行き情報及び前記仮想オブジェクトの奥行き情報に基づき、前記仮想オブジェクトを前記画像に重畳させるための重畳モジュールと、を備えることを特徴とするＶＲオブジェクトの合成装置。
【請求項７】
前記重畳モジュールは、
前記ターゲットオブジェクトの奥行き情報が前記仮想オブジェクトの奥行き情報より小さい場合、前記仮想オブジェクトの前記ターゲットオブジェクトにより遮蔽されていない部分を前記画像に重畳させるための第１の重畳サブモジュールを備えることを特徴とする請求項６に記載のＶＲオブジェクトの合成装置。 
【請求項８】
前記重畳モジュールは、
前記ターゲットオブジェクトの奥行き情報が前記仮想オブジェクトの奥行き情報以上である場合、前記仮想オブジェクトを前記画像に重畳させるための第２の重畳サブモジュールをさらに備えることを特徴とする請求項６に記載のＶＲオブジェクトの合成装置。 
【請求項９】
前記端末機器の撮像装置は、少なくとも２つのカメラを備え、第１の情報取得モジュールは、
前記ターゲットオブジェクトと前記少なくとも２つのカメラとの位置関係、及び前記少なくとも２つのカメラ間の距離に基づき、前記ターゲットオブジェクトの奥行き情報を決定するための第１の決定サブモジュールを備えることを特徴とする請求項６〜８のいずれか１項に記載のＶＲオブジェクトの合成装置。
【請求項１０】
前記第２の情報取得モジュールは、
前記仮想オブジェクトが配置される位置の位置情報を取得するための取得サブモジュールと、
前記位置情報に基づき、前記仮想オブジェクトの奥行き情報を決定するための第２の決定サブモジュールと、を備えることを特徴とする請求項６〜８のいずれか１項に記載のＶＲオブジェクトの合成装置。
【請求項１１】
プロセッサーと、
プロセッサーで実行可能な指令を記憶するためのメモリを備え、
ここで、前記プロセッサーは、請求項１〜５のいずれか１項に記載の方法を実行するように構成されることを特徴とするＶＲオブジェクトの合成装置。
【請求項１２】
記録媒体における命令がプロセッサーにより実行されると、請求項１〜５のいずれか１項に記載の方法が実現される非一時的コンピュータ読取可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、出願番号が２０１８１００２９９９５．２であって、出願日が２０１８年１月１２日である中国特許出願に基づき優先権を主張し、当該中国特許出願の内容のすべてを本願に援用する。
【０００２】
本発明は、画像処理の技術分野に関し、特にＶＲオブジェクトの合成方法及び装置に関する。
【背景技術】
【０００３】
ＡＲ（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ、現実を拡張する）技術は、コンピュータシステムにより提供された情報によって、現実世界に対するユーザの知覚を増加させる技術であり、仮想情報を実世界に適用し、コンピュータにより生成された仮想オブジェクトを真実なシーンに重畳させて、現実に対する拡張を実現できる。
【０００４】
関連技術におけるＶＲオブジェクトの合成方法は、場合によって、ＶＲオブジェクトの遮蔽関係を正確に処理できるが、計算量が比較的に多く、携帯電話、タブレットＰＣ等の端末機器に適用されない問題が存在する。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、関連技術に存在する問題を克服するために、ＶＲオブジェクトの合成方法及び装置を提供し、端末機器により捕捉された画像に仮想オブジェクトをリアルタイムに正確に表示できる。
【課題を解決するための手段】
【０００６】
本発明の第１の態様によれば、端末機器に適用されるＶＲオブジェクトの合成方法が提供され、この方法は、前記端末機器により捕捉された画像におけるターゲットオブジェクトを取得するステップと、前記奥行き情報融合モードで、前記端末機器の撮像装置で前記ターゲットオブジェクトの奥行き情報を取得し、前記奥行き情報融合モードは、コンピュータモデリングにより生成された仮想オブジェクトを前記画像に重畳させるために使用され、前記ターゲットオブジェクトの奥行き情報は、ターゲットオブジェクトと端末機器との間の距離を表すためのものであるステップと、仮想オブジェクトの奥行き情報を取得するステップと、前記ターゲットオブジェクトの奥行き情報及び前記仮想オブジェクトの奥行き情報に基づき、前記仮想オブジェクトを前記画像に重畳させるステップと、を含む。
【０００７】
一可能な実現形態では、前記ターゲットオブジェクトの奥行き情報及び前記仮想オブジェクトの奥行き情報に基づき、前記仮想オブジェクトを前記画像に重畳させるステップは、前記ターゲットオブジェクトの奥行き情報が前記仮想オブジェクトの奥行き情報より小さい場合、前記仮想オブジェクトの前記ターゲットオブジェクトにより遮蔽されていない部分を前記画像に重畳させるステップを含む。
【０００８】
一可能な実現形態では、前記ターゲットオブジェクトの奥行き情報及び前記仮想オブジェクトの奥行き情報に基づき、前記仮想オブジェクトを前記画像に重畳させるステップは、前記ターゲットオブジェクトの奥行き情報が前記仮想オブジェクトの奥行き情報以上である場合、前記仮想オブジェクトを前記画像に重畳させるステップを含む。
【０００９】
一可能な実現形態では、前記端末機器の撮像装置は、少なくとも２つのカメラを備え、前記端末機器の撮像装置により前記ターゲットオブジェクトの奥行き情報を取得するステップは、前記ターゲットオブジェクトと前記少なくとも２つのカメラとの位置関係、及び前記少なくとも２つのカメラ間の距離に基づき、前記ターゲットオブジェクトの奥行き情報を決定するステップを含む。
【００１０】
一可能な実現形態では、仮想オブジェクトの奥行き情報を取得するステップは、前記仮想オブジェクトの位置の位置情報を取得するステップと、前記位置情報に基づき、前記仮想オブジェクトの奥行き情報を決定するステップと、を含む。
【００１１】
本発明の第２の態様によれば、端末機器に適用されるＶＲオブジェクトの合成装置が提供され、この装置は、前記端末機器により捕捉された画像におけるターゲットオブジェクトを取得するためのオブジェクト取得モジュールと、前記奥行き情報融合モードで、前記端末機器の撮像装置により前記ターゲットオブジェクトの奥行き情報を取得するためのもので、前記奥行き情報融合モードは、コンピュータモデリングにより生成された仮想オブジェクトを前記画像に重畳させるために使用され、前記ターゲットオブジェクトの奥行き情報は、ターゲットオブジェクトと端末機器との間の距離を表すためのものである第１の情報取得モジュールと、仮想オブジェクトの奥行き情報を取得するための第２の情報取得モジュールと、前記ターゲットオブジェクトの奥行き情報及び前記仮想オブジェクトの奥行き情報に基づき、前記仮想オブジェクトを前記画像に重畳させるための重畳モジュールと、を備える。
【００１２】
一可能な実現形態では、前記重畳モジュールは、前記ターゲットオブジェクトの奥行き情報が前記仮想オブジェクトの奥行き情報より小さい場合、前記仮想オブジェクトの前記ターゲットオブジェクトにより遮蔽されていない部分を前記画像に重畳させるための第１の重畳サブモジュールを備える。
【００１３】
一可能な実現形態では、前記重畳モジュールは、前記ターゲットオブジェクトの奥行き情報が前記仮想オブジェクトの奥行き情報以上である場合、前記仮想オブジェクトを前記画像に重畳させるための第２の重畳サブモジュールをさらに備える。
【００１４】
一可能な実現形態では、前記第１の取得モジュールは、前記ターゲットオブジェクトと前記少なくとも２つのカメラとの位置関係、及び前記少なくとも２つのカメラ間の距離に基づき、前記ターゲットオブジェクトの奥行き情報を決定するための第１の決定サブモジュールを備える。
【００１５】
一可能な実現形態では、前記第２の取得モジュールは、前記仮想オブジェクトの位置の位置情報を取得するための取得サブモジュールと、前記位置情報に基づき、前記仮想オブジェクトの奥行き情報を決定するための第２の決定サブモジュールと、を備える。
【発明の効果】
【００１６】
本発明に提供された技術案によれば、以下のような技術効果が奏される。
【００１７】
異なる奥行き情報を有するオブジェクトの遮蔽関係は異なっており、本発明の実施例では、ターゲットオブジェクトを取得した後、端末機器は、ターゲットオブジェクトの奥行き情報及び仮想オブジェクトの奥行き情報に基づき、仮想オブジェクトを端末機器により捕捉された画像に重畳させ、ターゲットオブジェクトを取得したときに、比較せずに直接に重畳する、又は全てのオブジェクトの奥行き情報を比較した後で重畳することなく、奥行き情報の比較結果に基づいて重畳方式を決定でき、重畳時の計算量を減少でき、端末機器のＡＲアプリケーションにより良好に適用されることができる。また、本発明の実施例では、端末機器の撮像装置を使用してターゲットオブジェクトの奥行き情報を取得し、端末機器における実施例の適用に有利である。したがって、本発明の各態様のＶＲオブジェクトの合成方法及び装置によれば、端末機器により捕捉された画像に仮想オブジェクトをリアルタイムに正確に表示できる。
【００１８】
なお、前記一般的な記載及び後述の詳細な記載は、単なる例示的で解釈的な記載であり、本発明を限定しない。
【図面の簡単な説明】
【００１９】
ここの図面は、明細書に組み入れて本明細書の一部分を構成し、本発明に該当する実施例を例示するとともに、明細書とともに本発明の原理を解釈する。
【図１】一例示的な実施例に係るＶＲオブジェクトの合成方法を示すフローチャートである。
【図２】一例示的な実施例に係るＶＲオブジェクトの合成方法を示すフローチャートである。
【図３】一例示的な実施例に係るＶＲオブジェクトの合成装置を示すブロック図である。
【図４】一例示的な実施例に係るＶＲオブジェクトの合成装置を示すブロック図である。
【図５】一例示的な実施例に係るＶＲオブジェクトの合成装置を示すブロック図である。
【図６】一例示的な実施例に係るＶＲオブジェクトの合成装置を示すブロック図である。
【発明を実施するための形態】
【００２０】
以下、例示的な実施例を詳しく説明し、その例示を図面に示す。以下の記載が図面に関わる場合、特に別の説明がない限り、異なる図面における同一符号は、同じ又は類似する要素を示す。以下の例示的な実施形態に記載の実施例は、本発明と一致する全ての実施例を代表するものではない。即ち、それらは、特許請求の範囲に記載の本発明のある側面に一致する装置及び方法の例に過ぎない。
【００２１】
図１は、一例示的な実施例に係るＶＲオブジェクトの合成方法を示すフローチャートであり、図１に示すように、このＶＲオブジェクトの合成方法は、携帯電話、タブレットＰＣ等のような端末機器に用いられ、このＶＲオブジェクトの合成方法は、下記のステップを含む。
【００２２】
ステップＳ１１において、前記端末機器により捕捉された画像におけるターゲットオブジェクトを取得する。
【００２３】
ここで、端末機器により捕捉された画像は、真実なシーンに対応する画像であってもよく、端末機器は、自体の撮像装置により前記画像を捕捉できる。一可能な実現形態では、端末機器は、前記画像をリアルタイムに捕捉でき、また、複数枚の画像を連続的に捕捉できる。なお、端末機器により連続的に捕捉された複数枚のリアルタイム画像が映像を構成できることが理解される。
【００２４】
ターゲットオブジェクトは、真実なシーンにおける実オブジェクトであってもよく、例えば、実の人又は物体であってもよい。ターゲットオブジェクトは、真実なシーンにおけるある特定のオブジェクトであってもよいが、真実なシーンにおけるある種類のオブジェクトであってもよい。例えば、真実なシーンに複数の人が存在する場合、ターゲットオブジェクトは、複数の人のうちのある人であってもよいが、真実なシーンにおける全ての人であってもよい。一例では、ターゲットオブジェクトは、仮想オブジェクトと遮蔽関係を有するオブジェクトであってもよい。本発明は、ターゲットオブジェクトについて限定をしない。
【００２５】
一可能な実現形態では、端末機器は、関連技術における画像認識技術により前記画像におけるターゲットオブジェクトを認識して取得できる。
【００２６】
一可能な実現形態では、ターゲットオブジェクトは、端末機器により捕捉された画像において移動でき、例えば、人は真実なシーンにおいて行ったり来たりすることができる。一可能な実現形態では、ターゲット画像は、画像に入ったり画像から消えたりすることができ、例えば、人は真実なシーンに入ったり真実なシーンから離れたりすることができる。
【００２７】
ステップＳ１２において、奥行き情報融合モードで、前記端末機器の撮像装置により前記ターゲットオブジェクトの奥行き情報を取得し、前記奥行き情報融合モードは、コンピュータモデリングにより生成された仮想オブジェクトを前記画像に重畳させるために使用され、前記ターゲットオブジェクトの奥行き情報は、ターゲットオブジェクトと端末機器との間の距離を表すためのものである。
【００２８】
ＡＲ技術によれば、仮想オブジェクトを真実なシーンに重畳させることができる。ここで、仮想オブジェクトは、仮想の人、物体等のようなコンピュータモデリングにより生成されたオブジェクトを表わすために使用されることができる。仮想オブジェクトは、コンピュータにより作成された数学モデルであってもよく、この数学モデルは、仮想オブジェクトの輪郭、テクスチャ等の特徴を表すデータを含んでもよく、これらのデータは、実の人、物体等の実オブジェクトに基づいて抽出されても良いが、必要に応じて人為的に作成されてもよい。これらのデータに基づいて画像レンダリングを行うことで、仮想オブジェクトを真実なシーンに展示できる。端末機器は、仮想オブジェクトの位置を変更させて、真実なシーンに対応する画像において仮想オブジェクトが移動するようにさせることができる。本発明は、仮想オブジェクトの生成方式について限定をしない。
【００２９】
一例では、端末機器は、ローカルで仮想オブジェクトを生成してもよいが、他の機器から仮想オブジェクトを取得してもよい。ここで、端末機器は、他の機器から仮想オブジェクトを取得した後、ローカルで仮想オブジェクトを調整できる。
【００３０】
一例では、端末機器は、ターゲットオブジェクトが取得されていないときに、捕捉された画像の前に直接に仮想オブジェクトを表示できる。例えば、端末機器は、前記画像の位置するレイヤ上のレイヤに前記仮想オブジェクトを表示できる。このようにして、端末機器は、仮想オブジェクトを迅速で、容易に真実なシーンに重畳させることができる。本発明は、ターゲットオブジェクトが取得されていないときの操作について限定をしない。
【００３１】
一例では、端末機器は、ターゲットオブジェクトを取得したときに、奥行き情報融合モードを開始できる。ここで、奥行き情報融合モードは、仮想オブジェクトを前記画像に重畳させるために使用されることができる。例えば、奥行き情報融合モードは、奥行き情報に基づいて仮想オブジェクトとターゲットオブジェクトとの遮蔽関係を決定し、遮蔽関係に基づいて仮想オブジェクトを画像に重畳させる方式を決定できる。奥行き情報融合モードで、端末機器における仮想オブジェクトの融合がより真実になる。ターゲットオブジェクトを取得したときは、端末機器により捕捉された画像に仮想オブジェクトと遮蔽関係を有するオブジェクトが存在する可能があることを説明し、この場合、誤った遮蔽は、融合効果の劣化をもたらすことができ、あるシーンが実現されず、したがって、端末機器は、奥行き情報融合モードを開始して、より真実な融合を実現できる。
【００３２】
一例では、ターゲットオブジェクトが人であり、仮想オブジェクトが椅子である。人を取得したとき、奥行き情報融合モードを開始して、人が椅子の前に立てたり、椅子に座ったりするシーンを実現できる。
【００３３】
ターゲットオブジェクトの奥行き情報は、ターゲットオブジェクトと端末機器との間の距離を表すためのものである。現実の客観世界は、３次元の空間であり、撮像装置を介して撮像された後、３次元奥行き情報が失われた２次元画像になる。端末機器は、撮像装置でターゲットオブジェクトの奥行き情報を取得できる。
【００３４】
一可能な実現形態では、前記端末機器の撮像装置は、少なくとも２つのカメラを備え、端末機器は、ターゲットオブジェクトと前記少なくとも２つのカメラとの位置関係、及び前記少なくとも２つのカメラ間の距離に基づき、前記ターゲットオブジェクトの奥行き情報を決定できる。
【００３５】
端末機器の撮像装置が２つのカメラを備える場合を例として、端末機器は、ターゲットオブジェクトと２つのカメラとの連結ラインと、２つのカメラの連結ラインとがなす角、及び２つのカメラ間の距離に基づき、前記ターゲットオブジェクトの奥行き情報を決定できる。以上は、ターゲットオブジェクトの奥行き情報を決定するための１つの例に過ぎず、端末機器は、また、関連技術における他の方式によりターゲットオブジェクトの奥行き情報を決定できる。
【００３６】
ステップＳ１３において、仮想オブジェクトの奥行き情報を取得する。
【００３７】
端末機器は、捕捉された画像の異なる位置に仮想オブジェクトに対応する仮想モデルを配置でき、且つ仮想モデルの位置を移動させることができる。仮想オブジェクトは、端末機器により捕捉された画像に実在するオブジェクトでなく、１つの仮想モデルに対応する。仮想モデルが画像に表示されるとき、仮想オブジェクトと称されることができる。
【００３８】
一可能な実現形態では、仮想オブジェクトの奥行き情報は固定され変化しなくてもよい。端末機器がローカルで仮想モデルを生成する場合を例として、端末機器は、仮想モデルの生成する過程で、仮想モデルと奥行き情報との対応関係を記録できる。この場合、画像において仮想モデルを移動させると、仮想モデルの奥行き情報が一定に維持される。一可能な実現形態では、端末機器は、仮想モデルと奥行き情報との対応関係に基づいて仮想オブジェクトに対応する奥行き情報を取得できる。
【００３９】
一可能な実現形態では、仮想オブジェクトの奥行き情報は、画像における仮想モデルの位置移動に連れて変更できる。端末機器がローカルで仮想モデルを生成する場合を例として、端末機器は、仮想モデルの生成する過程で、奥行き情報を仮想モデルの位置情報に記録し、仮想モデルの位置情報を仮想オブジェクトの位置情報とすることができる。この場合、画像において仮想モデルを移動させると、仮想モデルの奥行き情報が画像における仮想モデルの位置に関連される。一可能な実現形態では、端末機器は、仮想オブジェクトが配置される位置の位置情報を取得し、前記位置情報に基づき、前記仮想オブジェクトの奥行き情報を決定できる。
【００４０】
ステップＳ１４において、前記ターゲットオブジェクトの奥行き情報及び前記仮想オブジェクトの奥行き情報に基づき、前記仮想オブジェクトを前記画像に重畳させる。
【００４１】
なお、画像におけるオブジェクトが端末機器の撮像装置から遠いほど、その奥行き情報が大きいことが理解される。奥行き情報の比較的に大きいオブジェクトは、奥行き情報の比較的に小さいオブジェクトにより遮蔽されることができ、端末機器により捕捉された画像において奥行き情報の比較的に大きいオブジェクトの一部のみ表示できる。
【００４２】
図２は、一例示的な実施例に係るＶＲオブジェクトの合成方法を示すフローチャートであり、図２に示すように、ステップＳ１４は、下記のステップを含む。
【００４３】
ステップＳ１４１において、前記ターゲットオブジェクトの奥行き情報が前記仮想オブジェクトの奥行き情報より小さいか否かを決定する。前記ターゲットオブジェクトの奥行き情報が前記仮想オブジェクトの奥行き情報より小さい場合、ステップＳ１４２を実行し、そうでない場合、ステップＳ１４３を実行する。
【００４４】
ステップＳ１４２において、前記仮想オブジェクトの前記ターゲットオブジェクトにより遮蔽されていない部分を前記画像に重畳させる。
【００４５】
一可能な実現形態では、前記ターゲットオブジェクトの各画素点の画素位置、及び前記仮想オブジェクトの各画素点の画素位置を取得できる。１つの画素位置に、ターゲットオブジェクトの画素点も存在し、仮想オブジェクトの画素点も存在する場合、この位置に仮想オブジェクトの画素点を描画しなくてもよい。１つの画素位置にターゲットオブジェクトの画素点が存在しないが、仮想オブジェクトの画素点が存在する場合、この位置に仮想オブジェクトの画素点を描画できる。
【００４６】
一例では、ターゲットオブジェクトが人であり、仮想オブジェクトが椅子であり、人の奥行き情報が椅子の奥行き情報より小さい。端末機器は、椅子の人により遮蔽されていない部分を前記画像に重畳させることができる。このようにして、人が椅子の前に立てたり、椅子に座ったりするシーンを提示できる。
【００４７】
ステップＳ１４３において、前記仮想オブジェクトを前記画像に重畳させる。
【００４８】
一例では、ターゲットオブジェクトが人であり、仮想オブジェクトが椅子であり、人の奥行き情報が椅子の奥行き情報以上である。端末機器は、直接に椅子を前記画像に重畳させることができる。このようにして、人が椅子の後ろに立てるシーンを提示できる。
【００４９】
異なる奥行き情報を有するオブジェクトの遮蔽関係は異なっており、この実施例では、ターゲットオブジェクトを取得したとき、端末機器は、ターゲットオブジェクトの奥行き情報及び仮想オブジェクトの奥行き情報に基づき、仮想オブジェクトを端末機器により捕捉された画像に重畳させ、ターゲットオブジェクトを取得したときに、比較せずに直接に重畳する、又は全てのオブジェクトの奥行き情報を比較した後で重畳することなく、奥行き情報の比較結果に基づいて重畳方式を決定でき、重畳時の計算量を減少でき、端末機器のＡＲアプリケーションにより良好に適用されることができる。また、本発明の実施例では、端末機器の撮像装置を使用してターゲットオブジェクトの奥行き情報を取得し、端末機器における実施例の適用に有利である。したがって、この実施例のＶＲオブジェクトの合成方法によれば、端末機器により捕捉された画像に仮想オブジェクトをリアルタイムに正確に表示できる。
【００５０】
図３は、一例示的な実施例に係るＶＲオブジェクトの合成装置を示すブロック図である。図３を参照すると、このＶＲオブジェクトの合成装置３０は端末機器に適用され、この装置３０は、オブジェクト取得モジュール３１、第１の情報取得モジュール３２、第２の情報取得モジュール３３及び重畳モジュール３４を備える。
【００５１】
このオブジェクト取得モジュール３１は、前記端末機器により捕捉された画像におけるターゲットオブジェクトを取得するように構成される。
【００５２】
この第１の情報取得モジュール３２は、前記奥行き情報融合モードで、前記端末機器の撮像装置によって前記ターゲットオブジェクトの奥行き情報を取得し、前記奥行き情報融合モードは、コンピュータモデリングにより生成された仮想オブジェクトを前記画像に重畳させるために使用され、前記ターゲットオブジェクトの奥行き情報は、ターゲットオブジェクトと端末機器との間の距離を表すためのものであるように構成される。
【００５３】
この第２の情報取得モジュール３３は、仮想オブジェクトの奥行き情報を取得するように構成される。
【００５４】
この重畳モジュール３４は、前記ターゲットオブジェクトの奥行き情報及び前記仮想オブジェクトの奥行き情報に基づき、前記仮想オブジェクトを前記画像に重畳させるように構成される。
【００５５】
図４は、一例示的な実施例に係るＶＲオブジェクトの合成装置を示すブロック図である。図４を参照すると、一可能な実現形態では、この重畳モジュール３４は、第１の重畳サブモジュール３４１を備える。
【００５６】
この第１の重畳サブモジュール３４１は、前記ターゲットオブジェクトの奥行き情報が前記仮想オブジェクトの奥行き情報より小さい場合、前記仮想オブジェクトの前記ターゲットオブジェクトにより遮蔽されていない部分を前記画像に重畳させるように構成される。
【００５７】
一可能な実現形態では、この重畳モジュールは、第２の重畳サブモジュール３４２をさらに備える。
【００５８】
この第２の重畳サブモジュール３４２は、前記ターゲットオブジェクトの奥行き情報が前記仮想オブジェクトの奥行き情報以上である場合、前記仮想オブジェクトを前記画像に重畳させるように構成される。
【００５９】
一可能な実現形態では、前記端末機器の撮像装置は、少なくとも２つのカメラを備え、この第１の情報取得モジュール３２は、第１の決定サブモジュール３２１を備える。
【００６０】
この第１の決定サブモジュール３２１は、前記ターゲットオブジェクトと前記少なくとも２つのカメラとの位置関係、及び前記少なくとも２つのカメラ間の距離に基づき、前記ターゲットオブジェクトの奥行き情報を決定するように構成される。
【００６１】
一可能な実現形態では、この第２の情報取得モジュール３３は、取得サブモジュール３３１及び第２の決定サブモジュール３３２を備える。
【００６２】
この取得サブモジュール３３１は、前記画像における前記仮想オブジェクトの位置情報を取得するように構成される。
【００６３】
この第２の決定サブモジュール３３２は、前記仮想オブジェクトの位置情報に基づき、前記仮想オブジェクトの奥行き情報を決定するように構成される。
【００６４】
上記実施例の装置において、各モジュールが操作を行う具体的な方法は、すでに関連方法の実施例で詳しく説明しており、ここで詳細な説明を省略する。
【００６５】
図５は、一例示的な実施例に係るＶＲオブジェクトの合成に用いられる装置８００を示すブロック図である。例えば、装置８００は、携帯電話、コンピュータ、デジタルブロードキャスト端末、メッセージ送受信機、ゲームコンソール、タブレットデバイス、医療機器、フィットネス機器、ＰＤＡ等のものであってもよい。
【００６６】
図５を参照すると、装置８００は、処理ユニット８０２、メモリ８０４、電源ユニット８０６、マルチメディアユニット８０８、オーディオユニット８１０、入力/出力（Ｉ/Ｏ）インタフェース８１２、センサーユニット８１４、及び通信ユニット８１６からなる群から選ばれる少なくとも１つを備えてもよい。
【００６７】
処理ユニット８０２は、一般的には、装置８００の全体の操作、例えば、表示、電話呼び出し、データ通信、カメラ操作及び記録操作に関連する操作を制御する。処理ユニット８０２は、上述した方法におけるステップの一部又は全部を実現できるように、命令を実行する少なくとも１つのプロセッサー８２０を備えてもよい。また、処理ユニット８０２は、他のユニットとのインタラクションを便利にさせるように、少なくとも１つのモジュールを備えてもよい。例えば、処理ユニット８０２は、マルチメディアユニット８０８とのインタラクションを便利にさせるように、マルチメディアモジュールを備えてもよい。
【００６８】
メモリ８０４は、装置８００での操作をサポートするように、各種のデータを記憶するように配置される。これらのデータは、例えば、装置８００で何れのアプリケーション又は方法を操作するための命令、連絡先データ、電話帳データ、メッセージ、画像、ビデオ等を含む。メモリ８０４は、何れの種類の揮発性又は不揮発性メモリ、例えば、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｂｅｒ）、磁気メモリ、フラッシュメモリ、磁気ディスク、或いは光ディスクにより、或いはそれらの組み合わせにより実現することができる。
【００６９】
電源ユニット８０６は、装置８００の各種ユニットに電力を供給するためのものであり、電源管理システム、１つ又は複数の電源、及び装置８００のために電力を生成、管理及び分配することに関連する他のユニットを備えてもよい。
【００７０】
マルチメディアユニット８０８は、装置８００とユーザとの間に出力インタフェースを提供するスクリーンを備えてもよい。スクリーンは、例えば、液晶ディスプレイ（ＬＣＤ）やタッチパネル（ＴＰ）を備えてもよい。スクリーンは、タッチパネルを備える場合、ユーザからの入力信号を受信するように、タッチスクリーンになることができる。また、タッチパネルは、タッチや、スライドや、タッチパネル上の手振りを知覚するように、少なくとも１つのタッチセンサーを有する。タッチセンサーは、タッチやスライド動作の境界を知覚できるだけではなく、タッチやスライド操作と関連する持続時間や圧力も知覚できる。一実施例では、マルチメディアユニット８０８は、フロントカメラ及び/又はバックカメラを有してもよい。装置８００が、例えば、撮影モードやビデオモードのような操作モードにある時、フロントカメラ及び/又はバックカメラが外部のマルチメディアデータを受信できる。フロントカメラ及びバックカメラのそれぞれは、固定の光学レンズ系であってもよいし、焦点距離及び光学ズーム能力を有するものであってもよい。
【００７１】
オーディオユニット８１０は、オーディオ信号を出力及び/又は入力するように配置される。例えば、オーディオユニット８１０は、マイクロフォン（ＭｉＣ）を有してもよい。装置８００が、例えば、呼び出しモード、記録モード、又は音声認識モードのような操作モードにあるとき、マイクロフォンは、外部のオーディオ信号を受信するように配置される。受信したオーディオ信号は、メモリ８０４にさらに記憶されてもよいし、通信ユニット８１６を介して送信されてもよい。一実施例では、オーディオユニット８１０は、オーディオ信号を出力するためのスピーカをさらに備えてもよい。
【００７２】
Ｉ/Ｏインタフェース８１２は、処理ユニット８０２と外部のインタフェースモジュールとの間にインタフェースを提供するためのものである。上記外部のインタフェースモジュールは、キーボードや、クリックホイールや、ボタン等であってもよい。これらのボタンは、ホームボタンや、音量ボタンや、スタートボタンや、ロックボタンであってもよいが、それらに限らない。
【００７３】
センサーユニット８１４は、装置８００のために各方面の状態を評価する少なくとも１つのセンサーを備えてもよい。例えば、センサーユニット８１４は、装置８００のオン/オフ状態や、ユニットの相対的な位置を検出することができる。例えば、前記ユニットは、装置８００のディスプレイ及びキーパッドである。センサーユニット８１４は、装置８００又は装置８００の１つのユニットの位置の変化、ユーザによる装置８００への接触の有無、装置８００の方向又は加速/減速、装置８００の温度変化などを検出することができる。センサーユニット８１４は、何れの物理的な接触もない場合に付近の物体を検出するように配置される近接センサーを有してもよい。センサーユニット８１４は、イメージングアプリケーションに用いるための光センサー、例えば、ＣＭＯＳ又はＣＣＤ画像センサーを有してもよい。一実施例では、当該センサーユニット８１４は、加速度センサー、ジャイロスコープセンサー、磁気センサー、圧力センサー又は温度センサーをさらに備えてもよい。
【００７４】
通信ユニット８１６は、装置８００と他の設備の間との無線又は有線通信を便利にさせるように配置される。装置８００は、通信標準に基づく無線ネットワーク、例えば、ＷｉＦｉ、２Ｇ又は３Ｇ、又はそれらの組み合わせにアクセスできる。１つの例示的な実施例では、通信ユニット８１６は、ブロードキャストチャンネルを介して外部のブロードキャスト管理システムからのブロードキャスト信号又はブロードキャストに関する情報を受信する。１つの例示的な実施例では、前記通信ユニット８１６は、近距離通信を促進するために近距離無線通信（ＮＦＣ）モジュールをさらに備えてもよい。例えば、ＮＦＣモジュールは、無線周波数認識装置（ＲＦＩＤ：Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）技術、赤外線データ協会（ＩｒＤＡ：Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）技術、超広帯域無線（ＵＷＢ：Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）技術、ブルートゥース（登録商標）（ＢＴ：Ｂｌｕｅｔｏｏｔｈ）技術及び他の技術によって実現されてもよい。
【００７５】
例示的な実施例では、装置８００は、上述した方法を実行するために、１つ又は複数の特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、デジタル信号プロセッサー（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、デジタル信号処理デバイス（ＤＳＰＤ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅ）、プログラマブルロジックデバイス（ＰＬＤ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、書替え可能ゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、コントローラ、マイクロコントローラ、マイクロプロセッサー、又は他の電子機器によって実現されてもよい。
【００７６】
例示的な実施例では、命令を有する非一時的コンピュータ読み取り可能な記録媒体、例えば、命令を有するメモリ８０４をさらに提供する。前記命令は、装置８００のプロセッサー８２０により実行されて上述した方法を実現する。例えば、前記非一時的コンピュータ読み取り可能な記録媒体は、ＲＯＭ、ＲＡＭ、ＣＤ-ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク及び光データメモリ等であってもよい。
【００７７】
図６は、一例示的な実施例に係るＶＲオブジェクトの合成に用いられる装置１９００を示すブロック図である。例えば、装置１９００はサーバーとして提供されてもよい。図６を参照すると、装置１９００は、１つ以上のプロセッサーがさらに含まれた処理ユニット１９２２と、処理ユニット１９２２により実行可能な命令、例えばプログラムを記憶するメモリ１９３２を代表とするメモリリソースとを含む。メモリ１９３２に記憶されたアプリケーションプログラムは、１つ以上のそれぞれが一組の命令に対応するモジュールを含んでもよい。また、上述した方法を実行するために、処理ユニット１９２２は命令を実行するように配置される。
【００７８】
装置１９００は、装置１９００の電源管理を実行するように配置された電源ユニット１９２６と、装置１９００をインターネットに接続させるように配置された有線又は無線インターネットインタフェース１９５０と、入力/出力（Ｉ/Ｏ）インタフェース１９５８とを備えてもよい。装置１９００はメモリ１９３２に記憶された操作システム、例えばＷｉｎｄｏｗｓ ＳｅｒｖｅｒＴＭ、Ｍａｃ ＯＳ ＸＴＭ、ＵｎｉｘＴＭ, ＬｉｎｕｘＴＭ、ＦｒｅｅＢＳＤＴＭなどに基づいて操作できる。
【００７９】
例示的な実施例では、命令を有する非一時的コンピュータ読み取り可能な記録媒体、例えば、命令を有するメモリ１９３２をさらに提供する。前記命令は、装置１９００の処理ユニット１９２２により実行されて上述した方法を実現する。例えば、前記非一時的コンピュータ読み取り可能な記録媒体は、ＲＯＭ、ＲＡＭ、ＣＤ-ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク及び光データメモリ等であってもよい。
【００８０】
当業者は、明細書に対する理解、及び明細書に記載された発明に対する実施を介して、本発明の他の実施形態を容易に取得することができる。本発明は、本発明に対する任意の変形、用途、又は適応的な変化を含み、このような変形、用途、又は適応的な変化は、本発明の一般的な原理に従い、本発明では開示していない本技術分野の公知知識、又は通常の技術手段を含む。明細書及び実施例は、単に例示的なものであって、本発明の本当の範囲と主旨は、以下の特許請求の範囲によって示される。
【００８１】
本発明は、上記で記述され、図面で図示した特定の構成に限定されず、その範囲を離脱しない状況で、様々な修正や変更を実施してもよい。本発明の範囲は、添付される特許請求の範囲のみにより限定される。     
【図１】
2020507136.tif 000003
【図２】
2020507136.tif 000004
【図３】
2020507136.tif 000005
【図４】
2020507136.tif 000006
【図５】
2020507136.tif 000007
【図６】
2020507136.tif 000008
【手続補正書】
【提出日】平成30年12月25日(2018.12.25)
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００２
【補正方法】変更
【補正の内容】
【０００２】
本発明は、画像処理の技術分野に関し、特にＶＲオブジェクトの合成方法、装置、プログラム及び記録媒体に関する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
本発明は、関連技術に存在する問題を克服するために、ＶＲオブジェクトの合成方法、装置、プログラム及び記録媒体を提供し、端末機器により捕捉された画像に仮想オブジェクトをリアルタイムに正確に表示できる。
【手続補正４】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
端末機器に適用されるＶＲオブジェクトの合成方法であって、
前記方法は、
前記端末機器により捕捉された画像におけるターゲットオブジェクトを取得するステップと、
奥行き情報融合モードで、前記端末機器の撮像装置によって前記ターゲットオブジェクトの奥行き情報を取得し、前記奥行き情報融合モードは、コンピュータモデリングにより生成された仮想オブジェクトを前記画像に重畳させるために使用され、前記ターゲットオブジェクトの奥行き情報は、ターゲットオブジェクトと端末機器との間の距離を表すためのものであるステップと、
仮想オブジェクトの奥行き情報を取得するステップと、
前記ターゲットオブジェクトの奥行き情報及び前記仮想オブジェクトの奥行き情報に基づき、前記仮想オブジェクトを前記画像に重畳させるステップと、を含むことを特徴とするＶＲオブジェクトの合成方法。
【請求項２】
前記ターゲットオブジェクトの奥行き情報及び前記仮想オブジェクトの奥行き情報に基づき、前記仮想オブジェクトを前記画像に重畳させるステップは、
前記ターゲットオブジェクトの奥行き情報が前記仮想オブジェクトの奥行き情報より小さい場合、前記仮想オブジェクトの前記ターゲットオブジェクトにより遮蔽されていない部分を前記画像に重畳させるステップを含むことを特徴とする請求項１に記載のＶＲオブジェクトの合成方法。
【請求項３】
前記ターゲットオブジェクトの奥行き情報及び前記仮想オブジェクトの奥行き情報に基づき、前記仮想オブジェクトを前記画像に重畳させるステップは、
前記ターゲットオブジェクトの奥行き情報が前記仮想オブジェクトの奥行き情報以上である場合、前記仮想オブジェクトを前記画像に重畳させるステップを含むことを特徴とする請求項１に記載のＶＲオブジェクトの合成方法。
【請求項４】
前記端末機器の撮像装置は、少なくとも２つのカメラを備え、前記端末機器の撮像装置により前記ターゲットオブジェクトの奥行き情報を取得するステップは、
前記ターゲットオブジェクトと前記少なくとも２つのカメラとの位置関係、及び前記少なくとも２つのカメラ間の距離に基づき、前記ターゲットオブジェクトの奥行き情報を決定するステップを含むことを特徴とする請求項１〜３のいずれか１項に記載のＶＲオブジェクトの合成方法。
【請求項５】
仮想オブジェクトの奥行き情報を取得するステップは、
前記仮想オブジェクトが配置される位置の位置情報を取得するステップと、
前記位置情報に基づき、前記仮想オブジェクトの奥行き情報を決定するステップと、を含むことを特徴とする請求項１〜３のいずれか１項に記載のＶＲオブジェクトの合成方法。
【請求項６】
端末機器に適用されるＶＲオブジェクトの合成装置であって、
前記装置は、
前記端末機器により捕捉された画像におけるターゲットオブジェクトを取得するためのオブジェクト取得モジュールと、
奥行き情報融合モードで、前記端末機器の撮像装置により前記ターゲットオブジェクトの奥行き情報を取得するためのもので、前記奥行き情報融合モードは、コンピュータモデリングにより生成された仮想オブジェクトを前記画像に重畳させるために使用され、前記ターゲットオブジェクトの奥行き情報は、ターゲットオブジェクトと端末機器との間の距離を表すためのものである第１の情報取得モジュールと、
仮想オブジェクトの奥行き情報を取得するための第２の情報取得モジュールと、
前記ターゲットオブジェクトの奥行き情報及び前記仮想オブジェクトの奥行き情報に基づき、前記仮想オブジェクトを前記画像に重畳させるための重畳モジュールと、を備えることを特徴とするＶＲオブジェクトの合成装置。
【請求項７】
前記重畳モジュールは、
前記ターゲットオブジェクトの奥行き情報が前記仮想オブジェクトの奥行き情報より小さい場合、前記仮想オブジェクトの前記ターゲットオブジェクトにより遮蔽されていない部分を前記画像に重畳させるための第１の重畳サブモジュールを備えることを特徴とする請求項６に記載のＶＲオブジェクトの合成装置。
【請求項８】
前記重畳モジュールは、
前記ターゲットオブジェクトの奥行き情報が前記仮想オブジェクトの奥行き情報以上である場合、前記仮想オブジェクトを前記画像に重畳させるための第２の重畳サブモジュールをさらに備えることを特徴とする請求項６に記載のＶＲオブジェクトの合成装置。
【請求項９】
前記端末機器の撮像装置は、少なくとも２つのカメラを備え、第１の情報取得モジュールは、
前記ターゲットオブジェクトと前記少なくとも２つのカメラとの位置関係、及び前記少なくとも２つのカメラ間の距離に基づき、前記ターゲットオブジェクトの奥行き情報を決定するための第１の決定サブモジュールを備えることを特徴とする請求項６〜８のいずれか１項に記載のＶＲオブジェクトの合成装置。
【請求項１０】
前記第２の情報取得モジュールは、
前記仮想オブジェクトが配置される位置の位置情報を取得するための取得サブモジュールと、
前記位置情報に基づき、前記仮想オブジェクトの奥行き情報を決定するための第２の決定サブモジュールと、を備えることを特徴とする請求項６〜８のいずれか１項に記載のＶＲオブジェクトの合成装置。
【請求項１１】
プロセッサーと、
プロセッサーで実行可能な指令を記憶するためのメモリを備え、
ここで、前記プロセッサーは、請求項１〜５のいずれか１項に記載の方法を実行するように構成されることを特徴とするＶＲオブジェクトの合成装置。
【請求項１２】
記録媒体における命令がプロセッサーにより実行されると、請求項１〜５のいずれか１項に記載の方法が実現される非一時的コンピュータ読取可能な記録媒体。
【請求項１３】
プロセッサに実行されることにより、請求項１から請求項５の何れか１項に記載のＶＲオブジェクトの合成方法を実現することを特徴とするプログラム。
【国際調査報告】
2020507136.tif 000009
2020507136.tif 000010
2020507136.tif 000011
2020507136.tif 000012