(57)【要約】  画像処理方法であって、撮像画像を取得するステップと、該撮像画像から、少なくとも１つの被写体の被写体情報を抽出するステップと、各々の被写体の被写体情報に基づいて、対応する仮想物体を決定するステップと、各々の被写体の被写体情報と、撮像画像とに基づいて、各々の仮想物体の座標情報を決定するステップと、該座標情報、仮想物体、及び撮像画像に基づいて、仮想シーンを生成するステップと、を含む。
2021503138.tif 000002
【特許請求の範囲】
【請求項１】
電子機器により実行される画像処理方法であって、
撮像画像を取得するステップと、
前記撮像画像から、少なくとも１つの被写体の被写体情報を抽出するステップと、
各々の被写体の前記被写体情報に基づいて、対応する仮想物体を決定するステップと、
各々の被写体の前記被写体情報と、前記撮像画像とに基づいて、各々の仮想物体の座標情報を決定するステップと、
前記座標情報、前記仮想物体、及び前記撮像画像に基づいて、仮想シーンを生成するステップと、
を含む画像処理方法。
【請求項２】
前記各々の被写体の前記被写体情報に基づいて、対応する仮想物体を決定するステップは、
前記被写体情報から特徴情報を抽出するステップと、
前記特徴情報に基づいて、対応する被写体の物体識別子を決定するステップと、
前記物体識別子に基づいて、記憶された仮想物体ライブラリから、対応する仮想物体を取得するステップと、
を含むことを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記各々の被写体の前記被写体情報と、前記撮像画像とに基づいて、各々の仮想物体の座標情報を決定するステップは、
前記撮像画像における前記被写体情報の表示位置を検出するステップと、
前記表示位置に基づいて、前記少なくとも１つの被写体の中から、ターゲット被写体を選択するステップと、
前記ターゲット被写体と前記表示位置とに基づいて、各々の仮想物体の座標情報を決定するステップと、
を含むことを特徴とする請求項１に記載の画像処理方法。
【請求項４】
前記表示位置に基づいて、前記少なくとも１つの被写体の中から、ターゲット被写体を選択するステップは、
前記少なくとも１つの被写体の中から、前記撮像画像の所定のエッジに前記表示位置が最も近い被写体を決定するステップと、
決定された前記被写体をターゲット被写体とするステップと、
を含むことを特徴とする請求項３に記載の画像処理方法。
【請求項５】
前記ターゲット被写体と前記表示位置とに基づいて、各々の仮想物体の座標情報を決定するステップは、
前記ターゲット被写体の表示位置を座標原点として、三次元の座標系を構築するステップと、
各々の表示位置の、前記三次元の座標系における座標情報を、対応する仮想物体の座標情報として取得するステップと、
を含むことを特徴とする請求項３に記載の画像処理方法。
【請求項６】
前記座標情報、前記仮想物体、及び前記撮像画像に基づいて、仮想シーンを生成するステップは、
前記座標情報に基づいて、対応する前記仮想物体を前記撮像画像に重畳することにより、仮想シーンを生成するステップ、
を含むことを特徴とする請求項１に記載の画像処理方法。
【請求項７】
前記座標情報に基づいて、対応する前記仮想物体を前記撮像画像に重畳するステップは、
前記物体識別子に基づいて、記憶されたシーン画像ライブラリから、ターゲットシーン画像を決定するステップと、
前記座標情報に基づいて、前記ターゲットシーン画像を前記撮像画像に重畳するステップと、
前記座標情報に基づいて、対応する前記仮想物体を前記ターゲットシーン画像に重畳するステップと、
を含むことを特徴とする請求項６に記載の画像処理方法。
【請求項８】
前記座標情報に基づいて、対応する前記仮想物体を前記ターゲットシーン画像に重畳した後、
各々の座標情報と他の座標情報との差分を取得することにより、差分セットを取得するステップであって、各々の座標情報が１つの差分セットに対応する、ステップと、
各々の差分セットにおける差分の変化量を検出するステップと、
前記変化量に基づいて、前記仮想シーンを更新するステップと、
をさらに含むことを特徴とする請求項７に記載の画像処理方法。
【請求項９】
前記変化量に基づいて、前記仮想シーンを更新するステップは、
各々の差分セットにおける、変化量がゼロに等しい差分の数を取得するステップと、
カウントされた数に基づいて、前記差分セットの中から、ターゲット差分セットを決定するステップと、
前記ターゲット差分セットに対応する座標情報をアンカーポイントとして、前記仮想シーンでのターゲットシーン画像を固定するステップと、
を含むことを特徴とする請求項８に記載の画像処理方法。
【請求項１０】
前記変化量に基づいて、仮想シーンを更新するステップは、
各々の差分セットにおける、変化量がゼロより大きいすべての差分を取得するステップと、
取得されたすべての差分のうち、所定閾値以下である差分が存在するか否かを判断するステップと、
取得されたすべての差分のうち、所定閾値以下である差分が存在する場合、所定閾値以下である差分に対応する座標情報を相互作用対象座標情報として決定し、前記ターゲット座標情報に対応する物体識別子を相互作用対象識別子として決定するステップと、
前記相互作用対象座標情報及び相互作用対象識別子に基づいて、前記ターゲットシーン画像に重畳された仮想物体を更新するステップと、
を含むことを特徴とする請求項８に記載の画像処理方法。
【請求項１１】
前記相互作用対象座標情報及び相互作用対象識別子に基づいて、前記ターゲットシーン画像に重畳された仮想物体を更新するステップは、
前記相互作用対象識別子に基づいて、対応する仮想物体の物体パラメータを取得するステップと、
前記物体パラメータ及び相互作用対象座標情報に基づいて、相互作用値を算出するステップと、
前記相互作用値に基づいて、相応の物体パラメータを更新することにより、仮想物体を更新するステップと、
を含むことを特徴とする請求項１０に記載の画像処理方法。
【請求項１２】
前記物体パラメータ及び相互作用対象座標情報に基づいて、相互作用値を算出するステップは、
前記所定閾値以下である差分に基づいて、ターゲット相互作用関数を決定するステップと、
前記ターゲット相互作用関数、前記物体パラメータ、及び前記相互作用対象座標情報に基づいて、相互作用値を算出するステップと、
を含むことを特徴とする請求項１１に記載の画像処理方法。
【請求項１３】
メモリとプロセッサとを備える電子機器であって、前記メモリには、コンピュータ読取可能命令が記憶され、前記コンピュータ読取可能命令は、１つ又は複数のプロセッサによって実行されると、前記１つ又は複数のプロセッサに、
撮像画像を取得するステップと、
前記撮像画像から、少なくとも１つの被写体の被写体情報を抽出するステップと、
各々の被写体の前記被写体情報に基づいて、対応する仮想物体を決定するステップと、
各々の被写体の前記被写体情報と、前記撮像画像とに基づいて、各々の仮想物体の座標情報を決定するステップと、
前記座標情報、前記仮想物体、及び前記撮像画像に基づいて、仮想シーンを生成するステップと、
を実行させる電子機器。
【請求項１４】
前記１つ又は複数のプロセッサは、前記各々の被写体の前記被写体情報に基づいて、対応する仮想物体を決定するステップを実行する際に、
前記被写体情報から特徴情報を抽出するステップと、
前記特徴情報に基づいて、対応する被写体の物体識別子を決定するステップと、
前記物体識別子に基づいて、記憶された仮想物体ライブラリから、対応する仮想物体を取得するステップと、
をさらに実行することを特徴とする請求項１３に記載の電子機器。
【請求項１５】
前記１つ又は複数のプロセッサは、前記各々の被写体の前記被写体情報と、前記撮像画像とに基づいて、各々の仮想物体の座標情報を決定するステップを実行する際に、
前記撮像画像における前記被写体情報の表示位置を検出するステップと、
前記表示位置に基づいて、前記少なくとも１つの被写体の中から、ターゲット被写体を選択するステップと、
前記ターゲット被写体と前記表示位置とに基づいて、各々の仮想物体の座標情報を決定するステップと、
をさらに実行することを特徴とする請求項１３に記載の電子機器。
【請求項１６】
前記１つ又は複数のプロセッサは、前記座標情報、前記仮想物体、及び前記撮像画像に基づいて、仮想シーンを生成するステップを実行する際に、
前記座標情報に基づいて、対応する前記仮想物体を前記撮像画像に重畳することにより、仮想シーンを生成するステップ、
をさらに実行することを特徴とする請求項１３に記載の電子機器。
【請求項１７】
複数のコンピュータ読取可能命令を記憶した不揮発性コンピュータ読取可能記憶媒体であって、前記コンピュータ読取可能命令は、１つ又は複数のプロセッサによって実行されると、前記１つ又は複数のプロセッサに、
撮像画像を取得するステップと、
前記撮像画像から、少なくとも１つの被写体の被写体情報を抽出するステップと、
各々の被写体の前記被写体情報に基づいて、対応する仮想物体を決定するステップと、
各々の被写体の前記被写体情報と、前記撮像画像とに基づいて、各々の仮想物体の座標情報を決定するステップと、
前記座標情報、前記仮想物体、及び前記撮像画像に基づいて、仮想シーンを生成するステップと、
を実行させる記憶媒体。
【請求項１８】
前記１つ又は複数のプロセッサは、前記各々の被写体の前記被写体情報に基づいて、対応する仮想物体を決定するステップを実行する際に、
前記被写体情報から特徴情報を抽出するステップと、
前記特徴情報に基づいて、対応する被写体の物体識別子を決定するステップと、
前記物体識別子に基づいて、記憶された仮想物体ライブラリから、対応する仮想物体を取得するステップと、
をさらに実行することを特徴とする請求項１７に記載の記憶媒体。
【請求項１９】
前記１つ又は複数のプロセッサは、前記各々の被写体の前記被写体情報と、前記撮像画像とに基づいて、各々の仮想物体の座標情報を決定するステップを実行する際に、
前記撮像画像における前記被写体情報の表示位置を検出するステップと、
前記表示位置に基づいて、前記少なくとも１つの被写体の中から、ターゲット被写体を選択するステップと、
前記ターゲット被写体と前記表示位置とに基づいて、各々の仮想物体の座標情報を決定するステップと、
をさらに実行することを特徴とする請求項１７に記載の記憶媒体。
【請求項２０】
前記１つ又は複数のプロセッサは、前記座標情報、前記仮想物体、及び前記撮像画像に基づいて、仮想シーンを生成するステップを実行する際に、
前記座標情報に基づいて、対応する前記仮想物体を前記撮像画像に重畳することにより、仮想シーンを生成するステップ、
をさらに実行することを特徴とする請求項１７に記載の記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、２０１７年１１月２３日に中国特許庁に提出された、出願番号が２０１７１１８４８８３．６であり、発明の名称が「画像処理方法、装置、及び記憶媒体」である中国特許出願の優先権を主張し、その全ての内容は参照することにより本願に組み込まれる。
【０００２】
本願は、コンピュータ技術分野に関し、特に画像処理方法、電子機器、及び記憶媒体に関する。
【背景技術】
【０００３】
拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）技術は、カメラ映像に対して、位置及び角度をリアルタイムで算出して、これらに応じた画像、動画、三次元モデルを付加する技術である。この技術は、スクリーンにおいて、仮想世界を現実世界に重ねて相互作用を行わせることを目的とする。
【０００４】
ＡＲゲームは、実環境及び仮想物体を同一の画面又は空間にリアルタイムで重畳する電子ゲームであり、利用者が仮想立体画像を十分に知覚して操作・制御することを可能にする。ＡＲゲームの実現には、カメラを備えたゲームハードウェア機器のサポートが必要である。このハードウェア機器は、コンピュータ、携帯電話、ゲームコンソール、ＡＲヘルメット、ＡＲメガネなどを含むが、これらに限定されない。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来のＡＲゲームでは、主に、カメラでゲームカードの画像情報を認識し、その後、該画像情報に対応する物体（例えば、ヨットやエルフなどの三次元モデル）を現実シーンにレンダリングする。従来のＡＲゲームは、複数のゲームカードを同時に認識できないため、１つのゲームで特定のゲーム物体を１つ又は１組しか表示できず、相互作用方式が単一であり、ゲームの内容が強く制限される。
【課題を解決するための手段】
【０００６】
本願の各実施例では、画像処理方法、装置、記憶媒体、及び電子機器が提供される。
【０００７】
電子機器により実行される画像処理方法であって、
撮像画像を取得するステップと、
前記撮像画像から、少なくとも１つの被写体の被写体情報を抽出するステップと、
各々の被写体の前記被写体情報に基づいて、対応する仮想物体を決定するステップと、
各々の被写体の前記被写体情報と、前記撮像画像とに基づいて、各々の仮想物体の座標情報を決定するステップと、
前記座標情報、前記仮想物体、及び前記撮像画像に基づいて、仮想シーンを生成するステップと、を含む。
【０００８】
画像処理装置であって、
撮像画像を取得する取得モジュールと、
前記撮像画像から、少なくとも１つの被写体の被写体情報を抽出する抽出モジュールと、
各々の被写体の前記被写体情報に基づいて、対応する仮想物体を決定する第１決定モジュールと、
各々の被写体の前記被写体情報と、前記撮像画像とに基づいて、各々の仮想物体の座標情報を決定する第２決定モジュールと、
前記座標情報、前記仮想物体、及び前記撮像画像に基づいて、仮想シーンを生成する生成モジュールと、を含む。
【０００９】
メモリとプロセッサとを備える電子機器であって、前記メモリには、コンピュータ読取可能命令が記憶され、前記コンピュータ読取可能命令は、１つ又は複数のプロセッサによって実行されると、前記１つ又は複数のプロセッサに、
撮像画像を取得するステップと、
前記撮像画像から、少なくとも１つの被写体の被写体情報を抽出するステップと、
各々の被写体の前記被写体情報に基づいて、対応する仮想物体を決定するステップと、
各々の被写体の前記被写体情報と、前記撮像画像とに基づいて、各々の仮想物体の座標情報を決定するステップと、
前記座標情報、前記仮想物体、及び前記撮像画像に基づいて、仮想シーンを生成するステップと、を実行させる。
【００１０】
複数のコンピュータ読取可能命令を記憶した不揮発性コンピュータ読取可能記憶媒体であって、前記コンピュータ読取可能命令は、１つ又は複数のプロセッサによって実行されると、前記１つ又は複数のプロセッサに、
撮像画像を取得するステップと、
前記撮像画像から、少なくとも１つの被写体の被写体情報を抽出するステップと、
各々の被写体の前記被写体情報に基づいて、対応する仮想物体を決定するステップと、
各々の被写体の前記被写体情報と、前記撮像画像とに基づいて、各々の仮想物体の座標情報を決定するステップと、
前記座標情報、前記仮想物体、及び前記撮像画像に基づいて、仮想シーンを生成するステップと、を実行させる。
【図面の簡単な説明】
【００１１】
本願の実施例又は従来技術の構成をより明確に説明するために、以下、実施例又は従来技術の説明に必要な図面を簡単に紹介する。明らかに、以下の説明における図面は本願のいくつかの実施例を示しているにすぎず、当業者にとって、創造的な労働をせずに、これらの図面から他の図面を得ることもできる。
【図１】本願の実施例で提供される画像処理方法の手順の模式図である。
【図２ａ】本願の実施例で提供される画像処理方法の手順の模式図である。
【図２ｂ】本願の実施例で提供されるＡＲゲームの相互作用シーンの模式図である。
【図２ｃ】本願の実施例で提供される海戦ゲームの仮想シーンの模式図である。
【図３ａ】本願の実施例で提供される画像処理装置の構成の模式図である。
【図３ｂ】本願の実施例で提供される第２決定モジュールの構成の模式図である。
【図３ｃ】本願の実施例で提供される生成モジュールの構成の模式図である。
【図３ｄ】本願の実施例で提供される更新モジュールの構成の模式図である。
【図４】本願の実施例で提供される電子機器の構成の模式図である。
【発明を実施するための形態】
【００１２】
以下、本願の実施例の図面を参照して、本願の実施例の構成を明瞭かつ完全に説明する。明らかに、説明される実施例は、本願の実施例の全部ではなく、本願の実施例の一部にすぎない。当業者が創造的な労働をせずに本願の実施例から得るすべての他の実施例は、本願の保護範囲に属する。
【００１３】
本願の実施例では、画像処理方法、装置、及び記憶媒体が提供されている。以下、それぞれ詳しく説明する。
【００１４】
画像処理方法であって、撮像画像を取得するステップと、撮像画像から、被写体の被写体情報を抽出するステップと、被写体情報に基づいて、対応する被写体の仮想物体を決定するステップと、被写体情報と撮像画像とに基づいて、各々の仮想物体の座標情報を決定するステップと、座標情報、仮想物体、及び撮像画像に基づいて、仮想シーンを生成するステップと、を含む。
【００１５】
図１に示すように、この画像処理方法の具体的な手順は、以下の通りであってもよい。
【００１６】
Ｓ１０１において、撮像画像を取得する。
【００１７】
本実施例では、端末に内蔵された画像取得装置（例えば、カメラ）によって、この撮像画像を取得してもよい。この画像取得装置は、ＡＲゲーム機器に内蔵されてもよい。このＡＲゲーム機器は、主にＡＲゲームに適用される。各々のＡＲゲームに参加するプレイヤーの数は、実際の必要に応じて定められてもよく、１つ又は複数であってもよい。あるＡＲゲームに参加するプレイヤーが複数である場合、１つのプレイヤーのＡＲゲーム機器をメイン機器として指定し、このメイン機器により取得された画像を撮像画像として決定してもよい。
【００１８】
Ｓ１０２において、撮像画像から、少なくとも１つの被写体の被写体情報を抽出する。
【００１９】
本実施例では、この被写体は、特定の仮想物体を指し示す機能を持つ実物、例えば、公式にリリースされたゲームカードであってもよい。各々のゲームカードは、１つの仮想物体に対応するものである。この仮想物体は、仮想のネットワーク世界から派生した物体であり、例えば、ゲームにおけるキャラクター、武器・装備品や道具などである。具体的には、例えば、ランダムフォレスト（ｒａｎｄｏｍ  ｆｏｒｅｓｔ）、サポートベクターマシン（ＳＶＭ：Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）などの分類器を使用して、撮像画像から被写体情報を抽出してもよい。
【００２０】
Ｓ１０３において、各々の被写体の被写体情報に基づいて、対応する仮想物体を決定する。
【００２１】
例えば、上記ステップＳ１０３は、具体的に、以下のステップを含んでもよい。
【００２２】
１−１において、被写体情報から特徴情報を抽出する。
【００２３】
本実施例では、この特徴情報は、色特徴、テクスチャ特徴、形状特徴、及び空間関係特徴などの情報のうちの少なくとも１つを含んでもよい。異なる特徴は、異なるアルゴリズムによって抽出されてもよい。例えば、色特徴は、色ヒストグラム法によって抽出され、テクスチャ特徴は、幾何学的な方法によって抽出されるなどである。
【００２４】
１−２において、特徴情報に基づいて、対応する被写体の物体識別子を決定する。
【００２５】
本実施例では、この物体識別子は、仮想物体を一意に識別する識別子であり、この仮想物体は、通常、三次元モデルをレンダリングした立体画像である。ここで、物体識別子は、仮想物体がネットワークプラットフォームに登録されるときに人工的に設定される名称、又はシステムによって自動的に割り当てられる文字列などであってもよい。１つ（又は１組）の仮想物体は、１つの物体識別子に対応するものである。具体的には、ユーザは、予め、準備されたすべての被写体（例えば、ゲームカード）の画像取得を行って特徴情報を抽出し、次に、抽出された特徴情報と、被写体が指し示す仮想物体の物体識別子とを関連付けて記憶してもよい。このように、後に特徴情報に基づいて、対応する物体識別子を検索することが可能になる。
【００２６】
１−３において、物体識別子に基づいて、記憶された仮想物体ライブラリから、対応する仮想物体を取得する。
【００２７】
本実施例では、ユーザは、予め、設計された各仮想物体に対して物体識別子を設定し、仮想物体と物体識別子とを関連付けて仮想物体ライブラリに記憶してもよい。
【００２８】
Ｓ１０４において、各々の被写体の被写体情報と、撮像画像とに基づいて、各々の仮想物体の座標情報を決定する。
【００２９】
例えば、上記ステップＳ１０４は、具体的に、以下のステップを含んでもよい。
【００３０】
２−１において、撮像画像における被写体情報の表示位置を検出する。
【００３１】
本実施例では、この表示位置は、撮像画像の上下の境界及び左右の境界からの相対位置であってもよい。被写体の、撮像画像における投影が、１つの画素点ではなく、画素領域であるため、ここで、領域の中心点の表示位置を被写体全体の表示位置の代表としてもよい。もちろん、他の方式であってもよいが、ここで限定しない。
【００３２】
２−２において、表示位置に基づいて、少なくとも１つの被写体の中から、ターゲット被写体を選択する。
【００３３】
本実施例では、このターゲット被写体の選択は、実際の必要に応じて決定されてもよい。例えば、ある定点に最も遠く又は最も近い被写体をターゲット被写体として決定してもよい。この定点は、撮像画像の左上の頂点、中心点、又は右下の頂点などであってもよい。ある境界に位置する被写体をターゲット被写体としてもよい。
【００３４】
例えば、上記ステップ２−２は、具体的に、
少なくとも１つの被写体の中から、撮像画像の所定のエッジに表示位置が最も近い被写体を決定するステップと、
決定された該被写体をターゲット被写体とするステップと、を含んでもよい。
【００３５】
本実施例では、この所定のエッジは、ユーザにより設定されたいずれか１つのエッジ、例えば、左エッジ、右エッジ、上エッジ、又は下エッジなどであってもよい。
【００３６】
２−３において、ターゲット被写体と表示位置とに基づいて、各々の仮想物体の座標情報を決定する。
【００３７】
例えば、上記ステップ２−３は、具体的に、
ターゲット被写体の表示位置を座標原点として、三次元の座標系を構築するステップと、
各々の表示位置の、該三次元の座標系における座標情報を、対応する仮想物体の座標情報として取得するステップと、を含んでもよい。
【００３８】
本実施例では、ターゲット被写体の表示位置を座標原点として、撮像画像の位置する平面を三次元の座標系の２つの座標軸（例えば、Ｘ軸及びＹ軸）の位置する平面として、三次元の座標系を構築し、その後、各々の表示位置の、Ｘ軸、Ｙ軸、及びＺ軸に対する投影位置に基づいて、対応する三次元の座標値を決定し、この三次元の座標値を仮想物体の座標情報としてもよい。説明すべきものとして、各々の座標情報における３番目の座標軸（例えば、Ｚ軸）の値は、通常、０である。
【００３９】
Ｓ１０５において、座標情報、仮想物体、及び撮像画像に基づいて、仮想シーンを生成する。
【００４０】
例えば、上記ステップＳ１０５は、具体的に、
座標情報に基づいて、対応する仮想物体を撮像画像に重畳することにより、仮想シーンを生成するステップ、を含んでもよい。
【００４１】
本実施例では、この仮想シーンとは、仮想映像及び現実映像に対して特定の変換処理を行って、所定の共通空間座標系内で生成された新たな画像を指す。この共通空間座標系とは、主に、構築された三次元の座標系を指す。この変換処理は、重畳を含んでもよい。仮想シーンでの仮想物体は、撮像画像に直接に重畳されてもよいし、撮像画像に間接的に重畳されてもよい。これは、主に、実際のゲームの重点によって決まる。実環境の体験に重点が置かれる場合、直接に重畳すればよく、実相互作用操作の、仮想世界での表示に重点が置かれる場合、間接的に重畳すればよい。
【００４２】
例えば、仮想物体が間接的に重畳される場合、上記「座標情報に基づいて、対応する仮想物体を撮像画像に重畳する」ステップは、具体的に、以下のステップを含んでもよい。
【００４３】
３−１において、物体識別子に基づいて、記憶されたシーン画像ライブラリから、ターゲットシーン画像を決定する。
【００４４】
本実施例では、このシーン画像ライブラリにおけるシーン画像は、通常、ゲームの内容に応じて予め設計されたものであり、主にゲームの背景の役割を果たす。異なるゲームには、異なるシーン画像があり得る。異なるゲームに必要な仮想物体に相違があり、各々の仮想物体を物体識別子によって識別できるため、仮想物体の物体識別子に基づいて、現在実行中のゲームのシーン画像を決定できる。
【００４５】
３−２において、座標情報に基づいて、ターゲットシーン画像を撮像画像に重畳する。
【００４６】
本実施例では、いずれの仮想物体もターゲットシーン画像の上方に位置できることを確保するために、エッジに位置する仮想物体の座標情報に基づいて、ターゲットシーン画像のサイズの大きさ及び重畳位置を調整してもよい。
【００４７】
３−３において、座標情報に基づいて、対応する仮想物体をターゲットシーン画像に重畳する。
【００４８】
本実施例では、まず、各座標情報の、ターゲットシーン画像における対応位置を決定し、その後、対応する仮想物体を該対応位置に重畳してもよい。
【００４９】
もちろん、仮想シーンを生成した後、さらに該仮想シーンをユーザに表示してもよい。これにより、ユーザは、表示された画像に応じて、相互作用を行うことができる。説明すべきものとして、各ユーザは、立っている位置が異なるため、その視覚角度も必ず異なる場合がある。仮想シーンをユーザに表示する際に、ユーザの臨場感を深めるために、各ユーザの視覚角度に応じて、仮想物体及びターゲットシーン画像の配置方向を柔軟に調整する必要がある。各ユーザの視覚角度は、それぞれ取得された背景画像の向きから分かることができる。
【００５０】
また、仮想シーンをユーザに表示した後、各被写体の移動状況をリアルタイムで追跡し、該移動状況に応じて、対応する仮想シーンを更新する必要もある。つまり、上記ステップ３−３の後に、当該画像処理方法は、
各々の座標情報と他の座標情報との差分を取得することにより、差分セットを取得するステップであって、各々の座標情報が１つの差分セットに対応するステップと、
各々の差分セットにおける差分の変化量を検出するステップと、
該変化量に基づいて、仮想シーンを更新するステップと、をさらに含んでもよい。
【００５１】
本実施例では、差分は、２つの仮想物体間の座標差分であり、その変化量が、この２つの仮想物体間の、例えば、相対移動又は相対回転などの相対運動の状況を反映できる。いったん、変化量がゼロではないことを検出すると、移動していない仮想物体の座標情報に基づいて、ゲームシーンを固定し、移動した仮想物体の座標情報に基づいて、仮想物体を更新する必要がある。
【００５２】
例えば、移動していない仮想物体に基づいて、ターゲットシーン画像の表示を固定する必要がある場合、上記「変化量に基づいて、仮想シーンを更新する」ステップは、
各々の差分セットにおける、変化量がゼロに等しい差分の数を取得するステップと、
カウントされた数に基づいて、該差分セットの中から、ターゲット差分セットを決定するステップと、
該ターゲット差分セットに対応する座標情報をアンカーポイントとして、仮想シーンでのターゲットシーン画像を固定するステップと、を含んでもよい。
【００５３】
本実施例では、変化量が０である（つまり、相対移動が発生していない）場合には、２つの場合がある。即ち、２つの仮想物体が同じ距離で同時に移動したか、又は、２つの仮想物体がいずれも移動していない。このとき、さらに、変化量が０である差分の数に基づいて、移動していない仮想物体を判断してもよい。例えば、数が上位のいくつか（つまり、大多数の仮想物体に対する移動量が０）の差分セットを、ターゲット差分セットとして決定し、該ターゲット差分セットに対応する仮想物体を、移動していない仮想物体として決定し、該仮想物体の座標をアンカーポイントとして、ターゲットシーン画像を引き続いて固定してもよい。
【００５４】
これと共に、移動した仮想物体の座標情報に基づいて、仮想物体を更新する必要がある場合、上記「変化量に基づいて、仮想シーンを更新する」ステップは、
各々の差分セットにおける、変化量がゼロより大きいすべての差分を取得するステップと、
取得されたすべての差分のうち、所定閾値以下である差分が存在するか否かを判断するステップと、
取得されたすべての差分のうち、所定閾値以下である差分が存在する場合、所定閾値以下である差分に対応する座標情報を相互作用対象座標情報として決定し、該相互作用対象座標情報に対応する物体識別子を相互作用対象識別子として決定するステップと、
該相互作用対象座標情報及び相互作用対象識別子に基づいて、ターゲットシーン画像に重畳された仮想物体を更新するステップと、を含んでもよい。
【００５５】
本実施例では、移動したすべての仮想物体の更新が必要であるのではなく、２つの仮想物体間に相互作用が発生した場合にのみ、更新する必要がある。この所定閾値は、主に、相互作用状態及び非相互作用状態の境界を定めることに用いられ、その具体的な値が、実際の必要に応じて定められてもよい。この相互作用状態での相互作用方式は、接近、引き離し、衝突、回転などを含んでもよい。通常、異なる相互作用方式は、異なる相互作用命令を示す。例えば、接近は攻撃を示し、引き離しは撤退を示し、回転は防御を示すなどであってもよい。また、異なるゲームでは、同一の相互作用方式により示される相互作用命令も異なってもよい。
【００５６】
２つの仮想物体間の距離が所定閾値内にある場合は、相互作用状態にあると定義されてもよい。この場合、さらに、双方の距離値に基づき相互作用方式を決定し、相互作用方式に基づき仮想物体を更新する必要がある。つまり、上記「相互作用対象座標情報及び相互作用対象識別子に基づいて、ターゲットシーン画像に重畳された仮想物体を更新する」ステップは、具体的に、以下のステップを含んでもよい。
【００５７】
４−１において、相互作用対象識別子に基づいて、対応する仮想物体の物体パラメータを取得する。
【００５８】
本実施例では、この物体パラメータは、主に、仮想物体自体の属性パラメータ、例えば、ゲームにおける異なるキャラクターの攻撃範囲値、攻撃力値、防御力値、ライフ値などを含む。
【００５９】
４−２において、物体パラメータ及び相互作用対象座標情報に基づいて、相互作用値を算出する。
【００６０】
例えば、上記ステップ４−２は、具体的に、
所定閾値以下である差分に基づいて、ターゲット相互作用関数を決定するステップと、
該ターゲット相互作用関数、物体パラメータ、及び相互作用対象座標情報に基づいて、相互作用値を算出するステップと、を含んでもよい。
【００６１】
本実施例では、２つの仮想物体間の異なる間隔は、異なる相互作用方式に対応し、各々の相互作用方式には、相互作用値を算出するための指定の相互作用関数がある。説明すべきものとして、これらの相互作用関数は、一般的に、ユーザにより予め設定され、指定の距離範囲と関連付けられてデータベースに記憶される。これにより、後続に間隔に基づいて、対応する相互作用関数を決定することが可能になる。
【００６２】
４−３において、相互作用値に基づいて、相応の物体パラメータを更新することにより、仮想物体を更新する。
【００６３】
本実施例では、物体パラメータの更新方法は、実際の必要に応じて定められてもよい。例えば、単純な加算や減算であってもよい。つまり、物体パラメータに相互作用値を加えるか、又は、物体パラメータから該相互作用値を引く。通常、相互作用値が異なると、仮想物体への相互作用影響力が異なり、相互作用値が大きいほど、相互作用影響力が大きくなる。異なる相互作用影響力は、異なる相互作用結果を引き起こす。この相互作用結果は、ゲームでの勝利、死亡、及び出血などを含んでもよい。各々の相互作用結果は、更新された物体パラメータによって決める必要がある。例えば、ある仮想物体の相互作用後のライフ値が０であると、該仮想物体の死亡という相互作用結果となる。また、異なる相互作用結果の場合、仮想物体は、異なる画像で表示されてもよい。例えば、死亡時に仮想物体の周辺に死亡の特別効果を生成したり、出血時に仮想物体の頭上のＨＰゲージをそれに応じて変化させたりしてもよい。
【００６４】
上記から分かるように、本実施例で提供された画像処理方法では、撮像画像を取得し、該撮像画像から、少なくとも１つの被写体の被写体情報を抽出し、その後、該被写体情報に基づいて、対応する被写体の仮想物体を決定し、該被写体情報と撮像画像とに基づいて、各々の仮想物体の座標情報を決定し、その後、該座標情報、仮想物体、及び撮像画像に基づいて、仮想シーンを生成する。これにより、複数の現実物体の相対的な位置関係に基づいて、対応する仮想物体を現実シーンに表示し、大規模なゲームシーンの構築を実現し、ゲームの相互作用方式を充実させることが可能になり、柔軟性が高い。
【００６５】
上記の実施例で説明された方法に基づき、以下、例を挙げてさらに詳しく説明する。
【００６６】
本実施例では、画像処理装置が電子機器に組み入れられた場合を例として詳しく説明する。
【００６７】
図２ａに示すように、画像処理方法の具体的な手順は、以下の通りであってもよい。
【００６８】
Ｓ２０１において、電子機器は、撮像画像を取得し、撮像画像から、少なくとも１つの被写体の被写体情報を抽出する。
【００６９】
例えば、図２ｂを参照されたい。あるＡＲゲームに同時に参加するプレイヤーは、Ａ及びＢを含んでもよい。プレイヤーＡ及びＢは、それぞれのＡＲゲーム機器を装着しており、各ＡＲゲーム機器は、いずれも画像情報をリアルタイムで取得する。このとき、Ａがメインプレイヤーである場合、プレイヤーＡにより取得された画像を撮像画像として決定してもよい。その後、電子機器は、ＳＶＭ分類器によって背景消去処理を行って、被写体情報を抽出してもよい。
【００７０】
Ｓ２０２において、電子機器は、各々の被写体の被写体情報から、特徴情報を抽出する。
【００７１】
例えば、被写体がゲームカード｛ｃａｒｄ１、ｃａｒｄ２、ｃａｒｄ３…ｃａｒｄＮ｝を含む場合、各々のゲームカードに対応する特徴情報を抽出してもよい。この特徴情報は、色特徴、テクスチャ特徴、形状特徴、及び空間関係特徴などのうちの少なくとも１つを含んでもよい。
【００７２】
Ｓ２０３において、電子機器は、特徴情報に基づいて、対応する物体識別子を決定し、該物体識別子に基づいて、記憶された仮想物体ライブラリから、対応する仮想物体を取得する。
【００７３】
例えば、物体識別子は、｛ＩＤ１、ＩＤ２、ＩＤ３…ＩＤｎ｝を含んでもよい。各々の物体識別子は、システムによって割り当てられる文字列であってもよい。この仮想物体は、仮想のネットワークゲーム世界から派生した物体、例えば、ゲームにおけるキャラクターや武器などであってもよい。各々の仮想物体は、設計時に立体画像でユーザに表示される。
【００７４】
Ｓ２０４において、電子機器は、撮像画像における各々の被写体情報の表示位置を検出し、少なくとも１つの被写体の中から、該撮像画像の所定のエッジに表示位置が最も近い被写体をターゲット被写体として決定する。
【００７５】
例えば、各々の被写体の、画像における中心投影点の位置を表示位置と定義し、ブライトフレームの左下隅に表示位置が最も近い被写体をターゲット被写体として決定してもよい。
【００７６】
Ｓ２０５において、電子機器は、ターゲット被写体の表示位置を座標原点として、三次元の座標系を構築し、各々の表示位置の、該三次元の座標系における座標情報を、対応する仮想物体の座標情報として取得する。
【００７７】
例えば、ターゲット被写体の表示位置を座標原点として、撮像画像の位置する平面をＸＹ軸の位置する平面として、三次元の座標系を構築してもよい。この場合、ターゲット被写体の表示位置は（０，０，０）であり、各表示位置は、縦軸Ｚにおける値がいずれも０である。
【００７８】
Ｓ２０６において、電子機器は、物体識別子に基づいて、記憶されたシーン画像ライブラリから、ターゲットシーン画像を決定する。
【００７９】
例えば、現在の仮想物体を参照して、実行すべきゲームの内容を決定し、さらに、対応するシーン画像をターゲットシーン画像として取得してもよい。例えば、現在の仮想物体に複数の異なる種類の軍艦が含まれる場合、ゲームが海戦ゲームであると決定でき、さらに、海戦ゲームに対応するシーン画像をターゲットシーン画像として決定できる。
【００８０】
Ｓ２０７において、電子機器は、各々の座標情報に基づいて、ターゲットシーン画像を撮像画像に重畳し、座標情報に基づいて、対応する仮想物体をターゲットシーン画像に重畳する。
【００８１】
例えば、図２ｃを参照されたい。いずれの軍艦も海戦シーン画像の上方に位置できることを確保するために、エッジに位置する軍艦の座標情報に基づいて、海戦シーン画像のサイズの大きさを調整し、その後、海戦シーン画像を撮像画像に重畳し、被写体の中心点の座標を軍艦の投影中心点の座標として、軍艦を海戦シーン画像に重畳してもよい。
【００８２】
Ｓ２０８において、電子機器は、各々の座標情報と他の座標情報との差分を取得することにより、差分セットを取得し、各々の座標情報が１つの差分セットに対応する。
【００８３】
例えば、各々の軍艦と他の軍艦との座標差分を算出してもよい。通常、同一の海面で移動する軍艦にとって、この座標差分は、即ち、２つの軍艦間の相対距離である。
【００８４】
Ｓ２０９において、電子機器は、各々の差分セットにおける差分の変化量を検出する。
【００８５】
例えば、いずれか１つの軍艦が移動すると、仮想シーンを更新する必要があり、例えば、移動していない軍艦の座標情報に基づいて、ゲームシーンを引き続いて固定したり、移動した軍艦に基づいて、仮想物体を更新したりする必要があるので、各々の軍艦の、他の軍艦に対する距離の変化量をリアルタイムで検出し、変化量に基づいて、移動したか否かを判断する必要がある。
【００８６】
Ｓ２１０において、電子機器は、各々の差分セットにおける、変化量がゼロに等しい差分の数を取得し、カウントされた数に基づいて、すべての差分セットの中から、ターゲット差分セットを決定する。
【００８７】
例えば、差分の変化量が０である（つまり、相対移動が発生していない）場合には、２つの場合がある。即ち、該差分に対応する２つの軍艦が同じ距離で同時に移動したか、又は、２つの軍艦がいずれも移動していない。このとき、さらに、変化量が０である差分の数に基づいて、移動していない軍艦を判断してもよい。例えば、変化量が０である差分の数が所定値を超えた差分セットを、ターゲット差分セットとして決定してもよい。この場合、該ターゲット差分セットに対応する軍艦が、移動していない軍艦となる。
【００８８】
Ｓ２１１において、電子機器は、ターゲット差分セットに対応する座標情報をアンカーポイントとして、仮想シーンでのターゲットシーン画像を固定する。
【００８９】
例えば、移動していない軍艦の座標情報をアンカーポイントとして、ゲームシーンを固定し、つまり、該ゲームシーンと移動していない軍艦との相対位置が変わらないように確保し、該座標情報を参考として、他の移動した軍艦の座標情報を更新してもよい。
【００９０】
Ｓ２１２において、電子機器は、各々の差分セットにおける、変化量がゼロより大きいすべての差分を取得し、取得されたすべての差分のうち、所定閾値以下である差分が存在するか否かを判断し、取得されたすべての差分のうち、所定閾値以下である差分が存在する場合、下記のステップＳ２１３〜Ｓ２１５を実行し、取得されたすべての差分のうち、所定閾値以下である差分が存在しない場合、上記ステップＳ２０９に戻る。
【００９１】
例えば、所定閾値は、１ｃｍであってもよい。つまり、２つの軍艦間の距離が１ｃｍ内にある場合、この２つの軍艦間に相互作用が発生したと判定してもよい。相互作用方式は、接近、引き離し、衝突、回転などを含んでもよい。２つの軍艦間の距離が１ｃｍより大きい場合、この２つの軍艦間に相互作用が発生していないと判定してもよい。
【００９２】
Ｓ２１３において、電子機器は、所定閾値以下である差分に対応する座標情報を相互作用対象座標情報として決定し、該相互作用対象座標情報に対応する物体識別子を相互作用対象識別子として決定する。
【００９３】
例えば、２つの軍艦間の距離が１ｃｍ内にあり、即ち、相互作用が発生した場合、この２つの軍艦の座標情報及び物体識別子を取得してもよい。例えば、相互作用が発生した軍艦は、ＩＤ１及びＩＤ２であってもよい。
【００９４】
Ｓ２１４において、電子機器は、相互作用対象識別子に基づいて、対応する仮想物体の物体パラメータを取得し、該物体パラメータ及び相互作用対象座標情報に基づいて、相互作用値を算出する。
【００９５】
例えば、ＩＤ１及びＩＤ２それぞれの物体パラメータをそれぞれ取得してもよい。この物体パラメータは、攻撃力値、防御力値、及びライフ値などを含んでもよい。その後、ＩＤ１とＩＤ２との間の相対距離に基づいて、相互作用方式を決定する。この相互作用方式は、接近、引き離し、衝突、回転などを含んでもよい。異なる相対距離は、異なる相互作用方式を表すことができる。各々の相互作用方式には、相互作用値を算出するための指定の相互作用関数がある。この相互作用値は、主に損傷値を指し、通常、損傷を受けるものに施される。通常、相対距離が小さいほど、又は、攻撃者の攻撃力値が大きいほど、相手に与える損傷が大きくなり、相対距離が大きいほど、又は、防御者の防御力値が大きいほど、相手に与える損傷が小さくなる。例えば、ＩＤ１がＩＤ２に近づいている場合、両者間の相対距離が５ｃｍに減少すると、相互作用方式が「接近」であると見なすことができ、この場合、「接近」に対応する相互作用関数を取得し、ＩＤ１の攻撃力値及びＩＤ２の防御力値を相互作用関数に代入して、損傷値を算出する。
【００９６】
Ｓ２１５において、電子機器は、相互作用値に基づいて、相応の物体パラメータを更新することにより、仮想物体を更新する。
【００９７】
例えば、防御者の軍艦に対応するライフ値から損傷値を引くことにより、最新のライフ値を取得し、最新のライフ値に基づいて、仮想物体を更新してもよい。例えば、ライフ値が０である場合、軍艦が死亡していると宣言し、該軍艦を仮想シーンから消去してもよい。
【００９８】
説明すべきものとして、上記ステップＳ２１０〜Ｓ２１１とＳ２１２〜Ｓ２１５とは、明らかな前後の実行順序がなく、同時に実行されることが可能である。
【００９９】
上記から分かるように、本実施例で提供される画像処理方法では、電子機器は、撮像画像を取得し、該撮像画像から、少なくとも１つの被写体の被写体情報を抽出し、次に、該被写体情報から特徴情報を抽出し、該特徴情報に基づいて、対応する被写体の物体識別子を決定し、その後、該物体識別子に基づいて、記憶された仮想物体ライブラリから、対応する仮想物体を取得し、次に、撮像画像における該被写体情報の表示位置を検出し、該撮像画像の所定のエッジに該表示位置が最も近い被写体を、ターゲット被写体として取得し、次に、該ターゲット被写体の表示位置を座標原点として、三次元の座標系を構築し、各々の表示位置の、該三次元の座標系における座標情報を、対応する仮想物体の座標情報として取得し、その後、該物体識別子に基づいて、記憶されたシーン画像ライブラリから、ターゲットシーン画像を決定し、次に、該座標情報に基づいて、該ターゲットシーン画像を撮像画像に重畳し、該座標情報に基づいて、対応する仮想物体をターゲットシーン画像に重畳する。これにより、複数の現実物体の相対的な位置関係に基づいて、対応する仮想物体を現実シーンに表示し、大規模なゲームシーンの構築を実現することが可能になる。その後、電子機器は、各々の座標情報と他の座標情報との差分を算出することにより、差分セットを取得し、各々の座標情報が１つの差分セットに対応し、各々の差分セットにおける差分の変化量を検出し、次に、各々の差分セットにおける、変化量がゼロに等しい差分の数をカウントし、カウントされた数に基づいて、すべての差分セットの中から、ターゲット差分セットを決定し、次に、該ターゲット差分セットに対応する座標情報をアンカーポイントとして、該仮想シーンでのターゲットシーン画像を固定する。これと共に、いずれか１つの差分セットにおける、変化量がゼロより大きいすべての差分を取得し、取得されたすべての差分のうち、所定閾値以下である差分が存在するか否かを判断し、取得されたすべての差分のうち、所定閾値以下である差分が存在する場合、所定閾値以下である差分に対応する座標情報を相互作用対象座標情報として決定し、該相互作用対象座標情報に対応する物体識別子を相互作用対象識別子として決定し、次に、該相互作用対象識別子に基づいて、対応する仮想物体の物体パラメータを取得し、該物体パラメータ及び相互作用対象座標情報に基づいて、相互作用値を算出し、その後、該相互作用値に基づいて、相応の物体パラメータを更新することにより、仮想物体を更新する。これにより、プレイヤーの、実環境での操作情報に基づいて、仮想シーンをリアルタイムで更新し、仮想世界と現実世界との間、プレイヤーとプレイヤーとの間の相互作用を実現し、ゲームの相互作用方式を大幅に充実させることが可能になり、柔軟性が高く、体験が良い。
【０１００】
上記の実施例で説明された方法に基づき、本実施例では、画像処理装置の角度からさらに説明する。この画像処理装置は、具体的に、独立したエンティティとして実現されてもよいし、端末又はサーバなどの電子機器に組み入れられることにより実現されてもよい。この端末は、スマートフォン、タブレットコンピュータ、及びパーソナルコンピュータなどを含んでもよい。
【０１０１】
図３ａを参照されたい。図３ａは、具体的に、本実施例で提供された画像処理装置を示している。この画像処理装置は、取得モジュール１０と、抽出モジュール２０と、第１決定モジュール３０と、第２決定モジュール４０と、生成モジュール５０と、を含んでもよい。ここで、
（１）取得モジュール１０
取得モジュール１０は、撮像画像を取得する。
【０１０２】
本実施例では、取得モジュール１０は、端末に内蔵された画像取得装置（例えば、カメラ）によって、この撮像画像を取得してもよい。この画像取得装置は、ＡＲゲーム機器に内蔵されてもよい。このＡＲゲーム機器は、主にＡＲゲームに適用される。各々のＡＲゲームに参加するプレイヤーの数は、実際の必要に応じて定められてもよく、１つ又は複数であってもよい。あるＡＲゲームに参加するプレイヤーが複数である場合、１つのプレイヤーのＡＲゲーム機器をメイン機器として指定し、このメイン機器によって取得された画像を撮像画像として決定してもよい。
【０１０３】
（２）抽出モジュール２０
抽出モジュール２０は、撮像画像から、少なくとも１つの被写体の被写体情報を抽出する。
【０１０４】
本実施例では、この被写体は、特定の仮想物体を指し示す機能を持つ実物、例えば、公式にリリースされたゲームカードであってもよい。各々のゲームカードは、１つの仮想物体に対応するものである。この仮想物体は、仮想のネットワーク世界から派生した物体であり、例えば、ゲームにおけるキャラクター、武器・装備品や道具などである。具体的には、例えば、ランダムフォレスト（ｒａｎｄｏｍ  ｆｏｒｅｓｔ）、サポートベクターマシン（ＳＶＭ：Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）などの分類器を使用して、撮像画像から被写体情報を抽出してもよい。
【０１０５】
（３）第１決定モジュール３０
第１決定モジュール３０は、被写体情報に基づいて、対応する被写体の仮想物体を決定する。
【０１０６】
例えば、この第１決定モジュール３０は、具体的に、以下のように構成されてもよい。
【０１０７】
１−１において、被写体情報から特徴情報を抽出する。
【０１０８】
本実施例では、この特徴情報は、色特徴、テクスチャ特徴、形状特徴、及び空間関係特徴などの情報のうちの少なくとも１つを含んでもよい。異なる特徴は、異なるアルゴリズムによって抽出されてもよい。例えば、色特徴は、色ヒストグラム法によって抽出され、テクスチャ特徴は、幾何学的な方法によって抽出されるなどである。
【０１０９】
１−２において、特徴情報に基づいて、対応する被写体の物体識別子を決定する。
【０１１０】
本実施例では、この物体識別子は、仮想物体を一意に識別する識別子であり、この仮想物体は、通常、三次元モデルをレンダリングした立体画像である。ここで、該物体識別子は、仮想物体がネットワークプラットフォームに登録されるときに人工的に設定される名称、又はシステムによって自動的に割り当てられる文字列などであってもよい。１つ（又は１組）の仮想物体は、１つの物体識別子に対応するものである。具体的には、ユーザは、予め、準備されたすべての被写体（例えば、ゲームカード）の画像取得を行って特徴情報を抽出し、次に、抽出された特徴情報と、該被写体が指し示す仮想物体の物体識別子とを関連付けて記憶してもよい。このように、後続に特徴情報に基づいて、対応する物体識別子を検索することが可能になる。
【０１１１】
１−３において、物体識別子に基づいて、記憶された仮想物体ライブラリから、対応する仮想物体を取得する。
【０１１２】
本実施例では、ユーザは、予め、設計された各仮想物体に対して物体識別子を設定し、仮想物体と物体識別子とを関連付けて仮想物体ライブラリに記憶してもよい。
【０１１３】
（４）第２決定モジュール４０
第２決定モジュール４０は、被写体情報と撮像画像とに基づいて、各々の仮想物体の座標情報を決定する。
【０１１４】
例えば、図３ｂを参照されたい。この第２決定モジュール４０は、具体的に、第１検出サブモジュール４１と、選択サブモジュール４２と、第１決定サブモジュール４３と、を含んでもよい。
【０１１５】
第１検出サブモジュール４１は、撮像画像における被写体情報の表示位置を検出する。
【０１１６】
本実施例では、この表示位置は、撮像画像の上下の境界及び左右の境界からの相対位置であってもよい。被写体の、撮像画像における投影が、１つの画素点ではなく、画素領域であるため、ここで、領域の中心点の表示位置を被写体全体の表示位置の代表としてもよい。もちろん、他の方式であってもよいが、ここで限定しない。
【０１１７】
選択サブモジュール４２は、表示位置に基づいて、少なくとも１つの被写体の中から、ターゲット被写体を選択する。
【０１１８】
本実施例では、このターゲット被写体の選択は、実際の必要に応じて決定されてもよい。例えば、選択サブモジュール４２は、ある定点に最も遠い又は最も近い被写体をターゲット被写体として決定してもよい。この定点は、撮像画像の左上の頂点、中心点、又は右下の頂点などであってもよい。ある境界に位置する被写体をターゲット被写体としてもよい。
【０１１９】
例えば、この選択サブモジュール４２は、さらに、
撮像画像の所定のエッジに表示位置が最も近い被写体を取得し、
取得された該被写体をターゲット被写体とする、ように構成されてもよい。
【０１２０】
本実施例では、この所定のエッジは、ユーザにより設定されたいずれか１つのエッジ、例えば、左エッジ、右エッジ、上エッジ、又は下エッジなどであってもよい。
【０１２１】
第１決定サブモジュール４３は、ターゲット被写体と表示位置とに基づいて、各々の仮想物体の座標情報を決定する。
【０１２２】
例えば、この第１決定サブモジュール４３は、具体的に、
ターゲット被写体の表示位置を座標原点として、三次元の座標系を構築し、
各々の表示位置の、該三次元の座標系における座標情報を、対応する仮想物体の座標情報として取得する、ように構成されてもよい。
【０１２３】
本実施例では、ターゲット被写体の表示位置を座標原点として、撮像画像の位置する平面を三次元の座標系の２つの座標軸（例えば、Ｘ軸及びＹ軸）の位置する平面として、三次元の座標系を構築し、その後、各々の表示位置の、Ｘ軸、Ｙ軸、及びＺ軸に対する投影位置に基づいて、対応する三次元の座標値を決定し、この三次元の座標値を仮想物体の座標情報としてもよい。説明すべきものとして、各々の座標情報における３番目の座標軸（例えば、Ｚ軸）の値は、通常、０である。
【０１２４】
（５）生成モジュール５０
生成モジュール５０は、座標情報、仮想物体、及び撮像画像に基づいて、仮想シーンを生成する。
【０１２５】
例えば、この生成モジュール５０は、
座標情報に基づいて、対応する仮想物体を撮像画像に重畳することにより、仮想シーンを生成する、ように構成されてもよい。
【０１２６】
本実施例では、この仮想シーンとは、仮想映像及び現実映像に対して特定の変換処理を行って、所定の共通空間座標系内で生成された新な画像を指す。この共通空間座標系とは、主に、構築された三次元の座標系を指す。この変換処理は、重畳を含んでもよい。仮想シーンでの仮想物体は、撮像画像に直接に重畳されてもよいし、撮像画像に間接的に重畳されてもよい。これは、主に、実際のゲームの重点によって決まる。実環境の体験に重点が置かれる場合、直接に重畳すればよく、実相互作用操作の、仮想世界での表示に重点が置かれる場合、間接的に重畳すればよい。
【０１２７】
例えば、図３ｃを参照されたい。仮想物体が間接的に重畳される場合、生成モジュール５０は、具体的に、第２決定サブモジュール５１と、第１重畳サブモジュール５２と、第２重畳サブモジュール５３と、を含んでもよい。ここで、
第２決定サブモジュール５１は、物体識別子に基づいて、記憶されたシーン画像ライブラリから、ターゲットシーン画像を決定する。
【０１２８】
本実施例では、このシーン画像ライブラリにおけるシーン画像は、通常、ゲームの内容に応じて予め設計されたものであり、主にゲームの背景の役割を果たす。異なるゲームには、異なるシーン画像があり得る。異なるゲームに必要な仮想物体に相違があり、各々の仮想物体を物体識別子によって識別できるため、仮想物体の物体識別子に基づいて、現在実行中のゲームのシーン画像を決定できる。
【０１２９】
第１重畳サブモジュール５２は、座標情報に基づいて、ターゲットシーン画像を撮像画像に重畳する。
【０１３０】
本実施例では、いずれの仮想物体もターゲットシーン画像の上方に位置できることを確保するために、エッジに位置する仮想物体の座標情報に基づいて、ターゲットシーン画像のサイズの大きさ及び重畳位置を調整してもよい。
【０１３１】
第２重畳サブモジュール５３は、座標情報に基づいて、対応する仮想物体をターゲットシーン画像に重畳する。
【０１３２】
本実施例では、まず、各座標情報の、ターゲットシーン画像における対応位置を決定し、その後、対応する仮想物体を該対応位置に重畳してもよい。
【０１３３】
もちろん、仮想シーンを生成した後、さらに該仮想シーンをユーザに表示してもよい。これにより、ユーザは、表示された画像に応じて、相互作用を行うことができる。説明すべきものとして、各ユーザは、立っている位置が異なるため、その視覚角度も必ず異なる場合がある。仮想シーンをユーザに表示する際に、ユーザの臨場感を深めるために、各ユーザの視覚角度に応じて、仮想物体及びターゲットシーン画像の配置方向を柔軟に調整する必要がある。各ユーザの視覚角度は、それぞれ取得された背景画像の向きから分かることができる。
【０１３４】
また、仮想シーンをユーザに表示した後、各被写体の移動状況をリアルタイムで追跡し、該移動状況に応じて、対応する仮想シーンを更新する必要もある。つまり、図３ｄを参照されたいが、画像処理装置は、更新モジュール６０をさらに含んでもよい。この更新モジュール６０は、具体的に、算出サブモジュール６１と、第２検出サブモジュール６２と、更新サブモジュール６３と、を含んでもよい。ここで、
算出サブモジュール６１は、第２重畳サブモジュール５３が、座標情報に基づいて、対応する仮想物体をターゲットシーン画像に重畳した後、各々の座標情報と他の座標情報との差分を取得することにより、差分セットを取得し、各々の座標情報が１つの差分セットに対応し、
第２検出サブモジュール６２は、各々の差分セットにおける差分の変化量を検出し、
更新サブモジュール６２は、該変化量に基づいて、仮想シーンを更新する。
【０１３５】
本実施例では、差分は、２つの仮想物体間の座標差分であり、その変化量が、この２つの仮想物体間の、例えば、相対移動又は相対回転などの相対運動の状況を反映できる。いったん、変化量がゼロではないことを検出すると、移動していない仮想物体の座標情報に基づいて、ゲームシーンを固定し、移動した仮想物体の座標情報に基づいて、仮想物体を更新する必要がある。
【０１３６】
例えば、移動していない仮想物体に基づいて、ターゲットシーン画像の表示を固定する必要がある場合、更新サブモジュール６３は、具体的に、
各々の差分セットにおける、変化量がゼロに等しい差分の数を取得し、
カウントされた数に基づいて、該差分セットの中から、ターゲット差分セットを決定し、
該ターゲット差分セットに対応する座標情報をアンカーポイントとして、仮想シーンでのターゲットシーン画像を固定する、ように構成されてもよい。
【０１３７】
本実施例では、変化量が０である（つまり、相対移動が発生していない）場合には、２つの場合がある。即ち、２つの仮想物体が同じ距離で同時に移動したか、又は、２つの仮想物体がいずれも移動していない。このとき、さらに、変化量が０である差分の数に基づいて、移動していない仮想物体を判断してもよい。例えば、数が上位のいくつか（つまり、大多数の仮想物体に対する移動量が０）の差分セットを、ターゲット差分セットとして決定し、該ターゲット差分セットに対応する仮想物体を、移動していない仮想物体として決定し、該仮想物体の座標をアンカーポイントとして、ターゲットシーン画像を引き続いて固定してもよい。
【０１３８】
これと共に、移動した仮想物体の座標情報に基づいて、仮想物体を更新する必要がある場合、更新サブモジュール６３は、具体的に、
各々の差分セットにおける、変化量がゼロより大きいすべての差分を取得し、
取得されたすべての差分のうち、所定閾値以下である差分が存在するか否かを判断し、
取得されたすべての差分のうち、所定閾値以下である差分が存在する場合、所定閾値以下である差分に対応する座標情報を相互作用対象座標情報として決定し、該相互作用対象座標情報に対応する物体識別子を相互作用対象識別子として決定し、
該相互作用対象座標情報及び相互作用対象識別子に基づいて、ターゲットシーン画像に重畳された仮想物体を更新する、ように構成されてもよい。
【０１３９】
本実施例では、移動したすべての仮想物体の更新が必要であるのではなく、２つの仮想物体間に相互作用が発生した場合にのみ、更新する必要がある。この所定閾値は、主に、相互作用状態及び非相互作用状態の境界を定めることに用いられ、その具体的な値が、実際の必要に応じて定められてもよい。この相互作用状態での相互作用方式は、接近、引き離し、衝突、回転などを含んでもよい。通常、異なる相互作用方式は、異なる相互作用命令を示す。例えば、接近は攻撃を示し、引き離しは撤退を示し、回転は防御を示すなどであってもよい。また、異なるゲームでは、同一の相互作用方式により示される相互作用命令も異なってもよい。
【０１４０】
２つの仮想物体間の距離が所定閾値内にある場合は、相互作用状態にあると定義されてもよい。この場合、さらに、双方の距離値に基づき相互作用方式を決定し、相互作用方式に基づき仮想物体を更新する必要がある。つまり、更新サブモジュール６３は、以下のように構成されてもよい。
【０１４１】
４−１において、相互作用対象識別子に基づいて、対応する仮想物体の物体パラメータを取得する。
【０１４２】
本実施例では、この物体パラメータは、主に、仮想物体自体の属性パラメータ、例えば、ゲームにおける異なるキャラクターの攻撃範囲値、攻撃力値、防御力値、ライフ値などを含む。
【０１４３】
４−２において、物体パラメータ及び相互作用対象座標情報に基づいて、相互作用値を算出する。
【０１４４】
例えば、上記ステップ４−２は、具体的に、
所定閾値以下である差分に基づいて、ターゲット相互作用関数を決定するステップと、
該ターゲット相互作用関数、物体パラメータ、及び相互作用対象座標情報に基づいて、相互作用値を算出するステップと、を含んでもよい。
【０１４５】
本実施例では、２つの仮想物体間の異なる間隔は、異なる相互作用方式に対応し、各々の相互作用方式には、相互作用値を算出するための指定の相互作用関数がある。説明すべきものとして、これらの相互作用関数は、一般的に、ユーザにより予め設定され、指定の距離範囲と関連付けられてデータベースに記憶される。これにより、後続に間隔に基づいて、対応する相互作用関数を決定することが可能になる。
【０１４６】
４−３において、相互作用値に基づいて、相応の物体パラメータを更新することにより、仮想物体を更新する。
【０１４７】
本実施例では、物体パラメータの更新方法は、実際の必要に応じて定められてもよい。例えば、単純な加算や減算であってもよい。つまり、物体パラメータに該相互作用値を加えるか、又は、物体パラメータから該相互作用値を引く。通常、相互作用値が異なると、仮想物体への相互作用影響力が異なり、相互作用値が大きいほど、相互作用影響力が大きくなる。異なる相互作用影響力は、異なる相互作用結果を引き起こす。この相互作用結果は、ゲームでの勝利、死亡、及び出血などを含んでもよい。各々の相互作用結果は、更新された物体パラメータによって決める必要がある。例えば、ある仮想物体の相互作用後のライフ値が０であると、該仮想物体の死亡という相互作用結果となる。また、異なる相互作用結果の場合、仮想物体は、異なる画像で表示されてもよい。例えば、死亡時に仮想物体の周辺に死亡の特別効果を生成したり、出血時に仮想物体の頭上のＨＰゲージをそれに応じて変化させたりしてもよい。
【０１４８】
具体的に実施する際に、上記の各ユニットは、独立したエンティティとして実現されてもよいし、任意の組み合わせによって、同一又は若干のエンティティとして実現されてもよい。上記の各ユニットの具体的な実施は、前述した方法の実施例を参照すればよいが、ここで説明を省略する。
【０１４９】
上記から分かるように、本実施例で提供される画像処理装置では、取得モジュール１０が撮像画像を取得し、抽出モジュール２０が、該撮像画像から、少なくとも１つの被写体の被写体情報を抽出し、次に、第１決定モジュール３０が、各々の被写体の被写体情報に基づいて、対応する仮想物体を決定し、第２決定モジュール４０が、各々の被写体の被写体情報と、撮像画像とに基づいて、各々の仮想物体の座標情報を決定し、その後、生成モジュール５０が、該座標情報、仮想物体、及び撮像画像に基づいて、仮想シーンを生成する。これにより、複数の現実物体の相対的な位置関係に基づいて、対応する仮想物体を現実シーンに表示し、大規模なゲームシーンの構築を実現し、ゲームの相互作用方式を充実させることが可能になり、柔軟性が高い。
【０１５０】
これに応じて、本願の実施例では、画像処理システムも提供されている。この画像処理システムは、本願の実施例で提供されたいずれか１つの画像処理装置を含む。この画像処理装置は、電子機器に組み入れられてもよい。
【０１５１】
ここで、電子機器は、撮像画像を取得し、該撮像画像から、少なくとも１つの被写体の被写体情報を抽出し、各々の被写体の被写体情報に基づいて、対応する仮想物体を決定し、各々の被写体の被写体情報と、撮像画像とに基づいて、各々の仮想物体の座標情報を決定し、該座標情報、仮想物体、及び撮像画像に基づいて、仮想シーンを生成してもよい。
【０１５２】
上記の各機器の具体的な実施は、前述した実施例を参照すればよいが、ここで説明を省略する。
【０１５３】
ウェブページ許可システムは、本願の実施例で提供されたいずれか１つの画像処理装置を含んでもよいため、本願の実施例で提供されたいずれか１つの画像処理装置が実現可能な有利な効果を実現できる。詳しくは、前述した実施例を参照すればよいが、ここで説明を省略する。
【０１５４】
これに応じて、本願の実施例では、電子機器も提供されている。図４は、本願の実施例に係る電子機器の構成の模式図である。具体的には、
この電子機器は、１つ又は複数の処理コアを有するプロセッサ７０１、１つ又は複数のコンピュータ読取可能記憶媒体を有するメモリ７０２、電源７０３、及び入力手段７０４などの構成要素を含んでもよい。当業者であれば理解できるように、図４に示された電子機器の構成は、電子機器を限定するものでなく、図示よりも多く若しくは少ない構成要素を含んでもよく、又はいくらかの構成要素を組み合わせたものであってもよく、又は構成要素の異なる配置を有してもよい。ここで、
プロセッサ７０１は、当該電子機器の制御センターであり、各種のインタフェース及び線によって電子機器全体の各部分を接続し、メモリ７０２に記憶されたソフトウェアプログラム及び／又はモジュールを実行又は遂行して、メモリ７０２に記憶されたデータを呼び出すことにより、電子機器の各種の機能を実行してデータを処理し、電子機器を全体的に監視制御する。任意選択的に、プロセッサ７０１は、１つ又は複数の処理コアを含んでもよい。好ましくは、プロセッサ７０１には、アプリケーションプロセッサ及び変復調プロセッサが組み入れられてもよい。ここで、アプリケーションプロセッサは、主にオペレーティングシステム、ユーザ画面、及びアプリケーションプログラムなどを処理し、変復調プロセッサは、主に無線通信を処理する。理解できるように、上記変復調プロセッサは、プロセッサ７０１に組み入れられなくてもよい。
【０１５５】
メモリ７０２は、ソフトウェアプログラム及びモジュールを記憶するように構成されてもよい。プロセッサ７０１は、メモリ７０２に記憶されたソフトウェアプログラム及びモジュールを実行することにより、各種の機能アプリケーション及びデータ処理を実行する。メモリ７０２は、主にプログラム記憶領域及びデータ記憶領域を含んでもよい。ここで、プログラム記憶領域には、オペレーティングシステム、少なくとも１つの機能に必要なアプリケーションプログラム（例えば、音声再生機能、画像再生機能など）などを記憶してもよい。データ記憶領域には、電子機器の使用に応じて作成されたデータなどを記憶してもよい。また、メモリ７０２は、高速ランダムアクセスメモリを含んでもよいし、不揮発性メモリを含んでもよく、例えば、少なくとも１つの磁気ディスク記憶デバイス、フラッシュメモリデバイス、又はその他の揮発性ソリッドステート記憶デバイスであってもよい。これに応じて、メモリ７０２は、メモリコントローラをさらに含んでもよい。これにより、プロセッサ７０１によるメモリ７０２へのアクセスが提供される。
【０１５６】
電子機器は、各構成要素に電力を供給する電源７０３をさらに含む。好ましくは、電源７０３は、電源管理システムを介して、プロセッサ７０１と論理的に接続されてもよい。これにより、電源管理システムによって、充電、放電、及び電力消耗の管理などの機能を実現する。電源７０３は、１つ又は複数の直流又は交流電源、再充電システム、電源故障検出回路、電源変換器又はインバータ、電源状態指示器などの任意の構成要素を含んでもよい。
【０１５７】
電子機器は、入力手段７０４をさらに含んでもよい。この入力手段７０４は、入力された数字や文字の情報を受信し、ユーザ設定及び機能制御に関するキーボード、マウス、ジョイスティック、光学又はトラックボールの信号入力を生成するように構成されてもよい。
【０１５８】
図示されていないが、電子機器は、表示手段などをさらに含んでもよい。ここで説明を省略する。具体的には、本実施例では、電子機器のプロセッサ７０１が、下記のようなコンピュータ読取可能命令に従って、１つ又は複数のアプリケーションプログラムのプロセスに対応する実行可能ファイルをメモリ７０２にロードし、メモリ７０２に記憶されたアプリケーションプログラムをプロセッサ７０１が実行することにより、各種の機能を実現する。即ち、
撮像画像を取得し、
該撮像画像から、少なくとも１つの被写体の被写体情報を抽出し、
各々の被写体の被写体情報に基づいて、対応する仮想物体を決定し、
各々の被写体の被写体情報と、撮像画像とに基づいて、各々の仮想物体の座標情報を決定し、
該座標情報、仮想物体、及び撮像画像に基づいて、仮想シーンを生成する。
【０１５９】
電子機器は、本願の実施例で提供されるいずれか１つの画像処理装置が実現可能な有利な効果を実現できる。詳しくは、前述した実施例を参照すればよいが、ここで説明を省略する。
【０１６０】
当業者であれば理解できるように、上記実施例の各方法の手順の全部又は一部は、コンピュータ読取可能命令によって実行されたり、コンピュータ読取可能命令で関連するハードウェアを制御することにより実行されたりしてもよい。このコンピュータ読取可能命令は、コンピュータ読取可能記憶媒体に記憶され、プロセッサによってロード・実行されてもよい。
【０１６１】
このため、本願の実施例では、複数のコンピュータ読取可能命令を記憶した不揮発性コンピュータ読取可能記憶媒体が提供されている。このコンピュータ読取可能命令は、プロセッサによってロードされて、本願の実施例で提供されたいずれか１つの画像処理方法のステップを実行させることが可能である。ここで、記憶媒体は、読み出し専用メモリ（ＲＯＭ：Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、磁気ディスク、又は光ディスクなどを含んでもよい。
【０１６２】
記憶媒体に記憶されたコンピュータ読取可能命令は、本願の実施例で提供されたいずれか１つの画像処理方法のステップを実行させることが可能であるため、本願の実施例で提供されるいずれか１つの画像処理方法が実現可能な有利な効果を実現できる。詳しくは、前述した実施例を参照すればよいが、ここで説明を省略する。
【０１６３】
上記は、本願の実施例で提供される画像処理方法、装置、記憶媒体、電子機器、及びシステムを詳しく説明している。本明細書では、具体的な特定例を使用して、本願の原理および実施形態を説明している。上記の実施例の説明は、本願の方法および中心となる思想の理解を助けるためにすぎない。また、当業者にとっては、本願の思想を踏まえると、具体的な実施形態及び適用範囲の両方に変更があり得る。要するに、本明細書の内容は、本願に対する制限として理解されるべきではない。
【符号の説明】
【０１６４】
１０  取得モジュール
２０  抽出モジュール
３０  第１決定モジュール
４０  第２決定モジュール
４１  第１検出サブモジュール
４２  選択サブモジュール
４３  第１決定サブモジュール
５０  生成モジュール
５１  第２決定サブモジュール
５２  第１重畳サブモジュール
５３  第２重畳サブモジュール
６０  更新モジュール
６１  算出サブモジュール
６２  第２検出サブモジュール
６３  更新サブモジュール
７０１  プロセッサ
７０２  メモリ
７０３  電源
７０４  入力手段
【図１】
2021503138.tif 000003
【図２ａ】
2021503138.tif 000004
【図２ｂ】
2021503138.tif 000005
【図２ｃ】
2021503138.tif 000006
【図３ａ】
2021503138.tif 000007
【図３ｂ】
2021503138.tif 000008
【図３ｃ】
2021503138.tif 000009
【図３ｄ】
2021503138.tif 000010
【図４】
2021503138.tif 000011
【手続補正書】
【提出日】令和2年5月14日(2020.5.14)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
電子機器により実行される画像処理方法であって、
前記電子機器が、
撮像画像を取得するステップと、
前記撮像画像から、少なくとも１つの被写体の被写体情報を抽出するステップと、
各々の被写体の前記被写体情報に基づいて、各々の被写体に対応する仮想物体を決定するステップと、
各々の被写体の前記被写体情報と、前記撮像画像とに基づいて、各々の仮想物体の座標情報を決定するステップと、
各々の仮想物体の前記座標情報、各々の仮想物体、及び前記撮像画像に基づいて、仮想シーンを生成するステップと、
を含む画像処理方法。
【請求項２】
前記各々の被写体の前記被写体情報に基づいて、各々の被写体に対応する仮想物体を決定するステップは、
各々の被写体の前記被写体情報から、各々の被写体の特徴情報を抽出するステップと、
各々の被写体の前記特徴情報に基づいて、各々の被写体に対応する物体識別子を決定するステップと、
各々の被写体に対応する前記物体識別子に基づいて、記憶された仮想物体ライブラリから、各々の被写体に対応する仮想物体を取得するステップと、
を含むことを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記各々の被写体の前記被写体情報と、前記撮像画像とに基づいて、各々の仮想物体の座標情報を決定するステップは、
各々の被写体の前記被写体情報に基づいて、前記撮像画像における各々の被写体の表示位置を検出するステップと、
各々の被写体の前記表示位置に基づいて、前記少なくとも１つの被写体の中から、ターゲット被写体を選択するステップと、
前記ターゲット被写体と各々の被写体の前記表示位置とに基づいて、各々の仮想物体の座標情報を決定するステップと、
を含むことを特徴とする請求項１に記載の画像処理方法。
【請求項４】
前記各々の被写体の前記表示位置に基づいて、前記少なくとも１つの被写体の中から、ターゲット被写体を選択するステップは、
前記少なくとも１つの被写体の中から、前記撮像画像の所定のエッジに表示位置が最も近い被写体を決定するステップと、
決定された前記被写体をターゲット被写体とするステップと、
を含むことを特徴とする請求項３に記載の画像処理方法。
【請求項５】
前記ターゲット被写体と各々の被写体の前記表示位置とに基づいて、各々の仮想物体の座標情報を決定するステップは、
前記ターゲット被写体の表示位置を座標原点として、三次元の座標系を構築するステップと、
各々の被写体の前記表示位置の、前記三次元の座標系における座標情報を、各々の被写体に対応する仮想物体の座標情報として取得するステップと、
を含むことを特徴とする請求項３に記載の画像処理方法。
【請求項６】
前記各々の仮想物体の前記座標情報、各々の仮想物体、及び前記撮像画像に基づいて、仮想シーンを生成するステップは、
各々の仮想物体の前記座標情報に基づいて、各々の仮想物体を前記撮像画像に重畳することにより、仮想シーンを生成するステップ、
を含むことを特徴とする請求項１に記載の画像処理方法。
【請求項７】
前記各々の仮想物体の前記座標情報に基づいて、各々の仮想物体を前記撮像画像に重畳するステップは、
各物体識別子に基づいて、記憶されたシーン画像ライブラリから、ターゲットシーン画像を決定するステップと、
各々の仮想物体の前記座標情報に基づいて、前記ターゲットシーン画像を前記撮像画像に重畳するステップと、
各々の仮想物体の前記座標情報に基づいて、各々の仮想物体を前記ターゲットシーン画像に重畳するステップと、
を含むことを特徴とする請求項６に記載の画像処理方法。
【請求項８】
各々の仮想物体の前記座標情報に基づいて、各々の仮想物体を前記ターゲットシーン画像に重畳した後、
前記電子機器が、
各々の座標情報と他の各座標情報との差分を取得することにより、差分セットを取得するステップであって、各々の座標情報が１つの差分セットに対応する、ステップと、
各々の差分セットにおける差分の変化量を検出するステップと、
各々の差分セットにおける前記変化量に基づいて、前記仮想シーンを更新するステップと、
をさらに含むことを特徴とする請求項７に記載の画像処理方法。
【請求項９】
前記各々の差分セットにおける前記変化量に基づいて、前記仮想シーンを更新するステップは、
各々の差分セットにおける、変化量がゼロに等しい差分の数を取得するステップと、
取得された数に基づいて、各差分セットの中から、ターゲット差分セットを決定するステップと、
前記ターゲット差分セットに対応する座標情報をアンカーポイントとして、前記仮想シーンでのターゲットシーン画像を固定するステップと、
を含むことを特徴とする請求項８に記載の画像処理方法。
【請求項１０】
前記各々の差分セットにおける前記変化量に基づいて、前記仮想シーンを更新するステップは、
各差分セット毎に、
該差分セットにおける、変化量がゼロより大きいすべての差分を取得するステップと、
取得されたすべての差分のうち、所定閾値以下である差分が存在するか否かを判断するステップと、
取得されたすべての差分のうち、所定閾値以下である差分が存在する場合、所定閾値以下である差分に対応する座標情報を相互作用対象座標情報として決定し、前記相互作用対象座標情報に対応する物体識別子を相互作用対象識別子として決定するステップと、
前記相互作用対象座標情報及び前記相互作用対象識別子に基づいて、前記ターゲットシーン画像に重畳された仮想物体を更新するステップと、
を含むことを特徴とする請求項８に記載の画像処理方法。
【請求項１１】
前記相互作用対象座標情報及び前記相互作用対象識別子に基づいて、前記ターゲットシーン画像に重畳された仮想物体を更新するステップは、
前記相互作用対象識別子に基づいて、前記相互作用対象識別子に対応する仮想物体の物体パラメータを取得するステップと、
前記物体パラメータ及び前記相互作用対象座標情報に基づいて、相互作用値を算出するステップと、
前記相互作用値に基づいて、前記物体パラメータを更新することにより、前記相互作用対象識別子に対応する仮想物体を更新するステップと、
を含むことを特徴とする請求項１０に記載の画像処理方法。
【請求項１２】
前記物体パラメータ及び前記相互作用対象座標情報に基づいて、相互作用値を算出するステップは、
前記所定閾値以下である差分に基づいて、ターゲット相互作用関数を決定するステップと、
前記ターゲット相互作用関数、前記物体パラメータ、及び前記相互作用対象座標情報に基づいて、相互作用値を算出するステップと、
を含むことを特徴とする請求項１１に記載の画像処理方法。
【請求項１３】
メモリとプロセッサとを備える電子機器であって、前記メモリには、コンピュータ読取可能命令が記憶され、前記コンピュータ読取可能命令は、１つ又は複数のプロセッサによって実行されると、前記１つ又は複数のプロセッサに、請求項１乃至１２のいずれか１項に記載の画像処理方法を実行させる電子機器。
【請求項１４】
複数のコンピュータ読取可能命令を記憶した不揮発性コンピュータ読取可能記憶媒体であって、前記コンピュータ読取可能命令は、１つ又は複数のプロセッサによって実行されると、前記１つ又は複数のプロセッサに、請求項１乃至１２のいずれか１項に記載の画像処理方法を実行させる記憶媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本願は、２０１７年１１月２３日に中国特許庁に提出された、出願番号が２０１７１１１８４８８３．６であり、発明の名称が「画像処理方法、装置、及び記憶媒体」である中国特許出願の優先権を主張し、その全ての内容は参照することにより本願に組み込まれる。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
電子機器により実行される画像処理方法であって、
前記電子機器が、
撮像画像を取得するステップと、
前記撮像画像から、少なくとも１つの被写体の被写体情報を抽出するステップと、
各々の被写体の前記被写体情報に基づいて、各々の被写体に対応する仮想物体を決定するステップと、
各々の被写体の前記被写体情報と、前記撮像画像とに基づいて、各々の仮想物体の座標情報を決定するステップと、
各々の仮想物体の前記座標情報、各々の仮想物体、及び前記撮像画像に基づいて、仮想シーンを生成するステップと、を含む。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
メモリとプロセッサとを備える電子機器であって、前記メモリには、コンピュータ読取可能命令が記憶され、前記コンピュータ読取可能命令は、１つ又は複数のプロセッサによって実行されると、前記１つ又は複数のプロセッサに、上記の画像処理方法を実行させる。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
複数のコンピュータ読取可能命令を記憶した不揮発性コンピュータ読取可能記憶媒体であって、前記コンピュータ読取可能命令は、１つ又は複数のプロセッサによって実行されると、前記１つ又は複数のプロセッサに、上記の画像処理方法を実行させる。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】変更
【補正の内容】
【００３０】
２−１において、撮像画像における被写体の表示位置を検出する。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００７４
【補正方法】変更
【補正の内容】
【００７４】
Ｓ２０４において、電子機器は、撮像画像における各々の被写体の表示位置を検出し、少なくとも１つの被写体の中から、該撮像画像の所定のエッジに表示位置が最も近い被写体をターゲット被写体として決定する。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００９９
【補正方法】変更
【補正の内容】
【００９９】
上記から分かるように、本実施例で提供される像処理方法では、電子機器は、撮像画像を取得し、該撮像画像から、少なくとも１つの被写体の被写体情報を抽出し、次に、該被写体情報から特徴情報を抽出し、該特徴情報に基づいて、対応する被写体の物体識別子を決定し、その後、該物体識別子に基づいて、記憶された仮想物体ライブラリから、対応する仮想物体を取得し、次に、撮像画像における該被写体の表示位置を検出し、該撮像画像の所定のエッジに該表示位置が最も近い被写体を、ターゲット被写体として取得し、次に、該ターゲット被写体の表示位置を座標原点として、三次元の座標系を構築し、各々の表示位置の、該三次元の座標系における座標情報を、対応する仮想物体の座標情報として取得し、その後、該物体識別子に基づいて、記憶されたシーン画像ライブラリから、ターゲットシーン画像を決定し、次に、該座標情報に基づいて、該ターゲットシーン画像を撮像画像に重畳し、該座標情報に基づいて、対応する仮想物体をターゲットシーン画像に重畳する。これにより、複数の現実物体の相対的な位置関係に基づいて、対応する仮想物体を現実シーンに表示し、大規模なゲームシーンの構築を実現することが可能になる。その後、電子機器は、各々の座標情報と他の座標情報との差分を算出することにより、差分セットを取得し、各々の座標情報が１つの差分セットに対応し、各々の差分セットにおける差分の変化量を検出し、次に、各々の差分セットにおける、変化量がゼロに等しい差分の数をカウントし、カウントされた数に基づいて、すべての差分セットの中から、ターゲット差分セットを決定し、次に、該ターゲット差分セットに対応する座標情報をアンカーポイントとして、該仮想シーンでのターゲットシーン画像を固定する。これと共に、いずれか１つの差分セットにおける、変化量がゼロより大きいすべての差分を取得し、取得されたすべての差分のうち、所定閾値以下である差分が存在するか否かを判断し、取得されたすべての差分のうち、所定閾値以下である差分が存在する場合、所定閾値以下である差分に対応する座標情報を相互作用対象座標情報として決定し、該相互作用対象座標情報に対応する物体識別子を相互作用対象識別子として決定し、次に、該相互作用対象識別子に基づいて、対応する仮想物体の物体パラメータを取得し、該物体パラメータ及び相互作用対象座標情報に基づいて、相互作用値を算出し、その後、該相互作用値に基づいて、相応の物体パラメータを更新することにより、仮想物体を更新する。これにより、プレイヤーの、実環境での操作情報に基づいて、仮想シーンをリアルタイムで更新し、仮想世界と現実世界との間、プレイヤーとプレイヤーとの間の相互作用を実現し、ゲームの相互作用方式を大幅に充実させることが可能になり、柔軟性が高く、体験が良い。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０１１５
【補正方法】変更
【補正の内容】
【０１１５】
第１検出サブモジュール４１は、撮像画像における被写体の表示位置を検出する。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０１５３
【補正方法】変更
【補正の内容】
【０１５３】
画像処理システムは、本願の実施例で提供されたいずれか１つの画像処理装置を含んでもよいため、本願の実施例で提供されたいずれか１つの画像処理装置が実現可能な有益効果を実現できる。詳しくは、前述した実施例を参照すればよいが、ここで説明を省略する。
【国際調査報告】
2021503138.tif 000012
2021503138.tif 000013
2021503138.tif 000014
2021503138.tif 000015
2021503138.tif 000016
2021503138.tif 000017