(57)【要約】本発明の実施例は、画像処理方法及び装置、電子機器並びに記憶媒体を提供する。前記方法は、対象オブジェクトの２Ｄ画像を取得するステップと、前記２Ｄ画像に基づいて、第１キーポイントの第一２Ｄ座標と第２キーポイントの第二２Ｄ座標とを取得するステップと、前記第一２Ｄ座標および前記第二２Ｄ座標に基づいて、相対座標を特定するステップと、前記相対座標を仮想３次元空間内に投影して前記相対座標に対応する３Ｄ座標を取得するステップとを含む。前記第１キーポイントは、前記対象オブジェクトの第１局所の、前記２Ｄ画像における結像点であり、前記第２キーポイントは、前記対象オブジェクトの第２局所の、前記２Ｄ画像における結像点であり、前記相対座標は、前記第１局所と前記第２局所との相対位置を表し、前記３Ｄ座標は、被制御機器における対象オブジェクトの座標変換を制御するために用いられる。【選択図】図１
2021520577.tif 000002
【特許請求の範囲】
【請求項１】
対象オブジェクトの２Ｄ画像を取得するステップと、
前記２Ｄ画像に基づいて、第１キーポイントの第一２Ｄ座標と第２キーポイントの第二２Ｄ座標とを取得するステップと、
前記第一２Ｄ座標および前記第二２Ｄ座標に基づいて、相対座標を特定するステップと、
前記相対座標を仮想３次元空間内に投影して前記相対座標に対応する３Ｄ座標を取得するステップと、を含み、
前記第１キーポイントは、前記対象オブジェクトの第１局所の、前記２Ｄ画像における結像点であり、前記第２キーポイントは、前記対象オブジェクトの第２局所の、前記２Ｄ画像における結像点であり、
前記相対座標は、前記第１局所と前記第２局所との相対位置を表し、
前記３Ｄ座標は、被制御機器における対象オブジェクトの座標変換を制御するために用いられることを特徴とする画像処理方法。
【請求項２】
前記第一２Ｄ座標と前記第二２Ｄ座標は、第一２Ｄ座標系内に位置する２Ｄ座標であることを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記第一２Ｄ座標および前記第二２Ｄ座標に基づいて、相対座標を特定するステップは、
前記第二２Ｄ座標に基づいて、第二２Ｄ座標系を構築することと、
前記第一２Ｄ座標を前記第二２Ｄ座標系にマッピングして第三２Ｄ座標を取得することと、
第三２Ｄ座標に基づいて前記相対座標を特定することと、を含むことを特徴とする請求項２に記載の画像処理方法。
【請求項４】
前記第一２Ｄ座標を前記第二２Ｄ座標系にマッピングして第三２Ｄ座標を取得することは、
前記第一２Ｄ座標系および前記第二２Ｄ座標系に基づいて、前記第一２Ｄ座標系から前記第二２Ｄ座標系へマッピングする変換パラメータを特定し、
前記変換パラメータに基づいて、前記第一２Ｄ座標を前記第二２Ｄ座標系にマッピングして第三２Ｄ座標を取得することを含むことを特徴とする請求項３に記載の画像処理方法。
【請求項５】
前記第一２Ｄ座標系および前記第二２Ｄ座標系に基づいて、前記第一２Ｄ座標系から前記第二２Ｄ座標系へマッピングする変換パラメータを特定することは、
前記２Ｄ画像の第１方向での第１サイズを特定し、前記第２局所の第１方向での第２サイズを特定することと、
前記第１サイズと前記第２サイズとの比である第１比を特定することと、
前記第１比に基づいて前記変換パラメータを特定することと、を含むことを特徴とする請求項４に記載の画像処理方法。
【請求項６】
前記第１比に基づいて前記変換パラメータを特定することは、
前記２Ｄ画像の第２方向での第３サイズを特定し、前記第２局所の第２方向での第４サイズを特定することと、
前記第３サイズと前記第４サイズとの比である第２比を特定することと、
前記第１比と第２比との両方に基づいて、前記変換パラメータを特定することとを含み、
前記第２方向は前記第１方向に垂直することを特徴とする請求項５に記載の画像処理方法。
【請求項７】
前記変換パラメータに基づいて、前記第一２Ｄ座標を前記第二２Ｄ座標系にマッピングして第三２Ｄ座標を取得することは、
前記変換パラメータと前記第一２Ｄ座標系の中心座標とに基づいて、前記第一２Ｄ座標を前記第二２Ｄ座標系にマッピングして第三２Ｄ座標を取得することを含むことを特徴とする請求項４から６の何れか一項に記載の画像処理方法。
【請求項８】
前記相対座標を仮想３次元空間内に投影して前記相対座標に対応する３Ｄ座標を取得するステップは、
前記第三２Ｄ座標に対して正規化処理を行って第四２Ｄ座標を取得することと、
前記第四２Ｄ座標と前記仮想３次元空間内における仮想視点から仮想結像面内までの距離との両方に基づいて、前記第１キーポイントの前記仮想３次元空間内に投影された３Ｄ座標を特定することと、を含むことを特徴とする請求項３から７の何れか一項に記載の画像処理方法。
【請求項９】
前記第三２Ｄ座標に対して正規化処理を行って第四２Ｄ座標を取得することは、
前記第２局所のサイズと前記第二２Ｄ座標系の中心座標との両方に基づいて、前記第三２Ｄ座標に対して正規化処理を行って前記第四２Ｄ座標を取得することを含むことを特徴とする請求項８に記載の画像処理方法。
【請求項１０】
前記第四２Ｄ座標と前記仮想３次元空間内における仮想視点から仮想結像面内までの距離との両方に基づいて、前記第１キーポイントの前記仮想３次元空間内に投影された３Ｄ座標を特定することは、
前記第四２Ｄ座標と、前記仮想３次元空間内における仮想視点から仮想結像面内までの距離と、スケーリング率との三者に基づいて、前記第１キーポイントの前記仮想３次元空間内に投影された３Ｄ座標を特定することを含むことを特徴とする請求項８または９に記載の画像処理方法。
【請求項１１】
前記画像処理方法は、
前記対象オブジェクトの数Ｍ（Ｍは、１より大きい整数である）と各対象オブジェクトの前記２Ｄ画像における２Ｄ画像領域とを特定するステップを更に含み、
前記２Ｄ画像に基づいて、第１キーポイントの第一２Ｄ座標と第２キーポイントの第二２Ｄ座標とを取得するステップは、
前記２Ｄ画像領域に基づいて、各前記対象オブジェクトの前記第１キーポイントの第一２Ｄ座標と前記第２キーポイントの第二２Ｄ座標とを取得することにより、Ｍグループの前記３Ｄ座標を取得することを含むことを特徴とする請求項１から１０の何れか一項に記載の画像処理方法。
【請求項１２】
前記３Ｄ座標に基づく制御効果を第１表示領域内で表示するステップと、
前記２Ｄ画像を前記第１表示領域に対応する第２表示領域内で表示するステップと、を更に含むことを特徴とする請求項１から１１の何れか一項に記載の画像処理方法。
【請求項１３】
前記２Ｄ画像を前記第１表示領域に対応する第２表示領域内で表示するステップは、
前記第一２Ｄ座標に基づいて、前記第１キーポイントの第１指示図形を前記第２表示領域内で表示された前記２Ｄ画像に表示すること、
および／または、
前記第二２Ｄ座標に基づいて、前記第２キーポイントの第２指示図形を前記第２表示領域内で表示された前記２Ｄ画像に表示すること、を含み、
前記第１指示図形は、前記第１キーポイントに重畳表示された画像であり、前記第２指示図形は、前記第２キーポイントに重畳表示された画像であることを特徴とする請求項１２に記載の画像処理方法。
【請求項１４】
前後２つの時点での相対座標の、仮想３次元空間内の３つの座標軸における変化量或いは変化率に基づいて、被制御機器における対象オブジェクトの座標変換を制御するステップを更に含むことを特徴とする請求項１から１３の何れか一項に記載の画像処理方法。
【請求項１５】
画像処理装置であって、
対象オブジェクトの２Ｄ画像を取得するように構成される第１取得モジュールと、
前記２Ｄ画像に基づいて、第１キーポイントの第一２Ｄ座標と第２キーポイントの第二２Ｄ座標とを取得するように構成される第２取得モジュールと、
前記第一２Ｄ座標および前記第二２Ｄ座標に基づいて、相対座標を特定するように構成される第１特定モジュールと、
前記相対座標を仮想３次元空間内に投影して前記相対座標に対応する３Ｄ座標を取得するように構成される投影モジュールと、を備え、
前記第１キーポイントは、前記対象オブジェクトの第１局所の、前記２Ｄ画像における結像点であり、前記第２キーポイントは、前記対象オブジェクトの第２局所の、前記２Ｄ画像における結像点であり、前記相対座標は、前記第１局所と前記第２局所との相対位置を表し、前記３Ｄ座標は、被制御機器における対象オブジェクトの座標変換を制御するために用いられることを特徴とする画像処理装置。
【請求項１６】
前記第一２Ｄ座標と前記第二２Ｄ座標は、第一２Ｄ座標系内に位置する２Ｄ座標であることを特徴とする請求項１５に記載の画像処理装置。
【請求項１７】
前記第１特定モジュールは、前記第二２Ｄ座標に基づいて第二２Ｄ座標系を構築し、前記第一２Ｄ座標を前記第二２Ｄ座標系にマッピングして第三２Ｄ座標を取得するように構成されることを特徴とする請求項１６に記載の画像処理装置。
【請求項１８】
前記第１特定モジュールは、前記第一２Ｄ座標系および前記第二２Ｄ座標系に基づいて、前記第一２Ｄ座標系から前記第二２Ｄ座標系へマッピングする変換パラメータを特定し、前記変換パラメータに基づいて、前記第一２Ｄ座標を前記第二２Ｄ座標系にマッピングして第三２Ｄ座標を取得するように構成されることを特徴とする請求項１７に記載の画像処理装置。
【請求項１９】
前記第１特定モジュールは、
前記２Ｄ画像の第１方向での第１サイズを特定し、前記第２局所の第１方向での第２サイズを特定し、
前記第１サイズと前記第２サイズとの比である第１比を特定し、
前記第１比に基づいて前記変換パラメータを特定するように構成されることを特徴とする請求項１８に記載の画像処理装置。
【請求項２０】
前記第１特定モジュールは、
前記２Ｄ画像の第２方向での第３サイズを特定し、前記第２局所の第２方向での第４サイズを特定し、
前記第３サイズと前記第４サイズとの比である第２比を特定し、
前記第１比と第２比との両方に基づいて、前記変換パラメータを特定するように構成され、
前記第２方向は前記第１方向に垂直することを特徴とする請求項１９に記載の画像処理装置。
【請求項２１】
前記第１特定モジュールは、前記変換パラメータと前記第一２Ｄ座標系の中心座標とに基づいて、前記第一２Ｄ座標を前記第二２Ｄ座標系にマッピングして第三２Ｄ座標を取得するように構成されることを特徴とする請求項１８から２０の何れか一項に記載の画像処理装置。
【請求項２２】
前記投影モジュールは、前記第三２Ｄ座標に対して正規化処理を行って第四２Ｄ座標を取得し、
前記第四２Ｄ座標と前記仮想３次元空間内における仮想視点から仮想結像面内までの距離との両方に基づいて、前記第１キーポイントの前記仮想３次元空間内に投影された３Ｄ座標を特定するように構成されることを特徴とする請求項１８から２１の何れか一項に記載の画像処理装置。
【請求項２３】
前記投影モジュールは、前記第２局所のサイズと前記第二２Ｄ座標系の中心座標との両方に基づいて、前記第三２Ｄ座標に対して正規化処理を行って前記第四２Ｄ座標を取得するように構成されることを特徴とする請求項２２に記載の画像処理装置。
【請求項２４】
前記投影モジュールは、前記第四２Ｄ座標と、前記仮想３次元空間内における仮想視点から仮想結像面内までの距離と、スケーリング率との三者に基づいて、前記第１キーポイントの前記仮想３次元空間内に投影された３Ｄ座標を特定するように構成されることを特徴とする請求項２２または２３に記載の画像処理装置。
【請求項２５】
前記画像処理装置は、
前記２Ｄ画像における前記対象オブジェクトの数Ｍと各対象オブジェクトの前記２Ｄ画像における２Ｄ画像領域とを特定するように構成される第２特定モジュールを更に備え、
前記第２取得モジュールは、前記２Ｄ画像領域に基づいて、各前記対象オブジェクトの前記第１キーポイントの第一２Ｄ座標と前記第２キーポイントの第二２Ｄ座標とを取得することにより、Ｍグループの前記３Ｄ座標を取得するように構成されることを特徴とする請求項１５から２４の何れか一項に記載の画像処理装置。
【請求項２６】
前記３Ｄ座標に基づく制御効果を第１表示領域内で表示するように構成される第１表示モジュールと、
前記２Ｄ画像を前記第１表示領域に対応する第２表示領域内で表示するように構成される第２表示モジュールと、を備えることを特徴とする請求項１５から２５の何れか一項に記載の画像処理装置。
【請求項２７】
前記第２表示モジュールは、更に、
前記第一２Ｄ座標に基づいて、前記第１キーポイントの第１指示図形を前記第２表示領域内で表示された前記２Ｄ画像に表示し、
および／または、
前記第二２Ｄ座標に基づいて、前記第２キーポイントの第２指示図形を前記第２表示領域内で表示された前記２Ｄ画像に表示するように構成されることを特徴とする請求項２６に記載の画像処理装置。
【請求項２８】
前後２つの時点での相対座標の、仮想３次元空間内の３つの座標軸における変化量或いは変化率に基づいて、被制御機器における対象オブジェクトの座標変換を制御するように構成される制御モジュールを更に備えることを特徴とする請求項１５から１７の何れか一項に記載の画像処理装置。
【請求項２９】
電子機器であって、
メモリと、
前記メモリに接続されるプロセッサと、を備え、
前記プロセッサは、前記メモリに記憶されたコンピュータ実行可能な指令を実行することにより、請求項１から１４の何れか一項に記載の画像処理方法を実施することを特徴とする電子機器。
【請求項３０】
コンピュータ実行可能な指令が記憶されるコンピュータ記憶媒体であって、
前記コンピュータ実行可能な指令がプロセッサによって実行されると、請求項１から１４の何れか一項に記載の画像処理方法は実施されることを特徴とするコンピュータ記憶媒体。
【請求項３１】
コンピュータプログラムであって、
前記コンピュータプログラムがプロセッサによって実行されると、請求項１から１４の何れか一項に記載の画像処理方法は実施されることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
＜関連出願の相互引用＞
本願は、出願番号が２０１８１１５７２６８０．９であり、出願日が２０１８年１２月２１日である中国特許出願を基に提出され、当該中国特許出願の優先権を主張し、当該中国特許出願の全文が参考として本願に組み込まれる。
【０００２】
本発明は、情報技術分野に関し、特に画像処理方法及び装置、電子機器並びに記憶媒体に関する。
【背景技術】
【０００３】
情報技術の発展につれて、３Ｄ座標に基づくインタラクション、例えば、３Ｄビデオや３Ｄ体感ゲーム等は、現れてきている。３Ｄ座標が２Ｄ座標よりも１つの方向の座標値多いため、３Ｄ座標は、２Ｄ座標よりも、インタラクションを１次元多く持つことが可能である。
【０００４】
例えば、３Ｄ空間内におけるユーザの移動を採取し、前後、左右、上下等の３つの互いに垂直な方向における、ゲームキャラクタに対する制御へ変換する。２Ｄ座標を利用して制御すると、ユーザは、少なくとも２つの操作を入力する必要があるかもしれない。このように、ユーザ制御が簡素化され、ユーザ体験が向上する。
【０００５】
通常、このような上記３Ｄ座標に基づくインタラクションにとっては、対応する３Ｄ機器が必要である。例えば、ユーザは、３次元空間内における自分の運動を検出する３Ｄ体感機器（ウェアラブル機器）を着用する必要がある。または、３Ｄカメラを利用して３Ｄ空間内におけるユーザの移動を採取する必要もある。３Ｄ体感機器と３Ｄカメラとのどちらを利用して３Ｄ空間内におけるユーザの移動を特定しても、ハードウェアコストは、相対的に高かった。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
これに鑑みて、本発明の実施例が画像処理方法及び装置、電子機器並びに記憶媒体を提供することは望ましい。
【課題を解決するための手段】
【０００７】
本発明の解決手段は、以下のように講じられる。
【０００８】
本発明は、画像処理方法を提供する。当該画像処理方法は、対象オブジェクトの２Ｄ画像を取得するステップと、前記２Ｄ画像に基づいて、第１キーポイントの第一２Ｄ座標と第２キーポイントの第二２Ｄ座標とを取得するステップと、前記第一２Ｄ座標および前記第二２Ｄ座標に基づいて、相対座標を特定するステップと、前記相対座標を仮想３次元空間内に投影して前記相対座標に対応する３Ｄ座標を取得するステップと、を含み、前記第１キーポイントは、前記対象オブジェクトの第１局所の、前記２Ｄ画像における結像点であり、前記第２キーポイントは、前記対象オブジェクトの第２局所の、前記２Ｄ画像における結像点であり、前記相対座標は、前記第１局所と前記第２局所との相対位置を表し、前記３Ｄ座標は、被制御機器における対象オブジェクトの座標変換を制御するために用いられる。
【０００９】
本発明は、画像処理装置を提供する。当該画像処理装置は、対象オブジェクトの２Ｄ画像を取得するように構成される第１取得モジュールと、前記２Ｄ画像に基づいて、第１キーポイントの第一２Ｄ座標と第２キーポイントの第二２Ｄ座標とを取得するように構成される第２取得モジュールと、前記第一２Ｄ座標および前記第二２Ｄ座標に基づいて、相対座標を特定するように構成される第１特定モジュールと、前記相対座標を仮想３次元空間内に投影して前記相対座標に対応する３Ｄ座標を取得するように構成される投影モジュールと、を備え、前記第１キーポイントは、前記対象オブジェクトの第１局所の、前記２Ｄ画像における結像点であり、前記第２キーポイントは、前記対象オブジェクトの第２局所の、前記２Ｄ画像における結像点であり、前記相対座標は、前記第１局所と前記第２局所との相対位置を表し、前記３Ｄ座標は、被制御機器における対象オブジェクトの座標変換を制御するために用いられる。
【００１０】
本発明は、電子機器を提供する。当該電子機器は、メモリと、前記メモリに接続されるプロセッサと、を備え、前記プロセッサは、前記メモリに記憶されたコンピュータ実行可能な指令を実行することにより、上記何れかの解決手段に供される画像処理方法を実施する。
【００１１】
本発明は、コンピュータ記憶媒体を提供する。当該コンピュータ記憶媒体には、コンピュータ実行可能な指令が記憶され、前記コンピュータ実行可能な指令がプロセッサによって実行されると、上記何れかの解決手段に供される画像処理方法は実施される。
【００１２】
本発明は、コンピュータプログラムを提供する。前記コンピュータプログラムがプロセッサによって実行されると、上記何れかの解決手段に供される画像処理方法は実施される。
【発明の効果】
【００１３】
本発明の実施例に係る技術案では、２Ｄ画像における対象オブジェクトの第１局所の第１キーポイントと第２局所の第２キーポイントとの間の相対座標を直接利用して仮想３次元空間内へ変換することで、相対座標に対応する３Ｄ座標を取得し、３Ｄ人体感知機器を用いて３Ｄ座標を採取する必要がなく、この種の３Ｄ座標を利用して被制御機器とのインタラクションを行うため、３Ｄ座標に基づいてインタラクションを行うハードウェア構造が簡素化され、ハードウェアコストが節約される。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施例に係る第１種の画像処理方法の模式的なフローチャートである。
【図２】本発明の実施例に係る視錐台の模式図である。
【図３】本発明の実施例に係る相対座標を特定する模式的なフローチャートである。
【図４】本発明の実施例に係る第２種の画像処理方法の模式的なフローチャートである。
【図５Ａ】本発明の実施例に係る表示効果の模式図である。
【図５Ｂ】本発明の実施例に係る別の表示効果の模式図である。
【図６】本発明の実施例に係る画像処理装置の構造模式図である。
【図７】本発明の実施例に係る電子機器の構造模式図である。
【発明を実施するための形態】
【００１５】
以下では、本発明の解決手段について、図面および具体的な実施例を組み合わせてより詳細に説明する。
【００１６】
図１に示すように、本実施例は、画像処理方法を提供する。当該画像処理方法は、以下のステップＳ１１０〜ステップＳ１４０を含む。
【００１７】
ステップＳ１１０では、対象オブジェクトの２Ｄ画像を取得する。
【００１８】
ステップＳ１２０では、前記２Ｄ画像に基づいて、第１キーポイントの第一２Ｄ座標と第２キーポイントの第二２Ｄ座標とを取得する。前記第１キーポイントは、前記対象オブジェクトの第１局所の、前記２Ｄ画像における結像点であり、前記第２キーポイントは、前記対象オブジェクトの第２局所の、前記２Ｄ画像における結像点である。
【００１９】
ステップＳ１３０では、前記第一２Ｄ座標および前記第二２Ｄ座標に基づいて、相対座標を特定する。前記相対座標は、前記第１局所と前記第２局所との相対位置を表す。
【００２０】
ステップＳ１４０では、前記相対座標を仮想３次元空間内に投影して前記相対座標に対応する３Ｄ座標を取得する。前記３Ｄ座標は、被制御機器が所定操作を実行するように制御するために用いられる。ここでの所定操作は、被制御機器における対象オブジェクトの座標変換を含むが、それに限定されない。
【００２１】
本実施例では、取得された対象オブジェクトの２Ｄ（ｔｗｏ−ｄｉｍｅｎｓｉｏｎａｌ）画像、ここでの２Ｄ画像は、何れか１つの２Ｄカメラで採取された画像を採用してもよい。例えば、普通ＲＧＢのカメラで採取されたＲＧＢ画像、または、ＹＵＶ画像を利用し、更に例えば、前記２Ｄ画像がＢＧＲＡフォーマットの２Ｄ画像であってもよい。本実施例では、被制御機器に位置する単眼カメラを利用するだけで、前記２Ｄ画像の採取を実施できる。または、当該単眼カメラは、前記被制御機器に接続されたカメラであってもよい。当該カメラの採取領域と前記被制御機器の観察領域は、少なくとも部分的に重なり合う。例えば、前記被制御機器は、スマートテレビ等のゲーム機器であり、ゲーム機器は、ディスプレイスクリーンを含み、前記ディスプレイスクリーンを視認できる領域は、前記観察領域であり、前記採取領域は、カメラで採取され得る領域である。好ましくは、前記カメラの採取領域と前記観察領域とは、重なり合う。
【００２２】
本実施例では、前記ステップＳ１１０において２Ｄ画像を取得することは、二次元（２Ｄ）カメラによって２Ｄ画像を採取し、または、採取機器から２Ｄ画像を受信することを含んでもよい。
【００２３】
前記対象オブジェクトは、人体の手部や胴体部分であってもよい。前記２Ｄ画像は、人体の手部と胴体部分とを含む結像であってもよい。例えば、前記第１局所は、前記人体の手部であり、前記第２局所は、前記胴体部分である。更に例えば、前記第１局所は、目の目玉であってもよく、前記第２局所は、目の全体であってもよい。更に例えば、前記第１局所は、人体の足部であってもよく、第２局所は、人体の胴体であってもよい。
【００２４】
幾つかの実施例では、前記２Ｄ画像において、前記第１局所の結像面積は、前記第２局所の前記２Ｄ画像における結像面積よりも小さい。
【００２５】
本実施例では、前記第一２Ｄ座標と第二２Ｄ座標は、何れも第一２Ｄ座標系における座標値であってもよい。例えば、前記第一２Ｄ座標系は、前記２Ｄ画像の所在する平面によって構成された２Ｄ座標系であってもよい。
【００２６】
ステップＳ１３０では、第一２Ｄ座標と第二２Ｄ座標との両方に基づいて、第１キーポイントと第２キーポイントとの相対位置を表す相対座標を特定する。その後、当該相対座標を仮想３次元空間内に投影する。当該仮想３次元空間は、プリセットの３次元空間であってもよく、当該相対座標の仮想３次元空間内における３Ｄ座標は得られる。当該３Ｄ座標は、表示インターフェースに関連する、前記３Ｄ座標に基づくインタラクションに適用可能である。
【００２７】
前記仮想３次元空間は、各種タイプの仮想３次元空間であってもよく、当該仮想３次元空間の座標範囲は、負の無限大から正の無限大までであってもよい。当該仮想３次元空間内には、仮想カメラが設けられてもよい。図２は、仮想カメラの視角に対応する視錐台（ｖｉｅｗ  ｆｒｕｓｔｕｍ）を示す。当該仮想カメラは、本実施例において前記２Ｄ画像の物理カメラの、仮想３次元空間内におけるマッピングであってもよい。前記視錐台は、ニアクリッピングプレーン、トッププレーン、ライトプレーンおよび図２に付されていないレフトプレーン等を含んでもよい。本実施例では、前記仮想３次元空間の仮想視点は、前記ニアクリッピングプレーンに位置してもよく、例えば、前記仮想視点は、前記ニアクリッピングプレーンの中心点に位置する。図２に示す視錐台によると、第２キーポイントに対する第１キーポイントの相対座標（２Ｄ座標）を仮想３次元空間内へ変換することにより、３次元空間内における、第２キーポイントに対する前記第１キーポイントの３Ｄ（ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ）座標を取得してもよい。
【００２８】
前記ニアクリッピングプレーンは、近裁断面フロントクリッピングプレーンとも呼称されてもよく、仮想３次元空間における仮想視点に近い平面であり、前記仮想視点の開始平面を含む。前記仮想３次元空間では、前記ニアクリッピングプレーンから遠方へ徐々に延在する。
【００２９】
前記３Ｄ座標に基づくインタラクションとして、対象オブジェクトの２つの時点での、仮想３次元空間内における座標変換に基づいて操作制御を行う。例えば、ゲームキャラクタの制御を例とすると、前記３Ｄ座標に基づくインタラクションは、以下のことを含む。
【００３０】
つまり、前後２つの時点での相対座標の、仮想３次元空間内の３つの座標軸における変化量或いは変化率に基づいて、ゲームキャラクタの、対応する３つの座標軸におけるパラメータを制御する。例えば、ゲームキャラクタの移動制御を例とすると、ゲームキャラクタは、３次元空間内で移動し、前後移動、左右移動および上下跳びを行ってもよい。胴体に対するユーザの手部の相対座標は３次元空間内へ変換された後、２つの時点での相対座標を仮想３次元空間内へ変換した座標変換量或いは変化率に基づいて、ゲームキャラクタの前後移動、左右移動および上下跳びをそれぞれ制御する。具体的に、相対座標を仮想３次元空間内のｘ軸に投影して得られた座標は、ゲームキャラクタの前後移動を制御し、相対座標を仮想３次元空間内のｙ軸に投影して得られた座標は、ゲームキャラクタの左右移動を制御し、相対座標を仮想３次元空間内のｚ軸に投影して得られた座標は、ゲームキャラクタの上下跳びを制御する。
【００３１】
幾つかの実施例では、表示インターフェース内の表示画像は、少なくとも背景レイヤと前景レイヤに分けられてもよく、現在の３Ｄ座標の、仮想３次元空間におけるｚ軸座標位置に基づいて、当該３Ｄ座標が背景レイヤにおける図形要素の変換若しくは対応する応答操作の実行を制御するために用いられるものであるか、それとも前景レイヤにおける図形要素の変換若しくは対応する応答操作の実行を制御するために用いられるものであるかを特定してもよい。
【００３２】
他の幾つかの実施例では、表示インターフェース内の表示画像は、更に、背景レイヤ、前景レイヤ、および背景レイヤと前景レイヤの間に位置する１つまたは複数の中間レイヤに分けられてもよい。同様に、現在得られた３Ｄ座標におけるｚ軸の座標値に基づいて、３Ｄ座標が作用するレイヤを特定し、３Ｄ座標のｘ軸とｙ軸とにおける座標値も考慮に入れて、３Ｄ座標が作用するのが当該レイヤにおけるどの図形要素であるかを特定することにより、３Ｄ座標の作用する図形要素の変換若しくは対応する応答操作の実行を更に制御する。
【００３３】
無論、上述したのが、３Ｄ座標によって、前記３Ｄ座標に基づくインタラクションを行う例示に過ぎず、具体的な実施方式が多くて、上記何れか一種に限定されない。
【００３４】
前記仮想３次元空間は、予め定義された１つの３次元空間であってもい。具体的に、前記２Ｄ画像を採取する採取パラメータに基づいて、仮想３次元空間を予め定義する。前記仮想３次元空間は、仮想結像面と仮想視点とを含んでもよい。前記仮想視点と前記仮想結像面との間の垂直距離は、前記採取パラメータのうちの焦点距離に基づいて特定されてもよい。幾つかの実施例では、前記仮想結像面のサイズは、被制御機器の制御プレーンのサイズに基づいて特定されてもよい。例えば、前記仮想結像面のサイズと、前記被制御機器の制御プレーンのサイズとの間には、正の相関が存在する。当該制御プレーンは、前記３Ｄ座標に基づくインタラクションを受け取る表示インターフェースのサイズに等しくなってもよい。
【００３５】
このように、本実施例では、相対座標を仮想３次元空間内に投影することにより、直接２Ｄカメラを使用しても、深度カメラまたは３Ｄ体感機器を利用して３Ｄ座標を取得すること、さらに前記３Ｄ座標に基づくインタラクションを行う制御効果を取得することは模擬できる。通常、２Ｄカメラのハードウェアコストが３Ｄ体感機器や３Ｄカメラよりも低いため、直接２Ｄカメラを継続使用すると、前記３Ｄ座標に基づくインタラクションのコストは明らかに低減されつつ、３Ｄ座標に基づくインタラクションも実現する。そのため、幾つかの実施例において、前記方法は、前記３Ｄ座標に基づいて被制御機器とのインタラクションを行うステップを更に含む。当該インタラクションは、ユーザと被制御機器との間のインタラクションを含んでもよい。前記３Ｄ座標がユーザの入力と見なすことで、被制御機器を制御して特定の操作を実行させ、ユーザと被制御機器との間のインタラクションを実現する。
【００３６】
そのため、幾つかの実施例では、前記方法は、前後２つの時点での相対座標の、仮想３次元空間内の３つの座標軸における変化量或いは変化率に基づいて、被制御機器における対象オブジェクトの座標変換を制御するステップを更に含む。
【００３７】
幾つかの実施例では、前記ステップＳ１２０は、前記第１キーポイントの、前記２Ｄ画像に対応する第一２Ｄ座標系内の前記第一２Ｄ座標を取得し、前記第２キーポイントの、前記第一２Ｄ座標系内の前記第二２Ｄ座標を取得することを含んでもよい。即ち、前記第一２Ｄ座標と第二２Ｄ座標は、何れも第一２Ｄ座標系に基づいて特定されたものである。
【００３８】
幾つかの実施例では、前記ステップＳ１３０は、前記第二２Ｄ座標に基づいて、第二２Ｄ座標系を構築することと、前記第一２Ｄ座標を前記第二２Ｄ座標系にマッピングして第三２Ｄ座標を取得することと、を含んでもよい。
【００３９】
具体的に、図３に示すように、前記ステップＳ１３０は、ステップＳ１３１〜ステップＳ１３２を含んでもよい。
【００４０】
ステップＳ１３１では、前記第二２Ｄ座標に基づいて、第二２Ｄ座標系を構築する。
【００４１】
ステップＳ１３２では、前記第一２Ｄ座標系および第二２Ｄ座標系に基づいて、第一２Ｄ座標系から前記第二２Ｄ座標系へマッピングする変換パラメータを特定する。前記変換パラメータは、前記相対座標を特定するために用いられる。
【００４２】
幾つかの実施例では、前記ステップＳ１３０は、ステップＳ１３３を更に含んでもよい。
【００４３】
ステップＳ１３３では、前記変換パラメータに基づいて、前記第一２Ｄ座標を前記第二２Ｄ座標系にマッピングして第三２Ｄ座標を取得する。
【００４４】
本実施例では、前記第２局所の第２キーポイントが少なくとも２つある。例えば、前記第２キーポイントは、第２局所の結像された外輪郭点であってもよい。前記第２キーポイントの座標に基づいて１つの第二２Ｄ座標系を構築してもよい。当該第二２Ｄ座標系の原点は、複数の前記第２キーポイントを接続して形成された外輪郭の中心点であってもよい。
【００４５】
本発明の実施例では、前記第一２Ｄ座標系と前記第二２Ｄ座標系は、何れも境界を有する座標系である。
【００４６】
前記第一２Ｄ座標系と前記第二２Ｄ座標系とが特定された後、２つの２Ｄ座標系のサイズおよび／または中心座標に基づいて、第一２Ｄ座標系内の座標から第二２Ｄ座標系内へマッピングする変換パラメータを取得してもよい。
【００４７】
当該変換パラメータに基づいて、直接前記第一２Ｄ座標を前記第二２Ｄ座標系にマッピングして前記第三２Ｄ座標を取得してもよい。例えば、当該第三２Ｄ座標は、第一２Ｄ座標を第二２Ｄ座標系にマッピングした後の座標である。
【００４８】
幾つかの実施例では、前記ステップＳ１３２は、
前記２Ｄ画像の第１方向での第１サイズを特定し、前記第２局所の第１方向での第２サイズを特定することと、
前記第１サイズと前記第２サイズとの比である第１比を特定することと、
前記第１比に基づいて前記変換パラメータを特定することと、を含んでもよい。
【００４９】
他の幾つかの実施例では、前記ステップＳ１３２は、
前記２Ｄ画像の第２方向での第３サイズを特定し、前記第２局所の第２方向での第４サイズを特定することと、
前記第３サイズと前記第４サイズとの比である第２比を特定することと、を更に含んでもよい。
前記第１比と前記第２比との両方に基づいて、前記第一２Ｄ座標系と前記第二２Ｄ座標系との間の変換パラメータを特定することと、を含んでもよい。前記第２方向は、前記第１方向に垂直となる。
【００５０】
例えば、前記第１比は、前記第一２Ｄ座標系と前記第二２Ｄ座標系との、第１方向における変換比であってもよく、前記第２比は、前記第一２Ｄ座標系と前記第二２Ｄ座標系との、第２方向における変換比であってもよい。
【００５１】
本実施例では、前記第１方向がｘ軸の所在する方向であれば、第２方向は、ｙ軸の所在する方向となり、前記第１方向がｙ軸の所在する方向であれば、第２方向は、ｘ軸の所在する方向となる。
【００５２】
本実施例では、前記変換パラメータは、２つの変換比を含み、この２つの変換比は、それぞれ、第１方向における第１サイズと第２サイズの比である第１比、および、第２方向における第３サイズと第４サイズの比である第２比である。
【００５３】
幾つかの実施例では、前記ステップＳ１３２は、
以下の関数関係を利用して前記変換パラメータを特定することを含んでもよい。
［Ｋ＝ｃａｍｗ／ｔｏｒｓｏｗ，  Ｓ＝ｃａｍｈ／ｔｏｒｓｏｈ］    式（１）
【００５４】
ｃａｍｗは、前記第１サイズであり、ｔｏｒｓｏｗは、前記第３サイズであり、ｃａｍｈは、前記第２サイズであり、ｔｏｒｓｏｈは、前記第４サイズであり、Ｋは、前記第一２Ｄ座標を第二２Ｄ座標系へマッピングする、前記第１方向における変換パラメータであり、Ｓは、前記第一２Ｄ座標を第二２Ｄ座標系へマッピングする、前記第２方向における変換パラメータである。
【００５５】
前記ｃａｍｗは、２Ｄ画像の第１方向における２つのエッジの間の距離である。ｃａｍｈは、２Ｄ画像の第２方向における２つのエッジの間の距離である。第１方向と第２方向とは、互いに垂直となる。
【００５６】
前記Ｋは、上記第１比であり、前記Ｓは、上記第２比である。幾つかの実施例では、前記変換パラメータは、前記第１比と前記第２比の他に、調整ファクタを導入してもよい。例えば、前記調整ファクタは、第１調整ファクタおよび／または第２調整ファクタを含む。前記調整ファクタは、重み付けファクタおよび／またはスケーリングファクタを含んでもよい。前記調整ファクタがスケーリングファクタであれば、前記変換パラメータは、前記第１比および／または第２比とスケーリングファクタとの積となってもよい。前記調整ファクタが重み付けファクタであれば、前記変換パラメータは、前記第１比および／または第２比と重み付けファクタとの重み付け和となってもよい。
【００５７】
幾つかの実施例では、前記ステップＳ１３４は、前記変換パラメータと前記第一２Ｄ座標系の中心座標とに基づいて、前記第一２Ｄ座標を前記第二２Ｄ座標系にマッピングして第三２Ｄ座標を取得することを含んでもよい。前記第三２Ｄ座標は、前記第２局所に対する前記第１局所の位置をある程度示してもよい。
【００５８】
具体的に、前記ステップＳ１３４は、以下の関数関係を利用して前記第三２Ｄ座標を特定することを含んでもよい。
（ｘ３，ｙ３）＝（（ｘ１−ｘｔ）＊Ｋ＋ｘｉ，（ｙ１−ｙｔ）＊Ｓ＋ｙｉ）    式（２）
【００５９】
（ｘ３，ｙ３）は、前記第三２Ｄ座標であり、（ｘ１，ｙ１）は、前記第一２Ｄ座標であり、（ｘｔ，ｙｔ）は、前記第２局所の中心点の、前記第一２Ｄ座標系内における座標である。
【００６０】
本実施例では、ｘは、第１方向における座標値を示し、ｙは、第２方向における座標値を示す。
【００６１】
幾つかの実施例では、前記ステップＳ１４０は、
前記第三２Ｄ座標に対して正規化処理を行って第四２Ｄ座標を取得することと、
前記第四２Ｄ座標と前記仮想３次元空間内における仮想視点から仮想結像面内までの距離との両方に基づいて、前記第１キーポイントの前記仮想３次元空間内に投影された３Ｄ座標を特定することと、を含んでもよい。
【００６２】
幾つかの実施例では、直接第三２Ｄ座標に対して投影を行うことにより、第三２Ｄ座標を仮想結像面内に投影してもよい。本実施例では、算出の容易のために、第三２Ｄ座標に対して正規化処理を行い、正規化処理された後で仮想結像面内に投影する。
【００６３】
本実施例では、仮想視点と仮想結像面との間の距離は、既知の距離であってもよい。
【００６４】
正規化処理を行う際に、２Ｄ画像のサイズに基づいて行ってもよく、ある予め定義されたサイズに基づいて特定してもよい。前記正規化処理の方式は、複数種ある。正規化処理により、異なる採取時点に採取された２Ｄ画像の第三２Ｄ座標の変化が大きすぎることに起因するデータ処理の不便は減少され、後続のデータ処理は簡素化される。
【００６５】
幾つかの実施例では、前記第三２Ｄ座標に対して正規化処理を行って第四２Ｄ座標を取得することは、前記第２局所のサイズと前記第二２Ｄ座標系の中心座標との両方に基づいて、前記第三２Ｄ座標に対して正規化処理を行って前記第四２Ｄ座標を取得することを含む。
【００６６】
例えば、前記前記第２局所のサイズと前記第二２Ｄ座標系の中心座標との両方に基づいて、前記第三２Ｄ座標に対して正規化処理を行って前記第四２Ｄ座標を取得することは、下記のことを含む。
（ｘ４，ｙ４）＝［（（ｘ１−ｘｔ）＊Ｋ＋ｘｉ）／ｔｏｒｓｏｗ，（１−（（ｙ１−ｙｔ）＊Ｓ＋ｙｉ））／ｔｏｒｓｏｈ］        式（３）
【００６７】
（ｘ４，ｙ４）は、前記第四２Ｄ座標であり、（ｘ１，ｙ１）は、前記第一２Ｄ座標であり、（ｘｔ，ｙｔ）は、前記第２局所の中心点の、前記第一２Ｄ座標系内における座標であり、（ｘｉ，ｙｉ）は、前記２Ｄ画像の中心点の、前記第一２Ｄ座標系内における座標である。前記２Ｄ画像は、通常、矩形をなし、ここでの２Ｄ画像の中心点は、矩形の中心点である。ｔｏｒｓｏｗは、前記２Ｄ画像の第１方向でのサイズであり、ｔｏｒｓｏｈは、前記２Ｄ画像の第２方向でのサイズであり、Ｋは、前記第一２Ｄ座標を第二２Ｄ座標系へマッピングする、前記第１方向における変換パラメータであり、Ｓは、前記第一２Ｄ座標を第二２Ｄ座標系へマッピングする、前記第２方向における変換パラメータであり、前記第１方向は、前記第２方向と垂直となる。
【００６８】
第二２Ｄ座標系の中心座標値が（０．５＊ｔｏｒｓｏｗ、０．５＊ｔｏｒｓｏｈ）であるため、前記第四２Ｄ座標の求解関数は、以下のようになってもよい。
【数１】
2021520577.tif 000003
式（４）
【００６９】
幾つかの実施例では、前記第四２Ｄ座標と前記仮想３次元空間内における仮想視点から仮想結像面内までの距離との両方に基づいて、前記第１キーポイントの前記仮想３次元空間内に投影された３Ｄ座標を特定することは、前記第四２Ｄ座標と、前記仮想３次元空間内における仮想視点から仮想結像面内までの距離と、スケーリング率との三者に基づいて、前記第１キーポイントの前記仮想３次元空間内に投影された３Ｄ座標を特定することを含む。具体的に、以下の関数関係を利用して前記３Ｄ座標を特定してもよい。
（ｘ４＊ｄｄｓ，ｙ４＊ｄｄｓ，ｄ）    式（５）
【００７０】
ｘ４は、前記第四２Ｄ座標の第１方向での座標値であり、ｙ４は、前記第四２Ｄ座標の第２方向での座標値であり、ｄｄｓは、スケーリング率であり、ｄは、前記仮想３次元空間内における仮想視点から仮想結像面内までの距離である。
【００７１】
本実施例では、前記スケーリング率は、予め特定された静的値であってもよく、被採取対象（例えば、被採取ユーザ）の、カメラからの距離に基づいて動的に特定されたものであってもよい。
【００７２】
幾つかの実施例では、前記方法は、
前記２Ｄ画像における前記対象オブジェクトの数Ｍと、各前記対象オブジェクトの前記２Ｄ画像における２Ｄ画像領域とを特定するステップを更に含む。
【００７３】
前記ステップＳ１２０は、
前記２Ｄ画像領域に基づいて、各前記対象オブジェクトの前記第１キーポイントの第一２Ｄ座標と前記第２キーポイントの第二２Ｄ座標とを取得することにより、Ｍグループの前記３Ｄ座標を取得することを含んでもよい。
【００７４】
例えば、輪郭検出等の処理により、例えば、顔検出により、１つの２Ｄ画像に何人の制御ユーザがいることを検出することが可能であり、そして、各制御ユーザに基づいて対応する３Ｄ座標を取得する。
【００７５】
例えば、１つの２Ｄ画像から３つのユーザの結像が検出された場合に、３つのユーザのそれぞれの、当該２Ｄ画像内における画像領域を取得する必要があり、そして３つのユーザの手部と胴体部分とのキーポイントの２Ｄ座標に基づいて、ステップＳ１３０〜ステップＳ１５０の実行により、３つのユーザのそれぞれの、仮想３次元空間内の対応する３Ｄ座標を取得できる。
【００７６】
幾つかの実施例では、図４に示すように、前記方法は、ステップＳ２１０〜Ｓ２２０を含む。
【００７７】
ステップＳ２１０では、前記３Ｄ座標に基づく制御効果を第１表示領域内で表示する。
【００７８】
ステップＳ２２０では、前記２Ｄ画像を前記第１表示領域に対応する第２表示領域内で表示する。
【００７９】
ユーザ体験が向上し、ユーザが第１表示領域と第２表示領域との内容に応じて自分の動作を容易に修正できるように、第１表示領域に制御効果を表示し、第２表示領域に前記２Ｄ画像を表示する。
【００８０】
幾つかの実施例では、前記第１表示領域と前記第２表示領域は、異なるディスプレイスクリーンに対応してもよい。例えば、第１表示領域は、第１ディスプレイスクリーンに対応してもよく、第２表示領域は、第２ディスプレイスクリーンに対応してもよい。前記第１ディスプレイスクリーンと第２ディスプレイスクリーンは、並列に設置される。
【００８１】
他の幾つかの実施例では、前記第１表示領域と第２表示領域は、同一のディスプレイスクリーンの異なる表示領域であってもよい。前記第１表示領域と前記第２表示領域は、並列に設置される２つの表示領域であってもよい。
【００８２】
図５Ａに示すように、第１表示領域内には、制御効果を有する画像が表示され、第１表示領域と並列する第２表示領域内には、２Ｄ画像が表示されている。幾つかの実施例では、第２表示領域に表示された２Ｄ画像は、現在リアルタイムで採取された２Ｄ画像、または２Ｄビデオのうちの、現在リアルタイムで採取されたビデオフレームである。
【００８３】
幾つかの実施例では、前記２Ｄ画像を前記第１表示領域に対応する第２表示領域内で表示することは、
前記第一２Ｄ座標に基づいて、前記第１キーポイントの第１指示図形を前記第２表示領域内で表示された前記２Ｄ画像に表示することを含み、
および／または、
前記第二２Ｄ座標に基づいて、前記第２キーポイントの第２指示図形を前記第２表示領域内で表示された前記２Ｄ画像に表示することを含む。
【００８４】
幾つかの実施例では、第１指示図形は、前記第１キーポイントに重畳表示された、第１指示図形の表示によって前記第１キーポイントを強調表示できる位置である。例えば、前記第１指示図形で使用された色および／または輝度等の表示パラメータは、前記対象オブジェクトの他の部分の結像された色および／または輝度等の表示パラメータと区別付けさせる。
【００８５】
他の幾つかの実施例では、前記第２指示図形は、同様に前記第２キーポイントに重畳表示されている。このように、ユーザが第１指示図形および第２指示図形に基づいて自身の第１局所と第２局所との相対位置関係を視覚的に判断することは便利になり、後続の対応性の調整も可能になる。
【００８６】
例えば、前記第２指示図形で使用された色および／または輝度等の表示パラメータは、前記対象オブジェクトの他の部分の結像された色および／または輝度等の表示パラメータと区別付けさせる。
【００８７】
幾つかの実施例では、前記第１指示図形と前記第２指示図形とを区分するために、前記第１指示図形と前記第２指示図形との表示パラメータは、異なる。これにより、ユーザが視覚的な効果に基づいて簡便に区分することは便利になり、ユーザ体験も向上する。
【００８８】
更に他の幾つかの実施例では、前記方法は、関連指示図形を生成するステップを更に含む。
前記関連指示図形の一方端は、前記第１指示図形を指向し、前記第２関連指示図形の他方端は、前記被制御機器における被制御要素を指向する。
【００８９】
当該被制御要素は、被制御機器に表示されたゲーム対象またはカーソル等の被制御対象を含んでもよい。
【００９０】
図５Ｂに示すように、第２表示領域で表示された２Ｄ画像には、第１指示図形および／または第２指示図形が更に表示されている。第１表示領域と第２表示領域とには、関連指示図形が共同表示されている。
【００９１】
図６に示すように、本実施例は、画像処理装置を提供する。当該画像処理装置は、第１取得モジュール１１０、第２取得モジュール１２０、第１特定モジュール１３０および投影モジュール１４０を備える。
【００９２】
第１取得モジュール１１０は、対象オブジェクトの２Ｄ画像を取得するように構成される。
第２取得モジュール１２０は、前記２Ｄ画像に基づいて、第１キーポイントの第一２Ｄ座標と第２キーポイントの第二２Ｄ座標とを取得するように構成される。前記第１キーポイントは、前記対象オブジェクトの第１局所の、前記２Ｄ画像における結像点であり、前記第２キーポイントは、前記対象オブジェクトの第２局所の、前記２Ｄ画像における結像点である。
第１特定モジュール１３０は、前記第一２Ｄ座標および前記第二２Ｄ座標に基づいて、相対座標を特定するように構成される。前記相対座標は、前記第１局所と前記第２局所との相対位置を表す。
投影モジュール１４０は、前記相対座標を仮想３次元空間内に投影して前記相対座標に対応する３Ｄ座標を取得するように構成される。前記３Ｄ座標は、被制御機器が所定操作を実行するように制御するために用いられる。ここでの所定操作は、被制御機器における対象オブジェクトの座標変換を含むが、それに限定されない。
【００９３】
幾つかの実施例では、前記第１取得モジュール１１０、第２取得モジュール１２０、第１特定モジュール１３０および投影モジュール１４０は、プログラムモジュールであってもよく、前記プログラムモジュールがプロセッサによって実行されると、上記各モジュールの機能が実施できる。
【００９４】
他の幾つかの実施例では、前記第１取得モジュール１１０、第２取得モジュール１２０、第１特定モジュール１３０および投影モジュール１４０は、ソフトウェア・ハードウェアを組み合わせたモジュールであってもよく、当該ソフトウェア・ハードウェアを組み合わせたモジュールは、各種のプログラム可能なアレイ、例えば、複雑なプログラム可能アレイまたはフィールドプログラマブルアレイを含んでもよい。
【００９５】
更に他の幾つかの実施例では、前記第１取得モジュール１１０、第２取得モジュール１２０、第１特定モジュール１３０および投影モジュール１４０は、完全ハードウェアモジュールであってもよく、当該完全ハードウェアモジュールは、専用集積回路であってもよい。
【００９６】
幾つかの実施例では、前記第一２Ｄ座標と前記第二２Ｄ座標は、第一２Ｄ座標系内に位置する２Ｄ座標である。
【００９７】
幾つかの実施例では、前記第２取得モジュール１２０は、前記第１キーポイントの、前記２Ｄ画像に対応する第一２Ｄ座標系内における前記第一２Ｄ座標を取得し、前記第２キーポイントの前記第一２Ｄ座標系内における前記第二２Ｄ座標を取得するように構成される。
【００９８】
前記第１特定モジュール１３０は、前記第二２Ｄ座標に基づいて第二２Ｄ座標系を構築し、前記第一２Ｄ座標を前記第二２Ｄ座標系にマッピングして第三２Ｄ座標を取得するように構成される。
【００９９】
他の幾つかの実施例では、前記第１特定モジュール１３０は、前記第一２Ｄ座標系および前記第二２Ｄ座標系に基づいて、第一２Ｄ座標系から前記第二２Ｄ座標系へマッピングする変換パラメータを特定し、前記変換パラメータに基づいて、前記第一２Ｄ座標を前記第二２Ｄ座標系にマッピングして第三２Ｄ座標を取得するように構成される。
【０１００】
幾つかの実施例では、前記第１特定モジュール１３０は、前記２Ｄ画像の第１方向での第１サイズを特定し、前記第２局所の第１方向での第２サイズを特定し、前記第１サイズと前記第２サイズとの比である第１比を特定し、前記第１比に基づいて変換パラメータを特定するように構成される。
【０１０１】
他の幾つかの実施例では、前記第１特定モジュール１３０は、前記２Ｄ画像の第２方向での第３サイズを特定し、前記第２局所の第２方向での第４サイズを特定し、前記第２サイズと前記第３サイズとの第２比を特定し、前記第１比と前記第２比との両方に基づいて、前記第一２Ｄ座標系と前記第二２Ｄ座標系との間の変換パラメータを特定するように構成される。前記第２方向は、前記第１方向に垂直する。
【０１０２】
幾つかの実施例では、前記第１特定モジュール１３０は、具体的に以下の関数関係を利用して前記変換パラメータを特定する。
［Ｋ＝ｃａｍｗ／ｔｏｒｓｏｗ，  Ｓ＝ｃａｍｈ／ｔｏｒｓｏｈ］    式（１）
【０１０３】
ｃａｍｗは、前記第１サイズであり、ｔｏｒｓｏｗは、前記第３サイズであり、ｃａｍｈは、前記第２サイズであり、ｔｏｒｓｏｈは、前記第４サイズであり、Ｋは、前記第一２Ｄ座標を第二２Ｄ座標系へマッピングする、前記第１方向における変換パラメータであり、Ｓは、前記第一２Ｄ座標を第二２Ｄ座標系へマッピングする、前記第２方向における変換パラメータである。
【０１０４】
幾つかの実施例では、前記第１特定モジュール１３０は、以下の関数関係を利用して前記第三２Ｄ座標を特定するように構成される。
（ｘ３，ｙ３）＝（（ｘ１−ｘｔ）＊Ｋ＋ｘｉ，（ｙ１−ｙｔ）＊Ｓ＋ｙｉ）
【０１０５】
（ｘ３，ｙ３）は、前記第三２Ｄ座標であり、（ｘ１，ｙ１）は、前記第一２Ｄ座標であり、（ｘｔ，ｙｔ）は、前記第２局所の中心点の、前記第一２Ｄ座標系内における座標である。
【０１０６】
幾つかの実施例では、前記投影モジュール１４０は、前記第三２Ｄ座標に対して正規化処理を行って第四２Ｄ座標を取得し、前記第四２Ｄ座標と前記仮想３次元空間内における仮想視点から仮想結像面内までの距離との両方に基づいて、前記第１キーポイントの前記仮想３次元空間内に投影された３Ｄ座標を特定するように構成される。
【０１０７】
幾つかの実施例では、前記投影モジュール１４０は、前記第２局所のサイズと前記第二２Ｄ座標系の中心座標との両方に基づいて、前記第三２Ｄ座標に対して正規化処理を行って前記第四２Ｄ座標を取得するように構成される。
【０１０８】
幾つかの実施例では、前記投影モジュール１４０は、前記第四２Ｄ座標と、前記仮想３次元空間内における仮想視点から仮想結像面内までの距離と、スケーリング率との三者に基づいて、前記第１キーポイントの前記仮想３次元空間内に投影された３Ｄ座標を特定するように構成される。
【０１０９】
幾つかの実施例では、前記投影モジュール１４０は、以下の関数関係に基づいて前記３Ｄ座標を特定するように構成されてもよい。
（ｘ４，ｙ４）＝［（（ｘ１−ｘｔ）＊Ｋ＋ｘｉ）／ｔｏｒｓｏｗ，（１−（（ｙ１−ｙｔ）＊Ｓ＋ｙｉ））／ｔｏｒｓｏｈ］    式（２）
【０１１０】
（ｘ１，ｙ１）は、前記第一２Ｄ座標であり、（ｘｔ，ｙｔ）は、前記第２局所の中心点の、前記第一２Ｄ座標系内における座標であり、（ｘｉ，ｙｉ）は、前記２Ｄ画像の中心点の、前記第一２Ｄ座標系内における座標であり、ｔｏｒｓｏｗは、前記２Ｄ画像の第１方向でのサイズであり、ｔｏｒｓｏｈは、前記２Ｄ画像の第２方向でのサイズであり、Ｋは、前記第一２Ｄ座標を第二２Ｄ座標系へマッピングする、前記第１方向における変換パラメータであり、Ｓは、前記第一２Ｄ座標を第二２Ｄ座標系へマッピングする、前記第２方向における変換パラメータであり、前記第１方向は、前記第２方向と垂直となる。
【０１１１】
幾つかの実施例では、前記投影モジュール１４０は、前記第四２Ｄ座標と、前記仮想３次元空間内における仮想視点から仮想結像面内までの距離と、スケーリング率との三者に基づいて、前記第１キーポイントの前記仮想３次元空間内に投影された３Ｄ座標を特定するように構成される。
【０１１２】
更に、前記投影モジュール１４０は、以下の関数関係を利用して前記３Ｄ座標を特定するように構成されてもよい。
（ｘ４＊ｄｄｓ，ｙ４＊ｄｄｓ，ｄ）    式（５）
【０１１３】
ｘ４は、前記第四２Ｄ座標の第１方向での座標値であり、ｙ４は、前記第四２Ｄ座標の第２方向での座標値であり、ｄｄｓは、スケーリング率であり、ｄは、前記仮想３次元空間内における仮想視点から仮想結像面内までの距離である。
【０１１４】
幾つかの実施例では、前記装置は、第２特定モジュールを更に備える。
第２特定モジュールは、前記２Ｄ画像における前記対象オブジェクトの数Ｍと各対象オブジェクトの前記２Ｄ画像における２Ｄ画像領域とを特定するように構成される。
前記第２取得モジュール１２０は、前記２Ｄ画像領域に基づいて、各前記対象オブジェクトの前記第１キーポイントの第一２Ｄ座標と前記第２キーポイントの第二２Ｄ座標とを取得することにより、Ｍグループの前記３Ｄ座標を取得するように構成される。
【０１１５】
幾つかの実施例では、前記装置は、第１表示モジュールと、第２表示モジュールとを備える。
第１表示モジュールは、前記３Ｄ座標に基づく制御効果を第１表示領域内で表示するように構成される。
第２表示モジュールは、前記２Ｄ画像を前記第１表示領域に対応する第２表示領域内で表示するように構成される。
【０１１６】
幾つかの実施例では、前記第２表示モジュールは、更に、前記第一２Ｄ座標に基づいて、前記第１キーポイントの第１指示図形を前記第２表示領域内で表示された前記２Ｄ画像に表示し、および／または、前記第二２Ｄ座標に基づいて、前記第２キーポイントの第２指示図形を前記第２表示領域内で表示された前記２Ｄ画像に表示するように構成される。
【０１１７】
幾つかの実施例では、前記装置は、制御モジュールを更に備える。
制御モジュールは、前後２つの時点での相対座標の、仮想３次元空間内の３つの座標軸における変化量或いは変化率に基づいて、被制御機器における対象オブジェクトの座標変換を制御するように構成される。
【０１１８】
以下では、上記何れかの実施例を組み合わせて１つの具体的な例示を提供する。
【０１１９】
＜例示１＞
本例示は、画像処理方法を提供する。当該画像処理方法は、下記のことを含む。
【０１２０】
人体姿勢キーポイントをリアルタイムで認識し、数式とアルゴリズムによって、手握りやウェアラブル機器を必要とせずに仮想環境において高精度の操作を行えることを図る。
【０１２１】
顔部識別モデルと人体姿勢キーポイント識別モデルとを読み取って、対応するハンドルを確立すると同時に、追跡パラメータを配置する。
【０１２２】
ビデオストリームを開き、フレームのそれぞれをＢＧＲＡフォーマットに変換し、必要に応じて反転し、データストリームをタイムスタンプの付く対象として保存する。
【０１２３】
顔ハンドルによって現在フレームを検出して顔識別結果および顔の数を取得し、この結果を人体姿勢（ｈｕｍａｎ  ｐｏｓｅ）キーポイント追跡に支援する。
【０１２４】
現在フレームの人体姿勢を検出し、追跡ハンドルによってリアルタイムな人体キーポイントを追跡する。
【０１２５】
人体姿勢キーポイントを得た後で手部キーポイントに位置決めさせることにより、手部の、カメラ識別画像に位置する画素点を取得する。当該手部キーポイントは、上記第１キーポイントであり、例えば、当該手部キーポイントは、具体的に手首キーポイントであってもよい。
【０１２６】
ここでは、手部が後の操作カーソルになると仮定する。
【０１２７】
同様な方式によって人体肩部キーポイントおよび腰部キーポイントを位置決めし、身体中心位置の画素座標を算出する。人体肩部キーポイントおよび腰部キーポイントは、胴体キーポイントであってもよく、上記実施例で言及された第２キーポイントである。
【０１２８】
ピクチャの真中心を原点として上記座標を改めて定め、後の３次元変換に使用させる。
【０１２９】
人体の上半身を参照として設定し、シーンと人体との相対係数を求める。
【０１３０】
姿勢操縦システムが異なるシーンにおいても安定な挙動を維持するために、即ち、ユーザがレンズの撮影範囲中の如何なる方位に位置しても、または、レンズからどれほど離れても、同様な操縦効果を奏せるために、我々は、操作カーソルと身体中心との相対位置を使用する。
【０１３１】
相対係数と改めて定められた手部座標、身体中心座標とにより、身体に対する手部の新座標を算出する。
【０１３２】
新座標及び識別空間、即ち、カメラ画像サイズのＸとＹのスケーリングを保留する。
【０１３３】
仮想３次元空間において必要な投影操作空間を生成し、観察点と操作を受けた物体との距離Ｄを算出し、Ｘ、Ｙ及びＤによって、視点座標を操作カーソルの３次元空間における座標として変換する。
【０１３４】
仮想操作平面が存在すれば、操作カーソルの座標のｘとｙ値を取って、透視投影及びスクリーンマッピングの数式に代入して操作スクリーン空間における画素点を得る。
【０１３５】
これは、複数のユーザによる複数のカーソルの同時操作に適用可能である。
【０１３６】
カメラで採取された２Ｄ画像に対応する第一２Ｄ座標系において左下角が（０，０）であり、且つ右上角が（ｃａｍｗ，ｃａｍｈ）である場合に、
【０１３７】
手部キーポイントの、２Ｄ画像に対応する第一２Ｄ座標系内の座標を（ｘ１，ｙ１）、
【０１３８】
胴体中心点の第一２Ｄ座標系内の座標を（ｘｔ，ｙｔ）、
【０１３９】
２Ｄ画像の中心点の、第一２Ｄ座標系内の座標を（ｘｉ，ｙｉ）としたときに、
【０１４０】
変換パラメータは、下記のようになる。
前記変換パラメータ：
［Ｋ＝ｃａｍｗ／ｔｏｒｓｏｗ，  Ｓ＝ｃａｍｈ／ｔｏｒｓｏｈ］    式（１）
【０１４１】
手部キーポイントを胴体に対応する第二２Ｄ座標系内へ変換する変換関数は、下記のようになってもよい。
（ｘ３，ｙ３）＝（（ｘ１−ｘｔ）＊Ｋ＋ｘｉ，（ｙ１−ｙｔ）＊Ｓ＋ｙｉ）    式（６）
【０１４２】
カメラで採取された２Ｄ画像に対応する第一２Ｄ座標系において左下角が（０，０）であり、且つ右下角が（ｃａｍｗ，ｃａｍｈ）である場合に、
手部キーポイントを胴体に対応する第二２Ｄ座標系内へ変換する変換関数は、下記のようになってもよい。
（ｘ３，ｙ３）＝（（ｘ１−ｘｔ）＊Ｋ＋ｘｉ，（ｙｔ−ｙ１）＊Ｓ＋ｙｉ）    式（６）
【０１４３】
纏められた後、手部キーポイントを胴体に対応する第二２Ｄ座標系内へ変換する変換関数は、下記のようになってもよい。
（ｈａｎｄ−ｔｏｒｓｏ）＊（ｃａｍ／ｔｏｒｓｅ）＋ｃａｍ−ｃｅｎｔｅｒ
【０１４４】
ｈａｎｄは、手部キーポイントの第一２Ｄ座標系内での座標を示し、ｔｏｒｓｏは、胴体キーポイントの第一２Ｄ座標系内での座標を示し、ｃａｍ−ｃｅｎｔｅｒは、２Ｄ画像に対応する第一２Ｄ座標の中心座標である。
【０１４５】
正規化の処理過程では、スケーリング率を導入してもよい。前記スケーリング率の取値範囲は、１〜３であってもよく、更に、１．５〜２であってもよい。
【０１４６】
３次元仮想空間内では、構築された３次元仮想空間に基づいて以下の座標を取得してもよい。
仮想視点の座標は、（ｘｃ，ｙｃ，ｚｃ）であり、
仮想制御プレーンの座標は、（ｘｊ，ｙｊ，ｚｊ）であり、
ｄは、（ｘｃ，ｙｃ，ｚｃ）と（ｘｊ，ｙｊ，ｚｊ）の間の距離であってもよい。
【０１４７】
正規化処理された後、正規化後の第四２Ｄ座標は、下記のように得られる。
（ｘ４，ｙ４）＝［（ｘ１−ｘｔ）＊ｃａｍｗ＋０．５，０．５−（ｙ１−ｙｔ）＊ｃａｍｈ］  式（７）
【０１４８】
仮想３次元空間内へ変換された３Ｄ座標は、下記のようになる。
【数２】
2021520577.tif 000004
式（８）。
【０１４９】
図７に示すように、本発明の実施例は、画像処理機器を提供する。当該画像処理機器は、
情報を記憶するためのメモリと、
前記メモリに接続されるプロセッサと、を備え、前記プロセッサは、前記メモリに記憶されたコンピュータ実行可能な指令を実行することにより、上記１つまたは複数の解決手段に供される画像処理方法、例えば、図１、図３および図４に示す方法のうちの１つまたは複数を実施可能である。
【０１５０】
当該メモリは、各種のタイプのメモリであってもよく、ランダムアクセスメモリ、読み取り専用メモリ、フラッシュメモリ等であってもよい。前記メモリは、情報記憶に適用可能であり、例えば、コンピュータ実行可能な指令等を記憶する。前記コンピュータ実行可能な指令は、各種のプログラム指令、例えば、ターゲットプログラム指令および／またはソースプログラム指令等であってもよい。
【０１５１】
前記プロセッサは、各種タイプのプロセッサ、例えば、中央プロセッサ、マイクロプロセッサ、デジタル信号プロセッサ、プログラム可能なアレイ、デジタル信号プロセッサ、特定用途向けの集積回路または画像プロセッサ等であってもよい。
【０１５２】
前記プロセッサは、バスを介して前記メモリに接続されてもよい。前記バスは、集積回路バス等であってもよい。
【０１５３】
幾つかの実施例では、前記端末機器は、通信インターフェースを更に備えてもよく、当該通信インターフェースは、ネットワークインターフェース、例えば、ローカルエリアネットワークインターフェース、送受信アンテナ等を含んでもよい。前記通信インターフェースは、同様に前記プロセッサに接続され、情報の送受信に適用可能である。
【０１５４】
幾つかの実施例では、前記画像処理機器は、カメラを更に備え、当該カメラは、２Ｄカメラであってもよく、２Ｄ画像を採取してもよい。
【０１５５】
幾つかの実施例では、前記端末機器は、マンマシンインターフェースを更に備え、例えば、前記マンマシンインターフェースは、各種の入出力機器、例えば、キーボード、タッチスクリーン等を含んでもよい。
【０１５６】
本発明の実施例は、コンピュータ記憶媒体を提供する。前記コンピュータ記憶媒体には、コンピュータ実行可能コードが記憶され、前記コンピュータ実行可能コードが実行されると、上記１つまたは複数の解決手段に供される画像処理方法、例えば、図１、図３および図４に示す方法のうちの１つまたは複数は、実施可能である。
【０１５７】
前記記憶媒体は、移動記憶機器、読み取り専用メモリ（ＲＯＭ、Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ、Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、磁気ディスクまたは光ディスク等の、プログラムコードを記憶可能な各種の媒体を含む。前記記憶媒体は、非一時的記憶媒体であってもよい。
【０１５８】
本発明の実施例は、コンピュータプログラム製品を提供する。前記プログラム製品は、コンピュータ実行可能な指令を含み、前記コンピュータ実行可能な指令が実行されると、上記何れかの実施例に供される画像処理方法、例えば、図１、図３および図４に示す方法のうちの１つまたは複数は実施可能である。
【０１５９】
本発明に係る幾つかの実施例において、理解すべきことは、開示された機器及び方法が他の方式で実施され得る。以上で記述された機器実施例が単に例示であり、例えば、前記手段の区分が、単に１種の論理機能区分であり、実際に実施する際に他の区分方式があり得る。例えば、複数の手段若しくはユニットは、組み合わせられてもよく、或いは、別のシステムに統合されてもよく、または、幾つかの特徴が省略されてもよく、或いは実行されなくてもよい。また、表示若しくは議論された各構成部分同士間の結合、または直接結合、または通信接続は、幾つかのインターフェース、機器または手段の間接結合或いは通信接続によって実施されてもよく、電気的なもの、機械的なものまたは他の形態であってもよい。
【０１６０】
上記分離部品として説明された手段は、物理的に離間されたものであってもよく、でなくてもよい。手段として表示された部品は、物理手段であってもよく、でなくてもよい。即ち、当該部品は、１箇所に位置してもよく、複数のネットワークセルに分散されてもよい。本実施例の目的は、実際の需要に応じて、上記部品のうちの一部または全部の手段を選択して実施可能である。
【０１６１】
また、本発明の各実施例における各機能手段は、全部で１つの処理モジュールに統合されてもよく、各手段がそれぞれ単独で１つの手段としてもよく、２つまたは２つ以上の手段が１つの手段に統合されてもよい。上記統合手段は、ハードウェアの形態にて実施されてもよく、ハードウェアプラスソフトウェア機能手段の形態にて実施されてもよい。
【０１６２】
当業者であれば理解できるように、上記方法実施例の全部または一部のステップを実施するには、プログラム指令に関するハードウェアにて完成可能であり、上記プログラムは、コンピュータ読み取り可能な記憶媒体に記憶されてもよく、当該プログラムは、実行されるときに、上記方法実施例のステップを含む手順を実行し、上記記憶媒体は、移動記憶機器、読み取り専用メモリ（Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ、ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ、ＲＡＭ）、磁気ディスクまたは光ディスク等の、プログラムコードを記憶可能な各種の媒体を含んでもよい。
【０１６３】
上述したのが本発明の具体的な実施形態に過ぎないが、本発明の保護範囲は、それに限定されない。本技術分野に精通している如何なる技術者も本発明に記載の技術範囲内で変化または置換を容易に想到し得、それらは、本発明の保護範囲内に含まれるべきである。したがって、本発明の保護範囲は、上記請求項の保護範囲に準じるべきである。
【図１】
2021520577.tif 000005
【図２】
2021520577.tif 000006
【図３】
2021520577.tif 000007
【図４】
2021520577.tif 000008
【図５Ａ】
2021520577.tif 000009
【図５Ｂ】
2021520577.tif 000010
【図６】
2021520577.tif 000011
【図７】
2021520577.tif 000012
【手続補正書】
【提出日】令和2年11月2日(2020.11.2)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００５４
【補正方法】変更
【補正の内容】
【００５４】
ｃａｍｗは、前記第１サイズであり、ｔｏｒｓｏｗは、前記第２サイズであり、ｃａｍｈは、前記第３サイズであり、ｔｏｒｓｏｈは、前記第４サイズであり、Ｋは、前記第一２Ｄ座標を第二２Ｄ座標系へマッピングする、前記第１方向における変換パラメータであり、Ｓは、前記第一２Ｄ座標を第二２Ｄ座標系へマッピングする、前記第２方向における変換パラメータである。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００５７
【補正方法】変更
【補正の内容】
【００５７】
幾つかの実施例では、前記ステップＳ１３３は、前記変換パラメータと前記第一２Ｄ座標系の中心座標とに基づいて、前記第一２Ｄ座標を前記第二２Ｄ座標系にマッピングして第三２Ｄ座標を取得することを含んでもよい。前記第三２Ｄ座標は、前記第２局所に対する前記第１局所の位置をある程度示してもよい。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００５８
【補正方法】変更
【補正の内容】
【００５８】
具体的に、前記ステップＳ１３３は、以下の関数関係を利用して前記第三２Ｄ座標を特定することを含んでもよい。
（ｘ３，ｙ３）＝（（ｘ１−ｘｔ）＊Ｋ＋ｘｉ，（ｙ１−ｙｔ）＊Ｓ＋ｙｉ）    式（２）
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００５９
【補正方法】変更
【補正の内容】
【００５９】
（ｘ３，ｙ３）は、前記第三２Ｄ座標であり、（ｘ１，ｙ１）は、前記第一２Ｄ座標であり、（ｘｔ，ｙｔ）は、前記第２局所の中心点の、前記第一２Ｄ座標系内における座標であり、（ｘi，ｙi）は、前記２Ｄ画像の中心点の、前記第一２Ｄ座標系内における座標である。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０１０１
【補正方法】変更
【補正の内容】
【０１０１】
他の幾つかの実施例では、前記第１特定モジュール１３０は、前記２Ｄ画像の第２方向での第３サイズを特定し、前記第２局所の第２方向での第４サイズを特定し、前記第３サイズと前記第４サイズとの第２比を特定し、前記第１比と前記第２比との両方に基づいて、前記第一２Ｄ座標系と前記第二２Ｄ座標系との間の変換パラメータを特定するように構成される。前記第２方向は、前記第１方向に垂直する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０１０３
【補正方法】変更
【補正の内容】
【０１０３】
ｃａｍｗは、前記第１サイズであり、ｔｏｒｓｏｗは、前記第２サイズであり、ｃａｍｈは、前記第３サイズであり、ｔｏｒｓｏｈは、前記第４サイズであり、Ｋは、前記第一２Ｄ座標を第二２Ｄ座標系へマッピングする、前記第１方向における変換パラメータであり、Ｓは、前記第一２Ｄ座標を第二２Ｄ座標系へマッピングする、前記第２方向における変換パラメータである。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０１０４
【補正方法】変更
【補正の内容】
【０１０４】
幾つかの実施例では、前記第１特定モジュール１３０は、以下の関数関係を利用して前記第三２Ｄ座標を特定するように構成される。
（ｘ３，ｙ３）＝（（ｘ１−ｘｔ）＊Ｋ＋ｘｉ，（ｙ１−ｙｔ）＊Ｓ＋ｙｉ）    式（２）
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０１０５
【補正方法】変更
【補正の内容】
【０１０５】
（ｘ３，ｙ３）は、前記第三２Ｄ座標であり、（ｘ１，ｙ１）は、前記第一２Ｄ座標であり、（ｘｔ，ｙｔ）は、前記第２局所の中心点の、前記第一２Ｄ座標系内における座標であり、（ｘi，ｙi）は、前記２Ｄ画像の中心点の、前記第一２Ｄ座標系内における座標である。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０１０９
【補正方法】変更
【補正の内容】
【０１０９】
幾つかの実施例では、前記投影モジュール１４０は、以下の関数関係に基づいて前記３Ｄ座標を特定するように構成されてもよい。
（ｘ４，ｙ４）＝［（（ｘ１−ｘｔ）＊Ｋ＋ｘｉ）／ｔｏｒｓｏｗ，（１−（（ｙ１−ｙｔ）＊Ｓ＋ｙｉ））／ｔｏｒｓｏｈ］    式（３）
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０１１０
【補正方法】変更
【補正の内容】
【０１１０】
（ｘ4，ｙ4）は、前記第四２Ｄ座標であり、（ｘ１，ｙ１）は、前記第一２Ｄ座標であり、（ｘｔ，ｙｔ）は、前記第２局所の中心点の、前記第一２Ｄ座標系内における座標であり、（ｘｉ，ｙｉ）は、前記２Ｄ画像の中心点の、前記第一２Ｄ座標系内における座標であり、ｔｏｒｓｏｗは、前記２Ｄ画像の第１方向でのサイズであり、ｔｏｒｓｏｈは、前記２Ｄ画像の第２方向でのサイズであり、Ｋは、前記第一２Ｄ座標を第二２Ｄ座標系へマッピングする、前記第１方向における変換パラメータであり、Ｓは、前記第一２Ｄ座標を第二２Ｄ座標系へマッピングする、前記第２方向における変換パラメータであり、前記第１方向は、前記第２方向と垂直となる。
【手続補正１１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
対象オブジェクトの２Ｄ画像を取得するステップと、
前記２Ｄ画像に基づいて、第１キーポイントの第一２Ｄ座標と第２キーポイントの第二２Ｄ座標とを取得するステップと、
前記第一２Ｄ座標および前記第二２Ｄ座標に基づいて、相対座標を特定するステップと、
前記相対座標を仮想３次元空間内に投影して前記相対座標に対応する３Ｄ座標を取得するステップと、を含み、
前記第１キーポイントは、前記対象オブジェクトの第１局所の、前記２Ｄ画像における結像点であり、前記第２キーポイントは、前記対象オブジェクトの第２局所の、前記２Ｄ画像における結像点であり、
前記相対座標は、前記第１局所と前記第２局所との相対位置を表し、
前記３Ｄ座標は、被制御機器における対象オブジェクトの座標変換を制御するために用いられることを特徴とする画像処理方法。
【請求項２】
前記第一２Ｄ座標と前記第二２Ｄ座標は、第一２Ｄ座標系内に位置する２Ｄ座標であることを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記第一２Ｄ座標および前記第二２Ｄ座標に基づいて、相対座標を特定するステップは、
前記第二２Ｄ座標に基づいて、第二２Ｄ座標系を構築することと、
前記第一２Ｄ座標を前記第二２Ｄ座標系にマッピングして第三２Ｄ座標を取得することと、
第三２Ｄ座標に基づいて前記相対座標を特定することと、を含むことを特徴とする請求項２に記載の画像処理方法。
【請求項４】
前記第一２Ｄ座標を前記第二２Ｄ座標系にマッピングして第三２Ｄ座標を取得することは、
前記第一２Ｄ座標系および前記第二２Ｄ座標系に基づいて、前記第一２Ｄ座標系から前記第二２Ｄ座標系へマッピングする変換パラメータを特定し、
前記変換パラメータに基づいて、前記第一２Ｄ座標を前記第二２Ｄ座標系にマッピングして第三２Ｄ座標を取得することを含むことを特徴とする請求項３に記載の画像処理方法。
【請求項５】
前記第一２Ｄ座標系および前記第二２Ｄ座標系に基づいて、前記第一２Ｄ座標系から前記第二２Ｄ座標系へマッピングする変換パラメータを特定することは、
前記２Ｄ画像の第１方向での第１サイズを特定し、前記第２局所の第１方向での第２サイズを特定することと、
前記第１サイズと前記第２サイズとの比である第１比を特定することと、
前記第１比に基づいて前記変換パラメータを特定することと、を含むことを特徴とする請求項４に記載の画像処理方法。
【請求項６】
前記第１比に基づいて前記変換パラメータを特定することは、
前記２Ｄ画像の第２方向での第３サイズを特定し、前記第２局所の第２方向での第４サイズを特定することと、
前記第３サイズと前記第４サイズとの比である第２比を特定することと、
前記第１比と第２比との両方に基づいて、前記変換パラメータを特定することとを含み、
前記第２方向は前記第１方向に垂直することを特徴とする請求項５に記載の画像処理方法。
【請求項７】
前記変換パラメータに基づいて、前記第一２Ｄ座標を前記第二２Ｄ座標系にマッピングして第三２Ｄ座標を取得することは、
前記変換パラメータと前記第一２Ｄ座標系の中心座標とに基づいて、前記第一２Ｄ座標を前記第二２Ｄ座標系にマッピングして第三２Ｄ座標を取得することを含むことを特徴とする請求項４から６の何れか一項に記載の画像処理方法。
【請求項８】
前記相対座標を仮想３次元空間内に投影して前記相対座標に対応する３Ｄ座標を取得するステップは、
前記第三２Ｄ座標に対して正規化処理を行って第四２Ｄ座標を取得することと、
前記第四２Ｄ座標と前記仮想３次元空間内における仮想視点から仮想結像面内までの距離との両方に基づいて、前記第１キーポイントの前記仮想３次元空間内に投影された３Ｄ座標を特定することと、を含むことを特徴とする請求項３から７の何れか一項に記載の画像処理方法。
【請求項９】
前記第三２Ｄ座標に対して正規化処理を行って第四２Ｄ座標を取得することは、
前記第２局所のサイズと前記第二２Ｄ座標系の中心座標との両方に基づいて、前記第三２Ｄ座標に対して正規化処理を行って前記第四２Ｄ座標を取得することを含むことを特徴とする請求項８に記載の画像処理方法。
【請求項１０】
前記第四２Ｄ座標と前記仮想３次元空間内における仮想視点から仮想結像面内までの距離との両方に基づいて、前記第１キーポイントの前記仮想３次元空間内に投影された３Ｄ座標を特定することは、
前記第四２Ｄ座標と、前記仮想３次元空間内における仮想視点から仮想結像面内までの距離と、スケーリング率との三者に基づいて、前記第１キーポイントの前記仮想３次元空間内に投影された３Ｄ座標を特定することを含むことを特徴とする請求項８または９に記載の画像処理方法。
【請求項１１】
前記画像処理方法は、
前記対象オブジェクトの数Ｍ（Ｍは、１より大きい整数である）と各対象オブジェクトの前記２Ｄ画像における２Ｄ画像領域とを特定するステップを更に含み、
前記２Ｄ画像に基づいて、第１キーポイントの第一２Ｄ座標と第２キーポイントの第二２Ｄ座標とを取得するステップは、
前記２Ｄ画像領域に基づいて、各前記対象オブジェクトの前記第１キーポイントの第一２Ｄ座標と前記第２キーポイントの第二２Ｄ座標とを取得することにより、Ｍグループの前記３Ｄ座標を取得することを含むことを特徴とする請求項１から１０の何れか一項に記載の画像処理方法。
【請求項１２】
前記３Ｄ座標に基づく制御効果を第１表示領域内で表示するステップと、
前記２Ｄ画像を前記第１表示領域に対応する第２表示領域内で表示するステップと、を更に含むことを特徴とする請求項１から１１の何れか一項に記載の画像処理方法。
【請求項１３】
前記２Ｄ画像を前記第１表示領域に対応する第２表示領域内で表示するステップは、
前記第一２Ｄ座標に基づいて、前記第１キーポイントの第１指示図形を前記第２表示領域内で表示された前記２Ｄ画像に表示すること、
および／または、
前記第二２Ｄ座標に基づいて、前記第２キーポイントの第２指示図形を前記第２表示領域内で表示された前記２Ｄ画像に表示すること、を含み、
前記第１指示図形は、前記第１キーポイントに重畳表示された画像であり、前記第２指示図形は、前記第２キーポイントに重畳表示された画像であることを特徴とする請求項１２に記載の画像処理方法。
【請求項１４】
前後２つの時点での相対座標の、仮想３次元空間内の３つの座標軸における変化量或いは変化率に基づいて、被制御機器における対象オブジェクトの座標変換を制御するステップを更に含むことを特徴とする請求項１から１３の何れか一項に記載の画像処理方法。
【請求項１５】
画像処理装置であって、
対象オブジェクトの２Ｄ画像を取得するように構成される第１取得モジュールと、
前記２Ｄ画像に基づいて、第１キーポイントの第一２Ｄ座標と第２キーポイントの第二２Ｄ座標とを取得するように構成される第２取得モジュールと、
前記第一２Ｄ座標および前記第二２Ｄ座標に基づいて、相対座標を特定するように構成される第１特定モジュールと、
前記相対座標を仮想３次元空間内に投影して前記相対座標に対応する３Ｄ座標を取得するように構成される投影モジュールと、を備え、
前記第１キーポイントは、前記対象オブジェクトの第１局所の、前記２Ｄ画像における結像点であり、前記第２キーポイントは、前記対象オブジェクトの第２局所の、前記２Ｄ画像における結像点であり、前記相対座標は、前記第１局所と前記第２局所との相対位置を表し、前記３Ｄ座標は、被制御機器における対象オブジェクトの座標変換を制御するために用いられることを特徴とする画像処理装置。
【請求項１６】
電子機器であって、
メモリと、
前記メモリに接続されるプロセッサと、を備え、
前記プロセッサは、前記メモリに記憶されたコンピュータ実行可能な指令を実行することにより、請求項１から１４の何れか一項に記載の画像処理方法を実施することを特徴とする電子機器。
【請求項１７】
コンピュータ実行可能な指令が記憶されるコンピュータ記憶媒体であって、
前記コンピュータ実行可能な指令がプロセッサによって実行されると、請求項１から１４の何れか一項に記載の画像処理方法は実施されることを特徴とするコンピュータ記憶媒体。
【請求項１８】
コンピュータプログラムであって、
前記コンピュータプログラムがプロセッサによって実行されると、請求項１から１４の何れか一項に記載の画像処理方法は実施されることを特徴とするコンピュータプログラム。
【手続補正１２】
【補正対象書類名】図面
【補正対象項目名】図５Ａ
【補正方法】変更
【補正の内容】
【図５Ａ】
2021520577.tif 000013
【手続補正１３】
【補正対象書類名】図面
【補正対象項目名】図５Ｂ
【補正方法】変更
【補正の内容】
【図５Ｂ】
2021520577.tif 000014
【手続補正１４】
【補正対象書類名】図面
【補正対象項目名】図６
【補正方法】変更
【補正の内容】
【図６】
2021520577.tif 000015
【国際調査報告】
2021520577.tif 000016
2021520577.tif 000017
2021520577.tif 000018
2021520577.tif 000019