(57)【特許請求の範囲】
【請求項１】
検出対象のビデオストリーム内の動的ジェスチャに対して位置特定を行い、動的ジェスチャボックスを得ることと、
前記ビデオストリームの複数の画像フレームから前記動的ジェスチャボックスに対応する画像ブロックを切り出すことであって、前記切り出した画像ブロックの大きさが、前記ビデオストリームの画像フレームの大きさより小さく、かつ前記動的ジェスチャボックスの大きさ以上であることと、
前記切り出した画像ブロックをもとに検出シーケンスを生成することと、
前記検出シーケンスに基づいて動的ジェスチャ認識を実行することと、を含むことを特徴とする動的ジェスチャ認識方法。
【請求項２】
前記検出対象のビデオストリーム内の動的ジェスチャに対して位置特定を行い、動的ジェスチャボックスを得ることは、
前記ビデオストリームの複数フレームの画像内の少なくとも一つの画像フレームに対して、静的ジェスチャの位置特定を行い、前記少なくとも一つの画像フレームの静的ジェスチャボックスを得ることと、
前記少なくとも一つの画像フレームの静的ジェスチャボックスに基づいて、前記動的ジェスチャボックスを確定することと、を含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記少なくとも一つの画像フレームの静的ジェスチャボックスに基づいて、前記動的ジェスチャボックスを確定することは、
前記少なくとも一つの画像フレームの静的ジェスチャボックスに対して拡大処理を行い、前記動的ジェスチャボックスを得ることを含むことを特徴とする請求項２に記載の方法。
【請求項４】
前記ビデオストリームの複数の画像フレームのうちの少なくとも一つの画像フレームの静的ジェスチャボックスは、
前記静的ジェスチャボックスが前記動的ジェスチャボックス内に位置するか、または前記静的ジェスチャボックスと前記動的ジェスチャボックスが同じであることを満たすことを特徴とする請求項２または３に記載の方法。
【請求項５】
前記検出シーケンスに基づいて動的ジェスチャ認識を実行することは、
前記検出シーケンスにおける複数のフレーム間の画像差を特定することと、
前記複数のフレーム間の画像差をもとに画像差シーケンスを生成することと、
前記検出シーケンスおよび前記画像差シーケンスに基づいて動的ジェスチャ認識を実行することと、を含むことを特徴とする請求項１から４のいずれか一項に記載の方法。
【請求項６】
前記フレーム間の画像差は前記検出シーケンスにおける二つの隣接する基準フレーム間の画像差であることを特徴とする請求項５に記載の方法。
【請求項７】
前記検出シーケンスおよび前記画像差シーケンスに基づいて動的ジェスチャ認識を実行することは、
前記検出シーケンスを第一動的ジェスチャ認識モデルに入力し、それによって前記第一動的ジェスチャ認識モデルが出力する第一動的ジェスチャ種類予測確率を得ることと、
前記画像差シーケンスを第二動的ジェスチャ認識モデルに入力し、それによって前記第二動的ジェスチャ認識モデルが出力する第二動的ジェスチャ種類予測確率を得ることと、
前記第一動的ジェスチャ種類予測確率および前記第二動的ジェスチャ種類予測確率に基づき、動的ジェスチャ認識結果を確定することと、を含むことを特徴とする請求項５または６に記載の方法。
【請求項８】
前記第一動的ジェスチャ認識モデルは第一ニューラルネットワークであり、前記第二動的ジェスチャ認識モデルは第二ニューラルネットワークであり、前記第一ニューラルネットワークと前記第二ニューラルネットワークとは構造が同じであり、または異なっていることを特徴とする請求項７に記載の方法。
【請求項９】
数回切り出して前記検出シーケンスを得て、前記画像差シーケンスを数回生成し、および前記検出シーケンスや前記画像差シーケンスに基づいて動的ジェスチャ認識を数回実行することと、
毎回の前記動的ジェスチャ認識により得られた動的ジェスチャタイプの確率に基づき、動的ジェスチャ認識結果を確定することと、をさらに含むことを特徴とする請求項５から８のいずれか一項に記載の方法。
【請求項１０】
前記検出シーケンスおよび前記画像差シーケンスに基づいて動的ジェスチャ認識を実行することの前に、さらに、
異なる動的ジェスチャタイプのサンプルビデオストリームを収集し、
前記異なる動的ジェスチャタイプの動的ジェスチャボックスをマークし、
サンプルビデオストリームの複数の画像フレームから動的ジェスチャボックスのマーク情報に対応する画像ブロックを切り出し、画像シーケンスを形成し、
前記動的ジェスチャタイプを教師データとし、前記画像シーケンスを訓練データとし、前記第一動的ジェスチャ認識モデルを訓練するという方法を用いて、前記第一動的ジェスチャ認識モデルを作成することを含むことを特徴とする請求項７または８に記載の方法。
【請求項１１】
前記動的ジェスチャタイプを教師データとし、前記画像シーケンスを訓練データとし、前記第一動的ジェスチャ認識モデルを訓練することは、
前記画像シーケンスを少なくとも１セグメントに分けることと、
前記少なくとも１セグメントから予め設定されたフレーム数の画像を抽出し、積層して画像訓練データを形成することと、
前記動的ジェスチャタイプを教師データとし、前記画像訓練データで前記第一動的ジェスチャ認識モデルを訓練することと、を含むことを特徴とする請求項１０に記載の方法。
【請求項１２】
前記検出シーケンスおよび前記画像差シーケンスに基づいて動的ジェスチャ認識を実行することの前に、さらに、
異なる動的ジェスチャタイプのサンプルビデオストリームを収集し、
前記異なる動的ジェスチャタイプの動的ジェスチャボックスをマークし、
前記サンプルビデオストリームの複数の画像フレームから動的ジェスチャボックスのマーク情報に対応する画像ブロックを切り出し、画像シーケンスを形成し、
前記画像シーケンスにおける複数のフレーム間の画像差を特定し、
前記複数のフレーム間の画像差をもとに画像差シーケンスを生成し、
前記動的ジェスチャタイプを教師データとし、前記画像差シーケンスを訓練データとし、前記第二動的ジェスチャ認識モデルを訓練するという方法を用いて、前記第二動的ジェスチャ認識モデルを作成することを含むことを特徴とする請求項７、８、１０、１１のいずれか一項に記載の方法。
【請求項１３】
前記動的ジェスチャタイプを教師データとし、前記画像差シーケンスを訓練データとし、前記第二動的ジェスチャ認識モデルを訓練することは、
前記画像差シーケンスを少なくとも１セグメントに分けることと、
前記少なくとも１セグメントから予め設定されたフレーム数の画像を抽出し、積層して画像差訓練データを形成することと、
前記動的ジェスチャタイプを教師データとし、前記画像差訓練データで前記第二動的ジェスチャ認識モデルを訓練することと、を含むことを特徴とする請求項１２に記載の方法。
【請求項１４】
ビデオストリームを取得することと、
請求項１から１３のいずれか一項に記載の方法を用いて前記ビデオストリームにおける動的ジェスチャ認識結果を確定することと、
前記動的ジェスチャ認識結果に対応する操作を実行するように機器を制御することと、を含むことを特徴とするジェスチャ対話制御方法。
【請求項１５】
前記動的ジェスチャ認識結果に対応する操作を実行するように機器を制御することは、
予め確定された動的ジェスチャ認識結果と操作命令との間の対応関係に基づき、前記動的ジェスチャ認識結果に対応する操作命令を取得し、前記操作命令に従って対応する操作を実行するように機器を制御すること、又は、
前記動的ジェスチャ認識結果が予め定義された動的動きであることに応じて、前記予め定義された動的動きに対応する操作を実行するように車両を制御することを含むことを特徴とする請求項１４に記載の方法。
【請求項１６】
前記機器は車両を含み、前記操作命令に従って対応する操作を実行するように機器を制御することは、
前記操作命令に従って車両の窓、ドアまたは車載システムを制御することを含むことを特徴とする請求項１５に記載の方法。
【請求項１７】
前記予め定義された動的動きは動的ジェスチャを含み、前記動的ジェスチャは、一本指時計回り／反時計回り回転、手のひらの左／右振り、二本指の前への突き出し、親指と小指の差し出し、手のひらの下向き押し下げ、手のひらの上向き上げ、手のひらでの左／右煽ぎ、親指出しながらの左／右動かし、手のひらの左／右への大きくスライド、上向きの手の開き、上向きの手の握り、下向きの手の握り、下向きの手の開き、一本指のスライド、数本指でのつかみ、一本指ダブルクリック、一本指シングルクリック、数本指ダブルクリック、および数本指シングルクリックの少なくとも一つを含み、
前記予め定義された動的動きに対応する操作は、ボリュームの上げ／下げ、曲の切り換え、曲の一時停止／再生、受話または電話の起動、通話切断または着信拒否、エアコン温度の上昇または下降、マルチスクリーンインタラクション、天窓開放、天窓閉合、ドアロック施錠、ドアロック解錠、ナビゲーションに対するドラッグ、地図ズームアウト、および地図ズームインの少なくとも一つを含むこと特徴とする請求項１５に記載の方法。
【請求項１８】
実行可能命令を記憶するためのメモリ、および
前記メモリと通信して前記実行可能命令を実行することで請求項１から１３のいずれか一項に記載の動的ジェスチャ認識方法、または請求項１４から１７のいずれか一項に記載のジェスチャ対話制御方法の動作を完了させるためのプロセッサを含むことを特徴とする電子機器。
【請求項１９】
コンピュータ読み取り可能な命令を記憶するためのコンピュータ読み取り可能媒体であって、前記命令が、コンピュータに、請求項１から１３のいずれか一項に記載の動的ジェスチャ認識方法、または請求項１４から１７のいずれか一項に記載のジェスチャ対話制御方法の動作を実行させることを特徴とするコンピュータ読み取り可能媒体。
【請求項２０】
コンピュータに、請求項１から１３のいずれか一項に記載の動的ジェスチャ認識方法、または請求項１４から１７のいずれか一項に記載のジェスチャ対話制御方法を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本願の実施例は画像処理技術、特に動的ジェスチャ認識方法および装置、ジェスチャ対話制御方法および装置に関する。
【背景技術】
【０００２】
ジェスチャは画像およびビデオ情報における重要なマンマシン対話特徴の一つである。ジェスチャ認識アルゴリズムのコアタスクとしては、手が映られたピクチャーを与えて、その中のジェスチャのタイプを判断することである。
【発明の概要】
【０００３】
本願は２０１７年１２月２２日に中国特許局へ提出された、出願番号がＣＮ２０１７１１４１７８０１．８であり、名称が「動的ジェスチャ認識方法および装置」である中国特許出願、及び２０１８年８月２４日に中国特許局へ提出された、出願番号がＣＮ２０１８１０９７４２４４．８であり、名称が「動的動き検出方法、動的動き制御方法および装置」である中国特許出願の優先権を主張し、その全ての内容は引用により本願に組み込まれる。
【０００４】
本願の実施例は動的ジェスチャ認識の技術案およびジェスチャ対話制御の技術案を提供する。
【０００５】
本願の実施例の一態様によれば、検出対象のビデオストリーム内の動的ジェスチャに対して位置特定を行い、動的ジェスチャボックスを得ることと、前記ビデオストリームの複数の画像フレームから前記動的ジェスチャボックスに対応する画像ブロックを切り出すことと、前記切り出した画像ブロックをもとに検出シーケンスを生成することと、前記検出シーケンスに基づいて動的ジェスチャ認識を実行することと、を含む動的ジェスチャ認識方法が提供される。
【０００６】
本願の実施例の別の一態様によれば、異なる動的ジェスチャタイプのサンプルビデオストリームを収集することと、前記異なる動的ジェスチャタイプの動的ジェスチャボックスをマークすることと、サンプルビデオストリームの複数の画像フレームから動的ジェスチャボックスのマーク情報に対応する画像ブロックを切り出し、画像シーケンスを形成することと、動的ジェスチャタイプを教師データとし、前記画像シーケンスを訓練データとし、第一動的ジェスチャ認識モデルを訓練することと、を含む動的ジェスチャ認識モデリング方法が提供される。
【０００７】
本願の実施例のさらに別の一態様によれば、検出対象のビデオストリーム内の動的ジェスチャに対して位置特定を行い、動的ジェスチャボックスを得るためのジェスチャ位置特定ユニットと、前記ビデオストリームの複数の画像フレームから前記動的ジェスチャボックスに対応する画像ブロックを切り出すための処理ユニットと、前記切り出した画像ブロックをもとに検出シーケンスを生成するための検出シーケンス生成ユニットと、前記検出シーケンスに基づいて動的ジェスチャ認識を実行するためのジェスチャ認識ユニットと、を含む動的ジェスチャ認識装置が提供される。
【０００８】
本願の実施例のさらに別の一態様によれば、異なる動的ジェスチャタイプのサンプルビデオストリームを収集するためのサンプル収集サブユニットと、前記異なる動的ジェスチャタイプの動的ジェスチャボックスをマークするためのジェスチャボックスマークサブユニットと、サンプルビデオストリームの複数の画像フレームから動的ジェスチャボックスのマーク情報に対応する画像ブロックを切り出し、画像シーケンスを形成するための画像シーケンス形成サブユニットと、動的ジェスチャタイプを教師データとし、前記画像シーケンスを訓練データとし、第一動的ジェスチャ認識モデルを訓練するための訓練サブユニットと、を含む動的ジェスチャ認識モデル作成ユニットを含む動的ジェスチャ認識モデル作成装置が提供される。
【０００９】
本願の実施例のさらに別の一態様によれば、
ビデオストリームを取得することと、
上記のいずれか一項に記載の動的ジェスチャ認識方法を用いて前記ビデオストリームにおける動的ジェスチャ認識結果を確定することと、
前記動的ジェスチャ認識結果に対応する操作を実行するように機器を制御することと、を含むジェスチャ対話制御方法が提供される。
【００１０】
本願の実施例のさらに別の一態様によれば、
ビデオストリームを取得するためのビデオストリーム取得モジュールと、
上記のいずれか一項に記載の動的ジェスチャ認識装置を用いて前記ビデオストリームにおける動的ジェスチャ認識結果を確定するための結果取得モジュールと、
前記動的ジェスチャ認識結果に対応する操作を実行するように機器を制御するための操作実行モジュールと、を含むジェスチャ対話制御装置が提供される。
【００１１】
本願の実施例のさらに別の一態様によれば、上記のいずれか一項に記載の動的ジェスチャ認識装置、または上記のいずれか一項に記載の動的ジェスチャ認識モデリング装置、または上記のいずれか一項に記載のジェスチャ対話制御装置を含むプロセッサを含む電子機器が提供される。
【００１２】
本願の実施例のさらに別の一態様によれば、実行可能命令を記憶するためのメモリ、および前記メモリと通信して前記実行可能命令を実行することで上記のいずれか一項に記載の動的ジェスチャ認識方法または上記のいずれか一項に記載の動的ジェスチャ認識モデリング方法または上記のいずれか一項に記載のジェスチャ対話制御方法の動作を完了させるためのプロセッサを含む電子機器が提供される。
【００１３】
本願の実施例のさらに別の一態様によれば、コンピュータ読み取り可能命令を記憶するためのコンピュータ読み取り可能媒体であって、前記命令が実行される時に上記のいずれか一項に記載の動的ジェスチャ認識方法または上記のいずれか一項に記載の動的ジェスチャ認識モデリング方法または上記のいずれか一項に記載のジェスチャ対話制御方法の動作を実行することを特徴とするコンピュータ読み取り可能媒体が提供される。
【００１４】
本願の実施例のさらに別の一態様によれば、コンピュータ読み取り可能コードを含むコンピュータプログラム製品であって、前記コンピュータ読み取り可能コードが機器において実行される時、前記機器におけるプロセッサが上記のいずれか一項に記載の動的ジェスチャ認識方法または上記のいずれか一項に記載の動的ジェスチャ認識モデリング方法または上記のいずれか一項に記載のジェスチャ対話制御方法を実現するための命令を実行することを特徴とするコンピュータプログラム製品が提供される。
【００１５】
本願の上記実施例により提供される動的ジェスチャ認識方法および装置、ジェスチャ対話制御方法および装置をもとに、ビデオストリームの複数の画像フレームから動的ジェスチャボックスに対応する画像ブロックを切り出し、画像ブロックが生成した検出シーケンスをもとに動的ジェスチャ認識を実行する。動的ジェスチャボックスに対応する画像ブロックをもとに動的ジェスチャ認識を実行するため、一連の変化する動的ジェスチャを認識できる。
【００１６】
以下、図面および実施例により、本願の技術案をさらに詳細に説明する。
【図面の簡単な説明】
【００１７】
明細書の一部となる図面は本願の実施例を説明し、かつその説明と共に本願の原理を解釈するために用いられる。
【００１８】
図面を参照して、以下の詳細な説明によれば、本願をより明確に理解できる。そのうち、
【図１】本願の実施例により提供される動的ジェスチャ認識方法の一フローチャートである。
【図２】本願の実施例により提供される動的ジェスチャ認識方法の別の一フローチャートである。
【図３】本願の実施例により提供される第一動的ジェスチャ認識モデル作成の一フローチャートである。
【図４】本願の実施例により提供される第二動的ジェスチャ認識モデル作成の一フローチャートである。
【図５】本願の実施例により提供される動的ジェスチャ認識装置の一構成模式図である。
【図６】本願の実施例により提供される動的ジェスチャ認識装置の別の一構成模式図である。
【図７】本願の実施例により提供されるジェスチャ対話制御方法の一フローチャートである。
【図８】本願の実施例により提供されるジェスチャ対話制御方法の一適用例のフローチャートである。
【図９】本願の実施例により提供されるジェスチャ対話制御装置の一構成模式図である。
【図１０】本願の実施例により提供される電子機器の一構成模式図である。
【発明を実施するための形態】
【００１９】
ここで、図面を参照しながら本願の様々な例示的実施例を詳細に説明する。なお、特に明記されない限り、これらの実施例において記載した部材およびステップの相対的配置、数式および数値は本願の範囲を限定するものではないことに注意すべきである。
【００２０】
同時に、説明の便宜上、図面に示した各部分の寸法は実際の比例関係に従って描いたものではないことを理解すべきである。
【００２１】
下記の少なくとも一つの例示的な実施例に対する説明は、実際に説明的なものに過ぎず、本願およびその適用または使用への如何なる制限にならない。
【００２２】
関連分野の当業者の既知の技術、方法および機器については、詳細に説明しないが、場合によって、前記技術、方法および機器は明細書の一部と見なすべきである。
【００２３】
なお、類似する符号および英文字は以下の図面において類似項目を表し、従って、ある一項が一つの図面において定義されれば、以降の図面においてそれをさらに説明する必要がないことに注意すべきである。
【００２４】
本願の実施例はコンピュータシステム／サーバに適用可能であり、それは他の様々な共通または専用計算システム環境または構成と共に動作可能である。コンピュータシステム／サーバとの併用に適する公知の計算システム、環境および／または構成の例は、パーソナルコンピュータシステム、サーバコンピュータシステム、シンクライアント、ファットクライアント、手持ちまたはラップトップデバイス、マイクロプロセッサに基づくシステム、セットトップボックス、プログラマブル消費者用電子機器、ネットワークパソコン、小型コンピュータシステム、大型コンピュータシステムおよび上記あらゆるシステムを含む分散型クラウドコンピューティング技術環境などを含むが、これらに限定されない。
【００２５】
コンピュータシステム／サーバはコンピュータシステムにより実行されるコンピュータシステム実行可能命令（例えばプログラムモジュール）の一般的なコンテキストで説明がつく。通常、プログラムモジュールはルーチン、プログラム、目的プログラム、コンポーネント、ロジック、データ構造などを含んでもよく、それらは特定のタスクを実行するかまたは特定の抽象データ型を実現する。コンピュータシステム／サーバは分散型クラウドコンピューティング環境において実施でき、分散型クラウドコンピューティング環境において、タスクは通信ネットワークにわたってリンクされた遠隔処理機器により実行される。分散型クラウドコンピューティング環境において、プログラムモジュールは記憶機器を含むローカルまたは遠隔計算システムの記憶媒体に存在してもよい。
【００２６】
本願を実現中、発明者は、現在のジェスチャ認識において、単に単一の静的画像しか認識できず、単一ピクチャーの認識においても、例えばＶサイン、拳、ＯＫなどの簡単な静的ジェスチャのみを認識可能であるという問題が存在することを察知しているが、マンマシン対話において、静的ジェスチャによる機器操作が、動的ジェスチャを使用する場合に比べて不自然であり、しかも伝達した情報も少ない。従って、動的ジェスチャを対象とする認識手段が求められている。
【００２７】
図１は本願の実施例により提供される動的ジェスチャ認識方法の一フローチャートである。該方法は任意の電子機器、例えば端末機器、サーバ、モバイル機器、車載機器などによって実行できる。図１に示すように、該実施例の方法はＳ１０１〜Ｓ１０４を含む。
【００２８】
Ｓ１０１において、検出対象のビデオストリーム内の動的ジェスチャに対して位置特定を行い、動的ジェスチャボックスを得る。
【００２９】
任意選択的な一例では、該ステップＳ１０１はメモリに記憶された対応する命令をプロセッサによって呼び出して実行されてもよく、プロセッサにより実行されるジェスチャ位置特定ユニット５０１によって実行されてもよい。
【００３０】
本願の実施例における動的ジェスチャとは、一連の動き（連続的であってもまたは不連続であってもよい動き）からなるジェスチャを指し、静的ジェスチャに対して定義されたものであり、例えば手振り、クリック、指鉄砲ジェスチャ、つかみジェスチャなどを含むが、これらに限定されない。任意選択的な用途では、例えば、手振りはファイルのページめくりという操作を実現でき、クリックはマウスクリックに類似する操作を実現でき、指鉄砲は特殊効果またはゲームへのリンクを実現でき、つかみはマウスによるファイルドラッグに類似するドラッグ操作を実現できる。
【００３１】
動的ジェスチャに対して位置特定を行って動的ジェスチャボックスを確定する目的は、後続で該動的ジェスチャボックスから検出対象の画像を切り出すことである。ここでの動的ジェスチャボックスとは、動的ジェスチャのうちの一連の動きを包含するボックス、例えばジェスチャ画像が全て含まられている矩形ボックスを言う。
【００３２】
理解できるように、動的ジェスチャは一連の静的ジェスチャを含み、従って、まず静的ジェスチャボックスを確定してから拡大するように動的ジェスチャボックスを確定してもよく、それによって動的ジェスチャボックスに残りの関連する静的ジェスチャを全て含めることが保証できる。
【００３３】
任意選択的な一形態では、検出対象のビデオストリームの画像フレームからいずれか一つの画像フレームにおける静的ジェスチャを選び出し、該静的ジェスチャに対して位置特定とし、静的ジェスチャボックスを確定し、予め設定された拡大スケールに基づき、静的ジェスチャボックスの拡大処理を行い、動的ジェスチャボックスを確定するように、動的ジェスチャボックスを確定してもよい。例えば、ビデオストリームのある画像フレームから一つの静的ジェスチャボックスを選択し、予め設定された拡大スケール（例えば１２０％）に従って該静的ジェスチャボックスを拡大し、拡大後のボックスは動的ジェスチャボックスとなる。そのうち、複数の画像フレームの静的ジェスチャボックスは、静的ジェスチャボックスが動的ジェスチャボックス内に位置するか、または静的ジェスチャボックスと動的ジェスチャボックスが同じであることを満たすことができる。
【００３４】
Ｓ１０２において、ビデオストリームの複数の画像フレームから動的ジェスチャボックスに対応する画像ブロックを切り出す。
【００３５】
ビデオストリームから切り出した画像ブロックは動的ジェスチャボックスに対応すればよく、ビデオストリームにおける連続的なフレームであってもよく、連続的なキーフレームまたはサンプリングフレームであってもよい。
【００３６】
任意選択的な一例では、該ステップＳ１０２はメモリに記憶された対応する命令をプロセッサによって呼び出して実行されてもよく、プロセッサにより実行される処理ユニット５０２によって実行されてもよい。
【００３７】
Ｓ１０３において、切り出した画像ブロックをもとに検出シーケンスを生成する。
【００３８】
切り出した画像ブロックの大きさは通常画像フレームよりも小さく、かつ画像における動的ジェスチャボックスが含まれる。このような処理の利点としては、複数の画像フレームの手部の位置特定情報を対象にして、また、画像フレーム上の動的ジェスチャボックス以外の部分を除去して対象とせず、それによりデノイズの効果を奏する。
【００３９】
任意選択的な一例では、該ステップＳ１０３は、メモリに記憶された対応する命令をプロセッサによって呼び出して実行されてもよく、プロセッサにより実行される検出シーケンス生成ユニット５０３によって実行されてもよい。
【００４０】
Ｓ１０４において、検出シーケンスに基づいて動的ジェスチャ認識を実行する。
【００４１】
任意選択的な一例では、該ステップＳ１０４は、メモリに記憶された対応する命令をプロセッサによって呼び出して実行されてもよく、プロセッサにより実行されるジェスチャ認識ユニット５０４によって実行されてもよい。
【００４２】
切り出した画像ブロックをもとに検出シーケンスを生成し、後続で動的ジェスチャボックスにより画像ブロックシーケンス（元のビデオストリームの複数の画像フレームではない）を切り出して生成して、ジェスチャ認識を実行する。
【００４３】
よって、本願の実施例では、ビデオストリームの複数の画像フレームから動的ジェスチャボックスに対応する画像ブロックを切り出し、画像ブロックで生成した検出シーケンスに基づいて動的ジェスチャ認識を実行する。動的ジェスチャボックスに対応する画像ブロックをもとにして動的ジェスチャを認識するため、一連の変化する動的ジェスチャを認識できる。
【００４４】
任意選択的な一形態では、検出シーケンスにおけるフレーム間の画像差をもとに動的ジェスチャ認識を実行する。任意選択的に、まず検出シーケンスにおける複数の画像フレーム間の画像差を特定し、続いて複数の画像フレーム間の画像差をもとに画像差シーケンスを生成し、最後に検出シーケンスおよび画像差シーケンスに基づいて動的ジェスチャ認識を実行する。
【００４５】
さらに、画像の時系列相関性のより効果的に表すことを保証するために、本願の実施例の任意選択的な一形態では、画像のみならず、画像差にも基づいてジェスチャ認識を実行する。画像差とは、画素差と理解してもよく、隣接する２フレームの画像上の同じ位置の画素の差を求めて得られたものであり、隣接する２フレームの同じ位置に対して画素差処理を行うため、動的ジェスチャの変化過程および傾向を表すことができ、ジェスチャの動的変化過程をより効果的に認識することができる。
【００４６】
当然ながら、上記隣接フレーム間の画像差は一例に過ぎず、フレーム間の画像差はこれに制限されず、非隣接フレーム間の画像差、例えば一定数のフレームおきのまたはランダムのフレーム間の画像差であってもよい。よって、フレーム間の画像差は検出シーケンスにおける二つの隣接する基準フレーム間の画像差である。基準フレームは実際のフレームであってもよく、キーフレームであってもよい。
【００４７】
上記に記載したように、動的ジェスチャのタイプは手振り、クリック、指鉄砲ジェスチャ、つかみジェスチャなどを含むことができるが、これらに限定されず、任意選択的な一形態では、事前に第一動的ジェスチャ認識モデルと第二動的ジェスチャ認識モデルをそれぞれ作成し、切り出した画像および計算した画像差をそれぞれこの二つのモデルに入力し、少なくとも一つの動的ジェスチャタイプの確率を出力して得て、確率が高い（例えば、確率が最も高い）動的ジェスチャタイプを本回の認識結果とするようにしてもよい。
【００４８】
任意選択的な一形態では、数回（多段階に）認識して、数回の認識結果に基づいて動的ジェスチャタイプを確定してもよい。例えば、切り出した１セグメント（第一セグメントと呼ぶ）の画像を認識してから、第二セグメントの画像を認識し、および、第三セグメントの画像を認識し、最後に、三回の認識結果に基づいて動的ジェスチャタイプを確定する。従って、このような実施形態では、上記方法はさらに、数回切り出して予め設定されたフレーム数の画像を得て、数回画像差計算を実行し、および切り出した画像や計算した画像差に基づいて数回動的ジェスチャ認識を実行するステップと、数回の動的ジェスチャ認識によって得られた動的ジェスチャタイプの確率に基づき、最終的な動的ジェスチャ認識結果を確定するステップと、を含む。例えば、任意選択的な一形態では、全回の動的ジェスチャ認識による少なくとも一つの動的ジェスチャタイプ確率の和を求め、確率の和の高い（最も高い確率または高い順での前ｎ位のうちのある確率を含み、ｎは１よりも大きい整数である）動的ジェスチャタイプを最終的な動的ジェスチャ認識結果として確定する。画像をセグメントに分けて数回認識して毎回の認識確率の和を求めてから最終的な認識結果を確定することで、一回当たりの計算量を低減し、認識のリアルタイム速度を向上させることができ、特に動きの時間的スパンの長い動的ジェスチャに適する。
【００４９】
図２は本願の実施例により提供される動的ジェスチャ認識方法の別の一フローチャートである。図１の実施例をもとに、図２の実施例は畳み込みニューラルネットワークを動的ジェスチャ認識モデルとし、検出対象のビデオストリーム内の動的ジェスチャを検出するプロセスを説明する。
【００５０】
図２に示すように、該実施例の方法はＳ２０１−Ｓ２０４を含む。
【００５１】
Ｓ２０１において、第一動的ジェスチャ認識モデルおよび第二動的ジェスチャ認識モデルを作成する。
【００５２】
任意選択的な一形態では、図３および図４を参照すると、図３は本願の実施例により提供される第一動的ジェスチャ認識モデル作成の一フローチャートである。図４は本願の実施例により提供される第二動的ジェスチャ認識モデル作成の一フローチャートである。
【００５３】
図３を参照すると、第一動的ジェスチャ認識モデルの作成プロセスはＳ３０１−Ｓ３０４を含む。
【００５４】
Ｓ３０１において、異なる動的ジェスチャタイプのサンプルビデオストリームを収集する。
【００５５】
任意選択的な一例では、該ステップＳ３０１はメモリに記憶された対応する命令をプロセッサによって呼び出して実行されてもよく、プロセッサにより実行されるサンプル収集サブユニット６０７１によって実行されてもよい。
【００５６】
例えば、動的ジェスチャタイプ（例えば手振り、クリック、指鉄砲、つかみ）が既知のビデオストリームを収集し、サンプルビデオストリームの開始フレームおよび終了フレームをマークする。
【００５７】
Ｓ３０２において、異なる動的ジェスチャタイプの動的ジェスチャボックスをマークする。
【００５８】
任意選択的な一例では、該ステップＳ３０２はメモリに記憶された対応する命令をプロセッサによって呼び出して実行されてもよく、プロセッサにより実行されるジェスチャボックスマークサブユニット６０７２によって実行されてもよい。
【００５９】
動的ジェスチャボックスとは、サンプルビデオストリームにおける動的ジェスチャのうちの一連の動きを包含するボックスを指しており、例えば該動的ジェスチャの各静的ジェスチャ画像が全て含まれている矩形ボックスである。
【００６０】
理解できるように、動的ジェスチャは一連の静的ジェスチャを含み、従って、まず静的ジェスチャボックスを確定してから拡大するように動的ジェスチャボックスを確定してもよく、それによって動的ジェスチャボックスは残りの関連する静的ジェスチャを全て含めることが保証できる。
【００６１】
任意選択的な一形態では、サンプルビデオストリームの画像からいずれか一つの画像における静的ジェスチャを選び出し、該静的ジェスチャに対して位置特定し、静的ジェスチャボックスを確定し、予め設定された拡大比例に基づき、静的ジェスチャボックスの拡大処理を行い、動的ジェスチャボックスを確定するように、動的ジェスチャボックスを確定してもよい。例えば、ビデオストリームのある画像フレームから一つの静的ジェスチャボックスを選択し、予め設定された拡大比例（例えば１２０％）に従って該静的ジェスチャボックスを拡大し、拡大後のボックスは動的ジェスチャボックスとなる。
【００６２】
Ｓ３０３において、サンプルビデオストリームの複数の画像フレームから動的ジェスチャボックスのマーク情報に対応する画像ブロックを切り出し、画像シーケンスを形成する。
【００６３】
任意選択的な一例では、該ステップＳ３０３はメモリに記憶された対応する命令をプロセッサによって呼び出して実行されてもよく、プロセッサにより実行される画像シーケンス形成サブユニット６０７３によって実行されてもよい。
【００６４】
Ｓ３０４において、動的ジェスチャタイプを教師データとし、画像シーケンスを訓練データとし、第一動的ジェスチャ認識モデルを訓練する。
【００６５】
任意選択的な一例では、該ステップＳ３０４はメモリに記憶された対応する命令をプロセッサによって呼び出して実行されてもよく、プロセッサにより実行される訓練サブユニット６０７４によって実行されてもよい。
【００６６】
任意選択的な一形態では、以下のステップによって第一動的ジェスチャ認識モデルを作成する。
【００６７】
（１）画像シーケンスを少なくとも１セグメントを分け、例えば、平均して３セグメントに分ける。
【００６８】
（２）少なくとも１セグメントから予め設定されたフレーム数の画像を抽出し、積層して画像訓練データを形成する。
【００６９】
例えば、１セグメント当たりの画像データから５フレームの画像を抽出（ランダムまたは連続）して積層し、画像訓練データを形成する。または、少なくとも１セグメントの画像データから合計１０フレームの画像を抽出（ランダムまたは連続）して積層し、画像訓練データを形成する。
【００７０】
任意選択的に、畳み込みニューラルネットワークの三次元マトリックスデータを例にすれば、三つの次元はそれぞれチャネル、画像の高さおよび幅となり、例えば、一枚のグレースケール画像のチャネル数は１、一枚のＲＧＢ画像のチャネル数は３であり、ここでの積層はチャネル積層であり、例えば五枚のチャネル数が１である画像であれば、積層後に一つのチャネル数が５である三次元マトリックスとなる。
【００７１】
（３）動的ジェスチャタイプを教師データとし、画像シーケンスを訓練データとし、第一動的ジェスチャ認識モデルを訓練する。
【００７２】
図４を参照すると、第二動的ジェスチャ認識モデルの作成プロセスはＳ４０１−Ｓ４０６を含む。
【００７３】
Ｓ４０１において、異なる動的ジェスチャタイプのサンプルビデオストリームを収集する。
【００７４】
任意選択的な一例では、該ステップＳ４０１はメモリに記憶された対応する命令をプロセッサによって呼び出して実行されてもよく、プロセッサにより実行されるサンプル収集サブユニット６０８１によって実行しても良い。
【００７５】
例えば、動的ジェスチャタイプ（例えば手振り、クリック、指鉄砲、つかみ）が既知のビデオストリームを収集し、マークサンプルビデオストリームの開始フレームおよび終了フレームをマークする。
【００７６】
Ｓ４０２において、異なる動的ジェスチャタイプの動的ジェスチャボックスをマークする。
【００７７】
任意選択的な一例では、該ステップＳ４０２はメモリに記憶された対応する命令をプロセッサによって呼び出して実行されてもよく、プロセッサにより実行されるジェスチャボックスマークサブユニット６０８２によって実行されてもよい。
【００７８】
動的ジェスチャボックスとは、サンプルビデオストリームにおける動的ジェスチャのうちの一連の動きを包含するボックスを指しており、例えば該動的ジェスチャの各静的ジェスチャ画像が全て含まれている矩形ボックスである。
【００７９】
理解できるように、動的ジェスチャは一連の静的ジェスチャを含み、従って、まず静的ジェスチャボックスを確定してから拡大するように動的ジェスチャボックスを確定してもよく、それによって動的ジェスチャボックスは残りの関連する静的ジェスチャを全て含めることが保証できる。
【００８０】
任意選択的な一形態では、サンプルビデオストリームの画像からいずれか一つの画像における静的ジェスチャを選び出し、該静的ジェスチャに対して位置特定し、静的ジェスチャボックスを確定し、予め設定された拡大比例に基づき、静的ジェスチャボックスの拡大処理を行い、動的ジェスチャボックスを確定するように、動的ジェスチャボックスを確定してもよい。例えば、ビデオストリームのある画像フレームから一つの静的ジェスチャボックスを選択し、予め設定された拡大比例（例えば１２０％）に従って該静的ジェスチャボックスを拡大し、拡大後のボックスは動的ジェスチャボックスとなる。
【００８１】
Ｓ４０３において、サンプルビデオストリームの複数の画像フレームから動的ジェスチャボックスのマーク情報に対応する画像ブロックを切り出し、画像シーケンスを形成する。
【００８２】
任意選択的な一例では、該ステップＳ４０３はメモリに記憶された対応する命令をプロセッサによって呼び出して実行されてもよく、プロセッサにより実行される画像シーケンス形成サブユニット６０８３によって実行されてもよい。
【００８３】
Ｓ４０４において、画像シーケンスにおける複数のフレーム間の画像差を特定する。
【００８４】
任意選択的な一例では、該ステップＳ４０４はメモリに記憶された対応する命令をプロセッサによって呼び出して実行されてもよく、プロセッサにより実行される画像差特定サブユニット６０８４によって実行されてもよい。
【００８５】
画像の時系列相関性のより効果的に表すことを保証するために、複数のフレーム間の画像差を特定する必要がある。画像差とは、画素差と理解してもよく、隣接する２フレームの画像上の同じ位置の画素の差を求めて得られたものであり、隣接する２フレームの同じ位置に対して画素差処理を行うため、動的ジェスチャの変化過程および傾向を表すことができ、ジェスチャの動的変化過程を効果的に認識することができる。
【００８６】
当然ながら、上記隣接フレーム間の画像差は一例に過ぎず、フレーム間の画像差はこれに制限されず、非隣接フレーム間の画像差、例えば一定数のフレームおきのまたはランダムのフレーム間の画像差であってもよい。よって、フレーム間の画像差は検出シーケンスにおける二つの隣接する基準フレーム間の画像差である。基準フレームは実フレームであってもよく、キーフレームであってもよい。
【００８７】
Ｓ４０５において、特定した複数のフレーム間の画像差をもとに画像差シーケンスを生成する。
【００８８】
任意選択的な一例では、該ステップＳ４０５はメモリに記憶された対応する命令をプロセッサによって呼び出して実行されてもよく、プロセッサにより実行される画像差シーケンス確定サブユニット６０８５によって実行されてもよい。
【００８９】
Ｓ４０６において、動的ジェスチャタイプを教師データとし、画像差シーケンスを訓練データとし、第二動的ジェスチャ認識モデルを訓練する。
【００９０】
任意選択的な一例では、該ステップＳ４０６はメモリに記憶された対応する命令をプロセッサによって呼び出して実行されてもよく、プロセッサにより実行される訓練サブユニット６０８６によって実行されてもよい。
【００９１】
任意選択的な一形態では、以下のステップによって第二動的ジェスチャ認識モデルを作成する。
【００９２】
（１）画像差シーケンスを少なくとも１セグメントに分ける。
【００９３】
（２）少なくとも１セグメントから予め設定されたフレーム数の画像を抽出し、積層して画像差訓練データを形成する。
【００９４】
（３）動的ジェスチャタイプを教師データとし、画像差訓練データで第二動的ジェスチャ認識モデルを訓練する。
【００９５】
説明すべきは、異なるネットワークをもとに上記第一動的ジェスチャ認識モデルおよび第二動的ジェスチャ認識モデルを実現できることである。例えば畳み込みニューラルネットワークをもとに第一動的ジェスチャ認識モデルおよび第二動的ジェスチャ認識モデルを実現できる。任意選択的に、第一動的ジェスチャ認識モデルは第一ニューラルネットワークモデルであってもよいが、これに限定されず、第一ニューラルネットワークモデルはサンプルビデオストリームをもとに事前に訓練して得られる。第一ニューラルネットワークモデルは畳み込み層、非線形層（Ｒｅｌｕ）、プーリング層および／または分類層などを含むことができるが、これらに限定されない。同様に、第二動的ジェスチャ認識モデルは第二ニューラルネットワークモデルであってもよいが、これに限定されず、第二ニューラルネットワークモデルはサンプルビデオストリームをもとに事前に訓練して得られる。第二ニューラルネットワークモデルは畳み込み層、非線形層（Ｒｅｌｕ）、プーリング層および／または分類層などを含むことができるが、これらに限定されない。当然ながら、畳み込みニューラルネットワーク以外、リカレントニューラルネットワーク、強化学習ニューラルネットワークまたは敵対的生成ニューラルネットワークなどをもとに上記第一動的ジェスチャ認識モデルおよび第二動的ジェスチャ認識モデルを実現することもでき、本願の実施例はこれを限定しない。
【００９６】
Ｓ２０２において、切り出した画像を第一動的ジェスチャ認識モデルに入力し、および隣接する２フレームの画像の画像差を第二動的ジェスチャ認識モデルに入力し、動的ジェスチャタイプの予測確率を認識する。
【００９７】
当業者であれば、畳み込みニューラルネットワークの認識動作プロセスは概ね、画像特徴抽出段階および特徴分類段階を含むことが理解できる。例えば、画像を第一動的認識モデルに入力することを例にすれば、予め設定されたフレーム数（例えば５フレーム）の画像を第一動的認識モデルに入力し、畳み込み層、活性化層、プーリング層により使用されてから、画像における特徴を抽出し、続いて分類器によって特徴を分類し、最終的に動的ジェスチャタイプの予測確率を得るということになる。
【００９８】
Ｓ２０３において、第一動的ジェスチャ認識モデルおよび第二動的ジェスチャ認識モデルの動的ジェスチャタイプの予測確率に基づき、動的ジェスチャ認識結果を確定する。
【００９９】
任意選択的な一形態では、第一動的ジェスチャ認識モデルおよび第二動的ジェスチャ認識モデルの少なくとも一つの動的ジェスチャタイプの予測確率について加重平均処理を行い、加重平均確率の高い（例えば、加重平均確率が最も高い）動的ジェスチャタイプを本回の動的ジェスチャ認識結果として確定することができる。例えば、事前に二つのモデルの加重係数を設定しておき、動的ジェスチャ認識結果を確定する時、各モデルの加重係数に応じて、二つのモデルの予測確率について加重平均処理を行い、加重平均確率が最も高い動的ジェスチャタイプを本回の動的ジェスチャ認識結果として確定する。当然ながら、加重平均法以外、他の方法（例えば調和平均法および二乗平均法など）を用いて予測確率を処理し、最終的に認識結果を確定することもできる。
【０１００】
本願の実施例の動的ジェスチャ認識方法によって、それぞれ画像および画像差について確率を認識することで、少なくとも一つの動的ジェスチャタイプの確率を得て、確率が高い（例えば、確率が最も高い）動的ジェスチャタイプを認識結果として確定し、なかでも、画像差は画像の前後の時系列相関性を効果的に表すことができ、動的ジェスチャの認識を実現できる。
【０１０１】
任意選択的な一形態では、画像をセグメントに分けて数回認識して毎回の認識確率の和を求めてから最終的な認識結果を確定することで、一回当たりの計算量を低減し、認識のリアルタイム速度を向上させることができ、特にタイムスパンが大きい動的ジェスチャに適する。
【０１０２】
当業者であれば、上記方法の実施例を実現する全てまたは一部のステップはプログラム命令関連のハードウェアによって完了できることが理解可能であり、前記プログラムはコンピュータ読み取り可能記憶媒体に記憶可能で、該プログラムは実行時、上記方法の実施例のステップを実行し、前記記憶媒体はＲＯＭ、ＲＡＭ、磁気ディスクまたは光ディスクなどのプログラムコード記憶可能な種々の媒体を含む。
【０１０３】
図５は本願の実施例により提供される動的ジェスチャ認識装置の一構成模式図である。該実施例の装置は本願の上記各方法の実施例を実現するために用いられる。図５に示すように、該実施例の装置は、
検出対象のビデオストリーム内の動的ジェスチャに対して位置特定を行い、動的ジェスチャボックスを得るためのジェスチャ位置特定ユニット５０１と、
ビデオストリームの複数の画像フレームから動的ジェスチャボックスに対応する画像ブロックを切り出すための処理ユニット５０２と、
切り出した画像ブロックをもとに検出シーケンスを生成するための検出シーケンス生成ユニット５０３と、
検出シーケンスに基づいて動的ジェスチャ認識を実行するためのジェスチャ認識ユニット５０４と、を含む。
【０１０４】
図６は本願の実施例により提供される動的ジェスチャ認識装置の別の一構成模式図である。該実施例の装置は本願の上記各方法の実施例を実現するために用いられる。図６に示すように、該実施例の装置は、
検出対象のビデオストリーム内の動的ジェスチャに対して位置特定を行い、動的ジェスチャボックスを得るためのジェスチャ位置特定ユニット６０１と、
ビデオストリームの複数の画像フレームから動的ジェスチャボックスに対応する画像ブロックを切り出すための処理ユニット６０２と、
切り出した画像ブロックをもとに検出シーケンスを生成するための検出シーケンス生成ユニット６０３と、
検出シーケンスに基づいて動的ジェスチャ認識を実行するためのジェスチャ認識ユニット６０４と、を含む。
【０１０５】
任意選択的な一形態では、ジェスチャ位置特定ユニット６０１は、
ビデオストリームの数フレームの画像における少なくとも一つの画像フレームについて静的ジェスチャに対して位置特定し、少なくとも一つの画像フレームの静的ジェスチャボックスを得るための静的ジェスチャボックス位置特定サブユニット６０１１と、
得られた少なくとも一つの画像フレームの静的ジェスチャボックスに基づいて動的ジェスチャボックスを確定するための動的ジェスチャボックス確定サブユニット６０１２と、を含む。
【０１０６】
任意選択的な一形態では、動的ジェスチャボックス確定サブユニット６０１２は、少なくとも一つの画像フレームの静的ジェスチャボックスに対して拡大処理を行い、動的ジェスチャボックスを得るために用いられる。
【０１０７】
任意選択的な一形態では、ビデオストリームの複数の画像フレームのうちの少なくとも一つの画像フレームの静的ジェスチャボックスは、静的ジェスチャボックスが動的ジェスチャボックス内に位置するか、または静的ジェスチャボックスが動的ジェスチャボックスと同じであることを満たす。
【０１０８】
任意選択的な一形態では、ジェスチャ認識ユニット６０４は、
検出シーケンスにおける複数のフレーム間の画像差を特定するための画像差特定サブユニット６０４１と、
特定した複数のフレーム間の画像差をもとに画像差シーケンスを生成するための画像差シーケンス確定サブユニット６０４２と、
検出シーケンスおよび画像差シーケンスに基づいて動的ジェスチャ認識を実行するための動的ジェスチャ認識サブユニット６０４３と、を含む。
【０１０９】
任意選択的な一形態では、フレーム間の画像差は検出シーケンスにおける二つの隣接する基準フレーム間の画像差である。
【０１１０】
任意選択的な一形態では、動的ジェスチャ認識サブユニット６０４３は、検出シーケンスを第一動的ジェスチャ認識モデルに入力し、それによって第一動的ジェスチャ認識モデルが出力する第一動的ジェスチャ種類予測確率を得て、画像差シーケンスを第二動的ジェスチャ認識モデルに入力し、それによって第二動的ジェスチャ認識モデルが出力する第二動的ジェスチャ種類予測確率を得て、第一動的ジェスチャ種類予測確率および第二動的ジェスチャ種類予測確率に基づき、動的ジェスチャ認識結果を確定するために用いられる。
【０１１１】
任意選択的な一形態では、第一動的ジェスチャ認識モデルは第一ニューラルネットワークであり、第二動的ジェスチャ認識モデルは第二ニューラルネットワークであり、第一ニューラルネットワークと第二ニューラルネットワークとは構造が同じであり、または異なっている。
【０１１２】
任意選択的な一形態では、ジェスチャ認識ユニット６０４はさらに、
数回切り出して検出シーケンスを得て、画像差シーケンスを数回生成し、および検出シーケンスや画像差シーケンスに基づいて数回動的ジェスチャ認識を実行するための数回認識制御ユニット６０５と、
毎回の動的ジェスチャ認識により得られた動的ジェスチャタイプの確率に基づき、動的ジェスチャ認識結果を確定するための認識結果確定ユニット６０６と、を含む。
【０１１３】
任意選択的な一形態では、ジェスチャ認識ユニット６０４はさらに、
異なる動的ジェスチャタイプのサンプルビデオストリームを収集するためのサンプル収集サブユニット６０７１と、
異なる動的ジェスチャタイプの動的ジェスチャボックスをマークするためのジェスチャボックスマークサブユニット６０７２と、
サンプルビデオストリームの複数の画像フレームから動的ジェスチャボックスのマーク情報に対応する画像ブロックを切り出し、画像シーケンスを形成するための画像シーケンス形成サブユニット６０７３と、
動的ジェスチャタイプを教師データとし、画像シーケンスを訓練データとし、第一動的ジェスチャ認識モデルを訓練するための訓練サブユニット６０７４と、を含む第一動的ジェスチャ認識モデル作成ユニット６０７を含む。
【０１１４】
任意選択的な一形態では、訓練サブユニット６０７４は、画像シーケンスを少なくとも１セグメントに分け、少なくとも１セグメントから予め設定されたフレーム数の画像を切り出し、積層して画像訓練データを形成し、および動的ジェスチャタイプを教師データとし、画像訓練データで第一動的ジェスチャ認識モデルを訓練するために用いられる。
【０１１５】
任意選択的な一形態では、ジェスチャ認識ユニット６０４はさらに、
異なる動的ジェスチャタイプのサンプルビデオストリームを収集するためのサンプル収集サブユニット６０８１と、
異なる動的ジェスチャタイプの動的ジェスチャボックスをマークするためのジェスチャボックスマークサブユニット６０８２と、
サンプルビデオストリームの複数の画像フレームから動的ジェスチャボックスのマーク情報に対応する画像ブロックを切り出し、画像シーケンスを形成するための画像シーケンス形成サブユニット６０８３と、
画像シーケンスにおける複数のフレーム間の画像差を特定するための画像差特定サブユニット６０８４と、
特定した複数のフレーム間の画像差をもとに画像差シーケンスを生成するための画像差シーケンス確定サブユニット６０８５と、
動的ジェスチャタイプを教師データとし、画像差シーケンスを訓練データとし、第二動的ジェスチャ認識モデルを訓練するための訓練サブユニット６０８６と、を含む第二動的ジェスチャ認識モデル作成ユニット６０８を含む。
【０１１６】
任意選択的な一形態では、訓練サブユニット６０８６は、画像差シーケンスを少なくとも１セグメントに分け、少なくとも１セグメントから予め設定されたフレーム数の画像を抽出し、積層して画像差訓練データを形成し、および動的ジェスチャタイプを教師データとし、画像差訓練データで第二動的ジェスチャ認識モデルを訓練するために用いられる。
【０１１７】
本実施例の動的ジェスチャ認識装置は前記多数の方法の実施例での対応する動的ジェスチャ認識方法を実現するために用いることができ、かつ対応する方法の実施例の有益な効果を有するが、ここでは説明を省略する。
【０１１８】
図７は本願の実施例により提供されるジェスチャ対話制御方法の一フローチャートである。該方法は任意の電子機器、例えば端末機器、サーバ、モバイル機器、車載機器、無人機、ロボット、無人車、テレビ、車両、家庭用機器または他のタイプのスマート機器などによって実行可能である。図７に示すように、該ジェスチャ対話制御方法は以下のステップを含む。
【０１１９】
ステップＳ７００において、ビデオストリームを取得する。
【０１２０】
任意選択的な一例では、該ステップＳ７００はメモリに記憶された対応する命令をプロセッサによって呼び出して実行されてもよく、プロセッサにより実行されるビデオストリーム取得モジュール１００によって実行されてもよい。
【０１２１】
ステップＳ７１０において、上記いずれか一項に記載の動的ジェスチャ認識方法を用いて該ビデオストリームにおける動的ジェスチャ認識結果を確定する。
【０１２２】
任意選択的な一例では、該ステップＳ７１０はメモリに記憶された対応する命令をプロセッサによって呼び出して実行されてもよく、プロセッサにより実行される結果取得モジュール２００によって実行されてもよい。
【０１２３】
ステップＳ７２０において、動的ジェスチャ認識結果に対応する操作を実行するように機器を制御する。
【０１２４】
任意選択的な一例では、該ステップＳ７２０はメモリに記憶された対応する命令をプロセッサによって呼び出して実行されてもよく、プロセッサにより実行される操作実行モジュール３００によって実行されてもよい。
【０１２５】
任意選択的な一実施形態では、制御操作が必要な機器において撮影装置を設置し、撮影装置を用いてビデオストリームをリアルタイムに取得してもよい。また撮影装置が撮影したビデオストリームを取得してもよい。異なる撮影装置を用いてビデオストリームを撮影できる。撮影装置は両眼カメラ、深度カメラまたは一般的なカメラを含むことができる。動的ジェスチャ認識の需要に応じて、異なるタイプのカメラを選択してビデオストリームを撮影できる。
【０１２６】
任意選択的な一実施形態では、ステップＳ７２０は、
予め確定された動的ジェスチャ認識結果と操作命令との間の対応関係に基づき、動的ジェスチャ認識結果に対応する操作命令を取得することと、
操作命令に従って対応する操作を実行するように機器を制御することと、を含む。
【０１２７】
任意選択的な一実施形態では、動的ジェスチャ認識結果と操作命令との間の対応関係を予め設定できる。対応関係では、動的ジェスチャ認識結果と操作命令が一対一に対応してもよく、複数の動的ジェスチャ認識結果が一つの操作命令に対応してもよい。操作される機器のタイプおよび操作上の需要に応じて、操作命令のタイプおよび内容を確定できる。本願の実施例は操作命令の形式および具体的な内容を限定しない。
【０１２８】
任意選択的な一実施形態では、操作命令を出力し、操作される機器を制御することができる。動的ジェスチャ認識結果はビデオストリームにおける動きをリアルタイムに追跡できるため、出力した操作命令もビデオストリームにおける実行対象の動きをリアルタイムに追跡でき、それによって操作者は比較的正確に操作対象の機器を操作できる。
【０１２９】
本願の実施例では、対応関係および動的ジェスチャ認識結果に基づき、動的ジェスチャ認識結果に対応する操作命令を判定して出力することができる。動的ジェスチャ認識結果のリアルタイム性および正確性をもとに、操作命令もビデオストリームにおける実行対象の動きをリアルタイムに追跡でき、それによって操作者はより正確に機器を操作できる。
【０１３０】
任意選択的な一実施形態では、操作命令に従って対応する操作を実行するように機器を制御するステップは、
操作命令に従って車両の窓、ドアまたは車載システムを制御することを含む。
【０１３１】
任意選択的な一実施形態では、車両内に監視機器を設置し、車両内の運転者または乗客を監視するビデオをビデオストリームとして撮影してもよい。撮影したビデオストリームをリアルタイムに動的ジェスチャを認識できる。
【０１３２】
任意選択的な一実施形態では、動的ジェスチャ認識結果に対応する操作を実行するように機器を制御するステップは、
動的ジェスチャ認識結果が予め定義された動的動きであることに応じて、予め定義された動的動きに対応する操作を実行するように車両を制御することを含む。
【０１３３】
任意選択的な一実施形態では、予め定義された動的動きは動的ジェスチャを含み、動的ジェスチャは一本指時計回り／反時計回り回転、手のひらの左／右振り、二本指の前への突き出し、親指と小指の差し出し、手のひらの下向き押し下げ、手のひらの上向き上げ、手のひらでの左／右煽ぎ、親指出しながらの左／右動かし、手のひらの左／右への大きくスライド、上向きの手の開き、上向きの手の握り、下向きの手の握り、下向きの手の握り、一本指のスライド、数本指でのつかみ、一本指ダブルクリック、一本指シングルクリック、数本指ダブルクリック、および数本指シングルクリックの少なくとも一つを含むことができるが、これらに限定されない。
【０１３４】
予め定義された動的動きに対応する操作は、ボリュームの上げ／下げ、曲の切り換え、曲の一時停止／再生、受話または電話の起動、通話切断または着信拒否、エアコン温度の上昇または下降、マルチスクリーンインタラクション、天窓開放、天窓閉合、ドアロック施錠、ドアロック解錠、ナビゲーションに対するドラッグ、地図ズームアウト、および地図ズームインの少なくとも一つを含むことができるが、これらに限定されない。
【０１３５】
任意選択的な一実施形態では、一本指で時計回り／反時計回りに回転する動的ジェスチャにより、車両のオーディオ機器におけるボリューム上げ／下げ操作を実行できる。手のひらを左／右に振る動的ジェスチャにより、車両のオーディオ機器における曲切り換え操作を実行できる。二本指を前へ突き出す動的ジェスチャにより、車両のオーディオ機器における曲の一時停止／再生操作を実行できる。親指と小指を伸ばす動的ジェスチャにより、車両の通信機器における受話または電話立ち上げ操作を実行する。手のひらで下向きに押し下げる動的ジェスチャにより、車両の通信機器における通話切断または着信拒否操作を実行できる。親指を出しながら手を左／右に動かす動的ジェスチャにより、車両のエアコン機器におけるエアコン温度の上昇または下降操作を実行できる。手のひらを左／右に長弧を描くように引く動的ジェスチャにより、車両の表示画面におけるマルチスクリーン対話操作を実行できる。握った手のひらを上向きに開く動的ジェスチャにより、車両における天窓開放操作を実行できる（例えば、一回毎に所定の長さで開放し、例えば一回毎に１０センチメートルで開放する）。手のひらを上向きに握る動的ジェスチャにより、車両における天窓閉合操作を実行できる。手のひらを下向きに握る動的ジェスチャにより、車両におけるドアロック施錠操作を実行できる。握った手のひらを下向きに開く動的ジェスチャにより、車両におけるドアロック解錠操作を実行できる。一本指で円弧を描くように動かす動的ジェスチャにより、車両におけるナビゲーション機器のナビゲーションに対するドラッグ操作を実行できる。数本指で内向きにつかむ動的ジェスチャにより、車両におけるナビゲーション機器の地図ズームアウト操作を実行できる。一本指でダブルクリックする動的ジェスチャにより、車両におけるナビゲーション機器の地図ズームイン操作を実行できる。
【０１３６】
本願の実施例では、操作命令により車両の窓、ドアまたは車載システムを制御できる。ビデオストリームにおいて認識された動的動きにより、車両自身または車両における車載システムの様々な操作を実行できる。本願の実施例における動的動き検出方法により、操作者は車両自身または車載システムを比較的正確に制御できる。
【０１３７】
図８は本願の実施例により提供されるジェスチャ対話制御方法の一適用例のフローチャートである。図８に示すように、
車両内に深度カメラを配置して、深度カメラによって運転者の監視画像をビデオストリームとして取得してもよい。撮影した監視画像をリアルタイムに動きを認識できる。本願の実施例では、運転者の手部の動きについて動的ジェスチャ認識を実行する。
【０１３８】
一、先に検出した動的ジェスチャ認識結果の取得
ステップＳ８１０において、第一キューおよび第二キューを空に設定し、動的ジェスチャ認識結果も空に設定する。ビデオストリームにおけるフレーム画像を時間帯の早い順に第一キューに追加する。
【０１３９】
ステップＳ８２０において、第一キューのフレーム画像における動的動きの有無を検出する。動的動きがない場合、ステップＳ８３０へ進み、動的動きがある場合、ステップＳ８４０へ進む。
【０１４０】
任意選択的な一実施形態では、第一キューの長さは１０フレームのフレーム画像としてもよい。ビデオストリームにおける一番目から十番目のフレーム画像を第一キューに追加した後、第一キューにおける１０フレームのフレーム画像のうち動的ジェスチャがあるか否かを判定するようにしてもよい。例えば、動的動きが手部の動的動きである。任意選択的に、フレーム画像における手部の有無を順に認識してもよく、第一キューのフレーム画像において手部がある場合、手部における指および／または手のひらに基づいて認識対象の画像中のジェスチャを認識してもよい。少なくとも一つの画像中のジェスチャがマッチする場合、少なくとも一つの画像中のジェスチャの動き軌跡および／または切り換え情報を特定できる。少なくとも一つの画像中のジェスチャの動き軌跡および／または切り換え情報もマッチする場合、第一キューにおける動的動きを検出できる。
【０１４１】
ステップＳ８３０において、引き続きビデオストリーム内の少なくとも一つの画像を時間の早い順に第一キューに追加し、ステップＳ８２０にジャンプする。
【０１４２】
任意選択的な一実施形態では、十一番目のフレーム画像を第一キューの後端に追加し、第一キューにおける最前端の一番目のフレーム画像を第一キューから移し出すことができる。このとき、第一キューには二番目から十一番目のフレーム画像が含まれており、ステップＳ８２０にジャンプしてからこのときの第一キューにおいて動的動きがあるか否かを判定できる。動的動きがない場合、ステップＳ８２０で第一キューのフレーム画像中に動的動きがあると判定するまで、十二番目のフレーム画像を第一キューに追加し、二番目のフレーム画像を引き続き移り出す。
【０１４３】
ステップＳ８４０において、第一キューにおけるフレーム画像を第二キューに移す。第一キューがクリアされ、第二キューにおけるフレーム画像に基づいて動的ジェスチャの認識結果を確定し、先に検出した動的ジェスチャの認識結果を得る。
【０１４４】
任意選択的な一実施形態では、先に検出した動的ジェスチャ認識結果を得た後、第一キューは空となり、第二キューにはビデオストリーム内の二十三番目から三十二番目のフレーム画像である１０フレームのフレーム画像がある。第二キューのフレーム画像における動きに基づいて動的ジェスチャ認識結果を確定できる。ビデオストリームでの動的ジェスチャ認識が実行されていないフレーム画像は、認識対象のフレーム画像として後続の分析を行うができる。即ち三十三番目のフレーム画像からのフレーム画像は、認識対象のフレーム画像として、後続の動的動き検出のステップＳ８５０に入ることができる。
【０１４５】
二、動的ジェスチャ認識ステップ
ステップＳ８５０において、ビデオストリームにおける少なくとも一つの認識対象のフレーム画像と動的ジェスチャ認識結果とがマッチするか否かを順に判断する。マッチする場合、ステップＳ８６０へ進み、マッチしない場合、ステップＳ８７０へ進む。
【０１４６】
任意選択的な一実施形態では、三十三番目のフレーム画像および第二キューにおける最後端のフレーム画像（三十二番目のフレーム画像）に基づき、三十三番目のフレーム画像と動的ジェスチャ認識結果とがマッチするか否かを判断してもよい。まず三十三番目のフレーム画像中のジェスチャと、第二キューにおける三十二番目のフレーム画像のジェスチャとが一致するか否かを判定してもよい。ジェスチャが一致する場合、三十三番目のフレーム画像中のジェスチャの動き軌跡および／または切り換え情報と、動的ジェスチャ認識結果におけるジェスチャの動き軌跡および／または切り換え情報とがマッチするか否かを判定する（ここで、フレーム画像中のジェスチャの動的軌跡を動的ジェスチャ認識結果におけるジェスチャの動的軌跡とマッチし、フレーム画像中のジェスチャの切り換え情報を動的ジェスチャ認識結果におけるジェスチャの切り換え情報とマッチする）。ジェスチャの動き軌跡および／または切り換え情報もマッチする場合、三十三番目のフレーム画像と動的ジェスチャ認識結果とがマッチすると確定できる。
【０１４７】
ステップＳ８６０において、マッチする場合、認識対象のフレーム画像を第二キューに追加する。
【０１４８】
任意選択的な一実施形態では、三十三番目のフレーム画像を第二キューに追加してから、第二キューにおけるフレーム画像を二十四番目から三十三番目に更新する。
【０１４９】
ステップＳ８７０において、マッチしない場合、認識対象のフレーム画像を第一キューに追加する。
【０１５０】
ステップＳ８８０において、第一キューのフレーム画像中の動的ジェスチャと動的ジェスチャ認識結果とがマッチするか否かを判定する。マッチしない場合、ステップＳ８９０へ進む。
【０１５１】
ステップＳ８９０において、第一キューのフレーム画像中の動的ジェスチャと動的ジェスチャ認識結果とがマッチしない場合、第二キューをクリアし、第一キューにおけるフレーム画像を第二キューに移す。更新後の第二キューのフレーム画像中の動きに基づいて動的ジェスチャ認識結果を更新する。
【０１５２】
理解できるように、本願の実施例において言及した上記各方法の実施例は、原理や論理を違反しない限り、互いに結合して結合後の実施例を形成することができ、紙幅に限りがあるため、本願はその説明を省略する。
【０１５３】
当業者であれば、上記方法の実施例を実現する全てまたは一部のステップはプログラム命令関連のハードウェアによって実行できることが理解可能であり、前記プログラムはコンピュータ読み取り可能記憶媒体に記憶可能で、該プログラムは実行時、上記方法の実施例のステップを実行し、前記記憶媒体はＲＯＭ、ＲＡＭ、磁気ディスクまたは光ディスクなどのプログラムコード記憶可能な種々の媒体を含む。
【０１５４】
図９は本願の実施例により提供されるジェスチャ対話制御装置の一構成模式図である。図９に示すように、該ジェスチャ対話制御装置は、
ビデオストリームを取得するためのビデオストリーム取得モジュール１００と、
上記動的ジェスチャ認識装置を用いて該ビデオストリームにおける動的ジェスチャ認識結果を確定するための結果取得モジュール２００と、
動的ジェスチャ認識結果に対応する操作を実行するように機器を制御するための操作実行モジュール３００と、を含む。
【０１５５】
任意選択的な一実施形態では、操作実行モジュール３００は、
予め確定された動的ジェスチャ認識結果と操作命令との間の対応関係に基づき、動的ジェスチャ認識結果に対応する操作命令を取得するための操作命令取得サブモジュールと、
操作命令に従って対応する操作を実行するように機器を制御するための操作実行サブモジュールと、を含む。
【０１５６】
任意選択的な一実施形態では、操作実行サブモジュールは、
操作命令に従って車両の窓、ドアまたは車載システムを制御するために用いられる。
【０１５７】
任意選択的な一実施形態では、操作実行モジュール３００はさらに、
検出結果が予め定義された動的動きであることに応じて、予め定義された動的動きに対応する操作を実行するように車両を制御するために用いられる。
【０１５８】
任意選択的な一実施形態では、予め定義された動的動きは動的ジェスチャを含み、動的ジェスチャは、一本指時計回り／反時計回り回転、手のひらの左／右振り、二本指の前への突き出し、親指と小指の差し出し、手のひらの下向き押し下げ、手のひらの上向き上げ、手のひらでの左／右煽ぎ、親指出しながらの左／右動かし、手のひらの左／右への大きくスライド、上向きの手の開き、上向きの手の握り、下向きの手の握り、下向きの手の開き、一本指のスライド、数本指でのつかみ、一本指ダブルクリック、一本指シングルクリック、数本指ダブルクリック、および数本指シングルクリックの少なくとも一つを含むことができるが、これらに限定されない。
【０１５９】
予め定義された動的動きに対応する操作は、ボリュームの上げ／下げ、曲の切り換え、曲の一時停止／再生、受話または電話の起動、通話切断または着信拒否、エアコン温度の上昇または下降、マルチスクリーンインタラクション、天窓開放、天窓閉合、ドアロック施錠、ドアロック解錠、ナビゲーションに対するドラッグ、地図ズームアウト、および地図ズームインの少なくとも一つを含むことができるが、これらに限定されない。
【０１６０】
当業者であれば、発明を実施するための形態に係る上記方法において、各ステップの記載順序は厳密にその順に従うことで実施プロセスを何ら限定するものではなく、各ステップの具体的な実行順序はその機能および可能な内部論理によって確定すべきであることが理解可能である。
【０１６１】
いくつかの実施例では、本願の実施例により提供される装置が有する機能またはそれに含まれるモジュールは上記方法の実施例に記載の方法を実行するために用いることができ、その具体的な実現は上記方法の実施例の記載を参照すればよく、明細書を簡潔にするために、ここでは説明を省略する。
【０１６２】
本願の実施例のさらに別の一態様によれば、本願の上記いずれか一つの実施例により提供される動的ジェスチャ認識装置、または本願の上記いずれか一つの実施例により提供される動的ジェスチャ認識モデリング装置、または本願の上記いずれか一つの実施例により提供されるジェスチャ対話制御装置を含むプロセッサを含む電子機器が提供される。
【０１６３】
本願の実施例の別の一態様によれば、実行可能命令を記憶するためのメモリ、およびメモリと通信して実行可能命令を実行することで本願の上記いずれか一つの実施例により提供される動的ジェスチャ認識方法または本願の上記いずれか一つの実施例により提供される動的ジェスチャ認識モデリング方法または本願の上記いずれか一つの実施例により提供されるジェスチャ対話制御方法の動作を完了させるためのプロセッサを含む電子機器が提供される。
【０１６４】
本願の実施例のさらに別の一態様によれば、コンピュータ読み取り可能命令を記憶するためのコンピュータ読み取り可能媒体であって、命令が実行される時に本願の上記いずれか一つの実施例により提供される動的ジェスチャ認識方法または本願の上記いずれか一つの実施例により提供される動的ジェスチャ認識モデリング方法または本願の上記いずれか一つの実施例により提供されるジェスチャ対話制御方法の動作を実行すること特徴とするコンピュータ読み取り可能媒体が提供される。
【０１６５】
本願の実施例のさらに別の一態様によれば、コンピュータ読み取り可能コードを含むコンピュータプログラム製品であって、コンピュータ読み取り可能コードが機器において実行される時、機器におけるプロセッサが本願の上記いずれか一つの実施例により提供される動的ジェスチャ認識方法または本願の上記いずれか一つの実施例により提供される動的ジェスチャ認識モデリング方法または本願の上記いずれか一つの実施例により提供されるジェスチャ対話制御方法を実現するための命令を実行することを特徴とするコンピュータプログラム製品が提供される。
【０１６６】
本願の実施例はさらに電子機器を提供し、例えば移動端末、パーソナルコンピュータ（ＰＣ）、タブレット、サーバなどであってもよい。以下に図１０を参照すると、本願の実施例の端末機器またはサーバの実現に適する電子機器１０００の構成模式図が示される。図１０に示すように、コンピュータシステム１０００は一つ以上のプロセッサ、通信部などを含み、前記一つ以上のプロセッサは例えば、一つ以上の中央処理装置（ＣＰＵ）１００１、および／または一つ以上の画像プロセッサ（ＧＰＵ）１０１３などであり、プロセッサは読み取り専用メモリ（ＲＯＭ）１００２に記憶されている実行可能命令または記憶部分１００８からランダムアクセスメモリ（ＲＡＭ）１００３にロードされた実行可能命令に従って様々な適当の動作および処理を実行可能である。通信部１０１２はネットワークカードを含むことができるが、これに限定されず、前記ネットワークカードはＩＢ（Ｉｎｆｉｎｉｂａｎｄ）ネットワークカードを含むことができるが、これに限定されない。
【０１６７】
プロセッサは読み取り専用メモリ６０２および／またはランダムアクセスメモリ１０３０と通信して実行可能命令を実行し、バス１００４を介して通信部１０１２と接続し、かつ通信部１０１２を介して他の目的機器と通信することで、本願の実施例により提供されるいずれか一項の方法に対応する動作、例えば、検出対象のビデオストリーム内の動的ジェスチャに対して位置特定を行い、動的ジェスチャボックスを得ることと、ビデオストリームの複数の画像フレームから動的ジェスチャボックスに対応する画像ブロックを切り出すことと、切り出した画像ブロックをもとに検出シーケンスを生成することと、検出シーケンスに基づいて動的ジェスチャ認識を実行することと、を実行することができる。
【０１６８】
また、ＲＡＭ１００３には、装置の動作に必要な各プログラムおよびデータを記憶することができる。ＣＰＵ１００１、ＲＯＭ１００２およびＲＡＭ１００３はバス１００４を介して互いに接続される。ＲＡＭ１００３が存在する場合、ＲＯＭ１００２は任意選択的なモジュールとなる。ＲＡＭ１００３は実行可能命令を記憶するか、または稼働時にＲＯＭ１００２へ実行可能命令を書き込み、実行可能命令によってプロセッサ１００１は上記通信方法に対応する動作を実行する。入力／出力（Ｉ／Ｏ）インタフェース１００５もバス１００４に接続される。通信部１０１２は統合設置してもよく、また複数のサブモジュール（例えば複数のＩＢネットワークカード）を有するように設置してもよく、かつバスリンクに存在する。
【０１６９】
キーボード、マウスなどを含む入力部分１００６、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）などおよびスピーカーなどを含む出力部分１００７、ハードディスクなどを含む記憶部分１００８、およびＬＡＮカード、モデムなどのネットワークインタフェースカードを含む通信部分１００９といった部品は、Ｉ／Ｏインタフェース１００５に接続される。通信部分１００９はインターネットなどのネットワークによって通信処理を実行する。ドライバ１０１０も必要に応じてＩ／Ｏインタフェース１００５に接続される。取り外し可能な媒体１０１１、例えば磁気ディスク、光ディスク、磁気光ディスク、半導体メモリなどは、必要に応じてドライバ１０１０に取り付けられ、それによってそこから読み出されたコンピュータプログラムが必要に応じて記憶部分１００８にインストールされる。
【０１７０】
説明すべきは、図１０に示すアーキテクチャは任意選択的な一実現形態に過ぎず、具体的な実践では、実際の必要に応じて上記図１０の部品数およびタイプを選択、減少、増加または交換することができ、異なる機能部品の設置上でも、分離設置または統合設置などの実現形態を採用でき、例えばＧＰＵとＣＰＵは分離設置するかまたはＧＰＵをＣＰＵに統合するようにしてもよく、通信部は分離設置してもよく、またＣＰＵまたはＧＰＵに統合してもよいなどである。これらの置換可能な実施形態はいずれも本願が開示する保護範囲に属する。
【０１７１】
特に、本願の実施例によれば、フローチャートを参照しながら上述したプロセスはコンピュータソフトウェアプログラムとして実現できる。例えば、本願の実施例はコンピュータプログラム製品を含み、それは機械可読媒体に有形に具現化された、フローチャートに示す方法を実行するためのプログラムコードを含むコンピュータプログラムを含み、プログラムコードは本願の実施例により提供される方法を実行するステップに対応する命令、例えば、検出対象のビデオストリーム内の動的ジェスチャに対して位置特定を行い、動的ジェスチャボックスを得ることと、動的ジェスチャボックスから予め設定されたフレーム数の画像を切り出し、切り出した画像から隣接する２フレームの画像の画像差を算出することと、切り出した画像および隣接する２フレームの画像の画像差に基づいて動的ジェスチャ認識を実行することと、を含んでもよい。このような実施例では、該コンピュータプログラムは通信部分１００９によってネットワークからダウンロードおよびインストールでき、および／または取り外し可能な媒体１０１１からインストールできる。該コンピュータプログラムは中央処理装置（ＣＰＵ）１００１に実行される時、本願の方法に特定された上記機能を実行する。
【０１７２】
本明細書における各実施例は漸進の方式を採用して記述し、各実施例では他の実施例との相違点を重点に説明し、各実施例間の同じまたは類似部分は互いに参照すればよい。システムの実施例は、方法の実施例に基本的に対応するため、記述したものが比較的簡単で、その関連部分は方法の実施例の一部の説明を参照すればよい。
【０１７３】
本願の方法および装置は様々な方式で実現し得る。例えば、ソフトウェア、ハードウェア、ファームウェアまたはソフトウェア、ハードウェア、ファームウェアの任意の組み合わせで本願の方法および装置を実現できる。前記方法のステップに付けられる上記順序は説明するためのものに過ぎず、本願の方法のステップは、特に断らない限り、上記に具体的に記述した順序に限定されない。また、いくつかの実施例では、本願を記録媒体に記録されるプログラムとして実施してもよく、これらのプログラムは本願に係る方法を実現するための機械可読命令を含む。従って、本願は本願に係る方法を実行するためのプログラムを記憶する記録媒体をも包含する。
【０１７４】
本願の記述は例示および説明のためのもので、漏れがないものまたは開示した形式に本願を限定するものではない。様々な修正および変形について、当業者が自明である。選択および記述した実施例は、本願の原理および実際の応用をより効果的に説明し、かつ当業者に本願を理解させて特定の用途に適する様々な修正付きの様々な実施例を設計するためのものである。
【図１】
0006765545.tif 000002
【図２】
0006765545.tif 000003
【図３】
0006765545.tif 000004
【図４】
0006765545.tif 000005
【図５】
0006765545.tif 000006
【図６】
0006765545.tif 000007
【図７】
0006765545.tif 000008
【図８】
0006765545.tif 000009
【図９】
0006765545.tif 000010
【図１０】
0006765545.tif 000011