(57)【要約】  本発明は、スマートホームシーン向けのマルチジェスチャー精分割方法を開示し、以下のステップを含む。Ｓ１）ジェスチャー画像Ｉｍａｇｅ０に対して前処理を行い、画像Ｉｍａｇｅ１を得る；Ｓ２）前処理後の画像Ｉｍａｇｅ１に対して肌色分割を行い、処理後の画像Ｉｍａｇｅ４を得る；Ｓ３）画像Ｉｍａｇｅ４において画像の最小結合矩形ＭＢＲを構築する；Ｓ４）画像Ｉｍａｇｅ４における非ジェスチャーエリアを非ジェスチャーエリア除外基準によって除外して、ジェスチャー画像Ｉｍａｇｅ５を取得する；Ｓ５）手の形状特徴に基づく腕冗長性除去アルゴリズムによって画像Ｉｍａｇｅ５を処理することによって、腕冗長性の除去を完了する。本発明は、ジェスチャーをローカルでインテリジェントに分割することができ、全体のプロセスとして迅速かつ正確であり、ジェスチャーに基づく人間対コンピュータインタラクションシステムの使用快適性を著しく改善する。【選択図】図３
2021517281.tif 000002
【特許請求の範囲】
【請求項１】
以下のステップを含むことを特徴とするスマートホームシーン向けのマルチジェスチャー精分割方法。
Ｓ１）ジェスチャー画像Ｉｍａｇｅ０に対して前処理を行い、画像Ｉｍａｇｅ１を得る；
Ｓ２）前処理後の画像Ｉｍａｇｅ１に対して肌色分割を行い、処理後の画像Ｉｍａｇｅ４を得る；
Ｓ３）画像Ｉｍａｇｅ４において画像の最小結合矩形ＭＢＲを構築する；
Ｓ４）画像Ｉｍａｇｅ４における非ジェスチャーエリアを非ジェスチャーエリア除外基準によって除外して、ジェスチャー画像Ｉｍａｇｅ５を取得する；
Ｓ５）手の形状特徴に基づく腕冗長性除去アルゴリズムによって画像Ｉｍａｇｅ５を処理することによって、腕冗長性の除去を完了する。
【請求項２】
Ｓ１における前記前処理は、少なくとも、ジェスチャー画像ノイズ除去、ジェスチャー画像２値化およびモルフォロジー処理を含むことを特徴とする請求項１に記載のスマートホームシーン向けのマルチジェスチャー精分割方法。
【請求項３】
Ｓ２は、具体的に以下のステップを含むことを特徴とする請求項１に記載のスマートホームシーン向けのマルチジェスチャー精分割方法。
Ｓ２１）Ｉｍａｇｅ１画像をＲＧＢ色空間からＹＣｂＣｒ色空間に変換して画像Ｉｍａｇｅ２を得て、さらにグローバル固定閾値２値化法により画素毎に閾値と比較して２値化画像Ｉｍａｇｅ３を得る；
Ｓ２２）２値化画像Ｉｍａｇｅ３の穴と隙間をモルフォロジーにおける膨張腐食演算を用いて除去し、２値化画像をメディアンフィルタを用いて処理し、画像Ｉｍａｇｅ４を得る。
【請求項４】
Ｓ３は、具体的に、Ｓ２で得られた２値化ジェスチャー画像の輪郭情報をリストｃｏｎｔｏｕｒｓに格納し、座標情報から外接矩形の４つの頂点の座標をそれぞれｔｏｐ＿ｌｅｆｔ、ｔｏｐ＿ｒｉｇｈｔ、ｂｏｔｔｏｍ＿ｌｅｆｔ、ｂｏｔｔｏｍ＿ｒｉｇｈｔとして得るステップを含むことを特徴とする請求項１に記載のスマートホームシーン向けのマルチジェスチャー精分割方法。
【請求項５】
Ｓ４における前記非ジェスチャーエリア除外基準は、具体的に以下を含むことを特徴とする請求項１に記載のスマートホームシーン向けのマルチジェスチャー精分割方法。
１）６４０＊４８０の画像サイズが取得された場合、外接矩形の面積が２５００未満である場合、非ジェスチャーエリアとして認定される；
２）外接矩形の幅に対する長さの比が５より大きい場合、非ジェスチャーエリアとして認定される；
３）外接矩形内の画素値２５５の点の数が矩形面積に対する比が０．８より大きいか、０．４より小さい場合、非ジェスチャーエリアとして認定される。
【請求項６】
Ｓ５における前記手の形状特徴に基づく腕冗長性除去アルゴリズムは、具体的に、画像Ｉｍａｇｅ６に対して、幅の最大値およびその対応する座標を親指手根中手関節とする手の幅分布ヒストグラムと、手の勾配分布ヒストグラムとを統計することを含み、
手首の分割線の座標は、手の勾配分布ヒストグラムにおける親指手根中手関節点を探した後の値によって決定されることを特徴とする請求項１に記載のスマートホームシーン向けのマルチジェスチャー精分割方法。
【請求項７】
ステップＳ５における前記手首の分割線の座標は、現在点の勾配が０で、次の点の勾配が０以上であることを決定基準として、手の勾配分布ヒストグラムにおける親指手根中手関節点を探した後の値によって決定されることを特徴とする請求項６に記載のスマートホームシーン向けのマルチジェスチャー精分割方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スマート認識方法に係り、具体的に、スマートホームの分野に属するスマートホームシーン向けのマルチジェスチャー精分割方法に係る。
【背景技術】
【０００２】
ジェスチャー分割は、複雑な画像背景からジェスチャー情報を分割する技術を指す。ジェスチャー分割の質（正確性、完全性、冗長性）の良否は、ジェスチャーに基づく人間対コンピュータインタラクションシステムの識別および検出精度に重要な影響を及ぼす。
【０００３】
ホームシーン向けのリアルタイムのジェスチャー分割は、より複雑である。ユーザのジェスチャーは、より複雑で多様であるだけでなく、背景、ライティングおよび撮影角度などの要因の影響を受けやすい。現在のコンピュータビジョンの分野では、適応可能なジェスチャー分割アルゴリズムは存在しない。現在の代表的なジェスチャー分割方法のいくつかは、主に外部デバイスに依存するか、またはユーザの手に特殊な処理を必要とする。これらの技術は、人間の活動範囲を制限するとともに、ハードウェア設備のセットアップ、製造コスト、およびそれらの高い費用などの理由から、実用化において大規模な普及をもたらすことは困難である。
【０００４】
技術開発に対応して、現在の市場では、ジェスチャー分割機能を有するスマートホーム機器は、まれであり、ほとんどのジェスチャー分割製品は、皮膚の分割に留まり、ジェスチャーに対する分割を完全かつ正確に行うことができず、分割効果は理想的ではない。また、これらの機器は、クラウドサーバに依存したり、ネットワークに依存しすぎたりすることが多く、ネットワークがない場合には動作できない。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
以上をまとめると、従来技術を基に新規なスマートホームシーン向けのマルチジェスチャー精分割方法を提案し、ジェスチャー分割技術のスマートホーム機器における大規模の普及と応用を実現することは、現在の業者にとって解決を急がれる問題となっている。
【課題を解決するための手段】
【０００６】
本発明の目的は、従来技術に存在する以上の不備に鑑み、スマートホームシーン向けのマルチジェスチャー精分割方法を提案することにある。当該方法は、以下のステップを含む。
Ｓ１）ジェスチャー画像Ｉｍａｇｅ０に対して前処理を行い、画像Ｉｍａｇｅ１を得る；
Ｓ２）前処理後の画像Ｉｍａｇｅ１に対して肌色分割を行い、処理後の画像Ｉｍａｇｅ４を得る；
Ｓ３）画像Ｉｍａｇｅ４において画像の最小結合矩形ＭＢＲを構築する；
Ｓ４）画像Ｉｍａｇｅ４における非ジェスチャーエリアを非ジェスチャーエリア除外基準によって除外して、ジェスチャー画像Ｉｍａｇｅ５を取得する；
Ｓ５）手の形状特徴に基づく腕冗長性除去アルゴリズムによって画像Ｉｍａｇｅ５を処理することによって、腕冗長性の除去を完了する。
【０００７】
Ｓ１における前記前処理は、少なくとも、ジェスチャー画像ノイズ除去、ジェスチャー画像２値化およびモルフォロジー処理を含むことが好ましい。
【０００８】
Ｓ２は、具体的に以下のステップを含むことが好ましい。
Ｓ２１）Ｉｍａｇｅ１画像をＲＧＢ色空間からＹＣｂＣｒ色空間に変換して画像Ｉｍａｇｅ２を得て、さらにグローバル固定閾値２値化法により画素毎に閾値と比較して２値化画像Ｉｍａｇｅ３を得る；
Ｓ２２）２値化画像Ｉｍａｇｅ３の穴と隙間をモルフォロジーにおける膨張腐食演算を用いて除去し、２値化画像をメディアンフィルタを用いて処理し、画像Ｉｍａｇｅ４を得る。
【０００９】
Ｓ３は、具体的に、Ｓ２で得られた２値化ジェスチャー画像の輪郭情報をリストｃｏｎｔｏｕｒｓに格納し、座標情報から外接矩形の４つの頂点の座標をそれぞれｔｏｐ＿ｌｅｆｔ、ｔｏｐ＿ｒｉｇｈｔ、ｂｏｔｔｏｍ＿ｌｅｆｔ、ｂｏｔｔｏｍ＿ｒｉｇｈｔとして得るステップを含むことが好ましい。
【００１０】
Ｓ４における前記非ジェスチャーエリア除外基準は、具体的に以下を含むことが好ましい。
１）６４０＊４８０の画像サイズが取得された場合、外接矩形の面積が２５００未満である場合、非ジェスチャーエリアとして認定される；
２）外接矩形の幅に対する長さの比が５より大きい場合、非ジェスチャーエリアとして認定される；
３）外接矩形内の画素値２５５の点の数が矩形面積に対する比が０．８より大きいか、０．４より小さい場合、非ジェスチャーエリアとして認定される。
【００１１】
Ｓ５における前記手の形状特徴に基づく腕冗長性除去アルゴリズムは、具体的に、画像Ｉｍａｇｅ６に対して、幅の最大値およびその対応する座標を親指手根中手関節とする手の幅分布ヒストグラムと、手の勾配分布ヒストグラムとを統計することを含み、手首の分割線の座標は、手の勾配分布ヒストグラムにおける親指手根中手関節点を探した後の値によって決定されることが好ましい。
【００１２】
ステップＳ５における前記手首の分割線の座標は、現在点の勾配が０で、次の点の勾配が０以上であることを決定基準として、手の勾配分布ヒストグラムにおける親指手根中手関節点を探した後の値によって決定されることが好ましい。
【発明の効果】
【００１３】
従来技術に比較し、本発明の利点は、主に以下である。
【００１４】
本発明によるスマートホームシーン向けのマルチジェスチャー精分割方法は、ジェスチャーをローカルでインテリジェントに分割することができ、ネットワークに依存しすぎるという従来技術の不備を克服し、本方法を適用する装置がネットワーク接続なしでも正常に動作することができる。
【００１５】
本発明は、ジェスチャーピクチャーをＲＧＢ色空間からＹＣｂＣｒ色空間に変換し、さらにグローバル固定閾値２値化方法によって、肌色の分割を完了する。そして、非ジェスチャーエリアを除外して、ジェスチャー輪郭のＭＢＲとＭＡＢＲを構築し、ジェスチャー画像を回転させて手の幅を統計し、幅分布ヒストグラムと幅に基づく勾配分布ヒストグラムを構築し、手首の分割線を決定する。最後に、腕の冗長性の除去を完了し、完全なジェスチャー画像が得られる。本発明は、ホーム環境画像内のジェスチャーを迅速かつ正確に分割することを可能にし、ジェスチャーに基づく人間対コンピュータインタラクションシステムの使用の快適さを著しく向上させ、ユーザ満足度を向上させる。
【００１６】
また、本発明は、当該分野における他の関連課題の参考になれるものであり、これに基づいて拡張を行うことができ、他のジェスチャー分割に関する技術案に応用することができ、十分に広い応用範囲を有する。
【図面の簡単な説明】
【００１７】
以下、本発明の具体的な実施形態について、実施例の図面を参照して、本発明の技術的思想を理解、把握しやすくするために、さらに詳細に説明する。
【００１８】
【図１】本発明による、ジェスチャー画像に対して肌色分割を行うステップのフローチャートである。
【図２】本発明による、ジェスチャー画像に対して腕冗長性の除去を行うステップのフローチャートである。
【図３】本発明による、スマートホームシーン向けのマルチジェスチャー精分割方法の全体的なステップのフローチャートである。
【発明を実施するための形態】
【００１９】
本発明は、スマートホームシーン向けのマルチジェスチャー精分割方法を開示する。前記方法は、ＹＣｂＣｒ色空間の肌色分割アルゴリズム、非ジェスチャーエリア除外基準、および手の形状特徴に基づく腕冗長性除去アルゴリズムに基づく。本発明の方法は、以下のステップを含む。Ｓ１）ジェスチャー画像Ｉｍａｇｅ０に対して前処理を行い、画像Ｉｍａｇｅ１を得る；Ｓ２）前処理後の画像Ｉｍａｇｅ１に対して肌色分割を行い、処理後の画像Ｉｍａｇｅ４を得る；Ｓ３）画像Ｉｍａｇｅ４において画像の最小結合矩形ＭＢＲを構築する；Ｓ４）画像Ｉｍａｇｅ４における非ジェスチャーエリアを非ジェスチャーエリア除外基準によって除外して、ジェスチャー画像Ｉｍａｇｅ５を取得する；Ｓ５）手の形状特徴に基づく腕冗長性除去アルゴリズムによって画像Ｉｍａｇｅ５を処理することによって、腕冗長性の除去を完了する。
【００２０】
以上のステップの表現から明らかなように、本発明の方法は、主に肌色分割と腕冗長性の除去の２つの大きな側面を含む。
【００２１】
以下、図面を参照して本発明の方法を具体的に説明する。図１は、本発明の実施例によるジェスチャー画像の肌色分割方法を示す。当該方法のステップとして、主に、以下のステップを含む。
【００２２】
Ｓ１において、ジェスチャー画像Ｉｍａｇｅ０に対して前処理を行い、画像Ｉｍａｇｅ１を得る。
【００２３】
ジェスチャー画像は、取得時に不可避的にノイズの干渉が存在し、ジェスチャー画像の分割および認識に大きな影響を与えるため、ジェスチャー分割前の画像に対する前処理が特に重要となる。前記前処理は、少なくとも、ジェスチャー画像ノイズ除去、ジェスチャー画像２値化、およびモルフォロジー処理を含む。
【００２４】
ここで、ジェスチャー画像ノイズ除去は、主に、線形フィルタに属するガウシアンフィルタを使用する。フィルタ窓の画素の値は、テンプレート中心からの距離が増大するにつれて減少するガウス分布に従い、２次元ガウシアン関数が以下である。
【００２５】
【数１】
2021517281.tif 000003
【００２６】
ここで、ｈ（ｘ，ｙ）は、ガウシアンフィルタにおける（ｘ，ｙ）座標上の値を表し、σは、標準偏差を表す。
【００２７】
Ｓ２１において、Ｉｍａｇｅ１画像をＲＧＢ色空間からＹＣｂＣｒ色空間に変換して画像Ｉｍａｇｅ２を得て、さらにグローバル固定閾値２値化法により画素毎に閾値と比較して２値化画像Ｉｍａｇｅ３を得る。
【００２８】
ＹＣｂＣｒ色空間は、ビデオ画像およびデジタル画像においてよく使用される色空間である。画像の明暗を表し、０〜２５５の範囲から値を取るＹ（ｌｕｍａ）成分と、ＲＧＢ色空間における青色成分とＲＧＢ色空間における輝度値の差を表し、０〜２５５の範囲から値を取るＣｂ成分と、ＲＧＢ色空間における赤色成分の値とＲＧＢ色空間における輝度の差を表し、０〜２５５の範囲から値を取るＣｒ成分との３つの成分を含む。ここで、Ｃｂ成分とＣｒ成分は、互いに独立しており、Ｙ成分と効率よく分離することができる。
【００２９】
ＲＧＢ色空間からＹＣｂＣｒ色空間への変換式は、以下の通りである。
【００３０】
【数２】
2021517281.tif 000004
【００３１】
以下のマトリックス形式へ変換される。
【００３２】
【数３】
2021517281.tif 000005
【００３３】
上記ステップで説明した画素毎の閾値との比較は、具体的に、人の肌色のＹ、Ｃｂ、Ｃｒ値が「０：２５６，１３０：１７４，７７：１２８」程度であるとして、画像中の画素のＹＣｂＣｒ値がこの区間に属する場合にはその画素値を２５５とし、そうでない場合には０として、２値化画像Ｉｍａｇｅ３を得ることができる。
【００３４】
Ｓ２２において、２値化画像Ｉｍａｇｅ３の穴と隙間をモルフォロジーにおける膨張腐食演算を用いて除去し、２値化画像をメディアンフィルタを用いて処理し、画像Ｉｍａｇｅ４を得る。
【００３５】
ジェスチャー画像は、２値化処理を経ることにより、得られる画像に、隙間や欠け等が生じることがある。モルフォロジーの役割は、孤立した小さな点、バリの除去、小さな穴の充填、小さな隙間の埋め込み等であり、モルフォロジー操作は主に以下の４種類がある。
１、膨張。モルフォロジー演算における膨張演算過程は、物体が接触した背景点をその物体に統合するものである。その結果、対象物の面積が大きくなる。これは、対象領域に存在する空洞や隙間を埋めることを意味する。
２、腐食。モルフォロジー演算における腐食演算過程は、物体の全ての境界点を消去するものである。その結果、対象物の面積が小さくなる。これは、対象領域に存在する、意味を持たない小さな孤立点を除去することを意味する。
３、開演算。モルフォロジー演算における開演算過程は、まず２値化画像に対して腐食演算を行い、その後に膨張演算を行う。その意味は、目標領域に存在する小さな孤立点やバリ等の無意味な点を消去（腐食演算）し、空洞や隙間を埋める（膨張演算）ことである。
４、閉演算。モルフォロジー演算における閉演算過程は、まず２値化画像に対して膨張演算を行った後、腐食演算を行う。その意味は、対象領域に存在する空洞や隙間を埋める（膨張演算）こと、小さな孤立点やバリなどの無意味な点を消去する（腐食演算）ことである。
【００３６】
前記メディアンフィルタは、非線形フィルタに属し、主に、現在点の周辺画素点の統計およびソートをし、その中央値を現在点の画素値として抽出することで、孤立したノイズ点を除去する。主にメディアンフィルタでジェスチャー２値化画像エッジのバリを平滑化し、そのエッジを平滑化し、手首の分割線の探索に与える影響を低減する。
【００３７】
図２は、本発明の実施例によるジェスチャー画像に対し腕冗長性の除去を行う方法であり、当該方法のステップとして、主に以下のステップを含む。
【００３８】
Ｓ３において、ジェスチャー画像の最小結合矩形ＭＢＲを構築する。
【００３９】
画像Ｉｍａｇｅ４においてジェスチャー画像の最小結合矩形ＭＢＲを構築し、その頂点座標情報は、以下である。
【００４０】
【数４】
2021517281.tif 000006
【００４１】
ＭＢＲを基に画像のＭＡＢＲを構築し、輪郭が既知であることを前提に、Ｇｒａｈａｍスキャン法によりジェスチャー輪郭の凸包を求め、図形をそのＭＢＲの中心を原点としてその９０度の範囲内でβ尺度で等間隔に回転させることができる。回転角度に応じたパターンのＭＢＲ面積を同時に記録すると、記録の中の最小のＭＢＲ面積に対応するＭＢＲは、求められるＭＡＢＲとなる。
【００４２】
Ｓ４において、画像Ｉｍａｇｅ４における非ジェスチャーエリアを非ジェスチャーエリア除外基準によって除外して、ジェスチャー画像Ｉｍａｇｅ５を取得する。
【００４３】
前記非ジェスチャーエリア除外基準は、具体的に以下を含む。
１）６４０＊４８０の画像サイズが取得された場合、外接矩形の面積が２５００未満である場合、非ジェスチャーエリアとして認定される；
２）外接矩形の幅に対する長さの比が５より大きい場合、非ジェスチャーエリアとして認定される；
３）外接矩形内の画素値２５５の点の数が矩形面積に対する比が０．８より大きいか、０．４より小さい場合、非ジェスチャーエリアとして認定される。
【００４４】
その後、２値化ジェスチャー画像を反時計回りに回転させると、上記ステップでＭＡＢＲに対応する回転角度が得られ、ジェスチャー画像を反時計回りに回転させると、ジェスチャー方向を垂直にすることができる。
【００４５】
Ｓ５において、手の形状特徴に基づく腕冗長性除去アルゴリズムによって画像Ｉｍａｇｅ５を処理することによって、腕冗長性の除去を完了する。
【００４６】
Ｓ５における前記手の形状特徴に基づく腕冗長性除去アルゴリズムは、具体的に、画像Ｉｍａｇｅ６に対して、幅の最大値およびその対応する座標を親指手根中手関節とする手の幅分布ヒストグラムと、手の勾配分布ヒストグラムとを統計することを含み、手首の分割線の座標は、手の勾配分布ヒストグラムにおける親指手根中手関節点を探した後の値によって決定される。
【００４７】
前記幅ヒストグラムの計算手順は以下の通りである。
rows = image.shape[0]
x_label = []
width = []
step = 3
for index in range(step,rows,step):
x_label.append(index)
width.appned(sum(sum(binary[index-3:index]/255))/3)
【００４８】
前記勾配ヒストグラムの算出手順は以下の通りである。
gradient = [0]
for index in range(1,len(width)):
gradient.append(width[index]-width[index-1])
【００４９】
その後、手首の分割線を決定する。手の幅分布ヒストグラムにおけるジェスチャー幅の最大値およびその対応する座標を親指手根中手関節であるため、手首の分割線の座標として、手の勾配分布ヒストグラムにおける親指手根中手関節点を探した後の値によって決定され、その決定方法として、現在点の勾配が０で、次の点の勾配が０以上である。
【００５０】
最後に、腕冗長性の除去を完了する。上記ステップでは、手首の分割線の座標情報が得られ、手首分割線より下の画素値を０、すなわち上部ジェスチャー画像のみを残して、腕部分を除去する。
【００５１】
以下、図３を参照して、スマートホームシーン向けのマルチジェスチャー精分割方法の具体的な実施例を提案する。当該実施例は、主に以下のステップを含む。
【００５２】
ステップＳ３０１において、画像を取得する。
【００５３】
主に２Ｄカメラによってホーム画像を取得する。
【００５４】
ステップＳ３０２において、取得された画像に対して前処理を行う。
【００５５】
画像に対して、フィルタ処理、モルフォロジー処理、２値化処理等を行う。
【００５６】
ステップＳ３０３において、画像に対して肌色分割を行う。
【００５７】
ＹＣｂＣｒ色空間においてグローバル固定閾値法を用いて２値化処理を行い、各領域の輪郭情報を８近傍法により取得する。
【００５８】
ステップＳ３０４において、非ジェスチャーエリアをフィルタリングする。
【００５９】
ステップＳ３０３で切り出されたジェスチャー画像に対して非ジェスチャーエリアフィルタリングを行うことによって、まず、ジェスチャー画像のＭＢＲを構築し、条件に適合しないエリアをフィルタリングし、条件に適合するものは、ジェスチャー分割処理を行う。
【００６０】
ステップＳ３０５において、画像に対してジェスチャー分割を行う。
【００６１】
ジェスチャー画像ＭＢＲを基にＭＡＢＲを構築し、ジェスチャー画像の偏向角度を取得し、手の幅分布ヒストグラムと手の勾配分布ヒストグラムを解析することにより、ジェスチャーの手首分割線を取得し、腕エリアをフィルタリングする。
【００６２】
ステップＳ３０６において、完全なジェスチャー画像を取得する。
【００６３】
ジェスチャー分割によって、０から複数のジェスチャーが生成される。画像内のジェスチャーは、後続のニーズのために抽出され、ジェスチャーに基づく人間対コンピュータインタラクションシステムのために使用され、人間からジェスチャーを通してのホームデバイスの制御を可能にする。
【００６４】
本発明によるスマートホームシーン向けのマルチジェスチャー精分割方法は、ジェスチャーをローカルでインテリジェントに分割することができ、ネットワークに依存しすぎるという従来技術の不備を克服し、本方法を適用する装置がネットワーク接続なしでも正常に動作することができる。
【００６５】
本発明は、ジェスチャーピクチャーをＲＧＢ色空間からＹＣｂＣｒ色空間に変換し、さらにグローバル固定閾値２値化方法によって、肌色の分割を完了する。そして、非ジェスチャーエリアを除外して、ジェスチャー輪郭のＭＢＲとＭＡＢＲを構築し、ジェスチャー画像を回転させて手の幅を統計し、幅分布ヒストグラムと幅に基づく勾配分布ヒストグラムを構築し、手首の分割線を決定する。最後に、腕の冗長性の除去を完了し、完全なジェスチャー画像が得られる。本発明は、ホーム環境画像内のジェスチャーを迅速かつ正確に分割することを可能にし、ジェスチャーに基づく人間対コンピュータインタラクションシステムの使用の快適さを著しく向上させ、ユーザ満足度を向上させる。
【００６６】
また、本発明は、当該分野における他の関連課題の参考になれるものであり、これに基づいて拡張を行うことができ、他のジェスチャー分割に関する技術案に応用することができ、十分に広い応用範囲を有する。
【００６７】
本発明は、上述した例示的な実施例の詳細に限定されるものではなく、本発明の要旨や基本的な構成を逸脱しない範囲内において、他の具体的な形態で実施し得ることは、当業者にとって自明である。したがって、いずれの点からも、実施例は、例示的かつ非限定的であると見なされるべきであり、本発明の範囲は、上述の説明ではなく添付の特許請求の範囲によって規定される。したがって、特許請求の範囲の均等物の意味および範囲内にあるすべての変更が、本発明内に包含されることが意図され、特許請求の範囲におけるいかなる参照符号も、関連する特許請求の範囲を制限するものと見なされるべきではない。
【００６８】
さらに、本明細書は実施形態に従って説明されるが、各実施形態が独立した技術的解決手段のみを含むのではない。本明細書のこのような記載方式は、明瞭さのためにすぎない。当業者は、本明細書を全体として、各実施例における技術的解決手段が、当業者が理解し得る他の実施形態を形成するように、適切に組み合わされてもよいことが理解されるべきである。
【００６９】
（付記）
（付記１）
以下のステップを含むことを特徴とするスマートホームシーン向けのマルチジェスチャー精分割方法。
Ｓ１）ジェスチャー画像Ｉｍａｇｅ０に対して前処理を行い、画像Ｉｍａｇｅ１を得る；
Ｓ２）前処理後の画像Ｉｍａｇｅ１に対して肌色分割を行い、処理後の画像Ｉｍａｇｅ４を得る；
Ｓ３）画像Ｉｍａｇｅ４において画像の最小結合矩形ＭＢＲを構築する；
Ｓ４）画像Ｉｍａｇｅ４における非ジェスチャーエリアを非ジェスチャーエリア除外基準によって除外して、ジェスチャー画像Ｉｍａｇｅ５を取得する；
Ｓ５）手の形状特徴に基づく腕冗長性除去アルゴリズムによって画像Ｉｍａｇｅ５を処理することによって、腕冗長性の除去を完了する。
【００７０】
（付記２）
Ｓ１における前記前処理は、少なくとも、ジェスチャー画像ノイズ除去、ジェスチャー画像２値化およびモルフォロジー処理を含むことを特徴とする付記１に記載のスマートホームシーン向けのマルチジェスチャー精分割方法。
【００７１】
（付記３）
Ｓ２は、具体的に以下のステップを含むことを特徴とする付記１に記載のスマートホームシーン向けのマルチジェスチャー精分割方法。
Ｓ２１）Ｉｍａｇｅ１画像をＲＧＢ色空間からＹＣｂＣｒ色空間に変換して画像Ｉｍａｇｅ２を得て、さらにグローバル固定閾値２値化法により画素毎に閾値と比較して２値化画像Ｉｍａｇｅ３を得る；
Ｓ２２）２値化画像Ｉｍａｇｅ３の穴と隙間をモルフォロジーにおける膨張腐食演算を用いて除去し、２値化画像をメディアンフィルタを用いて処理し、画像Ｉｍａｇｅ４を得る。
【００７２】
（付記４）
Ｓ３は、具体的に、Ｓ２で得られた２値化ジェスチャー画像の輪郭情報をリストｃｏｎｔｏｕｒｓに格納し、座標情報から外接矩形の４つの頂点の座標をそれぞれｔｏｐ＿ｌｅｆｔ、ｔｏｐ＿ｒｉｇｈｔ、ｂｏｔｔｏｍ＿ｌｅｆｔ、ｂｏｔｔｏｍ＿ｒｉｇｈｔとして得るステップを含むことを特徴とする付記１に記載のスマートホームシーン向けのマルチジェスチャー精分割方法。
【００７３】
（付記５）
Ｓ４における前記非ジェスチャーエリア除外基準は、具体的に以下を含むことを特徴とする付記１に記載のスマートホームシーン向けのマルチジェスチャー精分割方法。
１）６４０＊４８０の画像サイズが取得された場合、外接矩形の面積が２５００未満である場合、非ジェスチャーエリアとして認定される；
２）外接矩形の幅に対する長さの比が５より大きい場合、非ジェスチャーエリアとして認定される；
３）外接矩形内の画素値２５５の点の数が矩形面積に対する比が０．８より大きいか、０．４より小さい場合、非ジェスチャーエリアとして認定される。
【００７４】
（付記６）
Ｓ５における前記手の形状特徴に基づく腕冗長性除去アルゴリズムは、具体的に、画像Ｉｍａｇｅ６に対して、幅の最大値およびその対応する座標を親指手根中手関節とする手の幅分布ヒストグラムと、手の勾配分布ヒストグラムとを統計することを含み、
手首の分割線の座標は、手の勾配分布ヒストグラムにおける親指手根中手関節点を探した後の値によって決定されることを特徴とする付記１に記載のスマートホームシーン向けのマルチジェスチャー精分割方法。
【００７５】
（付記７）
ステップＳ５における前記手首の分割線の座標は、現在点の勾配が０で、次の点の勾配が０以上であることを決定基準として、手の勾配分布ヒストグラムにおける親指手根中手関節点を探した後の値によって決定されることを特徴とする付記６に記載のスマートホームシーン向けのマルチジェスチャー精分割方法。
【図１】
2021517281.tif 000007
【図２】
2021517281.tif 000008
【図３】
2021517281.tif 000009
【国際調査報告】
2021517281.tif 000010
2021517281.tif 000011
2021517281.tif 000012
2021517281.tif 000013
2021517281.tif 000014
2021517281.tif 000015