(57)【要約】【課題】本発明は、手振り識別方法と装置を提供する。【解決手段】かかる方法は、手を含む目標場面の入力画像を取得し、前記入力画像中から手の画像を抽出し；分類器を利用して前記手の画像を分類し、これにより識別待ち手振りの分類結果を取得し；前記手の画像中から規則特徴を抽出し；及び、前記識別待ち手振りの分類結果に前記規則特徴を応用し、これにより手振り識別結果を取得することを含む。【選択図】図１
2017027600.tif 000002
【特許請求の範囲】
【請求項１】
手を含む目標場面の入力画像を取得し、前記入力画像中から手の画像を抽出するステップと、
分類器を利用して前記手の画像を分類し、これにより識別待ち手振りの分類結果を取得するステップと、
前記手の画像中から規則特徴を抽出するステップと、
前記識別待ち手振りの分類結果に前記規則特徴を応用し、これにより手振り識別結果を取得するステップと、を含む、手振り識別方法。
【請求項２】
前記分類器を利用して前記手の画像を分類し、これにより識別待ち手振り分類結果を取得するステップは、
前記手の画像中から分類特徴を抽出するステップと、
前記分類特徴を前記分類器に応用し、これにより識別待ち手振りの分類結果を取得するステップと、を含む、請求項1に記載の手振り識別方法。
【請求項３】
前記分類特徴は、手輪郭コンベックスハル特徴、手輪郭フーリエ記述子特徴、及び手輪郭不変マトリックス特徴のうちの少なくとも一つを含む、請求項2に記載の手振り識別方法。
【請求項４】
前記規則特徴は、指の本数、指の長さ、指の指す方位、指の間の相対位置、及び二本の指の間の夾角のうちの少なくとも一つを含む、請求項1〜3のうちの任意の一項に記載の手振り識別方法。
【請求項５】
前記分類器は、規則特徴を利用して分類戦略を最適化することにより取得した分類器であり、前記分類戦略には、分類の数ならびに分類の指定戦略を含む、請求項1に記載の手振り識別方法。
【請求項６】
前記分類戦略の最適化は、以下の反復過程、即ち、
訓練サンプル集を利用して所定の分類戦略を有する分類器を訓練する過程と、
サンプル集の評価を訓練する分類器に応用し、これによりサンプル分類結果を取得する過程と、
所定の規則特徴を前記サンプル分類結果に応用し、これによりサンプル手振り識別結果を取得する過程と、
前記サンプル手振り識別結果をもとに、前記分類器の分類戦略を最適化する過程と、を含む、請求項5に記載の手振り識別方法。
【請求項７】
前記分類器は、決定木分類器、ランダムフォレスト分類器、パーセプトロン分類器、ニューラルネットワーク分類器、あるいはSVM分類器である、請求項1に記載の手振り識別方法。
【請求項８】
前記分類器は、テンプレートマッピング分類技術を用いる、請求項1に記載の手振り識別方法。
【請求項９】
前記入力画像は連続したKフレームの入力画像を含み、かつもし前記Kフレームの入力画像の中には一致するMフレームの手振り識別結果があれば、前記Mフレームの手振り識別結果を、前記Kフレームの入力画像中の手振り識別結果と確定し、KとMは所定の正の整数で、かつK＞Mである、請求項1に記載の手振り識別方法。
【請求項１０】
手を含む目標場面の入力画像を取得し、前記入力画像中から手の画像を抽出する取得部と、
分類器を利用して前記手の画像を分類し、これにより識別待ち手振りの分類結果を取得する分類部と、
前記手の画像中から、規則特徴を抽出する特徴抽出部と、
前記識別待ち手振りの分類結果に前記規則特徴を応用し、これにより手振り識別結果を取得する識別部と、を含む、手振り識別装置。
【請求項１１】
コンピュータに、請求項１〜９のうちの任意の1項に記載の手振り識別方法を実行させるためのプログラム。
【請求項１２】
請求項11に記載のプログラムを記憶したコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理分野に関し、より具体的には、静態手振り識別に関する。
【背景技術】
【０００２】
手振りは、既に各種のヒューマン・コンピュータ・インタラクション・システム、例えば、インタラクティブ投影、インタラクティブディスプレイ、手振り制御テレビ等に広く用いられている。手振りは、人々の提供する直観的な、自然でフレンドリーな、更に人類熟知の対話方式である。手振りは一般に、大きく二種類、即ち動態手振りと静態手振りに分けられる。動態手振りは、様々な手の形態の一連の動き、あるいは手の位置の変化の軌跡であり、静態手振りは、手の形態、即ちある短い時間に手が保持している同一の類似形態を表す。
【０００３】
動態手振りと異なり、静態手振りは手の形状情報によってのみ区分できる。テンプレートマッピングは、静態手振り識別で広く使用される方法で、手振りの静態テンプレートライブラリーを作成し、テンプレートライブラリーから、最も近い一つを探すことにより識別待ち手振りをマッピングする。通常、一つの手振りは、複数のテンプレートに対応している可能性があり、かつ、手振り識別結果は、主にテンプレートと距離計算の準則に依存するので、当該テンプレートマッピング方法は簡単で直観的ではあるが、弾力性が不十分でロバスト性も十分ではない。
【０００４】
その他、幾つかの簡単な手振りについて言えば、顕著性規則判断も、本分野で比較的常用される手振り識別方法である。当該方法は主に区別性の特徴あるいは準則を用いて、異なる手振りを区分する。例えば、指先の個数ならびにその向きによって、幾つかの簡単な手振りを識別することができる。しかし、通常これらの規則が使用する特徴は区分性の特徴だけで記述性のものではなく、手振りの特徴を全面的に反映することができず、また当該方法は完全に規則に依存するので、この方法もロバスト性が十分でなく、かつ実際の使用において、誤ったメッセージを伝える可能性が比較的高い。
【０００５】
しかし、幾つかの対話の場面、例えば、博物館、図書館、展覧会等の公共の場所では、システムの実際の操作ユーザが皆、訓練を経ていない参加者であることを考慮すると、その用いる手振りは大部分が簡単で直観的で、できる限り自然で、同時にこれらの手振りがロバストに識別され、誤ったメッセージをできる限り少なくすることが望ましい。簡単にテンプレートマッピング、あるいは規則判断を用いて静態手振りを識別する従来方法では、誤ったメッセージを減らす状況において、識別の正確度を高めることができる訳ではない。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
以上の問題を考慮し、手振り識別の正確度を高めると同時に、誤判定の可能性を低下させることのできる手振り識別方法と装置を提供できることを望んでいる。
【課題を解決するための手段】
【０００７】
本発明の一つの面により、手を含む目標場面の入力画像を取得し、当該入力画像中から手の画像を抽出すること；分類器を利用して当該手の画像を分類し、これにより識別待ち手振りの分類結果を取得すること；当該手の画像中から規則特徴を抽出すること；及び、当該識別待ち手振りの分類結果に前記規則特徴を応用し、これにより手振り識別結果を取得することを含む手振り識別方法を提供した。
【０００８】
前記分類器を利用して当該手の画像を分類し、これにより識別待ち手振り分類結果を取得することは、当該手の画像中から分類特徴を抽出すること、当該分類特徴を当該分類器に応用し、これにより識別待ち手振りの分類結果を取得することを含むことができる。
【０００９】
当該手の画像中から抽出した分類特徴には、手輪郭コンベックスハル特徴、手輪郭フーリエ記述子特徴、手輪郭不変マトリックス特徴の少なくとも一つを含むことができる。当該手の画像中から抽出した規則特徴には指の本数、指の長さ、指の指す方位、指の間の相対位置、二本の指の間の夾角の少なくとも一つを含むことができる。
【００１０】
当該分類器は規則特徴を利用して分類戦略を最適化することにより取得した分類器でよく、前記分類戦略には分類の数ならびに分類の指定戦略を含む。
【００１１】
以下の反復過程、即ち、訓練サンプル集を利用して所定の分類戦略を有する分類器を訓練する過程、サンプル集の評価を訓練する分類器に応用し、これによりサンプル分類結果を取得する過程、所定の規則特徴を前記サンプル分類結果に応用し、これによりサンプル手振り識別結果を取得する過程、前記サンプル手振り識別結果をもとに、当該分類器の分類戦略を最適化する過程の反復により、分類戦略を最適化することができる。
【００１２】
当該分類器は決定木分類器、ランダムフォレスト分類器、パーセプトロン分類器、ニューラルネットワーク分類器、あるいはSVM分類器でよい。あるいは、当該分類器は、テンプレートマッピング分類技術を用いてもよい。
【００１３】
選択的に、当該入力画像は連続したKフレームの入力画像を含む選択をすることができ、もし前記Kフレームの入力画像中に一致するMフレームの手振り識別結果があれば、当該Mフレームの手振り識別結果を当該Kフレームの入力画像中の手振り識別結果と確定し、KとMは所定の正の整数で、かつK＞Mである。
【００１４】
本発明の別の面により、手を含む目標場面の入力画像を取得し、当該入力画像中から手の画像を抽出する取得部；分類器を利用して当該手の画像を分類し、これにより識別待ち手振りの分類結果を取得する分類部；当該手の画像中から規則特徴を抽出する特徴抽出部；及び、当該識別待ち手振りの分類結果に前記規則特徴を応用し、これにより手振り識別結果を取得する識別部を含む手振り識別装置を提供した。
【００１５】
本発明によれば、分類器を利用して手の画像を分類し、これにより無効な手振りを排除して識別待ち手振り分類結果を取得し、引き続き識別待ち手振り分類結果に規則特徴を応用し手振りの最終識別を完成する。当該方法は弱分類器と強規則判定技術を融合したもので、分類器は各種手振りの最終識別に直接用いることはせず、大多数の無効な手振りは分類器のフィルタリング機能により排除されるようにするため、全体的特徴の基礎の上に構築する弱分類器とし、また同時に有効な手振りは最小限の漏れで分類器を確実に通過できるようにする。その後、強規則を分類器の識別待ち手振り分類結果に作用させ、区別性特徴により、更に各種の様々な手振りを区分する。これにより、区別性規則特徴と分類器全体の記述特徴のメリットが相互に補完し合い、手振り識別の正確性を高めると同時に誤判定の可能性を下げ、静態手振りのロバストな識別を実現することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施例による手振り識別方法のフローチャートである。
【図２】入力画像の例ならびにその中から抽出した手の二値化シルエット画像を示す図である。
【図３】分類器を最適化する方法のフローチャートである。
【図４】混同マトリックスを示す図である。
【図５】5種類の有効な手振りと、それに対応する二値化シルエット画像を示すである。
【図６】上記5種類の手振りの手振り識別過程を示す図である。
【図７】手の画像の領域分割を示す図である。
【図８】表の形式で手振り識別規則を示す図である。
【図９】手振り識別の一例におけるデータフローを示す図である。
【図１０】本発明の一実施例による手振り識別装置の機能ブロック図である。
【図１１】本発明の一実施例による手振り識別システムのハードウェア構成を示す図である。
【発明を実施するための形態】
【００１７】
当業者により良く本発明を理解してもらうために、以下、添付図および具体的実施方式と結合して、本発明を更に詳細に説明する。
【００１８】
以下の順序、即ち、
１．発明思想の概述
２．実施例
2.1  手振り識別方法
2.2  分類器の最適化
2.3  手振り識別方法の応用例
2.4  手振り識別装置
2.5  手振り識別システム
３．まとめ
という順序に従って説明を行う。
【００１９】
＜１．発明思想の概述＞
上記のように、手振り識別を行う時に識別の正確性を高めると同時に、誤メッセージの可能性を下げる、即ちもともと無効な手振りが有効と識別されることをできる限り避けけたいと考えている。
【００２０】
手振り識別において、機械学習と分類技術はテンプレートマッピングに対する一種の確率化の延長と見なすことができ、それは主に記述性特徴に注目するが、規則を利用して判別する手振り識別方法において規則の用いる特徴は、通常、区分性特徴である。周知のように、記述性特徴、例えばフーリエ記述子は、手振りを全面的に記述する特徴で、通常、無効な手振りが、誤って有効なものに識別される可能性を避けることができるものの、幾つかの特定の手振りの間では、通常、如何なる区分性も有さず、識別結果を正確に判断できない結果になり、区分性特徴は手振りの区別は良くできるが、これらの特徴が通常、全て局部的特徴なので、偶然性が大きく、判断の誤りを引き起こしやすい。
【００２１】
このことに鑑み、本発明は分類器を利用し分類特徴（記述性特徴）をもとに、入力画像を分類し無効な手振りを排除して識別待ち手振りを取得し、引き続き識別待ち手振り分類結果に規則の区分性特徴を応用し、手振りの識別を完成させる。これにより、本発明中の分類器は、最終的手振り識別任務は負わず、無効な手振りの排除を自己の任務とし、無効な手振りを排除した分類器の分類結果に、規則の区分性特徴を用いて最終的手振り識別を行い、このようにして手振り識別結果の正確性が保証できると同時に、また誤メッセージも少なくすることができる。
【００２２】
＜２．実施例＞
＜2.1  手振り識別方法＞
図1は、本発明の一実施例による手振り識別方法の全体フローチャートを示したものである。図1に示すように、この実施例による手振り識別方法100は、手を含む目標場面の入力画像を取得し、当該入力画像中から手の画像を抽出するステップS110；分類器を利用して当該手の画像を分類し、これにより識別待ち手振りの分類結果を取得するステップS120；当該手の画像中から、規則特徴を抽出するステップS130；及び、当該識別待ち手振りの分類結果に前記規則特徴を応用し、これにより手振り識別結果を取得するステップS140を含むことができる。
【００２３】
具体的には、ステップS110で、カメラ、撮影機等により手を含む目標場面を撮影し、これにより目標場面の画像を取得し、当該画像に画像処理を行い、これにより、手をカバーできる局部画像を抽出することができる。例えば、撮影機で撮影した所定数の連続フレームの画像中で手の運動を追跡することにより手の領域を確定し、これにより当該手の領域の局部画像を抽出する。入力画像中から、所定の関心領域を抽出することは、当業者にとっては実現簡単なことで、使える方法は上記追跡方法に限られない。
【００２４】
例として、後続ステップで手の画像特徴を抽出しやすくするために、局部画像中から手の部分を分離し手の二値化シルエットを取得することとし、例えば、肌色モデル、深度に基づく閾値分割、あるいは領域拡張分析等の方法で手の二値化シルエットを取得できる。
【００２５】
例えば、図2は入力画像の例、ならびにその中から抽出した手の二値化シルエット画像を示した。当該二値化画像では、例えば、背景や手でない部分が影響する可能性のある如何なる要素も既に除去されているので、その中から正確に手自体の特徴を抽出するのに役立つ。もちろん、ここで述べた二値化シルエットは単に本発明の応用可能な手の画像の一例に過ぎず、本発明は他の如何なる適当な画像も用いることができる。
【００２６】
手の画像を抽出した後、ステップS120で、分類器を利用して当該手の画像を分類し、これにより識別待ち手振りの分類結果を取得する。ここで使用する分類器はあらかじめ訓練し終えた最適化分類戦略を有する分類器である。
【００２７】
分類戦略は通常、分類の数ならびに分類器の指定モデルの二つの面を含むことができる。例えば、3種の有効な手振りABCと一つの無効な手振りDの識別を例にすると、もし分類数が3とすると、少なくとも3種の異なる分類指定の組み合わせがあり、それぞれ｛AB，C，D｝、｛AC，B，D｝および｛A，BC，D｝となり、もし分類数が2なら、通常、指定モデルは｛ABC，D｝となる。本発明では、入力する手の画像の表す識別されるべき、あり得る手振りの（何故ならそれは必ずしも有効な手振りとは限らず、必ずしも手振りですらない可能性がある）分類器の分類を経て出力された分類結果は単なる中間結果、言い換えればいわゆる含意層の出力であり、当該識別されるべき、あり得る手振りが有効な手振り（即ち、識別待ち手振り）に分類されるか、あるいは無効な手振りに分類されるか、あるいは多種類の有効な手振りが存在する場合、どの種類の有効な手振りに属す可能性があるかを表しているに過ぎない。手振り識別の最終結果に至っては、その後更に規則によって判断し取得する必要がある。
【００２８】
ここに述べる識別待ち手振りとは分類器が有効と分類したが、規則により更に判定する必要のある部分の手振り、即ち分類器によって無効な手振りと分類されたもの以外の手振りの分類結果を指し、ここでは便宜上それを識別待ち手振りと呼ぶが、当業者はこれらの識別待ち手振りが、必ずしも最終的に有効な手振りに識別されるとは限らず、なお無効な手振りを含む可能性があり、規則により判断し、更に確定する必要があることをはっきりと理解しなければならない。言い換えれば、前記の識別待ち手振りは擬似識別待ち手振りでもある。
【００２９】
分類の数に似て、分類の指定モデルも独立したものではなく、分類器の分類実行時に利用する分類特徴の凝集性ならびに規則を分類結果に応用して取得する手振り識別結果に依存する。様々な分類戦略が分類特徴の凝集性の良し悪しに影響し更に最終的な識別結果に影響するが、この識別結果の良し悪しの評価もまた規則の分類に対する補完性の助けを借りて考察する必要があるため、分類器の分類戦略の設計と最適化は規則の使用効果を参考とする反復過程である。
【００３０】
分類器の具体的訓練および最適化過程は暫く後の部分で詳細に述べることとし、ここでは、最適化した分類戦略を有する分類器が既に取得されたと仮定して、当該分類器を応用してステップS110で取得した手の画像を分類し、これにより識別待ち手振りの分類結果を取得する。
【００３１】
具体的には、当該分類器を応用して手の画像を分類する時、当該手の画像中から分類特徴を抽出し、当該分類特徴を当該分類器に応用し、これにより識別待ち手振り分類結果を取得することができる。
【００３２】
分類特徴は分類器が手の画像を分類する時に用いる特徴であり、できる限り全面的に識別する必要のあるかも知れない全ての手振りを記述し、有効な手振りが誤って無効な手振りに分類され排除されることがなるべくないようにするため、ここで幾つかの全体的な記述性特徴を用いて分類特徴とすることができる。例えば、応用できる分類特徴には手輪郭コンベックスハル特徴、手輪郭フーリエ記述子特徴、手輪郭不変マトリックス特徴等のうちの少なくとも一つあるいは複数を含むことができる。
【００３３】
ステップS110で抽出した手の画像中から分類特徴を抽出した後、抽出した分類特徴を上記の最適化した分類戦略を有する分類器に応用すると、識別待ち手振りの分類結果を取得することができる。
【００３４】
分類器の分類結果として、上記のように、もし当該手の画像中に含まれる識別を要する手振りが一組の有効な手振りと分類されたならば、その後規則により判断し、更にそれが具体的に当該有効な手振りの組のうちのどの手振りに対応するかを識別する。もちろん、上記のように、ここでの識別待ち手振りは、それが、当該有効な手振りに分類された組の一つに識別されるとは必ずしも限らないことを表しており、ここで用いる分類器は弱分類器で、これは有効な手振りをなるべく誤って排除しないようにするためであるとはいえ、そのためもともと無効な手振りあるいは手振りが有効な手振りに分類される可能性がなお存在することとなる。
【００３５】
例えば、上記のような分類器が、{ABC，D}を指定モデルとし分類目標を2種類に分類する場合、抽出した手の画像の分類特徴により、当該識別待ち手振りの分類結果を1種類の有効な手振りABCとすることができる。
【００３６】
言い換えれば、分類器の分類を経て、無効な手振りあるいは手振りではないものを含む幾つかの手の画像を排除することができる。分類器により識別待ち手振りに分類されたそれらのあり得る手振りについては、更に規則により識別が確かに有効な手振りであるか否か、ならびにどの有効な手振りであるかを判断する必要がある。このため、ステップS130では、当該手の画像中から規則特徴を抽出する。
【００３７】
規則特徴とは規則判断を行う時に用いる規則の対応する特徴である。上記のように、一種類の手振りの間で区別ができるように、明らかに区分性を有する幾つかの強規則を用いることができる。上記の全体的分類特徴を補完するために、規則特徴は局部特徴であってよい。例えば、用いることのできる規則特徴には手の画像中の指の本数、指の長さ、指の指す方向、二つの指の間の夾角等のうちの一つあるいは幾つかを含むことができる。
【００３８】
手の画像の規則特徴を抽出した後、ステップS140において、ステップS130中で取得した当該識別待ち手振り分類結果に抽出した規則特徴を応用し、手振り識別の最終結果を取得することができる。言い換えれば、もし当該手の画像中から抽出した規則特徴がステップS120で分類して得られた一種類の識別待ち手振りのうちのどの手振りであれマッチングされるなら、当該手の画像中に含まれる、あり得る手振りは当該手振りであると識別する。他方、もし当該手の画像中から抽出した規則特徴が、当該識別待ち手振りのうちのどの一つの手振りでさえもマッチングされないなら、当該手の画像中に含まれる、あり得る手振りを無効な手振りに識別する。
【００３９】
これにより、本実施例の手振り識別方法100によれば、分類器を利用して手の画像を分類し、これにより無効な手振りを排除し識別待ち手振り分類結果を取得し、引き続き識別待ち手振り分類結果に規則特徴を応用し手振りの最終識別を完成する。当該方法は弱分類器と強規則判定技術を融合したもので、分類器は各種手振りの最終識別に直接用いることはせず、全体的特徴基礎の上に構築する弱分類器とし、大多数の無効な手振りは分類器のフィルタリング機能により排除され、また同時に有効な手振りは最小限の漏れで分類器を確実に通過できるようにする。その後、強規則を分類器の識別待ち手振り分類結果に作用させ、更に各種の様々な手振りを区分する。これにより、規則特徴と分類器特徴のメリットが相互に補完し合い、手振り識別の正確性を高めると同時に誤判定の可能性を下げ、静態手振りのロバストな識別を実現する。
【００４０】
＜2.2  分類器の最適化＞
具体的な手振り識別に適合する最も優れた分類器を取得するために、機械学習技術により分類器を訓練し、かつ分類結果に対する評価により分類戦略を調整し、これにより最適化された分類器を取得することができる。
【００４１】
分類器を設計する時、分類特徴と後続識別中に用いる規則は当該分類器に先立って確定しておく必要があり、これは分類器の最適化がこれらの特徴と規則をもとにしているからである。このため、当業者の分類特徴と規則特徴に対する先験的知識をもとに、所定の分類戦略を有する分類器を設計し、反復評価により分類器の最適化された設計を完成することができる。
【００４２】
以下、図3を参考に分類器の最適化例の方法を説明する。図3は分類器を最適化する方法例のフローチャートを示した。図3に示すように、当該最適化方法は以下のステップ、即ち、訓練サンプル集を利用して所定の分類戦略を有する分類器を訓練するステップS310；テストサンプル集を訓練する分類器に応用しこれによりサンプル分類結果を取得するステップS320；所定の規則特徴を前記サンプル分類結果に応用し、これによりサンプル手振り識別結果を取得するステップS330；及び、前記サンプル手振り識別結果をもとに当該分類器の分類戦略を最適化するステップS340を含むことができる。
【００４３】
ステップS310で、あらかじめ正のサンプルと負のサンプルを有するサンプル集を準備する。例えば、あらかじめ100個のサンプルを含むサンプル集を準備し、そのうち80個のサンプルを訓練サンプルに用い、その残りの20個のサンプルをその後に必要なテストサンプルに用いるが、もちろん、これは単なる例に過ぎず、当業者は必要に応じてサンプルを選択することができる。
【００４４】
機械学習技術用訓練サンプルにより所定の分類戦略を有する分類器を訓練する。その後、ステップS320で、テストサンプル集をステップS310で訓練した分類器に応用し、これによりサンプル分類結果を取得する。上記のように、様々な分類戦略が分類特徴の凝集性の良し悪しに影響し、更に最終的な識別結果に影響し、識別結果の良し悪しの評価は規則の分類に対する補完性の助けを借りて考察する必要があるため、ステップS330で、当該所定の規則特徴をステップS320で取得したサンプル分類結果に応用し、テストサンプルに手振り識別を行う。これにより、ステップS340で、サンプル手振り識別結果をもとに当該分類器の分類戦略を最適化することができる。
【００４５】
具体的には、テストサンプルの手振り識別結果が正確か否かを評価し、評価結果により分類器の分類戦略を調整する必要があるか否かを決定することができる。評価はテストサンプルの手振り識別結果の混同マトリックスをもとに行うことができる。混同マトリックス中には各テストサンプルに対する予想サンプル識別結果ならびに実際の識別結果を記録してある。
【００４６】
図4は、混同マトリックスの一例を示した。例えば、図4に示すように、入力した無効な手振りのサンプルについて、それが無効な手振りに識別される確率は95.1%、親指上向き手振りに識別される確率は1.8%、親指下向き手振りに識別される確率は3.0%である。
【００４７】
評価時に、例えば、もし各手振りの正確な識別率が全て第一所定閾値（例えば90%）以上、かつ識別漏れ率が全て第二所定閾値（例えば10%）以下、あるいは誤メッセージ率が全て第三所定閾値（例えば5%）以下に達していれば、このような手振り識別結果は満足できるものであると考え、この時は分類戦略の調整を必要としない。そうでなく、もし評価して手振り識別結果が人を満足させるものでないと考えれば、分類器の分類戦略の調整、即ち分類の数及び／または分類の指定モデルを調整し、調整後の分類戦略を有する分類器に上記のステップS310-S340を継続実行し、これにより得られた分類戦略が満足できる手振り識別結果を取得できるまで分類戦略を最適化することができる。
【００４８】
言い換えれば、上記例で、分類器の最適化は、「調整−訓練−評価」の反復過程でよい。しかし、実際には、もし当業者が使いたい分類特徴と規則特徴を十分に理解し、それら各々のメリット、デメリット及びその補完性を熟知していれば、分類器の分類戦略を直接設計し、反復過程による必要もなく分類器の最適化を行うことができる。
【００４９】
ここでは、本分野で熟知されている各種分類器、例えば、決定木分類器、ランダムフォレスト分類器、パーセプトロン分類器、ニューラルネットワーク分類器、あるいはSVM分類器等を用いることができる。かつ、ここで述べる分類器は広義の分類器で、他の幾つかの分類手段、例えばテンプレートマッピング技術により分類する分類手段も含むことができる。
【００５０】
この分類器の設計は独立して行われるものではなく、規則の使用効果を参照することにより、規則の強化判断を経た後に分類結果が正確な識別結果を出力できるようにする。
【００５１】
この分類器最適化方法により、最適化した分類戦略を有する分類器を取得することができ、当該分類器は直接各種の手振りの最終識別のために設計されるのではなく、全体的特徴基礎の上に構築され機械学習により得られる弱分類器とし、これにより大多数の無効な手振りが分類器のフィルタリングにより排除され、同時にまた有効な手振りが最小限の漏れで確実に分類器を通過できるようにする。
【００５２】
＜2.3  手振り識別方法の応用例＞
以下、図5〜図9を参考に、本発明の手振り識別方法を応用して、5種の有効な手振りを識別する具体例を説明する。
【００５３】
図5の(a)〜(b)は、5種の有効な手振り及びそれの相応する二値化シルエット画像の例を示す。図5の(a)は5種の識別可能な手振りの例を示し、左から右へそれぞれ、左指し手振り（GA）、右指し手振り（GB）、親指上向き手振り（GC）、親指下向き手振り（GD）、及び掌オープン手振り（GE）であり、左指し手振り（GA）と右指し手振り（GB）は方向指示に用いることができ、親指直立手振り（GC）と親指下向き手振り（GD）は「Nice」あるいは「Bad」で個人の観点をあらわすのに用い、掌オープン手振り（GE）は停止あるいは禁止等を理解することができ、図5の(b)は入力画像中から抽出し、この5種の手振りにそれぞれ対応する二値化シルエット画像の例を示した。
【００５４】
説明の便宜上のために、（GF）で上記5種の手振りに属さない他の全ての入力画像を表す。言い換えれば、以上の5種の手振りを有効な手振りと理解し、（GF）を無効な手振りとして入力する。
【００５５】
図6は、上記5種の手振りに対する手振り識別過程の概念図を示した。
【００５６】
図6に示すように、ステップS00で、手を含む目標場面の画像を入力する。ステップS01で、手の二値化シルエット画像を抽出する。ステップS02で、当該手の二値化シルエット画像の分類特徴を抽出する。
【００５７】
本例で、指の本数と指の向きはこの5種の手振りの区別において顕著な働きと重要な意義を有しているため、強規則として使用することができる。これらの規則が全て局部的特徴であることを考慮すると、このため幾つかの全体的特徴を選択し分類の記述特徴とすることができる。具体的には、手の画像の二値化シルエット画像上から次のような2種類の特徴、手輪郭コンベックスハル特徴及び手輪郭フーリエ記述子特徴を抽出することができる。
【００５８】
手輪郭コンベックスハル特徴については、コンベックス線の長さと手輪郭線の長さの比（r1と表す）、ならびにコンベックス面積と手輪郭面積の比（r2と表す）の2個の特徴量を計算することができる。
【００５９】
手の輪郭にフーリエ変換を行うことにより、手輪郭フーリエ記述子を得ることができ、それは各種確率の手の輪郭形状を記述する係数を含むが、ここでは一部の低頻度係数を抽出して手の輪郭形状を表すことができ、例えば、10個の低周波係数、f0、f1、f2、f3、f4、f5、f6、f7、f8、f9を用いることができる。
【００６０】
この2種類の分類特徴は一つの特徴ベクトルを構成することができ、F｛r1，r2，r3，r4，r5，r6，r7，r8，r9｝と書く。先験的知識により、当該特徴ベクトルF｛r1，r2，r3，r4，r5，r6，r7，r8，r9｝は、回転、平行移動及び拡大縮小変換に対し特徴不変特性を有し、掌形状の全体特徴を反映し、上記の強規則と補完関係を形成することが分かる。
【００６１】
ステップS03で、当該手の画像をあらかじめ訓練した分類器に応用し、これにより識別待ち手振りの分類結果を取得する。ここで、上記の特徴ベクトルF｛r1，r2，r3，r4，r5，r6，r7，r8，r9｝は、回転、平行移動及び拡大縮小変換に対し、不変特性を有するので、4種の手振り（GA）、（GB）、（GC）、（GD）に対して極めて相似した特徴を有する。この先験的知識に基づき、分類器を設計する時に、分類指定戦略を直接指定して分類器を直接訓練することができる。従ってここで分類する数は3で良く、分類の指定モデルは｛CA，CB，CC｝で良く、それぞれ｛（GA）（GB）（GC）（GD），（GE），（GF）｝に対応する。手振り（GA）、（GB）、（GC）、（GD）を1種類のCAに分け、分類特徴の分類時の凝集性をより有効に利用する。分類数が幾つかに拘わらず、最終的に大部分の無効な入力画像CCは最初に分類器により除去され、残りのCAとCBの2種類の手振りはその後の規則により判断され、更に識別される。ここで、分類器が二分した弱分類器の効果を上げていることも見て取れる。このため、別の一実施例では、分類数を2とする、即ち上記5種の有効な手振りを1種類にまとめ、有効でない手振りを1種類にまとめることもできる。
【００６２】
ステップS04では、当該手の画像中から規則特徴を抽出する。ここでは指の本数ならびに指の相対方向を用いて規則特徴とすることができる。手の画像中の指の本数を検出するために、先に指先の位置を検出することができる。指先の位置の検出は手の輪郭の曲率をもとに計算する。
【００６３】
最初に、全ての擬似指先の可能性のある候補位置を探すが、通常、これらの候補位置はコンベックスの頂点にある。図6に指先候補位置点P0の例を示した。
【００６４】
その後、手の輪郭線上にある、当該指先に近い候補位置点p0、かつそれぞれ当該候補位置点p0の両側に位置する二つの点、p1とp2を選択し、2点間の位置関係をもとに各候補位置点の曲率を計算し、以下の公式（1）−（3）のように表す。
【００６５】
v1＝P1−P0                              （1）
v2＝P2−P0                              （2）
Cur＝acos(v1・v2／(|v1|*|v2|))          （3）
式中、v1はp1点からp0点までのベクトルを表し、v2はp2点からp0点までのベクトルを表し、P0、P1及びP2は、それぞれp0、p1及びp2点の位置座標ベクトルであり、Curは当該候補位置点p0の場所の曲率値を表す。
【００６６】
あらかじめ一つの曲率閾値Ctを設定することにより手の当該候補位置点が指先であるか否かを確定することができる。もしCur<Ctであれば、Curの対応する候補位置点p0が指先の位置に取られ、そうでなければ取られない。
【００６７】
指の輪郭に比較的大きなノイズがあるため、上記10個の低周波フーリエ記述子にフーリエ逆変換を行って指の輪郭線を再建し、再建した指の輪郭線上で上記の指先の位置計算を行うが、これは再建した輪郭線の方が元の輪郭に比べより滑らかなためである。
【００６８】
これにより、検出した指先の位置をもとに、指の本数を確定することができる。その後、ステップS05で、指の相対方向を検出する。
【００６９】
1本の指しか検出されない時は、手の重心点を取り出すことにより指の相対方向を確定させることができる。具体的には、手の重心点を中心に手の画像全体の2次元空間を4個の領域に分割する。
【００７０】
図7は、手の画像の領域分割の例を示した。図7に示すように、この4個の領域は、それぞれA、B、C及びDと標記される。指先がどの領域に位置するかを検出することにより指の相対方向が確定でき、これによりステップS06で上記指の本数と指の相対方向を応用して規則特徴とし手振りを識別することができる。
【００７１】
図8は表の形式で手振り識別規則の例を提示する。図8に示すように、1本の指だけを検出した時、もし当該指先の位置が領域Aに位置していれば、親指上向き手振りと判定する。その他の場合に、もし当該指先が領域B、C、あるいはDに位置していれば、それぞれ親指下向き手振り、左指し手振り、ならびに右指し手振りと判定する。もちろん、もし4本より多いか等しい指の数を検出したならば、それ以上指の相対方向を検出する必要はなく禁止の手振りと判定する。
【００７２】
図9はこの手振り識別例におけるデータフローを示した。図9に示すように、入力した手の画像については、分類器を経て識別待ち手振り（G01）あるいは無効な手振り（G02）に分類される可能性があり、当該識別待ち手振り（G01）に対し更に規則判断を行い、これにより有効な手振り（G011、それはA、B、C、DないしEで良い）あるいは無効な手振り（G012）に識別される。
【００７３】
もちろん、以上は単なる例に過ぎず、具体的な応用時に、識別できる手振りは上記の5種に限られず、他の如何なる可能な手振りでも良く、同時に採用する分類特徴と規則特徴も具体的な識別待ち手振りによって変化できる。
【００７４】
その他、実際の応用に当たっては、通常、目標場面の映像を捕捉して静態手振り識別を行うので、本発明による手振り識別方法を応用する時は、捕捉した映像中の所定フレーム数の画像により、投票原則を応用して手振り識別を行うことができる。具体的には、例えば、連続したKフレームの入力画像について、もし前記Kフレームの入力画像中にMフレームの手振り識別結果が一致したならば、当該Mフレームの手振り識別結果を当該Kフレームの入力画像中の手振り識別結果と確定することとし、KとMは所定の正の整数で、かつK＞Mである。
【００７５】
例えば、上記5種の手振りを識別する本例において、映像捕捉速度を毎秒30フレームとする時、もし本発明実施例の手振り識別方法により連続した10フレームの入力画像中に手振り識別結果の一致する8フレーム以上の画像を識別した結果が一致した場合、当該手振り識別結果が当該連続10フレームの入力画像中の手振り識別結果であると考える、「8／10」準則を用いることができる。この時、誤メッセージ率は0に近く、手振り識別精度は99%より大きくなる。もちろん、この投票準則はただの例に過ぎず、当業者は具体的な応用状況を見てそれを調整することができる。
【００７６】
＜2.4  手振り識別装置＞
以下、図10を参考にして本発明の別の一実施例による手振り識別装置を説明する。図10は当該手振り識別装置の機能ブロック図を示した。図10に示すように、当該手振り識別装置1000は、手を含む目標場面の入力画像を取得し当該入力画像中から手の画像を抽出する取得部1010；分類器を利用して当該手の画像を分類し、これにより識別待ち手振りの分類結果を取得する分類部1020；当該手の画像中から規則特徴を抽出する特徴抽出部1030；及び、当該識別待ち手振りの分類結果に前記規則特徴を応用し、これにより手振り識別結果を取得する識別部1040を含むことができる。
【００７７】
当該特徴抽出部1030は当該手の画像中から分類特徴を抽出することができ、かつ当該分類部1020は当該特徴抽出部1030の抽出した分類特徴を当該分類器に応用し、これにより識別待ち手振り分類結果を取得することができる。
【００７８】
当該特徴抽出部1030の抽出した分類特徴は手輪郭コンベックスハル特徴、手輪郭フーリエ記述子特徴、手輪郭不変マトリックス特徴の少なくとも一つを含むことができる。当該特徴抽出部1030の抽出した規則特徴には指の本数、指の長さ、指の指す方位、指の間の相対位置、二本の指の間の夾角の少なくとも一つを含むことができる。
【００７９】
当該手振り識別装置は、規則特徴を利用して分類戦略を最適化することにより当該分類器を取得するために用いる最適化部（未表示）も含むことができ、当該分類戦略には分類の数、ならびに分類の指定戦略を含むことができる。当該最適化部は以下の反復過程、即ち、訓練サンプル集を利用して、所定の分類戦略を有する分類器を訓練する過程、サンプル集の評価を訓練する分類器に応用し、これによりサンプルの分類結果を取得する過程、所定の規則特徴を前記サンプルの分類結果に応用し、これによりサンプル手振り識別結果を取得する過程、前記サンプルの手振り識別結果をもとに当該分類器の分類戦略を最適化する過程を行うために配置することができる。
【００８０】
当該分類器は、決定木分類器、ランダムフォレスト分類器、パーセプトロン分類器、ニューラルネットワーク分類器、あるいはSVM分類器でよい。あるいは、当該分類器はテンプレートマッピング分類技術を用いてもよい。
【００８１】
選択的に、当該入力画像は、連続したKフレームの入力画像を含む選択をすることができ、かつもし前記Kフレームの入力画像中に一致するMフレームの手振り識別結果があれば、当該識別部は当該Mフレームの手振り識別結果を当該Kフレームの入力画像中の手振り識別結果と確定し、KとMは所定の正の整数で、かつK＞Mである。
【００８２】
当該手振り識別装置1000の取得部1010、分類部1020、特徴抽出部1030、及び識別部1040の具体的な操作過程は、以上の方法100中のステップS110〜S140での説明を参考にすることができ、ここで繰り返し述べることはしない。
【００８３】
本発明のこの実施例による手振り識別装置1000は、分類器を利用して手の画像を分類し、これにより無効な手振りを排除し、識別待ち手振りの分類結果を取得し、引き続き識別待ち手振りの分類結果に規則特徴を応用し手振りの最終識別を完成する。当該方法は弱分類器と強規則判定技術を融合したもので、分類器は各種手振りの最終識別に直接用いることはせず、全体的特徴基礎の上に構築する弱分類器とし、大多数の無効な手振りは分類器のフィルタリング機能により排除され、また同時に有効な手振りは最小限の漏れで分類器を確実に通過できるようにする。その後、強規則を分類器の識別待ち手振り分類結果に作用させ、更に各種の様々な手振りを区分する。これにより、規則特徴と分類器特徴のメリットが相互に補完し合い、手振り識別の正確性を高めると同時に、誤判定の可能性を下げ、静態手振りのロバストな識別を実現することができる。
【００８４】
＜2.5  手振り識別システム＞
続いて、図11を参考に、本発明の一実施例による手振り識別システムを実現するハードウェア配置を説明する。図11に示すように、手振り識別システム1100は、外部から手振り識別を行おうとする画像あるいは映像等を入力するために用い、例えば、キーボード、マウス、ならびに通信ネットワークおよびその接続するリモート入力装置等が含まれる入力装置1110；上記の本発明実施例に従った手振り識別方法の実施、あるいは上記の本発明実施例に従った手振り識別装置の実施に用い、例えばコンピュータのCPUあるいは処理能力を有する他のチップ等が含まれ、インターネット・ネットワーク（未表示）に接続でき、処理プロセスの必要によりネットワークから必要なデータ等を取得する処理装置1120；外部に上記手振り識別結果、即ち当該入力画像中で識別した具体的な手振りの出力、あるいは無効な手振りのアラーム等の出力に用い、例えば、ディスプレイ、プリンタ、ならびに通信ネットワークおよびその接続するリモート出力装置等が含まれる出力装置1130；ならびに揮発性あるいは非揮発性方式で、上記処理過程に関係する画像、データ、取得した結果、命令、ならびに中間データ等を保存するのに用い、例えば、ランダムアクセスメモリー（RAM）、読み取り専用メモリー（ROM）、ハードディスク、あるいは半導体メモリー等の各種揮発性または非揮発性メモリーが含まれるメモリー装置1140を含む。
【００８５】
もちろん、簡略化のため、図11には当該システム中、本発明に関係するモジュールの一部しか示しておらず、例えば、バス、入力／出力インタフェイス等のモジュールは省略した。これ以外に、具体的な応用状況に応じて、システム1100は他の如何なる適当なモジュールも含むことができる。
【００８６】
＜３.まとめ＞
本発明により、手を含む目標場面の入力画像を取得し、当該入力画像中から手の画像を抽出し、分類器を利用して手の画像を分類し、これにより識別待ち手振り分類結果を取得し、当該手の画像中から規則特徴を抽出し、当該識別待ち手振り分類結果に前記規則特徴を応用し、これにより手振り識別を取得する手振り識別方法、装置及びシステムを提供した。これは弱分類器と強規則判定技術を融合したもので、分類器は各種手振りの最終識別に直接用いることはせず、大多数の無効な手振りは分類器のフィルタリング機能により排除されるようにするため、全体的特徴の基礎の上に構築する弱分類器とし、また同時に有効な手振りは最小限の漏れで分類器を確実に通過できるようにする。その後、強規則を分類器の識別待ち手振り分類結果に作用させ、更に各種の様々な手振りを区分する。これにより、規則特徴と分類器特徴のメリットが相互に補完し合い、手振り識別の正確性を高めると同時に誤判定の可能性を下げ、静態手振りのロバストな識別を実現することができる。
【００８７】
以上、既に添付図を参考にしながら本発明の実施例による手振り識別方法と装置を詳細に説明した。本公開で言及した装置、装置、システムのブロック図は、ただの例に過ぎず、かつ必ずブロック図に示された方式で接続、アレンジ、配置しなければならないと要求し、あるいは暗示する意図はない。当業者なら知り得るように、任意の方式でこれらの装置、装置、システムを接続、アレンジ、配置することができる。例えば、「含む」、「包含する」、「有する」等の言葉はオープンな意味の言葉で、「含むがこれに限らない」ことを指し、互いに置き換えて使用できる。ここで使用する言葉、「あるいは」と「及び」は「及び／または」の言葉を指し、前後の文から明らかにこれと違うことを指していない限り、互いに置き換えて使用できる。ここで使用する言葉、「例えば」は「例えば、しかしこれに限らない」というフレーズを指し、互いに置き換えて使用できる。
【００８８】
本公開のステップフローチャートならびに以上の方法の説明はただの例に過ぎず、かつ必ず提示された順序で各実施例のステップを行わなければならないと要求し、あるいは暗示する意図はない。当業者なら知り得るように、任意の順序で以上の実施例のステップの順序を行うことができる。例えば、「その後」、「それから」、「続いて」等の言葉は、ステップの順序を限定する意図はなく、これらの言葉は、ただ読者にこれらの方法の説明を通読させるために用いているだけである。この他、例えば冠詞、「一つの」、「一」あるいは「当該」の使用は、単数的要素の如何なる引用についても当該要素を単数に限定するものと解釈されてはならない。
【００８９】
提案の公開した面における以上の説明は、如何なる当業者にも本発明を行い、あるいは使用できるようにさせるものである。これらの面に対する各種修正も、当業者にとっては極めて見やすいものであり、ここで定義された一般原理は他の面に応用できるが本発明の範囲から外れるものではない。このため、本発明はここに示した面に限定する意図はなく、ここに公開した原理と新規的な特徴に一致する最も広い範囲に従うこととなる。
【図１】
2017027600.tif 000003
【図２】
2017027600.tif 000004
【図３】
2017027600.tif 000005
【図４】
2017027600.tif 000006
【図５】
2017027600.tif 000007
【図６】
2017027600.tif 000008
【図７】
2017027600.tif 000009
【図８】
2017027600.tif 000010
【図９】
2017027600.tif 000011
【図１０】
2017027600.tif 000012
【図１１】
2017027600.tif 000013