(57)【要約】【課題】  ２次元画像データに基づく認識処理と３次元画像データに基づく認識処理との互いの利点を生かした形状認識を行なう。【解決手段】  計算機４は、被写体の２次元画像データを入力する２次元画像データ入力部４０１と、被写体の３次元画像データを入力する３次元画像データ入力部４０２と、２次元画像データに基づいて、被写体の一部又は全部の形状を認識する第１の認識部４０７と、３次元画像データに基づいて、被写体の一部又は全部の形状を認識する第２の認識部４０８と、第１の認識部４０７による認識結果及び第２の認識部４０８による認識結果のうちの何れか一方を選択する選択部４１０とを備える。【選択図】  図２
2007241833.tif 000002
【特許請求の範囲】
【請求項１】
被写体の２次元画像データを入力する第１の入力手段と、
前記被写体の３次元画像データを入力する第２の入力手段と、
前記２次元画像データに基づいて、前記被写体の一部又は全部の形状を認識するとともに、前記３次元画像データに基づいて、前記被写体の一部又は全部の形状を認識する認識手段と、
前記２次元画像データに基づく認識結果及び前記３次元画像データに基づく認識結果のうちの何れか一方を選択する選択手段とを有することを特徴とする認識装置。
【請求項２】
前記２次元画像データに基づく認識処理と前記３次元画像データに基づく認識処理との夫々について、認識が成功したか否かを判定する判定手段を更に有し、
前記選択手段は、前記判定手段による判定の結果に応じて、前記２次元画像データに基づく認識結果及び前記３次元画像データに基づく認識結果のうちの何れか一方を選択することを特徴とする請求項１に記載の認識装置。
【請求項３】
前記選択手段は、前記２次元画像データに基づく認識結果及び前記３次元画像データに基づく認識結果のうち、前記判定手段により先に認識が成功したと判定された方の認識結果を選択することを特徴とする請求項２に記載の認識装置。
【請求項４】
前記２次元画像データに基づく認識処理が成功したか否かを判定する判定手段を更に有し、
前記認識手段は、前記判定手段により前記２次元画像データに基づく認識処理が失敗したと判定された場合、その時点までに入力されている３次元画像データのうち最も新しい３次元画像データに基づいて前記被写体の一部又は全部の形状を認識し、前記選択手段は、前記３次元画像データに基づく認識結果を選択することを特徴とする請求項１に記載の認識装置。
【請求項５】
前記３次元画像データは、前記３次元画像データを生成可能な３次元画像データ生成装置により生成されるデータであることを特徴とする請求項１乃至４の何れか１項に記載の認識装置。
【請求項６】
前記２次元画像データは、カメラにより生成されるデータであることを特徴とする請求項１乃至５の何れか１項に記載の認識装置。
【請求項７】
被写体の２次元画像データを生成する１台以上の第１の外部装置、前記被写体の３次元画像データを生成する１台以上の第２の外部装置、並びに、前記第１の外部装置及び前記第２の外部装置と通信回線を介して接続される認識装置を備える認識システムであって、
前記認識装置は、
前記第１の外部装置から前記２次元画像データを入力する第１の入力手段と、
前記第２の外部装置から前記３次元画像データを入力する第２の入力手段と、
前記２次元画像データに基づいて、前記被写体の一部又は全部の形状を認識するとともに、前記３次元画像データに基づいて、前記被写体の一部又は全部の形状を認識する認識手段と、
前記２次元画像データに基づく認識結果及び前記３次元画像データに基づく認識結果のうちの何れか一方を選択する選択手段とを有することを特徴とする認識システム。
【請求項８】
認識装置による被写体の形状認識方法であって、
被写体の２次元画像データを入力するとともに、前記被写体の３次元画像データを入力する入力ステップと、
前記２次元画像データに基づいて、前記被写体の一部又は全部の形状を認識するとともに、前記３次元画像データに基づいて、前記被写体の一部又は全部の形状を認識する認識ステップと、
前記２次元画像データに基づく認識結果及び前記３次元画像データに基づく認識結果のうちの何れか一方を選択する選択ステップとを含むことを特徴とする形状認識方法。
【請求項９】
請求項８に記載の形状認識方法をコンピュータに実行させるためのプログラム。
【請求項１０】
請求項９に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人間の手の形状等を認識可能な認識装置、認識システム、形状認識方法、プログラム及びコンピュータ読み取り可能な記録媒体に関するものである。
【背景技術】
【０００２】
人間の身振り手振りによるジェスチャを計算機やロボットの入力とするインタフェースは、障害者だけでなく健常者にとってもスマートなインタフェースである。ジェスチャ認識は、１台又は複数台のカメラを用いた方式や、データグローブ等のデバイスを用いた方式が提案されている。
【０００３】
従来技術として、先ずカメラを用いたジェスチャ認識については、カメラ単体又はカメラと音声認識機能とを併用した様々な方式のインタフェースが提案されている。また、３次元スキャナを用いた認識についてもいくつか見られるが、現状の３次元スキャナは形状の取得に時間を要するため、関節を多く含み、形状の自由度が高い手形状等の認識にはそれほど用いられない。
【０００４】
一方、カメラによるジェスチャ認識は、単純な背景でなければならない、背景に動きを含んではならない、認識対象以外に肌色を含んではならない等、背景に関する制約が強い。また、複数のカメラを用いる方式は、複数のカメラの間にある程度の距離を必要とする。
【０００５】
【特許文献１】特開平１０−３０１６７５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
このため、本発明者は３次元スキャナを用いて手形状を認識する方式を提案し、複雑な背景のもとでも、日本語５０音指文字を高精度に認識できることを確認した。しかしながら、現状の３次元スキャナ単体では、形状取得にある程度の時間を要するため、動きを伴う指文字、ジェスチャを認識することが難しい。
【０００７】
そこで、本発明の目的は、２次元画像データに基づく認識処理と３次元画像データに基づく認識処理との互いの利点を生かした形状認識を行なうことにある。
【課題を解決するための手段】
【０００８】
本発明の認識装置は、被写体の２次元画像データを入力する第１の入力手段と、前記被写体の３次元画像データを入力する第２の入力手段と、前記２次元画像データに基づいて、前記被写体の一部又は全部の形状を認識するとともに、前記３次元画像データに基づいて、前記被写体の一部又は全部の形状を認識する認識手段と、前記２次元画像データに基づく認識結果及び前記３次元画像データに基づく認識結果のうちの何れか一方を選択する選択手段とを有することを特徴とする。
本発明の認識システムは、被写体の２次元画像データを生成する１台以上の第１の外部装置、前記被写体の３次元画像データを生成する１台以上の第２の外部装置、並びに、前記第１の外部装置及び前記第２の外部装置と通信回線を介して接続される認識装置を備える認識システムであって、前記認識装置は、前記第１の外部装置から前記２次元画像データを入力する第１の入力手段と、前記第２の外部装置から前記３次元画像データを入力する第２の入力手段と、前記２次元画像データに基づいて、前記被写体の一部又は全部の形状を認識するとともに、前記３次元画像データに基づいて、前記被写体の一部又は全部の形状を認識する認識手段と、前記２次元画像データに基づく認識結果及び前記３次元画像データに基づく認識結果のうちの何れか一方を選択する選択手段とを有することを特徴とする。
本発明の形状認識方法は、認識装置による被写体の形状認識方法であって、被写体の２次元画像データを入力するとともに、前記被写体の３次元画像データを入力する入力ステップと、前記２次元画像データに基づいて、前記被写体の一部又は全部の形状を認識するとともに、前記３次元画像データに基づいて、前記被写体の一部又は全部の形状を認識する認識ステップと、前記２次元画像データに基づく認識結果及び前記３次元画像データに基づく認識結果のうちの何れか一方を選択する選択ステップとを含むことを特徴とする。
本発明のプログラムは、前記形状認識方法をコンピュータに実行させることを特徴とする。
本発明のコンピュータ読み取り可能な記録媒体は、前記プログラムを記録したことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、２次元画像データに基づく認識結果と３次元画像データに基づく認識結果との何れか一方を選択できるように構成しているので、２次元画像データに基づく認識処理と３次元画像データに基づく認識処理との互いの利点を生かした形状認識を行なうことが可能である。
【発明を実施するための最良の形態】
【００１０】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
【００１１】
−第１の実施形態−
図１は、本発明の第１の実施形態に係るジェスチャ認識システムの構成例を示す図である。図１において、１は、本実施形態に係るジェスチャ認識システムによりジェスチャが認識される例えば人間等のジェスチャ認識対象である。以下では、ジェスチャ認識対象１として人間の手を例に挙げて説明するが、人間に限定されないことは勿論である。
【００１２】
本ジェスチャ認識システムでは、人間の手１の部分（図１の破線内）を対象としてジェスチャの認識が行なわれる。２は、人間の手１の部分を含む範囲を撮影し、静止画又は動画の２次元画像データを生成するカメラである。３は、人間の手１に対してレーザ光線を照射し、その反射を検出することにより、手の３次元画像データを生成する３次元スキャナである。４は、カメラ２から入力される２次元画像データ又は３次元スキャナ３から入力される３次元画像データに基づいて、人間の手１の形状を認識する例えばパーソナルコンピュータ等の計算機である。５は、カメラ２及び３次元スキャナ３をそれぞれ計算機５と接続するためのシステムインタフェースであり、ＳＣＳＩ(Small Computer System Interface)等が適用される。なお、図１では、カメラ２及び３次元スキャナ３を夫々１台ずつ配置した構成を示しているが、本発明は、カメラ２と３次元スキャナ３との台数に制限はなく、カメラ２と３次元スキャナ３との任意の配置台数の組合せに適用可能である。
【００１３】
図２は、計算機４の機能的な構成を示すブロック図である。図２に示すように、計算機４は、その機能構成として、２次元画像データ入力部４０１、３次元画像データ入力部４０２、第１の手形状抽出部４０３、第２の手形状抽出部４０４、第１の特徴パラメータ抽出部４０５、第２の手形状抽出部４０６、第１の認識部４０７、第２の認識部４０８、判定部４０９及び選択部４１０を備える。
【００１４】
２次元画像データ入力部４０１は、人間１の手の静止画又は動画の２次元画像データをカメラ２から入力する。３次元画像データ入力部４０２は、人間１の手の３次元画像データを３次元スキャナ３から入力する。
【００１５】
第１の手形状抽出部４０３は、例えば遺伝的プログラミング（ＧＰ）により自動設計された画像フィルタ機能を用いて２次元画像データから肌色領域を検出し、手の形状を抽出する。
【００１６】
第２の手形状抽出部４０４は、３次元スキャナ３のピクセル毎に３次元スキャナ３から手までの距離を求め、ピクセル毎の距離データを生成する。そして、第２の手形状抽出部４０４は、それらの距離データと３次元画像データから手の距離画像データを生成して手の形状を抽出する。
【００１７】
第１の特徴パラメータ抽出部４０５は、第１の手形状抽出部４０３により抽出された手の形状から第１の特徴パラメータを抽出する。ここでは、第１の特徴パラメータとして、第１の手形状抽出部４０３により抽出された手の形状における指の数及び手の向きが抽出されるものとする。
【００１８】
第２の特徴パラメータ抽出部４０６は、第２の手形状抽出部４０４により抽出された手の形状から特徴パラメータを抽出する。ここでは、第２の特徴パラメータとして、指の数及び手の向きが抽出されるものとする。
【００１９】
第１の認識部４０７は、第１の特徴パラメータ抽出部４０５により抽出された第１の特徴パラメータから２次元画像データに含まれる手の形状を認識する。
【００２０】
第２の認識部４０８は、第２の特徴パラメータ抽出部４０６により抽出された第２の特徴パラメータから３次元画像データに含まれる手の形状を認識する。
【００２１】
本実施形態における第１の認識部４０７又は第２の認識部４０８では、手の形状を認識することによってその形状によって表される指文字まで認識するものとする。他の実施形態として、認識の結果として指文字に限られるものではなく、手のジェスチャによる他の意味を認識することもできる。また、認識対象は人間の手に限られず、人間のその他の体の一部又は体全体、或いは人間以外のものでも認識対象とすることもできる。なお、指文字とは、手の指の曲げ伸ばし等により文字や数字を表現するものであり、アルファベット２６文字や日本語から五十音等を表現することができる。
【００２２】
判定部４０９は、第１の認識部４０７による認識処理と第２の認識部４０８による認識処理との夫々について、認識が成功したか否かを判定する。
【００２３】
選択部４１０は、判定部４０９による判定結果に応じて、第１の認識部４０７による認識処理及び第２の認識部４０８による認識処理のうちの何れか一方を選択（採用）する。例えば、判定部４０９により、第２の認識部４０８の認識処理より第１の認識部４０７の認識処理に対して先に認識が成功したと判定された場合、第１の認識部４０７による認識処理の結果を選択（採用）する。反対に、第１の認識部４０７の認識処理より第２の認識部４０８の認識処理に対して先に認識が成功したと判定された場合、第２の認識部４０８による認識処理の結果を選択（採用）する。
【００２４】
図３は、計算機４のハードウェア構成を示すブロック図である。ＣＰＵ２０１は、システムバスに接続される各デバイスやコンピュータを統括的に制御する。ＲＯＭ２０３又はＨＤ２０７には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Basic Input/Output System）やオペレーティングシステムプログラムや、計算機４が実行する例えば図４乃至図６に示す処理のプログラム等が記憶されている。
【００２５】
なお、図３の例では、ハードディスク（ＨＤ）２０７は計算機４の内部に配置された構成としているが、他の実施形態としてＨＤ２０７に相当する構成が計算機４の外部に配置された構成としてもよい。また、本実施形態に係る例えば図４乃至図６に示す処理を行なうためのプログラムは、フレキシブルディスク（ＦＤ）２０６やＣＤ−ＲＯＭ等、コンピュータ読み取り可能な記録媒体に記録され、それらの記録媒体から供給される構成としてもよいし、インターネット等の通信媒体を介して供給される構成としてもよい。
【００２６】
ＲＡＭ２０２は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＡＭ２０２にロードして、プログラムを実行することで各種動作を実現するものである。
【００２７】
ディスクコントローラ２０５は、ＨＤ２０７やＦＤ２０６等の外部メモリへのアクセスを制御する。通信ＩＦコントローラ２０４は、システムインタフェース（例えば、ＳＣＳＩ）による外部装置とのデータ通信を制御する。
【００２８】
ディスプレイコントローラ２０８は、ディスプレイ２０９における画像表示を制御する。
【００２９】
キーボード（ＫＢ）コントローラ２１０は、キーボード（ＫＢ）２１１からの操作入力を受け付け、ＣＰＵ２０１に対して送信する。なお、図示していないが、キーボード２１１の他に、マウス等のポインティングデバイスもユーザの操作手段として適用可能である。
【００３０】
ここで、図２の２次元画像データ入力部４０１及び３次元画像データ入力部４０２は、例えば、通信ＩＦコントローラ２０４に相当する構成である。また、図２の第１の手形状抽出部４０３、第２の手形状抽出部４０４、第１の特徴パラメータ抽出部４０５、第２の特徴パラメータ抽出部４０６、第１の認識部４０７、第２の認識部４０８、判定部４０９及び選択部４１０は、例えば、ＨＤ２０７内に記憶され、必要に応じてＲＡＭ２０２にロードされるプログラム及びそれを実行するＣＰＵ２０１に相当する構成である。
【００３１】
次に、本実施形態に係る計算機４の動作を、図４乃至図６のフローチャートを参照しながら説明する。
【００３２】
図４において、２次元画像データ入力部４０１は、カメラ２から２次元画像データを入力する（ステップＳ４０１）。続いて、第１の手形状抽出部４０３は、２次元画像データから肌色領域を検出し、手の形状を抽出する（ステップＳ４０２）。
【００３３】
続いて、第１の特徴パラメータ抽出部４０５は、第１の手形状抽出部４０３により抽出された手の形状から第１の特徴パラメータを抽出する（ステップＳ４０３）。ここでは、第１の特徴パラメータとして、第１の手形状抽出部４０３により抽出された手の形状における指の数及び手の向きが抽出されるものとする。
【００３４】
続いて、第１の認識部４０７は、第１の特徴パラメータ４０５により抽出された第１の特徴パラメータから２次元画像データに含まれる手の形状を認識する（ステップＳ４０４）。
【００３５】
図５において、３次元画像データ入力部４０２は、３次元スキャナ３から人間１の手の３次元画像データを入力する（ステップＳ５０１）。
【００３６】
続いて、第２の手形状抽出部４０４は、ピクセル毎に３次元スキャナ３からの手までの距離を求め、それらの距離データと３次元画像データとから手の距離画像データを生成して手の形状を抽出する（ステップＳ５０２）。
【００３７】
続いて、第２の特徴パラメータ抽出部４０６は、第２の手形状抽出部４０４により抽出された手の形状から特徴パラメータを抽出する（ステップＳ５０３）。ここでは、第２の手形状抽出部４０４により抽出された手の形状における指の数及び手の向きが抽出されるものとする。
【００３８】
続いて、第２の認識部４０８は、第２の特徴パラメータ抽出部４０６により抽出された第２の特徴パラメータから３次元画像データに含まれる手の形状を認識する（ステップＳ５０４）。
【００３９】
なお、図４に示す、カメラ２から２次元画像データを入力する度に実行される手の形状に認識処理と、図５に示す、３次元スキャナ３から３次元画像データを入力する度に実行される手の形状の認識処理とは夫々独立に実行されるものである。
【００４０】
ここで、図７及び図８を用いて手の形状認識処理を具体的に説明する。本実施形態では、決定木による認識処理を行なう。ここでは、第１又は第２の特徴パラメータとして指の数が"３本"、手の向きが"横"が抽出された場合を例に挙げる。第１の認識部４０７又は第２の認識部４０８は、手の向きとして、"上"、"横"、"下"のうちの何れに該当するかを判定する。ここでは特徴パラメータから"横"と判定される。次に、第１の認識部４０７又は第２の認識部４０８は、指の数として、"１本"、"２本"、"３本"、"４本"、"５本"のうちの何れに該当するかを判定する。ここでは特徴パラメータから"３本"と判定される。これらの判定の結果に対応する指文字のグループとして指文字"し"と指文字"み"とを含むグループが選択される。第１の認識部４０７又は第２の認識部４０８は、手に向きが上の指が存在するか否かを更に判定する。ここで認識対象となっている手には向きが上の指が含まれるため、指文字"し"と認識される。このようにして、第１の認識部４０７又は第２の認識部４０８は、手の形状から指文字"し"を認識する。
【００４１】
また、上記のように手の形状が類似した複数の指文字を含むグループの他の例として、図８に示すようなものがある。特徴パラメータとして指の数が"３本"、手の向きが"上"が抽出された場合、図８に示すように、指文字"ゆ"と指文字"わ"とを含むグループが選択される。第１の認識部４０７又は第２の認識部４０８は、このグループについて手の中央部位（図８の破線内）に指が映り込んでいるか否かを判定する。指が映り込んでいない場合は、指文字"ゆ"が認識される。反対に、指が映り込んでいる場合は、指文字"わ"が認識される。
【００４２】
なお、本発明は、上述した決定木による認識処理以外にも、オプティカルフロー、テンプレートマッチング及び主成分分析等による手の形状の認識処理も範疇に含むものである。
【００４３】
次に、図６において、判定部４０９は、第１の認識部４０７の認識処理と第２の認識部４０８による認識処理との夫々について、認識が成功したか否かを判定する（ステップＳ６０１）。
【００４４】
第１の認識部４０７による認識処理及び第２の認識部４０８による認識処理の何れに対しても未だ認識が成功していないと判定された場合は、認識が成功するまで待機する。
【００４５】
第２の認識部４０８による認識処理より、第１の認識部４０７による認識処理に対して先に認識が成功したと判定された場合、処理はステップＳ６０２に移行する。一方、第１の認識部４０７による認識処理より、第２の認識部４０７による認識処理に対して先に認識が成功したと判定された場合、処理はステップＳ６０３に移行する。
【００４６】
ここで、カメラ２から計算機４への２次元画像データの転送レートは、３次元スキャナ３から計算機４への３次元画像データの転送レートより高く、例えば、カメラ２から計算機４への２次元画像データの転送レートは６０ｆｐｓであるのに対し、３次元スキャナ３から計算機４への３次元画像データの転送レートは２〜３ｆｐｓである。従って、通常は、第１の認識部４０７の方が第２の認識部４０８より先に手形状の認識を行なっている場合が多い。よって、判定部４０９でも第１の認識部４０７による認識処理に対して先に成功か否かを判定する機会が多くなることになる。つまり、背景が肌色である等の理由により２次元画像データに基づく手形状の認識が失敗しない限りは、ステップＳ６０１からステップＳ６０２への処理の流れとなる。ステップＳ６０２では、選択部４１０は、第１の認識部４０７による認識結果を選択する。これにより、第１の認識部４０７による認識結果が採用されることになる。
【００４７】
一方、第２の認識部４０８が第１の認識部４０７より先に手形状を認証することが転送レートの関係上周期的に起こる。また、背景が肌色等の理由により２次元画像データに基づく認識が失敗したが、３次元画像データに基づいて手形状の認識が成功している場合がある。これらの場合には、ステップＳ６０１からステップＳ６０３への処理の流れとなる。ステップＳ６０３では、選択部４１０は、第２の認識部４０８による認識結果を選択する。これにより、第２の認識部４０８による認識結果が採用されることになる。
【００４８】
以上のように、上述した実施形態においては、通常時にはカメラから取得される２次元画像データに基づき高速に手の形状を認識することができる。また、背景に関する制約違反により２次元画像データに基づく認識処理が失敗した場合、３次元画像データに基づく手の形状の認識処理に切り替えることにより、複雑な背景のもとでも正確に認識を行なうことができる。
【００４９】
このように、本実施形態では、２次元画像データに基づく認識処理と３次元画像データに基づく認識処理を適宜切り替えることによって、２次元画像データに基づく認識処理と３次元画像データに基づく認識処理の互いの利点を生かした形状認識を行なうことが可能である。
【００５０】
また、昨今の３次元スキャナの高速化、低価格化及び小型化に伴い、本ジェスチャ認識システムの需要性は高まるものと考えられる。
【００５１】
さらに、本実施形態では、２次元画像データに基づく認識処理及び３次元画像データに基づく認識処理の双方で認識対象である例えば人の手等にセンサやマーカを装着する必要がなく、認識対象側にとって簡易なイメージを与えることができる。
【００５２】
なお、上述した実施形態では、３次元画像データが入力される度に、３次元画像データについての認識処理を第２の認識部４０８が行なっているが、他の実施形態として、第１の認識部４０７の認識処理が成功したか否かを判定し、失敗した場合、その時点までに入力されている３次元画像データのうち最も新しい３次元画像データに対して、手の形状抽出、特徴パラメータの抽出及び手の形状の認識処理を行い、選択部４１０が第２の認識部４０８による認識結果を選択するようにしてもよい。
【００５３】
さらに他の実施形態として、始めに手の形状を３次元画像データを用いて抽出し、その後は手の形状を抽出した範囲に対応する２次元画像データ上の範囲を上述した特徴パラメータの抽出対象とし、更に決定木を用いた手の形状の認識処理を行なうことも可能である。
【００５４】
−第２の実施形態−
次に、本発明の第２の実施形態について説明する。本実施形態に係るジェスチャ認識システムの構成は、図１に示した構成と同様である。図９は、本発明の第２の実施形態に係る計算機４の機能的な構成を示すブロック図である。
【００５５】
図９に示すように、本実施形態の計算機４は、その機能構成として、２次元画像データ入力部４０１、３次元画像データ入力部４０２、手形状抽出・追跡部９０１、及び、認識部９０２を備える。なお、図２と同一符号の構成は、機能が同一であるため説明を省略する。また、以下の説明においても、図９乃至図１５に示す構成のうち同一符号のものは互いに同一機能を有するため、それらについて説明を省略することもある。
【００５６】
手形状抽出・追跡部９０１は、２次元画像データ入力部４０１からの２次元画像データと３次元画像データ入力部４０２からの３次元画像データとを共に入力し、２次元画像データからの手の形状の抽出処理と、３次元画像データからの手の形状の抽出処理との双方を実行することができる。
【００５７】
例えば、肌色の背景が含まれる等によって２次元画像データから手の形状を抽出することが困難である場合には、始めに３次元画像データによって手の形状を抽出し、その後はオプティカルフロー等の手法により２次元画像データでその手の形状を追跡して、２次元画像データによる手の形状の抽出処理を行なっていくことも可能である。
【００５８】
勿論、２次元画像データでのみ手の形状が抽出できた場合には、その抽出結果を後段の認識部９０２に対して出力してもよいし、２次元画像データよりも先に３次元画像データで手の形状が抽出できた場合には、その抽出結果を後段の認識部９０２に対して出力してもよい。
【００５９】
認識部９０２は、手形状抽出・追跡部９０１から出力される手形状の抽出結果に対して主成分分析、判別分析等の次元圧縮技術を施すことで特徴パラメータを抽出し、特徴パラメータから手形状の認識を行なったり、手形状抽出・追跡部９０１から出力される手形状の抽出結果に対してニューラルネットワーク、サポートベクタマシン、テンプレートマッチング等のパターン認識技術により手形状の認識を行なう。認識部９０２は、図２に示す判定部４０９及び選択部４１０の機能を併せ持つことができる。従って、認識部９０２は、上述した同様の手法により、２次元画像データに基づく認識結果及び３次元画像データに基づく認識結果のうちの少なくとも何れか一方を選択、採用することが可能である。以下に説明する、認識部１００２、１１０３、１２０２、１３０３、１４０２及び１５０２も同様である。
【００６０】
−第３の実施形態−
次に、本発明の第３の実施形態について説明する。図１０は、本発明の第３の実施形態における計算機４の機能的な構成を示すブロック図である。
本実施形態は、図１０に示すように、第２の実施形態の構成に対して、認識部１００２の前段に特徴パラメータ抽出部１００１が追加された構成となっている。即ち、本実施形態は、認識部１００２による手形状の認識を行なう前に必ず特徴パラメータを抽出している。
【００６１】
特徴パラメータ抽出部１００１は、画像処理により指の数や指の向き等の特徴パラメータを抽出したり、主成分分析及び判別分析等により特徴パラメータを抽出する。認識部１００２は、画像処理により抽出された特徴パラメータを用いる場合には決定木による手形状の認識や、主成分分析及び判別分析等により抽出された特徴パラメータを用いる場合にはニューラルネットワーク、サポートベクタマシンによる手形状の認識を行なう。
【００６２】
−第４の実施形態−
次に、本発明の第４の実施形態について説明する。図１１は、本発明の第４の実施形態における計算機４の機能的な構成を示すブロック図である。
本実施形態は、図１１に示すように、２次元画像データ入力部４０１及び３次元画像データ入力部４０２夫々について、手形状抽出部１１０１及び手形状抽出部１１０２が夫々備えられている。
【００６３】
手形状抽出部１１０１は、２次元画像データ入力部４０１から出力される２次元画像データから手の形状を抽出する。手形状抽出部１１０２は、３次元画像データから出力される３次元画像データから手の形状を抽出する。
【００６４】
認識部１１０３は、手形状抽出部１１０１及び手形状抽出部１１０２から夫々、手形状の抽出結果を入力し、手形状の認識を行なう。
【００６５】
−第５の実施形態−
次に、本発明の第５の実施形態について説明する。図１２は、本発明の第５の実施形態における計算機４の機能的な構成を示すブロック図である。
本実施形態は、図１２に示すように、上述した第４の実施形態の構成に対し、認識部１２０２の前段に特徴パラメータ抽出部１２０１が追加された構成となっている。
【００６６】
特徴パラメータ抽出部１２０１は、手形状抽出部１１０１及び手形状抽出部１１０２から夫々、手形状の抽出結果が入力される。特徴パラメータ抽出部１２０１は、第３の実施形態における特徴パラメータ１００１と同様に、指の数や指の向き等人が認識できるパラメータとそうでないパラメータを抽出する。認識部１２０２は、パラメータの種類に応じて決定木による手形状の認識や、ニューラルネットワーク、サポートベクタマシンによる手形状の認識を行なう。
【００６７】
−第６の実施形態−
次に、本発明の第６の実施形態について説明する。図１３は、本発明の第６の実施形態における計算機４の機能的な構成を示すブロック図である。
本実施形態は、図１３に示すように、手形状抽出部１１０１及び手形状抽出部１１０２の夫々に対応して、特徴パラメータ抽出部１３０１及び特徴パラメータ抽出部１３０２が備えられている。
【００６８】
手形状抽出部１１０１は、上述したように、２次元画像データから手形状を抽出し、特徴パラメータ抽出部１３０１は、手形状抽出部１１０１により抽出された手形状から画像処理によって特徴パラメータを抽出する。
【００６９】
同じく、手形状抽出部１１０２は、上述したように、３次元画像データから手形状を抽出し、特徴パラメータ抽出部１３０２は、手形状抽出部１１０２により抽出された手形状から画像処理によって特徴パラメータを抽出する。
【００７０】
認識部１３０３は、特徴パラメータ抽出部１３０１及び特徴パラメータ抽出部１３０２から夫々、特徴パラメータを入力し、手形状の認識処理を行なう。
【００７１】
−第７の実施形態−
次に、本発明の第７の実施形態について説明する。図１４は、本発明の第７の実施形態における計算機４の機能的な構成を示すブロック図である。
本実施形態の計算機４は、図１４に示すように、２台のカメラから２次元画像データを入力することができる。即ち、カメラ２ａからの２次元画像データは２次元画像データ入力部４０１ａで入力し、カメラ２ｂからの２次元画像データは２次元画像データ入力部４０１ｂで入力する。手形状抽出部１４０１は、２次元画像データ入力部４０１ａ及び２次元画像データ入力部４０１ｂから夫々２次元画像データを入力し、それらの２次元画像データを用いて手形状の抽出処理を行なう。このように、本実施形態では、２台のカメラから得られる２次元画像データを用いて手形状の抽出処理を行なうため、２次元画像データを用いた手形状抽出処理を高精度に行なうことができる。
【００７２】
−第８の実施形態−
次に、本発明の第８の実施形態について説明する。図１５は、本発明の第８の実施形態における計算機４の機能的な構成を示すブロック図である。
本実施形態の計算機４は、図１５に示すように、２台の３次元スキャナから３次元画像データを入力することができる。即ち、３次元スキャナ３ａからの３次元画像データは３次元画像データ入力部４０２ａで入力し、３次元スキャナ３ｂからの３次元画像データは３次元画像データ入力部４０２ｂで入力する。手形状抽出部１５０１は、３次元画像データ入力部４０２ａ及び３次元画像データ入力部４０２ｂから夫々３次元画像データを入力し、それらの３次元画像データを用いて手形状の抽出処理を行なう。このように、本実施形態では、２台の３次元スキャナから得られる３次元画像データを用いて手形状の抽出処理を行なうため、３次元画像データを用いた手形状抽出処理を高精度に行なうことができる。
【００７３】
なお、第７の実施形態では、２台のカメラと１台の３次元スキャナを備えたシステム構成を例に挙げ、また、第８の実施形態では、１台のカメラと２台の３次元スキャナを備えたシステム構成を例に挙げているが、上述したように、本発明は、カメラ２と３次元スキャナ３との台数に制限はなく、カメラ２と３次元スキャナ３との任意の配置台数の組合せに適用可能である。
【図面の簡単な説明】
【００７４】
【図１】本発明の実施形態に係るジェスチャ認識システムの構成例を示す図である。
【図２】計算機の機能的な構成を示すブロック図である。
【図３】計算機のハードウェア構成を示すブロック図である。
【図４】計算機の動作の流れを示すフローチャートである。
【図５】計算機の動作の流れを示すフローチャートである。
【図６】計算機の動作の流れを示すフローチャートである。
【図７】手の形状認識処理を具体的に説明するための図である。
【図８】手の形状認識処理を具体的に説明するための図である。
【図９】本発明の第２の実施形態における計算機の機能的な構成を示すブロック図である。
【図１０】本発明の第３の実施形態における計算機の機能的な構成を示すブロック図である。
【図１１】本発明の第４の実施形態における計算機の機能的な構成を示すブロック図である。
【図１２】本発明の第５の実施形態における計算機の機能的な構成を示すブロック図である。
【図１３】本発明の第６の実施形態における計算機の機能的な構成を示すブロック図である。
【図１４】本発明の第７の実施形態における計算機の機能的な構成を示すブロック図である。
【図１５】本発明の第８の実施形態における計算機の機能的な構成を示すブロック図である。
【符号の説明】
【００７５】
１：人間の手
２：カメラ
３：３次元スキャナ
４：計算機
５：システムインタフェース
４０１：２次元画像データ入力部
４０２：３次元画像データ入力部
４０３：第１の手形状抽出部
４０４：第２の手形状抽出部
４０５：第１の特徴パラメータ抽出部
４０６：第２の特徴パラメータ抽出部
４０７：第１の認識部
４０８：第２の認識部
４０９：判定部
４１０：選択部
【図１】
2007241833.tif 000003
【図２】
2007241833.tif 000004
【図３】
2007241833.tif 000005
【図４】
2007241833.tif 000006
【図５】
2007241833.tif 000007
【図６】
2007241833.tif 000008
【図７】
2007241833.tif 000009
【図８】
2007241833.tif 000010
【図９】
2007241833.tif 000011
【図１０】
2007241833.tif 000012
【図１１】
2007241833.tif 000013
【図１２】
2007241833.tif 000014
【図１３】
2007241833.tif 000015
【図１４】
2007241833.tif 000016
【図１５】
2007241833.tif 000017