(57)【要約】【課題】  作業効率を低下させることなく、付加情報画像を適切に表示させることが可能となる画像処理装置を提供する。【解決手段】  画像処理装置は、実世界の認識対象物とユーザの動作部位を含む撮像画像を取得する取得部と、撮像画像から認識対象物と動作部位を認識する認識部と、認識対象物に対応する情報を含む付加情報画像を表示する表示部を備える。更に、当該画像処理装置は、複数の撮像画像における動作部位の特徴量の変化量に基づいて、動作部位の動作が、認識対象物に対するものであるか、付加情報画像に対するものであるのかを判定する判定部を備える。【選択図】図２
2016099643.tif 000002
【特許請求の範囲】
【請求項１】
実世界の認識対象物とユーザの動作部位を含む撮像画像を取得する取得部と、
前記撮像画像から前記認識対象物と前記動作部位を認識する認識部と、
前記認識対象物に対応する情報を含む付加情報画像を表示する表示部と、
複数の前記撮像画像における前記動作部位の特徴量の変化量に基づいて、前記動作部位の動作が、前記認識対象物に対するものであるか、前記付加情報画像に対するものであるのかを判定する判定部
を備えることを特徴とする画像処理装置。
【請求項２】
前記特徴量は、前記動作部位の長さまたは面積であり、
前記判定部は、
前記長さまたは前記面積の前記変化量が第１閾値未満の場合、前記動作が前記付加情報画像に対するものであると判定し、
前記変化量が前記第１閾値以上の場合、前記動作が前記認識対象物に対するものであると判定することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記判定部は、前記変化量が前記第１閾値未満の場合、かつ、前記特徴量が第２閾値以上の場合に前記動作が前記付加情報画像に対するものと判定することを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記判定部は、前記変化量が前記第１閾値未満の場合、かつ、前記認識対象物と前記動作部位の相対位置が第３閾値以上の場合に、前記動作が前記付加情報画像に対するものと判定することを特徴とする請求項２または請求項３に記載の画像処理装置。
【請求項５】
前記表示部は、前記付加情報画像に対応するポインタを更に表示し、
前記判定部は、前記動作が前記付加情報画像に対するものの場合、前記撮像画像における前記動作部位の位置に基づいて前記ポインタの表示位置を制御することを特徴とする請求項１ないし請求項４の何れか一項に記載の画像処理装置。
【請求項６】
前記認識部は、前記動作部位の第１形状を更に認識し、
前記判定部は、前記第１形状が、予め定められる第２形状と一致する場合、前記動作が前記前記付加情報画像に対するものと判定することを特徴とする請求項１ないし請求項５の何れか一項に記載の画像処理装置。
【請求項７】
実世界の認識対象物とユーザの動作部位を含む撮像画像を取得し、
前記撮像画像から前記認識対象物と前記動作部位を認識し、
前記認識対象物に対応する情報を含む付加情報画像を表示し、
複数の前記撮像画像における前記動作部位の特徴量の変化量に基づいて、前記動作部位の動作が、前記認識対象物に対するものであるか、前記付加情報画像に対するものであるのかを判定する
ことを含むことを特徴とする画像処理方法。
【請求項８】
コンピュータに、
実世界の認識対象物とユーザの動作部位を含む撮像画像を取得し、
前記撮像画像から前記認識対象物と前記動作部位を認識し、
前記認識対象物に対応する情報を含む付加情報画像を表示し、
複数の前記撮像画像における前記動作部位の特徴量の変化量に基づいて、前記動作部位の動作が、前記認識対象物に対するものであるか、前記付加情報画像に対するものであるのかを判定する
ことを実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、実世界の認識対象物に対応するユーザの作業支援情報となる付加情報画像の表示に用いる画像処理装置、画像処理方法および画像処理プログラムに関する。
【背景技術】
【０００２】
近年、情報通信技術の発展に伴い、現実空間（実世界）を撮像した画像にコンピュータを用いて視覚情報を付加して表示する、拡張現実感（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ：ＡＲ）に関する画像処理技術の開発が行われている。視覚情報の表示には、主に、実世界の画像を取得するカメラを装着したＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）等のウェアラブル装置または、カメラを備えたタブレット端末等が利用されており、ユーザの視野方向に存在する認識対象物に関する詳細な情報（以下、付加情報画像（仮想世界画像）と称する）を、実世界の認識対象物の位置に対応させて表示することが行われている。
【０００３】
現在、拡張現実感技術を利用し、電子機器等の障害発生時における障害箇所の特定、及び、ユーザの障害修復作業を支援する技術が実現されている。例えば、コピー機の紙詰まり障害の修復作業支援において、付加情報画像となる予め紙詰まり発生位置に対応付けて用意されたコピー機の内部映像及び操作手順の画像を、認識対象物となるコピー機に重畳表示する技術が提案されている。また、工場における保守点検、機器設置・解体等の現場作業でも拡張現実感を用いた作業支援が提案されている。
【０００４】
ユーザの作業支援においては、ユーザが両手を用いて作業する場合が多い為、タブレット端末よりも、頭部に装着可能でハンズフリーとなるＨＭＤの活用に対する要望が高い。ＨＭＤは、カメラの撮像画像に含まれる認識対象物と付加情報画像をディスプレイ等の表示部に表示するビデオシースルー型ＨＭＤと、ハーフミラーを用いてユーザが視認する実世界の認識対象物の位置に対応付けて付加情報画像を表示部に表示する光学シースルー型ＨＭＤの２つに大別される。また、ユーザの視野の端に小型ディスプレイを配置し、当該小型ディスプレイに付加情報画像を表示する小画面型ＨＭＤも提案されている。なお、ビデオシースルー型ＨＭＤと光学シースルー型ＨＭＤの何れも小画面型ＨＭＤを利用することが出来る。上述の何れのＨＭＤにおいても拡張現実感による作業支援が要望されている。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Ｃ Ｈａｒｒｉｓｏｎ ｅｔ ａｌ., “Ｗｅａｒａｂｌｅ Ｍｕｌｔｉｔｏｕｃｈ Ｉｎｔｅｒａｃｔｉｏｎ Ｅｖｅｒｙｗｈｅｒｅ”, ＵＩＳＴ‘１１, Ｏｃｔｏｂｅｒ １６-１９, ２０１１, Ｓａｎｔａ Ｂａｒｂａｒａ, ＣＡ, ＵＳＡ
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ビデオシースルー型ＨＭＤまたは光学シースルー型ＨＭＤの何れのＨＭＤを用いた画像処理装置においては、ＨＭＤの表示部に表示される認識対象物に対応する付加情報画像に対する入力インタフェースが課題となる。図１（ａ）は、認識対象物と付加情報画像の第１の概念図である。図１（ｂ）は、認識対象物と付加情報画像の第２の概念図である。図１（ａ）、（ｂ）には、何れもＨＭＤの表示部に表示される付加情報画像と、実世界における認識対象物、ならびにユーザの動作部位の一例となる手指が含まれている。図１（ａ）の付加情報画像には、認識対象物に対応した複数の選択項目（「作業実施日履歴」、「作業手順確認」、「作業物体内容確認」）が含まれており、ユーザが何れかの選択項目を、ポインタ（マウスカーソルと称しても良い）を重畳されることによって選択した場合に、図１（ｂ）に示す様な、選択された選択項目に対応する付加情報画像を表示する。図１（ａ）と図１（ｂ）に示す例においては、図１（ａ）の「作業実施日履歴確認」にポインタが重畳することによって、図１（ｂ）に示す作業実施日履歴の詳細を確認する付加情報画像に遷移する。図１（ａ）、（ｂ）から理解出来る通り、付加情報画像に対して選択項目を選択する等の何らかの操作を行う場合は、ポインタの制御等が必要となる。現在においては、ＨＭＤに接続され、ユーザの手動操作により制御される外付けのコントローラを用いてポインタを移動している。しかしながら、外付けのコントーラによる手動操作は、両手または片手で実施する必要がある為、ハンズフリーとなるＨＭＤの活用の利点（作業効率の向上等）を阻害する要因となっている。この為、現状においては、作業効率を低下させることなく、付加情報画像を適切に表示させることが可能となる画像処理装置は提唱されていない状況にある。
【０００７】
本発明は、作業効率を低下させることなく、付加情報画像を適切に表示させることが可能となる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明が開示する画像処理装置は、実世界の認識対象物とユーザの動作部位を含む撮像画像を取得する取得部と、撮像画像から認識対象物と動作部位を認識する認識部と、認識対象物に対応する情報を含む付加情報画像を表示する表示部を備える。更に、当該画像処理装置は、複数の撮像画像における動作部位の特徴量の変化量に基づいて、動作部位の動作が、認識対象物に対するものであるか、付加情報画像に対するものであるのかを判定する判定部を備える。
【０００９】
なお、本発明の目的及び利点は、例えば、請求項におけるエレメント及び組み合わせにより実現され、かつ達成されるものである。また、上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項の様に本発明を制限するものではないことを理解されたい。
【発明の効果】
【００１０】
本明細書に開示される画像処理装置では、作業効率を低下させることなく、付加情報画像を適切に表示させることが可能となる。
【図面の簡単な説明】
【００１１】
【図１】（ａ）は、認識対象物と付加情報画像の第１の概念図である。（ｂ）は、認識対象物と付加情報画像の第２の概念図である。
【図２】一つの実施形態による画像処理装置１の機能ブロック図である。
【図３】画像処理装置１における画像処理のフローチャートである。
【図４】一つの実施形態による画像処理装置１の第１のハードウェア構成図である。
【図５】認識部５の認識対象物の認識処理のフローチャートである。
【図６】算出部６が算出するカメラ座標系の手指座標を含むデータ構造の一例を示すテーブルである。
【図７】算出部６が算出する動作部位の特徴量、動作部位の特徴量の変化量、ならびに認識対象物の位置のデータ構造を含むテーブルの一例を示す図である。
【図８】一つの実施形態による画像処理装置１として機能するコンピュータのハードウェア構成図である
【発明を実施するための形態】
【００１２】
まず、従来技術における課題の所在について説明する。なお、当該課題の所在は、本発明者らが従来技術を仔細に検討した結果として新たに見出したものであり、従来は知られていなかったものである。ハンズフリーとなるＨＭＤの利点を活かすべく、付加情報画像を適切に表示させる為には、例えば、手指のジェスチャー認識を用いたポインタの操作が考えられる。例えば、指先を用いてポインタを操作し、付加情報画像の選択項目を選択することが可能となれば、外付けのコントーラによるポインタの手動操作は不要となる。これにより、ユーザは、実世界に存在する認識対象物を動作対象とする作業と、付加情報画像に対する動作対象とする作業をシームレスに切り替えることが可能になる。
【００１３】
ユーザの動作部位の一例となる手指は、ＨＭＤに搭載される撮像デバイス、例えばカメラ（ＨＭＣ：Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｃａｍｅｒａと称しても良い）を用い、既知の認識手法を用いて認識することが可能である。しかしながら、撮像デバイスが撮像する画像にユーザの手指が映るのは、付加情報画像に対応するポインタの操作時のみではなく、当然ながら、実世界における認識対象物に対する作業中にも手指が映りこむ。そのため、ユーザの動作部位の動作対象の一例となる手指の動作対象が、付加情報画像に対するものであるのか、認識対象物に対するものであるのかを識別する必要がある。仮に識別しない場合は、例えば、ユーザが実世界の認識対象物に対して作業を行っているのにも係らず、ポインタが指先の位置に応じて移動し、意図せずに付加情報画像の選択項目が選択されてしまう等の不具合が生じることが想定され得る。
【００１４】
換言すると、ユーザの動作部位の動作が、付加情報画像に対するものであるのか、認識対象物に対するものであるのかを識別することが可能となれば、実世界に存在する認識対象物を動作対象とする作業と、付加情報画像に対する動作対象とする作業をシームレスに切り替えることが可能になる。これにより、作業効率を低下させることなく、付加情報画像を適切に表示する画像処理装置を提供することが可能となる。
【００１５】
上述の本発明者らの鋭意検証によって、新たに見出された課題を考慮しつつ、以下に、一つの実施形態による画像処理装置、画像処理方法及び画像処理プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例は開示の技術を限定するものではない。
【００１６】
（実施例１） 
図２は、一つの実施形態による画像処理装置１の機能ブロック図である。画像処理装置１は、撮像部２、記憶部４、表示部８、ならびに処理部９を有する。処理部９は、取得部３、認識部５、算出部６ならびに判定部７を有する。図３は、画像処理装置１の画像処理のフローチャートである。実施例１においては、図３に示す画像処理装置１による画像処理のフローを、図２に示す画像処理装置１の機能ブロック図の各機能の説明に対応付けて説明する。
【００１７】
図４は、一つの実施形態による画像処理装置１の第１のハードウェア構成図である。図４に示す通り、画像処理装置１の撮像部２、記憶部４、表示部８、処理部９は、例えば、メガネフレーム型の支持体に固設される。なお、ユーザが実世界（外界と称しても良い）において注視している認識対象物を特定し易い様に、撮像部２を両目の中心に位置する様に配設しても良い。また、図示はしないが、撮像部２を２つ以上配設してステレオ画像を用いても良い。表示部８の詳細は後述するが、ユーザが実世界を視認できる様に、ハーフミラー等の一定の反射率と透過率を有する光学シースルー型ディスプレイを用いることが出来る。なお、表示部８にカメラの撮像画像に認識対象物に対応する付加情報画像をディスプレイ等の表示部８に表示するビデオシースルー型ＨＭＤを用いることも可能である。実施例１においては、説明の便宜上、光学シースルー型ディスプレイを適用した場合について説明する。
【００１８】
図２または図４において、撮像部２は、例えば、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カメラなどの撮像デバイスである。撮像部２は、例えば、ユーザの頸部に拘持または、装着されてユーザの視野方向の画像（当該画像を撮像画像と称しても良い）を撮像する。また、撮像部２は、例えば、３０ｆｐｓの時間間隔で撮像すれば良い。なお、当該処理は、図３に示すフローチャートのステップＳ３０１に対応する。撮像部２は、説明の便宜上、画像処理装置１の内部に配置しているが、ネットワークを介してアクセス可能となる様に、画像処理装置１の外部に配置することも可能である。撮像部２は、ユーザの作業対象となる認識対象物とユーザの動作部位を含む画像を撮像する。撮像部２は、認識対象物とユーザの動作部位を含む撮像画像を取得部３に出力する。
【００１９】
取得部３は、例えば、ワイヤードロジックによるハードウェア回路である。また、取得部３は、画像処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。取得部３は、認識対象物とユーザの動作部位を含む撮像画像を撮像部２から受け取る。なお、当該処理は、図３に示すフローチャートのステップＳ３０２に対応する。また、取得部３に、撮像部２の機能を併合させることも可能である。取得部３は、認識対象物とユーザの動作部位を含む複数の撮像画像を認識部５に出力する。
【００２０】
記憶部４は、例えば、フラッシュメモリ（ｆｌａｓｈ  ｍｅｍｏｒｙ）などの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置である。なお、記憶部４は、上記の種類の記憶装置に限定されるものではなく、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）であってもよい。記憶部４には、外界に存在し、認識部５の認識処理の対象となる複数の認識対象物（電子回路基板、製造機器、情報処理端末等）の特徴点（第１特徴点または第１特徴点群と称しても良い）が、予め認識対象物を撮像した画像から予め抽出されて記憶されている。また、記憶部４は、認識対象物に対応する付加情報画像が記憶されていても良い。更に、記憶部４に記憶される付加情報画像は、一つの認識対象物に対して一つである必要はなく、複数の付加情報画像が記憶されていても良い。
【００２１】
なお、記憶部４は、説明の便宜上、画像処理装置１の内部に配置しているが、ネットワークを介してアクセス可能となる様に、画像処理装置１の外部に配置することも可能である。また、記憶部４には、後述する画像処理装置１で実行される各種プログラム、例えばＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）などの基本ソフトや画像処理の動作が規定されたプログラムが記憶される。更に、記憶部４には、当該プログラムの実行に必要な各種データ等も必要に応じて記憶される。また、記憶部４に記憶される各種データを、例えば、認識部５、算出部６、判定部７の図示しないメモリまたはキャッシュに適宜格納し、画像処理装置１は、記憶部４を使用しない構成としても良い。
【００２２】
認識部５は、例えば、ワイヤードロジックによるハードウェア回路である。また、認識部５は、画像処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。認識部５は、取得部３から複数の撮像画像を受け取る。認識部５は、複数の撮像画像から特徴点を抽出して、抽出した特徴点（第２特徴点または第２特徴点群と称しても良い）と記憶部４に記憶されている認識対象物の特徴点を対応付けることにより、取得部３が取得する複数の画像に含まれている少なくとも一つの認識対象物を認識する。なお、当該処理は、図３に示すフローチャートのステップＳ３０３に対応する。
【００２３】
図５は、認識部５の認識対象物の認識処理のフローチャートである。なお、図５に示すフローチャートは、図３のステップＳ３０３の詳細フローチャートに該当する。先ず、認識部５は、取得部３から取得時間が異なる複数の撮像画像を受信し、複数の撮像画像のそれぞれ（フレーム毎）から特徴点を抽出する（ステップＳ５０１）。なお、抽出される特徴点は通常複数である為、複数の特徴点の集合を特徴点群と定義しても良い。
【００２４】
ステップＳ５０１において抽出する特徴点は、記述子（ｄｅｓｃｒｉｐｔｏｒ）と呼ばれる特徴点ごとの特徴量ベクトルが計算される特徴点であれば良い。例えば、ＳＩＦＴ（Ｓｃａｌｅ  Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）特徴点や、ＳＵＲＦ（Ｓｐｅｅｄｅｄ  Ｕｐ  Ｒｏｂｕｓｔ  Ｆｅａｔｕｒｅｓ）特徴点を使用することが可能である。なお、ＳＩＦＴ特徴点の抽出方法については、例えば、米国特許第６７１１２９３号に開示されている。ＳＵＲＦ特徴点の抽出方法については、例えば、「H. Bay et al., “SURF:Speeded Up Robust Features,” Computer Vision and Image Understanding, Vol.110, No.3, pp.346-359, 2008」に開示されている。
【００２５】
次に、認識部５は、ステップＳ５０１で認識部５が抽出した特徴点群（第２特徴点群と称しても良い）と、記憶部４に記憶されている全て認識対象物の候補の特徴点群との照合が完了しているか否かを判断する（ステップＳ５０２）。なお、記憶部４に記憶されている認識対象物の特徴点群は、予め上述のＳＩＦＴ特徴点やＳＵＲＦ特徴点が記憶されているものとする。認識部５は、ステップＳ５０２において、照合が完了していない場合（ステップＳ５０２−Ｎｏ）は、記憶部４に予め記憶されている任意の一つの認識対象物を選択する（ステップＳ５０３）。次に、認識部５は、ステップＳ５０３おいて選択した認識対象物の特徴点群を記憶部４から読み出す（ステップＳ５０４）。認識部５は、ステップＳ５０４で抽出した特徴点群から、任意の一つの特徴点を選択する（ステップＳ５０５）。
【００２６】
認識部５は、ステップＳ５０５で選択した一つの特徴点と、ステップＳ５０４で読み出して選択した認識対象物の特徴点の対応付けを探索する。探索方法としては、一般的な対応点探索によるマッチング処理を用いれば良い。具体的には、認識部５は、ステップＳ５０５で選択した一つの特徴点と、ステップＳ５０４で選択した認識対象物の特徴点群それぞれの距離ｄを計算する（ステップＳ５０６）。
【００２７】
次に、認識部５は、特徴点の対応付けの妥当性の判定を行う為に閾値判定を行う。具体的には、認識部５は、ステップＳ５０６において、算出した距離ｄの最小値ｄ１と、２番目に最小となる値ｄ２を算出する。そして、認識部５は、閾値判定となるｄ１とｄ２の距離が所定の距離以上（例えばｄ１がｄ２に０．６を乗算した値よりも小さい値）かつｄ１が所定の値以下（例えば０．３未満）の条件を満たしているか否かを判定する（ステップＳ５０７）。認識部５は、ステップＳ５０７で閾値判定の条件を満たしている場合（ステップＳ５０７−Ｙｅｓ）は、特徴点の対応付けを行う（ステップＳ５０８）。条件を満たしていない場合（ステップＳ５０７−Ｎｏ）は、特徴点の対応付けを行わず、ステップＳ５０９に処理を進める。
【００２８】
認識部５は、ステップＳ５０４で読み出した特徴点群と、ステップＳ５０１で抽出した特徴点群を全て照合したかを判定する（ステップＳ５０９）。照合処理が完了した場合（ステップＳ５０９−Ｙｅｓ）、認識部５は、ステップＳ５０２において、全ての照合が終了した場合（ステップＳ５０２−Ｙｅｓ）は、ステップＳ５１０に処理を進める。照合処理が完了していない場合（ステップＳ５０９−Ｎｏ）、認識部５は、ステップＳ５０５に処理を進める。そして、認識部５は、ステップＳ５０８で対応付けた特徴点の個数に基づいて取得部３が取得した画像に含まれる認識対象物を認識する（ステップＳ５１０）。なお、ステップＳ５０８で対応付けた、記憶部４に記憶される特徴点群を、第１特徴点または第１特徴点群と称しても良い。
【００２９】
この様にして、認識部５は、取得部３から取得した撮像画像から、当該撮像画像に含まれる認識対象物を認識する。なお、認識部５は、取得部３から受け取る複数の画像の全てにおいて上述の認識処理を行わずに、所定時間毎に認識処理を行うキーフレームを定めることで処理コストを削減させることが可能となる。また、認識対象物にＡＲマーカが付されている場合、認識部５は、取得部３が取得する撮像画像に対して一般的なＡＲマーカの認識手法を適用することによって認識対象物を認識することが出来る。認識部５は、認識した認識対象物に対応する付加情報画像を記憶部４から読み出し、付加情報画像を表示部８に表示させる。なお、表示部８は、付加情報画像に対応するポインタを合わせて表示部８に表示させる。なお、当該処理は、図３に示すフローチャートのステップＳ３０４に対応する。
【００３０】
図２の認識部５は、更に、取得部３から受け取った撮像画像から、ユーザの動作部位を認識する。なお、当該処理は、図３に示すフローチャートのステップＳ３０５に対応する。ユーザの動作部位は、例えば、手指（手背も含んでも良い）である。認識部５は、手指を認識する方法として、例えば、特許第３８６３８０９号に開示される、画像処理による手指位置を推定する手法を用いることが出来る。実施例１においては、説明の便宜上、認識部５は、上述の特許第３８６３８０９号に開示されている方法を用いるものとして以降の説明を行う。当該方法では、認識部５は、取得部３から受け取った画像から、例えば肌色の色成分部分を抜き出す（抽出する）ことで、手領域輪郭を抽出する。その後、認識部５は、手の本数を認識した上で手領域輪郭から手指の認識処理を行う。なお、認識部５は、肌色の色成分の抽出は、ＲＧＢ空間やＨＳＶ空間の適切な閾値調整を用いることが出来る。
【００３１】
また、認識部５は、ＨＯＧ（Ｈｉｓｔｏｇｒａｍ  ｏｆ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔｓ）特徴量、またはＬＢＰ（Ｌｏｃａｌ  Ｂｉｎａｒｙ  Ｐａｔｔｅｒｎ）特徴量等の輝度勾配特徴量に基づいてユーザの動作部位を認識しても良い。認識部５は、例えば、「N. Dalal et al., “Histograms of Oriented Gradients for Human Detection,” 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), 2005.」に開示される方法を用いて、輝度勾配特徴量の一例となるＨＯＧ特徴量を抽出することが出来る。また、識別器の事前学習は、例えば、対象物（動作部位の一例となる手指）が撮像された画像（ポジティブ画像）と、対象物が撮像されていない画像（ネガティブ画像）を用いて実施され、ＡｄａｂｏｏｓｔやＳＶＭ（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）等の様々な公知の識別器の学習手法を用いることが可能である。例えば、識別器の学習手法として、上述の「N. Dalal et al., “Histograms of Oriented Gradients for Human Detection,” 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), 2005.」に開示されているＳＶＭを用いた識別器の学習手法を用いることが出来る。また、認識部５が、一つ以上の手指を認識した場合は、認識部５が最初に認識した手指のみについて処理対象としても良い。認識部５は、認識対象物と動作部位に関する認識結果を算出部６に出力する。
【００３２】
算出部６は、例えば、ワイヤードロジックによるハードウェア回路である。また、算出部６は、画像処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。算出部６は、認識対象物と動作部位に関する認識結果を認識部５から受け取る。算出部６は、撮像画像に含まれる、カメラ座標系におけるユーザの手指の位置の算出を行う。算出部６は、例えば、検出した手輪郭領域から手指の本数を認識した上で手輪郭領域の輪郭から手指座標の算出を行うことが出来る。なお、算出部６は、ユーザの動作部位となる手指の座標を算出する方法として、例えば、「山下ら、“３次元Ａｃｔｉｖｅ  Ａｐｐｅａｒａｎｃｅ  Ｍｏｄｅｌを用いた手形状認識”、画像の認識・理解シンポジウム、ＭＩＲＵ２０１２、ＩＳ３−７０、２０１２−０８」に開示される、予め手の形状に関する学習データを保持しておき、現時刻で取得した撮像画像と学習データの間の類似度を計算して手指形状を推定する方法を利用することが出来る。また、算出部６は、推定した手指に対し任意の基準点を定めて、当該基準点の座標を手指の座標として算出することが出来る。算出部６は、例えば、手輪郭領域の輪郭から手指を楕円近似することで、手指の位置を楕円中心として算出することが出来る。
【００３３】
図６は、算出部６が算出するカメラ座標系の手指座標を含むデータ構造の一例を示すテーブルである。なお、図６のテーブル６０におけるカメラ座標系は、撮像画像の左上端を原点とし、撮像画像の右方向をｘ軸の正方向、撮像画像の下方向をｙ軸の正方向として規定されている。なお、図６のテーブル６０は、撮像部２の撮影画像解像度が、幅３２０画素、高さ２４０画素であり、３０ｆｐｓの動画像撮影において、撮像部２の約６０ｃｍ前方に認識対象物が存在する状況を想定した場合のデータ構造の一例となる。テーブル６０には、例えば、ユーザが人差し指のみを伸ばした場合における、撮像画像から算出される手指の座標が、手指ＩＤと対応付けられて格納される。この場合、人差し指が手指ＩＤ１として対応付けられる。なお、ユーザが手を広げた場合、手指ＩＤ１〜ＩＤ５に手指の座標が格納されることになるが、この場合、手指ＩＤは、例えば、横方向の座標の小さい順に付与されれば良い。なお、各手指座標の基準点は、例えば、撮像画像の左上端と規定することが出来る。また、テーブル６０は、算出部６の図示しないキャッシュまたはメモリに格納されても良いし、記憶部４に記憶されても良い。なお、実施例１においては、説明の便宜上、ユーザが人差し指のみを伸ばした場合における処理について開示する。
【００３４】
算出部６は、必要に応じて以下に示す方法を用いて、手領域の重心位置を算出しても良い。算出部６は、重心位置の算出方法として、例えば、フレームｔの画像における肌色領域として抽出された領域Ｐｓ内のピクセルＰｉの座標を（ｘｉ、ｔ、ｙｉ、ｔ）、ピクセル数をＮｓと定義した場合、重心位置Ｇｔ(ｘｔ、ｙｔ)を次式により算出することが出来る。
（数１）
2016099643.tif 000003
【００３５】
算出部６は、動作部位の特徴量と、当該特徴量の変化量を算出する。なお、当該処理は、図３に示すフローチャートのステップＳ３０６とＳ３０７に対応する。また、動作部位の特徴量は、例えば、手指の長さまたは面積である。算出部６は、図６のテーブル６０に手指座標が格納された手指ＩＤに対して以下の算出処理を実施すれば良い。実施例１では、手指ＩＤ１に対して以下の算出処理を実施するものとして説明する。算出部６は、例えば、手輪郭領域の輪郭から手指を楕円近似することで手指の長さまたは面積を算出することが出来る。また、算出部６は、撮像画像における認識対象物の位置を算出する。認識対象物の位置は、認識対象物に対して任意の基準点を設け、当該基準点の座標を認識対象物の位置とすることが出来る。なお、任意の基準点は、例えば、認識対象物の中心に設定することが出来る。算出部６は、算出した動作部位の特徴量、動作部位の特徴量の変化量等を認識部５に出力する。
【００３６】
図７は、算出部６が算出する動作部位の特徴量、動作部位の特徴量の変化量、ならびに認識対象物の位置のデータ構造を含むテーブルの一例を示す図である。なお、算出部６は、図７のテーブル７０を、算出部６の図示しないキャッシュまたはメモリに格納、或いは記憶部４に記憶することが出来る。図７のテーブル７０においては、例えば、取得部３が取得する撮像画像の左上端を原点とすることが出来る。なお、図７のテーブル７０における画像上の認識対象物の位置となるＴＸとＴＹならびに、手指位置となるＨＸとＨＹは、画像の原点に対する認識対象物の任意の基準点の横方向と縦方向の座標であり、単位は画素（ピクセル）である。認識対象物の任意の基準点は、例えば、認識対象物の中心に設定することが出来る。また、手指の任意の基準点は、例えば、手指の形状を楕円近似した場合の楕円中心に設定することが出来る。なお、図７のテーブル７０は、撮像部２の撮影画像解像度が、幅３２０画素、高さ２４０画素であり、３０ｆｐｓの動画像撮影において、撮像部２の約６０ｃｍ前方に認識対象物が存在する状況を想定した場合のデータ構造の一例となる。更に、図７のテーブル７０は、第２００番目のフレームにて、撮影画像中に、認識部５が、認識対象物を認識し、以降のフレームにおいても継続して認識対象物を認識している状態を示している。
【００３７】
図７のテーブル７０において、算出部６は、第Ｎフレームにおける手指の長さＬＮとした場合、その直前のフレームとなる第Ｎ−１フレームにおける手指の長さＬＮ-１との差分から手指の長さの変化量を算出することが出来る。なお、手指の長さの変化量は次式で表現することが出来る。
（数２）
手指の長さの変化量＝｜ＬＮ−ＬＮ−１｜
【００３８】
図７のテーブル７０において、算出部６は、第Ｎフレームにおける手指の面積ＳＮとした場合、その直前のフレームとなる第Ｎ−１フレームにおける面積ＳＮ-１との差分から手指の面積の変化量を算出することが出来る。なお、手指の面積の変化量は次式で表現することが出来る。
（数３）
手指の面積の変化量＝｜ＳＮ−ＳＮ−１｜
【００３９】
図７のテーブル７０において、算出部６は、第Ｎフレームにおける手指と認識対象物の相対位置を次式に基づいて算出することが出来る。
（数４）
相対位置（ｘ方向）＝｜ＨｘＮ―ＴｘＮ｜
相対位置（ｙ方向）＝｜ＨｙＮ―ＴｙＮ｜
【００４０】
判定部７は、例えば、ワイヤードロジックによるハードウェア回路である。また、判定部７は、画像処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。判定部７は、動作部位の特徴量、動作部位の特徴量の変化量等を算出部６から受け取る。判定部７は、動作部位の特徴量の変化量に基づいて、動作部位の動作が認識対象物に対するものであるか、付加情報画像に対するものであるのかを判定する。なお、当該処理は、図３に示すフローチャートのステップＳ３０８ないしＳ３１０に対応する。
【００４１】
判定部７は、動作部位の特徴量の変化量の一例となる手指の長さまたは面積の変化量が、予め定められる任意の第１閾値未満か否かを判定する（ステップＳ３０８）。なお、第１閾値は、面積の変化量を用いる場合は、例えば、第１閾値＝５画素と規定すれば良い。また、長さの変化量を用いる場合は、例えば、第１閾値＝０．０７画像と規定すれば良い。動作部位の特徴量の変化量が第１閾値未満の場合（ステップＳ３０８−Ｙｅｓ）、判定部７は、ユーザの動作部位の動作が付加情報画像に対するものであると判定する（ステップＳ３０９）。また、判定部７は、動作部位の特徴量の変化量が第１閾値以上の場合（ステップＳ３０８−Ｎｏ）、判定部７は、ユーザの動作部位の動作が実世界の認識対象物に対するものであると判定する（ステップＳ３１０）。なお、判定部７は、複数のフレームに渡る特徴量の変化量の平均値を算出し、当該平均値を用いて第１閾値との比較処理を実施しても良い。
【００４２】
ここで、実施例１における技術的意義の一例について説明する。通常、表示部８に表示されるポインタは、２次元上で上下左右に移動する為、ユーザの手指もある程度、平面上に動作することになる。換言すると、画像上の手指の面積や長さの変化量は少なくなる。一方、ユーザの動作部位の動作対象が実世界の認識対象物である場合、作業内容にも多少依存するものの、３次元上の物体に対して作業を実施している為、画像上の手指の面積や長さの変化量は大きく変動することになる。この為、手指の面積の変化量が、第１閾値未満であれば、ユーザの動作部位の動作対象は付加情報画像と見做すことができ、第１閾値以上であれば、ユーザの動作部位の動作対象は、実世界の認識対象物であると見做すことが出来る。なお、画像処理装置１が測距センサを備える場合、指先の位置（奥行）の変化量を計測することでも、ユーザの動作対象を判定することが可能であるが、コストの増大を招く為、必ずしも好ましくはない。
【００４３】
判定部７は、ユーザの動作部位の動作対象が実世界における付加情報画像であると判定した場合、例えば、図７のテーブル７０に示す、手指位置に応じて、表示部８に表示されるポインタを移動させても良い。なお、一般的に、実世界の認識対象物と表示部８が表示する付加情報画像の焦点距離は異なる為、ユーザは両者を同時に閲覧することはできない。その為、画像上の指先位置とポインタの位置は、必ずしも一致している必要はなく、指先の動きに併せて、ポインタも相対的に動く動作（例えば、指先を上に動かすと、ポインタも上に動く動作）が実現できていれば良い。
【００４４】
判定部７は、ポインタが付加情報画像上で、ある決められた動作をした場合に、付加情報画像の選択項目が選択されたと判定することができる。例えば、選択項目とポインタが所定時間以上重畳した場合に、選択項目が選択されたと判定することが出来る。また、ユーザが選択項目を重畳させる様にポインタを左から右に一定距離以上移動させた場合に、選択項目が選択されたと判定することが出来る。また、選択項目が多岐に渡り、付加情報画像にすべて選択項目が表示することが出来る場合、認識対象物に対応する第２の付加情報画像を切り替えて表示させても良い。この場合、付加情報画像の表示を切り替える契機として、手指を右から左、もしくは、左から右に所定の長い距離をポインタが移動されたことを以って判定することが出来る。
【００４５】
実施例１に開示する画像処理装置１においては、ユーザの動作部位の動作対象が、付加情報画像に対するものであるのか、認識対象物に対するものであるのかを識別することが可能となり、実世界に存在する認識対象物を動作対象とする作業と、付加情報画像に対する動作対象とする作業をシームレスに切り替えることが可能になる。これにより、作業効率を低下させることなく、付加情報画像を適切に表示する画像処理装置を提供することが可能となる。
【００４６】
（実施例２）
実施例１に開示した事項に加えて、本発明者らの鋭意検討により以下に示す事項が新たに見出された。ユーザは、付加情報画像のポインタを操作する際、肘をある程度曲げた状態で操作する。換言すると、ユーザは、付加情報画像のポインタを操作する際、肘を伸ばした状態では操作しない。この為、実世界における認識対象物の作業時よりも、付加情報画像が動作対象となっている場合の方が、ユーザの頸部に拘持または装着される撮像部２と手指との距離が短くなる。この事象における本発明者らの見解を以下に示す。
【００４７】
ユーザの動作部位の動作対象が付加情報画像となる場合には、ユーザは付加情報画像のみを見て、指先位置を反映したポインタを視認する。この場合において、ユーザは、実世界の指先を視認することはない。これは、付加情報画像と実世界の指先の焦点距離の違いに起因するものである。換言すると、付加情報画像と実世界の指先の焦点距離は、それぞれ異なる為、実世界の指先と付加情報画像を同時に視認することはできない。例えば、ユーザは、付加情報画像を見る際には指がぼやけて見え、逆に、実世界の指先を見る際には付加情報画像はぼやけて見える。その為、ユーザが付加情報画像を動作対象とする際には、認識対象物の焦点距離に依らず、ユーザが最も操作しやすい位置（可動域を広くとることが出来る適度に肘が曲がった状態）で、ポインタを操作することなる。
【００４８】
上述の特徴を利用し、判定部７は、ユーザの動作部位の特徴量が、任意に定められる第２閾値以上の場合、動作対象が付加情報画像と判定し、第２閾値未満の場合、動作対象が認識対象物と判定することが出来る。また、ユーザの動作部位の特徴量は、手指の長さまたは手指の面積である。なお、第２閾値は、特徴量として手指の面積を用いる場合は、例えば、第２閾値＝５０画素とすることが出来る。また、特徴量として手指の長さを用いる場合は、例えば、第２閾値＝２画素とすることが出来る。なお、判定部７は、複数のフレームに渡る特徴量の平均値を算出し、当該平均値を用いて第２閾値との比較処理を実施しても良い。また、判定部７は、第２閾値を更に区分けし、例えば、手指の面積を特徴量とする場合、１００画素以上の場合は、動作対象が付加情報画像と判定し、３０画素未満の場合は、動作対象を実世界の認識対象物と判定することが出来る。なお、第２閾値を規定するにあたり、予め付加情報画像を動作対象とした場合の特徴量と、認識対象物を動作対象とした場合の特徴量をユーザ毎に予め登録することで、判定精度を向上させることが出来る。
【００４９】
実施例１に開示する判定部７の判定処理に加えて、実施例２に開示する判定処理を組み合わせることにより、判定部７の判定精度を更に向上させることが可能となる。例えば、判定部７は、動作部位の特徴量の変化量が第１閾値未満であり、かつ、特徴量が第２閾値以上である場合に、動作対象が付加情報画像に対するものであると判定すれば良い。当該判定処理により、例えば、ユーザが肘を伸ばし切った状態で実世界の認識対象物に対して作業を行う場合（ホワイトボードに文字を書く作業等）等、手指の動作が略２次元上になる場合等の特異な状況を排除し、ユーザの動作部位の動作対象を判定することが可能となる。
【００５０】
（実施例３）
実施例１または実施例２に開示した事項に加えて、判定部７は、認識対象物と動作部位の相対位置が任意に規定される第３閾値以上の場合、ユーザの動作部位の動作対象が付加情報画像と判定しても良い。この場合、判定部７は、図７のテーブル７０に示される相対位置を参照すれば良い。また、第３閾値は、例えば１５０画素と規定し、ｘ方向とｙ方向の何れの相対位置も第３閾値以上の場合に、条件を満たすものと見做せば良い。実世界の作業対象物を動作対象とする場合は、ユーザの手指は、作業対象物に接触するか、近接することになる。この為、実施例１または実施例２に開示する判定部７の判定処理に加えて、実施例３に開示する判定処理を組み合わせることにより、判定部７の判定精度を更に向上させることが可能となる。例えば、判定部７は、特徴量の変化量が第１閾値未満の場合、かつ、認識対象物と動作部位の相対位置が第３閾値以上の場合に、動作対象が付加情報画像と判定することが出来る。
【００５１】
なお、判定部７は、複数のフレームに渡る相対位置の平均値を算出し、当該平均値を用いて第３閾値との比較処理を実施しても良い。手指が認識対象物と接触している間は、指先と認識対象物との２次元上の相対位置は、大きく変化しない為、複数のフレームに渡る相対位置の平均値を算出し、当該平均値を用いて第３閾値との比較処理を実施することで、判定部７の判定精度を更に向上させることが可能となる。
【００５２】
（実施例４）
認識部５は、ユーザの動作部位の第１形状を更に認識し、判定部７は、第１形状が、予め定められる第２形状と一致する場合、ユーザの動作部位の動作対象が付加情報画像と判定しても良い。具体的には、認識部５は、例えば、図６のテーブル６０に指先座標が格納される手指ＩＤの数に応じて第１形状を認識することが出来る。また、判定部７は、例えば、指先ＩＤ１のみに指先座標が格納されている場合（例えば、ユーザが人差し指のみを伸ばした場合）を第２形状として予め定めることができる。判定部７は、第１形状と第２形状が一致する場合、ユーザが付加情報画像に対して動作を行っていると認識することが出来る。一方、手指が第２形状以外の形状である（手を広げている場合であり、指先ＩＤ１〜ＩＤ５の全てに指先座標が格納されている場合）、判定部７は、ユーザの動作部位の動作対象は、実世界の認識対象物であると判定することが出来る。なお、ユーザが人差し指のみを伸ばした場合に、付加情報画像のポインタを操作できる旨のメッセージを予め表示部８に表示させることでユーザに通知することが出来る。
【００５３】
（実施例５）
図８は、一つの実施形態による画像処理装置１として機能するコンピュータのハードウェア構成図である。図８に示す通り、画像処理装置１は、コンピュータ１００、およびコンピュータ１００に接続する入出力装置（周辺機器）を含んで構成される。
【００５４】
コンピュータ１００は、プロセッサ１０１によって装置全体が制御されている。プロセッサ１０１には、バス１０９を介してＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１０２と複数の周辺機器が接続されている。なお、プロセッサ１０１は、マルチプロセッサであってもよい。また、プロセッサ１０１は、例えば、ＣＰＵ、ＭＰＵ（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、またはＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ  Ｌｏｇｉｃ  Ｄｅｖｉｃｅ）である。更に、プロセッサ１０１は、ＣＰＵ、ＭＰＵ、ＤＳＰ、ＡＳＩＣ、ＰＬＤのうちの２以上の要素の組み合わせであってもよい。なお、例えば、プロセッサ１０１は、図２または図３に記載の取得部３、認識部５、算出部６、判定部７、処理部９等の機能ブロックの処理を実行することが出来る。
【００５５】
ＲＡＭ１０２は、コンピュータ１００の主記憶装置として使用される。ＲＡＭ１０２には、プロセッサ１０１に実行させるＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）のプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、ＲＡＭ１０２には、プロセッサ１０１による処理に必要な各種データが格納される。バス１０９に接続されている周辺機器としては、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）１０３、グラフィック処理装置１０４、入力インタフェース１０５、光学ドライブ装置１０６、機器接続インタフェース１０７およびネットワークインタフェース１０８がある。
【００５６】
ＨＤＤ１０３は、内蔵したディスクに対して、磁気的にデータの書き込みおよび読み出しを行う。ＨＤＤ１０３は、例えば、コンピュータ１００の補助記憶装置として使用される。ＨＤＤ１０３には、ＯＳのプログラム、アプリケーションプログラム、および各種データが格納される。なお、補助記憶装置としては、フラッシュメモリなどの半導体記憶装置を使用することも出来る。なお、ＨＤＤ１０３は、図２または図４に記載の記憶部４の機能ブロックの処理を実行することが出来る。
【００５７】
グラフィック処理装置１０４には、モニタ１１０が接続されている。グラフィック処理装置１０４は、プロセッサ１０１からの命令にしたがって、各種画像をモニタ１１０の画面に表示させる。モニタ１１０としては、ハーフミラー等の一定の反射率と透過率を有する光学シースルー型ディスプレイを用いることが出来る。なお、モニタ１１０は、ユーザに装着できる様に、フレームで保持されていても良い。また、モニタ１１０は、図２または図４に記載の表示部８の機能ブロックの処理を実行することが出来る。
【００５８】
入力インタフェース１０５には、キーボード１１１とマウス１１２とが接続されている。入力インタフェース１０５は、キーボード１１１やマウス１１２から送られてくる信号をプロセッサ１０１に送信する。なお、マウス１１２は、ポインティングデバイスの一例であり、他のポインティングデバイスを使用することもできる。他のポインティングデバイスとしては、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。
【００５９】
光学ドライブ装置１０６は、レーザ光などを利用して、光ディスク１１３に記録されたデータの読み取りを行う。光ディスク１１３は、光の反射によって読み取り可能なようにデータが記録された可搬型の記録媒体である。光ディスク１１３には、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＣＤ−Ｒ（Ｒｅｃｏｒｄａｂｌｅ）／ＲＷ（ＲｅＷｒｉｔａｂｌｅ）などがある。可搬型の記録媒体となる光ディスク１１３に格納されたプログラムは光学ドライブ装置１０６を介して画像処理装置１にインストールされる。インストールされた所定のプログラムは、画像処理装置１より実行可能となる。
【００６０】
機器接続インタフェース１０７は、コンピュータ１００に周辺機器を接続するための通信インタフェースである。例えば、機器接続インタフェース１０７には、メモリ装置１１４やメモリリーダライタ１１５を接続することが出来る。メモリ装置１１４は、機器接続インタフェース１０７との通信機能を搭載した記録媒体である。メモリリーダライタ１１５は、メモリカード１１６へのデータの書き込み、またはメモリカード１１６からのデータの読み出しを行う装置である。メモリカード１１６は、カード型の記録媒体である。また、機器接続インタフェース１０７には、カメラ１１８を接続することができる。なお、カメラ１１８は、図２または図４に記載の撮像部２の機能ブロックの処理を実行することが出来る。また、カメラ１１８は、モニタ１１０と一体的に配置させることも出来る。
【００６１】
ネットワークインタフェース１０８は、ネットワーク１１７に接続されている。ネットワークインタフェース１０８は、ネットワーク１１７を介して、他のコンピュータまたは通信機器との間でデータの送受信を行う。
【００６２】
コンピュータ１００は、たとえば、コンピュータ読み取り可能な記録媒体に記録されたプログラムを実行することにより、上述した画像処理機能を実現する。コンピュータ１００に実行させる処理内容を記述したプログラムは、様々な記録媒体に記録しておくことが出来る。上記プログラムは、１つのまたは複数の機能モジュールから構成することが出来る。例えば、図２または図４に記載の取得部３、認識部５、算出部６、判定部７等の処理を実現させた機能モジュールからプログラムを構成することが出来る。なお、コンピュータ１００に実行させるプログラムをＨＤＤ１０３に格納しておくことができる。プロセッサ１０１は、ＨＤＤ１０３内のプログラムの少なくとも一部をＲＡＭ１０２にロードし、プログラムを実行する。また、コンピュータ１００に実行させるプログラムを、光ディスク１１３、メモリ装置１１４、メモリカード１１６などの可搬型記録媒体に記録しておくことも出来る。可搬型記録媒体に格納されたプログラムは、例えば、プロセッサ１０１からの制御により、ＨＤＤ１０３にインストールされた後、実行可能となる。またプロセッサ１０１が、可搬型記録媒体から直接プログラムを読み出して実行することも出来る。
【００６３】
以上に図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。
【００６４】
以上、説明した実施形態に関し、更に以下の付記を開示する。
（付記１）
実世界の認識対象物とユーザの動作部位を含む撮像画像を取得する取得部と、
前記撮像画像から前記認識対象物と前記動作部位を認識する認識部と、
前記認識対象物に対応する情報を含む付加情報画像を表示する表示部と、
複数の前記撮像画像における前記動作部位の特徴量の変化量に基づいて、前記動作部位の動作が、前記認識対象物に対するものであるか、前記付加情報画像に対するものであるのかを判定する判定部
を備えることを特徴とする画像処理装置。
（付記２）
前記特徴量は、前記動作部位の長さまたは面積であり、
前記判定部は、
前記長さまたは前記面積の前記変化量が第１閾値未満の場合、前記動作が前記付加情報画像に対するものであると判定し、
前記変化量が前記第１閾値以上の場合、前記動作が前記認識対象物に対するものであると判定することを特徴とする付記１記載の画像処理装置。
（付記３）
前記判定部は、前記変化量が前記第１閾値未満の場合、かつ、前記特徴量が第２閾値以上の場合に前記動作が前記付加情報画像に対するものと判定することを特徴とする付記２記載の画像処理装置。
（付記４）
前記判定部は、前記変化量が前記第１閾値未満の場合、かつ、前記認識対象物と前記動作部位の相対位置が第３閾値以上の場合に、前記動作が前記付加情報画像に対するものと判定することを特徴とする付記２または付記３に記載の画像処理装置。
（付記５）
前記表示部は、前記付加情報画像に対応するポインタを更に表示し、
前記判定部は、前記動作が前記付加情報画像に対するものの場合、前記撮像画像における前記動作部位の位置に基づいて前記ポインタの表示位置を制御することを特徴とする付記１ないし付記４の何れか一つに記載の画像処理装置。
（付記６）
前記認識部は、前記動作部位の第１形状を更に認識し、
前記判定部は、前記第１形状が、予め定められる第２形状と一致する場合、前記動作が前記付加情報画像に対するものと判定することを特徴とする付記１ないし付記５の何れか一つに記載の画像処理装置。
（付記７）
実世界の認識対象物とユーザの動作部位を含む撮像画像を取得し、
前記撮像画像から前記認識対象物と前記動作部位を認識し、
前記認識対象物に対応する情報を含む付加情報画像を表示し、
複数の前記撮像画像における前記動作部位の特徴量の変化量に基づいて、前記動作部位の動作が、前記認識対象物に対するものであるか、前記付加情報画像に対するものであるのかを判定する
ことを含むことを特徴とする画像処理方法。
（付記８）
前記特徴量は、前記動作部位の長さまたは面積であり、
前記判定することは、
前記長さまたは前記面積の前記変化量が第１閾値未満の場合、前記動作が前記付加情報画像に対するものであると判定し、
前記変化量が前記第１閾値以上の場合、前記動作が前記認識対象物に対するものであると判定することを特徴とする付記７記載の画像処理方法。
（付記９）
前記判定することは、前記変化量が前記第１閾値未満の場合、かつ、前記特徴量が第２閾値以上の場合に前記動作が前記付加情報画像に対するものと判定することを特徴とする付記８記載の画像処理方法。
（付記１０）
前記判定することは、前記変化量が前記第１閾値未満の場合、かつ、前記認識対象物と前記動作部位の相対位置が第３閾値以上の場合に、前記動作が前記付加情報画像に対するものと判定することを特徴とする付記８または付記９に記載の画像処理方法。
（付記１１）
前記表示することは、前記付加情報画像に対応するポインタを更に表示し、
前記判定することは、前記動作が前記付加情報画像に対するものの場合、前記撮像画像における前記動作部位の位置に基づいて前記ポインタの表示位置を制御することを特徴とする付記７ないし付記１０の何れか一つに記載の画像処理方法。
（付記１２）
前記認識することは、前記動作部位の第１形状を更に認識し、
前記判定することは、前記第１形状が、予め定められる第２形状と一致する場合、前記動作が前記付加情報画像に対するものと判定することを特徴とする付記７ないし付記１１の何れか一つに記載の画像処理方法。
（付記１３）
コンピュータに、
実世界の認識対象物とユーザの動作部位を含む撮像画像を取得し、
前記撮像画像から前記認識対象物と前記動作部位を認識し、
前記認識対象物に対応する情報を含む付加情報画像を表示し、
複数の前記撮像画像における前記動作部位の特徴量の変化量に基づいて、前記動作部位の動作が、前記認識対象物に対するものであるか、前記付加情報画像に対するものであるのかを判定する
ことを実行させることを特徴とする画像処理プログラム。
【符号の説明】
【００６５】
１    画像処理装置
２    撮像部
３    取得部
４    記憶部
５    認識部
６    算出部
７    判定部
８    表示部
９    処理部 
【図１】
2016099643.tif 000004
【図２】
2016099643.tif 000005
【図３】
2016099643.tif 000006
【図４】
2016099643.tif 000007
【図５】
2016099643.tif 000008
【図６】
2016099643.tif 000009
【図７】
2016099643.tif 000010
【図８】
2016099643.tif 000011