(57)【要約】【課題】従来よりも容易な演算によりジェスチャコマンドを認識することができるジェスチャコマンド入力装置、ジェスチャコマンド入力方法及びジェスチャコマンド入力プログラム並びに画像表示システムを提供する。【解決手段】ＳＴ−ＨＭＤ１０は、予め定められた特徴マークの画像を含み特徴マークの個数を示すユーザの手を振るジェスチャ画像を取得するフレーム画像取得部２２と、ジェスチャ画像から特徴マークを抽出する特徴マーク抽出部２３と、特徴マーク抽出部２３によって抽出された特徴マークの個数を計数する特徴マーク計数部２７と、特徴マークの個数に基づいてジェスチャコマンドを画面操作コマンドに変換するコマンド変換部３０と、を備える。【選択図】図１
2017207949.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの手を振るジェスチャに応じたジェスチャコマンドを所定のコマンドに変換するジェスチャコマンド入力装置であって、
予め定められた特徴マークの画像を含み前記特徴マークの個数を示す前記ユーザの手を振るジェスチャ画像を取得するジェスチャ画像取得部と、
前記ジェスチャ画像から前記特徴マークを抽出する特徴マーク抽出部と、
前記特徴マーク抽出部によって抽出された前記特徴マークの個数を計数する特徴マーク計数部と、
前記特徴マークの個数に基づいて前記ジェスチャコマンドを前記コマンドに変換するコマンド変換部と、
を備えたことを特徴とするジェスチャコマンド入力装置。
【請求項２】
前記特徴マーク抽出部によって抽出された前記特徴マークが有効であるか否かを判定するための有効判定領域を設定する有効判定領域設定部と、
前記有効判定領域における前記特徴マークの相対位置に基づいて前記ジェスチャ画像で示される前記ユーザの手を振るジェスチャが前記ジェスチャコマンドであるか否かを判定するジェスチャコマンド判定部と、
をさらに備え、
前記コマンド変換部は、前記ジェスチャコマンド判定部により前記ジェスチャが前記ジェスチャコマンドであると判定されたことを条件に、前記ジェスチャコマンドを前記コマンドに変換するものであることを特徴とする請求項１に記載のジェスチャコマンド入力装置。
【請求項３】
前記ジェスチャ画像取得部は、連続した複数のフレーム画像から前記ジェスチャ画像を取得するものであり、
前記有効判定領域設定部は、前記有効判定領域を前記フレーム画像ごとに設定するものであり、
前記ジェスチャコマンド判定部は、前記フレーム画像ごとの前記有効判定領域における前記特徴マークの相対位置に基づいて前記ジェスチャが前記ジェスチャコマンドであるか否かを判定するものであり、
前記特徴マーク計数部は、前記フレーム画像ごとの前記有効判定領域において前記特徴マークの個数を前記フレーム画像ごとに計数するものであることを特徴とする請求項２に記載のジェスチャコマンド入力装置。
【請求項４】
前記有効判定領域設定部は、前記ユーザの手のひら又は手の甲の中心を中心点とした半径の異なる２つの同心円の間の領域を前記有効判定領域として設定するものであることを特徴とする請求項２又は請求項３に記載のジェスチャコマンド入力装置。
【請求項５】
前記有効判定領域設定部は、前記中心点から最も近い特徴マークまでの距離を半径とする第１の円と、前記中心点から最も遠い特徴マークまでの距離を半径とする第２の円との間の領域を前記有効判定領域として設定するものであることを特徴とする請求項４に記載のジェスチャコマンド入力装置。
【請求項６】
前記特徴マークの個数と前記コマンドとが予め関連付けて登録されたコマンドテーブルをさらに備え、
前記コマンド変換部は、前記特徴マーク計数部によって計数された前記特徴マークの個数と前記コマンドテーブルに登録された登録内容とに基づいて前記ジェスチャコマンドを前記コマンドに変換するものであることを特徴とする請求項１から請求項５までのいずれか１項に記載のジェスチャコマンド入力装置。
【請求項７】
前記コマンドテーブルは、前記特徴マークの個数を追加することにより、前記コマンドを登録することを特徴とする請求項１から請求項６までのいずれか１項に記載のジェスチャコマンド入力装置。
【請求項８】
前記特徴マークは、前記ユーザの素手の各指又は手袋の各指に備えられたものであることを特徴とする請求項１から請求項７までのいずれか１項に記載のジェスチャコマンド入力装置。
【請求項９】
請求項１から請求項８までのいずれか１項に記載のジェスチャコマンド入力装置と、
前記ジェスチャコマンド入力装置から入力された前記コマンドに基づいて、所定の画像を表示する表示装置と、
を備えたことを特徴とする画像表示システム。
【請求項１０】
ユーザの手を振るジェスチャに応じたジェスチャコマンドを所定のコマンドに変換するジェスチャコマンド入力方法であって、
予め定められた特徴マークの画像を含み前記特徴マークの個数を示す前記ユーザの手を振るジェスチャ画像を取得するジェスチャ画像取得ステップと、
前記ジェスチャ画像から前記特徴マークを抽出する特徴マーク抽出ステップと、
前記特徴マーク抽出ステップにおいて抽出された前記特徴マークの個数を計数する特徴マーク計数ステップと、
前記特徴マークの個数に基づいて前記ジェスチャコマンドを前記コマンドに変換するコマンド変換ステップと、
を含むことを特徴とするジェスチャコマンド入力方法。
【請求項１１】
ユーザの手を振るジェスチャに応じたジェスチャコマンドを所定のコマンドに変換するジェスチャコマンド入力装置を実現するためのコンピュータ実行可能なジェスチャコマンド入力プログラムであって、
前記ジェスチャコマンド入力プログラムは、コンピュータを、
予め定められた特徴マークの画像を含み前記特徴マークの個数を示す前記ユーザの手を振るジェスチャ画像を取得するジェスチャ画像取得部、
前記ジェスチャ画像から前記特徴マークを抽出する特徴マーク抽出部、
前記特徴マーク抽出部によって抽出された前記特徴マークの個数を計数する特徴マーク計数部、及び、
前記特徴マークの個数に基づいて前記ジェスチャコマンドを前記コマンドに変換するコマンド変換部、
として機能させるためのジェスチャコマンド入力プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ジェスチャコマンド入力装置、ジェスチャコマンド入力方法及びジェスチャコマンド入力プログラム並びに画像表示システムに関する。
【背景技術】
【０００２】
従来、眼鏡のように装着可能で、周囲の状況を肉眼で観察しながら所定の画像を確認することができる装置として、例えば、カメラ付きシースルー型ヘッドマウント（頭部装着）ディスプレイ（See-Through Head Mounted Display：ST-HMD）が知られている。この種のＳＴ−ＨＭＤに対して、ユーザの手のジェスチャに応じたジェスチャコマンドを入力するジェスチャコマンド入力装置が次世代インタフェースとして期待されており、ジェスチャコマンドを認識するための技術が開発されている（例えば、特許文献１、２参照）。
【０００３】
特許文献１に記載のものは、基準画像との差分を演算してユーザの手の画像だけを抽出する画像差演算部と、動く前と動いた後の手の部分の輪郭形状を抽出する輪郭抽出部と、手の形状の変化を識別する形状変化識別部と、動いた後の手の部分の輪郭形状の重心座標を演算する位置検出部と、手に相当する部分の画像中の重心座標に基づいてアイコンを画面に表示する表示制御部と、を備え、ユーザが手のジェスチャによりアイコンを移動させてコンピュータに指令を与えることができるようになっている。
【０００４】
特許文献２に記載のものは、カメラ手段と、指に特徴マークを装着した手指の画像を撮影する画像入力手段と、撮影画像から特徴マークの形状を抽出する特徴マーク抽出手段と、特徴マークの形状に基づき特徴マークの位置姿勢を推定する位置姿勢推定手段と、特徴マークの位置姿勢に基づきハンドジェスチャを認識するジェスチャ認識手段と、を備えている。
【０００５】
この構成において、特徴マーク抽出手段は、色情報をもとに特徴マークの各色の領域を抽出した後に、膨張収縮による欠損補間及びラベリングマーク処理を施し、得られた閉領域より各色の重心座標を計算するようになっている。また、位置姿勢推定手段は、各重心座標の平均から特徴マークの画像中の座標位置を算出し、各重心座標を結ぶ直線から画像平面内での推定角度を算出し、得られた特徴マークの座標位置及び推定角度から特徴マークの位置姿勢を推定するようになっている。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１、２に記載された従来のものは、複雑な演算を行う構成となっているので、装置の構成が複雑化するという課題があった。そのため、より容易な演算によりジェスチャコマンドを認識できるものが望まれていた。
【０００７】
本発明は、前述の事情に鑑みてなされたものであり、従来よりも容易な演算によりジェスチャコマンドを認識することができるジェスチャコマンド入力装置、ジェスチャコマンド入力方法及びジェスチャコマンド入力プログラム並びに画像表示システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明のジェスチャコマンド入力装置は、ユーザの手を振るジェスチャに応じたジェスチャコマンドを所定のコマンドに変換するジェスチャコマンド入力装置であって、予め定められた特徴マークの画像を含み前記特徴マークの個数を示す前記ユーザの手を振るジェスチャ画像を取得するジェスチャ画像取得部と、前記ジェスチャ画像から前記特徴マークを抽出する特徴マーク抽出部と、前記特徴マーク抽出部によって抽出された前記特徴マークの個数を計数する特徴マーク計数部と、前記特徴マークの個数に基づいて前記ジェスチャコマンドを前記コマンドに変換するコマンド変換部と、を備える。
【発明の効果】
【０００９】
本発明は、従来よりも容易な演算によりジェスチャコマンドを認識することができるという効果を有するジェスチャコマンド入力装置、ジェスチャコマンド入力方法及びジェスチャコマンド入力プログラム並びに画像表示システムを提供することができるものである。
【図面の簡単な説明】
【００１０】
【図１】本発明に係るジェスチャコマンド入力装置の一実施形態におけるＳＴ−ＨＭＤの機能ブロック図である。
【図２】本実施形態におけるＳＴ−ＨＭＤ及びユーザの右手の画像を概念的に示した図である。
【図３】本実施形態において、特徴マークが各指に付された右手をユーザが１往復振った状態を示す図である。
【図４】本実施形態において、ユーザが手袋をはめた状態でのジェスチャ画像と、画面操作コマンドテーブルの一例を示す図である。
【図５】本実施形態におけるＳＴ−ＨＭＤのハードウェア構成図である。
【図６】本実施形態におけるＳＴ−ＨＭＤの動作を示すフローチャートである。
【図７】本実施形態におけるＳＴ−ＨＭＤのジェスチャコマンド記憶処理を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態について図面を用いて説明する。なお、本発明のジェスチャコマンド入力装置をＳＴ−ＨＭＤに適用した例を挙げて説明する。
【００１２】
まず、本発明に係るＳＴ−ＨＭＤの一実施形態における構成について説明する。
【００１３】
図１に示すように、本実施形態におけるＳＴ−ＨＭＤ１０は、画像表示システムの一例であって、ジェスチャコマンド入力装置２０、表示装置４０を備えている。このＳＴ−ＨＭＤ１０は、ユーザが、例えば各指の指先に特徴マークを付した手を振るジェスチャを行った場合に、特徴マークの個数に応じたジェスチャコマンドを認識するようになっている。そして、ＳＴ−ＨＭＤ１０は、認識したジェスチャコマンドをディスプレイの画面操作を行うための画面操作コマンドに変換するようになっている。
【００１４】
ジェスチャコマンド入力装置２０は、カメラ２１、フレーム画像取得部２２、特徴マーク抽出部２３、有効判定領域設定部２４、相対位置算出部２５、ジェスチャコマンド判定部２６を備えている。また、ジェスチャコマンド入力装置２０は、特徴マーク計数部２７、ジェスチャコマンド記憶処理部２８、画面操作コマンドテーブル２９、コマンド変換部３０、画面操作コマンド出力部３１を備えている。表示装置４０は、表示制御部４１、透過型ディスプレイ４２を備えている。
【００１５】
カメラ２１は、被写体の静止画や動画を撮像できるものである。例えば、カメラ２１は、ユーザの手を振るジェスチャの動画を撮像し、撮像したフレーム画像のデータをフレーム画像取得部２２に出力するようになっている。
【００１６】
フレーム画像取得部２２は、カメラ２１からユーザのジェスチャ画像を含む時間的に連続した複数のフレーム画像のデータを入力し、ユーザのジェスチャ画像を取得するようになっている。このフレーム画像取得部２２は、ジェスチャ画像取得部の一例である。
【００１７】
特徴マーク抽出部２３は、フレーム画像取得部２２が取得した各フレーム画像から、予め定められた特徴マークの画像をフレーム画像ごとに抽出するようになっている。ここで特徴マークとしては、例えば、ユーザの素手の各指や手袋の指先にカラーマークを付したものや、各指に装着したリング状のもの、その他、各指自体の色や形状等を用いることができる。すなわち、特徴マークは計数可能なものであればよい。
【００１８】
なお、公知の手法を用いて特徴マークの画像の抽出や追跡等を行うことができる。例えば、文献(D.Comaniciu, V .Ramesh and P. Meer, Kernel Based Object Tracking, PAMI,Vol.25,No.5,pp.564-577,2003.)に記載された方法に基づき、特徴マークの色情報を用いて指先の特徴マークを追跡することができる。また、カメラ２１が出力する時系列のフレーム画像に対して、公知のパターン認識法、背景差分法、肌色抽出法、フレーム間差分法等を適用することにより、ユーザの手、指、特徴マーク等をフレーム画像ごとに検出して、時系列に追跡することもできる。
【００１９】
有効判定領域設定部２４は、特徴マーク抽出部２３によって抽出された特徴マークの画像と、ユーザの手を撮像したフレーム画像とを入力するようになっている。そして、有効判定領域設定部２４は、抽出された特徴マークの画像が有効であるか否かを判定するための有効判定領域をフレーム画像ごとに設定するようになっている。図２を用いて具体的に説明する。
【００２０】
図２は、カメラ２１が設けられ、透過型ディスプレイ４２を有するＳＴ−ＨＭＤ１０と、特徴マーク５１〜５５が各指先に付され、５本の指を開いた状態のユーザの右手の画像と、を概念的に示している。なお、本実施形態では、カメラ２１によりユーザの手の甲側から撮像した画像を用いて説明するが、手のひら側から撮像した画像を用いてもよい。
【００２１】
図２に示すように、有効判定領域設定部２４は、例えば、ユーザの手の甲の中心を中心点とした半径の異なる２つの同心円の間の領域を有効判定領域として設定するようになっている。
【００２２】
具体的には、本実施形態における有効判定領域設定部２４は、手の甲の中心点５０から最も近い特徴マーク５１の内縁（中心点５０側）までの距離を半径とする第１の円５６を求める。また、有効判定領域設定部２４は、中心点５０から最も遠い特徴マーク５２の外縁（中心点５０と反対側）までの距離を半径とする第２の円５７を求める。そして、有効判定領域設定部２４は、第１の円５６と第２の円５７との間の領域（斜線部）を有効判定領域５８として設定する。なお、手の甲の中心点５０を求める手法としては、公知であるので説明を省略する。例えば、特開２０１５−１０６３８６号公報の図６に示されているように、手首の親指側の付け根の点と、各指の間の点と、手首の小指側の付け根の点との重心を手の甲の中心点とすることができる。
【００２３】
相対位置算出部２５は、特徴マークの相対位置を求めるものである。背景や光線の当たり方、画像内の類似マークの存在等のノイズにより認識率が低下する場合があるので、特徴マーク抽出部２３によって抽出された特徴マークの画像の中には、真の特徴マーク以外に偽の特徴マークの画像が含まれている可能性がある。そこで、相対位置算出部２５は、偽の特徴マークを排除するため、フレーム画像間において特徴マークの相対位置を求めるようになっている。
【００２４】
具体的には、相対位置算出部２５は、例えば、図２に示した中心点５０と特徴マーク５１〜５５の各中心点とをそれぞれ結んだ線分の角度（以下「特徴マーク角度」という）を求める。また、相対位置算出部２５は、例えば、特徴マーク５１〜５５の互いに隣接する各中心点の距離（以下「特徴マーク隣接間隔」という）を求める。そして、相対位置算出部２５は、特徴マーク角度及び特徴マーク隣接間隔をフレーム画像ごとに算出することにより、特徴マーク５１〜５５の相対位置をフレーム画像ごとに算出する。
【００２５】
なお、図２に示した５本指でのジェスチャコマンドの場合では、特徴マーク角度及び特徴マーク隣接間隔は４つであるが、例えば２本指でのジェスチャコマンドの場合では、特徴マーク角度及び特徴マーク隣接間隔は１つである。また、１本指でのジェスチャコマンドの場合では、例えば、中心点５０から特徴マーク５２の中心点までの距離を用いれば相対位置の比較が可能である。
【００２６】
ジェスチャコマンド判定部２６は、特徴マーク抽出部２３によって抽出された特徴マークのうち、有効判定領域５８に含まれないものは無効と判定するようになっている。また、ジェスチャコマンド判定部２６は、有効判定領域５８に含まれ、かつ、相対位置算出部２５によって算出された相対位置がフレーム画像間において所定の規格内の変化である特徴マークは有効と判定するようになっている。
【００２７】
また、ジェスチャコマンド判定部２６は、有効判定領域５８に含まれる特徴マークの相対位置に基づき、ユーザの手を振るジェスチャがジェスチャコマンドであるか否かを判定するようになっている。特徴マークの相対位置について、図３を用いて５つの特徴マーク５１〜５５を用いた場合について説明する。
【００２８】
図３は、ユーザが、特徴マーク５１〜５５が各指に付された右手を、画像Ａ→Ｂ→Ｃ→Ｂ→Ａに示される順序で１往復振った状態を示している。画像Ａに示した手の状態から手を時計回りに約４５度回転させた状態が画像Ｃに示された状態である。本実施形態では、フレーム画像取得部２２が、半往復（往又は復）を０．５秒間、すなわち１往復を１秒間とし、０．１秒間隔で１０フレーム分のフレーム画像を取得するものとしている。ユーザが往復１秒間という短時間かつ高速度で手を振るフレーム画像から特徴マークを抽出すれば、各フレームの前後で特徴マークの相対位置はほぼ変化しないと考えられる。
【００２９】
ジェスチャコマンド判定部２６は、特徴マーク角度及び特徴マーク隣接間隔を例えば互いに隣接するフレームで比較するようになっている。比較した各結果がともに所定の閾値以下であった場合には、ジェスチャコマンド判定部２６は、ユーザの手を振るジェスチャがジェスチャコマンドであると判定するようになっている。
【００３０】
一方、特徴マーク角度及び特徴マーク隣接間隔を比較した結果の少なくとも一方が所定の閾値を超えた場合には、ジェスチャコマンド判定部２６は、ユーザの手を振るジェスチャがジェスチャコマンドではないと判定するようになっている。そして、ジェスチャコマンド判定部２６は、ジェスチャコマンドが無効である旨を示す無効コマンドを表示装置４０に出力するようになっている。この場合には、ジェスチャコマンド判定部２６は、カメラ２１に対するユーザの手の向け方を変えさせる等の示唆を表示装置４０に表示させることにより特徴マークの認識率の改善を図ることができる。
【００３１】
特徴マーク計数部２７は、ジェスチャコマンド判定部２６によってジェスチャコマンドであると判定されたことを条件に、有効判定領域５８における特徴マークの個数をフレーム画像ごとに計数するようになっている。そして、特徴マーク計数部２７は、計数した特徴マークの個数のデータをコマンド変換部３０に出力するようになっている。なお、特徴マーク計数部２７が計数した特徴マークの個数のデータを表示装置４０に出力する構成としてもよい。この構成とすれば、ジェスチャコマンドの認識結果をユーザが確認できるので好ましい。
【００３２】
特徴マーク計数部２７が特徴マークの個数を計数するに当たり、背景や光線の当たり方、画像内の類似マークの存在等のノイズにより認識率が低下する場合があるので、そのノイズを排除するための構成を適用してもよい。すなわち、有効判定領域５８において特徴マークの候補を示す候補特徴マークの個数をフレーム画像ごとに検出し、複数のフレーム画像における候補特徴マークの個数の平均値に基づいて特徴マークの個数を検出するようにしてもよい。この場合の構成について図３を用いて具体的に説明する。
【００３３】
まず、特徴マーク計数部２７は、例えば１０フレーム分の各フレーム画像の有効判定領域５８において候補特徴マークの個数ｎｉ（ｉ＝０、１、・・・、９）をフレーム画像ｆｉ（ｉ＝０、１、・・・、９）ごとに検出する。
【００３４】
次に、特徴マーク計数部２７は、１０フレームのフレーム画像における候補特徴マークの個数ｎｉの平均値Ａを数式Ａ＝（ｎ０＋ｎ１＋・・・＋ｎ８＋ｎ９）／１０により算出する。例えば、特徴マーク計数部２７が検出した候補特徴マークの個数が、ｎ０＝５、ｎ１＝４、ｎ２＝５、ｎ３＝５、ｎ４＝５、ｎ５＝５、ｎ６＝４、ｎ７＝５、ｎ８＝５、ｎ９＝４であったとすると、平均値Ａ＝４．７である。ここで、特徴マーク計数部２７は、例えば、平均値Ａ≧４．５以上であれば特徴マークの個数＝５（閾値＝９０％）とみなすものとしておけば、平均値Ａ＝４．７では特徴マークの個数＝５とみなすことができる。
【００３５】
同様な考え方で、特徴マーク計数部２７は、平均値Ａ≧４．７５以上であれば特徴マークの個数＝５（閾値＝９５％）とみなしたり、平均値Ａ≧２．５５以上であれば特徴マークの個数＝３（閾値＝８５％）とみなしたりする構成とすることが可能である。
【００３６】
前述の平均値を用いる手法は、ＳＴ−ＨＭＤ１０の使用開始時に特徴マークの認識率を向上させるために適用することもできる。具体的には、ＳＴ−ＨＭＤ１０の使用開始時に、５本指の指先に特徴マークを付した手を振るジェスチャ（図３参照）をユーザに所望のポーズで行わせ、例えば、平均値Ａ≧４．５（閾値＝９０％）以上が得られた場合には、その旨を表示装置４０に表示させる。一方、ＳＴ−ＨＭＤ１０は、平均値Ａ＜４．５（閾値＝９０％）未満の場合には、カメラ２１に対するユーザの顔や手の向け方を変えさせる等の示唆を表示装置４０に表示させることが好ましい。この場合には、ＳＴ−ＨＭＤ１０は、よりよいジェスチャ入力状態を事前に設定できるので、特徴マークの認識率を向上させることができる。
【００３７】
ジェスチャコマンド記憶処理部２８は、特徴マーク計数部２７によって計数された特徴マークの個数のデータをジェスチャコマンドのデータとして記憶するようになっている。
【００３８】
画面操作コマンドテーブル２９は、コマンドテーブルの一例であって、特徴マークの個数と画面操作コマンドとが予め関連付けられて登録されたものである。図４を用いて説明する。
【００３９】
図４の上段には、ユーザが手袋をはめた状態において、あるフレームでのジェスチャ画像が示されている。図４の下段には、ジェスチャコマンドと画面操作コマンドとの関係を示す画面操作コマンドテーブル２９が示されている。
【００４０】
図４の下段に示すように、本実施形態では、画面操作コマンドに対応するマーク数（特徴マークの個数）として「０」〜「４」、「１１」、「２２」の数字記号が定義されている。また、図４の上段に示すように、マーク数「１」〜「５」の数字記号がジェスチャコマンドとして設定されている。なお、マーク数「０」は、５本の指を閉じた状態でのジェスチャコマンドに対応する。
【００４１】
本実施形態では、特徴マークを入力する操作フローとしては、ユーザが手を１往復するごとに、毎回１桁の数字記号を取得することとしている。例えば、マーク数「１１」のジェスチャコマンドを入力する場合には、操作フローとしては、「５」、「１」、「１」、「５」となる。ここで、マーク数「５」のジェスチャコマンドは、１回目がジェスチャコマンドの入力の開始を示し、２回目がジェスチャコマンドの入力の終了を示す。このジェスチャコマンドの「５」、「１」、「１」、「５」の入力は、図４の下段に示すように、キーボード操作における画面の拡大操作に相当する。
【００４２】
また、画面操作コマンドテーブル２９は、追加で登録可能である。本実施形態では、入力の開始と終了を意味するマーク数「５」のジェスチャコマンドの間に、例えば「１」、「２」、「３」、「４」の様々な組み合わせ、桁のジェスチャコマンドを登録することができる。従来は、新規コマンドを追加する毎に認識処理等が必要であったが、本実施形態のコマンドテーブルを用いることにより、マークの個数を定義するだけで、新規なジェスチャコマンドを容易に追加することが可能となる。
【００４３】
コマンド変換部３０は、ジェスチャコマンド判定部２６が、ユーザの手を振るジェスチャがジェスチャコマンドであると判定したことを条件に、画面操作コマンドテーブル２９を参照するようになっている。そして、コマンド変換部３０は、特徴マーク計数部２７が検出した特徴マークの個数と画面操作コマンドテーブル２９に登録された登録内容とに基づいて、ジェスチャコマンドを画面操作コマンドに変換するようになっている。例えば、前述のように、ジェスチャコマンドとして「５」、「１」、「１」、「５」が入力された場合には、コマンド変換部３０は、このジェスチャコマンドを画面の拡大操作コマンドに変換する。
【００４４】
画面操作コマンド出力部３１は、コマンド変換部３０から画面操作コマンドを入力し、表示装置４０の表示制御部４１に出力するようになっている。
【００４５】
表示制御部４１は、透過型ディスプレイ４２に表示する画像データを例えばネットワークを介して入力し、所定の表示制御を行って透過型ディスプレイ４２に出力するようになっている。また、表示制御部４１は、画面操作コマンド出力部３１から画面操作コマンドを入力した場合には、その画面操作コマンドに基づいて透過型ディスプレイ４２の表示制御を行うようになっている。
【００４６】
透過型ディスプレイ４２は、表示制御部４１が行う表示制御に基づいて所定の画像を表示するようになっている。
【００４７】
次に、本実施形態におけるＳＴ−ＨＭＤ１０のハードウェア構成例について、図５を用いて説明する。
【００４８】
図５に示すように、ＳＴ−ＨＭＤ１０は、ＳＴ−ＨＭＤ１０全体の処理を実行するＣＰＵ１０１と、ＣＰＵ１０１の処理に必要な各種プログラムやデータを記憶するＲＯＭ１０２と、を備えている。また、ＳＴ−ＨＭＤ１０は、ＣＰＵ１０１での処理途中のデータや画像データ等が一時的に格納されるＲＡＭ１０３と、画面操作コマンドテーブル２９や画像データ等の各種データが記憶可能なフラッシュメモリ１０４と、を備えている。また、ＳＴ−ＨＭＤ１０は、カメラ２１と、透過型ディスプレイ４２と、ネットワークを介して画像データや各種設定データ等を入力するネットワークインタフェース（ＩＦ）１０５と、各構成要素間においてデータを転送するバス１０６と、を備えている。
【００４９】
例えば、ＲＯＭ１０２には、ジェスチャコマンド入力装置２０及び表示装置４０の処理等を制御する制御用プログラムなどが記憶されている。ＣＰＵ１０１は、このＲＯＭ１０２に記憶された制御プログラムに基づいて演算処理を実行するようになっている。また、ＲＡＭ１０３は、ＣＰＵ１０１による演算結果や、カメラ２１、ネットワークＩＦ１０５から入力されたデータ等を一時的に記憶するようになっている。
【００５０】
ＣＰＵ１０１、ＲＯＭ１０２及びＲＡＭ１０３などは、バス１０６を介して互いに接続されるとともに、各構成要素と接続されている。
【００５１】
フラッシュメモリ１０４に記憶される画面操作コマンドテーブル２９や画像データ等の各種データ、透過型ディスプレイ４２に表示される画像データは、例えば、ネットワークＩＦ１０５を介して入力されるようになっている。また、ＣＰＵ１０１、ＲＯＭ１０２及びＲＡＭ１０３は、ジェスチャコマンド記憶処理部２８として機能するようになっており、この場合には、ＲＡＭ１０３にジェスチャコマンドを示すマーク数のデータが記憶される。
【００５２】
次に、本実施形態におけるＳＴ−ＨＭＤ１０の動作について図６を用いて説明する。
【００５３】
まず、ＳＴ−ＨＭＤ１０は、変数ｎに０を代入し、変数ｎを初期化する（ステップＳ１１）。なお、この変数ｎは、後述するジェスチャコマンド記憶処理（ステップＳ１８）で用いるものである。
【００５４】
フレーム画像取得部２２は、カメラ２１からユーザのジェスチャ画像を含む時間的に連続した複数のフレーム画像のデータを入力し、ユーザのジェスチャ画像を取得する（ステップＳ１２）。
【００５５】
特徴マーク抽出部２３は、フレーム画像取得部２２が取得した各フレーム画像から、特徴マークの画像をフレーム画像ごとに抽出する（ステップＳ１３）。
【００５６】
有効判定領域設定部２４は、特徴マーク抽出部２３によって抽出された特徴マークの画像と、ユーザの手を撮像したフレーム画像とを入力し、有効判定領域をフレーム画像ごとに設定する（ステップＳ１４）。
【００５７】
相対位置算出部２５は、特徴マーク角度及び特徴マーク隣接間隔をフレーム画像ごとに算出することにより、特徴マークの相対位置をフレーム画像ごとに算出する（ステップＳ１５）。
【００５８】
ジェスチャコマンド判定部２６は、特徴マークの相対位置に基づき、ユーザの手を振るジェスチャがジェスチャコマンドであるか否かを判定する（ステップＳ１６）。
【００５９】
ステップＳ１６において、ジェスチャコマンドであると判定されたことを条件に、特徴マーク計数部２７は、有効判定領域５８における特徴マークの個数をフレーム画像ごとに計数する（ステップＳ１７）。
【００６０】
ジェスチャコマンド記憶処理部２８は、特徴マーク計数部２７によって計数された特徴マークの個数に基づき、後述するジェスチャコマンド記憶処理を実行する（ステップＳ１８）。
【００６１】
コマンド変換部３０は、画面操作コマンドテーブル２９を参照し、特徴マーク計数部２７が検出した特徴マークの個数に基づいて、ジェスチャコマンドを画面操作コマンドに変換する（ステップＳ１９）。具体的には、コマンド変換部３０は、ジェスチャコマンドを示すデータとして、例えば、「５」、「２」、「５」のデータが記憶されていた場合には、この数値が示すジェスチャコマンドを、画面を左シフトする画面操作コマンドに変換する。
【００６２】
画面操作コマンド出力部３１は、コマンド変換部３０から画面操作コマンドを入力し、表示装置４０の表示制御部４１に出力する（ステップＳ２０）。その結果、透過型ディスプレイ４２に表示された画像は、画面操作コマンドに応じて表示制御される。
【００６３】
前述のステップＳ１６において、ジェスチャコマンドであると判定されなかった場合には、ジェスチャコマンド判定部２６は、ジェスチャコマンドが無効である旨を示す無効コマンドを表示装置４０に出力する（ステップＳ２１）。
【００６４】
次に、前述のステップＳ１８におけるジェスチャコマンド記憶処理について図７を用いて説明する。
【００６５】
ジェスチャコマンド記憶処理部２８は、特徴マーク計数部２７によって計数された特徴マークの個数が開始ジェスチャコマンドを示すものであるか否かを判定する（ステップＳ３１）。ここで、開始ジェスチャコマンドを示すものとは、図４の下段に示したように、本実施形態では１回目のマーク数「５」のことをいう。一方、本実施形態では２回目のマーク数「５」は、終了ジェスチャコマンドを示すものである。
【００６６】
ステップＳ３１において、特徴マークの個数が開始ジェスチャコマンドを示す、すなわち、１回目のマーク数「５」である場合には、ジェスチャコマンド記憶処理部２８は、変数ｎに１を代入する（ステップＳ３２）。そして、ジェスチャコマンド記憶処理部２８は、ジェスチャコマンドを示すマーク数「５」のデータを記憶する（ステップＳ３３）。
【００６７】
続いて、ジェスチャコマンド記憶処理部２８は、ｎ＝０であるか否かを判定する（ステップＳ３４）。
【００６８】
ステップＳ３４において、ｎ＝０であると判定した場合には、図６に示したステップＳ１９に進み、ｎ＝０であると判定しなかった場合には、図６に示したステップＳ１２に進む。
【００６９】
前述のステップＳ３１において、特徴マークの個数が開始ジェスチャコマンドを示すものと判定されなかった場合には、ジェスチャコマンド記憶処理部２８は、特徴マークの個数が終了ジェスチャコマンドを示すマーク数であるか否かを判定する（ステップＳ３５）。すなわち、ジェスチャコマンド記憶処理部２８は、特徴マークの個数が２回目のマーク数「５」であるか否かを判定する。
【００７０】
ステップＳ３５において、特徴マークの個数が終了ジェスチャコマンドを示すものである場合には、ジェスチャコマンド記憶処理部２８は、変数ｎに０を代入し（ステップＳ３６）、ステップＳ３３に進む。
【００７１】
一方、前述のステップＳ３５において、特徴マークの個数が終了ジェスチャコマンドを示すものと判定されなかった場合には、ステップＳ３３に進み、ジェスチャコマンドを示すマーク数のデータを記憶する。
【００７２】
なお、図６及び図７に記載した動作ステップをコンピュータ実行可能なジェスチャコマンド入力プログラムとしてプログラミングしてＲＯＭ１０２に記憶し、ＣＰＵ１０１にプログラムを実行させることにより、ＳＴ−ＨＭＤ１０の機能を実現することができる。
【００７３】
以上のように、本実施形態におけるＳＴ−ＨＭＤ１０は、ユーザの手を振るジェスチャ画像から特徴マークを抽出し、抽出した特徴マークの個数に基づいてジェスチャコマンドを画面操作コマンドに変換する構成となっている。この構成により、本実施形態におけるＳＴ−ＨＭＤ１０は、従来のものとは異なり、指先の運動形跡などからの推定でジェスチャコマンドを認識するのではなく、指先の特徴マークの存在個数から画面操作コマンドに変換することができる。したがって、本実施形態におけるＳＴ−ＨＭＤ１０は、本実施形態におけるＳＴ−ＨＭＤ１０は、従来よりも容易な演算によりジェスチャコマンドを認識することができる。
【００７４】
なお、前述の実施形態では、ジェスチャコマンドを画面操作コマンドに変換する例を挙げたが、本発明はこれに限定されるものではなく、ジェスチャコマンドを、コンピュータに所定の動作をさせるコマンドに変換するものであれば同様の効果が得られる。
【００７５】
また、前述の実施形態では、ユーザの各指に特徴マークを付した例を中心に説明したが、本発明はこれに限定されない。例えば、図４の上段に示したように、特徴マークが付された手袋をユーザがはめた状態であっても、ＳＴ−ＨＭＤ１０は、従来よりも容易な演算によりジェスチャコマンドを認識することができる。具体的には、ユーザが手袋をはめている場面、例えば、救急患者の搬送中の場面のように、タッチパネルやキーボードの操作が困難な場面で特に有用である。
【符号の説明】
【００７６】
１０  ＳＴ−ＨＭＤ（画像表示システム）
２０  ジェスチャコマンド入力装置
２２  フレーム画像取得部（ジェスチャ画像取得部）
２３  特徴マーク抽出部
２４  有効判定領域設定部
２５  相対位置算出部
２６  ジェスチャコマンド判定部
２７  特徴マーク計数部
２９  画面操作コマンドテーブル（コマンドテーブル）
３０  コマンド変換部
５０  中心点
５１〜５５  特徴マーク
５６  第１の円
５７  第２の円
５８  有効判定領域
【先行技術文献】
【特許文献】
【００７７】
【特許文献１】特許第３７７７６５０号公報
【特許文献２】特許第５２６３８３３号公報
【図１】
2017207949.tif 000003
【図２】
2017207949.tif 000004
【図３】
2017207949.tif 000005
【図４】
2017207949.tif 000006
【図５】
2017207949.tif 000007
【図６】
2017207949.tif 000008
【図７】
2017207949.tif 000009