(57)【要約】【課題】手の形状変化を捉える等の複雑な処理を行うことなく、操作者のジェスチャに応じた制御を行うことができるようにすること。【解決手段】制御装置１００は、操作者を撮像して、映像信号を生成する撮像部としてのカメラ１０１と、カメラ１０１で生成された映像信号で示される映像から、操作者の特定部位の動きを検出する対象部位位置検出部１０２と、対象部位位置検出部１０２で検出された動きに応じてマウスが動いた際のマウスイベントを生成するマウスイベント変換部１０３と、マウスイベント変換部１０３で生成されたマウスイベントに従って、グラフィカルユーザインタフェースの画面を表示する表示部１０６とを備える。【選択図】図１
2014137667.tif 000002
【特許請求の範囲】
【請求項１】
操作者を撮像して、当該操作者の映像を示す映像信号を生成する撮像部と、
前記撮像部で生成された映像信号で示される映像から、前記操作者の特定部位の動きを検出する対象部位位置検出部と、
前記対象部位位置検出部で検出された動きに応じてマウスが動いた際のマウスイベントを生成するマウスイベント変換部と、
前記マウスイベント変換部で生成されたマウスイベントに従って、グラフィカルユーザインタフェースの画面を表示する表示部と、を備えること
を特徴とする制御装置。
【請求項２】
前記対象部位位置検出部は、前記操作者の特定部位の動きを、予め定められた２次元座標上での動きベクトルとして検出し、
前記マウスイベント変換部は、前記対象部位位置検出部で検出された動きベクトルで示される方向及び速さを、前記マウスが動いた方向及び速さに変換して、前記マウスイベントを生成すること
を特徴とする請求項１に記載の制御装置。
【請求項３】
前記マウスイベント変換部は、前記対象部位位置検出部で検出された動きベクトルに基づいて、前記操作者の特定部位が静止状態から動き出した時点において前記対象部位位置検出部で検出された動きベクトルで特定される方向を、前記マウスが動いた方向とし、当該時点以降において前記対象部位位置検出部で検出された動きベクトルで特定される速さに対応する速さを、前記マウスが動いた速さとすること
を特徴とする請求項２に記載の制御装置。
【請求項４】
前記マウスイベント変換部は、前記対象部位位置検出部で検出された動きベクトルで特定される方向が、予め定められた時間内において、予め定められた角度以上変化した場合には、当該変化後の動きベクトルに基づくマウスイベントの生成を行わないこと
を特徴とする請求項２又は３に記載の制御装置。
【請求項５】
前記マウスイベント変換部は、前記対象部位位置検出部で検出された動きベクトルで示される速さが速いほど、前記対象部位位置検出部で検出された動きベクトルで示される単位移動量当たりの、ポインタの移動量がより大きくなるように、前記マウスイベントを生成すること
を特徴とする請求項２から４の何れか一項に記載の制御装置。
【請求項６】
音声を取得する集音部と、
前記集音部で取得された音声から言語を認識して、当該認識された言語の文字列を示す文字列データを生成する音声認識部と、をさらに備え、
前記マウスイベント変換部は、前記音声認識部で生成された文字列データで示される文字列が予め定められた文字列である場合に、前記音声認識部で生成された文字列データで示される文字列に対応するマウスイベントを生成すること
を特徴とする請求項１から５の何れか一項に記載の制御装置。
【請求項７】
前記音声認識部で生成された文字列データで示される文字列が予め定められた文字列ではない場合に、前記音声認識部で生成された文字列データで示される文字列がキーボードで入力された場合のキーボードイベントを生成するキーボードイベント変換部をさらに備え、
前記表示部は、前記マウスイベント変換部で生成されたマウスイベント及び前記キーボードイベント変換部で生成されたキーボードイベントに従って、グラフィカルユーザインタフェースの画面を表示すること
を特徴とする請求項６に記載の制御装置。
【請求項８】
前記マウスイベント変換部で生成されたマウスイベントに従って、グラフィカルユーザインタフェースを生成するグラフィカルユーザインタフェース生成部をさらに備え、
前記表示部は、前記グラフィカルユーザインタフェース生成部で生成されたグラフィカルユーザインタフェースの画面を表示すること
を特徴とする請求項１から６の何れか一項に記載の制御装置。
【請求項９】
前記マウスイベント変換部で生成されたマウスイベント及び前記キーボードイベント変換部で生成されたキーボードイベントに従って、グラフィカルユーザインタフェースを生成するグラフィカルユーザインタフェース生成部をさらに備え、
前記表示部は、前記グラフィカルユーザインタフェース生成部で生成されたグラフィカルユーザインタフェースの画面を表示すること
を特徴とする請求項７に記載の制御装置。
【請求項１０】
制御対象装置と通信する通信部と、
前記マウスイベント変換部で生成されたマウスイベントを、前記通信部を介して、前記制御対象装置に送信するとともに、当該送信されたマウスイベントに従って、前記制御対象装置で生成されたグラフィカルユーザインタフェースを、前記通信部を介して受信するグラフィカルユーザインタフェース処理部と、をさらに備え、
前記表示部は、前記グラフィカルユーザインタフェース処理部で受信されたグラフィカルユーザインタフェースの画面を表示すること
を特徴とする請求項１から６の何れか一項に記載の制御装置。
【請求項１１】
制御対象装置と通信する通信部と、
前記マウスイベント変換部で生成されたマウスイベント及び前記キーボードイベント変換部で生成されたキーボードイベントを、前記通信部を介して、前記制御対象装置に送信するとともに、当該送信されたマウスイベント及びキーボードイベントに従って、前記制御対象装置で生成されたグラフィカルユーザインタフェースを、前記通信部を介して受信するグラフィカルユーザインタフェース処理部と、をさらに備え、
前記表示部は、前記グラフィカルユーザインタフェース処理部で受信されたグラフィカルユーザインタフェースの画面を表示すること
を特徴とする請求項７に記載の制御装置。
【請求項１２】
前記グラフィカルユーザインタフェース処理部は、ＶＮＣのクライアント又はＸ−ＷｉｎｄｏｗのＸサーバーに対応したものであること
を特徴とする請求項１０又は１１に記載の制御装置。
【請求項１３】
操作者を撮像して、当該操作者の映像を示す映像信号を生成する撮像過程と、
前記撮像過程で生成された映像信号で示される映像から、前記操作者の特定部位の動きを検出する対象部位位置検出過程と、
前記対象部位位置検出過程で検出された動きに応じてマウスが動いた際のマウスイベントを生成するマウスイベント変換過程と、
前記マウスイベント変換過程で生成されたマウスイベントに従って、グラフィカルユーザインタフェースの画面を表示する表示過程と、を有すること
を特徴とする制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、制御装置及び制御方法に関する。
【背景技術】
【０００２】
現在、ＴＶ受像機等は、リモコンを用いて離れた場所から操作されるのが一般的である。近年、ＴＶ受像機等に内蔵されるＣＰＵの性能の向上とともに、より使いやすく、便利な操作法が模索されている。
その一つとしてジェスチャを用いる方式が提案されている。例えば、ユーザの手の動き及び形状によって、ユーザが行わせようとする操作を操作対象装置に認識させる技術がある。特許文献１には、カメラによって撮影されたユーザの手の動き及び形状を検出して、その軌跡及び形状に基づいて対象機器を制御する方法が開示されている。
また、特許文献２には、複数の画像から対象物が所定の形状であるかどうかを識別する対象物識別部を備えることにより、その誤認識を抑制する方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−８３３０２号公報
【特許文献２】国際公開２０１１／０２７３９７号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
このようにジェスチャを用いる場合、制御対象機器の操作に対応したジェスチャを認識し、特定の機器の特定の操作に結びつける必要がある。このため、ジェスチャの認識を正確に行う必要があり、ユーザは、ジェスチャと操作の対応関係を機器毎に知っておかなければならない。
【０００５】
また、ジェスチャによって操作する内容が多岐にわたる選択肢を有する場合に、例えば、手の形状等でその選択肢を区別しようとすると、その形状を正確に判定する必要があり、実用的な精度の認識を行うには困難を伴う。
【０００６】
そこで、本発明は、手の形状変化を捉える等の複雑な処理を行うことなく、操作者のジェスチャに応じた制御を行うことができるようにすることを特徴とする。
【課題を解決するための手段】
【０００７】
本発明の一態様に係る制御装置は、操作者を撮像して、当該操作者の映像を示す映像信号を生成する撮像部と、前記撮像部で生成された映像信号で示される映像から、前記操作者の特定部位の動きを検出する対象部位位置検出部と、前記対象部位位置検出部で検出された動きに応じてマウスが動いた際のマウスイベントを生成するマウスイベント変換部と、前記マウスイベント変換部で生成されたマウスイベントに従って、グラフィカルユーザインタフェースの画面を表示する表示部と、を備えることを特徴とする。
【０００８】
本発明の一態様に係る制御方法は、操作者を撮像して、当該操作者の映像を示す映像信号を生成する撮像過程と、前記撮像過程で生成された映像信号で示される映像から、前記操作者の特定部位の動きを検出する対象部位位置検出過程と、前記対象部位位置検出過程で検出された動きに応じてマウスが動いた際のマウスイベントを生成するマウスイベント変換過程と、前記マウスイベント変換過程で生成されたマウスイベントに従って、グラフィカルユーザインタフェースの画面を表示する表示過程と、を有することを特徴とする。
【発明の効果】
【０００９】
本発明の一態様によれば、手の形状変化を捉える等の複雑な処理を行うことなく、操作者のジェスチャに応じた制御を行うことができる。
【図面の簡単な説明】
【００１０】
【図１】実施の形態１に係る制御装置の構成を概略的に示すブロック図である。
【図２】実施の形態１に係る制御装置での処理の一例を示すフローチャートである。
【図３】実施の形態１におけるテンプレートの一例を示す概略図である。
【図４】実施の形態２に係る制御装置の構成を概略的に示すブロック図である。
【図５】実施の形態３に係る制御システムの構成を概略的に示すブロック図である。
【発明を実施するための形態】
【００１１】
実施の形態１．
図１は、実施の形態１に係る制御装置１００の構成を概略的に示すブロック図である。制御装置１００は、カメラ１０１と、対象部位位置検出部１０２と、マウスイベント変換部１０３と、入力部１０４と、グラフィカルユーザインタフェース作成部（以下、ＧＵＩ作成部という）１０５と、表示部１０６とを備える。
【００１２】
カメラ１０１は、操作者を撮像して、この操作者の映像を示す映像信号を生成する撮像部である。カメラ１０１は、特に、操作者の手等の、動きを検出する対象部位が含まれるように撮像する。カメラ１０１は、撮像した映像を示す映像信号を対象部位位置検出部１０２に与える。
対象部位位置検出部１０２は、カメラ１０１から与えられた映像信号で示される映像から、操作者の対象部位の動きを検出する。例えば、まず、対象部位位置検出部１０２は、カメラ１０１から与えられた映像信号で示される映像から、操作者の対象部位を特定する。そして、対象部位位置検出部１０２は、映像において予め定められた２次元座標上で、特定された対象部位の動きの方向と速さ（大きさ）を、動きベクトルとして特定する。対象部位位置検出部１０２は、特定された動きベクトルをマウスイベント変換部１０３に与える。
【００１３】
マウスイベント変換部１０３は、対象部位位置検出部１０２で検出された動きに応じてマウスが動いた際のマウスイベントを生成する。例えば、マウスイベント変換部１０３は、対象部位位置検出部１０２から与えられた動きベクトルに基づいて、マウスが動いた際に生成するマウスイベントと等価なマウスイベントを生成する。そして、マウスイベント変換部１０３は、生成したマウスイベントをＧＵＩ作成部１０５に与える。
【００１４】
入力部１０４は、指示の入力を受け付ける。入力部１０４は、マウス又はキーボード等により構成することができる。そして、入力部１０４は、入力された指示を、マウスイベント又はキーボードイベントとして、ＧＵＩ作成部１０５に与える。
【００１５】
ＧＵＩ作成部１０５は、マウスイベント変換部１０３から与えられたマウスイベント、並びに、入力部１０４から与えられたマウスイベント又はキーボードイベント、の少なくとも何れか一方に従って、グラフィカルユーザインタフェース（以下、ＧＵＩという）を作成する。そして、ＧＵＩ作成部１０５は、作成されたＧＵＩを表示部１０６に与える。
表示部１０６は、ＧＵＩ作成部１０５から与えられたＧＵＩの画面を表示する。ここで、ＧＵＩ作成部１０５から与えられるＧＵＩは、マウスイベント変換部１０３で生成されたマウスイベントに従って作成されるため、表示部１０６は、マウスイベント変換部１０３で生成されたマウスイベントに従って、ＧＵＩの画面を表示することになる。
【００１６】
図２は、制御装置１００での処理の一例を示すフローチャートである。
まず、カメラ１０１は、操作者を含む映像を撮像し、その映像信号を対象部位位置検出部１０２に与える（Ｓ１０）。
【００１７】
対象部位位置検出部１０２は、カメラ１０１から与えられた映像信号で示される映像から、操作者の対象部位を特定して、特定された対象部位の、当該映像において予め定められた２次元座標軸上での位置を検出する（Ｓ１１）。ジェスチャにおいては手を対象とすることが一般的であるため、対象部位は手とする。また、手の位置検出方法等は様々な開発がなされている。ここでは、手の位置を検出する方法自体は、既存の手法を活かして、最適と思われる方法を用いるものとする。例えば、米国特許第５５９４４６９号明細書、Ｆｒｅｅｍａｎ  ｅｔ  ａｌ．  Ｍｉｔｓｕｂｉｓｈｉ  Ｅｌｅｃｔｒｉｃ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｔｅｃｈｎｏｌｏｇｙ  Ｃｅｎｔｅｒ  Ａｍｅｒｉｃａ、“Ｈａｎｄ  ｇｅｓｔｕｒｅ  ｍａｃｈｉｎｅ  ｃｏｎｔｒｏｌ  ｓｙｓｔｅｍ”、に記載された、手の位置の検出方法を用いることができる。以下、米国特許第５５９４４６９号明細書の記載に基づいた、手の位置の検出方法の一例を説明する。
【００１８】
操作者は、カメラ１０１に向かって、手のひらをかざす等して、監視の対象部位である手を対象部位位置検出部１０２に認識させる。対象部位位置検出部１０２は、局部方向性（ｌｏｃａｌ  ｏｒｉｅｎｔａｔｉｏｎ）の相関を用いて、手の位置の検出を行なっている。具体的には、以下の通りである。
【００１９】
まず、操作者は、カメラ１０１から送られてくる手を含んだ映像信号で示される映像を表示部１０６に表示させた状態で、入力部１０４を用いて、手の初期位置を示す。対象部位位置検出部１０２は、カメラ１０１から送られてくる映像信号で示される映像の内、初期位置で示された範囲に対応する部分を、図示しない映像量子化器でデジタル信号に変換する。そして、対象部位位置検出部１０２は、デジタル信号化された映像において、ｘ軸方向における画素の画像強度の微分値ｄＩ／ｄＸ、ｘ軸と直交するｙ軸方向における画像強度の微分値ｄＩ／ｄＹを、デジタル変換された画面全体について算出する。さらに、対象部位位置検出部１０２は、（ｄＩ／ｄＸ）２及び（ｄＩ／ｄＹ）２を加えた値の平方根を取ることで、コントラストイメージを生成する。ここで、対象部位位置検出部１０２は、コントラストイメージを閾値処理することで、コントラストの低い部分を無視して、ノイズを除去する。ここで、コントラストイメージを構成する各々の画素の値を、コントラスト値とする。
【００２０】
次に、対象部位位置検出部１０２は、検出対象部分についてｘ軸方向の微分値を対応するコントラスト値で除した値と、ｙ軸方向の微分値を対応するコントラスト値で除した値とが、それぞれｃｏｓθ及びｓｉｎθとなる値θを位置の関数として求める。すなわち、対象部位位置検出部１０２は、ｓｉｎθを定義する。このデータペア（ｃｏｓθ，ｓｉｎθ）のセットが、手の位置を検出するためのテンプレートを構成する。図３は、以上のようにして構成されたテンプレートの一例を示す概略図である。そして、対象部位位置検出部１０２は、以上のようにして構成されたテンプレートを、テンプレート記憶部としてのメモリ１０２ａに記憶する。
【００２１】
図２の説明に戻り、対象部位位置検出部１０２は、手の動きを検出する（Ｓ１２）。手の動きの検出方法についても、既存の手法を活かして、最適と思われる方法を用いるものとする。例えば、上述した米国特許第５５９４４６９号明細書に記載された、手の動きの検出方法を用いることができる。以下、米国特許第５５９４４６９号明細書の記載に基づいた、手の動きの検出方法の一例を説明する。
【００２２】
対象部位位置検出部１０２は、カメラ１０１からの映像信号から、テンプレートを構成するのと同様の手順で、データペア（ｃｏｓθ，ｓｉｎθ）のセットからなる対象イメージを生成する。ここで、対象イメージは、カメラ１０１からの映像信号で示される全ての範囲（全画面）について生成されてもよく、また、前回手の位置が検出された周囲の予め定められた範囲について生成されてもよい。そして、対象部位位置検出部１０２は、手の動きの検出を開始する際、準備段階で作成したテンプレートを用いて、手の初期位置を、対象イメージと前記テンプレートとの相関を用いて検出する。この検出は、例えば、次のような処理によって行われる。
【００２３】
まず、対象部位位置検出部１０２は、テンプレート及び対象イメージのそれぞれについて、ｘ軸方向の微分値をコントラスト値で除した値と、ｙ軸方向の微分値をコントラスト値で除した値とをひとつの大きなベクトルに集約し、２つのベクトル間の正規化相関値を下記の（１）式で算出する。
【数１】
2014137667.tif 000003
【００２４】
さらに、カメラ１０１から送られてくる映像信号で示される映像を分割した領域において、上述したコントラスト値が閾値を超えた部分の占める割合を算出して、その割合がテンプレートにおいて算出された割合に近い部分を、例えば、閾値等で特定し、対象部位である手のある位置を含む領域の候補とする。以上のような相関値の組み合わせで手の位置が確定されると、同様の相関値を確定された位置の周辺領域で監視することで、手の動きをトラッキングでき、本発明で必要となる手の動きを得ることができる。
【００２５】
そして、対象部位位置検出部１０２は、検出された手の位置情報から、一定時間毎に動きベクトルを算出して、算出された動きベクトルをマウスイベント変換部１０３に与える。
【００２６】
次に、マウスイベント変換部１０３は、対象部位位置検出部１０２から与えられた動きベクトルの方向及び速さを、マウスを動かした方向及び速さに変換する（Ｓ１３）。
【００２７】
マウスでは、光学センサーによって検出された動きにより決まるマウスの現在座標（ポインタ位置）又はボタンの状態が変化した際に、イベントが発生する。本実施の形態では、ジェスチャとして手の動きのみに着目し、手を動かす方向と速さとに注目する。マウスイベント変換部１０３は、手を一定時間停止した後に動かした最初の方向をマウス移動の方向に、また、手の速さを、マウスを動かす速さに換算して、等価なマウスイベントを生成する。
この時、手は、所望の方向に振られる、言い換えると、往復動されることになるが、マウスイベント変換部１０３は、手を元の位置付近に戻す動きを無視して、その動きベクトルに対応するマウスイベントを生成しない。つまり、操作者は、手を一旦停止させた後、マウスを動かしたい方向に手を動かし、そのまま、手を停止させることなく手を戻す方向に動かし、元の手の停止位置付近に戻して、さらにマウスを動かしたい方向に手を動かすことで、手を戻す際の動きは無視されて、所望の方向へ、ポインタを移動させることができる。手を戻す動作の検出は、予め定められた時間内に、上述した動きベクトルが、予め定められた角度である９０度以上変化した場合に適用する。ここで、動きベクトルの無視は、例えば、９０度以上変化した動きベクトルが検出された時点以降の動きベクトルについて行われる。そして、動きベクトルの無視は、例えば、予め定められた時間以内に方向が９０度以上変化した動きベクトルが再度検出されるまで行われる。なお、動きベクトルの無視は、手を一定時間停止した後に動かした最初の方向の動きベクトルに対して、予め定められた角度範囲（例えば、９０度よりも小さい角度）の動きベクトルが算出されるまで行われてもよい。
【００２８】
また、一般に、操作者は、まず、マウスを目的位置近傍まで早く動かし、その後、マウスを目的位置に向かってゆっくりと動かす動作を行う。本実施の形態においてもこのような動きを念頭に置き、手の動きが早い場合は、動きベクトルの単位移動量当たりのポインタの位置の変化（移動量）を大きくし、手の動きが遅い場合は、動きベクトルの単位移動量当たりのポインタ位置の変化を小さくすることで、操作性を高める。言い換えると、マウスイベント変換部１０３は、動きベクトルで示される速さが早くなるほど、対象部位位置検出部１０２で検出される動きベクトルの単位移動量当たりの、ポインタの動く移動量がより大きくなるように、マウスイベントを生成する。例えば、マウスイベント変換部１０３は、動きベクトルで示される速さが早くなるほど、対象部位位置検出部１０２で検出される動きベクトルの単位移動量当たりの、マウスの移動量がより大きくなるように、マウスイベントを生成する。
なお、余分な手の動きによるポインタの移動を避けるため、マウスイベント変換部１０３は、動きベクトルの大きさ（速さ）が予め定められた閾値以下である場合には、そのような動きベクトルを無視して、そのような動きベクトルに基づくマウスイベントの生成を行わない。
【００２９】
次に、ＧＵＩ作成部１０５は、マウスイベント変換部１０３から与えられたマウスイベントに応じて、ＧＵＩを作成する（Ｓ１４）。ここでは、ＧＵＩ作成部１０５は、カメラ１０１で撮像された手の動き（ジェスチャ）に対応して、２次元座標軸上において、カーソル（ポインタ）が移動するＧＵＩを作成する。そして、ＧＵＩ作成部１０５は、作成されたＧＵＩを表示部１０６に与える。
表示部１０６は、ＧＵＩ作成部１０５から与えられたＧＵＩの画面を表示する（Ｓ１５）。これにより、ＧＵＩの画面において、ジェスチャに対応したカーソルの移動が表示される。
【００３０】
なお、カーソルが、ＧＵＩ上の選択肢に相当する位置に移動された後、通常のマウスでは、左クリックで選択項目が確定される。しかしながら、本実施の形態では、ジェスチャをマウスの動きに限定して使用することにより、ジェスチャ検出の簡易化が図られている。従って、従来からジェスチャの利用法として提案されている、手の形状等による操作の入力は検出されない。このため、例えば、ＧＵＩ作成部１０５は、カーソルが所望の選択肢上に移動された後、一定時間止まった場合には、その選択肢がクリックされたものとみなして、そのマウスイベントを生成する。または、操作者は、入力部１０４を介して、クリック等の操作を入力してもよい。
【００３１】
本実施の形態では、手の動きの方向と速さのみをジェスチャとして検出し、マウスイベントに変換してＧＵＩのマウス入力として利用するので、簡易なジェスチャ検出で、従来からのＧＵＩに対してもジェスチャを用いた操作を行うことができる。
【００３２】
また、対象部位の動きベクトルの変化を見ながら、手を戻す動作等の、マウスイベントに繋がらない動きを排除して、より自然でスムーズなマウスカーソルの動きを実現することができる。
【００３３】
実施の形態２．
図４は、実施の形態２に係る制御装置２００の構成を概略的に示すブロック図である。制御装置２００は、カメラ１０１と、対象部位位置検出部１０２と、マウスイベント変換部２０３と、入力部１０４と、ＧＵＩ作成部２０５と、表示部１０６と、マイク２０７と、音声認識部２０８と、キーボードイベント変換部２０９とを備える。実施の形態２に係る制御装置２００は、マウスイベント変換部２０３及びＧＵＩ作成部２０５での処理の点、並びに、マイク２０７、音声認識部２０８及びキーボードイベント変換部２０９がさらに備えられている点において、実施の形態１に係る制御装置１００と異なっている。
【００３４】
マイク２０７は、音声を取得して、取得された音声を示す音声信号を生成する集音部である。マイク２０７は、生成した音声信号を音声認識部２０８に与える。
音声認識部２０８は、マイク２０７から与えられる音声信号で示される音声から言語を認識し、認識された言語の文字列を示す文字列データを生成する。そして、音声認識部２０８は、予め定められた文字列を示す文字列データについては、マウスイベント変換部２０３に与え、その他の文字列データについては、キーボードイベント変換部２０９に与える。例えば、音声認識部２０８は、「左クリック」及び「右クリック」等、マウスの操作を示す文字列については、マウスイベント変換部２０３に与え、キーボードの操作を示す文字列については、キーボードイベント変換部２０９に与える。
キーボードイベント変換部２０９は、音声認識部２０８から与えられた文字列データで示される文字列に対応するキーボードイベントを生成する。キーボードイベント変換部２０９は、生成されたキーボードイベントをＧＵＩ作成部２０５に与える。
【００３５】
マウスイベント変換部２０３は、実施の形態１におけるマウスイベント変換部１０３と同様の処理を行う他、音声認識部２０８から与えられた文字列データで示される文字列に対応するマウスイベントを生成する。例えば、マウスイベント変換部２０３は、音声認識部２０８から「右クリック」又は「左クリック」を示す文字列データを取得すると、「右クリック」又は「左クリック」のマウスイベントを生成する。そして、マウスイベント変換部２０３は、生成されたマウスイベントをＧＵＩ作成部２０５に与える。
【００３６】
ＧＵＩ作成部２０５は、マウスイベント変換部２０３から与えられたマウスイベント、入力部１０４から与えられたマウスイベント又はキーイベント、並びに、キーボードイベント変換部２０９から与えられたキーボードイベントの少なくとも何れか一つに応じて、ＧＵＩを作成する。そして、ＧＵＩ作成部２０５は、作成されたＧＵＩを表示部１０６に与える。
【００３７】
実施の形態1では、ＧＵＩ画面上のポインタ位置を移動するためにマウスを使う代わりに、ジェスチャを用いる方式を導入したが、ＧＵＩ上では文字入力が必要な場合もある。実施の形態２では、以上の構成を有することにより、操作者は、ジェスチャを用いて所望の位置にカーソルを移動させた時点で、音声で、例えば、「クリック」と言えば、左クリックが行われるように、実施の形態１で示した方式を変更することもできる。また、実施の形態２では、「右クリック」等のマウスイベントのバリエーションにも対応できる。
【００３８】
実施の形態３．
図５は、実施の形態３に係る制御システム３３０の構成を概略的に示すブロック図である。制御システム３３０は、制御装置３００と、制御対象装置３４０とを備える。制御装置３００と、制御対象装置３４０とは、例えば、図示しないネットワークに接続することにより、通信を行うことができるように構成されている。
【００３９】
制御装置３００は、カメラ１０１と、対象部位位置検出部１０２と、マウスイベント変換部２０３と、入力部１０４と、ＧＵＩ処理部３１０と、表示部１０６と、マイク２０７と、音声認識部２０８と、キーボードイベント変換部２０９と、通信部３１１とを備える。実施の形態３における制御装置３００は、ＧＵＩ作成部２０５の代わりにＧＵＩ処理部３１０を備える点、及び、通信部３１１をさらに備える点において、実施の形態２に係る制御装置２００と異なっている。
【００４０】
ＧＵＩ処理部３１０は、制御対象装置３４０から送られてくるＧＵＩを、通信部３１１を介して受信し、受信されたＧＵＩを１０６に与えて、表示部１０６にこのＧＵＩの画面を表示させる。また、ＧＵＩ処理部３１０は、マウスイベント変換部２０３から与えられたマウスイベント、入力部１０４から与えられたマウスイベント又はキーイベント、並びに、キーボードイベント変換部２０９から与えられたキーボードイベントの少なくとも何れか一つを、通信部３１１を介して、制御対象装置３４０に送信する。例えば、制御システム３３０が、ＶＮＣ（Ｖｉｒｔｕａｌ  Ｎｅｔｗｏｒｋ  Ｃｐｍｐｕｔｉｎｇ）に対応したものであれば、ＧＵＩ処理部３１０は、ＶＮＣクライアントプログラムにより実現することができる。また、制御システム３３０が、Ｘ−Ｗｉｎｄｏｗに対応したものであれば、ＧＵＩ処理部３１０は、Ｘサーバを実装することにより、実現することができる。
【００４１】
通信部３１１は、制御対象装置３４０と通信するためのインタフェースである。例えば、通信部３１１は、ＮＩＣ（Ｎｅｔｗｏｒｋ  Ｉｎｔｅｒｆａｃｅ  Ｃａｒｄ）により実現することができる。
【００４２】
制御対象装置３４０は、制御部３４１と、ＧＵＩ作成部３４２と、通信部３４３とを備える。
【００４３】
制御部３４１は、制御対象装置３４０の全体を制御する。
ＧＵＩ作成部３４２は、制御装置３００から与えられたマウスイベント又はキーイベントに応じて、ＧＵＩを作成する。そして、ＧＵＩ作成部３４２は、作成されたＧＵＩを通信部３４３を介して、制御装置３００に送信する。例えば、制御システム３３０が、ＶＮＣに対応したものであれば、ＧＵＩ作成部３４２は、ＶＮＣサーバプログラムにより実現することができる。また、制御システム３３０が、Ｘ−Ｗｉｎｄｏｗに対応したものであれば、ＧＵＩ作成部３４２は、Ｘクライアントを実装することにより、実現することができる。
【００４４】
通信部３４３は、制御装置３００と通信するためのインタフェースである。例えば、通信部３４３は、ＮＩＣにより実現することができる。
【００４５】
実施の形態３における制御装置３００は、ネットワークに接続された別の装置である制御対象装置３４０のＧＵＩの画面を、表示部１０６に表示させて、離れた場所にある別の装置を制御することができる。具体的には、制御装置３００は、ＰＣ用途で広く用いられるＶＮＣ又はＸ-Ｗｉｎｄｏｗ等を導入することにより実装される。
【００４６】
例えば、ＶＮＣでは、サーバーとなるＰＣは、その画像をビットマップデータとして、クライアント装置に送る。クライアント装置側では、受け取ったビットマップデータをフレームバッファ上に展開し、表示画面上に表示する。一方、クライアント装置には、マウス及びキーボードが接続され、クライアント装置は、ネットワーク経由でマウスイベント及びキーボードイベントをＲＦＢと呼ばれるプロトコルでサーバーに送ることにより、画面を見ながらＰＣを操作することができる。
【００４７】
従って、実施の形態２におけるＧＵＩ作成部２０５を、例えば、ＶＮＣクライアントプログラムで実現されるＧＵＩ処理部３１０で置き換えることにより、制御対象装置３４０の操作についてもジェスチャ及び音声による入力インタフェースを用いて行うことができる。
【００４８】
また、Ｘ−Ｗｉｎｄｏｗを用いる場合にも、同様な構成で実現することができる。例えば、ＧＵＩ処理部３１０としてはＸサーバーを実装し、制御対象装置３４０におけるＧＵＩ作成部３４２は、Ｘクライアントとして構築されればよい。Ｘサーバー及びＸクライアントでも、上記ＶＮＣ同様、キーボード及びマウス入力をＸサーバーで取得して、クライアントに送出する。また、Ｘクライアントは、Ｘサーバーを有する装置自体の制御に用いることも、ネットワーク接続された他の装置の制御用のＸクライアントを接続して、対象の装置を制御することもできる。
【００４９】
このように、実施の形態１及び２で導入されたジェスチャ及び音声認識による入力インタフェースは、マウスイベント及びキーボードイベントに変換したデータとして得られるので、ＶＮＣ又はＸ−Ｗｉｎｄｏｗシステムを用いることによりネットワーク接続された別の装置のユーザインタフェースを操作するためにも容易に展開可能となっている。
【００５０】
実施の形態１〜３によれば、ジェスチャによって取得される情報を、手等特定の部位の動き量及び方向に限定して検出する。そして、予め設定された２次元座標軸上での変化は、マウスを動かした際に発生するイベントの形式に変換されて、制御対象に伝達することで、手の形状変化を捉える等の複雑な処理を伴うジェスチャ検出行うことなく、画面上に表示されたＧＵＩのカーソルを変換されたイベントに基づいて移動させることができる。これにより、操作の選択等が行われるので、マウスを使うことを前提に作成されたＧＵＩをそのまま利用して、ジェスチャ対応の装置とすることができる。
【００５１】
また、音声認識部２０８により、文字入力を可能とすると共に、ジェスチャ認識におけるマウスイベントの内、クリック等の操作を音声認識で行うことにより、ジェスチャ認識の簡易化を図ることができる。
【００５２】
更に、上記ジェスチャ及び音声認識で生成されたイベントを、ＶＮＣ等のキーボードイベント及びマウスイベントとして用いることで、ネットワーク接続された別の機器の操作を含めて、入力インタフェースを利用することができる。
【符号の説明】
【００５３】
１００，２００，３００  制御装置、  １０１  カメラ、  １０２  対象部位位置検出部、  １０３，２０３  マウスイベント変換部、  １０４  入力部、  １０５，２０５，３４２  グラフィカルユーザインタフェース作成部、  １０６  表示部、  ２０７  マイク、  ２０８  音声認識部、  ２０９  キーボードイベント変換部、  ３１０  グラフィカルユーザインタフェース処理部、  ３１１，３４３  通信部、  ３４０  制御対象装置、  ３４１  制御部。
【図１】
2014137667.tif 000004
【図２】
2014137667.tif 000005
【図３】
2014137667.tif 000006
【図４】
2014137667.tif 000007
【図５】
2014137667.tif 000008