(57)【要約】【課題】ユーザーの手等の被写体の移動に基づくコマンドと、移動以外の被写体のジェスチャに基づくコマンドを区別して入力できるようにする。【解決手段】入力ユーザーインターフェイス装置１は、被写体像を含む画像を撮像する電子カメラ３と、電子カメラ３によって撮像された前記画像の中の前記被写体像の形状を検出する形状検出装置５と、電子カメラ３によって撮像された前記画像の中の前記被写体像のジェスチャを検出するジェスチャ検出装置７、形状検出装置５によって検出された前記形状及びジェスチャ検出装置７によって検出された前記ジェスチャからコマンドを決定する制御部８と、を備える。【選択図】図４
2013196482.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を含む画像を撮像する撮像手段と、
前記撮像手段によって撮像された前記画像の中の前記被写体像の形状を検出する形状検出手段と、
前記形状検出手段によって検出された前記形状がジェスチャコマンド対応の形状か位置データを指定する位置指定コマンドに対応する形状かを判定する判定手段と、
前記判定手段によって判定された判定結果に基づいて、コマンドを前記ジェスチャコマンドか前記位置指定コマンドに決定するコマンド決定手段と、
を備えることを特徴とする入力ユーザーインターフェイス装置。
【請求項２】
前記撮像手段によって撮像された前記画像の中の前記被写体像のジェスチャを検出するジェスチャ検出手段
を更に備え、
前記コマンド決定手段は、前記判定手段が、前記形状がジェスチャコマンドに対応する参照形状に一致すると判定し、且つ、前記ジェスチャ検出手段によって検出された前記ジェスチャが前記ジェスチャコマンドに対応する参照ジェスチャに一致すると判定した場合に、コマンドを前記ジェスチャコマンドに決定することを特徴とする請求項１に記載の入力ユーザーインターフェイス装置。
【請求項３】
前記ジェスチャコマンドに対応する前記参照形状を記憶する形状記憶手段
を更に備え、
前記判定手段が、前記形状記憶手段に記憶された前記参照形状と、前記形状検出手段によって検出された前記形状とを比較することによって、前記形状検出手段によって検出された前記形状が前記ジェスチャコマンドに対応する前記参照形状に一致するか否かを判定することを特徴とする請求項２に記載の入力ユーザーインターフェイス装置。
【請求項４】
前記ジェスチャコマンドに対応する前記参照ジェスチャを記憶するジェスチャ記憶手段
を更に備え、
前記コマンド決定手段が、前記ジェスチャ記憶手段に記憶された前記参照ジェスチャと、前記ジェスチャ検出手段によって検出された前記ジェスチャとを比較することによって、前記ジェスチャ検出手段によって検出された前記ジェスチャが前記ジェスチャコマンドに対応する前記参照ジェスチャに一致するか否かを判定することを特徴とする請求項２又は３に記載の入力ユーザーインターフェイス装置。
【請求項５】
前記コマンド決定手段は、前記判定手段が、前記形状が前記位置指定コマンドに対応する第二参照形状に一致すると判定した場合に、コマンドを前記位置指定コマンドに決定することを特徴とする請求項１から４の何れか一項に記載の入力ユーザーインターフェイス装置。
【請求項６】
前記位置指定コマンドに対応する前記第二参照形状を記憶する第二形状記憶手段
を更に備え、
前記判定手段が、前記第二形状記憶手段に記憶された前記第二参照形状と、前記形状検出手段によって検出された前記形状とを比較することによって、前記形状検出手段によって検出された前記形状が前記位置指定コマンドに対応する前記第二参照形状に一致するか否かを判定することを特徴とする請求項５に記載の入力ユーザーインターフェイス装置。
【請求項７】
前記撮像手段によって撮像された前記画像の中の前記被写体像の位置を検出する位置検出手段
を更に備え、
前記コマンド決定手段は、前記判定手段が、前記形状が前記位置指定コマンドに対応する第二参照形状に一致すると判定した場合に、前記位置検出手段によって検出された前記位置の指定を前記位置指定コマンドとして決定することを特徴とする請求項５又は６に記載の入力ユーザーインターフェイス装置。
【請求項８】
前記第二参照形状が手の指差し形状であることを特徴とする請求項５から７の何れか一項に記載の入力ユーザーインターフェイス装置。
【請求項９】
請求項１から８の何れか一項に記載の入力ユーザーインターフェイス装置と、
外部機器から出力された映像信号を入力し、その映像信号に従った画面を投影する投影装置本体と、
を備え、
前記コマンド決定手段によって決定されるジェスチャコマンドが前記投影装置本体に対する制御コマンドであることを特徴とする投影装置。
【請求項１０】
前記投影装置本体によって投影されるとともに前記撮像手段によって撮像された投影画面の外縁の形状を検出して、その外縁形状から補正パラメータを算出する補正パラメータ算出手段
を更に備え、
前記投影装置本体が、前記補正パラメータ算出手段によって算出された補正パラメータに基づいて前記映像信号の画面の座標変換を行うことによって歪み補正を行う映像信号処理部を有することを特徴とする請求項９に記載の投影装置。
【請求項１１】
被写体像を含む画像を撮像する撮像手段から前記画像を入力するコンピュータを、
前記撮像手段によって撮像された前記画像の中の前記被写体像の形状を検出する形状検出手段、
前記形状検出手段によって検出された前記形状がジェスチャコマンド対応の形状か位置データを指定する位置指定コマンドに対応する形状かを判定する判定手段、
前記判定手段によって判定された判定結果に基づいて、コマンドを前記ジェスチャコマンドか前記位置指定コマンドに決定するコマンド決定手段、
として機能させることを特徴とするプログラム。
【請求項１２】
被写体像を含む画像を撮像する撮像手段から前記画像を入力するコンピュータが、前記撮像手段によって撮像された前記画像の中の前記被写体像の形状を検出する形状検出処理と、
前記コンピュータが、前記形状検出処理によって検出された前記形状がジェスチャコマンド対応の形状か位置データを指定する位置指定コマンドに対応する形状かを判定する判定処理と、
前記コンピュータが、前記判定処理によって判定された判定結果に基づいて、コマンドを前記ジェスチャコマンドか前記位置指定コマンドに決定するコマンド決定処理と、
を実行することを特徴とするコマンド決定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力ユーザーインターフェイス装置、投影装置、プログラム及びコマンド決定方法に関する。
【背景技術】
【０００２】
従来、コンピュータ等の機器を利用するための入力ユーザーインターフェイスとして、ユーザーの身振り・手振りによって入力が行えるパーセプチュアルユーザーインターフェイスがある。具体的には、撮像手段がユーザーの手振りを撮像し、コンピュータとしての制御部が所定のアルゴリズムによって撮像画像から手振りを認識し、その認識結果に基づいて表示画面中の画像の回転等を行うものである（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−３３８１２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
また、撮像手段がユーザーの手の移動を撮像し、コンピュータとしての制御部が手の移動に応じて表示画面のカーソル又はポインタを移動させる方向入力ユーザーインターフェイス（位置入力ユーザーインターフェイス）がある。このような方向入力ユーザーインターフェイスと特許文献１に記載のユーザーインターフェイスを組み合わせた場合、ユーザーの手の動作が方向入力に関するものか、手振りに関するものであるか認識しにくい。つまり、ユーザーが手振りをして、画像の回転等のコマンドを入力したように見えても、制御部が方向入力と誤認識してしまい、表示画面中のカーソル又はポインタを移動させてしまうことがある。逆に、ユーザーが手の移動をしてカーソル又はポインタ移動のコマンドを入力したように見えても、制御部が手振りと誤認識してしまい、表示画面中の画像が回転等してしまう。
【０００５】
そこで、本発明が解決しようとする課題は、ユーザーの手等の被写体の位置指定に基づくコマンドと、位置指定以外の被写体のジェスチャに基づくコマンドを区別して入力できるようにすることである。
【課題を解決するための手段】
【０００６】
以上の課題を解決するために、本発明に係る入力ユーザーインターフェイス装置は、被写体像を含む画像を撮像する撮像手段と、前記撮像手段によって撮像された前記画像の中の前記被写体像の形状を検出する形状検出手段と、前記形状検出手段によって検出された前記形状がジェスチャコマンド対応の形状か位置データを指定する位置指定コマンドに対応する形状かを判定する判定手段と、前記判定手段によって判定された判定結果に基づいて、コマンドを前記ジェスチャコマンドか前記位置指定コマンドに決定するコマンド決定手段と、を備えることを特徴とするものである。
【０００７】
本発明に係る投影装置は、前記入力ユーザーインターフェイス装置と、外部機器から出力された映像信号を入力し、その映像信号に従った画面を投影する投影装置本体と、を備え、前記コマンド決定手段によって決定されるジェスチャコマンドが前記投影装置本体に対する制御コマンドであることを特徴とするものである。
【０００８】
本発明に係るプログラムは、被写体像を含む画像を撮像する撮像手段から前記画像を入力するコンピュータを、前記撮像手段によって撮像された前記画像の中の前記被写体像の形状を検出する形状検出手段、前記形状検出手段によって検出された前記形状がジェスチャコマンド対応の形状か位置データを指定する位置指定コマンドに対応する形状かを判定する判定手段、前記判定手段によって判定された判定結果に基づいて、コマンドを前記ジェスチャコマンドか前記位置指定コマンドに決定するコマンド決定手段、として機能させることを特徴とするものである。
【０００９】
本発明に係るコマンド決定方法は、被写体像を含む画像を撮像する撮像手段から前記画像を入力するコンピュータが、前記撮像手段によって撮像された前記画像の中の前記被写体像の形状を検出する形状検出処理と、前記コンピュータが、前記形状検出処理によって検出された前記形状がジェスチャコマンド対応の形状か位置データを指定する位置指定コマンドに対応する形状かを判定する判定処理と、前記コンピュータが、前記判定処理によって判定された判定結果に基づいて、コマンドを前記ジェスチャコマンドか前記位置指定コマンドに決定するコマンド決定処理と、
を実行することを特徴とするものである。
【発明の効果】
【００１０】
本発明によれば、被写体の位置指定に基づくコマンドと、移動以外の被写体のジェスチャに基づくコマンドを区別して入力することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１の実施の形態に係る入力ユーザーインターフェイス装置の使用状態を示す斜視図である。
【図２】ジェスチャコマンドに対応する手の形状を示したものである。
【図３】位置指定コマンドに対応する手の形状を示したものである。
【図４】前記入力ユーザーインターフェイス装置のブロック図である。
【図５】ジェスチャコマンドに対応する参照形状データを模式的に示した図である。
【図６】位置指定コマンドに対応する参照形状データを模式的に示した図である。
【図７】前記入力ユーザーインターフェイス装置の制御部の機能及び処理を説明するためのフローチャートである。
【図８】本発明の第２の実施の形態に係る入力ユーザーインターフェイス装置の制御部の機能及び処理を説明するためのフローチャートである。
【図９】本発明の第３の実施の形態に係る投影装置のブロック図である。
【発明を実施するための形態】
【００１２】
以下に、本発明を実施するための形態について、図面を用いて説明する。但し、以下に述べる実施形態には、本発明を実施するために技術的に好ましい種々の限定が付されている。そのため、本発明の技術的範囲を以下の実施形態及び図示例に限定するものではない。
【００１３】
〔第１の実施の形態〕
図１は、本発明の第１の実施の形態に係る入力ユーザーインターフェイス装置１の使用状態を示す斜視図である。この入力ユーザーインターフェイス装置１は、パーセプチュアルユーザーインターフェイス（Perceptual User Interface）装置である。
【００１４】
図１に示すように、投影画面９８が投影装置３０によってテーブル９９に投影されている。投影画面９８が電子カメラ３の撮影範囲に含まれ、電子カメラ３の撮影範囲は投影画面９８とほぼ同じであるか、投影画面９８よりも広い。ユーザー９７の手９６が被写体であり、その手９６が入力ユーザーインターフェイス装置１の電子カメラ３によって撮像される。
【００１５】
ユーザー９７は、投影画面９８の上で手９６の形を変えたり手を動かしたりし、手９６の形状と動きによってコマンド入力を行う。
【００１６】
例えば、ユーザー９７が手９６を開いてその手９６の指の間を軽く閉じた状態（図２参照）にして手９６を素早く振ると、投影画面９８中のページ又はウィンドウが切り替わる。ジェスチャコマンドとは、後述の位置指定コマンド以外のコマンドをいい、ページ切替コマンドやウィンドウ切替コマンド以外のジェスチャコマンドとしては、ページ切替コマンドやウィンドウ切替コマンド以外にクリックコマンド、選択コマンド、コピーコマンド、ペーストコマンド、プリントスクリーンコマンド、削除コマンド、バックスペースコマンド、ページダウンコマンド、ページアップコマンド、バックスペースコマンド、改行コマンド、スペースコマンド、ドラッグコマンド、ドロップコマンド、Altコマンド、shiftコマンド、ctrlコマンド、caps lockコマンド、tabコマンド、ファンクションコマンド、画面拡大コマンド、画面縮小コマンド等がある。ジェスチャコマンドが複数種類ある場合には、１種類のジェスチャコマンドにつき１種類の手形状・ジェスチャが割り当てられる。
【００１７】
ユーザー９７が、手９６を図２以外の形状、例えば、ユーザー９７が手９６を指差しの形状（図３参照）にすると、位置指定コマンドが入力される。つまり、投影画面９８中のカーソル（ポインタ）が手９６の位置に対応した箇所に表示され、ユーザー９７が手９６を図３に示す状態にして手９６を移動させると、投影画面９８中のカーソルが手９６の移動方向に移動する。
【００１８】
被写体はユーザー９７の実体のある実際の人間の手９６以外であってもよい。例えば、投影画面９８を投影する投影装置３０以外の投影装置、光照射装置又はレーザーポインタ等によってテーブル９９に映り出る図形（手の形）、光点等の像が被写体であってもよいし、テーブル９９の上でユーザー９７によって動かされる指示棒が被写体であってもよい。
【００１９】
図１では、投影装置３０がテーブル９９の上に設置され、投影画面９８がテーブル９９に投影される。それに対して、投影装置３０が立てられた壁又はスクリーンの前に配置され、投影画面９８がその壁又はスクリーンに投影されてもよい。その場合、電子カメラ３も壁又はスクリーンの前において壁又はスクリーンに向けて配置され、投影画面９８が電子カメラ３の撮影範囲内に収まる。
【００２０】
図４は、入力ユーザーインターフェイス装置１のブロック図である。
入力ユーザーインターフェイス装置１は、電子カメラ３、カメラ制御部４、形状検出装置５、位置検出装置６、ジェスチャ検出装置７、制御部８及び記憶部９を備える。
【００２１】
撮像手段としての電子カメラ３は撮像素子及び撮像レンズを有し、撮像レンズが撮像素子に結像し、撮像素子が撮像レンズにより結ばれた像を光電変換によって電気信号に変換する。電子カメラ３は、投影画面９８を含むとともに、投影画面９８よりも広い範囲を撮影する。従って、投影画面９８と投影装置３０との間に被写体（例えば、手９６）が位置すると、被写体が電子カメラ３によって撮像され、電子カメラ３の撮像素子によって撮像されたフレーム（画像）の中には被写体像が含まれる。
【００２２】
電子カメラ３はカメラ制御部４によって制御される。つまり、カメラ制御部４が電子カメラ３の撮像レンズを駆動することによってその撮像レンズのズームやフォーカシングが行われ、カメラ制御部４が撮像素子を駆動することによって撮像素子によって撮像が行われる。カメラ制御部４が所定のフレームレートで電子カメラ３を駆動することによって、電子カメラ３が所定のフレームレートで撮像を繰り返して行い、電子カメラ３によって撮像される複数のフレームが順次カメラ制御部４に転送される。
【００２３】
カメラ制御部４は、電子カメラ３の撮像素子によって撮像される複数のフレームを順次信号処理することによって、これらのフレームを順次デジタル化し、デジタル化したフレームをカメラ制御部４から形状検出装置５及び位置検出装置６に順次転送する。
【００２４】
形状検出手段としての形状検出装置５は、カメラ制御部４から転送されたフレームの中の被写体像の形状を検出する。具体的には、形状検出装置５は、カメラ制御部４から転送されたフレームに対して画像処理（例えば、二値化処理若しくは特徴抽出処理（例えば、エッジ抽出処理）又はこれらの組み合わせ）を施すことによって、そのフレームの中から被写体像をその像の背景と識別して、その検出した被写体像の形状（画像処理後のフレーム）を検出する。
そして、形状検出装置５は、検出した被写体像の形状データ（画像処理後のフレーム）を制御部８に出力する。
【００２５】
被写体像の形状データは、例えば、フレームの中の被写体像のエッジ上の各点の位置データからなる。これらの点の位置データは、フレーム中のＸＹ座標系におけるＸＹ座標で表される。Ｘ座標は、フレーム中の横方向の位置であり、Ｙ座標は、フレーム中の縦方向の位置である。原点は、フレームの中心点又はフレームの何れかの角等である。
【００２６】
複数のフレームがカメラ制御部４から形状検出装置５に順次転送されるから、形状検出装置５はフレーム毎に被写体像の形状を順次検出し、検出した被写体像の形状のデータを制御部８に順次出力する。
【００２７】
位置検出手段としての位置検出装置６は、カメラ制御部４から転送されたフレームの中の被写体像の位置データを検出する。具体的には、位置検出装置６は、カメラ制御部４から転送されたフレームに対して画像処理（例えば、二値化処理若しくは特徴抽出処理（例えば、エッジ抽出処理）又はこれらの組み合わせ）を施すことによって、そのフレームの中から被写体像を検出し、その検出した被写体像の位置を検出する。
そして、位置検出装置６は、検出した被写体像の位置のデータを制御部８に出力する。
【００２８】
被写体像の位置データは、フレーム中のＸＹ座標系におけるＸＹ座標で表される。特に、被写体像の位置データは、その被写体像の代表点（例えば、その被写体像の重心、その被写体像のエッジ上の所定の一又は複数の点（例えば、被写体が手９６である場合、指先の点）等）のＸＹ座標で表される。
【００２９】
複数のフレームがカメラ制御部４から位置検出装置６に順次転送されるから、位置検出装置６はフレーム毎に被写体像の位置を順次検出し、検出した被写体像の位置のデータを制御部８及びジェスチャ検出装置７に順次出力する。
【００３０】
ジェスチャ検出装置７は、カメラ制御部４から転送された複数のフレーム中の被写体像のジェスチャ（動き）を検出する。具体的には、ジェスチャ検出装置７は、位置検出装置６から順次入力した位置の差分（その差分が被写体像のジェスチャ・動きである。）を検出する。例えば、ジェスチャ検出装置７は、或るフレームにおける被写体像の位置（その位置は位置検出装置６から入力したものである。）と、その或るフレームの１つ前又は複数前のフレームにおける被写体像の位置データ（その位置データは位置検出装置６から入力したものであって、ジェスチャ検出装置７に一時ラッチされている。）との差を求める。
そして、ジェスチャ検出装置７は、検出した被写体像のジェスチャデータを制御部８に出力する。
【００３１】
位置検出装置６によって検出された被写体像の位置データが位置検出装置６からジェスチャ検出装置７に順次転送されるから、ジェスチャ検出装置７はフレーム毎に被写体像のジェスチャ（位置変化、位置差分）を順次検出し、そのジェスチャデータ（位置変化データ、位置差分データ）を制御部８に順次出力する。なお、被写体像のジェスチャデータは１フレーム当たりの位置の変化であるから、その像の移動速度はその像の１フレーム当たりの位置の変化とフレームレートから求まるものであり、その像のジェスチャデータはその像の移動速度を表す。
【００３２】
制御部８は、マイクロプロセッサ等を有するマイクロコンピュータである。記憶部９は、読み書き可能な不揮発性半導体メモリ、ハードディスクドライブ等である。記憶部９には、制御部８にとって読取可能・実行可能なプログラム９ａが格納されている。制御部８が記憶部９にアクセスすることによって、制御部８がプログラムに９ａに従った処理を実行する。これにより、制御部８がプログラム９ａに従った機能を持つとともに、カメラ制御部４の制御を行う。
【００３３】
形状記憶手段及び第二形状記憶手段としての記憶部９には、ジェスチャコマンド用の第一参照形状データ９ｂと、位置指定コマンド用の第二参照形状データ９ｃとが格納されている。第一参照形状データ９ｂは、例えば、図５に示すように、指の間を軽く閉じた状態の手形状の像９ｂ１のエッジ上の各点の位置データからなる。第二参照形状データ９ｃは、例えば、図６に示すように、中指から小指をたたみ、人差しを伸ばした指差し手形状の像９ｃ１のエッジ上の各点の位置データからなる。なお、ジェスチャコマンドが複数種類ある場合、第一参照形状データ９ｂがその種類の数だけあり、第一参照形状データ９ｂごとにデータ内容が異なる。第二参照形状データ９ｃについても同様である。
【００３４】
ジェスチャ記憶手段としての記憶部９には、参照ジェスチャデータ９ｄが格納されている。参照ジェスチャデータ９ｄは、位置の差分データである。つまり、参照ジェスチャデータ９ｄは、Ｘ方向の移動量とＹ方向の移動量からなるデータである。なお、ジェスチャコマンドが複数種類ある場合、参照ジェスチャデータ９ｄがその種類の数だけあり、参照ジェスチャデータ９ｄごとにデータ内容が異なり、参照ジェスチャデータ９ｄがジェスチャコマンドの種類毎に第一参照形状データ９ｂに対応付けされている。  
【００３５】
制御部８は、形状検出装置５によってフレーム毎に順次検出された被写体像の形状データを順次入力する。制御部８は、位置検出装置６によってフレーム毎に順次検出された被写体像の位置データを順次入力する。制御部８は、ジェスチャ検出装置７によってフレーム毎に順次検出された被写体像のジェスチャデータを順次入力する。
【００３６】
制御部８は、プログラム９ａによってコマンド決定手段として機能する。つまり、制御部８は、形状検出装置５から入力した形状データ及びジェスチャ検出装置７から入力したジェスチャデータ等からコマンドを決定し、決定したコマンドをコンピュータ９０に出力する。コンピュータ９０は、制御部８から入力したコマンドに応じた動作を行う。
【００３７】
コマンド決定手段として機能する制御部８が行うコマンド決定処理について図７を参照して説明する。
まず、制御部８は、被写体像の位置の変化の有無を判定する（ステップＳ１）。被写体像の位置の変化の有無の判定は、例えば次の例１又は例２の通りである。
【００３８】
（例１）
制御部８は、或るフレームにおける被写体像の位置データを位置検出装置６から入力したら、その位置データとそれよりも１つ又は複数前のフレームにおける被写体像の位置データとを比較することによって、被写体像の位置の変化の有無を判定する（ステップＳ１）。比較の結果、両者の位置データが等しければ、被写体像の位置の変化が無いものと制御部８によって判定され（ステップＳ１：ＮＯ）、両者の位置データが異なれば、被写体像の位置の変化が有るものと制御部８によって判定される（ステップＳ１：ＹＥＳ）。
【００３９】
（例２）
制御部８は、或るフレームにおける被写体像のジェスチャデータをジェスチャ検出装置７から入力したら、そのジェスチャデータが動きのないデータを示す情報であるか否かを判定することによって、被写体像の位置の変化の有無を判定する（ステップＳ１）。入力したジェスチャデータが動きのないデータを示す情報であれば、被写体像の位置の変化が無いものと制御部８によって判定され（ステップＳ１：ＮＯ）、入力したジェスチャデータが動きのないデータを示す情報でなければ、被写体像の位置の変化が有るものと制御部８によって判定される（ステップＳ１：ＹＥＳ）。
【００４０】
なお、被写体像の位置の変化の有無の判定は、以上の例１や例２以外のアルゴリズムでもよい。
【００４１】
被写体像の位置の変化がなければ（ステップＳ１：ＮＯ）、制御部８の処理がステップＳ１に戻って、後のフレームにおける被写体像の位置の変化の有無が制御部８によって判定される。一方、被写体像の位置の変化があれば（ステップＳ１：ＹＥＳ）、制御部８は形状検出装置５から入力した被写体像の形状データを第一参照形状データ９ｂ，第二参照形状データ９ｃと比較する（ステップＳ２，ステップＳ３）。具体的には、制御部８は、まず、被写体像の形状データと第一参照形状データ９ｂの類似度合を表す類似度を算出し、その算出した類似度を所定の閾値と比較する（ステップＳ２）。比較の結果、類似度が所定の閾値を超えれば、制御部８は被写体像の形状データが第一参照形状データ９ｂに一致すると判定する（ステップＳ２：ＹＥＳ）。一方、類似度が所定の閾値を下回れば、制御部８は被写体像の形状データが第一参照形状データ９ｂに一致しないと判定する（ステップＳ２：ＮＯ）。被写体像の形状データと第二参照形状データ９ｃの比較（ステップＳ４）についても同様である。なお、ジェスチャコマンドに対応する形状が複数種類ある場合には、複数の第一参照形状データ９ｂそれぞれについて被写体像の形状データとの比較処理を行う。
【００４２】
形状検出装置５から入力した被写体像の形状データが参照形状データ９ｂ，９ｃの何れにも一致しない場合には（ステップＳ２：ＮＯ、ステップＳ３：ＮＯ）、制御部８の処理がステップＳ１に戻って、後のフレームにおける被写体像の位置の変化の有無が制御部８によって判定される。
【００４３】
形状検出装置５から入力した被写体像の形状データが第一参照形状データ９ｂに一致する場合には（ステップＳ２：ＹＥＳ）、制御部８はジェスチャ検出装置７から入力したジェスチャデータを参照ジェスチャデータ９ｄと比較する（ステップＳ４）。なお、ジェスチャコマンドが複数種類ある場合には、ジェスチャコマンドに対応する形状毎にステップＳ２において被写体像の形状データに一致すると判定された第一参照形状データ９ｂに対応する参照ジェスチャデータ９ｄがジェスチャ検出装置７の入力ジェスチャデータと比較される。
【００４４】
ジェスチャ検出装置７から入力した被写体像のジェスチャデータが参照ジェスチャデータ９ｄに一致する場合には（ステップＳ４：ＹＥＳ）、制御部８はそのジェスチャに対応したジェスチャコマンドに決定する（ステップＳ５）。そして、制御部８は、決定したジェスチャコマンドをコンピュータ９０に出力する（ステップＳ６）。コンピュータ９０は、制御部８から入力したジェスチャコマンドに応じた動作を行う。ジェスチャコマンドとしては、ページ切替コマンド、ウィンドウ切替コマンド、クリックコマンド、選択コマンド、コピーコマンド、ペーストコマンド、プリントスクリーンコマンド、削除コマンド、バックスペースコマンド、ページダウンコマンド、ページアップコマンド、バックスペースコマンド、改行コマンド、スペースコマンド、ドラッグコマンド、ドロップコマンド、Altコマンド、shiftコマンド、ctrlコマンド、caps lockコマンド、tabコマンド、ファンクションコマンド、画面拡大コマンド、画面縮小コマンド等がある。
【００４５】
ジェスチャ検出装置７から入力した被写体像のジェスチャデータが参照ジェスチャデータ９ｄに一致しない場合には（ステップＳ４：ＮＯ）、制御部８の処理がステップＳ１に戻って、後のフレームにおける被写体像の位置の変化の有無が制御部８によって判定される。
【００４６】
形状検出装置５から入力した被写体像の形状データが第一参照形状データ９ｂに一致せず（ステップＳ２：ＮＯ）、形状検出装置５から入力した被写体像の形状データが第二参照形状データ９ｃに一致する場合には（ステップＳ３：ＹＥＳ）、制御部８は位置指定コマンドに決定する（ステップＳ７）。そして、制御部８は、位置検出装置６から入力した位置データをコンピュータ９０に出力する（ステップＳ８）。位置データを入力したコンピュータ９０は、その位置データに従った位置にカーソル又はポインタを設定し、そのカーソル又はポインタを含む画面を生成して、その画面に従った映像信号を投影装置３０に出力する。従って、投影画面９８にはカーソル又はポインタが表示され、そのカーソル又はポインタの表示位置は位置データに従ったものとなる。
【００４７】
以上のように、制御部８は、撮像された被写体像の形状がジェスチャコマンドに対応したもの（第一参照形状データ９ｂ）か、位置指定コマンドに対応したもの（第二参照形状データ９ｃ）であるかを識別した上で、被写体像のジェスチャデータが参照ジェスチャデータ９ｄにマッチングするか否かを判定した。従って、被写体（例えば、手９６）の動きがジェスチャコマンド入力に関するものか、それとも位置入力・方向入力に関するものかを正確に判別することができる。被写体の動きがジェスチャコマンド入力に関するものである場合、誤ってカーソルやポインタが移動することもなくなり、逆に、被写体の動きが位置入力・方向入力に関するものである場合、コンピュータ９０が誤ってジェスチャコマンドに対応する動作をしなくなる。
【００４８】
具体的には、ユーザー９７が手９６を図２のように開いた形状にして手９６を動かせば、ページ切替等の動作がコンピュータ９０によって行われるが、カーソルやポインタ等が移動することはない。よって、正確なコマンド入力を行うことができる。一方、ユーザー９７が手９６を図３のような指差し形状にして手９６を動かせば、カーソルやポインタが移動するが、ページ切替等の動作がコンピュータ９０によって行われることはない。
【００４９】
〔第２の実施の形態〕
第２の実施の形態と第１の実施の形態では、プログラム９ａに基づく制御部８の処理順序が相違する。具体的には、第２の実施の形態における制御部８がプログラム９ａに従って行うコマンド決定処理は、図８に示す通りである。
【００５０】
図８に示すステップＳ１１の処理は、図７に示すステップＳ１の処理と同じである。被写体像の位置の変化がある場合には（ステップＳ１１：ＹＥＳ）、制御部８の処理がステップＳ１２に移行し、被写体像の位置の変化が無い場合には（ステップＳ１１：ＮＯ）、制御部８の処理がステップＳ１１に戻る。
【００５１】
図８に示すステップＳ１２の処理は、図７に示すステップＳ３の処理と同じである。形状検出装置５から入力した被写体像の形状データが第二参照形状データ９ｃに一致する場合には（ステップＳ１２：ＹＥＳ）、制御部８の処理がステップＳ１５，ステップＳ１６と続く。図８に示すステップＳ１５，Ｓ１６の処理は、図７に示すステップＳ５，Ｓ６の処理とそれぞれ同じである。
【００５２】
図８に示すステップＳ１３，Ｓ１４の処理は、図７に示すステップＳ２，Ｓ４の処理とそれぞれ同じである。形状検出装置５から入力した被写体像の形状データが第一参照形状データ９ｂに一致する場合には（ステップＳ１３：ＹＥＳ）、制御部８の処理がステップＳ１４に移行し、そうでない場合には（ステップＳ１３：ＮＯ）、制御部８の処理がステップＳ１１に戻る。
【００５３】
図８に示すステップＳ１４の処理は、図７に示すステップＳ３，Ｓ４の処理と同じである。ジェスチャ検出装置７から入力した被写体像のジェスチャデータが参照ジェスチャデータ９ｄに一致する場合には（ステップＳ１４：ＹＥＳ）、制御部８の処理がステップＳ１７，Ｓ１８に移行し、そうでない場合には（ステップＳ１４：ＮＯ）、制御部８の処理がステップＳ１１に戻る。図８に示すステップＳ１７，Ｓ１８の処理は、図７に示すステップＳ５，Ｓ６の処理とそれぞれ同じである。
【００５４】
形状検出装置５から入力した被写体像の形状データが参照形状データ９ｂ，９ｃの何れにも一致しない場合には（ステップＳ１３：ＮＯ、ステップＳ１４：ＮＯ）、制御部８の処理がステップＳ１１に戻る。
【００５５】
第２の実施の形態においても、第１の実施の形態と同様の効果が生じる。
【００５６】
〔第３の実施の形態〕
図９は、第１の実施の形態又は第２の実施の形態における入力ユーザーインターフェイス装置１を備えた投影装置４０のブロック図である。
【００５７】
この投影装置４０は、図１に示す投影装置３０の代わりに、投影画面９８を投影するものである。この投影装置４０は、図４に示す入力ユーザーインターフェイス装置１の構成要素に加えて、映像入力端子４１、映像信号変換部４２、映像信号処理部（スケーラ）４３、表示コントローラ４４、表示素子４５、光照射装置４６、投影レンズ４７、レンズ駆動部４８及び入力部４９等を備える。ここで、投影装置本体５０は、映像入力端子４１、映像信号変換部４２、映像信号処理部（スケーラ）４３、表示コントローラ４４、表示素子４５、光照射装置４６、投影レンズ４７及びレンズ駆動部４８からなる。
【００５８】
入力部４９は、複数のスイッチ（押しボタン）等からなる。入力部４９は、ユーザー等によって操作されることによって、操作内容に応じたコマンドを制御部８に出力する。
【００５９】
外部機器９１の映像出力端子が映像信号ケーブルを介して映像入力端子４１に接続されて、外部機器９１によって出力された映像信号が映像入力端子４１に入力される。なお、映像信号が無線によって外部機器９１から投影装置４０へ送信されてもよい。
【００６０】
映像信号変換部４２は、映像入力端子４１によって入力されたアナログ映像信号をデジタル映像信号に変換するとともに、そのデジタル映像信号や映像入力端子４１に入力されたデジタル映像信号を所定のフォーマットに変換したりする。
【００６１】
映像信号処理部４３は、映像信号変換部４２によって出力された映像信号に対して各種の信号処理を行う。例えば、映像信号処理部４３は、映像信号変換部４２によって出力された映像信号のスケーリングを行って、映像信号の画素数（解像度）を増減する。また、映像信号処理部４３は、スケーリングされた映像信号に基づく画面（画像）の座標変換（例えば、射影変換）を行うことによって、キーストーン補正等の歪み補正を行う。映像信号処理部４３によって信号処理された映像信号は表示コントローラ４４に転送される。ここで、歪み補正前の投影画面９８が電子カメラ３によって撮像され、投影画面９８の外縁形状が形状検出装置５又は制御部８によって検出され、制御部８がその外縁形状に基づいた補正パラメータを演算し、映像信号処理部４３がその補正パラメータに従って映像信号の画面の座標変換（例えば、射影変換）を行うことによって歪み補正が行われる。従って、電子カメラ３を歪み補正とコマンド入力に兼用することができる。
【００６２】
表示コントローラ４４は、映像信号処理部４３から入力した映像信号に基づいて表示素子４５を駆動する。表示コントローラ４４が映像信号処理部４３から入力した映像信号に従って表示素子４５の画素毎に変調制御（例えば、ＰＷＭ制御又はＰＮＭ制御等）をすることで、表示素子４５に照射される光が画素によって画素毎に変調される。これにより、表示素子４５によって画面（画像）が形成される。
【００６３】
表示素子４５は、二次元アレイ状に配列された複数の画素等を有するＤＭＤ（デジタル・マイクロミラー・デバイス）、透過型ＬＣＤパネル（液晶表示パネル）又は反射型ＬＣＤパネルである。表示素子４５はＤＭＤである場合には、表示素子４５の画素が可動マイクロミラーであり、表示素子４５がＬＣＤパネルである場合には、表示素子４５の画素が液晶シャッター素子である。
【００６４】
また、表示コントローラ４４は、光照射装置４６を制御する。光照射装置４６は、表示素子４５に向けて可視光を照射するものである。具体的には、光照射装置４６は、時分割方式又は色分離方式のものである。
【００６５】
光照射装置４６が色分離方式である場合、光照射装置４６が白色光源及び色分離器等を有し、白色光源から発した白色光が色分離器によって複数色（例えば、赤色、緑色、青色）に分離される。この場合、表示素子４５が色毎にあり、複数色の光が表示素子４５にそれぞれ照射され、各表示素子４５を透過又は反射した光が合成される。
光照射装置４６が時分割方式である場合、光照射装置４６が互いに異なる色の可視光（例えば、赤色光、緑色光、青色光）を順次繰り返して表示素子４５に照射し、その繰り返しの１周期が１フレームの期間に相当する。光照射装置４６が時分割方式である場合、光照射装置４６は、カラーフィルタ方式又はカラー光源方式のものとなる。光照射装置４６がカラーフィルタ方式である場合、光照射装置４６がカラーフィルタ、スピンドルモータ及び白色光源等を有し、カラーフィルタがスピンドルモータによって回転され、白色光源から発した白色光が回転中のカラーフィルタを通過することによって、白色光が各色（赤色、緑色、青色）に順次繰り替えし変換される。光照射装置４６がカラー光源方式である場合、光照射装置４６が互いに異なる色の複数の光源（例えば、赤色光源、緑色光源、青色光源）を有し、これらの光源が順次繰り返し点灯する。なお、光源とは、半導体発光素子（例えば、レーザーダイオード、発光ダイオード）又はランプ（例えば、ハロゲンランプ、キセノンランプ、メタルハライド、水銀ランプ、放電灯）であるか、半導体発光素子又はランプに蛍光体を組み合わせたものをいう。
【００６６】
投影レンズ４７は、表示素子４５によって形成された画面を投影画面９８としてスクリーンに投影する。投影レンズ４７は、フォーカシングの調整が可能であるともに、焦点距離の調整が可能である。投影レンズ４７は、レンズ駆動部４８によって駆動される。レンズ駆動部４８は、投影レンズ４７の構成レンズを駆動することによってズームやフォーカシングを行う。投影レンズ４７は、電子カメラ３（図１参照）と同じ向きに設けられている。
【００６７】
記憶部９に記憶されたプログラム９ａは、カメラ制御部４に加えて、映像信号変換部４２、映像信号処理部４３、表示コントローラ４４、レンズ駆動部４８の統合的な制御を制御部８に行わせる。例えば、制御部８は、カーソル（又はポインタ）及びウィンドウ等のオブジェクトを含む画面（画像）データを生成し、その画面データを映像信号処理部４３に出力をして、映像信号処理部４３に合成処理を行わせる。なお、画面のうちオブジェクト以外の背景領域の画素値は、透過率が１００％であるか又は１００％に近似している。
【００６８】
画面データを入力した映像信号処理部４３は、映像信号変換部４２から入力した映像信号の画面に、制御部８から入力した画面のオブジェクトを合成する。そして、映像信号処理部４３は、オブジェクトが合成された画面の映像信号のスケーリングを行い、更にその映像信号のキーストーン補正やフィッティング補正を行う。その補正処理された映像信号が表示コントローラ４４に転送され、表示コントローラ４４がその映像信号に基づいて表示素子４５を駆動する。これにより、画面が表示素子４５によって生成され、光照射装置４６によって表示素子４５に照射された光が投影レンズ４７によって投影されることによって投影画面９８（図１参照）がスクリーン、壁又はテーブル９９（図１参照）に映り込む。
【００６９】
制御部８は、図７又は図８に示す処理を行う。但し、制御部８は、ステップＳ６、ステップＳ８、ステップＳ１８及びステップＳ１６におけるコマンド又は位置データを外部のコンピュータ９０（図１）に出力しない。その代わり、制御部８は、ステップＳ５、ステップＳ７、ステップＳ１７及びステップＳ１５で決定したコマンドに従った動作を行う。
【００７０】
制御部８がステップＳ５やステップＳ１７のようにジェスチャコマンドに決定したら、その制御部８がその決定したジェスチャコマンドに応じた動作を行う。例えば、ジェスチャコマンドとしては、ページ切替コマンド、ウィンドウ切替コマンド、クリックコマンド、選択コマンド、コピーコマンド、ペーストコマンド、プリントスクリーンコマンド、削除コマンド、バックスペースコマンド、ページダウンコマンド、ページアップコマンド、バックスペースコマンド、改行コマンド、スペースコマンド、ドラッグコマンド、ドロップコマンド、Altコマンド、shiftコマンド、ctrlコマンド、caps lockコマンド、tabコマンド、ファンクションコマンド、画面拡大コマンド、画面縮小コマンド等がある。その他のジェスチャコマンドとしては、投影装置本体５０に対する制御コマンドがある。例えば、投影装置本体５０に対する制御コマンドとして、映像信号変換部４２に対する制御コマンド、映像信号処理部４３に対する制御コマンド、表示コントローラ４４に対する制御コマンド、レンズ駆動部４８に対する制御コマンドがある。
【００７１】
一方、制御部８がステップＳ７やステップＳ１５のように位置指定コマンドに決定したら、その制御部８は位置検出装置６から入力した位置データに応じた位置にカーソル又はポインタを画面（画像）に設定し、そのカーソル又はポインタを含む画面データを映像信号処理部４３に出力をして、映像信号処理部４３に合成処理を行わせる。従って、投影画面９８にはカーソル又はポインタが表示され、そのカーソル又はポインタの表示位置は位置データに従ったものとなる。
【００７２】
第３の実施の形態においても、第１の実施の形態と同様の効果が生じる。
【００７３】
〔変形例〕
形状検出装置５、位置検出装置６及びジェスチャ検出装置７は、論理回路であってもよいし、プログラムに基づくコンピュータ（具体的には、グラフィックス プロセッシング ユニット（ＧＰＵ））の処理であってもよい。
また、プログラム９ａが、形状検出装置５、位置検出装置６及びジェスチャ検出装置７と同等の処理を制御部８に行わせてもよい。
プログラム９ａ、第一参照形状データ９ｂ、第二参照形状データ９ｃ及び参照ジェスチャデータ９ｄが１つの記憶部９に記憶されていたが、これらが別々の記憶部に記憶されていてもよい。
その他、本発明の要部を変更しない範囲で、以上に説明した具体例から変更・改良が可能である。
【００７４】
以上に本発明の実施形態を説明したが、本発明の技術的範囲は上述の実施の形態に限定するものではなく、特許請求の範囲に記載に基づいて定められる。更に、特許請求の範囲の記載から本発明の本質とは関係のない変更を加えた均等な範囲も本発明の技術的範囲に含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
被写体像を含む画像を撮像する撮像手段と、
前記撮像手段によって撮像された前記画像の中の前記被写体像の形状を検出する形状検出手段と、
前記形状検出手段によって検出された前記形状がジェスチャコマンド対応の形状か位置データを指定する位置指定コマンドに対応する形状かを判定する判定手段と、
前記判定手段によって判定された判定結果に基づいて、コマンドを前記ジェスチャコマンドか前記位置指定コマンドに決定するコマンド決定手段と、
を備えることを特徴とする入力ユーザーインターフェイス装置。
＜請求項２＞
前記撮像手段によって撮像された前記画像の中の前記被写体像のジェスチャを検出するジェスチャ検出手段
を更に備え、
前記コマンド決定手段は、前記判定手段が、前記形状がジェスチャコマンドに対応する参照形状に一致すると判定し、且つ、前記ジェスチャ検出手段によって検出された前記ジェスチャが前記ジェスチャコマンドに対応する参照ジェスチャに一致すると判定した場合に、コマンドを前記ジェスチャコマンドに決定することを特徴とする請求項１に記載の入力ユーザーインターフェイス装置。
＜請求項３＞
前記ジェスチャコマンドに対応する前記参照形状を記憶する形状記憶手段
を更に備え、
前記判定手段が、前記形状記憶手段に記憶された前記参照形状と、前記形状検出手段によって検出された前記形状とを比較することによって、前記形状検出手段によって検出された前記形状が前記ジェスチャコマンドに対応する前記参照形状に一致するか否かを判定することを特徴とする請求項２に記載の入力ユーザーインターフェイス装置。
＜請求項４＞
前記ジェスチャコマンドに対応する前記参照ジェスチャを記憶するジェスチャ記憶手段
を更に備え、
前記コマンド決定手段が、前記ジェスチャ記憶手段に記憶された前記参照ジェスチャと、前記ジェスチャ検出手段によって検出された前記ジェスチャとを比較することによって、前記ジェスチャ検出手段によって検出された前記ジェスチャが前記ジェスチャコマンドに対応する前記参照ジェスチャに一致するか否かを判定することを特徴とする請求項２又は３に記載の入力ユーザーインターフェイス装置。
＜請求項５＞
前記コマンド決定手段は、前記判定手段が、前記形状が前記位置指定コマンドに対応する第二参照形状に一致すると判定した場合に、コマンドを前記位置指定コマンドに決定することを特徴とする請求項１から４の何れか一項に記載の入力ユーザーインターフェイス装置。
＜請求項６＞
前記位置指定コマンドに対応する前記第二参照形状を記憶する第二形状記憶手段
を更に備え、
前記判定手段が、前記第二形状記憶手段に記憶された前記第二参照形状と、前記形状検出手段によって検出された前記形状とを比較することによって、前記形状検出手段によって検出された前記形状が前記位置指定コマンドに対応する前記第二参照形状に一致するか否かを判定することを特徴とする請求項５に記載の入力ユーザーインターフェイス装置。
＜請求項７＞
前記撮像手段によって撮像された前記画像の中の前記被写体像の位置を検出する位置検出手段
を更に備え、
前記コマンド決定手段は、前記判定手段が、前記形状が前記位置指定コマンドに対応する第二参照形状に一致すると判定した場合に、前記位置検出手段によって検出された前記位置の指定を前記位置指定コマンドとして決定することを特徴とする請求項５又は６に記載の入力ユーザーインターフェイス装置。
＜請求項８＞
前記第二参照形状が手の指差し形状であることを特徴とする請求項５から７の何れか一項に記載の入力ユーザーインターフェイス装置。
＜請求項９＞
請求項１から８の何れか一項に記載の入力ユーザーインターフェイス装置と、
外部機器から出力された映像信号を入力し、その映像信号に従った画面を投影する投影装置本体と、
を備え、
前記コマンド決定手段によって決定されるジェスチャコマンドが前記投影装置本体に対する制御コマンドであることを特徴とする投影装置。
＜請求項１０＞
前記投影装置本体によって投影されるとともに前記撮像手段によって撮像された投影画面の外縁の形状を検出して、その外縁形状から補正パラメータを算出する補正パラメータ算出手段
を更に備え、
前記投影装置本体が、前記補正パラメータ算出手段によって算出された補正パラメータに基づいて前記映像信号の画面の座標変換を行うことによって歪み補正を行う映像信号処理部を有することを特徴とする請求項９に記載の投影装置。
＜請求項１１＞
被写体像を含む画像を撮像する撮像手段から前記画像を入力するコンピュータを、
前記撮像手段によって撮像された前記画像の中の前記被写体像の形状を検出する形状検出手段、
前記形状検出手段によって検出された前記形状がジェスチャコマンド対応の形状か位置データを指定する位置指定コマンドに対応する形状かを判定する判定手段、
前記判定手段によって判定された判定結果に基づいて、コマンドを前記ジェスチャコマンドか前記位置指定コマンドに決定するコマンド決定手段、
として機能させることを特徴とするプログラム。
＜請求項１２＞
被写体像を含む画像を撮像する撮像手段から前記画像を入力するコンピュータが、前記撮像手段によって撮像された前記画像の中の前記被写体像の形状を検出する形状検出処理と、
前記コンピュータが、前記形状検出処理によって検出された前記形状がジェスチャコマンド対応の形状か位置データを指定する位置指定コマンドに対応する形状かを判定する判定処理と、
前記コンピュータが、前記判定処理によって判定された判定結果に基づいて、コマンドを前記ジェスチャコマンドか前記位置指定コマンドに決定するコマンド決定処理と、
を実行することを特徴とするコマンド決定方法。
【符号の説明】
【００７５】
１  入力ユーザーインターフェイス装置
３  電子カメラ（撮像手段）
５  形状検出装置（形状検出手段）
６  位置検出装置（位置検出手段）
７  ジェスチャ検出装置（ジェスチャ検出手段）
８  制御部（判定手段、コマンド決定手段、補正パラメータ算出手段）
９  記憶部（形状記憶手段、ジェスチャ記憶手段、第二形状記憶手段）
９ａ  プログラム
９ｂ  第一参照形状データ
９ｃ  第二参照形状データ
９ｄ  参照ジェスチャデータ
４３  映像信号処理部
【図１】
2013196482.tif 000003
【図２】
2013196482.tif 000004
【図３】
2013196482.tif 000005
【図４】
2013196482.tif 000006
【図５】
2013196482.tif 000007
【図６】
2013196482.tif 000008
【図７】
2013196482.tif 000009
【図８】
2013196482.tif 000010
【図９】
2013196482.tif 000011