(57)【要約】【課題】空中に手や指を静止させることなく空間での入力操作を行うことができ、物理的な形状やスペースを必要とせず、電子機器の操作が可能なユーザとのインターフェースを提供する空間入力動作表示装置を提供すること。【解決手段】カメラ１０１で取得した画像と形状データ格納部１０３に格納されたデータとを形状認識部１０２で比較して対象の形状を認識する形状認識部１０２と、形状認識部１０２により認識されたデータの差分ベクトルデータと動きデータ格納部１０６に格納された差分ベクトルデータとを比較し、動きパターンの認識と予測を行う動作認識部１０５と、動作認識部１０５の動きパターン情報と認識データ格納部１０４の位置情報に基づいて画像情報を出力する制御部１０７と、選択した画像データを元に回転・拡大を含む加工を行うことで画像を生成する画像生成部１０８と、生成された画像を空間に表示する表示部１０９と備える。【選択図】図１
2009146333.tif 000002
【特許請求の範囲】
【請求項１】
カメラと、
形状データを予め格納する形状データ格納手段と、
動きデータを予め格納する動きデータ格納手段と、
画像データを予め格納する画像データ格納手段と、
前記カメラの画像と前記形状データ格納手段に格納された形状データとを比較して対象の形状を認識するとともに、前記対象の形状と最も近い形状データを選択し、その差分データと画像のどの位置に形状データがあるかの位置情報とを出力する形状認識手段と、
前記形状認識手段の差分データと前記位置情報とを格納する認識データ格納手段と、
前記認識データ格納手段に格納された前記差分データと前記動きデータ格納手段に格納された動きデータとを比較して動きパターンの認識及び／又は予測を行う動作認識手段と、
前記動作認識手段の前記動きパターン情報と前記認識データ格納手段の前記位置情報に基づいて、生成すべき画像の選択及び回転・拡大・縮小を含む加工情報を加えた画像情報を出力する表示制御を行う制御手段と、
前記画像情報から前記画像データ格納手段に格納された前記画像データを選択し、選択した画像データを元に回転・拡大を含む加工を行うことで画像を生成する画像生成手段と、
前記画像生成手段により生成された画像を空間に表示する表示手段と、
を備える空間入力動作表示装置。
【請求項２】
前記動作認識手段は、前記差分データと前記動きデータとを比較して最も近い順にＮ（Ｎは任意の自然数）個の動きデータを選択し、選択した動きデータから補間データを作成し、前記動きデータと前記補間データとの比較により動きパターンを認識する請求項１記載の空間入力動作表示装置。
【請求項３】
前記動作認識手段は、前記差分データと前記動きデータとを比較して最も近い動きデータを選択して前記認識データ格納手段に書き込むとともに、前記認識データ格納手段から以前の認識データを読み出し、現在と過去のデータの差分からさらなる動きベクトルを生成する請求項１記載の空間入力動作表示装置。
【請求項４】
前記表示手段は、前記カメラの画像と前記画像生成手段の画像を合成する請求項１記載の空間入力動作表示装置。
【請求項５】
前記画像データ格納手段は、前記画像データと共にマスクデータを有し、
前記形状認識手段は、形状データを出力し、
前記画像生成手段は、前記形状データに属する部分と前記画像データ格納手段の前記マスクデータの論理和を行いマスク情報として出力し、
前記表示手段は、前記画像生成手段の前記マスク情報に従ってマスク状態となる画素には前記カメラの画像出力画素を割り当てそれ以外は前記画像生成手段が出力する画素を割り当てた画像を表示する請求項１記載の空間入力動作表示装置。
【請求項６】
前記形状データ格納手段は、前記形状データに加え色を含む補助情報を予め格納し、
前記形状認識手段は、前記カメラの画像と前記形状データ格納手段の前記形状データと補助データを比較し、
前記認識データ格納手段は、前記形状認識手段の認識結果を基に、最も近い形状を選択し、その差分データと画像のどの位置に形状データがあるかの位置情報とを格納する請求項１記載の空間入力動作表示装置。
【請求項７】
前記動作認識手段は、判定結果を前記動きデータ格納手段に蓄積し、該判定結果の頻度により一致した動きデータの順序付けを行うとともに、前記順序で動きデータを検索する請求項１記載の空間入力動作表示装置。
【請求項８】
前記形状データ格納手段は、前記形状データに加え形状の３Ｄモデリング座標及びテクスチャ画像を含む３Ｄグラフィックス表示用情報を予め格納し、
前記画像生成手段は、前記制御手段が出力する形状データに応じて前記３Ｄグラフィックス表示用情報を取得して３Ｄ画像を生成し合成する請求項１記載の空間入力動作表示装置。
【請求項９】
音声を再生する音声発生手段をさらに備え、
前記制御手段は、前記動作認識手段の前記動きデータの選択情報と前記認識データ格納手段の前記位置情報に基づいて、生成すべき音声の選択情報を前記音声発生手段に出力し、
前記音声発生手段は選択された音声を再生する請求項１記載の空間入力動作表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、空間入力動作表示装置に関し、特に、撮影した画像の解析により動作認識を行い、認識結果に基づいて動作表示を行う空間入力動作表示装置に関する。
【背景技術】
【０００２】
携帯電話やコンピュータ等の電子機器には、ユーザとのインターフェースとして入力手段が設けられ、ユーザは入力手段を介して指令や命令等を電子機器へ与えている。これらの入力手段としては、例えばキーボード、マウス、タッチパネルなど、多種多様のものが用いられている。これらの入力手段は、電子機器の特性に応じ、最適なものが選択されている。特に文字入力に関しては、熟練を要するものの、キーボードによる操作が速度と正確さの点で現在でも主流のインターフェースになっている。しかし、これらは一定のスペースを必要とし、電子機器の小型化、軽量化に対して障害となる。
【０００３】
こうした課題に対し、例えば特許文献１には、ホログラムを利用し、車室内の空間に操作パネルの虚像を車室内の空間に映し出し、この映し出された仮想の操作パネルを用いて、ユーザの入力操作を判別する機器の操作系選択装置が開示されている。
【０００４】
また、物理的な形を持たない光キーボードなども開発されており、これは光を照射する光源と、光源からの光によって照射された物体からの反射波を検知するセンサと、机上にキーボードを映し出すプロジェクタとを備え、机上に映し出されたキーボードを操作するユーザの指の動きをセンサによって認識し、その動きからキーボード入力を判別している。
【特許文献１】特開平９−１９０２７８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、このような従来の空間入力システムにあっては、以下のような問題点があった。
【０００６】
特許文献１に記載の空間入力システムでは、ホログラムで映し出された映像で空間操作を行う場合、物理的なボタンを押下する場合と異なり、空中に手や指を静止させる必要があり、正確な位置を指し示すことが難しい。
【０００７】
また、光キーボードを用いる空間入力システムでは、携帯時には物理的な形を持たないという特長を有するものの、使用時には机などキーボードを映し出すスペースが必要となる。
【０００８】
本発明は、かかる点に鑑みてなされたものであり、空中に手や指を静止させることなく空間での入力操作を行うことができ、物理的な形状やスペースを必要とせず、電子機器の操作が可能なユーザとのインターフェースを提供する空間入力動作表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の空間入力動作表示装置は、カメラと、形状データを予め格納する形状データ格納手段と、動きデータを予め格納する動きデータ格納手段と、画像データを予め格納する画像データ格納手段と、前記カメラの画像と前記形状データ格納手段に格納された形状データとを比較して対象の形状を認識する形状認識手段と、前記形状認識手段の認識結果を基に、前記対象の形状と最も近い形状データを選択し、その差分データと画像のどの位置に形状データがあるかの位置情報とを格納する認識データ格納手段と、前記認識データ格納手段に格納された前記差分データと前記動きデータ格納手段に格納された動きデータとを比較して動きパターンの認識及び／又は予測を行う動作認識手段と、前記動作認識手段の前記動きパターン情報と前記認識データ格納手段の前記位置情報に基づいて、生成すべき画像の選択及び回転・拡大・縮小を含む加工情報を加えた画像情報を出力する表示制御を行う制御手段と、前記画像情報から前記画像データ格納手段に格納された前記画像データを選択し、選択した画像データを元に回転・拡大を含む加工を行うことで画像を生成する画像生成手段と、前記画像生成手段により生成された画像を空間に表示する表示手段と、を備える構成を採る。
【発明の効果】
【００１０】
本発明によれば、空中に手や指を静止させることなく空間での入力操作を行うことができ、物理的な形状やスペースを必要とせず、空間入力操作を表示装置で確認しながら電子機器などの操作を行うことができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００１２】
（実施の形態１）
図１は、本発明の実施の形態１に係る空間入力動作表示装置の構成を示す図である。本実施の形態は、コンピュータやオーディオ装置などの電子機器のユーザとのインターフェース用途に好適な空間入力システムに適用した例である。
【００１３】
図１において、空間入力動作表示装置１００は、カメラ１０１と、形状認識部１０２、形状データ格納部１０３、認識データ格納部１０４、動作認識部１０５、動きデータ格納部１０６、制御部１０７、画像生成部１０８、表示部１０９、及び画像データ格納部１１０を備えて構成される。
【００１４】
カメラ１０１は、画像を入力する手段でありフレームごとに逐次画像を送出する。
【００１５】
形状認識部１０２は、カメラ１０１の画像と形状データ格納部１０３に格納された形状データとを比較して対象の形状を認識する。また、形状認識部１０２は、カメラ１０１が出力する画像と形状データ格納部１０３にある形状データとを比較し、最も近い形状を選択後、その差分データと画像のどの位置に形状データがあるかの位置情報とを出力する。また、形状認識部１０２は、カメラ１０１が出力する画像と形状データ格納部１０３にある形状データと補助データを比較し、最も近い形状を選択後、その差分データと画像のどの位置に形状データがあるかの位置情報とを出力する。
【００１６】
形状データ格納部１０３は、形状データと色などの補助情報を予め格納する。
【００１７】
認識データ格納部１０４は、形状認識部１０２からの差分データと位置情報とを格納する。具体的には、認識データ格納部１０４は、形状データのベクトルデータの差を差分ベクトルデータとして蓄積し、さらに、形状が画面のどこにあるかを指し示す位置情報も同時に蓄積する。
【００１８】
動作認識部１０５は、認識データ格納部１０４に格納された差分データと動きデータ格納部１０６に格納された動きデータとを比較して動きパターンの認識及び／又は予測を行う。例えば、動作認識部１０５は、差分データと動きデータとを比較して最も近い順にＮ（Ｎは任意の自然数）個の動きデータを選択し、選択した動きデータから補間データを作成し、動きデータと補間データとの比較により動きパターンを認識する。また、動作認識部１０５は、差分データと動きデータとを比較して最も近い動きデータを選択して認識データ格納部１０４に書き込むとともに、認識データ格納部１０４から以前の認識データを読み出し、現在と過去のデータの差分からさらなる動きベクトルを生成する。さらに、動作認識部１０５は、判定結果を動きデータ格納部１０６に蓄積し、該判定結果の頻度により一致した動きデータの順序付けを行うとともに、順序で動きデータを検索する。
【００１９】
動きデータ格納部１０６は、登録した動きデータを予め格納する。
【００２０】
制御部１０７は、動作認識部１０５の動きパターン情報と認識データ格納部１０４の位置情報に基づいて、生成すべき画像の選択及び回転・拡大・縮小を含む加工情報を加えた画像情報を画像生成部１０８に出力する。
【００２１】
画像生成部１０８は、画像情報から画像データ格納部１１０に格納された画像データを選択し、選択した画像データを元に回転・拡大を含む加工を行うことで画像を生成する。
【００２２】
表示部１０９は、画像生成部１０８により生成された画像を空間に表示する。また、表示部１０９は、カメラ１０１の出力画像と画像生成部１０８が出力する画像を合成する。
【００２３】
画像データ格納部１１０は、画像データを予め格納する。
【００２４】
ここで、空間入力動作表示装置１００は、形状データ格納部１０３が、形状データに加え色を含む補助情報を予め格納し、形状認識部１０２が、カメラ１０１の画像と形状データ格納部１０３の形状データと補助データを比較し、認識データ格納部１０４が、形状認識部１０２の認識結果を基に、最も近い形状を選択し、その差分データと画像のどの位置に形状データがあるかの位置情報とを格納する態様でもよい。
【００２５】
以下、上述のように構成された空間入力動作表示装置１００の動作について説明する。
【００２６】
形状認識部１０２は、カメラ１０１が出力する画像を入力し用意された形状データ格納部１０３内の形状データを用いて登録された形状であるかをフレーム単位で判定する。判定方法は、登録された形状との相関をとることが基本である。相関を取る方法にはさまざまな手法がある。例えば、入力画像と登録された形状を画素単位で差分を取り、その絶対値の和が閾値を超えれば登録された形状として認識できる。別の認識方法として、輪郭抽出を行い、輪郭情報だけで判定したり、細線化処理を行いトポロジー（図形の構造）で判定したりすることもある。さらには、判定された形状が占める色の割合を勘案したり、以前のフレームで判定した結果と時間経過した判定結果を用いたりすることもある。これらは組み合わせたりすることで判定精度が向上する。
【００２７】
形状データとの判定の結果とは完全に一致することは殆どない。この差を示すため、形状をベクトル集合体で表したベクトル情報を判定結果から生成する。形状データのベクトルデータを付属データとして作成しておけば、両者のベクトルデータの差が形状データからの変形を示すことになる。このベクトルデータの差を新たに差分ベクトルデータとして認識データ格納部１０４に蓄積していく。さらに、形状が画面のどこにあるかを指し示す位置情報も同時に蓄積する。したがって、フレームごとに認識されたデータが逐次蓄積されることになる。
【００２８】
図２は、手２００の場合のベクトルデータの例を示す図である。図２において、●印で示すノード（ここでは指の関節）２０１間を結ぶ線分２０２がベクトルデータとなる。
【００２９】
また、前述した位置情報には形状の大きさを判断することで奥行き情報を含ませることができる。すなわち位置情報からは３次元的な位置を、差分ベクトルデータからは形状の角度や状態を得ることができる。したがって、３Ｄアプリケーション、例えばゲームのように物体をモデリングしたことと等しい。
【００３０】
動作認識部１０５は、認識データ格納部１０４の差分ベクトルデータを用いて動作判定を行う。具体的には、動作認識部１０５は、予め登録しておいた動きデータ格納部１０６内の動きデータとの比較を行うことで動作判定を行う。動きデータは、図１（ａ）に示すように、動きのパターンによりテーブル化される。動作認識部１０５は、認識データ格納部１０４の差分ベクトルデータと比較し、最も一致度が高いテーブルを抽出することで、一致する動きパターンを認識する。
【００３１】
制御部１０７は、形状認識部１０２が出力する所望の形状を認識したことを示す一致度及び相対座標と、動作認識部１０５が出力する動きパターンを入力し表示制御を行う。形状の認識度が低い場合及び定常状態、すなわち動きパターンにおいて差分ベクトルデータが最も小さい場合、基本となる映像データの生成を画像生成部１０８に指示する。ここで、形状の認識度が低い場合はなにも表示しない、もしくは半透明の映像データを作るなどいくつかの表現方法が考えられる。さらに、形状認識部１０２が出す相対座標、動作認識部１０５が出力する動きパターンに従った映像出力指示を出す。
【００３２】
画像生成部１０８は、与えられた指示と画像データ格納部１１０にある映像データを用いて画像を生成する。生成した画像は、表示部１０９によりフレームごとに表示される。
【００３３】
以上によれば、動きパターンごとに映像が変化し表示部１０９に出力される。例えば、手の指の動きに対する動きデータを作っておく。この動きに対するキーボード画像も合わせてデータ化しておく。指の動きに連動したキーボード画像が見えることになる。通常キーボードで変化するものは一部のキーであるので、相対座標と動きパターンにより定常時のキーボード映像から該当するキーだけの映像を変化させる。例えば、図１（ａ）に示す［Ｆ］のキー位置に左手の人差し指があることが相対座標によって把握されており、動きパターンにより［Ｆ］が押されたことが分かる。
【００３４】
以上詳細に説明したように、本実施の形態によれば、空間入力動作表示装置１００は、カメラ１０１で取得した画像と形状データ格納部１０３に格納されたデータとを形状認識部１０２で比較することで対象の形状を認識する形状認識部１０２と、形状認識部１０２により認識されたデータの差分ベクトルデータと動きデータ格納部１０６に格納された差分ベクトルデータとを比較し、動きパターンの認識と予測を行う動作認識部１０５と、動作認識部１０５の動きパターン情報と認識データ格納部１０４の位置情報に基づいて、生成すべき画像の選択及び回転・拡大・縮小を含む加工情報を加えた画像情報を出力する制御部１０７と、画像情報から画像データ格納部１１０に格納された画像データを選択し、選択した画像データを元に回転・拡大を含む加工を行うことで画像を生成する画像生成部１０８と、画像生成部１０８により生成された画像を空間に表示する表示部１０９と備える。これにより、空間での手の動きを画像によって認識することができ、空中に手や指を静止させることなく、空間での入力操作が可能となる。例えば、キーボード押下したボタンの位置を認識することで仮想的なキー入力が可能となる。また、物理的な装置やスペースを必要とせず、空間入力操作を表示装置で確認しながら電子機器などの操作を行うことができる。
【００３５】
また、本実施の形態では、動作認識部１０５は、差分データと動きデータとを比較して最も近い順にＮ個の動きデータを選択し、選択した動きデータから補間データを作成し、動きデータと補間データとの比較により動きパターンを認識するので、予め格納される動きデータと完全に一致しない場合でも補間データとの比較により適切な操作の動きを検出することができる。
【００３６】
また、本実施の形態では、動作認識部１０５は、差分データと動きデータとを比較して最も近い動きデータを選択して認識データ格納部１０４に書き込むとともに、認識データ格納部１０４から以前の認識データを読み出し、現在と過去のデータの差分からさらなる動きベクトルを生成するので、予め格納される動きデータと完全に一致しない場合でも、次回以降は新たな動きベクトルとして生成され、記憶された動きデータとの比較により、前回と同様の認識結果を示すことができる。
【００３７】
また、本実施の形態では、表示部１０９は、カメラ１０１の画像と画像生成部１０８の画像を合成するので、例えばカメラの取り付け位置を頭上やメガネの一部に固定するなどとすることで、実際の視点での映像に画像生成装置で生成したキーボード等の画像を合成して表示させることができる。
【００３８】
また、本実施の形態において、形状データ格納部１０３は、形状データに加え色を含む補助情報を予め格納し、形状認識部１０２は、カメラ１０１の画像と形状データ格納部１０３の形状データと補助データを比較し、認識データ格納部１０４は、形状認識部１０２の認識結果を基に、最も近い形状を選択し、その差分データと画像のどの位置に形状データがあるかの位置情報とを格納する構成とすることで、予め格納してある形状データだけでは判定が困難な場合でも、補助データとの比較により判定精度を向上させることができる。
【００３９】
また、本実施の形態において、動作認識部１０５は、判定結果を動きデータ格納部１０６に蓄積し、該判定結果の頻度により一致した動きデータの順序付けを行うとともに、順序で動きデータを検索する構成とすることで、よく行う操作の動作との比較が処理の前段で行われるようになるため、判定速度と判定精度を向上させることができる。
【００４０】
（実施の形態２）
実施の形態２は、判定精度の向上を図る例について説明する。
【００４１】
実施の形態２では、形状認識部１０２は、形状認識のための判定基準を有する構成とする。形状認識部１０２に、予め判定基準を与えておくことで判定精度を向上させることができる。例えば手を判定させる場合、操作する者の手の特徴を登録することなどである。指の長さや太さ、指輪の情報などが特徴に相当する。
【００４２】
また、入力画像から平面情報だけでなく立体情報を認識させることができればさらに判定精度が向上する。立体情報を認識するには形状の大きさがどのくらいの縮尺率かなどで相対的な奥行き位置が分かる。また、手の形状により立体情報は予め判断できる場合が多い。例えば、指先を曲げるとその画像の指は短く映ることから曲げていることが判断でき、指先を曲げている場合は人間工学上曲げ角度などがある程度類推できるので、指の節ごとの立体情報もデータベース化しやすい。また、カメラ１０１を原点とした指までの相対座標を得ることも可能である。
【００４３】
動作認識部１０５は、動きデータ格納部１０６内の動きデータに完全に一致しない差分ベクトルが生じた場合、動きデータから一致判定の高いものを２つ抜き出し、一致度から動きデータの遷移を判断する。例えば、動作認識部１０５は、動きデータの中のテーブル１とテーブル４の一致度が高くそれぞれ等しければテーブル１からテーブル４へ、もしくはテーブル４からテーブル１の動きを行うと判定できる。ここでは２つを抜き出して判定する例を示すが３つでも４つでも遷移を示す中間情報が詳細化されるだけであり、上記２つの場合と同様に判定可能である。
【００４４】
（実施の形態３）
実施の形態３は、必要な箇所を手前に表示させるマスク処理の例である。
【００４５】
実施の形態３では、画像データ格納部１１０は、画像データと共にマスクデータを有し、形状認識部１０２は、形状データを出力し、画像生成部１０８は、形状データに属する部分と画像データ格納部１１０のマスクデータの論理和を行いマスク情報として出力し、表示部１０９は、画像生成部１０８のマスク情報に従ってマスク状態となる画素にはカメラ１０１の画像出力画素を割り当てそれ以外は画像生成部１０８が出力する画素を割り当てた画像を表示する。
【００４６】
表示部１０９が透過型であり背景が透かして映るものを仮定する。ここで、形状認識対象である物体と重ね合わせるように画像生成部１０８が映像出力位置を調整することが考えられる。また位置だけでなく、映像の拡大・縮小・変形を行うことで、形状認識対象物に一致した表示が可能である。これらの処理は汎用のグラフィックスエンジンなどで行うが画像生成部１０８に組み込まれているとする。
【００４７】
この場合、表示部１０９と形状認識対象物との相対的な関係を予め情報として与える必要がある。カメラ１０１と表示部１０９との距離が０、すなわちそれらが物理的に一体化しているか、相対距離や相対角度が固定になる必要がある。但し後者は、表示部１０９の視線情報を把握しておく必要もある。
【００４８】
また、映像データをそのまま表示部１０９に写すと、写された映像が形状認識対象物を覆い隠してしまう。ここで、形状認識部１０２により形状対象物をマスクさせるマスクデータを作ることで、マスクされている画素には映像を出さないことにすれば形状認識対象物は覆い隠れなくなる。
【００４９】
図３は、本発明の実施の形態３における形状対象物をマスクした場合の表示例を示す図である。図１と同一構成部分には同一符号を付している。
【００５０】
図３において、頭部２１０に、オーバヘッドディスプレイの表示部１０９と、カメラ１０１を設置する。表示部１０９がキーボード３００を表示する場合、手２００の上に表示してしまうと手２００の動きが分からなくなるが、図３（ａ）に示すように、手２００の部分をマスクしてキーボード３００を表示すればキーボード３００の上に手があるようにすることができる。
【００５１】
このように、本実施の形態によれば、画像合成において、手などの画像生成装置の出力よりも手前に見える必要のある箇所をマスクすることで、必要な箇所を手前に表示させることが可能になり、操作性をより向上させることができる。
【００５２】
（実施の形態４）
実施の形態４は、学習機能により判定精度の向上を図る例について説明する。
【００５３】
実施の形態４では、動作認識部１０５は、予め学習機能を有する構成とする。動作認識部１０５に予め学習機能を与えておくことで、判定精度を向上させることができる。動作認識部１０５は、過去に動きデータ格納部１０６内の動きデータから一致判定した動作パターンを蓄積して自動的にデータベース化を行い、動きデータ格納部１０６に追加することで、次の動作をそのデータベースから予測することが可能となる。
【００５４】
例えば、実施の形態２で述べたように、動きデータに完全に一致しない差分ベクトルが生じた場合において、２つ以上のテーブルから動きを判定したとき、その一連の動作を学習し記憶しておくことで、次に同じ動きを認識した場合は同様の判定結果を得ることができ、判定精度を向上させることができる。
【００５５】
また、この機能を拡張し、予めある動きパターンを学習させておくことで、その動きによる新たな入力操作を可能にすることもできる。
【００５６】
さらに、人が表示された結果を判断して判定することで確実に結果をフィードバックすることも考えられる。
【００５７】
（実施の形態５）
実施の形態５は、３Ｄグラフィックス表示を適用した例である。
【００５８】
実施の形態５では、形状データ格納部１０３は、形状データに加え形状の３Ｄモデリング座標及びテクスチャ画像を含む３Ｄグラフィックス表示用情報を予め格納し、画像生成部１０８は、制御部１０７が出力する形状データに応じて３Ｄグラフィックス表示用情報を取得して３Ｄ画像を生成し合成する。
【００５９】
形状データ格納部１０３内の形状データに付属データとして３Ｄデータを格納しておくことで、画像生成部１０８を用いて３Ｄ画像を生成することが可能となる。表示部１０９が透過型であり左右別々の画像表示が可能な場合、３Ｄ画像を立体的に空間に表示させることができる。また、表示部１０９に実際のカメラ位置からの視点とは異なった仮想的な３Ｄ画像を表示させることもできる。これらの処理は汎用の３Ｄグラフィックスエンジンが画像生成部１０８に組み込まれているとする。
【００６０】
図４は、本発明の実施の形態５における仮想的な立体映像の表示例を示す図である。
【００６１】
図４に示すように、表示部１０９に仮想的に立体的なキーボード３００Ｄと手２００Ｄを表示させることができる。この構成によれば、実際の視点とは異なった位置で立体的にキーボードや手を表示させることもでき、実際は見えないような位置でも認識できるようになるため、操作しやすくなる。
【００６２】
このように、本実施の形態によれば、実際の視点からは見えないような位置でも認識できるようになるため、操作性をより向上させることができる。
【００６３】
（実施の形態６）
実施の形態６は、さらに音声出力を備える例である。
【００６４】
実施の形態６では、音声合成ＬＳＩ等からなる音声発生装置（図示略）をさらに備え、制御部１０７は、動作認識部１０５の動きデータの選択情報と認識データ格納部１０４の位置情報に基づいて、生成すべき音声の選択情報を音声発生装置に出力し、音声発生装置は選択された音声を再生する。
【００６５】
画像生成部１０８は、２Ｄ，３Ｄグラフィックスエンジンが組み込まれており、この２Ｄ，３Ｄグラフィックスエンジンにより与えられた指示に対応した画像を生成し、入力操作に対応した結果を表示部１０９に出力する。また、制御部１０７は、入力操作に対応した結果を音声などにして出力する。この場合、制御部１０７にスピーカなどが組み込まれているとする。これにより、入力状態をユーザにフィードバックすることで入力操作の安定性を向上させることができる。
【００６６】
例えば、図３及び図４に示すように、表示部１０９にキーボード画像が表示されている場合に、例えば［Ｆ］のキーが押下されたという指示が与えられたとき、画像生成部１０８は［Ｆ］のキーの表示を点灯させる画像データを生成する。これにより、入力操作が視覚的に確認でき、また、制御部１０７により聴覚的にも確認が可能となる。これらによって、実際にはキーを押下していないが、ユーザは押下したことが感覚的に認識できる。
【００６７】
このように、本実施の形態によれば、聴覚的にキーを押下したことを認識でき、キー入力操作の安定性をより向上させることができる。
【００６８】
以上の説明は本発明の好適な実施の形態の例証であり、本発明の範囲はこれに限定されることはない。例えば、上記各実施の形態は、各種の電子機器に適用した例であるが、入力対象を空間に表示するものであればどのような機器にも同様に適用できる。
【００６９】
また、上記各実施の形態では空間入力動作表示装置という名称を用いたが、これは説明の便宜上であり、空間入力システム、空間入力装置等であってもよいことは勿論である。
【００７０】
さらに、上記空間入力動作表示装置を構成する各装置、例えばデータ格納部等の種類、数及び接続方法などは前述した実施の形態に限られない。
【産業上の利用可能性】
【００７１】
本発明に係る空間入力動作表示装置は、物理的な形状やスペースを必要とせず、空間入力操作を表示装置で確認しながら電子機器などの操作が可能になるので、各種の電子機器における空間入力システムに適用して好適であるのみならず、電子機器以外の各機器（例えば、車両内の各電装品）における空間入力システムにも広く適用され得るものである。
【図面の簡単な説明】
【００７２】
【図１】本発明の実施の形態１に係る空間入力動作表示装置の構成を示す図
【図２】上記実施の形態１に係る空間入力動作表示装置の手の場合のベクトルデータの例を示す図
【図３】本発明の実施の形態３に係る空間入力動作表示装置の形状対象物をマスクした場合の表示例を示す図
【図４】本発明の実施の形態５に係る空間入力動作表示装置の仮想的な立体映像の表示例を示す図
【符号の説明】
【００７３】
１００  空間入力動作表示装置
１０１  カメラ
１０２  形状認識部
１０３  形状データ格納部
１０４  認識データ格納部
１０５  動作認識部
１０６  動きデータ格納部
１０７  制御部
１０８  画像生成部
１０９  表示部
１１０  画像データ格納部
【図１】
2009146333.tif 000003
【図２】
2009146333.tif 000004
【図３】
2009146333.tif 000005
【図４】
2009146333.tif 000006