(57)【要約】【課題】簡単な操作方法で、投影画像を操作することができる画像表示装置を提供する。【解決手段】被投影領域９９９に画像を投影する投影手段２０と、被投影領域９９９を撮像し撮像画像データを生成する撮像手段３０と、ユーザの指に装着される赤外線発光装置１５０と、前記撮像画像データから赤外線発光装置１５０より発光された光点９５０の被投影領域９９９上の位置を特定し、光点位置情報を生成する光点情報生成手段と、前記光点位置情報に基づいて、被投影領域９９９上のユーザの手の動きを解析し、被投影領域９９９に投影された画像５０１を移動させる画像操作手段とを有する。これにより、ユーザが、赤外線発光装置１５０が装着された指を、被投影領域９９９上で動かすという簡単な作業により、被投影領域９９９に投影された画像５０１を操作することが可能となる。【選択図】図１
2011043876.tif 000002
【特許請求の範囲】
【請求項１】
被投影領域に画像を投影する投影手段と、
前記被投影領域を撮像し、撮像画像データを生成する撮像手段と、
ユーザの手に装着される発光手段と、
前記撮像画像データから、前記発光手段により発光された光の前記被投影領域上の位置を特定し、光点位置情報を生成する光点情報生成手段と、
前記光点情報生成手段が生成した光点位置情報が記憶される記憶手段と、
前記記憶手段に記憶された光点位置情報に基づいて、被投影領域上のユーザの手の動きを解析し、被投影領域に投影された画像を操作する画像操作コマンドを生成する画像操作手段と、
を有することを特徴とする画像表示装置。
【請求項２】
画像操作手段はさらに、撮像画像データから検出される光の強度が所定値以上である場合に、画像操作コマンドを生成することを特徴とする請求項１に記載の画像表示装置。
【請求項３】
撮像画像データから検出される光の位置が、投影手段が投影する画像の領域内にあり、且つ、前記光の強度が所定値以上の場合に、
画像操作手段は、前記光の位置の移動に応じて画像の様態を変化させる画像操作コマンドを生成することを特徴とする請求項２に記載の画像表示装置。
【請求項４】
撮像画像データから検出される光の位置が、投影手段が投影する画像の領域内にあり、且つ、前記光の強度が所定値以上の場合に、
画像操作手段は、前記光の位置の移動に伴って画像を移動させる画像操作コマンドを生成することを特徴とする請求項３に記載の画像表示装置。
【請求項５】
発光手段は、被投影領域に対して光を照射するように設けられ、
撮像手段は、前記発光手段により発光された光が被投影領域で反射した反射光を撮像し、
光点情報生成手段は、前記撮像手段が撮像した前記反射光を光点として認識して、光点位置情報を生成することを特徴とする請求項１〜請求項４のいずれかに記載の画像表示装置。
【請求項６】
発光手段は指先に装着され、指先方向に発散光を放射することを特徴とする請求項５に記載の画像表示装置。
【請求項７】
投影手段は、被投影領域に対向して配置されていることを特徴とする請求項１〜請求項６のいずれかに記載の画像表示装置。
【請求項８】
発光手段は赤外線を発光し、
撮像手段は前記発光手段が発光した赤外線を撮像する赤外線カメラであることを特徴とする請求項１〜請求項７のいずれかに記載の画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザが被投影領域に投影された画像を簡単に操作することができる画像表示装置に関する。
【背景技術】
【０００２】
近年、打ち合わせの場において、プロジェクター等の画像表示装置で資料を大きく表示し、打ち合わせをすることが増えてきている。もし、打ち合わせの出席者が簡単な操作方法で前記投影画像を操作することができれば、打ち合わせはスムーズに進行する。
【０００３】
一方で、特許文献１に示されるように、被投影領域に投影された画像に、ユーザが光線銃から発光される光線を照射し、光線の被投影領域上の位置を認識して、ゲームの進行に反映させる仮想空間生成装置が提案されている。ところが、このような仮想空間生成装置は、ユーザが交線銃を握ってトリガーを引く等の操作をする必要があり、この技術を画像表示装置に適用することは、ユーザに煩雑な操作を強いることになる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−１７２４４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、上記問題を解決し、簡単な操作方法で、投影画像を操作することができる画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するためになされた請求項１に記載の発明は、被投影領域に画像を投影する投影手段と、
前記被投影領域を撮像し、撮像画像データを生成する撮像手段と、
ユーザの手に装着される発光手段と、
前記撮像画像データから、前記発光手段により発光された光の前記被投影領域上の位置を特定し、光点位置情報を生成する光点情報生成手段と、
前記光点情報生成手段が生成した光点位置情報が記憶される記憶手段と、
前記記憶手段に記憶された光点位置情報に基づいて、被投影領域上のユーザの手の動きを解析し、被投影領域に投影された画像を操作する画像操作コマンドを生成する画像操作手段と、
を有することを特徴とする。
【０００７】
請求項２に記載の発明は、請求項１に記載の発明において、撮像画像データから検出される光の強度が所定値以上である場合に、画像操作コマンドが生成されることを特徴とする。
【０００８】
請求項３に記載の発明は、請求項２に記載の発明において、投影手段が投影する画像の領域内にあり、且つ、前記光の強度が所定値以上の場合に、
画像操作手段は、前記光の位置の移動に応じて画像の様態を変化させる画像操作コマンドを生成することを特徴とする。
【０００９】
請求項４に記載の発明は、請求項３に記載の発明において、撮像画像データから検出される光の位置が、投影手段が投影する画像の領域内にあり、且つ、前記光の強度が所定値以上の場合に、
画像操作手段は、前記光の位置の移動に伴って画像を移動させる画像操作コマンドを生成することを特徴とする。
【００１０】
請求項５に記載の発明は、請求項１〜請求項４に記載の発明において、発光手段は、被投影領域に対して光を照射するように設けられ、
撮像手段は、前記発光手段により発光された光が被投影領域で反射した反射光を撮像し、
光点情報生成手段は、前記撮像手段が撮像した前記反射光を光点として認識して、光点位置情報を生成することを特徴とする。
【００１１】
請求項６に記載の発明は、請求項５に記載の発明において、発光手段は指先に装着され、指先方向に発散光を放射することを特徴とする。
【００１２】
請求項７に記載の発明は、請求項１〜６に記載の発明において、投影手段は、被投影領域に対向して配置されていることを特徴とする。
【００１３】
請求項８に記載の発明は、請求項１〜請求項７に記載の発明において、発光手段は赤外線を発光し、撮像手段は前記発光手段が発光した赤外線を撮像する赤外線カメラであることを特徴とする。
【発明の効果】
【００１４】
請求項１に記載の発明は、被投影領域に画像を投影する投影手段と、前記被投影領域を撮像し、撮像画像データを生成する撮像手段と、ユーザの手に装着される発光手段と、前記撮像画像データから、前記発光手段により発光された光の前記被投影領域上の位置を特定し、光点位置情報を生成する光点情報生成手段と、前記光点情報生成手段が生成した光点位置情報が記憶される記憶手段と、前記記憶手段に記憶された光点位置情報に基づいて、被投影領域上のユーザの手の動きを解析し、被投影領域に投影された画像を操作する画像操作コマンドを生成する画像操作手段とを有することを特徴とする。
これにより、ユーザが、発光手段が装着された手を、被投影領域上で動かすという簡単な操作により、被投影領域に投影された画像を操作することが可能となる。
【００１５】
請求項２に記載の発明は請求項１に記載の発明において、撮像画像データから検出される光の強度が所定値以上である場合に、画像操作コマンドが生成されることを特徴とする。
これにより、光点の強度が所定値より小さい場合には、画像操作コマンドが生成されないので、画像の誤操作の発生を防止することが可能となる。
【００１６】
請求項３に記載の発明は、請求項２に記載の発明において、投影手段が投影する画像の領域内にあり、且つ、前記光の強度が所定値以上の場合に、
画像操作手段は、前記光の位置の移動に応じて画像の様態を変化させる画像操作コマンドを生成することを特徴とする。
これにより、ユーザが指し示している画像のみが操作の対象となり、ユーザが操作する画像を容易に認識することが可能となり、直感的な操作感を提供することが可能となる。
【００１７】
請求項４に記載の発明は、請求項３に記載の発明において、撮像画像データから検出される光の位置が、投影手段が投影する画像の領域内にあり、且つ、前記光の強度が所定値以上の場合に、画像操作手段は、前記光の位置の移動に伴って画像を移動させる画像操作コマンドを生成することを特徴とする。
これにより、ユーザが、発光手段が装着されている手を被投影領域に投影されている画像上に置いて、前記光の強度が所定値以上の状態で前記手を移動させるだけで、被投影領域に投影されている画像を移動させることができ、容易な操作で画像を移動させることが可能となる。
【００１８】
請求項５に記載の発明は、請求項１〜請求項４に記載の発明において、発光手段は、被投影領域に対して光を照射するように設けられ、撮像手段は、前記発光手段により発光された光が被投影領域で反射した反射光を撮像し、光点情報生成手段は、前記撮像手段が撮像した前記反射光を光点として認識して、光点位置情報を生成することを特徴とする。
これにより、ユーザが、発光手段が装着されている手を被投影領域から離すと、発光手段が発光する光が減衰して被投影領域に反射するので、ユーザが手を被投影領域から離したことを精度高く検出することができ、画像の誤操作を排除することが可能となる。
【００１９】
請求項６に記載の発明は、請求項５に記載の発明において、発光手段は指先に装着され、指先方向に発散光を放射することを特徴とする。
これにより、指を被投影領域から離すと、被投影領域状の光強度が急速に弱まるので、被投影領域からユーザの指が離間していることが確実に検知され、被投影領域から離間した位置で、ユーザが指を動かした場合の誤作動を排除することが可能となる。このため、指で被投影領域を触れた時のみ、画像を操作することができ、被投影領域に投影されている画像を、指で操作している操作感をユーザに与えることが可能となる。
【００２０】
請求項７に記載の発明は、請求項１〜５に記載の発明において、投影手段は、被投影領域に対向して配置されていることを特徴とする。
これにより、投影領域として特殊なスクリーンを使用することなく、通常の机や壁を被投影領域として使用することが可能となる。
【００２１】
請求項８に記載の発明は、請求項１〜請求項７に記載の発明において、発光手段は赤外線を発光し、撮像手段は前記発光手段が発光した赤外線を撮像する赤外線カメラであることを特徴とする。
これにより、可視光によるノイズを排除し、正確にユーザの手の動きを検出することが可能となる。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施形態に係る、画像表示装置の概要図である。
【図２】赤外線発光装置の説明図である。
【図３】画像の移動操作状態の説明図である。
【図４】画像表示装置のブロック図である。
【図５】画像表示装置のメイン処理のフロー図である。
【図６】光点位置情報の説明図である。
【図７】画像の拡大操作状態の説明図である。
【発明を実施するための形態】
【００２３】
（本発明の画像表示装置の概要）
以下に図面を参照しつつ、本発明の好ましい実施の形態を示す。図１に示されるように、本発明の画像表示装置１００は、制御部１０、投影手段２０、撮像手段３０、赤外線発光装置１５０とから構成されている。
本実施形態では、投影手段２０及び撮像手段３０は、テーブルの板面等の被投影領域９９９と対向して配置されている。投影手段２０は、制御手段１０が出力する「画像信号」に基づいて、単一又は複数の画像５０１を被投影領域９９９に投影する装置である。撮像手段３０は、被投影領域９９９を撮像する装置である。なお、ユーザの指には、被投影領域９９９に赤外線を照射する赤外線発光装置１５０が装着されている。撮像手段３０は、赤外線発光装置１５０が被投影領域９９９に照射した光点９５０（反射光）を撮像する。制御部１０は、撮像手段３０が撮像した光点９５０の被投影領域９９９上の位置を特定し、光点９５０の位置情報に基づいてユーザの指の動きを認識して、画像５０１を移動させる装置である。
【００２４】
図２に示されるように、赤外線発光装置１５０は、電源部１５０ａ、赤外線発光部１５０ｂ、装着部１５０ｃとから構成されている。電源部１５０ａは、一次電池や二次電池を収納し、これら電池から供給される電流を、赤外線発光部１５０ｂに供給する。赤外線発光部１５０ｂは、電源部１５０ａから供給された電流によって、赤外線を発光する。本実施形態では、赤外線発光部１５０ｂは赤外線ＬＥＤである。図２に示されるように、赤外線発光部１５０ｂから発光される赤外線は、所定の角度θで拡散するようになっている。装着部１５０ｃは、指輪状であり、ユーザの指に装着されるようになっている。図２に示されるように、赤外線発光部１５０ｂは、指先方向に赤外線を発散放射するようになっている。
【００２５】
本発明では、図３に示されるように、被投影領域９９９に投影された画像５０１に対するドラッグ操作及びドロップ操作が可能である。具体的には、ユーザが、赤外線発光装置１５０が装着された指を被投影領域９９９に投影された画像５０１上に置いて、前記指が被投影領域９９９上に置かれた状態を維持したまま、前記指を目的の場所にまで移動させると（ドラッグ操作）、指の移動に伴って画像５０１が移動する。一方で、ユーザが目的の場所で前記指を被投影領域９９９から離すと（ドロップ操作）、ユーザが指を離した位置で前記画像５０１が表示されるようになっている。このように本発明の画像表示装置１００は、被投影領域９９９に投影されている画像５０１を、ユーザが所謂「ドラッグ  アンド  ドロップ操作」することができるようになっている。なお、複数のユーザの指に赤外線発光装置１５０を装着し、複数のユーザが単一又は複数の画像５０１を操作することも可能である。
【００２６】
本発明では、撮像手段３０が被投影領域９９９で反射した赤外線（光点９５０）を撮像し、制御部１０が前記光点９５０の被投影領域９９９上の位置を特定して「光点位置情報」を生成し、この「光点位置情報」の変化によって、ユーザの指の動きを認識し、投影手段２０で投影される画像５０１の位置を移動させることにより、前記「ドラッグ操作」を実現している。前述したように、赤外線発光装置１５０から発光される赤外線は、所定の角度θで拡散するようになっている。このため、ユーザが指を被投影領域９９９から離すと、被投影領域９９９で反射される赤外線（光点９５０）の強度が弱くなるので、制御部１０は撮像手段３０で撮像される赤外線の強度が弱くなったことを認識して、ユーザの指が被投影領域９９９から離れたことを認識し、前記「ドロップ操作」が認識されるようになっている。以下に、本発明の画像表示装置１００の具体的な構成について説明する。
【００２７】
（画像表示装置のブロック図）
以下に図４を用いて、画像表示装置１００のブロック図を説明する。制御部１０は、ＣＰＵ１１、ＲＡＭ１２、ＲＯＭ１３、撮像画像コントローラ１５、投影画像コントローラ１７、ＶＲＡＭ１８、入力部１９を有していて、これらは相互にバス９で接続されている。なお、投影画像コントローラ１７とＶＲＡＭ１８は相互に接続している。
【００２８】
ＣＰＵ１１は、ＲＡＭ１２、ＲＯＭ１３と協動して、各種演算、処理を行う。
ＲＡＭ１２は、ＣＰＵ１１で処理されるプログラムや、ＣＰＵ１１が処理するデータを、そのアドレス空間に一時的に記憶する。ＲＡＭ１２には、画像データ記憶領域１２ａ、撮像画像データ記憶領域１２ｂ、光点情報記憶領域１２ｃ、画像操作コマンド記憶領域１２ｄを有している。
画像データ記憶領域１２ａには、後述するように入力部１９で取得された「画像データ」が記憶されるようになっている。
撮像画像データ記憶領域１２ｂには、撮像手段３０で撮像され、撮像画像コントローラ１５で生成された「撮像画像データ」が記憶されるようになっている。
光点情報記憶領域１２ｃには、光点情報生成手段１３ｂが生成した「光点位置情報」が記憶されるようになっている。
画像操作コマンド記憶領域１２ｄには、画像操作手段１３ｃが生成した「画像操作コマンド」が記憶されるようになっている。
【００２９】
ＲＯＭ１３には、画像表示装置１００を制御する各種プログラムが記憶されている。ＲＯＭ１３には、投影画像生成手段１３ａ、光点情報生成手段１３ｂ、画像操作手段１３ｃ等のプログラムが記憶されている。当該各種プログラムが、ＣＰＵ１１で処理されることにより、画像表示装置１００の各種機能を実現している。  なお、前記プログラムをＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）として実現しても差し支えない。
【００３０】
投影画像生成手段１３ａは、「描画命令」を投影画像コントローラ１７に出力し、投影画像コントローラ１７で「画像データ」から「投影画像データ」を生成させるプログラムである。
【００３１】
光点情報生成手段１３ｂは、撮像手段３０が撮像した「撮像画像データ」から、赤外線発光装置１５０により発光された光点９５０の被投影領域９９９上の位置を特定し、「光点位置情報」を生成するプログラムである。
【００３２】
画像操作手段１３ｃは、「光点位置情報」に基づいて、被投影領域９９９上のユーザの手（指）の動きを解析し、被投影領域９９９に投影された画像５０１を操作する「画像操作コマンド」を生成するプログラムである。
【００３３】
撮像画像コントローラ１５は、Ａ／Ｄコンバータ、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｓｅｓｓｏｒ）を有している。Ａ／Ｄコンバータは、後述する撮像手段３０のイメージセンサーが出力する「信号電圧」を、「デジタル信号」に変換する。
ＤＳＰは、Ａ／Ｄコンバータが生成したが生成した「デジタル信号」から、２次元のピクセルデータである「撮像画像データ」を生成する。生成された「撮像画像データ」は、撮像画像データ記憶領域１２ｂに記憶される。
なお、「撮像画像データ」の各ピクセル（画素）は、被投影領域９９９上の位置情報である「ピクセル位置情報」及び、赤外線の強度（輝度）の情報である「赤外線強度情報」を有している。
【００３４】
投影画像コントローラ１７は、ＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等の画像処理回路を有している。投影画像コントローラ１７は、投影画像生成手段１３ａから出力される「描画命令」に基づいて、画像データ記憶領域１２ａに記憶されている「画像データ」を画像処理して、「投影画像データ」を生成する。
ＶＲＡＭ１８には、投影画像コントローラ１７が生成した「投影画像データ」が記憶される。
投影画像コントローラ１７は、ＶＲＡＭ１８に記憶されている「投影画像データ」を「画像信号」として、投影手段２０に出力する。
【００３５】
入力部１９は、「画像データ」を取得するものである。入力部１９には、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋの略）、ＵＳＢ（Ｕｎｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓの略）等のインターフェースや、ＳＤメモリーカード等のメディアを読み取るメディアリーダ等が含まれる。「画像データ」が記憶されているパーソナルコンピュータやＵＳＢメモリ等を入力部１９に接続すると、入力部１９が前記「画像データ」を取得して、当該「画像データ」がＲＡＭ１２の画像データ記憶領域１２ａに記憶するようになっている。或いは、入力部１９がＬＡＮやインターネットに接続している場合には、入力部１９はＬＡＮやインターネットを介して「画像データ」を取得する。なお、ハードディスクやフラッシュメモリー等の補助記憶装置がバス９に接続され、入力部１９が取得した「画像データ」を補助記憶装置に記憶させる構成であっても差し支えない。なお、入力部１９で取得される「画像データ」には、写真等の画像ファイルや、表計算ソフト、ワードプロセッサソフト、プレゼンテーションソフト等の画像ファイルが含まれる。
【００３６】
投影手段２０は、ランプ駆動回路、ランプ、照明光学系、画像生成素子、結像光学系を有している。ランプ駆動回路は、ランプに電流を供給する回路である。ランプ駆動回路から電流が供給されたランプは拡散光を発光する。照明光学系は、ランプから発光された拡散光を集光し、均一な照明光にする。この照明光は画像生成素子に照射される。画像生成素子は、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｌｙｓｔａｌ  Ｄｉｓｐｌａｙ）やＤＭＤ（Ｄｉｇｉｔａｌ  Ｍｉｃｒｏｍｉｒｒｏｒ  Ｄｅｖｉｃｅ）であり、照射された照明光を各画素に階調表現して画像を生成する。結像光学系は多数のレンズから構成されていて、画像生成素子を透過した照明光を、被投影領域９９９に結像する。勿論、前記照明光の波長は、可視光領域である。
【００３７】
撮像手段３０は、被投影領域９９９を撮像する装置である。撮像装置３０は、イメージセンサー及び結像光学系を有している。イメージセンサーは、２次元配列されたフォトダイオードを有している。各フォトダイオードは、入射光の強度を電荷に変換し、電荷を「信号電圧」として出力する。イメージセンサーには、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ  Ｉｍａｇｅ  ＳｅｎＳｏｒ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｗｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）が含まれる。結像光学系は、単一又は複数のレンズで構成され、入光した像を、イメージセンサー上で結像させるものである。本実施形態では、イメージセンサーは可視光から近赤外線の波長（０．３〜１．０μｍの波長）の光を電荷に変換することができ、更に、撮像手段３０は、赤外線カットフィルターを有さず、可視光及び赤外線による画像を撮像することができる所謂赤外線カメラである。なお、可視光によるノイズを除去するために、赤外線の波長の光（０．８〜１．０μｍの波長）を透過し、可視光の波長の光（０．３〜０．８μｍの波長）を遮断する可視光カットフィルターをイメージセンサーの前面に設けることが好ましい。
なお、近赤外線を確実に検出するために、ＨｇＣｄＴｅ（水銀カドミウムテルル）、ＩｎＳｂ（インジウムアンチモン）、ＰｔＳｉ（プラチナシリコン）を用いたイメージセンサーを使用してもよい。この場合、赤外線発光部１５０ｂが発する赤外線の波長は、１．０μｍ以上とするのがよい。
【００３８】
（フローの説明）
以下に、本発明のメイン処理のフローを説明する。画像表示装置１００に電源が投入されると、Ｓ１１「初期化」の処理に進む。
Ｓ１１「初期化」の処理において、ＲＯＭ１３に記憶されている各種プログラムが起動する。Ｓ１１の処理が終了すると、Ｓ１２の処理に進む。
【００３９】
Ｓ１２「投影」の処理において、投影画像生成手段１３ａは、投影画像コントローラ１７に「描画命令」を出力する。投影画像コントローラ１７は、前記「描画命令」に基づき、画像データ記憶領域１２ａに記憶された「画像データ」から「投影画像データ」を生成し、ＶＲＡＭ１８に記憶させる。投影画像コントローラ１７は、ＶＲＡＭ１８に記憶された「投影画像データ」を「画像信号」として投影手段２０に出力し、投影手段２０は被投影領域９９９に画像５０１を投影する。なお、前記「描画命令」には、画像５０１が投影される被投影領域９９９の上の領域位置を指定する命令が含まれる。また、投影画像コントローラ１７は、投影画像生成手段１３ａが出力する「描画命令」により、複数の画像５０１を被投影領域９９９に投影させるための「投影画像データ」を生成することができる。
なお後述するように、投影画像生成手段１３ａは、投影画像コントローラ１７に「描画命令」を出力する際に、画像操作コマンド記憶領域１２ｄを参照し、当該記憶領域に「画像移動コマンド」が記憶されているか否かを確認し、「画像移動コマンド」が記憶されている場合には、当該「画像移動コマンド」に基づいて、被投影領域９９９に投影される画像５０１を移動させる「描画命令」を投影画像コントローラ１７に出力する。
Ｓ１２の処理が終了すると、Ｓ１３「撮像」の処理に進む。
【００４０】
Ｓ１３「撮像」の処理において、光点情報生成手段１３ｂは、撮像画像コントローラ１５に「撮像命令」を出力し、撮像手段３０による被投影領域９９９の撮像を開始させる。撮像手段３０により撮像され、撮像画像コントローラ１５によって生成された「撮像画像データ」は、撮像画像データ記憶領域１２ｂに記憶される。一般に、人間にとって滑らかな動画であると認識されるフレームレートは、２０〜２５フレーム／秒とされている。従って、本実施形態では、４０〜５０ミリ秒でＳ１２〜Ｓ１８、Ｓ１９、Ｓ２０又はＳ１２〜Ｓ２５の処理が実行されて、メイン処理が１ループするので、４０〜５０ミリ秒毎に「撮像命令」が出力されて、「撮像画像データ」が生成されるようになっている。
S１３の処理が終了すると、S１４の処理に進む。
【００４１】
Ｓ１４「光点検出」の処理において、光点情報生成手段１３ｂは、撮像画像データ記憶領域１２ｂに記憶された「撮像画像データ」から、光点を検出する「光点検出処理」を実行する。具体的には、光点情報生成手段１３ｂは、「撮像画像データ」の各ピクセルについて、赤外線の強度（輝度）の情報である「赤外線強度情報」を解析し、所定値以上の赤外線の強度のピクセルの集合を、光点９５０として検出する。
なお、ユーザが、赤外線発光装置１５０が装着された指を被投影領域９９９上に置いている状態では、赤外線ＬＥＤ１５０ｂと被投影領域９９９間の距離は近接している。そのため、赤外線ＬＥＤ１５０ｂから発光される赤外線は大きく減衰することなく被投影領域９９９で反射するので、被投影領域９９９で反射した赤外線は所定値以上の強度となり、光点９５０が検出される。一方で、ユーザが、赤外線発光装置１５０が装着された指を被投影領域９９９から離すと、赤外線ＬＥＤ１５０ｂと被投影領域９９９間の距離が離れる。そのため、赤外線ＬＥＤ１５０ｂから発光される赤外線は大きく減衰して被投影領域９９９で反射し、被投影領域９９９で反射した赤外線は所定値より小さい強度となり、光点９５０が検出されない。換言すれば、光点９５０が検出される基準となる赤外線の強度の所定値は、赤外線発光装置１５０が装着されたユーザの指が、被投影領域９９９上に置かれている場合に所定値以上となり、置かれていない場合に所定値未満となるように設定される。
なお、複数のユーザが、赤外線発光装置１５０が装着されている指を被投影領域９９９上に置いている場合には、複数の光点９５０が検出される。
Ｓ１４の処理が終了すると、Ｓ１５「光点有り？」の判断処理に進む。
【００４２】
Ｓ１５「光点有り？」の判断処理において、光点情報生成手段１３ｂは、Ｓ１４の処理において、光点９５０が検出されていたか否かを判断する。
光点情報生成手段１３ｂが、Ｓ１４の処理において、光点９５０が検出されていたと判断した場合には（Ｓ１５の判断処理がＹＥＳ）、Ｓ１６の処理に進む。
一方で、光点情報生成手段１３ｂ？が、Ｓ１４の処理において、光点９５０が検出されていなかった判断した場合に（Ｓ１５の判断処理がＮＯ）は、Ｓ２５の判断処理に進む。
【００４３】
Ｓ２５「終了？」の判断処理において、ユーザが図示しない操作部を操作することにより、画像表示装置１００を終了させることを選択した場合には（Ｓ２５の判断処理がＹＥＳ）、図５に示されるメインフローが終了する。一方で、ユーザが画像表示装置１００を終了させることを選択しない場合には（Ｓ２５の判断処理がＮＯ）、Ｓ１２の処理に進む。
【００４４】
Ｓ１６「光点位置情報記憶」の処理において、光点情報生成手段１３ｂは、光点９５０の被投影領域９９９上の位置情報である、「光点位置情報」を生成し、光点情報記憶領域１２ｃに記憶させる。なお、「光点位置情報」は、被投影領域９９９上の特定の点（０、０）（図１に示す）からの座標データである（Ｘ、Ｙの２次元の数値で表される）。所定時間をおいて「光点位置情報」が生成されるので、図６に示されるような「光点位置座標」の履歴として「光点位置情報」が光点情報記憶領域１２ｃに順次記憶される。なお、Ｓ１４の処理で複数の光点９５０が検出された場合には、図６に示されるように、複数の光点９５０の「光点位置情報」が光点情報記憶領域１２ｃに記憶される。
なお、本実施形態では、光点情報生成手段１３は、光点９５０として検出されたピクセルの集合の重心を、光点９５０の被投影領域９９９上の位置として、「光点位置情報」を生成する。Ｓ１６の処理が終了すると、Ｓ１７の処理に進む。
【００４５】
Ｓ１７「光点位置差分算出」の処理において、画像操作手段１３ｃは、光点情報記憶領域１２ｃを参照して、今回記憶された「光点位置情報」と前回記憶された「光点位置情報」の差分値を算出する。図６に示される例では、１６００ｍｓと１６５０ｍｓの差分で、下記のように「光点位置情報が」算出される。
ｄＸ＝８１９−８１８＝１[ｍｍ]、ｄＹ＝３４１−３４２＝−１[ｍｍ]
Ｓ１７の処理が終了すると、Ｓ１８の判断処理に進む。
【００４６】
Ｓ１８「光点位置を投影画像は一致」の判断処理において、画像操作手段１３ｃは、被投影領域９９９上に投影されている画像５０１上に光点９５０が有るか否かを判断する。具体的には、画像操作手段１３ｃは、光点情報記憶領域１２ｂに記憶されている最新の「光点位置情報」を参照することにより、光点９５０の被投影領域９９９上の座標が、被投影領域９９９上に投影されている投影画像５０１の領域の座標の範囲内にあるか否かを判断する。なお、投影手段２０と被投影領域９９９との距離は一定であることから、画像操作手段１３ｃは、被投影領域９９９上の画像５０１の領域の座標を認識している。
画像操作手段１３ｃが、被投影領域９９９上に投影されている画像５０１上に光点９５０が有ると判断した場合には（Ｓ１８の判断処理がＹＥＳ）、Ｓ１９の判断処理に進む。
一方で、画像操作手段１３ｃが、被投影領域９９９上に投影されている画像５０１上に光点９５０が無いと判断した場合には（Ｓ１８の判断処理がＮＯ）、Ｓ１２の処理に戻る。
【００４７】
Ｓ１９「光点が移動した？」の判断処理において、画像操作手段１３ｃは、光点９５０が移動したか否かを判断する。
具体的には、画像操作手段１３ｃが、Ｓ１７の処理において算出した差分値が、ＸとＹとの少なくとも一方において０でないと判断した場合には、画像操作手段１３ｃは、光点９５０が移動したと判断し、（Ｓ１９の判断処理がＹＥＳ）、Ｓ２０の処理に進む。
一方で、画像操作手段１３ｃが、Ｓ１７の処理において算出した差分値が、ＸとＹとの両方において０であると判断した場合には、画像操作手段１３ｃは、光点９５０が移動していないと判断し、（Ｓ１９の判断処理がＮＯ）、Ｓ１２の処理に進む。
なお、Ｓ１７の処理において算出した差分値が、所定値以上である場合には、同一ユーザの指の移動ではなく、あるユーザの「光点位置情報」と別のユーザの「光点位置情報」であると判断し、Ｓ２０の処理に進むことなく、Ｓ１２の処理に戻る。
【００４８】
Ｓ２０「投影画像移動処理」において、画像操作手段１３ｃは、「投影画像移動処理」を実行する。具体的には、画像操作手段１３ｃは、Ｓ１７の処理で算出された「光点位置情報」の差分値分の座標だけ、被投影領域９９９に投影されている画像５０１を移動させる「投影画像移動コマンド」を生成し、画像操作コマンド記憶領域１２ｄに記憶させる。Ｓ２０の処理が終了すると、Ｓ１２の処理に戻る。
【００４９】
なお、「投影画像移動コマンド」が画像操作コマンド記憶領域１２ｄに記憶されている場合には、Ｓ１２の処理において、投影画像生成手段１３ａは、前記「投影画像移動コマンド」に基づいて、被投影領域９９９に投影される画像５０１を移動させる「描画命令」を投影画像コントローラ１７に出力する。このため、光点９５０の位置の移動に伴って、画像５０１が移動する。
なお、ユーザが、赤外線発光装置１５０が装着されている指を被投影領域９９９から離すと、前述したように、赤外線が減衰して被投影領域９９９に照射されるので、Ｓ１４の処理において光点が検出されず、前述した「ドロップ操作」が検出されて（Ｓ１５の判断処理がＮＯとなり、Ｓ２５に進む）、被投影領域９９９に投影されている画像５０１が移動することなく、ユーザが指を離した位置で画像５０１が表示される。
【００５０】
このように、本発明の画像表示装置１００は、被投影領域９９９に表示されている画像５０１上に、ユーザが、赤外線発光装置１５０が装着されている指を置き、この指を移動させるだけで、前記画像５０１を移動させる「ドラッグ  アンド  ドロップ操作」を行うことが可能であり、簡単な操作方法で、被投影領域９９９に投影されている投影画像５０１を移動させることが可能となった。
本実施形態では、赤外線カメラである撮像手段３０で被投影領域９９９を撮像し、赤外線の被投影領域９９９での反射光を光点９５０として認識し、この光点９５０の位置情報に基づいてユーザの指の動きを認識することとしたので、被投影領域９９９上に投影された可視光である画像５０１上に赤外線である光点９５０が重なったとしても、可視光と赤外線とは波長が異なることから、確実に光点９５０を検出することができ、確実にユーザの指の動きを検出することが可能である。
【００５１】
（総括）
本実施形態では、投影手段２０は被投影領域９９９に対向して配置されているが、被投影領域９９９を半透明のスクリーンで構成し、当該スクリーンの背後に投影手段２０を配置した所謂リアプロジェクション方式の画像表示装置として本発明を構成しても差し支えない。また、被投影領域９９９が半透明のスクリーンである場合には、前記スクリーンの背後に撮像手段３０を配置して、前記スクリーンを撮像する構成にしても差し支えない。
【００５２】
以上の説明では、ユーザが被投影領域９９９上に投影されている画像５０１を移動させる実施形態について説明したが、図７に示されるように、画像５０１の隅を「ドラッグ  アンド  ドロップ」し、或いは、複数のユーザが画像５０１の対角線をマルチタッチすることにより、前記画像５０１の拡大を行う画像表示装置にも、本発明の技術的思想が適用可能なことは言うまでもない。また、画像５０１の縮小、画像５０１を閉じる操作等を行う画像表示装置にも、本発明の技術的思想が適用可能なことは言うまでもない。この場合には、画像操作手段１３ｃは、光点情報記憶領域１２ｃに記憶されている「光点位置情報」の履歴から、ユーザの指の動きを解析し、ユーザの指の動きに対応する「画像操作コマンド」を生成し、画像操作コマンド記憶領域１２ｄに記憶させ、投影画像生成手段１３ａは、画像操作コマンド記憶領域１２ｄに記憶されている「画像操作コマンド」に基づいて、「描画命令」を生成して、当該「描画命令」を投影画像コントローラ１７に出力する。
【００５３】
以上説明した実施形態では、赤外線発光装置１５をユーザの指に装着しているが、赤外線発光装置１５をユーザの手に装着することにしても差し支えない。
【００５４】
以上説明した実施形態では、「撮像画像データ」、「光点位置情報」及び「画像操作コマンド」が記憶される記憶領域としてＲＡＭ１２を使用しているが、前記記憶領域としてフラッシュメモリーやハードディスク等の補助記憶装置を使用しても差し支えない。
【００５５】
以上説明した実施形態では、赤外線を発光する赤外線発光装置１５及び撮像手段３０として赤外線カメラを用いた実施形態について本発明を説明したが、可視光線を発光する発光装置を用い、この発光装置が発光する光点を、可視光を撮像する撮像手段３０で撮像して、ユーザの指の動きを検出することとしても差し支えない。この場合には、撮像手段３０には、可視光カットフィルターの代わりに赤外線カットフィルターが設けられていて、可視光を撮像するようになっている。
【００５６】
以上、現時点において、もっとも、実践的であり、かつ好ましいと思われる実施形態に関連して本発明を説明したが、本発明は、本願明細書中に開示された実施形態に限定されるものではなく、請求の範囲および明細書全体から読み取れる発明の要旨あるいは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う画像表示装置もまた技術的範囲に包含されるものとして理解されなければならない。 
【符号の説明】
【００５７】
９        バス
１０      制御部
１１      ＣＰＵ
１２      ＲＡＭ
１２ａ    画像データ記憶領域
１２ｂ    撮像画像データ記憶領域
１２ｃ    光点情報記憶領域
１２ｄ    画像操作コマンド記憶領域
１３      ＲＯＭ
１３ａ    投影画像生成手段
１３ｂ    光点情報生成手段
１３ｃ    画像操作手段
１５      撮像画像コントローラ
１７      投影画像コントローラ
１８      ＶＲＡＭ
１９      入力部
２０      投影手段
３０      撮像手段
１００    画像表示装置
１５０    赤外線発光装置
１５０ａ  電源部
１５０ｂ  赤外線発光部
１５０ｃ  装着部
５０１    投影画像
９５０    光点
９９９    被投影領域
【図１】
2011043876.tif 000003
【図２】
2011043876.tif 000004
【図３】
2011043876.tif 000005
【図４】
2011043876.tif 000006
【図５】
2011043876.tif 000007
【図６】
2011043876.tif 000008
【図７】
2011043876.tif 000009