(57)【要約】      （修正有）【課題】嵩張る赤外光反射器や電子ペンのような特殊な機器を必要とせずに、インタラクティブな制御を行うことのできるタッチスクリーン装置を提供する。【解決手段】プロジェクター２２は、ＰＣ２０の制御により、赤外光反射部材２６の表面に映像を投射する。検出ユニット２４は、赤外光照射器２８および深度カメラ３０を備えている。赤外光反射部材２６においては、赤外光が反射し深度カメラ３０には戻ってこないので、距離測定が不能な領域となる。また、赤外光反射部材２６の外側では、赤外光が乱反射するため距離を得ることができる。したがって、赤外光反射部材２６の外周の位置と、対象物の位置との相対的な関係を取得することができる。これにより、タッチした位置を算出することができ、これに基づく処理が可能である。【選択図】図３
2013206373.tif 000002
【特許請求の範囲】
【請求項１】
検出領域に配置するための、検出光を反射する検出光反射面を有する検出領域用部材と、
前記検出領域に向けて検出光を照射するよう設置される検出光照射部と、
前記検出光反射面によって反射された検出光が入射しない位置に設けられ、検出領域に位置する検出対象物によって反射された検出光および前記検出光反射面の周囲において反射された検出光を受けて、それぞれまでの距離を取得する深度センサと、
深度センサの出力に基づいて、検出対象物の、前記検出領域における位置を算出する位置算出手段と、
前記検出光反射面に映像を表示するための映像表示部と、
前記位置算出手段によって算出された検出対象物の位置に応じて、映像表示部によって前記検出光反射面に表示される映像を変化させる映像制御手段と、
を備えたインタラクティブ表示装置。
【請求項２】
検出領域に配置するための、検出光を反射する検出光反射面を有する検出領域用部材と、
前記検出領域に向けて検出光を照射するよう設置される検出光照射部と、
前記検出光反射面によって反射された検出光が入射しない位置に設けられ、検出領域に位置する検出対象物によって反射された検出光および前記検出光反射面の周囲において反射された検出光を受けて、それぞれまでの距離を取得する深度センサと、
深度センサの出力に基づいて、検出対象物の、前記検出領域における位置を算出する位置算出手段と、
を備えたタッチ位置検出装置。
【請求項３】
タッチ位置検出装置をコンピュータによって実現するためのプログラムであって、コンピュータを、
検出光反射面が配置された検出領域に対して検出光を照射した際に、前記検出光反射面によって反射された検出光が入射しない位置に設けられ、検出領域に位置する検出対象物によって反射された検出光および前記検出光反射面の周囲において反射された検出光を受けて、それぞれまでの距離を取得する深度センサからの出力に基づいて、検出対象物の、前記検出領域における位置を算出する位置算出手段として機能させるためのタッチ位置検出用プログラム。
【請求項４】
請求項１〜３のいずれかの装置またはプログラムにおいて、
前記位置算出手段は、検出対象物において反射した検出光に基づく検出距離に加えて、検出対象物から反射し前記検出光反射面にてさらに反射した検出光に基づく検出距離に基づいて、検出対象物が前記検出光反射面にタッチしたと判断することを特徴とする装置またはプログラム。
【請求項５】
請求項１〜３のいずれかの装置またはプログラムにおいて、
前記検出領域の赤外画像を撮像するよう設置される赤外画像撮像部と、
前記検出距離に基づいて距離画像を生成する距離画像生成手段とをさらに備え、
前記位置算出手段は、前記赤外画像と前記距離画像における検出対象物の画像のずれに基づいて、検出対象物が前記検出光反射面にタッチしたと判断することを特徴とする装置またはプログラム。
【請求項６】
請求項１〜５のいずれかの装置またはプログラムにおいて、
前記検出光は赤外光であることを特徴とする装置またはプログラム。
【請求項７】
検出光を反射する検出光反射面を有する検出領域用部材を検出領域に配置し、
前記検出領域に向けて検出光を照射するよう検出光照射部を配置し、
前記検出光反射面によって反射された検出光が入射しない位置において、検出領域に位置する検出対象物によって反射された検出光および前記検出光反射面の周囲において反射された検出光を受けて、それぞれまでの距離を算出し、
前記算出した距離に基づいて、検出対象物の、前記検出領域における位置を算出すること、
を特徴とするタッチ位置検出方法。
【請求項８】
検出領域に配置するための、検出光を吸収する検出光吸収面を有する検出領域用部材と、
前記検出領域に向けて検出光を照射するよう設置される検出光照射部と、
検出領域に位置する検出対象物によって反射された検出光および前記検出光吸収面の周囲において反射された検出光を受けて、それぞれまでの距離を取得する深度センサと、
深度センサの出力に基づいて、検出対象物の、前記検出領域における位置を算出する位置算出手段と、
前記検出光吸収面に映像を表示するための映像表示部と、
前記位置算出手段によって算出された検出対象物の位置に応じて、映像表示部によって前記検出光吸収面に表示される映像を変化させる映像制御手段と、
を備えたインタラクティブ表示装置。
【請求項９】
検出領域に配置するための、検出光を吸収する検出光反射面を有する検出領域用部材と、
前記検出領域に向けて検出光を照射するよう設置される検出光照射部と、
検出領域に位置する検出対象物によって反射された検出光および前記検出光吸収面の周囲において反射された検出光を受けて、それぞれまでの距離を取得する深度センサと、
深度センサの出力に基づいて、検出対象物の、前記検出領域における位置を算出する位置算出手段と、
を備えたタッチ位置検出装置。
【請求項１０】
タッチ位置検出装置をコンピュータによって実現するためのプログラムであって、コンピュータを、
検出光吸収面が配置された検出領域に対して検出光を照射した際に、前記検出領域に位置する検出対象物によって反射された検出光および前記検出光吸収面の周囲において反射された検出光を受けて、それぞれまでの距離を取得する深度センサからの出力に基づいて、検出対象物の、前記検出領域における位置を算出する位置算出手段として機能させるためのタッチ位置検出用プログラム。
【請求項１１】
請求項８〜１０のいずれかの装置またはプログラムにおいて、
前記検出領域の赤外画像を撮像するよう設置される赤外画像撮像部と、
前記検出距離に基づいて距離画像を生成する距離画像生成手段とをさらに備え、
前記位置算出手段は、前記赤外画像と前記距離画像における検出対象物の画像のずれに基づいて、検出対象物が前記検出光吸収面にタッチしたと判断することを特徴とする装置またはプログラム。
【請求項１２】
請求項１〜１１の装置またはプログラムにおいて、
前記映像表示部は、プロジェクターであることを特徴とする装置またはプログラム。
【請求項１３】
請求項１〜１１の装置またはプログラムにおいて、
前記映像表示部はディスプレイであり、
前記検出領域用部材は、ディスプレイの表面に配置されることを特徴とする装置またはプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、プロジェクタなどで画像を投影しているスクリーン上で人間の指などをタッチすることで、インタラクティブに制御を行うことのできる装置に関するものである。
【背景技術】
【０００２】
画面上のオブジェクトを指などで操作することのできるタッチパネルを搭載したコンピュータが登場している。直感的な操作を行うことができるため、急速にに普及している。しかし、これを大画面にて実現しようとすると、タッチパネルのコストがかさみ、取り扱いも難しくなる。
【０００３】
そこで、プロジェクタとカメラを組み合わせ、プロジェクタで投射した画面上でのペンや指の位置をカメラで検出し、コンピュータを操作するというタッチスクリーン装置が開発されている。
【０００４】
特許文献１に開示されたタッチスクリーン装置を図１に示す。ＰＣ２には、プロジェクター１４が接続されている。プロジェクター１４は、ＰＣ２の制御により、検出領域４に向けて投射を行って画像を表示する。
【０００５】
検出領域４の上部には、検出ユニット６が設けられている。検出ユニット６には、第一検出器８、第二検出器１０が設けられている。第一検出器８は、赤外光照射器８ａ、赤外光検出器８ｂを備えている。また、検出領域４の左右端および下端には、赤外光反射器１２が設けられている。赤外光検出器８ｂは、赤外光反射器１２にて反射された赤外光を検出する。同様に、第二検出器１０は、赤外光照射器１０ａ、赤外光検出器１０ｂを備えている。
【０００６】
ここで、検出領域にペンなどの検出対象物が存在すると、赤外光検出器８ｂ、１０ｂがこれを検出する。なお、赤外光反射器１２は、赤外光が入射した方向に向かって反射するように構成されているので、赤外光検出器８ｂ、１０ｂは、検出対象物に対する角度を特定することができる。したがって、ＰＣ２は、赤外光検出器８ｂ、１０ｂの検出出力をあわせることにより、検出対象物の位置を特定する。
【０００７】
ＰＣ２は、検出された検出対象物の動きに応じて、たとえば、検出領域４の対応する位置に描画を行うよう制御する。これにより、プロジェクター１４によって、描画が行われる。
【０００８】
上記のようにして、特別なペンなどを用いることなく、インタラクティブな表示制御を行うことができる。
【０００９】
特許文献２に記載されたタッチスクリーン装置を図２に示す。プロジェクター１４は、ＰＣ２の制御により、検出領域４に向けて投射を行って画像を表示する。
【００１０】
検出領域４の上部には、検出ユニット６が設けられている。検出ユニット６には、赤外光検出器８ｂ、赤外光検出器１０ｂが設けられている。ユーザは、検出領域４において、電子ペン１６を移動させる。電子ペン１６の先には、赤外光照射器１８が設けられている。したがって、赤外光検出器８ｂ、１０ｂは、電子ペン１６に対する角度を検出することができる。ＰＣ２は、赤外光検出器８ｂ、１０ｂからの出力を受けて、電子ペン１６の位置を特定する。
【００１１】
ＰＣ２は、検出された電子ペン１６の動きに応じて、たとえば、検出領域４の対応する位置に描画を行うよう制御する。これにより、プロジェクター１４によって、描画が行われる。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開２０１１−２５３２８６
【特許文献２】特開２０１１−１２６２２５
【発明の概要】
【発明が解決しようとする課題】
【００１３】
しかしながら、特許文献１の装置では、赤外光反射器１２が必要である。このため、備え付けの赤外光反射器１２を有するタッチスクリーン装置として構成する場合には、装置の大型化を招くという問題があった。また、赤外光反射器１２をその都度設置して使用する装置として構成する場合には、これを持ち運びしなければならず、取り扱いが煩雑であるという問題があった。
【００１４】
また、特許文献２の装置では、電子ペン１６などの特殊な機器が必要である。このため、電子ペン１６を紛失した場合に、代用が容易でないという問題があった。
【００１５】
この発明は、上記のような問題点を解決して、嵩張る赤外光反射器や電子ペンのような特殊な機器を必要とせずに、インタラクティブな制御を行うことのできるタッチスクリーン装置を提供することを目的とする。
【課題を解決するための手段】
【００１６】
(1)(2)(3)この発明に係るインタラクティブ表示装置は、検出領域に配置するための、検出光を反射する検出光反射面を有する検出領域用部材と、前記検出領域に向けて検出光を照射するよう設置される検出光照射部と、前記検出光反射面によって反射された検出光が入射しない位置に設けられ、検出領域に位置する検出対象物によって反射された検出光および前記検出光反射面の周囲において反射された検出光を受けて、それぞれまでの距離を取得する深度センサと、深度センサの出力に基づいて、検出対象物の、前記検出領域における位置を算出する位置算出手段と、前記検出光反射面に映像を表示するための映像表示部と、前記位置算出手段によって算出された検出対象物の位置に応じて、映像表示部によって前記検出光反射面に表示される映像を変化させる映像制御手段とを備えている。
【００１７】
したがって、赤外光反射器や電子ペンのような特殊な機器を必要とせずに、インタラクティブな制御を行うことができる。
【００１８】
(4)この発明に係るインタラクティブ表示装置は、位置算出手段が、検出対象物において反射した検出光に基づく検出距離に加えて、検出対象物から反射し前記検出光反射面にてさらに反射した検出光に基づく検出距離に基づいて、検出対象物が前記検出光反射面にタッチしたと判断することを特徴としている。
【００１９】
したがって、検出対象物が検出光反射面に触れたことに基づいて処理を行うことができる。
【００２０】
(5)この発明に係るインタラクティブ表示装置は、検出領域の赤外画像を撮像するよう設置される赤外画像撮像部と、検出距離に基づいて距離画像を生成する距離画像生成手段とをさらに備え、位置算出手段が、前記赤外画像と前記距離画像における検出対象物の画像のずれに基づいて、検出対象物が前記検出光反射面にタッチしたと判断することを特徴としている。
【００２１】
したがって、検出対象物が検出光反射面に触れたことに基づいて処理を行うことができる。
【００２２】
(6)この発明に係るインタラクティブ表示装置は、検出光が赤外光であることを特徴としている。
【００２３】
したがって、インタラクティブ制御のための検出光を不可視とすることができる。
【００２４】
(7)この発明に係るタッチ位置検出方法は、検出光を反射する検出光反射面を有する検出領域用部材を検出領域に配置し、前記検出領域に向けて検出光を照射するよう検出光照射部を配置し、前記検出光反射面によって反射された検出光が入射しない位置において、検出領域に位置する検出対象物によって反射された検出光および前記検出光反射面の周囲において反射された検出光を受けて、それぞれまでの距離を算出し、前記算出した距離に基づいて、検出対象物の、前記検出領域における位置を算出することを特徴としている。
【００２５】
したがって、赤外光反射器や電子ペンのような特殊な機器を必要とせずに、インタラクティブな制御を行うことができる。
【００２６】
(8)(9)(10)この発明に係るインタラクティブ表示装置は、検出領域に配置するための、検出光を吸収する検出光吸収面を有する検出領域用部材と、前記検出領域に向けて検出光を照射するよう設置される検出光照射部と、検出領域に位置する検出対象物によって反射された検出光および前記検出光吸収面の周囲において反射された検出光を受けて、それぞれまでの距離を取得する深度センサと、深度センサの出力に基づいて、検出対象物の、前記検出領域における位置を算出する位置算出手段と、前記検出光吸収面に映像を表示するための映像表示部と、前記位置算出手段によって算出された検出対象物の位置に応じて、映像表示部によって前記検出光吸収面に表示される映像を変化させる映像制御手段とを備えている。
【００２７】
したがって、赤外光反射器や電子ペンのような特殊な機器を必要とせずに、インタラクティブな制御を行うことができる。
【００２８】
(11)この発明に係るインタラクティブ表示装置は、検出領域の赤外画像を撮像するよう設置される赤外画像撮像部と、検出距離に基づいて距離画像を生成する距離画像生成手段とを備え、位置算出手段が、前記赤外画像と前記距離画像における検出対象物の画像のずれに基づいて、検出対象物が前記検出光吸収面にタッチしたと判断することを特徴としている。
【００２９】
したがって、検出対象物が検出光吸収面に触れたことに基づいて処理を行うことができる。
【００３０】
(12)この発明に係るインタラクティブ表示装置は、映像表示部が、プロジェクターであることを特徴としている。
【００３１】
したがって、プロジェクターにより表示を行うことができる。
【００３２】
(13)この発明に係るインタラクティブ表示装置は、映像表示部がディスプレイであり、検出領域用部材が、ディスプレイの表面に配置されることを特徴としている。
【００３３】
したがって、透明電極などを用いなくとも、タッチパネルを実現することができる。
【００３４】
「位置算出手段」は、実施形態においては、図６のステップＳ５や、図１５のステップＳ５がこれに対応する。
【００３５】
「映像制御手段」は、実施形態においては、図６のステップＳ６や、図１５のステップＳ６がこれに対応する。
【００３６】
「プログラム」とは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソース形式のプログラム、圧縮処理がされたプログラム、暗号化されたプログラム等を含む概念である。
【図面の簡単な説明】
【００３７】
【図１】従来のインタラクティブ表示装置を示す図である。
【図２】従来のインタラクティブ表示装置を示す図である。
【図３】本発明の一実施形態によるインタラクティブ表示装置の外観を示す図である。
【図４】一実施形態によるインタラクティブ表示装置の原理を示す図である。
【図５】インタラクティブ表示装置のハードウエア構成である。
【図６】制御プログラム５６のフローチャートである。
【図７】検出領域に指が存在しない場合の距離画像の例である。
【図８】検出領域に指が存在する場合の距離画像の例である。
【図９】指が赤外光反射部材２６にタッチした場合の距離画像の例である。
【図１０】反射画像が生じる原理を示す図である。
【図１１】指の距離画像の例である。
【図１２】座標変換による位置特定の手法を示す図である。
【図１３】赤外光反射部材２６を格子状（線状）に配置した場合の例である。
【図１４】第二の実施形態による制御プログラム５６のフローチャートである。
【図１５】第二の実施形態による制御プログラム５６のフローチャートである。
【図１６】指が存在しない場合と存在する場合の距離画像の例である。
【図１７】距離画像における差分画像の例および抽出した輪郭を示す図である。
【図１８】赤外画像における輪郭を示す図である。
【図１９】距離画像の輪郭と赤外画像の輪郭とを比較するための図である。
【図２０】距離画像の輪郭先端と赤外画像の輪郭先端とを比較するための図である。
【図２１】他の実施形態による赤外光反射部材２６の例である。
【発明を実施するための形態】
【００３８】
１．第一の実施形態
1.1全体構成
図３に、この発明の一実施形態によるタッチスクリーン装置の外観を示す。ＰＣ２０には、プロジェクター２２、検出ユニット２４が接続されている。検出領域には、検出領域用部材として赤外光反射部材２６が設けられている。赤外光反射部材２６の表面は、赤外光を反射する赤外光反射面となっている。
【００３９】
赤外光反射部材２６としては、深度カメラ３０が照射する赤外光を反射すること（後述のように距離測定不能となる程度に反射する）が必要である。たとえば、赤外線を反射する積層ポリエステルフィルム（３Ｍスコッチティントガラスフィルム  マルチレイヤーナノ８０Ｓ（商標））を用いることができる。
【００４０】
プロジェクター２２は、ＰＣ２０の制御により、赤外光反射部材２６の表面に映像を投射する。
【００４１】
検出ユニット２４は、赤外光照射器２８および深度カメラ３０を備えている。深度カメラ３０は、各画素に対応する領域までの距離を出力する。図４に示すように、赤外光照射器２８から出され、検出対象物３２によって反射した赤外光を受光し、検出対象物３２までの距離を得ることができる。なお、赤外光反射部材２６においては、赤外光が反射し深度カメラ３０には戻ってこないので、距離測定が不能な領域となる。また、赤外光反射部材２６の外側では、赤外光が乱反射するため距離を得ることができる。
【００４２】
なお、検出ユニット２４は、図４に示すように、赤外光照射器２８、深度カメラ３０が、赤外光反射部材２６に対して、２０ｃｍ〜３０ｃｍ程度の高さとなるように構成されている。
【００４３】
1.2ハードウエア構成
図５に、タッチスクリーン装置のハードウエア構成を示す。ＣＰＵ４２には、メモリ４４、深度カメラ３０、ＣＤ−ＲＯＭドライブ４８、ハードディスク５０、プロジェクタ２２が接続されている。
【００４４】
ハードディスク５０には、ＷＩＮＤＯＷＳ（商標）などのオペレーティングシステム（ＯＳ）５４、制御プログラム５６が記録されている。制御プログラム５６は、ＯＳ５４と協働してその機能を発揮するものである。ＯＳ５４、制御プログラム５６は、ＣＤ−ＲＯＭ５２に記録されていたものを、ＣＤ−ＲＯＭドライブ４８を介して、ハードディスク５０にインストールしたものである。
【００４５】
1.3処理フローチャート
図６に、制御プログラム５６のフローチャートを示す。ＣＰＵ４２は、深度カメラ３０から、各画素ごとの距離データを取り込む（ステップＳ１）。この実施形態では、深度カメラの撮像範囲は、検出領域としての赤外光反射部材２６よりもやや広い範囲としている。
【００４６】
ＣＰＵ４２は、取り込んだ各画素ごとの距離データに基づいて、距離に応じて濃度差を付けた距離画像（グレースケール画像）を生成する（ステップＳ２）。図７に、このようにして生成された距離画像の例を示す。この実施形態では、距離が近いほど濃度を濃くし、距離が遠いほど濃度を薄くしている。
【００４７】
赤外光反射部材２６からは赤外光が戻ってこないため、無限遠の距離（測定不能）となり、図７の領域１００に示すように薄い色となる。また、赤外光反射部材２６の周囲では、赤外光が乱反射されるため測定を行うことができる。したがって、領域１０２に示すように、領域１００より濃い色として示されることになる。
【００４８】
以上のようにして、検出領域（つまり赤外光反射部材２６のある領域）とそれ以外の領域を画像として区別することができる。つまり、ＣＰＵ４２は、検出領域の４隅の座標（画素の位置）を特定する。
【００４９】
次に、ＣＰＵ４２は、検出領域内に検出対象物があるかどうかを判断する（ステップＳ３）。この実施形態では、赤外光を反射するものであれば検出可能であるから、人の指、棒などを検出対象物とすることができる。検出領域内に検出対象物があると、これによって赤外光が反射するため、距離データを得ることができる。
【００５０】
図８に、検出対象物としての指を検出した際の距離画像を示す。領域１０４が指を表す部分である。領域１０４においては、距離データが得られており、背景としての赤外光反射部材２６よりも濃い色にて示されることになる。
【００５１】
ＣＰＵ４２は、検出領域内において、所定濃度よりも濃い（つまり所定の距離よりも近い）画素を抽出する。たとえば、２ｍよりも近い距離データの画素を抽出する。さらにＣＰＵ４２は、所定濃度よりも濃い画素の塊の画素数を算出する。所定の画素数よりも小さい塊（たとえば、２０画素よりも小さい面積の塊）については、検出対象物でないとして除外する。このようにして、ＣＰＵ４２は、検出対象物の有無を判断する。検出対象物がないと判断した場合には、ステップＳ１に戻って処理を進める。
【００５２】
検出対象物があると判断した場合には、当該検出対象物が赤外光反射部材２６にタッチしているかどうかを判断する（ステップＳ４）。図８に検出対象物である指が赤外光反射部材２６に触れていない場合の距離画像を、図９に指が赤外光反射部材２６に触れている場合の距離画像を示す。
【００５３】
図９に示すように、指が赤外光反射部材２６に触れている場合には、反射画像１０６が現れる。これは、図１０に示すように、軌跡αのように指２７にて直接的に反射する場合だけでなく、軌跡βのように赤外反射部材２６、指２７にて反射した赤外光が検出されるためである。ＣＰＵ４２は、このような反射画像１０６の有無により、指２７が赤外光反射部材２６に触れているかどうかを判断する。
【００５４】
ＣＰＵ４２による判断の詳細は以下のとおりである。まず、検出対象物の外形を抽出する。図８の画像に対しては、図１１Ａのように輪郭が抽出される。図９の画像に対しては、図１１Ｂのように輪郭が抽出される。
【００５５】
続いて、ＣＰＵ４２は、検出対象物の幅に対して長さが２倍以上の領域１０８を見いだす。次に、この領域１０８に連続する突出部（小さい幅で接続され、当該接続部よりも大きな幅を有する部分）があるかどうかを判断する。あれば、これを反射画像１０６として認識する。ＣＰＵ４２は、反射画像１０６の面積を算出し、所定の値以上であれば、検出対象物が赤外光反射部材２６にタッチしたと判断する。
【００５６】
したがって、図８（図１１Ａ）においては反射画像１０６が見られないので、ＣＰＵ４２は、検出対象物である指が赤外光反射部材２６にタッチしていないと判断する。また、図９（図１１Ｂ）においては反射画像１０６が見られるので、ＣＰＵ４２は、検出対象物である指が赤外光反射部材２６にタッチしていると判断する。
【００５７】
ＣＰＵ４２は、検出対象物がタッチしたことを検出すると、タッチ位置を算出する（ステップＳ５）。この実施形態では、次のようにしてタッチ位置の算出を行っている。
【００５８】
まず、検出対象物のない距離画像（図７参照）に基づいて、赤外光反射部材２６（つまり検出領域）の４隅の、画像上における座標を取得する。この処理は、使用のための前処理として行っておくことが好ましい。
【００５９】
図１１Ｂにおいて、指の先端部１２２の距離画像上での座標を取得する。次に、予め記録しておいた赤外光反射部材２６の縦横の大きさに基づいて、画面上の座標と、赤外光反射部材２６上の位置との対応関係をつけ、前記先端部１２２の座標を、赤外光反射部材２６上の位置に変換する。
【００６０】
たとえば、赤外光反射部材２６の４隅の画像上における座標が、図１２Ａに示すように、（Ｘ1、Ｙ1）（Ｘ2、Ｙ2）（Ｘ3、Ｙ3）（Ｘ4、Ｙ4）であり、画像上でのタッチ位置が（Ｘa、Ｙa）であったとする。これを、図１２Ｂに示す、赤外光反射部材２６上の座標Ｘb、Ｙb（左上を０、０、右下をＬy、Ｌxとする座標）に変換するものとする。この場合、図１２の下部に示すような変換式を用いることができる。以上のようにして、タッチ位置を算出する。
【００６１】
次に、ＣＰＵ４２は、動作モードに応じて、これに対応する処理を行う（ステップＳ６）。たとえば、描画モードであれば、検出対象物の移動に応じて描画を行う。ＣＰＵ４２は、このような処理を繰り返して行う。
【００６２】
以上のように、この実施形態においては、特殊なペンや反射部材などを用いることなく、検出対象物の位置を検出してこれに応じた処理を行うことができる。
【００６３】
1.4その他の実施形態
(1)上記実施形態では、検出領域の全面にわたって赤外光反射部材２６を設けている。しかし、図１３Ａに示すように、赤外光反射部材２６を検出領域において格子状に設けるようにしてもよい。検出対象物が触れると、図１３Ｂに示すように、距離画像において格子が歪むことになる。このような歪んだ位置をタッチ位置として検出するようにしてもよい。
【００６４】
(2)上記実施形態では、深度センサとして深度カメラ３０を用いている。一般に、深度カメラ３０においては、赤外画像も出力できるようになっていることが多い。ただし、この実施形態では、赤外画像は利用していないので、赤外画像は出力せず、深度を出力するセンサを用いてもよい。
【００６５】
２．第二の実施形態
2.1全体構成およびハードウエア構成
全体構成およびハードウエア構成は、第一の実施形態と同様である。ただし、この実施形態では、深度カメラの赤外画像も用いる点が、第一の実施形態とは異なっている。
【００６６】
2.2処理フローチャート
制御プログラム５６の処理フローチャートを図１４、図１５に示す。ステップＳ１〜Ｓ３は、図６と同様である。なお、この実施形態では、予め検出対象物の存在しない距離画面を基準距離画像として保存しておき、計測時の距離画像と基準距離画像との差分画像に基づいて、検出対象物の有無を判断している。図１６Ａに基準距離画像を、図１６Ｂに計測時の距離画像を示す。その差分画像は、図１７Ａに示すとおりである。所定面積以上の塊の差分画像が現れれば、検出対象物があると判断する。
【００６７】
検出対象物があると判断すると、ＣＰＵ４２は、距離画像において、検出対象物の外形を抽出する（ステップＳ１４）。抽出した外形を図１７Ｂに示す。
【００６８】
次に、ＣＰＵ４２は、深度カメラ３０から赤外画像を取り込む（ステップＳ１５）。続いて、ＣＰＵ４２は、距離画像における検出対象物の外形に基づいて、赤外画像における、検出対象物の外形を抽出する（ステップＳ１６）。この実施形態では、距離画像も赤外画像も同じ範囲を撮像し、同じ画素数としているので、距離画像における検出対象物の外形を参照することで、容易に、赤外画像における検出対象物の外形を抽出することができる。
【００６９】
このようにして抽出した赤外画像における検出対象物の外形を、図１８に示す。図１７Ｂと図１８の外形を比較すれば明らかなように、両者はほぼ一致している。検出対象物が赤外光反射部材２６にタッチしていない場合には、このように両者の外形は一致する。したがって、ＣＰＵ４２は、距離画像における外形と赤外画像における外形の、検出対象物の先端部長さの差が所定値未満であれば、検出対象物が赤外光反射部材２６にタッチしていないと判断する（ステップＳ１７）。
【００７０】
一方、図１９Ａの距離画像、図１９Ｂの赤外画像に示すように、検出対象物が赤外光反射部材２６にタッチしている場合には、それぞれの検出対象物の外形の先端長さが異なる。これは、検出対象物が赤外光反射部材２６にタッチすると（あるいは極めて近接すると）、検出対象物の影（映り込み）も画像として検出することになる。この際、赤外画像の方が映り込みが鮮明であって大きく、距離画像の方が映り込みが小さくなる。このようなことから、検出対象物が赤外光反射部材２６にタッチすると、外形の先端長さが異なることになる。
【００７１】
したがって、ＣＰＵ４２は、図２０に示すように、距離画像における外形の最下端（先端部）８２と、赤外画像における外形の最下端（先端部）８４との差Ｑが、所定の長さ（実長さ換算で５〜１０ｃｍ程度）を超えた場合には、検出対象物が赤外光反射部材２６にタッチしたと判断する（ステップＳ１７）。
【００７２】
続いて、ＣＰＵ４２はタッチ位置の算出を行う（ステップＳ５）。この処理は、距離画像における外形の最下端８２の座標を算出することにより行う。算出方法は、第一の実施形態と同様である。
【００７３】
タッチ位置の算出が終わると、ＣＰＵ４２は、第一の実施形態と同様に、タッチ位置に基づく処理を行う（ステップＳ６）。
【００７４】
2.3その他の実施形態
(1)上記各実施形態では、検出領域に赤外光反射部材２６を設置している。しかし、代わりに、赤外光吸収部材を用いるようにしてもよい。
【００７５】
(2)上記各実施形態では、検出ユニット２４をプロジェクター１４とは異なる位置に配置している。しかし、プロジェクター１４に深度カメラ２４を設置するようにしてもよい。あるいは、検出ユニット２４をプロジェクター１４に一体化するようにしてもよい。
【００７６】
(3)上記各実施形態では、赤外光と赤外光反射部材２６を用いている。しかし、これに代えて、超音波と超音波反射部材（吸収部材）、紫外光と紫外光反射部材（吸収部材）、電磁波と電磁波反射部材（吸収部材）などを用いてもよい。
【００７７】
(4)上記各実施形態では、映像表示部としてプロジェクターを用いている。しかし、ディスプレイを用いてもよい。この場合、透明電極などを用いることなくタッチパネルを実現することができる。
【００７８】
(5)上記各実施形態では、検出対象物として指を例として説明した。しかし、通常の筆記具、差し棒など赤外光を反射図するものであれば、検出対象物として用いることができる。
【００７９】
(6)上記各実施形態における装置は、予め完成された装置として構築してもよいし、深度カメラと赤外光反射部材を持ち運び、机や壁などに赤外光反射部材２６を置くことで装置として構築するようにしてもよい。
【００８０】
(7)上記各実施形態では、赤外光反射部材２６に検出対象物がタッチしたことを検出して処理を行っている。しかし、検出対象物を検出すれば、タッチの有無に関係なく処理を行うようにしてもよい。
【００８１】
(8)なお、上記実施形態では、赤外光を通常どおり反射する赤外光反射部材を用いている。しかし、図２１に示すように赤外光を入射方向に反射する構造を持つ赤外光反射部３００に、ある程度赤外光を反射する透明フィルム３１０を重ねたものを、赤外光反射部材２６として用いてもよい。赤外光反射部３００は、赤外光を入射方向に反射するので、赤外光照射器２８から出た赤外光は、赤外光反射器２８の元に戻ってくる。このため、検出対象物が無い状態では、赤外光照射器２８と離れた位置にある深度カメラ３０において赤外光は検出されず、距離測定は不能となる。検出対象物があれば、これによって反射された赤外光が検出され距離測定データが得られる。
【図５】
2013206373.tif 000003
【図６】
2013206373.tif 000004
【図１０】
2013206373.tif 000005
【図１１】
2013206373.tif 000006
【図１２】
2013206373.tif 000007
【図１４】
2013206373.tif 000008
【図１５】
2013206373.tif 000009
【図２１】
2013206373.tif 000010
【図１】
2013206373.tif 000011
【図２】
2013206373.tif 000012
【図３】
2013206373.tif 000013
【図４】
2013206373.tif 000014
【図７】
2013206373.tif 000015
【図８】
2013206373.tif 000016
【図９】
2013206373.tif 000017
【図１３】
2013206373.tif 000018
【図１６】
2013206373.tif 000019
【図１７】
2013206373.tif 000020
【図１８】
2013206373.tif 000021
【図１９】
2013206373.tif 000022
【図２０】
2013206373.tif 000023