(57)【要約】【課題】検出された指示物体と指示物体以外の物体とを確実に判別することが可能な画像表示装置を提供する。【解決手段】この画像表示装置１００は、投影画像近傍の指示物体６１および非指示物体６３により反射された光を検出する光検出部３０と、光検出部３０により検出された検出強度に基づいて、第１しきい値よりも大きい強度が検出された第１領域７１と、第１しきい値よりも小さい第２しきい値よりも大きい強度が検出された第２領域７２とを含む検出画像７０を取得する座標検出部４０とを備える。そして、座標検出部４０は、検出画像７０における第１領域７１と第２領域７２との重なり状態に基づいて、光検出部３０により指示物体６１と非指示物体６３とのいずれが検出されたかを判別する制御を行うように構成されている。【選択図】図１
2015125705.tif 000002
【特許請求の範囲】
【請求項１】
投影画像近傍の指示物体および指示物体以外の物体により反射された光を検出する光検出部と、
前記光検出部により検出された検出強度に基づいて、第１しきい値よりも大きい強度が検出された第１領域と、前記第１しきい値よりも小さい第２しきい値よりも大きい強度が検出された第２領域とを含む検出画像を取得する制御部とを備え、
前記制御部は、前記検出画像における前記第１領域と前記第２領域との重なり状態に基づいて、前記光検出部により前記指示物体と前記指示物体以外の物体とのいずれが検出されたかを判別する制御を行うように構成されている、画像表示装置。
【請求項２】
前記制御部は、前記検出画像における前記第１領域と前記第２領域との重なり状態に基づいて、前記第１領域の大きさと前記第２領域の大きさとの差、または、前記第１領域の大きさに対する前記第２領域の大きさの比を取得するとともに、取得した前記第１領域の大きさと前記第２領域の大きさとの差が第１の値以下である場合、または、前記第１領域の大きさに対する前記第２領域の大きさの比が第２の値以下である場合には、前記光検出部により前記指示物体が検出されたと判別する制御を行うように構成されている、請求項１に記載の画像表示装置。
【請求項３】
前記制御部は、前記光検出部により前記指示物体が検出されたと判別した場合には、検出された前記指示物体に対応する前記第１領域に基づいて、前記指示物体による指示位置を取得する制御を行うように構成されている、請求項１または２に記載の画像表示装置。
【請求項４】
前記制御部は、取得した前記第１領域の大きさが所定の大きさよりも大きい場合には、前記第１領域と前記第２領域との重なり状態に関わらず、前記光検出部により前記指示物体以外の物体が検出されたと判別する制御を行うように構成されている、請求項１〜３のいずれか１項に記載の画像表示装置。
【請求項５】
前記指示物体は、ユーザの指であり、
前記制御部は、前記光検出部により前記指示物体としての前記ユーザの指が検出されたと判別した場合には、検出された前記ユーザの指に対応する前記第１領域と前記第２領域とに基づいて、前記第１領域から前記第１領域と重ならない前記第２領域の延びる方向に向かう手のひらの方向を取得するように構成されている、請求項１〜４のいずれか１項に記載の画像表示装置。
【請求項６】
前記制御部は、第１ユーザの指に対応する第１手のひらの方向と、前記第１ユーザの指とは異なる第２ユーザの指に対応する第２手のひらの方向とを取得するとともに、前記第１手のひらの方向と前記第２手のひらの方向とが互いに集まる方向である場合には、前記第１ユーザの指と前記第２ユーザの指とが同一の手によるものであると判別する制御を行うように構成されている、請求項５に記載の画像表示装置。
【請求項７】
前記制御部は、第１ユーザの指に対応する第１手のひらの方向と、前記第１ユーザの指とは異なる第２ユーザの指に対応する第２手のひらの方向とを取得するとともに、前記第１手のひらの方向と前記第２手のひらの方向とが互いに発散する方向である場合には、前記第１ユーザの指と前記第２ユーザの指とが異なる手によるものであると判別する制御を行うように構成されている、請求項５または６に記載の画像表示装置。
【請求項８】
前記投影画像を投影する投影部と、
前記投影部により前記投影画像が投影される表示部とをさらに備え、
前記光検出部は、前記投影部により前記表示部に照射され、前記指示物体および前記指示物体以外の物体により反射された光を検出するように構成されている、請求項１〜７のいずれか１項に記載の画像表示装置。
【請求項９】
前記投影画像に対応する光学像を空中に結像可能に構成されており、
前記投影画像を形成する光が一方の面側から照射されるとともに、他方の面側の空中に前記投影画像に対応する前記光学像を結像させるための光学像結像部材と、
前記光学像に検出用の光を照射する検出用光源部とをさらに備え、
前記光検出部は、前記検出用光源部により前記光学像に照射され、前記指示物体および前記指示物体以外の物体により反射された光を検出するように構成されている、請求項１〜７のいずれか１項に記載の画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像表示装置に関し、特に、指示物体により反射された光を検出する光検出部を備える画像表示装置に関する。
【背景技術】
【０００２】
従来、指示物体により反射された光を検出する光検出部を備える画像表示装置が知られている（たとえば、特許文献１参照）。
【０００３】
上記特許文献１には、投影面に画像を投影する投影ユニットと、投影面に対して参照光を照射する参照光照射ユニットと、投影面に投影された画像の一部を指し示す物体（指示物体）によって反射された参照光を撮像する撮像部（光検出部）とを備えるプロジェクタ（画像表示装置）が開示されている。上記特許文献１に記載のプロジェクタでは、投影面の画像が投影される前面とは反対側の背面において画像の一部をユーザの指などの物体が指示した場合には、参照光が投影面の前面側に反射されて、ユーザの指などの物体が指示した位置を撮像部により検出可能に構成されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−１２０５８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１に記載のプロジェクタでは、ユーザが指示のための指以外の指を握り込んだ状態で投影面の画像を指示する場合には、指示のための指以外の指についても投影面に接近するため、指示のための指と、指示のための指以外の指との両方が検出されてしまう場合があると考えられる。この場合には、いずれの検出結果がユーザの意図した指示のための指によるものかを判別することができないという問題点がある。
【０００６】
この発明は、上記のような課題を解決するためになされたものであり、この発明の１つの目的は、検出された指示物体と指示物体以外の物体とを確実に判別することが可能な画像表示装置を提供することである。
【課題を解決するための手段】
【０００７】
この発明の一の局面による画像表示装置は、投影画像近傍の指示物体および指示物体以外の物体により反射された光を検出する光検出部と、光検出部により検出された検出強度に基づいて、第１しきい値よりも大きい強度が検出された第１領域と、第１しきい値よりも小さい第２しきい値よりも大きい強度が検出された第２領域とを含む検出画像を取得する制御部とを備え、制御部は、検出画像における第１領域と第２領域との重なり状態に基づいて、光検出部により指示物体と指示物体以外の物体とのいずれが検出されたかを判別する制御を行うように構成されている。
【０００８】
この発明の一の局面による画像表示装置では、上記のように、光検出部により検出された検出強度に基づいて、第１しきい値よりも大きい強度が検出された第１領域と、第１しきい値よりも小さい第２しきい値よりも大きい強度が検出された第２領域とを含む検出画像を取得する制御部を設けることによって、指示物体からは、指示物体の大きさに対応する第１領域と第２領域とを得ることができるとともに、指示物体以外の物体からは、指示物体以外の物体の大きさに対応する第１領域と第２領域とを得ることができる。そして、検出画像における第１領域と第２領域との重なり状態に基づいて、光検出部により指示物体と指示物体以外の物体とのいずれが検出されたかを判別する制御を制御部により行うことによって、指示物体における第１領域と第２領域との重なり状態と、指示物体以外の物体における第１領域と第２領域との重なり状態とが異なることを利用して、指示物体と指示物体以外の物体とを確実に判別することができる。したがって、たとえば、指示物体による指示位置を制御部により取得する際に、指示物体による指示位置の検出精度を向上することができる。これにより、指示位置の検出精度の低下に起因する誤作動を防止することができる。
【０００９】
上記一の局面による画像表示装置において、好ましくは、制御部は、検出画像における第１領域と第２領域との重なり状態に基づいて、第１領域の大きさと第２領域の大きさとの差、または、第１領域の大きさに対する第２領域の大きさの比を取得するとともに、取得した第１領域の大きさと第２領域の大きさとの差が第１の値以下である場合、または、第１領域の大きさに対する第２領域の大きさの比が第２の値以下である場合には、光検出部により指示物体が検出されたと判別する制御を行うように構成されている。このように構成すれば、ユーザの握り込んだ指などの指示物体以外の物体では、得られる第１領域の大きさと第２領域の大きさとが大きく異なるとともに、ユーザの指などの指示物体では、得られる第１領域の大きさと第２領域の大きさとが大きくは異ならない（第１領域の大きさと第２領域の大きさとの差が第１の値以下である、または、第１領域の大きさに対する第２領域の大きさの比が第２の値以下である）ことを利用して、指示物体を確実に認識することができる。これにより、ユーザの意図する操作を確実に実行することができる。
【００１０】
上記一の局面による画像表示装置において、好ましくは、制御部は、光検出部により指示物体が検出されたと判別した場合には、検出された指示物体に対応する第１領域に基づいて、指示物体による指示位置を取得する制御を行うように構成されている。このように構成すれば、指示物体によるユーザの意図した指示位置を確実に検出することができるので、投影画像のアイコンに対してクリックやドラッグなどの操作を行う場合に、ユーザの意図するアイコンへの操作を適切に実行することができる。
【００１１】
上記一の局面による画像表示装置において、好ましくは、制御部は、取得した第１領域の大きさが所定の大きさよりも大きい場合には、第１領域と第２領域との重なり状態に関わらず、光検出部により指示物体以外の物体が検出されたと判別する制御を行うように構成されている。このように構成すれば、ユーザの指などの指示物体により得られる第１領域の大きさよりも著しく大きい第１領域が得られた場合（第１領域の大きさが所定の大きさよりも大きい場合）には、光検出部により指示物体以外の物体が検出されたと判別することによって、指示物体と指示物体以外の物体とを確実に判別することができる。
【００１２】
上記一の局面による画像表示装置において、好ましくは、指示物体は、ユーザの指であり、制御部は、光検出部により指示物体としてのユーザの指が検出されたと判別した場合には、検出されたユーザの指に対応する第１領域と第２領域とに基づいて、第１領域から第１領域と重ならない第２領域の延びる方向に向かう手のひらの方向を取得するように構成されている。このように構成すれば、たとえば、指示物体として複数の指が検出された場合に、複数の指に対応する手のひらの方向を照合することにより、複数の指が同一の手によるものであるか、異なる手によるものであるかを判別することができる。したがって、同一の手によるものである場合と、異なる手によるものである場合とに応じて、複数の指による画像の操作を適切に実行することができる。
【００１３】
この場合、好ましくは、制御部は、第１ユーザの指に対応する第１手のひらの方向と、第１ユーザの指とは異なる第２ユーザの指に対応する第２手のひらの方向とを取得するとともに、第１手のひらの方向と第２手のひらの方向とが互いに集まる方向である場合には、第１ユーザの指と第２ユーザの指とが同一の手によるものであると判別する制御を行うように構成されている。このように構成すれば、手のひらの方向が互いに集まる方向である指同士は、同一の手によるものであることを利用して、容易に第１ユーザの指と第２ユーザの指とが同一の手によるものであることを判別することができる。そして、同一の手によるものであると判別された第１ユーザの指による操作と第２ユーザの指による操作とに基づいて、たとえば、画像を縮小させるピンチイン操作や、拡大させるピンチアウト操作などの同一の手により行われる特有の操作を確実に実行することができる。
【００１４】
上記制御部により手のひらの方向が取得される構成において、好ましくは、制御部は、第１ユーザの指に対応する第１手のひらの方向と、第１ユーザの指とは異なる第２ユーザの指に対応する第２手のひらの方向とを取得するとともに、第１手のひらの方向と第２手のひらの方向とが互いに発散する方向である場合には、第１ユーザの指と第２ユーザの指とが異なる手によるものであると判別する制御を行うように構成されている。このように構成すれば、複数のユーザにより１つの画像を操作する場合や、同一のユーザの異なる手により１つの画像を操作する場合などに、手のひらの方向が互いに発散する方向である指同士は、異なる手によるものであることを利用して、容易に第１ユーザの指と第２ユーザの指とが異なる手によるものであると判別することができる。その結果、ユーザの意図した操作を確実に実行することができる。
【００１５】
上記一の局面による画像表示装置において、好ましくは、投影画像を投影する投影部と、投影部により投影画像が投影される表示部とをさらに備え、光検出部は、投影部により表示部に照射され、指示物体および指示物体以外の物体により反射された光を検出するように構成されている。このように構成すれば、投影部により表示部に照射された光を光検出部により検出することができるので、操作用の投影画像を投影する投影部とは別個に検出用の光を照射するための投影部を設ける必要がない。したがって、画像表示装置の部品点数が増加することを抑制することができる。
【００１６】
上記一の局面による画像表示装置において、好ましくは、投影画像に対応する光学像を空中に結像可能に構成されており、投影画像を形成する光が一方の面側から照射されるとともに、他方の面側の空中に投影画像に対応する光学像を結像させるための光学像結像部材と、光学像に検出用の光を照射する検出用光源部とをさらに備え、光検出部は、検出用光源部により光学像に照射され、指示物体および指示物体以外の物体により反射された光を検出するように構成されている。このように構成すれば、投影画像が物理的実態を有する表示部に投影される場合と異なり、物理的実態を有しない光学像をユーザが操作することができるので、表示部にユーザの指の指紋（油分）などが付着することがない。したがって、投影画像が見づらくなることを抑制することができる。また、物理的実態を有しない光学像を操作する場合には、ユーザの指などの指示物体と光学像とが一部分で重なるほど接近する場合があると考えられる。このような場合に、光検出部により検出された指示物体と指示物体以外の物体とを判別することができることは、実用上非常に効果的である。
【発明の効果】
【００１７】
本発明によれば、上記のように、検出された指示物体と指示物体以外の物体とを確実に判別することが可能な画像表示装置を提供することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の第１実施形態による画像表示装置の全体構成を示す図である。
【図２】本発明の第１実施形態による画像表示装置の投影部のブロック図である。
【図３】本発明の第１実施形態による画像表示装置の座標検出部のブロック図である。
【図４】本発明の第１実施形態による画像表示装置のユーザによる画像の操作状態を説明するための図である。
【図５】本発明の第１実施形態による画像表示装置の検出画像を説明するための図である。
【図６】本発明の第１実施形態による画像表示装置の検出強度としきい値との関係を説明するための図である。
【図７】本発明の第１実施形態による画像表示装置の第１領域が大きい場合の検出画像を説明するための図である。
【図８】本発明の第１実施形態による画像表示装置の指先検出処理を説明するためのフローチャートである。
【図９】本発明の第１実施形態による画像表示装置の反射物検出処理を説明するためのフローチャートである。
【図１０】本発明の第１実施形態による画像表示装置の指先判別処理を説明するためのフローチャートである。
【図１１】本発明の第２実施形態による画像表示装置のユーザによる画像の操作状態を説明するための図である。
【図１２】本発明の第２実施形態による画像表示装置の検出画像を説明するための図である。
【図１３】本発明の第２実施形態による画像表示装置の指先検出処理を説明するためのフローチャートである。
【図１４】本発明の第３実施形態による画像表示装置のユーザによる画像の操作状態を説明するための図である。
【図１５】本発明の第３実施形態による画像表示装置の検出画像を説明するための図である。
【図１６】本発明の第３実施形態による画像表示装置の手判別処理を説明するためのフローチャートである。
【図１７】本発明の第４実施形態による画像表示装置の全体構成を示す図である。
【図１８】本発明の第４実施形態による画像表示装置のユーザによる画像の操作状態を説明するための図である。
【図１９】本発明の第１〜第４実施形態の変形例による画像表示装置を説明するための図である。
【発明を実施するための形態】
【００１９】
以下、本発明を具体化した実施形態を図面に基づいて説明する。
【００２０】
（第１実施形態）
図１〜図１０を参照して、本発明の第１実施形態による画像表示装置１００の構成について説明する。
【００２１】
本発明の第１実施形態による画像表示装置１００は、図１に示すように、図示しない投影画像が投影される表示部１０と、レーザ光により形成される投影画像を表示部１０に投影する投影部２０と、投影画像として表示部１０に照射され、ユーザの指などにより反射された反射光としてのレーザ光を検出する光検出部３０と、光検出部３０により検出された反射光の検出強度に基づいて、ユーザによる表示部１０上の指示位置を表示部１０上の座標として算出する座標検出部４０と、表示部１０に投影される投影画像を含む映像信号を投影部２０に出力する画像処理部５０とを備えている。また、画像表示装置１００は、投影部２０が表示部１０の裏面側（Ｚ２方向側）から表面側（Ｚ１方向側）に向かって投影画像を投影するリアプロジェクション方式のプロジェクタである。なお、座標検出部４０は、本発明の「制御部」の一例である。
【００２２】
図１では、ユーザの手６０が投影画像を操作するために表示部１０に接近した状態で、ユーザの意図する指示位置を指す指示物体６１（図１ではユーザの人差し指）と、ユーザの意図しない指示位置を指す非指示物体６２（図１ではユーザの親指）との両方によりレーザ光が反射された場合を示している。この場合、画像表示装置１００は、光検出部３０により指示物体６１と非指示物体６２とを検出するとともに、検出結果に基づいて、座標検出部４０により指示物体６１と非指示物体６２とを判別するように構成されている。そして、画像表示装置１００は、指示物体６１の検出結果に基づいて得られた座標情報を含む座標信号を座標検出部４０から画像処理部５０に出力するとともに、ユーザの操作に対応して変化した画像を含む映像信号を画像処理部５０から投影部２０に出力するように構成されている。これにより、ユーザは意図した操作を確実に実行することができる。この指示物体と非指示物体とを判別する処理の詳細については、各構成要素の説明の後、説明する。なお、非指示物体６２としてのユーザの親指は、本発明の「指示物体以外の物体」の一例である。
【００２３】
まず、図１〜図３を参照して、画像表示装置１００の各構成要素について説明する。
【００２４】
表示部１０は、図１に示すように、曲面状の投影面を有するとともに、曲面状の投影面に対して投影部２０により投影画像が投影されるように構成されている。表示部１０に投影される投影画像としては、たとえば、図示しないＰＣなど外部機器の画面に表示されている表示画像などが挙げられる。この画像表示装置１００は、ＰＣなど外部機器の画面に表示されている表示画像などが表示部１０に投影されて、ユーザが表示部１０上の画像をタッチすることにより画像の操作を行うことが可能に構成されている。
【００２５】
投影部２０は、図２に示すように、３つ（青（Ｂ）、緑（Ｇ）、赤（Ｒ））のレーザ光源２１（２１ａ、２１ｂおよび２１ｃ）と、２つのビームスプリッタ２２（２２ａおよび２２ｂ）と、レンズ２３と、レーザ光走査部２４と、映像処理部２５と、光源制御部２６と、ＬＤ(レーザダイオード)ドライバ２７と、ミラー制御部２８と、ミラードライバ２９とを含んでいる。また、投影部２０は、映像処理部２５に入力された映像信号に基づいて、レーザ光走査部２４によりレーザ光を表示部１０に走査するように構成されている。
【００２６】
レーザ光源２１ａは、青色のレーザ光をビームスプリッタ２２ａおよびレンズ２３を通過させてレーザ光走査部２４に照射するように構成されている。レーザ光源２１ｂおよび２１ｃは、それぞれ、緑色のレーザ光および赤色のレーザ光をビームスプリッタ２２ｂ、２２ａおよびレンズ２３を通過させてレーザ光走査部２４に照射するように構成されている。
【００２７】
レーザ光走査部２４は、ＭＥＭＳ（Ｍｉｃｒｏ  Ｅｌｅｃｔｒｏ  Ｍｅｃｈａｎｉｃａｌ  Ｓｙｓｔｅｍ）ミラーにより構成されている。また、レーザ光走査部２４は、レーザ光源２１から照射されたレーザ光をＭＥＭＳミラーにより反射させて、レーザ光を走査するように構成されている。
【００２８】
映像処理部２５は、画像処理部５０（図１参照）から入力される映像信号に基づいて、映像の投影を制御するように構成されている。具体的には、映像処理部２５は、画像処理部５０から入力される映像信号に基づいて、ミラー制御部２８を介して、レーザ光走査部２４の駆動を制御するとともに、光源制御部２６を介して、レーザ光源２１ａ〜２１ｃによるレーザ光の照射を制御するように構成されている。
【００２９】
光源制御部２６は、映像処理部２５による制御に基づいて、ＬＤドライバ２７を制御して、レーザ光源２１ａ〜２１ｃによるレーザ光の照射を制御するように構成されている。具体的には、光源制御部２６は、レーザ光走査部２４が走査するタイミングに合せて投影画像の各画素に対応する色のレーザ光をレーザ光源２１ａ〜２１ｃから照射させる制御を行うように構成されている。
【００３０】
ミラー制御部２８は、映像処理部２５による制御に基づいて、ミラードライバ２９を制御して、レーザ光走査部２４の駆動を制御するように構成されている。
【００３１】
光検出部３０は、図１に示すように、投影部２０により表示部１０に投影される投影画像を形成するレーザ光がユーザの指などにより反射された反射光を検出するように構成されている。つまり、投影部２０により照射される投影画像を形成するレーザ光は、光検出部３０により検出される検出用のレーザ光を兼ねている。また、光検出部３０は、検出した反射光の検出強度に応じた検出信号を座標検出部４０に出力するように構成されている。
【００３２】
座標検出部４０は、図３に示すように、Ａ／Ｄコンバータ４１と、２つの２値化部４２（４２ａおよび４２ｂ）と、２つのしきい値ＭＡＰ４３（第１しきい値ＭＡＰ４３ａおよび第２しきい値ＭＡＰ４３ｂ）と、２つの一体化処理部４４（４４ａおよび４４ｂ）と、座標生成部４５と、２つの座標／大きさ生成部４６（４６ａおよび４６ｂ）と、重なり判定部４７と、有効座標出力部４８とを含んでいる。
【００３３】
また、座標検出部４０は、光検出部３０（図１参照）により検出された反射光の検出強度と反射光の検出タイミングとに基づいて、表示部１０（図１参照）上で検出された検出対象物（指示物体６１、非指示物体６２および６３（後述する）を含むユーザの手６０）に対応する検出画像７０（図５参照）を生成するように構成されている。具体的には、座標検出部４０は、第１しきい値よりも大きい検出強度が検出された後述する第１領域７１（図５参照）と、第１しきい値よりも小さい第２しきい値よりも大きい検出強度が検出された後述する第２領域７２（図５参照）とを含む検出画像７０を生成するように構成されている。この検出画像７０については、図５の説明の際に、詳しく説明する。ここで、第１しきい値および第２しきい値とは、検出対象物と表示部１０との接近の度合いを判定するためのしきい値である。詳細には、第１しきい値は、検出対象物と表示部１０とが接触するほど接近している第１高さＨ１よりも内側（表示部１０側）の接触判定領域Ｒ１（図１参照）に検出対象物があるか否かを判定するためのしきい値であり、第２しきい値は、検出対象物と表示部１０とが十分に接近している第２高さＨ２よりも内側の接触判定領域Ｒ１および接近判定領域Ｒ２（図１参照）に検出対象物があるか否かを判定するためのしきい値である。なお、第１しきい値以下で、第２しきい値よりも大きな検出強度が得られた場合には、接近判定領域Ｒ２に検出対象物があると判定することが可能である。
【００３４】
Ａ／Ｄコンバータ４１は、光検出部３０により検出された反射光の検出強度に応じた検出信号が入力されるとともに、入力された検出信号をアナログ信号からデジタル信号に変換するように構成されている。
【００３５】
２つの２値化部４２ａおよび４２ｂは、各々、Ａ／Ｄコンバータ４１によりデジタル信号に変換された検出信号が入力されるように構成されている。具体的には、２値化部４２ａは、入力された検出信号と第１しきい値とを比較して、検出信号が第１しきい値よりも大きい場合には、デジタル信号を１として出力するとともに、第１しきい値以下の場合には、デジタル信号を０として出力する２値化処理を行うように構成されている。また、２値化部４２ｂは、入力された検出信号と第２しきい値とを比較して、検出信号が第２しきい値よりも大きい場合には、デジタル信号を１として出力するとともに、第２しきい値以下の場合には、デジタル信号を０として出力する２値化処理を行うように構成されている。これにより、検出処理が第１しきい値および第２しきい値による２値化で事足りるので、検出データ量が大きくなることを抑制することができる。
【００３６】
第１しきい値ＭＡＰ４３ａおよび第２しきい値ＭＡＰ４３ｂは、表示部１０上の位置（座標）に応じて異ならせた第１しきい値および第２しきい値を、各々、２値化部４２ａおよび４２ｂに対して提供可能に構成されている。具体的には、第１しきい値ＭＡＰ４３ａおよび第２しきい値ＭＡＰ４３ｂは、光検出部３０と表示部１０上の各々の位置（座標）との距離に応じて異ならせた第１しきい値および第２しきい値を、各々、２値化部４２ａおよび４２ｂに対して提供可能に構成されている。これにより、光検出部３０と表示部１０上の各々の位置（座標）との距離によらず、表示部１０上のいずれの位置（座標）から得られた検出信号であっても、検出対象物（指示物体６１、非指示物体６２および６３（後述する）を含むユーザの手６０）が接触判定領域Ｒ１、接近判定領域Ｒ２またはそれ以外の領域にあるかを正確に判定することができる。
【００３７】
一体化処理部４４ａおよび４４ｂは、各々、２値化部４２ａおよび４２ｂにより２値化された検出信号に基づいて、後述する検出画像７０（図５参照）を生成するように構成されている。具体的には、一体化処理部４４ａは、第１しきい値よりも大きい検出信号の表示部１０上の各々の検出位置（座標）が所定の範囲内である場合には、同一の物体により得られた検出信号であると認識するように構成されている。すなわち、一体化処理部４４ａでは、同一の物体により得られた検出信号であると認識された各々の検出位置（座標）に対応する画素により形成される第１領域７１（図５参照）が生成される。また、一体化処理部４４ｂについても同様に、第２しきい値よりも大きい検出信号の表示部１０上の検出位置（座標）が所定の範囲内である場合には、同一の物体により得られた検出信号であると認識するとともに、各々の検出位置に対応する画素により形成される第２領域７２（図５参照）が生成される。
【００３８】
座標生成部４５は、投影部２０から同期信号が入力されるとともに、入力された同期信号に基づいて、表示部１０上の検出座標を生成し、２値化部４２（４２ａおよび４２ｂ）と一体化処理部４４（４４ａおよび４４ｂ）とに提供するように構成されている。これにより、２値化部４２（４２ａおよび４２ｂ）および一体化処理部４４では、検出信号の検出位置（座標）を特定可能に構成されている。
【００３９】
座標／大きさ生成部４６ａおよび４６ｂは、各々、一体化処理部４４ａにより生成された検出画像７０の第１領域７１の座標と大きさ、および、一体化処理部４４ｂにより生成された検出画像７０の第２領域７２の座標と大きさを算出するように構成されている。ここで、第１領域７１および第２領域７２の座標としては、たとえば、各々の領域における中心座標や重心座標などが用いられてもよいし、その他の座標が用いられてもよい。また、第１領域７１および第２領域７２の大きさとしては、各々の領域を楕円形状に近似した場合の短軸径または長軸径、各々の領域の面積などが用いられてもよいし、その他の大きさが用いられてもよい。この第１実施形態では、座標として各々の領域の中心座標が座標／大きさ生成部４６により算出されるとともに、大きさとして各々の領域を楕円形状に近似した場合の短軸径が算出される場合について説明する。
【００４０】
重なり判定部４７および有効座標出力部４８は、一体化処理部４４ａにより生成された検出画像７０の第１領域７１および一体化処理部４４ｂにより生成された検出画像７０の第２領域７２の重なり状態について判定するように構成されている。具体的には、重なり判定部４７は、一体化処理部４４ａにより生成された検出画像７０の第１領域７１および一体化処理部４４ｂにより生成された検出画像７０の第２領域７２のうち、互いに重なり合う組み合わせを選定するように構成されている。
【００４１】
有効座標出力部４８は、重なり判定部４７により選定された互いに重なり合う検出画像７０の第１領域７１と第２領域７２との大きさ（短軸径）との差が所定の値以下であるか否かを判別するように構成されている。また、有効座標出力部４８は、互いに重なり合う検出画像７０の第１領域７１と第２領域７２との大きさ（短軸径）との差が所定の値以下の場合には、この第１領域７１の中心座標を有効として、座標信号を画像処理部５０に出力するように構成されている。また、有効座標出力部４８は、互いに重なり合う検出画像７０の第１領域７１と第２領域７２との大きさ（短軸径）との差が所定の値よりも大きい場合には、この第１領域７１の中心座標を無効とするように構成されている。なお、所定の値は、本発明の「第１の値」の一例である。
【００４２】
画像処理部５０は、図１に示すように、ＰＣなど外部機器からの入力信号、および、座標検出部４０からの座標信号に応じた投影画像を含む映像信号を投影部２０に出力するように構成されている。
【００４３】
次に、図１および図４〜図６を参照して、光検出部３０により検出された反射光の検出強度に基づいて、座標検出部４０によりどのような検出画像が生成されるかについて説明する。ここでは、ユーザが表示部１０に投影されている投影画像中のアイコン８０をドラッグ操作する場合に、ユーザの手６０に対応する検出画像７０が座標検出部４０により生成される例について説明する。
【００４４】
表示部１０には、図４に示すように、ユーザが操作を所望するアイコン８０が表示（投影）されている。そして、図４では、ユーザの人差し指が指示物体６１としてアイコン８０を指示するとともに、指示したアイコン８０をスライド移動させる操作を行う場合について示している。この場合、アイコン８０を指示する指示物体６１が光検出部３０（図１参照）により検出されるとともに、人差し指以外の握り込んだ指についても表示部１０に接近するため、握り込んだ指としての非指示物体６３（図４ではユーザの中指）も光検出部３０により検出される。したがって、指示物体６１と非指示物体６３との２つの物体が光検出部３０により検出されるため、何ら処理がなされない場合には、ユーザの意図しない非指示物体６３による操作が実行されてしまう虞がある。なお、図４では、理解の容易のために、表示部１０を矩形状の平面として図示している。また、非指示物体６３としてのユーザの中指および握り込んだ指は、本発明の「指示物体以外の物体」の一例である。
【００４５】
図５では、光検出部３０により検出された反射光の検出強度に基づいて、座標検出部４０により生成された検出画像７０（指示物体６１および非指示物体６３を含むユーザの手６０の画像）を示している。図５の検出画像７０は、図４の枠線５００（一点鎖線で示す）の位置におけるユーザの手６０の検出画像を示している。なお、図５では、理解の容易のためにユーザの手６０に対応する形状を破線により示している。
【００４６】
検出画像７０は、図５に示すように、指示物体６１から得られる第１領域７１ａ（幅広のハッチングで示す）および第２領域７２ａ（幅狭のハッチングで示す）と、非指示物体６３から得られる第１領域７１ｂ（幅広のハッチングで示す）および第２領域７２ｂ（幅狭のハッチングで示す）とにより形成されている。詳細には、検出画像７０では、指示物体６１から得られる第１領域７１ａと第２領域７２ａとが互いに重なり合うとともに、非指示物体６３から得られる第１領域７１ｂと第２領域７２ｂとについても互いに重なり合っている。より詳細には、検出画像７０では、指示物体６１からユーザの人差し指の大きさに対応した大きさの第１領域７１ａと第２領域７２ａとを得るとともに、非指示物体６３からユーザの中指の大きさに対応した大きさの第１領域７１ｂと、ユーザの握り込んだ指（拳）の大きさに対応した大きさの第２領域７２ｂとを得ている。このように、指示物体６１と非指示物体６３とでは、互いに重なり合う第１領域７１と第２領域７２との大きさ（短軸径）が異なることを利用して、指示物体６１と非指示物体６３とを判別することができる。
【００４７】
具体的には、互いに重なり合う第１領域７１（７１ａまたは７１ｂ）と第２領域７２（７２ａまたは７２ｂ）とにおいて、第１領域７１の短軸径Ｄ１（Ｄ１ａまたはＤ１ｂ）と第２領域７２の短軸径Ｄ２（Ｄ２ａまたはＤ２ｂ）との差が所定の値以下の場合には、座標検出部４０により指示物体６１であると判別される。また、第１領域７１の短軸径Ｄ１と第２領域７２の短軸径Ｄ２との差が所定の値よりも大きい場合には、座標検出部４０により非指示物体６３であると判別される。
【００４８】
図６では、検出画像７０の６００−６００線上の検出信号を、検出信号の一例として示す。検出強度が第１しきい値よりも大きい領域が、検出画像７０の第１領域７１に対応する領域であり、検出強度が第２しきい値よりも大きい領域が、検出画像７０の第２領域に対応する領域である。ここで、第１しきい値に対して第２しきい値は６０％程度の値に設定されている。なお、図６では、理解の容易のため、第１しきい値および第２しきい値が表示部１０上の検出位置に関わらず変化せずに同じ値になるように図示しているものの、実際は、光検出部３０と表示部１０上の検出位置との距離に応じて各々のしきい値の値は異なる（変化する）。
【００４９】
また、図７では、ユーザの手６０に対応する検出画像の別の例として、光検出部３０により検出された反射光の検出強度に基づいて、ユーザの手６０に対応する検出画像７０ａが座標検出部４０により生成される例について示している。
【００５０】
検出画像７０ａは、検出画像７０（図５参照）が得られる場合よりも、非指示物体６３が表示部１０に接近した場合に得られる検出画像を示している。したがって、検出画像７０ａでは、検出画像７０の指示物体６３に対応する第１領域７１ｂ（図５参照）よりも大きな第１領域７１ｃが形成されている。また、検出画像７０ａでは、指示物体６３に対応する第１領域の大きさが異なること以外は、検出画像７０と同様である。このような場合にも、明らかにユーザの指よりも大きな物体が検出されていると考えられるので、指示物体６１以外の物体が検出されたと座標検出部４０により判別される。具体的には、第１領域７１ｃが所定の大きさよりも大きい場合には、第１領域７１と第２領域７２との重なり状態にかかわらず、光検出部３０により非指示物体６３が検出されたと座標検出部４０により判別される。ここで、所定の大きさとは、たとえば、ユーザの指２本分程度の大きさ（短軸径）のことである。
【００５１】
次に、図１、図４、図５および図８〜図１０を参照して、上述した指示物体６１と非指示物体６３とを判別するとともに、判別結果に基づいて指示物体６１の指示位置（座標）を出力する処理についてフローチャートに基づいて説明する。
【００５２】
まず、全体の処理を示す指先検出処理のフローチャートを図８に示す。指先検出処理では、ステップＳ１において、光検出部３０（図１参照）により検出された反射光の検出強度に基づいて、座標検出部４０（図１参照）により指示物体６１（図４参照）および非指示物体６３（図４参照）の検出画像７０（図５参照）を生成する処理（反射物検出処理）が行われる。そして、ステップＳ２において、互いに重なり合う第１領域７１（図５参照）と第２領域７２（図５参照）との大きさ（短軸径）が異なることを利用して、指示物体６１と非指示物体６３とを座標検出部４０により判別する処理（指先判別処理）が行われる。そして、ステップＳ３において、指示物体として判別された指示物体６１に対応する第１領域７１（７１ａ）の中心座標を有効として、座標信号を映像処理部５０（図１参照）に出力する制御が座標検出部４０により行われる。この指先検出処理は、動画像を形成する静止画像１枚を表示する動作を１フレームとして、１フレームごとに座標検出部４０により行われる。
【００５３】
次に、図１、図５および図９を参照して、反射物検出処理の具体的処理内容についてフローチャートに基づいて説明する。
【００５４】
まず、図９に示すように、ステップＳ１１において、光検出部３０により検出された指示物体６１および非指示物体６３に対応する検出信号が座標検出部４０により取得される。そして、ステップＳ１２において、取得された検出信号が第２しきい値よりも大きいか否かが座標検出部４０により判別される。検出信号が第２しきい値以下の場合には、検出物体が接触判定領域Ｒ１（図１参照）および接近判定領域Ｒ２（図１参照）以外の領域にあると座標検出部４０により判別されて、反射物検出処理が終了する。
【００５５】
検出信号が第２しきい値よりも大きい場合には、ステップＳ１３において、第２しきい値よりも大きい検出信号の表示部１０（図１参照）上の検出位置（座標）が所定の範囲内であるか否かが判別される。第２しきい値よりも大きい検出信号の表示部１０上の検出位置（座標）が所定の範囲内である場合には、ステップＳ１４において、同一の物体により得られた検出信号であると座標検出部４０により認識される。この場合、各々の検出位置に対応する画素により形成される第２領域７２が座標検出部４０により生成される。
【００５６】
また、ステップＳ１３において、第２しきい値よりも大きい検出信号の表示部１０上の検出位置（座標）が所定の範囲内でない場合には、ステップＳ１５において、異なる物体により得られた検出信号であると座標検出部４０により認識される。
【００５７】
そして、ステップＳ１６以降の処理において、第１しきい値についても同様に処理が行われる。すなわち、ステップＳ１６において、取得された検出信号が第１しきい値よりも大きいか否かが座標検出部４０により判別される。検出信号が第１しきい値以下の場合には、反射物検出処理が終了する。
【００５８】
検出信号が第１しきい値よりも大きい場合には、ステップＳ１７において、第１しきい値よりも大きい検出信号の表示部１０上の検出位置（座標）が所定の範囲内であるか否かが判別される。第１しきい値よりも大きい検出信号の表示部１０上の検出位置（座標）が所定の範囲内である場合には、ステップＳ１８において、同一の物体により得られた検出信号であると座標検出部４０により認識される。この場合、各々の検出位置に対応する画素により形成される検出画像７０の第１領域７１が座標検出部４０により生成される。
【００５９】
また、ステップＳ１７において、第１しきい値よりも大きい検出信号の表示部１０上の検出位置（座標）が所定の範囲内でない場合には、ステップＳ１９において、異なる物体により得られた検出信号であると座標検出部４０により認識される。このようにして、表示部１０上の検出位置（座標）ごとに反射物検出処理が順次行われて、第１領域７１（７１ａおよび７１ｂ（図５参照））および第２領域７２（７２ａおよび７２ｂ（図５参照））を含む検出画像７０が座標検出部４０により生成される。この第１実施形態では、第１領域７１ａと７１ｂとは、異なる物体として認識されているとともに、第２領域７２ａと７２ｂとについても、異なる物体として認識されている。
【００６０】
次に、図１０を参照して、指先判別処理の具体的処理内容についてフローチャートに基づいて説明する。
【００６１】
まず、図１０に示すように、ステップＳ２１において、反射物検出処理において座標検出部４０により生成された検出画像７０の第１領域７１が所定の大きさよりも大きいか否かが判別される。第１領域７１が所定の大きさよりも大きい場合（図７の第１領域７１ｃの場合）には、第１領域７１と第２領域７２との重なり状態にかかわらず、ステップＳ２５において、光検出部３０により非指示物体６３が検出されたと座標検出部４０により判別される。
【００６２】
また、ステップＳ２１において、第１領域７１（７１ａまたは７１ｂ）が所定の大きさ以下の場合には、ステップＳ２２において、第１領域７１と重なり合う第２領域７２が座標検出部４０により選定される。そして、ステップＳ２３において、互いに重なり合う検出画像７０の第１領域７１と第２領域７２との大きさ（短軸径）との差が所定の値以下であるか否かが座標検出部４０により判別される。互いに重なり合う検出画像７０の第１領域７１と第２領域７２との大きさ（短軸径）との差が所定の値以下である場合（第１領域７１ａおよび第２領域７２ａの組み合わせの場合）には、ステップＳ２４において、光検出部３０により指示物体６１が検出されたと座標検出部４０により認識（判別）される。
【００６３】
また、ステップＳ２３において、互いに重なり合う検出画像７０の第１領域７１と第２領域７２との大きさ（短軸径）との差が所定の値よりも大きい場合（第１領域７１ｂおよび第２領域７２ｂの組み合わせの場合）には、ステップＳ２５において、光検出部３０により非指示物体６３が検出されたと座標検出部４０により認識（判別）される。これにより、指示物体６１と、非指示物体６３とが座標検出部４０により判別される。
【００６４】
第１実施形態では、以下のような効果を得ることができる。
【００６５】
第１実施形態では、上記のように、光検出部３０により検出された検出強度に基づいて、第１しきい値よりも大きい強度が検出された第１領域７１と、第１しきい値よりも小さい第２しきい値よりも大きい強度が検出された第２領域７２とを含む検出画像７０を取得する座標検出部４０を設けることによって、指示物体６１からからユーザの人差し指の大きさに対応する第１領域７１ａと第２領域７２ａとを得ることができるとともに、非指示物体６３からユーザの中指の大きさに対応する第１領域７１ｂと、ユーザの握り込んだ拳の大きさに対応する大きさの第２領域７２ｂとを得ることができる。そして、検出画像７０における第１領域７１（７１ａまたは７１ｂ）と第２領域７２（７２ａまたは７２ｂ）との重なり状態に基づいて、光検出部３０により指示物体６１と非指示物体６３とのいずれが検出されたかを判別する制御を座標検出部４０により行うことによって、指示物体６１における第１領域７１ａと第２領域７２ａとの重なり状態と、非指示物体６３における第１領域７１ｂと第２領域７２ｂとの重なり状態とが異なることを利用して、指示物体６１と非指示物体６３とを確実に判別することができる。これにより、指示物体６１による指示位置の検出精度を向上することができるので、指示位置の検出精度の低下に起因する誤作動を防止することができる。
【００６６】
また、第１実施形態では、上記のように、検出画像７０における第１領域７１（７１ａまたは７１ｂ）と第２領域７２（７２ａまたは７２ｂ）との重なり状態に基づいて、第１領域７１の大きさ（短軸径）と第２領域７２の大きさ（短軸径）との差を取得するとともに、取得した第１領域７１の大きさ（短軸径）と第２領域７２の大きさ（短軸径）との差が所定の値以下である場合には、光検出部３０により指示物体６１が検出されたと判別する制御を行うように座標検出部４０を構成する。これにより、ユーザの握り込んだ指としての非指示物体６３では、得られる第１領域７１ｂの大きさと第２領域７２ｂの大きさとが大きく異なるとともに、ユーザの人差し指としての指示物体６１では、得られる第１領域７１ａの大きさと第２領域７２ａの大きさとが大きくは異ならない（第１領域７１ａの大きさと第２領域７２ａの大きさとの差が所定の値以下である）ことを利用して、指示物体６１を確実に認識することができる。これにより、ユーザの意図する操作を確実に実行することができる。
【００６７】
また、第１実施形態では、上記のように、光検出部３０により指示物体６１が検出されたと判別した場合には、検出された指示物体６１に対応する第１領域７１ａに基づいて、指示物体６１による指示位置を取得する制御を行うように座標検出部４０を構成する。これにより、指示物体６１によるユーザの意図した指示位置を確実に検出することができるので、表示部１０に投影される画像のアイコン８０に対してクリックやドラッグなどの操作を行う場合に、ユーザの意図するアイコン８０への操作を適切に実行することができる。
【００６８】
また、第１実施形態では、上記のように、取得した第１領域７１（７１ｃ）の大きさが所定の大きさよりも大きい場合には、第１領域７１と第２領域７２との重なり状態に関わらず、光検出部３０により非指示物体６３が検出されたと判別する制御を行うように座標検出部４０を構成する。これにより、ユーザの人差し指としての指示物体６１により得られる第１領域７１ａの大きさよりも著しく大きい第１領域７１ｃが得られた場合（第１領域の大きさが所定の大きさよりも大きい場合）には、光検出部３０により非指示物体６３が検出されたと判別することによって、指示物体６１と非指示物体６３とを確実に判別することができる。
【００６９】
また、第１実施形態では、上記のように、投影画像を投影する投影部２０と、投影部２０により投影画像が投影される表示部１０とを設ける。そして、投影部２０により表示部１０に照射され、指示物体６１および非指示物体６３により反射された光（検出用の光を兼ねる投影画像を形成する光）を検出するように光検出部３０を構成する。これにより、投影部２０により表示部１０に照射された光を光検出部３０により検出することができるので、操作用の投影画像を投影する投影部２０とは別個に検出用の光を照射するための投影部を設ける必要がない。したがって、画像表示装置１００の部品点数が増加することを抑制することができる。
【００７０】
（第２実施形態）
次に、図１、図３および図１１〜図１３を参照して、第２実施形態について説明する。この第２実施形態では、上記第１実施形態の指先判別処理に加えて、複数（２つ）の指示物体１６１（１６１ａおよび１６１ｂ）が検出された場合に、さらに指示物体１６１（１６１ａおよび１６１ｂ）の手のひらの方向Ｐ（ＰａおよびＰｂ）を判別するとともに、判別した手のひらの方向Ｐ（ＰａおよびＰｂ）に基づいて、同一の手による操作であるか否かを判別する手判別処理を行う例について説明する。なお、指示物体１６１ａおよび１６１ｂは、各々、本発明の「第１ユーザの指」および「第２ユーザの指」の一例である。また、手のひらの方向ＰａおよびＰｂは、各々、本発明の「第１手のひらの方向」および「第２手のひらの方向」の一例である。
【００７１】
画像表示装置２００は、図１および図３に示すように、座標検出部１４０を備えている。なお、図１および図３に示した上記第１実施形態と同一の構成については、同じ符号を付してその説明を省略する。また、座標検出部１４０は、本発明の「制御部」の一例である。
【００７２】
第２実施形態では、座標検出部１４０は、上記第１実施形態と同様の反射物検出処理および指先判別処理に基づいて光検出部３０により指示物体１６１（図１１参照）が検出されたと判別した場合には、検出された指示物体１６１に対応する第１領域１７１（図１２参照）と第２領域１７２（図１２参照）とに基づいて、第１領域１７１から第１領域１７１と重ならない第２領域１７２の延びる方向に向かう手のひらの方向Ｐ（図１２参照）を取得するように構成されている。また、座標検出部１４０は、複数（２つ）の指示物体１６１（１６１ａおよび１６１ｂ）が検出された場合には、指示物体１６１ａおよび１６１ｂの各々の手のひらの方向ＰａおよびＰｂに基づいて、同一の手による操作であるか否かを判別する制御を行うように構成されている。この同一の手による操作であるか否かを判別する制御の詳細については、後述する。
【００７３】
次に、図１、図１１および図１２を参照して、座標検出部１４０による手のひらの方向Ｐの取得について説明する。ここでは、ユーザが表示部１０に投影されている投影画像をピンチイン操作する場合に、ユーザの手１６０に対応する検出画像１７０が座標検出部１４０により生成されるとともに、検出画像１７０において手のひら方向ＰａおよびＰｂを取得する例について説明する。
【００７４】
図１１では、ユーザが指示物体１６１ａ（ユーザの人差し指）および指示物体１６１ｂ（ユーザの親指）を用いて表示部１０の投影画像を拡大するピンチイン操作を行う場合について示している。この場合、ピンチイン操作のための指示物体１６１ａおよび指示物体１６１ｂと、ユーザの人差し指および親指以外の握り込んだ指としての非指示物体１６３（図１１ではユーザの中指）とが光検出部３０により検出される。なお、非指示物体１６３としてのユーザの中指は、本発明の「指示物体以外の物体」の一例である。
【００７５】
図１２では、光検出部３０により検出された反射光の検出強度に基づいて、座標検出部１４０により生成された検出画像１７０（指示物体１６１ａおよび１６１ｂと、非指示物体１６３とを含むユーザの手１６０の画像）を示している。図１２の検出画像１７０は、図１１の枠線５０１（一点鎖線で示す）の位置におけるユーザの手１６０の検出画像を示している。なお、図１２では、理解の容易のためにユーザの手１６０に対応する形状を破線により示している。
【００７６】
検出画像１７０は、図１２に示すように、指示物体１６１ａから得られる第１領域１７１ａおよび第２領域１７２ａと、指示物体１６１ｂから得られる第１領域１７１ｃおよび第２領域１７２ｃと、非指示物体１６３から得られる第１領域１７１ｂおよび第２領域１７２ｂとにより形成されている。詳細には、検出画像１７０では、指示物体１６１（１６１ａまたは１６１ｂ）から得られる第１領域１７１（１７１ａまたは１７１ｃ）と第２領域１７２（１７２ａまたは１７２ｃ）とが互いに重なり合うとともに、非指示物体１６３から得られる第１領域１７１ｂと第２領域１７２ｂとも互いに重なり合っている。より詳細には、検出画像１７０では、指示物体１６１ａからユーザの人差し指の大きさに対応した大きさの第１領域１７１ａと第２領域１７２ａとを得るとともに、指示物体１６１ｂからユーザの親指の大きさに対応した大きさの第１領域１７１ｃと第２領域１７２ｃとを得ている。そして、検出画像１７０では、非指示物体１６３からユーザの中指の大きさに対応した大きさの第１領域１７１ｂと、ユーザの握り込んだ指（拳）の大きさに対応した大きさの第２領域１７２ｂとを得ている。
【００７７】
この第２実施形態においても、上記第１実施形態と同様に、指示物体１６１（１６１ａおよび１６１ｂ）と非指示物体１６３との互いに重なり合う第１領域１７１と第２領域１７２との大きさ（短軸径）が異なることを利用して、指示物体１６１と非指示物体１６３とが判別される。
【００７８】
また、第２実施形態では、図１２に示すように、指示物体１６１ａの手のひらの方向Ｐａおよび指示物体１６１ｂの手のひらの方向Ｐｂが座標検出部１４０により取得される。この手のひらの方向Ｐ（ＰａおよびＰｂ）は、指示物体１６１では、ユーザの指の根本方向（つまり、手のひらのある方向）に、第１領域１７１（１７１ａまたは１７１ｃ）と重ならない第２領域１７２（１７２ａまたは１７２ｃ）が延びるような領域として検出されることを利用して、座標検出部１４０により取得される。この手のひらの方向Ｐの決定方法としては、たとえば、座標検出部１４０により算出された第１領域１７１の中心座標から第２領域１７２の中心座標に向かう方向を手のひらの方向とする決定方法でもよいし、その他の決定方法により決定されてもよい。
【００７９】
また、第２実施形態では、手のひらの方向ＰａおよびＰｂに基づいて、指示物体１６１ａと指示物体１６１ｂとが同一の手による操作であるか否かが座標検出部１４０により判別される（手判別処理）。具体的には、手のひらの方向Ｐａと手のひらの方向Ｐｂとが互いに集まる（収束する）方向である場合には、指示物体１６１ａと指示物体１６１ｂとが同一の手によるものであると座標検出部１４０により判別される。したがって、図１２に示すユーザの手１６０では、指示物体１６１ａと指示物体１６１ｂとが同一の手によるものであると判別される。
【００８０】
第２実施形態の指先検出処理では、図１３に示すように、ステップＳ２において指先判別処理が行われた後、ステップＳ２ａにおいて、指示物体１６１ａと指示物体１６１ｂとが同一の手による操作であるか否かを判別する手判別処理が座標検出部１４０により行われる。なお、図８に示した上記第１実施形態と同一の処理については、同じ符号を付してその説明を省略する。
【００８１】
なお、第２実施形態のその他の構成は、上記第１実施形態と同様である。
【００８２】
第２実施形態では、以下のような効果を得ることができる。
【００８３】
第２実施形態では、第１領域１７１と、第２領域１７２とを含む検出画像１７０を取得する座標検出部１４０を設けることによって、第１実施形態と同様に、指示物体１６１ａ（１６１ｂ）における第１領域１７１ａ（１７１ｃ）と第２領域１７２ａ（１７２ｃ）との重なり状態と、非指示物体１６３における第１領域１７１ｂと第２領域１７２ｂとの重なり状態とが異なることを利用して、指示物体１６１と非指示物体１６３とを判別することができる。
【００８４】
また、第２実施形態では、上記のように、光検出部３０によりユーザの人差し指および親指としての指指示物体１６１ａ（１６１ｂ）が検出されたと判別した場合には、検出されたユーザの指に対応する第１領域１７１ａ（１７１ｃ）と第２領域１７２ａ（１７２ｃ）とに基づいて、第１領域１７１ａ（１７１ｃ）から第１領域１７１ａ（１７１ｃ）と重ならない第２領域１７２ａ（１７２ｃ）の延びる方向に向かう手のひらの方向Ｐ（ＰａおよびＰｂ）を取得するように座標検出部１４０を構成する。これにより、指示物体１６１ａおよび１６１ｂとして複数（２つ）の指が検出された場合に、複数（２つ）の指に対応する手のひらの方向Ｐを照合することにより、複数の指が同一の手によるものであるか否かを判別することができる。したがって、複数の指による画像の操作を適切に実行することができる。
【００８５】
また、第２実施形態では、上記のように、指示物体１６１ａに対応する手のひらの方向Ｐａと、指示物体１６１ｂに対応する手のひらの方向Ｐｂとを取得するとともに、手のひらの方向Ｐａと手のひらの方向Ｐｂとが互いに集まる方向である場合には、指示物体１６１ａと指示物体１６１ｂとが同一の手によるものであると判別する制御を行うように座標検出部１４０を構成する。これにより、手のひらの方向Ｐが互いに集まる方向である指同士は、同一の手によるものであることを利用して、容易に指示物体１６１ａと指示物体１６１ｂとが同一の手によるものであることを判別することができる。そして、同一の手によるものであると判別された指示物体１６１ａによる操作と指示物体１６１ｂによる操作とに基づいて、図１１に示すように、表示部１０に表示される投影画像を縮小させるピンチイン操作や、拡大させるピンチアウト操作（図示せず）などの同一の手により行われる特有の操作を確実に実行することができる。
【００８６】
なお、第２実施形態のその他の効果は、上記第１実施形態と同様である。
【００８７】
（第３実施形態）
次に、図１、図３および図１３〜図１６を参照して、第３実施形態について説明する。この第３実施形態では、手のひらの方向Ｐ（ＰａおよびＰｂ）に基づいて、指示物体１６１ａと指示物体１６１ｂとが同一の手によるものであるか否かを判別した上記第２実施形態の構成に加えて、さらに、手のひらの方向Ｐ（ＰｃおよびＰｄ）に基づいて、指示物体２６１ａと指示物体２６１ｂとが異なる手によるものであるか否かを判別する例について説明する。なお、指示物体２６１ａおよび２６１ｂは、各々、本発明の「第１ユーザの指」および「第２ユーザの指」の一例である。また、手のひらの方向ＰｃおよびＰｄは、各々、本発明の「第１手のひらの方向」および「第２手のひらの方向」の一例である。
【００８８】
画像表示装置３００は、図１および図３に示すように、座標検出部２４０を備えている。なお、図１および図３に示した上記第１および第２実施形態と同一の構成については、同じ符号を付してその説明を省略する。また、座標検出部２４０は、本発明の「制御部」の一例である。
【００８９】
第３実施形態では、座標検出部２４０は、上記第１実施形態と同様の反射物検出処理および指先判別処理に基づいて光検出部３０により指示物体２６１（図１４参照）が検出されたと判別した場合には、上記第２実施形態と同様に検出された指示物体２６１に対応する第１領域２７１（図１５参照）と第２領域２７２（図１５参照）とに基づいて、手のひらの方向Ｐ（図１５参照）を取得するように構成されている。また、座標検出部２４０は、複数（２つ）の指示物体２６１（２６１ａおよび２６１ｂ）が検出された場合には、指示物体２６１ａおよび２６１ｂの各々の手のひらの方向ＰｃおよびＰｄに基づいて、同一の手による操作であるか、または、異なる手による操作であるかを判別する制御を行うように構成されている。この異なる手による操作であるかを判別する制御の詳細については、後述する。
【００９０】
次に、図１、図１４および図１５を参照して、座標検出部２４０による異なる手による操作であるかを判別する制御について説明する。なお、手のひらの方向の取得処理および同一の手によるものであるかの判別処理については、上記第２実施形態と同様である。
【００９１】
図１４では、ユーザの手２６０による指示物体（ユーザの指）２６１ａと、ユーザの手２６０とは異なるユーザの手２９０による指示物体（ユーザの指）２６１ｂを用いて表示部１０（図１参照）の投影画像を別個に操作する場合について示している。ユーザの手２６０と、ユーザの手２９０とは、同一のユーザによるものであってもよいし、異なるユーザによるものであってもよい。そして、この場合、指示物体２６１ａおよび指示物体２６１ｂが光検出部３０により検出される。
【００９２】
図１５では、光検出部３０により検出された反射光の検出強度に基づいて、座標検出部２４０により生成された検出画像２７０（指示物体２６１ａを含むユーザの手２６０の画像、および、指示物体２６１ｂを含むユーザの手２９０の画像）を示している。図１５の検出画像２７０は、図１４の枠線５０２（一点鎖線で示す）の位置におけるユーザの手２６０および２９０の検出画像を示している。なお、図１５では、理解の容易のためにユーザの手２６０および２９０に対応する形状を破線により示している。
【００９３】
検出画像２７０は、図１５に示すように、指示物体２６１ａから得られる第１領域２７１ａおよび第２領域２７２ａと、指示物体２６１ｂから得られる第１領域２７１ｃおよび第２領域２７２ｃとにより形成されている。詳細には、検出画像２７０では、指示物体２６１（２６１ａまたは２６１ｂ）から得られる第１領域２７１（２７１ａまたは２７１ｃ）と第２領域２７２（２７２ａまたは２７２ｃ）とが互いに重なり合っている。この第３実施形態では、ユーザの握り込んだ指に対応する非指示物体は、光検出部３０による検出範囲外（投影部２０によるレーザ光の走査範囲外）であるため、検出されていない。
【００９４】
しかしながら、この第３実施形態においても、上記第１および第２実施形態と同様に、指示物体２６１（２６１ａおよび２６１ｂ）と非指示物体との互いに重なり合う第１領域２７１と第２領域２７２との大きさ（短軸径）が異なることを利用して、指示物体２６１と非指示物体とを判別することは、もちろん可能である。
【００９５】
また、第３実施形態では、手のひらの方向Ｐｃおよび手のひらの方向Ｐｄに基づいて、指示物体２６１ａと指示物体２６１ｂとが同一の手による操作であるか、異なる手による操作であるかが座標検出部２４０により判別される（手判別処理）。具体的には、手のひらの方向Ｐｃと手のひらの方向Ｐｄとが互いに集まる（収束する）方向である場合には、指示物体２６１ａと指示物体２６１ｂとが同一の手によるものであると座標検出部２４０により判別される。また、手のひらの方向Ｐｃと手のひらの方向Ｐｄとが互いに発散する方向である場合には、指示物体２６１ａと指示物体２６１ｂとが異なる手によるものであると座標検出部２４０により判別される。したがって、図１５では、手のひらの方向ＰｃおよびＰｄが互いに発散する方向であるので、指示物体２６１ａと指示物体２６１ｂとが異なる手によるものであると判別される。
【００９６】
次に、図１、図１３、図１５および図１６を参照して、第３実施形態における手判別処理についてフローチャートに基づいて説明する。
【００９７】
まず、第３実施形態の指先検出処理では、図１３に示すように、ステップＳ２において指先判別処理が行われた後、ステップＳ２ｂにおいて、指示物体２６１ａ（図１４参照）と指示物体２６１ｂ（図１４参照）とが同一の手による操作であるか、異なる手による操作であるかを判別する手判別処理が座標検出部２４０（図１参照）により行われる。なお、図８に示した上記第１実施形態と同一の処理については、同じ符号を付してその説明を省略する。
【００９８】
具体的には、図１６に示す手判定処理のフローチャートのように、ステップＳ３１において、指示物体が複数検出されたか否かが座標検出部２４０により判別される。指示物体が複数検出されていないと判別された場合には、手判別処理が終了される。
【００９９】
また、ステップＳ３１において、指示物体が複数検出されたと判別された場合には、ステップＳ３２において、手のひらの方向ＰｃおよびＰｄ（図１５参照）がいずれの方向かが座標検出部２４０により判別される。手のひらの方向ＰｃおよびＰｄが互いに集まる方向である場合には、ステップＳ３３において、指示物体（ユーザの指）２６１ａ（図１４参照）と指示物体（ユーザの指）２６１ｂ（図１４参照）とが同一の手によるものであると座標検出部２４０により判別される。また、手のひらの方向ＰｃおよびＰｄが互いに発散する方向である場合には、ステップＳ３４において、指示物体２６１ａと指示物体２６１ｂとが異なる手によるものであると座標検出部２４０により判別される。これにより、同一の手による操作である場合と、異なる手による操作である場合とに各々対応させた処理が行われることによって、ユーザの意図する操作が実行される。
【０１００】
なお、第３実施形態のその他の構成は、上記第２実施形態と同様である。
【０１０１】
第３実施形態では、以下のような効果を得ることができる。
【０１０２】
第３実施形態では、第１領域２７１と、第２領域２７２とを含む検出画像２７０を取得する座標検出部２４０を設けることによって、第１および第２実施形態と同様に、指示物体２６１ａ（２６１ｂ）における第１領域２７１ａ（２７１ｃ）と第２領域２７２ａ（２７２ｃ）との重なり状態と、非指示物体における第１領域２７１ｂと第２領域２７２ｂとの重なり状態とが異なることを利用して、指示物体２６１と非指示物体とを判別することができる。
【０１０３】
また、第３実施形態では、上記のように、光検出部３０によりユーザの人差し指および親指としての指指示物体２６１ａ（２６１ｂ）が検出されたと判別した場合には、検出されたユーザの指に対応する第１領域２７１ａ（２７１ｃ）と第２領域２７２ａ（２７２ｃ）とに基づいて、第１領域２７１ａ（２７１ｃ）から第１領域２７１ａ（２７１ｃ）と重ならない第２領域２７２ａ（２７２ｃ）の延びる方向に向かう手のひらの方向Ｐを取得するように座標検出部１４０を構成する。これにより、指示物体２６１ａおよび２６１ｂとして複数（２つ）の指が検出された場合に、複数（２つ）の指に対応する手のひらの方向Ｐを照合することにより、複数の指が同一の手によるものであるか、異なる手によるものであるかを判別することができる。したがって、同一の手によるものである場合と、異なる手によるものである場合とに応じて、複数の指による画像の操作を適切に実行することができる。
【０１０４】
また、第３実施形態では、上記のように、指示物体２６１ａに対応する手のひらの方向Ｐｃと、指示物体２６１ａとは異なる指示物体２６１ｂに対応する手のひらの方向Ｐｄとを取得するとともに、手のひらの方向Ｐｃと手のひらの方向Ｐｄとが互いに発散する方向である場合には、指示物体２６１ａと指示物体２６１ｂとが異なる手によるものであると判別する制御を行うように座標検出部２４０を構成する。これにより、複数のユーザにより１つの画像を操作する場合や、同一のユーザの異なる手により１つの画像を操作する場合などに、手のひらの方向Ｐ（ＰｃおよびＰｄ）が互いに発散する方向である指同士は、異なる手によるものであることを利用して、容易に指示物体２６１ａと指示物体２６１ｂとが異なる手によるものであると判別することができる。その結果、ユーザの意図した操作を確実に実行することができる。
【０１０５】
なお、第３実施形態のその他の効果は、上記第２実施形態と同様である。
【０１０６】
（第４実施形態）
次に、図３、図１７および図１８を参照して、第４実施形態について説明する。この第４実施形態では、表示部１０に投影された投影画像がユーザの手６０（１６０、２６０）により操作された上記第１〜第３実施形態とは異なり、空中に投影画像としての光学像３８１を結像させるとともに、この光学像３８１がユーザの手３６０により操作される例について説明する。
【０１０７】
画像表示装置４００は、図１７に示すように、投影画像を形成する画像光を照射するための画像用光源部としての表示部３１０と、投影画像を形成する画像光が裏面３８０ａ側（Ｚ２方向側）から照射されるとともに、表面３８０ｂ側（Ｚ１方向側）の空中に投影画像に対応する光学像３８１（画像の内容は図示せず）を結像させる光学像結像部材３８０とを備えている。また、画像表示装置４００は、光学像３８１に検出用のレーザ光（検出光）を照射する検出用光源部３２０と、光学像３８１に照射され、ユーザの指などにより反射された反射光としての検出用のレーザ光を検出する光検出部３３０と、光検出部３３０により検出された反射光の検出強度に基づいて、光学像３８１におけるユーザによる指示位置を座標として算出する座標検出部３４０と、光学像３８１として空中に投影される投影画像を含む映像信号を表示部３１０に出力する画像処理部３５０とを備えている。なお、座標検出部３４０は、本発明の「制御部」の一例である。
【０１０８】
表示部３１０は、図示しない液晶パネルと、図示しない画像用光源部とにより構成されている。また、表示部３１０は、画像処理部３５０から入力される映像信号に基づいて、投影画像を形成する画像光を光学像結像部材３８０に照射可能なように光学像結像部材３８０の裏面３８０ａ側（Ｚ２方向側）に配置されている。
【０１０９】
光学像結像部材３８０は、裏面３８０ａ側（Ｚ２方向側）から照射された投影画像を形成する画像光を、表面３８０ｂ側（Ｚ１方向側）の空中に光学像３８１として結像させるように構成されている。具体的には、光学像結像部材３８０には、図示しない平面視で略矩形状の複数の貫通孔が形成されており、この複数の貫通孔の内壁面の直交する２面が鏡面として形成されている。これにより、光学像結像部材３８０では、図示しない複数の貫通孔により２面コーナリフレクタアレイが形成されて、裏面３８０ａ側（Ｚ２方向側）から照射された投影画像を形成する画像光を、表面３８０ｂ側（Ｚ１方向側）の空中に光学像３８１として結像させるように構成されている。
【０１１０】
検出用光源部３２０は、光学像３８１に対して検出用のレーザ光を照射するように構成されている。具体的には、検出用光源部３２０は、光学像３８１に対して検出用のレーザ光を垂直方向および水平方向に走査可能に構成されている。また、検出用光源部３２０は、ユーザの指などの検出に適した赤外の波長を有するレーザ光を照射するように構成されている。また、検出用光源部３２０は、検出用のレーザ光の照射のタイミングの情報を含む同期信号を座標検出部３４０に出力するように構成されている。
【０１１１】
光検出部３３０は、検出用光源部３２０により光学像３８１に照射される検出用のレーザ光がユーザの指などにより反射された反射光を検出するように構成されている。具体的には、光検出部３３０は、光学像３８１から、各々所定の高さＨ１およびＨ２だけ離れた接触判定領域Ｒ１（図１８参照）および接近判定領域Ｒ２（図１８参照）で反射された光を検出可能に構成されている。また、光検出部３３０は、検出した反射光の検出強度に応じた検出信号を座標検出部３４０に出力するように構成されている。
【０１１２】
座標検出部３４０は、図３および図１７に示すように、光検出部３３０により検出された反射光の検出強度と反射光の検出タイミングとに基づいて、光学像３８１近傍で検出された検出対象物（指示物体３６１、非指示物体３６２を含むユーザの手３６０）に対応する検出画像を生成するように構成されている。具体的には、座標検出部３４０は、上記第１〜第３実施形態と同様に、第１しきい値よりも大きい検出強度が検出された第１領域と、第１しきい値よりも小さい第２しきい値よりも大きい検出強度が検出された第２領域とを含む検出画像を生成するように構成されている。なお、図３に示した上記第１〜第３実施形態と同一の構成については、同じ符号を付してその説明を省略する。
【０１１３】
画像処理部３５０は、図１７に示すように、ＰＣなど外部機器からの入力信号、および、座標検出部３４０からの座標信号に応じた投影画像を含む映像信号を表示部３１０に出力するように構成されている。
【０１１４】
次に、図１７および図１８を参照して、ユーザの手３６０による光学像３８１の操作状態について説明する。ここでは、ユーザが光学像３８１として空中に投影されている投影画像を指示する操作を行う場合について示している。
【０１１５】
図１８では、ユーザの手３６０が光学像３８１に近接して、指示物体３６１（ユーザの人差し指）と非指示物体３６２（ユーザの親指）とが光学像３８１に接触している状態を示している。この場合にも、指示物体３６１が光検出部３３０により検出されるとともに、握り込んだ指としての非指示物体３６２も光検出部３３０により検出される。そして、光検出部３３０により検出された反射光の検出強度に基づいて、座標検出部３４０（図１７参照）により（図５、図７、図１２および図１５のような）指示物体３６１および非指示物体３６２に各々対応する第１領域および第２領域を含む検出画像が生成される。なお、非指示物体３６２としてのユーザの親指は、本発明の「指示物体以外の物体」の一例である。
【０１１６】
そして、この第４実施形態においても、第１〜第３実施形態と同様に、指示物体３６１と非指示物体３６２とでは、互いに重なり合う第１領域と第２領域との大きさ（短軸径）が異なることを利用して、指示物体３６１と非指示物体３６２とを判別することができる。また、複数の指示物体が光検出部３３０により検出された場合には、複数の指示物体に対応する手のひらの方向が座標検出部３４０により取得されるとともに、取得した手のひらの方向に基づいて、同一の手による操作であるか、または、異なる手による操作であるかを判別することができる。すなわち、図９、図１０、図１３および図１６に示すフローチャートに基づいて、各々、反射物検出処理、指先判別処理、指先検出処理および手判別処理が座標検出部３４０により実行される。これにより、この第４実施形態のように、空中に結像された光学像３８１をユーザが操作するような画像表示装置４００の場合にも、ユーザの意図する操作が確実に実行される。
【０１１７】
なお、第４実施形態のその他の構成は、上記第１〜第３実施形態と同様である。
【０１１８】
第４実施形態では、以下のような効果を得ることができる。
【０１１９】
第４実施形態では、第１領域と、第２領域とを含む検出画像を取得する座標検出部３４０を設けることによって、第１〜第３実施形態と同様に、指示物体３６１における第１領域と第２領域との重なり状態と、非指示物体３６２における第１領域と第２領域との重なり状態とが異なることを利用して、指示物体３６１と非指示物体３６２とを判別することができる。
【０１２０】
また、第４実施形態では、表示部３１０により投影画像を形成する画像光が裏面３８０ａ側（Ｚ２方向側）から照射されるとともに、表面３８０ｂ側（Ｚ１方向側）の空中に投影画像に対応する光学像３８１（画像の内容は図示せず）を結像させるための光学像結像部材３８０と、光学像３８１に検出用の光を照射する検出用光源部３２０とを設ける。そして、検出用光源部３２０により光学像３８１に照射され、指示物体３６１および非指示物体３６２により反射された光を検出するように光検出部３３０を構成する。これにより、投影画像が物理的実態を有する表示部に投影される場合と異なり、物理的実態を有しない光学像３８１をユーザが操作することができるので、表示部にユーザの指の指紋（油分）などが付着することがない。したがって、投影画像が見づらくなることを抑制することができる。また、物理的実態を有しない光学像３８１を操作する場合には、ユーザの指などの指示物体と光学像３８１とが一部分で重なるほど接近する場合があると考えられる。このような場合に、光検出部３３０により検出された指示物体３６１と非指示物体３６２とを判別することができることは、実用上非常に効果的である。
【０１２１】
なお、第４実施形態のその他の効果は、上記第１〜第３実施形態と同様である。
【０１２２】
なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれる。
【０１２３】
たとえば、上記第１〜第４実施形態では、指示物体６１（１６１ａ、１６１ｂ、２６１ａ、２６１ｂ、３６１）としてユーザの人差し指および親指が光検出部３０（３３０）により検出された例を示したが、本発明はこれに限られない。本発明では、図１９に示す変形例のように、指示物体４６１としてタッチペンが用いられてもよい。この場合、指示物体４６１が光検出部により検出されるとともに、タッチペンを握り込んだ指についても表示部１０（光学像３８１）に接近するため、握り込んだ指としての非指示物体４６３（図１９ではユーザの小指）も光検出部により検出される。そして、この場合にも、タッチペンとしての指示物体４６１とユーザの小指としての非指示物体４６３とでは、互いに重なり合う第１領域と第２領域との大きさ（短軸径）が異なることを利用して、指示物体４６１と非指示物体４６３とを座標検出部により判別することができる。なお、非指示物体４６３としてのユーザの小指は、本発明の「指示物体以外の物体」の一例である。
【０１２４】
また、上記第１〜第４実施形態では、互いに重なり合う第１領域７１（１７１、２７１）と第２領域７２（１７２、２７２）の大きさ（短軸径）の差が所定の値以下の場合には、光検出部３０（３３０）により指示物体６１（１６１ａ、１６１ｂ、２６１ａ、２６１ｂ、３６１）が検出されたと座標検出部４０（１４０、２４０、３４０）により判別した例を示したが、本発明はこれに限られない。本発明では、互いに重なり合う第１領域に対する第２領域の大きさ（短軸径）の比が所定の値以下の場合に、光検出部により指示物体が検出されたと座標検出部により判別してもよい。なお、所定の値は、本発明の「第２の値」の一例である。
【０１２５】
また、上記第１〜第４実施形態では、互いに重なり合う第１領域７１（１７１、２７１）と第２領域７２（１７２、２７２）との大きさ（短軸径）との差が所定の値よりも大きい場合には、非指示物体６３（１６３、３６２）であると判別して、この第１領域７１（１７１、２７１）の中心座標を無効とするように構成した例を示したが、本発明はこれに限られない。本発明では、互いに重なり合う第１領域と第２領域との大きさ（短軸径）との差が所定の値よりも大きい場合には、この第１領域の中心座標を無効とせずに、たとえば、光検出部により握り込んだ指が検出されたと座標検出部により判別してもよい。これにより、握り込んだ指に対応する操作（処理）を座標検出部により行うことが可能である。
【０１２６】
また、上記第２および第３実施形態では、指示物体１６１ａ（２６１ａ）および１６１ｂ（２６１ｂ）の各々の手のひらの方向Ｐａ（Ｐｃ）およびＰｂ（Ｐｄ）に基づいて、同一の手による操作であるか、異なる手による操作であるかが座標検出部１４０（２４０）により判別された例を示したが、本発明はこれに限られない。本発明では、指示物体の手のひらの方向Ｐが座標検出部により取得された場合には、指示物体の手のひらの方向Ｐに基づいて、光検出部により握り込んだ指などの非指示物体が検出されたと座標検出部により判別してもよい。
【０１２７】
また、上記第１〜第３実施形態では、表示部１０が曲面状の投影面を有した例を示したが、本発明はこれに限られない。本発明では、表示部が曲面状以外の形状の投影面を有していてもよい。たとえば、表示部が平面状の投影面を有していてもよい。
【０１２８】
また、上記第１〜第４実施形態では、互いに重なり合う第１領域７１（１７１、２７１）と第２領域７２（１７２、２７２）の大きさ（短軸径）の差に基づいて、光検出部３０により指示物体６１（１６１ａ、１６１ｂ、２６１ａ、２６１ｂ、３６１）と非指示物体６３（１６３、３６２）とのいずれが検出されたか座標検出部４０（１４０、２４０、３４０）により判別した例を示したが、本発明はこれに限られない。本発明では、互いに重なり合う第１領域と第２領域とにおいて、第２領域の大きさのみに基づいて、光検出部により指示物体と非指示物体とのいずれが検出されたか座標検出部により判別してもよい。
【０１２９】
また、上記第１〜第３実施形態では、投影部２０が３つ（青（Ｂ）、緑（Ｇ）、赤（Ｒ））のレーザ光源２１を含んだ例を示したが、本発明はこれに限られない。本発明では、３つ（青（Ｂ）、緑（Ｇ）、赤（Ｒ））のレーザ光源以外の光源を含んでいてもよい。たとえば、赤外光を照射可能なレーザ光源をさらに含んでいてもよい。この場合には、ユーザの手などの検出に適した赤外光を指示物体および非指示物体の検出用の光として用いることにより、より正確に指示物体および非指示物体を光検出部により検出することができる。
【０１３０】
また、上記第１〜第３実施形態では、投影部２０が操作用の投影画像を形成するレーザ光だけでなく、検出用のレーザ光をも照射した例を示したが、本発明はこれに限られない。本発明では、操作用の投影画像を形成するレーザ光を照射する投影部と別個に、検出用のレーザ光を照射する投影部（光源部）を設けてもよい。
【０１３１】
また、上記第２および第３実施形態では、複数（２つ）の指示物体１６１ａ（２６１ａ）および１６１ｂ（２６１ｂ）が光検出部３０により検出された例を示したが、本発明はこれに限られない。本発明では、３つ以上の指示物体が光検出部により検出されてもよい。この場合にも、各々の指示物体の各々の手のひらの方向を座標検出部により取得することにより、各々の指示物体が同一の手によるものであるか、異なる手によるものであるかを判別することが可能である。
【０１３２】
また、上記第１〜第４実施形態では、説明の便宜上、本発明の座標検出部４０（１４０、２４０、３４０）の処理を処理フローに沿って順番に処理を行うフロー駆動型のフローチャートを用いて説明したが、本発明はこれに限られない。本発明では、座標検出部４０（１４０、２４０、３４０）の処理動作を、イベントごとに処理を実行するイベント駆動型（イベントドリブン型）の処理により行ってもよい。この場合、完全なイベント駆動型で行ってもよいし、イベント駆動およびフロー駆動を組み合わせて行ってもよい。
【符号の説明】
【０１３３】
１０、３１０  表示部
２０  投影部
３０、３３０  光検出部
４０、１４０、２４０、３４０  座標検出部（制御部）
６１、１６１、２６１、３６１、４６１  指示物体
６２、６３、１６３、３６２、４６３  非指示物体（指示物体以外の物体）
７０、１７０、２７０  検出画像
７１、１７１、２７１  第１領域
７２、１７２、２７２  第２領域
１００、２００、３００、４００  画像表示装置
１６１ａ、２６１ａ  指示物体（第１ユーザの指）
１６１ｂ、２６１ｂ  指示物体（第２ユーザの指）
３２０  検出用光源部
３８０  光学像結像部材
３８１  光学像
【図１】
2015125705.tif 000003
【図２】
2015125705.tif 000004
【図３】
2015125705.tif 000005
【図４】
2015125705.tif 000006
【図５】
2015125705.tif 000007
【図６】
2015125705.tif 000008
【図７】
2015125705.tif 000009
【図８】
2015125705.tif 000010
【図９】
2015125705.tif 000011
【図１０】
2015125705.tif 000012
【図１１】
2015125705.tif 000013
【図１２】
2015125705.tif 000014
【図１３】
2015125705.tif 000015
【図１４】
2015125705.tif 000016
【図１５】
2015125705.tif 000017
【図１６】
2015125705.tif 000018
【図１７】
2015125705.tif 000019
【図１８】
2015125705.tif 000020
【図１９】
2015125705.tif 000021