(57)【要約】本開示の検出機能付き表示装置は、第１の照明光を出射する第１の照明部と、映像データに基づいて第１の照明光を変調して映像光を生成するライトバルブと、映像光を投影面に投影する投影光学系と、投影面上における被位置検出物の位置検出に用いられる第２の照明光を出射する第２の照明部と、投影面上における被画像認識物の画像認識に用いられる第３の照明光を出射する第３の照明部と、ライトバルブと光学的に共役な位置に配置された撮像素子を含み、投影光学系を介して、第２の照明光および第３の照明光が入射する撮像部と、撮像部の撮像結果に基づいて、被位置検出物の位置検出および被画像認識物の画像認識を行う画像処理部とを備える。
2018051886.tif 000002
【特許請求の範囲】
【請求項１】
第１の照明光を出射する第１の照明部と、
映像データに基づいて前記第１の照明光を変調して映像光を生成するライトバルブと、
前記映像光を投影面に投影する投影光学系と、
前記投影面上における被位置検出物の位置検出に用いられる第２の照明光を出射する第２の照明部と、
前記投影面上における被画像認識物の画像認識に用いられる第３の照明光を出射する第３の照明部と、
前記ライトバルブと光学的に共役な位置に配置された撮像素子を含み、前記投影光学系を介して、前記第２の照明光および前記第３の照明光が入射する撮像部と、
前記撮像部の撮像結果に基づいて、前記被位置検出物の位置検出および前記被画像認識物の画像認識を行う画像処理部と
を備える
検出機能付き表示装置。
【請求項２】
前記第３の照明光の前記投影面に対して垂直方向の出射拡散角は、前記第２の照明光の前記投影面に対して垂直方向の出射拡散角よりも大きい
請求項１に記載の検出機能付き表示装置。
【請求項３】
前記第３の照明光の前記出射拡散角の大きさは、前記第２の照明光の前記出射拡散角の大きさの１０倍以上である
請求項２に記載の検出機能付き表示装置。
【請求項４】
前記投影面に対して、前記第３の照明部における前記第３の照明光の出射位置は、前記第２の照明部における前記第２の照明光の出射位置よりも遠方である
請求項１に記載の検出機能付き表示装置。
【請求項５】
前記投影面に対して、前記投影光学系における前記映像光の出射位置は、前記第２の照明部における前記第２の照明光の出射位置よりも遠方であり、
前記投影面に対して、前記第３の照明部における前記第３の照明光の出射位置は、前記投影光学系における前記映像光の出射位置よりも遠方である
請求項１に記載の検出機能付き表示装置。
【請求項６】
前記第３の照明部は、前記投影面における前記映像光の投影エリアの全域が照明されるように前記第３の照明光を出射する
請求項１に記載の検出機能付き表示装置。
【請求項７】
前記第２の照明部は、前記投影面に対して前記被画像認識物を所定数重ねた高さよりも高い位置から、前記投影面に対して略平行となる光を、前記第２の照明光として出射する
請求項１に記載の検出機能付き表示装置。
【請求項８】
前記第２の照明光および前記第３の照明光の波長帯域は、前記第１の照明光の波長帯域とは異なり、かつ、前記第２の照明光の中心波長と前記第３の照明光の中心波長とが互いに略同一である
請求項１に記載の検出機能付き表示装置。
【請求項９】
前記画像処理部において前記被位置検出物の位置検出を行う位置検出モード時には、前記第２の照明光および前記第３の照明光のうち前記第２の照明光のみを出射させ、前記画像処理部において前記被画像認識物の画像認識を行う画像認識モード時には、前記第２の照明光および前記第３の照明光のうち、少なくとも前記第３の照明光を出射させるように、前記第２の照明部および前記第３の照明部を制御する照明制御部
をさらに備える
請求項８に記載の検出機能付き表示装置。
【請求項１０】
前記照明制御部および前記画像処理部は、
前記投影面に投影する映像内容の変化に基づいて、前記画像認識モードと前記位置検出モードとの切り替えを行う
請求項９に記載の検出機能付き表示装置。
【請求項１１】
前記映像内容はゲームに関する映像であり、
前記照明制御部および前記画像処理部は、
前記ゲームの進行状況に基づいて、前記画像認識モードと前記位置検出モードとの切り替えを行う
請求項１０に記載の検出機能付き表示装置。
【請求項１２】
前記照明制御部および前記画像処理部は、
前記画像認識モード時に、前記画像処理部によって、所定の図柄の前記被画像認識物が特定位置に配置されたことが認識された場合に、前記位置検出モードに移行する
請求項９に記載の検出機能付き表示装置。
【請求項１３】
前記照明制御部および前記画像処理部は、
前記画像認識モード時に、前記画像処理部によって、所定の図形パターンが複数箇所で同時に認識された場合に、前記位置検出モードに移行する
請求項９に記載の検出機能付き表示装置。
【請求項１４】
前記画像処理部は、
前記画像認識モード時には、前記投影面上の所定の領域内において前記被画像認識物の画像認識を行うと共に、前記投影面上の所定の領域外において前記被位置検出物の所定動作の検出を行い、前記位置検出モード時には、少なくとも前記所定の領域内において前記被位置検出物の位置検出を行うようになされ、
前記照明制御部は、
前記画像認識モード時に、前記第２の照明光および前記第３の照明光の双方を出射させ、前記画像認識モード時に、前記画像処理部によって、前記所定の領域外で前記所定動作の検出がなされたことが検出された場合に、前記位置検出モードに移行する
請求項９に記載の検出機能付き表示装置。
【請求項１５】
前記第２の照明光および前記第３の照明光の波長帯域は、前記第１の照明光の波長帯域とは異なり、かつ、前記第２の照明光の中心波長と前記第３の照明光の中心波長とが互いに異なる
請求項１に記載の検出機能付き表示装置。
【請求項１６】
前記撮像素子は、
前記第２の照明光が入射する第１の撮像素子と、
前記第３の照明部が入射する第２の撮像素子と
を含む
請求項１５に記載の検出機能付き表示装置。
【請求項１７】
前記撮像部は、
前記投影光学系を介して入射した前記第２の照明光と前記第３の照明光とを互いに分離する光分離素子、をさらに含み、
前記光分離素子によって分離された前記第２の照明光の光路上に前記第１の撮像素子が配置され、前記光分離素子によって分離された前記第３の照明光の光路上に前記第２の撮像素子が配置されている
請求項１６に記載の検出機能付き表示装置。
【請求項１８】
前記撮像素子は、
前記第２の照明光が入射する第１の受光領域と、
前記第３の照明光が入射する第２の受光領域と
を含む
請求項１５に記載の検出機能付き表示装置。
【請求項１９】
前記画像処理部によって認識された前記被画像認識物の画像に関連する情報を含む前記映像データを前記ライトバルブに供給する表示制御部
をさらに備える
請求項１に記載の検出機能付き表示装置。
【請求項２０】
前記第２の照明光および前記第３の照明光のうち、少なくとも一方の波長は、７３０ｎｍ以上、７９０ｎｍ以下である
請求項１に記載の検出機能付き表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、映像を投影する機能と物体の検出機能とを有する検出機能付き表示装置に関する。
【背景技術】
【０００２】
近年、スマートフォンやタブレット端末等では、タッチパネルを用いることにより、画面に表示される映像のページ送りや拡大縮小を、人の直感に応じたポインティング操作で可能にしている。一方、映像をスクリーン上に投影することによって表示する表示装置がプロジェクタとして古くから知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−６４５５０号公報
【発明の概要】
【０００４】
近年では、プロジェクタにおいても、タブレット端末等のように、投影される映像を人の直感に応じる形でタッチパネルを手で操作するようにポインティング操作することが望まれている。
【０００５】
映像を投影しつつ、位置検出と画像認識とを行うことが可能な検出機能付き表示装置を提供することが望ましい。
【課題を解決するための手段】
【０００６】
本開示の一実施の形態に係る検出機能付き表示装置は、第１の照明光を出射する第１の照明部と、映像データに基づいて第１の照明光を変調して映像光を生成するライトバルブと、映像光を投影面に投影する投影光学系と、投影面上における被位置検出物の位置検出に用いられる第２の照明光を出射する第２の照明部と、投影面上における被画像認識物の画像認識に用いられる第３の照明光を出射する第３の照明部と、ライトバルブと光学的に共役な位置に配置された撮像素子を含み、投影光学系を介して、第２の照明光および第３の照明光が入射する撮像部と、撮像部の撮像結果に基づいて、被位置検出物の位置検出および被画像認識物の画像認識を行う画像処理部とを備えるものである。【０００７】
本開示の一実施の形態に係る検出機能付き表示装置では、第１の照明部から出射された第１の照明光に基づいて生成された映像光が投影面に投影される。第２の照明部から、投影面上における被位置検出物の位置検出に用いられる第２の照明光が出射される。第３の照明部から、投影面上における被画像認識物の画像認識に用いられる第３の照明光が出射される。【０００８】
本開示の一実施の形態に係る検出機能付き表示装置によれば、映像投影用の第１の照明光を出射する第１の照明部と、位置検出用の第２の照明光を出射する第２の照明部と、画像認識用の第３の照明光を出射する第３の照明部とを備えるようにしたので、映像を投影しつつ、位置検出と画像認識とを行うことが可能となる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【０００９】
【図１】本開示の第１の実施の形態に係る検出機能付き表示装置の一例を概略的に示す構成図である。
【図２】第１の実施の形態に係る検出機能付き表示装置の機能的な構成例を概略的に示すブロック図である。
【図３】第１の実施の形態に係る検出機能付き表示装置を側面方向から見た一構成例を概略的に示す構成図である。
【図４】第１の実施の形態に係る検出機能付き表示装置における撮像部の一構成例を概略的に示す構成図である。
【図５】第１の実施の形態に係る検出機能付き表示装置における照明光のスペクトルと撮像部のバンドパスフィルタの透過特性との一例を示す説明図である。
【図６】被画像認識物の撮像結果の一例を示す説明図である。
【図７】被位置検出物の撮像結果の一例を示す説明図である。
【図８】位置検出信号の一例を示す説明図である。
【図９】位置検出用照明光の高さの一例を示す説明図である。
【図１０】画像認識モードと位置検出モードとの切り替え手法の第１の例を示す説明図である。
【図１１】画像認識モードと位置検出モードとの切り替え手法の第２の例を示す説明図である。
【図１２】画像認識モードと位置検出モードとの切り替え手法の第３の例を示す説明図である。
【図１３】投影エリアの外側の領域に位置検出エリアを設ける手法を示す説明図である。
【図１４】投影エリアの外側の領域に位置検出エリアを設ける手法を示す説明図である。
【図１５】第２の実施の形態に係る検出機能付き表示装置における撮像部の一構成例を概略的に示す構成図である。
【図１６】第２の実施の形態に係る検出機能付き表示装置における照明光のスペクトルと撮像部のバンドパスフィルタの透過特性との一例を示す説明図である。
【図１７】第２の実施の形態に係る検出機能付き表示装置におけるＩＲ分離ミラーの反射特性の一例を示す説明図である。
【図１８】第３の実施の形態に係る検出機能付き表示装置における撮像素子の受光パターンの一例を示す説明図である。
【図１９】第３の実施の形態に係る検出機能付き表示装置における照明光のスペクトルと撮像素子の第１の受光領域の受光特性との一例を示す説明図である。
【図２０】第３の実施の形態に係る検出機能付き表示装置における照明光のスペクトルと撮像素子の第２の受光領域の受光特性との一例を示す説明図である。
【図２１】カラー印刷物の反射率の波長依存性の一例を示す説明図である。
【図２２】波長７８５ｎｍの照明光を用いた場合におけるカラー印刷物の実際の撮像結果の一例を示す説明図である。
【図２３】波長７３０ｎｍの照明光を用いた場合におけるカラー印刷物の実際の撮像結果の一例を示す説明図である。
【発明を実施するための形態】
【００１０】
以下、本開示の実施の形態について図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
０．比較例
１．第１の実施の形態（中心波長が略同じ２つの照明光を用いて、１つの撮像素子で位置検出と画像認識とを行う検出機能付き表示装置）
１．１  構成（図１〜図５）
１．２  動作（図６〜図１２）
１．３  効果
１．４  変形例（画像認識エリアの外側で位置検出を行うことが可能な検出機能付き表示装置）（図１３〜図１４）
２．第２の実施の形態（中心波長が異なる２つの照明光を用いて、２つの撮像素子で位置検出と画像認識とを行う検出機能付き表示装置）
２．１  構成および動作（図１５〜図１７）
２．２  効果
３．第３の実施の形態（中心波長が異なる２つの照明光を用いて、１つの撮像素子で位置検出と画像認識とを行う検出機能付き表示装置）
３．１  構成および動作（図１８〜図２０）
３．２  効果
４．第４の実施の形態（カラー画像の認識に適した検出機能付き表示装置）
４．１  構成および動作（図２１〜図２２）
４．２  効果
５．その他の実施の形態
【００１１】
＜０．比較例＞
近年、トレーディングカード市場では様々な種類のカードが各社から販売されている。例えばゲーム性の高い絵柄を有するカードやアニメや漫画のキャラクタを模した絵柄を有するカード等が数多くあり、非常に人気が出ている。玩具店やゲームセンタでは上記のようなカードをゲーム装置に差し込むことで、ユーザがゲーム装置を相手に自動で対戦することができる。しかしながら、人と人とが１：１の対戦型でプレイする場合には、ユーザがプレイマット上にカードを置き、互いのカードを出し合うことで、手動でゲームを進行させることが通常である。ゲーム進行においてはユーザがプレイ上の勝敗計算を自ら行う必要があり、煩雑である。そこで、プロジェクタとカメラとを組み合わせ、ゲーム進行を半自動的に、また勝敗計算も自動で行うことができるゲーム装置が開発されている。例えば、プロジェクタによってゲームに関する映像を投影すると共に、カメラによってカードの絵柄等を認識させることでカード情報を読み取り、ゲーム進行や勝敗計算に反映させるゲーム装置が開発されている。
【００１２】
（課題）
上記のようなゲーム装置では、カードを読み取るためのカメラを、プロジェクタとは別体として用意する必要があり、装置のコンパクト化が困難である。またカメラが別体であるため、投影された映像とカメラによって取り込まれた認識画像とにずれが生じ、取り込まれた認識画像に対する台形補正や位置補正といったキャリブレーションが必要とされ得る。
【００１３】
また、プロジェクタとしては映像の投影だけの機能しかないため、ユーザにとっては、映像体験となるＰｕｌｌの体験はできるが、ユーザ側からゲーム進行に必要な選択肢の指示や情報入力といったＰｕｓｈの機能がなくインタラクティブな装置ではなかった。
【００１４】
また他の例として、近年、ＣＤ（Compact Disc）（登録商標）、ＤＶＤ（Digital Versatile Disc）（登録商標）、およびＢＤ（Blu-ray Disc）（登録商標）のようなパッケージメディアを販売、レンタルする店舗では、メディアを特定の場所に置くと、そのメディアに関連する曲が流れたり、プロモーション映像が流れるといったサービスが提供されている。ただし、ユーザからはその映像を直接的に選択したり、直接的に曲を選ぶといった操作はできない。映像とは異なる位置にある別体の装置のハードスイッチを操作することで疑似的に映像を操作することができる場合もあるが、直接的に映像を触って操作する場合と異なり、直観的な操作は困難である。
【００１５】
一方、例えば特許文献１（特開２０１５−６４５５０号公報）には、投影された映像をタッチパネルのように操作可能なタッチ検出（位置検出）機能付きのプロジェクタが提案されている。
【００１６】
上記課題を解決するためには、プロジェクタに、タッチ検出（位置検出）機能に加え、投影面上におけるカードやメディア等の被画像認識物の画像認識を行う機能を付加することが望ましい。この場合、上記した認識画像の位置ずれの発生を抑制すると共に、投影された映像を直観的に操作可能にし、インタラクティブな装置を実現することが望ましい。
【００１７】
＜１．第１の実施の形態＞
［１．１  構成］
図１は、本開示の第１の実施の形態に係る検出機能付き表示装置の一構成例を概略的に示している。図２は、検出機能付き表示装置の機能的な構成例を概略的に示している。図３は、検出機能付き表示装置を側面方向から見た一構成例を概略的に示している。図４は、検出機能付き表示装置における撮像部５の一構成例を概略的に示している。図５は、検出機能付き表示装置に用いられる複数の照明光のスペクトルと撮像部５のバンドパスフィルタ５２の透過特性との一例を示している。
【００１８】
本実施の形態に係る検出機能付き表示装置は、映像を投影面３０に投影するプロジェクタとしての機能と、投影面３０上における例えば人の指等の被位置検出物７１の位置や動作を検出するタッチ検出（位置検出）機能と、投影面３０上におけるカードやメディア等の被画像認識物７２を画像認識する機能とを有している。
【００１９】
なお、投影面３０は投影用のスクリーンであってもよい。また、投影面３０は机の表面や床面等であってもよい。また、投影面３０は、壁面などであってもよい。
【００２０】
図１および図２に示したように、本実施の形態に係る検出機能付き表示装置は、映像投影用照明部１と、位置検出用照明部２と、画像認識用照明部３と、投影光学系４と、撮像部５と、検出画像処理部６と、照明制御部７と、表示制御部８とを備えている。本実施の形態に係る検出機能付き表示装置は、さらに、ライトバルブ２１と、偏光分離素子２３とを備えている。
【００２１】
映像投影用照明部１は、第１の照明光としての映像投影用照明光４１を出射する第１の照明部となっている。ライトバルブ２１は、偏光分離素子２３を介して、映像投影用照明部１から出射された映像投影用照明光４１によって照明される。
【００２２】
映像投影用照明部１は、図４に示したように、照明光学系１０と、光源部１１とを有している。光源部１１は、例えば、図５に示したように、Ｒ（赤色）、Ｇ（緑色）、およびＢ（青色）のスペクトルを持つ光を発するレーザ光源を有している。光源部１１は、例えば、Ｂ光を発する青色レーザ１１Ｂと、Ｇ光を発する緑色レーザ１１Ｇと、Ｒ光を発する赤色レーザ１１Ｒとを有している。赤色レーザ１１Ｒ、緑色レーザ１１Ｇ、および青色レーザ１１Ｂはそれぞれ、例えば図示しない発光制御部によってフィールドシーケンシャル方式で発光制御されてもよい。
【００２３】
照明光学系１０は、光源部１１からの光に基づいてＲＧＢのスペクトルを持つ映像投影用照明光４１を生成する。照明光学系１０は、光源部１１からの各色光を集光するコンデンサレンズ、各色光を均一化する光均一化部材、および各色の光路を合成する光路合成部材等を有していてもよい。
【００２４】
ライトバルブ２１は、表示制御部８から供給された映像データに基づいて映像投影用照明光４１を変調して映像光４４を生成する。ライトバルブ２１は、例えばＬＣＯＳ（Liquid Crystal On Silicon）等の反射型の液晶素子である。ライトバルブ２１で生成された映像光４４は、偏光分離素子２３、および投影光学系４を介して投影面３０に投影される。
【００２５】
位置検出用照明部２は、投影面３０上における被位置検出物７１の位置検出に用いられる第２の照明光としての位置検出用照明光４２を出射する第２の照明部となっている。位置検出用照明部２は、例えば本体１００の下部に設けられている。位置検出用照明部２は、少なくとも投影面３０における映像光４４の投影エリア３１を所定の高さから覆うように位置検出用照明光４２を出射する。
【００２６】
画像認識用照明部３は、投影面３０上における被画像認識物７２の画像認識に用いられる第３の照明光としての画像認識用照明光４３を出射する第３の照明部となっている。画像認識用照明部３は、少なくとも投影面３０における映像光４４の投影エリア３１を含む領域を画像認識用照明光４３によって照明する。
【００２７】
位置検出用照明光４２および画像認識用照明光４３の波長帯域は、図５に示したように、映像投影用照明光４１の波長帯域とは異なり、かつ、位置検出用照明光４２の中心波長と画像認識用照明光４３の中心波長とが互いに略同一となっている。
【００２８】
図５に示したように、映像投影用照明光４１の波長帯域は可視域であり、位置検出用照明光４２および画像認識用照明光４３の波長帯域は近赤外域となっている。位置検出用照明部２および画像認識用照明部３はそれぞれ、近赤外光源を含んでいる。画像認識用照明光４３の波長帯域は、位置検出用照明光４２の波長帯域よりも広いことが望ましい。
【００２９】
検出画像処理部６は、撮像部５の撮像結果に基づいて、被位置検出物７１の位置検出および被画像認識物７２の画像認識を行う画像処理部となっている。検出画像処理部６は、例えば、撮像部５からの検出信号を解析して、検出された物体の位置データ（座標データ）を取得する。検出画像処理部６は、被位置検出物７１の位置だけでなく、被位置検出物７１によるジェスチャー動作等の動きを解析する機能を有していてもよい。
【００３０】
表示制御部８から供給される映像データには、検出画像処理部６によって認識された被画像認識物７２の画像に関連する情報を含む映像データが含まれていてもよい。
【００３１】
照明制御部７は、位置検出用照明部２による位置検出用照明光４２のオン（出射）、オフ（非出射）の切り替え制御と、画像認識用照明部３による画像認識用照明光４３のオン（出射）、オフ（非出射）の切り替え制御とを行うようになっている。
【００３２】
照明制御部７は、検出画像処理部６において被位置検出物７１の位置検出を行う位置検出モード時には、位置検出用照明光４２および画像認識用照明光４３のうち位置検出用照明光４２のみを出射させるように、位置検出用照明部２および画像認識用照明部３を制御する。また、照明制御部７は、検出画像処理部６において被画像認識物７２の画像認識を行う画像認識モード時には、位置検出用照明光４２および画像認識用照明光４３のうち、少なくとも画像認識用照明光４３を出射させるように、位置検出用照明部２および画像認識用照明部３を制御する。
【００３３】
投影光学系４は、図２に示したように、投射レンズ２４を有している。投射レンズ２４は、超短焦点レンズであってもよい。投影光学系４は、映像を投影するための機能の他、位置検出および画像認識のための結像光学系としての機能を有している。投影光学系４には、ライトバルブ２１で生成された映像光４４が入射すると共に、画像認識用照明光４３と、被位置検出物７１による位置検出用照明光４２の散乱光Ｌａとが投影面３０側から取り込まれる。
【００３４】
撮像部５は、撮像素子２２と、撮像光学系２５とを有している。
【００３５】
撮像素子２２は、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）などの固体撮像素子で構成されている。撮像素子２２は、投影面３０と光学的に共役な位置に配置されている。また、撮像素子２２は、ライトバルブ２１と光学的に共役な位置に配置されている。より具体的には、ライトバルブ２１が反射型の液晶素子である場合、映像を作り出す表示面（液晶面）と撮像素子２２の撮像面とが光学的に共役な位置となるように配置されている。撮像素子２２には、投影光学系４および偏光分離素子２３を介して、位置検出用照明光４２の散乱光Ｌａおよび画像認識用照明光４３が入射する。撮像素子２２は、少なくとも投影面３０上の投影エリア３１と略同一のエリアを撮像エリアとした撮像を行うことが可能となっている。
【００３６】
撮像光学系２５は、ライトバルブ２１の光学的な共役面５０と撮像素子２２との間に配置されている。撮像光学系２５は、例えば図４に示したように、複数枚のリレーレンズ５３を含む縮小光学系５１と、バンドパスフィルタ５２とを有している。
【００３７】
リレーレンズ５３を含む縮小光学系５１を配置することで、ライトバルブ２１と光学的に共役な位置を共役面５０よりも遠方に設けることができる。また、縮小光学系５１を配置することで、ライトバルブ２１と光学的に共役な位置に配置しつつ、撮像素子２２のサイズをライトバルブ２１よりも小さくすることができる。
【００３８】
バンドパスフィルタ５２は、映像投影用照明光４１と位置検出用照明光４２および画像認識用照明光４３とを分離するために設けられている。バンドパスフィルタ５２は、例えば図５に示したように、映像投影用照明光４１を抑制し、位置検出用照明光４２および画像認識用照明光４３の中心帯域を透過するような透過特性とされている。
【００３９】
撮像素子２２上に結像する光は微弱であるため、画像認識および位置検出の際に信号のサチレーションを防ぐ目的でバンドパスフィルタ５２を挿入することが重要となる。バンドパスフィルタ５２の特性を、近赤外領域を透過し、可視光、および近赤外以外の赤外光は抑制する特性にすることにより、プロジェクタとしての機能と位置検出および画像認識の機能とを両立させることが可能となる。バンドパスフィルタ５２によって位置検出および画像認識の際に不要となる光を抑制することで、撮像素子２２上には位置検出光（位置検出用照明光４２の散乱光Ｌａ）と画像認識光（画像認識用照明光４３）とを信号光として導くことが可能となる。これにより、撮像素子２２上でＳ／Ｎのよい鮮明な画像情報を得ることが可能となる。この特性に律速し、上述したように、位置検出用照明光４２および画像認識用照明光４３の中心波長は略同一の波長帯とすることが望ましい。
【００４０】
偏光分離素子２３は、例えば図４に示したように、４つの光学面を有する偏光ビームスプリッタとなっている。ここでは、図４における水平方向に対向する２つの面を第１の光学面および第３の光学面とし、垂直方向に対向する２つの面を第２の光学面および第４の光学面として説明する。図４に示したように、第１の光学面には、映像投影用照明部１からの映像投影用照明光４１が入射する。ライトバルブ２１は、偏光分離素子２３の第２の光学面側に配置されている。偏光分離素子２３の第３の光学面側には、撮像部５が配置されている。偏光分離素子２３の第４の光学面側には、投影光学系４が配置されている。
【００４１】
偏光分離素子２３は、入射した光を第１の偏光成分（例えばＳ偏光成分）と第２の偏光成分（例えばＰ偏光成分）とに分離し、それぞれを互いに異なる方向に出射する。偏光分離素子２３は、特定の第１の偏光成分を選択的に反射させると共に、特定の第２の偏光成分を選択的に透過させる。偏光分離素子２３は、第１の光学面に入射した映像投影用照明光４１に含まれる第１の偏光成分をライトバルブ２１に向けて反射する。ライトバルブ２１で変調され、第２の偏光成分とされた光が、偏光分離素子２３の第４の光学面から出射し、映像光４４として投影光学系４に入射する。
【００４２】
また、偏光分離素子２３の第４の光学面には、投影光学系４を介して位置検出用照明光４２の散乱光Ｌａと画像認識用照明光４３とが入射する。偏光分離素子２３は、位置検出用照明光４２の散乱光Ｌａおよび画像認識用照明光４３に含まれる第１の偏光成分を第３の光学面を介して撮像部５に向けて反射する。
【００４３】
［１．２  動作］
（画像認識について）
図６は、撮像部５による被画像認識物７２の撮像結果の一例を示している。
図６の撮像結果は、映像光４４を投影しつつ、画像認識モードにした場合の被画像認識物７２の撮像結果の一例を示している。ここでの画像認識モードとは、画像認識用照明オン、かつ位置検出照明オフにした状態とする。
【００４４】
上記の構成により、映像光４４によって投影面３０に投影された映像情報には影響を受けずに、投影エリア３１に配置された被画像認識物７２の情報を、図６のように画像認識用照明光４３で照らされた輝度の情報として、撮像素子２２によって撮像することができる。検出画像処理部６は、撮像素子２２による検出信号を画像処理し、被画像認識物７２を個体認識する。被画像認識物７２がカードやＣＤ等の場合、検出画像処理部６は、表面に印刷された絵柄といった特徴点を認識することで、被画像認識物７２を個体認識する。検出画像処理部６は、認識した被画像認識物７２に関連する情報を表示制御部８にフィードバックする。表示制御部８は、認識した被画像認識物７２に関連する情報が含まれる映像データをライトバルブ２１に供給する。これにより、認識した被画像認識物７２に関連する情報を映像として投影することができる。
【００４５】
図６は、撮像素子２２によって撮像された被画像認識物７２の生画像である。図６を見ても分かるとおり、撮像素子２２で撮像された画像には台形歪や位置ずれはほとんど無い。上記比較例で説明したように、別体のカメラで撮像した画像の場合には、位置ずれが発生しやすく、また、本実施の形態に係る検出機能付き表示装置とは投射スタイル（撮像スタイル）が異なり、カメラの画角や物体との像関係のずれにより台形歪が容易に発生してしまう。本実施の形態に係る検出機能付き表示装置の構成では、被画像認識物７２から撮像素子２２に至る光路上に投影光学系４が配置され、画像認識のための光学系が映像投影用の光学系と部分的に共通化されている。これにより、台形歪や位置ずれの発生が抑制される。台形歪や位置ずれの発生を抑制するために、投影光学系４に超短焦点の投射レンズ２４を用いることが望ましい。
【００４６】
（位置検出について）
図７は、撮像部５による被画像認識物７２の撮像結果の一例を示している。図８は、撮像素子２２の撮像結果に基づく検出信号の一例を示している。図７の撮像結果は、映像光４４を投影しつつ、位置検出モードにした場合の被位置検出物７１の撮像結果の一例を示している。ここでの位置検出モードとは、画像認識用照明オフ、かつ位置検出照明オンにした状態とする。
【００４７】
本実施の形態に係る検出機能付き表示装置では、画像認識だけではなく、位置検出機能があり、タブレット端末等での直感的な操作を踏襲したタッチインタラクションの機能を実現可能となっている。これにより、ユーザに対して、より自然な操作や、映像提供側が意図した映像体験を実現することができる。
【００４８】
位置検出用照明部２は、図１および図３に示すように、少なくとも投影面３０における映像光４４の投影エリア３１を所定の高さから覆うように広角で広げられた位置検出用照明光４２を、本体１００の下部から出射する。これにより、少なくとも投影面３０における投影エリア３１が、所定の高さから位置検出用照明光４２による近赤外光バリアで覆われる。このような近赤外光バリアで覆うことにより、指等の被位置検出物７１による指示が無い場合は位置検出用照明光４２は拡散しない。一方、指等で投影エリア３１を指し示した場合には、近赤外光バリアを遮る形となり、指等に当たった位置検出用照明光４２の散乱光Ｌａが生じる。この位置検出用照明光４２の散乱光Ｌａが、上記した画像認識の場合と同様に、投影光学系４および偏光分離素子２３を介して、撮像素子２２に入射する。ここで、撮像素子２２と投影面３０は光学的に共役の関係にある位置に配置してあるため、映像投影位置と指等による指し示した位置とが１：１の関係にある。従って、検出画像処理部６によって撮像素子２２の撮像結果に基づく検出信号を解析することで、投影面３０上で指等で指し示した位置（座標）を特定することができる。検出画像処理部６は、特定した位置情報を表示制御部８にフィードバックすることで、投影する映像データに反映させる。これにより、ユーザは指等をマウスのポインタのような役割として、映像を操作することが可能となる。
【００４９】
検出画像処理部６において、指等で指示した位置を特定する場合、例えば図８に示すように、適切なしきい値を設けて検出信号を２値化することで、ノイズ成分と分離して位置信号を抽出することができる。ただし、本実施の形態では、位置検出用照明光４２および画像認識用照明光４３の中心波長を略同一にしているため、画像認識用照明光４３を投影面３０に照らしていると、ノイズレベルが非常に高くなり、位置信号を抽出することが困難となる。従って、本実施の形態では、位置検出モードでは、画像認識用照明光４３を適切なタイミングでオフすることが望ましい。
【００５０】
（画像認識モードと位置検出モードとの切り替えについて）
図１０は、画像認識モードと位置検出モードとの切り替え手法の第１の例を示している。
照明制御部７および検出画像処理部６は、例えば、投影面３０に投影する映像内容の変化に基づいて、画像認識モードと位置検出モードとの切り替えを行うようにしてもよい。例えば映像内容がゲームに関する映像である場合、照明制御部７および検出画像処理部６は、ゲームの進行状況に基づいて、画像認識モードと位置検出モードとの切り替えを行うようにしてもよい。
【００５１】
例えば画像認識モードでゲーム進行をしている状況で、ゲームのシナリオ進行上の特定の状況になると、照明制御部７および検出画像処理部６は、画像認識モードから位置検出モードへと移行してもよい。この場合、表示制御部８は、タッチ検出に適したタッチメニュー表示を行うようにしてもよい。タッチメニュー表示の状態でユーザが特定のメニューを選択したことを検出画像処理部６が検出した場合には、位置検出モードから画像認識モードへと移行してもよい。
【００５２】
これにより、本実施の形態に係る検出機能付き表示装置をカードゲーム装置に適用した場合には、例えばゲーム進行時にゲームのアプリケーション側から位置検出モードと画像認識モードとを切り替えることが可能となる。例えば、カードプレイ時は画像認識用照明をオンとして、カード認識モード（画像認識モード）にする。また、ゲーム進行においてユーザが何らかのメニューを選択する必要等がある場合は、画像認識用照明をオフにして、位置検出用照射をオンにすることで、投影面３０をタッチパネルのように操作することが可能となる。
【００５３】
図１１は、画像認識モードと位置検出モードとの切り替え手法の第２の例を示している。
照明制御部７および検出画像処理部６は、例えば、画像認識モード時に、図１１に示したように所定の図柄の被画像認識物７２Ａが投影面３０上の特定位置に配置されたことが検出画像処理部６によって認識された場合に、位置検出モードに移行するようにしてもよい。
【００５４】
図１２は、画像認識モードと位置検出モードとの切り替え手法の第３の例を示している。
照明制御部７および検出画像処理部６は、例えば、画像認識モード時に、検出画像処理部６によって所定の図形パターンが投影面３０上の複数箇所で同時に認識された場合に、位置検出モードに移行するようにしてもよい。図１２の例では、投影面３０上の２つの特定の位置に、位置検出モードへの移行を促す所定の図形パターンの被画像認識物７３Ａ，７３Ｂが配置された例を示している。所定の図形パターンは、例えば図１２の例のように、特定の手の形状のパターンであってもよい。
【００５５】
上記した例に限らず、その他の切り替え手法もあり得る。例えばＣＤやＤＶＤ等のパッケージメディアを販売、レンタルする店舗において、試聴のためにメディアを特定の場所に置くと、そのメディアに関連する情報を提供するようなシステムに適用する場合、最初に画像認識モードにしておいてもよい。そして、画像認識モードの状態で、映像の投影面３０上にメディアが配置されたことを認識し、メディアの表面に記載の情報等を認識したのち、位置検出モードに移行し、ユーザが選択可能なメニュー表示を行うようにしてもよい。これにより、例えば、ユーザが聞きたい曲番をタッチ動作で選択する操作や、映像の見たいパートまでユーザがシーク動作をするような、メディアに応じた直観に合わせた画面操作が可能となる。
【００５６】
（位置検出用照明光４２の高さと被画像認識物７２の高さとの関係）
図９は、投影面３０に対する位置検出用照明光４２の高さの一例を示している。
位置検出用照明部２は、上述したように、投影面３０に対して所定の高さから位置検出用照明光４２を出射する。この場合において、位置検出用照明部２は、投影面３０に対して被画像認識物７２を所定数重ねた高さよりも高い位置から、投影面３０に対して略平行となる光を、位置検出用照明光４２として出射することが望ましい。
【００５７】
上述したように、本実施の形態に係る検出機能付き表示装置では、指等の被位置検出物７１を検出する場合、指等によって位置検出用照明光４２による近赤外光バリアが遮られた場合に発生する散乱光Ｌａを検出する。このため、指等で投影面３０の近傍を指し示していない場合には、散乱光Ｌａが発生しない状態にすることが望ましい。従って、位置検出用照明光４２の投影面３０に対する高さが低すぎると、投影面３０に配置される被画像認識物７２によって散乱光Ｌａが発生しまうので、被画像認識物７２によって散乱光Ｌａが発生しないような高さから位置検出用照明光４２を出射することが望ましい。
【００５８】
なお、上記した所定数とは、想定される被画像認識物７２に応じた数に設定することが望ましい。例えば、本実施の形態に係る装置をカードゲームに適用する場合、被画像認識物７２はカードになるが、その場合、カードは複数枚重ねて使用する形態があり得る。この場合、所定数とは複数枚となり得る。また、被画像認識物７２がＣＤやＤＶＤ等のパッケージメディアである場合、通常は、メディアを重ねて使用しない形態であり得る。この場合、所定数とは１枚となり得る。
【００５９】
（画像認識用照明光４３の拡散角について）
画像認識用照明光４３の出射拡散角θ２は、図３に示したように、位置検出用照明光４２の出射拡散角θ１よりも大きいことが望ましい。また、画像認識用照明光４３の出射拡散角θ２の大きさは、位置検出用照明光４２の出射拡散角θ１の大きさの１０倍以上であることが望ましい。なお、ここでいう出射拡散角θ１，θ２とは、投影面３０に対して垂直方向の拡散角である。
【００６０】
例えば、位置検出用照明光４２の出射拡散角θ１は２°以内であってもよい。また、画像認識用照明光４３の出射拡散角θ２は、投影エリア３１の大きさにも依存するが、３０°以上であってもよい。
【００６１】
（各照明光の出射位置）
画像認識用照明部３における画像認識用照明光４３の出射位置Ｐ３は、図５に示したように、投影面３０に対して、位置検出用照明部２における位置検出用照明光４２の出射位置Ｐ２よりも遠方であることが望ましい。
【００６２】
また、投影光学系４における映像光４４の出射位置Ｐ１は、図５に示したように、投影面３０に対して、位置検出用照明部２における位置検出用照明光４２の出射位置Ｐ２よりも遠方であることが望ましい。また、画像認識用照明部３における画像認識用照明光４３の出射位置Ｐ３は、図５に示したように、投影面３０に対して、投影光学系４における映像光４４の出射位置Ｐ１よりも遠方であることが望ましい。
【００６３】
［１．３  効果］
以上のように、本実施の形態によれば、映像投影用照明光４１を出射する映像投影用照明部１と、位置検出用照明光４２を出射する位置検出用照明部２と、画像認識用照明光４３を出射する画像認識用照明部３とを備えるようにしたので、映像を投影しつつ、タッチ検出（位置検出）と画像認識とを行うことが可能となる。これにより、認識画像の位置ずれの発生を抑制すると共に、投影された映像を直観的に操作可能にし、インタラクティブな装置を実現することが可能となる。
【００６４】
なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。以降の他の実施の形態の効果についても同様である。
【００６５】
［１．４  変形例］
上記第１の実施の形態では、映像の投影エリア３１と略同一エリア内で画像認識と位置検出とを行う例を示したが、映像の投影エリア３１の他に、投影エリア３１の外側の領域にも画像認識エリアまたは位置検出エリアを設けるようにしてもよい。この場合、投影エリア３１の外側の領域に設けた画像認識エリアまたは位置検出エリアを、画像認識モードと位置検出モードとの切り替えを行うために利用するようにしてもよい。
【００６６】
例えば、画像認識モード時には、映像の投影エリア３１と略同一エリア内を画像認識エリアにすると共に、投影エリア３１の外側の領域に位置検出エリアを設けるようにしてもよい。この場合、画像認識モード時には、画像認識用照明と位置検出用照明との双方をオンにする。そして、位置検出エリアにおいて、例えば位置検出モードへの移行を促す所定動作の検出が行われた場合に、位置検出モードに移行するようにしてもよい。ここで、所定動作は、指等で略同一位置を素早く軽く２回叩く動作、いわゆるダブルタップ等の動作であってもよい。位置検出モードでは、少なくとも映像の投影エリア３１と略同一エリア内を位置検出エリアにするようにしてもよい。この場合、位置検出モード時には、画像認識用照明をオフ、位置検出用照明をオンにすることが望ましい。また、位置検出モード時には、位置検出モードから画像認識モードへの移行を促すメニュー表示を投影エリア３１に投影し、その選択が行われた場合に画像認識モードへの移行を行うようにしてもよい。
【００６７】
上記切り替え動作を行うために、例えば、検出画像処理部６は、画像認識モード時には、投影面３０上の所定の領域内（例えば投影エリア３１と略同一エリア内）において被画像認識物７２の画像認識を行うと共に、投影面３０上の所定の領域外（例えば投影エリア３１の外側の領域）において被位置検出物７１の所定動作の検出を行うようにしてもよい。検出画像処理部６は、位置検出モード時には、少なくとも所定の領域内（例えば投影エリア３１と略同一エリア内）において被位置検出物７１の位置検出を行うようにしてもよい。
【００６８】
また、上記切り替え動作を行うために、照明制御部７は、画像認識モード時に、位置検出用照明光４２および画像認識用照明光４３の双方を出射させるように位置検出用照明部２と画像認識用照明部３とを制御してもよい。また、照明制御部７は、画像認識モード時に、検出画像処理部６によって所定の領域外で所定動作の検出がなされたことが検出された場合に、位置検出モードに移行するようにしてもよい。
【００６９】
（投影エリア３１の外側の領域に位置検出エリアを設ける手法）
図１３および図１４を参照して、投影エリア３１の外側の領域に位置検出エリアを設ける手法について説明する。
【００７０】
図１３および図１４では、投影エリア３１の外側の領域に位置検出エリアとしての複数のチャンネル領域ＣＨ１，ＣＨ２，ＣＨ３，ＣＨ４を設けた例を示している。
【００７１】
図１３には、イメージサークルＣ１と、ライトバルブ２１の有効エリアに対応する面形状（矩形状Ａ１）と、撮像素子２２の有効エリアに対応する面形状（矩形状Ａ３）と、チャンネル領域ＣＨ１，ＣＨ２，ＣＨ３，ＣＨ４との位置関係の一例を示す。矩形状Ａ１，Ａ３は、詳細には、投射レンズ２４の略焦点距離の位置における面形状に対応する。一般に、「イメージサークル」とは、レンズを通過した光が結像する円形の範囲のことを示す。プロジェクタなどの投影系においては、ライトバルブ２１の配置された位置で、ライトバルブ２１の有効エリアが確保されるように設計される。すなわち、投射レンズ２４において、ライトバルブ２１の有効エリアから出射された光線の通過領域が確保されるように設計がなされる。一方、カメラ等の撮像系の場合は、撮像レンズにおいて、撮像素子２２の有効エリアに入射する光線の通過領域が確保されるように、設計がなされる。本実施の形態では、１つの投射レンズ２４により、映像投射と、検出光（近赤外光）の取り込みとを行うことから、イメージサークルＣ１は、最も像高の高い部分を通過する光線が確保されるように設定されることが望ましい。
【００７２】
投射レンズ２４が超短焦点レンズである場合、イメージサークルＣ１は、像高が一方向（図１３のＹ方向）に沿って大きくシフトした（オフセットした）光線の通過領域が確保されるように設計される。ここで、映像を投影するのみのプロジェクタの場合、ライトバルブ２１の矩形状Ａ１の一部の頂点に外接するようにイメージサークルＣ１００が設計される。具体的には、イメージサークルＣ１００は、矩形状Ａ１において１つの長辺を共有する一対の頂点Ａ１１，Ａ１２に接するように設計される。矩形状Ａ１に外接するようにイメージサークルＣ１００を設計するのは、イメージサークルＣ１００の径自体が非常に大きく、投射レンズ２４のサイズが巨大なものであることから、特性維持の面においてもコストの面においても、径を最小限に抑えたいためである。
【００７３】
ところで、本実施の形態では、位置検出用照明光４２が投影面３０に対して所定の高さで照射されることから、被位置検出物７１の実際の検出位置は投影面３０上の位置に対して所定の高さに相当する差分がある。イメージサークルＣ１は、この差分を考慮して設計されることが望ましい。具体的には、イメージサークルＣ１は、上記差分を考慮したカバーエリアＡ２ａを含む矩形状Ａ２を包含するのがよい。投影エリア３１の角部（頂点部分）においても物体検出が可能になるためである。
【００７４】
投影エリア３１の周辺部に位置検出エリアを確保するために、撮像素子２２の矩形状Ａ３は、ライトバルブ２１の矩形状Ａ１よりも大きなサイズで設計する。換言すると、撮像素子２２の対角サイズが以下の条件式（１）を満たすように構成する。ただし、ｄ１をライトバルブ２１の対角サイズ、ｄ２を撮像素子２２の対角サイズ、βを撮像光学系２５の光学倍率（縮小光学系の場合はβ＞１、拡大光学系の場合はβ＜１、等倍光学系の場合はβ＝１）とする。ただし、本実施の形態では、撮像光学系２５が縮小光学系５１を有することから、このβは、縮小光学系５１の縮小倍率であり、β＞１とする。なお、対角サイズｄ１はライトバルブ２１の有効エリアの対角サイズであり、対角サイズｄ２は、撮像素子２２の有効エリアの対角サイズである。これにより、ライトバルブ２１の矩形状Ａ１の周辺に、エリア外検出用のチャンネル領域ＣＨ１〜ＣＨ４を割り当て可能となる。換言すると、イメージサークルＣ１は、矩形状Ａ１，Ａ２の周囲に空き領域を有しており、この空き領域に、チャンネル領域ＣＨ１〜ＣＨ４を割り当てることができる。また、撮像素子２２の矩形状Ａ３の頂点Ａ３１，Ａ３２が、イメージサークルＣ１に接するように構成されていてもよいし、矩形状Ａ３の頂点Ａ３１，Ａ３２がイメージサークルＣ１の外周からはみ出すように構成されていてもよい。
ｄ１＜β×ｄ２  ……（１）
【００７５】
チャンネル領域ＣＨ１〜ＣＨ４は、例えば矩形状Ａ１の各辺に対向して設けられると共に、それぞれが矩形状Ａ１の外周に沿って長手方向を有する矩形状の領域となっている。ただし、このレイアウトはあくまでも一例である。チャンネル領域ＣＨ１〜ＣＨ４は、矩形状Ａ１の外周よりも外側で、かつイメージサークルＣ１の外周よりも内側の領域に割り当てられていればよく、その個数、形状、位置などは特に限定されるものではない。また、矩形状Ａ１の１つの辺に複数のチャンネル領域を割り当て、実行対象の機能を増やしていてもよい。あるいは逆に、チャンネル領域は矩形状Ａ１の周辺に１つだけ設けられていてもよい。ここでは、矩形状Ａ１の４辺に対向してチャンネル領域ＣＨ１〜ＣＨ４が割り当てられている場合を例に挙げて説明する。
【００７６】
図１４に、そのようなチャンネル設定に基づく投影面３０上のレイアウトの一例について示す。このように、例えば、投影エリア３１の周辺に、チャンネル領域ＣＨ１，ＣＨ２，ＣＨ３，ＣＨ４が形成される。これらのチャンネル領域ＣＨ１，ＣＨ２，ＣＨ３，ＣＨ４は、指等で操作することを想定した場合、幅ｂが１０ｍｍ以上であることが望ましい。また、幅ｂは、より望ましくは３０ｍｍ以上であり、さらにに望ましくは５０ｍｍ以上である。なお、この例は、投影エリア３１が全画面表示（フルサイズ表示）である場合について示している。
【００７７】
その他の構成、動作、ならびに効果は、上記第１の実施の形態に係る検出機能付き表示装置と略同様であってもよい。
【００７８】
＜２．第２の実施の形態＞
次に、本開示の第２の実施の形態に係る検出機能付き表示装置について説明する。なお、以下では、上記第１の実施の形態に係る検出機能付き表示装置の構成要素と略同じ部分については、同一符号を付し、適宜説明を省略する。
【００７９】
［２．１  構成および動作］
上記第１の実施の形態では、位置検出用照明光４２および画像認識用照明光４３の中心波長を互いに略同一とし、画像認識モードと位置検出モードとを時間的に切り替える例を示した。これに対して、本実施の形態では、位置検出用照明光４２および画像認識用照明光４３の中心波長を互いに異なる波長とし、画像認識と位置検出とを時間的に同時に行うことが可能な検出機能付き表示装置を提供する。
【００８０】
図１５は、本開示の第２の実施の形態に係る検出機能付き表示装置における撮像部５Ａの一構成例を概略的に示している。図１６は、第２の実施の形態に係る検出機能付き表示装置における照明光のスペクトルと撮像部５Ａの広帯域バンドパスフィルタ５２Ａの透過特性との一例を示している。図１７は、第２の実施の形態に係る検出機能付き表示装置におけるＩＲ分離ミラー５４の反射特性の一例を示している。
【００８１】
本実施の形態に係る検出機能付き表示装置は、上記第１の実施の形態に係る検出機能付き表示装置における撮像部５（図４）に代えて、撮像部５Ａを備えている。
【００８２】
撮像部５Ａは、上記第１の実施の形態における撮像素子２２に代えて、位置検出用照明光４２が入射する第１の撮像素子２２Ａと、画像認識用照明光４３が入射する第２の撮像素子２２Ｂとを有している。
【００８３】
また、撮像部５Ａは、上記第１の実施の形態における撮像光学系２５に代えて、撮像光学系２５Ａを有している。
【００８４】
第１の撮像素子２２Ａと第２の撮像素子２２Ｂはそれぞれ、偏光分離素子２３と撮像光学系２５Ａとを介してライトバルブ２１と光学的に共役な位置に配置されている。第１の撮像素子２２Ａと第２の撮像素子２２Ｂはそれぞれ、検出画像処理部６に撮像結果を出力する。検出画像処理部６は、それぞれの撮像結果を解析して、被位置検出物７１の位置検出および被画像認識物７２の画像認識を行う。
【００８５】
撮像光学系２５Ａは、広帯域バンドパスフィルタ５２Ａと、ＩＲ分離ミラー５４とを有している。ＩＲ分離ミラー５４は、投影光学系４を介して入射した位置検出光（位置検出用照明光４２の散乱光Ｌａ）と画像認識光（画像認識用照明光４３）とを互いに分離する光分離素子となっている。ＩＲ分離ミラー５４によって分離された位置検出光の光路上に第１の撮像素子２２Ａが配置され、ＩＲ分離ミラー５４によって分離された画像認識光の光路上に第２の撮像素子２２Ｂが配置されている。
【００８６】
本実施の形態では、位置検出用照明光４２および画像認識用照明光４３の波長帯域は、図１６に示したように、映像投影用照明光４１の波長帯域とは異なり、かつ、位置検出用照明光４２の中心波長と画像認識用照明光４３の中心波長とが互いに異なる。
【００８７】
広帯域バンドパスフィルタ５２Ａは、映像投影用照明光４１と位置検出用照明光４２および画像認識用照明光４３とを分離するために設けられている。広帯域バンドパスフィルタ５２Ａは、例えば図１６に示したように、映像投影用照明光４１を抑制し、位置検出用照明光４２および画像認識用照明光４３の中心帯域を透過するような透過特性とされている。
【００８８】
ＩＲ分離ミラー５４は、例えば図１７に示したように、位置検出用照明光４２を透過し、画像認識用照明光４３を反射するような反射特性を有している。
【００８９】
具体的には位置検出用照明光４２の中心波長は略７８０ｎｍであってもよい。画像認識用照明光４３の中心波長は略８５０ｎｍであってもよい。ＩＲ分離ミラー５４のカットオフ波長は略８１０ｎｍであってもよい。一般的に、シャープカット特性を有するミラーは２０ｎｍもあれば、帯域を分離することが可能なので、上記のような波長特性であれば、ＩＲ分離ミラー５４は位置検出用照明光４２と画像認識用照明光４３とを分離することが可能となる。
【００９０】
［２．２  効果］
以上のように、本実施の形態によれば、位置検出用の第１の撮像素子２２Ａと画像認識用の第２の撮像素子２２Ｂとを配置し、位置検出用照明光４２および画像認識用照明光４３の中心波長を互いに異なる波長にしてそれぞれ別々に撮像するようにしたので、画像認識と位置検出とを時間的に同時に行うことが可能となる。これにより、上記第１の実施の形態のような画像認識モードと位置検出モードとの時間的な切り替えを行う必要がなくなる。
【００９１】
その他の構成、動作、ならびに効果は、上記第１の実施の形態に係る検出機能付き表示装置と略同様であってもよい。
【００９２】
＜３．第３の実施の形態＞
次に、本開示の第３の実施の形態に係る検出機能付き表示装置について説明する。なお、以下では、上記第１または第２の実施の形態に係る検出機能付き表示装置の構成要素と略同じ部分については、同一符号を付し、適宜説明を省略する。
【００９３】
［３．１  構成および動作］
上記第２の実施の形態では、位置検出用照明光４２および画像認識用照明光４３の中心波長を互いに異なる波長とし、位置検出用の第１の撮像素子２２Ａと画像認識用の第２の撮像素子２２Ｂとを配置することで、画像認識と位置検出とを時間的に同時に行うことを可能にしている。これに対して、本実施の形態では、１つの撮像素子２２のみで画像認識と位置検出とを時間的に同時に行うことが可能な検出機能付き表示装置を提供する。
【００９４】
図１８は、本開示の第３の実施の形態に係る検出機能付き表示装置における撮像素子２２の受光パターンの一例を示している。図１９は、第３の実施の形態に係る検出機能付き表示装置における照明光のスペクトルと撮像素子２２の第１の受光領域ＩＲ１の受光特性との一例を示している。図２０は、第３の実施の形態に係る検出機能付き表示装置における照明光のスペクトルと撮像素子２２の第２の受光領域ＩＲ２の受光特性との一例を示している。
【００９５】
本実施の形態における撮像部５の撮像光学系は、上記第１の実施の形態における撮像光学系２５（図４）と略同様であってもよい。ただし、本実施の形態では、撮像素子２２の受光領域が、図１８に示したように、位置検出用照明光４２が入射する第１の受光領域ＩＲ１と、画像認識用照明光４３が入射する第２の受光領域ＩＲ２とに分割されている。例えば、第１の受光領域ＩＲ１と第２の受光領域ＩＲ２とで異なる波長の光が入射するように、第１の受光領域ＩＲ１と第２の受光領域ＩＲ２とに対応する光フィルタを撮像素子２２の受光面に配置するようにしてもよい。なお、図１８に示した受光領域のパターンは一例であり、これとは異なるパターンを有していてもよい。
【００９６】
本実施の形態では、上記第２の実施の形態と同様に、位置検出用照明光４２および画像認識用照明光４３の波長帯域は、映像投影用照明光４１の波長帯域とは異なり、かつ、図１９および図２０に示したように、位置検出用照明光４２の中心波長と画像認識用照明光４３の中心波長とが互いに異なる。
【００９７】
第１の受光領域ＩＲ１は、例えば図１９に示したように、画像認識用照明光４３の通過を抑制するような受光特性を有している。また、第２の受光領域ＩＲ２は、例えば図２０に示したように、位置検出用照明光４２の通過を抑制するような受光特性を有している。
【００９８】
撮像素子２２は、第１の受光領域ＩＲ１と第２の受光領域ＩＲ２とにおけるそれぞれの撮像結果を検出画像処理部６に出力する。検出画像処理部６は、各領域の撮像結果を解析して、被位置検出物７１の位置検出および被画像認識物７２の画像認識を行う。
【００９９】
［３．２  効果］
以上のように、本実施の形態によれば、撮像素子２２に受光帯域の異なる位置検出用の第１の受光領域ＩＲ１と画像認識用の第２の受光領域ＩＲ２とを設け、位置検出用照明光４２および画像認識用照明光４３の中心波長を互いに異なる波長にしてそれぞれ空間的に別々に撮像するようにしたので、１つの撮像素子２２で、画像認識と位置検出とを時間的に同時に行うことが可能となる。これにより、上記第１の実施の形態のような画像認識モードと位置検出モードとの時間的な切り替えを行う必要がなくなる。
【０１００】
その他の構成、動作、ならびに効果は、上記第１または第２の実施の形態に係る検出機能付き表示装置と略同様であってもよい。
【０１０１】
＜４．第４の実施の形態＞
次に、本開示の第４の実施の形態に係る検出機能付き表示装置について説明する。なお、以下では、上記第１ないし第３の実施の形態のいずれかに係る検出機能付き表示装置の構成要素と略同じ部分については、同一符号を付し、適宜説明を省略する。
【０１０２】
［４．１  構成および動作］
上記第１ないし第３の実施の形態に係る検出機能付き表示装置では、画像認識用照明部３による画像認識用照明光４３と位置検出用照明部２による位置検出用照明光４２とのそれぞれの波長帯域は近赤外域であり、非可視光となっている。これにより、可視光であるプロジェクタの投影像の視認性に影響を与えずに、被位置検出物７１の位置検出と、被画像認識物７２の画像認識とを可能にしている。ところで、以下で説明するように、近赤外光は、照射対象物に対する色毎の反射率差が少ないため、被位置検出物７１または被画像認識物７２の色を認識しずらい。一方で、７３０ｎｍ以上７９０ｎｍ以下程度の波長帯域の近赤外光を用いると、色毎の反射率差が比較的大きくなる。このため、色の違い認識するためには、画像認識用照明光４３および位置検出用照明光４２のうち、少なくとも一方の波長を、７３０ｎｍ以上、７９０ｎｍ以下にすることが好ましい。
【０１０３】
図２１は、カラー印刷物の反射率の波長依存性の一例を示している。なお、図２１において、横軸は波長（ｎｍ）、縦軸は分光反射率（相対値（ａ．ｕ．））を示す。図２１では、カラー印刷物における青色、緑色、赤色、および黄色のそれぞれの分光反射率を示す。
【０１０４】
一般的に、監視カメラや、その他の赤外検出装置などでは、広く流通している８５０ｎｍや９４０ｎｍの、人にとっては完全に非可視域の波長を検出用の照明光として選択して用いている。しかしながら、本開示の検出機能付き表示装置において、画像認識用照明光４３および位置検出用照明光４２として、８００ｎｍ以上のような赤外域の波長を用いると、図２１に示したように各色で反射率の差が少なくなり、画像認識または位置検出の際の特徴点を捉えることが困難となる。これに対して、近赤外域において７９０ｎｍ以下程度の波長域では、色の差による反射率の差が比較的大きくなる（黄色＞赤色＞緑色＞青色）。これにより、色毎の特徴点を捉え、認識率の精度を向上させることが可能となる。定性的に波長が短い方が、色に対する反射率差を得やすくなる。ただし、波長が短すぎると、視認性の問題が発生する。画像認識用照明光４３および位置検出用照明光４２として非可視光を用いる理由は、画像認識および位置検出を、可視光であるプロジェクタの投影像には影響を及ぼさないようにするためである。画像認識用照明光４３および位置検出用照明光４２が、７３０ｎｍを下回ると、人の目が赤色として検知できる波長帯域に近付く。このため、画像認識用照明光４３および位置検出用照明光４２は、７３０ｎｍ以上であることが好ましい。以上のことから、画像認識用照明光４３および位置検出用照明光４２は、７３０ｎｍ以上であることが好ましい。以上のように、視認性に影響を与えないことと、色の違いを認識することとを両立するために、画像認識用照明光４３および位置検出用照明光４２のうち、少なくとも一方の波長を、７３０ｎｍ以上、７９０ｎｍ以下にすることが好ましい。特に、画像認識のための用途として、色の違いを認識することの需要があると考えられる。このため、特に、画像認識用照明光４３の波長を、７３０ｎｍ以上、７９０ｎｍ以下にすることが好ましい。
【０１０５】
図２２は、波長７８５ｎｍの照明光を用いた場合におけるカラー印刷物の実際の撮像結果の一例を示している。図２３は、波長７３０ｎｍの照明光を用いた場合におけるカラー印刷物の実際の撮像結果の一例を示している。
【０１０６】
図２２および図２３において、カラー印刷物はカード状の印刷物であり、例えばＢｌｕｅの文字が描かれているカードは青色に印刷され、Ｇｒｅｅｎの文字が描かれているカードは緑色に印刷されている。図２２および図２３において、水平方向（左右方向）には、左からＢｌｕｅ、Ｙｅｌｌｏｗ、Ｒｅｄ、およびＧｒｅｅｎと描かれているカードの順で並んでいる。垂直方向（上下方向）には、同一色の系統ではあるが、濃さや色合いが若干違うものが配置されている。なお、図示していないが、波長８３０ｎｍの照明光を用いた場合には、各色で反射率がほぼ同一となり、文字の区別がつかない状態となる。波長７８５ｎｍの照明光を用いた場合（図２２）には、各色で文字の区別が付きやすくなる。波長７３０ｎｍの照明光を用いた場合（図２３）には、さらに各色で文字の区別が付きやすくなり、特にＢｌｕｅとＧｒｅｅｎの文字はよく見えるようになってくる。このような特性を生かして、検出率のよいシステムを構築することが可能となる。
【０１０７】
［４．２  効果］
以上のように、本実施の形態によれば、画像認識用照明光４３および位置検出用照明光４２の波長帯域を最適化することで、画像認識および位置検出のための撮像を行った際に、コントラストの高いグレースケール画像を得ることが可能となる。これにより、特徴点の抽出技術と組み合わせ、精度のよい画像認識を行うことができる。
【０１０８】
その他の構成、動作、ならびに効果は、上記第１ないし第３の実施の形態のいずれかに係る検出機能付き表示装置と略同様であってもよい。
【０１０９】
＜５．その他の実施の形態＞
本開示による技術は、上記各実施の形態の説明に限定されず種々の変形実施が可能である。
【０１１０】
例えば、本技術は以下のような構成を取ることもできる。
（１）
第１の照明光を出射する第１の照明部と、
映像データに基づいて前記第１の照明光を変調して映像光を生成するライトバルブと、
前記映像光を投影面に投影する投影光学系と、
前記投影面上における被位置検出物の位置検出に用いられる第２の照明光を出射する第２の照明部と、
前記投影面上における被画像認識物の画像認識に用いられる第３の照明光を出射する第３の照明部と、
前記ライトバルブと光学的に共役な位置に配置された撮像素子を含み、前記投影光学系を介して、前記第２の照明光および前記第３の照明光が入射する撮像部と、
前記撮像部の撮像結果に基づいて、前記被位置検出物の位置検出および前記被画像認識物の画像認識を行う画像処理部と
を備える
検出機能付き表示装置。
（２）
前記第３の照明光の前記投影面に対して垂直方向の出射拡散角は、前記第２の照明光の前記投影面に対して垂直方向の出射拡散角よりも大きい
上記（１）に記載の検出機能付き表示装置。
（３）
前記第３の照明光の前記出射拡散角の大きさは、前記第２の照明光の前記出射拡散角の大きさの１０倍以上である
上記（２）に記載の検出機能付き表示装置。
（４）
前記投影面に対して、前記第３の照明部における前記第３の照明光の出射位置は、前記第２の照明部における前記第２の照明光の出射位置よりも遠方である
上記（１）ないし（３）のいずれか１つに記載の検出機能付き表示装置。
（５）
前記投影面に対して、前記投影光学系における前記映像光の出射位置は、前記第２の照明部における前記第２の照明光の出射位置よりも遠方であり、
前記投影面に対して、前記第３の照明部における前記第３の照明光の出射位置は、前記投影光学系における前記映像光の出射位置よりも遠方である
上記（１）ないし（４）のいずれか１つに記載の検出機能付き表示装置。
（６）
前記第３の照明部は、前記投影面における前記映像光の投影エリアの全域が照明されるように前記第３の照明光を出射する
上記（１）ないし（５）のいずれか１つに記載の検出機能付き表示装置。
（７）
前記第２の照明部は、前記投影面に対して前記被画像認識物を所定数重ねた高さよりも高い位置から、前記投影面に対して略平行となる光を、前記第２の照明光として出射する
上記（１）ないし（６）のいずれか１つに記載の検出機能付き表示装置。
（８）
前記第２の照明光および前記第３の照明光の波長帯域は、前記第１の照明光の波長帯域とは異なり、かつ、前記第２の照明光の中心波長と前記第３の照明光の中心波長とが互いに略同一である
上記（１）ないし（７）のいずれか１つに記載の検出機能付き表示装置。
（９）
前記画像処理部において前記被位置検出物の位置検出を行う位置検出モード時には、前記第２の照明光および前記第３の照明光のうち前記第２の照明光のみを出射させ、前記画像処理部において前記被画像認識物の画像認識を行う画像認識モード時には、前記第２の照明光および前記第３の照明光のうち、少なくとも前記第３の照明光を出射させるように、前記第２の照明部および前記第３の照明部を制御する照明制御部
をさらに備える
上記（８）に記載の検出機能付き表示装置。
（１０）
前記照明制御部および前記画像処理部は、
前記投影面に投影する映像内容の変化に基づいて、前記画像認識モードと前記位置検出モードとの切り替えを行う
上記（９）に記載の検出機能付き表示装置。
（１１）
前記映像内容はゲームに関する映像であり、
前記照明制御部および前記画像処理部は、
前記ゲームの進行状況に基づいて、前記画像認識モードと前記位置検出モードとの切り替えを行う
上記（１０）に記載の検出機能付き表示装置。
（１２）
前記照明制御部および前記画像処理部は、
前記画像認識モード時に、前記画像処理部によって、所定の図柄の前記被画像認識物が特定位置に配置されたことが認識された場合に、前記位置検出モードに移行する
上記（９）に記載の検出機能付き表示装置。
（１３）
前記照明制御部および前記画像処理部は、
前記画像認識モード時に、前記画像処理部によって、所定の図形パターンが複数箇所で同時に認識された場合に、前記位置検出モードに移行する
上記（９）に記載の検出機能付き表示装置。
（１４）
前記画像処理部は、
前記画像認識モード時には、前記投影面上の所定の領域内において前記被画像認識物の画像認識を行うと共に、前記投影面上の所定の領域外において前記被位置検出物の所定動作の検出を行い、前記位置検出モード時には、少なくとも前記所定の領域内において前記被位置検出物の位置検出を行うようになされ、
前記照明制御部は、
前記画像認識モード時に、前記第２の照明光および前記第３の照明光の双方を出射させ、前記画像認識モード時に、前記画像処理部によって、前記所定の領域外で前記所定動作の検出がなされたことが検出された場合に、前記位置検出モードに移行する
上記（９）に記載の検出機能付き表示装置。
（１５）
前記第２の照明光および前記第３の照明光の波長帯域は、前記第１の照明光の波長帯域とは異なり、かつ、前記第２の照明光の中心波長と前記第３の照明光の中心波長とが互いに異なる
上記（１）ないし（７）のいずれか１つに記載の検出機能付き表示装置。
（１６）
前記撮像素子は、
前記第２の照明光が入射する第１の撮像素子と、
前記第３の照明部が入射する第２の撮像素子と
を含む
上記（１５）に記載の検出機能付き表示装置。
（１７）
前記撮像部は、
前記投影光学系を介して入射した前記第２の照明光と前記第３の照明光とを互いに分離する光分離素子、をさらに含み、
前記光分離素子によって分離された前記第２の照明光の光路上に前記第１の撮像素子が配置され、前記光分離素子によって分離された前記第３の照明光の光路上に前記第２の撮像素子が配置されている
上記（１６）に記載の検出機能付き表示装置。
（１８）
前記撮像素子は、
前記第２の照明光が入射する第１の受光領域と、
前記第３の照明光が入射する第２の受光領域と
を含む
上記（１５）に記載の検出機能付き表示装置。
（１９）
前記画像処理部によって認識された前記被画像認識物の画像に関連する情報を含む前記映像データを前記ライトバルブに供給する表示制御部
をさらに備える
上記（１）ないし（１８）のいずれか１つに記載の検出機能付き表示装置。
（２０）
前記第２の照明光および前記第３の照明光のうち、少なくとも一方の波長は、７３０ｎｍ以上、７９０ｎｍ以下である
上記（１）ないし（１９）のいずれか１つに記載の検出機能付き表示装置。
【０１１１】
本出願は、日本国特許庁において２０１６年９月１３日に出願された日本特許出願番号第２０１６−１７８４０５号を基礎として優先権を主張するものであり、この出願のすべての内容を参照によって本出願に援用する。
【０１１２】
当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。
【図１】
2018051886.tif 000003
【図２】
2018051886.tif 000004
【図３】
2018051886.tif 000005
【図４】
2018051886.tif 000006
【図５】
2018051886.tif 000007
【図６】
2018051886.tif 000008
【図７】
2018051886.tif 000009
【図８】
2018051886.tif 000010
【図９】
2018051886.tif 000011
【図１０】
2018051886.tif 000012
【図１１】
2018051886.tif 000013
【図１２】
2018051886.tif 000014
【図１３】
2018051886.tif 000015
【図１４】
2018051886.tif 000016
【図１５】
2018051886.tif 000017
【図１６】
2018051886.tif 000018
【図１７】
2018051886.tif 000019
【図１８】
2018051886.tif 000020
【図１９】
2018051886.tif 000021
【図２０】
2018051886.tif 000022
【図２１】
2018051886.tif 000023
【図２２】
2018051886.tif 000024
【図２３】
2018051886.tif 000025
【国際調査報告】
2018051886.tif 000026
2018051886.tif 000027
2018051886.tif 000028
2018051886.tif 000029