(57)【要約】【課題】インタラクティブなプロジェクターを実現するに際して、広い範囲での指示体の検出を可能とし、かつ、指示体の姿勢が変化しても、当該指示体の位置を確実に検出できるプロジェクターシステムを提供すること。【解決手段】撮像部５０を立体射影方式とすることにより画角を広げ、斜方投射された画像光による投影領域のみならず投影領域を含む立体的領域ＣＤまでを撮像可能とし、さらに、立体的領域ＣＤに存する指示体ＯＢを確実に捉える。特に、立体射影方式を採用することで、撮像部５０の光学的設計の難易度を抑えつつ、指示体ＯＢの角度（姿勢）が変化しても指示体ＯＢが画像上において歪んで小さくなることを回避し、指示体ＯＢの位置を確実に検出できる。【選択図】図４
2018085552.tif 000002
【特許請求の範囲】
【請求項１】
画像光を斜方投射するプロジェクター本体部と、
前記プロジェクター本体部からの画像光の投影領域を含む立体的領域を撮像して前記立体的領域に存する指示体を検出可能にする立体射影方式の撮像部と
を備えるプロジェクターシステム。
【請求項２】
前記撮像部は、前記立体的領域をそれぞれ撮像する２以上のカメラを含む、請求項１に記載のプロジェクターシステム。
【請求項３】
前記プロジェクター本体部において、スローレシオは、０．２７以下である、請求項１及び２のいずれか一項に記載のプロジェクターシステム。
【請求項４】
前記プロジェクター本体部は、７０インチ以上の投影領域を形成する、請求項３に記載のプロジェクターシステム。
【請求項５】
前記撮像部は、１０°±５°の範囲内のあおり角で傾いている、請求項１〜４のいずれか一項に記載のプロジェクターシステム。
【請求項６】
前記撮像部において、前記立体的領域として、前記投影領域から１６ｃｍ以上手前までの領域を含む、請求項１〜５のいずれか一項に記載のプロジェクターシステム。
【請求項７】
前記撮像部で取得した画像光の情報に基づく画像投射位置と、前記撮像部により検出された指示体の位置とを特定し、特定した位置関係に基づく画像投影の制御を行うプロジェクター制御部をさらに備える、請求項１〜６のいずれか一項に記載のプロジェクターシステム。
【請求項８】
前記プロジェクター本体部は、前記撮像部により検出された指示体の位置の情報を反映した画像投射を行う、請求項１〜７のいずれか一項に記載のプロジェクターシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、投射画面上にある指等の指示体を検出してこれを投射画像の内容に反映させることで書き込みができるいわゆるインタラクティブなプロジェクターを実現するためのプロジェクターシステムに関する。
【背景技術】
【０００２】
インタラクティブなプロジェクターとして、例えば投射画面（スクリーン）のほぼ全体に、赤外光の層を形成するように射出させる光出射装置を、プロジェクターの投射機構とは別個に設け、当該光出射装置からの赤外光が、指示体の先端（例えば、指先）で反射され、この反射光を検出することをもって指示体による指示操作を検出し、インタラクティブ機能を達成するものも知られている（例えば特許文献１参照。）。しかしながら、上記のような構成の場合、レーザーを照射する装置が必要で、さらに精密な位置合わせをする必要がある。また、検知可能な範囲が赤外光の層による２次元的な領域となる。
【０００３】
上記のような装置を使用しない方式として、指の形状を認識して指示位置を検出する方法がある。しかしながら、この場合、指の形状を認識するために、画像光の投射領域やその周辺領域までの広い範囲を検出する必要があり、例えば広画角の撮像装置等が必要になる。ただし、検出範囲が広がると、検出範囲のうち周辺側の領域は検出しにくくなる。例えば検出範囲を撮像しても、画像の周辺側では、検出されるべき対象箇所が歪められて小さくなってしまい、誤検出や不検出を生じてしまう可能性が高くなる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−１５９５２４号公報
【発明の概要】
【０００５】
本発明は、インタラクティブなプロジェクターを実現するに際して、広い範囲での指示体の検出を可能とし、かつ、指示体の姿勢が変化しても、当該指示体の位置を確実に検出できるプロジェクターシステムを提供することを目的とする。
【０００６】
上記目的を達成するため、本発明に係るプロジェクターシステムは、画像光を斜方投射するプロジェクター本体部と、プロジェクター本体部からの画像光の投影領域を含む立体的領域を撮像して立体的領域に存する指示体を検出可能にする立体射影方式の撮像部とを備える。
【０００７】
上記プロジェクターシステムでは、撮像部を立体射影方式とすることにより画角を広げ、斜方投射された画像光による投影領域のみならず投影領域を含む立体的領域までを撮像可能とし、さらに、立体的領域に存する指示体を確実に捉えることができる。特に、立体射影方式を採用することで、撮像部の光学的設計の難易度を抑えつつ、被写体たる指示体の角度が変化しても当該指示体が画像上において歪んで小さくなることを回避し、当該指示体の位置を確実に検出できる。
【０００８】
本発明の具体的な側面によれば、撮像部は、立体的領域をそれぞれ撮像する２以上のカメラを含む。この場合、指示体を立体的形状として捉えるための視差情報が取得可能となる。
【０００９】
本発明のさらに別の側面によれば、プロジェクター本体部において、スローレシオは、０．２７以下である。すなわち、プロジェクターシステムは、いわゆる超短焦点近接投射を行うタイプとなっている。
【００１０】
本発明の別の側面によれば、プロジェクター本体部は、７０インチ以上の投影領域を形成する。
【００１１】
本発明のさらに別の側面によれば、撮像部は、１０°±５°の範囲内のあおり角で傾いている。例えばプロジェクターのスローレシオがより小さい場合には撮像部の画角を広くする必要があるが、あおり角を設けることであおり角を設けないものと比べて撮像部の広画角化を抑制できる。
【００１２】
本発明のさらに別の側面によれば、撮像部において、撮像範囲たる立体的領域は、投影領域から１６ｃｍ以上手前までの領域を含む。この場合、指示体が例えば人の手指である場合において、人の手（あるいは指）の形状を特定して検出を行うのに十分な範囲を確保できる。
【００１３】
本発明のさらに別の側面によれば、撮像部で取得した画像光の情報に基づく画像投射位置と、撮像部により検出された指示体の位置とを特定し、特定した位置関係に基づく画像投影の制御を行うプロジェクター制御部をさらに備える。この場合、プロジェクター制御部によって、画像投射位置と指示体による指示位置とを対応づけて、例えば指示体としての指先の動きを投射画面上に書き込むといったインタラクティブなプロジェクターの動作が可能になる。なお、プロジェクター制御部については、例えばプロジェクター本体部に組み込まれる場合のほか、プロジェクター本体部に接続されるＰＣがプロジェクター制御部として機能する等種々の態様が考えられる。
【００１４】
本発明のさらに別の側面によれば、プロジェクター本体部は、撮像部により検出された指示体の位置の情報を反映した画像投射を行う。この場合、指示体による指示位置の情報を反映させたインタラクティブな画像投射が可能になる。
【図面の簡単な説明】
【００１５】
【図１】第１実施形態のプロジェクターシステムの概略構成を示す図である。
【図２】プロジェクターシステムの構成を示す図である。
【図３】撮像部の撮影範囲ついて説明するための図である。
【図４】撮像部の撮影範囲としての立体的領域を示す斜視図である。
【図５Ａ】プロジェクターのスローレシオについて説明するための図である。
【図５Ｂ】一例のプロジェクターにおける投射画面の各位置での投射角度を示す図である。
【図６】一例のプロジェクターにおける撮像部の位置と撮像範囲についての寸法に関して示す図である。
【図７】一例のプロジェクターにおける撮像部により撮像されたセンサー上での画像の様子を示す図である。
【図８Ａ】指示体の姿勢（角度）についての規定を説明するための図である。
【図８Ｂ】指示体の姿勢（角度）についての規定を説明するための図である。
【図９】各射影条件での画角と像高の関係を示すグラフである。
【図１０】撮像部（立体射影方式）による指示体の角度（姿勢）の変化と指示体のセンサー上の画像としての幅との関係について説明するための図及びグラフである。
【図１１Ａ】一比較例の撮像部（等距離射影方式）による指示体の角度（姿勢）の変化と指示体のセンサー上の画像としての幅との関係について説明するための図及びグラフである。
【図１１Ｂ】別の一比較例の撮像部による指示体の角度（姿勢）の変化と指示体のセンサー上の画像としての幅との関係について説明するための図及びグラフである。
【図１２】射影条件と指示体のセンサー上の幅との関係について示すグラフである。
【図１３】ディストーションと指示体のセンサー上の幅との関係について示すグラフである。
【図１４】キャリブレーション時のパターン画像の投影の様子を示す図である。
【図１５】第２実施形態のプロジェクターシステムにおける撮像部の撮影範囲ついて説明するための図である。
【図１６】撮像部（立体射影方式）による指示体の角度（姿勢）の変化と指示体のセンサー上の画像としての幅との関係について説明するための図及びグラフである。
【図１７】撮像部のあおり角と最大画角との関係について示すグラフである。
【図１８】各射影条件でのあおり角と指示体の画像上の幅との関係について示すグラフである。
【発明を実施するための形態】
【００１６】
〔第１実施形態〕
以下、図面を参照して、本発明の第１実施形態に係るプロジェクターシステムについて説明する。
【００１７】
図１等に示すプロジェクターシステム５００は、画像光である投射光ＰＬを投射（斜方投射）して画像投射を行うプロジェクター１００で構成されている。なお、投射光ＰＬの被照射領域ＰＬａは、例えばスクリーンＳＣ上に形成される。被照射領域ＰＬａは、プロジェクター１００からの投射光（画像光）ＰＬの投影領域に相当する。また、図示を省略するが、プロジェクターシステム５００は、プロジェクター１００のほか、例えばＰＣ等が接続されることで構成され、必要に応じて当該ＰＣが各種処理をすることで被照射領域ＰＬａでの表示画面上への書込みを受け付けるインタラクティブな状況での画像動作を可能にしている。プロジェクターシステム５００のうち、プロジェクター１００は、スクリーンＳＣの斜め上方に設置され、斜め下方のスクリーンＳＣに向けて近接投射をする短焦点タイプ（ここでは、いわゆる超短焦点近接投射となっている。）のプロジェクターであり、画像投射を行うための本体部分であるプロジェクター本体部１００ｐと、撮像部５０とで構成されている。
【００１８】
プロジェクター本体部１００ｐは、スクリーンＳＣに向けて可視光波長帯域の光を合成して構成される画像光である投射光ＰＬを投射して投影画像（カラー画像）の形成を行う。プロジェクターシステム５００において、インタラクティブな画像投射を可能にするためには、投射画面上における指示体の位置を特定するための位置合わせ（キャリブレーション）がなされていることが前提となる。このキャリブレーションについては、図１４を参照して後述する。
【００１９】
プロジェクター本体部１００ｐは、詳細な図示を省略するが、光源や光変調装置、投射光学系等を備え、スクリーンＳＣに対する画像投影を行う。このため、例えば図２に示すように、プロジェクター本体部１００ｐは、投射光学系を含む画像投影部９０と、プロジェクター制御部ＣＴとを有し、プロジェクター制御部ＣＴにより画像投射等の各種動作制御がなされている。また、特に、プロジェクター制御部ＣＴは、撮像部５０からの情報を撮像部５０の通信部８２を介して受け付け可能とし、撮像部５０からの情報を加味して投射させる画像の内容を修正することで画面上に書込みができるものとなっている、すなわちインタラクティブな画像投射を可能としている。
【００２０】
プロジェクター本体部１００ｐを構成する光学系については、種々の態様が可能であるが、例えば光源等については、種々の構成のものが適用可能であり、例えばレーザー光源やＬＥＤ光源、さらに有機ＥＬ（Ｏ−ＬＥＤ）を利用することも可能である。特に、有機ＥＬ素子等の自発光型の光源を適用した場合、光源が光変調の役割も兼ねた映像装置として構成できる。なお、光源（バックライト）と光変調とを個別の構成とする場合、光変調装置については、例えば透過型の液晶パネルとすることができる。
【００２１】
図１に戻って、撮像部５０は、プロジェクター本体部１００ｐにより投射された投射画像を撮像して画像情報を取得するセンサー装置である。本実施形態では、特に、撮像部５０は、離間して配置された２つ（複数）のカメラ５０ａ，５０ｂで構成されている。カメラ５０ａ，５０ｂは、同一規格の一対構成となっており、プロジェクター本体部１００ｐによる投射光ＰＬの投射位置に関して左右対称な位置に配置されている。各カメラ５０ａ，５０ｂは、例えば撮像レンズ系のほか、受光素子（撮像素子）すなわち受光用のセンサー、や通信部８２（図２参照）による他の装置への送信等を含む各種制御を行う制御装置といったものを備える。以上のような複数のカメラ５０ａ，５０ｂ（ステレオカメラ）を有することで、プロジェクター１００は、視差情報（或いはステレオ画像）を取得可能となっている。すなわち、立体視によるより高度な位置検出が可能となっている。プロジェクター制御部ＣＴ（図２参照）は、撮像部５０ａ，５０ｂでの撮像により取得した画像情報に基づく視差情報により検出された指示体（利用者の指先等）ＯＢの位置情報を反映させた画像を画像投影部９０（図２参照）により投影させる。なお、２つのカメラ５０ａ，５０ｂは、プロジェクター１００の投影画像位置を把握するための構成として、その役割を果たすため、例えばプロジェクター本体部１００ｐによる画像投影における投射角度や投射距離等に対応した角度等にカメラのレンズ系が向いているように配置されている。すなわち、プロジェクター１００の設置環境が変わって投射距離等が変化してもプロジェクター本体部１００ｐと撮像部５０との位置関係に変化が生じないあるいは生じても画像の補正等が可能な程度にわずかなものとなるようにしている。
【００２２】
また、プロジェクター本体部１００ｐは、撮像部５０により取得された画像情報に基づいて、プロジェクター本体部１００ｐを構成する画像形成部（光変調における画素マトリクス）の画素と撮像部５０を構成する各カメラ５０ａ，５０ｂにそれぞれ内蔵される撮像素子（受光用のセンサー）の画素との位置関係を対応付けるキャリブレーションを可能にしている。
【００２３】
なお、撮像部５０は、プロジェクター１００を構成する一部として組み込まれるものとすることもできるが、例えば、撮像部５０は、プロジェクター１００とは別体の撮像装置として存在するものとしてもよい。
【００２４】
ここで、上記のように、本実施形態のプロジェクターシステム５００では、いわゆる超短焦点近接投射を行っているため、プロジェクター本体部１００ｐに近接して取り付けられる撮像部５０（カメラ５０ａ，５０ｂ）の撮影範囲を広くする必要がある。さらに、ステレオカメラ方式で、指示体である指について３次元位置を取得するという観点からも広画角なものとする必要がある。このような場合、通常のレンズを適用することが難しい可能性が高く、魚眼レンズを利用することが考えられる。魚眼レンズとしては、例えばｆθレンズと呼ばれるレンズを用いた等距離射影方式を採用することが考えられる。しかしながら、このようなレンズを用いると、特に撮像画像の周辺側で大きな歪み（圧縮）が生じてしまう。歪み（圧縮）の影響が大きいと、検出されるべき対象である指先等の指示体ＯＢがセンサー上の画像としては小さくなってしまい、誤検出や不検出を生じる可能性が高くなる。そこで、本実施形態では、撮像部５０（カメラ５０ａ，５０ｂ）において、次式で示される特性のレンズを用いて撮像を行う（立体射影方式）ものとしている。
ｙ＝２ｆ・ｔａｎ（θ／２）
ここで、焦点距離をｆ、半画角（あるいは単に画角）をθ、像高をｙとする。
この場合、等距離射影方式に比べて、撮像画像において、特に周辺側での歪み（圧縮）を抑制できる。
【００２５】
以下、図３等を参照して、撮像部５０を構成する各カメラ５０ａ，５０ｂの撮像範囲に関して説明する。図３では、カメラ５０ａとカメラ５０ｂとの対称性により１つのカメラのみを図示するとともに説明し、他方については説明を省略する。図示のように、本実施形態においては、カメラ５０ｂ（又はカメラ５０ａ）の光軸ＡＸは、プロジェクター本体部１００ｐの被照射面であるスクリーンＳＣに対して垂直となっている。すなわち、カメラ５０ｂは、あおりのない状態で撮像を行っている。本実施形態では、検出対象である指示体（指先）ＯＢを２つのカメラ５０ａ，５０ｂによって視差を利用した立体的な検出を可能としている。すなわち、スクリーンＳＣをタッチする利用者の指手を撮像して奥行きのある立体的形状として捉えるための情報を得る必要がある。このため、スクリーンＳＣ上の投影領域である被照射領域ＰＬａに加え、被照射領域ＰＬａを含む立体的領域を含むように撮像を行っている。本実施形態では、一例として、図示のように、スクリーンＳＣから垂直方向（奥行き方向）について、距離ｄだけ離れた範囲までを撮像範囲たる立体的領域ＣＤとする。ここでは、指の先端から手首くらいまでを撮像できるように、距離ｄを１６０ｍｍ（１６ｃｍ）とする。この場合、図４に示すように、立体的領域ＣＤは、被照射領域ＰＬａを底面とし、距離ｄを厚みとする直方体状の領域となる。したがって、撮像部５０（カメラ５０ａ，５０ｂ）の撮影範囲は、被照射領域ＰＬａのみとした場合に比べてさらに広がり、特に広画角化する必要がある。広画角化が進むほど画像の周辺側が歪み、画像が小さくなりやすく、延いては、指示体たる手指の検出が困難になりやすい。これに対して、本実施形態では、上述のように、撮像部５０（カメラ５０ａ，５０ｂ）において立体射影方式を採用することで、かかる事態を回避している。
【００２６】
以下、図５等を参照して、プロジェクター投影についての具体的一構成例（具体的仕様）について説明する。図５Ａ及び５Ｂは、一例のプロジェクターにおける画像投射について示す図である。
【００２７】
ここでは、まず、図５Ａを参照して、超短焦点近接投射の度合について説明する。プロジェクターにおけるスローレシオは、例えば図示の投射距離ｆ１と、被照射領域ＰＬａの横サイズＨＳとでｆ１／ＨＳで表される。ここでの一例では、スローレシオは、約０．２７とする。具体的には、投射距離ｆ１は４４１ｍｍであるものとし、横サイズＨＳの値を規定する被照射領域ＰＬａのサイズは、７０インチ（アスペクト比１６：１０）とする（すなわち、プロジェクター１００は、７０インチの画像を形成する）。なお、図５Ｂに示すように、この場合において、被照射領域ＰＬａの周辺側の各点への投射光ＰＬの投射角度を示している。この一例では、以上のような具体的仕様により超短焦点近接投射を行っている。
【００２８】
さらに、図６等を参照して、上記具体的一例の画像投射における撮像部５０（カメラ５０ａ，５０ｂ）の位置と撮像範囲の寸法について説明する。図６は、被照射領域ＰＬａを含む撮像範囲である立体的領域ＣＤと撮像部５０を構成する１つのカメラのカメラ位置Ｐａとの関係を示す図である。もう１つのカメラについては、左右の位置を逆転させたものとなるだけで同様の考察が可能であるため、図示及び説明を省略する。図６のうち、左側は、正面側から見た位置関係についての寸法を示す図であり、右側は、側面（横）側から見た位置関係についての寸法を示す図である。ここでは、図６に示すように、カメラ位置Ｐａは、被照射領域ＰＬａの左上方であり、例えば水平方向については、投射光ＰＬの投射位置から左側に３０ｃｍほど離間している。この場合、カメラ位置Ｐａからは、被照射領域ＰＬａの右下側の位置ＳＰが、撮像において最も周辺側となる。すなわち、当該箇所における指示体の検出が確実に行えるものとする必要があることになる。
【００２９】
なお、図示のように、検出範囲である立体的領域ＣＤの上端面の領域を検出領域ＤＤ１とすると、これに対応するスクリーンＳＣ上の領域は、破線で示す領域ＤＬａとなる。すなわち、撮像部５０は、検出領域ＤＤ１での検出を可能とするためには、スクリーンＳＣ上で換算して領域ＤＬａとなるような範囲についてまで撮像可能となっている必要がある。また、距離ｄの値が大きくなる（検出領域ＤＤ１が被照射領域ＰＬａから遠くなる）につれて、領域ＤＬａは急激に大きくなる。本構成では、超短焦点近接投射を行っているためである。以上のように、距離ｄの値が大きくなるほど、撮像部５０を広画角化させる必要性が生じる。
【００３０】
図７は、撮像部５０のうち上述した位置Ｐａにあるカメラ（例えばカメラ５０ｂ）によって撮像された画像、すなわちカメラ５０ｂに内蔵された受光用のセンサー上での画像の様子を示す図である。なお、ここでは、撮影された映像は、上下左右が反転しているため、スクリーンＳＣの右下の映像は、センサー上の画像において左上に来ている。したがって、図示の画像ＰＩにおいて、スクリーンＳＣ上の被照射領域ＰＬａに対応する映像画像ＰＬｉのうち左上の隅にある画像点ＳＰｉが、図６の位置ＳＰに対応する。なお、画像ＰＩにおいて、映像画像ＤＤｉは、図６の検出領域ＤＤ１に対応する。カメラ５０ａは、これらの映像画像ＰＬｉ，ＤＤｉが、センサー上のエリアＳＥのうち有効撮像範囲であるアクティブエリアＡＥ内に収まるようにする必要がある。このため、図示のように、矩形領域を映した映像画像ＰＬｉ，ＤＤｉは、歪めて撮像されたものとなっている。ここで、映像画像ＰＬｉは、指示位置が示される指示体の先端である指先を検出する必要があるが、映像画像ＰＬｉの領域のうち画像点ＳＰｉ及びその近辺が、最も歪み、指示体の検出が最も困難になる箇所であると考えられる。したがって、この箇所での人の指幅について、撮像部５０（カメラ５０ａ，５０ｂ）として採用すべきカメラレンズの射影条件を変えて検討した。その結果、総合的に勘案して、立体射影方式で撮像を行うものを本実施形態の撮像部５０（カメラ５０ａ，５０ｂ）として採用することが最適であるとの結論に至った。
【００３１】
以下、上述した結論に至るまでに、画像点ＳＰｉに相当する位置での画像上（センサー上）で最小となる指幅の値に関して行った検証について説明する。そのための前提として、指示体たる指の姿勢（角度）について規定する。なお、標準的な指のサイズを考慮して、ここでは、直径１０ｍｍの円柱を指と見立てて検証を行った。図８Ａ及び８Ｂは、指示体（指、あるいは直径１０ｍｍの円柱）ＯＢのスクリーンＳＣ（被照射領域ＰＬａ）上での角度の規定を示すものである。図８Ａに示すように、スクリーンＳＣ面に対する指示体ＯＢの角度（仰角）を角度ηとする。また、図８Ｂに示すように、スクリーンＳＣ面内において、横方向（水平方向）であるｘ方向について−ｘ方向を基準（０°）として、反時計回りの角度（方位角）を角度φとする。
【００３２】
以上の角度η及び角度φによって向きが規定された指示体ＯＢについて、角度η及び角度φの変化、すなわち姿勢の変化に対する画像上（センサー上）での幅（指幅に相当）の変化を、等距離射影と、立体射影と、通常の射影との３種類の射影条件について検証した。各射影条件は、
ｙ＝ｆ・θ  （等距離射影）
ｙ＝２ｆ・ｔａｎ（θ／２）  （立体射影）
ｙ＝ｆ・ｔａｎθ  （通常の射影）
ｆ：焦点距離、θ：半画角、ｙ：像高
で表される。なお、各射影条件での画角（あるいは半画角θ）と像高ｙとの関係は、図９に示すグラフにおいて、曲線Ｌ１，Ｌ２，Ｌ３でそれぞれ示される。曲線Ｌ１は、立体射影方式、曲線Ｌ２は、等距離射影方式、曲線Ｌ３は、通常の射影方式について示している。また、この他の条件としては、例えば、上述したアクティブエリアＡＥ（図７参照）に相当するセンサー有効エリアのサイズを、４．４８ｍｍ×３．２ｍｍとする。また、指示体ＯＢの現実の幅は、既述の通り、１０ｍｍとする。
【００３３】
上記各射影条件のうち、立体射影方式、すなわち本実施形態における撮像部５０による指示体ＯＢの角度（姿勢）の変化と指示体の画像上の幅との関係については、図１０に示されるものとなった。図１０において、左側は、立体射影における撮像画像の様子を示しており、右側は、角度η及び角度φの変化に伴う画像点ＳＰｉを指し示した指示体の幅（指幅）の画像上での大きさ、すなわちセンサー上での幅（単位：μｍ）を示すグラフである。ここでは、角度（仰角）ηについては、０°〜９０°、角度（方位角）φについては、０°〜１８０°の範囲での変化を計算している。図示のように、この場合、指幅の計算結果を見ると、角度η及び角度φが変化しても指幅が変わらず一定値を取っていることが分かった。なお、この場合の画像上（センサー上）での指示体の最小幅は、１５．９μｍであった。
【００３４】
一方、一比較例として、上記各射影条件のうち、等距離射影方式における撮像部による指示体の角度（姿勢）の変化と指示体の画像上の幅との関係については、図１１Ａに示されるものとなった。この場合、角度η及び角度φが変化すると指幅も変わっていくことが分かった。なお、この場合の指示体の最小幅は、１１．５μｍであった。すなわち、この比較例では、上記した本実施形態の場合と比べて指示体の最小幅が著しく小さくなってしまうことが分かった。
【００３５】
また、別の一比較例として、上記各射影条件のうち、通常の投影方式すなわち魚眼レンズのようなものを適用しない場合における撮像部による指示体の角度（姿勢）の変化と指示体の画像上の幅との関係については、図１１Ｂに示されるものとなった。なお、この場合、図中左側に示すように、撮像された画像は歪んでいない（あるいは略歪んでいない）ものとなる点において、上記２つの場合とは異なっている。この場合も、角度η及び角度φが変化すると指幅も変わっていくことが分かった。また、全体的に指幅は大きい（太い）ものとなっており、この場合の指示体の最小幅は、１７．３μｍであった（η＝９０°の時）。
【００３６】
以上において、画像上（センサー上）での指示体の最小幅だけを比較すると、図１１Ｂに示す比較例が最もサイズが大きい状態を保っている。しかしながら、本実施形態でのプロジェクターシステム５００の構成は、既述のように、超短焦点近接投射を行っていることが前提となっている。このため、撮像部５０が広画角なものであることを要する。したがって、通常の射影方式を撮像部５０に適用することは光学設計上非常に難しい。以上のことから本実施形態では、立体射影方式による撮像を行うものとした。
【００３７】
以下、図１２等を参照して、上記射影条件含む種々の射影条件について検討した結果を説明する。ここでは、射影条件を以下の式で表し、式中の係数（１／Ｃ）を０から１まで変えた時の最小指幅を計算した。
ｙ＝Ｃｆ・ｔａｎ（θ／Ｃ）
なお、上式において、
Ｃ＝∞、（１／Ｃ＝０）のとき、ｙ＝ｆ・θ（等距離射影）となり、
Ｃ＝２、（１／Ｃ＝０．５）のとき、ｙ＝２ｆ・ｔａｎ（θ／２）（立体射影）となり、
Ｃ＝１、（１／Ｃ＝１）のとき、ｙ＝ｆ・ｔａｎθ  （通常の射影）となる。
図１２は、以上の結果についてまとめたグラフである。すなわち、図１２の横軸は、係数（１／Ｃ）の値を示し、縦軸は、画像上（センサー上）での指示体の最小幅の値を示している。図１２のグラフからも、立体射影方式によるものが、等距離射影方式あるいはこれに近い方式によるものよりも指示体の最小幅の値が大きなものに維持できものとなっていることが分かる。また、立体射影方式であれば、光学的設計が困難な通常の射影方式と比較して最小幅の値がそれほど変わらないものとなっていることも分かる。ただし、図１２の横軸は、必ずしも光学的設計の難易度を示すものではない。そこで、光学的設計の難易度との相関性がより高いと考えられるディストーション（理想的な像高に対する各射影方式での実際の像高の比率）でも比較をした。図１３は、画角８０°とした場合のディストーションと画像上（センサー上）での指示体の最小幅との関係について示すグラフである。また、図中において、上記３種類の射影方式の位置を示してある。このグラフから、等距離射影方式と立体射影方式とは比較的近くにあることが分かる。すなわち、光学的設計の難易度にそれほど大きな差はないと考えられる。また、一方で、この間でのグラフの傾きが急であることが分かる。すなわち、両者を比較すると、立体射影方式では、レンズの設計難易度をあまり高くすることなく、画像上（センサー上）での指幅を大きくできることが分かる。
【００３８】
以下、図１４を参照して、インタラクティブな画像投射を可能にするための前提となる位置合わせの処理であるキャリブレーションについて説明する。図１４は、プロジェクター本体部１００ｐによる画像投影のうち、特に、上述のようなキャリブレーションの処理を行うために、キャリブレーション時のパターン画像を投影する様子を示している。本実施形態では、まず、プロジェクター本体部１００ｐによる画像投射（投影）によってスクリーンＳＣ上に映し出される映像の範囲を示すパターン画像ＰＴを、ここでは画像光である投射光ＰＬに含まれる可視光波長帯域の成分のうち緑色波長帯域の光で構成されるパターン画像光ＧＬによって投影するものとする。撮像部５０において、パターン画像光ＧＬの一部の成分を受光することで、パターン画像ＰＴに関する画像情報が取得され、この情報に基づき画像投射位置の特定がなされる。具体的には、まず、撮像部５０は、撮像したパターン画像ＰＴの画像情報をプロジェクター本体部１００ｐに対して送信する。次に、プロジェクター本体部１００ｐは、撮像部５０で取得したパターン画像ＰＴの情報と、光変調における画素マトリクスの情報との対応付けを行う。すなわち、撮像部５０で撮像されたパターン画像ＰＴの受光用のセンサー上での各位置とプロジェクター本体部１００ｐの光変調における画素マトリクス状の各位置すなわち投影された画像上の位置とを対応付ける。対応付けは、例えば、ピクセル単位で行うものとしてもよい（例えば対応するテーブルを作成するものとしてもよい）が、例えば対応付ける関数を定めることで、対応付けの処理を可能にするものとしてもよい。
【００３９】
以上のように、プロジェクター本体部１００ｐは、撮像部５０で取得したパターン画像ＰＴの情報に基づく画像投射位置と、光変調の画素の位置とを対応付けることで、キャリブレーション（位置合わせ）を行っている。キャリブレーション後は、キャリブレーションでの対応付けに基づいて、撮像部５０で検出された指示体ＯＢによる指示位置の特定が可能となり、これを反映したインタラクティブな画像投射が可能となる。
【００４０】
以上のように、本実施形態に係るプロジェクターシステム５００では、撮像部５０を立体射影方式とすることにより画角を広げ、斜方投射された画像光（投射光）による投影領域（被照射領域ＰＬａ）のみならず投影領域を含む立体的領域ＣＤまでを撮像可能とし、さらに、立体的領域ＣＤに存する指示体ＯＢを確実に捉えることができる。特に、撮像部５０において立体射影方式を採用することで、撮像部５０の光学的設計の難易度を抑えつつ、指示体ＯＢの角度η，φが変化しても指示体ＯＢが画像上において歪んで小さくなることを回避し、指示体ＯＢの位置を確実に検出できる。
【００４１】
〔第２実施形態〕
以下、図１５を参照して、第１実施形態を変形した第２実施形態について説明する。なお、本実施形態に係るプロジェクターシステムは、撮像部５０の姿勢（あおり角）を変化させる構成となっていることを除いて、第１実施形態と同様の構成であるので、プロジェクターシステム全体の図示及び説明を省略する。また、具体的一構成例（具体的仕様）についても第１実施形態において示した場合と同様であるものとする。ただし、本実施形態では、あおり角を変化させるため、あおり角の増減に伴って焦点距離ｆが変化する点において、第１実施形態とは異なる（第１実施形態では、あおり角０°のため、焦点距離ｆは不変である。）。
【００４２】
図１５は、本実施形態のプロジェクターシステムにおける撮像部１５０の姿勢及び撮影範囲ついて説明するための図であり、図３に対応する図である。なお、撮像部１５０は、第１実施形態の場合と同様に、２つのカメラ１５０ａ，１５０ｂで構成されているものとする。図３と比較して明らかなように、図１５に例示する本実施形態における撮像部１５０において、カメラ１５０ｂ（又はカメラ１５０ａ）の光軸ＡＸは、スクリーンＳＣに対して垂直ではなく、下方に少し傾いている。すなわち、カメラ１５０ａは、あおりを付けた状態で撮像を行っている。この場合、適度にあおり角度を増加させることで、第１実施形態のようにあおり角がない（０°）の場合に比べて撮像部１５０において撮像に必要となる最大画角を小さくできる。ここでは、一例として、あおり角α＝１０°とする。
【００４３】
図１６は、第１実施形態と同様の具体的一構成例（具体的仕様）における本実施形態の撮像部１５０（立体射影方式）による指示体の角度（姿勢）の変化と指示体の画像上の幅との関係について説明するための図及びグラフである。すなわち、図１６は、図１０に対応するものである。この場合も、指幅の計算結果を見ると、図８Ａ及び８Ｂを参照して規定した角度η及び角度φが変化しても、指幅が変わらず一定値を取っていることが分かった。なお、この場合の指示体の最小幅は、１４．９μｍであった。この場合、図１０と比較すると、わずかに値が小さくなっている。
【００４４】
ここで、上記のように、ある程度のあおり角αを有することで撮像部１５０の最大画角を小さくできるので、カメラレンズの設計難易度を下げることができる。ただし、その一方で、あおり角を増加させると、指示体の最小幅（指幅）は小さくなる。すなわち、カメラレンズの設計難易度の緩和と、指幅を太く（大きく）させることは背反する。したがって、バランス取りが必要になり、このため、ここでの例示としては、上記のように、あおり角αの値を１０°としている。なお、この値（あおり角α＝１０°）は、本実施形態における具体的一構成例（具体的仕様）において最適と考えられる範囲内の値の１つである。図１７は、上記の場合における撮像部１５０のあおり角αと撮像に必要となる最大画角との関係について示すグラフである。グラフから、最大画角は、あおり角αが０°から下がり、１０°となる付近までは傾き（下がり具合）が大きく、１０°前後ではある程度の範囲で略横ばいの状態が続いていることが読み取れる。このことから、例えば１０°±５°程度の範囲であれば、設計難易度を緩和させやすいものとなっていることが分かる。また、図１８は、上記した３種類の射影条件でのあおり角と指示体の最小幅（指幅）との関係について示すグラフである。曲線Ｃ１が本実施形態で採用する立体射影方式を示し、曲線Ｃ２が等距離射影方式を示し、曲線Ｃ３が通常の射影方式を示している。グラフから、立体射影方式において、あおり角αを増加させると指示体の最小幅（指幅）が小さくなることが分かるが、あおり角αが５°を超える範囲では、３つの方式の中で立体射影方式の最小幅（指幅）が最も大きくなっていることが分かる。
【００４５】
なお、上述のように、あおり角αを１０°とするのは、本実施形態の具体的一構成例（具体的仕様）に起因し、構成例によっては、最適な角度が多少異なる場合もある。しかしながら、傾向としては同様であるものと考えられ、例えばあおり角αを１０°の前後の値として、例えば１０°±５°とすることで、撮像部の最大画角を抑えつつ指示体の確実な検出を維持できる。
【００４６】
以上のように、本実施形態に係るプロジェクターシステムにおいても、撮像部１５０を立体射影方式とすることにより、撮像部１５０の光学的設計の難易度を抑えつつ、被写体たる指示体が画像上において歪んで小さくなることを回避し、指示体の位置を確実に検出できる。
【００４７】
また、既述のように、あおり角を増加させると、指示体の最小幅（指幅）は小さくなる傾向にある。したがって、例えばプロジェクターにおけるスローレシオがより小さく、撮像部の画角を広くする必要がある場合には、本実施形態（第２実施形態）に示したように、あおり角を設けることで撮像部の広画角化を抑制でき、有効であると考えられる。一方、プロジェクターのスローレシオが比較的大きめの場合にはそれほど広い画角が要求されないため、あおり角を積極的に設けるよりは、例えば第１実施形態のようにあおり角を設けない、あるいはあおり角を小さな値に抑えて、指の幅を広くとれることを優先するほうがよいと考えられる。
【００４８】
〔その他〕
この発明は、上記の各実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することが可能である。
【００４９】
上記では、具体的一構成例（具体的仕様）に即して説明しているが、これはあくまで一例であり、構成例については種々の多様な場合が考えられる。例えば、上記では、７０インチの被照射領域（投影領域）を形成するものとしているが、７０インチ以上（例えば７０インチ〜１２０インチ程度）とすることが考えられる。また、例えば立体的領域ＣＤの奥行き方向について、距離ｄを１６０ｍｍ（１６ｃｍ）としているが、１６ｃｍ以上とすることも考えられる。また、近接投射に関して、スローレシオを約０．２７としているが、例えば０．２７以下とする構成にしてもよい。その他にも、例えば、プロジェクター１００における投射距離ｆ１を異なる値とすることも考えられる。
【００５０】
また、上記では、撮像部５０を構成する一対のカメラ５０ａ，５０ｂから取得された画像情報に基づく視差情報によって指示体を立体的形状として捉えることができる。この際、各カメラ５０ａ，５０ｂからの画像情報は、キャリブレーションでの対応付けに基づいてそれぞれ画像処理が施されるものとなる。この画像処理については、各カメラ５０ａ，５０ｂからの画像情報ごとに個別に行うものとしてもよいが、一対のカメラ５０ａ，５０ｂは、左右の対称性を有していることを利用して、一方の処理方法を、左右反転させて他方に転用するものとしてもよい。また、この場合、２つの画像処理を一括して行うものとしてもよい。
【００５１】
また、上記では、プロジェクター制御部ＣＴや、プロジェクター１００に接続可能なＰＣ等において各種処理をなすものとして記載しているが、担わせる処理については、種々の態様が可能であり、例えば、撮像部５０で取得した投射光ＰＬの情報に基づく画像投射位置と、撮像部５０により検出された検出光ＤＬに基づく位置とを特定する等の処理をＰＣ側で行うようにするといったことが考えられる。言い換えると、プロジェクター制御部ＣＴにおける上記画像投射位置や指示体による指示位置を特定し、特定した位置関係に基づく画像投影の制御の一部又は全部をＰＣ等の外部接続機器で行う（ＰＣ等がプロジェクター制御部を構成する）ものとしてもよい。また、逆に、ＰＣ等を接続せず、例えば、プロジェクター制御部ＣＴにおいて全ての処理を担わせる構成（ＰＣレス）とすることも可能である。
【００５２】
また、上記では、キャリブレーションにおいて、パターン画像ＰＴを緑色波長帯域の光で構成されるパターン画像光ＧＬによって投影するものとしているが、パターン画像ＰＴの投影については、緑色波長帯域の光に限らず、他の波長帯域の光を利用することも考えられる。
【００５３】
また、上記では、プロジェクター本体部１００ｐを構成する光源や光変調装置、投射光学系等については、図示や詳細な説明を省略しているが、種々の態様が適用可能であり、例えば光源に関しては、上記のほか、例えば高圧水銀ランプ等を利用し、３色の光源に分離して適用することも可能である。光変調装置については、上記のほか、例えば光変調装置についても液晶パネルにカラーフィルターを利用したものや、反射型液晶パネル、デジタル・マイクロミラー・デバイス等により構成するといった種々の態様が考えられる。
【符号の説明】
【００５４】
５０…撮像部、５０ａ，５０ｂ…カメラ、８２…通信部、９０…画像投影部、１００…プロジェクター、１００ｐ…プロジェクター本体部、１５０…撮像部、１５０ａ，１５０ｂ…カメラ、５００…プロジェクターシステム、ＡＥ…アクティブエリア、ＡＸ…光軸、Ｃ１…曲線、Ｃ２…曲線、Ｃ３…曲線、ＣＤ…立体的領域、ＣＴ…プロジェクター制御部、ｄ…距離、ＤＤ１…検出領域、ＤＤｉ…映像画像、ＤＬ…検出光、ＤＬａ…領域、ｆ…焦点距離、ｆ１…投射距離、ＧＬ…パターン画像光、ＨＳ…横サイズ、Ｌ１，Ｌ２，Ｌ３…曲線、ＯＢ…指示体、Ｐａ…カメラ位置、Ｐａ…位置、ＰＩ…画像、ＰＬ…投射光、ＰＬａ…被照射領域、ＰＬｉ…映像画像、ＰＴ…パターン画像、ＳＣ…スクリーン、ＳＥ…エリア、ＳＰ…位置、ＳＰｉ…画像点、ｙ…像高、η，φ…角度、θ…半画角（画角）
【図１】
2018085552.tif 000003
【図２】
2018085552.tif 000004
【図３】
2018085552.tif 000005
【図４】
2018085552.tif 000006
【図５Ａ】
2018085552.tif 000007
【図５Ｂ】
2018085552.tif 000008
【図６】
2018085552.tif 000009
【図７】
2018085552.tif 000010
【図８Ａ】
2018085552.tif 000011
【図８Ｂ】
2018085552.tif 000012
【図９】
2018085552.tif 000013
【図１０】
2018085552.tif 000014
【図１１Ａ】
2018085552.tif 000015
【図１１Ｂ】
2018085552.tif 000016
【図１２】
2018085552.tif 000017
【図１３】
2018085552.tif 000018
【図１４】
2018085552.tif 000019
【図１５】
2018085552.tif 000020
【図１６】
2018085552.tif 000021
【図１７】
2018085552.tif 000022
【図１８】
2018085552.tif 000023