(57)【要約】【課題】投写画面に対する指示体の位置を精度良く検出できる技術を提供する。【解決手段】プロジェクターは、投写画面に対するユーザーの指示体による指示を受け取る。このプロジェクターは、スクリーン面上に、前記投写画面を投写する投写部と；前記投写画面の領域を撮像する撮像部と；前記撮像部によって撮像された前記指示体を含む画像に基づいて、前記投写画面に対する前記指示体の位置を検出する位置検出部と；を備える。前記位置検出部は、前記投写部が前記投写画面を投写することによって生じる前記指示体の前記スクリーン面上での第１の陰影の境界と、前記指示体の表面における第２の陰影の境界と、に基づいて、前記投写画面に対する前記指示体の三次元的な位置を検出する。【選択図】図３
2019168737.tif 000002
【特許請求の範囲】
【請求項１】
投写画面に対するユーザーの指示体による指示を受け取ることが可能なプロジェクターであって、
スクリーン面上に、前記投写画面を投写する投写部と、
前記投写画面の領域を撮像する撮像部と、
前記撮像部によって撮像された前記指示体を含む画像に基づいて、前記投写画面に対する前記指示体の位置を検出する位置検出部と、
を備え、
前記位置検出部は、前記投写部が前記投写画面を投写することによって生じる前記指示体の前記スクリーン面上での第１の陰影の境界と、前記指示体の表面における第２の陰影の境界と、に基づいて、前記投写画面に対する前記指示体の三次元的な位置を検出する、プロジェクター。
【請求項２】
請求項１記載のプロジェクターであって、
前記位置検出部は、前記画像における前記第２の陰影の境界を、前記投写部と前記第１の陰影の境界とを結ぶエピポーラ線の線上に検出する、プロジェクター。
【請求項３】
請求項２記載のプロジェクターであって、
前記位置検出部は、前記画像における前記エピポーラ線の線上において、前記指示体の表面に投写されている前記投写画面の像を検出することにより、前記第２の陰影の境界を検出する、プロジェクター。
【請求項４】
請求項１から請求項３のいずれか一項に記載のプロジェクターであって、
第１撮像部である前記撮像部に加え、前記投写画面の領域を撮像する第２撮像部を備え、
前記位置検出部は、前記第１撮像部によって撮影された前記画像である第１画像と、前記第２撮像部によって撮影された前記画像である第２画像と、の少なくとも一方を用いて、前記投写画面に対する前記指示体の三次元的な位置を検出する、プロジェクター。
【請求項５】
請求項４記載のプロジェクターであって、
前記位置検出部は、前記第１画像と、前記第２画像と、のうち、前記第１の陰影の像の面積が大きい方を用いて、前記投写画面に対する前記指示体の三次元的な位置を検出する、プロジェクター。
【請求項６】
請求項４記載のプロジェクターであって、
前記位置検出部は、前記第１画像と、前記第２画像と、のそれぞれに写っている前記第１の陰影の境界と、前記第２の陰影の境界と、に基づいて、前記投写画面に対する前記指示体の三次元的な位置を検出する、プロジェクター。
【請求項７】
請求項１から請求項６のいずれか一項に記載のプロジェクターであって、
前記位置検出部は、前記画像から前記投写画面の像を差し引いた画像を用いて、前記投写画面に対する前記指示体の三次元的な位置を検出する、プロジェクター。
【請求項８】
請求項１から請求項７のいずれか一項に記載のプロジェクターであって、さらに、
前記撮像部が撮影する前記投写画面の領域に赤外線を照射する赤外光源を備え、
前記撮像部は、前記画像として、前記赤外線の照射による赤外線画像を撮影する赤外線撮像部であり、
前記位置検出部は、前記赤外線画像を用いて、前記投写画面に対する前記指示体の三次元的な位置を検出する、プロジェクター。
【請求項９】
プロジェクションシステムであって、
スクリーン面上に、投写画面を投写する投写部と、
前記投写画面の領域を撮像する撮像部と、
前記撮像部によって撮像されたユーザーの指示体を含む画像に基づいて、前記投写画面に対する前記指示体の位置を検出する位置検出部と、
を備え、
前記位置検出部は、前記投写部が前記投写画面を投写することによって生じる前記指示体の前記スクリーン面上での第１の陰影の境界と、前記指示体の表面における第２の陰影の境界と、に基づいて、前記投写画面に対する前記指示体の三次元的な位置を検出する、プロジェクションシステム。
【請求項１０】
投写部がスクリーン面に投写する投写画面を指し示すユーザーの指示体の位置を検出する方法であって、
前記投写部に対して予め決められた位置に設置されている撮像部によって、前記投写画面の領域と、前記指示体と、を含む画像を撮影する工程と、
前記画像に基づいて、前記投写画面に対する前記指示体の位置を検出する工程と、
を備え、
前記位置を検出する工程は、前記投写部が前記投写画面を投写することによって生じる前記指示体の前記スクリーン面上での第１の陰影の境界と、前記指示体の表面における第２の陰影の境界と、に基づいて、前記投写画面に対する前記指示体の三次元的な位置を検出する工程である、方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、プロジェクターに関する。
【背景技術】
【０００２】
プロジェクターとして、投写画像に対するユーザーの指示体による操作を、投写画像が投写される領域を撮像した画像を用いて検出する、いわゆるインタラクティブプロジェクターが知られている。例えば、下記の特許文献１には、撮影された画像に写るユーザーの指示体とその指示体の影との距離から指示体と投写スクリーンとが接触しているか否かを判定するプロジェクターが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−１８１７２１号公報
【特許文献２】特開２００８−５９２８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
指示体によるユーザーの指示操作を正確に検出するためには、スクリーンに表示されている投写画像に対する指示体の位置を簡易に、精度良く検出できることが望ましい。しかしながら、上記の特許文献１の技術は、指示体とその影の位置関係に基づいて、スクリーンに対する指示体による操作を判定するものであり、投写画像に対する指示体の位置を精度良く求めるものではない。スクリーンに表示されている投写画像に対する指示体の位置を精度良く検出することについては依然として改良の余地がある。
【課題を解決するための手段】
【０００５】
本発明の一形態は、投写画面に対するユーザーの指示体による指示を受け取ることが可能なプロジェクターとして提供される。この形態のプロジェクターは、スクリーン面上に、前記投写画面を投写する投写部と；前記投写画面の領域を撮像する撮像部と；前記撮像部によって撮像された前記指示体を含む画像に基づいて、前記投写画面に対する前記指示体の位置を検出する位置検出部と；を備える。前記位置検出部は、前記投写部が前記投写画面を投写することによって生じる前記指示体の前記スクリーン面上での第１の陰影の境界と、前記指示体の表面における第２の陰影の境界と、に基づいて、前記投写画面に対する前記指示体の三次元的な位置を検出する。
【図面の簡単な説明】
【０００６】
【図１】第１実施形態のプロジェクションシステムの構成を示す概略斜視図。
【図２】第１実施形態のプロジェクションシステムの概略機能ブロック図。
【図３】第１実施形態の位置検出処理のフローを示す説明図。
【図４】エピポーラ幾何について説明するための説明図。
【図５】画像から第１と第２の陰影の境界を検出する方法を説明するための説明図。
【図６】第１と第２の陰影の境界に基づく指示体の位置検出を説明するための説明図。
【図７】第２実施形態のプロジェクションシステムの概略機能ブロック図。
【図８】第２実施形態の位置検出処理のフローを示す説明図。
【図９】第３実施形態の位置検出処理のフローを示す説明図。
【図１０】第４実施形態のプロジェクションシステムの概略機能ブロック図。
【図１１】第４実施形態の位置検出処理のフローを示す説明図。
【図１２】第５実施形態のプロジェクションシステムの概略機能ブロック図。
【発明を実施するための形態】
【０００７】
１．第１実施形態：
図１は、第１実施形態におけるプロジェクションシステム１００Ａの構成を模式的に示す概略斜視図である。図１には、互いに直交するｘ軸、ｙ軸、ｚ軸を図示してある。ｘ軸、ｙ軸、ｚ軸が示す方向については後述する。
【０００８】
プロジェクションシステム１００Ａは、スクリーン１１のスクリーン面１１ｓ上に、投写画面(projected screen)ＰＳを投写するプロジェクター１０Ａを備える。「投写画面ＰＳ」とは、投写画像を表す画像光が投写されることによってスクリーン面１１ｓに形成される投写画像の表示画面を意味し、実質的に「スクリーン面１１ｓに投写されている投写画像」と言い換えることもできる。
【０００９】
プロジェクター１０Ａは、いわゆるインタラクティブプロジェクターであり、指示体（pointing element）１２による投写画面ＰＳに対するユーザーの指示を受け取って、その指示を投写画面ＰＳに反映させる。「指示体１２による指示」とは、「指示体１２による操作」と言い換えることができる。指示体１２によるユーザーの指示としては、例えば、投写画面ＰＳ中に画像を書き加えたり消去したりする描画操作や、投写画面ＰＳ中に含まれる画像オブジェクトの指定、選択、移動等の操作が含まれる。
【００１０】
第１実施形態では、指示体１２はユーザーの指である。指示体１２は、ユーザーの指に限定されることはない。指示体１２は、例えば、ユーザーの手であってもよいし、ユーザーが手に持っているペンや指示棒などの器具であってよい。プロジェクター１０Ａには、後述する画像からの指示体１２の検出を可能にするために、指示体１２の形状を表す特徴データが予め登録されている。
【００１１】
ここで、図１において、ｘ軸は、水平方向に平行な方向を示しており、ユーザーがスクリーン面１１ｓに正対したときに、左から右に向かう方向を＋とする左右方向を示している。ｙ軸は、鉛直方向に平行な方向を示しており、上から下に向かう方向を＋とする上下方向を示している。ｚ軸は、スクリーン面１１ｓに垂直な方向を示しており、ユーザーがスクリーン面１１ｓに正対したときに、スクリーン面１１ｓからユーザーに向かう方向を＋とし、ユーザー側を前、スクリーン面１１ｓ側を後とする前後方向を示している。
【００１２】
図１の例では、上記のｘｙｚ座標空間に、プロジェクター１０Ａ、スクリーン１１及び指示体１２が配置されている。プロジェクター１０Ａは、スクリーン面１１ｓに対して予め決められた位置に設置されている。図１の例では、プロジェクター１０Ａは、鉛直方向に沿って設置されたスクリーン面１１ｓの上方、かつ、前方に固定的に取り付けられている。
【００１３】
詳細は後述するが、プロジェクター１０Ａは、投写部２０と、撮像部３０と、を備える。投写部２０は、投写画面ＰＳをスクリーン面１１ｓのほぼ全面に投写できるように設けられている。撮像部３０は、投写画面ＰＳのほぼ全面を撮影できるように設けられている。第１実施形態では、例えば、投写部２０の投写レンズ２３と撮像部３０のレンズ３１は、ｘ軸方向においてスクリーン面１１ｓのほぼ中央に配置され、ｙ軸方向においてスクリーン面１１ｓの上方に配置されている。そして、ｚ軸方向において、スクリーン面１１ｓに対して前方に離れた位置に配置されている。
【００１４】
なお、他の実施形態では、プロジェクター１０Ａは、スクリーン面１１ｓに対して上述した位置以外の他の位置に設置されていてもよい。プロジェクター１０Ａは、スクリーン面１１ｓに面する位置に設置されていてもよいし、スクリーン面１１ｓの下方に設置されていてもよい。また、スクリーン面１１ｓの設置角度は、鉛直方向に沿った角度に限定されず、例えば、水平面に沿った角度で設置されていてもよい。
【００１５】
なお、図１では、スクリーン面１１ｓに指示体１２である指の陰影が生じている様子が模式的に示されている。この陰影は、プロジェクター１０Ａからの投写画面ＰＳの光を指示体１２が遮ることにより発生している。本明細書において陰影（shadow）は、光の当たらない暗い部分であり、以下の「陰（shade）」と「影（shadow）」の両方を含む概念である。ここでの「陰」は、光が当たっている物体の表面に生じた光の照射量が少なく暗い部分である。また、「影」は、光が当たっている物体の外の領域に生じ、光が当該物体に遮られてできる暗い部分である。つまり、指示体１２表面に生じている陰影は「陰」であり、スクリーン面１１ｓ上に生じている指示体１２の陰影は「影」である。以下の説明では、理解の便宜のために、「陰影」が「陰」であるのか「影」であるのかを、「陰影」の表記の後の括弧内に表示する場合がある。
【００１６】
図２は、第１実施形態のプロジェクションシステム１００Ａの概略機能ブロック図である。プロジェクター１０Ａは、制御部１５と、投写部２０と、画像生成部２５と、撮像部３０と、位置検出部４０と、を備える。
【００１７】
制御部１５は、例えば、１つまたは複数のプロセッサーと、主記憶装置と、を備えるコンピューターによって構成され、主記憶装置上に読み込んだプログラムや命令を実行することによって、種々の機能を発揮する。制御部１５は、各機能を実現するための複数の回路を組み合わせて構成されてもよい。
【００１８】
制御部１５は、プロジェクター１０Ａによる投写を制御する。制御部１５は、後述する位置検出処理において、位置検出部４０によって検出された指示体１２の位置やその位置の変化に対して、予め対応付けられているユーザーの指示を識別し、その指示に応じて、投写画面ＰＳに対する画像処理を実行する。
【００１９】
投写部２０は、制御部１５の制御下において画像光を投写する。投写部２０は、光源２１と、光変調部２２と、投写レンズ２３と、を備える。光源２１は、ライトバルブやＬＥＤによって構成される。光変調部２２は、液晶パネルによって構成され、画像生成部２５から入力される画像信号に応じて光源２１から照射された光を変調する。光変調部２２において変調された光は、投写レンズ２３によって拡大されて、画像光としてスクリーン面１１ｓに投写される。
【００２０】
画像生成部２５は、例えば、画像処理プロセッサーによって構成される。画像生成部２５は、制御部１５の制御下において、プロジェクター１０Ａの外部接続機器から入力された映像データや制御部１５から入力された映像データから投写画像を表す画像信号を生成し、投写部２０の光変調部２２に入力する。画像生成部２５は、予め設定されているパラメーターを反映する色補正や台形補正などの補正処理を実行する機能を備えている。
【００２１】
撮像部３０は、例えば、ＣＣＤやＣＭＯＳイメージセンサーとレンズ３１等を含んだカメラによって構成される。撮像部３０は、投写部２０の投写レンズ２３に対して予め決められた位置に固定されている。撮像部３０は、その撮影範囲内に、投写画面ＰＳの全体が含まれるように設置されていることが望ましい。撮像部３０は、制御部１５の制御下において、投写画面ＰＳの領域を撮影する。撮像部３０によって撮影された撮像画像ＩＭは、位置検出部４０に出力される。指示体１２が画像光の照射範囲内にある場合には、撮像画像ＩＭには、スクリーン面１１ｓの画像と、指示体１２の画像と、が含まれる。また、撮像部３０は、可視光、赤外光等の画像を撮像可能であるが、本実施形態では、フィルター等の切替えにより主に可視光を撮影するものとする。
【００２２】
位置検出部４０は、例えば、１または複数のプロセッサーと、主記憶装置とを備えるコンピューターによって構成される。位置検出部４０は、制御部１５を構成するコンピューターにおいて、制御部１５の下位の一機能部として実現されていてもよい。位置検出部４０は、制御部１５の制御下において、撮像部３０によって撮像された指示体１２を含む撮像画像ＩＭに基づいて、投写画面ＰＳに対する指示体１２の位置を検出する。
【００２３】
位置検出部４０は、撮像画像ＩＭを解析する画像解析部４２を備える。後述するように、画像解析部４２は、位置検出処理において、スクリーン面１１ｓ上に生じている指示体１２の陰影と、指示体１２表面に生じている陰影と、を検出する。そして、撮像画像ＩＭにおいて検出されたそれらの陰影の位置に基づいて投写画面ＰＳに対する指示体１２の位置を検出し、制御部１５に出力する。
【００２４】
なお、プロジェクションシステム１００Ａでは、制御部１５は、スクリーン面１１ｓ上における投写画面ＰＳの座標系であるｘｙ座標系と、撮像部３０が撮影する撮像画像ＩＭの座標系であるＸＹ座標系と、の対応関係を取得していることが望ましい。この対応関係は、投写部２０によって予め決められたパターン画像をスクリーン面１１ｓに投写させ、撮像部３０によって撮影したそのパターン画像の投写画面ＰＳを、公知の方法で解析することによって取得することができる。
【００２５】
図３は、制御部１５の制御下において実行される位置検出処理のフローを示す説明図である。制御部１５は、投写部２０がスクリーン面１１ｓ上に投写画面ＰＳを投写しているときに、指示体１２がスクリーン面１１ｓの前方にあることが、撮像部３０、あるいは、他のセンサーによって検出されたときに、この位置検出処理を実行する。プロジェクター１０Ａは、位置検出処理の前までに、投写部２０、撮像部３０、スクリーン面１１ｓ等の位置関係の情報を取得、または、入力がされていることが望ましい。また、それらの情報は、投写距離のように撮像部３０等が有する計測機構により求めることも可能である。
【００２６】
ステップＳ１０では、制御部１５は、撮像部３０に、指示体１２の像を含む撮像画像ＩＭを撮影させる。撮像部３０が撮影した撮像画像ＩＭは位置検出部４０に入力される。
【００２７】
ステップＳ２０では、位置検出部４０の画像解析部４２は、撮像部３０が出力した撮像画像ＩＭを解析し、撮像画像ＩＭから、スクリーン面１１ｓ上に生じる指示体１２の第１の陰影（影）と指示体１２の表面に生じる第２の陰影（陰）を検出し、それぞれの陰影の境界を検出する。
【００２８】
ステップＳ３０では、位置検出部４０は、ステップＳ２０で検出した陰影の境界に基づいて、指示体１２の三次元的な位置を算出する。
【００２９】
図４および図５を参照して、ステップＳ２０での処理内容を説明する。まず、図４により、ステップＳ２０の処理での前提となるエピポーラ幾何についての概略を説明する。図４では、３次元空間であるｘｙｚ空間において、２台のカメラである左側カメラＣＭＬと右側カメラＣＭＲがそれぞれ配置され、点Ｐを撮影している状態を模式的に示している。また、図４には、３次元空間の点ＰをそれぞれのカメラＣＭＲ，ＣＭＬで撮影した撮像画像ＩＭＬ，ＩＭＲを仮想的に示してある。
【００３０】
ここで、周知の通り、３次元空間に配置された２台のカメラを用いれば、三角測量により、３次元空間にある測定対象となる点の座標を取得することが可能である。左側カメラＣＭＬの撮像画像ＩＭＬでは、点Ｐ，Ｐ１，Ｐ２の位置をいずれも区別することができない。撮像画像ＩＭＬでは、左側カメラＣＭＬと点Ｐとを結ぶ直線Ｌ上の点は、すべて撮像画像ＩＭＬ上の点Ｘｐにおいて重なるためである。しかし、右側カメラＣＭＲの撮像画像ＩＭＲを用いれば、直線Ｌ上の点Ｐ，Ｐ１，Ｐ２はそれぞれ異なる点Ｘｐａ，Ｘｐ１，Ｘｐ２として検出できる。よって、この２枚の撮像画像ＩＭＬ、ＩＭＲより点Ｐを正しく三角測量でき、点Ｐの３次元空間での位置を検出できる。
【００３１】
ここで、直線Ｌ上の点は、右側カメラＣＭＲの撮像画像ＩＭＲでは直線ｅｌを形成する。この直線ｅｌが、点Ｐの「エピポーラ線」と呼ばれる。また、３次元空間の点Ｐと右側カメラＣＭＲと左側カメラＣＭＬとで規定される仮想平面が、「エピポーラ面」と呼ばれる。また、右側カメラＣＭＲが左側カメラＣＭＬの撮像画像ＩＭＬへ投写された点ｅは、「エピポール」と呼ばれ、２つのカメラの撮影中心であるレンズの中心を結ぶ直線と撮像画像ＩＭＬ平面との交点である。同様に右側カメラＣＭＲの撮像画像ＩＭＲにおける点eａは、左側カメラＣＭＬに対応するエピポールである。エピポールは、実際の撮像画像では、撮像画像の外にある場合が多い。
【００３２】
直線Ｌ上の点Ｐを探すには、撮像画像ＩＭＲにおいてエピポーラ線上を探索すればよい。そのため、エピポーラ線を特定できれば、点Ｐの検出が容易で、その検出精度を向上させることができる。また、すべてのエピポーラ線はエピポールを通過するので、エピポールの位置を見つけるためには、複数のエピポーラ線を探し、それらの交点をみつければよい。
【００３３】
本実施形態では、上記のエピポーラ幾何の原理を、投写部２０、撮像部３０と指示体１２に適用し、投写部２０を「インバースカメラ（inverse camera）」と呼ばれるカメラ（撮像部）として捉え、指示体１２の位置を検出する。
【００３４】
本実施形態のステップＳ２０での処理内容を説明する。図５には、撮像部３０による撮像画像ＩＭから抜き出した指示体１２の近傍領域の撮像画像ＩＭａを模式的に示してある。なお、図５では、便宜上、撮像部３０の撮影角度やレンズの歪みによって生じる撮像画像ＩＭにおける像の歪みは再現されていない。
【００３５】
ステップＳ２０では、位置検出部４０の画像解析部４２は、撮像部３０が出力した撮像画像ＩＭを解析し、撮像画像ＩＭから、投写部２０が投写画面ＰＳを投写することによってスクリーン面１１ｓ上に生じる指示体１２の陰影Ｓａ（影）の像を検出する。以下、このスクリーン面１１ｓ上の陰影Ｓａを、便宜上、「第１の陰影Ｓａ」とも呼ぶ。通常、投写部２０の光源２１の輝度は高い。そのため、投写部２０の投写により生じる第１の陰影Ｓａの像の輪郭は明確であり、第１の陰影Ｓａの像の検出は容易である。なお、位置検出部４０は、撮像画像ＩＭ中に指示体１２の第１の陰影Ｓａの像を検出できないときには、指示体１２による指示がないものとして、位置検出処理を終了してもよい。
【００３６】
画像解析部４２は、さらに、撮像画像ＩＭにおいて検出した第１の陰影Ｓａに基づいて、撮像画像ＩＭから、投写部２０が投写画面ＰＳを投写することによって指示体１２の表面に生じる陰影Ｓｂ（陰）を検出する。以下、この指示体１２の表面における陰影Ｓｂを、便宜上、「第２の陰影Ｓｂ」とも呼ぶ。第１実施形態では、位置検出部４０は、以下のように、撮像画像ＩＭにおける第２の陰影Ｓｂを、投写部２０の位置ＰＪと、第１の陰影Ｓａと、を結ぶエピポーラ線ＥＬの線上に検出する。
【００３７】
ここで、投写部２０の位置ＰＪ、つまり、投写レンズ２３の中心位置と撮像部３０のレンズ３１の中心位置との位置関係は既知である。そのため、投写部２０を、インバースカメラ（inverse camera）として捉えたときに、投写部２０の位置ＰＪをエピポールとして、当該エピポールと撮像画像ＩＭに写る第１の陰影Ｓａの外縁部である境界Ｂａとを結ぶエピポーラ線ＥＬを特定できる。制御部１５は、予め決められた第１の陰影Ｓａの境界Ｂａ上における１以上の特定の点を通る１本以上のエピポーラ線ＥＬを特定する。画像解析部４２は、そのエピポーラ線ＥＬ線上に、第２の陰影Ｓｂの外縁部である境界Ｂｂを検出する。本明細書において、「エピポーラ線の線上」と言うときは、エピポーラ線自体の上と、エピポーラ線を延長した延長線の上の両方を含む。画像解析部４２は、エピポーラ線ＥＬと第２の陰影Ｓｂの境界Ｂｂとの交点を、前述した特定点に対応する境界Ｂｂ上の特定点として検出する。
【００３８】
指示体１２表面に生じる第２の陰影Ｓｂは、通常、スクリーン面１１ｓ上の第１の陰影Ｓａよりも濃度が薄い。また、第２の陰影Ｓｂの境界Ｂｂは、指示体１２の立体形状や指示体１２の表面性状によってはぼやけてしまう可能性がある。そうであっても、上記のような投写部２０と第１の陰影Ｓａの境界Ｂａとを結ぶエピポーラ線ＥＬを用いることによって、第１の陰影Ｓａの境界Ｂａの位置を基準として、第２の陰影Ｓｂの境界Ｂｂを容易に検出することが可能である。
【００３９】
画像解析部４２は、エピポーラ線ＥＬの特定する際には、投写部２０と撮像部３０との位置関係の他に、投写レンズ２３や撮像部３０のレンズの焦点距離やディストーションの量などのレンズ固有のパラメーターを反映させることが望ましい。これによって、エピポーラ線ＥＬを精度良く特定することができ、第２の陰影Ｓｂを、より精度良く検出することができる。
【００４０】
画像解析部４２は、撮像画像ＩＭにおけるエピポーラ線ＥＬの線上において、指示体１２の表面に投写されている投写画面ＰＳの像に基づいて、次のように、第２の陰影Ｓｂの境界Ｂｂを検出してもよい。画像解析部４２は、画像生成部２５から、投写部２０が現在投写している投写画像のデータを取得する。そして、撮像部３０によって撮影された撮像画像ＩＭにおいて、その投写画像に含まれる画像パターンが指示体１２の表面の形状によって歪んでいる部位を検出する。画像解析部４２は、エピポーラ線ＥＬの線上におけるその歪んでいる部位の端部において第２の陰影Ｓｂの境界Ｂｂを検出する。このようにすれば、第２の陰影Ｓｂの境界Ｂｂを、より容易に検出することができる。
【００４１】
画像解析部４２は、第１の陰影Ｓａにおけるユーザーの指先である指示体１２の先端部ＴＰに対応する先端部位ＴＰｓの位置から、指示体１２の先端部ＴＰにおける第２の陰影Ｓｂの境界Ｂｂを検出してもよい。画像解析部４２は、撮像画像ＩＭにおいて第１の陰影Ｓａの像が長く延びている先端を、第１の陰影Ｓａの先端部位ＴＰｓとして特定する。そして、その先端部位ＴＰｓから延びるエピポーラ線ＥＬの線上に指示体１２の先端部ＴＰを検出し、その第２の陰影Ｓｂの境界Ｂｂを検出する。このようにすれば、指示体１２の先端部ＴＰの位置の検出が容易になる。そのため、指示体１２の先端部ＴＰによるユーザーの指示をより精度良く検出することが可能になる。
【００４２】
図６を参照して、図３のステップＳ３０の処理の内容を説明する。図６には、後述するベースラインＢＬと、図５における任意の１本のエピポーラ線ＥＬと、で規定される仮想平面における投写部２０の位置ＰＪと、撮像部３０の位置ＣＭと、指示体１２と、投写画面ＰＳと、の位置関係が模式的に表されている。また、図５に対応して、１本のエピポーラ線ＥＬによる第１の陰影Ｓａの境界Ｂａと、第２の陰影Ｓｂの境界Ｂｂが示されている。ステップＳ３０では、位置検出部４０は、ステップＳ２０で検出した第１の陰影Ｓａの境界Ｂａと、第２の陰影Ｓｂの境界Ｂｂと、に基づいて、投写画面ＰＳに対する指示体１２の三次元的な位置を、以下のように検出する。
【００４３】
ここで、投写部２０の位置ＰＪと、撮像部３０のレンズ３１の中心位置である位置ＣＭとの位置関係は既知であり、それら２つの位置ＰＪ，ＣＭを結ぶ線分であるベースラインＢＬは既知である。また、スクリーン面１１ｓ上における投写画面ＰＳに対する投写部２０の位置ＰＪおよび撮像部３０の位置ＣＭもそれぞれ既知である。よって、撮影画像ＩＭ上でのＸＹ座標系とスクリーン面１１ｓ面上における投写画面ＰＳのｘｙ座標系との対応関係は既知である。
【００４４】
撮影画像ＩＭ上でのＸＹ座標系と投写画面ＰＳのｘｙ座標系との対応関係から、図５の撮像画像ＩＭにおいて検出されるＸＹ座標で表される２次元位置から、第１の陰影Ｓａの境界Ｂａのスクリーン面１１ｓ上でのｘｙ座標は容易に検出される。そして、第１の陰影Ｓａの境界Ｂａはスクリーン面１１ｓ上にあり、そのｚ軸座標は、スクリーン面１１ｓのｚ軸座標と等しいとみなせる。よって、第１の陰影Ｓａの境界Ｂａのｘｙｚ座標で表される三次元的な位置は容易に特定することができる（図６参照）。
【００４５】
一方、図６に例示されているように、指示体１２がスクリーン面１１ｓに接触していない状態では、スクリーン面１１ｓに対する指示体１２の位置が定まらない。そのため、図５の撮像画像ＩＭにおいて検出される第２の陰影Ｓｂの境界ＢｂのＸＹ座標のみから、第２の陰影Ｓｂの境界Ｂｂの三次元空間でのｘｙｚ座標を特定することは容易ではない。しかしながら、投写部２０を図６の位置ＰＪにあるインバースカメラと捉えることにより、図４で説明したように、位置ＰＪと第１の陰影Ｓａの境界Ｂａとを結ぶエピポーラ線ＥＬ上にある第２の陰影Ｓａの境界Ｂａの三次元的な位置を容易に特定することができる。
【００４６】
ここで、上記のように、投写画面ＰＳと、投写部２０の位置ＰＪと、撮像部３０の位置ＣＭのそれぞれの相対的な位置関係は既知である。そのため、ベースラインＢＬに対するエピポーラ線ＥＬの角度θは既知である。また、ベースラインＢＬの長さに相当する２つの位置ＰＪ，ＣＭの距離ＤＤも既知である。
【００４７】
位置検出部４０は、撮像部３０の位置ＣＭとエピポーラ線ＥＬ上にある第１の陰影Ｓａの境界Ｂａ上における特定点とを結ぶ直線ＬａのベースラインＢＬに対する角度である第１角度θａを算出する。また、ベースラインＢＬに対する撮像部３０の位置ＣＭとエピポーラ線ＥＬ上にある第２の陰影Ｓｂの境界Ｂｂ上における特定点とを結ぶ直線ＬｂのベースラインＢＬに対する角度である第２角度θｂを算出する。
【００４８】
位置検出部４０は、三角測量の原理を利用して、距離ＤＤと、角度θと、第１角度θａと、を用いて、投写部２０の位置ＰＪに対する第１の陰影の境界Ｂａの距離Ｄａを算出する。そして、距離ＤＤと、角度θと第２角度θｂとを用いて、投写部２０に対する第２の陰影の境界Ｂｂの距離Ｄｂを算出する。位置検出部４０は、距離Ｄａ，Ｄｂから、投写画面ＰＳに対する指示体１２の三次元的な位置を算出し、制御部１５にその検出結果を出力する。制御部１５は、上述したように、位置検出処理での検出結果を用いて、指示体１２によるユーザーの指示を検出する。
【００４９】
位置検出処理による指示体１２の位置の検出は、投写部２０のスクリーン面１１ｓ上に投写画面ＰＳが投写されていれば可能であるが、輝度の高い白画面や、検出に適した検出用パターンを投写することによって検出精度をさらに向上させることができる。そうした白画面や検出用パターンは、通常の画像である投写画面ＰＳを投写しているフレーム間に挿入して投写されることが望ましい。また、この場合、撮像部３０は、その挿入のタイミングに合わせて撮影することが望ましい。
【００５０】
以上のように、第１実施形態のプロジェクター１０Ａ、プロジェクションシステム１００Ａ、および、位置検出処理において実現されている指示体１２の位置の検出方法によれば、投写部２０を「インバースカメラ」として、撮像部３０の撮像画像ＩＭを解析することにより、ステレオカメラ等を用いることなく、投写画面ＰＳに対する指示体１２の三次元的な位置を容易に検出することができる。よって、指示体１２が投写画面ＰＳに対して非接触な状態であるか、投写画面ＰＳのどの位置に指示体１２が接触しているか、指示体１２が投写画面ＰＳのどの画像オブジェクトを指し示しているか、を精度良く検出することができる。そのため、投写画面ＰＳに対する指示体１２によるユーザーの指示を、簡易、かつ、より正確に検出することができる。第１実施形態のプロジェクター１０Ａ、プロジェクションシステム１００Ａ、および、位置検出処理において実現されている指示体１２の位置の検出方法によれば、上述した作用効果に加えて、第１実施形態中で説明した種々の作用効果を奏することができる。
【００５１】
２．第２実施形態：
図７は、第２実施形態におけるプロジェクションシステム１００Ｂの構成を示す概略機能ブロック図である。第２実施形態のプロジェクションシステム１００Ｂの構成は、第１実施形態のプロジェクター１０Ａの代わりに、第２実施形態のプロジェクター１０Ｂを備えている点以外は、第１実施形態のプロジェクションシステム１００Ａの構成とほぼ同じである。第２実施形態のプロジェクター１０Ｂの構成は、第１実施形態で説明した撮像部３０に加えて、撮像部３２を備えている点以外は、第１実施形態のプロジェクター１０Ａの構成とほぼ同じである。
【００５２】
以下、便宜上、撮像部３０を「第１撮像部３０」とも呼び、撮像部３２を「第２撮像部３２」とも呼ぶ。第２撮像部３２は、第１撮像部３０と同様な構成を有しており、レンズ３３を有する。第２撮像部３２は、制御部１５の制御下において、第１撮像部３０とは異なる位置から、投写画面ＰＳの領域を撮影する。第２撮像部３２は、投写部２０の投写レンズ２３に対して予め固定された位置に設けられている。第２撮像部３２は、第１撮像部３０との間に投写部２０の投写レンズ２３を挟む位置に設けられていることが望ましい。
【００５３】
第２撮像部３２によって撮影された撮像画像ＩＭは、位置検出部４０に送信される。以下では、第１撮像部３０によって撮影された撮像画像ＩＭを「第１画像ＩＭａ」とも呼び、第２撮像部３２によって撮影された撮像画像ＩＭを「第２画像ＩＭｂ」とも呼ぶ。第２実施形態の位置検出処理では、位置検出部４０は、第１画像ＩＭａと第２画像ＩＭｂのうちから選択した一方を用いて、指示体１２の位置を検出する。
【００５４】
図８は、第２実施形態における位置検出処理のフローを示す説明図である。第２実施形態の位置検出処理のフローは、ステップＳ１０，Ｓ２０の代わりに、ステップＳ１１，Ｓ２１の処理が実行される点以外は、第１実施形態でのフローとほぼ同じである。
【００５５】
ステップＳ１１では、制御部１５は、第１撮像部３０に指示体１２を含む第１画像ＩＭａを撮影させ、それと同時に、第２撮像部３２に指示体１２を含む第２画像ＩＭｂを撮影させる。これによって、位置検出部４０は、異なる角度から指示体１２が撮影された２枚の画像ＩＭａ，ＩＭｂを取得する。
【００５６】
ステップＳ２１では、まず、位置検出部４０は、画像解析部４２によって、第１画像ＩＭａと第２画像ＩＭｂとからスクリーン面１１ｓ上に生じている指示体１２の第１の陰影Ｓａの像を検出する。位置検出部４０は、その検出結果に基づいて、指示体１２の位置の検出に用いる解析画像ＩＭｃとして、第１画像ＩＭａと第２画像ＩＭｂの一方を選択する。第２実施形態では、位置検出部４０は、第１の陰影Ｓａの写っている面積が大きい方を、解析画像ＩＭｃとして選択する。
【００５７】
位置検出部４０は、第１実施形態のステップＳ２０の処理と同様に、選択された解析画像ＩＭｃにおいて、第１の陰影Ｓａの境界Ｂａと、第２の陰影Ｓｂの境界Ｂｂと、を検出する。そして、第１実施形態で説明したのと同様に、ステップＳ３０において、その検出結果に基づいて、投写画面ＰＳに対する指示体１２の三次元的な位置を検出する。
【００５８】
第２実施形態の位置検出処理によれば、指示体１２の下に第１の陰影Ｓａが隠れるような位置に指示体１２が位置したとしても、撮影角度が異なる２枚の画像ＩＭａ，ＩＭｂから、第１の陰影Ｓａが写っている面積が大きい方が選択される。よって、指示体１２と第１の陰影Ｓａとの位置関係によって、指示体１２の位置の検出精度が低下してしまうことを抑制することができる。第２実施形態のプロジェクター１０Ｂ、プロジェクションシステム１００Ｂ、および、位置検出処理において実現されている指示体１２の位置の検出方法によれば、上述した作用効果に加えて、第１実施形態中で説明した種々の作用効果を奏することができる。
【００５９】
３．第３実施形態：
図９は、第３実施形態における位置検出処理のフローを示す説明図である。第３実施形態の位置検出処理は、第２実施形態で説明したプロジェクションシステム１００Ｂと同様な構成を有するプロジェクションシステムにおいて実行される。第３実施形態の位置検出処理のフローは、ステップＳ２１，Ｓ３０の代わりに、ステップＳ２２，Ｓ３２の処理が実行される点以外は、第２実施形態の位置検出処理のフローとほぼ同じである。
【００６０】
第３実施形態の位置検出処理では、２枚の画像ＩＭａ，ＩＭｂの両方を用いて、指示体１２の位置が検出される。ステップＳ２２では、位置検出部４０の画像解析部４２によって、第１実施形態のステップＳ２０と同様な方法で、第１画像ＩＭａと第２画像ＩＭｂのそれぞれから、第１の陰影Ｓａの境界Ｂａと、第２の陰影Ｓｂの境界Ｂｂと、が検出される。
【００６１】
ステップＳ３２では、位置検出部４０は、２つの画像ＩＭａ，ＩＭｂのそれぞれにおいて検出された第１の陰影Ｓａの境界Ｂａと、第２の陰影Ｓｂの境界Ｂｂとに基づいて、投写画面ＰＳに対する指示体１２の三次元的な位置を算出する。位置検出部４０は、まず、第１画像ＩＭａで検出された第１の陰影Ｓａの境界Ｂａと第２の陰影Ｓｂの境界Ｂｂとに基づいて、第１実施形態で説明した方法で、投写画面ＰＳに対する指示体１２の三次元的な位置を算出する。この算出結果を「第１算出結果」と呼ぶ。次に、位置検出部４０は、第２画像ＩＭｂで検出された第１の陰影Ｓａの境界Ｂａと第２の陰影Ｓｂの境界Ｂｂとに基づいて、第１実施形態で説明した方法で、投写画面ＰＳに対する指示体１２の三次元的な位置を算出する。この算出結果を「第２算出結果」と呼ぶ。
【００６２】
位置検出部４０は、第１算出結果と第２算出結果の両方を反映させた最終的な算出結果を、投写画面ＰＳに対する指示体１２の三次元的な位置として、制御部１５に出力する。位置検出部４０は、例えば、第１算出結果と第２算出結果とを平均して最終的な算出結果を得てもよい。この場合に、位置検出部４０は、第１画像ＩＭａと第２画像ＩＭｂのそれぞれにおける第１の陰影Ｓａの像の面積の比率に応じて按分した平均値を算出してもよい。
【００６３】
第３実施形態の位置検出処理によれば、２つの撮影位置からの画像ＩＭａ，ＩＭｂに基づく算出結果が反映されるため、指示体１２の位置の検出結果に撮影角度に起因する偏りが生じることを抑制できる。第３実施形態のプロジェクター、プロジェクションシステム、および、位置検出処理において実現されている指示体１２の位置の検出方法によれば、上述した作用効果に加えて、第１実施形態中で説明した種々の作用効果を奏することができる。
【００６４】
４．第４実施形態：
図１０は、第４実施形態におけるプロジェクションシステム１００Ｄの構成を示す概略機能ブロック図である。第４実施形態のプロジェクションシステム１００Ｄの構成は、第１実施形態のプロジェクター１０Ａの代わりに、第４実施形態のプロジェクター１０Ｄを備えている点以外は、第１実施形態のプロジェクションシステム１００Ａの構成とほぼ同じである。第４実施形態のプロジェクター１０Ｄの構成は、位置検出部４０が画像補正部４４を備えている点以外は、第１実施形態のプロジェクター１０Ａの構成とほぼ同じである。
【００６５】
画像補正部４４は、例えば、画像処理プロセッサーによって構成される。画像補正部４４は、位置検出処理において撮像部３０から指示体１２を含む撮像画像ＩＭを取得し、画像生成部２５から、現在投写されている投写画面ＰＳの映像データを取得する。画像補正部４４は、画像生成部２５から取得した映像データを用いて、撮像部３０から取得した撮像画像ＩＭを補正し、画像解析部４２に出力する。画像補正部４４による撮像画像ＩＭの補正の内容については後述する。
【００６６】
図１１は、第４実施形態における位置検出処理のフローを示す説明図である。第４実施形態の位置検出処理のフローは、画像補正部４４によって実行されるステップＳ１５の処理が追加されている点以外は、第１実施形態でのフローとほぼ同じである。
【００６７】
ステップＳ１５では、画像補正部４４は、画像生成部２５から取得した映像データを用いて、撮像部３０から取得した撮像画像ＩＭから、投写画面ＰＳの像を差し引く画像補正を実行する。画像補正部４４は、画像生成部２５から取得した映像データを、その座標系が、撮像部３０の座標系と一致するように変換する。この変換の際には、予め取得されているスクリーン面１１ｓ面上における投写画面ＰＳの座標系と撮像部３０が撮影する撮像画像ＩＭの座標系との対応関係が用いられる。画像補正部４４は、撮像画像ＩＭから座標が変換された映像データが表す画像を減算する。これによって、撮像画像ＩＭに写っている投写画面ＰＳの像を目立たなくすることができる。
【００６８】
ステップＳ２０では、位置検出部４０の画像解析部４２は、位置検出部４０による画像補正がされた撮像画像ＩＭから、第１の陰影Ｓａの境界Ｂａと、第２の陰影Ｓｂの境界Ｂｂと、を検出する。ステップＳ２０では、ステップＳ１５において、撮像画像ＩＭから、画像ＩＭの中の投写画面ＰＳの像が予め差し引かれているため、画像解析部４２による第１の陰影Ｓａや第２の陰影Ｓｂの像の誤検出が抑制される。
【００６９】
以上のように、第４実施形態の位置検出処理によれば、撮像画像ＩＭからの第１の陰影Ｓａや第２の陰影Ｓｂの像の誤検出が抑制されるため、ステップＳ３０での指示体１２の三次元的な位置の検出結果の精度が高められる。第４実施形態のプロジェクター１０Ｄ、プロジェクションシステム１００Ｄ、および、位置検出処理において実現されている指示体１２の位置の検出方法によれば、上述した作用効果に加えて、第１実施形態中で説明した種々の作用効果を奏することができる。
【００７０】
５．第５実施形態：
図１２は、第５実施形態におけるプロジェクションシステム１００Ｅの構成を示す概略機能ブロック図である。第５実施形態のプロジェクションシステム１００Ｅの構成は、第１実施形態のプロジェクター１０Ａの代わりに、第５実施形態のプロジェクター１０Ｅを備えている点以外は、第１実施形態のプロジェクションシステム１００Ａの構成とほぼ同じである。第５実施形態のプロジェクター１０Ｅの構成は、赤外光源３７を備え、撮像部３０の代わりに赤外線カメラによって構成された撮像部３８を有している点以外は、第１実施形態のプロジェクター１０Ａの構成とほぼ同じである。
【００７１】
赤外光源３７は、例えば、赤外線ＬＥＤによって構成される。赤外光源３７は、制御部１５の制御下において不可視な赤外線照射光を、投写画面ＰＳが投写されている領域に照射する。制御部１５は、撮像部３８によって撮像画像ＩＭを撮影させるのに同期させて、赤外光源３７を発光させる。撮像部３８は、例えば、赤外光線ＣＣＤカメラによって構成されている。撮像部３８は、赤外光源３７の赤外光線によって照射された指示体１２を含む投写画面ＰＳの領域を撮影した撮像画像ＩＭを位置検出部４０に出力する。
【００７２】
撮像部３８によって得られる赤外線画像である撮像画像ＩＭでは、投写画面ＰＳの像やその他の背景の像が目立たなくなる一方で、投写部２０の投写によって生じる指示体１２の第１の陰影Ｓａは黒色の領域として写る。よって、第１の陰影Ｓａの境界Ｂａの検出精度が高められる。また、指示体１２の輪郭がより鮮明に写るため、第２の陰影Ｓｂの境界Ｂｂの検出精度が高められる。
【００７３】
以上のように、第５実施形態のプロジェクター１０Ｅによれば、撮像画像ＩＭから第１の陰影Ｓａや第２の陰影Ｓｂの像を精度良く検出することができ、指示体１２の三次元的な位置の検出結果の精度が高められる。第５実施形態のプロジェクター１０Ｅ、プロジェクションシステム１００Ｅ、および、位置検出処理において実現されている指示体１２の位置の検出方法によれば、上述した作用効果に加えて、第１実施形態中で説明した種々の作用効果を奏することができる。
【００７４】
６．他の実施形態：
上記の各実施形態で説明した種々の構成は、例えば、以下のように改変することが可能である。以下に説明する他の実施形態はいずれも、上記の各実施形態と同様に、発明を実施するための形態の一例として位置づけられる。
【００７５】
６−１．他の実施形態１：
上記の各実施形態のプロジェクションシステム１００Ａ，１００Ｂ，１００Ｄ，１００Ｅにおいて、撮像部３０，３２，３８は、プロジェクター１０Ａ，１０Ｂ，１０Ｄ，１０Ｅとは別体として設けられていてもよい。また、各実施形態のプロジェクションシステム１００Ａ，１００Ｂ，１００Ｄ，１００Ｅは、スクリーン１１を備えているものとしてもよい。
【００７６】
６−２．他の実施形態２：
上記の各実施形態において、位置検出部４０の画像解析部４２は、エピポーラ線ＥＬを用いることなく、撮像画像ＩＭにおいて、第１の陰影Ｓａと第２の陰影Ｓｂの特徴点を検出して、第１の陰影Ｓａの境界Ｂａと第２の陰影Ｓｂの境界Ｂｂとを検出してもよい。
【００７７】
６−３．他の実施形態３：
上記第２実施形態において、位置検出部４０の画像解析部４２は、２つの画像ＩＭａ，ＩＭｂのうちで、第１の陰影Ｓａの特徴点を多く検出できるものを解析画像として選択してもよい。
【００７８】
６−４．他の実施形態４：
上記の第２実施形態において、プロジェクションシステム１００Ｂは、第１撮像部３０と第２撮像部３２を含む３台以上の撮像部を備えてよい。この場合に、位置検出部４０は、各撮像部によって撮影された３枚以上の撮像画像ＩＭのうちから解析に用いる解析画像を選択してもよい。同様に、第３実施形態において、プロジェクションシステムは、第１撮像部３０と第２撮像部３２を含む３台以上の撮像部を備えてよい。この場合に、位置検出部４０は、各撮像部によって撮影された３枚以上の撮像画像ＩＭを用いて、指示体１２の位置を検出してもよい。
【００７９】
６−５．他の実施形態５：
上記実施形態において、ソフトウェアによって実現された機能及び処理の一部又は全部は、ハードウェアによって実現されてもよい。また、ハードウェアによって実現された機能及び処理の一部又は全部は、ソフトウェアによって実現されてもよい。ハードウェアとしては、例えば、集積回路、ディスクリート回路、または、それらの回路を組み合わせた回路モジュールなど、各種回路を用いることができる。
【００８０】
７．他の形態：
本発明は、上述の各実施形態や実施例に限られるものではなく、その趣旨を逸脱しない範囲において種々の形態（aspect）によって実現することができる。例えば、本発明は以下の形態として実現可能である。以下に記載する各形態中の技術的特徴に対応する上記の各実施形態中の技術的特徴は、本発明の課題の一部又は全部を解決するために、あるいは、本発明の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中において必須であると説明されていなければ、適宜、削除することが可能である。
【００８１】
（１）第１の形態は、投写画面に対するユーザーの指示体による指示を受け取ることが可能なプロジェクターとして提供される。この形態のプロジェクターは、スクリーン面上に、前記投写画面を投写する投写部と；前記投写画面の領域を撮像する撮像部と；前記撮像部によって撮像された前記指示体を含む画像に基づいて、前記投写画面に対する前記指示体の位置を検出する位置検出部と；を備える。前記位置検出部は、前記投写部が前記投写画面を投写することによって生じる前記指示体の前記スクリーン面上での第１の陰影の境界と、前記指示体の表面における第２の陰影の境界と、に基づいて、前記投写画面に対する前記指示体の三次元的な位置を検出する。
この形態のプロジェクターによれば、スクリーンに投写された投写画面の位置に対する指示体の三次元的な位置を、ステレオカメラ等を用いることなく簡易に検出することができる。投写画面に対する指示体の三次元的な位置を用いれば、指示体によるユーザーの指示を、簡易、かつ、より正確に検出することができる。
【００８２】
（２）上記形態のプロジェクターにおいて、前記位置検出部は、前記画像における前記第２の陰影の境界を、前記投写部と前記第１の陰影の境界とを結ぶエピポーラ線の線上に検出してよい。
この形態のプロジェクターによれば、第２の陰影の境界位置を、輪郭が明確で検出が容易なスクリーン面上の第１の陰影の境界位置を基準として容易に検出できるため、第２の陰影の境界位置を精度良く検出することができる。よって、投写画面に対する指示体の位置の検出精度が高められる。
【００８３】
（３）上記形態のプロジェクターにおいて、前記位置検出部は、前記画像における前記エピポーラ線の線上において、前記指示体の表面に投写されている前記投写画面の像を検出することにより、前記第２の陰影の境界を検出してよい。
この形態のプロジェクターによれば、第１の陰影の境界位置をより高い精度で検出することができる。よって、投写画面に対する指示体の位置の検出精度が高められる。
【００８４】
（４）上記形態のプロジェクターにおいて、第１撮像部である前記撮像部に加え、前記投写画面の領域を撮像する第２撮像部を備え；前記位置検出部は、前記第１撮像部によって撮影された前記画像である第１画像と、前記第２撮像部によって撮影された前記画像である第２画像と、の少なくとも一方を用いて、前記投写画面に対する前記指示体の三次元的な位置を検出してよい。
この形態のプロジェクターによれば、少なくとも２つの撮影位置からの画像を取得した上で、指示体の位置を検出することができる。よって、１つの撮影位置からの画像のみが取得される場合よりも多角的に指示体の位置を検出することができるため、指示体の位置の検出精度を高めることができる。
【００８５】
（５）上記形態のプロジェクターにおいて、前記位置検出部は、前記第１画像と、前記第２画像と、のうち、前記第１の陰影の像の面積が大きい方を用いて、前記投写画面に対する前記指示体の三次元的な位置を検出してよい。
この形態のプロジェクターによれば、第１の陰影および第２の陰影の検出が容易な画像を用いて指示体を検出することができるため、指示体の位置の検出を容易化でき、その検出精度を高めることができる。
【００８６】
（６）上記形態のプロジェクターにおいて、前記位置検出部は、前記第１画像と、前記第２画像と、のそれぞれに写っている前記第１の陰影の境界と、前記第２の陰影の境界と、に基づいて、前記投写画面に対する前記指示体の三次元的な位置を検出してよい。
この形態のプロジェクターによれば、１つの画像に基づいて指示体の位置を検出する場合よりも、検出結果に偏りが生じることを抑制できる。
【００８７】
（７）上記形態のプロジェクターにおいて、前記位置検出部は、前記画像から前記投写画面の像を差し引いた画像を用いて、前記投写画面に対する前記指示体の三次元的な位置を検出してよい。
この形態のプロジェクターによれば、画像に写る投写画面の像に起因する第１の陰影の境界の位置および第２の陰影の境界の検出精度の低下を抑制することができる。
【００８８】
（８）上記形態のプロジェクターは、さらに、前記撮像部が撮影する前記投写画面の領域に赤外線を照射する赤外光源を備え；前記撮像部は、前記画像として、前記赤外線の照射による赤外線画像を撮影し；前記位置検出部は、前記赤外線画像を用いて、前記投写画面に対する前記指示体の三次元的な位置を検出してよい。
この形態のプロジェクターによれば、画像に含まれる投写画面の像や背景の像に起因する第１の陰影の境界および第２の陰影の境界の誤検出を抑制することができる。
【００８９】
（９）第２の形態は、プロジェクションシステムとして提供される。この形態のプロジェクションシステムは、スクリーン面上に、投写画面を投写する投写部と；前記投写画面の領域を撮像する撮像部と；前記撮像部によって撮像されたユーザーの指示体を含む画像に基づいて、前記投写画面に対する前記指示体の位置を検出する位置検出部と；を備える。前記位置検出部は、前記投写部が前記投写画面を投写することによって生じる前記指示体の前記スクリーン面上での第１の陰影の境界と、前記指示体の表面における第２の陰影の境界と、に基づいて、前記投写画面に対する前記指示体の三次元的な位置を検出する。
この形態のプロジェクションシステムによれば、投写画面の位置に対する指示体の三次元的な位置を簡易に検出することができるため、投写画面に対する指示体によるユーザーの指示操作を、簡易、かつ、より正確に検出することができる。
【００９０】
（１０）第３の形態は、投写部がスクリーン面に投写する投写画面を指し示すユーザーの指示体の位置を検出する方法として提供される。この形態の方法は、前記投写部に対して予め決められた位置に設置されている撮像部によって、前記投写画面の領域と、前記指示体と、を含む画像を撮影する工程と；前記画像に基づいて、前記投写画面に対する前記指示体の位置を検出する工程と；を備える。前記位置を検出する工程は、前記投写部が前記投写画面を投写することによって生じる前記指示体の前記スクリーン面上での第１の陰影の境界と、前記指示体の表面における第２の陰影の境界と、に基づいて、前記投写画面に対する前記指示体の三次元的な位置を検出する工程である。
この形態の方法によれば、投写画面の位置に対する指示体の三次元的な位置を簡易に検出することができる。
【００９１】
本発明は、プロジェクター、プロジェクションシステム、指示体の位置の検出方法以外の種々の形態で実現することも可能である。例えば、指示体による指示操作の検出方法や、指示体の位置検出装置、プロジェクターやプロジェクションシステムの制御方法および制御装置などの形態で実現することができる。また、前述の方法、制御方法を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した一時的でない記録媒体（non-transitory storage medium）等の形態で実現することができる。
【符号の説明】
【００９２】
１０Ａ…プロジェクター、１０Ｂ…プロジェクター、１０Ｄ…プロジェクター、１０Ｅ…プロジェクター、１１…スクリーン、１１ｓ…スクリーン面、１２…指示体、１５…制御部、２０…投写部、２１…光源、２２…光変調部、２３…投写レンズ、２５…画像生成部、３０…撮像部，第１撮像部、３１…レンズ、３２…第２撮像部、３３…レンズ、３７…赤外光源、３８…撮像部（赤外線カメラ）、４０…位置検出部、４２…画像解析部、４４…画像補正部、１００Ａ…プロジェクションシステム、１００Ｂ…プロジェクションシステム、１００Ｄ…プロジェクションシステム、１００Ｅ…プロジェクションシステム、ＢＬ…ベースライン、Ｂａ…境界、Ｂｂ…境界、ＣＭ…撮像部の位置、ＣＭＲ，ＣＭＬ…カメラ、ｅ，ｅａ…エピポール、ＥＬ，ｅｌ…エピポーラ線、ＩＭ…撮像画像、ＩＭａ…第１画像、ＩＭｂ…第２画像、Ｌ，Ｌａ，Ｌｂ…直線、Ｐ，Ｐ１，Ｐ２…点、ＰＪ…投写部の位置、ＰＳ…投写画面、Ｓａ…第１の陰影、Ｓｂ…第２の陰影、ＴＰ…先端部、ＴＰｓ…先端部位、Ｘｐａ，Ｘｐ１，Ｘｐ２…点
【図１】
2019168737.tif 000003
【図２】
2019168737.tif 000004
【図３】
2019168737.tif 000005
【図４】
2019168737.tif 000006
【図５】
2019168737.tif 000007
【図６】
2019168737.tif 000008
【図７】
2019168737.tif 000009
【図８】
2019168737.tif 000010
【図９】
2019168737.tif 000011
【図１０】
2019168737.tif 000012
【図１１】
2019168737.tif 000013
【図１２】
2019168737.tif 000014