(57)【要約】【課題】操作面に対する指示体の位置検出精度を向上させる。【解決手段】操作面に対する指示体の位置を検出する位置検出方法は、（ａ）第１照明部で照明を行い、第１照明部と異なる位置に設けられた第２照明部で照明を行わないで、単眼カメラを用いて、操作面を背景とした指示体を撮影して第１撮像画像を取得する工程と、（ｂ）第１照明部で照明を行わないで、第２照明部で照明を行い、単眼カメラを用いて、操作面を背景とした指示体を撮影して第２撮像画像を取得する工程と、（ｃ）第１撮像画像と第２撮像画像とから指示体領域と影領域とを抽出する工程と、（ｄ）指示体領域と影領域との関係を用いて操作面に対する指示体の位置を検出する工程と、を備える。【選択図】図４
2020160808.tif 000002
【特許請求の範囲】
【請求項１】
操作面に対する指示体の位置を検出する位置検出方法であって、
（ａ）第１照明部で照明を行い、前記第１照明部と異なる位置に設けられた第２照明部で照明を行わないで、前記単眼カメラを用いて、前記操作面を背景とした前記指示体を撮影して第１撮像画像を取得する工程と、
（ｂ）前記第１照明部で照明を行わないで、前記第２照明部で照明を行い、前記単眼カメラを用いて、前記操作面を背景とした前記指示体を撮影して第２撮像画像を取得する工程と、
（ｃ）前記単眼カメラで取得された前記第１撮像画像と前記第２撮像画像とから、前記指示体の先端部を含む前記指示体の領域である指示体領域と、前記指示体の影の領域である影領域と、を抽出する工程と、
（ｄ）前記指示体領域と前記影領域との関係を用いて、前記操作面に対する前記指示体の位置を検出する工程と、
を備える、位置検出方法。
【請求項２】
請求項１に記載の位置検出方法であって、
前記工程（ｄ）では、前記指示体領域と前記影領域とが連続する場合に、前記指示体が前記操作面に接触していると判定する、位置検出方法。
【請求項３】
請求項１に記載の位置検出方法であって、
前記工程（ｄ）では、前記指示体領域と前記影領域との最短距離が予め定められた閾値以内である場合に、前記指示体が前記操作面に接触していると判定する、位置検出方法。
【請求項４】
請求項１に記載の位置検出方法であって、
前記工程（ｄ）では、
前記第１撮像画像又は前記第２撮像画像における前記指示体の先端部を含む関心領域内における前記指示体領域の面積と、前記関心領域内における前記影領域の面積と、を算出し、
前記影領域の面積に対する前記指示体領域の面積の比の値が予め定められた閾値以上である場合に、前記指示体が前記操作面に接触していると判定する、位置検出方法。
【請求項５】
請求項１から請求項４までのいずれか一項に記載の位置検出方法であって、
前記第１照明部は、前記単眼カメラに対する同軸照明を行う同軸照明部と、前記単眼カメラの光軸の周囲を囲うように配置された周囲照明部と、の少なくとも一方を含む、位置検出方法。
【請求項６】
操作面に対する指示体の位置を検出する位置検出装置であって、
前記操作面を背景とした前記指示体を撮影する単眼カメラを含む撮像部と、
第１照明部と、前記第１照明部と異なる位置に設けられた第２照明部と、を含む照明部と、
前記第１照明部で照明を行いながら、前記第２照明部で照明を行わないで、前記単眼カメラを用いて、前記操作面を背景とした前記指示体の撮影を実行することによって第１撮像画像を取得し、前記第１照明部で照明を行わないで、前記第２照明部で照明を行いながら、前記単眼カメラを用いて、前記操作面を背景とした前記指示体の撮影を実行することによって前記第１撮像画像と異なるタイミングで第２撮像画像を取得する、撮像制御部と、
前記第１撮像画像と前記第２撮像画像とから、前記指示体の先端部を含む前記指示体の領域である指示体領域と、前記指示体の影の領域である影領域と、を抽出する領域抽出部と、
前記指示体領域と前記影領域との関係を用いて、前記操作面に対する前記指示体の位置を検出する位置検出部と、
を備える、位置検出装置。
【請求項７】
請求項６に記載の位置検出装置であって、
前記位置検出部は、前記指示体領域と前記影領域とが連続する場合に、前記指示体が前記操作面に接触していると判定する、位置検出装置。
【請求項８】
請求項６に記載の位置検出装置であって、
前記位置検出部は、前記指示体領域と前記影領域との最短距離が予め定められた閾値以内である場合に、前記指示体が前記操作面に接触していると判定する、位置検出装置。
【請求項９】
請求項６に記載の位置検出装置であって、
前記位置検出部は、前記第１撮像画像又は前記第２撮像画像における前記指示体の先端部を含む関心領域内における前記指示体領域の面積と、前記関心領域内における前記影領域の面積と、を算出し、前記影領域の面積に対する前記指示体領域の面積の比の値が予め定められた閾値以上である場合に、前記指示体が前記操作面に接触していると判定する、位置検出装置。
【請求項１０】
請求項６から請求項９までのいずれか一項に記載の位置検出装置であって、
前記第１照明部は、前記単眼カメラに対する同軸照明を行う同軸照明部と、前記単眼カメラの光軸の周囲を囲うように配置された周囲照明部と、の少なくとも一方を含む、位置検出装置。
【請求項１１】
操作面に対する指示体の位置を検出するインタラクティブプロジェクターであって、
投写画像を前記操作面に投写する投写部と、
前記操作面を背景とした前記指示体を撮影する単眼カメラを含む撮像部と、
第１照明部と、前記第１照明部と異なる位置に設けられた第２照明部と、を含む照明部と、
前記第１照明部と前記第２照明部とを順次選択し、前記第１照明部で照明を行いながら、前記第２照明部で照明を行わないで、前記単眼カメラを用いて、前記操作面を背景とした前記指示体の撮影を実行することによって第１撮像画像を取得し、前記第１照明部で照明を行わないで、前記第２照明部で照明を行いながら、前記単眼カメラを用いて、前記操作面を背景とした前記指示体の撮影を実行することによって前記第１撮像画像とは異なるタイミングで第２撮像画像を取得する、撮像制御部と、
前記第１撮像画像と前記第２撮像画像とから、前記指示体の先端部を含む前記指示体の領域である指示体領域と、前記指示体の影の領域である影領域と、を抽出する領域抽出部と、
前記指示体領域と前記影領域との関係を用いて、前記操作面に対する前記指示体の位置を検出する位置検出部と、
を備える、インタラクティブプロジェクター。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、指示体の位置を検出する技術に関するものである。
【背景技術】
【０００２】
特許文献１には、投写画面をスクリーンに投写するとともに、指などの指示体を含む画像をカメラで撮像し、この撮像画像を用いて指示体の位置を検出することが可能なプロジェクターが開示されている。このプロジェクターは、指示体の先端がスクリーンに接しているときに投写画面に対して描画等の所定の指示が入力されているものと認識し、その指示に応じて投写画面を再描画する。従って、ユーザーは、投写画面をユーザーインターフェースとして用いて、各種の指示を入力することが可能である。このように、スクリーン上の投写画面を入力可能ユーザーインターフェースとして利用できるタイプのプロジェクターを、「インタラクティブプロジェクター」と呼ぶ。また、指示体を用いた指示の入力に使用される表面としてのスクリーン面を「操作面」とも呼ぶ。指示体の位置は、複数のカメラで撮像された複数の画像を用いて、三角測量を利用して決定される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２０１６／０９２６１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術では、撮像画像における指示体と指示体の影とを判別して、指示体の位置を検出している。指示体と指示体の影との判別が十分でない場合等には、影の影響により、操作面に対する指示体の位置の検出精度が必ずしも十分でないという問題があった。
【課題を解決するための手段】
【０００５】
本開示の一形態によれば、操作面に対する指示体の位置を検出する位置検出方法が提供される。この位置検出方法は、（ａ）第１照明部で照明を行い、前記第１照明部と異なる位置に設けられた第２照明部で照明を行わないで、単眼カメラを用いて、前記操作面を背景とした前記指示体を撮影して第１撮像画像を取得する工程と、（ｂ）前記第１照明部で照明を行わないで、前記第２照明部で照明を行い、前記単眼カメラを用いて、前記操作面を背景とした前記指示体を撮影して第２撮像画像を取得する工程と、（ｃ）前記単眼カメラで取得された前記第１撮像画像と前記第２撮像画像とから、前記指示体の先端部を含む前記指示体の領域である指示体領域と、前記指示体の影の領域である影領域と、を抽出する工程と、（ｄ）前記指示体領域と前記影領域との関係を用いて、前記操作面に対する前記指示体の位置を検出する工程と、を備える。
【０００６】
本開示は、位置検出方法以外の種々の形態で実現することも可能であり、例えば、位置検出装置やインタラクティブプロジェクター、それらの方法又は装置の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した一時的でない記録媒体等の様々な形態で実現することができる。
【図面の簡単な説明】
【０００７】
【図１】第１実施形態におけるインタラクティブプロジェクションシステムの斜視図。
【図２】インタラクティブプロジェクションシステムの側面図。
【図３】インタラクティブプロジェクションシステムの正面図。
【図４】インタラクティブプロジェクターの機能ブロック図。
【図５】位置検出処理の手順を示すフローチャート。
【図６】ステップ１００における撮像処理の手順を示すフローチャート。
【図７】撮像処理の内容を示す説明図。
【図８】ステップＳ２００における抽出処理の手順を示すフローチャート。
【図９】抽出処理の内容を示す説明図。
【図１０】ステップＳ３００における判定処理の手順を示すフローチャート。
【図１１】判定処理の内容を示す説明図。
【図１２】判定処理の内容を示す別の説明図。
【図１３】第２実施形態における判定処理の手順を示すフローチャート。
【図１４】第２実施形態における判定処理の内容を示す説明図。
【図１５】第３実施形態における判定処理の手順を示すフローチャート。
【図１６】第３実施形態における判定処理の内容を示す説明図。
【図１７】第４実施形態におけるインタラクティブプロジェクションシステムの斜視図。
【図１８】第４実施形態における抽出処理の手順を示すフローチャート。
【図１９】第４実施形態における抽出処理の内容を示す説明図。
【図２０】第５実施形態における位置検出システムの正面図。
【図２１】第５実施形態における位置検出システムの機能ブロック図。
【発明を実施するための形態】
【０００８】
Ａ．第１実施形態
図１は、第１実施形態におけるインタラクティブプロジェクションシステム８００の斜視図である。このシステム８００は、インタラクティブプロジェクター１００と、スクリーン板８２０とを有している。スクリーン板８２０の前面は、指示体８０を用いた指示の入力に使用される操作面ＳＳとして利用される。操作面ＳＳは、また、投写画面ＰＳが投写される投写面としても利用される。プロジェクター１００は壁面等に固定されており、スクリーン板８２０の前方かつ上方に設置されている。なお、図１では操作面ＳＳを鉛直に配置しているが、操作面ＳＳを水平に配置してこのシステム８００を使用することも可能である。図１では、スクリーン板８２０の前方方向がＺ方向で、上方方向がＹ方向で、右方向がＸ方向である。例えばＺ＝０として、操作面ＳＳの平面内の位置は２次元座標系（Ｘ，Ｙ）で検出できる。
【０００９】
プロジェクター１００は、画像をスクリーン板８２０に投写する投写レンズ２１０と、指示体８０を含む画像を撮影する単眼カメラ３１０と、指示体８０を検出するための赤外光を照射する第１照明部４１０及び第２照明部４２０とを有する。
【００１０】
投写レンズ２１０は、操作面ＳＳ上に投写画面ＰＳを投写する。投写画面ＰＳは、プロジェクター１００内で描画された画像を含んでいる。プロジェクター１００内で描画された画像がない場合には、プロジェクター１００から投写画面ＰＳに光が照射されて、白色画像が表示される。本明細書において、「操作面ＳＳ」とは、指示体８０を用いた指示の入力に使用される表面を意味する。また、「投写画面ＰＳ」とは、プロジェクター１００によって操作面ＳＳ上に投写された画像の領域を意味する。
【００１１】
このインタラクティブプロジェクションシステム８００では、１つ又は複数の非発光の指示体８０を利用可能である。指示体８０としては、指やペンなどの非発光の物体を使用可能である。また、非発光の指示体８０の指示のための先端部は、赤外光に対する反射特性にすぐれ、更には再帰反射特性を有することが好ましい。
【００１２】
単眼カメラ３１０は、操作面ＳＳの全体を撮影可能に設定され、操作面ＳＳを背景とした指示体８０の画像を撮影する機能を有し、撮像部を構成する。単眼カメラ３１０は、フィルター等の設置により特定波長領域の画像を撮影可能である。すなわち、単眼カメラ３１０は、第１照明部４１０と第２照明部４２０から照射された光のうち、操作面ＳＳと指示体８０で反射された光を受光することによって指示体８０を含む画像を作成する。本実施形態では、第１照明部４１０と第２照明部４２０は、検出光として赤外光を照射し、単眼カメラ３１０は、赤外光の画像を撮影する。この画像において、指示体８０は、操作面ＳＳよりは明るい輝点として検出される。検出光としては、赤外光以外の光を用いてもよい。検出光として可視光を用いる場合には、インタラクティブプロジェクションシステム８００を、投写画面ＰＳの表示品質を低下させないように構成することが好ましい。
【００１３】
第１照明部４１０は、単眼カメラ３１０の光軸の周囲を赤外光で照明する周囲照明部としての機能を有する。図１の例では、第１照明部４１０は、単眼カメラ３１０の周囲を囲うように配置された４つの照明素子４１１を含んでいる。本実施形態において、第１照明部４１０は、単眼カメラ３１０で指示体８０の画像を撮影するときに、第１照明部４１０による指示体８０の影が実質的に生じないように構成されている。ここで、「影が実質的に生じない」とは、その画像を使用して指示体８０の操作面に対する指示体の位置を検出する処理に対して、指示体８０の影の影響がない程度に影が薄いことを意味する。第１照明部４１０を上記の構成とすることにより、単眼カメラ３１０は、操作面ＳＳと単眼カメラ３１０と間に存在する指示体８０の操作面ＳＳへの影を実質的に撮影しない。
【００１４】
第１照明部４１０を構成する照明素子４１１の数は、４つに限らず、２つ以上の任意の数としてもよい。但し、第１照明部４１０を構成する複数の照明素子４１１は、単眼カメラ３１０を中心とした回転対称の位置に配置されることが好ましい。また、複数の照明素子４１１を用いる代わりに、リング状の照明素子を用いて第１照明部４１０を構成してもよい。更に、第１照明部４１０として、単眼カメラ３１０のレンズを通して光を出射する同軸照明部を用いるようにしても良い。
【００１５】
第２照明部４２０は、第１照明部４１０と異なる位置に設けられ、４つの照明素子４２１を含む。第２照明部４２０は、操作面ＳＳに向けて光を照射可能であればよく、照明素子の数は４つ以外の数であってもよい。
【００１６】
図２は、インタラクティブプロジェクションシステム８００の側面図であり、図３はその正面図である。本明細書では、操作面ＳＳの左端から右端に向かう方向をＸ方向と定義し、操作面ＳＳの下端から上端に向かう方向をＹ方向と定義し、操作面ＳＳの法線に沿った方向をＺ方向と定義している。なお、便宜上、Ｘ方向を「幅方向」とも呼び、Ｙ方向を「上方向」とも呼び、Ｚ方向を「距離方向」とも呼ぶ。なお、図２では、図示の便宜上、スクリーン板８２０のうちの投写画面ＰＳの範囲にハッチングを付している。投写画面ＰＳが投写される操作面ＳＳの座標位置は、例えばＺ＝０として、２次元座標系（Ｘ、Ｙ）の２次元座標として検出できる。
【００１７】
図３の例は、インタラクティブプロジェクションシステム８００がホワイトボードモードで動作している様子を示している。ホワイトボードモードは、指示体８０を用いて投写画面ＰＳ上にユーザーが任意に描画できるモードである。操作面ＳＳ上には、ツールボックスＴＢを含む投写画面ＰＳが投写されている。このツールボックスＴＢは、処理を元に戻す取消ボタンＵＤＢと、マウスポインターを選択するポインターボタンＰＴＢと、描画用のペンツールを選択するペンボタンＰＥＢと、描画された画像を消去する消しゴムツールを選択する消しゴムボタンＥＲＢと、画面を次に進めたり前に戻したりする前方／後方ボタンＦＲＢと、を含んでいる。ユーザーは、指示体８０を用いてこれらのボタンをクリックすることによって、そのボタンに応じた処理を行ったり、ツールを選択したりすることが可能である。なお、システム８００の起動直後は、マウスポインターがデフォールトツールとして選択されるようにしてもよい。図３の例では、ユーザーがペンツールを選択した後、指示体８０の先端部を操作面ＳＳに接した状態で投写画面ＰＳ内で移動させることにより、投写画面ＰＳ内に線が描画されてゆく様子が描かれている。この線の描画は、後述する投写画像生成部５００によって行われる。
【００１８】
なお、インタラクティブプロジェクションシステム８００は、ホワイトボードモード以外の他のモードでも動作可能である。例えば、このシステム８００は、図示しないパーソナルコンピューターから通信回線を介して転送されたデータの画像を投写画面ＰＳに表示するＰＣインタラクティブモードでも動作可能である。ＰＣインタラクティブモードにおいては、例えば表計算ソフトウェアなどのデータの画像が表示され、その画像内に表示された各種のツールやアイコンを利用してデータの入力、作成、修正等を行うことが可能となる。
【００１９】
図４は、インタラクティブプロジェクター１００の機能ブロック図である。プロジェクター１００は、制御部７００と、投写部２００と、投写画像生成部５００と、領域抽出部６２０と、位置検出部６００と、撮像部３００と、照明部４００と、を有している。撮像部３００は、単眼カメラ３１０を含み、照明部４００は、第１照明部４１０と第２照明部４２０を含む。
【００２０】
制御部７００は、プロジェクター１００の各部の制御を行う。また、制御部７００は、撮像部３００と照明部４００とを用いて指示体８０の画像を取得する撮像制御部７１０としての機能を有する。更に、制御部７００は、位置検出部６００で検出された指示体８０によって投写画面ＰＳ上で行われた指示の内容を認識するとともに、その指示の内容に従って投写画像を作成又は変更することを投写画像生成部５００に指令する操作実行部７２０としての機能を有する。本実施形態では、制御部７００は、指示体８０の操作面ＳＳへの接触が検出されると、ユーザーによる指示がなされたと認識する。
【００２１】
投写画像生成部５００は、投写画像を記憶する画像メモリー５１０を有しており、投写部２００によって操作面ＳＳ上に投写される投写画像を生成する機能を有する。また、指示体８０による線の描画等を画像メモリー５１０に記憶された投写画像に重畳させる機能も有する。投写画像生成部５００は、更に、投写画面ＰＳの台形歪みを補正するキーストーン補正部としての機能を有することが好ましい。
【００２２】
投写部２００は、投写画像生成部５００で生成された投写画像を操作面ＳＳ上に投写する機能を有する。投写部２００は、図２で説明した投写レンズ２１０の他に、光変調部２２０と、光源２３０とを有する。光変調部２２０は、画像メモリー５１０から与えられる投写画像データに応じて光源２３０からの光を変調することによって投写画像光ＩＭＬを形成する。この投写画像光ＩＭＬは、典型的には、ＲＧＢの３色の可視光を含むカラー画像光であり、投写レンズ２１０によって操作面ＳＳ上に投写される。なお、光源２３０としては、超高圧水銀ランプ等の光源ランプの他、発光ダイオードやレーザーダイオード等の種々の光源を採用可能である。また、光変調部２２０としては、透過型又は反射型の液晶パネルやデジタルミラーデバイス等を採用可能であり、色光別に複数の光変調部２２０を備えた構成としてもよい。
【００２３】
照明部４００は、図１で説明した第１照明部４１０と第２照明部４２０とを有している。第１照明部４１０と第２照明部４２０は、指示体８０の先端部を検出するための照射検出光ＩＤＬを操作面ＳＳとその前方の空間にわたってそれぞれ照射することが可能である。照射検出光ＩＤＬは赤外光である。後述するように、第１照明部４１０と第２照明部４２０は、排他的なタイミングで点灯する。
【００２４】
撮像部３００は、図２で説明した単眼カメラ３１０を有している。単眼カメラ３１０は、照射検出光ＩＤＬの波長を含む波長領域の光を受光して撮像する機能を有する。図４の例では、照明部４００によって照射された照射検出光ＩＤＬが指示体８０で反射され、その反射検出光ＲＤＬが単眼カメラ３１０によって受光されて撮像される様子が描かれている。
【００２５】
領域抽出部６２０は、単眼カメラ３１０が撮影して取得された画像から、指示体８０の先端部を含む指示体８０の領域である指示体領域と、指示体８０の影の領域である影領域とを抽出する。位置検出部６００は、抽出された指示体領域と影領域との関係を用いて、操作面ＳＳに対する指示体８０の位置を検出する。これらの各部の機能の詳細は後述する。
【００２６】
制御部７００の各部の機能と領域抽出部６２０と位置検出部６００との機能は、例えば、プロジェクター１００内のプロセッサーがコンピュータープログラムを実行することによって実現される。また、これらの各部の機能の一部をＦＰＧＡ（ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）等のハードウェア回路で実現してもよい。
【００２７】
図５は、実施形態における位置検出処理の手順を示すフローチャートである。この処理は、インタラクティブプロジェクションシステム８００の稼働中に繰り返し実行される。位置検出処理の実行前には、単眼カメラ３１０のキャリブレーションが実行される。
【００２８】
ステップＳ１００では、撮像部３００が操作面ＳＳを背景とした指示体８０を撮影することによって、単眼カメラ３１０が撮像した複数の画像を取得する。
【００２９】
図６は、図５のステップＳ１００における撮像処理の手順を示すフローチャートであり、図７は、撮像処理の内容を示す説明図である。図６の手順は、撮像制御部７１０の制御の下で実行される。
【００３０】
ステップＳ１１０では、第１照明部４１０がオンで第２照明部４２０がオフの状態とする。ステップＳ１２０では、単眼カメラ３１０を用いて画像を撮影する。この結果、図７の上段に示す第１撮像画像ＩＭ１が取得される。第１撮像画像ＩＭ１は、操作面ＳＳを背景とした指示体８０を含む画像である。図１で説明したように、第１照明部４１０は、単眼カメラ３１０で指示体８０の画像を撮影するときに、第１照明部４１０による指示体８０の影が実質的に生じないように構成されている。従って、ステップＳ１２０で取得された第１撮像画像ＩＭ１は、指示体８０の影を実質的に含んでいない。
【００３１】
ステップＳ１３０では、第１照明部４１０がオフで第２照明部４２０がオンの状態とする。この結果、図７の下段に示す第２撮像画像ＩＭ２が取得される。ステップＳ１４０では、単眼カメラ３１０を用いて画像を撮影する。第２撮像画像ＩＭ２もまた、第１撮像画像ＩＭ１と同様に、操作面ＳＳを背景とした指示体８０を含む画像である。図１で説明したように、第２照明部４２０は、単眼カメラ３１０の周囲に配置された第１照明部４１０とは異なる。従って、ステップＳ１４０で取得された第２撮像画像ＩＭ２は、第１照明部４１０が消灯したときに取得された画像であるので、指示体８０の影ＳＨを含んでいる。
【００３２】
ステップＳ１２０及びステップＳ１４０における撮影が終了すると、図７に示すように、単眼カメラ３１０で撮影された、実質的に影のない第１撮像画像ＩＭ１と、影ＳＨを含む第２撮像画像ＩＭ２とが得られる。ステップＳ１５０では、第１照明部４１０及び第２照明部４２０がオフ状態とされてステップＳ１００の処理を終了し、次の撮影まで待機する。なお、ステップＳ１５０は省略してもよい。また、図６の処理が終了した後に、直ちに図６の処理を再開するようにしてもよい。
【００３３】
ステップＳ１００の処理が終了すると、図５のステップＳ２００において、ステップＳ１００で得られた第１撮像画像ＩＭ１及び第２撮像画像ＩＭ２の２つの画像から指示体領域と影領域とを抽出する。
【００３４】
図８は、図５のステップＳ２００における抽出処理の手順を示すフローチャートであり、図９は、抽出処理の内容を示す説明図である。図８の手順は、領域抽出部６２０の制御の下で実行される。
【００３５】
ステップＳ２１０では、第１撮像画像ＩＭ１から指示体領域ＲＯ＿ｉｂを抽出する。第１撮像画像ＩＭ１は指示体８０の影ＳＨを実質的に含んでいない。そのため、影領域ＲＯ＿ｓｈと指示体領域ＲＯ＿ｉｂとの境界を考慮する必要なく、画像処理により、第１撮像画像ＩＭ１から、精度良く指示体領域ＲＯ＿ｉｂを抽出できる。画像処理としては、例えば、背景差分法や、平均背景差分法、二値化、モルフォロジー変換、エッジ検出、及び凸法検出等エッジ検出等の公知の種々の画像処理を利用することができる。図９の上から２段目には、画像ＩＭ１＿ｉｂにおける指示体領域ＲＯ＿ｉｂが示されている。画像ＩＭ１＿ｉｂは、第１撮像画像ＩＭ１の画像処理により得られる画像である。
【００３６】
ステップＳ２２０では、第１撮像画像ＩＭ１と第２撮像画像ＩＭ２の差分から影領域ＲＯ＿ｓｈを抽出する。第１撮像画像ＩＭ１と第２撮像画像ＩＭ２とは、同じ単眼カメラ３１０により取得された画像である。そのため、両画像に表れる指示体８０の位置と大きさは同じである。従って、第１撮像画像ＩＭ１と第２撮像画像ＩＭ２の差分を、影領域ＲＯ＿ｓｈとすることができる。図９の上から３段目には、第１撮像画像ＩＭ１と第２撮像画像ＩＭ２の差分を取得する様子が示され、図９の最下段には、第１撮像画像ＩＭ１と第２撮像画像ＩＭ２の差分画像ＩＭ２＿ｓｈにおける、影領域ＲＯ＿ｓｈが示されている。ステップＳ２００の処理により、操作面ＳＳを背景とした画像における、指示体領域ＲＯ＿ｉｂの位置及び影領域ＲＯ＿ｓｈの位置が特定される。本実施形態では、画像処理後の第１撮像画像ＩＭ１である画像ＩＭ１_ｉｂにより指示体領域ＲＯ＿ｉｂの位置が特定され、差分画像ＩＭ２＿ｓｈにより、影領域ＲＯ＿ｓｈの位置が特定される。
【００３７】
ステップＳ２００の処理が終了すると、図５のステップＳ３００において、指示体領域ＲＯ＿ｉｂと影領域ＲＯ＿ｓｈの関係を用いて、操作面ＳＳに対する指示体８０の位置を検出し、操作面に指示体８０が接触しているか否かを判定する。
【００３８】
図１０は、図５のステップＳ３００における判定処理の手順を示すフローチャートであり、図１１及び図１２は、ステップＳ３００における判定処理の内容を示す説明図である。図１０の手順は、位置検出部６００の制御の下で実行される。
【００３９】
ステップＳ３１０では、指示体領域ＲＯ＿ｉｂと影領域ＲＯ＿ｓｈとが連続しているか否かを判定する。上述したように、ステップＳ２００の抽出処理により、操作面ＳＳを背景とした画像における指示体領域ＲＯ＿ｉｂの位置及び影領域ＲＯ＿ｓｈの位置が特定される。位置検出部６００は、図１１に示すように、操作面ＳＳを背景とし指示体領域ＲＯ＿ｉｂと影領域ＲＯ＿ｓｈとが配置された配置画像ＩＭ３から、指示体８０の先端部を含む関心領域ＲＯ３を抽出する。関心領域ＲＯ３は、例えば、指示体領域ＲＯ＿ｉｂの先端部を中心とする一辺が１００〜３００画素の正方形の領域の画像である。位置検出部６００は、配置画像ＩＭ３において、関心領域ＲＯ３における指示体領域ＲＯ＿ｉｂと影領域ＲＯ＿ｓｈとが連続している場合には、ステップＳ３２０に進み、指示体８０が操作面ＳＳに接触していると判定する。このように判定できるのは、指示体８０が操作面ＳＳに接触している場合には、第１照明部４１０がオフの状態で単眼カメラ３１０を用いて取得した撮像画像において、指示体８０が影ＳＨに重なるためである。なお、「指示体領域ＲＯ＿ｉｂと影領域ＲＯ＿ｓｈとが連続している」とは、関心領域ＲＯ内において指示体領域ＲＯ＿ｉｂの境界と影領域ＲＯ＿ｓｈの境界の少なくとも一部が接することを含む。また、「指示体８０が操作面ＳＳに接触している」とは、指示体８０の先端が操作面ＳＳに極めて近い場合であり、指示体８０と操作面ＳＳとの間の距離が例えば３〜５ｍｍ以下である場合である。
【００４０】
指示体８０と操作面ＳＳとが離れている場合には、第１照明部４１０がオフの状態で単眼カメラ３１０を用いて取得した画像において、指示体８０と影ＳＨとは重ならず、指示体領域ＲＯ＿ｉｂと影領域ＲＯ＿ｓｈとは連続しない。図１２には、指示体領域ＲＯ＿ｉｂと影領域ＲＯ＿ｓｈとが配置された配置画像ＩＭ３ａと、配置画像ＩＭ３ａから抽出された関心領域ＲＯ３ａの例が示されている。図１２に示す例では、関心領域ＲＯ３ａにおいて、指示体領域ＲＯ＿ｉｂと影領域ＲＯ＿ｓｈとが連続していない。このような場合には、ステップＳ３３０に進み、指示体８０が操作面ＳＳに接触していないと判定する。なお、関心領域内に影領域ＲＯ＿ｓｈが存在しない場合にも、指示体領域ＲＯ＿ｉｂと影領域ＲＯ＿ｓｈとが連続しないと判定する。
【００４１】
本実施形態では、上述のように、指示体領域ＲＯ＿ｉｂと影領域ＲＯ＿ｓｈとが連続している場合に、指示体８０が操作面ＳＳに接触していると判定できるので、指示体８０が操作面ＳＳに接触しているか否かを判定するために、指示体８０の先端部の３次元位置を算出しなくともよい。なお、関心領域ＲＯ３、ＲＯ３ａの抽出は、領域抽出部６２０が実行してもよい。
【００４２】
図５のステップＳ４００では、指示体８０が操作面ＳＳに接触しているのであれば、ステップＳ５００に進み、操作実行部７２０が指示体８０の先端位置に応じた操作を実行する。指示体８０が操作面ＳＳに接触していなければ、位置検出処理を終了する。
【００４３】
以上のように、第１実施形態では、第１照明部４１０と第２照明部４２０とを排他的なタイミングで点灯させることで、指示体領域ＲＯ＿ｉｂが同じであり影領域ＲＯ＿ｓｈが異なる第１撮像画像ＩＭ１及び第２撮像画像ＩＭ２が得られる。そのため、第１撮像画像ＩＭ１と第２撮像画像ＩＭ２とを用いて指示体領域ＲＯ＿ｉｂと影領域ＲＯ＿ｓｈとを精度良く抽出することができる。従って、指示体領域ＲＯ＿ｉｂと影領域ＲＯ＿ｓｈとの関係を用いて、操作面ＳＳに対する指示体８０の位置を精度良く検出することができる。
【００４４】
第１実施形態によれば、第１撮像画像ＩＭ１は指示体８０の影ＳＨを実質的に含まないので、第１撮像画像ＩＭ１から簡易に指示体領域ＲＯ＿ｉｂを抽出することができる。また、第１撮像画像ＩＭ１と第２撮像画像ＩＭ２との差分から影領域ＲＯ＿ｓｈを抽出することができる。そのため、指示体領域ＲＯ＿ｉｂと影領域ＲＯ＿ｓｈとをより精度良く抽出できるので、操作面ＳＳに対する指示体８０の位置をより精度良く検出することができる。
【００４５】
第１実施形態によれば、指示体８０が操作面ＳＳに接触している場合には、単眼カメラ３１０を用いて取得した撮像画像において指示体８０が影ＳＨに重なるので、指示体領域ＲＯ＿ｉｂと影領域ＲＯ＿ｓｈとが連続しているか否かにより、指示体８０が操作面ＳＳに接触しているか否かを精度良く判定することができる。また、指示体８０の３次元位置を測定することなく、指示体８０が操作面ＳＳに接触しているか否かを判定することができる。
【００４６】
Ｂ．第２実施形態
図１３は、第２実施形態における図５のステップＳ３００の判定処理の手順を示すフローチャートであり、第１実施形態の図１０に対応している。第２実施形態は、図１０のステップＳ３１０を、ステップＳ３０５ａ、ステップＳ３１０ａで置き換えたものであり、他の処理手順や装置構成は第１実施形態と同様である。
【００４７】
図１４は、判定処理の内容を示す説明図である。ステップＳ３０５ａでは、位置検出部６００が、操作面ＳＳを背景とし指示体領域ＲＯ＿ｉｂと影領域ＲＯ＿ｓｈとが配置された配置画像ＩＭ３ｂから、関心領域ＲＯ３ｂを抽出し、指示体領域ＲＯ＿ｉｂと影領域ＲＯ＿ｓｈの最短距離Ｄを算出する。最短距離Ｄが予め定められた閾値Ｔｈ１以内である場合は、ステップＳ３２０に進み、指示体８０が操作面ＳＳに接触していると判定する。閾値Ｔｈ１より大きい場合にはステップＳ３３０に進み指示体８０が操作面ＳＳに接触していないと判定する。閾値Ｔｈ１は、予め実験やシミュレーションにより、指示体領域ＲＯ＿ｉｂと影領域ＲＯ＿ｓｈと最短距離Ｄと、指示体８０と操作面ＳＳとの距離との関係を求めることで定めることができる。
【００４８】
以上のように、指示体８０が操作面ＳＳから離れている場合には、単眼カメラ３１０を用いて取得した撮像画像において、指示体８０と影ＳＨとが離れる。そのため、第２実施形態では、指示体領域ＲＯ＿ｉｂと影領域ＲＯ＿ｓｈとの最短距離Ｄが閾値Ｔｈ１以内であるか否かを判定することで、指示体８０が操作面ＳＳに接触しているか否かを精度良く判定することができる。
【００４９】
Ｃ．第３実施形態
図１５は、第３実施形態における図５のステップＳ３００の判定処理の手順を示すフローチャートであり、第１実施形態の図１０に対応している。第３実施形態は、図１０のステップＳ３１０を、ステップＳ３０５ｂ、ステップＳ３１０ｂで置き換えたものであり、他の処理手順や装置構成は第１実施形態と同様である。
【００５０】
図１６は、判定処理の内容を示す説明図である。図１６の上段右側には、図５のステップＳ２００において第１撮像画像ＩＭ１から指示体領域ＲＯ＿ｉｂが特定された画像ＩＭ１＿ｉｂが示されている。図１６の上段左側には、第１撮像画像ＩＭ１と第２撮像画像ＩＭ２の差分画像であり、影領域ＲＯ＿ｓｈが特定された画像ＩＭ２＿ｓｈが示されている。ステップＳ３０５ｂにおいて、位置検出部６００は、画像ＩＭ１＿ｉｂから、指示体領域ＲＯ＿ｉｂの先端部を含む関心領域ＲＯ１＿ｉｂを抽出する。また、画像ＩＭ２＿ｓｈから関心領域ＲＯ１＿ｉｂと同じ位置及び範囲を抽出して、関心領域ＲＯ２＿ｓｈを抽出する。位置検出部６００は、関心領域ＲＯ１＿ｉｂにおける指示体領域ＲＯ＿ｉｂの面積Ａ１と、関心領域ＲＯ２＿ｓｈにおける影領域ＲＯ＿ｓｈの面積Ａ２とを算出し、面積Ａ２に対する面積Ａ１の比の値（Ａ１／Ａ２）を算出する。
【００５１】
ステップＳ３１０ｂでは、値Ａ１／Ａ２が予め定められた閾値Ｔｈ２以上である場合にはステップＳ３２０に進み、指示体８０が操作面ＳＳに接触していると判定する。このように判定できるのは、指示体８０と操作面ＳＳの間の距離が短くなるほど、第１照明部４１０がオフの状態で単眼カメラ３１０を用いて取得した撮像画像において、指示体８０がより影ＳＨに重なり、値Ａ１／Ａ２がより大きくなるためである。閾値Ｔｈ２は、予め実験やシミュレーションにより、関心領域内における影領域ＲＯ＿ｓｈの面積Ａ２に対する指示体領域ＲＯ＿ｉｂの面積Ａ１の比の値Ａ１／Ａ２と、指示体８０と操作面ＳＳとの距離との関係を求めることで定めることができる。値Ａ１／Ａ２が閾値Ｔｈ２より小さい場合にはステップＳ３３０に進み指示体８０が操作面ＳＳに接触していないと判定する。
【００５２】
以上のように、第３実施形態では、指示体８０と操作面ＳＳの間の距離が短くなるほど、指示体８０がより影ＳＨに重なるので、影領域ＲＯ＿ｓｈの面積Ａ２に対する指示体領域ＲＯ＿ｉｂの面積Ａ１の比の値Ａ１／Ａ２がより大きくなるので、値Ａ１／Ａ２を用いて指示体８０が操作面ＳＳに接触しているか否かを精度良く判定することができる。また、指示体８０の３次元位置を測定することなく、指示体８０が操作面ＳＳに接触しているか否かを判定することができる。
【００５３】
Ｄ．第４実施形態
図１７は、第４実施形態における位置検出システム８００ｃの正面図である。位置検出システム８００ｃにおけるインタラクティブプロジェクター１００ｃは、第１実施形態に対し、単眼カメラ３１０ｃが、第１照明部４１０と第２照明部４２０の間に配置されている点において、主に異なる。本実施形態では、第１照明部４１０は、単眼カメラ３１０ｃの光軸の周囲を赤外光で照明する周囲照明部としての機能を有していない。
【００５４】
図１８は、第４実施形態における図５のステップＳ２００の抽出処理の手順を示すフローチャートであり、第１実施形態の図８に対応している。第４実施形態は、図８のステップＳ２１０、Ｓ２２０を、ステップＳ２１０ｃ、ステップＳ２１０ｃでそれぞれ置き換えたものであり、他の処理手順や装置構成は第１実施形態と同様である。
【００５５】
図１９は、第４実施形態における抽出処理の内容を示す説明図である。図１９の上段右側には、第１照明部４１０がオンで第２照明部４２０がオフの状態で取得された第１撮像画像ＩＭ１ｃが示されている。第１撮像画像ＩＭ１ｃは、第１実施形態と異なり、指示体８０の影ＳＨｃを含んでいる。ステップＳ２１０ｃでは、第１撮像画像ＩＭ１ｃ及び第２撮像画像ＩＭ２から、指示体８０及び影ＳＨ、ＳＨｃ以外の部分である背景を、画像処理により除去し、背景が除去された第１撮像画像ＩＭ１ｃと背景が除去された第２撮像画像ＩＭ２の重なる領域を指示体領域ＲＯ＿ｉｂとして抽出する。第１撮像画像ＩＭ１ｃと第２撮像画像ＩＭ２とは、同じ単眼カメラ３１０ｃにより取得された画像である。そのため、両画像に表れる指示体８０の位置と大きさは同じである。従って、背景が除去された第１撮像画像ＩＭ１ｃと背景が除去された第２撮像画像ＩＭ２の重なる領域を、指示体領域ＲＯ＿ｉｂとすることができる。図１９の上から２段目には、指示体領域ＲＯ＿ｉｂが特定された、操作面ＳＳを背景とした画像ＩＭ＿ｉｂが示されている。
【００５６】
ステップＳ２２０ｃでは、第１撮像画像ＩＭ１ｃ又は第２撮像画像ＩＭ２から指示体領域ＲＯ＿ｉｂを除くことで、影領域ＲＯ＿ｓｈを抽出する。図１９の上から３段目には、第２撮像画像ＩＭ２から指示体領域ＲＯ＿ｉｂを除く様子が示され、図１９の上から４段目には、影領域ＲＯ＿ｓｈが特定された、操作面ＳＳを背景とした画像ＩＭ２＿ｓｈが示されている。
【００５７】
第４実施形態よれば、第１実施形態と同様に、第１照明部４１０と第２照明部４２０とを排他的なタイミングで点灯させることで、指示体領域ＲＯ＿ｉｂが同じであり影領域ＲＯ＿ｓｈが異なる第１撮像画像ＩＭ１ｃ及び第２撮像画像ＩＭ２が得られる。そのため、第１撮像画像ＩＭ１ｃと第２撮像画像ＩＭ２とを用いて指示体領域ＲＯ＿ｉｂと影領域ＲＯ＿ｓｈとを精度良く抽出することができる。従って、指示体領域ＲＯ＿ｉｂと影領域ＲＯ＿ｓｈとの関係を用いて、操作面ＳＳに対する指示体８０の位置を精度良く検出することができる。
【００５８】
Ｅ．第５実施形態
図２０は、第５実施形態における位置検出システム９００の正面図である。位置検出システム９００は、画像表示パネル２００ａと、指示体８０を含む画像を撮影する単眼カメラ３１０と、指示体８０を検出するための光を照射する第１照明部４１０及び第２照明部４２０とを有する。単眼カメラ３１０と第１照明部４１０及び第２照明部４２０の構成は第１実施形態におけるこれらの構成と同じである。画像表示パネル２００ａは、いわゆるフラットパネルディスプレイである。画像表示パネル２００ａの画像表示面は、操作面ＳＳに相当する。
【００５９】
図２１は、位置検出システム９００の機能ブロック図である。この位置検出システム９００は、図４に示したインタラクティブプロジェクター１００の構成のうち、投写部２００を画像表示パネル２００ａに変更し、投写画像生成部５００を画像生成部５００ａに変更したものであり、他の構成はインタラクティブプロジェクター１００と同じである。また、位置検出システム９００による位置検出処理は、図１０〜図１２で説明した第１実施形態の処理と同様なので、説明を省略する。この第５実施形態も、第１実施形態と同様の効果を奏する。
【００６０】
Ｆ．他の実施形態
上記実施形態において、照明部４００は、第１照明部４１０及び第２照明部４２０の２つの照明装置を備えている。これに対し、照明部４００は、互いに異なる位置に配置された３以上の照明装置を備えていてもよい。すなわち、Ｎを３以上の整数として、Ｎ個の照明装置を設けるようにしてもよい。この場合には、各照明装置を順次選択して、選択されていない照明装置では照明を行わずに、選択された照明装置で照明を行いながら、単眼カメラ３１０、３１０ｃを用いて撮影を実行することによって、Ｎ個の撮像画像を１つずつ異なるタイミングで順次取得する。位置検出部６００は、Ｎ個の画像のうちから２個の撮像画像を用いて、指示体領域と影領域とを抽出し、指示体領域と影領域との関係を用いてに操作面ＳＳに対する指示体８０の位置を検出することができる。この構成によっても、操作面に対する指示体８０の位置の検出精度を向上させることができる。なお、位置検出部６００は、Ｍを１以上｛Ｎ（Ｎ−１）／２｝以下の整数として、Ｎ個の画像のうちから２個が選択されたＭ組の撮像画像を用いて、指示体領域と影領域とを抽出し、指示体領域と影領域との関係を用いてに操作面ＳＳに対する指示体８０の位置を検出してもよい。
【００６１】
本開示は、上述した実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の形態で実現することができる。例えば、本開示は、以下の形態（ａｓｐｅｃｔ）によっても実現可能である。以下に記載した各形態中の技術的特徴に対応する上記実施形態中の技術的特徴は、本開示の課題の一部又は全部を解決するために、あるいは、本開示の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
【００６２】
（１）本開示の第１の形態によれば、操作面に対する指示体の位置を検出する位置検出方法が提供される。この位置検出方法は、（ａ）第１照明部で照明を行い、前記第１照明部と異なる位置に設けられた第２照明部で照明を行わないで、単眼カメラを用いて、前記操作面を背景とした前記指示体を撮影して第１撮像画像を取得する工程と、（ｂ）前記第１照明部で照明を行わないで、前記第２照明部で照明を行い、前記単眼カメラを用いて、前記操作面を背景とした前記指示体を撮影して第２撮像画像を取得する工程と、（ｃ）前記単眼カメラで取得された前記第１撮像画像と前記第２撮像画像とから、前記指示体の先端部を含む前記指示体の領域である指示体領域と、前記指示体の影の領域である影領域と、を抽出する工程と、（ｄ）前記指示体領域と前記影領域との関係を用いて、前記操作面に対する前記指示体の位置を検出する工程と、を備える。  この位置検出方法によれば、第１照明部と第２照明部とを排他的なタイミングで点灯させることで、指示体領域が同じであり影領域が異なる第１撮像画像及び第２撮像画像を得ることができる。そのため、第１撮像画像と第２撮像画像とを用いて指示体領域と影領域とを精度良く抽出することができる。従って、指示体領域と影領域との関係を用いて操作面に対する指示体の位置を精度良く検出することができる。
【００６３】
（２）上記形態において、前記工程（ｄ）では、前記指示体領域と前記影領域とが連続する場合に、前記指示体が前記操作面に接触していると判定してもよい。
この位置検出方法によれば、指示体が操作面に接触している場合には、単眼カメラを用いて取得した撮像画像において指示体が影に重なるので、指示体領域と影領域とが連続しているか否かにより、指示体が操作面に接触しているか否かを精度良く判定することができる。また、指示体の３次元位置を測定することなく、指示体が操作面に接触しているか否かを判定することができる。
【００６４】
（３）上記形態において、前記工程（ｄ）では、前記指示体領域と前記影領域との最短距離が予め定められた閾値以内である場合に、前記指示体が前記操作面に接触していると判定してもよい。
この位置検出方法によれば、指示体が操作面から離れている場合には、単眼カメラを用いて取得した撮像画像において指示体と影とが離れるので、指示体領域と影領域との最短距離を用いて指示体が操作面に接触しているか否かを精度良く判定することができる。また、指示体の３次元位置を測定することなく、指示体が操作面に接触しているか否かを判定することができる。
【００６５】
（４）上記形態において、前記工程（ｄ）では、前記第１撮像画像又は前記第２撮像画像における前記指示体の先端部を含む関心領域内における前記指示体領域の面積と、前記関心領域内における前記影領域の面積と、を算出し、前記影領域の面積に対する前記指示体領域の面積の比の値が予め定められた閾値以上である場合に、前記指示体が前記操作面に接触していると判定してもよい。
この位置検出方法によれば、指示体と操作面の間の距離が短くなるほど、指示体がより影に重なるので、影領域の面積に対する指示体領域の面積の比の値がより大きくなるので、影領域の面積に対する指示体領域の面積の比の値を用いて指示体が操作面に接触しているか否かを精度良く判定することができる。また、指示体の３次元位置を測定することなく、指示体が操作面に接触しているか否かを判定することができる。
【００６６】
（５）上記形態において、前記第１照明部は、単眼カメラに対する同軸照明を行う同軸照明部と、前記単眼カメラの光軸の周囲を囲うように配置された周囲照明部と、の少なくとも一方を含んでもよい。
この位置検出方法によれば、第１撮像画像は指示体の影を実質的に含まないので、第１撮像画像から精度良く指示体領域を抽出することができる。
【００６７】
（６）本開示の第２の形態によれば、操作面に対する指示体の位置を検出する位置検出装置が提供される。この位置検出装置は、前記操作面を背景とした前記指示体を撮影する単眼カメラを含む撮像部と、第１照明部と、前記第１照明部と異なる位置に設けられた第２照明部と、を含む照明部と、前記第１照明部で照明を行いながら、前記第２照明部で照明を行わないで、前記単眼カメラを用いて、前記操作面を背景とした前記指示体の撮影を実行することによって第１撮像画像を取得し、前記第１照明部で照明を行わないで、前記第２照明部で照明を行いながら、前記単眼カメラを用いて、前記操作面を背景とした前記指示体の撮影を実行することによって前記第１撮像画像と異なるタイミングで第２撮像画像を取得する、撮像制御部と、前記第１撮像画像と前記第２撮像画像とから、前記指示体の先端部を含む前記指示体の領域である指示体領域と、前記指示体の影の領域である影領域と、を抽出する領域抽出部と、前記指示体領域と前記影領域との関係を用いて、前記操作面に対する前記指示体の位置を検出する位置検出部と、を備える。
この位置検出装置によれば、第１照明部と第２照明部とを排他的なタイミングで点灯させることで、指示体領域が同じであり影領域が異なる第１撮像画像及び第２撮像画像を得ることができる。そのため、第１撮像画像と第２撮像画像とを用いて指示体領域と影領域とを精度良く抽出することができる。従って、指示体領域と影領域との関係を用いて操作面に対する指示体の位置を精度良く検出することができる。
【００６８】
（７）上記形態において、前記位置検出部は、前記指示体領域と前記影領域とが連続する場合に、前記指示体が前記操作面に接触していると判定してもよい。
この位置検出装置によれば、指示体が操作面に接触している場合には、単眼カメラを用いて取得した撮像画像において指示体が影に重なるので、指示体領域と影領域とが連続しているか否かにより、指示体が操作面に接触しているか否かを精度良く判定することができる。また、指示体の３次元位置を測定することなく、指示体が操作面に接触しているか否かを判定することができる。
【００６９】
（８）上記形態において、前記位置検出部は、前記指示体領域と前記影領域との最短距離が予め定められた閾値以内である場合に、前記指示体が前記操作面に接触していると判定してもよい。
この位置検出装置によれば、指示体が操作面から離れている場合には、単眼カメラを用いて取得した撮像画像において指示体と影とが離れるので、指示体領域と影領域との最短距離を用いて指示体が操作面に接触しているか否かを精度良く判定することができる。また、指示体の３次元位置を測定することなく、指示体が操作面に接触しているか否かを判定することができる。
【００７０】
（９）上記形態において、前記位置検出部は、前記第１撮像画像又は前記第２撮像画像における前記指示体の先端部を含む関心領域内における前記指示体領域の面積と、前記関心領域内における前記影領域の面積と、を算出し、前記影領域の面積に対する前記指示体領域の面積の比の値が予め定められた閾値以上である場合に、前記指示体が前記操作面に接触していると判定してもよい。
この位置検出装置によれば、指示体と操作面の間の距離が短くなるほど、指示体がより影に重なるので、影領域の面積に対する指示体領域の面積の比の値がより大きくなるので、影領域の面積に対する前記指示体領域の面積の比の値を用いて指示体が操作面に接触しているか否かを精度良く判定することができる。また、指示体の３次元位置を測定することなく、指示体が操作面に接触しているか否かを判定することができる。
【００７１】
（１０）上記形態において、前記第１照明部は、前記単眼カメラに対する同軸照明を行う同軸照明部と、前記単眼カメラの光軸の周囲を囲うように配置された周囲照明部と、の少なくとも一方を含んでもよい。
この位置検出装置によれば、第１撮像画像は指示体の影を実質的に含まないので、第１撮像画像から精度良く指示体領域を抽出することができる。
【００７２】
（１１）本開示の第３の形態によれば、操作面に対する指示体の位置を検出するインタラクティブプロジェクターが提供される。このインタラクティブプロジェクターは、投写画像を前記操作面に投写する投写部と、前記操作面を背景とした前記指示体を撮影する単眼カメラを含む撮像部と、第１照明部と、前記第１照明部と異なる位置に設けられた第２照明部と、を含む照明部と、前記第１照明部と前記第２照明部とを順次選択し、前記第１照明部で照明を行いながら、前記第２照明部で照明を行わないで、前記単眼カメラを用いて、前記操作面を背景とした前記指示体の撮影を実行することによって第１撮像画像を取得し、前記第１照明部で照明を行わないで、前記第２照明部で照明を行いながら、前記単眼カメラを用いて、前記操作面を背景とした前記指示体の撮影を実行することによって前記第１撮像画像とは異なるタイミングで第２撮像画像を取得する、撮像制御部と、前記第１撮像画像と前記第２撮像画像とから、前記指示体の先端部を含む前記指示体の領域である指示体領域と、前記指示体の影の領域である影領域と、を抽出する領域抽出部と、前記指示体領域と前記影領域との関係を用いて、前記操作面に対する前記指示体の位置を検出する位置検出部と、を備える。
このインタラクティブプロジェクターによれば、第１照明部と第２照明部とを排他的なタイミングで点灯させることで、指示体領域が同じであり影領域が異なる第１撮像画像及び第２撮像画像を得ることができる。そのため、第１撮像画像と第２撮像画像とを用いて指示体領域と影領域とを精度良く抽出することができる。従って、指示体領域と影領域との関係を用いて操作面に対する指示体の位置を精度良く検出することができる。
【符号の説明】
【００７３】
８０…指示体、１００、１００ｃ…インタラクティブプロジェクター、２００…投写部、２００ａ…画像表示パネル、２１０…投写レンズ、２２０…光変調部、２３０…光源、３００…撮像部、３１０、３１０ｃ…単眼カメラ、４００…照明部、４１０…第１照明部、４１１、４２１…照明素子、４２０…第２照明部、５００…投写画像生成部、５００ａ…画像生成部、５１０…画像メモリー、６００…位置検出部、６２０…領域抽出部、７００…制御部、７１０…撮像制御部、７２０…操作実行部、８００、８００ｃ…インタラクティブプロジェクションシステム、８２０…スクリーン板、９００…位置検出システム、ＩＭ１、ＩＭ１ｃ…第１撮像画像、ＩＭ２…第２撮像画像、ＩＭ３…配置画像、ＲＯ１＿ｉｂ、ＲＯ２＿ｓｈ、ＲＯ３、ＲＯ３ａ、ＲＯ３ｂ…関心領域、ＲＯ＿ｉｂ…指示体領域、ＲＯ＿ｓｈ…影領域、ＳＨ、ＳＨｃ…影、ＳＳ…操作面
【図１】
2020160808.tif 000003
【図２】
2020160808.tif 000004
【図３】
2020160808.tif 000005
【図４】
2020160808.tif 000006
【図５】
2020160808.tif 000007
【図６】
2020160808.tif 000008
【図７】
2020160808.tif 000009
【図８】
2020160808.tif 000010
【図９】
2020160808.tif 000011
【図１０】
2020160808.tif 000012
【図１１】
2020160808.tif 000013
【図１２】
2020160808.tif 000014
【図１３】
2020160808.tif 000015
【図１４】
2020160808.tif 000016
【図１５】
2020160808.tif 000017
【図１６】
2020160808.tif 000018
【図１７】
2020160808.tif 000019
【図１８】
2020160808.tif 000020
【図１９】
2020160808.tif 000021
【図２０】
2020160808.tif 000022
【図２１】
2020160808.tif 000023