(57)【要約】【課題】指示体と操作面との間の距離に関連する距離関連パラメーターの検出精度を向上する技術を提供する。【解決手段】位置検出方法は、（ａ）第１カメラと第２カメラを用いて、操作面を背景とした指示体を撮影して第１撮像画像と第２撮像画像を取得する工程と、（ｂ）第１撮像画像と第２撮像画像に対してステレオキャリブレーションを行うことによって、第１較正画像と第２較正画像を作成する工程と、（ｃ）第１較正画像と第２較正画像から第１関心領域画像と第２関心領域画像を抽出する工程と、（ｄ）第１関心領域画像と第２関心領域画像から相関画像を作成する工程と、（ｅ）相関画像を入力とする入力層と、操作面と指示体の距離に関連する距離関連パラメーターを出力する出力層と、を有する畳み込みニューラルネットワークを用いて、距離関連パラメーターを決定する工程と、を備える。【選択図】図４
2020123115.tif 000002
【特許請求の範囲】
【請求項１】
操作面に対する指示体の位置に関連するパラメーターを検出する位置検出方法であって、
（ａ）第１カメラを用いて、前記操作面を背景とした前記指示体を撮影し、第１撮像画像を取得し、前記第１カメラと異なる位置に配置された第２カメラを用いて、前記操作面を背景とした前記指示体を撮影し、第２撮像画像を取得する工程と、
（ｂ）前記第１撮像画像と前記第２撮像画像に対してステレオキャリブレーションを行うことによって、第１較正画像と第２較正画像を作成する工程と、
（ｃ）前記第１較正画像と前記第２較正画像から，前記指示体をそれぞれ含む第１関心領域画像と第２関心領域画像を抽出する工程と、
（ｄ）前記第１関心領域画像と前記第２関心領域画像のそれぞれについて、対応する画素をそれぞれ基準位置とする第１カーネル領域と第２カーネル領域の相関値を算出することによって、前記相関値を画素値とする相関画像を作成する工程と、
（ｅ）前記相関画像を入力とする入力層と、前記操作面と前記指示体の距離に関連する距離関連パラメーターを出力する出力層と、を有する畳み込みニューラルネットワークを用いて、前記距離関連パラメーターを決定する工程と、
を備える位置検出方法。
【請求項２】
請求項１の位置検出方法であって、
前記工程（ａ）では、Ｎを３以上の整数として、Ｎ台のカメラによって、前記操作面を背景とした前記指示体を撮影して、Ｎ個の撮像画像を撮影し、
前記工程（ｂ）では、前記Ｎ個の画像に対してステレオキャリブレーションを行うことによって、Ｎ個の較正画像を作成し、
前記工程（ｃ）では、前記Ｎ個の較正画像から，前記指示体をそれぞれ含むＮ個の関心領域画像を抽出し、
前記工程（ｄ）では、Ｍを１以上｛Ｎ（Ｎ−１）／２｝以下の整数として、前記Ｎ個の関心領域画像のうちから選択されたＭ組の２個の関心領域画像のそれぞれについて、前記２個の関心領域画像の対応する画素をそれぞれ基準位置とする２つのカーネル領域同士の相関値を算出することによって、前記相関値を画素値とするＭ個の相関画像を作成し、
前記工程（ｅ）では、前記Ｍ個の相関画像を入力とする入力層と、前記距離関連パラメーターを出力する出力層と、を有する前記畳み込みニューラルネットワークを用いて、前記距離関連パラメーターを決定する、
位置検出方法。
【請求項３】
請求項１又は２に記載の位置検出方法であって、
前記距離関連パラメーターは、前記操作面と前記指示体の距離である、位置検出方法。
【請求項４】
請求項１又は２に記載の位置検出方法であって、
前記距離関連パラメーターは、前記指示体の位置に応じた前記操作面に対する操作を実行することを示す操作実行パラメーターである、位置検出方法。
【請求項５】
請求項１に記載の位置検出方法であって、
前記工程（ａ）は、
前記第１カメラに対応して設けられた第１赤外照明部と、前記第２カメラに対応して設けられた第２赤外照明部と、を順次選択する工程と、
前記第２赤外照明部では照明を行わずに前記第１赤外照明部で照明を行いながら前記第１カメラを用いて撮影を実行し、前記第１赤外照明部では照明を行わずに前記第２赤外照明部で照明を行いながら前記第２カメラを用いて撮影を実行し、前記第１撮像画像と前記第２撮像画像を１つずつ異なるタイミングで順次取得する工程と、
を含み、
前記第１赤外照明部と前記第２赤外照明部は、各カメラに対する同軸照明を行う同軸照明部と、各カメラの光軸の周囲を囲うように配置された周囲照明部と、の少なくとも一方を含むように構成される、
位置検出方法。
【請求項６】
操作面に対する指示体の位置に関連するパラメーターを検出する位置検出装置であって、
前記操作面を背景とした前記指示体を撮影して、第１撮像画像を取得する第１カメラと、前記第１カメラと異なる位置に配置され、前記操作面を背景とした前記指示体を撮影して、第２撮像画像を取得する第２カメラと、を含む撮像部と、
前記第１撮像画像と前記第２撮像画像に対してステレオキャリブレーションを行うことによって、第１較正画像と第２較正画像を作成する較正実行部と、
前記第１較正画像と前記第２較正画像から，前記指示体をそれぞれ含む第１関心領域画像と第２関心領域画像を抽出する関心領域抽出部と、
前記第１関心領域画像と前記第２関心領域画像のそれぞれについて、対応する画素をそれぞれ基準位置とする第１カーネル領域と第２カーネル領域の相関値を算出することによって、前記相関値を画素値とする相関画像を作成する相関画像作成部と、
前記相関画像を入力とする入力層と、前記操作面と前記指示体の距離に関連する距離関連パラメーターを出力する出力層と、を有する畳み込みニューラルネットワークと、
を備える位置検出装置。
【請求項７】
請求項６に記載の位置検出装置であって、
前記撮像部は、Ｎを３以上の整数として、前記操作面を背景とした前記指示体を撮影して、Ｎ個の撮像画像を取得するＮ台のカメラと、を含み、
前記較正実行部は、前記Ｎ個の画像に対してステレオキャリブレーションを行うことによって、Ｎ個の較正画像を作成し、
前記関心領域抽出部は、前記Ｎ個の較正画像から，前記指示体をそれぞれ含むＮ個の関心領域画像を抽出し、
前記相関画像作成部は、Ｍを１以上｛Ｎ（Ｎ−１）／２｝未満の整数として、前記Ｎ個の関心領域画像のうちから選択されたＭ組の２個の関心領域画像のそれぞれについて、前記２個の関心領域画像の対応する画素をそれぞれ基準位置とする２つのカーネル領域同士の相関値を算出することによって、前記相関値を画素値とするＭ個の相関画像を作成し、
前記畳み込みニューラルネットワークは、前記Ｍ個の相関画像を入力とする入力層と、前記操作面と前記指示体の距離に関連する距離関連パラメーターを出力する出力層と、を有する、
位置検出装置。
【請求項８】
請求項６又は７に記載の位置検出装置であって、
前記距離関連パラメーターは、前記操作面と前記指示体の距離である、位置検出装置。
【請求項９】
請求項６又は７に記載の位置検出装置であって、
前記距離関連パラメーターは、前記指示体の位置に応じた前記操作面に対する操作を実行することを示す操作実行パラメーターである、位置検出装置。
【請求項１０】
請求項６に記載の位置検出装置であって、更に、
前記第１カメラに対する同軸照明を行う同軸照明部と、前記第１カメラの光軸の周囲を囲うように配置された周囲照明部と、の少なくとも一方を含むように構成された第１赤外照明部と、
前記第２カメラに対する同軸照明を行う同軸照明部と、前記第２カメラの光軸の周囲を囲うように配置された周囲照明部と、の少なくとも一方を含むように構成された第２赤外照明部と、
前記第１カメラ及び前記第１赤外照明部と、前記第２カメラ及び前記第２赤外照明部と、を用いた撮影を制御する撮影制御部と、
を備え、
前記撮影制御部は、前記第１カメラ及び前記第１赤外照明部と、前記第２カメラ及び記第２赤外照明部と、を順次選択し前記第２赤外照明部では照明を行わずに前記第１赤外照明部で照明を行いながら前記第１カメラを用いて撮影を実行し、前記第１赤外照明部では照明を行わずに前記第２赤外照明部で照明を行いながら前記第２カメラを用いて撮影を実行することによって、前記第１撮像画像と前記第２撮像画像を異なるタイミングで順次撮影する、位置検出装置。
【請求項１１】
操作面に対する指示体の位置に関連するパラメーターを検出するインタラクティブプロジェクターであって、
投写画像を前記操作面に投写する投写部と、
前記操作面を背景とした前記指示体を撮影して、第１撮像画像を取得する第１カメラと、前記第１カメラと異なる位置に配置され、前記操作面を背景とした前記指示体を撮影して、第２撮像画像を取得する第２カメラと、を含む撮像部と、
前記第１撮像画像と前記第２撮像画像に対してステレオキャリブレーションを行うことによって、第１較正画像と第２較正画像を作成する較正実行部と、
前記第１較正画像と前記第２較正画像から，前記指示体をそれぞれ含む第１関心領域画像と第２関心領域画像を抽出する関心領域抽出部と、
前記第１関心領域画像と第２関心領域画像のそれぞれについて、対応する画素をそれぞれ基準位置とする第１カーネル領域と第２カーネル領域の相関値を算出することによって、前記相関値を画素値とする相関画像を作成する相関画像作成部と、
前記相関画像を入力とする入力層と、前記操作面と前記指示体の距離に関連する距離関連パラメーターを出力する出力層と、を有する畳み込みニューラルネットワークと、
を備えるインタラクティブプロジェクター。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、指示体の位置を検出する技術に関するものである。
【背景技術】
【０００２】
特許文献１には、投写画面をスクリーンに投写するとともに、指などの指示体を含む画像をカメラで撮像し、この撮像画像を用いて指示体の位置を検出することが可能なプロジェクターが開示されている。このプロジェクターは、指示体の先端がスクリーンに接しているときに投写画面に対して描画等の所定の指示が入力されているものと認識し、その指示に応じて投写画面を再描画する。従って、ユーザーは、投写画面をユーザーインターフェースとして用いて、各種の指示を入力することが可能である。このように、スクリーン上の投写画面を入力可能ユーザーインターフェースとして利用できるタイプのプロジェクターを、「インタラクティブプロジェクター」と呼ぶ。また、指示体を用いた指示の入力に使用される表面としてのスクリーン面を「操作面」とも呼ぶ。指示体の位置は、複数のカメラで撮像された複数の画像を用いて、三角測量を利用して決定される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−１８４８５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術では、指示体と操作面との間の距離や、距離に関連する他の距離関連パラメーターの検出精度が必ずしも十分でないという問題があった。そこで、指示体と操作面との間の距離に関連する距離関連パラメーターの検出精度の向上が望まれていた。
【課題を解決するための手段】
【０００５】
本開示の一形態によれば、操作面に対する指示体の位置に関連するパラメーターを検出する位置検出方法が提供される。この位置検出方法は、（ａ）第１カメラを用いて、前記操作面を背景とした前記指示体を撮影して、第１撮像画像を取得し、前記第１カメラと異なる位置に配置された第２カメラを用いて、前記操作面を背景とした前記指示体を撮影して、第２撮像画像を取得する工程と、（ｂ）前記第１撮像画像と前記第２撮像画像に対してステレオキャリブレーションを行うことによって、第１較正画像と第２較正画像を作成する工程と、（ｃ）前記第１較正画像と前記第２較正画像から，前記指示体をそれぞれ含む第１関心領域画像と前記第２関心領域画像を抽出する工程と、（ｄ）前記第１関心領域画像と前記第２関心領域画像のそれぞれについて、対応する画素をそれぞれ基準位置とする第１カーネル領域と第２カーネル領域の相関値を算出することによって、前記相関値を画素値とする相関画像を作成する工程と、（ｅ）前記相関画像を入力とする入力層と、前記操作面と前記指示体の距離に関連する距離関連パラメーターを出力する出力層と、を有する畳み込みニューラルネットワークを用いて、前記距離関連パラメーターを決定する工程と、を備える。
【０００６】
本開示は、位置検出装置の形態でも実現することが可能であり、位置検出方法や位置検出装置以外の種々の形態で実現することも可能である。例えば、インタラクティブプロジェクターや、それらの方法または装置の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した一時的でない記録媒体等の様々な形態で実現することができる。
【図面の簡単な説明】
【０００７】
【図１】第１実施形態におけるインタラクティブプロジェクションシステムの斜視図。
【図２】インタラクティブプロジェクションシステムの側面図。
【図３】インタラクティブプロジェクションシステムの正面図。
【図４】インタラクティブプロジェクターの機能ブロック図。
【図５】位置検出処理の手順を示すフローチャート。
【図６】図５のステップＳ１００〜Ｓ４００の処理内容を示す説明図。
【図７】ステップＳ１００における撮像処理の手順を示すフローチャート。
【図８】撮像処理の内容を示す説明図。
【図９】畳み込みニューラルネットワークの構成例を示す説明図。
【図１０】操作面と指示体の距離と代表相関値との関係を示すグラフ。
【図１１】第２実施形態における位置検出システムの正面図。
【図１２】位置検出システムの機能ブロック図。
【発明を実施するための形態】
【０００８】
A. 第１実施形態
図１は、第１実施形態におけるインタラクティブプロジェクションシステム８００の斜視図である。このシステム８００は、インタラクティブプロジェクター１００と、スクリーン板８２０とを有している。スクリーン板８２０の前面は、指示体８０を用いた指示の入力に使用される操作面ＳＳとして利用される。操作面ＳＳは、また、投写画面ＰＳが投写される投写面としても利用される。プロジェクター１００は壁面に固定されており、スクリーン板８２０の前方かつ上方に設置されている。なお、図１では操作面ＳＳを鉛直に配置しているが、操作面ＳＳを水平に配置してこのシステム８００を使用することも可能である。図１では、スクリーン板８２０の前方方向がＺ方向で、上方方向がＹ方向で、右方向がＸ方向である。例えばＺ＝０として、操作面ＳＳの平面内の位置は２次元座標系（Ｘ，Ｙ）で検出できる。
【０００９】
プロジェクター１００は、画像をスクリーン板８２０に投写する投写レンズ２１０と、指示体８０を含む画像を撮影する２台のカメラ３１０，３２０と、指示体８０を検出するための赤外光を照射し、２台のカメラ３１０、３２０に対応した２台の照明部４１０，４２０とを有する。
【００１０】
投写レンズ２１０は、操作面ＳＳ上に投写画面ＰＳを投写する。投写画面ＰＳは、プロジェクター１００内で描画された画像を含んでいる。プロジェクター１００内で描画された画像がない場合には、プロジェクター１００から投写画面ＰＳに光が照射されて、白色画像が表示される。本明細書において、「操作面ＳＳ」とは、指示体８０を用いた指示の入力に使用される表面を意味する。また、「投写画面ＰＳ」とは、プロジェクター１００によって操作面ＳＳ上に投写された画像の領域を意味する。
【００１１】
このシステム８００では、１つ又は複数の非発光の指示体８０を利用可能である。指示体８０としては、指やペンなどの非発光の物体を使用可能である。また、非発光の指示体８０の指示のための先端部は、赤外光に対する反射特性にすぐれ、さらには再帰反射特性を有することが好ましい。
【００１２】
第１カメラ３１０と第２カメラ３２０は、それぞれ操作面ＳＳの全体を撮影可能に設定され、操作面ＳＳを背景とした指示体８０の画像をそれぞれ撮影する機能を有する。すなわち、第１カメラ３１０と第２カメラ３２０は、第１照明部４１０と第２照明部４２０から照射された赤外光のうち、操作面ＳＳと指示体８０で反射された光を受光することによって指示体８０を含む画像を作成する。第１カメラ３１０と第２カメラ３２０で撮影された２つの画像を用いると、三角測量等によって指示体８０の３次元位置を求めることが可能である。なお、カメラの台数は３以上でもよい。
【００１３】
第１照明部４１０は、第１カメラ３１０の光軸の周囲を赤外光で照明する周囲照明部としての機能を有する。図１の例では、第１照明部４１０は、第１カメラ３１０の周囲を囲うように配置された４つの照明素子を含んでいる。第１照明部４１０は、第１カメラ３１０で指示体８０の画像を撮影するときに、第１照明部４１０による指示体８０の影が実質的に生じないように構成されている。ここで、「影が実質的に生じない」とは、その画像を使用して指示体８０の３次元位置を求める処理に対して、指示体８０の影の影響が無い程度に影が薄いことを意味する。第２照明部４２０も、第１照明部４１０と同様の構成及び機能を有しており、第２カメラ３２０の光軸の周囲を赤外光で照明する周囲照明部としての機能を有する。
【００１４】
第１照明部４１０を構成する照明素子の数は、４つに限らず、２つ以上の任意の数としてもよい。但し、第１照明部４１０を構成する複数の照明素子は、第１カメラ３１０を中心とした回転対称の位置に配置されることが好ましい。また、複数の照明素子を用いる代わりに、リング状の照明素子を用いて第１照明部４１０を構成してもよい。更に、第１照明部４１０として、第１カメラ３１０のレンズを通して赤外光を出射する同軸照明部を用いるようにしても良い。これらの変形例は、第２照明部４２０にも適用可能である。なお、Ｎを２以上の整数として、Ｎ台のカメラを設ける場合には、各カメラに対して周囲照明部又は同軸照明部をそれぞれ設けることが好ましい。
【００１５】
図２は、インタラクティブプロジェクションシステム８００の側面図であり、図３はその正面図である。本明細書では、操作面ＳＳの左端から右端に向かう方向をＸ方向と定義し、操作面ＳＳの下端から上端に向かう方向をＹ方向と定義し、操作面ＳＳの法線に沿った方向をＺ方向と定義している。なお、便宜上、Ｘ方向を「幅方向」とも呼び、Ｙ方向を「上方向」とも呼び、Ｚ方向を「距離方向」とも呼ぶ。なお、図２では、図示の便宜上、スクリーン板８２０のうちの投写画面ＰＳの範囲にハッチングを付している。投写画面ＰＳが投写される操作面ＳＳの座標位置は、例えばＺ＝０として、２次元座標系（Ｘ、Ｙ）の２次元座標として検出できる。また、第１カメラ３１０の撮影画像の２次元座標系（Ｖ、Ｕ）と第２カメラ３２０の撮影画像の２次元座標系（η、ξ）は、第１カメラ３１０と第２カメラ３２０の配置や特性からそれぞれ異なり、また、投写画面ＰＳおよび操作面ＳＳの座標系（Ｘ、Ｙ）とも異なる。これらの座標系は、キャリブレーション処理により、変換係数等を求め、対応付けられる。
【００１６】
図３の例は、インタラクティブプロジェクションシステム８００がホワイトボードモードで動作している様子を示している。ホワイトボードモードは、指示体８０を用いて投写画面ＰＳ上にユーザーが任意に描画できるモードである。操作面ＳＳ上には、ツールボックスＴＢを含む投写画面ＰＳが投写されている。このツールボックスＴＢは、処理を元に戻す取消ボタンＵＤＢと、マウスポインターを選択するポインターボタンＰＴＢと、描画用のペンツールを選択するペンボタンＰＥＢと、描画された画像を消去する消しゴムツールを選択する消しゴムボタンＥＲＢと、画面を次に進めたり前に戻したりする前方／後方ボタンＦＲＢと、を含んでいる。ユーザーは、指示体８０を用いてこれらのボタンをクリックすることによって、そのボタンに応じた処理を行ったり、ツールを選択したりすることが可能である。なお、システム８００の起動直後は、マウスポインターがデフォールトツールとして選択されるようにしてもよい。図３の例では、ユーザーがペンツールを選択した後、指示体８０の先端部を操作面ＳＳに接した状態で投写画面ＰＳ内で移動させることにより、投写画面ＰＳ内に線が描画されてゆく様子が描かれている。この線の描画は、後述する投写画像作成部によって行われる。
【００１７】
なお、インタラクティブプロジェクションシステム８００は、ホワイトボードモード以外の他のモードでも動作可能である。例えば、このシステム８００は、図示しないパーソナルコンピューターから通信回線を介して転送されたデータの画像を投写画面ＰＳに表示するＰＣインタラクティブモードでも動作可能である。ＰＣインタラクティブモードにおいては、例えば表計算ソフトウェアなどのデータの画像が表示され、その画像内に表示された各種のツールやアイコンを利用してデータの入力、作成、修正等を行うことが可能となる。
【００１８】
図４は、インタラクティブプロジェクター１００の機能ブロック図である。プロジェクター１００は、制御部７００と、投写部２００と、投写画像生成部５００と、位置検出部６００と、撮像部３００と、赤外照明部４００と、を有している。撮像部３００は、第１カメラ３１０と第２カメラ３２０を含み、赤外照明部４００は、第１照明部４１０と第２照明部４２０を含む。
【００１９】
制御部７００は、プロジェクター１００の各部の制御を行う。また、制御部７００は、撮像部３００と赤外照明部４００とを用いて指示体８０の画像を取得する撮影制御部７１０としての機能を有する。更に、制御部７００は、位置検出部６００で検出された指示体８０によって投写画面ＰＳ上で行われた指示の内容を認識するとともに、その指示の内容に従って投写画像を作成又は変更することを投写画像生成部５００に指令する操作実行部７２０としての機能を有する。
【００２０】
投写画像生成部５００は、投写画像を記憶する画像メモリー５１０を有しており、投写部２００によって操作面ＳＳ上に投写される投写画像を生成する機能を有する。投写画像生成部５００は、更に、投写画面ＰＳの台形歪みを補正するキーストーン補正部としての機能を有することが好ましい。
【００２１】
投写部２００は、投写画像生成部５００で生成された投写画像を操作面ＳＳ上に投写する機能を有する。投写部２００は、図２で説明した投写レンズ２１０の他に、光変調部２２０と、光源２３０とを有する。光変調部２２０は、画像メモリー５１０から与えられる投写画像データに応じて光源２３０からの光を変調することによって投写画像光ＩＭＬを形成する。この投写画像光ＩＭＬは、典型的には、ＲＧＢの３色の可視光を含むカラー画像光であり、投写レンズ２１０によって操作面ＳＳ上に投写される。なお、光源２３０としては、超高圧水銀ランプ等の光源ランプの他、発光ダイオードやレーザーダイオード等の種々の光源を採用可能である。また、光変調部２２０としては、透過型又は反射型の液晶パネルやデジタルミラーデバイス等を採用可能であり、色光別に複数の光変調部２２０を備えた構成としてもよい。
【００２２】
赤外照明部４００は、図１で説明した第１照明部４１０と第２照明部４２０とを有する。第１照明部４１０と第２照明部４２０は、指示体８０の先端部を検出するための照射検出光ＩＤＬを操作面ＳＳとその前方の空間にわたってそれぞれ照射することが可能である。照射検出光ＩＤＬは赤外光である。後述するように、第１照明部４１０と第２照明部４２０は、排他的なタイミングで点灯する。
【００２３】
撮像部３００は、図２で説明した第１カメラ３１０と第２カメラ３２０とを有している。２台のカメラ３１０，３２０は、照射検出光ＩＤＬの波長を含む波長領域の光を受光して撮像する機能を有する。図４の例では、赤外照明部４００によって照射された照射検出光ＩＤＬが指示体８０で反射され、その反射検出光ＲＤＬが２台のカメラ３１０，３２０によって受光されて撮像される様子が描かれている。
【００２４】
位置検出部６００は、第１カメラ３１０が撮影して、取得された第１撮像画像と，第２カメラ３２０で撮像して、取得された第２撮像画像を用いて、指示体８０の先端部の位置を求める機能を有する。位置検出部６００は、較正実行部６１０と、関心領域抽出部６２０と、相関画像作成部６３０と、畳み込みニューラルネットワーク６４０とを含む。これらは、モデルとして、位置検出部の記憶領域に格納されてもよい。較正実行部６１０は、２台のカメラ３１０，３２０で撮影された２つの画像である第１撮像画像と第２撮像画像に対してステレオキャリブレーションを行うことによって、２個の較正画像である第１較正画像と第２較正画像を作成する。関心領域抽出部６２０は、２個の較正画像から，指示体８０をそれぞれ含む２個の関心領域画像である第１関心領域画像と第２関心領域画像を抽出する。相関画像作成部６３０は、２個の関心領域画像から、後述する相関画像を作成する。畳み込みニューラルネットワーク６４０は、相関画像を入力とする入力層と、操作面ＳＳと指示体８０の距離に関連する距離関連パラメーターを出力する出力層とを有するように構成されている。これらの各部６１０〜６４０の機能の詳細は後述する。
【００２５】
制御部７００の各部の機能と位置検出部６００の各部の機能は、例えば、プロジェクター１００内のプロセッサーがコンピュータープログラムを実行することによって実現される。また、これらの各部の機能の一部をFPGA（field-programmable gate array）等のハードウェア回路で実現してもよい。
【００２６】
図５は、実施形態における位置検出処理の手順を示すフローチャートであり、図６は、図５のステップＳ１００〜Ｓ４００の処理内容を示す説明図である。この処理は、インタラクティブプロジェクションシステム８００の稼働中に繰り返し実行される。
【００２７】
ステップＳ１００では、撮像部３００が操作面ＳＳを背景とした指示体８０を撮影することによって、複数の画像を取得する。
【００２８】
図７は、図５のステップＳ１００における撮像処理の手順を示すフローチャートであり、図８は、撮像処理の内容を示す説明図であり、第１画像ＩＭ１_1とＩＭ１_2は、第１カメラ３１０で撮影された２次元座標系（Ｕ、Ｖ）で示され、第２画像ＩＭ２_1とＩＭ２_2は、第２カメラ３２０で撮影された２次元座標系（η、ξ）で示される。図７の手順は、撮影制御部７１０の制御の下で実行される。
【００２９】
ステップＳ１１０では、第１照明部４１０がオンで第２照明部４２０がオフの状態とする。ステップＳ１２０では、第１カメラ３１０と第２カメラ３２０を用いて画像を撮影する。この結果、図８の上段に示す第１画像ＩＭ１_1及び第２画像ＩＭ２_1が取得される。第１画像ＩＭ１_1の周囲を囲う破線は強調のために付したものである。これらの画像ＩＭ１_1，ＩＭ２_1は、いずれも操作面ＳＳを背景とした指示体８０を含む画像である。図１で説明したように、第１照明部４１０は、第１カメラ３１０で指示体８０の画像を撮影するときに、第１照明部４１０による指示体８０の影が実質的に生じないように構成されている。従って、ステップＳ１２０で取得された２つの画像のうち、第１画像ＩＭ１_1は、第１照明部４１０が点灯した時に第１カメラ３１０が撮影した撮像画像であり、指示体８０の影を実質的に含んでいない。一方、第２画像ＩＭ２_1は、第２照明部４２が消灯した時に第２カメラ３２０が撮影した撮像画像であり、指示体８０の影ＳＨ１を含んでいる。この第２画像ＩＭ２_1は、撮影しなくてもよい。
【００３０】
ステップＳ１３０では、第１照明部４１０がオフで第２照明部４２０がオンの状態とする。ステップＳ１４０では、第１カメラ３１０と第２カメラ３２０を用いて画像を撮影する。この結果、図８の中段に示す第１画像ＩＭ１_2及び第２画像ＩＭ２_2が取得される。第２照明部４２０は、第２カメラ３２０で指示体８０の画像を撮影するときに、第２照明部４２０による指示体８０の影が実質的に生じないように構成されている。従って、ステップＳ１４０で取得された２つの画像のうち、第２画像ＩＭ２_2は、第２照明部４２０が点灯した時に第２カメラ３２０が撮影した画像であり、指示体８０の影を実質的に含んでいない。一方、第１画像ＩＭ１_2は、第１照明部４１０が消灯した時に第１カメラ３１０が撮影した画像であり、指示体８０の影ＳＨ２を含んでいる。この第１画像ＩＭ１_2は、撮影しなくてもよい。
【００３１】
ステップＳ１２０及びステップＳ１４０における撮影が終了すると、図８の下段に示すように、第１カメラ３１０で撮影された実質的に影の無い第１画像ＩＭ１_1と、第２カメラ３２０で撮影された実質的に影の無い第２画像ＩＭ２_2とが得られる。第１画像ＩＭ１_1は、第１撮像画像であり、第２画像ＩＭ２_2は、第２撮像画像である。図７のステップＳ１５０では、２つの照明部４１０，４２０がオフ状態とされてステップＳ１００の処理を終了し、次の撮影まで待機する。なお、ステップＳ１５０は省略してもよい。また、図７の処理が終了した後に、直ちに図７の処理を再開するようにしてもよい。
【００３２】
こうしてステップＳ１００の処理が終了すると、図５のステップＳ２００において、較正実行部６１０が、ステップＳ１００で得られた２つの画像ＩＭ１_1，ＩＭ２_2についてステレオキャリブレーションを行うことによって、２個の較正画像を作成する。本実施形態では、「ステレオキャリブレーション」として、操作面ＳＳにおける視差がゼロになるように、２つの画像ＩＭ１_1，ＩＭ２_2の一方の座標を調整する処理を行う。例えば、座標系（Ｕ，Ｖ）である第１画像ＩＭ１_1を基準画像とし、第２画像ＩＭ２_2を比較画像として視差を算出する場合には、第２画像ＩＭ２_2の座標系（η、ξ）を座標系（Ｕ，Ｖ）に調整することによって、操作面ＳＳ上において第１画像ＩＭ１_1と第２画像ＩＭ２_2の視差がゼロになるようにキャリブレーションを行うことができる。このステレオキャリブレーションに必要な変換係数等のキャリブレーションパラメーターは、予め決定されて較正実行部６１０に設定されている。前述した図６の上段に示す２つの画像ＩＭ１，ＩＭ２は、ステレオキャリブレーション後の２つの較正画像を示している。但し、これらの較正画像ＩＭ１，ＩＭ２では、指示体８０を簡略化して描いている。また、（Ｘ、Ｙ）座標系である投写画面ＰＳを基準画像として、第１カメラ３１０で撮影された第１画像ＩＭ１_1と第２カメラ３２０で撮影された第２画像ＩＭ２_2のそれぞれの較正画像ＩＭ１，ＩＭ２を作成し、ステレオキャリブレーションを行ってもよい。この場合、第１画像ＩＭ１の２次元座標系（Ｕ，Ｖ）を投写画像ＰＳの２次元座標系（Ｘ，Ｙ）に変換するキャリブレーションパラメーターと、第２画像ＩＭ２の２次元座標系（η，ξ）を投写画像ＰＳの２次元座標系（Ｘ，Ｙ）に変換するキャリブレーションパラメーターが、予め決定されて較正実行部６１０に設定されている。
【００３３】
なお、図７及び図８で説明したように、２つの照明部４１０，４２０に対して互いに異なる排他的なタイミングで照明期間を設定し、それぞれの照明期間で画像を順次撮影する代わりに、２つのカメラ３１０，３２０で同じタイミングで撮影された２つの画像を用いてステレオキャリブレーションを実行してもよい。この場合には、図１で説明したような２つの照明部４１０，４２０を設ける必要はなく、２つのカメラ３１０，３２０に対して共通に使用する１つの照明部を設けておけば十分である。但し、図７及び図８で説明した撮影方法では、実質的に影の無い２つの画像ＩＭ１_1，ＩＭ２_2が得られるので、以下の処理をより精度良く行えるという利点がある。
【００３４】
図５のステップＳ３００では、関心領域抽出部６２０が、２つの較正画像ＩＭ１，ＩＭ２から関心領域画像ＲＯ１，ＲＯ２をそれぞれ抽出する。図６の上段及び中段に示すように、関心領域画像ＲＯ１，ＲＯ２は、指示体８０の先端部を含む領域の画像であり、その後の処理対象として抽出される画像である。関心領域画像ＲＯ１，ＲＯ２の抽出処理は、例えば、背景差分法や、平均背景差分法、二値化、モルフォロジー変換、エッジ検出、及び、凸包検出等の公知の種々の画像処理を利用して実行することができる。関心領域画像ＲＯ１，ＲＯ２のそれぞれは、例えば、指示体８０の先端部を中心とした一辺が１００〜３００画素の正方形の画像として抽出される。
【００３５】
ステップＳ４００では、相関画像作成部６３０が、２つの関心領域画像ＲＯ１，ＲＯ２から、相関画像ＲＩＭを作成する。相関画像ＲＩＭの画素値は、図６の中段に示すように、２個の関心領域画像ＲＯ１，ＲＯ２の対応する画素をそれぞれ基準位置ＲＰとする２つのカーネル領域ＫＲ同士の相関値ρを次式で算出することによって得られる。すなわち、相関画像ＲＩＭは、（１ａ）〜（１ｄ）式に従って算出される相関値ρを画素値とする画像である。
【数１】
2020123115.tif 000003
ここで、Ｐｉは第１較正画像ＩＭ１の画素値、Ｑｉは第２較正画像ＩＭ２の画素値、μｐは第１較正画像ＩＭ１の第１カーネル領域ＫＲ内の画素値の平均値、μｑは第２較正画像ＩＭ２の第２カーネル領域ＫＲ内の画素値の平均値、ｍはカーネル領域ＫＲの一辺の画素数、σｐ，σｑは分散、σｐｑは共分散である。なお、平均値μｐ，μｑは、単純平均やガウシアン平均など公知の平均法を用いて算出される。
【００３６】
上記（１ａ）〜（ｄ）式で与えられる相関値ρは、いわゆる相関係数であり、カーネル領域ＫＲにおける２つの較正画像ＩＭ１，ＩＭ２の類似度を意味する。すなわち、相関値ρが正で大きいほど、２つの較正画像ＩＭ１，ＩＭ２のカーネル領域ＫＲの類似度が高く、視差が小さいことを意味する。従って、この相関画像ＲＩＭを用いて、操作面ＳＳと指示体８０の距離に関連する距離関連パラメーターを決定することが可能である。
【００３７】
なお、相関値ρとしては、相関係数以外のものを使用可能であり、例えばＳＡＤ（Sum of Absolute Difference）やＳＳＤ（Sum of Squared Difference）を相関値ρとして使用してもよい。また、相関画像ＲＩＭを作成する前に、第１較正画像ＩＭ１と第２較正画像ＩＭ２に対して正規化や平滑化などを含む前処理をすることが好ましい。
【００３８】
図５のステップＳ５００では、畳み込みニューラルネットワーク６４０が、相関画像ＲＩＭから距離関連パラメーターを決定する。第１実施形態では、距離関連パラメーターとして、操作面ＳＳと指示体８０の距離そのものを使用する。
【００３９】
図９は、畳み込みニューラルネットワーク６４０の構成例を示す説明図である。この畳み込みニューラルネットワーク６４０は、入力層６４１と、中間層６４２と、全結合層６４３と、出力層６４４とを有する。入力層６４１には、ステップＳ４００で得られた相関画像ＲＩＭが入力される。中間層６４２は、畳み込み層ＣＵ１，ＣＵ２，ＣＵ３…と、正規化層ＲＵ１，ＲＵ２…と、プーリング層ＰＵ２…とを含む。畳み込み層と正規化層とプーリング層の組み合わせや配置は一例であり、これ以外の種々の組み合わせや配置が可能である。中間層６４２からは、相関画像ＲＩＭに応じた複数の特徴量が出力されて、全結合層６４３に入力される。全結合層６４３は、複数の全結合層を含んでいても良い。出力層６４４の出力ノードＮ１からは、距離関連パラメーターとして、操作面ＳＳと指示体８０の距離ΔＺが出力される。
【００４０】
畳み込みニューラルネットワーク６４０を用いて距離関連パラメーターを決定できる理由は、距離関連パラメーターが、相関画像ＲＩＭの特徴量と正又は負の相関があるからである。距離関連パラメーターと相関を有する特徴量としては、相関画像ＲＩＭ内の相関値ρの統計的な代表値がある。この統計的な代表値としては、平均値や、最大値、中央値などが該当する。以下に説明では、相関画像ＲＩＭ内の相関値ρの統計的代表値の一例として、相関値ρの平均値ρaveを使用する。この統計的代表値ρaveは、操作面ＳＳと指示体８０の距離ΔＺに対して負の相関を有する。
【００４１】
図１０は、操作面ＳＳと指示体８０の距離ΔＺと代表相関値ρaveとの関係を示すグラフである。図の横軸は操作面ＳＳと指示体８０の距離ΔＺを示し、縦軸は代表相関値ρaveを示している。代表相関値ρaveは、距離ΔＺが増大するほど減少する。このような代表相関値ρave又はこれに類似する値は、畳み込みニューラルネットワーク６４０の中間層６４２において相関画像ＲＩＭの特徴量の一つとして算出されて、全結合層６４３に入力される。従って、相関画像ＲＩＭを入力とする畳み込みニューラルネットワーク６４０を用いて距離ΔＺを決定することが可能である。また、畳み込みニューラルネットワーク６４０の学習時に、距離ΔＺ以外の距離関連パラメーターを学習させれば、畳み込みニューラルネットワーク６４０を用いてその距離関連パラメーターを得ることができる。
【００４２】
図５のステップＳ６００では、操作実行部７２０が、操作面ＳＳと指示体８０の距離ΔＺが予め設定された閾値Ｔｈ以下か否かを判定し、閾値Ｔｈ以下であればステップＳ７００において指示体８０の先端位置に応じた操作を実行する。閾値Ｔｈは、指示体８０の先端が操作面ＳＳに極めて近いと判定できる値であり、例えば３〜５ｍｍの範囲に設定される。ステップＳ７００の操作は、図３で説明した描画のような操作面ＳＳ上の処理である。なお、操作面ＳＳにおける指示体８０の先端位置のＸＹ座標は、２つの較正画像ＩＭ１，ＩＭ２における指示体８０のパターンマッチングや特徴検出などの公知の方法を用いて決定可能である。
【００４３】
なお、ステップＳ５００では、距離関連パラメーターとして操作面ＳＳと指示体８０の距離ΔＺを決定していたが、距離関連パラメーターとして距離ΔＺ以外のパラメーターを求めてもよい。例えば、ステップＳ５００において、相関画像ＲＩＭに応じて得られる特徴量から距離ΔＺが十分に小さなことが推定できる場合には、距離ΔＺを求めることなく、ステップＳ７００の操作を直ちに実行するようにしてもよい。この場合には、距離関連パラメーターは、指示体８０の位置に応じた操作の実行を示すフラグやコマンドなどの操作実行パラメーターである。この構成によれば、指示体８０と操作面ＳＳの距離ΔＺが十分に小さいと推定される状況において、指示体８０と操作面ＳＳの距離ΔＺを決定すること無く、指示体８０を用いた操作面ＳＳに対する操作を実行できる。
【００４４】
以上のように、第１実施形態では、相関画像を入力とし、操作面ＳＳと指示体８０の距離ΔＺに関連する距離関連パラメーターを出力とする畳み込みニューラルネットワーク６４０を用いて距離関連パラメーターを決定するので、距離関連パラメーターを精度良く決定することができる。
【００４５】
なお、カメラの台数は３以上でもよい。すなわち、Ｎを３以上の整数として、Ｎ台のカメラを設けるようにしてもよい。この場合に、較正実行部６１０は、Ｎ台のカメラでそれぞれ撮影されたＮ個の較正画像を作成し、関心領域抽出部６２０は、Ｎ個の較正画像から，指示体８０をそれぞれ含むＮ個の関心領域画像を抽出する。また、相関画像作成部６３０は、Ｍを１以上｛Ｎ（Ｎ−１）／２｝以下の整数として、Ｎ個の関心領域画像のうちから２個が選択されたＭ組の関心領域画像から、Ｍ個の相関画像を作成することができる。すなわち、相関画像作成部６３０は、各組の２個の関心領域画像のそれぞれについて、２個の関心領域画像の対応する画素をそれぞれ基準位置とする２つのカーネル領域ＫＲ同士の相関値を算出することによって、相関値を画素値とするＭ個の相関画像を作成することが可能である。畳み込みニューラルネットワーク６４０の入力層６４１は、Ｍ個の相関画像を入力とするように構成される。この構成によれば、操作面上において指示体８０の影が少ない状態でＮ個の画像を撮影できるので、距離関連パラメーターを精度良く決定できる。
【００４６】
B. 第２実施形態
図１１は、第２実施形態における位置検出システム９００の正面図である。位置検出システム９００は、画像表示パネル２００ａと、指示体８０を含む画像を撮影する２台のカメラ３１０，３２０と、指示体８０を検出するための赤外光を照射する２組の照明部４１０，４２０とを有する。カメラ３１０，３２０と照明部４１０，４２０の構成は第１実施形態におけるこれらの構成と同じである。画像表示パネル２００ａは、いわゆるフラットパネルディスプレイである。画像表示パネル２００ａの画像表示面は、操作面ＳＳに相当する。
【００４７】
図１２は、位置検出システム９００の機能ブロック図である。この位置検出システム９００は、図４に示したインタラクティブプロジェクター１００の構成のうち、投写部２００を画像表示パネル２００ａに変更し、投写画像生成部５００を画像生成部５００ａに変更したものであり、他の構成はインタラクティブプロジェクター１００と同じである。また、位置検出システム９００による位置検出処理は、図４〜図９で説明した第１実施形態の処理と同様なので、説明を省略する。また、第２実施形態も、第１実施形態と同様の効果を奏する。
【００４８】
C. 他の実施形態
本開示は、上述した実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の形態で実現することができる。例えば、本開示は、以下の形態（aspect）によっても実現可能である。以下に記載した各形態中の技術的特徴に対応する上記実施形態中の技術的特徴は、本開示の課題の一部又は全部を解決するために、あるいは、本開示の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
【００４９】
（１）本開示の第１の形態によれば、操作面に対する指示体の位置に関連するパラメーターを検出する位置検出方法が提供される。この位置検出方法は、（ａ）第１カメラを用いて、前記操作面を背景とした前記指示体を撮影して、第１撮像画像を取得し、前記第１カメラと異なる位置に配置された第２カメラを用いて、前記操作面を背景とした前記指示体を撮影して、第２撮像画像を取得する工程と、（ｂ）前記第１撮像画像と前記第２撮像画像に対してステレオキャリブレーションを行うことによって、第１較正画像と第２較正画像を作成する工程と、（ｃ）前記第１較正画像と前記前記第２較正画像から，前記指示体をそれぞれ含む第１関心領域画像と第２関心領域画像を抽出する工程と、（ｄ）前記第１関心領域画像と前記第２関心領域画像のそれぞれについて、対応する画素をそれぞれ基準位置とする第１カーネル領域と第２カーネル領域の相関値を算出することによって、前記相関値を画素値とする相関画像を作成する工程と、（ｅ）前記相関画像を入力とする入力層と、前記操作面と前記指示体の距離に関連する距離関連パラメーターを出力する出力層とを含む畳み込みニューラルネットワークを用いて、前記距離関連パラメーターを決定する工程と、を備える。
この位置検出方法によれば、相関画像を入力とし、操作面と指示体の距離に関連する距離関連パラメーターを出力とする畳み込みニューラルネットワークを用いて距離関連パラメーターを決定するので、距離関連パラメーターを精度良く決定することができる。
【００５０】
（２）上記位置検出方法において、前記工程（ａ）では、Ｎを３以上の整数として、Ｎ台のカメラによって、前記操作面を背景とした前記指示体を撮影して、Ｎ個の撮像画像を取得し、前記工程（ｂ）では、前記Ｎ個の撮像画像に対してステレオキャリブレーションを行うことによって、Ｎ個の較正画像を作成し、前記工程（ｃ）では、前記Ｎ個の較正画像から，前記指示体をそれぞれ含むＮ個の関心領域画像を抽出し、前記工程（ｄ）では、Ｍを１以上｛Ｎ（Ｎ−１）／２｝以下の整数として、前記Ｎ個の関心領域画像のうちから２個が選択されたＭ組の２個の関心領域画像のそれぞれについて、前記２個の関心領域画像の対応する画素をそれぞれ基準位置とする２つのカーネル領域同士の相関値を算出することによって、前記相関値を画素値とするＭ個の相関画像を作成し、前記工程（ｅ）では、前記Ｍ個の相関画像を入力とする入力層と、前記距離関連パラメーターを出力する出力層と、を有する前記畳み込みニューラルネットワークを用いて、前記距離関連パラメーターを決定するようにしてもよい。
この位置検出方法によれば、３台以上のカメラを用いて距離関連パラメーターを決定するので、距離関連パラメーターをより精度良く決定できる。
【００５１】
（３）上記位置検出方法において、前記距離関連パラメーターは、前記操作面と前記指示体の距離であるものとしてもよい。
この位置検出方法によれば、複数の相関画像に関する相関値の統計的代表値に応じて操作面と指示体の距離を精度良く決定できる。
【００５２】
（４）上記位置検出方法において、前記距離関連パラメーターは、前記指示体の位置に応じた前記操作面に対する操作を実行することを示す操作実行パラメーターであるものとしてもよい。
この位置検出方法によれば、指示体と操作面の距離が十分に小さいと推定される状況において、指示体と操作面の距離を決定すること無く、指示体を用いた操作面に対する操作を実行できる。
【００５３】
（５）上記位置検出方法において、前記工程（ａ）は、前記第１カメラに対応して設けられた第１赤外照明部と、前記第２カメラに対応して設けられた第２赤外照明部と、を順次選択する工程と、前記第２赤外照明部では照明を行わずに前記第１赤外照明部で照明を行いながら前記第１カメラを用いて撮影を実行し、前記第１赤外照明部では照明を行わずに前記第２赤外照明部で照明を行いながら前記第２カメラを用いて撮影を実行し、前記第１撮像画像と前記第２撮像画像を１つずつ異なるタイミングで順次取得する工程と、を含み、前記第１赤外照明部と前記第２赤外照明部は、各カメラに対する同軸照明を行う同軸照明部と、各カメラの光軸の周囲を囲うように配置された周囲照明部と、の少なくとも一方を含むように構成されるものとしてもよい。
この位置検出方法によれば、操作面上において指示体の影が少ない状態で２つの撮像画像を撮影できるので、距離関連パラメーターを精度良く決定できる。
【００５４】
（６）本開示の第２の形態によれば、操作面に対する指示体の位置に関連するパラメーターを検出する位置検出装置が提供される。この位置検出装置は、前記操作面を背景とした前記指示体を撮影して、第１撮像画像を取得する第１カメラと、前記第１カメラと異なる位置に配置され、前記操作面を背景とした前記指示体を撮影して、第２撮像画像を取得する第２カメラと、を含む撮像部と、前記第１撮像画像と前記第２撮像画像に対してステレオキャリブレーションを行うことによって、それぞれ第１較正画像と第２較正画像を作成する較正実行部と、前記第１較正画像と前記第２較正画像から，前記指示体をそれぞれ含む第１関心領域画像と第２関心領域画像を抽出する関心領域抽出部と、前記第１関心領域画像と前記第２関心領域画像のそれぞれについて、対応する画素をそれぞれ基準位置とする第１カーネル領域と第２カーネル領域の相関値を算出することによって、前記相関値を画素値とする相関画像を作成する相関画像作成部と、前記相関画像を入力とする入力層と、前記操作面と前記指示体の距離に関連する距離関連パラメーターを出力する出力層と、を有する畳み込みニューラルネットワークと、を備える。
この位置検出装置によれば、相関画像を入力とし、操作面と指示体の距離に関連する距離関連パラメーターを出力とする畳み込みニューラルネットワークを用いて距離関連パラメーターを決定するので、距離関連パラメーターを精度良く決定することができる。
【００５５】
（７）上記位置検出装置において、前記撮像部は、Ｎを３以上の整数として、前記操作面を背景とした前記指示体を撮影して、Ｎ個の撮像画像を取得するＮ台のカメラを含み、前記較正実行部は、前記Ｎ個の撮像画像に対してステレオキャリブレーションを行うことによって、Ｎ個の較正画像を作成し、前記関心領域抽出部は、前記Ｎ個の較正画像から，前記指示体をそれぞれ含むＮ個の関心領域画像を抽出し、前記相関画像作成部は、Ｍを１以上｛Ｎ（Ｎ−１）／２｝以下の整数として、前記Ｎ個の関心領域画像のうちから２個が選択されたＭ組の関心領域画像のそれぞれについて、前記２個の関心領域画像の対応する画素をそれぞれ基準位置とする２つのカーネル領域同士の相関値を算出することによって、前記相関値を画素値とするＭ個の相関画像を作成し、前記畳み込みニューラルネットワークは、前記Ｍ個の相関画像を入力とする入力層と、前記操作面と前記指示体の距離に関連する距離関連パラメーターを出力する出力層と、を有するものとしてもよい。
この位置検出装置によれば、３台以上のカメラを用いて距離関連パラメーターを決定するので、距離関連パラメーターをより精度良く決定できる。
【００５６】
（８）上記位置検出装置において、前記距離関連パラメーターは、前記操作面と前記指示体の距離であるものとしてもよい。
この位置検出装置によれば、複数の相関画像に関する相関値の統計的代表値に応じて操作面と指示体の距離を精度良く決定できる。
【００５７】
（９）上記位置検出装置において、前記距離関連パラメーターは、前記指示体の位置に応じた前記操作面に対する操作を実行することを示す操作実行パラメーターであるものとしてもよい。
この位置検出装置によれば、指示体と操作面の距離が十分に小さいと推定される状況において、指示体と操作面の距離を決定すること無く、指示体を用いた操作面に対する操作を実行できる。
【００５８】
（１０）上記位置検出装置は、更に、前記第１カメラに対する同軸照明を行う同軸照明部と、前記第１カメラの光軸の周囲を囲うように配置された周囲照明部と、の少なくとも一方を含むように構成された第１赤外照明部と、前記第２カメラに対する同軸照明を行う同軸照明部と、前記第２カメラの光軸の周囲を囲うように配置された周囲照明部と、の少なくとも一方を含むように構成された第２赤外照明部と、前記第１カメラ及び前記第１赤外照明部と、前記第２カメラ及び前記第２赤外照明部と、を用いた撮影を制御する撮影制御部と、を備え、前記撮影制御部は、前記第１カメラ及び前記第１赤外照明部と、前記第２カメラ及び記第２赤外照明部と、を順次選択し、前記第２赤外照明部では照明を行わずに前記第１赤外照明部で照明を行いながら前記第１カメラを用いて撮影を実行し、前記第１赤外照明部では照明を行わずに前記第２赤外照明部で照明を行いながら前記第２カメラを用いて撮影を実行することによって、前記第１撮像画像と前記第２撮像画像を異なるタイミングで順次取得するものとしてもよい。
この位置検出装置によれば、操作面上において指示体の影が少ない状態で２つの撮像画像を撮影できるので、距離関連パラメーターを精度良く決定できる。
【００５９】
（１１）本開示の第３の形態によれば、操作面に対する指示体の位置に関連するパラメーターを検出するインタラクティブプロジェクターが提供される。このインタラクティブプロジェクターは、投写画像を前記操作面に投写する投写部と、前記操作面を背景とした前記指示体を撮影して、第１撮像画像を取得する第１カメラと、前記第１カメラと異なる位置に配置され、前記操作面を背景とした前記指示体を撮影して、第２撮像画像を取得する第２カメラと、を含む撮像部と、前記第１撮像画像と前記第２撮像画像に対してステレオキャリブレーションを行うことによって、第１較正画像と第２較正画像を作成する較正実行部と、前記第１較正画像と前記第２較正画像から，前記指示体をそれぞれ含む第１関心領域画像と第２関心領域画像を抽出する関心領域抽出部と、前記第１関心領域画像と前記第２関心領域画像のそれぞれについて、対応する画素をそれぞれ基準位置とする第１カーネル領域と第２カーネル領域の相関値を算出することによって、前記相関値を画素値とする相関画像を作成する相関画像作成部と、前記相関画像を入力とする入力層と、前記操作面と前記指示体の距離に関連する距離関連パラメーターを出力する出力層と、を有する畳み込みニューラルネットワークと、を備える。
このインタラクティブプロジェクターによれば、相関画像を入力とし、操作面と指示体の距離に関連する距離関連パラメーターを出力とする畳み込みニューラルネットワークを用いて距離関連パラメーターを決定するので、距離関連パラメーターを精度良く決定することができる。
【符号の説明】
【００６０】
８０…指示体、１００…インタラクティブプロジェクター、２００…投写部、２００ａ…画像表示パネル、２１０…投写レンズ、２２０…光変調部、２３０…光源、３００…撮像部、３１０…第１カメラ、３２０…第２カメラ、４００…赤外照明部、４１０…第１照明部、４２０…第２照明部、５００…投写画像生成部、５００ａ…画像生成部、５１０…画像メモリー、６００…位置検出部、６１０…較正実行部、６２０…関心領域抽出部、６３０…相関画像作成部、６４０…畳み込みニューラルネットワーク、６４１…入力層、６４２…中間層、６４３…全結合層、６４４…出力層、７００…制御部、７１０…撮影制御部、７２０…操作実行部、８００…インタラクティブプロジェクションシステム、８２０…スクリーン板、９００…位置検出システム
【図１】
2020123115.tif 000004
【図２】
2020123115.tif 000005
【図３】
2020123115.tif 000006
【図４】
2020123115.tif 000007
【図５】
2020123115.tif 000008
【図６】
2020123115.tif 000009
【図７】
2020123115.tif 000010
【図８】
2020123115.tif 000011
【図９】
2020123115.tif 000012
【図１０】
2020123115.tif 000013
【図１１】
2020123115.tif 000014
【図１２】
2020123115.tif 000015