(57)【要約】【課題】物体と対象物の接触、及びそのときの物体の位置を精度良く検出することができる接触検出装置を提供する。【解決手段】  プロジェクタ装置は、投射部、測距部、処理部などを有している。測距部は、光射出部、撮像部、及び演算部を有し、スクリーン及び入力操作手段のデプスマップを取得する。処理部は、接触対象面を設定する機能、手指領域を抽出する機能（ステップＳ４０３、Ｓ４０５）、先端部候補を検出する機能（ステップＳ４０７〜Ｓ４１１）、及び接触を判定する機能（ステップＳ４１３〜Ｓ４１７）を有し、測距部からのデプスマップに基づいて、入力操作手段とスクリーンの接触を検出し、入力操作手段が示す入力操作情報を求める（ステップＳ４１９）。【選択図】図７
2016162162.tif 000002
【特許請求の範囲】
【請求項１】
物体と対象物の接触を検出する接触検出装置であって、
前記対象物及び前記物体の３次元撮像情報を取得する撮像手段と、
前記撮像手段からの前記対象物の３次元撮像情報に基づいて、接触対象面を設定する設定手段と、
前記撮像手段からの前記物体の３次元撮像情報を２次元情報に変換し、該２次元情報と前記接触対象面とに基づいて、前記物体の端部候補を検出する候補検出手段と、
前記端部候補の前記３次元撮像情報と前記接触対象面とに基づいて、前記物体の端部を決定するとともに、前記物体と前記対象物との接触判定を行う接触判定手段と、を備える接触検出装置。
【請求項２】
前記接触判定手段は、前記接触対象面からの距離が所定の値以下であり、かつ、前記接触対象面に最も近い端部候補を前記物体の端部と決定するとともに、前記物体が前記接触対象手段と接触していると判定することを特徴とする請求項１に記載の接触検出装置。
【請求項３】
前記候補検出手段は、射影変換によって前記３次元撮像情報を２次元情報に変換することを特徴とする請求項１又は２に記載の接触検出装置。
【請求項４】
前記候補検出手段は、前記２次元情報に対して凸包処理を行い、前記端部候補を検出することを特徴とする請求項１〜３のいずれか一項に記載の接触検出装置。
【請求項５】
前記候補検出手段は、前記接触対象面から所定の距離内に前記物体があるときに、該物体が含まれる領域を抽出し、該領域の３次元撮像情報を２次元情報に変換することを特徴とする請求項１〜４のいずれか一項に記載の接触検出装置。
【請求項６】
前記設定手段は、前記対象物から所定の距離だけ離れた位置に前記接触対象面を設定することを特徴とする請求項１〜５のいずれか一項に記載の接触検出装置。
【請求項７】
前記対象物は、曲面部分を含むことを特徴とする請求項１〜６のいずれか一項に記載の接触検出装置。
【請求項８】
前記対象物は、段差部分を含むことを特徴とする請求項１〜７のいずれか一項に記載の接触検出装置。
【請求項９】
前記撮像手段は、近赤外光を射出する光射出部と、少なくとも１つの２次元撮像素子とを有することを特徴とする請求項１〜８のいずれか一項に記載の接触検出装置。
【請求項１０】
投影面に画像を投影する投影部と、
前記投影面と物体との接触を検出するための請求項１〜９のいずれか一項に記載の接触検出装置とを備えるプロジェクタ装置。
【請求項１１】
請求項１〜９のいずれか一項に記載の接触検出装置を備える電子黒板装置。
【請求項１２】
請求項１〜９のいずれか一項に記載の接触検出装置を備えるデジタルサイネージ装置。
【請求項１３】
請求項１０に記載のプロジェクタ装置と、
前記プロジェクタ装置で得られた入力操作に基づいて、画像制御を行う制御装置とを備えるプロジェクタシステム。
【請求項１４】
物体と対象物の接触を検出する接触検出方法であって、
前記対象物の３次元撮像情報に基づいて、接触対象面を設定する工程と、
前記物体の３次元撮像情報を２次元情報に変換し、該２次元情報と前記接触対象面とに基づいて、前記物体の端部候補を検出する工程と、
前記端部候補の３次元撮像情報と前記接触対象面とに基づいて、前記物体の端部を決定するとともに、前記物体と前記対象物との接触判定を行う工程と、を含む接触検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、接触検出装置、プロジェクタ装置、電子黒板装置、デジタルサイネージ装置、プロジェクタシステム及び接触検出方法に係り、更に詳しくは、対象物との接触を検出するための接触検出装置、該接触検出装置を有するプロジェクタ装置、電子黒板装置、デジタルサイネージ装置、及び前記プロジェクタ装置を備えるプロジェクタシステム、並びに対象物との接触を検出する接触検出方法に関する。
【背景技術】
【０００２】
近年、スクリーンに投影した投影画像に文字や図などを書き込む機能や、投影画像の拡大、縮小、及びページ送りなどの操作を実行する機能を有するいわゆるインタラクティブなプロジェクタ装置が市販されている。これらの機能は、スクリーンをタッチする操作者の指や、操作者が保持しているペン及び指し棒などを入力操作手段とし、該入力操作手段の先端がスクリーン（対象物）に接触する位置及び動きを検出して、その検出結果をコンピュータなどへ送ることで実現されている。
【０００３】
例えば、特許文献１には、複数のカメラにより撮像された画像を時系列で取得する取得部と、画像に基づいてカメラから対象物までの距離を算出する算出部と、対象物が所定のＸＹ平面に到達した場合に、時系列で取得した複数の画像間で対象物の面積の差が所定の閾値以下であったとき、算出された距離をカメラからＸＹ平面までの距離に補正する補正部と、を有することを特徴とする位置算出システムが開示されている。
【０００４】
また、特許文献２には、撮像手段によって撮影された画像から、ディスプレイ画面から所定の範囲内の指先を検出する検出手段と、検出された指先の３次元座標を算出する３次元座標計算手段と、算出された指先の３次元座標とディスプレイ画面上の２次元座標とを対応付ける座標処理手段と、対応付けられたディスプレイ画面上の２次元座標と、指先とディスプレイ画面との間の距離とに応じて、現在表示されている画像の下位階層の画像をディスプレイ画面上に表示する画像表示手段とを備えることを特徴とする画像表示装置が開示されている。
【０００５】
また、特許文献３には、距離画像センサを用いて、注目時点における所定の面の上に存在する物体の位置を検知する検知手段と、注目時点において、検知された位置及び位置の周辺を撮影した色画像から物体の端部を特定する特定手段と、物体の位置に基づいて、特定された端部の位置を推定する推定手段と、端部の位置に応じて面に対する接触を判定する判定手段とを有する情報処理装置が開示されている。
【０００６】
また、特許文献４には、画像を投影面に投射するプロジェクタと、投影面の環境の画像を連続取得するデプスカメラと、デプスカメラから、初期状態で得られた深度情報により、初期深度図を構築し、初期深度図により、タッチ動作領域の位置を決定する深度図処理装置と、デプスカメラから、初期状態後に連続して得られた各画像から、決定したタッチ動作領域前の所定間隔内に位置する少なくとも１つの対象の候補ブロブを検知する対象検知装置と、前後に隣り合う画像同士から得られたブロブの重心点の、時間と空間における関係から、各ブロブをそれぞれに対応した点配列に入れる追跡装置と、を有する、仮想タッチスクリーンシステムにおける双方向モードの自動切換システムが開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１〜特許文献４では、物体と対象物との接触を検出する方式について改良の余地があった。
【課題を解決するための手段】
【０００８】
本発明は、物体と対象物の接触を検出する接触検出装置であって、前記対象物及び前記物体の３次元撮像情報を取得する撮像手段と、前記撮像手段からの前記対象物の３次元撮像情報に基づいて、接触対象面を設定する設定手段と、前記撮像手段からの前記物体の３次元撮像情報を２次元情報に変換し、該２次元情報と前記接触対象面とに基づいて、前記物体の端部候補を検出する候補検出手段と、前記端部候補の前記３次元撮像情報と前記接触対象面とに基づいて、前記物体の端部を決定するとともに、前記物体と前記対象物との接触判定を行う接触判定手段と、を備える接触検出装置である。
【発明の効果】
【０００９】
本発明の接触検出装置によれば、物体と対象物の接触、及びそのときの物体の位置を精度良く検出することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態に係るプロジェクタシステムの概略構成を説明するための図である。
【図２】プロジェクタ装置を説明するための図である。
【図３】測距部を説明するための図である。
【図４】測距部の外観を説明するための図である。
【図５】撮像部を説明するための図である。
【図６】処理部によって行われる前処理を説明するためのフローチャートである。
【図７】処理部によって行われる入力操作情報取得処理を説明するためのフローチャートである。
【図８】入力操作情報取得処理を説明するための図（その１）である。
【図９】射影変換された手指領域の一例を説明するための図である。
【図１０】図９をダウンサンプリングした場合を説明するための図である。
【図１１】図９に対する凸包処理の結果を説明するための図である。
【図１２】図１０に対する凸包処理の結果を説明するための図である。
【図１３】入力操作情報取得処理を説明するための図（その２）である。
【図１４】入力操作情報取得処理を説明するための図（その３）である。
【図１５】プロジェクタ装置の変形例１を説明するための図である。
【図１６】測距部の変形例１を説明するための図である。
【図１７】測距部の変形例２を説明するための図である。
【図１８】測距部の変形例３を説明するための図（その１）である。
【図１９】測距部の変形例３を説明するための図（その２）である。
【図２０】プロジェクタ装置の変形例２を説明するための図である。
【図２１】対象物の表面が段差を含む場合を説明するための図である。
【図２２】対象物の表面が曲面を含む場合を説明するための図である。
【図２３】電子黒板装置の一例を説明するための図である。
【図２４】デジタルサイネージ装置の一例を説明するための図である。
【発明を実施するための形態】
【００１１】
以下、本発明の一実施形態を図１〜図１４に基づいて説明する。図１には、一実施形態に係るプロジェクタシステム１００の概略構成が示されている。
【００１２】
このプロジェクタシステム１００は、プロジェクタ装置１０と、画像管理装置３０とを有している。操作者（ユーザ）は、指、ペン、指し棒などの入力操作手段でスクリーン３００の投影面近傍ないしは投影面に接触することで、投影面に投射された画像（以下、「投影画像」ともいう）に対して入力操作を行う。投影画像は、静止画像及び動画像のいずれであっても良い。
【００１３】
プロジェクタ装置１０及び画像管理装置３０は、机やテーブル、あるいは専用の台座等（以下では、「載置台４００」という。）に載置されている。ここでは、三次元直交座標系を用い、載置台４００の載置面に直交する方向をＺ軸方向とする。また、プロジェクタ装置１０の＋Ｙ側にスクリーン３００が設置されているものとする。このスクリーン３００の−Ｙ側の面が投影面である。なお、投影面として、ホワイトボードのボード面や壁面など様々なものを利用することができる。
【００１４】
画像管理装置３０は、複数の画像データを保持しており、操作者の指示に基づいて投影対象の画像情報（以下では、「投影画像情報」ともいう）などをプロジェクタ装置１０に送出する。画像管理装置３０とプロジェクタ装置１０との間の通信は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）ケーブルなどのケーブルを介した有線通信であっても良いし、無線通信であっても良い。そして、画像管理装置３０として、所定のプログラムがインストールされているパーソナルコンピュータ（パソコン）を用いることができる。
【００１５】
また、画像管理装置３０がＵＳＢメモリやＳＤカードなどの着脱可能な記録媒体のインターフェースを有している場合は、該記録媒体に格納されている画像を投影画像とすることができる。
【００１６】
プロジェクタ装置１０は、いわゆるインタラクティブなプロジェクタ装置であり、一例として図２に示されるように、投射部１１、測距部１３、処理部１５などを有している。これらは、不図示の筐体内に収納されている。
【００１７】
本実施形態に係るプロジェクタ装置１０では、測距部１３と処理部１５とによって、本発明の接触検出装置が構成されている。そして、スクリーン３００が対象物である。
【００１８】
投射部１１は、従来のプロジェクタ装置と同様に、光源、カラーフィルタ、各種光学素子などを有し、処理部１５によって制御される。
【００１９】
処理部１５は、画像管理装置３０との間で双方向の通信を行い、投影画像情報を受信すると、所定の画像処理を行い、投射部１１を介して、スクリーン３００に投影する。
【００２０】
測距部１３は、一例として図３に示されるように、光射出部１３１、撮像部１３２、及び演算部１３３などを有している。また、測距部１３の外観が、一例として図４に示されている。ここでは、光射出部１３１、撮像部１３２、及び演算部１３３は筐体内に収納されている。
【００２１】
光射出部１３１は、近赤外光を射出する光源を有し、投影画像に向けて光（検出用光）を射出する。光源は、処理部１５によって点灯及び消灯がなされる。この光源としては、ＬＥＤや半導体レーザ（ＬＤ）などを使用することができる。また、光源から射出された光を調整するための光学素子やフィルタなどを備えていても良い。この場合は、例えば、検出用光の射出方向（角度）を調整したり、検出用光を構造化された光（図１６参照）や、強度変調された光（図１７参照）や、撮像対象物にテクスチャを付与する光（図１８参照）などとすることができる。
【００２２】
撮像部１３２は、一例として図５に示されるように、撮像素子１３２ａ及び撮像光学系１３２ｂを有している。撮像素子１３２ａは、エリア型の撮像素子である。また、撮像素子１３２ａの形状は、矩形形状である。撮像光学系１３２ｂは、光射出部１３１から射出され、撮像対象物で反射された光を撮像素子１３２ａに導く。ここでは、撮像素子１３２ａがエリア型であるので、ポリゴンミラーなどの光偏向手段を用いなくても２次元情報を一括して取得することができる。
【００２３】
撮像部１３２の撮像対象物は、投影画像が投影されていない投影面であったり、投影面上に投影された投影画像であったり、さらには入力操作手段と投影画像とであったりする。
【００２４】
撮像光学系１３２ｂは、いわゆる共軸の光学系であり、光軸が定義されている。なお、撮像光学系１３２ｂの光軸を、以下では、便宜上、「測距部１３の光軸」ともいう。ここでは、測距部１３の光軸に平行な方向をａ軸方向、該ａ軸方向及びＸ軸方向のいずれにも直交する方向をｂ軸方向とする。また、撮像光学系１３２ｂの画角は、投影画像の全領域が撮像できるように設定されている。
【００２５】
図２に戻り、測距部１３は、ａ軸方向が、Ｙ軸方向に対して反時計回りに傾斜した方向となり、かつ、測距部１３の光軸が投影面と交わる位置が、投影画像の中心よりも−Ｚ側となるように配置されている。すなわち、Ｚ軸方向に関して、測距部１３の配置位置と、測距部１３の光軸が投影画像と交わる位置は、投影画像の中心に対して同じ側にある。
【００２６】
演算部１３３は、光射出部１３１での光射出のタイミングと、撮像素子１３２ａでの反射光の撮像タイミングとに基づいて、撮像対象物までの距離情報を算出する。そして、撮像画像の３次元情報、すなわちデプスマップを取得する。なお、取得されたデプスマップの中心は、測距部１３の光軸上にある。
【００２７】
演算部１３３は、所定の時間間隔（フレームレート）で撮像対象物のデプスマップを取得し、処理部１５に通知する。
【００２８】
そして、処理部１５は、演算部１３３で得られたデプスマップに基づいて、入力操作手段と投影面との接触を検出し、入力操作手段の位置や動きを求め、それに対応する入力操作情報を求める。さらに、処理部１５は、該入力操作情報を画像管理装置３０に通知する。
【００２９】
画像管理装置３０は、処理部１５からの入力操作情報を受け取ると、該入力操作情報に応じた画像制御を行う。これにより、投影画像に入力操作情報が反映されることとなる。
【００３０】
次に、処理部１５によって行われる前処理について図６のフローチャートを用いて説明する。この前処理は、電源投入時や入力操作開始前のように、撮像部１３２の撮像エリア内に入力操作手段がない状態で行われる処理である。
【００３１】
最初のステップＳ２０１では、入力操作手段がない状態のデプスマップ、すなわち投影面の３次元情報を、演算部１３３から取得する。
【００３２】
次のステップＳ２０３では、取得されたデプスマップに基づいて、接触対象面を設定する。ここでは、投影面の３次元情報に対して、−ａ方向に関して３ｍｍ離れた位置を接触対象面とした。
【００３３】
ところで、演算部１３３からのデプスマップには測距部１３での計測誤差が含まれている。そのため、デプスマップの計測値がスクリーン３００の内側（投影面の＋Ｙ側）に入ってしまう場合がある。そこで、測距部１３での計測誤差分をオフセットとして投影面の３次元情報に加えている。
【００３４】
なお、ここで用いた３ｍｍという値は一例であり、測距部１３での計測誤差（例えば、標準偏差σ）程度に設定するのが好ましい。
【００３５】
また、測距部１３での計測誤差が小さい場合や、オフセットを必要としない場合には、投影面の３次元情報そのものを接触対象面とすることができる。
【００３６】
また、接触対象面は、その全面が１つの平面であるとして近似式で表現するのではなく、画素毎にデータを持っている。なお、接触対象面が曲面や段差を含む場合には、該接触対象面を微小平面に分割し、該微小平面毎にメディアン処理や平均化処理を施して異常な値を除去し、画素毎にデータを持たせる。
【００３７】
次のステップＳ２０５では、設定された接触対象面の３次元データを画素毎のデータとして保存する。なお、以下では、設定された接触対象面の３次元データを、「接触対象面データ」ともいう。
【００３８】
ところで、この前処理の実施は、電源投入時や入力操作開始前に限られるものではない。例えば、投影面が経時的に変形する場合には、適宜、入力操作手段がない状態で実施しても良い。
【００３９】
続いて、インタラクティブ操作時に処理部１５によって行われる入力操作情報取得処理について図７のフローチャートを用いて説明する。ここでは、入力操作手段は、操作者の指であるものとするが、これに限定されるものではなく、例えば、ペンあるいは指し棒であっても良い。
【００４０】
最初のステップＳ４０１では、演算部１３３から新たなデプスマップが送られてきたか否かを判断する。演算部１３３から新たなデプスマップが送られてきていなければ、ここでの判断は否定され、演算部１３３から新たなデプスマップが送られてくるのを待つ。一方、演算部１３３から新たなデプスマップが送られてきていれば、ここでの判断は肯定され、ステップＳ４０３に移行する。
【００４１】
なお、ここでのデプスマップは、撮像部１３２の撮像エリア内に入力操作手段がある状態のデプスマップである。
【００４２】
このステップＳ４０３では、演算部１３３からのデプスマップと、保存されている接触対象面データとに基づいて、−ａ方向に関して接触対象面から所定の距離Ｌ１（図８参照）以内に入力操作手段があるか否かを判断する。接触対象面から所定の距離Ｌ１以内に入力操作手段があれば、ここでの判断は肯定され、ステップＳ４０５に移行する。なお、ここでは、Ｌ１＝１００ｍｍとしている。なお、以下では、便宜上、デプスマップにおける入力操作手段の領域を「手指領域」ともいう。
【００４３】
すなわち、−ａ方向に関して接触対象面から距離Ｌ１を超える位置にある入力操作手段は接触には無関係であるとみなし、これ以降の処理は実行しない。これにより、過剰な処理が除去され、計算負荷を軽減することができる。
【００４４】
ステップＳ４０５では、手指領域をデプスマップから抽出する。
【００４５】
ところで、本実施形態では、複数の入力操作手段にも対応している。例えば、２つの入力操作手段が存在すれば、少なくとも２つの手指領域が抽出される。少なくとも２つというのは、手指領域として誤って抽出されるものがあるということである。例えば、腕や肘、または衣服の一部などが、−ａ方向に関して接触対象面から所定の距離Ｌ１以内に入ると、それらは手指領域として誤って抽出される。なお、この段階での誤抽出は少ないほうが計算負荷の観点から好ましいが、誤抽出があったとしても不都合はない。
【００４６】
また、ここではＬ１＝１００ｍｍとしたが、この値は一例である。但し、Ｌ１の値が小さすぎると、抽出される手指領域が小さくなってしまい、以降の画像処理が困難になり易い。また、Ｌ１の値が大きすぎると、誤抽出される数が増えてしまう。発明者等の実験によると、Ｌ１の値としては、１００ｍｍ〜３００ｍｍが好適である。
【００４７】
次のステップＳ４０７では、抽出された手指領域を射影変換する。これにより、３次元情報が２次元情報に変換される。ここでは、測距部１３にピンホールカメラモデルを適用し、測距部１３の光軸に直交する平面に射影変換を行った。３次元情報を２次元情報とすることで、この後の画像処理を容易にし、計算負荷を軽減している。
【００４８】
図９には、射影変換された手指領域の一例が示されている。白い部分が手指領域である。この例では、入力操作手段として、大人の手の半分と指のシルエットが現れている。また、図１０には、図９に示される例において、デプスマップを１／１０にダウンサンプリングした場合が示されている。
【００４９】
なお、変換された２次元情報に対して、その画像の面積を算出し、所定の範囲内にあるもの以外は、手指領域ではないものとして除外した。明らかに面積が小さいものはノイズであると考えられるし、また明らかに面積が大きいものは身体や衣服など、指先を含む部分でないと考えられるからである。この処理により、以降の計算負荷を軽減している。
【００５０】
次のステップＳ４０９では、手指領域の２次元画像に対して凸包処理を行う。ここで凸包処理とは白い部分である手指領域の各点を全て含む最小の凸多角形を求める処理である。なお、手指領域が複数ある場合には、各手指領域に対して凸包処理を行う。図１１には、図９に対する凸包処理の結果が示されている。また、図１２には、図１０に対する凸包処理の結果が示されている。
【００５１】
次のステップＳ４１１では、手指領域毎に指先候補を検出する。ここでは、凸包処理によって得られる複数の頂点を、その手指領域における指先候補とする。
【００５２】
ここでの処理は、手指領域の各々に対して行われる。なお、ｉ番目の手指領域Ｒｉにおける、凸包処理によるｊ番目の頂点（すなわち候補点）をＫｉｊと表記する。
【００５３】
ところで、先端部を抽出する方法として、テンプレートを用いたパターンマッチング手法が考えられるが、この手法では、２次元情報がテンプレートと異なる場合には検出率が大きく低下してしまう。また、パターンマッチングを行うためには、テンプレートとして相応の解像度（画素数）を持った画像が必要である。一方、凸包処理であれば、究極としては、先端部に１画素が存在すれば、それは頂点（候補点）として検出が可能である。
【００５４】
例えば、図１０のシルエットをみると実際に先端部となる部分は１画素しかないが、図１２に示されるように、頂点（すなわち候補点）としてきちんと検出されていることがわかる。
【００５５】
次のステップＳ４１３では、保存されている接触対象面データを参照し、各手指領域における全ての指先候補に対して、−ａ方向に関して、接触対象面から所定の距離Ｌ２（図１３及び図１４参照）以内に入っており、かつ、手指領域毎に最も接触対象面に近い指先候補を探索する。ここでは、一例として、Ｌ２＝３０ｍｍとしている。
【００５６】
次のステップＳ４１５では、探索の結果を参照し、該当する指先候補が存在するか否かを判断する。該当する指先候補が存在すれば、ここでの判断は肯定され、ステップＳ４１７に移行する。
【００５７】
このステップＳ４１７では、上記該当する指先候補を、その手指領域における指先であるとし、該指先がスクリーン３００に接触したと判定する。
【００５８】
本実施形態では、上記の導出過程から、入力操作手段の先端部はデプスマップ上に必ず存在している。また、接触対象面と接触しているか否かを判定している頂点は、先端部の頂点と同一である。
【００５９】
次のステップＳ４１９では、指先の接触状況や接触位置に基づいて入力操作情報を求める。例えば、１フレームもしくは数フレーム程度の短時間の接触であれば、クリックする入力操作と判断する。また、接触が継続し、かつフレーム間でその位置が移動するのであれば、文字あるいは線を書く入力操作と判断する。
【００６０】
次のステップＳ４２１では、得られた入力操作情報を画像管理装置３０に通知する。これにより、画像管理装置３０は、入力操作情報に応じた画像制御を行う。すなわち、投影画像に入力操作情報が反映される。そして、上記ステップＳ４０１に戻る。
【００６１】
なお、上記ステップＳ４０３において、−ａ方向に関して接触対象面から所定の距離Ｌ１以内に物体がなければ、ステップＳ４０３での判断は否定され、ステップＳ４０１に戻る。
【００６２】
また、上記ステップＳ４１５において、該当する指先候補が存在しなければ、ステップＳ４１５での判断は否定され、ステップＳ４０１に戻る。
【００６３】
このように、処理部１５は、接触対象面を設定する機能と、手指領域を抽出する機能と、先端部候補を検出する機能と、接触を判定する機能を有している。そして、これらの機能は、ＣＰＵによるプログラムに従う処理によって実現しても良いし、ハードウェアによって実現しても良いし、ＣＰＵによるプログラムに従う処理とハードウェアとによって実現しても良い。
【００６４】
本実施形態では、演算部１３３でのデプスマップを取得する処理、処理部１５での接触対象面を設定する処理、及び手指領域を抽出する処理は、いずれも３次元処理である。そして、処理部１５での接触対象面を設定する処理、及び手指領域を抽出する処理は、デプスマップのみを利用した処理である。また、処理部１５での先端部候補を検出する処理は、２次元処理である。そして、処理部１５での接触判定を行う処理は、３次元処理である。
【００６５】
すなわち、本実施形態では、デプスマップのみを用いて、３次元処理と２次元処理を組み合わせて入力操作手段の先端部候補を検出し、さらに先端部候補から絞り込み、先端部の決定と、その先端部の接触判定とを同時に行っている。この場合は、先端部を決定した後に接触判定を行う手法に対して、アルゴリズムの簡素化を図ることができるとともに、入力操作手段が高速で移動する際にも対応することができる。
【００６６】
また、ここでは、Ｌ２の値として３０ｍｍが用いられているが、この値は一例である。厳密な意味での接触対象面と入力操作手段の先端部の接触ではＬ２＝０ｍｍである。しかしながら、実用上においては、演算部１３３での計測誤差もあり、また接触していなくても、近接していれば接触とみなす方が使い勝手が良いということもあり、Ｌ２の値として数ｍｍ〜数１０ｍｍの値を設定することが好適である。
【００６７】
以上の説明から明らかなように、本実施形態によると、測距部１３によって本発明の撮像手段が構成され、処理部１５によって本発明の設定手段と候補検出手段と接触判定手段とが構成されている。すなわち、測距部１３と処理部１５によって本発明の接触検出装置が構成されている。
【００６８】
また、処理部１５によって行われる処理において、本発明の接触検出方法が実施されている。
【００６９】
以上説明したように、本実施形態に係るプロジェクタ装置１０は、投射部１１、測距部１３、処理部１５などを有している。
【００７０】
投射部１１は、処理部１５の指示に基づいて、スクリーン３００に画像を投影する。測距部１３は、投影画像に向けて検出用の光（検出用光）を射出する光射出部１３１と、撮像光学系１３２ｂ及び撮像素子１３２ａを有して、投影画像及び入力操作手段の少なくとも一方を撮像する撮像部１３２と、該撮像部１３２の撮像結果からデプスマップを取得する演算部１３３とを有している。
【００７１】
処理部１５は、接触対象面を設定する機能、手指領域を抽出する機能、先端部候補を検出する機能、及び接触を判定する機能などを有し、測距部１３からのデプスマップに基づいて、入力操作手段とスクリーン３００の接触を検出し、入力操作手段が示す入力操作情報を求める。
【００７２】
入力操作手段とスクリーン３００の接触を検出する際に、処理部１５は、３次元情報であるデプスマップに基づいて手指領域を抽出し、該手指領域を２次元情報へ射影変換し、指先候補を検出する。そして、処理部１５は、再び３次元情報に基づいて指先候補を絞り込んで、指先位置の決定と接触判定を同時に行う。ここでは、指先候補はデプスマップ上にあり、その指先候補に対して接触判定が行われるため、指先位置と接触判定位置は同一である。また、各指先候補に対して接触判定が行われるため、接触と判定されると同時に、それが指先であることが決定される。
【００７３】
この場合は、入力操作手段とスクリーン３００の接触、及びそのときの入力操作手段の位置を精度良く検出することが可能となり、そのため、入力操作情報を精度良く取得することができる。
【００７４】
処理部１５における接触対象面を設定する機能では、スクリーン３００から所定の距離だけ離れた位置に接触対象面を設定している。この場合は、測距部１３での計測誤差を見込むことにより、計算上、入力操作手段がスクリーン３００の内側（投影面の＋Ｙ側）に入るのを回避することができる。
【００７５】
処理部１５における手指領域を抽出する機能では、−ａ方向に関して接触対象面から所定の距離Ｌ１内に入力操作手段があるときに、該入力操作手段が含まれる領域を抽出している。この場合は、先端部候補を検出する前段階として、接触対象面からの距離がＬ１を超える部分は接触に無関係であるとみなし、余分な情報を削除し、処理を軽減することが可能となる。
【００７６】
処理部１５における先端部候補を検出する機能では、射影変換によって３次元撮像情報を２次元情報に変換し、該２次元情報に対して凸包処理を行い、先端部候補を検出している。この場合は、低解像度の画像であっても、先端部として１ピクセルでも存在すれば、先端部候補として検出することが可能となる。
【００７７】
処理部１５における接触を判定する機能では、−ａ方向に関して接触対象面からの距離が所定の値Ｌ２以下であり、かつ、接触対象面に最も近い端部候補を入力操作手段の先端部と決定するとともに、入力操作手段がスクリーン３００と接触していると判定している。この場合は、入力操作手段がスクリーン３００に対して非接触状態であっても、接触対象面に接近している場合には接触していると判定することができる。そこで、不特定多数の人々が利用する場合や、入力操作手段が汚れているなどで、スクリーン３００に直接接触したくない場合でも接触したと判定することができる。
【００７８】
また、測距部１３の光射出部１３１は、近赤外光を射出する。この場合は、可視光が多い環境下であっても、演算部１３３は、精度の高いデプスマップを取得することができる。また、光射出部１３１から射出された光と、プロジェクタ装置１０から投影される画像（可視光）とが干渉して画像が見えにくくなる等の不具合を抑制することができる。
【００７９】
また、測距部１３の撮像素子１３２ａは、２次元撮像素子を有している。この場合は、デプスマップを１ショットで取得することができる。
【００８０】
また、本実施形態に係るプロジェクタシステム１００は、プロジェクタ装置１０を備えているため、その結果として、所望の画像表示動作を正しく行うことができる。
【００８１】
なお、上記実施形態において、プロジェクタ装置１０と画像管理装置３０とが一体化されていても良い。
【００８２】
また、上記実施形態において、不図示の取付部材を介して測距部１３が筐体に対して取り外し可能な状態で外付けされていても良い（図１５参照）。この場合、測距部１３で取得されたデプスマップは、ケーブル等を介して筐体内の処理部１５に通知される。また、この場合、測距部１３は、筐体とは離れた位置に配置することもできる。
【００８３】
また、上記実施形態において、処理部１５での処理の少なくとも一部を画像管理装置３０で行っても良い。例えば、上記入力操作情報取得処理が画像管理装置３０で行われる場合、測距部１３で取得されたデプスマップは、ケーブル等を介して、又は無線通信により、画像管理装置３０に通知される。
【００８４】
また、上記実施形態において、処理部１５での処理の少なくとも一部を演算部１３３で行っても良い。例えば、上記入力操作情報取得処理における接触を検出する処理（ステップＳ４０３〜Ｓ４１７）が演算部１３３で行われても良い。
【００８５】
また、上記実施形態において、プロジェクタ装置１０が複数の測距部１３を有していても良い。例えば、Ｘ軸方向に関する画角が非常に大きい場合、超広角な撮像光学系を有する１つの測距部１３でその画角をカバーするよりも、画角を抑えた撮像光学系を有する複数の測距部１３をＸ軸方向に沿って並べたほうが低コストな場合がある。すなわち、Ｘ軸方向に超広角なプロジェクタ装置を低コストで実現することができる。
【００８６】
また、上記実施形態において、一例として図１６に示されるように、測距部１３の光射出部１３１は、ある構造化された光を射出しても良い。なお、構造化された光とは、Ｓｔｒｕｃｔｕｒｅｄ  Ｌｉｇｈｔ法として知られている方法に適した光であって、例えば、ストライプ状の光やマトリックス状の光などがある。照射領域は当然ではあるが、投影画像より広範囲である。射出される光は近赤外光であるため、投影画像が見えにくくなる等の不都合はない。このとき、撮像部１３２は、撮像対象物で反射されて変形した構造化された光を撮像する。そして、演算部１３３は、光射出部１３１から射出された光と、撮像部１３２で撮像された光とを比較し、三角測量法に基づいてデプスマップを求める。これは、いわゆるパターン投影法と呼ばれている。
【００８７】
また、上記実施形態において、一例として図１７に示されるように、測距部１３の光射出部１３１は、所定の周波数で強度変調された光を射出しても良い。照射領域は当然ではあるが、投影画像より広範囲である。射出される光は近赤外光であるため、投影画像が見えにくくなる等の不具合はない。撮像部１３２は、１つの位相差計測可能な２次元撮像素子と撮像光学系を備えている。このとき、撮像部１３２は、撮像対象物で反射されて位相がずれた光を撮像する。そして、演算部１３３は、光射出部１３１から射出された光と、撮像部１３２で撮像された光とを比較し、時間差もしくは位相差に基づいてデプスマップを求める。これは、いわゆるＴＯＦ（Ｔｉｍｅ−Ｏｆ−Ｆｌｉｇｈｔ）法と呼ばれている。
【００８８】
また、上記実施形態において、一例として図１８に示されるように、測距部１３の光射出部１３１は、対象物にテクスチャを付与するため光を射出しても良い。照射領域は当然ではあるが、投影画像より広範囲である。射出される光は近赤外光であるため、投影画像が見えにくくなる等の不具合はない。この場合、撮像対象物に投影されたテクスチャパターンを撮像する２つの撮像部１３２を有している。そのため、それぞれの撮像部に対応して光軸は２つ存在する。そして、演算部１３３は、２つの撮像部１３２が撮像した画像間の視差に基づいてデプスマップを演算する。すなわち、演算部１３３は、各画像に対してステレオ平行化と呼ばれる処理を行い、２つの光軸が平行であると仮定したときの画像を変換する。そのため、２つの光軸は平行でなくても良い。これは、いわゆるステレオ法と呼ばれている。なお、ステレオ平行化処理がなされた後の光軸は、Ｘ軸方向からみると重なっており（図１９参照）、上記実施形態における測距部１３の光軸に対応する。
【００８９】
また、上記実施形態では、プロジェクタ装置１０が載置台４００に載置されて使用される場合について説明したが、これに限定されるものではない。例えば、図２０に示されるように、プロジェクタ装置１０は、天井に吊り下げて使用されても良い。ここでは、プロジェクタ装置１０は、吊り下げ部材で天井に固定されている。
【００９０】
また、上記実施形態において、投影面は平面に限定されない。なお、指先ではなく、指領域の中のスクリーンへの最近接点と投影面とで接触を判定する方式では、投影面が平面でないと、誤検出することがあった。
【００９１】
測距部１３と処理部１５は、一例として図２１に示されるように、対象物の表面に段差がある場合にも用いることができる。この場合は、段差部分に先端部でない入力操作手段が触れてしまっても、誤検知なく指先決定、接触判定が可能である。
【００９２】
例えば、段差の角に手の甲が触れると、従来手法であれば、その位置で接触したと判定されてしまうが、本発明では手の甲部分は指先候補とならないため、接触したとは判定されない。あくまで指先候補と接触対象面との距離で指先が決定され、かつ接触が判定されるので、誤検出は発生しない。
【００９３】
この場合においても、全ての先端部候補点Ｋｉｊの３次元情報に対し、接触対象面から−ａ方向に一定距離（ここでは３０ｍｍ）以内に入っており、かつ、手指領域Ｒｉ毎に最も接触対象面に近い先端部候補点Ｋｉｊを探す。該当するＫｉｊが存在すれば、そのＫｉｊは入力操作手段の先端部であり、かつ、該先端部は接触対象面に接触している。
【００９４】
すなわち、上記実施形態において、接触対象面に段差があっても、接触対象面の３次元情報を基にしているので、高い精度の接触検出が可能である。
【００９５】
また、測距部１３と処理部１５は、一例として図２２に示されるように、対象物の表面が曲面を含む場合にも用いることができる。例えば、対象物が、小学校や中学校などで用いられる黒板であっても良い。この場合でも、接触対象面の３次元情報を基にしているので、高い精度の接触検出が可能である。
【００９６】
また、測距部１３と処理部１５は、電子黒板装置やデジタルサイネージ装置にも用いることができる。
【００９７】
図２３には、電子黒板装置の一例が示されている。この電子黒板装置５００は、各種メニューやコマンド実行結果が表示される映写パネル（対象物）及び座標入力ユニットを収納したパネル部５０１と、コントローラ及びプロジェクタユニットを収納した収納部と、パネル部５０１及び収納部を所定の高さで支持するスタンドと、コンピュータ、スキャナ、プリンタ、ビデオプレイヤ等を収納した機器収納部５０２と、から構成されている（特開２００２−２７８７００号公報参照）。測距部１３と処理部１５を含む接触検出装置は、機器収納部５０２内に収納されており、該機器収納部５０２を引き出すことにより、接触検出装置が出現する。そして、接触検出装置は、入力操作手段と映写パネルの接触を検出する。コントローラと処理部１５との間の通信は、ＵＳＢケーブルなどのケーブルを介した有線通信であっても良いし、無線通信であっても良い。
【００９８】
図２４には、デジタルサイネージ装置に一例が示されている。このデジタルサイネージ装置６００では、ガラスが対象物であり、該ガラスの表面が投影面となる。画像は、ガラスの後方から、プロジェクタ本体によりリアプロジェクションされている。測距部１３と処理部１５を含む接触検出装置は、手すり上に設置されている。プロジェクタ本体と処理部１５との間の通信は、ＵＳＢケーブルを介した有線通信である。これにより、デジタルサイネージ装置にインタラクティブ機能を持たせることができる。
【００９９】
このように、測距部１３と処理部１５は、インタラクティブ機能を有する装置や、インタラクティブ機能を付加したい装置に好適である。
【符号の説明】
【０１００】
１０…プロジェクタ装置、１１…投射部、１３…測距部（接触検出装置の一部、撮像手段）、１５…処理部（接触検出装置の一部、設定手段、候補検出手段、接触判定手段）、３０…画像管理装置（制御装置）、１００…プロジェクタシステム、１３１…光射出部、１３２…撮像部、１３２ａ…撮像素子、１３２ｂ…撮像光学系、１３３…演算部、３００…スクリーン（対象物）、４００……載置台、５００…電子黒板装置、６００…デジタルサイネージ装置。
【先行技術文献】
【特許文献】
【０１０１】
【特許文献１】特開２０１４−２０２５４０号公報
【特許文献２】特開２００８−２１０３４８号公報
【特許文献３】特開２０１２−４８３９３号公報
【特許文献４】特開２０１３−８３６８号公報
【図１】
2016162162.tif 000003
【図２】
2016162162.tif 000004
【図３】
2016162162.tif 000005
【図４】
2016162162.tif 000006
【図５】
2016162162.tif 000007
【図６】
2016162162.tif 000008
【図７】
2016162162.tif 000009
【図８】
2016162162.tif 000010
【図１３】
2016162162.tif 000011
【図１４】
2016162162.tif 000012
【図１５】
2016162162.tif 000013
【図１６】
2016162162.tif 000014
【図１７】
2016162162.tif 000015
【図１８】
2016162162.tif 000016
【図１９】
2016162162.tif 000017
【図２０】
2016162162.tif 000018
【図２１】
2016162162.tif 000019
【図２２】
2016162162.tif 000020
【図２３】
2016162162.tif 000021
【図２４】
2016162162.tif 000022
【図９】
2016162162.tif 000023
【図１０】
2016162162.tif 000024
【図１１】
2016162162.tif 000025
【図１２】
2016162162.tif 000026