(57)【特許請求の範囲】
【請求項１】
空間内の検出対象に対して、１または２以上の種類の照射光により構成される光群である照射パターンを照射する照射部と、
前記検出対象を撮像して画像を取得する撮像部と、
前記照射部が前記照射パターンを照射する照射タイミングに基づいて、前記撮像部の撮像タイミングを制御する撮像制御部と、
前記撮像部により取得された画像に基づいて、前記照射パターンが照射されている前記検出対象の照射部分を抽出し、前記検出対象と前記照射パターンとの位置関係を解析する解析部と、
前記解析部により解析された前記検出対象と前記照射パターンとの位置関係に基づいて、前記照射パターンと前記検出対象との位置関係が常に目標位置となるように前記照射パターンの照射位置を移動させる移動処理部と、
を備える、位置検出装置。
【請求項２】
前記照射パターンは、異なるタイミングで照射される、少なくとも第１の照射パターンと第２の照射パターンとを含んでなり、
前記撮像制御部は、前記第１の照射パターンおよび前記第２の照射パターンが照射される照射タイミングで前記撮像部に画像を取得させ、
前記解析部は、前記第１の照射パターンが照射されたときに取得された第１の画像と前記第２の照射パターンが照射されたときに取得された第２の画像とを比較して、前記検出対象に対する前記第１の照射パターンおよび前記第２の照射パターンの照射位置をそれぞれ認識し、
前記移動処理部は、前記検出対象に対する前記第１の照射パターンおよび前記第２の照射パターンの照射位置に基づいて、前記照射パターンの照射位置を移動させる、請求項１に記載の位置検出装置。
【請求項３】
前記照射パターンは、前記照射パターンの移動方向に隣接する第１の光層および第３の光層とからなる前記第１の照射パターンと、前記第１の光層および前記第３の光層との間に位置する第２の光層からなる前記第２の照射パターンとを含み、
前記解析部は、前記検出対象に前記第１の光層および前記第２の光層が照射されているとき、前記照射パターンが前記検出対象を照射していると判定する、請求項２に記載の位置検出装置。
【請求項４】
前記移動処理部は、
前記検出対象に前記第１の光層のみが照射されているとき、前記検出対象にさらに第２の光層が照射されるように前記照射パターンを移動させ、
前記検出対象に前記第１の光層、前記第２の光層および前記第３の光層が照射されているとき、前記検出対象に前記第１の光層および第２の光層のみが照射されるように前記照射パターンを移動させる、請求項３に記載の位置検出装置。
【請求項５】
前記照射パターンは、前記照射パターンの移動方向に所定距離を有して隣接し、同一の照射タイミングで照射される第１の光層と第２の光層とからなり、
前記撮像制御部は、前記照射パターンの照射タイミングで前記撮像部に画像を取得させ、
前記解析部は、前記撮像部により取得された画像から、前記検出対象に対する前記第１の光層および前記第２の光層の照射位置をそれぞれ認識し、
前記移動処理部は、前記検出対象に対する前記第１の光層および前記第２の光層の照射位置に基づいて、前記照射パターンの照射位置を移動させる、請求項１に記載の位置検出装置。
【請求項６】
前記解析部は、前記検出対象に前記第１の光層のみが照射されているとき、前記照射パターンが前記検出対象を照射していると判定する、請求項５に記載の位置検出装置。
【請求項７】
前記移動処理部は、
前記検出対象に前記照射パターンが照射されていないとき、前記検出対象に第１の光層が照射されるように前記照射パターンを移動させ、
前記検出対象に前記第１の光層および前記第２の光層が照射されているとき、前記検出対象に前記第１の光層のみが照射されるように前記照射パターンを移動させる、請求項６に記載の位置検出装置。
【請求項８】
前記解析部は、複数の前記検出対象について前記照射パターンとの位置関係を解析可能であり、
前記移動処理部は、前記各検出対象と前記照射パターンとの位置関係に基づいて、前記照射パターンの照射位置を移動させる、請求項１に記載の位置検出装置。
【請求項９】
前記照射パターンは、平面の膜状に形成され、
前記移動処理部は、前記空間内に含まれる複数の検出対象を含むように前記照射パターンを移動させる、請求項８に記載の位置検出装置。
【請求項１０】
前記照射パターンは、前記空間内を区分して形成された所定領域毎に設けられ、
前記移動処理部は、前記照射パターンが照射する前記領域内に含まれる検出対象を照射するように、前記照射パターンの照射位置をそれぞれ移動させる、請求項８に記載の位置検出装置。
【請求項１１】
前記検出対象の位置を算出する位置算出部をさらに備え、
前記位置算出部は、前記撮像部により取得された画像と前記照射部の視点による照射画像とに基づいて、前記空間における前記検出対象の三次元位置を算出する、請求項１に記載の位置検出装置。
【請求項１２】
前記位置算出部は、エピポーラ幾何を用いて前記空間における前記検出対象の三次元位置を算出する、請求項１１に記載の位置検出装置。
【請求項１３】
空間内の検出対象に対して、１または２以上の種類の照射光により構成される光群である照射パターンを照射部から照射するステップと、
前記照射部が前記照射パターンを照射する照射タイミングに基づいて、検出対象を撮像する撮像部の撮像タイミングを制御するステップと、
前記撮像タイミングに基づいて、前記撮像部により画像を取得するステップと、
前記撮像部により取得された画像に基づいて、前記照射パターンが照射されている前記検出対象の照射部分を抽出し、前記検出対象と前記照射パターンとの位置関係を解析するステップと、
前記検出対象と前記照射パターンとの位置関係に基づいて、前記照射パターンと前記検出対象との位置関係が常に目標位置となるように前記照射パターンの照射位置を移動させるステップと、
を含む、位置検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、位置検出装置および位置検出方法に関し、より詳細には、空間における検出対象の位置を検出する位置検出装置および位置検出方法に関する。
【背景技術】
【０００２】
機器の操作にジェスチャを用いる技術開発は従来から行われている。例えば、カメラを用いてジェスチャを認識する技術は歴史が古く、ＭＩＴのＰｕｔ−Ｔｈａｔ−Ｔｈｅｒｅシステム以来多くの研究開発が行われている。ジェスチャをより的確に認識するには、指先や関節位置等の複数の特徴点の位置を、リアルタイムに高精度に検出することが要求されている。例えば、特許文献１、２には、ジェスチャするユーザの複数の特徴点を同時に認識して、多様な操作方法によるインタラクティブな入出力を可能とした技術が開示されている。また、ユーザが手にグローブやマーカ等を付けて、特徴点を認識し易くすることによって、より複雑な操作の認識を行おうとする事例も多い。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−２４８３９号公報
【特許文献２】特開２００９−４３１３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、ジェスチャの認識をカメラにより行うものについては、指先での複雑な操作を的確に認識することが困難であったり、変動する照明環境で安定的に特徴点の動きを認識するのは困難であったりする等の課題が依然として存在する。また、ユーザの手にグローブやマーカ等を付けて、より複雑な操作の認識を行おうとする場合には、マーカ等の装着に準備時間を要する。このため、かかる認識方法は、日常生活での使用や不特定多数の利用者の使用には適さないという問題がある。
【０００５】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、空間内の検出対象の三次元位置を安定して高精度に取得することが可能な、新規かつ改良された位置検出装置および位置検出方法を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある観点によれば、空間内の検出対象に対して、１または２以上の種類の照射光により構成される光群である照射パターンを照射する照射部と、検出対象を撮像して画像を取得する撮像部と、照射部が照射パターンを照射する照射タイミングに基づいて、撮像部の撮像タイミングを制御する撮像制御部と、撮像部により取得された画像に基づいて、照射パターンが照射されている検出対象の照射部分を抽出し、検出対象と照射パターンとの位置関係を解析する解析部と、解析部により解析された検出対象と照射パターンとの位置関係に基づいて、照射パターンが検出対象を照射するように、照射パターンの照射位置を移動させる移動処理部と、を備える、位置検出装置が提供される。
【０００７】
本発明によれば、撮像部により、照射パターンが照射されるタイミングで照射パターンが照射される空間を撮像して、画像を取得する。解析部は、取得した画像から、照射パターンが照射されている検出対象の照射部分を抽出して、検出対象と照射パターンとの位置関係を解析する。移動処理部は、検出対象と照射パターンとの位置関係から、照射パターンが検出対象を照射するように、照射パターンの照射位置を移動させる。このように、検出対象に対して常に照射パターンを照射することができ、検出対象の空間内における位置を高精度に安定して認識することができる。
【０００８】
ここで、照射パターンは、異なるタイミングで照射される、少なくとも第１の照射パターンと第２の照射パターンとを含んでなるようにしてもよい。このとき、撮像制御部は、第１の照射パターンおよび第２の照射パターンが照射される照射タイミングで撮像部に画像を取得させ、解析部は、第１の照射パターンが照射されたときに取得された第１の画像と第２の照射パターンが照射されたときに取得された第２の画像とを比較して、検出対象に対する第１の照射パターンおよび第２の照射パターンの照射位置をそれぞれ認識し、移動処理部は、検出対象に対する第１の照射パターンおよび第２の照射パターンの照射位置に基づいて、照射パターンの照射位置を移動させるようにしてもよい。
【０００９】
また、照射パターンは、照射パターンの移動方向に隣接する第１の光層および第３の光層とからなる第１の照射パターンと、第１の光層および第３の光層との間に位置する第２の光層からなる第２の照射パターンとを含むように構成してもよい。このとき、解析部は、検出対象に第１の光層および第２の光層が照射されているとき、照射パターンが検出対象を照射していると判定することもできる。
【００１０】
さらに、移動処理部は、検出対象に第１の光層のみが照射されているとき、検出対象にさらに第２の光層が照射されるように照射パターンを移動させ、検出対象に第１の光層、第２の光層および第３の光層が照射されているとき、検出対象に第１の光層および第２の光層のみが照射されるように照射パターンを移動させるようにしてもよい。
【００１１】
また、照射パターンは、照射パターンの移動方向に所定距離を有して隣接し、同一の照射タイミングで照射される第１の光層と第２の光層とからなるようにしてもよい。このとき、撮像制御部は、照射パターンの照射タイミングで撮像部に画像を取得させ、解析部は、撮像部により取得された画像から、検出対象に対する第１の光層および第２の光層の照射位置をそれぞれ認識し、移動処理部は、検出対象に対する第１の光層および第２の光層の照射位置に基づいて、照射パターンの照射位置を移動させるようにしてもよい。
【００１２】
さらに、解析部は、検出対象に第１の光層のみが照射されているとき、照射パターンが検出対象を照射していると判定することもできる。このとき、移動処理部は、検出対象に照射パターンが照射されていないとき、検出対象に第１の光層が照射されるように照射パターンを移動させ、検出対象に第１の光層および第２の光層が照射されているとき、検出対象に第１の光層のみが照射されるように照射パターンを移動させるようにしてもよい。
【００１３】
また、解析部は、複数の検出対象について照射パターンとの位置関係を解析可能であり、移動処理部は、各検出対象と照射パターンとの位置関係に基づいて、照射パターンの照射位置を移動させるようにしてもよい。
【００１４】
照射パターンは、平面の膜状に形成され、移動処理部は、空間内に含まれる複数の検出対象を含むように照射パターンを移動させることもできる。あるいは、照射パターンは、空間内を区分して形成された所定領域毎に設けられ、移動処理部は、照射パターンが照射する領域内に含まれる検出対象を照射するように、照射パターンの照射位置をそれぞれ移動させるようにすることもできる。
【００１５】
また、検出対象の位置を算出する位置算出部をさらに備えてもよい。このとき、位置算出部は、撮像部により取得された画像と照射部の視点による照射画像とに基づいて、空間における検出対象の三次元位置を算出することができる。位置算出部は、例えばエピポーラ幾何を用いて空間における検出対象の三次元位置を算出することができる。
【００１６】
また、上記課題を解決するために、本発明の別の観点によれば、空間内の検出対象に対して、１または２以上の種類の照射光により構成される光群である照射パターンを照射部から照射するステップと、照射部が照射パターンを照射する照射タイミングに基づいて、検出対象を撮像する撮像部の撮像タイミングを制御するステップと、撮像タイミングに基づいて、撮像部により画像を取得するステップと、撮像部により取得された画像に基づいて、照射パターンが照射されている検出対象の照射部分を抽出し、検出対象と照射パターンとの位置関係を解析するステップと、検出対象と照射パターンとの位置関係に基づいて、照射パターンが検出対象を照射するように、照射パターンの照射位置を移動させるステップと、を含む、位置検出方法が提供される。
【発明の効果】
【００１７】
以上説明したように本発明によれば、空間内の検出対象の三次元位置を安定して高精度に取得することが可能な、位置検出装置および位置検出方法を提供することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施形態にかかる位置検出装置の一構成例を示す説明図である。
【図２】同実施形態にかかる位置検出装置の構成を示すブロック図である。
【図３】同実施形態にかかる位置検出装置による位置検出方法を示すフローチャートである。
【図４Ａ】照射部による照射タイミングの一例を示すグラフである。
【図４Ｂ】照射部による照射タイミングの一例を示すグラフである。
【図５】撮像制御部による撮像タイミングの決定方法を説明するグラフである。
【図６】撮像部により撮像した２種類の照射パターンの画像を差分演算して生成される画像を示す説明図である。
【図７】照射パターンおよび検出対象の位置関係と、それに基づく照射パターンの移動方向を示す説明図である。
【図８】撮像部の撮像した画像から取得された検出対象の位置を示す画像と、照射部から見た画像との関係を示す説明図である。
【図９】撮像部により取得された通常の画像と、検出対象のみを抽出した画像との関係を示す説明図である。
【図１０】検出対象の位置の算出方法を示す説明図である。
【図１１】１種類の光からなる照射パターンを用いたときの、照射パターンおよび検出対象の位置関係と、それに基づく照射パターンの移動方向を示す説明図である。
【発明を実施するための形態】
【００１９】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２０】
なお、説明は以下の順序で行うものとする。
１．位置検出装置の概要
２．位置検出装置の具体的構成例
【００２１】
＜１．位置検出装置の概要＞
［位置検出装置の構成例］
まず、図１に基づいて、本発明の実施形態にかかる位置検出装置の構成例について説明する。なお、図１は、本実施形態にかかる位置検出装置の一構成例を示す説明図である。
【００２２】
本実施形態にかかる位置検出装置は、照射部により照射された照射光の反射を、それに同期して撮影する撮像部を用いて認識して、空間内における検出対象の三次元位置を取得する装置である。このような位置検出装置は、例えば図１に示すように、照射部であるプロジェクター１０１と、照射光を検出する検出部であるＰＤ（Ｐｈｏｔｏ  Ｄｅｔｅｃｔｏｒ）１０２と、マイクロプロセッサ１０３と、画像を取得する撮像部であるカメラ１０４と、から構成することができる。
【００２３】
プロジェクター１０１は、空間内に照射光を所定の照射パターン２００で出力する。照射パターン２００は、１または２以上の種類の照射光により構成される光群であって、空間内における検出対象の位置を特定するために用いられる。照射パターン２００は、例えば、１または２以上の照射で１つの形状を形成する複数の膜状の光層から構成される。プロジェクター１０１は、例えばユーザの指先等の検出対象と照射パターン２００との位置関係に基づいて、検出対象が常に照射パターン２００により照射されるように、照射パターン２００の照射位置を移動する。
【００２４】
ＰＤ１０２は、プロジェクター１０１の出力する照射光を検出し、検出結果をマイクロプロセッサ１０３へ出力する。ＰＤ１０２は、プロジェクター１０１から照射される照射パターン２００の照射タイミングを検出するために設けられている。マイクロプロセッサ１０３は、ＰＤ１０２の検出結果に基づいて照射パターン２００の照射タイミングを認識して、カメラ１０４による画像の撮像タイミングを生成する。生成された撮像タイミングは、カメラ１０４へ出力される。カメラ１０４は、この撮像タイミングに基づいて、照射パターン２００が出力される空間の画像を撮像する。
【００２５】
撮像タイミングに基づいてカメラ１０４により撮像された画像を、情報処理部（図２の符号１５０に対応）によって画像処理することにより、照射パターン２００が照射されている検出対象の照射部分を認識することができる。これにより、検出対象と照射パターン２００との位置関係を認識することができる。認識された検出対象と照射パターン２００との位置関係から、検出対象が的確に照射されていないと判断された場合、プロジェクター１０１は、照射パターン２００が所定の位置関係で検出対象を照射するように、照射パターン２００の照射位置を移動させる。このようにして、所定の位置関係で照射パターン２００が常に検出対象を照射するようにする。
【００２６】
また、照射パターン２００が照射されている検出対象の照射部分が認識されると、撮像された画像中における検出対象の位置を検出することができる。さらに、空間における照射パターン２００の照射位置から、検出対象とカメラ１０４との距離を判定することができる。これにより、検出対象の空間中での三次元位置を求めることができる。ここで、照射パターン２００は、上述したように、常に所定の位置関係で検出対象を照射するように移動される。本実施形態にかかる位置検出装置は、このような照射パターン２００の照射位置を用いて検出対象の三次元位置を算出することにより、空間における検出対象の位置を安定して高精度に検出することができる。
【００２７】
以下、図２および図３に基づいて、より具体的に本実施形態にかかる位置検出装置１００の構成と、これを用いた検出対象の位置検出方法について説明していく。なお、図２は、本実施形態にかかる位置検出装置１００の構成を示すブロック図である。図３は、本実施形態にかかる位置検出装置１００による位置検出方法を示すフローチャートである。
【００２８】
［位置検出装置の構成］
本実施形態にかかる位置検出装置１００は、図２に示すように、照射部１１０と、検出部１２０と、撮像制御部１３０と、撮像部１４０と、情報処理部１５０とからなる。
【００２９】
照射部１１０は、空間内における検出対象の位置を特定するために、照射光からなる照射パターン２００を出力する。照射パターン２００を構成する照射光は、可視光であっても不可視光であってもよい。照射パターン２００は、検出対象の照射位置を特定することの可能なパターンに構成されており、照射光を照射する照射タイミングや、照射光の照射位置によって様々に構成することができる。このような照射パターン２００を照射する照射部１１０には、例えば、図１に示したプロジェクター１０１や、赤外線発光装置等を用いることができる。照射部１１０は、後述する情報処理部１５０の指示に従って、検出対象に所定の照射光が照射されるように、照射パターン２００を移動させる。
【００３０】
検出部１２０は、照射部１１０による照射パターン２００の照射タイミングを検出する。検出部１２０は、例えば、図１に示したように、照射部１１０より出力される照射光を直接検出するＰＤ１０２等の受光素子を用いることができる。この場合、検出部１２０は、受光する照射光の強度に応じた電気信号を検出結果として出力する。あるいは、検出部１２０として照射パターン２００を照射する照射タイミングを制御する照射部１１０内の制御回路を用いることもできる。この場合、制御回路の出力する、照射タイミングを示す回路信号を検出部１２０による検出結果として用いる。検出部１２０は、検出結果を撮像制御部１３０へ出力する。
【００３１】
撮像制御部１３０は、検出部１２０の検出結果に基づいて、撮像部１４０の撮像タイミングを生成する。撮像制御部１３０は、検出部１２０の検出結果から、照射部１１０から出力された照射光の照射タイミングを認識することができる。本実施形態では、検出対象の位置を認識するために、照射パターン２００が照射された時点での画像を用いる。このため、撮像制御部１３０は、検出部１２０の検出結果から照射パターン２００が出力されたときの照射タイミングを認識し、当該照射タイミングに基づいて、撮像部１４０が画像を取得する撮像タイミングを生成する。撮像制御部１３０は、生成した撮像タイミングを撮像部１４０へ出力する。
【００３２】
撮像部１４０は、撮像タイミングに基づいて、照射パターン２００が照射されている空間の画像を撮像する。撮像制御部１３０により生成された撮像タイミングで撮像することにより、撮像部１４０は、所定の照射パターンが照射されている時点での画像を取得することができる。撮像部１４０は、撮像した画像を情報処理部１５０へ出力する。
【００３３】
情報処理部１５０は、検出対象の位置を算出する機能部である。情報処理部１５０は、後述する検出方法を用いて、撮像部１４０により取得された画像に基づいて、照射パターン２００が照射された検出対象の照射部分を検出する。これより、情報処理部１５０は、照射パターン２００と検出対象との位置関係を解析することができる。情報処理部１５０は、解析された照射パターン２００と検出対象との位置関係から、照射パターン２００が所定の位置関係で検出対象を照射するように、照射パターン２００を移動させる移動情報を生成し、照射部１１０へ出力する。照射部１１０は、情報処理部１５０から入力された移動情報に基づいて、照射パターン２００の照射位置を変更する。このように、情報処理部１５０により算出された検出対象の位置は、次の時間における照射パターン２００の照射位置の決定に用いられる。
【００３４】
また、情報処理部１５０は、照射部１１０から入力される照射パターン２００の照射位置と、照射パターン２００が照射された検出対象の照射部分の位置情報とに基づいて、空間における検出対象の三次元位置を算出する。なお、検出対象の三次元位置の算出方法は後述する。情報処理部１５０は、算出した検出対象の三次元位置を位置情報として、外部の機器に出力することができる。空間における検出対象の位置情報は、例えば、ユーザが行っているジェスチャの認識等に用いることができる。
【００３５】
［位置検出方法の概略］
次に、図３に基づいて、本実施形態にかかる位置検出装置１００による検出対象の位置検出方法の概略を説明する。
【００３６】
本実施形態にかかる位置検出方法は、まず、照射部１１０により所定の照射パターン２００を検出対象の存在する空間に対して照射する（ステップＳ１００）。次いで、撮像部１４０により空間内の検出対象の画像を取得する（ステップＳ１１０）。このとき、撮像部１４０は、撮像制御部１３０により生成された撮像タイミングに基づいて、所定の照射パターン２００の照射タイミングと同期して画像を取得する。
【００３７】
さらに、情報処理部１５０は、撮像部１４０により撮像された画像を解析して、検出対象の位置を検知する（ステップＳ１２０）。情報処理部１５０は、撮像された画像から、照射パターン２００が照射された検出対象の照射部分を認識する。これより、情報処理部１５０は、検出対象と照射パターン２２０との位置関係、すなわち、照射パターン２００が検出対象にどのくらい照射されているかを検出することができる。
【００３８】
その後、情報処理部１５０は、検出対象と照射パターン２２０との位置関係から、照射パターン２００が所定の位置関係で検出対象を照射するように、照射パターン２００の照射位置を移動させる移動情報を生成する（ステップＳ１３０）。情報処理部１５０は、生成した移動情報を照射部１１０へ出力する。照射部１１０は、入力された移動情報に基づいて照射パターン２００の照射位置を移動し、照射パターン２００と検出対象とが所定の位置で照射されるようにする。
【００３９】
以上、本実施形態にかかる位置検出装置１００による検出対象の位置検出方法について説明した。このように、照射部１１０から出力される照射パターン２００が常に検出対象を所定の位置関係で照射するように、照射パターン２００を移動させることにより、空間における検出対象の検出位置を高精度に検出することが可能となる。
【００４０】
＜２．位置検出装置の具体的構成例＞
続いて、以下に、本実施形態にかかる位置検出装置１００を用いた検出対象の位置検出方法について、具体例を示す。なお、以下の具体例では、照射パターン２００が出力される空間にユーザが存在すると想定し、位置検出装置１００による検出対象をユーザの指Ｆの指先とする。位置検出装置１００は、照射パターン２００の照射位置をユーザの指先に合わせるように、照射パターン２００を移動させる。
【００４１】
［第１の具体例：２色の光からなる照射パターンを用いた位置検出方法］
まず、第１の具体例として、図４Ａ〜図１０に基づいて、２色の光からなる照射パターン２００を用いた位置検出方法について説明する。本例において、２色の光からなる照射パターン２００とは、波長の異なる２つの可視光により構成された光のパターンをいう。以下では、照射パターン２００の一例として、膜状の緑色（Ｇ）の光と赤色（Ｒ）の光とを、緑、赤、緑の順に３層に積層させた照射パターンを用いる。
【００４２】
照射パターン２００を可視光から構成することにより、ユーザは指先の検出されている位置を目視して確認することができる。これにより、ユーザは、指先が的確に検出されているか否かを視認することができ、また、指先を照射パターンに近接させたり離隔させたりするという動作も行うことも可能となる。このように、可視光を用いることにより、インタラクション性の高いユーザインタフェースを構成することもできる。
【００４３】
なお、図４Ａおよび図４Ｂは、照射部１１０による照射タイミングの一例を示すグラフである。図５は、撮像制御部１３０による撮像タイミングの決定方法を説明するグラフである。図６は、撮像部１４０により撮像した２種類の照射パターンの画像を差分演算して生成される画像を示す説明図である。図７は、照射パターンおよび検出対象の位置関係と、それに基づく照射パターンの移動方向を示す説明図である。図８は、撮像部１４０の撮像した画像から取得された検出対象の位置を示す画像と、照射部１１０から見た画像との関係を示す説明図である。図９は、撮像部１４０により取得された通常の画像と、検出対象のみを抽出した画像との関係を示す説明図である。図１０は、検出対象の位置の算出方法を示す説明図である。
【００４４】
［検出対象の差分画像の生成］
まず、図４Ａ〜図６に基づいて、検出対象である指先と照射パターン２００との位置関係を検出するために用いる、照射パターン２００が照射された指先の照射部分を撮像部１４０により取得した画像から抽出する差分画像を生成する処理について説明する。
【００４５】
本例では、照射部１１０は、上述したように、緑色（Ｇ）の光と赤色（Ｒ）の光とを積層して構成された照射パターン２００を空間に対して照射する。このとき、照射部１１０には、例えば、ＲＧＢの三原色を異なるタイミングで照射するＤＬＰプロジェクターを用いることができる。ＤＬＰプロジェクターは、マイクロミラーアレイを高速に変動させてプロジェクター画像を作り出す装置である。このようなＤＬＰプロジェクターを用いて、例えば図５に示す照射タイミングで、緑色（Ｇ）の光、青色（Ｂ）の光および赤色（Ｒ）の光を、高速に点滅するように、順に出力することができる。
【００４６】
照射部１１０が照射光を出力する照射タイミングは機器により予め設定されている。例えば、照射部１１０は、図４Ａおよび図４Ｂに示すタイミングで各光を照射している。各光はそれぞれ一定の間隔で照射されており、例えば緑色（Ｇ）の光は周期Ｔ（例えば、約８．３ｍｓ）で照射される。ここで、例えば緑色（Ｇ）の光を照射するタイミングを示すＧｒｅｅｎ信号を基準とすると、青色（Ｂ）の光は緑色（Ｇ）の光の照射から約Ｔ／２遅れて照射される。また、赤色（Ｒ）の光は緑色（Ｇ）の光の照射から約３／４Ｔ遅れて照射される。照射部１１０は、その内部に設けられている制御回路により出力されるこれらの信号に基づいて、ＲＧＢの光をそれぞれ出力する。
【００４７】
照射部１１０は、マイクロミラーアレイの傾斜を変更して膜状の光を形成し、空間に向かって照射する。本例では、上述したように、２つの緑色の光層と１つの赤色の光層とを積層して形成される照射パターン２００を用いて、検出対象である指先と照射パターン２００との位置関係を認識する。このため、撮像部１４０は、照射パターン２００のうち、緑色（Ｇ）の光が照射されている時点での画像と、赤色（Ｒ）の光が照射されている時点での画像とを取得する。撮像部１４０により画像を取得する撮像タイミングは、撮像制御部１３０により撮像トリガー信号として生成される。
【００４８】
撮像制御部１３０は、照射部１１０の照射タイミングに基づいて、緑色（Ｇ）の光と赤色（Ｒ）の光とが照射されたタイミングで画像を取得する撮像トリガー信号を生成する。照射タイミングは、例えば、図１に示すようにＰＤ１０２等の受光素子を用いて、照射光を直接検出することにより認識してもよい。この場合、照射時に画像が取得される照射光を検出する受光素子（本例では、緑色（Ｇ）の光を検出する受光素子と赤色（Ｒ）の光を検出する受光素子）を少なくとも空間内に備える。そして、撮像制御部１３０は、これらの受光素子のいずれかが光を検出したときにオンとなる撮像トリガー信号を生成する。あるいは、基準とする光を検出する受光素子を空間内に備え、当該受光素子の出力する電気信号に基づいて、撮像トリガー信号を生成することもできる。
【００４９】
例えば、緑色（Ｇ）の光を基準として、緑色（Ｇ）の光を検出する受光素子を空間内に備える。このとき、受光素子の出力する電気信号（ＰＤ信号）は、図５に示すように、緑色（Ｇ）の光が照射されたタイミングで立ち上がる波形となる。一方、撮像制御部１３０は、照射部１１０から各光が照射される照射タイミングを取得して、緑色（Ｇ）の光が照射されてから赤色（Ｒ）の光が照射されるまでの遅延時間を得る。撮像制御部１３０は、受光素子の出力したＰＤ信号の立ち上がりを検知すると、立ち上がり時点から遅延時間が経過したときに赤色（Ｒ）の光が照射されると推定する。これより、撮像制御部１３０は、緑色（Ｇ）の光が出力されたＰＤ信号の立ち上がり時点と、当該時点から遅延時間が経過した時点とにおいて画像を取得する撮像トリガー信号を生成する。
【００５０】
あるいは、撮像制御部１３０は、照射部１１０の内部に設けられた制御回路の出力する、照射タイミングを示す回路信号を検出部１２０の検出結果とすることもできる。このとき、回路信号から各光の照射タイミングを認識することができるので、撮像制御部１３０は、照射時に画像が取得される照射光の照射タイミングで撮像部１４０に画像を取得させる撮像トリガー信号を生成することができる。
【００５１】
なお、図５に示す撮像トリガー信号は、ＲＧＢの光が２回照射されたときの、１回目の緑色（Ｇ）の光の照射タイミングをトリガー１（Ｇ）とし、２回目の赤色（Ｒ）の光の照射タイミングをトリガー２（Ｒ）として生成されていたが、かかる例に限定されない。撮像制御部１３０は、例えば、ＧＢの光が１回照射されたときの、緑色（Ｇ）の光の照射タイミングをトリガー１（Ｇ）とし、赤色（Ｒ）の光の照射タイミングをトリガー２（Ｒ）とする撮像トリガー信号を生成してもよい。
【００５２】
撮像部１４０は、撮像制御部１３０により生成された撮像トリガー信号に基づいて撮像すると、照射部１１０が緑色（Ｇ）の光を照射したときの画像と、赤色（Ｒ）の光を照射したときの画像とを取得することができる。そして、情報処理部１５０は、撮像部１４０により取得された画像から、照射パターン２００を構成する緑色（Ｇ）の光および赤色（Ｒ）の光のいずれの色も照射されていない背景部分を消去して、照射パターン２００が照射されている照射部分を取得する処理を行う。
【００５３】
例えば、図６（ａ）に示すように、照射部１１０からユーザの手に緑色（Ｇ）および赤色（Ｒ）の光が格子状に配列された照射パターンが照射されているとする。このとき、情報処理部１５０は、撮像部１４０により撮像された連続する２つの画像に差分演算を施す。ここで、連続する２つの画像とは、図５のトリガー１（Ｇ）のタイミングで撮像された第１の画像とトリガー２（Ｒ）のタイミングで撮像された第２の画像とのように、撮像トリガー信号の連続するタイミングで撮像された１組の画像をいう。図６（ａ）の緑色（Ｇ）の光と赤色（Ｒ）の光とからなる格子状の照射パターンは、緑色（Ｇ）の光と赤色（Ｒ）の光とが時間差で高速に点滅して照射されている。
【００５４】
情報処理部１５０は、緑色（Ｇ）の光の照射時に撮像された第１の画像から赤色（Ｒ）の光の照射時に撮像された第２の画像の差分をとることにより差分画像（Ｇ−Ｒ）を生成し、緑色（Ｇ）の光が照射されている照射部分を抽出することができる。すなわち、情報処理部１５０は、第１の画像の明度から第２の画像の明度を差分して差分値を算出し、差分値が正であれば差分値の示す明度で、差分値が０以下であれば黒で表わされる差分画像（Ｇ−Ｒ）を生成する。例えば、図６（ａ）の差分画像（Ｇ−Ｒ）は、図６（ｂ）に示すようになる。なお、図６（ｂ）および図６（ｃ）では、便宜上、差分値が正である部分を白で表わし、差分値が０以下である部分を黒で表わしている。差分画像（Ｇ−Ｒ）より、差分値が正となる部分が緑色（Ｇ）の光が照射されている照射部分であることがわかる。
【００５５】
同様に、情報処理部１５０は、赤色（Ｒ）の光の照射時に撮像された第２の画像から緑色（Ｇ）の光の照射時に撮像された第１の画像の差分をとることにより差分画像（Ｒ−Ｇ）を生成し、赤色（Ｒ）の光が照射されている照射部分を抽出することができる。すなわち、情報処理部１５０は、第２の画像の明度から第１の画像の明度を差分して差分値を算出し、差分値が正であれば差分値の示す明度で、差分値が０以下であれば黒で表わされる差分画像（Ｒ−Ｇ）を生成する。かかる処理を行うことにより、図６（ｃ）に示す図６（ａ）の差分画像（Ｒ−Ｇ）を生成することができ、差分画像（Ｒ−Ｇ）より差分値が正となる部分が赤色（Ｒ）の光が照射されている照射部分であることがわかる。
【００５６】
このように、情報処理部１５０は、緑色（Ｇ）の光のパターンが照射された画像と、赤色（Ｒ）の光のパターンが照射された画像とから、各パターンが照射されている照射部分を抽出する差分画像を生成することができる。差分画像では、照射パターンの照射部分が差分画像中に現れる一方、例えば背景等のように照射パターンが照射されていない部分は黒色となって表示されない。これより、情報処理部１５０は、差分画像に基づいて、照射パターンが照射された部分のみを抽出することができる。
【００５７】
［検出対象の認識］
撮像部１４０により取得された画像から差分画像を生成し、所定の光が照射されている部分を抽出する上述の画像処理方法を用いて、本例では、図７に示すような、２色の光からなる照射パターン２００を検出対象に照射することで検出対象の位置を認識する。本例の照射パターン２００は、例えば２つの緑色（Ｇ）の光２０２、２０６と、これらの光２０２、２０６の間に配置された赤色（Ｒ）の光２０４とから構成される。照射パターン２０２は、図１に示すように、空間内に３つの膜状の光が空間に照射される。照射パターン２００を構成する光層２０２、２０４、２０６は、検出対象である指先の移動方向（図７のｙ方向）に積層して配置される。
【００５８】
撮像部１４０は、撮像制御部１３０により生成された、緑色（Ｇ）の光と赤色（Ｒ）の光とが照射された時点の画像を取得する撮像トリガー信号に基づき、画像を取得する。情報処理部１５０は、撮像部１４０の取得した画像のうち、連続する２つの画像から差分画像（Ｇ−Ｒ）および差分画像（Ｒ−Ｇ）を生成し、緑色（Ｇ）の光の照射部分および赤色（Ｒ）の光の照射部分を検知する。そして、情報処理装置１５０は、検知した２つの光の照射部分から、照射パターン２００と検出対象である指先との位置関係を算出し、位置関係に応じて照射パターン２００の照射位置を移動させる移動情報を生成する。
【００５９】
照射パターン２００と指先との位置関係は、指Ｆに照射パターン２００がどのくらい照射されているか（指Ｆが照射パターン２００にどのくらい触れているか）によって判定することができる。本例では、指Ｆがｙ方向に移動されることで変化する、指Ｆに触れる光層の数から、照射パターン２００と指先との位置関係を判定する。
【００６０】
３つの光層２０２、２０４、２０６と指Ｆとが接触する状況としては、以下の３つの状況を考え得る。まず、１つめの状況は、図７（ａ）右側に示すように、指Ｆが照射パターン２００の緑色（Ｇ）の光である第１の光層２０２のみに触れており、検出対象である指先が赤色（Ｒ）の光である第２の光層２０４に触れていない場合である。このとき、生成された差分画像（Ｇ−Ｒ）には第１の光層２０２に触れている指Ｆの形状が現れるが、差分画像（Ｒ−Ｇ）には、指Ｆが赤色（Ｒ）の光に触れていないため、照射部分は現れない。結果として、図７（ａ）左側に示すように、第１の光層２０２に触れている指Ｆの形状のみが照射部分２２２として取得される。
【００６１】
２つめの状況は、図７（ｂ）右側に示すように、指Ｆが照射パターン２００の第１の光層２０２および第２の光層２０４に触れている場合である。このとき、生成された差分画像（Ｇ−Ｒ）には第１の光層２０２に触れている指Ｆの形状が現れ、差分画像（Ｒ−Ｇ）には第２の光層２０４に触れている指Ｆの形状が現れる。結果として、図７（ｂ）左側に示すように、第１の光層２０２および第２の光層２０４に接触している指Ｆの形状が照射部分２２２、２２４として取得される。
【００６２】
そして、３つめの状況は、図７（ｃ）右側に示すように、指Ｆが照射パターン２００の第１の光層２０２、第２の光層２０４および第３の光層２０６に触れている場合である。このとき、生成された差分画像（Ｇ−Ｒ）には第１の光層２０２および第３の光層２０６に触れている指Ｆの形状が現れ、差分画像（Ｒ−Ｇ）には第２の光層２０４に触れている指Ｆの形状が現れる。結果として、図７（ｃ）左側に示すように、第１の光層２０２、第２の光層２０４および第３の光層２０６に接触している指Ｆの形状が照射部分２２２、２２４、２２６として取得される。
【００６３】
ここで、位置検出装置１００は、検出対象の位置を正確に検出するため、指Ｆと照射パターン２００との所定の位置関係を指先の三次元位置を取得する目標位置として設定する。そして、位置検出装置１００は、指Ｆと照射パターン２００との位置関係が常に目標位置となるように、照射パターン２００を移動させる。本例では、目標位置を、図７（ｂ）に示す状況と設定する。このとき、情報処理部１５０は、検出対象である指先は第２の光層２０４上にあるとみなし、指Ｆが第２の光層２０４と交差する部分を検出対象の位置として空間における三次元位置を算出する。このため、位置検出装置１００は、照射パターン２００の第２の光層２０４をより正確に指先に照射させる必要がある。
【００６４】
情報処理部１５０は、照射パターン２００と指先との位置関係が図７（ｂ）に示す目標位置となるように、照射パターン２００の照射位置を移動させる移動情報を生成する。まず、指Ｆと照射パターン２００との位置関係が目標位置である図７（ｂ）の状況となっている場合には、照射パターン２００の第２の光層２０４が指先に的確に照射されていると判定される。この場合、情報処理部１５０は、照射パターン２００を移動させず、現在の位置で継続して照射させる。
【００６５】
次に、指Ｆと照射パターン２００との位置関係が図７（ａ）の状況である場合には、指先は第２の光層２０４に触れていないため、図７（ｂ）に示す目標位置とするために照射パターン２００を手前側（ｙ軸負方向側）へ移動させなければならない。そこで、情報処理部１５０は、照射パターン２００を手前側に移動させる移動情報を生成して、照射部１１０へ出力する。
【００６６】
一方、指Ｆと照射パターン２００との位置関係が図７（ｃ）の状況である場合には、指先は第２の光層２０４より奥側（ｙ軸正方向側）にある第３の光層２０６に触れている。このため、図７（ｂ）に示す目標位置とするためには、照射パターン２００を奥側へ移動させなければならない。そこで、情報処理部１５０は、照射パターン２００を奥側に移動させる移動情報を生成して、照射部１１０へ出力する。
【００６７】
このように、情報処理部１５０は、照射パターン２００と指先との位置関係を認識して、照射パターン２００の第２の光層２０４が指先を照射するように、照射パターン２００の照射位置を制御する。これにより、照射パターン２００が常に指先を照射するようにすることができる。
【００６８】
なお、検出対象である指先の位置を正確に、かつ素早く特定するため、照射パターン２００の第２の光層２０４のｙ軸負方向に隣接する第１の光層２０２のｙ方向の厚みを、第２の光層２０４の厚みよりも大きくするようにしてもよい。これにより、指Ｆが第１の光層２０２に触れやすくなり、指先が照射パターン２００に近接してきたことを素早く検出することができる。指先が第１の光層２０２に触れると、情報処理部１５０はこれを検知して、指先に第２の光層２０４が照射されるように照射パターン２００を移動する移動情報を生成する。照射部１１０は、生成された移動情報に基づいて照射パターン２００を移動して、指先と照射パターン２００とが目標位置となるようにする。
【００６９】
また、照射パターン２００が同一の方向に移動され続ける場合、情報処理部１５０は、照射パターン２００の移動速度を次第に大きくするように移動情報を生成してもよい。照射パターン２００が同一方向に移動され続けるときは、指先と照射パターン２００とが離れている場合が多い。したがって、照射パターン２００の移動速度を大きくすることより、より早く指先に照射パターン２００の第２の光層２０４が照射されるようにすることができる。
【００７０】
ここで、例えばジェスチャを行っている右手と左手のように、位置検出装置１００により複数の検出対象の位置を検出する場合には、各検出対象に対してそれぞれ照射パターン２００を移動させる処理を行うようにしてもよい。例えば、図８（ｂ）に示すように、右手ＲＨおよび左手ＬＨを照射パターン２００が照射されている空間に置き、照射パターン２００に触れさせたとする。なお、本例では最も奥側（紙面手前側、ｙ軸正方向側）に位置する指Ｆについて照射パターン２００との位置関係を検出する。最も奥側に位置する指Ｆは、例えば、画像から認識される手の形状から推定して決定することもでき、情報処理部１５０により生成される差分画像から抽出できる検出対象の照射部分の形状から決定することもできる。
【００７１】
なお、図８（ａ）は、撮像部１４０により取得された画像から生成された差分画像であり、図８（ｂ）は、照射部１１０を視点とした照射画像である。図８（ａ）中の線Ｌ１およびＬ２は、図８（ｂ）中の線Ｌ１およびＬ２に対応する。
【００７２】
まず、図８（ｂ）に示す右手ＲＨについてみると、図８（ａ）に示す差分画像の左側領域に２つの照射パターン２００が照射されている照射部分２２２を認識することができる。これより、右手ＲＨは、２本の指Ｆが照射パターン２００に触れていることがわかる。このとき、図８（ａ）の差分画像に表れている照射部分２２２は、その形状から、第１の光層２０２を形成する緑色（Ｇ）の光が照射されている部分のみである。これより、情報処理部１５０は、最も奥側に位置する指Ｆが第１の光層２０２のみに接触している状況であると判定し、照射パターン２００を手前側に移動させるように照射部１１０を制御する移動情報を生成する。
【００７３】
一方、左手ＬＨについては、図８（ａ）に示す差分画像の右側領域に４つの照射パターン２００が照射されている照射部分２２２、２２４、２２６を認識することができる。これより、左手ＬＨは、４本の指Ｆが照射パターン２００に触れていることがわかる。このとき、図８（ａ）の差分画像に表れている照射部分２２２、２２４、２２６の形状から、４本の指Ｆのうち３本は第１の光層２０２、第２の光層２０４および第３の光層２０６のすべての光が照射されていることがわかる。なお、照射パターン２００の移動情報を生成する段階では最も奥側に位置する指Ｆと照射パターン２００との位置関係が分かればよく、具体的に最も奥側に位置する１本の指Ｆを特定しなくてもよい。情報処理部１５０は、最も奥側に位置する指Ｆが第１〜第３の光層２０２、２０４、２０６に接触している状況であると判定し、照射パターン２００を奥側に移動させるように照射部１１０を制御する移動情報を生成する。
【００７４】
以上より、右手ＲＨについては照射パターン２００を手前側に移動させ、左手ＬＨについては照射パターン２００を奥側に移動させる移動情報が情報処理部１５０により生成される。照射部１１０は、生成された移動情報に基づいて、照射パターン２００の傾きを変更し、照射パターン２００の第２の光層２０４が各手の最も奥側に位置する指先に照射されるようにする。このようにして、位置検出装置１００により複数の検出対象の位置を検出することが可能となる。
【００７５】
なお、本例では、照射パターン２００は、１つの平面からなる光の膜として形成されていたが、本発明はかかる例に限定されない。例えば、所定の領域毎に照射パターンを設けて、各照射パターンによって当該領域内に含まれる検出対象の位置をそれぞれ検出してもよく、あるいは、曲面状に形成してもよい。本例のように１つの平面からなる光の膜として照射パターン２００を形成する場合、検出対象が多くなるにつれてすべての検出対象の位置を正確に検出することは困難となるが、照射パターン２００の形状の変更や移動等の制御を容易に行うことができる。
【００７６】
以上をまとめると、図９（ａ）に示すように照射パターン２００が照射されている空間の画像を撮像部１４０によって取得し、当該画像から図９（ｂ）に示す差分画像を生成して検出対象の照射部分を抽出する。すなわち、図９（ａ）において照射パターン２００の第１の光層２０２が照射されている部分は、図９（ｂ）に示す差分画像では照射部分２２２として現れる。図９（ａ）において照射パターン２００の第２の光層２０４が照射されている部分は、図９（ｂ）に示す差分画像では照射部分２２４として現れる。図９（ａ）において照射パターン２００の第３の光層２０６が照射されている部分は、図９（ｂ）に示す差分画像では照射部分２２６として現れる。
【００７７】
図９（ｂ）の差分画像から、公知の画像処理技術、例えば二値化処理、連結成分抽出処理等の技法を用いることにより、検出対象である指先の位置を独立して検知することができる。また、照射パターン２００の照射位置より、指先と撮像部１４０との距離（すなわち、奥行方向の距離）を判定することが可能となる。したがって、指先の空間における三次元位置を算出することができる。そこで、図１０に基づいて、検出対象の空間における三次元位置を算出する方法について説明する。
【００７８】
［検出対象の三次元位置の算出方法］
図１０（ａ）に撮像部１４０による撮像画像から生成された差分画像を示し、図１０（ｂ）に照射部１１０を視点とした照射画像を示す。ここで、撮像部１４０により撮像される画像は、空間における高さ方向（ｚ方向）に対して直交する方向から空間をみたときの画像であり、照射部１１０を視点とした照射画像は、空間を高さ方向からみたときの画像である。本例では、照射部１１０と撮像部１４０との位置関係を、エピポーラ幾何として知られている方法によりキャリブレーションする。エピポーラ幾何を用いることにより、三次元空間において２つの視点から同一の１点を見たときの対応関係を取得することができる。
【００７９】
まず、照射部１１０から空間に向かって照射される照射パターン２００を撮像部１４０により撮像し、情報処理部１５０により撮像された画像から差分画像を生成する。上述した位置検出方法により、差分画像から照射パターン２００が照射されている検出対象の照射部分を抽出して、検出対象の位置を特定することができる。次いで、情報処理部１５０は、照射部１１０を視点とした第１の座標系における点と、撮像部１４０を視点とした第２の座標系における点との対応付けを複数点について行う。これにより、エピポーラ幾何における基礎行列（Ｆｕｎｄａｍｅｎｔａｌ  Ｍａｔｒｉｘ）Ｆが算出される。このとき、第２の座標系の点Ｐｃ（Ｘｃ，Ｙｃ）と、これに対応する第１の座標系での点Ｐｐ（Ｘｐ，Ｙｐ）との間には、下記数式１の関係が成立する。
【００８０】
【数１】
0005423222.tif 000002
・・・（数式１）
【００８１】
なお、′は転置行列を示す。数式１は、撮像部１４０の撮像画像から生成された差分画像上の点は、照射画像上では対応する線上のいずれかの位置に存在し、逆に、照射画像上の点は、差分画像上では対応する線上のいずれかの位置に存在することを意味する。この線はエピポーラ線ＬＥと称ばれる。この関係を用いて、図１０（ｂ）に示す照射画像上のエピポーラ線ＬＥと、照射されている照射パターン（本例では第２の光層２０４）との交点を算出することにより、検出対象である指先の三次元位置を算出することができる。
【００８２】
［第２の具体例：１種類の光からなる照射パターンを用いた位置検出方法］
次に、図１１に基づいて、１種類の光からなる照射パターンを用いた検出対象の位置検出方法について説明する。なお、図１１は、１種類の光からなる照射パターン２１０を用いたときの、照射パターン２１０および検出対象の位置関係と、それに基づく照射パターン２１０の移動方向を示す説明図である。
【００８３】
本例では、１種類の光からなる照射パターン２１０により照射パターン２１０と検出対象との位置関係を把握する。このとき、照射パターン２１０は、図１１に示すように、第１の光層２１２と、第２の光層２１４との２つの光層からなる。第１の光層２１２と第２の光層２１４とは、ｙ方向に所定の距離を有して設けられる。各光層２１２、２１４は、同一種類の光からなるため、同時に照射される。本例のように、１種類の光からなる照射パターン２１０を用いることにより、その光が照射される照射タイミングで画像を撮像すればよく、位置検出装置１００の構成を簡易にすることができる。
【００８４】
照射パターン２１０と指先との位置関係は、第１の具体例と同様に、指Ｆに照射パターン２１０がどのくらい照射されているかによって判定することができる。本例では、以下の３つの状況から、照射パターン２１０と指先との位置関係を判定する。まず、１つめの状況として、図１１（ａ）に示すように、指先が照射パターン２１０に触れていない場合がある。すなわち、照射パターン２１０は指先からみて奥側（ｙ軸正方向側）に位置する場合である。２つめの状況は、図１１（ｂ）に示すように、指先が第１の光層２１２にのみ触れている場合である。そして、３つめの状況は、図１１（ｃ）に示すように、指先が第１の光層２１２および第２の光層２１４に触れている場合である。
【００８５】
本例では、照射パターン２１０と指先との目標とする位置関係（目標位置関係）を、図１１（ｂ）に示す位置とする。このため、情報処理部１５０は、照射パターン２１０と指先との位置関係が図１１（ｂ）に示す目標位置となるように、照射パターン２１０の照射位置を移動させる移動情報を生成する。まず、指Ｆと照射パターン２１０との位置関係が目標位置である図１１（ｂ）の状況となっている場合には、照射パターン２１０の第１の光層２１２が指先に的確に照射されていると判定される。この場合、情報処理部１５０は、照射パターン２１０を移動させず、現在の位置で継続して照射させる。
【００８６】
次に、指Ｆと照射パターン２１０との位置関係が図１１（ａ）の状況である場合には、指先は第１の光層２１２に触れていないため、図１１（ｂ）に示す目標位置とするために照射パターン２１０を手前側（ｙ軸負方向側）へ移動させなければならない。そこで、情報処理部１５０は、照射パターン２１０を手前側に移動させる移動情報を生成して、照射部１１０へ出力する。一方、指Ｆと照射パターン２１０との位置関係が図１１（ｃ）の状況である場合には、指先は第１の光層２１２より奥側にある第２の光層２１４に触れている。このため、図１１（ｂ）に示す目標位置とするためには、照射パターン２１０を奥側へ移動させなければならない。そこで、情報処理部１５０は、照射パターン２１０を奥側に移動させる移動情報を生成して、照射部１１０へ出力する。
【００８７】
このように、情報処理部１５０は、照射パターン２１０と指先との位置関係を認識して、照射パターン２１０の第１の光層２１２が指先を照射するように、照射パターン２１０の照射位置を制御する。これにより、照射パターン２１０が常に指先を照射するようにすることができる。なお、第１の光層２１２と第２の光層２１４とは、近接させ過ぎると指先が第１の光層２１２および第２の光層２１４に触れ易くなり、第１の光層２１２のみに触れる状態とするのが困難になる。そうすると、照射パターン２１０の照射位置が安定せず、検出位置を不用意に変動させてしまうことになる。このため、第１の光層２１２と第２の光層２１４とは、例えば数ミリ程度の間隔を設けるのがよい。
【００８８】
本例の方法により取得された検出対象の位置は、第１の具体例と同様に、検出対象の三次元空間における位置を検出するための情報として用いることができる。すなわち、撮像部１４０により撮像される画像と照射部１１０を視点とした照射画像とにおいて、エピポーラ幾何を適用することにより、検出対象の三次元空間での位置を取得することができる。
【００８９】
以上、本発明の実施形態にかかる位置検出装置１００とこれを用いた位置検出方法について説明した。本実施形態によれば、照射パターン２００、２１０が照射される空間を、当該照射パターン２００、２１０が照射されるタイミングで撮像部１４０により撮像する。位置検出装置１００の情報処理部１５０は、撮像された画像を解析して、検出対象が照射パターンに照射されている部分を特定し、検出対象と照射パターンとの位置関係を取得する。そして、情報処理部１５０は、その位置関係が目標とする目標位置関係となるように、照射パターン２００、２１０の照射位置を移動する移動情報を生成する。照射部１１０は、生成された移動情報に基づいて、照射パターン２００、２１０の照射位置を移動する。これにより、位置検出装置１００は、空間内の検出対象の三次元位置を安定して高精度に取得することが可能となる。
【００９０】
［検出対象の三次元位置情報の利用例］
このように取得された検出対象の三次元位置情報は、種々のジェスチャインタフェースに用いることか可能となる。例えば、指先を二次元あるは三次元のマウスポインタとして利用することができる。あるいは、複数の指先によるジェスチャを認識して、入力情報として用いることができる。例えば親指と人差し指との間隔の調整により画像のスケールを制御したり、手全体を回転させて画像をスクロールさせたりすることができる。また、両手による操作、例えば両手で照射パターンを奥側に押したり手前に引いたりする等の操作で、三次元空間を前後に移動させることもできる。さらには、照射パターンの方向によって三次元ナビゲーションを行うことも可能となる。
【００９１】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【００９２】
例えば、上記実施形態では、照射パターンを照射する照射部１１０としてＤＬＰプロジェクターを用いたが、本発明はかかる例に限定されない。例えば、複数本からなる線状の移動可能なレーザ光を出力する線レーザモジュールを用いてもよい。このような線レーザモジュールをモータ等で駆動制御して２自由度の角度変位を可能とすれば、線レーザの角度変位制御を行うことによって、上記実施形態と同等の処理が可能となる。
【符号の説明】
【００９３】
１００          位置検出装置
１１０          照射部
１２０          検出部
１３０          撮像制御部
１４０          撮像部
１５０          情報処理部
２００、２１０  照射パターン
２０２、２１２  第１の光層
２０４、２１４  第２の光層
２０６          第３の光層
【図１】
0005423222.tif 000003
【図２】
0005423222.tif 000004
【図３】
0005423222.tif 000005
【図４Ａ】
0005423222.tif 000006
【図４Ｂ】
0005423222.tif 000007
【図５】
0005423222.tif 000008
【図６】
0005423222.tif 000009
【図７】
0005423222.tif 000010
【図８】
0005423222.tif 000011
【図９】
0005423222.tif 000012
【図１０】
0005423222.tif 000013
【図１１】
0005423222.tif 000014