(57)【特許請求の範囲】
【請求項１】
画像表示面を撮像する撮像装置と、前記画像表示面に検出用画像を表示する検出用画像表示装置と、を有する画像表示ユニットで用いられる画像認識装置であって、
前記撮像装置が取得した画像から、前記撮像装置と前記画像表示面との間にある対象物を検知し、前記対象物の計測対象点を判定する計測点判定部と、
前記撮像装置と前記検出用画像表示装置の位置関係から決定され、かつ、前記計測対象点を通るエピポーラ線上に、周期的なパターンを備える線状パターンを、前記検出用画像表示装置に表示させる線状パターン表示部と、
前記撮像装置が取得した前記線状パターンを含む画像から、当該画像に含まれる前記線状パターンと前記対象物が存在しないときの前記線状パターンとの差異を判定するパターン判定部と、を有することを特徴とする画像認識装置。
【請求項２】
前記パターン判定部は、前記線状パターンの連続性を判定する請求項１に記載の画像認識装置。
【請求項３】
前記線状パターンは、輝度が第１周期で変化する第１線状パターンを有する請求項１または２に記載の画像認識装置。
【請求項４】
前記線状パターンは、輝度が第１周期で変化する第１線状パターンと、輝度が前記第１周期と異なる第２周期で変化する第２線状パターンと、を有する請求項１または２に記載の画像認識装置。
【請求項５】
前記第１線状パターンおよび前記第２線状パターンは、異なる時刻に表示される請求項４に記載の画像認識装置。
【請求項６】
前記第１線状パターンおよび前記第２線状パターンは、前記エピポーラ線と交差する方向に並んで表示される請求項４に記載の画像認識装置。
【請求項７】
前記線状パターンは、近赤外線で生成される請求項１ないし６のいずれか１項に記載の画像認識装置。
【請求項８】
前記線状パターンは、前記エピポーラ線に対して傾斜した部分を有する線分を含む請求項１または２に記載の画像認識装置。
【請求項９】
前記画像表示ユニットは、前記画像表示面に照明光を照射する照明光照射装置を有し、
前記計測点判定部は、前記撮像装置が取得した前記照明光を含む画像から前記対象物を検知する請求項１ないし８のいずれか１項に記載の画像認識装置。
【請求項１０】
前記照明光は、前記エピポーラ線の延在方向に沿って輝度が周期的に変化するパターンを有する請求項９に記載の画像認識装置。
【請求項１１】
前記照明光の前記周期的に変化するパターンの各々には、位置を特定するアドレスが付与されている請求項１０に記載の画像認識装置。
【請求項１２】
画像表示面を撮像する撮像装置と、前記画像表示面に検出用画像を表示する検出用画像表示装置と、を有する画像表示ユニットで用いられる画像認識方法であって、
前記撮像装置が取得した画像から、前記撮像装置と前記画像表示面との間にある対象物を検知し、前記対象物の計測対象点を判定する計測点判定ステップと、
前記検出用画像表示装置に、前記計測対象点を通り、前記撮像装置と前記検出用画像表示装置の位置関係から決定されるエピポーラ線上に輝度が周期的に変化する線状パターンを表示させる線状パターン表示ステップと、
前記撮像装置が取得した前記線状パターンを含む画像から、当該画像に含まれる前記線状パターンと前記対象物が存在しないときの前記線状パターンとの差異を判定するパターン判定ステップと、を有することを特徴とする画像認識方法。
【請求項１３】
請求項１ないし１１のいずれか１項に記載の画像認識装置と、
前記撮像装置と、
前記検出用画像表示装置と、を有することを特徴とする画像認識ユニット。
【請求項１４】
前記画像表示面に画像を表示する画像表示装置を有する請求項１３に記載の画像認識ユニット。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識装置、画像認識方法および画像認識ユニットに関するものである。
【背景技術】
【０００２】
プロジェクターからの画像が投影されたスクリーンに指が触れているかいないかを検知する画像認識技術として、特許文献１の技術が知られている。特許文献１の画像認識技術では、まず、スクリーン上に格子パターンの構造光を投影し、次に、前記指の位置における格子パターンの変化を撮像装置（カメラ）からの画像に基づいて確認することでタッチ認識を行っている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】ＵＳ２０１１／０２５４８１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の画像認識技術では、撮像装置から見たときの指の奥行き方向の位置検知精度が悪く、それに伴って、タッチ認識の精度も悪いという問題がある。
【０００５】
本発明の目的は、精度の高いタッチ認識を行うことのできる画像認識装置、画像認識方法および画像認識ユニットを提供することにある。
【課題を解決するための手段】
【０００６】
このような目的は、下記の本発明により達成される。
本発明の画像認識装置は、画像表示面を撮像する撮像装置と、前記画像表示面に検出用画像を表示する検出用画像表示装置と、を有する画像表示ユニットで用いられる画像認識装置であって、
前記撮像装置が取得した画像から、前記撮像装置と前記画像表示面との間にある対象物を検知し、前記対象物の計測対象点を判定する計測点判定部と、
前記撮像装置と前記検出用画像表示装置の位置関係から決定され、かつ、前記計測対象点を通るエピポーラ線上に、周期的なパターンを備える線状パターンを、前記検出用画像表示装置に表示させる線状パターン表示部と、
前記撮像装置が取得した前記線状パターンを含む画像から、当該画像に含まれる前記線状パターンと前記対象物が存在しないときの前記線状パターンとの差異を判定するパターン判定部と、を有することを特徴とする。
これにより、パターン判定部の判定結果に基づいて、高い精度でタッチ認識（対象物が画像表示面に接触しているか接触してないかの判断）を行うことができる。
【０００７】
本発明の画像認識装置では、前記パターン判定部は、前記線状パターンの連続性を判定することが好ましい。
このように、線状パターンの連続性を判定することで、より高い精度でタッチ認識を行うことができる。
【０００８】
本発明の画像認識装置では、前記線状パターンは、輝度が第１周期で変化する第１線状パターンを有することが好ましい。
これにより、線状パターンの構成が簡単となる。
【０００９】
本発明の画像認識装置では、前記線状パターンは、輝度が第１周期で変化する第１線状パターンと、輝度が前記第１周期と異なる第２周期で変化する第２線状パターンと、を有することが好ましい。
これにより、より精度の高いタッチ認識を行うことができる。
【００１０】
本発明の画像認識装置では、前記第１線状パターンおよび前記第２線状パターンは、異なる時刻に表示されることが好ましい。
これにより、第１線状パターンと第２線状パターンとを同じ位置に表示することができるため、より精度の高いタッチ認識を行うことができる。
【００１１】
本発明の画像認識装置では、前記第１線状パターンおよび前記第２線状パターンは、前記エピポーラ線と交差する方向に並んで表示されることが好ましい。
これにより、第１線状パターンと第２線状パターンを同時に表示することができるため、タッチ認識の周期を短くすることができる。
【００１２】
本発明の画像認識装置では、前記線状パターンは、近赤外線で生成されることが好ましい。
これにより、線状パターンが視認されず、例えば、線状パターンによって画像表示面に表示される画像が劣化することがない。
【００１３】
本発明の画像認識装置では、前記線状パターンは、前記エピポーラ線に対して傾斜した部分を有する線分を含むことが好ましい。
これにより、線状パターンの差異をより正確に判定することができ、より高い精度のタッチ認識が可能となる。
【００１４】
本発明の画像認識装置では、前記画像表示ユニットは、前記画像表示面に照明光を照射する照明光照射装置を有し、
前記計測点判定部は、前記撮像装置が取得した前記照明光を含む画像から前記対象物を検知することが好ましい。
これにより、精度よく対象物を検知することができる。
【００１５】
本発明の画像認識装置では、前記照明光は、前記エピポーラ線の延在方向に沿って輝度が周期的に変化するパターンを有することが好ましい。
これにより、精度よく対象物を検知することができる。
【００１６】
本発明の画像認識装置では、前記照明光の前記周期的に変化するパターンの各々には、位置を特定するアドレスが付与されていることが好ましい。
これにより、対象物が検知されたアドレス付近にのみ線状パターンを表示させればよいため、線状パターンの差異の判定を短時間で行うことができる。また、線状パターンの周期を短くすることができるため、精度よく対象物を検出することができる。
【００１７】
本発明の画像認識方法は、画像表示面を撮像する撮像装置と、前記画像表示面に検出用画像を表示する検出用画像表示装置と、を有する画像表示ユニットで用いられる画像認識方法であって、
前記撮像装置が取得した画像から、前記撮像装置と前記画像表示面との間にある対象物を検知し、前記対象物の計測対象点を判定する計測点判定ステップと、
前記検出用画像表示装置に、前記計測対象点を通り、前記撮像装置と前記検出用画像表示装置の位置関係から決定されるエピポーラ線上に輝度が周期的に変化する線状パターンを表示させる線状パターン表示ステップと、
前記撮像装置が取得した前記線状パターンを含む画像から、当該画像に含まれる前記線状パターンと前記対象物が存在しないときの前記線状パターンとの差異を判定するパターン判定ステップと、を有することを特徴とする。
これにより、パターン判定ステップの判定結果に基づいて、高い精度でタッチ認識を行うことができる。
【００１８】
本発明の画像認識ユニットは、本発明の画像認識装置と、
前記撮像装置と、
前記検出用画像表示装置と、を有することを特徴とする。
これにより、高い精度でタッチ認識を行うことのできる画像認識ユニットが得られる。
【００１９】
本発明の画像認識ユニットでは、前記画像表示面に画像を表示する画像表示装置を有することが好ましい。
これにより、画像表示面に所望の画像を表示することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の第１実施形態に係る画像認識ユニットの構成を示す図である。
【図２】図１に示すプロジェクターの構成図である。
【図３】図１に示すプロジェクターの構成図である。
【図４】図３に示すプロジェクターが備える走査部の平面図である。
【図５】図１に示す画像認識装置のブロック図である。
【図６】エピポーラ線について説明する図である。
【図７】線状パターンを示す図である。
【図８】指先がスクリーンに触れている状態において取得される線状パターンの画像を示す図である。
【図９】指先がスクリーンに触れていない状態において取得される線状パターンの画像を示す図である。
【図１０】本発明の第２実施形態に係る画像認識ユニットで用いられる線状パターンを示す図である。
【図１１】本発明の第３実施形態に係る画像認識ユニットで用いられる周期パターンを示す図である。
【図１２】図１１に示す線状パターンを用いたタッチ認識の方法を説明する図である。
【図１３】図１１に示す線状パターンを用いたタッチ認識の方法を説明する図である。
【図１４】本発明の第４実施形態に係る画像認識ユニットで用いられる周期パターンを示す図である。
【図１５】本発明の第５実施形態に係る画像認識ユニットで用いられる周期パターンを示す図である。
【図１６】指先がスクリーンに触れている状態において取得される線状パターンの画像を示す図である。
【図１７】指先がスクリーンに触れていない状態において取得される線状パターンの画像を示す図である。
【図１８】本発明の第６実施形態に係る画像認識ユニットで用いられる周期パターンを示す図である。
【図１９】図１８に示す線状パターンを用いたタッチ認識の方法を説明する図である。
【図２０】本発明の第７実施形態に係る画像認識ユニットで用いられる照明光を示す図である。
【図２１】図２０に示す照明光を用いた指の検知方法を説明する図である。
【図２２】図２０に示す照明光を用いた指の検知方法を説明する図である。
【図２３】本発明の第８実施形態に係る画像認識ユニットで用いられる照明光を示す平面図である。
【図２４】指を構成する物質の波長吸収特性を示すグラフである。
【図２５】本発明の第９実施形態に係る画像認識ユニットで用いられる照明光を示す図である。
【図２６】照明光へのアドレス付与を説明する図である。
【図２７】タッチ認識方法を説明する図である。
【図２８】タッチ認識方法を説明する図である。
【図２９】本発明の第１０実施形態に係る画像認識ユニットで用いられるプロジェクターの構成図である。
【発明を実施するための形態】
【００２１】
以下、本発明の画像認識装置、画像認識方法および画像認識ユニットの好適な実施形態について、添付図面を参照しつつ説明する。
【００２２】
＜第１実施形態＞
まず、第１実施形態に係る画像認識ユニットについて説明する。
【００２３】
図１は、本発明の第１実施形態に係る画像認識ユニットの構成を示す図である。図２は、図１に示すプロジェクターの構成図である。図３は、図１に示すプロジェクターの構成図である。図４は、図３に示すプロジェクターが備える走査部の平面図である。図５は、図１に示す画像認識装置のブロック図である。図６は、エピポーラ線について説明する図である。図７は、線状パターンを示す図である。図８は、指先がスクリーンに触れている状態において取得される線状パターンの画像を示す図である。図９は、指先がスクリーンに触れていない状態において取得される線状パターンの画像を示す図である。
【００２４】
図１に示す画像認識ユニット１００は、例えば、平坦なスクリーン（画像表示面）９００に指（対象物）Ｆが接触しているか否かを判定し、判定結果に基づいてスクリーン９００に表示する画像を切り替えることのできる装置である。なお、以下では、スクリーン９００に指Ｆが接触しているか否かの判断を「タッチ認識」と言う。このような画像認識ユニット１００は、例えば、プレゼンテーションに用いることができ、プレゼンターの指のタッチ認識を行って、必要時にスクリーン９００に映し出される画像を切り替えたり、拡大または縮小したりすることで、プレゼンテーションをスムーズに進行することが可能となる。
【００２５】
ただし、画像表示面としては、スクリーン９００に限定されず、例えば、壁、ガラス等であってもよい。また、画像表示面は、平坦でなくてもよく、球面や凹凸面であってもよい。また、画像表示面は、経時的に形状が変化してもよい。また、タッチ認識を行う対象物としては、指Ｆに限定されず、例えば、指し棒、スクリーン９００に吸着したマグネット等であってもよい。また、画像認識ユニット１００の用途としては、プレゼンテーションに限定されず、例えば、デパート等の店舗案内、取扱商品の紹介・検索等、様々な用途に用いることができる。
【００２６】
このような画像認識ユニット１００は、図１に示すように、スクリーン９００に画像を表示するプロジェクター（画像表示装置）２００と、スクリーン９００に検出用画像を表示するプロジェクター（検出用画像表示装置）３００と、スクリーン９００を撮像するカメラ（撮像装置）４００と、を有する画像表示ユニットと、タッチ認識を行う画像認識装置５００と、を有する。
【００２７】
プロジェクター３００およびカメラ４００は、異なる位置に配置されている。また、プロジェクター３００およびカメラ４００の相対的（幾何的）な位置関係は一定であり、位置関係に関する情報は、画像認識装置５００が有する図示しない記憶部に記憶され、適宜使用される。
【００２８】
以下、プロジェクター２００、プロジェクター３００、カメラ４００および画像認識装置５００について順に説明する。
【００２９】
［プロジェクター２００］
プロジェクター２００は、観察者に視認させたい画像（例えば、プレゼンテーション用の画像）をスクリーン９００に表示する装置である。
【００３０】
このようなプロジェクター２００は、ＬＣＤ方式のプロジェクターであり、図２に示すように、液晶表示素子２４０Ｒ、２４０Ｇ、２４０Ｂと、ダイクロイックプリズム２５０と、投射レンズ系２６０と、を備えている。そして、液晶表示素子２４０Ｒには赤色光Ｒが入射し、液晶表示素子２４０Ｇには緑色光Ｇが入射し、液晶表示素子２４０Ｂには青色光Ｂが入射する。
【００３１】
液晶表示素子２４０Ｒ、２４０Ｇ、２４０Ｂは、それぞれＲ、Ｇ、Ｂの原色に対応する透過型の空間光変調器であり、液晶表示素子２４０Ｒ、２４０Ｇ、２４０Ｂによってそれぞれ空間的に変調された光は、ダイクロイックプリズム２５０で合成され、ダイクロイックプリズム２５０からフルカラーの映像光Ｌａが出射される。そして、出射された映像光Ｌａは、投射レンズ系２６０によって拡大されてスクリーン９００に投射される。これにより、スクリーン９００に画像が表示される。
【００３２】
以上、プロジェクター２００について説明したが、プロジェクター２００としては、スクリーン９００に画像を表示することができれば、ＬＣＤ方式のプロジェクターに限定されず、例えば、光走査方式のプロジェクターであってもよいし、ＤＭＤ方式のプロジェクターであってもよい。
【００３３】
［プロジェクター３００］
プロジェクター３００は、タッチ認識を行うための検出用画像（後述する線状パターン８００）をスクリーン９００に表示する装置である。
【００３４】
このようなプロジェクター３００は、光走査型のプロジェクターであり、図３に示すように、光源３１０と、走査部３２０と、図示しない投射レンズ系と、を備えている。
【００３５】
光源３１０は、赤色のレーザー光を射出する光源３１１Ｒと、緑色のレーザー光を射出する光源３１１Ｇと、青色のレーザー光を射出する光源３１１Ｂと、光源３１１Ｒ、３１１Ｇ、３１１Ｂから出射された光を平行光化するコリメータレンズ３１２Ｒ、３１２Ｇ、３１２Ｂと、光合成部３１３と、集光レンズ３１４と、を有する。
【００３６】
光合成部３１３は、光源３１１Ｒ、３１１Ｇ、３１１Ｂからのレーザー光を合成して変調光Ｌｂを生成する要素であり、３つのダイクロイックミラー３１３ａ、３１３ｂ、３１３ｃを有する。そして、光合成部３１３で生成された変調光Ｌｂは、集光レンズ３１４によって所望のＮＡ（開口数）に変更された後、走査部３２０に導かれる。
【００３７】
走査部３２０は、２軸まわりに揺動可能な光スキャナーであり、図４に示すように、ミラー３３１を有する可動部３３０と、可動部３３０を軸Ｊ１まわりに揺動可能に支持する軸部３４１、３４２と、軸部３４１、３４２を支持する駆動枠部３５０と、駆動枠部３５０を軸Ｊ１に直交する軸Ｊ２まわりに揺動可能に支持する軸部３６１、３６２と、軸部３６１、３６２を支持する枠状の支持部３７０と、を有する。このような走査部３２０では、図示しない駆動手段によって、駆動枠部３５０を支持部３７０に対して軸Ｊ２まわりに揺動させつつ、可動部３３０を駆動枠部３５０に対して軸Ｊ１まわりに揺動させることで、ミラー３３１で反射した変調光Ｌｂを２次元的に走査することができる。
【００３８】
そして、走査部３２０で走査された変調光Ｌｂは、図示しない投射レンズ系によって拡大されてスクリーン９００に投射される。これにより、スクリーン９００に線状パターン８００が表示される。
【００３９】
以上、プロジェクター３００について説明したが、プロジェクター３００としては、スクリーン９００に線状パターン８００を表示することができれば、光走査方式のプロジェクターに限定されず、例えば、ＬＣＤ方式のプロジェクターであってもよいし、ＤＭＤ方式のプロジェクターであってもよい。また、光走査方式のプロジェクターであっても、上記の構成に限定されず、例えば、１軸揺動型の光スキャナーを２つ用いて変調光Ｌｂを２次走査してもよい。
【００４０】
［カメラ４００］
カメラ４００は、スクリーン９００を撮像するための装置である。このようなカメラ４００は、例えば、ＲＧＢカメラであり、レンズ系４１１および撮像素子４１２を備える受光ユニット４１０と、撮像素子４１２からの映像信号を処理する図示しない処理部と、を有する。
【００４１】
［画像認識装置］
画像認識装置５００は、前述したプロジェクター３００およびカメラ４００を用いてタッチ認識を行う装置である。
【００４２】
このような画像認識装置５００は、図５に示すように、計測点判定部５１０と、線状パターン表示部５２０と、パターン判定部５３０と、を有する。
【００４３】
計測点判定部５１０は、カメラ４００が取得した画像から、カメラ４００とスクリーン９００との間に位置する指Ｆを検知し、さらに、指Ｆの指先Ｆ１を計測対象点として判定する（計測点判定ステップ）。指先Ｆ１の判定方法としては、特に限定されず、種々の方法を用いることができる。例えば、カメラ４００が取得した画像からＨＳＶ表色系を用いて肌色類似領域（指Ｆの色と似ている色を持つ領域）を抽出し、さらに、抽出した肌色類似領域の輪郭形状から指先Ｆ１と類似の輪郭形状を有する部分を検出し、検出した部分を指先Ｆ１として判定することができる。
【００４４】
線状パターン表示部５２０は、プロジェクター３００に、指先Ｆ１を通るエピポーラ線ＥＬ（ＥＬ’）上に線状パターン８００を表示させる（線状パターン表示ステップ）。
【００４５】
ここで、エピポーラ線ＥＬについて簡単に説明する。エピポーラ線ＥＬは、プロジェクター３００とカメラ４００の幾何的（相対的）な位置関係によって決定する線である。具体的には、図６に示すように、カメラ４００のカメラ中心（レンズ系４１１の主点）Ｃ１と走査部３２０の変調光Ｌｂを走査する際の角度変更中心（ミラー３３１の中心）Ｃ２とを結ぶ直線（ベースライン）ｌ２と、プロジェクター３００の仮想画像平面π２との交点をエピポーラ点Ｐｅと言い、仮想画像平面π２内においてエピポーラ点Ｐｅを通る全ての直線をエピポーラ線ＥＬと言う。
【００４６】
また、図６に示すように、指先Ｆ１がカメラ４００の画像に含まれていれば、カメラ４００の画像平面π１内での指先Ｆ１の座標（面内座標）ｘが決定される。この座標ｘとカメラ中心Ｃ１とを通る直線ｌ１と直線ｌ２とによって規定される平面をエピポーラ平面Σと言う。そして、エピポーラ平面Σと仮想画像平面π２とが交差してできる直線ｌ３と一致するエピポーラ線ＥＬを「エピポーラ線ＥＬ’」とした場合、エピポーラ線ＥＬ’上のどこかに指先Ｆ１が位置することになる。
【００４７】
線状パターン８００は、図７に示すように、周期的なパターンを有し、輝度が一定のピッチで周期的に変化している。具体的には、線状パターン８００は、所定の輝度を有する第１領域８１０と、第１領域８１０とは異なる輝度を有する第２領域８２０と、を有し、これらが等間隔で交互に配置されたパターンである。第１領域８１０および第２領域８２０の輝度は、コントラスト比がなるべく高くなるように設定される。これにより、より高精度なタッチ認識が可能となる。ただし、線状パターン８００としては、タッチ認識に用いることができれば、これに限定されず、例えば、第１、第２領域８１０、８２０とは異なる輝度を有する第３領域を有していてもよいし、輝度勾配を有する（輝度が連続的に変化する）パターンであってもよい。
【００４８】
パターン判定部５３０は、カメラ４００が取得した画像から、指先Ｆ１を含む状態でスクリーン９００に投影された線状パターン８００と指先Ｆ１が存在しない状態でスクリーン９００に投影される線状パターン８００とのパターンの差異（変化）を判定し、その判定結果に基づいてタッチ認識を行う（パターン判定ステップ）。パターン判定の例としては、パターン判定部５３０は、カメラ４００が取得した画像から、スクリーン９００に投影された線状パターン８００の連続性を判定し、その判定結果に基づいてタッチ認識を行うことができる。このように、線状パターン８００の連続性を判定することで、より精度の高いタッチ認識が可能となる。
【００４９】
具体的には、まず、パターン判定部５３０は、カメラ４００が取得した画像をステレオ平行化した画像（以下「ステレオ平行化画像」とも言う）を得る。ステレオ平行化画像では、後述する図８および図９のように、スクリーン９００の表面の凹凸や指先Ｆ１の形状等に関係なく、全てのエピポーラ線ＥＬが水平方向（紙面横方向）に沿う直線となる。そのため、線状パターン８００も水平方向に沿うこととなり、線状パターン８００の差異の判定を容易にかつ高精度に行うことができる。
【００５０】
次に、パターン判定部５３０は、ステレオ平行化画像中の線状パターン８００の差異（例えば連続性）を判定してタッチ認識を行う。なお、ステレオ平行化画像内での指先Ｆ１の位置が分かっているため、線状パターン８００の全域についてパターンの差異を判定する必要はなく、指先Ｆ１付近の領域についてのみパターンの差異を判定すればよい。これにより、計算負荷を低減することができる。
【００５１】
指先Ｆ１がスクリーン９００に接触している場合（すなわち、指先Ｆ１の深度がスクリーン９００の深度にほぼ一致している場合）のステレオ平行化画像Ｐ１１では、図８に示すように、線状パターン８００は、連続した形となる。これに対して、指先Ｆ１がスクリーン９００に接触していない場合のステレオ平行化画像Ｐ１１では、図９に示すように、線状パターン８００は、その一部が指先Ｆ１の影となり、途中で途切れた形となる。また、線状パターン８００は、指先Ｆ１の周囲で周期不連続が発生する。そのため、パターン判定部５３０は、ステレオ平行化画像Ｐ１１中において線状パターン８００が連続性を有していれば、指先Ｆ１がスクリーン９００に接触している「接触状態」と判定し、連続性を有していなければ、指先Ｆ１がスクリーン９００に接触していない「非接触状態」と判定する。
【００５２】
なお、パターン判定部５３０の判定方法としては、これに限定されない。例えば、プロジェクター３００の位置や、指先Ｆ１の形状や大きさ（個人差）等によっては、指先Ｆ１がスクリーン９００に接触しているにも関わらず影が生じる場合もある。そのため、影部分の長さに閾値を設け、閾値未満であれば「接触状態」と判定し、閾値以上であれば「非接触状態」と判定してもよい。
【００５３】
パターン判定部５３０は、判定結果が「接触状態」であったとき、その判定結果を図示しない制御部に送信する。この判定結果を受けた制御部は、プロジェクター２００に対して、例えば、スクリーン９００に表示されている画像を拡大または縮小する命令や、画像を切り替える命令等、指先Ｆ１の接触位置によって定められている画面操作命令を送信する。このような制御を行うことで、指先Ｆ１でスクリーン９００をタッチするだけで、スクリーン９００に表示される画像を操作することができるため、利便性の高い画像認識ユニット１００となる。
【００５４】
以上のように、計測点判定ステップと、線状パターン表示ステップと、パターン判定ステップと、を行うことが画像認識装置５００によるタッチ認識の手順（画像認識方法）であり、この手順を所定の周期で繰り返し行うことで、タッチ認識を繰り返し行うことができる。
【００５５】
例えば、まず、ｎフレーム目のステレオ平行化画像Ｐｎを取得する（ステップ１）。次に、ステレオ平行化画像Ｐｎでの指先Ｆ１の位置を判定する（ステップ２）。次に、ステレオ平行化画像Ｐｎで判定した指先Ｆ１を通る線状パターン８００を表示する（ステップ３）。次に、線状パターン８００を表示した状態で、ｎ＋１フレーム目のステレオ平行化画像Ｐｎ＋１を取得する（ステップ４）。次に、ステレオ平行化画像Ｐｎ＋１から線状パターン８００の差異を判定して、ステレオ平行化画像Ｐｎ＋１を取得した時刻におけるタッチ認識を行うと共に、ステレオ平行化画像Ｐｎ＋１での指先Ｆ１の位置を判定する（ステップ５）。次に、ステレオ平行化画像Ｐｎ＋１で判定した指先Ｆ１を通る線状パターン８００を表示する（ステップ６）。次に、線状パターン８００を表示した状態で、ｎ＋２フレーム目のステレオ平行化画像Ｐｎ＋２を取得する（ステップ７）。次に、ステレオ平行化画像Ｐｎ＋２から線状パターン８００の差異を判定して、ステレオ平行化画像Ｐｎ＋２を取得した時刻におけるタッチ認識を行うと共に、ステレオ平行化画像Ｐｎ＋２での指先Ｆ１の位置を判定する（ステップ８）。このようなステップを繰り返すことで、連続したタッチ認識が可能となる。特に、ステップ５、８のように、１つの画像を用いてタッチ認識と指先Ｆ１の位置判定とを行うことで、タッチ認識の周期を短くすることができ、より遅延時間の少ないタッチ認識が可能となる。
【００５６】
このような画像認識装置５００によれば、計算負荷を低減でき、かつ、精度の高いタッチ認識が可能となる。また、エピポーラ線ＥＬは、スクリーン９００の３次元的な位置や表面形状とは関係なく、プロジェクター３００とカメラ４００の幾何的な位置によって求まる線である。そのため、プロジェクター３００とカメラ４００の幾何的な位置を一度設定してしまえば、スクリーン９００の位置や形状に影響されることなく、タッチ認識を行うことができる。
【００５７】
＜第２実施形態＞
次に、本発明の第２実施形態に係る画像認識ユニットについて説明する。
【００５８】
図１０は、本発明の第２実施形態に係る画像認識ユニットで用いられる線状パターンを示す図である。
【００５９】
以下、本発明の第２実施形態に係る画像認識ユニットについて説明するが、前述した実施形態との相違点を中心に説明し、同様の事項はその説明を省略する。
【００６０】
第２実施形態の画像認識ユニットは、線状パターンが異なること以外は、前述した第１実施形態と同様である。なお、前述した実施形態と同様の構成には、同一符号を付してある。
【００６１】
本実施形態の線状パターン８００は、図１０に示すステレオ平行化画像のように、指先Ｆ１よりも幅が広くなっている。そのため、線状パターン８００には、指先Ｆ１上に投影される領域８００ａと、スクリーン９００に投影される領域８００ｂとがエピポーラ線ＥＬの幅方向に並んで形成され、領域８００ａ、８００ｂの境界部にパターンの変動を生じさせることができる。そのため、指先Ｆ１付近において生じた線状パターン８００の変動が、例えばスクリーン９００の表面の凹凸に起因して発生したものであるか（連続性のある変動）、または、指先Ｆ１に起因して発生したものなのか（不連続な変動）を把握（区別）することができる。このような情報をさらに用いることで、タッチ認識をより高精度に行うことが可能となる。
【００６２】
以上のような第２実施形態によっても、上述した第１実施形態と同様の効果を発揮することができる。
【００６３】
＜第３実施形態＞
次に、本発明の第３実施形態に係る画像認識ユニットについて説明する。
【００６４】
図１１は、本発明の第３実施形態に係る画像認識ユニットで用いられる周期パターンを示す図である。図１２および図１３は、それぞれ、図１１に示す線状パターンを用いたタッチ認識の方法を説明する図である。
【００６５】
以下、本発明の第３実施形態に係る画像認識ユニットについて説明するが、前述した実施形態との相違点を中心に説明し、同様の事項はその説明を省略する。
【００６６】
第３実施形態の画像認識ユニットは、線状パターンが異なること以外は、前述した第１実施形態と同様である。なお、前述した実施形態と同様の構成には、同一符号を付してある。
【００６７】
前述した第１実施形態では、線状パターン８００の連続性を判定することでタッチ認識を行っている。しかしながら、線状パターン８００の周期や周囲の環境によっては、安定して線状パターン８００の連続性（すなわち影や不連続周期の存在）を判定することが困難な場合も考えられる。そこで、本実施形態では、主に、スクリーン９００と指先Ｆ１の間での線状パターン８００の周期変動（パターンずれ）に基づいて指先Ｆ１の深度（画像奥行き方向の位置）を検知することでタッチ認識を行う。以下、具体的に説明する。
【００６８】
本実施形態の線状パターン８００は、図１１に示すように、輝度が一定の第１周期（ピッチ）Ｔ１で変化する第１線状パターン８００Ａと、輝度が第１周期Ｔ１と異なる一定の第２周期（ピッチ）Ｔ２で変化する第２線状パターン８００Ｂと、を有する。また、第１線状パターン８００Ａと第２線状パターン８００Ｂは、エピポーラ線ＥＬ（ＥＬ’）の幅方向（エピポーラ線ＥＬと交差する方向）に並んで配置されている。また、第１線状パターン８００Ａおよび第２線状パターン８００Ｂは、エピポーラ線ＥＬを挟んで反対側に位置する。すなわち、第１線状パターン８００Ａおよび第２線状パターン８００Ｂの境界に沿ってエピポーラ線ＥＬが位置する。
【００６９】
ここで、第２周期Ｔ２としては、特に限定されないが、第１周期Ｔ１の２倍未満であることが好ましい。第２周期Ｔ２を第１周期Ｔ１の２倍以上にすると、第２線状パターン８００Ｂの１周期内に、第１線状パターン８００Ａが２周期以上含まれることになる。そのため、使用環境等によっては、後述する指先Ｆ１の深度解析の正確性が低下するおそれがある。なお、本実施形態では、第２周期Ｔ２は、第１周期Ｔ１の１．７５倍となっている。この理由については、後に説明する。
【００７０】
このような線状パターン８００をエピポーラ線ＥＬ’上に表示すると、スクリーン９００上に線状パターン８００が投影されると共に、指先Ｆ１上にも線状パターン８００が投影される。そして、スクリーン９００上の線状パターン８００と、指先Ｆ１上の線状パターン８００との間には、指先Ｆ１の深度に基づいた周期変動（パターンずれ）が発生している。
【００７１】
パターン判定部５３０は、この周期変動に基づいて指先Ｆ１の深度を検知し、検知した深度に基づいてタッチ認識を行う。具体的には、まず、図１２に示すようなステレオ平行化画像Ｐ２１を取得する。次に、スクリーン９００上に映る第１、第２線状パターン８００Ａ、８００Ｂの深度解析を行って、スクリーン９００の指先Ｆ１と重なる位置の深度を検知（推測）すると共に、指先Ｆ１上に映る第１、第２線状パターン８００Ａ、８００Ｂの深度解析を行って、指先Ｆ１の深度を検知する。
【００７２】
そして、第１線状パターン８００Ａの解析結果および第２線状パターン８００Ｂの解析結果の少なくとも一方において、指先Ｆ１の深度がスクリーン９００の深度と一致していなければ、パターン判定部５３０は、指先Ｆ１がスクリーン９００に触れていない「非接触状態」と判定する。一方、第１線状パターン８００Ａの解析結果および第２線状パターン８００Ｂの解析結果の両方において、指先Ｆ１の深度が、スクリーン９００の深度と一致している場合には、パターン判定部５３０は、さらに、次のような判定を行う。
【００７３】
例えば、第１線状パターン８００Ａについて説明すると、図１３に示すように、指先Ｆ１がスクリーン９００から離れていても、その離れ方が第１線状パターン８００Ａの周期の整数倍に相当する周期変動（パターンずれ）を生じさせる場合には、非接触状態であるにも関わらず、指先Ｆ１上のパターンが、指先Ｆ１がスクリーン９００に接触している接触状態と同じ画像が得られてしまう（以下、この現象を「フェーズ・ラッピング」と言う）。このことは、第２線状パターン８００Ｂについても同様である。
【００７４】
そのため、指先Ｆ１の離れ方が、第１線状パターン８００Ａの周期の整数倍に相当する周期変動を生じさせ、かつ、第２線状パターン８００Ｂの周期の整数倍に相当する周期変動を生じさせる場合にはフェーズ・ラッピングが生じる。そこで、接触状態なのか、フェーズ・ラッピングが生じている状態なのかを区別する必要がある。なお、前述したように、第２線状パターン８００Ｂの長さの周期（第２周期Ｔ２）は、第１線状パターン８００Ａの長さの周期（第１周期Ｔ１）の１．７５倍である。このような関係とすることで、両周期の最小公倍数を比較的大きくすることができるため（すなわち、第１周期Ｔ１の７倍、第２周期Ｔ２の４倍）、フェーズ・ラッピングが生じる条件をより低くすることができる。
【００７５】
接触状態なのか、フェーズ・ラッピングが生じている状態なのかを区別する方法としては、特に限定されないが、次のような方法がある。すなわち、接触状態の場合のステレオ平行化画像では、スクリーン９００に指先Ｆ１が接触していることから、スクリーン９００上に指先Ｆ１による影が生じない。一方、フェーズ・ラッピングが生じている場合のステレオ平行化画像では、スクリーン９００から指先Ｆ１が離れていることから、スクリーン９００上に指先Ｆ１による影が生じる。そのため、パターン判定部５３０は、ステレオ平行化画像中においてスクリーン９００に指先Ｆ１による影が生じていなければ「接触状態」と判定し、影が生じていればフェーズ・ラッピングが生じている「フェーズ・ラッピング状態」と判定することができる。
【００７６】
なお、プロジェクター３００やカメラ４００の配置、指先Ｆ１の形状や大きさ（個人差）等によっては、接触状態であっても、スクリーン９００上に影が生じてしまう場合もある。そのため、影の幅（大きさ）に閾値を設け、閾値未満であれば「接触状態」と判定し、閾値以上であれば「フェーズ・ラッピング状態」と判定してもよい。
【００７７】
このような構成によれば、フェーズ・ラッピングの発生を低減することができ、精度の高いタッチ認識を行うことができる。反対に、フェーズ・ラッピングの発生が抑えられている分、第１線状パターン８００Ａおよび第２線状パターン８００Ｂの周期を短くすることができ、その分、より精度の高いタッチ認識が可能となるとも言える。
【００７８】
以上のような第３実施形態によっても、上述した第１実施形態と同様の効果を発揮することができる。
【００７９】
＜第４実施形態＞
次に、本発明の第４実施形態に係る画像認識ユニットについて説明する。
【００８０】
図１４は、本発明の第４実施形態に係る画像認識ユニットで用いられる周期パターンを示す図である。
【００８１】
以下、本発明の第４実施形態に係る画像認識ユニットについて説明するが、前述した実施形態との相違点を中心に説明し、同様の事項はその説明を省略する。
【００８２】
第４実施形態の画像認識ユニットは、線状パターンが異なること以外は、前述した第３実施形態と同様である。なお、前述した実施形態と同様の構成には、同一符号を付してある。
【００８３】
本実施形態の画像認識ユニット１００では、図１４に示すように、第１線状パターン８００Ａと第２線状パターン８００Ｂとを異なる時刻に表示する（時分割で表示する）。具体的には、第１線状パターン８００Ａと第２線状パターン８００Ｂとを所定の周期で交互に表示する。このような構成によれば、第１線状パターン８００Ａと第２線状パターン８００Ｂとを同じ位置に表示することができるため、より精度の高いタッチ認識が可能となる。
【００８４】
以上のような第４実施形態によっても、上述した第１実施形態と同様の効果を発揮することができる。
【００８５】
＜第５実施形態＞
次に、本発明の第５実施形態に係る画像認識ユニットについて説明する。
【００８６】
図１５は、本発明の第５実施形態に係る画像認識ユニットで用いられる周期パターンを示す図である。図１６は、指先がスクリーンに触れている状態において取得される線状パターンの画像を示す図である。図１７は、指先がスクリーンに触れていない状態において取得される線状パターンの画像を示す図である。
【００８７】
以下、本発明の第５実施形態に係る画像認識ユニットについて説明するが、前述した実施形態との相違点を中心に説明し、同様の事項はその説明を省略する。
【００８８】
第５実施形態の画像認識ユニットは、線状パターンが異なること以外は、前述した第１実施形態と同様である。なお、前述した実施形態と同様の構成には、同一符号を付してある。
【００８９】
本実施形態の線状パターン８００は、エピポーラ線ＥＬ（ＥＬ’）に対して傾斜した部分（非平行な部分）を有する線分を含み、本実施形態では、図１５に示すような正弦波形状となっている。線状パターン８００は、エピポーラ線ＥＬから両側に等しい距離離間し、かつ、エピポーラ線ＥＬと平行な線分Ｌ５１、Ｌ５２の間に位置している。すなわち、本実施形態では、正弦波の上下の山の頂点がエピポーラ線ＥＬからそれぞれ等距離に位置している。線分Ｌ５１、Ｌ５２の離間距離としては、特に限定されないが、指先Ｆ１の幅とほぼ等しいか、指先Ｆ１の幅よりも大きいことが好ましい。
【００９０】
このように、エピポーラ線ＥＬに対して傾斜した部分を有する線状パターン８００を用いると、次のような方法でタッチ認識が可能となる。指先Ｆ１がスクリーン９００に接触している場合のステレオ平行化画像Ｐ５１では、図１６に示すように、指先Ｆ１上の線状パターン８００がスクリーン９００上の線状パターン８００に対して水平方向（紙面横方向）にずれるものの、その連続性はほぼ維持される。すなわち、スクリーン９００と指先Ｆ１との境界部Ａにおいても線状パターン８００が連続した状態となる。
【００９１】
これに対して、指先Ｆ１がスクリーン９００に接触していない場合のステレオ平行化画像Ｐ５２では、図１７に示すように、指先Ｆ１上の線状パターン８００がスクリーン９００上の線状パターン８００に対して水平方向に大きくずれ、その連続性が失われる。すなわち、スクリーン９００と指先Ｆ１との境界部Ａにおいて、線状パターン８００が不連続な状態となる。
【００９２】
そのため、パターン判定部５３０は、境界部Ａにおける線状パターン８００の連続性を判定することで、高い精度のタッチ認識が可能となる。
【００９３】
以上のような第５実施形態によっても、上述した第１実施形態と同様の効果を発揮することができる。
【００９４】
なお、線状パターン８００の形状としては、エピポーラ線ＥＬに対して傾斜した部分（非平行な部分）を有していれば、正弦波形状に限定されず、例えば、三角波形状、鋸波形状等であってもよい。
【００９５】
＜第６実施形態＞
次に、本発明の第６実施形態に係る画像認識ユニットについて説明する。
【００９６】
図１８は、本発明の第６実施形態に係る画像認識ユニットで用いられる周期パターンを示す図である。図１９は、図１８に示す線状パターンを用いたタッチ認識の方法を説明する図である。
【００９７】
以下、本発明の第６実施形態に係る画像認識ユニットについて説明するが、前述した実施形態との相違点を中心に説明し、同様の事項はその説明を省略する。
【００９８】
第６実施形態の画像認識ユニットは、線状パターンが異なること以外は、前述した第５実施形態と同様である。なお、前述した実施形態と同様の構成には、同一符号を付してある。
【００９９】
前述した第５実施形態において、指先Ｆ１がスクリーン９００に接触している場合には境界部Ａにおいても線状パターン８００の連続性が維持されることを説明したが、指先Ｆ１の形状や大きさによっては、連続性が失われる場合も考えられ、このような場合には誤ったタッチ認識が行われるおそれがある。そこで、本実施形態の線状パターン８００を用いることで、上記の問題点を効果的に解消することができる。
【０１００】
本実施形態の線状パターン８００は、図１８に示すように、輪郭が正弦波形状をなしており、かつ、輪郭とエピポーラ線ＥＬ（ＥＬ’）とで囲まれた領域Ｓ内が所定の輝度で埋められた構成となっている。このような構成とすると、ステレオ平行化画像から、領域Ｓの輪郭の連続性を容易に判定することができる。
【０１０１】
前述したように、指先Ｆ１がスクリーン９００に接触しているか否かに関わらず、境界部Ａにおいて線状パターン８００の連続性が失われるかもしれないが、このような場合でも、図１９に示すように、指先Ｆ１がスクリーン９００に接触している場合の線状パターン８００の位置の変動量（不連続性の大きさ）Ｄ１は、指先Ｆ１がスクリーン９００に接触していない場合の変動量Ｄ２よりも小さくなる。そのため、ある程度の変動量Ｄ３を閾値とし、変動量が変動量Ｄ３よりも小さければ「接触状態」と判定し、変動量が変動量Ｄ３よりも大きければ「非接触状態」と判定すればよい。
【０１０２】
このような方法によれば、より精度の高いタッチ認識が可能となる。また、本実施形態の線状パターン８００によれば、外光等によって周辺環境が変動する環境においても、正確な解析が可能となる。また、線状パターン８００の周期（ピッチ）を比較的大きくしてもタッチ認識の精度低下を招くおそれが少ない。
【０１０３】
以上のような第６実施形態によっても、上述した第１実施形態と同様の効果を発揮することができる。
【０１０４】
なお、線状パターン８００の形状としては、エピポーラ線ＥＬに対して傾斜した成分（非平行な成分）を有していれば、正弦波形状に限定されず、例えば、三角波形状、鋸波形状等であってもよい。
【０１０５】
＜第７実施形態＞
次に、本発明の第７実施形態に係る画像認識ユニットについて説明する。
【０１０６】
図２０は、本発明の第７実施形態に係る画像認識ユニットで用いられる照明光を示す図である。図２１および図２２は、それぞれ、図２０に示す照明光を用いた指の検知方法を説明する図である。
【０１０７】
以下、本発明の第７実施形態に係る画像認識ユニットについて説明するが、前述した実施形態との相違点を中心に説明し、同様の事項はその説明を省略する。
【０１０８】
第７実施形態の画像認識ユニットは、ＮＩＲ光（８００〜２５００ｎｍ程度の波長を有する近赤外線）を用いて指Ｆを検知しタッチ認識を行うこと以外は、主に、前述した第１実施形態と同様である。なお、前述した実施形態と同様の構成には、同一符号を付してある。
【０１０９】
本実施形態の画像認識ユニット１００では、カメラ４００として、ＮＩＲ光を撮像可能なＮＩＲカメラを用いる。
【０１１０】
また、本実施形態の画像認識ユニット１００では、プロジェクター３００により照射される線状パターン８００をＮＩＲ光で生成する。この場合、前述した第１実施形態で説明したプロジェクター３００の光源３１０を、ＮＩＲレーザーを出射できる構成に変更すればよい。線状パターン８００をＮＩＲ光とすることで、プロジェクター２００からの映像を劣化させることがなく、さらには、外光が入射する環境下においても、線状パターン８００の高コントラスト（第１領域８１０と第２領域８２０の輝度差）を発揮することができる。
【０１１１】
また、画像認識ユニット１００は、プロジェクター２００、プロジェクター３００、カメラ４００および画像認識装置５００に加えて、さらに、図２０に示すように、スクリーン９００に照明光ＬＬを照射するプロジェクター（照明光照射装置）６００を有する。プロジェクター６００は、スクリーン９００の全域に広がるようにＮＩＲ光からなる照明光ＬＬを照射する。このような照明光ＬＬは、後述するように、指Ｆの検出精度を高めるために用いられる。
【０１１２】
照明光ＬＬは、紙面縦方向（線状パターン８００に交差する方向）に延びる輝線ＬＬａが横方向に周期的に並んだ格子状パターンとなっている。このようなパターンとすることで、共にＮＩＲ光である照明光ＬＬと線状パターン８００とを容易に区別することができる。ただし、照明光ＬＬのパターンは、特に限定されず、例えば、輝線ＬＬａが線状パターン８００に対して斜めになっていてもよいし、円弧状に湾曲していてもよい。また、例えば、照明光ＬＬと線状パターン８００とを異なる時刻に表示（時分割で表示）することで、照明光ＬＬと線状パターン８００とを区別することができる。
【０１１３】
次に、照明光ＬＬの機能について説明する。プロジェクター２００からの画像がスクリーン９００に表示されている状態では、プロジェクター２００からの光によって指Ｆ上にも様々な色（色相、彩度、輝度）の光が照射される。そのため、計測点判定部５１０でのＨＳＶ表色系による肌色類似領域の抽出が困難となり、指先Ｆ１の判定を精度よく行うことができない場合も考えられる。そこで、指先Ｆ１の検出精度を高めるために照明光ＬＬが用いられる。
【０１１４】
照明光ＬＬの利用方法を説明すると、まず、指Ｆが存在しない状態でスクリーン９００上に照射された照明光ＬＬの画像をカメラ４００で取得し、そのステレオ平行化画像を図２１に示す基準ステレオ平行化画像Ｐ７１として記憶する。そして、計測点判定部５１０は、使用中にカメラ４００で取得され、ステレオ平行化された比較ステレオ平行化画像Ｐ７２と基準ステレオ平行化画像Ｐ７１との差分に基づいて指Ｆを抽出する。例えば、比較ステレオ平行化画像Ｐ７２に指Ｆが存在している場合には、図２２に示すように、スクリーン９００上の照明光ＬＬと指Ｆ上の照明光ＬＬにずれが生じるため、計測点判定部５１０は、このずれ（差分）から指Ｆを抽出することができる。指Ｆを抽出した後の処理（指先Ｆ１の判定からタッチ認識）は、前述した第１実施形態と同様である。
【０１１５】
ここで、照明光ＬＬの周期は、線状パターン８００の周期とほぼ等しいことが好ましい。これにより、パターン判定部５３０による線状パターン８００の連続性の判定を基準ステレオ平行化画像Ｐ７１との比較により行うことができる。そのため、より精度よく線状パターン８００の連続性を判定することができる。
【０１１６】
このような構成によれば、プロジェクター２００によってスクリーン９００に表示される画像に影響を受けることなく、より精度よく指Ｆの抽出を行うことができる。また、照明光ＬＬとして、人間に視認されないＮＩＲ光を用いているため、プロジェクター２００からの映像を劣化させるおそれもない。特に、本実施形態のように、格子パターンの照明光ＬＬを用いると、基準ステレオ平行化画像Ｐ７１と比較ステレオ平行化画像Ｐ７２とを２値化した画像で両者を比較することができるため、指Ｆの抽出が外部環境の影響を受け難くなる。
【０１１７】
プロジェクター６００の構成としては、照明光ＬＬを照射することができれば特に限定されない。例えば、ＮＩＲレーザーを出射する光源と、光源から出射されたＮＩＲレーザーを回折する回折格子と、を有する構成としてもよいし、ＮＩＲ光を出射することのできる光源を有する液晶型のプロジェクター、光走査型のプロジェクター、ＤＭＤ型のプロジェクターを用いてもよい。また、プロジェクター２００がプロジェクター６００を兼ねていてもよい。すなわち、プロジェクター２００が、映像光および照明光ＬＬを照射する構成となっていてもよい。この場合には、例えば、プロジェクター２００が、赤色光、緑色光、青色光、ＮＩＲ光を同時に照射するように構成してもよいし、時分割で照射するように構成してよい。時分割で照射する場合、赤色光、緑色光、青色光をスクリーン９００上で合成されることで映像が生成され、ＮＩＲ光で照明光ＬＬが生成される。
【０１１８】
以上のような第７実施形態によっても、上述した第１実施形態と同様の効果を発揮することができる。
【０１１９】
なお、本実施形態では、格子状のパターンを有する照明光ＬＬを用いているが、パターンを有さないベタな照明光ＬＬであってもよい。すなわち、照明光ＬＬは、スクリーン９００の全域を一様に照らすものであってもよい。このような照明光ＬＬによっても指とスクリーンの輝度値の違いにより指Ｆを抽出することができる。特に、本実施形態と比較して、格子状のパターンを生成するための回折格子等が要らなくなる点で、装置の簡素化を図ることができる。
【０１２０】
また、本実施形態の画像認識ユニット１００では、線状パターン８００をＮＩＲ光で生成しているが、線状パターン８００を可視光で生成してもよい。ただし、この場合は、ＮＩＲ光と可視光の２バンドを撮像可能なカメラ４００とする必要がる。
【０１２１】
＜第８実施形態＞
次に、本発明の第８実施形態に係る画像認識ユニットについて説明する。
【０１２２】
図２３は、本発明の第８実施形態に係る画像認識ユニットで用いられる照明光を示す平面図である。図２４は、指を構成する物質の波長吸収特性を示すグラフである。
【０１２３】
以下、本発明の第８実施形態に係る画像認識ユニットについて説明するが、前述した実施形態との相違点を中心に説明し、同様の事項はその説明を省略する。
【０１２４】
第８実施形態の画像認識ユニットは、照明光の構成が異なること以外は、主に、前述した第７実施形態と同様である。なお、前述した実施形態と同様の構成には、同一符号を付してある。
【０１２５】
前述した第７実施形態では、指Ｆの抽出に基準ステレオ平行化画像Ｐ７１を用いなければならないため、例えば、スクリーン９００の位置が変化する場合や、スクリーン９００の形状が変化する場合（すなわち、指Ｆの背景が変化する場合）には、その都度、基準ステレオ平行化画像Ｐ７１を取得し直さなければならず、指Ｆの抽出をスムーズに行うことができない。すなわち、前述した第７実施形態は、スクリーン９００の位置や形状が固定されている場合に、特に優れた効果を発揮する。これに対して、これから述べる本実施形態では、基準ステレオ平行化画像を必要としないため、スクリーン９００の位置が変化する場合や、スクリーン９００形状が変化する場合であっても、スムーズに指Ｆを抽出することができる。
【０１２６】
本実施形態の照明光ＬＬは、図２３に示すように、第１波長を有する第１照明光ＬＬ１と、第１波長と異なる第２波長を有する第２照明光ＬＬ２と、を含んでいる。そして、第１照明光ＬＬ１と第２照明光ＬＬ２とが同時に照射される。ただし、第１照明光ＬＬ１と第２照明光ＬＬ２とが異なる時刻に（時分割で）照射されてもよい。また、第１照明光ＬＬ１および第２照明光ＬＬ２は、共に、パターンを持たないベタな光であり、照射領域内を一様（均等）に照らすようになっている。
【０１２７】
また、第１照明光ＬＬ１と第２照明光ＬＬ２は、共にＮＩＲ光であり、かつ、指Ｆによる波長吸収特性が異なっている。図２４は、指Ｆを構成する物質の波長吸収特性を示すグラフである。同図に示すように、例えば、８００ｎｍ付近および１０５０ｎｍ付近では水およびヘモグロビンによる光吸収が周辺の波長に比べて少ないのに対して、９７０ｎｍ付近では、水およびヘモグロビンによる光吸収が周辺の波長に比べて多い。そのため、本実施形態では、第１照明光ＬＬ１の波長を８００ｎｍとし、第２照明光ＬＬ２の波長を９７０ｎｍとしている。ただし、第１、第２照明光ＬＬ１、ＬＬ２の波長としては、波長吸収特性が異なっていれば特に限定されず、対象物の構成によって適宜設定することができる。
【０１２８】
また、カメラ４００は、第１照明光ＬＬ１による第１画像と、第２照明光ＬＬ２による第２画像を同時に取得可能な２バンドカメラである。前述した波長吸収特性の異なりから第１画像と第２画像に差が生じるため、計測点判定部５１０は、第１画像と第２画像とを比較することで、指Ｆの抽出を行うことができる。このような手法は、「マルチスペクトルセンシング」、「ハイパースペクトルセンシング」等として公知である。
【０１２９】
このような構成によれば、前述した第７実施形態のような基準ステレオ平行化画像が必要ないため、スクリーン９００の位置が変化する場合や、スクリーン９００の形状が変化する場合であっても、スムーズに指Ｆを抽出することができる。
【０１３０】
以上のような第８実施形態によっても、上述した第１実施形態と同様の効果を発揮することができる。
【０１３１】
＜第９実施形態＞
次に、本発明の第９実施形態に係る画像認識ユニットについて説明する。
【０１３２】
図２５は、本発明の第９実施形態に係る画像認識ユニットで用いられる照明光を示す図である。図２６は、照明光へのアドレス付与を説明する図である。図２７および図２８は、それぞれ、タッチ認識方法を説明する図である。
【０１３３】
以下、本発明の第９実施形態に係る画像認識ユニットについて説明するが、前述した実施形態との相違点を中心に説明し、同様の事項はその説明を省略する。
【０１３４】
第９実施形態の画像認識ユニットは、照明光ＬＬにアドレスが設定されていること以外は、前述した第７実施形態と同様である。なお、前述した実施形態と同様の構成には、同一符号を付してある。
【０１３５】
本実施形態では、図２５に示すように、照明光ＬＬの長さの周期（照明光ＬＬの繰り返しパターンに含まれる輝線ＬＬａの幅および隣り合う輝線ＬＬａ間の幅）が指先Ｆ１の幅よりも大きく設定されている。また、図２６に示すように、ステレオ平行化画像Ｐ９１は、事前に用意されたアドレッシング画像Ｐ９２と照合され、ステレオ平行化画像Ｐ９１中の照明光ＬＬにアドレスが付与される。アドレスの付与方法としては、特に限定されないが、各アドレスに識別パターンを配置する方法が挙げられる。計測点判定部５１０は、指先Ｆ１を判定すると共に、付与されたアドレスに基づいて指先Ｆ１が位置するアドレスを特定する。図示の例では、アドレス［Ｎ＋６］に指先Ｆ１が位置している。
【０１３６】
線状パターン表示部５２０は、図２７に示すステレオ平行化画像のように、指先Ｆ１が位置するアドレスを含む比較的小さい領域に線状パターン８００を表示させる。このように、指先Ｆ１が検知されたアドレス付近にのみ線状パターン８００を表示させることにより、線状パターン８００の差異の判定を短時間で行うことができる。また、線状パターン８００の周期を短くすることができるため、精度よく指先Ｆ１を検出することができる。なお、図示の例では、指先Ｆ１が位置するアドレス［Ｎ＋６］と、その両隣のアドレス［Ｎ＋５］、［Ｎ＋７］に線状パターン８００を表示させている。
【０１３７】
このとき、指先Ｆ１がスクリーン９００に接触しているか、接触していなくてもスクリーン９００との離間距離が短い場合（照明光ＬＬの１周期に相当する距離以内の場合）には、線状パターン８００が指先Ｆ１上にも照射される。そのため、この時のステレオ平行化画像Ｐ９１は、図２７に示すように、指先Ｆ１上に線状パターン８００が照射された画像となる。一方、指先Ｆ１がスクリーン９００に接触しておらず、スクリーン９００との離間距離が長い場合（照明光ＬＬの１周期に相当する距離を超える場合）には、線状パターン８００が指先Ｆ１上に照射されず、ステレオ平行化画像Ｐ９１は、図２８に示すように、指先Ｆ１によって線状パターン８００の一部が遮られた画像となる。
【０１３８】
このような画像の違いから、指先Ｆ１がスクリーン９００から大きく離間している状態を排除することができ、指先Ｆ１がスクリーン９００に接触しているか、接触していなくてもスクリーン９００との離間距離が短い場合についてのみ、線状パターン８００の連続性を判定してタッチ認識を行えばよい。そのため、タッチ認識の計算負荷が低減され、かつ、精度の高いタッチ認識が可能となる。さらには、フェーズ・ラッピングを効果的に抑制することができるため、線状パターン８００の周期を短くすることができ、より精度の高いタッチ認識が可能となる。
【０１３９】
なお、アドレッシング画像Ｐ９２の取得タイミングとしては、特に限定されず、スクリーン９００の構成によっても異なる。例えば、スクリーン９００が固定されており、その形状が変化しないのであれば、アドレッシング画像Ｐ９２は、プロジェクター２００による画像表示を行う前に取得しておけばよい。一方、スクリーン９００の位置が変化する場合や、スクリーン９００の形状が変化する場合には、連続してアドレッシング画像Ｐ９２を取得し、直前に取得したアドレッシング画像Ｐ９２を用いてステレオ平行化画像Ｐ９１にアドレスを付与すればよい。
【０１４０】
以上のような第９実施形態によっても、上述した第１実施形態と同様の効果を発揮することができる。
【０１４１】
なお、本実施形態では、照明光ＬＬおよび線状パターン８００がＮＩＲ光で生成されているが、これらを可視光で生成してもよい。照明光ＬＬを可視光で生成する場合には、プロジェクター２００の画像が劣化しないように、画像が表示される領域の外側に照明光ＬＬを照射し、前記領域内のアドレスについては、その外側に照射された照明光ＬＬの状態から予測して決定すればよい。また、前述したように、線状パターン８００は、比較的狭い範囲にのみ表示されるため、線状パターン８００を可視光で生成しても、プロジェクター２００の画像が大きく劣化することはない。
【０１４２】
＜第１０実施形態＞
次に、本発明の第１０実施形態に係る画像認識ユニットについて説明する。
【０１４３】
図２９は、本発明の第１０実施形態に係る画像認識ユニットで用いられるプロジェクターの構成図である。
【０１４４】
以下、本発明の第１０実施形態に係る画像認識ユニットについて説明するが、前述した実施形態との相違点を中心に説明し、同様の事項はその説明を省略する。
【０１４５】
第１０実施形態の画像認識ユニットは、プロジェクター２００がプロジェクター３００を兼ねていること以外は、前述した第１実施形態と同様である。なお、前述した実施形態と同様の構成には、同一符号を付してある。
【０１４６】
本実施形態のプロジェクター２００は、前述した第１実施形態で説明した構成とほぼ同様であるが、図２９に示すように、液晶表示素子２４０Ｒに赤色光Ｒと共にＮＩＲ光が入射するようになっている。赤色光Ｒは、緑色光Ｇおよび青色光Ｂと比較してＮＩＲ光との波長の差が小さいため、比較的簡単に同一の光学系を実現することができる。このような構成のプロジェクター２００によれば、画像と線状パターン８００を同時にスクリーン９００に投影することができる。なお、本実施形態のプロジェクター２００によれば、線状パターン８００は、第１領域８１０が赤色光およびＮＩＲ光で構成され、第２領域８２０が赤色とは異なる色（ＮＩＲ光ＯＦＦ状態）で構成される。このような線状パターン８００によれば、スクリーン９００上での明るさを抑えつつ、かつ、第１領域８１０と第２領域８２０の高いコントラストが得られるため、より精度の高いタッチ認識が可能となる。
【０１４７】
以上のような第１０実施形態によっても、上述した第１実施形態と同様の効果を発揮することができる。
【０１４８】
以上、本発明の画像認識装置、画像認識方法および画像認識ユニットについて、図示の実施形態に基づいて説明したが、本発明はこれに限定されるものではない。例えば、本発明の画像認識装置では、各部の構成は、同様の機能を有する任意の構成のものに置換することができ、また、他の任意の構成を付加することもできる。
【符号の説明】
【０１４９】
１００…画像認識ユニット、２００…プロジェクター、２４０Ｂ、２４０Ｇ、２４０Ｒ…液晶表示素子、２５０…ダイクロイックプリズム、２６０…投射レンズ系、３００…プロジェクター、３１０…光源、３１１Ｂ、３１１Ｇ、３１１Ｒ…光源、３１２Ｂ、３１２Ｇ、３１２Ｒ…コリメータレンズ、３１３…光合成部、３１３ａ、３１３ｂ、３１３ｃ…ダイクロイックミラー、３１４…集光レンズ、３２０…走査部、３３０…可動部、３３１…ミラー、３４１、３４２…軸部、３５０…駆動枠部、３６１、３６２…軸部、３７０…支持部、４００…カメラ、４１０…受光ユニット、４１１…レンズ系、４１２…撮像素子、５００…画像認識装置、５１０…計測点判定部、５２０…線状パターン表示部、５３０…パターン判定部、６００…プロジェクター、８００…線状パターン、８００Ａ…第１線状パターン、８００Ｂ…第２線状パターン、８００ａ…領域、８００ｂ…領域、８１０…第１領域、８２０…第２領域、９００…スクリーン、Ａ…境界部、Ｂ…青色光、Ｃ１…カメラ中心、Ｃ２…角度変更中心、Ｄ１、Ｄ２、Ｄ３…変動量、ＥＬ、ＥＬ’…エピポーラ線、Ｆ…指、Ｆ１…指先、Ｇ…緑色光、Ｊ１、Ｊ２…軸、ｌ１、ｌ２、ｌ３…直線、Ｌ５１、Ｌ５２…線分、ＬＬ…照明光、ＬＬ１…第１照明光、ＬＬ２…第２照明光、ＬＬａ…輝線、Ｌａ…映像光、Ｌｂ…変調光、Ｐ１１、Ｐ２１、Ｐ５１、Ｐ５２…ステレオ平行化画像、Ｐ７１…基準ステレオ平行化画像、Ｐ７２…比較ステレオ平行化画像、Ｐ９１…ステレオ平行化画像、Ｐ９２…アドレッシング画像、Ｐｅ…エピポーラ点、Ｒ…赤色光、Ｓ…領域、Ｔ１…第１周期、Ｔ２…第２周期、ｘ…座標、Σ…エピポーラ平面、π１…画像平面、π２…仮想画像平面
【図１】
0006668763.tif 000002
【図２】
0006668763.tif 000003
【図３】
0006668763.tif 000004
【図４】
0006668763.tif 000005
【図５】
0006668763.tif 000006
【図６】
0006668763.tif 000007
【図７】
0006668763.tif 000008
【図８】
0006668763.tif 000009
【図９】
0006668763.tif 000010
【図１０】
0006668763.tif 000011
【図１１】
0006668763.tif 000012
【図１２】
0006668763.tif 000013
【図１３】
0006668763.tif 000014
【図１４】
0006668763.tif 000015
【図１５】
0006668763.tif 000016
【図１６】
0006668763.tif 000017
【図１７】
0006668763.tif 000018
【図１８】
0006668763.tif 000019
【図１９】
0006668763.tif 000020
【図２０】
0006668763.tif 000021
【図２１】
0006668763.tif 000022
【図２２】
0006668763.tif 000023
【図２３】
0006668763.tif 000024
【図２４】
0006668763.tif 000025
【図２５】
0006668763.tif 000026
【図２６】
0006668763.tif 000027
【図２７】
0006668763.tif 000028
【図２８】
0006668763.tif 000029
【図２９】
0006668763.tif 000030