(57)【特許請求の範囲】
【請求項１】
画像表示面を撮像する撮像装置と、前記画像表示面に検出用画像を表示する検出用画像表示装置と、を有する画像表示ユニットで用いられる画像認識装置であって、
前記検出用画像表示装置に、前記撮像装置と前記検出用画像表示装置の位置関係から決定されるエピポーラ線と平行な方向に沿って輝度が第１周期で変化する第１線状パターンと、前記エピポーラ線と平行な方向に沿って輝度が前記第１周期と異なる第２周期で変化する第２線状パターンと、を有する第１パターンを表示させるパターン表示部と、
前記撮像装置と前記画像表示面との間にある対象物を検知し、前記対象物の計測対象点を判定する計測点判定部と、
前記撮像装置が取得した前記計測対象点および前記第１パターンを含む画像に基づいて、前記画像表示面に対する前記計測対象点の位置を検知する位置検知部と、を有することを特徴とする画像認識装置。
【請求項２】
前記第２周期は、前記第１周期の２倍未満である請求項１に記載の画像認識装置。
【請求項３】
前記第１パターンは、前記エピポーラ線と平行な方向に沿って第３周期を有する複数の領域に分割され、前記複数の領域の各々に位置を特定するアドレスが付与されている請求項１または２に記載の画像認識装置。
【請求項４】
前記第３周期は、前記第１周期と前記第２周期の最小公倍数に等しい請求項３に記載の画像認識装置。
【請求項５】
前記パターン表示部は、前記検出用画像表示装置に、前記計測対象点を通る前記エピポーラ線に沿う線状の第２パターンを、前記計測対象点が位置する前記領域を除くように表示させる請求項３または４に記載の画像認識装置。
【請求項６】
前記パターン表示部は、前記検出用画像表示装置に、前記計測対象点が位置する前記領域、および、前記計測対象点が位置する前記領域と隣り合う２つの領域とに跨る第２パターンを表示させる請求項３または４に記載の画像認識装置。
【請求項７】
前記パターン表示部は、前記検出用画像表示装置に、前記エピポーラ線と平行な方向に沿う線状パターンを有し、
隣り合う前記複数の領域の前記線状パターンが前記エピポーラ線と交差する方向にずれて配置される第２パターンを表示させる請求項３または４に記載の画像認識装置。
【請求項８】
画像表示面を撮像する撮像装置と、前記画像表示面に検出用画像を表示する検出用画像表示装置と、を有する画像表示ユニットで用いられる画像認識方法であって、
前記検出用画像表示装置に、前記撮像装置と前記検出用画像表示装置の位置関係から決定されるエピポーラ線と平行な方向に沿って輝度が第１周期で変化する第１線状パターンと、前記エピポーラ線と平行な方向に沿って輝度が前記第１周期と異なる第２周期で変化する第２線状パターンと、を有する第１パターンを表示させるパターン表示ステップと、
前記撮像装置と前記画像表示面との間にある対象物を検知し、前記対象物の計測対象点を判定する計測点判定ステップと、
前記撮像装置が取得した前記計測対象点および前記第１パターンを含む画像に基づいて、前記画像表示面に対する前記計測対象点の位置を検知する位置検知ステップと、を有することを特徴とする画像認識方法。
【請求項９】
請求項１ないし７のいずれか１項に記載の画像認識装置と、
前記撮像装置と、
前記検出用画像表示装置と、を有することを特徴とする画像認識ユニット。
【請求項１０】
前記画像表示面に画像を表示する画像表示装置を有する請求項９に記載の画像認識ユニット。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識装置、画像認識方法および画像認識ユニットに関するものである。
【背景技術】
【０００２】
プロジェクターからの画像が投影されたスクリーンに指が触れているかいないかを検知する画像認識技術として、特許文献１の技術が知られている。特許文献１の画像認識技術では、まず、スクリーン上に格子パターンの構造光を投影し、次に、前記指の位置における格子パターンの変化を撮像装置（カメラ）からの画像に基づいて確認することでタッチ認識を行っている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】ＵＳ２０１１／０２５４８１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の画像認識技術では、撮像装置から見たときの指の奥行き方向の位置検知精度が悪く、それに伴って、タッチ認識の精度も悪いという問題がある。
【０００５】
本発明の目的は、精度の高いタッチ認識を行うことのできる画像認識装置、画像認識方法および画像認識ユニットを提供することにある。
【課題を解決するための手段】
【０００６】
このような目的は、下記の本発明により達成される。
【０００７】
本発明の画像認識装置は、画像表示面を撮像する撮像装置と、前記画像表示面に検出用画像を表示する検出用画像表示装置と、を有する画像表示ユニットで用いられる画像認識装置であって、
前記検出用画像表示装置に、前記撮像装置と前記検出用画像表示装置の位置関係から決定されるエピポーラ線と平行な方向に沿って輝度が第１周期で変化する第１線状パターンと、前記エピポーラ線と平行な方向に沿って輝度が前記第１周期と異なる第２周期で変化する第２線状パターンと、を有する第１パターンを表示させるパターン表示部と、
前記撮像装置と前記画像表示面との間にある対象物を検知し、前記対象物の計測対象点を判定する計測点判定部と、
前記撮像装置が取得した前記計測対象点および前記第１パターンを含む画像に基づいて、前記画像表示面に対する前記計測対象点の位置を検知する位置検知部と、を有することを特徴とする。
これにより、位置検知部の検知結果に基づいて、高い精度でタッチ認識（対象物が画像表示面に接触しているか接触していないかの判断）を行うことができる。
【０００８】
本発明の画像認識装置では、前記第２周期は、前記第１周期の２倍未満であることが好ましい。
これにより、より精度の高いタッチ認識を行うことができる。
【０００９】
本発明の画像認識装置では、前記第１パターンは、前記エピポーラ線と平行な方向に沿って第３周期を有する複数の領域に分割され、前記複数の領域の各々に位置を特定するアドレスが付与されていることが好ましい。
これにより、検出対象点が位置するアドレスを検知することができ、検知したアドレスに基づいて補助的なパターン（後述の第２パターン等）を表示することができる。そのため、より精度の高いタッチ認識を行うことができる。
【００１０】
本発明の画像認識装置では、前記第３周期は、前記第１周期と前記第２周期の最小公倍数に等しいことが好ましい。
これにより、フェーズ・ラッピングが生じる可能性が減り、より精度の高いタッチ認識が可能となる（なお、フェーズ・ラッピングについては後述する）。
【００１１】
本発明の画像認識装置では、前記パターン表示部は、前記検出用画像表示装置に、前記計測対象点を通る前記エピポーラ線に沿う線状の第２パターンを、前記計測対象点が位置する前記領域を除くように表示させることが好ましい。
これにより、フェーズ・ラッピングを区別することができ、より精度の高いタッチ認識が可能となる。
【００１２】
本発明の画像認識装置では、前記パターン表示部は、前記検出用画像表示装置に、前記計測対象点が位置する前記領域、および、前記計測対象点が位置する前記領域と隣り合う２つの領域とに跨る第２パターンを表示させることが好ましい。
これにより、フェーズ・ラッピングを区別することができ、より精度の高いタッチ認識が可能となる。
【００１３】
本発明の画像認識装置では、前記パターン表示部は、前記検出用画像表示装置に、前記エピポーラ線と平行な方向に沿う線状パターンを有し、
隣り合う前記複数の領域の前記線状パターンが前記エピポーラ線と交差する方向にずれて配置される第２パターンを表示させることが好ましい。
これにより、フェーズ・ラッピングを区別することができ、より精度の高いタッチ認識が可能となる。
【００１４】
本発明の画像認識方法は、画像表示面を撮像する撮像装置と、前記画像表示面に検出用画像を表示する検出用画像表示装置と、を有する画像表示ユニットで用いられる画像認識方法であって、
前記検出用画像表示装置に、前記撮像装置と前記検出用画像表示装置の位置関係から決定されるエピポーラ線と平行な方向に沿って輝度が第１周期で変化する第１線状パターンと、前記エピポーラ線と平行な方向に沿って輝度が前記第１周期と異なる第２周期で変化する第２線状パターンと、を有する第１パターンを表示させるパターン表示ステップと、
前記撮像装置と前記画像表示面との間にある対象物を検知し、前記対象物の計測対象点を判定する計測点判定ステップと、
前記撮像装置が取得した前記計測対象点および前記第１パターンを含む画像に基づいて、前記画像表示面に対する前記計測対象点の位置を検知する位置検知ステップと、を有することを特徴とする。
これにより、位置検知部の検知結果に基づいて、高い精度でタッチ認識（対象物が画像表示面に接触しているか接触していないかの判断）を行うことができる。
【００１５】
本発明の画像認識ユニットは、本発明の画像認識装置と、
前記撮像装置と、
前記検出用画像表示装置と、を有することを特徴とする。
これにより、高い精度でタッチ認識を行うことのできる画像認識ユニットが得られる。
【００１６】
本発明の画像認識ユニットでは、前記画像表示面に画像を表示する画像表示装置を有することが好ましい。
これにより、画像表示面に所望の画像を表示することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の第１実施形態に係る画像認識ユニットの構成を示す図である。
【図２】図１に示すプロジェクターの構成図である。
【図３】図１に示すプロジェクターの構成図である。
【図４】図３に示すプロジェクターが備える走査部の平面図である。
【図５】図１に示す画像認識装置のブロック図である。
【図６】エピポーラ線について説明する図である。
【図７】第１パターンを示す図である。
【図８】タッチ認識の方法について説明する図である。
【図９】タッチ認識の方法について説明する図である。
【図１０】タッチ認識の方法について説明する図である。
【図１１】タッチ認識の方法について説明する図である。
【図１２】本発明の第２実施形態に係る画像認識ユニットで用いられる検出用画像を示す図である。
【図１３】タッチ認識の方法を説明する図である。
【図１４】タッチ認識の方法を説明する図である。
【図１５】本発明の第３実施形態に係る画像認識ユニットで用いられるプロジェクターの構成図である。
【図１６】タッチ認識の方法を説明する図である。
【図１７】タッチ認識の方法を説明する図である。
【図１８】タッチ認識の方法を説明する図である。
【図１９】本発明の第４実施形態に係る画像認識ユニットで用いられる検出用画像を示す図である。
【図２０】タッチ認識の方法を説明する図である。
【図２１】タッチ認識の方法を説明する図である。
【発明を実施するための形態】
【００１８】
以下、本発明の画像認識装置、画像認識方法および画像認識ユニットの好適な実施形態について、添付図面を参照しつつ説明する。
【００１９】
＜第１実施形態＞
まず、第１実施形態に係る画像認識ユニットについて説明する。
図１は、本発明の第１実施形態に係る画像認識ユニットの構成を示す図である。図２は、図１に示すプロジェクターの構成図である。図３は、図１に示すプロジェクターの構成図である。図４は、図３に示すプロジェクターが備える走査部の平面図である。図５は、図１に示す画像認識装置のブロック図である。図６は、エピポーラ線について説明する図である。図７は、第１パターンを示す図である。図８ないし図１１は、それぞれ、タッチ認識の方法について説明する図である。
【００２０】
図１に示す画像認識ユニット１００は、例えば、平坦なスクリーン（画像表示面）９００に指（対象物）Ｆが接触しているか否かを判定し、判定結果に基づいてスクリーン９００に表示する画像を切り替えることのできる装置である。なお、以下では、スクリーン９００に指Ｆが接触しているか否かの判断を「タッチ認識」と言う。このような画像認識ユニット１００は、例えば、プレゼンテーションに用いることができ、プレゼンターの指のタッチ認識を行って、必要時にスクリーン９００に映し出される画像を切り替えたり、拡大または縮小したりすることで、プレゼンテーションをスムーズに進行することが可能となる。
【００２１】
ただし、画像表示面としては、スクリーン９００に限定されず、例えば、壁、ガラス等であってもよい。また、画像表示面は、平坦でなくてもよく、球面や凹凸面であってもよい。また、画像表示面は、経時的に形状が変化してもよい。また、タッチ認識を行う対象物としては、指Ｆに限定されず、例えば、指し棒、スクリーン９００に吸着したマグネット等であってもよい。また、画像認識ユニット１００の用途としては、プレゼンテーションに限定されず、例えば、デパート等の店舗案内、取扱商品の紹介・検索等、様々な用途に用いることができる。
【００２２】
このような画像認識ユニット１００は、図１に示すように、スクリーン９００に画像を表示するプロジェクター（画像表示装置）２００と、スクリーン９００に検出用画像である第１パターン８００（図７参照）を表示するプロジェクター（検出用画像表示装置）３００と、スクリーン９００を撮像するカメラ（撮像装置）４００と、を有する画像表示ユニットと、タッチ認識を行う画像認識装置５００と、を有する。
【００２３】
なお、プロジェクター３００およびカメラ４００は、異なる位置に配置されている。また、プロジェクター３００およびカメラ４００の相対的（幾何的）な位置関係は一定であり、位置関係に関する情報は、画像認識装置５００が有する図示しない記憶部に記憶され、適宜使用される。
【００２４】
以下、プロジェクター２００、プロジェクター３００、カメラ４００および画像認識装置５００について順に説明する。
【００２５】
［プロジェクター２００］
プロジェクター２００は、観察者に視認させたい画像（例えば、プレゼンテーション用の画像）をスクリーン９００に表示する装置である。
【００２６】
このようなプロジェクター２００は、ＬＣＤ方式のプロジェクターであり、図２に示すように、液晶表示素子２４０Ｒ、２４０Ｇ、２４０Ｂと、ダイクロイックプリズム２５０と、投射レンズ系２６０と、を備えている。そして、液晶表示素子２４０Ｒには赤色光Ｒが入射し、液晶表示素子２４０Ｇには緑色光Ｇが入射し、液晶表示素子２４０Ｂには青色光Ｂが入射する。
【００２７】
液晶表示素子２４０Ｒ、２４０Ｇ、２４０Ｂは、それぞれＲ、Ｇ、Ｂの原色に対応する透過型の空間光変調器であり、液晶表示素子２４０Ｒ、２４０Ｇ、２４０Ｂによってそれぞれ空間的に変調された光は、ダイクロイックプリズム２５０で合成され、ダイクロイックプリズム２５０からフルカラーの映像光Ｌａが出射される。そして、出射された映像光Ｌａは、投射レンズ系２６０によって拡大されてスクリーン９００に投射される。これにより、スクリーン９００に画像が表示される。
【００２８】
以上、プロジェクター２００について説明したが、プロジェクター２００としては、スクリーン９００に画像を表示することができれば、ＬＣＤ方式のプロジェクターに限定されず、例えば、光走査方式のプロジェクターであってもよいし、ＤＭＤ方式のプロジェクターであってもよい。
【００２９】
［プロジェクター３００］
プロジェクター３００は、第１パターン８００をスクリーン９００に表示する装置である。
【００３０】
このようなプロジェクター３００は、光走査型のプロジェクターであり、図３に示すように、光源３１０と、走査部３２０と、図示しない投射レンズ系と、を備えている。
【００３１】
光源３１０は、赤色のレーザー光を射出する光源３１１Ｒと、緑色のレーザー光を射出する光源３１１Ｇと、青色のレーザー光を射出する光源３１１Ｂと、光源３１１Ｒ、３１１Ｇ、３１１Ｂから出射された光を平行光化するコリメータレンズ３１２Ｒ、３１２Ｇ、３１２Ｂと、光合成部３１３と、集光レンズ３１４と、を有する。
【００３２】
光合成部３１３は、光源３１１Ｒ、３１１Ｇ、３１１Ｂからのレーザー光を合成して変調光Ｌｂを生成する要素であり、３つのダイクロイックミラー３１３ａ、３１３ｂ、３１３ｃを有する。そして、光合成部３１３で生成された変調光Ｌｂは、集光レンズ３１４によって所望のＮＡ（開口数）に変更された後、走査部３２０に導かれる。
【００３３】
走査部３２０は、２軸まわりに揺動可能な光スキャナーであり、図４に示すように、ミラー３３１を有する可動部３３０と、可動部３３０を軸Ｊ１まわりに揺動可能に支持する軸部３４１、３４２と、軸部３４１、３４２を支持する駆動枠部３５０と、駆動枠部３５０を軸Ｊ１に直交する軸Ｊ２まわりに揺動可能に支持する軸部３６１、３６２と、軸部３６１、３６２を支持する枠状の支持部３７０と、を有する。このような走査部３２０では、図示しない駆動手段によって、駆動枠部３５０を支持部３７０に対して軸Ｊ２まわりに揺動させつつ、可動部３３０を駆動枠部３５０に対して軸Ｊ１まわりに揺動させることで、ミラー３３１で反射した変調光Ｌｂを２次元的に走査することができる。
【００３４】
そして、走査部３２０で走査された変調光Ｌｂは、図示しない投射レンズ系によって拡大されてスクリーン９００に投射される。これにより、スクリーン９００に第１パターン８００が表示される。
【００３５】
以上、プロジェクター３００について説明したが、プロジェクター３００としては、スクリーン９００に第１パターン８００を表示することができれば、光走査方式のプロジェクターに限定されず、例えば、ＬＣＤ方式のプロジェクターであってもよいし、ＤＭＤ方式のプロジェクターであってもよい。また、レーザーを出射する光源と、光源から出射されたレーザーを回折する回折格子と、を有する構成であってもよい。また、光走査方式のプロジェクターであっても、上記の構成に限定されず、例えば、１軸揺動型の光スキャナーを２つ用いて変調光Ｌｂを２次走査してもよい。また、プロジェクター３００は、回折光学素子とレーザー光源を用いて２種類の異なる固定パターンを投影することができる構成であってもよい。
【００３６】
［カメラ４００］
カメラ４００は、スクリーン９００を撮像するための装置である。このようなカメラ４００は、例えば、ＲＧＢカメラであり、レンズ系４１１および撮像素子４１２を備える受光ユニット４１０と、撮像素子４１２からの映像信号を処理する図示しない処理部と、を有する。
【００３７】
［画像認識装置］
画像認識装置５００は、前述したプロジェクター３００およびカメラ４００を用いてタッチ認識を行う装置である。
【００３８】
このような画像認識装置５００は、図５に示すように、パターン表示部５１０と、計測点判定部５２０と、位置検知部５３０と、を有する。
【００３９】
パターン表示部５１０は、プロジェクター３００を駆動させて、エピポーラ線ＥＬに沿った第１パターン８００を表示させる（パターン表示ステップ）。
【００４０】
ここで、第１パターン８００を説明するのに先立って、エピポーラ線ＥＬについて簡単に説明する。エピポーラ線ＥＬは、プロジェクター３００とカメラ４００の幾何的（相対的）な位置関係によって決定する線である。具体的には、図６に示すように、カメラ４００のカメラ中心（レンズ系４１１の主点）Ｃ１と走査部３２０の変調光Ｌｂを走査する際の角度変更中心（ミラー３３１の中心）Ｃ２とを結ぶ直線（ベースライン）ｌ２と、プロジェクター３００の仮想画像平面π２との交点をエピポーラ点Ｐｅと言い、仮想画像平面π２内においてエピポーラ点Ｐｅを通る全ての直線をエピポーラ線ＥＬと言う。
【００４１】
また、図６に示すように、指先Ｆ１がカメラ４００の画像に含まれていれば、カメラ４００の画像平面π１内での指先Ｆ１の座標（面内座標）ｘが決定される。この座標ｘとカメラ中心Ｃ１とを通る直線ｌ１と直線ｌ２とによって規定される平面をエピポーラ平面Σと言う。そして、エピポーラ平面Σと仮想画像平面π２とが交差してできる直線ｌ３と一致するエピポーラ線ＥＬを「エピポーラ線ＥＬ’」とした場合、エピポーラ線ＥＬ’上のどこかに指先Ｆ１が位置している。
【００４２】
第１パターン８００は、図７に示すように、エピポーラ線ＥＬと平行に延びるパターンが、エピポーラ線ＥＬの幅方向（エピポーラ線ＥＬに交差する方向）に複数並んだ構成となっている。なお、図７は、カメラ４００で取得した画像をステレオ平行化処理（エピポーラ線水平化処理）した画像を図示したものである。そのため、全てのエピポーラ線ＥＬが略平行となり、かつ、水平方向（紙面横方向）に延びた状態となっている。
【００４３】
具体的には、第１パターン８００は、エピポーラ線ＥＬと平行な方向に延びる第１線状パターン８００Ａおよび第２線状パターン８００Ｂを有し、第１線状パターン８００Ａおよび第２線状パターン８００Ｂがエピポーラ線ＥＬの幅方向（紙面縦方向）に交互に並んだ構成となっている。
【００４４】
第１線状パターン８００Ａは、輝度が第１周期（ピッチ）Ｔ１で変化するパターンを有する。具体的には、第１線状パターン８００Ａは、所定の輝度を有する第１領域８１０Ａと、第１領域８１０Ａとは異なる輝度を有する第２領域８２０Ａと、を有し、これら第１、第２領域８１０Ａ、８２０Ａが同じ幅Ｔ１で交互に配置されている。同様に、第２線状パターン８００Ｂは、輝度が第１周期Ｔ１と異なる第２周期（ピッチ）Ｔ２で変化するパターンを有する。具体的には、第２線状パターン８００Ｂは、所定の輝度を有する第１領域８１０Ｂと、第１領域８１０Ｂとは異なる輝度を有する第２領域８２０Ｂと、を有し、これら第１、第２領域８１０Ｂ、８２０Ｂが同じ幅Ｔ２で交互に配置されている。なお、第１領域８１０Ａ（８１０Ｂ）と第２領域８２０Ａ（８２０Ｂ）の輝度は、コントラスト比がなるべく高くなるように決定することが好ましい。これにより、画像認識の精度が高まり、より精度の高いタッチ認識が可能となる。
【００４５】
ここで、第２周期Ｔ２としては、特に限定されないが、第１周期Ｔ１の２倍未満であることが好ましい。第２周期Ｔ２を第１周期Ｔ１の２倍以上にすると、第２線状パターン８００Ｂの１周期Ｔ２内に、第１線状パターン８００Ａが２周期以上含まれることになる。そのため、使用環境等によっては、後述する指先Ｆ１の深度解析の正確性が低下するおそれがある。なお、本実施形態では、第２周期Ｔ２は、第１周期Ｔ１の１．７５倍となっている。この理由については、後に説明する。
【００４６】
以上、第１パターン８００について説明したが、第１パターン８００としては、タッチ認識に用いることができれば、これに限定されず、例えば、第１周期Ｔ１および第２周期Ｔ２と異なる周期で輝度が変化する第３線状パターンを有し、第１、第２、第３線状パターンが順に繰り返しに並んで配置された構成となっていてもよい。
【００４７】
計測点判定部５２０は、カメラ４００が取得した画像から、カメラ４００とスクリーン９００との間に位置する指Ｆを検知し、さらに、指Ｆの指先Ｆ１を計測対象点として判定する（計測点判定ステップ）。
【００４８】
指先Ｆ１の判定方法としては、例えば、まず、第１パターン８００を照射したスクリーン９００の画像をカメラ４００で取得し、この画像をステレオ平行化した画像を第１パターン基準画像として記憶する。そして、第１パターン８００と共に指先Ｆ１が映るステレオ平行化画像と第１パターン基準画像との差分から指Ｆの輪郭を抽出し、抽出した指Ｆの輪郭形状から指先Ｆ１と類似の輪郭形状を有する部分を検出し、検出した部分を指先Ｆ１として判定することができる。
【００４９】
なお、指先の判定方法としては、これに限定されない。例えば、カメラ４００が取得した画像からＨＳＶ表色系を用いて肌色類似領域（指Ｆの色と似ている色を持つ領域）を抽出し、さらに、抽出した肌色類似領域の輪郭形状から指先Ｆ１と類似の輪郭形状を有する部分を検出し、検出した部分を指先Ｆ１として判定してもよい。
【００５０】
位置検知部５３０は、カメラ４００が取得した画像に含まれる第１パターン８００に基づいて指先Ｆ１の深度（位置）を検知し、その検知結果に基づいてタッチ認識を行う（位置検知ステップ）。
【００５１】
具体的には、まず、位置検知部５３０は、カメラ４００が取得した画像をステレオ平行化した画像（以下「ステレオ平行化画像」とも言う）を得る。このステレオ平行化画像では、スクリーン９００の表面の凹凸や指先Ｆ１の形状等に関係なく、エピポーラ線ＥＬが水平方向（紙面横方向）に沿う直線となる。そのため、各第１、第２線状パターン８００Ａ、８００Ｂも水平方向に沿う直線となり、第１パターン８００の変化の回析を容易にかつ高精度に行うことができる。
【００５２】
次に、位置検知部５３０は、ステレオ平行化画像中の第１パターン８００に基づいて指先Ｆ１の深度を検知し、その検知結果に基づいてタッチ認識を行う。図８に示すステレオ平行化画像Ｐ１１では、スクリーン９００上のみならず指先Ｆ１上にも第１、第２線状パターン８００Ａ、８００Ｂが投影されている。また、ステレオ平行化画像Ｐ１１では、スクリーン９００上の第１パターン８００と指先Ｆ１上の第１パターン８００との間に、指先Ｆ１の深度に基づいた周期変動（パターンずれ）が発生している。すなわち、指先Ｆ１上の第１、第２線状パターン８００Ａ、８００Ｂは、第１、第２周期Ｔ１、Ｔ２とは異なる周期Ｔ１’、Ｔ２’を有している。
【００５３】
次に、位置検知部５３０は、スクリーン９００上に映る第１、第２線状パターン８００Ａ、８００Ｂの深度解析を行って、スクリーン９００の指先Ｆ１と重なる位置の深度を検知（推測）すると共に、指先Ｆ１上に映る第１、第２線状パターン８００Ａ、８００Ｂの深度解析を行って、指先Ｆ１の深度を検知する。
【００５４】
そして、第１線状パターン８００Ａの解析結果および第２線状パターン８００Ｂの解析結果の少なくとも一方において、指先Ｆ１の深度がスクリーン９００の深度と一致していなければ、位置検知部５３０は、指先Ｆ１がスクリーン９００に触れていない「非接触状態」と判定する。一方、第１線状パターン８００Ａの解析結果および第２線状パターン８００Ｂの解析結果の両方において、指先Ｆ１の深度が、スクリーン９００の深度と一致している場合には、位置検知部５３０は、さらに、次のような判定を行う。
【００５５】
例えば、第１線状パターン８００Ａについて説明すると、図９に示すように、指先Ｆ１がスクリーン９００から離れていても、その離れ方が第１線状パターン８００Ａの周期の整数倍に相当する周期変動（パターンずれ）を生じさせる場合には、非接触状態であるにも関わらず、指先Ｆ１上のパターンが、指先Ｆ１がスクリーン９００に接触している接触状態と同じ画像が得られてしまう（以下、この現象を「フェーズ・ラッピング」と言う）。このことは、第２線状パターン８００Ｂについても同様である。
【００５６】
そのため、指先Ｆ１の離れ方が、第１線状パターン８００Ａの周期の整数倍に相当する周期変動を生じさせ、かつ、第２線状パターン８００Ｂの周期の整数倍に相当する周期変動を生じさせる場合にはフェーズ・ラッピングが生じる。そこで、接触状態なのか、フェーズ・ラッピングが生じている状態なのかを区別する必要がある。なお、前述したように、第２線状パターン８００Ｂの周期（第２周期Ｔ２）は、第１線状パターン８００Ａの周期（第１周期Ｔ１）の１．７５倍である。このような関係とすることで、両周期の最小公倍数を比較的大きくすることができるため（すなわち、第１周期Ｔ１の７倍、第２周期Ｔ２の４倍）、フェーズ・ラッピングが生じる条件をより低くすることができる。
【００５７】
接触状態なのか、フェーズ・ラッピングが生じている状態なのかを区別する方法としては、特に限定されないが、次のような方法がある。すなわち、接触状態の場合のステレオ平行化画像Ｐ１１では、スクリーン９００に指先Ｆ１が接触していることから、図１０に示すように、スクリーン９００上に指先Ｆ１による影が生じていない。一方で、フェーズ・ラッピングが生じている場合のステレオ平行化画像Ｐ１１では、スクリーン９００から指先Ｆ１が離れていることから、図１１に示すように、スクリーン９００上に指先Ｆ１による影ＳＨが生じる。そのため、位置検知部５３０は、ステレオ平行化画像Ｐ１１中においてスクリーン９００に指先Ｆ１による影が生じていなければ「接触状態」と判定し、影が生じていればフェーズ・ラッピングが生じている「フェーズ・ラッピング状態」と判定することができる。
【００５８】
なお、プロジェクター３００やカメラ４００の配置、指先Ｆ１の形状や大きさ（個人差）等によっては、接触状態であっても、スクリーン９００上に影ＳＨが生じてしまう場合もある。そのため、影ＳＨの幅（大きさ）に閾値を設け、閾値未満であれば「接触状態」と判定し、閾値以上であれば「フェーズ・ラッピング状態」と判定してもよい。
【００５９】
位置検知部５３０は、判定結果が「接触状態」であったとき、その判定結果を図示しない制御部に送信する。この判定結果を受けた前記制御部は、プロジェクター２００に対して、例えば、スクリーン９００に表示されている画像を拡大または縮小する命令や、画像を切り替える命令等、指先Ｆ１の接触位置によって定められている画面操作命令を送信する。このような制御を行うことで、指先Ｆ１でスクリーン９００をタッチするだけで、スクリーン９００に表示される画像を操作することができるため、利便性の高い画像認識ユニット１００となる。
【００６０】
以上のように、パターン表示ステップと、計測点判定ステップと、位置検知ステップと、を行うことが画像認識装置５００によるタッチ認識の手順（画像認識方法）であり、この手順を所定の周期で繰り返し行うことで、タッチ認識を繰り返し行うことができる。
【００６１】
このような画像認識装置５００によれば、計算負荷を低減でき、かつ、精度の高いタッチ認識が可能となる。また、エピポーラ線ＥＬは、スクリーン９００の３次元的な位置や表面形状とは関係なく、プロジェクター３００とカメラ４００の幾何的な位置によって求まる線である。そのため、プロジェクター３００とカメラ４００の幾何的な位置を一度設定してしまえば、スクリーン９００の位置や形状に影響されることなく、タッチ認識を行うことができる。特に、前述したように、第１パターン８００を用いることで、フェーズ・ラッピングの発生を低減しているため、精度の高いタッチ認識を行うことができる。反対に、フェーズ・ラッピングの発生が抑えられている分、第１線状パターン８００Ａおよび第２線状パターン８００Ｂの周期を短くすることができ、その分、より精度の高いタッチ認識が可能となるとも言える。
【００６２】
以上、第１実施形態について説明した。なお、上述の構成では、第１パターン８００を可視光で生成しているが、第１パターン８００をＮＩＲ光（８００〜２５００ｎｍ程度の波長を有する近赤外線）で生成してもよい。ＮＩＲ光は、人間に視認されないため、第１パターン８００がスクリーン９００に表示されたプロジェクター２００からの画像を劣化させるおそれがない。また、この場合は、例えば、第１領域８１０Ａ、８１０ＢをＮＩＲ光照射領域とし、第２領域８２０Ａ、８２０ＢをＮＩＲ光非照射領域とすることで第１パターン８００を生成可能である。
【００６３】
＜第２実施形態＞
次に、本発明の第２実施形態に係る画像認識ユニットについて説明する。
図１２は、本発明の第２実施形態に係る画像認識ユニットで用いられる検出用画像を示す図である。図１３および図１４は、タッチ認識の方法を説明する図である。なお、図１３および図１４では、それぞれ、説明の便宜上、第１パターン８００の図示を省略している。
【００６４】
以下、本発明の第２実施形態に係る画像認識ユニットについて説明するが、前述した実施形態との相違点を中心に説明し、同様の事項はその説明を省略する。
【００６５】
第２実施形態の画像認識ユニットは、検出用画像の構成が異なること以外は、前述した第１実施形態と同様である。なお、前述した実施形態と同様の構成には、同一符号を付してある。
【００６６】
本実施形態では、図１２に示すように、検出用画像として、第１パターン８００と共にアドレスパターンＡＤが照射される。アドレスパターンＡＤは、エピポーラ線ＥＬと平行な方向に沿って第３周期（ピッチ）Ｔ３を有する複数の領域に分割され、各領域にアドレス（位置を特定する情報）が付与されている。アドレスを付与する方法としては、特に限定されず、例えば、各領域にアドレスを特定するための識別パターンを配置する方法が挙げられる。
【００６７】
アドレスパターンＡＤは、具体的には、第１線状パターン８００Ａの周期の７倍（第２線状パターン８００Ｂの周期の４倍）の第３周期を有するパターンで構成され、第１パターン８００の上下に表示されている。また、アドレスパターンＡＤの各周期にはアドレスが付与されており、これにより、各周期の位置を特定することができるようになっている。また、１つのアドレスは、指先Ｆ１の幅よりも若干大きめに設定されている。
【００６８】
ただし、アドレスパターンＡＤの構成としては、上記と同様の効果を発揮することができれば、特に限定されない。例えば、アドレスパターンＡＤは、第１パターン８００の上下の少なくとも一方に表示されていてもよい。
【００６９】
また、プロジェクター３００は、検出用画像として、第１パターン８００に加えて、図１３に示す第２パターン７００を照射する。第２パターン７００は、指先Ｆ１を通るエピポーラ線ＥＬ’上に延びる線状のパターンである。また、この第２パターン７００は、指先Ｆ１が位置しているアドレス［Ｎ＋２］を除き、かつ、アドレス［Ｎ＋２］の両隣のアドレス［Ｎ＋１］［Ｎ＋３］を含むように照射される。なお、第２パターン７００は、可視光で生成してもよいし、ＮＩＲ光で生成してもよい。また、第２パターン７００は、第１パターン８００およびアドレスパターンＡＤと同時に表示してよいし、第１パターン８００およびアドレスパターンＡＤと交互に（時分割で）表示してもよい。
【００７０】
このような第２パターン７００を用いることで、指先Ｆ１が接触状態であるのか、フェーズ・ラッピングが生じている状態であるのかを、精度よく区別することができる。具体的には、接触状態の場合は、第２パターン７００が指先Ｆ１上に照射されない。そのため、この際のステレオ平行化画像Ｐ２１は、図１３に示すように、アドレス［Ｎ＋２］以外において、第２パターン７００の連続性が維持された状態となる。また、指先Ｆ１上に第２パターン７００が照射されないことから、指先Ｆ１上で第２パターン７００と第１パターン８００とが重ならず、指先Ｆ１上の第１パターン８００を画像として認識することができる。一方、フェーズ・ラッピングが生じている場合は、第２パターン７００が指先Ｆ１に照射されてしまい、第２パターン７００のどこかに指先Ｆ１に遮られて影となる部分が発生する。そのため、この際のステレオ平行化画像Ｐ２１は、図１４に示すように、第２パターン７００に影部分７１０が発生し、不連続な状態となる。また、指先Ｆ１上に第２パターン７００が照射されることから、指先Ｆ１上で第２パターン７００と第１パターン８００とが重なってしまい、指先Ｆ１上の第１パターン８００を画像として認識することが困難となる。
【００７１】
このような画像の違いから、接触状態であるのか、フェーズ・ラッピングが生じている状態であるのかを、精度よく区別することができる。そのため、より精度の高いタッチ認識が可能となる。
【００７２】
以上のような第２実施形態によっても、上述した第１実施形態と同様の効果を発揮することができる。
【００７３】
＜第３実施形態＞
次に、本発明の第３実施形態に係る画像認識ユニットについて説明する。
図１５は、本発明の第３実施形態に係る画像認識ユニットで用いられるプロジェクターの構成図である。図１６ないし図１８は、それぞれ、タッチ認識の方法を説明する図である。なお、図１６ないし図１８では、それぞれ、説明の便宜上、第１パターン８００の図示を省略している。
【００７４】
以下、本発明の第３実施形態に係る画像認識ユニットについて説明するが、前述した実施形態との相違点を中心に説明し、同様の事項はその説明を省略する。
【００７５】
第３実施形態の画像認識ユニットは、プロジェクター（検出用画像表示装置）の構成が異なること以外は、前述した第１実施形態と同様である。なお、前述した実施形態と同様の構成には、同一符号を付してある。
【００７６】
本実施形態のプロジェクター３００は、プロジェクター２００（図２参照）とほぼ同様であり、図１５に示すように、液晶表示素子３８１Ｒ、３８１Ｇ、３８１Ｂと、ダイクロイックプリズム３８２と、投射レンズ系３８３と、を備えている。プロジェクター２００との違いは、液晶表示素子３８１Ｒに赤色光Ｒと共にＮＩＲ光が入射するようになっている点である。赤色光Ｒは、緑色光Ｇおよび青色光Ｂと比較してＮＩＲ光との波長の差が小さいため、比較的簡単に同一の光学系を実現することができる。このような構成のプロジェクター３００によれば、例えば、第１パターン８００を可視光で生成し、第２パターン７００をＮＩＲ光で生成することで、第１パターン８００および第２パターン７００を同時に照射することができる。
【００７７】
ここで、上述のプロジェクター３００を用いてＮＩＲ光で第２パターン７００を照射すると、第２パターン７００は、赤色として認識される（ＮＩＲ光とともに赤色光Ｒも変調されるため）。そのため、第２パターン７００によってスクリーン９００上の画像が損なわれる可能性がある。そこで、スクリーン９００上の画像を損なわないように、本実施形態では、図１６に示すように、第２パターン７００にデザイン性を付与し、第２パターン７００をポインターの様に見える円環状（環状）としている。また、第２パターン７００は、アドレスパターンＡＤの３周期分（具体的には、指先Ｆ１が位置するアドレス［Ｎ＋２］と、その両隣のアドレス［Ｎ＋１］［Ｎ＋３］）に跨って表示されている。また、第２パターン７００の内部空間７０１は、指先Ｆ１が位置するアドレス［Ｎ＋２］を跨いで位置している。
【００７８】
このような第２パターン７００を用いることでも、指先Ｆ１が接触状態であるのか、フェーズ・ラッピングが生じている状態であるのかを、精度よく区別することができる。例えば、接触状態の場合の際のステレオ平行化画像Ｐ３１は、図１６に示すように、指Ｆ上にも第２パターン７００が照射され、第２パターン７００が全周にわたって表示された状態となる。一方、１周期のフェーズ・ラッピングが生じている場合は、第２パターン７００が指Ｆに照射されてしまい、第２パターン７００に指Ｆに遮られて影となる部分が発生する。そのため、この際のステレオ平行化画像Ｐ３１は、図１７に示すように、第２パターン７００の一部が影となって映る状態となる。また、２周期以上のフェーズ・ラッピングが生じている場合は、第２パターン７００が指Ｆの裏側（スクリーン９００側）に照射される。そのため、この際のステレオ平行化画像Ｐ３１は、図１８に示すように、第２パターン７００の一部が指Ｆによって遮られて映る状態となる。
【００７９】
このような画像の違いから、接触状態であるのか、フェーズ・ラッピングが生じている状態であるのかを、精度よく区別することができる。そのため、より精度の高いタッチ認識が可能となる。また、本実施形態では、第２パターン７００が赤色として認識されるため、第２パターン７００が著しく明るくならず、周囲との高いコントラストを発揮することができる。そのため、より精度の高いタッチ認識が可能となる。なお、２周期以上のフェーズ・ラッピングが生じている場合をより精度よく検知するために、第１パターン８００を所定の周期で明滅させるなどして、画像を取得する際に第１パターン８００が表示されないようすることが好ましい。
【００８０】
以上のような第３実施形態によっても、上述した第１実施形態と同様の効果を発揮することができる。
【００８１】
＜第４実施形態＞
次に、本発明の第４実施形態に係る画像認識ユニットについて説明する。
図１９は、本発明の第４実施形態に係る画像認識ユニットで用いられる検出用画像を示す図である。図２０および図２１は、それぞれ、タッチ認識の方法を説明する図である。なお、図２０および図２１では、それぞれ、説明の便宜上、第１パターン８００の図示を省略している。
【００８２】
以下、本発明の第４実施形態に係る画像認識ユニットについて説明するが、前述した実施形態との相違点を中心に説明し、同様の事項はその説明を省略する。
【００８３】
第４実施形態の画像認識ユニットは、検出用画像の構成が異なること以外は、前述した第２実施形態と同様である。なお、前述した実施形態と同様の構成には、同一符号を付してある。
【００８４】
本実施形態では、図１９に示すステレオ平行化画像Ｐ４１のように、検出用画像として、第１パターン８００に加えて、第２パターン７００を照射する。第２パターン７００は、エピポーラ線ＥＬと平行な方向に沿う直線状の線状パターン７９０を有し、この線状パターン７９０が縦方向（エピポーラ線ＥＬに交差する方向）に離間して複数本（本実施形態では３本）表示されている。また、隣り合うアドレスでは、各線状パターン７９０が縦方向にずれている（すなわち、領域毎に線状パターン７９０が不連続となっている）。なお、第２パターン７００は、可視光で生成されていてもよいし、ＮＩＲ光で生成されていてもよい。
【００８５】
このような第２パターン７００を用いることでも、指先Ｆ１が接触状態であるのか、フェーズ・ラッピングが生じている状態であるのかを、精度よく区別することができる。例えば、接触状態の場合のステレオ平行化画像Ｐ４１では、図２０に示すように、線状パターン７９０が指先Ｆ１とスクリーン９００の境界部Ａにおいて連続性を有している。一方、フェーズ・ラッピングが生じている場合のステレオ平行化画像Ｐ４１では、図２１に示すように、線状パターン７９０が境界部Ａにおいて不連続になっている。
【００８６】
このような画像の違いから、接触状態であるのか、フェーズ・ラッピングが生じている状態であるのかを、精度よく区別することができる。そのため、より精度の高いタッチ認識が可能となる。
【００８７】
なお、２周期以上のフェーズ・ラッピングが生じている場合をより精度よく検知するために、例えば、第１パターン８００を所定の周期で明滅させる等して、第２パターン７００の画像を取得する際に第１パターン８００が表示されないようすることが好ましい。
【００８８】
以上のような第４実施形態によっても、上述した第１実施形態と同様の効果を発揮することができる。
【００８９】
以上、本発明の画像認識装置、画像認識方法および画像認識ユニットについて、図示の実施形態に基づいて説明したが、本発明はこれに限定されるものではない。例えば、本発明の画像表示装置では、各部の構成は、同様の機能を有する任意の構成のものに置換することができ、また、他の任意の構成を付加することもできる。また、前述した各実施形態を適宜組み合わせてもよい。
【符号の説明】
【００９０】
１００…画像認識ユニット、２００…プロジェクター、２４０Ｂ、２４０Ｇ、２４０Ｒ…液晶表示素子、２５０…ダイクロイックプリズム、２６０…投射レンズ系、３００…プロジェクター、３１０…光源、３１１Ｂ、３１１Ｇ、３１１Ｒ…光源、３１２Ｂ、３１２Ｇ、３１２Ｒ…コリメータレンズ、３１３…光合成部、３１３ａ、３１３ｂ、３１３ｃ…ダイクロイックミラー、３１４…集光レンズ、３２０…走査部、３３０…可動部、３３１…ミラー、３４１、３４２…軸部、３５０…駆動枠部、３６１、３６２…軸部、３７０…支持部、３８１Ｂ、３８１Ｇ、３８１Ｒ…液晶表示素子、３８２…ダイクロイックプリズム、３８３…投射レンズ系、４００…カメラ、４１０…受光ユニット、４１１…レンズ系、４１２…撮像素子、５００…画像認識装置、５１０…パターン表示部、５２０…計測点判定部、５３０…位置検知部、７００…第２パターン、７０１…内部空間、７１０…影部分、７９０…線状パターン、８００…第１パターン、８００Ａ…第１線状パターン、８００Ｂ…第２線状パターン、８１０Ａ、８１０Ｂ…第１領域、８２０Ａ、８２０Ｂ…第２領域、９００…スクリーン、Ａ…境界部、ＡＤ…アドレスパターン、Ｂ…青色光、Ｃ１…カメラ中心、Ｃ２…角度変更中心、ＥＬ、ＥＬ’…エピポーラ線、Ｆ…指、Ｆ１…指先、Ｇ…緑色光、Ｊ１、Ｊ２…軸、ｌ１、ｌ２、ｌ３…直線、Ｌａ…映像光、Ｌｂ…変調光、Ｐ１１、Ｐ２１、Ｐ３１、Ｐ４１…ステレオ平行化画像、Ｐｅ…エピポーラ点、Ｒ…赤色光、ＳＨ…影、ｘ…座標、Σ…エピポーラ平面、π１…画像平面、π２…仮想画像平面
【図１】
0006631261.tif 000002
【図２】
0006631261.tif 000003
【図３】
0006631261.tif 000004
【図４】
0006631261.tif 000005
【図５】
0006631261.tif 000006
【図６】
0006631261.tif 000007
【図７】
0006631261.tif 000008
【図８】
0006631261.tif 000009
【図９】
0006631261.tif 000010
【図１０】
0006631261.tif 000011
【図１１】
0006631261.tif 000012
【図１２】
0006631261.tif 000013
【図１３】
0006631261.tif 000014
【図１４】
0006631261.tif 000015
【図１５】
0006631261.tif 000016
【図１６】
0006631261.tif 000017
【図１７】
0006631261.tif 000018
【図１８】
0006631261.tif 000019
【図１９】
0006631261.tif 000020
【図２０】
0006631261.tif 000021
【図２１】
0006631261.tif 000022