(57)【要約】【課題】精度の高い位置検出を行うことのできる、位置検出装置、位置検出ユニット、画像表示システムおよび位置検出方法を提供する。【解決手段】構造化光パターンが表示された表示面を指示する第１の指示体と、第１の指示体に設けられ、表示面に表示された構造化光パターンを撮像する第１撮像装置と、表示面に表示された構造化光パターンを撮像する第２撮像装置と、画像処理部と、を備える位置検出装置である。第１撮像装置は、第１の指示体の周囲に位置する構造化光パターンの複数の投影点のうち、互いに異なる少なくとも４点を含む領域を撮像した第１画像を取得し、第２撮像装置は、第１の指示体が指示する表示面における構造化光パターンの表示領域の全体を撮像した第２画像を取得し、画像処理部は、第１画像と第２画像とに基づいて、第１の指示体が指示する表示面上の位置情報を検出する。【選択図】図１
2020122696.tif 000002
【特許請求の範囲】
【請求項１】
構造化光パターンが表示された表示面を指示する第１の指示体と、
前記第１の指示体に設けられ、前記表示面に表示された前記構造化光パターンを撮像する第１撮像装置と、
前記表示面に表示された前記構造化光パターンを撮像する第２撮像装置と、
画像処理部と、を備え、
前記第１撮像装置は、前記第１の指示体の周囲に位置する前記構造化光パターンの複数の投影点のうち、互いに異なる少なくとも４点を含む領域を撮像した第１画像を取得し、
前記第２撮像装置は、前記第１の指示体が指示する前記表示面における前記構造化光パターンの表示領域の全体を撮像した第２画像を取得し、
前記画像処理部は、前記第１画像と前記第２画像とに基づいて、前記第１の指示体が指示する前記表示面上の位置情報を検出する
位置検出装置。
【請求項２】
前記表示面を第２の指示体が指示した場合に、前記画像処理部は、前記第２の指示体に指示された前記表示面における前記構造化光パターンの表示領域の全体を前記第２撮像装置で撮像した第３画像を用いて、前記第２の指示体が指示する前記表示面上の位置情報を検出する
請求項１に記載の位置検出装置。
【請求項３】
前記第１の指示体における指示部分の中心軸は、前記第１撮像装置の光軸と平行である
請求項１又は２に記載の位置検出装置。
【請求項４】
前記中心軸は、前記光軸に一致している
請求項３に記載の位置検出装置。
【請求項５】
請求項１から４のいずれか一項に記載の位置検出装置と、
前記表示面に向けて前記構造化光パターンを表示する構造化光表示部と、を備える
位置検出ユニット。
【請求項６】
請求項５に記載の位置検出ユニットと、
前記表示面に画像を表示する画像表示装置と、を備える
画像表示システム。
【請求項７】
前記画像処理部は、前記第１の指示体に設けられており、
前記第１の指示体は、前記位置情報を前記画像表示装置に送信し、
前記画像表示装置は、前記第１の指示体から送信された前記位置情報に基づいて、前記表示面に表示する画像を制御する
請求項６に記載の画像表示システム。
【請求項８】
前記第１の指示体は、前記画像表示装置に対して無線通信でデータを転送するデータ転送部をさらに有する
請求項７に記載の画像表示システム。
【請求項９】
構造化光パターンが表示された表示面を指示する第１の指示体の周囲に位置する前記構造化光パターンの複数の投影点のうち、互いに異なる少なくとも４点の投影点を含む領域を撮像した第１画像を取得する第１画像取得工程と、
前記第１の指示体が指示する前記表示面における前記構造化光パターンの表示領域の全体を撮像した第２画像を取得する第２画像取得工程と、
前記第１画像と前記第２画像とに基づいて、前記第１の指示体が指示する前記表示面上の位置情報を検出する検出工程と、を備える
位置検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、位置検出装置、位置検出ユニット、画像表示システムおよび位置検出方法に関するものである。
【背景技術】
【０００２】
従来、構造化光を利用した位置検出は１台のカメラで３次元形状が認識可能でありステレオカメラを用いる場合と比較してデバイス個数を減らすことができる。また、構造化光を利用した位置検出は、プロジェクターからの画像が投影されたスクリーンのタッチ認識技術としても応用可能である。このような構造化光を利用した位置検出方法として、ランダムスペックルパターンを投影する技術がある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２００９−５１１８９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、ランダムスペックルパターンを投影する手法の場合、深度解像度を上げるためにパタンピッチを細かくすると深度方向データの繰り返しが発生し、粗いピッチのパターンしか投影できなくなる。その結果、低解像度の画像しか得ることができず、位置検出精度が低下するという問題が生じる。
【課題を解決するための手段】
【０００５】
本発明の第一態様に従えば、構造化光パターンが表示された表示面を指示する第１の指示体と、前記第１の指示体に設けられ、前記表示面に表示された前記構造化光パターンを撮像する第１撮像装置と、前記表示面に表示された前記構造化光パターンを撮像する第２撮像装置と、画像処理部と、を備え、前記第１撮像装置は、前記第１の指示体の周囲に位置する前記構造化光パターンの複数の投影点のうち、互いに異なる少なくとも３点を含む領域を撮像した第１画像を取得し、前記第２撮像装置は、前記第１の指示体が指示する前記表示面における前記構造化光パターンの表示領域の全体を撮像した第２画像を取得し、前記画像処理部は、前記第１画像と前記第２画像とに基づいて、前記第１の指示体が指示する前記表示面上の位置情報を検出する位置検出装置が提供される。
【０００６】
上記第一態様において、前記表示面を第２の指示体が指示した場合に、前記画像処理部は、前記第２の指示体に指示された前記表示面における前記構造化光パターンの表示領域の全体を前記第２撮像装置で撮像した第３画像を用いて、前記第２の指示体が指示する前記表示面上の位置情報を検出するのが好ましい。
【０００７】
上記第一態様において、前記第１の指示体における指示部分の中心軸は、前記第１撮像装置の光軸と平行であるのが好ましい。
【０００８】
上記第一態様において、前記中心軸は、前記光軸に一致しているのが好ましい。
【０００９】
本発明の第二態様に従えば、上記第一態様の位置検出装置と、前記表示面に向けて前記構造化光パターンを表示する構造化光表示部と、を備える位置検出ユニットが提供される。
【００１０】
本発明の第三態様に従えば、上記第二態様の位置検出ユニットと、前記表示面に画像を表示する画像表示装置と、を備える画像表示システムが提供される。
【００１１】
上記第三態様において、前記画像処理部は、前記第１の指示体に設けられており、前記第１の指示体は、前記位置情報を前記画像表示装置に送信し、前記画像表示装置は、前記第１の指示体から送信された前記位置情報に基づいて、前記表示面に表示する画像を制御するのが好ましい。
【００１２】
上記第三態様において、前記第１の指示体は、前記画像表示装置に対して無線通信でデータを転送するデータ転送部をさらに有するのが好ましい。
【００１３】
本発明の第四態様に従えば、構造化光パターンが表示された表示面を指示する第１の指示体の周囲に位置する前記構造化光パターンの複数の投影点のうち、互いに異なる少なくとも４点の投影点を含む領域を撮像した第１画像を取得する第１画像取得工程と、前記第１の指示体が指示する前記表示面における前記構造化光パターンの表示領域の全体を撮像した第２画像を取得する第２画像取得工程と、前記第１画像と前記第２画像とに基づいて、前記第１の指示体が指示する前記表示面上の位置情報を検出する検出工程と、を備える位置検出方法が提供される。
【図面の簡単な説明】
【００１４】
【図１】画像表示システムの構成を示す側面図である。
【図２】スクリーン上に表示される構造化光パターンを示す図である。
【図３】スクリーンを指示する電子ペンの要部を拡大した図である。
【図４】第１カメラにより撮影された第１画像を示す図である。
【図５】第２カメラにより撮影された第２画像を示す図である。
【図６】本変形例の電子ペンの構成を示す図である。
【発明を実施するための形態】
【００１５】
以下、本発明の位置検出装置、位置検出ユニット、画像表示システムおよび位置検出方法に係る一実施形態について図面を参照しながら説明する。
【００１６】
（画像表示システム）
図１は画像表示システムの構成を示す側面図である。
図１に示すように、本実施形態の画像表示システム１は、平坦なスクリーン（表示面）ＳＣ上における電子ペン（第１の指示体）Ｐの位置を高精度に検出することを可能にした装置である。
【００１７】
本実施形態の画像表示システム１は、図１に示すように、位置検出ユニット２と、スクリーンＳＣに表示用画像（画像）を表示するプロジェクター（画像表示装置）３と、を備えている。
【００１８】
（位置検出ユニット）
位置検出ユニット２は、構造化光表示部１０と、位置検出装置２０と、を有する。
構造化光表示部１０は、スクリーンＳＣ上に構造化光パターンＬＰを表示させる。構造化光表示部１０は、例えば、８４０ｎｍ程度の波長帯の近赤外光を射出する光源と、光源から射出した近赤外光を回折して所望のパターンに整形する回折光学素子と、回折した近赤外光を投影するレンズ系と、を有している。
【００１９】
プロジェクター３としては、表示用映像Ｖ１をスクリーンＳＣに投影することができれば、例えば、光走査方式のプロジェクターであってもよいし、ＬＣＤ方式のプロジェクターであってもよいし、ＤＭＤ方式のプロジェクターであってもよい。なお、プロジェクター３は構造化光表示部１０から射出される構造化光パターンＬＰを構成する近赤外光を遮らない位置に設置されている。
【００２０】
図２はスクリーン上に表示される構造化光パターンを示す図である。
図２に示すように、構造化光表示部１０によりスクリーンＳＣ上に形成された構造化光パターンＬＰは格子状を有する。ここで、構造化光パターンＬＰのピッチとしては特に限定されず、後述する位置検出装置２０のカメラの分解能によって適宜設定される。なお、図２では、格子状である構造化光パターンＬＰの四隅を規定する４点をＬ１，Ｌ２，Ｌ３，Ｌ４で示した。
【００２１】
本実施形態では、構造化光パターンＬＰとして近赤外光を用いることで、スクリーンＳＣ上に表示した構造化光パターンＬＰが人間の眼に視認され難くなるため、プロジェクター３による表示用画像を劣化させるおそれがない。なお、構造化光表示部１０の光源は近赤外光を射出するものに限定されず、可視光を射出する光源であってもよい。この場合、構造化光パターンＬＰを人間に視認され難いような輝度変化を与えたものとしたり、人間の眼で視認され難い周波数で周期的に表示したりするようにすることが望ましい。このようにすれば、構造化光パターンＬＰとの重なりによってプロジェクター３による表示用画像の劣化を低減することができる。
【００２２】
（位置検出装置）
図１に示したように、位置検出装置２０は、スクリーンＳＣを撮像する第２カメラ（第２撮像装置）２１と、画像処理回路（画像処理部）２２と、電子ペンＰと、を備えている。
【００２３】
第２カメラ２１は、例えば、近赤外光（ＮＩＲ光）に対応したＮＩＲカメラである。第２カメラ２１は、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ：シーシーディー）センサーやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ：シーモス）センサーなどの撮像素子（図示せず）およびレンズ系を有する受光ユニットと、撮像素子からの映像信号を処理する処理部と、を備える。
【００２４】
第２カメラ２１は例えば配線等により画像処理部２２と電気的に接続されている。第２カメラ２１は、電子ペンＰが指示するスクリーンＳＣ上における構造化光パターンＬＰの表示領域の全体を含む第２画像Ｇ２を取得し、画像処理部２２に出力する（第２画像取得工程）。
なお、第２画像Ｇ２は後述するようにスクリーンＳＣ上における位置情報を規定するために用いられる。
【００２５】
第２カメラ２１は、構造化光表示部１０から射出される構造化光パターンＬＰに対して予め校正（キャリブレーション）されている。すなわち、位置検出装置２０は、構造化光表示部１０によりスクリーンＳＣに表示された構造化光パターンＬＰを第２カメラ２１で撮像し、スクリーンＳＣ上に投影された構造化光パターンＬＰのみを撮像した画像と、スクリーンＳＣと構造化光表示部１０との間に物体が存在していた場合の構造化光パターンＬＰの撮像画像とを画像処理部２２で処理することで、物体の位置情報（座標値）を算出することができる。なお、位置検出ユニット２の座標原点は任意に設定可能であり、例えば、第２カメラ２１のカメラ原点をユニットの座標原点としてもよい。
【００２６】
本実施形態の位置検出ユニット２は、スクリーンＳＣ上において構造化光パターンＬＰが投影されている部分、すなわち図２に示した構造化光パターンＬＰと重なる場所Ａ１の座標に関しては高精度で位置情報を検出可能である。
【００２７】
ここで、構造化光パターンＬＰの格子形状よりも外形の小さい指示体でスクリーンＳＣを指示した場合において、物体の指示位置を検出する場合について考える。構造化光パターンＬＰの格子形状よりも外形の小さい指示体は構造化光パターンＬＰが投影されていない部分、すなわち図２に示した構造化光パターンＬＰと重ならない場所Ａ２を指示する場合があり、物体の指示位置の検出が難しくなる。
【００２８】
例えば、プレゼンテーションを行う場合において、スクリーンＳＣ上における所定領域を指示する指示体として本実施形態の電子ペンＰを用いることができる。
【００２９】
本実施形態の位置検出ユニット２では、電子ペンＰのペン先のように構造化光パターンＬＰの格子形状よりも小さい指示体の位置についても下記構成を採用することで高精度に検出可能である。
【００３０】
本実施形態の電子ペンＰは、本体部３０と、本体部３０の先端に設けられたペン先（指示部分）３１と、第１カメラ（第１撮像装置）３２と、データ転送部３３とを備えている。なお、第１カメラ３２およびデータ転送部３３は、本体部３０内に収容されている。なお、本体部３０の少なくともペン先３１の近傍は、第１カメラ３２による撮像を可能とするために透光性部材、より望ましくは透明部材で構成されている。
【００３１】
ペン先３１は本体部３０から突出した状態に設けられる。ペン先３１の外形は構造化光パターンＬＰの格子形状よりも小さい。
本実施形態において、ペン先３１の根本部分には、ペン先３１のスクリーンＳＣに対する接触を判定する検出素子３１ａが設けられている。このような検出素子３１ａとしては、例えば、圧力センサーなどを用いることができる。検出素子３１ａは第１カメラ３２に電気的に接続されている。なお、ペン先３１のスクリーンＳＣに対する接触判定方法としては圧力検知に限定されるものではない。
【００３２】
第１カメラ３２は、第２カメラ２１と同様の構成を有しており、ペン先３１で指示されたスクリーンＳＣ上に表示された構造化光パターンＬＰを撮像する。
第１カメラ３２は、ペン先３１のスクリーンＳＣへの接触が検出素子３１ａで判定された場合、不図示の電力源から電力が供給されることで撮像を行う。そのため、電子ペンＰは、ペン先３１がスクリーンＳＣに接触した場合のみ第１カメラ３２を駆動させるので、消費電力の低減を図ることができる。
【００３３】
図３はスクリーンを指示する電子ペンの要部を拡大した図である。図３は電子ペンＰのペン先３１の近傍に設けられた第１カメラ３２の要部構成を示している。
図３に示すように、電子ペンＰは、ペン先３１の近傍に設けられた第１カメラ３２を用いて、スクリーンＳＣを指示するペン先３１の周辺画像を取得する。より具体的に、第１カメラ３２は、スクリーンＳＣ上に表示された構造化光パターンＬＰのうちペン先３１が指示する領域とその周辺領域とを撮像して後述の第１画像Ｇ１として取得する。
【００３４】
図３に示すように、第１カメラ３２は撮像素子３２ａとレンズ３２ｂとを有する。本実施形態において、電子ペンＰのペン先３１の中心軸３１Ｃは、第１カメラ３２の光軸３２Ｃと平行である。より具体的に、中心軸３１Ｃは光軸３２Ｃに一致している。第１カメラ３２の光軸３２Ｃは撮像素子３２ａの中心を通るため、電子ペンＰのペン先３１は撮像素子３２ａで取得される画像中心に位置する。このようにペン先３１が画像中心に位置するため、ペン先３１の位置を容易に特定できる。
【００３５】
本実施形態において、第１カメラ３２は、スクリーンＳＣに投影された構造化光パターンＬＰの複数の投影点のうちの互いに異なる少なくとも４つの投影点が認識できる画角を有している。ここで、異なる４つの投影点とは、格子状の構造化光パターンＬＰにおいて直線上に並ばない４点をいう。
【００３６】
第１カメラ３２は、スクリーンＳＣを指示した電子ペンＰのペン先３１の周囲に位置する構造化光パターンＬＰの複数の投影点のうちの互いに異なる少なくとも４点を含む第１画像Ｇ１を取得する（第１画像取得工程）。
【００３７】
図４は第１カメラにより撮影された第１画像を示す模式図である。図４では、第１画像Ｇ１における４つの投影点を符号ＬＰ１，ＬＰ２，ＬＰ３、ＬＰ４でそれぞれ示した。なお、図４における符号Ｌ１，Ｌ２は図２に示した構造化光パターンＬＰの４隅の２点に対応する。
上述したように電子ペンＰにおいて、ペン先３１は撮像素子３２ａの中心に位置するため、図４に示すように第１画像Ｇ１における中心部Ｇ１ｃが欠損している。
【００３８】
第１カメラ３２が取得した第１画像Ｇ１の画像データはデータ転送部３３に送信される。データ転送部３３は、第１画像Ｇ１に関するデータを例えば、ｂｌｕｅｔｏｏｔｈ（登録商標）や無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ：ラン）等のような無線通信により画像処理部２２に送信する。
【００３９】
画像処理部２２は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ：中央演算処理装置）、各種データの一時記憶などに用いられるＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｃｅｓｓ  Ｍｅｍｏｒｙ：ラム）、および、マスクＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ：ロム）やフラッシュメモリー、ＦｅＲＡＭ（Ｆｅｒｒｏｅｌｅｃｔｒｉｃ  Ｒａｎｄａｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ：強誘電体メモリー）などの不揮発性メモリーや画像解析用の処理装置（いずれも図示せず）を備えている。画像処理部２２はプロジェクター３の駆動を制御する制御部と電気的に接続されている。
【００４０】
図４に示したように、第１画像Ｇ１において、本来、矩形状である構造化光パターンＬＰは変形した状態となっている。これは、第１画像Ｇ１が、構造化光パターンＬＰの投射方向とは異なる方向から電子ペンＰに設けられた第１カメラ３２によって撮影されたことによるものである。
【００４１】
図５は第２カメラに撮像された第２画像を示す模式図である。
図５に示すように、構造化光パターンＬＰの投射方向、すなわちスクリーンＳＣを正面方向から撮像した第２カメラ２１に撮像された第２画像Ｇ２では、構造化光パターンＬＰは変形しておらず矩形状となっている。そのため、図４に示される第１画像Ｇ１に含まれる変形した状態の構造化光パターンＬＰから算出される位置情報は、図５に示される第２画像Ｇ２に含まれる変形していない構造化光パターンＬＰから取得されるスクリーンＳＣ上の位置情報とは異なっている。
【００４２】
本実施形態において、画像処理部２２は、第２画像Ｇ２から取得したスクリーンＳＣ上における４つの投影点ＬＰ１，ＬＰ２，ＬＰ３、ＬＰ４の各座標と、第１画像Ｇ１から取得される３つの投影点ＬＰ１，ＬＰ２，ＬＰ３、ＬＰ４の各座標とを用いて、射影変換マトリクスを算出する。射影変換マトリクスは、変形している第１画像Ｇ１に含まれる変形した構造化光パターンＬＰで規定される座標系を、スクリーンＳＣを正面方向から撮像した第２画像Ｇ２に含まれる変形のない構造化光パターンＬＰで規定されるスクリーンＳＣ上における座標系に変換することができる。
【００４３】
本実施形態の電子ペンＰでは、ペン先３１が第１画像Ｇ１の中心部Ｇ１ｃに位置する。そのため、画像処理部２２は、第１画像Ｇ１の中心部Ｇ１ｃの座標を射影変換マトリクスで変換することで、図５に示されるスクリーンＳＣ上におけるペン先３１の座標に変換することができる。
【００４４】
以上のように本実施形態の位置検出装置２０において、画像処理部２２は、上述した第１画像Ｇ１と第２画像Ｇ２とに基づいて、電子ペンＰのペン先３１が指示するスクリーンＳＣ上の座標を精度良く検出することができる（検出工程）。
【００４５】
続いて、本実施形態の画像表示システム１において、例えば、スクリーンＳＣ上を指示する指（第２の指示体）の位置を検出する場合について説明する。人間の指は、電子ペンＰのペン先３１と異なり、構造化光パターンＬＰの格子部分の大きさよりも大きい。そのため、スクリーンＳＣ上を指示する指は構造化光パターンＬＰが投影されている場所Ａ１（図２参照）に重なる。
【００４６】
本実施形態の位置検出ユニット２および位置検出装置２０では、指で指示されたスクリーンＳＣにおける構造化光パターンＬＰの表示領域の全体を第２カメラ２１で撮像した画像（第３画像）を用いて、指が指示するスクリーンＳＣ上の位置情報（座標）を検出する。第２カメラ２１で撮像された画像において、構造化光パターンＬＰは、スクリーンＳＣよりも手前にある指に構造化光パターンＬＰの一部が投影されるため、指で指示された領域の形状が変化している。
【００４７】
上述したように第２カメラ２１は構造化光パターンＬＰに対して予め校正されているため、画像処理部２２は、スクリーンＳＣにおける構造化光パターンＬＰの表示領域の全体を第２カメラ２１で撮像した画像と、上述のように指によって変形した画像とを比較することで、スクリーンＳＣ上における指の位置情報（座標）を検出することができる。本実施形態の位置検出ユニット２によれば、スクリーンＳＣ上を指示する指の位置を検出することができる。
【００４８】
画像処理部２２は、上述のようにして検出したスクリーンＳＣ上における電子ペンＰまたは指の位置情報をプロジェクター３の制御部に出力する。
【００４９】
本実施形態の位置検出ユニット２および位置検出装置２０によれば、第１カメラ３２を有した電子ペンＰを備えるので、ペン先３１のように細い指示体でスクリーンＳＣ上を指示した場合であっても指示位置を高精度で検出することができる。また、位置検出ユニット２および位置検出装置２０は、第２カメラで撮像した画像を用いることで、スクリーンＳＣ上を指示する指の位置を検出することができる。すなわち、本実施形態の位置検出ユニット２および位置検出装置２０によれば、スクリーンＳＣに対する指を用いた荒い入力検出と、スクリーンＳＣ上に対する電子ペンＰを用いた高精度な入力検出とを両立することができる。
【００５０】
したがって、位置検出ユニット２および位置検出装置２０を備える本実施形態の画像表示システム１によれば、スクリーンＳＣ上における電子ペンＰまたは指の位置を高精度で検出することで、スクリーンＳＣに映し出される画像を切り替えたり、拡大または縮小したりすることで、プレゼンテーションをスムーズに進行することができる。また、プレゼンターの電子ペンＰまたは指の動きによってスクリーンＳＣ上に描かれた画像や文字などをスクリーンＳＣ上に表示させるようにしてもよい。
【００５１】
（変形例）
続いて、変形例に係る画像表示システムについて説明する。本変形例と上記実施形態とは電子ペンの構成が異なっている。そのため、以下では電子ペンの構成を主に説明する。なお、以下の説明において上記実施形態と共通の構成および部材については同じ符号を付し、詳細な説明については省略する。
【００５２】
図６は本変形例の電子ペンの構成を示す図である。
図６に示すように、電子ペンＰ１は、本体部３０と、ペン先３１と、第１カメラ３２と、画像処理部４２と、データ転送部４３と、を備えている。なお、第１カメラ３２、画像処理部４２およびデータ転送部４３は本体部３０内に収容されている。すなわち、本変形例において、画像処理部４２は電子ペンＰ１に設けられている。画像処理部４２は上記実施形態の画像処理部２２と同様の構成を有する。
【００５３】
画像処理部４２は第１カメラ３２と電気的に接続されており、第１カメラ３２が取得した第１画像Ｇ１の画像データは画像処理部４２に出力される。本変形例において、第２カメラ２１はデータ転送部（不図示）に接続されており、生成した第２画像Ｇ２を電子ペンＰ１に設けられた画像処理部４２に転送するようになっている。
【００５４】
画像処理部４２は第１カメラ３２および第２カメラ２１から送信された第１画像Ｇ１および第２画像Ｇ２に基づいて、電子ペンＰ１のペン先３１が指示するスクリーンＳＣ上の位置情報を算出することができる。本変形例の電子ペンＰ１は、画像処理部４２により算出したペン先３１の位置情報をデータ転送部４３からプロジェクター３の制御部に出力する。データ転送部４３はプロジェクター３の制御部に対して無線通信でデータを転送する。
【００５５】
本変形例の電子ペンＰ１によれば、画像処理部４２によって算出した電子ペンＰ１の位置情報である座標データのみをデータ転送部４３からプロジェクター３にデータ転送するため、画像データを転送する上記実施形態の構成に比べて、データの転送量を低減することができる。したがって、本変形例の電子ペンＰ１を用いた画像表示システムによれば、よりリアルタイムな操作を行うことができる。
【００５６】
上記実施形態では、構造化光パターンＬＰとして格子状のものを例に挙げたが、タッチ認識に用いることができれば、構造化光パターンＬＰの形状は格子状に限定されず、例えば、複数の点（ドット）が均一に散らばっているようなパターンであってもよい。
【００５７】
また、上記実施形態では、電子ペンＰのペン先３１の中心軸３１Ｃが第１カメラ３２の光軸３２Ｃに一致していたが、中心軸３１Ｃは光軸３２Ｃと平行であればよい。中心軸３１Ｃと光軸３２Ｃとを平行にした場合、ペン先３１が第１画像Ｇ１の中心から所定量だけシフトした所定位置に常に位置する。そのため、画像処理部２２は第１画像Ｇ１の所定位置の座標を射影変換マトリクスによってスクリーンＳＣ上におけるペン先３１の座標に変換できる。
【００５８】
また、例えば、ペン先にインク等を含有させた電子ペンを用いてもよい。このようにすれば、表示面上に電子ペンで文字や絵を描画することができる。また、文字や絵を描画する際のペン先の位置を検出しておくことで、画像や文字の入力情報を取得して文書データを作成してもよい。
【００５９】
また、上記実施形態では、構造化光表示部１０として光源から射出した光を回折光学素子で整形して構造化光パターンＬＰをスクリーンＳＣ上に表示する場合を例に挙げたが、近赤外光からなる構造化光パターンＬＰをスクリーンＳＣ上に投射するプロジェクターを用いて構造化光表示部を構成してもよい。
【００６０】
また、上記実施形態では、表示面としてスクリーンＳＣを例に挙げたが、これに限定されず、例えば、壁、ガラス、ホワイトボード等であってもよい。また、表示面は平坦でなくてもよく、球面や凹凸面であってもよい。また、表示面を指示する指示体としては、電子ペンＰまたは指に限定されず、例えば、指し棒、表示面に吸着したマグネット等であってもよい。また、画像表示システム１の用途としては、プレゼンテーションに限定されず、例えば、デパート等の店舗案内、取扱商品の紹介・検索等、様々な用途に用いることができる。
【符号の説明】
【００６１】
１…画像表示システム、２…位置検出ユニット、３…プロジェクター（画像表示装置）、１０…構造化光表示部、２０…位置検出装置、２１…第２カメラ（第２撮像装置）、２２…画像処理回路（画像処理部）、２２，４２…画像処理部、３１…ペン先（指示部分）、３１Ｃ…中心軸、３２Ｃ…光軸、３２…第１カメラ（第１撮像装置）、３３，４３…データ転送部、Ｆ…指、Ｇ１…第１画像、Ｇ２…第２画像、ＬＡＮ…無線、ＬＰ…構造化光パターン、ＬＰ１…投影点、Ｐ，Ｐ１…電子ペン（第１の指示体）、ＳＣ…スクリーン（表示面）。
【図１】
2020122696.tif 000003
【図２】
2020122696.tif 000004
【図３】
2020122696.tif 000005
【図４】
2020122696.tif 000006
【図５】
2020122696.tif 000007
【図６】
2020122696.tif 000008