(57)【要約】【課題】ポインティングデバイスが人物の影になってカメラで撮像できない場合でもデバイスの軌跡を検出する。【解決手段】情報表示システムは、ポインティングデバイスと、ポインティングデバイスの先端部の軌跡を検出する制御装置５０とを含む。ポインティングデバイスは、所定面上で先端部を中心として放射状に広がる放射光を照射する発光部を備える。カメラ３０は、所定面上の放射光を含む領域を撮像する。放射光検出部５４は、撮像された画像から放射光を検出する。推定部５６は、検出された放射光からポインティングデバイスの先端部の位置を推定する。【選択図】図５
2012053603.tif 000002
【特許請求の範囲】
【請求項１】
ポインティングデバイスと、前記ポインティングデバイスの先端部の軌跡を検出する制御装置と、を含む情報表示システムであって、
前記ポインティングデバイスは、所定面上で前記先端部を中心として放射状に広がる放射光を照射する発光部を備え、
前記制御装置は、
前記所定面上の前記放射光を含む領域を撮像する撮像部と、
撮像された画像から前記放射光を検出する検出部と、
検出された放射光から前記ポインティングデバイスの先端部の位置を推定する推定部と、
を備えることを特徴とする情報表示システム。
【請求項２】
前記ポインティングデバイスは、前記放射光の外形を構成する線分のうち、前記先端部を中心にして半径方向に延びる少なくとも二本の線分を延長したときの交点が前記ポインティングデバイスの先端と一致するような放射光を形成するスリットを備えることを特徴とする請求項１に記載の情報表示システム。
【請求項３】
前記推定部は、複数の撮像画像間での前記放射光の比較に基づき、前記ポインティングデバイスの回転を検出することを特徴とする請求項１または２に記載の情報表示システム。
【請求項４】
前記推定部は、前記放射光の外形形状と予め記憶されている形状パターンとのマッチングに基づいて、前記所定面に対する前記ポインティングデバイスの角度を推定することを特徴とする請求項１ないし３のいずれかに記載の情報表示システム。
【請求項５】
前記推定部は、複数の撮像画像間での前記放射光の比較に基づき、前記所定面と前記ポインティングデバイスの先端部との間の距離を推定することを特徴とする請求項１ないし４のいずれかに記載の情報表示システム。
【請求項６】
ポインティングデバイスと、前記ポインティングデバイスの先端部の軌跡を検出する制御装置と、を含む情報表示システムであって、
前記ポインティングデバイスは、前記先端部の方向に第１照射領域を形成する第１発光部と、前記第１照射領域を取り囲むような第２照射領域を形成する第２発光部と、前記第１発光部または前記第２発光部のいずれかをオンオフするスイッチと、を備え、
前記制御装置は、
所定面上の前記第１照射領域および前記第２照射領域を含む領域を撮像する撮像部と、
撮像された画像から前記第１照射領域および前記第２照射領域を検出する検出部と、
検出された第１照射領域または第２照射領域の位置または形状に基づき前記ポインティングデバイスの先端部の位置を推定する推定部と、
前記第１照射領域または前記第２照射領域が検出されたとき、前記スイッチの作動を外部装置に通知する通知部と、
を備えることを特徴とする情報表示システム。
【請求項７】
複数の撮像画像に対して推定された前記先端部の位置を参照して、該先端部の軌跡を描画した画像を作成する描画部と、
画像表示装置に対して前記描画した画像を出力する出力部と、
をさらに備えることを特徴とする請求項１または６に記載の情報表示システム。
【請求項８】
前記制御装置は投写型表示装置の一部を構成し、該投写型表示装置は前記出力部から出力された画像を前記所定面に対して投写表示するよう構成されることを特徴とする請求項７に記載の情報表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ポインティングデバイスの軌跡を検出して表示する情報表示技術に関する。
【背景技術】
【０００２】
スクリーン上でのポインティングデバイスの軌跡を検出し投写映像中にその軌跡を描画することができる投写型表示システムが実用化されており、例えばプレゼンテーションや学校での講義などに利用されている。この種のシステムでは、一般に、スクリーンの全体を撮像するカメラを設置しておき、ポインティングデバイスの先端から光を発光させ、カメラの撮像画像内からこの光を検出することで、ポインティングデバイスの軌跡を検出している。しかしながら、ポインティングデバイスの操作者がカメラとスクリーンの間に位置すると、デバイスの先端をカメラで撮像できず、軌跡を追えなくなるという問題が生じる。
【０００３】
特許文献１には、赤外線発光部と超音波発生部を設けた電子ペンを使用し、赤外線受光部における赤外線の受光時刻と、複数の超音波受信部における超音波の受信時刻の差から、投写映像上での電子ペンの座標を算出する投写型表示装置が開示されている。これによると、投写型表示装置から見て電子ペンがユーザの背後に位置した場合でも、その座標を算出することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−２５２９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の技術では、超音波の送受信装置をそれぞれ電子ペンと投写型表示装置に組み込む必要があるため、構成が複雑になりコストも増大する。
【０００６】
本発明はこうした状況に鑑みてなされたものであり、その目的は、ポインティングデバイスからスクリーン上に投写される光を撮像してデバイスの軌跡を検出するシステムにおいて、ポインティングデバイスの先端がカメラで撮像できない場合でも、その位置を特定する技術を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の一態様は、ポインティングデバイスと、ポインティングデバイスの先端部の軌跡を検出する制御装置と、を含む情報表示システムである。ポインティングデバイスは、所定面上で先端部を中心として放射状に広がる放射光を照射する発光部を備える。制御装置は、所定面上の前記放射光を含む領域を撮像する撮像部と、撮像された画像から放射光を検出する検出部と、検出された放射光からポインティングデバイスの先端部の位置を推定する推定部と、を備える。
【０００８】
本発明の別の態様も、ポインティングデバイスと、ポインティングデバイスの先端部の軌跡を検出する制御装置と、を含む情報表示システムである。ポインティングデバイスは、先端部の方向に第１照射領域を形成する第１発光部と、第１照射領域を取り囲むような第２照射領域を形成する第２発光部と、第１発光部または第２発光部のいずれかをオンオフするスイッチと、を備える。制御装置は、所定面上の第１照射領域および第２照射領域を含む領域を撮像する撮像部と、撮像された画像から第１照射領域および第２照射領域を検出する検出部と、検出された第１照射領域または第２照射領域の位置または形状に基づきポインティングデバイスの先端部の位置を推定する推定部と、第１照射領域または第２照射領域が検出されたとき、スイッチの作動を外部装置に通知する通知部と、を備える。
【０００９】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１０】
本発明によれば、ポインティングデバイスからスクリーン上に投写される光を撮像してデバイスの軌跡を検出する表示システムにおいて、ポインティングデバイスの先端をカメラで撮像できない場合でも、その位置を特定することが可能になる。
【図面の簡単な説明】
【００１１】
【図１】本発明に係る投写表示システムの全体構成を示す図である。
【図２】実施の形態１に係るペン型デバイスの構造を示す図である。
【図３】ペン型デバイスをスクリーンに対して垂直に押し当てたときにスクリーン上に照射される放射光の例を示す図である。
【図４】カメラにより撮像された放射光の形状からペン先位置を推定する方法について説明する図である。
【図５】実施の形態１に係る投写型表示装置の構成を示す図である。
【図６】ペン型デバイスを用いてスクリーン上に描画するプロセスのフローチャートである。
【図７】ペン型デバイスを使用してスクリーン面に対するデバイスの傾きを推定する方法を説明する図である。
【図８】ペン型デバイスを使用してデバイスの回転を検出する方法を説明する図である。
【図９】ペン型デバイスを使用してスクリーン面に対するデバイスの距離を推定する方法を説明する図である。
【図１０】スリットの位置を非対称としたペン型デバイスを示す図である。
【図１１】スリットの幅を拡大したペン型デバイスを示す図である。
【図１２】ペン型デバイスの筐体に形成されるスリット形状の変形例を示す図である。
【図１３】筐体に形成されるスリットの数を増やしたペン型デバイスを示す図である。
【図１４】実施の形態２に係るペン型デバイスの断面図である。
【図１５】実施の形態２に係る投写型表示装置の構成を示す図である。
【図１６】実施の形態３に係るペン型デバイスの断面図である。
【発明を実施するための形態】
【００１２】
実施の形態１．
図１は、本発明の実施の形態１に係る投写表示システム１００の全体構成を示す。投写表示システム１００は、投写型表示装置（「プロジェクタ」とも呼ぶ）８０、投写型表示装置８０から映像が投写されるスクリーン１１０、およびユーザＳが操作するポインティングデバイス１２０を含む。投写型表示装置８０は、スクリーン１１０方向を撮影するためのカメラ３０を備える。一例として、カメラ３０は、その光軸中心と、投写型表示装置８０から投写される投写光の光軸中心とが平行な関係になるように設置される。
【００１３】
実施の形態１では、ユーザＳは、スクリーン１１０の投影面に対してペン型のポインティングデバイス１２０を接触させた状態でデバイス１２０を動かして、線や文字を書く動作をする。投写型表示装置８０は、カメラ３０により撮像された画像に基づき、ポインティングデバイス１２０の先端部の軌跡を検出する。そして、軌跡を描画した画像を作成し、スクリーン１１０に投写する。
【００１４】
カメラ３０は、投写映像上でのポインティングデバイス１２０の動きを撮像するために、スクリーン１１０のほぼ全体が視野角に収まるように配置される。図１のように、スクリーン１１０とカメラ３０とが正対していることが好ましいが、投写型表示装置８０から左右方向に離れた位置にカメラ３０を配置してもよいし、あるいは投写型表示装置８０よりもスクリーン近傍に配置してもよい。また、複数台のカメラ３０を使用してもよい。
【００１５】
図２（ａ）は、実施の形態１に係るペン型ポインティングデバイス（以下、単に「ペン型デバイス」と称する）１２０の構造を示す。ペン型デバイス１２０は、通常のペンと同様にユーザが保持した状態でスクリーンの投影面に対してなされた動作が検出される。図２において、実線は外形形状を、点線は内部構造または背面側の形状を示している。
【００１６】
ペン型デバイス１２０の先端には、半球形の先端部を有するスイッチ１２２が取り付けられている。ペン型デバイス１２０の略円筒形の筐体内部には、図示しない電池から電力を供給されるＬＥＤ（Light Emitting Diode）等の発光素子１２４が設けられている。ユーザがペン型デバイス１２０の先端をスクリーン１１０に対して押しつけると、スイッチ１２２が内側に押されて発光素子１２４が点灯するように構成されている。
【００１７】
ペン型デバイス１２０の筐体には、発光素子１２４よりも先端側に複数の細長いスリット１３０が形成されている。基本的に、スリット１３０は、ペン型デバイス１２０の軸方向に伸びる細長い長方形状であるが、他の形状であってもよい。
【００１８】
ペン型デバイス１２０の中心軸、スイッチ１２２のスクリーンへの接触点、および発光素子１２４の発光中心は、同軸に配置されることが好ましい。また、ペン型デバイス１２０の筐体は、円筒形に限られず任意の形状でよいが、ペン型デバイス１２０の筐体に形成されるスリット１３０は、デバイスの中心軸から等距離であることが好ましい。
【００１９】
図２（ｂ）は、ペン型デバイス１２０を先端側から見た端面図である。この実施形態では、周方向に等間隔に３つのスリット１３０が形成されている。
【００２０】
スリット１３０の軸方向の長さは、カメラ３０から見てペン型デバイス１２０がユーザＳの影に隠れた場合でも、スクリーン上の放射光がユーザの影から出てカメラにより撮像できるような位置まで放射光が延びるように選択されることが好ましい。
【００２１】
図３は、ペン型デバイス１２０をスクリーンに対して垂直に押し当てたときに、デバイスからスクリーン上に照射される光の形状の一例を示す。ペン型デバイス１２０のスイッチ１２２が押されると、発光素子１２４が発光し、スリット１３０を通して光が漏れる。それぞれのスリット１３０から漏れた光は、図３に示すように、ペン型デバイスの先端（すなわち、スイッチ１２２のスクリーンへの接触位置）Ｐを中心として放射状に広がる、細長い略台形状の放射光１３２を形成する。スリット１３０はペン型デバイス１２０の先端までは延びていないため、放射光１３２はペン先位置Ｐから離れた位置に現れる。
【００２２】
発光素子１２４がＬＥＤのように指向性の強い発光体である場合、スリット１３０から十分な光が漏れるように、発光素子１２４の照射方向にプリズムやミラーなどの反射体を配置することが好ましい。なお、発光素子１２４の照度や色は、投写型表示装置８０の想定使用環境において、スクリーンの撮像画像内で放射光１３２の少なくとも一部の外形が認識できる程度の照度または色が選択される。
【００２３】
図４は、カメラにより撮像された放射光からペン先位置Ｐを推定する方法について説明する図である。上述したように、カメラ３０はスクリーン１１０の略全体を視野角に収める位置に配置されているため、ペン型デバイス１２０がユーザＳの影に隠れてしまい、ペン型デバイス１２０の先端を撮像できなくなる場合が生じる。本実施形態の投写型表示装置８０は、ペンの先端を撮像できなくても、撮像画像に含まれる細長い放射光を利用してペン先位置Ｐを推定することができる。
【００２４】
図４のように、ペン先位置ＰがユーザＳの影にありカメラ３０から観察できないものとする。このとき、投写型表示装置８０は、撮像画像から放射光１３２を検出する。さらに、放射光１３２の外形を構成する線分のうち、ペン先位置Ｐを中心にして半径方向に延びる二つの線分を検出する。そして、撮像画像内でこの二つの線分を延長したときに交差する点をペン先位置Ｐと推定する。上述したように、ペン先位置Ｐと発光素子１２４の中心とは同軸上にあるので、放射光の放射された方向を求めることでペン先位置Ｐも求めることができる。
【００２５】
３つの放射光１３２の外形形状のうち、半径方向に延びる少なくとも二つの線分が検出されれば、上述の推定方法を実行することができる。すなわち、一つの放射光１３２の外形を構成する二つの線分の交点を用いてもよいし、または第１の放射光１３２の外形を構成する一つの線分と、第２の放射光１３２の外形を構成する一つの線分との交点を用いてもよい。したがって、放射光の大半がユーザＳの影に隠れてしまっても、ペン先位置Ｐを推定することが可能である。
【００２６】
複数の放射光１３２が撮像画像内で検出された場合、いずれか一つの放射光１３２を選択してペン先位置Ｐを推定してもよいし、または放射光毎にペン先位置を推定してもよい。後者の場合、放射光毎に推定されたペン先位置Ｐの平均値を採用してもよい。
【００２７】
図５は、実施の形態１に係る投写型表示装置８０の構成を示す図である。投写型表示装置８０は、主に投写部１０、カメラ３０および制御装置５０を備える。制御装置５０は、先端検出部５２、放射光検出部５４、推定部５６、描画部５８、映像信号出力部６０および画像メモリ６２を備える。
【００２８】
制御装置５０の構成は、ハードウェア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
【００２９】
投写部１０は、スクリーン１１０に映像を投写する。投写部１０は、光源１１、光変調器１２およびフォーカスレンズ１３を含む。光源１１には、フィラメント型の電極構造を有するハロゲンランプ、アーク放電を発生させる電極構造を有するメタルハライドランプ、キセノンショートアークランプ、高圧型の水銀ランプ、ＬＥＤランプなどを採用することができる。
【００３０】
光変調器１２は、映像信号出力部６０から設定される映像信号に応じて、光源１１から入射される光を変調する。例えば、光変調器１２にはＤＭＤ（Digital Micromirror Device）を採用することができる。ＤＭＤは、画素数に対応した複数のマイクロミラーを備え、各マイクロミラーの向きが各画素信号に応じて制御されることにより、所望の映像光を生成する。
【００３１】
フォーカスレンズ１３は、光変調器１２から入射される光の焦点位置を調整する。光変調器１２により生成された映像光は、フォーカスレンズ１３を介して、スクリーン１１０に投写される。
【００３２】
カメラ３０は、スクリーン１１０、投写部１０によりスクリーン１１０に投写された映像、およびペン型デバイス１２０を主な被写体として撮像する。カメラ３０は、固体撮像素子３１および信号処理回路３２を含む。固体撮像素子３１には、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやＣＣＤ（Charge Coupled Devices）イメージセンサなどを採用することができる。信号処理回路３２は、固体撮像素子３１から出力される信号に対して、Ａ／Ｄ変換や、ＲＧＢフォーマットからＹＵＶフォーマットへの変換などの各種信号処理を施し、制御装置５０に出力する。
【００３３】
先端検出部５２は、カメラ３０から得られる撮像画像から、ペン型デバイス１２０の先端部を検出する。この検出は、周知のテンプレートマッチング等の技術を用いて実行する。代替的に、ペン型デバイス１２０のスイッチ１２２に発光素子を組み込んでおき、スイッチ１２２の先端がスクリーンに押しつけられたときにスイッチ自体が発光するように構成してもよい。この場合、先端検出部５２は、カメラ３０から得られる撮像画像からペン先の発光点を検出する。
【００３４】
撮像画像からペン型デバイス１２０の先端部を検出できた場合、先端検出部５２は、投写映像領域内でのペン先位置Ｐの座標を決定する。この情報は、描画部５８に送信される。
【００３５】
撮像画像からペン型デバイス１２０の先端部を検出できなかった場合、放射光検出部５４は、撮像画像内から略台形状の放射光１３２を検出する。この検出も、テンプレートマッチング等の技術を用いて実現できる。
【００３６】
推定部５６は、放射光検出部５４で検出された放射光１３２の外形形状を特定し、半径方向に延びる少なくとも二つの線分をさらに検出する。そして、この二つの線分を撮像画像内で延長し、交差位置をペン先位置Ｐと推定する。推定部５６は、さらに投写映像領域内でのペン先位置Ｐの座標を決定し、描画部５８に出力する。
【００３７】
描画部５８は、撮像画像毎に先端検出部５２または推定部５６から受け取るペン先位置Ｐの座標を連続的につなぎ合わせて、ペン型デバイス１２０の先端部の軌跡を特定する。そして、特定した軌跡に予め定められた特性（色、太さ、線種など）を有する線を描画した画像を作成する。
【００３８】
画像メモリ６２は、スクリーン１１０に投写すべき画像データを保持する。この画像データは、図示しない外部インタフェースを介してパーソナルコンピュータ（ＰＣ）などの外部装置から供給される。映像信号出力部６０は、画像メモリ６２に保持される画像データに基づく映像信号と、描画部５８で作成された画像とを合成した上で、光変調器１２に出力する。この結果、映像信号にユーザＳの描いた線が書き加えられた画像がスクリーン１１０に投写表示される。なお、映像信号出力部６０は、画像メモリからの映像信号を出力せず、軌跡の画像のみを出力してもよい。
【００３９】
図６は、投写表示システム１００を用いてペン型デバイスでスクリーン上に軌跡を描画するプロセスのフローチャートである。
まず、カメラ３０がスクリーン上の投写映像領域を撮像する（Ｓ１０）。先端検出部５２が、撮像画像内でペン型デバイスの先端部の検出を試みる（Ｓ１２）。ペン先端が検出された場合（Ｓ１２のＹ）、先端検出部５２は投写領域内でのペン先位置の座標を決定する（Ｓ１４）。ペン先端が検出できなかった場合（Ｓ１２のＮ）、放射光検出部５４は、撮像画像内で放射光の検出を試みる（Ｓ１６）。放射光が検出されない場合（Ｓ１６のＮ）、スクリーンにペン型デバイスが接触していないと考えられるので、描画画像を作成せずにＳ２４に進む。放射光が検出された場合（Ｓ１６のＹ）、推定部５６は、放射光の外形を構成する少なくとも二つの線分に基づき、ペン先位置の座標を推定する（Ｓ１８）。
【００４０】
描画部５８は、先端検出部５２または推定部５６で決定されたペン先座標に基づき、ペン型デバイスの軌跡を描画した画像を作成する（Ｓ２０）。映像信号出力部６０は、画像メモリ６２からの映像信号に軌跡画像を合成し（Ｓ２２）、合成された画像が投写部１０によりスクリーン上に投写される（Ｓ２４）。
【００４１】
以上説明したように、実施の形態１によれば、ペン型デバイスの筐体に形成された複数のスレットから漏れる放射光を利用して、デバイスのペン先位置を推定する。スリットから漏れた光は、スクリーン上で放射状に延びるため、ユーザによりペン先がカメラから隠された場合でも、放射光の少なくとも一部はカメラにより撮像される。したがって、ペン型デバイスのペン先位置を推定することができる。
【００４２】
また、スリットをペン型デバイスの周方向に複数設けることで、ペン型デバイスの向きやスクリーンに対する角度によって放射光が撮像できなくなる事態を回避することができる。また、複数の放射光を利用してペン先位置を推定することで、検出精度を高めることができる。
【００４３】
以下、実施の形態１の変形例について説明する。
【００４４】
図７は、ペン型デバイス１２０を使用してスクリーン面に対するデバイスの傾きを推定する方法を説明する図である。（ａ）のようにスクリーン面に対してペン型デバイス１２０を傾けて接触させた場合、（ｂ）のように傾けられた方向では放射光１３６が小さくなり、その反対向きでは放射光１３４が大きくなる。そこで、推定部は、ペン型デバイスをスクリーンに対して垂直に押し当てたときに形成される放射光と、撮像画像から検出された放射光との比較に基づき、ペン型デバイスの傾斜の角度および方向を推定することができる。例えば、ペン型デバイスとスクリーンとがなす角度に応じた放射光の基準パターンを投写型表示部内に保持しておき、この基準パターンと撮像画像から検出された放射光とのマッチング結果に基づき、角度を推定してもよい。
【００４５】
図８は、ペン型デバイス１２０を使用してデバイスの回転を検出する方法を説明する図である。カメラ３０による撮像画像のフレーム間比較によって、推定部がペン先位置Ｐが変化することなく放射光１３２が（ａ）から（ｂ）のように角度変化したことを特定すれば、ペン型デバイスの回転を検出することができる。
【００４６】
図９は、ペン型デバイス１２０を使用してスクリーン面に対するデバイスの距離を推定する方法を説明する図である。この例では、デバイス内部の発光素子１２４は、スイッチ１２２とは無関係に常に点灯しているものとする。（ａ）に示すように、ペン型デバイス１２０がスクリーン面から離れた位置にあるとき、スクリーン上に形成される放射光１３２はペン先位置Ｐからも離れている。（ｂ）に示すように、ペン型デバイス１２０がスクリーン面に接触するとき、スクリーン上に形成される放射光１３２はペン先位置Ｐに接近する。したがって、撮像画像中でのペン先位置Ｐと放射光１３２の先端部との間の距離と、実際のスクリーンとペン型デバイスとの間の距離を対応させるテーブルまたは計算式を予め準備しておくことで、推定部がスクリーンとペン型デバイスとの距離を推定することが可能になる。
【００４７】
図７〜図９を参照して説明したように、ペン型デバイス１２０の傾き、回転および距離を求めることで、ペン型デバイスの描画以外の動作をＰＣ等の外部装置に対する入力として用いることができる。例えば、ペン型デバイスのスクリーン面に対する接近動作を、マウスのクリック操作に対応させたり、ペン型デバイスの所定角度以上の傾きを、選択したオブジェクトの傾き方向への移動に対応させたり、またはペン型デバイスの回転を、選択したオブジェクトの回転に対応させたりすることが考えられる。
【００４８】
図１０〜図１２は、ペン型デバイスの筐体に形成されるスリット形状の変形例を示す。各図において、（ａ）はペン型デバイスを先端から観察した端面図を示し、（ｂ）はペン型デバイスをスクリーンに対して垂直に接触させたときにスクリーン上に形成される放射光の形状を示している。
【００４９】
図１０（ａ）は、スリット１３０の位置を非対称としたペン型デバイス１４０を示す。この例では、３つのスリットが中心線よりも左側に位置している。したがって、スクリーン上の放射光も、図１０（ｂ）に示すように、ペン先位置の左側に延びる。ユーザがスリットのない側を手の平向きにしてペン型デバイス１４０を保持することで、スリット１３０から漏れた光がユーザの手によって遮られにくくなる。したがって、カメラによって放射光を検出しやすくなる。
【００５０】
図１１（ａ）は、上述の実施形態よりもスリット１５２の幅を拡大したペン型デバイス１５０を示す。ペン型デバイス１５０によりスクリーン上に形成される放射光は、図１１（ｂ）に示すように扇形に近くなる。こうすると、放射光の半径方向に延びる二本の線分間のなす角度が大きくなるため、ペン先位置の検出精度が向上することが期待される。
【００５１】
図１２（ａ）は、スリット１６２をペン先まで延長したペン型デバイス１６０を示す。ペン型デバイス１６０によりスクリーン上に形成される放射光は、図１２（ｂ）に示すように中央部のつながった三つ叉形状になる。
【００５２】
図１３（ａ）は、筐体に形成されるスリットの数を増やしたペン型デバイス１７０を示す。各スリット１７２は、図２のペン型デバイス１２０におけるスリットと同様に、周方向に等間隔に配置されているが、各スリットが軸方向に二分されている。図１３（ｂ）は、このペン型デバイス１７０によりスクリーン上に形成される放射光の形状を示しており、形の異なる二種類の放射光１７６、１７８を含む。このようにすると、ペン先位置を推定するための放射光の情報量が増大するため、ペン先位置やペンの傾きの推定精度が向上することが期待される。
【００５３】
一つのスクリーンに対し二人以上のユーザが描画を行う場合、各ユーザにそれぞれ異なるスリット形状を有するペン型デバイスを使用させてもよい。このようにすると、スクリーン面上の放射光形状がそれぞれ異なるため、投写型表示装置側の処理によってユーザ毎のペン先位置を区別することができる。したがって、ユーザ毎に異なる特性（太さ、色、線種など）の線で描画された映像を投写することができる。
【００５４】
スリットの形状、位置および数は上記に限定される訳ではなく、カメラで撮像された放射光形状からペン先位置を推定できる限り、任意のものを適宜選択することができる。ペン型デバイスの先端部を中心として放射状に配置されていれば、放射光の形状が台形または扇形でなくてもよい。また、スリットの形状、位置、および数が適切に選択されている限り、ポインティングデバイスとしてペン型以外のデバイスを用いることも可能である。
【００５５】
また、放射光を形成するのにスリットに加え、ミラー、プリズム、レンズなどの光学素子を利用してもよい。スリットを使用せずに、ペン型デバイスの筐体の側面に発光素子を取り付けて直接放射光を照射してもよい。
【００５６】
実施の形態２．
図１４（ａ）は、本発明の別の実施形態に係る投写型表示装置とともに使用するペン型デバイス２２０の断面図である。このペン型デバイス２２０には、二つの発光素子２２２、２２４が設けられている。第１の発光素子２２２はデバイス２２０の先端に配置され、スクリーン上に照射領域Ｒ１を形成する。第１の発光素子２２２は、使用中は常に点灯されている。これに対し、第２の発光素子２２４は、ペン型デバイス２２０の筐体側面に配置されたスイッチ２２６によって、点灯／消灯が切り換えられる。第２の発光素子２２４は、第１の発光素子２２２の後方に配置される。そして、図１４（ｂ）に示すように、第１の発光素子２２２による照射領域Ｒ１を取り囲んで照射領域Ｒ２を形成する。
【００５７】
第１の照射領域Ｒ１は、ペン型デバイスのペン先位置を検出するために使用される。これに対し、第２の照射領域Ｒ２は、ペン型デバイス２２０においてスイッチ２２６が押されているか否かを判定するために使用される。
【００５８】
第１の発光素子と第２の発光素子は、識別の観点から色が異なることが好ましい。しかしながら、両者が同色でも、照射領域Ｒ１とＲ２の輝度差から両者を識別することも可能である。
【００５９】
図１５は、実施の形態２に係る投写型表示装置２００の構成を示す図である。投写型表示装置２００は、主に投写部１０、カメラ３０および制御装置２５０を備える。投写部１０およびカメラ３０については、図５の投写型表示装置８０のものと同様の機能を有するので、説明を省略する。
【００６０】
制御装置２５０は、照射領域検出部７２、クリック通知部７４、描画部５８、映像信号出力部６０および画像メモリ６２を備える。制御装置２５０の機能ブロックについても、ハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できる。
【００６１】
照射領域検出部７２は、カメラ３０による撮像画像内から照射領域Ｒ１およびＲ２を検出する。この検出は、撮像画像内で第１および第２の発光素子に対応する色または輝度と、ペン型デバイスがスクリーンに接触しているときに形成される照射領域の大きさとに対応する部分を検出することで実現できる。照射領域検出部７２は、照射領域Ｒ１を検出すると、投写領域内でのその座標をペン先位置として特定し、描画部５８に出力する。
【００６２】
クリック通知部７４は、照射領域検出部７２により照射領域Ｒ２が検出されたとき、スイッチ２２６が押されたことをＰＣ等の外部機器に通知する。好適には、スイッチ２２６は一般的なマウスの右クリックに対応している。
【００６３】
描画部５８は、照射領域検出部７２から受け取ったペン先位置Ｐの座標に、予め定められた特性（色、太さ、線種など）を有する線を描画した画像を作成する。
【００６４】
映像信号出力部６０および画像メモリ６２の機能は、図５の投写型表示装置８０のものと同様なので、説明を省略する。
【００６５】
以上説明したように、実施の形態２に係る投写型表示装置によれば、ペン型デバイス内に二つの発光素子が設けられる。一方はペン先位置の検出に使用される。他方は、点灯／消灯を例えばマウスのクリック操作に対応させる。二つの発光素子によりスクリーン上に形成される照射領域をカメラで撮像することで、ペン先位置の検出と右クリックの検出を同時に行うことができる。
【００６６】
また、ペン先方向に円形の照射領域を形成するため、ペンを傾けた場合の形状のひずみが小さくなる。したがって、スクリーンに対するペン型デバイスの傾きが照射領域の検出に及ぼす影響が小さく、安定した検出が可能になる。
【００６７】
従来、投写型表示装置においてポインティングデバイスでのクリック操作を送信するために、ブルートゥース等の無線を用いることが多かった。これに対し、実施の形態２に係る投写型表示装置では、単一のカメラでペン先位置とクリック操作の両方を検出できるので、構成が簡単になり低コストになる。
【００６８】
クリック操作を安定して検出できるようにするために、クリック操作の検出、すなわち照射領域Ｒ２の有無の検出は、照射領域Ｒ１が検出されたときのみとしてもよい。また、照射領域Ｒ２の誤検出を防止するために、照射領域Ｒ１を中心とした所定範囲内でのみ照射領域Ｒ２の有無を検出するようにしてもよい。
【００６９】
実施の形態３．
実施の形態１で説明したスリットからの放射光によるペン先位置の検出と、実施の形態２で説明したクリックの検出とを組み合わせて使用してもよい。図１６は、そのような実施の形態に係るペン型デバイス２３０の構成を示す断面図である。
【００７０】
図１６（ａ）に示すように、ペン型デバイス２３０には、二つの発光素子２３２、２３４が設けられている。第１の発光素子２３２はデバイス２３０の先端に配置され、スクリーン上に照射領域Ｒ１を照射する。第１の発光素子２３２は、ペン型デバイス２３０の筐体側面に配置されたスイッチ２２６によって、点灯／消灯が切り換えられる。第２の発光素子２３４は、第１の発光素子２３２の後方に配置される。第２の発光素子２３４から照射された光は、筐体内部に配置されたミラーまたはプリズム２３６によって反射され、筐体側面に形成されたスリット２３８を通過して、ペン型デバイス２３０の側方に光を照射する。この例では、周方向に等間隔に４つのスリット２３８が形成されているものとする。
【００７１】
図１６（ｂ）は、ペン型デバイス２３０によってスクリーン上に形成される照射領域の形状を示す。照射領域Ｒ１は、第１の発光素子２３２によって、スイッチ２２６が押されている間のみ照射される。照射領域Ｒ２は、第２の発光素子２３４によって形成される。
【００７２】
カメラによるスクリーンの撮像画像から、第２の実施形態と同様にして照射領域Ｒ１の有無を検出することにより、クリック操作を検出することができる。また、第１の実施形態と同様にして照射領域Ｒ２を検出し、その形状に基づきペン先位置の座標を求めることができる。
【００７３】
上述の各実施形態では、スクリーン上に投写映像を表示する投写型表示装置を含むシステムを例として説明した。しかしながら、本発明は、フラットパネルディスプレイ、電子黒板などの画面上でのポインティングデバイスの軌跡を検出し、その軌跡をディスプレイに表示するシステムにも適用することができる。この場合、ポインティングデバイスをマウス等の代替物として使用できる。また、ポインティングデバイスで描画する場所と、対応する軌跡の画像の表示先とは同一でなくてもよい。例えば、あるスクリーン上でのポインティングデバイスの軌跡が、別のスクリーンやディスプレイ上に表示されてもよい。
【符号の説明】
【００７４】
１０  投写部、  ３０  カメラ、  ５０、２５０  制御装置、  ５２  先端検出部、  ５４  放射光検出部、  ５６  推定部、  ５８  描画部、  ６０  映像信号出力部、  ６２  画像メモリ、  ７２  照射領域検出部、  ７４  クリック通知部、  ８０、２００  投写型表示装置、  １００  投写表示システム、  １１０  スクリーン、  １２０、１４０、１５０、１６０、１７０、２２０、２３０  ペン型デバイス、  １２２  スイッチ、  １２４、２２２、２２４、２３２、２３４  発光素子、  １３０、１５２、１６２、１７２  スリット、  １３２、１３４、１３６、１７６  放射光、  ２２６  スイッチ。
【図１】
2012053603.tif 000003
【図２】
2012053603.tif 000004
【図３】
2012053603.tif 000005
【図４】
2012053603.tif 000006
【図５】
2012053603.tif 000007
【図６】
2012053603.tif 000008
【図７】
2012053603.tif 000009
【図８】
2012053603.tif 000010
【図９】
2012053603.tif 000011
【図１０】
2012053603.tif 000012
【図１１】
2012053603.tif 000013
【図１２】
2012053603.tif 000014
【図１３】
2012053603.tif 000015
【図１４】
2012053603.tif 000016
【図１５】
2012053603.tif 000017
【図１６】
2012053603.tif 000018