(57)【要約】【課題】スクリーン上でポインティングデバイスを操作する描画中のユーザの手の届く範囲でデバイスの設定変更ができるようにする。【解決手段】情報表示システムは、所定面に対する指示点の軌跡を検出する制御装置５０を含む。カメラ３０は、所定面上の指示点を含む領域を撮像する。指示点検出部５２は、撮像された画像から指示点の座標を検出する。アイコン位置決定部５６は、指示点の近傍で所定アイコンを表示すべき位置を決定する。描画部５８は、指示点の軌跡および所定のアイコンを描画した画像を作成する。映像信号出力部６０は、作成された画像を投写部１０に出力する。【選択図】図３
2012053584.tif 000002
【特許請求の範囲】
【請求項１】
所定面に対する指示点の軌跡を検出する制御装置を含む情報表示システムにおいて、前記制御装置で実行されるプログラムであって、
前記所定面上の前記指示点を含む領域が撮像された画像から前記指示点の座標を検出する検出機能と、
前記指示点の軌跡を描画するとともに、前記指示点の近傍に所定のアイコンを描画した画像を作成する描画機能と、
画像表示装置に対して作成された画像を出力する出力機能と、
を前記制御装置に実現させるための情報表示プログラム。
【請求項２】
前記指示点の軌跡の描画方向を決定し、前記所定のアイコンの表示位置を描画方向とは異なる方向から選択する機能をさらに含むことを特徴とする請求項１に記載の情報表示プログラム。
【請求項３】
前記所定のアイコンは、クリックされることで所定のメニュー画面を表示させるメニューアイコンであることを特徴とする請求項１または２に記載の情報表示プログラム。
【請求項４】
前記所定のアイコンは、クリックされる毎に軌跡の線の設定が変更されるトグルスイッチアイコンであることを特徴とする請求項１ないし３のいずれかに記載の情報表示プログラム。
【請求項５】
前記情報表示システムは、前記指示点を示す構成を備えたポインティングデバイスを含み、
前記描画機能は、前記ポインティングデバイスの指示点が所定面から離れたときに前記アイコンを描画することを特徴とする請求項１ないし４のいずれかに記載の情報表示プログラム。
【請求項６】
前記情報表示システムは、前記指示点を示す構成を備えたポインティングデバイスを含み、
前記描画機能は、前記ポインティングデバイスの指示点が所定面に接触しているときよりも、所定面から離れているときに、前記アイコンを視認性が高まる表示態様で描画することを特徴とする請求項１ないし４のいずれかに記載の情報表示プログラム。
【請求項７】
所定面に対する指示点の軌跡を検出する制御装置を含む情報表示システムであって、
前記制御装置は、
前記所定面上の前記指示点を含む領域が撮像された画像から前記指示点の座標を検出する検出部と、
前記指示点の軌跡を描画するとともに、前記指示点の近傍に所定のアイコンを描画した画像を作成する描画部と、
画像表示装置に対して作成された画像を出力する出力部と、
を備えることを特徴とする情報表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ポインティングデバイスの軌跡を検出して表示する情報表示技術に関する。
【背景技術】
【０００２】
スクリーン上のポインティングデバイスの軌跡を検出し投写映像中にその軌跡を描画することができる投写型表示システムが実用化されており、例えばプレゼンテーションや学校での講義などに利用されている。この種のシステムでは、一般にスクリーンの全体を撮像するカメラを設置しておき、ポインティングデバイスの先端から光を発光させ、カメラの撮像画像内からこの光を検出することで、ポインティングデバイスの軌跡を検出している。
【０００３】
この種のシステムにおいて、デバイスの設定変更のためのメニュー画面を表示する場合、次のような方法が知られている。特許文献１では、大型スクリーンに画像を投影するプロジェクタにおいて、スクリーン右上端にメニュー領域が表示される。特許文献２では、コンピュータ入力システムにおいて、スクリーンの上端にメニューバーが表示される。特許文献３には、タッチパネル付きディスプレイ装置において、マウスの操作に割り当てたスイッチと、スイッチ操作信号を発するための赤外線信号発信部とを備えた専用のタッチペンを使用することが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平２−３０６２９４号公報
【特許文献２】特開平３−１６７６２１号公報
【特許文献３】特開２００３−２６３２７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１および２に開示された技術では、メニューを選択したいときにユーザはスクリーンの端まで腕を伸ばしたり移動したりしなければならず、作業効率が低下するという問題がある。特許文献３に開示された技術では、ボタンと発信部をペンに追加する必要があり、構成が複雑化しコストも増大するという問題がある。
【０００６】
本発明はこうした状況に鑑みてなされたものであり、その目的は、ポインティングデバイスの軌跡を検出して表示する情報表示システムにおいて、描画中のユーザの手の届く範囲でデバイスの設定変更ができるようにする技術を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の一態様は、所定面に対する指示点の軌跡を検出する制御装置を含む情報表示システムにおいて、制御装置で実行されるプログラムである。このプログラムは、所定面上の指示点を含む領域が撮像された画像から指示点の座標を検出する検出機能と、指示点の軌跡を描画するとともに、指示点の近傍に所定のアイコンを描画した画像を作成する描画機能と、画像表示装置に対して作成された画像を出力する出力機能と、を前記制御装置に実現させる。
【０００８】
本発明の別の態様は、所定面に対する指示点の軌跡を検出する制御装置を含む情報表示システムである。制御装置は、所定面上の前記指示点を含む領域が撮像された画像から指示点の座標を検出する検出部と、指示点の軌跡を描画するとともに、指示点の近傍に所定のアイコンを描画した画像を作成する描画部と、画像表示装置に対して作成された画像を出力する出力部と、を備える。
【０００９】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１０】
本発明によれば、ポインティングデバイスの軌跡を検出して表示する情報表示システムにおいて、描画中のユーザの手の届く範囲でデバイスの設定を変更することが可能になる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態に係る投写表示システムの全体構成を示す図である。
【図２】ペン型デバイスの構造を示す図である。
【図３】投写型表示装置の構成を示す図である。
【図４】ペン型デバイスを使用してスクリーン上に軌跡が描かれる様子を示す図である。
【図５】軌跡の終点近傍にメニューアイコンが表示される様子を示す図である。
【図６】ペン型デバイスでスクリーン上に軌跡を描画するプロセスのフローチャートである。
【図７】本発明の別の実施形態における投写映像の一例を示す図である。
【図８】トグルスイッチでペン色を変更する設定を示す図である。
【図９】トグルスイッチでペン機能と消しゴム機能とを切り換える設定を示す図である。
【図１０】図８と図９のトグルスイッチを組み合わせたときの機能変化を説明する図である。
【図１１】トグルスイッチアイコンにユーザが希望の機能を設定する方法を説明する図である。
【図１２】レーザポインタを使用する場合の投写表示システムの全体構成を示す図である。
【発明を実施するための形態】
【００１２】
図１は、本発明の一実施形態に係る投写表示システム１００の全体構成を示す。投写表示システム１００は、投写型表示装置（「プロジェクタ」とも呼ぶ）８０、投写型表示装置８０から映像が投写されるスクリーン１１０、およびユーザＳが操作するポインティングデバイス１２０を含む。投写型表示装置８０は、スクリーン１１０方向を撮影するためのカメラ３０を備える。一例として、カメラ３０は、その光軸中心と、投写型表示装置８０から投写される投写光の光軸中心とが平行な関係になるように設置される。
【００１３】
この実施形態では、ユーザＳは、スクリーン１１０の投影面に対してペン型のポインティングデバイス１２０を接触させた状態でデバイス１２０を動かして、線や文字を書く動作をする。投写型表示装置８０は、カメラ３０により撮像された画像に基づき、ポインティングデバイス１２０の指示点の軌跡を検出する。そして、軌跡を描画した画像を作成し、スクリーン１１０に投写する。
【００１４】
カメラ３０は、投写映像上でのポインティングデバイス１２０の動きを撮像するために、スクリーン１１０のほぼ全体が視野角に収まるように配置される。図１のように、スクリーン１１０とカメラ３０とが正対していることが好ましいが、投写型表示装置８０から左右方向に離れた位置にカメラ３０を配置してもよいし、あるいは投写型表示装置８０よりもスクリーン近傍に配置してもよい。また、複数台のカメラ３０を使用してもよい。
【００１５】
図２は、ペン型ポインティングデバイス（以下、単に「ペン型デバイス」と称する）１２０の構造を示す。ペン型デバイス１２０は、通常のペンと同様にユーザが保持した状態でスクリーンの投影面に対してなされた動作が検出される。図２において、実線は外形形状を、点線は内部構造を示している。
【００１６】
ペン型デバイス１２０の先端には、半球形の先端部を有するスイッチ１２２が取り付けられている。スイッチ１２２は、透明または半透明の材料で形成される。ペン型デバイス１２０の略円筒形の筐体内部には、図示しない電池から電力を供給されるＬＥＤ（Light Emitting Diode）等の発光素子１２４が設けられている。ユーザがペン型デバイス１２０の先端をスクリーン１１０に対して押しつけると、スイッチ１２２が内側に押されて発光素子１２４が点灯し、スイッチ１２２を通してスクリーンに光が照射され、ペン型デバイス１２０の指示点となるように構成されている。
【００１７】
ペン型デバイス１２０の中心軸、スイッチ１２２のスクリーンへの接触点、および発光素子１２４の発光中心は、同軸に配置されることが好ましい。また、ペン型デバイス１２０の筐体は、円筒形に限られず任意の形状であってよい。なお、発光素子１２４の照度や色は、投写型表示装置８０の想定使用環境において、スクリーンの撮像画像内でペン型デバイスから照射される光が認識できる程度の照度または色が選択される。
【００１８】
図３は、本実施形態に係る投写型表示装置８０の構成を示す図である。投写型表示装置８０は、主に投写部１０、カメラ３０および制御装置５０を備える。制御装置５０は、指示点検出部５２、操作判定部５４、アイコン位置決定部５６、描画部５８、映像信号出力部６０、画像メモリ６２およびアイコン機能設定部６６を備える。
【００１９】
制御装置５０の構成は、ハードウェア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
【００２０】
投写部１０は、スクリーン１１０に映像を投写する。投写部１０は、光源１１、光変調器１２およびフォーカスレンズ１３を含む。光源１１には、フィラメント型の電極構造を有するハロゲンランプ、アーク放電を発生させる電極構造を有するメタルハライドランプ、キセノンショートアークランプ、高圧型の水銀ランプ、ＬＥＤランプなどを採用することができる。
【００２１】
光変調器１２は、映像信号出力部６０から設定される映像信号に応じて、光源１１から入射される光を変調する。例えば、光変調器１２にはＤＭＤ（Digital Micromirror Device）を採用することができる。ＤＭＤは、画素数に対応した複数のマイクロミラーを備え、各マイクロミラーの向きが各画素信号に応じて制御されることにより、所望の映像光を生成する。
【００２２】
フォーカスレンズ１３は、光変調器１２から入射される光の焦点位置を調整する。光変調器１２により生成された映像光は、フォーカスレンズ１３を介して、スクリーン１１０に投写される。
【００２３】
カメラ３０は、スクリーン１１０、投写部１０によりスクリーン１１０に投写された映像、およびペン型デバイス１２０を主な被写体として撮像する。カメラ３０は、固体撮像素子３１および信号処理回路３２を含む。固体撮像素子３１には、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやＣＣＤ（Charge Coupled Devices）イメージセンサなどを採用することができる。信号処理回路３２は、固体撮像素子３１から出力される信号に対して、Ａ／Ｄ変換や、ＲＧＢフォーマットからＹＵＶフォーマットへの変換などの各種信号処理を施し、制御装置５０に出力する。
【００２４】
指示点検出部５２は、カメラ３０から得られる撮像画像から、ペン型デバイス１２０の先端から照射された光の輝点を検出し、投写映像内で指示点となるペン先位置の座標を特定する。この座標情報は、操作判定部５４と描画部５８に送られる。
【００２５】
操作判定部５４は、投写映像中に表示される所定のアイコンまたはメニュー項目に対するクリック、ドラッグ、またはドロップ操作の有無を判定する。所定のアイコンは、ペン型デバイスの設定を変更するためのものであり、例えば後述するメニューアイコンやトグルスイッチアイコンが含まれる。メニュー項目は、後述するメニュー画面内で各機能に対応する項目である。
【００２６】
操作判定部５４は、所定のアイコンまたはメニュー項目の表示座標とペン先の座標とを対照する。そして、ペン先がアイコンまたはメニュー項目内部に位置している場合はクリックと判定し、ペン先がアイコン内部に所定時間以上位置している場合はドラッグと判定し、ドラッグ時にペン先がスクリーンから離れたときはドロップと判定する。この操作情報は、アイコン位置決定部５６と描画部５８に送られる。
【００２７】
アイコン位置決定部５６は、指示点検出部５２で特定されたペン先座標位置の近傍で、所定のアイコンを表示すべき位置を決定する。アイコンは、ペン型デバイスのペン先に追従して、ユーザによる描画を妨げない位置に表示されることが好ましい。そこで、アイコン位置決定部５６は、ペン先位置の座標から見て、右利き／左利きの設定、描画の方向、描画された軌跡の曲率、設定されたユーザの嗜好等のうちの一つ以上に基づいて定められた方向に所定の距離だけ離れた座標を、アイコンの表示位置として決定する。所定の距離は、例えば描画中断位置からユーザの手先の移動だけで到達できるような距離を予め設定しておく。決定されたアイコンの表示位置は、描画部５８に送られる。
【００２８】
アイコン位置決定部５６は、例えば以下のような判断に基づきアイコン位置の方向を決定する。
１．右利きに設定されている場合、ユーザ自身の手で隠れてしまうペン先位置の右側以外の方向を選択する。
２．ペン先位置の座標の変化から求められる描画方向が例えば右上であれば、右上以外の方向を選択する。
３．直前の軌跡から求められる曲率に基づき、曲線の内側または外側を選択する。
４．ユーザが例えばペン先の左上にアイコンを表示することを選択していた場合は、描画方向に該当しない限り常に左上をアイコン位置とする。
【００２９】
アイコン機能設定部６６は、後述するトグルスイッチアイコンに登録する機能を設定する。これについては、図１１を参照して後述する。
【００３０】
描画部５８は、撮像画像毎に指示点検出部５２から受け取るペン先位置の座標を連続的につなぎ合わせて、ペン型デバイス１２０の指示点の軌跡を特定する。そして、特定した軌跡に予め定められた特性（色、太さ、線種など）を有する線を描画する。後述するトグルスイッチによって特性が変更された場合は、それに従った軌跡を描画する。また、アイコン位置決定部５６で決定された座標に、所定のアイコンを描画する。さらに、メニューアイコンがクリックされた場合には、メニューアイコンの近傍にメニュー画面を描画する。描画部５８は、これらを含む画像を映像信号出力部６０に送る。
【００３１】
画像メモリ６２は、スクリーン１１０に投写すべき画像データを保持する。この画像データは、図示しない外部インタフェースを介してパーソナルコンピュータ（ＰＣ）などの外部装置から供給される。映像信号出力部６０は、画像メモリ６２に保持される画像データに基づく映像信号と、描画部５８で作成された画像とを合成した上で、光変調器１２に出力する。この結果、映像信号にユーザＳの描いた線が書き加えられた画像がスクリーン１１０に投写表示される。なお、映像信号出力部６０は、画像メモリからの映像信号を出力せず、軌跡の画像のみを出力してもよい。
【００３２】
続いて、図４を参照して、本実施形態に係る投写表示システム１００の作用を説明する。
図４は、ユーザがペン型デバイス１２０を使用してスクリーン上に軌跡を描く様子を示す。ペン型デバイス１２０をスクリーン面に接触させた状態でデバイスを移動させる。カメラ３０がスクリーンを撮像し、指示点検出部５２が、撮像画像内からペン型デバイス１２０の先端で発光している輝点を検出する。さらに、指示点検出部５２は、検出した輝点の投写映像領域内での座標を特定する。描画部５８は、連続する撮像画像間で特定された座標を連続させた軌跡を描画した画像を作成する。映像信号出力部６０は、所定の映像信号と描画された画像とを組み合わせた画像を出力し、投写部１０がスクリーン１１０に投写する。この結果、スクリーン１１０上にはペン型デバイス１２０の先端が辿った軌跡Ｌが投写表示される。
【００３３】
また、アイコン位置決定部５６は、指示点検出部５２で特定された座標を受け取り、メニューアイコンを描画すべき位置を決定する。図４の例では、ユーザが右利きであることが予め登録されており、メニューアイコンがペン先の移動方向に応じて軌跡の左側または下側に表示される設定がなされているものとする。決定されたメニューアイコンの描画位置の情報は描画部５８に送られる。描画部５８は、予め準備されているメニューアイコン画像を、決定された位置に描画した画像を作成し、映像信号出力部６０に送る。この結果、スクリーン上のペン型デバイス１２０のペン先位置近傍にメニューアイコンＭが表示される。ペン型デバイス１２０を移動させると、メニューアイコンＭもこれに追従してスクリーン上を移動する。
【００３４】
このように、スクリーン上でのペン型デバイスの移動に追従して、ペン型デバイスの近傍に常にメニューアイコンが表示されるので、ユーザがペン型デバイスで容易にメニューアイコンをクリックすることができる。離れた位置に存在するメニュー画面やメニューバーをクリックするために、腕を伸ばしたり歩いたりする必要がない。
【００３５】
表示されるメニューアイコンは、ユーザによる描画に支障を与えないようにすることが好ましい。そこで、描画部は、描画時（すなわちペン型デバイスの先端部がスクリーン面に接触しているとき）よりも、描画中断時（すなわち、ペン型デバイスの先端部がスクリーン面から離れているとき）に、メニューアイコンを視認性が高まる表示態様で描画するようにしてもよい。例えば、ユーザが軌跡を描いている間は、淡い色、半透明、低輝度または常時点灯でメニューアイコンが表示され、描画が中断されると、濃い色、不透明、高輝度または点滅状態でメニューアイコンが表示されてもよい。
【００３６】
図４では、スクリーン上でのペン型デバイスの移動に追従して、常にメニューアイコンが表示される例を説明した。これに対し、図５（ａ）に示す例では、ユーザが軌跡を描画し終わり、ペン型デバイスをスクリーン１３０から離すと、軌跡の終点近傍にメニューアイコンＭが表示される。この場合、描画を中断した後も、所定の時間が経過するまでの間、メニューアイコンＭがスクリーン上から消えずに表示され続ける。この間にユーザがペン型デバイス１２０を用いてメニューアイコンＭをクリックすると、図５（ｂ）に示すように、メニュー画面１３２がアイコンの近傍に展開表示される。このメニュー画面は、任意の機能項目を含んでよい。一例として、軌跡の線の設定（色、線種、太さなど）、画面の移動（前画面、次画面など）、全画面表示、画面クリア、画面の保存などの項目を含んでもよい。所定の時間が経過すると、描画が終了したと判断され、メニューアイコンが消されてもよい。
【００３７】
描画が中断された後でなく、例えば軌跡の移動速度が所定値よりも小さくなったら、ペン先の近傍にメニューアイコンを表示するようにしてもよいし、ペン型デバイスをカメラ３０が最初に検出したときにメニューアイコンを表示するようにしてもよい。
【００３８】
メニューアイコンを描画中に常に表示するか、または描画の中断時のみに表示するかは、所定のメニュー画面においてユーザが設定できることが好ましい。
【００３９】
図６は、投写表示システム１００を用いてペン型デバイスでスクリーン上に軌跡を描画するプロセスのフローチャートである。
まず、カメラ３０がスクリーン上の投写映像領域を撮像する（Ｓ１０）。指示点検出部５２が、撮像画像内でペン型デバイスの指示点の輝点を検出し、その座標を特定する（Ｓ１２）。操作判定部５４は、ペン先位置の座標と、表示中のアイコンまたはメニュー画面の座標とを対照して、アイコンまたはメニュー項目がクリックされたか否かを判定する（Ｓ１４）。
【００４０】
アイコンおよびメニュー項目がクリックされていない場合（Ｓ１４のＮ）、アイコン位置決定部５６は、描画の妨げにならないアイコンの表示位置を決定する（Ｓ１６）。アイコンまたはメニュー項目がクリックされた場合（Ｓ１４のＹ）、操作判定部５４はその旨を描画部５８に通知する（Ｓ１８）。
【００４１】
描画部５８は、指示点検出部５２で決定されたペン先座標に基づいたペン型デバイスの軌跡を描画するとともに、アイコン位置決定部５６で決定されたメニュー位置にメニューアイコンを描画した画像を作成する（Ｓ２０）。操作判定部５４によりアイコンがクリックされた旨の通知がある場合は、アイコンの近傍にメニュー画面を表示する。操作判定部５４によりメニュー項目がクリックされた旨の通知がある場合は、メニュー項目に応じて線の特性等を切り換える。映像信号出力部６０は、画像メモリ６２からの映像信号に、描画部５８で作成された画像を合成し（Ｓ２２）、合成された画像が投写部１０によりスクリーン上に投写される（Ｓ２４）。
【００４２】
上記では、所定のメニュー画面を表示させるためのメニューアイコンを、ペン型デバイスの先端に追従して表示することを述べた。別の実施形態として、ユーザが自由に設定内容を変更できるトグルスイッチアイコンを、ペン型デバイスの先端に追従して表示するように構成してもよい。
【００４３】
図７は、そのような実施形態における投写映像１４０の一例を示す。軌跡Ｌが表示されている点は図４および５と同様であるが、図７では軌跡の終点の近傍に、メニューアイコンではなくトグルスイッチアイコンＴ１、Ｔ２が表示されている。また、投写映像の右端には、トグルスイッチ設定変更領域１４２が表示されている。
【００４４】
ユーザは、トグルスイッチアイコンをペン型デバイスでクリックすることで、各種の機能変更を簡単に行うことができる。なお、トグルスイッチアイコンは一つでも三つ以上でもよい。
【００４５】
図８〜図１０は、トグルスイッチアイコンの設定内容を例示するチャートである。
【００４６】
図８は、トグルスイッチでペン色（すなわち軌跡の色）を変更する設定を示す。ペンの設定が「色：黒、太さ：１．０」であるときにトグルスイッチＴ１をクリックすると、設定が「色：赤、太さ：１．０」に切り換わる。さらにトグルスイッチＴ１をクリックすると、設定が「色：青、太さ：５．０」に切り換わる。さらにトグルスイッチＴ１をクリックすると、最初の設定に戻る。
【００４７】
図９は、トグルスイッチでペン機能と消しゴム機能とを切り換える設定を示す。ペンの設定が「色：黒、太さ：１．０」であるときにトグルスイッチＴ２をクリックすると、ペンが消しゴム機能に切り換わる。さらにトグルスイッチＴ２をクリックすると、最初の設定に戻る。
【００４８】
図１０は、図８のトグルスイッチＴ１と、図９のトグルスイッチＴ２とを合わせて使用したときの機能変更の例を示す。「色：黒、太さ：１．０」であるときにトグルスイッチＴ１をクリックすると、設定が「色：赤、太さ：１．０」に切り換わる。トグルスイッチＴ２をクリックすると、ペンが消しゴム機能に切り換わる。さらにトグルスイッチＴ２をクリックすると、最初の設定に戻る。
【００４９】
図１１は、トグルスイッチアイコンにユーザが希望の機能を設定する方法を説明する図である。機能を設定したいトグルスイッチアイコン（図１１ではＴ１）をクリック、ドラッグして、画面右側にあるトグルスイッチ設定変更領域１４２に移動する。設定変更領域１４２の各項目の中で、設定したい項目にトグルスイッチアイコンを移動すると、その項目の下位項目１４４がさらに右側に展開表示される。ユーザは、下位項目の中で、トグルスイッチを一回クリックしたときに設定する機能の上に、トグルスイッチアイコンＴ１を移動し、ドロップする。この操作により、一回クリック時にペンを「色：赤」とする機能がトグルスイッチアイコンＴ１に設定される。
【００５０】
二回クリック時に別の機能を設定したい場合には、再びトグルスイッチアイコンＴ１をクリック、ドラッグして、機能を設定したい項目の上に移動させる。三回クリック時以降についても同様の操作を繰り返す。
【００５１】
上記のほかにも、トグルスイッチアイコンには種々の機能を設定することができる。例えば、トグルスイッチをクリックする毎にページが前後に移動するように設定してもよい。
【００５２】
以上説明したように、本実施形態によれば、ペン型デバイスからスクリーン上に投写される光を撮像してデバイスの軌跡を検出するシステムにおいて、ユーザが操作するデバイスのペン先に追従して所定のアイコンが表示される。したがって、ユーザは簡単にメニュー機能を使用できる。この構成は、特に大型のスクリーンに映像を投写している場合に、離れた位置にあるメニュー画面までユーザが腕を伸ばしたり歩いて移動したりすることなく直ちにメニュー機能を使用できるので、特に有利となる。複数のユーザが同時に描画をしている場合でも、各自の描画位置にメニューアイコンが表示されるので、ユーザ同士が交差したりする必要がない。
【００５３】
また、ユーザによる初期設定や描画の方向などを参照して、描画の邪魔にならない位置に所定のアイコンが表示されるので、ユーザが煩わしく感じることはない。また、トグルスイッチアイコンにはユーザ自身で機能変更の設定ができるので、操作性を向上させることができる。さらに、ペン型デバイスに追加のスイッチ等を設けることなく、例えばマウスにおける右クリックに対応する機能を投写表示システムで実現することが可能になる。
【００５４】
上述の実施形態では、メニューアイコンやトグルスイッチアイコンを描画に追従させて表示することを述べたが、アイコン以外のものを表示してもよい。例えば、メニュー画面そのものを描画に追従させてもよい。
【００５５】
上述の実施形態では、特に大型のスクリーン上に投写映像を表示する投写型表示装置を含むシステムを例として説明した。しかしながら、本発明は、フラットパネルディスプレイ、電子黒板などの画面上でのポインティングデバイスの軌跡を検出し、その軌跡をディスプレイに表示するシステムにも適用することができる。この場合、ポインティングデバイスをマウス等の代替物として使用できる。
【００５６】
上述の実施形態では、指示点検出部５２がペン型デバイス１２０の先端から照射された光の輝点を指示点として検出することを述べたが、本発明は、このようなペン型デバイス１２０の先端を指示点として検出するものに限られない。例えば、レーザポインタが示すスクリーン上の輝点、発光デバイスを有さない指示棒の先端、または人間の指先を指示点として検出してもよい。
【００５７】
レーザポインタが示すスクリーン上の輝点を指示点とする場合、レーザポインタとスクリーンとは接触しない。具体的には、図１２に示すように、スクリーン１１０から離れたユーザＳ’がレーザポインタ１２１を操作する。このとき、指示点検出部５２は、スクリーン１１０上のレーザポインタ１２１が出力するレーザ光の輝点を指示点として検出する。
【符号の説明】
【００５８】
１０  投写部、  ３０  カメラ、  ５０  制御装置、  ５２  指示点検出部、  ５４  操作判定部、  ５６  アイコン位置決定部、  ５８  描画部、  ６０  映像信号出力部、  ６２  画像メモリ、  ６６  アイコン機能設定部、  ８０  投写型表示装置、  １００  投写表示システム、  １１０  スクリーン、  １２０  ペン型デバイス、  １２２  スイッチ、  １２４  発光素子、  Ｍ  メニューアイコン、  Ｔ１、Ｔ２  トグルスイッチアイコン。
【図１】
2012053584.tif 000003
【図２】
2012053584.tif 000004
【図３】
2012053584.tif 000005
【図４】
2012053584.tif 000006
【図５】
2012053584.tif 000007
【図６】
2012053584.tif 000008
【図７】
2012053584.tif 000009
【図８】
2012053584.tif 000010
【図９】
2012053584.tif 000011
【図１０】
2012053584.tif 000012
【図１１】
2012053584.tif 000013
【図１２】
2012053584.tif 000014