(57)【要約】  インタラクティブ機能を有する投射型映像表示装置とペンからなる映像表示システムにおいて、より柔軟かつ低コストで、描画する線や図形の色や太さ等の属性を切り替えることを可能とする。代表的な実施の形態によれば、ペン形状の指示器具は、所定の波長の非可視光を発光する発光部を有し、投射型映像表示装置は、スクリーン上における所定の波長を含む非可視光の反射光を撮影するセンサにより撮影された映像データから、指示器具によりスクリーンに照射された発光パターンについてその位置と内容を認識し、認識された発光パターンの位置および内容に基づいて異なる処理内容を実行するインタラクティブ機能部を有する。
2017017812.tif 000002
【特許請求の範囲】
【請求項１】
スクリーンに対して映像を投射する投射型映像表示装置と、ユーザが操作するペン形状の指示器具と、を含む映像表示システムであって、
前記指示器具は、所定の波長の非可視光を発光する発光部を有し、
前記投射型映像表示装置は、前記スクリーン上における前記所定の波長を含む非可視光の反射光を撮影するセンサにより撮影された映像データから、前記指示器具により前記スクリーンに照射された前記所定の波長の非可視光の形状である発光パターンについてその位置と内容を認識し、認識された前記発光パターンの位置および内容に基づいて異なる処理内容を実行するインタラクティブ機能部を有する、映像表示システム。
【請求項２】
請求項１に記載の映像表示システムにおいて、
前記投射型映像表示装置の前記インタラクティブ機能部は、前記発光パターンの内容に対応付けられた描画の属性により、前記発光パターンの位置の軌跡に基づいて前記スクリーン上に線もしくは図形を描画する、映像表示システム。
【請求項３】
請求項１に記載の映像表示システムにおいて、
前記指示器具は、先端に前記発光部を有する本体と、前記発光部を覆う態様で前記本体の先端に装着された立体形状を有する部材であるペン先部と、を有し、
前記ペン先部は、前記所定の波長の非可視光を通す光透過部と、前記所定の波長の非可視光を遮断する光不透過部により形成された、前記発光パターンに対応する遮光パターンを有する、映像表示システム。
【請求項４】
請求項３に記載の映像表示システムにおいて、
前記指示器具の前記ペン先部は、前記指示器具に対して脱着可能であり、第１の遮光パターンを有する第１のペン先部を、他の第２の遮光パターンを有する第２のペン先部に取り替え可能である、映像表示システム。
【請求項５】
請求項３に記載の映像表示システムにおいて、
前記指示器具の前記ペン先部は可動部を有し、第１の遮光パターンを有する状態から、前記可動部の動作により他の第２の遮光パターンを形成する、映像表示システム。
【請求項６】
請求項５に記載の映像表示システムにおいて、
前記ペン先部の前記可動部は、前記ペン先部が前記第２の遮光パターンを形成する所定の位置で動作を停止させる機構を有する、映像表示システム。
【請求項７】
請求項３に記載の映像表示システムにおいて、
前記指示器具の前記本体は可動な操作部を有し、前記ペン先部が第１の遮光パターンを有する状態から、ユーザによる前記操作部の操作により前記ペン先部が他の第２の遮光パターンを形成する、映像表示システム。
【請求項８】
請求項７に記載の映像表示システムにおいて、
前記指示器具は、前記ペン先部とは独立した遮光部を有し、ユーザによる前記操作部の操作により前記遮光部が移動することで前記ペン先部が前記第２の遮光パターンを形成する、映像表示システム。
【請求項９】
請求項３に記載の映像表示システムにおいて、
前記指示器具は、前記本体の先端に有する第１の発光部と第１の遮光パターンを有する第１のペン先部に加え、前記本体の他端に第２の発光部と第２の遮光パターンを有する第２のペン先部を有する、映像表示システム。
【請求項１０】
請求項９に記載の映像表示システムにおいて、
前記投射型映像表示装置の前記インタラクティブ機能部は、前記第２の遮光パターンによって前記指示器具により前記スクリーン上に照射される前記発光パターンの位置の軌跡に基づいて、前記スクリーン上に既に描画されている線もしくは図形を消去する、映像表示システム。
【請求項１１】
請求項１に記載の映像表示システムにおいて、
前記投射型映像表示装置の前記インタラクティブ機能部は、認識された前記発光パターンの形状における突起の数に応じて異なる処理を実行する、映像表示システム。
【請求項１２】
請求項１に記載の映像表示システムにおいて、
前記投射型映像表示装置の前記インタラクティブ機能部は、認識された前記発光パターンの面積に応じて異なる処理を実行する、映像表示システム。
【請求項１３】
請求項１に記載の映像表示システムにおいて、
前記投射型映像表示装置の前記インタラクティブ機能部は、ユーザにより前記指示器具によって前記スクリーン上の所定の領域内で操作が行われた場合に、前記所定の領域内で前記操作が行われた位置に応じて異なる処理を実行する、映像表示システム。
【請求項１４】
スクリーンに対して映像を投射する投射型映像表示装置と、ユーザが操作するペン形状の指示器具と、情報処理装置と、を含む映像表示システムであって、
前記指示器具は、所定の波長の非可視光を発光する発光部を有し、
前記投射型映像表示装置は、前記スクリーン上における前記所定の波長を含む非可視光の反射光を撮影するセンサにより撮影された映像データを前記情報処理装置に送信し、
前記情報処理装置は、受信した前記映像データに基づいて、前記指示器具により前記スクリーンに照射された前記所定の波長の非可視光の形状である発光パターンについてその位置と内容を認識し、認識された前記発光パターンの位置および内容に基づいて異なる処理内容を前記投射型映像表示装置に実行させるインタラクティブ機能部を有する、映像表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、投射型映像表示装置に関連する技術に関し、特に、インタラクティブ機能を有する投射型映像表示装置とペンからなる映像表示システムに適用して有効な技術に関するものである。
【背景技術】
【０００２】
スクリーン等に映像を投射する投射型映像表示装置（以下では「プロジェクタ」と記載する場合がある）において、ユーザがプレゼンテーションを効率的・効果的に行えるようにするためのインタラクティブ機能を備えたものが実用化されている。これにより、ユーザは、専用のペン（より正確には「ペン形状の指示器具」であるが、単に「ペン」と記載する場合がある）や指等を用いてスクリーンに投射された表示画面上で描画等の動作を行うことで、表示画面に対して文字や図形を描画したり、表示画像の切替操作を行ったりすることができる。【０００３】
表示画面に対するペン等の位置を検出する方式としては、各種のものが提案されている。例えば、スクリーン上にレーザー光等を照射して、ペン等に当たった反射光を検知したり、遮光状態を検知したりすることで位置を特定する方式や、ペンから発光されたレーザー光等がスクリーンを照射している位置を検知する方式などがある。【０００４】
ユーザがこのようなインタラクティブ機能を利用する場合において、例えば、描画される線や図形の色や太さ等の属性を随時切り替えたい場合がある。従来、一つのペンでこれを行う場合は、例えば、スクリーン上にソフトウェア的に実現され投射されたパレットを用い、所望の色や線の太さ等の属性を示す領域をペンで選択することで切り替える方式などがとられていた。これに対し、複数のペンを用意し、それぞれに異なる色や線の太さ等の属性を割り当てて各ペンを使い分けるという方式も提案されている。【０００５】
例えば、特開２０１２−２２１１１５号公報（特許文献１）には、複数の指示具による座標入力を検出する技術が記載されている。ここでは、複数の指示具それぞれは、互いに識別するための固有の識別情報を記憶し、複数のスイッチ手段の状態を示すスイッチ情報と識別情報を含む送信信号を、識別情報に固有に設定されている繰返周期で生成する。そして、座標入力装置は、指示具からの送信信号を受信し、受信信号から検出された識別情報に対応する指示具について、識別信号に基づいて送信信号の繰返周期を特定し、これに同期した送信信号のタイミング情報を生成する
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１２−２２１１１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
従来技術において、描画する線や図形の色や太さ等の属性を随時切り替える場合、一つのペンでこれを行うには、パレット等を用いてソフトウェア的に切り替える操作を行うしかなく、切り替えには煩雑な操作と操作時間が必要となる。また、複数のペンを用いて使い分ける手法においても、例えば特許文献１に記載された技術のように、各ペンに設定された固有の識別情報により、ペン毎に色や太さ等の属性を割り当てて使い分けることから、切り替えるパターン分のペンを用意しておく必要があり、柔軟性に欠けるとともにコスト面でも負担が大きくなる。【０００８】
そこで本発明の目的は、インタラクティブ機能を有する投射型映像表示装置とペンからなる映像表示システムにおいて、より柔軟かつ低コストで、描画する線や図形の色や太さ等の属性を切り替えることを可能とすることにある。
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。
【課題を解決するための手段】
【０００９】
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、以下のとおりである。【００１０】
本発明の代表的な実施の形態による映像表示システムは、スクリーンに対して映像を投射する投射型映像表示装置と、ユーザが操作するペン形状の指示器具と、を含む映像表示システムであって、前記指示器具は、所定の波長の非可視光を発光する発光部を有し、前記投射型映像表示装置は、前記スクリーン上における前記所定の波長を含む非可視光の反射光を撮影するセンサにより撮影された映像データから、前記指示器具により前記スクリーンに照射された前記所定の波長の非可視光の形状である発光パターンについてその位置と内容を認識し、認識された前記発光パターンの位置および内容に基づいて異なる処理内容を実行するインタラクティブ機能部を有するものである。
【発明の効果】
【００１１】
本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。【００１２】
すなわち、本発明の代表的な実施の形態によれば、インタラクティブ機能を有する投射型映像表示装置とペンからなる映像表示システムにおいて、より柔軟かつ低コストで、描画する線や図形の色や太さ等の属性を切り替えることが可能となる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施の形態１である映像表示システムの構成例について概要を示した図である。
【図２】本発明の実施の形態１における投射型映像表示装置の構成例について概要を示した図である。
【図３】（ａ）〜（ｃ）は、本発明の実施の形態１における発光ペンの構成例について概要を示した図である。
【図４】本発明の実施の形態１における発光ペン先による発光パターンの相違の例について概要を示した図である。
【図５】（ａ）〜（ｃ）は、本発明の実施の形態２における発光ペン先の遮光パターンを切り替える手法の例について概要を示した図である。
【図６】（ａ）、（ｂ）は、本発明の実施の形態３における発光パターンを識別する手法の例について概要を示した図である。
【図７】（ａ）、（ｂ）は、本発明の実施の形態４における発光パターンに対して線や図形を描画する際の属性を設定する例について概要を示した図である。
【図８】（ａ）、（ｂ）は、本発明の実施の形態５における発光ペンの構成と線や図形の描画の例について概要を示した図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一部には原則として同一の符号を付し、その繰り返しの説明は省略する。一方で、ある図において符号を付して説明した部位について、他の図の説明の際に再度の図示はしないが同一の符号を付して言及する場合がある。
（実施の形態１）
【００１５】
図１は、本発明の実施の形態１である映像表示システムの構成例について概要を示した図である。映像表示システムは、投射型映像表示装置（プロジェクタ）１００と、１つ以上の発光ペン３０（図中では３０ａ、３０ｂの２つ）とから構成される。投射型映像表示装置１００には、映像出力装置２００および情報処理装置３００が有線もしくは無線により接続されている。
【００１６】
投射型映像表示装置１００は、投射面であるスクリーン１０に映像を投射して表示する。スクリーン１０に投射された表示画面２０は、映像を表示する映像領域２１の他に、インタラクティブ機能を行うための操作アイコン群などを表示する操作アイコン領域２２を有する。操作アイコンとしては、例えば、「マウス操作」や、描画機能である「線描画」、「消しゴム」、投射型映像表示装置１００本体の操作メニューを呼び出すアイコンなどを有する。その他に、投射型映像表示装置１００の映像表示内容を切り替える機能や、投射型映像表示装置１００の他の動作（音声出力など）を調整する機能などを有していてもよい。
【００１７】
図１の例では、インタラクティブ機能として、ユーザが、映像領域２１が投射されたスクリーン１０に対して指示器具である発光ペン３０ａや３０ｂを接触させて、線描画２３ａや２３ｂを行っている状態を示している。なお、本実施の形態では、発光ペン３０ａおよび３０ｂは、それぞれ、異なる発光パターン３５（図中では３５ａおよび３５ｂ）で発光するものとしており、後述するように、この発光パターン３５に応じて描画する線の色や太さ等の属性を切り替えることができる。
【００１８】
映像出力装置２００は、投射型映像表示装置１００に対して、映像領域２１に投射して表示する映像データを出力する。映像出力装置２００としては、例えば、ＰＣ（Personal Computer）やタブレット型端末、スマートフォン等の携帯端末などの各種情報処理装置や、ＤＶＤプレーヤーなどの各種映像機器を使用することができる。
また、映像出力装置２００は、投射型映像表示装置１００に直接接続するＵＳＢメモリなどの小型映像記憶装置でもよい。また、映像出力装置２００は、投射型映像表示装置１００に直接接続し、インターネット上のサーバなどからストリーミングデータを受信して投射型映像表示装置１００に映像を出力するストリーミング映像受信デバイスでもよい。
【００１９】
情報処理装置３００は、投射型映像表示装置１００との間でインタラクティブ機能に係るものを含む各種制御信号の入出力を行う。これにより、情報処理装置３００側で投射型映像表示装置１００の表示動作を制御することが可能である。情報処理装置３００としては、例えば、ＰＣやタブレット型端末、スマートフォン等の携帯端末を使用することができる。
なお、図１の例では、投射型映像表示装置１００と情報処理装置３００とを別個の装置として示しているが、同一の装置として投射型映像表示装置１００に集約して構成してもよい。また、情報処理装置３００が映像出力装置２００の機能を備えていてもよい。また、投射型映像表示装置１００が映像出力装置２００の機能を備えていてもよい。したがって、映像出力装置２００と、情報処理装置３００の機能を、投射型映像表示装置１００に集約して一体に構成してもよい。
【００２０】
上述したように、投射型映像表示装置１００と、映像出力装置２００および情報処理装置３００との間の接続は有線でも無線でも構わないが、映像出力装置２００や情報処理装置３００がタブレット型端末や、スマートフォン等の携帯端末である場合は、特に無線通信による接続とするのが好ましい。
【００２１】
図２は、本実施の形態における投射型映像表示装置１００の構成例について概要を示した図である。投射型映像表示装置１００は、例えば、投射光学系１０１、表示素子１０２、表示素子駆動部１０３、照明光学系１０４、光源１０５、電源１０６、冷却部１０７、音声出力部１０８、不揮発性メモリ１０９、メモリ１１０、制御部１１１、センサ１１２、インタラクティブ機能部１１３、映像入力部１１４、音声入力部１１５、通信部１１６、および操作信号入力部１１７などの各部を有する。
【００２２】
投射光学系１０１は、映像をスクリーン１０へ投射する光学系であり、レンズおよび／またはミラーを含む。表示素子１０２は、投射する映像を生成する素子であり、例えば、透過型液晶パネル、反射型液晶パネル、ＤＭＤ（Digital Micromirror Device）（登録商標）パネル等を用いることができる。表示素子駆動部１０３は、表示素子１０２に対して映像信号に応じた駆動信号を送り、投射する映像を生成させる。照明光学系１０４は、後述する光源１０５で発生した照明光を集光し、より均一化して表示素子１０２に照射する光学系である。光源１０５は、投射用の照明光を発生するものであり、例えば、高圧水銀ランプやキセノンランプ、ＬＥＤ（Light Emitting Diode）光源、レーザー光源等を用いることができる。
【００２３】
電源１０６は、外部電源からの電力の供給を受けて、光源１０５を始めとする各部に対して動作用の電力を供給する。冷却部１０７は、光源１０５からの発熱を外部に放出して高温化を抑制するためのファン等からなる。音声出力部１０８は、スピーカーや外部出力端子等を備え、表示映像に関連する音声情報を出力したり、投射型映像表示装置１００の操作やエラー等に係る通知音や警告音、音声情報などを出力したりする。
【００２４】
不揮発性メモリ１０９は、フラッシュメモリなどの不揮発性メモリにより構成され、インタラクティブ機能における各種操作用のデータや、表示アイコン、キャリブレーション用のデータなどを記憶する。投射型映像表示装置１００に係る各種設定情報等を保持するようにしてもよい。また、投射型映像表示装置１００単独で映像を投射するための映像データ（テンプレート画像などを含む）を保持するようにしてもよい。
メモリ１１０は、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性メモリにより構成され、後述する映像入力部１１４等を介して入力された投射対象の映像データをバッファリングしたり、投射型映像表示装置１００に係る各種制御用データを展開して保持したりする。
【００２５】
制御部１１１は、投射型映像表示装置１００の各部の動作を制御する。特に、本実施の形態では、後述するセンサ１１２とインタラクティブ機能部１１３を制御してインタラクティブ機能を実現する。センサ１１２は、スクリーン１０の前面を撮影するカメラであり、赤外光成分（非可視光成分）を検出することで、発光ペン３０の発光によりスクリーン１０を照射した際の反射光を検知することができる。なお、光学フィルタのカット波長を可視光波長域に設定する（例えば、赤色可視光領域の途中に設定する）ことで、赤外光以外の一部の可視光成分（すなわち、表示画面２０の投射映像）を赤外光成分とともに撮影することも可能である。また、センサ１１２は、必要に応じて投射型映像表示装置１００の本体から脱着可能として構成してもよい。
【００２６】
インタラクティブ機能部１１３は、ユーザが発光ペン３０を操作することで、映像領域２１へ文字や図形等を書き込むなどのインタラクティブ動作を行う機能を実現する。基本的な機能として、例えば、センサ１１２から取得した赤外線画像を解析して、発光ペン３０がスクリーン１０を照射した際の反射光の位置を認識することで、発光ペン３０のスクリーン１０上での位置、すなわちユーザが発光ペン３０を操作した位置を算出する。本実施の形態では、さらに、後述するように、発光ペン３０がスクリーン１０を照射した際の反射光の形状やパターン、すなわち図１における発光パターン３５の内容を認識することで、発光パターン３５に応じて描画する線の色や太さ等の属性を切り替えることができる。
【００２７】
また、インタラクティブ機能部１１３は、発光ペン３０により操作可能なアプリケーション等を実行する機能を有していてもよい。例えば、映像領域２１と操作アイコン領域２２とを合成して出力する機能を有していてもよい。また、ユーザによる発光ペン３０の操作に基づいて描画処理等を行うアプリケーションや、映像出力装置２００から入力される映像等の操作を行うアプリケーションなどを実行するようにしてもよい。
【００２８】
さらに、投射光学系１０１によりスクリーン１０上に投射された映像（表示画面２０）の領域と、センサ１１２による撮影範囲との間で、位置補正や座標変換などのキャリブレーションを行う機能を有していてもよい。なお、インタラクティブ機能部１１３の各機能の全部もしくは一部は、情報処理装置３００側で実行するようにしてもよい。
【００２９】
映像入力部１１４および音声入力部１１５は、外部インタフェースを介して接続された映像出力装置２００等から、投射対象もしくは出力対象の映像データや音声データを入力する。入力した映像データや音声データはメモリ１１０にバッファリングしてもよい。通信部１１６は、情報処理装置３００などの外部の装置と通信を行い、各種制御信号等を入出力する機能を有する。操作信号入力部１１７は、投射型映像表示装置１００に対する操作を行うための入力インタフェースであり、例えば、投射型映像表示装置１００の本体上に設けられた操作ボタンや、リモコンの受光部により構成され、ユーザからの操作信号を入力する。
【００３０】
図３は、本実施の形態における発光ペン３０の構成例について概要を示した図である。図３（ａ）は、発光ペン３０の構造の例を模式的に示している。発光ペン３０は、図示するようにペン形状の指示器具であり、発光ペン本体３１に対して立体形状を有する発光ペン先３２が装着される構成を有する。発光ペン本体３１の先端部には光源３８が備えられており、発光ペン先３２は、光源３８を覆う状態で装着される。光源３８は、例えば、発光ペン本体３１の内部に装着された図示しない電池から電力の供給を受けて、赤外光などの非可視光を発光する。なお、本実施の形態では、ペン形状の指示器具として発光ペン３０を用いるものとしているが、指示器具の形状はペン形状に限られず、ユーザによる操作が可能なものであれば適当な形状のものとすることができる。
【００３１】
図３（ｂ）は、発光ペン先３２の構造の例を模式的に示している。左側の図では、発光ペン先３２を先端側から見た上面図および斜視図を示しており、図の例では発光ペン先３２は略ドーム形状を有している。発光ペン先３２は、例えば、赤外光を透過するプラスチック等の樹脂により形成され、その一部に赤外光を遮断するようなフィルタ処理を施すことで、図示するような光透過部３３と光不透過部３４とが形成されている。このようなフィルタ処理が施された発光ペン先３２を発光ペン本体３１に装着することで、右側の図に示すように、赤外光を発光したときにスクリーン１０に照射される発光パターン３５を特定の形状とすることができる。
【００３２】
なお、発光ペン３０において光源３８は消費電力抑制のためにも必要なときのみ発光するのが望ましいが、発光させる方法は特に限定されない。例えば、図３（ｃ）の左側の図に示すように、通常時は、発光ペン先３２は発光ペン本体３１との間で隙間を有する状態で、発光ペン３０の軸方向に移動可能なように構成する。ユーザが発光ペン３０の発光ペン先３２をスクリーン１０に接触させた状態でさらに発光ペン先３２の方向に押し込むように操作すると、図３（ｃ）の右側の図に示すように、発光ペン先３２が発光ペン本体３１側に移動し、これによって図示しないスイッチが押し込まれて導通状態（ＯＮ状態）となり発光するように構成することができる。
【００３３】
また、ユーザが発光ペン先３２をスクリーン１０から離すと、図示しないバネ等の弾性部材により発光ペン先３２が図３（ｃ）の左側の図の状態に戻り、スイッチがＯＦＦ状態となって発光を停止することができる。スイッチをＯＮ／ＯＦＦする方法はこれに限らず、例えば、発光ペン本体３１部分に設けられたスイッチをユーザが操作することで発光のＯＮ／ＯＦＦを切り替えられるようにしてもよい。
【００３４】
なお、本実施の形態では、図示するように、光源３８を覆う発光ペン先３２は立体的なドーム形状としており、しがたって光不透過部３４による遮光パターン（フィルタ部）も立体的な形状を有しているが、光源３８の拡散の程度に応じて平面的な遮光パターンとなるようにしてもよい（例えば、発光ペン先３２を円板状や円筒状の部材により構成する）。
【００３５】
また、立体的な形状の場合も上述したようなドーム形状に限らず、例えば、光不透過部３４による遮光パターンに対応するように多角錐型などの形状としてもよい（この場合は頂点部に平滑化処理を施すのが望ましい）。また、光不透過部３４を形成する手法も特に限定されず、例えば、赤外光を透過させないフィルムを貼付したり、塗料を塗布したり等の手法を適宜採用することができる。透過型液晶パネル等を用いた液晶表示により光不透過部３４を形成することも可能である。
【００３６】
図４は、本実施の形態における発光ペン先３２による発光パターン３５の相違の例について概要を示した図である。図では、光不透過部３４による遮光パターンがそれぞれ異なる発光ペン先３２（発光ペン先３２ａ、３２ｂ、３２ｃ）を有する３種類の発光ペン３０（発光ペン３０ａ、３０ｂ、３０ｃ）により、スクリーン１０上に赤外光を照射したときの発光パターン３５（発光パターン３５ａ、３５ｂ、３５ｃ）をそれぞれ示している。
【００３７】
発光ペン３０ａの発光ペン先３２ａは、光不透過部３４を有しておらず、全面が光透過部３３となっているが、このような遮光パターンおよび発光ペン先３２ａも利用可能である。この場合、発光パターン３５ａは概ね円形となる。一方、発光ペン３０ｂの発光ペン先３２ｂの遮光パターンの場合は、概ね発光パターン３５ｂのような２方向に照射領域が伸びた形状となる。同様に、発光ペン先３０ｃの発光ペン先３２ｃの遮光パターンの場合は、概ね発光パターン３５ｃのような星形で４方向に照射領域が伸びた形状となる。
【００３８】
投射型映像表示装置１００のインタラクティブ機能部１１３は、センサ１１２で撮影した赤外線画像から図４に示されたような各発光パターン３５の位置と形状を後述するような手法により認識・識別する。発光パターン３５の形状も識別することで、形状に対応付けられた属性（線の色や太さ等）によって線や図形等を描画することが可能である。この場合、線の色や太さ等の属性を切り替えるには、発光ペン３０（図４の例では発光ペン３０ａ、３０ｂ、３０ｃ）を直接使い分ける（持ち替える）ことで足り、例えば、操作アイコン領域２２に表示されたパレット等を利用してソフトウェア的に対応する属性を切り替える方式と比べて迅速かつ低コストで対応する属性を切り替えることができる。
【００３９】
以上に説明したように、本発明の実施の形態１である映像表示システムによれば、発光ペン３０に装着された発光ペン先３２が、光透過部３３および光不透過部３４からなる遮光パターンを有しており、これによって、異なる遮光パターンの発光ペン先３２を有する発光ペン３０毎に、スクリーン１０上に照射される発光パターン３５をそれぞれ異なるものとすることができる。そして、投射型映像表示装置１００が備えるセンサ１１２により発光パターン３５の位置と形状を認識・識別することで、インタラクティブ機能により線や図形等を描画する際の線の色や太さ等の属性を迅速に切り替えることが可能である。
（実施の形態２）
【００４０】
本発明の実施の形態２では、発光ペン３０において発光ペン先３２の遮光パターン（すなわち発光パターン３５）を他のパターンに切り替える手法の例について説明する。上述の実施の形態１では、遮光パターン（発光パターン３５）が異なる発光ペン先３２を有する発光ペン３０を図１や図４に示すように複数本用意し、これらを使い分ける（持ち替える）ことで切り替えている。これに対し、本実施の形態では、１本の発光ペン３０において複数の遮光パターン（発光パターン３５）を切り替えることを可能とする。
【００４１】
図５は、本実施の形態における発光ペン先３２の遮光パターンを切り替える手法の例について概要を示した図である。図５（ａ）は、発光ペン先３２ａを発光ペン本体３１から取り外して他の遮光パターンを有する発光ペン先３２ｂに付け替えることで遮光パターンを切り替える例を模式的に示している。本実施の形態では、発光ペン３０の発光ペン先３２は、樹脂等の弾性を有する素材により形成され、発光ペン本体３１に対してはめ込み構造等により容易に脱着可能なように構成されているものとし、容易に他の遮光パターンを有する発光ペン先３２と取り替え・交換することができる。
【００４２】
図５（ｂ）は、発光ペン先３２ｄと、これより小さい発光ペン先３２ｅを用い、発光ペン先３２ｄが発光ペン先３２ｅを覆うように重ね合わされた構造を有する発光ペン先３２ｆにより遮光パターンを切り替える例を模式的に示している。発光ペン先３２ｆにおいて、外側の発光ペン先３２ｄは、発光ペン先３２ｅに対して相対的に円周方向に回転可能なように構成されている。したがって、ユーザが発光ペン先３２ｄを回転させることで、発光ペン先３２ｄと発光ペン先３２ｅのそれぞれの遮光パターンの重なりの状態によって発光ペン先３２ｆ全体としての遮光パターンを切り替えることができる。この場合、発光ペン先３２ｆの全体の遮光パターンが適当な形状となる位置で発光ペン先３２ｄの回転が止まるような図示しない停止機構（例えば、溝部に突起部が嵌合することにより停止する等）を有しているのが望ましい。
【００４３】
図５（ｃ）は、発光ペン本体３１に設けられたノック部３６をユーザがノックすることにより、発光ペン先３２の遮光パターンを切り替える例を模式的に示している。上段の図では、例えば、発光ペン本体３１に光不透過部３４がない状態の発光ペン先３２が装着されており、さらに、遮光パターンに相当する光不透過部を有する円筒状の部材である遮光部３７が発光ペン本体３１の内部に格納されている状態を示している。ここで、発光ペン本体３１には、例えば一般的なノック式ボールペン等と同様のノック部３６が設けられており、ユーザがこれをノックする操作を行うことで、ノック部３６の移動に機構的に連動して遮光部３７が発光ペン本体３１から押し出されて発光ペン先３２の内側（もしくは外側）に移動し、発光ペン先３２に光不透過部３４を形成する。
【００４４】
発光ペン先３２とは独立した遮光部３７を移動させて光不透過部３４を形成する手法は、上記のようなノック部３６によるノック操作によるものに限らず、各種の手法を適宜採用することができる。例えば、発光ペン本体３１の一部が発光ペン本体３１の軸を中心として回転可能なように構成されている回転部や、スイッチ部等の何らかの可動部や操作部をユーザが操作することにより、機械的にもしくは電気的・磁気的に得られる動力により遮光部３７が移動する機構を有するものとしてもよい。
【００４５】
また、例えば、ユーザがノック部３６のノックを複数回繰り返し行う場合など、ユーザによる操作が繰り返される毎に複数の異なるパターンの遮光部３７を順次サイクリックに切り替えて適用するようにしてもよい。また、ここでの発光ペン先３２は、図示するように全面が光透過部３３からなり光不透過部３４を有さないものに限らず、遮光部３７の遮光パターンと重ね合わされることで特定の遮光パターンを形成するような光不透過部３４を有するものであってもよい。
【００４６】
なお、図５（ａ）〜（ｃ）に示した発光ペン先３２の遮光パターンの切り替えの手法は一例であり、これらに限定されず、他の手法を適宜採用することも当然可能である。例えば、上述したように、発光ペン先３２に設けられた透過型液晶パネル等を用いて光不透過部３４の有無や形状等を動的に変更するものも含まれ得る。また、一つの手法だけではなく、複数の手法を適宜組み合わせて用いることも当然可能である。
【００４７】
以上に説明したように、本発明の実施の形態２である映像表示システムによれば、同一の発光ペン３０を利用しつつ、発光ペン先３２全体としての遮光パターンを動的に変更することができる。例えば、脱着可能なように構成された発光ペン先３２を他の遮光パターンを有するものに取り替えたり、発光ペン先３２が備える構造的な可動部を操作して遮光パターンを変更したり等の手法をとることができる。また、発光ペン先３２とは独立した遮光部３７を発光ペン本体３１側に設けられた機構により移動等させることで発光ペン先３２に遮光パターンを形成するという手法をとることも可能である。
（実施の形態３）
【００４８】
本発明の実施の形態３では、発光ペン３０によりスクリーン１０上に照射された発光パターン３５の形状等の相違を認識・識別する手法の例について説明する。投射型映像表示装置１００のインタラクティブ機能部１１３において、発光パターン３５の内容の相違を認識・識別することで、線や図形を描画する際に自動的にそれぞれに対応した属性（線の色や太さ等）とすることができる。
【００４９】
図６は、本実施の形態における発光パターン３５を識別する手法の例について概要を示した図である。図６（ａ）は発光パターン３５の形状における突起数（すなわち、照射領域が伸びる方向の数であり、発光パターン３５ｅ、３５ｆにおいて点線で示される）を算出し、突起数の相違によって発光パターン３５の相違を認識・識別する場合の例を示している。発光ペン３０ｄの発光パターン３５ｄは円である。すなわち、発光ペン先３２に光不透過部３４（遮光パターン）がない場合である。この場合は突起数＝ゼロとして使用することができる。発光ペン３０ｅの発光パターン３５ｅは、突起数＝４の場合であり、発光ペン３０ｆの発光パターン３５ｆは、突起数＝６の場合である。
【００５０】
突起数の算出方法としては、例えば、発光パターン３５が照射されている領域で最も赤外光の輝度が高い部分（通常は発光ペン３０の発光ペン先３２がスクリーン１０に接触している箇所が該当する）を特定して、当該箇所を中心とした所定の半径の円周上をスキャンして円周上の輝度の分布を取得し、輝度が所定の閾値を上回っている分布領域の数に基づいて突起数を算出することができる。
【００５１】
図６（ｂ）は、発光パターン３５の面積の相違によって発光パターン３５の相違を認識・識別する場合の例を示している。図６（ａ）と同様の３種類の発光パターン３５ｄ、３５ｅ、３５ｆにおいて、面積の大小は、例えば、発光パターン３５ｄ＞３５ｅ＞３５ｆのようになる。このとき、例えば、算出された面積の絶対値が複数の区間・範囲のいずれに属するかで発光パターン３５の相違を判別してもよいし、各発光パターン３５間の面積値の差分が所定の閾値以上である場合にこれらは異なる発光パターン３５であると判断するようにしてもよい。
【００５２】
なお、上記の認識手法はいずれも、同一のスクリーン１０上に照射された発光パターン３５間で認識・識別を行うものであり、ユーザがインタラクティブ機能を利用している間は、スクリーン１０と投射型映像表示装置１００（プロジェクタ）との間の距離は一定であることを前提とする。スクリーン１０と投射型映像表示装置１００との間の距離や傾きを含めた配置関係は、例えば、キャリブレーション処理を実行した際に測定してその値をメモリ１１０に保持しておき、適宜参照する構成とすることができる。
【００５３】
また、ユーザが発光ペン３０をスクリーン１０に接触させて描画等の操作を行う際、その位置や高さ、発光ペン３０の持ち方等によっては、センサ１１２がスクリーン１０上を撮影して赤外光成分を検出する際に、発光パターン３５の一部がユーザの手・腕等の影に隠れてしまい、突起数や面積を算出する際に正しい値を得ることができない場合が生じ得る。インタラクティブ機能部１１３は、このような場合を考慮して、例えば、図６（ａ）の発光パターン３５ｅにおいて突起が１つ隠れた結果、突起数＝３と算出された場合でも、突起数＝４の発光パターン３５ｅであると補正して認識できるようにする。このためには、例えば、各発光パターン３５の突起数があまり近い値とならないように発光ペン先３２における遮光パターンを設定するのが望ましい。発光パターン３５の面積についても同様である。
【００５４】
以上に説明したように、本発明の実施の形態３である映像表示システムによれば、各発光パターン３５の形状における突起数や、面積（面積比）に基づいて、複数の発光パターン３５を認識・識別することができる。これにより、それぞれの発光パターン３５に対して線や図形を描画する際の属性を自動的に設定することができる。
（実施の形態４）
本発明の実施の形態４では、識別された発光パターン３５のそれぞれに対して線や図形を描画する際の属性を設定・割り当てする手法の例について説明する。
【００５５】
図７は、本実施の形態における発光パターン３５に対して線や図形を描画する際の属性を設定する例について概要を示した図である。図７（ａ）は、各発光パターン３５に対して描画の際の線の色を予め固定的に割り当てた場合の例を示している。図の例では、予め、例えば、円形の発光パターン３５ｇには「黒」を割り当て、照射領域が２方向に伸びた形状の発光パターン３５ｈには「赤」を割り当てている場合を示している。この場合、発光パターン３５ｇを有する発光ペン３０ｇでスクリーン１０上をなぞると、インタラクティブ機能部１１３が、なぞった軌跡を「黒」の線で描画する。また、発光パターン３５ｈを有する発光ペン３０ｈの場合は、なぞった軌跡を「赤」の線で描画する。
【００５６】
図７（ｂ）は、各発光パターン３５に対してソフトウェア的に提供されるパレットを用いて動的に描画の際の属性を割り当てる場合の例を示している。図の例では、例えば、発光パターン３５ｇと発光パターン３５ｈの２種類が用いられることを予め把握しており、それぞれの発光パターン３５に対する描画の際の属性の割り当ては固定的には設定されていない（図中では「属性Ａ」、「属性Ｂ」として表示。デフォルトの属性が設定されていてもよい）ことを示している。各発光パターン３５に対する属性の割り当ては、使用時に操作アイコン領域２２等にソフトウェア的に表示されたパレットを用いてユーザが動的に行うことを示している。
【００５７】
この場合、例えば、発光パターン３５ｇを有する発光ペン３０ｇにより、スクリーン１０上に表示されたパレットの「青・太線」部分をタッチすることで、発光パターン３５ｇには「青・太線」とする属性が動的に設定される。この状態で発光ペン３０ｇによりスクリーン１０上をなぞると、インタラクティブ機能部１１３が、なぞった軌跡を「青」の「太線」で描画する。発光パターン３５ｈには「赤・細線」とする属性が既に設定されているものとすると、発光パターン３５ｈを有する発光ペン３０ｈでなぞった軌跡は「赤」の「細線」で描画する。
【００５８】
パレットを提供するソフトウェアの機能次第で、描画の際の属性として、線の色や太さ以外にも。例えば、点線や鎖線等の線種を設定したり、既に描画した内容を消去する「消しゴム」モードを設定したり等、多種・多様の属性を設定することも可能である。なお、図７（ａ）に示したような固定的な属性の割り当てにおいても、線の色や太さ以外に線種や「消しゴム」モード等の他の属性を予め割り当てておくことは当然可能である。
【００５９】
以上に説明したように、本発明の実施の形態４である映像表示システムによれば、各発光パターン３５に対して描画の際の属性を予め固定的に割り当てておく手法や、ソフトウェア的に実現されたパレット等を用いて属性の割り当てを動的に設定・変更する手法を適宜採用して柔軟にシステムを構成することが可能である。
（実施の形態５）
【００６０】
本発明の実施の形態５では、発光ペン３０が、その両端にそれぞれ異なる遮光パターンの発光ペン先３２を有している。これにより、１本の発光ペン３０で属性を使い分けることができる。
【００６１】
図８は、本実施の形態における発光ペン３０の構成と線や図形の描画の例について概要を示した図である。図８（ａ）は、両端に発光ペン先３２ａ、３２ｂをそれぞれ有する発光ペン３０の構造の例を示している。各発光ペン先３２の装着の手法は、上記の各実施の形態において示したものを適宜採用することができる。両端で異なる装着手法を用いていてもよい。図８の例では、光不透過部３４（遮光パターン）を有する発光ペン先３２ｂによる発光パターン３５に対しては通常の線や図形の描画の属性を割り当てる一方、他端の遮光パターンがない発光ペン先３２ａによる発光パターン３５に対して「消しゴム」モードを割り当てたものとする。
【００６２】
図（ｂ）は、発光ペン３０における２つの発光ペン先３２を使い分けて描画する場合の例を示している。スクリーン１０の左側に示すように、遮光パターンを有する一端の発光ペン先３２ｂを用いて描画した場合は、通常の線を描画する一方、スクリーン１０の右側に示すように、発光ペン３０を上下反転させて遮光パターンを有しない他端の発光ペン先３２ａを用いて描画した場合は、既に描画した内容を消去する「消しゴム」として機能していることを示している。
【００６３】
以上に説明したように、本発明の実施の形態５である映像表示システムによれば、発光ペン３０の両端に異なる遮光パターンの発光ペン先３２を設け、例えば、一方の発光ペン先３２ａによる発光パターン３５に対して「消しゴム」モードを割り当てる。これにより、現実の消しゴム付鉛筆やシャープペンシルなどと同様の操作感覚で描画・訂正を行うことが可能である。
【００６４】
なお、両端の発光ペン先３２による発光パターン３５に対して割り当てる描画の属性は、上記のように一方が「消しゴム」モードであるものに限られない。両端で線の色や太さを切り替えたり、実線と点線などの線種を切り替えたり、これらを組み合わせたりするものであってもよい。また、上述の図７（ｂ）に示したようなソフトウェアによるパレットを用いた動的な属性の割り当て変更を行うことも当然可能である。
【００６５】
また、上記の各実施の形態の発光ペン３０において、各発光ペン先３２による発光パターン３５に対してどのような描画の属性が割り当てられているかの情報をユーザは容易に把握できるように、発光ペン本体３１などに固定的にもしくは動的に、色や図形、テキスト等により表示する機能を有していてもよい。
【００６６】
例えば、発光ペン先３２の遮光パターンに固定的に属性が割り当てられている場合は、発光ペン先３２に対応する色を付しておいたり、線の太さを表示しておいたりすることができる。また、ソフトウェアによるパレット等を用いて動的に属性を切り替える場合も含めて、発光ペン本体３１に備えられた図示しない表示部等が対応する色を発光したりテキストを表示したりすることができる。なお、発光ペン本体３１に表示する場合は、発光ペン３０が投射型映像表示装置１００もしくは情報処理装置３００と近距離無線通信等により通信を行い、割り当てられている属性の情報、もしくは表示すべき内容に係る情報を取得する手段を備えている必要がある。
【００６７】
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は上記の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。例えば、上記の実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【符号の説明】
【００６８】
１０…スクリーン、
２０…表示画面、２１…映像領域、２２…操作アイコン領域、２３ａ、２３ｂ…描画図形、【００６９】
３０、３０ａ〜ｈ…発光ペン、３１…発光ペン本体、３２、３２ａ〜ｆ…発光ペン先、３３…光透過部、３４…光不透過部、３５、３５ａ〜ｈ…発光パターン、３６…ノック部、３７…遮光部、３８…光源、【００７０】
１００…投射型映像表示装置、１０１…投射光学系、１０２…表示素子、１０３…表示素子駆動部、１０４…照明光学系、１０５…光源、１０６…電源、１０７…冷却部、１０８…音声出力部、１０９…不揮発性メモリ、１１０…メモリ、１１１…制御部、１１２…センサ、１１３…インタラクティブ機能部、１１４…映像入力部、１１５…音声入力部、１１６…通信部、１１７…操作信号入力部、
２００…映像出力装置、
３００…情報処理装置
【図１】
2017017812.tif 000003
【図２】
2017017812.tif 000004
【図３】
2017017812.tif 000005
【図４】
2017017812.tif 000006
【図５】
2017017812.tif 000007
【図６】
2017017812.tif 000008
【図７】
2017017812.tif 000009
【図８】
2017017812.tif 000010
【国際調査報告】
2017017812.tif 000011
2017017812.tif 000012
2017017812.tif 000013
2017017812.tif 000014