(57)【要約】【課題】電子黒板システムに複数の電子ペンを用いた場合に、これら複数の電子ペンによる操作を簡易な構成で識別可能に表示する。【解決手段】表示画像を投射して表示するプロジェクタ２０において、撮像エリア５２を撮像し、互いに異なる波長の光を出射する複数の電子ペンによる操作位置を、電子ペンから出射された光の波長によって複数の電子ペン毎に検出し、ＰＣ１０において、検出した操作位置と、複数の電子ペンにそれぞれ設定された機能とに基づいて、電子ペンによる操作の内容を複数の電子ペン毎に認識し、プロジェクタ２０において、認識した操作の内容に応じた表示画像を表示する。【選択図】図１
2017142726.tif 000002
【特許請求の範囲】
【請求項１】
互いに異なる波長の光を出射する複数の電子ペンと、
撮像エリアを撮像し、前記電子ペンから出射された光を、当該光の波長によって前記複数の電子ペン毎に区別して検出する光検出部と、
前記光検出部にて検出された光の前記撮像エリア内における位置に基づいて、前記電子ペンの操作位置を前記複数の電子ペン毎に検出する位置検出部と、
前記位置検出部にて検出された操作位置と、前記複数の電子ペン毎に設定された機能とに基づいて、前記電子ペンによる操作の内容を前記複数の電子ペン毎に認識する認識部と、
前記認識部にて認識された操作の内容に応じた映像信号を生成して出力する画像生成部と、
前記画像生成部から出力された映像信号に応じた表示画像を表示する表示部とを有する、電子黒板システム。
【請求項２】
請求項１に記載の電子黒板システムにおいて、
前記光検出部は、
前記複数の電子ペン毎に対応し、前記複数の電子ペンのうち対応する電子ペンから出射された波長の光を透過させ、それ以外の電子ペンから出射された波長の光を透過させない複数の光透過部と、
前記光透過部を透過した光を受光することで、前記電子ペンから出射された光を検出する受光部とを有する、電子黒板システム。
【請求項３】
請求項２に記載の電子黒板システムにおいて、
前記光検出部は、
前記電子ペンから出射された光を取り込む窓部と、
前記複数の光透過部が回転方向に並んで配置され、回転に伴って前記複数の光透過部が選択的に前記窓部に対向するように配置されたフィルターホイールと、
前記フィルターホイールの回転に伴って移動する識別マークと、
前記識別マークが移動する軌跡と交差するように所定の明るさの光を出射する発光素子と、
前記発光素子から出射された光が反射された反射光を受光する受光素子と、
前記受光素子が受光した光の明るさに対応する受光強度の変化に基づいて、前記窓部にて取り込まれた光を、前記複数の電子ペン毎に区別する区別部とを有する、電子黒板システム。
【請求項４】
請求項３に記載の電子黒板システムにおいて、
前記フィルターホイールの回転周波数が一定である、電子黒板システム。
【請求項５】
請求項３または請求項４に記載の電子黒板システムにおいて、
前記フィルターホイールの回転周波数が、前記映像信号のフレームレートの２倍以上である、電子黒板システム。
【請求項６】
電子ペンを備えた表示装置であって、
前記電子ペンは、互いに異なる波長の光を出射し、
前記表示装置は、
撮像エリアを撮像し、前記電子ペンから出射された光を、当該光の波長によって前記複数の電子ペン毎に区別して検出する光検出部と、
前記光検出部にて検出された光の前記撮像エリア内における位置に基づいて、前記電子ペンの操作位置を前記複数の電子ペン毎に検出する位置検出部と、
前記位置検出部にて検出された操作位置と、前記複数の電子ペン毎に設定された機能とに基づいて前記複数の電子ペン毎に認識された、前記電子ペンによる操作の内容に応じた表示画像を表示する表示部とを有する表示装置。
【請求項７】
互いに異なる波長の光を出射する複数の電子ペンが操作される電子黒板システムにおける表示画像の表示方法であって、
撮像エリアを撮像し、前記電子ペンから出射された光を、当該光の波長によって前記複数の電子ペン毎に区別して検出する光検出処理と、
前記光検出処理にて検出した光の前記撮像エリア内における位置に基づいて、前記電子ペンの操作位置を前記複数の電子ペン毎に検出する位置検出処理と、
前記位置検出処理にて検出した操作位置と、前記複数の電子ペン毎に設定された機能とに基づいて、前記電子ペンによる操作の内容を前記複数の電子ペン毎に認識する認識処理と、
前記認識処理にて認識した操作の内容に応じた映像信号を生成し、該映像信号に応じた表示画像を表示する表示処理とを有する、表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子ペンを用いた電子黒板システムに関し、特に、複数の電子ペンを用いた場合に、これら複数の電子ペンによる操作を識別可能とする技術に関する。
【背景技術】
【０００２】
近年、プロジェクタ等によって表示画像が表示されるスクリーン上を電子ペンで操作した場合に、電子ペンによる操作画像が表示画像に合成して表示される電子黒板システムが利用されている。プロジェクタを用いた電子黒板システムとして現在主流なのは、電子ペンを押下することでペン先から赤外線光が出射され、この赤外線光がＣＭＯＳイメージセンサ等のカメラで取得され、それにより電子ペンによる操作位置が検出される方法である。
昨今では、複数の電子ペンを用いてこれら複数の電子ペンによる同時操作をサポートする、いわゆる「マルチタッチ（ペン）システム」が主流となっている。ところが、マルチタッチシステムにおいては、複数の電子ペンを識別することが困難であるため、複数の電子ペン毎に表示色を異ならせる等、互いに異なる機能を割り付けることが難しい。
【０００３】
そこで、プロジェクタ等の表示装置と複数の電子ペンとの間にて、データ転送の際に必要に応じて所定の待機時間を設けることにより、複数の電子ペンを識別する技術が考えられており、特許文献１に開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１４５７６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示された技術は、表示装置と電子ペンとの間においてデータ転送の際に必要に応じて所定の待機時間を設けるものであるため、アルゴリズムが複雑になってしまうという問題点がある。
本発明は、上述したような問題点に鑑みてなされたものであって、電子黒板システムに複数の電子ペンを用いた場合に、これら複数の電子ペンによる操作を簡易な構成で識別することができる、電子黒板システム及び表示方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために本発明は、
互いに異なる波長の光を出射する複数の電子ペンと、
撮像エリアを撮像し、前記電子ペンから出射された光を、当該光の波長によって前記複数の電子ペン毎に区別して検出する光検出部と、
前記光検出部にて検出された光の前記撮像エリア内における位置に基づいて、前記電子ペンの操作位置を前記複数の電子ペン毎に検出する位置検出部と、
前記位置検出部にて検出された操作位置と、前記複数の電子ペン毎に設定された機能とに基づいて、前記電子ペンによる操作の内容を前記複数の電子ペン毎に認識する認識部と、
前記認識部にて認識された操作の内容に応じた映像信号を生成して出力する画像生成部と、
前記画像生成部から出力された映像信号に応じた表示画像を表示する表示部とを有する。
また、電子ペンを備えた表示装置であって、
前記電子ペンは、互いに異なる波長の光を出射し、
前記表示装置は、
撮像エリアを撮像し、前記電子ペンから出射された光を、当該光の波長によって前記複数の電子ペン毎に区別して検出する光検出部と、
前記光検出部にて検出された光の前記撮像エリア内における位置に基づいて、前記電子ペンの操作位置を前記複数の電子ペン毎に検出する位置検出部と、
前記位置検出部にて検出された操作位置と、前記複数の電子ペン毎に設定された機能とに基づいて前記複数の電子ペン毎に認識された、前記電子ペンによる操作の内容に応じた表示画像を表示する表示部とを有する。
また、互いに異なる波長の光を出射する複数の電子ペンが操作される電子黒板システムにおける表示画像の表示方法であって、
撮像エリアを撮像し、前記電子ペンから出射された光を、当該光の波長によって前記複数の電子ペン毎に区別して検出する光検出処理と、
前記光検出処理にて検出した光の前記撮像エリア内における位置に基づいて、前記電子ペンの操作位置を前記複数の電子ペン毎に検出する位置検出処理と、
前記位置検出処理にて検出した操作位置と、前記複数の電子ペン毎に設定された機能とに基づいて、前記電子ペンによる操作の内容を前記複数の電子ペン毎に認識する認識処理と、
前記認識処理にて認識した操作の内容に応じた映像信号を生成し、該映像信号に応じた表示画像を表示する表示処理とを有する。
【発明の効果】
【０００７】
本発明によれば、電子黒板システムに複数の電子ペンを用いた場合に、これら複数の電子ペンによる操作を簡易な構成で識別することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の電子黒板システムの実施の一形態を示す図であり、（ａ）は全体の構成を示す図、（ｂ）は（ａ）に示したプロジェクタの外観斜視図である。
【図２】図１に示したＰＣ及びプロジェクタの構成例を示すブロック図である。
【図３】図２に示したカメラユニットの詳細な構成を示す図であり、（ａ）は断面図、（ｂ）は光学フィルターホイールの構成を示す図、（ｃ），（ｄ）はフォトインタプラタの構成及び動作を説明するための図である。
【図４】図１〜図３に示した電子黒板システムに用いられる電子ペンの構成例を示す図である。
【図５】図１〜図４に示した電子黒板システムにおける表示画像の表示方法を説明するためのフローチャートである。
【図６】図３に示した光学フィルターの透過特性を示す図である。
【図７】スクリーン上に表示される表示画像の例を示す図である。
【図８】プロジェクタによって投射している表示画像とカメラユニットによって取り込まれた画像とを相関関係を調整するために用いられるテストパターンの例を示す図である。
【発明を実施するための形態】
【０００９】
以下に、本発明の実施の形態について図面を参照して説明する。
図１は、本発明の電子黒板システムの実施の一形態を示す図であり、（ａ）は全体の構成を示す図、（ｂ）は（ａ）に示したプロジェクタ２０の外観斜視図である。
本形態による電子黒板システムは図１に示すように、ＰＣ１０と、プロジェクタ２０とを有する。
プロジェクタ２０は、表示装置となるものであって、ケーブル１７を介してＰＣ１０に接続されており、投射レンズ４０と、カメラユニット３０とを具備する。プロジェクタ２０は、ＰＣ１０から出力された映像信号をケーブル１７を介して受信し、受信した映像信号に応じた表示画像を、投射レンズ４０を介して投射エリア５１に投射してスクリーン５０に表示する。また、プロジェクタ２０は、カメラユニット３０によってスクリーン５０を含む撮像エリア５２を撮像し、スクリーン５０上にて操作された電子ペンの操作位置を、予め設定された複数の電子ペン毎に検出する。
ＰＣ１０は、制御装置となるものであって、スクリーン５０に表示画像を表示するための映像信号を生成し、出力する。また、ＰＣ１０は、プロジェクタ２０にて検出された電子ペンの操作位置と、複数の電子ペンにそれぞれ設定された機能とに基づいて、電子ペンによる操作の内容を複数の電子ペン毎に認識し、その操作の内容に応じた映像信号を生成し、プロジェクタ２０に送信する。
【００１０】
上記のように構成された電子黒板システムにおいては、ＰＣ１０から出力された映像信号に応じた表示画像がスクリーン５０に表示されている状態において、予め設定された電子ペンによって、例えばスクリーン５０上にて表示画像に情報を書き込む操作が行われると、その書き込まれた情報が表示画像に合成されてスクリーン５０に表示される。また、電子ペンがマウスとして機能するものである場合は、表示画像内のアイコンを電子ペンによって指定すると、指定されたアイコンに応じて表示画像が変化する。このように、スクリーン５０に表示画像が表示された状態にて、電子ペンがスクリーン５０上を操作されると、その操作内容に応じた表示画像がスクリーン５０に表示されることとなる。
【００１１】
図２は、図１に示したＰＣ１０及びプロジェクタ２０の構成例を示すブロック図である。図３は、図２に示したカメラユニット３０の詳細な構成を示す図であり、（ａ）は断面図、（ｂ）は光学フィルターホイール３７の構成を示す図、（ｃ），（ｄ）はフォトインタプラタ３３の構成及び動作を説明するための図である。
本例におけるプロジェクタ２０は図２に示すように、インタフェース部２１と、ＣＰＵ２２と、カメラユニット３０と、投射部４１とを有している。
インタフェース部２１は、ケーブル１７を介してＰＣ１０との間にて情報や信号の送受信を行う。
ＣＰＵ２２は、表示制御部２５と、光区別検出部２３と、位置検出部２４とを有する。表示制御部２５は、投射部４１と合わせて表示部を構成するものであって、インタフェース部２１を介してＰＣ１０から受信した映像信号に応じた表示画像を、投射部４１を介して投射エリア５１に投射してスクリーン５０に表示する。光区別検出部２３は、カメラユニット３０と合わせて光検出部を構成するものであって、カメラユニット３０にて撮像された撮像エリア内において、電子ペンから出射された赤外線光を検出する。その際、後述するように、スクリーン５０上を操作される電子ペンとして、出射する赤外線光の波長が互いに異なる複数の電子ペンが設定されており、光区別検出部２３は、区別部となって、検出した赤外線光を、その波長によって複数の電子ペン毎に区別して検出する。位置検出部２４は、光区別検出部２３にて検出された赤外線光の撮像エリア内における位置に基づいて、電子ペンの操作位置の座標を複数の電子ペン毎に検出する。
投射部４１は、図１に示した投射レンズ４０を含み、表示制御部２５から出力された表示画像を投射エリア５１に投射する。
【００１２】
カメラユニット３０は、図２及び図３に示すように、筐体３８内に、ＣＭＯＳイメージセンサ３１と、レンズ３６と、ホイール用モーター３２と、光学フィルターホイール３７と、フォトインタプラタ３３を有して構成されている。
筐体３８には、窓部となる赤外線取り込み用窓３９が設けられており、この赤外線取り込み用窓３９を介して、ＣＭＯＳイメージセンサ３１によって撮像エリア５２が撮像されることで、電子ペンから出射された赤外線光が取り込まれる。
ＣＭＯＳイメージセンサ３１は、受光部となるものであって、赤外線取り込み用窓３９に対向するように基板３５上に取り付けられており、レンズ３６を介して撮像エリア５２を撮像する。レンズ３６と赤外線取り込み窓３９との間には光学フィルターホイール３７が配置されている。光学フィルターホイール３７は、ホイール状であって、その中心部に取り付けられたホイール用モーター３２の回転とともに回転する。光学フィルターホイール３７は、光学フィルターホイール３７の回転方向に並んで配置された、互いに異なる波長の赤外線光を透過させる２種類の光学フィルター３７ａ，３７ｂを有しており、光学フィルター３７ａ，３７ｂが交互に赤外線取り込み用窓３９に対向するように配置されている。この光学フィルター３７ａ，３７が光透過部となる。
ホイール用モーター３２の外周面の一部には、識別マークとなる反射シール３２ａが貼り付けられている。ホイール用モーター３２の外周面と反射シール３２ａとは光の反射率が異なる。ここで、本形態においては、ホイール用モーター３２は、光の成分のほとんどを反射せず吸収する部材で構成され、反射シール３２ａは、光の成分のほとんどを反射する部材で構成されているものとする。反射シール３２ａは、ホイール用モーター３２の外周面のうち、光学フィルター３７ａ，３７ｂの境界の一点に貼り付けられている。反射シール３２ａは、ホイール用モーター３２の外周面に貼り付けられることで、光学フィルターホイール３７の回転に伴って移動する。
【００１３】
フォトインタラプタ３３は、光学フィルターホイール３７の回転周期とタイミングを検出するためのものであって、発光素子３３ａと、受光素子３３ｂとを有する。発光素子３３ａは、例えば、電圧が供給されると、ホイール用モーター３２に向けて、所定の明るさの光を出射する。つまり、発光素子３３ａから出射された光は、識別マーク３２ａが移動する回転軌道の軌跡と１個所で交差する。ただし、交差する位置は１個所に限られず、複数でも良い。受光素子３３ｂは、発光素子３３ａから出射された光がホイール用モーター３２の外周面または反射シール３２ａにおいて反射された反射光を受光し、受光した光の明るさに対応する強度である受光強度に応じた信号を回転検出信号として出力する。上述したように、ホイール用モーター３２が、光の成分のほとんどを反射せず吸収する部材で構成され、反射シール３２ａが、光の成分のほとんどを反射する部材で構成されていることにより、発光素子３３ａから出射された光が、ホイール用モーター３２の外周面の反射シール３２ａが貼り付けられていない領域に照射された場合は、図３（ｃ）に示すように、その反射光は受光素子３３ｂにて受光されない。一方、発光素子３３ａから出射された光が、ホイール用モーター３２の外周面に貼り付けられた反射シール３２ａに照射された場合は、図３（ｄ）に示すように、その反射光が受光素子３３ｂにて受光されることとなる。発光素子３３ａとしては、例えば、赤外線ＬＥＤ（Light Emitting Diode：発光ダイオード）を用いることが考えられ、また、受光素子３３ｂとしては、例えば、フォトトランジスタを用いることが考えられる。
【００１４】
本例におけるＰＣ１０は図２に示すように、インタフェース部１５と、表示部１１と、情報入力部１４と、制御部１６とを有している。
インタフェース部１５は、ケーブル１７を介してプロジェクタ２０との間にて情報や信号の送受信を行う。
表示部１１は、液晶等のディスプレイからなり、情報を表示する。
情報入力部１４は、キーボードやマウス等からなり、情報を入力するためのものである。
制御部１６は、操作認識部１２と画像生成部１３とを有する。操作認識部１２は、プロジェクタ２０の位置検出部２４にて検出された操作位置と、電子ペンに設定された機能とに基づいて、電子ペンによる操作の内容を認識する。画像生成部１３は、操作認識部１２にて認識された操作の内容に応じた映像信号を生成し、インタフェース部１５を介してプロジェクタ２０に出力する。例えば、ＰＣ１０から出力された映像信号に応じたベースイメージが表示画像としてスクリーン５０に表示されている状態において、情報を書き込むことをその機能として設定された電子ペンによって、スクリーン５０上にて表示画像に情報を書き込む操作が行われると、その書き込まれた情報とベースイメージとを合成して新たな表示画像を表示するための映像信号を生成したり、マウスとして動作することをその機能として設定された電子ペンによって、表示画像内の所定のアイコンが指定する操作が行われると、指定されたアイコンに応じて新たな表示画像を表示するための映像信号を生成したりする。
【００１５】
以下に、上記のように構成された電子黒板システムにおける表示画像の表示方法について説明する。
まず、上述した電子黒板システムに用いられる電子ペンについて説明する。
図４は、図１〜図３に示した電子黒板システムに用いられる電子ペンの構成例を示す図である。
図１〜図３に示した電子黒板システムに用いられる電子ペンは図４に示すように、軸部６１ａ，６１ｂの先端に、赤外線発光部６２ａ，６２ｂが設けられて構成されている。赤外線発光部６２ａ，６２ｂは、押下された場合に互いに異なる波長の赤外線光を常時出射する。本形態においては、電子ペン６０ａの赤外線発光部６２ａから８５０ｎｍの波長の赤外線光が出射され、電子ペン６０ｂの赤外線発光部６２ｂから９５０ｎｍの波長の赤外線光が出射されることとする。
【００１６】
図５は、図１〜図４に示した電子黒板システムにおける表示画像の表示方法を説明するためのフローチャートである。
ＰＣ１０から映像信号が出力され、映像信号に応じた表示画像がプロジェクタ２０の投射レンズ４０を介して投射エリア５１に投射されてスクリーン５０に表示されている状態において、プロジェクタ２０のカメラユニット３０によってスクリーン５０を含む撮像エリア５２が撮像される（ステップ１）。
この状態において、図４に示した電子ペン６０ａ，６０ｂがスクリーン５０上を押下されながら操作されると、上述したように電子ペン６０ａ，６０ｂにおいては、赤外線発光部６２ａ，６２ｂが押下された場合に赤外線発光部６２ａ，６２ｂから赤外線光が出射されるため、この赤外線光がカメラユニット３０にて検出されることになる（ステップ２）。
カメラユニット３０においては、ホイール用モーター３２が回転することで、この回転に伴って光学フィルターホイール３７が回転している。そして、光学フィルターホイール３７が回転すると、光学フィルターホイール３７を構成する２種類の光学フィルター３７ａ，３７ｂが交互に赤外線取り込み用窓３９に対向することになる。
【００１７】
図６は、図３に示した光学フィルター３７ａ，３７ｂの透過特性を示す図である。
図３に示した光学フィルター３７ａは、図６（ａ）に示すように、８５０ｎｍを中心とし、１００ｎｍ程度の幅の波長を透過させるバンドパスフィルターとなっている。また、図３に示した光学フィルター３７ｂは、図６（ｂ）に示すように、９５０ｎｍを中心とし、１００ｎｍ程度の幅の波長を透過させるバンドパスフィルターとなっている。
一方、電子ペン６０ａ，６０ｂにおいては、上述したように、電子ペン６０ａは、赤外線発光部６２ａから８５０ｎｍの波長の赤外線光が出射され、電子ペン６０ｂは、赤外線発光部６２ｂから９５０ｎｍの波長の赤外線光が出射される。
【００１８】
そのため、光学フィルター３７ａが赤外線取り込み用窓３９に対向している場合は、電子ペン６０ａの赤外線発光部６２ａから出射された赤外線光が、光学フィルター３７ａ及びレンズ３６を介してＣＭＯＳイメージセンサ３１にて取り込まれ、電子ペン６０ｂの赤外線発光部６２ｂから出射された赤外線光は、ＣＭＯＳイメージセンサ３１にて取り込まれない。また、光学フィルター３７ｂが赤外線取り込み用窓３９に対向している場合は、電子ペン６０ｂの赤外線発光部６２ｂから出射された赤外線光が、光学フィルター３７ｂ及びレンズ３６を介してＣＭＯＳイメージセンサ３１にて取り込まれ、電子ペン６０ａの赤外線発光部６２ａから出射された赤外線光は、ＣＭＯＳイメージセンサ３１にて取り込まれない。
ここで、光学フィルター３７ａ，３７ｂは、光学フィルターホイール３７の回転によって赤外線取り込み用窓３９に交互に対向することとなるが、光学フィルターホイール３７の回転は、フォトインタプラタ３３から出力される回転検出信号によって光区別検出部２３にて検出されている。フォトインタプラタ３３から出力される回転検出信号は、上述したように、受光素子３３ｂにおける受光強度に応じたものである。そして、ホイール用モーター３２の外周面のうち、光学フィルター３７ａ，３７ｂの境界の一点に反射シール３２ａが貼り付けられており、受光素子３３ｂが、発光素子３３ａから出射されてホイール用モーター３２の外周面にて反射した光を受光することにより、光区別検出部２３においては、フォトインタプラタ３３から出力された回転検出信号に基づいて、光学フィルター３７ａ，３７ｂのうちどちらが赤外線取り込み用窓３９に対向しているかを認識することができる。例えば、光学フィルターホイール３７が１２０Ｈｚで回転している場合、光学フィルターホイール３７の回転周期が８．３ｍｓとなるため、回転検出信号に基づいて、発光素子３３ａから出射されて反射シール３２ａにて反射された反射光が受光素子３３ｂにて受光されたタイミングをトリガとし、そのトリガから２．０ｍｓ後、すなわち、光学フィルターホイール３７が１／４回転後にＣＭＯＳイメージセンサ３１にて取り込まれた赤外線光は、光学フィルター３７ａを透過したものであると認識され、トリガから６．２ｍｓ後、すなわち、光学フィルターホイール３７が３／４回転後にＣＭＯＳイメージセンサ３１にて取り込まれた赤外線光は、光学フィルター３７ｂを透過したものであると認識されることとなる。なお、ホイール用モーター３２の回転周波数はＣＰＵ２２によって制御されるが、ＣＰＵ２２において、フォトインタラプタ３３から出力された回転周期信号に基づいて光学フィルターホイール３７の回転周波数を算出し、回転周波数が常に一定になるようにフィードバック制御が行われる。
このように、光区別検出部２３においては、電子ペン６０ａ，６０ｂから出射された光を、その光の波長によって電子ペン６０ａ，６０ｂ毎に区別して検出することができる。
次に、位置検出部２４において、ＣＭＯＳイメージセンサ３１にて取り込まれた光の画像内における位置に基づいて、電子ペン６０ａ，６０ｂの操作位置の座標が検出される（ステップ３）。この際、光学フィルターホイール３７の回転と、上述したような赤外線光の取り込みタイミングを用いた座標検出処理とを時分割で連動させることで、電子ペン６０ａ，６０ｂ毎に操作位置の座標を検出することができる。
【００１９】
このようにして電子ペン６０ａ，６０ｂ毎に検出された操作位置の座標情報は、その座標が検出されたタイミングを示す情報とともに、ケーブル１７を介してプロジェクタ２０からＰＣ１０に送信される。
すると、ＰＣ１０の操作認識部１２において、まず、操作位置の座標情報とともにプロジェクタ２０から送信されてきたタイミングを示す情報に基づいて、送信されてきた座標情報が、電子ペン６０ａ，６０ｂのいずれの操作位置を示すものであるかが判断される。これは、上述したように、操作位置の座標が検出されたタイミングが、フォトインタプラタ３３から出力された回転検出信号によるトリガからどれだけの時間が経過したものであるかに基づいて、ＣＭＯＳイメージセンサ３１にて取り込まれた赤外線光が、電子ペン６０ａ，６０ｂのいずれから出射されたものであるかが特定されるため、操作位置の座標が検出されたタイミングに基づいて、送信されてきた座標情報が、電子ペン６０ａ，６０ｂのいずれの操作位置を示すものであるかを判断することができる。
操作認識部１２においては、プロジェクタ２０から送信されてきた座標情報が、電子ペン６０ａ，６０ｂのいずれの操作位置を示すものであるかを判断すると、その電子ペン６０ａ，６０ｂに設定された機能と、プロジェクタ２０から送信されてきた座標情報とに基づいて、電子ペン６０ａ，６０ｂによる操作の内容が電子ペン６０ａ，６０ｂ毎に認識される（ステップ４）。例えば、電子ペン６０ａに設定された機能が、情報を黒色で書き込むものである場合は、プロジェクタ２０から送信されてきた座標情報によって示される操作位置に黒色で情報が書き込まれた旨が認識され、また、電子ペン６０ｂに設定された機能が、情報を赤色で書き込むものである場合は、プロジェクタ２０から送信されてきた座標情報によって示される操作位置に赤色で情報が書き込まれた旨が認識される。また、電子ペン６０ｂに設定された機能が、マウスとして動作するものである場合は、プロジェクタ２０から送信されてきた座標情報によって示される操作位置に表示されたアイコンが指定された旨が認識される。
【００２０】
次に、画像生成部１３において、ステップ４にて認識された操作の内容に応じた表示画像を表示するための映像信号が生成される。例えば、電子ペン６０ａに設定された機能が、情報を黒色で書き込むものである場合は、スクリーン５０上に表示されているベースイメージとなる表示画像に、操作位置にて黒色で情報が書き込まれた情報を合成した新たな表示画像を表示するための映像信号が生成されたり、電子ペン６０ｂに設定された機能が、マウスとして動作するものである場合は、操作位置に表示されたアイコンに応じて新たな表示画像を表示するための映像信号が生成されたりする。
画像生成部１３にて生成された映像信号は、ＰＣ１０からプロジェクタ２０に送信され、表示制御部２５によって映像信号に応じた表示画像が投射部４１を介して投射されてスクリーン５０上に表示される（ステップ５）。なお、このように、電子ペン６０ａ，６０ｂによる操作の内容に応じた表示画像の表示は、その描画レスポンスに影響することとなるため、電子ペン６０ａ，６０ｂによる操作位置を検出するための光学フィルターホイール３７の回転周波数は、映像信号のフレームレートよりも十分に早くする必要がある。例えば、映像信号のフレームレートが６０Ｈｚである場合、光学フィルターホイール３７の１回転で電子ペン６０ａ，６０ｂの双方の操作位置による座標を取得する必要があるため、６０Ｈｚの回転周波数が必要である。ただし、光学フィルターホイール３７の回転と映像信号とは非同期であるため、十分な処理裕度を設けるためにも、光学フィルターホイール３７の回転周波数は、映像信号のフレームレートの２倍程度以上であることが好ましい。
【００２１】
図７は、スクリーン５０上に表示される表示画像の例を示す図である。
表示画像がスクリーン５０に表示されている状態において、例えば、図７（ａ）に示すように、黒色で情報を書き込むことをその機能として設定された電子ペン６０ａによって、スクリーン５０上にて表示画像に情報を書き込む操作が行われるとともに、赤色で情報を書き込むことをその機能として設定された電子ペン６０ｂによって、スクリーン５０上にて表示画像に情報を書き込む操作が行われると、それら書き込まれた情報とベースイメージとが合成され、電子ペン６０ａによる操作位置に黒色による記入情報７１ａが表示されるとともに、電子ペン６０ｂによる操作位置に赤色による記入情報７１ｂが表示されてなる表示画像７０がスクリーン５０上に表示されることとなる。
また、表示画像がスクリーン５０に表示されている状態において、例えば、図７（ｂ）に示すように、黒色で情報を書き込むことをその機能として設定された電子ペン６０ａによって、スクリーン５０上にて表示画像に情報を書き込む操作が行われると、書き込まれた情報とベースイメージとが合成され、電子ペン６０ａによる操作位置に黒色による記入情報７１ａが表示されてなる表示画像７０がスクリーン５０上に表示されることとなり、また、マウスとして動作することをその機能として設定された電子ペン６０ｂによって、表示画像７０に表示された複数のアイコン７２ａ〜７２ｉのうち、所定のアイコン７２ｆを指定する操作が行われると、指定されたアイコン７２ｆに応じて新たな表示画面がスクリーン５０上に表示されることとなる。
【００２２】
このように、本形態においては、互いに異なる波長の赤外線光を出射する複数の電子ペンによるスクリーン５０における操作位置を、互いに異なる波長の赤外線光を透過させる２種類の光学フィルター３７ａ，３７ｂを用いて電子ペン毎に検出可能とすることで、簡易な構成において、複数の電子ペンによる操作を識別して表示画像を表示することができる。
【００２３】
なお、上述したように、撮像エリア５２内にて検出された赤外線光の位置に基づいて電子ペンの表示画像における操作位置を正しく検出するためには、プロジェクタ２０によって投射している表示画像とカメラユニット３０によって取り込まれた画像との相関関係を調整する必要がある。
図８は、プロジェクタ２０によって投射している表示画像とカメラユニット３０によって取り込まれた画像との相関関係を調整するために用いられるテストパターンの例を示す図である。
例えば、図８に示すように、マトリックス状に９つのキャリブレーションポイント８１ａ〜８１ｉが配置されてなるキャリブレーション用テストパターン画像８０をプロジェクタ２０からスクリーン５０上に投射し、キャリブレーションポイント８１ａ〜８１ｉを全て電子ペンでタッチすることにより、プロジェクタ２０から投射される表示画面の座標と、プロジェクタ２０にて撮像される画面の座標との相関関係を確立することができる。
【００２４】
なお、上述した実施の形態においては、互いに異なる波長の赤外線光を出射する２本の電子ペン６０ａ，６０ｂを用いた例を示したが、複数の電子ペンから出射される赤外線光の波長を細かく設定できる場合、電子ペンの本数を増やすことも可能である。その場合、光学フィルターホイール３７は、電子ペンの本数だけの光学フィルターを有し、この複数の光学フィルターが、光学フィルターホイール３７の回転によって赤外線取り込み用窓３９に選択的に対向するように設定することとなる。
また、電子ペン６０ａ，６０ｂから出射される光としては、互いに波長が異なれば赤外線光以外でもよいが、可視光の場合、表示画像が見にくくなってしまうため、不可視光であることが好ましい。
また、プロジェクタ２０とＰＣ１０とから電子黒板システムを構成しているが、直視モニターディスプレイに全ての構成要素を組み込んで、直視モニターディスプレイのみで電子黒板システムを構成してもよい。
【００２５】
（付記１）
互いに異なる波長の光を出射する複数の電子ペンと、
撮像エリアを撮像し、前記電子ペンから出射された光を、当該光の波長によって前記複数の電子ペン毎に区別して検出する光検出部と、
前記光検出部にて検出された光の前記撮像エリア内における位置に基づいて、前記電子ペンの操作位置を前記複数の電子ペン毎に検出する位置検出部と、
前記位置検出部にて検出された操作位置と、前記複数の電子ペン毎に設定された機能とに基づいて、前記電子ペンによる操作の内容を前記複数の電子ペン毎に認識する認識部と、
前記認識部にて認識された操作の内容に応じた映像信号を生成して出力する画像生成部と、
前記画像生成部から出力された映像信号に応じた表示画像を表示する表示部とを有する、電子黒板システム。
（付記２）
付記１に記載の電子黒板システムにおいて、
前記光検出部は、
前記複数の電子ペン毎に対応し、前記複数の電子ペンのうち対応する電子ペンから出射された波長の光を透過させ、それ以外の電子ペンから出射された波長の光を透過させない複数の光透過部と、
前記光透過部を透過した光を受光することで、前記電子ペンから出射された光を検出する受光部とを有する、電子黒板システム。
（付記３）
付記２に記載の電子黒板システムにおいて、
前記光検出部は、
前記電子ペンから出射された光を取り込む窓部と、
前記複数の光透過部が回転方向に並んで配置され、回転に伴って前記複数の光透過部が選択的に前記窓部に対向するように配置されたフィルターホイールと、
前記フィルターホイールの回転に伴って移動する識別マークと、
前記識別マークが移動する軌跡と交差するように所定の明るさの光を出射する発光素子と、
前記発光素子から出射された光が反射された反射光を受光する受光素子と、
前記受光素子が受光した光の明るさに対応する受光強度の変化に基づいて、前記窓部にて取り込まれた光を、前記複数の電子ペン毎に区別する区別部とを有する、電子黒板システム。
（付記４）
付記３に記載の電子黒板システムにおいて、
前記フィルターホイールの回転周波数が一定である、電子黒板システム。
（付記５）
請求項３または請求項４に記載の電子黒板システムにおいて、
前記フィルターホイールの回転周波数が、前記映像信号のフレームレートの２倍以上である、電子黒板システム。
（付記６）
電子ペンを備えた表示装置であって、
前記電子ペンは、互いに異なる波長の光を出射し、
前記表示装置は、
撮像エリアを撮像し、前記電子ペンから出射された光を、当該光の波長によって前記複数の電子ペン毎に区別して検出する光検出部と、
前記光検出部にて検出された光の前記撮像エリア内における位置に基づいて、前記電子ペンの操作位置を前記複数の電子ペン毎に検出する位置検出部と、
前記位置検出部にて検出された操作位置と、前記複数の電子ペン毎に設定された機能とに基づいて前記複数の電子ペン毎に認識された、前記電子ペンによる操作の内容に応じた表示画像を表示する表示部とを有する表示装置。
（付記７）
互いに異なる波長の光を出射する複数の電子ペンが操作される電子黒板システムにおける表示画像の表示方法であって、
撮像エリアを撮像し、前記電子ペンから出射された光を、当該光の波長によって前記複数の電子ペン毎に区別して検出する光検出処理と、
前記光検出処理にて検出した光の前記撮像エリア内における位置に基づいて、前記電子ペンの操作位置を前記複数の電子ペン毎に検出する位置検出処理と、
前記位置検出処理にて検出した操作位置と、前記複数の電子ペン毎に設定された機能とに基づいて、前記電子ペンによる操作の内容を前記複数の電子ペン毎に認識する認識処理と、
前記認識処理にて認識した操作の内容に応じた映像信号を生成し、該映像信号に応じた表示画像を表示する表示処理とを有する、表示方法。
【符号の説明】
【００２６】
１０    ＰＣ
１１    表示部
１２    操作認識部
１３    画像生成部
１４    情報入力部
１５，２１    インタフェース部
１６    制御部
１７    ケーブル
２０    プロジェクタ
２２    ＣＰＵ
２３    光区別検出部
２４    位置検出部
２５    表示制御部
３０    カメラユニット
３１    ＣＭＯＳイメージセンサ
３２    ホイール用モーター
３２ａ    反射シール
３３    フォトインタプラタ
３３ａ    発光素子
３３ｂ    受光素子
３５    基板
３６    レンズ
３７    光学フィルターホイール
３７ａ，３７ｂ    フィルター
３８    筐体
３９    赤外線取り込み窓
４０    投射レンズ
４１    投射部
５０    スクリーン
５１    投射エリア
５２    撮像エリア
６０ａ，６０ｂ    電子ペン
６１ａ，６１ｂ    軸部
６２ａ，６２ｂ    赤外線発光部
７０    表示画像
７１ａ，７１ｂ    記入情報
７２ａ〜７２ｉ    アイコン
８０    キャリブレーション用テストパターン画像
８１ａ〜８１ｉ    キャリブレーションポイント
【図１】
2017142726.tif 000003
【図２】
2017142726.tif 000004
【図３】
2017142726.tif 000005
【図４】
2017142726.tif 000006
【図５】
2017142726.tif 000007
【図６】
2017142726.tif 000008
【図７】
2017142726.tif 000009
【図８】
2017142726.tif 000010