(57)【要約】【課題】電子ペン機能とペンライト機能を併有する電子ペン装置において、必要に応じて自動的にペンライト機能をオン／オフ制御する自動制御システムおよび方法を提供する。【解決手段】電子ペン装置１は電子ペン部２とペンライト部３とCCDカメラ部４とを備え、CCDカメラ部４は電子ペン装置１の先端部の指し示す方向を定期的に撮像し画像データD3を解析制御装置５に送信する。解析制御装置５の画像解析部７は画像データを解析し、画像データ内にスクリーン１１の四辺が写っているかを推定し、さらに四辺の中にCCDカメラ部４のレンズの中心を認識する。四辺が移っていると推定しかつレンズの中心が四辺と推定された部分の内部に写っていると判断したら、電子ペン装置制御部８はペンライト部３をオンにする旨の命令信号D4を電子ペン装置１に送信する。【選択図】  図１
2006099504.tif 000002
【特許請求の範囲】
【請求項１】
接触入力された位置座標を特定するディスプレイ部を有するタブレットに対し前記位置座標を接触入力する電子ペン部および一方向に光束を照射するペンライト部および一方向の画像をレンズを通して撮像する撮像部をペン本体部に設けた電子ペン装置と、
前記撮像部が撮像した画像データを解析する画像解析部および前記画像解析部の解析結果に基づいて前記電子ペン装置を制御する電子ペン装置制御部を備えた解析制御装置と
を備え、
前記画像解析部は、
各種画像を投影する略矩形の投影面を有する画像投影体の前記投影面の見かけの形状である形状情報を記憶する記憶手段と、
前記撮像部が撮像した画像データを前記記憶手段に記憶された前記形状情報と照合し前記画像データ内に前記投影面の周縁部の四辺が存在するか否かを推定する四辺推定手段と
を有し、
前記電子ペン装置制御部は、前記四辺推定手段が前記画像データ内に前記投影面の周縁部の四辺がすべて存在すると推定した場合に前記電子ペン装置のペンライト部をオンにするペンライト制御手段
を有することを特徴とするペンライト付電子ペンのペンライト自動制御システム。
【請求項２】
前記画像解析部は、さらに、前記画像データ内に前記撮像部の前記レンズの中心位置を示す中心情報部の存在を認識する中心情報認識手段を有し、
前記ペンライト制御手段は、さらに、前記四辺推定手段が前記投影面と推定した範囲内に前記中心情報認識部が認識した中心情報が存在する場合に前記電子ペン装置のペンライト部をオンにする
ことを特徴とする請求項１に記載のペンライト付電子ペンのペンライト自動制御システム。
【請求項３】
さらに、前記電子ペン部により入力された位置座標を特定するとともに前記撮像部が撮像した画像データを表示するディスプレイ部を有するタブレットを備え、
前記形状情報は、前記撮像部が撮像し前記ディスプレイ部に表示された前記画像表示体の前記投影面をもとに前記電子ペン部が前記ディスプレイ部に入力した座標情報に基づいて取得される
ことを特徴とする請求項１または２に記載のペンライト付電子ペンのペンライト自動制御システム。
【請求項４】
前記撮像部は撮像倍率を変化させるズーム部を有するとともに、
前記電子ペン装置制御手段は、前記ズーム部を操作し前記撮像部の撮像倍率を変化させる倍率制御手段を有する
ことを特徴とする請求項１から３までのいずれか１項に記載のペンライト付電子ペンのペンライト自動制御システム。
【請求項５】
接触入力された位置座標を特定するディスプレイ部を有するタブレットに対し前記位置座標を接触入力する電子ペン部および一方向に光束を照射するペンライト部および一方向の画像をレンズを通して撮像する撮像部をペン本体部に設けた電子ペン装置と、各種画像を投影する略矩形の投影面を有する画像投影体の前記投影面の見かけの形状である形状情報を記憶する記憶手段を有し前記電子ペン装置を制御する解析制御装置とを備えたペンライト付電子ペンのペンライト自動制御システムにおけるペンライト自動制御方法において、
前記撮像部が画像を撮像し、画像データを前記解析制御装置に送信する第１のステップと、
前記解析制御装置において、前記画像データの中から直線を抽出する第２のステップと、
抽出された前記直線を両端方向に延長した延長線を形成して複数の前記直線および前記延長線によって囲まれた四辺形を形成する第３のステップと、
前記四辺形を、前記形状情報とマッチングする第４のステップと、
前記マッチングの結果前記投影面の周縁部の四辺がすべて前記画像データ内に存在すると推定された場合、前記解析制御装置は前記電子ペン部の前記ペンライト部をオンにし、また、前記投影面の周縁部の四辺のうち一部または全部が前記画像データ内に存在しないと推定された場合、前記解析制御装置は前記電子ペン部の前記ペンライト部をオフにする第５のステップと
を有することを特徴とするペンライト自動制御方法。
【請求項６】
さらに、推定された前記投影面の周縁部の四辺の内部に前記レンズの中心位置を示す中心情報部が存在するか否かを確認する第６のステップを有し、
前記第５のステップに代えて、前記マッチングの結果前記四辺がすべて前記画像データ内に存在すると推定されかつ推定された前記四辺の内部に前記中心情報部が存在することが確認された場合、前記電子ペン部のペンライト部をオンにし、また、前記四辺のうち一部または全部が前記画像データ内に存在しないと推定された場合あるいは推定された前記四辺の内部に前記中心情報部が存在しない場合、前記電子ペン部の前記ペンライト部をオフにする第７のステップを有する
ことを特徴とする請求項５に記載のペンライト自動制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、タブレットに座標を入力する電子ペン機能と、指示用ペンライト機能を併有する電子ペン装置に関する。
【背景技術】
【０００２】
近年、プレゼンテーションや会議のような場において、プロジェクタのような画像表示機器とともに、タブレットに代表される、ポインティングデバイスによって座標を入力する機器を使用し、プロジェクタが投影した画像とその場で手書きした文字や図形を併せてスクリーンに投影させる方式が普及している。この方式においては、発表者は、ポインティングデバイスとしての電子ペン装置を用いてタブレットに文字や図形を書き込みながら発表する(例えば、特許文献１参照)。一方、プロジェクタなどを用いた発表を行う場合には、発表者がスクリーン指示用のペンライトを用いてスクリーンに投影された文字や図形を指し示す方式が広く普及している。そして、電子ペンとペンライトを用いて発表を行う場合、発表者は物理的に別々の電子ペン装置とペンライト装置とを持ち替えながら発表したり、または電子ペン機能とペンライト機能とを併有した装置を用い、電子ペン機能とペンライト機能の機能切替ボタンを押下することで切替えながら発表することになる。
【特許文献１】特願平７−１５９５１２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、上記特許文献に記載された方法においては、物理的に別々の電子ペン装置とペンライト装置とを用いる場合は、不慣れな発表者は電子ペン装置とペンライト装置とを持ち替える際に不手際を起こすことが多く、一方、電子ペン機能とペンライト機能を併有した装置を用いる場合は、不慣れな発表者は機能切替ボタンの押し忘れ等の操作ミスをしてしまうことが多い。これらの事態は発表者が操作にもたついて発表時間が長大化することや、発表者の発表内容に対する集中力を散漫にして発表の質が低下することにつながる。
【０００４】
本発明の目的は、かかる事情に鑑み、電子ペンとペンライトの併用や切替処理に不慣れな者であっても簡易かつ確実に使い分けができるペンライト付電子ペンのペンライト付電子ペンのペンライト自動制御システムおよびペンライト自動制御方法を提供することにある。
【課題を解決するための手段】
【０００５】
本発明は、接触入力された位置座標を特定するディスプレイ部を有するタブレットに対し前記位置座標を接触入力する電子ペン部および一方向に光束を照射するペンライト部および一方向の画像をレンズを通して撮像する撮像部をペン本体部に設けた電子ペン装置と、前記撮像部が撮像した画像データを解析する画像解析部および前記画像解析部の解析結果に基づいて前記電子ペン装置を制御する電子ペン装置制御部を備えた解析制御装置とを備え、前記画像解析部は、各種画像を投影する略矩形の投影面を有する画像投影体の前記投影面の見かけの形状である形状情報を記憶する記憶手段と、前記撮像部が撮像した画像データを前記記憶手段に記憶された前記形状情報と照合し前記画像データ内に前記投影面の周縁部の四辺が存在するか否かを推定する四辺推定手段とを有し、前記電子ペン装置制御部は、前記四辺推定手段が前記画像データ内に前記投影面の周縁部の四辺がすべて存在すると推定した場合に前記電子ペン装置のペンライト部をオンにするペンライト制御手段を有するペンライト付電子ペンのペンライト自動制御システムによって達成される。
【０００６】
そして、撮像部がペン本体部の先端部方向を撮像して画像データを解析制御装置に送り、解析制御装置の画像解析部において、記憶手段が記憶した形状情報と画像データの照合により、画像データの内部に投影面の周縁部の四辺すべてが存在と四辺推定手段が判断した場合に、ペンライト制御手段がペンライト部をオンにすることにより、ペン本体部の先端部が画像投影体の方向を向いている、ペンライト機能が必要なタイミングにおいてのみペンライトを点灯させることができる。
【０００７】
また、本発明の上記課題は、接触入力された位置座標を特定するディスプレイ部を有するタブレットに対し前記位置座標を接触入力する電子ペン部および一方向に光束を照射するペンライト部および一方向の画像をレンズを通して撮像する撮像部をペン本体部に設けた電子ペン装置と、各種画像を投影する略矩形の投影面を有する画像投影体の前記投影面の見かけの形状である形状情報を記憶する記憶手段を有し前記電子ペン装置を制御する解析制御装置とを備えたペンライト付電子ペンのペンライト自動制御システムにおけるペンライト自動制御方法において、前記撮像部が画像を撮像し、画像データを前記解析制御装置に送信する第１のステップと、前記解析制御装置において、前記画像データの中から直線を抽出する第２のステップと、抽出された前記直線を両端方向に延長した延長線を形成して複数の前記直線および前記延長線によって囲まれた四辺形を形成する第３のステップと、前記四辺形を、前記形状情報とマッチングする第４のステップと、前記マッチングの結果前記投影面の周縁部の四辺がすべて前記画像データ内に存在すると推定された場合、前記解析制御装置は前記電子ペン部の前記ペンライト部をオンにし、また、前記投影面の周縁部の四辺がすべて前記画像データ内に存在しないと推定された場合、前記解析制御装置は前記電子ペン部の前記ペンライト部をオフにする第５のステップとを有するペンライト自動制御方法によって達成される。
【０００８】
そして、画像データの中から抽出した直線に基づいて形成した四辺形を、画像投影体の投影面の見かけの形状である形状情報とマッチングさせて、投影面の周縁部の四辺すべてが画像データ内に存在する場合にのみペンライト部をオンにすることにより、形状情報に基づいたペンライト部のオン／オフ制御を確実に行うことができる。
【発明の効果】
【０００９】
本発明によれば、電子ペン装置が電子ペンの機能とペンライトの機能を併有し、かつ、ペン本体部の先端部がスクリーン方向を指し示したことをシステムが自動的に検知してペンライト部をオンにするため、電子ペン機能とペンライト機能とを、自動制御によって適宜使い分けることができ、発表者の負担を軽減する。
【発明を実施するための最良の形態】
【００１０】
以下、本発明に係る一の実施形態を、図面を参照して説明する。
図１は、本発明に係るペンライト付電子ペンのペンライト自動制御システムの制御ブロック図である。このペンライト自動制御システム１Ａは、電子ペン装置１と、解析制御装置５と、タブレット１０とを備えている。
【００１１】
電子ペン装置１は、コンピュータ端末のディスプレイに座標を入力するポインティングデバイスとしての電子ペン部２と、電子光を一方向に発するペンライト部３と、小型の撮像デバイスであるCCDカメラ部４とを備えている。そして、電子ペン部２、ペンライト部３、CCDカメラ部４はそれぞれ、電子ペン装置１に内蔵されたCPU（図示せず）によって作動する電子ペン制御部２ｂ、ペンライト制御部３ｂ、CCDカメラ制御部４ｅによって動作が制御される。
【００１２】
図２に、電子ペン装置１の全体図を示す。この電子ペン装置１のペン本体部１ａは、ペンと同様に把持し易い程度の大きさの細長い形状に形成する。そして、ペン本体部１ａの先端側には、電子ペン部２を構成する接触部２ａと、ペンライト部３を構成するライト照射部３ａと、CCDカメラ部４を構成するレンズ４ａが近接して設けられている。接触部２ａは、ペン本体部１ａの先端側に円錐状に大きく突出した先端部に設けられ、ペン本体部１ａに内蔵されたコイルおよびコンデンサ（図示せず）の電磁誘導作用によって電磁波を放射し、図４に示すタブレット１０のディスプレイ１０ａに接触して座標を入力する。
【００１３】
一方、ライト照射部３ａはレーザ光の照射体であり、点灯するとペン本体部１ａの先端部が指し示す略一点方向にレーザの光束を発する。
【００１４】
また、レンズ４ａはペン本体部１ａの先端部方向の光を集光する。そして、図２に示すように、ペン本体部１ａの内部には、レンズ４ａの集光方向に、撮像倍率を変化させるズーム４ｂと、レンズ４ａが集光した像を結像する撮像素子部４ｃが設けられる。撮像素子部４ｃは表面部にフォトダイオードなどの受光素子によって形成した画素をマトリクス状に配列しており、このうちレンズ４ａの光軸上から入射した光を受光する画素は中心情報部としての基準画素４ｄとして形成される。なお、CCDカメラ部４が撮像した画像データD3はJPEGなどの方式によって圧縮符号化され、図１に示すように、解析制御装置５に送信（D3）される。
【００１５】
なお、本実施例ではライト照射部３ａ及びレンズ４ａをペン本体部１ａの先端部に設けた例を示しているが、ライト照射部３ａのレーザ光照射方向とレンズ４ａの集光方向が同一であれば、ライト照射部３ａ及びレンズ４ａは必ずしもペン本体部１ａの先端部でなく、途中部分に設けられていても良い。
【００１６】
解析制御装置５は、コンピュータプログラムであって、パーソナルコンピュータ等のコンピュータ端末に内蔵されており、電子ペン装置１や後述するタブレット１０と信号を交信し、また電子ペン装置１の機能を制御する。そして、図１に示すとおり、解析制御装置５は、画像入力部６と、画像解析部７と、電子ペン装置制御部８と、画像出力部９とを備えている。
【００１７】
画像入力部６には、電子ペン装置１のCCDカメラ部４から符号化された状態の画像データD3が入力され、画像入力部６はこの画像データD3を複号処理して画像解析部７に供給する。なお、画像データD3を後述するタブレット１０に送信する場合も生ずるが、この場合には画像データD3の復号処理は行わず、符号化されたまま画像出力部９に供給する。
【００１８】
画像解析部７は、電子ペン部２とペンライト部３の機能の切り替えを行うための各種解析処理を行う。図３に、この画像解析部７の内部における制御ブロック図を示す。この図に示すとおり、画像解析部７は四辺推定部７ａと中心情報認識部７ｂと位置情報算出部７ｃと記憶部７ｄとを有する。
【００１９】
四辺推定部７ａは、CCDカメラ部４が撮像した画像データD3内に、スクリーン１１の四辺が存在するか否かを推定する。なお、このスクリーン１１はプロジェクタなどの画像投影機器が投影した画像を表示するための画像投影体（たとえば布製の幕や大型の液晶表示装置など）の正面に設けられた、周辺形状が略矩形の表示部分のことである。また、中心情報認識部７ｂは、CCDカメラ部４が撮像した画像データD3内の基準画素４ｄの存在を認識する。そして、位置情報算出部７ｃは、電子ペン装置１を把持する、後述する操作者９とスクリーン１１との位置関係を算出する。記憶部７ｄは、書き込み可能な各種記録媒体であって、スクリーン１１のサイズ情報や周縁部形状情報などを記憶する。なお、四辺推定部７ａによる四辺の推定方法、中心情報認識部７ｂによる基準画素４ｄの認識方法、位置情報算出部７ｃにおける位置関係の算出方法、記憶部７ｄにおけるサイズ情報や周縁部形状情報の取得方法については後述する。
【００２０】
また、電子ペン装置制御部８は、画像解析部７にて処理され出力された信号の供給を受けて電子ペン装置１の機能を制御する。図３に、この電子ペン装置制御部８内部における制御ブロック図を示す。電子ペン装置制御部８は、倍率制御部８ａとペンライト制御部８ｂとを有している。倍率制御部８ａは、四辺推定部７ａおよび位置情報算出部７ｃの解析情報をもとにズーム部４ｂの撮像倍率を変化させる命令信号を出力する。また、ペンライト制御部８ｂは、電子ペン装置１に対し、ペンライト部３をオンまたはオフにする命令信号を出力する。なお、図１に示すとおり、倍率制御部８ａやペンライト制御部８ｂの命令信号D4は電子ペン装置１に供給される。
【００２１】
さらに、図１に示すとおり、画像出力部９は、画像入力部６に入力された画像データD3の供給を受けて、画像データD5として出力する。そして、画像データD5はタブレット１０に供給される。
【００２２】
図４に、タブレット１０の全体図を示す。このタブレット１０はプロジェクタ（図示せず）が投影する画像上に、手書きの文字や図形などを書き込む装置であって、表面に設けられたディスプレイ１０ａは、平面型の液晶パネルやＴＦＴパネルからなり画像表示機能を有する画像表示パネル１０ｂと、画像表示パネル１０ａの内側に、縦横方向に多数張ったアンテナ群などにより形成した座標入力部１０ｃとを備えている。この座標入力部１０ｃは、ディスプレイ１０ａ表面の縦横方向の電波強度分布を検出することなどにより、接触部２ａが接触した座標を検出する。そして、タブレット１０は、電子ペン装置１の接触部２ａがディスプレイ１０ａ上で移動した軌跡を座標入力によって認識し、文字や線などを電子的に描画する。
【００２３】
図５は、ペンライト自動制御システム１Ａの初期設定のフローチャートである。以下、本図を参照して、本実施の形態におけるペンライト自動制御システムにおけるシステムの初期設定方法を説明する。
【００２４】
まず、ペンライト自動制御システム１Ａを利用する発表者１２は、タブレット１０のディスプレイ１０ａに表示されたスクリーンサイズ入力画面に、スクリーン１１の横サイズと縦サイズを入力する（ステップS1）。このスクリーンサイズ入力画面１３の模式図を図６に示す。この図において、画面中央に表示された擬似スクリーン１４の上縁近傍および右縁近傍に示された横サイズ入力部１５および縦サイズ入力部１６には、発表者１２がスクリーン１１の幅および高さの数値情報をテキスト入力する。そして、横サイズ入力部１５および縦サイズ入力部１６に入力されたスクリーン１１のサイズは解析制御装置５に送信され、画像解析部７の記憶部７ｄにサイズ情報として記録される(ステップS2)。
【００２５】
次に、発表者１２は、電子ペン装置１のCCDカメラ部４を使用して、発表者１２が実際に発表をする位置からスクリーン１１を撮像する（ステップS3）。次に、CCDカメラ部４によって撮像した画像データD3を、解析制御装置５を介してタブレット１０に送信し、画像をディスプレイ１０ａに表示させる（ステップS4）。
【００２６】
次に、発表者１２は、タブレット１０のディスプレイ１０ａにスクリーン１１の四辺すべてが表示されているかを確認する。四辺の一部または全部がディスプレイ１０ａからはみ出している場合は、CCDカメラ部４のズーム部４ｂを調整して再度スクリーン１１を撮像する（ステップS5）。図７に、タブレット１０のディスプレイ１０ａにCCDカメラ部４が撮像した画像が表示された状態の模式図を示す。この図に示すように、スクリーン１１の見かけの形状は発表者１２とスクリーン１１との距離や角度や高さによって、元の略矩形の形状とは相違したものとなる。そして、ディスプレイ１０ａにスクリーン１１の四辺全てが表示された状態で表示されるまで、CCDカメラ部４におけるズーム部４ｂの調整と撮像を繰り返す。
【００２７】
次に、ディスプレイ１０ａにスクリーン１１の四辺がすべて表示されたら、発表者１２はディスプレイ１０ａに表示された画像中のスクリーン１１の周縁部の四辺を、電子ペン装置１の接触部２ａでなぞって描写する（ステップS6）。接触部２ａがなぞった軌跡はディスプレイ１０ａの座標入力部１０ｃが座標として読み取り、スクリーン１１のCCDカメラ部４から見た見かけの形状をなぞって得られた形状は、タブレット１０が形状情報として画像解析部７に送信する。
【００２８】
次に、画像解析部７の位置情報算出部７ｃがサイズ情報と形状情報とをもとに、発表者１２の把持する電子ペン装置１とスクリーン１１との位置関係を算出する（ステップS7）。具体的には、ステップS2で記憶されたスクリーン１１のサイズ情報と、ステップS6で座標入力部１０ｃが読み取った形状情報としての四辺形とを対比し、スクリーン１１が形状情報としての四辺形に見えるための３次元の距離や回転の度合いや移動の度合いなどを透視変換など幾何学変換の手法を用いて導出し、スクリーン１１と発表者１２の把持する電子ペン装置１との距離情報や角度情報や相対的な高さ位置情報などを算出する。
【００２９】
次に、電子ペン装置制御部８の倍率制御部８ａがCCDカメラ部４のズーム部４ｂを微調整してCCDカメラ部４の撮像素子部４ｃに結像するスクリーン１１の画像のピントを合わせる（ステップS8）。そして、ステップS6にてタブレット１０が送信した形状情報は、画像解析部７の記憶部７ｄに記憶される（ステップS9）。
【００３０】
このように、CCDカメラ部４によって、発表者１２が発表を行う位置から撮像したスクリーン１１の画像の見かけの形状から形状情報を得て記憶部７ｄに記憶させることにより、ペンライト部３のオン／オフの自動制御の判断材料を取得することができる。また、スクリーン１１の寸法情報を取得し、さらに、スクリーン１１に対する発表者１２の位置情報や、角度情報や、高さ情報を算出することにより、ペンライト部３のオン／オフ制御を形状情報に基づいて行う際の制御をより正確に行うための判断材料を得ることができる。さらに、形状情報を取得したのちに、倍率制御部８ａがCCDカメラ部４のズームを調整することにより、初期設定時と設定後の発表者１２の立ち位置のずれなどによって生ずる、CCDカメラ部４のピントのずれを調整することができる。
【００３１】
図８は、本発明に係るペンライト自動制御システム１Ａによるペンライト部３のオン・オフ制御のフローチャートである。以下、同図にもとづいて、本実施の形態におけるペンライト部３のオン・オフ制御の処理手順を説明する。
【００３２】
まず、発表者１２がプロジェクタ（図示せず）を用いて発表を行う際に、電子ペン装置１を解析制御装置５に接続して解析制御装置５を稼動状態にすると、電子ペン装置制御部８のペンライト制御部８ｂは電子ペン装置１の電子ペン部２を稼動状態にする。この状態で、CCDカメラ部４はレンズ４ａを通して得た画像を定期的に撮像する（ステップP1）。CCDカメラ部４は、撮像した画像を画像データD3として解析制御装置５に送信する。解析制御装置５は、画像データD3を、画像入力部６を経て画像解析部７に入力する。
【００３３】
そして、画像解析部７においては以下の解析を行う。まず、四辺推定部７ａにおいて、画像データD3の中から、スクリーン１１の周縁部の四辺の候補とされる直線群である四辺候補線を抽出する（ステップP2）。具体的には、たとえば、一般にスクリーン１１は内部が白色系で周縁部が黒色系である特徴を利用し、ステップP１で取得した画像データの画素ごとのＲＧＢ信号の値（濃度値）を読み出して白色部分と黒色部分とを抽出する手法や、ステップP1で取得した画像データ全体の高周波成分を強調してエッジ情報（輪郭情報）を抽出する手法を用いて抽出を行う。
【００３４】
図１０は、ステップP2において画像データD3からスクリーン11の四辺の候補とされる四辺候補線を抽出した状態の模式図である。この図においては、撮像素子部４ｃが取得した画面データD3中に、四辺候補線１７として、縦横方向の直線が複数抽出された状態を示している。
【００３５】
次に、四辺推定部７ａは、すべての四辺候補線１７を両端方向に伸長させた直線である延長線を形成する。図１１に、画像素子部４ｃが取得した画面データD3中に四辺候補線１７の延長線１８が複数形成された状態の模式図を示す。ここで、太線で表示された部分が元の四辺候補線１７であり、太線の両端方向の細線の部分が延長線１８である。この図において、四辺候補線１７および延長線１８から形成された一本の線は、いずれも、撮像素子部４ｃの周縁部の縦横方向の一辺の大きさより若干短い長さに形成されている。そして、四辺候補線１７および延長線１８によって囲まれた四辺形が複数形成される。
【００３６】
次に、形成された四辺形をそれぞれステップS9で記憶部７ｄに記憶させた形状情報とマッチングさせる（ステップP3）。マッチングは、記憶部７ｄから読み出した形状情報と対比させる四辺形とを一の頂点を軸にしたときの他の３つの頂点の位置関係に基づいて行う。
【００３７】
図９のフローチャートにおいて、このマッチングの具体的な処理手順を示す。すなわち、まず、マッチングの対象となる四辺形（以下「対象四辺形」と称する）のうち一の頂点を軸として選ぶ（ステップP11）。次に、四辺の長さを求める（ステップP12）。次に、対向する二辺同士の長さ比を算出する（ステップP13）。次に、辺の長さがステップS9にて記憶された形状情報と大差ないものかを判定する（ステップP14）。具体的には、形状情報の四辺それぞれの長さとマッチングを行う四辺形の四辺を対比した際の比率に上限しきい値と下限しきい値とを設け、比率が上限しきい値を上回るか、下限しきい値を下回る辺が一辺でも含まれるか否かを判断する。
【００３８】
判定の結果、しきい値を超える辺がひとつも存在しない場合には、次に、ステップS9にて記憶された形状情報の対向する二辺同士の長さ比と対象四辺形の対向する二辺同士の長さ比を対比して、双方の長さ比の尤度が所定のしきい値を越えないか否かを判定する（ステップP15）。判定の結果、長さ比の尤度がしきい値を超えない場合には、次に、形状情報の４つの頂点の角度と対象四辺形の４つの頂点の角度にそれぞれ設けた上限しきい値と下限しきい値をそれぞれ超えないか否かを判定する（ステップP16）。
【００３９】
判定の結果、対象四辺形に角度がしきい値を超える頂点がひとつも存在しない場合には、当該対象四辺形を推定スクリーン周縁部として選択し、この推定スクリーン周縁部にて囲まれる部分を推定スクリーン画像とする（ステップP17）。
【００４０】
なお、ステップP14においてしきい値を超える辺がひとつでも存在する場合や、ステップP15において長さ比が尤度を超える場合や、ステップP16において角度がしきい値を超える頂点がひとつでも存在する場合には、当該対象四辺形によって囲まれる範囲は推定スクリーン画像ではないものとして除外される（ステップP18）。なお、すべての値がしきい値を超えた四辺形が複数存在する場合には（ステップP19）、それらの四辺形の和集合に囲まれた部分が推定スクリーン画像として抽出される（ステップP20）。ステップP11からステップP20までの検討を、すべての対象四辺形について行う（ステップP21）。
【００４１】
ここで、発表中の発表者１２の移動にともなう、発表者の位置からみたスクリーン１１の見かけの形状の変化は、発表者１２とスクリーン１１との距離が近いほど変化率が大きくなり、遠くなるにつれて変化率が小さくなる。したがって、ステップP14、P15、P16において用いられるしきい値の設定に際しては、ステップS7において取得した距離情報を用い、スクリーン１１と発表者１２の把持する電子ペン装置１との距離が近ければ尤度の幅が小さくなるようにしきい値を設定し、距離が大きければ尤度の幅が大きくなるようにしきい値を適宜設定する。距離情報に伴うしきい値の設定は、距離に依存する関数によって算出することや、距離ごとのしきい値の値が記録されたテーブルを参照することによって行う。
【００４２】
なお、選択に際し、形状情報と比較して極端に大きい四辺形や極端に小さい四辺形や形状情報と大きく形状の異なる四辺形は、確からしさが低いものとしてマッチングを行う前にあらかじめ除外しておくと、マッチングの回数が減って計算量が減少し、処理を高速化できる。
【００４３】
図１２は、画像データD3中に、四辺推定部７ａによって特定された推定スクリーン画像１９が表示された状態の模式図である。この図においては、四辺形abcdおよび四辺形efghがすべての尤度判定においてしきい値を越えた四辺形であって、この二つの四辺形の和集合（網線で表示された範囲）が推定スクリーン画像１９を形成していることを示している。
【００４４】
そして、ステップP11からステップP21までの処理が終了すると、図８に示すペンライト点灯制御の処理が続行される。まず、推定スクリーン画像１９が得られたのち、四辺推定判断部７ａが、画像データD3の中に推定スクリーン画像１９の四辺すべてが存在するかを確認する（ステップP4）。そして、画像データD3の中に四辺すべてが存在すると判断された場合には、中心情報認識部７ｂが、画像データD3におけるCCDカメラ部４の基準画素４ｄの存在を認識するとともに、この基準画素４ｄが推定スクリーン画像１９の内部に存在しているかを確認する（ステップP5）。なお、図１２に示す画像データD3の模式図においては、撮像素子部４ｃに結蔵した画像による画像データの略中央部に中心画素４ｄを示すデータがあって、中心画素が推定スクリーン１９の内部に存在している状態を示している。そして、図１２に示すように、ステップP5において、基準画素４ｄが推定スクリーン画像１９との内部にあると判断された場合には、ペンライト制御部８ｂがペンライト部3をオンにする命令信号を発し、ライト照射部３ａが点灯しスクリーン１１にレーザ光が照射される（ステップP6）。一方、ステップP4において、推定スクリーン画像１９における四辺のうち少なくとも一部の辺が画像データD3内に存在しない（つまり、一部の辺や、辺の一部が画像データD3内からはみ出ている）と判断された場合や、ステップP5において、基準画素４ｄが推定スクリーン画像１９の四辺と判断された部分の外部にあると判断された場合には、ペンライト制御部８ｂはペンライト部３をオフにする命令信号を発し、これによりライト照射部３ａが消灯する（ステップP7）。そして、ステップP1からステップP6までの処理は周期的に繰り返される(ステップP8)。
【００４５】
以上に示すとおり、本発明に係るペンライト自動制御システム１Ａは、CCDカメラ部４がペン本体部１ａの先端部が指し示す方向の画像を撮像し、この画像の画像データを解析制御装置５の画像解析部７において解析し、ペン本体部１ａの先端部が指し示す方向の画像データを画像解析部７が解析してスクリーン１１の周縁部の四辺がすべて存在すると推定された場合にのみペンライト部３をオンにすることにより、ペン本体部１ａの先端部がスクリーン１１の方向を指し示した、ペンライト機能が必要なタイミングにおいてのみペンライト部３をオンにするペンライトの自動制御を実現できる。また、画像解析部７が、さらに、推定スクリーン画像１９の内部にCCDカメラ部４のレンズ４ａの中心位置を示す基準画素４ｄが存在する場合にのみペンライト部３をオンにすることにより、ペンライトの自動制御におけるペンライト機能が必要なタイミングの判断を一層確実に行うことができる。
【００４６】
また、画像データD3の中から抽出した直線に基づいて形成した四辺形を、スクリーン１１の見かけの形状である形状情報とマッチングさせて、スクリーン１１の周縁部の四辺がすべて画像データD3内に存在する場合にのみペンライト部３をオンにすることにより、ペンライト部３のオン／オフ制御を、スクリーン１１の形状情報に基づいて確実に行うことができる。
【００４７】
なお、上記の実施の形態においては、画像投影体１１はスクリーンとしたが、たとえばホワイトボードのように、画像を投影できて四辺のサイズを特定できるものであってもよい。
【００４８】
また、上記の実施の形態においては、座標入力部はタブレット１０のディスプレイ１０ａとして形成したが、これに限定されず、たとえばディジタイザや電子黒板など、電子ペン装置によって座標を入力し文字や線などを入力できる他の座標入力装置によっても実現可能である。
【００４９】
さらに、上記実施の形態の自動制御においては、スクリーンの四辺と推定される情報を抽出する際に、ＲＧＢの画像データをそのまま用いてＲＧＢの濃度値を用いたりエッジ強調を行うものとしたが、これに限定されず、たとえば、ＹＵＶ表色系のような他の表色系に変換して輝度情報の大きさによって四辺を推定する方法や、あるいは、白黒の画像に変換して白黒の濃度値から四辺を推定する方法など、前処理によって表色系を変換したのちに四辺の推定を行ってもよい。
【図面の簡単な説明】
【００５０】
【図１】本発明に係るペンライト自動制御システムの制御ブロック図である。
【図２】同上ペンライト自動制御システムにおける電子ペン装置の模式図である。
【図３】同上ペンライト自動制御システムにおける、電子ペン装置制御部の内部の制御ブロック図を示す。
【図４】同上ペンライト自動制御システムにおけるタブレットの模式図である。
【図５】同上ペンライト自動制御システムの初期設定のフローチャートである。
【図６】同上ペンライト自動制御システムにおけるスクリーンサイズ入力画面の模式図である。
【図７】同上ペンライト自動制御システムにおいて、タブレットのディスプレイにCCDカメラ部が撮像した画像が表示された状態の模式図である。
【図８】同上ペンライト自動制御システムにおける、ペンライト部のオン・オフ制御のフローチャートである。
【図９】同上ペンライト自動制御システムにおける、マッチングの具体的な処理手順を示すフローチャートである。
【図１０】同上ペンライト自動制御システムの画像解析によって、スクリーンの四辺の候補とされる四辺候補線を抽出した状態の模式図である。
【図１１】同上ペンライト自動制御システムの画像解析によって、四辺候補線の延長線が形成された状態の模式図である。
【図１２】同上ペンライト自動制御システムの画像解析によって、推定スクリーン画像が特定され表示された状態の模式図である。
【符号の説明】
【００５１】
１…電子ペン装置、1a…ペン本体部、２…電子ペン部、３…ペンライト部、４…CCDカメラ部（撮像部）、４ａ…レンズ、４d…基準画素（中心情報部）、５…解析制御装置、６…画像入力部、７…画像解析部、７ａ…四辺推定部、７ｂ…中心情報認識部、７ｃ…位置情報算出部、７ｄ…記憶部、８…電子ペン装置制御部、８ａ…倍率制御部、８ｂ…ペンライト制御部、１０…タブレット、１０ａ…ディスプレイ部、１０ｃ…座標入力部、１１…スクリーン（画像表示部）、１２…発表者、D3,D5…画像データ
【図１】
2006099504.tif 000003
【図２】
2006099504.tif 000004
【図３】
2006099504.tif 000005
【図４】
2006099504.tif 000006
【図５】
2006099504.tif 000007
【図６】
2006099504.tif 000008
【図７】
2006099504.tif 000009
【図８】
2006099504.tif 000010
【図９】
2006099504.tif 000011
【図１０】
2006099504.tif 000012
【図１１】
2006099504.tif 000013
【図１２】
2006099504.tif 000014