(57)【要約】【課題】電子ペンなどの光学式入力装置の操作性を向上させる。【解決手段】撮像部１０は、発光体を搭載した入力装置のその発光体自体の光と、発光体から表示面４００に照射された光の反射光を撮像する。判定部２０は、撮像部１０により撮像された画像内の、発光体自体の光の重心位置と反射光の重心位置とを比較し、両者の重心位置が対応しているとき入力装置と表示面が接触していると判定し、対応していないとき入力装置と表示面が接触していないと判定する。【選択図】図３
2012043176.tif 000002
【特許請求の範囲】
【請求項１】
発光体を搭載した入力装置のその発光体自体の光と、前記発光体から表示面に照射された光の反射光を撮像する撮像部と、
前記撮像部により撮像された画像内の、前記発光体自体の光の重心位置と前記反射光の重心位置とを比較し、両者の重心位置が対応しているとき前記入力装置と前記表示面が接触していると判定し、対応していないとき前記入力装置と前記表示面が接触していないと判定する判定部と、
を備えることを特徴とする光学式入力システム。
【請求項２】
前記判定部による判定の結果、前記発光体自体の光の重心位置と前記反射光の重心位置とが所定の設定距離以上、離れている場合、非接触入力モードに設定し、離れていない場合、接触入力モードに設定する入力制御部をさらに備えることを特徴とする請求項１に記載の光学式入力システム。
【請求項３】
前記判定部による判定の結果、前記発光体自体の光の重心位置と前記反射光の重心位置とが所定の設定距離以上、離れている場合、前記反射光の重心位置に対応するほうの座標をコントローラに出力し、離れていない場合、いずれかの重心位置に対応する座標をコントローラに出力する入力制御部をさらに備えることを特徴とする請求項１に記載の光学式入力システム。
【請求項４】
前記入力装置はペン状に形成され、そのペン尻にキャップを着脱することにより、前記発光体の電源をオン／オフすることを特徴とする請求項１から３のいずれかに記載の光学式入力システム。
【請求項５】
請求項１から４のいずれかに記載の光学式入力システムを備える投写型映像表示装置であって、
前記光学式入力システムから出力される座標を映像処理装置に出力し、その映像処理装置により前記座標に描画データが重畳された後の映像データの入力を受けるインタフェースと、
前記映像データを前記表示面に投写する投写部と、
を備えることを特徴とする投写型映像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子ペンなどを用いて表示映像に描画するための光学式入力システムおよびそれを搭載した投写型映像表示装置に関する。
【背景技術】
【０００２】
スクリーンや電子黒板などに描画するためのライトペン（以下、本明細書では電子ペンという）が多数開発されている。たとえば、本体に設置されたスイッチを操作することにより発光をオン／オフする完全手動の電子ペンや、スクリーンなどの表示面に接触した圧力を感知することにより発光をオン／オフする半自動の電子ペンなどが実用化されている（たとえば、特許文献１〜３参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−７５７３４号公報
【特許文献２】特開２００５−１３５０８１号公報
【特許文献３】特開平８−１７９８８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
様々な業界や分野でＩＴ化が進展すれにつれ、これまで手作業で行われてきたことが電子機器の操作に置き換わってきており、作業効率の向上や従来不可能であったことの実現につながっている。たとえば、電子黒板と電子ペンのセットは、従来の黒板とチョークのセットと比較し、黒板に記載された内容の保存や消去が非常に簡単にできるようになった。また、大きなスクリーンを使ったプレゼンテーションでは、従来、棒を用いて注目箇所を指し示す程度のことしかできなかったが、電子ペンの登場によりスクリーン上に、スポット光を当てたり、文字や記号を上書きすることも可能となった。
【０００５】
しかしながら、電子機器の操作自体を不得手としている人や、電子機器の操作感に違和感を覚える人も多く、電子機器の普及には、よりユーザフレンドリなインタフェースが求められる。
【０００６】
本発明はこうした状況に鑑みなされたものであり、その目的は、電子ペンなどの光学式入力装置の操作性を向上させる技術を提供することにある。
【課題を解決するための手段】
【０００７】
本発明のある態様の光学式入力システムは、発光体を搭載した入力装置のその発光体自体の光と、発光体から表示面に照射された光の反射光を撮像する撮像部と、撮像部により撮像された画像内の、発光体自体の光の重心位置と反射光の重心位置とを比較し、両者の重心位置が対応しているとき入力装置と表示面が接触していると判定し、対応していないとき入力装置と表示面が接触していないと判定する判定部と、を備える。
【０００８】
本発明の別の態様は、投写型映像表示装置である。この装置は、上述した光学式入力システムを備える投写型映像表示装置であって、光学式入力システムから出力される座標を映像処理装置に出力し、その映像処理装置によりその座標に描画データが重畳された後の映像データの入力を受けるインタフェースと、その映像データを表示面に投写する投写部と、を備える。
【発明の効果】
【０００９】
本発明によれば、電子ペンなどの光学式入力装置の操作性を向上させることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施の形態に係る光学式入力システムの適用例を示す図である。
【図２】本発明の実施の形態に係る光学式入力システムの基本原理を説明するための図である。
【図３】本発明の実施の形態に係る投写型映像表示システムを示す図である。
【図４】図４（ａ）〜（ｄ）は、撮像部により撮像された上記直接光と上記反射光の一例を示す図である。
【図５】図５（ａ）〜（ｄ）は、本発明の実施の形態に係る光学式入力システムへの使用に適した電子ペンを示す図である。
【発明を実施するための形態】
【００１１】
図１は、本発明の実施の形態に係る光学式入力システムの適用例を示す図である。図１では、当該光学式入力システムを投写型映像表示装置３００に適用する例を説明する。投写型映像表示装置３００には、表示面（たとえば、スクリーンや壁）４００に投影された映像を撮像するための撮像部１０が搭載される。換言すれば、当該光学式入力システムはいわゆるカメラ付きのプロジェクタに適用される。なお、カメラとプロジェクタは一体化されている必要はなく、プロジェクタとカメラは分離されて設置されてもよい。また、カメラは事後的に、既存のプロジェクタまたはスクリーンを撮影できる別の位置に設置されてもよい。図１内の実線はプロジェクタの投写光、および入力装置２００の照射光を示し、点線はカメラの視野を示す。
【００１２】
入力装置２００には発光体２１０が搭載される。本実施の形態では入力装置２００はペン状に形成され、ペン先に発光体２１０が取り付けられる形状を例に説明する。入力装置２００のユーザは、発光体２１０の光を表示面４００に照射することにより、表示面４００に文字や記号などを描画または上書きすることができる。後述するように、表示面４００と入力装置２００とが接触していても、接触していなくても描画することができる。
【００１３】
したがって、表示面４００の大きさや材質、および表示面４００とユーザとの距離を勘案して、ユーザは入力装置２００を表示面４００に接触させて、表示面４００に表示されている映像上に文字や記号を入力することもできるし、入力装置２００を空中で動かしてそのスポット光により、当該映像上に文字や記号を入力することもできる。たとえば、表面がフレキシブルなスクリーンの場合、接触させずに入力したほうが、文字や記号を入力しやすいといえる。
【００１４】
図２は、本発明の実施の形態に係る光学式入力システムの基本原理を説明するための図である。撮像部１０は、入力装置２００の発光体２１０自体の光（以下、直接光という）Ａと、表示面４００からの反射光Ｂの二つの光を撮像する。撮像された画像内の直接光Ａと反射光Ｂのそれぞれの輝度分布の重心が重なっている場合、入力装置２００のペン先が、表示面４００に接触していると判断する。また、それぞれの重心が分離している場合、そのペン先が表示面４００から離れている状態と判断する。それら重心間の距離Ｌにより、そのペン先と表示面４００との間の距離が推定できる。
【００１５】
当該距離Ｌが所定の条件を満たした場合、当該光学式入力システムからコントローラへの出力座標は反射光Ｂの座標となる。当該条件を満たしていない場合、当該出力座標は直接光Ａの座標となる。当該条件には、上記距離Ｌが所定の設定距離以上離れていることが含まれる。なお、当該設定距離は撮像画像内のスクリーンの歪みを考慮して、座標ごとに異なる値が設定されてもよい。さらに、当該条件には直接光Ａがスクリーンの外に存在する、直接光Ａが検出できない、なども含まれる。
【００１６】
以下、この基本原理を実現するための具体的構成について説明する。図３は、本発明の実施の形態に係る投写型映像表示システム６００を示す図である。投写型映像表示システム６００は、投写型映像表示装置３００および映像処理装置５００を備え、表示面４００に映像を投写可能な構成である。映像処理装置５００は、映像データを保持、編集可能な装置であり、たとえば、ＰＣ、光ディスクレコーダ、ハードディスクレコーダなどが該当する。
【００１７】
投写型映像表示装置３００は、光学式入力システム１００、制御部３１０、インタフェース３２０および投写部３３０を備える。光学式入力システム１００は、撮像部１０、判定部２０および入力制御部３０を含む。映像処理装置５００は、インタフェース５１０、制御部５２０、映像メモリ５３０および重畳部５４０を含む。
【００１８】
撮像部１０は、入力装置２００に搭載された発光体２１０の直接光と、発光体２１０から表示面４００に照射された光の反射光を撮像する。撮像部１０は、撮像素子１１および信号処理回路１２を含む。撮像素子１１には、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやＣＣＤ（Charge Coupled Devices）イメージセンサなどを採用することができる。信号処理回路１２は、撮像素子１１から出力される信号に対して、Ａ／Ｄ変換や、重心位置検出などの各種信号処理を施し、判定部２０に出力する。
【００１９】
判定部２０は、撮像部１０により撮像された画像内の、上記直接光の重心位置と上記反射光の重心位置とを比較し、両者の重心位置が対応しているとき入力装置２００と表示面４００が接触していると判定し、対応していないとき入力装置２００と表示面４００が接触していないと判定する。以下、入力装置２００と表示面４００が接触しているときを、接触入力モード（またはタッチポインティングモード）、両者が接触していないときを、非接触入力モード（またはタッチレスポインティングモード）という。
【００２０】
ここで、両者の重心位置が対応しているとは、両者の座標が一致するか、両者の座標が第１設定距離より近い場合を指す。判定部２０はその判定結果を入力制御部３０に渡す。入力制御部３０は、両者の重心位置が当該第１設定距離より近い場合、文字や記号などの描画を有効とし、第１設定距離より離れており、かつ後述する第２設定距離より近い場合、文字や記号などの描画を無効とする。後述するコントローラに出力する座標には、描画を有効とするか無効とするかを識別するための識別情報（たとえば、識別フラグ）が付加される。なお、本明細書では両者の重心位置が第１設定距離より近い状態をタッチポインティングモードにおける入力中状態と定義し、両者の重心位置が第１設定距離より離れており、第２設定距離より近い状態をタッチポインティングモードにおける入力停止状態と定義する。
【００２１】
入力制御部３０は、判定部２０による判定の結果、上記直接光の重心位置と上記反射光の重心位置とが、第１設定距離より長い第２設定距離以上、離れている場合、非接触入力モードに設定し、離れていない場合、接触入力モードに設定する。第１設定距離および第２設定距離は設計者が実験やシミュレーションにより得られた統計データにもとづきその感度を考慮して、設定されることが可能である。上述したように、撮像画像内の領域や座標ごとに異なる距離が設定されてもよい。
【００２２】
入力制御部３０は、判定部２０による判定の結果、上記直接光の重心位置と上記反射光の重心位置とが第２設定距離以上、離れている場合、反射光の重心位置に対応するほうの座標をコントローラ（本実施の形態では制御部３１０）に出力する。離れていない場合、いずれかの重心位置に対応する座標をコントローラに出力する。この場合、基本的に両者の重心位置の座標が一致するため、いずれの座標を用いてもよい。なお、第１設定距離より離れており、かつ第２設定距離より近い場合、タッチポインティングモードにおける入力停止状態であるため、入力制御部３０は出力座標に付加する識別情報を描画無効に設定する。たとえば、識別フラグを非有意に設定する。
【００２３】
制御部３１０は、投写型映像表示装置３００全体を統括的に制御する。本実施の形態では、入力制御部３０により特定された座標をインタフェース３２０に出力する機能を備える。
【００２４】
インタフェース３２０は、入力制御部３０により特定された座標を映像処理装置５００に出力する。インタフェース５１０は、その座標を受け取り、制御部５２０に出力する。インタフェース３２０とインタフェース５１０とは、たとえば、ＵＳＢやＨＤＭＩにより接続される。
【００２５】
映像メモリ５３０は、映像データ（静止画、動画を含む）を保持する。制御部５２０は、映像処理装置５００全体を統括的に制御する。本実施の形態では、インタフェース５１０を介して受け取った座標に描画データを重畳するよう、重畳部５４０を制御する機能を備える。なお、上記識別情報が描画無効に設定されている場合、制御部５２０は重畳部５４０に重畳指示を出力しない。重畳部５４０は、制御部５２０からの指示に応じて、投写型映像表示装置３００に供給すべき映像データの上記座標に描画データを重畳する。
【００２６】
当該描画データは、基本的に所定の色のドットデータである。入力装置２００とすべき電子ペンの太さに応じて、描画されるべきドット数が調整されてもよい。たとえば、当該電子ペンが太い場合、上記座標を中心にその周囲８ドットが追加的に描画されてもよい。さらに、その周囲１６ドットが追加的に描画されてもよい。
【００２７】
インタフェース５１０は、上記座標に描画データが重畳された後の映像データをインタフェース３２０に出力し、インタフェース３２０は、その映像データの入力を受け、制御部３１０に出力する。
【００２８】
投写部３３０は、当該映像データを表示面４００に投写する。投写部３３０は、光源３３１、光変調部３３２およびレンズ３３３を含む。光源３３１には、フィラメント型の電極構造を有するハロゲンランプ、アーク放電を発生させる電極構造を有するメタルハライドランプ、キセノンショートアークランプ、高圧型の水銀ランプ、ＬＥＤランプなどを採用することができる。
【００２９】
光変調部３３２は、制御部３１０から設定される映像データに応じて、光源３３１から入射される光を変調する。たとえば、光変調部３３２にはＤＭＤ（Digital Micromirror Device）を採用することができる。ＤＭＤは、画素数に対応した複数のマイクロミラーを備え、各マイクロミラーの向きが各画素信号に応じて制御されることにより、所望の映像光を生成する。その映像光はレンズ３３３により拡大され、表示面４００に投写される。
【００３０】
図４（ａ）〜（ｄ）は、撮像部１０により撮像された上記直接光と上記反射光の一例を示す図である。図４（ａ）にて、二つの光のうち上の小さな光が上記直接光を示し、下の大きな光が上記反射光を示す。図４（ｂ）は、上記直接光の重心位置と上記反射光の重心位置とが一致している状態を示す。この状態では投写型映像表示システム６００はタッチポインティングモードで動作する。図４（ｃ）は、上記直接光の重心位置と上記反射光の重心位置とが離れている状態を示す。この状態では投写型映像表示システム６００はタッチレスポインティングモードで動作する。図４（ｄ）は、上記直接光の重心位置と上記反射光の重心位置とがさらに離れた状態を示す。この状態は入力装置２００と表示面４００が、より離れた状態を示している。
【００３１】
図５（ａ）〜（ｄ）は、本発明の実施の形態に係る光学式入力システム１００への使用に適した電子ペン２００ａを示す図である。図５（ａ）〜（ｄ）に示す電子ペン２００ａは、ペン尻にキャップ２２０を着脱することにより、発光体２１０（図５（ａ）〜（ｄ）ではＬＥＤ２１０ａを使用）の電源をオン／オフする。
【００３２】
図５（ａ）は本体２３０のペン先にキャップ２２０が被せられている状態を示す。この状態ではＬＥＤ２１０ａの電源はオフである。図５（ｂ）はキャップ２２０がペン先から取り外された状態を示す。この状態でもＬＥＤ２１０ａの電源はオフである。図５（ｃ）はキャップ２２０が本体２３０のペン尻に被せられた状態を示す。この状態でＬＥＤ２１０ａの電源がオンする。
【００３３】
図５（ｄ）はＬＥＤ２１０ａの電源オン／オフの原理を示す図である。本体２３０の外側には、プラス側配線パターン２４１ａとマイナス側配線パターン２４１ｂが、間隔を空けて形成される。これらの配線はＬＥＤ２１０ａを発光させるための電池のプラス端子とマイナス端子にそれぞれ接続される。キャップ２２０の内側には接点配線パターン２４２が形成される。キャップ２２０が本体２３０のペン尻に被せられると、プラス側配線パターン２４１ａとマイナス側配線パターン２４１ｂが接点配線パターン２４２により導通し、ＬＥＤ２１０ａの電源がオンし、発光する。
【００３４】
以上説明したように本実施の形態によれば、上記直接光と上記反射光をカメラで撮影して、電子ペンの状態をシステム的に検知することにより、ペン先の発光制御をまったく行う必要がない。したがって、電子ペンの操作性を向上させることができる。すなわち、ユーザはスイッチのオン／オフ、ペン先の筆圧調整などの操作を意識せず、通常のインクペンと同様の感覚で、表示映像上に描画することができる。
【００３５】
また、スクリーンにタッチした状態で入力するタッチポインティングモードに加えて、スクリーンから離れた場所から入力するタッチレスポインティングモードの両方を実現することができる。さらに、そのふたつのモードを自動的に切り替えることができる。
【００３６】
タッチポインティングモードにおいて、ペン先を表示面から僅かに離すことにより、スイッチのオン／オフなどの操作なしに、描画を無効とすることができる。この操作感も実際のインクペンと同様なものである。
【００３７】
また、手動スイッチや筆圧センサなどが不要であり、電子ペンを低価格化、小型化することができる。したがって、ペンの数を増やすことも容易になり、より実際のインクペンと同様な操作環境を提供することができる。たとえば、それぞれ入力する色が異なる電子ペンを複数、セットで販売してもよい。
【００３８】
また、図５（ａ）〜（ｄ）に示した構造の電子ペンを用いれば、インクペンと同様なキャップの脱着によって、発光を制御することができる。これも、通常のインクペンと同様の感覚である。ペン尻にキャップを被せることにより使用可能となり、ペン先にキャップを被せることにより使用不可となる点で、一致する。
【００３９】
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００４０】
上述した実施の形態では、光学式入力システムをプロジェクタに適用する例を説明したが、ＰＣやＴＶなどのディスプレイ（たとえば、液晶ディスプレイや有機ＥＬディスプレイ）に表示されている映像上に描画する場合にも適用可能である。その場合、撮像部を、ディスプレイ画面を撮影可能な位置に設置する必要がある。
【符号の説明】
【００４１】
１０  撮像部、  １１  撮像素子、  １２  信号処理回路、  ２０  判定部、  ３０  入力制御部、  １００  光学式入力システム、  ２００  入力装置、  ２００ａ  電子ペン、  ２１０  発光体、  ２１０ａ  ＬＥＤ、  ２２０  キャップ、  ２３０  本体、  ２４１ａ  プラス側配線パターン、  ２４１ｂ  マイナス側配線パターン、  ２４２  接点配線パターン、  ３００  投写型映像表示装置、  ３１０  制御部、  ３２０  インタフェース、  ３３０  投写部、  ３３１  光源、  ３３２  光変調部、  ３３３  レンズ、  ４００  表示面、  ５００  映像処理装置、  ５１０  インタフェース、  ５２０  制御部、  ５３０  映像メモリ、  ５４０  重畳部、  ６００  投写型映像表示システム。
【図１】
2012043176.tif 000003
【図２】
2012043176.tif 000004
【図３】
2012043176.tif 000005
【図５】
2012043176.tif 000006
【図４】
2012043176.tif 000007