(57)【要約】【課題】指示体の変化を検知する構成を指示体が備えていなくても指示体の変化に応じた処理を行う。【解決手段】プロジェクター１０は、画像を表示する表示面に対する指示体の位置及び前記表示面への前記指示体の接触を検知する検知部と、前記検知部が検知した位置に基づく描画像を生成する描画部と、前記表示面に表示されている前記画像の少なくとも一部を含む領域を撮像して得られた撮像画像を出力する撮像部と、前記表示面への前記指示体の接触を前記検知部が検知しているときに前記撮像部から出力される前記撮像画像に映る前記指示体の変化に応じて前記描画像を処理する処理部と、前記処理部により処理された描画像を外部装置から供給された外部画像に重畳した画像を生成する重畳部と、前記重畳部が生成した画像を前記表示面に表示する表示部とを備える。【選択図】図１
2017204162.tif 000002
【特許請求の範囲】
【請求項１】
画像を表示する表示面に対する指示体の位置及び前記表示面への前記指示体の接触を検知する検知部と、
前記検知部が検知した位置に基づく描画像を生成する描画部と、
前記表示面に表示されている前記画像の少なくとも一部を含む領域を撮像して得られた撮像画像を出力する撮像部と、
前記表示面への前記指示体の接触を前記検知部が検知しているときに前記撮像部から出力される前記撮像画像に映る前記指示体の変化に応じて前記描画像を処理する処理部と、
前記処理部により処理された描画像を外部装置から供給された外部画像に重畳した画像を生成する重畳部と、
前記重畳部が生成した画像を前記表示面に表示する表示部と
を備える表示装置。
【請求項２】
前記処理部が行う処理は、前記描画像の態様を変更する処理である
請求項１に記載の表示装置。
【請求項３】
前記処理部は、前記撮像部から出力された前記撮像画像に映る前記指示体の形状の変化量に応じて、前記描画像の態様を変更する
請求項２に記載の表示装置。
【請求項４】
前記処理部は、前記撮像部から出力された前記撮像画像に映る前記指示体の傾きの変化量に応じて、前記描画像の態様を変更する
請求項２に記載の表示装置。
【請求項５】
前記撮像部を複数有し、前記処理部は、複数の前記撮像部から出力された前記撮像画像の変化に応じて前記描画像を処理する
請求項１から請求項４のいずれか一項に記載の表示装置。
【請求項６】
画像を表示する表示面に対する指示体の位置及び前記表示面への前記指示体の接触を検知する検知ステップと、
前記検知ステップで検知した位置に基づく描画像を生成する描画ステップと、
前記表示面への前記指示体の接触を前記検知ステップで検知しているときに、前記表示面に表示されている前記画像の少なくとも一部を含む領域を撮像して得られた撮像画像に映る前記指示体の変化に応じて前記描画像を処理する処理ステップと、
前記処理ステップにより処理された描画像を外部装置から供給された外部画像に重畳した画像を生成する重畳ステップと、
前記重畳ステップで生成した画像を前記表示面に表示する表示ステップと
を備える表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置及び表示方法に関する。
【背景技術】
【０００２】
電子ペンの移動に応じて線を描画し、描画する線の表示態様を電子ペンの筆圧に応じて変更する発明として、例えば、特許文献１に開示された発明がある。この発明においては、電子ペンは、歪センサーで筆圧を検知し、検知した筆圧を超音波ユニットで出力する。表示制御部は、この電子ペンから出力された筆圧を取得し、取得した筆圧に応じた太さの線を表示装置のタッチパネルに表示する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−９２４１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示された発明では、歪センサーや演算回路、超音波ユニットなどの部品や電子回路を電子ペンが備える構成であり、電子ペンの構成が複雑なものとなっていた。
【０００５】
本発明は、指示体の変化を検知する構成を指示体が備えていなくても指示体の変化に応じた処理を行うことを可能とする技術を提供する。
【課題を解決するための手段】
【０００６】
本発明は、画像を表示する表示面に対する指示体の位置及び前記表示面への前記指示体の接触を検知する検知部と、前記検知部が検知した位置に基づく描画像を生成する描画部と、前記表示面に表示されている前記画像の少なくとも一部を含む領域を撮像して得られた撮像画像を出力する撮像部と、前記表示面への前記指示体の接触を前記検知部が検知しているときに前記撮像部から出力される前記撮像画像に映る前記指示体の変化に応じて前記描画像を処理する処理部と、前記処理部により処理された描画像を外部装置から供給された外部画像に重畳した画像を生成する重畳部と、前記重畳部が生成した画像を前記表示面に表示する表示部とを備える表示装置を提供する。
本発明によれば、指示体の変化を検知する構成を指示体が備えていなくても指示体の変化に応じた処理を行うことができる。
【０００７】
本発明においては、前記処理部が行う処理は、前記描画像の態様を変更する処理である構成としてもよい。
この構成によれば、描画像の態様を指示体の変化に応じて変更することができる。
【０００８】
また、本発明においては、前記処理部は、前記撮像部から出力された前記撮像画像に映る前記指示体の形状の変化量に応じて、前記描画像の態様を変更する構成としてもよい。
この構成によれば、指示体の変化に応じて描画像の変化を大きくすることができる。
【０００９】
また、本発明においては、前記処理部は、前記撮像部から出力された前記撮像画像に映る前記指示体の傾きの変化量に応じて、前記描画像の態様を変更する構成としてもよい。
この構成によれば、指示体の変化に応じて描画像の変化を大きくすることができる。
【００１０】
また、本発明によれば、前記撮像部を複数有し、前記処理部は、複数の前記撮像部から出力された画像の変化に応じて前記描画像を処理する構成としてもよい。
この構成によれば、指示体の変化を確実に検知することができる。
【００１１】
また、本発明は、画像を表示する表示面に対する指示体の位置及び前記表示面への前記指示体の接触を検知する検知ステップと、前記検知ステップで検知した位置に基づく描画像を生成する描画ステップと、前記表示面への前記指示体の接触を前記検知ステップで検知しているときに、前記表示面に表示されている前記画像の少なくとも一部を含む領域を撮像して得られた撮像画像に映る前記指示体の変化に応じて前記描画像を処理する処理ステップと、前記処理ステップにより処理された描画像を外部装置から供給された外部画像に重畳した画像を生成する重畳ステップと、前記重畳ステップで生成した画像を前記表示面に表示する表示ステップとを備える表示方法を提供する。
本発明によれば、指示体の変化を検知する構成を指示体が備えていなくても指示体の変化に応じた処理を行うことができる。
【図面の簡単な説明】
【００１２】
【図１】表示システム１を構成する装置を示した図。
【図２】プロジェクター１０と指示体２０のハードウェア構成を示した図。
【図３】制御部１１０と制御部２１０の機能ブロック図。
【図４】指示体を検出するタイムチャートの一例を示した図。
【図５】スクリーンＳＣに接した指５０の状態を示した図。
【図６】スクリーンＳＣに投写された画像の一例を示した図。
【図７】スクリーンＳＣに接した指５０の状態を示した図。
【図８】スクリーンＳＣに投写された画像の一例を示した図。
【図９】スクリーンＳＣに投写された画像の一例を示した図。
【発明を実施するための形態】
【００１３】
［実施形態］
（実施形態の構成）
図１は、本発明の一実施形態に係る表示システム１を構成する装置を示した図である。表示システム１は、画像の表示面となるスクリーンＳＣに画像を投写するプロジェクター１０、指示体２０及び発光装置３０を備える。
【００１４】
表示装置の一例であるプロジェクター１０は、外部装置の一例であるＰＣ（Personal Computer）４０に接続され、ＰＣ４０から供給された画像をスクリーンＳＣへ投写する。また、プロジェクター１０は、指示体２０や指５０が指示した位置に画像を描画する描画機能や、接続されているＰＣのポインティングデバイスとして指示体２０や指５０を使用するＰＣ操作機能を備えている。
【００１５】
本実施形態に係るプロジェクター１０は、スクリーンＳＣの斜め上方に設置され、スクリーンＳＣに向けて画像を投写する。本実施形態においては、プロジェクター１０は、スクリーンＳＣへ画像を投写するが、スクリーンＳＣの替わりに壁面（表示面）に画像を投写してもよい。また、本実施形態においては、プロジェクター１０は、金具によって壁面に設置される構成となっているが、天井に設置してもよい。
【００１６】
ペン型の指示体２０は、上述した描画機能やＰＣ操作機能を使用するときのポインティングデバイスとして機能し、プロジェクター１０が投写するＰＣのＧＵＩ（Graphical User Interface）をユーザーが操作するときや、投写された画像に重ねてユーザーが描画を行うときなどに使用される。
【００１７】
発光装置３０は、スクリーンＳＣ上にある指５０（指示体の一例）に光（本実施形態では赤外光）を照射する発光部を有する。発光装置３０はスクリーンＳＣの上端より上に設置され、下向きに角度θの範囲に光を拡散させて出射する。発光装置３０から出射された光は、スクリーンＳＣに沿う光の層を形成する。本実施形態では、角度θは、ほぼ１８０度に達し、スクリーンＳＣのほぼ全体に、光の層が形成される。スクリーンＳＣの表面と、発光装置３０により形成される光の層とは近接していることが好ましい。スクリーンＳＣの表面から離れた位置にある指５０も照射できるように光の層は厚みを持っている。また、発光部を積層することにより離れた位置にある指５０を照射してもよい。発光装置３０からの光の出射は、プロジェクター１０により制御される。
【００１８】
図２は、プロジェクター１０及び指示体２０のハードウェア構成を示した図である。指示体２０は、制御部２１０、通信部２２０、発光部２３０、操作部２４０、電源２５０を有する。電源２５０は、例えば乾電池又は二次電池であり、制御部２１０、通信部２２０、発光部２３０及び操作部２４０へ電力を供給する。操作部２４０は、電源２５０から各部への電力供給を制御するスイッチ（図示略）を備えている。操作部２４０のスイッチがオンとなると、電源２５０から各部へ電力が供給され、操作部２４０のスイッチがオフとなると、電源２５０から各部へ電力の供給が停止される。発光部２３０は、赤外光を発する発光ダイオードを有しており、指示体２０の先端に設けられている。発光部２３０の点灯及び消灯は、制御部２１０により制御される。発光部２３０は、点光源であり、発光部２３０が発する光は、指示体２０の先端から球面上に広がる。通信部２２０は、赤外光を受光する受光素子を備えている。通信部２２０は、プロジェクター１０から赤外光で送られる各種信号を受信する。通信部２２０は、受信した各種信号を電気信号に変換して制御部２１０へ供給する。制御部２１０は、発光部２３０及び通信部２２０に接続されている。制御部２１０は、通信部２２０から供給される信号に応じて発光部２３０の制御を開始し、発光部２３０の発光ダイオードの点灯及び消灯を制御する。
【００１９】
プロジェクター１０は、制御部１１０、記憶部１２０、操作部１３０、投写部１４０を備える。また、プロジェクター１０は、映像処理部１５０、映像インターフェース１６０、第１撮像部１７１、第２撮像部１７２、通信部１８０を備える。制御部１１０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を備えたマイクロコンピューターである。ＲＯＭに記憶されているプログラムをＣＰＵが実行すると、プロジェクター１０においては、制御部１１０が各部を制御し、画像をスクリーンＳＣに投写する機能や、指５０や指示体２０をポインティングデバイスとして利用する機能、描画機能、ＰＣ操作機能などが実現する。
【００２０】
映像インターフェース１６０は、ＲＣＡ、Ｄ−Ｓｕｂ、ＨＤＭＩ（登録商標）、ＵＳＢ（Universal Serial Bus）など、画像が供給されるコネクターを複数有し、外部装置からコネクターに供給された画像を映像処理部１５０へ供給する。映像インターフェース１６０は、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）などの無線通信のインターフェースを有し、無線通信により画像を取得してもよい。
【００２１】
記憶部１２０は、投写する画像の画質に係る設定値や、各種機能に係る情報を記憶する。操作部１３０は、プロジェクター１０を操作するための複数のボタンを備えている。操作されたボタンに応じて制御部１１０が各部を制御することにより、スクリーンＳＣに投写される画像の調整や、プロジェクター１０が有する各種機能の設定などが行われる。また、操作部１３０は、リモートコントローラー（図示略）からの赤外光の信号を受光する受光部（図示略）を備えている。操作部１３０は、リモートコントローラーから送信された信号を電気信号に変換して制御部１１０へ供給し、制御部１１０は、供給される信号に応じて各部を制御する。
【００２２】
映像処理部１５０は、映像インターフェース１６０から供給される画像を取得する。また、映像処理部１５０は、プロジェクター１０を操作するためのＧＵＩや指示体２０が指し示す位置を表すカーソル、描画機能で描画する画像などのオンスクリーン画像を制御部１１０から取得する。映像処理部１５０は、ＶＲＡＭ（Video RAM）１５１を備えており、映像インターフェース１６０から供給された画像を展開する領域と、オンスクリーン画像を展開する領域を有し、各画像をそれぞれの領域に展開する。映像処理部１５０は、各種の画像処理機能を備えており、ＶＲＡＭ１５１に展開された画像に画像処理を施し、投写する画像の画質を調整する。また、映像処理部１５０は、制御部１１０からオンスクリーン画像が供給された場合には、映像インターフェース１６０から供給された画像（外部画像）にオンスクリーン画像を重畳した画像を投写部１４０へ供給する。即ち、映像処理部１５０は、外部装置から供給された外部画像にオンスクリーン画像を重畳する重畳部として機能する。
【００２３】
画像を投写する投写部１４０は、光源１４１、ライトバルブ１４２、駆動回路１４４及び投写光学系１４３を有している。投写部１４０は、画像を表示する表示部の一例である。光源１４１は、光を発するランプであり、光源１４１が発した光は、図示省略した複数のダイクロイックミラーやミラーによって赤、緑、青の光に分光され、分光された赤、緑、青のそれぞれの光はライトバルブ１４２に導かれる。なお、光源１４１は、ランプではなく、発光ダイオード又はレーザー光を発する半導体レーザー装置であってもよい。
【００２４】
駆動回路１４４は、映像処理部１５０から供給される画像を取得する。駆動回路１４４に供給される画像は、投写する画像における赤の成分の階調を表す階調データ、投写する画像における緑の成分の階調を表す階調データ及び投写する画像における青の成分の階調を表す階調データを有する。駆動回路１４４は、赤、緑、青の各色の階調データを抽出し、抽出した各色の階調データに基づいてライトバルブ１４２を駆動する。
【００２５】
ライトバルブ１４２は、前述の赤の光が入射する液晶ライトバルブ、前述の緑の光が入射する液晶ライトバルブ、及び前述の青の光が入射する液晶ライトバルブを有している。液晶ライトバルブは、透過型の液晶パネルであり、複数行複数列でマトリクス状に配置された画素を備えている。赤の光が入射する液晶ライトバルブは赤の階調データに基づいて駆動され、緑の光が入射する液晶ライトバルブは緑の階調データに基づいて駆動され、青の光が入射する液晶ライトバルブは青の階調データに基づいて駆動される。各液晶ライトバルブは、駆動回路１４４によって各画素が制御されて画素の透過率が変化する。画素の透過率が制御されることにより、液晶ライトバルブを透過した各色の光は、各階調データに対応した画像となる。液晶ライトバルブを透過した赤、緑、青の光の画像は、図示省略したダイクロイックプリズムにより合成されて投写光学系１４３に入射する。投写光学系１４３は、入射した画像を拡大する光学系であり、入射した画像をレンズやミラーによって拡大してスクリーンＳＣに投写する。スクリーンＳＣに画像が投写されると、表示面であるスクリーンＳＣに画像が表示される。なお、透過型の液晶パネルの替わりに反射型の液晶パネルを採用してもよいし、デジタルミラーデバイスなどを用いてもかまわない。
【００２６】
第１撮像部１７１及び第２撮像部１７２は、投写部１４０によりスクリーンＳＣに投写された画像の少なくとも一部を含む範囲を撮像範囲とし、撮像した範囲の画像を生成し、生成した画像を出力する。第１撮像部１７１は、指示体２０や指５０の位置を特定するための撮像部である。第１撮像部１７１は、発光部２３０が発する赤外光や、発光装置３０から出射されて指５０で反射した赤外光を受光する撮像素子（ＣＭＯＳやＣＣＤなど）、撮像素子に像を結像する光学系、撮像素子へ入射する光を制限する絞りなどを備えている。
【００２７】
第２撮像部１７２は、指５０の変形を検知するための撮像部である。第２撮像部１７２は、可視光を受光する撮像素子（ＣＭＯＳやＣＣＤなど）、撮像素子に像を結像する光学系、撮像素子へ入射する光を制限する絞りなどを備えている。なお、本実施形態においては、プロジェクター１０がスクリーンＳＣの斜め上方に設置されるため、第１撮像部１７１及び第２撮像部１７２は、スクリーンＳＣを含む範囲を斜め上方から撮像することになる。
【００２８】
通信部１８０は、赤外光を発する発光ダイオードを備えている。通信部１８０は、制御部１１０により、発光ダイオードの点灯及び消灯が制御され、発光部２３０の点灯及び消灯を制御するための赤外光の信号を送信する。また、通信部１８０は、ＰＣと通信を行うための通信インターフェースを有し、例えば、ＵＳＢ、有線ＬＡＮ、無線ＬＡＮなどの通信インターフェースを備える。
【００２９】
図３は、制御部１１０がプログラムを実行することにより実現する機能と、制御部２１０において実現する機能の構成を示した機能ブロック図である。まず、プロジェクター１０の制御部１１０において実現する機能について説明する。
【００３０】
検知部１１３は、画像の投写領域において指示体２０の発光部２３０の位置や指示体の一例である指５０の位置、指示体２０や指５０の表示面への接触を、例えば図４に示したタイムチャートで周期的に特定する。指５０の位置や発光部２３０の位置を特定する期間は、図４に示したようにフェーズＰ１１からフェーズＰ１４までの４つのフェーズを有する。指５０の位置や発光部２３０の位置、指５０や発光部２３０の投写面への接触を検出する際には、フェーズＰ１１からフェーズＰ１４までが繰り返される。フェーズＰ１１は、プロジェクター１０が第１撮像部１７１で撮像を行うタイミングと、指示体２０の発光部２３０が発光するタイミング及び発光装置３０が赤外光を出射するタイミングを同期させるためのフェーズである。フェーズＰ１１においては、検知部１１３は、所定期間ｔｅ１で赤外光の同期信号が出力されるように通信部１８０を制御する。
【００３１】
指示体２０においては、通信部２２０が同期信号を受光し、同期信号を受光してから所定時間が経過すると、予め設定された期間ｔｅ２で発光部２３０が点灯するように、制御部２１０が発光部２３０を制御する。本実施形態においては、フェーズＰ１２、フェーズＰ１３及びフェーズＰ１４の開始時点から発光部２３０が点灯するように制御される。また、検知部１１３は、フェーズＰ１２及びフェーズＰ１４の開始時間から期間ｔｅ２で発光装置３０が赤外光を出射するように、発光装置３０を制御する。
【００３２】
検知部１１３は、フェーズＰ１２〜フェーズＰ１４において、第１撮像部１７１を制御し、設定されているシャッタースピードでスクリーンＳＣを含む所定範囲を撮像する。第１撮像部１７１において電子シャッター機能により露光が行われる露光期間は、フェーズＰ１２とフェーズＰ１４の開始時点から始まり、露光が終了する時点は、設定されているシャッタースピードにより定まる。第１撮像部１７１がフェーズＰ１２〜フェーズＰ１４の露光期間で撮像した画像は、検知部１１３へ供給される。
【００３３】
検知部１１３は、第１撮像部１７１から供給された画像を用いて、投写された画像上にある指５０や発光部２３０の位置、発光部２３０や指５０の投写面への接触を検知する。具体的には、フェーズＰ１２とフェーズＰ１４において、発光装置３０が発した赤外光が指５０に照射されている場合には、第１撮像部１７１で得られた画像に発光装置３０から出射されて指５０で反射した赤外光が映る。また、フェーズＰ１２とフェーズＰ１４において、発光部２３０が第１撮像部１７１の撮像範囲内にあると、第１撮像部１７１で得られた画像に発光部２３０が発した赤外光も映る。フェーズＰ１３においては、発光装置３０は光を出射しないため、第１撮像部１７１で得られた画像には、発光部２３０が発した赤外光が映る。
【００３４】
検知部１１３は、フェーズＰ１２〜フェーズＰ１４において、第１撮像部１７１で得られた画像に映る赤外光の位置及びスクリーンＳＣまでの距離を特定する。検知部１１３は、フェーズＰ１２とフェーズＰ１４において位置を特定した赤外光のうち、フェーズＰ１３において位置を特定した赤外光の位置に近い位置の赤外光を特定し、特定した赤外光の位置を発光部２３０の位置とする。また、検知部１１３は、フェーズＰ１２とフェーズＰ１４において位置を特定した赤外光のうち、フェーズＰ１３において位置を特定した赤外光から遠い赤外光の位置を指５０の位置とする。なお、検知部１１３は、フェーズＰ１３において赤外光が撮像範囲内に無い場合には、フェーズＰ１２とフェーズＰ１４において特定した位置を指５０の位置とする。これらの特定した位置は、描画機能やＰＣ操作機能などの各種機能を実行するときに使用される。
【００３５】
描画部１１２は、検知部１１３が検知した位置に応じて投写する描画像のオンスクリーン画像を生成する。処理部１１４は、第２撮像部１７２から供給される画像に映る指５０の形状の変化に応じて、描画部１１２が生成した描画像を処理する。本実施形態においては、描画部１１２が行う処理は、描画像の線の太さ（態様）を変更する処理である。
【００３６】
次に、指示体２０の制御部２１０において実現する機能について説明する。信号取得部２１１は、通信部２２０が受信した同期信号を取得する。発光制御部２１２は、信号取得部２１１から同期信号を取得し、同期信号を取得してから所定時間が経過すると、フェーズＰ１２〜フェーズＰ１４において期間ｔｅ２で発光部２３０が点灯するように、発光部２３０を制御する。
【００３７】
（実施形態の動作例）
次に描画機能がオンとなっているときの本実施形態の動作例について説明する。映像インターフェース１６０は、ＰＣ４０から画像が供給されると、ＰＣ４０から供給される画像を取得し、取得した画像を映像処理部１５０へ供給する。画像が映像処理部１５０へ供給されると、供給された画像がスクリーンＳＣに投写される。
【００３８】
ユーザーは、投写された画像に対して描画機能で描画を行う場合、スクリーンＳＣ上において描画を行う位置に指５０を近づける。第２撮像部１７２は、スクリーンＳＣに近づく指５０を撮像し、指５０が映る画像を出力する。指５０がスクリーンＳＣに接触すると、発光装置３０が発した赤外光が指５０で反射する。第１撮像部１７１は、指５０で発光した赤外光を撮像し、赤外光が映った画像を出力する。
【００３９】
制御部１１０（検知部１１３）は、第１撮像部１７１から供給される画像を解析し、画像中にある赤外光の位置に基づいて指５０の位置を特定する。また、制御部１１０（処理部１１４）は、赤外光が第１撮像部１７１から供給される画像に映ったときに第２撮像部１７２から供給された画像を解析し、指５０がスクリーンＳＣに接したときの指５０の形状を取得する。
【００４０】
図５の（ａ）は、第２撮像部１７２が供給した画像（撮像画像の一例）に映る指５０の一例を示した図であり、図５の（ｂ）は、スクリーンＳＣに接したときの指５０をスクリーンＳＣの側方から見た図である。図５の（ａ）と図５の（ｂ）に示したように、指５０がスクリーンＳＣに接したときには、指５０はスクリーンＳＣに接触する前の形状を維持している。制御部１１０（処理部１１４）は、図５の（ａ）に示した指５０の形状をＲＡＭに記憶させる。
【００４１】
次に制御部１１０（描画部１１２）は、検出した指示体の位置に応じてオンスクリーン画像を生成し、生成したオンスクリーン画像を映像処理部１５０へ供給する。オンスクリーン画像が映像処理部１５０へ供給されると、オンスクリーン画像がＰＣ４０から供給されている画像に重畳されて投写される。例えば、ユーザーが、図５に示した指５０の状態を維持したまま、スクリーンＳＣ上で指５０を移動させた場合、図６に例示したように、予め定められた太さであって、指５０の移動軌跡に対応した線のオンスクリーン画像（以下、説明の便宜上、描画像Ｇ１１と称する）が投写される。
【００４２】
次にユーザーが指５０をスクリーンＳＣに押し付ける力を強くすると、図７の（ａ）及び図７の（ｂ）に示したように指５０が変形する。図７の（ａ）は、第２撮像部１７２が供給した画像に映る指５０の一例を示した図であり、図７の（ｂ）は、スクリーンＳＣに接したときの指５０をスクリーンＳＣの側方から見た図である。
【００４３】
制御部１１０（処理部１１４）は、第２撮像部１７２から供給された画像を解析して指５０の形状を取得する。次に制御部１１０は、新たに取得した指５０の形状とＲＡＭに記憶した指５０の形状とを比較し、指５０の変形量を特定する。制御部１１０は、指５０の変形量としては、例えば、図５に示した状態のときの指５０の末節と中節とがなす角度を基準とし、基準とした角度と、図７に示した状態のときの指５０の末節と中節とがなす角度との差を変形量とする。
【００４４】
次に制御部１１０（処理部１１４）は、指５０の移動に応じて描画する線の画像の太さ（態様）を特定した変形量に応じた太さ（態様）とし、検出した指示体の位置に応じたオンスクリーン画像を生成し、生成したオンスクリーン画像を映像処理部１５０へ供給する処理を行う。ここで、本実施形態においては、制御部１１０は、描画する線の太さを特定した変形量が大きくなるにつれて太くする。
【００４５】
オンスクリーン画像が映像処理部１５０へ供給されると、オンスクリーン画像がＰＣ４０から供給されている画像に重畳されて投写される。例えば、ユーザーが、描画像Ｇ１１の端から図７に示した指５０の状態を維持したまま、スクリーンＳＣ上で指５０を移動させた場合、図８に例示したように、描画像Ｇ１１より太い線のオンスクリーン画像（以下、説明の便宜上、描画像Ｇ１２と称する）が投写される。
【００４６】
ユーザーは、描画する線の太さを細くする場合、指５０をスクリーンＳＣに押し付ける力を弱くし、指５０の状態を図５に示した状態とする。制御部１１０は、第２撮像部１７２から供給された画像を解析して指５０の形状を取得する。次に制御部１１０は、新たに取得した指５０の形状とＲＡＭに記憶した指５０の形状とを比較し、指５０の変形量を特定する。制御部１１０は、指５０の移動に応じて描画する線の画像の太さを、特定した変形量に応じた太さとし、検出した指示体の位置に応じたオンスクリーン画像を生成し、生成したオンスクリーン画像を映像処理部１５０へ供給する。ここで、制御部１１０は、新たに取得した指５０の形状とＲＡＭに記憶した指５０の形状とが同じであると、描画する線の太さを指５０がスクリーンＳＣに接触したときの太さに戻す。
【００４７】
このオンスクリーン画像が映像処理部１５０へ供給されると、オンスクリーン画像がＰＣ４０から供給されている画像に重畳されて投写される。例えば、ユーザーが、描画像Ｇ１２の端から図５に示した指５０の状態を維持したまま、スクリーンＳＣ上で指５０を移動させた場合、図９に例示したように、描画像Ｇ１１と同じ太さの線のオンスクリーン画像（以下、説明の便宜上、描画像Ｇ１３と称する）が投写される。
【００４８】
以上説明したように本実施形態によれば、指示体に電子回路や部品を設けることなく、指示体の状態変化に応じた描画を行うことができる。
【００４９】
［変形例］
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。例えば、上述の実施形態を以下のように変形して本発明を実施してもよい。なお、上述した各実施形態及び以下の変形例は、一つ又は複数を適宜組み合わせて実施してもよい。
【００５０】
上述した実施形態においては、描画する線の太さを指５０の末節と中節とのなす角度の変化に応じて変更しているが、描画する線の太さを変更する構成は、実施形態の構成に限定されるものではない。例えば、制御部１１０は、第２撮像部１７２から供給される画像から指５０とスクリーンＳＣの法線とがなす角度を検知し、描画する線の太さを検知した角度に応じて変更するようにしてもよい。この検知した角度も、本発明に係る変化量の一例である。この構成の場合、制御部１１０は、描画する線の太さを検知した角度が大きくなるにつれて太くするようにしてもよい。また、指５０とスクリーンＳＣの法線とがなす角度を検知する構成の場合、指５０が接触したときの角度を基準とし、描画する線の太さを基準とした角度との差が大きくなるにつれて太くする構成としてもよい。
【００５１】
上述した動作例においては、描画する線の太さを指５０の末節が手の甲側に曲がったときの末節と中節とのなす角度に応じて変更しているが、描画する線の太さについては、指５０の末節が手のひら側に曲がったときの末節と中節とのなす角度に応じて変更するようにしてもよい。
【００５２】
上述した実施形態においては、制御部１１０は、指５０の位置及び変形量を特定し、特定した位置及び変形量に応じて線の描画を行っているが、実施形態の構成に限定されるものではない。例えば、制御部１１０は、弾性体であって赤外光を反射する部材をペン型に形成した指示体について、第２撮像部１７２から供給される画像を解析して位置及び変形量を特定し、特定した位置及び変形量に応じて、線の描画を行う構成としてもよい。この構成の場合、制御部１１０は、指示体の曲がりの度合いや、指示体とスクリーンＳＣの法線とがなす角度に応じて、描画する線の太さを太くするようにしてもよい。
【００５３】
また、本発明においては、弾性を有する部材で指示体２０の筐体を形成してもよい。この構成の場合、制御部１１０は、第２撮像部１７２から供給される画像を解析し、筐体の曲がりの度合いや、指示体２０とスクリーンＳＣの法線とがなす角度に応じて、描画する線の太さを太くするようにしてもよい。
【００５４】
上述した実施形態や変形例においては、制御部１１０は、描画する線の太さを指５０の変形量や指５０とスクリーンＳＣとがなす角度に応じて変更する処理を行っているが、指５０の変形量や指５０とスクリーンＳＣとがなす角度に応じて行う処理は、描画する線の太さを変更する処理に限定されるものではない。例えば、制御部１１０は、描画する線の濃さを、指５０の変形量や指５０とスクリーンＳＣの法線とがなす角度に応じて変更するようにしてもよい。この構成の場合、制御部１１０は、描画する線について、指５０の変形量が大きくなるにつれて線の色の濃さを濃くする構成としてもよい。また、制御部１１０は、描画する線について、指５０とスクリーンＳＣの法線とがなす角度が大きくなるにつれて線の色の濃さを濃くする構成としてもよい。また、制御部１１０は、描画する線の色を、指５０の変形量や指５０とスクリーンＳＣの法線とがなす角度に応じて変更するようにしてもよい。
例えば、制御部１１０は、指５０の変形量が予め定められた閾値未満の場合には、描画する線の色を黒とし、指５０の変形量が予め定められた閾値以上である場合には、描画する線の色を赤とするようにしてもよい。また、この構成においては、変形量が閾値未満のときの線の色と変形量が閾値以上のときの線の色をユーザーが設定できる構成としてもよい。
【００５５】
本発明においては、プロジェクター１０は、第１撮像部１７１を複数有し、複数の第１撮像部１７１から得られる画像で指示体２０や指５０の位置を特定する構成としてもよい。また、プロジェクター１０は、第２撮像部１７２を複数有し、複数の第２撮像部１７２から得られる画像で指示体２０や指５０の変形量を特定する構成としてもよい。
【００５６】
上述した実施形態においては、第２撮像部１７２をプロジェクター１０が備える構成となっているが、この構成に限定されるものではない。例えば、第２撮像部１７２をプロジェクター１０とは別体とし、スクリーンＳＣの側方に配置する構成としてもよい。
【００５７】
上述した実施形態においては、制御部１１０は、描画する線について、指５０がスクリーンＳＣに接したときからの指５０の変形量に応じて線の太さを変更しているが、この構成に限定されるものではない。例えば、制御部１１０は、特定した指５０の変化量が予め定められた閾値未満の場合には、線の太さを変更せず、指５０の変化量が予め定められた閾値以上となると、変化量に応じて線の太さを変更するようにしてもよい。
【００５８】
本発明においては、制御部１１０は、指５０の変化量が予め定められた第１の範囲内である場合には、描画する線の太さを第１の太さとしてもよい。また、この構成においては、変化量が第１の範囲を超える値である場合には、描画する線の太さを第１の太さより太くし、変化量が第１の範囲を下回る値である場合には、描画する線を第１の太さより細くする構成としてもよい。
【００５９】
本発明においては、描画する線の太さを変更する処理を指５０の変化量に応じて実行するが、指５０の変化量に応じて実行する処理は、描画する線の太さを変更する処理に限定されるものではなない。例えば、プロジェクター１０においてＰＣ操作機能をオンとした場合、投写面をタッチパネルとして機能させ、指５０でＰＣ４０を操作することが可能となる。
ＰＣ操作機能がオンである場合、指５０でオブジェクトの位置に触ると、オブジェクトをドラッグする動作となるが、指５０の変化量に応じてオブジェクトの選択範囲を変更する構成としてもよい。この構成によれば、指５０の変化量に応じて複数のオブジェクトを選択し、複数のオブジェクトを移動させることが可能となる。
【符号の説明】
【００６０】
１…表示システム、１０…プロジェクター、２０…指示体、３０…発光装置、４０…ＰＣ、５０…指、１１０…制御部、１１２…描画部、１１３…検知部、１１４…処理部、１２０…記憶部、１３０…操作部、１４０…投写部、１５０…映像処理部、１６０…映像インターフェース、１７１…第１撮像部、１７２…第２撮像部、１８０…通信部、２１０…制御部、２１１…信号取得部、２１２…発光制御部、２２０…通信部、２３０…発光部、２４０…操作部、２５０…電源。
【図１】
2017204162.tif 000003
【図２】
2017204162.tif 000004
【図３】
2017204162.tif 000005
【図４】
2017204162.tif 000006
【図５】
2017204162.tif 000007
【図６】
2017204162.tif 000008
【図７】
2017204162.tif 000009
【図８】
2017204162.tif 000010
【図９】
2017204162.tif 000011