(57)【要約】【課題】書込みモードと消去モードとの選択の操作性を高め、且つ、操作モードが直感的に分かり易くなるようにすること。【解決手段】長手方向の一方の端部であり、書込みモードに使用される第１の端部と、他方の端部であり、消去モードに使用される第２の端部とを有する指示体と、指示体を用いた入力操作に従って、スクリーン面に画像を投写する投写部と、指示体を撮像する第１カメラと、第１カメラとは異なる位置に設けられ、指示体を撮像する第２カメラと、第１の端部と第２の端部との何れかによって指示されているスクリーン面上の位置を、第１カメラによって撮像された画像と第２カメラによって撮像された画像とに基づき検出する検出部と、指示体による操作モードが書込みモードか消去モードかを、第１カメラ及び第２カメラの少なくとも何れか一方によって撮像された画像と、テンプレート画像とのマッチングに基づき判断する判断部と、を備える。【選択図】図４
2019106106.tif 000002
【特許請求の範囲】
【請求項１】
長手方向の一方の端部であり、書込みモードに使用される第１の端部と、他方の端部であり、消去モードに使用される第２の端部とを有する指示体と、
前記指示体を用いた入力操作に従って、スクリーン面に画像を投写する投写部と、
前記指示体を撮像する第１カメラと、
前記第１カメラとは異なる位置に設けられ、前記指示体を撮像する第２カメラと、
前記第１の端部と前記第２の端部との何れかによって指示されている前記スクリーン面上の位置を、前記第１カメラによって撮像された画像と前記第２カメラによって撮像された画像とに基づき検出する検出部と、
前記スクリーン面に対する前記指示体の姿勢を判断するためのテンプレート画像を記憶する記憶部と、
前記指示体による操作モードが書込みモードか消去モードかを、前記第１カメラ及び前記第２カメラの少なくとも何れか一方によって撮像された画像と、前記記憶部に記憶されている前記テンプレート画像とのマッチングに基づき判断する判断部と、
を備えるインタラクティブプロジェクションシステム。
【請求項２】
前記判断部は、前記指示体による操作モードが書込みモードか消去モードかを、前記第１カメラ及び前記第２カメラによって撮像された画像に基づき判断する
請求項１に記載のインタラクティブプロジェクションシステム。
【請求項３】
長手方向の一方の端部であり、書込みモードに使用される第１の端部と、他方の端部であり、消去モードに使用される第２の端部とを有する指示体を用いた入力操作に従って、スクリーン面に画像を投写する投写部と、
前記指示体を撮像する第１カメラと、
前記第１カメラとは異なる位置に設けられ、前記指示体を撮像する第２カメラと、
前記第１の端部と前記第２の端部との何れかによって前記スクリーン面において指示されている位置を、前記第１カメラと前記第２カメラとによって撮像された画像に基づき検出する検出部と、
前記スクリーン面に対する前記指示体の姿勢を判断するためのテンプレート画像を記憶する記憶部と、
前記指示体による操作モードが書込みモードか消去モードかを、前記第１カメラ及び前記第２カメラの少なくとも何れか一方によって撮像された画像と、前記記憶部に記憶されているテンプレート画像とのマッチングに基づき判断する判断部と、
を備えるインタラクティブプロジェクター。
【請求項４】
インタラクティブプロジェクターの制御方法であって、
第１カメラと、前記第１カメラとは異なる位置に設けられた第２カメラとにより、長手方向の一方の端部である第１の端部と、他方の端部である第２の端部とを有する指示体を撮像し、
前記第１の端部と前記第２の端部との何れかによって前記スクリーン面において指示されている指示位置を、前記第１カメラと前記第２カメラとによって撮像された画像に基づき検出し、
前記指示体による操作モードが書込みモードか消去モードかを、前記第１カメラ及び前記第２カメラの少なくとも何れか一方によって撮像された画像と、前記スクリーン面に対する前記指示体の姿勢を判断するためのテンプレート画像とのマッチングに基づき判断する
インタラクティブプロジェクターの制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、インタラクティブプロジェクションシステム、インタラクティブプロジェクター、及び、インタラクティブプロジェクターの制御方法に関する。
【背景技術】
【０００２】
特許文献１は、インタラクティブプロジェクターをホワイトボードモードで使用する場合に、ツールバーを表示し、ユーザーにツールを選択させることについて開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−１７５００１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記先行技術文献のようなインタラクティブプロジェクターでは、ユーザーがツールバーからツールを選択する場合に、例えば、書込みモードで書込みをした後、書込みを消去するときには、消去モードをツールバーから選択してから消去を実行する必要がある。しかし、このように都度、ツールバーから選択するのは操作性が良くない上、現状において選択されているツールがどのツールなのか、直感的に把握することが難しい。本開示は、上記を踏まえ、書込みモードと消去モードとの選択の操作性を高め、且つ、操作モードが直感的に分かり易くなるようにすることを解決課題とする。
【課題を解決するための手段】
【０００５】
本開示の一形態は、長手方向の一方の端部であり、書込みモードに使用される第１の端部と、他方の端部であり、消去モードに使用される第２の端部とを有する指示体と；前記指示体を用いた入力操作に従って、スクリーン面に画像を投写する投写部と；前記指示体を撮像する第１カメラと；前記第１カメラとは異なる位置に設けられ、前記指示体を撮像する第２カメラと；前記第１の端部と前記第２の端部との何れかによって指示されている前記スクリーン面上の位置を、前記第１カメラによって撮像された画像と前記第２カメラによって撮像された画像とに基づき検出する検出部と；前記スクリーン面に対する前記指示体の姿勢を判断するためのテンプレート画像を記憶する記憶部と；前記指示体による操作モードが書込みモードか消去モードかを、前記第１カメラ及び前記第２カメラの少なくとも何れか一方によって撮像された画像と、前記記憶部に記憶されている前記テンプレート画像とのマッチングに基づき判断する判断部と；を備えるインタラクティブプロジェクションシステムである。この形態によれば、ユーザーは、書込みモードで使用したい場合には第１の端部、消去モードで使用したい場合には第２の端部を用いればよいので、書込みモードと消去モードとの選択の操作性が良く、且つ、操作モードが直感的に分かり易い。
【０００６】
上記形態において、前記判断部は、前記指示体による操作モードが書込みモードか消去モードかを、前記第１カメラ及び前記第２カメラによって撮像された画像に基づき判断してもよい。この形態によれば、上記判断の精度が向上する。
【０００７】
本開示は、上記以外の種々の形態で実現できる。例えば、インタラクティブプロジェクター、操作モードの判断方法等の形態で実現できる。
【図面の簡単な説明】
【０００８】
【図１】プロジェクションシステムの斜視図。
【図２】プロジェクションシステムの正面図。
【図３】プロジェクションシステムの側面図。
【図４】プロジェクターの内部構成を示すブロック図。
【図５】テンプレート画像の一例を示す図。
【図６】テンプレート画像の一例を示す図。
【図７】テンプレート画像の一例を示す図。
【図８】テンプレート画像の一例を示す図。
【図９】テンプレート画像の一例を示す図。
【図１０】テンプレート画像の一例を示す図。
【図１１】テンプレート画像の一例を示す図。
【図１２】テンプレート画像の一例を示す図。
【図１３】テンプレート画像の一例を示す図。
【図１４】操作モード判断に応じた画像投写処理のフローチャートの一例を示す図。
【発明を実施するための形態】
【０００９】
図１は、プロジェクションシステム９００の斜視図である。プロジェクションシステム９００は、インタラクティブプロジェクションシステムである。プロジェクションシステム９００は、プロジェクター１００と、スクリーン板９２０と、指示体７０とを有している。プロジェクター１００は、インタラクティブプロジェクターである。
【００１０】
スクリーン板９２０の前面は、投写スクリーン面ＳＳ（projection Screen Surface）として利用される。プロジェクター１００は、支持部材９１０によってスクリーン板９２０の前方かつ上方に固定されている。なお、図１では投写スクリーン面ＳＳを水平面に直交させて配置しているが、投写スクリーン面ＳＳを水平に配置してプロジェクションシステム９００を使用することも可能である。
【００１１】
プロジェクター１００は、投写スクリーン面ＳＳ上に投写画面ＰＳ（Projected Screen）を投写する。投写画面ＰＳは、通常、プロジェクター１００内で描画された画像を含んでいる。プロジェクター１００内で描画された画像がない場合には、プロジェクター１００から投写画面ＰＳに光が照射されて、例えば、白色画像が表示される。本実施形態において、「投写スクリーン面ＳＳ」とは、画像が投写される部材の表面を意味する。また、「投写画面ＰＳ」とは、プロジェクター１００によってスクリーン面ＳＳ上に投写された画像の領域を意味する。通常は、投写スクリーン面ＳＳの一部に投写画面ＰＳが投写される。投写スクリーン面ＳＳは、指示体７０による位置の指示を行う操作面としても利用されるので、「操作面ＳＳ」とも呼ぶ。
【００１２】
指示体７０は、先細りに形成されている先端部７１と、ユーザーが保持する軸部７２と、ほぼ平らに形成されている後端部７３と、を有するペン型の指示体である。先端部７１は、指示体７０の長手方向の先端部であり、第１の端部である。後端部７３は、指示体７０の長手方向の後端部であり、第２の端部である。
【００１３】
図２は、プロジェクションシステム９００の正面図である。図３は、プロジェクションシステム９００の側面図である。本実施形態では、操作面ＳＳの左右に沿った方向をＸ方向と定義し、操作面ＳＳの上下に沿った方向をＹ方向と定義し、操作面ＳＳの法線に沿った方向をＺ方向と定義している。また、図２における操作面ＳＳの左下の位置を座標（Ｘ，Ｙ）の原点（０，０）としている。なお、図３では、図示の便宜上、スクリーン板９２０のうちの投写画面ＰＳの範囲にハッチングを付している。
【００１４】
プロジェクター１００は、投写画面ＰＳを操作面ＳＳ上に投写する投写レンズ２１０と、投写画面ＰＳの領域を撮像する第１カメラ３１０と、投写画面ＰＳの領域を撮像する第２カメラ３２０とを有している。第１カメラ３１０及び第２カメラ３２０は、可視光線によって撮像する。図３に示すように、第１カメラ３１０及び第２カメラ３２０は操作面ＳＳからそれぞれＺ方向に距離Ｌだけ離れた位置に設置されている。
【００１５】
図２の例は、プロジェクションシステム９００がホワイトボードモードで動作している様子を示している。ホワイトボードモードは、指示体７０を用いて投写画面ＰＳ上にユーザーが任意に描画できるモードである。指示体７０の先端部７１を投写画面ＰＳ内で移動させることにより、投写画面ＰＳ内に線が描画されてゆく様子が描かれている。この移動は、指示体７０の先端部７１が操作面ＳＳに接した状態で実施される。この線の描画は、プロジェクター１００の内部の投写画像生成部５００（後述）によって行われる。さらに、詳しくは後述するように、描画した線を、指示体７０を用いて消去することもできる。
【００１６】
第１カメラ３１０及び第２カメラ３２０は、異なる位置に設けられているため、ステレオカメラとして機能する。図２及び図３の例では、第１カメラ３１０及び第２カメラ３２０は、Ｘ方向において投写レンズ２１０を中心に対象の位置に、Ｙ方向及びＺ方向においては同じ位置に設けられているが、ステレオカメラと機能するよう配置されればよい。
【００１７】
なお、プロジェクションシステム９００は、ホワイトボードモード以外の他のモードでも動作可能である。例えば、プロジェクションシステム９００は、パーソナルコンピューター（図示せず）から通信回線を介して転送されたデータの画像を投写画面ＰＳに表示するＰＣインタラクティブモードでも動作可能である。ＰＣインタラクティブモードにおいては、例えば表計算ソフトウエアなどのデータの画像が表示され、その画像内に表示された各種のツールやアイコンを利用してデータの入力、作成、修正等を行うことが可能となる。
【００１８】
図４は、プロジェクター１００の内部構成を示すブロック図である。プロジェクター１００は、投写部２００と、撮像部３００と、投写画像生成部５００と、検出部６１０と、記憶部６２０と、判断部６３０と、制御部７００と、を有している。
【００１９】
検出部６１０は、プロセッサーと記憶媒体とを備える。検出部６１０は、第１カメラ３１０及び第２カメラ３２０で撮像された画像を解析して、指示体７０の３次元位置を決定する機能を有する。３次元位置の決定には、三角測量の原理が用いられる。検出部６１０によって決定される指示体７０の３次元位置は、少なくとも、先端部７１及び後端部７３のうち、操作面ＳＳに近い方の３次元座標が含まれる。先端部７１及び後端部７３のうち、何れが操作面ＳＳに近いのかは、判断部６３０による判断結果（後述）を利用する。
【００２０】
記憶部６２０は、テンプレート画像を記憶する記憶媒体である。図５〜図１３は、テンプレート画像を例示する。図５〜図１３の例では、テンプレート画像は、Ｚ−Ｘ平面における２次元画像である。テンプレート画像は、予め、第１カメラ３１０及び第２カメラ３２０により、指示体７０を様々な姿勢で撮像することによって作成される。また、図３のように、第１カメラ３１０及び第２カメラ３２０は、投写画面ＰＳの領域を撮像するように操作面ＳＳからそれぞれＺ方向に距離Ｌだけ離れた位置に設置されているため、その撮影画像は、Ｚ-Ｘ平面からずれたものとなるが、この撮影画像をテンプレート画像としてもよい。また、指示体７０の先端部７１または後端部７３のどちらが、操作面ＳＳに近いかの判断に用いられる場合は、先端部７１と後端部７３のパターンの差が明確であれば、記憶部６２０は、少なくとも図８と図１３の２つのテンプレート画像を記憶すればよい。
【００２１】
各テンプレート画像に対しては、書込みモード、消去モード、書込みモードでも消去モードでもないモード（以下、その他モード）の何れかの操作モードが予め対応付けられている。例えば、先端部７１の方が後端部７３よりも操作面ＳＳに近いことを表す図７〜図１１のテンプレート画像には書込みモードが対応付けられている。また、後端部７３の方が先端部７１よりも操作面ＳＳに近いことを表す図１２，図１３のテンプレート画像には消去モードが対応付けられている。図５，図６のテンプレート画像には、その他モードが対応付けられている。
【００２２】
上記の対応付けは、先端部７１及び後端部７３の位置関係に基づき決定されている。具体的には、先端部７１の方が後端部７３よりも操作面ＳＳに近ければ、ユーザーは書込みをしようとしていると推測できるので、書込みモードを対応付ける。逆に、後端部７３の方が先端部７１よりも操作面ＳＳに近ければ、ユーザーは消去をしようとしていると推測できるので、消去モードを対応付ける。先端部７１と後端部７３とが操作面ＳＳに対しておおよそ同じ距離であれば、ユーザーは書込みも消去もしようとしてないと推測できるので、その他モードを対応付ける。
【００２３】
判断部６３０は、プロセッサーと記憶媒体とを備える。判断部６３０は、撮像部３００による撮像結果と、記憶部６２０に記憶されたテンプレート画像とに基づき、操作モードを判断する。つまり、判断部６３０は、第１カメラ３１０及び第２カメラ３２０による撮像画像それぞれと、テンプレート画像とをマッチングさせ、最もマッチするテンプレート画像を選択する。判断部６３０は、テンプレート画像を選択することによって、操作モードを判断する。判断部６３０は、判断した操作モードを示す情報を、検出部６１０及び制御部７００に入力する。
【００２４】
検出部６１０は、書込みモードであることを示す情報が入力されると、先端部７１の３次元位置を検出する。検出部６１０は、消去モードであることを示す情報が入力されると、後端部７３の３次元位置を検出する。検出部６１０は、その他モードであることを示す情報が入力されると、３次元位置の検出を実行しない。検出部６１０は、検出した３次元位置を、制御部７００に入力する。
【００２５】
制御部７００は、プロセッサーと記憶媒体とを備える。制御部７００は、プロジェクター１００内部の各部の制御を行う。制御部７００は、検出部６１０から入力された３次元位置と、判断部６３０から入力された操作モードを示す情報とに応じて、投写画面ＰＳ上で行われた指令の内容を判定すると共に、その指令の内容に従って投写画像を作成又は変更することを投写画像生成部５００に指令する。
【００２６】
例えば、制御部７００は、書込みモードを示す情報の入力を受け、且つ、先端部７１の３次元位置と、操作面ＳＳとのＺ方向の距離が所定距離以下であれば、先端部７１の３次元位置に含まれる（Ｘ，Ｙ）の位置に描画を実施させる。制御部７００は、書込みモードを示す情報の入力を受けた場合であっても、先端部７１の３次元位置と、操作面ＳＳとのＺ方向の距離が上記した所定距離よりも遠ければ、描画を実施させない。消去モードの場合についても同様である。
【００２７】
投写画像生成部５００は、投写画像を記憶する投写画像メモリー５１０を有しており、投写部２００によって操作面ＳＳ上に投写される投写画像を生成する機能を有する。投写画像生成部５００は、更に、投写画面ＰＳの台形歪みを補正するキーストーン補正部としての機能を有することが好ましい。
【００２８】
投写部２００は、投写画像生成部５００で生成された投写画像を操作面ＳＳ上に投写する機能を有する。投写部２００は、図３で説明した投写レンズ２１０の他に、光変調部２２０と、光源２３０とを有する。光変調部２２０は、投写画像メモリー５１０から与えられる投写画像データに応じて光源２３０からの光を変調することによって投写画像光ＩＭＬを形成する。この投写画像光ＩＭＬは、ＲＧＢの３色の可視光線を含むカラー画像光であり、投写レンズ２１０によって操作面ＳＳ上に投写される。なお、光源２３０としては、超高圧水銀ランプ等の光源ランプの他、発光ダイオード等の種々の光源を採用可能である。発光ダイオードは、レーザーダイオードでもよい。また、光変調部２２０としては、透過型又は反射型の液晶パネルやデジタルミラーデバイス等を採用可能であり、色光別に複数の光変調部２２０を備えた構成としてもよい。
【００２９】
図１４に、操作モード判断に応じた画像投写処理のフローチャートの例を示す。
【００３０】
以上に説明した本実施形態によれば、ユーザーは、書込みモードと、消去モード書込みモードと消去モードとの選択が容易になり、且つ、操作モードが直感的に分かり易くなる。
【００３１】
本開示は、本実施形態の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現できる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態中の技術的特徴は、先述の課題の一部又は全部を解決するために、或いは、先述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせができる。その技術的特徴が本実施形態中に必須なものとして説明されていなければ、適宜、削除できる。例えば、以下の実施形態が例示される。
【００３２】
第１カメラ３１０による撮像画像と第２カメラ３２０による撮像画像との何れか一方のみを、テンプレート画像とマッチングさせてもよい。この場合、第１カメラ３１０及び第２カメラ３２０のそれぞれが撮影した画像に基づくテンプレート画像を用いた方がよい。
【００３３】
指示体７０は、発光する機能を有していてもよい。
【００３４】
上記実施形態において、ソフトウエアによって実現された機能及び処理の一部又は全部は、ハードウエアによって実現されてもよい。また、ハードウエアによって実現された機能及び処理の一部又は全部は、ソフトウエアによって実現されてもよい。ハードウエアとしては、例えば、集積回路、ディスクリート回路、または、それらの回路を組み合わせた回路モジュールなど、各種回路を用いてもよい。
【符号の説明】
【００３５】
７０…指示体、７１…先端部、７２…軸部、７３…後端部、１００…プロジェクター、２００…投写部、２１０…投写レンズ、２２０…光変調部、２３０…光源、３００…撮像部、３１０…第１カメラ、３２０…第２カメラ、５００…投写画像生成部、５１０…投写画像メモリー、６１０…検出部、６２０…記憶部、６３０…判断部、７００…制御部、９００…プロジェクションシステム、９１０…支持部材、９２０…スクリーン板、ＩＭＬ…投写画像光、ＰＳ…投写画面、ＳＳ…操作面（投写スクリーン面）
【図１】
2019106106.tif 000003
【図２】
2019106106.tif 000004
【図３】
2019106106.tif 000005
【図４】
2019106106.tif 000006
【図５】
2019106106.tif 000007
【図６】
2019106106.tif 000008
【図７】
2019106106.tif 000009
【図８】
2019106106.tif 000010
【図９】
2019106106.tif 000011
【図１０】
2019106106.tif 000012
【図１１】
2019106106.tif 000013
【図１２】
2019106106.tif 000014
【図１３】
2019106106.tif 000015
【図１４】
2019106106.tif 000016