(57)【要約】【課題】表示装置と画像提供装置とが、表示面における指示体の位置に応じた所定の処理を実行可能である場合に、表示装置と画像提供装置とのいずれもが所定の処理を実行しなくなる可能性を低減する手法を提供する。【解決手段】表示面における指示体の位置に応じた所定の処理と所定の処理を実行させるために用いる第１画像を表示面に表示する第１処理とを実行可能な表示装置に画像情報を提供し、かつ、所定の処理を実行させるために用いる第２画像を示す情報を表示装置に提供する第２処理と所定の処理とを実行可能な画像提供装置であって、表示装置が第１処理を実行中である通知を、表示装置から受け付ける受付部と、画像提供装置が第２処理を実行中であるかどうかを判定する判定部と、受付部が通知を受け付け、かつ、画像提供装置が第２処理を実行中であると判定部が判定した場合、表示装置に第１処理を中止させる制御部を含む。【選択図】図４
2019121207.tif 000002
【特許請求の範囲】
【請求項１】
表示面における指示体の位置に応じた所定の処理と前記所定の処理を実行させるために用いる第１画像を前記表示面に表示する第１処理とを実行可能な表示装置に画像情報を提供し、かつ、前記所定の処理を実行させるために用いる第２画像を示す情報を前記表示装置に提供する第２処理と前記所定の処理とを実行可能な画像提供装置であって、
前記表示装置が前記第１処理を実行中である通知を、前記表示装置から受け付ける受付部と、
前記画像提供装置が前記第２処理を実行中であるかどうかを判定する判定部と、
前記受付部が前記通知を受け付け、かつ、前記画像提供装置が前記第２処理を実行中であると前記判定部が判定した場合、前記表示装置に前記第１処理を中止させる制御部と、
を含むことを特徴とする画像提供装置。
【請求項２】
前記制御部は、前記画像提供装置が前記第２処理を実行中であるときに前記受付部が前記通知を受け付けた場合、前記表示装置に前記第１処理を中止させる、
ことを特徴とする請求項１に記載の画像提供装置。
【請求項３】
前記制御部は、前記受付部が前記通知を受け付けた後に、前記画像提供装置が前記第２処理を実行した場合、前記表示装置に前記第１処理を中止させる、
ことを特徴とする請求項１に記載の画像提供装置。
【請求項４】
前記表示装置が前記第１処理を中止しているときに前記指示体が前記表示面から所定の範囲内に含まれていた場合、前記指示体が前記所定の範囲内に含まれていることを示すイベント情報を、前記表示装置から取得する取得部を含む、
ことを特徴とする請求項３に記載の画像提供装置。
【請求項５】
前記第２処理を実行可能なソフトウェアを示すソフトウェア情報を記憶する記憶部を含み、
前記判定部は、前記画像提供装置上で実行されているソフトウェアが前記ソフトウェア情報に示されるソフトウェアである場合、前記画像提供装置が前記第２処理を実行中であると判定し、
前記制御部は、前記受付部が前記通知を受け付け、かつ前記画像提供装置上で前記ソフトウェアが実行されている場合、前記表示装置に前記第１処理を中止させる、
ことを特徴とする請求項１に記載の画像提供装置。
【請求項６】
前記表示装置と前記画像提供装置とは、前記画像情報を前記表示装置に送信する第１通信、および前記画像提供装置と前記表示装置との間で前記画像情報以外の情報を送受信する第２通信によって接続可能であり、
前記制御部は、
前記第２通信によって接続されているときに前記第２通信を切断する指示を受け付けた場合、前記表示装置に前記第１処理を実行するように指示する、
ことを特徴とする請求項１から５のいずれか１項に記載の画像提供装置。
【請求項７】
表示面における指示体の位置に応じた所定の処理と前記所定の処理を実行させるために用いる第１画像を前記表示面に表示する第１処理とを実行可能な表示装置に画像情報を提供し、かつ、前記所定の処理を実行させるために用いる第２画像を示す情報を前記表示装置に提供する第２処理と前記所定の処理とを実行可能な画像提供装置の制御方法であって、
前記画像提供装置が、
前記表示装置が前記第１処理を実行中である通知を、前記表示装置から受け付け、
前記画像提供装置上で前記第２処理を実行中であるかどうかを判定し、
前記通知を受け付け、かつ、前記画像提供装置が前記第２処理を実行中であると判定した場合、前記表示装置に前記第１処理を中止させる、
ことを特徴とする画像提供装置の制御方法。
【請求項８】
表示面における指示体の位置に応じた所定の処理と前記所定の処理を実行させるために用いる第１画像を前記表示面に表示する第１処理とを実行可能な表示装置に画像情報を提供し、かつ、前記所定の処理を実行させるために用いる第２画像を示す情報を前記表示装置に提供する第２処理と前記所定の処理とを実行可能な画像提供装置において実行可能なプログラムであって、
前記画像提供装置に、
前記表示装置が前記第１処理を実行中である通知を、前記表示装置から受け付けさせ、
前記画像提供装置が前記第２処理を実行中であるかどうかを判定させ、
前記通知を受け付け、かつ、前記画像提供装置が前記第２処理を実行中であると判定した場合、前記表示装置に前記第１処理を中止させる、
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像提供装置、画像提供装置の制御方法、およびプログラムに関する。
【背景技術】
【０００２】
表示面における指示体の位置に応じた処理（以下「所定の処理」とも称する）を行う表示装置が、各種提案されている。所定の処理では、例えば、指示体の位置に応じて表示面に線が描画される。表示装置は、所定の処理を実行させるために用いる操作用画像を表示面に表示する。操作用画像は、例えば、指示体の先端位置を指示体の位置として示すポインターの画像と、所定の処理の実行を支援するためのメニューバーの画像との少なくともいずれかである。メニューバーの画像は、例えば、所定の処理を実行するために用いられるボタンを含む。特許文献１には、操作用画像である第１画像を表示面に表示可能な表示装置と、表示装置に画像情報を提供し、さらに操作用画像である第２画像を示す情報を提供可能な画像提供装置とが開示されている。この表示装置は、画像提供装置から画像情報を受け付けている場合に、画像提供装置から第２画像を示す情報を受け付けているとみなして、第１画像を表示しない。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−８８８４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の表示装置は、画像提供装置から画像情報を受け付けていても、第２画像を示す情報を受け付けていない場合がある。この場合、従来の表示装置は、第１画像を表示する必要があるが、画像提供装置から第２画像を示す情報を受け付けているとみなすため、第１画像を表示しない。このため、第１画像と第２画像とのいずれも表示されなくなる。従って、表示装置と画像提供装置とのいずれも、所定の処理を実行しなくなってしまう。
【０００５】
本発明は、表示装置と画像提供装置とが、表示面における指示体の位置に応じた所定の処理を実行可能である場合に、表示装置と画像提供装置とのいずれもが所定の処理を実行しなくなる可能性を低減することを解決課題の一つとする。
【課題を解決するための手段】
【０００６】
本発明の好適な態様（第１態様）に係る画像提供装置は、表示面における指示体の位置に応じた所定の処理と前記所定の処理を実行させるために用いる第１画像を前記表示面に表示する第１処理とを実行可能な表示装置に画像情報を提供し、かつ、前記所定の処理を実行させるために用いる第２画像を示す情報を前記表示装置に提供する第２処理と前記所定の処理とを実行可能な画像提供装置であって、前記表示装置が前記第１処理を実行中である通知を、前記表示装置から受け付ける受付部と、前記画像提供装置が前記第２処理を実行中であるかどうかを判定する判定部と、前記受付部が前記通知を受け付け、かつ、前記画像提供装置が前記第２処理を実行中であると前記判定部が判定した場合、前記表示装置に前記第１処理を中止させる制御部と、を含む。
以上の態様では、画像提供装置は、第２処理を実行中である場合に、表示装置に第１処理を中止させる。従って、表示装置および画像提供装置のいずれもが所定の処理を実行しなくなる可能性を低くすることが可能になる。また、表示装置および画像提供装置のいずれもが所定の処理を実行してしまう可能性を低くすることも可能になる。
【０００７】
第１態様の好適例（第２態様）において、前記制御部は、前記画像提供装置が前記第２処理を実行中であるときに前記受付部が前記通知を受け付けた場合、前記表示装置に前記第１処理を中止させる。
以上の態様では、第２処理を実行している状況で、第１処理を実行する場合であっても、第１処理が中止される。このため、表示装置および画像提供装置がともに所定の処理を実行する状況が発生する可能性を低減することが可能になる。よって、この状況において発生する利便性の低下を抑止することが可能になる。
【０００８】
第１態様の好適例（第３態様）において、前記制御部は、前記受付部が前記通知を受け付けた後に、前記画像提供装置が前記第２処理を実行した場合、前記表示装置に前記第１処理を中止させる。
以上の態様では、第１処理が実行中の状況で、第２処理を実行する場合であっても、第１処理が中止される。このため、表示装置および画像提供装置がともに所定の処理を実行する状況が発生する可能性を低減することが可能になる。よって、この状況において発生する利便性の低下を抑止することが可能になる。
【０００９】
第３態様の好適例（第４態様）において、前記表示装置が前記第１処理を中止しているときに前記指示体が前記表示面から所定の範囲内に含まれていた場合、前記指示体が前記所定の範囲内に含まれていることを示すイベント情報を、前記表示装置から取得する取得部を含む。
第１処理を中止しているときに、指示体が表示面から所定の範囲内に含まれている場合には、表示装置が、指示体の位置に応じた所定の処理を実行している可能性が高い。従って、以上の態様では、表示装置からイベント情報を取得することにより、画像提供装置が、第１処理を中止させた状況での指示体の位置に応じた所定の処理を行うことが可能になる。このため、ユーザーが期待した処理を行うことが可能になる。
【００１０】
第１態様の好適例（第５態様）において、前記第２処理を実行可能なソフトウェアを示すソフトウェア情報を記憶する記憶部を含み、前記判定部は、前記画像提供装置上で実行されているソフトウェアが前記ソフトウェア情報に示されるソフトウェアである場合、前記画像提供装置が前記第２処理を実行中であると判定し、前記制御部は、前記受付部が前記通知を受け付け、かつ前記画像提供装置上で前記ソフトウェアが実行されている場合、前記表示装置に前記第１処理を中止させる。
以上の態様では、ソフトウェア情報に示されるソフトウェアが実行する場合でも、表示装置および画像提供装置がともに所定の処理を実行する状況が発生する可能性を低減することが可能になる。よって、この状況において発生する利便性の低下を抑止することが可能になる。
【００１１】
第１態様から第５態様の好適例（第６態様）において、前記表示装置と前記画像提供装置とは、前記画像情報を前記表示装置に送信する第１通信、および前記画像提供装置と前記表示装置との間で前記画像情報以外の情報を送受信する第２通信によって接続可能であり、前記制御部は、前記第２通信によって接続されているときに前記第２通信を切断する指示を受け付けた場合、前記表示装置に前記第１処理を実行するように指示する。
以上の態様では、第２通信が切断された後も、表示装置が所定の処理を実行することが可能になるため、利便性を向上させることが可能になる。
【００１２】
本発明の好適な態様（第７態様）に係る画像提供装置の制御方法は、表示面における指示体の位置に応じた所定の処理と前記所定の処理を実行させるために用いる第１画像を前記表示面に表示する第１処理とを実行可能な表示装置に画像情報を提供し、かつ、前記所定の処理を実行させるために用いる第２画像を示す情報を前記表示装置に提供する第２処理と前記所定の処理とを実行可能な画像提供装置の制御方法であって、前記画像提供装置が、前記表示装置が前記第１処理を実行中である通知を、前記表示装置から受け付け、前記画像提供装置上で前記第２処理を実行中であるかどうかを判定し、前記通知を受け付け、かつ、前記画像提供装置が前記第２処理を実行中であると判定した場合、前記表示装置に前記第１処理を中止させる。
以上の態様では、画像提供装置は、第２処理を実行中である場合に、表示装置に第１処理を中止させる。従って、表示装置および画像提供装置のいずれもが所定の処理を実行しなくなる可能性を低くすることが可能になる。また、表示装置および画像提供装置のいずれもが所定の処理を実行してしまう可能性を低くすることも可能になる。
【００１３】
本発明の好適な態様（第８態様）に係るプログラムは、表示面における指示体の位置に応じた所定の処理と前記所定の処理を実行させるために用いる第１画像を前記表示面に表示する第１処理とを実行可能な表示装置に画像情報を提供し、前記所定の処理を実行させるために用いる第２画像を示す情報を前記表示装置に提供する第２処理と前記所定の処理とを実行可能な画像提供装置において実行可能なプログラムであって、前記画像提供装置に、前記表示装置が前記第１処理を実行中である通知を、前記表示装置から受け付けさせ、前記画像提供装置が前記第２処理を実行中であるかどうかを判定させ、前記通知を受け付け、かつ、前記画像提供装置が前記第２処理を実行中であると判定した場合、前記表示装置に前記第１処理を中止させる。
以上の態様では、画像提供装置は、第２処理を実行中である場合に、表示装置に第１処理を中止させる。従って、表示装置および画像提供装置のいずれもが所定の処理を実行しなくなる可能性を低くすることが可能になる。また、表示装置および画像提供装置のいずれもが所定の処理を実行してしまう可能性を低くすることも可能になる。
【図面の簡単な説明】
【００１４】
【図１】第１実形形態における表示システム１の構成を示す図。
【図２】ＰＪインタラクティブモードの一例を示す図。
【図３】ＰＣインタラクティブモードの一例を示す図。
【図４】第１実施形態における表示システム１の一例を示す図。
【図５】投射部１６の一例を示す図。
【図６】第１実施形態におけるフローチャート（その１）。
【図７】第１実施形態におけるフローチャート（その２）。
【図８】第２実施形態における表示システム１の一例を示す図。
【図９】第２実施形態におけるフローチャート（その１）。
【図１０】第２実施形態におけるフローチャート（その２）。
【発明を実施するための形態】
【００１５】
以下、本発明を実施するための形態について図面を参照して説明する。ただし、各図において、各部の寸法および縮尺は、実際のものと適宜に異ならせてある。また、以下に述べる実施の形態は、本発明の好適な具体例であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。
【００１６】
＜第１実施形態＞
図１は、第１実施形態における表示システム１の構成を示す図である。表示システム１は、プロジェクター１１（表示装置の一例）と、ＰＣ（Personal Computer）（画像提供装置の一例）２１とを含む。プロジェクター１１とＰＣ２１とは、投射対象となる画像Ｇ（図２参照）を示す画像情報ＧＩ（図４参照）をＰＣ２１がプロジェクター１１に送信する第１通信、および、ＰＣ２１とプロジェクター１１との間で画像情報ＧＩ以外の情報が送受信される第２通信とによって接続可能である。第１通信は、例えば、ＲＧＢ（Red Green Blue）ケーブル、ＤＶＩ（Digital Visual Interface）ケーブル、または、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ケーブル等の通信ケーブル６１を介して行われる。第２通信は、例えば、ＵＳＢ（登録商標）（Universal Serial Bus）ケーブル６２を介して行われる。
以下、第１通信を、「画像用通信」と称し、第２通信を「ＵＳＢ通信」と称する。
【００１７】
画像情報ＧＩの形式は、例えば、プレゼンテーションファイル、文書ファイルまたはＪＰＥＧ（Joint Photographic Experts Group）等の画像ファイルである。
【００１８】
プロジェクター１１は、ＰＣ２１から受信した画像情報ＧＩが示す画像を、投射面ＳＣ（表示面の一例）に投射する。投射面ＳＣは、壁面に固定された平板に限らず、壁面でもよい。ここで、投射面ＳＣ上で画像が投射される範囲を実投射領域１１Ａ（表示可能領域）とする。
【００１９】
表示システム１では、プロジェクター１１による画像の投射中に、ユーザーが指示体１２を手に持って、投射面ＳＣの実投射領域１１Ａにおける位置指示操作を実行できる。指示体１２は、ペン型または棒形状の操作デバイスである。指示体１２は、投射面ＳＣの上の任意の位置を指し示すために用いられる。プロジェクター１１は、指示体１２の先端１２Ａの位置を指示体１２の位置として検出する機能を有し、検出した位置の座標を示す制御情報を、ＵＳＢ通信を介してＰＣ２１に出力する。
【００２０】
表示システム１は、操作用画像（第１画像および第２画像の例）を投射面ＳＣに投射する。操作用画像は、投射面ＳＣにおける指示体１２の位置に応じた処理（所定の処理）を実行させるために用いられる。表示システム１は、操作用画像への操作に応じて所定の処理を実行可能である。所定の処理では、例えば、指示体１２の位置に応じて投射面ＳＣに線が描画される。以下、所定の処理を、「描画処理」とも称する。
【００２１】
表示システム１は、ＰＪインタラクティブモードと、ＰＣインタラクティブモードとを有する。第１実施形態において、表示システム１は、ＰＪインタラクティブモードとＰＣインタラクティブモードとが同時に起動しない。ＰＪインタラクティブモードでは、プロジェクター１１がインタラクティブ処理を実行する。ＰＣインタラクティブモードでは、ＰＣ２１がインタラクティブ処理を実行する。以下に記載する「インタラクティブモード」は、ＰＪインタラクティブモードとＰＣインタラクティブモードとの総称を示す。
【００２２】
インタラクティブ処理では、操作用画像を表示するための処理が実行され、操作用画像への操作に応じた描画処理が実行される。以下、説明を容易にするために、プロジェクター１１が実行するインタラクティブ処理を、「ＰＪインタラクティブ処理」と称し、ＰＣ２１が実行するインタラクティブ処理を、「ＰＣインタラクティブ処理」と称する。以下に記載するインタラクティブ処理は、ＰＪインタラクティブ処理およびＰＣインタラクティブ処理の総称を示す。また、プロジェクター１１が実行する描画処理を、「ＰＪ描画処理」と称し、ＰＣ２１が実行する描画処理を、「ＰＣ描画処理」と称する。以下に記載する描画処理は、ＰＪ描画処理およびＰＣ描画処理の総称を示す。
【００２３】
インタラクティブ処理では、例えば、指示体１２の位置に応じて投射面ＳＣに線が描画される。プロジェクター１１は、操作用画像を投射面ＳＣに表示する。
【００２４】
以下、ＰＪ描画処理を実行させるために用いる操作用画像を「第１操作用画像（第１画像の例）」と称し、第１操作用画像を示す情報を「第１操作用画像情報」と称する。同様に、ＰＣ描画処理を実行させるために用いる操作用画像を「第２操作用画像（第２画像の例）」と称し、第２操作用画像を示す情報を「第２操作用画像情報」と称する。以下に記載する操作用画像は、第１操作用画像および第２操作用画像の総称を示す。
【００２５】
操作用画像は、先端１２Ａの位置を指示体１２の位置として示すポインターの画像と、描画処理（所定の処理）の実行を支援するためのメニューバーの画像との少なくともいずれかである。以下では、説明の簡略化のため、操作用画像は、メニューバーの画像であるとする。
【００２６】
ＰＪインタラクティブ処理を表示システム１が実行する場合、プロジェクター１１は、第１操作用画像を投射面ＳＣに投射する第１処理を実行する。また、表示システム１がＰＣインタラクティブ処理を実行する場合、ＰＣ２１は、第２操作用画像情報をプロジェクター１１に提供する第２処理を実行する。以下、第１処理を「第１操作用画像投射処理」と称し、第２処理を「第２操作用画像提供処理」と称する。以上により、プロジェクター１１は、ＰＪインタラクティブ処理として、第１操作用画像投射処理と、ＰＪ描画処理とを実行する。同様に、ＰＣ２１は、ＰＣインタラクティブ処理として、第２操作用画像提供処理と、ＰＣ描画処理とを実行する。
【００２７】
ＰＣインタラクティブモードでは、ＰＣ２１は、第２操作用画像提供処理を実行し、画像情報ＧＩが示す画像と、第２操作用画像とを重畳させた重畳画像を示す重畳画像情報を、プロジェクター１１に送信する。プロジェクター１１は、受信した重畳画像情報が示す重畳画像を投射面ＳＣに投射し、描画処理が実行できるようにする。
【００２８】
図２および図３を用いて、ＰＪインタラクティブモードの一例と、ＰＣインタラクティブモードの一例と、を説明する。
【００２９】
図２は、ＰＪインタラクティブモードの一例を示す図である。図２に示すように、投射面ＳＣ内の実投射領域１１Ａには、重畳画像ＯＬＧ１が投射されている。重畳画像ＯＬＧ１は、第１操作用画像ＳＧ１と、ＰＣ２１から受信した画像情報ＧＩが示す画像Ｇと、ＰＪ描画処理によって描画された線分ＬＧ１とを含む。図２に示す状態となる前の状態から説明を行う。プロジェクター１１は、画像Ｇと、第１操作用画像ＳＧ１とを投射する。そして、プロジェクター１１は、先端１２Ａの位置を撮像して先端１２Ａの位置を特定し、第１操作用画像ＳＧ１内のいずれのボタンが押下されたかを判断する。
【００３０】
図２の例では、先端１２Ａの軌跡に応じた線分を描画する処理に応じたボタンが押下されたとする。プロジェクター１１は、先端１２Ａの位置を再び撮像して、先端１２Ａの位置を特定する。次に、プロジェクター１１は、ＰＪ描画処理によって、特定した位置に応じた線分ＬＧ１を示す画像情報を生成する。以下、描画処理によって生成された画像を「操作位置関連画像」と称し、操作位置関連画像を示す画像情報を、「操作位置関連画像情報」と称する。そして、プロジェクター１１は、画像Ｇと、操作位置関連画像情報が示す線分ＬＧ１と、第１操作用画像ＳＧ１とを重畳した重畳画像ＯＬＧ１を投射面ＳＣに投射する。
【００３１】
図３は、ＰＣインタラクティブモードの一例を示す図である。図３に示すように、投射面ＳＣ内の実投射領域１１Ａには、重畳画像ＯＬＧ２が投射されている。重畳画像ＯＬＧ２は、第２操作用画像ＳＧ２と、画像情報ＧＩが示す画像Ｇと、ＰＣ描画処理によって描画された線分ＬＧ２とを含む。図３に示す状態となる前の状態から説明を行う。ＰＣ２１は、第２操作用画像ＳＧ２と、画像Ｇとを重畳した重畳画像を示す重畳画像情報を生成し、プロジェクター１１に送信する。プロジェクター１１は、ＰＣ２１から受信した重畳画像情報が示す重畳画像を投射面ＳＣに投射する。その重畳画像をプロジェクター１１が投射することにより、第２操作用画像ＳＧ２が投射面ＳＣに投射される。そして、プロジェクター１１は、先端１２Ａの位置を撮像して、先端１２Ａの位置を特定し、第２操作用画像ＳＧ２内のいずれのボタンが押下されたかを判断する。
【００３２】
図３の例では、先端１２Ａの軌跡に応じた線分を描画する処理に応じたボタンが押下されたとする。プロジェクター１１は、先端１２Ａの位置を撮像して、先端１２Ａの位置を特定し、特定した位置をＰＣ２１に送信する。ＰＣ２１は、特定した位置に応じた線分ＬＧ２を示す操作位置関連画像情報を生成する。そして、ＰＣ２１は、画像Ｇと、第２操作用画像ＳＧ２と、操作位置関連画像情報が示す線分ＬＧ２とを重畳した重畳画像ＯＬＧ２を示す重畳画像情報を生成し、生成した重畳画像情報をプロジェクター１１に送信する。プロジェクター１１は、受信した重畳画像情報が示す重畳画像ＯＬＧ２を投射面ＳＣに投射する。
【００３３】
図２および図３で示すように、第１操作用画像ＳＧ１と第２操作用画像ＳＧ２との見た目は類似しており、ＰＪインタラクティブ処理とＰＣインタラクティブ処理との操作感も類似する。このため、ＰＪインタラクティブモードとＰＣインタラクティブモードとは相互に類似する。機能の点から比較すると、一般的には、ＰＪインタラクティブモードにおいて、プロジェクター１１は、操作位置関連画像を一時的な情報として保存しない。一方で、ＰＣインタラクティブモードにおいて、ＰＣ２１は、操作位置関連画像情報を再編集可能な形式で保存したり、先端１２Ａの軌跡を録画保存したりする等、操作位置関連画像を再利用することが可能である。
そこで、第１実施形態では、ＰＪインタラクティブ処理とＰＣインタラクティブ処理とが同時に実行しようとされる場合には、ＰＪインタラクティブ処理よりも高機能であるＰＣインタラクティブ処理を実行させて、ＰＪインタラクティブ処理を実行しないようにする。
【００３４】
図４は、第１実施形態における表示システム１の一例を示す図である。プロジェクター１１とＰＣ２１とについて、ＰＪインタラクティブモードと、ＰＣインタラクティブモードと、インタラクティブモードの制御と、に分けて説明する。
【００３５】
＜ＰＪインタラクティブモード＞
以下に、表示システム１がＰＪインタラクティブモードである場合の説明を行う。第１実施形態におけるプロジェクター１１は、記憶部１３と、処理部１４と、画像処理部１５と、投射部１６と、撮像部１７と、位置特定部１８とを含む。
【００３６】
記憶部１３は、コンピューター読み取り可能な記録媒体である。記憶部１３は、例えば、不揮発性メモリーの一つであるフラッシュメモリーである。記憶部１３は、フラッシュメモリーに限らず適宜変更可能である。記憶部１３は、第１操作用画像情報ＳＧＩ１と、処理部１４が実行するプロジェクター１１のプログラムとを記憶する。
【００３７】
処理部１４は、ＣＰＵ（Central Processing Unit）等のコンピューターである。処理部１４は、記憶部１３に記憶されたプロジェクター１１のプログラムを読み取り実行することによって、通信部１４１と、ＰＪインタラクティブ処理実行部１４２とを実現する。ＰＪインタラクティブ処理実行部１４２は、第１操作用画像取得部１４２１と、ＰＪ描画処理実行部１４２２とを含む。なお、処理部１４は、１または複数のプロセッサーによって構成されてもよい。処理部１４を構成する１または複数のプロセッサーによって、通信部１４１と、ＰＪインタラクティブ処理実行部１４２とが実現されてもよい。１または複数のプロセッサーによって、画像処理部１５が実現されてもよい。通信部１４１と、ＰＪインタラクティブ処理実行部１４２とのそれぞれの処理結果は、記憶部１３に格納される。
【００３８】
表示システム１がＰＪインタラクティブモードである場合、ＰＪインタラクティブ処理実行部１４２が、ＰＪインタラクティブ処理を実行する。具体的には、ＰＪインタラクティブ処理実行部１４２に含まれる第１操作用画像取得部１４２１が、第１操作用画像情報ＳＧＩ１を取得し、画像処理部１５に送信する。
【００３９】
画像処理部１５は、受け付けた画像情報に対して画像処理を施して、投射面ＳＣに投射させる投射画像を示す画像情報を生成する。例えば、画像処理部１５は、ＰＣ２１から受け付けた画像情報ＧＩと、第１操作用画像取得部１４２１から受け付けた第１操作用画像情報ＳＧＩ１とに基づいて、画像情報Ｇが示す画像Ｇと、第１操作用画像ＳＧ１とを重畳した重畳画像を示す重畳画像情報を生成する。
【００４０】
投射部１６は、画像処理部１５が生成した画像情報が示す投射画像を、投射面ＳＣに投射する。投射部１６の構成について、図５を用いて説明する。
【００４１】
図５は、投射部１６の一例を示す図である。投射部１６は、光源１６１と、光変調装置の一例である３つの液晶ライトバルブ１６２（１６２Ｒ，１６２Ｇ，１６２Ｂ）と、投射光学系の一例である投射レンズ１６３と、ライトバルブ駆動部１６４等を含む。投射部１６は、光源１６１から射出された光を液晶ライトバルブ１６２で変調して画像（画像光）を形成し、画像を投射レンズ１６３から拡大投射する。画像は、投射面ＳＣに表示される。
【００４２】
光源１６１は、キセノンランプ、超高圧水銀ランプ、ＬＥＤ、またはレーザー光源等から形成される光源部１６１ａと、光源部１６１ａが放射した光の方向のばらつきを低減するリフレクター１６１ｂとを含む。光源１６１から射出された光は、不図示のインテグレーター光学系によって輝度分布のばらつきが低減され、その後、不図示の色分離光学系によって光の３原色である赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の色光成分に分離される。Ｒ，Ｇ，Ｂの色光成分は、それぞれ液晶ライトバルブ１６２Ｒ，１６２Ｇ，１６２Ｂに入射する。
【００４３】
液晶ライトバルブ１６２は、一対の透明基板間に液晶が封入された液晶パネル等によって構成される。液晶ライトバルブ１６２には、マトリクス状に配列された複数の画素１６２ｐからなる矩形の画素領域１６２ａが形成されている。液晶ライトバルブ１６２では、液晶に対して画素１６２ｐごとに駆動電圧を印加することが可能である。ライトバルブ駆動部１６４が、投射面ＳＣに投射する画像を示す画像情報に応じた駆動電圧を各画素１６２ｐに印加すると、各画素１６２ｐは、画像情報に応じた光透過率に設定される。このため、光源１６１から射出された光は、画素領域１６２ａを透過することで変調され、投射面ＳＣに投射する画像情報に応じた画像が色光ごとに形成される。
【００４４】
図４の説明に戻る。
撮像部１７は、実投射領域１１Ａを撮像する。実投射領域１１Ａには、投射部１６が投射した画像が含まれる。さらに、実投射領域１１Ａには、指示体１２が含まれることがある。撮像部１７は、撮像した画像を示す撮像画像情報を、位置特定部１８に送信する。撮像画像情報の形式には、以下に示す２つの形式がある。第１の形式は、ＲＧＢ形式またはＹＵＶ形式である。第２の形式は、ＹＵＶ形式のうち輝度成分（Ｙ）のみである。
撮像部１７が撮像可能な光は、以下に示す２つの態様がある。第１の態様における光は、可視光である。第２の態様における光は、赤外線等の不可視光である。撮像部１７が不可視光を撮像可能な場合、指示体１２は、以下に示す２つの態様がある。第１の態様における指示体１２は、不可視光を射出する。撮像部１７は、指示体１２から射出された不可視光を撮像する。第２の態様における指示体１２は、不可視光を反射可能な反射部を有する。プロジェクター１１は、投射面ＳＣに対して不可視光を投射する。撮像部１７は、指示体１２の反射部によって反射された非可視光を撮像する。
【００４５】
位置特定部１８は、撮像部１７から得られた撮像画像情報に基づいて、先端１２Ａの位置を特定する。具体的には、位置特定部１８は、撮像画像情報から、投射面ＳＣにおける先端１２Ａの位置を示す２次元の座標を特定する。さらに、位置特定部１８は、投射面ＳＣに先端１２Ａが触れている（「指示体が表示面から所定の範囲内に含まれる」の一例）か否かに基づいて、指示体１２に関連するイベントを特定する。指示体１２に関連するイベントは、例えば、ペンダウンイベントおよびペンアップイベントである。ペンダウンイベントは、先端１２Ａが投射面ＳＣに触れていることを示す。ペンダウンイベントを示すイベント情報には、特定した先端１２Ａの位置、すなわち、先端１２Ａが投射面ＳＣに触れている位置を示す位置情報が含まれる。ペンアップイベントは、投射面ＳＣに触れていた先端１２Ａが投射面ＳＣから離れたことを示す。ペンアップイベントを示すイベント情報には、特定した先端１２Ａの位置、すなわち、先端１２Ａが投射面ＳＣから離れた位置を示す位置情報が含まれる。
位置特定部１８は、特定したイベントを示すイベント情報を、表示システム１がＰＪインタラクティブモードであればＰＪ描画処理実行部１４２２に送信し、表示システム１がＰＣインタラクティブモードであれば通信部１４１に送信する。以下では、表示システム１がＰＪインタラクティブモードである場合を引き続き説明する。
【００４６】
ＰＪ描画処理実行部１４２２は、位置特定部１８が特定したイベントに基づいて、ＰＪ描画処理を実行する。例えば、ＰＪ描画処理実行部１４２２は、ペンダウンイベントの位置からペンアップイベントの位置までの線分を示す操作位置関連画像情報を生成する。ＰＪ描画処理実行部１４２２は、生成した操作位置関連画像情報を画像処理部１５に送信する。画像処理部１５は、画像情報ＧＩと、第１操作用画像情報ＳＧＩ１と、操作位置関連画像情報とに基づいて、画像Ｇと、第１操作用画像ＳＧ１と、操作位置関連画像とを重畳した重畳画像を示す重畳画像情報を生成する。画像処理部１５は、生成した重畳画像情報を投射部１６に送信する。これにより、投射面ＳＣには、操作位置関連画像が表示される。
【００４７】
以上のように、ＰＪインタラクティブモードでは、第１操作用画像取得部１４２１が第１操作用画像情報ＳＧＩ１を取得し、画像処理部１５が、第１操作用画像ＳＧ１を含む重畳画像を示す重畳画像情報を生成し、投射部１６が、重畳画像情報を示す重畳画像を投射する。従って、第１操作用画像投射処理は、第１操作用画像取得部１４２１と、画像処理部１５と、投射部１６との協働によって実行される。第１操作用画像投射処理が実行されることにより、表示システム１がＰＪインタラクティブ処理を実行できるようにする。さらに、ＰＪ描画処理実行部１４２２が、ＰＪ描画処理を実行する。
【００４８】
＜ＰＣインタラクティブモード＞
以下に、表示システム１がＰＣインタラクティブモードである場合の説明を行う。第１実施形態におけるＰＣ２１は、記憶部２２と、処理部２３とを含む。
【００４９】
記憶部２２は、コンピューター読み取り可能な記録媒体である。記憶部２２は、例えば、不揮発性メモリーの一つであるフラッシュメモリーである。記憶部２２は、フラッシュメモリーに限らず適宜変更可能である。記憶部２２は、画像情報ＧＩと、第２操作用画像情報ＳＧＩ２と、処理部２３が実行するＰＣ２１のプログラムとを記憶する。
【００５０】
処理部２３は、ＣＰＵ等のコンピューターである。処理部２３は、記憶部２２に記憶されたＰＣ２１のプログラムを読み取り実行することによって、ＰＣインタラクティブ処理実行部２３１と、画像生成部２３２と、取得部２３３と、受付部２３５と、判定部２３６と、制御部２３７とを実現する。ＰＣインタラクティブ処理実行部２３１は、第２操作用画像提供部２３１１と、ＰＣ描画処理実行部２３１２とを含む。なお、処理部２３は、１または複数のプロセッサーによって構成されてもよい。処理部２３を構成する１または複数のプロセッサーによって、ＰＣインタラクティブ処理実行部２３１と、画像生成部２３２と、取得部２３３と、受付部２３５と、判定部２３６と、制御部２３７とが実現されてもよい。ＰＣインタラクティブ処理実行部２３１と、画像生成部２３２と、取得部２３３と、受付部２３５と、判定部２３６と、制御部２３７とのそれぞれの処理結果は、記憶部２２に格納される。
ＰＣインタラクティブ処理実行部２３１と、画像生成部２３２と、取得部２３３と、受付部２３５と、判定部２３６と、制御部２３７とは、例えば、アプリケーションソフトウェア（以下、「アプリ」と称する）のプログラムを読み取り実行することによって実現される。第１実施形態において、前述のアプリは、例えば、プロジェクター１１の製造元によって開発された特定のアプリである。特定のアプリは、ユーザーの操作等に従って、画像情報ＧＩを生成し、画像情報ＧＩを記憶部２２に格納する。例えば、特定のアプリがプレゼンテーションソフトウェアであれば、画像情報ＧＩは、プレゼンテーションファイルである。
【００５１】
表示システム１がＰＣインタラクティブモードである場合、ＰＣインタラクティブ処理実行部２３１が、ＰＣインタラクティブ処理を実行する。具体的には、ＰＣインタラクティブ処理実行部２３１に含まれる第２操作用画像提供部２３１１が、第２操作用画像情報ＳＧＩ２を取得し、画像生成部２３２に提供する。
【００５２】
画像生成部２３２は、画像情報ＧＩと、第２操作用画像情報ＳＧＩ２とに基づいて、画像Ｇと第２操作用画像ＳＧ２とを重畳させた重畳画像を示す重畳画像情報を生成する。画像生成部２３２は、画像用通信を介して、生成した重畳画像情報をプロジェクター１１に送信する。画像処理部１５は、画像生成部２３２が生成した重畳画像情報に対して画像処理を施して、投射面ＳＣに投射させる投射画像を示す画像情報を生成する。投射部１６は、投射画像を投射面ＳＣに投射する。これにより、第２操作用画像ＳＧ２が投射面ＳＣに投射される。撮像部１７が実投射領域１１Ａを撮像し、位置特定部１８が先端１２Ａの位置を特定する。
【００５３】
前述したように、位置特定部１８は、表示システム１がＰＣインタラクティブモードである場合、特定したイベントを示すイベント情報を、通信部１４１に送信する。通信部１４１は、イベント情報を、ＵＳＢ通信を介して、ＰＣ２１に送信する。
【００５４】
取得部２３３は、通信部１４１から受け付けたイベント情報を、ＰＣ描画処理実行部２３１２に送信する。ＰＣ描画処理実行部２３１２は、取得部２３３が取得したイベント情報が示すイベントに基づいて、ＰＣ描画処理を実行する。例えば、ＰＣ描画処理実行部２３１２は、ペンダウンイベントの位置からペンアップイベントの位置までの線分を示す操作位置関連画像情報を生成する。ＰＣ描画処理実行部２３１２は、生成した操作位置関連画像情報を画像生成部２３２に送信する。画像生成部２３２は、画像情報ＧＩと第２操作用画像情報ＳＧＩ２と操作位置関連画像情報とに基づいて、画像Ｇと第２操作用画像ＳＧ２と操作位置関連画像を重畳させた重畳画像を示す重畳画像情報を生成する。画像生成部２３２は、画像用通信を介して、生成した重畳画像情報をプロジェクター１１に送信する。画像処理部１５は、画像生成部２３２が生成した重畳画像情報に対して画像処理を施して、投射面ＳＣに投射させる投射画像を示す画像情報を生成する。投射部１６は、投射画像を投射面ＳＣに投射する。これにより、操作位置関連画像が投射面ＳＣに投射される。
【００５５】
以上のように、ＰＣインタラクティブモードでは、第２操作用画像提供部２３１１が第２操作用画像情報ＳＧＩ２をプロジェクター１１に提供して、表示システム１がＰＣインタラクティブ処理を実行できるようにする。さらに、ＰＣ描画処理実行部２３１２が、ＰＣ描画処理を実行する。
【００５６】
＜インタラクティブモードの制御＞
以下に、ＰＪインタラクティブモードとＰＣインタラクティブモードの制御について説明する。通信部１４１は、第１操作用画像投射処理を実行中である旨の実行中通知を、ＵＳＢ通信を介して、受付部２３５に送信する。例えば、通信部１４１は、第１操作用画像取得部１４２１が第１操作用画像情報ＳＧＩ１を記憶部１３から取得した場合に、実行中通知を受付部２３５に送信する。受付部２３５は、実行中通知を、通信部１４１から受け付ける。
【００５７】
判定部２３６は、ＰＣインタラクティブ処理を実行中であるかどうかを判定する。ＰＣインタラクティブ処理を実行中である状態を、「実行中状態」と記載する。例えば、判定部２３６は、特定のアプリが起動して、第２操作用画像提供部２３１１が第２操作用画像情報ＳＧＩ２を取得した場合、実行中状態であると判定する。
【００５８】
制御部２３７は、受付部２３５が実行中通知を受け付け、かつ、判定部２３６が実行中状態を判定した場合、ＵＳＢ通信を介して、プロジェクター１１にＰＪインタラクティブ処理を中止させる指示を送信する。第１操作用画像取得部１４２１は、ＰＪインタラクティブ処理を中止させる指示を受け付けた場合、第１操作用画像情報ＳＧＩ１の取得を中止する。第１操作用画像情報ＳＧＩ１の取得を中止することにより、第１操作用画像投射処理が中止される。同様に、ＰＪ描画処理実行部１４２２は、ＰＪ描画処理を実行していれば、ＰＪ描画処理を終了する。
【００５９】
例えば、制御部２３７は、判定部２３６が実行中状態と判定した状況で、受付部２３５が実行中通知を受け付けた場合、プロジェクター１１にＰＪインタラクティブ処理を中止させる。判定部２３６が実行中状態と判定した状況で、受付部２３５が実行中通知を受け付ける場合とは、例えば、特定のアプリを実行しており表示システム１がＰＣインタラクティブモードである状況で、プロジェクター１１がＰＪインタラクティブ処理を起動した場合である。
【００６０】
また、制御部２３７は、受付部２３５が実行中通知を受け付けた状況で、判定部２３６が実行中状態であると判定した場合、プロジェクター１１に第１操作用画像投射処理を中止させる。さらに、制御部２３７は、ＰＪ描画処理も実行中であれば、ＰＪ描画処理も中止させる。受付部２３５が実行中通知を受け付けた状況で、判定部２３６が実行中状態と判定する場合とは、例えば、表示システム１がＰＪインタラクティブモードである状況で、特定のアプリが起動した場合である。
【００６１】
受付部２３５が実行中通知を受け付けた状況で、判定部２３６が実行中状態と判定した場合には、ＰＪインタラクティブ処理が実行中である。従って、ユーザーが指示体１２を操作中で、ペンダウンイベント特定後であってペンアップイベント特定前という一連の操作の途中の可能性がある。ペンダウンイベント特定後であってペンアップイベント特定前である場合とは、先端１２Ａが投射面ＳＣに触れている場合である。先端１２Ａが投射面ＳＣに触れている場合、指示体１２の操作によって描画が行われることをユーザーが期待している。
前述した一連の操作に対応する描画処理を完結するため、通信部１４１は、制御部２３７が第１操作用画像投射処理を中止しているときに、先端１２Ａが投射面ＳＣに触れている場合、擬似的なペンダウンイベント情報を取得部２３３に送信する。擬似的なペンダウンイベント情報が示すイベントの位置は、実際にペンダウンイベントが特定された位置であることが好ましい。
取得部２３３は、通信部１４１から擬似的なペンダウンイベント情報を取得する。取得部２３３は、擬似的なペンダウンイベント情報を、ＰＣ描画処理実行部２３１２に送信する。ＰＣ描画処理実行部２３１２は、擬似的なペンダウンイベント情報を受信した後には、ユーザーの操作によるペンアップイベント情報を受け付けるため、一連の操作に対応する描画処理を完結することができる。
【００６２】
図６および図７を用いて、第１実施形態における表示システム１のフローチャートについて説明する。図６に示すフローチャートは、判定部２３６が実行中状態と判定した状況で、受付部２３５が実行中通知を受け付ける場合、すなわち、特定のアプリを実行している状況で、プロジェクター１１においてＰＪインタラクティブ処理が起動した場合を示す。図７に示すフローチャートは、受付部２３５が実行中通知を受け付けた状況で、判定部２３６が実行中状態であると判定する場合、すなわち、表示システム１がＰＪインタラクティブモードである状況で、特定のアプリが起動した場合を示す。
【００６３】
図６は、第１実施形態におけるフローチャート（その１）である。処理部２３は、特定のアプリを起動する（ステップＳ６０１）。次に、受付部２３５は、ＵＳＢ通信を介して、プロジェクター１１にＰＪインタラクティブ処理の実行状態を問い合わせる（ステップＳ６０２）。通信部１４１は、ＵＳＢ通信を介して、ＰＪインタラクティブ処理の実行状態を受付部２３５に送信する（ステップＳ６０３）。ここで、図６に示す表示システム１の状態では、ＰＪインタラクティブ処理の起動を監視しており、第１操作用画像取得部１４２１は実行中となり得る。しかし、ＰＪ描画処理実行部１４２２は、イベント情報をまだ受け付けていないため、ＰＪ描画処理は実行中とはならない。
【００６４】
受付部２３５は、受け付けた実行状態が実行中状態であるか否かを判断する（ステップＳ６０４）。受け付けた実行状態が実行中状態でない場合（ステップＳ６０４：Ｎｏ）、受付部２３５は、一定時間経過後、再びステップＳ６０２の処理を実行する。
【００６５】
受け付けた実行状態が実行中状態である場合（ステップＳ６０４：Ｙｅｓ）、制御部２３７は、ＵＳＢ通信を介して、ＰＪインタラクティブ処理の中止を指示する（ステップＳ６０５）。ＰＪインタラクティブ処理実行部１４２は、中止の指示を受け付けた場合、ＰＪインタラクティブ処理を中止する（ステップＳ６０６）。上述したように、第１操作用画像取得部１４２１だけが実行中であるため、第１操作用画像取得部１４２１は、第１操作用画像情報ＳＧＩ１の取得を中止する。
【００６６】
ステップＳ６０５の処理終了後、処理部２３は、特定のアプリが終了したか否かを判断する（ステップＳ６０７）。特定のアプリが実行中の場合（ステップＳ６０７：Ｎｏ）、処理部２３は、一定時間経過後、再びステップＳ６０７の処理を実行する。
【００６７】
一方、特定のアプリが終了した場合（ステップＳ６０７：Ｙｅｓ）、制御部２３７は、ＵＳＢ通信を介して、プロジェクター１１にＰＪインタラクティブ処理の実行を指示する（ステップＳ６０８）。ステップＳ６０８の処理を終了後、ＰＣ２１は、図６に示した動作を終了する。
【００６８】
ＰＪインタラクティブ処理実行部１４２は、実行の指示を受け付けた場合、ＰＪインタラクティブ処理を実行する（ステップＳ６０９）。ステップＳ６０９の処理を終了後、プロジェクター１１は、図６に示した動作を終了する。
【００６９】
図７は、第１実施形態におけるフローチャート（その２）である。第１操作用画像取得部１４２１は、第１操作用画像情報を取得する（ステップＳ７０１）。そして、ＰＪ描画処理実行部１４２２は、ＰＪ描画処理を実行する（ステップＳ７０２）。次に、通信部１４１は、ＵＳＢ通信を介して、ＰＣ２１とＵＳＢ通信可能か否かを判断する（ステップＳ７０３）。ＰＣ２１とＵＳＢ通信可能でない場合（ステップＳ７０３：Ｎｏ）、通信部１４１は、一定時間経過後、ステップＳ７０２の処理を再び実行する。ＰＣ２１とＵＳＢ通信可能である場合（ステップＳ７０３：Ｙｅｓ）、通信部１４１は、ＰＣ２１からの指示を待ち受ける。
【００７０】
判定部２３６は、特定のアプリが実行中であるか否かを判定する（ステップＳ７０４）。特定のアプリが実行中でない場合（ステップＳ７０４：Ｎｏ）、判定部２３６は、一定時間経過後、ステップＳ７０４の処理を実行する。一方、特定のアプリが実行中である場合（ステップＳ７０４：Ｙｅｓ）、制御部２３７は、ＰＪインタラクティブ処理の中止を指示する（ステップＳ７０５）。
【００７１】
ＰＪインタラクティブ処理実行部１４２は、ＰＪインタラクティブ処理の中止を受け付けたか否かを判断する（ステップＳ７０６）。ＰＪインタラクティブ処理の中止を受け付けたていない場合（ステップＳ７０６：Ｎｏ）、ＰＪ描画処理実行部１４２２は、ステップＳ７０２の処理を再び実行する。一方、ＰＪインタラクティブ処理の中止を受け付けた場合（ステップＳ７０６：Ｙｅｓ）、ＰＪインタラクティブ処理実行部１４２は、ＰＪインタラクティブ処理を中止する（ステップＳ７０７）。さらに、先端１２Ａが投射面ＳＣに触れている場合には、通信部１４１は、ＵＳＢ通信を介して、擬似的なペンダウンイベント情報をＰＣ２１に送信する（ステップＳ７０８）。
【００７２】
取得部２３３は、プロジェクター１１から、擬似的なペンダウンイベント情報を取得する（ステップＳ７０９）。取得部２３３は、取得したペンダウンイベント情報を、ＰＣ描画処理実行部２３１２に送信する。ステップＳ７０９の処理後、取得部２３３は、ユーザーの指示体１２の操作に応じてペンアップイベント情報を取得し、ＰＣ描画処理実行部２３１２に送信する。ＰＣ描画処理実行部２３１２は、受け付けたペンダウンイベント情報が示すイベントとペンアップイベントが示すイベントとに基づいて、ＰＣ描画処理を実行する。
【００７３】
ステップＳ７０９の処理終了後、処理部２３は、特定のアプリが終了したか否かを判断する（ステップＳ７１０）。特定のアプリが実行中の場合（ステップＳ７１０：Ｎｏ）、処理部２３は、一定時間経過後、再びステップＳ７１０の処理を実行する。
【００７４】
一方、特定のアプリが終了した場合（ステップＳ７１０：Ｙｅｓ）、制御部２３７は、ＵＳＢ通信を介して、プロジェクター１１にＰＪインタラクティブ処理の実行を指示する（ステップＳ７１１）。ステップＳ７１１の処理を終了後、ＰＣ２１は、図７に示した動作を終了する。
【００７５】
ＰＪインタラクティブ処理実行部１４２は、実行の指示を受け付けた場合、ＰＪインタラクティブ処理を実行する（ステップＳ７１２）。ステップＳ７１２の処理を終了後、プロジェクター１１は、図７に示した動作を終了する。
【００７６】
第１実施形態に応じたＰＣ２１およびＰＣ２１の制御方法では、受付部２３５が実行中通知を受け付け、かつ、判定部２３６が実行中状態を判定した場合、制御部２３７が、プロジェクター１１にＰＪインタラクティブ処理を中止させる。このように、ＰＣ２１は、ＰＪインタラクティブ処理とＰＣインタラクティブ処理とが実行中である場合に、プロジェクター１１に第１操作用画像投射処理を中止させる。従って、プロジェクター１１およびＰＣ２１のいずれもインタラクティブ処理を実行しなくなる可能性を低くすることが可能になる。また、プロジェクター１１およびＰＣ２１のいずれもがインタラクティブ処理を実行してしまう可能性を低くすることも可能になる。
また、ＰＣ２１は、インタラクティブ処理の実行中という、インタラクティブ処理を実行するか否かの確かな情報を用いてプロジェクター１１およびＰＣ２１のいずれがインタラクティブ処理を実行するかを判断する。従って、ＰＣ２１は、画像情報ＧＩを受け付けている場合という、インタラクティブ処理を実行するとは限らない不確かな情報を用いる場合よりも正確に判断することが可能になる。
また、ＰＣインタラクティブ処理およびＰＪインタラクティブ処理が実行中となる場合には、ＰＪインタラクティブ処理を中止させることにより、インタラクティブ処理が２つ実行する際に起こる利便性の低下を抑止することが可能である。インタラクティブ処理が２つ実行する際に起こる利便性の低下について、例えば、描画処理が、線を描画する処理であると想定する。この想定の基、プロジェクター１１とＰＣ２１とが共に、線を描画する処理を実行すると、プロジェクター１１とＰＣ２１とのそれぞれが描画した結果、２つの線が描画される場合がある。ユーザーは、１つの線が描画されることを想定しているため、処理結果と想定した結果とが乖離することになり、利便性を損なってしまう。
また、ＰＣインタラクティブ処理およびＰＪインタラクティブ処理が実行中となる場合には、ＰＪインタラクティブ処理を中止させて、ＰＣインタラクティブ処理の実行を継続することにより、より高機能であるＰＣインタラクティブ処理を実行させることができる。
また、ユーザーは、ＰＣ２１とプロジェクター１１とがＵＳＢ通信によって接続されており、かつ、特定のアプリが起動している状況であれば、常にＰＣインタラクティブ処理が動作していると把握すればよい。この把握により、ユーザーは、表示システム１のインタラクティブモードを容易に特定することが可能になる。表示システム１のインタラクティブモードを容易に特定することが可能になることによって、インタラクティブモードの利便性を向上させることが可能になる。
インタラクティブモードの特定と利便性との関係について、ＰＣインタラクティブ処理とＰＪインタラクティブ処理とは、完全に同一の結果とならずに差異がある場合があり、処理結果とユーザーが想定した結果とが乖離すると、利便性が低下する。例えば、線を描画する処理であっても、ＰＪ描画処理とＰＣ描画処理とでは、描画される線の太さが異なる場合がある。この場合、ＰＪ描画処理とＰＣ描画処理とのうち、ユーザーが想定していない方の描画処理が実行されると、ユーザーが想定した線の太さではない太さで描画され、利便性が低下する。また、図２および図３で示したように、ＰＪインタラクティブモードとＰＣインタラクティブモードとは類似するため、ユーザーは、見た目および操作感からは表示システム１の現在のインタラクティブモードを特定することが困難である。
しかし、第１実施形態では、ユーザーは、表示システム１のインタラクティブモードを容易に特定することが可能であるため、処理結果とユーザーが想定した結果とが一致しやすくなって、利便性を向上させることが可能になる。
【００７７】
第１実施形態では、判定部２３６が実行中状態と判定した状況で、受付部２３５が実行中通知を受け付けた場合、制御部２３７は、プロジェクター１１にＰＪインタラクティブ処理を中止させる。このように、特定のアプリを実行しており表示システム１がＰＣインタラクティブモードである状況で、ＰＪインタラクティブ処理が起動した場合であっても、ＰＪインタラクティブ処理を中止させて、ＰＣインタラクティブ処理の実行を継続する。従って、前述の場合であっても、インタラクティブ処理が２つ実行されることを抑止して、利便性の低下を抑止することが可能になる。
【００７８】
第１実施形態では、受付部２３５が実行中通知を受け付けた状況で、判定部２３６が実行中状態であると判定した場合、プロジェクター１１に第１操作用画像投射処理を中止させる。このように、表示システム１がＰＪインタラクティブモードである状況で、特定のアプリが起動した場合であっても、ＰＪインタラクティブ処理を中止させて、ＰＣインタラクティブ処理を実行する。従って、前述の場合であっても、インタラクティブ処理が２つ実行されることを抑止して、利便性の低下を抑止することが可能になる。
【００７９】
第１実施形態では、制御部２３７からＰＪインタラクティブ処理を中止させた状況で、取得部２３３は、先端１２Ａが投射面ＳＣに触れている場合に擬似的なペンダウンイベント情報を取得する。前述したように、擬似的なペンダウンイベント情報を取得する場合とは、ペンダウンイベント特定後であってペンアップイベント特定前という一連の操作の途中で、制御部２３７からＰＪインタラクティブ処理を中止させた場合である。この場合、指示体１２の操作によって描画が行われることをユーザーが期待していることになる。
従って、擬似的なペンダウンイベント情報を取得することにより、前述の一連の操作に対応するＰＣ描画処理を行うことが可能になり、ユーザーが期待した描画を行うことが可能になる。
【００８０】
＜第２実施形態＞
第１実施形態では、判定部２３６は、特定のアプリが起動しているか否かに応じて、ＰＣインタラクティブ処理が実行中か否かを判定する。一方、第２実施形態では、記憶部２２が、ＰＪインタラクティブ処理実行部１４２を実現可能なプログラムを有するアプリを特定する情報を記憶し、判定部２３６が、記憶部２２の記憶内容を参照して、ＰＣインタラクティブ処理を実行中か否かを判定する。さらに、第２実施形態では、制御部２３７は、ＵＳＢ通信を切断する指示を受け付けた場合に、プロジェクター１１にＰＪインタラクティブ処理を実行するように指示する。以下、第２実施形態について説明する。なお、以下に例示する各形態及び各変形例において作用や機能が第１実施形態と同様である要素については、第１実施形態で使用した符号を流用して各々の詳細な説明を適宜に省略する。
【００８１】
図８は、第２実施形態における表示システム１の一例を示す図である。第１実施形態との変更箇所について説明する。
【００８２】
記憶部２２は、さらに、ソフトウェア情報ＳＣＩを記憶する。ソフトウェア情報ＳＣＩは、ＰＣインタラクティブ処理を実行可能なアプリを示す。例えば、ソフトウェア情報ＳＣＩは、ＰＣインタラクティブ処理を実行可能なアプリのＩＤ（IDentifier）または名称を含む。
【００８３】
第２実施形態において、ＰＣインタラクティブ処理実行部２３１と、画像生成部２３２と、取得部２３３とは、処理部２３がソフトウェア情報ＳＣＩに示されるアプリのプログラムを読み取り実行することによって実現される。ソフトウェア情報ＳＣＩに示されるアプリは、例えば、プロジェクター１１の仕様に基づいて、プロジェクター１１の製造元とは異なるサードパーティーによって開発されたアプリである。このアプリは、ユーザーの操作等に従って、画像情報ＧＩを生成し、画像情報ＧＩを記憶部２２に格納する。一方、受付部２３５と、判定部２３６と、制御部２３７とは、処理部２３がＰＣ２１に常駐するサービスのプログラムを読み取り実行することによって実現される。ＰＣ２１に常駐するサービスは、例えば、プロジェクター１１の製造元によって開発される。
【００８４】
判定部２３６は、ＰＣ２１上で実行されているアプリがソフトウェア情報ＳＣＩに示されるソフトウェアである場合、ＰＣ２１がＰＣインタラクティブ処理を実行中であると判定する。
【００８５】
制御部２３７は、ＵＳＢ通信によってプロジェクター１１とＰＣ２１とが接続されているときにＵＳＢ通信を切断する指示を受け付けた場合、プロジェクター１１にＰＪインタラクティブ処理を実行するように指示する。
【００８６】
図９および図１０を用いて、第２実施形態における表示システム１のフローチャートについて説明する。図９に示すフローチャートは、受付部２３５が実行中通知を受け付けた状況で、判定部２３６が実行中状態であると判定する場合、すなわち、表示システム１がＰＪインタラクティブモードである状況で、アプリが起動した場合を示す。図１０に示すフローチャートは、表示システム１がＰＣインタラクティブモードである状況で、ＵＳＢ通信を切断する指示を受け付けた場合である。
【００８７】
図９は、第２実施形態におけるフローチャート（その１）である。受付部２３５は、ＵＳＢ通信を介して、プロジェクター１１にＰＪインタラクティブ処理の実行状態を問い合わせる（ステップＳ９０１）。通信部１４１は、ＵＳＢ通信を介して、ＰＪインタラクティブ処理の実行状態を受付部２３５に送信する（ステップＳ９０２）。ここで、図６で示す状況と同様に、図９に示す表示システム１の状態では、ＰＪインタラクティブ処理の起動を監視しており、第１操作用画像取得部１４２１は実行中となり得る。しかし、ＰＪ描画処理実行部１４２２は、イベントをまだ受け付けていないため、ＰＪ描画処理は実行中とはならない。
【００８８】
受付部２３５は、受け付けた実行状態が実行中状態であるか否かを判断する（ステップＳ９０３）。受け付けた実行状態が実行中状態でない場合（ステップＳ９０３：Ｎｏ）、受付部２３５は、一定時間経過後、ステップＳ９０１の処理を再び実行する。
【００８９】
受け付けた実行状態が実行中状態である場合（ステップＳ９０３：Ｙｅｓ）、判定部２３６は、ソフトウェア情報ＳＣＩに示されるアプリが実行中か否かを判定する（ステップＳ９０４）。ソフトウェア情報ＳＣＩに示されるアプリが実行中でない場合（ステップＳ９０４：Ｎｏ）、一定時間経過後、受付部２３５は、ステップＳ９０１の処理を再び実行する。
【００９０】
一方、ソフトウェア情報ＳＣＩに示されるアプリが実行中である場合（ステップＳ９０４：Ｙｅｓ）、制御部２３７は、ＵＳＢ通信を介して、ＰＪインタラクティブ処理の中止を指示する（ステップＳ９０５）。ステップＳ９０５の処理を終了後、ＰＣ２１は、図９に示した動作を終了する。
【００９１】
ＰＪインタラクティブ処理実行部１４２は、中止の指示を受け付けた場合、ＰＪインタラクティブ処理を中止する（ステップＳ９０６）。上述したように、第１操作用画像取得部１４２１だけが実行中であるため、第１操作用画像取得部１４２１は、第１操作用画像情報ＳＧＩ１の取得を中止する。ステップＳ９０６の処理を終了後、プロジェクター１１は、図９に示した動作を終了する。
【００９２】
図１０は、第２実施形態におけるフローチャート（その２）である。制御部２３７は、プロジェクター１１とＵＳＢ通信中か否かを判断する（ステップＳ１００１）。
【００９３】
プロジェクター１１とＵＳＢ通信中でない場合（ステップＳ１００１：Ｎｏ）、制御部２３７は、一定時間経過後、ステップＳ１００１の処理を再び実行する。一方、プロジェクター１１とＵＳＢ通信中である場合（ステップＳ１００１：Ｙｅｓ）、制御部２３７は、ＰＣ２１のユーザーの操作によって、ＵＳＢ通信の切断指示を受け付けたか否かを判断する（ステップＳ１００２）。
【００９４】
ＵＳＢ通信の切断指示を受け付けてない場合（ステップＳ１００２：Ｎｏ）、制御部２３７は、一定時間経過後、ステップＳ１００２の処理を実行する。一方、ＵＳＢ通信の切断指示を受け付けた場合（ステップＳ１００２：Ｙｅｓ）、制御部２３７は、ＵＳＢ通信を介して、ＰＪインタラクティブ処理の実行を指示する（ステップＳ１００３）。
【００９５】
ＰＪインタラクティブ処理実行部１４２は、実行の指示を受け付けた場合、ＰＪインタラクティブ処理を実行する（ステップＳ１００４）。ステップＳ１００４の処理を終了後、プロジェクター１１は、図１０に示した動作を終了する。
【００９６】
ステップＳ１００３の処理終了後、制御部２３７は、ＵＳＢ通信を切断する（ステップＳ１００５）。ステップＳ１００５の処理を終了後、ＰＣ２１は、図１０に示した動作を終了する。
【００９７】
第２実施形態に応じたＰＣ２１およびＰＣ２１の制御方法では、判定部２３６は、ＰＣ２１上で実行中のアプリがソフトウェア情報ＳＣＩに示されるソフトウェアである場合、ＰＣインタラクティブ処理の実行中状態であると判定する。これにより、特定のアプリに限らず、サードパーティーによって開発された、ＰＪインタラクティブ処理が可能なアプリが実行する場合でも、インタラクティブ処理が２つ実行されることを抑止して、利便性の低下を抑止することが可能になる。
【００９８】
第２実施形態では、制御部２３７は、ＵＳＢ通信によって接続されている状況でＵＳＢ通信を切断する指示を受け付けた場合、プロジェクター１１にＰＪインタラクティブ処理を実行するように指示する。これにより、表示システム１は、ＵＳＢ通信が切断された後もインタラクティブ処理を実行することが可能になるため、利便性を向上させることが可能になる。また、ＵＳＢ通信によって接続されている状況でＵＳＢ通信を切断する指示を受け付けた場合、プロジェクター１１にＰＪインタラクティブ処理を実行するように指示することは、第１実施形態のＰＣ２１にも適用可能である。例えば、ステップＳ６０７およびステップＳ７１０の処理を、「特定のアプリが終了したか否か、または、ＵＳＢ通信の切断指示を受け付けたか否かを判断する処理」に置き換えることにより、第１実施形態でも、ＵＳＢ通信が切断された後もインタラクティブ処理を実行することが可能になる。
【００９９】
＜変形例＞
本実施形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様は、相互に矛盾しない範囲内で適宜に併合され得る。なお、以下に例示する変形例において作用や機能が実施形態と同等である要素については、以上の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する。
【０１００】
＜第１の変形例＞
上述した各形態において、画像情報ＧＩは、第１実施形態では特定のアプリによって生成され、第２実施形態ではソフトウェア情報ＳＣＩに示されるアプリによって生成される。すなわち、上述した各形態において、画像情報ＧＩを生成するアプリと、ＰＣインタラクティブ処理を実行するアプリとは同一であったが、異なってもよい。例えば、第１実施形態に基づいて第１の変形例を説明すると、記憶部２２は、特定のアプリに関連付けたアプリを示す関連付け情報を含む。例えば、ユーザーは、特定のアプリと同時に使用したいアプリを、関連付け情報として登録する。例えば、関連付け情報に示されるアプリは、ＰＣインタラクティブ処理を有さない文章作成アプリ、表計算アプリ、またはプレゼンテーションアプリ等である。第１の変形例における特定のアプリにおける画像生成部２３２は、関連付け情報に示されるアプリが生成する画像情報ＧＩが示す画像Ｇの上に、第２操作用画像ＳＧ２を重畳させた重畳画像を示す重畳画像情報を生成する。
【０１０１】
図６において、処理部２３は、起動中のアプリを検出した場合、そのアプリが関連付け情報に示されるかを判断する。そのアプリが関連付け情報に示される場合、処理部２３は、ステップ６０１の処理を実行する。
【０１０２】
＜第２の変形例＞
上述した各形態において、指示体１２が投射面ＳＣから所定の範囲内に含まれる一例として、投射面ＳＣに先端１２Ａが触れているとしたが、これに限らない。例えば、ペンダウンイベントは、先端１２Ａが投射面ＳＣから所定の範囲内に含まれることを示してもよく、ペンアップイベントは、先端１２Ａが投射面ＳＣから所定の範囲外にあることを示してもよい。
【０１０３】
＜第３の変形例＞
上述した各形態において、所定の処理は、描画処理としたが、描画処理に限らない。例えば、所定の処理は、描画に関する処理でもよい。例えば、描画に関する処理は、例えば、この処理以降に描画する直線の太さを変更する処理、または、この処理以降に描画する描画される直線の色を変更する処理である。
【０１０４】
＜第４の変形例＞
上述した各形態において、第２通信は、ＵＳＢ通信としたが、ＵＳＢ通信に限らない。例えば、第２通信は、ＩＥＥＥ（Institute of Electrical and Electronics Engineers）１３９４に従った通信でもよい。また、第１通信および第２通信は、無線通信でもよいし、有線通信でもよい。
【０１０５】
＜第５の変形例＞
上述した各形態における投射部１６では、光変調装置として液晶ライトバルブが用いられたが、光変調装置は液晶ライトバルブに限らず適宜変更可能である。例えば、光変調装置は、３枚の反射型の液晶パネルを用いた構成であってもよい。また、光変調装置は、１枚の液晶パネルを用いた方式、３枚のデジタルミラーデバイス（ＤＭＤ）を用いた方式、１枚のデジタルミラーデバイスを用いた方式等の構成であってもよい。光変調装置として１枚のみの液晶パネルまたはＤＭＤが用いられる場合には、色分離光学系や色合成光学系に相当する部材は不要である。また、液晶パネルおよびＤＭＤ以外にも、光源が発した光を変調可能な構成は、光変調装置として採用できる。
【０１０６】
＜第６の変形例＞
処理部１４および処理部２３がプログラムを実行することによって実現される要素の全部または一部は、例えばＦＰＧＡ（Field Programmable Gate Array）またはＡＳＩＣ（Application Specific IC）等の電子回路によりハードウェアで実現されてもよいし、ソフトウェアとハードウェアとの協働により実現されてもよい。
【０１０７】
＜第７の変形例＞
上述した各形態では、表示装置がプロジェクターであったが、画像を表示可能な装置であればよく、プロジェクターに限らない。例えば、上述した各形態は、表示装置がＬＣＤ（Liquid Crystal Display）でも適用できる。同様に、上述した各形態では、画像提供装置がＰＣであったが、画像情報を提供可能な装置であればよく、ＰＣに限らない。例えば、上述した各形態は、画像提供装置が、タブレット端末、またはスマートフォンでも適用できる。また、図１では、ＰＣをラップトップＰＣとして示したが、ＰＣは、デスクトップＰＣでもよい。
【符号の説明】
【０１０８】
１…表示システム、１１…プロジェクター、１２…指示体、１２Ａ…先端、１３…記憶部、１４…処理部、１４１…通信部、１４２…ＰＪインタラクティブ処理実行部、１４２１…第１操作用画像取得部、１４２２…ＰＪ描画処理実行部、１５…画像処理部、１６…投射部、１７…撮像部、１８…位置特定部、２１…ＰＣ、２２…記憶部、２３…処理部、２３１…ＰＣインタラクティブ処理実行部、２３１１…第２操作用画像提供部、２３１２…ＰＣ描画処理実行部、２３２…画像生成部、２３３…取得部、２３５…受付部、２３６…判定部、２３７…制御部、ＳＧ１…第１操作用画像、ＳＧ２…第２操作用画像。
【図１】
2019121207.tif 000003
【図２】
2019121207.tif 000004
【図３】
2019121207.tif 000005
【図４】
2019121207.tif 000006
【図５】
2019121207.tif 000007
【図６】
2019121207.tif 000008
【図７】
2019121207.tif 000009
【図８】
2019121207.tif 000010
【図９】
2019121207.tif 000011
【図１０】
2019121207.tif 000012