(57)【要約】【課題】異なる装置により表示された隣り合う画像上の一方から他方へ指示体が移動した場合に指示体の移動に応じた処理を行えるようにする。【解決手段】プロジェクター１０Ａは、自装置が表示した画像において指示体により指示された位置の座標を特定し、特定した座標を表す第１座標情報と、自装置が表示する画像の表示位置を識別する第１識別情報を出力する。プロジェクター１０Ｂは、自装置が表示した画像において指示体により指示された位置の座標を特定し、特定した座標を表す第２座標情報と、自装置が表示する画像の表示位置を識別する第２識別情報を出力する。情報処理装置３０は、第１座標情報を第１識別情報に基づいて、情報処理装置３０の座標系における座標を表す第３座標情報に変換し、第２座標情報を第２識別情報に基づいて、情報処理装置３０の座標系における座標を表す第４座標情報に変換する変換部を有する。【選択図】図１
2017182110.tif 000002
【特許請求の範囲】
【請求項１】
情報処理装置と、前記情報処理装置から供給される第１画像データに基づいて第１画像を表示する第１表示装置と、前記情報処理装置から供給される第２画像データに基づいて第２画像を表示する第２表示装置とを有し、前記第１画像及び前記第２画像を並べて表示する表示システムであって、
前記第１画像において指示体により指示された位置の座標を特定する第１特定部と、
前記第１特定部が特定した座標を表す第１座標情報と、前記第１画像の表示位置を識別する第１識別情報を出力する第１出力部と、
前記第２画像において指示体により指示された位置の座標を特定する第２特定部と、
前記第２特定部が特定した座標を表す第２座標情報と、前記第２画像の表示位置を識別する第２識別情報を出力する第２出力部と、
前記第１出力部が出力した前記第１座標情報を、前記第１出力部が出力した前記第１識別情報に基づいて、前記情報処理装置の座標系における座標を表す第３座標情報に変換し、前記第２出力部が出力した前記第２座標情報を、前記第２出力部が出力した前記第２識別情報に基づいて、前記情報処理装置の座標系における座標を表す第４座標情報に変換する変換部と
を備える表示システム。
【請求項２】
前記第１識別情報は、前記第２画像に対する前記第１画像の相対位置を表し、
前記第２識別情報は、前記第１画像に対する前記第２画像の相対位置を表す
請求項１に記載の表示システム。
【請求項３】
前記第１識別情報は、前記第１表示装置の識別子であり、
前記第２識別情報は、前記第２表示装置の識別子であり、
前記第１識別情報と前記第１画像の表示位置とを対応付けて記憶し、前記第２識別情報と前記第２画像の表示位置とを対応付けて記憶する記憶部を有し、
前記変換部は、前記第１座標情報を前記第１識別情報に対応付けて記憶された表示位置に応じて変換し、前記第２座標情報を前記第２識別情報に対応付けて記憶された表示位置に応じて変換する
請求項１に記載の表示システム。
【請求項４】
前記第１特定部は、前記第１画像を指示した指示体を識別し、
前記第２特定部は、前記第２画像を指示した指示体を識別し、
前記第１出力部は、前記第１特定部が識別した前記指示体を表す指示体識別子を出力し、
前記第２出力部は、前記第２特定部が識別した前記指示体を表す指示体識別子を出力し、
前記変換部は、前記指示体識別子と共に出力された前記第１座標情報又は前記第２座標情報を変換した座標を、前記指示体識別子で識別される指示体の座標とする
請求項１から請求項３のいずれか一項に記載の表示システム。
【請求項５】
複数の指示体毎に当該指示体に係る前記第１座標情報又は前記第２座標情報を取得する取得部を有し、
前記変換部は、前記取得部が取得した前記第１座標情報又は前記第２座標情報を変換する
請求項４に記載の表示システム。
【請求項６】
前記情報処理装置が一の表示装置へ画像を供給する第１モードと、前記情報処理装置が複数の表示装置へ画像を供給する第２モードとを有し、
前記第１表示装置は、前記第２モードの場合、前記第１座標情報と前記第１識別情報を出力し、
前記第２表示装置は、前記第２モードの場合、前記第２座標情報と前記第２識別情報を出力する
請求項１から請求項５のいずれか一項に記載の表示システム。
【請求項７】
情報処理装置から供給される画像を表示する表示部と、
前記表示部が表示した画像において指示体により指示された位置の座標を特定する特定部と、
前記特定部が特定した座標を表す座標情報と、前記表示部が表示する画像の表示位置を識別する識別情報を出力する出力部と
を備える表示装置。
【請求項８】
自装置から供給された第１画像データに基づいて第１表示装置が表示した第１画像において指示体により指示された位置の座標を表す第１座標情報と、前記第１画像の表示位置を識別する第１識別情報を取得する第１取得部と、
自装置から供給された第２画像データに基づいて第２表示装置が表示した第２画像において指示体により指示された位置の座標を表す第２座標情報と、前記第２画像の表示位置を識別する第２識別情報を取得する第２取得部と、
前記第１取得部が取得した前記第１座標情報を、前記第１取得部が取得した前記第１識別情報に基づいて、自装置の座標系における座標を表す第３座標情報に変換し、前記第２取得部が取得した前記第２座標情報を、前記第２取得部が取得した前記第２識別情報に基づいて、自装置の座標系における座標を表す第４座標情報に変換する変換部と
を備える情報処理装置。
【請求項９】
情報処理装置から第１表示装置と第２表示装置へ第１画像データと第２画像データを供給し、前記第１画像データに基づいて前記第１表示装置が表示した第１画像と前記第２画像データに基づいて前記第２表示装置が表示した第２画像とを並べて表示し、
前記第１画像において指示体により指示された位置の座標を特定する第１特定ステップと、
前記第１特定ステップで特定した座標を表す第１座標情報と、前記第１画像の表示位置を識別する第１識別情報を出力する第１出力ステップと、
前記第２画像において指示体により指示された位置の座標を特定する第２特定ステップと、
前記第２特定ステップで特定した座標を表す第２座標情報と、前記第２画像の表示位置を識別する第２識別情報を出力する第２出力ステップと、
前記第１出力ステップで出力された前記第１座標情報を、前記第１出力ステップで出力した前記第１識別情報に基づいて、前記情報処理装置の座標系における座標を表す第３座標情報に変換し、前記第２出力ステップで出力された前記第２座標情報を、前記第２出力ステップで出力された前記第２識別情報に基づいて、前記情報処理装置の座標系における座標を表す第４座標情報に変換する変換ステップと
を備える情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示システム、表示装置、情報処理装置及び情報処理方法に関する。
【背景技術】
【０００２】
タッチパネルを備える２つのディスプレイ装置で手書き入力を行う発明として、例えば特許文献１に開示されたディスプレイ装置がある。このディスプレイ装置は、一方のディスプレイ装置のベゼル付近でスタイラスペンが離れてペンアップのイベントが発生した後、他方のディスプレイ装置のベゼル付近でスタイラスペンが接してペンダウンのイベントが発生した場合、このペンアップからペンダウンまでの経過時間が所定時間内であると、他方のディスプレイ装置で表示する線の補正処理を行う。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−１７１５５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の発明においては、一方のディスプレイ装置から他方のディスプレイ装置へスタイラスペンを移動させると、一方のディスプレイ装置側ではスタイラスペン検出されなくなることによりペンアップのイベントが検出され、他方のディスプレイ装置側ではスタイラスペンが検出されることによりペンダウンのイベントが検出される。ユーザーは、一方のディスプレイ装置から他方のディスプレイ装置へスタイラスペンを移動させているが、装置としてはスタイラスペンが離れたものと認識してしまい、ユーザーの意図した操作を行えない場合が生じ得る。
【０００５】
本発明は、異なる装置により表示された隣り合う画像上の一方から他方へ指示体が移動した場合に指示体の移動に応じた処理を行えるようにする技術を提供する。
【課題を解決するための手段】
【０００６】
本発明は、情報処理装置と、前記情報処理装置から供給される第１画像データに基づいて第１画像を表示する第１表示装置と、前記情報処理装置から供給される第２画像データに基づいて第２画像を表示する第２表示装置とを有し、前記第１画像及び前記第２画像を並べて表示する表示システムであって、前記第１画像において指示体により指示された位置の座標を特定する第１特定部と、前記第１特定部が特定した座標を表す第１座標情報と、前記第１画像の表示位置を識別する第１識別情報を出力する第１出力部と、前記第２画像において指示体により指示された位置の座標を特定する第２特定部と、前記第２特定部が特定した座標を表す第２座標情報と、前記第２画像の表示位置を識別する第２識別情報を出力する第２出力部と、前記第１出力部が出力した前記第１座標情報を、前記第１出力部が出力した前記第１識別情報に基づいて、前記情報処理装置の座標系における座標を表す第３座標情報に変換し、前記第２出力部が出力した前記第２座標情報を、前記第２出力部が出力した前記第２識別情報に基づいて、前記情報処理装置の座標系における座標を表す第４座標情報に変換する変換部とを備える表示システムを提供する。
本発明によれば、異なる装置により表示された隣り合う画像上の一方から他方へ指示体が移動した場合に指示体の移動に応じた処理を行うことができる。
【０００７】
本発明においては、前記第１識別情報は、前記第２画像に対する前記第１画像の相対位置を表し、前記第２識別情報は、前記第１画像に対する前記第２画像の相対位置を表す構成としてもよい。
この構成によれば、表示する画像の位置に応じて座標を変換することができる。
【０００８】
また、本発明においては、前記第１識別情報は、前記第１表示装置の識別子であり、前記第２識別情報は、前記第２表示装置の識別子であり、前記第１識別情報と前記第１画像の表示位置とを対応付けて記憶し、前記第２識別情報と前記第２画像の表示位置とを対応付けて記憶する記憶部を有し、前記変換部は、前記第１座標情報を前記第１識別情報に対応付けて記憶された表示位置に応じて変換し、前記第２座標情報を前記第２識別情報に対応付けて記憶された表示位置に応じて変換する構成としてもよい。
この構成によれば、表示する画像の位置に応じて座標を変換することができる。
【０００９】
また、本発明においては、前記第１特定部は、前記第１画像を指示した指示体を識別し、前記第２特定部は、前記第２画像を指示した指示体を識別し、前記第１出力部は、前記第１特定部が識別した前記指示体を表す指示体識別子を出力し、前記第２出力部は、前記第２特定部が識別した前記指示体を表す指示体識別子を出力し、前記変換部は、前記指示体識別子と共に出力された前記第１座標情報又は前記第２座標情報を変換した座標を、前記指示体識別子で識別される指示体の座標とする構成としてもよい。
この構成によれば、異なる装置により表示された隣り合う画像上の一方から他方へ指示体が移動した場合に、複数の指示体毎に指示体の移動に応じた処理を行うことができる。
【００１０】
また、本発明においては、複数の指示体毎に当該指示体に係る前記第１座標情報又は前記第２座標情報を取得する取得部を有し、前記変換部は、前記取得部が取得した前記第１座標情報又は前記第２座標情報を変換する構成としてもよい。
この構成によれば、異なる装置により表示された隣り合う画像上の一方から他方へ指示体が移動した場合に、複数の指示体毎に指示体の移動に応じた処理を行うことができる。
【００１１】
また、本発明においては、前記情報処理装置が一の表示装置へ画像を供給する第１モードと、前記情報処理装置が複数の表示装置へ画像を供給する第２モードとを有し、前記第１表示装置は、前記第２モードの場合、前記第１座標情報と前記第１識別情報を出力し、前記第２表示装置は、前記第２モードの場合、前記第２座標情報と前記第２識別情報を出力する構成としてもよい。
この構成によれば、第１表示装置と第２表示装置により表示された隣り合う画像上の一方から他方へ指示体が移動した場合に指示体の移動に応じた処理を行うことができる。
【００１２】
また、本発明は、情報処理装置から供給される画像を表示する表示部と、前記表示部が表示した画像において指示体により指示された位置の座標を特定する特定部と、前記特定部が特定した座標を表す座標情報と、前記表示部が表示する画像の表示位置を識別する識別情報を出力する出力部とを備える表示装置を提供する。
また、本発明は、自装置から供給された第１画像データに基づいて第１表示装置が表示した第１画像において指示体により指示された位置の座標を表す第１座標情報と、前記第１画像の表示位置を識別する第１識別情報を取得する第１取得部と、自装置から供給された第２画像データに基づいて第２表示装置が表示した第２画像において指示体により指示された位置の座標を表す第２座標情報と、前記第２画像の表示位置を識別する第２識別情報を取得する第２取得部と、前記第１取得部が取得した前記第１座標情報を、前記第１取得部が取得した前記第１識別情報に基づいて、自装置の座標系における座標を表す第３座標情報に変換し、前記第２取得部が取得した前記第２座標情報を、前記第２取得部が取得した前記第２識別情報に基づいて、自装置の座標系における座標を表す第４座標情報に変換する変換部とを備える情報処理装置を提供する。
この表示装置と情報処理装置によれば、異なる装置により表示された隣り合う画像上の一方から他方へ指示体が移動した場合に指示体の移動に応じた処理を行うことができる。
【００１３】
また、本発明は、情報処理装置から第１表示装置と第２表示装置へ第１画像データと第２画像データを供給し、前記第１画像データに基づいて前記第１表示装置が表示した第１画像と前記第２画像データに基づいて前記第２表示装置が表示した第２画像とを並べて表示し、前記第１画像において指示体により指示された位置の座標を特定する第１特定ステップと、前記第１特定ステップで特定した座標を表す第１座標情報と、前記第１画像の表示位置を識別する第１識別情報を出力する第１出力ステップと、前記第２画像において指示体により指示された位置の座標を特定する第２特定ステップと、前記第２特定ステップで特定した座標を表す第２座標情報と、前記第２画像の表示位置を識別する第２識別情報を出力する第２出力ステップと、前記第１出力ステップで出力された前記第１座標情報を、前記第１出力ステップで出力した前記第１識別情報に基づいて、前記情報処理装置の座標系における座標を表す第３座標情報に変換し、前記第２出力ステップで出力された前記第２座標情報を、前記第２出力ステップで出力された前記第２識別情報に基づいて、前記情報処理装置の座標系における座標を表す第４座標情報に変換する変換ステップとを備える情報処理方法を提供する。
本発明によれば、異なる装置により表示された隣り合う画像上の一方から他方へ指示体が移動した場合に指示体の移動に応じた処理を行うことができる。
【図面の簡単な説明】
【００１４】
【図１】表示システム１に係る装置を示した図。
【図２】プロジェクター１０Ａ、１０Ｂとペン２０のハードウェア構成を示した図。
【図３】制御部１１０において実現する機能の機能ブロック図。
【図４】指示体を検出するタイムチャートの一例を示した図。
【図５】情報処理装置３０において実現する機能の機能ブロック図。
【図６】スクリーンＳＣに投写される画像の一例を示した図。
【図７】動作例を説明するための図。
【図８】動作例を説明するための図。
【図９】動作例を説明するための図。
【図１０】情報処理装置３０が行う処理の流れを示したフローチャート。
【発明を実施するための形態】
【００１５】
図１は、本発明の一実施形態である表示システム１に係る装置を示した図である。表示システム１は、情報処理装置３０、表示面となるスクリーンＳＣに画像を投写するプロジェクター１０Ａ（第１プロジェクター）、プロジェクター１０Ｂ（第２プロジェクター）を含む。
【００１６】
情報処理装置３０は、本実施形態においては、パーソナルコンピューターである。情報処理装置３０は、複数のディスプレイ装置を使用してデスクトップを拡張するマルチディスプレイ機能を備える。
指示体の一例であるペン２０は、プロジェクター１０Ａ、１０Ｂ又は情報処理装置３０を操作するためのポインティングデバイスとして機能する。また、本実施形態においては、ユーザーの指も情報処理装置３０を操作するための指示体として機能し得る。
【００１７】
表示装置の一例であるプロジェクター１０Ａ、１０Ｂは、情報処理装置３０から供給される映像信号が表す画像をスクリーンＳＣへ投写する。本実施形態においては、プロジェクター１０Ａ、１０Ｂは、情報処理装置３０がマルチディスプレイ機能を使用するときのディスプレイ装置となる。また、プロジェクター１０Ａ、１０Ｂは、ペン２０を情報処理装置３０のポインティングデバイスとして使用するためのＰＣ操作機能を備えている。プロジェクター１０Ａ、１０Ｂは、スクリーンＳＣの斜め上方に設置され、スクリーンＳＣに向けて映像を投写する。なお、本実施形態においては、プロジェクター１０Ａ、１０Ｂは、スクリーンＳＣへ映像を投写するが、スクリーンＳＣの替わりに壁面（表示面）に映像を投写してもよい。また、本実施形態においては、プロジェクター１０Ａ、１０Ｂは、金具によって壁面に設置される構成となっているが、天井に設置してもよい。天井に設置した場合、スクリーンＳＣの替わりに机上に映像を投写してもよい。
【００１８】
発光装置４０Ａ、４０Ｂは、スクリーンＳＣ上にある指に光を照射する発光部を有する。発光装置４０Ａ、４０ＢはスクリーンＳＣの上端より上に設置され、下向きに角度θの範囲に赤外光を拡散させて出射する。発光装置４０Ａ、４０Ｂから出射された光は、スクリーンＳＣに沿う光の層を形成する。本実施形態では、角度θは、ほぼ１８０度に達し、スクリーンＳＣのほぼ全体に、光の層が形成される。スクリーンＳＣの表面と、発光装置４０により形成される光の層とは近接していることが好ましい。スクリーンＳＣの表面から離れた位置にある指も照射できるように光の層は厚みを持っている。また、発光部を積層することにより離れた位置にある指を照射してもよい。発光装置４０Ａからの光の出射は、プロジェクター１０Ａにより制御され、発光装置４０Ｂからの光の出射は、プロジェクター１０Ｂにより制御される。
【００１９】
（プロジェクター１０Ａ、１０Ｂ、ペン２０の構成）
図２は、プロジェクター１０Ａ、１０Ｂ及びペン２０のハードウェア構成を示した図である。ペン２０は、制御部２１０、通信部２２０、発光部２３０、操作部２４０、電源２５０を有する。電源２５０は、例えば乾電池又は二次電池であり、制御部２１０、通信部２２０、発光部２３０及び操作部２４０へ電力を供給する。操作部２４０は、電源２５０から各部への電力供給を制御するスイッチ（図示略）を備えている。操作部２４０のスイッチがオンとなると、電源２５０から各部へ電力が供給され、操作部２４０のスイッチがオフとなると、電源２５０から各部へ電力の供給が停止される。発光部２３０は、赤外光を発する発光ダイオードを有しており、ペン２０の先端に設けられている。発光部２３０の点灯及び消灯は、制御部２１０により制御される。発光部２３０は、点光源であり、発光部２３０が発する光は、ペン２０の先端から球面上に広がる。通信部２２０は、赤外光を受光する受光素子を備えている。通信部２２０は、プロジェクター１０から赤外光で送られる各種信号を受信する。通信部２２０は、受信した各種信号を電気信号に変換して制御部２１０へ供給する。制御部２１０は、発光部２３０及び通信部２２０に接続されている。制御部２１０は、通信部２２０から供給される信号に応じて発光部２３０の制御を開始し、発光部２３０の発光ダイオードの点灯及び消灯を制御する。
【００２０】
プロジェクター１０Ａ、１０Ｂは、制御部１１０、記憶部１２０、操作部１３０、投写部１４０を備える。また、プロジェクター１０Ａ、１０Ｂは、映像処理部１５０、インターフェース１６０、撮像部１７１及び撮像部１７２を備える。本実施形態においては、プロジェクター１０Ａ、１０Ｂのハードウェア構成は同じであるため、以下の説明においてプロジェクター１０Ａ、１０Ｂの各部を区別する必要がある場合、説明の便宜上、プロジェクター１０Ａの各部の符号の末尾には「Ａ」を付し、プロジェクター１０Ｂの各部の符号の末尾には「Ｂ」を付し、各部を区別する必要がない場合、符号の末尾への「Ａ」、「Ｂ」の付加を省略して説明を行う。
【００２１】
インターフェース１６０は、ＲＣＡ、Ｄ−Ｓｕｂ、ＨＤＭＩ（登録商標）など、映像信号が供給されるコネクターを複数有し、他の装置からコネクターに供給された映像信号を映像処理部１５０へ供給する。また、インターフェース１６０は、無線ＬＡＮ（Local Area Network）やＢｌｕｅｔｏｏｔｈ（登録商標）などの無線通信のインターフェースや、ＵＳＢ（Universal Serial Bus）や有線のＬＡＮなどの有線通信のインターフェースを有し、これらのインターフェースにより情報処理装置３０と通信を行う。また、インターフェース１６０は、赤外光を発する発光ダイオードを備えている。インターフェース１６０は、制御部１１０により、発光ダイオードの点灯及び消灯が制御され、ペン２０が備える発光部２３０の点灯及び消灯を制御するための赤外光の信号を送信する。
【００２２】
記憶部１２０は、投写する映像の画質に係る設定値や、各種機能の設定に係る情報を記憶する。操作部１３０は、プロジェクター１０を操作するための複数のボタンを備えている。操作されたボタンに応じて制御部１１０が各部を制御することにより、スクリーンＳＣに投写される映像の調整や、プロジェクター１０が有する各種機能の設定などが行われる。
【００２３】
映像処理部１５０は、インターフェース１６０から供給される映像信号を取得する。また、映像処理部１５０は、プロジェクター１０を操作するためのＧＵＩなどのオンスクリーン画像の信号を制御部１１０から取得する。映像処理部１５０は、各種の画像処理機能を備えており、インターフェース１６０から供給された映像信号に画像処理を施し、投写する映像の画質を調整する。映像処理部１５０は、制御部１１０からオンスクリーン画像の信号が供給された場合には、オンスクリーン画像の信号を重畳した映像信号を投写部１４０へ供給する。
【００２４】
映像を投写する投写部１４０は、光源１４１、ライトバルブ１４２、駆動回路１４４及び投写光学系１４３を有している。光源１４１は、光を発するランプであり、光源１４１が発した光は、図示省略した複数のダイクロイックミラーやミラーによって赤、緑、青の光に分光され、分光された赤、緑、青のそれぞれの光はライトバルブ１４２に導かれる。なお、光源１４１は、ランプではなく、発光ダイオード又はレーザー光を発する半導体レーザー装置であってもよい。
【００２５】
駆動回路１４４は、映像処理部１５０から供給される映像信号を取得する。駆動回路１４４に供給される映像信号は、投写する画像における赤の成分の階調を表す階調データ、投写する画像における緑の成分の階調を表す階調データ及び投写する画像における青の成分の階調を表す階調データを有する。駆動回路１４４は、赤、緑、青の各色の階調データを抽出し、抽出した各色の階調データに基づいてライトバルブ１４２を駆動する。
【００２６】
ライトバルブ１４２は、前述の赤の光が入射する液晶ライトバルブ、前述の緑の光が入射する液晶ライトバルブ、及び前述の青の光が入射する液晶ライトバルブを有している。液晶ライトバルブは、透過型の液晶パネルであり、複数行複数列でマトリクス状に配置された画素を備えている。赤の光が入射する液晶ライトバルブは赤の階調データに基づいて駆動され、緑の光が入射する液晶ライトバルブは緑の階調データに基づいて駆動され、青の光が入射する液晶ライトバルブは青の階調データに基づいて駆動される。各液晶ライトバルブは、駆動回路１４４によって各画素が制御されて画素の透過率が変化する。画素の透過率が制御されることにより、液晶ライトバルブを透過した各色の光は、各階調データに対応した画像となる。液晶ライトバルブを透過した赤、緑、青の光の画像は、図示省略したダイクロイックプリズムにより合成されて投写光学系１４３に入射する。投写光学系１４３は、入射した画像を拡大する光学系であり、入射した画像をレンズやミラーによって拡大してスクリーンＳＣに投写する。スクリーンＳＣに画像が投写されると、表示面であるスクリーンＳＣに画像が表示される。なお、透過型の液晶パネルの替わりに反射型の液晶パネルを採用してもよいし、デジタルミラーデバイスなどを用いてもよい。
【００２７】
プロジェクター１０Ａ、１０Ｂは、ペン２０の位置及びペン２０からスクリーンＳＣまでの距離をステレオ方式で特定するために、２つの撮像部１７１及び撮像部１７２を有している。撮像部１７１及び撮像部１７２は、発光部２３０が発する赤外光を受光する撮像素子（ＣＭＯＳやＣＣＤなど）、撮像素子に像を結像する光学系、撮像素子へ入射する光を制限する絞りなどを備えている。撮像部１７１及び撮像部１７２は、投写部１４０の投写範囲を撮像範囲とし、撮像した範囲の画像を生成し、生成した画像を制御部１１０へ供給する。なお、本実施形態においては、プロジェクター１０Ａ、１０ＢがスクリーンＳＣの斜め上方に設置されるため、撮像部１７１及び撮像部１７２は、投写範囲を斜め上方から撮像することになる。
【００２８】
制御部１１０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を備えたマイクロコンピューターである。ＲＯＭに記憶されているプログラムをＣＰＵが実行すると、制御部１１０が各部を制御し、映像をスクリーンＳＣに投写する機能や上述のＰＣ操作機能などが実現する。
【００２９】
図３は、ＲＯＭのプログラムを実行することにより制御部１１０において実現する機能の機能ブロック図である。特定部１１３は、撮像部１７１及び撮像部１７２から供給される画像を解析し、指示体であるペン２０又は指により発生するイベントを特定する。また、特定部１１３は、撮像部１７１及び撮像部１７２から供給される画像を解析し、投写部１４０が投写する画像の表示領域における指示体の位置の座標と、指示体から画像の表示面であるスクリーンＳＣまでの距離を特定する。
【００３０】
特定部１１３は、画像の投写領域においてペン２０の発光部２３０の位置や指示体の一例である指の位置を、例えば図４に示したタイムチャートで周期的に特定する。指の位置や発光部２３０の位置を特定する期間は、図４に示したようにフェーズＰ１１からフェーズＰ１４までの４つのフェーズを有する。指の位置や発光部２３０の位置を検出する際には、フェーズＰ１１からフェーズＰ１４までが繰り返される。フェーズＰ１１は、プロジェクター１０が撮像部１７１及び撮像部１７２で撮像を行うタイミングと、ペン２０が発光するタイミング及び発光装置４０が赤外光を出射するタイミングを同期させるためのフェーズである。フェーズＰ１１においては、特定部１１３は、所定期間ｔｅ１で赤外光の同期信号が出力されるように通信部１８０を制御する。
【００３１】
ペン２０においては、通信部２２０が同期信号を受光し、同期信号を受光してから所定時間が経過すると、予め設定された期間ｔｅ２で発光部２３０が点灯するように、制御部２１０が発光部２３０を制御する。本実施形態においては、フェーズＰ１２、フェーズＰ１３及びフェーズＰ１４の開始時点から発光部２３０が点灯するように制御される。また、特定部１１３は、フェーズＰ１２及びフェーズＰ１４の開始時間から期間ｔｅ２で発光装置４０が赤外光を出射するように、発光装置４０を制御する。
【００３２】
特定部１１３は、フェーズＰ１２〜フェーズＰ１４において、撮像部１７１及び撮像部１７２を制御し、設定されているシャッタースピードでスクリーンＳＣを含む所定範囲を撮像する。撮像部１７１及び撮像部１７２において電子シャッター機能により露光が行われる露光期間は、フェーズＰ１２、フェーズＰ１３、フェーズＰ１４の各フェーズの開始時点から始まる。露光が終了する時点は、設定されているシャッタースピードにより定まり、各フェーズの期間内である。撮像部１７１及び撮像部１７２がフェーズＰ１２〜フェーズＰ１４の露光期間で撮像した画像は、特定部１１３へ供給される。
【００３３】
特定部１１３は、撮像部１７１及び撮像部１７２から供給された画像を用いて、投写された画像上にある指や発光部２３０の位置、スクリーンＳＣから発光部２３０までの距離を特定する。具体的には、フェーズＰ１２とフェーズＰ１４において、発光装置４０が発した赤外光が指に照射されている場合には、撮像部１７１及び撮像部１７２で得られた画像に発光装置４０から出射されて指で反射した赤外光が映る。また、フェーズＰ１２とフェーズＰ１４において、発光部２３０が撮像部１７１及び撮像部１７２の撮像範囲内にあると、撮像部１７１及び撮像部１７２で得られた画像に発光部２３０が発した赤外光も映る。フェーズＰ１３においては、発光装置４０は光を出射しないため、撮像部１７１及び撮像部１７２で得られた画像には、発光部２３０が発した赤外光が映る。
【００３４】
特定部１１３は、フェーズＰ１２〜フェーズＰ１４において、撮像部１７１及び撮像部１７２で得られた画像に映る赤外光の位置及びスクリーンＳＣまでの距離をステレオ法により特定する。特定部１１３は、フェーズＰ１２とフェーズＰ１４において位置を特定した赤外光のうち、フェーズＰ１３において位置を特定した赤外光の位置に近い位置の赤外光を特定し、特定した赤外光の位置を発光部２３０の位置とする。また、特定部１１３は、フェーズＰ１２とフェーズＰ１４において位置を特定した赤外光のうち、フェーズＰ１３において位置を特定した赤外光から遠い赤外光の位置を指の位置とする。なお、特定部１１３は、フェーズＰ１３において赤外光が撮像範囲内にない場合には、フェーズＰ１２とフェーズＰ１４において特定した位置を指の位置とする。これらの特定した位置は、描画機能やＧＵＩの操作を行うときに使用される。
【００３５】
出力部１１２は、特定部１１３が位置を特定した指示体の種別を表す指示体識別子の一例である指示体ＩＤ、特定部１１３が特定した指示体のイベントを表すイベント情報、特定部１１１３が特定した位置の座標を表す座標情報、自装置が投写する画像がマルチディスプレイ機能の２つの画面のいずれに対応しているかを表す識別情報などを、インターフェース１６０からＵＳＢケーブルを介して情報処理装置３０へ送信する。
【００３６】
（情報処理装置３０の構成）
次に情報処理装置３０の構成について説明する。情報処理装置３０には、プロジェクター１０Ａ、１０Ｂから供給される情報を取得し、プロジェクター１０Ａ、１０Ｂをポインティングデバイスとして利用するデバイスドライバがインストールされている。
【００３７】
図５は、このデバイスドライバを実行することにより情報処理装置３０において実現する機能の機能ブロック図である。第１取得部３０１は、プロジェクター１０Ａから供給される各種情報を取得する。第２取得部３０２は、プロジェクター１０Ｂから供給される各種情報を取得する。
【００３８】
変換部３０３は、第１取得部３０１が取得したイベント情報と、第２取得部３０２が取得したイベント情報とが予め定められた条件を満たした場合、第１取得部３０１が取得したイベント情報と第２取得部３０２が取得したイベント情報の組を予め定められたイベント情報に変換する。また、変換部３０３は、第１取得部３０１が取得した座標情報と第２取得部３０２が取得した座標情報を、マルチディスプレイ機能で拡張されている画面の座標に変換する。例えば、図６に示した画面例は、マルチディスプレイ機能を利用したときにプロジェクター１０Ａ、１０Ｂにより投写される画像の一例を示した図であり、領域Ａ１の部分は、プロジェクター１０Ａが投写した画像であり、領域Ａ２の部分はプロジェクター１０Ｂが投写した画像である。
【００３９】
特定部１１３Ａは、撮像部１７１Ａ及び撮像部１７２Ａで得られた画像において、領域Ａ１の左上の頂点を原点とし、右方向にＸ軸をとり、下方向にＹ軸をとる座標系を設定しており、ペン２０の座標を特定する。また、特定部１１３Ｂは、撮像部１７１Ｂ及び撮像部１７２Ｂで得られた画像において、領域Ａ２の左上の頂点を原点とし、右方向にＸ軸をとり、下方向にＹ軸をとる座標系を設定しており、ペン２０の座標を特定する。また、情報処理装置３０は、領域Ａ１＋領域Ａ２の領域において、領域Ａ１の左上の頂点を原点とし、右方向にＸ軸をとり、下方向にＹ軸をとる座標系を設定している。
【００４０】
本実施形態においては、特定部１１３Ａが特定する座標は正規化されており、原点が（０，０）、Ｘ軸方向の座標範囲が０〜１００、Ｙ軸方向の座標範囲が０〜１００となっている。特定部１１３Ａは、特定したペン２０の座標が領域Ａ１の左端である場合、Ｘ軸方向の座標を０とし、特定したペン２０の座標が領域Ａ１の右端である場合、Ｘ軸方向の座標を１００とする。
また、特定部１１３Ｂが特定する座標も正規化されており、原点が（０，０）、Ｘ軸方向の座標範囲が０〜１００、Ｙ軸方向の座標範囲が０〜１００となっている。特定部１１３Ｂは、特定したペン２０の座標が領域Ａ２の左端である場合、Ｘ軸方向の座標を０とし、特定したペン２０の座標が領域Ａ２の右端である場合、Ｘ軸方向の座標を１００とする。
また、情報処理装置３０が扱う座標も正規化されており、原点が（０，０）、Ｘ軸方向の座標範囲が０〜１００、Ｙ軸方向の座標範囲が０〜１００となっている。つまり、領域Ａ１の左端はＸ軸方向の座標が０となり、領域Ａ２の右端はＸ軸方向の座標が１００となる。
【００４１】
領域Ａ１内において、領域Ａ１の右上の頂点にあるペン２０の位置をプロジェクター１０Ａが特定した場合、ペン２０の座標情報は、プロジェクター１０Ａに設定されている座標系で表された座標となり、この座標情報（第１座標情報）を第１取得部３０１が取得する。変換部３０３は、この第１取得部３０１が取得した座標情報を、情報処理装置３０が領域Ａ１に設定している座標系に対応した座標情報に変換する。例えば、プロジェクター１０Ａで特定された座標が（５０，５０）である場合、変換部３０３は、この座標を表す座標情報を、（２５，５０）の座標を表す座標情報（第３座標情報）に変換する。
また、図６に示した領域Ａ２内において、領域Ａ２の右上の頂点にあるペン２０の位置をプロジェクター１０Ｂが特定した場合、ペン２０の座標情報は、プロジェクター１０Ｂに設定されている座標系で表された座標となり、この座標情報（第２座標情報）を第２取得部３０２が取得する。変換部３０３は、この第２取得部３０２が取得した座標情報を、情報処理装置３０が領域Ａ２に設定している座標系に対応した座標情報に変換する。例えば、プロジェクター１０Ｂで特定された座標が（５０，５０）である場合、変換部３０３は、この座標を表す座標情報を（７５，５０）の座標を表す座標情報（第４座標情報）に変換する。変換部３０３は、イベント情報や座標情報をオペレーティングシステムＯＳへ供給する。
【００４２】
（実施形態の動作例）
次に本実施形態の動作例について説明する。本実施形態においては、情報処理装置３０とプロジェクター１０Ａ、１０Ｂは、ＵＳＢケーブルにより接続され、ＵＳＢケーブルを介して通信を行う。また、情報処理装置３０とプロジェクター１０Ａ、１０Ｂは、映像ケーブルにより接続され、プロジェクター１０Ａ、１０Ｂは、情報処理装置３０から供給される映像信号を取得する。
【００４３】
情報処理装置３０においては、マルチディスプレイ機能について２つの画面を左右に並べてデスクトップを拡張する設定が行われており、情報処理装置３０は、左側の画面の映像信号（第１画像データ）をプロジェクター１０Ａへ供給し、右側の画面の映像信号（第２画像データ）をプロジェクター１０Ｂへ供給する。また、プロジェクター１０Ａ、１０Ｂにおいては、マルチディスプレイ機能の２つの画面のいずれに対応しているかの設定が行われており、プロジェクター１０Ａにおいては「左」の画面に対応している旨の設定が行われ、プロジェクター１０Ｂにおいては「右」の画面に対応している旨の設定が行われている。
【００４４】
図６は、プロジェクター１０Ａ、１０ＢによりスクリーンＳＣに投写された画像の一例である。図６の領域Ａ１の部分は、プロジェクター１０Ａが投写した画像（第１画像）であり、領域Ａ２の部分はプロジェクター１０Ｂが投写した画像（第２画像）である。マルチディスプレイ機能で直視型のディスプレイ装置を用いる場合には、ディスプレイ装置は表示画面を囲む枠（ベゼル）を備えるため、左側の画面と右側の画面は間が開いてしまうが、本実施形態においては、プロジェクター１０Ａが投写する画像とプロジェクター１０Ｂが投写する画像を左右に並べて表示（所謂タイリング表示）することが可能であるため、間を開けずに２つの画面を並べて表示することができる。
【００４５】
撮像部１７１Ａ及び撮像部１７２Ａは、領域Ａ１を撮影する。制御部１１０Ａは、撮像部１７１Ａ及び撮像部１７２Ａから供給される画像において、領域Ａ１の左上の頂点を原点とし、原点から右方向をｘ軸の正方向とし、原点から下方向をｙ軸の正方向としてｘｙ座標を設定する。また、撮像部１７１Ｂ及び撮像部１７２Ｂは、領域Ａ２を撮影する。制御部１１０Ｂは、撮像部１７１Ｂ及び撮像部１７２Ｂから供給される画像において、領域Ａ２の左上の頂点を原点とし、原点から右方向をｘ軸の正方向とし、原点から下方向をｙ軸の正方向としてｘｙ座標を設定する。
【００４６】
赤外光を発しているペン２０が撮像部１７１Ａ及び撮像部１７２Ａの撮影範囲内に入ると、撮像部１７１Ａ及び撮像部１７２Ａが生成した画像においては、発光部２３０が発した赤外光が写る。制御部１１０Ａ（特定部１１３：第１特定部）は、撮像部１７１Ａ及び撮像部１７２Ａから供給される画像を解析し、領域Ａ１のｘｙ座標における赤外光の位置の座標と、赤外光からスクリーンＳＣまでの距離（即ち、ペン２０の先端からスクリーンＳＣまでの距離）を特定する。
【００４７】
例えばユーザーが、図７に示した位置Ｐ１にペン２０の発光部２３０を接触させた場合、制御部１１０Ａは、撮像部１７１Ａ及び撮像部１７２Ａから供給された画像を解析して赤外光からスクリーンＳＣまでの距離を０と特定し、ペン２０がスクリーンＳＣに接したことを検知する。また、制御部１１０Ａは、撮像部１７１Ａ及び撮像部１７２Ａから供給された画像から位置Ｐ１の座標を特定する。
【００４８】
制御部１１０Ａ（出力部１１２：第１出力部）は、検知した指示体の種別を表す指示体ＩＤ、指示体のイベントを表すイベント情報、特定した指示体の座標を表す座標情報（第１座標情報）、プロジェクター１０Ａが投写する画像がマルチディスプレイ機能の２つの画面のいずれに対応しているかを表す識別情報を、インターフェース１６０ＡからＵＳＢケーブルを介して情報処理装置３０へ送信する。プロジェクター１０Ａが送信する識別情報は、プロジェクター１０Ａが投写する画像が、他のプロジェクターが表示する画像に対して相対的に右と左のどの表示位置に対応しているかを表す第１識別情報の一例である。ここで、制御部１１０Ａは、ペン２０を検知したため、指示体ＩＤの内容を、ペンを表す「ペン」とし、イベント情報はペン２０が投写面に接したことを表す「ペンダウン」とし、識別情報については、プロジェクター１０Ａの画面は左側に対応している旨の設定が行われているため「左」とする。
【００４９】
情報処理装置３０（第１取得部３０１）は、プロジェクター１０Ａから送信された情報を取得し、取得した情報に応じた処理を行う。まず、情報処理装置３０（変換部３０３）は、取得した情報に含まれる座標情報を、マルチディスプレイ機能で拡張されている画面の座標に変換する。具体的には、情報処理装置３０は、拡張された矩形の画面において、左上の頂点を原点とし、原点から右方向をｘ軸の正方向とし、原点から下方向をｙ軸の正方向としてｘｙ座標を設定している。情報処理装置３０は、イベント情報が「ペンダウン」であり、取得した識別情報が「左」である場合、取得した座標情報を、プロジェクター１０Ａで表示されている左側の領域内の座標に変換する。情報処理装置３０は、変換後の座標がアイコン上の位置Ｐ１である場合、位置Ｐ１にあるアイコンをドラッグする。
【００５０】
制御部１１０Ａは、赤外光からスクリーンＳＣまでの距離と赤外光の位置を撮像部１７１Ａ及び撮像部１７２Ａから供給される画像を用いて周期的に特定する。ユーザーがペン２０を位置Ｐ１から図７に示した矢印の方向へ移動させると、制御部１１０Ａは、撮像部１７１Ａ及び撮像部１７２Ａから供給された画像を解析して赤外光からスクリーンＳＣまでの距離を０と特定する。制御部１１０Ａは、新たに特定した距離が０であり、前回特定した距離も０である場合、指示体（ペン２０）のイベントについて、指示体が移動中であることを表す「ムーブ」とする。また、制御部１１０Ａは、撮像部１７１Ａ及び撮像部１７２Ａから供給された画像から、赤外光の移動後の位置の座標を特定する。
【００５１】
制御部１１０Ａは、指示体ＩＤ、イベント情報、座標情報及び識別情報を、インターフェース１６０ＡからＵＳＢケーブルを介して情報処理装置３０へ送信する。ここで、制御部１１０Ａは、指示体ＩＤの内容を、検知したペン２０を表す「ペン」とし、イベント情報はペン２０が動いたことを表す「ムーブ」とし、識別情報については、プロジェクター１０Ａの画面は左側に対応している旨の設定が行われているため「左」とする。
【００５２】
情報処理装置３０は、イベント情報が「ムーブ」であり、取得した識別情報が「左」である場合、取得した座標情報を、プロジェクター１０Ａで表示されている左側の領域内の座標に変換する。情報処理装置３０は、イベント情報が「ムーブ」である場合、位置Ｐ１にあったアイコンを変換後の座標に応じて移動させる。
【００５３】
次にユーザーがペン２０をスクリーンＳＣに接触させたまま移動させ、ペン２０が発する赤外光の位置が、図８に示したように領域Ａ１の右端の位置Ｐ１となった場合、制御部１１０Ａは、「ペン」を表す指示体ＩＤ、「ムーブ」を表すイベント情報、位置Ｐ１１の座標を表す座標情報、「左」を表す識別情報を、インターフェース１６０ＡからＵＳＢケーブルを介して情報処理装置３０へ送信する。情報処理装置３０は、プロジェクター１０Ａから送信された情報を取得すると、ドラッグされた状態であるアイコンを、取得した座標情報が表す座標に応じて移動させる。
【００５４】
次にユーザーがペン２０をスクリーンＳＣに接触させたまま移動させ、赤外光の位置が領域Ａ１から領域Ａ２に移動し、図９に示したように領域Ａ２の左端の位置Ｐ２となった場合、撮像部１７１Ａ及び撮像部１７２Ａが生成する画像においては、ペン２０が発した赤外光が写らず、撮像部１７１Ｂ及び撮像部１７２Ｂが生成する画像においては、ペン２０が発した赤外光が写る。
【００５５】
制御部１１０Ａは、撮像部１７１Ａ及び撮像部１７２Ａが生成した画像において赤外光が写っていない場合、指示体のイベントについて、指示体が投写面から離れたことを表す「ペンアップ」とする。
【００５６】
一方、撮像部１７１Ｂ及び撮像部１７２Ｂが生成した画像においては、発光部２３０が発した赤外光が写る。制御部１１０Ｂ（特定部１１３：第２特定部）は、撮像部１７１Ｂ及び撮像部１７２Ｂから供給される画像を取得する。制御部１１０Ｂは、撮像部１７１Ｂ及び撮像部１７２Ｂから供給された画像を解析して赤外光からスクリーンＳＣまでの距離を０と特定し、ペン２０がスクリーンＳＣに接したことを検知する。また、制御部１１０Ｂは、撮像部１７１Ｂ及び撮像部１７２Ｂから供給された画像から位置Ｐ２の座標を特定する。
【００５７】
制御部１１０Ａは、指示体ＩＤ，イベント情報、座標情報及び識別情報を、インターフェース１６０ＡからＵＳＢケーブルを介して情報処理装置３０へ送信する。ここで、制御部１１０Ａは、指示体ＩＤの内容を、ペンを表す「ペン」とし、イベント情報はペン２０が投写面から離れたことを表す「ペンアップ」とし、識別情報については、「左」とする。
【００５８】
また、制御部１１０Ｂ（出力部１１２：第２出力部）は、指示体ＩＤ，イベント情報、座標情報（第２座標情報）及び識別情報を、インターフェース１６０ＢからＵＳＢケーブルを介して情報処理装置３０へ送信する。ここで、制御部１１０Ｂは、指示体ＩＤの内容を、検知したペンを表す「ペン」とし、イベント情報はペン２０が投写面に接したことを表す「ペンダウン」とし、識別情報については、プロジェクター１０Ｂの画面は右側に投写されるため「右」とする。プロジェクター１０Ｂが送信する識別情報は、プロジェクター１０Ｂが投写する画像が、他のプロジェクターが表示する画像に対して相対的に右と左のどの表示位置に対応しているかを表す第２識別情報の一例である。
【００５９】
情報処理装置３０は、プロジェクター１０Ａから供給される情報を取得する。また、情報処理装置３０（第２取得部３０２）は、プロジェクター１０Ｂから供給される情報を取得する。情報処理装置３０（変換部３０３）は、取得した情報に含まれる座標情報を、マルチディスプレイ機能で拡張されている画面の座標に変換する。情報処理装置３０は、イベント情報が「ペンダウン」であり、取得した識別情報が「右」である場合、取得した座標情報を、プロジェクター１０Ｂで表示されている右側の領域内の座標に変換する。
【００６０】
情報処理装置３０は、一方のプロジェクターから供給されたイベント情報が「ムーブ」から「ペンアップ」に変化し、他方のプロジェクターから供給されたイベント情報が「ペンダウン」となった場合、イベント情報を置き換える処理を行う。
【００６１】
図１０は、イベント情報を置き換える処理の流れを示したフローチャートである。情報処理装置３０は、一方のプロジェクターから「ムーブ」のイベント情報が供給され、次にこの一方のプロジェクターから「ペンアップ」のイベント情報を供給されたか否かを判断する（ステップＳ１）。一方のプロジェクターから「ムーブ」のイベント情報が供給され、次にこの一方のプロジェクターから「ペンアップ」のイベント情報を供給された場合（ステップＳ１でＹＥＳ）、情報処理装置３０は、この「ペンアップ」のイベント情報が供給されてから予め定められた時間内に「ペンダウン」のイベント情報を他方のプロジェクターから供給されたか判断する（ステップＳ２）。情報処理装置３０は、予め定められた時間内に「ペンダウン」のイベント情報が他方のプロジェクターから供給された場合（ステップＳ２でＹＥＳ）、一方のプロジェクターから供給された「ペンアップ」のイベント情報と、他方のプロジェクターから供給された「ペンダウン」のイベント情報の組を、「ムーブ」のイベント情報に置き換える（ステップＳ３）。なお、情報処理装置３０は、ステップＳ２でＮＯと判断した場合、図１０の処理を終了する。
【００６２】
例えば、情報処理装置３０は、プロジェクター１０Ａから「ムーブ」のイベント情報の次に「ペンアップ」のイベント情報が供給され、この「ペンアップ」のイベント情報が供給されてから予め定められた時間内にプロジェクター１０Ｂから「ペンダウン」のイベント情報が供給されると、プロジェクター１０Ａから供給された「ペンアップ」のイベント情報と、プロジェクター１０Ｂから供給された「ペンダウン」のイベント情報の組を「ムーブ」のイベント情報に置き換える。
【００６３】
また、ステップＳ１においてＮＯと判断した場合、情報処理装置３０は、「ムーブ」のイベント情報が一方のプロジェクターから供給され、次に他方のプロジェクターから「ペンダウン」のイベント情報が供給されたか否かを判断する（ステップＳ４）。「ムーブ」のイベント情報が一方のプロジェクターから供給され、次に他方のプロジェクターから「ペンダウン」のイベント情報が供給された場合（ステップＳ４でＹＥＳ）、情報処理装置３０は、この「ペンダウン」のイベント情報が供給されてから予め定められた時間内に「ペンアップ」のイベント情報を一方のプロジェクターから取得したか判断する（ステップＳ５）。情報処理装置３０は、予め定められた時間内に「ペンアップ」のイベント情報を一方のプロジェクターから取得された場合（ステップＳ５でＹＥＳ）、他方のプロジェクターから供給された「ペンダウン」のイベント情報と、一方のプロジェクターから取得された「ペンアップ」のイベント情報の組を、「ムーブ」のイベント情報に置き換える（ステップＳ３）。なお、情報処理装置３０は、ステップＳ４でＮＯと判断した場合やステップＳ５でＮＯと判断した場合、図１０の処理を終了する。
【００６４】
例えば、情報処理装置３０は、プロジェクター１０Ａから「ムーブ」のイベント情報が供給され、次にプロジェクター１０Ｂから「ペンダウン」のイベント情報が供給され、この「ペンダウン」のイベント情報供給されてから予め定められた時間内にプロジェクター１０Ａから「ペンアップ」のイベント情報が供給されると、プロジェクター１０Ｂから供給された「ペンダウン」のイベント情報と、プロジェクター１０Ａから供給された「ペンアップ」のイベント情報の組を「ムーブ」のイベント情報に置き換える。
【００６５】
情報処理装置３０は、イベント情報の組を「ムーブ」のイベント情報に置き換えると、ドラッグされた状態であるアイコンを、「ペンダウン」のイベント情報と共に供給されて変換された座標に応じて移動させる。これにより、ドラッグされたアイコンの表示位置は、領域Ａ２内の位置Ｐ２の位置となる。
【００６６】
なお、情報処理装置３０は、ペン２０を領域Ａ２から領域Ａ１へ移動させた場合にも、領域Ａ１から領域Ａ２へペン２０を移動させた場合と同様に「ペンアップ」のイベント情報と「ペンダウン」のイベント情報の組を「ムーブ」のイベント情報に置き換える。
【００６７】
以上説明したように本実施形態によれば、「ペンアップ」のイベント情報と「ペンダウン」のイベント情報の組を「ムーブ」のイベント情報に置き換えることにより、隣り合う２つの画像の一方の画像の領域から他方の画像の領域へペン２０が移動しても、画像の境界付近でアイコンをスムーズに移動させることができる。また、本実施形態によれば、プロジェクター１０Ａ、１０Ｂから供給される座標情報を情報処理装置３０が変換するため、複数のプロジェクターをポインティングデバイスとして利用することができる。
【００６８】
なお、上述の説明においては、ペン２０を検知した場合を例に動作例の説明を行ったが、指で反射した発光装置４０の赤外光を検知することにより、指示体の一例である指を検知してもよい。制御部１１０は、指を検知した場合には指示体ＩＤを「指」とする。制御部１１０は、複数の指を検知した場合には、検知した指毎に座標を特定し、特定した複数の座標を情報処理装置３０へ送信する。この場合、プロジェクター１０Ａ、１０Ｂをポインティングデバイスの一例であるタッチパネルとして利用することができ、ピンチインやピンチアウトの処理を行うことができる。
【００６９】
［変形例］
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。例えば、上述の実施形態を以下のように変形して本発明を実施してもよい。なお、上述した各実施形態及び以下の変形例は、一つ又は複数を適宜組み合わせて実施してもよい。
【００７０】
上述した実施形態においては、プロジェクター１０Ａ、１０Ｂは、識別情報として「右」や「左」などの情報を情報処理装置３０へ供給しているが、識別情報の内容は実施形態の内容に限定されるものではない。例えば、マルチディスプレイ機能で３台のプロジェクターを使用する場合、ユーザーは、３台のプロジェクターの各々において、左の画面を投写するプロジェクターを「１」、中央の画面を投写するプロジェクターを「２」、右の画面を投写するプロジェクターを「３」と設定する。この識別情報は、プロジェクターが投写する画像がマルチディスプレイ機能の複数画面のいずれに対応しているかを表す情報であると共に、プロジェクターを識別する識別子にもなる。情報処理装置３０においては、「１」を左の画面、「２」を中央の画面、「３」を右の画面として設定する。情報処理装置３０は、取得した座標情報を、取得した識別情報に対応付けられている画面の位置に応じて変換する。例えば、プロジェクターから識別情報として「２」を取得した場合、取得した座標情報を、中央のプロジェクターで表示されている真ん中の画像の領域内の座標に変換する。
【００７１】
上述した実施形態においては、プロジェクター１０Ａ、１０Ｂは、撮像部１７１及び撮像部１７２から供給された画像からペン２０と指の両方を検知した場合、ペン２０と指毎に、指示体ＩＤ、イベント情報、座標情報及び識別情報を情報処理装置３０へ供給する構成としてもよい。この変形例においては、情報処理装置３０は、ペン２０と指のそれぞれについて、取得した座標情報を、マルチディスプレイ機能で拡張されている画面の座標に変換する。この変形例によれば、ペン２０と指の両方をポインティングデバイスとして使用することができる。
【００７２】
本発明においては、情報処理装置３０は、第１取得部３０１と第２取得部３０２を備えているが、プロジェクター１０Ａからの情報を取得する第１取得部３０１については、指示体ＩＤが「ペン」である場合に、指示体ＩＤ、イベント情報、座標情報及び識別情報を取得するブロックと、指示体ＩＤが「指」である場合に、指示体ＩＤ、イベント情報、座標情報及び識別情報を取得するブロックとに分ける構成としてもよい。また、プロジェクター１０Ｂからの情報を取得する第２取得部３０２についても、指示体ＩＤが「ペン」である場合に、指示体ＩＤ、イベント情報、座標情報及び識別情報を取得するブロックと、指示体ＩＤが「指」である場合に、指示体ＩＤ、イベント情報、座標情報及び識別情報を取得するブロックとに分ける構成としてもよい。
【００７３】
本発明においては、情報処理装置３０がマルチディスプレイ機能を使用せずに一台のプロジェクターへ画像を供給する第１モードの場合には、プロジェクター１０Ａ、１０Ｂは、識別情報を出力せず、情報処理装置３０がマルチディスプレイ機能を使用する第２モードの場合には、プロジェクター１０Ａ、１０Ｂは、識別情報を出力する構成としてもよい。
【００７４】
上述した実施形態においては、情報処理装置３０は、プロジェクター１０Ａ、１０Ｂから供給されるイベント情報と座標情報に応じてドラッグの処理を行うが、プロジェクター１０Ａ、１０Ｂから供給されるイベント情報と座標情報に応じて行う処理はドラッグの処理に限定されるものではない。例えば、情報処理装置３０は、イベント情報と座標情報に応じて描画の処理を行ってもよい。本変形例によれば、情報処理装置３０が描画ソフトを実行した場合、ペン２０の移動に応じて描画を行うことができる。また、情報処理装置３０が、描画ソフトの画面をデスクトップの全面に広げた場合、ペン２０を投写面に接触させたまま領域Ａ１から領域Ａ２又は領域Ａ２から領域Ａ１にペン２０を移動させると、領域Ａ１と領域Ａ２との境界で途切れることなく線の描画を行うことができる。
【符号の説明】
【００７５】
１…表示システム、１０Ａ、１０Ｂ…プロジェクター、２０…ペン、３０…情報処理装置、４０Ａ、４０Ｂ…発光装置、１１０、１１０Ａ、１１０Ｂ…制御部、１１２…出力部、１１３…特定部、１２０…記憶部、１３０…操作部、１４０…投写部、１４１…光源、１４２…ライトバルブ、１４３…投写光学系、１４４…駆動回路、１５０…映像処理部、１６０、１６０Ａ、１６０Ｂ…インターフェース、１７１、１７２、１７１Ａ、１７２Ａ、１７１Ｂ、１７２Ｂ…撮像部、２１０…制御部、２２０…通信部、２３０…発光部、２４０…操作部、２５０…電源、３０１…第１取得部、３０２…第２取得部、３０３…変換部。
【図１】
2017182110.tif 000003
【図２】
2017182110.tif 000004
【図３】
2017182110.tif 000005
【図４】
2017182110.tif 000006
【図５】
2017182110.tif 000007
【図６】
2017182110.tif 000008
【図７】
2017182110.tif 000009
【図８】
2017182110.tif 000010
【図９】
2017182110.tif 000011
【図１０】
2017182110.tif 000012