(57)【特許請求の範囲】
【請求項１】
所定のオブジェクトを含んだ画像を生成する生成手段と、
前記画像内の所定の位置を指し示すためのポインタの位置を示すポインタ位置情報と前記画像を表す画像データとを表示装置へ送信する送信手段と、
前記ポインタを移動させることにより前記所定のオブジェクトの移動を指示する移動指示を受け付ける受付手段と、
前記移動指示に応えて、前記所定のオブジェクトを移動後の位置に含んだ画像を生成するように前記生成手段を制御する生成制御手段と、
前記移動指示に応えて、前記ポインタの移動後の位置を示すポインタ位置情報と前記所定のオブジェクトの移動後の位置を示すオブジェクト位置情報とを前記表示装置へ送信し、当該ポインタ位置情報と当該オブジェクト位置情報とを送信した後で、前記生成制御手段による制御に従って前記生成手段で生成された画像を表す画像データを前記表示装置へ送信するように、前記送信手段を制御する送信制御手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
前記送信制御手段は、前記生成制御手段による制御に従って前記生成手段で生成された画像を表す画像データの送信が完了する前に前記受付手段で次の移動指示が受け付けられた場合、当該送信を中止する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
画像データを情報処理装置から受信する画像データ受信手段と、
前記画像データが表す画像内の所定の位置を指し示すためのポインタの位置を示すポインタ位置情報を前記情報処理装置から受信するポインタ位置情報受信手段と、
前記ポインタ位置情報が示す位置にポインタ画像を重畳して前記画像を表示する表示手段と、
前記画像内に含まれる所定のオブジェクトの移動後の位置を示すオブジェクト位置情報を前記情報処理装置から受信するオブジェクト位置情報受信手段と、
前記オブジェクト位置情報受信手段で前記オブジェクト位置情報が受信されると、前記ポインタ画像に加えて前記移動後の位置を示す補助画像を重畳して前記画像を表示するように前記表示手段を制御する表示制御手段と、
を備えることを特徴とする表示装置。
【請求項４】
前記補助画像は、前記移動後の位置における前記所定のオブジェクトの輪郭を表す輪郭画像であることを特徴とする請求項３に記載の表示装置。
【請求項５】
前記表示制御手段は、前記画像データ受信手段で次の画像データが受信されると、前記補助画像の重畳を停止するように前記表示手段を制御することを特徴とする請求項３又は４に記載の表示装置。
【請求項６】
請求項１又は２に記載の情報処理装置と、
請求項３乃至５のいずれか１項に記載の表示装置と、
を備えることを特徴とする表示システム。
【請求項７】
情報処理装置の制御方法であって、
生成手段が、所定のオブジェクトを含んだ画像を生成する生成工程と、
送信手段が、前記画像内の所定の位置を指し示すためのポインタの位置を示すポインタ位置情報と前記画像を表す画像データとを表示装置へ送信する送信工程と、
受付手段が、前記ポインタを移動させることにより前記所定のオブジェクトの移動を指示する移動指示を受け付ける受付工程と、
生成制御手段が、前記移動指示に応えて、前記所定のオブジェクトを移動後の位置に含んだ画像を生成するように前記生成工程を制御する生成制御工程と、
送信制御手段が、前記移動指示に応えて、前記ポインタの移動後の位置を示すポインタ位置情報と前記所定のオブジェクトの移動後の位置を示すオブジェクト位置情報とを前記表示装置へ送信し、当該ポインタ位置情報と当該オブジェクト位置情報とを送信した後で、前記生成制御工程による制御に従って前記生成工程で生成された画像を表す画像データを前記表示装置へ送信するように、前記送信工程を制御する送信制御工程と、
を備えることを特徴とする制御方法。
【請求項８】
表示装置の制御方法であって、
画像データ受信手段が、画像データを情報処理装置から受信する画像データ受信工程と、
ポインタ位置情報受信手段が、前記画像データが表す画像内の所定の位置を指し示すためのポインタの位置を示すポインタ位置情報を前記情報処理装置から受信するポインタ位置情報受信工程と、
表示手段が、前記ポインタ位置情報が示す位置にポインタ画像を重畳して前記画像を表示する表示工程と、
オブジェクト位置情報受信手段が、前記画像内に含まれる所定のオブジェクトの移動後の位置を示すオブジェクト位置情報を前記情報処理装置から受信するオブジェクト位置情報受信工程と、
表示制御手段が、前記オブジェクト位置情報受信工程で前記オブジェクト位置情報が受信されると、前記ポインタ画像に加えて前記移動後の位置を示す補助画像を重畳して前記画像を表示するように前記表示工程を制御する表示制御工程と、
を備えることを特徴とする制御方法。
【請求項９】
コンピュータに、請求項７に記載の制御方法の各工程を実行させるためのプログラム。
【請求項１０】
コンピュータに、請求項８に記載の制御方法の各工程を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、表示装置、表示システム、情報処理装置の制御方法、及び表示装置の制御方法に関する。
【背景技術】
【０００２】
今日、パーソナルコンピュータ（ＰＣ）などの情報処理装置にディスプレイやプロジェクタなどの表示装置を接続した表示システムが知られている。このような表示システムでは、ＰＣ上で動作しているオペレーティングシステム（ＯＳ）が生成するグラフィカルユーザインタフェース（ＧＵＩ）画面が、表示装置に表示される。また、情報処理装置と表示装置とがネットワーク（例えば、無線ＬＡＮ）を介して接続されている表示システムも知られている。
【０００３】
一般的にＧＵＩ画面のデータ量は非常に大きいため、情報処理装置と表示装置とがネットワークを介して接続されている場合、情報処理装置で生成されたＧＵＩ画面のデータが表示装置に到達するまでには、ある程度の時間を要する。その結果、表示装置によるＧＵＩ画面の表示に遅延が発生する可能性がある。
【０００４】
送信されるデータ量を削減するために、特許文献１は、表示すべきレイヤーと、表示しないレイヤーとを判別し、表示すべきレイヤーだけを送信する技術を提案している。また、特許文献１は、ポインタの反応速度を向上させるために、ポインタの移動が検出された際には、ポインタの座標だけを送信する技術も提案している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−２５７９４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
今日のＧＵＩ画面は一般的に、ウインドウやアイコンなどの様々なオブジェクトを含む。ユーザは、マウスを利用した所謂ドラッグ操作により、オブジェクトの位置や大きさを変更することができる。
【０００７】
ドラッグ操作によりオブジェクトの位置や大きさを変更する際に特許文献１に記載の技術を利用した場合、表示装置において、ポインタの表示位置は比較的迅速に更新される。しかしながら、オブジェクトを表す画像データは通常、ポインタの座標を表すデータよりも極めて大きいため、表示装置において位置や大きさが変更されたオブジェクトが表示されるまでには比較的長い時間を要する。その結果、表示装置において、オブジェクトの表示の変化がポインタの移動に追随せず、ユーザに違和感を与えてしまう。
【０００８】
本発明はこのような状況に鑑みてなされたものである。即ち、本発明は、情報処理装置が生成した画像を情報処理装置に接続された表示装置が表示する表示システムにおいて、画像内のオブジェクトの変化をユーザがより迅速に認識することを可能にする技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、第１の本発明は、所定のオブジェクトを含んだ画像を生成する生成手段と、前記画像内の所定の位置を指し示すためのポインタの位置を示すポインタ位置情報と前記画像を表す画像データとを表示装置へ送信する送信手段と、前記ポインタを移動させることにより前記所定のオブジェクトの移動を指示する移動指示を受け付ける受付手段と、前記移動指示に応えて、前記所定のオブジェクトを移動後の位置に含んだ画像を生成するように前記生成手段を制御する生成制御手段と、前記移動指示に応えて、前記ポインタの移動後の位置を示すポインタ位置情報と前記所定のオブジェクトの移動後の位置を示すオブジェクト位置情報とを前記表示装置へ送信し、当該ポインタ位置情報と当該オブジェクト位置情報とを送信した後で、前記生成制御手段による制御に従って前記生成手段で生成された画像を表す画像データを前記表示装置へ送信するように、前記送信手段を制御する送信制御手段と、を備えることを特徴とする情報処理装置を提供する。
【００１０】
なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。
【発明の効果】
【００１１】
以上の構成により、本発明によれば、情報処理装置が生成した画像を情報処理装置に接続された表示装置が表示する表示システムにおいて、画像内のオブジェクトの変化をユーザがより迅速に認識することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】第１の実施形態に係る表示システム４００の構成を示すブロック図
【図２】ＰＣ１００からプロジェクタ２００に送信する各種データを示す図
【図３】ウインドウシステム１０７のデスクトップ画面１５０を示す図
【図４】第１の実施形態に係るドラッグ操作の概念図
【図５】第１の実施形態に係る、ＰＣ１００とプロジェクタ２００との間の通信処理を示すシーケンス図
【図６】図５のＳ１０３においてＰＣ１００が画面画像を送信する処理の詳細を示すフローチャート
【図７】図５のＳ１０３においてＰＣ１００が位置情報等を送信する処理の詳細を示すフローチャート
【図８】図５のＳ１０３においてプロジェクタ２００が画面画像を受信する処理の詳細を示すフローチャート
【図９】図５のＳ１０３においてプロジェクタ２００が位置情報等を受信する処理の詳細を示すフローチャート
【図１０】ＰＣ画面の画像にポインタ画像及び枠画像を重畳する処理の概念図
【発明を実施するための形態】
【００１３】
以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。
【００１４】
［第１の実施形態］
図１は、第１の実施形態に係る表示システム４００の構成を示すブロック図である。表示システム４００は、ＰＣ１００（情報処理装置）とプロジェクタ２００（表示装置）とを備えており、ＰＣ１００とプロジェクタ２００とは通信ネットワーク３００を通して接続されている。
【００１５】
ＰＣ１００は、ディスプレイに表示されている画像を表す画像データを、通信ネットワーク３００を介して、プロジェクタ２００に送信する。転送の方式は、無線、有線を問わず、例えば、無線ＬＡＮ、有線ＬＡＮ、有線ＵＳＢ、無線ＵＳＢ、ＩＥＥＥ１３９４などどのような方式であってもよい。また、通信ネットワーク３００の通信速度が遅い場合に本発明は特に効果的であるが、このことは、通信速度が速い環境での本発明の利用を妨げるものではない。従って、例えば、通信ネットワーク３００ではなくアナログＲＧＢケーブルを介してＰＣ１００とプロジェクタ２００とが接続されていてもよい。
【００１６】
プロジェクタ２００は、ＰＣ１００から送られた画像データを受信して、出力できる形への変換を行い表示（投影）する。またこのとき、マウス１００ａによってＰＣ１００におけるウインドウシステム上のポインタが操作されるが、ポインタ表示位置に関する情報（ポインタ位置情報）は、画像データとは別のパスでプロジェクタ２００に送信される。このようにする理由は、ポインタ位置情報だけの少ないデータ量で通信を行うことで、プロジェクタ２００で表示されるポインタ画像の表示応答速度を向上させ、ユーザがプロジェクタ投影面を見たときに、自然なポインタの動きを表現するためである。なお、表示装置はプロジェクタ２００に限定されず、例えば、通信ネットワーク３００を介してＰＣ１００に接続されるディスプレイであってもよい。
【００１７】
次に、ＰＣ１００及びプロジェクタ２００の詳細な構成について説明する。ＰＣ１００は、マウス１００ａ、キーボード１００ｂ、ディスプレイ１００ｃ、ユーザＩＦ１０１、及び出力ＩＦ１０２を備える。ＰＣ１００はまた、プロジェクタ２００との接続用インタフェースであるネットワークＩＦ１０３を介して信号を送受信するための通信回路１１２を備える。ＰＣ１００はまた、ＣＰＵ１０４の処理手順を記述した制御プログラムを記憶するためのＲＯＭ１０５と、ワークメモリとしてのＲＡＭ１０６と、画像を出力するためのグラフィックスチップ１１３と、を備える。これらの各ブロック間のデータ送受信は、内部バス１１４を介して行われる。また、ＣＰＵ１０４は、ディスプレイ１００ｃに出力するデスクトップ画像やポインタ画像などの情報を管理するプログラムであるウインドウシステム１０７を備える。ウインドウシステム１０７は、例えば、ＭｉｃｒｏｓｏｆｔのＷｉｎｄｏｗｓ（登録商標）やＡｐｐｌｅのＭａｃｉｎｔｏｓｈ（登録商標）などのＯＳ（オペレーティングシステム）によって実現される。ウインドウシステム１０７は、画像内の所定の位置を指し示すためのポインタを含む。ＣＰＵ１０４は更に、ディスプレイ１００ｃに出力する画像をウインドウシステム１０７から取得する画像情報取得部１０８と、ポインタ画像の表示位置（即ち、ポインタが指し示す位置）を取得するポインタ情報取得部１０９とを備える。ＣＰＵ１０４はまた、現在操作中のウインドウの位置及び大きさを取得する枠情報取得部１１０を備える。ＣＰＵ１０４はまた、これらの取得した情報をプロジェクタ２００に送信する形に変換するエンコーダ１１１を備える。
【００１８】
プロジェクタ２００は、ＰＣ１００との接続用インタフェースであるネットワークＩＦ２０１を介して信号を送受信するための通信回路２１０を備える。プロジェクタ２００はまた、ＣＰＵ２０２の処理手順を記述した制御プログラムを記憶するためのＲＯＭ２０３と、ワークメモリとしてのＲＡＭ２０４と、画像を出力するためのグラフィックスチップ２０８とを備える。プロジェクタ２００は、入力された映像を投写する液晶パネル及びその駆動ドライバ、レンズ、並びにその駆動系及び光源で構成される投写エンジン２０９を備える。これらの各ブロック間のデータ送受信は内部バス２１１を介して行われる。また、ＣＰＵ２０２は、ＰＣ１００から受信したデータを、処理可能な形式に変換するデコーダ２０５と、変換後のデータからＰＣ１００の画面の画像、ポインタ画像、及び枠画像を生成する投写画像生成部２０６とを備える。ＣＰＵ２０２はまた、生成された画像を重畳して、ディスプレイに表示するための画像を生成する投写画像重畳部２０７を備える。
【００１９】
次に、図２を参照して、ＰＣ１００からプロジェクタ２００に送信する各種データについて説明する。図２に示されるように、ＰＣ１００からプロジェクタ２００に送信されるデータは、画像情報３１０、ポインタ情報３２０、及び枠情報３３０の３種類である。
【００２０】
画像情報３１０は、画像表示位置３１１、画像サイズ３１２、及び画像データ３１３を含む。画像データ３１３は、図１の画像情報取得部１０８によって得られたウインドウシステム１０７の画面画像を表す。また、画像表示位置３１１及び画像サイズ３１２はそれぞれ、この画像をプロジェクタ２００の投影面に表示する際の、位置及び大きさを示す。
【００２１】
ポインタ情報３２０は、ポインタ画像表示位置３２１（ポインタ位置情報）、ポインタ画像変更フラグ３２２、及びポインタ画像データ３２３を含む。ポインタ画像表示位置３２１は、図１のポインタ情報取得部１０９によって得られたウインドウシステム１０７のポインタ表示位置を示す。ここで、ＰＣ１００におけるポインタ画像とプロジェクタ２００で投影されるポインタ画像とを同じものにするためには、ポインタ画像データ３２３もプロジェクタ２００に送信する必要がある。この場合は、ＰＣ１００は、ポインタ情報取得部１０９によってポインタ画像データ３２３を取得する。ポインタ画像データ３２３は一度プロジェクタ２００に送信すれば十分である。従って、ＰＣ１００は、ポインタ画像に変化が無い限りは、ポインタ画像変更フラグ３２２を、「変更無し」を示す「０」にして送信し、ポインタ画像データ３２３は送信しない。また、ポインタ画像に変化があった場合には、ＰＣ１００は、ポインタ画像変更フラグ３２２を、「変更あり」を示す「１」にして、更に、ポインタ画像データ３２３に変更後のポインタ画像データを格納して送信する。
【００２２】
枠情報３３０（オブジェクト位置情報）は、ＧＵＩ表示位置３３１、及びＧＵＩサイズ３３２を含む。ＰＣ１００は、図１の枠情報取得部１１０によって、ウインドウシステム１０７で現在操作中のＧＵＩ（ウインドウやアイコンなどの所定にオブジェクト）を検出し、更に位置及び大きさの情報を取得する。取得された位置情報がＧＵＩ表示位置３３１に、取得された大きさの情報がＧＵＩサイズ３３２に、それぞれ対応する。
【００２３】
図３を参照して、枠情報３３０の詳細について説明する。図３は、ＰＣ１００のディスプレイ１００ｃに表示される、ウインドウシステム１０７のデスクトップ画面１５０を示す。デスクトップ画面１５０には、ポインタ１５２が重畳して表示される。図３において、ウインドウシステム１０７はポインタ１５２を移動することによりウインドウ１５１の移動を指示する移動指示（ドラッグ操作）を受け付けているものとする。この場合、ウインドウ１５１が、現在操作中の（操作対象の）ＧＵＩである。そして、枠情報３３０のＧＵＩ表示位置３３１は、ウインドウ１５１の左上端の座標（ｘ，ｙ）を示し、ＧＵＩサイズ３３２は、ウインドウ１５１の幅Ｗ及び高さＨを示す。
【００２４】
なお、枠情報３３０の構成は、上述したものに限定されない。例えば、枠情報３３０は、ウインドウ１５１に四隅の座標を含んでもよい。或いは、枠情報３３０は、ウインドウ１５１の左上の座標しか含まなくてもよい。本実施形態においては、枠情報３３０は、ウインドウ１５１の正確な形状を表すことよりも、ウインドウ１５１の移動後の位置を表すことが重要である。従って、ドラッグ操作の結果としてウインドウ１５１がどこへ移動したかを表現可能であれば、枠情報３３０はどのような形式であってもよく、そのような情報を、本実施形態ではオブジェクト位置情報とも呼ぶ。
【００２５】
図４は、第１の実施形態に係るドラッグ操作の概念図である。ＰＣ１００とプロジェクタ２００とは通信ネットワーク３００（例えば、無線ＬＡＮ）を介して接続されている。ＰＣ１００は表示画面１６２を表す画像データをプロジェクタ２００へ送信し、プロジェクタ２００はこの画像データに基づいてプロジェクタ投影面１７２を表示している。このとき、ユーザによってＰＣ１００のマウスポインタ１６１が操作され、ウインドウ１６０が移動すると（矢印１６３参照）、プロジェクタ投影面１７２では、ポインタ画像１７１は移動する。しかしながら、ウインドウ１６０に対応するウインドウ１７３は移動しない。代わりに、移動後のウインドウ１６０に対応する位置に、枠画像１７０が表示される。
【００２６】
図５は、第１の実施形態に係る、ＰＣ１００とプロジェクタ２００との間の通信処理を示すシーケンス図である。Ｓ１００で、ユーザは、ＰＣ１００のネットワークＩＦ１０３と、プロジェクタ２００のネットワークＩＦ２０１とを、通信ネットワーク３００を介して接続する。Ｓ１０１で、ユーザは、プロジェクタ２００にＰＣ１００の画面を転送するための認証処理を行う。この処理は例えば、事前にプロジェクタ２００で設定されているパスワードをＰＣ１００側のアプリケーションによって入力、送信して、認証結果をＰＣ１００に返信する等の手順によって実現される。
【００２７】
Ｓ１０２で、ＰＣ１００のＣＰＵ１０４とプロジェクタ２００のＣＰＵ２０２とは、表示システム４００の設定処理を行う。ここでは、ＰＣ１００とプロジェクタ２００との間で双方の解像度を通知する処理等が行われる。
【００２８】
Ｓ１０３で、ＰＣ１００は、画面転送処理を開始する（詳細は図６乃至図１０を参照して後述）。この処理により、図４を参照して説明したような表示処理が実現する。画面転送処理は、ユーザによって終了が指示されるまで継続する。
【００２９】
ユーザによってＰＣ１００に対して画面転送処理の終了が指示されると、Ｓ１０４で、ＰＣ１００はプロジェクタ２００に対して画面転送の終了の通知を行い、プロジェクタ２００は、画面転送モードを終了する。
【００３０】
図６は、図５のＳ１０３においてＰＣ１００が画面画像を送信する処理の詳細を示すフローチャートである。図７は、図５のＳ１０３においてＰＣ１００が位置情報等を送信する処理の詳細を示すフローチャートである。図６及び図７の処理は並行して実行される。即ち、以下に詳述するように、画面画像を表す画像データと位置情報とは別々に送信され、更に、位置情報の送信が優先される。これにより、図４に示すように、ＰＣ１００においてドラッグ操作によるウインドウ１６０の移動が行われた場合に、ポインタ画像１７１の移動、及び枠画像１７０の表示を、短い遅延時間で実現することができる。
【００３１】
図６を参照すると、Ｓ２００で、画像情報取得部１０８が、ウインドウシステム１０７によって表示される画面（ＰＣ画面）の更新が発生したことを検知すると（Ｓ２００のＹＥＳ）、処理はＳ２０１に進む。また、図６には明示していないが、画面転送処理の開始直後にもＰＣ画面は更新されたものと見なされる。Ｓ２０１で、画像情報取得部１０８はＰＣ画面の更新領域を検出して、更新画像として取得する。Ｓ２００及びＳ２０１の処理は、例えばＰＣ１００のＯＳとしてＷｉｎｄｏｗｓ（登録商標）を用いていれば、標準で提供されている機能のセット（ＷＩＮ３２  ＡＰＩ）を用いて実現可能である。具体的には、例えば、画像情報取得部１０８が、ＯＳから通知される再描画のイベントを検出し、更新領域を含む最小の矩形画像を取得する。
【００３２】
例えば、ドラッグ操作によりウインドウが移動された場合、ＣＰＵ１０４及びウインドウシステム１０７は生成制御手段として機能し、ウインドウを移動後の位置に含んだ画像を生成する。この画像が、Ｓ２０１において、画像情報取得部１０８によって取得される。
【００３３】
Ｓ２０２で、画像情報取得部１０８は、Ｓ２０１で取得した更新画像に基づいて、図２を参照して説明した画像情報３１０を生成する。また、エンコーダ１１１は、画像データ３１３の圧縮（例えば、ランレングス圧縮）を行う。
【００３４】
Ｓ２０３で、ＣＰＵ１０４は、通信回路１１２を用いて画像情報３１０をプロジェクタ２００へ送信する（Ｓ２０３）。
【００３５】
Ｓ２０４で、ＣＰＵ１０４は、画面転送終了の指示の有無を判定し、画面転送終了が指示された場合（Ｓ２０４のＹＥＳ）、処理は終了する。そうでなければ、処理はＳ２００に戻る。
【００３６】
次に、図７を参照すると、Ｓ２０５で、ポインタ情報取得部１０９は、ポインタの位置が変化したか否かを判定する。変化した場合、処理はＳ２０６に進み、ポインタ情報取得部１０９は、ポインタの座標を取得する。また、図６には明示していないが、画面転送処理の開始直後にもポインタの位置は変化したものと見なされる。次に、Ｓ２０７で、ポインタ情報取得部１０９は、ポインタ画像が変更されたか否かを判定する。変更された場合、処理はＳ２０８に進み、そうでない場合、処理はＳ２０９に進む。Ｓ２０８で、ポインタ情報取得部１０９は、ポインタ画像を取得する。Ｓ２０５乃至Ｓ２０８の処理は、Ｓ２００及びＳ２０１の処理と同様に、例えばＷＩＮ  ３２ＡＰＩを利用することにより実現可能である。後述する枠情報取得部１１０の処理も同様である。次に、Ｓ２０９で、ポインタ情報取得部１０９は、Ｓ２０６及びＳ２０８で取得した情報に基づいて、図２を参照して説明したポインタ情報３２０を生成する。
【００３７】
Ｓ２１０で、枠情報取得部１１０は、操作中のウインドウの位置又は大きさが変化したか否かを判定する。受付手段として機能するユーザＩＦ１０１がドラッグ操作による移動指示を受け付けた場合に、ウインドウの変化が検出される。ウインドウの変化が検出された場合、処理はＳ２１１に進み、そうでない場合、処理はＳ２１５に進む。Ｓ２１５では、ＣＰＵ１０４は、ポインタ情報３２０をプロジェクタ２００へ送信する。
【００３８】
Ｓ２１１で、枠情報取得部１１０は、ウインドウの枠情報（位置及び大きさ）を取得し、図２を参照して説明した枠情報３３０を生成する。Ｓ２１２で、枠情報取得部１１０は、画像情報取得部１０８に対して停止メッセージを送信する。これにより、ＰＣ画面の更新が検知されなくなるので、画像情報３１０の送信は行われない。Ｓ２１３で、ＣＰＵ１０４は、ポインタ情報３２０及び枠情報３３０を、プロジェクタ２００へ送信する。Ｓ２１４で、枠情報取得部１１０は、画像情報取得部１０８に対して再開メッセージを送信する。Ｓ２１２乃至Ｓ２１４の処理による送信制御の結果、ウインドウが変化した場合に、データ量が少ないポインタ情報３２０及び枠情報３３０が、データ量が多い画像情報３１０よりも先にプロジェクタ２００へ送信される。また、画像情報３１０の送信が完了する前に再びウインドウの変化が検出された場合は、Ｓ２１２において再び画像情報３１０の送信が中止されるので、最新のポインタ情報３２０及び枠情報３３０が優先的に送信される。
【００３９】
Ｓ２１６で、ＣＰＵ１０４は、画面転送終了の指示の有無を判定し、画面転送終了が指示された場合（Ｓ２１６のＹＥＳ）、処理は終了する。そうでなければ、処理はＳ２０５に戻る。
【００４０】
なお、上の説明では、「操作中のウインドウ」という表現を使用したが、ドラッグ操作による操作対象のオブジェクトはウインドウに限定されず、例えばアイコンであってもよい。
【００４１】
次に、プロジェクタ２００側の処理について説明する。図８は、図５のＳ１０３においてプロジェクタ２００が画面画像を受信する処理の詳細を示すフローチャートである。図９は、図５のＳ１０３においてプロジェクタ２００が位置情報等を受信する処理の詳細を示すフローチャートである。図８及び図９の処理は並行して実行される。
【００４２】
図８を参照すると、Ｓ３００で、ＣＰＵ２０２（画像データ受信手段）は、ＰＣ１００から画像情報３１０を受信したか否かを判定する。画像情報３１０を受信すると、処理はＳ３０１に進む。Ｓ３０１で、デコーダ２０５は、画像情報３１０に含まれる画像データ３１３をデコードする。Ｓ３０２で、投写画像生成部２０６は、デコードされた画像データをＲＡＭ２０４のプレーン２５０（図１０参照）に格納する。Ｓ３０３で、投写画像重畳部２０７は、プレーン２５０の画像データをフレームバッファ２５２に移動させることにより、画像の重畳表示を行う（詳細は図９のＳ３０９を参照して後述）。図８の処理において、本実施形態の表示システム４００では、画面転送処理の開始直後にＰＣ１００の全画面の画像データが送信され、それ以後はＰＣ１００の画面の更新領域のみの画像データが送信される。つまり、プレーン２５０に格納される画像データは、全画面の画像データを、受信した更新画像データで上書きしたものになる。
【００４３】
Ｓ３０４で、ＣＰＵ２０２は、画面転送処理の終了通知を受信したか否かを判定する。受信した場合、本フローチャートの処理は終了し、そうでない場合、処理はＳ３００に戻る。
【００４４】
次に、図９を参照すると、Ｓ３０５で、ＣＰＵ２０２（ポインタ位置情報受信手段）は、ＰＣ１００からポインタ情報３２０を受信したか否かを判定する。ポインタ情報３２０を受信すると、処理はＳ３０６に進む。Ｓ３０６で、投写画像生成部２０６は、Ｓ３０５で取得したポインタ情報３２０に基づいてポインタ画像を生成し、ＲＡＭ２０４のプレーン２５１（図１０参照）に格納する。
【００４５】
Ｓ３０７で、ＣＰＵ２０２（オブジェクト位置情報受信手段）は、ＰＣ１００から枠情報３３０を受信したか否かを判定する。枠情報３３０を受信した場合、処理はＳ３０８に進み、そうでない場合、処理はＳ３０９に進む。Ｓ３０８で、投写画像生成部２０６は、Ｓ３０７で受信した枠情報３３０に基づいて補助画像を生成し、ＲＡＭ２０４のプレーン２５１（図１０参照）に格納する。補助画像は、オブジェクト（例えば、図４のウインドウ１７３）の移動後の位置を示すものであれば、どのような画像でもよい。例えば、枠情報３３０が図２に示す形式である場合、投写画像生成部２０６は、補助画像として、移動後のオブジェクトの輪郭を表す輪郭画像（図４の枠画像１７０）を生成することができる。
【００４６】
Ｓ３０９で、投写画像重畳部２０７は、プレーン２５１の画像データをフレームバッファ２５２に移動させる。その結果、図１０の符号２５３に示すように、ＰＣ画面の画像にポインタ画像が重畳して表示され、更に、枠情報３３０が受信された場合、枠画像（補助画像）も重畳して表示される。換言すれば、投写画像生成部２０６及び投写画像重畳部２０７は表示制御手段として機能し、枠情報３３０が受信された場合には、ポインタ画像に加えて補助画像を重畳してＰＣ画面の画像を表示するように、制御を実行する。なお、図示しないが、補助画像の重畳後に図８のＳ３００で次の画像情報３１０が受信された場合、投写画像生成部２０６は、補助画像のプレーン２５１への格納を停止する。その結果、枠画像の重畳表示も停止される。
【００４７】
Ｓ３１０で、ＣＰＵ２０２は、画面転送処理の終了通知を受信したか否かを判定する。受信した場合、本フローチャートの処理は終了し、そうでない場合、処理はＳ３０５に戻る。
【００４８】
以上説明したように、本実施形態によれば、ＰＣ１００の画面においてウインドウなどのオブジェクトが移動した場合に、ＰＣ１００は、オブジェクトの移動後の位置を示すオブジェクト位置情報をプロジェクタ２００へ送信する。オブジェクト位置情報の送信後、ＰＣ１００は、オブジェクトの移動後の画面の画像データをプロジェクタ２００へ送信する。その結果、プロジェクタ２００は、オブジェクトの移動後の位置を示す補助画像を迅速に表示することができる。これにより、画像内のオブジェクトの変化をユーザがより迅速に認識することが可能となる。
【００４９】
［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
0005430491.tif 000002
【図２】
0005430491.tif 000003
【図３】
0005430491.tif 000004
【図４】
0005430491.tif 000005
【図５】
0005430491.tif 000006
【図６】
0005430491.tif 000007
【図７】
0005430491.tif 000008
【図８】
0005430491.tif 000009
【図９】
0005430491.tif 000010
【図１０】
0005430491.tif 000011