(57)【要約】      （修正有）【課題】指示体による入力機能を有する表示装置を複数用いた場合における応答性の違いを緩和する。【解決手段】画像供給装置は、指示体の操作内容を表す情報を表示装置から逐次受信する受信部２０１と、受信した情報に基づいて画像データを生成する画像処理部２１０と、生成された画像データを表示装置に送信する送信部２０２と、第１の表示装置及び第２の表示装置にそれぞれ第１の画像データ及び第２の画像データを送信する際に、第１の画像データの送信タイミング及び第２の画像データの送信タイミングのうち少なくともいずれか一方を、第１の表示装置の画面更新に要する時間と第２の表示装置の画面更新に要する時間との差が少なくなるように調整するタイミング調整部２３０とを有する。【選択図】図２
2016090894.tif 000002
【特許請求の範囲】
【請求項１】
指示体の操作内容を表す情報を第１の表示装置または第２の表示装置から逐次取得する取得部と、
該取得した情報に基づいて画像データを生成する画像処理部と、
前記画像処理部にて生成された第１画像データを前記第１の表示装置に送信し、前記画像処理部にて生成された第２画像データを前記第２の表示装置に送信する送信部と、
前記第１の画像データの送信タイミングおよび前記第２の画像データの送信タイミングのうち少なくともいずれか一方を、前記第１の表示装置の画面更新に要する時間と前記第２の表示装置の画面更新に要する時間との差が少なくなるように調整する制御部と
を有する画像供給装置。
【請求項２】
前記制御部は、
前記情報を取得したタイミングと前記画像データの生成が完了したタイミングとに基づいて前記差を算出し、
第１画像データおよび前記第２画像データのうち、前記第１の表示装置の画面更新に要する時間および前記第２の表示装置の画面更新に要する時間のうち短いほうに係る画像データの送信処理を遅延させる
ことを特徴とする請求項１に記載の画像供給装置。
【請求項３】
前記制御部は、前記情報の取得時点から前記画像データの生成完了時点までの期間を複数回にわたって計測した結果に基づいて、前記差を算出する
ことを特徴とする請求項２記載の画像供給装置。
【請求項４】
前記差は、前記画像データが表す画像の解像度に基づいて算出される
ことを特徴とする請求項１ないし３のいずれか一つに記載の画像供給装置。
【請求項５】
前記差は、前記画像供給装置と前記第１の表示装置との間で採用される第１伝送規格と、前記画像供給装置と前記第２の表示装置と間で採用される第２伝送規格とに基づいて、算出される
ことを特徴とする請求項１ないし４のいずれか一つに記載の画像供給装置。
【請求項６】
前記差は、前記画像データの生成において実行されるデータ圧縮処理に適用される圧縮率に基づいて、算出される
ことを特徴とする請求項１ないし５のいずれか一つに記載の画像供給装置。
【請求項７】
指示体の操作内容を表す情報を第１の表示装置または第２の表示装置から逐次受取得するステップと、
該取得した情報に基づいて画像データを生成するステップと、
前記画像処理部にて生成された第１画像データを前記第１の表示装置に送信し、前記画像処理部にて生成された第２画像データを前記第２の表示装置に送信するステップと、
前記第１画像データの送信タイミングおよび前記第２画像データの送信タイミングのうち少なくともいずれか一方を、前記第２の表示装置に表示される映像の更新に要する時間と前記第１の表示装置に表示される映像の更新に要する時間との差が少なくなるように調整するステップと
を有する画像供給方法。
【請求項８】
コンピューターに、
指示体の操作内容を表す情報を第１の表示装置または第２の表示装置から逐次受信するステップと、
該受信した情報に基づいて画像データを生成するステップと、
該生成された第１画像データを前記第１の表示装置に送信し、該生成された第２画像データを前記第２の表示装置に送信する送信部と、
該生成された画像データを表示装置に送信するステップと、
前記第１画像データの送信タイミングおよび前記第２画像データの送信タイミングのうち少なくともいずれか一方を、前記第２の表示装置に表示される映像の更新に要する時間と前記第１の表示装置に表示される映像の更新に要する時間との差が少なくなるように、調整するステップと
を実行させるためのプログラム。
【請求項９】
第１の表示装置、第２の表示装置、および画像供給装置を備え、
第１の表示装置および第２の表示装置の各々は、
指示体の操作内容を表す情報を生成する手段と、
該生成された情報を前記画像供給装置に送信する手段と
前記画像供給装置から画像データを受信する手段と、
該受信した画像データに基づいて画像を表示する手段と
を備え、
前記画像供給装置は、
各表示装置からそれぞれ受信した、指示体の操作内容を表す情報に基づいて画像データを生成する画像処理部と、
該生成された第１画像データを前記第１の表示装置に送信し、該生成された第２画像データを前記第２の表示装置に送信する送信部と、
前記第１の表示装置および前記第２の表示装置にそれぞれ第１の画像データおよび第２の画像データを送信する際に、前記第１の画像データの送信タイミングおよび前記第２の画像データの送信タイミングのうち少なくともいずれか一方を、前記第２の表示装置に表示される映像の更新に要する時間と前記第１の表示装置に表示される映像の更新に要する時間との差が少なくなるように、調整する制御部と
を有する
ことを特徴とする画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像供給装置、画像供給方法、プログラムおよび画像処理システムに関する。
【背景技術】
【０００２】
一台のパーソナルコンピューターに接続された複数の表示装置を隣り合せて配置することによって、表示領域を増やすことが行われている。この方法によれば、高価な一台の大画面の表示装置を用いるよりもシステムを安価に構築することができる。
他方、表示装置には、表示領域に対して電子ペンや指などを用いて各種指示を入力する機能を有するものが登場している（特許文献１参照）。このような表示装置を用いれば、画像へのアノテーションの描画、画面のスクロール、アプリケーション操作といった様々な操作を、コンピューターから離れた場所から行うことができる。この場合、表示装置にて取得した指示体の操作についての情報がコンピューターに送信され、コンピューターにおいて当該操作に対応する画面データを生成して表示装置へ送信することにより、表示内容の更新が行われることになる。
【０００３】
ここで上述の入力機能を有する表示装置を複数台使用する場合、パーソナルコンピューターと各表示装置の間の接続の形態（例えばＨＤＭＩ等のケーブルによる接続とＷｉＦｉ等の無線接続など）が異なる場合があり得る。この場合、各表示装置が担当する表示領域によって、指示体の操作が表示内容に反映されるまでの時間に差が出る可能性がある。その理由として、接続形態によってデータ伝送時間が異なることが挙げられる。また、伝送時間の違いを無視できるとしても、通信規格の違いに起因してコンピューター（あるいはプロジェクター側）において必要な画像処理が異なる場合があり、これが画像の更新に要する時間の差となって現れる。
【０００４】
この結果、表示された画像のうちある領域において行われた入力操作と、他の領域に対して指示体を用いて行われた操作とでは、応答性に差が出るという現象が生じる。特に、領域の境界を跨いでオブジェクトを描画するような操作を行った場合、ユーザーは強い違和感を覚える可能性がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−９７１７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、指示体による入力機能を有する表示装置を複数用いた場合における応答性の違いを緩和することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、指示体の操作内容を表す情報を第１の表示装置または第２の表示装置から逐次取得する取得部と、該取得した情報に基づいて画像データを生成する画像処理部と、前記画像処理部にて生成された第１画像データを前記第１の表示装置に送信し、前記画像処理部にて生成された第２画像データを前記第２の表示装置に送信する送信部と、前記第１の画像データの送信タイミングおよび前記第２の画像データの送信タイミングのうち少なくともいずれか一方を、前記第１の表示装置の画面更新に要する時間と前記第２の表示装置の画面更新に要する時間との差が少なくなるように調整する制御部とを有する画像供給装置。
本発明によれば、指示体による入力機能を有する表示装置を複数用いた場合における応答性の違いが緩和される。
【０００８】
前記制御部は、前記情報を取得したタイミングと前記画像データの生成が完了したタイミングとに基づいて前記差を算出し、前記第１の表示装置の画面更新に要する時間および前記第２の表示装置の画面更新に要する時間のうち短いほうに係る画像データの送信処理を遅延させてもよい。
本発明によれば、前記画像供給装置における処理に要する時間の違いに起因するタイミングのずれが補正される。
【０００９】
前記制御部は、前記情報の取得時点から前記画像データの生成完了時点までの期間を複数回にわたって計測した結果に基づいて、前記差を算出してもよい。
本発明によれば、画面更新処理に要する時間の変動によって過剰な補正が行われることが防止される。
【００１０】
前記差は前記画像の解像度に基づいて算出されてもよい。
本発明によれば、更新対象の画面の解像度に起因したタイミングのずれが補正される。
【００１１】
前記差は、前記画像供給装置と前記第１の表示装置との間で採用される第１伝送規格と、前記画像供給装置と前記第２の表示装置と間で採用される第２伝送規格とに基づいて、算出されてもよい。
本発明によれば、データ伝送路の違いに起因した遅延が補正される。
【００１２】
前記差は、前記画像データの生成において実行されるデータ圧縮処理に適用される圧縮率に基づいて、算出されてもよい。
本発明によれば、圧縮率に関する処理時間の違いに基づく送信タイミングのずれが補正される。
【００１３】
指示体の操作内容を表す情報を第１の表示装置または第２の表示装置から逐次受取得するステップと、該取得した情報に基づいて画像データを生成するステップと、前記画像処理部にて生成された第１画像データを前記第１の表示装置に送信し、前記画像処理部にて生成された第２画像データを前記第２の表示装置に送信するステップと、前記第１画像データの送信タイミングおよび前記第２画像データの送信タイミングのうち少なくともいずれか一方を、前記第２の表示装置に表示される映像の更新に要する時間と前記第１の表示装置に表示される映像の更新に要する時間との差が少なくなるように調整するステップと、指示体の操作内容を表す情報を表示装置から逐次受信するステップと、該受信した情報に基づいて画像データを生成するステップと、該生成された画像データを表示装置に送信するステップと、第１の表示装置および第２の表示装置にそれぞれ第１の画像データおよび第２の画像データを送信する際に、前記第１の画像データの送信タイミングおよび前記第２の画像データの送信タイミングのうち少なくともいずれか一方を、前記第２の表示装置に表示される映像の更新に要する時間と前記第１の表示装置に表示される映像の更新に要する時間との差が少なくなるように調整するステップとを有する画像供給方法を提供する。
本発明によれば、指示体による入力機能を有する表示装置を複数用いた場合における応答性の違いが緩和される。
【００１４】
本発明は、また、コンピューターに、指示体の操作内容を表す情報を第１の表示装置または第２の表示装置から逐次受信するステップと、該受信した情報に基づいて画像データを生成するステップと、該生成された第１画像データを前記第１の表示装置に送信し、該生成された第２画像データを前記第２の表示装置に送信する送信部と、該生成された画像データを表示装置に送信するステップと、前記第１画像データの送信タイミングおよび前記第２画像データの送信タイミングのうち少なくともいずれか一方を、前記第２の表示装置に表示される映像の更新に要する時間と前記第１の表示装置に表示される映像の更新に要する時間との差が少なくなるように調整するステップと、を実行させるためのプログラムを提供する。
この発明によれば、指示体による入力機能を有する表示装置を複数用いた場合における応答性の違いが緩和される。
【００１５】
本発明は、また、第１の表示装置、第２の表示装置、および画像供給装置を備え、第１の表示装置および第２の表示装置の各々は、指示体の操作内容を表す情報を生成する手段と、該生成された情報を前記画像供給装置に送信する手段と前記画像供給装置から画像データを受信する手段と、該受信した画像データに基づいて画像を表示する手段とを備え、前記画像供給装置は、各表示装置からそれぞれ受信した、指示体の操作内容を表す情報に基づいて画像データを生成する画像処理部と、該生成された第１画像データを前記第１の表示装置に送信し、該生成された第２画像データを前記第２の表示装置に送信する送信部と、前記第１の表示装置および前記第２の表示装置にそれぞれ第１の画像データおよび第２の画像データを送信する際に、前記第１の画像データの送信タイミングおよび前記第２の画像データの送信タイミングのうち少なくともいずれか一方を、前記第２の表示装置に表示される映像の更新に要する時間と前記第１の表示装置に表示される映像の更新に要する時間との差が少なくなるように、調整する制御部とを有することを特徴とする画像処理システムを提供する。
【００１６】
この発明によれば、指示体による入力機能を有する表示装置を複数用いた場合における応答性の違いが緩和される。
【図面の簡単な説明】
【００１７】
【図１】画像表示システム１００の概要を示す図。
【図２】ＰＣ２００の機能を示す図。
【図３】プロジェクター３００の機能を示す図。
【図４】ＰＣ２００の動作フロー図。
【図５】各プロセスに要する時間を示す図。
【発明を実施するための形態】
【００１８】
１．実施例
図１は画像表示システム１００の概要を示す。画像表示システム１００は、ＰＣ２００、複数のプロジェクター３００（３００−１および３００−２）、表示領域５００、および指示体４００を含む。
ＰＣ２００は、一般的なパーソナルコンピューターとしての機能を有し、接続されているすべてのプロジェクター３００についての画像表示を制御する。
各プロジェクター３００は、一般的なプロジェクターとしての機能を有し、ＰＣ２００の指示の下、映像を表示領域５００に投写する。各プロジェクター３００は互いに異なる接続形態（信号伝達の経路および方式）を用いて、ＰＣ２００と接続される。同図の例では、プロジェクター３００−１についてはケーブル接続が、プロジェクター３００−２については無線接続が採用されている。ＰＣ２００と各プロジェクター３００との接続方式は既存の任意のものを採用することができる。例えば、ケーブル接続として、ＨＤＭＩ（登録商標）、USB（登録商標）、D−subポート、Display port（登録商標）等の規格を、ネットワーク接続としてはＷｉＦｉやEthernet（登録商標）から任意のものを選択することができる。なお、各プロジェクター３００は、機能的に完全に同一であってもよいし、そうでなくてもよい。
【００１９】
表示領域５００は、専用のスクリーンまたは壁面である。表示領域５００には、画面ＳＣ１および画面ＳＣ２が形成される。画面ＳＣ１および画面ＳＣ２は、それぞれ、プロジェクター３００−１およびプロジェクター３００−２によって投写される領域である。同図に示すように、画像表示システム１００において、画面ＳＣ１および画面ＳＣ２が隣り合うように、プロジェクター３００−１、プロジェクター３００−２の設置位置や拡大率などの投写条件が調整される。この結果、あたかも画面ＳＣ１および画面ＳＣ２によって一つの表示領域が形成されているかのようにユーザーに知覚させることができる。
【００２０】
指示体４００は、ユーザー自身の手や指、あるいはユーザーが使用する電子ペン等の入力デバイスである。ユーザーは指示体４００を用いて表示領域５００内の位置を指定することで、表示領域５００上に画像オブジェクトを重ねて描画する処理や、ＰＣ２００で動作しているアプリケーションプログラム等に描画処理以外の所定の動作を実行させる。具体的には、ＰＣ２００において描画アプリケーションが起動されて所定の画面が表示されている場合、描画内容や描画条件の指定や変更の指示、アプリケーションの起動や切り換えの指示、画面のスクロールの指示等が、指示体４００を操作することによって行われる。同図の例においては、指示体４００を用いて、背景画像中にアノテーションＡＮ１およびアノテーションＡＮ２が描画（合成表示）されている例を示す。
【００２１】
図２はＰＣ２００の機能を示す。ＰＣ２００は、画像処理部２１０、通信部２２０、タイミング調整部２３０、記憶部２４０、表示部２５０、および入力部２６０を含む。表示部２５０は、液晶ディスプレイ等の表示装置である。入力部２６０は、キーボードやマウスなどの入力装置であって、ユーザーの指示や命令を画像処理部２１０に供給する。
【００２２】
通信部２２０は、通信インターフェースであって、受信部２０１および送信部２０２を含む。受信部２０１は、プロジェクター３００−１またはプロジェクター３００−２から操作情報Ｄｐ（それぞれＤｐ１およびＤｐ２と記す）を受信する。操作情報Ｄｐには、送信元であるプロジェクター３００−１または３００−２を識別する識別子と、指示体４００によって指定された位置の座標とが含まれる。
そして、受信部２０１は、操作情報Ｄｐの送信元がプロジェクター３００−１であるかプロジェクター３００−２であるかを判定し、操作情報Ｄｐ１を第１画像処理部２１１へ、操作情報Ｄｐ２を第２画像処理部２１２へそれぞれ供給する。加えて、通信部２２０はタイマーを備え、操作情報Ｄｐを受信した時刻を受信時刻ｔｒ（プロジェクター３００−１の場合とプロジェクター３００−２に対応してそれぞれｔｒ１またはｔｒ２と記す）を測定して処理時間算出部２３１へ出力する。送信部２０２は、第１画像処理部２１１および第２画像処理部２１２からそれぞれ供給された画像データＤｉ（プロジェクター３００−１用のものおよび３００−２用のものをそれぞれＤｉ１およびＤｉ２と記す）を、遅延処理部２３２から供給される制御信号ＳＴに従ったタイミングで、それぞれ対応するプロジェクター３００−１またはプロジェクター３００−２に送信する。
【００２３】
画像処理部２１０は、ＣＰＵや画像処理専用プロセッサー等によって実現され、各プロジェクター３００に表示させるための画像を自装置にて確認するために、画像データＤｉを生成して表示部２５０に供給する。より具体的には、画像処理部２１０は第１画像処理部２１１および第２画像処理部２１２を含み、それぞれプロジェクター３００−１およびプロジェクター３００−２に供給するための画像データＤｉ１およびＤｉ２を生成する。第１画像処理部２１１および第２画像処理部２１２は、独立して動作する。すなわち、画面ＳＣ１の更新と画面ＳＣ２の更新とは並列的に行われる。
【００２４】
第１画像処理部２１１は、プロジェクター３００−１に供給するための画像データＤｉ１を生成する。具体的には、操作情報Ｄｐ１に含まれる座標に基づいて、次に表示すべき画像（つまり更新後の画面内容）を決定し、決定した画像を表す画像データＤｉ１を生成する。生成された画像データＤｉ１は送信部２０２に供給される。加えて、第１画像処理部２１１は、画像データＤｉ１の生成処理が完了したことをタイミング調整部２３０に通知する。
【００２５】
第２画像処理部２１２は、プロジェクター３００−２に供給するための画像データＤｉ２を生成する。具体的には、操作情報Ｄｐ２に含まれる座標に基づいて、次に表示すべき画像（つまり更新後の画面内容）を決定し、決定した画像と現在表示中の画像との差分に相当する画像データを生成し、生成した画像データを圧縮することによって、画像データＤｉ２を生成する。生成された画像データＤｉ２は送信部２０２に供給される。加えて、第２画像処理部２１２は、画像データＤｉ２の生成処理が完了したことをタイミング調整部２３０に通知する。
【００２６】
第２画像処理部２１２において差分画像の算出およびデータ圧縮を行う理由は、ＰＣ２００とプロジェクター３００−２との間の伝送路においては、単位時間あたりに送信できるデータ量が相対的に小さいので、更新速度（換言すると、応答性）を確保すべく、画面更新に必要な伝送するデータ量できるだけ小さくするためである。その反面、データ圧縮を行う分だけ時間をロスすることになる。
このように、第１画像処理部２１１と第２画像処理部２１２とでは、画面の更新に要する処理の内容が異なる。この結果として、ＰＣ２００内における処理時間に差が生じ、これが画面ＳＣ１とＳＣ２とにおける応答性に差異が生じる一因となっている。
なお、第１画像処理部２１１においても差分抽出処理およびデータ圧縮処理を行ってもよいが、以下では、第２画像処理部２１２にて行われる差分抽出処理および画像圧縮処理の内容（圧縮率など）が同一ではないことを前提とする。つまり、後述する画像データＤｉの送信タイミングの調整を行わなければ、画面ＳＣ１と画面ＳＣ２とで応答性に差異が存在する状態であるとする。
【００２７】
タイミング調整部２３０は、ＣＰＵ等のプロセッサーによって実現され、処理時間算出部２３１および遅延処理部２３２を含む。タイミング調整部２３０は、プロジェクター３００−１およびプロジェクター３００−２にそれぞれ画像データＤｉ１および画像データＤｉ２を送信する際に、画像データＤｉ１の送信タイミングおよび画像データＤｉ２の送信タイミングのうち少なくともいずれか一方を、前記第１の表示装置の画面更新に要する時間と前記第２の表示装置の画面更新に要する時間との差が少なくなるように、調整する。
【００２８】
処理時間算出部２３１は、まず遅延処理の要否を判定する。具体的には、処理時間算出部２３１は、受信部２０１から供給された受信時刻（ｔｒ１またはｔｒ２）と第１画像処理部２１１または第２画像処理部２１２から供給された処理完了時刻（ｔｐ１またはｔｐ２）との差に基づいて、ＰＣ２００内で更新処理に要する時間（内部処理時間ＴＮ（それぞれＴＮ１またはＴＮ２）という）を算出する。すなわち、ＴＮ１＝ｔｐ１−ｔｒ１かつＴＮ２＝ｔｐ２−ｔｐ１である。
【００２９】
算出された内部処理時間ＴＮは、処理時間履歴Ｍ３に記憶されるとともに、遅延処理部２３２に供給される。そして、遅延処理部２３２は、生成した画像の提供先のプロジェクター３００ではないほうのプロジェクター３００に係る内部処理時間ＴＮを記憶部２４０から読み出し、算出した内部処理時間ＴＮと比較する。算出したＴＮのほうが読み出した内部処理時間ＴＮよりも大きいか同じである場合（つまり、現在画面更新処理中の画像のデータのほうが他方のプロジェクター３００用の画像データよりも処理に要する時間が同じまたは長い場合）、遅延処理が不要と判定する。一方、算出した内部処理時間ＴＮのほうが読み出した内部処理時間ＴＮよりも小さい場合（つまり、現在生成している画像データのほうが他方のプロジェクター３００用の画像データよりも処理が高速である場合）、遅延処理が必要であると判定する。
【００３０】
遅延処理部２３２は、遅延処理が必要な場合には、算出した内部処理時間ＴＮに対応する遅延量Δｔを算出する。具体的には、Δｔ＝｜ＴＮ１−ＴＮ２｜とする。続いて、遅延処理部２３２は、算出した遅延量Δｔだけ遅延をかけて送信を行うことを示す制御信号ＳＴを生成し、送信部２０２に出力する。この結果、送信部２０２から、制御信号ＳＴに従ったタイミングで、画像データＤｉ１および画像データＤｉ２がそれぞれプロジェクター３００−１およびプロジェクター３００−２に送信される。なお、遅延処理が必要でない場合は、Δｔ＝０であることを示す制御信号ＳＴが送信部２０２に供給される。
【００３１】
記憶部２４０は、ハードディスクや半導体メモリー等の記憶装置であって、通信部２２０、画像処理部２１０、およびタイミング調整部２３０をそれぞれ制御することによって後述の動作を実現させるためのプログラムを記憶する。加えて、記憶部２４０は、画像属性Ｍ１、伝送環境情報Ｍ２、処理時間履歴Ｍ３、および画像データＭ４を記憶する。画像属性Ｍ１には、プロジェクター３００に表示させる画像についての情報（例えばデータ量や画像の解像度）が含まれる。伝送環境情報Ｍ２には、プロジェクター３００−１とプロジェクター３００−２との間の伝送環境に関する情報（転送速度など）が含まれる。処理時間履歴Ｍ３には、画面ＳＣ１の画面更新と画面ＳＣ２の画面更新のそれぞれについて、ＰＣ２００内での処理に要する時間を示す情報を含む。処理時間履歴Ｍ３は、画面更新処理が実行されるたびに更新、蓄積する。画像データＭ４は、各プロジェクター３００に投写させるべき画像データである。
【００３２】
図３はプロジェクター３００の機能を示す。プロジェクター３００は、通信部３１０、画像処理部３２０、操作検出部３３０、および投写部３４０を含む。通信部３１０は、ＰＣ２００との間で情報の送受信を行うための通信インターフェースであって、複数の接続形式に対応するハードウェア（例えばＨＤＭＩ端子や無線ＬＡＮモジュールなど）によって実現される。ただし、各プロジェクター３００において、同時に有効となるのは選択された一のハードウェアモジュールのみである。この例では、プロジェクター３００−１はＨＤＭＩによって、プロジェクター３００−２はＷｉＦｉを用いて、それぞれＰＣ２００と接続されると仮定する。
より具体的には、通信部３１０は送信部３１１および受信部３１２を含む。受信部３１２は、ＰＣ２００から画像データＤｉ１を受信すると第１処理部３２１に供給する一方、画像データＤｉ２を受信すると第２処理部３２２に供給する。送信部３１１は、操作検出部３３０から供給された操作情報ＤｐをＰＣ２００へ送信する。
【００３３】
画像処理部３２０は、Ａ／Ｄ変換回路、画素処理プロセッサー、バッファメモリー等によって実現され、受信部３１２から供給された画像データＤｉ１または画像データＤｉ２に対して所定の描画処理を行って映像信号Ｖを生成する。具体的には、画像処理部３２０は第１処理部３２１および第２処理部３２２を含む。第１処理部３２１および第２処理部３２２における処理の違いは、第２処理部３２２の処理には、圧縮データを伸張する処理が必ず含まれる点である。従って、仮にプロジェクター３００−１とプロジェクター３００−２とにおいて同一内容の画面更新を行う場合でも、その接続形態の違いに起因して、プロジェクター３００内で実行される処理の内容は異なり得る。この結果、プロジェクター３００−１とプロジェクター３００−２とで処理時間に差が生じる場合がある。生成された映像信号Ｖは投写部３４０に供給される。
【００３４】
投写部３４０は、光源（レーザーなど）、レンズ、ミラー、プリズム等の投写機構、各表示色に対応する液晶パネルなどの光学素子を含み、光源からの光を映像信号に基づいて変調する変調機構、変調された光を投写部へ導く光学系によって実現される。
【００３５】
操作検出部３３０は、指示体４００の位置を監視し、指示体４００によって表示領域５００上の位置が指定されると、当該位置の座標およびその位置に属する表示領域の描画を担うプロジェクター３００の識別子を含む操作情報Ｄｐを生成する。生成された操作情報Ｄｐは、送信部３１１を介して逐次ＰＣ２００に送信される。具体的には、可視光や赤外項光を画面ＳＣ１ないし画面ＳＣ２に向けて照射し、反射光を受信して解析することにより、指示体４００の存在およびその位置を検出する。あるいは、指示体４００が無線送信機能を有するデバイスの場合、指示体４００からの電波を受信し、受信強度等に基づいて表示領域５００に対する指示体４００の位置を決定してもよい。指示体４００の位置を検出する方式については、その他の既存の任意の技術を適用してもよい。
【００３６】
図５はＰＣ２００の動作フローを示す。ＰＣ２００は、複数のプロジェクター３００との接続を認識したこと契機として、あるいは複数のプロジェクター３００が接続された状態でユーザーから所定の指示が入力されたことを契機として、内部処理時間ＴＮ１およびＴＮ２の初期値を所定のアルゴリズムに従って決定し、記憶部２４０に書き込む（Ｓ６００）。その後、操作情報Ｄｐをいずれかのプロジェクター３００から取得すると（Ｓ６０２、ＹＥＳ）、操作情報Ｄｐに基づいて、操作対象の画面（画面ＳＣ１または画面ＳＣ２）および操作内容を特定する（Ｓ６０４）。続いて、操作情報Ｄｐに従って表示部２５０の画面を更新するとともに（Ｓ６０６）、Ｓ６０４で特定したプロジェクター３００−１およびプロジェクター３００−２のいずれか一方に供給するための画像データＤｉを生成する（Ｓ６０８またはＳ６１０）。画像データＤｉの生成が完了すると、この生成処理に要した時間を計測し、記憶する（Ｓ６１２）。続いて、Ｓ６０４で特定したプロジェクター３００ではないほうのプロジェクター３００用のデータの処理時間を記憶部２４０から読み出し、両者を比較する（Ｓ６１４）。続いて、該生成した画像データについての遅延の要否を判定し、遅延処理が必要な場合はその量（Δｔ）を計算する（Ｓ６１６）。制御信号ＳＴを送信部２０２に出力した後、生成した画像をプロジェクター３００に送信する（Ｓ６２０またはＳ６２２）。
【００３７】
上記実施例における効果を、図５を用いて説明する。図５は、送信タイミングの制御を行わないとした場合に、各プロセスの流れを時系列で模式的に示したものである。同図（ａ）および（ｂ）は、それぞれ、プロジェクター３００−２（画面ＳＣ２）について更新を行う場合およびプロジェクター３００−１（画面ＳＣ１）についての更新を行う場合に対応する。
【００３８】
まず、プロジェクター３００にて指示体４００の操作が検知されると（時刻ｔ１）、操作情報Ｄｐが生成され、そのプロジェクター３００からＰＣ２００へ送信される（時刻ｔ２）。ＰＣ２００が操作情報Ｄｐを受信すると（時刻ｔ３）、画像処理部２１０において上述した画像処理が開始する（時刻ｔ４）。当該画像処理が完了すると（時刻ｔ５）、画像データがＰＣ２００からそのプロジェクター３００に送信される（時刻ｔ６）。プロジェクター３００は画像データを受信すると（時刻ｔ７）、画像処理を実行して画面の更新が完了する（時刻ｔ８〜時刻ｔ９）。
【００３９】
ここで、期間Ｔ２および期間Ｔ４はデータの伝送に要する時間である。内部処理時間ＴＮは、ＰＣ２００内部での処理に要する時間である。なお、先に内部処理時間ＴＮはｔ３〜ｔ５であると定義したが、実際はｔ５〜ｔ６の期間はｔ４〜ｔ５の期間に比べて十分に短く、従って内部処理時間ＴＮはｔ３〜ｔ６の期間（ＰＣ２００が操作情報Ｄｐを受信した瞬間から画像データを送信した瞬間まで）と実質的に同一であるとみなせる。期間Ｔ５は、プロジェクター３００内部において処理に要する時間である。更新時間ＴＲは、指示体４００の操作を表示内容に反映させるために必要なＰＣ２００で実行される処理に要する時間である。
【００４０】
このように（ａ）および（ｂ）において、全体的な処理の流れは共通するが、プロジェクター３００−１とプロジェクター３００−２とでは、接続形態自体の違いや接続形態の違いに起因した画像処理内容における違いが存在するため、画面更新に要する時間の長さ（同図のＴＲ）が異なっている。具体的には、更新時間ＴＲは、ＰＣ２００における処理の内容、プロジェクター３００における処理の内容、およびデータ伝送に係る時間に左右される。この結果、指示体４００を画面ＳＣ１上において操作した場合と画面ＳＣ２上において操作した場合とでは、応答性に差が生じる。この差がある程度以上になるとユーザーに違和感を与える結果となる。
【００４１】
図５に示すように、画面更新処理の速度が異なる複数のプロジェクター３００によって一つの画面が実現されている場合に、上記実施例に係る送信タイミング調整を適用すると、上記差が少なくなるように、画像生成時間が短いほうの処理について、画像データの送信タイミングが遅延させられる。具体的には、一方のプロジェクター３００の画面更新に要する時間および他方のプロジェクター３００の画面更新に要する時間のうち短いほうの処理に係るＰＣ２００における画像データの送信時点がΔｔ＝｜ＴＮ１−ＴＮ２｜だけ遅れる。
【００４２】
この結果、一方の画面の更新に要する時間が他方の画面の更新に要する時間（仮にその時点において画面ＳＣ２の更新処理が行われた場合においてＰＣ２００が要したと推定される時間）とが等しくなる。よって、画面ＳＣ１における操作と画面ＳＣ２における操作との間に存在した応答性の違いが緩和される。特に、画面ＳＣ１内と画面ＳＣ２内とを断続的に行き来するような操作がなされた場合、ユーザーが実感する効果はより顕著となる。
【００４３】
さらに、データの伝送時間における差異および各プロジェクター３００における内部処理における差が実質的に無視できる場合（換言すると、応答性のばらつきの原因が実質的にＰＣ２００内部の処理のみにあるとみなせる場合）、画面ＳＣ１を対象にした操作と画面ＳＣ２を対象にした操作とで、応答性の違いは実質的にゼロとなる。
【００４４】
２．その他の実施例
遅延量の決定に関し、上述の方法に変えて、以下に示す複数の方法を、単独でまたは組み合わせて用いてもよい。
【００４５】
遅延量Δｔの算出にあたり、｜ＴＮ１−ＴＮ２｜の値をそのまま用いるのではなく、所定の演算を行ってもよい。例えば、ある画像の内部処理時間ＴＮとその画像の伝送速度とに所定の相関関係があることが予め分かっている場合、内部処理時間ＴＮの差に所定の係数を乗じる。すなわち、伝送速度を直接測定せずに、内部処理時間ＴＮの差に基づいて更新時間ＴＲの差のずれを推定し、この更新時間ＴＲの差が少なくなるように遅延量Δｔを決定する。
【００４６】
処理時間算出部２３１において、内部処理時間ＴＮを決定するにあたり、直前に実行した画面更新処理についての情報ではなく、操作情報Ｄｐの取得時点から前記画像データの送信時点までの期間を複数回にわたって計測した結果を用いてもよい。例えば、過去に行った所定回数分の更新処理に係る時間を記憶し、記憶した時間の情報に所定の統計処理（平均値の算出処理など）を行い、得られた値を前出の内部処理時間ＴＮとして採用する。画像の内容（コンテンツ）によっては、遅延量が一定にならず、場合によっては算出される遅延量Δｔが更新処理のたびに大きく変動する可能性があるところ、このように統計量を導入することで、応答時間が大きく時間変化することに起因する違和感をユーザーに与えることが防止される。
【００４７】
遅延量Δｔの算出にあたり、内部処理時間ＴＮに加えて画像属性Ｍ１を加味してもよい。例えば、画面ＳＣ１と画面ＳＣ２とで異なる解像度の画像を表示する場合において、一画面あたりの画像データのサイズ（解像度）が小さいほうのデータについては、両者のデータ量の違いに対応する遅延量を｜ＴＮ１−ＴＮ２｜に加算する、もしくは当該遅延量に対応する係数を｜ＴＮ１−ＴＮ２｜の値に乗じる、という処理を行う。
【００４８】
また、内部処理時間ＴＮだけでなく、Δｔ＝｜ＴＲ１−ＴＲ２｜がゼロに近づくように、期間Ｔ２および期間Ｔ４における差を加味して遅延量Δｔを決定してもよい。具体的には、プロジェクター３００−１とプロジェクター３００−２とで採用されるデータ伝送規格によって規定される伝送速度の限界値に基づいて、理論上の伝送時間の差Δｔｘを計算し、Δｔｘを用いて｜ＴＮ１−ＴＮ２｜の値を補正する。このように、各伝送路におけるデータ伝送速度の違いに基づく推定し、推定結果を遅延量Δｔに反映させる。
なお、テストパケットを用いるなどして上記Δｔｘを随時実測し、最新のΔｔｘをΔｔに反映させてもよい。伝送速度の変化を逐次監視して遅延量に反映させることにより、ＰＣ２００とプロジェクター３００とを専用ケーブルでなくＬＡＮ等の伝送速度の変動が比較的大きい通信網を利用して接続している場合でも、応答性のばらつきを一定の範囲に抑えることができる。
【００４９】
内部処理時間ＴＮを算出するにあたり、処理時間を実測するのではなく、生成すべき画像データに関する情報（解像度など）および画像処理に関する情報（圧縮率などのパラメータなど）のうち少なくともいずれかを用いて、推定してもよい。例えば、一般的に圧縮率が高いほど圧縮処理に要する時間が長くなるので、圧縮率と処理時間とを記憶部２４０に対応付けて記憶しておき、適用される圧縮率に対応する処理時間を用いて｜ＴＲ１−ＴＲ２｜の値を補正する。
【００５０】
処理時間の短いほうの処理を処理時間の長いほうに合わせて遅らせるのではなく、処理時間の長いほうの処理の時間を短縮させてもよい。例えば、ＴＮ１＜ＴＮ２の場合に、プロジェクター３００−１の処理については遅延をかけず、プロジェクター３００−２については画像解像度を落とすなどしてＴＮ２を短縮する。これにより、全体的な応答性を落とすことなく応答性を均一化することができる。
【００５１】
上述した、遅延処理と短縮処理とを組み合わせてもよい。すなわち、処理時間の短いほうの処理に対しては遅延処理を施す一方、処理時間の長いほうの処理に対しては短縮化を施す。
【００５２】
あるいは、Δｔ＝０となるような調整方法以外の方法を採用してもよい。例えば、処理時間の短いほうの処理と処理時間の長いほうの処理の両方に対して遅延をかける。具体的には、ＴＮ１＜ＴＮ２である場合、ＴＮ１+Δｓ１、ＴＮ１+Δｓ２（Δｓ１＞Δｓ２）とする。遅い処理のほうに対しても遅延をかけるのは、伝送路の変化等により、現時点よりもさらに遅延することがあり得る可能性を考慮しているためである。遅いほうの処理に係る伝送路の状態が悪化しても、あらかじめ処理時間の更なる遅れを見込んで共通の応答性を設定しているので、応答性は多少犠牲になるが、応答性の統一感を確実に担保するという観点では好ましい。
【００５３】
本発明に係る送信タイミングの調整処理を、ＰＣ２００に同時に接続され、一つの画面を構成する画面ＳＣｎ（ｎ＝１，２，３，・・・）の描画を担当する３台以上のプロジェクターに係る送信処理に適用してもよい。
【００５４】
本発明に係る送信タイミングの調整処理を適用するのはプロジェクターに限定されず、用いている表示原理や表示機構には依存しない。画像を表示する機能と表示領域上の位置を指定する入力機能とを備えた表示装置であれば、本発明を適用することができる。
【００５５】
要するに、本発明の画像供給装置は、指示体の操作内容を表す情報を表示装置から逐次受信する取得部と、該受信した情報に基づいて画像データを生成する画像処理部と、該生成された画像データを表示装置に送信する送信部とを有するものであって、第１の表示装置および第２の表示装置にそれぞれ第１の画像データおよび第２の画像データを送信する際に、前記第１の画像データの送信タイミングおよび前記第２の画像データの送信タイミングのうち少なくともいずれか一方を、前記第１の表示装置の画面更新に要する時間と前記第２の表示装置の画面更新に要する時間との差が少なくなるように調整する。
【符号の説明】
【００５６】
１００・・・画像表示システム、２００・・・ＰＣ、２２０・・・通信部、２０１・・・受信部、２０２・・・送信部、２１０・・・画像処理部、２１１・・・第１画像処理部、２１２・・・第２画像処理部、２３０・・・タイミング調整部、２３１・・・処理時間算出部、２３２・・・遅延処理部、２４０・・・記憶部、２５０・・・表示部、２６０・・・入力部、３００・・・プロジェクター、３１０・・・通信部、３１１・・・送信部、３１２・・・受信部、３３０・・・操作検出部３３０、３２０・・・画像処理部、３２１・・・第１処理部、３２２・・・第２処理部、３４０・・・投射部、４００・・・指示体、５００・・・表示領域
【図２】
2016090894.tif 000003
【図３】
2016090894.tif 000004
【図４】
2016090894.tif 000005
【図５】
2016090894.tif 000006
【図１】
2016090894.tif 000007