(57)【特許請求の範囲】
【請求項１】
夫々が時間的に連続して表示される画像間の差分を示す差分データを送信する複数の画像送信装置とネットワークを介して相互に通信可能に接続される画像表示装置であって、
前記複数の画像送信装置それぞれに送信要求を送信し、各画像送信装置が前記送信要求に応じて送信した前記差分データを含むフレームを受信する通信部と、
前記各画像送信装置から受信したフレームに含まれている差分データに基づく画像を表示する表示部と、
前記画像送信装置毎に、前記送信要求の送信開始から前記フレームの受信開始までに要した第１の所要時間と前記フレームの受信開始から受信終了までに要した第２の所要時間とを計測する計測部と、
前記通信部の送信要求の送信動作を制御する制御部と、を有し、
前記制御部は、予め設定された送信間隔で前記通信部から前記各画像送信装置へ前記送信要求を送信させ、前記画像送信装置毎に、前記計測部に前記第１および第２の所要時間の計測を行わせ、該計測結果に基づいて前記送信要求の送信間隔を変更する、画像表示装置。
【請求項２】
請求項１に記載の画像表示装置において、
前記制御部は、前記画像送信装置毎に、所定の期間に亘って、前記計測部に前記第１および第２の所要時間の計測を行わせ、前記第１および第２の所要時間それぞれの計測値の最大値を合計した値の逆数により示される単位時間当たりのフレーム数に基づいて算出した最適フレーム伝送間隔を前記送信要求の送信間隔に設定する、画像表示装置。
【請求項３】
請求項２に記載の画像表示装置において、
単位時間当たりのフレーム数を離散的に変化させた場合のそれぞれのフレーム数に対するフレーム伝送間隔を示すテーブルを有し、
前記制御部は、前記テーブルを参照して、前記最適フレーム伝送間隔を決定する、画像表示装置。
【請求項４】
請求項１ないし３のいずれか１項に記載の画像表示装置において、
前記表示部は、表示画面を備え、該表示画面が前記複数の画像送信装置それぞれに対応する複数の分割表示領域に区画され、前記各画像送信装置から受信した前記フレームに含まれる差分データに基づく画像を対応する分割表示領域にて表示し、
前記制御部は、前記表示画面の前記分割表示領域の面積比に応じた解像度を示す情報を前記送信要求とともに前記通信部より各画像送信装置へ送信させる、画像表示装置。
【請求項５】
請求項１ないし４のいずれか１項に記載の画像表示装置と、
前記画像表示装置とネットワークを介して相互に通信可能に接続される前記複数の画像送信装置と、を有する、画像表示システム。
【請求項６】
夫々が時間的に連続して表示される画像間の差分を示す差分データを送信する複数の画像送信装置それぞれに送信要求を送信し、各画像送信装置が前記送信要求に応じて送信した前記差分データを含むフレームを受信し、該受信したフレームに含まれている差分データに基づく画像を表示する画像表示装置にて行われるフレーム伝送間隔制御方法であって、
予め設定された送信間隔で前記各画像送信装置へ前記送信要求を送信し、前記画像送信装置毎に、前記送信要求の送信開始から前記フレームの受信開始までに要した第１の所要時間と前記フレームの受信開始から受信終了までに要した第２の所要時間とを計測し、該計測結果に基づいて前記送信要求の送信間隔を変更する、フレーム伝送間隔制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像送信装置から受信した画像データを表示する画像表示装置、その画像表示装置にて行われるフレーム伝送間隔制御方法、及びその画像表示装置を備えた画像表示システムに関する。
【背景技術】
【０００２】
複数の画像送信装置と、これら画像送信装置とネットワークを介して相互に通信可能に接続された画像表示装置と、を有し、画像表示装置が、各画像送信装置から送信された画像データを表示する、画像表示システムが提案されている。この画像表示システムの関連技術が、特許文献１に記載されている。
画像表示装置は、表示画面が各画像送信装置に対応する複数の分割表示領域に区画された表示部を備え、各画像送信装置から受信した画像データがそれぞれ対応する分割表示領域に表示される。画像表示装置は、各画像送信装置に対して画像データの送信要求を送信し、各画像送信装置は、送信要求に応じて、画像データを画像表示装置に送信する。画像表示装置は、１フレーム分の画像データを受信したタイミングで、次のフレームの画像データの送信要求を画像送信装置に送信する。【０００３】
上記画像表示システムは、例えば会議等で用いられる。一般に、会議等の利用形態においては、複数の参加者が、自分のノート型パーソナルコンピュータやモバイルターミナルなどの情報処理端末（画像送信装置）をＬＡＮ（Local Area Network）等のネットワークを介してプロジェクター（画像表示装置）に接続する。各情報処理端末は、プロジェクターからの送信要求に応じて、自端末の画面に表示さている画像のデータをプロジェクターに送信する。各参加者の情報処理端末の処理能力（ＣＰＵの処理速度）が異なる場合がある。
しかし、上述の画像表示システムでは、各画像送信装置が画像データを同時に画像表示装置に送信するため、ネットワークの帯域が圧迫され、その結果、通信速度が低下する。特に、会議等の利用形態においては、比較的に帯域幅の狭いネットワークが用いられるため、各画像送信装置が画像データを同時に送信することによる生じるネットワーク帯域の圧迫はより顕著である。ここで、ネットワークの帯域幅は、単位時間あたりのデータ伝送量を示す。【０００４】
ネットワークの通信速度の低下を抑制する方法として、特許文献２に記載された方法がある。この方法では、画像送信装置が、画面上に時系列的に表示される画像について、時間的に連続する２つの画像を比較し、変化が生じた部分、すなわち画像の差分を抽出し、その差分データを圧縮した圧縮データを画像表示装置に送信する。この方法を上記の画像表示システムに適用すれば、各画像送信装置が送信する１フレームあたりのデータ伝送量を削減することができるので、ネットワーク帯域の圧迫のために生じる通信速度の低下を抑制することができる。画像送信装置は、時間的に連続する複数の画像の差分を示すデータを蓄積し、送信要求に応じて、蓄積した差分データを圧縮して送信することも可能である。
しかし、上記の場合、画像送信装置において、表示される画像の変化の範囲や内容に従って差分の大きさが変化し、それに伴って、画像表示装置へ送信する圧縮データの伝送量も変化する。圧縮データの伝送量が変化すると、１フレームあたりのデータ伝送時間が変化し、その結果、画像表示装置の画面上の分割表示領域の画像更新が不規則となる。このため、画像表示装置の画面上の分割表示領域に表示された画像の更新が、画像送信装置に表示された画像の変化と同期していない状態となり、画像送信装置の使用者は、画像送信装置側の表示画像と画像表示装置側の表示画像とを観察した場合に違和感を覚える。
上記の違和感を抑制するため、通常は、各画像伝送装置から圧縮データを一定の周期で受信できるように、画像表示装置は、一定の送信間隔で送信要求を各画像送信装置に送信する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−１５２６２５号公報
【特許文献２】特開２００５−３３９２５６号公報
【発明の概要】
【０００６】
しかし、画像表示装置が一定の時間間隔で送信要求を各画像送信装置に送信し、各画像送信装置が送信要求に応じて圧縮データ（差分）を画像表示装置に送信するように構成した画像表示システムには、以下のような問題がある。
送信要求の送信間隔が固定であるため、各画像表示装置のフレームの送信間隔も固定である。このため、画像送信装置にて、差分が小さな画像が連続して表示された場合には、１フレームあたりの圧縮データの伝送量が減少し、データ伝送量に対してフレームの伝送間隔が大き過ぎる状態（フレーム数不足の状態）となる。この場合、ネットワーク帯域幅を最大限に利用した場合と比較して、画像表示装置の分割表示領域の画像の更新頻度が低下する。
【０００７】
反対に、画像送信装置にて、差分が大きな画像が表示された場合には、１フレームあたりの圧縮データの伝送量が多くなり、画像の差分の大きさによっては、１フレームの期間では圧縮データを送信できない状態（フレームが早過ぎる状態）となる。この場合は、圧縮データをスムーズに送信できないコマ落ちと呼ばれる現象が生じる。
また、画像送信装置にて、同じ画像が連続して表示された場合には、画像に差分がないために、圧縮データが送信されないフレームが生じ、フレームの伝送間隔が大き過ぎる状態となる。この場合は、画像表示装置は、圧縮データを一定の周期で受信することが困難になる。
各画像送信装置は、上記の「フレーム数不足状態」、「フレームが早過ぎる状態」及び「フレーム数過多の状態」のいずれかの状態を取り得る。このため、ネットワークの帯域幅を無駄なく最大限に利用して、圧縮データを一定の周期でスムーズに送信することは困難である。
【０００８】
本発明の目的は、ネットワークの帯域幅を無駄なく最大限に利用して、圧縮データを一定の周期でスムーズに送信することができる、画像表示装置、フレーム伝送間隔制御方法および画像表示システムを提供することにある。
【０００９】
上記目的を達成するため、本発明の一態様によれば、
夫々が時間的に連続して表示される画像間の差分を示す差分データを送信する複数の画像送信装置とネットワークを介して相互に通信可能に接続される画像表示装置であって、
前記複数の画像送信装置それぞれに送信要求を送信し、各画像送信装置が前記送信要求に応じて送信した前記差分データを含むフレームを受信する通信部と、
前記各画像送信装置から受信したフレームに含まれている差分データに基づく画像を表示する表示部と、
前記画像送信装置毎に、前記送信要求の送信開始から前記フレームの受信開始までに要した第１の所要時間と前記フレームの受信開始から受信終了までに要した第２の所要時間とを計測する計測部と、
前記通信部の送信要求の送信動作を制御する制御部と、を有し、
前記制御部は、予め設定された送信間隔で前記通信部から前記各画像表示装置へ前記送信要求を送信させ、前記画像送信装置毎に、前記計測部に前記第１および第２の所要時間の計測を行わせ、該計測結果に基づいて前記送信要求の送信間隔を変更する、画像表示装置が提供される。
【００１０】
本発明の別の態様によれば、
上記画像表示装置と、
前記画像表示装置とネットワークを介して相互に通信可能に接続される前記複数の画像送信装置と、を有する、画像表示システムが提供される。
【００１１】
本発明の他の態様によれば、
夫々が時間的に連続して表示される画像間の差分を示す差分データを送信する複数の画像送信装置それぞれに送信要求を送信し、各画像送信装置が前記送信要求に応じて送信した前記差分データを含むフレームを受信し、該受信したフレームに含まれている差分データに基づく画像を表示する画像表示装置にて行われるフレーム伝送間隔制御方法であって、
予め設定された送信間隔で前記各画像表示装置へ前記送信要求を送信し、前記画像送信装置毎に、前記送信要求の送信開始から前記フレームの受信開始までに要した第１の所要時間と前記フレームの受信開始から受信終了までに要した第２の所要時間とを計測し、該計測結果に基づいて前記送信要求の送信間隔を変更する、フレーム伝送間隔制御方法が提供される。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態による画像表示装置の構成を示すブロック図である。
【図２Ａ】画像表示部の表示領域の分割例を示す模式図である。
【図２Ｂ】画像表示部の表示領域の別の分割例を示す模式図である。
【図２Ｃ】画像表示部の表示領域のさらに別の分割例を示す模式図である。
【図２Ｄ】画像表示部の表示領域のさらに別の分割例を示す模式図である。
【図３Ａ】適切なフレーム伝送間隔の伝送状態の一例を示す模式図である。
【図３Ｂ】フレーム数不足のフレーム伝送状態の一例を示す模式図である。
【図３Ｃ】フレームが早すぎるフレーム伝送状態の一例を示す模式図である。
【図３Ｄ】フレーム数過多のフレーム伝送状態の一例を示す模式図である。
【図４】単位時間当たりのフレーム数を離散的に変化させた場合のそれぞれのフレーム数に対するフレーム伝送間隔を示すテーブルを示す図である。
【図５】画像更新頻度演算処理を説明するためのフローチャートである。
【図６】画像更新頻度演算部の構成を示すブロック図である。
【発明を実施するための形態】
【００１３】
次に、本発明の実施形態について図面を参照して説明する。
図１は、本発明の一実施形態による画像表示装置の構成を示すブロック図である。図１を参照すると、画像表示装置１は、通信装置１１、データ処理装置１２、記憶装置１３および画像出力装置１４を有する。
【００１４】
通信装置１１は、ネットワーク１００を介して複数の画像送信装置２1〜２nと相互に通信可能に接続されるものであって、データ受信部１１１およびデータ送信部１１２を備える。データ受信部１１１は、画像送信装置２1〜２nそれぞれからデータ（画像圧縮データを含む）を受信する。データ送信部１１２は、画像送信装置２1〜２nそれぞれにデータ（送信要求を含む）を送信する。
画像送信装置２1〜２nはそれぞれ、送信要求に応じて、画面上に時系列的に表示される画像間の差分を示す差分データを含むフレームを画像表示装置１に送信する。差分データは、特許文献２に記載のように画像圧縮されたものであってもよい。フレームには、画像送信装置を識別可能な識別情報が付与される。
【００１５】
データ処理装置１２は、フレーム間隔計測部１２１、画像データ処理部１２２、画像更新頻度演算部１２３および画像更新応答部１２４を有する。記憶装置１３は、フレーム間隔データ格納メモリ１３１、ビデオメモリ１３２および画像更新頻度データ格納メモリ１３３を備える。画像出力装置１４は、画像表示部１４１を備える。
フレーム間隔計測部１２１は、画像送信装置２ 1〜２ nそれぞれについて、フレーム間隔データとして、送信要求の送信開始からフレームの受信開始までに要した第１の所要時間とそのフレームの受信開始から受信終了までに要した第２の所要時間（フレームの伝送時間）を計測する。画像データ処理部１２２、画像更新頻度演算部１２３および画像更新応答部１２４は、制御部と呼ぶことができる。
制御部は、予め設定された送信間隔でデータ送信部１１２から各画像送信装置へ送信要求を送信させ、画像送信装置毎に、所定の期間に亘って、フレーム間隔計測部１２１にフレーム間隔データの計測を行わせる。ここで、制御部は、画像表示装置１の操作部（不図示）にて所定の入力操作が行われたことを検出することで、または、予め設定された時刻になったことを検出することで、フレーム間隔データの計測動作を開始させてもよい。そして、制御部は、計測結果からフレームの伝送状態を取得し、該伝送状態に応じてデータ送信部１１２より送信される送信要求の送信間隔を変更する。
【００１６】
具体的には、データ受信部１１１が、画像送信装置２1〜２nそれぞれからから画像圧縮データを受信し、受信した画像圧縮データをフレーム間隔計測部１２１に供給する。フレーム間隔計測部１２１は、画像送信装置２1〜２nそれぞれについて、第１および第２の所要時間の計測結果を含むフレーム間隔データを作成し、作成したフレーム間隔データをフレーム間隔データ格納メモリ１３１に書き込む。フレーム間隔計測部１２１は、データ受信部１１１からの画像圧縮データを画像データ処理部１２２に受け渡す。
画像更新頻度演算部１２３は、画像送信装置２1〜２nそれぞれについて、定期的に、フレーム間隔データ格納メモリ１３１からフレーム間隔データを読み出し、ネットワーク１００の使用状況に合わせて画像更新頻度を調整するための演算処理を行う。画像更新頻度演算部１２３は、画像送信装置２1〜２nそれぞれについて、演算処理で得られた画像更新頻度データを画像更新頻度データ格納メモリ１３３に書き込む。
【００１７】
画像更新応答部１２４は、画像送信装置２1〜２nそれぞれについて、画像更新頻度データを画像更新頻度データ格納メモリ１３３から読み出す。画像更新応答部１２４は、画像送信装置２1〜２nそれぞれについて、画像更新頻度データに基づいて、次の画像データの送信要求をデータ送信部１１２にて送信させる。
ビデオメモリ１３２には、画像送信装置２1〜２nそれぞれに対応する表示用メモリ領域が割り当てられている。画像データ処理部１２２は、画像送信装置２1〜２nそれぞれの画像圧縮データを、デコード等の必要な処理を施した上で、ビデオメモリ１３２の対応する表示用メモリ領域に書き込む。
画像表示部１４１は、ビデオメモリ１３２から逐次画像データを読み出し、画像を表示する。画像表示部１４１は、画像送信装置２1〜２nそれぞれの画像を表示可能である。画像表示装置１に接続された画像送信装置の数が１のときは、画像表示部１４１の表示領域は分割されない。画像表示装置１に接続された画像送信装置の数が２以上の場合は、画像表示部１４１の表示領域は、画像送信装置の数に応じて分割される。すなわち、画像表示部１４１の表示領域は、画像送信装置２1〜２nにそれぞれ対応する複数の分割表示領域に区画される。画像送信装置２1〜２nをどの分割表示領域に割り当てるかは適宜に設定可能である。
【００１８】
図２Ａ〜図２Ｄに、画像表示部１４１の表示領域の分割例を模式的に示す。
図２Ａは、画像表示装置１に接続された画像送信装置の数が１である場合で、分割なしの状態を示す。図２Ｂは、画像表示装置１に接続された画像送信装置の数が２である場合で、画像表示部１４１の表示領域は第１および第２の分割表示領域に区画される（２分割）。第１および第２の分割表示領域の面積は互いに同じである。
【００１９】
図２Ｃは、画像表示装置１に接続された画像送信装置の数が３である場合で、画像表示部１４１の表示領域は第１乃至第３の分割表示領域に区画される（３分割）。第１および第２の分割表示領域の面積は互いに同じである。第３の分割表示領域の面積は、第１および第２の分割表示領域のいずれの面積よりも大きい。換言すると、第３の分割表示領域に表示される画像データの解像度は、第１および第２の分割表示領域それぞれに表示される画像データの解像度よりも高い。
図２Ｄは、画像表示装置１に接続された画像送信装置の数が４である場合で、画像表示部１４１の表示領域は第１乃至第４の分割表示領域に区画される（４分割）。第１乃至第４の分割表示領域の面積は互いに同じである。
【００２０】
なお、画像表示装置１は、プロジェクター、ディスプレイ装置、モニターなどに適用できる。
次に、画像表示装置１の動作について詳細に説明する。
通常、画像の差分を示す差分データを圧縮して伝送する場合、１フレームあたりのデータ伝送時間にばらつきがある。また、画像送信装置２1〜２nそれぞれと画像受信装置１との間で、様々なフレーム伝送状態が生じる。画像表示装置１は、画像送信装置２1〜２nそれぞれに対して、フレーム伝送状態に応じて、画像送信装置への送信要求の送信タイミングを制御することで、画像送信装置から送信されるフレーム（差分データ）の伝送間隔（差分データ伝送間隔）を調整する。
【００２１】
まず、フレーム伝送状態とその判定方法を簡単に説明する。
フレーム伝送間隔Ｔと１秒あたりの伝送フレーム数Ｆとは、以下の式１で示される関係を有する。
Ｔ＝１／Ｆ、Ｆ＝１／Ｔ      （式１）
画像更新頻度が適切である状態、または、画像更新頻度を上げることが可能な状態は、以下の式（２）で与えられる。ここで、ＴMは、単位時間内で最も大きいなフレーム伝送時間（第２の所要時間）［ｓ］を示し、ＴDは、単位時間内で送信要求の送信開始からフレームの受信開始までに要した第１の所要時間のうちの最も長い時間を示す。
ＴD＋ＴM＜Ｔ      （式２）
画像更新頻度を下げる必要がある状態は、以下の式（３）で与えられる。
ＴD＋ＴM＞Ｔ、ＴD＜Ｔ      （式３）
画像更新頻度が少ない状態であって、画像更新頻度を下げても問題が生じない状態は、以下の式（４）で与えられる。
ＴD＋ＴM＞Ｔ、ＴD＞Ｔ      （式４）
【００２２】
上記の式１〜４を用いて、「適切なフレーム伝送間隔の伝送状態」、「フレーム数不足のフレーム伝送状態」、「フレームが早すぎるフレーム伝送状態」及び「画面更新頻度が低いことによるフレーム数過多のフレーム伝送状態」のいずれの状態であるかを判定する。
図３Ａに、適切なフレーム伝送間隔の伝送状態の一例を示す。図３Ｂに、フレーム数不足のフレーム伝送状態の一例を示す。図３Ｃに、フレームが早すぎるフレーム伝送状態の一例を示す。図３Ｄに、画像送信装置の画面更新頻度が低いことによるフレーム数過多のフレーム伝送状態の一例を示す。
【００２３】
図３Ａ〜図３Ｄにおいて、Ｔは、フレーム伝送間隔（送信要求の送信間隔に対応する）を示す。フレーム伝送間隔Ｔは、画像送信装置２1〜２nそれぞれと画像表示装置１との間で個別に設定される値である。ここでは、初期値として、例えば、Ｔ1〜Ｔn＝０．０６６［ｓ］が設定されている。また、フレーム伝送間隔Ｔ1〜Ｔnを更新する周期は５［ｓ］に設定されている。画像表示装置１は、周期５［ｓ］の間のフレーム伝送状態に応じて、フレーム伝送間隔（送信要求の送信間隔）Ｔ1〜Ｔnそれぞれの値を調整する。
【００２４】
図３Ａに示す「適切なフレーム伝送間隔の伝送状態」は、ネットワーク１００の帯域幅を最大限利用した理想的なフレーム伝送状態である。「適切なフレーム伝送間隔の伝送状態」は、上記式２で示した関係を満たし、かつ、以下の式５で与えられるフレーム伝送間隔ＴNが現在のフレーム伝送間隔ＴKと一致した状態である。
Ｆi＜１／（ＴD＋ＴM）≦Ｆi＋１、ＴN＝１／Ｆi      （式５）
ここで、Ｆiは図４に示すテーブルに基づいて算出される１秒当たりの伝送フレーム数である。図４に示すテーブルでは、番号Ｆ0〜Ｆ12が設定され、番号Ｆ0〜Ｆ12それぞれについて、１秒当たりの伝送フレーム数とフレームの伝送間隔の値が記載されている。番号Ｆ0の伝送フレーム数が最も小さく、番号が増えるに従って、伝送フレーム数が離散的に増加する。図４の例では、番号Ｆ0は１であり、番号Ｆ2〜番号Ｆ5までは番号が増加するにしたがって「１」増加し、番号Ｆ6〜番号Ｆ8までは番号が増加するにしたがって「２」増加する。番号Ｆ9では「３」増加し、番号Ｆ10では「５」増加し、番号Ｆ11では「４」増加し、番号Ｆ12では「６」だけ増加する。
【００２５】
上記の適切なフレーム伝送間隔の伝送状態において、フレーム伝送間隔（送信要求の伝送間隔）を変化させる必要はない。したがって、画像表示装置１は、全ての画像送信装置２1〜２nに対して、フレーム伝送間隔Ｔ（＝０．０６６［ｓ］）毎に送信要求を送る。
図３Ｂに示す「フレーム数不足のフレーム伝送状態」は、上記式２を満たし、かつ、上記式５で与えられるフレーム伝送間隔ＴNが現在のフレーム伝送間隔ＴKよりも小さい状態である。この場合、画像表示装置１は、フレーム伝送間隔ＴNになるように送信要求の伝送間隔を調整する。
図３Ｃに示す「フレームが早すぎるフレーム伝送状態」は、上記式３を満たす状態である。この場合、画像表示装置１は、画像送信装置に１回以上のコマ落ちの現象が発生したと判断し、上記式５で与えられるフレーム伝送間隔ＴNになるように送信要求の伝送間隔を調整する。
【００２６】
図３Ｄに示す「画像送信装置の画面更新頻度が低いことによるフレーム数過多のフレーム伝送状態」は、上記式４を満たす状態である。この場合、画像表示装置１は、画像更新頻度が少ない画像送信装置からの画像が適切なタイミングで表示されていたと判断することできる。なお、画像表示装置１は、上記式５で与えられるフレーム伝送間隔ＴNになるように送信要求の伝送間隔を調整してもよい。ただし、同じ画面更新頻度が継続した場合には、何ら見た目には影響がないが、画像送信装置からの画面更新頻度が増加した場合には、それに合わせてフレーム伝送間隔を直ちに追随することができない場合があるため、フレーム伝送間隔は変化させない方が好ましい。
なお、図４に示したような、１秒あたりの画像伝送フレーム数Ｆを離散的に変化させるテーブルを用いることで、フレーム伝送間隔Ｔが頻繁に変化しないようにすることができる。ただし、本発明はこれに限定されるものではない。フレームの伝送状態に応じて、送信要求の送信間隔を調整することができるのであれば、どのようなテーブルが用いられても良い。
【００２７】
次に、画像更新頻度演算部１２３の動作について説明する。
図５は、画像更新頻度演算部１２３の画像更新頻度演算処理を説明するためのフローチャートである。この例では、一定時間ごとに、画像更新頻度演算部１２３が画像更新頻度を演算する。
まず、画像更新頻度演算部１２３が、フレーム伝送間隔を再計算する時刻になった否かを判定する（ステップＡ１）。
フレーム伝送間隔を再計算する時刻になった場合は、画像更新頻度演算部１２３が、カウンタをｉ＝１に設定する（ステップＡ２）。ここで、カウンタは、画像送信装置２1〜２nの接続を特定するためのものであり、例えば、「ｉ＝１」は画像送信装置２1との接続を示す。
【００２８】
次に、画像更新頻度演算部１２３は、フレーム間隔データ格納メモリ１３１から接続iのフレーム間隔データ(現在のフレーム伝送間隔Ｔ、最大フレーム伝送時間ＴM、送信信要求／フレーム伝送開始間最大時間ＴD)を読み出す（ステップＡ３）。そして、画像更新頻度演算部１２３は、読み出した接続iのフレーム間隔データに基づいて、接続iのフレーム伝送状態が図３Ａ〜図３Ｄに示したフレーム伝送状態のいずれであるかを判断し、接続iの新しいフレーム伝送間隔ＴNを計算する（ステップＡ４）。
次に、画像更新頻度演算部１２３は、新しいフレーム伝送間隔ＴNが、元のフレーム伝送間隔Ｔと異なるか否かを判定する（ステップＡ５）。フレーム伝送間隔ＴNがフレーム伝送間隔Ｔと異なる場合は、画像更新頻度演算部１２３は、接続iの新しいフレーム伝送間隔として、フレーム伝送間隔ＴNを画像更新頻度データ格納メモリ１３３に書き込む（ステップＡ６）。そして、画像更新頻度演算部１２３は、カウンタの値iを１増加させる（ステップＡ７）。なお、ステップＡ５で、フレーム伝送間隔ＴNがフレーム伝送間隔Ｔと一致したと判定した場合は、ステップＡ６の処理は行わずに、ステップＡ７の処理を行う。
【００２９】
最後に、画像更新頻度演算部１２３は、カウンタの値iが接続数を超えたか否かを判定する（ステップＡ８）。カウンタの値iが接続数を超えた場合は、画像更新頻度演算部１２３は、全ての画像送信装置について処理が行われた判断し、ステップＡ１を再び実行する。カウンタの値iが接続数を超えていない場合は、画像更新頻度演算部１２３は、まだ、演算が実行されていない画像送信装置が存在すると判断して、ステップＡ３を実行する。
【００３０】
次に、画像更新頻度演算部１２３の具体的な構成について説明する。
図６は、画像更新頻度演算部１２３の構成を示すブロック図である。図６を参照すると、画像更新頻度演算部１２３は、関数演算部１２３1〜１２３nを有する。関数演算部１２３1〜１２３nは、画像送信装置２1〜２nにそれぞれ対応して設けられている。
関数演算部１２３nは、フレーム伝送間隔Ｔn、最大フレーム伝送時間ＴMn及び送信信要求／フレーム伝送開始間最大時間ＴDnをそれぞれ入力とし、これら入力値に基づいて関数ｆnを用いてフレーム伝送間隔ＴNnを演算する。関数ｆnは、図３A〜図３Dに示したフレーム伝送状態を判別するものである。他の関数演算部１２３1〜１２３n-1も、関数演算部１２３nと同様の構成である。
画像更新頻度演算部１２３の１回の演算処理動作（図５に示したステップＡ２〜ステップＡ８の処理）で、現在のフレーム伝送間隔Ｔ1,Ｔ2,・・・,Ｔnが新しいフレーム伝送間隔ＴN1,ＴN2,・・・,ＴNnに置き換えられる。
【００３１】
上述した本実施形態の画像表示装置によれば、以下のような作用効果を奏する。
画像送信装置２1〜２nそれぞれについて、個別に、フレーム伝送状態に応じて最適フレーム伝送間隔が決定され、その最適フレーム伝送間隔になるように送信要求の送信間隔が調整される。よって、ネットワーク１００の帯域幅を無駄なく最大限に利用して、差分データを一定の周期でスムーズに送信することができる。
加えて、画像表示装置の画面上の分割表示領域に表示された画像の更新を、画像送信装置に表示された画像の変化と同期させることができる。よって、画像送信装置側の表示画像と画像表示装置側の表示画像とを観察した場合に生じる違和感を抑制することができる。
【００３２】
なお、会議等の利用形態において、帯域幅が狭いネットワーク１００が使用され、各参加者の情報処理端末の処理性能が異なる場合、処理性能の高い情報処理端末のデータ伝送量が増大すると、それに伴って、処理性能の低い情報処理端末のフレーム伝送間隔が変化する場合がある。本実施形態の画像表示装置によれば、各情報処理端末に対して、個別に、図５に示した演算処理を繰り返し実行することで、各情報処理端末のフレーム伝送間隔は最適な間隔に収束していくことになる。
例えば、画像更新頻度演算部１２３の１回の演算処理動作において、ある画像送信装置ｋのフレーム伝送間隔Ｔkのみが新たなフレーム伝送間隔ＴNｋに置き換えられ、他の画像送信装置に対するフレーム伝送間隔が変更されなかった場合でも、画像更新頻度演算部１２３の次回の動作では、前回変更された画像送信装置ｋのフレーム伝送間隔Ｔkの影響が、他の画像送信装置に対するフレーム伝送間隔の演算に影響を及ぼす。その結果、全ての画像送信装置のフレーム伝送間隔がフレーム伝送状態に応じて最適なフレーム伝送間隔になるように自動的に調整される。
【００３３】
本実施形態の画像表示装置において、上述した構成や動作は適宜に変更可能である。
例えば、画像表示装置１の表示画面の分割表示領域の面積比が異なる場合に、画像表示装置１の制御部は、分割表示領域の面積比に応じた解像度を示す情報を送信要求とともにデータ送信部１１２より各画像送信装置へ送信させてもよい。この場合、各画像送信装置は、送信要求と一緒に受信した解像度に応じた画像の差分データを送信する。
具体的には、図２Ｃに示した３分割の例において、第３の分割表示領域に表示される画像データの解像度は、第１および第２の分割表示領域それぞれに表示される画像データの解像度よりも高い。制御部は、第３の分割表示領域に対応する画像送信装置へは、第１および第２の分割表示領域に対応する画像送信装置よりも高い解像度を示す情報を付与した送信要求を送信する。これにより、分割表示領域の面積比に応じたデータ伝送間隔の調整が可能となる。
【００３４】
また、本発明は、以下の付記１〜６のような形態をとり得るが、これら形態に限定されない。
［付記１］
夫々が時間的に連続して表示される画像間の差分を示す差分データを送信する複数の画像送信装置とネットワークを介して相互に通信可能に接続される画像表示装置であって、
前記複数の画像送信装置それぞれに送信要求を送信し、各画像送信装置が前記送信要求に応じて送信した前記差分データを含むフレームを受信する通信部と、
前記各画像送信装置から受信したフレームに含まれている差分データに基づく画像を表示する表示部と、
前記画像送信装置毎に、前記送信要求の送信開始から前記フレームの受信開始までに要した第１の所要時間と前記フレームの受信開始から受信終了までに要した第２の所要時間とを計測する計測部と、
前記通信部の送信要求の送信動作を制御する制御部と、を有し、
前記制御部は、予め設定された送信間隔で前記通信部から前記各画像送信装置へ前記送信要求を送信させ、前記画像送信装置毎に、前記計測部に前記第１および第２の所要時間の計測を行わせ、該計測結果に基づいて前記送信要求の送信間隔を変更する、画像表示装置。
［付記２］
付記１に記載の画像表示装置において、
前記制御部は、前記画像送信装置毎に、所定の期間に亘って、前記計測部に前記第１および第２の所要時間の計測を行わせ、前記第１および第２の所要時間それぞれの計測値の最大値を合計した値の逆数により示される単位時間当たりのフレーム数に基づいて算出した最適フレーム伝送間隔を前記送信要求の送信間隔に設定する、画像表示装置。
［付記３］
付記１または２に記載の画像表示装置において、
単位時間当たりのフレーム数を離散的に変化させた場合のそれぞれのフレーム数に対するフレーム伝送間隔を示すテーブルを有し、
前記制御部は、前記テーブルを参照して、前記最適フレーム伝送間隔を決定する、画像表示装置。
［付記４］
付記１ないし３のいずれか一つに記載の画像表示装置において、
前記表示部は、表示画面を備え、該表示画面が前記複数の画像送信装置それぞれに対応する複数の分割表示領域に区画され、前記各画像送信装置から受信した前記フレームに含まれる差分データに基づく画像を対応する分割表示領域にて表示し、
前記制御部は、前記表示画面の前記分割表示領域の面積比に応じた解像度を示す情報を前記送信要求とともに前記通信部より各画像送信装置へ送信させる、画像表示装置。
［付記５］
付記１ないし４のいずれか一つに記載の画像表示装置と、
前記画像表示装置とネットワークを介して相互に通信可能に接続される前記複数の画像送信装置と、を有する、画像表示システム。
［付記６］
夫々が時間的に連続して表示される画像間の差分を示す差分データを送信する複数の画像送信装置それぞれに送信要求を送信し、各画像送信装置が前記送信要求に応じて送信した前記差分データを含むフレームを受信し、該受信したフレームに含まれている差分データに基づく画像を表示する画像表示装置にて行われるフレーム伝送間隔制御方法であって、
予め設定された送信間隔で前記各画像送信装置へ前記送信要求を送信し、前記画像送信装置毎に、前記送信要求の送信開始から前記フレームの受信開始までに要した第１の所要時間と前記フレームの受信開始から受信終了までに要した第２の所要時間とを計測し、該計測結果に基づいて前記送信要求の送信間隔を変更する、フレーム伝送間隔制御方法。
【符号の説明】
【００３５】
１  画像表示装置
１１  通信装置
１２  データ処理装置
１３  記憶装置
１４  画像出力装置
２1〜２n  画像送信装置
１２１  フレーム間隔計測部
１２２  画像データ処理部
１２３  画像更新頻度計測部
１２４  画像更新応答部
１３１  フレーム間隔データ格納メモリ
１３２  ビデオメモリ
１３３  画像更新頻度データ格納メモリ
１４１  画像表示部
【図１】
0006737477.tif 000002
【図２Ａ】
0006737477.tif 000003
【図２Ｂ】
0006737477.tif 000004
【図２Ｃ】
0006737477.tif 000005
【図２Ｄ】
0006737477.tif 000006
【図３Ａ】
0006737477.tif 000007
【図３Ｂ】
0006737477.tif 000008
【図３Ｃ】
0006737477.tif 000009
【図３Ｄ】
0006737477.tif 000010
【図４】
0006737477.tif 000011
【図５】
0006737477.tif 000012
【図６】
0006737477.tif 000013