(57)【要約】【課題】データ伝送路から伝送される画像を低遅延で表示する際に生じる画像の乱れ等を抑止する。【解決手段】第１の算出部が、画像の書込みが開始された書込み開始時刻から、予め決められた所要時間で書込みを終了できないときに許容される遅延時間を表す許容遅延時間を算出し、第２の算出部が、許容遅延時間以下の遅延時間で書き込まれた画像の書込み開始時刻から、画像の表示を開始する表示タイミングまでに少なくとも要する必要時間を算出し、比較部が、許容遅延時間と必要時間とを比較し、表示調整部が、比較部の比較結果に基づいて表示タイミングを調整し、表示制御部が、調整後の表示タイミングに同期して画像を表示させる。本技術は、例えば、伝送されてくる画像データを低遅延で表示する表示装置に適用できる。【選択図】図７
2012222643.tif 000002
【特許請求の範囲】
【請求項１】
画像を受信する受信部と、
受信した前記画像を一時的に保持する保持部に前記画像の書込みを行う書込み部と、
前記画像の書込みが開始された書込み開始時刻から、予め決められた所要時間で書込みを終了できないときに許容される遅延時間を表す許容遅延時間を算出する第１の算出部と、
前記許容遅延時間以下の遅延時間で書き込まれた前記画像の前記書込み開始時刻から、前記画像の表示を開始する表示タイミングまでに少なくとも要する必要時間を算出する第２の算出部と、
前記許容遅延時間と前記必要時間とを比較する比較部と、
前記比較部の比較結果に基づいて、前記表示タイミングを調整する表示調整部と、
調整後の前記表示タイミングに同期して、前記画像を表示させる表示制御部と
を含む表示制御装置。
【請求項２】
前記画像の書込みに要する書込み時間を計測する第１の計測部をさらに含み、
前記第１の算出部は、前記書込み時間の分布に基づいて、前記許容遅延時間を算出する
請求項１に記載の表示制御装置。
【請求項３】
前記画像の書込みの開始に要する書込み準備時間を計測する第２の計測部をさらに含み、
前記第２の算出部は、前記書込み準備時間の分布に基づいて、前記必要時間を算出する
請求項１に記載の表示制御装置。
【請求項４】
前記表示制御は、調整後の前記表示タイミングに同期して、前記表示タイミングから前記所定時間で前記画像の表示を終了させるものであり、
前記表示調整部は、前記必要時間が前記許容遅延時間よりも長いとの比較結果を得た場合、前記必要時間が前記許容遅延時間よりも長いという条件を満たす範囲内で、前記必要時間を短くするように前記表示タイミングを調整する
請求項１に記載の表示制御装置。
【請求項５】
前記表示調整部は、前記必要時間が前記許容遅延時間よりも長くないとの比較結果を得た場合、前記必要時間が前記許容遅延時間よりも長くなるように前記表示タイミングを調整する
請求項４に記載の表示制御装置。
【請求項６】
前記書込み部は、前記必要時間が前記遅延時間よりも長くないとの比較結果を得た場合、第１の前記表示タイミングの後に前記画像の書込みを開始し、
前記表示制御部は、前記第１の表示タイミングよりも後の第２の表示タイミングに同期して、前記画像を表示させる
請求項４に記載の表示制御装置。
【請求項７】
前記表示制御部は、調整後の前記表示タイミングに同期して、前記許容遅延時間以下の遅延時間で書込まれた前記画像を表示させる
請求項１に記載の表示制御装置。
【請求項８】
画像を表示させる表示制御装置の表示制御方法において、
前記表示制御装置による、
前記画像を受信する受信ステップと、
受信した前記画像を一時的に保持する保持部に前記画像の書込みを行う書込みステップと、
前記画像の書込みが開始された書込み開始時刻から、予め決められた所要時間で書込みを終了できないときに許容される遅延時間を表す許容遅延時間を算出する第１の算出ステップと、
前記許容遅延時間以下の遅延時間で書き込まれた前記画像の前記書込み開始時刻から、前記画像の表示を開始する表示タイミングまでに少なくとも必要とされる必要時間を算出する第２の算出ステップと、
前記許容遅延時間と前記必要時間とを比較する比較ステップと、
前記比較ステップの比較結果に基づいて、前記表示タイミングを調整する表示調整ステップと、
調整後の前記表示タイミングに同期して、前記画像を表示させる表示制御ステップと
を含む表示制御方法。
【請求項９】
コンピュータを、
画像を受信させる受信制御部と、
受信した前記画像を一時的に保持する保持部に前記画像の書込みを行う書込み部と、
前記画像の書込みが開始された書込み開始時刻から、予め決められた所要時間で書込みを終了できないときに許容される遅延時間を表す許容遅延時間を算出する第１の算出部と、
前記許容遅延時間以下の遅延時間で書き込まれた前記画像の前記書込み開始時刻から、前記画像の表示を開始する表示タイミングまでに少なくとも必要とされる必要時間を算出する第２の算出部と、
前記許容遅延時間と前記必要時間とを比較する比較部と、
前記比較部の比較結果に基づいて、前記表示タイミングを調整する表示調整部と、
調整後の前記表示タイミングに同期して、前記画像を表示させる表示制御部と
して機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、表示制御装置、表示制御方法、及びプログラムに関し、特に、例えば、ネットワーク等のデータ伝送路から伝送される画像を低遅延で表示する際に生じる画像の乱れ等を抑止できるようにした表示制御装置、表示制御方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、例えば、遠隔地においてロボットアームを操作して患者を手術する遠隔手術が行われつつある。この遠隔手術では、手術の様子を撮像して得られる動画像を見ながら、執刀医がロボットアームを操作するため、数フレーム（又は数フィールド）以下の低遅延（ほぼリアルタイム）で、動画像が伝送されることが望ましい。
【０００３】
そこで、動画像を構成する各ピクチャの数ラインをブロックデータとし、各ブロックデータ毎に、ウェーブレット変換による符号化（圧縮）を行う符号化技術が提案されている（例えば、特許文献１参照）。
【０００４】
この符号化技術によれば、送信装置において、ピクチャ内の各ブロックデータ全ての入力を待つことなく符号化を開始し、その結果得られる符号化データを送信し、受信装置において、送信装置からの符号化データ全てを受信する前に復号（伸張）を開始することになる。
【０００５】
このため、受信装置では、予め決められた、ピクチャを表示すべき表示タイミングまでに、符号化データを復号してピクチャを表示可能な状態にすることができる。よって、受信装置は、表示タイミングに同期してピクチャをモニタに表示させることができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−３１１９２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、例えば、ネットワーク等のデータ伝送路に輻輳が生じている場合、送信装置は、数フレーム以下の低遅延で動画像を送信できないことが生じ得る。
【０００８】
この場合、受信装置では、予め決められた表示タイミングまでに、ピクチャを表示可能な状態にすることができなくなってしまう。表示タイミングまでに表示可能な状態とされなかったピクチャは、例えばモニタに表示されずにスキップされるため、モニタに表示される画像に乱れ等が生じ得る。
【０００９】
本開示は、このような状況に鑑みてなされたものであり、データ伝送路から伝送される画像を低遅延で表示する際に生じる画像の乱れ等を抑止するものである。
【課題を解決するための手段】
【００１０】
本開示の一側面の表示制御装置は、画像を受信する受信部と、受信した前記画像を一時的に保持する保持部に前記画像の書込みを行う書込み部と、前記画像の書込みが開始された書込み開始時刻から、予め決められた所要時間で書込みを終了できないときに許容される遅延時間を表す許容遅延時間を算出する第１の算出部と、前記許容遅延時間以下の遅延時間で書き込まれた前記画像の前記書込み開始時刻から、前記画像の表示を開始する表示タイミングまでに少なくとも要する必要時間を算出する第２の算出部と、前記許容遅延時間と前記必要時間とを比較する比較部と、前記比較部の比較結果に基づいて、前記表示タイミングを調整する表示調整部と、調整後の前記表示タイミングに同期して、前記画像を表示させる表示制御部とを含む表示制御装置である。
【００１１】
前記画像の書込みに要する書込み時間を計測する第１の計測部をさらに設けることができ、前記第１の算出部には、前記書込み時間の分布に基づいて、前記許容遅延時間を算出させることができる。
【００１２】
前記画像の書込みの開始に要する書込み準備時間を計測する第２の計測部をさらに設けることができ、前記第２の算出部には、前記書込み準備時間の分布に基づいて、前記必要時間を算出させることができる。
【００１３】
前記表示制御には、調整後の前記表示タイミングに同期して、前記表示タイミングから前記所定時間で前記画像の表示を終了させるようにし、前記表示調整部には、前記必要時間が前記許容遅延時間よりも長いとの比較結果を得た場合、前記必要時間が前記許容遅延時間よりも長いという条件を満たす範囲内で、前記必要時間を短くするように前記表示タイミングを調整させることができる。
【００１４】
前記表示調整部には、前記必要時間が前記許容遅延時間よりも長くないとの比較結果を得た場合、前記必要時間が前記許容遅延時間よりも長くなるように前記表示タイミングを調整させるようにすることができる。
【００１５】
前記書込み部には、前記必要時間が前記遅延時間よりも長くないとの比較結果を得た場合、第１の前記表示タイミングの後に前記画像の書込みを開始させ、前記表示制御部には、前記第１の表示タイミングよりも後の第２の表示タイミングに同期して、前記画像を表示させることができる。
【００１６】
前記表示制御部には、調整後の前記表示タイミングに同期して、前記許容遅延時間以下の遅延時間で書込まれた前記画像を表示させることができる。
【００１７】
本開示の一側面の表示制御方法は、画像を表示させる表示制御装置の表示制御方法であって、前記表示制御装置による、前記画像を受信する受信ステップと、受信した前記画像を一時的に保持する保持部に前記画像の書込みを行う書込みステップと、前記画像の書込みが開始された書込み開始時刻から、予め決められた所要時間で書込みを終了できないときに許容される遅延時間を表す許容遅延時間を算出する第１の算出ステップと、前記許容遅延時間以下の遅延時間で書き込まれた前記画像の前記書込み開始時刻から、前記画像の表示を開始する表示タイミングまでに少なくとも必要とされる必要時間を算出する第２の算出ステップと、前記許容遅延時間と前記必要時間とを比較する比較ステップと、前記比較ステップの比較結果に基づいて、前記表示タイミングを調整する表示調整ステップと、調整後の前記表示タイミングに同期して、前記画像を表示させる表示制御ステップとを含む表示制御方法である。
【００１８】
本開示の一側面のプログラムは、コンピュータを、画像を受信させる受信制御部と、受信した前記画像を一時的に保持する保持部に前記画像の書込みを行う書込み部と、前記画像の書込みが開始された書込み開始時刻から、予め決められた所要時間で書込みを終了できないときに許容される遅延時間を表す許容遅延時間を算出する第１の算出部と、前記許容遅延時間以下の遅延時間で書き込まれた前記画像の前記書込み開始時刻から、前記画像の表示を開始する表示タイミングまでに少なくとも必要とされる必要時間を算出する第２の算出部と、前記許容遅延時間と前記必要時間とを比較する比較部と、前記比較部の比較結果に基づいて、前記表示タイミングを調整する表示調整部と、調整後の前記表示タイミングに同期して、前記画像を表示させる表示制御部として機能させるためのプログラムである。
【００１９】
本開示の一側面によれば、画像が受信され、受信された前記画像を一時的に保持する保持部に前記画像の書込みが行われ、前記画像の書込みが開始された書込み開始時刻から、予め決められた所要時間で書込みを終了できないときに許容される遅延時間を表す許容遅延時間が算出され、前記許容遅延時間以下の遅延時間で書き込まれた前記画像の前記書込み開始時刻から、前記画像の表示を開始する表示タイミングまでに少なくとも必要とされる必要時間が算出され、前記許容遅延時間と前記必要時間とが比較され、その比較結果に基づいて、前記表示タイミングが調整され、調整後の前記表示タイミングに同期して、前記画像が表示される。
【発明の効果】
【００２０】
本開示によれば、データ伝送路から伝送される画像を低遅延で表示する際に生じる画像の乱れ等を抑止することが可能となる。
【図面の簡単な説明】
【００２１】
【図１】本開示における送受信システム１の構成例を示すブロック図である。
【図２】表示タイミングに同期して画像を表示するときの一例を示す図である。
【図３】書込み情報を測定する測定方法の一例を示す図である。
【図４】書込み準備時間の分布の一例を示す図である。
【図５】バッファ書込み時間の分布の一例を示す図である。
【図６】必要時間及び許容遅延時間を算出する算出方法の一例を示す図である。
【図７】表示タイミングの調整方法を説明するための第１の図である。
【図８】表示タイミングの調整方法を説明するための第２の図である。
【図９】伝送時間が変化する様子の一例を示す第１の図である。
【図１０】伝送時間が変化する様子の一例を示す第２の図である。
【図１１】表示制御処理を説明するためのフローチャートである。
【図１２】表示タイミング調整処理を説明するためのフローチャートである。
【図１３】画像を書き込むタイミングをずらす場合の一例を示す図である。
【図１４】奇数フィールド画像の書込み情報を測定する測定方法の一例を示す図である。
【図１５】プログレッシブ画像の書込み情報を測定する測定方法の一例を示す図である。
【図１６】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２２】
以下、本開示における実施の形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（表示タイミングVblankを調整するようにして、画像の乱れ等を抑止するときの一例）
２．第２の実施の形態（表示タイミングVblankを調整することなく、画像の乱れ等を抑止するときの一例）
３．変形例
【００２３】
＜１．第１の実施の形態＞
[送受信システム１の構成例]
図１は、本開示における送受信システム１を示している。
【００２４】
この送受信システム１は、送信装置２１、受信装置２２、及びインターネット等のネットワーク２３から構成される。
【００２５】
なお、この送受信システム１は、受信装置２２側で、例えば、画像を表示する際の表示タイミングVblankを調整するようにして、送信装置２１から送信されてくる画像に乱れ等を生じさせることなく、低遅延で表示させるようにするものである。
【００２６】
[送信装置２１の構成例]
送信装置２１は、キャプチャ部４１、符号化部４２、パケット構成部４３、RTP(real-time transport protocol)送信部４４、操作部４５、及び制御部４６から構成される。
【００２７】
キャプチャ部４１は、外部から入力される画像データ（ビデオINに対応）を取得（キャプチャ）し、符号化部４２に供給する。
【００２８】
符号化部４２は、キャプチャ部４１からの画像データを符号化する符号化処理を行い、その符号化処理により得られる符号化データを、パケット構成部４３に供給する。
【００２９】
なお、符号化処理としては、画像データに対して、例えばウェーブレット変換を用いた符号化を施して圧縮するウェーブレット符号化処理を採用することができる。
【００３０】
パケット構成部４３は、符号化部４２からの符号化データを、複数のRTPパケットにパケット化（変換）してRTP送信部４４に出力する。なお、RTPパケットとは、IETF RFC3550に記載のRTPに則った形式のパケットを表す。
【００３１】
RTP送信部４４は、RTPに従って、パケット構成部４３からのRTPパケットに対して、タイムスタンプとして、例えばRTPパケットを受信装置２２に送信する際の送信時刻等を付加する。そして、RTP送信部４４は、タイムスタンプを付加したRTPパケットを、ネットワーク２３を介して受信装置２２に送信する。
【００３２】
操作部４５は、ユーザにより操作される操作ボタン等であり、ユーザ操作に応じた操作信号を、制御部４６に供給する。
【００３３】
制御部４６は、例えば、操作部４５からの操作信号に基づいて、キャプチャ部４１、符号化部４２、パケット構成部４３、及びRTP送信部４４の各部を制御する。
【００３４】
[受信装置２２の構成例]
受信装置２２は、RTP受信部６１、パケット組立部６２、復号部６３、書込制御部６４、バッファ６５、表示制御部６６、表示部６７、書込情報測定部６８、書込情報記憶部６９、表示調整部７０、操作部７１、及び制御部７２から構成される。
【００３５】
RTP受信部６１は、RTP送信部４４からネットワーク２３を介して送信されてくるRTPパケットを受信し、パケット組立部６２に供給する。
【００３６】
パケット組立部６２は、RTP受信部６１からのRTPパケットを組み立てることにより、復号対象とされる符号化データを生成し、復号部６３に供給する。
【００３７】
復号部６３は、パケット組立部６２からの符号化データに対して、符号化部４２で行なわれる符号化処理に対応する復号処理を行い、その結果得られる画像データを、書込制御部６４に供給する。ここで、復号処理としては、例えば、ウェーブレット変換の逆変換による復号により伸張する復号処理等が採用される。
【００３８】
書込制御部６４は、復号部６３からの画像データを、バッファ６５に供給して記憶させる（書き込ませる）。また、書込制御部６４は、各画像データ毎に、バッファ６５に書込みを開始した書込み開始時刻Ts、及び書込みを終了した書込み終了時刻Teを、書込情報測定部６８に供給する。
【００３９】
バッファ６５は、書込制御部６４からの画像データを一時的に保持する。
【００４０】
表示制御部６６は、バッファ６５から画像データを読み出し、表示部６７に供給する。そして、表示制御部６６は、表示調整部７０からの表示タイミングVblankに同期して、バッファ６５から読み出した画像データを、表示部６７に表示させる。
【００４１】
次に、図２は、表示制御部６６が、表示調整部６６からの表示タイミングVblankで各画像データを表示させる場合の一例を示している。
【００４２】
なお、画像データnは、画像データnを構成する各ラインのうち、奇数番目のラインにより構成される奇数フィールド画像noddと、画像データnを構成する各ラインのうち、偶数番目のラインにより構成される偶数フィールド画像nevenとにより構成されているものとする。
【００４３】
また、図２において、横軸は時刻を表し、縦軸は、対応する時刻において表示されるラインのライン番号を表す。ここで、画像データnは例えば1080ラインにより構成されており、したがって、奇数フィールド画像nodd及び偶数フィールド画像nevenは、それぞれ、５４０ラインで構成されているものとする。
【００４４】
表示タイミングVblank(nodd)は、奇数フィールド画像noddの表示を開始する時刻を表す。また、表示タイミングVblank(neven)は、偶数フィールド画像nevenの表示を開始する時刻を表す。
【００４５】
表示制御部６６は、表示調整部７０からの表示タイミングVblank(nodd)に同期して、奇数フィールド画像noddをバッファ６５から読み出し、表示部６７に表示させる。また、表示制御部６６は、表示調整部７０からの表示タイミングVblank(neven)に同期して、偶数フィールド画像nevenをバッファ６５から読み出し、表示部６７に表示させる。
【００４６】
表示部６７は、例えばインタレース方式により各画像データnを表示する。すなわち、例えば、表示部６７は、表示制御部６６からの制御にしたがって、奇数フィールド画像noddと偶数フィールド画像nevenとを交互に表示する。なお、表示部６７は、図１に示されるように、受信装置２２の構成部分とされる他、受信装置２２の構成部分に含めずに、独立して設けるようにしてもよい。この場合、受信装置２２内の表示制御部６６と、受信装置２２の外部に設けられた表示部６７とは、例えばケーブル等により接続される。
【００４７】
書込情報測定部６８は、バッファ６５に書き込まれた偶数フィールド画像nevenの書込み情報を測定する。なお、書込情報測定部６８は、偶数フィールド画像nevenの書込み情報に代えて、又は偶数フィールド画像nevenの書込み情報とともに、バッファ６５に書き込まれた奇数フィールド画像noddの書込み情報を測定するようにしてもよい。このことは、図１４を参照して後述する。
【００４８】
また、例えば、表示部６７が、プログレッシブ方式により各画像データnを表示するものである場合、書込情報測定部６８は、各画像データnをプログレッシブ画像とし、そのプログレッシブ画像の書込み情報を測定することとなる。このことは、図１５を参照して後述する。
【００４９】
以下では、書込情報測定部６８は、バッファ６５に書き込まれた偶数フィールド画像nevenの書込み情報を測定するものとして説明する。
【００５０】
書込情報測定部６８は、バッファ６５に書き込まれた偶数フィールド画像nevenの書込み情報として、例えば、偶数フィールド画像nevenの書き込みが開始されるまでに必要とされる書込み準備時間Xn、及び偶数フィールド画像nevenの書き込みに要するバッファ書込み時間Pnを測定する。
【００５１】
次に、図３は、書込情報測定部６８が、偶数フィールド画像nevenの書込み準備時間Xn及びバッファ書込み時間Pnを測定する場合の一例を示している。
【００５２】
ここで、図３において、書込み開始時刻Tsは、バッファ６５に対して偶数フィールド画像nevenの書込みが開始された時刻を表す。また、書込み終了時刻Teは、バッファ６５に対して偶数フィールド画像nevenの書込みが終了された時刻を表す。
【００５３】
なお、書込情報測定部６８には、書込制御部６４から、偶数フィールド画像nevenの書込み開始時刻Ts及び書き込み終了時刻Teが、表示調整部７０から、表示タイミングVblank(n-1even)及びVblank(neven)が供給される。
【００５４】
書込情報測定部６８は、図３に示されるように、書込制御部６４からの書込み開始時刻Tsと、表示調整部７０からの表示タイミングVblank(n-1even)とに基づいて、書込み準備時間Xn（=Vblank(n-1even)-Ts）を測定する。
【００５５】
また、例えば、書込情報測定部６８は、図３に示されるように、書込制御部６４からの書込み開始時刻Ts及び書込み終了時刻Teに基づいて、バッファ書込み時間Pn（=Te-Ts）を測定する。
【００５６】
書込情報測定部６８は、偶数フィールド画像neven毎に測定した書込み準備時間Xn及びバッファ書込み時間Pnを、書込情報記憶部６９に供給して記憶させる。
【００５７】
図１に戻り、書込情報記憶部６９は、書込情報測定部６８からの書込み準備時間Xn及びバッファ書込み時間Pnを、書込み情報として記憶する。
【００５８】
表示調整部７０は、書込情報記憶部６９に記憶されている書込み情報に基づいて、表示タイミングVblankを調整する表示タイミング調整処理を行う。なお、この表示タイミング調整処理については、図４乃至図８を参照して詳述する。
【００５９】
そして、表示調整部７０は、表示タイミング調整処理により調整された表示タイミングVblankを、表示制御部６６及び書込情報測定部６８に供給する。
【００６０】
操作部７１は、ユーザにより操作される操作ボタン等であり、ユーザ操作に応じた操作信号を、制御部７２に供給する。
【００６１】
制御部７２は、例えば、操作部７１からの操作信号に基づいて、RTP受信部６１、パケット組立部６２、復号部６３、書込制御部６４、表示制御部６６、書込情報測定部６８、及び表示調整部７０の各部を制御する。
【００６２】
[表示タイミング調整処理の詳細]
次に、図４乃至図８を参照して、表示調整部７０が行う表示タイミング調整処理について説明する。
【００６３】
図４は、書込情報記憶部６９に記憶されている書込み準備時間Xnの分布の一例を示している。
【００６４】
図４において、横軸は書込み準備時間Xnを示しており、縦軸は書込み準備時間Xnの度数を示す。
【００６５】
表示調整部７０は、書込情報記憶部６９に記憶されている書込み準備時間Xnに基づいて、図４に示されるような書込み準備時間Xnの分布を表すX分布情報を生成する。
【００６６】
そして、表示調整部７０は、書込み準備時間XnのX分布情報に基づいて、書込み準備時間Xnを昇順に並べたときの上位α（例えば、α=95）パーセントの書込み準備時間Xnと、残りの下位（100-α）パーセントの書込み準備時間Xnとを区別するための閾値Xthを算出する。
【００６７】
ここで、この閾値Xthは、書込み準備時間Xnを昇順に並べたときの上位α（例えば、α=95）パーセントの書込み準備時間Xnの最大値以上であって、下位（100-α）パーセントの書込み準備時間Xnの最小値未満の値とされる。なお、値αは、例えば、ユーザ操作により予め決定される。
【００６８】
次に、図５は、書込情報記憶部６９に記憶されているバッファ書込み時間Pnの分布の一例を示している。
【００６９】
図５において、横軸はバッファ書込み時間Pnを示しており、縦軸はバッファ書込み時間Pnの度数を示す。
【００７０】
表示調整部７０は、書込情報記憶部６９に記憶されている複数のバッファ書込み時間Pnに基づいて、図５に示されるようなバッファ書込み時間Pnの分布を表すP分布情報を生成する。
【００７１】
そして、表示調整部７０は、バッファ書込み時間PnのP分布情報に基づいて、バッファ書込み時間Pnを昇順に並べたときの上位αパーセントのバッファ書込み時間Pnと、下位（100-α）パーセントのバッファ書込み時間Pnとを区別するための閾値Pthを算出する。
【００７２】
ここで、この閾値Pthは、バッファ書込み時間Pnを昇順に並べたときの上位αパーセントのバッファ書込み時間Pnの最大値以上であって、下位（100-α）パーセントのバッファ書込み時間Pnの最小値未満の値とされる。
【００７３】
次に、図６は、表示調整部７０が、閾値Pthに基づいて許容遅延時間Ythを、閾値Xthに基づいて必要時間Yをそれぞれ算出する場合の一例を示している。
【００７４】
表示調整部７０は、図６に示されるように、バッファ書込み時間PnのP分布情報から算出した閾値Pthに基づいて、式（１）により許容遅延時間Ythを算出する。
Yth = Pth -(1/60)              ・・・（１）
【００７５】
ここで、許容遅延時間Ythとは、偶数フィールド画像nevenの書込みを開始した書込み開始時刻Tsから、予め決められた期待書込み時間1/60で書込みを終了できないときの遅延時間であって、少なくともαパーセントの確率で、偶数フィールド画像nevenに乱れ等を生じさせることなく表示させるために許容される遅延時間をいう。
【００７６】
なお、期待書込み時間1/60は、書込制御部６４において、データの書込みに遅延等が生じていない場合に期待される、偶数フィールド画像neven（又は奇数フィールド画像nodd）の書込み時間を表す。
【００７７】
この期待書込み時間1/60は、例えば、偶数フィールド画像neven（又は奇数フィールド画像nodd）の表示に要する時間に応じて決定される。いまの場合、表示部６７は、奇数フィールド画像と偶数フィールド画像をそれぞれ表示時間1/60で表示するようにしている。したがって、例えば、期待書込み時間も同様にして1/60とされる。なお、表示部６７が、奇数フィールド画像と偶数フィールド画像をそれぞれ表示時間1/ｍで表示する場合、例えば期待書込み時間は1/ｍとされる。
【００７８】
また、例えば、表示調整部７０は、書込み準備時間XnのX分布情報から算出した閾値Xthに基づいて、αパーセントの確率で受信される偶数フィールド画像neven、すなわち、許容遅延時間Yth以下の遅延時間で書き込まれる偶数フィールド画像nevenの必要時間Yを算出する。
【００７９】
ここで、必要時間Yとは、許容遅延時間Yth以下の遅延時間でバッファ６５に書き込まれる偶数フィールド画像nevenにおいて、書込み開始時刻Tsから表示タイミング（neven）までに少なくとも要する時間を表す。
【００８０】
すなわち、例えば、表示調整部７０は、図６に示されるように、表示タイミングVblank(n-1even)と表示タイミング(neven)の表示間隔Vblank Interval、及び閾値Xthに基づいて、次式（２）により必要時間Yを算出する。
Y = Vblank Interval -Xth      ・・・（２）
【００８１】
表示調整部７０は、算出した必要時間Yが、次式（３）を満たすか否かに基づいて、少なくともαパーセントの確率で、偶数フィールド画像nevenに乱れ等を発生させることなく表示できるか否かを判定する。そして、表示調整部７０は、その判定結果に基づいて、表示タイミングVblankを調整する。
Y > Yth                      ・・・（３）
【００８２】
なお、式（３）を満たす場合、図７Aに示されるように、偶数フィールド画像nevenにおいて、ライン番号iのライン（i）は、ライン（i）の表示タイミングよりも前に、バッファ６５に書き込まれることとなる。この場合、表示調整部７０は、図７Bに示されるように、各表示タイミングVblankを時間Zだけ早めるように調整して、式（３）を満たす範囲内で、必要時間Yを限りなく小さくさせる。
【００８３】
また、式（３）を満たさない場合、図８Aに示されるように、偶数フィールド画像nevenにおいて、ライン番号iのライン（i）のうち、例えばライン番号L以降のライン（i≧L）が、ライン（i≧L）の表示タイミングよりも後に、バッファ６５に書き込まれることとなる。この場合、表示調整部７０は、図８Bに示されるように、各表示タイミングVblankを時間Zだけ遅らせるように調整して、式（３）を満たすように、必要時間Yを大きくさせる。
【００８４】
なお、表示調整部７０は、表示タイミングVblankの調整後にも、適宜、表示タイミング調整処理を行う。これは、ネットワーク２３の輻輳状況等に応じて、画像データの伝送時間が変化することにより、調整後の表示タイミングVblankにおいても、図７Aや図８Aに示されるような状態が生じることによる。
【００８５】
次に、図９及び図１０は、それぞれ、ネットワーク２３の輻輳状況等に応じて伝送時間が変化する様子の一例を示している。
【００８６】
図９及び図１０において、縦軸は、画像データnの各RTPパケットをそれぞれ表すパケット番号を示している。また、横軸は、画像データnを構成するデータに対して、キャプチャ部４１が行う「キャプチャ」処理、符号化部４２が行う「符号化」処理、パケット構成部４３が行う「パケット構成」処理、RTP送信部４４とRTP受信部６１との間でネットワーク２３を介して行われるRTPパケットの「転送」処理、パケット組立部６２が行う「パケット組立」処理、及び復号部６３が行う「復号」処理にそれぞれ要する時間を示す。
【００８７】
図９及び図１０に示されるように、ネットワーク２３の状況に応じて、「転送」処理に要する時間が大きく異なるものとなる。すなわち、ネットワーク２３の輻輳が比較的小さい場合、図９に示されるように、「転送」処理に要する時間は短くなり、ネットワーク２３の輻輳が比較的大きい場合、図１０に示されるように、「転送」処理に要する時間は長いものとなる。
【００８８】
したがって、ネットワーク２３の輻輳状況等に応じて、「転送」処理に要する時間、ひいては伝送時間が変化することにより、図７Aや図８Aに示されるような状態が生じるため、表示調整部７０は、適宜、表示タイミング調整処理を行う必要がある。
【００８９】
[受信装置２２の動作説明]
次に、図１１のフローチャートを参照して、受信装置２２が行う表示制御処理について説明する。
【００９０】
ステップＳ２１において、RTP受信部６１は、RTP送信部４４からネットワーク２３を介して送信されてくるRTPパケットを受信し、パケット組立部６２に供給する。
【００９１】
ステップＳ２２において、パケット組立部６２は、RTP受信部６１からのRTPパケットを組み立てることにより、復号対象とされる符号化データを生成し、復号部６３に供給する。
【００９２】
ステップＳ２３において、復号部６３は、パケット組立部６２からの符号化データに対して、符号化部４２で行なわれる符号化処理に対応する復号処理を行い、その結果得られる画像データを書込制御部６４に供給する。ここで、復号処理としては、例えば、ウェーブレット変換の逆変換による復号により伸張する復号処理等が採用される。
【００９３】
ステップＳ２４において、書込制御部６４は、復号部６３からの画像データ（を構成する奇数フィールド画像及び偶数フィールド画像）を、バッファ６５に供給して記憶させる（書き込ませる）。また、書込制御部６４は、偶数フィールド画像neven毎に、バッファ６５に書込みを開始した書込み開始時刻Ts、及び書込みを終了した書込み終了時刻Teを、書込情報測定部６８に供給する。
【００９４】
ステップＳ２５において、表示制御部６６は、バッファ６５から、画像データとしての奇数フィールド画像及び偶数フィールド画像を読み出し、表示調整部７０からの表示タイミングVblankに同期して、表示部６７に表示させる。
【００９５】
ステップＳ２６において、書込情報測定部６８は、書込制御部６４からの書込み開始時刻Ts、及び表示調整部７０からの表示タイミングVblankに基づいて、偶数フィールド画像nevenの書込み準備時間Xnを測定し、書込情報記憶部６９に供給して記憶させる。
【００９６】
ステップＳ２７において、書込情報測定部６８は、書込制御部６４からの開示時刻Ts及び終了時間Teに基づいて、偶数フィールド画像nevenのバッファ書込み時間Pnを測定し、書込情報記憶部６９に供給して記憶させる。
【００９７】
ステップＳ２８において、表示調整部７０は、内蔵する計時部（図示せず）により計時された計時時間が、所定の時間を経過したか否かを判定し、計時時間が所定の時間を経過していないと判定した場合、処理をステップＳ２１に戻し、それ以降同様の処理が行われる。
【００９８】
また、ステップＳ２８において、表示調整部７０は、計時時間が所定の時間を経過したと判定した場合、処理をステップＳ２９に進め、書込情報記憶部６９に記憶されている書込み準備時間Xn及びバッファ書込み時間Pnに基づいて表示タイミングVblankを調整する表示タイミング調整処理を行う。
【００９９】
そして、ステップＳ２９において、表示調整部７０は、表示タイミング調整処理を行なった後に、書込情報記憶部６９に記憶されている書込み準備時間Xn及びバッファ書込み時間Pnを削除する。そして、表示調整部７０は、内蔵する計時部の計時をリセットした上で、再度、計時を開始して、処理をステップＳ２１に戻し、それ以降、同様の処理が行われる。
【０１００】
次に、図１２のフローチャートを参照して、図１１のステップＳ２９における表示タイミング調整処理の詳細について説明する。
【０１０１】
ステップＳ４１において、表示調整部７０は、書込情報記憶部６９から書込み準備時間Xnを読み出し、読み出した書込み準備時間Xnの分布を表すX分布情報を算出する。
【０１０２】
ステップＳ４２では、表示調整部７０は、ステップＳ４１で算出したX分布情報に基づいて、閾値Xthを算出する。
【０１０３】
ステップＳ４３では、表示調整部７０は、表示間隔Vblank Intervalと閾値Xthに基づいて、式（２）により必要時間Yを算出する。
【０１０４】
ステップＳ４４では、表示調整部７０は、書込情報記憶部６９からバッファ書込み時間Pnを読み出し、読み出したバッファ書込み時間Pnの分布を表すP分布情報を算出する。
【０１０５】
ステップＳ４５では、表示調整部７０は、ステップＳ４１で算出したP分布情報に基づいて、閾値Pthを算出する。
【０１０６】
ステップＳ４６では、表示調整部７０は、ステップＳ４５で算出した閾値Pthと、期待書込み時間1/60に基づいて、式（１）により許容遅延時間Ythを算出する。
【０１０７】
ステップＳ４７では、表示調整部７０は、ステップＳ４３で算出した必要時間Yと、ステップＳ４６で算出した許容遅延時間Ythに基づいて、式（３）を満たすか否かを判定し、式（３）を満たすと判定した場合、処理をステップＳ４８に進める。
【０１０８】
ステップＳ４８では、表示調整部７０は、図７に示したように、表示タイミングVblankを、時間Zだけ早くなるように調整し、調整後の表示タイミングVblankを、表示制御部６６に供給する。
【０１０９】
ステップＳ４７では、表示調整部７０は、ステップＳ４３で算出した必要時間Yと、ステップＳ４６で算出した許容遅延時間Ythに基づいて、式（３）を満たしていないと判定した場合、処理をステップＳ４９に進める。
【０１１０】
ステップＳ４９では、表示調整部７０は、図８に示したように、表示タイミングVblankを、時間Zだけ遅くなるように調整し、調整後の表示タイミングVblankを、表示制御部６６に供給する。
【０１１１】
以上、ステップＳ４８又はステップＳ４９の処理の終了後、処理は、図１１のステップＳ２９にリターンし、それ以降の処理が行われる。
【０１１２】
以上説明したように、表示制御処理によれば、例えば、偶数フィールド画像nevenの書込み情報に応じて、式（３）を満たすように表示タイミングVblankを調整するようにしたので、画像の一部分がスキップされることにより、画像に乱れ等が生じる事態を抑止することが可能となる。すなわち、表示制御部６６は、許容遅延時間Yth以下の遅延時間でバッファ６５に書き込まれた偶数フィールド画像neven及び奇数フィールド画像noddに画像の乱れ等を生じさせることなく、表示調整部７０からの表示タイミングVblankに同期して表示させることができる。
【０１１３】
また、例えば、表示制御処理によれば、式（３）を満たしている場合でも、式（３）を満たす範囲内で、必要時間Yを可能な限り短くするように、表示タイミングVblankを調整するようにした。
【０１１４】
このため、奇数フィールド画像nodd及び偶数フィールド画像nevenにおいて、書込み開始時間から表示タイミングまでに要する時間が全体的に短くなるため、最小限の低遅延で画像を表示することが可能となる。
【０１１５】
＜２．第２の実施の形態＞
[表示タイミングVblankを調整しないときの一例]
なお、受信装置２２では、図７及び図８に示されるように、必要時間Yと許容遅延時間Ythとの比較結果に基づいて、表示タイミングVblankを調整するようにして、画像の乱れ等を抑止するとともに、最小限の低遅延で画像を表示できるようにした。
【０１１６】
しかしながら、その他、例えば、表示タイミングVblankを調整することなく、画像の乱れ等を抑止することができる。
【０１１７】
すなわち、例えば、受信装置２２は、式（３）を満たす場合、画像の乱れ等は生じないので、表示タイミングVblankを調整せずに、そのままの表示タイミングVblankに同期させて画像を表示させるようにする。
【０１１８】
また、例えば、受信装置２２は、式（３）を満たさない場合、図１３に示すようにして、画像の表示タイミングをずらすようにして、画像の乱れ等を抑止する。
【０１１９】
図１３は、式（３）を満たさない場合に、画像の表示タイミングをずらす場合の一例を示している。
【０１２０】
式（３）を満たさない場合、図１３Aに示されるように、偶数フィールド画像nevenにおいて、ライン番号iのラインi（≧L）は、ラインiを表示すべきライン表示タイミングが経過した後に、バッファ６５に書き込まれることとなる。
【０１２１】
この場合、時刻t2を表示タイミングVblank(neven)として、偶数フィールド画像nevenを表示させると、偶数フィールド画像nevenに乱れ等が生じてしまう。
【０１２２】
したがって、書込制御部６４は、図１３Bに示されるように、時刻t2の後の時刻t4に、偶数フィールド画像nevenをバッファ６５に書き込むようにする。
【０１２３】
なお、この場合、書込制御部６４は、図示せぬメモリを内蔵しているものとし、復号部６３からの偶数フィールド画像nevenを、内蔵のメモリに保持するようにして、バッファ６５に書き込むタイミングを調整するようにしている。
【０１２４】
これにより、表示制御部６６では、表示タイミングVblank(neven)を、時刻t2から時刻t4にずらし、時刻t4を表示タイミングVblank(neven)として偶数フィールド画像nevenを表示させることができる。
【０１２５】
＜２．変形例＞
なお、表示タイミングVblankを調整する場合と調整しない場合との両方を組み合わせるようにして、画像の乱れ等を抑止するようにしてもよい。
【０１２６】
すなわち、例えば、式（３）を満たす場合、図７に示したようにして表示タイミングVblankを調整するようにし、式（３）を満たさない場合、図１３に示したようにして表示タイミングVblankをずらすようにしてもよい。
【０１２７】
また、例えば、式（３）を満たす場合、表示タイミングVblankを調整せずに、そのままの表示タイミングVblankで表示させるようにし、式（３）を満たさない場合に、図８に示したようにして表示タイミングVblankを調整するようにすることができる。
【０１２８】
第１及び第２の実施の形態では、偶数フィールド画像nevenの書込み情報に基づいて、必要時間Y及び許容遅延時間Ythを算出するようにしたが、その他、例えば、図１４に示されるように、奇数フィールド画像noddの書込み情報に基づいて、必要時間Y及び許容遅延時間Ythを算出することができる。また、例えば、奇数フィールド画像noddの書込み情報、及び偶数フィールド画像nevenの書込み情報に基づいて、必要時間Y及び許容遅延時間Ythを算出するようにしてもよい。
【０１２９】
また、例えば、表示部６７において、プログレッシブ方式で画像を表示する場合には、図１５に示されるように、各画像をプログレッシブ画像とし、プログレッシブ画像の書込み情報に基づいて、必要時間Y及び許容遅延時間Ythを算出するものとなる。
【０１３０】
さらに、表示調整部７０は、図４に示されるような書込み準備時間Xnの分布を表すX分布情報を生成する際に、書込み準備時間Xnの測定された時期に拘らず、書込み準備時間Xnの度数を１として、X分布情報を生成するようにした。
【０１３１】
しかしながら、表示調整部７０は、測定された時期が直近であるほどに、書込み準備時間Xnの度数を多く加算するようにして、X分布情報を生成するようにしてもよい。これは、直近に測定された書込み準備時間Xnほど、これから受信される画像の書込み準備時間をより正確に表していると考えられるからである。
【０１３２】
このことは、図５に示されるようなバッファ書込み時間Pnの分布を表すP分布情報を生成する際についても同様である。
【０１３３】
これにより、表示調整部７０では、これから受信される画像の書込み準備時間を、より正確に反映したX分布情報を生成できるとともに、これから受信される画像のバッファ書込み時間を、より正確に反映したP分布情報を生成できるようになる。
【０１３４】
このため、表示調整部７０は、そのようなX分布情報及びP分布情報から、これから受信される画像の必要時間Y及び許容遅延時間Ythを、より正確に算出することができるようになる。よって、受信される画像に応じた、表示タイミングVblankの調整をより適切に行うことが可能となる。
【０１３５】
なお、本技術は以下のような構成もとることができる。
（１）画像を受信する受信部と、受信した前記画像を一時的に保持する保持部に前記画像の書込みを行う書込み部と、前記画像の書込みが開始された書込み開始時刻から、予め決められた所要時間で書込みを終了できないときに許容される遅延時間を表す許容遅延時間を算出する第１の算出部と、前記許容遅延時間以下の遅延時間で書き込まれた前記画像の前記書込み開始時刻から、前記画像の表示を開始する表示タイミングまでに少なくとも要する必要時間を算出する第２の算出部と、前記許容遅延時間と前記必要時間とを比較する比較部と、前記比較部の比較結果に基づいて、前記表示タイミングを調整する表示調整部と、調整後の前記表示タイミングに同期して、前記画像を表示させる表示制御部とを含む表示制御装置。
（２）前記画像の書込みに要する書込み時間を計測する第１の計測部をさらに含み、前記第１の算出部は、前記書込み時間の分布に基づいて、前記許容遅延時間を算出する前記（１）に記載の表示制御装置。
（３）前記画像の書込みの開始に要する書込み準備時間を計測する第２の計測部をさらに含み、前記第２の算出部は、前記書込み準備時間の分布に基づいて、前記必要時間を算出する前記（１）又は（２）に記載の表示制御装置。
（４）前記表示制御は、調整後の前記表示タイミングに同期して、前記表示タイミングから前記所定時間で前記画像の表示を終了させるものであり、前記表示調整部は、前記必要時間が前記許容遅延時間よりも長いとの比較結果を得た場合、前記必要時間が前記許容遅延時間よりも長いという条件を満たす範囲内で、前記必要時間を短くするように前記表示タイミングを調整する前記（１）乃至（３）に記載の表示制御装置。
（５）前記表示調整部は、前記必要時間が前記許容遅延時間よりも長くないとの比較結果を得た場合、前記必要時間が前記許容遅延時間よりも長くなるように前記表示タイミングを調整する前記（４）に記載の表示制御装置。
（６）前記書込み部は、前記必要時間が前記遅延時間よりも長くないとの比較結果を得た場合、第１の前記表示タイミングの後に前記画像の書込みを開始し、前記表示制御部は、前記第１の表示タイミングよりも後の第２の表示タイミングに同期して、前記画像を表示させる前記（４）に記載の表示制御装置。
（７）前記表示制御部は、調整後の前記表示タイミングに同期して、前記許容遅延時間以下の遅延時間で書込まれた前記画像を表示させる前記（１）乃至（３）に記載の表示制御装置。
【０１３６】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、又は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、プログラム記録媒体からインストールされる。
【０１３７】
[コンピュータの構成例]
図１６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１３８】
CPU（Central Processing Unit）２０１は、ROM（Read Only Memory）２０２、又は記憶部２０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）２０３には、CPU２０１が実行するプログラムやデータ等が適宜記憶される。これらのCPU２０１、ROM２０２、及びRAM２０３は、バス２０４により相互に接続されている。
【０１３９】
CPU２０１にはまた、バス２０４を介して入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウス、マイクロホン等よりなる入力部２０６、ディスプレイ、スピーカ等よりなる出力部２０７が接続されている。CPU２０１は、入力部２０６から入力される指令に対応して各種の処理を実行する。そして、CPU２０１は、処理の結果を出力部２０７に出力する。
【０１４０】
入出力インタフェース２０５に接続されている記憶部２０８は、例えばハードディスクからなり、CPU２０１が実行するプログラムや各種のデータを記憶する。通信部２０９は、インターネットやローカルエリアネットワーク等のネットワークを介して外部の装置と通信する。
【０１４１】
また、通信部２０９を介してプログラムを取得し、記憶部２０８に記憶してもよい。
【０１４２】
入出力インタフェース２０５に接続されているドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア２１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータ等を取得する。取得されたプログラムやデータは、必要に応じて記憶部２０８に転送され、記憶される。
【０１４３】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録（記憶）する記録媒体は、図１６に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ（Mini-Disc）を含む）、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア２１１、又は、プログラムが一時的もしくは永続的に格納されるROM２０２や、記憶部２０８を構成するハードディスク等により構成される。記録媒体へのプログラムの記録は、必要に応じてルータ、モデム等のインタフェースである通信部２０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の通信媒体を利用して行われる。
【０１４４】
なお、本明細書において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１４５】
また、本発明の実施の形態は、上述した第１及び第２の実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１４６】
２２  受信装置，  ６１  RTP受信部，  ６２  パケット組立部，  ６３  復号部，  ６４  書込制御部，  ６５  バッファ，  ６６  表示制御部，  ６７  表示部，  ６８  書込情報測定部，  ６９  書込情報記憶部，  ７０  表示調整部，  ７１  操作部，  ７２  制御部
【図１】
2012222643.tif 000003
【図２】
2012222643.tif 000004
【図３】
2012222643.tif 000005
【図４】
2012222643.tif 000006
【図５】
2012222643.tif 000007
【図６】
2012222643.tif 000008
【図７】
2012222643.tif 000009
【図８】
2012222643.tif 000010
【図９】
2012222643.tif 000011
【図１０】
2012222643.tif 000012
【図１１】
2012222643.tif 000013
【図１２】
2012222643.tif 000014
【図１３】
2012222643.tif 000015
【図１４】
2012222643.tif 000016
【図１５】
2012222643.tif 000017
【図１６】
2012222643.tif 000018