(57)【要約】【課題】画像の低遅延伝送同期再生をより確実に実現することができるようにする。【解決手段】送信装置１０１のタイムスタンプ制御部１１４は、受信装置１０２における再生において画像が破綻しないように、フレームレートの変化（フレームの間引き率等）に応じて、平滑化部１１５による伝送レートの平滑化を考慮したタイムスタンプ値の調整を行う。同期制御部１４２は、符号化データに付加された更新後のタイムスタンプ値に対応する時刻を用いて同期再生時刻を算出する。本発明は、例えば、画像伝送システムに適用することができる。【選択図】図４
2010278596.tif 000002
【特許請求の範囲】
【請求項１】
各フレームにサンプリング時刻に同期したタイムスタンプが割り当てられた動画像データのフレームレートを変換するフレームレート変換手段と、
前記フレームレート変換手段によるフレームレート変換に応じて、前記フレームレート変換後の各フレームの前記タイムスタンプを、前記フレームレート変換後の次のフレームの更新前のタイムスタンプまでの間の時刻に更新する更新手段と、
前記更新手段により前記タイムスタンプが更新された前記動画像データを、各フレームの再生時刻を前記タイムスタンプに基づいて決定する他の情報処理装置に送信する送信手段と
を備える情報処理装置。
【請求項２】
前記更新手段は、前記フレームレート変換後の各フレームの前記タイムスタンプを、前記フレームレート変換前の状態において前記フレームレート変換後の次のフレームからみて１つ前に位置するフレームのタイムスタンプに更新する
請求項１に記載の情報処理装置。
【請求項３】
前記フレームレート変換手段は、前記動画像データから一部のフレームデータを間引くことにより、前記フレームレートを所望のフレームレートに変換する
請求項１に記載の情報処理装置。
【請求項４】
前記フレームレート変換手段は、前記動画像データの複数フレームを画像合成することにより、前記フレームレートを所望のフレームレートに変換する
請求項１に記載の情報処理装置。
【請求項５】
前記フレームレート変換手段は、各フレームのサンプリング時刻に同期したID値が所定のデータ単位毎に割り当てられた動画像データのフレームレートを変換し、
前記更新手段は、前記フレームレート変換手段によるフレームレート変換に応じて、前記フレームレート変換後の前記ID値を更新し、
前記送信手段は、前記更新手段により前記ID値が更新された前記動画像データを、各フレームの再生時刻を前記ID値に基づいて決定する他の情報処理装置に送信する
請求項１乃至請求項４のいずれかに記載の情報処理装置。
【請求項６】
フレームレート変換手段が、各フレームにサンプリング時刻に同期したタイムスタンプが割り当てられた動画像データのフレームレートを変換し、
更新手段が、前記フレームレートの変換に応じて、フレーム変換後の各フレームの前記タイムスタンプを、前記フレームレート変換後の次のフレームの更新前のタイムスタンプまでの間の時刻に更新し、
送信手段が、前記タイムスタンプが更新された前記動画像データを、各フレームの再生時刻を前記タイムスタンプに基づいて決定する他の情報処理装置に送信する
情報処理方法。
【請求項７】
各フレームにサンプリング時刻に同期したタイムスタンプが割り当てられた動画像データのフレームレートを変換するフレームレート変換手段と、
前記フレームレート変換手段によるフレームレート変換後のフレームレートを、前記フレームレート変換手段により前記フレームレート変換された前記動画像データに付加する付加手段と、
前記付加手段により前記フレームレート変換後のフレームレートが付加された前記動画像データを、各フレームの再生時刻を前記タイムスタンプ、前記動画像データのサンプリングレート、および前記フレームレート変換後のフレームレートに基づいて決定する他の情報処理装置に送信する送信手段と
を備える情報処理装置。
【請求項８】
前記フレームレート変換手段は、前記動画像データから一部のフレームデータを間引くことにより、前記フレームレートを所望のフレームレートに変換する
請求項７に記載の情報処理装置。
【請求項９】
前記フレームレート変換手段は、前記動画像データの複数フレームを画像合成することにより、前記フレームレートを所望のフレームレートに変換する
請求項７に記載の情報処理装置。
【請求項１０】
前記フレームレート変換手段は、各フレームのサンプリング時刻に同期したID値が所定のデータ単位毎に割り当てられた動画像データのフレームレートを変換し、
前記付加手段は、前記フレームレート変換手段によるフレームレート変換後のフレームレートを、前記フレームレート変換手段により前記フレームレート変換された前記動画像データに付加し、
前記送信手段は、前記付加手段により前記フレームレート変換後のフレームレートが付加された前記動画像データを、各フレームの再生時刻を前記ID値、前記動画像データのサンプリングレート、および前記フレームレート変換後のフレームレートに基づいて決定する他の情報処理装置に送信する
請求項７乃至請求項９のいずれかに記載の情報処理装置。
【請求項１１】
フレームレート変換手段が、各フレームにサンプリング時刻に同期したタイムスタンプが割り当てられた動画像データのフレームレートを変換し、
付加手段が、フレームレート変換後のフレームレートを、前記フレームレート変換された前記動画像データに付加し、
送信手段が、前記フレームレート変換後のフレームレートが付加された前記動画像データを、各フレームの再生時刻を前記タイムスタンプ、前記動画像データのサンプリングレート、および前記フレームレート変換後のフレームレートに基づいて決定する他の情報処理装置に送信する
情報処理方法。
【請求項１２】
他の情報処理装置から送信された、各フレームのサンプリング時刻に同期したタイムスタンプ、および、フレームレートが付加された動画像データを受信する受信手段と、
前記タイムスタンプ、前記動画像データのサンプリングレート、および前記フレームレートを用いて、前記受信手段により受信された前記動画像データの各フレームの再生時刻を決定する再生時刻決定手段と
を備える情報処理装置。
【請求項１３】
前記再生時刻決定手段は、前記サンプリングレートを前記フレームレートで除算した商の整数値から１を減算した値を、前記サンプリングレートで除算し、前記タイムスタンプから算出される再生時刻から前記除算結果分の時間遅延させた時刻を前記再生時刻に決定する
請求項１２に記載の情報処理装置。
【請求項１４】
前記受信手段は、他の情報処理装置から送信された、各フレームのサンプリング時刻に同期した所定のデータ単位毎のID値、および、フレームレートが付加された動画像データを受信し、
前記再生時刻決定手段は、前記ID値、前記動画像データのサンプリングレート、および前記フレームレートを用いて、前記受信手段により受信された前記動画像データの各フレームの再生時刻を決定する
請求項１２または請求項１３に記載の情報処理装置。
【請求項１５】
受信手段が、他の情報処理装置から送信された、各フレームのサンプリング時刻に同期したタイムスタンプ、および、フレームレートが付加された動画像データを受信し、
再生時刻決定手段が、前記タイムスタンプ、前記動画像データのサンプリングレート、および前記フレームレートを用いて、受信された前記動画像データの各フレームの再生時刻を決定する
情報処理方法。
【請求項１６】
各フレームにサンプリング時刻に同期したタイムスタンプが割り当てられた動画像データのフレームレートを変換するフレームレート変換手段と、
前記フレームレート変換手段によるフレームレート変換により削減されたフレーム数を示すフレームスキップ数を、前記フレームレート変換手段により前記フレームレート変換された前記動画像データに付加する付加手段と、
前記付加手段により前記フレームスキップ数が付加された前記動画像データを、各フレームの再生時刻を前記タイムスタンプ、前記動画像データのサンプリングレート、および前記フレームスキップ数に基づいて決定する他の情報処理装置に送信する送信手段と
を備える情報処理装置。
【請求項１７】
前記フレームレート変換手段は、前記動画像データから一部のフレームデータを間引くことにより、前記フレームレートを所望のフレームレートに変換する
請求項１６に記載の情報処理装置。
【請求項１８】
前記フレームレート変換手段は、前記動画像データの複数フレームを画像合成することにより、前記フレームレートを所望のフレームレートに変換する
請求項１６に記載の情報処理装置。
【請求項１９】
前記フレームレート変換手段は、各フレームのサンプリング時刻に同期したID値が所定のデータ単位毎に割り当てられた動画像データのフレームレートを変換し、
前記付加手段は、前記フレームレートの変換により削減されたフレーム数を示すフレームスキップ数を、前記フレームレートが変換された前記動画像データに付加し、
前記送信手段は、前記フレームスキップ数が付加された前記動画像データを、各フレームの再生時刻を前記ID値、前記動画像データのサンプリングレート、および前記フレームスキップ数に基づいて決定する他の情報処理装置に送信する
請求項１６乃至請求項１８のいずれかに記載の情報処理装置。
【請求項２０】
フレームレート変換手段が、各フレームにサンプリング時刻に同期したタイムスタンプが割り当てられた動画像データのフレームレートを変換し、
付加手段が、前記フレームレートの変換により削減されたフレーム数を示すフレームスキップ数を、前記フレームレートが変換された前記動画像データに付加し、
送信手段が、前記フレームスキップ数が付加された前記動画像データを、各フレームの再生時刻を前記タイムスタンプ、前記動画像データのサンプリングレート、および前記フレームスキップ数に基づいて決定する他の情報処理装置に送信する
情報処理方法。
【請求項２１】
他の情報処理装置から送信された、各フレームのサンプリング時刻に同期したタイムスタンプ、および、前記他の情報処理装置において行われるフレームレート変換により削減されたフレーム数を示すフレームスキップ数が付加された動画像データを受信する受信手段と、
前記タイムスタンプ、前記動画像データのサンプリングレート、および前記フレームスキップ数を用いて、前記受信手段により受信された前記動画像データの各フレームの再生時刻を決定する再生時刻決定手段と
を備える情報処理装置。
【請求項２２】
前記再生時刻決定手段は、前記タイムスタンプから算出される再生時刻から、前記フレームスキップ数を前記動画像データのサンプリングフレームレートの除算結果分の時間遅延させた時刻を前記再生時刻に決定する
請求項２１に記載の情報処理装置。
【請求項２３】
前記受信手段は、他の情報処理装置から送信された、各フレームのサンプリング時刻に同期した所定のデータ単位毎のID値、および、前記他の情報処理装置において行われるフレームレート変換により削減されたフレーム数を示すフレームスキップ数が付加された動画像データを受信し、
前記再生時刻決定手段は、前記ID値、前記動画像データのサンプリングレート、および前記フレームスキップ数を用いて、受信された前記動画像データの各フレームの再生時刻を決定する
請求項２１または請求項２２に記載の情報処理装置。
【請求項２４】
受信手段が、他の情報処理装置から送信された、各フレームのサンプリング時刻に同期したタイムスタンプ、および、前記他の情報処理装置において行われるフレームレート変換により削減されたフレーム数を示すフレームスキップ数が付加された動画像データを受信し、
再生時刻決定手段が、前記タイムスタンプ、前記動画像データのサンプリングレート、および前記フレームスキップ数を用いて、受信された前記動画像データの各フレームの再生時刻を決定する
情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置および方法に関し、特に、画像の低遅延伝送同期再生をより確実に実現することができるようにした情報処理装置および方法に関する。
【背景技術】
【０００２】
近年、インターネットもしくはその他の伝送路を経由してマルチメディアデータを低遅延に伝送するという需要が高まっている。例えば、手術室から動画像伝送される手術風景を見ながら、遠隔地でその手術室の手術器具を操作するといった所謂遠隔手術のアプリケーションがある。このようなアプリケーションにおいては、遠隔地における手術器具の操作性の低減を抑制するために、数フレーム間隔以下の遅延で動画像が伝送されることが求められる。
【０００３】
このような要求に対して、例えば、動画像の各ピクチャの数ライン毎を１つの圧縮符号化ブロックとしてウェーブレット変換による圧縮符号化を行う方式が提案されている（例えば特許文献１参照）。この特許文献１に記載の方式では、ピクチャ内のデータ全てを入力するまで待つことなく圧縮符号化を開始することができる。換言すれば、圧縮データをネットワーク伝送して受信側で復号する場合、ピクチャ内の全てのデータを受信する前に復号処理を開始することができる。したがって、ネットワーク伝播遅延が十分小さければ、フレーム間隔以下の低遅延でのリアルタイム動画像伝送（低遅延伝送）が可能となる。
【０００４】
データ伝送技術については、このような、キャプチャデバイス等により取得または生成される動画像を符号化しながら伝送するリアルタイム動画像伝送（低遅延伝送）に適したインターネット技術に、例えば、IETF（Internet Engineering Task Force） RFC（Request for Comments）3550で規定されているRTP（Realtime Transport Protocol）がある。RTPによるデータ転送では、時間情報としてパケットにタイムスタンプを付加しておき、これによって送信側と受信側の時間的関係を把握する。このようにすることにより、受信側では、パケット転送の遅延ゆらぎ（ジッタ）などの影響を受けずに同期をとった再生（同期再生）が可能となる。
【０００５】
なお、インターネットを経由した伝送においては伝送帯域が保証されないため、例えば、IETF RFC3448「TCP（Transmission Control Protocol） Friendly Rate Control (TFRC):Protocol Specification」に示されるようなレート制御処理により、ネットワークの混雑度を監視しながら最適な伝送レートに調整するといった処理が有効になる。
【０００６】
ところで、動画像データの伝送においては、レート制御機構により算出された指定レートに動画像のエンコードレートを動的に調整する必要がある。エンコードレートの調整方法は、例えば、画質、フレームレート、および解像度等がある。どの方法により調整することが望ましいかは利用法（アプリケーション）等に依存する。例えば、画像の画サイズ（解像度）が比較的大きく固定であり、レート制御により、その解像度に対して低くレートが指定された場合、画質設定値を調整するよりもフレームレートを調整する方が利用者に感じる品質が高い場合がある。このような場合、フレームレート調整によるエンコードレートの調整を行うことが望ましい。
【０００７】
低遅延伝送とは、送信装置が、動画像の各ピクチャのデータ全てがキャプチャデバイスによりキャプチャされる前に（符号化して）伝送を開始し、例えば、フレーム間隔以下の遅延でデータ伝送を行うことである。また、同期再生とは、受信装置が、送信装置から伝送されるデータを受信しながら、それを復号して再生し、同期のとれた画像表示（出力）を行うことである。つまり、低遅延伝送同期再生とは、送信装置および受信装置がこれらの動作を行うことである。
【０００８】
例えば、特許文献１に記載の圧縮符号化・復号方法を用いて、送信装置がキャプチャした動画像データを圧縮符号化して受信装置へ伝送し、受信装置がそのデータを復号して画像を再生する場合（低遅延伝送同期再生を行う場合）を考える。上述したように、圧縮符号化単位（圧縮符号化ブロック）は、ピクチャ以下の単位となる。
【０００９】
送信装置において圧縮符号化されて生成された圧縮符号化ブロックデータは、複数のパケットに分割され、入力画像データのキャプチャ時刻に同期したタイムススタンプ値が付加される。受信装置は、各パケットに付加されたタイムスタンプ値を基に画像の同期再生を行う。
【００１０】
ここでいうキャプチャ時刻とは、キャプチャデバイスによりキャプチャされた非圧縮動画像データが例えばHD-SDI（High Definition Serial Digital Interface）等のシリアルインターフェイス経由で送信装置の圧縮符号化モジュールに入力されるときの、各圧縮符号化ブロックの先頭データが入力された時刻を示す。つまり、同じフレーム内でも、圧縮符号化ブロック毎に異なるキャプチャ時刻（すなわちタイムスタンプ値）を取る。
【００１１】
図１にフレームレートの動的変更を行わず、サンプリングフレームレートのままで伝送する場合のタイムチャート例を示す。図１において、上から順に処理が行われるものとする。つまり、最初にキャプチャ＆CODEC（図１Ａ）が行われ、次に送信装置送信（図１Ｂ）が行われ、次に受信装置受信（図１Ｃ）が行われ、最後に受信装置再生（図１Ｄ）が行われる。また、左から右に向かう方向が時系列を示すものとする。さらに、四角印で各パケットの処理時刻を表し、四角印内の上部数字がフレームID（Frame ID）、すなわちフレーム毎の連続番号を示し、下部数字が、タイムスタンプ値を示す。また、各フレームが４パケット、２圧縮符号化ブロックで構成されているものとする。タイムスタンプ値は圧縮符号化ブロック毎に１０カウントずつ増加してセットされている。
【００１２】
このような場合、フレームレート変換が行われないため、図１に示されるように、キャプチャ＆CODEC（図１Ａ）におけるキャプチャ間隔（キャプチャフレームレート）と同間隔の再生間隔（再生フレームレート）で行われる受信装置再生（図１Ｄ）における再生時刻において、再生に必要なパケットは受信済みとなる。つまり、この場合、受信装置は、受信装置再生（図１Ｄ）において同期再生を行うことができる。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特開２００７−３１１９２４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１４】
しかしながら、送信装置が画像データのフレームレートをサンプリングフレームレートより低いフレームレートへフレームレート変換してから画像データを伝送する場合、送信装置もしくは伝送中継装置（いわゆるルータ）等により伝送レートの平滑化が行われる。したがって、変換後フレームレートによって各ピクチャ全てのデータの伝送にかかる時間が異なってしまう恐れがあった。これにより、動的にフレームレートを変更する場合に受信装置での同期再生に問題が生じる恐れがあった。
【００１５】
図２は、フレームレートが動的に変換される場合のタイムチャート例を示す図である。処理の流れは、基本的に図１の場合と同様であるが、この場合、図２Ｂに示されるように、送信装置において送信装置フレームレート変換処理出力が行われ、フレーム番号（Frame ID）３以降において、一部のフレームが間引かれ、フレームレートが３分の１に変換されている。
【００１６】
また、送信装置送信（図２Ｃ）の前に伝送レートの平滑化が行われており、フレームレート変換された部分のパケット間隔は、それ以前のパケット間隔と比較して長くなっている。
【００１７】
この場合、受信装置受信（図２Ｄ）のパケット間隔も送信装置送信（図２Ｃ）と同様に変化する。したがって、受信装置再生（図２Ｅ）において、最初の圧縮符号化ブロックデータが受信された時点で再生を開始し、それ以降は最初のパケットのタイムスタンプに対する差分値に従い同期再生を行うようにすると、フレーム番号（Frame ID）３の１番目の圧縮符号化ブロック再生時において、フレーム番号（Frame ID）３の圧縮符号化ブロックデータが揃っておらず、不完全な映像を再生してしまう恐れがあった。つまり、映像が破綻してしまい、同期再生を実現することができない恐れがあった。
【００１８】
このような破綻の発生を回避するために、例えば、図３に示されるように、受信装置が、フレームレートが最低となる場合のピクチャデータの伝送時間を想定し、その伝送時間に対して十分なデータ量の受信データをバッファに保存するようにし、同期再生を行う方法が考えられる。
【００１９】
図３は、この場合のタイムチャート例を示す図である。図３の例においても、図２の場合と同様に、送信装置側においてフレームレートが動的に変換されている。このようなフレームレートの動的な変換に対し、受信装置は、受信装置再生（図３Ｅ）に示されるように、受信データをバッファリングしてから再生するようにして、予め所定の遅延時間を設けている。これにより、フレーム番号（Frame ID）３の１番目の圧縮符号化ブロック再生時刻が図２の場合よりも遅れるので、フレーム番号（Frame ID）３の圧縮符号化ブロックデータが揃っており、破綻が抑制される。
【００２０】
しかしながら、この場合、フレーム番号（Frame ID）が１や２のときのように、フレームレートが高いときにおいては、不必要な遅延が生じることになり、十分な低遅延性が失われてしまう恐れがあった。
【００２１】
本発明は、このような状況に鑑みて提案されたものであり、画像の低遅延伝送同期再生をより確実に実現することを目的とする。
【課題を解決するための手段】
【００２２】
本発明の第１の側面は、各フレームにサンプリング時刻に同期したタイムスタンプが割り当てられた動画像データのフレームレートを変換するフレームレート変換手段と、前記フレームレート変換手段によるフレームレート変換に応じて、前記フレームレート変換後の各フレームの前記タイムスタンプを、前記フレームレート変換後の次のフレームの更新前のタイムスタンプまでの間の時刻に更新する更新手段と、前記更新手段により前記タイムスタンプが更新された前記動画像データを、各フレームの再生時刻を前記タイムスタンプに基づいて決定する他の情報処理装置に送信する送信手段とを備える情報処理装置である。
【００２３】
前記更新手段は、前記フレームレート変換後の各フレームの前記タイムスタンプを、前記フレームレート変換前の状態において前記フレームレート変換後の次のフレームからみて１つ前に位置するフレームのタイムスタンプに更新することができる。
【００２４】
前記フレームレート変換手段は、前記動画像データから一部のフレームデータを間引くことにより、前記フレームレートを所望のフレームレートに変換することができる。
【００２５】
前記フレームレート変換手段は、前記動画像データの複数フレームを画像合成することにより、前記フレームレートを所望のフレームレートに変換することができる。
【００２６】
前記フレームレート変換手段は、各フレームのサンプリング時刻に同期したID値が所定のデータ単位毎に割り当てられた動画像データのフレームレートを変換し、前記更新手段は、前記フレームレート変換手段によるフレームレート変換に応じて、前記フレームレート変換後の前記ID値を更新し、前記送信手段は、前記更新手段により前記ID値が更新された前記動画像データを、各フレームの再生時刻を前記ID値に基づいて決定する他の情報処理装置に送信することができる。
【００２７】
本発明の第１の側面は、また、フレームレート変換手段が、各フレームにサンプリング時刻に同期したタイムスタンプが割り当てられた動画像データのフレームレートを変換し、更新手段が、前記フレームレートの変換に応じて、フレーム変換後の各フレームの前記タイムスタンプを、前記フレームレート変換後の次のフレームの更新前のタイムスタンプまでの間の時刻に更新し、送信手段が、前記タイムスタンプが更新された前記動画像データを、各フレームの再生時刻を前記タイムスタンプに基づいて決定する他の情報処理装置に送信する情報処理方法である。
【００２８】
本発明の第２の側面は、各フレームにサンプリング時刻に同期したタイムスタンプが割り当てられた動画像データのフレームレートを変換するフレームレート変換手段と、前記フレームレート変換手段によるフレームレート変換後のフレームレートを、前記フレームレート変換手段により前記フレームレート変換された前記動画像データに付加する付加手段と、前記付加手段により前記フレームレート変換後のフレームレートが付加された前記動画像データを、各フレームの再生時刻を前記タイムスタンプ、前記動画像データのサンプリングレート、および前記フレームレート変換後のフレームレートに基づいて決定する他の情報処理装置に送信する送信手段とを備える情報処理装置である。
【００２９】
前記フレームレート変換手段は、前記動画像データから一部のフレームデータを間引くことにより、前記フレームレートを所望のフレームレートに変換することができる。
【００３０】
前記フレームレート変換手段は、前記動画像データの複数フレームを画像合成することにより、前記フレームレートを所望のフレームレートに変換することができる。
【００３１】
前記フレームレート変換手段は、各フレームのサンプリング時刻に同期したID値が所定のデータ単位毎に割り当てられた動画像データのフレームレートを変換し、前記付加手段は、前記フレームレート変換手段によるフレームレート変換後のフレームレートを、前記フレームレート変換手段により前記フレームレート変換された前記動画像データに付加し、前記送信手段は、前記付加手段により前記フレームレート変換後のフレームレートが付加された前記動画像データを、各フレームの再生時刻を前記ID値、前記動画像データのサンプリングレート、および前記フレームレート変換後のフレームレートに基づいて決定する他の情報処理装置に送信することができる。
【００３２】
本発明の第２の側面は、また、フレームレート変換手段が、各フレームにサンプリング時刻に同期したタイムスタンプが割り当てられた動画像データのフレームレートを変換し、付加手段が、フレームレート変換後のフレームレートを、前記フレームレート変換された前記動画像データに付加し、送信手段が、前記フレームレート変換後のフレームレートが付加された前記動画像データを、各フレームの再生時刻を前記タイムスタンプ、前記動画像データのサンプリングレート、および前記フレームレート変換後のフレームレートに基づいて決定する他の情報処理装置に送信する情報処理方法である。
【００３３】
本発明の第３の側面は、他の情報処理装置から送信された、各フレームのサンプリング時刻に同期したタイムスタンプ、および、フレームレートが付加された動画像データを受信する受信手段と、前記タイムスタンプ、前記動画像データのサンプリングレート、および前記フレームレートを用いて、前記受信手段により受信された前記動画像データの各フレームの再生時刻を決定する再生時刻決定手段とを備える情報処理装置である。
【００３４】
前記再生時刻決定手段は、前記サンプリングレートを前記フレームレートで除算した商の整数値から１を減算した値を、前記サンプリングレートで除算し、前記タイムスタンプから算出される再生時刻から前記除算結果分の時間遅延させた時刻を前記再生時刻に決定することができる。
【００３５】
前記受信手段は、他の情報処理装置から送信された、各フレームのサンプリング時刻に同期した所定のデータ単位毎のID値、および、フレームレートが付加された動画像データを受信し、前記再生時刻決定手段は、前記ID値、前記動画像データのサンプリングレート、および前記フレームレートを用いて、前記受信手段により受信された前記動画像データの各フレームの再生時刻を決定することができる。
【００３６】
本発明の第３の側面は、また、受信手段が、他の情報処理装置から送信された、各フレームのサンプリング時刻に同期したタイムスタンプ、および、フレームレートが付加された動画像データを受信し、再生時刻決定手段が、前記タイムスタンプ、前記動画像データのサンプリングレート、および前記フレームレートを用いて、受信された前記動画像データの各フレームの再生時刻を決定する情報処理方法である。
【００３７】
本発明の第４の側面は、各フレームにサンプリング時刻に同期したタイムスタンプが割り当てられた動画像データのフレームレートを変換するフレームレート変換手段と、前記フレームレート変換手段によるフレームレート変換により削減されたフレーム数を示すフレームスキップ数を、前記フレームレート変換手段により前記フレームレート変換された前記動画像データに付加する付加手段と、前記付加手段により前記フレームスキップ数が付加された前記動画像データを、各フレームの再生時刻を前記タイムスタンプ、前記動画像データのサンプリングレート、および前記フレームスキップ数に基づいて決定する他の情報処理装置に送信する送信手段とを備える情報処理装置である。
【００３８】
前記フレームレート変換手段は、前記動画像データから一部のフレームデータを間引くことにより、前記フレームレートを所望のフレームレートに変換することができる。
【００３９】
前記フレームレート変換手段は、前記動画像データの複数フレームを画像合成することにより、前記フレームレートを所望のフレームレートに変換することができる。
【００４０】
前記フレームレート変換手段は、各フレームのサンプリング時刻に同期したID値が所定のデータ単位毎に割り当てられた動画像データのフレームレートを変換し、前記付加手段は、前記フレームレートの変換により削減されたフレーム数を示すフレームスキップ数を、前記フレームレートが変換された前記動画像データに付加し、前記送信手段は、前記フレームスキップ数が付加された前記動画像データを、各フレームの再生時刻を前記ID値、前記動画像データのサンプリングレート、および前記フレームスキップ数に基づいて決定する他の情報処理装置に送信することができる。
【００４１】
本発明の第４の側面は、また、フレームレート変換手段が、各フレームにサンプリング時刻に同期したタイムスタンプが割り当てられた動画像データのフレームレートを変換し、付加手段が、前記フレームレートの変換により削減されたフレーム数を示すフレームスキップ数を、前記フレームレートが変換された前記動画像データに付加し、送信手段が、前記フレームスキップ数が付加された前記動画像データを、各フレームの再生時刻を前記タイムスタンプ、前記動画像データのサンプリングレート、および前記フレームスキップ数に基づいて決定する他の情報処理装置に送信する情報処理方法である。
【００４２】
本発明の第５の側面は、他の情報処理装置から送信された、各フレームのサンプリング時刻に同期したタイムスタンプ、および、前記他の情報処理装置において行われるフレームレート変換により削減されたフレーム数を示すフレームスキップ数が付加された動画像データを受信する受信手段と、前記タイムスタンプ、前記動画像データのサンプリングレート、および前記フレームスキップ数を用いて、前記受信手段により受信された前記動画像データの各フレームの再生時刻を決定する再生時刻決定手段とを備える情報処理装置である。
【００４３】
前記再生時刻決定手段は、前記タイムスタンプから算出される再生時刻から、前記フレームスキップ数を前記動画像データのサンプリングフレームレートの除算結果分の時間遅延させた時刻を前記再生時刻に決定することができる。
【００４４】
前記受信手段は、他の情報処理装置から送信された、各フレームのサンプリング時刻に同期した所定のデータ単位毎のID値、および、前記他の情報処理装置において行われるフレームレート変換により削減されたフレーム数を示すフレームスキップ数が付加された動画像データを受信し、前記再生時刻決定手段は、前記ID値、前記動画像データのサンプリングレート、および前記フレームスキップ数を用いて、受信された前記動画像データの各フレームの再生時刻を決定することができる。
【００４５】
本発明の第５の側面は、また、受信手段が、他の情報処理装置から送信された、各フレームのサンプリング時刻に同期したタイムスタンプ、および、前記他の情報処理装置において行われるフレームレート変換により削減されたフレーム数を示すフレームスキップ数が付加された動画像データを受信し、再生時刻決定手段が、前記タイムスタンプ、前記動画像データのサンプリングレート、および前記フレームスキップ数を用いて、受信された前記動画像データの各フレームの再生時刻を決定する情報処理方法である。
【００４６】
本発明の第１の側面においては、各フレームにサンプリング時刻に同期したタイムスタンプが割り当てられた動画像データのフレームレートが変換され、フレームレートの変換に応じて、フレーム変換後の各フレームのタイムスタンプが、フレームレート変換後の次のフレームの更新前のタイムスタンプまでの間の時刻に更新され、タイムスタンプが更新された動画像データが、各フレームの再生時刻をタイムスタンプに基づいて決定する他の情報処理装置に送信される。
【００４７】
本発明の第２の側面においては、各フレームにサンプリング時刻に同期したタイムスタンプが割り当てられた動画像データのフレームレートが変換され、フレームレート変換後のフレームレートが、フレームレート変換された動画像データに付加され、フレームレート変換後のフレームレートが付加された動画像データが、各フレームの再生時刻をタイムスタンプ、動画像データのサンプリングレート、およびフレームレート変換後のフレームレートに基づいて決定する他の情報処理装置に送信される。
【００４８】
本発明の第３の側面においては、他の情報処理装置から送信された、各フレームのサンプリング時刻に同期したタイムスタンプ、および、フレームレートが付加された動画像データが受信され、タイムスタンプ、動画像データのサンプリングレート、およびフレームレートを用いて、受信された動画像データの各フレームの再生時刻が決定される。
【００４９】
本発明の第４の側面においては、各フレームにサンプリング時刻に同期したタイムスタンプが割り当てられた動画像データのフレームレートが変換され、フレームレートの変換により削減されたフレーム数を示すフレームスキップ数が、フレームレートが変換された動画像データに付加され、フレームスキップ数が付加された動画像データが、各フレームの再生時刻をタイムスタンプ、動画像データのサンプリングレート、およびフレームスキップ数に基づいて決定する他の情報処理装置に送信される。
【００５０】
本発明の第５の側面においては、他の情報処理装置から送信された、各フレームのサンプリング時刻に同期したタイムスタンプ、および、他の情報処理装置において行われるフレームレート変換により削減されたフレーム数を示すフレームスキップ数が付加された動画像データが受信され、タイムスタンプ、動画像データのサンプリングレート、およびフレームスキップ数を用いて、受信された動画像データの各フレームの再生時刻が決定される。
【発明の効果】
【００５１】
本発明によれば、情報を処理することができる。特に、画像の低遅延伝送同期再生をより確実に実現することができる。
【図面の簡単な説明】
【００５２】
【図１】フレームレート変換しない場合の、データ伝送における各処理が実行されるタイミングの例を説明する図である。
【図２】フレームレート変換する場合の、従来の、データ伝送における各処理が実行されるタイミングの例を説明する図である。
【図３】フレームレート変換する場合の、従来の、データ伝送における各処理が実行されるタイミングの他の例を説明する図である。
【図４】本発明を適用した情報処理システムの構成例を示すブロック図である。
【図５】レート制御処理の流れの例を説明するフローチャートである。
【図６】送信処理の流れの例を説明するフローチャートである。
【図７】伝送レートとフレームレートとの関係の例を示す図である。
【図８】受信処理の流れの例を説明するフローチャートである。
【図９】本発明を適用した場合の、データ伝送における各処理が実行されるタイミングの例を説明する図である。
【図１０】本発明を適用した符号化部の構成例を示すブロック図である。
【図１１】ウェーブレット変換について概略的に説明するための略線図である。
【図１２】ウェーブレット変換について概略的に説明するための略線図である。
【図１３】５×３フィルタのリフティングによるフィルタリングを分解レベル＝２まで実行した例を示す略線図である。
【図１４】この発明によるウェーブレット変換およびウェーブレット逆変換の流れを概略的に示す略線図である。
【図１５】本発明を適用した復号部の構成例を示すブロック図である。
【図１６】符号化処理の流れの例を説明するフローチャートである。
【図１７】復号処理の流れの例を説明するフローチャートである。
【図１８】符号化部および復号部の各要素が行う並列動作の様子の例を概略的に示す略線図である。
【図１９】本発明を適用した情報処理システムの他の構成例を示すブロック図である。
【図２０】送信処理の流れの、他の例を説明するフローチャートである。
【図２１】伝送フレームレート付加の様子を説明する図である。
【図２２】受信処理の流れの、他の例を説明するフローチャートである。
【図２３】本発明を適用した場合の、データ伝送における各処理が実行されるタイミングの他の例を説明する図である。
【図２４】本発明を適用した情報処理システムの、さらに他の構成例を示すブロック図である。
【図２５】送信処理の流れの、さらに他の例を説明するフローチャートである。
【図２６】フレームスキップ数付加の様子を説明する図である。
【図２７】受信処理の流れの、さらに他の例を説明するフローチャートである。
【図２８】本発明を適用した場合の、データ伝送における各処理が実行されるタイミングのさらに他の例を説明する図である。
【図２９】本発明を適用したパーソナルコンピュータの主な構成例を示すブロック図である。
【発明を実施するための形態】
【００５３】
以下、発明を実施するための形態（以下実施の形態とする）について 説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（タイムスタンプ更新）
２．第２の実施の形態（符号化処理・復号処理）
３．第３の実施の形態（フレームレート情報提供）
４．第４の実施の形態（フレームスキップ数提供）
５．第５の実施の形態（パーソナルコンピュータ）
【００５４】
＜１．第１の実施の形態＞
［デバイスの構成］
図４は、本発明を適用した情報処理システムの構成例を示すブロック図である。
【００５５】
図４において、情報処理システム１００は、送信装置１０１から受信装置１０２へ、インターネット網１０３を介して動画像の低遅延伝送同期再生を行うシステムである。すなわち、送信装置１０１は、キャプチャした動画像を符号化し、得られた符号化データを、インターネット網１０３を介して受信装置１０２に転送し、受信装置１０２は、その符号化データを受信して復号し、動画像を同期再生する。
【００５６】
送信装置１０１は、低遅延な符号化方式で画像データを符号化する。受信装置１０２は、その符号化方式に対応する、低遅延な復号方式で符号化データを復号する。また、送信装置１０１は、伝送路の帯域等に応じて画像データのフレームレートを動的に変化させる。受信装置１０２は、その送信装置１０１が変化させたフレームレートで画像データを再生する（同期再生を行う）。
【００５７】
このとき、受信装置１０２は、伝送レートの平滑化により生じる伝送タイミングのずれに合わせて、各フレームの再生タイミングを調整し、低フレームレートの部分でも再生画像が破綻しないようにする。
【００５８】
送信装置１０１は、キャプチャ部１１１、符号化部１１２、フレームレート変換部１１３、タイムスタンプ制御部１１４、平滑化部（Shaper）１１５、およびRTP送信部（RTP TX）１１６、RTCP（RTP Control Protocol）部１２１、伝送レート制御部１２２を有する。
【００５９】
キャプチャ部１１１は、送信装置１０１に入力された動画像（ビデオIN）を所定のフレームレートでキャプチャし、そのデータを符号化部１１２に供給する。符号化部１１２は、キャプチャ部１１１から供給された画像データを、所定の符号化方式で、伝送レート制御部１２２により指定されるエンコードレート（Encode Rate）で符号化する。このとき符号化部１１２は、符号化単位の各符号化データについて、キャプチャ時刻と同期したタイムスタンプ値を算出する。このタイムスタンプ値は、受信装置により動画像再生の際に参照される。
【００６０】
本構成例において、キャプチャ時刻とは、キャプチャデバイスによりキャプチャされた非圧縮動画像データがHD-SDI（High Definition Serial Digital Interface）等のシリアルインターフェイス経由で送信装置１０１の符号化部１１２に入力される場合における、各符号化ブロックの先頭データが入力された時刻を示す。つまり、同一フレーム内に互いに異なるキャプチャ時刻の複数の符号化ブロックが存在してもよい。もちろん、タイムスタンプの設定単位は任意であるので、符号化処理の単位である符号化ブロック毎にタイムスタンプが設定されても良いし、フレーム単位でタイムスタンプが設定されても良いし、複数フレーム毎にタイムスタンプが設定されるようにしてもよい。
【００６１】
符号化部１１２は、画像データを符号化して得られた符号化データをRTPパケット化し、算出したタイムスタンプ値をRTPタイムスタンプとしてRTPパケットに付加し、フレームレート変換部１１３に供給する。
【００６２】
フレームレート変換部１１３は、符号化部１１２から供給された符号化データのフレームレートを、例えば一部のフレーム（の符号化データ）を間引く等して、伝送レート制御部１２２により指定されるフレームレート（Frame Rate）に変換する。フレームレート変換部１１３は、例えば、間引き処理や加算平均処理等の画像合成処理によりフレームレートを変換する。フレームレート変換部１１３は、フレームレートが変換された符号化データをタイムスタンプ制御部１１４に供給する。
【００６３】
なお、伝送レート制御部１２２により指定されるフレームレートが変換前のフレームレート（キャプチャ部１１１のサンプリングレート）と同一である場合、フレームレート変換部１１３は、変換処理を省略し、符号化データをタイムスタンプ制御部１１４に供給する。
【００６４】
タイムスタンプ制御部１１４は、フレームレートの変化（フレームの間引き率等）に応じて、タイムスタンプ値（RTPタイムスタンプ）を調整する。後述するように受信装置１０２は、このタイムスタンプ値に応じた時刻にそのデータの再生を行う。タイムスタンプ制御部１１４は、タイムスタンプ値を、必要に応じて、この再生において画像が破綻しないような値に更新する。タイムスタンプ値の調整を行うとタイムスタンプ制御部１１４は、符号化データのパケットを平滑化部１１５に供給する。
【００６５】
平滑化部１１５は、パケットの伝送レートを平滑化し、伝送レート制御部１２２により指定される伝送レートにする。つまり、平滑化部１１５は、タイムスタンプ制御部１１４から供給されたパケットを一旦保持し、パケットの伝送レートが伝送レート制御部１２２により指定される伝送レート（Transmission Rate）となるような所定のタイミングで（所定の時間間隔で）パケットをRTP送信部１１６に供給する。
【００６６】
RTP送信部１１６は、平滑化部１１５から供給されるパケットを、インターネット網１０３を介して受信装置１０２に送信する。
【００６７】
RTCP部１２１は、受信装置１０２のRTCP部１４１とインターネット網１０３を介して通信を行い、インターネット網１０３の使用可能帯域幅等を確認するためのネットワーク状況情報を取得する。RTCP部１２１は、例えば、RTCP部１４１と、IETF RFC 3550記載のRTCP Sender Report(SR)パケット、RTCP Receiver Report(RR)パケットを送受信することによりネットワーク状況情報を交換する。このネットワーク状況情報には、インターネット網１０３の通信に関する情報であれば、どのような情報が含まれていても良い。例えば、往復伝送遅延（所謂RTT（Round Trip Time））やパケット損失率等が含まれていてもよい。もちろん、その他のパラメータが含まれるようにしてもよい。RTCP部１２１は、このように授受されたネットワーク状況情報を、伝送レート制御部１２２に供給する。
【００６８】
伝送レート制御部１２２は、RTCP部１２１から供給されたネットワーク状況情報に基づいて、符号化処理のエンコードレート、フレームレート変換後のフレームレート、およびパケットの伝送レート等を決定する。伝送レート制御部１２２は、エンコードレートを符号化部１１２に供給し、フレームレートをフレームレート変換部１１３に供給し、転送レートを平滑化部１１５に供給する。
【００６９】
受信装置１０２は、RTP受信（RTP RX）部１３１、受信バッファ１３２、復号部１３３、RTCP部１４１、および同期制御部１４２を有する。
【００７０】
RTP受信部１３１は、インターネット網１０３を介して送信装置１０１と通信を行い、RTP送信部１１６から送信されたパケットを受信し、それを受信バッファ１３２に供給する。また、RTP受信部１３１は、パケットの受信状況に関する情報（Packet info）をRTCP部１４１に供給する。
【００７１】
受信バッファ１３２は、RTP受信部１３１から供給されたパケットを保持する。受信バッファ１３２は、同期制御部１４２に制御され、所定のタイミングでパケットから符号化データを抽出して復号部１３３に供給する。
【００７２】
復号部１３３は、符号化部１１２の符号化方式に対応する方法で、受信バッファ１３２から供給される符号化データを復号し、得られたベースバンドの画像データを、同期制御部１４２により決められた再生時刻（同期再生時刻）に出力（再生）する（ビデオOUT）。
【００７３】
RTCP部１４１は、ネットワーク状況情報を、インターネット網１０３を介して送信装置１０１のRTCP部１２１と授受する。例えば、RTCP部１４１は、RTP受信部１３１から供給されたパケットの受信状況に関する情報等を含むネットワーク状況情報を、ネットワーク状況情報としてRTCP部１２１に供給する。
【００７４】
同期制御部１４２は、受信バッファ１３２に保持された符号化単位の符号化データの同期再生時刻を決定する。同期制御部１４２は、符号化データのタイムスタンプ値に対応する時刻を用いて同期再生時刻を算出する。同期制御部１４２は、このように算出された同期再生時刻を受信バッファ１３２に供給し、その同期再生時刻に対応する符号化データとともに、復号部１３３に供給させる。
【００７５】
［処理の流れ］
このような構成の情報処理システム１００において実行されるデータ伝送に関する主な処理について、処理の流れの例を説明する。最初に送信装置１０１の伝送レート制御部１２２により実行されるレート制御処理の流れの例を、図５のフローチャートを参照して説明する。
【００７６】
伝送レート制御部１２２は、所定のタイミングでレート制御処理を実行し、RTCP部１２１から供給されたネットワーク状況情報に基づいて各種レートを決定する。
【００７７】
レート制御処理が開始されると、伝送レート制御部１２２は、ステップＳ１０１において伝送レートを決定する。この伝送レートの決定方法は任意である。例えば、IETF RFC3448「TCP Friendly Rate Control (TFRC):Protocol Specification」に示される方法にしたがって伝送レートが決定されるようにしてもよい。
【００７８】
ステップＳ１０２において、伝送レート制御部１２２は、ステップＳ１０１において決定した伝送レートに基づいて、フレームレート変換部１１３におけるフレーム変換後のフレームレートを決定する。この変換後のフレームレートが伝送時のフレームレート（伝送フレームレート）になる。このフレームレートの決定方法は任意である。例えば、各伝送レートにおいてユーザの感じる品質を最適化したフレームレートを、図６に示されるグラフのように予め設定しておき、そのグラフに従って、伝送レートに対応するフレームレートが設定されるようにしてもよい。このフレームレート−伝送レート設定グラフは、アプリケーションや符号化部等の特性に応じて変更する（設定する）のが望ましい。なお、この図６のグラフのような、伝送レートとフレームレートの変換の関係を示すデータは、代表点を用いたテーブル情報であってもよいし、数式等であってもよい。
【００７９】
ステップＳ１０３において、伝送レート制御部１２２は、エンコードレートを決定する。上述したように、送信装置１０１の符号化部１１２は、伝送レート制御部１２２により指定されるフレームレートによらず、元動画像のサンプリングフレームレート（キャプチャレート）をフレームレートとして符号化処理を行う。そして、フレームレート変換部１１３は、一部のフレームを間引きする間引き処理により、フレームレート変換を行う。このため、伝送レート制御部１２２は、フレームレート変換後のデータレートを伝送レートと等しくするために、エンコードレートをR_e(bps)とし、伝送レートをR_t(bps)とし、サンプリングフレームレートをf_s(fps)とし、変換後フレームレートをf_t(fps)とするとき、以下の式（１）を満たすようにエンコードレートR_eを設定する。
【００８０】
【数１】
2010278596.tif 000003
【００８１】
以上のように各レートが決定されると、レート制御処理が終了される。
【００８２】
以上のレート制御方法は一例であり、上述した以外の方法で各レートを制御するようにしてもよい。例えば、符号化部１１２がフレームレート変換機能を備え、伝送レート制御部１２２が、エンコードレートと伝送レートを等しく設定し、エンコードレートおよび変換後のフレームレートを符号化部１１２に供給するようにしてもよい。
【００８３】
送信装置１０１の各部は、送信処理を実行し、以上のようにレート制御に基づくレートで画像データを符号化して送信する。図７のフローチャートを参照して、送信処理の流れの例を説明する。
【００８４】
送信処理が開始されると、ステップＳ１２１において、キャプチャ部１１１は、外部から供給される動画像（ビデオカメラ等を経由しビデオ入力IFであるビデオINより入力されたビデオデータを取り込む。
【００８５】
符号化部１１２は、ステップＳ１２２において、供給された画像データを、伝送レート制御部１２２により指定されたエンコードレートで符号化する。符号化部１１２は、ステップＳ１２３において、キャプチャ時刻情報に基づいて、キャプチャ時刻と同期したタイムスタンプ値を算出する。
【００８６】
ステップＳ１２４において、符号化部１１２は、符号化して得られた符号化データを、例えば、複数のRTPパケットに分割する。符号化部１１２は、そのRTPパケットに、ステップＳ１２３の処理により算出されたタイムスタンプ値をRTPタイムスタンプとして付加する。
【００８７】
ステップＳ１２５において、フレームレート変換部１１３は、伝送レート制御部１２２により指定されたフレームレートへ、例えば、一部のフレームを間引くフレーム間引き処理により変換する。
【００８８】
ここで、サンプリングフレームレートf_s(fps)から変換後の伝送フレームレートf_t(fps)へ変換する場合について説明する。これらのf_sとf_tは以下の式（２）の関係を満たす。
【００８９】
【数２】
2010278596.tif 000004
【００９０】
式（２）において、変数Ｍはフレーム間引き比率を示す。フレームレート変換部１１３は、変換前データからＭフレームに１フレームの頻度で抜き出し、抜き出したフレームで変換後データを生成する。
【００９１】
変換前フレームデータをＦ（ｎ）（nはフレーム連続番号）とし、変換後フレームデータをＦ’（ｎ）（nは変換後フレームの連続番号）とし、変換前データD_oを以下の式（３）のように示すと、変換後データD'_tは、以下の式（４）のように表すことができる。
【００９２】
【数３】
2010278596.tif 000005
【００９３】
なお、フレームレート変換部１１３は、フレーム間引き処理以外の方法でフレームレートを変換するようにしてもよい。フレームレート変換方法は任意である。例えば、加算平均処理等の画像合成処理により連続する複数フレームを合成してフレーム数を低減させることによりフレームレートを変換するようにしてもよい。
【００９４】
また、伝送レート制御部１２２により指定されたフレームレートが、変換前のフレームレート（サンプリングフレームレート）と同一である場合、ステップＳ１２５の処理は省略される。
【００９５】
ステップＳ１２６において、タイムスタンプ制御部１１４は、例えば、RTPヘッダ部に含まれるRTPタイムスタンプを制御する。タイムスタンプ制御部１１４は、フレームレート変換部１１３においてフレームレート変換された変換後フレームデータのフレーム間引き率Ｍによってタイムスタンプ調整を行う。
【００９６】
変換前フレームデーをＦ（ｎ）（ｎは変換前フレームの連続番号）とし、変換後フレームデータをＦ’（ｍ）（ｍは変換後フレームデータの連続番号）とし、変換前の符号化ブロックデータをＢ（ｎ，ｋ）とし、変換後の符号化ブロックデータをＢ’（ｍ，ｋ）（ｋはフレームデータ内の符号化ブロックの連続番号）とする。また、変換前の符号化ブロックデータＢ（ｎ，ｋ）のタイムスタンプ値をTS（ｎ，ｋ）とする。さらに、変換後の符号化ブロックデータＢ’（ｍ，ｋ）のタイムスタンプ制御前のタイムスタンプ値をTS'（ｍ，ｋ）とする。また、変換後の符号化ブロックデータＢ’（ｍ，ｋ）のタイムスタンプ制御後のタイムスタンプ値をTS’’（ｍ，ｋ）とする。そして、フレーム間引き比率をＭとする。
【００９７】
このとき、変換後フレームデータＦ’（ｍ）、変換後の符号化ブロックデータＢ’（ｍ，ｋ）、および、変換後の符号化ブロックデータＢ’（ｍ，ｋ）のタイムスタンプ制御前のタイムスタンプ値TS'（ｍ，ｋ）は、それぞれ、以下の式（５）乃至式（７）のように表される。
【００９８】
【数４】
2010278596.tif 000006
【００９９】
変換後符号化ブロックデータＢ’（ｍ，ｋ）のタイムスタンプ制御後のタイムスタンプ値TS’’（ｍ，ｋ）は、変換後フレームデータＦ’（ｍ）と次の変換後フレームデータＦ’（ｍ＋１）との間で間引かれた変換前フレーム数（Ｍ−１）に応じて調整される。タイムスタンプ制御後のタイムスタンプ値TS’’（ｍ，ｋ）は以下の式（８）で表される。
【０１００】
【数５】
2010278596.tif 000007
【０１０１】
すなわち、タイムスタンプ制御後のタイムスタンプ値には、該当するフレーム後に間引かれた変換前フレームデータの内の最後の変換前フレームデータの一致する符号化ブロックデータと同一のタイムスタンプ値がセットされる。変換後フレームデータの直後でフレームが間引かれていない場合、タイムスタンプ値は、タイムスタンプ制御の前後で変更されない。
【０１０２】
なお、このタイムスタンプ制御においては、あるフレームデータの直後にフレーム間引き処理が行われた場合、伝送レートの平滑化により、該当フレームが、間引かれたフレームに割り当てられるべきであった時間も使い平滑化され伝送されることを想定している。したがって、平滑化された各フレームデータの末尾データの到着時刻にあわせて同期再生されるようにするため、該当するフレーム後に間引かれた変換前フレームデータの内の最後の変換前フレームデータの一致する圧縮符号化ブロックデータと同一のタイムスタンプ値がセットされる。
【０１０３】
以上のようにタイムスタンプが更新されると、ステップＳ１２７において、平滑化部１１５は、パケットの送出タイミングを調整し、伝送レートを平滑化する。平滑化部１１５は、例えば、ITU-T Recommendation Y.1221 Traffic control and congestion control in IP-based networksに記載のToken Bucketと同様の処理により伝送レートの平滑化を行う。
【０１０４】
ステップＳ１２８において、RTP送信部１１６は、平滑化部１１５に制御されたタイミングでパケットを送信する。パケットが送信されると送信処理が終了される。以上のように、各パケットが順次送信される。以上に説明した各ステップの処理は、準備が整い次第実行され、かつ、それぞれの処理単位での処理が終了次第、次のデータ対して処理が繰り返される。したがって、上述した各処理は適宜平行して実行される。
【０１０５】
なお、平滑化処理は、送信装置１０１外の、例えばルータやEthernet Switch等の中継装置において行われるようにしてもよい。
【０１０６】
受信装置１０２は、受信処理を実行し、以上のように送信されたパケットを受信する。
【０１０７】
図８のフローチャートを参照して、受信処理の流れの例を説明する。
【０１０８】
受信処理が開始されると、受信装置１０２のRTP受信部１３１は、ステップＳ１４１において、送信装置１０１から送信されたRTPパケットを受信する。ステップＳ１４２において、受信バッファ１３２は、受信されたRTPパケットを保持する。
【０１０９】
同期制御部１４２は、ステップＳ１４３において、例えば受信バッファ１３２に格納された各RTPパケットのタイムスタンプ情報に基づいて同期再生時刻を決定する。
【０１１０】
最初のRTPパケットのタイムスタンプ値をTS_initとし、そのRTPパケットの受信時刻をT_init（sec）とし、RTPタイムスタンプ周波数をf_rtp（Hz）とし、再生オフセット時間をT_play（sec）とし、送受信装置時刻オフセットをT_skew（sec）とし、タイムスタンプ値TSのRTPパケットの受信時刻をT_r（TS）とする。このとき、タイムスタンプ値TSのRTPパケットの再生時刻T_p（TS）は、例えば、以下の式（９）のように算出することができる。
【０１１１】
【数６】
2010278596.tif 000008
【０１１２】
もちろん、これ以外の方法でRTPパケットの再生時刻T_p（TS）が算出されるようにしてもよい。
【０１１３】
なお、再生オフセット時間T_playは、パケット受信時刻から再生時刻までのオフセット時間を示す。このパラメータは、受信装置１０２内での処理遅延を反映させるためのものである。送受信装置時刻オフセット時間T_skewは、送受信装置間のシステムクロック周波数の差異を吸収するためのオフセット時間である。例えば、この送受信装置時刻オフセット時間T_skewの値は、ストリーム受信開始直後において「０」であり、一定時間おきに以下の式（１０）のように補正される。
【０１１４】
【数７】
2010278596.tif 000009
【０１１５】
同期制御部１４２は、以上のように決定した同期再生時刻およびRTPパケットに格納された圧縮動画像データを受信バッファ１３２から復号部１３３に供給させる。
【０１１６】
復号部１３３は、ステップＳ１４４において、符号化データを復号する。ステップＳ１４５において、復号部１３３は、復号して得られた画像データを、同期制御部１４２により決定された同期再生時刻に再生し、ビデオ出力IF（ビデオOUT）から出力する。出力データは、例えば、ディスプレイ等の映像表示装置に出力される。
【０１１７】
画像データが再生されると受信処理が終了する。以上のように、受信された各パケットが順次処理され、画像データとして出力される。以上に説明した各ステップの処理は、準備が整い次第実行され、かつ、それぞれの処理単位での処理が終了次第、次のデータ対して処理が繰り返される。したがって、上述した各処理は適宜平行して実行される。
【０１１８】
図９は、本発明を適用した場合の、データ伝送における各処理が実行されるタイミングの例を説明する図である。
【０１１９】
この図９は、図１乃至図３に対応する図であり、基本的にそれらの図と同様の内容がされている。図９の場合、一連の処理のそれぞれの出力として、画像の取り込みおよび符号化の出力タイミングを示す「キャプチャ＆CODEC」（図９Ａ）、フレームレート変換の出力タイミングを示す「送信装置フレームレート変換処理出力」（図９Ｂ）、タイムスタンプ更新の出力タイミングを示す「タイムスタンプ制御処理出力」（図９Ｃ）、パケットの送信タイミングを示す「送信装置送信」（図９Ｄ）、パケットの受信タイミングを示す「受信装置受信」（図９Ｅ）、および画像データの再生出力タイミングを示す「受信装置再生」（図９Ｆ）が示されている。
【０１２０】
図９の例の場合、送信装置１０１では、「キャプチャ＆CODEC」（図９Ａ）処理により、圧縮符号化ブロック毎に、一定間隔毎にキャプチャおよび符号化され、「送信装置フレームレート変換」処理（図９Ｂ）により、サンプリングフレームレートの３分の１のフレームレートにフレーム間引かれている。また、「タイムスタンプ制御」処理（図９Ｃ）により、フレーム間引き比率に応じてタイムスタンプ値の変換が行われ、平滑化処理により平滑化されたデータのパケットが「送信装置送信」（図９Ｄ）に示されるタイミングで送信される。
【０１２１】
受信装置１０２では「受信装置受信」（図９Ｅ）のタイミングでパケットが受信され、「同期制御部」の処理にあわせて「受信装置再生」（図９Ｆ）のタイミングで再生される。このとき、符号化ブロックの全てのデータの「受信装置受信」処理が終了しなければ「受信装置再生」はされないものとする。
【０１２２】
ここで、図９Ｂに示されるように、フレーム番号「３」以降のフレームにおいて、３フレーム中２フレームを間引くようにする（Ｍ＝３）。この場合、フレーム番号「３」以降のフレームのフレームレート（フレーム数）は、それ以前の３分の１になる。したがって、図９Ｄに示されるように、各フレームが、フレームが減少した分、平滑化処理によって分散されて伝送される。
【０１２３】
従来の方法では、図２や図３のタイムチャート例のように、再生映像の破綻や不必要な遅延増加が起こる恐れがあったが、上述したように送信装置１０１のタイムスタンプ制御部１１４においてタイムスタンプを、変更後のフレームレートに応じて更新するようにしたので、その更新されたタイムスタンプに基づくタイミングで再生を行う受信装置１０２は、図９Ｆに示されるように、フレームレートの高低によらず、同期破綻なく画像データを確実に再生することができる。
【０１２４】
このように、送信装置１０１がフレームレートを動的に変更しながら動画像をリアルタイム伝送しても、受信装置１０２は、同期再生の破綻をきたすことなく、低遅延伝送を実現することができる。
【０１２５】
また、情報処理システム１００においては、低遅延伝送同期再生を行いながらフレームレートを動的に変更することができる。したがって、伝送レート制御のためにフレームレートを動的に変更することができるため、画質パラメータのみにより伝送レート制御を行う場合よりも、画像一枚あたりの画質を高く設定することができ、動きの少ない動画像を伝送する場合に有効である。
【０１２６】
さらに、情報処理システム１００では、伝送レートの平滑化を行ってもフレームレートを動的に変更しながら、低遅延伝送同期再生が可能であるため、データのバースト伝送を行う必要がなく、ネットワークでのパケット損失の発生を抑制することができる。
【０１２７】
つまり、情報処理システム１００の各装置は、画像の低遅延伝送同期再生をより確実に実現することができる。
【０１２８】
なお、以上においては、送信装置１０１が、動画像データにサンプリング時刻に同期したタイムスタンプを付加し、受信装置１０２がそのタイムスタンプに同期して動画像データの各フレームを再生するように説明したが、このような再生時刻を制御するための情報は、サンプリング時刻に同期した情報であればタイムスタンプ以外の情報であってもよい。例えばタイムスタンプの代わりに、フレームIDやフレーム内ブロックID等、所定のデータ単位毎に動画像データに割り当てられるID値が用いられるようにしてもよい。サンプリングレートが明らかであれば、受信装置１０２は、これらのフレームIDやフレーム内ブロックIDからタイムスタンプと同様の情報を得ることが出来る。送信装置１０１は、このような、動画像データの各フレームのサンプリング時刻に同期した、所定のデータ単位毎に動画像データに割り当てられるID値を、フレームレート変換に応じて更新することにより、上述したタイムスタンプの場合と同様に、受信装置１０２における再生タイミングを制御することができる。すなわち、情報処理システム１００の各装置は、画像の低遅延伝送同期再生をより確実に実現することができる。
【０１２９】
＜２．第２の実施の形態＞
［符号化処理］
次に、以上のような情報処理システム１００において適用される符号化処理および復号処理について説明する。
【０１３０】
符号化部１１２の符号化方法（復号部１３３の復号方法）は基本的に任意であり、どのような方法でも適用可能であるが、例えば、特許文献１において提案されている動画像の各ピクチャの数ラインを１つの符号化ブロックとして符号化を行う動画像符号化方式を用いてもよい。
【０１３１】
最初に符号化部１１２の構成について説明する。
【０１３２】
図１０は、本発明を適用した符号化部１１２の詳細な構成例を示すブロック図である。図１０に示されるように符号化部１１２は、ウェーブレット変換部２１１、途中計算用バッファ部２１２、係数並び替え用バッファ部２１３、係数並び替え部２１４、エントロピ符号化部２１５、タイムスタンプ算出部２１６、およびパケタイズ部２１７を有する。
【０１３３】
符号化部１１２に入力された画像データは、ウェーブレット変換部２１１を介して途中計算用バッファ部２１２に一時的に溜め込まれる。ウェーブレット変換部２１１は、途中計算用バッファ部２１２に溜め込まれた画像データに対してウェーブレット変換を施す。すなわち、ウェーブレット変換部２１１は、途中計算用バッファ部２１２から画像データを読み出して分析フィルタによりフィルタ処理を施して低域成分および高域成分の係数のデータを生成し、生成された係数データを途中計算用バッファ部２１２に格納する。
【０１３４】
ウェーブレット変換部２１１は、水平分析フィルタと垂直分析フィルタとを有し、画像データ群に対して、画面水平方向と画面垂直方向の両方について分析フィルタ処理を行う。ウェーブレット変換部２１１は、途中計算用バッファ部２１２に格納された低域成分の係数データを再度読み出し、読み出した係数データに対して分析フィルタによるフィルタ処理を施して、高域成分および低域成分の係数のデータをさらに生成する。生成された係数データは、途中計算用バッファ部２１２に格納される。
【０１３５】
ウェーブレット変換部２１１は、この処理を繰り返して分解レベルが所定レベルに達したら、途中計算用バッファ部２１２から係数データを読み出し、読み出された係数データを係数並び替え用バッファ部２１３に書き込む。
【０１３６】
係数並び替え部２１４は、係数並び替え用バッファ部２１３に書き込まれた係数データを所定の順序で読み出し、エントロピ符号化部２１５に供給する。エントロピ符号化部２１５は、供給された係数データを所定の方法で量子化し、例えばハフマン符号化や算術符号化といった所定のエントロピ符号化方式で符号化する。エントロピ符号化部２１５は、生成した符号化データをタイムスタンプ算出部２１６に供給する。
【０１３７】
タイムスタンプ算出部２１６は、供給された符号化データのタイムスタンプ値を、そのデータのキャプチャ時刻情報に基づいて算出する。つまり、タイムスタンプ算出部２１６は、キャプチャ時刻に同期したタイムスタンプ値を算出する。タイムスタンプ算出部２１６は、算出したタイムスタンプ値を、符号化データとともにパケタイズ部２１７に供給する。
【０１３８】
パケタイズ部２１７は、供給された符号化データをRTPパケット化し、さらに、タイムスタンプ値をRTPタイムスタンプ値として各パケットに付加する。パケタイズ部２１７は、生成したパケットをフレームレート変換部１１３に供給する。
【０１３９】
次に、図１０のウェーブレット変換部２１１で行われる処理について、より詳細に説明する。先ず、ウェーブレット変換について、概略的に説明する。画像データに対するウェーブレット変換では、図１１に概略的に示されるように、画像データを空間周波数の高い帯域と低い帯域とに分割する処理を、分割の結果得られる空間周波数の低い帯域のデータに対して再帰的に繰り返す。こうして、空間周波数の低い帯域のデータをより小さな領域に追い込んでいくことで、効率的な圧縮符号化を可能とする。
【０１４０】
なお、図１１は、画像データの最低域成分領域に対する低域成分の領域Ｌおよび高域成分の領域Ｈへの分割処理を３回、繰り返し、分割の階層の総数を示す分割レベル＝３とした場合の例である。図１１において、"Ｌ"および"Ｈ"は、それぞれ低域成分および高域成分を表し、"Ｌ"および"Ｈ"の順序は、前側が横方向に分割した結果の帯域を示し、後側が縦方向に分割した結果の帯域を示す。また、"Ｌ"および"Ｈ"の前の数字は、その領域の階層を示しており、低域成分の階層ほど小さい値で表されている。この階層の最大値が、ウェーブレット変換のその時の分割レベル（分割数）を示す。
【０１４１】
また、図１１の例から分かるように、画面の右下の領域から左上の領域にかけて段階的に処理がなされ、低域成分が追い込まれていく。すなわち、図１１の例では、画面の右下の領域が最も低域成分の少ない（高域成分が最も多く含まれる）領域３ＨＨとされる、画面が４分割された左上の領域は、さらに４分割され、この４分割された領域のうち左上の領域がさらに４分割される。最も左上隅の領域は、最も低域成分を多く含む領域０ＬＬとされる。
【０１４２】
低域成分に対して繰り返し変換および分割を行うのは、画像のエネルギが低域成分に集中しているためである。このことは、図１２Ａに一例が示される分割レベル＝１の状態から、図１２Ｂに一例が示される分割レベル＝３の状態のように分割レベルを進めていくに従って、図１２Ｂに示されるようにしてサブバンドが形成されていくことからも、理解される。例えば、図１１におけるウェーブレット変換の分割レベルは３であり、この結果、１０個のサブバンドが形成されている。
【０１４３】
ウェーブレット変換部２１１は、通常、低域フィルタと高域フィルタとから構成されるフィルタバンクを用いて、上述のような処理を行う。なお、デジタルフィルタは、通常、複数タップ長のインパルス応答すなわちフィルタ係数を持っているため、フィルタ処理を行えるだけの入力画像データまたは係数データを予めバッファリングしておく必要がある。また、ウェーブレット変換を多段にわたって行う場合も同様に、前段で生成したウェーブレット変換係数を、フィルタ処理が行える数だけバッファリングしておく必要がある。
【０１４４】
このウェーブレット変換の具体的な例として、５×３フィルタを用いた方法について説明する。この５×３フィルタを用いた方法は、JPEG（Joint Photographic Experts Group）２０００規格でも採用されており、少ないフィルタタップ数でウェーブレット変換を行うことができる点で、優れた方法である。
【０１４５】
５×３フィルタのインパルス応答（Ｚ変換表現）は、次の式（１１）および式（１２）に示すように、低域フィルタＨ0（ｚ）と、高域フィルタＨ1（ｚ）とから構成される。
【０１４６】
Ｈ0（ｚ）＝（−１＋２ｚ-1＋６ｚ-2＋２ｚ-3−ｚ-4）／８    ・・・（１１）
Ｈ1（ｚ）＝（−１＋２ｚ-1−ｚ-2）／２            ・・・（１２）
【０１４７】
これら式（１１）および式（１２）によれば、低域成分および高域成分の係数を、直接的に算出することができる。ここで、例えば、図１３に示されるようにリフティング(Lifting)技術を用いることで、フィルタ処理の計算を減らすことができる。
【０１４８】
次に、このウェーブレット変換方法について、さらに具体的に説明する。図１３は、５×３フィルタのリフティングによるフィルタ処理を、分解レベル＝２まで実行した例を示している。なお、図１３において、図の左側に分析フィルタとして示される部分は、図１０のウェーブレット変換部２１１のフィルタである。また、図の右側に合成フィルタとして示される部分は、後述するウェーブレット逆変換部のフィルタである。
【０１４９】
なお、以下の説明では、例えば表示デバイスなどにおいて画面の左上隅の画素を先頭として、画素が画面の左端から右端に向けて走査されて１ラインが構成され、ライン毎の走査が画面の上端から下端に向けて行われて１画面が構成されるものとする。
【０１５０】
図１３において、左端列は、原画像データのライン上の対応する位置にある画素データが縦方向に並べられて示されている。すなわち、ウェーブレット変換部２１１におけるフィルタ処理は、垂直フィルタを用いて画面上を画素が縦に走査されて行われる。左端から１列目乃至３列目が分割レベル＝１のフィルタ処理を示し、４列目乃至６列目が分割レベル＝２のフィルタ処理を示す。左端から２列目は、左端の原画像データの画素に基づく高域成分出力、左端から３列目は、原画像データおよび高域成分出力に基づく低域成分出力を示す。分割レベル＝２のフィルタ処理は、左端から４列目乃至６列目に示されるように、分割レベル＝１のフィルタ処理の出力に対して処理がなされる。
【０１５１】
分解レベル＝１のフィルタ処理において、第１段階のフィルタ処理として、原画像データの画素に基づき高域成分の係数データが算出され、第２段階のフィルタ処理として、第１段階のフィルタ処理で算出された高域成分の係数データと、原画像データの画素とに基づき低域成分の係数データが算出される。分解レベル＝１の一例のフィルタ処理を、図１３における左側（分析フィルタ側）の第１列目乃至第３列目に示す。算出された高域成分の係数データは、図１０の係数並び替え用バッファ部２１３に格納される。また、算出された低域成分の係数データは、図１０の途中計算用バッファ部２１２に格納される。
【０１５２】
図１３においては、係数並び替え用バッファ部２１３は、一点鎖線で囲まれた部分として示し、途中計算用バッファ部２１２は、点線で囲まれた部分として示す。
【０１５３】
途中計算用バッファ部２１２に保持された分解レベル＝１のフィルタ処理の結果に基づき、分解レベル＝２のフィルタ処理が行われる。分解レベル＝２のフィルタ処理では、分解レベル＝１のフィルタ処理において低域成分の係数として算出された係数データを、低域成分および高域成分を含んだ係数データと見做して、分解レベル＝１と同様のフィルタ処理を行う。分解レベル＝２のフィルタ処理により算出された、高域成分の係数データおよび低域成分の係数データは、係数並び替え用バッファ部２１３に格納される。
【０１５４】
ウェーブレット変換部２１１では、上述したようなフィルタ処理を、画面の水平方向および垂直方向にそれぞれ行う。例えば、先ず、分解レベル＝１のフィルタ処理を水平方向に行い、生成された高域成分および低域成分の係数データを途中計算用バッファ部２１２に格納する。次に、途中計算用バッファ部２１２に格納された係数データに対して、垂直方向に分解レベル＝１のフィルタ処理を行う。この分解レベル＝１の水平および垂直方向の処理により、高域成分をさらに高域成分および低域成分に分解した係数データのそれぞれによる領域ＨＨおよび領域ＨＬと、低域成分をさらに高域成分および低域成分に分解した係数データのそれぞれによる領域ＬＨおよび領域ＬＬとの４領域が形成される。
【０１５５】
そして、分解レベル＝２では、水平方向および垂直方向のそれぞれについて、分解レベル＝１で生成された低域成分の係数データに対してフィルタ処理が行われる。すなわち、分解レベル＝２では、分解レベル＝１で分割されて形成された領域ＬＬがさらに４分割され、領域ＬＬ内にさらに領域ＨＨ、領域ＨＬ、領域ＬＨおよび領域ＬＬが形成される。
【０１５６】
ウェーブレット変換部２１１は、ウェーブレット変換によるフィルタ処理を、画面の縦方向について、数ライン毎の処理に分割して、複数回に分けて段階的に行うようにしている。図１３の例では、画面上の第１ラインからの処理になる１回目の処理は、７ラインについてフィルタ処理を行い、８ライン目からの処理になる２回目以降の処理は、４ライン毎にフィルタ処理を行っている。このライン数は、高域成分と低域成分とに２分解した後に、１ライン分の最低域成分が生成されるために必要なライン数に基づく。
【０１５７】
なお、以下において、この最低域成分の１ライン分（最低域成分のサブバンドの１ライン分の係数データ）を生成するために必要な、他のサブバンドも含めたラインの集まりを、プレシンクト（またはラインブロック）と称する。ここでラインとは、ウェーブレット変換前の画像データに対応するピクチャ若しくはフィールド内、または各サブバンド内において形成される１行分の画素データ若しくは係数データのことを示す。すなわち、プレシンクト（ラインブロック）とは、ウェーブレット変換前の元の画像データにおける、ウェーブレット変換後の最低域成分のサブバンド１ライン分の係数データを生成するために必要なライン数分の画素データ群、または、その画素データ群をウェーブレット変換して得られる各サブバンドの係数データ群のことを示す。
【０１５８】
図１３によれば、分解レベル＝２のフィルタ処理結果で得られる係数Ｃ５は、係数Ｃ４および途中計算用バッファ部２１２に格納された係数Ｃaに基づき算出され、係数Ｃ４は、途中計算用バッファ部２１２に格納された係数Ｃa、係数Ｃbおよび係数Ｃcに基づき算出される。さらに、係数Ｃcは、係数並び替え用バッファ部２１３に格納される係数Ｃ２および係数Ｃ３、並びに、第５ラインの画素データに基づき算出される。また、係数Ｃ３は、第５ライン乃至第７ラインの画素データに基づき算出される。このように、分割レベル＝２における低域成分の係数Ｃ５を得るためには、第１ライン乃至第７ラインの画素データが必要とされる。
【０１５９】
これに対して、２回目以降のフィルタ処理においては、前回までのフィルタ処理で既に算出され係数並び替え用バッファ部２１３に格納されている係数データを用いることができるので、必要なライン数が少なくて済む。
【０１６０】
すなわち、図１３によれば、分解レベル＝２のフィルタ処理結果で得られる低域成分の係数のうち、係数Ｃ５の次の係数である係数Ｃ９は、係数Ｃ４および係数Ｃ８、並びに、途中計算用バッファ部２１２に格納された係数Ｃcに基づき算出される。係数Ｃ４は、上述した１回目のフィルタ処理により既に算出され、係数並び替え用バッファ部２１３に格納されている。同様に、係数Ｃcは、上述の１回目のフィルタ処理により既に算出され、途中計算用バッファ部２１２に格納されている。したがって、この２回目のフィルタ処理においては、係数Ｃ８を算出するためのフィルタ処理のみが、新たになされることになる。この新たなフィルタ処理は、第８ライン乃至第１１ラインがさらに用いられてなされる。
【０１６１】
このように、２回目以降のフィルタ処理は、前回までのフィルタ処理により算出され途中計算用バッファ部２１２および係数並び替え用バッファ部２１３に格納されたデータを用いることができるので、それぞれ４ライン毎の処理で済むことになる。
【０１６２】
なお、画面上のライン数が符号化のライン数と合致しない場合は、原画像データのラインを所定の方法で複製してライン数を符号化のライン数と合わせて、フィルタ処理を行う。
【０１６３】
このように、最低域成分１ライン分の係数データが得られるだけのフィルタ処理を段階的に、画面全体のラインに対して複数回に分けて（プレシンクト単位で）行うことで、符号化データを伝送した際に低遅延で復号画像を得ることを可能としている。
【０１６４】
ウェーブレット変換を行うためには、ウェーブレット変換そのものを実行するために用いられる第１のバッファと、所定の分割レベルまで処理を実行する間に生成される係数を格納するための第２のバッファとが必要とされる。第１のバッファは、途中計算用バッファ部２１２に対応し、図１３においては点線で囲まれて示されている。また、第２のバッファは、係数並び替え用バッファ部２１３に対応し、図１３においては一点鎖線に囲まれて示されている。第２のバッファに格納された係数は、復号の際に用いられるため、後段のエントロピ符号化処理の対象とされる。
【０１６５】
次に、図１０の係数並び替え部２１４の処理について説明する。上述したように、ウェーブレット変換部２１１で算出された係数データは、係数並び替え用バッファ部２１３に格納され、係数並び替え部２１４により順序を並び替えられて読み出され、コーディングユニット単位でエントロピ符号化部２１５に送出される。
【０１６６】
既に説明したように、ウェーブレット変換においては、高域成分側から低域成分側へと係数が生成されていく。図１３の例では、１回目において、原画像の画素データにより、分解レベル＝１のフィルタ処理で、高域成分の係数Ｃ１、係数Ｃ２および係数Ｃ３が順次生成される。そして、分解レベル＝１のフィルタ処理で得られた低域成分の係数データに対して分解レベル＝２のフィルタ処理を行い、低域成分の係数Ｃ４および係数Ｃ５が順次生成される。すなわち、第１回目では、係数Ｃ１、係数Ｃ２、係数Ｃ３、係数Ｃ４、係数Ｃ５の順に、係数データが生成される。この係数データの生成順は、ウェーブレット変換の原理上、必ずこの順序（高域から低域の順）になる。
【０１６７】
これに対して、復号側では、低遅延で即座に復号を行うためには低域成分から画像の生成および出力を行う必要がある。そのため、符号化側で生成された係数データを最低域成分側から高域成分側に向けて並び替えて復号側に供給することが望ましい。
【０１６８】
図１３の例を用いて、より具体的に説明する。図１３の右側は、逆ウェーブレット変換を行う合成フィルタ側を示す。復号側の、出力画像データの第１ライン目を含む１回目の合成処理（逆ウェーブレット変換処理）は、符号化側の１回目のフィルタ処理で生成された最低域成分の係数Ｃ４および係数Ｃ５と、係数Ｃ１とを用いて行われる。
【０１６９】
すなわち、１回目の合成処理においては、係数Ｃ５、係数Ｃ４、係数Ｃ１の順に符号化側から復号側に係数データを供給し、復号側では、分解レベル＝２に対応する合成処理である合成レベル＝２の処理で、係数Ｃ５および係数Ｃ４に対して合成処理を行って係数Ｃfを生成し、バッファに格納する。そして、分解レベル＝１に対応する合成処理である合成レベル＝１の処理で、この係数Ｃfと係数Ｃ１に対して合成処理を行って、第１ラインを出力する。
【０１７０】
このように、第１回目の合成処理においては、符号化側で係数Ｃ１、係数Ｃ２、係数Ｃ３、係数Ｃ４、係数Ｃ５の順に生成され係数並び替え用バッファ部１３に格納された係数データが、係数Ｃ５、係数Ｃ４、係数Ｃ１、・・・の順に並び替えられて復号側に供給される。
【０１７１】
なお、図１３の右側に示す合成フィルタ側では、符号化側から供給される係数について、括弧内に符号化側での係数の番号を記し、括弧外に合成フィルタのライン順を記す。例えば係数Ｃ１（５）は、図１３の左側の分析フィルタ側では係数Ｃ５であって、合成フィルタ側では第１ライン目であることを示す。
【０１７２】
符号化側の２回目以降のフィルタ処理で生成された係数データによる復号側の合成処理は、前回の合成処理の際に合成あるいは符号化側から供給された係数データを用いて行うことができる。図１３の例では、符号化側の２回目のフィルタ処理で生成された低域成分の係数Ｃ８および係数Ｃ９を用いて行う、復号側の２回目の合成処理は、符号化側の１回目のフィルタ処理で生成された係数Ｃ２および係数Ｃ３がさらに必要とされ、第２ライン乃至第５ラインが復号される。
【０１７３】
すなわち、２回目の合成処理においては、係数Ｃ９、係数Ｃ８、係数Ｃ２、係数Ｃ３の順に符号化側から復号側に係数データを供給する。復号側では、合成レベル＝２の処理において、係数Ｃ８および係数Ｃ９と、１回目の合成処理の際に符号化側から供給された係数Ｃ４とを用いて係数Ｃgを生成し、バッファに格納する。この係数Ｃgと、上述の係数Ｃ４と、１回目の合成処理により生成されバッファに格納された係数Ｃfとを用いて係数Ｃhを生成し、バッファに格納する。
【０１７４】
そして、合成レベル＝１の処理において、合成レベル＝２の処理で生成されバッファに格納された係数Ｃgおよび係数Ｃhと、符号化側から供給された係数Ｃ２（合成フィルタでは係数Ｃ６（２）と示されている）および係数Ｃ３（合成フィルタでは係数Ｃ７（３）と示されている）とを用いて合成処理が行われ、第２ライン乃至第５ラインが復号される。
【０１７５】
このように、第２回目の合成処理においては、符号化側で係数Ｃ２、係数Ｃ３、（係数Ｃ４、係数Ｃ５）、係数Ｃ６、係数Ｃ７、係数Ｃ８、係数Ｃ９の順に生成された係数データが、係数Ｃ９、係数Ｃ８、係数Ｃ２、係数Ｃ３、・・・の順に並び替えられて復号側に供給される。
【０１７６】
３回目以降の合成処理においても、同様にして、係数並び替え用バッファ部２１３に格納された係数データが所定の順序に並び替えられて復号部に供給され、４ラインずつ、ラインが復号される。
【０１７７】
なお、符号化側において画面の下端のラインを含むフィルタ処理（以下、最後の回と呼ぶ）に対応する復号側の合成処理では、それまでの処理で生成されバッファに格納された係数データを全て出力することになるため、出力ライン数が多くなる。図１３の例では、最後の回に８ラインが出力される。
【０１７８】
なお、係数並び替え部２１４による係数データの並び替え処理は、例えば、係数並び替え用バッファ部２１３に格納された係数データを読み出す際の読み出しアドレスを、所定の順序に設定することでなされる。
【０１７９】
図１４を用いて、上述までの処理をより具体的に説明する。図１４は、５×３フィルタを用いて、分解レベル＝２までウェーブレット変換によるフィルタ処理を施した例である。ウェーブレット変換部１１において、図１４Ａに一例が示されるように、入力画像データの第１ラインから第７ラインに対して１回目のフィルタ処理が水平および垂直方向にそれぞれ行われる（図１４ＡのＩｎ−１）。
【０１８０】
１回目のフィルタ処理の分解レベル＝１の処理において、係数Ｃ１、係数Ｃ２、および係数Ｃ３の３ライン分の係数データが生成され、図１４Ｂに一例が示されるように、分解レベル＝１で形成される領域ＨＨ、領域ＨＬおよび領域ＬＨのそれぞれに配置される（図１４ＢのＷＴ−１）。
【０１８１】
また、分解レベル＝１で形成される領域ＬＬは、分解レベル＝２による水平および垂直方向のフィルタ処理でさらに４分割される。分解レベル＝２で生成される係数Ｃ５および係数Ｃ４は、分解レベル＝１による領域ＬＬ内において、領域ＬＬに係数Ｃ５による１ラインが配置され、領域ＨＨ、領域ＨＬおよび領域ＬＨのそれぞれに、係数Ｃ４による１ラインが配置される。
【０１８２】
ウェーブレット変換部２１１による２回目以降のフィルタ処理では、４ライン毎にフィルタ処理が行われ（図１４ＡのＩｎ−２・・・）、分解レベル＝１で２ラインずつの係数データが生成され（図１４ＢのＷＴ−２）、分解レベル＝２で１ラインずつの係数データが生成される。
【０１８３】
図１３の２回目の例では、分解レベル＝１のフィルタ処理で係数Ｃ６および係数Ｃ７の２ライン分の係数データが生成され、図１４Ｂに一例が示されるように、分解レベル１で形成される領域ＨＨ、領域ＨＬおよび領域ＬＨの、１回目のフィルタ処理で生成された係数データの次から配置される。同様に、分解レベル＝１による領域ＬＬ内において、分解レベル＝２のフィルタ処理で生成された１ライン分の係数Ｃ９が領域ＬＬに配置され、１ライン分の係数Ｃ８が領域ＨＨ、領域ＨＬおよび領域ＬＨにそれぞれ配置される。
【０１８４】
図１４Ｂのようにウェーブレット変換されたデータを復号した際には、図１４Ｃに一例が示されるように、符号化側の第１ライン乃至第７ラインによる１回目のフィルタ処理に対して、復号側の１回目の合成処理による第１ラインが出力される（図１４ＣのＯｕｔ−１）。以降、符号化側の２回目から最後の回の前までのフィルタ処理に対して、復号側で４ラインずつが出力される（図１４ＣのＯｕｔ−２・・・）。そして、符号化側の最後の回のフィルタ処理に対して、復号側で８ラインが出力される。
【０１８５】
ウェーブレット変換部２１１で高域成分側から低域成分側へと生成された係数データは、係数並び替え用バッファ部２１３に順次格納される。係数並び替え部２１４は、上述した係数データの並び替えが可能となるまで係数並び替え用バッファ部２１３に係数データが蓄積されると、係数並び替え用バッファ部２１３から合成処理に必要な順に並び替えて係数データを読み出す。読み出された係数データは、エントロピ符号化部２１５に順次、供給される。
【０１８６】
エントロピ符号化部２１５は、供給される係数データを順次符号化し、生成した符号化データをタイムスタンプ算出部２１６に供給する。タイムスタンプ算出部２１６は、上述したようにタイムスタンプを算出し、パケタイズ部２１７は、上述したようにパケット化する。
【０１８７】
次に、図１０の符号化部１１２に対応する復号部について説明する。図１５は、本発明を適用した復号部の構成例を示すブロック図である。図１５に示されるように、復号部１３３は、エントロピ復号部２２１、係数バッファ部２２２、ウェーブレット逆変換部２２３、および再生時刻調整バッファ２２４を有する。
【０１８８】
エントロピ復号部２２１は、供給された符号化データをエントロピ符号化部２１５による符号化方法に対応する復号方法で復号し、係数データを得る。その係数データは、係数バッファ部２２２に格納される。ウェーブレット逆変換部２２３は、係数バッファ部２２２に格納された係数データを用いて、合成フィルタによる合成フィルタ処理（ウェーブレット逆変換）を行い、合成フィルタ処理の結果を再び係数バッファ部２２２に格納する。ウェーブレット逆変換部２２３は、この処理を分解レベルに応じて繰り返して、復号された画像データ（出力画像データ）を得ると、それを再生時刻調整バッファ２２４に一旦保持させ、同期制御部１４２により決定された同期再生時刻に出力させる。
【０１８９】
［処理の流れ］
次に、符号化部１１２および復号部１３３により実行される処理の流れの例について説明する。最初に、図１６のフローチャートを参照して符号化部１１２により実行される符号化処理の流れの例を説明する。なお、この処理は、図７のステップＳ１２２乃至ステップＳ１２４に対応する。
【０１９０】
符号化処理が開始されると、ウェーブレット変換部２１１は、ステップＳ２０１において、処理対象プレシンクトの番号Ａを初期設定にする。通常の場合、番号Ａは「１」に設定される。設定が終了すると、ウェーブレット変換部２１１は、ステップＳ２０２において、最低域サブバンドにおいて上からＡ番目の１ラインを生成するのに必要なライン数（すなわち、１プレシンクト）の画像データを取得する。
【０１９１】
また、ウェーブレット変換部２１１は、ステップＳ２０３において、その画像データに対して、画面垂直方向に並ぶ画像データに対して分析フィルタリングを行う垂直分析フィルタリング処理を行う。ウェーブレット変換部２１１は、さらに、その画像データに対して、ステップＳ２０４において画面水平方向に並ぶ画像データに対して分析フィルタリング処理を行う水平分析フィルタリング処理を行う。
【０１９２】
ステップＳ２０５においてウェーブレット変換部２１１は、分析フィルタリング処理を最終レベルまで行ったか否かを判定する。分解レベルが最終レベルに達していないと判定された場合、ステップＳ２０３に戻り、現在の分解レベルに対して、ステップＳ２０３およびステップＳ２０４の分析フィルタリング処理が繰り返される。
【０１９３】
ステップＳ２０５において、分析フィルタリング処理が最終レベルまで行われたと判定された場合、ステップＳ２０６に進む。
【０１９４】
ステップＳ２０６において、係数並び替え部２１４は、プレシンクトＡ（ピクチャ（フレームまたはフィールド）の上からＡ番目のプレシンクト）の係数を低域から高域の順番に並び替える。エントロピ符号化部２１５は、ステップＳ２０７において、その係数に対してライン毎にエントロピ符号化する。
【０１９５】
ステップＳ２０８において、タイムスタンプ算出部２１６は、エントロピ符号化されて得られた符号化データの、キャプチャ時刻に同期したタイムスタンプを算出する。ステップＳ２０９において、パケタイズ部２１７は、符号化データをパケット化する。このときパケタイズ部２１７は、算出されたタイムスタンプ値をパケットに付加する。
【０１９６】
ステップＳ２１０において、パケタイズ部２１７は、生成したパケットを送出する。
【０１９７】
ウェーブレット変換部２１１は、ステップＳ２１１において番号Ａの値を「１」インクリメントして次のプレシンクトを処理対象とし、ステップＳ２１２において、処理対象のピクチャ（フレームまたはフィールド）について、未処理の画像入力ラインが存在するか否かを判定する。未処理の画像入力ラインが存在すると判定された場合、処理は、ステップＳ２０２に戻り、新たな処理対象のプレシンクトに対してそれ以降の処理が繰り返される。
【０１９８】
以上のようにステップＳ２０２乃至ステップＳ２１２の処理が繰り返し実行され、各プレシンクトが符号化される。そして、ステップＳ２１２において、未処理の画像入力ラインが存在しないと判定された場合、そのピクチャに対する符号化処理が終了される。次のピクチャに対しては新たに符号化処理が開始される。
【０１９９】
このように、ウェーブレット変換部２１１は、プレシンクト単位で垂直分析フィルタリング処理および水平分析フィルタリング処理を最終レベルまで連続して行うので、従来の方法と比較して、一度に（同時期に）保持する（バッファリングする）必要のあるデータの量が少なく、用意すべきバッファのメモリ量を大幅に低減させることができる。また、最終レベルまで分析フィルタリング処理が行われることにより、後段の係数並び替えやエントロピ符号化等の処理も行うことができる（つまり、係数並び替えやエントロピ符号化をプレシンクト単位で行うことができる）。従って、画面全体に対してウェーブレット変換を行う方法と比較して遅延時間を大幅に低減させることができる。
【０２００】
次に、図１７のフローチャートを参照して、復号部１３３により実行される復号処理の流れの例を説明する。なお、この処理は、図８のステップＳ１４４およびステップＳ１４５に対応する。
【０２０１】
復号処理が開始されると、エントロピ復号部２２１は、ステップＳ２３１において、復号部１３３の外部より供給される符号化データを取得し、ステップＳ２３２において、ライン毎に符号化データをエントロピ復号する。
【０２０２】
ステップＳ２３３において、係数バッファ部２２２は、その復号されて得られた係数データを保持する。ステップＳ２３４においてウェーブレット逆変換部２２３は、係数バッファ部２２２に１プレシンクト分の係数データが蓄積されたか否かを判定する。１プレシンクト分の係数データが蓄積されていないと判定された場合、処理は、ステップＳ２３１に戻り、それ以降の処理が実行される。つまり、ウェーブレット逆変換部２２３は、係数バッファ部２２２に１プレシンクト分の係数データが蓄積されるまで待機する。
【０２０３】
ステップＳ２３４において係数バッファ部２２２に１プレシンクト分の係数データが蓄積されたと判定された場合、処理はステップＳ２３５に進む。ステップＳ２３５において、ウェーブレット逆変換部２２３は、係数バッファ部２２２に保持されている係数データを１プレシンクト分読み出す。ステップＳ２３６において、ウェーブレット逆変換部２２３は、その読み出した係数データに対して、画面垂直方向に並ぶ係数データに対して合成フィルタリング処理を行う垂直合成フィルタリング処理を行う。
【０２０４】
ステップＳ２３７において、ウェーブレット逆変換部２２３は、画面水平方向に並ぶ係数データに対して合成フィルタリング処理を行う水平合成フィルタリング処理を行う。ステップＳ２３８において、ウェーブレット逆変換部２２３は、合成フィルタリング処理がレベル１（分解レベルの値が「１」のレベル）まで終了したか否か、すなわち、ウェーブレット変換前の状態まで逆変換したか否かを判定する。レベル１まで達していないと判定された場合、処理はステップＳ２３６に戻り、ステップＳ２３６およびステップＳ２３７のフィルタリング処理が繰り返される。
【０２０５】
ステップＳ２３８において、レベル１までウェーブレット逆変換処理が終了されたと判定した場合、処理はステップＳ２３９に進む。ステップＳ２３９において、ウェーブレット逆変換部２２３は、ウェーブレット逆変換処理により得られた画像データを、再生時刻調整バッファ２２４に一時的に保持させながら、同期制御部１４２により決定された同期再生時刻に外部に出力する。
【０２０６】
ステップＳ２４０において、エントロピ復号部２２１は、復号処理を終了するか否かを判定する。復号処理を終了しないと判定された場合、処理はステップＳ２３１に戻り、それ以降の処理が繰り返される。また、ステップＳ２４０において、プレシンクトが終了するなどして復号処理が終了されると判定した場合、復号処理は終了される。
【０２０７】
従来のウェーブレット逆変換の方法の場合、処理対象の分解レベルの全係数に対して、まず、画面水平方向に水平合成フィルタリング処理を行い、次に画面垂直方向に垂直合成フィルタリング処理を行っていた。つまり、各合成フィルタリング処理の度に、その合成フィルタリング処理の結果をバッファに保持させる必要があるが、その際、バッファは、その時点の分解レベルの合成フィルタリング結果と、次の分解レベルの全係数を保持する必要があり、多大なメモリ容量を必要とすることになる（保持するデータ量が多い）。
【０２０８】
また、この場合、ピクチャ（フレームまたはフィールド）内において全てのウェーブレット逆変換が終了するまで画像データ出力が行われないので、入力から出力までの遅延時間が増大する。
【０２０９】
これに対して、復号部１３３のウェーブレット逆変換部２２３の場合、上述したようにプレシンクト単位で垂直合成フィルタリング処理および水平合成フィルタリング処理をレベル１まで連続して行うので、従来の方法と比較して、一度に（同時期に）バッファリングする必要のあるデータの量が少なく、用意すべきバッファのメモリ量を大幅に低減させることができる。また、レベル１まで合成フィルタリング処理（ウェーブレット逆変換処理）が行われることにより、ピクチャ内の全画像データが得られる前に（プレシンクト単位で）画像データを順次出力させることができ、従来の方法と比較して遅延時間を大幅に低減させることができる。
【０２１０】
以上のような各種処理は、例えば、図１８に示されるように、適宜、並列的に実行させることもできる。
【０２１１】
図１８は、図１０に示される符号化部１１２および図１５に示される復号部１３３の各部により実行される処理の各要素の並列動作の例を概略的に示す図である。この図１８は、上述した図１４と対応するものである。画像データの入力Ｉｎ−１（図１８Ａ）に対して、ウェーブレット変換部２１１（図１０）で１回目のウェーブレット変換ＷＴ−１が施される（図１８Ｂ）。図１３を参照し説明したように、この１回目のウェーブレット変換ＷＴ−１は、最初の３ラインが入力された時点で開始され、係数Ｃ１が生成される。すなわち、画像データＩｎ−１の入力からウェーブレット変換ＷＴ−１が開始されるまで、３ライン分の遅延が生じる。
【０２１２】
生成された係数データは、係数並び替え用バッファ部２１３（図１０）に格納される。以降、入力された画像データに対してウェーブレット変換が施され、１回目の処理が終了すると、そのまま２回目のウェーブレット変換ＷＴ−２に処理が移行する。
【０２１３】
２回目のウェーブレット変換ＷＴ−２のための画像データＩｎ−２の入力と、当該２回目のウェーブレット変換ＷＴ−２の処理と並列的に、係数並び替え部２１４（図１）により３個の、係数Ｃ１、係数Ｃ４、および係数Ｃ５の並び替えＯｒｄ−１が実行される（図１８Ｃ）。
【０２１４】
なお、ウェーブレット変換ＷＴ−１の終了から並び替えＯｒｄ−１が開始されるまでの遅延は、例えば、並び替え処理を係数並び替え部２１４に指示する制御信号の伝達に伴う遅延や、制御信号に対する係数並び替え部２１４の処理開始に要する遅延、プログラム処理に要する遅延といった、装置やシステム構成に基づく遅延であって、符号化処理における本質的な遅延ではない。
【０２１５】
係数データは、並び替えが終了した順に係数並び替え用バッファ部２１３から読み出され、エントロピ符号化部２１５（図１０）に供給され、エントロピ符号化ＥＣ−１が行われる（図１８Ｄ）。このエントロピ符号化ＥＣ−１は、３個の、係数Ｃ１、係数Ｃ４、および係数Ｃ５の、全ての並び替えの終了を待たずに開始することができる。例えば、最初に出力される係数Ｃ５による１ラインの並び替えが終了した時点で、当該係数Ｃ５に対するエントロピ符号化を開始することができる。この場合、並び替えＯｒｄ−１の処理開始からエントロピ符号化ＥＣ−１の処理開始までの遅延は、１ライン分となる。
【０２１６】
エントロピ符号化部２１５によるエントロピ符号化ＥＣ−１が終了した符号化データは、所定の信号処理が施された後、復号部１３３（図１５）に伝送される（図１８Ｅ）。
【０２１７】
以上のように、符号化部１１２に対しては、１回目の処理による７ライン分の画像データ入力に続けて、画面上の下端のラインまで画像データが順次、入力される。符号化部１１２では、画像データの入力Ｉｎ−ｎ（ｎは２以上）に伴い、上述したようにして、４ライン毎にウェーブレット変換ＷＴ−ｎ、並び替えＯｒｄ−ｎおよびエントロピ符号化ＥＣ−ｎを行う。符号化部１１２における最後の回の処理に対する並び替えＯｒｄおよびエントロピ符号化ＥＣは、６ラインに対して行われる。これらの処理は、符号化部１１２において、図１８Ａ乃至図１８Ｄに例示されるように、並列的に行われる。
【０２１８】
符号化部１１２によるエントロピ符号化ＥＣ−１により符号化された符号化データは、各部を介して復号部１３３に供給される。復号部１３３のエントロピ復号部２２１（図１５）は、供給された、エントロピ符号化ＥＣ−１により符号化された符号化データに対して、順次、エントロピ符号の復号ｉＥＣ−１を行い、係数データを復元する（図１８Ｆ）。復元された係数データは、順次、係数バッファ部２２２に格納される。ウェーブレット逆変換部２２３は、係数バッファ部２２２にウェーブレット逆変換が行えるだけ係数データが格納されたら、係数バッファ部２２２から係数データを読み出して、読み出された係数データを用いてウェーブレット逆変換ｉＷＴ−１を行う（図１８Ｇ）。
【０２１９】
図１３を参照して説明したように、ウェーブレット逆変換部２２３によるウェーブレット逆変換ｉＷＴ−１は、係数Ｃ４および係数Ｃ５が係数バッファ部２２２に格納された時点で開始することができる。したがって、エントロピ復号部２２１による復号ｉＥＣ−１が開始されてからウェーブレット逆変換部２２３によるウェーブレット逆変換ｉＷＴ−１が開始されるまでの遅延は、２ライン分となる。
【０２２０】
ウェーブレット逆変換部２２３において、１回目のウェーブレット変換による３ライン分のウェーブレット逆変換ｉＷＴ−１が終了すると、ウェーブレット逆変換ｉＷＴ−１で生成された画像データの出力Ｏｕｔ−１が行われる（図１８Ｈ）。出力Ｏｕｔ−１では、図１３および図１４を用いて説明したように、第１ライン目の画像データが出力される。
【０２２１】
復号部１３３に対して、符号化部１１２における１回目の処理による３ライン分の符号化された係数データの入力に続けて、エントロピ符号化ＥＣ−ｎ（ｎは２以上）により符号化された係数データが順次、入力される。復号部１３３では、入力された係数データに対して、上述したようにして、４ライン毎にエントロピ復号ｉＥＣ−ｎおよびウェーブレット逆変換ｉＷＴ−ｎを行い、ウェーブレット逆変換ｉＷＴ−ｎにより復元された画像データの出力Ｏｕｔ−ｎを順次、行う。符号化部１１２の最後の回に対応するエントロピ復号ｉＥＣおよびウェーブレット逆変換ｉＷＴは、６ラインに対して行われ、出力Ｏｕｔは、８ラインが出力される。これらの処理は、復号部１３３において、図１８Ｆ乃至図１８Ｈに例示されるように、並列的に行われる。
【０２２２】
上述のようにして、画面上部から下部の方向に順番に、符号化部１１２および復号部１３３における各処理を並列的に行うことで、画像圧縮処理および画像復号処理をより低遅延で行うことが可能となる。
【０２２３】
図１８を参照して、５×３フィルタを用いて分解レベル＝２までウェーブレット変換を行った場合の、画像入力から画像出力までの遅延時間を計算してみる。第１ライン目の画像データが符号化部１１２に入力されてから、この第１ライン目の画像データが復号部１３３から出力されるまでの遅延時間は、下記の各要素の総和となる。なお、ここでは、伝送路における遅延や、装置各部の実際の処理タイミングに伴う遅延などの、システムの構成により異なる遅延は、除外している。
【０２２４】
（１）最初のライン入力から７ライン分のウェーブレット変換ＷＴ−１が終了するまでの遅延Ｄ＿ＷＴ
（２）３ライン分の係数並び替えＯｒｄ−１に伴う時間Ｄ＿Ｏｒｄ
（３）３ライン分のエントロピ符号化ＥＣ−１に伴う時間Ｄ＿ＥＣ
（４）３ライン分のエントロピ復号ｉＥＣ−１に伴う時間Ｄ＿ｉＥＣ
（５）３ライン分のウェーブレット逆変換ｉＷＴ−１に伴う時間Ｄ＿ｉＷＴ
【０２２５】
図１８を参照して、上述の各要素による遅延の計算を試みる。（１）の遅延Ｄ＿ＷＴは、１０ライン分の時間である。（２）の時間Ｄ＿Ｏｒｄ、（３）の時間Ｄ＿ＥＣ、（４）の時間Ｄ＿ｉＥＣ、および（５）の時間Ｄ＿ｉＷＴは、それぞれ３ライン分の時間である。また、符号化部１１２において、並び替えＯｒｄ−１が開始されてから１ライン後には、エントロピ符号化ＥＣ−１を開始することができる。同様に、復号部１３３において、エントロピ復号ｉＥＣ−１が開始されてから２ライン後には、ウェーブレット逆変換ｉＷＴ−１を開始することができる。また、エントロピ復号ｉＥＣ−１は、エントロピ符号化ＥＣ−１で１ライン分の符号化が終了した時点で処理を開始することができる。
【０２２６】
したがって、この図１８の例では、符号化部１１２に第１ライン目の画像データが入力されてから、復号部１３３から当該第１ライン目の画像データが出力されるまでの遅延時間は、１０＋１＋１＋２＋３＝１７ライン分となる。
【０２２７】
遅延時間について、より具体的な例を挙げて考察する。入力される画像データがHDTV(High Definition Television)のインタレースビデオ信号の場合、例えば１９２０画素×１０８０ラインの解像度で１フレームが構成され、１フィールドは、１９２０画素×５４０ラインとなる。したがって、フレーム周波数を３０Hzとした場合、１フィールドの５４０ラインが１６.６７msec（＝１sec/６０フィールド）の時間に、符号化部１１２に入力されることになる。
【０２２８】
したがって、７ライン分の画像データの入力に伴う遅延時間は、０.２１６msec（＝１６.６７msec×７/５４０ライン）であり、例えば１フィールドの更新時間に対して非常に短い時間となる。また、上述した（１）の遅延Ｄ＿ＷＴ、（２）の時間Ｄ＿Ｏｒｄ、（３）の時間Ｄ＿ＥＣ、（４）の時間Ｄ＿ｉＥＣ、および（５）の時間Ｄ＿ｉＷＴの総和についても、処理対象のライン数が少ないため、遅延時間が非常に短縮される。
【０２２９】
以上のように、ピクチャ以下の単位で符号化を行う低遅延符号化方式を適用する場合、低遅延性の維持が特に重要になる。情報処理システム１００においては、上述したように、画像の低遅延伝送同期再生をより確実に実現することができる。つまり、情報処理システム１００は、画像を破綻させないように、フレームレートを動的に変更しながら低遅延伝送を実現することができるので、より大きな効果を奏することができる。
【０２３０】
なお、符号化・復号方法は、基本的に任意であり、上述した方法以外であっても良い。例えばMotion JPEG（Joint Photographic Experts Group）等の他のフレーム内符号化方式であってもよいし、ITU-T（International Telecommunication Union Telecommunication Standardization Sector）H.264等のフレーム間符号化方式であってもよい。
【０２３１】
もちろん、符号化せずに、ベースバンドの画像データを送信装置１０１から受信装置１０２へ伝送させるようにしてもよい。
【０２３２】
＜３．第３の実施の形態＞
［デバイスの構成］
また、以上においては、送信装置１０１がタイムスタンプ値を更新するように説明したが、これに限らず、受信装置１０２においてフレームレート等の情報から、タイムスタンプ値の更新を反映させた同期再生時刻（第１の実施の形態の場合と実質的に同様の同期再生時刻）を算出するようにしてもよい。
【０２３３】
図１９は、本発明を適用した情報処理システムの他の構成例を示すブロック図である。
【０２３４】
図１９に示される情報処理システム３００は、図４の情報処理システム１００に対応する。すなわち、情報処理システム３００は、情報処理システム１００の場合と同様に、送信装置３０１から受信装置３０２へ、インターネット網１０３を介して動画像の低遅延伝送同期再生を行うシステムである。
【０２３５】
送信装置３０１は、図４の送信装置１０１に対応する。送信装置３０１は、基本的に送信装置１０１と同様の構成を有するが、タイムスタンプ制御部１１４の代わりにフレームレート値付加部３１４を有する。
【０２３６】
フレームレート値付加部３１４は、フレームレート変換部１１３からフレームレート変換された符号化データのRTPパケットを取得するとともに、フレームレート変換部１１３から変換後の伝送フレームレートf_t（fps）の通知を受ける。
【０２３７】
フレームレート値付加部３１４は、そのフレームレート変換部１１３から通知された伝送フレームレートf_t（fps）を示す情報を、符号化データのRTPパケットに付加する。フレームレート値付加部３１４は、フレームレート値を付加したパケットを平滑化部１１５に供給する。
【０２３８】
すなわち、第１の実施の形態において、更新されたタイムスタンプが送信装置１０１から受信装置１０２に供給されたのに対して、本実施の形態においては、更新前のタイムスタンプと、変換後のフレームレート値が送信装置３０１から受信装置３０２に供給される。
【０２３９】
受信装置３０２は、図４の受信装置１０２に対応する。受信装置３０２は、基本的に受信装置１０２と同様の構成を有するが、同期制御部１４２の代わりに同期制御部３４２を有する。
【０２４０】
同期制御部３４２は、受信バッファ１３２に保持されているパケット（符号化データ）に対して、そのパケットに付加されて送信装置３０１から伝送されたタイムスタンプ値およびフレームレート値、並びに、キャプチャ部１１１のサンプリングフレームレートから、伝送レートの平滑化に対応する同期再生時刻を算出する。
【０２４１】
つまり、本実施の形態の場合、送信装置側でタイムスタンプを更新する代わりに、受信装置３０２の同期制御部３４２が伝送フレームレートf_t（fps）、サンプリングフレームレートf_s（fps）からフレーム間引き率Ｍを求める。同期制御部３４２は、この値と、符号化ブロックデータに付加されたタイムスタンプ値TSから、同期再生時刻を算出する。算出される同期再生時刻は、基本的に上述した実施の態様によるものと同一である。
【０２４２】
つまり、この同期再生時刻においても、低フレームレート時の各パケットの処理タイミングが伝送レートの平滑化に合わせて調整されており、画像が破綻しないようになされている。
【０２４３】
［処理の流れ］
図２０のフローチャートを参照して、送信装置３０１により実行される送信処理の流れの例を説明する。この送信処理は、図７のフローチャートに対応する。
【０２４４】
上述したように、本実施の形態の場合も、送信処理は、基本的に図７のフローチャートを参照して説明した場合と同様に実行される。したがって、図２０のステップＳ３２１乃至ステップＳ３２５の各処理は、図７のステップＳ１２１乃至ステップＳ１２５の各処理と同様に実行される。
【０２４５】
ステップＳ３２６において、フレームレート値付加部３１４は、変換後のフレームレート値（伝送フレームレートf_t（frame/sec））を示すフレームレート情報を符号化データのパケットのヘッダ等に付加する。
【０２４６】
図２１は、伝送フレームレート付加の様子を説明する図である。
【０２４７】
フレームレート情報は、例えばRTP拡張ヘッダ（RTP Extension Header）に、図２１に示されるフォーマットにて格納される。フレームレート値付加部３１４は、図２１に示されるように、DBP（Defined by Profile）の値を「０」にセットし、LEN（Length）の値を「１」にセットする。フレームレート値付加部３１４は、さらに、その後の３２ビットにTFR（Transmission Frame Rate）を設け、伝送フレームレートf_t（fps）をセットする。例えば、伝送フレームレートf_tを１０００倍し、小数点以下を切り捨てた値をセットする。
【０２４８】
ステップＳ３２７およびステップＳ３２８の各処理は、図７のステップＳ１２７およびステップＳ１２８の各処理と同様に実行される。
【０２４９】
ステップＳ３２８においてパケットが送信されると送信処理が終了される。以上のように、各パケットが順次送信される。この場合も、以上に説明した各ステップの処理は、準備が整い次第実行され、かつ、それぞれの処理単位での処理が終了次第、次のデータ対して処理が繰り返される。したがって、この場合も上述した各処理は適宜平行して実行される。
【０２５０】
なお、この場合も、平滑化処理は、送信装置１０１外の、例えばルータやEthernet Switch等の中継装置において行われるようにしてもよい。
【０２５１】
次に、図２２のフローチャートを参照して、受信装置３０２により実行される受信処理の流れの例を説明する。この受信処理は、図８のフローチャートに対応する。
【０２５２】
上述したように、本実施の形態の場合も、受信処理は、基本的に図８のフローチャートを参照して説明した場合と同様に実行される。したがって、図２２のステップＳ３４１およびステップＳ３４２の各処理は、図８のステップＳ１４１およびステップＳ１４２の各処理と同様に実行される。
【０２５３】
ステップＳ３４３において、同期制御部３４２は、受信バッファ１３２に保持されているパケットに対して、タイムスタンプ値（更新されていないタイムスタンプ値）のみではなく、送信装置１０１から通知された伝送フレームレートf_t（fps）や、受信装置１０２内に予め保持されているキャプチャ部１１１のサンプリングフレームレートも用いて、再生時刻を決定する。
【０２５４】
同期制御部３４２は、フレーム間引き率Ｍを、例えば以下の式（１３）のように算出する。
【０２５５】
【数８】
2010278596.tif 000010
【０２５６】
第１の実施の形態の場合と同様に、同期制御部３４２は、再生すべき符号化ブロックデータＢを含むフレームデータ直後にフレーム間引きされたフレームデータの内の最後のフレームデータの一致する符号化ブロックデータの再生時刻を算出する。同期制御部３４２は、その再生時刻T2_p（TS）を以下の式（１４）のように算出する。
【０２５７】
【数９】
2010278596.tif 000011
【０２５８】
なお、T_p（TS）は、式（９）の再生時刻であり、タイムスタンプから求められる再生時刻である。本実施の形態の場合、サンプリングレートに対応するタイムスタンプから求められる再生時刻となる。つまり、再生時刻T2_p（TS）は、タイムスタンプから求められる再生時刻に、サンプリングフレームレートと伝送フレームレートとにより算出される補正値（（（f_s div f_t）−１）／f_s）を加算することにより求められる。
【０２５９】
再生時刻T2_p（TS）にそれぞれのデータを再生することにより、図２３のタイムチャート例に示されるように、第１の実施の形態の場合と同じタイミングでの再生が可能となる。
【０２６０】
つまり、情報処理システム３００も、画像の低遅延伝送同期再生をより確実に実現することができる。
【０２６１】
なお、以上においては、受信装置３０２が予めキャプチャ部１１１におけるサンプリングフレームレートを把握しているように説明したが、これに限らず、送信装置３０１から受信装置３０２へサンプリングフレームレート情報を伝送するようにしてもよい。その場合、上述した伝送フレームレート情報とともに、サンプリングフレームレート情報が伝送されるようにすればよい。
【０２６２】
また、フレームレート情報は、RTPパケットのRTP拡張ヘッダ（RTP Extension Header）以外のフィールドにセットされるようにしても良い。また、その他のパケットに付加されて伝送されるようにしてもよいし、他の伝送方法にて伝送されるようにしてもよい。
【０２６３】
もちろん、本実施の形態の場合も、第１の実施の形態の場合と同様に、タイムスタンプの代わりに、例えばフレームIDやフレーム内ブロックID等の、動画像データの各フレームのサンプリング時刻に同期した、タイムスタンプ以外の情報が用いられるようにしてもよい。
【０２６４】
＜４．第４の実施の形態＞
［デバイスの構成］
さらに、送信装置１０１がフレームレート情報の代わりに、フレームレート変換において間引いたフレーム数を示すフレームスキップ数を受信装置１０２に送信するようにしてもよい。この場合、受信装置１０２は、そのフレームスキップ数を用いて、タイムスタンプ値の更新を反映させた同期再生時刻（第１の実施の形態の場合と実質的に同様の同期再生時刻）を算出する。
【０２６５】
図２４は、本発明を適用した情報処理システムの、さらに他の構成例を示すブロック図である。
【０２６６】
図２４に示される情報処理システム４００は、図４の情報処理システム１００に対応する。すなわち、情報処理システム４００は、情報処理システム１００の場合と同様に、送信装置４０１から受信装置４０２へ、インターネット網１０３を介して動画像の低遅延伝送同期再生を行うシステムである。
【０２６７】
送信装置４０１は、図４の送信装置１０１に対応する。送信装置４０１は、基本的に送信装置１０１と同様の構成を有するが、タイムスタンプ制御部１１４の代わりにフレームスキップ数付加部４１４を有する。
【０２６８】
フレームスキップ数付加部４１４は、フレームレート変換部１１３からフレームレート変換された（フレームの間引き処理された）符号化データのRTPパケットを取得するとともに、フレームレート変換部１１３からフレームレート変換の際に間引いたフレーム数を示すフレームスキップ数N_s（frame）の通知を受ける。
【０２６９】
より具体的に、フレームスキップ数は、変換後フレームデータと次の変換後フレームデータとの間に存在した変換前フレーム数を示し、フレーム間引き率をＭとするとＭ−１で表される。
【０２７０】
フレームスキップ数付加部４１４は、そのフレームレート変換部１１３から通知されたフレームスキップ数N_s（frame）を示す情報を、符号化データのRTPパケットに付加する。フレームスキップ数付加部４１４は、フレームスキップ数を付加したパケットを平滑化部１１５に供給する。
【０２７１】
すなわち、第１の実施の形態において、更新されたタイムスタンプが送信装置１０１から受信装置１０２に供給されたのに対して、本実施の形態においては、更新前のタイムスタンプと、フレームスキップ数が送信装置４０１から受信装置４０２に供給される。
【０２７２】
受信装置４０２は、図４の受信装置１０２に対応する。受信装置４０２は、基本的に受信装置１０２と同様の構成を有するが、同期制御部１４２の代わりに同期制御部４４２を有する。
【０２７３】
同期制御部４４２は、受信バッファ１３２に保持されているパケット（符号化データ）に対して、そのパケットに付加されて送信装置４０１から伝送されたタイムスタンプ値およびフレームスキップ数、並びにキャプチャ部１１１のサンプリングフレームレートから、伝送レートの平滑化に対応する同期再生時刻を算出する。
【０２７４】
つまり、本実施の形態の場合、送信装置側でタイムスタンプを更新する代わりに、受信装置４０２の同期制御部４４２がフレームスキップ数N_s（frame）、サンプリングフレームレートf_s（fps）、およびタイムスタンプ値TSから、同期再生時刻を算出する。算出される同期再生時刻は、基本的に上述した実施の態様によるものと同一である。
【０２７５】
つまり、この同期再生時刻においても、低フレームレート時の各パケットの処理タイミングが伝送レートの平滑化に合わせて調整されており、画像が破綻しないようになされている。
【０２７６】
［処理の流れ］
図２５は、送信処理の流れの、さらに他の例を説明するフローチャートである。この送信処理は、図７のフローチャートに対応する。
【０２７７】
上述したように、本実施の形態の場合も、送信処理は、基本的に図７のフローチャートを参照して説明した場合と同様に実行される。したがって、図２５のステップＳ４２１乃至ステップＳ４２５の各処理は、図７のステップＳ１２１乃至ステップＳ１２５の各処理と同様に実行される。
【０２７８】
ステップＳ４２６において、フレームスキップ数付加部４１４は、フレームスキップ数N_s（frame）を符号化データのパケットのヘッダ等に付加する。
【０２７９】
図２６は、フレームスキップ数付加の様子を説明する図である。
【０２８０】
フレームスキップ数は、例えばRTP拡張ヘッダ（RTP Extension Header）に、図２６に示されるフォーマットにて格納される。フレームスキップ数付加部４１４は、図２６に示されるように、DBP（Defined by Profile）の値を「０」にセットし、LEN（Length）の値を「１」にセットする。フレームスキップ数付加部４１４は、さらに、その後の３２ビットにNSF（Num of Skip Frame）を設け、フレームスキップ数N_s（frame）をセットする。
【０２８１】
ステップＳ４２７およびステップＳ４２８の各処理は、図７のステップＳ１２７およびステップＳ１２８の各処理と同様に実行される。
【０２８２】
ステップＳ４２８においてパケットが送信されると送信処理が終了される。以上のように、各パケットが順次送信される。この場合も、以上に説明した各ステップの処理は、準備が整い次第実行され、かつ、それぞれの処理単位での処理が終了次第、次のデータ対して処理が繰り返される。したがって、この場合も上述した各処理は適宜平行して実行される。
【０２８３】
なお、この場合も、平滑化処理は、送信装置１０１外の、例えばルータやEthernet Switch等の中継装置において行われるようにしてもよい。
【０２８４】
次に、図２７のフローチャートを参照して、受信装置４０２により実行される受信処理の流れの例を説明する。この受信処理は、図８のフローチャートに対応する。
【０２８５】
上述したように、本実施の形態の場合も、受信処理は、基本的に図８のフローチャートを参照して説明した場合と同様に実行される。したがって、図２７のステップＳ４４１およびステップＳ４４２の各処理は、図８のステップＳ１４１およびステップＳ１４２の各処理と同様に実行される。
【０２８６】
ステップＳ４４３において、同期制御部４４２は、受信バッファ１３２に保持されているパケットに対して、タイムスタンプ値（更新されていないタイムスタンプ値）のみではなく、送信装置１０１から通知されたフレームスキップ数N_s（frame）や、受信装置１０２内に予め保持されているキャプチャ部１１１のサンプリングフレームレートも用いて、再生時刻を決定する。
【０２８７】
第１の実施の形態の場合と同様に、同期制御部４４２は、再生すべき符号化ブロックデータＢを含むフレームデータ直後にフレーム間引きされたフレームデータの内の最後のフレームデータの一致する符号化ブロックデータの再生時刻を算出する。同期制御部４４２は、その再生時刻T3_p（TS）を以下の式（１５）のように算出する。
【０２８８】
【数１０】
2010278596.tif 000012
【０２８９】
なお、T_p（TS）は、式（９）の再生時刻であり、タイムスタンプから求められる再生時刻である。本実施の形態の場合、サンプリングレートに対応するタイムスタンプから求められる再生時刻となる。つまり、再生時刻T3_p（TS）は、タイムスタンプから求められる再生時刻に、サンプリングフレームレートとフレームスキップ数とにより算出される補正値（N_s／f_s）を加算することにより求められる。
【０２９０】
再生時刻T3_p（TS）にそれぞれのデータを再生することにより、図２８のタイムチャート例に示されるように、第１の実施の形態の場合と同じタイミングでの再生が可能となる。
【０２９１】
なお、以上においては、受信装置４０２が予めキャプチャ部１１１におけるサンプリングフレームレートを把握しているように説明したが、これに限らず、送信装置４０１から受信装置４０２へサンプリングフレームレート情報を伝送するようにしてもよい。その場合、上述したフレームスキップ数とともに、サンプリングフレームレート情報が伝送されるようにすればよい。
【０２９２】
また、フレームスキップ数は、RTPパケットのRTP拡張ヘッダ（RTP Extension Header）以外のフィールドにセットされるようにしても良い。また、その他のパケットに付加されて伝送されるようにしてもよいし、他の伝送方法にて伝送されるようにしてもよい。
【０２９３】
もちろん、本実施の形態の場合も、第１の実施の形態の場合と同様に、タイムスタンプの代わりに、例えばフレームIDやフレーム内ブロックID等の、動画像データの各フレームのサンプリング時刻に同期した、タイムスタンプ以外の情報が用いられるようにしてもよい。
【０２９４】
＜５．第５の実施の形態＞
［パーソナルコンピュータ］
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、図２９に示されるようなパーソナルコンピュータとして構成されるようにしてもよい。
【０２９５】
図２９において、パーソナルコンピュータ５００のCPU（Central Processing Unit）５０１は、ROM（Read Only Memory）５０２に記憶されているプログラム、または記憶部５１３からRAM（Random Access Memory）５０３にロードされたプログラムに従って各種の処理を実行する。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０２９６】
CPU５０１、ROM５０２、およびRAM５０３は、バス５０４を介して相互に接続されている。このバス５０４にはまた、入出力インタフェース５１０も接続されている。
【０２９７】
入出力インタフェース５１０には、キーボード、マウスなどよりなる入力部５１１、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部５１２、ハードディスクなどより構成される記憶部５１３、モデムなどより構成される通信部５１４が接続されている。通信部５１４は、インターネットを含むネットワークを介しての通信処理を行う。
【０２９８】
入出力インタフェース５１０にはまた、必要に応じてドライブ５１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部５１３にインストールされる。
【０２９９】
上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
【０３００】
この記録媒体は、例えば、図２９に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア５２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM５０２や、記憶部５１３に含まれるハードディスクなどで構成される。
【０３０１】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０３０２】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０３０３】
また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
【０３０４】
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０３０５】
１００  情報処理システム，  １０１  送信装置，  １０２  受信装置，  １１１  キャプチャ部，  １１２  符号化部，  １１３  フレームレート変換部，  １１４  タイムスタンプ制御部，  １１５  平滑化部，  １１６  RTP送信部，  １２１  RTCP部，  １２２  伝送レート制御部，  １３１  RTP受信部，  １３２  受信バッファ，  １３３  復号部，  １４１  RTCP部，  １４２  同期制御部，  ２１１  ウェーブレット変換部，  ２１２  途中計算用バッファ部，  ２１３  係数並び替え用バッファ部，  ２１４  係数並び替え部，  ２１５  エントロピ符号化部，  ２１６  タイムスタンプ算出部，  ２１７  パケタイズ部，  ３００  情報処理システム，  ３０１  送信装置，  ３０２  受信装置，  ３１４  フレームレート値付加部，  ３４２  同期制御部，  ４００  情報処理システム，  ４０１  送信装置，  ４０２  受信装置，４１４  フレームスキップ数付加部，  ４４２  同期制御部
【図１】
2010278596.tif 000013
【図２】
2010278596.tif 000014
【図３】
2010278596.tif 000015
【図４】
2010278596.tif 000016
【図５】
2010278596.tif 000017
【図６】
2010278596.tif 000018
【図７】
2010278596.tif 000019
【図８】
2010278596.tif 000020
【図９】
2010278596.tif 000021
【図１０】
2010278596.tif 000022
【図１１】
2010278596.tif 000023
【図１２】
2010278596.tif 000024
【図１３】
2010278596.tif 000025
【図１４】
2010278596.tif 000026
【図１５】
2010278596.tif 000027
【図１６】
2010278596.tif 000028
【図１７】
2010278596.tif 000029
【図１８】
2010278596.tif 000030
【図１９】
2010278596.tif 000031
【図２０】
2010278596.tif 000032
【図２１】
2010278596.tif 000033
【図２２】
2010278596.tif 000034
【図２３】
2010278596.tif 000035
【図２４】
2010278596.tif 000036
【図２５】
2010278596.tif 000037
【図２６】
2010278596.tif 000038
【図２７】
2010278596.tif 000039
【図２８】
2010278596.tif 000040
【図２９】
2010278596.tif 000041