(57)【要約】  本技術は、遅延時間を低減させることができるようにする情報処理装置および方法、並びに、プログラムに関する。本技術の情報処理装置は、伝送する画像データを符号化する際に前記画像データを符号化して得られる符号化データを蓄積する時間である送信バッファ待機時間に基づいて、前記符号化データの伝送先において前記符号化データを復号する前に前記符号化データを蓄積する時間である受信バッファ待機時間を推定する推定部と、前記符号化データの伝送先において行われる誤り訂正処理による遅延時間である誤り訂正受信遅延時間が、前記推定部により推定された前記受信バッファ待機時間を越えないように、前記誤り訂正処理の処理単位となるブロック長を設定する設定部とを備える情報処理装置である。本技術は、例えば、情報処理装置に適用することができる。
2013154024.tif 000002
【特許請求の範囲】
【請求項１】
伝送する画像データを符号化する際に前記画像データを符号化して得られる符号化データを蓄積する時間である送信バッファ待機時間に基づいて、前記符号化データの伝送先において前記符号化データを復号する前に前記符号化データを蓄積する時間である受信バッファ待機時間を推定する推定部と、
前記符号化データの伝送先において行われる誤り訂正処理による遅延時間である誤り訂正受信遅延時間が、前記推定部により推定された前記受信バッファ待機時間を越えないように、前記誤り訂正処理の処理単位となるブロック長を設定する設定部と、
前記設定部により設定された前記ブロック長を処理単位として、前記符号化データに誤り訂正用のパリティを挿入する挿入部と、
前記挿入部により前記パリティが挿入された前記符号化データを伝送する伝送部と
を備える情報処理装置。
【請求項２】
前記推定部は、前記送信バッファ待機時間と前記受信バッファ待機時間との和が一定であるものとして、前記送信バッファ待機時間から前記受信バッファ待機時間を推定する
請求項１に記載の情報処理装置。
【請求項３】
前記推定部は、前記符号化データに付加される、映像制御レイヤ同期用タイムスタンプに基づいて前記送信バッファ待機時間を把握する
請求項１に記載の情報処理装置。
【請求項４】
前記推定部は、前記送信バッファ待機時間が変動する場合、その最長時間を用いて前記受信バッファ待機時間を推定する
請求項１に記載の情報処理装置。
【請求項５】
前記設定部は、前記誤り訂正受信遅延時間が、前記ブロック長分のデータを受信する時間に相当するものとして、前記ブロック長を設定する
請求項１に記載の情報処理装置。
【請求項６】
前記設定部は、前記誤り訂正受信遅延時間が、前記推定部により推定された前記受信バッファ待機時間を越えなければならない場合、前記誤り訂正受信遅延時間ができるだけ短くなるように、前記ブロック長を設定する
請求項１に記載の情報処理装置。
【請求項７】
前記画像データを符号化して前記符号化データを生成する符号化部をさらに備え、
前記推定部は、前記符号化部における前記送信バッファ待機時間に基づいて前記受信バッファ待機時間を推定する
請求項１に記載の情報処理装置。
【請求項８】
前記符号化部は、ピクチャを複数のラインブロックに分割し、そのラインブロック毎に符号化を行う、ラインベース・コーデックによって前記画像データを符号化する
請求項７に記載の情報処理装置。
【請求項９】
前記符号化部により生成された前記符号化データをパケット化するパケット生成部をさらに備える
請求項７に記載の情報処理装置。
【請求項１０】
前記パケット生成部は、生成した前記パケットに映像制御レイヤ同期用タイムスタンプを付加し、
前記推定部は、前記パケットに付加された映像制御レイヤ同期用タイムスタンプに基づいて前記送信バッファ待機時間を把握する
請求項７に記載の情報処理装置。
【請求項１１】
被写体を撮像し、前記画像データを生成する撮像部をさらに備え、
前記符号化部は、前記撮像部により生成された前記画像データを符号化する
請求項７に記載の情報処理装置。
【請求項１２】
情報処理装置の情報処理方法において、
前記情報処理装置が、
伝送する画像データを符号化する際に前記画像データを符号化して得られる符号化データを蓄積する時間である送信バッファ待機時間に基づいて、前記符号化データの伝送先において前記符号化データを復号する前に前記符号化データを蓄積する時間である受信バッファ待機時間を推定し、
前記符号化データの伝送先において行われる誤り訂正処理による遅延時間である誤り訂正受信遅延時間が、推定された前記受信バッファ待機時間を越えないように、前記誤り訂正処理の処理単位となるブロック長を設定し、
設定された前記ブロック長を処理単位として、誤り訂正用のパリティを挿入し、
前記パリティが挿入された前記符号化データを伝送する
情報処理方法。
【請求項１３】
コンピュータを、
伝送する画像データを符号化する際に前記画像データを符号化して得られる符号化データを蓄積する時間である送信バッファ待機時間に基づいて、前記符号化データの伝送先において前記符号化データを復号する前に前記符号化データを蓄積する時間である受信バッファ待機時間を推定する推定部と、
前記符号化データの伝送先において行われる誤り訂正処理による遅延時間である誤り訂正受信遅延時間が、前記推定部により推定された前記受信バッファ待機時間を越えないように、前記誤り訂正処理の処理単位となるブロック長を設定する設定部と、
前記設定部により設定された前記ブロック長を処理単位として、誤り訂正用のパリティを挿入する挿入部と、
前記挿入部により前記パリティが挿入された前記符号化データを伝送する伝送部と
して機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、情報処理装置および方法、並びに、プログラムに関し、特に、遅延時間をより低減させることができるようにした情報処理装置および方法、並びに、プログラムに関する。
【背景技術】
【０００２】
従来、インターネットやLAN（Local Area Network）など様々なネットワークを介して、画像データ（特に動画像データ）を転送するアプリケーションやサービスが広く利用されている。ネットワークを介して画像データを送受信する場合には、送信側で符号化（圧縮）処理によりデータ量を減少させた上でネットワークに送出し、受信側で符号化された受信データを復号（伸長）処理して再生するのが一般的である（例えば、特許文献１乃至特許文献６参照）。【０００３】
動画像データの伝送においては、即時性（所謂リアルタイム性）が要求される場合がある。例えば、伝送元において撮像装置により撮像されて得られた画像を、伝送先において画像表示装置に、即時的に（所謂リアルタイムに）表示させる場合、画像データの符号化、伝送、復号等による遅延が大き過ぎると、動画像表示が破綻してしまう恐れがある。このような場合、動画像表示を保証するために、画像データの伝送（符号化や復号等の、伝送に関する処理も含む）において遅延時間の管理が要求される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−３１１９４８号公報
【特許文献２】特開２００９−２７８５４５号公報
【特許文献３】特開２００８−０２８５４１号公報
【特許文献４】特許３６１７０８７号
【特許文献５】特開２００２−１５２１６２号公報
【特許文献６】特開２００４−３０４８０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特に高画質な動画像データはデータサイズが大きいため、このような動画像データの伝送を、例えばEthernet（登録商標）、NGN（Next Generation Network）、無線といった汎用回線を介して行うようにすると、遅延量が増大し易い。したがって、伝送のリアルタイム性が損なわれ、動画像表示が、停止したり画質が劣化したりする等、破綻してしまう恐れがあった。【０００６】
本技術は、このような状況に鑑みて提案されたものであり、遅延時間をより低減させることを目的とする。
【課題を解決するための手段】
【０００７】
本技術の一側面は、伝送する画像データを符号化する際に前記画像データを符号化して得られる符号化データを蓄積する時間である送信バッファ待機時間に基づいて、前記符号化データの伝送先において前記符号化データを復号する前に前記符号化データを蓄積する時間である受信バッファ待機時間を推定する推定部と、前記符号化データの伝送先において行われる誤り訂正処理による遅延時間である誤り訂正受信遅延時間が、前記推定部により推定された前記受信バッファ待機時間を越えないように、前記誤り訂正処理の処理単位となるブロック長を設定する設定部と、前記設定部により設定された前記ブロック長を処理単位として、前記符号化データに誤り訂正用のパリティを挿入する挿入部と、前記挿入部により前記パリティが挿入された前記符号化データを伝送する伝送部とを備える情報処理装置である。【０００８】
前記推定部は、前記送信バッファ待機時間と前記受信バッファ待機時間との和が一定であるものとして、前記送信バッファ待機時間から前記受信バッファ待機時間を推定することができる。【０００９】
前記推定部は、前記符号化データに付加される、映像制御レイヤ同期用タイムスタンプに基づいて前記送信バッファ待機時間を把握することができる。【００１０】
前記推定部は、前記送信バッファ待機時間が変動する場合、その最長時間を用いて前記受信バッファ待機時間を推定することができる。【００１１】
前記設定部は、前記誤り訂正受信遅延時間が、前記ブロック長分のデータを受信する時間に相当するものとして、前記ブロック長を設定することができる。【００１２】
前記設定部は、前記誤り訂正受信遅延時間が、前記推定部により推定された前記受信バッファ待機時間を越えなければならない場合、前記誤り訂正受信遅延時間ができるだけ短くなるように、前記ブロック長を設定することができる。【００１３】
前記画像データを符号化して前記符号化データを生成する符号化部をさらに備え、前記推定部は、前記符号化部における前記送信バッファ待機時間に基づいて前記受信バッファ待機時間を推定することができる。【００１４】
前記符号化部は、ピクチャを複数のラインブロックに分割し、そのラインブロック毎に符号化を行う、ラインベース・コーデックによって前記画像データを符号化することができる。【００１５】
前記符号化部により生成された前記符号化データをパケット化するパケット生成部をさらに備えることができる。【００１６】
前記パケット生成部は、生成した前記パケットに映像制御レイヤ同期用タイムスタンプを付加し、前記推定部は、前記パケットに付加された映像制御レイヤ同期用タイムスタンプに基づいて前記送信バッファ待機時間を把握することができる。【００１７】
被写体を撮像し、前記画像データを生成する撮像部をさらに備え、前記符号化部は、前記撮像部により生成された前記画像データを符号化することができる。【００１８】
本技術の一側面は、また、情報処理装置の情報処理方法において、前記情報処理装置が、伝送する画像データを符号化する際に前記画像データを符号化して得られる符号化データを蓄積する時間である送信バッファ待機時間に基づいて、前記符号化データの伝送先において前記符号化データを復号する前に前記符号化データを蓄積する時間である受信バッファ待機時間を推定し、前記符号化データの伝送先において行われる誤り訂正処理による遅延時間である誤り訂正受信遅延時間が、推定された前記受信バッファ待機時間を越えないように、前記誤り訂正処理の処理単位となるブロック長を設定し、設定された前記ブロック長を処理単位として、誤り訂正用のパリティを挿入し、前記パリティが挿入された前記符号化データを伝送する情報処理方法である。【００１９】
本技術の一側面は、さらに、コンピュータを、伝送する画像データを符号化する際に前記画像データを符号化して得られる符号化データを蓄積する時間である送信バッファ待機時間に基づいて、前記符号化データの伝送先において前記符号化データを復号する前に前記符号化データを蓄積する時間である受信バッファ待機時間を推定する推定部と、前記符号化データの伝送先において行われる誤り訂正処理による遅延時間である誤り訂正受信遅延時間が、前記推定部により推定された前記受信バッファ待機時間を越えないように、前記誤り訂正処理の処理単位となるブロック長を設定する設定部と、前記設定部により設定された前記ブロック長を処理単位として、誤り訂正用のパリティを挿入する挿入部と、前記挿入部により前記パリティが挿入された前記符号化データを伝送する伝送部として機能させるためのプログラムである。【００２０】
本技術の一側面においては、伝送する画像データを符号化する際に画像データを符号化して得られる符号化データを蓄積する時間である送信バッファ待機時間に基づいて、符号化データの伝送先において符号化データを復号する前に符号化データを蓄積する時間である受信バッファ待機時間が推定され、符号化データの伝送先において行われる誤り訂正処理による遅延時間である誤り訂正受信遅延時間が、推定された受信バッファ待機時間を越えないように、誤り訂正処理の処理単位となるブロック長が設定され、設定されたブロック長を処理単位として、誤り訂正用のパリティが挿入され、パリティが挿入された符号化データが伝送される。
【発明の効果】
【００２１】
本技術によれば、情報を処理することが出来る。特に、画像データの伝送において発生する遅延時間をより低減させることができる。
【図面の簡単な説明】
【００２２】
【図１】データ伝送における遅延比率の例を説明する図である。
【図２】本技術を適用した画像伝送システムの主な構成例と、その遅延比率の例を説明する図である。
【図３】本技術を適用した画像処理システムの主な構成例を示す図である。
【図４】撮像装置の主な構成例を示すブロック図である。
【図５】FECブロックの例を説明する図である。
【図６】パケットの構成例を説明する図である。
【図７】送信処理の流れの例を説明するフローチャートである。
【図８】受信処理の流れの例を説明するフローチャートである。
【図９】符号化部の主な構成例を示すブロック図である。
【図１０】ウェーブレット変換部の主な構成例を示すブロック図である。
【図１１】変換係数のサブバンドの主な構成例を示す図である。
【図１２】ラインブロックの例を説明する図である。
【図１３】復号部の主な構成例を示すブロック図である。
【図１４】符号化処理の流れの例を説明するフローチャートである。
【図１５】復号処理の流れの例を説明するフローチャートである。
【図１６】コンピュータの主な構成例を示すブロック図である。
【発明を実施するための形態】
【００２３】
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（画像伝送システム）
２．第２の実施の形態（画像処理システム）
３．第３の実施の形態（符号化部・復号部）
４．第４の実施の形態（コンピュータ）
【００２４】
＜１．第１の実施の形態＞
［１−１遅延比率例］
従来、インターネットやLAN（Local Area Network）など様々なネットワークを介して、画像データ（特に動画像データ）を転送するアプリケーションやサービスが広く利用されている。
【００２５】
ネットワークを介して画像データを送受信する場合、送信側で符号化（圧縮）処理によりデータ量を減少させた上でネットワークに送出し、受信側で符号化された受信データを復号（伸長）処理して再生するのが一般的である。
【００２６】
例えば、画像圧縮処理の最も知られた手法として、MPEG（Moving Pictures Experts Group）と呼ばれる圧縮技術がある。MPEG圧縮技術を用いる場合、MPEG圧縮技術により生成されたMPEGストリームがIP（Internet Protocol）に従ったIPパケットに格納され、ネットワーク経由で配信される。そして、MPEGストリームは、PC（Personal Computer）やPDA（Personal Digital Assistants）、携帯電話などの通信端末を用いて受信され、各端末の画面上に表示される。
【００２７】
このような状況の中、画像データの配信を主目的とする例えばビデオオンデマンドやライブ映像の配信、あるいはビデオ会議、テレビ電話などのアプリケーションにおいては、ネットワークのジッタによって送信側のデータが全て受信側へ到達しない環境や、異なる能力を持つ端末に画像データが受信される環境があり、それらの環境を想定する必要がある。
【００２８】
例えば、１つの送信源から送信される画像データは、携帯電話などの解像度の低いディスプレイと処理能力の低いCPU（Central Processing Unit）を有する受信端末によって受信され、表示される可能性がある。また、それと同時に、デスクトップPCのように高解像度のモニタと高性能のプロセッサを有する受信端末によって受信され、表示される可能性もある。
【００２９】
このように、ネットワーク接続環境によって、パケット受信状況が異なることを想定する場合、例えば送受信するデータの符号化を階層的に実行する、階層符号化と呼ばれる技術が利用される。階層符号化された画像データにおいては、例えば高解像度のディスプレイを有する受信端末向けの符号化データ、及び低解像度のディスプレイを有する受信端末向けの符号化データが選別して保持され、受信側で画像サイズや画質を適宜変更することができる。
【００３０】
階層符号化が可能な圧縮・伸張方式としては、例えばMPEG4とJPEG（Joint Photographic Experts Group）2000によるビデオストリームが挙げられる。MPEG4では、FGS（Fine Granularity Scalability）技術が標準規格として取り込まれプロファイル化される予定であり、この階層符号化技術によりスケーラブルに低いビットレートから高いビットレートまで配信することが可能と言われている。
【００３１】
また、ウェーブレット（Wavelet）変換を基盤とするJPEG2000では、ウェーブレット変換の特徴を生かして空間解像度をベースにパケットを生成し、または画質をベースに階層的にパケットを生成することが可能である。また、JPEG2000では、静止画だけではなく動画を扱えるMotion JPEG2000（Part3）規格により、階層化したデータをファイルフォーマットで保存することが可能である。
【００３２】
さらに、階層符号化を適用したデータ通信の具体案として提案されているものとして、離散コサイン変換（DCT（Discrete Cosine Transform））を基盤とするものがある。これは通信対象の例えば画像データをDCT処理し、DCT処理により高域と低域とを区別して階層化を実現し、高域と低域との階層で区分したパケットを生成してデータ通信を実行する方法である。
【００３３】
このような階層符号化された画像データを配信する場合、一般的には即時性（リアルタイム性）が要求されるが、現状ではリアルタイム性よりも大画面・高画質の表示が優先される傾向がある。
【００３４】
画像データの配信においてリアルタイム性を確保するためには、IPベースの通信プロトコルとして、通常はUDP（User Datagram Protocol）が用いられる。さらに、UDPの上のレイヤにおいてはRTP（Real-time Transport Protocol）が用いられる。RTPパケットに格納されるデータフォーマットは、アプリケーションごと、即ち符号化方式ごとに定義された個々のフォーマットに従う。
【００３５】
また、通信ネットワークとしては、無線または有線によるLAN、光ファイバー通信、xDSL、電力線通信、またはCo-axといった通信方式が用いられる。これらの通信方式は年々高速化しているが、それを送信する画像コンテンツも高画質化している。
【００３６】
例えば、現在主流になっているMPEG方式またはJPEG2000方式における代表的なシステムのコード遅延（符号化遅延＋復号遅延）は２ピクチャ以上であり、これでは画像データ配信における十分な即時性（リアルタイム性）が確保されているとは言い難い。
【００３７】
そこで、近日、１ピクチャをＮ個のライン（Ｎは１以上）の集合に分割し、分割した集合（ラインブロックと称する）ごとに画像を符号化することで遅延時間を短くする画像圧縮方式（以下、ラインベース・コーデックと称する）が提案され始めている。
【００３８】
ラインベース・コーデックの利点としては、低遅延のほか、画像圧縮の１単位で取り扱う情報が少ないことにより、高速処理やハードウエア規模の低減が可能といった利点がある。
【００３９】
例えば、特許文献１には、ラインベース・コーデックに基づく通信データについて、ラインブロックごとに適切に欠落データの補完処理を行う通信装置が記載されている。
【００４０】
また、特許文献２には、ラインベース・コーデックを用いる場合の遅延の低減と処理の効率化を図った情報処理装置が記載されている。
【００４１】
さらに、特許文献３には、ラインベース・ウェーブレット変換された画像データの低周波数成分を伝送することにより画質の劣化を抑える送信装置が記載されている。
【００４２】
ラインベース・コーデックの利用により、高画質・低遅延伝送が行えるようになったため、今後、ライブ中継を行うカメラシステムへの適用が期待されている。
【００４３】
しかしながら、画像データはデータ量が多い。そのた画像像データの伝送を、Ethernet（登録商標）やNGN（Next Generation Network）、または無線といった汎用回線を介して行うようにすると、遅延量の増大により、画像データ伝送の即時性（リアルタイム性）が損なわれる恐れがある。
【００４４】
特に、例えば、ライブ中継等を行うカメラシステムにおいては、データ伝送の即時性に対する要求が高い。しかしながら、高画質な動画像データの伝送が行われるため、データ量は多い。そのため、汎用回線を介したデータ伝送では、即時性が破綻する可能性がさらに高くなる。
【００４５】
さらに、汎用回線に対応させるために回線上のエラーをある程度想定したシステム構成を構築する必要がある。専用回線の場合、帯域の制御をローカルに行うことができるが、汎用回線の場合、回線の安定性が保証されていないので、このエラー対策は、事実上必須となる。しかしながら、このような機能追加は、さらなる遅延の発生を招く恐れもある。
【００４６】
図１は、特許文献２に記載のシステムにおけるデータ伝送の遅延比率を示している。このシステムにおいては、低遅延を実現するために、バッファ遅延量が、送信側と受信側シェアされている。Case1乃至Case3は、伝送するデータ量（伝送データ量）の多さによって場合分けしたものである。ケース１（Case1）が、伝送データ量が最も多く、ケース３（Case3）が、伝送データ量が最も少ない。
【００４７】
しかしながら、コーデックだけで低遅延を実現するのには限度があり、同図のような低遅延環境においては、システム全体の様々な機能において低遅延を実現させるノウハウが必要となる。例えば、図１のＡの回線遅延において、多少の回線エラーを回復させるような機能として、パケット消失回復機能を実装する環境を考える。
【００４８】
一般的には、パケット訂正機能には、ビットエラー訂正を行う内符号と、ブロック分の訂正や消失回復機能として使われる外符号の２種類が存在する。本明細書では説明を分かりやすくするため、外符号を用いて説明する。外符号は、パケット単位または一定のブロック単位で処理が行われることが多い。外符号には、例えば、リードソロモン符号やLDPC（Low Density Parity Check）符号、ハミング符号、BCH（Bose-Chaudhuri-Hocquenghem）符号などがある。図１のＡにおいて、パケット消失回復機能を低遅延な期間だけ処理を行わせる方法について考える。勿論、ブロック符号の方式は任意である。
【００４９】
まず、コーデックが持つデータ量と遅延量の特徴について考えてみる。送信側において、伝送データ量が多い場合、符号化データは、かなり小さい遅延量の範囲で所定時間遅らせて送信される。これに対して、伝送データ量が少ない場合、符号化データは、略遅らせられることなく送信される。つまり、送信側においては、伝送データ量に応じた時間（送信バッファ待機時間）、送信される符号化データがバッファに保持される。
【００５０】
受信側においては、デコードを行う時点でデータが揃っている必要がある。そのため、次のプレシンクトのデータ量が多い可能性を考慮して、送信バッファ待機時間＋受信バッファ待機時間を一定にするように、デコード開始時刻が制御される。つまり、受信側においては、送信バッファ待機時間に応じた時間（受信バッファ待機時間）、受信された符号化データがバッファに保持される。
【００５１】
図１のＢは、ブロック符号であるFEC（Forward Error Correction）を適応させた場合の動作を実施例として記載している。ブロック符号は予め決められたブロック数毎に処理を行うため、そのブロック分のデータを受信するまで受信側で待機するのが一般的である。
【００５２】
受信側では、一定のブロック（またはパケット）分の符号化データを受信した後、パリティを受信して始めてError Correction処理を行う。よって、必然的に受信側は、送信側の誤り訂正パリティ挿入期間と同等の期間を待機する必要がある。
【００５３】
符号化処理を行うシステムの場合、上述したように送信バッファ待機時間が発生する。つまり、伝送データ量が多いものほど必要なブロック分のデータが揃う。そのため、送信側においては、FEC処理時間は小さくなり、伝送データ量が少ないものほどFEC処理時間が長くなる傾向にある。例えば、図１のＢのCase1のFEC処理待機時間はCase3の処理時間よりも短い傾向が高い。
【００５４】
つまり、FEC処理を含まない回線遅延が各ケースで一致している場合、Case1のシステム遅延の合計は１２になり、Case2では１５になり、Case3では１８となる。つまり、伝送データ量が少なくなると、システム全体の遅延量が増大してしまう恐れがあった。
【００５５】
［１−２画像伝送システム］
そこで、FEC処理待機時間を送信側で適切に制御し、このような遅延時間の増大を抑制するようにする。
【００５６】
図２は、本技術を適用した画像伝送システムの主な構成例と、その遅延比率の例を説明する図である。
【００５７】
図２のＡに示される画像伝送システム１１００は、本技術を適用した画像処理システムであり、送信装置１１０１および受信装置１１０２を有し、画像データを符号化した符号化データを、汎用回線を含む任意のネットワークを介して、送信装置１１０１から受信装置１１０２に伝送するシステムである。
【００５８】
送信装置１１０１は、本技術を適用した画像処理装置であり、入力された符号化データを受信装置１１０２に送信する。図２のＡに示されるように、送信装置１１０１は、画像用送信バッファ１１１１および誤り訂正ブロック長生成部１１１２を有する。
【００５９】
画像用送信バッファ１１１１は、画像データを符号化する前段の処理部（図示せず）から入力された符号化データを蓄積し、所定のタイミングにおいて誤り訂正ブロック長生成部１１１２に供給する。この符号化データを蓄積する時間が送信バッファ待機時間（送信バッファ遅延）である。
【００６０】
誤り訂正ブロック長生成部１１１２は、供給された符号化データにパリティを付加し、受信装置１１０２に送信する。この誤り訂正ブロック長生成部１１１２の処理時間が誤り訂正パリティ挿入期間である。
【００６１】
受信装置１１０２は、本技術を適用した画像処理装置であり、送信装置１１０１から伝送された符号化データを受信する。図２のＡに示されるように、受信装置１１０２は、誤り訂正待機バッファ１１２１と画像用受信バッファ１１２２を有する。
【００６２】
誤り訂正待機バッファ１１２１は、誤り訂正処理単位の符号化データ、すなわち、所定のパケット（ブロック）分とパリティを受信するまで、受信した符号化データを保持する。データが揃うと、誤り訂正待機バッファ１１２１は、誤り訂正処理を行い、訂正後の符号化データを画像用受信バッファ１１２２に供給する。この符号化データを保持する時間が、誤り訂正遅延である。
【００６３】
画像用受信バッファ１１２２は、復号処理が開始される所定のタイミングまで、供給された符号化データを保持し、そのタイミングになると、保持している符号化データを、復号処理を行う後段の処理部（図示せず）へ供給する。この符号化データを保持する時間が受信バッファ待機時間（受信バッファ遅延）である。
【００６４】
このような画像伝送システム１１００において、受信バッファ待機時間（Decode）とFEC受信遅延時間（FEC Rx）が一致するようなFEC処理量を考えてみる。なお、図２において、システム全体の遅延時間は、送信バッファ待機時間（Encode）と受信バッファ待機時間（Decode）の合計が１０になるように分配されている。
【００６５】
したがって、送信バッファ待機時間（Encode）から受信バッファ待機時間（Decode）の見積もりが可能である。つまり、送信装置１１０１において、受信装置１１０２の受信バッファ待機時間（Decode）を推定することができる。
【００６６】
また、FEC受信遅延時間（FEC Rx）を受信バッファ待機時間（Decode）の範囲内にすれば、FEC受信遅延時間（FEC Rx）を受信バッファ待機時間（Decode）とは別に用意して待機するのではなく、受信バッファ待機時間（Decode）に含めることができる。つまり、誤り訂正待機バッファ１１２１が、画像用受信バッファ１１２２において必要な待機時間を利用してFEC処理を行うようにすることにより、FEC受信遅延時間（FEC Rx）を受信バッファ待機時間（Decode）に含めることができ、システム全体の遅延量を低減させることができる。
【００６７】
さらに、このFEC受信遅延時間（FEC Rx）は、誤り訂正ブロック長生成部１１１２において設定されるブロック長により決定される。つまり、送信装置１１０１は、FEC受信遅延時間（FEC Rx）を設定することができる。
【００６８】
そこで、送信装置１１０１の誤り訂正ブロック長生成部１１１２が、画像用送信バッファ１１１１における送信バッファ待機時間（Encode）に基づいて、FECブロックのブロック長を定めることにより、受信バッファ待機時間（Decode）を超えないように、FEC受信遅延時間（FEC Rx）を制御するようにする。
【００６９】
例えば、図２のＢに示されるCase1の場合、送信バッファ待機時間（Encode）の割合が１０なので、受信バッファ待機時間（Decode）の割合は、０である。そのため、誤り訂正ブロック長生成部１１１２は、FEC受信遅延時間（FEC Rx）ができるだけ短くなるように、ブロック長を設定する。同図において、Case1の(２)はFECによる遅延時間であるが、括弧は実際には遅延にはならない。送信側では図５のとおり、パリティしか挿入しないため、実質の遅延にはならず、受信側で割合２の分だけ、FECが待機してからデコードを開始するため、受信バッファ待機時間が２の分だけ遅延する。
【００７０】
ただし、この場合、FEC受信遅延時間（FEC Rx）内に、FEC受信処理を終了させることは不可能である。しかしながら、送信バッファ待機時間（Encode）の割合が１０となるのは、符号化データのデータ量が伝送路の帯域を超えてしまい、送信側で待ちが発生している状態である。つまり、伝送データ量が多過ぎて、ブロック符号を行う上での送信処理遅延（すなわち、受信処理遅延）は非常に小さくなることが予想される。したがって、この場合、FEC受信遅延時間（FEC Rx）を追加しても、送信バッファ待機時間（Encode）と受信バッファ待機時間（Decode）との和がわずかに増大する程度であり、システム全体の遅延量としての影響は非常に少ない。
【００７１】
また、図２のＢのCase2の場合、受信バッファ待機時間（Decode）の割合は５である。そのため、誤り訂正ブロック長生成部１１１２は、FEC受信遅延時間（FEC Rx）が５以下となるように、ブロック長を設定する。
【００７２】
さらに、図２のＢのCase3の場合、受信バッファ待機時間（Decode）の割合は１０である。そのため、誤り訂正ブロック長生成部１１１２は、FEC受信遅延時間（FEC Rx）が１０以下となるように、ブロック長を設定する。
【００７３】
以上のように、FEC受信遅延時間（FEC Rx）を受信バッファ待機時間（Decode）と共通化することにより、画像伝送システム１１００は、システム全体の遅延時間を低減させることができる。
【００７４】
また、そのような制御を、送信装置１１０１が単独で行うことができる。つまり、この制御を実現するために、受信装置１１０２と情報を授受する必要がない。また、受信装置１１０２による特別な制御も不要である。つまり、送信装置１１０１は、容易に、システム全体の遅延時間を低減させることができる。
【００７５】
なお、画像の種類によって送信バッファ待機時間（Encode）は変動するが、その変動幅の中で最長の送信バッファ待機時間（Encode）（つまり、受信バッファ待機時間（Decode）が最短となる場合）を基にFECブロック長（FEC受信遅延時間（FEC Rx））決定すればよい。
【００７６】
＜２．第２の実施の形態＞
［２−１画像処理システム］
なお、以上に説明した本技術は、図２に示される構成のシステムに限らず、即時性が要求される画像データ伝送が行われる任意のシステムに適用することができる。したがってシステムの構成や用途は任意である。
【００７７】
例えば、スポーツ中継やイベント中継等を行うカメラシステムにも適用することができる。このようなカメラシステムにおいては、複数のカメラ（撮像装置）により撮像されて得られた画像データが、カメラコントロールユニット（CCU（Camera Control Unit））の制御により伝送される。
【００７８】
図３は、本技術を適用した画像処理システムの主な構成例を示す図である。図３に示される画像処理システム１２００は、本技術を適用したカメラシステムである。画像処理システム１２００は、撮像装置１２０１−１乃至撮像装置１２０１−３、並びに、CCU１２０２を有する。撮像装置１２０１−１乃至撮像装置１２０１−３は、CCU１２０２の制御により、汎用回線であるネットワーク１２１０を介してCCU１２０２と通信を行うことができ、例えば、画像や音声の符号化データを授受したり、制御データを授受したりすることができる。
【００７９】
撮像装置１２０１−１乃至撮像装置１２０１−３を互いに区別して説明する必要が無い場合、単に撮像装置１２０１と称する。なお、図３においては、３台の撮像装置１２０１が設けられているが、画像処理システム１２００は、任意の台数の撮像装置１２０１を有することができる。
【００８０】
例えば、CCU１２０２の制御により、撮像装置１２０１−１において得られた画像や音声の符号化データは、ネットワーク１２１０を介してCCU１２０２に伝送される。この符号化データは、例えばCCU１２０２において復号され、画像データや音声データとして、例えば編集装置や中継装置等の、図示せぬ後段の情報処理装置に伝送される。
【００８１】
また、撮像装置１２０１は、撮像装置１２０１のユーザ（つまり撮影者）が撮像画像や放送画像を確認するためのモニタ（表示部）やスピーカ等を有しており、CCU１２０２から伝送された符号化データを復号し、画像をそのモニタに表示したり、音声をスピーカから出力したりすることができる。
【００８２】
したがって、CCU１２０２は、例えば、撮像装置１２０１−１から伝送された符号化データ（矢印１２２１）を、撮像装置１２０１−１に戻したり（矢印１２２２）、他の撮像装置１２０１である撮像装置１２０１−２や撮像装置１２０１−３に伝送したりすることができる（矢印１２２３および矢印１２２４）。
【００８３】
このようなデータ伝送においては、動画像表示や音声出力が破綻しないように、即時性が要求される。第１の実施の形態において説明したような本技術を適用することにより、データ伝送全体の遅延時間を低減させることができるので、動画像表示や音声出力の破綻を抑制することができる。
【００８４】
［２−２撮像装置］
図４は、図３の撮像装置１２０１の主な構成例を示すブロック図である。図４に示されるように、撮像装置１２０１は、撮像部１３０１、送信部１３０２、受信部１３０３、および表示部１３０４を有する。
【００８５】
撮像部１３０１は、被写体を撮像し画像データや音声データを生成する。撮像部１３０１は、生成した画像データや音声データを送信部１３０２に供給する。
【００８６】
送信部１３０２は、撮像部１３０１から供給された画像データ（ビデオ信号入力）や音声データ（音声信号入力）を取得して符号化する。送信部１３０２は、生成した符号化データをCCU１３０２等に送信する。
【００８７】
受信部１３０３は、CCU１２０２等から伝送される画像や音声の符号化データを受信し、受信した符号化データを復号して、画像データや音声データを抽出し、表示部１３０４に供給する。
【００８８】
表示部１３０４は、画像を表示するモニタや音声を出力するスピーカを有する。表示部１３０４は、受信部１３０３から供給される画像データ（ビデオ信号出力）の画像をモニタに表示する。また、表示部１３０４は、受信部１３０３から供給される音声データを（音声信号出力）の音声をスピーカより出力させる。
【００８９】
図４に示されるように、送信部１３０２は、ビデオ符号化部１４０１、パケット生成部１４０２、待機時間解析部１４０３、オーディオ符号化部１４０４、パケット生成部１４０５、および待機時間解析部１４０６を有する。また、送信部１３０２は、多重化部１４０７、FECパリティ生成部１４０８、RTPパケット生成部１４０９、および、FECブロック長制御部１４５０を有する。さらに、送信部１３０２は、非同期伝送路インタフェース（I/F）１５０１、回線制御同期タイミング調整部１５１０、およびタイムスタンプ生成部１５１１を有する。
【００９０】
なお、クロック生成部１５１２および同期信号発生部１５１３は、送信部１３０２に含まれない。また、非同期伝送路インタフェース（I/F）１５０１および回線制御同期タイミング調整部１５１０は、受信部１３０３と共有している。
【００９１】
ビデオ符号化部１４０１は、撮像部１３０１から出力されたビデオ信号を符号化し、パケット生成部１４０２に供給する。パケット生成部１４０２は、供給された符号化データに画像ヘッダを付加してパケット化する。
【００９２】
パケット生成部１４０２は、また、符号化データのパケットに、メディアに同期したタイムスタンプ（映像制御レイヤ同期用タイムスタンプ）を付加する。パケット生成部１４０２は、符号化データのパケットを待機時間解析部１４０３に供給する。
【００９３】
待機時間解析部１４０３は、ビデオデータのパケットが、ビデオ符号化部１４０１にある送信バッファにどの程度の期間保持されているかを、パケットに付加された映像制御レイヤ同期用タイムスタンプに基づいて判定する。そして、待機時間解析部１４０３は、その判定結果に基づいて、受信バッファ待機時間（Decode）を推定する。待機時間解析部１４０３は、推定した受信バッファ待機時間（Decode）をFECブロック長制御部１４５０に供給し、それ以外のデータを多重化部１４０７に供給する。
【００９４】
オーディオ符号化部１４０４は、撮像部１３０１から出力されたオーディオ信号を符号化し、パケット生成部１４０５に供給する。パケット生成部１４０５は、供給された符号化データに音声ヘッダを付加してパケット化する。
【００９５】
パケット生成部１４０５は、また、符号化データのパケットに、メディアに同期したタイムスタンプ（映像制御レイヤ同期用タイムスタンプ）を付加する。パケット生成部１４０５は、符号化データのパケットを待機時間解析部１４０６に供給する。
【００９６】
待機時間解析部１４０６は、音声データのパケットが、オーディオ符号化部１４０４にある送信バッファにどの程度の期間保持されているかを、パケットに付加された映像制御レイヤ同期用タイムスタンプに基づいて判定する。そして、待機時間解析部１４０６は、その判定結果に基づいて、受信バッファ待機時間（Decode）を推定する。待機時間解析部１４０６は、推定した受信バッファ待機時間（Decode）をFECブロック長制御部１４５０に供給し、それ以外のデータを多重化部１４０７に供給する。
【００９７】
多重化部１４０７は、ビデオデータのパケットと音声データのパケットを多重化し、１本のストリームとする。
【００９８】
FECブロック長制御部１４５０は、待機時間解析部１４０３や待機時間解析部１４０６から供給された受信バッファ待機時間（Decode）よりも短くなるように、FEC受信遅延時間（FEC Rx）を設定する。そして、FECブロック長制御部１４５０は、このようなFEC受信遅延時間（FEC Rx）を実現するようにFECブロック長を設定する。FECブロック長制御部１４５０は、設定したFECブロック長を示す情報をFECパリティ生成部１４０８に供給する。
【００９９】
FECパリティ生成部１４０８は、多重化部１４０７から供給された、パケット化された符号化データを、FECブロック長制御部１４５０により設定されたFECブロック長分取得すると、パリティを挿入する。FECブロックは、パリティを受信して始めてデータの訂正を行えるため、FEC復号部は、予め決められたブロック長まで（パリティデータの受信が終了するまで）待機し、それから演算を行う。
【０１００】
図５にFECデータ伝送の概念図を示す。FECパリティ生成部１４０８は、FECブロック長制御部１４５０により設定されたブロック長分のデータを送信するとパリティを挿入する。図５の例の場合、アプリケーションデータに相当するデータ４つに２つのパリティが生成されている。FEC復号部はデータ１から受信を開始し、パリティ２までを受信して始めてFEC復号処理を行うため、ブロック長を受信する時間分だけ待機する必要がある。
【０１０１】
FECパリティ生成部１４０８は、パリティを挿入すると、それらのデータをRTPパケット生成部１４０９に供給する。
【０１０２】
RTPパケット生成部１４０９は、RTPパケットを生成する。また、タイムスタンプ生成部１５１１は、回線制御同期タイミング調整部１５１０の制御にしたがって、回線制御レイヤ同期用タイムスタンプを生成する。RTPパケット生成部１４０９は、RTPパケットに回線制御レイヤ同期用タイムスタンプを付加する。RTPパケット生成部１４０９は、生成したRTPパケットを非同期伝送路インタフェース（I/F）１５０１に供給する。
【０１０３】
非同期伝送路インタフェース１５０１は、RTPパケットに、UDPヘッダやIPヘッダを付加することにより、IPパケットを生成する。非同期伝送路インタフェース１５０１は、生成したIPパケットを撮像装置１２０１の外部に出力し、CCU１２０２に伝送させる。
【０１０４】
また、図４に示されるように、受信部１３０３は、非同期伝送路インタフェース（I/F）１５０１、回線制御同期タイミング調整部１５１０、クロック生成部１５１２、および同期信号発生部１５１３を有する。また、受信部１３０３は、RTPパケット復号部１６０１、タイムスタンプ復号部１６０２、逆多重化部１６０３、FEC復号部１６０４、デパケタイザ１６０５、およびビデオ復号部１６０６を有する。さらに、受信部１３０３は、FEC復号部１６０７、デパケタイザ１６０８、およびオーディオ復号部１６０９を有する。
【０１０５】
なお、タイムスタンプ生成部１５１１は、受信部１３０３に含まれない。また、非同期伝送路インタフェース（I/F）１５０１および回線制御同期タイミング調整部１５１０は、送信部１３０２と共有している。もちろん、送信部１３０２および受信部１３０３が、これらの処理部を共有せずに、それぞれ、非同期伝送路インタフェース（I/F）１５０１および回線制御同期タイミング調整部１５１０を有するようにしてもよい。
【０１０６】
CCU１２０２から伝送されてきたリターンビデオデータパケットやオーディオデータパケット、コマンドデータパケットは、非同期伝送路インタフェース（I/F）１５０１を介して、RTPパケット復号部１６０１により、IPヘッダやRTPヘッダの確認が行われる。次に、映像や音声のデータが含まれるRTPヘッダがタイムスタンプ復号部１６０２に供給され、RTPヘッダの後に付加された回線制御レイヤ同期用タイムスタンプのみクロック生成部１５１２へ送信される。
【０１０７】
逆多重化部１６０３は、画像データと音声データとを分離する。FEC復号部１６０４は、画像データのパケットに対してFEC復号処理を行う。FEC復号部１６０４は、FECパリティ生成部１４０８において付加されたパリティを用いて、誤ったパケットまたは消失したパケットを復元する。タイムスタンプはカメラでクロックや同期信号を発生させる為に使用される。
【０１０８】
デパケタイザ１６０５は、FEC復号された画像データのパケットに対して、デパケタイズする。ビデオ復号部１６０６は、デパケタイズされて得られた画像データの符号化データを復号し、それをビデオ信号出力として表示部１３０４に供給する。
【０１０９】
同様に、FEC復号部１６０７は、音声データのパケットに対してFEC復号処理を行う。FEC復号部１６０７は、FECパリティ生成部１４０８において付加されたパリティを用いて、誤ったパケットまたは消失したパケットを復元する。タイムスタンプはカメラでクロックや同期信号を発生させる為に使用される。
【０１１０】
デパケタイザ１６０８は、FEC復号された音声データのパケットに対して、デパケタイズする。オーディオ復号部１６０９は、デパケタイズされて得られた音声データの符号化データを復号し、それを音声信号出力として表示部１３０４に供給する。
【０１１１】
［２−３パケット構成例］
図６は、パケットの構成例を説明する図である。図６では、１つのIPパケットの内部構成が図６の４段階に分けて示されている。一番上の段において、IPパケットは、IPヘッダ及びIPデータから構成される。IPヘッダには、例えば宛先IPアドレスなどのIPプロトコルに基づく通信経路の制御に関する制御情報などが含まれる。
【０１１２】
IPデータは、さらにUDPヘッダ及びUDPデータから構成される。UDPは、リアルタイム性が重視される動画または音声データの配信時などに一般的に使用される、OSI参照モデルのトランスポート層のプロトコルである。UDPヘッダには、例えばアプリケーション識別情報である宛先ポート番号などが含まれる。
【０１１３】
UDPデータは、さらにRTPヘッダ及びRTPデータから構成される。RTPヘッダには、例えばシーケンス番号などのデータストリームのリアルタイム性を保証するための制御情報が含まれる。また、RTPヘッダのサブ情報として、回線制御レイヤ同期用タイムスタンプを用意し、回線環境の遅延やジッタ量を時間情報から把握できるようにする。
【０１１４】
RTPデータは、画像データのヘッダ（以下、画像ヘッダという。）及びラインベース・コーデックに基づいて圧縮された画像本体である符号化データから構成される。また、画像ヘッダのサブ情報として、映像制御レイヤ同期用タイムスタンプを用意し、FECブロック長制御部１４５０で判断すべきブロック長の情報や、同期獲得タイミングを高い精度で判断できるような情報を持つ。画像ヘッダには、例えばピクチャ番号やラインブロック番号（１ライン単位で符号化を行う場合にはライン番号）、サブバンド番号などを含むことができる。なお、画像ヘッダは、ピクチャごとに付与されるピクチャヘッダと、ラインブロックごとに付与されるラインブロックヘッダにさらに分けて構成されてもよい。
【０１１５】
なお、CCU１２０２も送信部１３０２や受信部１３０３と同様の構成を有する。例えば、撮像装置１２０１の送信部１３０２から送信されたパケットは、ネットワーク１２１０を伝送して、CCU１２０２の受信部１３０３により受信される。また、例えば、CCU１２０２の送信部１３０２から送信されたパケットは、ネットワーク１２１０を伝送して、撮像装置１２０１の受信部１３０３により受信される。
【０１１６】
つまり、例えば、送信部１３０２が第１の実施の形態の送信装置１１０１に対応し、受信部１３０３が第１の実施の形態の受信装置１１０２に対応する。
【０１１７】
また、例えば、送信部１３０２においては、ビデオ符号化部１４０１およびパケット生成部１４０２が、画像用送信バッファ１１１１に対応し、待機時間解析部１４０３、FECブロック長制御部１４５０、およびFECパリティ生成部１４０８が、誤り訂正ブロック長生成部１１１２に対応する。
【０１１８】
さらに、例えば、受信部１３０３においては、FEC復号部１６０４が誤り訂正待機バッファ１１２１に対応し、デパケタイザ１６０５やビデオ復号部１６０６が画像用受信バッファ１１２２に対応する。
【０１１９】
つまり、FECブロック長制御部１４５０が、FEC復号部１６０４におけるFEC受信遅延時間（FEC Rx）を、ビデオ復号部１６０６による受信バッファ待機時間（Decode）よりも短くするように、FECブロック長を設定する。このようにすることにより、送信部１３０２は、容易に、画像データの伝送において発生する遅延時間を低減させることができる。
【０１２０】
［２−４送信処理の流れ］
図７のフローチャートを参照して、送信処理の流れの例を説明する。
【０１２１】
送信処理が開始されると、ステップＳ１００１において、ビデオ符号化部１４０１は、ビデオ信号を符号化する。また、オーディオ符号化部１４０４は、音声信号を符号化する。
【０１２２】
ステップＳ１００２において、パケット生成部１４０２は、ビデオ信号が符号化された符号化データをパケット化する。パケット生成部１４０５は、音声信号が符号化された符号化データをパケット化する。
【０１２３】
ステップＳ１００３において、パケット生成部１４０２は、映像制御冷夏同期用タイムスタンプを付加する。
【０１２４】
ステップＳ１００４において、待機時間解析部１４０３は、ビデオ信号のパケットについて、待機時間を求める。また、待機時間解析部１４０６は、音声信号のパケットについて、待機時間を求める。
【０１２５】
ステップＳ１００５において、FECブロック長制御部１４５０は、ステップＳ１００４において算出された待機時間に基づいてFECブロック長を設定する。
【０１２６】
ステップＳ１００６において、多重化部１４０７は、ビデオ信号のパケットと、オーディオ信号のパケットとを多重化し、１系統のストリームに変換する。
【０１２７】
ステップＳ１００７において、FECパリティ生成部１４０８は、FECブロック長に基づいてパリティを生成する。
【０１２８】
ステップＳ１００８において、RTPパケット生成部１４０９は、RTPパケットを生成する。
【０１２９】
ステップＳ１００９において、RTPパケット生成部１４０９は、回線制御レイヤ同期用タイムスタンプを付加する。
【０１３０】
ステップＳ１０１０において、送信部１３０２の非同期伝送路インタフェース（I/F）１５０１は、IPパケットを生成する。
【０１３１】
ステップＳ１０１１において、送信部１３０２の非同期伝送路インタフェース（I/F）１５０１は、IPパケットを伝送する。
【０１３２】
ステップＳ１０１１の処理が終了すると、送信処理が終了する。
【０１３３】
以上のように送信処理を行うことにより送信部１３０２は、画像データの伝送に関する全体の遅延時間を抑制することができる。
【０１３４】
［２−５受信処理の流れ］
次に、図８のフローチャートを参照して、受信処理の流れの例を説明する。
【０１３５】
受信処理が開始されると、ステップＳ１１０１において、受信部１３０３の非同期伝送路インタフェース（I/F）１５０１は、IPパケットを復号し、RTPパケットを抽出する。
【０１３６】
ステップＳ１１０２において、RTPパケット復号部１６０１は、RTPパケットを復号する。
【０１３７】
ステップＳ１１０３において、タイムスタンプ復号部１６０２は、回線制御レイヤ同期用タイムスタンプを抽出する。
【０１３８】
ステップＳ１１０４において、クロック生成部１５１２は、抽出された回線制御レイヤ同期用タイムスタンプに基づいてクロックを生成する。
【０１３９】
ステップＳ１１０５において、同期信号発生部１５１３は、生成されたクロックに基づいて同期信号を発生する。
【０１４０】
ステップＳ１１０６において、逆多重化部１６０３は、１系統のストリーム化されていた映像信号のパケットと、音声信号のパケットとを互いに分離する。
【０１４１】
ステップＳ１１０７において、FEC復号部１６０４は、音声信号から分離された映像信号のパケットについて、誤り訂正復号を行う。また、FEC復号部１６０７は、映像信号から分離された音声信号のパケットについて、誤り訂正復号を行う。
【０１４２】
ステップＳ１１０８において、デパケタイザ１６０５は、映像信号のパケットから映像制御レイヤ同期用タイムスタンプを抽出する。
【０１４３】
ステップＳ１１０９において、デパケタイザ１６０５は、映像信号のパケットをデパケタイズする。また、デパケタイザ１６０８は、音声信号のパケットをデパケタイズする。
【０１４４】
ステップＳ１１１０において、ビデオ復号部１６０６は、映像制御レイヤ同期用タイムスタンプに従って映像信号の符号化データを復号する。また、オーディオ復号部１６０９は、映像制御レイヤ同期用タイムスタンプに従って音声信号の符号化データを復号する。
【０１４５】
ステップＳ１１１０の処理が終了すると、受信処理が終了する。
【０１４６】
以上のように受信処理を行うことにより受信部１３０３は、画像データの伝送に関する全体の遅延時間の抑制を実現することができる。
【０１４７】
以上のように送信処理および受信処理を行うことにより、撮像装置１２０１やCCU１２０２は、動画像データ伝送の即時性の破綻を抑制することができる。
【０１４８】
＜３．第３の実施の形態＞
［３−１符号化部］
なお、画像データの符号化方式は任意である。例えば、ピクチャを複数のラインブロックに分割し、そのラインブロック毎に符号化を行うラインベース・コーデックであってもよい。
【０１４９】
図９は、符号化部の主な構成例を示すブロック図である。図９に示されるように符号化部２１００は、ウェーブレット変換部２１０１、途中計算用バッファ部２１０２、係数並び替え用バッファ部２１０３、係数並び替え部２１０４、およびエントロピ符号化部２１０５の機能を有する。
【０１５０】
符号化部２１００に入力された画像データは、ウェーブレット変換部２１０１を介して途中計算用バッファ部２１０２に一時的に溜め込まれる。ウェーブレット変換部２１０１は、途中計算用バッファ部２１０２に溜め込まれた画像データに対してウェーブレット変換を施す。すなわち、ウェーブレット変換部２１０１は、途中計算用バッファ部２１０２から画像データを読み出して分析フィルタによりフィルタ処理を施して低域成分および高域成分の係数のデータを生成し、生成された係数データを途中計算用バッファ部２１０２に格納する。
【０１５１】
ウェーブレット変換部２１０１は、水平分析フィルタと垂直分析フィルタとを有し、画像データ群に対して、画面水平方向と画面垂直方向の両方について分析フィルタ処理を行う。ウェーブレット変換部２１０１は、途中計算用バッファ部２１０２に格納された低域成分の係数データを再度読み出し、読み出した係数データに対して分析フィルタによるフィルタ処理を施して、高域成分および低域成分の係数のデータをさらに生成する。生成された係数データは、途中計算用バッファ部２１０２に格納される。
【０１５２】
ウェーブレット変換部２１０１は、この処理を繰り返して分解レベルが所定レベルに達したら、途中計算用バッファ部２１０２から係数データを読み出し、読み出された係数データを係数並び替え用バッファ部２１０３に書き込む。
【０１５３】
係数並び替え部２１０４は、係数並び替え用バッファ部２１０３に書き込まれた係数データを所定の順序で読み出し、エントロピ符号化部２１０５に供給する。エントロピ符号化部２１０５は、供給された係数データを、所定の方法で量子化し、例えばハフマン符号化や算術符号化といった所定のエントロピ符号化方式で符号化する。エントロピ符号化部２１０５は、生成した符号化データを符号化部２１００の外部に出力する。
【０１５４】
図１０は、ウェーブレット変換部２１０１の主な構成例を示すブロック図である。ウェーブレット変換部２１０１は、原画像のベースバンド信号の１ラインをスキャンするごとに横方向のウェーブレット変換を行い、一定数のラインを読み込むごとに縦方向のウェーブレット変換を行う。
【０１５５】
図１０に示されるウェーブレット変換部２１０１は、最も一般的なウェーブレット変換であるオクターブ分割を３階層（３つのレベル）にわたって実行し、階層符号化された画像データを生成する。
【０１５６】
図１０に示されるように、ウェーブレット変換部２１０１は、レベル１の回路部２２１０、レベル２の回路部２２２０、およびレベル３の回路部２２３０を備える。
【０１５７】
また、レベル１の回路部２２１０は、ローパスフィルタ２２１１、ダウンサンプラ２２１２、ハイパスフィルタ２２１３、およびダウンサンプラ２２１４を有する。
【０１５８】
レベル２の回路部２２２０は、ローパスフィルタ２２２１、ダウンサンプラ２２２２、ハイパスフィルタ２２２３、およびダウンサンプラ２２２４を有する。
【０１５９】
レベル３の回路部２２３０は、ローパスフィルタ２２３１、ダウンサンプラ２２３２、ハイパスフィルタ２２３３、およびダウンサンプラ２２３４を有する。
【０１６０】
入力画像信号は、レベル１の回路部２２１０のローパスフィルタ２２１１（伝達関数Ｈ０（ｚ））とハイパスフィルタ２２１３（伝達関数Ｈ１（ｚ））によって帯域分割される。帯域分割によって得られた低域成分（１Ｌ成分）と高域成分（１Ｈ成分）は、それぞれ対応するダウンサンプラ２２１２およびダウンサンプラ２２１４によって、解像度がそれぞれ２分の１倍に間引かれる。
【０１６１】
ダウンサンプラ２２１２で間引かれた低域成分（１Ｌ成分）の信号は、レベル２の回路部２２２０のローパスフィルタ２２２１（伝達関数Ｈ０（ｚ））とハイパスフィルタ２２２３（伝達関数Ｈ１（ｚ））によってさらに帯域分割される。帯域分割により得られた低域成分（２Ｌ成分）と高域成分（２Ｈ成分）は、それぞれ対応するダウンサンプラ２２２２、および、ダウンサンプラ２２２４によって、解像度がそれぞれ２分の１倍に間引かれる。
【０１６２】
さらに、ダウンサンプラ２２２２で間引かれた低域成分（２Ｌ成分）の信号は、レベル３の回路部２２３０のローパスフィルタ２２３１（伝達関数Ｈ０（ｚ））とハイパスフィルタ２２３３（伝達関数Ｈ１（ｚ））によってさらに帯域分割される。帯域分割により得られた低域成分（３Ｌ成分）と高域成分（３Ｈ成分）は、それぞれ対応するダウンサンプラ２２３２、およびダウンサンプラ２２３４によって、解像度がそれぞれ２分の１倍に間引かれる。
【０１６３】
このように、所定のレベルまで低域成分を階層的に帯域分割した帯域成分が順次生成される。図１０の例では、レベル３まで帯域分割した結果、ダウンサンプラ２２１４で間引かれた高域成分（１Ｈ成分）、ダウンサンプラ２２２４で間引かれた高域成分（２Ｈ成分）、ダウンサンプラ２２３４で間引かれた高域成分（３Ｈ成分）、ダウンサンプラ２２３２で間引かれた低域成分（３Ｌ成分）が生成される。
【０１６４】
図１１は、レベル３まで２次元画像を帯域分割した結果得られる帯域成分を示す図である。図１１の例では、まずレベル１の帯域分割（水平・垂直方向）により４つの成分１ＬＬ、１ＬＨ、１ＨＬ、１ＨＨの各副画像が取得される。ここでＬＬは水平・垂直成分が共にＬであることを意味し、ＬＨは水平成分がＨで垂直成分がＬであることを意味している。次に、１ＬＬ成分は再度帯域分割されて、２ＬＬ、２ＨＬ、２ＬＨ、２ＨＨの各副画像が取得される。さらに、２ＬＬ成分は再度帯域分割されて、３ＬＬ、３ＨＬ、３ＬＨ、３ＨＨの各副画像が取得される。
【０１６５】
このようにウェーブレット変換が繰り返し行われた結果、出力信号においては、副画像が階層構造を形成する。こうしたウェーブレット変換をさらにラインベースに拡張したのが、ラインベース・ウェーブレット変換である。
【０１６６】
図１２は、ラインベース・ウェーブレット変換による変換処理を概念的に示した模式図である。ここでは、一例として、ベースバンドの８ラインごとに縦方向のウェーブレット変換を行うこととしている。
【０１６７】
この場合、ウェーブレット変換を３階層で行うとすると、その８ラインに対して、最低域３ＬＬ副画像に１ライン、その次のレベルのサブバンド３Ｈ（副画像３ＨＬ、３ＬＨ、３ＨＨ）に各１ラインが生成される。また、さらに次のレベルのサブバンド２Ｈ（副画像２ＨＬ、２ＬＨ、２ＨＨ）に各２ライン、さらに最高域１Ｈ（副画像１ＨＬ、１ＬＨ、１ＨＨ）に各４ラインの符号化データが生成される。
【０１６８】
なお、この各サブバンドのラインの集合をプレシンクトと称する。即ち、ラインベース・ウェーブレット変換におけるプレシンクトは、ラインの集合であるラインブロックの一形態として、ラインベース・ウェーブレット変換の符号化単位となるラインの集合である。ここで、符号化単位とは、符号処理の単位となるラインの集合という一般的な意味であり、上記ラインベース・ウェーブレット変換に限定されない。即ち、例えば符号化単位とは、JPEG2000やMPEG4のような既存の階層符号化における符号処理の単位であってもよい。
【０１６９】
図１２に示されるように、図１２の左側に示されるベースバンド信号２３０１において８ラインであったプレシンクト（図中斜線部分）は、図１２の右側に示されるように、ラインベース・ウェーブレット変換された変換後信号２３０２の１Ｈにおいて、１ＨＬ、１ＬＨ、および１ＨＨのそれぞれの４ライン（図中斜線部分）、２Ｈにおいて、２ＨＬ、２ＬＨ、および２ＨＨのそれぞれの２ライン（図中斜線部分）、３ＬＬ、３ＨＬ、３ＨＬ、および３ＨＨのそれぞれの１ライン（図中斜線部分）として構成されている。
【０１７０】
このようなラインベース・ウェーブレット変換処理によれば、JPEG2000のタイル分割と同様、１枚のピクチャをより細かい粒度に分解して処理を行うことが可能となり、画像データの送受信時の低遅延化を図ることができる。さらに、ラインベース・ウェーブレット変換の場合、JPEG2000のタイル分割とは異なり、１つのベースバンド信号に対する分割ではなく、ウェーブレット係数での分割であるため、さらに、タイル境界でのブロックノイズ的な画質劣化が発生しないという特徴も有する。
【０１７１】
このようなラインベース・コーデックを行う符号化部２１００を、例えば、図４のビデオ符号化部１４０１に適用することにより、撮像装置１２０１は、より低遅延なデータ伝送を実現することができる。
【０１７２】
もちろん、ビデオ符号化部１４０１の符号化方式は任意であり、このラインベース・ウェーブレット変換に限らず、例えばJPEG2000やMPEG4のような既存の階層符号化など、任意の符号化方式を適用することができる。
【０１７３】
［３−２復号部］
次に、図９の符号化部２１００に対応する復号部について説明する。図１３は、本発明を適用した復号部の構成例を示すブロック図である。図１３に示される復号部２５００は、符号化部２１００により符号化された符号化データを復号して画像データを復元する。図１３に示されるように、復号部２５００は、エントロピ復号部２５０１、係数バッファ部２５０２、およびウェーブレット逆変換部２５０３を有する。
【０１７４】
エントロピ復号部２５０１は、供給された符号化データをエントロピ符号化部２１０５による符号化方法に対応する復号方法で復号し、係数データを得る。その係数データは、係数バッファ部２５０２に格納される。ウェーブレット逆変換部２５０３は、係数バッファ部２５０２に格納された係数データを用いて、合成フィルタによる合成フィルタ処理（ウェーブレット逆変換）を行い、合成フィルタ処理の結果を再び係数バッファ部２５０２に格納する。ウェーブレット逆変換部２５０３は、この処理を分解レベルに応じて繰り返して、復号された画像データ（出力画像データ）を得ると、それを外部に出力する。
【０１７５】
このようなラインベース・コーデックを行う復号部２５００を、例えば、図４のビデオ復号部１６０６に適用することにより、撮像装置１２０１は、より低遅延なデータ伝送を実現することができる。
【０１７６】
もちろん、ビデオ復号部１６０６の符号化方式は任意であり、このラインベース・ウェーブレット変換に限らず、例えばJPEG2000やMPEG4のような既存の階層符号化など、任意の符号化方式を適用することができる。
【０１７７】
［３−３送信処理の流れ］
図１４のフローチャートを参照して、符号化処理の流れの例を説明する。
【０１７８】
符号化処理が開始されると、ステップＳ２００１において、ウェーブレット変換部２１０１は、途中計算用バッファ部２１０２や係数並び替え用バッファ部２１０３を用いて、ライン入力しながらウェーブレット変換を行う。
【０１７９】
ステップＳ２００２において、ウェーブレット変換部２１０１は、１ラインブロック分の処理を行ったか否かを判定する。ラインブロック内に未処理のラインが存在すると判定された場合、処理は、ステップＳ２００１に戻る。
【０１８０】
ステップＳ２００１およびステップＳ２００２の各処理が繰り返し実行され、ステップＳ２００２において、ラインブロック内の全てのラインを処理したと判定された場合、処理は、ステップＳ２００３に進む。
【０１８１】
ステップＳ２００３において、係数並び替え部２１０４は、係数並び替え用バッファ部２１０３に記憶されている係数データを所定順に読み出すことにより、係数データの並び替えを行う。
【０１８２】
ステップＳ２１０４において、エントロピ符号化部２１０５は、ステップＳ２００３において読み出された順に、係数データをエントロピ符号化する。
【０１８３】
ステップＳ２１０４の処理が終了すると、符号化処理が終了する。
【０１８４】
以上のように符号化処理を行うことにより、符号化部２１００は、より低遅延に画像データを符号化することができる。
【０１８５】
［３−４受信処理の流れ］
図１５のフローチャートを参照して、復号処理の流れの例を説明する。
【０１８６】
復号処理が開始されると、ステップＳ２１０１において、エントロピ復号部２５０１は、供給された符号化データをエントロピ復号する。
【０１８７】
ステップＳ２１０２において、係数バッファ部２５０２は、ステップＳ２１０１において復号されて得られた係数データを保持する。
【０１８８】
ステップＳ２１０３において、ウェーブレット逆変換部２５０３は、ステップＳ２１０２において係数バッファ部２５０２に蓄積された係数データを、外部からの要求に基づいて、若しくは、所定のタイミングにおいて読みだす。ウェーブレット逆変換部２５０３は、読み出した係数データに対してウェーブレット逆変換を行い、画像データを生成する。
【０１８９】
ステップＳ２１０３の処理が終了すると、復号処理が終了する。
【０１９０】
以上のように復号処理を行うことにより、復号部２５００は、より低遅延に画像データを復号することができる。
【０１９１】
［３−５その他］
なお、ここまで説明した各実施の形態に共通し、ラインベース・コーデックとして上述したラインベース・ウェーブレット変換を用いる場合、ラインブロック単位ではなくラインブロックのサブバンド単位で通信パケットを生成することができる。その場合、受信メモリ部において、例えば画像ヘッダから取得されるラインブロック番号及びサブバンド番号に対応する記憶領域を確保し、周波数成分に分解された画像データをラインブロックのサブバンド単位で蓄積するようにしてもよい。
【０１９２】
この場合、例えばラインブロック単位で復号を行う際に、伝送エラーなどによってサブバンド（またはその一部）の欠落が生じたときは、ラインブロック内の当該サブバンド以降にダミーデータを挿入し、次のラインブロックからは通常の復号を行うようにしてもよい。
【０１９３】
＜４．第４の実施の形態＞
［コンピュータ］
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
【０１９４】
図１６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１９５】
図１６に示されるコンピュータ３１００において、CPU（Central Processing Unit）３１０１、ROM（Read Only Memory）３１０２、RAM（Random Access Memory）３１０３は、バス３１０４を介して相互に接続されている。
【０１９６】
バス３１０４にはまた、入出力インタフェース３１１０も接続されている。入出力インタフェース３１１０には、入力部３１１１、出力部３１１２、記憶部３１１３、通信部３１１４、およびドライブ３１１５が接続されている。
【０１９７】
入力部３１１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部３１１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部３１１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部３１１４は、例えば、ネットワークインタフェースよりなる。ドライブ３１１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア３１２１を駆動する。
【０１９８】
以上のように構成されるコンピュータでは、CPU３１０１が、例えば、記憶部３１１３に記憶されているプログラムを、入出力インタフェース３１１０およびバス３１０４を解して、RAM３１０３にロードして実行することにより、上述した一連の処理が行われる。RAM３１０３にはまた、CPU３１０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１９９】
コンピュータ（CPU３１０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア３１２１に記録して適用することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０２００】
コンピュータでは、プログラムは、リムーバブルメディア３１２１をドライブ３１１５に装着することにより、入出力インタフェース３１１０を介して、記憶部３１１３にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３１１４で受信し、記憶部３１１３にインストールすることができる。その他、プログラムは、ROM３１０２や記憶部３１１３に、あらかじめインストールしておくことができる。
【０２０１】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２０２】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２０３】
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０２０４】
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
【０２０５】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０２０６】
例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０２０７】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２０８】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２０９】
本技術は、例えば、動画像信号やビデオ信号や静止画像を圧縮して伝送、受信して伸長して画像を出力する装置に好適である。具体的には、モバイル通信機、TV会議システム、監視カメラ・レコーダシステム、医用遠隔医療診断、放送局内のビデオ圧縮・伝送、ライブ映像の配信、生徒と教師間のインタラクティブ通信、無線での静止画・動画伝送、対話型ゲームアプリケーション等に適用することができる。
【０２１０】
なお、本技術は以下のような構成も取ることができる。
（１）  伝送する画像データを符号化する際に前記画像データを符号化して得られる符号化データを蓄積する時間である送信バッファ待機時間に基づいて、前記符号化データの伝送先において前記符号化データを復号する前に前記符号化データを蓄積する時間である受信バッファ待機時間を推定する推定部と、
前記符号化データの伝送先において行われる誤り訂正処理による遅延時間である誤り訂正受信遅延時間が、前記推定部により推定された前記受信バッファ待機時間を越えないように、前記誤り訂正処理の処理単位となるブロック長を設定する設定部と、
前記設定部により設定された前記ブロック長を処理単位として、前記符号化データに誤り訂正用のパリティを挿入する挿入部と、
前記挿入部により前記パリティが挿入された前記符号化データを伝送する伝送部と
を備える情報処理装置。
（２）  前記推定部は、前記送信バッファ待機時間と前記受信バッファ待機時間との和が一定であるものとして、前記送信バッファ待機時間から前記受信バッファ待機時間を推定する
前記（１）に記載の情報処理装置。
（３）  前記推定部は、前記符号化データに付加される、映像制御レイヤ同期用タイムスタンプに基づいて前記送信バッファ待機時間を把握する
前記（１）または（２）に記載の情報処理装置。
（４）  前記推定部は、前記送信バッファ待機時間が変動する場合、その最長時間を用いて前記受信バッファ待機時間を推定する
前記（１）乃至（３）のいずれかに記載の情報処理装置。
（５）  前記設定部は、前記誤り訂正受信遅延時間が、前記ブロック長分のデータを受信する時間に相当するものとして、前記ブロック長を設定する
前記（１）乃至（４）のいずれかに記載の情報処理装置。
（６）  前記設定部は、前記誤り訂正受信遅延時間が、前記推定部により推定された前記受信バッファ待機時間を越えなければならない場合、前記誤り訂正受信遅延時間ができるだけ短くなるように、前記ブロック長を設定する
前記（１）乃至（５）のいずれかに記載の情報処理装置。
（７）  前記画像データを符号化して前記符号化データを生成する符号化部をさらに備え、
前記推定部は、前記符号化部における前記送信バッファ待機時間に基づいて前記受信バッファ待機時間を推定する
前記（１）乃至（６）のいずれかに記載の情報処理装置。
（８）  前記符号化部は、ピクチャを複数のラインブロックに分割し、そのラインブロック毎に符号化を行う、ラインベース・コーデックによって前記画像データを符号化する
前記（７）に記載の情報処理装置。
（９）  前記符号化部により生成された前記符号化データをパケット化するパケット生成部をさらに備える
前記（７）または（８）に記載の情報処理装置。
（１０）  前記パケット生成部は、生成した前記パケットに映像制御レイヤ同期用タイムスタンプを付加し、
前記推定部は、前記パケットに付加された映像制御レイヤ同期用タイムスタンプに基づいて前記送信バッファ待機時間を把握する
前記（７）乃至（９）のいずれかに記載の情報処理装置。
（１１）  被写体を撮像し、前記画像データを生成する撮像部をさらに備え、
前記符号化部は、前記撮像部により生成された前記画像データを符号化する
前記（７）乃至（１０）のいずれかに記載の情報処理装置。
（１２）  情報処理装置の情報処理方法において、
前記情報処理装置が、
伝送する画像データを符号化する際に前記画像データを符号化して得られる符号化データを蓄積する時間である送信バッファ待機時間に基づいて、前記符号化データの伝送先において前記符号化データを復号する前に前記符号化データを蓄積する時間である受信バッファ待機時間を推定し、
前記符号化データの伝送先において行われる誤り訂正処理による遅延時間である誤り訂正受信遅延時間が、推定された前記受信バッファ待機時間を越えないように、前記誤り訂正処理の処理単位となるブロック長を設定し、
設定された前記ブロック長を処理単位として、誤り訂正用のパリティを挿入し、
前記パリティが挿入された前記符号化データを伝送する
情報処理方法。
（１３）  コンピュータを、
伝送する画像データを符号化する際に前記画像データを符号化して得られる符号化データを蓄積する時間である送信バッファ待機時間に基づいて、前記符号化データの伝送先において前記符号化データを復号する前に前記符号化データを蓄積する時間である受信バッファ待機時間を推定する推定部と、
前記符号化データの伝送先において行われる誤り訂正処理による遅延時間である誤り訂正受信遅延時間が、前記推定部により推定された前記受信バッファ待機時間を越えないように、前記誤り訂正処理の処理単位となるブロック長を設定する設定部と、
前記設定部により設定された前記ブロック長を処理単位として、誤り訂正用のパリティを挿入する挿入部と、
前記挿入部により前記パリティが挿入された前記符号化データを伝送する伝送部と
して機能させるためのプログラム。
【符号の説明】
【０２１１】
１１００  画像伝送システム，  １１０１  送信装置，  １１０２  受信装置，  １１１１  画像用送信バッファ，  １１１２  誤り訂正ブロック長生成部，  １１２１  誤り訂正待機バッファ，  １１２２  画像用受信バッファ，  １２００  画像処理システム，  １２０１  撮像装置，  １２０２  CCU，  １２１０  ネットワーク，  １３０１  撮像部，  １３０２  送信部，  １３０３  受信部，  １３０４  表示部，  １４０１  ビデオ符号化部，  １４０２  パケット生成部，  １４０３  待機時間解析部，  １４０４  オーディオ符号化部，  １４０５  パケット生成部，  １４０６  待機時間解析部，  １４０７  多重化部，  １４０８  FECパリティ生成部，  １４０９  RTPパケット生成部，  １５０１  非同期伝送路I/F，  １５１０  回線制御同期タイミング調整部，  １５１１  タイムスタンプ生成部，  １５１２  クロック生成部，  １５１３  同期信号発生部，  １６０１  RTPパケット復号部，  １６０２  タイムスタンプ復号部，  １６０３  逆多重化部，  １６０４  FEC復号部，  １６０５  デパケタイザ，  １６０６  ビデオ復号部，  １６０７  FEC復号部，  １６０８  デパケタイザ，  １６０９  オーディオ復号部，  ２１００  符号化部，  ２１０１  ウェーブレット変換部，  ２１０２  途中計算用バッファ部，  ２１０３  係数並び替え用バッファ部，  ２１０４  係数並び替え部，  ２１０５  エントロピ符号化部，  ２５００  復号部，  ２５０１  エントロピ復号部，  ２５０２  係数バッファ部，  ２５０３  ウェーブレット逆変換部
【図１】
2013154024.tif 000003
【図２】
2013154024.tif 000004
【図３】
2013154024.tif 000005
【図４】
2013154024.tif 000006
【図５】
2013154024.tif 000007
【図６】
2013154024.tif 000008
【図７】
2013154024.tif 000009
【図８】
2013154024.tif 000010
【図９】
2013154024.tif 000011
【図１０】
2013154024.tif 000012
【図１１】
2013154024.tif 000013
【図１２】
2013154024.tif 000014
【図１３】
2013154024.tif 000015
【図１４】
2013154024.tif 000016
【図１５】
2013154024.tif 000017
【図１６】
2013154024.tif 000018
【国際調査報告】
2013154024.tif 000019
2013154024.tif 000020
2013154024.tif 000021
2013154024.tif 000022