(57)【特許請求の範囲】
【請求項１】
動画像符号化データを配信する配信手段を備え、
前記配信手段は、前記動画像符号化データから生成された誤り訂正符号データを送信し、
前記動画像符号化データは、ＲＴＰ（Ｒｅａｌ  Ｔｉｍｅ  Ｐｒｏｔｏｃｏｌ）に基づく第１のＲＴＰセッションにて送信され、
前記動画像符号化データから生成された誤り訂正符号データは、前記ＲＴＰに基づく第２のＲＴＰセッションにて送信され、
前記第１のＲＴＰセッションと前記第２のＲＴＰセッションとが異なる、動画像データ配信装置。
【請求項２】
前記配信手段が前記動画像符号化データと前記誤り訂正符号データとを識別する情報を配信することを特徴とする請求項１記載の動画像データ配信装置。
【請求項３】
動画像符号化データを受信する受信装置を備え、前記受信装置が、
前記動画像符号化データは、ＲＴＰ（Ｒｅａｌ  Ｔｉｍｅ  Ｐｒｏｔｏｃｏｌ）に基づく第１のＲＴＰセッションにて受信し、
前記動画像符号化データから生成された誤り訂正符号データは、前記ＲＴＰに基づく第２のＲＴＰセッションにて受信し、
前記第１のＲＴＰセッションと前記第２のＲＴＰセッションとが異なる、ことを特徴とする動画像データ受信装置。
【請求項４】
前記受信装置が前記動画像符号化データと前記誤り訂正符号データとを識別する情報を受信することを特徴とする請求項３記載の動画像データ受信装置。
【請求項５】
動画像符号化データを配信する配信手段が、前記動画像符号化データから生成された誤り訂正符号データを送信し、
前記動画像符号化データは、ＲＴＰ（Ｒｅａｌ  Ｔｉｍｅ  Ｐｒｏｔｏｃｏｌ）に基づく第１のＲＴＰセッションにて送信され、
前記動画像符号化データから生成された誤り訂正符号データは、前記ＲＴＰに基づく第２のＲＴＰセッションにて送信され、
前記第１のＲＴＰセッションと前記第２のＲＴＰセッションとが異なることを特徴とする動画像データ配信方法。
【請求項６】
前記配信手段が前記動画像符号化データと前記誤り訂正符号データとを識別する情報を配信することを特徴とする請求項５記載の動画像データ配信方法。
【請求項７】
画像符号化データを受信する受信装置が、前記動画像符号化データは、ＲＴＰ（Ｒｅａｌ  Ｔｉｍｅ  Ｐｒｏｔｏｃｏｌ）に基づく第１のＲＴＰセッションにて受信し、
前記動画像符号化データから生成された誤り訂正符号データは、前記ＲＴＰに基づく第２のＲＴＰセッションにて受信し、
前記第１のＲＴＰセッションと前記第２のＲＴＰセッションとが異なることを特徴とする動画像データ受信方法。
【請求項８】
前記受信装置が前記動画像符号化データと前記誤り訂正符号データとを識別する情報を受信することを特徴とする請求項７記載の動画像データ受信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化された画像データを配信する方法、装置、及びシステム、並びに画像データの配信装置と受信装置をそれぞれ構成するコンピュータで実行されるコンピュータプログラムに関し、特に、受信装置での動画像データ等の受信環境に応じて良好な画質の再生を可能とするのに好適とされる方法、装置、システム、ならびにコンピュータプログラムに関する。
【背景技術】
【０００２】
近年、動画像データを効率良く伝送する方法として、フレーム間予測に基づいた高能率圧縮による符号化データを伝送する方法が多く用いられている。これらの方式では、時間的に前後のフレームから符号化画像を予測して得られた予測パラメータと予測残差画像データを符号化することで、時間方向の相関が高い動画像データの情報量を削減する。さらに、予測残差画像データを変換符号化や量子化により高能率に圧縮符号化することで、少ない伝送帯域での動画像データ伝送を可能としている。
【０００３】
その代表例としてはＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）−１、ＭＰＥＧ−２、ＭＰＥＧ-４などの圧縮符号化方式を用いる方法がある。これらの圧縮符号化方式では、入力画像フレームをマクロブロックとよばれる一定サイズの矩形領域単位で動き補償によるフレーム間予測を行い、得られた動きベクトルと、予測残差画像データに２次元離散コサイン変換及び量子化を施して圧縮した信号データを可変長符号化する。
【０００４】
このような動画像圧縮符号化情報を、パケット交換方式を利用したＩＰ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）ネットワークへ配信する方法は多数あり、また、無線伝送路を用いた動画像の配信へと展開していくことが考えられる。
【０００５】
動画像データの配信において、ネットワークのトラヒックの状況によりパケット損失が発生した場合、もしくは無線伝送路での無線誤りや損失が発生した場合、失われたデータの再送要求を行う方法が一般的である。
【０００６】
また、無線伝送路での通信では、個々の受信者の無線受信環境によって、送受信電力制御等を行って、データの通信品質を確保し、受信データの安定化を図っている。
【０００７】
なお、画質の異なる画像情報を伝送する手法として、データレートの低い低画質成分の画像情報の伝送とデータレートの高い高画質成分の画像情報の伝送を適応的に切り替え、画質を劣化させることなく伝送効率の向上を図ったシステムが知られている（例えば特許文献１）。また、送信側に異なるレートの複数の映像データを備えたものとして、映像送信装置に複数の映像レートを持つ映像データ（１）〜（３）を用意し、映像受信装置が、レート切替要求信号を映像送信装置に送り、映像データ（１）〜（３）を切替えることにより、映像停止を防ぎ、高画質の映像データを送信するようにした装置も知られている（例えば特許文献２）。さらに、受信データを選択して再構成し復号化する装置として、受信側装置内の再構成手段が、画像フレームの同一部分について受信した複数のブロックデータ（送信側装置から画像フレーム中の同一部分について複数のブロックデータが送信される）から正常なブロックデータを選択し当該画像フレームを再構成し、再構成された画像フレームを復号化する画像復号化手段を備えた構成も知られている（例えば特許文献３）。なお、後述されるＲＴＰヘッダ情報等については以下の非特許文献１等が参照される。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平１０−２９４９４１号公報（第５−６頁、第１図）
【特許文献２】特開平１１−１８７３６７号公報（第３−４頁、第１図）
【特許文献３】特開平１０−２２４７４６号公報（第４−６頁、第１図）
【非特許文献】
【０００９】
【非特許文献１】Schulzrinne, H., Casner, S., Frederick, R., and V. Jacobson, "RTP: A Transport Protocol for Real-Time Applications", RFC 1889, January 1996、5.1 RTP Fixed Header Fields. インターネット＜URL//www.ietf.org/tfc.htmlから入手される、ftp://ftp.rfc-editor.org/in-notes/rfc1889.txt＞
【発明の概要】
【発明が解決しようとする課題】
【００１０】
ところで、パケット損失発生時、再送要求によるデータ損失を補完するという従来の手法では、再送要求情報、及び再送されてくるデータが、さらにネットワークトラヒックを増大させる結果となる。このため、トラヒックの輻輳によってパケットが損失している場合、本質的な解決とならない。また、受信者ごとの無線伝送路での電力制御は、複雑な処理が必要となる。
【００１１】
さらに、再送制御や、受信者ごとの無線伝送路での電力制御といった手法を採用しても、パケットの損失が発生する場合がある。パケット損失に対する受信側での対策として、正しくデコードできた時間的に前後のフレームの画像や同一フレーム内の周囲の画像データから、誤りをなるべく目立たなくするような画像データを生成するエラーコンシールメント手法がある。しかしながら、このエラーコンシールメント手法によっても、復号化画像の乱れを除去することは不可能である。さらに、フレーム間予測を利用しているため、一度発生した画像の乱れが、後続フレームにも伝搬してしまう、という問題がある。
【００１２】
したがって、本発明は上記の事情を考慮してなされたものであり、本発明の第１の目的は、動画像の配信において、トラヒックの増加を小さく抑えつつ、受信者の受信環境に応じて、配信画像品質の最適化を図る方法、装置、システム、及びコンピュータプログラムを提供することである。
【００１３】
また、本発明の第２の目的は、画像の配信方式の信頼性を高めるため、少なくとも１つ以上のセッションからの画像データを受信し、画像品質に応じてデータを選択し復号化することで、パケット損失発生時の画像の乱れを抑えることを可能とした方法、装置、システム、及びコンピュータプログラムを提供することである。
【００１４】
本発明のさらに別の目的は、上記第１、第２の目的を達成するため、送受信者両方に加わる処理量を少なく抑えることを可能とした方法、装置、システム、及びコンピュータプログラムを提供することにある。
【００１５】
本発明のさらに別の目的は、受信側からのフィードバック情報を送信側に送ることなく、上記第１、第２の目的を達成する方法、装置、システム、及びコンピュータプログラムを提供することにある。
【００１６】
さらに本発明の別の目的は、上記第１、第２の目的を達成しながら、受信装置側で必要とされる消費電力の増大を抑えることを可能とする方法、装置、システム、及びコンピュータプログラムを提供することにある。
【課題を解決するための手段】
【００１７】
前記目的の少なくとも１つを達成する本発明の１のアスペクトに係る装置は、同一画像の複数の画像符号化データを配信する際、画像品質にしたがって、画像符号化データを配信するセッションを選択する手段と、選択されたセッションで画像符号化データを配信する手段と、を備えている。本発明においては、この際に、同一画像の複数の画像符号化データを、時間差を設けて配信する構成としてもよい。
【００１８】
本発明においては、同一画像の複数の画像符号化データを配信する際、画像品質に基づき配信するセッションを選択する手段と、画像の品質によって選択されるセッションごとに、伝送路でのルーティングの優先度制御、及び／又は、無線伝送路での電力制御、を行う手段と、を備えた構成としてもよい。
【００１９】
本発明の他のアスペクトに係る装置は、画像符号化データを配信する際、画像フレーム及び／又は画像ブロックの種別に基づき、配信するセッションを選択する手段と、選択されたセッションで画像符号化データを配信する手段と、を備えている。
【００２０】
本発明においては、画像符号化データを配信する際、画像フレーム及び／又は画像ブロックの種別に基づき、配信するセッションを選択する手段と、画像の品質によって選択されるセッションごとに、伝送路でのルーティングの優先度制御、及び／又は、無線伝送路での電力制御を行う手段を備えた構成としてもよい。
【００２１】
本発明の他のアスペクトに係る装置は、画像符号化データを配信する際、画像符号化データを配信する複数のセッションを選択する手段と、選択されたセッションで画像符号化データを配信する手段と、を備えている。
【００２２】
本発明においては、画像符号化データを配信するセッションを選択する手段と、画像の品質によって選択されるセッションごとに、伝送路でのルーティングの優先度制御、及び／又は、無線伝送路での電力制御、を行う手段と、を備えた構成としてもよい。
【００２３】
本発明においては、前記同一画像の複数の画像符号化データは、符号化方式及びフレーム構成が同一であり、その各送信単位は、それぞれ同一フレームの同一部位が符号化されたデータである。
【００２４】
本発明の他のアスペクトに係る装置は、画像データ配信装置から配信される、少なくとも１つの動画像符号化データを受信する手段と、正常に受信された符号化データの中から、画像品質に基づき、データを選択する手段と、選択されたデータを復号化する手段と、を備えている。
【００２５】
本発明のさらに他のアスペクトに係る装置は、画像データ配信装置から配信される、少なくとも１つの動画像符号化データを受信する手段と、少なくとも１つの画像データの受信の有無を、受信データの誤り／損失率、利用可能な電力、あらかじめ定められた設定のうちの少なくとも１つに基づき、選択する手段と、正常に受信された符号化データの中から、画像品質に基づき、データを選択する手段と、選択されたデータを復号化する手段と、を備えている。
【００２６】
本発明の他のアスペクトに係る方法は、画像データ配信装置から画像データ受信装置へ画像データを配信する制御方法であって、
前記画像データ配信装置が、同一画像の複数の画像符号化データを配信する際、画像品質に基づき配信するセッションを選択するステップと、
選択されたセッションで画像符号化データを配信するステップと、
を含む。
【００２７】
本発明の他のアスペクトに係る方法は、前記画像データ配信装置が、同一画像の複数の画像符号化データを配信する際、画像品質に基づき配信するセッションを選択するステップと、
前記画像データ配信装置が、画像の品質によって選択されるセッションごとに伝送路でのルーティングの優先度制御や、無線伝送路の場合に電力制御を行うステップと、
を含む。
【００２８】
本発明の他のアスペクトに係る方法は、画像データ配信装置から画像データ受信装置へ画像データを配信する制御方法であって、
前記画像データ配信装置が、画像符号化データを配信する際、画像フレーム及び／又は画像ブロックの種別に基づき、配信するセッションを選択するステップと、
選択されたセッションで画像符号化データを配信するステップと、
を含む。
【００２９】
本発明の他のアスペクトに係る方法は、前記画像データ配信装置が、画像符号化データを配信する際、画像フレーム及び／又は画像ブロックの種別に基づき、配信するセッションを選択するステップと、
画像の品質によって選択されるセッションごとに伝送路でのルーティングの優先度制御や、無線伝送路の場合に電力制御を行うステップを含む。
【００３０】
本発明の他のアスペクトに係る方法は、前記画像データ受信装置は、前記画像データ配信装置から配信される少なくとも１つの動画像符号化データを受信するステップと、
前記画像データ受信装置は、正常に受信された符号化データの中から、画像品質に基づき、データを選択するステップと、
選択されたデータを復号化するステップと、
を含む。
【００３１】
本発明の他のアスペクトに係る方法は、前記画像データ受信装置は、前記画像データ配信装置から配信される少なくとも１つの動画像符号化データを受信するステップと、
少なくとも１つの画像データの受信の有無を、受信データの誤り／損失率、利用可能な電力、あらかじめ定められた設定のうちの少なくとも１つに基づき、選択するステップと、
前記画像データ受信装置は、正常に受信された符号化データの中から、画像品質に基づき、データを選択するステップと、
選択されたデータを復号化するステップと、
を含む。
【００３２】
本発明に係るシステムにおいては、画像データ配信装置は、同一の画像の複数の動画像データを、それぞれ異なったセッションで配信する手段と、動画像データを配信するセッションごとに伝送路でのルーティングの優先度制御や、無線伝送路での電力制御を設定する手段と、を備え、前記画像データ受信装置は、少なくとも１つのセッションにより配信されたデータを受信する手段と、受信した動画像データのうち、画像品質に基づいてデータを選択し、１つの動画像データに再構成する手段と、再構成されたデータを復号化する手段と、を備えている。
【００３３】
本発明に係るシステムにおいては、画像データ配信装置は、同一の画像の複数の動画像データを、それぞれ異なったセッションで配信する手段と、動画像データを配信するセッションごとに伝送路でのルーティングの優先度制御や、無線伝送路での電力制御を設定する手段と、を備え、前記画像データ受信装置は、少なくとも１つのセッションにより配信されたデータを受信する手段と、少なくとも１つのセッションの受信の有無を、受信データの誤り／損失率、受信装置の利用可能な電力、あらかじめ定められた設定のうちの少なくとも１つに基づき、選択する手段と、受信した動画像データのうち、画像品質に基づいてデータを選択し、１つの動画像データに再構成する手段と、再構成されたデータを復号化する手段と、を備えている。
【００３４】
本発明に係るシステムにおいては、前記画像データ配信装置は、動画像データと、動画像データの当該フレームの少なくとも一部をイントラ−マクロブロック符号化した符号化データとを、それぞれ異なったセッションで配信する手段と、動画像データを配信するセッションごとに伝送路でのルーティングの優先度制御や、無線伝送路での電力制御を設定する手段と、を備えている。
【００３５】
本発明に係るシステムにおいては、前記画像データ配信装置は、動画像データのＩ（Ｉｎｔｒａ）ピクチャ、Ｐ（Ｐｒｅｄｉｃｔｉｖｅ）ピクチャ、及び動画像の符号化に用いた符号化方式に存在する場合には、Ｂ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ−ｐｒｅｄｉｃｔｉｖｅ）ピクチャのうち、Ｉピクチャとそれ以外のピクチャとでそれぞれ異なったセッションで配信する手段と、動画像データを配信するセッションごとに、伝送路でのルーティングの優先度制御や、無線伝送路での電力制御を設定する手段と、を備え、前記画像データ受信装置は、少なくとも１つのセッションにより配信されたデータを受信する手段と、受信した動画像データを、１つの動画像データに再構成する手段と、再構成されたデータを復号化する手段とを備えている。
【００３６】
本発明に係るシステムにおいては、前記画像データ配信装置は、動画像データのＩピクチャ、Ｐピクチャ、及びＢピクチャのうち、Ｉ／Ｐピクチャとそれ以外のピクチャで、それぞれ異なったセッションで配信する手段と、動画像データを配信するセッションごとに、伝送路でのルーティングの優先度制御や、無線伝送路での電力制御を設定する手段と、を備えている。
【００３７】
本発明に係るシステムにおいては、前記画像データ配信装置は、動画像データのＩピクチャ、Ｐピクチャ、及びＢピクチャのうちＩピクチャ、Ｐピクチャ、Ｂピクチャで、それぞれ異なったセッションで配信する手段と、動画像データを配信するセッションごとに伝送路でのルーティングの優先度制御や、無線伝送路での電力制御を設定する手段と、を備えている。
【００３８】
本発明に係るシステムにおいては、前記画像データ配信装置は、動画像データのＩピクチャ、Ｐピクチャ、及び動画像の符号化に用いた符号化方式に存在する場合にはＢピクチャ、及び動画像データの当該フレームの少なくとも一部をイントラ−マクロブロック（Ｉｎｔｒａ−ＭＢ）符号化した符号化データを、それぞれ異なったセッションで配信する手段と、動画像データを配信するセッションごとに伝送路でのルーティングの優先度制御や、無線伝送路での電力制御を設定する手段と、を備えている。
【発明の効果】
【００３９】
本発明によれば、動画像の配信において、ネットワークトラヒックの増加を小さく抑えつつ、受信者の受信環境に応じて、配信画像を最適化することができる。
【００４０】
また、本発明によれば、伝送路でのデータ誤り、欠落に対して耐性のある配信が可能になり、動画像配信の信頼性を高めることができる。
【００４１】
また、本発明によれば、上記の２つの効果を得るため、送受信者双方に必要となる処理量の増加を、小さく抑えることができる。
【００４２】
本発明によれば、受信側から送信側へフィードバック情報を送ることなく、上記２つの効果を得ることができる。
【００４３】
また、本発明によれば、上記の２つの効果を得るために、受信装置で必要とされる消費電力の増大を、小さく抑えることができる。
【図面の簡単な説明】
【００４４】
【図１】本発明の第１の実施の形態の構成の一例を示す図である。
【図２】本発明の第２の実施の形態の構成の一例を示す図である。
【図３】本発明の第３の実施の形態の構成の一例を示す図である。
【図４】本発明の第４の実施の形態の構成の一例を示す図である。
【図５】本発明の第５の実施の形態の構成の一例を示す図である。
【図６】本発明の第６の実施の形態の構成の一例を示す図である。
【図７】本発明の第７の実施の形態の構成の一例を示す図である。
【図８】本発明の第８の実施の形態の構成の一例を示す図である。
【図９】本発明の第９の実施の形態の構成の一例を示す図である。
【図１０】本発明の第１０の実施の形態の構成の一例を示す図である。
【図１１】本発明の第１１の実施の形態の構成の一例を示す図である。
【図１２】本発明の第１２の実施の形態の構成の一例を示す図である。
【発明を実施するための形態】
【００４５】
本発明を実施するための最良の形態と実施例について以下に説明する。
【００４６】
［発明の第１の実施の形態］
本発明の第１の実施の形態において、画像データ配信装置は、同一の画像の複数の動画像データ（例えば異なる画像品質の動画像データ）を、それぞれ異なったセッションで配信する手段と、動画像データを配信するセッションごとに、伝送路でのルーティングの優先度制御や、無線伝送路での電力制御を設定する手段と、を備えている。画像データ受信装置側は、少なくとも１つのセッションにより配信されたデータを受信する手段と、受信した動画像データのうち、画像品質に基づいてデータを選択し、１つの動画像データに再構成して復号化する手段と、を備えている。
【００４７】
さらに、本発明の第１の実施の形態において、画像データ受信装置は、少なくとも１つのセッションの受信の有無を、受信データの誤り／損失率、受信装置の利用可能な電力、あらかじめ定められた設定のうちの少なくとも１つに基づき、選択する手段を備えた構成としてもよい。
【００４８】
［第１の実施例］
本発明の第１の実施例を図面を参照して説明する。第１図は、本発明の第１の実施例の構成を示している。第１図に示すように、画像符号化データを配信する画像データ配信装置１０１と、画像データ受信装置１０８と、画像符号化データを伝送するための伝送路１０７を備えている。本実施例では、画像データ配信装置１０１は、ＩＰ（Internet Protocol）網である伝送路１０７に接続されており、ＵＤＰ（User Datagram Protocol）／ＩＰを用いて画像符号化データを配信し、画像データ受信装置１０８は、ＩＰ網に接続されるクライアント端末とする。なお、本実施例では、あくまで説明の簡単のため、配信する画像データ数を「２」として説明するが、本発明において配信する画像データ数が２に限定されるものでないことは勿論である。
【００４９】
画像データ配信装置１０１は、配信情報送信部１０２と、セッション情報管理部１０３と、画像データ蓄積／生成部１０４と、画像符号化データ１送信部１０５と、画像符号化データ２送信部１０６と、を備えている。
【００５０】
画像データ受信装置１０８は、セッション情報受信部１０９と、画像符号化データ１受信部１１０及び画像符号化データ２受信部１１１と、符号化データ再構成部１１２と、デコーダ１１３を備えている。以下、画像データ配信装置１０１、画像データ受信装置１０８の動作について順に説明する。
【００５１】
画像データ配信装置１０１は、画像データ蓄積／生成部１０４で、
・あらかじめ蓄積された画像データ、もしくは、
・リアルタイムで符号化し生成された画像データ、もしくは、
・リアルタイムで既存画像データを変換し生成された画像データ
を、セッション情報管理部１０３で設定された、セッションごとの伝送路１０７でのルーティングの優先度情報、及び／又は、無線伝送路の電力制御情報に基づいて、画像符号化データ１送信部１０５及び画像符号化データ２送信部１０６により、伝送路１０７経由で送信する。優先ルーティングは、特定プロトコルとポート番号を指定することで、特定のアプリケーションデータを優先して送受信可能としたものであり、この実施例及び以下の各実施例では、公知の任意の手法を用いることができる。また無線伝送路での電力制御は、送信電力を制御し、適切な受信レベルに制御するためのものであり、この実施例及び以下の各実施例では、公知の任意の手法を用いることができる。
【００５２】
セッション情報管理部１０３では、画像符号化データ１及び画像符号化データ２の画像品質（圧縮率）に関する情報を管理し、配信情報送信部１０２から画像データ受信装置１０８に通知する。
【００５３】
画像符号化データ１送信部１０５、及び画像符号化データ２送信部１０６は、画像データ受信装置１０８で、重複する複数の画像データが受信された場合に、データの選択ができるように、また、受信したデータの順序が入れ替わっていても、正しく並び替えられるように、ＲＴＰ（Real-time Transport Protocol）に相当する情報（例えばＲＴＰヘッダ）を付加する機能を有する。ＲＴＰヘッダについては上記非特許文献１等が参照される。なお、画像符号化データ１及び画像符号化データ２の各送信単位は、それぞれ同一画像の同一フレームの同一部位を符号化したデータとし、これに同一のＲＴＰシーケンス番号を付与し、さらにいずれの画像符号化データかを示す、ペイロードタイプ、及び／又は、ＳＳＲＣ（Synchronization Source identifier）、及び／又は、ＣＳＲＣ（Contributing Source identifier）を付与してもよい。
【００５４】
また、送信の際、画像符号化データ１に対して画像符号化データ２を、例えば伝送路１０７でのデータの誤り、もしくは損失のバースト長より長くなるような時間差を設けて送信すると、伝送路で画像符号化データが両方とも誤り、もしくは損失の影響を受ける可能性が低下し、画像データ受信装置１０８がこの時間差以上の受信バッファを備える場合、より安定した画像データの配信をすることができる。このとき、画像符号化データ１と画像符号化データ２の画像品質を同じに設定するか、あるいは画像符号化データ１を画像符号化データ１送信部１０５及び画像符号化データ２送信部１０６の双方から送信すれば、伝送路での誤りや損失の影響があった場合の、画像データ受信装置での再生画像品質の劣化を最小限に抑えることが可能となる。
【００５５】
本実施例において、同一画像の複数の画像符号化データの送信の時間差（時間間隔）について、セッション情報管理部１０３で管理し、配信情報送信部１０２から画像データ受信装置１０８に通知する構成としてもよいし、あるいは、送信の時間差について、あらかじめ画像データ配信装置１０１及び画像データ受信装置１０８間で定めておき、該時間差に基づいて、画像データ受信装置１０８が、受信バッファ量を設定する構成としてもよい。
【００５６】
画像データ受信装置１０８は、画像データ配信装置１０１からの例えば画像品質（圧縮率）などの画像符号化に関する情報を、セッション情報受信部１０９で受信し、この情報から、伝送路１０７より受信した画像データの符号化情報を知る。
【００５７】
また、セッション情報管理部１０３は、
・画像符号化データ１及び画像符号化データ２の符号化設定、
・符号化オプション（使用ツール）、
・符号化データのペイロード・オプション、
・符号化データを識別するＲＴＰヘッダのペイロードタイプに相当する情報、
・ＳＳＲＣ、ＣＳＲＣに相当する情報、
の少なくとも１つを設定し、配信情報送信部１０２により画像データ受信装置１０８へ通知するか、あるいは、これらの情報を、あらかじめ画像データ配信装置１０１及び画像データ受信装置１０８間で設定しておいてもよい。
【００５８】
画像符号化データ１と画像符号化データ２ともに受信できた場合、重複する画像データについて、符号化データ再構成部１１２は、ＲＴＰに相当する機能、ＲＴＰヘッダのシーケンス番号、ペイロードタイプ、ＳＳＲＣや、ＣＳＲＣ、及び／又は、セッション情報受信部１０９で受信された画像品質に関する情報に基づいて選択して、１つの画像データに再構成し、再構成したデータをデコーダ１１３へと出力する。画像データは、１つだけ復号化すればよいので、デコーダ１１３の復号化処理の負担は増加しない。
【００５９】
受信環境により、配信される画像品質が最適化される仕組みは、以下のようなものとなる。
【００６０】
画像符号化データ１と画像符号化データ２の品質（圧縮率等）を変え、例えば画像符号化データ１をより高品質とする。
【００６１】
画像符号化データ１送信部１０５、及び画像符号化データ２送信部１０６で、画像符号化データ２を、伝送路１０７において画像符号化データ１より高い優先度でルーティングされるように設定する。もしくは、画像符号化データ１送信部１０５及び画像符号化データ２送信部１０６で、画像符号化データ２を、無線伝送路において、より高い電力で送信するように設定する。
【００６２】
受信者Ａの画像データ受信装置１０８と受信者Ｂの画像データ受信装置１０８が、配信される動画像データを受信しているとものし、受信者Ａの画像データ受信装置１０８は受信者Ｂの画像データ受信装置１０８と比べて、例えばネットワークのトラヒックに余裕がある、もしくは無線受信環境が良好である、ものとする。
【００６３】
受信者Ａの画像データ受信装置１０８は、ネットワークのトラヒックに余裕がある、もしくは無線受信環境が良好のため、画像符号化データ１の高品質な画像データと、画像符号化データ２の低品質な画像データの両方を受信することができる。そして、受信者Ａの画像データ受信装置１０８では、万が一、画像符号化データ１の画像データに誤りや欠落があったとしても、当該箇所を画像符号化データ２の画像データで補完することができるため、受信環境の良好さに応じた、高品質で安定した動画像データを再生することができる。
【００６４】
この際、例えば受信者Ａの画像データ受信装置１０８が、
バッテリー／電池で動作する場合のように、利用可能な電力に制限のある環境で使用される場合、及び／又は、
受信環境が良好であり、画像符号化データ１を、ほとんど誤りや欠落なく受信できる場合、
には、画像符号化データ２の受信を停止し、装置の使用時間をできるだけ長くする制御を行ってもよい。
【００６５】
逆に、画像データ受信装置１０８が、大容量バッテリーや、ＡＣ電源が接続された場合には、画像符号化データ１、画像符号化データ２とも受信するようにしてもよい。このように、利用可能な電力や受信環境に応じて、データの受信の有無を制御することもできる。あるいは、受信画像データ数を、受信者Ａが、画像データ受信装置１０８に設定できるように構成してもよい。
【００６６】
受信者Ｂの画像データ受信装置１０８は、高優先度でルーティング、もしくは高電力で無線配信された画像符号化データ２は受信することができ、受信環境が劣る分、受信者Ａの画像データ受信装置１０８と比べて品質は劣るものの、動画像データを再生することができる。
【００６７】
この際も、例えば受信者Ｂの画像データ受信装置１０８が、
バッテリー／電池で動作する場合のように、電力に制限のある環境で使用される場合、画像データ１の受信を停止し、画像データ２の受信のみとし、装置の使用時間をできるだけ長くするようにしてもよい。
【００６８】
逆に、受信者Ｂの画像データ受信装置１０８が、大容量バッテリーや、ＡＣ電源が接続された場合には、画像データ１、画像データ２とも受信するようにしてもよい。このように、利用可能な電力や受信環境に応じて、データの受信の有無を制御することもできる。
【００６９】
あるいは、受信画像データ数を、受信者Ｂが画像データ受信装置１０８に設定できるようにしてもよい。
【００７０】
また、圧縮率が高く、より低品質な画像符号化データ２の配信は、高品質な画像符号化データ１と比べて、トラヒックに余裕のないネットワークでの配信に適しており、また無線伝送路でより高い電力で送信することが容易であるため、限られたリソース環境下での配信に適用することが可能である。
【００７１】
なお、本実施例において、伝送路を複数とし、画像符号化データ１及び画像符号化データ２、及びこれらの画像符号化に関する情報を、異なった伝送路により伝送する構成としてもよいことは勿論である。
【００７２】
本実施例において、画像符号化データ１及び画像符号化データ２を配信するセッションは、少なくとも１つをユニキャスト方式で送信するようにしてもよいし、少なくとも１つをマルチキャスト、もしくはブロードキャスト方式で送信するようにしてもよい。
【００７３】
また、画像データ配信装置１０１における、配信情報送信部１０２と、セッション情報管理部１０３と、画像データ蓄積／生成部１０４と、画像符号化データ１送信部１０５と、画像符号化データ２送信部１０６について、画像データ配信装置１０１を構成するコンピュータで実行されるプログラム制御によりそれぞれの機能・処理を実現するようにしてもよいことは勿論である。画像データ受信装置１０８における、セッション情報受信部１０９と、画像符号化データ１受信部１１０及び画像符号化データ２受信部１１１と、符号化データ再構成部１１２と、デコーダ１１３について、画像データ受信装置１０８を構成するコンピュータで実行されるプログラム制御によりそれぞれの機能・処理を実現するようにしてもよいことは勿論である。
【００７４】
［発明の第２の実施の形態］
本発明の第２の実施の形態では、画像データ配信装置は、動画像データと、動画像データの当該フレームの少なくとも一部をイントラ−マクロブロック符号化した符号化データを、それぞれ異なったセッションで配信する手段と、動画像データを配信するセッションごとに伝送路でのルーティングの優先度制御や、無線伝送路での電力制御を設定する手段とを備えている。また画像データ受信装置側は、少なくとも１つのセッションにより配信されたデータを受信する手段と、受信した動画像データのうち、画像品質に基づいてデータを選択し、１つの動画像データに再構成して復号化する手段と、を備えている。さらに少なくとも１つのセッションの受信の有無を、受信データの誤り／損失率、受信装置の利用可能な電力、あらかじめ定められた設定のうちの少なくとも１つに基づき、選択する手段を備えた構成としてもよい。
【００７５】
［第２の実施例］
次に本発明の第２の実施例として図面を参照しながら説明する。第２図は、本発明の第２の実施例の構成を示す図である。第２図に示すように、画像データ配信装置２０１と、画像データ受信装置２０８、及び動画像符号化データを伝送するための伝送路２０７を備えている。本実施例では、画像データ配信装置２０１はＩＰ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）網である伝送路２０７に接続されており、ＵＤＰ／ＩＰを用いて画像符号化データを配信し、画像データ受信装置２０８は、ＩＰ網に接続されるクライアント端末であるとする。
【００７６】
画像データ配信装置２０１は、配信情報送信部２０２と、セッション情報管理部２０３と、画像データ蓄積／生成部２０４と、画像符号化データ送信部２０５と、イントラ−マクロブロック（Ｉｎｔｒａ−ＭＢ）符号化データ送信部２０６を備えている。
【００７７】
画像データ受信装置２０８は、セッション情報受信部２０９と、画像符号化データ受信部２１０、イントラ−マクロブロック（Ｉｎｔｒａ−ＭＢ）符号化データ受信部２１１、符号化データ再構成部２１２と、デコーダ２１３を備えている。以下、画像データ配信装置２０１、画像データ受信装置２０８の動作を順に説明する。
【００７８】
画像データ配信装置２０１は、画像データ蓄積／生成部２０４で、
・あらかじめ蓄積された画像データ、もしくは、
・リアルタイムで符号化し生成された画像データ、もしくは、
・リアルタイムで既存画像データを変換し生成された画像データ、
を、セッション情報管理部２０３で設定された、セッションごとの伝送路２０７でのルーティングの優先度情報、及び／又は、無線伝送路の電力制御情報に基づいて、画像符号化データ送信部２０５、及びイントラ−マクロブロック（Ｉｎｔｒａ−ＭＢ）符号化データ送信部２０６により、伝送路２０７経由で送信する。
【００７９】
また、セッション情報管理部２０３で、符号化データの種別に関する情報を管理し、配信情報送信部２０２から画像データ受信装置２０８に通知する。
【００８０】
画像符号化データ送信部２０５、及びＩｎｔｒａ−ＭＢ符号化データ送信部２０６は、画像データ受信装置２０８で、重複する複数の画像データが受信された場合に、データの選択ができるよう、また、受信したデータの順序が入れ替わっていても、正しく並び替えられるよう、ＲＴＰに相当する情報を付加する機能を有する。この際、イントラ−マクロブロック符号化データが符号化する画像の同一部位の画像符号化データに、同じＲＴＰシーケンス番号を付与し、さらに画像符号化データとイントラ−マクロブロックのいずれであるかを示すペイロードタイプ、及び／又は、ＳＳＲＣ、及び／又は、ＣＳＲＣを付与してもよい。
【００８１】
また、本実施例においては、送信の際、画像符号化データに対して、イントラ−マクロブロック符号化データを、例えば伝送路２０７でのデータの誤り、もしくは損失のバースト長より長くなるような時間差を設けて送信すると、伝送路で画像符号化データとイントラ−マクロブロック符号化データが両方とも誤り、もしくは損失の影響を受ける可能性が低下し、画像データ受信装置がこの時間差以上の受信バッファを備える場合、より安定した画像データの配信をすることができる。
【００８２】
本実施例において、同一画像の複数の画像符号化データの送信の時間差については、セッション情報管理部２０３で管理し、配信情報送信部２０２から画像データ受信装置２０８に通知するか、あらかじめ画像データ配信装置２０１及び画像データ受信装置２０８間で定めておき、その時間差に基づいて画像データ受信装置２０８が受信バッファ量を設定してもよい。
【００８３】
画像データ受信装置２０８は、画像データ配信装置２０１からの符号化データ種別に関する情報を、セッション情報受信部２０９で受信し、この情報から、伝送路２０７より受信した符号化データの種別を知る。
【００８４】
また、セッション情報管理部２０３は、
・符号化データの符号化設定、
・符号化オプション（使用ツール）、
・符号化データのペイロード・オプション、
・符号化データを識別するＲＴＰヘッダのペイロードタイプに相当する情報、
・ＳＳＲＣ、ＣＳＲＣに相当する情報
の少なくとも１つを設定し、配信情報送信部２０２により画像データ受信装置２０８へ通知するか、あるいは、これらの情報を、あらかじめ画像データ配信装置２０１及び画像データ受信装置２０８間で設定しておいてもよい。
【００８５】
画像符号化データ、及び、イントラ−マクロブロック符号化データの両方が受信できた場合、重複する画像データは、符号化データ再構成部２１２でＲＴＰに相当する機能、ＲＴＰヘッダのシーケンス番号、ペイロードタイプ、ＳＳＲＣや、ＣＳＲＣ、及び／又は、セッション情報受信部２０９で受信された情報に基づいて、１つの画像データに再構成し、デコーダ２１３へと出力する。画像データは、１つだけ復号化すればよいので、デコーダ２１３の復号化処理の負担は増加しない。
【００８６】
受信環境により、配信される画像品質が最適化される仕組みは、以下のようなものとなる。
【００８７】
イントラ−マクロブロックは、符号化されるフレームのうち、動きベクトルの大きい箇所等、一部のマクロブロックのみを選択して符号化する。
【００８８】
画像符号化データ送信部２０５、及びＩｎｔｒａ−ＭＢ符号化データ送信部２０６で、画像符号化データを、伝送路２０７において、イントラ−マクロブロック符号化データより高い優先度でルーティングされるように設定する。もしくは、画像符号化データ送信部２０５、及びＩｎｔｒａ−ＭＢ符号化データ送信部２０６で、画像符号化データを、無線伝送路においてより高い電力で送信するように設定する。
【００８９】
受信者Ａの画像データ受信装置２０８と受信者Ｂの画像データ受信装置２０８が、配信される動画像データを受信しているものとし、受信者Ａの画像データ受信装置２０８は、受信者Ｂの画像データ受信装置２０８と比べて、例えばネットワークのトラヒックに余裕があるか、もしくは、無線受信環境が良好であるもの、とする。
【００９０】
受信者Ａの画像データ受信装置２０８は、トラヒックに余裕があるか、もしくは無線受信環境が良好のため、画像符号化データとイントラ−マクロブロック符号化データの両方を受信することができる。そして、受信者Ａの画像データ受信装置２０８では、万が一、画像符号化データの一部に誤りや欠落があったとしても、当該箇所のマクロブロックの符号化データがイントラ−マクロブロック符号化データから受信できれば、補完することができる。あるいは、誤りや欠落により劣化したマクロブロックを、補正することができるため、受信環境の良好さに応じた、安定した動画像データが再生できる。
【００９１】
受信者Ｂの画像データ受信装置２０８は、高優先度でルーティング、もしくは高電力で無線配信された画像符号化データは受信することができ、受信環境が劣る分、受信者Ａの画像データ受信装置２０８よりも、データの誤りや欠落が増える可能性はあるものの、動画像データを再生することができる。
【００９２】
この際、例えば受信者Ａ、Ｂの画像データ受信装置２０８が、バッテリー／電池で動作する場合のように、電力に制限のある環境で使用される場合、及び／又は、受信環境が良好で、画像符号化データを、ほとんど誤りや欠落なく受信できる場合には、イントラ−マクロブロック符号化データの受信を停止し、装置の使用時間をできるだけ長くするようにしてもよい。
【００９３】
逆に、大容量バッテリーや、ＡＣ電源が接続された場合、画像符号化データ、イントラ−マクロブロック符号化データとも受信するなど、利用可能な電力や受信環境に応じて、データの受信の有無を制御することもできる。
【００９４】
本実施例においては、この受信画像符号化データの種別を、受信者が、画像データ受信装置２０８に設定できる構成としてもよい。
【００９５】
また、例えば画像符号化データが正しく受信できている場合でも、それがインターフレーム（参照フレーム）符号化データであるとき、符号化データ再構成部２１２で周期的に必ずイントラ−マクロブロック符号化データを選択するようにすれば、伝送路での誤りや損失が発生した場合でも、ＭＰＥＧ−４符号化方式でのＣＩＲ（Cyclic Intra Refresh）と同様の効果を得ることができ、伝送路での誤りや損失による再生画像品質の劣化を素早く回復させることで、以後のフレームへの品質劣化の伝播を小さく抑えることができる。
【００９６】
なお、本実施例において、伝送路を複数とし、画像符号化データ及びイントラ−マクロブロック符号化データ、及びこれらの画像符号化に関する情報を、異なった伝送路により伝送する構成としてもよい。
【００９７】
また、画像符号化データ及びイントラ−マクロブロック符号化データを配信するセッションは、少なくとも１つをユニキャスト方式で送信されても、少なくとも１つをマルチキャスト、もしくはブロードキャスト方式で送信するようにしてもよい。
【００９８】
また、画像データ配信装置２０１における、配信情報送信部２０２と、セッション情報管理部２０３と、画像データ蓄積／生成部２０４と、画像符号化データ送信部２０５と、イントラ−マクロブロック符号化データ送信部２０６について、画像データ配信装置２０１を構成するコンピュータで実行されるプログラム制御によりそれぞれの機能・処理を実現するようにしてもよいことは勿論である。画像データ受信装置２０８における、セッション情報受信部２０９と、画像符号化データ受信部２１０及びイントラ−マクロブロック符号化データ受信部２１１と、符号化データ再構成部２１２と、デコーダ２１３について、画像データ受信装置２０８を構成するコンピュータで実行されるプログラム制御によりそれぞれの機能・処理を実現するようにしてもよいことは勿論である。
【００９９】
［発明の第３の実施の形態］
本発明の第３の実施の形態では、画像データ配信装置側は、動画像データのＩ（Ｉｎｔｒａ）ピクチャ、Ｐ（Ｐｒｅｄｉｃｔｉｖｅ）ピクチャ、及び動画像の符号化に用いた符号化方式に存在する場合はＢ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ−ｐｒｅｄｉｃｔｉｖｅ）ピクチャのうち、Ｉピクチャとそれ以外のピクチャとでそれぞれ異なったセッションで配信する手段と、動画像データを配信するセッションごとに伝送路でのルーティングの優先度制御や、無線伝送路での電力制御を設定する手段と、を備えている。画像データ受信装置側は、少なくとも１つのセッションにより配信されたデータを受信する手段と、受信した動画像データを、１つの動画像データに再構成して復号化する手段と、を備えている。さらに少なくとも１つのセッションの受信の有無を、受信データの誤り／損失率、受信装置の利用可能な電力、あらかじめ定められた設定のうちの少なくとも１つに基づき、選択する手段を備えた構成としてもよい。
【０１００】
［第３の実施例］
本発明の第３の実施例を図面を参照しながら説明する。第３図は、本発明の第３の実施例の構成を示す図である。第３図に示すように、画像データ配信装置３０１と、画像データ受信装置３０８、及び画像符号化データを伝送するための伝送路３０７から構成される。本実施例では、画像データ配信装置３０１はＩＰ網である伝送路３０７に接続されており、ＵＤＰ／ＩＰを用いて画像符号化データを配信し、画像データ受信装置３０８は、ＩＰ網に接続されるクライアント端末であるとする。なお、ここでは簡単のため、配信する画像データの符号化方式には、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの３つのフレーム種別が存在するものとして説明する。
【０１０１】
画像データ配信装置３０１は、配信情報送信部３０２と、セッション情報管理部３０３と、画像データ蓄積／生成部３０４と、Ｉピクチャ符号化データ送信部３０５と、Ｐ／Ｂピクチャ符号化データ送信部３０６を備えている。
【０１０２】
画像データ受信装置３０８は、セッション情報受信部３０９と、Ｉピクチャ符号化データ受信部３１０、Ｐ／Ｂピクチャ符号化データ受信部３１１と、符号化データ再構成部３１２と、デコーダ３１３を備えている。以下、画像データ配信装置３０１、画像データ受信装置３０８の動作を順に説明する。
【０１０３】
画像データ配信装置３０１は、画像データ蓄積／生成部３０４で、
・あらかじめ蓄積された画像データ、もしくは、
・リアルタイムで生成された画像データ、もしくは、
・リアルタイムで既存画像データを変換し生成された画像データ、
を、セッション情報管理部３０３で設定された、セッションごとの伝送路３０７でのルーティングの優先度情報及び／又は、無線伝送路の電力制御情報に基づいて、Ｉピクチャ符号化データ送信部３０５及びＰ／Ｂピクチャ符号化データ送信部３０６により、伝送路３０７経由で送信する。
【０１０４】
また、セッション情報管理部３０３では、各セッションから配信するピクチャ情報を管理し、配信情報送信部３０２から画像データ受信装置３０８に通知する。
【０１０５】
Ｉピクチャ符号化データ送信部３０５、及び、Ｐ／Ｂピクチャ符号化データ送信部３０６は、画像データ受信装置３０８で、受信したデータの順序が入れ替わっていても、正しく並び替えられるよう、ＲＴＰに相当する情報を付加する機能を有する。
【０１０６】
画像データ受信装置３０８は、画像データ配信装置３０１からの画像符号化に関する情報を、セッション情報受信部３０９で受信し、この情報から、伝送路３０７より受信した画像データのピクチャ種別を知る。
【０１０７】
また、セッション情報管理部３０３は、
・符号化データの符号化設定、
・符号化オプション（使用ツール）、
・符号化データのペイロード・オプション、
・符号化データを識別するＲＴＰヘッダのペイロードタイプに相当する情報、
・ＳＳＲＣ、ＣＳＲＣに相当する情報、
の少なくとも１つを設定し、配信情報送信部３０２により画像データ受信装置３０８へ通知するか、あるいは、これらの情報を、あらかじめ画像データ配信装置３０１及び画像データ受信装置３０８間で設定しておいてもよい。
【０１０８】
受信したＩピクチャ、Ｐピクチャ、Ｂピクチャ符号化データは、符号化データ再構成部３１２で、ＲＴＰに相当する機能、ＲＴＰヘッダのシーケンス番号、ペイロードタイプ、ＳＳＲＣや、ＣＳＲＣ、及び／又は、セッション情報受信部３０９で受信された情報に基づいて、１つの画像データに再構成し、デコーダ３１３へと出力する。
【０１０９】
受信環境により、配信される画像品質が最適化される仕組みは、以下のようなもとなる。
【０１１０】
Ｉピクチャ符号化データ送信部３０５、及びＰ／Ｂピクチャ符号化データ送信部３０６で、Ｉピクチャ符号化データを、伝送路３０７において、Ｐ／Ｂピクチャ符号化データより高い優先度でルーティングされるように設定する。もしくは、Ｉピクチャ符号化データ送信部３０５、及びＰ／Ｂピクチャ符号化データ送信部３０６で、Ｉピクチャ符号化データを、無線伝送路においてより高い電力で送信するように設定する。
【０１１１】
受信者Ａの画像データ受信装置３０８と、受信者Ｂの画像データ受信装置３０８が、配信される動画像データを受信しているものとし、受信者Ａの画像データ受信装置３０８は受信者Ｂの画像データ受信装置３０８と比べて、例えばネットワークのトラヒックに余裕がある、もしくは無線受信環境が良好である、ものとする。
【０１１２】
受信者Ａの画像データ受信装置３０８は、トラヒックに余裕がある、もしくは無線受信環境が良好のため、Ｉピクチャ符号化データと、Ｐ／Ｂピクチャ符号化データの両方を受信することができ、受信環境の良好さに応じた、動きの滑らかな、高品質な動画像データを再生することができる。
【０１１３】
受信者Ｂの画像データ受信装置３０８は、高優先度でルーティング、もしくは高電力で無線配信されたＩピクチャ符号化データを受信することができ、受信環境が劣る分、受信者Ａの画像データ受信装置３０８よりも品質が劣るが、動画像データを再生することができる。
【０１１４】
この際、例えば受信者Ａ、Ｂの画像データ受信装置３０８が、バッテリー／電池で動作する場合のように、電力に制限のある環境で使用される場合には、例えば、受信者が画質よりも装置の使用時間を長く維持することを望むのであれば、Ｐ／Ｂピクチャ符号化データの受信を停止し、装置の使用時間をできるだけ長くするようにしてもよい。
【０１１５】
逆に、画像データ受信装置３０８が、大容量バッテリーや、ＡＣ電源が接続された場合には、全ピクチャの符号化データを受信するようにしてもよい。このように、利用可能な電力や受信環境に応じて、データの受信の有無を制御することもできる。
【０１１６】
本実施例においては、この受信ピクチャ符号化データの種別を、受信者が画像データ受信装置３０８に設定できるようにしてもよい。
【０１１７】
また、本来の全てのピクチャの符号化データを、同一のセッションで、同一のルーティングの優先度、または同一の電力で無線配信するのに比べ、トラヒックの負荷が高い状況や、無線リソースが限られた状況でも、状況に応じた柔軟な優先度設定や、電力制御が可能であり、少ない品質変動で動画像データを配信することができる。
【０１１８】
なお、本実施例において、伝送路を複数とし、Ｉピクチャ符号化データ及びＰ／Ｂピクチャ符号化データ、及びこれらの画像符号化に関する情報を、異なった伝送路により伝送する構成としてもよい。
【０１１９】
本実施例において、Ｉピクチャ符号化データ及びＰ／Ｂピクチャ符号化データを配信するセッションは、少なくとも１つをユニキャスト方式で送信するようにしてもよいし、少なくとも１つをマルチキャスト、もしくはブロードキャスト方式で送信するようにしてもよい。
【０１２０】
また、画像データ配信装置３０１における、配信情報送信部３０２と、セッション情報管理部３０３と、画像データ蓄積／生成部３０４と、Ｉピクチャ符号化データ送信部３０５と、Ｐ／Ｂピクチャ符号化データ送信部３０６について、画像データ配信装置３０１を構成するコンピュータで実行されるプログラム制御によりそれぞれの機能・処理を実現するようにしてもよいことは勿論である。画像データ受信装置３０８における、セッション情報受信部３０９と、Ｉピクチャ符号化データ受信部３１０及びＰ／Ｂピクチャ符号化データ受信部３１１と、符号化データ再構成部３１２と、デコーダ３１３について、画像データ受信装置３０８を構成するコンピュータで実行されるプログラム制御によりそれぞれの機能・処理を実現するようにしてもよいことは勿論である。
【０１２１】
［発明の第４の実施の形態］
本発明の第４の実施の形態では、画像データ配信装置は、動画像データのＩピクチャ、Ｐピクチャ、及びＢピクチャのうち、Ｉ／Ｐピクチャとそれ以外のピクチャで、それぞれ異なったセッションで配信する手段と、動画像データを配信するセッションごとに伝送路でのルーティングの優先度制御や、無線伝送路での電力制御を設定する手段とを備えている。画像データ受信装置は、少なくとも１つのセッションにより配信されたデータを受信する手段と、受信した動画像データを、１つの動画像データに再構成して復号化する手段と、を備えている。さらに少なくとも１つのセッションの受信の有無を、受信データの誤り／損失率、受信装置の利用可能な電力、あらかじめ定められた設定のうちの少なくとも１つに基づき、選択する手段を備えた構成としてもよい。
【０１２２】
［第４の実施例］
本発明の第４の実施例を図面を参照しながら説明する。第４図は、本発明の第４の実施例の構成を示す図である。第４図に示すように、画像データ配信装置４０１と、画像データ受信装置４０８、及び画像符号化データを伝送するための伝送路４０７から構成される。本実施例では、画像データ配信装置４０１はＩＰ網である伝送路４０７に接続されており、ＵＤＰ／ＩＰを用いて画像符号化データを配信し、画像データ受信装置４０８は、ＩＰ網に接続されるクライアント端末であるとする。なお、ここでは簡単のため、配信する画像データの符号化方式には、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの３つのフレーム種別が存在するとして説明する。
【０１２３】
画像データ配信装置４０１は、配信情報送信部４０２と、セッション情報管理部４０３と、画像データ蓄積／生成部４０４と、Ｉ／Ｐピクチャ符号化データ送信部４０５と、Ｂピクチャ符号化データ送信部４０６とを備えている。
【０１２４】
画像データ受信装置４０８は、セッション情報受信部４０９と、Ｉ／Ｐピクチャ符号化データ受信４１０と、Ｂピクチャ符号化データ受信部４１１と、符号化データ再構成部４１２と、デコーダ４１３を備えている。以下、画像データ配信装置４０１、画像データ受信装置４０８の動作について順に説明する。
【０１２５】
画像データ配信装置４０１は、画像データ蓄積／生成部４０４で、
・あらかじめ蓄積された画像データ、または、
・リアルタイムで生成された画像データ、または、
・リアルタイムで既存画像データを変換し生成された画像データ、
を、セッション情報管理部４０３で設定された、セッションごとの伝送路４０７でのルーティングの優先度情報、及び／又は、無線伝送路の電力制御情報に基づいて、Ｉ／Ｐピクチャ符号化データ送信部４０５及びＢピクチャ符号化データ送信部４０６により、伝送路４０７経由で送信する。
【０１２６】
また、セッション情報管理部４０３で、各セッションから配信するピクチャ情報を管理し、配信情報送信部４０２から画像データ受信装置４０８に通知する。
【０１２７】
Ｉ／Ｐピクチャ符号化データ送信部４０５、及びＢピクチャ符号化データ送信部４０６は、画像受信装置４０８で、受信したデータの順序が入れ替わっていても、正しく並び替えられるよう、ＲＴＰに相当する情報を付加する機能を有する。
【０１２８】
画像データ受信装置４０８は、画像データ配信装置４０１から配信される画像符号化に関する情報を、セッション情報受信部４０９で受信し、この情報から、伝送路４０７より受信した画像データのピクチャ種別を知る。
【０１２９】
なお、セッション情報管理部４０３は、
・符号化データの符号化設定、
・符号化オプション（使用ツール）、
・符号化データのペイロード・オプション、
・符号化データを識別するＲＴＰヘッダのペイロードタイプに相当する情報、
・及び／又は、ＳＳＲＣ、ＣＳＲＣに相当する情報、
の少なくとも１つを設定し、配信情報送信部４０２により画像データ受信装置４０８へ通知するか、あるいは、これらの情報を、あらかじめ画像データ配信装置４０１及び画像データ受信装置４０８間で設定しておいてもよい。
【０１３０】
受信したＩピクチャ、Ｐピクチャ、Ｂピクチャ符号化データは、符号化データ再構成部４１２でＲＴＰに相当する機能、ＲＴＰヘッダのシーケンス番号、ペイロードタイプ、ＳＳＲＣや、ＣＳＲＣ、及び／又は、セッション情報受信部４０９で受信された情報に基づいて１つの画像データに再構成し、デコーダ４１３へと出力する。
【０１３１】
受信環境により、配信される画像品質が最適化される仕組みは、以下のようなものとなる。
【０１３２】
Ｉ／Ｐピクチャ符号化データ送信部４０５、及びＢピクチャ符号化データ送信部４０６で、Ｉ／Ｐピクチャ符号化データを、伝送路４０７において、Ｂピクチャ符号化データよりも高い優先度でルーティングされるように設定する。もしくは、Ｉ／Ｂピクチャ符号化データ送信部４０５、及びＢピクチャ符号化データ送信部４０６で、Ｉ／Ｐピクチャ符号化データを、無線伝送路においてより高い電力で送信するように設定する。
【０１３３】
受信者Ａの画像データ受信装置４０８と、受信者Ｂの画像データ受信装置４０８が、配信される動画像データを受信しているものとし、受信者Ａの画像データ受信装置４０８は、受信者Ｂの画像データ受信装置４０８と比べて、例えばネットワークのトラヒックに余裕がある、もしくは無線受信環境が良好である、ものとする。
【０１３４】
受信者Ａの画像データ受信装置４０８は、トラヒックに余裕がある、もしくは無線受信環境が良好であるため、Ｉ／Ｐピクチャ符号化データと、Ｂピクチャ符号化データの両方を受信することができ、受信環境の良好さに応じた、動きの滑らかな、高品質な動画像データを再生することができる。
【０１３５】
受信者Ｂの画像データ受信装置４０８は、高優先度でルーティング、もしくは高電力で無線配信されたＩ／Ｐピクチャ符号化データは受信することができ、受信環境が劣る分、受信者Ａの画像データ受信装置４０８よりも、品質が劣るが、動画像データを再生することができる。
【０１３６】
この際、例えば受信者Ａ、Ｂの画像データ受信装置４０８が、バッテリー／電池で動作する場合のように、電力に制限のある環境で使用される場合には、例えば受信者が画質よりも装置の使用時間を長く維持することを望むのであれば、Ｂピクチャ符号化データの受信を停止し、装置の使用時間をできるだけ長くするようにしてもよい。
【０１３７】
逆に、画像データ受信装置４０８が大容量バッテリーや、ＡＣ電源が接続された場合には、全ピクチャの符号化データを受信するようにしてもよい。このように、利用可能な電力や受信環境に応じて、データの受信の有無を制御することもできる。
【０１３８】
本実施例においては、受信ピクチャ符号化データ種別を、受信者が画像データ受信装置４０８に設定できるようにしてもよい。
【０１３９】
また、本来の全てのピクチャの符号化データを、同一のセッションで、同一のルーティングの優先度、または同一の電力で無線配信するのに比べ、トラヒックの負荷が高い状況や、無線リソースが限られた状況でも、状況に応じた柔軟な優先度設定や、電力制御が可能で、少ない品質変動で動画像データを配信することができる。
【０１４０】
なお、本実施例において、伝送路を複数とし、Ｉ／Ｐピクチャ符号化データ、及びＢピクチャ符号化データ、及びこれらの画像符号化に関する情報を異なった伝送路により伝送する構成としてもよい。
【０１４１】
本実施例においても、Ｉ／Ｐピクチャ符号化データ及びＢピクチャ符号化データを配信するセッションは、少なくとも１つをユニキャスト方式で送信するようにしてもよいし、少なくとも１つをマルチキャスト、もしくはブロードキャスト方式で送信するようにしてもよい。
【０１４２】
また、画像データ配信装置４０１における、配信情報送信部４０２と、セッション情報管理部４０３と、画像データ蓄積／生成部４０４と、Ｉ／Ｐピクチャ符号化データ送信部４０５と、Ｂピクチャ符号化データ送信部４０６について、画像データ配信装置４０１を構成するコンピュータで実行されるプログラム制御によりそれぞれの機能・処理を実現するようにしてもよいことは勿論である。画像データ受信装置４０８における、セッション情報受信部４０９と、Ｉ／Ｐピクチャ符号化データ受信部４１０及びＢピクチャ符号化データ受信部４１１と、符号化データ再構成部４１２と、デコーダ４１３について、画像データ受信装置４０８を構成するコンピュータで実行されるプログラム制御によりそれぞれの機能・処理を実現するようにしてもよいことは勿論である。
【０１４３】
［発明の第５の実施の形態］
本発明の第５の実施の形態では、画像データ配信装置は、動画像データのＩピクチャ、Ｐピクチャ、及びＢピクチャのうち、Ｉピクチャ、Ｐピクチャ、Ｂピクチャで、それぞれ異なったセッションで配信する手段と、動画像データを配信するセッションごとに伝送路でのルーティングの優先度制御や、無線伝送路での電力制御を設定する手段と、を備えている。画像データ受信装置は、少なくとも１つのセッションにより配信されたデータを受信する手段と受信した動画像データを、１つの動画像データに再構成して復号化する手段と、を備えている。さらに少なくとも１つのセッションの受信の有無を、受信データの誤り／損失率、受信装置の利用可能な電力、あらかじめ定められた設定のうちの少なくとも１つに基づき、選択する手段を備えた構成としてもよい。
【０１４４】
［第５の実施例］
次に本発明の第５の実施例を図面を参照しながら説明する。第５図は、本発明の第５の実施例の構成の一例を示している。第５図に示すように、画像データ配信装置５０１と、画像データ受信装置５０９、及び画像符号化データを伝送するための伝送路５０８から構成される。本実施例では、画像データ配信装置５０１はＩＰ網である伝送路５０８に接続されており、ＵＤＰ／ＩＰを用いて画像符号化データを配信し、画像データ受信装置５０９は、ＩＰ網に接続されるクライアント端末であるとする。なお、ここでは簡単のため、配信する画像データの符号化方式には、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの３つのフレーム種別が存在するとして説明する。
【０１４５】
画像データ配信装置５０１は、配信情報送信部５０２と、セッション情報管理部５０３と、画像データ蓄積／生成部５０４と、Ｉピクチャ符号化データ送信部５０５、Ｐピクチャ符号化データ送信部５０６と、Ｂピクチャ符号化データ送信部５０７を備えている。
【０１４６】
画像データ受信装置５０９は、セッション情報受信部５１０と、Ｉピクチャ符号化データ受信部５１１、Ｐピクチャ符号化データ受信部５１２、Ｂピクチャ符号化データ受信部５１３、符号化データ再構成部５１４と、デコーダ５１５を備えている。以下、画像データ配信装置５０１、画像データ受信装置５０９の動作について順に説明する。
【０１４７】
画像データ配信装置５０１は、画像データ蓄積／生成部５０４で、
・あらかじめ蓄積された画像データ、もしくは、
・リアルタイムで生成された画像データ、もしくは、
・リアルタイムで既存画像データを変換し生成された画像データ、
を、セッション情報管理部５０３で設定された、セッションごとの伝送路５０８でのルーティングの優先度情報及び／又は、無線伝送路の電力制御情報に基づいて、Ｉピクチャ符号化データ送信部５０５、及びＰピクチャ符号化データ送信部５０６、及びＢピクチャ符号化データ送信部５０７により、伝送路５０８経由で送信する。
【０１４８】
セッション情報管理部５０３では、各セッションから配信するピクチャ情報を管理し、配信情報送信部５０２から画像データ受信装置５０９に通知する。
【０１４９】
Ｉピクチャ符号化データ送信部５０５、Ｐピクチャ符号化データ送信部５０６、及びＢピクチャ符号化データ送信部５０７は、画像データ受信装置５０９で、受信したデータの順序が入れ替わっていても、正しく並び替えられるよう、ＲＴＰに相当する情報を付加する機能を有する。
【０１５０】
画像データ受信装置５０９は、画像データ配信装置５０１からの画像符号化に関する情報を、セッション情報受信部５１０で受信し、この情報から、伝送路５０８より受信した画像データのピクチャ種別を知る。
【０１５１】
また、セッション情報管理部５０３は、
・符号化データの符号化設定、
・符号化オプション（使用ツール）、
・符号化データのペイロード・オプション、
・符号化データを識別するＲＴＰヘッダのペイロードタイプに相当する情報、
・ＳＳＲＣ、ＣＳＲＣに相当する情報、
の少なくとも１つを設定し、配信情報送信部５０２により画像データ受信装置５０９へ通知するか、あるいは、これらの情報を、あらかじめ画像データ配信装置５０１及び画像データ受信装置５０９間で設定しておいてもよい。
【０１５２】
受信したＩピクチャ、Ｐピクチャ、Ｂピクチャ符号化データは、符号化データ再構成部５１４でＲＴＰに相当する機能、ＲＴＰヘッダのシーケンス番号、ペイロードタイプ、ＳＳＲＣや、ＣＳＲＣ、及び／又は、セッション情報受信部５１０で受信された情報に基づいて、１つの画像データに再構成し、デコーダ５１５へと出力する。
【０１５３】
受信環境により、配信される画像品質が最適化される仕組みは、以下のようなものとなる。
【０１５４】
Ｉピクチャ符号化データ送信部５０５、Ｐピクチャ符号化データ送信部５０６、及びＢピクチャ符号化データ送信部５０７で、伝送路５０８において、Ｉピクチャ符号化データを最も高い優先度で、Ｐピクチャ符号化データをこれに次ぐ優先度で、Ｂピクチャ符号化データを最も低い優先度でルーティングされるように設定する。もしくは、Ｉピクチャ符号化データ送信部５０５、Ｐピクチャ符号化データ送信部５０６、及びＢピクチャ符号化データ送信部５０７で、無線伝送路において、Ｉピクチャ符号化データを最も高い電力で、Ｐピクチャ符号化データをこれに次ぐ電力で、Ｂピクチャを最も低い電力で送信するように設定する。
【０１５５】
受信者Ａと受信者Ｂと受信者Ｃのそれぞれの画像データ受信装置５０９が、配信される動画像データを受信しているものとし、受信者Ａの画像データ受信装置５０９は受信者Ｂの画像データ受信装置５０９より、受信者Ｂの画像データ受信装置５０９は受信者Ｃの画像データ受信装置５０９より、例えばネットワークのトラヒックに余裕がある、もしくは無線受信環境が良好である、ものとする。
【０１５６】
受信者Ａの画像データ受信装置５０９は、トラヒックに余裕がある、もしくは無線受信環境が良好であるため、Ｉピクチャ符号化データと、Ｐピクチャ符号化データと、Ｂピクチャ符号化データのいずれも受信することができ、受信環境の良好さに応じた、動きの滑らかな、最も高品質な動画像データを再生することができる。
【０１５７】
受信者Ｂの画像データ受信装置５０９は、最も高い優先度と、これに次ぐ優先度でルーティング、もしくは最も高い電力と、これに次ぐ電力で無線配信されたＩピクチャ符号化データと、Ｐピクチャ符号化データを受信することができ、受信環境が劣る分、受信者Ａよりは品質が劣るが、比較的滑らかな動きの動画像データは再生することができる。
【０１５８】
受信者Ｃの画像データ受信装置５０９では、最も高い優先度でルーティング、もしくは、最も高い電力で無線配信されたＩピクチャ符号化データを受信することができ、受信環境が劣る分、受信者Ａ、受信者Ｂの画像データ受信装置５０９よりも、品質が劣るが、動画像データを再生することができる。
【０１５９】
この際、例えば受信者Ａ、Ｂ、Ｃの画像データ受信装置５０９が、バッテリー／電池で動作する場合のように、電力に制限のある環境で使用される場合には、例えば受信者が画質よりも装置の使用時間を長く維持することを望むのであれば、より重要度の低いデータのＢピクチャ符号化データの受信を停止し、あるいは、さらにＢピクチャ及びＰピクチャの受信を停止することで、装置の使用時間をできるだけ長くするようにしてもよい。
【０１６０】
逆に、画像データ受信装置５０９が大容量バッテリーや、ＡＣ電源が接続された場合には、より重要度の高い符号化データから受信をするなど、利用可能な電力や受信環境に応じて、データの受信の有無を制御することもできる。
【０１６１】
本実施例においては、この受信ピクチャ符号化データ種別を、受信者が画像データ受信装置５０９に設定できるようにしてもよい。
【０１６２】
また、本来の全てのピクチャの符号化データを、同一のセッションで、同一のルーティングの優先度、または同一の電力で無線配信する場合と比べ、本実施例においては、トラヒックの負荷が高い状況や、無線リソースが限られた状況でも、状況に応じた柔軟な優先度設定や、電力制御が可能とされ、少ない品質変動で動画像データを配信することができる。
【０１６３】
なお、本実施例において、伝送路を複数とし、Ｉピクチャ符号化データ、Ｂピクチャ符号化データ、及びＰピクチャ符号化データ、これらの画像符号化に関する情報を、異なった伝送路により伝送する構成としてもよい。
【０１６４】
本実施例においても、Ｉピクチャ符号化データ、及び、Ｐピクチャ符号化データ及び、Ｂピクチャ符号化データを配信するセッションは、少なくとも１つをユニキャスト方式で送信するようにしてもよいし、少なくとも１つをマルチキャスト、もしくはブロードキャスト方式で送信するようにしてもよい。
【０１６５】
また画像データ配信装置５０１における、配信情報送信部５０２と、セッション情報管理部５０３と、画像データ蓄積／生成部５０４と、Ｉピクチャ符号化データ送信部５０５と、Ｐピクチャ符号化データ送信部５０６、Ｂピクチャ符号化データ送信部５０７について、画像データ配信装置５０１を構成するコンピュータで実行されるプログラム制御によりそれぞれの機能・処理を実現するようにしてもよいことは勿論である。画像データ受信装置５０９における、セッション情報受信部５１０と、Ｉピクチャ符号化データ受信部５１１、Ｐピクチャ符号化データ受信部５１２、Ｂピクチャ符号化データ受信部５１３と、符号化データ再構成部５１４と、デコーダ５１５について、画像データ受信装置５０９を構成するコンピュータで実行されるプログラム制御によりそれぞれの機能・処理を実現するようにしてもよいことは勿論である。
【０１６６】
［発明の第６の実施の形態］
本発明の第６の実施の形態では、画像データ配信装置は、動画像データのＩピクチャ、Ｐピクチャ、及び動画像の符号化に用いた符号化方式に存在する場合はＢピクチャ、及び動画像データの当該フレームの少なくとも一部をイントラ−マクロブロック（Ｉｎｔｒａ−ＭＢ）符号化した符号化データを、それぞれ異なったセッションで配信する手段と、動画像データを配信するセッションごとに伝送路でのルーティングの優先度制御や、無線伝送路での電力制御を設定する手段と、を備えている。画像データ受信装置は、少なくとも１つのセッションにより配信されたデータを受信する手段と、受信した動画像データのうち、画像品質に基づいてデータを選択し、１つの動画像データに再構成して復号化する手段と、を備えている。さらに、少なくとも１つのセッションの受信の有無を、受信データの誤り／損失率、受信装置の利用可能な電力、あらかじめ定められた設定のうちの少なくとも１つに基づき、選択する手段を備えた構成としてもよい。
【０１６７】
［第６の実施例］
本発明の第６の実施例を図面を参照しながら説明する。第６図は、本発明の第６の実施例の構成を示す図である。第６図に示すように、画像データ配信装置６０１と、画像データ受信装置６１０、及び画像符号化データを伝送するための伝送路６０９から構成される。本実施例では、画像データ配信装置６０１はＩＰ網である伝送路６０９に接続されており、ＵＤＰ／ＩＰを用いて画像符号化データを配信し、画像データ受信装置６１０は、ＩＰ網に接続されるクライアント端末であるとする。なお、ここでは簡単のため、配信する画像データの符号化方式には、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの３つのフレーム種別が存在するとして説明する。
【０１６８】
画像データ配信装置６０１は、配信情報送信部６０２と、セッション情報管理部６０３と、画像データ蓄積／生成部６０４と、Ｉピクチャ符号化データ送信部６０５、Ｐピクチャ符号化データ送信部６０６、Ｂピクチャ符号化データ送信部６０７、イントラ‐マクロブロック（Ｉｎｔｒａ‐ＭＢ）符号化データ送信部６０８を備えている。
【０１６９】
画像データ受信装置６１０は、セッション情報受信部６１１と、Ｉピクチャ符号化データ受信部６１２、Ｐピクチャ符号化データ受信部６１３、Ｂピクチャ符号化データ受信部６１４、イントラ‐マクロブロック（Ｉｎｔｒａ‐ＭＢ）符号化データ受信部６１５と、符号化データ再構成部６１６と、デコーダ６１７を備えている。以下、画像データ配信装置６０１、画像データ受信装置６１０の動作について順に説明する。
【０１７０】
画像データ配信装置６０１は、画像データ蓄積／生成部６０４で、
・あらかじめ蓄積された画像データ、もしくは、
・リアルタイムで生成された画像データ、もしくは、
・リアルタイムで既存画像を変換し生成された画像データ、
を、セッション情報管理部６０３で設定された、セッションごとの伝送路６０９でのルーティングの優先度情報及び／又は無線伝送路の電力制御情報に基づいて、Ｉピクチャ符号化データ送信部６０５、Ｐピクチャ符号化データ送信部６０６、Ｂピクチャ符号化データ送信部６０７、及びＩｎｔｒａ−ＭＢ符号化データ送信部６０８により、伝送路６０９経由で送信する。
【０１７１】
セッション情報管理部６０３で、各セッションから配信するピクチャ情報を管理し、配信情報送信部６０２から画像データ受信装置６１０に通知する。
【０１７２】
Ｉピクチャ符号化データ送信部６０５、Ｐピクチャ符号化データ送信部６０６、Ｂピクチャ符号化データ送信部６０７、及びＩｎｔｒａ−ＭＢ符号化データ送信部６０８は、画像データ受信装置６１０で、重複する複数の画像データが受信された場合に、データの選択ができるよう、また、受信したデータの順序が入れ替わっていても、正しく並び替えられるよう、ＲＴＰに相当する情報を付加する機能を有する。この際、例えばイントラ−マクロブロック符号化データが符号化する画像の同一部位のＩ／Ｐ／Ｂピクチャ符号化データに、同じＲＴＰシーケンス番号を付与し、さらに画像符号化データとイントラ−マクロブロックのいずれであるかを示すペイロードタイプ、及び／又は、ＳＳＲＣ、及び／又は、ＣＳＲＣを付与してもよい。
【０１７３】
また、送信の際、Ｉ／Ｐ／Ｂピクチャ符号化データに対して、イントラ−マクロブロック符号化データを、例えば伝送路６０９でのデータの誤り、もしくは損失のバースト長より長くなるような時間差を設けて送信すると、伝送路でＩ／Ｐ／Ｂピクチャ符号化データとイントラ−マクロブロック符号化データが両方とも誤り、もしくは損失の影響を受ける可能性が低下し、画像データ受信装置がこの時間差以上の受信バッファを備える場合、より安定した画像データの配信をすることができる。
【０１７４】
本実施例において、同一画像の複数の画像符号化データの送信の時間差について、セッション情報管理部６０３で管理し、配信情報送信部６０２から画像データ受信装置６１０に通知するか、あるいは、送信の時間差について、あらかじめ画像データ配信装置６０１及び画像データ受信装置６１０間で定めておき、その時間差に基づいて画像データ受信装置６１０が受信バッファ量を設定してもよい。
【０１７５】
画像データ受信装置６１０は、画像データ配信装置６０１からの画像符号化に関する情報を、セッション情報受信部６１１で受信し、この情報から、伝送路６０９より受信した画像データのピクチャ、ブロック種別を知る。
【０１７６】
また、セッション情報管理部６０３は、
・符号化データの符号化設定、
・符号化オプション（使用ツール）、
・符号化データのペイロード・オプション、
・符号化データを識別するＲＴＰヘッダのペイロードタイプに相当する情報、
・ＳＳＲＣ、ＣＳＲＣに相当する情報、
の少なくとも１つを設定し、配信情報送信部６０２により画像データ受信装置６１０へ通知するか、あるいは、これらの情報を、あらかじめ画像データ配信装置６０１及び画像データ受信装置６０９間で設定しておいてもよい。
【０１７７】
受信したＩピクチャ、Ｐピクチャ、Ｂピクチャ、イントラ−マクロブロック符号化データは、符号化データ再構成部６１６で、ＲＴＰに相当する機能、ＲＴＰヘッダのシーケンス番号、ペイロードタイプ、ＳＳＲＣや、ＣＳＲＣ、及び／又は、セッション情報受信部６１１で受信された情報に基づいて、１つの画像データに再構成し、デコーダ６１７へと出力する。画像データは、１つだけ復号化すればよいので、デコーダ６１７の復号化処理の負担は増加しない。
【０１７８】
受信環境により、配信される画像品質が最適化される仕組みは、以下のようになる。
【０１７９】
イントラ−マクロブロックは、符号化されるフレームのうち、動きベクトルの大きい箇所等、一部のマクロブロックのみを選択して符号化することとする。
【０１８０】
Ｉピクチャ符号化データ送信部６０５、Ｐピクチャ符号化データ送信部６０６、Ｂピクチャ符号化データ送信部６０７、及び、Ｉｎｔｒａ−ＭＢ符号化データ送信部６０８で、例えば、伝送路６０９において、
・Ｉピクチャ符号化データを最も高い優先度で、
・Ｐピクチャをその次の優先度で、
・Ｂピクチャさらに次の優先度で、
・イントラ−マクロブロック符号化データを最も低い優先度、
でルーティングされるように設定する。
【０１８１】
もしくは、Ｉピクチャ符号化データ送信部６０５、Ｐピクチャ符号化データ送信部６０６、Ｂピクチャ符号化データ送信部６０７、及び、Ｉｎｔｒａ−ＭＢ符号化データ送信部６０８で、無線伝送路において、
・Ｉピクチャ符号化データを最も高い電力で、
・Ｐピクチャ符号化データをこれに次ぐ電力で、
・Ｂピクチャ符号化データをさらにこれに次ぐ電力で、
・イントラ−マクロブロック符号化データを最も低い電力、
で送信するように設定する。
【０１８２】
受信者Ａと受信者Ｂと受信者Ｃと受信者Ｄのそれぞれの画像データ受信装置６１０が、配信される動画像データを受信しているものとし、
・受信者Ａの画像データ受信装置６１０は受信者Ｂの画像データ受信装置６１０より、
・受信者Ｂの画像データ受信装置６１０は受信者Ｃの画像データ受信装置６１０より、
・受信者Ｃの画像データ受信装置６１０は受信者Ｄの画像データ受信装置６１０より、例えばネットワークのトラヒックに余裕がある、もしくは無線受信環境が良好である、ものとする。
【０１８３】
受信者Ａの画像データ受信装置６１０は、トラヒックに余裕がある、もしくは無線受信環境が良好であるため、Ｉピクチャ符号化データと、Ｐピクチャ符号化データと、Ｂピクチャ符号化データと、イントラ−マクロブロック符号化データのいずれも受信することができ、受信環境の良好さに応じた、動きの滑らかな、最も高品質な動画像データが再生できる。また、受信者Ａの画像データ受信装置６１０では、万が一、画像符号化データの一部に誤りや欠落があったとしても、当該箇所のマクロブロックの符号化データがイントラ−マクロブロック符号化データから受信できれば、補完することができる、あるいは、誤りや欠落により劣化したマクロブロックを、補正することができるため、受信環境の良好さに応じた、安定した動画像データが再生することができる。
【０１８４】
受信者Ｂの画像データ受信装置６１０は、最も高い優先度と、これに次ぐ優先度と、さらに次の優先度でルーティング、もしくは最も高い電力と、これに次ぐ電力と、さらに次の電力で無線配信されたＩピクチャ符号化データと、Ｐピクチャ符号化データと、Ｂピクチャ符号化データを受信することができる。受信者Ｂの画像データ受信装置６１０では、画像符号化データの一部に誤りや欠落が発生した場合には、受信者Ａの画像データ受信装置６１０のようなデータの補完、補正はできないため、画質が劣化するが、それ以外の場合は、同等の品質の動画像データが再生することができる。
【０１８５】
受信者Ｃの画像データ受信装置６１０は、最も高い優先度と、これに次ぐ優先度でルーティング、もしくは最も高い電力と、これに次ぐ電力で無線配信されたＩピクチャ符号化データと、Ｐピクチャ符号化データを受信することができ、受信環境が劣る分、受信者Ａ、受信者Ｂの画像データ受信装置６１０よりも、品質が劣るものの、比較的滑らかな動きの動画像データは再生することができる。
【０１８６】
受信者Ｄの画像データ受信装置６１０は、最も高い優先度でルーティング、もしくは最も高い電力で無線配信されたＩピクチャ符号化データを受信することができ、受信環境が劣る分、受信者Ａ、受信者Ｂ、受信者Ｃの画像データ受信装置６１０よりも品質が劣るが、動画像データを再生することができる。
【０１８７】
この際、例えば受信者Ａ、Ｂ、Ｃ、Ｄの画像データ受信装置６１０が、バッテリー／電池で動作する場合のように、電力に制限のある環境で使用される場合に、例えば受信者が画質よりも装置の使用時間を長く維持することを望むのであれば、より重要度の低いデータのイントラ−マクロブロック符号化データの受信を停止し、次いでＢピクチャ符号化データの受信を停止する、さらにＰピクチャの受信を停止することで、低消費電力化を図り、装置の使用時間をできるだけ長くするようにしてもよい。
【０１８８】
逆に、画像データ受信装置６１０が大容量バッテリーや、ＡＣ電源が接続された場合には、より重要度の高い符号化データから受信をするなど、利用可能な電力や受信環境に応じて、データの受信の有無を制御することもできる。
【０１８９】
本実施例においては、この受信ピクチャ符号化データの種別を、受信者が、画像データ受信装置６１０に設定できる構成としてもよい。
【０１９０】
さらに、例えば画像符号化データが正しく受信できている場合でも、それがＰピクチャ、もしくはＢピクチャ符号化データであるとき、符号化データ再構成部６１６で周期的に必ずイントラ−マクロブロック符号化データを選択するようにすれば、伝送路での誤りや損失が発生した場合でも、ＭＰＥＧ−４符号化方式でのＣＩＲ（Cyclic Intra Refresh）と同様の効果を得ることができ、伝送路での誤りや損失による再生画像品質の劣化を素早く回復させることで、以後のフレームへの品質劣化の伝播を小さく抑えることができる。
【０１９１】
また、本来の全てのピクチャの符号化データを、同一のセッションで、同一のルーティングの優先度、または同一の電力で無線配信するのに比べ、トラヒックの負荷が高い状況や、無線リソースが限られた状況でも、状況に応じた柔軟な優先度設定や、電力制御が可能で、少ない品質変動で動画像データを配信することができる。
【０１９２】
なお、本実施例において、伝送路を複数とし、Ｉピクチャ符号化データ、Ｂピクチャ符号化データ、Ｐピクチャ符号化データ、及びイントラ−マクロブロック符号化データ、及びこれらのデータに関する情報が、異なった伝送路を介して伝送される構成としてもよいことは勿論である。
【０１９３】
本実施例において、Ｉピクチャ符号化データ及び、Ｐピクチャ符号化データ及び、Ｂピクチャ符号化データ、及びイントラ−マクロブロック符号化データを配信するセッションは、少なくとも１つをユニキャスト方式で送信するようにしてもよいし、少なくとも１つをマルチキャスト、もしくはブロードキャスト方式で送信するようにしてもよい。
【０１９４】
画像データ配信装置６０１における、配信情報送信部６０２と、セッション情報管理部６０３と、画像データ蓄積／生成部６０４と、Ｉピクチャ符号化データ送信部６０５と、Ｐピクチャ符号化データ送信部６０６、Ｂピクチャ符号化データ送信部６０７、イントラ−マクロブロック符号化データ送信部６０８について、画像データ配信装置６０１を構成するコンピュータで実行されるプログラム制御によりそれぞれの機能・処理を実現するようにしてもよいことは勿論である。画像データ受信装置６１０における、セッション情報受信部６１１と、Ｉピクチャ符号化データ受信部６１２、Ｐピクチャ符号化データ受信部６１３、Ｂピクチャ符号化データ受信部６１４、イントラ−マクロブロック符号化データ受信部６１５と、符号化データ再構成部６１６と、デコーダ６１７について、画像データ受信装置６１０を構成するコンピュータで実行されるプログラム制御によりそれぞれの機能・処理を実現するようにしてもよいことは勿論である。
【０１９５】
［発明の第７の実施の形態］
本発明の第７の実施の形態において、画像データ配信装置は、同一の画像の複数の動画像データ（例えば異なる画像品質の動画像データ）及び、誤り訂正符号データを、それぞれ異なったセッションで配信する手段と、少なくとも１つのセッションで、データを配信するセッションごとに、伝送路でのルーティングの優先度制御や、無線伝送路での電力制御を設定する手段と、を備えている。画像データ受信装置側は、少なくとも１つのセッションにより配信されたデータを受信する手段と、伝送路での誤りや損失によって失われた動画像データを、誤り訂正符号データを用いて復元する手段と、受信した動画像データ及び、復元された動画像データのうち、画像品質に基づいてデータを選択し、１つの動画像データに再構成して復号化する手段と、を備えている。
【０１９６】
さらに、本発明の第７の実施の形態において、画像データ受信装置は、少なくとも１つのセッションの受信の有無を、受信データの誤り／損失率、受信装置の利用可能な電力、あらかじめ定められた設定のうちの少なくとも１つに基づき、選択する手段を備えた構成としてもよい。
【０１９７】
［第７の実施例］
本発明の第７の実施例を図面を参照して説明する。第７図は、本発明の第７の実施例の構成を示している。第７図に示すように、画像符号化データを配信する画像データ配信装置７０１と、画像データ受信装置７０８と、画像符号化データ及び誤り訂正符号データを伝送するための伝送路７０７を備えており、これらは、前記第１の実施例の画像データ配信装置１０１と、画像データ受信装置１０８と、伝送路１０７にそれぞれ対応している。画像データ配信装置７０１を構成する各要素７０２乃至７０６、画像データ受信装置７０８を構成する各要素７０９乃至７１３は、前記第１の実施例のそれぞれ画像データ配信装置１０１の各要素１０２乃至１０６、画像データ受信装置１０８の各要素１０９乃至１１３に対応している。以下では、前記第１の実施例と異なる部分のみ説明する。なお、本実施例では、あくまで説明の簡単のため、配信する画像データ数を「２」とし、１つの符号化データから生成する誤り訂正符号データ数を「１」として説明するが、本発明において配信する画像データ数が「２」に、誤り訂正符号データ数が「１」に限定されるものでないことは勿論である。
【０１９８】
画像データ配信装置７０１は、配信情報送信部７０２と、セッション情報管理部７０３と、画像データ蓄積／生成部７０４と、画像符号化データ１送信部７０５と、画像符号化データ２送信部７０６と、ＦＥＣ（前方誤り訂正）符号データ送信部７１４を備えている。
【０１９９】
画像データ受信装置７０８は、セッション情報受信部７０９と、画像符号化データ１受信部７１０、画像符号化データ２受信部７１１、符号化データ再構成部７１２と、デコーダ７１３と、ＦＥＣ符号データ受信部７１５を備えている。
【０２００】
画像データ配信装置７０１の画像データ蓄積／生成部７０４で、
・あらかじめ蓄積された画像データ、もしくは、
・リアルタイムで符号化し生成された画像符号化データ、もしくは、
・リアルタイムで既存画像符号化データを変換し生成された画像符号化データ
と、上記のいずれかによる画像符号化データから生成された誤り訂正符号データを、セッション情報管理部７０３で設定された、セッションごとの伝送路７０７でのルーティングの優先度情報、及び／又は、無線伝送路の電力制御情報に基づいて、画像符号化データ１送信部７０５及び画像符号化データ２送信部７０６及びＦＥＣ符号データ送信部７１４により、伝送路７０７経由で送信する。ここで、前方誤り訂正（ＦＥＣ；Forwards Error Correction）符号とは、リード・ソロモン符号やＬＤＰＣ（Low Density parity check）符号、畳み込み符号等があり、本発明ではこれらの既存の手法を用いるため、ここでの詳しい説明は省略する。
【０２０１】
セッション情報管理部７０３では、画像符号化データ１及び画像符号化データ２の画像品質（圧縮率）及び、誤り訂正符号データに関する情報を管理し、配信情報送信部７０２から画像データ受信装置７０８に通知する。
【０２０２】
ＦＥＣ符号データ送信部７１４は、画像符号化データのどの部分の誤り訂正符号データであるかわかるように、ＲＴＰに相当する情報（例えばＲＴＰヘッダのシーケンス番号）を付加する機能を有する。またさらに、誤り訂正符号データであることを示す、ペイロードタイプ、及び／又は、ＳＳＲＣ、及び／又は、ＣＳＲＣを付与してもよい。
【０２０３】
また、セッション情報管理部７０３は、
・画像符号化データ１及び画像符号化データ２の符号化設定、
・誤り定性符号種別、
・誤り訂正符号設定（例えばＬＤＰＣ符号での検査行列データ、もしくはこれを生成するための設定）、
・符号化オプション（使用ツール）、
・符号化データのペイロード・オプション、
・符号化データ及び誤り訂正符号を識別するＲＴＰヘッダのペイロードタイプに相当する情報、
・ＳＳＲＣ、ＣＳＲＣに相当する情報、
の少なくとも１つを設定し、配信情報送信部７０２により画像データ受信装置７０８へ通知してもよく、また、これらの情報を、あらかじめ画像データ配信装置７０１及び画像データ受信装置７０８間で設定しておいてもよい。
【０２０４】
画像データ符号化データ１が伝送路での誤り、もしくは損失により受信できなかった場合、符号化データ再構成部７１２は、ＦＥＣ符号データ受信部で受信した誤り訂正符号データを用いて画像符号化データ１を復元する。復元して得た画像符号化データ１を含め、画像符号化データ１と画像符号化データ２ともに受信できた場合については、第１の実施例と同様である。
【０２０５】
受信環境により、配信される画像品質が最適化される仕組みも、第１の実施例と同様で、受信環境が良好である画像データ受信装置７０８は、画像符号化データ１、２及び誤り訂正符号データを受信することができ、より高品質で安定した動画像データを再生することができる。また、これらを配信するセッションごとに伝送路でのルーティングの優先度や、無線伝送路での送信電力を制御することができるため、ネットワークリソースを考慮した配信を行うことができる。
【０２０６】
また、誤り訂正符号データを複数とする場合、誤り訂正符号化データを、伝送路での誤り、もしくは損失のいくつかのパターンに合わせて生成し、コンテンツ受信装置７０８が、受信環境に最も適した誤り訂正符号データによって、伝送路で誤った／損失したデータを復元することで、より高い確率で本来のコンテンツの符号化データを得ることもできる。この場合、コンテンツ配信装置７０１が、コンテンツ受信装置７０８へ、それぞれの誤り訂正符号化データが適している伝送路状況を通知するか、あるいは誤り訂正符号データを生成するための設定（例えばＬＤＰＣ方式での検査行列、もしくはこれを生成するための設定情報）を通知するか、あるいはこれをあらかじめコンテンツ配信装置７０１とコンテンツ受信装置７０８間で定めておいてもよい。
【０２０７】
さらに、誤り訂正符号データを複数とする場合、誤り訂正符号方式が異なっていてもよく、コンテンツ受信装置７０８の受信環境や、処理能力によって、復号が可能な誤り訂正符号データを選択してもよい。この場合、コンテンツ配信装置７０１が、コンテンツ受信装置７０８へ、それぞれの誤り訂正符号種別を通知するか、あるいはこれをあらかじめコンテンツ配信装置７０１とコンテンツ受信装置７０８間で定めておいてもよい。
【０２０８】
上記以外については、前記第１の実施例と同様である。
【０２０９】
なお、本実施例において、伝送路を複数とし、画像符号化データ１及び画像符号化データ２、誤り訂正符号データ、及びこれらの画像符号化に関する情報を、異なった伝送路により伝送する構成としてもよいことは勿論である。
【０２１０】
本実施例において、画像符号化データ１及び画像符号化データ２及び誤り訂正符号データを配信するセッションは、ユニキャスト方式で送信するようにしてもよいし、マルチキャスト、もしくはブロードキャスト方式で送信するようにしてもよい。
【０２１１】
また、画像データ配信装置７０１における、配信情報送信部７０２と、セッション情報管理部７０３と、画像データ蓄積／生成部７０４と、画像符号化データ１送信部７０５と、画像符号化データ２送信部７０６と、ＦＥＣ符号データ送信部７１４について、画像データ配信装置７０１を構成するコンピュータで実行されるプログラム制御によりそれぞれの機能・処理を実現するようにしてもよいことは勿論である。画像データ受信装置７０８における、セッション情報受信部７０９と、画像符号化データ１受信部７１０及び画像符号化データ２受信部７１１と、符号化データ再構成部７１２と、デコーダ７１３と、ＦＥＣ符号データ受信部７１５について、画像データ受信装置７０８を構成するコンピュータで実行されるプログラム制御によりそれぞれの機能・処理を実現するようにしてもよいことは勿論である。
【０２１２】
［発明の第８の実施の形態］
本発明の第８の実施の形態では、画像データ配信装置は、動画像データと、動画像データの当該フレームの少なくとも一部をイントラ−マクロブロック符号化した符号化データと、誤り訂正符号データを、それぞれ異なったセッションで配信する手段と、少なくとも１つのセッションで、データを配信するセッションごとに伝送路でのルーティングの優先度制御や、無線伝送路での電力制御を設定する手段とを備えている。また画像データ受信装置側は、少なくとも１つのセッションにより配信されたデータを受信する手段と、伝送路での誤りや損失によって失われた動画像データを、誤り訂正符号データを用いて復元する手段と、受信した動画像データのうち、画像品質に基づいてデータを選択し、１つの動画像データに再構成して復号化する手段と、を備えている。さらに少なくとも１つのセッションの受信の有無を、受信データの誤り／損失率、受信装置の利用可能な電力、あらかじめ定められた設定のうちの少なくとも１つに基づき、選択する手段を備えた構成としてもよい。
【０２１３】
［第８の実施例］
次に本実施の形態の実施例を、本発明の第８の実施例として図面を参照しながら説明する。第８図は、本発明の第８の実施例の構成を示す図である。第８図に示すように、画像データ配信装置８０１と、画像データ受信装置８０８と、動画像符号化データ及び誤り訂正符号データを伝送するための伝送路８０７を備えており、これらは、それぞれ前記第２の実施例の画像データ配信装置２０１と、画像データ受信装置２０８と、伝送路２０７に対応している。また、画像データ配信装置８０１を構成する各要素８０２乃至８０６、画像データ受信装置８０８を構成する各要素８０９乃至８１３は、前記第２の実施例の画像データ配信装置２０１の各要素２０２乃至２０６、画像データ受信装置２０８の各要素２０９乃至２１３にそれぞれ対応している。以下では、第２の実施例との相違点についてのみ説明する。なお、本実施例では、説明の簡単のため、誤り訂正符号データは、画像符号化データから生成するものとし、１つの符号化データから生成する誤り訂正符号データ数を「１」として説明するが、誤り訂正符号データ数が「１」に限定されるものでないことは勿論である。
【０２１４】
画像データ配信装置８０１は、配信情報送信部８０２と、セッション情報管理部８０３と、画像データ蓄積／生成部８０４と、画像符号化データ送信部８０５と、イントラ−マクロブロック（Ｉｎｔｒａ−ＭＢ）符号化データ送信部８０６と、ＦＥＣ符号データ送信部８１４を備えている。
【０２１５】
画像データ受信装置８０８は、セッション情報受信部８０９と、画像符号化データ受信部８１０、イントラ−マクロブロック（Ｉｎｔｒａ−ＭＢ）符号化データ受信部８１１、符号化データ再構成部８１２と、デコーダ８１３と、ＦＥＣ符号データ受信部８１５を備えている。
【０２１６】
なお、ＦＥＣの方式については、第７の実施例と同様である。
【０２１７】
画像データ配信装置８０１は、画像データ蓄積／生成部８０４で、
・あらかじめ蓄積された画像データ、もしくは、
・リアルタイムで符号化し生成された画像データ、もしくは、
・リアルタイムで既存画像データを変換し生成された画像データ
と、上記のいずれかによる画像符号化データから生成された誤り訂正符号データを、セッション情報管理部８０３で設定された、セッションごとの伝送路８０７でのルーティングの優先度情報、及び／又は、無線伝送路の電力制御情報に基づいて、画像符号化データ送信部８０５、イントラ−マクロブロック（Ｉｎｔｒａ−ＭＢ）符号化データ送信部８０６及び、ＦＥＣ符号データ送信部８１４により、伝送路８０７経由で送信する。なお、誤り訂正符号については、第７の実施例と同様である。
【０２１８】
また、セッション情報管理部８０３で、符号化データの種別及び、誤り訂正符号データに関する情報を管理し、配信情報送信部８０２から画像データ受信装置８０８に通知する。
【０２１９】
ＦＥＣ符号データ送信部８１４は、画像符号化データのどの部分の誤り訂正符号データであるかわかるように、ＲＴＰに相当する情報（例えばＲＴＰヘッダのシーケンス番号）を付加する機能を有する。またさらに、誤り訂正符号データであることを示す、ペイロードタイプ、及び／又は、ＳＳＲＣ、及び／又は、ＣＳＲＣを付与してもよい。
【０２２０】
画像データ受信装置８０８は、画像データ配信装置８０１からの符号化データ種別及び、誤り訂正符号データに関する情報を、セッション情報受信部８０９で受信し、この情報から、伝送路８０７より受信したデータの種別を知る。
【０２２１】
また、セッション情報管理部８０３は、
・符号化データの符号化設定、
・誤り定性符号種別、
・誤り訂正符号設定（例えばＬＤＰＣ符号での検査行列データ、もしくはこれを生成するための設定）、
・符号化オプション（使用ツール）、
・符号化データのペイロード・オプション、
・符号化データ及び誤り訂正符号を識別するＲＴＰヘッダのペイロードタイプに相当する情報、
・ＳＳＲＣ、ＣＳＲＣに相当する情報、
の少なくとも１つを設定し、配信情報送信部８０２により画像データ受信装置８０８へ通知してもよく、また、これらの情報を、あらかじめ画像データ配信装置８０１及び画像データ受信装置８０８間で設定しておいてもよい。
【０２２２】
画像データ符号化データが伝送路での誤り、もしくは損失により受信できなかった場合、符号化データ再構成部８１２は、ＦＥＣ符号データ受信部８１５で受信した誤り訂正符号データを用いて画像符号化データを復元する。復元して得た画像符号化データを含め、画像符号化データとイントラ−マクロブロック符号化データともに受信できた場合については、第２の実施例と同様である。
【０２２３】
受信環境により、配信される画像品質が最適化される仕組みも、第２の実施例と同様で、受信環境が良好である画像データ受信装置８０８は、画像符号化データ、イントラ−マクロブロック符号化データ及び、誤り訂正符号データを受信することができ、より高品質で安定した動画像データを再生することができる。また、これらを配信するセッションごとに伝送路でのルーティングの優先度や、無線伝送路での送信電力を制御することができるため、ネットワークリソースを考慮した配信を行うことができる。
【０２２４】
また、誤り訂正符号データを複数とする場合については、第７の実施例と同様である。
【０２２５】
上記以外については、前記第２の実施例と同様である。
【０２２６】
なお、本実施例において、伝送路を複数とし、画像符号化データ、イントラ−マクロブロック符号化データ、誤り訂正符号データ及びこれらのデータに関する情報を、異なった伝送路により伝送する構成としてもよい。
【０２２７】
また、画像符号化データ、イントラ−マクロブロック符号化データ、誤り訂正符号データを配信するセッションは、少なくとも１つをユニキャスト方式で送信されても、少なくとも１つをマルチキャスト、もしくはブロードキャスト方式で送信するようにしてもよい。
【０２２８】
また、画像データ配信装置８０１における、配信情報送信部８０２と、セッション情報管理部８０３と、画像データ蓄積／生成部８０４と、画像符号化データ送信部８０５と、イントラ−マクロブロック符号化データ送信部８０６と、ＦＥＣ符号データ送信部８１４について、画像データ配信装置８０１を構成するコンピュータで実行されるプログラム制御によりそれぞれの機能・処理を実現するようにしてもよいことは勿論である。画像データ受信装置８０８における、セッション情報受信部８０９と、画像符号化データ受信部８１０及びイントラ−マクロブロック符号化データ受信部８１１と、符号化データ再構成部８１２と、デコーダ８１３と、ＦＥＣ符号データ受信部８１５について、画像データ受信装置８０８を構成するコンピュータで実行されるプログラム制御によりそれぞれの機能・処理を実現するようにしてもよいことは勿論である。
【０２２９】
［発明の第９の実施の形態］
本発明の第９の実施の形態では、画像データ配信装置側は、動画像データのＩピクチャ、Ｐピクチャ、及び動画像の符号化に用いた符号化方式に存在する場合はＢピクチャのうち、Ｉピクチャとそれ以外のピクチャとでそれぞれ異なったセッションで配信する手段と、誤り訂正符号データを配信する手段と、少なくとも１つのセッションで、データを配信するセッションごとに伝送路でのルーティングの優先度制御や、無線伝送路での電力制御を設定する手段と、を備えている。画像データ受信装置側は、少なくとも１つのセッションにより配信されたデータを受信する手段と、誤り訂正符号データを受信する手段と、伝送路での誤りや損失によって失われた動画像データを、誤り訂正符号データを用いて復元する手段と、受信した動画像データを、１つの動画像データに再構成して復号化する手段と、を備えている。さらに少なくとも１つのセッションの受信の有無を、受信データの誤り／損失率、受信装置の利用可能な電力、あらかじめ定められた設定のうちの少なくとも１つに基づき、選択する手段を備えた構成としてもよい。
【０２３０】
［第９の実施例］
本発明の第９の実施例を図面を参照しながら説明する。第９図は、本発明の第９の実施例の構成を示す図である。第９図に示すように、画像データ配信装置９０１と、画像データ受信装置９０８と、画像符号化データ及び誤り訂正符号データを伝送するための伝送路９０７から構成される。これらは、それぞれ前記第３の実施例の画像データ配信装置３０１と、画像データ受信装置３０８と、伝送路３０７に対応している。また、画像データ配信装置９０１を構成する各要素９０２乃至９０６、画像データ受信装置９０８を構成する９０９乃至９１３も、前記第３の実施例の画像データ配信装置３０１の各要素３０２乃至３０６、画像データ受信装置３０８の各要素３０９乃至３１３に対応している。以下では、前記第３の実施例との相違点についてのみ説明する。なお、本実施例では、説明の簡単のため、誤り訂正符号データは、Ｉピクチャ符号化データから生成するものとして説明するが、全てのピクチャ符号化データから生成し、それらを異なったセッションにより配信してもよいことは勿論である。また、本実施例では、説明の簡単のため、１つの符号化データから生成する誤り訂正符号データ数を「１」として説明するが、誤り訂正符号データ数が「１」に限定されるものでないことは勿論である。
【０２３１】
画像データ配信装置９０１は、配信情報送信部９０２と、セッション情報管理部９０３と、画像データ蓄積／生成部９０４と、Ｉピクチャ符号化データ送信部９０５と、Ｐ／Ｂピクチャ符号化データ送信部９０６と、ＦＥＣ符号データ送信部９１４を備えている。
【０２３２】
画像データ受信装置９０８は、セッション情報受信部９０９と、Ｉピクチャ符号化データ受信部９１０、Ｐ／Ｂピクチャ符号化データ受信部９１１と、符号化データ再構成部９１２と、デコーダ９１３と、ＦＥＣ符号データ受信部９１５を備えている。
【０２３３】
なお、ＦＥＣの方式については、第７の実施例と同様である。
【０２３４】
画像データ配信装置９０１は、画像データ蓄積／生成部９０４で、
・あらかじめ蓄積された画像データ、もしくは、
・リアルタイムで生成された画像データ、もしくは、
・リアルタイムで既存画像データを変換し生成された画像データ、
と、上記のいずれかによる画像符号化データから生成された誤り訂正符号データを、セッション情報管理部９０３で設定された、セッションごとの伝送路９０７でのルーティングの優先度情報及び／又は、無線伝送路の電力制御情報に基づいて、Ｉピクチャ符号化データ送信部９０５及びＰ／Ｂピクチャ符号化データ送信部９０６及びＦＥＣ符号データ送信部９１４により、伝送路９０７経由で送信する。
【０２３５】
また、セッション情報管理部９０３では、各セッションから配信するピクチャ情報及び、誤り訂正符号データを管理し、配信情報送信部９０２から画像データ受信装置９０８に通知する。
【０２３６】
ＦＥＣ符号データ送信部９１４は、Ｉピクチャ符号化データのどの部分の誤り訂正符号データであるかわかるように、ＲＴＰに相当する情報（例えばＲＴＰヘッダのシーケンス番号）を付加する機能を有する。またさらに、誤り訂正符号データであることを示す、ペイロードタイプ、及び／又は、ＳＳＲＣ、及び／又は、ＣＳＲＣを付与してもよい。
【０２３７】
画像データ受信装置９０８は、画像データ配信装置９０１からの画像符号化及び、誤り訂正符号データに関する情報を、セッション情報受信部９０９で受信し、この情報から、伝送路９０７より受信した画像データのピクチャ種別及び、誤り訂正符号データの対象符号化データ種別を知る。
【０２３８】
また、セッション情報管理部９０３は、
・符号化データの符号化設定、
・誤り定性符号種別、
・誤り訂正符号設定（例えばＬＤＰＣ符号での検査行列データ、もしくはこれを生成するための設定）、
・符号化オプション（使用ツール）、
・符号化データのペイロード・オプション、
・符号化データ及び誤り訂正符号を識別するＲＴＰヘッダのペイロードタイプに相当する情報、
・ＳＳＲＣ、ＣＳＲＣに相当する情報、
の少なくとも１つを設定し、配信情報送信部９０２により画像データ受信装置９０８へ通知してもよく、また、これらの情報を、あらかじめ画像データ配信装置９０１及び画像データ受信装置９０８間で設定しておいてもよい。
【０２３９】
Ｉピクチャ符号化データが伝送路での誤り、もしくは損失により受信できなかった場合、符号化データ再構成部９１２は、ＦＥＣ符号データ受信部９１５で受信した誤り訂正符号データを用いてＩピクチャ符号化データを復元する。復元して得たＩピクチャ符号化データを含め、画像データの再構成については、前記第３の実施例と同様である。
【０２４０】
受信環境により、配信される画像品質が最適化される仕組みも、第３の実施例と同様で、受信環境が良好である画像データ受信装置９０８は、Ｉピクチャ符号化データ、Ｐ／Ｂピクチャ符号化データ及び、誤り訂正符号データを受信することができ、より高品質で安定した動画像データを再生することができる。また、これらを配信するセッションごとに伝送路でのルーティングの優先度や、無線伝送路での送信電力を制御することができるため、ネットワークリソースを考慮した配信を行うことができる。
【０２４１】
また、誤り訂正符号データを複数とする場合については、第７の実施例と同様である。
【０２４２】
上記以外については、前記第３の実施例と同様である。
【０２４３】
なお、本実施例において、伝送路を複数とし、Ｉピクチャ符号化データ、Ｐ／Ｂピクチャ符号化データ、誤り訂正符号データ及びこれらに関する情報を、異なった伝送路により伝送する構成としてもよい。
【０２４４】
本実施例において、Ｉピクチャ符号化データ及びＰ／Ｂピクチャ符号化データ及び、誤り訂正符号データを配信するセッションは、少なくとも１つをユニキャスト方式で送信するようにしてもよいし、少なくとも１つをマルチキャスト、もしくはブロードキャスト方式で送信するようにしてもよい。
【０２４５】
また、画像データ配信装置９０１における、配信情報送信部９０２と、セッション情報管理部９０３と、画像データ蓄積／生成部９０４と、Ｉピクチャ符号化データ送信部９０５と、Ｐ／Ｂピクチャ符号化データ送信部９０６と、ＦＥＣ符号データ送信部９１４について、画像データ配信装置９０１を構成するコンピュータで実行されるプログラム制御によりそれぞれの機能・処理を実現するようにしてもよいことは勿論である。画像データ受信装置９０８における、セッション情報受信部９０９と、Ｉピクチャ符号化データ受信部９１０及びＰ／Ｂピクチャ符号化データ受信部９１１と、符号化データ再構成部９１２と、デコーダ９１３と、ＦＥＣ符号データ受信部９１５について、画像データ受信装置９０８を構成するコンピュータで実行されるプログラム制御によりそれぞれの機能・処理を実現するようにしてもよいことは勿論である。
【０２４６】
［発明の第１０の実施の形態］
本発明の第１０の実施の形態では、画像データ配信装置は、動画像データのＩピクチャ、Ｐピクチャ、及びＢピクチャのうち、Ｉ／Ｐピクチャとそれ以外のピクチャで、それぞれ異なったセッションで配信する手段と、誤り訂正符号データを配信する手段と、少なくとも１つのセッションで、データを配信するセッションごとに伝送路でのルーティングの優先度制御や、無線伝送路での電力制御を設定する手段とを備えている。画像データ受信装置は、少なくとも１つのセッションにより配信されたデータを受信する手段と、誤り訂正符号データを受信する手段と、伝送路での誤りや損失によって失われた動画像データを、誤り訂正符号データを用いて復元する手段と、受信した動画像データを、１つの動画像データに再構成して復号化する手段と、を備えている。さらに少なくとも１つのセッションの受信の有無を、受信データの誤り／損失率、受信装置の利用可能な電力、あらかじめ定められた設定のうちの少なくとも１つに基づき、選択する手段を備えた構成としてもよい。
【０２４７】
［第１０の実施例］
本発明の第１０の実施例を図面を参照しながら説明する。第１０図は、本発明の第１０の実施例の構成を示す図である。第１０図に示すように、画像データ配信装置１００１と、画像データ受信装置１００８と、画像符号化データ及び誤り訂正符号データを伝送するための伝送路１００７から構成される。これらは、それぞれ前記第４の実施例の画像データ配信装置４０１と、画像データ受信装置４０８と、伝送路４０７に対応している。画像データ配信装置１００１を構成する１００２乃至１００６、画像データ受信装置１００８を構成する各要素１００９乃至１０１３も、前記第４の実施例の画像データ配信装置４０１の各要素４０２乃至４０６、画像データ受信装置４０８の各要素４０９乃至４１３にそれぞれ対応している。以下では、主に、前記第４の実施例との相違点についてのみ説明する。なお、本実施例では、説明の簡単のため、誤り訂正符号データは、Ｉ／Ｂピクチャ符号化データから生成するものとして説明するが、全てのピクチャ符号化データから生成し、それらを異なったセッションにより配信してもよいことは勿論である。また、本実施例では、説明の簡単のため、１つの符号化データから生成する誤り訂正符号データ数を「１」として説明するが、誤り訂正符号データ数が「１」に限定されるものでないことは勿論である。
【０２４８】
画像データ配信装置１００１は、配信情報送信部１００２と、セッション情報管理部１００３と、画像データ蓄積／生成部１００４と、Ｉ／Ｐピクチャ符号化データ送信部１００５と、Ｂピクチャ符号化データ送信部１００６と、ＦＥＣ符号データ送信部１０１４を備えている。
【０２４９】
画像データ受信装置１００８は、セッション情報受信部１００９と、Ｉ／Ｐピクチャ符号化データ受信部１０１０と、Ｂピクチャ符号化データ受信部１０１１と、符号化データ再構成部１０１２と、デコーダ１０１３と、ＦＥＣ符号データ受信部１０１５を備えている。
【０２５０】
なお、ＦＥＣの方式については、第７の実施例と同様である。
【０２５１】
画像データ配信装置１００１は、画像データ蓄積／生成部１００４で、
・あらかじめ蓄積された画像データ、または、
・リアルタイムで生成された画像データ、または、
・リアルタイムで既存画像を変換し生成された画像データ、
と、上記のいずれかによる画像符号化データから生成された誤り訂正符号データを、セッション情報管理部１００３で設定された、セッションごとの伝送路１００７でのルーティングの優先度情報、及び／又は、無線伝送路の電力制御情報に基づいて、Ｉ／Ｐピクチャ符号化データ送信部１００５及びＢピクチャ符号化データ送信部１００６及び、ＦＥＣ符号データ送信部１０１４により、伝送路１００７経由で送信する。
【０２５２】
また、セッション情報管理部１００３では、各セッションから配信するピクチャ情報及び、誤り訂正符号データを管理し、配信情報送信部１００２から画像データ受信装置１００８に通知する。
【０２５３】
ＦＥＣ符号データ送信部１０１４は、Ｉ／Ｐピクチャ符号化データのどの部分の誤り訂正符号データであるかわかるように、ＲＴＰに相当する情報（例えばＲＴＰヘッダのシーケンス番号）を付加する機能を有する。またさらに、誤り訂正符号データであることを示す、ペイロードタイプ、及び／又は、ＳＳＲＣ、及び／又は、ＣＳＲＣを付与してもよい。
【０２５４】
画像データ受信装置１００８は、画像データ配信装置１００１からの画像符号化及び、誤り訂正符号データに関する情報を、セッション情報受信部１００９で受信し、この情報から、伝送路１００７より受信した画像データのピクチャ種別及び、誤り訂正符号データの対象符号化データ種別を知る。
【０２５５】
また、セッション情報管理部１００３は、
・符号化データの符号化設定、
・誤り定性符号種別、
・誤り訂正符号設定（例えばＬＤＰＣ符号での検査行列データ、もしくはこれを生成するための設定）、
・符号化オプション（使用ツール）、
・符号化データのペイロード・オプション、
・符号化データ及び誤り訂正符号を識別するＲＴＰヘッダのペイロードタイプに相当する情報、
・ＳＳＲＣ、ＣＳＲＣに相当する情報、
の少なくとも１つを設定し、配信情報送信部１００２により画像データ受信装置１００８へ通知してもよく、また、これらの情報を、あらかじめ画像データ配信装置１００１及び画像データ受信装置１００８間で設定しておいてもよい。
【０２５６】
Ｉ／Ｐピクチャ符号化データが伝送路での誤り、もしくは損失により受信できなかった場合、符号化データ再構成部１０１２は、ＦＥＣ符号データ受信部１０１５で受信した誤り訂正符号データを用いてＩ／Ｐピクチャ符号化データを復元する。復元して得たＩ／Ｐピクチャ符号化データを含め、画像データの再構成については、前記第４の実施例と同様である。
【０２５７】
受信環境により、配信される画像品質が最適化される仕組みも、第４の実施例と同様で、受信環境が良好である画像データ受信装置１００８は、Ｉ／Ｐピクチャ符号化データ、Ｂピクチャ符号化データ及び、誤り訂正符号データを受信することができ、より高品質で安定した動画像データを再生することができる。また、これらを配信するセッションごとに伝送路でのルーティングの優先度や、無線伝送路での送信電力を制御することができるため、ネットワークリソースを考慮した配信を行うことができる。
【０２５８】
また、誤り訂正符号データを複数とする場合については、第７の実施例と同様である。
【０２５９】
上記以外については、前記第４の実施例と同様である。
【０２６０】
なお、本実施例において、伝送路を複数とし、Ｉ／Ｐピクチャ符号化データ、Ｂピクチャ符号化データ、及び誤り訂正符号データ、これらのデータに関する情報を、異なった伝送路により伝送する構成としてもよい。
【０２６１】
本実施例においても、Ｉ／Ｐピクチャ符号化データ及びＢピクチャ符号化データ及び、誤り訂正符号データを配信するセッションは、少なくとも１つをユニキャスト方式で送信するようにしてもよいし、少なくとも１つをマルチキャスト、もしくはブロードキャスト方式で送信するようにしてもよい。
【０２６２】
また、画像データ配信装置１００１における、配信情報送信部１００２と、セッション情報管理部１００３と、画像データ蓄積／生成部１００４と、Ｉ／Ｐピクチャ符号化データ送信部１００５と、Ｂピクチャ符号化データ送信部１００６と、ＦＥＣ符号データ送信部１０１４について、画像データ配信装置１００１を構成するコンピュータで実行されるプログラム制御によりそれぞれの機能・処理を実現するようにしてもよいことは勿論である。画像データ受信装置１００８における、セッション情報受信部１００９と、Ｉ／Ｐピクチャ符号化データ受信部１０１０及びＢピクチャ符号化データ受信部１０１１と、符号化データ再構成部１０１２と、デコーダ１０１３と、ＦＥＣ符号データ受信部１０１５について、画像データ受信装置１００８を構成するコンピュータで実行されるプログラム制御によりそれぞれの機能・処理を実現するようにしてもよいことは勿論である。
【０２６３】
［発明の第１１の実施の形態］
本発明の第１１の実施の形態では、画像データ配信装置は、動画像データのＩピクチャ、Ｐピクチャ、及びＢピクチャのうち、Ｉピクチャ、Ｐピクチャ、Ｂピクチャで、それぞれ異なったセッションで配信する手段と、誤り訂正符号データを配信する手段と、少なくとも１つのセッションで、動画像データを配信するセッションごとに伝送路でのルーティングの優先度制御や、無線伝送路での電力制御を設定する手段と、を備えている。画像データ受信装置は、少なくとも１つのセッションにより配信されたデータを受信する手段と、誤り訂正符号データを受信する手段と、伝送路での誤りや損失によって失われた動画像データを、誤り訂正符号データを用いて復元する手段と、受信した動画像データを１つの動画像データに再構成して復号化する手段と、を備えている。さらに少なくとも１つのセッションの受信の有無を、受信データの誤り／損失率、受信装置の利用可能な電力、あらかじめ定められた設定のうちの少なくとも１つに基づき、選択する手段を備えた構成としてもよい。
【０２６４】
［第１１の実施例］
次に本発明の第１１の実施例を図面を参照しながら説明する。第１１図は、本発明の第１１の実施例の構成の一例を示している。第１１図に示すように、画像データ配信装置１１０１と、画像データ受信装置１１０９と、画像符号化データ及び誤り訂正符号データを伝送するための伝送路１１０８から構成される。これらは、それぞれ前記第５の実施例の画像データ配信装置５０１と、画像データ受信装置５０９と、伝送路５０８に対応している。画像データ配信装置１１０１を構成する各要素１１０２乃至１１０７、画像データ受信装置１１０９を構成する各要素１１１０乃至１１１５も、前記第５の実施例の画像データ配信装置５０１の各要素５０２乃至５０７、画像データ受信装置５０９の各要素５１０乃至５１５に対応している。以下では、前記第５の実施例と異なる部分のみ説明する。なお、本実施例では、説明の簡単のため、誤り訂正符号データは、Ｉピクチャ符号化データから生成するものとして説明するが、全てのピクチャ符号化データから生成し、それらを異なったセッションにより配信してもよいことは勿論である。また、本実施例では、説明の簡単のため、１つの符号化データから生成する誤り訂正符号データ数を「１」として説明するが、誤り訂正符号データ数が「１」に限定されるものでないことは勿論である。
【０２６５】
画像データ配信装置１１０１は、配信情報送信部１１０２と、セッション情報管理部１１０３と、画像データ蓄積／生成部１１０４と、Ｉピクチャ符号化データ送信部１１０５、Ｐピクチャ符号化データ送信部１１０６と、Ｂピクチャ符号化データ送信部１１０７と、ＦＥＣ符号データ送信部１１１６を備えている。
【０２６６】
画像データ受信装置１１０９は、セッション情報受信部１１１０と、Ｉピクチャ符号化データ受信部１１１１、Ｐピクチャ符号化データ受信部１１１２、Ｂピクチャ符号化データ受信部１１１３、符号化データ再構成部１１１４と、デコーダ１１１５と、ＦＥＣ符号データ受信部１１１７を備えている。
【０２６７】
なお、ＦＥＣの方式については、第７の実施例と同様である。
【０２６８】
画像データ配信装置１１０１は、画像データ蓄積／生成部１１０４で、
・あらかじめ蓄積された画像データ、もしくは、
・リアルタイムで生成された画像データ、もしくは、
・リアルタイムで既存画像データを変換し生成された画像データ、
と、上記のいずれかによる画像符号化データから生成された誤り訂正符号データを、セッション情報管理部１１０３で設定された、セッションごとの伝送路１１０８でのルーティングの優先度情報及び／又は、無線伝送路の電力制御情報に基づいて、Ｉピクチャ符号化データ送信部１１０５、及びＰピクチャ符号化データ送信部１１０６、及びＢピクチャ符号化データ送信部１１０７、及びＦＥＣ符号データ送信部１１１６により、伝送路１１０８経由で送信する。
【０２６９】
セッション情報管理部１１０３では、各セッションから配信するピクチャ情報及び、誤り訂正符号データを管理し、配信情報送信部１１０２から画像データ受信装置１１０９に通知する。
【０２７０】
ＦＥＣ符号データ送信部１１１６は、Ｉピクチャ符号化データのどの部分の誤り訂正符号データであるかわかるように、ＲＴＰに相当する情報（例えばＲＴＰヘッダのシーケンス番号）を付加する機能を有する。またさらに、誤り訂正符号データであることを示す、ペイロードタイプ、及び／又は、ＳＳＲＣ、及び／又は、ＣＳＲＣを付与してもよい。
【０２７１】
画像データ受信装置１１０９は、画像データ配信装置１１０１からの画像符号化及び、誤り訂正符号データに関する情報を、セッション情報受信部１１１０で受信し、この情報から、伝送路１１０８より受信した画像データのピクチャ種別及び、誤り訂正符号データの対象符号化データ種別を知る。
【０２７２】
また、セッション情報管理部１１０３は、
・符号化データの符号化設定、
・誤り定性符号種別、
・誤り訂正符号設定（例えばＬＤＰＣ符号での検査行列データ、もしくはこれを生成するための設定）、
・符号化オプション（使用ツール）、
・符号化データのペイロード・オプション、
・符号化データ及び誤り訂正符号を識別するＲＴＰヘッダのペイロードタイプに相当する情報、
・ＳＳＲＣ、ＣＳＲＣに相当する情報、
の少なくとも１つを設定し、配信情報送信部１１０２により画像データ受信装置１１０９へ通知してもよく、また、これらの情報を、あらかじめ画像データ配信装置１１０１及び画像データ受信装置１１０９間で設定しておいてもよい。
【０２７３】
Ｉピクチャ符号化データが伝送路での誤り、もしくは損失により受信できなかった場合、符号化データ再構成部１１１４は、ＦＥＣ符号データ受信部１１１７で受信した誤り訂正符号データを用いてＩピクチャ符号化データを復元する。復元して得たＩピクチャ符号化データを含め、画像データの再構成については、前記第５の実施例と同様である。
【０２７４】
受信環境により、配信される画像品質が最適化される仕組みも、第５の実施例と同様で、受信環境が良好である画像データ受信装置１１０９は、Ｉピクチャ符号化データ、Ｐピクチャ符号化データ、Ｂピクチャ符号化データ及び、誤り訂正符号データを受信することができ、より高品質で安定した動画像データを再生することができる。また、これらを配信するセッションごとに伝送路でのルーティングの優先度や、無線伝送路での送信電力を制御することができるため、ネットワークリソースを考慮した配信を行うことができる。
【０２７５】
また、誤り訂正符号データを複数とする場合については、第７の実施例と同様である。
【０２７６】
上記以外については、前記第５の実施例と同様である。
【０２７７】
なお、本実施例において、伝送路を複数とし、Ｉピクチャ符号化データ、Ｂピクチャ符号化データ、Ｐピクチャ符号化データ及び、誤り訂正符号データと、これらのデータに関する情報を、異なった伝送路により伝送する構成としてもよい。
【０２７８】
本実施例においても、Ｉピクチャ符号化データ及びＰピクチャ符号化データ及びＢピクチャ符号化データ及び、誤り訂正符号データを配信するセッションは、少なくとも１つをユニキャスト方式で送信するようにしてもよいし、少なくとも１つをマルチキャスト、もしくはブロードキャスト方式で送信するようにしてもよい。
【０２７９】
また画像データ配信装置１１０１における、配信情報送信部１１０２と、セッション情報管理部１１０３と、画像データ蓄積／生成部１１０４と、Ｉピクチャ符号化データ送信部１１０５と、Ｐピクチャ符号化データ送信部１１０６、Ｂピクチャ符号化データ送信部１１０７と、ＦＥＣ符号データ送信部１１１６について、画像データ配信装置１１０１を構成するコンピュータで実行されるプログラム制御によりそれぞれの機能・処理を実現するようにしてもよいことは勿論である。画像データ受信装置１１０９における、セッション情報受信部１１１０と、Ｉピクチャ符号化データ受信部１１１１、Ｐピクチャ符号化データ受信部１１１２、Ｂピクチャ符号化データ受信部１１１３と、符号化データ再構成部１１１４と、デコーダ１１１５と、ＦＥＣ符号データ受信部１１１７について、画像データ受信装置１１０９を構成するコンピュータで実行されるプログラム制御によりそれぞれの機能・処理を実現するようにしてもよいことは勿論である。
【０２８０】
［発明の第１２の実施の形態］
本発明の第１２の実施の形態では、画像データ配信装置は、動画像データのＩピクチャ、Ｐピクチャ、及び動画像の符号化に用いた符号化方式に存在する場合はＢピクチャ、及び動画像データの当該フレームの少なくとも一部をイントラ−マクロブロック（Ｉｎｔｒａ−ＭＢ）符号化した符号化データを、それぞれ異なったセッションで配信する手段と、誤り訂正符号データを配信する手段と、少なくとも１つのセッションで、動画像データを配信するセッションごとに伝送路でのルーティングの優先度制御や、無線伝送路での電力制御を設定する手段と、を備えている。画像データ受信装置は、少なくとも１つのセッションにより配信されたデータを受信する手段と、誤り訂正符号データを受信する手段と、伝送路での誤りや損失によって失われた動画像データを、誤り訂正符号データを用いて復元する手段と、受信した動画像データのうち、画像品質に基づいてデータを選択し、１つの動画像データに再構成して復号化する手段と、を備えている。さらに、少なくとも１つのセッションの受信の有無を、受信データの誤り／損失率、受信装置の利用可能な電力、あらかじめ定められた設定のうちの少なくとも１つに基づき、選択する手段を備えた構成としてもよい。
【０２８１】
［第１２の実施例］
本発明の第１２の実施例を図面を参照しながら説明する。第１２図は、本発明の第１２の実施例の構成を示している。第１２図に示すように、画像データ配信装置１２０１と、画像データ受信装置１２１０と、画像符号化データ及び誤り訂正符号データを伝送するための伝送路１２０９から構成される。これらは、それぞれ前記第６の実施例の画像データ配信装置６０１と、画像データ受信装置６１０と、伝送路６０９に対応している。画像データ配信装置１２０１を構成する各要素１２０２乃至１２０８、画像データ受信装置１２１０を構成する各要素１２１１乃至１２１７も、前記第６の実施例の画像データ配信装置６０１の各要素６０２乃至６０８、画像データ受信装置６１０の各要素６１１乃至６１７にそれぞれ対応している。以下では、前記第６の実施例との相違点についてのみ説明する。なお、本実施例では、説明の簡単のため、誤り訂正符号データは、Ｉピクチャ符号化データから生成するものとして説明するが、全てのピクチャ符号化データ及び／又は、イントラ−マクロブロック符号データから生成し、それらを異なったセッションにより配信してもよいことは勿論である。また、本実施例では、説明の簡単のため、１つの符号化データから生成する誤り訂正符号データ数を「１」として説明するが、誤り訂正符号データ数が「１」に限定されるものでないことは勿論である。
【０２８２】
画像データ配信装置１２０１は、配信情報送信部１２０２と、セッション情報管理部１２０３と、画像データ蓄積／生成部１２０４と、Ｉピクチャ符号化データ送信部１２０５、Ｐピクチャ符号化データ送信部１２０６、Ｂピクチャ符号化データ送信部１２０７、イントラ‐マクロブロック（Ｉｎｔｒａ‐ＭＢ）符号化データ送信部１２０８、ＦＥＣ符号データ送信部１２１８を備えている。
【０２８３】
画像データ受信装置１２１０は、セッション情報受信部１２１１と、Ｉピクチャ符号化データ受信部１２１２、Ｐピクチャ符号化データ受信部１２１３、Ｂピクチャ符号化データ受信部１２１４、イントラ‐マクロブロック（Ｉｎｔｒａ‐ＭＢ）符号化データ受信部１２１５と、符号化データ再構成部１２１６と、デコーダ１２１７と、ＦＥＣ符号データ受信部１２１９を備えている。
【０２８４】
なお、ＦＥＣの方式については、第７の実施例と同様である。
【０２８５】
画像データ配信装置１２０１は、画像データ蓄積／生成部１２０４で、
・あらかじめ蓄積された画像データ、
・リアルタイムで生成された画像データ、もしくは、
・リアルタイムで既存画像を変換し生成された画像データ、
と、上記のいずれかによる画像符号化データから生成された誤り訂正符号データを、セッション情報管理部１２０３で設定された、セッションごとの伝送路１２０９でのルーティングの優先度情報及び／又は無線伝送路の電力制御情報に基づいて、Ｉピクチャ符号化データ送信部１２０５、Ｐピクチャ符号化データ送信部１２０６、Ｂピクチャ符号化データ送信部１２０７、Ｉｎｔｒａ−ＭＢ符号化データ送信部１２０８及び、ＦＥＣ符号データ送信部１２１８により、伝送路１２０９経由で送信する。
【０２８６】
セッション情報管理部１２０３では、各セッションから配信するピクチャ情報及び、誤り訂正符号データを管理し、配信情報送信部１２０２から画像データ受信装置１２１０に通知する。
【０２８７】
ＦＥＣ符号データ送信部１２１８は、Ｉピクチャ符号化データのどの部分の誤り訂正符号データであるかわかるように、ＲＴＰに相当する情報（例えばＲＴＰヘッダのシーケンス番号）を付加する機能を有する。またさらに、誤り訂正符号データであることを示す、ペイロードタイプ、及び／又は、ＳＳＲＣ、及び／又は、ＣＳＲＣを付与してもよい。
【０２８８】
画像データ受信装置１２１０は、画像データ配信装置１２０１からの画像符号化及び、誤り訂正符号データに関する情報を、セッション情報受信部１２１１で受信し、この情報から、伝送路１２０９より受信した画像データのピクチャ、ブロック種別及び、誤り訂正符号データの対象符号化データ種別を知る。
【０２８９】
また、セッション情報管理部１２０３は、
・符号化データの符号化設定、
・誤り定性符号種別、
・誤り訂正符号設定（例えばＬＤＰＣ符号での検査行列データ、もしくはこれを生成するための設定）、
・符号化オプション（使用ツール）、
・符号化データのペイロード・オプション、
・符号化データ及び誤り訂正符号を識別するＲＴＰヘッダのペイロードタイプに相当する情報、
・ＳＳＲＣ、ＣＳＲＣに相当する情報、
の少なくとも１つを設定し、配信情報送信部１２０２により画像データ受信装置１２１０へ通知してもよく、また、これらの情報を、あらかじめ画像データ配信装置１２０１及び画像データ受信装置１２１０間で設定しておいてもよい。
【０２９０】
Ｉピクチャ符号化データが伝送路での誤り、もしくは損失により受信できなかった場合、符号化データ再構成部１２１６は、ＦＥＣ符号データ受信部１２１９で受信した誤り訂正符号データを用いてＩピクチャ符号化データを復元する。復元して得たＩピクチャ符号化データを含め、画像データの再構成については、前記第６の実施例と同様である。
【０２９１】
受信環境により、配信される画像品質が最適化される仕組みも、第６の実施例と同様で、受信環境が良好である画像データ受信装置１２１０は、Ｉピクチャ符号化データ、Ｐピクチャ符号化データ、Ｂピクチャ符号化データ、イントラ−マクロブロック符号化データ及び、誤り訂正符号データを受信することができ、より高品質で安定した動画像データを再生することができる。また、これらを配信するセッションごとに伝送路でのルーティングの優先度や、無線伝送路での送信電力を制御することができるため、ネットワークリソースを考慮した配信を行うことができる。
【０２９２】
また、誤り訂正符号データを複数とする場合については、第７の実施例と同様である。
【０２９３】
上記以外については、前記第６の実施例と同様である。
【０２９４】
なお、本実施例において、伝送路を複数とし、Ｉピクチャ符号化データ、Ｂピクチャ符号化データ、Ｐピクチャ符号化データ、イントラ−マクロブロック符号化データ、誤り訂正符号データ、及びこれらのデータに関する情報が、異なった伝送路を介して伝送される構成としてもよいことは勿論である。
【０２９５】
本実施例において、Ｉピクチャ符号化データ及び、Ｐピクチャ符号化データ及び、Ｂピクチャ符号化データ、イントラ−マクロブロック符号化データ及び、誤り訂正符号データを配信するセッションは、少なくとも１つをユニキャスト方式で送信するようにしてもよいし、少なくとも１つをマルチキャスト、もしくはブロードキャスト方式で送信するようにしてもよい。
【０２９６】
なお、画像データ配信装置１２０１における、配信情報送信部１２０２と、セッション情報管理部１２０３と、画像データ蓄積／生成部１２０４と、Ｉピクチャ符号化データ送信部１２０５と、Ｐピクチャ符号化データ送信部１２０６、Ｂピクチャ符号化データ送信部１２０７、イントラ−マクロブロック符号化データ送信部１２０８、ＦＥＣ符号データ送信部１２１８について、画像データ配信装置１２０１を構成するコンピュータで実行されるプログラム制御によりそれぞれの機能・処理を実現するようにしてもよいことは勿論である。画像データ受信装置１２１０における、セッション情報受信部１２１１と、Ｉピクチャ符号化データ受信部１２１２、Ｐピクチャ符号化データ受信部１２１３、Ｂピクチャ符号化データ受信部１２１４、イントラ−マクロブロック符号化データ受信部１２１５と、符号化データ再構成部１２１６と、デコーダ１２１７と、ＦＥＣ符号データ受信部１２１９について、画像データ受信装置１２１０を構成するコンピュータで実行されるプログラム制御によりそれぞれの機能・処理を実現するようにしてもよいことは勿論である。
【０２９７】
以上本発明を上記各実施例に即して説明したが、本発明は、上記実施例の構成にのみ限定されるものでなく、特許請求の範囲の各請求項の発明の範囲内で当業者であればなし得るであろう各種変形、修正を含むことは勿論である。
【符号の説明】
【０２９８】
１０１、２０１、３０１、４０１、５０１、６０１  画像データ配信装置
１０２、２０２、３０２、４０２、５０２、６０２  配信情報送信部
１０３、２０３、３０３、４０３、５０３、６０３  セッション情報管理部
１０４、２０４、３０４、４０４、５０４、６０４  画像データ蓄積/生成部
１０５  画像符号化データ１送信部
１０６  画像符号化データ２送信部
１０７、２０７、３０７、４０７、５０８、６０９  伝送路
１０８、２０８、３０８、４０８、５０９、６１０  画像データ受信装置
１０９、２０９、３０９、４０９、５１０、６１１  セッション情報受信部
１１０  画像符号化データ１受信部
１１１  画像符号化データ２受信部
１１２、２１２、３１２、４１２、５１４、６１６  符号化データ再構成部
１１３、２１３、３１３、４１３、５１５、６１７  デコーダ
２０５  画像符号化データ送信部
２０６  イントラ−マクロブロック符号化データ送信部
２１０  画像符号化データ受信部
２１１  イントラ−マクロブロック符号化データ受信部
３０５  Ｉピクチャ符号化データ送信部
３０６  Ｐ／Ｂピクチャ符号化データ送信部
３１０  Ｉピクチャ符号化データ受信部
３１１  Ｐ／Ｂピクチャ符号化データ受信部
４０５  Ｉ／Ｐピクチャ符号化データ送信部
４０６  Ｂピクチャ符号化データ送信部
４１０  Ｉ／Ｐピクチャ符号化データ受信部
４１１  Ｂピクチャ符号化データ受信部
５０５、６０５  Ｉピクチャ符号化データ送信部
５０６、６０６  Ｐピクチャ符号化データ送信部
５０７、６０７  Ｂピクチャ符号化データ送信部
５１１、６１２  Ｉピクチャ符号化データ受信部
５１２、６１３  Ｐピクチャ符号化データ受信部
５１３、６１４  Ｂピクチャ符号化データ受信部
６０８  イントラ−マクロブロック符号化データ送信部
６１５  イントラ−マクロブロック符号化データ受信部
７０１、８０１、９０１、１００１、１１０１、１２０１  画像データ配信装置
７０２、８０２、９０２、１００２、１１０２、１２０２  配信情報送信部
７０３、８０３、９０３、１００３、１１０３、１２０３  セッション情報管理部
７０４、８０４、９０４、１００４、１１０４、１２０４  画像データ蓄積/生成部
７０５  画像符号化データ１送信部
７０６  画像符号化データ２送信部
７０７、８０７、９０７、１００７、１１０８、１２０９  伝送路
７０８、８０８、９０８、１００８、１１０９、１２１０  画像データ受信装置
７０９、８０９、９０９、１００９、１１１０、１２１１  セッション情報受信部
７１０  画像符号化データ１受信部
７１１  画像符号化データ２受信部
７１２、８１２、９１２、１０１２、１１１４、１２１６  符号化データ再構成部
７１３、８１３、９１３、１０１３、１１１５、１２１７  デコーダ
７１４、８１４、９１４、１０１４、１１１６、１２１８  ＦＥＣ符号データ送信部
７１５、８１５、９１５、１０１５、１１１７、１２１９  ＦＥＣ符号データ受信部
８０５  画像符号化データ送信部
８０６  イントラ−マクロブロック符号化データ送信部
８１０  画像符号化データ受信部
８１１  イントラ−マクロブロック符号化データ受信部
９０５  Ｉピクチャ符号化データ送信部
９０６  Ｐ／Ｂピクチャ符号化データ送信部
９１０  Ｉピクチャ符号化データ受信部
９１１  Ｐ／Ｂピクチャ符号化データ受信部
１００５  Ｉ／Ｐピクチャ符号化データ送信部
１００６  Ｂピクチャ符号化データ送信部
１０１０  Ｉ／Ｐピクチャ符号化データ受信部
１０１１  Ｂピクチャ符号化データ受信部
１１０５、１２０５  Ｉピクチャ符号化データ送信部
１１０６、１２０６  Ｐピクチャ符号化データ送信部
１１０７、１２０７  Ｂピクチャ符号化データ送信部
１１１１、１２１２  Ｉピクチャ符号化データ受信部
１１１２、１２１３  Ｐピクチャ符号化データ受信部
１１１３、１２１４  Ｂピクチャ符号化データ受信部
１２０８  イントラ−マクロブロック符号化データ送信部
１２１５  イントラ−マクロブロック符号化データ受信部
【図１】
0005533435.tif 000002
【図２】
0005533435.tif 000003
【図３】
0005533435.tif 000004
【図４】
0005533435.tif 000005
【図５】
0005533435.tif 000006
【図６】
0005533435.tif 000007
【図７】
0005533435.tif 000008
【図８】
0005533435.tif 000009
【図９】
0005533435.tif 000010
【図１０】
0005533435.tif 000011
【図１１】
0005533435.tif 000012
【図１２】
0005533435.tif 000013