(57)【特許請求の範囲】
【請求項１】
入力された信号もしくはデータファイルを、互いに異なる圧縮率で符号化する第１乃至第Ｍ（ただし、Ｍは、１以上の整数）の符号化手段と、
前記第１乃至第Ｍのうち少なくとも１つの符号化データから、誤り訂正符号データを少なくとも１つ生成する手段と、
前記符号化されたデータ、及び、前記誤り訂正符号データを、それぞれ独立したトラックとしてコンテンツファイルへ書き出す手段と、を備えているコンテンツ符号化装置で作成されたコンテンツファイルから、少なくとも１つの符号化データ、及び、少なくとも１つの誤り訂正符号データを読み込む手段と、
読み込まれた前記符号化データを受け取り第１乃至第Ｎ（ただし、Ｎは１以上の整数）の符号化データを出力する第１乃至第Ｎの符号化データ送信手段と、
読み込まれた前記誤り訂正符号データを受け取り、誤り訂正符号データを出力する、少なくとも１つの誤り訂正符号データ送信手段と、
前記第１乃至第Ｎの符号化データ送信手段のうち少なくとも２つが出力するデータを多重化して送信する手段と、を備え、
（ａ）第１乃至第Ｎの符号化データの少なくとも一部、
（ｂ）誤り訂正符号データの少なくとも一部
の少なくとも一方を送信するコンテンツ配信装置より送信される、多重化された符号化データ、及び、誤り符号訂正データを少なくとも１つのセッションから受信し、その中から個々のデータを識別する手段と、
受信されたデータの中から、伝送誤りがなく、欠落なく受信された符号化データを抽出し、伝送誤りや欠落がある場合は、誤り訂正符号データを用いて当該データを復元して符号化データを再構成する手段と、
を備えたコンテンツ受信装置であって、
少なくとも２つの誤り訂正符号データを受信するにあたり、
受信データの誤り／損失率、
伝送路でのデータの誤り／損失状態、
誤り訂正符号化方式、
利用可能な電力、及び、
あらかじめ定められた設定
のうちの少なくとも１つに基づき、誤り訂正符号データの受信の有無、もしくは誤り訂正処理に用いる誤り訂正符号データ、を選択する、ことを特徴とするコンテンツ受信装置。
【請求項２】
入力された信号もしくはデータファイルを、それぞれ互いに異なる圧縮率で符号化する第１乃至第Ｍ（ただし、Ｍは、１以上の整数）の符号化手段と、
前記第１乃至第Ｍのうち少なくとも１つの符号化データから、誤り訂正符号データを少なくとも１つ生成する手段と、
符号化されたデータ、及び、誤り訂正符号データを、所定の時間差を設けるか、又はインタリーブして、それぞれ独立したトラックとしてコンテンツファイルへ書き出す手段と、
を備えているコンテンツ符号化装置で作成されたコンテンツファイルから、少なくとも１つの符号化データ、及び、少なくとも１つの誤り訂正符号データを読み込む手段と、
読み込まれた前記符号化データを受け取り第１乃至第Ｎ（ただし、Ｎは１以上の整数）の符号化データを出力する第１乃至第Ｎの符号化データ送信手段と、
読み込まれた前記誤り訂正符号データを受け取り、誤り訂正符号データを出力する、少なくとも１つの誤り訂正符号データ送信手段と、
前記第１乃至第Ｎの符号化データ送信手段のうち少なくとも２つが出力するデータを多重化して送信する手段と、を備え、
（ａ）第１乃至第Ｎの符号化データの少なくとも一部、
（ｂ）誤り訂正符号データの少なくとも一部
の少なくとも一方を送信するコンテンツ配信装置より送信される、多重化された符号化データ、及び、誤り符号訂正データを少なくとも１つのセッションから受信し、その中から個々のデータを識別する手段と、
受信されたデータの中から、伝送誤りがなく、欠落なく受信された符号化データを抽出し、伝送誤りや欠落がある場合は、誤り訂正符号データを用いて当該データを復元して符号化データを再構成する手段と、
を備えたコンテンツ受信装置であって、
少なくとも２つの誤り訂正符号データを受信するにあたり、
受信データの誤り／損失率、
伝送路でのデータの誤り／損失状態、
誤り訂正符号化方式、
利用可能な電力、及び、
あらかじめ定められた設定
のうちの少なくとも１つに基づき、誤り訂正符号データの受信の有無、もしくは誤り訂正処理に用いる誤り訂正符号データ、を選択する、ことを特徴とするコンテンツ受信装置。
【請求項３】
入力された信号もしくはデータファイルを、互いに異なる圧縮率で符号化する第１乃至第Ｍ（ただし、Ｍは、１以上の整数）の符号化手段と、
前記第１乃至第Ｍのうち少なくとも１つの符号化データから、誤り訂正符号データを少なくとも１つ生成する手段と、
前記符号化されたデータ、及び、前記誤り訂正符号データを、それぞれ独立したトラックとしてコンテンツファイルへ書き出す手段と、を備えているコンテンツ符号化装置で作成されたコンテンツファイルから、少なくとも１つの符号化データ、及び、少なくとも１つの誤り訂正符号データを読み込む手段と、
読み込まれた前記符号化データを受け取り第１乃至第Ｎ（ただし、Ｎは１以上の整数）の符号化データを出力する第１乃至第Ｎの符号化データ送信手段と、
読み込まれた前記誤り訂正符号データを受け取り訂正符号データを出力する、少なくとも１つの誤り訂正符号データ送信手段と、
前記第１乃至第Ｎの符号化データ送信手段のうち少なくとも２つが出力するデータを多重化して送信する手段と、を備え、
（ａ）第１乃至第Ｎの符号化データの少なくとも一部、
（ｂ）誤り訂正符号データの少なくとも一部、
の少なくとも一方を、時間差を設けるか、又はインタリーブして送信するコンテンツ配信装置より送信される、多重化された符号化データ、及び、誤り符号訂正データを少なくとも１つのセッションから受信し、その中から個々のデータを識別する手段と、
受信されたデータの中から、伝送誤りがなく、欠落なく受信された符号化データを抽出し、伝送誤りや欠落がある場合は、誤り訂正符号データを用いて当該データを復元して符号化データを再構成する手段と、
を備えたコンテンツ受信装置であって、
少なくとも２つの誤り訂正符号データを受信するにあたり、
受信データの誤り／損失率、
伝送路でのデータの誤り／損失状態、
誤り訂正符号化方式、
利用可能な電力、及び、
あらかじめ定められた設定
のうちの少なくとも１つに基づき、誤り訂正符号データの受信の有無、もしくは誤り訂正処理に用いる誤り訂正符号データ、を選択する、ことを特徴とするコンテンツ受信装置。
【請求項４】
入力された信号もしくはデータファイルを、それぞれ互いに異なる圧縮率で符号化する第１乃至第Ｍ（ただし、Ｍは、１以上の整数）の符号化手段と、
前記第１乃至第Ｍのうち少なくとも１つの符号化データから、誤り訂正符号データを少なくとも１つ生成する手段と、
符号化されたデータ、及び、誤り訂正符号データを、所定の時間差を設けるか、又はインタリーブして、それぞれ独立したトラックとしてコンテンツファイルへ書き出す手段と、
を備えているコンテンツ符号化装置で作成されたコンテンツファイルから、少なくとも１つの符号化データ、及び、少なくとも１つの誤り訂正符号データを読み込む手段と、
読み込まれた前記符号化データを受け取り第１乃至第Ｎ（ただし、Ｎは１以上の整数）の符号化データを出力する第１乃至第Ｎの符号化データ送信手段と、
読み込まれた前記誤り訂正符号データを受け取り訂正符号データを出力する、少なくとも１つの誤り訂正符号データ送信手段と、
前記第１乃至第Ｎの符号化データ送信手段のうち少なくとも２つが出力するデータを多重化して送信する手段と、を備え、
（ａ）第１乃至第Ｎの符号化データの少なくとも一部、
（ｂ）誤り訂正符号データの少なくとも一部、
の少なくとも一方を、時間差を設けるか、又はインタリーブして送信するコンテンツ配信装置より送信される、多重化された符号化データ、及び、誤り符号訂正データを少なくとも１つのセッションから受信し、その中から個々のデータを識別する手段と、
受信されたデータの中から、伝送誤りがなく、欠落なく受信された符号化データを抽出し、伝送誤りや欠落がある場合は、誤り訂正符号データを用いて当該データを復元して符号化データを再構成する手段と、
を備えたコンテンツ受信装置であって、
少なくとも２つの誤り訂正符号データを受信するにあたり、
受信データの誤り／損失率、
伝送路でのデータの誤り／損失状態、
誤り訂正符号化方式、
利用可能な電力、及び、
あらかじめ定められた設定
のうちの少なくとも１つに基づき、誤り訂正符号データの受信の有無、もしくは誤り訂正処理に用いる誤り訂正符号データ、を選択する、ことを特徴とするコンテンツ受信装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ネットワークによるコンテンツの配信技術に関し、特に、符号化されたデータの伝送路でのデータ誤り、データ損失に対する耐性を有するよう伝送する方法及びその装置ならびにプログラム、符号化データを受信し、復号する方法、及びその装置、システムならびにコンピュータプログラムに関する。
【背景技術】
【０００２】
近時、動画像や音声を含むコンテンツを、ネットワークを経由して配信するコンテンツ配信が普及するに至っている。こうした中、例えば、動画像のデータを効率良く伝送する方法として、フレーム間予測に基づいた高能率圧縮による符号化データを伝送する方法が多く用いられている。これらの方式では、時間的に前後のフレームから符号化画像を予測して得られた予測パラメータと予測残差画像データを符号化することで、時間方向の相関が高い動画像データの情報量を削減する。さらに、予測残差画像データを変換符号化や量子化により高能率に圧縮符号化することで、少ない伝送帯域でのコンテンツデータ伝送を可能としている。【０００３】
その代表例としては、ＭＰＥＧ（Moving Picture Experts Group）−１、ＭＰＥＧ−２、ＭＰＥＧ-４などの圧縮符号化方式を用いる方法がある。これらの圧縮符号化方式では、入力画像フレームをマクロブロックとよばれる一定サイズの矩形領域単位で動き補償によるフレーム間予測を行い、得られた動きベクトルと、予測残差画像データに２次元離散コサイン変換及び量子化を施して圧縮した信号データを可変長符号化する。【０００４】
また、音声に関しても、ＡＡＣ（Advanced Audio Codec）など、同様にフレーム間予測に基づいた高能率圧縮による符号化データがあり、やはり伝送帯域を効率的に使用したコンテンツデータの配信が可能である。【０００５】
これらのコンテンツデータを記録するファイルフォーマットとして、ＭＰ４や３ＧＰなどのファイルフォーマットが存在し、これらはトラックごとに複数のメディアや、配信レート（圧縮率）の符号化データと、配信符号化データ単位を記録することができる。【０００６】
このようなコンテンツの符号化データを、パケット交換方式を利用したＩＰ（Internet Protocol）ネットワークへ配信する方法は多数ある。また今後は、ＰＨＳ（Personal Handyphone System）や携帯電話、又はこれらを通信手段として利用する携帯端末などよりなる移動局が、無線基地局と無線チャネルを介して接続される移動通信システムにおけるコンテンツの配信へと展開していくことが考えられる。【０００７】
なお、後記特許文献１には、音声データをＮ個の符号化データに変換しＭ個の伝送路に一定間隔又は適応的に変化する時間間隔で送信するＮ個の送信手段を備え、伝送路を選択部で選択し、符号データ再構成部で正常に受信できた符号化データの中から符号化データを選択して再構成する構成が開示されている。【０００８】
【非特許文献１】Schulzrinne, H., Rao, A., Lanphier, R, "Real Time Streaming Protocol (RTSP)", RFC 2326, April 1998、インターネットＵＲＬ<http://www.ietf.org/ から入手される、http://www.ietf.org/rfc/rfc2326.txt>
【非特許文献２】Handley, M., Jacobson, V., "SDP: Session Description Protocol", RFC 2327, April 1998、インターネットＵＲＬ<http://www.ietf.org/ から入手される、http://www.ietf.org/rfc/rfc2327.txt>
【非特許文献３】Schulzrinne, H., Casner,S., Frederick, R., and V. Jacobson, "RTP: A Transport Protocol for Real-Time Applications", RFC 1889, January 1996、5.1 RTP Fixed Header Fields. インターネットＵＲＬ<http://www.ietf.org/ から入手される、http://www.ietf.org/rfc/rfc1889.txt>
【特許文献１】特開２００３−３１８８５１号公報（第１４、１５頁、第１図）
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、従来のコンテンツ配信方法においては、誤り訂正符号を用いても復元不可能な長いバースト性をもった伝送データの誤りや伝送パケットの欠落が発生すると、受信側ではエラーが発生したコンテンツのデータを正しく復号することができない。【００１０】
また、パケット損失が発生した場合、失われたデータの再送要求を行う方法が一般的であるが、マルチキャスト／ブロードキャストによる情報配信では、受信側から送信データの誤りや伝送パケットの欠落情報を送信側へ伝送する方法を用いることはできない。【００１１】
パケットの損失が発生した場合、受信側での対策として、例えば画像データであれば、正しくデコードできた時間的に前後のフレームの画像や同一フレーム内の周囲の画像データから、誤りをなるべく目立たなくするような画像データを生成するエラーコンシールメント手法があるが、復号画像の乱れを除去することは不可能である。さらに、フレーム間予測を利用しているため、一度発生した画像や音声の乱れが、後続フレームにも伝搬してしまう問題がある。音声データの場合も、前の音声復号データから、欠落したフレームの音声データに類似したデータを生成するエラーコンシールメント技術があるが、やはり音質の劣化が発生してしまう。【００１２】
加えて、受信側からエラー情報を折り返し、送信側へ伝送する場合、このフィードバック情報及び、再送されるデータにより、帯域が占有されることにもなる。これは、無線伝送路など、ネットワーク・リソースが限られた伝送路では大きな問題となる。【００１３】
また、コンテンツを配信する際、個々のストリームそれぞれに、レートの変換や、誤り耐性符号データの生成を行った場合、特に配信数が大きい場合、配信側での処理の負担が非常に大きくなってしまう。【００１４】
従って、本発明の主たる目的（第１の目的）は、符号化データの伝送誤り、もしくは損失により生じる受信側再生コンテンツの品質の著しい乱れを、できる限り抑えるコンテンツデータ伝送の方法、装置、システム、プログラムを提供することにある。【００１５】
また、本発明の他の目的は、コンテンツデータ伝送に使用することのできる伝送帯域と品質のトレードオフを、コンテンツ配信サービス提供者が設定し得る方法、装置、システム、プログラムを提供することにある。【００１６】
また、本発明のさらに別の目的は、受信側からのフィードバック情報を送信側に送ることなく、上記第１の目的を達成する方法、装置、システム、プログラムを提供することにある。【００１７】
また、本発明のさらに別の目的は、配信側での処理の負担増加を小さく抑えつつ、上記第１の目的を達成する方法、装置、システム、プログラムを提供することにある。【００１８】
また、本発明のさらに別の目的は、送信の際の暗号化の有無、及び／又は、呼接続処理で受信側へ通知する情報を制御することで、送信側で受信側のコンテンツの品質、及び／又は、安定性を制御できる方法、装置、システム、プログラムを提供することにある。【００１９】
また、本発明のさらに別の目的は、受信側で利用可能な電力に応じて、受信コンテンツの品質、及び／又は、安定性を制御する方法、装置、システム、プログラムを提供することにある。【００２０】
さらに、本発明のさらに別の目的は、圧縮符号化データの復号に要する演算量の増大を防ぎつつ、以上の目的を達成する方法、装置、システム、プログラムを提供することにある。
【課題を解決するための手段】
【００２１】
本願で開示される発明は、前記課題の少なくとも１つを解決するための構成として、概略以下のような構成とされる。【００２２】
本発明の１つのアスペクトに係るコンテンツ配信システムは、Ｍ、Ｎを２以上の整数として、送信側は、圧縮率の異なるＭ個の符号化データが格納されたコンテンツファイルから、少なくとも１つの符号化データを読み込む手段と、第１乃至第Ｎの符号化データ送信手段と、を備え、さらに、セッションごとに伝送路でのルーティングの優先度制御や、無線伝送路での電力制御を設定する手段を備え、それぞれの符号化データ送信手段が互いに異なったセッションで符号化データを送信し、受信側は、少なくとも１つのセッションから符号化データを受信する手段と、少なくとも１つのセッションからの符号化データの受信の有無を、受信データの誤り・損失率、及び／又は、受信側の利用可能な電力、及び／又は、あらかじめ定められた設定に基づいて選択する手段を備え、伝送誤りがない、又は欠落がなく受信された符号化データを抽出し、再構成してデコードする。【００２３】
本発明の他のアスペクトに係るコンテンツ配信システムは、Ｍ、Ｎを２以上の整数として、送信側は、圧縮率の異なるＭ個の符号化データが格納されたコンテンツファイルから、少なくとも１つの符号化データを読み込む手段と、第１乃至第Ｎの符号化データ処理手段と、第１乃至第Ｎの符号化データ処理手段の出力を多重化して送信する手段と、を備え、多重化された符号化データを少なくとも１つのセッションで送信し、受信側は、少なくとも１つのセッションから多重化された符号化データを受信する手段、を備え、伝送誤りがない、又は欠落がなく受信された符号化データを抽出し、再構成してデコードする。【００２４】
本発明の他のアスペクトに係るコンテンツ配信システムは、Ｍ、Ｎを１以上の整数として、送信側は、圧縮率の異なるＭ個の符号化データが格納されたコンテンツファイルから、少なくとも１つの符号化データ、及び、少なくとも１つのイントラフレーム符号化データを読み込む手段と、第１乃至第Ｎの符号化データ送信手段と、少なくとも１つのイントラフレーム符号化データ送信手段と、を備え、さらにセッションごとに伝送路でのルーティングの優先度制御や、無線伝送路での電力制御を設定する手段と、を備え、それぞれの送信手段が互いに異なったセッションで符号化データを送信し、受信側は、少なくとも１つのセッションから符号化データ、及び、イントラフレーム符号化データを受信する手段、を備え、さらに、少なくとも１つのセッションからの符号化データの受信の有無を、受信データの誤り・損失率、及び／又は、受信側の利用可能な電力、及び／又は、あらかじめ定められた設定に基づいて選択する手段、を備えていてもよく、伝送誤りがない、又は欠落がなく受信された符号化データを抽出し、再構成してデコードする。【００２５】
本発明の他のアスペクトに係るコンテンツ配信システムは、Ｍ、Ｎを１以上の整数として、送信側は、圧縮率の異なるＭ個の符号化データが格納されたコンテンツファイルから、少なくとも１つの符号化データ、及び、少なくとも１つのイントラフレーム符号化データを読み込む手段と、第１乃至第Ｎの符号化データ処理手段と、少なくとも１つのイントラフレーム符号化データ処理手段と、第１乃至第Ｎの符号化データ処理手段及びイントラフレーム符号化データの出力を多重化して送信する手段と、を備え、多重化された符号化データを少なくとも１つのセッションで送信し、受信側は、少なくとも１つのセッションから多重化された符号化データを受信する手段を備え、伝送誤りがない、又は欠落がなく受信された符号化データを抽出し、再構成してデコードする。【００２６】
本発明は、Ｍ、Ｎを１以上の整数として、送信側は、圧縮率の異なるＭ個の符号化データが格納されたコンテンツファイルから、少なくとも１つの符号化データ、及び、少なくとも１つの誤り訂正符号データを読み込む手段と、第１乃至第Ｎの符号化データ送信手段と、少なくとも１つの誤り訂正符号データ送信手段と、を備え、さらに、セッションごとに伝送路でのルーティングの優先度制御や、無線伝送路での電力制御を設定する手段と、を備えていてもよく、それぞれの送信手段が互いに異なったセッションで符号化データを送信する。受信側は、少なくとも１つのセッションから符号化データ、及び、誤り訂正符号データを受信する手段、を備え、さらに、少なくとも１つのセッションからの符号化データの受信の有無を、受信データの誤り・損失率、及び／又は、受信側の利用可能な電力、及び／又は、あらかじめ定められた設定に基づいて選択する手段、を備えていてもよく、伝送誤りがない、又は欠落がなく受信された符号化データを抽出し、伝送誤りや欠落がある場合は、誤り訂正符号データから当該データを復元して符号化データを再構成し、デコードする。【００２７】
本発明の他のアスペクトに係るコンテンツ配信システムは、Ｍ、Ｎを１以上の整数として、送信側は、圧縮率の異なるＭ個の符号化データが格納されたコンテンツファイルから、少なくとも１つの符号化データ、及び、少なくとも１つの誤り訂正符号データを読み込む手段と、第１乃至第Ｎの符号化データ処理手段と、少なくとも１つの誤り訂正符号データ処理手段と、第１乃至第Ｎの符号化データ処理手段及び誤り訂正符号データ処理手段の出力を多重化して送信する手段と、を備え、多重化されたデータを少なくとも１つのセッションで送信し、受信側は、少なくとも１つのセッションから多重化されたデータを受信する手段、を備え、伝送誤りがない、又は欠落がなく受信された符号化データを抽出し、伝送誤りや欠落がある場合は、誤り訂正符号データから当該データを復元して符号化データを再構成し、デコードする。【００２８】
本発明の他のアスペクトに係るコンテンツ配信システムは、Ｍ、Ｎを１以上の整数として、送信側は、圧縮率の異なるＭ個の符号化データが格納されたコンテンツファイルから、少なくとも１つの符号化データ、及び、少なくとも１つのイントラフレーム符号化データ、及び、少なくとも１つの誤り訂正符号データを読み込む手段と、第１乃至第Ｎの符号化データ送信手段と、少なくとも１つのイントラフレーム符号化データ送信手段と、少なくとも１つの誤り訂正符号データ送信手段と、を備え、さらにセッションごとに伝送路でのルーティングの優先度制御や、無線伝送路での電力制御を設定する手段と、を備えていてもよく、それぞれの送信手段が互いに異なったセッションで符号化データを送信し、受信側は、少なくとも１つのセッションから符号化データ、及び、イントラフレーム符号化データ、及び、誤り訂正符号データを受信する手段、を備え、さらに少なくとも１つのセッションからの符号化データの受信の有無を、受信データの誤り・損失率、及び／又は、受信側の利用可能な電力、及び／又は、あらかじめ定められた設定に基づいて選択する手段、を備えていてもよく、伝送誤りがない、又は欠落がなく受信された符号化データを抽出し、伝送誤りや欠落がある場合は、誤り訂正符号データから当該データを復元して符号化データを再構成し、デコードする。【００２９】
本発明の他のアスペクトに係るコンテンツ配信システムは、Ｍ、Ｎを１以上の整数として、送信側は、圧縮率の異なるＭ個の符号化データが格納されたコンテンツファイルから、少なくとも１つの符号化データ、及び、少なくとも１つのイントラフレーム符号化データ、及び、少なくとも１つの誤り訂正符号データを読み込む手段と、第１乃至第Ｎの符号化データ処理手段と、少なくとも１つのイントラフレーム符号化データ処理手段と、少なくとも１つの誤り訂正符号データ処理手段と、第１乃至第Ｎの符号化データ処理手段及び、イントラフレーム符号化データ処理手段及び、誤り訂正符号データ処理手段の出力を多重化して送信する手段と、を備え、多重化された符号化データを少なくとも１つのセッションで送信し、受信側は、少なくとも１つのセッションから多重化されたデータを受信する手段、を備え、伝送誤りがない、又は欠落がなく受信された符号化データを抽出し、伝送誤りや欠落がある場合は、誤り訂正符号データから当該データを復元して符号化データを再構成し、デコードする。【００３０】
本発明の他のアスペクトに係るコンテンツ符号化方法は、コンテンツファイルを作成する符号化装置による符号化方法として、入力された信号もしくはデータファイルを、それぞれ互いに異なる圧縮率で符号化して出力する、第１乃至第Ｍ（ただし、Ｍは２以上の整数）の符号化処理ステップと、
前記第１乃至第Ｍの符号化処理ステップで符号化されたデータを、それぞれ、独立したトラックとして、ファイルへ書き出すステップと、を含む。【００３１】
本発明の他のアスペクトに係るコンテンツ符号化方法は、入力された信号もしくはデータファイルを、それぞれ互いに異なる圧縮率で符号化して出力する第１乃至第Ｍ（ただし、Ｍは１以上の整数）の符号化処理ステップと、
前記第１乃至第Ｍの符号化処理ステップで符号化されたデータの少なくとも１の誤り訂正符号データを生成するステップと、
前記符号化されたデータ、及び、前記誤り訂正符号データを、それぞれ独立したトラックとして、ファイルへ書き出すステップと、を含む。【００３２】
本発明の他のアスペクトに係るコンテンツ符号化方法は、入力された信号もしくはデータファイルを、イントラフレーム符号化するステップと、
前記符号化されたデータを、独立したトラックとして、ファイルへ書き出すステップと、をさら含む。【００３３】
本発明の他のアスペクトに係る符号化方法は、入力された信号もしくはデータファイルを、それぞれ互いに異なる圧縮率で符号化して出力する第１乃至第Ｍ（ただし、Ｍは２以上の整数）の符号化処理ステップと、
前記符号化されたデータを、所定の時間差を設けるか、又は、インタリーブして、それぞれ独立したトラックとしてファイルへ書き出すステップと、を含む。【００３４】
本発明の他のアスペクトに係るプログラムは、上記コンテンツ符号化方法の処理ステップを、符号化装置を構成するコンピュータ上で実行させるプログラムよりなる。【００３５】
本発明の他のアスペクトに係るコンテンツ配信方法は、コンテンツ配信装置が、コンテンツファイルから少なくとも１つの符号化データを読み込むステップと、
前記コンテンツ配信装置が、読み込んだ符号化データから、第１乃至第Ｎ（ただし、Ｎは２以上の整数）の符号化データ送信処理により、第１乃至第Ｎの符号化データの少なくとも一部を送信するステップと、を含む。【００３６】
本発明の他のアスペクトに係るコンテンツ配信方法は、コンテンツ配信装置が、コンテンツファイルから、少なくとも１つの符号化データ、及び、少なくとも１つの誤り訂正符号データを読み込むステップと、
前記コンテンツ配信装置が、読み込んだ前記符号化データ、及び誤り訂正符号データから、
（ａ）第１乃至第Ｎ（ただし、Ｎは１以上の整数）の符号化データの少なくとも一部を送信するステップ、及び／又は、
（ｂ）前記誤り訂正符号データの少なくとも一部を送信するステップ、を含む。【００３７】
本発明の他のアスペクトに係るコンテンツ配信方法は、前記コンテンツ配信装置が、前記コンテンツファイルから、少なくとも１つのイントラフレーム符号化データを読み込むステップと、
前記コンテンツ配信装置が、少なくとも１つのイントラフレーム符号化データを送信するステップと、をさらに含み、
前記コンテンツ配信装置は、前記イントラフレーム符号化データの少なくとも一部を送信する。【００３８】
本発明の他のアスペクトに係るプログラムは、上記コンテンツ配信方法の処理ステップを、コンテンツ配信装置を構成するコンピュータ上で実行させるプログラムよりなる。【００３９】
本発明の他のアスペクトに係るコンテンツ受信方法は、コンテンツ受信装置が、
（ａ）少なくとも１つのセッションから符号化データを受信するステップ、及び／又は、
（ｂ）多重化された符号化データを少なくとも１つのセッションから受信し、その中から個々の符号化データを識別するステップと、
前記コンテンツ受信装置が、受信された符号化データの中から、伝送誤りがなく、欠落なく受信された符号化データを抽出し、符号化データを再構成して出力するステップと、を含む。【００４０】
本発明の他のアスペクトに係るコンテンツ受信方法は、コンテンツ受信装置が、
（ａ）少なくとも１つのセッションから符号化データ、及び、誤り訂正符号データを受信するステップ、及び／又は、
（ｂ）多重化された符号化データ、及び、誤り符号訂正データを少なくとも１つのセッションから受信し、その中から個々のデータを識別するステップと、
前記コンテンツ受信装置が、受信されたデータの中から、伝送誤りがなく、欠落なく受信された符号化データを抽出し、伝送誤りや欠落がある場合には、誤り訂正符号データを用いて当該データを復元して符号化データを再構成するステップと、を含む。【００４１】
本発明の他のアスペクトに係るコンテンツ受信方法は、コンテンツ受信装置が、
（ｃ）少なくとも１つのセッションからイントラフレーム符号化データを受信するステップ、及び／又は、
（ｄ）多重化された符号化データ、及び、イントラフレーム符号化データを少なくとも１つのセッションから受信し、その中から個々の符号化データを識別するステップ、をさらに含む。【００４２】
本発明のさらに他のアスペクトに係るプログラムは、上記コンテンツ受信方法の処理ステップを、コンテンツ受信装置を構成するコンピュータ上で実行させるプログラムよりなる。
【発明の効果】
【００４３】
本発明を用いれば、符号化データの伝送誤り、もしくは損失によって生じる受信側再生コンテンツの品質の乱れを、最小限に抑えることができる。【００４４】
また、本発明を用いれば、配信者がコンテンツデータ伝送に使用することのできる伝送帯域と、品質のトレードオフを、コンテンツ配信サービス提供者が設定することができる。【００４５】
また、本発明を用いれば、受信側からのフィードバック情報を送信側に送ることなく、上記を達成することができる。【００４６】
また、本発明を用いれば、送信側で受信側のコンテンツの品質、及び／又は、安定性を制御することができる。【００４７】
また、本発明を用いれば、受信者が利用できる電力に応じて、コンテンツの品質、及び／又は、安定性を制御することができる。【００４８】
さらに、本発明を用いれば、圧縮符号化データの復号に要する演算量の増大を防ぎつつ、以上を実現することができる。
【図面の簡単な説明】
【００４９】
【図１】本発明の第１の実施の形態のシステム構成を示す図である。
【図２】本発明の第１及び第２の実施の形態における画像符号化装置の構成を示す図である。
【図３】本発明の第１及び第２の実施の形態おける符号化処理部の構成を示す図である。
【図４】本発明の第１、第３、及び第５の実施の形態における符号化データ送信部の構成を示す図である。
【図５】本発明の第１乃至第６の実施の形態における符号化データ再構成部の構成を示す図である。
【図６】本発明の第２の実施の形態のシステム構成を示す図である。
【図７】本発明の第２、第４、及び第６の実施の形態の符号化データ処理部の構成を示す図である。
【図８】本発明の第３の実施の形態のシステム構成を示す図である。
【図９】本発明の第３及び第４の実施の形態における画像符号化装置の構成を示す図である。
【図１０】本発明の第３及び第４の実施の形態における符号化処理部の構成を示す図である。
【図１１】本発明の第４の実施の形態のシステム構成を示す図である。
【図１２】本発明の第４の実施の形態のシステム構成の変形例を示す図である。
【図１３】本発明の第５の実施の形態のシステム構成を示す図である。
【図１４】本発明の第５及び第６の実施の形態における画像符号化装置の構成を示す図である。
【図１５】本発明の第５及び第６の実施の形態における符号化処理部の構成を示す図である。
【図１６】本発明の第６の実施の形態のシステム構成を示す図である。
【図１７】本発明の第６の実施の形態のシステム構成の変形例を示す図である。
【図１８】本発明の第１の実施の形態の変形例のシステム構成を示す図である。
【図１９】図１８のコンテンツファイルを作成する音声符号化装置の構成を示す図である。
【図２０】図１８の符号化処理部の構成の一例を示す図である。
【図２１】本発明の第２の実施の形態の変形例のシステム構成を示す図である。
【図２２】本発明の第５の実施の形態の変形例のシステム構成を示す図である。
【図２３】図２２のコンテンツファイルを作成する音声符号化装置の構成を示す図である。
【図２４】図２２の符号化処理部の構成の一例を示す図である。
【図２５】本発明の第６の実施の形態の変形例のシステム構成を示す図である。
【図２６】図２５のシステム構成の変形例を示す図である。
【図２７】本発明の第５、第６の実施の形態のコンテンツ受信装置における符号化データ再構成部の構成を示す図である。
【符号の説明】
【００５０】
１００  コンテンツファイル
１０１  コンテンツ配信装置
１０２  呼接続処理部
１０３  送信管理部
１０４  データ読込部
１０５  第１の画像符号化データ送信部
１０６  第２の画像符号化データ送信部
１０７  第Ｎの画像符号化データ送信部
１０８  報告受信部
１１０  伝送路
１１１  コンテンツ受信装置
１１２  呼接続処理部
１１３  第１の画像符号化データ受信部
１１４  第２の画像符号化データ受信部
１１５  第Ｎの画像符号化データ受信部
１１６  符号化データ再構成部
１１７  デコーダ
１１８  報告送信部
２００  画像符号化装置
２０１  カメラ
２０２  映像データファイル
２０３  符号化処理部
２０４  第１の画像符号化処理部
２０５  第２の画像符号化処理部
２０６  第Ｍの画像符号化処理部
２０７  ファイルフォーマット化処理部
２０８  コンテンツファイル
３０１  符号化処理部
３０２  第２の画像符号化処理部
３０３  第Ｎの画像符号化処理部
４００  符号化データ送信部
４０１  パケット化処理部
４０２  符号化データ分割部
４０３  暗号化処理部
４０４  符号化データ識別子付加部
４０５  誤り検出符号付加部
４０６  遅延付加部
４０７  送信データ選択部
４０８  送信部
５００  符号化データ再構成部
５０１  データ抽出部
５０２  符号化データ識別子抽出部
５０３  符号化データ抽出部
５０４  符号化データ整列・重複削除処理部
５０５  暗号化復元部
６０１  コンテンツ配信装置
６０２  第１の画像符号化データ処理部
６０３  第２の画像符号化データ処理部
６０４  第Ｎの画像符号化データ処理部
６０５  パケット多重送信部
６１０  伝送路
６１１  コンテンツ受信装置
６１８  パケット受信部
７００  符号化データ処理部
８００  コンテンツファイル
８０１  コンテンツ配信装置
８０２  呼接続処理部
８０３  送信管理部
８０４  データ読込部
８０５  第１の画像符号化データ送信部
８０６  第２の画像符号化データ送信部
８０７  第Ｎの画像符号化データ送信部
８０８  報告受信部
８０９  イントラフレーム符号化データ送信部
８１０  伝送路
８１１  コンテンツ受信装置
８１２  呼接続処理部
８１３  第１の画像符号化データ受信部
８１４  第２の画像符号化データ受信部
８１５  第Ｎの画像符号化データ受信部
８１６  符号化データ再構成部
８１７  デコーダ
８１８  報告送信部
８１９  イントラフレーム符号化データ受信部
９００  画像符号化装置
９０１  符号化処理部
９０２  イントラフレーム符号化処理部
９０３  ファイルフォーマット化処理部
９０４  コンテンツファイル
１００１  符号化処理部
１１０１  コンテンツ配信装置
１１０２  第１の画像符号化データ処理部
１１０３  第２の画像符号化データ処理部
１１０４  第Ｎの画像符号化データ処理部
１１０５  イントラフレーム符号化データ処理部
１１０６  パケット多重送信部
１１０７  パケット受信部
１１１０  伝送路
１１１１  コンテンツ受信装置
１２０１  コンテンツ配信装置
１２１０  伝送路
１２１１  コンテンツ受信装置
１３００  コンテンツファイル
１３０１  コンテンツ配信装置
１３０２  呼接続処理部
１３０３  送信管理部
１３０４  データ読込部
１３０５  第１の画像符号化データ送信部
１３０６  第２の画像符号化データ送信部
１３０７  第Ｎの画像符号化データ送信部
１３０８  報告受信部
１３０９  ＦＥＣデータ送信部
１３１０  伝送路
１３１１  コンテンツ受信装置
１３１２  呼接続処理部
１３１３  第１の画像符号化データ受信部
１３１４  第２の画像符号化データ受信部
１３１５  第Ｎの画像符号化データ受信部
１３１６  符号化データ再構成部
１３１７  デコーダ
１３１８  報告送信部
１３１９  ＦＥＣデータ受信部
１４００  画像符号化装置
１４０１  符号化処理部
１４０２  ＦＥＣ符号処理部
１４０３  ファイルフォーマット化処理部
１４０４  コンテンツファイル
１５０１  符号化処理部
１６０１  コンテンツ配信装置
１６０２  第１の画像符号化データ処理部
１６０３  第２の画像符号化データ処理部
１６０４  第Ｎの画像符号化データ処理部
１６０５  ＦＥＣデータ処理部
１６０６  パケット多重送信部
１６０７  パケット受信部
１６１０  伝送路
１６１１  コンテンツ受信装置
１７０１  コンテンツ配信装置
１７１０  伝送路
１７１１  コンテンツ受信装置
１８００  コンテンツファイル
１８０１  コンテンツ配信装置
１８０２  呼接続処理部
１８０３  送信管理部
１８０４  データ読込部
１８０５  第１の音声符号化データ送信部
１８０６  第２の音声符号化データ送信部
１８０７  第Ｎの音声符号化データ送信部
１８０８  報告受信部
１８１０  伝送路
１８１１  コンテンツ受信装置
１８１２  呼接続処理部
１８１３  第１の音声符号化データ受信部
１８１４  第２の音声符号化データ受信部
１８１５  第Ｎの音声符号化データ受信部
１８１６  符号化データ再構成部
１８１７  デコーダ
１８１８  報告送信部
１９００  音声符号化装置
１９０３  符号化処理部
１９０４  第１の音声符号化処理部
１９０５  第２の音声符号化処理部
１９０６  第Ｎの音声符号化処理部
１９０７  ファイルフォーマット化処理部
１９０８  音声符号化データファイル
２００１  符号化処理部
２００２  第２の音声符号化処理部
２００３  第Ｍの音声符号化処理部
２１０１  コンテンツ配信装置
２１０２  第１の音声符号化データ処理部
２１０３  第２の音声符号化データ処理部
２１０４  第Ｎの音声符号化データ処理部
２１０５  パケット多重送信部
２１１１  コンテンツ受信装置
２１１８  パケット受信部
２２００  コンテンツファイル
２２０１  コンテンツ配信装置
２２０２  呼接続処理部
２２０３  送信管理部
２２０４  データ読込部
２２０５  第１の音声符号化データ送信部
２２０６  第２の音声符号化データ送信部
２２０７  第Ｎの音声符号化データ送信部
２２０８  報告受信部
２２０９  ＦＥＣデータ送信部
２２１０  伝送路
２２１１  コンテンツ受信装置
２２１２  呼接続処理部
２２１３  第１の音声符号化データ受信部
２２１４  第２の音声符号化データ受信部
２２１５  第Ｎの音声符号化データ受信部
２２１６  符号化データ再構成部
２２１７  デコーダ
２２１８  報告送信部
２２１９  ＦＥＣデータ受信部
２３００  音声符号化装置
２３０１、２４０１  符号化処理部
２３０２  ＦＥＣ符号処理部
２３０３  ファイルフォーマット化処理部
２３０４  コンテンツファイル
２５０１  コンテンツ配信装置
２５０２  第１の音声符号化データ処理部
２５０３  第２の音声符号化データ処理部
２５０４  第Ｎの音声符号化データ処理部
２５０５  ＦＥＣデータ処理部
２５０６  パケット多重送信部
２５０７  パケット受信部
２５１０  伝送路
２５１１  コンテンツ受信装置
２６０１  コンテンツ配信装置
２６１０  伝送路
２６１１  コンテンツ受信装置
２７００  符号化データ再構成部
２７０１  誤り訂正符号復元処理部
【発明を実施するための最良の形態】
【００５１】
本発明についてさらに詳細に説術すべく、添付図面を参照して発明の実施の形態について説明する。
【発明の第１の実施の形態】
【００５２】
本発明の第１の実施の形態では、Ｍ、Ｎを２以上の整数として送信側は、圧縮率の異なるＭ個の符号化データが格納されたコンテンツファイルから、少なくとも１つの符号化データを読み込む手段と、第１乃至第Ｎの符号化データ送信手段と、を備え、さらに、セッションごとに伝送路でのルーティングの優先度制御や、無線伝送路での電力制御を設定する手段、を備えている。それぞれの送信手段は、互いに異なったセッションで符号化データを送信する。受信側は、少なくとも１つのセッションから符号化データを受信する手段と、を備え、さらに、少なくとも１つのセッションからの符号化データの受信の有無を、受信データの誤り・損失率、及び／又は、受信側の利用可能な電力、及び／又は、あらかじめ定められた設定に基づいて選択する手段、を備えていてもよく、伝送誤りがない、又は欠落がなく受信された符号化データを抽出し、再構成してデコードする。
【実施例１】
【００５３】
次に本発明の第１の実施例について図面を参照しながら説明する。【００５４】
図１は、本発明の第１の実施例の構成を示している。図１に示すように、コンテンツ配信装置１０１と、受信装置１１１および、コンテンツデータを伝送するための伝送路１１０から構成される。本実施例では、コンテンツ配信装置１０１は、ＩＰ（Internet Protocol）網である伝送路１１０に接続されており、ＵＤＰ（User Datagram Protocol）／ＩＰを用いて符号化データを配信し、コンテンツ受信装置１１１は、ＩＰ網に接続されるクライアント端末であるとする。なお、簡単のため、ここでは配信するコンテンツを動画像データとして説明する。【００５５】
第１の実施例のコンテンツ配信装置１０１は、呼接続処理部１０２、送信管理部１０３、データ読込部１０４、第１乃至第Ｎの画像符号化データ送信部１０５乃至１０７を備えている。コンテンツ配信装置１０１において、異なったＭ個の圧縮率（レート）で符号化されたデータを含むコンテンツファイル１００を、データ読込部１０４で読み込み、送信管理部１０３で設定された送信設定に基づき、その中から、Ｎ個の符号化データを選択し、第１乃至Ｎ個の画像符号化データ送信部１０５乃至１０７から、伝送路１１０を経由して、コンテンツ受信装置１１１へ送信する。【００５６】
第１の実施例のコンテンツ受信装置１１１は、呼接続処理部１１２、第１乃至第Ｎの画像符号化データ受信部１１３乃至１１５、符号化データ再構成部１１６、デコーダ１１７を備えている。コンテンツ受信装置１１１の呼接続処理部１１２と、コンテンツ配信装置１０１の呼接続処理部１０２で行う呼接続処理に基づき、第１乃至第Ｎの画像符号化データ受信手段１１３乃至１１５により、画像符号化データを受信し、データ誤りも欠落もなく受信された画像符号化データの中から、符号化データ再構成部１１６で圧縮率に基づいてデータを選択し、１つの動画像符号化データに再構成してデコードする。【００５７】
ここで、図１のコンテンツファイル１００を生成する画像符号化装置について、図２を用いて説明する。【００５８】
画像符号化装置２００は、符号化処理部２０３と、ファイルフォーマット化処理部２０７を備え、符号化処理部２０３は、第１乃至第Ｍの画像符号化処理部２０４乃至２０６を備えている。カメラ２０１からの映像信号や、映像データファイル２０２からの映像情報を入力し、符号化処理部２０３において、第１乃至第Ｍの画像符号化処理部２０４乃至２０６により、それぞれあらかじめ定められた圧縮率で符号化処理を行う。ここでの符号化処理は、同一符号化方式かつ、同一フレーム構成かつ、同一フレームレートかつ、同一イントラフレーム間隔かつ、同一画像サイズとし、符号化されたデータの符号化単位は、入力された映像の同じフレーム、同じ部位を符号化したデータとなるように符号化を行う。例えば符号化方式としてＭＰＥＧ−４方式を用いた場合、第１乃至第Ｍの画像符号化処理部２０４乃至２０６が生成する符号化単位であるビデオパケットは、それぞれ同一フレームの同一部位を、それぞれの圧縮率で符号化したデータに相当する。【００５９】
符号化されたデータは、ファイルフォーマット化処理部２０７で、所定のファイルフォーマットに従ってファイル化され、コンテンツファイル２０８として出力される。ファイルフォーマット規格としては、例えば、ＭＰ４ファイルフォーマットや、３ＧＰファイルフォーマット等が用いられる。この場合、第１乃至第Ｍの画像符号化データは、第１乃至第Ｍのトラックへ、それぞれのビデオパケットなどの符号化単位が、それぞれのトラックにおけるサンプルとなるよう、ヒントトラックと共に書き出される。なお、この際に、コンテンツ配信において、各トラックのデータが、時間差又はインタリーブを設けて、配信されるように、あらかじめ処理して符号化データをファイルに出力してもよい。【００６０】
このように、処理されたデータをあらかじめファイル化することで、コンテンツを配信する際、そのストリームそれぞれにレートの変換を行った場合に比べ、配信側での処理の負担を小さくすることができる。【００６１】
図２における符号化処理部２０３は、図３に示す符号化処理部３０１のように、第２乃至第Ｍの符号化処理部３０２乃至３０３が、第１の画像符号化処理部２０４での符号化処理の際に得られる、例えば動きベクトル等の符号化パラメータを再利用して符号化処理を行い、符号化データを出力する構成としてよい。【００６２】
コンテンツ配信装置１０１及びコンテンツ受信装置１１１に関して詳述する。【００６３】
図１の送信管理部１０３は、
(Ａ１)データ読込部１０４で読み込まれる符号化データの圧縮率（コンテンツのトラック）
(Ａ２)第１乃至第Ｎの送信部１０５乃至１０７が送信する送信先アドレス及びポート番号、
(Ａ３)第１乃至第Ｎの送信部１０５乃至１０７が送信する符号化データの識別情報、
(Ａ４)第１乃至第Ｎの送信部１０５乃至１０７の送信する符号化データの暗号化の有無、
(Ａ５)第１乃至第Ｎの送信部１０５乃至１０７の送信する符号化データの暗号化鍵データ、
(Ａ６)第１乃至第Ｎの送信部１０５乃至１０７の送信する符号化データの送信時間差、又はインタリーブ設定
(Ａ７)第１乃至第Ｎの送信部１０５乃至１０７の送信する符号化データの選択基準、
(Ａ８)第１乃至第Ｎの送信部１０５乃至１０７の送信するセッションでのルーティングの優先度、及び／又は、無線伝送路での送信電力
の少なくとも１つを設定し、これに基づき、呼接続処理部１０２から、コンテンツ受信装置１１１の呼接続処理部１１２との間で、例えばＲＴＳＰ（Real Time Streaming Protocol）／ＳＤＰ（Session Description Protocol）等による、接続処理を行う。なお、これら全てを、コンテンツ配信装置１０１及びコンテンツ受信装置１１１間であらかじめ定めておき、コンテンツを送受信することもできる（ＲＴＳＰ、ＳＤＰについては、それぞれ上記非特許文献１、２を参照）。【００６４】
データ読込部１０４は、送信管理部１０３での設定、及び／又は、コンテンツ配信装置１０１とコンテンツ受信装置１１１間であらかじめ定められた設定に基づき、コンテンツファイル１００の各トラックから、画像符号化データを読み込み、第１乃至第Ｎの画像符号化データ送信部１０５乃至１０７へと出力する。この際、複数の画像符号化データ送信部へ同一のトラックから読み込んだ画像符号化データを出力してもよい。【００６５】
第１乃至第Ｎの画像符号化データ送信部１０５乃至１０７は、送信管理部１０３での設定、及び／又は、コンテンツ配信装置１０１とコンテンツ受信装置１１１間であらかじめ定められた設定に基づき、第１乃至第Ｎの符号化データを、伝送路１１０を経由してコンテンツ受信装置１１１へ送信する。この際、セッションごとに、伝送路１１０でのルーティングの優先度制御や、無線伝送路での電力制御を設定してもよく、例えば、より圧縮率の低い、画像品質の高い符号化データほど、より高いルーティングの優先度や、より大きい電力で無線送信する設定をすれば、受信側で再生される画像品質をより高く維持することができる。【００６６】
図４は、図１の画像符号化データ送信部１０５〜１０７の１つの構成を示す図である。図４を用いて画像符号化データ送信部について説明する。【００６７】
画像符号化データ送信部４００は、パケット化処理部４０１と、遅延付加部４０６、送信データ選択部４０７、送信部４０８を備える。パケット化処理部４０１は、符号化データ分割部４０２、暗号化処理部４０３、符号化データ識別子付加部４０４、誤り検出符号付加部４０５を備えている。【００６８】
パケット化処理部４０１は、入力される符号化データをパケット化する。【００６９】
符号化データ分割部４０２は、符号化データをパケット化するため、符号化データ送信単位への分割を行う。【００７０】
暗号化処理部４０３は、暗号化の有無及び、暗号鍵、暗号化の強度の設定に基づき、暗号化が必要な場合は、符号化データの暗号化を行う。暗号化手法については、公知の手法が用いられる。【００７１】
符号化データ識別子付加部４０４は、入力された符号化データの圧縮率の高低等がわかるよう、例えばＲＴＰ（Real-time Transport Protocol）ヘッダのペイロードタイプや、ＳＳＲＣ（Synchronization Source identifier）、ＣＳＲＣ（Contributing Source identifier）を用いるか、もしくはこれに相当する識別情報を付加する（ＲＴＰヘッダについては、非特許文献３を参照）。【００７２】
コンテンツ受信装置１１１は、呼接続処理、及び／又は、コンテンツ配信装置１０１及びコンテンツ受信装置１１１間であらかじめ定めておいた当該識別情報と圧縮率の対応により、符号化データの圧縮率、及び／又は、層を把握することができる。【００７３】
誤り検出符号付加部４０５は、ＵＤＰヘッダのチェックサムもしくはこれに相当する情報を付加する。【００７４】
パケット化処理部４０１から出力されるパケットは、遅延付加部４０６で、あらかじめ設定された遅延量、又はインタリーブ設定に基づき、他の画像符号化データ送信部と時間差を有するか、又はインタリーブ処理を行ってパケットが出力されるよう遅延を付加される。【００７５】
ここで、符号化データ分割部４０２は、図１の第１乃至第Ｎの画像符号化データ送信部１０５乃至１０７において送信されるパケットに、画像の同一フレームの、同一部位が符号化された符号化単位が含まれるよう、入力符号化データを分割して符号化データ送信単位とする。例えばＭＰＥＧ−４符号化方式であれば、符号化単位はビデオパケットとなる。このとき、１つの送信パケットに、複数の符号化単位が含まれていてもよいが、１つの送信パケットに含まれる符号化単位群は、画像の同一部位を符号化したデータとなる。【００７６】
符号化データ識別子付加部４０４は、各画像符号化データ送信部の同一送信単位に、同一のＲＴＰヘッダのシーケンス番号か、もしくはこれに相当する同一の識別番号を付加する。これにより、コンテンツ受信装置１１１は、重複する複数の符号化データが受信された場合に、送信単位によるデータの選択を行うことができる。また、コンテンツ受信装置１１１は、受信した符号化データの順序が入れ替わっていても、正しく並び替えることが可能となる。【００７７】
また、第１乃至第Ｎの画像符号化データ送信部１０５乃至１０７での暗号化は、例えば一定以降の画像符号化データ送信部でのみ行い、コンテンツ受信装置１１１ごとに暗号化の鍵の配布の有無を制御することにより、コンテンツ配信装置１０１側で、コンテンツ受信装置で再生されるコンテンツの品質（画質）の高低や、品質の安定性を制御することもできる。【００７８】
また、第１乃至第Ｎの画像符号化データ送信部１０５乃至１０７で付加する遅延量設定は、コンテンツ受信装置１１１からのＲＴＣＰ（RTP  Control  Protocol）受信状況報告もしくは、これに相当する情報により、コンテンツ配信中も、例えばパケット損失率が高い、及び／又は、パケット損失のバースト長が長い場合は、遅延量を増やすなどのように、動的に変更することも可能である。【００７９】
遅延量を変更する際、変更された遅延量を、コンテンツ配信装置１０１の呼接続処理部１０２から、コンテンツ受信装置１１１へ改めて通知するか、そもそもコンテンツ受信装置１１１がパケットの遅延量の変更に対応できるバッファを用意しておくことが望ましい。【００８０】
なお、遅延は、第１乃至第Ｎの符号化データのいずれが最も早く送信されてもよく、最初に送信される符号化データに対して、以降のデータに時間差を設ける方法でも、順次、時間差を設けて符号化データを送信していく方法でもよい。【００８１】
送信データ選択部４０７は、送信データ選択設定に基づき、送信する符号化データのパケットを選択し、送信部４０８から、各々のセッションで、伝送路１１０経由でパケットを送信する。【００８２】
選択は、画像の性質や伝送路の状況により、適応的に送信するパケットを選択するが、選択にあたり、例えば一定周期（ｎパケットに１回）ごとにパケットを選択して送信してもよく、あるいは、符号化データの中の特徴パラメータ、例えば動きベクトルなどビット誤りあるいはパケット損失による復号画像への影響が大きいパラメータを参照して、適応的に伝送すべきパケットを決定するようにしてもよい。【００８３】
また、被参照フレーム（イントラフレーム）は、必ず選択する等の規則に従って、選択するようにしてもよい。【００８４】
さらに、第１乃至第Ｎの符号化データが、スケーラブル符号化データである場合、より上位の層のデータを優先して選択するようにしてもよい。この選択方法は、コンテンツ配信中にも、選択設定を動的に変更することも可能である。【００８５】
また、例えばネットワークの帯域に余裕がある等、トラヒック制御が必要ない場合は、この送信データ選択部４０７はなくてもよい。送信データ選択部４０７の機能を選択可能としてもよい。【００８６】
さらに、ネットワークの帯域を効率よく使用するため、
・第２乃至第Ｎの符号化データの圧縮率は、第１の符号化データに対して同等以上
・Ｋを２以上Ｎ以下の整数として、第Ｋの符号化データの圧縮率は、第（Ｋ−１）の符号化データの圧縮率に対して、同等以上
のいずれかに従って、データ読込部１０４で、コンテンツファイル１００から画像符号化データを読み込むこともできる。【００８７】
加えて、圧縮率の設定は、コンテンツ受信装置からのＲＴＣＰ受信状況報告もしくは、これに相当する情報により、コンテンツ配信中も、例えばパケット損失率が高い場合は、データ読込部１０４で、より高い圧縮率の画像符号化データを読み込む等、動的に変更することも可能である。加えて、さらなる送信符号化データ量を削減する必要がある場合、第１乃至第Ｎの画像符号化データ送信部１０５乃至１０７の任意の符号化データの送信を停止することも可能である。この配信符号化データ数は、配信に利用できる帯域と、配信コンテンツの安定度のトレードオフで決めることができる。【００８８】
また、コンテンツ配信装置１０１で、コンテンツ受信装置１１１ごとに、第１乃至第Ｎの配信セッションのうち、呼接続処理で通知するセッション情報を制御することにより、コンテンツ受信装置１１１ごとに再生されるコンテンツの品質（画質）の高低や、品質の安定性を制御することができる。【００８９】
さらに、第１乃至第Ｎの符号化データ送信部は、
・第１乃至第Ｎの符号化データ送信部がいずれもパケットをマルチキャスト、もしくはブロードキャスト送信する、
・第１乃至第Ｎの符号化データ送信部の少なくとも１つは、パケットをユニキャスト送信し、それ以外の送信部では、パケットをマルチキャスト、もしくはブロードキャスト送信する、
のいずれかの方法を採ることができる。この場合も、呼接続処理での制御で、例えば全てのコンテンツ受信装置にマルチキャスト受信のための情報は通知し、特定のコンテンツ受信装置のみ、ユニキャスト配信を行うことにより、同様にコンテンツ配信装置側で、コンテンツ受信装置で再生されるコンテンツの品質の高低や、品質の安定性を制御することができる。【００９０】
続いて、コンテンツ受信装置１１１について詳述する。【００９１】
呼接続処理部１１２は、
（Ａ１）コンテンツ受信装置１１１のアドレス
（Ａ２)第１乃至第Ｎの受信部１１３乃至１１５の、受信ポート番号
（Ａ３)第１乃至第Ｎの受信部１１３乃至１１５が受信する符号化データの圧縮率と、パケットに付加される識別情報の対応
（Ａ４)第１乃至第Ｎの受信部１１３乃至１１５が受信する符号化データの暗号化の有無
（Ａ５)第１乃至第Ｎの受信部１１３乃至１１５が受信する符号化データの暗号化鍵データ
（Ａ６)第１乃至第Ｎの受信部１１３乃至１１５が受信する符号化データ間の時間差、又はインタリーブ設定
（Ａ７)第１乃至第Ｎの受信部１１３乃至１１５が受信する符号化データの時間差、又はインタリーブ設定に基づいた受信バッファサイズ
（Ａ８)受信状況報告の送信ポート番号
（Ａ９)符号化データの符号化オプション（使用ツール）
（Ａ１０)符号化データのペイロード・オプション
の少なくとも１つを、伝送路１１０経由でコンテンツ配信装置１０１の呼接続処理部１０２とやり取りし、呼の確立を行う。【００９２】
第１乃至第Ｎの受信手段１１３乃至１１５は、受信したパケットをＵＤＰヘッダのチェックサム、もしくはこれに相当する情報により、伝送途中でのデータ誤りの影響を受けていないか確認し、誤りが発生している場合はパケットを廃棄する。誤りが発生していない場合は、符号化データ再構成部１１６へ出力する。【００９３】
図５は、図１の符号化データ再構成部１１６（符号５００で示す）の構成を示す図である。図５を用いて符号化データ再構成部５００について説明する。符号化データ再構成部５００は、データ抽出部５０１は、符号化データ整列・重複削除処理部５０４、暗号化復元部５０５を備えている。データ抽出部５０１は、符号化データ識別子抽出部５０２、符号化データ抽出部５０３を備えている。符号化データ識別子抽出部５０２で符号化データ識別情報を抽出し、符号化データ抽出部５０３では、符号化データを抽出する。【００９４】
符号化データ整列・重複削除処理部５０４は、抽出された符号化データ識別情報に基づき、受信した符号化データの整列（デ・インタリーブ）と、符号化データ送信単位の重複を判断し、重複受信した場合は、識別情報、及び／又は、受信したセッションによってデータの圧縮率を認識し、最も圧縮率の低いデータを選択し、呼接続処理部１１２で得られた情報、もしくはコンテンツ配信装置１０１及びコンテンツ受信装置１１１間であらかじめ定められたペイロード・オプションに基づき、必要に応じてペイロード・フォーマット処理を行い、１つの符号化データに再構成して暗号化復元部５０５へ出力する。【００９５】
暗号復元部５０５は、呼接続処理部１１２で得られた情報、もしくはコンテンツ配信装置１０１及びコンテンツ受信装置１１１間であらかじめ定められた暗号化の有無、暗号化手法、暗号鍵情報に基づき、受信符号化データが暗号化されている場合には、これを復元して出力する。暗号の復元は、１つに再構成された符号化データにも行われるため、最小限の処理量で復元が可能となる。【００９６】
ここで、データ識別情報は、受信した符号化データの圧縮率、及び／又は、第何番目の符号化データか、を示すデータと、符号化データ送信単位の順序を示すＲＴＰヘッダのシーケンス番号、もしくは、これに相当する識別番号である。この際、順序情報以外は、符号化データを受信したセッションから判断することも可能である。【００９７】
なお、第１乃至第Ｎの符号化データは、コンテンツ配信側で、時間差、又はインタリーブを設けて送信されるため、符号化データ整列・重複削除処理部５０４は、呼接続処理部１１２で得られる当該時間差や、インタリーブ、もしくはコンテンツ配信装置１０１及びコンテンツ受信装置１１１間であらかじめ定められた時間差やインタリーブのある符号化データに対応できるだけのバッファを装備する。暗号化復元部５０５は、呼接続処理部１１２で得た暗号化の有無及び、暗号鍵に関する情報に基づき、必要な場合は暗号を復元して出力する。暗号の復元は、１つに再構成された符号化データに対してのみ行われるため、必要最小限の処理量で復元が可能となる。【００９８】
また、コンテンツ受信装置１１１が、バッテリー／電池で動作するような、電力に制限のある環境で使用される場合、及び／又は、受信環境が良好で、圧縮率の低い画像符号化データを、ほとんど誤りや欠落なく受信できる場合、圧縮率の高い画像符号化データを配信するセッションの受信を停止し、装置の使用時間をできるだけ長くしたり、逆に、大容量バッテリーや、ＡＣ電源が接続された場合、画像符号化データの受信セッション数を増やすなど、利用可能な電力や受信環境に応じて、データの受信の有無を制御してもよい。また、この受信画像データ数を、受信者が画像データ受信装置１１１に設定できるようにしてもよい。【００９９】
デコーダ１１７は、呼接続処理部１１２で得られた情報、もしくはコンテンツ配信装置１０１及びコンテンツ受信装置１１１間であらかじめ定められた符号化オプションに基づき、再構成された符号化データをデコードし、メディアを再生する。デコードは、再構成された１つの符号化データのみ行うため、本発明においてデコードに要する処理量が増加することはない。【０１００】
報告送信部１１８は、符号化データ再構成部で得られる画像符号化データの受信状況を、ＲＴＣＰのＲＲ（Receiver Report）もしくはこれに相当する情報として、呼接続処理部１１２で得られた情報に基づいて、もしくはコンテンツ配信装置１０１及びコンテンツ受信装置１１１間であらかじめ定められた送信先であるコンテンツ配信装置１０１の報告受信部１０８へ送信し、受信状況をコンテンツ配信装置１０１へ報告する。この受信状況報告の送受信は、例えばコンテンツをマルチキャスト配信する場合等、行われない場合もあり、こうした場合は当該機能がなくても構わない。【０１０１】
なお、伝送路を複数とし、第１乃至第Ｎの符号化データの各配信セッション及び、呼接続処理情報が、異なった伝送路により伝送されても構わない。【０１０２】
また、コンテンツ配信装置１０１における、呼接続処理部１０２と、送信管理部１０３と、データ読込部１０４と、第１乃至第Ｎの画像符号化データ送信部１０５乃至１０７と、報告受信部１０８について、コンテンツ配信装置１０１を構成するコンピュータで実行されるプログラム制御によりそれぞれの機能、処理を実現するようにしてもよいことは勿論である。【０１０３】
コンテンツ受信装置１１１における、呼接続処理部１１２と、第１乃至第Ｎの受信部１１３乃至１１５と、符号化データ再構成部１１６と、デコーダ１１７と、報告送信部１１８について、コンテンツ受信装置１１１を構成するコンピュータで実行されるプログラム制御により、それぞれの機能、処理を実現するようにしてもよいことは勿論である。【０１０４】
以上、説明した本実施例は、図１８乃至２０のように、音声符号化データに対しても、同様の処理を行うことで、同様の作用効果を得ることができる。【０１０５】
図１の符号１００乃至１１８で示す要素を、図１８に示す符号１８００乃至１８１８で示す要素に置き換える。図１８を参照すると、音声信号を配信するコンテンツ配信装置１８０１は、音声データをコンテンツファイル１８００から読み出すデータ読込部１８０４、第１乃至第Ｎの音声符号化データ送信部１８０５乃至１８０７、呼接続処理部１８０２、送信管理部１８０３、報告受信部１８０８を備えている。コンテンツ受信装置１８１１は、第１乃至第Ｎの音声符号化データ受信部１８１３乃至１８１５、符号化データ再構成部１８１６、デコーダ１８１７、呼接続処理部１８１２、報告送信部１８１８を備えている。【０１０６】
また、音声符号化装置は、図２に示すカメラ２０１、映像データファイル２０２を、それぞれ、図１９のマイクロフォン（マイク）１９０１、原音データファイル１９０２とする。図１９を参照すると、音声符号化装置１９００は、マイク１９０１、原音データファイル１９０２からの音声信号を入力してそれぞれ符号化する第１乃至第Ｍの音声符号化処理部１９０４乃至１９０６を有する符号化処理部１９０３と、ファイルフォーマット化処理部１９０７を備え、第１乃至第Ｍの音声符号化処理部１９０４乃至１９０６からの符号化データが、それぞれ独立したトラックとして、音声符号化データファイル１９０８へ出力される。さらに図２の画像符号化装置２００、コンテンツファイル２０８を、それぞれ図１９の音声符号化装置１９００、音声符号化データファイル１９０８とする。【０１０７】
また、図３の符号化処理部３０１は、図２０の符号化処理部２００１で構成される。符号化処理部１９０３（図１９の１９０４〜１９０６）は、第１の音声符号化処理部１９０４と、第１の音声符号化処理部１９０４での処理結果（符号化パラメータ）を利用して符号化を行う第２の音声符号化処理部２００２と、第３の音声符号化処理部２００３とを備えている。【０１０８】
各部での処理の流れは、図１乃至図３の説明と同様の処理を行えばよい。【０１０９】
なお、この際、符号化データの符号化単位は、入力された音声の同一時間帯のデータであり、これを同一の標本化周波数で標本化し、同一の量子化ビット数で量子化を行って符号化を行うことで、圧縮率が異なった符号化単位が、互いに置き換えできるようになる。【０１１０】
また、図１８のコンテンツファイル１８００が、画像及び音声の双方の符号化データを含み、コンテンツ配信装置、コンテンツ受信装置が画像及び音声双方の符号化データの処理機能を有すれば、画像と音声の双方で、上記本実施例の作用効果を得ることができることは勿論である。
【発明の第２の実施の形態】
【０１１１】
本発明の第２の実施の形態では、Ｍ、Ｎを２以上の整数として、送信側は、圧縮率の異なるＭ個の符号化データが格納されたコンテンツファイルから、少なくとも１つの符号化データを読み込む手段と、第１乃至第Ｎの符号化データ処理手段と、第１乃至第Ｎの符号化データ処理手段の出力を多重化して送信する手段と、を備え、多重化された符号化データを少なくとも１つのセッションで送信し、受信側は、少なくとも１つのセッションから多重化された符号化データを受信する手段、を備え、伝送誤りがない、又は欠落がなく受信された符号化データを抽出し、再構成してデコードする。
【実施例２】
【０１１２】
次に、本発明の第２の実施例について図面を参照して説明する。【０１１３】
図６は、本発明の第２の実施例の構成を示す図である。図６のコンテンツ配信装置６０１、コンテンツ受信装置６１１、伝送路６１０は、それぞれ前記第１の実施例を示す図１のコンテンツ配信装置１０１、コンテンツ受信装置１１１、伝送路１１０に相当する。以下では、前記第１の実施例との相違点を中心に、本発明の第２の実施例について説明する。コンテンツ配信装置６０１は、パケット多重送信部６０５を備え、コンテンツ受信装置６１１は、パケット受信部６１８を備えている。【０１１４】
図７は、コンテンツ配信装置６０１の第１乃至第Ｎの画像符号化データ処理部６０２乃至６０４の構成を示す図である。図７を参照すると、符号化データ処理部７００は、図４に示した符号化データ送信部４００の、送信部４０８の機能を含まないものである。【０１１５】
パケット多重送信部６０５は、第１乃至第Ｎの画像符号化データ処理部６０２乃至６０４の出力（パケット）を多重化し、１つのセッションで、伝送路６１０経由で、コンテンツ受信装置６１１へ画像符号化データを送信する。【０１１６】
コンテンツ受信装置６１１のパケット受信部６１８は、コンテンツ配信装置６０１からの画像符号化データの多重化（マルチプレクス）されたパケットを受信して、分離する（デマルチプレクスする）。パケット受信部６１８は、ＵＤＰヘッダのチェックサム、もしくは、これに相当する情報により、伝送途中でのデータ誤りの影響を受けていないか確認し、誤りが発生している場合には、当該パケットを廃棄する。誤りが発生していない場合には、画像符号化データの受信パケットを、符号化データ再構成部１１６へ出力する。【０１１７】
図６において、図１と同一の要素には同一の参照符号が付されており、前記第１の実施例の対応する要素と同様である。【０１１８】
なお、本実施例では、第１乃至第Ｎの符号化データ処理部６０２乃至６０４の出力を多重化して送受信することとしたが、第１乃至第Ｎの符号化データ処理部６０２乃至６０４の出力を、任意の組み合わせで多重化して、送受信することも可能である。【０１１９】
本実施例では、パケット多重送信部６０５及び、パケット受信部６１８をそれぞれ１つとして説明したが、これらを複数備えた構成としても、同様の作用効果を得ることができる。またパケット多重送信部６０５、及び、パケット受信部６１８を介さずに、それぞれ独立したセッションでパケットを送受信する送受信部を複数備えた構成としても、同様の作用効果を得ることができる。この場合、前記第１の実施例のように、呼接続処理で通知するセッション情報の制御により、コンテンツ配信側で、コンテンツ受信装置６１１ごとに、再生されるコンテンツの品質や、安定性を制御することができることは勿論である。【０１２０】
また、配信するセッションごとに、マルチキャスト、もしくはブロードキャスト、もしくはユニキャストを選択できることは勿論である。このとき、コンテンツ受信装置６１１が利用可能な電力によって、受信するセッション数を制御できることも勿論である。【０１２１】
なお、伝送路を複数とし、多重化された第１乃至第Ｎの符号化データの配信セッション及び、呼接続処理情報、受信状況報告情報が、異なった伝送路により伝送されても構わない。【０１２２】
また、コンテンツ配信装置６０１における、呼接続処理部１０２と、送信管理部１０３と、データ読込部１０４と、第１乃至第Ｎの画像符号化データ処理部６０２乃至６０４と、パケット多重送信部６０５と、報告受信部１０８について、コンテンツ配信装置６０１を構成するコンピュータで実行されるプログラム制御によりそれぞれの機能、処理を実現するようにしてもよいことは勿論である。コンテンツ受信装置６１１における、呼接続処理部１１２と、符号化データ再構成部１１６と、デコーダ１１７と、報告送信部１１８と、パケット受信部６１８について、コンテンツ受信装置６１１を構成するコンピュータで実行されるプログラム制御により、それぞれの機能、処理を実現するようにしてもよいことは勿論である。【０１２３】
以上、説明した本実施例は、図２１に示すように、音声符号化データに対しても同様の処理を行うことで、同様の作用効果を得ることができる。図２１を参照すると、音声信号を配信するコンテンツ配信装置２１０１は、音声データをコンテンツファイル１８００から読み出すデータ読込部１８０４、第１乃至第Ｎの音声符号化データ処理部２１０２乃至２１０４、パケット多重送信部２１０５、呼接続処理部１８０２、送信管理部１８０３、報告受信部１８０８を備えている。コンテンツ受信装置２１１１は、パケット受信部２１１８、符号化データ再構成部１８１６、デコーダ１８１７、呼接続処理部１８１２、報告送信部１８１８を備えている。この場合、図６のコンテンツファイル１００、コンテンツ配信装置６０１、伝送路６１０、コンテンツ受信装置６１１を、それぞれ図２１のコンテンツファイル１８００、コンテンツ配信装置２１０１、伝送路２１１０、コンテンツ受信装置２１１１として同様の処理を行えばよい。【０１２４】
また、コンテンツファイルが、画像及び音声の双方の符号化データを含み、コンテンツ配信装置、コンテンツ受信装置が画像及び音声双方の符号化データの処理機能を有すれば、画像と音声の双方で本実施例に示す作用効果を得ることができることは勿論である。
【発明の第３の実施の形態】
【０１２５】
本発明の第３の実施の形態では、Ｍ、Ｎを１以上の整数として、送信側は、圧縮率の異なるＭ個の符号化データが格納されたコンテンツファイルから、少なくとも１つの符号化データ、及び、少なくとも１つのイントラフレーム符号化データを読み込む手段と、第１乃至第Ｎの符号化データ送信手段と、少なくとも１つのイントラフレーム符号化データ送信手段と、を備え、さらにセッションごとに伝送路でのルーティングの優先度制御や、無線伝送路での電力制御を設定する手段と、を備えている。それぞれの送信手段は、互いに異なったセッションで符号化データを送信する。受信側は、少なくとも１つのセッションから符号化データ、及び、イントラフレーム符号化データを受信する手段、を備え、さらに、少なくとも１つのセッションからの符号化データの受信の有無を、受信データの誤り・損失率、及び／又は、受信側の利用可能な電力、及び／又は、あらかじめ定められた設定に基づいて選択する手段、を備えている。伝送誤りがない、又は欠落がなく受信された符号化データを抽出し、再構成してデコードする。
【実施例３】
【０１２６】
次に本発明の第３の実施例について図面を参照して説明する。【０１２７】
図８は、本発明の第３の実施例の構成を示す図である。図８のコンテンツ配信装置８０１、コンテンツ受信装置８１１、伝送路８１０は、それぞれ前記第１の実施例を示す図１のコンテンツ配信装置１０１、コンテンツ受信装置１１１、伝送路１１０に相当し、８０２乃至８０８および、８１２乃至８１８は、それぞれ図１の１０２乃至１０８および、１１２乃至１１８に相当する。以下では、前記第１の実施例との相違点を中心に、本実施例について説明する。なお、本実施例では、説明の簡単のため、配信するイントラフレーム符号化データ数を「１」として説明するが、イントラフレーム符号化データ数は、１に限定されないことは勿論である。【０１２８】
コンテンツファイル８００は、図１のコンテンツファイル１００と同様、
（Ａ１）異なったＭ個の圧縮率（レート）で符号化されたデータを含むか、あるいは、
（Ａ２）それに加えて、イントラフレーム符号化されたデータも含むコンテンツファイルとなっている。（Ａ１）の場合は、前記第１の実施例で説明した画像符号化装置２００（図２参照）により、コンテンツファイルを作成する。（Ａ２）の場合のコンテンツファイルを生成する画像符号化装置について、図９を用いて、説明する。【０１２９】
図９を参照すると、画像符号化装置９００は、前記第１の実施例と同様、カメラ２０１からの映像信号や、映像データファイル２０２からの映像情報を入力し、第１乃至第Ｍの画像符号化処理部２０４乃至２０６により、それぞれあらかじめ定められた圧縮率で符号化処理を行う。また、さらにイントラ（Ｉｎｔｒａ）フレーム符号化処理部９０２により、イントラフレーム符号化を行い、入力映像情報を符号化する。ここでの符号化処理は、同一符号化方式、かつ、同一画像サイズとし、第１乃至第Ｍの符号化処理部２０４乃至２０６においては、さらに同一フレーム構成かつ、同一フレームレートかつ、同一イントラフレーム間隔とし、符号化データの符号化単位は、入力された映像の同じフレーム、同じ部位を符号化したデータとなるように符号化を行う。【０１３０】
例えば符号化方式として、ＭＰＥＧ−４方式を用いた場合、第１乃至第Ｍの画像符号化処理部２０４乃至２０６及び、Ｉｎｔｒａフレーム符号化処理部９０２が生成する符号化単位であるビデオパケットは、それぞれ同一フレームの同一部位を、それぞれの圧縮率で符号化したデータに相当する。【０１３１】
符号化されたデータは、ファイルフォーマット化処理部９０３で、所定のファイルフォーマットに従ってファイル化され、コンテンツファイル９０４として出力される。ファイルフォーマット規格としては、例えばＭＰ４ファイルフォーマットや、３ＧＰファイルフォーマット等があり、その場合、第１乃至第Ｍの画像符号化データ、及び、イントラフレーム符号化データは、第１乃至第（Ｍ＋１）のトラックへ、それぞれのビデオパケットがそれぞれのトラックにおけるサンプルとなるよう、ヒントトラックと共に書き出される。【０１３２】
図９における符号化処理部９０１は、図１０に示す符号化処理部１００１のように、第１の実施例における図３と同様、第２乃至第Ｍの符号化処理部３０２乃至３０３が、第１の画像符号化処理部２０４での符号化処理の際に得られる、例えば動きベクトル等の符号化パラメータを再利用して符号化処理を行い、符号化データを出力する方法であってもよい。【０１３３】
このように、処理されたデータをあらかじめファイル化することで、コンテンツを配信する際、そのストリームそれぞれにレートの変換やＩｎｔｒａフレーム符号化を行った場合に比べ、配信側での処理の負担を非常に小さくすることができる。【０１３４】
図８の送信管理部８０３は、
(Ａ)データ読込部８０４で読み込まれる符号化データの圧縮率（コンテンツのトラック）及び符号化データ種別
(Ｂ)第１乃至第Ｎの送信部８０５乃至８０７及び、Ｉｎｔｒａフレーム符号化データ送信部８０９が送信する送信先アドレス及びポート番号、
(Ｃ)第１乃至第Ｎの送信部８０５乃至８０７及び、Ｉｎｔｒａフレーム符号化データ送信部８０９が送信する符号化データの識別情報、
(Ｄ)第１乃至第Ｎの送信部８０５乃至８０７及び、Ｉｎｔｒａフレーム符号化データ送信部８０９の送信する符号化データの暗号化の有無、
(Ｅ)第１乃至第Ｎの送信部８０５乃至８０７及び、Ｉｎｔｒａフレーム符号化データ送信部８０９の送信する符号化データの暗号化鍵データ、
(Ｆ)第１乃至第Ｎの送信部８０５乃至８０７及び、Ｉｎｔｒａフレーム符号化データ送信部８０９の送信する符号化データの送信時間差、又はインタリーブ設定
(Ｇ)第１乃至第Ｎの送信部８０５乃至８０７及び、Ｉｎｔｒａフレーム符号化データ送信部８０９の送信する符号化データの選択基準、
(Ｈ)第１乃至第Ｎの送信部８０５乃至８０７及び、Ｉｎｔｒａフレーム符号化データ送信部８０９の送信するセッションでのルーティングの優先度、及び／又は、無線伝送路での送信電力
の少なくとも１つを設定し、これに基づき、呼接続処理部８０２からコンテンツ受信装置８１１の呼接続処理部８１２との間で、例えばＲＴＳＰ／ＳＤＰ等による、接続処理を行う。なお、これら全てを、コンテンツ配信装置８０１及びコンテンツ受信装置８１１間であらかじめ定めておき、コンテンツを送受信することもできる。【０１３５】
データ読込部８０４は、送信管理部８０３での設定、及び／又は、コンテンツ配信装置８０１とコンテンツ受信装置８１１間であらかじめ定められた設定に基づき、少なくとも１つのイントラフレーム符号化データが１つのトラックに収納されているコンテンツファイルから画像符号化データを読み込む場合、コンテンツファイル８００の各トラックから画像符号化データを読み込み、第１乃至第Ｎの画像符号化データ送信部８０５乃至８０７及び、Ｉｎｔｒａフレーム符号化データ送信部８０９へと出力する。【０１３６】
あるいは、イントラフレーム符号化データを１つのトラックとして含んではいない、前記第１の実施例でのコンテンツファイル１００から符号化データを読み込む場合、Ｉｎｔｒａフレーム符号化データ送信部８０９へは、第１乃至第Ｍのトラックのうちのいずれかのトラックから、イントラフレーム符号化されたデータのみを読み出して出力するようにしてもよい。【０１３７】
また、どちらの場合も、複数の画像符号化データ送信部へ同一のトラックから読み込んだ画像符号化データを出力してもよい。【０１３８】
図８のＩｎｔｒａフレーム符号化データ送信部８０９は、第１乃至第Ｎの画像符号化データ送信部８０５乃至８０７と同じく、前記第１の実施例の図４と同様の処理を行う。なお、イントラフレーム符号化データに対しても、例えばＲＴＰヘッダのペイロードタイプや、ＳＳＲＣ、ＣＳＲＣか、もしくはこれに相当する識別情報を付加して、第１乃至第Ｎの符号化データと識別できるようにする。【０１３９】
次に、コンテンツ受信装置８１１に関して、呼接続処理部８１２は、
(Ａ)コンテンツ受信装置８１１のアドレス、
(Ｂ)第１乃至第Ｎの受信部８１３乃至８１５、及び、Ｉｎｔｒａフレーム符号化データ受信部８１９の受信ポート番号、
(Ｃ)第１乃至第Ｎの受信部８１３乃至８１５、及び、Ｉｎｔｒａフレーム符号化データ受信部８１９が受信する符号化データの圧縮率、及び、符号化データ種別と、パケットに付加される識別情報の対応、
(Ｄ)第１乃至第Ｎの受信部８１３乃至８１５、及び、Ｉｎｔｒａフレーム符号化データ受信部８１９が受信する符号化データの暗号化の有無、
(Ｅ)第１乃至第Ｎの受信部８１３乃至８１５、及び、Ｉｎｔｒａフレーム符号化データ受信部８１９が受信する符号化データの暗号化鍵データ、
(Ｆ)第１乃至第Ｎの受信部８１３乃至８１５、及び、Ｉｎｔｒａフレーム符号化データ受信部８１９が受信する符号化データ間の時間差、又はインタリーブ設定、
(Ｇ)第１乃至第Ｎの受信部８１３乃至８１５、及び、Ｉｎｔｒａフレーム符号化データ受信部８１９が受信する符号化データの時間差、又はインタリーブ設定に基づいた受信バッファサイズ、
(Ｈ)受信状況報告の送信ポート番号、
(Ｉ)符号化データの符号化オプション（使用ツール）、
(Ｊ)符号化データのペイロード・オプション、
の少なくとも１つを、伝送路８１０経由でコンテンツ配信装置８０１の呼接続処理部８０２とやり取りし、呼の確立を行う。【０１４０】
Ｉｎｔｒａフレーム符号化データ受信部８１９は、第１乃至第Ｎの画像符号化データ受信部８１３乃至８１５と同じく、受信したパケットをＵＤＰヘッダのチェックサム、もしくは、これに相当する情報により、伝送途中でのデータ誤りの影響を受けていないか確認し、誤りが発生している場合は、パケットを廃棄する。誤りが発生していない場合には、符号化データ再構成部８１６へ出力する。【０１４１】
符号化データ再構成部８１６は、前記第１の実施例での図５と同様の構成とされるが、いずれの符号化データも、伝送路で誤りの影響を受けるか損失してしまった場合には、当該符号化データが符号化されている画像の部位の、次のフレームの同一部位には、イントラフレーム符号化データを選択するようにすれば、デコード画像の品質劣化を、最小限に抑えることができる。また、例えば第１乃至第Ｎの符号化データのいずれかが正しく受信できている場合でも、それが、インターフレーム符号化データであるとき、周期的に、必ずイントラフレーム符号化データを選択するようにすれば、伝送路での誤りや損失の発生した場合でも、ＭＰＥＧ−４符号化方式のＣＩＲ（Cyclic Intra Refresh）と同様の作用効果を得ることができ、デコード画像の乱れを素早く回復し、品質劣化をより小さく抑えることができる。【０１４２】
また、コンテンツ受信装置８１１が、バッテリー／電池で動作するような、電力に制限のある環境で使用される場合、及び／又は、受信環境が良好で、圧縮率の低い画像符号化データを、ほとんど誤りや欠落なく受信できる場合、イントラフレーム符号化データや、圧縮率の高い画像符号化データを配信するセッションの受信を停止し、装置の使用時間をできるだけ長くしたり、逆に、大容量バッテリーや、ＡＣ電源が接続された場合、画像符号化データの受信セッション数を増やすなど、利用可能な電力や受信環境に応じて、データの受信の有無を制御してもよい。【０１４３】
また、この受信画像データ数を、受信者が画像データ受信装置８１１に設定できるようにしてもよい。【０１４４】
これ以外については、前記第１の実施例でそれぞれが相当する部分と同様である。【０１４５】
なお、伝送路を複数とし、多重化された第１乃至第Ｎの送信部の出力を配信するセッション及び、イントラフレーム符号化データの送信部の出力を配信するセッション、呼接続処理情報、受信状況報告情報が、異なった伝送路により伝送するようにしてもよい。【０１４６】
また、コンテンツ配信装置８０１における、呼接続処理部８０２と、送信管理部８０３と、データ読込部８０４と、第１乃至第Ｎの送信部８０５乃至８０７と、報告受信部８０８と、Ｉｎｔｒａフレーム符号化データ送信部８０９について、コンテンツ配信装置８０１を構成するコンピュータで実行されるプログラム制御によりそれぞれの機能、処理を実現するようにしてもよいことは勿論である。コンテンツ受信装置８１１における、呼接続処理部８１２と、第１乃至第Ｎの受信部８１３乃至８１５と、符号化データ再構成部８１６と、デコーダ８１７と、報告送信部８１８と、Ｉｎｔｒａフレーム符号化データ受信部８１９について、コンテンツ受信装置８１１を構成するコンピュータで実行されるプログラム制御により、それぞれの機能、処理を実現するようにしてもよいことは勿論である。
【発明の第４の実施の形態】
【０１４７】
本発明の第４の実施の形態では、Ｍ、Ｎを１以上の整数として、送信側は、圧縮率の異なるＭ個の符号化データが格納されたコンテンツファイルから、少なくとも１つの符号化データ、及び、少なくとも１つのイントラフレーム符号化データを読み込む手段と、第１乃至第Ｎの符号化データ処理手段と、少なくとも１つのイントラフレーム符号化データ処理手段と、第１乃至第Ｎの符号化データ処理手段及びイントラフレーム符号化データの出力を多重化して送信する手段と、を備え、多重化された符号化データを少なくとも１つのセッションで送信し、受信側は、少なくとも１つのセッションから多重化された符号化データを受信する手段を備え、伝送誤りがない、又は欠落がなく受信された符号化データを抽出し、再構成してデコードする。
【実施例４】
【０１４８】
次に本発明の第４の実施例について図面を参照しながら説明する。【０１４９】
図１１は、本発明の第４の実施例の構成を示す図である。図１１のコンテンツ配信装置１１０１、コンテンツ受信装置１１１１、伝送路１１１０は、それぞれ図８のコンテンツ配信装置８０１、コンテンツ受信装置８１１、伝送路８１０に相当する。以下では、本実施例と、図８の前記第３の実施例との相違点についてのみ説明する。【０１５０】
コンテンツ配信装置１１０１の第１乃至第Ｎの画像符号化データ処理部１１０２乃至１１０４及び、Ｉｎｔｒａフレーム符号化データ処理部１１０５は、図７に示す符号データ処理部７００と同様に構成されており、図４に示すような構成の前記第３の実施例における第１乃至第Ｎの画像符号化データ送信部８０５乃至８０７、及び、Ｉｎｔｒａフレーム符号化データ送信部８０９のうち、送信部４０８の機能を含まないものとなる。【０１５１】
パケット多重送信部１１０６は、第１乃至第Ｎの画像符号化データ処理部１１０２乃至１１０４及び、Ｉｎｔｒａフレーム符号化データ処理部１１０５の出力（パケット）を多重化し、１つのセッションで、伝送路１１１０経由でコンテンツ受信装置１１１１へ画像符号化データを送信する。【０１５２】
コンテンツ受信装置１１１１のパケット受信部１１０７は、コンテンツ配信装置１１０１からの画像符号化データのパケットを受信し、ＵＤＰヘッダのチェックサム、もしくはこれに相当する情報により、伝送途中でのデータ誤りの影響を受けていないか確認し、誤りが発生している場合はパケットを廃棄する。誤りが発生していない場合は、符号化データ再構成部８１６へ出力する。【０１５３】
これ以外については、前記第３の実施例でそれぞれが相当する部分と同様である。【０１５４】
なお、本実施例では、第１乃至第Ｎの画像符号化データ処理部及び、Ｉｎｔｒａフレーム符号化データ処理部の出力を多重化して送受信することとしたが、これらの符号化データ処理部の出力を、任意の組み合わせで多重化して送受信することも可能である。【０１５５】
本実施例では、パケット多重送信部及び、パケット受信部をそれぞれ１つとして説明したが、これらが複数、存在しても同様の作用効果を得ることができ、またパケット多重送信部及び、パケット受信部を介さず、それぞれ独立したセッションでパケットを送受信する送受信部が複数あっても、同様の作用効果を得ることができる。【０１５６】
例えば、第１乃至第Ｎの画像符号化データ処理部１１０２乃至１１０４の出力を多重化して送受信し、それとは別のセッションで、イントラフレーム符号化データを送受信する実施例は、図１２に示すような構成となる。図１２に示す構成の場合、前記第１の実施例、及び前記第３の実施例のように、呼接続処理で通知するセッション情報の制御により、コンテンツ配信側で、コンテンツ受信装置１２１１ごとに再生されるコンテンツの品質や安定性を制御することができることは勿論である。【０１５７】
また、配信するセッションごとに、マルチキャスト、もしくはブロードキャスト、もしくはユニキャストを選択できることは勿論である。このとき、コンテンツ受信装置１２１１が利用可能な電力によって、受信するセッション数を制御できることは、勿論である。【０１５８】
なお、伝送路を複数とし、多重化された第１乃至第Ｎの符号化データ、及び、イントラフレーム符号化データの配信セッション及び、呼接続処理情報、受信状況報告情報が、異なった伝送路により伝送するようにしてもよい。【０１５９】
また、コンテンツ配信装置１１０１における、呼接続処理部８０２と、送信管理部８０３と、データ読込部（データ読込／生成／変換部）８０４と、第１乃至第Ｎの画像符号化データ処理部１１０２乃至１１０４と、Ｉｎｔｒａ（イントラ）フレーム符号化データ処理部１１０５と、パケット多重送信部１１０６と、報告受信部８０８について、コンテンツ配信装置１１０１を構成するコンピュータで実行されるプログラム制御によりそれぞれの機能、処理を実現するようにしてもよいことは勿論である。コンテンツ受信装置１１１１における、呼接続処理部８１２と、符号化データ再構成部８１６と、デコーダ８１７と、報告送信部８１８と、パケット受信部１１０７について、コンテンツ受信装置１１１１を構成するコンピュータで実行されるプログラム制御により、それぞれの機能、処理を実現するようにしてもよいことは勿論である。【０１６０】
また、コンテンツ配信装置１２０１における、呼接続処理部８０２と、送信管理部８０３と、データ読込部８０４と、第１乃至第Ｎの画像符号化データ処理部１１０２乃至１１０４と、Ｉｎｔｒａフレーム符号化データ送信部８０９と、パケット多重送信部１１０６と、報告受信部８０８について、コンテンツ配信装置１２０１を構成するコンピュータで実行されるプログラム制御によりそれぞれの機能、処理を実現するようにしてもよいことは勿論である。コンテンツ受信装置１２１１における、呼接続処理部８１２と、符号化データ再構成部８１６と、デコーダ８１７と、報告送信部８１８と、Ｉｎｔｒａフレーム符号化データ受信部８１９と、パケット受信部１１０７について、コンテンツ受信装置１２１１を構成するコンピュータで実行されるプログラム制御により、それぞれの機能、処理を実現するようにしてもよいことは、勿論である。
【発明の第５の実施の形態】
【０１６１】
本発明の第５の実施の形態では、Ｍ、Ｎを１以上の整数として、送信側は、圧縮率の異なるＭ個の符号化データが格納されたコンテンツファイルから、少なくとも１つの符号化データ、及び、少なくとも１つの誤り訂正符号データを読み込む手段と、第１乃至第Ｎの符号化データ送信手段と、少なくとも１つの誤り訂正符号データ送信手段と、を備え、さらに、セッションごとに伝送路でのルーティングの優先度制御や、無線伝送路での電力制御を設定する手段と、を備えている。それぞれの送信手段は、互いに異なったセッションで符号化データを送信する。受信側は、少なくとも１つのセッションから符号化データ、及び、誤り訂正符号データを受信する手段、を備え、さらに、少なくとも１つのセッションからの符号化データの受信の有無を、受信データの誤り・損失率、及び／又は、受信側の利用可能な電力、及び／又は、あらかじめ定められた設定に基づいて選択する手段、を備えている。伝送誤りがない、又は欠落がなく受信された符号化データを抽出し、伝送誤りや欠落がある場合は、誤り訂正符号データから当該データを復元して符号化データを再構成し、デコードする。
【実施例５】
【０１６２】
次に本発明の第５の実施例について図面を参照しながら説明する。【０１６３】
図１３は、本発明の第５の実施例の構成を示す図である。図１３のコンテンツ配信装置１３０１、コンテンツ受信装置１３１１、伝送路１３１０は、それぞれ、前記第１の実施例を示す図１のコンテンツ配信装置１０１、コンテンツ受信装置１１１、伝送路１１０に相当し、符号１３０２乃至１３０８、及び、符号１３１２乃至１３１８は、それぞれ図１の１０２乃至１０８および、１１２乃至１１８に相当する。以下では、前記第１の実施例との相違点を中心に、本実施例について説明する。なお、本実施例では、説明の簡単のため誤り訂正符号データは、第１の画像符号化データから生成した１つとしているが、誤り訂正符号データは第２乃至第Ｎの画像符号化データの任意のデータから生成した複数のデータであってもよいことは勿論である。また、誤り訂正符号データだけでなく、第３の実施例で示したように、イントラフレーム符号化データをあわせて配信してもよい。【０１６４】
コンテンツファイル１３００は、コンテンツファイル１００と同様、異なったＭ個の圧縮率（レート）で符号化されたデータを含み、それに加えて、Ｍ個の符号化データうち少なくとも１つの誤り訂正符号データを含むコンテンツファイルとなっている。【０１６５】
図１４は、コンテンツファイル１３００を生成する画像符号化装置の構成を示す図である。図１４を用いて、画像符号化装置１４００について説明する。【０１６６】
画像符号化装置１４００は、図２の前記第１の実施例と同様、カメラ２０１からの映像信号や、映像データファイル２０２からの映像情報を入力し、第１乃至第Ｍの画像符号化処理部２０４乃至２０６により、前記第１の実施例と同様の符号化処理を行う。【０１６７】
また、さらにＦＥＣ符号処理部１４０２により、第１の画像符号化データから誤り訂正符号を生成する。【０１６８】
「ＦＥＣ（Forwards Error Correction）」と呼ばれる誤り訂正符号としては、リード・ソロモン符号や、ＬＤＰＣ（Low Density parity check）、畳み込み符号等が存在し、本発明では、これら公知の手法を用いる。【０１６９】
符号化されたデータ、及び、誤り訂正符号データは、ファイルフォーマット化処理部１４０３で所定のファイルフォーマットに従ってファイル化され、コンテンツファイル１４０４として出力される。ファイルフォーマット規格としては、例えばＭＰ４ファイルフォーマットや、３ＧＰファイルフォーマット等があり、その場合、第１乃至第Ｍの画像符号化データ、及び、誤り訂正符号データは、第１乃至第（Ｍ＋１）のトラックへ、それぞれのビデオパケットもしくは、誤り訂正符号データがそれぞれのトラックにおけるサンプルとなるよう、ヒントトラックと共に書き出される。【０１７０】
図１４における符号化処理部１４０１としては、図１５に示す符号化処理部１５０１のように構成してもよい。すなわち、前記第１の実施例における図３と同様、図１５に示すように、第２乃至第Ｍの符号化処理部３０２乃至３０３が、第１の画像符号化処理部２０４での符号化処理の際に得られる、例えば動きベクトル等の符号化パラメータを再利用して符号化処理を行い、符号化データを出力する方法であってもよい。【０１７１】
なお、本実施例では、誤り訂正符号データは、第１の画像符号化データから生成されているが、これを第１乃至第Ｍの画像符号化データの任意のデータから、１つ以上の誤り訂正符号データを生成し、それぞれが異なったトラックへファイルを書き出してもよい。この際、より圧縮率の低い、画像品質の高い画像符号化データから誤り訂正符号データを生成することが、受信側で再生される画像の品質を維持するためには望ましい。【０１７２】
このように、処理されたデータをあらかじめファイル化することで、コンテンツを配信する際、そのストリームそれぞれにレートの変換や誤り訂正符号データの生成を行った場合に比べ、配信側での処理の負担を非常に小さくすることができる。【０１７３】
送信管理部１３０３は、
(Ａ)データ読込部１３０４で読み込まれる符号化データの圧縮率（コンテンツのトラック）、及びデータ種別、
(Ｂ)第１乃至第Ｎの送信部１３０５乃至１３０７、及び、ＦＥＣデータ送信部１３０９が送信する送信先アドレス及びポート番号、
(Ｃ)第１乃至第Ｎの送信部１３０５乃至１３０７、及び、ＦＥＣデータ送信部１３０９が送信する符号化データの識別情報、
(Ｄ)第１乃至第Ｎの送信部１３０５乃至１３０７、及び、ＦＥＣデータ送信部１３０９の送信する符号化データの暗号化の有無、
(Ｅ)第１乃至第Ｎの送信部１３０５乃至１３０７、及び、ＦＥＣデータ送信部１３０９の送信する符号化データの暗号化鍵データ、
(Ｆ)第１乃至第Ｎの送信部１３０５乃至１３０７、及び、ＦＥＣデータ送信部１３０９の送信する符号化データの送信時間差、又はインタリーブ設定
(Ｇ)第１乃至第Ｎの送信部１３０５乃至１３０７、及び、ＦＥＣデータ送信部１３０９の送信する符号化データの選択基準、
(Ｆ)第１乃至第Ｎの送信部１３０５乃至１３０７、及び、ＦＥＣデータ送信部１３０９の送信するセッションでのルーティングの優先度、及び／又は、無線伝送路での送信電力
の少なくとも１つを設定し、これに基づき、呼接続処理部１３０２からコンテンツ受信装置１３１１の呼接続処理部１３１２との間で、例えばＲＴＳＰ（Real Time Streaming Protocol）／ＳＤＰ（Session Description Protocol）等による、接続処理を行う。なお、これら全てを、コンテンツ配信装置１３０１及びコンテンツ受信装置１３１１間であらかじめ定めておき、コンテンツを送受信することもできる。【０１７４】
データ読込部１３０４は、送信管理部１３０３での設定、及び／又は、コンテンツ配信装置１３０１とコンテンツ受信装置１３１１間であらかじめ定められた設定に基づき、少なくとも１つの誤り訂正符号データが１つのトラックに収納されているコンテンツファイルから、画像符号化データ、及び、誤り訂正符号データを読み込み、第１乃至第Ｎの画像符号化データ送信部１３０５乃至１３０７、及び、ＦＥＣ（誤り訂正符号）データ送信部１３０９へと出力する。この場合、複数の画像符号化データ送信部へ同一のトラックから読み込んだ画像符号化データを出力してもよい。【０１７５】
ＦＥＣデータ送信部１３０９は、第１乃至第Ｎの画像符号化データ送信部１３０５乃至１３０７と同じく、前記第１の実施例における図４と同様の処理を行う。なお、誤り訂正符号データに対しても、例えばＲＴＰヘッダのペイロードタイプや、ＳＳＲＣ、ＣＳＲＣかもしくはこれに相当する識別情報を付加して、第１乃至第Ｎの符号化データと識別できるようにする。【０１７６】
次に、コンテンツ受信装置１３１１に関して、呼接続処理部１３１２は、
(Ａ)コンテンツ受信装置１３１１のアドレス、
(Ｂ)第１乃至第Ｎの受信部１３１３乃至１３１５、及び、ＦＥＣデータ受信部１３１９の受信ポート番号、
(Ｃ)第１乃至第Ｎの受信部１３１３乃至１３１５、及び、ＦＥＣデータ受信部１３１９が受信する符号化データの圧縮率及び、データ種別と、パケットに付加される識別情報の対応、
(Ｄ)第１乃至第Ｎの受信部１３１３乃至１３１５、及び、ＦＥＣデータ受信部１３１９が受信する符号化データの暗号化の有無、
(Ｅ)第１乃至第Ｎの受信部１３１３乃至１３１５、及び、ＦＥＣデータ受信部１３１９が受信する符号化データの暗号化鍵データ、
(Ｆ)第１乃至第Ｎの受信部１３１３乃至１３１５、及び、ＦＥＣデータ受信部１３１９が受信する符号化データ間の時間差、又はインタリーブ設定、
(Ｇ)第１乃至第Ｎの受信部１３１３乃至１３１５、及び、ＦＥＣデータ受信部１３１９が受信する符号化データの時間差、又はインタリーブ設定に基づいた受信バッファサイズ
(Ｈ)受信状況報告の送信ポート番号、
(Ｉ)符号化データの符号化オプション（使用ツール）、
(Ｊ)符号化データのペイロード・オプション、
の少なくとも１つを、伝送路１３１０経由でコンテンツ配信装置１３０１の呼接続処理部１３０２とやり取りし、呼の確立を行う。【０１７７】
ＦＥＣデータ受信部１３１９は、第１乃至第Ｎの画像符号化データ受信部１３１３乃至１３１５と同じく、受信したパケットをＵＤＰヘッダのチェックサム、もしくはこれに相当する情報により、伝送途中でのデータ誤りの影響を受けていないか確認し、誤りが発生している場合はパケットを廃棄する。誤りが発生していない場合は、符号化データ再構成部１３１６へ出力する。【０１７８】
図２７に、符号化データ再構成部２７００として、図１３の符号化データ再構成部１３１６の構成を示す。図２７を参照すると、符号化データ再構成部２７００は、図５に示した符号化データ再構成部５００に、誤り訂正符号復元処理部２７０１で得られる機能が追加されたものである。データ抽出部５０１の出力に、伝送路でのデータ誤りや損失によって生じた欠落がある場合、誤り訂正符号復元処理部２７０１は、誤り訂正符号を用いて当該データを復元し、符号化データ・整列重複削除処理部５０４へ出力する。復元ができない場合も含め、以後は、前記第１の実施例と同様、符号化データ識別情報に基づき、受信した符号化データの整列と、符号化データ送信単位の重複を判断し、符号化データ送信単位で重複受信している場合には、識別情報、及び／又は、受信したセッションによって、データの圧縮率を認識し、好ましくは、最も圧縮率の低いデータを選択し、１つの符号化データに再構成する。【０１７９】
また、コンテンツ受信装置１３１１が、バッテリー／電池で動作するような、電力に制限のある環境で使用される場合、及び／又は、受信環境が良好で、圧縮率の低い画像符号化データを、ほとんど誤りや欠落なく受信できる場合、誤り訂正符号データや、圧縮率の高い画像符号化データを配信するセッションの受信を停止し、装置の使用時間をできるだけ長くしたり、逆に、大容量バッテリーや、ＡＣ電源が接続された場合、画像符号化データの受信セッション数を増やすなど、利用可能な電力や受信環境に応じて、データの受信の有無を制御してもよい。また、この受信データ数を、受信者が画像データ受信装置１３１１に設定できるようにしてもよい。【０１８０】
また、誤り訂正符号データを複数とする場合、誤り訂正符号データを、それぞれ伝送路での誤り、もしくは損失のいくつかのパターンに合わせて生成し、コンテンツ受信装置１３１１が、受信環境に最も適した誤り訂正符号データによって、伝送路で誤った／損失したデータを復元することで、より高い確率で本来のコンテンツの符号化データを得ることもできる。この場合、コンテンツ配信装置１３０１の呼接続処理部１３０２が、コンテンツ受信装置１３１１の呼接続処理部１３１２へ、それぞれの誤り訂正符号データが適している伝送路状況を通知するか、あるいは誤り訂正符号データを生成するための設定（例えばＬＤＰＣ方式での検査行列、もしくはこれを生成するための設定情報）を通知するか、あるいはこれをあらかじめコンテンツ配信装置１３０１とコンテンツ受信装置１３１１間で定めておけばよい。【０１８１】
さらに、誤り訂正符号データを複数とする場合、誤り訂正符号の種別が異なっていてもよく、コンテンツ受信装置１３１１の受信環境や、処理能力によって、復号が可能な誤り訂正符号データを選択してもよい。この場合、コンテンツ配信装置１３０１の呼接続処理部１３０２が、コンテンツ受信装置１３１１の呼接続処理部１３１２へ、それぞれの誤り訂正符号の種別を通知するか、あるいはこれをあらかじめコンテンツ配信装置１３０１とコンテンツ受信装置１３１１間で定めておけばよい。【０１８２】
これ以外については、前記第１の実施例でそれぞれが相当する部分と同様である。【０１８３】
なお、伝送路を複数とし、多重化された第１乃至第Ｎの送信部の出力を配信するセッション及び、誤り訂正符号データの送信部の出力を配信するセッション、呼接続処理情報、受信状況報告情報が、異なった伝送路により伝送するようにしてもよい。【０１８４】
さらに、前記第３の実施例にあるように、本実施例における第１乃至第Ｎの符号化データに加えて、イントラフレーム符号化データを含めた符号化データ、及び、誤り訂正符号データを配信してもよいことは勿論である。【０１８５】
また、コンテンツ配信装置１３０１における、呼接続処理部１３０２と、送信管理部１３０３と、データ読込部１３０４と、第１乃至第Ｎの送信部１３０５乃至１３０７と、報告受信部１３０８と、ＦＥＣデータ送信部１３０９について、コンテンツ配信装置１３０１を構成するコンピュータで実行されるプログラム制御によりそれぞれの機能、処理を実現するようにしてもよいことは勿論である。コンテンツ受信装置１３１１における、呼接続処理部１３１２と、第１乃至第Ｎの受信部１３１３乃至１３１５と、符号化データ再構成部１３１６と、デコーダ１３１７と、報告送信部１３１８と、ＦＥＣデータ受信部１３１９について、コンテンツ受信装置１３１１を構成するコンピュータで実行されるプログラム制御により、それぞれの機能、処理を実現するようにしてもよいことは勿論である。【０１８６】
以上、説明した本実施例は、図２２乃至２４のように、音声符号化データに対しても同様の処理を行うことで、同様の作用効果を得ることができる。図２２を参照すると、音声信号を配信するコンテンツ配信装置２２０１は、音声データ、ＦＥＣデータをコンテンツファイル２２００から読み出すデータ読込部２２０４、データ読込部２２０４で読み込んだ音声データを符号化する第１乃至第Ｎの音声符号化データ送信部２２０５乃至２２０７、データ読込部２２０４で読み込んだＦＥＣデータを送信するＦＥＣデータ送信部２２０９、呼接続処理部２２０２、送信管理部２２０３、報告受信部２２０８を備えている。コンテンツ受信装置２２１１は、第１乃至第Ｎの音声符号化データ受信部２２１３乃至２２１５、ＦＥＣデータ受信部２２１９、符号化データ再構成部２２１６、デコーダ２２１７、呼接続処理部２２１２、報告送信部２２１８を備えている。【０１８７】
また、音声符号化装置は、図１４に示すカメラ２０１、映像データファイル２０２を、それぞれ図２３のマイクロフォン１９０１、原音データファイル１９０２に置き換える。図２３を参照すると、音声符号化装置２３００は、マイク１９０１、原音データファイル１９０２からの音声信号を入力してそれぞれ符号化する第１乃至第Ｍの音声符号化処理部１９０４乃至１９０６と、第１の音声符号化処理部１９０４からの符号化データからＦＥＣデータを生成するＦＥＣ符号処理部２３０２を有する符号化処理部２３０１と、ファイルフォーマット化処理部２３０３を備え、第１乃至第Ｍの音声符号化処理部１９０４乃至１９０６、ＦＥＣ符号処理部２３０２からの符号化データが、それぞれ独立したトラックとして、コンテンツファイル２３０４へ出力される。図２４を参照すると、符号化処理部２４０１（図２３の２３０１）は、第１の音声符号化処理部１９０４と、第１の音声符号化処理部１９０４での処理結果（符号化パラメータ）を利用して符号化データを出力する第２乃至第Ｍの音声符号化処理部２００２乃至２００３と、第１の音声符号化処理部１９０４の符号化データからFEC符号化データを出力するＦＥＣ符号処理部２３０２を備えている。なお、音声符号化データの符号化単位は、入力された音声の同一時間帯のデータであり、これを同一の標本化周波数で標本化し、同一の量子化ビット数で量子化を行って符号化を行うことで、圧縮率が異なった符号化単位が、互いに置き換えできるようになる。【０１８８】
また、コンテンツファイルが、画像及び音声の双方の符号化データ、及び、誤り訂正符号データを含み、コンテンツ配信装置、コンテンツ受信装置が画像及び音声双方の符号化データの処理機能を有すれば、画像と音声の双方で本実施例に示す効果を得ることができることは勿論である。
【発明の第６の実施の形態】
【０１８９】
本発明の第６の実施の形態では、Ｍ、Ｎを１以上の整数として、送信側は、圧縮率の異なるＭ個の符号化データが格納されたコンテンツファイルから、少なくとも１つの符号化データ、及び、少なくとも１つの誤り訂正符号データを読み込む手段と、第１乃至第Ｎの符号化データ処理手段と、少なくとも１つの誤り訂正符号データ処理手段と、第１乃至第Ｎの符号化データ処理手段及び誤り訂正符号データ処理手段の出力を多重化して送信する手段と、を備え、多重化されたデータを少なくとも１つのセッションで送信し、受信側は、少なくとも１つのセッションから多重化されたデータを受信する手段、を備え、伝送誤りがない、又は欠落がなく受信された符号化データを抽出し、伝送誤りや欠落がある場合は、誤り訂正符号データから当該データを復元して符号化データを再構成し、デコードする。
【実施例６】
【０１９０】
次に本発明の第６の実施例について図面を参照しながら説明する。【０１９１】
図１６は、本発明の第６の実施例の構成を示している。図１６のコンテンツ配信装置１６０１、コンテンツ受信装置１６１１、伝送路１６１０は、それぞれ第５の実施例を示す図１３のコンテンツ配信装置１３０１、コンテンツ受信装置１３１１、伝送路１３１０に相当する。以後、第５の実施例と異なる箇所のみ説明する。また、誤り訂正符号データだけでなく、第４の実施例で示したように、イントラフレーム符号化データをあわせて配信してもよい。【０１９２】
コンテンツ配信装置１６０１の第１乃至第Ｎの画像符号化データ処理部１６０２乃至１６０４、及び、ＦＥＣデータ処理部１６０５については、前記第２、第４の実施例と同様に、図７の符号化データ処理部７００に示す構成とされている。【０１９３】
パケット多重送信部１６０６は、第１乃至第Ｎの画像符号化データ処理部１６０２乃至１６０４及び、ＦＥＣデータ処理部１６０５の出力（パケット）を多重化し、１つのセッションにて、伝送路１６１０経由でコンテンツ受信装置１６１１へ画像符号化データを送信する。【０１９４】
コンテンツ受信装置１６１１のパケット受信部１６０７は、コンテンツ配信装置１６０１からの画像符号化データのパケットを受信し、ＵＤＰヘッダのチェックサム、もしくはこれに相当する情報により、伝送途中でのデータ誤りの影響を受けていないか確認し、誤りが発生している場合はパケットを廃棄する。誤りが発生していない場合は、符号化データ再構成部１３１６へ出力する。【０１９５】
これ以外については、前記第５の実施例でそれぞれが相当する部分と同様である。【０１９６】
なお、本実施例では、第１乃至第Ｎの符号化データ処理部及び、ＦＥＣデータ処理部の出力を多重化して送受信することとしたが、これらの処理部の出力を、任意の組み合わせで多重化して送受信することも可能である。【０１９７】
本実施例では、パケット多重送信部及び、パケット受信部をそれぞれ１つとして説明したが、これらが複数、存在しても同様の効果を得ることができ、またパケット多重送信部及び、パケット受信部を介さず、それぞれ独立したセッションでパケットを送受信する送受信部が複数あっても、同様の作用効果を得ることができる。例えば、第１乃至第Ｎの画像符号化データ処理部の出力を多重化して送受信し、それとは別のセッションで誤り訂正符号データを送受信する構成例は、図１７に示すようなものとなる。この場合、第５の実施例のように、呼接続処理で通知するセッション情報の制御により、コンテンツ配信側で、コンテンツ受信装置ごとに再生されるコンテンツの品質や安定性を制御することができることは勿論である。また、配信するセッションごとに、マルチキャスト、もしくはブロードキャスト、もしくはユニキャストを選択できることは勿論である。このとき、コンテンツ受信装置１７１１が利用可能な電力によって、受信するセッション数を制御できることも勿論である。【０１９８】
なお、伝送路を複数とし、多重化された第１乃至第Ｎの符号化データ、及び、誤り訂正符号データの配信セッション、及び、呼接続処理情報、受信状況報告情報を、異なった伝送路により、伝送する構成としてもよい。【０１９９】
さらに、前記第４の実施例で説明したように、本実施例における第１乃至第Ｎの符号化データに加えて、イントラフレーム符号化データを含めた符号化データ、及び、誤り訂正符号データを多重化して配信してもよいことは勿論である。【０２００】
また、コンテンツ配信装置１６０１における、呼接続処理部１３０２と、送信管理部１３０３と、データ読込部（データ読込／生成／変換部）１３０４と、第１乃至第Ｎの画像符号化データ処理部１６０２乃至１６０４と、ＦＥＣデータ処理部１６０５と、パケット多重送信部１６０６と、報告受信部１３０８について、コンテンツ配信装置１６０１を構成するコンピュータで実行されるプログラム制御によりそれぞれの機能、処理を実現するようにしてもよいことは勿論である。コンテンツ受信装置１６１１における、呼接続処理部１３１２と、符号化データ再構成部１３１６と、デコーダ１３１７と、報告送信部１３１８と、パケット受信部１６０７について、コンテンツ受信装置１６１１を構成するコンピュータで実行されるプログラム制御により、それぞれの機能、処理を実現するようにしてもよいことは勿論である。【０２０１】
また、コンテンツ配信装置１７０１における、呼接続処理部１３０２と、送信管理部１３０３と、データ読込部１３０４と、第１乃至第Ｎの画像符号化データ処理部１６０２乃至１６０４と、ＦＥＣデータ送信部１３０９と、パケット多重送信部１６０６と、報告受信部１３０８について、コンテンツ配信装置１７０１を構成するコンピュータで実行されるプログラム制御によりそれぞれの機能、処理を実現するようにしてもよいことは勿論である。コンテンツ受信装置１７１１における、呼接続処理部１３１２と、符号化データ再構成部１３１６と、デコーダ１３１７と、報告送信部１３１８と、ＦＥＣデータ受信部１３１９と、パケット受信部１６０７について、コンテンツ受信装置１７１１を構成するコンピュータで実行されるプログラム制御により、それぞれの機能、処理を実現するようにしてもよいことは勿論である。【０２０２】
以上、説明した本実施例は、図２５及び図２６のように、音声符号化データに対しても同様の処理を行うことで、同様の作用効果を得ることができる。図２５を参照すると、音声信号を配信するコンテンツ配信装置２５０１は、音声データ、ＦＥＣデータをコンテンツファイル２２００から読み出すデータ読込部２２０４、データ読込部２２０４で読み込んだ音声データを符号化する第１乃至第Ｎの音声符号化データ処理部２５０２乃至２５０４、データ読込部２２０４で読み込んだＦＥＣデータを処理するＦＥＣデータ処理部２５０５、第１乃至第Ｎの音声符号化データ処理部２５０２乃至２５０４、ＦＥＣデータ処理部２５０５の出力をパケットに多重化して出力するパケット多重化送信部２５０６を備えている。コンテンツ受信装置２５１１は、パケット受信部２５０７と、符号化データ再構成部２２１６、デコーダ２２１７、呼接続処理部２２１２、報告送信部２２１８を備えている。図２６に示す構成は、図２５の変形であり、図１７の画像符号化データ配信の音声符号化データ配信システムに対応している。図２６に示す例では、パケット多重送信部２５０６は、第１乃至第Ｎの音声符号化データ処理部２５０２乃至２５０４の出力を多重して伝送路２６１０へ出力し、ＦＥＣデータはＦＥＣデータ送信部２２０９により、音声符号化データに多重せず、個別に伝送路２６１０に送信される構成とされている。コンテンツ受信装置２６１１は、多重された符号化データを受信するパケット受信部２５０７と、ＦＥＣデータを受信するＦＥＣデータ受信部２２１９を備え、符号化データ再構成部２２１６で符号化データが再構成される。【０２０３】
また、コンテンツファイルが、画像及び音声の双方の符号化データを含み、コンテンツ配信装置、コンテンツ受信装置が画像及び音声双方の符号化データの処理機能を有すれば、画像と音声の双方で本実施例に示す効果を得ることができることは勿論である。【０２０４】
以上、本発明を上記実施例に即して説明したが、本発明は上記実施例の構成にのみ限定されるものでなく、本発明の範囲内で当業者であればなし得るであろう各種変形、修正を含むことは勿論である。
【図１】
0004475235.tif 000002
【図２】
0004475235.tif 000003
【図３】
0004475235.tif 000004
【図４】
0004475235.tif 000005
【図５】
0004475235.tif 000006
【図６】
0004475235.tif 000007
【図７】
0004475235.tif 000008
【図８】
0004475235.tif 000009
【図９】
0004475235.tif 000010
【図１０】
0004475235.tif 000011
【図１１】
0004475235.tif 000012
【図１２】
0004475235.tif 000013
【図１３】
0004475235.tif 000014
【図１４】
0004475235.tif 000015
【図１５】
0004475235.tif 000016
【図１６】
0004475235.tif 000017
【図１７】
0004475235.tif 000018
【図１８】
0004475235.tif 000019
【図１９】
0004475235.tif 000020
【図２０】
0004475235.tif 000021
【図２１】
0004475235.tif 000022
【図２２】
0004475235.tif 000023
【図２３】
0004475235.tif 000024
【図２４】
0004475235.tif 000025
【図２５】
0004475235.tif 000026
【図２６】
0004475235.tif 000027
【図２７】
0004475235.tif 000028