(57)【要約】【課題】再生画質を維持するとともに、通信回線のトラフィックの増大を抑えることができるようにする。【解決手段】エラーパケットの前後もしくはその近傍に位置するパケット（正常に受信したパケット）に含まれる付加情報を用いてエラーパケットの重要度を判定する。そして、その判定した重要度に応じて、エラーパケットの再送要求、エラー隠蔽、及びエラーパケットの放置のうち、何れか１つの処理を行うようにして、映像の再生画質を維持するとともに、通信回線のトラフィックの増大を抑えることができるようにする。【選択図】図３
2009049526.tif 000002
【特許請求の範囲】
【請求項１】
映像データを複数のパケットにパケット化するとともに、符号化情報を含む付加情報を前記パケットに付加する送信装置から送信される前記付加情報が付加されたパケットを受信する受信手段と、
前記受信手段によって受信されたパケットから前記付加情報を抽出する付加情報抽出手段と、
前記受信手段によって受信されたパケットを基に、エラーパケットを検出するエラー検出手段と、
前記付加情報抽出手段によって抽出された付加情報を用いて、前記エラー検出手段によって検出されたエラーパケットの重要度を判定する重要度判定手段と、
前記重要度判定手段によって判定された重要度に応じたエラー処理を前記エラーパケットに対して行うエラー処理手段とを有することを特徴とする受信装置。
【請求項２】
前記重要度判定手段は、前記エラーパケットの前または後ろのパケットに付加された付加情報を用いて前記エラーパケットの重要度を判定することを特徴とする請求項１に記載の受信装置。
【請求項３】
前記重要度判定手段は、符号化時におけるフレームの参照及び被参照関係を示す参照マップと、次のイントラ符号化フレームまでのフレーム数を示す参照距離情報と、符号化マクロブロックのＤＣ成分の情報とを用いて前記エラーパケットの重要度を判定することを特徴とする請求項２に記載の受信装置。
【請求項４】
前記エラー処理手段は、前記重要度判定手段によって判定された重要度に基づいて、前記エラーパケットに対するエラー処理として、前記エラーパケットに対応するパケットを前記送信装置に対して再送要求する処理、前記エラーパケットを修復する処理、または前記エラーパケットを放置する処理のうち、何れか１つを行うことを特徴とする請求項１に記載の受信装置。
【請求項５】
映像データを所定の符号化方式で符号化する符号化手段と、
前記符号化手段によって符号化された映像データの符号化情報を含む付加情報を生成する付加情報生成手段と、
前記符号化手段によって符号化された映像データを所定のパケット形式に分割して複数のパケットを生成するパケット化手段と、
前記パケット化手段によって生成されたパケットに前記付加情報生成手段によって生成された付加情報を付加する付加手段と、
前記付加手段によって前記付加情報が付加されたパケットを、前記映像データを要求する受信装置に送信するとともに、前記受信装置からエラーパケットの再送要求を受信した場合に、前記エラーパケットに対応するパケットを前記受信装置に再度送信する送信手段とを有することを特徴とする送信装置。
【請求項６】
前記パケット化手段は、前記符号化手段によって符号化された映像データを第１のパケット形式に分割したパケットを生成する第１のパケット化手段と、前記第１のパケット化手段によって生成されたパケットを第２のパケット形式に分割したパケットを生成する第２のパケット化手段とを有し、
前記付加手段は、前記第１のパケット化手段または第２のパケット化手段によって生成されたパケットに前記付加情報を付加し、
前記送信手段は、前記第２のパケット形式に分割されたパケットを前記受信装置に送信することを特徴とする請求項５に記載の送信装置。
【請求項７】
前記付加手段は、前記パケット化手段が次に生成するパケットに対応する付加情報を付加することを特徴とする請求項５に記載の送信装置。
【請求項８】
前記付加手段は、前記送信手段が次に送信するパケットに対応する付加情報を付加することを特徴とする請求項５に記載の送信装置。
【請求項９】
前記付加情報は、符号化時におけるフレームの参照及び被参照関係を示す参照マップと、次のイントラ符号化フレームまでのフレーム数を示す参照距離情報と、符号化マクロブロックのＤＣ成分の情報とを含むことを特徴とする請求項５に記載の送信装置。
【請求項１０】
前記付加情報は、フレームを構成する最後のパケットまでの残りパケット数についての情報を含むことを特徴とする請求項５に記載の送信装置。
【請求項１１】
前記第１のパケット化手段は、ISO Base Media File Format形式に従ったパケットを生成することを特徴とする請求項６に記載の送信装置。
【請求項１２】
請求項１〜４の何れか１項に記載の受信装置と、請求項５〜１１の何れか１項に記載の送信装置とを有することを特徴とする通信システム。
【請求項１３】
映像データを複数のパケットにパケット化するとともに、符号化情報を含む付加情報を前記パケットに付加する送信装置から送信される前記付加情報が付加されたパケットを受信する受信工程と、
前記受信工程において受信したパケットから前記付加情報を抽出する付加情報抽出工程と、
前記受信工程において受信したパケットを基に、エラーパケットを検出するエラー検出工程と、
前記付加情報抽出工程において抽出した付加情報を用いて、前記エラー検出工程において検出したエラーパケットの重要度を判定する重要度判定工程と、
前記重要度判定工程において判定した重要度に応じたエラー処理を前記エラーパケットに対して行うエラー処理工程とを有することを特徴とする受信装置の制御方法。
【請求項１４】
映像データを所定の符号化方式で符号化する符号化工程と、
前記符号化工程において符号化した映像データの符号化情報を含む付加情報を生成する付加情報生成工程と、
前記符号化工程において符号化した映像データを所定のパケット形式に分割して複数のパケットを生成するパケット化工程と、
前記パケット化工程において生成したパケットに前記付加情報生成工程において生成した付加情報を付加する付加工程と、
前記付加工程において前記付加情報を付加したパケットを、前記映像データを要求する受信装置に送信するとともに、前記受信装置からエラーパケットの再送要求を受信した場合に、前記エラーパケットに対応するパケットを前記受信装置に再度送信する送信工程とを有することを特徴とする送信装置の制御方法。
【請求項１５】
映像データを複数のパケットにパケット化するとともに、符号化情報を含む付加情報を前記パケットに付加する送信装置から送信される前記付加情報が付加されたパケットを受信する受信工程と、
前記受信工程において受信したパケットから前記付加情報を抽出する付加情報抽出工程と、
前記受信工程において受信したパケットを基に、エラーパケットを検出するエラー検出工程と、
前記付加情報抽出工程において抽出した付加情報を用いて、前記エラー検出工程において検出したエラーパケットの重要度を判定する重要度判定工程と、
前記重要度判定工程において判定した重要度に応じたエラー処理を前記エラーパケットに対して行うエラー処理工程とをコンピュータに実行させることを特徴とするプログラム。
【請求項１６】
映像データを所定の符号化方式で符号化する符号化工程と、
前記符号化工程において符号化した映像データの符号化情報を含む付加情報を生成する付加情報生成工程と、
前記符号化工程において符号化した映像データを所定のパケット形式に分割して複数のパケットを生成するパケット化工程と、
前記パケット化工程において生成したパケットに前記付加情報生成工程において生成した付加情報を付加する付加工程と、
前記付加工程において前記付加情報を付加したパケットを、前記映像データを要求する受信装置に送信するとともに、前記受信装置からエラーパケットの再送要求を受信した場合に、前記エラーパケットに対応するパケットを前記受信装置に再度送信する送信工程とをコンピュータに実行させることを特徴とするプログラム。
【請求項１７】
請求項１５または１６に記載のプログラムを記録しことを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は受信装置、送信装置、通信システム、受信装置の制御方法、送信装置の制御方法、プログラム及び記録媒体に関し、特に、エラーパケットの対応処理を行うために用いて好適な技術に関する。
【背景技術】
【０００２】
従来、トランスポート層としてＵＤＰ（User Datagram Protocol）を使用する通信では、ＲＴＰヘッダが付加されているパケットを授受する方式が一般的に用いられている。受信側では、受信したＲＴＰヘッダのシーケンス番号の連続性を確認して、前記シーケンス番号が不連続であることを検出した場合は、パケットが欠落したと判断し、前記シーケンス番号に該当するパケットの再送要求を送信側へ送信する。
【０００３】
一方、受信側から送信された再送要求を受信した送信側は、前記受信側において欠落したパケットを前記再送要求に従って再送信する。そして、受信側では、前記再送信されたパケットを受信して、エラー修復を行う送受信システムが開示されている（例えば、特許文献１参照）。この技術により、受信側では、映像の再生画質を維持することができる。
【０００４】
【特許文献１】特開２００４−２６６５０４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
以上説明したように、前記特許文献１に記載の送受信システムでは、受信側でパケットの欠落を検出すると、欠落したパケットの内容（重要度）に関係なく、再送要求を実施するものであった。このため、送信側が再送パケットを送信することにより回線容量を逼迫させてしまい、パケットの欠落やエラーをかえって増長させてしまうという問題点があった。
【０００６】
本発明は前述の問題点に鑑み、映像の再生画質を維持するとともに、通信回線のトラフィックの増大を抑えることができるようにすることを目的としている。
【課題を解決するための手段】
【０００７】
本発明の受信装置は、映像データを複数のパケットにパケット化するとともに、符号化情報を含む付加情報を前記パケットに付加する送信装置から送信される前記付加情報が付加されたパケットを受信する受信手段と、前記受信手段によって受信されたパケットから前記付加情報を抽出する付加情報抽出手段と、前記受信手段によって受信されたパケットを基に、エラーパケットを検出するエラー検出手段と、前記付加情報抽出手段によって抽出された付加情報を用いて、前記エラー検出手段によって検出されたエラーパケットの重要度を判定する重要度判定手段と、前記重要度判定手段によって判定された重要度に応じたエラー処理を前記エラーパケットに対して行うエラー処理手段とを有することを特徴とする。
【０００８】
本発明の送信装置は、映像データを所定の符号化方式で符号化する符号化手段と、前記符号化手段によって符号化された映像データの符号化情報を含む付加情報を生成する付加情報生成手段と、前記符号化手段によって符号化された映像データを所定のパケット形式に分割して複数のパケットを生成するパケット化手段と、前記パケット化手段によって生成されたパケットに前記付加情報生成手段によって生成された付加情報を付加する付加手段と、前記付加手段によって前記付加情報が付加されたパケットを、前記映像データを要求する受信装置に送信するとともに、前記受信装置からエラーパケットの再送要求を受信した場合に、前記エラーパケットに対応するパケットを前記受信装置に再度送信する送信手段とを有することを特徴とする。
【０００９】
本発明の通信システムは、前記に記載の受信装置と前記に記載の送信装置とを有することを特徴とする。
【００１０】
本発明の受信装置の制御方法は、映像データを複数のパケットにパケット化するとともに、符号化情報を含む付加情報を前記パケットに付加する送信装置から送信される前記付加情報が付加されたパケットを受信する受信工程と、前記受信工程において受信したパケットから前記付加情報を抽出する付加情報抽出工程と、前記受信工程において受信したパケットを基に、エラーパケットを検出するエラー検出工程と、前記付加情報抽出工程において抽出した付加情報を用いて、前記エラー検出工程において検出したエラーパケットの重要度を判定する重要度判定工程と、前記重要度判定工程において判定した重要度に応じたエラー処理を前記エラーパケットに対して行うエラー処理工程とを有することを特徴とする。
【００１１】
本発明の送信装置の制御方法は、映像データを所定の符号化方式で符号化する符号化工程と、前記符号化工程において符号化した映像データの符号化情報を含む付加情報を生成する付加情報生成工程と、前記符号化工程において符号化した映像データを所定のパケット形式に分割して複数のパケットを生成するパケット化工程と、前記パケット化工程において生成したパケットに前記付加情報生成工程において生成した付加情報を付加する付加工程と、前記付加工程において前記付加情報を付加したパケットを、前記映像データを要求する受信装置に送信するとともに、前記受信装置からエラーパケットの再送要求を受信した場合に、前記エラーパケットに対応するパケットを前記受信装置に再度送信する送信工程とを有することを特徴とする。
【００１２】
本発明のプログラムは、映像データを複数のパケットにパケット化するとともに、符号化情報を含む付加情報を前記パケットに付加する送信装置から送信される前記付加情報が付加されたパケットを受信する受信工程と、前記受信工程において受信したパケットから前記付加情報を抽出する付加情報抽出工程と、前記受信工程において受信したパケットを基に、エラーパケットを検出するエラー検出工程と、前記付加情報抽出工程において抽出した付加情報を用いて、前記エラー検出工程において検出したエラーパケットの重要度を判定する重要度判定工程と、前記重要度判定工程において判定した重要度に応じたエラー処理を前記エラーパケットに対して行うエラー処理工程とをコンピュータに実行させることを特徴とする。
また、本発明のプログラムの他の特徴とするところは、映像データを所定の符号化方式で符号化する符号化工程と、前記符号化工程において符号化した映像データの符号化情報を含む付加情報を生成する付加情報生成工程と、前記符号化工程において符号化した映像データを所定のパケット形式に分割して複数のパケットを生成するパケット化工程と、前記パケット化工程において生成したパケットに前記付加情報生成工程において生成した付加情報を付加する付加工程と、前記付加工程において前記付加情報を付加したパケットを、前記映像データを要求する受信装置に送信するとともに、前記受信装置からエラーパケットの再送要求を受信した場合に、前記エラーパケットに対応するパケットを前記受信装置に再度送信する送信工程とをコンピュータに実行させることを特徴とする。
【００１３】
本発明の記録媒体は、前記の何れかに記載のプログラムを記録したことを特徴とする。
【発明の効果】
【００１４】
本発明によれば、受信されたパケットから抽出された付加情報を用いてエラーパケットの重要度を判定し、前記判定した重要度に応じたエラー処理を前記エラーパケットに対して行うようにした。これにより、映像の再生画質を維持するとともに、通信回線のトラフィックの増大を抑えることができる。
【発明を実施するための最良の形態】
【００１５】
（第１の実施形態）
以下、本発明の実施形態について、図面を参照しながら説明する。
図１は、本実施形態のサーバ及びクライアント端末から構成される通信システムを示す図である。
図１において、７０１はサーバであり、カメラ２１１から送られた映像データをパケット化してクライアント端末７０３に転送する。７０２は異なる伝送路を中継するルーターであり、サーバ７０１から転送されるパケットをクライアント端末７０３に確実に送ることができるようにしている。
【００１６】
７０３は、クライアント端末であり、サーバ７０１から転送されるパケットを受信するとともに、欠落したパケットの再送要求も行う。７０４は伝送路であり、サーバ７０１から転送されるパケットはこの伝送路７０４を介してクライアント端末７０３に受信される。
【００１７】
図２は、本実施形態におけるサーバ７０１の機能構成例を示すブロック図である。
２０１は、カメラ２１１で撮影された映像データを受信する受信バッファである。２０２は、受信バッファ２０１に蓄積された映像データをデジタルデータに変換するＡ／Ｄ変換器である。
【００１８】
２０３は、Ａ／Ｄ変換器２０２によってデジタルデータに変換された映像データ（コンテンツ）を所定の圧縮符号化方式に従って圧縮符号化する符号化器であり、２０４は、符号化器２０３で圧縮符号化された圧縮データを一時的に保持する中間バッファである。２０５は、パケット化手段として機能して中間バッファ２０４に保持されている圧縮データをパケット化するパケット化部である。また、パケット化部２０５は付加手段としても機能し、後述する付加情報生成部２０６で生成された付加情報をパケットに付加する。付加情報ファイルの付加方法については後述する。さらに、パケット化部２０５は、クライアント端末７０３に送信したパケットをバックアップデータとしてバックアップメモリ２１０に保存する。
【００１９】
２０６は、符号化器２０３で行われた符号化処理の結果を参照して、動きベクトルや符号化時のフレームの参照、被参照関係を示す参照マップ等の符号化情報を含む付加情報を生成する付加情報生成部である。
【００２０】
２０７は、符号化済みのコンテンツをコンテンツ蓄積部２０９に蓄積するか、パケット化部２０５で生成されたパケットをクライアント端末７０３に送信するかを切り換えるスイッチである。２０８は通信部であり、送信手段として機能してパケット化部２０５で生成されたパケットをクライアント端末７０３に送信する。また、通信部２０８は、クライアント端末７０３から送られる再送要求を受信する。再送要求を受信した場合は、パケット化部２０５は、バックアップメモリ２１０から対応するパケットを読み出す。そして、通信部２０８により、再送パケットをクライアント端末７０３に再度送信する。
【００２１】
２０９は、符号化済みコンテンツを蓄積するコンテンツ蓄積部である。本実施形態においては、このコンテンツ蓄積部２０９から符号化済みコンテンツを必要に応じて読み出して、パケット化部２０５によりパケット化して、伝送路７０４へ送出することもできる。また、通信路の形式は有線、無線を問わない。さらに、通信プロトコルも特に限定するものではない。
【００２２】
図３は、本実施形態におけるクライアント端末７０３の機能構成例を示すブロック図である。
図３において、３０１は、伝送路７０４を介してサーバ７０１から送られるＲＴＰパケットを受信する受信部であり、３０２は、受信部３０１で受信したＲＴＰパケットをデパケットするデパケット部である。また、３０３は、デパケット部３０２でパケット結合された映像データを一時的に蓄積する第１のバッファである。
【００２３】
３０４は、第１のバッファ３０３に蓄積された映像データの復号化を行う復号化器であり、３０５は、復号化された映像データを一時的に蓄積する第２のバッファである。３０６は、第２のバッファに蓄積された映像データを表示装置３１２に表示させる画像処理部であり、エラーが検出された場合は、エラー処理が施された映像データをエラー隠蔽部３１０から受け取る。
【００２４】
３０７は、受信部３０１で受信したパケットから、修復不能エラーを含むパケット、もしくは欠落したパケットがあるか否かを検出するエラー検出部である。３０８は、サーバ７０１でパケットに付加された付加情報ファイルを抽出する付加情報抽出部である。３０９はエラー検出部３０７においてエラーパケットを検出した場合に、付加情報抽出部３０８で抽出された付加情報ファイルを参照して、エラーパケットの重要度を判定する処理選択制御部である。また、処理選択制御部３０９は、判定した重要度に基づいて、エラーパケットに対するエラー処理を選択する。なお、パケットの重要度判定方法については後述する。
【００２５】
３１０は、処理選択制御部３０９において、エラーコンシールメントを行ってエラー処理を行うと判定した場合に、第２のバッファから映像データを読み出し、その該当する箇所のエラー処理を行うエラー隠蔽部である。３１１は、処理選択制御部３０９において、パケットの再送要求を行ってエラー処理を行うと判定した場合に、処理選択制御部３０９で作成された再送要求コマンドをサーバ７０１に送信する再送要求送信部である。また、再送要求送信部３１１は、再送要求したパケットをサーバ７０１から受け取り、エラー隠蔽部３１０により、再送パケットの補充が行われる。
【００２６】
次に、本実施形態における付加情報の格納方法について、図４〜９を参照しながら説明する。図４は、ＰＥＳパケットの詳細な構成例を示す図である。
図４に示すように、ビデオ（Video）またはオーディオ（Audio）の「Elementary Stream」（以後ＥＳと略す）を複数個まとめたものをペイロード（Payload）とする。パケット化部２０５は、まず第１のパケット化手段として機能し、符号化データを第１のパケット形式としてＰＥＳパケットに分割する。次に、パケット化部２０５は第２のパケット化手段として機能し、第２のパケット形式として後述するトランスポートパケットに分割する。本実施形態では、ＰＥＳ（Packetized Elementary Stream）パケットを「Transport Stream」（以後ＴＳと略す）のパケット形式で伝送する場合について説明する。
【００２７】
本実施形態の付加情報のフォーマットについては、記述内容も数値（テキスト）を直接記述したり、ＬＵＴ（Look Up Table）参照方式等を使用したりすることが可能である。そのため、フォーマットは特に限定しないが、ＬＵＴ参照方式を用いる場合は、サーバ（Server）７０１側とクライアント端末（Client）７０３側とでＬＵＴの整合性を取る手段が別途必須である。本実施形態では、サーバ７０１及びクライアント端末７０３が、図１に示すように関係で、ネットワークに接続されている場合について説明する。
【００２８】
図４に示すＰＥＳパケットにおいて、ヘッダ（Header）、及びペイロード（Payload）はともに符号長が可変である。ＭＰＥＧ−２方式におけるＰＥＳパケットペイロード（PES Packet Payload）は、ＧＯＰ（Group Of Picture）に対応するＥＳの集合体である。ＥＳは、マクロブロック（MB）、スライス（Slice）等の単位で符号化された符号化データである。なお、ＰＥＳパケットのヘッダ及びペイロードの符号長は、アプリケーションに応じて定義することも可能である。
【００２９】
図５は、トランスポートパケットの詳細な構成例を示す図である。
送信形態であるトランスポートパケット（Transport Packet）１１は、図５に示すように１８８bytesであり、符号長が固定のパケットである。トランスポートパケット１１の先頭の４バイトがトランスポートヘッダ（Transport Header）１２である。そして、トランスポートパケット１１の残りの１８４バイトは、ペイロード、アダプテーションヘッダ（Adaptation Header）、またはアダプテーションヘッダ＋ペイロードの何れか１つで構成されている。
【００３０】
図４に示した例は、トランスポートヘッダ１２以降がペイロードで満たされている場合を示したものである。図４におけるトランスポートパケットペイロードは、ＰＥＳパケットのペイロードを先頭から１８４バイト毎に切り出して、４バイトのトランスポートヘッダ１２と組み合わせて、図５に示すようなトランスポートパケット１１を形成している。ＰＥＳパケットが終了するまでこの処理を続け、ＰＥＳパケットの最後の分割サイズが、１８４バイト未満である場合は、不足のバイト数をStuffing Byteにて充填して、見かけ上１８４バイトのペイロードとする。
【００３１】
前述したように、トランスポートパケット１１のトランスポートヘッダ１２以降は、図５のLayer1に示すように、ペイロード、アダプテーションヘッダ、またはアダプテーションヘッダ＋ペイロードの３種類が存在し得る。前記３種類については、図５に示すトランスポートヘッダ（４バイト）の「Adaptation＿Field＿Control（２ビット）」を検出することにより、識別可能である。
【００３２】
トランスポートヘッダ１２以降が、ペイロード（Adaptation＿Field＿Control="01"）である場合、ペイロードの内容は、ビデオまたはオーディオのＥＳ、もしくは書式任意のPrivate Dataのいずれかである。さらに、ペイロードの内容は、ＰＥＳパケットのペイロードを先頭から１８４バイト毎で分割したものである。
【００３３】
一方、トランスポートパケット１１のトランスポートヘッダ１２以降が、アダプテーションヘッダ（Adaptation＿Field＿Control="10"）である場合、トランスポートパケットは図６に示す構造となる。
【００３４】
本実施形態では、アダプテーションヘッダ２１を利用して、クライアント端末７０３側に付加情報を付加して送信する方法について説明する。アダプテーションヘッダ２１の内容を図６のLayer2及び図７のLayer3,4に示す。
【００３５】
図７は、アダプテーションヘッダ２１の詳細な構造例を示す図である。
図７に示すように、まず、アダプテーションヘッダ２１の先頭２バイトを構成する「Fixed Length Component of Adaptation Header」（以下、ＦＬＣＡＨと称す）２２の最終ビットである「Adaptation＿Field＿Extension＿Flag」（以下、ＡＦＥＦと称す）３１を「１」にセットする。これにより、ＦＬＣＡＨ２２の後に続く「Flagged Adaptation Header Field」（以下、ＦＡＨＦと称す）２３を構成する「Adaptation＿Field＿Extension」（以下、ＡＦＥと称す）３２が有効となる。
【００３６】
ＡＦＥ３２は、図７のLayer4に示すように、「Adaptation＿Field＿Extension＿Length」（以下、ＡＦＥＬと称す）３３とReserved領域３４とで構成されている。Reserved領域３４のバイト長は、ＡＦＥＬ３３において指定される。本実施形態では、このReserved領域３４に付加情報を格納する。
【００３７】
ＦＡＨＦ２３は、前述したようにＴＳの構成要素の一部である。このため、Reserved領域３４は、「Transport＿private＿data」が存在しない（ＦＬＣＡＨ２２の先頭から１５番目のTransport＿private＿data＿Flag ='0'である）場合で、最大１７２バイトある。また、「Transport＿private＿data」が存在する場合は、前記１７２バイトから前記「Transport＿private＿data」のサイズを減算したものが、Reserved領域３４に割り当てられる符号長となる。
【００３８】
本実施形態における付加情報及びデータ長の一例を表１に示す。なお、本実施形態では1 PES Packetを１パケットとして説明する。
【００３９】
【表１】
2009049526.tif 000003
【００４０】
表１に示す付加情報において、「パケットナンバー（Packet Number）」は、1 PES Packet（１パケット）あたりに付与するパケット番号（２バイトで構成）であり、送信する順にパケットにインクリメントする数値である。なお、パケットナンバーが「0xFFFF」であるパケットの次に送信するパケットのパケットナンバーは、「0x0000」である。表１において、付加情報（値）は「３８」である。
【００４１】
「フレームナンバー（Frame Number）」は、前記パケットの内容がどのフレーム（画像）の構成要素であるかを識別するための付加情報である。そして、同一フレームを構成する要素（符号化データ）を含むパケットには、同一のフレームナンバーを付与する。パケットナンバーと同様に、フレームナンバーもフレームの順序でフレーム毎にインクリメントする。表１において、付加情報（値）は「４」である。
【００４２】
「Encoding Mode」は、前記フレームナンバーと同期するパラメータで、フレーム単位の符号化モード（１：フレーム内符号化、２：順方向予測フレーム間符号化、３：双方向予測フレーム間符号化）を識別するためのものである。なお、「Encoding Mode」の情報は、４ビットで構成される。本実施形態においては、符号化モードがフレーム内符号化モードである場合は「Ｉ」と示し、符号化モードが順方向予測フレーム間符号化モードである場合は「Ｐ」と示す。また、符号化モードが双方向予測フレーム間符号化モードである場合は「Ｂ」と示す。表１において、付加情報（値）は「Ｐ」である。
【００４３】
「Num of Packets of Remainder」は、同一フレームを構成するパケットに関して、対象パケットから最終パケットまでの残りパケット数を表す。したがって、各フレームの最終パケットにおける「Num of Packets of Remainder」の値は、「０」である。表１において、付加情報（値）は「１」である。
【００４４】
「Num of Packets of Reference」は、現在のパケットを直接的または間接的に参照するパケットの総数を表す。表１において、付加情報（値）は「１」である。「Num of Frames of Reference」は、現在のパケットが属するフレームを直接的または間接的に参照フレームとするフレーム数を表す。表１において、付加情報（値）は「２」である。「Recovery Time」（参照距離情報）は、現在のパケットが属するフレームから起算して、次のイントラ符号化フレームまでのフレーム数を表す。表１において、付加情報（値）は「１７」である。
【００４５】
「ＤＣ（mean）」は、現在のパケットを構成する符号化データのマクロブロック単位のＤＣ成分（ＤＣＴ係数）の平均値を表す。表１において、付加情報（値）は「６」である。なお、フレーム上のマクロブロックの位置情報を前記「ＤＣ（mean）」に併記することも可能である。「ＤＣ（High）」は、現在のパケットを構成する符号化データの各ブロックにおけるＤＣ成分（ＤＣＴ係数）の最大値（絶対値）を表す。表１において、付加情報（値）は「３５」である。
【００４６】
なお、「フレームナンバー（Frame Number）」〜「「Num of Frames of Reference」は、参照マップとして付加情報の中に記録される。
【００４７】
付加情報の構造の一例を図８に示す。図８において、８１はフレーム番号が「ａ」であるフレームに関する付加情報、８２はフレーム番号が「ｋ」であるフレームに関する付加情報である。図８に示すように、前記付加情報は、現在のパケットのペイロードである符号化データが属するフレームの各マクロブロックに関するフレーム内の位置情報と、動きベクトル情報との集合体である。
【００４８】
図８において、「Num of Frames」は、現在のパケットが属するフレームを直接的または間接的に参照するフレーム数である。そして、前記「Num of Frames」の後に、「Num of Frames」の数だけ付加情報が連続して含まれる。各付加情報には、現在のパケットが属するフレームを直接的または間接的に参照するフレームのフレーム番号（「Frame#」 4bytes）が付されている。さらに、前記フレームに属するマクロブロック数（「Num of MBs」 4bytes）が付されている。さらにこの後ろに、前記フレーム内におけるマクロブロックの位置情報及び前記マクロブロックの動きベクトル情報（付加情報に含まれる）のペアが「Num of MBs」で表される個数分含まれる。なお、図８に示す格納形式は一例であり、各付加情報の順序やビット長を限定するものではない。
【００４９】
１パケット（ＰＥＳパケット）には、一般的に複数フレームの符号化データが含まれているため、図８に示した付加情報は、複数フレーム分に対する付加情報となる。なお、付加情報の構成単位範囲は特に限定するものはなく、マクロブロック単位、スライス単位（トランスポートパケットの単位）、または１フレーム単位でもよい。
【００５０】
また、付加情報の伝送頻度も特に限定するものはなく、付加情報が付加されたアダプテーションヘッダ２１を含むトランスポートパケット１１をどのタイミングまたは周期でＰＥＳパケットに挿入してもよい。本実施形態では伝送効率を考慮して、１パケットの最終ビットが含まれるトランスポートパケット１１の直後（ＰＥＳパケットの後ろ）に、アダプテーションヘッダ２１（付加情報を含む）を含むトランスポートパケット１１を挿入する例について図９に示す。
【００５１】
図９に示した例の場合、アダプテーションヘッダ２１の内容（付加情報）は、図８に示したように、１パケットに含まれる全符号化フレームに関する付加情報が全て含まれていなければならない。ところが、アダプテーションヘッダ２１の挿入頻度を上げることにより、含まれる付加情報をパケット単位や１フレーム単位にすることもできる。パケット単位にする場合は、アダプテーションヘッダ２１には、次に送信する予定のパケットに対応する付加情報を格納してもよく、次に作成するパケットに対応する付加情報を格納してもよい。
【００５２】
クライアント端末７０３側では、ＴＳを受信すると、トランスポートヘッダ１２の第２７、２８ビット（Adaptation＿Field＿Control）を参照し、前記受信されたＴＳのペイロードの内容を判定することができる。
【００５３】
図１４は、本実施形態のクライアント端末７０３による付加情報の抽出手順の一例を示すフローチャートである。
図１４において、まず、ステップＳ４０１において、受信部３０１は、サーバ７０１からパケット（トランスポートパケット）を受信したか否か判定する。この判定の結果、パケットを受信していない場合は、パケットを受信するまで待機する。
【００５４】
一方、ステップＳ４０１の判定の結果、パケットを受信した場合は、ステップＳ４０２に進む。そして、ステップＳ４０２において、デパケット部３０２は、受信したパケットを結合してデパケット化する。
【００５５】
次に、ステップＳ４０３において、付加情報抽出部３０８は、付加情報が含まれているか否かを判定する。具体的には、まず、トランスポートヘッダ１２の第２７、２８ビットに位置する「Adaptation＿Field＿Control」を参照する。図５に示すように、トランスポートヘッダ１２の第２７、２８ビットに位置する「Adaptation＿Field＿Control」が、「１０」もしくは「１１」と判定した場合、前記ペイロードには、アダプテーションヘッダ２１が含まれていることになる。そこで、クライアント端末７０３側の付加情報抽出部３０８は、前記受信したＴＳのペイロードからアダプテーションヘッダ２１を分離・抽出する。
【００５６】
次に、付加情報抽出部３０８は、アダプテーションヘッダ２１をＦＬＣＡＨ２２と、ＦＡＨＦ２３とに分離する。さらに、ＦＬＣＡＨ２２の最終ビット（ＡＦＥＦ３１）が「１」であるか否かを判定する。以上の手順により、付加情報が含まれているか否かを判定する。
【００５７】
ステップＳ４０３の判定の結果、付加情報が含まれている場合（ＡＦＥＦ３１が「１」である場合）は、ＦＡＨＦ２３にＡＦＥ３２が存在することになる。そこで、ステップＳ４０４に進み、ＦＡＨＦ２３からＡＦＥ３２を分離・抽出する。前述したように、分離・抽出されたＡＦＥ３２は、図７のLayer 4に示すように、ＡＦＥＬ３３とReserved領域３４とで構成されている。これにより、Reserved領域３４に格納された付加情報を抽出することができる。
【００５８】
一方、ステップＳ４０３の判定の結果、付加情報が含まれていない場合（ＡＦＥＦ３１が「０」である場合、もしくはAdaptation＿Field＿Control="01"の場合）は、ステップＳ４０１に戻る。
【００５９】
次に、ステップＳ４０５において、付加情報抽出部３０８は、ステップＳ４０４で抽出した付加情報をインデックスとして処理選択制御部３０９が読み出し可能な形式で図示しないメモリに保存する。次に、ステップＳ４０６において、最終パケットまで付加情報の抽出が終了したか否かを判定する。この判定の結果、終了していない場合は、ステップＳ４０１に戻る。一方、ステップＳ４０６の判定の結果、終了した場合は、付加情報の抽出処理を終了する。
【００６０】
また、本実施形態では、何らかの原因でパケットが欠落した場合、もしくは修復不能のエラーが存在する場合、時系列的に近傍の正常に受信されたパケット（エラーパケットの前後に位置するパケット）から抽出された付加情報を用いて重要度を判定する。そして、その重要度の判定結果に基づいて、エラーパケットに対するエラー処理を選択する。エラーパケットに対する処理の選択肢としては、再送要求をサーバ７０１側へ送信したり、クライアント端末７０３側でエラーコンシールメント（エラー隠蔽）を行ったり、放置したりする等がある。
【００６１】
図１５は、本実施形態のクライアント端末７０３におけるエラーパケットのエラー処理手順の一例を示すフローチャートである。
図１５において、まず、ステップＳ５０１において、エラー検出部３０７は、エラーパケット（欠損したパケット、もしくは修復不能なエラーを含むパケット）があるか否かを判定する。この判定の結果、エラーパケットがない場合は、そのまま待機する。
【００６２】
一方、ステップＳ５０１の判定の結果、エラーパケットがある場合は、ステップＳ５０２に進む。そして、ステップＳ５０２において、エラー検出部３０７は、エラーパケットがどのパケットであるかを特定する。次に、ステップＳ５０３において、処理選択制御部３０９は、図１４のステップＳ４０５でインデックスとして保存された付加情報の中から、ステップＳ５０２で特定したパケットに対応する付加情報を読み出す。前述したように、エラーパケットに対応する付加情報は、エラーパケットの前後もしくはその近傍に位置するパケットに付加されている。したがって、パケットが欠損した場合であっても、付加情報は別のパケットに含まれているため、付加情報を取得することができる。
【００６３】
次に、ステップＳ５０４において、ステップＳ５０３で読み出した付加情報を基に、エラーパケットに含まれる符号化データの重要度を算出する。なお、重要度の算出方法については、図１６のフローチャートを参照しながら後述する。
【００６４】
次に、ステップＳ５０５において、処理選択制御部３０９は重要度判定手段として機能し、重要度の判定を行う。本実施形態においては、重要度を３段階に分けて評価する。この判定の結果、重要度が最も高い場合は、ステップＳ５０６に進む。そして、ステップＳ５０６において、処理選択制御部３０９は、エラーパケットの再送を要求するコマンドを生成し、再送要求送信部３１１はエラー処理手段として機能して、この再送要求コマンドをサーバ７０１に送信する。そして、サーバ７０１から再送パケットを受け取り、エラー隠蔽部３１０において、エラーの修復を行う。
【００６５】
一方、ステップＳ５０５の判定の結果、重要度が中間レベルである場合は、ステップＳ５０７に進む。そして、ステップＳ５０７において、エラー隠蔽部３１０はエラー処理手段として機能し、第２のバッファ３０５からエラーパケットを抽出し、抽出したエラーパケットに対してエラーコンシールメント（エラー隠蔽）を行い、画像処理部３０６に送る。パケットが欠損している場合は、エラー隠蔽部３１０は、欠損パケットを付加情報に基づいて修復する。また、ステップＳ５０５の判定の結果、重要度が最も低い場合は、ステップＳ５０８に進み、処理選択制御部３０９はエラー処理手段として機能し、エラーパケットに対する処置を行わず、そのまま放置するように制御する。そして、ステップＳ５０９に進む。
【００６６】
次に、ステップＳ５０９において、処理選択制御部３０９は、重要度の判定を行ったエラーパケットが最後のエラーパケットであるか否かを判定する。この判定の結果、最後のエラーパケットまで重要度の判定を終了していない場合は、引き続きエラーパケットの検出を行うため、ステップＳ５０１に戻る。一方、ステップＳ５０９の判定の結果、最後のエラーパケットである場合は、そのまま処理を終了する。
【００６７】
図１６は、本実施形態のクライアント端末７０３の処理選択制御部３０９による重要度判定の処理手順の一例を示すフローチャートである。本実施形態では、重要度を求める際に、エラーが伝搬するフレーム数Ｆを求める処理（処理Ａ）と、フレーム毎にエラーが伝搬する面積Ｓを求める処理（処理Ｂ）とを行う。さらに、次のイントラ符号化フレーム（Ｉフレーム）までのフレーム数Ｍを求める処理（処理Ｃ）と、エラーパケットに含まれる符号化マクロブロックのＤＣ成分の偏差Ｄを求める処理（処理Ｄ）とを行う。
【００６８】
まず、ステップＳ６０１において、処理Ａ〜Ｄの中のどの処理を行うかを判定する。この判定の結果、処理Ａまたは処理Ｂを行う場合は、ステップＳ６０２に進む。次に、ステップＳ６０２において、処理Ａを行うのか処理Ｂを行うのかを判定する。この判定の結果、処理Ａを行う場合は、ステップＳ６０４に進む。そして、ステップＳ６０４において、付加情報に含まれている参照マップからエラーが伝搬するフレーム数Ｆを求める。次に、ステップＳ６０５において、ステップＳ６０４で求めたフレーム数Ｆが所定の閾値を超えているか否かを判定する。
【００６９】
この判定の結果、所定の閾値を超えている場合は、ステップＳ６０６に進む。そして、ステップＳ６０６において、「パラメータＡ＝１」と設定する。一方、ステップＳ６０５の判定の結果、所定の閾値を超えていない場合は、ステップＳ６０７に進む。そして、ステップＳ６０７において、「パラメータＡ＝０」と設定する。
【００７０】
一方、ステップＳ６０２の判定の結果、処理Ｂを行う場合は、ステップＳ６０８に進む。そして、ステップＳ６０８において、付加情報に含まれている参照マップからフレーム毎にエラーが伝搬する面積Ｓを求める。次に、ステップＳ６０９において、ステップＳ６０８で求めた面積Ｓが所定の閾値を超えているか否かを判定する。
【００７１】
この判定の結果、所定の閾値を超えている場合は、ステップＳ６１０に進む。そして、ステップＳ６１０において、「パラメータＢ＝１」と設定する。一方、ステップＳ６０９の判定の結果、所定の閾値を超えていない場合は、ステップＳ６１１に進む。そして、ステップＳ６１１において、「パラメータＢ＝０」と設定する。
【００７２】
一方、ステップＳ６０１の判定の結果、処理Ｃまたは処理Ｄを行う場合は、ステップＳ６０３に進む。そして、ステップＳ６０３において、処理Ｃを行うのか処理Ｄを行うのかを判定する。この判定の結果、処理Ｃを行う場合は、ステップＳ６１２に進む。そして、ステップＳ６１２において、次のイントラ符号化フレーム（Ｉフレーム）までのフレーム数Ｍを求める。次に、ステップＳ６１３において、ステップＳ６１２で求めたフレーム数Ｍが所定の閾値を超えているか否かを判定する。
【００７３】
この判定の結果、所定の閾値を超えている場合は、ステップＳ６１４に進む。そして、ステップＳ６１４において、「パラメータＣ＝１」と設定する。一方、ステップＳ６１３の判定の結果、所定の閾値を超えていない場合は、ステップＳ６１５に進む。そして、ステップＳ６１５において、「パラメータＣ＝０」と設定する。
【００７４】
一方、ステップＳ６０３の判定の結果、処理Ｄを行う場合は、ステップＳ６１６に進む。そして、ステップＳ６１６において、エラーパケットに含まれる符号化マクロブロックのＤＣ成分の偏差Ｄを求める。次に、ステップＳ６１７において、ステップＳ６１６で求めた偏差Ｄが所定の閾値を超えているか否かを判定する。
【００７５】
この判定の結果、所定の閾値を超えている場合は、ステップＳ６１８に進む。そして、ステップＳ６１８において、「パラメータＤ＝１」と設定する。一方、ステップＳ６１７の判定の結果、所定の閾値を超えていない場合は、ステップＳ６１９に進む。そして、ステップＳ６１９において、「パラメータＤ＝０」と設定する。
【００７６】
次に、ステップＳ６２０において、重要度を算出するために必要なパラメータＡ〜Ｄを全て算出したか否かを判定する。この判定の結果、まだ算出すべきパラメータがある場合は、ステップＳ６０１に戻り、残りのパラメータの算出を行う。一方、ステップＳ６２０の判定の結果、必要なパラメータＡ〜Ｄを全て算出した場合は、ステップＳ６２１に進む。
【００７７】
次に、ステップＳ６２１において、算出したパラメータＡ〜Ｄにそれぞれ予め定められた比重ａ、ｂ、ｃ、ｄを掛け合わせて、以下の数１に示す式により重要度Ｎを算出し、処理を終了する。
【００７８】
【数１】
2009049526.tif 000004
【００７９】
なお、ステップＳ６０５、Ｓ６０９、Ｓ６１３、Ｓ６１７で用いられる所定の閾値は、回線容量、回線のエラー率、またはパケットの遅延時間によってクライアント端末７０３で予め設定することができる。一方、ステップＳ６２１で用いた比重ａ〜ｄにおいてもクライアント端末７０３で予め設定することができる。また、例えば、ＤＣ成分の偏差を重要なパラメータとして設定する場合は、比重ｄを大きくしたり、所定の閾値を小さく設定したりすればよい。
【００８０】
（第２の実施形態）
本実施形態における付加情報の格納方法について、図１０〜１２及び表１を参照しながら説明する。本実施形態では、ＰＥＳパケットのヘッダであるＰＥＳパケットヘッダに付加情報を格納して伝送する方法について説明する。なお、サーバ７０１及びクライアント端末７０３の機能構成、及びクライアント端末７０３における付加情報の抽出方法、エラーパケットの処理手順、及び重要度算出方法については第１の実施形態と同様であるため、説明を省略する。
【００８１】
図１０は、ＰＥＳパケットヘッダに含まれるＰＥＳヘッダフィールド（PES Header Fields）の詳細な構造の一例を示す図である。
本実施形態では、ＰＥＳパケットヘッダの内部のReserved領域に付加情報を格納して伝送する。ＰＥＳパケットヘッダのReserved領域を利用する場合、サーバ７０１側では、以下の操作が必須となる。
【００８２】
図１０に示すように、ＰＥＳパケットヘッダ５１は、符号長が９バイトで固定された部分と符号長が可変であるＰＥＳヘッダフィールド５２とから構成されている。
【００８３】
図１１は、ＰＥＳパケットヘッダ５１の構成要素であるＰＥＳヘッダフラグ（PES Header Flags）５３の詳細な構成の一例を示す図である。
図１０に示すReserved領域を有効とするためには、ＰＥＳヘッダフラグ５３の構成要素であるＰＥＳエクステンションフラグ（PES Extension Flags）９１を「１」にセットすればよい。ＰＥＳエクステンションフラグ９１を「１」にセットすることにより、ＰＥＳヘッダフィールド５２が有効になる。
【００８４】
ＰＥＳヘッダフラグ５３の直後には、ＰＥＳヘッダフィールド５２のバイト長を表すＰＥＳヘッダレングス（PES Header Length）５９が位置する。また、さらにその後ろにＰＥＳヘッダフィールド５２が続く。ＰＥＳエクステンションフラグ９１を「１」にセットした場合、ＰＥＳヘッダフィールド５２の中に含まれるＰＥＳエクステンションフラグ５４が有効になる。
【００８５】
図１２は、ＰＥＳヘッダフィールド５２の中に含まれるＰＥＳエクステンションフラグ５４の詳細な構造の一例を示す図である。
図１２において、次に、ＰＥＳヘッダフィールド５２の中に含まれるＰＥＳエクステンションフラグ５４の構成要素であるＰＥＳエクステンションフィールドフラグ（PES Extension Field Flag）１０１を「１」にセットする。ＰＥＳエクステンションフィールドフラグ１０１を「１」にセットすることにより、その後ろに位置するＰＥＳエクステンションデータフィールド（PES Extension Data Field）５５が有効になる。
【００８６】
ＰＥＳエクステンションデータフィールド５５のヘッダは、１ビットで固定のマーカービット５６と、７ビットで固定のＰＥＳエクステンションフィールドレングス（PES Extension Field Length）５７とで構成される（図１０参照）。ＰＥＳエクステンションデータフィールド５５は、このヘッダと符号長が可変であるReserved領域５８とで構成されている。
【００８７】
マーカービット５６の値は「１」に固定されており、ＰＥＳエクステンションフィールドレングス５７には、Reserved領域５８のバイト長が記録されている。Reserved領域５８には、最大１２７バイトまで任意のデータを記録できる。本実施形態ではこのReserved領域５８に付加情報を記録する。
【００８８】
なお、Reserved領域５８は、バイトアライメントされていることが必須である。したがって、付加情報がバイトアライメントされていない場合は、前記付加情報の後にStuffing bitを付加することによりバイトアライメントする。
【００８９】
図１０及び図４に示すＰＥＳパケットペイロードは、複数のビデオまたはオーディオのＥＳで構成されるのが一般的である。したがって、Reserved領域５８には、ＰＥＳパケットペイロードに含まれる複数のフレームに関する付加情報を記録するとともに、送信順序で前後するＰＥＳペイロードに含まれるフレームの付加情報も併せて記録する。
【００９０】
前述したように構成されたＰＥＳパケットは、前記第１の実施形態と同様にトランスポートパケット１１のフォーマットに従って分割して伝送する。また、その他の形式のパケット・フォーマットに従って分割して伝送してもよい。なお、トランスポートパケット１１を利用する場合は、ＰＥＳパケットヘッダ５１のReserved領域５８とは別に、前記第１の実施形態で説明したようにトランスポートパケット１１のアダプテーションヘッダに付加情報を付加して送信することもできる。
【００９１】
前述したように、クライアント端末７０３側における付加情報の抽出方法は、図１４に示すような手順で行われるが、ＰＥＳパケットヘッダ５１のReserved領域５８に付加情報が格納されている場合は、以下のような手順で抽出を行う。
【００９２】
まず、クライアント端末７０３の受信部３０１でトランスポートパケットを受信することによりＰＥＳパケットを取得する。そして、ステップＳ４０３においては、付加情報抽出部３０８により、ＰＥＳパケットヘッダ５１の中のＰＥＳヘッダフラグ５３の構成要素であるＰＥＳエクステンションフラグ９１がセットされているか否かを判定する。
【００９３】
この判定の結果、セットされている場合は、ステップＳ４０４において、ＰＥＳヘッダフラグ５３の後ろに位置するＰＥＳヘッダレングス５９を切り出す。そして、ＰＥＳヘッダレングス５９の下位７ビットを抽出して、ＰＥＳヘッダフィールド５２の長さ（バイト長）を検出する。さらに、検出されたバイト長に相当するＰＥＳヘッダフィールド５２のデータを切り出し、図８に示すような予め定められた形式で付加情報の各要素を抽出する。
【００９４】
また、付加情報をトランスポートパケット１１のアダプテーションヘッダ２１及びＰＥＳパケットヘッダ５１の両方に格納した場合も前述した手順で付加情報を抽出する。
【００９５】
（第３の実施形態）
第１及び第２の実施形態では、図４に示すようにＰＥＳパケットペイロードにＥＳを格納した。本実施形態では、ＰＥＳパケットペイロードにＥＳを格納する代わりにISO Base Media File Formatに準拠した形式のファイルに格納する。そして、第１及び第２の実施形態と同様に前記ファイルをトランスポートパケットに分割して伝送する。なお、サーバ７０１及びクライアント端末７０３の機能構成、及びクライアント端末７０３における付加情報の抽出方法、エラーパケットの処理手順、及び重要度算出方法については第１の実施形態と同様であるため、説明を省略する。
【００９６】
図１３は、ISO Base Media File Format形式であるＭＰ４ファイルフォーマットを示す図である。
図１３に示すように、ＭＰ４ファイルフォーマットは、Video Track Box (trak)／Media Box(mdia)／Sample Table Box(stbl)／User data Box(udta)の階層を有している。前記付加情報は、最下層であるUser data Box(udta)に格納される。
【００９７】
なお、User Data Box(udta)に付加情報を格納する際のフォーマットは、第１及び第２の実施形態と同様に図８のような書式を用いるが、付加情報を格納する際のフォーマットはこれに限定するものではない。
【００９８】
一方、クライアント端末７０３側では、受信したトランスポートパケットに基づいてＭＰ４ファイルを取り出し、さらにＭＰ４ファイルから前記User data Box (udta)を分離・抽出する。そして、前記User data Box (udta)に格納された付加情報を取り出す。この場合、サーバ７０１側にはＭＰ４ファイルに対応した書き込み機能を備え、クライアント端末７０３側にはＭＰ４ファイルに対応した読み出し機能を備える必要がある。
【００９９】
以上のように第１〜第３の実施形態によれば、クライアント端末７０３側では、エラーパケットの前後もしくはその近傍に位置するパケット（正常に受信したパケット）に含まれる付加情報を用いてエラーパケットの重要度を判定する。そして、その判定した重要度に応じて、エラーパケットの再送要求、エラー隠蔽、及びエラーパケットの放置のうち、何れか１つの処理を行うようにした。これにより、映像の再生画質を維持するとともに、通信回線のトラフィックの増大を抑えることができる。
【０１００】
（本発明に係る他の実施形態）
前述した本発明の実施形態における受信装置、送信装置を構成する各手段、並びに受信装置の制御方法、送信装置の制御方法の各工程は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
【０１０１】
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【０１０２】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図１４〜１６に示すフローチャートに対応したプログラム）を、システムまたは装置に直接、または遠隔から供給する場合も含む。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【０１０３】
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【０１０４】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
【０１０５】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。
【０１０６】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。
【０１０７】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【０１０８】
また、その他の方法として、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記録媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【０１０９】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【０１１０】
さらに、その他の方法として、まず記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。
【図面の簡単な説明】
【０１１１】
【図１】本発明の第１の実施形態における通信システムの構成例を示す全体図である。
【図２】本発明の第１の実施形態におけるサーバの機能構成例を示すブロック図である。
【図３】本発明の第１の実施形態におけるクライアント端末の機能構成例を示すブロック図である。
【図４】ＰＥＳパケットの詳細な構成例を示す図である。
【図５】トランスポートパケットの詳細な構成例を示す図である。
【図６】アダプテーションヘッダの構造例を示す図である。
【図７】アダプテーションヘッダの詳細な構造例を示す図である。
【図８】本発明の第１の実施形態における付加情報の構造の一例を示す図である。
【図９】本発明の第１の実施形態において、アダプテーションヘッダを含むトランスポートパケットが挿入される位置関係の一例を示す図である。
【図１０】ＰＥＳパケットヘッダの詳細な構成例を示す図である。
【図１１】ＰＥＳヘッダフラグの詳細な構成例を示す図である。
【図１２】ＰＥＳヘッダフィールドの詳細な構成例を示す図である。
【図１３】ＭＰ４ファイルフォーマットの構造例を示す図である。
【図１４】本発明の第１の実施形態に係るクライアント端末による付加情報の抽出手順の一例を示すフローチャートである。
【図１５】本発明の第１の実施形態に係るクライアント端末におけるエラーパケットのエラー処理手順の一例を示すフローチャートである。
【図１６】本発明の第１の実施形態に係るクライアント端末の処理選択制御部による重要度判定の処理手順の一例を示すフローチャートである。
【符号の説明】
【０１１２】
２０１  受信バッファ
２０２  Ａ／Ｄ変換器
２０３  符号化器
２０４  中間バッファ
２０５  パケット化部
２０６  付加情報取得部
２０７  スイッチ
２０８  通信部
２０９  コンテンツ蓄積部
２１０  バックアップメモリ
２１１  カメラ
３０１  受信部
３０２  デパケット部
３０３  第１のバッファ
３０４  復号化器
３０５  第２のバッファ
３０６  画像処理部
３０７  エラー検出部
３０８  付加情報抽出部
３０９  処理選択制御部
３１０  エラー隠蔽部
３１１  再送要求送信部
３１２  表示装置
７０１  サーバ
７０２  ルーター
７０３  クライアント端末
７０４  伝送路
【図１】
2009049526.tif 000005
【図２】
2009049526.tif 000006
【図３】
2009049526.tif 000007
【図４】
2009049526.tif 000008
【図５】
2009049526.tif 000009
【図６】
2009049526.tif 000010
【図７】
2009049526.tif 000011
【図８】
2009049526.tif 000012
【図９】
2009049526.tif 000013
【図１０】
2009049526.tif 000014
【図１１】
2009049526.tif 000015
【図１２】
2009049526.tif 000016
【図１３】
2009049526.tif 000017
【図１４】
2009049526.tif 000018
【図１５】
2009049526.tif 000019
【図１６】
2009049526.tif 000020