(57)【要約】  符号化ビデオデータ等のデータストリームの送信において、スタッガキャスティングを利用すると、受信装置は第２のストリームのフレームを予めバッファすることができ、送信中に消失した第１のストリームのフレームの代わりに第２のストリームのフレームを使用することができる。スタッガキャスティングでは、第１のストリームと第２のストリームが所定時間だけオフセットして（つまり、スタッガして）送信される。例示的な実装形態のスタッガキャスティングでは、第２のストリームは第１のストリームで送信された符号化ビデオフレームのサブセットを含む。第１のストリームは複数の基準フレーム（ビデオデータを適切に復号化するのに必須なフレーム）と複数の廃棄可能フレーム（ビデオデータを適切に復号化するのに必須ではないフレーム）を含む。一方、第２のストリームは前記複数の基準フレームのコピーを含み、さらに前記複数の廃棄可能フレームの幾つかのコピーを含んでもよいし前記複数の廃棄可能フレームを全く含まなくてもよい。第１のストリームと第２のストリームのインターリーブストリームのフレームが消失した場合、本発明の構成によれば、一時的に減じられたフレームレートで受信装置が途切れなくビデオストリームの再構築することができる。
2011519210.tif 000002
【特許請求の範囲】
【請求項１】
データユニットのストリームを処理する方法であって、
廃棄可のデータユニットと廃棄不可のデータユニットを含む第１のデータユニットストリームを受信するステップと、
前記第１のデータユニットストリームに含まれている前記廃棄不可のデータユニットのコピーを含む第２のデータユニットストリームを受信するステップと、
前記第１のデータユニットストリームと前記第２のデータユニットストリームとの間に時間的オフセットを導入するステップと、
前記時間的にオフセットされた第１のデータユニットストリーム及び第２のデータユニットストリームを１つの組み合わせデータユニットストリームに統合するステップと、
前記組み合わせデータユニットストリームを送信するステップと、
を含むことを特徴とする方法。
【請求項２】
前記組み合わせデータユニットストリームの一部を受信するステップと、
前記組み合わせデータユニットストリームの前記受信した一部から前記第１のデータユニットストリームの一部を再構築するステップと、
をさらに含み、
前記第１のデータユニットストリームの前記再構築された一部は、前記第１のデータユニットストリームの前記廃棄不可のデータユニットを含むと共に前記第１のデータユニットストリームの前記廃棄可のデータユニットの一部を含むことを特徴とする請求項１記載の方法。
【請求項３】
前記データユニットは時間的に拡張可能な符号化された画像データを含み、前記廃棄不可のデータユニットは基準フレームを表すデータを含むことを特徴とする請求項１記載の方法。  
【請求項４】
前記統合するステップは、前記時間的にオフセットされた第１のデータユニットストリームと第２のデータユニットストリームを時間多重化するステップを含むことを特徴とする請求項１記載の方法。  
【請求項５】
前記第１のデータユニットストリームと第２のデータユニットストリームの間の前記時間的オフセットは、前記第２のストリームが前記第１のストリームより早く送信されるように設定されることを特徴とする請求項１記載の方法。  
【請求項６】
前記データユニットは画像データ及び音声データの少なくとも一方を含むことを特徴とする請求項１記載の方法。
【請求項７】
前記第２のデータユニットストリームにエラー保護機能を付与するステップを含むことを特徴とする請求項１記載の方法。
【請求項８】
データユニットのストリームを処理する方法であって、
組み合わせデータユニットストリームの一部を受信するステップを含み、前記組み合わせデータユニットストリームは、第１のデータユニットストリームと第２のデータユニットストリームを含み、
前記第１のデータユニットストリームは、廃棄可のデータユニットと廃棄不可のデータユニットを含み、
前記第２のデータユニットストリームは、前記第１のデータユニットストリームに含まれている前記廃棄不可のデータユニットのコピーを含み、
前記第１のデータユニットストリームと前記第２のデータユニットストリームとの間には時間的オフセットが設けられており、
前記方法はさらに、
前記組み合わせデータユニットストリームの前記受信された一部から前記第１のデータユニットストリームの一部を再構築するステップを含み、
前記第１のデータユニットストリームの前記再構築された一部は、前記第１のデータユニットストリームの前記廃棄不可のデータユニットを含むと共に前記第１のデータユニットストリームの前記廃棄可のデータユニットの一部を含むことを特徴とする方法。
【請求項９】
前記データユニットは時間的に拡張可能な符号化された画像データを含み、前記廃棄不可のデータユニットは基準フレームを表すデータを含むことを特徴とする請求項８記載の方法。
【請求項１０】
前記時間的にオフセットされた第１のデータユニットストリームと第２のデータユニットストリームが前記組み合わせデータユニットストリームにおいて時間多重化されていることを特徴とする請求項８記載の方法。  
【請求項１１】
前記第１のデータユニットストリームと第２のデータユニットストリームの間の前記時間的オフセットは、前記第２のストリームが前記第１のストリームより早く送信されるように設定されることを特徴とする請求項８記載の方法。  
【請求項１２】
前記データユニットは画像データ及び音声データの少なくとも一方を含むことを特徴とする請求項８記載の方法。
【請求項１３】
前記第２のデータユニットストリームにはエラー保護機能が付与されており、前記方法は前記組み合わせデータユニットストリームの前記受信された一部の内の前記第２のデータユニットストリームにおけるエラーを訂正するステップを含むことを特徴とする請求項８記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連特許出願）
本出願は米国特許仮出願第６１／１２３，９１６号（出願日：２００８年４月１１日）の米国特許法第１１９条（ｅ）で定められた利益（優先権の利益）を主張する。当該米国特許仮出願のすべての内容及び出願書類は、全ての目的において、本出願に組み込まれたものとする。
【０００２】
本発明は広くはデータ通信システムに関し、特に、時間的ダイバーシティ（時間的な多様性）を持つデータ送信に関する。
【背景技術】
【０００３】
多くの送信システム（例えばモバイルワイヤレス放送システム）は難しい・やっかいな物理的チャネルに晒されている。フェーディングおよびドップラ効果に加え、信号は建物、木、柱及び高架道路等によって完全に妨害されてしまうこともある。このような状況下では、受信装置おいて１秒あるいはそれより長い時間、信号が容易に失われてしまう場合がある。
【０００４】
上記課題に対応するために、モバイルシステムはタイムダイバーシティ技術を使用することが多い。タイムダイバーシティ技術の例としては、インターリービング（ｉｎｔｅｒｌｅａｖｉｎｇ）、ロングブロックコード（例えば、ＬＤＰＣ（ｌｏｗ  ｄｅｎｓｉｔｙ  ｐａｒｉｔｙ  ｃｏｄｅ：ローデンシティパリティコード）やターボコード）、コンボリューショナルコード、前方誤り訂正と組み合わされたマルチプロトコルエンカプスレーション（ＭＰＥ−ＦＥＣ：Ｍｕｌｔｉ−Ｐｒｏｔｏｃｏｌ  Ｅｎｃａｐｓｕｌａｔｉｏｎ  ｃｏｍｂｉｎｅｄ  ｗｉｔｈ  ｆｏｒｗａｒｄ  ｅｒｒｏｒ  ｃｏｒｒｅｃｔｉｏｎ）がある。残念ながら、これらシステムは一般的に、タイムダイバーシティに比例する遅延を生ずる。通常、ユーザは当該遅延を長いチャネル変更時間として感ずる。このような遅延はユーザにとっては非常に不快なものである。
【０００５】
ビデオデータ等のデータストリームを送信する際にしばしば使用されるタイムダイバーシティ技術の１つのタイプは、スタッガキャスティング（ｓｔａｇｇｅｒｃａｓｔｉｎｇ）である。スタッガキャスティングによれば、第２のリダンダントストリームを送信することによって、信号損失に対する保護が与えられる。この第２のリダンダントストリームは第１ストリームに対して時間的にシフトされている。この手法によれば、受信装置は前記第２のストリームのパケットを予めバッファすることができ、よって、送信中に失われた第１のストリームのパケットの代わりに第２のストリームのパケットを使用（代用）することができる。
【０００６】
色々なスタッガキャスティング技術が存在するが、これらは第２のストリームで送信されるリダンダントデータのタイプが異なっている。例えば、第２のストリームは単に第１のストリームのコピーそのものである（いくらかの時間オフセットでスタッガされているだけ）。
【０００７】
別のスタッガキャスティング技術では、第１のストリームとは別に符号化した第２のストリームを送信する。拡張可能なビデオ符号化（ビデオコーディング）ができない場合（例えば、拡張可能なビデオコーデックがない仕様もしくは標準で送信する場合）、第２のストリームは第１のストリームから完全に独立したものになり、単に同一ソースビデオを表す別の符号化ストリームとなる。通常、ビデオ復号化装置はステートデータ（例えば、前に復号化された基準フレームであって、後のフレームを復号化するために必要な基準フレーム）を保持しなければならないので、スタッガキャスティングを行うためには受信装置が２つのストリーム各々のために２つの別々の復号化装置ステートを保持しなければならない。よって、受信装置には追加的なメモリ負荷がかかってしまう。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
我々は、ビデオストリームが複数のフレームレートで復号化されて表示され得るようにビデオストリームを符号化することができる時間的スケーラビリティ（時間的拡張機能）技術が存在することを見つけた。時間的拡張ができるように符号化されたビデオストリームは基準フレームと非基準フレームを含む。基準フレームから他のフレームを予測することができる。非基準フレームは一般的には廃棄可能な（ディスポーザブル）フレームと称され、ビデオストリームの他のフレームを復号化する際に不要であるので廃棄してよい。よって、ビデオの表示フレームレートは低くなる。
【課題を解決するための手段】
【０００９】
本発明の代表的な実施形態では、スタッガキャスティング及び時間的拡張技術が組み合わされて、第２の符号化されたビデオストリームを第１の符号化されたビデオストリームに加えて送信する。その際、第２のストリームは第１のストリームから得られるビデオフレームサブセットを含むようにする。上記２つのストリームは時間的にオフセットされて送信され（つまり、スタッガされ）、よって、第２のストリームは受信装置により予めバッファすることができ、第１のストリームにすぐ起こり得る損失の代替ストリームと成ることができる。
【００１０】
符号化されたビデオデータを失うことによる影響は第１のストリームと第２のストリームの双方においてビデオ基準フレームを送信することにより緩和・解消される。廃棄可のビデオフレームは第１のストリームにおいて送信されるが、もし帯域幅が制限されているのなら第２ストリームにおいて送信される必要はない。２つのストリームを時間的にスタッガする（時間差をつける）ことにより、第２のストリームのデータが第１のストリームのデータとともに損失してしまう可能性を減ずることができる。受信装置は第２のストリームをバッファすることができるので、第１のストリームに損失が生じた場合、第２のストリームを使用して送信データを回復することができる。  
【００１１】
本発明の他の代表的実施形態では、異なるレベルの保護をスタッガストリームで使用することができる。例えば、より重要な要素を運ぶ第２のストリームに、高レベルのエラー保護を付与し、第１のストリームには低レベルのエラー保護を付与するか全くエラー保護を付与しない。
【００１２】
上記記載に鑑みると共に、下記の詳細な説明（実施形態の説明）を読むことにより明らかになると思われるが、上記以外の実施形態及び特徴も本発明において実施可能であり本発明の範囲内に入る。
【図面の簡単な説明】
【００１３】
本発明の実施形態に係る幾つかの装置及び／または方法が下記において例示的な意味のみを持って添付図面を参照して説明される。
【図１】本発明が実施される代表的なスタッガキャスティング構成のブロック図である。
【図２】図１のスタッガキャスティング構成における第１のストリーム及び第２のストリーム並びにこれらをマルチプレックス化して組み合わせものをロジック表示した図である。
【図３】図２のマルチプレックス化して組み合わせたものにおいてデータ損失が生じ、本発明の原理・技術思想に基づき受信装置でデータが再構築される場合を示す図である。
【発明を実施するための形態】
【００１４】
図示された要素のうち本発明の特徴部分以外については周知のものであるので、詳細に説明はしない。例えば、本発明の特徴に関連のないＤＭＴ（Ｄｉｓｃｒｅｔｅ  Ｍｕｌｔｉｔｏｎｅ）送信（これはＯＦＤＭ（Ｏｒｔｈｏｇｏｎａｌ  Ｆｒｅｑｕｅｎｃｙ  Ｄｉｖｉｓｉｏｎ  Ｍｕｌｔｉｌｅｘｉｎｇ）もしくはＣＯＦＤＭ（Ｃｏｄｅｄ  Ｏｒｔｈｏｇｏｎａｌ  Ｆｒｅｑｕｅｎｃｙ  Ｄｉｖｉｓｉｏｎ  Ｍｕｌｔｉｌｅｘｉｎｇ）と称されることもある）は良く知られていると考え、本明細書において説明しない。また、本発明の特徴に関連のないテレビ放送技術、受信装置及びビデオエンコーディングも良く知られていると考え、本明細書において説明しない。例えば、本発明の特徴に関連のない現在使用されているテレビ標準及び現在提案されているテレビ標準（例えばＮＴＳＣ（Ｎａｔｉｏｎａｌ  Ｔｅｌｅｖｉｓｉｏｎ  Ｓｙｓｔｅｍｓ  Ｃｏｍｍｉｔｔｅｅ）、ＰＡＬ（Ｐｈａｓｅ  Ａｌｔｅｒｎａｔｉｏｎ  Ｌｉｎｅｓ）、ＳＥＣＡＭ（ＳＥｑｕｅｎｔｉａｌ  Ｃｏｕｌｅｕｒ  Ａｖｅｃ  Ｍｅｍｏｉｒｅ）及びＡＴＳＣ（Ａｄｖａｎｃｅｄ  Ｔｅｌｅｖｉｓｉｏｎ  Ｓｙｓｔｅｍｓ  Ｃｏｍｍｉｔｔｅｅ））、中国デジタルテレビジョンシステム（ＧＢ）２０６００−２００６及びＤＶＢ−Ｈは良く知られていると考える。同様に、本発明の特徴に関連のない送信技術（例えば、８−ＶＳＢ（ｅｉｇｈｔ−ｌｅｖｅｌ  ｖｅｓｔｉｇｉａｌ  ｓｉｄｅｂａｎｄ）、ＱＡＭ（Ｑｕａｄｒａｔｕｒｅ  Ａｍｐｌｉｔｕｄｅ  Ｍｏｄｕｌａｔｉｏｎ））、受信装置コンポーネント（例えば、低ノイズブロック、チューナ、ダウンコンバータ等のＲＦフロントエンド、復調器、コリレータ、リークインテグレータ及びスクエアラ（ｓｑｕａｒｅｒ））は良く知られていると考える。さらに、本発明の特徴に関連のないＦＬＵＴＥ（Ｆｉｌｅ  Ｄｅｌｉｖｅｒｙ  ｏｖｅｒ  Ｕｎｉｄｉｒｅｃｔｉｏｎａｌ  Ｔｒａｎｓｐｏｒｔ）プロトコル、ＡＬＣ（Ａｓｙｎｃｈｒｏｎｏｓ  Ｌａｙｅｒｅｄ  Ｃｏｄｉｎｇ）プロトコル、ＩＰ（Ｉｎｔｅｒｎｅｔ  ｐｒｏｔｏｃｏｌ）及びＩＰＥ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ  Ｅｎｃａｐｓｕｌａｔｏｒ）等のプロトコルは良く知られていると考え、本明細書では説明をしない。同様に、本発明の特徴に関連のないトランスポートビットストリームを生成するフォーマット化方法及び符号化方法（例えば、ＭＰＥＧ−２システムスタンダード（ＩＳＯ／ＩＥＣ１３８１８−１）は良く知られていると考え、本明細書では説明をしない。尚、本発明の特徴・技術思想は従来のプログラミング技術（当該技術そのものは本明細書では説明されていない）を利用して実装・実行することができる。また、複数の図面において用いられる同じような参照符号は同じような要素を表している。
【００１５】
図１は例示的構成１００のブロック図であり、当該例示的構成１００はスタッガ送信装置１０３、マルチプレクサ（ＭＵＸ）１０５、通信システム１０７及び受信装置１０９を有している。通信システム１０７は種々の媒体（例えば、有線媒体、光学媒体、無線媒体）を介して動作する種々の要素（例えば、ネットワーキング要素、ルーティング要素、スイッチング要素、トランスポート要素）を含み得る。ビデオ符号化装置（ビデオエンコーダ）のようなソース１０１がデータユニットのオリジナルストリームをスタッガ送信装置１０３に提供する。その後、スタッガ送信装置１０３がスタッガキャトしたものをＭＵＸ（マルチプレクサ）１０５に提供する。ＭＵＸ１０５の出力は、受信装置１０９に繋がる通信システム１０７の帯域制限送信チャネルに接続されている。受信装置１０９は、その他のコンポーネント（例えば、受信データを復号化するビデオ復号化装置１１１）に接続されている。さらにビデオ復号化装置１１１は、復号化されたビデオデータを表示するディスプレイ装置１１３に接続されてもよい。尚、本実施形態において、各データユニットは、ビデオストリームの１フレームごと（あるいは１フレームの一部ごと、あるいは複数のフレームごと）に符号化ビデオデータを含んでもよい。また、当該ビデオストリームは時間的に拡張可能なビデオストリーム（基準フレームと廃棄可能な非基準フレームとを含む）であるとする。すでに説明したように、基準フレームはそれから他のフレームを予測できるフレームであり、且つ、途切れないビデオを提供するために廃棄不可のフレームであると考えられる。非基準フレームはビデオストリームの他のフレームを復号化するのに必要ではないフレームである。よって、非基準フレームは廃棄してもよく、そうすることにより、より低い表示フレームレートでビデオを取り扱うことができる。時間的に拡張可能なビデオの標準（スタンダード）はＩＴＵ−Ｔ勧告Ｈ．２６４及びＩＳＯ／ＩＥＣ１４４９６−１０（ＭＰＥＧ−４パート１０）アドバンストビデオコーディング（２００４年１０月）に規定されている。
【００１６】
本明細書に記載された実施形態ではビデオに適用された場合を説明しているが、本発明の原理・技術思想は種々の時間的拡張可能データ（例えば音声データ）を取り扱うシステムに適用することができる。
【００１７】
送信装置１０３からＭＵＸ１０５へのスタッガキャスト送信は２つのストリームを含む。１つのストリームは第１ストリーム（プライマリストリーム）１０であり、ソース１０１からのオリジナルストリームである。もう１つのストリームは第２のストリーム（セカンダリストリーム）２０であり、前記第１のストリームの全てもしくは一部のコピーである。第２のストリーム２０は第１のストリーム１０に対して時間的にシフトされている（すなわちスタッガされている）。この場合、第２のストリームは「スタッガされた」ストリームと称することができる。スタッガ送信を行うと、受信装置１０９は第２のストリーム２０のデータユニットを予めバッファすることができ、よって、送信中に失われたもしくは損なわれた第１のストリーム１０のデータユニットの代わりに、前記予めバッファされたデータユニットを用いることができる。
【００１８】
図１の代表的構成において、ＭＵＸ１０５は第１のストリーム１０と第２のストリーム２０をインターリーブして１つの出力ストリーム３０とし送信し、当該出力ストリームが通信システム１０７から受信装置１０９に伝送されることになる。通常、出力ストリーム３０の帯域幅は第１のストリーム１０の帯域幅及び第２のストリーム２０の帯域幅より大きい。第１のストリーム及び第２のストリームの各々に割り当てられる出力ストリーム３０の帯域幅部分は、スタッガ送信装置１０３及び／またはＭＵＸ１０５により決めることができる。例えば、スタッガ送信装置１０３により生成された第１のストリーム及び第２のストリームは同じ帯域幅を有してもよい。その場合、第２のストリーム２０は第１のストリーム１０の各データブロックのコピーを含む。しかし、ＭＵＸ１０５は第２のストリーム２０のデータユニットの１つのサブセットを選択して、当該サブセットを出力ストリーム３０に含ませることができる。尚、上記のようにはせずに、スタッガ送信装置１０３が第２のストリーム２０を生成し、第２のストリームが第１のストリーム１０のデータユニットの所定のサブセットを含むようにしてもよい。この場合、ＭＵＸ１０５は、第１のストリーム及び第２のストリームにおいて受信したデータユニットを、出力ストリーム３０に含ませる。この様子が図２に示されている。
【００１９】
図２は、本発明の原理・技術思想に基づき送信された第１のストリーム１０、第２のストリーム２０及びこれらストリームを組み合わせて出来た出力ストリーム３０を、時間を横軸に取って、ロジック表示したものである。第１のストリームのデータユニットは白色のブロックで示され、第２のストリームのデータユニットは影付きのブロックで示されている。第２のストリーム２０の所定のブロックは第１のストリーム１０の同じ番号のブロックのコピーである（例えば、第２のストリームのブロック「０」と第１のストリームのブロック「０」は同じビデオフレームを示し同じデータを含んでいる）。
【００２０】
図２の場合、第１のストリーム１０はソース１０１からのオリジナルストリームに含まれるデータユニットの全てを含んでいる。一方、第２のストリーム２０は１つおきのデータユニット（偶数番号のユニット）しか含んでいない。上述したように、幾つかのデータユニット（例えば、基準フレームを含むデータユニット）は廃棄不可のデータユニットであり、その他のデータユニットは廃棄可のデータユニットである。図２の例では、奇数番号のブロックが廃棄可のデータユニットを示しており、そのことが明確になるように「ｄ」を付けてある。偶数番号のブロックは廃棄不可のデータユニットを示している。
【００２１】
図２は本発明の代表的実施形態における２つの重要な特徴を示している。まず、第２のストリーム２０が第１のストリーム１０から得られる廃棄不可のフレームのコピーのみを含んでおり、廃棄可のフレームを全く含んでいないという点が示されている。次に、第２のストリーム２０が第１のストリームに対し時間的に先にスタッガされており、よって、受信装置が当該リダンダントなデータをバッファすることができ、バッファしたデータを第１のストリームの消失データユニットの代用として用いることができる点が示されている。
【００２２】
図２の例では、前記２つのストリームの間のオフセットは４データユニット分として示されている。すなわち、第２のストリーム２０は第１のストリーム１０より４データユニット分早く（先に）送信されている。説明を簡単にするために、全てのデータユニットが図２において同じ送信時間を有するように描かれている。しかし実際には、符号化フレームのサイズはフレーム毎にかなり相違し、よって、各フレーム（図２ではデータユニット）の送信時間もフレーム毎にかなり相違する。実際の場合、スタッガオフセットはフレームではなく時間で表示されることが多い。例えば、第２のストリームのフレームは第１のストリームの対応フレームより４秒早く送信されると説明される。本発明は特定の時間オフセットに限定されない。ある実施形態における好適な時間オフセットは、当該実施形態に特有の詳細事項（例えば、受信装置がバッファ用に使用できるメモリや、エラー損失の特徴）に依存する。さらに、第２のストリームは第１のストリームより時間的に後にスタッガされてもよい。しかし、現実的な理由・観点から、第２のストリームは第１のストリームより先に送信された方が好ましい。もし第２のストリームが第１のストリームの損失に対する保護を提供するなら、第２のストリームを時間的に第１のストリームの後に送信する場合には、データ損失の後に少し時間をおいて保護が提供されることになる。最初の再生もしくは最初の損失において、第１のストリームは少し休止して、スタッガストリームから得られる代替データユニットの到着を待たなければならない。そうなると、視聴者には不自然な画像に見える。図示例のように、第２のストリームが時間的に第１のストリームより前にオフセットされていると、受信装置は保護されていない第１のストリームの再生を直ちに開始することができると共に、第２のストリームをバッファして将来生じ得る損失に対するプロテクト（保護）を準備することもできる。
【００２３】
１つの典型的な実施形態においては、第１のストリームと第２のストリームにエラー保護が付与される（例えば、ターボコード、前方誤り訂正その他）。両者または第２のストリームのみにエラー保護が付与されてもよい。上記２つのストリームには異なるレベルのエラー保護を付与してもよい。その場合、第２のストリームに高レベルの保護を付与することが好ましい。第２のストリームのみにエラー保護機能を付与することによって、エラー保護機能の規模を抑えることもできる。こうすると、受信装置にとっても、保護されていない第１のストリームを直ちに復号化して再生することができるという利点が生ずる。第２のストリームは好ましくは第１のストリームより先に受信されるので、第２のストリームのデータユニットが第１のストリームの消失データユニットに置き換えられるまでに第２のストリームのデータユニットにおけるエラーを訂正するのに十分な時間が与えられる。
【００２４】
再び図２を参照すると、ストリーム３０は、本発明の例示的実施形態では、第１のストリームと第２のストリームの組み合わせにより構成されて送信されるように図示されている。ストリーム３０により表されているが、第１のストリーム１０と第２のストリーム２０は時間多重化されて、１つの物理的チャネルを通って連続的に送信される。図２は第１のストリームと第２のストリームのインターリービングの一例を示しており、この例では１つの第２のストリームのデータユニットが２つの第１のストリームのデータユニットの前に送信されている。本明細書から理解できるように、色々なインターリービングパターンが可能であると共に、第２のデータユニットに対する第１のデータユニットの比も種々の比が可能であり、それらは全て本発明の範囲に属する。
【００２５】
図１の構成では、ソース１０１が１つのストリームを提供し、当該ストリームが送信装置１０３により２つのストリームのスタッガキャスト送信の一部として送信される。しかしこれは本発明の原理・技術思想を適用できる種々の構成の１つに過ぎない。例えば、ソース１０１がスタッガキャスト送信データ（２つのストリームで）を生成し、１つもしくは複数のスタッガキャスト送受信装置により受信されて送信されるという構成でも本発明が適用できる。ソース１０１、スタッガ送信装置１０３及びＭＵＸ１０５の色々な組み合わせは本発明の範囲内にある。
【００２６】
さらに、幾つかの応用例では、本発明に係る第２のストリームは既に存在するものを使用する（図示されたようにスタッガ送信装置により生成されるのではなく）。例えば、モバイル装置へのコンテンツ（データ）の送信のために、複数のプロファイルを規定する仕様（スペック）を採用してもよい。このようなプロファイルは、小さなスクリーンを備えるシンプルな携帯電話機で画像を見るための低解像度／低フレームレート／低ビットレートのストリームから、画像をきれいに表示することができるモバイル装置（大きなスクリーン及び強力な復号化装置等を備える）のための高解像度／高フレームレート／高ビットレートのストリームまで含むことができる。システムは双方のプロファイルで所定のビデオプログラムを同時に同じチャネルを介して送信し、よって、いずれのタイプの装置のユーザもそれぞれの装置に最適なビデオを受信することができる。このような応用例の場合、本発明の実施形態によれば、データ損失の間に差し替え（代替）ビデオを提供するために、より強力な装置が第２のストリームとしてシンプルなストリームを使用することができる。そうすると、シンプルなストリームが第２のストリームとして特定され、当該シンプルなストリームを第１のストリームに対して時間的にオフセットして送信することができる。このような実施形態では、第２のストリームがすでに存在しているので、チャネル上に新たな帯域幅を設ける必要がないという利点がある。
【００２７】
次に図３を参照すると、この図には本発明の原理・技術思想を図２の例示的な送信ストリーム３０に適用した場合の様子が示されている。図示された例では、ストリーム３０を通信システム１０７を介して受信装置１０９に伝送する際に、データの損失が生じ、よって、受信装置はストリーム３０’（オリジナルストリーム３０からいくらかのデータが消失しているもの）を受信することになる。この例では、６つの連続的なデータユニット（４つの第１ストリームのユニット４、５ｄ、６及び７ｄと２つの第２のストリームのユニット８及び１０）が消失している。
【００２８】
受信装置１０９は受信したストリーム３０’に含まれているリダンダントな第２のストリームのデータユニットを用いて、第１のストリームのデータユニットの全てもしくは幾つか（それらのコピーは第２のストリームに含まれている）を再構築することができる。図３において、シーケンス４０はストリーム３０’内の第１のストリーム及び第２のストリームのデータユニットから受信装置１０９により再構築されたデータユニットのシーケンスを示しており、当該シーケンスは受信装置１０９により復号化装置１１１に与えられる。尚、シーケンス４０内のデータユニットは論理オーダーの通りに並んでいる。シーケンス４０によって示されているように、第２のストリームのデータユニット４及び６はデータ損失の前に送信されているので、当該第２のストリームのデータユニットは消失した第１のストリームのデータユニットの代わりに復号化装置１１１に与えられる。また、廃棄可のデータユニット５ｄ及び７ｄのコピーはストリーム３０’には無いので、当該データユニットは再構築されず消失する。
【００２９】
再構築されたデータユニットのシーケンス４０を処理した後、復号化装置１１１は復号化したビデオのフレームをディスプレイ１３３に提供する。これがシーケンス５０により示されている。シーケンス５０は表示用に提供されたビデオデータのフレームを含む再構築データユニットシーケンスを表しており、フレームを表示するタイミングを示している。シーケンス５０により示されているように、データ消失の間、フレームレートは約半分にカットされ、よって、画像は、見る人にとっては短時間の滑らかでない動きとして知覚されるであろう。廃棄可のフレームが無くなることに起因する視覚的な影響は最低限に抑えなければならない。その前提条件として、当該廃棄可のフレームは当然のことながら基準フレームとしては使用されず、消失してもストリーム内の他のフレームに影響を与えない（基準フレームが消失したときのような影響を与えない）。消失したフレームを再構築する必要はないし隠す必要もないが、本発明の実施においてそのための手段を排除はしない。
【００３０】
上記記載から分かるように、上述の構成の性能・機能は種々のファクタ（例えば、第２のストリームに含まれるリダンダントデータの程度及びデータ消失時間）に依存する。例えば、再構築されたデータユニットのシーケンス４０から生成されるビデオのフレームレートは、組み合わせストリーム３０内の第２のストリーム２０により提供されるリダンダントデータの程度に依存する。例えば、もし第２のストリーム２０が第１のストリーム１０のデータユニットの全て（即ち、廃棄可のユニットと廃棄不可のユニットの双方）のコピーを含むなら、送信中に失われたデータユニットの全てを受信装置１０９において再構築することができる（消失データのスタッガコピーが失われていない限り）。一時的にフレームレートを減ずることが許される場合には、上記したように廃棄不可のデータユニットのみを第２のストリーム２０に含ませればよい。
【００３１】
本発明の実施形態は公知の手法に比べて幾つかの利点を有する。上述したように、１つのスタッガキャスティング方法は、第１のストリームとは別に符号化された第２のストリームを送信する。拡張可能ビデオ符号化処理ができない場合（例えば、拡張可能ビデオコーデックを備えていない仕様もしくは標準の場合）、当該第２のストリームは第１のストリームから完全に独立したものになり、単に同じソースビデオを表す別個に符号化されたストリームとなる。典型的なビデオ復号化装置はステートデータ（例えば、既に復号化された基準フレーム。この基準フレームは、当該基準フレームから予測可能な未来のフレームを復号化するためになければならないフレームである）を保持しなければならない。第１のストリームと第２のストリームが独立している場合、受信装置は２つのストリームそれぞれに対して２つの別個の復号化装置ステートを維持する必要がある。そうなると、受信装置側に追加のメモリ負荷がかかる。上記した本発明の例示的な構成は、１つの復号化装置とこれに付随するステートメモリとで実施することができる。但し、前提条件として、前記２つのストリームが関連していることが必要である。つまり、第２のストリームが第１のストリームのサブセットであることが前提条件である。
【００３２】
本発明の原理・技術思想は他のスタッガキャスティング方法に組み合わせることもできる。例えば、スタッガキャスティングを空間的に拡張可能なビデオストリームに用い、低解像度のベース層ストリームと高解像度の強化層ストリームの双方が第１のストリームに含まれるようにし、低解像度のベース層ストリームがスタッガされた第２のストリームに含まれるようにする。こうすると、ベース層に対しては保護を付与することができ、その一方で、強化層の複製を作らないことにより帯域幅を節約することができる。
【００３３】
上述の内容に鑑みると、これまでの記載は単に本発明の原理・技術思想を説明したに過ぎず、当業者であれば本発明の原理・技術思想を具現化する多数の変形実施形態を考えつくであろう（そのような変形実施形態は本明細書には明示的に記載されていないが）し、そのような変形実施形態は本発明の精神及び範囲に含まれる。例えば、本発明の技術思想はストアードプログラムコントロールドプロセッサ（ｓｔｏｒｅｄ−ｐｒｏｇｒａｍ−ｃｏｎｔｒｏｌｌｅｄ  ｐｒｏｃｅｓｓｏｒ）（例えば、デジタルシグナルプロセッサ）において実施・実装することができる。このプロセッサは付随するソフトウエアを実行して、本発明の原理・技術思想に基づく方法を実行する。また、本発明の原理・技術思想は他のタイプの通信システム（例えば、サテライト通信システム、Ｗｉ−Ｆi通信システム、携帯電話通信システム等）に適用することができる。つまり、本発明の技術思想は固定型の受信装置にも適用できるし、移動型の受信装置にも適用できる。従って、多くの変形・変更が上記実施形態に対して成され得るし、他の構成は本発明の精神及び範囲から逸脱することなく案出され得る。
【図１】
2011519210.tif 000003
【図２】
2011519210.tif 000004
【図３】
2011519210.tif 000005
【国際調査報告】
2011519210.tif 000006
2011519210.tif 000007
2011519210.tif 000008