(57)【要約】【課題】  リアルタイム・ストリーミングにてパケット欠損を補充する技術を提供する。【解決手段】送信側では、高能率符号化された時系列情報をパケット化して第１パケットストリームを生成し、第１パケットストリームの各パケットを所定時間遅延させた第２パケットストリームを生成し、第１パケットストリームと第２パケットストリームを多重化して送信し、受信側では、第１パケットストリームと第２パケットストリームの多重化信号を受信して第１パケットストリームと第２パケットストリームに分離し、所定量の第１パケットストリームを逐次バッファに蓄えておき、第２パケットストリームの順序制御を行ってペイロードを抽出し、抽出データを逐次復号化して時系列情報を再生して出力し、第２パケットストリームの順序制御処理でパケット欠損が検出されると、バッファのパケット群の中から欠損パケットに該当のパケットを取得して順序制御処理に補充する。【選択図】  図１
2006093812.tif 000002
【特許請求の範囲】
【請求項１】
送信側において、高能率符号化された時系列情報をパケット化して第１パケットストリームを生成するとともに、第１パケットストリームの各パケットを所定時間遅延させた第２パケットストリームを生成し、第１パケットストリームと第２パケットストリームを多重化して送信し、
受信側において、第１パケットストリームと第２パケットストリームの多重化信号を受信して第１パケットストリームと第２パケットストリームに分離し、所定量の第１パケットストリームを逐次バッファに蓄えておくとともに、第２パケットストリームの順序制御を行ってペイロードを抽出し、抽出データを逐次復号化して時系列情報を再生して出力することとし、第２パケットストリームの順序制御処理においてパケット欠損が検出された場合に、前記バッファに蓄えられたパケット群の中から欠損パケットに該当するパケットを取得して順序制御処理に補充する
リアルタイム・ストリーミング方法。
【請求項２】
高能率符号化された時系列情報をパケット化して第１パケットストリームを生成するとともに、第１パケットストリームの各パケットを所定時間遅延させた第２パケットストリームを生成し、第１パケットストリームと第２パケットストリームを多重化して送信するリアルタイム・ストリーミング送信方法。
【請求項３】
同一内容で時間差のある第１パケットストリームと第２パケットストリームの多重化信号を受信して第１パケットストリームと第２パケットストリームに分離し、所定量の第１パケットストリームを逐次バッファに蓄えておくとともに、第２パケットストリームの順序制御を行ってペイロードを抽出し、抽出データを逐次復号化して時系列情報を再生して出力することとし、第２パケットストリームの順序制御処理においてパケット欠損が検出された場合に、前記バッファに蓄えられたパケット群の中から欠損パケットに該当するパケットを取得して順序制御処理に補充するリアルタイム・ストリーミング受信再生方法。
【請求項４】
高能率符号化された時系列情報をパケット化して第１パケットストリームを生成する手段と、第１パケットストリームの各パケットを所定時間遅延させた第２パケットストリームを生成する手段と、第１パケットストリームと第２パケットストリームを多重化して送信する手段とを備えたリアルタイム・ストリーミング送信装置。
【請求項５】
同一内容で時間差のある第１パケットストリームと第２パケットストリームの多重化信号を受信して第１パケットストリームと第２パケットストリームに分離する手段と、所定量の第１パケットストリームを逐次バッファに蓄える手段と、第２パケットストリームの順序制御を行ってペイロードを抽出し、抽出データを逐次復号化して時系列情報を再生して出力する手段と、第２パケットストリームの順序制御処理においてパケット欠損が検出された場合に、前記バッファに蓄えられたパケット群の中から欠損パケットに該当するパケットを取得して順序制御処理に補充する手段とを備えたリアルタイム・ストリーミング受信再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、インターネットテレビやインターネットラジオあるいはデジタルテレビなどの基礎となるリアルタイム・ストリーミング技術に関し、とくに、伝送途中でパケットが欠損することへの対策技術に関する。
【背景技術】
【０００２】
周知のように、リアルタイム・ストリーミングでは、ＭＰＥＧなどの高能率符号化された時系列情報（映像や音声など）をパケット化して送信し、受信装置では、逐次受信するパケットストリームの順序制御を行ってペイロードを抽出し、抽出データを逐次復号化して時系列情報を逐次再生する。
【０００３】
また周知のように、リアルタイム・ストリーミングでは、さまざまな原因によって送信されたパケットストリームの一部が受信側に届かない場合がある。この事実を踏まえ、少々のパケット欠損が発生しても映像や音声の再生品質が著しく低下しないようにするために、さまざまな対策技術が開発されている。
【０００４】
代表的な対策技術として、ＦＥＣ(Forward Error Correction)が知られている。これは、高能率符号化した時系列情報に誤り訂正符号を適用してパケット化し、受信装置において、あるパケットが欠損しても、前後のパケット集合のペイロードから欠損パケットのペイロードを回復可能とする冗長システムである。
【０００５】
また別の対策技術として、欠損したパケットを特定し、送信元にそのパケットを再送させて回復する技術が知られている。特開２００２−８４２３９号公報には、このような再送方式をマルチキャスト配信システムに適用する技術が開示されている。
【特許文献１】特開２００２−８４２３９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
リードソロモン符号やインターリービングを適用したＦＥＣによれば、パケット欠損に対してかなりの情報回復能力を実現することができる。しかし、情報回復能力を高めれば高めるほど、この冗長システムの論理が複雑となり、送信側の処理も受信側の処理も複雑化する。経済的な実用システムにて実現可能な情報回復能力には歴然とした限界がある。
【０００７】
また再送方式は、その原理からして、送信装置と受信装置とが双方向に高速データ通信可能でなければならない。送信側から受信側への一方向のみの放送系システムには適用不可能である。双方向通信系であっても、パケット欠損を検出してから再送により補充されるまでが超高速に処理可能なシステムでなければ、リアルタイム性を確保できない。
【０００８】
この発明の目的は、超高速の双方向通信系システムでなくても、送信側から受信側への一方向のみの放送系システムにも適用可能であって、単純な冗長システムの論理でパケット欠損に対する高い情報回復能力を実現することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、この第１の発明は、送信側において、高能率符号化された時系列情報をパケット化して第１パケットストリームを生成するとともに、第１パケットストリームの各パケットを所定時間遅延させた第２パケットストリームを生成し、第１パケットストリームと第２パケットストリームを多重化して送信し、
受信側において、第１パケットストリームと第２パケットストリームの多重化信号を受信して第１パケットストリームと第２パケットストリームに分離し、所定量の第１パケットストリームを逐次バッファに蓄えておくとともに、第２パケットストリームの順序制御を行ってペイロードを抽出し、抽出データを逐次復号化して時系列情報を再生して出力することとし、第２パケットストリームの順序制御処理においてパケット欠損が検出された場合に、前記バッファに蓄えられたパケット群の中から欠損パケットに該当するパケットを取得して順序制御処理に補充するリアルタイム・ストリーミング方法とする。
【００１０】
また、第２の発明は、高能率符号化された時系列情報をパケット化して第１パケットストリームを生成するとともに、第１パケットストリームの各パケットを所定時間遅延させた第２パケットストリームを生成し、第１パケットストリームと第２パケットストリームを多重化して送信するリアルタイム・ストリーミング送信方法とする。
【００１１】
第３の発明は、同一内容で時間差のある第１パケットストリームと第２パケットストリームの多重化信号を受信して第１パケットストリームと第２パケットストリームに分離し、所定量の第１パケットストリームを逐次バッファに蓄えておくとともに、第２パケットストリームの順序制御を行ってペイロードを抽出し、抽出データを逐次復号化して時系列情報を再生して出力することとし、第２パケットストリームの順序制御処理においてパケット欠損が検出された場合に、前記バッファに蓄えられたパケット群の中から欠損パケットに該当するパケットを取得して順序制御処理に補充するリアルタイム・ストリーミング受信再生方法とする。
【００１２】
第４の発明は、高能率符号化された時系列情報をパケット化して第１パケットストリームを生成する手段と、第１パケットストリームの各パケットを所定時間遅延させた第２パケットストリームを生成する手段と、第１パケットストリームと第２パケットストリームを多重化して送信する手段とを備えたリアルタイム・ストリーミング送信装置とする。
【００１３】
さらに第５の発明は、同一内容で時間差のある第１パケットストリームと第２パケットストリームの多重化信号を受信して第１パケットストリームと第２パケットストリームに分離する手段と、所定量の第１パケットストリームを逐次バッファに蓄える手段と、第２パケットストリームの順序制御を行ってペイロードを抽出し、抽出データを逐次復号化して時系列情報を再生して出力する手段と、第２パケットストリームの順序制御処理においてパケット欠損が検出された場合に、前記バッファに蓄えられたパケット群の中から欠損パケットに該当するパケットを取得して順序制御処理に補充する手段とを備えたリアルタイム・ストリーミング受信再生装置とする。
【発明の効果】
【００１４】
本発明は、同一内容の第１パケットストリームと第２パケットストリームとを送信する完全な二重化システムであり、冗長度はきわめて大きいことになる。しかし、冗長システムの誤り訂正の論理は、きわめて単純である。送信側では、同一内容の第１パケットストリームと第２パケットストリームとをすこし時間差をつけて多重化送信するだけであり、その処理はきわめて単純である。受信側では、第１パケットストリームをすこしバッファリングしておき、第２パケットストリームの再生処理系の全段でパケット欠損を検出したら、バッファリングされている該当パケットを充当するだけであり、この処理もきわめて単純である。
【００１５】
このように単純な論理で処理可能であるが、ほぼ完全に二重化した冗長システムであるので、パケット欠損に対する情報回復能力はきわめて高い。
【発明を実施するための最良の形態】
【００１６】
＝＝＝リアルタイム・ストリーミング送信装置＝＝＝
この発明を適用したリアルタイム・ストリーミング送信装置は、ＤＶＤ再生装置と、パケット組立回路と、遅延回路と、多重化回路と、送信回路とを備えている。ＤＶＤには、画像情報や音声情報などの時系列情報がよく知られたＭＰＥＧ２方式により高能率符号化されたデータが格納されている。これをＤＶＤ再生装置で再生する処理を行うと、ＤＶＤからＭＰＥＧ符号化データストリームが取り出され、これを順次復号して付帯するディスプレイやスピーカに画像情報や音声情報が再生出力される。
【００１７】
図１（Ａ）に、リアルタイム・ストリーミング送信装置が実行する処理概要を示している。また、図２には当該送信装置で作成・送信されるパケットの処理イメージを示している。
【００１８】
ＤＶＤ再生装置１から出力されたＭＰＥＧ符号化データストリームはパケット組立回路２に転送される。パケット組立回路２では、順次パケット化する処理を行う。すなわち、ＭＰＥＧ符号化データストリームを適宜な長さに区切り、規格化された長さの小包状のパケットにペイロードとしておさめてヘッダを付与する。ヘッダには、時間基準情報やクロックの信号などのタイムスタンプを組み込んで、パケットを分解する際にタイミングを合わせて順序よく処理できるようにしている。このようにしてデータストリームのパケット化を逐次行い、これらのパケットを所定の速度（パケット速度）で送り出し、第１パケットストリームとして多重化回路４に転送する。
【００１９】
パケット組立回路２からはさらに、第１パケットストリームの各パケットとペイロードが同一のパケットを遅延回路３に転送する。遅延回路３は、それぞれのパケットを所定時間だけ遅延させ、逐次多重化回路４に転送し、これを第２パケットストリームとする。
【００２０】
なお、各パケットには、第１パケットストリーム／第２パケットストリームのいずれに属するかを示す情報をヘッダに組み込む。たとえば、図２におけるS１，S２がこれに相当する。第１パケットストリームはS１に、第２パケットストリームはS２に属することを示している。
【００２１】
多重化回路４は、第１パケットストリームと第２パケットストリームとを多重化して送信回路５に転送する。多重化に際しては、第１パケットストリームと第２パケットストリームの対応する（ペイロードが同一の）パケット同士がわかるように構成する。たとえばヘッダに各パケットストリームの何番目のパケットであるかを示すパケット番号を組み込む。こうすることにより、各パケットストリームの同じパケット番号のパケット同士が対応するものであることが容易にわかる。図２の例では、ハイフン以下の数字がパケット番号に相当する。タイムスタンプをこの目的のために利用することも可能である。
【００２２】
そして多重化回路４は、２つのパケットストリームを１つの多重パケットストリームにするように、各パケットストリームから交互に、転送されてきた順にパケットを組み込んで多重化して送信回路５に転送し、送信回路５がリアルタイム・ストリーミング受信再生装置に向けて送信する。
【００２３】
＝＝＝リアルタイム・ストリーミング受信再生装置＝＝＝
この発明を適用したリアルタイム・ストリーミング受信再生装置は、受信回路と、分離回路と、順序制御回路と、バッファと、ＭＰＥＧデコーダと、パケット補充回路とを備えている。
【００２４】
図１（Ｂ）にはリアルタイム・ストリーミング受信再生装置が実行する処理概要を示している。受信回路１１がリアルタイム・ストリーミング送信装置から送信されたパケットストリーム（多重パケットストリーム）を受信すると、まず分離回路１２に転送する。分離回路１２は各パケットのヘッダを参照し、第１パケットストリームと第２パケットストリームとに分離する。たとえば図２の例においては、各パケットのヘッダに組み込まれたＳ１とＳ２によって振り分ける。そして、分離したパケットストリームをおのおの順序制御回路１３に転送する。
【００２５】
順序制御回路１３は、各パケットのヘッダのタイムスタンプ（あるいは、図２の例ではパケット番号）を参照し、パケットを順番に整列させる順序制御処理を行う。このようにして、リアルタイム・ストリーミング送信装置で生成された第１パケットストリーム／第２パケットストリームと同一順にパケットを整列させることができる。
【００２６】
第１パケットストリームについては、整列順に各パケットをバッファ１４に転送し、所定期間、バッファ１４に記憶させる。その際には、最新の少なくとも遅延させた個数以上（図２の例においては５つ以上）のパケットをバッファ１４に保持しておくように構成する。  
バッファ１４内部は、パケットのヘッダを参照してパケットを検索し、目的のパケットのペイロードを取り出せるように構成している。
【００２７】
第２パケットストリームについては、整列順にパケットを分解してペイロードを取り出し、ＭＰＥＧ符号化データストリームを再生する。このＭＰＥＧ符号化データストリームをＭＰＥＧデコーダ１５に転送する。ＭＰＥＧデコーダ１５ではＭＰＥＧ符号化データストリームを逐次復号化し、画像情報や音響情報のデータストリームを出力する。これをディスプレイやスピーカに転送して再生出力させる。
【００２８】
順序制御回路１３において、第２パケットストリームの順序制御処理に際してパケットの欠損を検出した場合には、パケット補充回路１６にその旨を通知する。通知を受けたパケット補充回路１６は、バッファ１４を参照し、欠損したパケットに対応するパケットを取り出して第２パケットストリームに補充する。つまり、バッファ１４内部をパケット番号（あるいはタイムスタンプ）をキー情報として参照し、欠損パケットに対応するパケットのペイロードを取り出す。これを順序制御回路１３に返送して欠損パケットのペイロードとして補充し、ＭＰＥＧ符号化データの復号処理を進める。
【００２９】
以上のようにして、リアルタイム・ストリーミング受信再生装置では、パケット伝送に際して偶発的に起こりうるパケット欠損を補充しながら、ストリーミング再生を行う。
【００３０】
＝＝＝他の実施要件＝＝＝
遅延回路３において第２パケットストリームに与える遅延時間は、パケット補充性能に依り、パケット欠損の発生パターンに応じて設定する。例えば、単発的に１パケットずつ欠損するような発生パターンであれば、パケット補充回路１６がパケット欠損の検出を通知された場合に、その直前までに対応するパケットがバッファ１４から転送されていればよい。そのためには、少なくとも１パケット分に相当する時間を遅延時間に設定する。
【００３１】
あるいは、複数のパケットがバースト的に集中して欠損するような発生パターンであれば、パケット補充回路１６が先頭のパケット欠損の検出を通知されたときに、バッファ１４にはそれに対応するパケットとともに引き続き発生する欠損パケットのそれぞれに対応するパケットが転送されている必要がある。つまり、バースト状欠損の先頭のパケットから末尾のパケットまでがバッファ１４内部に転送されていなければならない。そのためには、バースト状欠損の時間幅についての傾向を調査し、その時間以上を遅延時間に設定する。
【００３２】
本実施例で示したパケットストリームの二重化による欠損パケット補充技術とＦＥＣなどの周知の欠損パケット回復技術とを併用することも可能である。すなわち、パケット組立回路２に入力されるＭＰＥＧ符号化データストリームにＦＥＣ技術で冗長符号を付加してパケット化する。そうすると、順序制御回路１３から出力されるＭＰＥＧ符号化データストリームはＦＥＣ技術で冗長符号を付加されたパケットストリームとして取り出される。そこで検出された欠損パケットはＦＥＣ技術で回復させる。こうすると、情報回復能力がさらに向上する。
【００３３】
また、バッファ１４での各パケットの記憶保持期間は、少なくとも第２パケットストリームに与えた前記遅延時間以上とし、少なくとも第２パケットストリームの対応するパケットのペイロードをＭＰＥＧデコーダ１５に転送するまで保持するように設定する。各パケットは記憶保持期間の経過後、逐次バッファ１４から消去する。
【００３４】
また、本実施例においては、パケットストリームは二重化する方式であるが、三重化、あるいはそれ以上の多重化としてもよい。それぞれのパケットストリームを所定時間ずつ遅延させ、最も遅延させたパケットストリームに基づいてＭＰＥＧ復号化する。こうすると、多重化したパケットの分散度が高くなり、より確実にパケット欠損の補充が可能となる。
【００３５】
なお、上記実施例では高圧縮符号化方式としてＭＰＥＧ２を採用しているが、ＭＰ３（Mpeg1 layer3）などの他の方式であってもよいことは言うまでもない。
【００３６】
＝＝＝本発明の適用例＝＝＝
たとえば、カラオケ装置において曲間ＢＧＭにインターネットラジオの音声を利用する際に、インターネットラジオ局サーバをリアルタイム・ストリーミング送信装置、カラオケ装置をリアルタイム・ストリーミング受信装置として、本発明を適用可能である。
【００３７】
なお本適用例において、遅延回路３において第２パケットストリームに与える遅延時間は、パケット速度を１秒あたり２０パケットとした場合に遅延時間を３秒、すなわち、第１パケットストリームの６０パケット分をバッファ１４に逐次記憶させるようにして、その効果が実証されている。  
これは、インターネット上で前述したバースト状パケット欠損が生じやすいことと相まって、本発明の効果が顕著になったものである。
【００３８】
インターネット上を行き交うパケット量の変化は、図３に示したように、周期性を持った波状を呈する。これはインターネットで使われる送信プロトコルに起因する現象であって、多数のサーバのそれぞれが一連のパケットを連続送信しようとすることによる相乗作用でもたらされる。この波状ピークでは伝送許容量を超える場合があり、ネットワークに介在する管理装置などには、そのときにパケット単位で廃棄処分する保安的な仕組みが備わっている。インターネットラジオのパケットストリームがこのような波状ピークに差し掛かったときに、集中してパケット欠損が発生してしまう。つまり、インターネットラジオにおけるパケット欠損の大部分は周期的にバースト状に集中するパターンで発生しているのである。
【００３９】
この場合にも、集中してパケット欠損が生じるのは３秒以内に収まっており、その直前にはパケット欠損が集中することのない時間帯が３秒以上存在し、欠損を補充するために第１パケットストリームを保存しておく余裕が充分にある。そうしてみると、遅延回路３において第２パケットストリームに与える遅延時間を３秒としたことが適正であることがよくわかる。
【００４０】
このようなパケット欠損発生パターンでは、周知のＦＥＣ技術では欠損パケット回復性能は発揮されない。本発明の欠損パケット補充技術との併用によって格段の効果が実証されたことになる。
【図面の簡単な説明】
【００４１】
【図１】本実施例のリアルタイム・ストリーミング送信装置およびリアルタイム・ストリーミング受信再生装置における処理概要を示した図である。
【図２】本実施例のリアルタイム・ストリーミング送信装置における２つのパケットストリームの遅延・多重化の処理イメージを例示した図である。
【図３】インターネット上を行き交うパケット量の時間変化のイメージを示した図である。
【符号の説明】
【００４２】
２  パケット組立回路
３  遅延回路
４  多重化回路
１２  分離回路
１３  順序制御回路
１４  バッファ
１６  パケット補充回路
【図１】
2006093812.tif 000003
【図２】
2006093812.tif 000004
【図３】
2006093812.tif 000005