(57)【要約】【課題】  ＦＥＣ処理をより高度に行いTTSデコード処理の遅延を短縮する技術を提供する。【解決手段】  ネットワークを介してストリームデータを受信する情報端末装置において、前記ストリームデータからFEC処理によって復元したパケットを出力するFEC処理手段と、前記パケットをTTSデコード時に前記FEC処理を経ないパケットとRemuxするRemux手段とを備えることを特徴とする情報端末装置。  またネットワークを介してストリームデータを受信する情報端末装置におけるストリーム受信処理方法であって、前記ストリームデータからFEC処理によって復元したパケットを出力し、前記パケットをTTSデコード時に前記FEC処理を経ないパケットとRemuxすることを特徴とするストリーム受信処理方法。【選択図】      図４
2009284248.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークを介してストリームデータを受信する情報端末装置において、
前記ストリームデータからFEC処理によって復元したパケットを出力するFEC処理手段と、
前記パケットをTTSデコード時に前記FEC処理を経ないパケットとRemuxするRemux手段とを備えることを特徴とする情報端末装置。
【請求項２】
ネットワークを介してストリームデータを受信する情報端末装置において、
前記ストリームデータからFEC処理によって復元したパケットを出力するFEC処理手段と、
前記パケットをTTSデコード時に前記FEC処理を経ないパケットとRemuxするRemux手段とを備え、
前記FEC処理と前記TTSデコード処理を並列処理することを特徴とする情報端末装置。
【請求項３】
ネットワークを介してストリームデータを受信する情報端末装置におけるストリーム受信処理方法であって、
前記ストリームデータからFEC処理によって復元したパケットを出力し、
前記パケットをTTSデコード時に前記FEC処理を経ないパケットとRemuxすることを特徴とするストリーム受信処理方法。
【請求項４】
ネットワークを介してストリームデータを受信する情報端末装置におけるストリーム受信処理方法であって、
前記ストリームデータからFEC処理によって復元したパケットを出力し、
前記パケットをTTSデコード時に前記FEC処理を経ないパケットとRemuxし、
前記FEC処理と前記TTSデコード処理を並列処理することを特徴とするストリーム受信処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば情報端末装置に係わり、特にIP伝送におけるストリーム受信処理の遅延短縮技術に関する。
【背景技術】
【０００２】
動画像や音声あるいはその他のデジタル信号を， 例えばＭ Ｐ Ｅ Ｇ （ M o v i n g P i c t u r e E x p e r t s G r o u p） 方式に従って符号化し，パケット通信ネットワークを通じて送信する映像符号化・送信装置や， Ｉ Ｐ ネットワークを介して接続された遠隔地でIP伝送におけるストリーム受信処理を行う情報端末装置がある。
【０００３】
Ｂ Ｓ ／ Ｃ Ｓ ／ 地上デジタル放送やＤ Ｖ Ｄ の本格的な普及により， デジタル映像の圧縮技術はその応用範囲を広げつつある。とりわけ，インターネットに代表されるディジタルパケット通信網の高速化と広帯域化に伴い， 高品質なデジタル圧縮映像を用いた映像配信サービスなど，通信ネットワークを利用した映像伝送システムが普及しつつある。
【０００４】
さて， インターネットに代表される通信ネットワークにおいては，伝送中にパケットロスが発生するため， 受信側において復号映像の乱れやフリーズを生じることがある。これを防ぐため，送信側であらかじめ冗長なパケットを生成して伝送し， 受信側において損失したパケットを回復できるようにするＦＥ Ｃ （ F o r w a r d E r r o r C o r r e c t i o n） 技術が一般に知られている。損失パケットを回復するための誤り訂正符号としては主に， パリティ（ Ｘ Ｏ Ｒ ） 符号， ハミング符号， リードソロモン符号， 畳み込み符号， Ｌ Ｄ Ｐ Ｃ 符号などが使用されいろいろな工夫がされてきている。
【０００５】
このＦ Ｅ Ｃ技術の利用の一例として特許文献１には、符号化ストリームがバッファから出力されるより前に， Ｆ Ｅ Ｃ 符号を演算しておくことにより， バッファから出力された符号化ストリームを改めてＦ Ｅ Ｃ 符号バッファに蓄積する必要がなく，Ｆ Ｅ Ｃ パケットをネットワークに送出することができ， 結果としてＦ Ｅ Ｃ によるパケットロス耐性機能を使用する映像送受信装置の映像伝送遅延を削減することができるという技術が開示されている。しかしながら、例えばＴＴＳに係る高度な技術は開示されていない。
【特許文献１】特開２００７−２８２４１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、ＦＥＣ処理をより高度に行いTTSデコード処理の遅延を短縮する技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明の情報端末装置は、ネットワークを介してストリームデータを受信する情報端末装置において、前記ストリームデータからFEC処理によって復元したパケットを出力するFEC処理手段と、前記パケットをTTSデコード時に前記FEC処理を経ないパケットとRemuxするRemux手段とを備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、ＦＥＣ処理をより高度に行いTTSデコード処理の遅延を短縮する技術が得られる。
【発明を実施するための最良の形態】
【０００９】
本発明による実施形態を図１乃至図６を参照して説明する。
図１は、この発明の一実施形態に関するタイムスタンプ付TS(TTS)の
本発明の実施の形態に係る情報端末装置で扱うトランスポートストリームおよびこのトランスポートストリームに付加するタイムスタンプについて図１を用いて説明する。図１は、例えば記録媒体に記録されるときのデータの構造を示す図である。
【００１０】
図１において、右側１８８バイトのデータは放送により送られてくるトランスポートストリーム（ＭＰＥＧ２−ＴＳ）のデータであり、１８８バイトの大きさにパケット化されている。この１８８バイトのパケットデータを記録媒体に記録するときには、新たにこのパケットのタイムスタンプとして例えば３０ビット、再生制御情報として２ビットを付加して記録媒体に記録する。これらタイムスタンプ（３０［ビット］）と再生制御情報（２［ビット］）とを合わせると、４［バイト］（４［バイト］×８［ビット／バイト］＝３２ビット）の大きさとなる。
【００１１】
ここでＴＴＳについて説明する。図２はＴＴＳの構成をより詳しく示す図である。図１に関して述べたようにＴＴＳはＴＳを構成する１８８バイトの各ＴＳパケットに、４バイトのタイムスタンプを付加したものである。このタイムスタンプは、送り手側のネットワーク上のサーバあるいは本発明が適用されるデジタル信号処理装置が、各ＴＳパケットを受信したときに付与した情報であって、各ＴＳパケットの受信タイミングを示す。
【００１２】
各ＴＳパケットはＰＥＳヘッダとpayloadからなり、payloadには分割された映像ＰＥＳ又は音声ＰＥＳが格納される。payloadは例えばＭＰＥＧ２符号化ストリームである。
【００１３】
後述の図４の構成ではこのような構造を解析して映像と音声のそれぞれのデコードを行っている。
本実施形態では、RTP（Real-time Transport Protocol：リアルタイム転送プロトコル）を使用する。RTPの特徴としてまず一般的なRTPパケットの構造を図３に示す。
【００１４】
RFC 3550に規定されるRTPは、IP(Internet Protocol)上で利用可能なリアルタイム通信プロトコルである。
IPを用いるネットワークでは、欠損が生じるロス、順序の違いが生じるリオーダ、間隔が乱れるジッタ等が発生する。RTPは、UDP(User Datagram Program)上で送受信されるため、ロスやリオーダが発生した場合でも、TCPとは異なり自動的な補償や回復をされることがない。
【００１５】
RTPのヘッダに格納されるシーケンス番号は、送出毎に１ずつ増加され、ネットワーク上でロスやリオーダが生じた場合に受信側での検出を可能とする。
RTPの大きな目的は符号データのフレーミング（パケット化）を行い，RTPヘッダのシーケンス番号とタイムスタンプ情報を利用することにより，送信側のパケット送出タイミングを受信側でも復元できるようにすることである。
【００１６】
伝送データのフレーミングを行うという点ではトランスポート層に近い役割を果たすが，効率良くリアルタイム制御を行うためにアプリケーション層で直接フレーミングを行う。最適なフレーミング方法は符号データごとに異なるので，RTPでは詳細な仕様は定義していない。符号データごとの具体的なフレーミング方法，すなわちRTPパケットのフォーマットはIETFからRFC3551として公開されている。
【００１７】
RTPでは下位の転送プロトコルにUDPを使用する。もしネットワークでパケットが破棄された場合でもTCPのように再送せず，新しいパケットを転送し続ける方がリアルタイム通信には適している。RTPには符号データを伝送する機能しかなくRTPパケットの伝送制御や監視はRTCP（RTP Control Protocol：RTP制御プロトコル）により行う。
【００１８】
図３（ａ）にRTPパケットの構造を示す。RTPヘッダの前にUDPヘッダ、その前にIPヘッダが付加されている。RTPヘッダの後に一般に符号データがあるが、メディアストリームが例えば７ＴＴＳで構成されているのに対し、ＦＥＣストリームではその７ＴＴＳの前にＦＥＣヘッダが挿入されている構成となっており、後述のＸＯＲ演算はこれら７ＴＴＳの符号データ相互に行われる。
【００１９】
図３（ｂ）にRTPヘッダの構造を示す。以下のような要素がある。
・バージョン（V）‐RTPのバージョン番号で現在（RFC1889）は2である。
・パディング（P）‐パディング・データの有無を示す。
・拡張ヘッダ‐拡張ヘッダの有無を示す。拡張ヘッダはPTごとに定義されており，存在する場合はCSRC識別子の後に挿入される。
・CSRC識別子の数（CC）
・マーカー（M）‐使用方法はPTごとに定義される。
・ペイロード・タイプ（PT）‐伝送する符号データの種類を示す。
・シーケンス番号‐初期値が乱数で，パケットごとに１ずつ増加する。受信側でパケットの破棄や受信順序の入れ替りを検出することができる。
・タイムスタンプ‐パケットに含まれる最も古いデータが発生した時刻を表す。クロックの周波数はPTごとに定義され，音声コーデックの場合はサンプリング周波数になる。たとえば8kHzサンプリングの音声コーデックを20msecのパケット長で伝送する場合，1パケットには160サンプル分の音声データが含まれており，タイムスタンプもパケットごとに160ずつ増加する。
【００２０】
・同期送信元（SSRC）識別子‐RTPパケットの送信元を識別するための識別子である。識別子の値には乱数を使用する。
・寄与送信元（CSRC）識別子‐RTPでは複数の送信元から送られるパケットをミキシングする「ミキサ」という機能が定義されている。たとえば2人の話者から送信される2系統の音声パケットをそれぞれデコードし，加算した後で再びエンコードすれば1つのRTPパケットが得られる。このような場合，CSRC識別子として元のパケットのSSRC識別子を列挙する。1対1の通信の場合はCSRC識別子は存在せずCCの値は0になる。
【００２１】
ここで情報端末装置の一形態を一般的に説明する。まず図５は、この実施形態で説明する技術を適用したデジタルテレビジョン放送受信装置１１１の外観と、このデジタルテレビジョン放送受信装置１１１を中心として構成されるネットワークシステムの一例を概略的に示している。
【００２２】
すなわち、デジタルテレビジョン放送受信装置１１１は、主として、薄型のキャビネット１１２と、このキャビネット１１２を起立させて支持する支持台１１３とから構成されている。そして、キャビネット１１２には、例えば液晶表示パネル等でなる平面パネル型の映像表示器１１４、スピーカ１１５、操作部１１６、リモートコントローラ１１７から送信される操作情報を受ける受光部１１８等が設置されている。
【００２３】
また、このデジタルテレビジョン放送受信装置１１１には、例えばＳＤ（Secure Digital）メモリカード、ＭＭＣ（Multimedia Card）及びメモリスティック等の第１のメモリカード１１９が着脱可能となっており、この第１のメモリカード１１９に対して番組や写真等の情報の記録再生が行なわれるようになっている。
【００２４】
さらに、このデジタルテレビジョン放送受信装置１１１には、例えば契約情報等の記録された第２のメモリカード（ＩＣカード）１２０が着脱可能となっており、この第２のメモリカード１２０に対して情報の記録再生が行なわれるようになっている。
【００２５】
また、このデジタルテレビジョン放送受信装置１１１は、第１のＬＡＮ（Local Area Network）端子１２１、第２のＬＡＮ端子１２２、ＵＳＢ（Universal Serial Bus）端子１２３及びｉ．ＬＩＮＫ端子１２４を備えている。
【００２６】
このうち、第１のＬＡＮ端子１２１は、ＬＡＮ対応ＨＤＤ専用ポートとして使用されるもので、接続されたＮＡＳ（Network Attached Storage）であるＬＡＮ対応のＨＤＤ１２５に対して、イーサネット（登録商標）により情報の記録再生を行なうために使用される。
【００２７】
このように、ＬＡＮ対応ＨＤＤ専用ポートとしての第１のＬＡＮ端子１２１を設けることにより、他のネットワーク環境やネットワーク使用状況等に影響されることなく、ＨＤＤ１２５に対してハイビジョン画質による番組の情報記録を安定して行なうことができる。
【００２８】
また、第２のＬＡＮ端子１２２は、イーサネット（登録商標）を用いた一般的なＬＡＮ対応ポートとして使用されるもので、例えばハブ１２６を介して、ＬＡＮ対応のＨＤＤ１２７、ＰＣ（Personal Computer）１２８、ＨＤＤ内蔵のＤＶＤ（Digital Versatile Disk）レコーダ１２９等の機器を接続し、これらの機器と情報伝送を行なうために使用される。
【００２９】
なお、ＤＶＤレコーダ１２９については、第２のＬＡＮ端子１２２を介して通信されるデジタル情報が制御系のみの情報であるため、デジタルテレビジョン放送受信装置１１１との間でアナログの映像及び音声情報を伝送するために、専用のアナログ伝送路１３０を設ける必要がある。
【００３０】
さらに、この第２のＬＡＮ端子１２２は、ハブ１２６に接続されたブロードバンドルータ１３１を介して、例えばインターネット等のネットワーク１３２に接続し、このネットワーク１３２を介してＰＣ１３３や携帯電話１３４等と情報伝送を行なうために使用される。
【００３１】
また、上記ＵＳＢ端子１２３は、一般的なＵＳＢ対応ポートとして使用されるもので、例えばハブ１３５を介して、携帯電話１３６、デジタルカメラ１３７、メモリカードに対するカードリーダ／ライタ１３８、ＨＤＤ１３９、キーボード１４０等のＵＳＢ機器を接続し、これらのＵＳＢ機器と情報伝送を行なうために使用される。
【００３２】
さらに、上記ｉ．ＬＩＮＫ端子１２４は、例えばＡＶ−ＨＤＤ１４１、Ｄ（Digital）
−ＶＨＳ（Video Home System）１４２等をシリアル接続し、これらの機器と情報伝送を行なうために使用される。
図６は、上記したデジタルテレビジョン放送受信装置１１１の主要な信号処理系を示している。すなわち、ＢＳ／ＣＳデジタル放送受信用のアンテナ２４３で受信した衛星デジタルテレビジョン放送信号は、入力端子２４４を介して衛星デジタル放送用のチューナ２４５に供給されることにより、所望のチャンネルの放送信号が選局される。
【００３３】
そして、このチューナ２４５で選局された放送信号は、ＰＳＫ（Phase Shift Keying）
復調器２４６に供給されて、デジタルの映像信号及び音声信号に復調された後、信号処理部２４７に出力される。
また、地上波放送受信用のアンテナ２４８で受信した地上デジタルテレビジョン放送信号は、入力端子２４９を介して地上デジタル放送用のチューナ２５０に供給されることにより、所望のチャンネルの放送信号が選局される。
【００３４】
そして、このチューナ２５０で選局された放送信号は、例えば日本ではＯＦＤＭ（Orthogonal Frequency Division Multiplexing）復調器２５１に供給されて、デジタルの映像信号及び音声信号に復調された後、上記信号処理部２４７に出力される。
【００３５】
また、上記地上波放送受信用のアンテナ２４８で受信した地上アナログテレビジョン放送信号は、入力端子２４９を介して地上アナログ放送用のチューナ２５２に供給されることにより、所望のチャンネルの放送信号が選局される。そして、このチューナ２５２で選局された放送信号は、アナログ復調器２５３に供給されてアナログの映像信号及び音声信号に復調された後、上記信号処理部２４７に出力される。
【００３６】
ここで、上記信号処理部２４７は、ＰＳＫ復調器２４６及びＯＦＤＭ復調器２５１からそれぞれ供給されたデジタルの映像信号及び音声信号に対して、選択的に所定のデジタル信号処理を施し、グラフィック処理部２５４及び音声処理部２５５に出力している。
【００３７】
また、上記信号処理部２４７には、複数（図示の場合は４つ）の入力端子２５６ａ，２５６ｂ，２５６ｃ，２５６ｄが接続されている。これら入力端子２５６ａ〜２５６ｄは、それぞれ、アナログの映像信号及び音声信号を、デジタルテレビジョン放送受信装置１１１の外部から入力可能とするものである。
【００３８】
信号処理部２４７は、上記アナログ復調器２５３及び各入力端子２５６ａ〜２５６ｄからそれぞれ供給されたアナログの映像信号及び音声信号を選択的にデジタル化し、このデジタル化された映像信号及び音声信号に対して所定のデジタル信号処理を施した後、グラフィック処理部２５４及び音声処理部２５５に出力する。
【００３９】
グラフィック処理部２５４は、信号処理部２４７から供給されるデジタルの映像信号に、ＯＳＤ（On Screen Display）信号生成部２５７で生成されるＯＳＤ信号を重畳して出力する機能を有する。このグラフィック処理部２５４は、信号処理部２４７の出力映像信号と、ＯＳＤ信号生成部２５７の出力ＯＳＤ信号とを選択的に出力すること、また、両出力をそれぞれ画面の半分を構成するように組み合わせて出力することができる。
【００４０】
グラフィック処理部２５４から出力されたデジタルの映像信号は、映像処理部２５８に供給される。この映像処理部２５８は、入力されたデジタルの映像信号を、前記映像表示器１１４で表示可能なフォーマットのアナログ映像信号に変換した後、映像表示器１１４に出力して映像表示させるとともに、出力端子２５９を介して外部に導出させる。
【００４１】
また、上記音声処理部２５５は、入力されたデジタルの音声信号を、前記スピーカ１１５で再生可能なフォーマットのアナログ音声信号に変換した後、スピーカ１１５に出力して音声再生させるとともに、出力端子２６０を介して外部に導出させる。
【００４２】
ここで、このデジタルテレビジョン放送受信装置１１１は、上記した各種の受信動作を含むその全ての動作を制御部２６１によって統括的に制御されている。この制御部２６１は、ＣＰＵ（Central Processing Unit）等を内蔵しており、前記操作部１１６からの操作情報を受け、または、リモートコントローラ１１７から送出された操作情報を前記受光部１１８を介して受信し、その操作内容が反映されるように各部をそれぞれ制御している。
【００４３】
この場合、制御部２６１は、主として、そのＣＰＵが実行する制御プログラムを格納したＲＯＭ（Read Only Memory）２６１ａと、該ＣＰＵに作業エリアを提供するＲＡＭ（Random Access Memory）２６１ｂと、各種の設定情報及び制御情報等が格納される不揮発性メモリ２６１ｃとを利用している。
【００４４】
また、この制御部２６１は、カードＩ／Ｆ（Interface）２６５を介して、前記第１のメモリカード１１９が装着可能なカードホルダ２６６に接続されている。これによって、制御部２６１は、カードホルダ２６６に装着された第１のメモリカード１１９と、カードＩ／Ｆ２６５を介して情報伝送を行なうことができる。
【００４５】
さらに、上記制御部２６１は、カードＩ／Ｆ２６７を介して、前記第２のメモリカード１２０が装着可能なカードホルダ２６８に接続されている。これにより、制御部２６１は、カードホルダ２６８に装着された第２のメモリカード１２０と、カードＩ／Ｆ２６７を介して情報伝送を行なうことができる。
【００４６】
また、上記制御部２６１は、通信Ｉ／Ｆ２６９を介して第１のＬＡＮ端子１２１に接続されている。これにより、制御部２６１は、第１のＬＡＮ端子１２１に接続されたＬＡＮ対応のＨＤＤ１２５と、通信Ｉ／Ｆ２６９を介して情報伝送を行なうことができる。この場合、制御部２６１は、ＤＨＣＰ（Dynamic Host Configuration Protocol）サーバ機能を有し、第１のＬＡＮ端子１２１に接続されたＬＡＮ対応のＨＤＤ１２５にＩＰ（Internet Protocol）アドレスを割り当てて制御している。
【００４７】
さらに、上記制御部２６１は、通信Ｉ／Ｆ２７０を介して第２のＬＡＮ端子１２２に接続されている。これにより、制御部２６１は、第２のＬＡＮ端子１２２に接続された各機器（図５参照）と、通信Ｉ／Ｆ２７０を介して情報伝送を行なうことができる。
【００４８】
また、上記制御部２６１は、ＵＳＢ  Ｉ／Ｆ２７１を介して前記ＵＳＢ端子１２３に接続されている。これにより、制御部２６１は、ＵＳＢ端子１２３に接続された各機器（図５参照）と、ＵＳＢ  Ｉ／Ｆ２７１を介して情報伝送を行なうことができる。
【００４９】
さらに、上記制御部２６１は、ｉ．ＬＩＮＫ  Ｉ／Ｆ２７２を介してｉ．ＬＩＮＫ端子１２４に接続されている。これにより、制御部２６１は、ｉ．ＬＩＮＫ端子１２４に接続された各機器（図５参照）と、ｉ．ＬＩＮＫ  Ｉ／Ｆ２７２を介して情報伝送を行なうことができる。
【００５０】
ところで、この第１の実施形態では、ＨＤＤ１２５に初期登録時のＨＤＤ１２５、ＨＤＤ１２７、ＰＣ１２８、ＤＶＤレコーダ１２９それぞれに割り当てられたストレージＩＤ（ＩＰアドレス、機器名を含む）を記述した登録ファイルを記憶保持している。
【００５１】
また、不揮発性メモリ２６１ｃに、ＨＤＤ１２５、ＨＤＤ１２７、ＰＣ１２８、ＤＶＤレコーダ１２９それぞれのストレージＩＤを記憶している。
以下、ＨＤＤ１２７には、放送により送られたＴＳが蓄積されており、これをデジタルテレビジョン放送受信装置１１１でフロー制御にて再生するものとして説明する。
【００５２】
さて図４の機能ブロック図に示すように、ＦＥＣ処理は、RTP受信処理とTTSデコード処理の前に行う。第２のＬＡＮ端子１２２を介して受け取ったパケットを対象とする。具体的には、メディアストリームがメディアストリーム処理部１１に導かれるのに対し、パケットからＦＥＣヘッダを抽出できたＦＥＣストリームはＦＥＣストリーム処理部１２に導かれる。メディアストリーム処理部１１の出力であるＲＴＰパケットはＦＥＣ処理部１３とＲＴＰ処理部１４へ導かれ、メディアストリーム処理部１２の出力であるＲＴＰパケットはＦＥＣ処理部１３へ導かれる構成となっている。またＦＥＣ処理部１３の出力であるＦＥＣ処理で復元したパケットはＲＴＰ処理部１５へ導かれる。またＴＴＳデコード部１６においては、ＦＥＣ処理で復元したパケットのＴＴＳはＴＴＳ  ＲＥＭＵＸバッファ１８で扱われ、それ以外のパケットのＴＴＳはＴＴＳバッファ１７で扱われる構成となっている。また両バッファの出力であるＴＴＳデコード結果はタイムスタンプ比較処理部１９にてタイムスタンプ順にＴＳ  Ｄｅｍｕｘ２０へと出力される構成である。ＴＳ  Ｄｅｍｕｘ２０ではペイロードの種類に応じて映像デコーダ２１または音声デコーダ２２へとデータを出力する。
【００５３】
なお比較して従来方式では、言わばＲＴＰ処理部１４の出力の代りにＲＴＰ処理部１５の出力がＴＴＳバッファ１７へ導かれるような構成において、ＦＥＣ処理で復元したパケット以外のパケットもＦＥＣ処理部１３の出力として結局ＴＴＳバッファ１７へ導かれるような形態であった。ＴＴＳ  ＲＥＭＵＸバッファ１８に相当するものは用いられてなかった。
【００５４】
（FECの説明）
ネットワーク上でパケットロスが発生した場合、映像や音声に乱れを生じたりするため、パケットロスへの何らかの対処が必要である。このための手法として、送出時に付与された冗長パケットから数学的な演算で欠損部分を回復するFEC(Forward Error Correction)等の手段が存在する。RTPのFECとしてRFC2733による規定があり、さらに業務用映像伝送システム向けにとして言わばその下位の規定に位置するPro-MPEG Cop#3r2仕様がある。
【００５５】
FECの演算方式の１つであるパリティ方式の誤り訂正は、XOR（排他的論理和）演算の特性を利用したものであり、４パケットに単純化して説明すると以下の通りになる。
【００５６】
(A)  XOR  (B)  XOR  (C)  =  (D) のとき、
(A)  XOR  (C)  XOR  (D)  =  (B) となる。
ここで、(A), (B), (C)がRTPパケットで、(D)がFECパケット (冗長パケット)であるとする。このとき、RTPパケット(B)がロスした場合に、RTPパケット(A),(C)とFECパケット(D)が存在すれば、XOR演算によりRTPパケット(B)を回復することができる。例えば、冗長パケットをパケット中に１割混ぜる。
【００５７】
このように複数個のRTPパケットに対して演算が必要になるため、受信機側では、演算に必要となるRTPパケットをバッファリングする必要がある。また、サーバがから送出されるFECパケットの送出タイミングは、演算対象となるRTPパケットの送出から一定時間の遅延が発生する。さらに、受信機側では、FECパケットを受信したタイミングで、演算対象のRTPパケットが判明するため、FECパケットを受信してから演算処理を開始することになる。以上の理由から、FEC処理では、「演算に必要となるRTPパケットの蓄積時間」＋「サーバからのFECパケットの送出遅延」＋「受信機でのFEC演算処理の時間」の遅延が発生する。
【００５８】
（TTSデコードの説明）
サーバの送出時に発生するジッタおよびIP伝送で発生するジッタへの対策として、ARIB STD-B24で規定されている、各TSパケット(188バイト)の先頭に4バイトの27MHzベースのタイムスタンプを付加したタイムスタンプ付きTS(TTS)を導入する方法が存在する。
【００５９】
受信機側では、TTSデコード機能を備え、到着したTTSパケットをバッファリングするためのFIFOメモリに蓄え、タイムスタンプによってもたらされる送出側27MHz情報に従属同期したローカルカウンタ値とFIFO内TTSパケットのタイムスタンプ値を比較することで出力のためのゲーティング処理を行う。
【００６０】
ジッタを吸収するためには、TTSパケットをバッファリングするためのFIFOメモリに、ジッタを吸収できるだけのパケットを保持しておく必要がある。このため、TTSデコード処理で遅延が発生する。
【００６１】
従来方式の問題点としては、正常に受信したRTPパケットに格納されているTTSパケットと、FEC処理によって回復したRTPパケットに格納されているTTSパケットとの順番が逆転しないようにするため、正常に受信できたRTPパケットについてもFEC処理により遅延が発生していた。
【００６２】
このため、FECによる遅延時間を500ミリ秒、TTSデコードによる遅延時間を400ミリ秒とした場合、ストリームの受信を開始してからTSのdemux処理を開始するまでに、900ミリ秒かかってしまう。
【００６３】
（動作・改善方法）
本実施形態では、正常に受信したRTPパケットに格納されているTTSパケットは、FEC処理の遅延なしでＴＴＳデコード部１６におけるTTSデコード処理に渡し、FEC処理によって回復したRTPパケットに格納されているTTSパケットは別経路で即ちＲＴＰ処理部１４に代りＲＴＰ処理部１５経由でTTSデコード処理に渡す。FEC処理によって回復したパケットは、正常受信したパケットよりもFEC処理の分だけ遅延してTTSデコード処理に渡されるが、正常受信したパケットは、ジッタ吸収のためにバッファリングされているため、ジッタ吸収の遅延時間がFEC処理の遅延時間を上回るように設計すれば、TTSデコード処理部で処理可能となる。
【００６４】
例えば、従来方式において、FECによる遅延時間を500ミリ秒、TTSデコードによる遅延時間を400ミリ秒であった場合、本発明方法においてはTTSデコードによる遅延時間を500ミリ秒以上に設定する必要がある。TTSデコードによる遅延時間は長くなるが、ストリームの受信を開始してからTSのdemux処理を開始するまでの時間は短縮される。
【００６５】
TTSデコード処理では、正常に受信したパケットとFEC処理によって回復したパケットを正しい順番で処理する必要がある。パケットを正しい順番に並び替えるためには、一般的にはRTPヘッダに格納されているシーケンス番号を使う必要がある。しかしながらTTSの場合、各パケットにタイムスタンプが付与されているために、RTPのヘッダ情報なしに、正しい順番で処理することが可能である。
【００６６】
正常に受信したパケットは、従来方式と同様にFIFOメモリ（TTSバッファ）に蓄える。FEC処理によって回復したパケットは、TTSバッファとは別のFIFOメモリ(TTS REMUXバッファ１８)に蓄える。TTSバッファの先頭パケットとTTS REMUXバッファの先頭パケットのタイムスタンプを比較し、どちらを先に処理すべきか判定する。先に処理すべきパケットについて、ローカルカウンタ値と比較して出力のためのゲーティング処理を行う。TTS REMUXバッファの先頭パケットのタイムスタンプが、TTSバッファの先頭パケットのタイムスタンプと比べて、大きな差（例えば２秒）がある場合、そのパケットはFEC処理が間に合わなかったと判断して破棄する。
【００６７】
以上の実施形態の内容は、概要としてＩＰ伝送におけるストリーム受信回路の遅延短縮に関する。ＦＥＣ処理によって復元したパケットをＴＴＳデコード時にＲｅｍｕｘすることで、ＦＥＣ処理とＴＴＳデコード処理を並列処理し、トータルの遅延時間を短縮する技術に関する。
【００６８】
なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。
また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係る構成要素を適宜組み合わせても良いものである。
【図面の簡単な説明】
【００６９】
【図１】この発明の一実施形態に係わるTTSパケットの概略構成図。
【図２】ＴＴＳの構成を示す図。
【図３】一般的なRTPパケットの構造を示す図。
【図４】実施形態のストリームの処理を示すブロック構成図。
【図５】同実施形態のテレビジョン受信装置の外観と、このテレビジョン受信装置を中心として構成されるネットワークシステムを説明するための図。
【図６】同実施形態のテレビジョン受信装置の主要な信号処理系を示す図。
【符号の説明】
【００７０】
１１…メディアストリーム処理部、１２…ＦＥＣストリーム処理部、１３…ＦＥＣ処理部、１４、１５…ＲＴＰ処理部、１６…ＴＴＳデコード部、１７…ＴＴＳバッファ、１８…ＴＴＳ  ＲＥＭＵＸバッファ、１９…タイムスタンプ比較処理部、２０…ＴＳ  Ｄｅｍｕｘ（デマルチプレクサ）、１１１…デジタルテレビジョン放送受信装置、１１２…キャビネット、１１３…支持台、１１４…映像表示器、１１５…スピーカ、１１６…操作部、１１７…リモートコントローラ、１１８…受光部、１１９…第１のメモリカード、１２０…第２のメモリカード、１２１…第１のＬＡＮ端子、１２２…第２のＬＡＮ端子、１２３…ＵＳＢ端子、１２４…ｉ．ＬＩＮＫ端子、１２５，１２７，１３９…ＨＤＤ、１２６，１３５…ハブ、１２８…ＰＣ、１２９…ＤＶＤレコーダ、１３０…アナログ伝送路、１３１…ブロードバンドルータ、１３２…ネットワーク、１３３…ＰＣ、１３４，１３６…携帯電話、１３７…デジタルカメラ、１３８…カードリーダ／ライタ、１４０…キーボード、１４１…ＡＶ−ＨＤＤ、１４２…Ｄ−ＶＨＳ、２４３…アンテナ、２４４…入力端子、２４５，２５０，２５２…チューナ、２４６…ＰＳＫ復調器、２４７…信号処理部、２４８…アンテナ、２５１…ＯＦＤＭ復調器、２５３…アナログ復調器、２５４…グラフィック処理部、２５５…音声処理部、２４９，２５６ａ，２５６ｂ，２５６ｃ，２５６ｄ…入力端子、２５７…ＯＳＤ信号生成部、２５８…映像処理部、２５９，２６０…出力端子、２６１…制御部、２６１ａ…ＲＯＭ、２６１ｂ…ＲＡＭ、２６１ｃ…不揮発性メモリ、２６５，２６７…カードＩ／Ｆ、２６６，２６８…カードホルダ、２６９，２７０…通信Ｉ／Ｆ、２７１…ＵＳＢ  Ｉ／Ｆ、２７２…ｉ．ＬＩＮＫ  Ｉ／Ｆ。
【図１】
2009284248.tif 000003
【図２】
2009284248.tif 000004
【図３】
2009284248.tif 000005
【図４】
2009284248.tif 000006
【図５】
2009284248.tif 000007
【図６】
2009284248.tif 000008