(57)【要約】【課題】伝送パケットの受信から符号化映像メディア情報の抽出、復号、映像出力までの時間を短縮することのできるメディア受信装置を得る。【解決手段】伝送パケット解析分離部１１は、伝送パケット７を解析して復号時刻情報と表示時刻情報を含む映像時刻情報１３を出力する。符号化映像メディア解析部１７は、映像フレーム先頭を検出して通知する。符号化映像メディア復号部２０は、映像フレームの復号完了を通知する。基準時刻生成部８は、自装置の基準時刻情報を出力する。映像復号時間算出部２３は、映像フレーム先頭検知時刻、復号完了時刻および映像フレームに対する表示時刻情報を比較して映像フレーム先頭検知から映像出力までの経過時間を最短とする映像出力タイミングを算出する。【選択図】図１
2012109655.tif 000002
【特許請求の範囲】
【請求項１】
映像信号を符号化した符号化映像メディア情報を伝送パケットに格納して出力するメディア送信装置内における動作の基準時刻を示す時刻再生情報と、前記符号化映像メディア情報を復号開始すべきタイミングを示す復号時刻情報および映像復号した映像信号を出力すべきタイミングを示す表示時刻情報を含む映像時刻情報とが、前記符号化映像メディア情報と共に付与された伝送パケットを受信するメディア受信装置であって、
受信した伝送パケットを解析して前記時刻再生情報と前記符号化映像メディア情報と前記映像時刻情報とを抽出する伝送パケット解析分離手段と、
伝送パケットを受信した時点における自装置での動作の基準時刻情報と前記伝送パケット解析分離手段で抽出された前記時刻再生情報とを比較して自装置内の基準時刻情報が前記時刻再生情報に同期化するように基準時刻制御情報を生成する基準時刻再生手段と、
前記基準時刻制御情報に基づいて自装置内の基準時刻の基準となる基準信号の発振周波数を調整して基準時刻の進みを制御すると共に、当該制御した基準時刻を示す基準時刻情報と前記調整した発振周波数を示す基準周波数信号を自装置内に分配する基準時刻生成手段と、
前記符号化映像メディア情報を解析し、映像フレーム先頭を検出して通知すると共に、符号化映像フレーム情報として出力する符号化映像メディア解析手段と、
前記符号化映像フレーム情報を復号して映像信号を復元すると共に、映像フレームの復号が完了した際に復号完了を通知する符号化映像メディア復号手段と、
映像フレーム先頭の検知が通知された時点での基準時刻が示す映像フレーム先頭検知時刻、当該映像フレームの復号完了が通知された時点での基準時刻が示す復号完了時刻、および当該映像フレームに対する前記表示時刻情報を比較して映像フレーム先頭検知から映像出力までの経過時間を最短とする映像出力タイミングを算出する映像復号時間算出手段とを備えたメディア受信装置。
【請求項２】
映像復号時間算出手段は、
伝送パケット解析分離手段で抽出した映像フレームに対する表示時刻情報が示す表示時刻と、符号化映像メディア復号手段で当該映像フレームに対する映像フレーム復号を完了した復号完了時刻とを蓄積する映像復号時刻蓄積部と、
前記映像フレームにおける前記復号完了時刻から前記表示時刻までの差分時間を算出し、当該差分時間の算出を所定期間複数の映像フレームで行い、前記所定期間内の差分時間に基づいて、復号完了から映像出力までの経過時間を最短とする映像出力タイミングを決定する映像表示時刻判定部とを備えたことを特徴とする請求項１記載のメディア受信装置。
【請求項３】
符号化映像メディア復号手段は、符号化映像フレーム情報から映像フレーム間隔を抽出して映像フレームに対する表示開始予定時刻を算出すると共に、
映像復号時間算出手段は、
伝送パケット解析分離手段で抽出した映像フレームに対する表示時刻情報が示す表示時刻と、前記符号化映像メディア復号手段から通知された当該映像フレームに対する復号完了時刻とを蓄積する映像復号時刻蓄積部と、
前記映像フレームに対する復号完了時刻から、当該映像フレームに対する表示開始予定時刻までの差分時間を所定期間複数の映像フレームで行い、当該所定期間内の差分時間に基づいて、復号完了から映像出力までの経過時間を最短とする映像出力タイミングを決定する映像表示時刻判定部とを備えたことを特徴とする請求項１記載のメディア受信装置。
【請求項４】
映像復号時刻蓄積部は、符号化映像メディア解析手段から通知された映像フレーム先頭検知時刻と、符号化映像メディア復号手段から通知された復号完了時刻とを蓄積し、
映像表示時刻判定部は、伝送パケット解析分離手段で抽出した復号時刻情報と、前記映像フレーム先頭検知時刻との差分値を算出して、当該差分値が極大となるピークを探索し、当該ピークの検知位置と検知回数に基づいて決定した期間内で、復号完了時刻から映像出力までの経過時間を最短とする映像出力タイミングを決定することを特徴とする請求項２または請求項３記載のメディア受信装置。
【請求項５】
符号化映像メディア復号手段での映像復号処理において、符号化映像フレームが画面内符号化方式で構築されていることを検知した場合、映像復号時間算出手段は、その検知位置と検知回数に基づいて決定した期間内で、復号完了時刻から映像出力までの経過時間を最短とする映像出力タイミングを決定することを特徴とする請求項１から請求項４のうちのいずれか１項記載のメディア受信装置。
【請求項６】
伝送パケット解析分離手段は、メディア送信装置から出力される伝送パケットの制御情報パケットに、映像フレームの復号開始から復号完了までにかかる最大経過時間情報が含まれている場合、当該制御情報パケットを解析して前記最大経過時間情報を抽出し、
映像復号時間算出手段は、前記伝送パケット解析分離手段における抽出タイミングに基づいて最大経過時間情報に該当する映像フレームを特定し、符号化映像メディア解析手段で当該映像フレーム先頭を検知した時点での基準時刻が示す映像フレーム先頭検知時刻と制御情報パケットで通知された最大経過時間情報によって映像出力タイミングを決定することを特徴とする請求項１から請求項５のうちのいずれか１項記載のメディア受信装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、伝送パケットを受信して符号化映像メディア情報を復号するメディア受信装置に関し、特に、映像信号を出力するまでの処理遅延時間を短縮するメディア受信装置に関するものである。
【背景技術】
【０００２】
MPEG-2 Systems規格に準拠したＴＳパケットから符号化映像メディア情報の分離・復号・表示までの処理において、ＰＥＳヘッダ中に復号時刻情報を示すＤＴＳ（Decoding Time-Stamp）、表示（出力）時刻情報を示すＰＴＳ（Presentation Time-Stamp）と呼ばれる時刻情報が必要に応じて格納されている。
その際、時刻情報に対する時間軸は、ＴＳヘッダのアダプテーション領域中に格納された送信装置側で取得した時点での基準時刻を示すＰＣＲ（Program Clock Reference）と呼ばれる時刻再生情報で示される。この時刻再生情報は一定の頻度で格納されており、このＰＣＲを用いて受信装置側で再現した時間軸がＳＴＣ（System Time Clock）と呼ばれる。
【０００３】
つまり、受信装置側では、送信装置側から伝送された時刻再生情報ＰＣＲから再現した時間軸ＳＴＣを基準にして、復号時刻情報ＤＴＳが示す時刻になったら受信した符号化データ列の復号を開始し、表示時刻情報ＰＴＳが示す時刻になったら復号済メディア情報を出力するというタイミング制御を規定している。その際、復号対象となる符号化メディア情報はＤＴＳ時刻までに到着、ＤＴＳの瞬間に処理時間０で復号処理が完了し、符号化方式に伴うデータ列の順序入れ替えに必要な時間を考慮した遅延をもったＰＴＳ時刻に出力されるという理想の装置モデルで規定されている。
【０００４】
実際には映像メディアであれば、映像符号化方式に従った復号処理、ノイズや歪みなどの画質劣化を補正する映像補正処理などの処理時間や、映像信号そのものの映像画素転送の時間が必要となる。そして、モニタ装置などの映像表示装置に映像を表示するにはＳＭＰＴＥ等で規定する映像信号形式に従って一定周期に出力が必要になる。
そのため、受信装置では映像表示装置への映像出力間隔を一定にするため、受信した符号化メディア情報の復号タイミングとは独立なタイミング制御で、映像表示装置への出力タイミングを一定周期化し、その出力タイミングに合うように各処理を制御して最終的な映像画素転送タイミングを合わせた実装方式が多くみられる。
その結果、ＴＳパケットの受信から最終的な映像表示までの間に非同期な部分があって、そのタイミング合わせの待ち時間が発生して、映像表示遅延時間の増加と映像表示動作開始毎に１フレーム時間内のブレが生じる課題があった。
【０００５】
そこで、従来技術では表示時刻情報ＰＴＳを用いて映像信号を出力する間隔を制御する仕組みや、表示時刻情報ＰＴＳが全ての映像フレームに付与されず離散的に付与されている場合に符号化映像メディア情報中から映像フレーム間隔を抽出して表示間隔を制御する仕組みが開示されている。
しかしながら、映像メディア情報の映像符号化方式や受信装置内部での処理構成によって遅延時間が異なるため、一定の遅延時間を見越したオフセットが必要であり、伝送パケットを受信してから映像信号を出力するまでの遅延時間が長くなる課題が生じてしまう。
【０００６】
例えば、特許文献１では、ＴＳパケット中の時刻再生情報ＰＣＲを用いて再現した時間軸ＳＴＣとＰＥＳヘッダ中にある表示時刻情報ＰＴＳが一致したときに当該映像フレームに対する映像出力タイミングを制御するカウンタ回路を初期化することによって、受信装置内の自走タイミングではなくて送信装置から通知された表示時刻情報に従った出力タイミングで映像出力することが開示されている。
また、特許文献２では、特許文献１のように表示時刻情報ＰＴＳで映像出力タイミングを初期化する制御の場合、表示時刻情報ＰＴＳとして通知される時刻の精度に出力タイミングが左右されるため、一定の範囲で補正することを開示している。通常の映像表示装置の場合、映像を表示する間隔は正確に一定である必要があり、大きな揺らぎは許容されていないため、このような措置が必要となってくる。
さらに、特許文献３では、ＴＳパケット中の全ての映像フレームに表示時刻情報ＰＴＳが格納されていない場合にも符号化映像フレーム情報のパラメータとして付与されている映像フレーム間隔に関する情報から不足した表示時刻情報ＰＴＳを算出して出力タイミングの制御に適用する仕組みが開示されている。
【０００７】
ワンセグ放送などの低レートでの伝送では良好な映像品質を確保するために符号化映像メディア情報にできるだけ多くの伝送帯域を割り当てて、制御情報は必要最低限に抑制することが望ましい。映像フレームのそれぞれにＰＥＳヘッダを設定すると伝送帯域を消費するため、伝送エラー時からの復帰などで必要となる主要な映像フレームにのみＰＥＳヘッダを付与する手法が取られている。また、送信装置側で映像フレーム信号を符号化する際に全ての映像フレーム信号を符号化して符号化映像メディア情報として伝送しているとは限らず処理状況に応じて映像フレーム信号を間引いて符号化している場合もある。そのような場合に、表示時刻情報ＰＴＳが付与されなかった映像フレームに対して受信側の自走タイミングで映像出力タイミングを制御すると映像表示間隔が不自然になるため、このような装置が必要となる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００４−１２８８６９号公報
【特許文献２】特開２００４−１２８８７０号公報
【特許文献３】特開２００７−２５１５４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
伝送パケットを受信し、符号化メディア情報を抽出、復号してから表示出力するまでの実際の処理時間は送信装置から通知された表示時刻情報ＰＴＳを基準とする表示装置への出力タイミングとは一致していない上に、装置の実装方法や符号化方式に依存している。
【００１０】
先に述べた特許文献のように表示時刻情報ＰＴＳで出力タイミングを初期化する場合や符号化映像メディア情報から不足した表示時刻情報ＰＴＳを算出する場合だけでは、このような理想の処理タイミングと現実の処理タイミングとの差異があっても映像表示遅延を短縮することはできないし、その処理時間待ち分だけ映像フレーム信号を保持するバッファも必要となる課題があった。
【００１１】
本発明は上記のような課題を解決するためになされたもので、伝送パケットの受信から符号化映像メディア情報の抽出、復号、映像出力までの時間を短縮することのできるメディア受信装置を得ることを目的とする。
【課題を解決するための手段】
【００１２】
この発明に係るメディア受信装置は、映像信号を符号化した符号化映像メディア情報を伝送パケットに格納して出力するメディア送信装置内における動作の基準時刻を示す時刻再生情報と、符号化映像メディア情報を復号開始すべきタイミングを示す復号時刻情報および映像復号した映像信号を出力すべきタイミングを示す表示時刻情報を含む映像時刻情報とが、符号化映像メディア情報と共に付与された伝送パケットを受信するメディア受信装置であって、受信した伝送パケットを解析して時刻再生情報と符号化映像メディア情報と映像時刻情報とを抽出する伝送パケット解析分離手段と、伝送パケットを受信した時点における自装置での動作の基準時刻情報と伝送パケット解析分離手段で抽出された時刻再生情報とを比較して自装置内の基準時刻情報が時刻再生情報に同期化するように基準時刻制御情報を生成する基準時刻再生手段と、基準時刻制御情報に基づいて自装置内の基準時刻の基準となる基準信号の発振周波数を調整して基準時刻の進みを制御すると共に、制御した基準時刻を示す基準時刻情報と調整した発振周波数を示す基準周波数信号を自装置内に分配する基準時刻生成手段と、符号化映像メディア情報を解析し、映像フレーム先頭を検出して通知すると共に、符号化映像フレーム情報として出力する符号化映像メディア解析手段と、符号化映像フレーム情報を復号して映像信号を復元すると共に、映像フレームの復号が完了した際に復号完了を通知する符号化映像メディア復号手段と、映像フレーム先頭の検知が通知された時点での基準時刻が示す映像フレーム先頭検知時刻、映像フレームの復号完了が通知された時点での基準時刻が示す復号完了時刻、および映像フレームに対する表示時刻情報を比較して映像フレーム先頭検知から映像出力までの経過時間を最短とする映像出力タイミングを算出する映像復号時間算出手段とを備えたものである。
【発明の効果】
【００１３】
この発明のメディア受信装置は、映像フレーム先頭の検知が通知された時点での基準時刻が示す映像フレーム先頭検知時刻、映像フレームの復号完了が通知された時点での基準時刻が示す復号完了時刻、および映像フレームに対する表示時刻情報を比較して映像フレーム先頭検知から映像出力までの経過時間を最短とする映像出力タイミングを算出するようにしたので、伝送パケットの受信から符号化映像メディア情報の抽出、復号、映像出力までの時間を短縮することができる。
【図面の簡単な説明】
【００１４】
【図１】この発明の実施の形態１によるメディア受信装置を示す構成図である。
【図２】この発明の実施の形態１で扱う伝送パケットと符号化映像メディア情報との関係の一例を示す構成図である。
【図３】この発明の実施の形態１で扱う伝送パケットにおいて符号化映像メディア情報を多重するパケット構造の一例を示す説明図である。
【図４】この発明の実施の形態１で扱う伝送パケットにおいて符号化映像メディア情報を多重するパケット構造の一例を示す説明図である。
【図５】この発明の実施の形態２によるメディア受信装置を示す構成図である。
【図６】この発明の実施の形態２で扱う伝送パケットにおいて符号化映像メディア情報を多重するパケット構造の一例を示す説明図である。
【図７】この発明の実施の形態３によるメディア受信装置での映像フレーム後の映像フレーム先頭検知時刻から映像復号完了時刻までの経過時間の遷移の一例を示す説明図である。
【図８】この発明の実施の形態４によるメディア受信装置での映像フレーム毎の画面符号化方式の遷移の一例を示す説明図である。
【図９】この発明の実施の形態５で扱う伝送パケットにおいて制御情報を含むパケット構造の説明図である。
【発明を実施するための形態】
【００１５】
実施の形態１．
図１は、この発明の実施の形態１によるメディア受信装置を示す構成図である。
図１において、メディア送信装置１は、映像、音声およびデータ等のメディア情報を符号化、メディアパケット化し、さらに複数のメディアパケットを所定の構成で伝送パケット（ＴＳパケット）２に多重して伝送して伝送路に出力する送信装置である。メディア受信装置３は、メディア送信装置１が出力した伝送パケット２を受信し、伝送パケット２から映像、音声およびデータ等の符号化メディア情報を分離、復号して出力して映像表示装置４に出力する受信装置であり、伝送パケット受信部５、基準時刻生成部８、伝送パケット解析分離部１１、基準時刻再生部１５、符号化映像メディア解析部１７、符号化映像メディア復号部２０、映像復号時間算出部２３、映像出力タイミング生成部２５、映像信号後処理部２７を備えている。また、映像表示装置４はメディア受信装置３にて復号された映像信号を表示する表示装置である。
なお、音声、データなどの映像以外のメディア情報に関する構成は既知であるためこれらの図示及び説明は省略する。
【００１６】
伝送パケット受信部５は、メディア送信装置１が出力した伝送パケット２を受信し、受信したタイミングを通知するための伝送パケット到着通知６を基準時刻再生部１５に出力すると共に、伝送パケット受信部５で取り込んだ伝送パケット７を伝送パケット解析分離部１１に出力する機能部である。基準時刻生成部８は、メディア受信装置３内の各機能部へ動作の基準となる基準時刻情報９と基準時刻周波数信号１０を分配する基準時刻生成手段である。伝送パケット解析分離部１１は、伝送パケット７の構造を解析して、メディア送信装置１において当該伝送パケットを出力した時点での基準時刻を示す時刻再生情報１２を基準時刻再生部１５に出力すると共に、基準時刻上での符号化映像メディア情報の復号タイミングを示す復号時刻情報１３ａおよび映像信号の出力タイミングを示す表示時刻情報１３ｂを抽出し、これを映像時刻情報１３として映像復号時間算出部２３に出力し、また、伝送パケット７内に格納された符号化映像メディア情報１４を抽出し、この符号化映像メディア情報１４を符号化映像メディア解析部１７に出力する伝送パケット解析分離手段である。なお、映像時刻情報１３は、図示はしていないが、個々に示す場合には復号時刻情報１３ａ、表示時刻情報１３ｂとする。
【００１７】
基準時刻再生部１５は、伝送パケット受信部５が通知した伝送パケット到着通知６のタイミングにおける基準時刻生成部８が出力する基準時刻情報９で得られる伝送パケット２の到着時刻と、伝送パケット解析分離部１１が抽出した時刻再生情報１２とを比較して、その値が一致するように基準時刻生成部８の動作を制御する基準時刻制御情報１６を生成し、これを基準時刻生成部８に出力する基準時刻再生手段である。符号化映像メディア解析部１７は、伝送パケット解析分離部１１から通知された符号化映像メディア情報１４における映像フレームの区切れ目を示す識別子を検索して映像フレーム先頭を検知し、これを映像フレーム先頭検知通知１８として映像復号時間算出部２３に出力すると共に、符号化映像フレーム情報１９を符号化映像メディア復号部２０に出力する符号化映像メディア解析手段である。符号化映像メディア復号部２０は、符号化映像フレーム情報１９を復号処理して映像信号を復元し、これを映像信号２２として映像信号後処理部２７に出力すると共に、当該映像フレームの復号完了を映像フレーム復号完了通知２１として映像復号時間算出部２３に通知する符号化映像メディア復号手段である。
【００１８】
映像復号時間算出部２３は、映像フレーム先頭検知通知１８が通知されたタイミングにおける基準時刻情報９で得られる映像フレーム検知時刻と当該映像フレームに対する映像フレーム復号完了通知２１が通知されたタイミングにおける基準時刻情報９で得られる映像フレーム復号完了時刻とから当該映像フレームの復号処理に掛かった経過時間を算出すると共に、当該映像フレームに対する表示時刻情報１３ｂとの関係から、映像フレーム先頭検知から映像出力までの経過時間を最短とする映像出力タイミングを決定して映像出力制御情報２４を生成し、この映像出力制御情報２４を映像出力タイミング生成部２５に出力する映像復号時間算出手段である。映像出力タイミング生成部２５は、映像出力制御情報２４に基づいて基準時刻情報９と基準時刻周波数信号１０で示される基準時刻における出力間隔を映像フレーム間隔に応じて制御して映像出力タイミング通知２６を生成し、これを映像信号後処理部２７に出力する機能部である。
【００１９】
映像信号後処理部２７は、復元された映像信号２２に対してメディア送信装置１で取り込まれた本来の映像信号と同等となるようにノイズ除去や歪み低減などの信号処理や映像フレームの順序を入れ替えるなどの映像符号化方式に伴って発生する処理を実施すると共に、映像信号を一時的に保持し、映像出力タイミング通知２６に基づいて映像信号を出力する機能部であり、最終的な映像出力タイミングを調整された映像出力信号２８を出力する。
【００２０】
図２は、この発明の実施の形態１のメディア受信装置３で扱う伝送パケット７と符号化映像メディア情報１４との関係の一例を示す説明図である。また、図３および図４は、伝送パケット２において符号化映像メディア情報１４を多重するパケット構造の一例を示す説明図である。
【００２１】
伝送パケットの構造は実施の形態１における特徴的な動作には直接関係しないが説明の便宜上、一例を挙げて示す。
図２において、伝送パケット列１００は、メディア送信装置１とメディア受信装置３間で伝送ネットワークなどの伝送経路を介して伝達される伝送パケット２を示しており、伝送ヘッダ１０１は、伝送パケットを識別するＩＤなどの付加情報が格納されたヘッダであり、メディアヘッダ１０２は、映像、音声、データなどの各種メディア情報を格納する際にメディア情報毎に固有な識別をするＩＤや表示時刻情報、復号開始情報などの付加情報が格納されたヘッダである。また、符号化映像メディア情報１０３は、伝送パケット列１００に格納されるデータである。
【００２２】
符号化映像メディア情報１０３のデータ列の方が伝送パケットよりも大きいサイズであるため、符号化映像メディア情報１０３を伝送パケット列１００におけるそれぞれの伝送パケットに収まるサイズに分割して逐次格納していくことになる。図２の例では符号化映像メディア情報１０３を三つに分割して伝送パケットに格納するケースを示している。ここで、伝送パケット１０４は、符号化映像メディア情報１０３の先頭部分を含む伝送パケット、伝送パケット１０５は、符号化映像メディア情報１０３の中間部分を含む伝送パケット、伝送パケット１０６は、符号化映像メディア情報１０３の最終部分を含む伝送パケットを示している。また、付加領域１０７は、伝送パケット中に格納するデータ列が過少で空き領域が発生した時にスタッフィングする目的やあるいは伝送パケットに対して時刻再生情報などの付加情報を格納するための領域である。この付加領域は適用する伝送フォーマットの多重規格によって伝送ヘッダ１０１の一部として存在する多重規格もあるし、独立に存在する多重規格もあるが、いずれの格納方法でも本質的な差異はない。
【００２３】
図２では符号化フレーム情報１０３の最終部分を含む伝送パケット１０６にのみ付加領域１０７を格納しているが、付加領域１０７は伝送パケットに対する付加的な情報を付与する目的もあり、任意の伝送パケットに付与することが可能である。伝送ヘッダ１０１、付加領域１０７、メディアヘッダ１０２を必要に応じて順次格納した後に残った領域に各種データ列、例えば符号化映像メディア情報１０３を適切なサイズに分割して格納して伝送パケット列１００を構成する運用となる。
【００２４】
次に、実施の形態１の動作について説明する。
メディア送信装置１は入力された映像メディア信号、音声メディア信号、データ信号などのメディア情報をそれぞれのメディアの特性に応じた符号化方式によって映像符号化、音声符号化、データ符号化して符号化メディア情報を生成する。映像符号化方式の一例ではMPEG-2 Video、MPEG−４ Video、MPEG-4 AVC/ITU-T H.264、VC-1などの映像符号化規格に準拠して符号化されたデータ列が該当とする。音声符号化方式の一例では、MPEG-1 Audio、MPEG-2 Audio、MPEG-2/4 AAC、Dolby AC-3などの音声符号化規格に準拠して符号化されたデータ列が該当する。
【００２５】
そして、複数種類の符号化メディア情報を一つの伝送データに集約して伝送路に出力し易くするため、図２で示すようなパケット構造で伝送用のデータ列を形成してパケット化し、メディア送信装置１とメディア受信装置３間で伝達される。このとき、どのようなメディア情報が格納されているのかを識別するために伝送ヘッダ１０１に符号化メディア種別やパケット属性などの付加情報を付与してパケット化して伝送路へ出力される。
【００２６】
映像メディア情報を伝送する場合についてさらに説明すると、映像メディア情報は何らかの単位、例えば映像信号を構成するプログレッシブ方式での映像フレーム構造やインタレース方式での映像フィールド構造などの有意な単位で区切れる構造で符号化されていることを利用して、それらの区切れ目に合わせて符号化映像メディア情報のデータ列を分割し、伝送パケットに格納して送付する手法が取られることが多い。リアルタイムな伝送方法において、任意のタイミングから受信して復号処理をする際に、復号処理の実行が可能な意味のある箇所から速やかに処理を開始できるようにするためである。デジタル放送やBluray Discなどのアプリケーションでは、映像フレームまたは映像フィールドを構成する符号化映像メディア情報のデータ列の方が伝送パケットよりも大きいサイズであるため、逐次分割して伝送パケットに格納していくことになる。
【００２７】
図２で示す例では符号化映像メディア情報１０３を三つに分割して伝送パケット列１００に格納しており、先頭部分を含む伝送パケット１０４では伝送ヘッダ１０１において先頭部分があることを意味するために、伝送ヘッダ中の先頭有無フラグを「有り」に設定し、それ以外の伝送パケット１０５、１０６の伝送パケット中の先頭有無フラグは「無し」に設定される。
【００２８】
さらに先頭部分を含む伝送パケット１０４では、メディアヘッダ１０２が存在して、当該映像メディア情報に関わる付加的な情報が付与されることになる。このメディアヘッダ１０２にはメディア送信装置１において付与されたメディア送信装置１側の基準時刻上での当該映像フレームの復号タイミングを示す復号時刻情報１３ａ、表示タイミングを示す表示時刻情報１３ｂからなる映像時刻情報１３が格納されている。復号時刻情報１３ａと表示時刻情報１３ｂが同一値のときは伝送効率向上のため一方だけ格納されることもあるが、その場合は同一値として省略された時刻情報を復元することになる。最終部分を含む伝送パケット１０６では符号化映像メディア情報１０３を分割して逐次格納していった結果、伝送パケットのサイズに対して過少となる場合には付加領域１０７によってスタッフィングデータ列を挿入して補填する。この付加領域１０７には伝送パケットに対して各種データ列を格納するための付加的な情報を付与することもできるし、メディア送信装置１側での基準時刻を示す時刻再生情報１２を格納することもできる。
【００２９】
例えば、図３は、伝送パケットの一例としてMPEG-2 Systems規格で定義するＴＳパケット構造において、実施の形態１の説明に必要なパラメータをビット配置で示した一例を示している。
図３において、各パラメータの意味は実施の形態１の範囲外なので詳細な説明は省略するが、ＴＳパケットは１８８バイトの固定長で構成され、図３ではその先頭バイトの位置を１、最終バイトの位置を１８８で示し、バイト内のＭＳＢ（Most Significant Bit）をｂ７、ＬＳＢ（Least Significant Bit）をｂ０、ＭＳＢからＬＳＢまでの間の各ビットをそれぞれｂ６からｂ１までで示している。
【００３０】
図３において、バイト位置１からバイト位置４までが伝送ヘッダ１０１に相当し、バイト位置５からバイト位置Ｍ−１までが付加領域１０７に相当する。ＴＳパケット中においてバイト位置４にあるフラグ類の一つadaptation_field_controlによって付加領域有りが指定された場合、付加領域１０７が存在し、バイト位置６にあるフラグ類のうち、PCR_flag＝１である場合、バイト位置７からバイト位置１２までにあるPCR_Base、PCR_Extensionで示される時刻情報が存在している。両パラメータを一組にしてPCR（Program_Clock_Reference）と呼ばれる時刻情報で時刻再生情報１２に相当し、PCR_Base部は９０ＫＨｚ精度のカウンタ値、PCR_Extension部は２７ＭＨｚ精度のカウンタ値で構成されている。MPEG-2 Systems規格に準拠した装置が送受信間で動作周波数を一致させるため、ＰＣＲは一定の頻度で通知する必要があり、MPEG-2 Systems規格では１００ｍｓｅｃ以内の伝送間隔でパラメータ設定して通知することとなっている。メディア受信装置３側でこのＰＣＲのカウンタ値の遷移と自装置内のカウンタ値の遷移の差異を検知することによって送受信間での動作周波数差と基準時刻差を算出し、自装置の動作周波数と基準時刻を調整することで動作周波数と基準時刻を送受信間で一致させることができる仕組みとなっている。
【００３１】
さらに、図４はメディア情報を格納するＴＳパケットにおいてＴＳヘッダにて先頭有りが指定された場合に存在するメディア情報に関わる付加的なヘッダに対するMPEG-2 Systems規格で定義するＰＥＳヘッダ構造の一例を示している。
ＴＳパケット構造と同様、実施の形態１の説明に必要なパラメータをビット配置で示した一例である。各パラメータの意味は実施の形態１の範囲外なので詳細な説明は省略するが、ＰＥＳヘッダはメディアヘッダ１０２に相当する。ＰＥＳヘッダ中においてバイト位置８にあるフラグ類のひとつPTS_DTS_flagが１０ｂまたは１１ｂ（２進表記）である場合、バイト位置１０からバイト位置１４までにあるＰＴＳ（Presentation_Time_Stamp）と呼ばれる時刻情報が存在し、表示時刻情報１３ｂに相当する。PTS_DTS_flagが１１ｂ（２進表記）である場合、バイト位置１６からバイト位置１９までにあるＤＴＳ（Decoding_Time_Stamp）と呼ばれる時刻情報が存在し、復号時刻情報１３ａに相当する。これらの時刻情報は、PCR_Baseと同様に９０ＫＨｚ精度のカウンタ値で構成される。別途通知されるＰＣＲ値で示される基準時刻情報の時間軸上で、当該映像フレームの復号を開始すべき時刻と表示を開始すべき時刻を指し示すものである。
【００３２】
このような各種符号化・伝送規格に従って複数種類のメディア情報にその復元に必要となる時刻情報などを理想の動作モデルを前提にした仮想装置での動作を想定して付与した伝送パケット列１００を構成して伝送している。実際の装置では各種動作にかかる時間を加味して時刻情報を補正して適用していくこととなる。
【００３３】
メディア受信装置３では、メディア送信装置１から伝送経路を介して伝達された伝送パケット２を、伝送パケット受信部５において物理的な伝送信号からデータ列を抽出して伝送パケット７として通知すると共に、伝送パケット２を受信したことを伝送パケット到着通知６によって基準時刻再生部１５へ通知する。
伝送パケット解析分離部１１では、伝送パケット７のパケット構造を解析して、先に述べた時刻再生情報を検知した場合、時刻再生情報１２として基準時刻再生部１５へその内容を通知する。同様に映像フレームに対する復号時刻情報１３ａまたは表示時刻情報１３ｂを検知した場合には映像時刻情報１３として映像復号時間算出部２３へ通知し、また伝送パケット７中に符号化映像メディア情報を検知した場合には、符号化映像メディア情報１４を抽出して符号化映像メディア解析部１７へ通知する。
【００３４】
基準時刻再生部１５では伝送パケット到着通知６のタイミングでその時点での基準時刻情報９を取り込み、当該伝送パケット２に対するパケット到着時刻を保持する。伝送パケット解析分離部１１から時刻再生情報１２が通知されたとき、時刻再生情報１２はメディア送信装置１における基準時刻を示し、保持したパケット到着時刻はメディア受信装置３における基準時刻を示し、両基準時刻が一致するように基準時刻生成部８における動作周波数と基準時刻を制御する基準時刻制御情報１６を算出して基準時刻生成部８へ通知する。基準時刻生成部８では基準時刻制御情報１６に基づいてメディア受信装置３内に関係する動作周波数および基準時刻絶対値を調整しつつ、基準時刻情報９と基準時刻周波数信号１０を各機能部へ分配する。なお、メディア送信装置１とメディア受信装置３で基準時刻を一致させる手法については公知の手法と同様であるため、ここでは簡単な説明に止めることとする。
【００３５】
一般的な手法によれば、メディア受信装置３では、受信動作開始後に最初に到着して抽出した時刻再生情報の値でまず基準時刻生成部８にある基準時刻情報を初期化する。そして一定の頻度でメディア送信装置１から伝送される時刻再生情報と自装置の基準時刻情報とを比較して、時刻再生情報の方が進んでいれば自装置の基準信号の動作周波数がメディア送信装置１の動作周波数よりも低いと判断し、逆に自装置の基準時刻情報の方が進んでいれば自装置の基準信号の動作周波数がメディア送信装置１の動作周波数よりも高いと判断される。その際、メディア送信装置１からの時刻再生情報と自装置の基準時刻情報との差分値の大きさとその前回時刻再生情報を受信した時からの変化量から、メディア送信装置１と自装置との基準動作周波数の差異と基準時刻情報の差異を算出して基準動作周波数と基準時刻情報の両方が一致するように基準時刻制御情報１６を導出する。そして基準時刻制御情報１６を基準時刻生成部８に通知して、基準時刻生成部８における基準動作周波数を上下させてメディア送信装置１と自装置の基準動作周波数と基準時刻情報の両方を一致させる。これによりメディア送信装置１が伝送パケット２を生成時に想定した理想の動作時における伝送パケット受信、符号化メディア情報の復号、出力までの時刻合わせが可能となる。
【００３６】
符号化映像メディア情報１４は先に述べたようなMPEG-2 Video、MPEG-4 Video、MPEG-4 AVC／ITU-T H.264などの映像符号化方式に従った規則に基づいてデータ化されており、符号化効率向上のため、復号処理に共通的に必要なパラメータは一定の頻度でまばらに設定したり、一定の順序でパラメータが存在することを前提に特に識別子もなく詰めて設定するなどの工夫がされている。そのため、符号化映像メディア情報１４の途中から映像復号処理を開始しても正常な映像復号処理ができないという問題がある。そこで、映像復号開始の初期段階や映像復号途中での異常状態からの復帰において早期に正常な映像信号の出力を実施するため、映像信号を構成する映像フレームの境目など、映像復号処理において意味のある箇所には区切れ目を意味するコードが設定される規定になっている。この区切れ目を探索することで正常に映像復号可能な開始位置を検出して、早期に映像出力を復帰できるように工夫されている。例えば、MPEG-2 Videoであれば、start_codeと呼ばれる“０”（２進表記）が２３ｂｉｔ連続した後に“１”（２進表記）が存在するデータパターンが区切れ目に該当する。MPEG-4 AVC／ITU-T H.264でも符号化条件設定で異なるが同様に“０”（２進表記）が所定のビット数連続したのちに“１”（２進表記）が存在するデータパターンが区切れ目に該当する。そして、このstart_codeに続く識別子によってどのような符号化データの種別であるかを識別することができる。
【００３７】
符号化映像メディア解析部１７ではこのようなstart_codeを符号化映像メディア情報１４とビットパターン比較しながら探索し、start_codeに続く識別子を確認することで映像フレームの区切れ目を検出する。そして、映像フレームの区切れ目を検出したとき、映像フレーム先頭検知通知１８を通知する。start_codeの探索と共に映像符号化メディア情報を映像復号するために、符号化映像フレーム情報１９として符号化映像メディア復号部２０へ伝達する。これは映像フレーム区切れ目の検出タイミングと映像フレームの復号タイミングが処理順序によって前後しないように順序立てて処理するためである。
【００３８】
符号化映像メディア復号部２０では符号化映像フレーム情報１９を映像符号化方式によって規定された所定の規則に従って映像復号処理を実施して映像符号化前の映像信号２２を復元して映像信号後処理部２７へ伝達する。映像復号処理の詳細は実施の形態１の動作には直接関係しないため、ここでの詳細な説明は行わないが、符号化映像フレーム情報１９を映像復号する過程において映像フレーム末端までの映像復号処理が完了したとき、映像フレーム復号完了通知２１を通知する。
【００３９】
映像復号時間算出部２３では符号化映像メディア解析部１７から映像フレーム先頭検知通知１８を受けたタイミングでの基準時刻情報９を取り込んで当該映像フレームに対する先頭検知時刻、つまり実質的に復号処理を開始した復号開始時刻を保持する。同様に符号化映像メディア復号部２０から映像フレーム復号完了通知２１を通知されたタイミングでの基準時刻情報９を取り込んで当該映像フレームに対する復号処理が完了した復号完了時刻を保持する。別途、伝送パケット解析分離部１１から通知された映像時刻情報１３も合わせて保持する。これにより映像復号時間算出部２３では当該映像フレームに対する復号開始時刻、復号完了時刻、メディア送信装置１にて定義した復号時刻情報、表示時刻情報を保持することができる。このとき、各処理部から通知する際に映像フレームに対して一意なＩＤなどの番号を付与して、これらの時刻情報を関連付けられるようにしてもよい。そして、これらの時刻情報を比較することによって映像出力タイミングを決定する。
【００４０】
映像復号時間算出部２３では、表示時刻情報の遷移、および必要ならば映像符号化メディア情報中のパラメータから当該映像フレームを表示する順序を決定し、そして決定された映像フレームの順番で探索したとき各映像フレームの復号完了時刻よりも先行しないように映像出力タイミングを算出して映像出力制御情報２４を映像出力タイミング生成部２５に通知する。
映像出力タイミング生成部２５では映像出力制御情報２４と基準時刻情報９とが一致するタイミングで映像出力タイミング通知２６を出力する。その際、基準時刻周波数信号１０に同期した映像信号に固有な周波数の信号に従って出力される。
映像信号後処理部２７では映像出力タイミング通知２６が通知されたタイミングに合わせて符号化映像メディア復号部２０が出力した映像信号２２の出力時間を調整した映像出力信号２８として映像表示装置４へ出力する。
このとき映像信号後処理部２７では映像信号２２に対して、画質向上させるために輪郭強調、コントラスト調整、色相調整、ノイズ除去などの各種信号処理をして映像出力信号２８を出力してもよい。この場合、これらの信号処理に要する時間分だけ固定的に映像出力タイミングを遅延させて実装することとなるが、実施の形態１の動作で説明する映像表示までの時間の一定化、最短化を図るための復号完了時刻から映像出力までの経過時間を最短とする映像出力タイミングの算出方法には影響を与えず、映像出力において固定的に必要となる出力遅延とみなせる。
【００４１】
以上のように、実施の形態１のメディア受信装置によれば、映像信号を符号化した符号化映像メディア情報を伝送パケットに格納して出力するメディア送信装置内における動作の基準時刻を示す時刻再生情報と、符号化映像メディア情報を復号開始すべきタイミングを示す復号時刻情報および映像復号した映像信号を出力すべきタイミングを示す表示時刻情報を含む映像時刻情報とが、符号化映像メディア情報と共に付与された伝送パケットを受信するメディア受信装置であって、受信した伝送パケットを解析して時刻再生情報と符号化映像メディア情報と映像時刻情報とを抽出する伝送パケット解析分離手段と、伝送パケットを受信した時点における自装置での動作の基準時刻情報と伝送パケット解析分離手段で抽出された時刻再生情報とを比較して自装置内の基準時刻情報が時刻再生情報に同期化するように基準時刻制御情報を生成する基準時刻再生手段と、基準時刻制御情報に基づいて自装置内の基準時刻の基準となる基準信号の発振周波数を調整して基準時刻の進みを制御すると共に、制御した基準時刻を示す基準時刻情報と調整した発振周波数を示す基準周波数信号を自装置内に分配する基準時刻生成手段と、符号化映像メディア情報を解析し、映像フレーム先頭を検出して通知すると共に、符号化映像フレーム情報として出力する符号化映像メディア解析手段と、符号化映像フレーム情報を復号して映像信号を復元すると共に、映像フレームの復号が完了した際に復号完了を通知する符号化映像メディア復号手段と、映像フレーム先頭の検知が通知された時点での基準時刻が示す映像フレーム先頭検知時刻、映像フレームの復号完了が通知された時点での基準時刻が示す復号完了時刻、および映像フレームに対する表示時刻情報を比較して映像フレーム先頭検知から映像出力までの経過時間を最短とする映像出力タイミングを算出する映像復号時間算出手段とを備えたので、伝送パケット受信から映像復号、映像表示までの時間を短縮して映像表示遅延時間を少なくし、かつ同一特性の符号化映像メディア情報の受信に対して映像表示タイミングを同一にした映像表示を実施するメディア受信装置を実現することができる。
【００４２】
実施の形態２．
図５は、この発明の実施の形態２によるメディア受信装置３ａを示す構成図である。
実施の形態２のメディア受信装置３ａが実施の形態１のメディア受信装置３と異なる部分は、実施の形態１における映像復号時間算出部２３の代わりに、映像復号時刻蓄積部２００と映像表示時刻判定部２０２を備えた点である。映像復号時刻蓄積部２００は、復号時刻情報１３ａおよび表示時刻情報１３ｂを含む映像時刻情報１３を保持し、映像フレーム先頭検知通知１８または映像フレーム復号完了通知２１を受けてその時点での基準時刻情報９を保持する記憶部であり、蓄積した各時刻情報を含む蓄積映像時刻情報２０１を映像表示時刻判定部２０２に出力する。映像表示時刻判定部２０２は、受信した蓄積映像時刻情報２０１から映像表示タイミングを算出して映像出力制御情報２４を出力する機能部である。その他の構成については実施の形態１の構成と対応する部分には同一符号を付してその説明を省略する。
【００４３】
図６は、この発明の実施の形態２における映像復号処理と映像表示処理に関する時間経過を示す説明図である。
図６において、当該映像フレームに対する映像フレーム先頭検知から映像復号完了までの期間を復号処理[0]、復号処理[1]、復号処理[2]・・・と記載している。同じく当該映像フレームに対して、映像信号を出力している期間を表示処理[0]、表示処理[1]、表示処理[2]・・・と記載している。このとき伝送パケット中から抽出した表示時刻情報とは異なる時間タイミングであり、詳細については後述する。
【００４４】
次に、実施の形態２の動作について説明する。メディア受信装置３ａでの基本的な動作は実施の形態１と同様であり、相違点となる動作を述べると、伝送パケット解析分離部１１にて伝送パケット７のメディアヘッダ中にある復号時刻情報、表示時刻情報を抽出したとき、当該映像フレームを識別するためのＩＤを付与して映像時刻情報１３を生成して映像復号時刻蓄積部２００へ通知する。また、伝送パケット解析分離部１１は、伝送パケット７から符号化映像メディア情報１４を抽出して符号化映像メディア解析部１７に通知する際にも映像フレーム識別ＩＤを含めて通知する。
【００４５】
符号化映像メディア解析部１７では符号化映像メディア情報１４から映像フレームの区切れ目を探索し、映像フレームの区切れ目を検出したときには映像フレーム識別ＩＤと共に映像フレーム先頭検知通知１８を映像復号時刻蓄積部２００へ通知する、そして、映像フレームの区切れ目を明示した形式で符号化映像フレーム情報１９に映像フレーム識別ＩＤを含めて符号化映像メディア復号部２０へ通知する。
【００４６】
符号化映像メディア復号部２０では符号化映像フレーム情報１９を映像復号処理し、映像フレームの映像復号が完了したときには映像フレーム識別ＩＤと共に映像フレーム復号完了通知２１を映像復号時刻蓄積部２００へ通知する。映像復号時刻蓄積部２００では、映像時刻情報１３と、映像フレーム先頭検知通知１８および映像フレーム復号完了通知２１を通知されたタイミングでそれぞれ基準時刻情報９を取り込んだ映像フレーム先頭検知時刻および映像フレーム復号完了時刻について映像フレーム識別ＩＤを用いて関連付けて保持する。そして各時刻情報を取り纏めて蓄積映像時刻情報２０１として映像表示時刻判定部２０２へ通知する。
【００４７】
映像表示時刻判定部２０２では、蓄積映像時刻情報２０１を用いて映像出力制御情報２４を生成する。その生成方法を以下詳細に説明する。
まず、各映像フレームに対する表示時刻情報１３ｂおよび必要ならば符号化映像メディア情報中のパラメータに基づいて映像フレームの表示順序を決定し、その表示順序に従って映像フレーム復号完了時刻を参照していく。図６に示す例では説明を分かり易くするため、このような表示順序に従った並び替えが発生しないケースで図示しているが、並び替えが発生した場合でも復号完了時刻と表示開始時刻の関係は変わらず矢印線で示す対応関係が交差するだけとなる。なお、表示開始時刻はメディア送信装置１が伝達した理想モデルでの表示時刻情報ではなく、実施の形態１で説明したメディア受信装置３で実際に映像信号の出力を開始する時間を意味している。
【００４８】
図６において、符号化メディア映像情報を構成するｎ番目の映像フレームの復号完了時刻をtd[n]、同じくｎ番目の映像フレームの表示開始時刻をtp[n]とすると、復号完了時刻から復号開始時刻までの時間差は、
Δt[n]=tp[n]-td[n]
で表される。
【００４９】
ここで各映像フレームに対する表示開始時刻tp[n]は映像フレーム周期の刻みで増加する時刻となるため、任意の基準点からの相対時間で記述することが可能であり、例えば最初の映像フレームの復号完了時刻td[0]を基準にして映像フレーム周期時間T、オフセット時間αとすると、
tp[n]=td[0]+nT+α
と表現できる。
【００５０】
映像表示開始タイミングは映像フレーム周期の刻みである必要があるため任意のタイミングにはできず、また映像復号完了タイミングよりも映像表示開始タイミングが早くなってしまうと表示すべき映像フレームが存在せず、正しい映像フレームが表示できないこととなる。そのため、必ず当該映像フレームに対する映像復号完了タイミングよりも映像表示開始タイミングが後になるように映像表示開始タイミングが発生するように制御する必要がある。
従って、映像フレームの復号完了時刻から映像フレームの表示開始時刻までの遅延時間を最小にするためには、
min[Δt[n]]＞０        なお、min[ ]はΔt[n]の集合の最小値を意味する。
を満たす必要がある。
【００５１】
予め設定した探索期間、あるいは一般的には符号化映像フレームは約０．５秒周期や１秒周期といった固定時間周期で映像符号化制御を変更して伝送されるので、それを上回る時間で決めた探索期間において、上記条件を満たすときをn＝kとすると、
Δt[N]=tp[k]-td[k]
=(td[0]+kT+α)-td[k]
このとき、遅延時間の最小は０に近いことが理想であるので、
Δt[k]≒0
とすると、オフセット時間αは
(td[0]+kT+α)-td[k]=0
α=(td[k]-td[0])-kT
と算出できる。
【００５２】
従って、各映像フレームの表示開始時間は、
tp[n]=td[0]+nT+α
=(td[0]+nT)+(td[k]-td[0])-kT
=(n-k)×T+td[k]
で決定される。
映像出力タイミング生成部２５では、このようにして映像表示開始タイミングを決定した後、探索期間の最終映像フレームをｍとしたとき、
tp[m]=(m-k)×T+td[k]
で算出された表示開始時刻と、メディア受信装置３ａ内の基準時刻情報９で分配される現在の基準時刻と比較して一致したタイミングから映像表示を開始して、映像フレーム周期Ｔ毎に映像出力タイミング通知２６を生成する。
【００５３】
また、映像復号完了タイミングに依存して映像表示開始タイミングが決定されるため、メディア送信装置１から伝送された符号化映像メディア情報が同一特性を有していれば、映像復号処理、映像表示処理までの遅延時間制御も同一傾向の結果となる。従って、映像復号完了タイミングに対して映像表示開始タイミングが前後してメディア送信装置１とメディア受信装置３間での映像入力から映像出力での遅延時間についても、電源Ｏｎ／Ｏｆｆ、あるいは伝送ケーブルの抜き差しなどの操作毎にブレが発生せず安定した動作が実現できる。
このとき、表示時刻として適用する値として表示時刻情報１３ｂをそのまま適用しても相対的な時間の差異があるだけで、同様の算出方法によって復号完了時刻から映像出力までの経過時間を最短とする映像出力表示タイミングを決定することができる。
【００５４】
以上のように、実施の形態２のメディア受信装置によれば、映像復号時間算出手段は、伝送パケット解析分離手段で抽出した映像フレームに対する表示時刻情報が示す表示時刻と、符号化映像メディア復号手段で映像フレームに対する映像フレーム復号を完了した復号完了時刻とを蓄積する映像復号時刻蓄積部と、映像フレームにおける復号完了時刻から表示時刻までの差分時間を算出し、差分時間の算出を所定期間複数の映像フレームで行い、所定期間内の差分時間に基づいて、復号完了から映像出力までの経過時間を最短とする映像出力タイミングを決定する映像表示時刻判定部とを備えたので、一定期間における復号完了時刻から表示時刻までの差分値の遷移によって伝送パケットを受信してから符号化映像メディア情報の抽出、復号、そして映像出力までにかかる処理遅延時間を一定かつ縮小する映像出力タイミングを決定することができる。
【００５５】
また、実施の形態２のメディア受信装置によれば、符号化映像メディア復号手段は、符号化映像フレーム情報から映像フレーム間隔を抽出して映像フレームに対する表示開始予定時刻を算出すると共に、映像復号時間算出手段は、伝送パケット解析分離手段で抽出した映像フレームに対する表示時刻情報が示す表示時刻と、符号化映像メディア復号手段から通知された映像フレームに対する復号完了時刻とを蓄積する映像復号時刻蓄積部と、映像フレームに対する復号完了時刻から、映像フレームに対する表示開始予定時刻までの差分時間を所定期間複数の映像フレームで行い、所定期間内の差分時間に基づいて、復号完了から映像出力までの経過時間を最短とする映像出力タイミングを決定する映像表示時刻判定部とを備えたので、一定期間における復号完了時刻から表示開始予定時刻までの差分値の遷移によって伝送パケットを受信してから符号化映像メディア情報の抽出、復号、そして映像出力までにかかる処理遅延時間を一定かつ縮小する映像出力タイミングを決定することができる。
【００５６】
実施の形態３．
実施の形態３におけるメディア受信装置３ａの図面上の構成は実施の形態２と同様であるため、図５を用いて説明する。
実施の形態３の映像復号時刻蓄積部２００は、符号化映像メディア解析部１７から通知された映像フレーム先頭検知時刻と、符号化映像メディア復号部２０から通知された復号完了時刻とを蓄積する。また、映像表示時刻判定部２０２は、伝送パケット解析分離部１１で抽出した復号時刻情報１３ａと、映像フレーム先頭検知時刻との差分値を算出して、この差分値が極大となるピークを探索し、ピークの検知位置と検知回数に基づいて決定した期間内で、復号完了時刻から映像出力までの経過時間を最短とする映像出力タイミングを決定するよう構成されている。その他の構成は実施の形態２と同様である。
【００５７】
図７は、この発明の実施の形態３によるメディア受信装置３ａでの映像フレーム後の映像フレーム先頭検知時刻から映像復号完了時刻までの経過時間の遷移の一例を示す図であり、この図を用いて実施の形態３の動作について説明する。
メディア受信装置３ａでの基本的な動作は実施の形態２と同様であり、相違点となる映像表示時刻蓄積部２００における動作を説明する。
先に述べたような映像符号化方式では、映像符号化効率の向上と映像復号異常からの早期復帰を両立させるため、一定の周期で画面内符号化方式による符号化映像フレーム、つまり当該映像フレームに対する符号化映像メディア情報だけで映像復号処理して映像フレームを復元できるようにし、他の映像フレームでは画面間符号化方式による符号化映像フレーム、つまり隣接する映像フレーム間は類似性が高いことを利用してその差分だけを符号化して情報量を縮減する代わりに複数の符号化映像メディア情報を用いた映像復号処理をして初めて映像フレームを復元できるようにしている。
【００５８】
その結果、画面内符号化方式による符号化映像フレームは比較的データ量が多く、その伝送時間も長くなるため、当該映像フレームの伝送パケット受信から映像復号完了までに多くの時間を必要とする傾向がある。逆に、画面間符号化方式では比較的データ量が少なく済み、その伝送時間も短くなるため、当該映像フレームの伝送パケット受信から映像復号完了までが少ない時間で済む傾向がある。
【００５９】
このような特性の異なる符号化方式を一定の周期で組み合わせて映像符号化処理がなされているため、図７で示すように映像フレームに対する映像フレーム先頭検知から復号完了までの経過時間にはその一定周期に応じた粗密が発生することになる。そこで、当該符号化映像フレームに対する映像フレーム先頭検知時刻と復号完了時刻との差分値の遷移を統計処理して平均的な範囲を算出して、その遷移が平均的な範囲を超えて差分値が大きくなるピークを検知して、その検知回数で決定する。周期性が一巡以上する必要があるため最低２回の検知、探索期間が長い方が映像表示時刻判定部２０２での判定精度が向上するため、判定までの時間が問題にならない範囲でより多くの検知回数を設定することが望ましい。
【００６０】
映像復号時刻蓄積部２００は、このようにして決定した探索期間に対する蓄積映像時刻情報２０１を生成して映像表示時刻判定部２０２へ通知する。映像表示時刻判定部２０２では通知された映像時刻情報２０１内の時刻情報から、映像フレームの復号完了時刻から映像フレームの表示開始時刻までの遅延時間を探索して、その遅延時間を最小とする制御を実施する映像出力タイミングを決定して映像出力制御情報２４を生成する。これにより伝送パケット２から抽出した符号化メディア情報から自動的に映像出力タイミングを生成するための探索期間を決定することができるようになる。
【００６１】
以上のように、実施の形態３のメディア受信装置によれば、映像復号時刻蓄積部は、符号化映像メディア解析手段から通知された映像フレーム先頭検知時刻と、符号化映像メディア復号手段から通知された復号完了時刻とを蓄積し、映像表示時刻判定部は、伝送パケット解析分離手段で抽出した復号時刻情報と、映像フレーム先頭検知時刻との差分値を算出して、差分値が極大となるピークを探索し、ピークの検知位置と検知回数に基づいて決定した期間内で、復号完了時刻から映像出力までの経過時間を最短とする映像出力タイミングを決定するようにしたので、伝送パケット受信から映像復号、映像表示までの時間を短縮して映像表示遅延時間を少なくし、かつ同一特性の符号化映像メディア情報の受信に対して映像表示タイミングを同一にした映像表示を実施するメディア受信装置を実現することができる。
【００６２】
実施の形態４．
実施の形態４におけるメディア受信装置３（３ａ）の図面上の構成は実施の形態１または実施の形態２と同様であるため、実施の形態２の図５を用いて説明する。
実施の形態３の符号化映像メディア復号部２０は、映像復号処理において、符号化映像フレームが画面内符号化方式で構築されているか否かを検知する。また、映像復号時刻蓄積部２００および映像表示時刻判定部２０２では、符号化映像メディア復号部２０において、符号化映像フレームが画面内符号化方式で構築されていることを検知した場合、その検知位置と検知回数に基づいて決定した期間内で、復号完了時刻から映像出力までの経過時間を最短とする映像出力タイミングを決定するよう構成されている。その他の構成は実施の形態１または実施の形態２と同様である。
【００６３】
図８は、この発明の実施の形態４によるメディア受信装置３での映像フレーム毎の画面符号化方式の遷移の一例を示す図である。
実施の形態４の動作について説明する。メディア受信装置３での基本的な動作は実施の形態１または実施の形態２と同様であり、相違点となる動作を説明する。
復号化映像メディア復号部２０において符号化映像フレーム情報１９の映像復号処理を実施する際に、その過程で当該映像フレームの符号化方法が先に述べた画面内符号化方式によるものか画面間符号化方式によるものかを識別してそれぞれの方式に応じた処理を実施する。例えば、図８のようにＩピクチャと呼ばれる当該映像フレームだけの情報で符号化処理がなされる画像内符号化方式、Ｐピクチャと呼ばれる過去の映像フレームとの差分情報を用いて符号化処理がなされる片方向予測による画像間符号化方式、Ｂピクチャと呼ばれる過去の映像フレームと未来の映像フレームの両方に対する差分情報を用いて符号化処理がなされる双方向予測による画像間符号化方式を組み合わせて映像符号化処理が実施される。当該映像フレームの情報を直接符号化するよりも差分情報を符号化する方がデータ量を少なくできる一方で、差分を算出する対象となった映像フレームが必要となって伝送エラーなどの復号異常が発生時には正常に復号処理ができなくなる場合も発生する弊害もある。そこで、一定の周期でＩピクチャが存在するように符号化処理がなされる。このような画面内符号化方式か画面間符号化方式かの符号化方式種別を含めて映像フレーム復号完了通知２１を通知する。
【００６４】
映像復号時刻蓄積部２００では各種時刻情報と共に当該映像フレームの符号化方式種別を含めて保持しておき、画面内符号化方式による符号化映像フレームの検知回数で探索時間を決定する。周期性が一巡以上する必要があるため最低２回の検知、探索期間が長い方が映像表示時刻判定部２０２での判定精度が向上するため、判定までの時間が問題にならない範囲でより多くの検知回数を設定することが望ましい。
【００６５】
映像復号時刻蓄積部２００では、このようにして決定した探索期間に対する蓄積映像時刻情報２０１を生成して映像表示時刻判定部２０２へ通知する。映像表示時刻判定部２０２では通知された映像時刻情報２０１内の時刻情報から、映像フレームの復号完了時刻から映像フレームの表示開始時刻までの遅延時間を探索して、その遅延時間を最小とする制御を実施する映像出力タイミングを決定して映像出力制御情報２４を生成する。これにより伝送パケット２から抽出した符号化メディア情報から自動的に映像出力タイミングを生成するための探索期間を決定することができるようになる。
【００６６】
以上のように、実施の形態４のメディア受信装置によれば、符号化映像メディア復号手段での映像復号処理において、符号化映像フレームが画面内符号化方式で構築されていることを検知した場合、映像復号時間算出手段は、その検知位置と検知回数に基づいて決定した期間内で、復号完了時刻から映像出力までの経過時間を最短とする映像出力タイミングを決定するようにしたので、伝送パケット受信から映像復号、映像表示までの時間を短縮して映像表示遅延時間を少なくし、かつ同一特性の符号化映像メディア情報の受信に対して映像表示タイミングを同一にした映像表示を実施するメディア受信装置を実現することができる。
【００６７】
実施の形態５．
実施の形態５における図面上の構成は実施の形態１または実施の形態２と同様であるため、実施の形態１の図１を用いて説明する。
図９は、この発明の実施の形態５で扱う伝送パケット２において制御情報を含むパケット構造の説明図である。
図９は、メディア送信装置１から送信される伝送パケット２中に制御情報を格納して伝送する場合の一例としてMPEG-2 Systems規格で定義するＴＳパケット構造における映像、音声などのメディア情報に関する制御情報であるProgram_Map_Table（ＰＭＴ）に関して実施の形態５の説明に必要なパラメータをビット配置で示したものである。各パラメータの意味は実施の形態５の特徴点に直接関係しないため詳細な説明は省略するが、図９中において太枠線で囲んだ領域が映像、音声などのメディア情報に対する個別の定義を格納する領域であり、メディア情報の種別数分だけ本領域が列挙されて存在している。
【００６８】
メディア種別はstream_typeによって指定されて、そのメディアが格納される伝送パケットを識別するためのＩＤがメディア_PIDによって指定されて、そのメディアに対する付加情報はES_Info領域に格納される。ES_info領域にはディスクリプタ形式と呼ばれる識別子、情報長、そして情報データ列からなる構造で繰り返し各種情報を埋め込むことが可能である。このES_info領域に、伝送パケットに格納する符号化映像メディア情報の最大経過時間情報を埋め込んで制御情報パケットを生成する。
【００６９】
伝送パケット解析分析部１１において、伝送パケット７を解析する際に上記制御情報であるＰＭＴを検出し、ＰＭＴ中にあるES_info領域から符号化映像メディア情報に対する映像付加情報を取り出す。そして、表示時刻情報１３ｂを通知する際に符号化映像メディア付加情報を含めて映像復号時間算出部２３へ通知しても良いし、映像付加情報を検出したときに別途通知して良い。
【００７０】
映像復号時間算出部２３では、符号化映像メディア付加情報が通知されたタイミングに該当する符号化映像フレームが、通知された最大経過時間に対応する映像フレームと特定し、その最大経過時間情報に基づいて、復号完了時刻から映像出力までの経過時間を最短とする映像出力タイミングを決定して映像出力制御情報２４を生成する。
【００７１】
以上のように、実施の形態５のメディア受信装置によれば、伝送パケット解析分離手段は、メディア送信装置から出力される伝送パケットの制御情報パケットに、映像フレームの復号開始から復号完了までにかかる最大経過時間情報が含まれている場合、制御情報パケットを解析して最大経過時間情報を抽出し、映像復号時間算出手段は、伝送パケット解析分離手段における抽出タイミングに基づいて最大経過時間情報に該当する映像フレームを特定し、符号化映像メディア解析手段で映像フレーム先頭を検知した時点での基準時刻が示す映像フレーム先頭検知時刻と制御情報パケットで通知された最大経過時間情報によって映像出力タイミングを決定するようにしたので、伝送パケット受信から映像復号、映像表示までの時間を短縮して映像表示遅延時間を少なくし、かつ同一特性の符号化映像メディア情報の受信に対して映像表示タイミングを同一にした映像表示を実施するメディア受信装置を実現することができる。
【００７２】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【符号の説明】
【００７３】
１  メディア送信装置、２  伝送パケット、３，３ａ  メディア受信装置、４  映像表示装置、５  伝送パケット受信部、６  伝送パケット到着通知、７  伝送パケット、８  基準時刻生成部、９  基準時刻情報、１０  基準時刻周波数信号、１１  伝送パケット解析分離部、１２  時刻再生情報、１３  映像時刻情報、１４  符号化映像メディア情報、１５  基準時刻再生部、１６  基準時刻情報、１７  符号化映像メディア解析部、１８  映像フレーム先頭検知通知、１９  符号化映像フレーム情報、２０  符号化映像メディア復号部、２１  映像フレーム復号完了通知、２２  映像信号、２３  映像復号時間算出部、２４  映像出力制御情報、２５  映像出力タイミング生成部、２６  映像出力タイミング通知、２７  映像信号後処理部、２８  映像出力信号、２００  映像復号時刻蓄積部、２０１  蓄積映像時刻情報、２０２  映像表示時刻判定部。
【図１】
2012109655.tif 000003
【図２】
2012109655.tif 000004
【図３】
2012109655.tif 000005
【図４】
2012109655.tif 000006
【図５】
2012109655.tif 000007
【図６】
2012109655.tif 000008
【図７】
2012109655.tif 000009
【図８】
2012109655.tif 000010
【図９】
2012109655.tif 000011