(57)【要約】【課題】システムクロックと映像信号クロック間で基準となる周波数が異なる場合でも、ピクチャの欠落及び重複表示を防止できる動画像復号装置を提供する。【解決手段】動画像復号装置は、符号化ストリーム内のピクチャグループに含まれる各ピクチャの第１の垂直同期信号の発生時刻を、連続するピクチャの表示時刻間の間隔が整数倍とならない第１の周期を単位として算出する垂直同期信号発生時刻算出部（１６）と、第１の周期に同期させた第１の発振器の発振周期に基づいて対応する発生時刻に各ピクチャの第１の垂直同期信号を生成するシステムクロック部（１７）と、第１の垂直同期信号の入力間隔と、第２の周期の整数倍で表される連続するピクチャの表示時刻間の間隔とが一致するように同期された第２の発振器からの発振周期に基づいて、各ピクチャの第２の垂直同期信号及び水平同期信号を生成する同期信号生成部（１８）とを有する。【選択図】図１
2017005611.tif 000002
【特許請求の範囲】
【請求項１】
符号化ストリームに含まれるピクチャグループごとに、当該ピクチャグループに含まれる複数のピクチャのそれぞれの符号化データから対応するピクチャを復号する復号部と、
前記符号化ストリームに含まれる、前記ピクチャグループに含まれるピクチャの枚数を表す枚数情報と、前記ピクチャグループの先頭のピクチャの表示時刻を表す表示時刻情報とに基づいて、前記ピクチャグループに含まれる前記複数のピクチャのそれぞれについての第１の垂直同期信号の発生時刻を、前記複数のピクチャのうちの連続するピクチャの表示時刻間の間隔が整数倍とならない第１の周期を単位として算出する垂直同期信号発生時刻算出部と、
発振周期が可変な第１の発振器を有し、前記符号化ストリームに含まれる、前記第１の周期を持つ第１のクロックに基づく時刻を表す時刻同期情報に基づいて前記第１の発振器の発振周期を前記第１の周期に同期させて、前記複数のピクチャのそれぞれごとに、同期させた前記発振周期に基づいて対応する前記発生時刻に前記第１の垂直同期信号を生成するシステムクロック部と、
発振周期が可変な第２の発振器を有し、前記第１の垂直同期信号の入力間隔と、第２の周期の整数倍で表される前記複数のピクチャのうちの連続するピクチャの表示時刻間の間隔とが一致するように前記第２の発振器の発振周期を同期させ、当該同期された前記第２の発振器からの発振周期に基づいて、前記複数のピクチャのそれぞれの第２の垂直同期信号及び水平同期信号を生成する同期信号生成部と、
復号された複数のピクチャを保存し、前記第２の垂直同期信号及び前記水平同期信号に応じて、前記復号された複数のピクチャのうちの対応するピクチャを出力するバッファと、
を有する動画像復号装置。
【請求項２】
前記垂直同期信号発生時刻算出部は、前記ピクチャグループに含まれる前記複数のピクチャのうちの連続する二つのピクチャの前記第１の垂直同期信号の発生時刻間の間隔の差が最大で前記第１の周期以下となるように、前記複数のピクチャのそれぞれの前記第１の垂直同期信号の発生時刻を算出する、請求項１に記載の動画像復号装置。
【請求項３】
符号化ストリームに含まれるピクチャグループごとに、当該ピクチャグループに含まれる複数のピクチャのそれぞれの符号化データから対応するピクチャを復号し、
前記符号化ストリームに含まれる、前記ピクチャグループに含まれるピクチャの枚数を表す枚数情報と、前記ピクチャグループの先頭のピクチャの表示時刻を表す表示時刻情報とに基づいて、前記ピクチャグループに含まれる前記複数のピクチャのそれぞれについての第１の垂直同期信号の発生時刻を、前記複数のピクチャのうちの連続するピクチャの表示時刻間の間隔が整数倍とならない第１の周期を単位として算出し、
前記符号化ストリームに含まれる、前記第１の周期を持つ第１のクロックに基づく時刻を表す時刻同期情報に基づいて発振周期が可変な第１の発振器の発振周期を前記第１の周期に同期させて、前記複数のピクチャのそれぞれごとに、同期させた前記発振周期に基づいて対応する前記発生時刻に前記第１の垂直同期信号を生成し、
前記第１の垂直同期信号の入力間隔と、第２の周期の整数倍で表される前記複数のピクチャのうちの連続するピクチャの表示時刻間の間隔とが一致するように発振周期が可変な第２の発振器の発振周期を同期させ、当該同期された前記第２の発振器からの発振周期に基づいて、前記複数のピクチャのそれぞれの第２の垂直同期信号及び水平同期信号を生成し、
前記第２の垂直同期信号及び前記水平同期信号に応じて、復号された複数のピクチャのうちの対応するピクチャを出力する、
ことを含む動画像復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、符号化された動画像データを復号する動画像復号装置及び動画像復号方法に関する。
【背景技術】
【０００２】
動画像、オーディオ、またはテキストといった複数のメディアを多重化する規格として、International Standardization Organization/International Electrotechnical Commission(ISO/IEC)が策定した(Moving Picture Experts Group phase 2(MPEG-2) Systems (ISO/IEC 13818-1)（例えば、非特許文献１を参照）、及び、MPEG Media Transport(MMT, ISO/IEC 23008-1)（例えば、非特許文献２を参照）が知られている。デジタルテレビ放送では、一般的に、非特許文献１に開示されたMPEG-2 Systems規格のTransport Stream(TS)形式（以下、MPEG-2 TSと呼ぶ）が広く採用されている。また、次世代のデジタルテレビジョン放送では、MMTも採用される予定である（例えば、非特許文献３を参照）。
【０００３】
メディア多重化で重要な機能の一つは、受信側の動画像復号装置での各メディアの同期再生である。一般には、各メディアは圧縮符号化され、その符号化の結果得られたビットストリームが多重化される。その際、動画像データに含まれるピクチャごとに、あるいは、オーディオデータに含まれるオーディオフレームごとに圧縮率は変動する。このため、多重化ビットストリームに含まれる連続する複数のピクチャの符号化データの動画像復号装置での到達時刻間隔、及び連続する複数のオーディオフレームの符号化データの動画像復号装置での到達時刻間隔は、圧縮率に応じて変動する。このような状況においても、動画像データの再生時刻とオーディオデータの再生時刻を正しく同期させるために、再生時刻の基準となるシステムクロックが設定される。そして、各ピクチャの符号化データ及び各オーディオフレームの符号化データに、システムクロックを基準とした再生時刻が付加される（例えば、特許文献１を参照）。
【０００４】
システムクロックは、送信側の動画像符号化装置と受信側の動画像復号装置とでそれぞれ用意される。そして動画像符号化装置のシステムクロックと動画像復号装置のシステムクロックとは、高精度に同期することが求められる。動画像符号化装置のシステムクロックの周波数と動画像復号装置のシステムクロックの周波数間にずれがあると、単位時間当たりの入力ピクチャ（フレーム）数及び表示ピクチャ（フレーム）数が異なってしまう。そのため、動画像復号装置において復号すべきタイミングまでにピクチャの符号化データまたはオーディオフレームの符号化データが到達しない。または、動画像復号装置のバッファに復号待ちのピクチャの符号化データまたはオーディオフレームの符号化データが大量に蓄積され、そのバッファのオーバーフローが生じる。この結果、再生される動画像データまたはオーディオデータに途切れまたは重複が発生することになる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特表２００５−５０５２１１号公報
【非特許文献】
【０００６】
【非特許文献１】ISO/IEC 13818-2:2013, "Information technology - Generic coding of moving pictures and associated audio information: Systems", 2013年
【非特許文献２】ISO/IEC 23008-1:2014, “Information technology -- High efficiency coding and media delivery in heterogeneous environments -- Part 1: MPEG media transport (MMT)”, 2014年
【非特許文献３】ARIB STD-B60, 「デジタル放送におけるMMTによるメディアトランスポート方式」, 2014年
【発明の概要】
【発明が解決しようとする課題】
【０００７】
動画像復号装置での表示ピクチャなどの欠落及び重複を生じることは好ましくない。そのために、動画像符号化装置に入力されるピクチャなどについての表示周期を規定するクロックに対して、動画像復号装置が持つシステムクロック及び送信側の動画像符号化装置が持つシステムクロックのそれぞれが完全に同期していることが求められる。なお、ピクチャの表示周期、すなわち、連続するピクチャ間の再生時間間隔（以下では、1フレーム時間と呼ぶ）の逆数であるフレームレートを規定するクロックを、以下では、映像信号クロックと呼ぶ。
【０００８】
MPEG-2 TSは、上記に述べた問題を回避するため、動画像符号化装置に入力される動画像データの映像信号クロックの周波数にシステムクロックの周波数を同期させ、システムクロックのカウンタ値を定期的に動画像復号装置に送信する仕組みを導入している。これにより、単に動画像符号化装置のシステムクロックと動画像復号装置のシステムクロックとが同期するだけでなく、動画像復号装置が出力する、復号された動画像データのフレームレートが動画像符号化装置に入力される動画像データのフレームレートに同期する。そのため、時間当たりの入力及び表示されるピクチャの数は、動画像符号化装置と動画像復号装置とで完全に一致する。したがって、符号化動画像データが長時間にわたって伝送された後でも、動画像符号化装置に入力される動画像データの全ピクチャが、動画像復号装置にて欠落したり重複することなく表示可能となる。
【０００９】
動画像符号化装置は、例えば、動画像符号化装置のシステムクロックの周波数を、位相同期回路(Phase Locked Loop, PLL)を用いて、入力される動画像データの映像信号クロックの周波数に同期させる。動画像復号装置は、動画像復号装置のシステムクロック周波数及びクロックカウンタ値を、MPEG-2 TS規格のProgram Clock Reference(PCR)パケットを用いて、動画像符号化装置のシステムクロックの周波数及びクロックカウンタ値に同期させる。そして再生される動画像データの各ピクチャの表示タイミングは、動画像復号装置のシステムクロックに応じて決定される。
【００１０】
なお、フレームレートは、日本または米国では、30,000/1,001 = 29.97Hz（インターレス方式の場合）もしくは60,000/1,001 = 59.94Hz（プログレッシブ方式の場合）となる。MPEG-2のシステムクロック周波数は、フレームレートを正確に表現するため、27MHzと規定される。インターレス方式における1フレーム時間(1/29.97秒)は、27MHzクロックで450,450クロックとなる。このように、1フレーム時間は、システムクロックの周期の整数倍となる。
【００１１】
なお、動画像符号化装置に入力される動画像データについてのフレームレートは、厳密には27MHzの整数分の一とはならず、規定された範囲内での変動が許されている。テレビジョン放送の場合、各放送局は、統一された映像信号クロックを分配しており、放送局内の全機器は同期される。しかし、映像信号クロックは放送局によって異なった誤差を含む。このため、PCRパケットは各プログラムで共通とはならず、プログラムごとに付加される。
【００１２】
一方、MMTは、MPEG-2 TSと異なり、送信側の装置のシステムクロックと受信側の装置のシステムクロックとを同期させる仕組みを定義しておらず、各アプリケーションでの規定に任せている。非特許文献３に示される、MMTを採用した日本のデジタルTV放送向け多重化規格（ARIB STD-B60）は、世界協定時(Coordinated Universal Time,UTC）に基づくシステムクロック同期方式を採用している。
【００１３】
この同期方式では、送信側の動画像符号化装置と受信側の動画像符号化装置とが、それぞれ、UTCに同期したシステムクロックを持つ。送信側の装置は、例えば、Network Time Protocol(NTP, RFC 5905)、または、Precision Time Protocol(PTP, IEEE 1588)といった時刻同期プロトコルを用いて、システムクロックを時刻サーバに同期させる。そして送信側の装置は、送信側の装置のシステムクロック値（UTC時刻）を、NTPのパケット形式で定期的に受信側の装置へ送信する（以下では、システムクロック値を含むNTPパケット形式のデータをNTPパケットと呼ぶ）。受信側の装置は、位相同期回路(Phase Locked Loop, PLL)を用いて、受け取ったUTC時刻に、受信側の装置のシステムクロックを同期させる。これにより、送信側の装置のシステムクロックと受信側の装置のシステムクロックとが同期される。そのため、理論的には、あらゆる送信側の装置のシステムクロック及び受信側の装置のシステムクロックがUTCに基づいて同期することになる。
【００１４】
しかしながら、UTCに同期するシステムクロックは、映像信号クロックに対して完全に同期できないことがある。
【００１５】
この理由は、UTCによる時刻が、1秒以上が32ビット、かつ、1秒未満が32ビットの精度で表現されるのに対して、映像信号クロックの周波数は27MHzが基準となり、UTCで表現可能な時刻では、27MHz単位の時刻を正確に表現できないことによる。
【００１６】
より詳しく説明すると、UTCに同期するシステムクロックの周波数は、2のべき乗、例えば224 = 16,777,216Hzとなる。一方、映像信号クロックは、27MHz単位で表される。動画像データにおけるフレームレートが60,000/1,001=59.94Hzの場合、1フレーム時間（1,001/60,000=0.1668333秒）は、27MHzの映像信号クロックの450,450サイクルとして表現される。一方、UTCに同期するシステムクロックでは、例えば、周波数が224Hzである場合、1フレーム時間は279,899.8869333サイクルとなり、サイクル数が非整数となる。しかし、UTCに同期するシステムクロックに基づいて表現可能な時間は、サイクル数が整数となる時間に限られる。そのため、上記の1フレーム時間に相当するサイクル数を整数に丸めると、279,899サイクルとなり、これは、0.1668328秒に相当する。そのため、約31.5万フレーム（87分）に1回、1フレーム時間分の誤差が発生する。この誤差は、システムクロックの周波数を決めるべき乗の数Nによって変化する。Nが小さいほど、誤差が大きくなる。
【００１７】
また、送信側の動画像符号化装置、例えば、放送局における動画像符号化装置に入力される動画像データについての映像信号クロックは、厳密に27MHzではなく、放送局に応じた誤差を含むことがある。すなわち、1フレーム時間は、279,899.8869333サイクルに対してさらに誤差が付加された値となる。例えば、動画像符号化装置での映像信号クロックが27,000.200Hzの場合、誤差は約2サイクルとなる。このように、UTCベースのシステムクロックを用いると、映像信号クロックを正確に表現できないことがある。
【００１８】
上記の規格において、動画像データの同期復号モデルは、映像信号クロックに基づいており、各符号化ピクチャの動画像復号装置への到着時刻、復号及び表示時刻が厳密に規定されている。すなわち、動画像復号装置が動画像符号化装置と同じ映像信号クロックを持つと仮定して、動画像符号化装置は、動画像復号装置への各符号ピクチャの到着時刻、復号及び表示時刻を考慮して、符号化レートを制御する。そのため、もし、動画像復号装置の映像信号クロックが動画像符号化装置の映像信号クロックと異なっていると、動画像復号装置における各ピクチャの復号時刻及び表示時刻が、動画像符号化装置が意図した復号時刻及び表示時刻からずれてしまう。このずれは、動作時間に比例して大きくなる。その結果、動画像復号装置が長時間動作した後に、ピクチャの符号化データがずれた復号時刻までにその装置に到達しないことによる、ピクチャの重複（直前に表示したピクチャをリピートする）が生じる。あるいは、復号時刻が本来の復号時刻よりも遅れることによる、動画像復号装置のバッファがオーバーフローすることによる、ピクチャの欠落が発生する。
【００１９】
動画像復号装置が用いる映像信号クロックと、UTCに基づくシステムクロックとの関係が一定であれば、動画像復号装置は、スケーリング処理により、ピクチャの復号時刻及び表示時刻のずれを補償することが可能である。しかし、上述のように、映像信号クロックは放送局によって異なる誤差を含むため、このようなアプローチは適用できない。
【００２０】
一つの側面では、本発明は、システムクロックと映像信号クロック間で基準となる周波数が異なる場合でも、ピクチャの欠落及び重複表示を防止できる動画像復号装置を提供することを目的とする。
【課題を解決するための手段】
【００２１】
一つの実施形態によれば、動画像復号装置が提供される。この動画像復号装置は、符号化ストリームに含まれるピクチャグループごとに、そのピクチャグループに含まれる複数のピクチャのそれぞれの符号化データから対応するピクチャを復号する復号部と、符号化ストリームに含まれる、ピクチャグループに含まれるピクチャの枚数を表す枚数情報と、ピクチャグループの先頭のピクチャの表示時刻を表す表示時刻情報とに基づいて、ピクチャグループに含まれる複数のピクチャのそれぞれについての第１の垂直同期信号の発生時刻を、複数のピクチャのうちの連続するピクチャの表示時刻間の間隔が整数倍とならない第１の周期を単位として算出する垂直同期信号発生時刻算出部と、発振周期が可変な第１の発振器を有し、符号化ストリームに含まれる、第１の周期を持つ第１のクロックに基づく時刻を表す時刻同期情報に基づいて第１の発振器の発振周期を第１の周期に同期させて、複数のピクチャのそれぞれごとに、同期させた発振周期に基づいて対応する発生時刻に第１の垂直同期信号を生成するシステムクロック部と、発振周期が可変な第２の発振器を有し、第１の垂直同期信号の入力間隔と、第２の周期の整数倍で表される複数のピクチャのうちの連続するピクチャの表示時刻間の間隔とが一致するように第２の発振器の発振周期を同期させ、同期された第２の発振器からの発振周期に基づいて、複数のピクチャのそれぞれの第２の垂直同期信号及び水平同期信号を生成する同期信号生成部と、復号された複数のピクチャを保存し、第２の垂直同期信号及び水平同期信号に応じて、復号された複数のピクチャのうちの対応するピクチャを出力するバッファとを有する。
【発明の効果】
【００２２】
システムクロックと映像信号クロック間で基準となる周波数が異なる場合でも、ピクチャの欠落及び重複表示を防止できる。
【図面の簡単な説明】
【００２３】
【図１】一つの実施形態による、動画像復号装置の概略構成図である。
【図２】MMTストリームの構造の模式図である。
【図３】システムクロック部の概略構成図である。
【図４】映像同期信号生成部の概略構成図である。
【図５】動画像復号処理の動作フローチャートである。
【発明を実施するための形態】
【００２４】
以下、図を参照しつつ、動画像復号装置について説明する。MMT規格では、複数のAccess Unit(AU)を包含した単位であるMedia Processing Unit(MPU)ごとに付されるMPUヘッダに、MPUの表示時刻がUTC時刻基準で記述される。なお、動画像データにおけるMPUは、例えば、各ピクチャの符号化モード及び符号化順序が規定されるピクチャのグループであるGroup Of Pictures(GOP)である。すなわち、各MPUヘッダにおいて、そのMPUヘッダに対応するGOP内の先頭ピクチャの表示時刻がUTC時刻基準で記述される。
【００２５】
MPUヘッダに記述された、GOP内の先頭ピクチャの表示時刻ptsと、そのピクチャの垂直同期信号の発生タイミング時刻との誤差は、±Δ以内となる。ここでΔはシステムクロックの周波数の逆数である。このことから、時刻ptsに発生させた信号は周波数がF/Mで、ジッタがΔの安定した信号になる。なお、Fはフレームレート、MはGOP内のピクチャ数である。
【００２６】
そこで、この動画像復号装置は、UTCに同期する2NHzで表現されるシステムクロックに加え、27MHzで表現されるクロックを有する。そしてこの動画像復号装置は、UTC基準で決定される各ピクチャの垂直同期信号の入力間隔と、27MHzで表現されるクロックによる1フレーム時間とが一致するよう、そのクロックを同期させる。これにより、この動画像復号装置は、復号対象となる符号化動画像データの各ピクチャを、27MHzで表現されるクロックで規定されたフレームレートで再生することを可能にする。
なお、本明細書において、動画像データに含まれるピクチャは、プログレッシブ方式によるフレーム、あるいは、インターレス方式によるフィールドの何れであってもよい。
【００２７】
図１は、一つの実施形態による、動画像復号装置の概略構成図である。動画像復号装置１は、パケットフィルタ部１１と、PAメッセージ解析部１２と、復号部１３と、NTP解析部１４と、MPU解析部１５と、垂直同期信号発生時刻算出部１６と、システムクロック部１７と、映像同期信号生成部１８と、バッファ１９とを有する。
動画像復号装置１が有するこれらの各部は、それぞれ、別個の回路として動画像復号装置１に実装される。あるいは、動画像復号装置１が有するこれらの各部は、その各部の機能を実現する回路が集積された一つまたは複数の集積回路として動画像復号装置１に実装されてもよい。
【００２８】
パケットフィルタ部１１は、UTC基準のシステムクロックを持つ動画像符号化装置（図示せず）から受信した、MMT規格に準拠して符号化及び多重化された、複数のメディアのそれぞれの符号化データを含むビットストリームを、MMT規格に従って解析する。そしてパケットフィルタ部１１は、そのビットストリームから、各種のメッセージ及びパケットなどを取り出す。なお、以下では、MMT規格に準拠して多重化された、複数のメディアのそれぞれの符号化データを含むビットストリームを、MMTストリームと呼ぶ。
【００２９】
図２は、MMTストリームの構造を模式的に示す図である。MMTストリーム２００は、例えば、動画像符号化装置により生成され、複数個のMMTパケット２０１を含む。MMTパケット２０１は、メディアの符号化データを格納するMPUパケット２０２または各種制御データを格納するメッセージパケット２０３の何れかに分類される。MPUパケット２０２は、MPUヘッダ２０２１と、複数のMedia  Fragment Unit(MFU)２０２２とを含む。MPUの表示時刻は、MPUヘッダ２０２１内で記述される。一方、メッセージパケット２０３の種類には、NTPパケット、Package Access(PA)メッセージ、MPUタイムスタンプ記述子等がある。
【００３０】
本実施形態では、パケットフィルタ部１１は、MMTストリームから、PAメッセージ、NTPパケット、MPUパケット、MPUタイムスタンプ記述子を取り出す。そしてパケットフィルタ部１１は、PAメッセージをPAメッセージ解析部１２にわたし、NTPパケットを、NTP解析部１４へわたす。また、パケットフィルタ部１１は、PAメッセージ解析部１２により特定されたIDに対応するMPUパケットのうち、MPUヘッダをMPU解析部１５へわたし、MPUヘッダ以外の情報を復号部１３へわたす。さらに、パケットフィルタ部１１は、MPUタイムスタンプ記述子をMPU解析部１５へわたす。なお、パケットフィルタ部１１は、動画像データ以外のメディアの符号化データが含まれるパケットを、そのメディアの符号化データを復号するメディア復号部（図示せず）へわたしてもよい。そしてメディア復号部は、システムクロックに基づいて決定される復号時刻に基づいてそのメディアを復号してもよい。
【００３１】
PAメッセージ解析部１２は、MPEG-2 TSにおけるProgram Map Table(PMT)に該当する、PAメッセージを解析して、符号化された動画像データの復号に必要なMPUパケットのパケットIDを特定する。そして、パケットフィルタ部１１に通知する。なお、PAメッセージは、ARIB STD-B60にて規定される。
【００３２】
復号部１３は、MPUに含まれる各ピクチャの符号化データから、符号化動画像データが準拠する符号化基準に従って各ピクチャを復号する。そして復号部１３は、復号されたピクチャが得られる度に、そのピクチャを、ピクチャグループ内でのピクチャの表示順序とともにバッファ１９に保存する。また、復号部１３は、例えば、各ピクチャの復号順序またはMMTストリームに記述される復号時刻と、映像同期信号生成部１８から出力される何れかのピクチャの垂直同期信号との時間関係に基づいて、各ピクチャの復号開始のタイミングを決定すればよい。
【００３３】
NTP解析部１４は、NTPパケットに含まれる、UTC時刻基準で表される、システムクロックによる特定の時刻を表すNTP値を取り出し、そのNTP値をシステムクロック部１７に通知する。
【００３４】
MPU解析部１５は、MPUヘッダ及びMPUタイムスタンプ記述子を解析して、MPU、すなわちGOP内の先頭表示ピクチャのUTC時刻基準で表される表示時刻、及びMPU内のピクチャ数を垂直同期信号発生時刻算出部１６に通知する。例えば、MPU解析部１５は、MPUヘッダに含まれる、動画像データのフレームレートFを取得する。フレームレートFは（送信側の動画像符号化装置では実質的に取得が困難な、実際の動画像データの入力周波数ではなく）、動画像データが厳密に27MHzの周波数に同期した場合の値、すなわち、27MHzの周波数の映像信号クロックで表される値である。フレームレートFは、例えば、29.97Hzもしくは59.94Hzといった値となる。
【００３５】
また、MPU解析部１５は、MPUタイムスタンプ記述子に記述された、MPU内で最初に表示されるピクチャの表示時刻ptsと、MPUヘッダに記述された、MPU内のピクチャ数（すなわち、GOPに含まれるピクチャ数）Mを取得する。
MPU解析部１５は、pts及びMを、垂直同期信号発生時刻算出部１６に通知する。
【００３６】
垂直同期信号発生時刻算出部１６は、MPU内の各ピクチャの表示タイミングを規定する垂直同期信号の発生時刻tlist[i]を算出し、その発生時刻tlist[i]をシステムクロック部１７へ通知する。
【００３７】
本実施形態では、垂直同期信号の発生時刻tlist[i]の単位は、UTCに準拠した、2NHzクロックである（ただし、Nは1以上の整数、例えば、24）。上記のように、2NHzの周波数を持つクロックは、27MHzの周波数を持つ映像信号クロックの整数倍（もしくは整数分の一）の形で表現できない。そのため、一つのMPUの時間（M枚のピクチャの時間、2NHzクロック単位）をMで割った値は、整数とはならない。このため、表示順序で連続する二つのピクチャの表示時間の間隔、すなわち1フレーム時間(tlist[i+1]-tlist[i])は、一定とならず、ピクチャごとに変動する。この変動を最小限にし、映像同期信号生成部１８を安定的に動作させるため、垂直同期信号発生時刻算出部１６は、(tlist[i+1]-tlist[i])の変動絶対値を、1クロック以下、すなわち、システムクロックの1周期以下にすることが好ましい。
【００３８】
復号対象MPUのpts、及び、復号対象MPUの直前に伝送されたMPUのptsをそれぞれ、ptsNow, ptsPrevとする。両方のMPUに含まれるピクチャ数はMとする。この場合、垂直同期信号発生時刻算出部１６は、tlist[i]を以下のように算出する。
【００３９】
垂直同期信号発生時刻算出部１６は、先ず、tlist[0]をptsNowに設定する。そして垂直同期信号発生時刻算出部１６は、tGOP、tFrame及びm1を、次式に従って算出する。
tGOP = ptsNow - ptsPrev
tFrame = floor(tGOP/M)
m1 = mod(tGOP, M)
ただし、floor()は、小数点未満の部分を切り捨てる関数であり、mod(a,b)は、変数aを変数bで除したときの残余を求める関数である。もし、ptsPrevが定義されていない場合、すなわち復号対象MPUがMMTストリーム内の先頭MPUの場合、垂直同期信号発生時刻算出部１６は、tFrameをfloor((1/F)*f)とし、m1=Mとする。
【００４０】
なお、tFrameは、1フレーム時間に最も近く、かつ、1フレーム時間以下となる、連続する二つの垂直同期信号間の間隔に相当するシステムクロック（周波数f）のカウント数である。また、tGOPは、一つのMPUについて生成される、連続するM回の垂直同期信号の時間に相当する、システムクロック（周波数f）のカウント数である。そしてm1は、一つのMPUにおいて、連続する二つの垂直同期信号間の間隔が(tFrame+1)となるピクチャの数である。すなわち、一つのMPUにおいて、連続する二つの垂直同期信号間の間隔がtFrameとなるピクチャの数は(M-m1)となる。
【００４１】
垂直同期信号発生時刻算出部１６は、tFrame及びm1に基づいて、MPU内の表示順で先頭のピクチャから順に、そのピクチャについての垂直同期信号の発生時刻tlist[i](i=[0, M-1])を、例えば、以下のように算出する。
tlist[i] = tlist[0]+(i*(tFrame+1))       i ≦ m1
tlist[i] = tlist[m1] + ((i-m1)*tFrame )       i > m1
【００４２】
例えば、N=24、M=15、F=60000/1001Hzである場合、f、tGOP、tFrame、m1及びtlist[i]は、それぞれ、下記の値となる。
f=16,777,216
tGOP=4,478,398
tFrame=279,899
m1=14
tlist[0]=ptsNow
tlist[1]=ptsNow+279,900
…
tlist[14]=ptsNow+279,900*14
tlist[15]=ptsNow+279,900*14+279,899*1
【００４３】
なお、変形例によれば、垂直同期信号の間隔が(tFrame+1)となるピクチャと、垂直同期信号の間隔がtFrameとなるピクチャとが交互となるように、垂直同期信号発生時刻算出部１６は、tlist[i]を算出してもよい。
【００４４】
また、動画像符号化装置の映像信号クロックの周波数が、温度などの環境変動などの要因によって、(60000/1001+α)となっている場合は、αに応じてtGOPが変動する。この場合でも、上記の方法により、映像信号クロックを高精度で復元するtlist[i]が算出される。
【００４５】
システムクロック部１７は、NTP解析部１４から通知されたNTP値を内部のカウンタにロードする、もしくはシステムクロック部１７内部のPLLに入力することで、動画像復号装置１のシステムクロックを動画像符号化装置のシステムクロックに同期させる。また、システムクロック部１７は、垂直同期信号発生時刻算出部１６から受け取った、GOP内の各ピクチャについての垂直同期信号発生時刻tlist[i]の何れかと内部カウンタ値とが等しくなったときに、UTC基準の垂直同期信号を映像同期信号生成部１８へ出力する。なお、システムクロック部１７の詳細については後述する。
【００４６】
映像同期信号生成部１８は、ピクチャごとに、システムクロック部１７から出力されたUTC基準の垂直同期信号を受け取る。そして映像同期信号生成部１８は、内部のPLLを用いて、その垂直同期信号の入力間隔と、映像同期信号生成部１８が有する27MHzの周波数を持つクロックを基準とする1フレーム時間とが一致するように、発振器の発振周期を同期させる。また、映像同期信号生成部１８は、ピクチャごとに、そのピクチャの表示開始のタイミング及びそのピクチャの各ラインの表示開始のタイミングに応じて発振器からのパルス信号を分周して、垂直同期信号及び水平同期信号を生成する。そして映像同期信号生成部１８は、ピクチャごとに、垂直同期信号及び水平同期信号をバッファ１９へ出力する。なお、映像同期信号生成部１８の詳細については後述する。
【００４７】
バッファ１９は、映像同期信号生成部１８から垂直同期信号を受け取る度に、バッファ１９に保存されている復号されたピクチャのうちの表示順序が早い方のピクチャから順に出力する。その際、バッファ１９は、映像同期信号生成部１８から受け取った水平同期信号に同期させて、出力するピクチャ中の指定されたピクセル値を外部に出力する。そして動画像復号装置１は、そのピクチャを、動画像復号装置１と接続される表示装置（図示せず）に表示させる。
【００４８】
以下、システムクロック部１７の詳細について説明する。
図３は、システムクロック部１７の概略構成図である。システムクロック部１７は、電圧制御発振器(Voltage-controlled oscillator, VCO)２１と、カウンタ２２と、差分器２３と、ローパスフィルタ(Low pass filter, LPF)２４と、メモリ２５と、比較器２６とを有する。システムクロック部１７が有するこれらの各部は、それぞれ、別個の回路として実装されてもよく、あるいは、これらの各部の機能を実現する一つまたは複数の集積回路として実装されてもよい。また、VCO２１、カウンタ２２、差分器２３及びLPF２４により、PLLが形成される。
【００４９】
VCO２１は、発振周期が可変な発振器の一例であり、動画像符号化装置のシステムクロックと同期されることで、周波数fが2NHzで表される正弦波状のパルス信号を生成する。このパルス信号は、動画像復号装置１のシステムクロックに相当する。周波数fは、LPF２４から印加される電圧値に追従して変化する。例えば、VCO２１は、印加される電圧値が高くなるほど周波数fを高くする。VCO２１から出力されるパルス信号は、カウンタ２２に入力される。
【００５０】
カウンタ２２は、MMTストリームの受信を開始した直後、すなわち、動画像復号の開始時といった初期化時において、入力されたNTP値をロードして、初期のカウント値として保持する。初期化時以外では、カウンタ２２は、VCO２１からの周波数fのパルス信号が入力される度に、すなわち、１周期分の正弦波が入力される度に、保持しているカウント値を1ずつ増加させる。カウンタ２２は、カウント値が更新される度に、そのカウント値を差分器２３及び比較器２６へ出力する。
【００５１】
差分器２３は、カウンタ２２から出力されたカウント値と、受け取ったNTP値間の差分値を計算する。そして差分器２３は、その差分値をLPF２４へ出力する。もし、システムクロック部１７のシステムクロックがUTC基準で表される動画像符号化装置のシステムクロックに完全同期している場合には、差分値は0となる。
【００５２】
LPF２４は、差分器２３から受け取った差分値に対して、その差分値の時間変化についてのローパスフィルタを適用して、その差分値の時間変化を平滑化し、その平滑化された差分値に相当する電圧値を算出する。そしてLPF２４は、その電圧値をVCO２１へ出力する。上記のように、VCO２１に印加される電圧値が高いほど、VCO２１から出力されるパルス信号の周波数fが高くなる場合、LPF２４は、NPT値がカウント値よりも大きいほど、電圧値を高くする。一方、LPF２４は、NPT値がカウント値よりも小さいほど、電圧値を低くする。これにより、システムクロック部１７は、システムクロック部１７のシステムクロックを、MMTストリームに含まれる各MPUのNPT値に追従させることができる。そのため、システムクロック部１７は、動画像符号化装置のシステムクロックと、動画像復号装置１のシステムクロックとを同期させることができる。
【００５３】
メモリ２５は、MPU、すなわち、GOPに含まれるピクチャの数Mに相当するレジスタを有し、映像同期信号生成部１８から入力されるGOP内の各ピクチャの垂直同期信号の発生時刻tlist[i](i=0,1,...,M-1)を格納する。そしてメモリ２５に格納された垂直同期信号の発生時刻tlist[i]は、比較器２６により読み出される。
【００５４】
比較器２６は、カウンタ２２から出力されたカウント値が、メモリ２５に格納された、M個の垂直同期信号の発生時刻tlist[i]のいずれかと一致するとき、パルス状の垂直同期信号を出力する。
【００５５】
以下、映像同期信号生成部１８の詳細について説明する。
図４は、映像同期信号生成部１８の概略構成図である。映像同期信号生成部１８は、電圧制御発振器(Voltage-controlled oscillator, VCO)３１と、カウンタ３２と、差分器３３と、ローパスフィルタ(Low pass filter, LPF)３４と、分周器３５とを有する。映像同期信号生成部１８が有するこれらの各部は、それぞれ、別個の回路として実装されてもよく、あるいは、これらの各部の機能を実現する一つまたは複数の集積回路として実装されてもよい。また、VCO３１、カウンタ３２、差分器３３及びLPF３４により、PLLが形成される。
【００５６】
VCO３１は、発振周期が可変な発振器の一例であり、UTC基準の垂直同期信号の入力間隔と、27MHz基準の映像信号クロックによる1フレーム時間とを一致させることで、1フレーム時間中にフレームレートに応じた所定数の正弦波状のパルス信号を生成する。このパルス信号は、27MHzを基準とするクロック信号に相当する。周波数fは、LPF３４から印加される電圧値に追従して変化する。例えば、VCO３１は、印加される電圧値が高くなるほど周波数fを高くする。VCO３１から出力されるパルス信号は、カウンタ３２に入力される。
【００５７】
カウンタ３２は、垂直同期信号のパルスの立ち上がり時に、カウント値を差分器３３へ出力する。そしてカウンタ３２は、カウント値の出力後に、カウンタ値を0にリセットする。また、カウンタ３２は、VCO３１からの周波数fのパルス信号が入力される度に、すなわち、１周期分の正弦波が入力される度に、その正弦波の立ち上がり時に保持しているカウント値を1ずつ増加させる。
【００５８】
差分器３３は、カウンタ３２から得たカウント値と、予め設定される固定値間の差分値を計算する。この固定値は、例えば、1フレーム時間に相当する、27MHzのパルス信号の数である。例えば、フレームレートが60,000/1,001Hz(59.94Hz)である場合、固定値は、450,450となる。そして差分器３３は、差分値をLPF３４へ出力する。
【００５９】
LPF３４は、差分器３３から受け取った差分値に対して、その差分値の時間変化についてのローパスフィルタを適用して、その差分値の時間変化を平滑化し、その平滑化された差分値に相当する電圧値を算出する。そしてLPF３４は、その電圧値をVCO３１へ出力する。
VCO３１に印加される電圧値が高いほど、VCO３１から出力されるパルス信号の周波数fが高くなる場合、LPF３４は、固定値がカウント値よりも大きいほど、電圧値を高くする。一方、LPF３４は、固定値がカウント値よりも小さいほど、電圧値を低くする。これにより、映像同期信号生成部１８は、垂直同期信号の入力間隔と、27MHzのクロックによる1フレーム時間とを一致させることができる。
【００６０】
分周器３５は、VCO３１が出力する周波数27MHzを持つクロック信号を、予め設定される分周比に応じて分周することで、各ピクチャの垂直同期信号及び水平同期信号を出力する。なお、垂直同期信号に対応する分周比は、例えば、1フレーム時間に基づいて設定され、水平同期信号に対応する分周比は、例えば、1フレーム時間及びピクチャ当たりの垂直方向画素数に基づいて設定される。
【００６１】
図５は、動画像復号装置１により実行される、動画像復号処理の動作フローチャートである。動画像復号装置１は、MPUごとに下記の動作フローチャートにしたがってそのMPUに含まれる各ピクチャを復号する。
【００６２】
パケットフィルタ部１１は、受信したMMTストリームからPAメッセージ、NTPパケット、MPUパケット、MPUタイムスタンプ記述子を取り出す（ステップＳ１０１）。PAメッセージ解析部１２は、PAメッセージを解析して、符号化動画像データの復号に必要なMPUパケットのパケットIDを特定する（ステップＳ１０２）。
【００６３】
復号部１３は、MPUに含まれる各符号化ピクチャを、符号化動画像データが準拠する符号化基準に従って復号する。そして復号部１３は、復号されたピクチャが得られる度に、そのピクチャをバッファ１９に保存する（ステップＳ１０３）。
【００６４】
NTP解析部１４は、NTPパケットに含まれる、UTC時刻基準で表される、システムクロックによる特定の時刻を表すNTP値を取り出し、そのNTP値をシステムクロック部１７に通知する（ステップＳ１０４）。
【００６５】
MPU解析部１５は、MPUヘッダから、27MHzの周波数の映像信号クロックで表される動画像データのフレームレートFを取得する（ステップＳ１０５）。さらに、MPU解析部１５は、MPUタイムスタンプ記述子から、MPU内で最初に表示されるピクチャの表示時刻ptsを取得するとともに、MPUヘッダから、MPU内のピクチャ数Mを取得する（ステップＳ１０６）。
【００６６】
垂直同期信号発生時刻算出部１６は、pts及びMに基づいて、MPU内の各ピクチャについての垂直同期信号の発生時刻tlist[i]を算出し、その発生時刻tlist[i]をシステムクロック部１７へ通知する（ステップＳ１０７）。
【００６７】
システムクロック部１７は、NTP値及び発生時刻tlist[i]に基づいて、MPU内のピクチャごとに、そのピクチャの表示時刻になるとUTC基準で表される垂直同期信号を出力する（ステップＳ１０８）。
【００６８】
映像同期信号生成部１８は、UTC基準の垂直同期信号の入力間隔と、27MHzの周波数を持つクロックによる1フレーム時間とが一致するように、VCO３１の発振周期を同期させる（ステップＳ１０９）。映像同期信号生成部１８は、そのクロックを分周して27MHz基準の垂直同期信号及び水平同期信号を生成する。そして映像同期信号生成部１８は、垂直同期信号及び水平同期信号のタイミングに応じて該当するピクチャをバッファ１９から出力させて、そのピクチャを動画像復号装置１と接続される表示装置（図示せず）に表示させる（ステップＳ１１０）。そして動画像復号装置１は、動画像復号処理を終了する。
【００６９】
以上に説明してきたように、この動画像復号装置は、UTC基準のシステムクロックを発生させる発振器とは別個に、1フレーム時間を正確に再現するための27MHzを基準とするクロックを発生させる発振器を有する。そしてこの動画像復号装置は、UTC基準のシステムクロックに基づいて生成された各ピクチャの垂直同期信号に、映像信号用のクロックを同期させ、その映像信号用のクロックに基づいて、各ピクチャの表示を制御する。そのため、この動画像復号装置は、システムクロックがUTC基準で表されていても、各ピクチャの表示時刻をそのフレームレートに応じて正確に再現できるので、ピクチャの欠落及び重複を防止することができる。
【００７０】
なお、本発明は、MMT規格に準拠したものに限られず、1フレーム時間がシステムクロックの周期の整数倍とならないシステムクロックに準拠して動作する、様々な動画像復号装置に適用可能である。
【００７１】
上述した実施形態またはその変形例による動画像復号装置は、様々な用途に利用される。例えば、この動画像復号装置は、ビデオカメラ、映像受信装置、テレビ電話システム、コンピュータあるいは携帯電話機に組み込まれる。
【００７２】
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
【符号の説明】
【００７３】
１    動画像復号装置
１１    パケットフィルタ部
１２    PAメッセージ解析部
１３    復号部
１４    NTP解析部
１５    MPU解析部
１６    垂直同期信号発生時刻算出部
１７    システムクロック部
１８    映像同期信号生成部
１９    バッファ
２１    VCO
２２    カウンタ
２３    差分器
２４    LPF
２５    メモリ
２６    比較器
３１    VCO
３２    カウンタ
３３    差分器
３４    LPF
３５    分周器
【図１】
2017005611.tif 000003
【図２】
2017005611.tif 000004
【図３】
2017005611.tif 000005
【図４】
2017005611.tif 000006
【図５】
2017005611.tif 000007