(57)【要約】【課題】伝送エラーによってストリームが遮断された場合や装置電源がＯＮ／ＯＦＦされるたびに映像信号のフレーム位相が変動する。【解決手段】圧縮符号化されたビットストリームから復号した映像信号をタイミング信号に基づいて出力する映像復号手段１０２と、上記タイミング信号を生成するタイミング発生手段１０４と、上記ビットストリームから映像フレームごとに付加された再生時刻情報を抽出する時刻情報抽出手段１０５と、再生時刻情報を複数映像フレーム分保持する時刻情報保持手段１０６と、ビットストリームに含まれる基準時刻情報を再生する基準時刻再生手段１０３と、保持されている再生時刻情報と再生された基準時刻情報とを比較し、両時刻情報が一致したことに応じて、タイミング発生手段にタイミング信号を生成させるタイミング制御手段１０７とにより映像復号出力装置を構成する。【選択図】　　図１
2004128869.tif 000002
【特許請求の範囲】
【請求項１】
圧縮符号化されたビットストリームから復号した映像信号をタイミング信号に基づいて出力する映像復号手段と、
前記タイミング信号を生成するタイミング発生手段と、
前記ビットストリームから映像フレームごとに付加された再生時刻情報を抽出する時刻情報抽出手段と、
前記時刻情報抽出手段により抽出された再生時刻情報を複数映像フレーム分保持する時刻情報保持手段と、
前記ビットストリームに含まれる基準時刻情報を再生する基準時刻再生手段と、
前記時刻情報保持手段により保持されている再生時刻情報と前記基準時刻再生手段により再生された基準時刻情報とを比較し、両時刻情報が一致したことに応じて、前記タイミング発生手段に前記タイミング信号を生成させるタイミング制御手段とを有することを特徴とする映像復号出力装置。
【請求項２】
複数の請求項１に記載の映像復号出力装置と、
これら映像出力装置から出力された複数の映像信号の中から使用する映像信号を選択するための切換え装置とを有することを特徴とする映像出力システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、圧縮符号化されたピットストリームから映像信号を復号して出力する映像復号出力装置に関するものである。
【０００２】
【従来の技術】
近年、映像および音声を圧縮する符号化方式として、例えばＭＰＥＧ２方式（ＩＳＯ／ＩＥＣ１３８１８）が広く利用されている。
【０００３】
ＭＰＥＧ２方式においては、映像、音声の復号出力のタイミングを同期させるために、再生時刻を示すＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ　Ｔｉｍｅ　Ｓｔａｍｐ　）と、基準時刻を示すＰＣＲ（Ｐｒｏｇｒａｍ　Ｃｌｏｃｋ　Ｒｅｆｅｒｅｎｃｅ）　と呼ばれるデータをストリーム中に符号化して含ませており、これらデータによって映像、音声信号の復号出力タイミングを調整できるようになっている。
【０００４】
以下、既に製品に多く使用されているＭＰＥＧ２方式の画像復号出力装置でのＰＴＳとＰＣＲによるタイミング同期の動作方法を、図４を用いて説明する。図４には、ＭＰＥＧ２方式の映像復号出力装置の構成を示している。
【０００５】
ＴＳデコーダ３０１は、ＭＰＥＧ２で規定されるＴＳ（Ｔｒａｎｓｐｏｒｔ　Ｓｔｒｅａｍ）を入力信号とし、ＴＳを復号して、ＴＳ内に多重化された単一あるいは複数のプログラムの分離、選択を行う。また、ＴＳデコーダ３０１は、圧縮データであるＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ　Ｅｌｅｍｅｎｔａｒｙ　Ｓｔｒｅａｍ）データを出力するとともに、基準時刻情報であるＰＣＲデータをＰＣＲａとして出力する。
【０００６】
ＰＥＳデータは映像、音声の圧縮ストリームであるＥＳ（Ｅｌｅｍｅｎｔａｒｙ　Ｓｔｒｅａｍ　）データに再生時刻情報であるＰＴＳなどが付加されてパケット化されたものである。
【０００７】
また、ＰＣＲは各プログラムの基準時刻を示す４２ビットデータであり、最大０．１秒の周期でＴＳに多重化されている。ＰＥＳデータは映像デコーダ３０２に入力され、ＰＣＲａはＰＣＲ再生器３０３に入力される。
【０００８】
ＰＣＲ再生器３０３は、入力されたＰＣＲａを基準とし、不図示のＰＬＬ回路によって２７ＭＨｚのシステムクロックを再生する。また、ＰＣＲ再生器３０３は、連続したＰＣＲを再生し、ＰＣＲｂとして出力する。これにより、最大０．１秒の周期のＰＣＲａからシステムクロック２７ＭＨｚの周期のＰＣＲｂが再生される。
【０００９】
再生されたＰＣＲｂは映像デコーダ３０２に出力され、システムクロックは映像デコーダ３０２とタイミング発生器３０４に供給される。
【００１０】
タイミング発生器３０４は、入力されたシステムクロックに基づいて水平（Ｈ）同期信号および垂直（Ｖ）同期信号を生成する。
【００１１】
タイミング発生器３０４の内部には、映像の水平画素をカウントするＨカウンタと垂直ライン数をカウントするＶカウンタがあり、システムクロックが立ち上がる毎にＨカウンタがカウントアップする。Ｈカウンタは所定の映像の水平画素数（例えば、８００）に達すると１に戻り、それと同時にＶカウンタがカウントアップする。Ｖカウンタは所定の映像の垂直ライン数（例えば、５２４）に達すると１に戻る。ＨカウンタおよびＶカウンタはこの動作を繰り返す。そして、ＨカウンタおよびＶカウンタの値をデコードして、Ｈ同期信号およびＶ同期信号を生成する。これらの同期信号は、映像デコーダ３０２において、映像信号を生成するための制御信号として用いられる。
【００１２】
映像デコーダ３０２では、以下のように映像データの復号が行われる。まず、ＴＳデコーダ３０１によって分離されたＰＥＳデータは、映像デコーダ３０２の内部にあるバッファに一旦蓄積される。バッファにＰＥＳデータが一定量蓄積されると、バッファからＰＥＳを読み出して、映像データへの復号がフレーム毎に順次行われる。復号された映像データは、前述したＶ同期信号およびＨ同期信号によって、映像信号の標準規格であるＮＴＳＣやＰＡＬなどの映像信号となり、出力される。
【００１３】
またこれと同時に、映像デコーダ３０２内のバッファから読み出されたＰＥＳデータからＰＥＳヘッダが検出され、それに続くＰＴＳが抽出される。ＰＴＳは、その後のＥＳ内に検出される最初のピクチャ（すなわち、映像フレーム）に対応するように付加されており、ＰＣＲｂとの比較が以下のようにして行われる。
【００１４】
ＰＴＳとＰＣＲｂを比較するタイミングは、映像フレームの一定の位置（例えば垂直１ライン目）などの固定したタイミングで行われ、ＰＴＳがＰＣＲｂよりもある一定値（一般には、１／２フレームの時間分）以上大きい場合は、映像信号の出力タイミングが早いと認識して、１フレームの間、同じ復号映像をリピートさせて、映像の出力タイミングを遅くする。
【００１５】
また、ＰＴＳがＰＣＲｂよりも上記一定値以上小さい場合は、映像信号の出力タイミングが遅いと認識して、該当するフレームを出力せずに次のフレームをすぐに出力するように、映像をスキップさせ、映像の出力タイミングを早くする。
【００１６】
このようにして、映像デコーダでは、映像の復号を行うと同時にＰＴＳとＰＣＲｂとに基づいて映像フレームの出力タイミングを調整する。
【００１７】
【発明が解決しようとする課題】
上述したＰＣＲとＰＴＳによるタイミング同期方式によれば、映像信号のフレーム位相を制御するＶ同期信号およびＨ同期信号はＰＣＲから再生されたシステムクロックから生成されるが、位相制御は行われておらず、ＰＣＲとの位相関係が不定となっている。この結果、映像信号のフレーム位相もＰＣＲとの位相関係が不定となるため、伝送エラーによってストリームが遮断された場合や、装置の電源がＯＮ／ＯＦＦされるたびにＶ同期信号およびＨ同期信号の位相が変化し、映像信号のフレーム位相が最大±０．５フレームの範囲で変動してしまう。
【００１８】
これを符号化装置を含めた映像伝送システムとしてみた場合、符号化装置に入力される映像信号のフレーム位相に対して、復号出力装置から出力される映像信号のフレーム位相が変動してしまうことになり、厳密なフレーム位相同期を必要とする放送設備などでは、外部にフレームシンクロナイザーを必要とするなどの問題が生じている。
【００１９】
復号した映像信号のフレーム位相を厳密に管理しなければならない運用形態として、１対Ｎ地点間での映像伝送が挙げられる。例えば、「マラソン中継」では、ランナーを追いかけながら撮影する１つの移動中継車からの映像を、マラソンコースに沿って配置された複数の固定受信基地で受信する。各受信基地で受信した映像は、それぞれ別々の回線を通じて放送センターに集結される。
【００２０】
中継車が移動するにしたがって、映像を受信する固定基地が移り変わっていくが、放送センターでは、全受信基地の映像の中から、受信できている受信基地の映像信号を切り換えて番組制作を行う。
【００２１】
このような場合に、それぞれの受信基地からの映像信号のフレーム位相がずれていると、切り換え前後の映像信号が不連続な映像信号になってしまい、この映像信号をモニター画面で見た場合にいわゆる「フレーム飛び」が生じてしまう。
【００２２】
また、このようなフレーム飛びを回避するために、フレームシンクロナイザーによって、各受信基地からのフレーム位相を同期させるという方法がある。
【００２３】
しかし、フレームシンクロナイザーは、各受信基地からの通信回線上にそれぞれ必要であるため、受信基地分の数のフレームシンクロナイザーが必要となる。しかも、フレームシンクロナイザーは、映像を０〜１フレーム遅延させることによって、フレーム位相を合わせるので、もともとの信号位相によっては、フレームシンクロナイザー内の遅延に０〜１フレームの誤差が生じてしまい、この信号をスイッチングした場合、同一のフレームがリピートしたり、スキップしたりという問題が生じる。
【００２４】
そこで本発明は、復号した映像信号のフレーム位相を常に一定とすることができる映像復号出力装置およびこれを用いた映像出力システムを提供することを目的としている。
【００２５】
【課題を解決するための手段】
上記の目的を達成するため、本発明の映像復号出力装置は、圧縮符号化されたビットストリームから復号した映像信号をタイミング信号に基づいて出力する映像復号手段と、上記タイミング信号を生成するタイミング発生手段と、上記ビットストリームから映像フレームごとに付加された再生時刻情報を抽出するする時刻情報抽出手段と、時刻情報抽出手段により抽出された再生時刻情報を複数映像フレーム分保持する時刻情報保持手段と、ビットストリームに含まれる基準時刻情報を再生する基準時刻再生手段と、時刻情報保持手段により保持されている再生時刻情報と基準時刻再生手段により再生された基準時刻情報とを比較し、両時刻情報が一致したことに応じて、タイミング発生手段にタイミング信号を生成させるタイミング制御手段とを有する。
【００２６】
ここで、本発明において、ＭＰＥＧ２方式（ＩＳＯ／ＩＥＣ１３８１８）に準拠する場合は、ビットストリームはトランスポートストリームである。また、再生時刻情報はＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ　Ｔｉｍｅ　Ｓｔａｍｐ）　であり、基準時刻情報はＰＣＲ（Ｐｒｏｇｒａｍ　Ｃｌｏｃｋ　Ｒｅｆｅｒｅｎｃｅ）　である。
【００２７】
これにより、再生時刻情報と基準時刻情報とが一致するタイミングでタイミング信号（例えば、水平同期信号および垂直同期信号）が生成されるので、基準時刻情報とタイミング信号の位相が常に一定となるように制御される。このため、映像復号手段から出力される映像信号のフレーム位相は基準時刻情報と一定の位相関係を保つことが可能となる。したがって、伝送エラーによってストリームが遮断された場合や装置の電源がＯＮ／ＯＦＦされた場合でも、フレーム位相の変動を防止してフレーム位相を一定に保つことが可能となる。
【００２８】
【発明の実施の形態】
（第１実施形態）
図１には、本発明の第１実施形態であるＭＰＥＧ２方式の映像復号出力装置の構成を示している。
【００２９】
ＴＳデコーダ１０１は、ＭＰＥＧ２で規定されるビットストリームであるＴＳ（Ｔｒａｎｓｐｏｒｔ　Ｓｔｒｅａｍ）を入力信号とし、このＴＳを復号して、ＴＳ内に多重化された単一あるいは複数のプログラムの分離、選択を行う。また、ＴＳデコーダ１０１は、圧縮データであるＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ　Ｅｌｅｍｅｎｔａｒｙ　Ｓｔｒｅａｍ）データを出力するとともに、基準時刻情報であるＰＣＲ（Ｐｒｏｇｒａｍ　Ｃｌｏｃｋ　Ｒｅｆｅｒｅｎｃｅ）　データをＰＣＲａとして出力する。
【００３０】
ＰＥＳデータは映像、音声の圧縮ストリームであるＥＳ（Ｅｌｅｍｅｎｔａｒｙ　Ｓｔｒｅａｍ　）データに再生時刻情報であるＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ　Ｔｉｍｅ　Ｓｔａｍｐ）　などが付加されてパケット化されたものである。
【００３１】
また、ＰＣＲは各プログラムの基準時刻を示す４２ビットデータであり、最大０．１秒の周期でＴＳに多重化されている。ＰＥＳデータは映像デコーダ（映像復号手段）１０２およびＰＴＳ検出器（再生時刻検出手段）１０５に入力され、ＰＣＲａはＰＣＲ再生器（基準時刻再生手段）１０３に入力される。
【００３２】
ＰＣＲ再生器１０３は、入力されたＰＣＲａを基準とし、ＰＬＬ（Ｐｈａｓｅ　Ｌｏｃｋｅｄ　Ｌｏｏｐ）回路１０３ａによって２７ＭＨｚのシステムクロックを再生する。また、ＰＣＲ再生器１０３は、連続したＰＣＲを再生してＰＣＲｂとして出力する。これによって、最大０．１秒の周期のＰＣＲからシステムクロック２７ＭＨｚの周期のＰＣＲｂが再生される。
【００３３】
再生されたＰＣＲｂは、映像デコーダ１０２および比較器（タイミング制御手段）１０７に出力され、システムクロックは映像デコーダ１０２とタイミング発生器１０４に供給される。
【００３４】
ＰＴＳ検出器１０５は、入力されたＰＥＳデータからＰＥＳヘッダを検出してＰＴＳを抽出し、保持回路（時刻情報保持手段）１０６にＰＴＳａとして出力する。
【００３５】
保持回路１０６では、比較器１０７においてＰＴＳとＰＣＲの一致が検出できるようにするため、ＰＴＳａを所定の複数フレーム数の間、保持し、その間、同一のＰＴＳを比較器１０７へＰＴＳｂとして出力する。
【００３６】
通常、ＰＴＳはＰＣＲに比べて数フレーム分大きい値（遅めの値）に符号化されているため、ＰＴＳａを複数フレーム分保持することで、ＰＣＲｂと一致させることができるようになる。一般的には、ＰＴＳはＰＣＲより、１〜２０フレーム分大きい値となる。この場合、保持回路１０６は入力されたＰＴＳａを２０フレーム分保持し、その間、同一のＰＴＳｂを出力する。
【００３７】
比較器１０７は、入力されたＰＴＳｂ（再生時刻情報）とＰＣＲｂ（基準時刻情報）の値を比較し、両者が一致する場合にのみ論理値１を、それ以外は論理値０をタイミング発生器１０４のリセット信号として出力する。
【００３８】
図２には、ＰＴＳを保持するフレーム数を４とした場合のこれらの動作タイミングを示している。
【００３９】
ここで、もともとＰＴＳは、図１に示す符号化装置２００において映像フレームの一定位置、例えば垂直１ライン目などの固定タイミングでＰＣＲ値を取り出して符号化したものであるので、上述のようにＰＴＳとＰＣＲとが一致するタイミングを検出することによって、符号化装置２００からの映像フレームに同期したリセット信号を出力することができる。
【００４０】
タイミング発生器１０４は、入力されたシステムクロックと比較器１０７からのリセット信号とに基づいて、以下のようにしてタイミング信号としての水平（Ｈ）同期信号および垂直（Ｖ）同期信号を生成する。
【００４１】
タイミング発生器１０４の内部には、映像の水平画素をカウントするＨカウンタ１０４ａと垂直ライン数をカウントするＶカウンタ１０４ｂとがあり、システムクロックが立ち上がる毎にＨカウンタ１０４ａがカウントアップする。Ｈカウンタは所定の映像の水平画素数（例えば、８００）に達すると１に戻り、それと同時にＶカウンタ１０４ｂがカウントアップする。
【００４２】
Ｖカウンタ１０４ｂは所定の映像の垂直ライン数（例えば、５２４）に達すると１に戻る。Ｈカウンタ１０４ａおよびＶカウンタ１０４ｂはこの動作を繰り返る。そして、タイミング発生器１０４は、Ｈカウンタ１０４ａおよびＶカウンタ１０４ｂの値をデコードして、Ｖ同期信号およびＨ同期信号を生成する。
【００４３】
また、タイミング発生器１０４のＶカウンタ１０４ａとＨカウンタ１０４ｂは、比較器１０７から入力されるリセット信号が論理値１となると、１にリセットされるように動作する。このカウンタリセットは、前述したカウントアップ動作より優先的に行われる。
【００４４】
こうして、符号化装置２００の映像フレームに位相同期したリセット信号によってＶカウンタ１０４ｂおよびＨカウンタ１０４ａが制御されるので、生成されるＶ同期信号およびＨ同期信号も符号化装置２００の映像フレームに位相同期して出力される。
【００４５】
そして、ＰＥＳデータとＨ同期信号およびＶ同期信号とが入力される映像デコーダ１０２は、以下のように映像データの復号を行う。
【００４６】
まず、映像デコーダ１０２は、ＴＳデコーダ１０１によって分離されたＰＥＳデータを、映像デコーダ１０２の内部にあるバッファ（図示せず）に一旦蓄積する。バッファにＰＥＳデータが一定量蓄積されると、映像デコーダ１０２は、バッファからＰＥＳデータを読み出して映像データへの復号をフレーム毎に順次行う。
【００４７】
復号された映像データは、Ｖ同期信号およびＨ同期信号に基づいて映像信号の標準規格であるＮＴＳＣ方式やＰＡＬ方式などに対応した映像信号となり、映像デコーダ１０２から出力される。この映像信号は、前述したように、符号化装置２００からの映像フレームに対して位相同期したＶ同期信号およびＨ同期信号に同期して制御されているため、符号化装置２００からの映像フレームに位相同期して出力される。
【００４８】
なお、これと同時に、映像デコーダ１０２は、内部のバッファから読み出したＰＥＳデータからＰＥＳヘッダを検出し、それに続くＰＴＳを抽出する。ＰＴＳはその後のＥＳ内で検出される最初のピクチャ（すなわち、映像フレーム）に対応するように付加されている。映像デコーダ１０２は、このＰＴＳと再生されたＰＣＲデータ（ＰＣＲｂ）との比較を以下のように行う。
【００４９】
ＰＴＳとＰＣＲの比較するタイミングは、映像フレームの一定位置、例えば垂直１ライン目などの固定したタイミングで行われ、ＰＴＳがＰＣＲよりもある一定値（一般には１／２フレームの時間分）以上大きい場合は、映像信号の出力タイミングが早いと認識し、１フレームの間、同じ復号映像をリピートさせて、映像の出力タイミングを遅くする。
【００５０】
また、ＰＴＳがＰＣＲよりもある一定値（一般には１／２フレームの時間分）以上小さい場合は、映像信号の出力タイミングが遅いと認識し、該当するフレームを出力せずに次のフレームをすぐに出力するように、映像をスキップさせて、映像の出力タイミングを早くする。
【００５１】
このようにして、映像デコーダでは映像の復号を行うと同時にＰＴＳとＰＣＲとによって映像フレームの出力タイミングを調整し、出力する。
【００５２】
以上のように、本実施形態によれば、Ｈ同期信号およびＶ同期信号を生成するカウンタ１０４ａ，１０４ｂが、ＰＣＲとＰＴＳとが一致するタイミングでリセットされるので、ＰＣＲとＨ同期信号およびＶ同期信号との位相が常に一定となるように制御することができる。このため、映像デコーダ１０２から出力される映像信号のフレーム位相は、ＰＣＲと一定の位相関係を保つことができ、伝送エラーによってストリームが遮断された場合や、装置の電源がＯＮ／ＯＦＦされた場合でも、常に一定のフレーム位相を保つことができる。
【００５３】
（第２実施形態）
図４には、本発明の第２実施形態である映像伝送システム（映像出力システム）の構成を示している。この映像伝送システムは、１対Ｎ地点間での映像伝送を行うシステムであり、「マラソン中継」等にて運用されるものである。
【００５４】
この図において、２５０はランナーを追いかけながら撮影する移動中継車（カメラ）である。移動中継車２５０には符号化装置（図示せず：図１の２００に相当）が搭載されており、この符号化装置により符号化され、送信された映像および音声データ（ＴＳ）は、マラソンコースに沿って配置された複数の固定受信基地Ｂ１〜Ｂ２によって受信される。
【００５５】
具体的には、区間Ａ１に移動中継車２５０が位置するときは、固定受信基地Ｂ１により映像および音声データが受信され、区間Ａ２に移動中継車２５０が位置するときは、固定受信基地Ｂ２により映像および音声データが受信され、区間Ａ３に移動中継車２５０が位置するときは、固定受信基地Ｂ３により映像および音声データが受信される。
【００５６】
各受信基地には、上記第１実施形態にて説明した映像復号出力装置１００が設けられている。各受信基地の映像復号出力装置１００は、第１実施形態にて説明したようにＴＳを復号した映像信号を放送センターＣに別々の回線を通じて送信する。
【００５７】
放送センターＣでは、受信した映像信号を切換え装置２６０により適当なタイミングで切り換えて放送等に使用する。映像信号の切り換えタイミングとして代表的なときは、例えば、移動中継車２５０が区間Ａ１と区間Ａ２の重複した範囲に位置する間（すなわち、放送センターＣで受信基地Ｂ１とＢ２から映像信号を受け取ることができる間）や、移動中継車２５０が区間Ａ２と区間Ａ３の重複した範囲に位置する間（放送センターＣで受信基地Ｂ２とＢ３から映像信号を受け取ることができる間）である。
【００５８】
このような映像伝送システムにおいて、各受信基地に第１実施形態の映像復号出力装置を設けることにより、すべての受信基地Ｂ１〜Ｂ３の映像復号出力装置で復号された映像信号は互いにフレーム位相を同期させることができるので、放送センターＣに集結した映像信号をそのまま切り換えても（フレームシンクロナイザを通さなくても）映像信号が不連続となることがない。
【００５９】
また、フレームシンクロナイザが不要となるため、映像信号を切り換えたときに映像フレームがリピートしたり、スキップしたりするといった問題を回避することができる。
【００６０】
【発明の効果】
以上説明したように、本発明によれば、再生時刻情報と基準時刻情報とが一致するタイミングでタイミング信号が生成されるので、基準時刻情報とタイミング信号の位相とが常に一定となるように制御することができる。このため、映像復号手段から出力される映像信号のフレーム位相は基準時刻情報と一定の位相関係を保つことができる。したがって、伝送エラーによってストリームが遮断された場合や装置の電源がＯＮ／ＯＦＦされた場合でも、フレーム位相の変動を防止してフレーム位相を一定に保つことができる。
【図面の簡単な説明】
【図１】本発明の第１実施形態である映像復号出力装置の構成を示すブロック図である。
【図２】上記映像復号出力装置の動作を示すタイミング図である。
【図３】本発明の第２実施形態である映像伝送システムの構成を示す図である。
【図４】従来の映像復号出力装置の構成を示すブロック図である。
【符号の説明】
１０１　　ＴＳデコーダ
１０２　　映像デコーダ
１０３　　ＰＣＲ再生器
１０４　　タイミング発生器
１０４ａ，１０４ｂ　　カウンタ
１０５　　ＰＴＳ検出器
１０６　　保持回路
１０７　　比較器
【図１】
2004128869.tif 000003
【図２】
2004128869.tif 000004
【図３】
2004128869.tif 000005
【図４】
2004128869.tif 000006