(57)【要約】【課題】映像信号が非同期で切り替わった際に符号化された符号化データを、余計な素子を使わずに特定し、この符号化データから復号された画像データを再生しないようにする。【解決手段】復号部3は、ネットワークインタフェース部21、ストリーム分離部23、映像ストリーム解析部25、内部メモリ27、映像復号部29、メモリ制御部31、メモリ33、セレクタ35、および映像信号作成部37を含み、ストリーム分離部23で形成されたPESパケットのヘッダに記載されている時刻データの周期をストリーム解析部25で算出する。その結果、周期が乱れている時刻データと対応する符号化データは、映像信号が非同期で切り替わった部分を符号化したデータであると特定し、この符号化データから復号された画像データの替わりに、この画像データよりも再生順序が1つ前の画像データを再生する。【選択図】図１
2007221505.tif 000002
【特許請求の範囲】
【請求項１】
映像信号を符号化した符号化データを、該符号化データを復号し再生する時刻を示す時刻データを用いて復号し、画像データを作成する復号工程と、
該画像データから前記映像信号を作成する映像信号作成工程とを含む復号方法において、該方法は、
該画像データを記憶する記憶工程と、
前記時刻データの周期を検出し、該周期に乱れがある場合は、該周期の乱れている時刻データと対応する画像データが、前記映像信号における非同期に切り替えられた切り替え部分であると判断する検出工程と、
該検出工程における判断に基づいて、前記記憶された画像データのうち、再生する画像データを選択する選択工程とを含み、
該選択工程は、前記検出工程において前記切り替え部分であると判断された際は、該切り替え部分である画像データに替えて、該画像データよりも前に再生された画像データを選択し、
前記映像信号作成工程は、該選択された画像データから前記映像信号を作成することを特徴とする復号方法。
【請求項２】
請求項１に記載の方法において、前記検出工程は、復号処理を行う時刻を示す時刻データの周期を検出することを特徴とする復号方法。
【請求項３】
請求項１に記載の方法において、前記検出工程は、再生処理を行う時刻を示す時刻データの周期を検出することを特徴とする復号方法。
【請求項４】
請求項１ないし３のいずれかに記載の方法において、前記選択工程は、前記検出工程において前記切り替え部分であると判断された際は、該切り替え部分である画像データに替えて、該画像データより１つ前に再生された画像データを、少なくとも１フィールド分選択することを特徴とする復号方法。
【請求項５】
映像信号を符号化した符号化データを、該符号化データを復号し再生する時刻を示す時刻データを用いて復号し、画像データを作成する復号手段と、
該画像データから前記映像信号を作成する映像信号作成手段とを含む復号装置において、該装置は、
該画像データを記憶する記憶手段と、
前記時刻データの周期を検出し、該周期に乱れがある場合は、該周期の乱れている時刻データと対応する画像データが、前記映像信号における非同期に切り替えられた切り替え部分であると判断する検出手段と、
該検出手段における判断に基づいて、前記記憶手段に記憶された画像データのうち、再生する画像データを選択する選択手段とを含み、
該選択手段は、前記検出手段において前記切り替え部分であると判断された際は、該切り替え部分である画像データに替えて、該画像データよりも前に再生された画像データを選択し、
前記映像信号作成手段は、該選択された画像データから前記映像信号を作成することを特徴とする復号装置。
【請求項６】
請求項５に記載の装置において、前記検出手段は、復号処理を行う時刻を示す時刻データの周期を検出することを特徴とする復号装置。
【請求項７】
請求項５に記載の装置において、前記検出手段は、再生処理を行う時刻を示す時刻データの周期を検出することを特徴とする復号装置。
【請求項８】
請求項５ないし７のいずれかに記載の装置において、前記選択手段は、前記検出手段において前記切り替え部分であると判断された際は、該切り替え部分である画像データに替えて、該画像データより１つ前に再生された画像データを、少なくとも１フィールド分選択することを特徴とする復号装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、復号方法および復号装置に関するものであり、とくに、符号化したデータを受信し、この符号化したデータから映像を作成する復号方法および復号装置に関する。
【背景技術】
【０００２】
従来より、例えばMPEG-2 ( Moving Picture Coding Experts Group phase 2 ) のCODEC ( Coder/Decoder ) 等のように、動画、すなわち映像信号をデジタル処理する装置においては、処理の過程で映像同期信号が必要となる。この映像同期信号には、例えば水平同期信号や垂直同期信号等が挙げられる。例えば符号化する装置、すなわち符号化装置のMPEG 符号化部では、この２つの同期信号を用いてタイミングを計り、符号化する領域や復号する装置へ伝送する領域等を決定している。このため、それまで符号化装置に入力されていた映像信号に替えて別の映像信号が入力される際に、映像信号の同期信号のタイミングが合わない状態で切り替わった場合、すなわち、符号化装置へ入力される映像信号が非同期で切り替えられた場合は、水平同期信号や垂直同期信号が乱れるために符号化領域が本来の位置からずれてしまい、その結果、復号された映像信号を再生した際に、切り替える前の映像と切り替えた後の映像が混じって表示されてしまったり、垂直同期または水平同期期間が表示されてしまうといった映像の乱れが生じていた。
【０００３】
さらに、例えばMPEG 方式で符号化、および復号する場合では、符号化された映像と音とを復号して再生する際、映像と音とが同期している必要があるため、符号化装置側では、映像や音を復号再生する処理を行う時刻を示す時刻データ、すなわちタイムスタンプが、復号装置側に送るパケットに設けられている。この時刻データもまた、同期信号を基準としてパケットに設けられるため、映像信号が非同期で切り替えられたことにより同期信号が乱れてしまうと、時刻データも乱れてしまい、その結果、復号された映像信号を再生すると映像が乱れてしまうということが生じていた。しかし、例えばテレビ放送等では番組を切り替えるといったように、映像信号の切り替えが頻繁に行われるため、切り替え時における映像の乱れを解消する方法が求められていた。
【０００４】
特許文献１には、このように映像に乱れが生じる場合に、映像が乱れている部分を静止画像で隠す復号装置が開示されている。具体的に説明すると、特許文献１では復号装置にタイマーを設け、このタイマーによって映像の乱れが生じる部分を検出し、この部分に替えて別の静止画像を再生することで、映像の乱れが生じる部分を再生しない復号装置である。
【０００５】
しかし、特許文献１に開示されている復号装置では、タイマーにより映像の乱れが生じる部分か否かを検出するため、余計な素子が必要となり、復号装置の製造コストがかかるという問題点を有していた。
【特許文献１】特開２００２−１５２７４３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明はこのような従来技術の欠点を解消し、映像が非同期で切り替わったために映像の乱れが生じている部分を余計な素子を使用せず検出し、非同期で切り替わったことによる映像の乱れを表示させない復号方法、および装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述の課題を解決するために本発明は、映像が非同期で切り替わった際は、同期信号が乱れるため、この同期信号を基にして作成される時刻データもその周期が乱れることに着目し、復号する際にこの時刻データの周期を算出し、算出した周期が乱れているか否かを検出する。その結果、時刻データの周期が乱れている場合は、映像が非同期で切り替わった部分と判断し、その時刻データと対応する符号化データから復号された画像データは再生せず、事前に記憶しておいた画像データを再生することで、乱れている映像を形成する画像データを再生しないようにする。なお、乱れている映像を形成すると判断された画像データに替えて再生される画像データは、切り替えが行われる直前の映像の画像データにすることが可能である。
【発明の効果】
【０００８】
本発明によれば、時刻データの周期の乱れを利用することで映像が非同期で切り替わったことを検知するため、余計な素子を用いなくても映像が非同期で切り替わったことによる映像の乱れが生じている部分を表示させないことが可能になる。
【発明を実施するための最良の形態】
【０００９】
次に添付図面を参照して本発明による復号方法および復号装置の実施例を詳細に説明する。図１は、本発明の復号装置における復号部の実施例の構成を示すブロック図であり、図２は、図１に示す復号部を含む復号装置の使用環境の一例を示す図である。図２において図１と同じ参照番号は同様の構成を示している。なお本発明の理解に直接関係のない部分は図示を省略し、冗長な説明を避ける。また以下の説明において各信号はその現れる接続線の参照番号で特定する。本実施例の復号装置1は、テレビ放送における映像信号や音声信号が符号化された符号化データを復号する装置であり、図２に示すように復号部3、および再生部5を含み、図２に示す符号化装置7からネットワーク9を介して送られてきたパケット11を受信し、このパケット11に含まれる符号化データを復号部3で復号して復号後の信号を再生部5に供給する。
【００１０】
より具体的に説明すると、復号部3は、図１に示すように、ネットワークインタフェース部21、ストリーム分離部23、映像ストリーム解析部25、内部メモリ27、映像復号部29、メモリ制御部31、メモリ33、セレクタ35、および映像信号作成部37を含み、ネットワーク9を介して送られてきたパケット11をネットワークインタフェース部21で受信する。このパケット11は、通信方法に準拠したパケットである。なお本発明はパケットに限定するわけではなく、例えば、ATM ( Asynchronous Transfer Mode ) 回線の場合では、ATM セルであってもよい。またパケット11には、映像信号や音声信号等の信号41を符号化した符号化データ、およびこの符号化データの復号再生処理を行う時刻を示す時刻データが含まれている。これらの符号化データおよび時刻データは、後述するようにネットワーク9に接続している符号化装置7で作成される。
【００１１】
復号装置1の復号部3では、このようなパケット11を受信すると、パケットに含まれている符号化データのうち符号化された映像信号を、映像復号部29で復号して1枚、すなわち1画面分の静止画像である画像データを作成し、作成した画像データを映像信号作成部37で変換して映像信号17を作成する。この形成された映像信号17は、符号化装置7に入力された映像信号と実質的に同じものである。また公知の手法で符号化データに含まれている符号化された音声信号を復号し、同じく再生部15へと送る。再生部15は、図示しないが例えばディスプレイ等の表示装置や、外部メモリ等の記録装置を含んでおり、作成された映像信号17や音声信号をディスプレイに表示したり、記録装置に記録する。
【００１２】
なお本実施例では、符号化装置7、および復号装置1は、テレビ放送における映像信号や音声信号を、それぞれ符号化、および復号しているが、本発明はこれに限定するわけではなく、符号化装置7および復号装置1は少なくとも映像信号を符号化および復号する装置であればよい。また、映像信号もテレビ放送における映像信号に限定するわけではなく、任意の映像信号を採用することが可能である。なおテレビ放送における映像信号は、NTSC ( National Television Standard Committee )信号であってもよいし、PAL ( Phase Alternation by Line )信号であってもよく、任意の信号を採用することが可能である。
【００１３】
図１に示す復号装置1に入力される符号化データが収納されたパケット11は、前述したように、図２、図３に示す符号化装置7の符号化部51で作成される。図３は、図２に示す符号化部51の構成の一例を示したブロック図である。なお図３において、図２と同じ参照番号は同様の構成を示すため説明を省略する。
【００１４】
符号化装置7は、図３に示すように前処理部53、同期検出部55、映像符号化部57、ストリーム多重化部59、およびネットワークインタフェース部61を含み、入力された映像信号および音声信号等の信号41を公知の手法で符号化する装置である。例えば本実施例では、符号化装置7は、MPEG-2 方式を採用して符号化して符号化データを作成し、また作成した映像、音声等の符号化データを多重した後、通信方法に準拠した形式にてパケット11を作成する。このような符号化装置7には、公知のものを採用することが可能であり、実施例に限定するわけではない。なお以下の説明において符号化装置7に入力される信号41のうち、音声信号については映像信号と実質的に同様の処理を経て符号化されるため、映像信号についてのみ説明する。
【００１５】
符号化装置7に映像信号が入力されると、入力された映像信号は符号化装置7における符号化部51の同期検出部55、および前処理部53へとそれぞれ入力される。同期検出部55は、各種の同期信号、例えば、垂直同期信号や水平同期信号やフレーム同期信号等を検出する部分である。水平同期信号とは、走査線の開始点を決めるパルス信号であり、垂直同期信号はフィールドの開始点を決めるパルス信号である。またフレーム同期信号とは、フレームの開始点の位置の識別を可能とする信号である。同期検出部55は、これらの同期信号を検出すると、それを前処理部53、および映像符号化部57へと送る。
【００１６】
前処理部53は、映像信号が入力されると、同期検出部55からの同期信号を基にしてアナログ/デジタル変換を行って、この映像信号をデジタル映像信号に変換し、また輝度信号と色信号の分離、すなわち、Y/C 分離を行う部分である。このように前処理部で処理された信号は、映像符号化部57へと送られる。映像符号化部57では、前処理部53から送られてきたデジタル映像信号を、MPEG-2 方式で符号化し符号化データを作成する。この際、符号化する領域や、復号部へ送る単位は、同期検出部55から送られてきた各種の同期信号を用いて決定される。例えば、本実施例では、符号化する領域を同期検出部55から送られてきたフレーム同期信号および水平同期信号を用いて決定する。また本実施例では、MPEG-2 方式で符号化しているため、符号化データと共に、フレーム周期信号に合わせて時刻データが作成される。
【００１７】
この時刻データとは、MPEG 形式で符号化した場合では、復号する際に、復号する順と再生する順とが異なる場合があるために正しい順序が必要となることや、復号された映像と音声とを同期させる必要があるために作成されるものであり、復号再生に必要な復号再生処理を行う時刻を示すもの、すなわちタイムスタンプである。より具体的に説明すると、MPEG 形式で符号化、および復号する場合では、符号化された映像と音とを復号して再生する際に音と映像とを同期させる必要があるため、再生処理を行う時刻を示す時刻データ、すなわち、プレゼンテーションタイムスタンプ( PTS : Presentation Time Stamp )が作成される。また復号する順序と再生する順序が異なる場合があるため、復号処理を行う時刻を示す時刻データ、すなわち、デコーディングタイムスタンプ( DTS : Decoding Time Stamp )が作成される。
【００１８】
図４は、本実施例における時刻データの作成処理を概念的に示した図であり、符号化部51に映像信号A が入力された場合における同期検出部55の出力を概念的に示した図である。なお図４において、水平方向は時間を表している。符号化部51に図４に示すようなタイミングのフレーム同期信号71を含む映像信号A が入力されると、同期検出部55は、映像信号A のフレーム同期信号71と実質的に同じタイミングの同期信号73を検出し、このフレーム同期信号73を映像符号化部57へと供給する。映像符号化部57では、映像信号A を符号化する際、供給されたフレーム同期信号73と対応して時刻データを作成する。例えば本実施例では、このフレーム同期信号73の立ち上がりフレームの先頭と実質的に同じタイミングで時刻データを作成する。
【００１９】
よって、図４において隣り合う時刻データの間隔は、1フレーム分、すなわち、1/30秒である。例えば、時刻データA と時刻データB の間隔は、1/30秒であり、時刻データC、D も同様に、1つ前の時刻データとの差は、1/30秒となる。なお、本実施例ではフレーム同期信号73の立ち上がりのタイミングで、1フレーム毎に時刻データを作成しているが、本発明はこれに限定するわけではなく、任意に時刻データを作成することが可能である。例えば、時刻データをフレーム同期信号73の立ち下がりのタイミングで作成することも可能であるし、1フィールド毎に時刻データを作成することも可能である。なお本発明はこれに限定するわけではない。
【００２０】
以上のようにして作成された時刻データは、映像符号化部57で符号化データと共にパケット化され、ストリーム多重化部59で音声パケット等と多重された後に、ネットワークインタフェース部61へと送られる。ネットワークインタフェース部61では、多重されたこれらのデータを通信方法に準拠した形式のデータ、すなわちパケット11に変換し、このパケット11を復号装置1へネットワーク9を介して送信する。
【００２１】
図５は、図３に示す映像符号化部57で作成されるPES ( Packetized Elementary Stream ) パケットの概念図である。図５において水平方向は時間を示している。本実施例では、MPEG-2 方式を採用して符号化するため、符号化データはPES パケットに収納される。PES パケットには映像符号化部で決定された所定の単位に分けられた符号化データが、所定の領域、すなわち本実施例ではデータが格納されるデータ領域77に格納され、またその符号化データにアクセスユニット、すなわち、符号化する単位の先頭が存在する場合には、この符号化データの復号再生処理を行う時刻を示す時刻データが、1つのPES パケットにつき1つ、パケットヘッダ79に設けられる。
【００２２】
なお時刻データは、PTS が示す再生時刻とDTS が示す復号開始時刻とが異なる場合はDTS とPTS の両方がパケットヘッダ79に設けられ、逆に両者が一致する場合はPTS だけがパケットヘッダ79に設けられる。この時刻データは、公知の手法で作成し、また公知の手法でパケットヘッダ79に設けることが可能である。
【００２３】
以上のように符号化を行う符号化装置7には、常に同じ映像信号が入力されるわけではなく、例えばそれまでに入力されていた映像信号から、別の新たな映像信号へと切り替わるというように映像信号が替わる場合がある。このように切り替わる際は、切り替わる前の映像信号と切り替わった後の映像信号とが同期するように、すなわち切り替わる前の映像信号に含まれる同期信号のタイミングと、切り替わった後の映像信号に含まれる同期信号のタイミングとが実質的に一致するように映像信号が切り替わる場合は、映像が乱れる等の問題が生じることなく切り替えを行うことが可能になる。
【００２４】
しかし、例えば図６に示すように、切り替わる前の映像信号に含まれる同期信号のタイミングと、切り替わった後の映像信号に含まれる同期信号のタイミングとが、実質的に一致しないで切り替わった場合、すなわち、非同期で切り替わった場合は、同期信号の間隔に乱れが生じるようになり、その結果、復号された映像信号を再生した際に映像が乱れる等の問題が生じてしまっていた。
【００２５】
図６は、映像信号が切り替わった際の時刻データの作成処理を概念的に示した図であり、図５に示す時刻データB と時刻データC の間で、映像信号A から映像信号B に非同期で切り替わった場合における同期検出部55の出力を概念的に示した図である。なお図６において、図５と同じ参照番号は同様の構成を示すため説明を省略する。また図６において、点線で示した部分は説明をわかり易くするために表示しているが、本来は切り替わるために現れない信号である。
【００２６】
図６に示すように、映像信号が非同期で切り替わると、同期検出部55は、切り替わった後の最初の垂直同期信号からフレーム同期信号を検出するため、切り替わった際はフレーム同期信号の周期に乱れが生じてしまう。例えば図６に示す例では、切り替わる前の同期信号の立ち上がりのタイミングから、切り替わった後の同期信号の立ち上がりのタイミングまでの間隔が、他の部分における間隔と比較して長くなっている。このように同期信号の周期に乱れが生じた部分は、映像符号化部57では同期信号を基に符号化する領域等を決定しているためにうまく符号化されない。その結果、このうまく符号化できなかった符号化データを復号して再生した際は、例えば切り替える前の映像と切り替えた後の映像とが混じった映像になってしまう等の問題が生じていた。
【００２７】
そこで本実施例の復号装置1はこのような問題を解決するため、非同期で切り替わった際は、図６に示すように同期信号の周期が乱れるために同期信号を基にして作成される時刻データの周期も乱れることに着目し、時刻データの周期の乱れを検出することで、映像が非同期で切り替わった部分を符号化した符号化データを特定し、その符号化データから作成された画像データを再生しないようにする。例えば図６において、時刻データE の示す時刻は、フレーム同期信号が乱れたために、時刻データB に1フレーム分の時間、すなわち1/30秒を加えた時間ではなくなる。よって、このように間隔が乱れた時刻データE と対応する符号化データ、すなわち、時刻データB から時刻データE までの間に符号化された符号化データは、うまく符号化できなかった部分と特定できる。本実施例の復号装置1は、このような時刻データの間隔の乱れから、うまく符号化できなかった部分を特定し、うまく符号化できなかった部分を再生しないようにする。以下、詳細に説明する。
【００２８】
図１において、ネットワークインタフェース部21は、送られてきたパケット11を受信する部分であり、受信したパケット11から、データ列であるトランスポート・ストリーム( TS : Transport Stream )を出力する。出力されたトランスポート・ストリームは、ストリーム分離部23に入力される。
【００２９】
ストリーム分離部23は、入力されたトランスポート・ストリームを個々のストリーム、すなわち、映像ストリームや音声ストリーム等に分離し、分離した映像ストリーム、および音声ストリームを作成する。なお以下の説明において、音声ストリームについては公知の手法で復号されて音声信号が形成され、復号された映像信号と同期して再生部5で再生されるために説明を省略し、映像ストリームについてのみ説明する。分離された映像ストリームは、内部メモリ27、および映像ストリーム解析部25にそれぞれ入力される。
【００３０】
映像ストリーム解析部25は、入力された映像ストリームから、時刻データ、M値、およびピクチャタイプを解析して、後段のメモリ制御部31を制御するメモリ制御信号、および、セレクタ35を制御するセレクタ制御信号をそれぞれ作成する部分である。とくに映像ストリーム解析部25は、時刻データの周期を検出し、検出結果に応じてセレクタ制御信号を作成する。具体的に説明すると本実施例では、映像ストリーム解析部25が今回検出された時刻データよりも順序が一つ前の時刻データを一時的に保存しており、新たに時刻データが検出されると、この時刻データと、記憶していた一つ前の時刻データとの差分を計算し、この差分が事前に設定された値であるか否かを判断することで周期の乱れを検出する。
【００３１】
その結果、差分が一定の値ではない、すなわち周期に乱れがあると、映像信号が非同期で切り替えられた切り替え部分であると判断し、M値およびピクチャタイプからこの切り替え部分が復号されて内部メモリ27から出力される時間を計算する。また、内部メモリから出力される映像が切り替え部分である旨のセレクタ制御信号、すなわちメモリ33から画像データを選択するよう指示する制御信号を作成する。逆に周期の乱れがない場合は切り替えがなかった部分である旨の制御信号、すなわち内部メモリ27から画像データを選択するよう指示する制御信号を作成する。
【００３２】
一方、メモリ制御信号は公知のやり方を採用して作成される。作成されたメモリ制御信号はメモリ制御部31に入力され、またセレクタ制御信号はセレクタ35に入力される。なお、周期の乱れの検出には任意のやり方を採用することが可能であり、本実施例に限定するわけではない。例えば、今回検出された時刻データよりも順序が一つ後の時刻データとの差分を算出して周期に乱れがあるか否かを判断することも可能である。
【００３３】
内部メモリ27は、映像復号部29における復号の際に用いられるメモリであり、映像ストリームに含まれている符号化データや、この符号化データを復号することで作成される画像データを一時的に保存する部分である。映像復号部29は、図示しない制御部に制御されて時刻データに基づいて映像ストリームに含まれている符号化データをMPEG-2 方式で復号し、画像データを作成する部分である。復号には公知のやり方を採用して行うことが可能である。本実施例では、再生部5へ供給されるフレームの周期に合わせて、フレーム毎に符号化データを復号する。復号された画像データは、再び内部メモリへと送られる。なお本実施例ではフレーム毎に復号を行っているが、本発明はこれに限定するわけではなく、符号化データに合わせて復号を行うことが可能である。例えばフィールド毎に行うことも可能である。
【００３４】
メモリ制御部31は、映像ストリーム解析部25からのメモリ制御信号により、内部メモリ27およびメモリ33を制御する部分である。例えば、メモリ制御部31は、内部メモリ27を制御して、内部メモリ27に保存された画像データが後段の再生部5において正しい再生順序になるように、内部メモリ27における画像データをセレクタ35へ送る。
【００３５】
メモリ33は、メモリ制御部31の制御によって、内部メモリ27とは別に、復号された画像データを保存する部分である。具体的には、内部メモリ27からセレクタ35へ送られる画像データに替えて、再生部5へ供給するための画像データが記憶される部分である。本実施例では、内部メモリ27から送られてきた画像データが切り替え部分である場合に、この画像データに替えて、セレクタ35が選択する画像データが保存されており、内部メモリ27からセレクタ35へ送られる画像データよりも、時間的に前に再生される画像データ、具体的には、内部メモリ27からセレクタ35へ送られる画像データよりも再生順序が１つ前の画像データが保存されている。なおメモリ33に保存する画像データが、セレクタ35へ送られる画像データより再生順序が１つ前の画像データであることに限定するわけではなく、切り替え部分である画像データの替わりに再生される画像データであれば、任意の画像データを保存することが可能である。例えば、再生順序が一つ後ろの画像データであってもよい。
【００３６】
ここで本実施例では、画像データの大きさは1フレームであるため、メモリ33には常に再生順序が１つ前の画像データが1フレーム分保存されていることになる。なお本実施例において、メモリ33が記憶する容量を1フレーム分としたのは、メモリ33における画像データの容量を小さくするためであるが、本発明はこれに限定するわけではなく、メモリ33が記憶する画像データの容量は任意の量にすることが可能である。例えば、メモリ33には、復号されたすべての画像データを保存しておくようにすることも可能であるし、また例えば、それまでに復号された任意のフレーム分の画像データを記憶することも可能である。なお本発明はこれらに限定するわけではない。
【００３７】
セレクタ35は、映像ストリーム解析部25から送られるセレクタ制御信号により制御されて、メモリ33または内部メモリ27に記憶されている画像データのうち、映像信号作成部37へ供給する画像データを選択する部分である。より具体的に説明すると、セレクタ35は、セレクタ制御信号に基づいて、メモリ33に保存されている画像データ、または内部メモリ27に保存されている画像データの、どちらか一方の画像データを選択する。選択された画像データは、再生部5で再生する映像信号17へと変換されるために映像信号作成部37に入力される。
【００３８】
映像信号作成部37は、セレクタ35から供給された画像データを、後段の再生部5における例えばディスプレイ等に表示するための映像信号に変換する部分であり、画像データから元の映像信号を作成する部分である。本実施例では、映像信号作成部37において輝度信号と色信号の多重や、デジタル/アナログ変換が行われ、映像信号17が作成される。作成された映像信号17は、再生部5へと送られる。再生部5は、復号部3で作成された映像信号17を、公知の手法で復号された音声信号と共に再生、すなわち再生部5に含まれている表示装置のディスプレイや記録媒体に出力する。なお本発明は、各部の構成を本実施例に限定するわけではなく、復号装置1に応じて任意の構成を採用することが可能である。
【００３９】
図７は、図１に示す復号装置1において、パケット11を受信した際の復号処理の処理手順の一例を示した流れ図である。図１、図７において、符号化装置7から送られたパケット11は、復号装置1のネットワークインタフェース部21で順に受信される(ステップS1)。受信されたパケット11はネットワークインタフェース部21でトランスポート・ストリームに変換されてストリーム分離部23へ入力される。ストリーム分離部23では、入力されたトランスポート・ストリームから映像ストリームや音声ストリームを分離する(ステップS2)。また分離された映像ストリームはPES パケットに変換される(ステップS3)。例えばストリーム分離部23は、図８に示すように映像ストリームを順に、第１PES パケット81、第２PES パケット83、第３PES パケット85、・・・、第n PES パケット87に変換する。
【００４０】
図８は、図１に示すストリーム分離部23において変換されたPES パケット、およびこのPES パケットに含まれている符号化データを復号した際の映像信号を概念的に示した図である。なお図８において、図５と同じ参照番号は同様の構成要素を示すため説明を省略する。各PES パケット81、83、85、87には、符号化データが所定の領域に収納されており、またパケットヘッダに時刻データが設けられている。
【００４１】
なお図８では、第１PES パケット81と第２PES パケット83における符号化データ89、91と時刻データ93、95が示されているが、第３PES パケット85、および第n PES パケット87についても第１PES パケット81および第２PES パケット83と同様に符号化データと時刻データが含まれている。図８においてn は正の正数である。なお説明をわかり易くするために、復号の順序と再生の順序は同じとする。つまり、例えば第１PES パケット81に含まれている第１符号化データ89から第１画像データ97が、また第２符号化データ91から第２画像データ99が復号される。また再生順序は、第１画像データ97、第２画像データ99、・・・、第n 画像データである。
【００４２】
ストリーム分離部23で変換されたPES パケットは内部メモリ、および映像ストリーム解析部にそれぞれ入力される。内部メモリにPES パケットが入力されると、映像復号部が、PES パケットに含まれている時刻データを基にして、符号化データを復号する(ステップS4)。
【００４３】
また映像ストリーム解析部25は、PES パケットが入力されると、メモリ制御信号やセレクタ制御信号を作成する。なおメモリ制御信号は公知のやり方で作成されるため、セレクタ制御信号の作成についてのみ説明する。まず映像ストリーム解析部25は、PES パケットが入力されると、そのPES パケットに含まれている時刻データのうち、復号時刻を示す時刻データ、すなわちDTS を検出する(ステップS5)。
【００４４】
例えば第３PES パケット85が映像ストリーム解析部25に入力されると、映像ストリーム解析部25は、第３PES パケットのヘッダに記載されている第３時刻データのうち、復号時刻を示す時刻データ、すなわち、第３DTS を検出する。なお、復号時刻を示す時刻データと再生時刻を示す時刻データが同じ場合は、再生時刻を示す時刻データ、すなわちPTS のみが時刻データとしてパケットに含まれるようになるため、映像ストリーム解析部25はPTS だけがそのパケットに含まれている場合は、PTS を検出する。
【００４５】
検出後、今回検出した第３DTS と、予め記憶しておいたこの第３DTS より順序が一つ前のDTS、すなわち本実施例の場合では、第２PES パケット83から検出した第２DTS との差分を計算し、第２DTS と第３DTS との周期に乱れがあるか否かを判断する。具体的には、算出した差分がある一定の値であるか否かを判断する(ステップS6)。本実施例では、図５に示すように、時刻データはフレーム周期毎に作成されるため、第３DTS と、第２DTS との差分は、映像信号の非同期切り替えがなかった場合は、1フレーム分、すなわち1/30秒である。
【００４６】
差分を算出した結果、差分が一定の値、すなわち1フレーム分である場合は、第２DTS の周期に乱れがないため、第２DTS と対応する第２符号化データ91は映像信号における非同期切り替えがなかった部分であると判断する。よって、内部メモリ27から画像データを選択するようセレクタ制御信号を作成し、セレクタ35へとセレクタ制御信号を送る。
【００４７】
逆に、その差分が1フレーム分ではなかった場合、すなわち、1/30秒よりも長い場合や短い場合は、第２符号化データ91は、第２DTS の周期に乱れがあるため、映像信号における非同期で切り替えられた部分、すなわち切り替え部分であると判断する。よって、M 値およびピクチャタイプから切り替え部分が復号されて内部メモリ27から出力されるまでの遅延時間を計算し、その遅延時間後に1フレームの間はメモリ33から画像データを選択するようセレクタ制御信号を作成し、セレクタ35へとセレクタ制御信号を送る。セレクタ制御信号を作成後、映像ストリーム解析部25は、第３DTS の値を、次の第４PES パケットにおける第４DTS の値との差分を算出するために保持するとともに、第２DTS の値を削除する。
【００４８】
なお本実施例では、あるDTS と、このDTS よりも順序が1つ前のDTS との差分を算出し、差分が一定値ではない場合は、1つ前のDTS と対応する符号化データが切り替え部分であると判断している。これは符号化装置7において、DTS が作成された時刻から符号化が開始するためである。しかし本発明はこれに限定するわけではなく、差分を計算するために用いた２つの時刻データのうち、切り替え部分と対応している時刻データがどちらであるかの特定は、符号化装置7における時刻データが作成されるタイミングと符号化のタイミングに応じて任意に行うことが可能である。
【００４９】
また本実施例では、DTS、すなわち復号時刻を示す時刻データを用いて、時刻データの周期の乱れを検出しているが、本発明はこれに限定するわけではなく、例えば再生時刻を示す時刻データ、すなわちPTS を用いて時刻データの周期の乱れを検出することも可能である。なおPTS を用いて検出する際は、B ピクチャが存在するために、前後するPES パケットであっても、PTS の順序が前後しているとは限らず、差分が1フレーム分にならない場合ある。よって、PTS を用いる場合では、例えばピクチャの種類等によってPTS の順序を特定し、前後するPTS を用いて差分を算出する必要がある。
【００５０】
またパケットを1つ受信する毎に時刻データの周期を検討することに限定するわけではなく、任意のやり方を採用して、非同期切り替えがあった部分を特定することが可能である。例えば、複数のパケットを受信する毎に、時刻データの周期を検討するようにすることも可能である。例えば図８の例で説明すれば、パケットを2つ受信する毎に、すなわち1つおきに差分を計算するようにしてもよい。具体的には、第１パケットに含まれている第１DTS と第３パケットに含まれている第３DTS の差分を算出し、この差分が2フレーム分ではない場合に、さらに第１パケットにおけるDTS と第２パケットにおけるDTS の差分と、第２パケットにおけるDTS と第３パケットにおけるDTS の差分とを算出して、第１符号化データ89が切り替え部分であるのか、それとも第２符号化データ91が切り替え部分であるのかを判断するというようにすることも可能である。なお本発明はこれに限定するわけではない。
【００５１】
以上のようにして映像ストリーム解析部25は、セレクタ制御信号を作成する。なおメモリ制御信号は公知のやり方で作成される。作成されたセレクタ制御信号はセレクタ35へと送られる。セレクタ35では、送られてきたセレクタ制御信号により制御されて、内部メモリ27の画像データ、またはメモリ33の画像データを選択する。なおこのセレクタ35における選択時に、内部メモリ27からは、第２画像データ99がセレクタ35へ向けて送信され、メモリ33には第２画像データより再生順序が一つ前の画像データ、すなわち、第１画像データ97が保存されているように、任意のやり方を採用して映像ストリーム解析部25、映像復号部29、メモリ制御部31、内部メモリ27、およびメモリ33のタイミングを合わせる必要がある。
【００５２】
図９は、セレクタ35における画像データの選択処理を概念的に示した図である。図９において図８と同じ参照番号は同様の構成要素を示している。また図９において水平方向は時間を示している。図９においてセレクタ35は、例えばすでに時刻 t = 1 において第１画像データ97を選択し、時刻 t = 2 における画像データを選択するタイミングであるとする。このときセレクタ35が、第２画像データ99が非同期で切り替わった部分ではない旨のセレクタ制御信号を映像ストリーム解析部25から受け取ると、時刻 t = 2 では、内部メモリ27からの出力、すなわち第２画像データ99を選択する(ステップS7)。逆に、第２画像データ99が非同期で切り替わった部分である旨のセレクタ制御信号を映像ストリーム解析部25受信すると、時刻 t = 2 では、メモリ33からの出力、すなわち第１画像データ97を選択する(ステップS8)。
【００５３】
なお、本実施例では、画像データの単位は1フレームであるため、セレクタ35は、第１画像データ97を選択する際は、第１画像データ97を１フレーム分、すなわち、第１画像データ97の奇数フィールド101と偶数フィールド103の両方を選択してもよいし、また第１画像データ97を1フィールド分選択し、この選択した1フィールド分の画像データを、時刻 t = 2 における奇数フィールドと偶数フィールドの両方に表示することも可能である。つまり、選択した1フィールド分の画像データが繰り返し表示されるようになる。なお画像データの単位が1フィールドの場合は、メモリ33には1フィールド分の画像データが記憶されているため、セレクタ35が選択する画像データは1フィールド分となる。
【００５４】
このようにセレクタ35にて選択された画像データは、映像信号作成部37へと送られ、映像信号作成部37は、非同期で切り替わっていなかった場合は第２画像データを、逆に非同期で切り替わっていた場合は第１画像データを変換し、映像信号17を作成する(ステップS9)。作成された映像信号17は、再生部5で表示装置のディスプレイや記録媒体等に出力される。
【００５５】
以上のようにして本実施例では時刻データを比較することで、切り替えがあった部分を符号化した符号化データを特定し、この符号化データから復号された画像データに替えて、再生順序が一つ前の画像データを再生する。よって、余計な素子を必要としなくても、非同期切り替えがあった部分を符号化した符号化データを特定することができ、この符号化データから復号された画像データを表示することを防ぐことが可能である。
【００５６】
なお本発明は本実施例に限定するわけではない。例えば、映像復号部29における復号、および映像ストリーム解析部25における周期の検出は、復号装置1に応じて任意のタイミングで行うことが可能であり、本実施例のように同時に行うことに限定するわけではない。また、本発明は、MPEG-2 方式で符号化、および復号することに限定するわけではなく、タイムスタンプを作成する方式でれば、任意の方式を採用することが可能である。
【図面の簡単な説明】
【００５７】
【図１】本発明の復号装置における復号部の実施例の構成を示すブロック図である。
【図２】図１に示す復号部を含む復号装置の使用環境の一例を示す図である。
【図３】図２に示す符号化部51の構成の一例を示したブロック図である。
【図４】図３に示す符号化装置で作成されるパケットの概念図である。
【図５】本実施例における時刻データの作成処理を概念的に示した図である。
【図６】映像信号が切り替わった際の時刻データの作成処理を概念的に示した図である。
【図７】図１に示す複合装置における復号処理の処理手順の一例を示した流れ図である。
【図８】図１に示す復号装置1に入力されるPES パケット、およびこのPES パケットに含まれている符号化データを復号した際の映像信号を概念的に示した図である。
【図９】セレクタにおける画像データの選択処理を概念的に示した図である。
【符号の説明】
【００５８】
1  復号装置
3  符号化部
5  再生部
7  符号化装置
9  ネットワーク
【図１】
2007221505.tif 000003
【図２】
2007221505.tif 000004
【図３】
2007221505.tif 000005
【図４】
2007221505.tif 000006
【図５】
2007221505.tif 000007
【図６】
2007221505.tif 000008
【図７】
2007221505.tif 000009
【図８】
2007221505.tif 000010
【図９】
2007221505.tif 000011