(57)【特許請求の範囲】
【請求項１】
第１のストリームと第２のストリームとを切り替え信号に従って切り替えて形成されたスイッチドストリームを復号する復号装置であって、
上記スイッチドストリームのＧＯＰ位相に対する上記切り替え信号の信号位相のずれを示す位相情報を、上記スイッチドストリームとともに入力する入力手段と、
上記入力手段により入力された上記スイッチドストリームを復号して復号画像を生成する復号手段と、
上記入力手段により入力された上記位相情報を利用して上記ＧＯＰ位相又は上記信号位相を画像フレーム単位で少なくとも１フレーム分遅延するように時間シフトさせることによって上記位相のずれを補正し、上記復号手段における上記スイッチドストリームに基づく上記復号画像の生成を制御する制御手段と、
を有し、
上記制御手段は、上記復号画像における切り替え点のタイミングと上記切り替え信号における切り替え点のタイミングとを合わせる
復号装置。
【請求項２】
上記位相情報は、上記スイッチドストリームに挿入されており、
上記制御手段は、上記スイッチドストリームから上記位相情報を抽出する
請求項１に記載の復号装置。
【請求項３】
第１のストリームと第２のストリームとを切り替え信号に従って切り替えて形成されたスイッチドストリームを復号する復号装置であって、
上記スイッチドストリームのＧＯＰ位相に対する上記切り替え信号の信号位相のずれを示す位相情報を、上記スイッチドストリームとともに入力する入力手段と、
上記入力手段により入力された上記スイッチドストリームを復号して復号画像を生成する復号手段と、
上記入力手段により入力された上記位相情報を利用して上記ＧＯＰ位相又は上記信号位相を画像フレーム単位で少なくとも１フレーム分遅延するように時間シフトさせることによって上記位相のずれを補正し、上記復号手段における上記スイッチドストリームに基づく上記復号画像の生成を制御する制御手段と、
を有し、
上記制御手段は、上記入力手段により入力された上記位相情報を参照して、上記スイッチドストリームのＧＯＰ位相と上記切り替え信号の位相とが合っていない場合に、上記復号手段により生成された復号画像に対して、上記第１のストリームから上記第２のストリームに切り替える切り替え点の後の復号画像の代わりに上記切り替え点の前の復号画像を繰り返すフリーズ処理を行う
復号装置。
【請求項４】
上記位相情報は、上記スイッチドストリームに挿入されており、
上記制御手段は、上記スイッチドストリームから上記位相情報を抽出する
請求項３に記載の復号装置。
【請求項５】
第１のストリームと第２のストリームとを切り替え信号に従って切り替えて形成されたスイッチドストリームを復号する復号装置であって、
上記スイッチドストリームのＧＯＰ位相に対する上記切り替え信号の信号位相のずれを示す位相情報を、上記スイッチドストリームとともに入力する入力手段と、
上記入力手段により入力された上記スイッチドストリームを復号して復号画像を生成する復号手段と、
上記入力手段により入力された上記位相情報を利用して上記ＧＯＰ位相又は上記信号位相を画像フレーム単位で少なくとも１フレーム分遅延するように時間シフトさせることによって上記位相のずれを補正し、上記復号手段における上記スイッチドストリームに基づく上記復号画像の生成を制御する制御手段と、
を有し、
上記制御手段は、上記入力手段により入力された上記位相情報を参照して、上記スイッチドストリームのＧＯＰ位相と上記切り替え信号の位相とが合っていない場合に、上記復号手段により生成された復号画像に対して、上記第１のストリームから上記第２のストリームに切り替える切り替え点の後の復号画像を捨てる間引き処理を行う
復号装置。
【請求項６】
上記位相情報は、上記スイッチドストリームに挿入されており、
上記制御手段は、上記スイッチドストリームから上記位相情報を抽出する
請求項５に記載の復号装置。
【請求項７】
上記位相情報は、上記切り替え点の有無を示す切り替えフラグと、上記切り替え信号の位相のずれを示す情報とからなる
請求項５に記載の復号装置。
【請求項８】
第１のストリームと第２のストリームとを切り替え信号に従って切り替えて形成されたスイッチドストリームを復号する復号装置であって、
上記スイッチドストリームのＧＯＰ位相に対する上記切り替え信号の信号位相のずれを示す位相情報を、上記スイッチドストリームとともに記録媒体に記録する記録手段と、
上記記録媒体から、上記位相情報と上記スイッチドストリームとを再生する再生手段と、
上記再生手段により再生された上記スイッチドストリームを復号して復号画像を生成する復号手段と、
上記再生手段により再生された上記位相情報を利用して上記ＧＯＰ位相又は上記信号位相を画像フレーム単位で少なくとも１フレーム分遅延するように時間シフトさせながら上記位相のずれを補正し、上記復号手段における上記スイッチドストリームに基づく上記復号画像の生成を制御する制御手段と、
を有し、
上記制御手段は、上記入力手段により入力された上記位相情報を参照して、上記スイッチドストリームのＧＯＰ位相と上記切り替え信号の位相とが合っていない場合に、上記復号手段により生成された復号画像に対して、上記第１のストリームから上記第２のストリームに切り替える切り替え点の後の復号画像の代わりに上記切り替え点の前の復号画像を繰り返すフリーズ処理を行う
復号装置。
【請求項９】
上記位相情報は、上記スイッチドストリームに挿入されており、
上記制御手段は、上記スイッチドストリームから上記位相情報を抽出する
請求項８に記載の復号装置。
【請求項１０】
第１のストリームと第２のストリームとを切り替え信号に従って切り替えて形成されたスイッチドストリームを復号する復号装置であって、
上記スイッチドストリームのＧＯＰ位相に対する上記切り替え信号の信号位相のずれを示す位相情報を、上記スイッチドストリームとともに記録媒体に記録する記録手段と、
上記記録媒体から、上記位相情報と上記スイッチドストリームとを再生する再生手段と、
上記再生手段により再生された上記スイッチドストリームを復号して復号画像を生成する復号手段と、
上記再生手段により再生された上記位相情報を利用して上記ＧＯＰ位相又は上記信号位相を画像フレーム単位で少なくとも１フレーム分遅延するように時間シフトさせながら上記位相のずれを補正し、上記復号手段における上記スイッチドストリームに基づく上記復号画像の生成を制御する制御手段と、
を有し、
上記制御手段は、上記入力手段により入力された上記位相情報を参照して、上記第スイッチドストリームのＧＯＰ位相と上記切り替え信号の位相とが合っていない場合に、上記復号手段により生成された復号画像に対して、上記第１のストリームから上記第２のストリームに切り替える切り替え点の後の復号画像を捨てる間引き処理を行う
復号装置。
【請求項１１】
上記位相情報は、上記スイッチドストリームに挿入されており、
上記制御手段は、上記スイッチドストリームから上記位相情報を抽出する
請求項１０に記載の復号装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、例えばフレーム間符号化を用いた圧縮符号化信号の切り替えに適用される圧縮符号化画像信号の復号装置および復号方法に関する。
【０００２】
【従来の技術】
画像信号のフレーム間相関を利用して画像信号を圧縮する符号化が知られている。一例として、２フレーム単位の圧縮符号化により符号化された信号に関して、符号化信号の切り替え（あるいは編集）方法について説明する。２フレーム単位の符号化構成として、Ｂ−Ｉの符号化構成を挙げる。Ｉは、フレーム内圧縮符号化により符号化されたフレームを表し、Ｂは、両方向動き補償予測を使用したフレーム間圧縮符号化により符号化されたフレームを表す。切り替え方法の説明に先立って図１２および図１３を参照して符号化および復号化の信号処理についてそれぞれ説明する。
【０００３】
入力画像は、その１フレーム毎にＩ、Ｂのピクチャタイプが決められる。Ｂのタイプのフレーム画像に関しては、前後のフレーム画像から双方向動き補償予測を受け、予測誤差に変換される。動き補償予測のために使用されるＩの画像として、一般的にＩの画像をフレーム内符号化した画像をローカル復号した画像を用いる。双方向動き補償予測に発生した誤差画像（Ｂ）および入力画像（Ｉ）は、ＤＣＴ（Discrete Cosine Transform)変換され、変換係数が量子化され、さらに、量子化出力がハフマン符号等の可変長符号化され、可変長符号化により圧縮符号化信号が発生する。
【０００４】
一般的に、Ｂの圧縮符号化信号の方がＩの圧縮符号化信号より動き補償の分だけ情報量が少ない。また、最終的に圧縮符号化信号を出力する場合は、Ｂ−Ｉの画像の組に対して、Ｉ−Ｂの順序で圧縮符号化信号（ストリームと称する）を発生する。それによって、復号器のハードウエァの低減、処理時間の圧縮が図れる。さらに、Ｉ−Ｂの２フレーム単位、すなわち、ＧＯＰ単位で一定のデータ量となるように、量子化が制御される。データ量の制御としては、フィードホワード制御、フィードバック制御等が使用される。この発生データ量の制御によって、ＶＴＲのような固定レートの記録を行った時に記録媒体上の２フレーム単位の長さを一定とでき、編集が容易となる。
【０００５】
次に、図１３を参照して圧縮符号化の復号化の処理について説明する。入力されるストリームは、可変長符号化の復号、逆量子化、逆ＤＣＴの処理を受け、動き補償誤差画像（Ｂ）、出力画像（Ｉ）にそれぞれ変換される。そして、前後の出力画像（Ｉ）により動き補償予測がなされ、出力画像に変換される。復号処理では、Ｉ−Ｂの順序のストリームに対して、Ｂ−Ｉの順序の復号画像が形成される。
【０００６】
上述したような圧縮符号化により発生した二つのストリームを切り替える処理について説明する。このような切り替えは、例えば磁気テープ、光ディスク等に記録されている圧縮符号化された映像素材を編集する場合に必要とされる。例えば、二つのストリームに付随した音声が無音の箇所で切り替えを行うことを可能とする切り替え信号が形成される。先ず、図１４に示すように、二つのストリームのＧＯＰ（Ｉ−Ｂ）の位相が合っており（すなわち、同期しており）、切り替え信号もＧＯＰの位相に合っている状態の処理を説明する。
【０００７】
ストリームＡとストリームＢは、ＧＯＰの位相が合って状態で入力され、ＧＯＰの位相に合った切り替え信号により切り替えられ、ストリームＡのＢ１に対してストリームＢのＩ２が接続されるように位置Ｘでスイッチングされ、そして、ストリームＢのＢ３に対してストリームＡのＩ４が接続されるように位置Ｙでスイッチングされ、Ｘ−Ｙ間にストリームＢがインサートされたストリーム（スイッチドストリームと称する）が形成される。
【０００８】
このスイッチドストリームが上述した復号化の処理によって出力画像へ変換される。この復号化の処理において、切り替え点Ｘの直後の画像Ｂ２、および切り替え点Ｙの直後の画像Ｂ４は、片側の画像Ｉ２およびＩ４を用いた片方向予測により復号される。片方向予測により形成される出力画像をＰ２およびＰ４で示す。その結果、双方向予測による復号画像と比較して画質の劣化が多少生じるが、切り替えが正しく実現され、出力画像にエラーが生じない。なお、図１４に示すタイミングチャートにおいては、回路系、伝送路等でおいて実際に生じる遅延時間は、説明の簡単のために無視されている。以下に説明するタイミングチャートに関しても同様である。
【０００９】
【発明が解決しようとする課題】
しかしながら、二つのストリームのＧＯＰの位相が合っていること、並びに切り替え信号の位相がＧＯＰの位相に合っていることが満たされない場合には、スイッチドストリームを復号した出力画像にエラーが発生する問題が生じる。図１５を参照して、二つのストリームのＧＯＰの位相は合っているが、切り替え信号の位相がＧＯＰに対して１フレームずれている場合について説明する。２フレーム単位の符号化の場合では、相対的な位相関係としては、位相が合っている場合と、位相が１フレームずれている場合とのいずれかの場合がありうる。
【００１０】
切り替え信号は、ＧＯＰの途中でストリームＡからストリームＢへ切り替える点Ｘで立ち上がり、ＧＯＰの途中でストリームＢからストリームＡへ切り替える点Ｙで立ち下がる。すなわち、図１５において、最初の切り替え点Ｘは、出力画像において、Ｂ２の画像まではストリームＡの画像を選択し、Ｉ２からストリームＢを選択することを意味している。また、後ろ側の切り替え点Ｙは、出力画像において、Ｂ４の画像まではストリームＢの画像を選択し、Ｉ４からストリームＡを選択することを意味している。
【００１１】
しかしながら、切り替え信号が１フレームのずれを持つために、ＧＯＰの途中で切り替え処理が行われる。その結果、二つのストリームは、それぞれＩ２およびＩ４で混合されるものとなる。従って、Ｉ２およびＩ４の復号画像がエラーを含むものとなり、また、片方向予測を行うとしても、これらのＩ２およびＩ４の復号画像から予測されるＢ２およびＢ４の復号画像もエラーを含んだものとなる。
【００１２】
図１６は、二つのストリームのＧＯＰの位相が合っていない場合、より具体的には、ストリームＡに対してストリームＢが１フレーム遅れている場合の処理を示す。この場合、切り替えは、二つのストリームの内のいずれかのストリームにおいて、ＧＯＰの途中で切り替え処理が行われる。例えば、ストリームＢのＧＯＰの位相に同期した点ＸおよびＹにおいて切り替え信号で切り替えても、ストリームＡにおいてはＧＯＰの途中で切り替えられてしまい、Ｂ２およびＩ４の画像がエラーになってしまう。
【００１３】
このように、二つのストリームを単純に切り替える方式は、ストリームのＧＯＰの位相が合っており、切り替え信号もこのＧＯＰの位相に合っていないと、切り替えの前後でエラーを引き起こす問題があった。言い換えると、切り替えの精度がＧＯＰより細かい単位、例えば１フレーム単位とすることができない問題があった。
【００１４】
従って、この発明の目的は、切り替えをＧＯＰより細かい精度で行うことを可能とし、また、切り替え後の画像の時間的な位相精度をより細かい精度で規定することが可能な圧縮符号化信号の復号装置および復号方法を提供することにある。
【００１５】
【課題を解決するための手段】
この発明は、第１のストリームと第２のストリームとを切り替え信号に従って切り替えて形成されたスイッチドストリームを復号する復号装置であって、
スイッチドストリームのＧＯＰ位相に対する切り替え信号の信号位相のずれを示す位相情報を、スイッチドストリームとともに入力する入力手段と、
入力手段により入力されたスイッチドストリームを復号して復号画像を生成する復号手段と、
入力手段により入力された位相情報を利用してＧＯＰ位相又は信号位相を画像フレーム単位で少なくとも１フレーム分遅延するように時間シフトさせることによって位相のずれを補正し、復号手段におけるスイッチドストリームに基づく復号画像の生成を制御する制御手段と、
を有し、
制御手段は、復号画像における切り替え点のタイミングと切り替え信号における切り替え点のタイミングとを合わせる
復号装置である。
この発明は、第１のストリームと第２のストリームとを切り替え信号に従って切り替えて形成されたスイッチドストリームを復号する復号装置であって、
スイッチドストリームのＧＯＰ位相に対する切り替え信号の信号位相のずれを示す位相情報を、スイッチドストリームとともに入力する入力手段と、
入力手段により入力されたスイッチドストリームを復号して復号画像を生成する復号手段と、
入力手段により入力された位相情報を利用してＧＯＰ位相又は信号位相を画像フレーム単位で少なくとも１フレーム分遅延するように時間シフトさせることによって位相のずれを補正し、復号手段におけるスイッチドストリームに基づく復号画像の生成を制御する制御手段と、
を有し、
制御手段は、入力手段により入力された位相情報を参照して、スイッチドストリームのＧＯＰ位相と切り替え信号の位相とが合っていない場合に、復号手段により生成された復号画像に対して、第１のストリームから第２のストリームに切り替える切り替え点の後の復号画像の代わりに切り替え点の前の復号画像を繰り返すフリーズ処理を行う
復号装置である。
この発明は、第１のストリームと第２のストリームとを切り替え信号に従って切り替えて形成されたスイッチドストリームを復号する復号装置であって、
スイッチドストリームのＧＯＰ位相に対する切り替え信号の信号位相のずれを示す位相情報を、スイッチドストリームとともに入力する入力手段と、
入力手段により入力されたスイッチドストリームを復号して復号画像を生成する復号手段と、
入力手段により入力された位相情報を利用してＧＯＰ位相又は信号位相を画像フレーム単位で少なくとも１フレーム分遅延するように時間シフトさせることによって位相のずれを補正し、復号手段におけるスイッチドストリームに基づく復号画像の生成を制御する制御手段と、
を有し、
制御手段は、入力手段により入力された位相情報を参照して、スイッチドストリームのＧＯＰ位相と切り替え信号の位相とが合っていない場合に、復号手段により生成された復号画像に対して、第１のストリームから第２のストリームに切り替える切り替え点の後の復号画像を捨てる間引き処理を行う
復号装置である。
【００１６】
請求項１に記載の発明によれば、二つのストリームの一方のＧＯＰの途中で切り替えがなされることによって、復号画像にエラーが発生することを防止することができる。
【００１７】
この発明は、第１のストリームと第２のストリームとを切り替え信号に従って切り替えて形成されたスイッチドストリームを復号する復号装置であって、
スイッチドストリームのＧＯＰ位相に対する切り替え信号の信号位相のずれを示す位相情報を、スイッチドストリームとともに記録媒体に記録する記録手段と、
記録媒体から、位相情報とスイッチドストリームとを再生する再生手段と、
再生手段により再生されたスイッチドストリームを復号して復号画像を生成する復号手段と、
再生手段により再生された位相情報を利用してＧＯＰ位相又は信号位相を画像フレーム単位で少なくとも１フレーム分遅延するように時間シフトさせながら位相のずれを補正し、復号手段におけるスイッチドストリームに基づく復号画像の生成を制御する制御手段と、
を有し、
制御手段は、入力手段により入力された位相情報を参照して、スイッチドストリームのＧＯＰ位相と切り替え信号の位相とが合っていない場合に、復号手段により生成された復号画像に対して、第１のストリームから第２のストリームに切り替える切り替え点の後の復号画像の代わりに切り替え点の前の復号画像を繰り返すフリーズ処理を行う
復号装置である。
【００１８】
請求項３に記載の発明によれば、復号画像にエラーが発生することを防止することができ、さらに、出力画像の切り替え点が切り替え信号の意図したものとできる。
【００１９】
この発明は、第１のストリームと第２のストリームとを切り替え信号に従って切り替えて形成されたスイッチドストリームを復号する復号装置であって、
スイッチドストリームのＧＯＰ位相に対する切り替え信号の信号位相のずれを示す位相情報を、スイッチドストリームとともに記録媒体に記録する記録手段と、
記録媒体から、位相情報とスイッチドストリームとを再生する再生手段と、
再生手段により再生されたスイッチドストリームを復号して復号画像を生成する復号手段と、
再生手段により再生された位相情報を利用してＧＯＰ位相又は信号位相を画像フレーム単位で少なくとも１フレーム分遅延するように時間シフトさせながら位相のずれを補正し、復号手段におけるスイッチドストリームに基づく復号画像の生成を制御する制御手段と、
を有し、
制御手段は、入力手段により入力された位相情報を参照して、第スイッチドストリームのＧＯＰ位相と切り替え信号の位相とが合っていない場合に、復号手段により生成された復号画像に対して、第１のストリームから第２のストリームに切り替える切り替え点の後の復号画像を捨てる間引き処理を行う
復号装置である。
【００２０】
請求項５に記載の発明によれば、復号画像にエラーが発生することを防止することができ、さらに、出力画像において、一方のストリームが時間的にずれることを防止することができる。
【００２１】
【発明の実施の形態】
以下、この発明のいくつかの実施例について図面を参照して説明する。以下の説明では、ストリームＡを切り替え元のストリームとし、ストリームＢを切り替え先とする。すなわち、切り替え元のストリームＡは、既にストリームが以前から存在し、その位相の変更ができないストリームであり、また、切り替え先のストリームＢは、遅延制御にて位相の制御が可能なストリームである。また、編集処理の点からは、ストリームＡがソースＡと呼ばれ、ストリームＢがソースＢと呼ばれ、切り替え信号が編集コマンドと称される。
【００２２】
この発明の第１の実施例は、切り替え信号の位相および／またはストリームＢの位相を制御することによって、ＧＯＰの位相に合った切り替えを行うものである。上述した図１５の場合に対してこの発明の第１の実施例を適用した処理例について説明する。すなわち、ストリームＡおよびＢのＧＯＰの位相が合っており、切り替え信号の位相がこのＧＯＰの位相に対して１フレームずれている場合である。この場合では、図１に示すように、切り替え信号がＧＯＰの位相に合うように、１フレーム位相が進められる。すなわち、切り替え信号の位相がＸの点で立ち上がり、Ｙの点で立ち下がるものに変更され、最終的な切り替えを元の位置より１フレーム進められたＸ−Ｙの位置で行う。それによって、切り替え点の直後の画像を片方向予測の画像Ｐ２、Ｐ４とすることによって、切り替えられた画像にエラーが発生することが防止される。なお、以下の説明では、切り替え信号の位相を１フレーム進める時間シフトを採用しているが、１フレーム遅れるように処理しても良い。
【００２３】
上述した図１６の場合に対してこの発明の第１の実施例を適用した処理例を図２に示す。図１の例と同様に、切り替え信号の位相が１フレーム進められ、また、ストリームＢの内容もストリームＡと合うように１フレーム進められる。それによって、ストリームＡ、ストリームＢのＧＯＰの位相が互いに合った状態とされ、その状態で切り替えがなされる。従って、画像にエラーが発生することが防止できる。なお、切り替え信号の場合と同様に、ストリームの位相を１フレーム遅延することによって、二つのストリームのＧＯＰの位相を合わせるようにしても良い。
【００２４】
図１および図２に示す第１の実施例によれば、出力画像にエラーが発生することを防止できる。しかしながら、上述した処理の結果、スイッチドストリーム（出力画像）の切り替え点の位相が原切り替え信号の位相に対して１フレーム進んだものとなる。このように、出力画像の切り替え点が１フレーム早くなり、切り替え時に意図した画像内容の切り替わり点が出力画像に反映しない問題がある。さらに、図２の処理例では、ストリームＢから出力画像までの遅延時間が１フレーム早いことになり、ストリームＢの画像情報に付随するタイムコード情報あるいはオーディオ情報と画像の時間的なズレが発生する。
【００２５】
この発明の第２の実施例は、第１の実施例の処理に加えて切り替え信号の意図を出力に反映することを可能とする。そのために、復号側において、切り替え点の直後に、その前の画像を繰り返すフリーズ処理を導入する。
【００２６】
図１５の例のように、二つのストリームのＧＯＰの位相が合っているが、切り替え信号の位相とＧＯＰの位相が合っていない場合に対して、第２の実施例を適用した処理例を図３に示す。二つのストリームを切り替えるまでの処理は、第１の実施例の図１の例と同様である。出力画像の切り替え点が意図したものより１フレーム早くなる問題を解決するために、ストリームの切り替え直後の出力画像Ｐ２およびＰ４の代わりに、その直前の出力画像Ｉ１およびＩ３を繰り返すようになされる。この処理がフリーズである。その結果、切り替え信号と出力画像の時間関係が一致し、Ｉ２からＩ４の間でストリームＢを挿入するように切り替える意図を出力画像に反映させることが可能となる。
【００２７】
図１６と同様の場合に対してこの発明の第２の実施例を適用した処理例について図４を参照して説明する。ストリームＢおよび切り替え信号の位相が１フレーム進められることは、第１の実施例の図２の処理例と同様である。切り替え点ＸおよびＹの直後の１フレームは、その直前のＩ１およびＩ３の復号画像をそれぞれ繰り返す、フリーズ処理によって、最終的な出力画像における切り替え点を、原切り替え信号の意図に一致したものとできる。但し、ストリームＢの出力画像の位相が１フレーム進んでいる問題は、解決されていない。
【００２８】
この発明の第３の実施例は、第１の実施例と同様に切り替えによってエラーが発生することを防止することができ、また、ストリームＢの出力画像の位相の時間的シフト、具体例では、ストリームＢが１フレーム進む問題を解決するものである。すなわち、第３の実施例では、第１の実施例と同様に切り替え信号およびストリームＢの位相を制御し、ストリームＢの時間シフトの情報を切り替え処理以降、伝送（または記録）する。そして、復号時にこの時間シフトの情報に基づいてシフト処理することによって時間シフトを除く。それによって生じた切り替え点Ｘの直後の無信号のフレームをフリーズ処理によって埋める。さらに、切り替え点Ｙの直後の重複する画像を除く処理を行う。
【００２９】
図５は、この発明の第３の実施例を図１６に示すような場合に対して適用した処理を示す。ストリームの切り替えまでの処理は、第１の実施例（図２参照）と同様である。スイッチドストリームを伝送する場合に、ストリームＢが１フレーム進められている情報も伝送（記録）される。そして、切り替えにより発生したスイッチドストリームを復号する場合、その内のストリームＢから出力画像までの遅延時間を１フレーム遅延させる。それによって、ストリームＢの遅延時間を正規のものとする。
【００３０】
ストリームＢを復号する場合、切り替え点Ｘの直後では、Ｂ２に対応する復号画像Ｐ２が発生するが、１フレームの遅延によって、このＰ２の発生時間が１フレーム遅れる。その結果、Ｐ２の前が無信号のフレームとなる。これは、その前のＩ１をフリーズ処理することによって埋め合わせる。また、後側の切り替え点Ｙでは、１フレーム遅延のストリームＢから遅延が無いストリームＡに戻るために、画像が１フレーム（Ｉ３）だけ余ることになり、画像の繰り返しを必要としない。言い換えると、切り替え点の意図を反映させるために、Ｂ４が捨てられる。このようにして、切り替え時に意図した画像内容の切り替わり点Ｙが出力画像に反映される。また、ストリームＡおよびストリームＢからなるスイッチドストリームに関して、ストリームから出力画像までの遅延時間が一定となり、タイムコード情報、オーディオ情報と、画像の時間的関係が保たれる。
【００３１】
上述した第３の実施例では、復号側において、無信号をフリーズ処理し、また、ストリームを遅延するために、スイッチドストリームに付随した情報を伝送する必要がある。この付随情報は、ストリームのＧＯＰ毎に設けられたヘッダ内に挿入される。この付随情報は、下記のものである。
【００３２】
切り替え点の有無を示す切り替えフラグ
切り替え信号が１フレーム進められているかどうかを示す遅延フラグ：ＳＷ
Change
スイッチドストリームが１フレーム進められているかどうかを示す遅延フラグ：ＤＬ Ｆ（Ｂ２）
【００３３】
図６は、この発明による信号処理装置の一例の構成を示す。入力信号として切り替え信号、ストリームＡ、ストリームＢが供給され、これらの入力がそれぞれ可変遅延回路１１、１２、１３にそれぞれ供給される。また、これら３個の入力信号が遅延制御回路１４に供給される。遅延制御回路１４は、３個の可変遅延回路１１、１２、１３に対する制御信号を発生し、この制御信号に応じて可変遅延回路１１、１２、１３の遅延量が設定される。２フレーム単位の符号構成の場合では、遅延量としては、遅延無しと１フレーム遅延とのいずれかである。
【００３４】
遅延制御回路１４は、後述するフローチャート（図１０）に示される遅延量の制御を行う。そのために、入力ストリームＡおよびＢの間のＧＯＰの位相関係、並びにこのＧＯＰに対する切り替え信号の位相関係を検出し、さらに、入力されるストリームあるいは切り替え信号が既に遅延フラグ（遅延無し、または１フレーム遅延）を含む場合には、この遅延フラグを検出し、遅延制御に使用する。
【００３５】
例えば前述した図２における入力ストリームＡが遅延フラグ（１フレーム遅延）を含む場合、それに従って遅延した結果は、図１４のタイミングチャートと同様の時間関係となる。ストリームＢの位相が１フレーム進む問題を回避するために、ストリームＢに対しても遅延フラグ（１フレーム遅延）が付けられる。従って、復号時には、図７に示すように、ストリームＡおよびストリームＢの両者が１フレーム遅延される。復号装置が双方向または片方向の動き補償予測（ＭＣ）、フリーズ（または間引き）処理、および１フレーム遅延処理が可能な構成とされているが、図７の例では、フリーズ処理が不要である。
【００３６】
また、入力ストリームＡおよびＢの両者が１フレーム遅延の遅延フラグを有する場合の処理を図８に示す。さらに、入力ストリームＢが１フレーム遅延の遅延フラグを有する場合の処理を図９に示す。
【００３７】
遅延制御がなされたストリームＡおよびＢがそれぞれスイッチング回路１５の入力端子１６Ａ、１６Ｂにそれぞれ供給される。また、遅延制御回路１４で発生したフラグ（切り替えフラグ、遅延フラグ）がスイッチング回路１５の入力端子１６Ｃに供給される。スイッチング回路１５は、可変遅延回路１１からの切り替え信号によって制御される。フラグは、スイッチング回路１５から出力されるスイッチドストリームのＧＯＰのヘッダに挿入される。
【００３８】
図６における遅延制御回路１４によってなされる遅延制御の処理の流れを図１０のフローチャートに示す。ストリームＡを切り替え元のストリーム（既にストリームが以前から存在し位相の変更ができない）とし、ストリームＡを切り替え先（遅延制御にて位相の制御が可能な）のストリームＢへ変更する処理を行うものとしている。ＳＷを切り替え信号とする。より具体的には、上述したタイミングチャートに示されるインサート編集のイン点（切り替え信号の立ち上がりの点Ｘ）におけるストリームＡをＡで表し、ストリームＢをＢで表す。
【００３９】
フローチャートの最初のスタートのステップは、切り替え信号ＳＷが変化したときである。この時、無条件に切り替え点があることを示す切り替えフラグをセットし、切り替え先のストリームＢの最初のＧＯＰのヘッダに切り替えフラグを多重する（ステップＳ１）。また、ストリームＡのＧＯＰの位相と原切り替え信号ＳＷの位相関係を検出する（ステップＳ２）。両者が同期していれば、切り替え信号ＳＷの位相を変更しない（ステップＳ３）。この制御を受けた切り替え信号をＳＷ１と表す。図６中の可変遅延回路１１から切り替え信号ＳＷ１が出力される。一方、ＧＯＰの位相と切り替え信号の位相が同期していない場合には、切り替え信号ＳＷの位相を１フレーム進めたものをＳＷ１とする（ステップＳ４）。
【００４０】
さらに、ストリームＡに付随している遅延フラグを分離して、ストリームＡに対して仮の遅延処理を施してストリームＡ１とする（ステップＳ５）。仮の遅延とは、データを直接遅延するのではなく、遅延したとすると、どのようなＧＯＰ位相になるのかを予想することである。ステップＳ５の後で、仮の遅延がされたストリームＡ１のＧＯＰの位相と切り替え信号ＳＷの位相が同期しているかどうかが決定される（ステップＳ６）。
【００４１】
若し、両位相が同期していれば、切り替え点は、ステップＳ１で多重した切り替えフラグと変わりがないということを示す、切り替え信号に関する遅延フラグ（ＳＷ  Change＝０）を切り替え先（ストリームＢ）の最初のＧＯＰに多重する（ステップＳ７）。一方、同期していなければ、切り替え点は、切り替えフラグから１フレーム後に存在するということを示す遅延フラグ（ＳＷ  Change＝１）を切り替え先のストリームＢの最初のＧＯＰに多重する（ステップＳ８）。
【００４２】
次にストリームＢに付随している遅延フラグを分離して、ストリームＢに対して遅延処理を施してストリームＢ１とする（ステップＳ９）。入力ストリームＢは、可変遅延回路１３において実際に遅延される。次に、この遅延後のストリームＢ１とストリームＡ１とが同期しているかどうかが決定される（ステップＳ１０）。ストリームＡ１は、上述したように、遅延フラグにより仮の遅延が与えられたストリームである。
【００４３】
若し、両者が同期していれば、ステップＳ１１において、最終的なストリームＢ２の遅延フラグは、ストリームＡの遅延フラグと同じものとする（ＤＬ Ｆ（Ｂ２）＝ＤＬ Ｆ（Ａ））。最終的なストリームとは、切り替え信号ＳＷ１により切り替えられ、スイッチング回路１５から発生するスイッチドストリームを意味する。一方、同期していなければ、ステップＳ１２において、最終的なストリームＢ２の遅延フラグは、ストリームＡの遅延フラグを反転したものとする（ＤＬ Ｆ（Ｂ２）＝！ＤＬ Ｆ（Ａ））。
【００４４】
さらに、付随する遅延フラグに基づいて入力ストリームＢを遅延したストリームＢ１のＧＯＰの位相と切り替え信号ＳＷ１が同期しているかどうかが決定される（ステップＳ１３）。若し、両者が同期していれば、ストリームＢ１を最終的なストリームＢ２とする。同期していないならば、ストリームＢ１の位相を１フレーム進めたものを最終的なストリームＢ２とする（ステップＳ１５）。
【００４５】
スイッチング回路１５によって、切り替えられると共に、フラグがＧＯＰのヘッダに挿入されたスイッチドストリームが伝送路１７を通じて伝送される。伝送路１７は、ケーブル等の通信路、テープ、光ディスク等の記録媒体に対する記録／再生のプロセス等を意味している。
【００４６】
伝送路１７を通過した信号が復号化器２０およびフラグ分離器２１に供給される。フラグ分離器２１により、受信（再生）されたスイッチドストリームから切り替えフラグおよび遅延フラグが分離される。分離された切り替えフラグが復号化器２０に供給される。この切り替えフラグを復号化器２０が参照し、切り替えフラグが立っているＧＯＰでは、双方向の動き補償予測から片方向の動き補償予測へ切り替えられるように、復号動作が制御される。
【００４７】
復号化器２０からの復号信号が画像フレーム単位（この例では１フレーム）での遅延を行う可変遅延回路２２に供給される。この可変遅延回路２２に対して分離された遅延フラグが供給され、遅延処理、フリーズ（間引き）処理が制御される。遅延処理は、ストリームＡ、Ｂに関して、遅延無しと１フレーム遅延とを切り替える処理である。フリーズ処理は、可変遅延回路２２が同一フレームの画像を繰り返して出力することでなされる。重複する画像の一方を間引く処理も可変遅延回路２２によってなされる。
【００４８】
可変遅延回路２２の処理について詳述すると、ストリームの遅延フラグが立っている（すなわち、ＤＬ Ｆ（Ｂ２）＝１の）ＧＯＰは、復号化器２０の出力を可変遅延回路２２において１フレーム遅延する。ストリームの遅延フラグが立っていない（すなわち、ＤＬ Ｆ（Ｂ２）＝０の）ＧＯＰは、復号化器２０の出力を遅延せずに出力する。
【００４９】
図１１に示すように、切り替え信号の遅延フラグが立っている（ＳＷ  Change＝１の）ＧＯＰでは、ストリームＡ、Ｂの画像の切り替わり位置が切り替えられたＧＯＰの境目から１フレーム後になるように、制御される。すなわち、ストリームの遅延フラグが切り替え前後で変化しない場合、もしくは遅延無しから有りになる場合には、切り替え前の画像を時間的に後の方にフリーズし、また、ストリームの遅延フラグが切り替え前後で遅延有りから遅延無しになる場合は、切り替え後のＢの画像を捨てる。
【００５０】
図１１に示すように、切り替え信号の遅延フラグが立っていない（ＳＷ  Change＝０の）ＧＯＰでは、ストリームＡ、Ｂの切り替わり位置が、切り替えられたＧＯＰの境目になるように制御される。すなわち、ストリームの遅延フラグが切り替え前後で変化しない場合は何の処理も行わず、また、ストリームの遅延フラグが切り替え前後で遅延無しから有りになる場合は、切り替え後の画像を時間的に前の方にフリーズし、さらに、ストリームの遅延フラグが切り替え前後で遅延有りから無しになる場合は、切り替え前のＩ画像を捨てる。
【００５１】
なお、図６の構成および図１０のフローチャートを参照した説明は、第３の実施例に関するものである。第１の実施例では、復号側で切り替え点の直後の動き補償予測を双方向予測から片方向予測へ切り替えるので、復号側には、スイッチドストリームと共に、切り替えフラグが伝送される。そして、上述した第３の実施例と同様に、復号器の動作が制御される。また、第２の実施例では、動き補償予測を切り替えると共に、フリーズ（または間引き）処理を行う必要があるので、切り替えフラグと切り替え信号に関する遅延フラグ（ＳＷ  Change) とが復号側へ伝送される。そして、上述した第３の実施例と同様に、復号器および可変遅延回路の動作が制御される。
【００５２】
なお、上述した説明では、圧縮符号化の例として、２フレーム単位のＧＯＰの符号構成に対してこの発明を適用したものである。しかしながら、この発明は、２フィールド、３フレーム以上のＧＯＰの符号構成に対しても適用することができる。その場合では、制御の対象となる位相シフト量は、２フレーム以上のものとなり、遅延フラグのビット数も２ビット以上必要となる。
【００５３】
【発明の効果】
この発明によれば、第１の実施例の説明から理解されるように、互いにＧＯＰの位相の同期していない被切り替え信号（圧縮符号化信号）を１フレーム単位の切り替え信号を用いて切り替えても、復号画像にエラーが生じることを防止することができる。
【００５４】
また、この発明に依れば、第２の実施例の説明から理解されるように、復号画像にエラーが発生することを防止できる効果に加えて、圧縮符号化信号の切り替え時に意図した切り替え点を、復号された出力画像において反映することができる。
【００５５】
さらに、この発明に依れば、第３の実施例の説明から理解されるように、復号画像にエラーが発生することを防止できる効果に加えて、圧縮符号化信号の切り替え時に被切り替え信号の相互の時間関係を保持した出力画像を生成することができる。
【図面の簡単な説明】
【図１】この発明の第１の実施例の処理の一例を示すタイミングチャートである。
【図２】この発明の第１の実施例の処理の他の例を示すタイミングチャートである。
【図３】この発明の第２の実施例の処理の一例を示すタイミングチャートである。
【図４】この発明の第２の実施例の処理の他の例を示すタイミングチャートである。
【図５】この発明の第３の実施例の処理例を示すタイミングチャートである。
【図６】この発明の実施例の構成を示すブロック図である。
【図７】この発明の第３の実施例の処理例を示すタイミングチャートである。
【図８】この発明の第３の実施例の処理例を示すタイミングチャートである。
【図９】この発明の第３の実施例の処理例を示すタイミングチャートである。
【図１０】この発明の第３の実施例における送信（記録）側の処理を説明するためのフローチャートである。
【図１１】この発明の第３の実施例における受信（再生）側の処理を説明するためのフローチャートである。
【図１２】この発明を適用することができる圧縮符号の符号化の処理を説明するための略線図である。
【図１３】この発明を適用することができる圧縮符号の復号化の処理を説明するための略線図である。
【図１４】二つのストリームの切り替え処理の一例を説明するためのタイミングチャートである。
【図１５】二つのストリームの切り替え処理の他の例を説明するためのタイミングチャートである。
【図１６】二つのストリームの切り替え処理のさらに他の例を説明するためのタイミングチャートである。
【符号の説明】
１１、１２、１３・・・可変遅延回路、１４・・・遅延制御回路、１５・・・スイッチング回路、２０・・・復号化器、２１・・・フラグ分離器、２２・・・可変遅延回路
【図１】
0004161379.tif 000002
【図２】
0004161379.tif 000003
【図３】
0004161379.tif 000004
【図４】
0004161379.tif 000005
【図５】
0004161379.tif 000006
【図６】
0004161379.tif 000007
【図７】
0004161379.tif 000008
【図８】
0004161379.tif 000009
【図９】
0004161379.tif 000010
【図１０】
0004161379.tif 000011
【図１１】
0004161379.tif 000012
【図１２】
0004161379.tif 000013
【図１３】
0004161379.tif 000014
【図１４】
0004161379.tif 000015
【図１５】
0004161379.tif 000016
【図１６】
0004161379.tif 000017