(57)【特許請求の範囲】
【請求項１】
デジタル符号化されたビデオ信号であるビデオ符号により形成されるビットストリームを原ビットストリームとして入力し、この原ビットストリームとこの原ビットストリームを別のビットストリームに符号変換した変換ビットストリームとのいずれか一方を出力する際、入力する前記原ビットストリームを一時保持することにより前記原ビットストリームの出力開始タイミングを前記変換ビットストリームの出力開始タイミングと一致させるビデオ符号処理方法において、出力される原ビットストリームの出力開始タイミングは、少なくとも前記変換ビットストリームの出力開始タイミングを監視して前記一時保持する原ビットストリームの出力開始タイミングを制御することにより決定することを特徴とするビデオ符号処理方法。
【請求項２】
請求項１において、原ビットストリームと変換ビットストリームとのいずれか一方を出力する際の切替タイミングは、原ビットストリームを形成する符号化画像のビットストリーム構造に応じた切替タイミングを検出しこの検出した切替タイミングに一致させることを特徴とするビデオ符号処理方法。
【請求項３】
デジタル符号化されたビデオ信号であるビデオ符号により形成されるビットストリームを原ビットストリームとして入力し、この原ビットストリームを別のビットストリームである変換ビットストリームに符号変換するトランスコーダと、入力する前記原ビットストリームを前記トランスコーダが変換ビットストリームに符号変換して出力するまで一時保持しタイミングを一致させて出力するバッファ部と、前記トランスコーダおよび前記バッファ部それぞれからタイミングが一致した出力を受けており外部からの切替指示に基づいて両者のいずれか一方を外部出力に接続する切替部とを備えるビデオ符号処理システムにおいて、前記トランスコーダおよび前記バッファ部それぞれが出力する原ビットストリームおよび変換ビットストリームを引き込み両者の出力開始タイミングを一致させるように前記バッファ部に指示して原ビットストリームの出力を制御するバッファ制御部を、更に備えることを特徴とするビデオ符号処理システム。
【請求項４】
請求項３において、前記トランスコーダおよび前記バッファ部それぞれが出力する原ビットストリームおよび変換ビットストリームを引き込み、両者のうちいずれか一方で符号化画像のビットストリーム構造に応じた切替タイミングを検出し、外部から切替指示を受けた際にはこの切替タイミングに一致させて前記切替部に前記外部からの指示として切替えさせる切替制御部を、更に備えることを特徴とするビデオ符号処理システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、デジタル符号化されたビデオ信号であるビデオ符号により形成されるビットストリームを原ビットストリームとして入力し、この原ビットストリームとこの原ビットストリームを別のビットストリームに符号変換した変換ビットストリームとのいずれか一方を出力するビデオ符号処理方法およびそのシステムに関し、特に、原ビットストリームと変換ビットストリームとを相互に切り替える際に、復号した画像に乱れを生じることなく円滑に切替えができるビデオ符号処理方法およびそのシステムに関する。
【０００２】
【従来の技術】
従来、この種のビデオ符号処理方法では、ビデオ信号となる映像データを符号化しビットストリームを形成する場合、伝送路の帯域または記憶容量の低減などを目的に、ビットストリームを低レートに変換するトランスコードが行われる。例えばカラー動画を圧縮伸長する標準方式のＭＰＥＧ２の場合、送信側から空中線またはネットワークなどを介して受信側にビットストリームがトランスポートストリームとして伝送される。空中線またはネットワークの帯域が小さい場合には送信側でトランスポートストリームを低レートのトランスポートストリームに変換する、すなわち、トランスコードを実施した上で送信を行う。
【０００３】
また、受信側でトランスポートストリームを記録する場合には、記録装置または記録媒体などによるビットレートの上限、容量の上限などの制限があり得る。記録する際にトランスポートストリームを低レートのトランスポートストリームに変換する、すなわち、トランスコードを実行した上で記録すれば記録装置の記憶容量としての性能が上がることになる。
【０００４】
トランスコードの方法には各種あるが、簡単な方法としては復号器と符号化器との組み合わせで実現できる。つまり、ビットストリームを復号器に入力して完全に復号し、その出力画像データを符号化器に入力し所望のレートのビットストリームを形成して出力すればよい。しかし、この方法はビットストリームを復号、符号化する処理を行うため、復号、符号化それぞれの処理にかかる時間だけ入力ビットストリームに対して出力ビットストリームに遅れを生じることになる。
【０００５】
例えば、ＭＰＥＧ２のようなフレーム間の相関を利用する圧縮方式ではフレームの並べ替えを行うための時間遅れが生じる。すなわち、双方向予測符号化画像（Bピクチャ）は画像の表示順とは異なる順序でビットストリームに収容されている。一般的な「Ｍ＝３」のＭＰＥＧ２ストリームでは復号すると3フレーム分の遅れが発生する。更に、符号化処理の際にもイントラ符号化画像（Ｉピクチャ）、予測符号化画像（Ｐピクチャ）の符号化を待つため3フレーム分の遅れを生ずる。
【０００６】
すなわち、入力する元のビットストリームに対してトランスコードされたビットストリームは６フレーム分の遅れが生じることになる。そのため、単純に元のビットストリームとトランスコードされたビットストリームを切り替えると動画像が不連続になってしまう。また、時間遅れがないように、フレームの並べ替えを省略して切り替えようとすると、正常に復号、符号化処理が行われないため画面の乱れが生じる。
【０００７】
ここでは、トランスコードの方法として、復号器で完全に復号する方法をあげたが、他の実現方法、例えばＤＣＴ（離散コサイン変換）領域まで復号し、再符号化する方法などでも、元のビットストリームに対してトランスコードされたビットストリームには遅れが生じるので上記と同様な事態が発生する。
【０００８】
従来、トランスコーダされたビットストリーム自体のバッファ制御、レート制御に関する技術の提案はあるが、トランスコーダされたビットストリームと元のビットレートによるビットストリームとの間に生じる時間差に対する制御については該当する資料がない。
【０００９】
【発明が解決しようとする課題】
上述した従来のビデオ符号処理方法およびそのシステムでは、ビットストリームの途中で、トランスコードされたビットストリームから元のビットストリームへ、または元のビットストリームからトランスコードされたビットストリームへ切り替える際、連続的な動画像を得ることができないという問題点があった。
【００１０】
その理由は、トランスコードされたビットストリームは元のビットストリームに比べてトランスコード処理にかかる時間だけ遅れが生じる。また符号化の構造に基づくビットストリーム構造の相違から単純な切替を行うことができないからである。
【００１１】
本発明の目的は、このような問題点を解決し、ビットストリームの途中で、トランスコードされたビットストリームから元のビットストリームへ、または元のビットストリームからトランスコードされたビットストリームへ切り替える際にも、連続的な動画像を得ることができるビデオ符号処理方法およびそのシステムを提供することである。
【００１２】
【課題を解決するための手段】
本発明によるビデオ符号処理方法は、デジタル符号化されたビデオ信号であるビデオ符号により形成されるビットストリームを原ビットストリームとして入力し、この原ビットストリームとこの原ビットストリームを別のビットストリームに符号変換した変換ビットストリームとのいずれか一方を出力するビデオ符号処理方法において、入力する前記原ビットストリームを一時保持することにより前記原ビットストリームの出力タイミングを前記変換ビットストリームの出力タイミングと一致させている。
【００１３】
また、ビデオ符号処理システムでは、デジタル符号化されたビデオ信号であるビデオ符号により形成されるビットストリームを原ビットストリームとして入力し、この原ビットストリームとこの原ビットストリームを別のビットストリームに符号変換した変換ビットストリームとのいずれか一方を出力するビデオ符号処理システムにおいて、前記原ビットストリームを入力して前記変換ビットストリームに符号変換するトランスコーダと、入力する前記原ビットストリームを前記トランスコーダが変換ビットストリームに符号変換して出力するまで一時保持しタイミングを一致させて出力するバッファ部と、前記トランスコーダおよび前記バッファ部それぞれからタイミングが一致した出力を受けており外部からの切替指示に基づいて両者のいずれか一方を外部出力に接続する切替部とが備えられている。
【００１４】
このような手段により、入力する原ビットストリームを、一時保持してトランスコーダされたビットストリームの出力とタイミングを一致させることにより、動画像の画面を一致させた符号化データを出力することができる。
【００１５】
更に、具体的な手段の一つは、原ビットストリームと変換ビットストリームとのいずれか一方を出力する際の切替タイミングは、原ビットストリームを形成する符号化画像のビットストリーム構造に応じた切替タイミングを検出しこの検出した切替タイミングに一致させる切替制御手段を備えることにより、異なる種類の符号化画像のビットストリーム構造に対しても動画像の同一画面に対応する符号化データに適確に応じることができる。
【００１６】
また、前記原ビットストリームを入力して前記変換ビットストリームに符号変換し出力するトランスコーダが、入力する前記原ビットストリームを変換ビットストリームに符号変換して出力するまで一時保持しタイミングを一致させて出力するバッファ機能と、このバッファ機能からタイミングが一致した出力を受け外部からの切替指示に基づいて前記変換ビットストリームの出力を前記バッファ機能が出力する原ビットストリームに切り替えて外部に出力する切替機能とを内蔵してもよい。
【００１７】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
【００１８】
図１は本発明の実施の一形態を示す機能ブロック図である。図１に示されたビデオ符号処理システムでは、入力する元のビットストリームである原ビットストリームを入力するトランスコーダ１およびバッファ部２、並びにトランスコーダ１およびバッファ部２のいずれか一方の出力を切替えにより外部に接続する切替部３が備えられている。
【００１９】
図１が従来のビデオ符号処理システムと相違する点は、バッファ部２が設けられていることである。
【００２０】
トランスコーダ１は入力された原ビットストリームＡを変換して低レートの変換ビットストリームａを形成し切替部３へ出力する。バッファ部２は入力された原ビットストリームＡをトランスコーダ１の変換時間だけ保持して切替部３へ出力する。切替部３はトランスコーダ１の出力の変換ビットストリームａとバッファ部２から出力された原ビットストリームＡとを外部からの切替指示に基づき切り替えていずれか一方のビットストリームを外部へ出力する。
【００２１】
次に、図１に図２を併せ参照して図１における機能ブロックの動作について説明する。
【００２２】
トランスコーダ１から出力される変換ビットストリームａは、図２に示されるように、トランスコーダ１に入力される原ビットストリームＡに比べてトランスコーダ１の処理時間ｔｐだけの遅れを生じる。
【００２３】
バッファ部２はトランスコーダ１に入力される原ビットストリームＡを上記処理時間ｔｐだけ保持して出力する。従って、切替部３の入力部では、トランスコーダ１から出力される変換ビットストリームａおよびバッファ部２から出力される原ビットストリームＡそれぞれのフレーム位置が時間的に一致している。切替部３は二つの入力、すなわちトランスコーダされた変換ビットストリームａとバッファ部２から出力される原ビットストリームＡとをフレーム開始または終了といった時点で切り替える。この結果、動画像の乱れがない符号化データの切替えを行なうことができる。
【００２４】
次に、図３を参照して図１とは別の実施の形態について説明する。図３では、トランスコーダ１１、バッファ部１２、切替部１３、バッファ制御部１４、および切替制御部１５が備えられている。
【００２５】
図３が図１と相違する点は、バッファ部１２を制御するバッファ制御部１４と、切替部１３を制御する切替制御部１５とが追加されていることである。
【００２６】
トランスコーダ１１は、入力された原ビットストリームＡを変換し低レートの変換ビットストリームａを形成するという従来と同一の機能を有し、出力を切替部１３、バッファ制御部１４、および切替制御部１５へ接続する。
【００２７】
バッファ部１２は入力された原ビットストリームＡをバッファ制御部１４の制御を受けて一時保持し切替部１３、バッファ制御部１４、および切替制御部１５へ出力する。
【００２８】
切替部１３はトランスコーダ１１から出力される変換ビットストリームａとバッファ部１２から出力される原ビットストリームＡとを入力し切替制御部１５の制御を受けて変換ビットストリームａと原ビットストリームＡとをフレームの切替時点で切り替え、いずれか一方のビットストリームを外部出力へ接続する。
【００２９】
バッファ制御部１４は、トランスコーダ１１からの変換ビットストリームａとバッファ部１２からの原ビットストリームＡとを入力し、バッファ部１２から出力される原ビットストリームＡがトランスコーダ１１から出力される変換ビットストリームａとフレームの切替時点で時間的に等しくなるようにバッファ部１２を制御する。
【００３０】
切替制御部１５は、トランスコーダ１１から出力される変換ビットストリームａまたはバッファ部１２から出力される原ビットストリームＡを入力し、外部から入力する切替指示に基づきビットストリーム構造にあったタイミングで切り替えるよう切替部１３を制御する。
【００３１】
次に、図４に図３を併せ参照して図３におけるバッファ制御部１４の動作について説明する。
【００３２】
トランスコーダ１１から出力される変換ビットストリームａは、図４に示されるように、トランスコーダ１１に入力される原ビットストリームＡに比べてトランスコーダ１１の処理時間ｔｐだけの遅れを生じる。バッファ部１２は、入力する原ビットストリームＡを一時保持しバッファ制御部１４の指示に従って出力する。
【００３３】
バッファ制御部１４は、トランスコーダ１１から出力される変換ビットストリームａとバッファ部１２から出力される原ビットストリームＡとが時間的に等しくなるように、バッファ部１２に対して、原ビットストリームＡを保持させ、バッファ制御部１４からの指示により出力させる制御を行う。例えば、バッファ制御部１４は、バッファ部１２から出力される原ビットストリームＡの開始タイミングをトランスコーダ１１から出力される変換ビットストリームａの開始タイミングと比較し、そのフレームにおける切替時点の差が小さくなるようバッファ部１２にフィードバックして出力時点を指示することによりバッファ部１２出力の制御を行う。
【００３４】
次に、図５に図３を併せ参照して図３における切替制御部１５の動作について説明する。
【００３５】
切替制御部１５はビットストリームが最適なタイミングで切り替わるよう切替部１３を制御する。切替時点としては、例えばビットストリームがＭＰＥＧ２の場合、イントラ符号化画像（Ｉピクチャ）、予測符号化画像（Ｐピクチャ）、および双方向予測符号化画像（Ｂピクチャ）からなるグループオブピクチャ（ＧＯＰ）単位を用いることができる。
【００３６】
切替制御部１５はユーザまたはシステムからのトランスコード切替指示をＴｉ時点で受けたものとする。切替制御部１５は、トランスコードされた変換ビットストリームａまたはバッファ部１２から出力された原ビットストリームＡにおいてＴｉ時点以降で最初のＧＯＰの先頭時点Ｔｓを検出し、この先頭時点Ｔｓで切替動作を行うよう切替部１３に指示する。
【００３７】
次に、図３に戻って、切替部１３について説明する。
【００３８】
切替部１３は２つの入力、すなわちトランスコーダされた変換ビットストリームａおよびバッファ部１２から出力される原ビットストリームＡのいずれか一方に切り替えて外部出力へ接続する。ＭＰＥＧ２はＧＯＰごとにすべての符号化画像を復号できるので切替前後での復号画像の乱れは発生しない。
【００３９】
このように、異なる種類の符号化画像のビットストリーム構造に対して、フレーム内で最短の切替時点を選択することにより、外部からの切替指示に対して最短時間で動画像の同一画面に対応する符号化データに適確に応じることができるので、いずれのビットストリーム構造であっても、外部からの切替指示に対して最短時間で画像の乱れなしに原ビットストリームＡと変換ビットストリームａとを切り替えることができる。
【００４０】
また、原ビットストリームＡを入力して変換ビットストリームａに符号変換し出力するトランスコーダが、入力する原ビットストリームＡを変換ビットストリームａに符号変換して出力するまで一時保持しタイミングを一致させて出力するバッファ機能と、外部からの切替指示に基づいて上記変換ビットストリームａとバッファ機能を受けて同一タイミングとなった原ビットストリームＡとを切り替えて外部へ出力する切替機能とを内蔵してもよい。
【００４１】
上記説明では、バッファにおけるタイミング調整をフレーム単位とし、切替制御の時点をＧＯＰ単位としたが、ビットストリームの構成により別の適切な単位を選択することもできる。
【００４２】
また、機能ブロックを図示して説明したが、機能の分離併合が上記機能を満たす限り自由であり、上記説明が本発明を限定するものではない。
【００４３】
【発明の効果】
以上説明したように本発明によれば、次のような効果を得ることができる。
【００４４】
第１の効果は、ビットストリームの途中で、トランスコードされたビットストリームから元のビットストリームへ、または元のビットストリームからトランスコードされたビットストリームへ切り替える際にも、連続的な動画像を得ることができることである。
【００４５】
その理由は、入力された原ビットストリームに対してバッファ機能を設けトランスコードされたビットストリームと同一タイミングで出力することができるからである。この結果、原ビットストリームまたはトランスコードされたビットストリームのいずれであっても同一動画像の符号化データを外部出力へ接続することができる。
【００４６】
第２の効果は、いずれのビットストリーム構造であっても、外部からの切替指示に対して最短時間で画像の乱れなしに切り替えることができることである。
【００４７】
その理由は、切替制御機能によりビットストリームの構造から最適な切替時点を選択してビットストリームを切り替えることができるからである。
【図面の簡単な説明】
【図１】本発明の実施の一形態を示す機能ブロック図である。
【図２】図１の主要個所におけるタイミングチャートである。
【図３】図１とは別の本発明における実施の一形態を示す機能ブロック図である。
【図４】図３のバッファ制御部に関するタイミングチャートである。
【図５】図３の切替制御部に関するタイミングチャートである。
【符号の説明】
１、１１    トランスコーダ
２、１２    バッファ部
３、１３    切替部
１４    バッファ制御部
１５    切替制御部
【図１】
0003834170.tif 000002
【図２】
0003834170.tif 000003
【図３】
0003834170.tif 000004
【図４】
0003834170.tif 000005
【図５】
0003834170.tif 000006