(57)【特許請求の範囲】
【請求項１】
画像信号を小ブロックに分割し直交変換を施し符号化する静止画像符号化方式により生成された第１の画像信号の符号化ビットストリームを編集し，前記第１の画像信号に他の第２の画像信号を重畳させた重畳画像信号の符号化ビットストリームを生成する符号化画像編集装置において，
前記第１の画像信号の符号化ビットストリームを復号し，逆量子化する手段と，
該逆量子化により得られた直交変換係数を逆直交変換し，復号された第１の画像信号を生成する手段と，
該復号された第１の画像信号と前記第２の画像信号とを重畳させた重畳画像信号を生成する手段と，
該復号された第１の画像信号と前記重畳画像信号との差分信号を生成する手段と，
該差分信号に直交変換を施す手段と，
該直交変換によって得られた直交変換係数を，前記第１の画像信号の符号化ビットストリームの復号および逆量子化によって得られた直交変換係数に加算する手段と，
該加算された直交変換係数を量子化し符号化することにより前記重畳画像信号の符号化ビットストリームを生成する手段とを備える
ことを特徴とする符号化画像編集装置。
【請求項２】
動画像信号を小ブロックに分割しフレーム間動き補償を行った後，直交変換を施し符号化する動画像符号化方式により生成された第１の動画像信号の符号化ビットストリームを編集し，前記第１の動画像信号に他の第２の動画像信号を重畳させた重畳動画像信号の符号化ビットストリームを生成する符号化画像編集装置において，
前記第１の動画像信号の符号化ビットストリームを復号し，逆量子化する手段と，
該逆量子化により得られた直交変換係数を逆直交変換し，動き補償を用いて復号することにより，復号された第１の動画像信号を生成する手段と，
該復号された第１の動画像信号と前記第２の動画像信号とを重畳させた重畳動画像信号を生成する手段と，
該重畳動画像信号を，元の符号化ビットストリームの動き補償情報と量子化情報とを用いて符号化・復号した動画像信号を生成する手段と，
該生成された動画像信号と前記重畳動画像信号との差分信号を生成する手段と，
該差分信号に直交変換を施す手段と，
該直交変換によって得られた直交変換係数を，前記第１の動画像信号の符号化ビットストリームの復号および逆量子化によって得られた直交変換係数に加算する手段と，
該加算された直交変換係数を元の符号化ビットストリームの量子化情報を用いて量子化し符号化することにより前記重畳動画像信号の符号化ビットストリームを生成する手段とを備える
ことを特徴とする符号化画像編集装置。
【請求項３】
画像信号を小ブロックに分割し直交変換を施し符号化する静止画像符号化方式により生成された第１の画像信号の符号化ビットストリームを編集し，前記第１の画像信号に他の第２の画像信号を重畳させた重畳画像信号の符号化ビットストリームを生成する符号化画像編集方法において，
前記第１の画像信号の符号化ビットストリームを復号し，逆量子化する過程と，
該逆量子化により得られた直交変換係数を逆直交変換し，復号された第１の画像信号を生成する過程と，
該復号された第１の画像信号と前記第２の画像信号とを重畳させた重畳画像信号を生成する過程と，
該復号された第１の画像信号と前記重畳画像信号との差分信号を生成する過程と，
該差分信号に直交変換を施す過程と，
該直交変換によって得られた直交変換係数を，前記第１の画像信号の符号化ビットストリームの復号および逆量子化によって得られた直交変換係数に加算する過程と，
該加算された直交変換係数を量子化し符号化することにより前記重畳画像信号の符号化ビットストリームを生成する過程とを有する
ことを特徴とする符号化画像編集方法。
【請求項４】
動画像信号を小ブロックに分割しフレーム間動き補償を行った後，直交変換を施し符号化する動画像符号化方式により生成された第１の動画像信号の符号化ビットストリームを編集し，前記第１の動画像信号に他の第２の動画像信号を重畳させた重畳動画像信号の符号化ビットストリームを生成する符号化画像編集方法において，
前記第１の動画像信号の符号化ビットストリームを復号し，逆量子化する過程と，
該逆量子化により得られた直交変換係数を逆直交変換し，動き補償を用いて復号することにより，復号された第１の動画像信号を生成する過程と，
該復号された第１の動画像信号と前記第２の動画像信号とを重畳させた重畳動画像信号を生成する過程と，
該重畳動画像信号を，元の符号化ビットストリームの動き補償情報と量子化情報とを用いて符号化・復号した動画像信号を生成する過程と，
該生成された動画像信号と前記重畳動画像信号との差分信号を生成する過程と，
該差分信号に直交変換を施す過程と，
該直交変換によって得られた直交変換係数を，前記第１の動画像信号の符号化ビットストリームの復号および逆量子化によって得られた直交変換係数に加算する過程と，
該加算された直交変換係数を元の符号化ビットストリームの量子化情報を用いて量子化し符号化することにより前記重畳動画像信号の符号化ビットストリームを生成する過程とを有する
ことを特徴とする符号化画像編集方法。
【請求項５】
請求項３または請求項４に記載の符号化画像編集方法における処理手順をコンピュータに実行させるためのプログラムを，該コンピュータが読み取り可能な記録媒体に記録した
ことを特徴とする符号化画像編集プログラム記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は，画像符号化ビットストリームを直接編集する符号化画像編集装置，編集方法およびそのプログラム記録媒体に関する。
【０００２】
【従来の技術】
図５は，従来の符号化画像編集方法の例を示す。画像信号を小ブロックに分割し，直交変換を施して符号化された入力ビットストリーム５０１に，文字や画像を上書き重畳または半透明に重畳する場合，従来，図５に示すような処理を行っていた。
【０００３】
まず，入力ビットストリーム５０１を逆量子化し（５０２），逆直交変換する（５０３）。これに対するクリッピング５０４および整数化５０５の操作を経て，復号画像５０６を生成する。この復号画像５０６に埋め込み画像５０７を埋め込み（５０８），小ブロックに分割して直交変換を施し（５０９），クリッピング５１０および量子化５１１後に，可変長符号化し（５１２），編集後ビットストリーム５１３を生成する。
【０００４】
以上のように，静止画像あるいは動画像信号にロゴや文字などを重畳する際，従来は画像信号を復号した後，所望の画像を重畳し，再度符号化を行っていた。これはタンデム符号化と呼ばれる手法である。
【０００５】
また従来，入力ビットストリームを復号しないで他の画像を重畳する方法も用いられており，この方法では，復号せずに直交変換係数を操作し重畳を行っていた（例えばBo Shen, et al.,"DCT convolution and its application in compressed domain", IEEE Trans. CAS-VT, Vol.8, No.8, December 1998）。
【０００６】
【発明が解決しようとする課題】
画像符号化・復号の際，直交変換および逆直交変換それぞれに前後して変換係数の整数化や量子化，逆変換値のクリッピングが行われ，これにより歪み（原画像信号との誤差）が蓄積していく。したがって，タンデム符号化においては復号画像と原画像との誤差が増大してしまうという欠点があった。図５において，二重線の枠で示したクリッピング５０４，整数化５０５，クリッピング５１０，量子化５１１の段階が非可逆な操作であり，誤差を生じる原因となる。
【０００７】
また，復号せずに直交変換係数を直接操作し重畳する場合，逆直交変換や符号化を経ないために高速な処理が可能となるが，復号画像信号を扱わず復号信号の直交変換の推定値を扱うため，ビットストリームヘ重畳すべき信号との差分が，復号画像信号の差分値と完全一致せず，意図した復号画像が必ずしも得られないという欠点があった。
【０００８】
本発明の目的は，意図した復号画像信号を生成するビットストリームを得，かつ復号画像信号に含まれる誤差の蓄積を最低限に抑えることにある。
【０００９】
【課題を解決するための手段】
静止画像に画像を重畳する場合，本発明では，まずビットストリームから画像信号の直交変換係数（逆量子化を経たもの）ＦI を復号する。ついで，これを逆直交変換することにより，復号画像Ｉを生成し，これに目的の重畳を行なった信号Ｅを求める。両者の差分信号Ｄ＝Ｅ−Ｉを小ブロック毎に分割し直交変換を行い，ＦD を得る。これを先ほど得たＦI に加えたＦI ＋ＦD なる値を量子化・エントロピ符号化する。
【００１０】
直交変換は線形変換なのでＦI ＋ＦD を逆直交変換（Ｆ-1（・）で表す）した信号は，誤差を考えない場合，
0003691725.tif 000002
となり，意図した重畳後の画像信号に一致する。
【００１１】
この復号・重畳・符号化の処理は，全小ブロックについて行ってもよいし，重畳画像信号の位置に重なる小ブロックのみについて行ってもよい。
【００１２】
動画像に埋め込み画像（これも動画像でよい）を重畳する場合，本発明では復号器に相当するものをＡ，Ｂの２系統用意する。
【００１３】
まず，復号器Ａにて原ビットストリームを復号する。これをＩとする。その際，復号画像信号の直交変換係数ＦI （逆量子化を経たもの）を保持しておく。これは小ブロックの動き補償モードにより，イントラ符号化（フレーム内符号化）信号であったり，フレーム間予測差分信号であったりする。復号画像信号Ｉに所望の画像を重畳した信号をＥとする。この信号Ｅと，別系統の復号器Ｂからの復号画像信号Ｅ′との差分Ｄ（＝Ｅ−Ｅ′）を計算し，ＦI に重畳する。
【００１４】
動画像を対象とした場合に，復号器がＡ，Ｂの２系統必要となる理由は以下の通りである。ビデオシーケンスの１枚目への埋め込みをするだけならば，復号器は１個でよいが，動画像ではフレーム間予測符号化が行われるため，本装置が出力するビットストリームを復号する場面を想定し，その復号器内のローカルデコード画像と全く同じ画像（Ｅ′に相当）を，本装置内部でも保持しておき，参照画像に用いる必要がある。復号器が１個しかない場合，ＥをＥ′の代わりに参照画像として用いることになるが，系はlossy であって，Ｅ≠Ｅ′となるため，ドリフトを引き起こすことになる。このため，上述したように復号器はＡ，Ｂ２系統必要になる。
【００１５】
この復号器Ｂでは，差分Ｄを直交変換し，直交変換係数ＦI に加えた値を量子化・逆量子化・量子化し（量子化パラメータは復号器Ａと同じとする），フレームメモリ内の画像を動き補償した信号（動き補償情報も復号器Ａと同じとする）を重畳した信号を生成する。このため，復号器Ｂからの信号Ｅ′は，編集後のビットストリームを一般の復号器により復号した信号と完全に一致する。したがって，本システムが想定している画像信号と出力されるビットストリームを復号した画像信号には誤差はなく，本処理による画質劣化は最小限となる。
【００１６】
また，動き補償モードおよび量子化パラメータは復号器Ａ，Ｂで完全に同一としているために，仮に重畳画像信号が何もない場合，復号器ＡおよびＢの出力する画像は互いに一致し，かつ，この場合，Ｄ≡０であるためにビットストリームは入出力前後で全く変化しない。従来のタンデム符号化では，仮に重畳画像信号がゼロであっても量子化・逆量子化・クリッピングによリ，出力ビットストリームは入力と異なるのみならず，復号画像信号に重畳する雑音は入力ビットストリームを復号した画像より増えてしまう。
【００１７】
本発明は，ハードウェア回路によって実現することができるとともに，以上の符号化画像編集処理を行うソフトウェアプログラムをコンピュータに実行させることによって実現することもできる。本発明をコンピュータによって実現するためのプログラムは，コンピュータが読み取り可能な可搬媒体メモリ，半導体メモリ，ハードディスクなどの適当な記録媒体に格納することができる。
【００１８】
【発明の実施の形態】
以下，本発明の実施の形態について図面を参照して説明する。図１に第１の実施の形態のブロック図を示す。これは静止画像にロゴ・テロップ等の画像を重畳する場合を想定している。
【００１９】
入力ビットストリーム１０１は，まず可変長復号器１０２にて復号され，次いで逆量子化器１０３にて逆量子化されＦI を得る。これは逆直交変換器１０４を経て，クリッピング器１０５でクリッピング・整数化される。この信号が重畳なしの復号画像信号Ｉである。重畳器１０６において，信号Ｉへ埋め込み画像信号１０７が上書きまたは半透明重畳され，Ｅが出力される。減算器１０８にてＩとＥの差分を求め，Ｄとして出力する。Ｄは直交変換器１０９にて直交変換された後，加算器１１０にてＦI と加算され，クリッピング器１１１にてクリッピングされ，量子化器１１２にて量子化される。この量子化においては，逆量子化器１０３で逆量子化に用いられた量子化パラメータと同一の値を用いる。この値は可変長符号化器１１３へ送られた後，編集後ビットストリーム１１４として蓄積される。
【００２０】
図２は，図１のブロック図に対応する符号化画像編集処理のフローチャートである。まず，入力ビットストリーム１０１を復号して直交変換係数を取り出す（ステップＳ１）。次に，逆量子化値（逆量子化を経た直交変換係数ＦI ）を算出し（ステップＳ２），それを逆直交変換する（ステップＳ３）。この結果をクリッピング・整数化し（ステップＳ４），編集前の復号画像信号Ｉを得る。
【００２１】
得られた復号画像信号Ｉに，テロップ等の画像を上書き重畳または半透明に重畳して埋め込み（ステップＳ５），その重畳画像信号Ｅと編集前の復号画像信号Ｉとの差分Ｄを算出する（ステップＳ６）。その差分Ｄを直交変換し（ステップＳ７），得られた直交変換係数ＦD に元の直交変換係数ＦI を加算する（ステップＳ８）。この加算値をクリッピングし（ステップＳ９），量子化する（ステップＳ１０）。この結果を可変長符号化（エントロピ符号化）し（ステップＳ１１），可変長符号化結果の符号を編集後ビットストリーム１１４として出力する（ステップＳ１２）。
【００２２】
次に，本発明の第２の実施の形態について図面を参照して説明する。図３に，第２の実施の形態のブロック図を示す。これは動画像にロゴ・テロップ等の画像を重畳する場合を想定している。
【００２３】
入力ビットストリーム２０１は，まず可変長復号器２０２にて復号され，次いで逆量子化器２０３にて逆量子化される。この信号ＦI は，逆直交変換器２０４にて変換され，１画像を記憶するフレームメモリ２０７に記録されている画像信号を動き補償器２０８にて動き補償した情報に，加算器２０５にて重畳され，クリッピング器２０６でクリッピング・整数化される。この処理でフレームメモリ２０７に記憶される信号Ｉは，入力ビットストリームを一般のビットストリーム復号器で復号した画像信号そのものである。
【００２４】
重畳器２０９において，信号Ｉへ埋め込み画像信号２１０が上書き重畳または半透明重畳され，重畳画像信号Ｅが出力される。減算器２１１にてこの値とＥ′（後述する）の差分を求め，Ｄとして出力する。差分Ｄは直交変換器２１２にて直交変換された後，加算器２１３にてＦI と加算され，クリッピング器２１４にてクリッピングされ，量子化器２１５にて量子化される。この量子化においては，逆量子化器２０３で逆量子化に用いられた量子化パラメータと同一の値を用いる。この値は可変長符号化器２１６へ送られた後，編集後ビットストリーム２１７として蓄積される。また，量子化器２１５の出力は，逆量子化器２１８で逆量子化され，逆直交変換器２１９で逆直交変換される。
【００２５】
一方，フレームメモリ２２０に記録されている画像信号は，動き補償器２２１にて動き補償される。ここでは動き補償器２０８で用いたのと同じ動き補償信号を用いる。この信号と逆直交変換器２１９からの逆直交変換値を加算器２２２にて加算，クリッピング器２２３にてクリッピング・整数化した後の値が埋め込み編集（重畳）後の復号画像信号Ｅ′となる。復号画像信号Ｅ′は，減算器２１１に供給されるとともに，フレームメモリ２２０に記録される。
【００２６】
図４は，図３のブロック図に対応する符号化画像編集処理のフローチャートである。まず，入力ビットストリーム１０１を復号して直交変換係数を取り出す（ステップＳ２０）。次に，逆量子化値（逆量子化を経た直交変換係数ＦI ）を算出し（ステップＳ２１），それを逆直交変換する（ステップＳ２２）。この結果に，１フレーム前の復号画像信号Ｉに対して動き補償した信号を加えて，クリッピング・整数化し（ステップＳ２３），編集前の復号画像信号Ｉを得る。
【００２７】
得られた復号画像信号Ｉに，テロップ等の画像を上書き重畳または半透明に重畳して埋め込み（ステップＳ２４），その重畳画像信号Ｅと編集後の復号画像信号Ｅ′との差分Ｄを算出する（ステップＳ２５）。その差分Ｄを直交変換し（ステップＳ２６），得られた直交変換係数ＦD に元の直交変換係数ＦI を加算する（ステップＳ２７）。この加算値をクリッピングし（ステップＳ２８），ステップＳ２１と同じ量子化ステップ情報を用いて量子化する（ステップＳ２９）。
【００２８】
この結果を可変長符号化（エントロピ符号化）し（ステップＳ３０），可変長符号化結果の符号を編集後ビットストリーム２１７として出力する（ステップＳ３１）。
【００２９】
一方，ステップＳ２９において量子化した情報を，ステップＳ２１と同じ量子化ステップ情報を用いて逆量子化し（ステップＳ３２），それを逆直交変換して（ステップＳ３３），さらにステップＳ２３で用いたのと同じ動き補償情報を用いて動き補償，クリッピング，整数化を行い（ステップＳ３４），編集後の復号画像信号Ｅ′を求め，その結果をステップＳ２５における差分Ｄの算出に用いるようにする。
【００３０】
本発明によって重畳雑音の増加が抑えられる理由は，以下の通りである。直交変換・量子化・クリッピングを用いた画像信号符号化における復号画像信号には，原理的に必ず雑音（原画像との食い違い）が重畳する。したがって，復号→テロップ埋め込み→符号化という処理において，図５に示すような従来の技術では，テロップが覆っていない領域の画像信号は，２度の符号化を経ることになり，元々のビットストリームの復号画像よりさらに雑音が増加して重畳されたビットストリームが得られることになってしまう。
【００３１】
これに対し，本発明では，
(1) ビットストリームの動き補償情報および量子化ステップ情報を変更しない，
(2) 画像信号でなく，直交変換係数にテロップ画像の情報を埋め込む，
ことにより，テロップが覆っていない部分の復号画像信号が全く変換しないビットストリームの変更が実現できる。したがって，本発明によれば，重畳雑音の増加を最低限に抑えることが可能になる。
【００３２】
【発明の効果】
以上説明したように，本発明によれば，生成される復号画像信号の画品質劣化を理論上最小限に抑えつつ，ビットストリームに任意の文字・ロゴマーク等を重畳したビットストリームを生成できるようになる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態を示すブロック図である。
【図２】本発明の第１の実施の形態の処理フローチャートである。
【図３】本発明の第２の実施の形態を示すブロック図である。
【図４】本発明の第２の実施の形態の処理フローチャートである。
【図５】編集操作の各段階における誤差蓄積を説明するための従来技術の概念図である。
【符号の説明】
１０１  入力ビットストリーム
１０２  可変長復号器
１０３  逆量子化器
１０４  逆直交変換器
１０５  クリッピング器
１０６  重畳器
１０７  埋め込み画像信号
１０８  減算器
１０９  直交変換器
１１０  加算器
１１１  クリッピング器
１１２  量子化器
１１３  可変長符号化器
１１４  編集後ビットストリーム
【図１】
0003691725.tif 000003
【図２】
0003691725.tif 000004
【図３】
0003691725.tif 000005
【図４】
0003691725.tif 000006
【図５】
0003691725.tif 000007