(57)【要約】【課題】ロゴなどの部分画像を含む動画像を、符号化コストを増加させることなく、特にロゴ部分を高画質で、かつ簡単に圧縮符号化できる圧縮符号化方法および装置を提供する。【解決手段】本発明の圧縮符号化装置は、部分画像を含む制御ブロックを予測符号化する際に、この部分画像を最初に表示するピクチャおよびイントラピクチャにおいてはフレーム内予測を適用すると共に、その量子化パラメータを従来よりも減補正して画質を向上させる一方、部分画像を最初以外に表示するピクチャにおいてはフレーム間予測を適用すると共に、その量子化パラメータを従来よりも増補正して符号化コストを減じる【選択図】図５
2008167380.tif 000002
【特許請求の範囲】
【請求項１】
画像上の一部の領域に部分画像が挿入された非圧縮動画像を制御ブロック単位で所定の量子化パラメータに基づいてフレーム間予測またはフレーム内予測で圧縮符号化する圧縮符号化装置において、              
画像パラメータに基づいて量子化パラメータを導出する手段と、
符号化対象の制御ブロックが部分画像を含む制御ブロックであるか否かを判定する手段と、
前記部分画像を含む制御ブロックが、前記部分画像を最初に表示するピクチャの制御ブロックであるか否かを判定する手段と、
前記部分画像を最初に表示するピクチャおよびイントラピクチャの部分画像を含む制御ブロックにフレーム内予測を適用し、前記部分画像を最初以外に表示するピクチャの部分画像を含む制御ブロックにフレーム間予測を適用する手段と、
前記部分画像を含む制御ブロックをフレーム間予測で圧縮符号化するために導出された量子化パラメータを増補正する手段と、
前記部分画像を含む制御ブロックをフレーム内予測で圧縮符号化するために導出された量子化パラメータを減補正する手段とを含み、
前記部分画像を含む制御ブロックが、前記増減補正された量子化パラメータで量子化されることを特徴とする動画像の圧縮符号化装置。
【請求項２】
前記部分画像を含む制御ブロックの量子化パラメータは、前記増補正された量子化パラメータが前記減補正された量子化パラメータよりも大きくなるように、それぞれ増減補正されることを特徴とする請求項１に記載の動画像の圧縮符号化装置。
【請求項３】
前記部分画像を含む制御ブロックのフレーム間予測では、動きベクトルがゼロに設定されることを特徴とする請求項１または２に記載の動画像の圧縮符号化装置。
【請求項４】
部分画像の形状ならびに時間的および空間的な挿入位置を含む属性情報を入力する手段と、
前記属性情報に基づいて、前記部分画像の配置を、当該部分画像の輪郭と制御ブロックの境界とが一致するように設定する手段とを含むことを特徴とする請求項１に記載の動画像の圧縮符号化装置。
【請求項５】
前記部分画像を含む制御ブロックにフレーム間予測が適用されるフレームでは、各制御ブロックがスキップモードで予測されることを特徴とする請求項１ないし４のいずれかに記載の動画像の圧縮符号化装置。
【請求項６】
画像上の一部の領域に部分画像が挿入された非圧縮動画像を制御ブロック単位で所定の量子化パラメータに基づいてフレーム間予測またはフレーム内予測で圧縮符号化する圧縮符号化方法において、              
符号化対象の制御ブロックが部分画像を含む制御ブロックであるか否かを判定する手順と、
前記部分画像を含む制御ブロックが、前記部分画像を最初に表示するピクチャの制御ブロックであるか否かを判定する手順と、
前記部分画像を最初に表示するピクチャおよびイントラピクチャの部分画像を含む制御ブロックにフレーム内予測を適用する手順と
前記部分画像を最初以外に表示するピクチャの部分画像を含む制御ブロックにフレーム間予測を適用する手順と、
前記部分画像を含む制御ブロックをフレーム間予測で圧縮符号化するために導出された量子化パラメータを増補正する手順と、
前記部分画像を含む制御ブロックをフレーム内予測で圧縮符号化するために導出された量子化パラメータを減補正する手順と、
前記部分画像を含む制御ブロックを、前記増減補正された量子化パラメータで量子化する手順とを含むことを特徴とする動画像の圧縮符号化方法。
【請求項７】
前記部分画像を含む制御ブロックの量子化パラメータは、前記増補正された量子化パラメータが前記減補正された量子化パラメータよりも大きくなるように、それぞれ増減補正されることを特徴とする請求項６に記載の動画像の圧縮符号化方法。
【請求項８】
前記部分画像を含む制御ブロックのフレーム間予測では、動きベクトルがゼロに設定されることを特徴とする請求項６または７に記載の動画像の圧縮符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像の圧縮符号化方法および装置に係り、特に、ロゴなどの部分画像が挿入された動画像の圧縮符号化に好適な圧縮符号化方法および装置に関する。
【背景技術】
【０００２】
ロゴなどの部分画像を動画像に挿入する手法として、MPEGなどの符号化方式により圧縮符号化済みの動画像に、画像を部分的に挿入する技術が特許文献１〜８に開示されている。
これらの手法は、動画像を部分的に復号して非圧縮画像に戻した上で、あるいは変換係数上で、部分画像を挿入する技術であり、いずれも動画像の再利用という点では欠かせない技術であるが、部分画像挿入前の符号化動画像における発生符号量推移に起因する制約が大きいので、挿入する部分画像の画質の劣化を最小限に抑えるような挿入制御を行うことが困難であった。
一方、部分画像の品質を保証する手法として、部分画像を予め非圧縮動画像に重畳し、通常の圧縮符号化処理を行う方法や、部分画像を動画像とは別の手順で圧縮(JPEGなどの静止画符号化、あるいは、MPEG-4におけるオブジェクト符号化など)して再生時に動画像に重畳する方法が知られている。
【特許文献１】特開2004-304231号公報
【特許文献２】特表2003-532316号公報
【特許文献３】特表2002-531019号公報
【特許文献４】特表2002-531019号公報
【特許文献５】特開平11-261966号公報
【特許文献６】特開2001-268572号公報
【特許文献７】特開2000-78471号公報
【特許文献８】特開2000-78468号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
特にモバイル向けなどのサービスでは、映像の解像度が低く、また、符号化ビットレートも制限されるため、広告や著作権者を示すロゴや重要な情報を含む文字列を符号化した場合、制限された符号化パラメータの影響を受けるなどして、重要な広告やロゴなどの画像が劣化することが多い。
【０００４】
一方、デジタル放送などのサービスでは、これらのロゴ画像や重要な文字列は、符号化された映像コンテンツではなく、高品質な静止画像やテキスト文字コードなどの付加的なデータとして、MPEG-2 TS システムのレイヤで多重化するなどの拡張を行うことで品質を維持している。しかしながら、これらの拡張方式では、再生時の複雑な合成やそのタイミングの制御機能を有した特別な受信機が必要になる。
【０００５】
本発明の目的は、上記した従来技術の課題を解決し、ロゴなどの部分画像を含む動画像を、符号化コストを増加させることなく、特にロゴ部分を高画質で、かつ簡単に圧縮符号化できる圧縮符号化方法および装置を提供することにある。
【課題を解決するための手段】
【０００６】
上記した目的を達成するために、本発明の圧縮符号化装置は、部分画像を含む制御ブロックを符号化する際に、この部分画像を最初に表示するピクチャおよびイントラピクチャの部分画像を含む制御ブロック(例えば、MPEG符号化におけるマクロブロック、あるいは、動き補償ブロック)においてはフレーム内予測を適用すると共に、その量子化パラメータを従来よりも減補正して画質を向上させる一方、部分画像を最初以外に表示するインターピクチャにおける部分画像を含む制御ブロックにおいてはフレーム間予測を適用すると共に、その量子化パラメータを従来よりも増補正して符号化コストを減じるようにした点に特徴がある。
【発明の効果】
【０００７】
本発明によれば、部分画像を最初に表示するピクチャやイントラピクチャのように、発生符号量が多いマクロブロックでは量子化パラメータが減補正されるので部分画像の画質が向上する。また、部分画像を最初以外に表示するピクチャのように、部分画像が静止画であって当該領域の予測差分値の発生符号量が理想的にはゼロまたは十分に小さくなるマクロブロックでは、量子化パラメータが増補正されて符号化コストが減ぜられるので、簡単な構成で、符号化コストを全体としては減じながら、ロゴなどの部分画像の画質を維持することができるようになる。また、静止画である挿入部分画像の画素値に何らかの原因で時間的な揺らぎ(雑音)が発生する場合は、この量子化パラメータの増補正により、その揺らぎを吸収し、主観的な画像品質を向上させる効果も得られる。
【発明を実施するための最良の形態】
【０００８】
以下、図面を参照して本発明の最良の実施の形態について詳細に説明する。図１は、本発明に係る動画像圧縮符号化装置の主要部の構成を示したブロック図であり、ここでは、本発明の説明に不用な構成は図示が省略されている。
【０００９】
本発明の動画像圧縮符号化装置１０には、非圧縮動画像Dmと、この非圧縮動画像Dmに挿入されるロゴ画像、標章、重要文字列といった非圧縮の部分画像Dpと、この部分画像Dpの属性情報Daとして、部分画像Dpの形状およびサイズ、ならびに部分画像Dpの空間的および時間的な配置情報等が入力される。前記部分画像Dpの配置情報は、部分画像Dpの再生画像上での挿入位置および挿入タイミングを含む。
【００１０】
前記動画像圧縮符号化装置１０において、配置制御部１は、部分画像Dpの属性情報Daと動画像Dmの各制御ブロックの境界情報とに基づいて、部分画像Dpの再生画像上での空間的な挿入位置を補正すると共に、動画像Dmの各制御ブロックに部分画像Dpが重畳されているか否かを示すブロック属性情報を抽出する。部分画像挿入部２は、前記配置制御部１から指定される非圧縮動画像Dmの挿入位置に前記部分画像Dpを挿入して出力する。
【００１１】
符号化制御部３は、前記配置制御部１から提供される部分画像Dpの属性情報Daおよび各制御ブロックのブロック属性情報とに基づいて、各制御ブロックの符号化モードおよび動きベクトルMV等を決定すると共に、符号化レートや符号化の難しさといった画像パラメータに基づいて量子化パラメータQPを決定する。圧縮符号化部４は、部分画像Dpが挿入された非圧縮動画像Dm+pを、前記符号化制御部３から通知される符号化モード、量子化パラメータQPおよび動きベクトルMV等に基づいて制御ブロックごとに圧縮符号化する。
【００１２】
図２は、部分画像Dpが挿入された非圧縮動画像Dm+pの制御ブロックや部分画像の境界情報を模式的に示した図であり、ここでは、制御ブロックがマクロブロック(MB)および動き補償ブロック(MC)である場合を例にして説明する。
【００１３】
本実施形態では、動画像のMBのうち、図中ハッチングで示したように、少なくとも一部分が部分画像Dpと重なるMBを特にMBlogoと表現する。部分画像Dpの挿入位置は、基準点（本実施形態では、再生画像の左上端部）からのオフセット値として定義される。
【００１４】
図３は、前記配置制御部１の動作を模式的に表現した図であり、本実施形態では、部分画像Dpの形状が正方形を含む長方形であって、その縦横サイズは、MBまたはMCの整数倍にあらかじめ規定されている。部分画像Dpは、その輪郭がMB境界またはMC境界と一致するように配置される。
【００１５】
前記配置制御部１は、最初に部分画像Dpの輪郭がMB境界と一致するか否かを判定し、一致しない輪郭に関しては、MCを１６×１６画素から１６×８画素、さらには８×１６画素、８×８画素、８×４画素、４×８画素、４×４画素へと、部分画像Dpの輪郭がMC境界と一致するまで細分化する。あるいは、部分画像Dpの輪郭とMC境界とが一致するように部分画像Dpの配置座標を修正する。部分画像の輪郭を、より大きなブロック境界と一致させることで、発生符号量を抑えることができる。
【００１６】
図４は、前記符号化制御部３および圧縮符号化部４の主要部の構成を示したブロック図であり、圧縮符号化部４は符号化制御部３からの指示に応答して動画像Dm+pを圧縮符号化する。
【００１７】
圧縮符号化部３において、量子化パラメータ導出部３０１は、符号化レートや符号化の難しさといった画像パラメータに基づいて既知の手法で量子化パラメータQPを導出する。補正係数記憶部３０２には、MBlogoにフレーム内予測を適用する際の量子化パラメータQPを減補正して量子化ステップを細かくするための補正係数αと、MBlogoにフレーム間予測を適用する際の量子化パラメータQPを増補正して量子化ステップを粗くするための補正係数βとが記憶されている。MV設定部３０３は、MBlogoをフレーム間予測する際の動きベクトルを全てゼロに設定する。なお、本実施形態では増補正された量子化パラメータ(QP2)が、減補正された量子化パラメータ(QP1)よりも常に大きくなるように前記補正係数α、βが設定されている。
【００１８】
動き予測部４０１は、部分画像が重畳された非圧縮動画像Dm+pと画像メモリ部４１０に蓄えられている参照画像D7とに基づいて動きベクトルMVを生成すると共に、この動きベクトルMVでフレーム間予測を行った場合の符号化コストCinterを出力する。動き補償部４０２は、前記動きベクトルMVと前記画像メモリ部４１０に蓄えられている参照画像D7とに基づいてフレーム間予測を行い、予測結果をフレーム間予測データD1として出力する。
【００１９】
減算器４１２は、セレクタ４０７で選択された予測信号D8を前記非圧縮動画像Dm+pから減じて予測残差D2を生成する。予測残差D2は、直交変換部４０３においてMB単位で直交変換されて直交変換係数D3となる。この直交変換係数D3は、量子化部４０４において、符号化制御部３から指示される量子化パラメータQPを用いて量子化される。
【００２０】
量子化部４０４で量子化された直交変換係数D4は、エントロピー符号化部４０５で可変長符号化されて出力される一方、逆量子化部４０７において逆量子化される。逆量子化部４０７の出力は直交逆変換部４０８で直交逆変換される。すなわち、逆量子化部４０７および直交逆変換部４０８では、前記量子化部４０４および直交変換部４０３と逆の処理が行われ、直交逆変換部４０８の出力には前記予測残差D2に近似した信号が得られる。
【００２１】
直交逆変換部４０８の出力は、加算回路４０６で前記予測信号D8と加算されて局部復号信号D5が生成される。この局部復号信号D5はデブロッキングフィルタ部４０９でブロックノイズを除去された後、前記画像メモリ４１０に参照画像信号D7として記憶される。
【００２２】
フレーム内予測部４１１は、前記局部復号信号D5に基づいてフレーム内予測信号D6を生成すると共に、フレーム内予測を行った場合の符号化コストCintraを出力する。前記セレクタ４０７は、フレーム内予測の符号化コストとフレーム間予測の符号化コストとの比較結果に基づいて、フレーム間予測信号D1およびフレーム内予測信号D6の一方を制御ブロックごとに選択し、これを予測信号として出力する。
【００２３】
図５は、本実施形態における予測符号化方式および量子化パラメータQPの設定手順を示したフローチャートであり、主に前記符号化制御部３の動作を示している。
【００２４】
ステップＳ１では、今回の注目MBが部分画像Dpを含むMBlogoであるか否かが判定され、MBlogo以外の通常のMBであればステップＳ１０へ進む。ステップＳ１０では、今回の注目MBに対してフレーム内予測およびフレーム間予測が従来と同様に実行され、両者の符号化コストCintra，Cinterに基づいて符号化予測方式がいずれか一方に設定される。このとき、符号化レートや再生画質等に基づいて前記量子化パラメータ導出部３０１で導出された量子化パラメータQPが量子化部４０４へ通知される。前記セレクタ４０７は、設定された予測方式の予測信号を選択して出力する。
【００２５】
これに対して、今回の注目MBがMBlogoであればステップＳ２へ進み、部分画像Dpが最初に出現するピクチャのMBlogoであるか否かが判定される。図６に示したn番目のピクチャのように、部分画像Dpが最初に出現するピクチャのMBlogoであればステップＳ３へ進み、今回の注目MB(MBlogo)がフレーム内予測の対象となるイントラMBに設定される。ステップＳ４では、フレーム内予測時の量子化パラメータQP1が、前記量子化パラメータ導出部３０１において符号化レートや再生画質等に基づいて導出されたQP値から前記補正係数α（αは不負値の整数）を減じて減補正された値(＝QP−α)に設定される。
【００２６】
一方、前記ステップＳ２において、部分画像Dpが最初に出現するピクチャのMBlogoではない、すなわち、図６の(n+1)番目や(n+2)番目のピクチャのMBlogoと判定されればステップＳ５ヘ進む。ステップＳ５では、今回の注目MBを含むピクチャが、全てのMBを強制的にフレーム内予測で符号化すイントラピクチャであるか否かが判定される。イントラピクチャでなければステップＳ６へ進み、今回の注目MBがフレーム間予測の対象となるインターMBに設定される。ステップＳ７では、フレーム間予測時の量子化パラメータQP2が、前記量子化パラメータ導出部３０１において符号化レートや再生画質等に基づいて導出されたQP値に前記補正係数β（βは不負値の整数）を加えて増補正された値(＝QP＋β)に設定される。
【００２７】
なお、前記ステップＳ５において、今回の注目MBがイントラピクチャと判定されるとステップＳ８へ進み、今回の注目MBがイントラMBに設定される。ステップＳ９では、今回の注目MBの量子化パラメータQP1が、符号化レートや再生画質等に基づいて導出されるQPから前記補正係数αを減じて減補正された値(＝QP−α)に設定される。
【００２８】
なお、ロゴ入り制御ブロックにフレーム間予測が適用されるフレームでは、各制御ブロックが、変換係数（例えば、DCT係数）も動きベクトルも符号化せず、予測可能な情報のみを用いて符号化するスキップモードで符号化される用意すれば、符号化効率を更に向上させることができる。
【図面の簡単な説明】
【００２９】
【図１】本発明に係る動画像圧縮符号化装置の主要部の構成を示したブロック図である。
【図２】部分画像が挿入された非圧縮動画像のフレーム構造を模式的に示した図である。
【図３】配置制御部の動作を模式的に表現した図である。
【図４】圧縮符号化部の主要部の構成を示したブロック図である。
【図５】予測符号化方式および量子化パラメータの設定手順を示したフローチャートである。
【図６】部分画像の時間的な挿入例を示した図である。
【符号の説明】
【００３０】
１…配置制御部，２…部分画像挿入部，３…符号化制御部，４…圧縮符号化部，１０…動画像圧縮符号化装置，３０１…量子化パラメータ導出部，３０２…補正係数記憶部，３０３…MV設定部
【図１】
2008167380.tif 000003
【図２】
2008167380.tif 000004
【図３】
2008167380.tif 000005
【図４】
2008167380.tif 000006
【図５】
2008167380.tif 000007
【図６】
2008167380.tif 000008