(57)【特許請求の範囲】
【請求項１】
画像上の一部の領域に部分画像が挿入された非圧縮動画像をフレーム間予測またはフレーム内予測で圧縮符号化する圧縮符号化装置において、
局部復号信号をデブロッキングする手段と、
該デブロッキングされた局部復号信号を蓄積する画像メモリと、
該画像メモリにおいて、前記デブロッキングされた局部復号信号中の、部分画像を含む最初のフレームを記憶するメモリ領域を長期間参照メモリとして割り付ける制御手段とを具備し、
前記長期間参照メモリは、前記画像メモリのデータが全て破棄された直後のイントラ符号化された画像データにより、該イントラ符号化された画像データに更新されることを特徴とする圧縮符号化装置。
【請求項２】
請求項１に記載の圧縮符号化装置において、
前記部分画像が挿入された区間の２番目以降に現れる部分画像領域の予測符号化については、前記長期間参照メモリにおける部分画像領域が強制的に参照されることを特徴とする圧縮符号化装置。
【請求項３】
請求項１または２に記載の圧縮符号化装置において、
前記部分画像が挿入された区間の最後の画像の符号化完了後に、前記長期間参照メモリは解放されることを特徴とする圧縮符号化装置。
【請求項４】
請求項１ないし３のいずれかに記載の圧縮符号化装置において、
前記イントラ符号化された画像データが、Ｈ．２６４におけるＩＤＲピクチャであることを特徴とする圧縮符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像の圧縮符号化装置に係り、特に、ロゴなどの部分画像が挿入された動画像の圧縮符号化に好適な圧縮符号化装置に関する。
【背景技術】
【０００２】
ロゴなどの部分画像を動画像に挿入する手法として、ＭＰＥＧなどの符号化方式により圧縮符号化済みの動画像に、画像を部分的に挿入する技術が特許文献１〜８に開示されている。
【０００３】
これらの手法は、動画像を部分的に復号して非圧縮画像に戻した上で、あるいは変換係数上で、部分画像を挿入する技術であり、いずれも動画像の再利用という点では欠かせない技術であるが、部分画像挿入前の符号化動画像における発生符号量推移に起因する制約が大きいので、挿入する部分画像の画質の劣化を最小限に抑えるような挿入制御を行うことが困難であった。
【０００４】
また、上記の特許文献に記載された発明では、広告や著作権者を示すロゴ画像や重要な情報を含むＭＰＥＧなどのフレーム間予測を用いた符号化方式によって符号化した場合、特にモバイル向けなどのサービスでは、制限された符号化パラメータの影響を受けるなどして、重要な広告やロゴなどの画像が劣化することが多いという問題があった。
【０００５】
そこで、本出願人は、この問題に対処するために、量子化パラメータの時間・空間的な制御を行うことによって、より高品質な部分画像の符号化を行う発明をして、特許出願した（特願２００７−５７２号、以下「出願発明」という）。
【特許文献１】特開2004-304231号公報
【特許文献２】特表2003-532316号公報
【特許文献３】特表2002-531019号公報
【特許文献４】特表2002-531019号公報
【特許文献５】特開平11-261966号公報
【特許文献６】特開2001-268572号公報
【特許文献７】特開2000-78471号公報
【特許文献８】特開2000-78468号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、前記した出願発明では、これをＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４に適用した場合、デブロッキングフィルタ（画像の符号化時に生じるブロック歪みを減少させるためのフィルタ）による、マクロブロック間の画素の平滑化の影響がフレーム間予測によって時間的に伝搬することにより、特に部分画像（ロゴ）のエッジでの品質劣化が徐々に顕著になるという問題が発生することが分かった。また、特に、モバイル向けのコンテンツにおいては、ランダムアクセス可能なキーフレームとなるイントラピクチャの出現間隔が大きくなるため、この現象は顕著に現れることになるという問題もあった。
【０００７】
本発明は、前記した先行技術の問題点に鑑みてなされたものであり、その目的は、デブロッキングフィルタとフレーム間予測の影響で、時間的に部分画像の品質が徐々に劣化する現象を回避できるようにした動画像の圧縮符号化装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記した目的を達成するために、本発明は、画像上の一部の領域に部分画像が挿入された非圧縮動画像をフレーム間予測またはフレーム内予測で圧縮符号化する圧縮符号化装置において、局部復号信号をデブロッキングする手段と、該デブロッキングされた局部復号信号を蓄積する画像メモリと、該画像メモリにおいて、前記デブロッキングされた局部復号信号中の、部分画像を含む最初のフレームを記憶するメモリ領域を長期間参照メモリとして割り付ける制御手段とを具備し、前記長期間参照メモリは、前記画像メモリのデータが全て破棄された直後のイントラ符号化された画像データにより、該イントラ符号化された画像データに更新されるようにした点に特徴がある。
【発明の効果】
【０００９】
本発明によれば、デブロッキングされた符号化対象の画像のうちの部分画像を含む最初のフレームを記憶するメモリ領域が長期間参照メモリとして割り付けられてフレーム間予測における参照画像となるので、部分画像の劣化が時間的に伝搬するのを防止することができるようになる。
【００１０】
また、モバイル向けのコンテンツ等のように、ランダムアクセス可能なキーフレームとなるイントラピクチャの出現間隔が大きくなっても、部分画像の劣化が時間的に伝搬するのを防止できるようになり、画質の良好な部分画像を含むモバイル向け画像を提供できるようになる。
【発明を実施するための最良の形態】
【００１１】
以下に、図面を参照して本発明を詳細に説明する。まず、本発明の前提となる前記出願発明について、簡単に説明する。
【００１２】
図１は、本発明に係る動画像圧縮符号化装置の主要部の構成を示したブロック図であり、ここでは、本発明の説明に不用な構成は図示が省略されている。
【００１３】
本発明の動画像圧縮符号化装置１０には、非圧縮動画像Dmと、この非圧縮動画像Dmに挿入されるロゴ画像、標章、重要文字列といった非圧縮の部分画像Dpと、この部分画像Dpの属性情報Daとして、部分画像Dpの形状およびサイズ、ならびに部分画像Dpの空間的および時間的な配置情報等が入力される。前記部分画像Dpの配置情報は、部分画像Dpの再生画像上での挿入位置および挿入タイミングを含む。ただし、部分画像Dpの属性情報Daの入力は任意とし、属性情報Daが入力されない場合は、ハフ変換やテンプレートマッチングなどの既存の手法により、部分画像Dpの属性情報Daを自動抽出可能とする。以下では、属性情報Daが外部から入力される場合について説明する。
【００１４】
前記動画像圧縮符号化装置１０において、配置制御部１は、部分画像Dpの属性情報Daと動画像Dmの各制御ブロックの境界情報とに基づいて、部分画像Dpの再生画像上での空間的な挿入位置を補正すると共に、動画像Dmの各制御ブロックに部分画像Dpが重畳されているか否かを示すブロック属性情報を抽出する。部分画像挿入部２は、前記配置制御部１から指定される非圧縮動画像Dmの挿入位置に前記部分画像Dpを挿入して出力する。
【００１５】
符号化制御部３は、前記配置制御部１から提供される部分画像Dpの属性情報Daおよび各制御ブロックのブロック属性情報とに基づいて、各制御ブロックの符号化モードおよび動きベクトルMV等を決定すると共に、符号化レートや符号化の難しさといった画像パラメータに基づいて量子化パラメータQPを決定する。圧縮符号化部４は、部分画像Dpが挿入された非圧縮動画像Dm+pを、前記符号化制御部３から通知される符号化モード、量子化パラメータQPおよび動きベクトルMV等に基づいて制御ブロックごとに圧縮符号化する。
【００１６】
なお、前記した属性情報Daが外部から入力されない場合の構成は、図２のようになる。部分画像情報抽出部５がハフ変換やテンプレートマッチングなどの手法によりブロック内の部分画像を抽出し、部分画像Dpおよび属性情報Daの情報を抽出する。
【００１７】
図３は、部分画像Dpが挿入された非圧縮動画像Dm+pの制御ブロックや部分画像の境界情報を模式的に示した図であり、ここでは、制御ブロックがマクロブロック(MB)および動き補償ブロック(MC)である場合を例にして説明する。
【００１８】
本実施形態では、動画像のMBのうち、図中ハッチングで示したように、少なくとも一部分が部分画像Dpと重なるMBを特にMBlogoと表現する。部分画像Dpの挿入位置は、基準点（本実施形態では、再生画像の左上端部）からのオフセット値として定義される。挿入される部分画像（ロゴ画像等）は、ある固定のオフセット値をもって配置され、時間と共に変化しないものとする。
【００１９】
図４は、前記配置制御部１の動作を模式的に表現した図であり、本実施形態では、部分画像Dpの形状が正方形を含む長方形であって、その縦横サイズは、MBまたはMCの整数倍にあらかじめ規定されている。部分画像Dpは、その輪郭がMB境界またはMC境界と一致するように配置される。
【００２０】
前記配置制御部１は、最初に部分画像Dpの輪郭がMB境界と一致するか否かを判定し、一致しない輪郭に関しては、MCを１６×１６画素から１６×８画素、さらには８×１６画素、８×８画素、８×４画素、４×８画素、４×４画素へと、部分画像Dpの輪郭がMC境界と一致するまで細分化する。あるいは、部分画像Dpの輪郭とMC境界とが一致するように部分画像Dpの配置座標を修正する。部分画像の輪郭を、より大きなブロック境界と一致させることで、発生符号量を抑えることができる。
【００２１】
図５は、前記符号化制御部３および圧縮符号化部４の主要部の構成を示したブロック図であり、圧縮符号化部４は符号化制御部３からの指示に応答して動画像Dm+pを圧縮符号化する。
【００２２】
符号化制御部３において、量子化パラメータ導出部３０１は、符号化レートや符号化の難しさといった画像パラメータに基づいて既知の手法で量子化パラメータQPを導出する。補正係数記憶部３０２には、MBlogoにフレーム内予測を適用する際の量子化パラメータQPを減補正して量子化ステップを細かくするための補正係数αと、MBlogoにフレーム間予測を適用する際の量子化パラメータQPを増補正して量子化ステップを粗くするための補正係数βとが記憶されている。MV設定部３０３は、MBlogoをフレーム間予測する際の動きベクトルを全てゼロに設定する。なお、本実施形態では増補正された量子化パラメータ(QP2)が、減補正された量子化パラメータ(QP1)よりも常に大きくなるように前記補正係数α、βが設定されている。
【００２３】
動き予測部４０１は、部分画像が重畳された非圧縮動画像Dm+pと画像メモリ部４１０に蓄えられている参照画像D7とに基づいて動きベクトルMVを生成すると共に、この動きベクトルMVでフレーム間予測を行った場合の符号化コストCinterを出力する。動き補償部４０２は、前記動きベクトルMVと前記画像メモリ部４１０に蓄えられている参照画像D7とに基づいてフレーム間予測を行い、予測結果をフレーム間予測データD1として出力する。画像メモリ部４１０のメモリ領域は、符号化制御部３によって、後で詳細に説明するように、制御される。
【００２４】
減算器４１２は、セレクタ４０７で選択された予測信号D8を前記非圧縮動画像Dm+pから減じて予測残差D2を生成する。予測残差D2は、直交変換部４０３においてMB単位で直交変換されて直交変換係数D3となる。この直交変換係数D3は、量子化部４０４において、符号化制御部３から指示される量子化パラメータQPを用いて量子化される。
【００２５】
量子化部４０４で量子化された直交変換係数D4は、エントロピー符号化部４０５で可変長符号化されて出力される一方、逆量子化部４０７において逆量子化される。逆量子化部４０７の出力は直交逆変換部４０８で直交逆変換される。すなわち、逆量子化部４０７および直交逆変換部４０８では、前記量子化部４０４および直交変換部４０３と逆の処理が行われ、直交逆変換部４０８の出力には前記予測残差D2に近似した信号が得られる。
【００２６】
直交逆変換部４０８の出力は、加算回路４０６で前記予測信号D8と加算されて局部復号信号D5が生成される。この局部復号信号D5はデブロッキングフィルタ部４０９でブロックノイズを除去された後、前記画像メモリ４１０に参照画像信号D7として記憶される。
【００２７】
フレーム内予測部４１１は、前記局部復号信号D5に基づいてフレーム内予測信号D6を生成すると共に、フレーム内予測を行った場合の符号化コストCintraを出力する。前記セレクタ４０７は、フレーム内予測の符号化コストとフレーム間予測の符号化コストとの比較結果に基づいて、フレーム間予測信号D1およびフレーム内予測信号D6の一方を制御ブロックごとに選択し、これを予測信号として出力する。
【００２８】
図６は、本実施形態における予測符号化方式および量子化パラメータQPの設定手順を示したフローチャートであり、主に前記符号化制御部３の動作を示している。該設定手順の説明は、前記出願発明の明細書中に詳細に説明されているので説明を省略する。
【００２９】
以上は、前記出願発明の概要であるが、該出願発明では、前記したように、デブロッキングフィルタ部４０９の影響で徐々に部分画像の品質が劣化するという問題、またモバイル向けのコンテンツにおいては、ランダムアクセス可能なキーフレームとなるイントラピクチャの出現間隔が大きくなるため、この現象が顕著に現れることになるという問題があった。
【００３０】
本発明は、このような問題点を解消するものであり、以下にその構成と動作を説明する。
【００３１】
図７は、動画像にロゴ画像等の部分画像Dpを挿入した場合のフレーム列の一例を示す図であり、フレーム番号ＭからＭ＋Ｔまでの（Ｔ＋１）枚の画像区間に部分画像Dpが挿入された場合を示している。
【００３２】
いま、画像メモリ部（フレームメモリ）４１０に蓄積することができる画像の枚数をR’枚とすると、図８に示す手順で符号化を行うことで、デブロッキングフィルタによる雑音が伝搬するのを回避または軽減することができる。この手順は、例えば符号化制御部３による制御により実行されることができる。
【００３３】
ステップＳ１１では、部分画像Dpを含むデブロッキングされたフレームが入力してきたか否かの判断がなされ、この判断が否定の場合には、ステップＳ１８に進んで、Ｒ’枚分のフレームメモリは、全て、短期間参照（short-term reference、以下「ＳＴＲ」と略す）メモリとして使用される。ＳＴＲメモリはＦＩＦＯ構造であり、メモリ容量を超える場合は、一番古いデータから破棄される。
【００３４】
ステップＳ１１が肯定の場合には、ステップＳ１２に進んで、部分画像を含むフレームがＲ’枚目以上であるか否かの判断がなされる。この判断が否定の場合にはステップＳ１８に進み、肯定の場合には、ステップＳ１３に進む。ステップＳ１３では、部分画像を含むフレームが丁度Ｒ’枚目であるか否かの判断がなされる。この判断が肯定の場合にはステップＳ１４に進み、否定の場合にはステップＳ１５に進む。
【００３５】
ステップＳ１４では、部分画像を含む最初のフレーム（フレーム番号Ｍ）を記憶するメモリ領域を、長期間参照（long-term reference、以下「ＬＴＲ」と略す）メモリとして割り当てる。このフレーム番号Ｍに相当するメモリには、一番画質劣化が小さな部分画像Dp領域を持つ画像データが蓄積されることは明らかである。
【００３６】
ステップＳ１５に進むと、当該フレームが前記画像メモリ部４１０のデータが全て破棄された直後のイントラ符号化された画像データ（例えば、Ｈ．２６４におけるＩＤＲ（Instantaneous Decoding Refresh)ピクチャ）であるかどうかの判断がなされる。ＩＤＲピクチャでない場合にはステップＳ１６に進んで、ステップＳ１４で割り当てられたＬＴＲメモリを参照する。一方、ＩＤＲピクチャが現れた場合（ステップＳ１５が肯定）には、ステップＳ１７に進んで、再度、ＩＤＲピクチャがＬＴＲメモリとして割り当てられる。
【００３７】
以上の動作が繰り返され、ステップＳ１１の判断が否定になると、すなわち図７のフレーム（Ｍ＋Ｔ）＋１になると、ステップＳ１８に進んで、参照されなくなったＬＴＲフレーム領域を解放し、再度Ｒ’枚分のＳＴＲメモリとして使用する。
【００３８】
図８の手順は、以下の（１）〜（４）のようにも表現することができる。なお、フレーム番号をｎで表す。
（１）０≦ｎ≦（Ｍ＋Ｒ−１）の時には、Ｒ枚分のフレームメモリは、全てＳＴＲメモリとして使用する。
（２）ｎ＝（Ｍ＋Ｒ）の時には、フレーム番号Ｍに相当するメモリをＬＴＲメモリとして割り当てる。
（３）（Ｍ＋Ｒ）≦ｎ≦（Ｍ＋Ｔ）の時には、部分画像の符号化は、（２）で割り当てたＬＴＲメモリを必ず参照する。また、ＩＤＲピクチャが現れた時には、再度、ＩＤＲピクチャをＬＴＲとして割り当てる。
（４）ｎ≧（Ｍ＋Ｔ＋１）の時には、参照されなくなったＬＴＲ領域を解放し、再度、Ｒ枚のＳＴＲメモリとして使用する。
【００３９】
図９は、ロゴ挿入開始フレームＭ＝１０、ロゴ挿入期間Ｔ＝３０、参照フレーム数Ｒ＝３とした場合の、前記手順の一具体例を説明する図である。
【００４０】
フレーム番号ｎ＝１１の処理までは、３枚分のフレームメモリはＳＴＲとなるが、フレーム番号ｎ＝１２において、一番初めに挿入されるロゴ領域を持つｎ＝１０の領域をＬＴＲに割り当てる。このｎ＝１０に含まれるロゴ領域は、図５の圧縮符号化部４によりイントラ符号化されており、一番高品質なロゴ画像を持つ。
【００４１】
フレーム番号ｎ＝１０から３９までの区間においては、フレーム番号ｎ＝１０の画像が蓄積されたメモリ領域はＬＴＲとして残り続けるか、またはｎ＝１０以降にＩＤＲピクチャが発生すると該ＩＤＲピクチャにリフレッシュ（更新）されたＬＴＲとして残り続ける。このため、フレーム番号ｎ＝１０から３９までの区間のロゴ領域のフレーム間予測は、全て、フレーム番号１０またはＩＤＲピクチャの鮮明なロゴ領域を参照して予測することで、ロゴ領域は劣化すること無く符号化することが可能になる。
【００４２】
最後のロゴ画像を含むｎ＝３９の符号化の完了後、不必要になったフレーム番号１０またはＩＤＲピクチャのＬＴＲ領域を解放し、以降は３枚分のＦＩＦＯのＳＴＲメモリとして利用される。なお、図９中の矢印は参照画像を示している。
【００４３】
Ｈ．２６４において定義されるＬＴＲの仕組みを用いる場合には、上記の機能を次のようにして実現することができる。Ｈ．２６４におけるＬＴＲの割り当てや解放は、ＩＳＯ／ＩＥＣ  １４４９６−１０で定義されるmemory_management_control_operation（ＭＭＣＯ）によって行われる。例えば、図９のｎ＝１２におけるＬＴＲの割り当ては、ＭＭＣＯ＝３を用いて行われ、ＬＴＲの解放はＭＭＣＯ＝２を用いて実現することができる。また、ＬＴＲは、ＩＤＲピクチャの出現によってリフレッシュされるため、ＩＤＲピクチャを符号化する場合は、その都度、そのＩＤＲピクチャをＬＴＲとして再設定する。
【図面の簡単な説明】
【００４４】
【図１】本発明に係る動画像圧縮符号化装置の主要部の構成を示したブロック図である。
【図２】本発明に係る動画像圧縮符号化装置の主要部の他の構成を示したブロック図である。
【図３】部分画像が挿入された非圧縮動画像のフレーム構造を模式的に示した図である。
【図４】配置制御部の動作を模式的に表現した図である。
【図５】圧縮符号化部の主要部の構成を示したブロック図である。
【図６】予測符号化方式および量子化パラメータの設定手順を示したフローチャートである。
【図７】部分画像が挿入されるフレーム列の説明図である。
【図８】画像メモリ部のメモリ領域の使用または割り当て手順を示すフローチャートである。
【図９】画像メモリ部のメモリ領域の使用または割り当て手順の一具体例を示す説明図である。
【符号の説明】
【００４５】
１・・・配置制御部，２・・・部分画像挿入部，３・・・符号化制御部，４・・・圧縮符号化部，５・・・部分画像情報抽出部，１０・・・動画像圧縮符号化装置，３０１・・・量子化パラメータ導出部，３０２・・・補正係数記憶部，３０３・・・MV設定部，４０９・・・デブロッキングフィルタ部，４１０・・・画像メモリ部。
【図１】
0004871305.tif 000002
【図２】
0004871305.tif 000003
【図３】
0004871305.tif 000004
【図４】
0004871305.tif 000005
【図５】
0004871305.tif 000006
【図６】
0004871305.tif 000007
【図７】
0004871305.tif 000008
【図８】
0004871305.tif 000009
【図９】
0004871305.tif 000010