(57)【要約】【課題】主画面上に配置された小画像表示領域（ワイプ画面）におけるブロックノイズの低減【解決手段】画像符号化装置は、入力画像データの主画像とは別の小画像を表示する領域（小画像表示領域；ワイプ画面）を検出する小画像表示領域検出部２６と、前記検出した領域（小画像表示領域；ワイプ画面）について、他の領域とは独立して、量子化する小画像表示領域量子化部３４と、を備える。画像符号化装置は、前記小画像表示領域について、前記小画像表示領域量子化部３４が量子化したデータを用いて符号化を行う。【選択図】図１
2007274114.tif 000002
【特許請求の範囲】
【請求項１】
入力画像信号を符号化して出力ストリームを生成する画像符号化装置であって、
前記入力画像データの主画像とは別の小画像を表示する領域（小画像表示領域）を検出する小画像表示領域検出部と、
前記検出した領域（小画像表示領域）について、他の領域とは独立して、量子化する小画像表示領域量子化部と、を備え、
前記小画像を表示する領域（小画像表示領域）について、前記小画像表示領域量子化部が量子化したデータを用いて符号化を行うこと、
を特徴とする画像符号化装置。
【請求項２】
動き予測における動きベクトルが所定の閾値以下であるか否かにより、前記小画像を表示する領域（小画像表示領域）を検出すること、
を特徴とする請求項１に記載の画像符号化装置。
【請求項３】
更に、前記小画像を表示する領域（小画像表示領域）の形状データを保持し、
該形状に当てはまる領域のみを前記小画像を表示する領域（小画像表示領域）として検出すること、
を特徴とする請求項１又は２に記載の画像符号化装置。
【請求項４】
前記検出した領域（小画像表示領域）について、他の領域とは別に予め定められた量子化スケールを適用すること、
を特徴とする請求項１乃至３いずれか一に記載の画像符号化装置。
【請求項５】
小画像表示領域検出部と、小画像表示領域量子化部とを備え、入力画像信号を符号化して出力ストリームを生成する画像符号化装置における画像符号化方法であって、
前記小画像表示領域検出部が、動き予測における動きベクトルを用いて、前記入力画像データの主画像とは別の小画像を表示する領域（小画像表示領域）を検出するステップと、
前記小画像表示領域量子化部が、前記検出した領域（小画像表示領域）について、量子化するステップと、を含み、
前記小画像を表示する領域（小画像表示領域）について、前記小画像表示領域量子化部が量子化したデータを用いて符号化を行うこと、
を特徴とする画像符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化装置及び画像符号化方法に関し、特に、入力画像信号を符号化して出力ストリームを生成する画像符号化装置及び画像符号化方法に関する。
【背景技術】
【０００２】
テレビ放送等において、図３に示すように、ある映像（例：中継先の映像）の片隅に、１乃至２以上の小画像（「ワイプ画面」ともいう。例：スタジオ内の出演者の映像や別の場所での競技の進行等）１００を挿入することが広く行われている。
【０００３】
こうしたコンテンツを符号化する際に、主画面とワイプ画面をそれぞれ別のオブジェクトとし、符号化する手法もあるが、単一の画像として取り扱い、符号化することが一般的である。
【０００４】
上記ワイプ画面（領域）を取扱ったものではないが、特許文献１に、超低レートでの動画像伝送を可能とした画像信号の符号化装置が開示されている。同公報の画像信号の符号化装置では、使用モードに応じて被写体（人）を検出し、動きの大きい特定の領域（人物の顔等）についてのみ量子化スケールの変更を行う技術が紹介されている。
【０００５】
【特許文献１】特開平９−９８４１６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
図４は、従来の画像符号化処理装置の構成を表した図であり、画像の内容について考慮しないで量子化を行う構成となっている。このような構成では、挿入元の画像が動きの激しい（速い）画像やカットが行われた場合であって、小画像側が動きの少ない画像であるとき、本来ブロックノイズが発生すべきでない小画像に対しても影響が及び、ブロックノイズが発生（混入）するという問題点がある。
【０００７】
また、特許文献１に記載の画像信号の符号化装置は、超低レートでの動画像伝送を行うとあるように、小画像側が動きの激しい場合に有効であるが、そのような場合は、小画像側にもブロックノイズは発生するのであり、上記問題点を解決できないと考えられる。
【０００８】
本発明は、上記した事情に鑑みてなされたものであって、その目的とするところは、主画像の動きにつられて、主画面上に配置された小画像にブロックノイズが表れてしまうことを回避することのできる画像符号化装置及び画像符号化方法を提供することにある。
【課題を解決するための手段】
【０００９】
本発明の第１の視点によれば、入力画像信号を符号化して出力ストリームを生成する画像符号化装置であって、前記入力画像データの主画像とは別の小画像を表示する領域（小画像表示領域）を検出する小画像表示領域検出部と、前記検出した領域（小画像表示領域）について、他の領域とは独立して、量子化する小画像表示領域量子化部と、を備え、前記小画像を表示する領域（小画像表示領域）について、前記小画像表示領域量子化部が量子化したデータを用いて符号化を行うこと、を特徴とする画像符号化装置が提供される。
【００１０】
また、本発明の第２の視点によれば、小画像表示領域検出部と、小画像表示領域量子化部とを備え、入力画像信号を符号化して出力ストリームを生成する画像符号化装置における画像符号化方法であって、前記小画像表示領域検出部が、動き予測における動きベクトルを用いて、前記入力画像データの主画像とは別の小画像を表示する領域（小画像表示領域）を検出するステップと、前記小画像表示領域量子化部が、前記検出した領域（小画像表示領域）について、量子化するステップと、を含み、前記小画像を表示する領域（小画像表示領域）について、前記小画像表示領域量子化部が量子化したデータを用いて符号化を行うこと、を特徴とする画像符号化方法が提供される。
【発明の効果】
【００１１】
本発明によれば、小画像表示領域に静止画像等の動きの少ない画像が表示されている場合におけるブロックノイズを低減することが可能となる。
【発明を実施するための最良の形態】
【００１２】
続いて、本発明を実施するための最良の形態について図面を参照して詳細に説明する。
【００１３】
図１は、本発明の第１の実施形態に係る画像符号化装置の構成を表したブロック図である。図１を参照すると、直交変換部１０と、量子化部（全体領域量子化部３２及び小画像表示領域量子化部３４）と、可変長符号化部１４と、逆量子化部１６と、逆直交変換部１８と、フレームメモリ２０と、動き補償部（ＭＣ；Ｍｏｔｉｏｎ  Ｃｏｍｐｅｎｓａｔｉｏｎ）２２と、動き検出部（ＭＥ；Ｍｏｔｉｏｎ  Ｅｓｔｉｍａｔｉｏｎ）２４と、小画像表示領域検出部２６と、量子化部を制御する符号量制御部３０と、を備えた画像符号化装置の構成が示されている。
【００１４】
図４に示す典型的なハイブリッド予測符号化処理を行う画像符号化装置との相違は、小画像表示領域を検出する小画像表示領域検出部２６を備えている点と、小画像表示領域検出部２６により検出した小画像表示領域内を量子化する小画像表示領域量子化部（Ｑ＿ｗｉｐｅ）３４とを備えている点である。なお、全体領域量子化部（Ｑ＿ａｌｌ）３２は、図４の量子化部１２に相当し、入力画像の領域を量子化する手段である。
【００１５】
小画像表示領域検出部２６は、検出すべき小画像表示領域の形状データ（例：矩形）を保持しており、動き検出部２４による動き予測（ＭＥ）処理の結果に基づき、所定の閾値以下の動きベクトルが集中して存在している領域であって、かつ、該領域が前記形状データに適合（形状、サイズ）する領域を、小画像表示領域として検出する。
【００１６】
本実施形態の小画像表示領域検出部２６は、下記（１）〜（３）の特徴を有する小画像表示領域を検出できるよう構成されている。
【００１７】
（１）小画像表示領域の画像は動きの少ない画像である。
テレビ番組において、収録済みのコンテンツ（ＶＴＲ）とともに、小画像領域を画面の片隅に配置して、出演キャストの反応等を放送することが行われているように、小画像領域は、一般に、動きが小さいということができる。
【００１８】
なお、画像の動きが大きい場合を除外しているのは、主画像の動きの激しさとは関係なく、ブロックノイズが発生するためである。この場合、例えば、ブロック全体又はブロック境界のみを平滑化するフィルタ（ループ内フィルタ、デブロッキングフィルタ）を置く等別途対策を講ずることにより、小画像表示領域に発生するブロックノイズを低減することができる。
【００１９】
（２）小画像領域の画像は全体の画像を縮小している画像である。
また、テレビ番組における小画像領域の画像は、例えば、元の画像に対して１／６程度の縮小処理をかけて切り出したような画像が多く使用される。従って、小画像領域内の動きベクトルも全体の動きベクトルと比較して相対的に小さくなっているということができる。
【００２０】
（３）小画像領域は所定のサイズ範囲内の横長の矩形形状である。
テレビ番組における小画像表示用の領域（ワイプ画面）としては、円・楕円・矩形の形状が良く用いられているが、本実施形態では横長の矩形の小画像表示用領域を検出することとした。また、そのサイズは、一般に画面サイズの１／６以上であることが望ましいと言われているが、大きければよいというものではなく、画面の片隅に配置した場合において、主画像の邪魔にならない程度の大きさを超えることは無いということができる。
【００２１】
小画像表示領域量子化部（Ｑ＿ｗｉｐｅ）３４は、小画像表示領域検出部２６により検出された小画像表示領域１００について、所定の量子化スケール（Ｑ値）にて、図２に示すように、ラスタースキャン順で量子化する手段である。
【００２２】
続いて、図１、図２を参照して本実施形態の動作について詳細に説明する。入力された画像信号は、動き検出部２４と、差分器を介して直交変換部１０とに入力される。
【００２３】
動き検出部２４は、入力画像信号（動画像データ）と、フレームメモリ２０に蓄積された前フレームの参照画像とから、動きベクトルを算出し（動き予測（ＭＥ）処理）、小画像表示領域検出部２６と可変長符号化部１４に出力する。動きベクトルは、現フレームと前フレームとの間の画素値の空間的なずれを２次元の動き情報であって、あるフレーム内の画像が次のフレーム内のどの位置に移動したかを示す。
【００２４】
小画像表示領域検出部２６は、上記動き検出部２４による画像全体の動き予測（ＭＥ）処理の結果より、小画像表示領域を検出する。より具体的には、動きベクトルがある閾値以下になる領域が、予め定められた形状データ（矩形状）に適合するか否かを判断し、適合する場合に、小画像表示領域と判定する。
【００２５】
また、動き補償部２２は、前フレームの参照画像を、上記動き検出部２４による検出された動きベクトルで補償したデータを出力する。
【００２６】
動き補償部２２より出力されたデータの一方は、差分器を介して、入力画像信号との差分として直交変換部１０に入力される。
【００２７】
ここで、小画像表示領域検出部２６により小画像表示領域が検出されている場合、符号量制御部３０は、小画像表示領域量子化部３４に対し、直交変換部１０により直交変換されたデータのうち、図２に示すように小画像表示領域１００についてラスタースキャン順に、全体領域量子化部（Ｑ＿ａｌｌ）３２の量子化スケールより少ない所定の量子化スケールにて量子化を行わせる。ここで、得られた量子化値は、所定のメモリに保持される。
【００２８】
上記小画像表示領域の量子化の終了後、全体領域量子化部３２により、図２に示すように、ラスタースキャン順に、全体領域について量子化が行われる。ここで、小画像表示領域に差し掛かった場合、小画像表示領域量子化部３４により量子化された値が読み出され、置き換えられる。
【００２９】
以上のように、小画像表示領域量子化部３４及び全体領域量子化部３２で量子化されたデータは、逆量子化部１６と可変長符号化部１４とに入力される。
【００３０】
逆量子化部１６は、量子化部（全体領域量子化部３２及び小画像表示領域量子化部３４）で行った量子化とは逆の逆量子化を行って、直交変換データに相当する逆量子化データを生成し、逆直交変換部１８に出力する。逆直交変換部１８は、直交変換部１０で行った直交変換に対応する逆直交変換を行ったデータを出力する。
【００３１】
逆直交変換部１８より出力されたデータは、加算器を介して、動き補償部２２の出力と加算されて、フレームメモリ２０に蓄積され、次のフレームタイミングで、前フレームの参照画像として使用される。
【００３２】
一方、可変長符号化部１４は、小画像表示領域量子化部３４及び全体領域量子化部３２で量子化されたデータと、動き検出部２４より出力された動きベクトルとから、可変長符号化圧縮を行って、符号化出力データ（圧縮ストリーム）を出力する。
【００３３】
以上のとおり、量子化を領域別に分割して行うことで、量子化の際の量子化スケール（Ｑ値）を適切な値に設定することが可能となる。より具体的には、図２に示すように画面全体を左上から右下まで単純にラスタースキャン順で量子化した場合、小画像表示領域１００の左側のＭＢ（マクロブロック）が動きの大きい画像であり、小画像表示領域１００内が静止画像であるような組み合わせにおいて、小画像表示領域１００におけるブロックノイズの発生を抑止ことが可能となる。
【００３４】
特に、小画像表示領域は、ある画像を縮小表示する際に用いられるため、１のブロックにおける劣化の発生は、視覚的影響も大きいといえる。本発明では、小画像表示領域を検出する機構を有し、小画像表示領域とそれ以外の領域とをそれぞれ独立して量子化することとしたため、上記小画像表示領域におけるブロックノイズの発生を効率よく抑止することが可能となる。
【００３５】
また、上記した実施形態では、小画像表示領域内から順に量子化を行うという簡素な手法にて、ブロックノイズの発生を防止する構成を説明したが、例えば、特許文献１のように、各領域について、量子化スケール（Ｑ値）を変更する適応量子化を行うものとしても良いことはもちろんである。
【００３６】
また、上記した実施形態では、動きの大きさ、特に、動きベクトルの大きさにて、小画像表示領域１００を検出するものとして説明したが、図３に示したような、ある映像の片隅に、挿入された１乃至２以上の小画像表示領域を検出するものであれば、その方法を限定するものではない。例えば、小画像表示領域の輝度等に特徴がある場合には、輝度等を用いて小画像表示領域を検出することも可能である。
【００３７】
また、上記した実施形態では、ラスタースキャン順にて、小画像表示領域の量子化を行うものとして説明したが、上記したように個別に量子化を行うものであれば、他のスキャン順を採用することも可能である。
【００３８】
また、上記した実施形態では、矩形の形状データに適合する動きベクトルの低い領域を小画像表示領域として検出するものとして説明したが、挿入される小画像の形状等に応じて、楕円等他の形状データに適合する領域も小画像表示領域として検出することとしてもよい。また、小画像表示領域に特定の縁取りや枠部が追加されている場合には、これらをもって、小画像表示領域を検出することも可能である。
【００３９】
また、上記した実施形態では、量子化の後に符号化を行うものとして説明したが、量子化を行いながら符号化を行うものとしてもよい。ただし、その際でも小画像表示領域は先に量子化を行ってメモリに保存しておき、全体の量子化を行っているときには該小画像表示領域内の量子化値を、該メモリから読み出すこととすることも可能である。
【００４０】
以上本発明の好適な実施形態を説明したが、本発明の技術的範囲は、上述した実施形態に限定されるものではなく、動画像のブロック符号化を行う画像符号化処理装置において、小画像表示領域を検出し、他の領域とは区別して量子化するという本発明の要旨を逸脱しない範囲で、各種の変形・置換をなしうることが可能であり、例えば、ＩＴＵ−Ｔ／Ｈ．２６１、Ｈ．２６３、Ｈ．２６４及びＭＰＥＧ−４等の各方式にて実現することが可能である。
【図面の簡単な説明】
【００４１】
【図１】本発明の第１の実施形態に係る画像符号化処理装置の構成を表したブロック図である。
【図２】本発明の第１の実施形態の動作を説明するための図である。
【図３】本発明によって、ブロックノイズ（ブロック歪み）が低減される映像を説明するための図である。
【図４】従来の画像符号化処理装置の構成を表したブロック図である。
【符号の説明】
【００４２】
１０  直交変換部
１２  量子化部
１４  可変長符号化部
１６  逆量子化部
１８  逆直交変換部
２０  フレームメモリ
２２  動き補償部（ＭＣ；Ｍｏｔｉｏｎ  Ｃｏｍｐｅｎｓａｔｉｏｎ）
２４  動き検出部（ＭＥ；Ｍｏｔｉｏｎ  Ｅｓｔｉｍａｔｉｏｎ）
２６  小画像表示領域検出部
３０  符号量制御部
３２  全体領域量子化部
３４  小画像表示領域量子化部
１００  小画像表示領域
【図１】
2007274114.tif 000003
【図２】
2007274114.tif 000004
【図３】
2007274114.tif 000005
【図４】
2007274114.tif 000006