(57)【要約】【課題】  符号化、復号化処理の負荷の軽減及び処理効率の向上を図る。【解決手段】  動画像符号化装置において、基準位置からオーバーレイ表示位置までの距離がマクロブロックのサイズの正の整数倍に設定されているオーバーレイ表示位置情報とオーバーレイ表示サイズがマクロブロックのサイズの正の整数倍に設定されているオーバーレイ表示サイズ情報とを含む、オーバーレイ表示情報を取得し、これら情報を基にオーバーレイ表示領域を決定し、マクロブロック毎に分割された動画像情報に対応する動画像におけるオーバーレイ表示領域に対してマクロブロック毎にマスク処理を実施し、マスク処理された後の動画像情報を符号化する。【選択図】      図１
2008066980.tif 000002
【特許請求の範囲】
【請求項１】
入力動画像情報に対応する動画像を符号化ブロック単位に分割し、この分割後の動画像情報を符号化する動画像符号化方法であって、
上記符号化する前に、上記分割後の動画像情報に対応する動画像におけるオーバーレイ表示領域に対してマスク処理を実施することを特徴とする動画像符号化方法。
【請求項２】
基準位置からオーバーレイ表示位置までの距離が上記符号化ブロックのサイズの整数倍に設定されているオーバーレイ表示位置情報、及びオーバーレイ表示サイズが上記符号化ブロックのサイズの整数倍に設定されているオーバーレイ表示サイズ情報を基にオーバーレイ表示領域を決定し、
上記分割後の動画像情報に対応する動画像における上記決定されたオーバーレイ表示領域に対してマスク処理を実施する
ことを特徴とする請求項１に記載の動画像符号化方法。
【請求項３】
入力動画像情報に対応する動画像を符号化ブロック単位に分割し、この分割後の動画像情報を符号化する動画像符号化方法であって、
基準位置からオーバーレイ表示位置までの距離が上記符号化ブロックのサイズの整数倍又は正の整数倍に設定されているオーバーレイ表示位置情報とオーバーレイ表示サイズが上記符号化ブロックのサイズの整数倍又は正の整数倍に設定されているオーバーレイ表示サイズ情報とを含む、オーバーレイ表示情報を取得する取得ステップと、
上記取得されたオーバーレイ表示情報に含まれるオーバーレイ表示位置情報及びオーバーレイ表示サイズ情報を基にオーバーレイ表示領域を決定する決定ステップと、
上記分割後の動画像情報に対応する動画像における上記決定されたオーバーレイ表示領域に対して上記符号化ブロック単位毎にマスク処理を実施する処理ステップと、
上記マスク処理された後の動画像情報を符号化する符号化ステップと
を含むことを特徴とする動画像符号化方法。
【請求項４】
入力動画像情報に対応する動画像を符号化ブロック単位に分割し、この分割後の動画像情報を符号化する動画像符号化装置であって、
入力されたオーバーレイ表示位置情報とオーバーレイ表示サイズ情報とを基に、オーバーレイ表示領域を決定する決定手段と、
上記分割後の動画像情報に対応する動画像における上記オーバーレイ表示領域に対して上記符号化ブロック単位毎にマスク処理を実施するマスク処理手段と、
上記マスク処理された後の動画像情報を符号化する符号化手段と
を有することを特徴とする動画像符号化装置。
【請求項５】
上記決定手段が決定した上記オーバーレイ表示領域を記憶し、上記マスク処理手段に固定の上記オーバーレイ表示領域の情報を与える記憶手段をさらに有することを特徴とする請求項４に記載の動画像符号化装置。
【請求項６】
上記マスク処理手段は、全ての符号化ブロックについて輝度及び色差成分を０にするマスク処理を実施することを特徴とする請求項４又は５に記載の動画像符号化装置。
【請求項７】
上記マスク処理手段は、処理対象の符号化ブロックにおける複数の画素に関する情報を、当該処理対象の符号化ブロック内の複数の画素に関する情報の平均値に置換するマスク処理を実施することを特徴とする請求項４又は５に記載の動画像符号化装置。
【請求項８】
上記マスク処理手段は、処理対象の符号化ブロックの複数の画素に関する情報を、当該処理対象の符号化ブロックに隣接する１又は複数の符号化ブロックにおける複数の画素に関する情報の統計的処理値、又は、隣接する符号化ブロックにおける複数の画素に関する情報に置換するマスク処理を実施することを特徴とする請求項４又は５に記載の動画像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力動画像情報に対応する動画像を符号化ブロック単位に分割し、この分割後の動画像情報を符号化する動画像符号化方法及び動画像符号化装置に関する。
【背景技術】
【０００２】
一般に、国際標準化機関であるＩＳＯ／ＩＥＣにより制定されたＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）２、ＭＰＥＧ４、ＭＰＥＧ４−ＡＶＣ（Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）／国際標準化機関であるＩＴＵ−Ｔにより制定されたＨ．２６４などの動画像圧縮規格に従って符号化する画像符号化装置にとっては、入力された映像の符号化処理に関しては負荷が大きく、また上記動画像圧縮規格に従って復号化する画像復号化装置にとっても、符号化されたストリームの復号化処理に関しては負荷が大きい。
【０００３】
特に、リアルタイムでの符号化及び復号化を要求されるようなシステム（画像符号化装置と画像復号化装置とを有するシステム）においては、可能な限りその遅延を軽減しなければならない。そのため、その要求に応じるには、上記システムでは、高い演算性能を提供することができるプロセッサを導入するか、あるいは多少の画質低下を許容して処理負荷を低減させる手段を採用する必要がある。
【０００４】
また、画像符号化装置においては、スーパーインポーズやオーバーレイ表示の如く、映像に、字幕やロゴマーク、図形などを重ねたりする機能が存在する（例えば特許文献１参照）。この特許文献１では、オーバーレイ領域においてスキップ可能な領域を特定することにより、デコーダの計算の複雑さを低減させている。
【特許文献１】特表２００５−５０６７７６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１では、次の２つの問題点がある。
【０００６】
（１）デコード側のみに利用される手法であるので、エンコード側の負荷を軽減させることはできない。一般的に、映像の符号化処理及び復号化処理を実施するに際しては、エンコード側の符号化処理の方がデコード側の復号化処理よりも負荷が大きい。そのため、リアルタイムでの符号化、復号化を要求されるようなシステムでは、エンコード側の負荷も軽減できることが望まれる。
【０００７】
（２）オーバーレイ領域を有する現フレームがこれ以降のフレームに対する基準となるかを判断するシステムや、当該オーバーレイ領域においてスキップ可能領域を特定するシステムなどを備えなければならず、システム構成が複雑である。
【０００８】
そこで、本発明は、符号化及び復号化処理の負荷の軽減及び符号化及び復号化効率の向上を図ることのできる動画像符号化方法及び動画像符号化装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
この課題を解決するために、第１の発明に係る動画像符号化方法は、入力動画像情報に対応する動画像を符号化ブロック単位に分割し、この分割後の動画像情報を符号化する動画像符号化方法であって、上記符号化する前に、上記分割後の動画像情報に対応する動画像におけるオーバーレイ表示領域に対してマスク処理を実施することを特徴とする。
【００１０】
第２の発明に係る動画像符号化方法は、入力動画像情報に対応する動画像を符号化ブロック単位に分割し、この分割後の動画像情報を符号化する動画像符号化方法であって、基準位置からオーバーレイ表示位置までの距離が上記符号化ブロックのサイズの整数倍又は正の整数倍に設定されているオーバーレイ表示位置情報とオーバーレイ表示サイズが上記符号化ブロックのサイズの整数倍又は正の整数倍に設定されているオーバーレイ表示サイズ情報とを含む、オーバーレイ表示情報を取得する取得ステップと、上記取得されたオーバーレイ表示情報に含まれるオーバーレイ表示位置情報及びオーバーレイ表示サイズ情報を基にオーバーレイ表示領域を決定する決定ステップと、上記分割後の動画像情報に対応する動画像における上記決定されたオーバーレイ表示領域に対して上記符号化ブロック単位毎にマスク処理を実施する処理ステップと、上記マスク処理された後の動画像情報を符号化する符号化ステップとを含むことを特徴とする。
【００１１】
第３の発明に係る動画像符号化装置は、入力動画像情報に対応する動画像を符号化ブロック単位に分割し、この分割後の動画像情報を符号化する動画像符号化装置であって、入力されたオーバーレイ表示位置情報とオーバーレイ表示サイズ情報とを基に、オーバーレイ表示領域を決定する決定手段と、上記分割後の動画像情報に対応する動画像における上記オーバーレイ表示領域に対して上記符号化ブロック単位毎にマスク処理を実施するマスク処理手段と、上記マスク処理された後の動画像情報を符号化する符号化手段とを有することを特徴とする。
【発明の効果】
【００１２】
本発明に係る動画像符号化方法及び動画像符号化装置によれば、符号化処理の負荷の軽減及び符号化効率の向上を図ることができる。また、符号化処理の負荷が軽減されることにより、符号化動画像を復号化する動画像復号化装置での復号化処理の負荷の軽減及び効率の向上に寄与することができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明を実施するための最良の形態を、図面を参照しつつさらに具体的に説明する。ここで、添付図面において同一の構成要素には同一の符号を付しており、また、重複した説明は省略されている。なお、ここでの説明は本発明が実施される最良の形態であることから、本発明は当該形態に限定されるものではない。
【００１４】
（Ａ）第１の実施形態
（Ａ−１）第１の実施形態の構成
図１は、本発明の第１の実施形態に係る動画像符号化装置の機能構成を示している。
【００１５】
動画像符号化装置１００は、ディジタルビデオ出力部１０１、マクロブロック分割部１０２、オーバーレイ制御部１０３、マクロブロック位置検出部１０４、マスク処理部１０５、動画像符号化部１０６及び多重化部１０７を備えている。
【００１６】
この動画像符号化装置１００は、ＭＰＥＧ２、ＭＰＥＧ４、ＭＰＥＧ４−ＡＶＣ（Ｈ．２６４）などの動画像圧縮規格（動画像圧縮符号化規格）に従って符号化するようになっている。
【００１７】
ディジタルビデオ出力部１０１は、映像ソース（カラー画像）をディジタルビデオソースに変換して出力する。
【００１８】
ディジタルビデオ出力部１０１からディジタルビデオ出力される画像は、入力ＲＧＢ信号が輝度成分（Ｙ）と色差成分（Ｕ，Ｖ）に変換されたものとなる。色差成分（Ｕ）はＰＡＬ信号方式での色差成分（Ｒ−Ｙ）を意味し、ＮＴＳＣ信号方式での色差成分Ｃｒに相当する。同様に、色差成分（Ｖ）はＰＡＬ信号方式での色差成分（Ｂ−Ｙ）を意味し、ＮＴＳＣ信号方式での色差成分Ｃｂに相当する。
【００１９】
マクロブロック分割部１０２は、ディジタルビデオ出力部１０１からディジタルビデオ出力された画像を、上記動画像圧縮規格における符号化ブロック単位に分割する。ここでは、符号化ブロック単位は、１６×１６画素のマクロブロック単位であるとする。この１つのマクロブロックは、輝度成分（Ｙ）を表す４つのブロックと色差成分（Ｕ，Ｖ）を表す２つのブロックとで構成される。
【００２０】
なお、符号化ブロックの単位は、予測に用いられるピクチャーフレームにより変わる。ＩＮＴＥＲ予測において、ＭＰＥＧ２における符号化ブロックの単位は、１６×１６画素である。また、ＭＰＥＧ４における符号化ブロックの単位は、１６×１６画素、８×８画素である。ＭＰＥＧ４−ＡＶＣ（Ｈ．２６４）における符号化ブロックの単位は、１６×１６画素、１６×８画素、８×８画素、８×４画素、４×４画素である。ＩＮＴＲＡ予測において、ＭＰＥＧ２における符号化ブロックの単位は、８×８画素である。また、ＭＰＥＧ４における符号化ブロックの単位は、８×８画素である。ＭＰＥＧ４−ＡＶＣ（Ｈ．２６４）における符号化ブロックの単位は、１６×１６画素、８×８画素（ＭＰＥＧ４−ＡＶＣ  Ｈｉｇｈのみ、ＭＰＥＧ４−ＡＶＣ  Ｍａｉｎは除く）、４×４画素である。
【００２１】
オーバーレイ制御部１０３は、入力されたオーバーレイ表示情報に含まれるオーバーレイの表示位置（以下「オーバーレイ表示位置」という。）情報、オーバーレイの表示サイズ（以下「オーバーレイ表示サイズ」という。）情報をマクロブロック位置検出部１０４へ送信するとともに、入力されたオーバーレイ表示情報を多重化部１０７へ送信する。なお、オーバーレイ表示情報の詳細については後述する。
【００２２】
マクロブロック位置検出部１０４は、オーバーレイ制御部１０３から渡されたオーバーレイ表示位置情報、オーバーレイ表示サイズ情報を基にオーバーレイを施す領域に対応するマクロブロックの位置を検出、すなわちオーバーレイ表示領域を検出（決定）する。
【００２３】
マスク処理部１０５は、入力された画像に対して、マクロブロック位置検出部１０４によって検出（決定）されたオーバーレイ表示領域については、マクロブロック単位でマスク処理を施す。
【００２４】
動画像符号化部１０６は、マスク処理部１０５によって出力された画像を符号化する。例えば、動画像符号化部１０６は、ビデオエンコーダであり、入力された画像（動画像）をＭＰＥＧ２、ＭＰＥＧ４、ＭＰＥＧ４−ＡＶＣ（Ｈ．２６４）などの動画像圧縮規格に従って符号化（動画像圧縮符号化）する。
【００２５】
多重化部１０７は、映像符号化ストリームとオーバーレイ表示領域とを多重化して、多重化ストリームとして送出する。
【００２６】
このように動画像符号化装置１００は、オーバーレイ情報と映像符号化（動画像符号化）ストリームとを多重化するようになっている。
【００２７】
ところで、第１の実施形態において、オーバーレイ表示情報とは、復号（再生）システムあるいは復号化装置において、オーバーレイ処理を行うのに必要な情報のことである。例えば、オーバーレイ表示位置、オーバーレイ表示サイズ、オーバーレイ情報（文字やロゴなど）、タイミング情報などが挙げられる。
【００２８】
また、本発明では、動画像符号化装置の符号化効率を考慮し、オーバーレイ表示位置に関してはマクロブロック単位（例えば１６×１６画素）であることを前提とする。すなわち、画像におけるオーバーレイ表示位置（ｘ，ｙ）つまり基準位置からオーバーレイ表示位置までの距離を（ｘ，ｙ）座標系で表現したオーバーレイ表示位置（ｘ，ｙ）及びオーバーレイ表示サイズに関しては、マクロブロックサイズの正の整数倍でなければならない。
【００２９】
例えば、図２に示すように、オーバーレイ表示領域１１０は、４つの線分１１０ａ〜１１０ｄで形成される領域（矩形領域）であるとする。
【００３０】
ここで、オーバーレイ表示領域１１０が決定されるには、例えば、ｘ方向とｙ方向のオーバーレイ表示サイズと、当該オーバーレイ表示領域１１０の矩形の４つ隅Ｐ１〜Ｐ４のうち２つ隅の座標位置（表示位置）が既知であればよいので、これらの情報がオーバーレイ制御部１０３に与えられるものとする。
【００３１】
具体的に、例えば２つの隅Ｐ１、Ｐ２の座標位置（表示位置）を用いてオーバーレイ表示位置について説明すると、（ｘ，ｙ）座標系において、基準位置（０，０）からオーバーレイ表示位置Ｐ１（ｘ１，ｙ１）までの距離は、ｘ方向及びｙ方向ともにマクロブロックのサイズの１倍（１マクロブロック分）である。
【００３２】
また、基準位置（０，０）からオーバーレイ表示位置Ｐ２（ｘ２，ｙ２）までの距離は、ｘ方向及びｙ方向はそれぞれマクロブロックのサイズの４倍（４マクロブロック分）及び１倍（１マクロブロック分）である。
【００３３】
次に、オーバーレイ表示サイズについて説明すると、上述したように４つの線分１１０ａ〜１１０ｄで形成される領域であるオーバーレイ表示領域１１０に関わるオーバーレイ表示サイズは、ｘ方向がマクロブロックのサイズの３倍のサイズ（３マクロブロック分）で、ｙ方向がマクロブロックのサイズの２倍のサイズ（２マクロブロック分）である。
【００３４】
このように、オーバーレイ表示情報は、基準位置からオーバーレイ表示位置までの距離（ｘｙ座標系）がマクロブロックのサイズの正の整数倍に設定されているオーバーレイ表示位置情報とオーバーレイ表示サイズがマクロブロックのサイズの正の整数倍に設定されているオーバーレイ表示サイズ情報とを含んでいる。
【００３５】
（Ａ−２）第１の実施形態の動作
次に、動画像符号化装置１００の符号化処理について、図３を参照して説明する。
【００３６】
図３は、その符号化処理の処理手順を示すフローチャートである。
【００３７】
ディジタルビデオ出力部１０１は、入力された映像ソース（ＲＧＢ信号の画像）をディジタルビデオソースすなわち輝度成分（Ｙ）及び色差成分（Ｕ，Ｖ）で表現されるディジタル画像に変換し、このディジタル画像（動画像）をマクロブロック分割部１０２へ出力する（ステップＳ１０１）。
【００３８】
ここで、輝度成分（Ｙ）及び色差成分（Ｕ，Ｖ）で表現されるディジタル画像を、ディジタル画像（ＹＵＶ）と表記する。
【００３９】
マクロブロック分割部１０２は、入力されたディジタルビデオソースつまりディジタル画像（ＹＵＶ）をＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６４／ＭＰＥＧ４−ＡＶＣなどの動画像圧縮規格におけるマクロブロック単位に分割し、この分割した後のディジタル画像（ＹＵＶ）をマスク処理部１０５へ出力する（ステップＳ１０２）。
【００４０】
エンコード中にオーバーレイ表示を施す場合はオーバーレイ制御部１０３にオーバーレイ表示情報が入力されるので、オーバーレイ制御部１０３は、入力されたオーバーレイ表示情報に含まれるオーバーレイ表示位置情報及びオーバーレイ表示サイズ情報をマクロブロック位置検出部１０４へ送信するとともに（ステップＳ１０３）、入力されたオーバーレイ表示情報を多重化部１０７へ送信する（ステップＳ１０４）。
【００４１】
マクロブロック位置検出部１０４は、入力されたオーバーレイ表示位置情報及びオーバーレイ表示サイズ情報を基に、オーバーレイを施す領域（オーバーレイ表示領域）を検出（決定）し、このオーバーレイ表示領域情報をマスク処理部１０５へ出力する（ステップＳ１０５）。
【００４２】
マスク処理部１０５は、既に入力されているマクロブロック分割部１０２からの分割後のディジタル画像（ＹＵＶ）について、マクロブロック位置検出部１０４からのオーバーレイ表示領域情報に基づくオーバーレイ表示領域に対して、マクロブロック単位でマスク処理を行うとともに（ステップＳ１０６）、マスク処理された後のディジタル画像（ＹＵＶ）を動画像符号化部１０６へ出力する。
【００４３】
ここでは、マスク処理部１０５は、図４に示すように、オーバーレイ表示領域に対して、輝度（Ｙ）、色差成分（Ｕ，Ｖ）をそれぞれゼロにする。
【００４４】
このようにオーバーレイ表示領域に対してマスク処理を施すのは、動画像符号化装置１００の符号化効率を向上させるためである。
【００４５】
動画像符号化部１０６は、マスク処理部１０５から出力されたディジタル画像（ＹＵＶ）に対して上記動画像圧縮規格に従って符号化処理を実施し、この符号化処理した結果を映像符号化（動画像符号化）ストリームとして多重化部１０７へ出力する（ステップＳ１０７）。
【００４６】
この符号化処理においては、マスク処理されたマクロブロックに関してはマクロブロックスキップ処理が行われるため、動画像符号化部１０６つまり当該動画像符号化装置１００の負荷が軽減される。また、スキップ処理が行われた場合、そのマクロブロックを符号化するのに必要な符号量が大幅に削減されるため、固定ビットレートで符号化する場合には、符号化効率の向上が期待できる。
【００４７】
多重化部１０７は、動画像符号化部１０６から出力された映像符号化ストリームと、既に入力されているオーバーレイ制御部１０３からのオーバーレイ表示情報とを多重化し、この多重化した結果として多重化ストリームを出力する（ステップＳ１０８）。
【００４８】
そして、復号（再生）システムにおいては、多重化されたオーバーレイ情報を基に、指定されたオーバーレイ領域（動画像符号化装置においてマスク処理された領域）及びタイミングで、復号化画像にオーバーレイ処理を行う。
【００４９】
（Ａ−３）第１の実施形態の効果
以上説明したように、第１の実施形態によれば、次の（１）〜（３）の効果を期待することができる。
【００５０】
（１）符号化前に入力ディジタルビデオソースのオーバーレイ表示領域（特定領域）に対してマスク処理を実施することにより、動画像符号化部、換言すれば動画像符号化装置の符号化効率の向上を図ることができる。
【００５１】
（２）オーバーレイ表示領域に対してマスク処理を実施することにより、動画像符号化部、換言すれば動画像符号化装置ではマクロブロックでのスキップ処理などを実施することができるため、動画像符号化部（動画像符号化装置）の負荷の軽減につながる。
【００５２】
（３）動画像符号化部、換言すれば動画像符号化装置が出力したビデオ符号化ストリームを復号化する装置（復号化装置）においても、マクロブロックでのスキップ処理などにより、復号化装置の負荷の軽減につながる。
【００５３】
（Ｂ）第２の実施形態
（Ｂ−１）第２の実施形態の構成
図５は、本発明の第２の実施形態に係る動画像符号化装置の機能構成を示している。
【００５４】
この第２の実施形態の動画像符号化装置２００は、図１に示した第１の実施形態の動画像符号化装置１００の機能構成において、オーバーレイ制御部１０３及び多重化部１０７を削除し、オーバーレイ表示領域記憶部２０１を追加した機能構成になっている。なお、図５において、図１に示した構成要素と同様の機能を果たす部分には同一の符号を付している。
【００５５】
第２の実施形態の動画像符号化装置２００は、復号化装置において常に特定の領域にオーバーレイ処理が施されることを前提として、符号化処理を実施するようになっている。
【００５６】
また、上述したように復号化装置において常に特定の領域にオーバーレイ処理が施されることを前提としているため、マクロブロック位置検出部１０４には、動画像符号化装置２００の初期化時に一度のみ、オーバーレイ表示位置情報が入力されるようになっている。
【００５７】
マクロブロック位置検出部１０４は、取得したオーバーレイ表示位置情報であって基準位置からオーバーレイ表示位置までの距離がマクロブロックのサイズの正の整数倍に設定されているオーバーレイ表示位置情報と、予め設定され、オーバーレイ表示サイズがマクロブロックのサイズの正の整数倍に設定されているオーバーレイ表示サイズ情報とを基に、オーバーレイ表示領域を検出（決定）する。
【００５８】
オーバーレイ表示領域記憶部２０１は、マクロブロック位置検出部１０４によって検出（決定）されたオーバーレイ表示領域を示す情報を記憶する。
【００５９】
すなわち、オーバーレイ表示領域記憶部２０１は、マスク処理部１０５によってアクセスされ、マクロブロック分割部１０２から出力されるディジタル画像（ＹＵＶ）に関わるオーバーレイ表示領域に対するマスク処理が実施される前に、基準位置からオーバーレイ表示位置までの距離がマクロブロックのサイズの正の整数倍に設定されているオーバーレイ表示位置情報と、オーバーレイ表示サイズがマクロブロックのサイズの正の整数倍に設定されているオーバーレイ表示サイズ情報とを基に決定されるオーバーレイ表示領域を示す情報を記憶する。
【００６０】
マスク処理部１０５は、予め設定されるオーバーレイ表示サイズ情報と、オーバーレイ表示領域記憶部２０１に記憶されているオーバーレイ表示領域情報とに基づいて決定されるオーバーレイ表示領域常に対してマスク処理を行う。これは、常に同じオーバーレイ表示領域に対してマスク処理が行われることを意味する。
【００６１】
上述したように動画像符号化装置２００は、第１の実施形態の動画像符号化装置１００と比較して、より単純な構成で実現することができる。
【００６２】
（Ｂ−２）第２の実施形態の動作
次に、動画像符号化装置２００の符号化処理について、図６を参照して説明する。
【００６３】
図６は、その符号化処理の処理手順を示すフローチャートである。
【００６４】
最初に、図３に示した第１の実施形態の処理手順のステップＳ１０１、Ｓ１０２と同様の処理が行われる（ステップＳ２０１、Ｓ２０２）。
【００６５】
エンコード中にオーバーレイ表示を施す場合は、当該動画像符号化装置２００の初期化時に、オーバーレイ表示位置情報がマクロブロック位置検出部１０４に入力されるので、マクロブロック位置検出部１０４は、取得したオーバーレイ表示位置情報と予め設定されるオーバーレイ表示情報とを基にオーバーレイ表示領域を決定し、このオーバーレイ表示領域情報を、オーバーレイ表示領域記憶部２０１に格納する（ステップＳ２０３）。
【００６６】
次に、マスク処理部１０５は、既に入力されているマクロブロック分割部１０２からの分割後のディジタル画像（ＹＵＶ）について、オーバーレイ表示領域記憶部２０１に記憶されているオーバーレイ表示領域情報に基づくオーバーレイ表示領域に対して、マクロブロック単位でマスク処理を行うとともに（ステップＳ２０４）、マスク処理された後のディジタル画像（ＹＵＶ）を動画像符号化部１０６へ出力する。
【００６７】
動画像符号化部１０６は、マスク処理部１０５から出力されたディジタル画像（ＹＵＶ）に対して上記動画像圧縮規格に従って符号化処理を実施し（ステップＳ２０５）、この符号化処理した結果を映像符号化（動画像符号化）ストリームとして出力する（ステップＳ２０６）。
【００６８】
（Ｂ−３）第２の実施形態の効果
以上説明したように、第２の実施形態によれば、上述した第１の実施形態の効果に加えて、次の（１）及び（２）の効果を期待することができる。
【００６９】
（１）オーバーレイ表示位置検出部が、初期化時に一度だけ取得したオーバーレイ表示位置情報と予め設定されたオーバーレイ表示サイズ情報とを基に決定したオーバーレイ表示領域を示す情報をオーバーレイ表示領域記憶部に格納することにより、マスク処理部は、オーバーレイ表示領域記憶部に記憶されているオーバーレイ表示領域情報に基づいて、オーバーレイ表示領域のマスク処理を実現することができる。
【００７０】
（２）動画像符号化装置に複雑なシステムを追加する必要は無く、非常に簡単な構成で動画像符号化部、換言すれば動画像符号化装置の負荷の軽減及び符号化効率の向上を期待することができる。
【００７１】
（Ｃ）第３の実施形態
（Ｃ−１）第３の実施形態の構成
本発明の第３の実施形態に係る動画像符号化装置は、基本的には、図１に示した第１の実施形態の動画像符号化装置、又は図５に示した第２の実施形態の動画像符号化装置と同様の機能及び構成を有している。
【００７２】
なお、第３の実施形態の動画像符号化装置は、第１及び第２の実施形態とは、マスク処理部の機能が相違している。
【００７３】
すなわち、上述した第１及び第２の実施形態では、マスク処理部は、単純に、輝度成分及び色差成分の各値をゼロにするマスク処理を実施するようにしている。しかし、動画像符号化装置の予測精度の向上を図るには、処理対象のマクロブロックの情報や、処理対象のマクロブロックに隣接するマクロブロックの情報を用いたほうがよい。そこで、第３の実施形態では、マスク処理部は、マスクフィルタを生成する機能を有するようにしている。
【００７４】
図７は、本発明の第３の実施形態に係る動画像符号化装置に設けられるマスク処理部の機能構成を示している。
【００７５】
マスク処理部１０５は、マスクフィルタ生成部３０１とマスク処理実行部３０２とを有している。
【００７６】
マスクフィルタ生成部３０１は、オーバーレイ表示領域内の複数のマクロブロックにおける処理対象のマクロブロックに関する情報又は当該処理対象のマクロブロックに隣接するマクロブロックに関する情報を基に当該複数のマクロブロックに対するマスク処理を実施するための、マスクフィルタを生成する。
【００７７】
マスクフィルタ生成部３０１は、次の（１）〜（４）の４つのマスクフィルタのうち特定のマスクフィルタを生成するようになっている。なお、第３の実施形態では、これら４つのマスクフィルタのうち予め設定される特定のマスクフィルタを生成するようになっている。
【００７８】
（１）マスクフィルタは、処理対象のマクロブロックの複数の画素に関する情報（輝度、色差成分）を、当該処理対象のマクロブロック内の複数の画素に関する情報（輝度、色差成分）の平均値に置換する。
【００７９】
（２）マスクフィルタは、処理対象のマクロブロック（カレントマクロブロック）の複数の画素に関する情報（輝度、色差成分）を、当該処理対象のマクロブロックに隣接する上のマクロブロックに関わる１画素ラインに対応する画素に関する情報（輝度、色差成分）の平均値と、当該処理対象のマクロブロックに隣接する左のマクロブロックに関わる１画素ラインに対応する画素に関する情報（輝度、色差成分）の平均値との平均の値に置換する。
【００８０】
（３）マスクフィルタは、処理対象のマクロブロック（カレントマクロブロック）の複数の画素に関する情報（輝度、色差成分）については、当該処理対象のマクロブロックに隣接する上のマクロブロックに関わる水平方向の１画素ライン（横１ピクセルライン）に対応する画素に関する情報（輝度、色差成分）をコピーする。
【００８１】
（４）マスクフィルタは、処理対象のマクロブロック（カレントマクロブロック）の複数の画素に関する情報（輝度、色差成分）については、当該処理対象のマクロブロックに隣接する左のマクロブロックに関わる垂直方向の１画素ライン（縦１ピクセルライン）に対応する画素に関する情報（輝度、色差成分）をコピーする。
【００８２】
マスク処理実行部３０２は、マスクフィルタ生成部３０１によって生成されたマスクフィルタを基にマクロブロック単位でマスク処理を実行する。
【００８３】
（Ｃ−２）第３の実施形態の動作
次に、マスクフィルタ生成部３０１によって生成されるマスクフィルタについて具体的に説明する。
【００８４】
ここでは、図８に示すように、オーバーレイ表示領域１１０が６つのマクロブロックＭＢ１〜ＭＢ６で形成され、１つのマクロブロックは１６×１６画素で構成されているものとする。
【００８５】
上記（１）のマスクフィルタの機能
処理対象のマクロブロック（カレントマクロブロック）がマクロブロックＭＢ１のときは、マクロブロックＭＢ１の複数の画素（１６×１６画素）に関する輝度を、マクロブロックＭＢ１の複数の画素（１６×１６画素）に関する輝度の平均値に置換するとともに、マクロブロックＭＢ１の複数の画素（１６×１６画素）に関する色差成分を、マクロブロックＭＢ１の複数の画素（１６×１６画素）に関する色差成分の平均値に置換する。
【００８６】
上記（２）マスクフィルタの機能
処理対象のマクロブロック（カレントマクロブロック）がマクロブロックＭＢ１のときは、マクロブロックＭＢ１の複数の画素（１６×１６画素）に関する輝度を、マクロブロックＭＢ１に隣接する上のマクロブロックＭＢ７（１６×１６画素）に関わる例えばｘ方向（水平方向）の１画素ラインに対応する画素（例えば１６画素）に関する輝度の平均値と、マクロブロックに隣接する左のマクロブロックＭＢ８（１６×１６画素）に関わる例えばｙ方向（垂直方向）の１画素ラインに対応する画素（例えば１６画素）に関する輝度の平均値との平均の値に置換する。
【００８７】
また、マクロブロックＭＢ１の複数の画素（１６×１６画素）に関する色差成分を、マクロブロックＭＢ１に隣接する上のマクロブロックＭＢ７（１６×１６画素）に関わる例えばｘ方向（水平方向）の１画素ラインに対応する画素（例えば１６画素）に関する色差成分の平均値と、マクロブロックに隣接する左のマクロブロックＭＢ８（１６×１６画素）に関わる例えばｙ方向（垂直方向）の１画素ラインに対応する画素（例えば１６画素）に関する色差成分の平均値との平均の値に置換する。
【００８８】
ここで、ｘ方向の１画素ラインに対応する画素はマクロブロックＭＢ１に隣接している１画素ラインに対応する画素とし、ｙ方向の１画素ラインに対応する画素はマクロブロックＭＢ１に隣接している１画素ラインに対応する画素とする。
【００８９】
上記（３）マスクフィルタの機能
処理対象のマクロブロック（カレントマクロブロック）がマクロブロックＭＢ１のときは、マクロブロックＭＢ１の複数の画素（１６×１６画素）に関する輝度については、マクロブロックＭＢ１に隣接する上のマクロブロックＭＢ７（１６×１６画素）に関わるｘ方向（水平方向）の１画素ライン（横１ピクセルライン）に対応する画素（例えば１６画素）に関する輝度をコピーする。
【００９０】
また、マクロブロックＭＢ１の複数の画素（１６×１６画素）に関する色差成分については、マクロブロックＭＢ１に隣接する上のマクロブロックＭＢ７（１６×１６画素）に関わるｘ方向（水平方向）の１画素ライン（横１ピクセルライン）に対応する画素（例えば１６画素）に関する色差成分をコピーする。
【００９１】
ここで、ｘ方向の１画素ラインに対応する画素はマクロブロックＭＢ１に隣接している１画素ラインに対応する画素とする。
【００９２】
上記（４）のマスクフィルタの機能
処理対象のマクロブロック（カレントマクロブロック）がマクロブロックＭＢ１のときは、マクロブロックＭＢ１の複数の画素（１６×１６画素）に関する輝度については、マクロブロックＭＢ１に隣接する左のマクロブロックＭＢ８（１６×１６画素）に関わるｙ方向（垂直方向）の１画素ライン（縦１ピクセルライン）に対応する画素（例えば１６画素）に関する輝度をコピーする。
【００９３】
また、マクロブロックＭＢ１の複数の画素（１６×１６画素）に関する色差成分については、マクロブロックＭＢ１に隣接する左のマクロブロックＭＢ８（１６×１６画素）に関わるｙ方向（垂直方向）の１画素ライン（縦１ピクセルライン）に対応する画素（例えば１６画素）に関する色差成分をコピーする。
【００９４】
ここで、ｙ方向の１画素ラインに対応する画素はマクロブロックＭＢ１に隣接している１画素ラインに対応する画素とする。
【００９５】
そして、上記（１）〜（４）のマスクフィルタにおいては、マクロブロックＭＢ２〜ＭＢ６についても、マクロブロックＭＢ１の場合と同様の処理が行われる。
【００９６】
これにより、マスク処理実行部３０２が、上記（１）〜（４）のマスクフィルタのうちマスクフィルタ生成部３０１によって生成された特定のマスクフィルタを基にマクロブロック単位でマスク処理を実行することができる。
【００９７】
（Ｃ−３）第３の実施形態の効果
以上説明したように、第３の実施形態によれば、原画像の画像情報（処理対象のマクロブロックの情報や、処理対象のマクロブロックに隣接するマクロブロックの情報）を利用することにより、動画像符号化部、換言すれば動画像符号化装置（映像符号化装置）における予測精度がより一層向上し、符号化効率の改善を期待することができる。
【００９８】
（Ｄ）第４の実施形態
上述した第１〜第３の実施形態では、オーバーレイ表示位置及びオーバーレイ表示サイズに関しては、マクロブロックのサイズの正の整数倍であることを前提としたが、本発明は、オーバーレイ表示位置及びオーバーレイ表示サイズに関しては、マクロブロックのサイズの整数倍であっても実施可能である。
【００９９】
例えば、図９に示すように、オーバーレイ表示領域４００においては、オーバーレイ表示位置に関しては、４つの隅Ｐ１１〜Ｐ１４の座標位置（表示位置）のいずれの場合も、基準位置（０，０）から該当するオーバーレイ表示位置（ｘ，ｙ）までの距離はマクロブロックサイズの整数倍である。また、オーバーレイ表示サイズに関しても、ｘ方向のサイズ（例えば線分４０１のサイズ）及びｙ方向のサイズ（例えば線分４０２のサイズ）はともに、マクロブロックサイズの整数倍である。
【０１００】
このように、オーバーレイ表示位置及びオーバーレイ表示サイズがマクロブロックのサイズの整数倍であっても実施可能であるものの、マスク処理部によるマスク処理に関しては、完全に１マクロブロック単位で処理することができないため、１マクロブロック単位で処理する場合と比較して（第１〜第３の実施形態の場合と比較して）、符号化効率が多少低下する。なお、上記第３の実施形態で説明したマスクフィルタは、オーバーレイ表示領域に対してそのまま適用することができる。
【０１０１】
また、動画像符号化装置及び動画像復号化装置のそれぞれに関わる負荷処理に関しても、上記第１〜第３の実施形態の場合と比較して（１マクロブロック単位で処理する場合と比較して）、負荷処理が多少増加する。なぜならば、動画像符号化装置及び動画像復号化装置のそれぞれにおけるスキップ処理はマクロブロック単位で行われるため、オーバーレイ表示領域におけるマクロブロックの数にも依存することになる。
【０１０２】
例えば、図９に示す第４の実施形態のオーバーレイ表示領域４００のオーバーレイ表示サイズが、図２に示した第１の実施形態のオーバーレイ表示領域１１０と比較して、ｘ方向及びｙ方向ともに例えば数画素分長いとした場合、オーバーレイ表示領域１１０ではマクロブロックの数は６であり、一方、オーバーレイ表示領域４００ではマクロブロックの数は１２である。そのため、マクロブロックの数が多い分、負荷処理が多少増加することになる。また、マクロブロックのスキップ処理は、マクロブロック単位（１６画素×１６画素）で行われる。そのため、エンコーダでのマクロブロックスキップ処理を考慮した場合、マクロブロックのスキップ処理は、オーバーレイ表示領域１１０の場合は６つ、オーバーレイ表示領域４００の場合は２つとなる。従って、オーバーレイ表示領域４００では、マクロブロックのスキップ処理が少ない分、負荷が高くなり、符号化効率が低下する。
【０１０３】
第４の実施形態によれば、上述した第１〜第３の実施形態と比較して符号化効率の多少の低下、負荷処理の多少の増加があるものの、基本的には第１〜第３の実施形態と同様の効果を期待することができる。
【０１０４】
（Ｅ）他の実施形態
本発明は、入力映像情報に対応する映像を所定の動画像圧縮規格に基づく符号化ブロック単位に分割し、この分割後の映像情報を上記動画像圧縮規格に従って符号化する映像符号化方法及び映像符号化装置に適用することができる。
【図面の簡単な説明】
【０１０５】
【図１】第１の実施形態に係る動画像符号化装置の構成を示すブロック図である。
【図２】第１の実施形態に係るオーバーレイ表示領域を説明する図である。
【図３】第１の実施形態に係る動画像符号化装置の符号化処理の処理手順を示すフローチャートである。
【図４】第１の実施形態に係るマスク処理を説明する図である。
【図５】第２の実施形態に係る動画像符号化装置の構成を示すブロック図である。
【図６】第２の実施形態に係る動画像符号化装置の符号化処理の処理手順を示すフローチャートである。
【図７】第３の実施形態に係る動画像符号化装置に設けられるマスク処理部の構成を示すブロック図である。
【図８】第３の実施形態に係るマスク処理部に設けられるマスクフィルタを説明する図である。
【図９】第４の実施形態に係るオーバーレイ表示領域を説明する図である。
【符号の説明】
【０１０６】
１００、２００…動画像符号化装置、１０２…マクロブロック分割部、１０３…オーバーレイ制御部、１０４…マクロブロック位置検出部、１０５…マスク処理部、１０６…動画像符号化部、１１０、４００…オーバーレイ表示領域、２０１…オーバーレイ表示領域記憶部、３０１…マスクフィルタ生成部、３０２…マスク処理実行部。
【図１】
2008066980.tif 000003
【図２】
2008066980.tif 000004
【図３】
2008066980.tif 000005
【図４】
2008066980.tif 000006
【図５】
2008066980.tif 000007
【図６】
2008066980.tif 000008
【図７】
2008066980.tif 000009
【図８】
2008066980.tif 000010
【図９】
2008066980.tif 000011