(57)【要約】  動画像を符号化する動画像符号化方法であって、符号化対象ピクチャと参照に用いる符号化済みピクチャとの間で、所定の大きさ以上の輝度変化が発生している可能性があるか否かを判定する輝度変化判定ステップ（Ｓ２０１）と、符号化対象ブロックにおける画素値のばらつき度が、所定の閾値よりも小さいか否かを判定する平坦領域判定ステップ（Ｓ２０２）と、所定の大きさ以上の輝度変化が発生している可能性があると判定され（Ｓ２０１でＹＥＳ）、かつ、ばらつき度が所定の閾値よりも小さいと判定された場合（Ｓ２０２でＹＥＳ）の量子化幅を、所定の大きさ以上の輝度変化が発生している可能性があると判定されず（Ｓ２０１でＮＯ）、または、ばらつき度が所定の閾値よりも小さいと判定されなかった場合（Ｓ２０２でＮＯ）の量子化幅よりも小さな値に決定する量子化幅決定ステップ（Ｓ２０３）とを含む。
2009093436.tif 000002
【特許請求の範囲】
【請求項１】
時間的に前方又は後方にある符号化済みのピクチャをブロックの単位で参照して予測符号化を行うことで動画像を符号化する動画像符号化方法であって、
前記予測符号化の対象のブロックである符号化対象ブロックが含まれる符号化対象ピクチャと前記参照に用いる符号化済みピクチャとの間で、所定の大きさ以上の輝度変化が発生している可能性があるか否かを判定する輝度変化判定ステップと、
前記符号化対象ブロックを構成する複数の画素の画素値のばらつき度が、所定の閾値よりも小さいか否かを判定する平坦領域判定ステップと、
前記符号化対象ブロックに対する符号化における量子化に用いられる量子化幅を決定する量子化幅決定ステップとを含み、
前記量子化幅決定ステップでは、
前記輝度変化判定ステップにおいて前記所定の大きさ以上の輝度変化が発生している可能性があると判定され、かつ、前記平坦領域判定ステップにおいて前記ばらつき度が前記所定の閾値よりも小さいと判定された場合の量子化幅を、
前記所定の大きさ以上の輝度変化が発生している可能性があると判定されず、または、前記ばらつき度が前記所定の閾値よりも小さいと判定されなかった場合の量子化幅よりも小さな値に決定する
動画像符号化方法。
【請求項２】
前記輝度変化判定ステップでは、符号化対象の動画像を生成するカメラから取得されるカメラ制御情報に示される値の変化量が、前記カメラ制御情報についての閾値以上である場合、前記所定の大きさ以上の輝度変化が発生している可能性があると判定する
請求項１記載の動画像符号化方法。
【請求項３】
前記輝度変化判定ステップでは、前記カメラ制御情報として、露出値、ズーム位置、シャッター速度、絞り値、およびゲイン値のうちの少なくとも１つを使用する
請求項２記載の動画像符号化方法。
【請求項４】
前記輝度変化判定ステップでは、入力される画像列から推定されるピクチャ単位の画面特徴値の大きさが、前記画面特徴値についての閾値以上である場合、前記所定の大きさ以上の輝度変化が発生している可能性があると判定する
請求項１記載の動画像符号化方法。
【請求項５】
前記輝度変化判定ステップでは、前記画面特徴値として、画面輝度の変化量、画面の推定ズーム速度、画面の推定動き速度のうちの少なくとも１つを使用する
請求項４記載の動画像符号化方法。
【請求項６】
前記輝度変化判定ステップでは、前記符号化対象ピクチャの符号化構造がＰピクチャであった場合、前記所定の大きさ以上の輝度変化が発生している可能性があると判定する
請求項１記載の動画像符号化方法。
【請求項７】
前記輝度変化判定ステップでは、前記符号化対象ピクチャの符号化構造がフィールド符号化におけるＰピクチャであり、かつ、前記符号化対象ブロックが含まれるフィールドが符号化順で先に符号化するフィールドである場合、前記所定の大きさ以上の輝度変化が発生している可能性があると判定する
請求項６記載の動画像符号化方法。
【請求項８】
前記量子化幅決定ステップでは、前記符号化対象ブロックについての量子化幅を決定する場合、
前記符号化対象ピクチャの符号化構造がフィールド符号化におけるＰピクチャであり、かつ、前記符号化対象ブロックが含まれるフィールドが符号化順で先に符号化するフィールドであるときは、基準となる量子化幅である基準量子化幅よりＸだけ小さな量子化幅を決定し、
前記符号化構造がフィールド符号化におけるＰピクチャではなく、または、前記符号化対象ブロックが含まれるフィールドが符号化順で先に符号化するフィールドでないときは、前記基準量子化幅よりＹ（Ｘ＞Ｙ）だけ小さな量子化幅を決定する
請求項７記載の動画像符号化方法。
【請求項９】
前記輝度変化判定ステップでは、前記符号化対象ピクチャの符号化構造がＰピクチャまたはＢピクチャであった場合、前記所定の大きさ以上の輝度変化が発生している可能性があると判定する
請求項１記載の動画像符号化方法。
【請求項１０】
前記量子化幅決定ステップでは、前記符号化対象ブロックについての量子化幅を決定する場合、前記符号化対象ピクチャの符号化構造がＰピクチャであるときは、基準となる量子化幅である基準量子化幅よりＸだけ小さな量子化幅を決定し、前記符号化構造がＢピクチャであるときは、前記基準量子化幅よりＹ（Ｘ＞Ｙ）だけ小さな量子化幅を決定する
請求項９記載の動画像符号化方法。
【請求項１１】
前記量子化幅決定ステップでは、量子化幅を決定する場合、所定の量子化幅以下の値になるように量子化幅を決定する
請求項１記載の動画像符号化方法。
【請求項１２】
さらに、符号化対象ピクチャの符号化構造がＰピクチャであるか否かを判定する符号化構造判定ステップを含み、
前記量子化幅決定ステップでは、
前記輝度変化判定ステップにおいて前記所定の大きさ以上の輝度変化が発生している可能性があると判定され、前記平坦領域判定ステップにおいて前記ばらつき度が前記所定の閾値よりも小さいと判定され、かつ、前記符号化構造判定ステップにおいて、前記符号化構造がＰピクチャであると判定された場合の量子化幅を、
前記所定の大きさ以上の輝度変化が発生している可能性があると判定されず、前記ばらつき度が前記所定の閾値よりも小さいと判定されず、または、前記符号化構造がＰピクチャであると判定されなかった場合の量子化幅よりも小さな値に決定する
請求項１記載の動画像符号化方法。
【請求項１３】
請求項１に記載の動画像符号化方法に含まれる、輝度変化判定ステップと、平坦領域判定ステップと、量子化幅決定ステップと
をコンピュータに実行させるためのプログラム。
【請求項１４】
時間的に前方又は後方にある符号化済みのピクチャをブロックの単位で参照して予測符号化を行うことで動画像を符号化する動画像符号化方法であって、
前記予測符号化の対象のブロックである符号化対象ブロックが含まれる符号化対象ピクチャの符号化構造が、Ｐピクチャであるか否かを判定する符号化構造判定ステップと、
前記符号化対象ブロックを構成する複数の画素の画素値のばらつき度が、所定の閾値よりも小さいか否かを判定する平坦領域判定ステップと、
前記符号化対象ブロックに対する符号化における量子化に用いられる量子化幅を決定する量子化幅決定ステップとを含み、
前記量子化幅決定ステップでは、
前記符号化構造判定ステップにおいて前記符号化構造がＰピクチャであると判定され、かつ、前記平坦領域判定ステップにおいて前記ばらつき度が前記所定の閾値よりも小さいと判定された場合の量子化幅を、
前記符号化構造がＰピクチャであると判定されず、または、前記ばらつき度が前記所定の閾値よりも小さいと判定されなかった場合の量子化幅よりも小さな値に決定する
動画像符号化方法。
【請求項１５】
時間的に前方又は後方にある符号化済みのピクチャをブロックの単位で参照して予測符号化を行うことで動画像を符号化する動画像符号化装置であって、
前記予測符号化の対象のブロックである符号化対象ブロックが含まれる符号化対象ピクチャと前記参照に用いる符号化済みピクチャとの間で、所定の大きさ以上の輝度変化が発生している可能性があるか否かを判定する輝度変化判定部と、
前記符号化対象ブロックを構成する複数の画素の画素値のばらつき度が、所定の閾値よりも小さいか否かを判定する平坦領域判定部と、
前記符号化対象ブロックに対する符号化における量子化に用いられる量子化幅を決定する量子化幅決定部とを備え、
前記量子化幅決定部は、
前記輝度変化判定部により前記所定の大きさ以上の輝度変化が発生している可能性があると判定され、かつ、前記平坦領域判定部により前記ばらつき度が前記所定の閾値よりも小さいと判定された場合の量子化幅を、
前記所定の大きさ以上の輝度変化が発生している可能性があると判定されず、または、前記ばらつき度が前記所定の閾値よりも小さいと判定されなかった場合の量子化幅よりも小さな値に決定する
動画像符号化装置。
【請求項１６】
時間的に前方又は後方にある符号化済みのピクチャをブロックの単位で参照して予測符号化を行うことで動画像を符号化する集積回路であって、
前記予測符号化の対象のブロックである符号化対象ブロックが含まれる符号化対象ピクチャと前記参照に用いる符号化済みピクチャとの間で、所定の大きさ以上の輝度変化が発生している可能性があるか否かを判定する輝度変化判定部と、
前記符号化対象ブロックを構成する複数の画素の画素値のばらつき度が、所定の閾値よりも小さいか否かを判定する平坦領域判定部と、
前記符号化対象ブロックに対する符号化における量子化に用いられる量子化幅を決定する量子化幅決定部とを備え、
前記量子化幅決定部は、
前記輝度変化判定部により前記所定の大きさ以上の輝度変化が発生している可能性があると判定され、かつ、前記平坦領域判定部により前記ばらつき度が前記所定の閾値よりも小さいと判定された場合の量子化幅を、
前記所定の大きさ以上の輝度変化が発生している可能性があると判定されず、または、前記ばらつき度が前記所定の閾値よりも小さいと判定されなかった場合の量子化幅よりも小さな値に決定する
集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像符号化方法および動画像符号化装置に関し、特に画面間予測を行う際に発生する符号化ノイズを抑制するための技術に関する。
【背景技術】
【０００２】
一般に動画像の符号化では、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。例えば、時間的な冗長性の削減を目的とする画面間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および予測画像の作成を行う。さらに、得られた予測画像と符号化対象ピクチャとの差分値に対して符号化を行う。【０００３】
ここで、“ピクチャ”とは１枚の画面を表す用語であり、プログレッシブ画像ではフレームを意味し、インタレース画像ではフレームもしくはフィールドを意味する。【０００４】
インタレース画像とは、１つのフレームが時刻の異なる２つのフィールドから構成される画像である。インタレース画像の符号化処理においては、１つのフレームをフレームのまま処理すること、２つのフィールドとして処理すること、および、フレーム内のブロック毎にフレーム構造またはフィールド構造として処理することができる。【０００５】
画面間予測符号化ではなく、画面内予測符号化によって得られるピクチャをＩピクチャと呼ぶ。また、１枚のピクチャのみを参照する画面間予測符号化によって得られるピクチャをＰピクチャと呼ぶ。また、同時に２枚までピクチャを参照可能な画面間予測符号化によって得られるピクチャをＢピクチャと呼ぶ。【０００６】
なお、参照ピクチャは符号化対象ピクチャよりも先に符号化されメモリに格納されている必要があり、符号化の基本単位であるブロックごとに適切なものが選択され指定される。【０００７】
Ｐピクチャ又はＢピクチャの符号化には、動き補償画面間予測符号化が用いられている。動き補償画面間予測符号化とは、ピクチャ内の各部の動き量（動きベクトル）を検出し、当該動き量を考慮した予測を行うことにより、予測精度を向上すると共に、データ量を減らす符号化方式である。【０００８】
具体的には、動き補償画面間予測符号化では、符号化対象ピクチャの符号化対象ブロックに対し、参照ピクチャ側で最も画素情報が似通ったブロックの位置を見つけて動きベクトルを検出する。【０００９】
さらに、参照ピクチャ側のその位置のブロックの画素値と符号化対象ブロックの画素値との差分（予測残差）のみを符号化する。動き補償画面間予測符号化ではこのようにしてデータ量を削減する。【００１０】
従って、符号化対象ブロックとより似通ったブロックを検出することができれば予測残差が小さくなるため高い圧縮率を実現することができる。【００１１】
逆に似通ったブロックを検出できなかった場合は予測残差を符号化するために必要な情報量が多くなる。そのため、特に低ビットレートで充分な符号量を予測残差に割り当てることが出来ない状況下では予測残差を充分に再現することができず、これにより発生した歪みが符号化ノイズとして画質を劣化させる原因となる。【００１２】
この符号化ノイズは、画素値のばらつきが比較的少ない領域（以下、「平坦領域」という。）で目立ちやすい。そこで、符号化対象ピクチャ内で平坦領域を検出し、平坦領域については量子化幅を比較的小さな値に設定することで当該平坦領域内の符号化ノイズの発生を抑制する技術（第一の従来技術）がある。【００１３】
また、符号化対象ピクチャと参照ピクチャとの間での輝度変化が比較的大きい場合、符号化対象ブロックに似通ったブロックを参照ピクチャ内で検出することが困難である。つまり、符号化対象の動画像における大きな輝度変化は予測残差を増大させる要因の一つであり、符号化ノイズの発生要因の一つである。【００１４】
図１４は、予測残差が大きくなる状況の例としての、輝度変化が発生した場合の従来の動き補償の振る舞いを説明する模式図である。【００１５】
図１４において、Ｐ３−Ｏｒｇが符号化対象ピクチャであり、Ｐ１−ＲｅｆおよびＰ２−Ｒｅｆが参照ピクチャである。【００１６】
図１４に示す例では、時間の経過とともに輝度が変化していることを示している。具体的には、Ｐ１−Ｒｅｆ、Ｐ２−Ｒｅｆ、Ｐ３−Ｏｒｇの順に輝度が次第に高くなっている。【００１７】
このようなシーンではどこから予測したとしても予測残差が大きくなってしまう。例えば、符号化対象ブロックＢＬ０１はＢＬ２１の位置から予測を行い、符号化対象ブロックＢＬ０２はＢＬ１２の位置から予測を行い、その結果、予測画像としてＰ３−Ｐｒｅｄが生成された場合を想定する。【００１８】
この場合、動き補償を行ったブロック間の画素値の差が大きいため、Ｐ３−Ｏｒｇ内のＢＬ０１およびＢＬ０２の画素値と、予測画像であるＰ３−Ｐｒｅｄ内の各該当ブロックの画素値とが大きく異なることになる。これにより、Ｐ３−Ｏｒｇ内の各ブロックについての予測残差は大きくなり、結果として符号化ノイズが発生し易い状況が生まれる。【００１９】
このような課題に対して、例えば特許文献１では、ピクチャ内で輝度変化の影響を受けたブロックを検出して当該ブロックに割り当てる符号量を増やす方法（第二の従来技術）が開示されている。
【特許文献１】特開２００７−２７４６７１号公報
【発明の開示】
【発明が解決しようとする課題】
【００２０】
しかしながら、上記第一の従来技術では、例えば平坦領域が占める割合の大きなピクチャが連続する場合、符号量を増やす対象となるブロック数が大幅に増加することになる。【００２１】
その結果、全体として必要な符号量が増大することにより充分な圧縮効率を実現できなくなるという問題が生じる。【００２２】
また、上記第二の従来技術では、局所的に激しく輝度変化が発生した場合であれば対象領域を特定してその領域のみ画質を上げることが可能である。【００２３】
しかし、画面全体で輝度変化が発生した場合や、緩やかな輝度変化が数フレームに渡って発生した場合は、符号量を増やす対象となるブロック数が大幅に増加する。【００２４】
その結果、上記第一の従来技術と同じく、全体として必要な符号量が増加することにより充分な圧縮効率を実現できなくなるという問題が生じる。【００２５】
例えば、ビデオカメラで撮影された動画像においては、光源とカメラの撮影対象の位置関係とにより画面全体の輝度が変化する特性がある。これにより、カメラや撮影対象が移動したときや光源の明るさが変わったときなど、頻繁に画面全体の輝度変化が発生する。【００２６】
本発明は、上記従来の課題を考慮し、符号化対象の動画像に時間的な輝度変化がある場合に、符号量の増加を最小限に抑制し、かつ、効果的に符号化ノイズを抑制する動画像符号化方法を提供することを目的とする。
【課題を解決するための手段】
【００２７】
上記の目的を達成するために、本発明の動画像符号化方法は、時間的に前方又は後方にある符号化済みのピクチャをブロックの単位で参照して予測符号化を行うことで動画像を符号化する動画像符号化方法であって、前記予測符号化の対象のブロックである符号化対象ブロックが含まれる符号化対象ピクチャと前記参照に用いる符号化済みピクチャとの間で、所定の大きさ以上の輝度変化が発生している可能性があるか否かを判定する輝度変化判定ステップと、前記符号化対象ブロックを構成する複数の画素の画素値のばらつき度が、所定の閾値よりも小さいか否かを判定する平坦領域判定ステップと、前記符号化対象ブロックに対する符号化における量子化に用いられる量子化幅を決定する量子化幅決定ステップとを含み、前記量子化幅決定ステップでは、前記輝度変化判定ステップにおいて前記所定の大きさ以上の輝度変化が発生している可能性があると判定され、かつ、前記平坦領域判定ステップにおいて前記ばらつき度が前記所定の閾値よりも小さいと判定された場合の量子化幅を、前記所定の大きさ以上の輝度変化が発生している可能性があると判定されず、または、前記ばらつき度が前記所定の閾値よりも小さいと判定されなかった場合の量子化幅よりも小さな値に決定する。【００２８】
本構成により、符号化対象の動画像に時間的な輝度変化がある場合において、画質の劣化が目立ちやすい平坦領域の画質が改善される。【００２９】
また、平坦領域はそもそも少ない符号量で符号化可能な領域である。そのため、平坦領域における符号化ノイズの抑制のための符号量の増加が全体の符号量に与える影響は少ない。【００３０】
つまり、本発明の動画像符号化方法では、符号化ノイズが目立ちやすい領域であり、かつ、符号量の増加に与える影響の少ない領域に限定して符号化ノイズの発生を抑制することができる。【００３１】
このように、本発明は、符号量の増加を最小限に抑制しながら効果的に符号化ノイズを抑制することができる。【００３２】
また、前記輝度変化判定ステップでは、符号化対象の動画像を生成するカメラから取得されるカメラ制御情報に示される値の変化量が、前記カメラ制御情報についての閾値以上である場合、前記所定の大きさ以上の輝度変化が発生している可能性があると判定するとしてもよい。【００３３】
本構成により、画像を解析して輝度変化を検出するという負荷の高い処理を行うことなく、高い精度で輝度変化を検出することが可能となる。【００３４】
また、本発明の動画像符号化方法は、時間的に前方又は後方にある符号化済みのピクチャをブロックの単位で参照して予測符号化を行うことで動画像を符号化する動画像符号化方法であって、前記予測符号化の対象のブロックである符号化対象ブロックが含まれる符号化対象ピクチャの符号化構造が、Ｐピクチャであるか否かを判定する符号化構造判定ステップと、前記符号化対象ブロックを構成する複数の画素の画素値のばらつき度が、所定の閾値よりも小さいか否かを判定する平坦領域判定ステップと、前記符号化対象ブロックに対する符号化における量子化に用いられる量子化幅を決定する量子化幅決定ステップとを含み、前記量子化幅決定ステップでは、前記符号化構造判定ステップにおいて前記符号化構造がＰピクチャであると判定され、かつ、前記平坦領域判定ステップにおいて前記ばらつき度が前記所定の閾値よりも小さいと判定された場合の量子化幅を、前記符号化構造がＰピクチャであると判定されず、または、前記ばらつき度が前記所定の閾値よりも小さいと判定されなかった場合の量子化幅よりも小さな値に決定するとしてもよい。【００３５】
このような処理によっても、符号量の増加を最小限に抑制し、かつ、効果的に符号化ノイズを抑制することができる。【００３６】
なお、本発明は、上記のいずれかの動画像符号化方法として実現することができるだけでなく、本発明の動画像復号化方法が含む各処理を実行する要素で構成される動画像符号化装置および集積回路、並びに、本発明の動画像復号化方法が含む各処理をコンピュータに実行させるためのプログラムとしても実現することができる。【００３７】
また、そのプログラムをＤＶＤ等の記録媒体やインターネット等の伝送媒体を介して広く流通させることができる。
【発明の効果】
【００３８】
本発明は、符号量の増加を最小限に抑制し、かつ、効果的に符号化ノイズを抑制する動画像符号化方法を提供することができる。【００３９】
具体的には、本発明の動画像符号化方法によれば、画質の劣化が目立ち易い領域であって、画質の改善に伴う符号量の増加量が少ない領域の画質を改善する。これにより、人間の視覚で捉えられる画質の向上と、符号量の増加の抑制との両立が実現される。
【図面の簡単な説明】
【００４０】
【図１】図１は、本発明の実施の形態１における動画像符号化装置の主要な機能構成を示すブロック図である。
【図２】図２（ａ）は、実施の形態１の動画像符号化装置における、量子化幅の決定に係る処理の流れを示すフローチャートであり、図２（ｂ）は、輝度変化に関与するカメラ制御情報の例を示す図である。
【図３】図３は、輝度変化発生時に画面間予測を行った際の、平坦領域と非平坦領域における輝度変化の影響の違いを説明するための模式図である。
【図４】図４は、平坦領域と非平坦領域とで符号化により発生する符号量の傾向の違いを説明するための模式図である。
【図５】図５は、本発明の実施の形態２における動画像符号化装置の主要な機能構成を示すブロック図である。
【図６】図６（ａ）は、実施の形態２の動画像符号化装置における、量子化幅の決定に係る処理の流れを示すフローチャートであり、図６（ｂ）は、輝度変化に関与する画面特徴値の例を示す図である。
【図７】図７は、本発明の実施の形態３における動画像符号化装置の主要な機能構成を示すブロック図である。
【図８】図８（ａ）は、実施の形態３の動画像符号化装置における、量子化幅の決定に係る処理の流れの第一の例を示すフローチャートであり、図８（ｂ）は、実施の形態３の動画像符号化装置における、量子化幅の決定に係る処理の流れの第二の例を示すフローチャートである。
【図９】図９（ａ）は、フレーム符号化の場合の一般的な参照関係を示す図であり、図９（ｂ）は、フィールド符号化の場合の一般的な参照関係を示す図である。
【図１０】図１０は、実施の形態３の変形例における処理の流れの一例を示すフローチャートである。
【図１１】図１１は、実施の形態３の変形例における処理の流れの別の一例を示すフローチャートである。
【図１２】図１２は、カメラ制御情報と符号化構造情報の両方が考慮された量子化幅制御の流れの一例を示す図である。
【図１３】図１３は、実施の形態１の動画像符号化装置における集積回路化の一例を示す図である。
【図１４】図１４は、従来の、輝度変化による画面間予測への影響を説明するための模式図である。
【符号の説明】
【００４１】
１００、５００、７００    動画像符号化装置
１０１、１０６、５０１、５０６、７０１、７０６    ピクチャメモリ
１０２、５０２、７０２    量子化幅決定部
１０３、５０３、７０３    予測残差符号化部
１０４、５０４、７０４    符号列生成部
１０５、５０５、７０５    予測残差復号化部
１０７、５０７、７０７    動きベクトル検出部
１０８、５０８、７０８    動き補償符号化部
１０９、５０９、７０９    差分演算部
１１０、５１０、７１０    加算演算部
１１１、５１１、７１１    平坦領域判定部
１１２    変化判定部
１５０    ＬＳＩ
５１２    特徴値大きさ判定部
５１３    画面特徴値抽出部
【発明を実施するための最良の形態】
【００４２】
以下本発明の実施の形態について、図面を参照しながら説明する。【００４３】
（実施の形態１）
図１は、本発明の実施の形態１における動画像符号化装置１００の主要な機能構成を示すブロック図である。【００４４】
動画像符号化装置１００は、図１に示すようにピクチャメモリ１０１、量子化幅決定部１０２、予測残差符号化部１０３、符号列生成部１０４、予測残差復号化部１０５、ピクチャメモリ１０６、動きベクトル検出部１０７、動き補償符号化部１０８、平坦領域判定部１１１、および、変化判定部１１２を備えている。【００４５】
符号化対象となる動画像は表示を行う順にピクチャ単位でピクチャメモリ１０１に入力され、符号化を行う順にピクチャの並び替えが行われる。【００４６】
さらに各々のピクチャはマクロブロックと呼ばれるブロックに分割されブロック単位で以降の処理が行われる。マクロブロックは、例えば水平１６画素×垂直１６画素のブロックである。【００４７】
ピクチャメモリ１０１から読み出された、マクロブロック単位の入力画像信号は差分演算部１０９に入力される。【００４８】
差分演算部１０９は、入力画像信号と、動き補償符号化部１０８の出力である予測画像信号との差分を取ることによって得られる差分画像信号を予測残差符号化部１０３に出力する。【００４９】
予測残差符号化部１０３は差分画像信号に対して直交変換を行い、さらに量子化幅決定部１０２で決定された量子化幅を用いて量子化を行い残差符号化信号を出力する。【００５０】
残差符号化信号は予測残差復号化部１０５に入力され、逆量子化、逆直交変換等が行われ、残差復号化信号が予測残差復号化部１０５から出力される。【００５１】
加算演算部１１０は残差復号化信号と予測画像信号との加算を行い、再構成画像信号を生成する。【００５２】
また、生成された再構成画像信号の中で、以降の画面間予測で参照される可能性がある信号はピクチャメモリ１０６に格納される。つまり、動き補償符号化部１０８による符号化処理の際に参照される可能性のあるピクチャがピクチャメモリ１０６に格納される。【００５３】
一方、ピクチャメモリ１０１から読み出されたマクロブロック単位の入力画像信号は動きベクトル検出部１０７にも入力される。【００５４】
動きベクトル検出部１０７は、ピクチャメモリ１０６に格納されている再構成画像信号から構成される参照ピクチャを探索対象とし、入力画像信号に最も近い画像領域を検出することによってその位置を指し示す動きベクトルを決定する。【００５５】
また、例えばＨ．２６４では複数のピクチャを参照ピクチャとして使用することができる。そのため参照ピクチャとして用いるピクチャを指定するための参照インデックスも同時に決定される。【００５６】
動き補償符号化部１０８は、前記処理によって検出された動きベクトルおよび参照インデックスを用いて、ピクチャメモリ１０６に格納されている参照ピクチャから予測画像を生成する。【００５７】
一連の処理によって生成された残差符号化信号、動きベクトル、参照インデックス等の符号化情報は符号列生成部１０４に入力される。符号列生成部１０４は、入力された符号化情報に可変長符号化を施すことによって、動画像符号化装置１００から出力される符号列を生成する。【００５８】
次に、予測残差符号化部１０３が量子化を行う際に使用する量子化幅の値を決定するための、変化判定部１１２、平坦領域判定部１１１および量子化幅決定部１０２の処理を詳しく説明する。【００５９】
平坦領域判定部１１１は、符号化対象のマクロブロック（以下、「符号化対象ブロック」という。）が平坦領域であるか否かを判定する。変化判定部１１２は、動画像符号化装置１００に入力される動画像を生成するカメラから入力された、カメラ制御情報の変化量が大きいか否かを判定する。【００６０】
それぞれの判定結果は、量子化幅決定部１０２に入力される。量子化幅決定部１０２は、これら判定結果を用いて量子化幅を決定し、決定した量子化幅を予測残差符号化部１０３に入力する。【００６１】
なお、変化判定部１１２は、本発明の動画像符号化方法における輝度変化判定ステップを実行する処理部の第一の例である。【００６２】
上記の処理の流れをまとめると図２（ａ）のフローチャートのようになる。【００６３】
図２（ａ）は、実施の形態１の動画像符号化装置１００における、量子化幅の決定に係る処理の流れを示すフローチャートである。【００６４】
変化判定部１１２はカメラ制御情報の変化量が所定の閾値以上か否かを判定する（Ｓ２０１）。【００６５】
変化判定部１１２は、具体的には、符号化対象の動画像における時間的な輝度変化に関与するカメラ制御情報をこの判定に使用する。この判定に使用されるカメラ制御情報の例を図２（ｂ）に示す。【００６６】
図２（ｂ）は、輝度変化に関与するカメラ制御情報の例を示す図である。【００６７】
変化判定部１１２は、図２（ｂ）に示す、ＥＶ（Ｅｘｐｏｓｕｒｅ  Ｖａｌｕｅ：露出値）、ズーム位置、シャッター速度、絞り値、ゲイン値のうちの少なくとも１つを用いて上記判定を行う。【００６８】
例えば、所定の期間内でのＥＶの増加量または減少量の絶対値が、ＥＶについての所定の閾値以上である場合、符号化対象ピクチャと参照ピクチャとの間に所定の大きさ以上の輝度変化が発生している、またはその可能性があると判断できる。【００６９】
なお、上記の「所定の期間」は、例えば、時間またはピクチャの枚数などにより規定される期間である。【００７０】
変化判定部１１２は、このようにカメラ制御情報の変化量と所定の閾値とを比較する。これにより、符号化対象のピクチャと、それ以前の符号化により得られた参照ピクチャとの間で、所定の大きさ以上の輝度変化が発生している可能性があるか否かが判定される。【００７１】
変化判定部１１２はさらに、カメラ制御情報の変化量が所定の閾値より大きな場合（Ｓ２０１でＹＥＳ）、その旨を量子化幅決定部１０２に通知する。【００７２】
次に、平坦領域判定部１１１は、符号化対象ブロックが平坦領域であるか否かを判定する（Ｓ２０２）。なお、この判定は、輝度変化についての判定（Ｓ２０１）より前に行われてもよく、並行して行われてもよい。【００７３】
平坦領域判定部１１１は、例えば、符号化対象ブロックの入力画像信号を用いて、当該ブロック内における画素値のばらつき度を算出する。【００７４】
なお、「画素値のばらつき度」とは、例えば、符号化対象ブロック内の隣接する画素の画素値間の差分の絶対値を合計することにより得ることのできる物理量である。平坦領域判定部１１１はこの画素値のばらつき度を算出し、算出した値と所定の閾値とを比較する。【００７５】
比較の結果、画素値のばらつき度が当該閾値よりも小さな場合、平坦領域判定部１１１は、当該ブロックは平坦領域であると判定する（Ｓ２０２でＹＥＳ）。【００７６】
また、比較の結果、画素値のばらつき度が当該閾値以上の場合、平坦領域判定部１１１は、当該ブロックは非平坦領域であると判定する（Ｓ２０２でＮＯ）。【００７７】
なお、平坦領域判定部１１１は、入力画像信号の代わりに差分演算部１０９で算出された差分画像信号を用いて、符号化対象ブロックが平坦領域であるか否かを判定してもよい。【００７８】
また、平坦領域判定部１１１は、予測残差符号化部１０３が行う直交変換によって生成された周波数成分毎の係数値を用いて上記判定を行ってもよい。この場合、低周波数領域に係数が集中していれば平坦領域、高周波数領域まで係数が分散していれば非平坦領域として判定することができる。【００７９】
また、平坦領域判定部１１１は、その他の方法によって符号化対象ブロックが平坦領域であるか否か判定してもよい。【００８０】
量子化幅決定部１０２は、カメラ制御情報の変化量が所定の閾値以上である場合（Ｓ２０１でＹＥＳ）であって、かつ、符号化対象ブロックが平坦領域である場合（Ｓ２０２でＹＥＳ）にのみ、量子化幅を、非平坦領域であるマクロブロックについての量子化幅よりも小さい値に決定する（Ｓ２０３）。【００８１】
量子化幅決定部１０２により決定された量子化幅は、上述のように、予測残差符号化部１０３による量子化に用いられる。【００８２】
つまり、量子化幅決定部１０２は、符号化ノイズが目立ち易い平坦領域については、非平坦領域を量子化する場合よりも小さな量子化幅で量子化するよう決定する。【００８３】
例えば、量子化幅決定部１０２は、当該ブロックについての量子化幅を、予め設定された、符号化対象ブロックに対する量子化の際の基準となる量子化幅（基準量子化幅）よりも小さい値にする処理を行う。【００８４】
なお、符号化対象ブロックについての量子化幅をどのような値まで小さくするかについては、他の手法が用いられてもよい。【００８５】
例えば、上記の基準量子化幅とは無関係に常に一定の量子化幅以下になるまで小さくするという制御を行う方法がある。平坦領域では量子化幅とノイズの見え方に相関関係がある。そこで、人の視覚ではノイズを認識し難いレベルを実現する特定の値まで量子化幅を小さくする。これにより、ビットレートに依存せず常に目立ちやすいノイズを抑制することが可能となる。【００８６】
また、変調幅である量子化幅から特定の固定値だけ小さくするという制御を行ってもよい。また、基準量子化幅に応じてその基準量子化幅から減じる値を可変にするという制御を行ってもよい。【００８７】
図３は、輝度変化発生時に画面間予測を行った際の、平坦領域と非平坦領域における輝度変化の影響の違いを説明するための模式図である。【００８８】
なお、図３において、Ｐ２−Ｏｒｇが符号化対象ピクチャであり、Ｐ１−Ｒｅｆが参照ピクチャである。また、Ｐ１−ＲｅｆはＰ２−Ｏｒｇよりも輝度が低い。つまりこれらの輝度は異なっている。【００８９】
各ピクチャでは画面の右上にエッジまたはテクスチャが存在している。符号化対象ブロックＢＬ０１は非平坦領域に属し、ＢＬ１１の位置から予測が行われる。また、符号化対象ブロックＢＬ０２は平坦領域に属し、ＢＬ１２の位置から予測が行われる。【００９０】
その結果、予測画像としてＰ２−Ｐｒｅｄが生成されたとする。最終的に生成される符号化画像はこの予測画像に対して残差信号を加算したものとなる。【００９１】
ここで、残差信号の復号化における精度（符号化前の画素値と復号化後の画素値との同一性）は、符号化の際の量子化幅により制限される。そのため、予測誤差は最終的に符号化ノイズとして符号化画像の画質劣化の原因となる。【００９２】
しかし同じような輝度変化によって生じた予測誤差でも、ＢＬ０１の位置のような非平坦領域では他のエッジやテクスチャの情報によって人の視覚には判別し難くなる傾向がある。【００９３】
それに対してＢＬ０２の位置のような平坦領域では少しでも誤差があると人の視覚に目立つノイズとなってしまう。【００９４】
本実施の形態の動画像符号化装置１００では、この特性を利用して輝度変化が発生した場合に視覚的にノイズが目立ちやすい平坦領域に絞って量子化幅を小さくして画質を向上させる。これにより、効果的な画質の改善を実現している。【００９５】
また、一般に、平坦領域を符号化した際の符号量は、非平坦領域を符号化した際の符号量よりも小さな値に収まる。つまり、平坦領域は、画質の向上による符号量の増加が比較的小さいという特性を有している。【００９６】
図４は、平坦領域と非平坦領域とで符号化により発生する符号量の傾向の違いを説明するための模式図である。【００９７】
予測残差の符号化は、入力された予測残差係数に対して直交変換を行って直交変換係数を算出し、これに対して指定された量子化幅で量子化を行うことによって得られた係数値を可変長符号化することによってなされる。【００９８】
図４に示すように、平坦領域ブロックの予測残差係数は全面に渡って同じような値となり、非平坦領域ブロックでは係数値がばらつく傾向がある。【００９９】
これらの予測残差を直交変換して得られた直交変換係数は、平坦領域ブロックでは低周波数領域（（０，０）の係数位置周辺）に値が集中する。また、非平坦領域ブロックでは低周波数領域から離れた高周波数領域（（３，３）の係数位置周辺）に近いところまで係数が分散する傾向がある。【０１００】
従って、平坦領域ブロックを符号化する場合に量子化幅を小さくしたとしても符号化しなくてはならない非０の直交変換係数の数が少ない。そのため、符号量が大幅に増加することはない。【０１０１】
それに対して、非平坦領域ブロックを符号化する場合に量子化幅を小さくしてしまうと非０の直交変換係数の数が多いため急激に符号量が増加してしまうことになる。【０１０２】
本実施の形態の動画像符号化装置１００は、上述のように平坦領域に絞って量子化幅を小さくして画質を向上させている。つまり、上記の平坦領域の特性を利用して、画質の向上に伴う符号量の増加を最小限に抑えている。【０１０３】
このように、本実施の形態の動画像符号化装置１００によれば、動画像を符号化する際に、画質の劣化が目立ち易い領域であって、かつ画質の改善に伴う符号量の増加量が少ない領域については、符号化の際の量子化幅を小さくする。これにより、効率的かつ効果的な画質の改善が実現される。【０１０４】
（実施の形態２）
図５は、本発明の実施の形態２における動画像符号化装置５００の主要な機能構成を示すブロック図である。【０１０５】
なお、ピクチャメモリ５０１、予測残差符号化部５０３、符号列生成部５０４、予測残差復号化部５０５、ピクチャメモリ５０６、動きベクトル検出部５０７、動き補償符号化部５０８、差分演算部５０９および加算演算部５１０による基本的な処理内容は、実施の形態１における動画像符号化装置１００（図１参照）の基本的な処理内容と同一である。【０１０６】
そのため、これら処理部による基本的な処理内容の説明は省略し、予測残差符号化部５０３で量子化を行う際に使用する量子化幅の値を決定するための、特徴値大きさ判定部５１２、平坦領域判定部５１１および量子化幅決定部５０２の処理を詳しく説明する。【０１０７】
平坦領域判定部５１１は、符号化対象ブロックが平坦領域であるか否かを判定する。特徴値大きさ判定部５１２は、入力画像から画面特徴値抽出部５１３が抽出した画面特徴値の大きさが所定の閾値以上か否かを判定する。【０１０８】
それぞれの判定結果は、量子化幅決定部５０２に入力される。量子化幅決定部５０２は、これら判定結果を用いて量子化幅を決定し、決定した量子化幅を予測残差符号化部５０３に入力する。【０１０９】
なお、特徴値大きさ判定部５１２は、本発明の動画像符号化方法における輝度変化判定ステップを実行する処理部の第二の例である。【０１１０】
上記の処理の流れをまとめると図６（ａ）のフローチャートのようになる。【０１１１】
図６（ａ）は、実施の形態２の動画像符号化装置５００における、量子化幅の決定に係る処理の流れを示すフローチャートである。【０１１２】
特徴値大きさ判定部５１２は、画面特徴値抽出部５１３から入力される画面特徴値の大きさが所定の閾値以上か否かを判定する（Ｓ６０１）。【０１１３】
具体的には、特徴値大きさ判定部５１２は、符号化対象の動画像における時間的な輝度変化に関与する画面特徴値をこの判定に使用する。この判定に使用される画面特徴値の例を図６（ｂ）に示す。【０１１４】
図６（ｂ）は、輝度変化に関与する画面特徴値の例を示す図である。【０１１５】
特徴値大きさ判定部５１２は、図６（ｂ）に示す、画面輝度の変化量、画面の推定ズーム速度、画面の推定動き速度のうちの少なくとも１つを用いて上記判定を行う。【０１１６】
例えば、ある時点での画面の推定ズーム速度が、ズーム速度についての所定の閾値以上である場合、符号化対象ピクチャと参照ピクチャとの間に、撮影範囲の急激な拡大または縮小を要因とする所定の大きさ以上の輝度変化が発生している、またはその可能性があると判断できる。【０１１７】
また、例えば、ある時点での画面の推定動き速度が、動き速度についての所定の閾値以上である場合、符号化対象ピクチャと参照ピクチャとの間に、撮影対象の急激な切り替わりを要因とする所定の大きさ以上の輝度変化が発生している、またはその可能性があると判断できる。【０１１８】
特徴値大きさ判定部５１２は、このように画面特徴値と所定の閾値とを比較する。これにより、符号化対象のピクチャと、それ以前の符号化により得られた参照ピクチャとの間で、所定の大きさ以上の輝度変化が発生しているか否かが判定される。【０１１９】
特徴値大きさ判定部５１２はさらに、画面特徴値が所定の閾値より大きな場合（Ｓ６０１でＹＥＳ）、その旨を量子化幅決定部５０２に通知する。【０１２０】
次に平坦領域判定部５１１は、符号化対象ブロックが平坦領域であるか否かを判定する（Ｓ６０２）。【０１２１】
なお、平坦領域判定部５１１が行う、符号化対象ブロックが平坦領域であるか否かの判定に用いる手法は、実施の形態１の平坦領域判定部１１１と同じである。【０１２２】
すなわち、平坦領域判定部５１１は、例えば、符号化対象ブロックの入力画像信号を用いて、当該ブロック内における画素値のばらつき度を算出する。さらに、算出したばらつき度と、所定の閾値とを比較する。平坦領域判定部５１１は、この比較の結果、画素値のばらつき度が当該閾値よりも小さな場合、当該ブロックは平坦領域であると判定し（Ｓ６０２でＹＥＳ）、画素値のばらつき度が当該閾値以上の場合、当該ブロックは非平坦領域であると判定する（Ｓ６０２でＮＯ）。【０１２３】
なお、平坦領域判定部５１１は、実施の形態１の平坦領域判定部１１１と同じく、入力画像信号の代わりに差分演算部５０９で算出された差分画像信号、または、予測残差符号化部５０３が行う直交変換によって生成された周波数成分毎の係数値を用いて、符号化対象ブロックが平坦領域であるか否かを判定してもよい。【０１２４】
また、平坦領域判定部５１１は、その他の方法によって符号化対象ブロックが平坦領域であるか否か判定してもよい。【０１２５】
量子化幅決定部５０２は、画面特徴値が所定の閾値以上である場合（Ｓ６０１でＹＥＳ）であって、かつ、符号化対象ブロックが平坦領域である場合（Ｓ６０２でＹＥＳ）にのみ、量子化幅を、非平坦領域であるマクロブロックについての量子化幅よりも小さい値に決定する（Ｓ６０３）。【０１２６】
量子化幅決定部５０２により決定された量子化幅は、予測残差符号化部５０３による量子化に用いられる。【０１２７】
つまり、量子化幅決定部５０２は、符号化ノイズが目立ち易い平坦領域については、非平坦領域を量子化する場合よりも小さな量子化幅で量子化するよう決定する。【０１２８】
例えば、量子化幅決定部５０２は、当該ブロックについての量子化幅を、予め設定された基準量子化幅よりも小さい値にする処理を行う。【０１２９】
なお、符号化対象ブロックについての量子化幅をどのような値まで小さくするかについては、他の手法が用いられてもよい。【０１３０】
例えば、実施の形態１と同じく、基準量子化幅とは無関係に常に一定の量子化幅以下になるまで小さくするという制御を行う方法がある。また、変調幅である量子化幅から特定の固定値だけ小さくするという制御を行ってもよい。また、基準量子化幅に応じてその基準量子化幅から減じる値を可変にするという制御を行ってもよい。【０１３１】
実施の形態２の動画像符号化装置５００は、以上説明したように、小さな量子化幅で量子化する対象を、参照先との間での輝度変化が大きな領域であって、かつ、平坦領域に限定する。これにより、実施の形態１の動画像符号化装置１００と同じく、符号量の増加を最小限に抑制し、かつ、効果的に符号化ノイズを抑制することが可能である。【０１３２】
しかし、実施の形態２の動画像符号化装置５００は、実施の形態１の動画像符号化装置１００とは異なり、カメラから取得されるカメラ制御情報を必要としない。【０１３３】
そのため、例えばデジタルビデオレコーダにおける符号化装置、および、カメラと連動する機能を持たない、デジタルビデオカメラにおける符号化装置のように、カメラ制御情報を取得することが出来ない符号化装置であっても、動画像符号化装置５００の構成を採用することにより、効率的かつ効果的に画質を改善することができる。【０１３４】
つまり、動画像符号化装置５００は、カメラ制御情報を取得できない場合であっても、輝度変化が発生した場合に視覚的にノイズが目立ちやすい平坦領域の画質を向上させることによって、符号量の増加を最小限に抑えながら効果的に画質を改善することを実現している。【０１３５】
（実施の形態３）
図７は、本発明の実施の形態３における動画像符号化装置７００の主要な機能構成を示すブロック図である。【０１３６】
なお、ピクチャメモリ７０１、予測残差符号化部７０３、符号列生成部７０４、予測残差復号化部７０５、ピクチャメモリ７０６、動きベクトル検出部７０７、動き補償符号化部７０８、差分演算部７０９および加算演算部７１０による基本的な処理内容は、実施の形態１における動画像符号化装置１００（図１参照）の基本的な処理内容と同一である。【０１３７】
そのため、これら処理部による基本的な処理内容の説明は省略し、予測残差符号化部７０３で量子化を行う際に使用する量子化幅の値を決定するための、平坦領域判定部７１１および量子化幅決定部７０２の処理を詳しく説明する。【０１３８】
平坦領域判定部７１１は、符号化対象ブロックが平坦領域であるか否かを判定する。この判定により得られた判定結果は、量子化幅決定部７０２に入力される。また、量子化幅決定部７０２にはさらに符号化構造情報が入力される。【０１３９】
なお、「符号化構造情報」とは、本実施の形態においては、符号化対象ピクチャの種類（Ｉ、Ｐ、またはＢ）、並びに、符号化対象のピクチャに対しフレーム符号化およびフィールド符号化のいずれが実行されるかを示す情報である。【０１４０】
例えば、動画像符号化装置７００の動作を制御する制御部（図示せず）から、符号化構造情報が量子化幅決定部７０２に入力される。【０１４１】
量子化幅決定部７０２は、これら判定結果および符号化構造情報を用いて量子化幅を決定し、決定した量子化幅を予測残差符号化部７０３に入力する。【０１４２】
なお、量子化幅決定部７０２は、本発明の動画像符号化方法における輝度変化判定ステップを実行する処理部の第三の例である。量子化幅決定部７０２は、具体的には、符号化構造情報を参照することで、所定の大きさ以上の輝度変化の発生の有無を判断することができる。【０１４３】
上記の処理の流れの一例を図８（ａ）に示す。【０１４４】
図８（ａ）は、実施の形態３の動画像符号化装置７００における、量子化幅の決定に係る処理の流れの第一の例を示すフローチャートである。【０１４５】
量子化幅決定部７０２は、符号化構造情報を参照することで、符号化対象ブロックがＰピクチャとして符号化を行うピクチャに含まれるブロックか否かを判定する（Ｓ８０１Ａ）。【０１４６】
次に平坦領域判定部７１１は、符号化対象ブロックが平坦領域であるか否かを判定する（Ｓ８０２）。【０１４７】
なお、平坦領域判定部７１１が行う、符号化対象ブロックが平坦領域であるか否かの判定に用いる手法は、実施の形態１の平坦領域判定部１１１と同じである。【０１４８】
すなわち、平坦領域判定部７１１は、例えば、符号化対象ブロックの入力画像信号を用いて、当該ブロック内における画素値のばらつき度を算出する。さらに、算出したばらつき度と、所定の閾値とを比較する。比較の結果、画素値のばらつき度が当該閾値よりも小さな場合、当該ブロックは平坦領域であると判定し（Ｓ８０２でＹＥＳ）、画素値のばらつき度が当該閾値以上の場合、当該ブロックは非平坦領域であると判定する（Ｓ８０２でＮＯ）。【０１４９】
なお、平坦領域判定部７１１は、実施の形態１の平坦領域判定部１１１と同じく、入力画像信号の代わりに差分演算部７０９で算出された差分画像信号、または、予測残差符号化部７０３が行う直交変換によって生成された周波数成分毎の係数値を用いて、符号化対象ブロックが平坦領域であるか否かを判定してもよい。【０１５０】
また、平坦領域判定部７１１は、その他の方法によって符号化対象ブロックが平坦領域であるか否か判定してもよい。【０１５１】
量子化幅決定部７０２は、符号化対象ブロックがＰピクチャとして符号化するピクチャに含まれるブロックである場合（Ｓ８０１ＡでＹＥＳ）であって、かつ、符号化対象ブロックが平坦領域である場合（Ｓ８０２でＹＥＳ）にのみ、量子化幅を、非平坦領域であるマクロブロックについての量子化幅よりも小さい値に決定する。【０１５２】
量子化幅決定部７０２により決定された量子化幅は、予測残差符号化部７０３による量子化に用いられる。【０１５３】
つまり、量子化幅決定部７０２は、符号化ノイズが目立ち易い平坦領域については、非平坦領域を量子化する場合よりも小さな量子化幅で量子化するよう決定する。【０１５４】
例えば、量子化幅決定部７０２は、当該ブロックについての量子化幅を、予め設定された基準量子化幅よりも小さい値に決定する。【０１５５】
なお、符号化対象ブロックについての量子化幅をどのような値まで小さくするかについては、他の手法であってもよい。【０１５６】
例えば、実施の形態１と同じく、基準量子化幅とは無関係に常に一定の量子化幅以下になるまで小さくするという制御を行う方法がある。また、変調幅である量子化幅から特定の固定値だけ小さくするという制御を行ってもよい。また、基準量子化幅に応じてその基準量子化幅から減じる値を可変にするという制御を行ってもよい。【０１５７】
また、量子化幅決定部７０２は、図８（ｂ）に示すように、符号化構造情報を参照することで、符号化対象がフィールド構造であり、かつ、Ｐピクチャとして符号化を行うピクチャの２つのフィールドのうち、符号化順で先に符号化するフィールドに含まれるブロックであるか否か（Ｓ８０２Ｂ）を判定してもよい。【０１５８】
つまり、符号化対象ブロックが、Ｐピクチャとして符号化されるピクチャに含まれるブロックである場合、および、符号化順で先に符号化するフィールドに含まれるブロックである場合は、ともに、参照ピクチャまでの時間間隔が比較的に長い。【０１５９】
また、符号化対象のピクチャと参照ピクチャまでの時間間隔が長いほど、これらの間で、所定の大きさ以上の輝度変化が発生している可能性が高いと考えることができる。そのため、実施の形態３の動画像符号化装置７００は、符号化対象ブロックについての符号化構造情報を、符号化幅の制御のための参照情報の１つとして扱う。【０１６０】
図９（ａ）および図９（ｂ）は、符号化構造による輝度変化の影響の受け易さを説明するための模式図である。【０１６１】
なお、図９（ａ）は、フレーム符号化の場合の一般的な参照関係を示す図であり、図９（ｂ）は、フィールド符号化の場合の一般的な参照関係を示す図である。【０１６２】
また、図９（ａ）および図９（ｂ）において、矢印の始端に位置するピクチャが符号化される際に、矢印の先端が示すピクチャが参照されることを示している。【０１６３】
また、図９（ａ）および図９（ｂ）では、最も一般的な参照関係を説明するため、参照に使用することのできるピクチャをＩピクチャとＰピクチャのみとし、さらに参照先のピクチャとしてＰピクチャは時間的に前方の最も近い１枚のピクチャを、Ｂピクチャは時間的に前方および後方のそれぞれで最も近い１枚ずつのピクチャを参照している。【０１６４】
図９（ａ）は全てフレーム符号化を行った場合の例を示している。具体的には、ＢピクチャであるＢ３はＩ１とＰ４を参照し、ＰピクチャであるＰ７はＰ４のみを参照している。【０１６５】
ここで、輝度変化が発生するようなシーンでは、符号化対象ピクチャと参照ピクチャとの時間間隔が広くなるほど輝度変化の影響が大きくなり予測誤差が増加する。【０１６６】
例えば、Ｂ３であれば、Ｂ３との時間間隔が１フレーム分であるＰ４を参照することができる。しかし、Ｐ７の場合は、Ｐ７との時間間隔が３フレーム分であるＰ４を参照するしかない。つまりＰピクチャの方が輝度変化の影響を強く受ける傾向がある。【０１６７】
また、図９（ｂ）は全てフィールド符号化を行った場合の例を示している。具体的には、Ｂピクチャの先頭フィールドであるＢ３ＴはＰ１ＢとＰ４Ｔを参照し、Ｐピクチャの先頭フィールドであるＰ７ＴはＰ４Ｂのみを参照し、Ｐピクチャの後続フィールドであるＰ７ＢはＰ７Ｔのみを参照している。【０１６８】
例えば、Ｂ３Ｔであれば、Ｂ３Ｔとの時間間隔が２フィールド分であるＰ４Ｔを、Ｐ７Ｂであれば、Ｐ７Ｂとの時間間隔が１フィールド分であるＰ７Ｔを参照することができる。【０１６９】
しかし、Ｐ７Ｔの場合は、Ｐ７Ｔとの時間間隔が５フィールド分であるＰ４Ｂを参照するしかない。つまりフィールド構造の場合はＰピクチャの先頭フィールドが最も輝度変化の影響を強く受ける傾向がある。【０１７０】
なお、１つのＰピクチャを構成する先頭フィールドおよび後続フィールドのうち、先に後続フィールドが符号化される場合は、後続フィールドが最も輝度変化の影響を強く受けることになる。【０１７１】
このように、符号化対象が、Ｐピクチャの一部として符号化される場合、または、Ｐピクチャを構成する２つのフィールドのうち符号化順で先に符号化されるフィールド（以下、「先行フィールド」という。）の一部として符号化される場合、（これらの場合を、「符号化対象がＰピクチャまたは先行フィールドである場合」という。）当該符号化対象と、参照ピクチャとの時間間隔が比較的に長い。【０１７２】
そのため、Ｐピクチャおよび先行フィールドは、輝度変化の影響を強く受けることになる。言い換えると、符号化対象であるＰピクチャまたは先行フィールドと、参照ピクチャとの間で所定の大きさ以上の輝度変化が発生している可能性があると言える。【０１７３】
本実施の形態の動画像符号化装置７００は、この特性を利用して効率的かつ効果的な画質の改善を行う。具体的には、動画像符号化装置７００は、一連の動画像を符号化する際に、Ｐピクチャまたは先行フィールドに限定して平坦領域の量子化幅を小さくして画質を向上させる。【０１７４】
これにより、符号量の増加を最小限に抑えながら効果的に画質を改善することを実現している。また、カメラ制御情報や画面特徴値を用いる必要がないため、これらの情報を利用することの出来ない符号化装置であっても、動画像符号化装置７００の構成を採用することにより効率的かつ効果的に画質を改善することができる。【０１７５】
（実施の形態３の変形例）
実施の形態３では、Ｐピクチャまたは先行フィールドのみについて量子化幅を小さくするとした。【０１７６】
しかし、Ｐピクチャまたは先行フィールドでは量子化幅を小さくする際の変位を大きくし、それ以外のピクチャでは量子化幅を小さくする際の変位を小さくすることにより、効率的かつ効果的な画質の向上を実現することもできる。そこで、この処理の流れを実施の形態３の変形例として説明する。【０１７７】
図１０は、実施の形態３の変形例における処理の流れの一例を示すフローチャートである。【０１７８】
図１０に示すように、量子化幅決定部７０２により、符号化対象がＰピクチャであると判定され（Ｓ１００１でＹＥＳ）、かつ、平坦領域判定部７１１により、符号化対象ブロックが平坦領域であると判定された場合（Ｓ１００２でＹＥＳ）、量子化幅決定部７０２は、量子化幅を基準量子化幅からＸだけ小さい値に決定する。【０１７９】
また、量子化幅決定部７０２により、符号化対象がＰピクチャではなく（Ｓ１００１でＮＯ）Ｂピクチャであると判定され（Ｓ１００４でＹＥＳ）、かつ、平坦領域判定部７１１により、符号化対象ブロックが平坦領域であると判定された場合（Ｓ１００５でＹＥＳ）、量子化幅決定部７０２は、量子化幅を基準量子化幅からＹだけ小さい値に決定する。【０１８０】
なお、上記のＸとＹとは、Ｘ＞Ｙの関係である。つまり、符号化対象がＰピクチャに含まれるブロックである場合の量子化幅をＱ１とし、符号化対象ブロックがＢピクチャに含まれるブロックである場合の量子化幅をＱ２とし、基準量子化幅をＱ０とすると、当該符号化対象ブロックが平坦領域である場合、Ｑ０＞Ｑ２＞Ｑ１となるように、符号化対象ブロックについての量子化幅が決定される。【０１８１】
図１１は、実施の形態３の変形例における処理の流れの別の一例を示すフローチャートである。【０１８２】
図１１に示すように、量子化幅決定部７０２により、符号化対象がＰピクチャの先頭フィールドであると判定され（Ｓ１１０１でＹＥＳ）、かつ、平坦領域判定部７１１により、符号化対象ブロックが平坦領域であると判定された場合（Ｓ１１０２でＹＥＳ）、量子化幅決定部７０２は、量子化幅を基準量子化幅からＸだけ小さい値に決定する。【０１８３】
また、量子化幅決定部７０２により、符号化対象がＰピクチャの先頭フィールドではなく、（Ｓ１１０１でＮＯ）ＰピクチャまたはＢピクチャであると判定され（Ｓ１１０４でＹＥＳ）、かつ、平坦領域判定部７１１により、符号化対象ブロックが平坦領域であると判定された場合（Ｓ１１０５でＹＥＳ）、量子化幅決定部７０２は、量子化幅を基準量子化幅からＹだけ小さい値に決定する。【０１８４】
なお、Ｓ１１０４の判断における“Ｐピクチャ”とは、フレーム構造のＰピクチャ、および、フィールド構造のＰピクチャの後続フィールドを含む表現である。【０１８５】
また、上記のＸとＹとは、Ｘ＞Ｙの関係である。つまり、符号化対象ブロックがＰピクチャの先頭フィールドに含まれるブロックである場合の量子化幅をＱ１とし、符号化対象ブロックがＰピクチャまたはＢピクチャに含まれるブロックである場合の量子化幅をＱ２とし、基準量子化幅をＱ０とすると、当該符号化対象ブロックが平坦領域である場合、Ｑ０＞Ｑ２＞Ｑ１となるように、符号化対象ブロックについての量子化幅が決定される。【０１８６】
また、図１１に示す処理では、符号化対象がＰピクチャの先頭フィールドであるか否かを判断している（Ｓ１１０１）。これは、先頭フィールドおよび後続フィールドのうち、先に符号化されるフィールド（先行フィールド）が先頭フィールドであることを前提とした判断である。【０１８７】
つまり、先行フィールドが後続フィールドである場合は、符号化対象が後続フィールドである場合に、対象ブロックが平坦領域であるか否かの判断（Ｓ１１０２）に移行する。【０１８８】
これら図１０および図１１に示す処理では、輝度変化が発生した場合に最も影響を受け易いＰピクチャまたは先行フィールドに含まれる平坦領域についての量子化幅を大幅に小さくして画質を向上させるだけでなく、それ以外のピクチャでも平坦領域の量子化幅を若干小さくして画質を向上させている。【０１８９】
これにより、例えば、符号化ピクチャと参照ピクチャとの時間間隔が小さいにもかかわらず画質劣化が激しくなるような輝度変化が発生した場合に、符号量の増加を最小限に抑えながら効果的に画質が改善されるという効果が発揮される。【０１９０】
なお、実施の形態３に記載の処理内容は、実施の形態１または実施の形態２に記載の処理内容と組み合わせて実施することも可能である。【０１９１】
例えば、実施の形態１に記載のカメラ制御情報の変化量が閾値以上か否かの判定（図２（ａ）のＳ２０１）に加え、実施の形態３に記載の符号化対象がＰピクチャもしくはＰピクチャの先頭フィールドであるかどうかの判定（図１０のＳ１００１または図１１のＳ１１０１）の判定を行ってもよい。【０１９２】
図１２は、カメラ制御情報と符号化構造情報の両方が考慮された量子化幅制御の流れの一例を示す図である。【０１９３】
図１２に示すように、カメラ制御情報の変化量が閾値以上であり（Ｓ１２０１でＹＥＳ）、符号化対象ブロックが平坦領域であり（Ｓ１２０２でＹＥＳ）、かつ、符号化対象がＰピクチャである場合（Ｓ１２０３でＹＥＳ）、当該符号化対象ブロックについての量子化幅が小さな値に決定される（Ｓ１２０４）。【０１９４】
この処理により、他よりも小さな量子化幅で量子化されるブロック、つまり、他よりも多くの符号量が割り当てられるブロックが、実施の形態１〜３よりも絞り込まれる。【０１９５】
そのため、例えば実施の形態１〜３よりも画質の改善に伴う符号量の増加が抑制される。【０１９６】
また、例えば、実施の形態２に記載の画面特徴値の大きさが閾値以上か否かの判定（図６（ａ）のＳ６０１）に加え、実施の形態３に記載の符号化対象がＰピクチャもしくはＰピクチャの先頭フィールドであるか否かの判定（図１０のＳ１００１または図１１のＳ１１０１）の判定を行ってもよい。【０１９７】
この処理でも、図１２に示す処理と同様に、例えば実施の形態１〜３よりも画質の改善に伴う符号量の増加が抑制されるという効果が発揮される。【０１９８】
（実施の形態４）
さらに、上記各実施の形態で示した動画像符号化方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録してもよい。これにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。【０１９９】
なお、記録媒体としてはフレキシブルディスクに限らず、光ディスク、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。【０２００】
また、上記各実施の形態で示した動画像符号化方法を実現するための処理を集積回路であるＬＳＩに行わせてもよい。また、動画像符号化方法に含まれる複数の処理の一部または全てを含むように１チップ化されてもよい。また、ＬＳＩは集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと称されることもある。【０２０１】
図１３は、実施の形態１の動画像符号化装置１００における集積回路化の一例を示す図である。【０２０２】
図１３に示すＬＳＩ１５０は、動画像符号化装置１００が備える複数の機能ブロックを含む集積回路の一例である。【０２０３】
なお、これら複数の機能ブロックは１つのＬＳＩではなく、複数のＬＳＩに分散して含まれてもよい。【０２０４】
また、実施の形態２の動画像符号化装置５００および実施の形態３の動画像符号化装置７００のそれぞれにおいても、それらが有する機能ブロックの一部または全部を集積回路化することができる。【０２０５】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。【０２０６】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩなどに置き換わる集積回路の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。【０２０７】
（実施の形態１〜４の補足事項）
なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。【０２０８】
（１）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。【０２０９】
（２）上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。【０２１０】
（３）本発明は、上記に示す本発明の動画像符号化方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。【０２１１】
また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。【０２１２】
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。【０２１３】
また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。【０２１４】
（４）上記各実施の形態及び上記（１）〜（３）に記載の技術内容をそれぞれ組み合わせてもよい。
【産業上の利用可能性】
【０２１５】
本発明の動画像符号化方法は、例えばビデオカメラ、ビデオレコーダ、ＤＶＤ装置、携帯電話、およびパーソナルコンピュータ等で、動画像を構成する各ピクチャを符号化して符号列を生成する方法として有用である。
【図１】
2009093436.tif 000003
【図２】
2009093436.tif 000004
【図３】
2009093436.tif 000005
【図４】
2009093436.tif 000006
【図５】
2009093436.tif 000007
【図６】
2009093436.tif 000008
【図７】
2009093436.tif 000009
【図８】
2009093436.tif 000010
【図９】
2009093436.tif 000011
【図１０】
2009093436.tif 000012
【図１１】
2009093436.tif 000013
【図１２】
2009093436.tif 000014
【図１３】
2009093436.tif 000015
【図１４】
2009093436.tif 000016
【手続補正書】
【提出日】平成21年5月22日(2009.5.22)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像符号化方法および動画像符号化装置に関し、特に画面間予測を行う際に発生する符号化ノイズを抑制するための技術に関する。
【背景技術】
【０００２】
一般に動画像の符号化では、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。例えば、時間的な冗長性の削減を目的とする画面間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および予測画像の作成を行う。さらに、得られた予測画像と符号化対象ピクチャとの差分値に対して符号化を行う。
【０００３】
ここで、“ピクチャ”とは１枚の画面を表す用語であり、プログレッシブ画像ではフレームを意味し、インタレース画像ではフレームもしくはフィールドを意味する。
【０００４】
インタレース画像とは、１つのフレームが時刻の異なる２つのフィールドから構成される画像である。インタレース画像の符号化処理においては、１つのフレームをフレームのまま処理すること、２つのフィールドとして処理すること、および、フレーム内のブロック毎にフレーム構造またはフィールド構造として処理することができる。
【０００５】
画面間予測符号化ではなく、画面内予測符号化によって得られるピクチャをＩピクチャと呼ぶ。また、１枚のピクチャのみを参照する画面間予測符号化によって得られるピクチャをＰピクチャと呼ぶ。また、同時に２枚までピクチャを参照可能な画面間予測符号化によって得られるピクチャをＢピクチャと呼ぶ。
【０００６】
なお、参照ピクチャは符号化対象ピクチャよりも先に符号化されメモリに格納されている必要があり、符号化の基本単位であるブロックごとに適切なものが選択され指定される。
【０００７】
Ｐピクチャ又はＢピクチャの符号化には、動き補償画面間予測符号化が用いられている。動き補償画面間予測符号化とは、ピクチャ内の各部の動き量（動きベクトル）を検出し、当該動き量を考慮した予測を行うことにより、予測精度を向上すると共に、データ量を減らす符号化方式である。
【０００８】
具体的には、動き補償画面間予測符号化では、符号化対象ピクチャの符号化対象ブロックに対し、参照ピクチャ側で最も画素情報が似通ったブロックの位置を見つけて動きベクトルを検出する。
【０００９】
さらに、参照ピクチャ側のその位置のブロックの画素値と符号化対象ブロックの画素値との差分（予測残差）のみを符号化する。動き補償画面間予測符号化ではこのようにしてデータ量を削減する。
【００１０】
従って、符号化対象ブロックとより似通ったブロックを検出することができれば予測残差が小さくなるため高い圧縮率を実現することができる。
【００１１】
逆に似通ったブロックを検出できなかった場合は予測残差を符号化するために必要な情報量が多くなる。そのため、特に低ビットレートで充分な符号量を予測残差に割り当てることが出来ない状況下では予測残差を充分に再現することができず、これにより発生した歪みが符号化ノイズとして画質を劣化させる原因となる。
【００１２】
この符号化ノイズは、画素値のばらつきが比較的少ない領域（以下、「平坦領域」という。）で目立ちやすい。そこで、符号化対象ピクチャ内で平坦領域を検出し、平坦領域については量子化幅を比較的小さな値に設定することで当該平坦領域内の符号化ノイズの発生を抑制する技術（第一の従来技術）がある。
【００１３】
また、符号化対象ピクチャと参照ピクチャとの間での輝度変化が比較的大きい場合、符号化対象ブロックに似通ったブロックを参照ピクチャ内で検出することが困難である。つまり、符号化対象の動画像における大きな輝度変化は予測残差を増大させる要因の一つであり、符号化ノイズの発生要因の一つである。
【００１４】
図１４は、予測残差が大きくなる状況の例としての、輝度変化が発生した場合の従来の動き補償の振る舞いを説明する模式図である。
【００１５】
図１４において、Ｐ３−Ｏｒｇが符号化対象ピクチャであり、Ｐ１−ＲｅｆおよびＰ２−Ｒｅｆが参照ピクチャである。
【００１６】
図１４に示す例では、時間の経過とともに輝度が変化していることを示している。具体的には、Ｐ１−Ｒｅｆ、Ｐ２−Ｒｅｆ、Ｐ３−Ｏｒｇの順に輝度が次第に高くなっている。
【００１７】
このようなシーンではどこから予測したとしても予測残差が大きくなってしまう。例えば、符号化対象ブロックＢＬ０１はＢＬ２１の位置から予測を行い、符号化対象ブロックＢＬ０２はＢＬ１２の位置から予測を行い、その結果、予測画像としてＰ３−Ｐｒｅｄが生成された場合を想定する。
【００１８】
この場合、動き補償を行ったブロック間の画素値の差が大きいため、Ｐ３−Ｏｒｇ内のＢＬ０１およびＢＬ０２の画素値と、予測画像であるＰ３−Ｐｒｅｄ内の各該当ブロックの画素値とが大きく異なることになる。これにより、Ｐ３−Ｏｒｇ内の各ブロックについての予測残差は大きくなり、結果として符号化ノイズが発生し易い状況が生まれる。
【００１９】
このような課題に対して、例えば特許文献１では、ピクチャ内で輝度変化の影響を受けたブロックを検出して当該ブロックに割り当てる符号量を増やす方法（第二の従来技術）が開示されている。
【先行技術文献】
【特許文献】
【００２０】
【特許文献１】特開２００７−２７４６７１号公報
【発明の概要】
【発明が解決しようとする課題】
【００２１】
しかしながら、上記第一の従来技術では、例えば平坦領域が占める割合の大きなピクチャが連続する場合、符号量を増やす対象となるブロック数が大幅に増加することになる。
【００２２】
その結果、全体として必要な符号量が増大することにより充分な圧縮効率を実現できなくなるという問題が生じる。
【００２３】
また、上記第二の従来技術では、局所的に激しく輝度変化が発生した場合であれば対象領域を特定してその領域のみ画質を上げることが可能である。
【００２４】
しかし、画面全体で輝度変化が発生した場合や、緩やかな輝度変化が数フレームに渡って発生した場合は、符号量を増やす対象となるブロック数が大幅に増加する。
【００２５】
その結果、上記第一の従来技術と同じく、全体として必要な符号量が増加することにより充分な圧縮効率を実現できなくなるという問題が生じる。
【００２６】
例えば、ビデオカメラで撮影された動画像においては、光源とカメラの撮影対象の位置関係とにより画面全体の輝度が変化する特性がある。これにより、カメラや撮影対象が移動したときや光源の明るさが変わったときなど、頻繁に画面全体の輝度変化が発生する。
【００２７】
本発明は、上記従来の課題を考慮し、符号化対象の動画像に時間的な輝度変化がある場合に、符号量の増加を最小限に抑制し、かつ、効果的に符号化ノイズを抑制する動画像符号化方法を提供することを目的とする。
【課題を解決するための手段】
【００２８】
上記の目的を達成するために、本発明の動画像符号化方法は、時間的に前方又は後方にある符号化済みのピクチャをブロックの単位で参照して予測符号化を行うことで動画像を符号化する動画像符号化方法であって、前記予測符号化の対象のブロックである符号化対象ブロックが含まれる符号化対象ピクチャと前記参照に用いる符号化済みピクチャとの間で、所定の大きさ以上の輝度変化が発生している可能性があるか否かを判定する輝度変化判定ステップと、前記符号化対象ブロックを構成する複数の画素の画素値のばらつき度が、所定の閾値よりも小さいか否かを判定する平坦領域判定ステップと、前記符号化対象ブロックに対する符号化における量子化に用いられる量子化幅を決定する量子化幅決定ステップとを含み、前記量子化幅決定ステップでは、前記輝度変化判定ステップにおいて前記所定の大きさ以上の輝度変化が発生している可能性があると判定され、かつ、前記平坦領域判定ステップにおいて前記ばらつき度が前記所定の閾値よりも小さいと判定された場合の量子化幅を、前記所定の大きさ以上の輝度変化が発生している可能性があると判定されず、または、前記ばらつき度が前記所定の閾値よりも小さいと判定されなかった場合の量子化幅よりも小さな値に決定する。
【００２９】
本構成により、符号化対象の動画像に時間的な輝度変化がある場合において、画質の劣化が目立ちやすい平坦領域の画質が改善される。
【００３０】
また、平坦領域はそもそも少ない符号量で符号化可能な領域である。そのため、平坦領域における符号化ノイズの抑制のための符号量の増加が全体の符号量に与える影響は少ない。
【００３１】
つまり、本発明の動画像符号化方法では、符号化ノイズが目立ちやすい領域であり、かつ、符号量の増加に与える影響の少ない領域に限定して符号化ノイズの発生を抑制することができる。
【００３２】
このように、本発明は、符号量の増加を最小限に抑制しながら効果的に符号化ノイズを抑制することができる。
【００３３】
また、前記輝度変化判定ステップでは、符号化対象の動画像を生成するカメラから取得されるカメラ制御情報に示される値の変化量が、前記カメラ制御情報についての閾値以上である場合、前記所定の大きさ以上の輝度変化が発生している可能性があると判定するとしてもよい。
【００３４】
本構成により、画像を解析して輝度変化を検出するという負荷の高い処理を行うことなく、高い精度で輝度変化を検出することが可能となる。
【００３５】
また、本発明の動画像符号化方法は、時間的に前方又は後方にある符号化済みのピクチャをブロックの単位で参照して予測符号化を行うことで動画像を符号化する動画像符号化方法であって、前記予測符号化の対象のブロックである符号化対象ブロックが含まれる符号化対象ピクチャの符号化構造が、Ｐピクチャであるか否かを判定する符号化構造判定ステップと、前記符号化対象ブロックを構成する複数の画素の画素値のばらつき度が、所定の閾値よりも小さいか否かを判定する平坦領域判定ステップと、前記符号化対象ブロックに対する符号化における量子化に用いられる量子化幅を決定する量子化幅決定ステップとを含み、前記量子化幅決定ステップでは、前記符号化構造判定ステップにおいて前記符号化構造がＰピクチャであると判定され、かつ、前記平坦領域判定ステップにおいて前記ばらつき度が前記所定の閾値よりも小さいと判定された場合の量子化幅を、前記符号化構造がＰピクチャであると判定されず、または、前記ばらつき度が前記所定の閾値よりも小さいと判定されなかった場合の量子化幅よりも小さな値に決定するとしてもよい。
【００３６】
このような処理によっても、符号量の増加を最小限に抑制し、かつ、効果的に符号化ノイズを抑制することができる。
【００３７】
なお、本発明は、上記のいずれかの動画像符号化方法として実現することができるだけでなく、本発明の動画像復号化方法が含む各処理を実行する要素で構成される動画像符号化装置および集積回路、並びに、本発明の動画像復号化方法が含む各処理をコンピュータに実行させるためのプログラムとしても実現することができる。
【００３８】
また、そのプログラムをＤＶＤ等の記録媒体やインターネット等の伝送媒体を介して広く流通させることができる。
【発明の効果】
【００３９】
本発明は、符号量の増加を最小限に抑制し、かつ、効果的に符号化ノイズを抑制する動画像符号化方法を提供することができる。
【００４０】
具体的には、本発明の動画像符号化方法によれば、画質の劣化が目立ち易い領域であって、画質の改善に伴う符号量の増加量が少ない領域の画質を改善する。これにより、人間の視覚で捉えられる画質の向上と、符号量の増加の抑制との両立が実現される。
【図面の簡単な説明】
【００４１】
【図１】図１は、本発明の実施の形態１における動画像符号化装置の主要な機能構成を示すブロック図である。
【図２】図２（ａ）は、実施の形態１の動画像符号化装置における、量子化幅の決定に係る処理の流れを示すフローチャートであり、図２（ｂ）は、輝度変化に関与するカメラ制御情報の例を示す図である。
【図３】図３は、輝度変化発生時に画面間予測を行った際の、平坦領域と非平坦領域における輝度変化の影響の違いを説明するための模式図である。
【図４】図４は、平坦領域と非平坦領域とで符号化により発生する符号量の傾向の違いを説明するための模式図である。
【図５】図５は、本発明の実施の形態２における動画像符号化装置の主要な機能構成を示すブロック図である。
【図６】図６（ａ）は、実施の形態２の動画像符号化装置における、量子化幅の決定に係る処理の流れを示すフローチャートであり、図６（ｂ）は、輝度変化に関与する画面特徴値の例を示す図である。
【図７】図７は、本発明の実施の形態３における動画像符号化装置の主要な機能構成を示すブロック図である。
【図８】図８（ａ）は、実施の形態３の動画像符号化装置における、量子化幅の決定に係る処理の流れの第一の例を示すフローチャートであり、図８（ｂ）は、実施の形態３の動画像符号化装置における、量子化幅の決定に係る処理の流れの第二の例を示すフローチャートである。
【図９】図９（ａ）は、フレーム符号化の場合の一般的な参照関係を示す図であり、図９（ｂ）は、フィールド符号化の場合の一般的な参照関係を示す図である。
【図１０】図１０は、実施の形態３の変形例における処理の流れの一例を示すフローチャートである。
【図１１】図１１は、実施の形態３の変形例における処理の流れの別の一例を示すフローチャートである。
【図１２】図１２は、カメラ制御情報と符号化構造情報の両方が考慮された量子化幅制御の流れの一例を示す図である。
【図１３】図１３は、実施の形態１の動画像符号化装置における集積回路化の一例を示す図である。
【図１４】図１４は、従来の、輝度変化による画面間予測への影響を説明するための模式図である。
【発明を実施するための形態】
【００４２】
以下本発明の実施の形態について、図面を参照しながら説明する。
【００４３】
（実施の形態１）
図１は、本発明の実施の形態１における動画像符号化装置１００の主要な機能構成を示すブロック図である。
【００４４】
動画像符号化装置１００は、図１に示すようにピクチャメモリ１０１、量子化幅決定部１０２、予測残差符号化部１０３、符号列生成部１０４、予測残差復号化部１０５、ピクチャメモリ１０６、動きベクトル検出部１０７、動き補償符号化部１０８、平坦領域判定部１１１、および、変化判定部１１２を備えている。
【００４５】
符号化対象となる動画像は表示を行う順にピクチャ単位でピクチャメモリ１０１に入力され、符号化を行う順にピクチャの並び替えが行われる。
【００４６】
さらに各々のピクチャはマクロブロックと呼ばれるブロックに分割されブロック単位で以降の処理が行われる。マクロブロックは、例えば水平１６画素×垂直１６画素のブロックである。
【００４７】
ピクチャメモリ１０１から読み出された、マクロブロック単位の入力画像信号は差分演算部１０９に入力される。
【００４８】
差分演算部１０９は、入力画像信号と、動き補償符号化部１０８の出力である予測画像信号との差分を取ることによって得られる差分画像信号を予測残差符号化部１０３に出力する。
【００４９】
予測残差符号化部１０３は差分画像信号に対して直交変換を行い、さらに量子化幅決定部１０２で決定された量子化幅を用いて量子化を行い残差符号化信号を出力する。
【００５０】
残差符号化信号は予測残差復号化部１０５に入力され、逆量子化、逆直交変換等が行われ、残差復号化信号が予測残差復号化部１０５から出力される。
【００５１】
加算演算部１１０は残差復号化信号と予測画像信号との加算を行い、再構成画像信号を生成する。
【００５２】
また、生成された再構成画像信号の中で、以降の画面間予測で参照される可能性がある信号はピクチャメモリ１０６に格納される。つまり、動き補償符号化部１０８による符号化処理の際に参照される可能性のあるピクチャがピクチャメモリ１０６に格納される。
【００５３】
一方、ピクチャメモリ１０１から読み出されたマクロブロック単位の入力画像信号は動きベクトル検出部１０７にも入力される。
【００５４】
動きベクトル検出部１０７は、ピクチャメモリ１０６に格納されている再構成画像信号から構成される参照ピクチャを探索対象とし、入力画像信号に最も近い画像領域を検出することによってその位置を指し示す動きベクトルを決定する。
【００５５】
また、例えばＨ．２６４では複数のピクチャを参照ピクチャとして使用することができる。そのため参照ピクチャとして用いるピクチャを指定するための参照インデックスも同時に決定される。
【００５６】
動き補償符号化部１０８は、前記処理によって検出された動きベクトルおよび参照インデックスを用いて、ピクチャメモリ１０６に格納されている参照ピクチャから予測画像を生成する。
【００５７】
一連の処理によって生成された残差符号化信号、動きベクトル、参照インデックス等の符号化情報は符号列生成部１０４に入力される。符号列生成部１０４は、入力された符号化情報に可変長符号化を施すことによって、動画像符号化装置１００から出力される符号列を生成する。
【００５８】
次に、予測残差符号化部１０３が量子化を行う際に使用する量子化幅の値を決定するための、変化判定部１１２、平坦領域判定部１１１および量子化幅決定部１０２の処理を詳しく説明する。
【００５９】
平坦領域判定部１１１は、符号化対象のマクロブロック（以下、「符号化対象ブロック」という。）が平坦領域であるか否かを判定する。変化判定部１１２は、動画像符号化装置１００に入力される動画像を生成するカメラから入力された、カメラ制御情報の変化量が大きいか否かを判定する。
【００６０】
それぞれの判定結果は、量子化幅決定部１０２に入力される。量子化幅決定部１０２は、これら判定結果を用いて量子化幅を決定し、決定した量子化幅を予測残差符号化部１０３に入力する。
【００６１】
なお、変化判定部１１２は、本発明の動画像符号化方法における輝度変化判定ステップを実行する処理部の第一の例である。
【００６２】
上記の処理の流れをまとめると図２（ａ）のフローチャートのようになる。
【００６３】
図２（ａ）は、実施の形態１の動画像符号化装置１００における、量子化幅の決定に係る処理の流れを示すフローチャートである。
【００６４】
変化判定部１１２はカメラ制御情報の変化量が所定の閾値以上か否かを判定する（Ｓ２０１）。
【００６５】
変化判定部１１２は、具体的には、符号化対象の動画像における時間的な輝度変化に関与するカメラ制御情報をこの判定に使用する。この判定に使用されるカメラ制御情報の例を図２（ｂ）に示す。
【００６６】
図２（ｂ）は、輝度変化に関与するカメラ制御情報の例を示す図である。
【００６７】
変化判定部１１２は、図２（ｂ）に示す、ＥＶ（Ｅｘｐｏｓｕｒｅ  Ｖａｌｕｅ：露出値）、ズーム位置、シャッター速度、絞り値、ゲイン値のうちの少なくとも１つを用いて上記判定を行う。
【００６８】
例えば、所定の期間内でのＥＶの増加量または減少量の絶対値が、ＥＶについての所定の閾値以上である場合、符号化対象ピクチャと参照ピクチャとの間に所定の大きさ以上の輝度変化が発生している、またはその可能性があると判断できる。
【００６９】
なお、上記の「所定の期間」は、例えば、時間またはピクチャの枚数などにより規定される期間である。
【００７０】
変化判定部１１２は、このようにカメラ制御情報の変化量と所定の閾値とを比較する。これにより、符号化対象のピクチャと、それ以前の符号化により得られた参照ピクチャとの間で、所定の大きさ以上の輝度変化が発生している可能性があるか否かが判定される。
【００７１】
変化判定部１１２はさらに、カメラ制御情報の変化量が所定の閾値より大きな場合（Ｓ２０１でＹＥＳ）、その旨を量子化幅決定部１０２に通知する。
【００７２】
次に、平坦領域判定部１１１は、符号化対象ブロックが平坦領域であるか否かを判定する（Ｓ２０２）。なお、この判定は、輝度変化についての判定（Ｓ２０１）より前に行われてもよく、並行して行われてもよい。
【００７３】
平坦領域判定部１１１は、例えば、符号化対象ブロックの入力画像信号を用いて、当該ブロック内における画素値のばらつき度を算出する。
【００７４】
なお、「画素値のばらつき度」とは、例えば、符号化対象ブロック内の隣接する画素の画素値間の差分の絶対値を合計することにより得ることのできる物理量である。平坦領域判定部１１１はこの画素値のばらつき度を算出し、算出した値と所定の閾値とを比較する。
【００７５】
比較の結果、画素値のばらつき度が当該閾値よりも小さな場合、平坦領域判定部１１１は、当該ブロックは平坦領域であると判定する（Ｓ２０２でＹＥＳ）。
【００７６】
また、比較の結果、画素値のばらつき度が当該閾値以上の場合、平坦領域判定部１１１は、当該ブロックは非平坦領域であると判定する（Ｓ２０２でＮＯ）。
【００７７】
なお、平坦領域判定部１１１は、入力画像信号の代わりに差分演算部１０９で算出された差分画像信号を用いて、符号化対象ブロックが平坦領域であるか否かを判定してもよい。
【００７８】
また、平坦領域判定部１１１は、予測残差符号化部１０３が行う直交変換によって生成された周波数成分毎の係数値を用いて上記判定を行ってもよい。この場合、低周波数領域に係数が集中していれば平坦領域、高周波数領域まで係数が分散していれば非平坦領域として判定することができる。
【００７９】
また、平坦領域判定部１１１は、その他の方法によって符号化対象ブロックが平坦領域であるか否か判定してもよい。
【００８０】
量子化幅決定部１０２は、カメラ制御情報の変化量が所定の閾値以上である場合（Ｓ２０１でＹＥＳ）であって、かつ、符号化対象ブロックが平坦領域である場合（Ｓ２０２でＹＥＳ）にのみ、量子化幅を、非平坦領域であるマクロブロックについての量子化幅よりも小さい値に決定する（Ｓ２０３）。
【００８１】
量子化幅決定部１０２により決定された量子化幅は、上述のように、予測残差符号化部１０３による量子化に用いられる。
【００８２】
つまり、量子化幅決定部１０２は、符号化ノイズが目立ち易い平坦領域については、非平坦領域を量子化する場合よりも小さな量子化幅で量子化するよう決定する。
【００８３】
例えば、量子化幅決定部１０２は、当該ブロックについての量子化幅を、予め設定された、符号化対象ブロックに対する量子化の際の基準となる量子化幅（基準量子化幅）よりも小さい値にする処理を行う。
【００８４】
なお、符号化対象ブロックについての量子化幅をどのような値まで小さくするかについては、他の手法が用いられてもよい。
【００８５】
例えば、上記の基準量子化幅とは無関係に常に一定の量子化幅以下になるまで小さくするという制御を行う方法がある。平坦領域では量子化幅とノイズの見え方に相関関係がある。そこで、人の視覚ではノイズを認識し難いレベルを実現する特定の値まで量子化幅を小さくする。これにより、ビットレートに依存せず常に目立ちやすいノイズを抑制することが可能となる。
【００８６】
また、変調幅である量子化幅から特定の固定値だけ小さくするという制御を行ってもよい。また、基準量子化幅に応じてその基準量子化幅から減じる値を可変にするという制御を行ってもよい。
【００８７】
図３は、輝度変化発生時に画面間予測を行った際の、平坦領域と非平坦領域における輝度変化の影響の違いを説明するための模式図である。
【００８８】
なお、図３において、Ｐ２−Ｏｒｇが符号化対象ピクチャであり、Ｐ１−Ｒｅｆが参照ピクチャである。また、Ｐ１−ＲｅｆはＰ２−Ｏｒｇよりも輝度が低い。つまりこれらの輝度は異なっている。
【００８９】
各ピクチャでは画面の右上にエッジまたはテクスチャが存在している。符号化対象ブロックＢＬ０１は非平坦領域に属し、ＢＬ１１の位置から予測が行われる。また、符号化対象ブロックＢＬ０２は平坦領域に属し、ＢＬ１２の位置から予測が行われる。
【００９０】
その結果、予測画像としてＰ２−Ｐｒｅｄが生成されたとする。最終的に生成される符号化画像はこの予測画像に対して残差信号を加算したものとなる。
【００９１】
ここで、残差信号の復号化における精度（符号化前の画素値と復号化後の画素値との同一性）は、符号化の際の量子化幅により制限される。そのため、予測誤差は最終的に符号化ノイズとして符号化画像の画質劣化の原因となる。
【００９２】
しかし同じような輝度変化によって生じた予測誤差でも、ＢＬ０１の位置のような非平坦領域では他のエッジやテクスチャの情報によって人の視覚には判別し難くなる傾向がある。
【００９３】
それに対してＢＬ０２の位置のような平坦領域では少しでも誤差があると人の視覚に目立つノイズとなってしまう。
【００９４】
本実施の形態の動画像符号化装置１００では、この特性を利用して輝度変化が発生した場合に視覚的にノイズが目立ちやすい平坦領域に絞って量子化幅を小さくして画質を向上させる。これにより、効果的な画質の改善を実現している。
【００９５】
また、一般に、平坦領域を符号化した際の符号量は、非平坦領域を符号化した際の符号量よりも小さな値に収まる。つまり、平坦領域は、画質の向上による符号量の増加が比較的小さいという特性を有している。
【００９６】
図４は、平坦領域と非平坦領域とで符号化により発生する符号量の傾向の違いを説明するための模式図である。
【００９７】
予測残差の符号化は、入力された予測残差係数に対して直交変換を行って直交変換係数を算出し、これに対して指定された量子化幅で量子化を行うことによって得られた係数値を可変長符号化することによってなされる。
【００９８】
図４に示すように、平坦領域ブロックの予測残差係数は全面に渡って同じような値となり、非平坦領域ブロックでは係数値がばらつく傾向がある。
【００９９】
これらの予測残差を直交変換して得られた直交変換係数は、平坦領域ブロックでは低周波数領域（（０，０）の係数位置周辺）に値が集中する。また、非平坦領域ブロックでは低周波数領域から離れた高周波数領域（（３，３）の係数位置周辺）に近いところまで係数が分散する傾向がある。
【０１００】
従って、平坦領域ブロックを符号化する場合に量子化幅を小さくしたとしても符号化しなくてはならない非０の直交変換係数の数が少ない。そのため、符号量が大幅に増加することはない。
【０１０１】
それに対して、非平坦領域ブロックを符号化する場合に量子化幅を小さくしてしまうと非０の直交変換係数の数が多いため急激に符号量が増加してしまうことになる。
【０１０２】
本実施の形態の動画像符号化装置１００は、上述のように平坦領域に絞って量子化幅を小さくして画質を向上させている。つまり、上記の平坦領域の特性を利用して、画質の向上に伴う符号量の増加を最小限に抑えている。
【０１０３】
このように、本実施の形態の動画像符号化装置１００によれば、動画像を符号化する際に、画質の劣化が目立ち易い領域であって、かつ画質の改善に伴う符号量の増加量が少ない領域については、符号化の際の量子化幅を小さくする。これにより、効率的かつ効果的な画質の改善が実現される。
【０１０４】
（実施の形態２）
図５は、本発明の実施の形態２における動画像符号化装置５００の主要な機能構成を示すブロック図である。
【０１０５】
なお、ピクチャメモリ５０１、予測残差符号化部５０３、符号列生成部５０４、予測残差復号化部５０５、ピクチャメモリ５０６、動きベクトル検出部５０７、動き補償符号化部５０８、差分演算部５０９および加算演算部５１０による基本的な処理内容は、実施の形態１における動画像符号化装置１００（図１参照）の基本的な処理内容と同一である。
【０１０６】
そのため、これら処理部による基本的な処理内容の説明は省略し、予測残差符号化部５０３で量子化を行う際に使用する量子化幅の値を決定するための、特徴値大きさ判定部５１２、平坦領域判定部５１１および量子化幅決定部５０２の処理を詳しく説明する。
【０１０７】
平坦領域判定部５１１は、符号化対象ブロックが平坦領域であるか否かを判定する。特徴値大きさ判定部５１２は、入力画像から画面特徴値抽出部５１３が抽出した画面特徴値の大きさが所定の閾値以上か否かを判定する。
【０１０８】
それぞれの判定結果は、量子化幅決定部５０２に入力される。量子化幅決定部５０２は、これら判定結果を用いて量子化幅を決定し、決定した量子化幅を予測残差符号化部５０３に入力する。
【０１０９】
なお、特徴値大きさ判定部５１２は、本発明の動画像符号化方法における輝度変化判定ステップを実行する処理部の第二の例である。
【０１１０】
上記の処理の流れをまとめると図６（ａ）のフローチャートのようになる。
【０１１１】
図６（ａ）は、実施の形態２の動画像符号化装置５００における、量子化幅の決定に係る処理の流れを示すフローチャートである。
【０１１２】
特徴値大きさ判定部５１２は、画面特徴値抽出部５１３から入力される画面特徴値の大きさが所定の閾値以上か否かを判定する（Ｓ６０１）。
【０１１３】
具体的には、特徴値大きさ判定部５１２は、符号化対象の動画像における時間的な輝度変化に関与する画面特徴値をこの判定に使用する。この判定に使用される画面特徴値の例を図６（ｂ）に示す。
【０１１４】
図６（ｂ）は、輝度変化に関与する画面特徴値の例を示す図である。
【０１１５】
特徴値大きさ判定部５１２は、図６（ｂ）に示す、画面輝度の変化量、画面の推定ズーム速度、画面の推定動き速度のうちの少なくとも１つを用いて上記判定を行う。
【０１１６】
例えば、ある時点での画面の推定ズーム速度が、ズーム速度についての所定の閾値以上である場合、符号化対象ピクチャと参照ピクチャとの間に、撮影範囲の急激な拡大または縮小を要因とする所定の大きさ以上の輝度変化が発生している、またはその可能性があると判断できる。
【０１１７】
また、例えば、ある時点での画面の推定動き速度が、動き速度についての所定の閾値以上である場合、符号化対象ピクチャと参照ピクチャとの間に、撮影対象の急激な切り替わりを要因とする所定の大きさ以上の輝度変化が発生している、またはその可能性があると判断できる。
【０１１８】
特徴値大きさ判定部５１２は、このように画面特徴値と所定の閾値とを比較する。これにより、符号化対象のピクチャと、それ以前の符号化により得られた参照ピクチャとの間で、所定の大きさ以上の輝度変化が発生しているか否かが判定される。
【０１１９】
特徴値大きさ判定部５１２はさらに、画面特徴値が所定の閾値より大きな場合（Ｓ６０１でＹＥＳ）、その旨を量子化幅決定部５０２に通知する。
【０１２０】
次に平坦領域判定部５１１は、符号化対象ブロックが平坦領域であるか否かを判定する（Ｓ６０２）。
【０１２１】
なお、平坦領域判定部５１１が行う、符号化対象ブロックが平坦領域であるか否かの判定に用いる手法は、実施の形態１の平坦領域判定部１１１と同じである。
【０１２２】
すなわち、平坦領域判定部５１１は、例えば、符号化対象ブロックの入力画像信号を用いて、当該ブロック内における画素値のばらつき度を算出する。さらに、算出したばらつき度と、所定の閾値とを比較する。平坦領域判定部５１１は、この比較の結果、画素値のばらつき度が当該閾値よりも小さな場合、当該ブロックは平坦領域であると判定し（Ｓ６０２でＹＥＳ）、画素値のばらつき度が当該閾値以上の場合、当該ブロックは非平坦領域であると判定する（Ｓ６０２でＮＯ）。
【０１２３】
なお、平坦領域判定部５１１は、実施の形態１の平坦領域判定部１１１と同じく、入力画像信号の代わりに差分演算部５０９で算出された差分画像信号、または、予測残差符号化部５０３が行う直交変換によって生成された周波数成分毎の係数値を用いて、符号化対象ブロックが平坦領域であるか否かを判定してもよい。
【０１２４】
また、平坦領域判定部５１１は、その他の方法によって符号化対象ブロックが平坦領域であるか否か判定してもよい。
【０１２５】
量子化幅決定部５０２は、画面特徴値が所定の閾値以上である場合（Ｓ６０１でＹＥＳ）であって、かつ、符号化対象ブロックが平坦領域である場合（Ｓ６０２でＹＥＳ）にのみ、量子化幅を、非平坦領域であるマクロブロックについての量子化幅よりも小さい値に決定する（Ｓ６０３）。
【０１２６】
量子化幅決定部５０２により決定された量子化幅は、予測残差符号化部５０３による量子化に用いられる。
【０１２７】
つまり、量子化幅決定部５０２は、符号化ノイズが目立ち易い平坦領域については、非平坦領域を量子化する場合よりも小さな量子化幅で量子化するよう決定する。
【０１２８】
例えば、量子化幅決定部５０２は、当該ブロックについての量子化幅を、予め設定された基準量子化幅よりも小さい値にする処理を行う。
【０１２９】
なお、符号化対象ブロックについての量子化幅をどのような値まで小さくするかについては、他の手法が用いられてもよい。
【０１３０】
例えば、実施の形態１と同じく、基準量子化幅とは無関係に常に一定の量子化幅以下になるまで小さくするという制御を行う方法がある。また、変調幅である量子化幅から特定の固定値だけ小さくするという制御を行ってもよい。また、基準量子化幅に応じてその基準量子化幅から減じる値を可変にするという制御を行ってもよい。
【０１３１】
実施の形態２の動画像符号化装置５００は、以上説明したように、小さな量子化幅で量子化する対象を、参照先との間での輝度変化が大きな領域であって、かつ、平坦領域に限定する。これにより、実施の形態１の動画像符号化装置１００と同じく、符号量の増加を最小限に抑制し、かつ、効果的に符号化ノイズを抑制することが可能である。
【０１３２】
しかし、実施の形態２の動画像符号化装置５００は、実施の形態１の動画像符号化装置１００とは異なり、カメラから取得されるカメラ制御情報を必要としない。
【０１３３】
そのため、例えばデジタルビデオレコーダにおける符号化装置、および、カメラと連動する機能を持たない、デジタルビデオカメラにおける符号化装置のように、カメラ制御情報を取得することが出来ない符号化装置であっても、動画像符号化装置５００の構成を採用することにより、効率的かつ効果的に画質を改善することができる。
【０１３４】
つまり、動画像符号化装置５００は、カメラ制御情報を取得できない場合であっても、輝度変化が発生した場合に視覚的にノイズが目立ちやすい平坦領域の画質を向上させることによって、符号量の増加を最小限に抑えながら効果的に画質を改善することを実現している。
【０１３５】
（実施の形態３）
図７は、本発明の実施の形態３における動画像符号化装置７００の主要な機能構成を示すブロック図である。
【０１３６】
なお、ピクチャメモリ７０１、予測残差符号化部７０３、符号列生成部７０４、予測残差復号化部７０５、ピクチャメモリ７０６、動きベクトル検出部７０７、動き補償符号化部７０８、差分演算部７０９および加算演算部７１０による基本的な処理内容は、実施の形態１における動画像符号化装置１００（図１参照）の基本的な処理内容と同一である。
【０１３７】
そのため、これら処理部による基本的な処理内容の説明は省略し、予測残差符号化部７０３で量子化を行う際に使用する量子化幅の値を決定するための、平坦領域判定部７１１および量子化幅決定部７０２の処理を詳しく説明する。
【０１３８】
平坦領域判定部７１１は、符号化対象ブロックが平坦領域であるか否かを判定する。この判定により得られた判定結果は、量子化幅決定部７０２に入力される。また、量子化幅決定部７０２にはさらに符号化構造情報が入力される。
【０１３９】
なお、「符号化構造情報」とは、本実施の形態においては、符号化対象ピクチャの種類（Ｉ、Ｐ、またはＢ）、並びに、符号化対象のピクチャに対しフレーム符号化およびフィールド符号化のいずれが実行されるかを示す情報である。
【０１４０】
例えば、動画像符号化装置７００の動作を制御する制御部（図示せず）から、符号化構造情報が量子化幅決定部７０２に入力される。
【０１４１】
量子化幅決定部７０２は、これら判定結果および符号化構造情報を用いて量子化幅を決定し、決定した量子化幅を予測残差符号化部７０３に入力する。
【０１４２】
なお、量子化幅決定部７０２は、本発明の動画像符号化方法における輝度変化判定ステップを実行する処理部の第三の例である。量子化幅決定部７０２は、具体的には、符号化構造情報を参照することで、所定の大きさ以上の輝度変化の発生の有無を判断することができる。
【０１４３】
上記の処理の流れの一例を図８（ａ）に示す。
【０１４４】
図８（ａ）は、実施の形態３の動画像符号化装置７００における、量子化幅の決定に係る処理の流れの第一の例を示すフローチャートである。
【０１４５】
量子化幅決定部７０２は、符号化構造情報を参照することで、符号化対象ブロックがＰピクチャとして符号化を行うピクチャに含まれるブロックか否かを判定する（Ｓ８０１Ａ）。
【０１４６】
次に平坦領域判定部７１１は、符号化対象ブロックが平坦領域であるか否かを判定する（Ｓ８０２）。
【０１４７】
なお、平坦領域判定部７１１が行う、符号化対象ブロックが平坦領域であるか否かの判定に用いる手法は、実施の形態１の平坦領域判定部１１１と同じである。
【０１４８】
すなわち、平坦領域判定部７１１は、例えば、符号化対象ブロックの入力画像信号を用いて、当該ブロック内における画素値のばらつき度を算出する。さらに、算出したばらつき度と、所定の閾値とを比較する。比較の結果、画素値のばらつき度が当該閾値よりも小さな場合、当該ブロックは平坦領域であると判定し（Ｓ８０２でＹＥＳ）、画素値のばらつき度が当該閾値以上の場合、当該ブロックは非平坦領域であると判定する（Ｓ８０２でＮＯ）。
【０１４９】
なお、平坦領域判定部７１１は、実施の形態１の平坦領域判定部１１１と同じく、入力画像信号の代わりに差分演算部７０９で算出された差分画像信号、または、予測残差符号化部７０３が行う直交変換によって生成された周波数成分毎の係数値を用いて、符号化対象ブロックが平坦領域であるか否かを判定してもよい。
【０１５０】
また、平坦領域判定部７１１は、その他の方法によって符号化対象ブロックが平坦領域であるか否か判定してもよい。
【０１５１】
量子化幅決定部７０２は、符号化対象ブロックがＰピクチャとして符号化するピクチャに含まれるブロックである場合（Ｓ８０１ＡでＹＥＳ）であって、かつ、符号化対象ブロックが平坦領域である場合（Ｓ８０２でＹＥＳ）にのみ、量子化幅を、非平坦領域であるマクロブロックについての量子化幅よりも小さい値に決定する。
【０１５２】
量子化幅決定部７０２により決定された量子化幅は、予測残差符号化部７０３による量子化に用いられる。
【０１５３】
つまり、量子化幅決定部７０２は、符号化ノイズが目立ち易い平坦領域については、非平坦領域を量子化する場合よりも小さな量子化幅で量子化するよう決定する。
【０１５４】
例えば、量子化幅決定部７０２は、当該ブロックについての量子化幅を、予め設定された基準量子化幅よりも小さい値に決定する。
【０１５５】
なお、符号化対象ブロックについての量子化幅をどのような値まで小さくするかについては、他の手法であってもよい。
【０１５６】
例えば、実施の形態１と同じく、基準量子化幅とは無関係に常に一定の量子化幅以下になるまで小さくするという制御を行う方法がある。また、変調幅である量子化幅から特定の固定値だけ小さくするという制御を行ってもよい。また、基準量子化幅に応じてその基準量子化幅から減じる値を可変にするという制御を行ってもよい。
【０１５７】
また、量子化幅決定部７０２は、図８（ｂ）に示すように、符号化構造情報を参照することで、符号化対象がフィールド構造であり、かつ、Ｐピクチャとして符号化を行うピクチャの２つのフィールドのうち、符号化順で先に符号化するフィールドに含まれるブロックであるか否か（Ｓ８０２Ｂ）を判定してもよい。
【０１５８】
つまり、符号化対象ブロックが、Ｐピクチャとして符号化されるピクチャに含まれるブロックである場合、および、符号化順で先に符号化するフィールドに含まれるブロックである場合は、ともに、参照ピクチャまでの時間間隔が比較的に長い。
【０１５９】
また、符号化対象のピクチャと参照ピクチャまでの時間間隔が長いほど、これらの間で、所定の大きさ以上の輝度変化が発生している可能性が高いと考えることができる。そのため、実施の形態３の動画像符号化装置７００は、符号化対象ブロックについての符号化構造情報を、符号化幅の制御のための参照情報の１つとして扱う。
【０１６０】
図９（ａ）および図９（ｂ）は、符号化構造による輝度変化の影響の受け易さを説明するための模式図である。
【０１６１】
なお、図９（ａ）は、フレーム符号化の場合の一般的な参照関係を示す図であり、図９（ｂ）は、フィールド符号化の場合の一般的な参照関係を示す図である。
【０１６２】
また、図９（ａ）および図９（ｂ）において、矢印の始端に位置するピクチャが符号化される際に、矢印の先端が示すピクチャが参照されることを示している。
【０１６３】
また、図９（ａ）および図９（ｂ）では、最も一般的な参照関係を説明するため、参照に使用することのできるピクチャをＩピクチャとＰピクチャのみとし、さらに参照先のピクチャとしてＰピクチャは時間的に前方の最も近い１枚のピクチャを、Ｂピクチャは時間的に前方および後方のそれぞれで最も近い１枚ずつのピクチャを参照している。
【０１６４】
図９（ａ）は全てフレーム符号化を行った場合の例を示している。具体的には、ＢピクチャであるＢ３はＩ１とＰ４を参照し、ＰピクチャであるＰ７はＰ４のみを参照している。
【０１６５】
ここで、輝度変化が発生するようなシーンでは、符号化対象ピクチャと参照ピクチャとの時間間隔が広くなるほど輝度変化の影響が大きくなり予測誤差が増加する。
【０１６６】
例えば、Ｂ３であれば、Ｂ３との時間間隔が１フレーム分であるＰ４を参照することができる。しかし、Ｐ７の場合は、Ｐ７との時間間隔が３フレーム分であるＰ４を参照するしかない。つまりＰピクチャの方が輝度変化の影響を強く受ける傾向がある。
【０１６７】
また、図９（ｂ）は全てフィールド符号化を行った場合の例を示している。具体的には、Ｂピクチャの先頭フィールドであるＢ３ＴはＰ１ＢとＰ４Ｔを参照し、Ｐピクチャの先頭フィールドであるＰ７ＴはＰ４Ｂのみを参照し、Ｐピクチャの後続フィールドであるＰ７ＢはＰ７Ｔのみを参照している。
【０１６８】
例えば、Ｂ３Ｔであれば、Ｂ３Ｔとの時間間隔が２フィールド分であるＰ４Ｔを、Ｐ７Ｂであれば、Ｐ７Ｂとの時間間隔が１フィールド分であるＰ７Ｔを参照することができる。
【０１６９】
しかし、Ｐ７Ｔの場合は、Ｐ７Ｔとの時間間隔が５フィールド分であるＰ４Ｂを参照するしかない。つまりフィールド構造の場合はＰピクチャの先頭フィールドが最も輝度変化の影響を強く受ける傾向がある。
【０１７０】
なお、１つのＰピクチャを構成する先頭フィールドおよび後続フィールドのうち、先に後続フィールドが符号化される場合は、後続フィールドが最も輝度変化の影響を強く受けることになる。
【０１７１】
このように、符号化対象が、Ｐピクチャの一部として符号化される場合、または、Ｐピクチャを構成する２つのフィールドのうち符号化順で先に符号化されるフィールド（以下、「先行フィールド」という。）の一部として符号化される場合（これらの場合を、「符号化対象がＰピクチャまたは先行フィールドである場合」という。）、当該符号化対象と、参照ピクチャとの時間間隔が比較的に長い。
【０１７２】
そのため、Ｐピクチャおよび先行フィールドは、輝度変化の影響を強く受けることになる。言い換えると、符号化対象であるＰピクチャまたは先行フィールドと、参照ピクチャとの間で所定の大きさ以上の輝度変化が発生している可能性があると言える。
【０１７３】
本実施の形態の動画像符号化装置７００は、この特性を利用して効率的かつ効果的な画質の改善を行う。具体的には、動画像符号化装置７００は、一連の動画像を符号化する際に、Ｐピクチャまたは先行フィールドに限定して平坦領域の量子化幅を小さくして画質を向上させる。
【０１７４】
これにより、符号量の増加を最小限に抑えながら効果的に画質を改善することを実現している。また、カメラ制御情報や画面特徴値を用いる必要がないため、これらの情報を利用することの出来ない符号化装置であっても、動画像符号化装置７００の構成を採用することにより効率的かつ効果的に画質を改善することができる。
【０１７５】
（実施の形態３の変形例）
実施の形態３では、Ｐピクチャまたは先行フィールドのみについて量子化幅を小さくするとした。
【０１７６】
しかし、Ｐピクチャまたは先行フィールドでは量子化幅を小さくする際の変位を大きくし、それ以外のピクチャでは量子化幅を小さくする際の変位を小さくすることにより、効率的かつ効果的な画質の向上を実現することもできる。そこで、この処理の流れを実施の形態３の変形例として説明する。
【０１７７】
図１０は、実施の形態３の変形例における処理の流れの一例を示すフローチャートである。
【０１７８】
図１０に示すように、量子化幅決定部７０２により、符号化対象がＰピクチャであると判定され（Ｓ１００１でＹＥＳ）、かつ、平坦領域判定部７１１により、符号化対象ブロックが平坦領域であると判定された場合（Ｓ１００２でＹＥＳ）、量子化幅決定部７０２は、量子化幅を基準量子化幅からＸだけ小さい値に決定する。
【０１７９】
また、量子化幅決定部７０２により、符号化対象がＰピクチャではなく（Ｓ１００１でＮＯ）Ｂピクチャであると判定され（Ｓ１００４でＹＥＳ）、かつ、平坦領域判定部７１１により、符号化対象ブロックが平坦領域であると判定された場合（Ｓ１００５でＹＥＳ）、量子化幅決定部７０２は、量子化幅を基準量子化幅からＹだけ小さい値に決定する。
【０１８０】
なお、上記のＸとＹとは、Ｘ＞Ｙの関係である。つまり、符号化対象がＰピクチャに含まれるブロックである場合の量子化幅をＱ１とし、符号化対象ブロックがＢピクチャに含まれるブロックである場合の量子化幅をＱ２とし、基準量子化幅をＱ０とすると、当該符号化対象ブロックが平坦領域である場合、Ｑ０＞Ｑ２＞Ｑ１となるように、符号化対象ブロックについての量子化幅が決定される。
【０１８１】
図１１は、実施の形態３の変形例における処理の流れの別の一例を示すフローチャートである。
【０１８２】
図１１に示すように、量子化幅決定部７０２により、符号化対象がＰピクチャの先頭フィールドであると判定され（Ｓ１１０１でＹＥＳ）、かつ、平坦領域判定部７１１により、符号化対象ブロックが平坦領域であると判定された場合（Ｓ１１０２でＹＥＳ）、量子化幅決定部７０２は、量子化幅を基準量子化幅からＸだけ小さい値に決定する。
【０１８３】
また、量子化幅決定部７０２により、符号化対象がＰピクチャの先頭フィールドではなく（Ｓ１１０１でＮＯ）、ＰピクチャまたはＢピクチャであると判定され（Ｓ１１０４でＹＥＳ）、かつ、平坦領域判定部７１１により、符号化対象ブロックが平坦領域であると判定された場合（Ｓ１１０５でＹＥＳ）、量子化幅決定部７０２は、量子化幅を基準量子化幅からＹだけ小さい値に決定する。
【０１８４】
なお、Ｓ１１０４の判断における“Ｐピクチャ”とは、フレーム構造のＰピクチャ、および、フィールド構造のＰピクチャの後続フィールドを含む表現である。
【０１８５】
また、上記のＸとＹとは、Ｘ＞Ｙの関係である。つまり、符号化対象ブロックがＰピクチャの先頭フィールドに含まれるブロックである場合の量子化幅をＱ１とし、符号化対象ブロックがＰピクチャまたはＢピクチャに含まれるブロックである場合の量子化幅をＱ２とし、基準量子化幅をＱ０とすると、当該符号化対象ブロックが平坦領域である場合、Ｑ０＞Ｑ２＞Ｑ１となるように、符号化対象ブロックについての量子化幅が決定される。
【０１８６】
また、図１１に示す処理では、符号化対象がＰピクチャの先頭フィールドであるか否かを判断している（Ｓ１１０１）。これは、先頭フィールドおよび後続フィールドのうち、先に符号化されるフィールド（先行フィールド）が先頭フィールドであることを前提とした判断である。
【０１８７】
つまり、先行フィールドが後続フィールドである場合は、符号化対象が後続フィールドである場合に、対象ブロックが平坦領域であるか否かの判断（Ｓ１１０２）に移行する。
【０１８８】
これら図１０および図１１に示す処理では、輝度変化が発生した場合に最も影響を受け易いＰピクチャまたは先行フィールドに含まれる平坦領域についての量子化幅を大幅に小さくして画質を向上させるだけでなく、それ以外のピクチャでも平坦領域の量子化幅を若干小さくして画質を向上させている。
【０１８９】
これにより、例えば、符号化ピクチャと参照ピクチャとの時間間隔が小さいにもかかわらず画質劣化が激しくなるような輝度変化が発生した場合に、符号量の増加を最小限に抑えながら効果的に画質が改善されるという効果が発揮される。
【０１９０】
なお、実施の形態３に記載の処理内容は、実施の形態１または実施の形態２に記載の処理内容と組み合わせて実施することも可能である。
【０１９１】
例えば、実施の形態１に記載のカメラ制御情報の変化量が閾値以上か否かの判定（図２（ａ）のＳ２０１）に加え、実施の形態３に記載の符号化対象がＰピクチャもしくはＰピクチャの先頭フィールドであるかどうかの判定（図１０のＳ１００１または図１１のＳ１１０１）を行ってもよい。
【０１９２】
図１２は、カメラ制御情報と符号化構造情報の両方が考慮された量子化幅制御の流れの一例を示す図である。
【０１９３】
図１２に示すように、カメラ制御情報の変化量が閾値以上であり（Ｓ１２０１でＹＥＳ）、符号化対象ブロックが平坦領域であり（Ｓ１２０２でＹＥＳ）、かつ、符号化対象がＰピクチャである場合（Ｓ１２０３でＹＥＳ）、当該符号化対象ブロックについての量子化幅が小さな値に決定される（Ｓ１２０４）。
【０１９４】
この処理により、他よりも小さな量子化幅で量子化されるブロック、つまり、他よりも多くの符号量が割り当てられるブロックが、実施の形態１〜３よりも絞り込まれる。
【０１９５】
そのため、例えば実施の形態１〜３よりも画質の改善に伴う符号量の増加が抑制される。
【０１９６】
また、例えば、実施の形態２に記載の画面特徴値の大きさが閾値以上か否かの判定（図６（ａ）のＳ６０１）に加え、実施の形態３に記載の符号化対象がＰピクチャもしくはＰピクチャの先頭フィールドであるか否かの判定（図１０のＳ１００１または図１１のＳ１１０１）の判定を行ってもよい。
【０１９７】
この処理でも、図１２に示す処理と同様に、例えば実施の形態１〜３よりも画質の改善に伴う符号量の増加が抑制されるという効果が発揮される。
【０１９８】
（実施の形態４）
さらに、上記各実施の形態で示した動画像符号化方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録してもよい。これにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
【０１９９】
なお、記録媒体としてはフレキシブルディスクに限らず、光ディスク、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
【０２００】
また、上記各実施の形態で示した動画像符号化方法を実現するための処理を集積回路であるＬＳＩに行わせてもよい。また、動画像符号化方法に含まれる複数の処理の一部または全てを含むように１チップ化されてもよい。また、ＬＳＩは集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと称されることもある。
【０２０１】
図１３は、実施の形態１の動画像符号化装置１００における集積回路化の一例を示す図である。
【０２０２】
図１３に示すＬＳＩ１５０は、動画像符号化装置１００が備える複数の機能ブロックを含む集積回路の一例である。
【０２０３】
なお、これら複数の機能ブロックは１つのＬＳＩではなく、複数のＬＳＩに分散して含まれてもよい。
【０２０４】
また、実施の形態２の動画像符号化装置５００および実施の形態３の動画像符号化装置７００のそれぞれにおいても、それらが有する機能ブロックの一部または全部を集積回路化することができる。
【０２０５】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０２０６】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩなどに置き換わる集積回路の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。
【０２０７】
（実施の形態１〜４の補足事項）
なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
【０２０８】
（１）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
【０２０９】
（２）上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
【０２１０】
（３）本発明は、上記に示す本発明の動画像符号化方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
【０２１１】
また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
【０２１２】
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。
【０２１３】
また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
【０２１４】
（４）上記各実施の形態及び上記（１）〜（３）に記載の技術内容をそれぞれ組み合わせてもよい。
【産業上の利用可能性】
【０２１５】
本発明の動画像符号化方法は、例えばビデオカメラ、ビデオレコーダ、ＤＶＤ装置、携帯電話、およびパーソナルコンピュータ等で、動画像を構成する各ピクチャを符号化して符号列を生成する方法として有用である。
【符号の説明】
【０２１６】
１００、５００、７００    動画像符号化装置
１０１、１０６、５０１、５０６、７０１、７０６    ピクチャメモリ
１０２、５０２、７０２    量子化幅決定部
１０３、５０３、７０３    予測残差符号化部
１０４、５０４、７０４    符号列生成部
１０５、５０５、７０５    予測残差復号化部
１０７、５０７、７０７    動きベクトル検出部
１０８、５０８、７０８    動き補償符号化部
１０９、５０９、７０９    差分演算部
１１０、５１０、７１０    加算演算部
１１１、５１１、７１１    平坦領域判定部
１１２    変化判定部
１５０    ＬＳＩ
５１２    特徴値大きさ判定部
５１３    画面特徴値抽出部
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
時間的に前方又は後方にある符号化済みのピクチャをブロックの単位で参照して予測符号化を行うことで動画像を符号化する動画像符号化方法であって、
前記予測符号化の対象のブロックである符号化対象ブロックが含まれる符号化対象ピクチャと前記参照に用いる符号化済みピクチャとの間で、所定の大きさ以上の輝度変化が発生している可能性があるか否かを判定する輝度変化判定ステップと、
前記符号化対象ブロックを構成する複数の画素の画素値のばらつき度が、所定の閾値よりも小さいか否かを判定する平坦領域判定ステップと、
前記符号化対象ブロックに対する符号化における量子化に用いられる量子化幅を決定する量子化幅決定ステップとを含み、
前記量子化幅決定ステップでは、
前記輝度変化判定ステップにおいて前記所定の大きさ以上の輝度変化が発生している可能性があると判定され、かつ、前記平坦領域判定ステップにおいて前記ばらつき度が前記所定の閾値よりも小さいと判定された場合の量子化幅を、
前記所定の大きさ以上の輝度変化が発生している可能性があると判定されず、または、前記ばらつき度が前記所定の閾値よりも小さいと判定されなかった場合の量子化幅よりも小さな値に決定する
動画像符号化方法。
【請求項２】
前記輝度変化判定ステップでは、符号化対象の動画像を生成するカメラから取得されるカメラ制御情報に示される値の変化量が、前記カメラ制御情報についての閾値以上である場合、前記所定の大きさ以上の輝度変化が発生している可能性があると判定する
請求項１記載の動画像符号化方法。
【請求項３】
前記輝度変化判定ステップでは、前記カメラ制御情報として、露出値、ズーム位置、シャッター速度、絞り値、およびゲイン値のうちの少なくとも１つを使用する
請求項２記載の動画像符号化方法。
【請求項４】
前記輝度変化判定ステップでは、入力される画像列から推定されるピクチャ単位の画面特徴値の大きさが、前記画面特徴値についての閾値以上である場合、前記所定の大きさ以上の輝度変化が発生している可能性があると判定する
請求項１記載の動画像符号化方法。
【請求項５】
前記輝度変化判定ステップでは、前記画面特徴値として、画面輝度の変化量、画面の推定ズーム速度、画面の推定動き速度のうちの少なくとも１つを使用する
請求項４記載の動画像符号化方法。
【請求項６】
前記輝度変化判定ステップでは、前記符号化対象ピクチャの符号化構造がＰピクチャであった場合、前記所定の大きさ以上の輝度変化が発生している可能性があると判定する
請求項１記載の動画像符号化方法。
【請求項７】
前記輝度変化判定ステップでは、前記符号化対象ピクチャの符号化構造がフィールド符号化におけるＰピクチャであり、かつ、前記符号化対象ブロックが含まれるフィールドが符号化順で先に符号化するフィールドである場合、前記所定の大きさ以上の輝度変化が発生している可能性があると判定する
請求項６記載の動画像符号化方法。
【請求項８】
前記量子化幅決定ステップでは、前記符号化対象ブロックについての量子化幅を決定する場合、
前記符号化対象ピクチャの符号化構造がフィールド符号化におけるＰピクチャであり、かつ、前記符号化対象ブロックが含まれるフィールドが符号化順で先に符号化するフィールドであるときは、基準となる量子化幅である基準量子化幅よりＸだけ小さな量子化幅を決定し、
前記符号化構造がフィールド符号化におけるＰピクチャではなく、または、前記符号化対象ブロックが含まれるフィールドが符号化順で先に符号化するフィールドでないときは、前記基準量子化幅よりＹ（Ｘ＞Ｙ）だけ小さな量子化幅を決定する
請求項７記載の動画像符号化方法。
【請求項９】
前記輝度変化判定ステップでは、前記符号化対象ピクチャの符号化構造がＰピクチャまたはＢピクチャであった場合、前記所定の大きさ以上の輝度変化が発生している可能性があると判定する
請求項１記載の動画像符号化方法。
【請求項１０】
前記量子化幅決定ステップでは、前記符号化対象ブロックについての量子化幅を決定する場合、前記符号化対象ピクチャの符号化構造がＰピクチャであるときは、基準となる量子化幅である基準量子化幅よりＸだけ小さな量子化幅を決定し、前記符号化構造がＢピクチャであるときは、前記基準量子化幅よりＹ（Ｘ＞Ｙ）だけ小さな量子化幅を決定する
請求項９記載の動画像符号化方法。
【請求項１１】
前記量子化幅決定ステップでは、量子化幅を決定する場合、所定の量子化幅以下の値になるように量子化幅を決定する
請求項１記載の動画像符号化方法。
【請求項１２】
さらに、符号化対象ピクチャの符号化構造がＰピクチャであるか否かを判定する符号化構造判定ステップを含み、
前記量子化幅決定ステップでは、
前記輝度変化判定ステップにおいて前記所定の大きさ以上の輝度変化が発生している可能性があると判定され、前記平坦領域判定ステップにおいて前記ばらつき度が前記所定の閾値よりも小さいと判定され、かつ、前記符号化構造判定ステップにおいて、前記符号化構造がＰピクチャであると判定された場合の量子化幅を、
前記所定の大きさ以上の輝度変化が発生している可能性があると判定されず、前記ばらつき度が前記所定の閾値よりも小さいと判定されず、または、前記符号化構造がＰピクチャであると判定されなかった場合の量子化幅よりも小さな値に決定する
請求項１記載の動画像符号化方法。
【請求項１３】
請求項１に記載の動画像符号化方法に含まれる、輝度変化判定ステップと、平坦領域判定ステップと、量子化幅決定ステップと
をコンピュータに実行させるためのプログラム。
【請求項１４】
時間的に前方又は後方にある符号化済みのピクチャをブロックの単位で参照して予測符号化を行うことで動画像を符号化する動画像符号化方法であって、
前記予測符号化の対象のブロックである符号化対象ブロックが含まれる符号化対象ピクチャの符号化構造が、Ｐピクチャであるか否かを判定する符号化構造判定ステップと、
前記符号化対象ブロックを構成する複数の画素の画素値のばらつき度が、所定の閾値よりも小さいか否かを判定する平坦領域判定ステップと、
前記符号化対象ブロックに対する符号化における量子化に用いられる量子化幅を決定する量子化幅決定ステップとを含み、
前記量子化幅決定ステップでは、
前記符号化構造判定ステップにおいて前記符号化構造がＰピクチャであると判定され、かつ、前記平坦領域判定ステップにおいて前記ばらつき度が前記所定の閾値よりも小さいと判定された場合の量子化幅を、
前記符号化構造がＰピクチャであると判定されず、または、前記ばらつき度が前記所定の閾値よりも小さいと判定されなかった場合の量子化幅よりも小さな値に決定する
動画像符号化方法。
【請求項１５】
時間的に前方又は後方にある符号化済みのピクチャをブロックの単位で参照して予測符号化を行うことで動画像を符号化する動画像符号化装置であって、
前記予測符号化の対象のブロックである符号化対象ブロックが含まれる符号化対象ピクチャと前記参照に用いる符号化済みピクチャとの間で、所定の大きさ以上の輝度変化が発生している可能性があるか否かを判定する輝度変化判定部と、
前記符号化対象ブロックを構成する複数の画素の画素値のばらつき度が、所定の閾値よりも小さいか否かを判定する平坦領域判定部と、
前記符号化対象ブロックに対する符号化における量子化に用いられる量子化幅を決定する量子化幅決定部とを備え、
前記量子化幅決定部は、
前記輝度変化判定部により前記所定の大きさ以上の輝度変化が発生している可能性があると判定され、かつ、前記平坦領域判定部により前記ばらつき度が前記所定の閾値よりも小さいと判定された場合の量子化幅を、
前記所定の大きさ以上の輝度変化が発生している可能性があると判定されず、または、前記ばらつき度が前記所定の閾値よりも小さいと判定されなかった場合の量子化幅よりも小さな値に決定する
動画像符号化装置。
【請求項１６】
時間的に前方又は後方にある符号化済みのピクチャをブロックの単位で参照して予測符号化を行うことで動画像を符号化する集積回路であって、
前記予測符号化の対象のブロックである符号化対象ブロックが含まれる符号化対象ピクチャと前記参照に用いる符号化済みピクチャとの間で、所定の大きさ以上の輝度変化が発生している可能性があるか否かを判定する輝度変化判定部と、
前記符号化対象ブロックを構成する複数の画素の画素値のばらつき度が、所定の閾値よりも小さいか否かを判定する平坦領域判定部と、
前記符号化対象ブロックに対する符号化における量子化に用いられる量子化幅を決定する量子化幅決定部とを備え、
前記量子化幅決定部は、
前記輝度変化判定部により前記所定の大きさ以上の輝度変化が発生している可能性があると判定され、かつ、前記平坦領域判定部により前記ばらつき度が前記所定の閾値よりも小さいと判定された場合の量子化幅を、
前記所定の大きさ以上の輝度変化が発生している可能性があると判定されず、または、前記ばらつき度が前記所定の閾値よりも小さいと判定されなかった場合の量子化幅よりも小さな値に決定する
集積回路。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2009093436.tif 000017
【図２】
2009093436.tif 000018
【図３】
2009093436.tif 000019
【図４】
2009093436.tif 000020
【図５】
2009093436.tif 000021
【図６】
2009093436.tif 000022
【図７】
2009093436.tif 000023
【図８】
2009093436.tif 000024
【図９】
2009093436.tif 000025
【図１０】
2009093436.tif 000026
【図１１】
2009093436.tif 000027
【図１２】
2009093436.tif 000028
【図１３】
2009093436.tif 000029
【図１４】
2009093436.tif 000030
【国際調査報告】
2009093436.tif 000031
2009093436.tif 000032
2009093436.tif 000033