(57)【要約】【課題】より確実に符号量を所望の値以下に抑えるようにする。【解決手段】レート制御部１１８は、画像を符号化した場合に発生する発生符号量を予測する。符号量制御部１４２は、予測された発生符号量が所定の値を超える場合に、画像内のイントラ予測を用いて符号化される各ブロックに対して、同じ予測方向のイントラ予測モードが適用されるように制御する。イントラ予測部１２５は、適用されたイントラ予測モードにより各ブロックを符号化する。本発明は、符号化装置に適用できる。【選択図】図１
2010233263.tif 000002
【特許請求の範囲】
【請求項１】
画像を符号化した場合に発生する発生符号量を予測する予測手段と、
予測された前記発生符号量が所定の値を超える場合に、前記画像内のイントラ予測を用いて符号化される各ブロックに対して、同じ予測方向のイントラ予測モードが適用されるように制御する予測モード制御手段と、
適用されたイントラ予測モードにより前記各ブロックを符号化する符号化手段と
を備える画像処理装置。
【請求項２】
前記予測モード制御手段は、イントラ予測を用いて符号化される前記各ブロックに対して、ＤＣモードが適用されるように制御する
請求項１に記載の画像処理装置。
【請求項３】
前記予測モード制御手段は、イントラ予測を用いて符号化される前記各ブロックに対して、Intra１６×１６モードが適用されるように制御する
請求項１に記載の画像処理装置。
【請求項４】
前記予測モード制御手段は、イントラ予測を用いて符号化される前記各ブロックの大きさを、前記各ブロックの属するスライスのタイプに基づいて制御する
請求項１に記載の画像処理装置。
【請求項５】
前記予測モード制御手段は、Ｉスライスに属する前記ブロックのイントラ予測を１６×１６のブロックサイズにて行い、ＰスライスもしくはＢスライスに属する前記ブロックのイントラ予測を４×４、８×８、もしくは１６×１６のブロックサイズにて行なうように制御する
請求項４に記載の画像処理装置。
【請求項６】
前記予測モード制御手段は、前記ブロックの属するスライスのタイプに基づいて、前記ブロックに適用される予測モードを制御する
請求項１に記載の画像処理装置。
【請求項７】
前記予測モード制御手段は、Ｉスライスに属する前記ブロックに対して、同じ予測方向のイントラ予測モードが適用されるように制御する
請求項６に記載の画像処理装置。
【請求項８】
前記予測モード制御手段は、さらに、Ｂスライスに属する前記ブロックに適用される予測モードをイントラ予測モード、ダイレクトモードもしくはスキップモードのいずれかから選択し、Ｐスライスに属する前記ブロックに適用される予測モードをイントラ予測モードもしくはスキップモードのいずれかから選択する
請求項７に記載の画像処理装置。
【請求項９】
画像の符号化を行う画像処理装置が、
前記画像を符号化した場合に発生する発生符号量を予測し、
予測された前記発生符号量が所定の値を超える場合に、前記画像内のイントラ予測を用いて符号化される各ブロックに対して、同じ予測方向のイントラ予測モードが適用されるように制御し、
適用されたイントラ予測モードにより前記各ブロックを符号化する
ステップを含む画像処理方法。
【請求項１０】
画像を符号化した場合に発生する発生符号量を予測し、
予測された前記発生符号量が所定の値を超える場合に、前記画像内のイントラ予測を用いて符号化される各ブロックに対して、同じ予測方向のイントラ予測モードが適用されるように制御し、
適用されたイントラ予測モードにより前記各ブロックを符号化する
ステップを含む処理をコンピュータに実行させるためのプログラム。
【請求項１１】
画像を符号化した場合に発生する発生符号量を予測し、
予測された前記発生符号量が所定の値を超える場合に、前記画像内のイントラ予測を用いて符号化される各ブロックに対して、同じ予測方向のイントラ予測モードが適用されるように制御し、
適用されたイントラ予測モードにより前記各ブロックを符号化する
ステップを含む処理をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および方法、プログラム、並びに、記録媒体に関し、特に、より確実に符号量を所望の値以下に抑えることができるようにした画像処理装置および方法、プログラム、並びに、記録媒体に関する。
【背景技術】
【０００２】
H.264／AVC（Advanced Video Coding）方式により画像を符号化するシステムにおいては、HRD（Hypothetical Reference Decoder、仮想参照デコーダ）バッファの容量、ネットワークの回線容量、システムレイヤの制約、ディスクドライブの読み出し性能などの条件により、１ピクチャあたりの符号量の上限値が設定される。符号量がその上限値を超えてしまうと、システムの動作に支障を来す恐れがあるため、従来、H.264／AVC方式により画像を符号化する符号化装置において、符号量を制御する方法が種々提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−１６５８９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、例えば、白色雑音を含む画像が入力された場合、従来のMPEG-2 TestModel5（TM5）に規定されるレート制御方法などに基づく制御では、符号量が上限値を超えてしまう可能性がある。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、より確実に符号量を所望の値以下に抑えることができるようにするものである。
【課題を解決するための手段】
【０００６】
本発明の一側面の画像処理装置は、画像を符号化した場合に発生する発生符号量を予測する予測手段と、予測された前記発生符号量が所定の値を超える場合に、前記画像内のイントラ予測を用いて符号化される各ブロックに対して、同じ予測方向のイントラ予測モードが適用されるように制御する予測モード制御手段と、適用されたイントラ予測モードにより前記各ブロックを符号化する符号化手段とを備える。
【０００７】
前記予測モード制御手段には、イントラ予測を用いて符号化される前記各ブロックに対して、ＤＣモードが適用されるように制御させることができる。
【０００８】
前記予測モード制御手段には、イントラ予測を用いて符号化される前記各ブロックに対して、Intra１６×１６モードが適用されるように制御させることができる。
【０００９】
前記予測モード制御手段には、イントラ予測を用いて符号化される前記各ブロックの大きさを、前記各ブロックの属するスライスのタイプに基づいて制御させることができる。
【００１０】
前記予測モード制御手段には、Ｉスライスに属する前記ブロックのイントラ予測を１６×１６のブロックサイズにて行い、ＰスライスもしくはＢスライスに属する前記ブロックのイントラ予測を４×４、８×８、もしくは１６×１６のブロックサイズにて行なうように制御させることができる。
【００１１】
前記予測モード制御手段には、前記ブロックの属するスライスのタイプに基づいて、前記ブロックに適用される予測モードを制御させることができる。
【００１２】
前記予測モード制御手段には、Ｉスライスに属する前記ブロックに対して、同じ予測方向のイントラ予測モードが適用されるように制御させることができる。
【００１３】
前記予測モード制御手段には、さらに、Ｂスライスに属する前記ブロックに適用される予測モードをイントラ予測モード、ダイレクトモードもしくはスキップモードのいずれかから選択し、Ｐスライスに属する前記ブロックに適用される予測モードをイントラ予測モードもしくはスキップモードのいずれかから選択させることができる。
【００１４】
本発明の一側面の画像処理方法は、画像の符号化を行う画像処理装置が、前記画像を符号化した場合に発生する発生符号量を予測し、予測された前記発生符号量が所定の値を超える場合に、前記画像内のイントラ予測を用いて符号化される各ブロックに対して、同じ予測方向のイントラ予測モードが適用されるように制御し、適用されたイントラ予測モードにより前記各ブロックを符号化するステップを含む。
【００１５】
本発明の一側面のプログラム、または、記録媒体に記録されているプログラムは、画像を符号化した場合に発生する発生符号量を予測し、予測された前記発生符号量が所定の値を超える場合に、前記画像内のイントラ予測を用いて符号化される各ブロックに対して、同じ予測方向のイントラ予測モードが適用されるように制御し、適用されたイントラ予測モードにより前記各ブロックを符号化するステップを含む処理をコンピュータに実行させる。
【００１６】
本発明の一側面においては、画像を符号化した場合に発生する発生符号量が予測され、予測された前記発生符号量が所定の値を超える場合に、前記画像内のイントラ予測を用いて符号化される各ブロックに対して、同じ予測方向のイントラ予測モードが適用されるように制御され、適用されたイントラ予測モードにより前記各ブロックが符号化される。
【発明の効果】
【００１７】
本発明の一側面によれば、符号量が抑制される。また、本発明の一側面によれば、より確実に符号量を所望の値以下に抑えることができる。
【図面の簡単な説明】
【００１８】
【図１】本発明を適用した画像処理装置の一実施の形態を示すブロック図である。
【図２】図１の画像処理装置により実行される符号化処理を説明するためのフローチャートである。
【図３】図１の画像処理装置により実行される緊急モード対応処理を説明するためのフローチャートである。
【図４】パーソナルコンピュータの構成の例を示すブロック図である。
【発明を実施するための形態】
【００１９】
以下、図面を参照して、本発明の実施の形態について説明する。
【００２０】
図１は、本発明を適用した画像処理装置の一実施の形態の構成を示すブロック図である。
【００２１】
画像処理装置１０１は、入力された画像をH.264／AVC（Advanced Video Coding）方式により符号化し、符号化した画像を、例えば、後段の図示せぬ記録装置や伝送路などに出力する装置である。
【００２２】
画像処理装置１０１は、A/D（Analog/Digital）変換部１１１、画面並べ替えバッファ１１２、加算器１１３、直交変換部１１４、量子化部１１５、可逆符号化部１１６、蓄積バッファ１１７、レート制御部１１８、緊急モード制御部１１９、逆量子化部１２０、逆直交変換部１２１、加算器１２２、デブロッキングフィルタ１２３、フレームメモリ１２４、イントラ予測部１２５、動き予測・補償部１２６、および、モード判定部１２７を含むように構成される。また、緊急モード制御部１１９は、緊急モード判定部１４１および符号量制御部１４２を含むように構成される。
【００２３】
A/D変換部１１１は、外部から入力されたアナログの画像をデジタルの画像にA/D変換し、変換後のデジタルの画像（以下、適宜、原画像とも称する）を画面並べ替えバッファ１１２に供給する。
【００２４】
画面並べ替えバッファ１１２は、A/D変換部１１１から供給された原画像をGOP（Group Of Pictures）構造に基づいて並べ替え、順に、加算器１１３、イントラ予測部１２５、および、動き予測・補償部１２６に供給する。
【００２５】
加算器１１３は、マクロブロックごとに、原画像に対してイントラ予測（フレーム内予測）を用いて予測したイントラ予測画像、および、インター予測（フレーム間予測、動き補償予測）を用いて予測したインター予測画像のうちいずれか一方の予測画像を、モード判定部１２７から取得する。加算器１１３は、マクロブロックごとに、原画像とイントラ予測画像またはインター予測画像との差分を取り、差分を取ることに得られた予測誤差からなる差分画像を直交変換部１１４に供給する。
【００２６】
直交変換部１１４は、差分画像に対して、所定の大きさのブロックごとに離散コサイン変換またはカルーネン・レーベ変換等の直交変換を施し、これにより得られた変換係数を量子化部１１５に供給する。なお、直交変換部１１４は、図３を参照して後述するように、１ピクチャあたりの符号量が所定の上限値を超えそうである緊急モード時には、緊急モード部１２６の制御の基に、所定の周波数成分の変換係数の値を０に置き換える。
【００２７】
量子化部１１５は、レート制御部１１８により制御される量子化スケールを用いて、直交変換部１１４から供給された変換係数を量子化し、量子化した変換係数を可逆符号化部１１６および逆量子化部１２０に供給する。
【００２８】
可逆符号化部１１６は、イントラ予測に関する情報をイントラ予測部１２５から取得し、インター予測に関する情報を動き予測・補償部１２６から取得する。可逆符号変換部１１７は、量子化された変換係数、イントラ予測に関する情報、インター予測に関する情報などを所定の順序に配置し、配置したデータに対してCAVLC（Context-Adaptive Variable Length Coding）などの可変長符号化、または、CABAC（Context-Adaptive Binary Arithmetic Coding）などの算術符号化等の可逆符号化処理を施す。可逆符号化部１１６は、符号化したデータを蓄積バッファ１１７に供給して蓄積させる。
【００２９】
蓄積バッファ１１７は、可逆符号化部１１６から供給されたデータを、H.264／AVC方式で符号化された画像として、例えば、後段の図示せぬ記録装置や伝送路などに出力する。
【００３０】
レート制御部１１８は、蓄積バッファ１１７に記憶されている画像の符号量に基づいて、符号化する画像に割り当てられる時間当たりの符号量であるビットレートを制御する。
例えば、レート制御部１１８は、MPEG-2 TestModel5（TM5）に規定されるレート制御方式を用いて、量子化部１１５が量子化を行うときに変換係数を除算する値である量子化スケールの値を制御することによりビットレートを制御する。また、レート制御部１１８は、次に符号化する画像（ピクチャ）に割り当てられる符号量の見積もり値であるターゲットビットを算出し、算出したターゲットビットを示す情報を緊急モード制御部１１９に供給する。
【００３１】
緊急モード制御部１１９は、緊急モードに関わる処理を行う。
【００３２】
緊急モード制御部１１９を構成する要素のうち、緊急モード判定部１４１は、レート制御部１１８から取得したターゲットビットに基づいて、次に符号化される画像（ピクチャ）について、１ピクチャあたりの符号量が所定の上限値を超えそうであるか否かを判定する。緊急モード判定部１４１は、判定結果を示す情報を符号量制御部１４２に供給する。
【００３３】
なお、１ピクチャあたりの符号量の上限値は、例えば、HRDバッファの容量、ネットワークの回線容量、システムレイヤの制約、ディスクドライブの読み出し性能などの条件に基づいて設定される。また、この上限値を可変とし、条件の変化に応じて、値を変更するようにしてもよい。
【００３４】
符号量制御部１４２は、緊急モード判定部１４１により、１ピクチャあたりの符号量が所定の上限値を超えそうであると判定された場合、図３を参照して後述するように、レート制御部１１８とは異なる方式により、直交変換部１１４、イントラ予測部１２５、または、モード判定部１２７の処理を制御することにより、符号量を抑制するように、符号化を制御する。
【００３５】
逆量子化部１２０は、量子化部１１５から供給された変換係数を逆量子化して逆直交変換部１２１に供給する。
【００３６】
逆直交変換部１２１は、逆量子化部１２０から供給された変換係数に対して逆離散コサイン変換、逆カルーネン・レーベ変換等の逆直交変換を施す。これにより、差分画像が復号される。逆直交変換部１２１は、復号した差分画像を加算器１２２に供給する。
【００３７】
加算器１２２は、差分画像の生成に用いられたイントラ予測画像またはインター予測画像をモード判定部１２７から取得し、差分画像と取得したイントラ予測画像またはインター予測画像とを加算する。これにより、原画像が復号される。加算器１２２は、復号した画像（以下、適宜、復号画像と称する）をデブロッキングフィルタ１２３に供給する。
【００３８】
デブロッキングフィルタ１２３は、復号画像に対して、ブロック歪みを除去するデブロッキング処理を施す。デブロッキングフィルタ１２３は、デブロッキング処理を施した画像をフレームメモリ１２４に供給する。また、デブロッキングフィルタ１２３は、イントラ予測に用いる画像として、デブロッキング処理を施さない復号画像をそのままフレームメモリ１２４に供給する。
【００３９】
フレームメモリ１２４は、デブロッキングフィルタ１２３から供給された画像を、イントラ予測またはインター予測が行われる場合に参照される画像（以下、適宜、参照画像と称する）として記憶する。
【００４０】
イントラ予測部１２５は、マクロブロックごとに、フレームメモリ１２４に記憶されている同じフレーム内のマクロブロックに隣接する符号化済みの画素を用いて、原画像に対するイントラ予測画像を生成するイントラ予測を行う。なお、上述したように、イントラ予測には、デブロッキング処理を施す前の復号画像の画素が用いられる。
【００４１】
動き予測・補償部１２６は、マクロブロックごとに、フレームメモリ１２４に記憶されている他のフレームの参照画像を用いて、参照画像に対する原画像の動きベクトルを検出し、検出した動きベクトルを用いて参照画像に動き補償を施こすことにより、原画像に対するインター予測画像を生成するインター予測を行う。
【００４２】
モード判定部１２７は、例えば、Low Complexity Mode（高速モード）方式を用いて、各マクロブロックに適用する予測モードを判定する。
【００４３】
ここで、イントラ予測部１２５、動き予測・補償部１２６、および、モード判定部１２７の処理について、より具体的に説明する。
【００４４】
H.264／AVCの規格では、イントラ予測およびインター予測の方法として、それぞれ、複数の予測モードが規定されている。
【００４５】
具体的には、輝度信号のイントラ予測に関して、イントラ予測するブロックの単位として、４×４画素（Intra4x4モード）、８×８画素（Intra8x8モード、High Profileが適用されている場合のみ）、および、１６×１６画素（Intra16x16モード）の３種類が規定されている。また、Intra4x4モードおよびIntra8×8モードにおいては、画素値を予測する方向として、予測モード０乃至予測モード８の９種類が規定されており、Intra16x16モードにおいては、画素値を予測する方向として、予測モード０乃至予測モード３の４種類が規定されている。
【００４６】
また、色差信号のイントラ予測に関して、イントラ予測するブロックの単位として、８×８画素の１種類が規定されており、画素値を予測する方向として、予測モード０乃至予測モード３の４種類が規定されている。
【００４７】
さらに、インター予測に関して、インター予測を行うブロックの単位として、１６×１６画素、１６×８画素、８×１６画素、８×８画素、８×４画素、４×８画素、および、４×４画素の７種類が規定されている。また、Ｂ（Bi-directional Predictive）スライスに属するブロックのインター予測に関して、時間軸において前方向（過去側）のピクチャのみを参照する前方向予測モード、時間軸において後ろ方向（未来側）のピクチャのみを参照する後ろ方向予測モード、時間軸において前後両方のピクチャを参照する双方向予測モードなどが規定されている。
【００４８】
さらに、Ｐ（Predictive）スライスまたはＢスライスに属するブロックのインター予測に関して、動きベクトルにより参照される参照画像のブロックの画素値をそのまま用いることにより、マクロブロックに関する情報の符号量を抑制するスキップモードが規定されている。また、Ｂスライスに属するブロックのインター予測に関して、符号化済みのブロックの動きベクトル用いて動きベクトルを予測するダイレクトモードが規定されている。
【００４９】
イントラ予測部１２５は、マクロブロックごとに、そのマクロブロックに適用可能な全てのイントラ予測の予測モード（以下、イントラ予測モードとも称する）について、以下の式（１）により、コスト値Cost(Mode)を算出する。
【００５０】
Cost(Mode)＝SA(T)D＋SA(T)D0  ・・・（１）
【００５１】
ここで、SA(T)Dは、原画像と予測画像との差分である予測誤差の絶対値和である。また、SA(T)D0は、SA(T)Dに与えられるオフセット値であり、動きベクトルなど、マクロブロックに付加されるヘッダ情報の伝送に供するデータ量である。
【００５２】
イントラ予測部１２５は、算出した全てのコスト値Cost(Mode)、すなわち、マクロブロックに適用可能な全てのイントラ予測モードに対するコスト値Cost(Mode)を示す情報をモード判定部１２７に供給する。
【００５３】
なお、イントラ予測部１２５は、図３を参照して後述するように、緊急モード時には、符号量制御部１１９の制御の基に、コスト値Cost(Mode)を算出する予測モードを制限し、各マクロブロックに適用されるイントラ予測モードを制限する。
【００５４】
動き予測・補償部１２６も、イントラ予測部１２５と同様に、マクロブロックごとに、そのマクロブロックに適用可能な全てのインター予測の予測モード（以下、インター予測モードとも称する）について、上述した式（１）により、コスト値Cost(Mode)を算出する。動き予測・補償部１２６は、算出した全てのコスト値Cost(Mode)、すなわち、マクロブロックに適用可能な全てのインター予測モードに対するコスト値Cost(Mode)を示す情報をモード判定部１２７に供給する。
【００５５】
モード判定部１２７は、イントラ予測部１２５または動き予測・補償部１２６から取得したコスト値Cost(Mode)に基づいて、画質と符号量の観点から、各マクロブロックに適用する予測モードを選択する。
【００５６】
なお、図３を参照して後述するように、モード判定部１２７は、緊急モード時には、符号量制御部１１９の制御の基に、各マクロブロックに適用する予測モードを制限する。
【００５７】
モード判定部１２７は、イントラ予測モードのうちの１つを選択した場合、選択したイントラ予測モードを示す情報をイントラ予測部１２５に供給する。イントラ予測部１２５は、選択されたイントラ予測モードに基づいて、イントラ予測画像を生成し、生成したイントラ予測画像をモード判定部１２７に供給する。また、イントラ予測部１２５は、イントラ予測を行ったマクロブロックのイントラ予測に関する情報として、選択された予測モードなどの情報を可逆符号化部１１６に供給する。
【００５８】
また、モード判定部１２７は、インター予測モードのうちの１つを選択した場合、選択したインター予測モードを示す情報を動き予測・補償部１２６に供給する。動き予測・補償部１２６は、選択されたインター予測モードに基づいて、動きベクトルの検出、および、インター予測画像の生成を行い、生成したインター予測画像をモード判定部１２７に供給する。また、動き予測・補償部１２６は、インター予測を行ったマクロブロックのインター予測に関する情報として、選択された予測モード、検出した動きベクトル、参照画像（ピクチャ）の番号などの情報を可逆符号化部１１６に供給する。
【００５９】
モード判定部１２７は、選択した予測モードに基づいて生成されたイントラ予測画像またはインター予測画像を、加算器１１３および加算器１２２に供給する。
【００６０】
次に、図２のフローチャートを参照して、図１の画像処理装置１０１により実行される符号化処理について説明する。なお、この処理は、例えば、外部から画像処理装置１０１への画像の入力が開始されたとき、開始される。
【００６１】
ステップＳ１において、画像処理装置１０１は、画像の符号化を開始する。すなわち、図１を参照して上述した動作を、画像処理装置１０１の各部が開始することにより、入力された画像のH.264／AVC方式による符号化が開始される。また、図３を参照して後述する緊急モード対応処理も開始される。
【００６２】
ステップＳ２において、画像処理装置１０１は、全ての画像を符号化したかを判定する。ステップＳ２において、外部から入力された全ての画像を符号化したと判定されるまで、画像の符号化が実行され、外部から入力された全ての画像を符号化したと判定された場合、符号化処理は終了する。
【００６３】
次に、図３のフローチャートを参照して、図２を参照して上述した符号化処理中に画像処理装置１０１により実行される緊急モード対応処理を説明する。
【００６４】
ステップＳ２１において、レート制御部１１８は、次のピクチャのターゲットビットを算出する。具体的には、レート制御部１１８は、例えば、TM5に規定されるレート制御方式を用いて、蓄積バッファ１１７に記憶されている画像の符号量に基づいて、次のピクチャのターゲットビットを算出する。レート制御部１１８は、算出したターゲットビットを示す情報を緊急モード判定部１４１に供給する。
【００６５】
ステップＳ２２において、緊急モード判定部１４１は、次のピクチャの符号量が上限値を超えそうであるか否かを判定する。緊急モード判定部１４１は、レート制御部１１８から取得したターゲットビットが所定の上限値を超える場合、次のピクチャの符号量が上限値を超えそうであると判定し、処理はステップＳ２３に進む。
【００６６】
ステップＳ２３において、符号量制御部１４２は、緊急モード時の動作を指令する。具体的には、緊急モード判定部１４１は、次のピクチャの符号量が上限値を超えそうであることを示す情報を符号量制御部１４２に供給する。符号量制御部１４２は、直交変換部１１４、イントラ予測部１２５、および、モード判定部１２７に、緊急モード時の動作を指令する。
【００６７】
ステップＳ２４において、直交変換部１１４は、符号量制御部１４２の制御の基に、所定の周波数成分の変換係数の０への置き換えを開始する。
【００６８】
例えば、次のフレームのターゲットビットをＴ、１ピクチャあたりの符号量の上限値をΘとし、予め定められている１ピクチャあたりの符号量に関する閾値をTh1、Th2、Th3（ただし、Th1＜Th2＜Th3）とした場合、直交変換部１１４は、符号量制御部１４２の制御の基に、Th1＜T−Θ＜Th2であるとき、直流（DC）成分およびそれ以外の特定の周波数成分を除く、所定の周波数成分の変換係数の値を０に置き換え、Th2≦T−Θ＜Th3であるとき、直流成分以外の周波数成分の変換係数の値を０に置き換え、Th3≧T−Θであるとき、直流成分を含む全ての周波数成分の変換係数の値を０に置き換える。すなわち、ターゲットビットＴに基づいて、変換係数を０に置き換える周波数成分の範囲が変更される。より詳細には、ターゲットビットＴが大きいほど、より符号量が抑制されるように、変換係数を０に置き換える周波数成分の範囲が大きくされる。
【００６９】
また、例えば、マクロブロックが属するスライスのタイプに基づいて、変換係数を０に置き換える周波数成分の範囲を変更するようにしてもよい。例えば、Ｉ（Intra）スライスに属するマクロブロックについては、直流成分を含む全ての周波数成分の変換係数の値を０に置き換え、ＰスライスまたはＢスライスに属するマクロブロックについては、直流成分以外の周波数成分の変換係数の値を０に置き換えるようにしてもよい。すなわち、ＰまたはＢスライスよりも符号量が多くなる傾向にあるＩスライスに属するマクロブロックの方が、ＰまたはＢスライスに属するマクロブロックよりも、より符号量が抑制されるように、変換係数を０に置き換える周波数成分の範囲が大きくされる。
【００７０】
このように、所定の周波数成分の変換係数が０に置き換えられることにより、符号量が抑制される。
【００７１】
なお、直交変換部１１４による、変換係数の０への置き換えは、後述するステップＳ２８において、緊急モードが解除されるまで継続される。
【００７２】
ステップＳ２５において、イントラ予測部１２５は、符号量制御部１４２の制御の基に、適用するイントラ予測モードを制限する。例えば、イントラ予測部１２５は、符号量制御部１４２の制御の基に、輝度信号のIntra4x4モード、Intra8x8モード（High Profileが適用されている場合のみ）、および、Intra16x16モード、並びに、色差信号のそれぞれについて、画素値を予測する方向を１種類に限定し、限定された予測方向に対するコスト値Cost(Mode)のみを算出し、その他の予測方向に対するコスト値Cost(Mode)の算出を停止する。これにより、イントラ予測モードにおいて、全て同じ予測方向の予測モードが適用されるようになり、その結果、各ブロックの予測モードの符号化が不要となるため、符号量を抑制することができる。
【００７３】
なお、この場合、DCモード（輝度信号においては予測モード２、および、色差信号においては予測モード０）に予測方向を統一することにより、他の予測モードに統一した場合と比較して、画像に不自然な方向性が現れることなく、画質の劣化を抑えることができる。
【００７４】
また、例えば、輝度信号については、発生する符号量が少ない、Intra16x16モードについてのみコスト値Cost(Mode)の算出を行うようにしてもよい。
【００７５】
さらに、例えば、マクロブロックが属するスライスのタイプに基づいて、適用する予測モードを制限するようにしてもよい。例えば、Ｉスライスに属するマクロブロックの輝度信号については、Intra16x16モードについてのみコスト値Cost(Mode)の算出を行い、ＰスライスまたはＢスライスに属するマクロブロックの輝度信号については、Intra4x4モード、Intra8x8モード（High Profileの場合）、および、Intra16x16モードのそれぞれについて、コスト値Cost(Mode)の算出を行うようにしてもよい。すなわち、ＰまたはＢスライスよりも符号量が多くなる傾向にあるＩスライスに属するマクロブロックの方が、ＰまたはＢスライスに属するマクロブロックよりも、より符号量が抑制されるように、イントラ予測を行う単位であるブロックが大きく設定される。
【００７６】
このように、イントラ予測における符号量が抑制されるように、各マクロブロックに適用されるイントラ予測モードが制限される。
【００７７】
なお、イントラ予測部１２５による、イントラ予測モードの制限は、後述するステップＳ２８において、緊急モードが解除されるまで継続される。
【００７８】
ステップＳ２６において、モード判定部１２７は、符号量制御部１４２の制御の基に、適用するインター予測モードを制限する。
【００７９】
例えば、モード判定部１２７は、符号量制御部１４２の制御の基に、Ｂスライスに属するマクロブロックについては、インター予測モードの選択肢をスキップモードおよびダイレクトモードに制限する。すなわち、Ｂスライスに属するマクロブロックに適用される予測モードが、ステップＳ２５において限定されたイントラ予測モード、ダイレクトモード、および、スキップモードのうちいずれかに制限される。
【００８０】
また、例えば、モード判定部１２７は、符号量制御部１４２の制御の基に、Ｐスライスに属するマクロブロックについては、インター予測モードの選択肢をスキップモードに限定する。すなわち、Ｐスライスに属するマクロブロックに適用される予測モードが、ステップＳ２５において限定されたイントラ予測モード、および、スキップモードのうちいずれかに制限される。
【００８１】
なお、Ｉスライスに属するマクロブロックについては、インター予測は行われないため、適用される予測モードは、ステップＳ２５において限定されたイントラ予測モードに制限される。
【００８２】
モード判定部１２７は、コスト値Cost(Mode)に基づいて、制限された予測モードの中から、当該マクロブロックに適用する予測モードを選択する。
【００８３】
これにより、インター予測が選択された場合、その予測モードが、スキップモードまたはダイレクトモードとなるため、符号量が抑制される。
【００８４】
なお、ＰまたはＢスライスに属するマクロブロックに対して、イントラ予測モードを選択肢に加えないようにしてもよい。これにより、Ｐスライスに属するマクロブロックについては、インター予測のスキップモードが適用され、Ｂスライスに属するマクロブロックについては、インター予測のダイレクトモードまたはスキップモードが適用されるようになり、より符号量を抑制することが可能となる。
【００８５】
なお、モード判定部１２７による、インター予測モードの制限は、後述するステップＳ２８において、緊急モードが解除されるまで継続される。
【００８６】
その後、処理はステップＳ２１に戻り、ステップＳ２１以降の処理が実行される。
【００８７】
ステップＳ２２において、次のピクチャの符号量が上限値を超えそうでないと判定された場合、処理はステップＳ２７に進む。
【００８８】
ステップＳ２７において、符号量制御部１４２は、緊急モード中であるか否かを判定する。緊急モード中であると判定された場合、処理はステップＳ２８に進む。
【００８９】
ステップＳ２８において、符号量制御部１４２は、緊急モードを解除する。具体的には、符号量制御部１４２は、直交変換部１１４、イントラ予測部１２５、および、モード判定部１２７に、緊急モードの解除を指令する。これにより、直交変換部１１４、イントラ予測部１２５、および、モード判定部１２７は、緊急モード時の動作を停止し、通常の動作を再開する。
【００９０】
その後、処理はステップＳ２１に戻り、ステップＳ２１以降の処理が実行される。
【００９１】
ステップＳ２７において、緊急モード中でないと判定された場合、処理はステップＳ２１に戻り、ステップＳ２１以降の処理が実行される。
【００９２】
以上のように、１ピクチャあたりの符号量が所定の上限値を超えそうであると判定された場合、所定の周波数成分の変換係数の０への置き換え、適用するイントラ予測モードの制限、または、適用するインター予測モードの制限を行うことにより、より確実に符号量を上限値以下に抑えることができる。
【００９３】
また、所定の周波数成分の変換係数の０への置き換え、適用するイントラ予測モードの制限、および、適用するインター予測モードの制限は、緊急モード時にしか行われないため、不必要に画質が劣化することが防止される。
【００９４】
なお、以上の説明では、緊急モード時に、ステップＳ２４乃至Ｓ２６の処理を全て行う例を示したが、１つまたは２つのステップの処理のみを行うようにしてもよい。
【００９５】
また、ターゲットビットの値、マクロブロックが属するスライスの種類などに基づいて、上述したように、ステップＳ２４乃至Ｓ２６の各ステップ内において実行する処理の選択を行うだけではなく、ステップＳ２４乃至Ｓ２６のうち実際に実行するステップを選択するようにしてもよい。例えば、予め定められている１ピクチャあたりの符号量に関する閾値をTh11、Th12、Th13（ただし、Th11＜Th12＜Th13）とした場合、Th11＜T−Θ＜Th12であるとき、ステップＳ２５において、イントラ予測モードをDCモードに制限するようにし、Th2≦T−Θ＜Th3であるとき、ステップＳ２５において、イントラ予測モードをIntra16x16モードに制限するようにし、Th3≧T−Θであるとき、ステップＳ２４において、所定の周波数成分の変換係数を０に置き換えるようにしてもよい。
【００９６】
さらに、図３のステップＳ２２の判定処理は、上述した例に限定されるものではなく、ターゲットビット以外の値に基づいて、判定処理を行うようにしてもよい。
【００９７】
なお、以上の説明では、H.264／AVC方式により符号化を行う例を示したが、本発明は、例えば、MPEG-4（Moving Picture Coding Experts Group phase4）など他の符号化方式により符号化を行う場合にも適用できる。
【００９８】
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【００９９】
図４は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータ３００の構成の例を示すブロック図である。CPU（Central Processing Unit）３０１は、ROM（Read Only Memory）３０２、または記録部３０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）３０３には、CPU３０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU３０１、ROM３０２、およびRAM３０３は、バス３０４により相互に接続されている。
【０１００】
CPU３０１にはまた、バス３０４を介して入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、キーボード、マウス、マイクロホンなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７が接続されている。CPU３０１は、入力部３０６から入力される指令に対応して各種の処理を実行する。そして、CPU３０１は、処理の結果を出力部３０７に出力する。
【０１０１】
入出力インタフェース３０５に接続されている記録部３０８は、例えばハードディスクからなり、CPU３０１が実行するプログラムや各種のデータを記憶する。通信部３０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【０１０２】
また、通信部３０９を介してプログラムを取得し、記録部３０８に記憶してもよい。
【０１０３】
入出力インタフェース３０５に接続されているドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記録部３０８に転送され、記憶される。
【０１０４】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図４に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１１、または、プログラムが一時的もしくは永続的に格納されるROM３０２や、記録部３０８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部３０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【０１０５】
なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１０６】
さらに、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である
【符号の説明】
【０１０７】
１０１  画像処理装置，  １１４  直交変換部，  １１５  量子化部，  １１８  レート制御部，  １１９  緊急モード制御部，  １２５  イントラ予測部，  １２６  動き予測・補償部，  １２７  モード判定部，  １４１  緊急モード判定部，  １４２  符号量制御部
【図１】
2010233263.tif 000003
【図２】
2010233263.tif 000004
【図３】
2010233263.tif 000005
【図４】
2010233263.tif 000006