(57)【要約】【課題】  画質の劣化を伴うことなく処理量を低減することができる動画像符号化装置を提供する。【解決手段】  符号化対象ブロックに隣接した符号化済みブロックで選択された符号化モードに基づいて、符号化対象ブロックで選択される可能性の低い符号化モードを判定し、選択される可能性の低い符号化モードについては、処理を制限する。【選択図】  図３
2009141622.tif 000002
【特許請求の範囲】
【請求項１】
動画像を構成するフレームを複数のブロックに分割し、ブロック毎にイントラ予測もしくはインター予測を選択して予測符号化を行う動画像符号化装置において、
符号化対象ブロックに隣接している符号化済みのブロックのうち、イントラ予測を選択したブロック数とインター予測を選択したブロック数を取得する計数手段と、
前記計数手段によって取得されたイントラ予測を選択したブロック数とインター予測を選択したブロック数のどちらか、もしくは両方の値に応じて、前記符号化対象ブロックに対するインター予測の処理単位の少なくとも１つは実行しないようインター予測を制限する制御手段とを有することを特徴とする動画像符号化装置。
【請求項２】
前記制御手段は、前記計数手段によって取得されたイントラ予測を選択したブロック数が所定の閾値よりも多い場合には、前記符号化対象ブロックに対するインター予測の処理単位の少なくとも１つは実行しないようインター予測を制限することを特徴とする請求項１に記載の動画像符号化装置。
【請求項３】
前記制御手段は、前記計数手段によって取得されたイントラ予測を選択したブロック数からインター予測を選択したブロック数を差し引いた値が所定の閾値よりも多い場合には、前記符号化対象ブロックに対するインター予測の処理単位の少なくとも１つは実行しないようインター予測を制限することを特徴とする請求項１に記載の動画像符号化装置。
【請求項４】
前記制御手段は、前記符号化対象ブロックに隣接している符号化済みブロックのうち、全ての符号化済みブロックがイントラ予測を選択した場合には、前記符号化対象ブロックに対するインター予測の処理単位の少なくとも１つは実行しないようインター予測を制限することを特徴とする請求項１に記載の動画像符号化装置。
【請求項５】
動画像を構成するフレームを複数のブロックに分割し、ブロック毎にイントラ予測もしくはインター予測を選択して予測符号化を行う動画像符号化装置において、
符号化対象ブロックに隣接している符号化済みのブロックに対して当該符号化対象ブロックとの位置関係に応じて点数を付与し、前記符号化対象ブロックに隣接している符号化済みのブロックのうち、イントラ予測が選択されたブロックの点数を合計した評価値を取得する評価値取得手段と、
前記評価値取得手段によって取得された評価値が所定の閾値以上である場合には、前記符号化対象ブロックに対するインター予測の処理単位の少なくとも１つは実行しないようインター予測を制限する制御手段とを有することを特徴とする動画像符号化装置。
【請求項６】
前記符号化対象ブロックに隣接している符号化済みのブロックの処理単位を判定する処理単位判定手段を更に有し、
前記制御手段は、前記処理単位判定手段によって判定した、全ての隣接ブロックの処理単位が所定の処理単位である場合にも、前記符号化対象ブロックに対するインター予測の処理単位を制限することを特徴とする請求項１乃至請求項５のいずれか１項に記載の動画像符号化装置。
【請求項７】
前記符号化対象ブロックに隣接している符号化済みのブロックの動きベクトルの大きさを判定する動きベクトル判定手段を更に有し、
前記制御手段は、前記動きベクトル判定手段によって判定された全ての隣接ブロックの動きベクトルが所定の閾値よりも大きい場合には、前記符号化対象ブロックに対するインター予測の処理単位を制限するとともに、前記符号化対象ブロックの動き探索の範囲を外側に限定するようにインター予測を制限することを特徴とする請求項１乃至請求項５のいずれか１項に記載の動画像符号化装置。
【請求項８】
前記符号化対象ブロックに隣接している符号化済みのブロックの動きベクトルの向きと大きさによって符号化済みのブロックのばらつきを判定するばらつき判定手段を更に有し、
前記制御手段は、前記ばらつき判定手段によって前記符号化対象ブロックに隣接している符号化済みのブロックの動きベクトルがばらついていると判定された場合にも、前記符号化対象ブロックに対するインター予測の処理単位を制限することを特徴とする請求項１乃至請求項５のいずれか１項に記載の動画像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はイントラ符号化処理およびインター符号化処理を選択的に実行する動画像符号化装置に関する。
【背景技術】
【０００２】
動画像符号化技術では、動画像を構成するフレームをブロックに分割し、ブロック毎に多数の符号化モードの中から最適なモードを選択して符号化することによって、高い符号化効率を実現している。
【０００３】
動画像符号化技術の１つであるＨ．２６４では、ブロック毎にフレーム間の画素の相関を利用したインター予測、もしくはフレーム内の画素の相関を利用したイントラ予測によって予測符号化される。インター予測では、複数の参照フレームから最適な参照フレームを選択して、細かな画素精度での動き補償を行う。そして、動き補償の処理単位は、複数種類（１６×１６画素、１６×８画素、８×１６画素、８×８画素、８×４画素、４×８画素、４×４画素の７種類）用意されており、ブロック毎に最適な処理単位を選択するため、より符号化効率の高い予測を行うことができる。一方、イントラ予測では、符号化対象ブロックの近傍の符号化済みの画素を用いて予測を行う。予測画像生成の処理単位は、４×４画素および１６×１６画素を選択することができ、４×４画素単位の場合は９種類の予測方向が、また１６×１６画素単位の場合は４種類の予測方向がそれぞれあり、この中から最適な予測方向によって予測を行うため、符号化対象ブロックの絵柄に合った予測を行うことができる。
【０００４】
以上のように、多数の選択肢の中から適切な方法によって予測が行われることによって、符号化効率を高めることができる。したがって、ブロックごとに符号化モードの適切な選択を行うことは重要であり、符号化モード選択に関する技術が提案されている。例えば特許文献１では、画素ブロックごとに符号化モードの選択を行うときに、各符号化モードについて、符号化を行ってみて、符号量が最小の符号化モードを選択する方法が提案されている。
【特許文献１】特開平９−３２２１７６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の発明では、選択可能な符号化モードごとに、実際に符号化して発生符号量を計測しなければならず、符号化に必要な処理量が多くなる。このため、例えばモバイル機器のように処理能力が比較的低いプロセッサを有する機器で、リアルタイムエンコードを行う場合には適さない。そこで本発明は、画質の劣化を伴うことなく処理量を低減することができる動画像符号化装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明による動画像符号化装置は、動画像を構成するフレームを複数のブロックに分割し、ブロック毎にイントラ予測もしくはインター予測を選択して予測符号化を行う動画像符号化装置において、符号化対象ブロックに隣接している符号化済みのブロックのうち、イントラ予測を選択したブロック数とインター予測を選択したブロック数を取得する計数手段と、前記計数手段によって取得されたイントラ予測を選択したブロック数とインター予測を選択したブロック数のどちらか、もしくは両方の値に応じて、前記符号化対象ブロックに対するインター予測の処理単位の少なくとも１つは実行しないようインター予測を制限する制御手段とを有することを特徴としている。
【発明の効果】
【０００７】
本発明によれば、画質の劣化を伴うことなく処理量を低減することができる動画像符号化装置を提供することができる。
【発明を実施するための最良の形態】
【０００８】
以下、本発明の実施形態について図面を参照して説明する。
【０００９】
図１は、本発明に係る動画像符号化装置の構成を示すブロック図である。この動画像符号化装置は、例えば携帯電話機やパーソナルコンピュータによって構成される。なお、動画像符号化装置が携帯電話機やパーソナルコンピュータの場合には、表示部や操作部などが含まれるが、本発明の説明には必要としないため、図１のブロック図には、構成要素として示していない。
【００１０】
動画像符号化装置１は、画像入力部１０、符号化部２０、出力部３０を含む。画像入力部１０は、カメラなどから成り、動画像を取得する。画像入力部１０によって取得された動画像は符号化部２０に送られて符号化される。この符号化された動画像は、出力部３０によって通信回線などを介して外部に出力される。
【００１１】
なお、符号化部２０は、符号化の処理動作を制御する制御部２１と、制御部２１による制御に従って、動画像の符号化処理を行う処理部２２から構成される。
【００１２】
図２は処理部２２の内部の概略構成を示す図である。処理部２２は、演算部２２０、ＤＣＴ（離散コサイン変換）・量子化部２２１、エントロピー符号化部２２２、逆ＤＣＴ・逆量子化部２２３、演算部２２４、デブロッキングフィルタ２２５、フレームメモリ２２６、インター予測部２２７、イントラ予測部２２８、および切替え部２２９を有している。
【００１３】
演算部２２０は、切換え部２２９から出力された予測信号と、画像入力部１１を介して入力された画像から求めた画像フレーム信号である入力信号との差分を求める演算を行う。そして、求められた差分は差分信号として後続する処理のために出力される。
【００１４】
ＤＣＴ・量子化部２２１は、演算部２２０から出力された差分信号に対してＤＣＴ処理を施してＤＣＴ係数を求めるとともに、このＤＣＴ係数を量子化して量子化係数を求める。
【００１５】
エントロピー符号化部２２２は、ＤＣＴ・量子化部２２１から出力された量子化係数に対してエントロピー符号化処理を施す。このエントロピー符号化としては、例えば、コンテキスト適応型可変長符号化方式やコンテキスト適応型２値算術符号化方式が用いられる。
【００１６】
一方、ＤＣＴ・量子化部２２１から出力された量子化係数は、逆量子化・逆ＤＣＴ部２２３にも入力される。逆量子化・逆ＤＣＴ部２２３では、入力された量子化係数に対して逆量子化処理を行ってＤＣＴ係数を復元するとともに、このＤＣＴ係数に対して逆ＤＣＴ処理を行って差分信号を復元する。
【００１７】
演算部２２４は、逆量子化・逆ＤＣＴ部２２３から出力された差分信号と演算部２２０に入力された予測信号とを用いて画像フレーム信号を復元する。そして、この復元された画像フレーム信号は、デブロッキングフィルタ２２５を介してフレームメモリ２２６に記憶され、後のインター予測に利用される。
【００１８】
デブロッキングフィルタ２２５は、演算部２２４の出力である復元された画像フレーム信号に対してデブロッキング処理を行い、符号化処理の単位であるブロック間に生じた歪みを低減する処理を行う。
【００１９】
インター予測部２２７は、入力信号（画像フレーム信号）とフレームメモリ２２６に記憶されている復元された過去の画像フレーム信号とから、インター予測での圧縮効率を示すインター予測評価値を求め、また、フレームメモリ２２６に記憶されている画像フレーム信号から切り出した部分画像フレーム信号をインター予測信号として出力する。なお、インター予測での動き補償の処理単位は、複数種類（例えば、１６×１６画素、１６×８画素、８×１６画素、８×８画素）用意されており、インター予測信号として出力されるのは、最適な処理単位によって処理されたものである。
【００２０】
イントラ予測部２２８は、入力された１つの画像フレーム信号を構成するブロック間の相関関係を利用して圧縮処理を行うための予測を行うもので、符号化対象のブロックとこのブロックに隣接したブロックから求めたイントラ予測信号と、このイントラ予測での圧縮効率を示すイントラ予測評価値を出力する。イントラ予測では、前述のとおり４×４画素単位と１６×１６画素単位とがあり、それぞれ複数の予測方向がある。イントラ予測部２２８から出力されるイントラ予測信号とイントラ予測評価値は、これら多数の種類のイントラ予測のうち、最適なものが出力される。
【００２１】
そして、切替え部２２９は、制御部２１の指示に従い、入力信号である画像フレーム信号を構成するブロックに対し、インター符号化を行わせるインター予測モードと、イントラ符号化を行わせるイントラ予測モードとの切り替えを行う。切り替え部２２９によって選択されたモードによって予測された画像信号は、演算部２２０と演算部２２４とに入力される。
【００２２】
以上のような構成を有する動画像符号化装置１の制御部２１がインター予測部２２７およびイントラ予測部２２８を制御するときの処理について図３を用いて説明する。
【００２３】
制御部２１は、符号化対象のブロックに隣接している符号化済みのブロックの符号化モードの偏りを評価値として求める（Ｓ１０）。ここで、符号化対象ブロックに隣接している符号化済みのブロックとは、図４に示すように、符号化対象のブロックの左（Ａ）、左上（Ｂ）、上（Ｃ）、右上（Ｄ）のブロックである。なお、以降ではこれらのブロックを隣接ブロックと称する。
【００２４】
また、隣接ブロックの符号化モードの偏りは、イントラ予測が用いられた隣接ブロックが多いかインター予測が用いられた隣接ブロックが多いかを表すものであり、例えば、イントラ予測が用いられた隣接ブロックの個数を用いて表すことができる。
【００２５】
これ以外にも、インター予測が用いられた隣接ブロックの個数、イントラ予測が選択された隣接ブロック数とインター予測が選択された隣接ブロック数との個数差、または、全ての隣接ブロックのうちイントラ予測（もしくはインター予測）が選択された隣接ブロックの割合を用いて表すこともできる。
【００２６】
更に、隣接ブロックの位置ごとに点数付けを行い、イントラ予測が選択された隣接ブロックの点数の合計によって隣接ブロックの符号化モードの偏りを求めても良い。例えば、当該ブロックからのガウス関数での距離が近いブロックに重みをつけることによって、距離の近いブロックほど当該ブロックの符号化モード選択に与える影響を強くすることができる。また、重み付けを行う際には、左側のブロックの重みの合計と上側のブロックの重みの合計を均等となるように点数付けを行えば、左側のブロックからの相関と上側からのブロックの相関のバランスを取ることができる。なお、コンテンツに縦方向の相関や横方向の相関があることが事前に分かっているならば、左側もしくは上側の重みを均等にしないように設定しても良い。
【００２７】
以上のような重み付けを行うと、例えば、符号化対象ブロックの左のブロックが４点、左上のブロックが２点、上のブロックが３点、右上のブロックが１点となる。この場合、左側＝左（４点）＋左上（２点）＝６点、上側＝左上（２点）＋上（３点）＋右上（１点）＝６点であり、左側＝上側となるように重み付けされている。また、当該ブロックからのガウス関数での距離が近い、左のブロックと上のブロックが、左上や右上のブロックよりも重く設定されている。
【００２８】
なお、このようなブロックごとの重み付けの点数の組を複数用意しておき、直前のフレームの符号量などに応じて、用いる重み付けの点数の組を切替えても良い。例えば、直前のフレームの発生符号量が多い場合には、当該フレームがシーンチェンジである可能性が低くなるため、低い点数の重み付けを用いるようにしてもよい。
【００２９】
このように求められた評価値を用いて、制御部２１は評価値と所定の閾値との比較を行い、イントラ予測に偏っているか判定する（Ｓ１１）。閾値の決め方については、後述する。なお、図３のフローチャートでは、「評価値＞閾値」の場合に隣接ブロックの符号化モードがイントラ予測に偏っていると判定しているが、評価値の決め方（イントラ予測の個数を評価値とするか、インター予測の個数を評価値とするか）や閾値の設定値に応じて、「評価値＜閾値」によって判定する場合も考えられるし、「評価値＞＝閾値」によって判定する場合も考えられるし、「評価値＜＝閾値」によって判定することも考えられる。
【００３０】
ステップＳ１１で隣接ブロックの符号化モードがイントラ予測に偏っていないと判定された場合（Ｓ１１のＮｏ）、制御部２１は、インター予測部２２７を制御して、インター予測を実行させて、インター予測信号およびインター予測評価値を出力させる。このときのインター予測の処理単位は、符号化開始時に指定された全ての処理単位（例えば、１６×１６画素、８×８画素、８×１６画素、１６×８画素）である（Ｓ１２）。
【００３１】
これに対して、ステップＳ１１で隣接ブロックの符号化モードがイントラ予測に偏っていると判定された場合（Ｓ１１のＹｅｓ）、符号化対象ブロックに対しても、インター予測が選択される可能性が低い。そこで、制御部２１はインター予測部２２７を制御してインター予測を行い、インター予測信号およびインター予測評価値を出力させるが、このときのインター予測の処理単位は、隣接ブロックの符号化モードがイントラ予測に偏っていない場合に実行されるインター予測処理単位の種類よりも少ない種類に制限する（Ｓ１３）。インター予測処理単位の種類を制限した場合、例えば、１６×１６画素の１種類の処理単位のみにインター予測を制限する。図３のステップＳ１３では、処理単位を制限したインター予測の例として処理単位を１６×１６画素の１種類のみに制限してインター予測を行う場合を示しているが、１６×１６画素に限らず、８×８画素のみに制限しても良いし、８×１６画素と１６×１６画素の２種類のみに制限してもよい。使用できる処理単位の組み合わせで任意に設定することができる。
【００３２】
そして、制御部２１は、イントラ予測部２８を制御して、符号化済みである隣接ブロックの画素値を用いて符号化対象ブロックに対してイントラ予測を行い、イントラ予測信号とイントラ予測評価値を出力させる（Ｓ１４）。
【００３３】
その後、制御部２１は、ステップＳ１２またはステップＳ１３で得られたインター予測評価値とステップＳ１４で得られたイントラ予測評価値を用いて、予測精度がより高い符号化対象ブロックの符号化モードは、イントラ予測とインター予測のどちらであるか判定を行う（Ｓ１５）。また、判定結果に基づいて、切替え部２９９を制御する。
【００３４】
以上のように、符号化対象ブロックに対してインター予測が選択される可能性が低い場合には、符号化対象ブロックのインター予測ブロック形状の種類を制限することで、処理量を削減することができる。
【００３５】
なお、図３のステップＳ１０において、隣接ブロックの符号化モードを評価しているが、当該ブロックの位置によっては、隣接ブロックの一部が無い場合があるため、隣接ブロックの一部が無い場合には、インター予測の制限処理やそのための評価（ステップＳ１０とＳ１１）を行わずに、ステップＳ１２によってインター予測を行う。
【００３６】
また、図３のステップＳ１１において、隣接ブロックがイントラ予測に偏っているかどうかを判定するために所定の閾値と評価値との比較を行っているが、この閾値は、例えば、隣接ブロックが全てイントラ予測のときにイントラ予測に偏っていると判定するように設定する。このような閾値設定を行うことによって、イントラ予測に偏っていると判定する頻度を抑え、インター予測モードが制限されすぎることによる画質性能の劣化を防止することができる。このように、閾値によってインター予測モードの制限具合を調整することができるため、処理量を削減しながらも、画質性能は維持することができる。
【００３７】
また、隣接ブロックの符号化モードだけでなく、隣接ブロックの動きベクトル量や処理単位の大小によって、インター予測モードを制限しても良い。動き検出は、基本的に等速直線運動を仮定しているため、符号化対象ブロックは隣接ブロックと同じ動きベクトル量や処理単位を選択する可能性が高い。そこで、符号化対象ブロックに対してインター予測を行うときの処理単位や動き探索の探索範囲を制限することができる。例えば、全ての隣接ブロックの処理単位が１６×１６の場合（処理単位が大きい場合）には、符号化対象ブロックのインター予測の処理単位から、８×８の処理単位（小さい処理単位）を除外しても良いし、全ての隣接ブロックの処理単位が８×８の場合（処理単位が小さい場合）には、符号化対象ブロックのインター予測の処理単位から、１６×１６の処理単位（大きい処理単位）を除外しても良い。また例えば、全ての隣接ブロックの動きベクトルが大きい場合には、動き探索の探索範囲を外側（動きベクトルが大きい探索範囲）だけに制限しても良いし、全ての隣接ブロックの動きベクトルが小さい場合には、動き探索の探索範囲を内側（動きベクトルが小さい探索範囲）だけに制限しても良い。
【００３８】
更に、符号化対象ブロックに隣接しているブロックの動きベクトルが大きい場合は、動いている物体自体が大きいか、画面全体が動いていると予測することができる。そこで、全ての隣接ブロックの動きベクトルが大きい場合には、隣接ブロックの処理単位にかかわらず、大きい処理単位に限定してインター予測を行っても良い。
【００３９】
更にまた、隣接ブロックの動きベクトルがばらついている場合には、インター予測の処理単位を制限（例えば、１６×１６だけや、８×８だけにする）しても良い。これは、隣接ブロックの動きベクトルがばらついているブロックは、動き予測で追従できずに、イントラ予測が選択されやすいブロックである可能性が高いためである。
【００４０】
以上のように、符号化対象ブロックに隣接しているブロックの符号化モードを用いて、符号化対象ブロックのインター予測の処理単位を制限することによって、性能劣化を抑えつつ処理量を削減することができる。また、インター予測の処理単位を制限する条件として、隣接ブロックの符号化モードだけでなく、隣接ブロックの動きベクトル量や処理単位の大小などを用いることによって、更に処理量を削減することも可能となる。
【００４１】
なお、上記実施形態に限定されることはなく、本発明の要旨を逸脱しない範囲において、適宜変更しても良い。
【図面の簡単な説明】
【００４２】
【図１】本発明の実施形態に係る動画像符号化装置の構成を示すブロック図。
【図２】本発明の実施形態に係る動画像符号化装置の、処理部２２の内部構成を示す図。
【図３】本発明の実施形態に係る動画像符号化装置の処理を示すフローチャート。
【図４】符号化対象ブロックに隣接する符号化済みブロックを説明するための図。
【符号の説明】
【００４３】
１  動画像符号化装置、１０  画像入力部、２０  符号化部、３０  出力部、２１  制御部、２２  処理部、２２０  演算部、２２１  ＤＣＴ・量子化部、２２２  エントロピー符号化部、２２３  逆ＤＣＴ・逆量子化部、２２４  演算部、２２５  出ブロッキングフィルタ、２２６  フレームメモリ、２２７  インター予測部、２２８  イントラ予測部、２２９  切替え部
【図１】
2009141622.tif 000003
【図２】
2009141622.tif 000004
【図３】
2009141622.tif 000005
【図４】
2009141622.tif 000006