(57)【要約】【課題】符号化対象画像における動きベクトルの符号量をより小さくし、符号化対象画像全体としての符号化データの量をより小さくする。【解決手段】符号長累算部１３によって、第１および第２のｆコードにそれぞれ対応する第１および第２の動きベクトルについて、第１および第２のｆコードで符号化したときの、符号化対象画像の１画像分の符号長が、第１および第２の符号長総和として得られる。これら符号長総和は、判定部１４によって、その大小が比較され、いずれか小さい方に対応するｆコードおよび動きベクトルが、符号化に用いるべきものとして判定される。これにより、動きベクトルの符号量をより小さくするｆコードおよび動きベクトルを選択することができ、符号化画像全体としての符号化データの量を削減することができる。【選択図】　図１
2004120319.tif 000002
【特許請求の範囲】
【請求項１】
符号化対象画像における複数の画素ブロックのそれぞれについて、参照画像の参照探索範囲内で動きベクトルを検出し、この動きベクトルおよび前記参照探索範囲に対応するｆコードを用いて前記符号化対象画像の符号化を行う画像符号化装置であって、
前記複数の画素ブロックのそれぞれについて、第１のｆコードに対応する第１の参照探索範囲内で第１の動きベクトルを検出するとともに、第２のｆコードに対応し、前記第１の参照探索範囲よりも広い第２の参照探索範囲内で第２の動きベクトルを検出する動きベクトル検出部と、
前記第１の動きベクトルのそれぞれを前記第１のｆコードで符号化したときの符号長を累算し、第１の符号長総和を得るとともに、前記第２の動きベクトルのそれぞれを前記第２のｆコードで符号化したときの符号長を累算し、第２の符号長総和を得る符号長累算部と、
前記第１および第２の符号長総和に基づいて、当該符号化に用いるべきｆコードおよび動きベクトルを判定する判定部とを備えた
ことを特徴とする画像符号化装置。
【請求項２】
請求項１に記載の画像符号化装置において、
前記動きベクトル検出部によって検出された前記第１および第２の動きベクトルを記憶する記憶部と、
前記第１および第２の動きベクトルのうち前記判定部によって当該符号化に用いるべきものとして判定された方を、前記記憶部から選択して取り出す選択部とを備えた
ことを特徴とする画像符号化装置。
【請求項３】
請求項１に記載の画像符号化装置において、
前記判定部は、前記第１の符号長総和と前記第２の符号長総和とを比較し、いずれか小さい方に対応するｆコードおよび動きベクトルを、当該符号化に用いるべきものとして判定する
ことを特徴とする画像符号化装置。
【請求項４】
請求項１に記載の画像符号化装置において、
前記符号長累算部は、前記第１の動きベクトルのそれぞれを前記第２のｆコードで符号化したときの符号長を累算し、第３の符号長総和を得るものであり、
前記判定部は、前記第１から第３の符号長総和のうち最小のものを検出し、この最小のものに対応するｆコードおよび動きベクトルを、当該符号化に用いるべきものとして判定するものである
ことを特徴とする画像符号化装置。
【請求項５】
請求項１に記載の画像符号化装置において、
前記動きベクトル検出部は、前記複数の画素ブロックのそれぞれについて、前記第２の参照探索範囲内での最小類似距離と所定の閾値とを比較し、この最小類似距離の方が大きいとき、当該画素ブロックについての前記第２の動きベクトルを、前記第１の参照探索範囲内で検出する
ことを特徴とする画像符号化装置。
【請求項６】
請求項１に記載の画像符号化装置において、
前記動きベクトル検出部は、
前記複数の画素ブロックのそれぞれについて、前記第１の参照探索範囲内での第１の最小類似距離、および前記第２の参照探索範囲内での第２の最小類似距離を出力するものであり、
当該画像符号化装置は、
前記第１の最小類似距離のそれぞれを累算して第１の類似距離総和を得るとともに、前記第２の最小類似距離のそれぞれを累算して第２の類似距離総和を得る類似距離累算部を備え、
前記判定部は、前記第１の符号長総和と前記第１の類似距離総和とを重み付け加算し、第１の線形和を得るとともに、前記第２の符号長総和と前記第２の類似距離総和とを重み付け加算し、第２の線形和を得、前記第１の線形和と前記第２の線形和とを比較し、いずれか小さい方に対応するｆコードおよび動きベクトルを、当該符号化に用いるべきものとして判定するものである
ことを特徴とする画像符号化装置。
【請求項７】
符号化対象画像における複数の画素ブロックのそれぞれについて、参照画像の参照探索範囲内で動きベクトルを検出し、この動きベクトルおよび前記参照探索範囲に対応するｆコードを用いて前記符号化対象画像の符号化を行う画像符号化装置であって、
前記複数の画素ブロックのそれぞれについて、第１のｆコードに対応する第１の参照探索範囲内で第１の動きベクトルを検出する動きベクトル検出部と、
前記第１の動きベクトルのそれぞれを前記第１のｆコードで符号化したときの符号長を累算し、第１の符号長総和を得るとともに、前記第１の動きベクトルのそれぞれを前記第１の参照探索範囲よりも広い第２の参照探索範囲に対応する第２のｆコードで符号化したときの符号長を累算し、第２の符号長総和を得る符号長累算部と、
前記第１の符号長総和と前記第２の符号長総和とを比較し、いずれか小さい方に対応するｆコードを、当該符号化に用いるべきものとして判定する判定部とを備えた
ことを特徴とする画像符号化装置。
【請求項８】
符号化対象画像における複数の画素ブロックのそれぞれについて、参照画像の参照探索範囲内で動きベクトルを検出し、この動きベクトルおよび前記参照探索範囲に対応するｆコードを用いて前記符号化対象画像の符号化を行う画像符号化方法であって、
前記複数の画素ブロックのそれぞれについて、第１のｆコードに対応する第１の参照探索範囲内で第１の動きベクトルを検出する第１の動きベクトル検出ステップと、
前記複数の画素ブロックのそれぞれについて、第２のｆコードに対応し、前記第１の参照探索範囲よりも広い第２の参照探索範囲内で第２の動きベクトルを検出する第２の動きベクトル検出ステップと、
前記第１の動きベクトルのそれぞれを前記第１のｆコードで符号化したときの符号長を累算し、第１の符号長総和を得る第１の符号長累算ステップと、
前記第２の動きベクトルのそれぞれを前記第２のｆコードで符号化したときの符号長を累算し、第２の符号長総和を得る第２の符号長累算ステップと、
前記第１および第２の符号長総和に基づいて、当該符号化に用いるべきｆコードおよび動きベクトルを判定する判定ステップとを有する
ことを特徴とする画像符号化方法。
【請求項９】
請求項８に記載の画像符号化方法において、
前記判定ステップは、前記第１の符号長総和と第２の符号長総和とを比較し、いずれか小さい方に対応するｆコードおよび動きベクトルを、当該符号化に用いるべきものとして判定する
ことを特徴とする画像符号化方法。
【請求項１０】
請求項８に記載の画像符号化方法において、
前記第１の動きベクトルのそれぞれを前記第２のｆコードで符号化したときの符号長を累算し、第３の符号長総和を計算する第３の符号長累算ステップを有し、
前記判定ステップは、前記第１から第３の符号長総和のうち最小のものを検出し、この最小のものに対応するｆコードおよび動きベクトルを、当該符号化に用いるべきものとして判定する
ことを特徴とする画像符号化方法。
【請求項１１】
請求項８に記載の画像符号化方法において、
前記複数の画素ブロックのそれぞれについて、前記第２の参照探索範囲内での最小類似距離と所定の閾値との大小を判定する類似距離判定ステップを有し、
前記第２の動きベクトル検出ステップは、前記類似距離判定ステップによって前記最小類似距離が前記所定の閾値よりも大きいと判定されたとき、当該画素ブロックについての前記第２の動きベクトルを、前記第１の参照探索範囲内で検出する
ことを特徴とする画像符号化方法。
【請求項１２】
請求項８に記載の画像符号化方法において、
前記複数の画素ブロックのそれぞれについて、前記第１の参照探索範囲内での第１の最小類似距離を累算し、第１の類似距離総和を得る第１の類似距離累算ステップと、
前記複数の画素ブロックのそれぞれについて、前記第２の参照探索範囲内での第２の最小類似距離を累算し、第２の類似距離総和を得る第２の類似距離累算ステップと、
前記第１の符号長総和と前記第１の類似距離総和とを重み付け加算し、第１の線形和を得る第１の線形和算出ステップと、
前記第２の符号長総和と前記第２の類似距離総和とを重み付け加算し、第２の線形和を得る第２の線形和算出ステップとを有し、
前記判定ステップは、前記第１の線形和と前記第２の線形和とを比較し、いずれか小さい方に対応するｆコードおよび動きベクトルを、当該符号化に用いるべきものとして判定する
ことを特徴とする画像符号化方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像符号化技術に関するものであり、特に、動きベクトルの検出技術に属する。
【０００２】
【従来の技術】
動画像データを伝送・蓄積する際、伝送帯域幅や蓄積容量を縮小する目的で圧縮（符号化）処理が施される。動画像の符号化方式の国際標準として、Ｈ．２６１、ＭＰＥＧ１、ＭＰＥＧ２などが知られている。これらの符号化方式は、動きベクトル検出および動き補償、ＤＣＴ（離散コサイン変換）、量子化、ジグザグスキャン、ＶＬＣ（可変長符号化）などを組み合せたものである。以下、ＭＰＥＧ２を例に、動きベクトルの符号化について図面を参照しながら説明する。
【０００３】
図７は、動きベクトルの概念を示す。動きベクトルＭＶは、同図（ａ）に示した符号化対象画像Ｐ０における１６×１６の画素からなるマクロブロック（入力ブロックＭＢ０）と、同図（ｂ）に示した参照画像Ｐ１の参照探索範囲における複数のマクロブロック（候補ブロックＭＢ１）のうち、入力ブロックＭＢ０との類似距離が最小になるものとの相対位置を示すベクトルである。類似距離とは、２つのマクロブロック間の類似の度合いを示すものであり、たとえば、マクロブロック同士における各画素データの差の絶対値和や二乗和などによって得られるものである。
【０００４】
動きベクトルの大きさ｜ＭＶ｜は、次式によって表される。
｜ＭＶ｜＝（｜ｍｃ｜−１）×Ｆ＋ｍｒ＋１
（ただし、Ｆ＝２（ｆｃ−１））
上式において、ｆｃはｆコードを表す。ｆコードは、参照画像において、入力ブロックを中心とする参照探索範囲の大きさを決定する。図７（ｂ）には、例として、第１のｆコードに対応する第１の参照探索範囲Ｒ１と、第２のｆコードに対応する第２の参照探索範囲Ｒ２とが示されている。ここで、第２のｆコードの値は第１のｆコードの値よりも大きい。すなわち、ｆコードが大きくなるに従って参照探索範囲が拡がる。
【０００５】
また、上式において、ｍｃはモーション・コードを表す。モーション・コードは、変数Ｆの係数であり、−１６から＋１６までの整数値をとる。また、ｍｒはモーション・レジデュアルを表す。モーション・レジデュアルは、上式において剰余に相当する。したがって、変数Ｆの符号長が増大するに従って、モーション・レジデュアルの符号長もまた増大する。すなわち、ｆコードが増加するに従って、モーション・レジデュアルの符号長が増大し、動きベクトルを表現する符号量が増大する。
【０００６】
動きベクトルの符号量の増大は、符号化される画像全体としての符号化データの量を増大させる要因となり、画質の劣化や圧縮レートの低下などのさまざまな問題を引き起こす。このため、従来の技術では、符号化対象画像におけるすべての動きベクトルを表現し得る最小のｆコードを検出し、この最小のｆコードで動きベクトルの符号化することによって、動きベクトルの符号量の削減を図っている。以下、従来の技術について説明する。
【０００７】
図８は、従来の画像符号化装置の構成を示す。入力ブロックＭＢ０および候補ブロックＭＢ１が動きベクトル検出部１０１に順次与えられ、動きベクトル検出部１０１によって、入力ブロックＭＢ０に対する動きベクトルＭＶが検出される。ここで、参照探索範囲は、画像の種類に応じて仮に決定されたｆコードに対応するものである。たとえば、ＭＰＥＧ２の場合、ＰピクチャやＢピクチャなどよってｆコードが決まっており、一般に、符号化対象画像から時系列的に離れた参照画像のｆコードの値は大きくなる。検出された動きベクトルＭＶは、記憶部１０２によって、符号化対象画像の１画像分が記憶される。一方、最適ｆコード検出部１０３によって、符号化対象画像の１画像分の動きベクトルのうち最大のものを表現し得る最小のｆコード（ｆコードは水平方向および垂直方向ごとにある）が検出される。そして、符号化部１０４によって、検出されたｆコードＦＣを用いて、記憶部１０２から取り出された動きベクトルＭＶの符号化が行われ、符号化データが生成される（たとえば、特許文献１参照）。
【０００８】
【特許文献１】
特開平０９−２８４７７６号公報
【０００９】
【発明が解決しようとする課題】
しかし、従来の技術のように最大の動きベクトルを表現し得る最小のｆコードで動きベクトルを符号化することが、必ずしも動きベクトルの符号量を最小にするとは限らない。以下、この点について説明する。
【００１０】
動きベクトルの符号量は、モーション・レジデュアルの符号長のみで決まるものではなく、モーション・コードの符号長にも左右される。モーション・コードは可変長符号によって表され、その取り得る値（｜ｍｃ｜≦１６）に対応して符号長が増大する。図９は、横軸を動きベクトルの大きさ｜ＭＶ｜としたときの、第１および第２の参照探索範囲におけるそれぞれのモーション・コードの符号長（ｂｉｔ）を示す。なお、第２の参照探索範囲に対応する第１のｆコードの値は、第１の参照探索範囲に対応する第２のｆコードの値よりも“１”だけ大きいものである。したがって、第２の参照探索範囲は、第１の参照探索範囲の２倍の大きさとなっている。
【００１１】
ここで、図１０（ａ）（ｂ）に示すような、ある符号化対象画像に係る動きベクトルの大きさの度数分布について、モーション・コードの符号長総量を考える。なお、モーション・コードの符号長総量は、図９に示されたモーション・コードの符号長に、図１０に示された動きベクトルの度数を乗算して総和を取ったものである。
【００１２】
まず、図１０（ａ）に示す度数分布では、ほとんどの動きベクトルは０付近に分布しており（分布Ａ１）、ごく一部の動きベクトルが、第１の参照探索範囲から外れた第２の参照探索範囲内に分布している（分布Ａ２）。分布Ａ１における動きベクトルを、第１のｆコードで符号化したときのモーション・コードの符号長総量は、第２のｆコードで符号化したものと比べて、大幅に減少するものではない。したがって、動きベクトルが図１０（ａ）のように分布している場合、モーション・コードよりもむしろモーション・レジデュアルの符号長総量の方が動きベクトル全体としての符号量に大きく影響する。
【００１３】
しかし、従来の技術によると、分布Ａ２の存在によって、この符号化対象画像を表現し得る最小のｆコードとして第２のｆコードが選択され、第２のｆコードを用いて動きベクトルの符号化が行われる。このため、第１のｆコードで符号化するよりもモーション・レジデュアルの符号長総量が大きくなり、動きベクトルの符号量を最小化することができないおそれがある。
【００１４】
特に、分布Ａ２における動きベクトルに対応する候補ブロックの類似距離が比較的大きいとき、これら候補ブロックと入力ブロックとの差分データの符号量もまた比較的大きいものとなる。このような候補ブロックは、差分データ自体の量を減らすものではなく、逆に、より大きなｆコードが選択される要因となっている。
【００１５】
一方、図１０（ｂ）に示す度数分布では、動きベクトルがすべて第１の参照探索範囲内で広く分布している。従来の技術によると、動きベクトルの大きさが同図のように分布する場合、第１のｆコードが選択され、第１のｆコードを用いて動きベクトルの符号化が行われる。しかし、同図の場合、第２のｆコードで符号化した方が第１のｆコードで符号化するよりもモーション・コードの符号長総量を大幅に減少することができる。このため、ｆコードの増加に伴うモーション・レジデュアルの符号長の増大を考慮に入れても、あえて第２のｆコードを用いて符号化した方が動きベクトルの符号量を減少することができることがある。
【００１６】
上記の問題に鑑み、本発明は、符号化対象画像における動きベクトルの符号量をより小さくし、符号化対象画像全体としての符号化データの量をより小さくすることが可能な画像符号化装置および画像符号化方法の提供を課題とする。
【００１７】
【課題を解決するための手段】
上記の課題を解決するために本発明が講じた手段は、符号化対象画像における複数の画素ブロックのそれぞれについて参照画像の参照探索範囲内で動きベクトルを検出し、この動きベクトルおよび前記参照探索範囲に対応するｆコードを用いて前記符号化対象画像の符号化を行う画像符号化装置として、前記複数の画素ブロックのそれぞれについて、第１のｆコードに対応する第１の参照探索範囲内で第１の動きベクトルを検出するとともに、第２のｆコードに対応し、前記第１の参照探索範囲よりも広い第２の参照探索範囲内で第２の動きベクトルを検出する動きベクトル検出部と、前記第１の動きベクトルのそれぞれを前記第１のｆコードで符号化したときの符号長を累算して第１の符号長総和を得るとともに、前記第２の動きベクトルのそれぞれを前記第２のｆコードで符号化したときの符号長を累算して第２の符号長総和を得る符号長累算部と、前記第１および第２の符号長総和に基づいて当該符号化に用いるべきｆコードおよび動きベクトルを判定する判定部とを備えたことを特徴とする。
【００１８】
本発明によると、動きベクトル検出部によって、符号化対象画像における複数の画像ブロック（入力ブロック）のそれぞれについて、第１のｆコードに対応する第１の参照探索範囲内で第１の動きベクトルが検出され、また、第２のｆコードに対応し、第１の参照探索範囲よりも広い第２の参照探索範囲内で第２の動きベクトルが検出される。検出された第１および第２の動きベクトルについて、符号長累算部によって、それぞれ、第１および第２のｆコードで符号化したときの符号長が累積され、第１および第２の符号長総和が計算される。そして、これら第１および第２の符号長総和に基づいて、判定部によって、符号化対象画像の符号化に用いるべきｆコードおよび動きベクトルが判定される。このようにして得られたｆコードおよび動きベクトルは、符号化されたときの符号量を最小にするものに他ならない。つまり、本発明によって、動きベクトルの符号量を最小化することができる。
【００１９】
前記画像符号化装置は、前記動きベクトル検出部によって検出された前記第１および第２の動きベクトルを記憶する記憶部と、前記第１および第２の動きベクトルのうち前記判定部によって当該符号化に用いるべきものとして判定された方を、前記記憶部から選択して取り出す選択部とを備えていることが好ましい。
【００２０】
また、前記判定部は、前記第１の符号長総和と前記第２の符号長総和とを比較し、いずれか小さい方に対応するｆコードおよび動きベクトルを、当該符号化に用いるべきものとして判定するものであることが好ましい。
【００２１】
そして、前記符号長累算部は、前記第１の動きベクトルのそれぞれを前記第２のｆコードで符号化したときの符号長を累算し、第３の符号長総和を得るものであり、前記判定部は、前記第１から第３の符号長総和のうち最小のものを検出し、この最小のものに対応するｆコードおよび動きベクトルを、当該符号化に用いるべきものとして判定するものであることが好ましい。
【００２２】
これによると、符号化対象画像の符号化に用いるべきｆコードおよび動きベクトルの判定要件として、第１の参照探索範囲よりも広い第２の参照探索範囲に対応する第２のｆコードで、第１の動きベクトルを符号化したときの符号長の総和（第３の符号長総和）が考慮に入れられる。したがって、検出された第１および第２の動きベクトルが、たとえば、図１０（ｂ）に示すように分布する場合に、符号化対象画像の符号化に用いるべきｆコードおよび動きベクトルとして、第２のｆコードおよび第１の動きベクトルがそれぞれ選択され、動きベクトルの符号量を最小化することができる。
【００２３】
一方、前記動きベクトル検出部は、前記複数の画素ブロックのそれぞれについて、前記第２の参照探索範囲内での最小類似距離と所定の閾値とを比較し、この最小類似距離の方が大きいとき、当該画素ブロックについての前記第２の動きベクトルを、前記第１の参照探索範囲内で検出するものであることが好ましい。これによると、第２の参照探索範囲内での入力ブロックに対する最小類似距離が所定の閾値よりも大きいとき、第２の動きベクトルは、第２の参照探索範囲内ではなく、第１の参照探索範囲内で検出される。ここで、最小類似距離とは、参照探索範囲内の複数の画素ブロック（候補ブロック）のうち、入力ブロックとの類似距離が最小となるものの当該類似距離のことをいう。動きベクトルが、たとえば、図１０（ａ）に示すように分布する場合であって、分布Ａ２に対応する候補ブロックと入力ブロックとの類似距離が所定の閾値よりも大きいようなとき、この分布Ａ２に対応する候補ブロックは無効とされ、第２の動きベクトルは第１の参照探索範囲内で検出される（分布Ａ２´）。したがって、参照探索範囲をより小さくする方向に第２の動きベクトルが検出され、動きベクトルの符号量を最小化することができる。
【００２４】
また、前記動きベクトル検出部は、前記複数の画素ブロックのそれぞれについて、前記第１の参照探索範囲内での第１の最小類似距離、および前記第２の参照探索範囲内での第２の最小類似距離を出力するものであり、前記画像符号化装置は、前記第１の最小類似距離のそれぞれを累算して第１の類似距離総和を得るとともに、前記第２の最小類似距離のそれぞれを累算して第２の類似距離総和を得る類似距離累算部を備え、前記判定部は、前記第１の符号長総和と前記第１の類似距離総和とを重み付け加算し、第１の線形和を得るとともに、前記第２の符号長総和と前記第２の類似距離総和とを重み付け加算し、第２の線形和を得、前記第１の線形和と前記第２の線形和とを比較し、いずれか小さい方に対応するｆコードおよび動きベクトルを、当該符号化に用いるべきものとして判定するものであることが好ましい。
【００２５】
これによると、動きベクトル検出部から、前記複数の画素ブロックのそれぞれについての、前記第１および第２の参照探索範囲内での第１および第２の最小類似距離がそれぞれ出力される。これら第１および第２の最小類似距離は、類似距離累算部によって、それぞれ累積され、第１および第２の類似距離総和が計算される。そして、判定部によって、第１の符号長総和と第１の類似距離総和とが重み付け加算された第１の線形和、および第２の符号長総和と第２の類似距離総和とが重み付け加算された第２の線形和が計算・比較され、いずれか小さい方に対応するｆコードおよび動きベクトルが、当該符号化に用いるべきものとして判定される。類似距離総和は、入力ブロックと候補ブロックとの差分データを符号化したときの符号量と相関関係があり、類似距離総和がより小さい方が、差分データの符号量がより小さくなる。したがって、最小類似距離の累算値をも考慮することにより、符号化対象画像全体としての符号量をより小さくするように、ｆコードおよび動きベクトルを判定することができる。
【００２６】
一方、上記の課題を解決するために本発明が講じた手段は、符号化対象画像における複数の画素ブロックのそれぞれについて参照画像の参照探索範囲内で動きベクトルを検出し、この動きベクトルおよび前記参照探索範囲に対応するｆコードを用いて前記符号化対象画像の符号化を行う画像符号化装置として、前記複数の画素ブロックのそれぞれについて、第１のｆコードに対応する第１の参照探索範囲内で第１の動きベクトルを検出する動きベクトル検出部と、前記第１の動きベクトルのそれぞれを前記第１のｆコードで符号化したときの符号長を累算して第１の符号長総和を得るとともに、前記第１の動きベクトルのそれぞれを前記第１の参照探索範囲よりも広い第２の参照探索範囲に対応する第２のｆコードで符号化したときの符号長を累算して第２の符号長総和を得る符号長累算部と、前記第１の符号長総和と前記第２の符号長総和とを比較し、いずれか小さい方に対応するｆコードを、当該符号化に用いるべきものとして判定する判定部とを備えたことを特徴とする。
【００２７】
本発明によると、動きベクトル検出部によって、第１のｆコードに対応する第１の参照探索範囲内で第１の動きベクトルが検出される。検出された第１の動きベクトルについて、符号長累算部によって、第１のｆコードで符号化したときの符号長、および第１の参照探索範囲よりも広い第２の参照探索範囲に対応する第２のｆコードで符号化したときの符号長が、それぞれ累算され、第１および第２の符号長総和が計算される。そして、これら第１および第２の符号長総和について、判定部によってその大小が比較され、いずれか小さい方に対応するｆコードが、符号化対象画像の符号化に用いるべきものとして判定される。これにより、検出された動きベクトルが、たとえば、図１０（ｂ）に示すように分布する場合に、符号化対象画像の符号化に用いるべきｆコードとして、第２のｆコードが選択され、動きベクトルの符号量を最小化することができる。
【００２８】
また、上記の課題を解決するために本発明が講じた手段は、符号化対象画像における複数の画素ブロックのそれぞれについて参照画像の参照探索範囲内で動きベクトルを検出し、この動きベクトルおよび前記参照探索範囲に対応するｆコードを用いて前記符号化対象画像の符号化を行う画像符号化方法として、前記複数の画素ブロックのそれぞれについて、第１のｆコードに対応する第１の参照探索範囲内で第１の動きベクトルを検出する第１の動きベクトル検出ステップと、前記複数の画素ブロックのそれぞれについて、第２のｆコードに対応し、前記第１の参照探索範囲よりも広い第２の参照探索範囲内で第２の動きベクトルを検出する第２の動きベクトル検出ステップと、前記第１の動きベクトルのそれぞれを前記第１のｆコードで符号化したときの符号長を累算して第１の符号長総和を得る第１の符号長累算ステップと、前記第２の動きベクトルのそれぞれを前記第２のｆコードで符号化したときの符号長を累算して第２の符号長総和を得る第２の符号長累算ステップと、前記第１および第２の符号長総和に基づいて当該符号化に用いるべきｆコードおよび動きベクトルを判定する判定ステップとを有することを特徴とする。
【００２９】
前記判定ステップは、前記第１の符号長総和と第２の符号長総和とを比較し、いずれか小さい方に対応するｆコードおよび動きベクトルを当該符号化に用いるべきものとして判定することが好ましい。
【００３０】
また、前記画像符号化方法は、前記第１の動きベクトルのそれぞれを前記第２のｆコードで符号化したときの符号長を累算して第３の符号長総和を計算する第３の符号長累算ステップを有するものであり、前記判定ステップは、前記第１から第３の符号長総和のうち最小のものを検出し、この最小のものに対応するｆコードおよび動きベクトルを、当該符号化に用いるべきものとして判定することが好ましい。
【００３１】
また、前記画像符号化方法は、前記複数の画素ブロックのそれぞれについて、前記第２の参照探索範囲内での最小類似距離と所定の閾値との大小を判定する類似距離判定ステップを有するものであり、前記第２の動きベクトル検出ステップは、前記類似距離判定ステップによって前記最小類似距離が前記所定の閾値よりも大きいと判定されたとき、当該画素ブロックについての前記第２の動きベクトルを前記第１の参照探索範囲内で検出することが好ましい。
【００３２】
また、前記画像符号化方法は、前記複数の画素ブロックのそれぞれについて、前記第１の参照探索範囲内での第１の最小類似距離を累算して第１の類似距離総和を得る第１の類似距離累算ステップと、前記複数の画素ブロックのそれぞれについて、前記第２の参照探索範囲内での第２の最小類似距離を累算して第２の類似距離総和を得る第２の類似距離累算ステップと、前記第１の符号長総和と前記第１の類似距離総和とを重み付け加算して第１の線形和を得る第１の線形和算出ステップと、前記第２の符号長総和と前記第２の類似距離総和とを重み付け加算して第２の線形和を得る第２の線形和算出ステップとを有するものであり、前記判定ステップは、前記第１の線形和と前記第２の線形和とを比較し、いずれか小さい方に対応するｆコードおよび動きベクトルを、当該符号化に用いるべきものとして判定することが好ましい。
【００３３】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００３４】
（第１の実施形態）
図１は、本発明の第１の実施形態の画像符号化装置の構成を示す。本実施形態の画像符号化装置は、動きベクトル検出部１１と、記憶部１２と、符号長累算部１３と、判定部１４と、選択部１５と、符号化部１０４とを備えている。以下、これら各構成要素の動作について説明する。なお、符号化部１０４は、図８に示したものと同様であるため説明を省略する。
【００３５】
動きベクトル検出部１１は、図７（ａ）に示した符号化対象画像Ｐ０における入力ブロックＭＢ０、および同図（ｂ）に示した参照画像Ｐ１の第２の参照探索範囲Ｒ２における候補ブロックＭＢ１を順次入力し、第１のｆコードに対応する第１の参照探索範囲Ｒ１内で第１の動きベクトルＭＶ１を順次検出する（本発明の第１の動きベクトル検出ステップに相当）とともに、第２のｆコードに対応する第２の参照探索範囲Ｒ２内で第２の動きベクトルＭＶ２を順次検出する（本発明の第２の動きベクトル検出ステップに相当）。なお、第２のｆコードは、第１のｆコードよりも“１”だけ大きいものとする。
【００３６】
図２は、動きベクトル検出部１１の内部構成を示す。類似距離算出部１１１は、動きベクトル検出部１１に与えられる入力ブロックＭＢ０と候補ブロックＭＢ１との類似距離を算出する。ここでは、両ブロックＭＢ０，ＭＢ１における各画素データの差の絶対値和（ＡＥ：Ａｂｓｏｌｕｔｅ　Ｅｒｒｏｒ）を類似距離として用いるものとする。もちろん、差の二乗和などを用いてもよい。
【００３７】
第１の最小値検出部１１２ａは、類似距離算出部１１１から類似距離ＡＥを入力し、活性化状態のときに第１の最小類似距離を検出する。第１の最小値検出部１１２ａの活性化・非活性化は、有効情報生成部１１４によって制御される。有効情報生成部１１４は、候補ブロックアドレス生成部１１５から候補ブロックＭＢ１のアドレスを入力し、このアドレスに基づいて、候補ブロックＭＢ１が第１の参照探索範囲に属するか否かを判断する。そして、候補ブロックＭＢ１が第１の参照探索範囲に属すると判断するとき、第１の最小値検出部１１２ａを活性化する。また、候補ブロックアドレス生成部１１５は、動きベクトル検出部１１に与えられる候補ブロックＭＢ１のアドレスＡＤＲを生成する。以上により、第１の最小値検出部１１２ａは、第１の最小類似距離として、第１の参照探索範囲内での最小類似距離を検出する。
【００３８】
第２の最小値検出部１１２ｂは、類似距離算出部１１１から類似距離ＡＥを入力し、第２の最小類似距離を検出する。第２の最小値検出部１１２ｂは、第２の最小類似距離として、第２の参照探索範囲内での最小類似距離を検出する。
【００３９】
第１のアドレス記憶部１１３ａは、第１の最小類似距離に対応する候補ブロックのアドレスを記憶する。第１のアドレス記憶部１１３ａには、候補ブロックアドレス生成部１１５より、動きベクトル検出部１１に与えられる候補ブロックＭＢ１のアドレスＡＤＲが与えられている。そして、第１の最小値検出部１１２ａが類似距離ＡＥの最小値（第１の最小類似距離）を検出したとき、第１の最小値検出部１１２ａからの指示により、このときの候補ブロックＭＢ１のアドレスを記憶するようになっている。第１の最小値検出部１１２ａによって第１の最小類似距離が更新された場合、第１のアドレス記憶部１１３ａには、この新たな第１の最小類似距離に対応する候補ブロックのアドレスが上書きされる。上記と同様に、第２のアドレス記憶部１１３ｂは、第２の最小類似距離に対応する候補ブロックのアドレスを記憶するものである。
【００４０】
動きベクトル算出部１１６は、第１のアドレス記憶部１１３ａから、第１の最小類似距離に対応する候補ブロックのアドレスＡＤＲ１を入力し、入力ブロックＭＢ０に対する第１の動きベクトルＭＶ１を算出する。同様に、第２のアドレス記憶部１１３ｂから、第２の最小類似距離に対応する候補ブロックのアドレスＡＤＲ２を入力し、入力ブロックＭＢ０に対する第２の動きベクトルＭＶ２を算出する。
【００４１】
図１に戻り、記憶部１２は、動きベクトル検出部１１によって検出され、順次出力される第１の動きベクトルＭＶ１および第２の動きベクトルＭＶ２を、それぞれ個別に、符号化対象画像の１画像分記憶する。
【００４２】
符号長累算部１３は、動きベクトル検出部１１によって検出され、順次出力される第１の動きベクトルＭＶ１を入力し、第１のｆコード、つまり第１の参照探索範囲に対応するｆコードで第１の動きベクトルを符号化したときの符号長を累算する（本発明の第１の符号長累算ステップに相当）。なお、この符号長の累算は、記憶部１２に記憶される分量、すなわち符号化対象画像の１画像分について行われる。この結果得られる第１の符号長総和ＣＬΣ１は、第１のｆコードを用いた場合の、符号化対象画像の動きベクトルの符号量を表すものである。これと同様に、符号長累算部１３は、動きベクトル検出部１１によって検出され、順次出力される第２の動きベクトルＭＶ２を入力し、第２のｆコード、つまり第２の参照探索範囲に対応するｆコードで第２の動きベクトルを符号化したときの符号長を累算し、第２の符号長総和ＣＬΣ２を得る（本発明の第２の符号長累算ステップに相当）。
【００４３】
判定部１４は、符号長累算部１３から第１の符号長総和ＣＬΣ１および第２の符号長総和ＣＬΣ２を入力し、これらの比較を行い、この比較結果から、符号化対象画像の符号化に用いるべきｆコードおよび動きベクトルを判定する（本発明の判定ステップに相当）。具体的には、第１の符号長総和ＣＬΣ１よりも第２の符号長総和ＣＬΣ２の方が小さいとき、第２のｆコードおよび第２の動きベクトルを符号化に用いるべきものとして判定する。一方、第２の符号長総和ＣＬΣ２よりも第１の符号長総和ＣＬΣ１の方が小さいとき、第１のｆコードおよび第１の動きベクトルを符号化に用いるべきものとして判定する。判定されたｆコードは、ｆコード信号ＦＣとして出力される。また、判定された動きベクトルを示す選択信号ＳＥＬが出力される。
【００４４】
選択部１５は、判定部１４から与えられる選択信号ＳＥＬに従って、記憶部１２に記憶された第１の動きベクトルＭＶ１および第２の動きベクトルＭＶ２のいずれかを選択して、順次取り出し、動きベクトルＭＶとして出力する。
【００４５】
以上、本実施形態によると、第１のｆコードを用いたときの動きベクトルの符号量である第１の符号長総和ＣＬΣ１、および第２のｆコードを用いたときの動きベクトルの符号量である第２の符号長総和ＣＬΣ２のうち、いずれか小さい方に対応するｆコードおよび動きベクトルが符号化に用いるべきものとして選択される。これにより、たとえば、動きベクトルが図１０（ａ）に示したように分布する場合であっても、符号化対象画像の動きベクトルの符号量をより小さくすることができる。したがって、符号化対象画像の符号化データの量をより小さくすることができる。
【００４６】
ところで、第２の最小値検出部１１２ｂによって検出される第２の最小類似距離が比較的大きいとき、この第２の最小類似距離に対応する候補ブロックは、入力ブロックとあまり類似したものではない。すなわち、このような候補ブロックは、入力ブロックとの差分データの符号量を小さくするものではない。それにもかかわらず、この比較的大きな値の第２の最小類似距離に基づいて第２の動きベクトルが算出されることによって、より広い第２の参照探索範囲に対応する第２のｆコードが、符号化対象画像の符号化に用いるべきものとして選択されてしまい、動きベクトルの符号量の最小化が期待できなくなる可能性がある。これに対処するため、比較的大きな値の第２の最小類似距離は無効にすることが好ましい。
【００４７】
図３は、上記対処の具体例として、比較的大きな値の第２の最小類似距離を持つ候補ブロックを無効にする機能を有する動きベクトル１１の構成を示す。同図の動きベクトル検出部１１は、図２に示された構成に、類似距離判定部１１７を追加したものである。
【００４８】
類似距離判定部１１７は、第２の最小値検出部１１２ｂによって検出される第２の最小類似距離ＭＩＮ２を入力し、これと所定の閾値とを比較（本発明の類似距離判定ステップに相当）する。そして、第２の最小類似距離ＭＩＮ２の方が大きいとき、動きベクトル算出部１１６Ａに、第２の最小類似距離を無効にする指示を与える。そして、動きベクトル算出部１１６Ａは、この指示を受けると、第２の動きベクトルＭＶ２として、第１の動きベクトルＭＶ１と同じ内容のものを出力する。すなわち、第２の動きベクトルＭＶ２は、第１の参照探索範囲内で検出されることになる。これによって、所定の閾値よりも大きな値の第２の最小類似距離が無効にされる。
【００４９】
（第２の実施形態）
図４は、本発明の第２の実施形態の画像符号化装置の構成を示す。本実施形態の画像符号化装置は、第１の実施形態とは異なる構成の符号長累算部１３Ａおよび判定部１４Ａを備えている。本実施形態の説明に関して、図１中の構成要素と同様のものについては、図４においてこれと同一の符号を付して説明を省略する。以下、符号長累算部１３Ａおよび判定部１４Ａについて説明する。
【００５０】
符号長累算部１３Ａは、第１の符号長総和ＣＬΣ１および第２の符号長総和ＣＬΣ２以外に、第２のｆコードで第１の動きベクトルを符号化したときの符号長を、符号化対象画像の１画像分累算し、第３の符号長総和ＣＬΣ３を得る（本発明の第３の符号長累算ステップに相当）。
【００５１】
判定部１４Ａは、符号長累算部１３Ａから第１の符号長総和ＣＬΣ１、第２の符号長総和ＣＬΣ２および第３の符号長総和ＣＬΣ３を入力し、これらのうち最小のものを検出し、この最小のものに対応するｆコードおよび動きベクトルを、符号化対象画像の符号化に用いるべきものとして判定する。したがって、第３の符号長総和ＣＬΣ３が最小であるとき、判定部１４Ａは、第２のｆコードおよび第１の動きベクトルを符号化に用いるべきものとして判定する。そして、第２のｆコードを表すｆコード信号ＦＣを出力するとともに、選択部１５に、第１の動きベクトルＭＶ１を選択すべく選択信号ＳＥＬを出力する。
【００５２】
以上、本実施形態によると、第１および第２のｆコードのそれぞれによる動きベクトルの符号量の比較において、さらに、第２のｆコードで第１の動きベクトルの符号化を行ったときの符号長総和（第３の符号長総和）が考慮される。これにより、たとえば、動きベクトルが図１０（ｂ）に示したように分布する場合に、符号化対象画像の動きベクトルの符号量をより小さくすることができ、符号化対象画像の符号化データの量をより小さくすることができる。
【００５３】
なお、本実施形態の画像符号化装置において、第２の動きベクトルＭＶ２および第２の符号長総和ＣＬΣ２、ならびに選択部１５を省略してもよい。すなわち、図８に示した従来の画像符号化装置において、最適ｆコード検出部１０３に代えて、本実施形態に係る符号長累算部１３Ａ（ただし、第２の動きベクトルＭＶ２の入力、および第２の符号長総和ＣＬΣ２の出力は不要）、および判定部１４Ａ（ただし、第２の符号長総和ＣＬΣ２の入力、および選択信号ＳＥＬの出力は不要）を備えることによって、動きベクトルが図１０（ｂ）に示したように分布する場合であっても、符号化対象画像の動きベクトルの符号量をより小さくすることができる。
【００５４】
（第３の実施形態）
図５は、本発明の第３の実施形態の画像符号化装置の構成を示す。本実施形態の画像符号化装置は、入力ブロックと候補ブロックとの差分データの符号量をも考慮して、符号化に用いるべきｆコードおよび動きベクトルを選択するものである。本実施形態の画像符号化装置は、第１の実施形態の画像符号化装置に、さらに類似距離累算部１６を設けたものである。本実施形態の説明に関して、図１中の構成要素と同様のものについては、図５においてこれと同一の符号を付して説明を省略する。以下、類似距離累算部１６および判定部１４Ｂについて説明する。
【００５５】
類似距離累算部１６は、動きベクトル検出部１１Ａから第１の最小類似距離ＭＩＮ１を順次入力し、符号化対象画像の１画像分について累算し、第１の類似距離総和ＡＥΣ１を得る（本発明の第１の類似距離算出ステップに相当）。同様に、動きベクトル検出部１１Ａから第２の最小類似距離ＭＩＮ２を順次入力し、符号化対象画像の１画像分について累算し、第２の類似距離総和ＡＥΣ２を得る（本発明の第２の類似距離算出ステップに相当）。
【００５６】
図６は、動きベクトル検出部１１Ａの内部構成を示す。動きベクトル検出部１１Ａは、図２に示した動きベクトル検出部１１と同様の構成をしている。第１の最小値検出部１１２ａは、動きベクトル検出部１１Ａに与えられる入力ブロックＭＢ０について、第１の参照探索範囲内の候補ブロックＭＢ１との最小類似距離（第１の最小類似距離ＭＩＮ１）を検出し、出力する。同様に、第２の最小値検出部１１２ｂは、動きベクトル検出部１１Ａに与えられる入力ブロックＭＢ０について、第２の参照探索範囲内の候補ブロックＭＢ１との最小類似距離（第２の最小類似距離ＭＩＮ２）を検出し、出力する。
【００５７】
図５に戻り、判定部１４Ｂは、符号長累算部１３から第１の符号長総和ＣＬΣ１を入力するとともに、類似距離累算部１６から第１の類似距離総和ＡＥΣ１を入力し、第１の線形和として、ａ１×ＣＬΣ１＋ｂ１×ＡＥΣ１（ａ１，ｂ１は任意の係数）を算出する（本発明の第１の線形和算出ステップに相当）。同様に、符号長累算部１３から第２の符号長総和ＣＬΣ２を入力するとともに、類似距離累算部１６から第２の類似距離総和ＡＥΣ２を入力し、第２の線形和として、ａ２×ＣＬΣ２＋ｂ２×ＡＥΣ２（ａ２，ｂ２は任意の係数）を算出する（本発明の第２の線形和算出ステップに相当）。判定部１４Ｂは、こうして得られた第１の線形和と第２の線形和とを比較し、この比較結果から、符号化対象画像の符号化に用いるべきｆコードおよび動きベクトルを判定する。具体的には、第１の線形和よりも第２の線形和の方が小さいとき、第２のｆコードおよび第２の動きベクトルを符号化に用いるべきものとして判定する。一方、第２の線形和よりも第１の線形和の方が小さいとき、第１のｆコードおよび第１の動きベクトルを符号化に用いるべきものとして判定する。
【００５８】
以上、本実施形態によると、動きベクトルの符号量だけではなく、入力ブロックおよび候補ブロックの差分データの符号量をも考慮して、符号化対象画像全体としての符号化データの量がより小さくなるように、ｆコードおよび動きベクトルの選択が可能となる。
【００５９】
【発明の効果】
以上、本発明によると、Ｈ．２６１、ＭＰＥＧ１、ＭＰＥＧ２などの動画像符号化方式において、動きベクトルの符号量を最小化することができる。これにより、符号化される画像全体としての符号化データの量を削減することができ、画質の改善や、圧縮レートの向上が可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態の画像符号化装置の構成図である。
【図２】図１の画像符号化装置における動きベクトル検出部の内部構成図である。
【図３】図２に類似距離判定部を追加した動きベクトル検出部の内部構成図である。
【図４】本発明の第２の実施形態の画像符号化装置の構成図である。
【図５】本発明の第３の実施形態の画像符号化装置の構成図である。
【図６】図５の画像符号化装置における動きベクトル検出部の内部構成図である。
【図７】動きベクトルの概念図である。
【図８】従来の画像符号化装置の構成図である。
【図９】第１および第２の参照探索範囲におけるモーション・コードの符号長を示すグラフである。
【図１０】動きベクトルの大きさの度数分布を示すグラフである。
【符号の説明】
１１，１１Ａ　動きベクトル検出部
１２　記憶部
１３，１３Ａ　符号長累算部
１４，１４Ａ，１４Ｂ　判定部
１５　選択部
１６　類似距離累算部
Ｐ０　符号化対象画像
Ｐ１　参照画像
Ｒ１　第１の参照探索範囲
Ｒ２　第２の参照探索範囲
ＭＢ０　入力ブロック（符号化対象画像における複数の画素ブロックのそれぞれ）
ＭＢ１　候補ブロック
ＭＶ　動きベクトル
ＦＣ　ｆコード
ＭＶ１　第１の動きベクトル
ＭＶ２　第２の動きベクトル
ＣＬΣ１　第１の符号長総和
ＣＬΣ２　第２の符号長総和
ＣＬΣ３　第３の符号長総和
ＭＩＮ１　第１の最小類似距離
ＭＩＮ２　第２の最小類似距離
ＡＥΣ１　第１の類似距離総和
ＡＥΣ２　第２の類似距離総和
【図１】
2004120319.tif 000003
【図２】
2004120319.tif 000004
【図３】
2004120319.tif 000005
【図４】
2004120319.tif 000006
【図５】
2004120319.tif 000007
【図６】
2004120319.tif 000008
【図７】
2004120319.tif 000009
【図８】
2004120319.tif 000010
【図９】
2004120319.tif 000011
【図１０】
2004120319.tif 000012