(57)【要約】【課題】  エンコーダ側の処理の軽さを維持しつつ、レートの推定精度を高めて符号化効率を改善できる動画像符号化装置を提供する。【解決手段】  動画像符号化装置は、レート制御部を備えるＤＶＣ方式に基づくものである。符号化対象画像における、運動領域かつ並進領域と判定される運動並進領域がエンコーダ予測画像とデコーダ予測画像とで誤差が大きくなる領域である。このことに着目し、動画像復号装置が復号画像を生成するのに必要十分な符号量を規定するレートを、並進運動領域と非並進運動領域とで重み付けを行いながら決定することとした。【選択図】      図１
2014207565.tif 000002
【特許請求の範囲】
【請求項１】
分散映像符号化方式に基づき動画像を圧縮する動画像符号化装置において、
符号化対象画像と参照画像から、上記符号化対象画像内における並進運動領域を識別する並進運動領域識別手段と、
動画像復号装置が復号画像を生成するのに必要十分な符号量を規定するレートを、上記並進運動領域とそれ以外の領域である非並進運動領域とで重み付けを行いながら決定するレート制御手段と、
決定されたレートを適用して、上記符号化対象画像を符号化する符号化手段とを備える
ことを特徴とする動画像符号化装置。
【請求項２】
上記レート制御手段は、並進運動領域と非並進運動領域とで異なる重みを付けながら、上記符号化対象画像と、内部で生成したエンコーダ予測画像との間で誤差の統計量を計算し、得られた誤差の統計量から、レートを決定することを特徴とする請求項１に記載の動画像符号化装置。
【請求項３】
上記レート制御手段は、並進運動領域と該非並進運動領域とで異なる重みを付けながら、上記符号化対象画像のビット反転数と、内部で生成したエンコーダ予測画像のビット反転数を数え、上記符号化対象画像と、動画像復号装置が形成するであろうデコーダ予測画像との間に存在するビット反転確率を推定し、推定したビット反転確率からレートを決定することを特徴とする請求項１に記載の動画像符号化装置。
【請求項４】
上記並進運動領域識別手段は、
上記符号化対象画像を縮小し、縮小符号化対象画像を生成する符号化対象画像縮小部と、
上記参照画像を縮小し、縮小参照画像を生成する参照画像縮小部と、
上記縮小符号化対象画像及び上記縮小参照画像を用いて動きベクトルを求める動きベクトル推定部と、
上記縮小符号化対象画像、上記縮小参照画像及び上記動きベクトルの少なくとも１以上を用いて、上記符号化対象画像内における運動領域を識別する運動領域識別部と、
上記動きベクトルから、並進領域に共通する動きベクトルである並進領域動きベクトルを求める並進領域動きベクトル計算部と、
上記動きベクトルと上記並進領域動きベクトルとから並進領域を識別する並進領域識別部と、
上記運動領域の識別結果と上記並進領域の識別結果を統合し、並進運動領域を判定する統合部とを有する
ことを特徴とする請求項１〜３のいずれかに記載の動画像符号化装置。
【請求項５】
上記運動領域識別部は、上記動きベクトルの大きさが予め定められた閾値よりも大きいブロックを運動領域と判定し、それ以外のブロックを非運動領域と判定することを特徴とする請求項４に記載の動画像符号化装置。
【請求項６】
上記運動領域識別部は、上記縮小符号化対象画像と上記縮小参照画像との差の大きさを、差分絶対値和若しくは差分絶対値平均という指標を用いて所定サイズのブロックごとに評価し、評価された差の大きさが予め定められた閾値よりも大きいブロックを運動領域と判定し、それ以外のブロックを非運動領域と判定することを特徴とする請求項４に記載の動画像符号化装置。
【請求項７】
上記運動領域識別部は、上記縮小符号化対象画像と上記縮小参照画像との差分の絶対値を画素ごとに求め、得られた差分の絶対値が予め定められた閾値よりも大きい画素数を、所定サイズのブロックごとに数え、得られた画素数が予め定められた閾値よりも大きいブロックを運動領域と判定し、それ以外のブロックを非運動領域と判定することを特徴とする請求項４に記載の動画像符号化装置。
【請求項８】
上記運動領域識別部は、上記縮小符号化対象画像の交流成分画像を求めると共に、上記縮小参照画像の交流成分画像を求め、上記縮小符号化対象画像の交流成分画像と上記縮小参照画像の交流成分画像との差分の絶対値を画素ごとに求め、得られた差分の絶対値が予め定められた閾値よりも大きい画素数を、所定サイズのブロックごとに数え、得られた画素数が予め定められた閾値よりも大きいブロックを運動領域と判定し、それ以外のブロックを非運動領域と判定することを特徴とする請求項４に記載の動画像符号化装置。
【請求項９】
上記運動領域識別部は、
上記動きベクトルの大きさが予め定められた閾値よりも大きいブロックを運動領域と判定する第１の識別部と、
上記第１の識別部で運動領域でないと判定された領域に対し、上記縮小符号化対象画像と上記縮小参照画像とを用いて、運動領域か否かを判定する第２の識別部とを有する
ことを特徴とする請求項４に記載の動画像符号化装置。
【請求項１０】
上記並進領域動きベクトル生成部は、フレーム内の動きベクトルの平均動きベクトルを計算し、得られた平均動きベクトルを上記並進領域動きベクトルとすることを特徴とする請求項４〜９のいずれかに記載の動画像符号化装置。
【請求項１１】
上記並進領域動きベクトル生成部は、フレーム内の上記動きベクトルのうち最頻出の動きベクトルを求め、得られた最頻出動きベクトルを上記並進領域動きベクトルとすることを特徴とする請求項４〜９のいずれかに記載の動画像符号化装置。
【請求項１２】
上記並進領域識別信号生成部は、所定サイズのブロックごとに上記動きベクトルと上記並進領域動きベクトルとを比較し、両ベクトルの差の大きさが予め定められた閾値未満であれば、並進領域と判定し、それ以外の場合には非並進領域として判定することを特徴とする請求項４〜１１のいずれかに記載の動画像符号化装置。
【請求項１３】
上記統合部は、運動領域、かつ、並進領域と判定されている領域を並進運動領域と判定し、それ以外の領域を非並進運動領域と判定することを特徴とする請求項４〜１２のいずれかに記載の動画像符号化装置。
【請求項１４】
上記統合部は、運動領域、かつ、並進領域と判定されている領域の面積が所定面積以上のときに並進運動領域と判定し、それ以外の領域を非並進運動領域と判定することを特徴とする請求項４〜１２のいずれかに記載の動画像符号化装置。
【請求項１５】
上記レート制御手段は、誤り訂正処理の失敗が品質に著しく大きな悪影響を与える符号化対象画像に係る情報のレートを決定する際には、上記並進運動領域と上記非並進運動領域に応じた重み付けを実行せずにレートを決定することを特徴とする請求項１〜１４のいずれかに記載の動画像符号化装置。
【請求項１６】
分散映像符号化方式に基づき動画像を圧縮する動画像符号化装置に搭載されるコンピュータを、
符号化対象画像と参照画像から、上記符号化対象画像内における並進運動領域を識別する並進運動領域識別手段と、
動画像復号装置が復号画像を生成するのに必要十分な符号量を規定するレートを、上記並進運動領域とそれ以外の領域である非並進運動領域とで重み付けを行いながら決定するレート制御手段と、
決定されたレートを適用して、上記符号化対象画像を符号化する符号化手段と
して機能させることを特徴とする動画像符号化プログラム。
【請求項１７】
分散映像符号化方式に基づき動画像を圧縮する動画像符号化装置と、当該動画像符号化装置からの符号化データを復号する動画像復号装置とを備える動画像符号化システムにおいて、
上記動画像符号化装置として、請求項１〜１５のいずれかに記載の動画像符号化装置を適用したことを特徴とする動画像符号化システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像符号化装置及びプログラム、並びに、動画像符号化システムに関し、例えば、Ｄｉｓｔｒｉｂｕｔｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（分散映像符号化；以下、ＤＶＣと呼ぶ）方式に基づいて動画像の符号化、復号を行う場合に適用し得るものである。
【背景技術】
【０００２】
ＤＶＣ方式は、Ｓｌｅｐｉａｎ−Ｗｏｌｆ理論又はＷｙｎｅｒ−Ｚｉｖ理論に基づき動画像の符号化及び復号を行う動画像符号化方式である（非特許文献１参照）。
【０００３】
ＤＶＣ方式は、デコーダで生成される符号化対象画像の予測画像（以下、デコーダ予測画像）から符号化対象画像を再構成する符号（以下、Ｗｙｎｅｒ−Ｚｉｖ符号とする）を、デコーダ予測画像を直接参照することなく生成することを特徴としている。この特徴より、ＤＶＣ方式の符号化装置は、複雑な予測画像生成部を備える必要がなく、符号化に係る演算量の削減が可能になる。
【０００４】
ＤＶＣ方式の課題は、デコーダ予測画像から復号画像を生成するのに必要十分なＷｙｎｅｒ−Ｚｉｖ符号のレート（符号量）を求めることが困難であることである。Ｗｙｎｅｒ−Ｚｉｖ符号が多すぎると圧縮効果が得られず、Ｗｙｎｅｒ−Ｚｉｖ符号が少なすぎるとデコーダ予測画像から復号画像を生成できない。
【０００５】
非特許文献１の記載技術は、デコーダ予測画像から復号画像が生成されるまで追加のＷｙｎｅｒ−Ｚｉｖ符号を要求し続ける（フィードバックし続ける）ことにより必要十分なレートを探る方式（以下、デコーダレート制御方式と呼ぶ）を採用しており、これにより、レートの課題を解決している。
【０００６】
しかし、デコーダレート制御方式には、ネットワークを介した復号処理の存在なしに符号化することができないため、用途が限定されるという短所を有する。
【０００７】
この短所を解消するため、非特許文献２や非特許文献３では、エンコーダ予測画像（デコーダ予測画像ほど複雑な演算を必要とせずに生成が可能な予測画像）をエンコーダで生成し、符号化対象画像とエンコーダ予測画像を比較することで、レートを制御する方式（以下、エンコーダレート制御方式と呼ぶ）が提案されている。
【０００８】
図７は、エンコーダレート制御方式に基づく従来の動画像符号化装置の概略構成を示すブロック図である。
【０００９】
図７に示す動画像符号化装置３１は、符号化対象画像（非キーフレーム画像）ＰＩＣ１と参照画像ＰＩＣ２を入力し、ビットストリームＢＳを出力する。
【００１０】
動画像符号化装置３１は、符号化対象画像ＰＩＣ１と参照画像ＰＩＣ２とから、デコーダが復号するのに必要十分なレートを推定し、レートＳ３０２を出力するレート制御部３０２と、レートＳ３０２を用いて符号化対象画像ＰＩＣ１をＷｙｎｅｒ−Ｚｉｖ符号化するＷｙｎｅｒ−Ｚｉｖ符号化部１０３とを有する。
【００１１】
例えば、レート制御部３０２は、非特許文献２の記載技術のように、参照画像ＰＩＣ２からエンコーダ予測画像を生成し、符号化対象画像ＰＩＣ１とエンコーダ予測画像間で誤差の統計量を計算し、誤差の統計量から、デコーダが復号するのに必要十分なレートＳ３０２を推定する。また例えば、レート制御部３０２は、非特許文献３の記載技術のように、参照画像ＰＩＣ２からエンコーダ予測画像を生成し、符号化対象画像ＰＩＣ１とエンコーダ予測画像間でビット反転数を数え、ビット反転数から計算できるビット反転確率に基づき、デコーダが復号するのに必要十分なレートＳ３０２を推定する。
【００１２】
図７では省略しているが、動画像符号化装置３１から、図示しない対向する動画像復号装置へは、符号化対象画像ＰＩＣ１を符号化したビットストリームだけではなく、符号化対象画像ＰＩＣ１とは時刻が異なるキーフレーム画像を、符号化対象画像ＰＩＣ１の符号化方式とは異なる符号化方式で符号化した圧縮データも転送される。
【００１３】
参照画像ＰＩＣ２は、例えば、直前時刻や直後時刻に撮像されたキーフレーム画像の原画像や復号画像、それらを画像処理した画像などである。キーフレーム画像は、多くの場合、Ｈ．２６４／ＡＶＣなど既存の符号化技術で圧縮される（但し、キーフレーム画像の符号化方式は問われない）。
【先行技術文献】
【非特許文献】
【００１４】
【非特許文献１】Ｂ．Ｇｉｒｏｄ，  Ａ．Ａａｒｏｎ，  Ｓ．Ｒａｎｅ，  ａｎｄ  Ｄ．Ｒｅｂｏｌｌｏ−Ｍｏｎｅｄｅｒｏ，“Ｄｉｓｔｒｉｂｕｔｅｄ  ｖｉｄｅｏ  ｃｏｄｉｎｇ，”Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ＩＥＥＥ，Ｖｏｌ．９３，ｐｐ．７１−８３，Ｊａｎ．，２００５
【非特許文献２】Ｃ．Ｂｒｉｔｅｓ，  Ｆ．Ｐｅｒｅｉｒａ，“Ｅｎｃｏｄｅｒ  ｒａｔｅ  ｃｏｎｔｒｏｌ  ｆｏｒ  ｔｒａｎｓｆｏｒｍ  ｄｏｍａｉｎ  Ｗｙｎｅｒ−Ｚｉｖ  ｖｉｄｅｏ  ｃｏｄｉｎｇ，”ＩＣＩＰ２００７，ＵＳＡ，Ｓｅｐｔｅｍｂｅｒ，  ２００７
【非特許文献３】Ｋ．Ｓａｋｏｍｉｚｕ，  Ｔ．Ｙａｍａｓａｋｉ，  Ｓ．Ｎａｋａｇａｗａ  ａｎｄ  Ｔ．Ｎｉｓｈｉ，“Ａ  ｒｅａｌ−ｔｉｍｅ  ｓｙｓｔｅｍ  ｏｆ  ｄｉｓｔｒｉｂｕｔｅｄ  ｖｉｄｅｏ  ｃｏｄｉｎｇ，”Ｐｒｏｃ．  ｏｆ  Ｐｉｃｔｕｒｅ  Ｃｏｄｉｎｇ  Ｓｙｍｐｏｓｉｕｍ  （ＰＣＳ’１０），ｐｐ．５３８−５４１，Ｎａｇｏｙａ  Ｊａｐａｎ，Ｎｏｖ．，２０１０
【非特許文献４】Ｍ．Ｔａｇｌｉａｓａｃｃｈｉ  Ａ．Ｍａｊｕｍｄａｒ  ａｎｄ  Ｋ．Ｒａｍｃｈａｎｄｒａｎ，“Ａ  ｄｉｓｔｒｉｂｕｔｅｄ−ｓｏｕｒｃｅ−ｃｏｄｉｎｇ  ｂａｓｅｄ  ｒｏｂｕｓｔ  ｓｐａｔｉｏ−ｔｅｍｐｏｒａｌ  ｓｃａｌａｂｌｅ  ｖｉｄｅｏ  ｃｏｄｅｃ，”Ｐｒｏｃ．Ｐｉｃｔｕｒｅ  Ｃｏｄｉｎｇ  Ｓｙｍｐｏｓｉｕｍ，Ｃｉｔｅｓｅｅｒ，２００４
【非特許文献５】Ｋ  Ｓａｋｏｍｉｚｕ，  Ｔ．Ｎｉｓｈｉ  ａｎｄ  Ｔ．Ｏｎｏｙｅ，“Ａ  ｈｉｅｒａｒｃｈｉｃａｌ  ｍｏｔｉｏｎ  ｓｍｏｏｔｈｉｎｇ  ｆｏｒ  ｄｉｓｔｒｉｂｕｔｅｄ  ｓｃａｌａｂｌｅ  ｖｉｄｅｏ  ｃｏｄｉｎｇ，”Ｐｒｏｃ．  ｏｆ  Ｐｉｃｔｕｒｅ  Ｃｏｄｉｎｇ  Ｓｙｍｐｏｓｉｕｍ（ＰＣＳ’１２），ｐｐ．２０９−２１２，Ｋｒａｋｏｗ，Ｐｏｌａｎｄ，Ｍａｙ．，２０１２．
【発明の概要】
【発明が解決しようとする課題】
【００１５】
レート制御部を備えるＤＶＣ方式に基づく動画像符号化装置において、デコーダ予測画像を用いずに、デコーダが復号するのに必要十分なレートを推定することは困難である。
【００１６】
上述したように、従来、符号化対象画像とエンコーダ予測画像間の差に関する情報を計算し、差に関する情報からレートを推定している。
【００１７】
しかし、符号化対象画像とエンコーダ予測画像間の差に関する情報と、符号化対象画像とデコーダ予測画像間の差に関する情報は、等しくない。この誤差は、レートの推定精度に悪影響を与え、結果として、符号化効率の悪化を招いてしまう。
【００１８】
符号化効率の悪化は、例えば、エンコーダ予測画像の予測精度を上げるなど、エンコーダの負荷を高めることで解決することができる。しかし、この解決方法では、エンコーダが軽量であるというＤＶＣ方式の特徴が活きない。
【００１９】
そのため、エンコーダ側の処理の軽さを維持しつつ、レートの推定精度を高めて符号化効率を改善することができる動画像符号化装置及びプログラム、並びに、動画像符号化システムが望まれている。
【課題を解決するための手段】
【００２０】
第１の本発明は、分散映像符号化方式に基づき動画像を圧縮する動画像符号化装置において、（１）符号化対象画像と参照画像から、上記符号化対象画像内における並進運動領域を識別する並進運動領域識別手段と、（２）動画像復号装置が復号画像を生成するのに必要十分な符号量を規定するレートを、上記並進運動領域とそれ以外の領域である非並進運動領域とで重み付けを行いながら決定するレート制御手段と、（３）決定されたレートを適用して、上記符号化対象画像を符号化する符号化手段とを備えることを特徴とする。
【００２１】
第２の本発明は、分散映像符号化方式に基づき動画像を圧縮する動画像符号化装置に搭載されるコンピュータを、（１）符号化対象画像と参照画像から、上記符号化対象画像内における並進運動領域を識別する並進運動領域識別手段と、（２）動画像復号装置が復号画像を生成するのに必要十分な符号量を規定するレートを、上記並進運動領域とそれ以外の領域である非並進運動領域とで重み付けを行いながら決定するレート制御手段と、（３）決定されたレートを適用して、上記符号化対象画像を符号化する符号化手段として機能させることを特徴とする。
【００２２】
第３の本発明は、分散映像符号化方式に基づき動画像を圧縮する動画像符号化装置と、当該動画像符号化装置からの符号化データを復号する動画像復号装置とを備える動画像符号化システムにおいて、上記動画像符号化装置として、第１の本発明の動画像符号化装置を適用したことを特徴とする。
【発明の効果】
【００２３】
本発明によれば、エンコーダ側の処理の軽さを維持しつつ、レートの推定精度を高めて符号化効率を改善できる動画像符号化装置及びプログラム、並びに、動画像符号化システムを提供できる。
【図面の簡単な説明】
【００２４】
【図１】第１の実施形態の動画像符号化システムの構成を示すブロック図であり、第１の実施形態の動画像符号化装置については、その内部の機能的な詳細構成も示している。
【図２】第１の実施形態の動画像符号化装置の動作を示すフローチャートである。
【図３】第１の実施形態の動画像符号化装置における並進領域識別部の動作の説明図（その１）である。
【図４】第１の実施形態の動画像符号化装置における並進領域識別部の動作の説明図（その２）である。
【図５】第２の実施形態の動画像符号化装置における統合部の詳細構成を示す説明図である。
【図６】第２の実施形態の動画像符号化装置における統合部の詳細動作を示すフローチャートである。
【図７】エンコーダレート制御方式に基づく従来の動画像符号化装置の概略構成を示すブロック図である。
【発明を実施するための形態】
【００２５】
（Ａ）第１の実施形態
以下、本発明による動画像符号化装置及びプログラム、並びに、動画像符号化システムの第１の実施形態を、図面を参照しながら説明する。
【００２６】
（Ａ−１）第１の実施形態の構成
図１は、第１の実施形態の動画像符号化システムの構成を示すブロック図であり、第１の実施形態の動画像符号化装置については、その内部の詳細構成をも示している。
【００２７】
図１において、第１の実施形態の動画像符号化システム１は、符号化対象画像（非キーフレーム画像）ＰＩＣ１の符号化を行う第１の実施形態の動画像符号化装置（以下でエンコーダと表現していることもある）１１と、キーフレーム画像ＰＩＣ３の符号化を行うキーフレーム符号化装置１２と、動画像符号化装置１１からの符号化データ（ビットストリーム）ＢＳを復号する動画像復号装置（以下でデコーダと表現していることもある）２１と、キーフレーム符号化装置１２からの符号化データを復号するキーフレーム復号装置２２とを有している。
【００２８】
キーフレーム符号化装置１２、動画像復号装置２１及びキーフレーム復号装置２２は、ＤＶＣ方式に従う従来の動画像符号化システムにおけるものと同様であるので、その詳細説明は省略する。
【００２９】
第１の実施形態の動画像符号化装置１１は、図１に示すような詳細構成を有する。動画像符号化装置１１は、ハードウェア的に各種回路を接続して構築されても良く、また、ＣＰＵ、ＲＯＭ、ＲＡＭなどを有する汎用的な装置が動画像符号化プログラムを実行することで動画像符号化装置としての機能を実現するように構築されても良い。いずれの構築方法を適用した場合であっても、動画像符号化装置１００の機能的な詳細構成は、図１で表す構成となっている。
【００３０】
動画像符号化装置１１は、並進運動領域識別部１０１と、レート制御部１０２と、Ｗｙｎｅｒ−Ｚｉｖ符号化部１０３とを有する。
【００３１】
並進運動領域識別部１０１は、入力された符号化対象画像ＰＩＣ１と参照画像ＰＩＣ２とから、符号化対象画像ＰＩＣ１内で、同じ方向に同じ速度で移動している領域（適宜、並進領域と呼ぶ）であって、かつ、その移動が移動体の動きに伴う領域（適宜、運動領域と呼ぶ）である並進運動領域を求め、領域ごとに、並進運動領域か非並進運動領域かを表す並進運動領域識別信号Ｓ１０１をレート制御部１０２に出力する。
【００３２】
レート制御部１０２は、入力された符号化対象画像ＰＩＣ１と参照画像ＰＩＣ２と並進運動領域識別信号Ｓ１０１とに基づいて、動画像復号装置２１が復号するのに必要十分なレート（符号量）を推定し、推定によって得られたレートＳ１０２をＷｙｎｅｒ−Ｚｉｖ符号化部１０３に出力するものである。
【００３３】
Ｗｙｎｅｒ−Ｚｉｖ符号化部１０３は、入力された符号化対象画像ＰＩＣ１を、入力されたレートＳ１０２が規定する符号量に満たすようにＷｙｎｅｒ−Ｚｉｖ符号化するものであり、得られた符号化データのビットストリームＢＳを動画像復号装置２１に送信するものである。Ｗｙｎｅｒ−Ｚｉｖ符号化部１０３は、符号化対象画像ＰＩＣ１を符号化する際には、キーフレーム画像の符号化データやキーフレーム画像等のキーフレーム画像に関する情報を利用する。
【００３４】
並進運動領域識別部１０１は、符号化対象画像縮小部１０４と、参照画像縮小部１０５と、動きベクトル推定部１０６と、運動領域識別部１０７と、並進領域動きベクトル計算部１０８と、並進領域識別部１０９と、統合部１１０とを有する。
【００３５】
符号化対象画像縮小部１０４は、入力された符号化対象画像ＰＩＣ１を縮小し、縮小符号化対象画像Ｓ１０４を動きベクトル推定部１０６及び運動領域識別部１０７に出力する。
【００３６】
参照画像縮小部１０５は、入力された参照画像ＰＩＣ２を縮小し、縮小参照画像Ｓ１０５を動きベクトル推定部１０６及び運動領域識別部１０７に出力する。
【００３７】
動きベクトル推定部１０６は、符号化対象画像縮小部１０４から与えられた縮小符号化対象画像Ｓ１０４と、参照画像縮小部１０５から与えられた縮小参照画像Ｓ１０５とから、動きベクトルＳ１０６を推定し、得られた動きベクトルＳ１０６を、運動領域識別部１０７、並進領域動きベクトル計算部１０８及び並進領域識別部１０９に出力する。
【００３８】
運動領域識別部１０７は、符号化対象画像縮小部１０４から与えられた縮小符号化対象画像Ｓ１０４と、参照画像縮小部１０５から与えられた縮小参照画像Ｓ１０５と、動きベクトル推定部１０６から与えられた動きベクトルＳ１０６とから、運動領域を識別し、運動領域か非運動領域かを規定する運動領域識別信号１０７を統合部１１０に出力する。
【００３９】
並進領域動きベクトル計算部１０８は、動きベクトル推定部１０６から与えられた動きベクトルＳ１０６から、並進領域の動きベクトルを推定し、得られた並進領域動きベクトルＳ１０８を並進領域識別部１０９に出力する。
【００４０】
並進領域識別部１０９は、動きベクトル推定部１０６から与えられた動きベクトルＳ１０６と並進領域動きベクトル計算部１０８から与えられた並進領域動きベクトルＳ１０８とから、並進領域か非並進領域かを規定する並進領域識別信号１０９を生成して統合部１１０に出力する。並進領域識別部１０９は、例えば、動きベクトルＳ１０６と並進領域動きベクトルＳ１０８の差分の大きさを閾値と比較することで、並進領域識別信号Ｓ１０９を生成する。
【００４１】
統合部１１０は、運動領域識別信号Ｓ１０７と並進領域識別信号Ｓ１０９とから、並進運動領域を特定し、並進運動領域識別信号Ｓ１０１を生成してレート制御部１０２に出力する。例えば、運動領域識別信号Ｓ１０７が運動領域で論理「１」を非運動領域で論理「０」をとる信号であり、並進領域識別信号Ｓ１０９が並進領域で論理「１」を非並進領域で論理「０」をとる信号であれば、統合部１１０は、二つの識別信号Ｓ１０７及びＳ１０９の論理積を計算することにより、並進運動領域識別信号Ｓ１０１を生成する。
【００４２】
（Ａ−２）第１の実施形態の動作
次に、第１の実施形態の動画像符号化装置１１の動作を、図面を参照しながら説明する。
【００４３】
なお、キーフレーム符号化装置１２、動画像復号装置２１及びキーフレーム復号装置２２の動作は従来と同様であるので、その説明は省略する。
【００４４】
図２は、第１の実施形態の動画像符号化装置１１の動作を示すフローチャートである。
【００４５】
新たな符号化対象画像ＰＩＣ１が処理対象となったときには、符号化対象画像縮小部１０４において、符号化対象画像ＰＩＣ１から縮小符号化対象画像Ｓ１０４が生成されると共に、参照画像縮小部１０５において、参照画像ＰＩＣ２から縮小参照画像Ｓ１０５が生成される（ステップＳＴ１０１）。縮小画像の生成アルゴリズムとして、既存のいかなるアルゴリズムを適用しても良い。例えば、Ｂｉｌｉｎｅａｒ関数やＢｉｃｕｂｉｃ関数などによる縮小方法を適用できる。また、縮小符号化対象画像Ｓ１０４や縮小参照画像Ｓ１０５は、画像処理が施されたものであっても良い。例えば、非特許文献４や非特許文献５に記載のようなスケーラブル構造を備えるＤＶＣ方式の場合、縮小画像レイヤの情報から、符号化対象画像ＰＩＣ１の縮小画像や参照画像ＰＩＣ２の縮小画像を取り出すことにより、縮小画像の生成を行なうようにしても良い。
【００４６】
動きベクトル推定部１０６において、縮小符号化対象画像ＰＩＣ１０４と縮小参照画像ＰＩＣ１０５とから、ブロックごとの動きベクトルＳ１０６が生成される（ステップＳＴ１Ｏ２）。動きベクトルは、例えば、ブロックマッチング法や勾配法を用いた動きベクトルの探索によって求めることができる。ここで、ブロックのサイズは任意に定めて良いものである。
【００４７】
運動領域識別部１０７において、縮小符号化対象画像Ｓ１０４と縮小参照画像Ｓ１０５と動きベクトルＳ１０６の少なくとも１以上から、ブロックごとの運動領域識別信号Ｓ１０７が生成される（ステップＳＴ１Ｏ３）。
【００４８】
運動領域か非運動領域かを識別する方法として、例えば、以下のような方法Ｍ１〜Ｍ５のいずれかを適用することができる。
【００４９】
（Ｍ１）動きベクトルＳ１０６を参照し、動きベクトルＳ１０６が予め定められた閾値より大きいブロックでは、運動領域と判定し、それ以外のブロックでは非運動領域と判定する。
【００５０】
（Ｍ２）縮小符号化対象画像Ｓ１０４と縮小参照画像Ｓ１０５とを参照し、縮小符号化対象画像Ｓ１０４と縮小参照画像Ｓ１０５との差の大きさをＳｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ（ＳＡＤ；差分絶対値和）やＭｅａｎ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ（ＭＡＤ；差分絶対値平均）という指標を用いてブロックごとに評価し、このブロックごとの差の大きさが予め定められた閾値よりも大きいブロックに関しては運動領域と判定し、それ以外のブロックに関しては非運動領域と判定する。
【００５１】
（Ｍ３）縮小符号化対象画像Ｓ１０４と縮小参照画像Ｓ１０５とを参照し、縮小符号化対象画像Ｓ１０４と縮小参照画像Ｓ１０５との差分の絶対値を画素ごとに求め、この差分の絶対値が予め定められた閾値よりも大きい画素数を、ブロックごとに数え、この画素数が予め定められた閾値よりも大きいブロックに関しては運動領域と判定し、それ以外のブロックに関しては非運動領域と判定する。
【００５２】
（Ｍ４）縮小符号化対象画像Ｓ１０４と縮小参照画像Ｓ１０５とを参照する方法である。縮小符号化対象画像Ｓ１０４に対して、平均値算出用のサイズを有するブロック（第１の平均算出用ブロックと呼ぶ）ごとに、第１の平均算出用ブロック内の画素値の平均値を求め、この第１の平均算出用ブロックに含まれる各画素値から得られた平均値を差し引くことで、縮小符号化対象画像の交流成分画像を求める。第１の平均算出用ブロックのサイズは、縮小符号化対象画像のフレームサイズであっても良く（この場合が最も大きいサイズとなる）、フレームサイズを複数に分割したサイズであっても良い。また、同様に、縮小参照画像Ｓ１０５に対して、平均値算出用のサイズを有するブロック（第２の平均算出用ブロックと呼ぶ）ごとに、第２の平均算出用ブロック内の画素値の平均値を求め、この第２の平均算出用ブロックに含まれる各画素値から得られた平均値を差し引くことで、縮小参照画像の交流成分画像を求める。第２の平均算出用ブロックのサイズは、縮小参照画像のフレームサイズであっても良く（この場合が最も大きいサイズとなる）、第１の平均算出用ブロックのサイズと同じサイズであっても良い。そして、縮小符号化対象画像の交流成分画像と縮小参照画像の交流成分画像との差分の絶対値を画素ごとに求め、この画素ごとの差分の絶対値が予め定められた閾値よりも大きい画素数を、領域識別用のサイズを有するブロックごとに数え、この画素数が予め定められた閾値よりも大きいブロックに関しては運動領域と判定し、それ以外のブロックに関しては非運動領域と判定する。
【００５３】
（Ｍ５）方法Ｍ１と、方法Ｍ２〜方法Ｍ４の１以上とを組み合わせて、運動領域か非運動領域かを識別する。方法Ｍ１で運動領域と判定された領域は運動領域と判定し、方法Ｍ１で非運動領域と判定された領域に対しては、方法Ｍ２〜方法Ｍ４の１以上を用いて、最終的に、運動領域か非運動領域かを判定する。方法Ｍ５は、方法Ｍ２〜方法Ｍ４の演算量が多くなることを防止する方法となっている。
【００５４】
ここで、第１の実施形態では、並進運動領域を識別するための全て処理を、縮小画像（縮小符号化対象画像Ｓ１０４及び縮小参照画像Ｓ１０５）を対象に実施することで、演算量の増加を抑えるようにしている。
【００５５】
しかし、縮小画像を対象に動きベクトルを探索していることで、動きベクトルの検出精度も縮小倍率に比例して劣化しており、運動領域の判定も難しくなる。例えば、僅か１画素（ピクセル）のみ動いている領域は、本来であれば、運動領域と判定されるべき領域であるが、縮小画像を対象に動きベクトル探索した場合、推定された動きベクトルの大きさは０となる可能性が高い。方法Ｍ２〜方法Ｍ５を適用することで、縮小画像を用いた低演算量な並進運動領域の識別という制約のなかで、高精度に運動領域の判定を実施することができる。
【００５６】
上述した運動領域識別部１０７におけるブロックごとの運動領域識別信号Ｓ１０７の生成動作と並行し、若しくは、相前後して、並進領域動きベクトル計算部１０８において、動きベクトルＳ１０６から、並進領域を識別するための並進領域動きベクトルＳ１０８が生成される（ステップＳＴ１０４）。
【００５７】
ここで、並進領域動きベクトルＳ１０８は、例えば、動きベクトルＳ１０６のフレーム内の平均動きベクトルであったり、若しくは、フレーム内の最頻出の動きベクトルであったりする。前者の場合、フレーム内の動きベクトルＳ１０６の平均を求めたものが並進領域動きベクトルＳ１０８となる。また、後者の場合、フレーム内の動きベクトルＳ１０６のなかで最も高い頻度で出現している動きベクトルが並進領域動きベクトルＳ１０８となる。
【００５８】
並進領域動きベクトルＳ１０８が得られると、並進領域識別部１０９において、動きベクトルＳ１０６と並進領域動きベクトルＳ１０８から並進領域識別信号１０９が生成される（ステップＳＴ１Ｏ５）。
【００５９】
並進領域識別信号Ｓ１０９は、例えば、各ブロック（各領域）の動きベクトルＳ１０６から並進領域動きベクトルＳ１０８を差し引き、差分情報の大きさが予め定められた閾値未満ならば、並進領域と判定し、差分情報の大きさが上述の閾値以上ならば、非並進領域と判定することで生成する。この方法は、並進領域動きベクトルＳ１０８が、並進領域の動きベクトルに近いという仮定に基づいている。並進領域に含まれる画素は、全てほぼ同じ動きベクトルを持つ。そのため、並進領域の動きベクトルは、並進領域動きベクトルＳ１０８に大きな影響を与え易い。つまり、上述の仮説が適合するケースは多い。並進領域動きベクトルＳ１０８に近い動きベクトルを持つ領域を探すことで、最も大きな影響力を持つ並進領域を求められる。
【００６０】
その後、統合部１１０において、運動領域識別信号Ｓ１０７と並進領域識別信号Ｓ１０９とから、並進運動領域識別信号Ｓ１０１が生成される（ステップＳＴ１Ｏ６）。
【００６１】
具体的には、運動領域識別信号Ｓ１０７が運動領域と判定し、かつ、並進領域識別信号Ｓ１０９が並進領域と判定している場合に限り、並進運動領域と判定し、それ以外の場合は、非並進運動領域と判定することで、並進運動領域識別信号Ｓ１０１を生成する。
【００６２】
以下、並進運動領域識別部１０１の動作を、図３及び図４を用いて説明する。
【００６３】
図３（Ａ）は参照画像ＰＩＣ２を示し、図３（Ｂ）は符号化対象画像ＰＩＣ１を示している。図３の場合、参照画像ＰＩＣ２が、符号化対象画像ＰＩＣ１の直前フレームの画像となっているとする。
【００６４】
符号化対象画像ＰＩＣ１及び参照画像ＰＩＣ２には、歩行者と家と雲が撮像されている。歩行者は移動物体であり、家は静止物体であり、雲は動きが非常に遅く、静止物体と見なせるものとなっている。画像を撮像している撮像装置（撮像カメラ等）は、歩行者と逆方向に動いている。そのため、静止物体である家や雲、その他の背景は、画像の右から左に向かって動いている。一方、歩行者は、画像の左から右に向かって歩いている。
【００６５】
このような動画像の場合、家や雲、その他の背景の物体は、右から左に向かって並進している。一方、歩行者は手を振る、足を動かすなど、複雑な運動をしている場合が多い。
【００６６】
従って、家や雲、その他の背景の物体領域に対して、並進領域（図３（Ｃ）で「Ａ」を付与している）と判定され、これら領域に対する並進領域識別信号Ｓ１０９は並進領域を表す論理値をとる。一方、複雑な運動をする歩行者が含まれる領域に対して、非並進領域（図３（Ｃ）で「Ｂ」を付与している）と判定され、これら領域に対する並進領域識別信号Ｓ１０９は非並進領域を表す論理値をとる。
【００６７】
図４（Ａ）は、図３の画像について求めた動きベクトルＳ１０６（の概要）を示している。歩行者を含まない領域の大半は、撮像装置のパンニングに伴う左向きの並進運動をしていて、同様な左向きの動きベクトルを有し、歩行者を含む、点線で囲まれた領域は、歩行者の複雑な動きに応じた下向きや右下向きの動きベクトルを有する。
【００６８】
並進領域動きベクトルＳ１０８として、動きベクトルＳ１０６のフレーム内の平均動きベクトルを適用する場合、大半の領域の動きベクトルが左向きであるため、並進領域動きベクトルＳ１０８を求めると、図４（Ａ）の上方に記載のようなほぼ左向きの並進領域動きベクトルＳ１０８が得られる。各動きベクトルＳ１０６から並進領域動きベクトルＳ１０８を差し引き、その差の大きさが閾値未満の並進領域は、図４（Ｂ）に「Ａ」を付与したエリア内に含まれ、差の大きさが閾値以上の非並進領域は、図４（Ｂ）に「Ｂ」を付与したエリア内に含まれる。
【００６９】
また、並進領域動きベクトルＳ１０８として、動きベクトルＳ１０６のフレーム内の最頻出動きベクトルを適用する場合にも、大半の領域の動きベクトルが左向きであるため、並進領域動きベクトルＳ１０８として、左向きの動きベクトルが得られ、この場合にも、並進領域は、図４（Ｂ）に「Ａ」を付与したエリア内に含まれ、非並進領域は、図４（Ｂ）に「Ｂ」を付与したエリア内に含まれる。
【００７０】
以上のように、並進運動領域識別部１０１の動作により、画像を並進領域と非並進領域に分ける並進領域識別信号Ｓ１０９を生成できる。
【００７１】
ここで、並進領域識別部１０９は、あくまで並進領域を識別するだけであり、並進領域には静止領域も含まれる。なぜならば、撮像装置がパンニングするような場合など、物体の静止状態も１つの並進であるからである。
【００７２】
静止している領域は、デコーダ予測画像だけに限らずエンコーダ予測画像でも予測精度の高い領域である。本来ならば予測精度が高いのにも関わらず、静止領域に関して、誤差ないしビット反転があるということは、予測ではそもそも補えない誤差ないしビット反転であることを示唆している。このような誤差ないしビット反転は、例えば、照明のちらつきや撮像装置のノイズ等によって発生する。照明のちらつきや撮像装置のノイズ等は、ランダムな変化であり、予測によって補うことは極めて難しい。
【００７３】
この第１の実施形態とは異なり、並進領域の識別だけを適用し、運動領域の識別を適用しない場合には、静止領域で発生している上述のような誤りを、後述するレートの推定時に過小評価する恐れがある。
【００７４】
このような過小評価を回避するために、運動領域識別部１０７を設けている。各領域が、運動領域（非静止領域）か非運動領域（静止領域）かを運動領域識別部１０７で判定し、統合部１１０で、並進していて、かつ、運動している領域を求めることにより、上述の過小評価を回避できる並進運動領域が求められる。
【００７５】
なお、並進運動領域識別部１０１は、並進運動領域を認識できれば良く、動きベクトル推定部１０６と運動領域識別部１０７と並進領域動きベクトル計算部１０８と並進領域識別部１０９と統合部１１０の組み合わせによる、第１の実施形態の並進運動領域の認識は、低演算量で並進運動領域を認識するための一例である。
【００７６】
並進運動領域識別信号Ｓ１０１が生成されると、レート制御部１０２において、符号化対象画像ＰＩＣ１と参照画像ＰＩＣ２と並進運動領域識別信号Ｓ１０１とから、動画像復号装置２１に送信するビットストリームＢＳのレート（符号データ量）Ｓ１０２が推定される（ステップＳＴ１０７）。
【００７７】
並進運動領域と非並進運動領域とで重み付けをしながら、符号化対象画像ＰＩＣ１と、当該レート制御部１０２内で生成するエンコーダ予測画像とを比較することで、レート制御部１０２は、動画像復号装置２１が復号画像を生成するのに必要十分なレートＳ１０２を推定する。エンコーダ予測画像の生成方法は限定されるものではないが、例えば、参照画像ＰＩＣ２に対する動き補償を行うことでエンコーダ予測画像を生成する。
【００７８】
例えば、非特許文献２に記載のようにレート制御する場合には、符号化対象画像ＰＩＣ１及びエンコーダ予測画像間で誤差の統計量を計算する際に、画素ごとの誤差を、並進運動領域ではα倍で評価し、非並進運動領域ではβ倍で評価する。このようにして求められた誤差の統計量に基づき、デコーダが復号するのに必要十分なレートＳ１０２を推定する。例えば、αには、０．０≦α＜１．０の値を用い、βには、β＝１．０を用いる。
【００７９】
また例えば、非特許文献３に記載のようにレート制御する場合には、符号化対象画像ＰＩＣ１及びエンコーダ予測画像間でビット反転数を数える際に、並進運動領域で発生した１個のビット反転をγ個のビット反転に置き換え、非並進運動領域で発生した１個のビット反転をδ個のビット反転に置き換えて、ビット反転数を数える。このようにして求められたビット反転数から計算できるビット反転確率に基づき、デコーダが復号するのに必要十分なレートＳ１０２を推定する。例えば、γには、０．０≦γ＜１．０の値を用い、δには、δ＝１．０を用いる。
【００８０】
以上のようなパラメータα及びβ、γ及びδを適用することにより、並進運動領域では、符号化対象画像ＰＩＣ１及びエンコーダ予測画像間で実際に発生している誤差よりも、誤差が小さく評価されることになる。
【００８１】
具体的な算出式の例として、非特許文献３の記載技術をベースにレートＳ１０２（（２）式においては「Ｒ」がレートを表している）を求める場合の算出式を、（２）式に示す。（２）式におけるｐは、（１）式に従って算出されるビット反転確率である。（１）式において、全ビット数をＥ、並進運動領域で発生したビット反転数をＣ１、非並進運動領域で発生したビット反転数をＣ２としている。また、Ｔは、経験的に決定される定数である。
【００８２】
ｐ＝（α×Ｃ１＋β×Ｃ２）／Ｅ      …（１）
Ｒ＝−ｐＸｌｏｇ（ｐ）−（１−ｐ）×ｌｏｇ（１−ｐ）＋Ｔ      …（２）
非特許文献３の記載技術と上述した第１の実施形態による一例との差異は、ビット反転確率ｐを求める際に、ビット反転数Ｃ１及びＣ２を重み付きで加算しているか否かである。ビット反転数Ｃ１及びＣ２を単純に加算して求めたビット反転確率ｐは、符号化対象画像ＰＩＣ１とエンコーダ予測画像との間の誤差を反映したビット反転確率となり、本来、推定したい符号化対象画像ＰＩＣ１とデコーダ予測画像との間の誤差を反映したビット反転確率とは異なっている。並進運動領域と非並進運動領域とで異なる値をとる重み付け係数γ及びδを使って、ビット反転数Ｃ１及びＣ２を重み付きで評価することにより、ビット反転確率ｐを符号化対象画像ＰＩＣ１とデコーダ予測画像との間のビット反転確率に近づけることにより、レート制御の高精度化を実現している。
【００８３】
非特許文献２に記載のようにレート制御する場合にも、符号化対象画像ＰＩＣ１及びエンコーダ予測画像間で誤差の統計量を計算する際に、並進運動領域ではα倍で評価し、非並進運動領域ではβ倍で評価するようにして、符号化対象画像ＰＩＣ１及びエンコーダ予測画像間の誤差の統計量を、符号化対象画像ＰＩＣ１及びデコーダ予測画像間の誤差の統計量に近づけることにより、レート制御の高精度化を実現する。
【００８４】
並進運動領域は、符号化対象画像ＰＩＣ１と参照画像ＰＩＣ２間で同じ部分が含まれる可能性が極めて高く、かつ、並進運動領域の画素は、ほぼ同じ動きベクトルを有しているため、動きベクトル探索等での予測が当たり易い領域である。
【００８５】
すなわち、デコーダ予測画像が高品質になる可能性の高い領域であるとも言える。
【００８６】
そのため、仮に、符号化対象画像ＰＩＣ１及びエンコーダ予測画像間で大きな誤差が発生していたとしても、符号化対象画像ＰＩＣ１及びデコーダ予測画像間では、誤差量が小さくなる可能性が、少なくとも非並進運動領域に比べて高い。このような仮説をレート制御に反映するために、上述のように、符号化対象画像ＰＩＣ１及びエンコーダ予測画像間で誤差の統計量を計算する際に、あるいは、ビット反転数を数える際に、並進運動領域と非並進運動領域とで重み付けをしながら、符号化対象画像ＰＩＣ１及びエンコーダ予測画像間の誤差を評価することとした。
【００８７】
第１の実施形態により求められる誤差の統計量やビット反転数は、符号化対象画像ＰＩＣ１及びデコーダ予測画像間の誤差の統計量やビット反転数の推定値とみなすこともできる。
【００８８】
以上のように、従来では、符号化対象画像ＰＩＣ１及びエンコーダ予測画像間の誤差の統計量やビット反転数に基づき、デコーダが復号するのに必要十分なレートを推定していたが、この第１の実施形態では、並進運動領域識別信号に基づき、符号化対象画像ＰＩＣ１及びデコーダ予測画像間の誤差の統計量やビット反転数の推定値を求め、この推定値に基づき、デコーダが復号するのに必要十分なレートＳ１０２を推定している。
【００８９】
すなわち、符号化対象画像ＰＩＣ１及びデコーダ予測画像間の誤差の統計量やビット反転数を推定するプロセスを加えることにより、レート制御の高精度化を実現している。
【００９０】
Ｗｙｎｅｒ−Ｚｉｖ符号化部１０３において、レートＳ１０２に従って、符号化対象画像ＰＩＣ１がＷｙｎｅｒ−Ｚｉｖ符号化され、ビットストリームＢＳが出力される（ステップＳＴ１Ｏ８）。
【００９１】
（Ａ−３）第１の実施形態の効果
以上のように、第１の実施形態によれば、並進運動領域及び非並進運動領域を識別し、領域の相違に応じた重み付きで符号化対象画像と予測画像との間を比較することにより、並進運動領域ではデコーダ予測画像の品質が良い確率が高いという仮説に基づき、デコーダ側で必要十分な真値に近いレートを推定することができる。レートの精度向上により、符号化効率を改善することができる。
【００９２】
また、並進運動領域を求めるための全ての処理は、縮小画像を用いることで実施されているため、第１の実施形態のレート制御を適用しても、演算量の増加も僅かである。
【００９３】
（Ｂ）第２の実施形態
次に、本発明による動画像符号化装置及びプログラム、並びに、動画像符号化システムの第２の実施形態を、図面を参照しながら説明する。
【００９４】
（Ｂ−１）第２の実施形態の構成
第２の実施形態は、第１の実施形態に比較して、動画像符号化装置内の統合部が異なっている。すなわち、第２の実施形態の動画像符号化装置は、第１の実施形態の動画像符号化装置１１における統合部１１０を、第２の実施形態の統合部２１０に入れ替えたものに等しい。
【００９５】
そこで、以下では、第２の実施形態の統合部２１０の詳細を説明する。図５は、第２の実施形態の統合部２１０の詳細構成を示す説明図である。
【００９６】
統合部２１０は、並進運動領域識別信号候補生成部２１１、面積計算部２１２及び並進運動領域決定部２１３を有する。
【００９７】
並進運動領域識別信号候補生成部２１１は、運動領域識別部１０７（図１参照）から与えられた運動領域識別信号Ｓ１０７と、並進領域識別部１０９（図１参照から与えられた並進領域識別信号Ｓ１０９に基づいて、並進運動領域識別信号候補Ｓ２１１を生成して面積計算部２１２及び並進運動領域決定部２１３に出力する。
【００９８】
面積計算部２１２は、並進運動領域識別信号候補生成部２１１からの並進運動領域識別信号候補Ｓ２１１に基づいて、候補Ｓ２１１の面積Ｓ２１２を求める並進運動領域決定部２１３に出力する。
【００９９】
並進運動領域決定部２１３は、並進運動領域識別信号候補生成部２１１からの並進運動領域識別信号候補Ｓ２１１と面積計算部２１２からの面積Ｓ２１２とに基づいて、並進運動領域識別信号Ｓ１０１を得てレート制御部１０２（図１参照）に出力する。
【０１００】
（Ｂ−２）第２の実施形態の動作
次に、第２の実施形態の動画像符号化装置が第１の実施形態の動画像符号化装置１１と異なっている統合部２１の動作を、図面を参照しながら説明する。
【０１０１】
第２の実施形態の動画像符号化装置における識別運動領域識別部も、第１の実施形態の場合と同様に、ステップＳＴ１０１〜ＳＴ１０５の動作を行う（上述した図１及び図２参照）。
【０１０２】
すなわち、新たな符号化対象画像ＰＩＣ１が処理対象となったときには、符号化対象画像縮小部１０４において、符号化対象画像ＰＩＣ１から縮小符号化対象画像Ｓ１０４が生成されると共に、参照画像縮小部１０５において、参照画像ＰＩＣ２から縮小参照画像Ｓ１０５が生成され（ステップＳＴ１０１）、動きベクトル推定部１０６において、縮小符号化対象画像ＰＩＣ１０４と縮小参照画像ＰＩＣ１０５とから、ブロックごとの動きベクトルＳ１０６が生成され（ステップＳＴ１Ｏ２）、運動領域識別部１０７において、縮小符号化対象画像Ｓ１０４と縮小参照画像Ｓ１０５と動きベクトルＳ１０６の少なくとも１以上から、ブロックごとの運動領域識別信号Ｓ１０７が生成され（ステップＳＴ１Ｏ３）、並進領域動きベクトル計算部１０８において、動きベクトルＳ１０６から、並進領域を識別するための並進領域動きベクトルＳ１０８が生成され（ステップＳＴ１０４）、並進領域識別部１０９において、動きベクトルＳ１０６と並進領域動きベクトルＳ１０８から並進領域識別信号１０９が生成される（ステップＳＴ１Ｏ５）。
【０１０３】
この後、第２の実施形態における統合部２１０の動作が実行される（ステップＳＴ２０６）。図６は、第２の実施形態における統合部２１０の詳細動作を示すフローチャートである。
【０１０４】
並進運動領域候補生成部２０６において、運動領域識別信号Ｓ１０７と並進領域識別信号Ｓ１０９とから、並進運動領域識別信号候補Ｓ２１１が生成される（ステップＳＴ２０６−１）。並進運動領域識別信号候補Ｓ２１１の生成法は、第１の実施形態における統合部１１０が並進運動領域識別信号Ｓ１０１を生成する方法と同じである。
【０１０５】
面積計算部２１２において、並進運動領域識別信号候補Ｓ２１１で並進運動領域と判定されている領域の面積Ｓ２１２が求められ、求められた面積Ｓ２１２が出力される（ステップＳＴ２０６−２）。
【０１０６】
なお、ここでは面積としているが、並進運動領域と判定されている面積の割合を求めても良い。割合を求めることで、後述するステップＳＴ２０６−３で閾値判定する際の閾値を、符号化するフレームサイズによらない値とすることができる。
【０１０７】
並進運動領域決定部２１２において、面積Ｓ２１２が予め定められた一定値以上ならば、並進運動領域識別信号候補Ｓ２１１が並進運動領域識別信号Ｓ１０１として出力され、一方、面積Ｓ２１２が一定値未満ならば、全ての領域を非並進運動領域とした並進運動領域識別信号Ｓ１０１が出力される（ステップＳＴ２０６−３）。
【０１０８】
この後に実行されるレート制御部１０２及びＷｙｎｅｒ−Ｚｉｖ符号化部１０３の動作は、第１の実施形態の場合と同様である（上述した図１及び図２のステップＳＴ１０６、ＳＴ１０７参照）。
【０１０９】
すなわち、並進運動領域識別信号Ｓ１０１が生成されると、レート制御部１０２において、符号化対象画像ＰＩＣ１と参照画像ＰＩＣ２と並進運動領域識別信号Ｓ１０１とから、動画像復号装置２１に送信するビットストリームＢＳのレート（符号データ量）Ｓ１０２が推定され（ステップＳＴ１０７）、Ｗｙｎｅｒ−Ｚｉｖ符号化部１０３において、レートＳ１０２に従って、符号化対象画像ＰＩＣ１がＷｙｎｅｒ−Ｚｉｖ符号化されて、ビットストリームＢＳが出力される（ステップＳＴ１Ｏ８）。
【０１１０】
（Ｂ−３）第２の実施形態の効果
以上のように、第２の実施形態によれば、並進運動領域と認識された面積が、予め定められた面積よりも小さい場合には、全ての領域を非並進運動領域とするようにしたので、ノイズ等により引き起こされる誤検出の悪影響を緩和若しくは防止することができる。
【０１１１】
第１の実施形態の動作の項でも述べたとおり、縮小画像のみを用いて並進運動領域を推定することをポイント（特徴）の一つとし、演算量の増加を抑えている。しかし、その代償として運動領域の判定が難しくなっている。
【０１１２】
第１の実施形態で述べた運動領域識別部１０７は、この条件化でも高い精度で運動領域を識別する機能を備えているが、それでも本来ならば運動領域ではないのにも関わらず、撮像装置のノイズ等により運動領域と判定されてしまう場合がある。このようなノイズ等により引き起こされる誤検出は、あくまで単発的なものであるので、第２の実施形態のように、統合部で、並進運動領域と認識された面積が、予め指定された面積よりも小さい場合に、全ての領域を非並進運動領域とすることで、上述の問題の影響を緩和若しくは防止することができる。
【０１１３】
（Ｃ）他の実施形態
上記各実施形態の説明においても、種々変形実施形態に言及したが、さらに、以下に例示するような変形実施形態を挙げることができる。
【０１１４】
（Ｃ−１）上記各実施形態においては、並進運動領域識別部が符号化対象画像及び参照画像を縮小してから、並進運動領域を識別するものを示したが、本発明はこれに限定されるものではない。例えば、取り扱う符号化対象画像及び参照画像のサイズが小さい動画像符号化装置であれば、符号化対象画像及び参照画像を縮小することなく並進運動領域を識別するようにしても良い。
【０１１５】
（Ｃ−２）上記各実施形態では、並進運動領域か非並進運動領域かの２段階で識別するものを示したが、３段階以上で識別するようにしても良い。すなわち、エンコーダ予測画像とデコーダ予測画像とで誤差が生じ易い並進運動領域を識別し、レートに反映できるならば、並進運動領域を複数の段階に分けて識別するようにしても良い。
【０１１６】
例えば、第２の実施形態において、面積が所定値以下の並進運動領域を非並進運動領域に変更するのではなく、弱並進運動領域とし、並進運動領域と非並進運動領域との中間の重みでレートに反映させるようにしても良い。
【０１１７】
また例えば、第１の実施形態の説明で言及した方法Ｍ１で運動領域と判定された結果得られた並進運動領域を強並進運動領域とし、方法Ｍ２〜方法Ｍ４のいずれかの方法で運動領域と判定された結果得られた並進運動領域を弱並進運動領域とし、重みを変えて生成するレートに反映させるようにしても良い。
【０１１８】
（Ｃ−３）上記各実施形態では、動きベクトル推定部とレート制御部が独立しているものを示したが、レート制御部において、動きベクトル推定部で生成した動きベクトルを用いて、エンコーダ予測画像を生成するようにしても良い。このようにすると、動きベクトルの検出に係る演算量を集約することができ、演算量を削減できる。
【０１１９】
（Ｃ−４）上記各実施形態の説明では、Ｗｙｎｅｒ−Ｚｉｖ符号化部１０３によるＷｙｎｅｒ−Ｚｉｖ符号化の詳細を説明しなかったが、Ｗｙｎｅｒ−Ｚｉｖ符号化部１０３によるＷｙｎｅｒ−Ｚｉｖ符号化は、定められたレートに従った符号化データ量を得ることができるものであれば、既存のいかなる方法を適用したものであっても良い。
【０１２０】
例えば、量子化後に、Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ（ＤＣＴ；離散コサイン変換）等の直交変換を行うものであっても良く、また、直交変換を実行しないものであっても良い。すなわち、画素領域（ｐｉｘｅｌ−ｄｏｍａｉｎ）のデータを処理する動画像符号化装置であっても良く、直交変換後の変換係数領域（ｔｒａｎｓｆｏｒｍ−ｄｏｍａｉｎ）のデータを処理する動画像符号化装置であっても良い。
【０１２１】
（Ｃ−５）上記各実施形態の説明では、符号化がＷｙｎｅｒ−Ｚｉｖ符号化であるものを示したが、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化を行うものであっても良い。すなわち、Ｗｙｎｅｒ−Ｚｉｖ符号化部１０３に代えて、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部を適用するようにしても良い。
【０１２２】
（Ｃ−６）上記各実施形態では、運動領域と並進領域とを独立して求め、その論理積などをとることによって、並進運動領域を特定（判定）するものを示したが、第１に、並進領域を識別し、識別された並進領域だけを対象として運動領域を識別して、並進運動領域を特定（判定）するようにしても良く、第２に、運動領域を識別し、識別された運動領域だけを対象として並進領域を識別して、並進運動領域を特定（判定）するようにしても良い。
【０１２３】
（Ｃ−７）上記各実施形態では、エンコーダレート制御方式に基づく動画像符号化装置について説明したが、エンコーダにレート制御部を備えるデコーダレート制御方式に基づく動画像符号化装置に対しても、本発明の技術思想を適用することができ、特有な効果を奏することができる。
【０１２４】
デコーダレート制御方式に基づく動画像符号化装置にレート制御部を追加する目的には、例えば、フィードバック回数を少なくすることにある。レート制御部を追加することで、初回に送られるＷｙｎｅｒ−Ｚｉｖ符号のレートを、上記各実施形態で求めたレートにすることにより、必要十分なレートに近付け、フィードバック回数を少なくできる。フィードバック回数が少なくなることで、遅延やデコーダ演算量が削減されるという効果を奏する。
【０１２５】
（Ｃ−８）上記各実施形態では、符号化画像における情報の種類に拘らず、並進運動領域か非並進運動領域かに応じた重み付けを施したレート制御を行うものを示したが、符号化画像における情報の種類によっては、並進運動領域か非並進運動領域かの識別結果に拘らず、従来と同様なレート制御を行うようにしても良い。
【０１２６】
例えば、従来の動画像符号化装置の中には、量子化後、若しくは、直交変換後の画像データを、各桁のビット毎のビットプレーンに分けて誤り訂正処理して符号化するものがある。このような動画像符号化装置において、最上位ビットプレーン（それより下位の上位ビットプレーンを含んでも良い）のように、誤り訂正処理の失敗が品質に著しく大きな悪影響を与える誤り訂正符号のレートを推定する際には、並進運動領域か非並進運動領域かに応じた重み付けをせずに符号化対象画像とエンコーダ予測画像間を比較することでレートを推定することも有効である。
【０１２７】
本発明の技術的思想は、あくまで並進運動領域のデコーダ予測画像は、エンコーダ予測画像よりも品質が高いという仮定に基づきレート制御しており、映像によっては稀に誤ることもある。従って、誤りが主観品質に著しく悪影響を与える誤り訂正符号のレートを推定する場合には、重み付けせずに、レート制御することで、上述のリスクを軽減することができる。
【０１２８】
（Ｃ−９）上記各実施形態の動画像符号化装置から、対向する動画像復号装置への通信路は、狭義の通信路に限定されるものではなく、広義の通信路であって良い。すなわち、リアルタイムの通信だけでなく、動画像符号化装置が符号化したデータを記録媒体に記録し、動画像復号装置が記録媒体から読み出したデータを処理するものであっても良い。
【符号の説明】
【０１２９】
１…動画像符号化システム、１１…動画像符号化装置（非キーフレーム符号化装置）、１２…キーフレーム符号化装置、２１…動画像復号装置、２２…キーフレーム復号装置、１０１…並進運動領域識別部、１０２…レート制御部、１０３…Ｗｙｎｅｒ−Ｚｉｖ符号化部、１０４…符号化対象画像縮小部、１０５…参照画像縮小部、１０６…動きベクトル推定部、１０７…運動領域識別部、１０８…並進領域動きベクトル計算部、１０９…並進領域識別部、１１０、２１０…統合部、２１１…並進運動領域識別信号候補生成部、２１２…面積計算部、２１３…並進運動領域決定部。
【図１】
2014207565.tif 000003
【図２】
2014207565.tif 000004
【図３】
2014207565.tif 000005
【図４】
2014207565.tif 000006
【図５】
2014207565.tif 000007
【図６】
2014207565.tif 000008
【図７】
2014207565.tif 000009