(57)【要約】【課題】  動画像を符号化するときに動きベクトルの演算処理量を削減する。【解決手段】  この発明に係る動画像符号化装置は、符号化対象画像から予測画像を減算して予測残差を生成し、予測残差を圧縮する圧縮部と、圧縮部が圧縮した予測残差を伸長し、予測画像を加算して復号画像を生成する伸長部と、伸長部が生成した復号画像を蓄積する復号画像蓄積部と、符号化対象画像と特徴量抽出用画像からそれぞれ特徴点と特徴量を抽出する特徴量抽出部と、特徴量抽出部が抽出した符号化対象画像と特徴量抽出用画像の特徴量に基づき符号化対象画像と特徴量抽出用画像の特徴点を対応させた対応点ペアを決定し、対応点ペアの画像内座標の差分を動きベクトルとして検出する動きベクトル検出部と、動きベクトル検出部が検出した動きベクトルに基づいて動き補償した予測画像を復号画像蓄積部が蓄積した復号画像から生成し、予測画像として出力する予測画像生成部とを備えた。【選択図】          図１
2014239373.tif 000002
【特許請求の範囲】
【請求項１】
符号化対象画像から予測画像を減算して予測残差を生成し、前記予測残差を圧縮する圧縮部と、
前記圧縮部が圧縮した予測残差を伸長し、前記予測画像を加算して復号画像を生成する伸長部と、
前記伸長部が生成した復号画像を蓄積する復号画像蓄積部と、
前記符号化対象画像と特徴量抽出用参照画像からそれぞれ特徴点と特徴量を抽出する特徴量抽出部と、
前記特徴量抽出部が抽出した前記符号化対象画像と前記特徴量抽出用参照画像の前記特徴量に基づき前記符号化対象画像と前記特徴量抽出用参照画像の前記特徴点を対応させた対応点ペアを決定し、前記対応点ペアの画像内座標の差分を動きベクトルとして検出する動きベクトル検出部と、
前記動きベクトル検出部が検出した前記動きベクトルに基づいて動き補償した予測画像を前記復号画像蓄積部が蓄積した前記復号画像から生成し、前記予測画像として出力する予測画像生成部と
を備えた動画像符号化装置。
【請求項２】
前記特徴量抽出部は、
前記復号画像蓄積部が蓄積した前記復号画像を前記特徴量抽出用参照画像として前記特徴点と前記特徴量を抽出する
請求項１に記載の動画像符号化装置。
【請求項３】
前記符号化対象画像を蓄積する画像蓄積部
を備え、
前記特徴量抽出部は、
前記画像蓄積部が蓄積した前記符号化対象画像を前記特徴量抽出用参照画像として前記特徴点と前記特徴量を抽出する
請求項１に記載の動画像符号化装置。
【請求項４】
前記動きベクトル検出部は、
前記符号化対象画像と前記特徴量抽出用参照画像の前記特徴量間の距離が閾値より小さい特徴点の組合せを前記特徴点ペアとして決定する
請求項１ないし請求項３のいずれか１項に記載の動画像符号化装置。
【請求項５】
前記動きベクトル検出部は、
前記特徴点がブロック内に複数あるとき、ブロック内の複数の特徴点から代表点を選択し、代表点についての対応点ペアの画像内座標の差分を動きベクトルとして検出する
請求項４に記載の動画像符号化装置。
【請求項６】
前記動きベクトル検出部は、
前記特徴点がブロック内にないとき、ブロックの周辺の特徴点を選択して動きベクトルを検出する
請求項４に記載の動画像符号化装置。
【請求項７】
前記予測画像生成部は、
前記復号画像蓄積部が蓄積した前記復号画像からイントラ予測した予測画像を生成し、前記イントラ予測した予測画像と前記動きベクトルに基づいて動き補償した予測画像のうち、符号化コストの小さい予測画像を出力する
請求項１ないし請求項６のいずれか１項に記載の動画像符号化装置。
【請求項８】
前記圧縮部が圧縮した予測残差をエントロピー符号化するエントロピー符号化部
を備えた請求項１ないし請求項７のいずれか１項に記載の動画像符号化装置。
【請求項９】
符号化対象画像から予測画像を減算して予測残差を生成し、前記予測残差を圧縮する圧縮ステップと、
前記圧縮ステップで圧縮された予測残差を伸長し、前記予測画像を加算して復号画像を生成する伸長ステップと、
前記伸長部ステップで生成された復号画像を蓄積する復号画像蓄積部と、
前記符号化対象画像と特徴量抽出用参照画像からそれぞれ特徴点と特徴量を抽出する特徴量抽出ステップと、
前記特徴量抽出ステップで抽出された前記符号化対象画像と前記特徴量抽出用参照画像の前記特徴量に基づき前記符号化対象画像と前記特徴量抽出用参照画像の前記特徴点を対応させた対応点ペアを決定し、前記対応点ペアの画像内座標の差分を動きベクトルとして検出する動きベクトル検出ステップと、
前記動きベクトル検出ステップで検出された前記動きベクトルに基づいて動き補償した予測画像を前記復号画像蓄積ステップで蓄積された前記復号画像から生成し、前記予測画像として出力する予測画像生成ステップと
を有する動画像符号化方法。
【請求項１０】
前記特徴量抽出ステップは、
前記復号画像蓄積ステップで蓄積された前記復号画像を前記特徴量抽出用参照画像として前記特徴点と前記特徴量を抽出する
請求項９に記載の動画像符号化方法。
【請求項１１】
前記符号化対象画像を蓄積する符号化済み画像蓄積ステップ
を有し、
前記特徴量抽出ステップは、
前記符号化済み画像蓄積ステップで蓄積された前記符号化対象画像を前記特徴量抽出用参照画像として前記特徴点と前記特徴量を抽出する
請求項９に記載の動画像符号化方法。
【請求項１２】
前記圧縮ステップで圧縮された予測残差をエントロピー符号化するエントロピー符号化ステップ
を有する請求項９ないし請求項１１のいずれか１項に記載の動画像符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、動きベクトルを検出して動画像を符号化する動画像符号化装置に関わるものである。
【背景技術】
【０００２】
Ｈ．２６４／ＡＶＣ等の動画像符号化の国際標準において、画像をマクロブロックに分解してマクロブロックを画素単位でマッチングし、動きベクトルを検出して、フレーム間の動きを補償する符号化方法が用いられている。
【０００３】
マクロブロックのマッチング法として、全探索やＵｎｓｙｍｍｅｔｒｉｃ−Ｃｒｏｓｓ−Ｍｕｌｔｉ−Ｈｅｘａｇｏｎ−Ｇｒｉｄ−Ｓｅａｒｃｈ（ＵＭＨＥＸ）等の探索アルゴリズムが提案されてきた（例えば、特許文献１）。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】渡邉良亮、阿部公輝、“動画像符号化規格Ｈ．２６４／ＡＶＣにおける高速高精度動き検出”、電子情報通信学会技術研究報告（画像工学研究会）、Ｖｏｌ.１０９、Ｎｏ．３２２、ｐｐ．６５−７０、Ｄｅｃ．２００９。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の動画像符号化装置は、動きベクトル検出に費やす演算処理量が大きいため、動画像符号化処理において、動きベクトル検出の処理時間の占める割合が非常に大きくなってしまうという問題があった。よって、符号化処理時間を小さくするためには、動きベクトルをより効率的に検出することで検出時間を削減しなければならないという課題があった。
【０００６】
本発明は、上記のような課題を解決するためになされたもので、符号化対象画像と特徴量抽出用参照画像の特徴点の対応を利用して動きベクトルをより効率的に検出し、動きベクトル検出の演算処理量を低減することを目的とする。
【課題を解決するための手段】
【０００７】
この発明に係る動画像符号化装置は、符号化対象画像から予測画像を減算して予測残差を生成し、前記予測残差を圧縮する圧縮部と、前記圧縮部が圧縮した予測残差を伸長し、前記予測画像を加算して復号画像を生成する伸長部と、前記伸長部が生成した復号画像を蓄積する復号画像蓄積部と、前記符号化対象画像と特徴量抽出用参照画像からそれぞれ特徴点と特徴量を抽出する特徴量抽出部と、前記特徴量抽出部が抽出した前記符号化対象画像と前記特徴量抽出用参照画像の前記特徴量に基づき前記符号化対象画像と前記特徴量抽出用参照画像の前記特徴点を対応させた対応点ペアを決定し、前記対応点ペアの画像内座標の差分を動きベクトルとして検出する動きベクトル検出部と、前記動きベクトル検出部が検出した前記動きベクトルに基づいて動き補償した予測画像を前記復号画像蓄積部が蓄積した前記復号画像から生成し、前記予測画像として出力する予測画像生成部とを備える。
【発明の効果】
【０００８】
本発明によれば、符号化対象画像と特徴量抽出用参照画像からそれぞれ特徴点と特徴量を抽出する特徴量抽出部と、符号化対象画像と特徴量抽出用参照画像の特徴量に基づき符号化対象画像と特徴量抽出用参照画像の特徴点を対応させた対応点ペアを決定し、対応点ペアの画像内座標の差分を動きベクトルとして検出する動きベクトル検出部とを備えたので、動きベクトルをより効率的に検出し、動きベクトル検出の演算処理量を低減することができる。
【図面の簡単な説明】
【０００９】
【図１】この発明の実施の形態１に係る動画像符号化装置の一例を示す構成図である。
【図２】この発明の実施の形態１に係る動画像符号化装置の動作の一例を示すフローチャートである。
【図３】符号化対象画像および特徴量抽出用参照画像の一例を示す説明図である。
【図４】符号化対象画像のブロック分割の一例を示す説明図である。
【図５】特徴点を抽出した後の符号化対象画像および特徴量抽出用参照画像の一例を示す説明図である。
【図６】符号化対象画像および特徴量抽出用参照画像の特徴点の対応付けの一例を示す説明図である。
【図７】この発明の実施の形態１に係る動画像符号化装置の動きベクトル検出部の詳細な動作の一例を示すフローチャートである。
【図８】符号化対象画像のブロック内に対応点を持つ特徴点から代表点を選択する第１の例の説明図である。
【図９】符号化対象画像のブロック内に対応点を持つ特徴点から代表点を選択する第２の例の説明図である。
【図１０】符号化対象画像のブロック内に対応点を持つ特徴点から代表点を選択する第３の例の説明図である。
【図１１】ブロック周囲の対応点を持つ特徴点から代表点を選択する一例の説明図である。
【図１２】ブロック内およびブロック周囲に対応点を持つ特徴点がない一例の説明図である。
【図１３】この発明の実施の形態２に係る動画像符号化装置の一例を示す構成図である。
【発明を実施するための形態】
【００１０】
この発明は、動きベクトルを検出して動画像を符号化する動画像符号化装置および動画像符号化方法に関わるものである。以下に、この発明の実施の形態について説明する。
【００１１】
実施の形態１．
この発明の実施の形態１に係る動画像符号化装置について説明する。
【００１２】
図１は、この発明の実施の形態１に係る動画像符号化装置の一例を示す構成図である。図において、動画像符号化装置は、圧縮部１０１、伸長部１０２、復号画像蓄積部（フレームメモリ）１０３、特徴量抽出部１０４、動きベクトル検出部１０５、予測画像生成部１０６から構成される。
【００１３】
圧縮部１０１は、入力される符号化対象画像から予測画像を減算して差分画像（予測残差）を生成し、この差分画像を圧縮する。伸長部１０２は、圧縮部１０１が圧縮した差分画像を伸長し、予測画像を加算して復号画像を生成する。復号画像蓄積部（フレームメモリ）１０３は、メモリ等の蓄積手段として、伸長部１０１が生成した復号画像を蓄積する。特徴量抽出部１０４は、符号化対象画像と特徴量抽出用参照画像からそれぞれ特徴点と特徴量を抽出する。動きベクトル検出部１０５は、特徴量抽出部１０４が抽出した符号化対象画像と特徴量抽出用参照画像の特徴量の距離に基づき符号化対象画像と特徴量抽出用参照画像の特徴点を対応させた対応点ペアを決定し、対応点ペアの画像内座標の差分を動きベクトルとして検出する。予測画像生成部１０６は、動きベクトル検出部１０５が検出した動きベクトルに基づいて参照画像から動き補償した予測画像を生成する。エントロピー符号化部１０７は、圧縮部１０１が圧縮した差分画像をエントロピー符号化してビットストリームを生成する。なお、この発明の実施の形態１では、特徴量抽出部１０４が参照する特徴量抽出用参照画像、動きベクトル検出部１０５および予測画像生成部１０６が参照する参照画像として復号画像蓄積部１０３が蓄積した復号画像を利用している。
【００１４】
ここで、この圧縮部１０１は、例えば減算部１０１１、変換・量子化部１０１２から圧縮手段を構成する。減算部１０１１は、符号化対象画像から予測画像生成部１０６が出力した予測画像を減算して差分画像（予測残差）を生成する。変換・量子化部１０１２は、減算部１０１１が生成した差分画像を直交変換し、直交変換係数を出力する直交変換部（図示せず）と、この直交変換部が出力した直交変換係数を量子化し、圧縮画像を生成する量子化部（図示せず）から構成される。
【００１５】
また、この伸長部１０２は、例えば逆量子化・逆変換部１０２１と加算部１０２２から伸長手段を構成する。逆量子化・逆変換部１０２１は、圧縮部１０１が出力した圧縮画像を逆量子化し、直交変換係数を出力する逆直交変換部（図示せず）と、この逆直交変換部が出力した直交変換係数を逆直交変換して差分画像を生成する逆直交変換部（図示せず）から構成される。加算部１０２２は、逆直交変換部が出力した差分画像に予測画像を加算して復号画像を生成する。
【００１６】
また、予測画像生成部１０６は、動きベクトル検出部１０５が検出した動きベクトルに基づいて復号画像蓄積部１０３が蓄積した復号画像から動き補償した予測画像を生成する。また、予測画像生成部１０６は、復号画像蓄積部１０３が蓄積した復号画像からイントラ予測による予測画像を生成し、動き補償した予測画像とイントラ予測した予測画像からそれぞれ符号化コストを算出し、符号化コストが小さくなる予測画像を出力するようにしてもよい。符号化コストは、平均自乗誤差などを算出してもよいし、期待値のレベルで簡易に算出して評価しても構わない。
【００１７】
なお、この動画像符号化装置の変形例として、圧縮部１０１内の変換・量子化部１０１２の直交変換部、量子化部、伸長部１０２内の逆量子化・逆変換部１０２１の逆量子化部、逆直交変換部において順変換および逆変換の対応する処理部は、省略して構成してもよい。例えば、直交変換部と逆直交変換部がない構成、量子化部、逆量子化部がない構成を採用してもよい。さらに、直交変換部、量子化部、逆量子化部、逆直交変換部がなく、減算部１０１１のみの圧縮部１０１および加算部１０２２のみの伸長部１０２とした構成を採用してもよい。このような圧縮部１０１と伸長部１０２の変形例の動画像符号化装置に対して、動画像復号装置では動画像符号化装置の伸長部１０２に相当する伸長部を有する構成を採用して、エントロピー符号化部１０７が生成したビットストリームを復号するものとする。
【００１８】
次に、この発明の実施の形態１に係る動画像符号化装置の動作を説明する。
【００１９】
図２は、この発明の実施の形態１に係る動画像符号化装置の動作の一例を示すフローチャートである。
【００２０】
まず、ステップＳＴ１１において、符号化対象画像をブロックに分割する。このブロック分割は、例えば図示しない符号化制御部が符号化全体の制御とともにブロック分割を行うものとする。
【００２１】
例えば、図３は、符号化対象画像および特徴量抽出用参照画像の一例を示す説明図である。また、図４は、符号化対象画像のブロック分割の一例を示す説明図である。ここでは、図中、左の符号化対象画像を例えば水平方向に４ブロック、垂直方向に３ブロックに分割するものを示しているが、画像サイズやブロックサイズによって異なる分割数をとってもよい。
【００２２】
特徴量抽出部１０４は、ステップＳＴ１２において、符号化対象画像および特徴量抽出用参照画像のそれぞれから画像特徴量の抽出を行う。ここで、特徴量抽出部１０４は、符号化対象画像および特徴量抽出用参照画像を入力として、符号化対象画像の、特徴量と画像内の座標で構成される特徴点の座標と特徴量と特徴量抽出用参照画像の特徴点の座標と特徴量を抽出する処理、例えば、画像のエッジ情報（参考文献：特開２００７−１３４７５５号公報）やＳＩＦＴ法（参考文献：Ｄ．Ｇ．Ｌｏｗｅ，“Ｏｂｊｅｃｔ  ｒｅｃｏｇｎｉｔｉｏｎ  ｆｒｏｍ  ｌｏｃａｌ  ｓｃａｌｅ  ｉｎｖａｒｉａｎｔ  ｆｅａｔｕｒｅｓ“，Ｐｒｏｃ．  Ｏｆ  ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ（ＩＣＣＶ），ｐｐ．１１５０−１１５７，１９９９）等の特徴量抽出処理を実施し、得られた符号化対象画像の特徴点の座標と特徴量および特徴量抽出用参照画像の特徴点の座標と特徴量を出力する。なお、特徴量抽出処理方法としてＳＩＦＴ法を適用する場合、特徴量の一つであるＤｏＧ値（Ｄｉｆｆｅｒｅｎｃｅ  ｏｆ  Ｇａｕｓｓｉａｎ）が閾値以下である場合に特徴点として検出しないで予め絞り込んでしまう場合もあるが、ここで特徴点を絞り込まずにすべて検出しておいてもよい。このとき、ＤｏＧ値を特徴点の座標とともに保存しておき、最終的な絞り込み時点で利用してもよい。これにより、画像上の局所的に特徴点の少ないブロックや存在しないブロックを減らし、動きベクトル検出に使用する特徴点を確保してもよい。
【００２３】
例えば、図５は、特徴点を抽出した後の符号化対象画像および特徴量抽出用参照画像の一例を示す説明図である。特徴量抽出部１０４は、図４に示す符号化対象画像および特徴量抽出用参照画像を入力として特徴点をそれぞれ検出する。その結果として検出された特徴点の位置を図５の符号化対象画像および特徴量抽出用参照画像の各画像上に黒丸で示したものである。なお、例え符号化対象画像および特徴量抽出用参照画像が連続する画像フレームであったとしても、画像上の対象物の大きさ、色、形状、位置、向きなどの変化、また撮像装置（例えばカメラ）の撮像パラメータなどの変化によって、画像上に検出される特徴点の数が異なってくることがありうる。図５の例においては、符号化対象画像および特徴量抽出用参照画像の対象物の大きさ、形状、位置などの違いから楕円と菱形の対象物上に検出された特徴点数が異なっている。また、対象物上でない背景部に特徴点が検出されることもある。
【００２４】
動きベクトル検出部１０５は、ステップＳＴ１３において、符号化対象画像と特徴点抽出用画像から抽出した特徴点を対応付ける。例えば、符号化対象画像と特徴点抽出用画像の特徴量の距離（例えば差分）が最小となる特徴点のペアを対応点ペアとして対応付ける。
【００２５】
例えば、図６は、符号化対象画像および特徴量抽出用参照画像の特徴点の対応付けの一例を示す説明図である。直線で結ばれた特徴点が対応点ペアを表している。特徴点の対応点ペアの画像内座標差分を対応点差分ベクトルとして検出する。
【００２６】
また、対応点ペアの検出では、例えば特徴量の距離（例えば差分）が所定の閾値より小さいものを対応付けの候補として仮検出し、一方の画像の１つの特徴点が他方の画像の複数の特徴点に対応しないように、周囲の対応状況も考慮して対応点ペアを対応付ける二段階で対応付けるようにしてもよい。例えば、特徴点が集中する場合には、それぞれの特徴点の対応点ペアの対応点差分ベクトルが極端に異なる特徴点がある場合には、複数の段階に分けて絞り込んで対応付けることにより特徴量の距離が最小とはならなくても良好な対応に修正し、信頼性をより向上できることもある。図６の例においては、符号化対象画像および特徴量抽出用参照画像に検出された特徴点において、符号化対象画像の楕円、特徴量抽出用参照画像の三角形の対象物に対応点ペアを持たない孤立した特徴点が存在することを示している。また、符号化対象画像の三角形、特徴量抽出用参照画像の菱形の対象物の間に検出された破線で示した対応点ペアのように、他の当該対象物にそれぞれ検出された対応点差分ベクトルに比較して例えば長さや方向が特異な対応点差分ベクトルとして無効であると判断できれば特徴点を抹消してもよい。
【００２７】
次に、動きベクトル検出部１０５は、ステップＳＴ１４において、動きベクトルを検出する。符号化対象画像と、特徴量抽出部１０４から符号化対象画像の特徴点の座標と特徴量および特徴量抽出用参照画像の特徴点の座標と特徴量を入力として、動きベクトル検出を行い、動きベクトルを出力する。この動きベクトル検出部１０５の詳細な処理については後述する。
【００２８】
予測画像生成部１０６は、ステップＳＴ１５において、動きベクトル検出部１０５から動きベクトル、フレームメモリ１０３から参照画像を入力とし、動きベクトルに基づく動き補償予測を行い、ステップＳＴ１６において、予測画像を生成する。
【００２９】
なお、１枚目の符号化対象画像については、フレーム間の相関を利用した動き補償予測によるインター予測符号化（フレーム間予測符号化）が適用できないため、ステップＳＴ１２からステップＳＴ１５の特徴量抽出、特徴点の対応付け、動き検出、動き補償予測は行わず、ステップＳＴ１７において、符号化対象画像からイントラ予測（フレーム内予測）して予測画像を生成するものとする。なお、イントラ予測符号化を採用しない場合は、最初のフレームの特徴量抽出用参照画像に所定の画像、例えば所定の信号値の画像（全白や全グレイ）、それらを組み合わせたチャートなどの適用を符号化装置及び復号装置の間で取り決めておき、インター予測符号化してもよい。
【００３０】
また、インター予測符号化とイントラ予測符号化のうち、符号化コストが小さい予測画像を採用する場合は、ステップＳＴ１４上方から分岐させ、ステップＳＴ１４からステップＳＴ１５およびステップＳＴ１６の一部となる動き補償による予測画像の生成を含む処理群とステップＳＴ１７およびステップＳＴ１６の一部となるイントラ予測による予測画像の生成を含む処理群を順次処理しても、または並列に処理しても構わない。そして、ステップＳＴ１６の残りの処理として、動き補償による予測画像とイントラ予測による予測画像から符号化コストを算出し、符号化コストが小さくなる予測画像を出力してもよい。
【００３１】
圧縮部１０１は、ステップＳＴ１８において、符号化対象画像から予測画像を減算して差分画像を生成し、ステップＳＴ１９において、差分画像に対して直交変換および量子化を行い、圧縮画像を生成する。
【００３２】
伸長部１０２は、ステップＳＴ２０１８において、圧縮画像に対して逆量子化および逆直交変換を行って差分画像を復元し、ステップＳＴ２１において、復元した差分画像に予測画像を加算して復号画像を生成する。
【００３３】
復号画像蓄積部（フレームメモリ）１０３は、ステップＳＴ２２において、復号画像を蓄積する。
【００３４】
エントロピー符号化部１０７は、ステップＳＴ２３において、圧縮部１０１が生成した圧縮画像をエントロピー符号化してビットストリームを出力する。ここでは、ステップＳＴ２０からステップＳＴ２２と別経路の並列処理で示しているが、同一経路の一部と示しても構わない。
【００３５】
ステップＳＴ２４において、未処理のブロックの有無を判定し、未処理のブロックがあれば（Ｙｅｓ）、ステップＳＴ１４からステップＳＴ２３を処理する動作を符号化対象画像のブロック単位で反復する。未処理のブロックがなくなれば（Ｎｏ）終了する。この後、さらに次の符号化対象画像があるか判定し（図示せず）、次の符号化対象画像があれば、このフローチャートを繰り返し実行すればよい。
【００３６】
なお、ステップＳＴ１４からステップＳＴ２３の処理をステップＳＴ２４の判定によりブロック単位で反復処理するため、ステップＳＴ２４の判定からの戻り先より前であれば、ステップＳＴ１１の符号化対象画像をブロック分割する処理をステップＳＴ１２の画像特徴量抽出の後、または特徴点の対応付けの直後で行っても構わない。
【００３７】
図７は、この発明の実施の形態１に係る動画像符号化装置の動きベクトル検出部の詳細な動作の一例を示すフローチャートである。
【００３８】
動きベクトル検出部１０５は、ステップＳＴ３１において、ブロック内に対応点を持つ特徴点が存在するか判定する。ブロック内に対応点を持つ特徴点が存在するとき（Ｙｅｓ）、ステップＳＴ３２において、ブロック内の特徴点から代表点を選択する。
【００３９】
ここで、図８は符号化対象画像のブロック内に対応点を持つ特徴点から代表点を選択する第１の例の説明図である。例えば、符号化対象画像のブロック内の各対応点ペアの画像内座標差分を動きベクトル（対応点差分ベクトル）としたときの符号化コストが最小となる対応点ペアのブロック内特徴点を代表点とする。符号化効率が最大と考えてもよい。例えば、対応点を持つ白丸で示した特徴点が最小の符号化コストとなって選択されたものとする。また、図９は符号化対象画像のブロック内に対応点を持つ特徴点から代表点を選択する第２の例の説明図である。例えば、符号化対象画像のブロック内の各対応点ペアの特徴点のうち、×で示すブロック中心に位置が最も近い白丸で示した特徴点を代表点とする。さらに、図１０は符号化対象画像のブロック内に対応点を持つ特徴点から代表点を選択する第３の例の説明図である。例えば、符号化対象画像のブロック内を４分割し、特徴点が最も集中する４分割領域（左下領域）内の各対応点ペアの特徴点のうち、ブロック中心に最も近い特徴点あるいは特徴量の距離が最小である特徴点を代表点とする。あるいは、符号化コストが最小となる特徴点を代表点としてもよい。４分割の境界上にある特徴点はその境界に関わる両方の各領域内の特徴点数に計上してもよいし、また当該特徴点を除いてより多くあるいは少なく特徴点を含む領域内の特徴点数に計上するようにしてもよい。また、図８から図１０の３つの選択方法や他の選択方法から２つ以上を組み合わせてもよい。また、特徴量抽出部１０４において特徴量抽出処理方法としてＳＩＦＴ法を適用し、ＤｏＧ値を保存している場合、例えばＤｏＧ値が最大である特徴点を代表点として選択してもよい。なお、図８から図１０において、破線の丸で示した特徴点は例えば図６の例で説明したように、ここでは対応点ペアの検出の段階で無効と判断した特徴点とし、代表点候補外とする。
【００４０】
また、例えばブロック内の対応点ペアの特徴点について、それぞれ対応点差分ベクトルを求め、その絶対値の平均値や中間値に最も近い特徴点を代表点に選択してもよい。また、例えば複数の特徴点の各特徴量の距離に基づく値（例えば特徴量の距離の逆数など）で対応点差分ベクトルの絶対値を重み付けした重み付け平均値に最も近い特徴点を代表点に選択するようにしてもよい。
【００４１】
動きベクトル検出部１０５は、ブロック内に対応点を持つ特徴点が存在しないとき（ステップＳＴ３１でＮｏ）、ステップＳＴ３３において、ブロック周囲に対応点を持つ特徴点が存在するか判定する。ブロック周囲に対応点を持つ特徴点が存在するとき（Ｙｅｓ）、ステップＳＴ３４において、ブロック周囲の特徴点から代表点を選択して流用する。
【００４２】
ここで、図１１は、ブロック周囲の対応点を持つ特徴点から代表点を選択する一例の説明図である。ここでは、ブロック内に対応点を持つ特徴点がないため、所定の範囲内のブロック周囲の対応点を持つ特徴点から代表点を選択する。例えば、ブロック中心(×)から最も近いブロック周囲の対応点を持つ特徴点（白丸）を代表点に流用してもよいし、所定の範囲内の特徴点から先に説明した図８から図１０の選択方法のいずれか単独または組合せにより代表点を選択して流用してもよい。あるいは、特徴量抽出処理方法としてＳＩＦＴ法を適用し、ＤｏＧ値を保存している場合、ＤｏＧ値が最大である特徴点を代表点として選択してよい。
【００４３】
動きベクトル検出部１０５は、ブロック周囲に対応点を持つ特徴点が存在しないとき（ステップＳＴ３３でＮｏ）、ステップＳＴ３５において、通常のブロックマッチングを行う。
【００４４】
ここで、図１２は、ブロック内およびブロック周囲に対応点を持つ特徴点がない一例の説明図である。ここでは、ブロック内およびブロック周囲の対応点を持つ特徴点から代表点を選択することができないため、通常のブロックマッチングにより動きベクトルを検出する。
【００４５】
動きベクトル検出部１０５は、ステップＳＴ３６において、代表点として選択した特徴点の対応点ペアの画像内座標差分を動きベクトルとして決定する。
【００４６】
以上のように、この発明の実施の形態１による動画像符号化装置によれば、特徴量抽出部が符号化対象画像と特徴量抽出用参照画像について特徴点の座標とその特徴量を抽出し、動きベクトル検出部が符号化対象画像と特徴量抽出用参照画像の間の各特徴点の対応点ペアの画像内座標差分である対応点差分ベクトルを動きベクトルとするようにしたので、従来のように画素単位でマクロブロックの探索を行う必要がなくなり、処理量や処理時間を削減することができる効果を奏する。
【００４７】
また、この発明の実施の形態１による動画像符号化装置によれば、符号化対象画像のブロック内に特徴点の対応点ペアが見つからないときでも、周囲のブロックの所定の範囲の特徴点の対応点ペアを流用して対応点差分ベクトルを動きベクトルとするようにしたので、画素単位でマクロブロックの探索を行う必要がなくなり、処理量や処理時間を削減することができる効果を奏する。
【００４８】
また、この発明の実施の形態１による動画像符号化装置によれば、符号化対象画像のブロック内およびに周囲のブロックの所定の範囲に特徴点の対応点ペアが見つからないときでも、近隣ブロックの対応点ペアの情報を使用できるので、ブロックマッチングを行うときのブロックの探索を対応点ペアの周辺に制限することができる。この制限により、ブロックマッチングの探索範囲を狭め、処理量や処理時間を削減することができる効果を奏する。
【００４９】
実施の形態２．
この発明の実施の形態１では、蓄積した復号画像を特徴量抽出用参照画像に使用して特徴量を抽出する動画像符号化装置について説明した。次に、この発明の実施の形態２では、蓄積した符号化対象画像を特徴量抽出用参照画像に使用して特徴量を抽出する動画像符号化装置について説明する。
【００５０】
図１３は、この発明の実施の形態２に係る動画像符号化装置の一例を示す構成図である。図において、動画像符号化装置は、圧縮部１０１、伸長部１０２、第１の蓄積手段としての復号画像蓄積部（第１のフレームメモリとする）１０３、特徴量抽出部１０４、動きベクトル検出部１０５、予測画像生成部１０６、画像蓄積部（第２のフレームメモリとする）１０７から構成される。ここで、圧縮部１０１、伸長部１０２、復号画像蓄積部（第１のフレームメモリ）１０３、動きベクトル検出部１０５、予測画像生成部１０６は、図１で説明したこの発明の実施の形態１に係る動画像符号化装置における構成図に同一符号で示した構成部と同様に機能し、動作する。また、特徴量抽出部１０４は、画像蓄積部（第２のフレームメモリ）１０７から特徴量抽出用参照画像が入力される以外、図１で説明したこの発明の実施の形態１に係る動画像符号化装置における構成図に示した特徴量抽出部１０４と同様機能し、動作する。図において、画像蓄積部（第２のフレームメモリ）１０７は、メモリ等の第２の蓄積手段として、符号化対象画像を蓄積し、現符号化対象画像より以前に蓄積した符号化対象画像を特徴量抽出部１０４に特徴量抽出用参照画像として出力する。なお、この発明の実施の形態２では、この発明の実施の形態１と同様に動きベクトル検出部１０５および予測画像生成部１０６が参照する参照画像をとして復号画像蓄積部１０３が蓄積した復号画像、またこの発明の実施の形態１と異なり、特徴量抽出部１０４が参照する特徴量抽出用参照画像として画像蓄積部（第２のフレームメモリ）１０７が蓄積した符号化対象画像を利用している。
【００５１】
この発明の実施の形態２に係る動画像符号化装置の動作の一例は、図２に示したこの発明の実施の形態１に係る動画像符号化装置の動作のフローチャートに、フレームメモリ１０７に符号化対象画像を蓄積するステップを追加する（図示せず）ことで説明できる。例えば、フローチャートの最初に符号化対象画像蓄積のステップ（ステップＳＴ５１とする）を追加する。図において、画像蓄積部（第２のフレームメモリ）１０７は、ステップＳＴ５１において、現符号化対象画像を蓄積する。特徴量抽出部１０４は、ステップＳＴ１２において、現符号化対象画像およびこの符号化対象画像より以前に画像蓄積部（第２のフレームメモリ）１０７に蓄積した符号化対象画像である特徴量抽出用参照画像のそれぞれから画像特徴量の抽出を行う。他のステップＳＴ１３からステップＳＴ２３およびステップＳＴ２４の反復判定は、図２に示したこの発明の実施の形態１に係る動画像符号化装置の動作のフローチャートと同様であるため、その説明を省略する。なお、符号化対象画像蓄積のステップ（ステップＳＴ５１）は、フローチャートの最初に限らず、次の符号化対象画像の処理を始めるまでに蓄積すればよい。
【００５２】
この発明の実施の形態２に係る動画像符号化装置の動きベクトル検出部の詳細な動作を示すフローチャートは、図７に示したこの発明の実施の形態１に係る動画像符号化装置の動きベクトル検出部の詳細な動作の一例を示すフローチャートと同様に説明できるため説明を省略する。
【００５３】
以上のように、この発明の実施の形態２による動画像符号化装置によれば、この発明の実施の形態１による動画像符号化装置と同様に、特徴量抽出部が符号化対象画像と特徴量抽出用参照画像について特徴点の座標とその特徴量を抽出し、動きベクトル検出部が符号化対象画像と特徴量抽出用参照画像の間の各特徴点の対応点ペアの画像内座標差分である対応点差分ベクトルを動きベクトルとするようにしたので、従来のように画素単位でマクロブロックの探索を行う必要がなくなり、処理量や処理時間を削減することができる効果を奏する。
【００５４】
また、この発明の実施の形態２による動画像符号化装置によれば、この発明の実施の形態１による動画像符号化装置と同様に、符号化対象画像のブロック内に特徴点の対応点ペアが見つからないときでも、周囲のブロックの所定の範囲の特徴点の対応点ペアを流用して対応点差分ベクトルを動きベクトルとするようにしたので、画素単位でマクロブロックの探索を行う必要がなくなり、処理量や処理時間を削減することができる効果を奏する。
【００５５】
また、この発明の実施の形態２による動画像符号化装置によれば、この発明の実施の形態１による動画像符号化装置と同様に、符号化対象画像のブロック内およびに周囲のブロックの所定の範囲に特徴点の対応点ペアが見つからないときでも、近隣ブロックの対応点ペアの情報を使用できるので、ブロックマッチングを行うときのブロックの探索を対応点ペアの周辺に制限することができる。この制限により、ブロックマッチングの探索範囲を狭め、処理量や処理時間を削減することができる効果を奏する。
【００５６】
また、この発明の実施の形態２による動画像符号化装置によれば、特徴量抽出用参照画像として現符号化対象画像より以前に蓄積した符号化対象画像をそのまま使用するので、特徴量の抽出が圧縮部の処理による量子化等の画質劣化の影響を受けることなく、より現符号化対象画像に近い特徴量を抽出できるという効果を奏する。
【００５７】
また、この発明の実施の形態２による動画像符号化装置によれば、特徴量抽出用参照画像として現符号化対象画像より以前に蓄積した符号化対象画像を使用するので、特徴点抽出処理とエントロピー符号化処理をより並列処理しやすくなるという効果を奏する。
【符号の説明】
【００５８】
１０１  圧縮部、１０２  伸長部、１０３  復号画像蓄積部（フレームメモリ、第１のフレームメモリ）、１０４  特徴量抽出部、１０５  動きベクトル検出部、１０６  予測画像生成部、１０７  画像蓄積部（第２のフレームメモリ）、１０１１  減算器、１０１２  変換・量子化部、１０２１  逆量子化・逆変換部、１０２２  加算器。
【図１】
2014239373.tif 000003
【図２】
2014239373.tif 000004
【図３】
2014239373.tif 000005
【図４】
2014239373.tif 000006
【図５】
2014239373.tif 000007
【図６】
2014239373.tif 000008
【図７】
2014239373.tif 000009
【図８】
2014239373.tif 000010
【図９】
2014239373.tif 000011
【図１０】
2014239373.tif 000012
【図１１】
2014239373.tif 000013
【図１２】
2014239373.tif 000014
【図１３】
2014239373.tif 000015