(57)【要約】【課題】動きベクトルを探索する際の演算量を削減することができるようにする。【解決手段】フレームメモリＩ／Ｆ３により読み出された符号化対象ブロック又は前回読み出された参照画像内で動きベクトルが検出されたブロックを起点ブロックに設定し、その起点ブロックから今回読み出された参照画像に対する動きベクトルを探索する動きベクトル探索部４を設け、加算器５が上記動きベクトルを累積ベクトルに累積し、符号化／非符号化制御部６がフレームメモリＩ／Ｆ３により読み出された参照画像が符号化対象ピクチャ内の画像であれば、その累積ベクトルを最終的な動きベクトルとして出力して、その累積ベクトルを零リセットする。【選択図】図１
2011071839.tif 000002
【特許請求の範囲】
【請求項１】
動画像を構成している複数のピクチャを格納しているピクチャ格納手段と、動きベクトルが累積されている累積ベクトルを記憶する累積ベクトル記憶手段と、上記ピクチャ格納手段により格納されているピクチャのうち、動きベクトル検出用ピクチャに関する入力フレームレートが、符号化対象ピクチャに関する符号化フレームレートの公倍数である場合、上記ピクチャ格納手段から上記符号化フレームレートで特定される符号化対象ピクチャ内の符号化対象ブロックを読み出すとともに、上記符号化フレームレートの公倍数分だけ、上記入力フレームレートで特定される動きベクトル検出用ピクチャの中から、上記累積ベクトル記憶手段により記憶されている累積ベクトルが指し示している参照画像を順番に読み出す画像読出手段と、上記画像読出手段により参照画像が読み出される毎に、上記画像読出手段により読み出された符号化対象ブロック又は前回読み出された参照画像内で動きベクトルが検出されたブロックを起点ブロックに設定し、上記起点ブロックから今回読み出された参照画像に対する動きベクトルを探索する動きベクトル探索手段と、上記動きベクトル探索手段により探索された動きベクトルを上記累積ベクトル記憶手段により記憶されている累積ベクトルに累積し、上記画像読出手段により読み出された参照画像が符号化対象ピクチャ内の画像であれば、上記累積ベクトルを最終的な動きベクトルとして出力して、上記累積ベクトルを零リセットする動きベクトル累積手段とを備えた動きベクトル検出装置。
【請求項２】
動画像を構成している複数のピクチャのうち、動きベクトル検出用ピクチャに関する入力フレームレートが、符号化対象ピクチャに関する符号化フレームレートの公倍数である場合、画像読出手段が、動画像を構成している複数のピクチャの中から、上記符号化フレームレートで特定される符号化対象ピクチャ内の符号化対象ブロックを読み出すとともに、上記符号化フレームレートの公倍数分だけ、上記入力フレームレートで特定される動きベクトル検出用ピクチャの中から、動きベクトルが累積されている累積ベクトルが指し示している参照画像を順番に読み出す画像読出処理ステップと、上記画像読出処理ステップで参照画像が読み出される毎に、動きベクトル探索手段が、上記画像読出処理ステップで読み出された符号化対象ブロック又は前回読み出された参照画像内で動きベクトルが検出されたブロックを起点ブロックに設定し、上記起点ブロックから今回読み出された参照画像に対する動きベクトルを探索する動きベクトル探索処理ステップと、動きベクトル累積手段が、上記動きベクトル探索処理ステップで探索された動きベクトルを上記累積ベクトルに累積し、上記画像読出処理ステップで読み出された参照画像が符号化対象ピクチャ内の画像であれば、上記累積ベクトルを最終的な動きベクトルとして出力して、上記累積ベクトルを零リセットする動きベクトル累積処理ステップとを備えた動きベクトル検出方法。
【請求項３】
画像読出処理ステップで読み出された参照画像が符号化対象ピクチャ内の画像でなければ、Ｎ／１精度動きベクトル探索手段が、動きベクトル探索処理ステップにおける動きベクトルの探索精度よりも細かい探索精度で動きベクトルを探索するＮ／１精度動きベクトル探索処理ステップを実行し、動きベクトル累積手段が、上記Ｎ／１精度動きベクトル探索処理ステップで探索された動きベクトルを累積ベクトルに累積することを特徴とする請求項２記載の動きベクトル検出方法。
【請求項４】
動きベクトル探索処理ステップ及びＮ／１精度動きベクトル探索処理ステップにおける動きベクトルの探索精度の比率が、符号化フレームレートと入力フレームレートの比率と等しくなるように動きベクトルの探索精度が決められていることを特徴とする請求項３記載の動きベクトル検出方法。
【請求項５】
動画像を構成している複数のピクチャのうち、符号化対象ピクチャ以外のピクチャが縮小された画像である場合、画像読出手段が、参照画像を順番に読み出す際、上記参照画像が符号化対象ピクチャ以外のピクチャ内の画像であれば、上記参照画像を縮小前のサイズに戻すサイズ変換処理を実行することを特徴とする請求項２から請求項４のうちのいずれか１項記載の動きベクトル検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、動画像を構成している複数のピクチャをマクロブロック（所定の水平画素数と垂直ライン数からなるブロック）単位に分割し、マクロブロック毎に動き補償予測を行うための動きベクトルを検出する動きベクトル検出装置及び動きベクトル検出方法に関するものである。
【背景技術】
【０００２】
動画像を高能率符号化してディジタル伝送する際に、動き補償予測処理を実施する通信システムがある。
この動き補償予測処理は、動画像を例えばマクロブロック単位に分割し、マクロブロック毎に動画像の動きベクトルを検出して、動き補償予測を行うものである。
動きベクトルの検出方法は、例えば、以下の非特許文献１に開示されており、この方法は、「ブロックマッチング法」と呼ばれるものである。
【０００３】
ここで、ブロックマッチング法について簡単に説明する。
まず、現画像をマクロブロック（例えば、１６画素×１６ライン、あるいは、１６画素×８ラインからなるブロック）単位に分割する。
次に、マクロブロック毎に、例えば、差分絶対値総和等の誤差評価基準を用いて、参照画像における各ブロックとの予測誤差評価基準値を算出し、予測誤差評価基準値が最も小さくなる参照画像内のブロックを探索する。
そして、当該マクロブロックから予測誤差評価基準値が最も小さくなる参照画像内のブロックを指し示すベクトルを動きベクトルとして算出する。
【０００４】
図８はブロックマッチング法による動きベクトル探索の概念を示す説明図である。
図８では、符号化フレームレート（１秒間に符号化するピクチャの個数）が３０ｆｐｓである例が示されており、符号化対象ピクチャであるフレーム（１），（２）が入力されている。フレーム（１）は過去の符号化対象ピクチャであり、フレーム（２）は現在の符号化対象ピクチャである。
図８の例では、フレーム（２）内のマクロブロックが符号化対象画像であり、フレーム（１）内の参照画像（±ａ（ａは自然数）の探索領域）の中から、当該マクロブロックとの予測誤差評価基準値が最も小さくなるブロックを探索する。ａはいかなる自然数でもよいが、ここでは、説明の便宜上、ａ＝４０であるとする。
【０００５】
ブロックマッチング法では、フレーム（２）内のマクロブロックと、フレーム（１）内の参照画像における各ブロックとの予測誤差評価基準値を算出し、予測誤差評価基準値が最も小さくなる参照画像内のブロックを探索するが、ａ＝４０の場合、水平方向の探索点は、参照画像の中心の位置のほかに、参照画像の中心の位置から水平左方向に４０の箇所と水平右方向に４０の箇所となる。
また、垂直方向の探索点は、参照画像の中心の位置のほかに、参照画像の中心の位置から垂直上方向に４０の箇所と垂直下方向に４０の箇所となる。
したがって、参照画像内の探索点の総数は、６５６１箇所になる。
探索点の総数＝（４０＋４０＋１）×（４０＋４０＋１）＝６５６１
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】ＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１／Ｎ０４００  “ＴＥＳＴ ＭＯＤＥＬ５”
【発明の概要】
【発明が解決しようとする課題】
【０００７】
従来の動きベクトル検出装置は以上のように構成されているので、ブロックマッチング法を用いて動きベクトルを探索するが、ブロックマッチング法では、探索領域である参照画像内のブロックの位置を移動させながら、予測誤差評価基準値を算出する必要があり（ａ＝４０の場合、６５６１箇所で予測誤差評価基準値を算出する必要がある）、動きベクトルを探索する際の演算量が膨大になってしまう課題があった。
【０００８】
この発明は上記のような課題を解決するためになされたもので、動きベクトルを探索する際の演算量を削減することができる動きベクトル検出装置及び動きベクトル検出方法を得ることを目的とする。
【課題を解決するための手段】
【０００９】
この発明に係る動きベクトル検出装置は、ピクチャ格納手段により格納されているピクチャのうち、動きベクトル検出用ピクチャに関する入力フレームレートが、符号化対象ピクチャに関する符号化フレームレートの公倍数である場合、ピクチャ格納手段から符号化フレームレートで特定される符号化対象ピクチャ内の符号化対象ブロックを読み出すとともに、符号化フレームレートの公倍数分だけ、入力フレームレートで特定される動きベクトル検出用ピクチャの中から、累積ベクトル記憶手段により記憶されている累積ベクトルが指し示している参照画像を順番に読み出す画像読出手段と、画像読出手段により参照画像が読み出される毎に、画像読出手段により読み出された符号化対象ブロック又は前回読み出された参照画像内で動きベクトルが検出されたブロックを起点ブロックに設定し、その起点ブロックから今回読み出された参照画像に対する動きベクトルを探索する動きベクトル探索手段とを設け、動きベクトル累積手段が動きベクトル探索手段により探索された動きベクトルを累積ベクトル記憶手段により記憶されている累積ベクトルに累積し、画像読出手段により読み出された参照画像が符号化対象ピクチャ内の画像であれば、その累積ベクトルを最終的な動きベクトルとして出力して、その累積ベクトルを零リセットするようにしたものである。
【発明の効果】
【００１０】
この発明によれば、ピクチャ格納手段により格納されているピクチャのうち、動きベクトル検出用ピクチャに関する入力フレームレートが、符号化対象ピクチャに関する符号化フレームレートの公倍数である場合、ピクチャ格納手段から符号化フレームレートで特定される符号化対象ピクチャ内の符号化対象ブロックを読み出すとともに、符号化フレームレートの公倍数分だけ、入力フレームレートで特定される動きベクトル検出用ピクチャの中から、累積ベクトル記憶手段により記憶されている累積ベクトルが指し示している参照画像を順番に読み出す画像読出手段と、画像読出手段により参照画像が読み出される毎に、画像読出手段により読み出された符号化対象ブロック又は前回読み出された参照画像内で動きベクトルが検出されたブロックを起点ブロックに設定し、その起点ブロックから今回読み出された参照画像に対する動きベクトルを探索する動きベクトル探索手段とを設け、動きベクトル累積手段が動きベクトル探索手段により探索された動きベクトルを累積ベクトル記憶手段により記憶されている累積ベクトルに累積し、画像読出手段により読み出された参照画像が符号化対象ピクチャ内の画像であれば、その累積ベクトルを最終的な動きベクトルとして出力して、その累積ベクトルを零リセットするように構成したので、動きベクトルを探索する際の演算量を削減することができる効果がある。
【図面の簡単な説明】
【００１１】
【図１】この発明の実施の形態１による動きベクトル検出装置を示す構成図である。
【図２】この発明の実施の形態１による動きベクトル検出装置による動きベクトル探索の概念を示す説明図である。
【図３】この発明の実施の形態１による動きベクトル検出装置の処理内容を示すフローチャートである。
【図４】この発明の実施の形態２による動きベクトル検出装置を示す構成図である。
【図５】この発明の実施の形態２による動きベクトル検出装置の処理内容を示すフローチャートである。
【図６】この発明の実施の形態３による動きベクトル検出装置を示す構成図である。
【図７】この発明の実施の形態３による動きベクトル検出装置を示す構成図である。
【図８】ブロックマッチング法による動きベクトル探索の概念を示す説明図である。
【発明を実施するための形態】
【００１２】
実施の形態１．
図１はこの発明の実施の形態１による動きベクトル検出装置を示す構成図である。
図２はこの発明の実施の形態１による動きベクトル検出装置による動きベクトル探索の概念を示す説明図である。
図２では、符号化対象ピクチャに関する符号化フレームレート（１秒間に符号化するピクチャの個数）が３０ｆｐｓ、動きベクトル検出用ピクチャ（非符号化ピクチャ＋符号化対象ピクチャ）に関する入力フレームレートが１２０ｆｐｓである例が示されている。
即ち、符号化対象ピクチャであるフレーム（１），（５）が３０ｆｐｓの符号化フレームレートで入力され、フレーム（１）とフレーム（５）の間に、フレーム（２），（３），（４）が１２０ｆｐｓの入力フレームレートで入力されている。
なお、フレーム（１）は過去の符号化対象ピクチャであり、フレーム（５）は現在の符号化対象ピクチャである。
【００１３】
図１において、フレームメモリ１は動画像を構成している複数のピクチャ（図２を参照）を格納している記憶媒体である。なお、フレームメモリ１はピクチャ格納手段を構成している。
累積ベクトル記憶部２は動きベクトル探索部４により探索された動きベクトルが累積されている累積ベクトルを記憶している記憶媒体である。なお、累積ベクトル記憶部２は累積ベクトル記憶手段を構成している。
【００１４】
フレームメモリＩ／Ｆ３はフレームメモリ１により格納されているピクチャのうち、動きベクトル検出用ピクチャに関する入力フレームレートが、符号化対象ピクチャに関する符号化フレームレートの公倍数（例えば、入力フレームレートが１２０ｆｐｓで、符号化フレームレートが３０ｆｐｓであれば、公倍数は４倍）である場合、フレームメモリ１から符号化フレームレートで特定される符号化対象ピクチャ（例えば、現在の符号化対象ピクチャであるフレーム（５））内の符号化対象ブロック（例えば、１６画素×１６ライン、あるいは、１６画素×８ラインからなるマクロブロック）を読み出すとともに、その符号化フレームレートの公倍数分だけ、入力フレームレートで特定される動きベクトル検出用ピクチャの中から、累積ベクトル記憶部２により記憶されている累積ベクトルが指し示している参照画像（±ｂ（ｂは自然数）の探索領域）を順番に読み出す処理を実施する。なお、フレームメモリＩ／Ｆ３は画像読出手段を構成している。
【００１５】
動きベクトル探索部４はフレームメモリＩ／Ｆ３により参照画像が読み出される毎に、フレームメモリＩ／Ｆ３により読み出された符号化対象ブロック又は前回読み出された参照画像内で動きベクトルが検出されたブロックを起点ブロックに設定し、その起点ブロックから今回読み出された参照画像に対する動きベクトルを探索する処理を実施する。なお、動きベクトル探索部４は動きベクトル探索手段を構成している。
【００１６】
加算器５は動きベクトル探索部４により探索された動きベクトルを累積ベクトル記憶部２により記憶されている累積ベクトルに加算し（ベクトルの成分（水平成分、垂直成分）毎に加算する）、加算後の累積ベクトルを累積ベクトル記憶部２に格納する処理を実施する。
符号化／非符号化制御部６はフレームメモリＩ／Ｆ３により読み出された参照画像が符号化対象ピクチャ（例えば、過去の符号化対象ピクチャであるフレーム（１））内の画像であれば、加算器５による加算後の累積ベクトルを最終的な動きベクトルとして外部に出力させて、累積ベクトル記憶部２により記憶されている累積ベクトルを零リセットする処理を実施する。
なお、加算器５及び符号化／非符号化制御部６から動きベクトル累積手段が構成されている。
【００１７】
図１では、動きベクトル検出装置の構成要素であるフレームメモリＩ／Ｆ３、動きベクトル探索部４、加算器５及び符号化／非符号化制御部６のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路やワンチップマイコン）で構成されているものを想定しているが、動きベクトル検出装置がコンピュータで構成される場合、フレームメモリＩ／Ｆ３、動きベクトル探索部４、加算器５及び符号化／非符号化制御部６の処理内容を記述しているプログラムを当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図３はこの発明の実施の形態１による動きベクトル検出装置の処理内容（動きベクトル検出方法）を示すフローチャートである。
【００１８】
次に動作について説明する。
この実施の形態１では、説明の便宜上、図２に示すように、符号化対象ピクチャに関する符号化フレームレートが３０ｆｐｓであり、動きベクトル検出用ピクチャ（非符号化ピクチャ＋符号化対象ピクチャ）に関する入力フレームレートが１２０ｆｐｓであるものとして説明する。
即ち、符号化対象ピクチャであるフレーム（１），（５）が３０ｆｐｓの符号化フレームレートで入力され、フレーム（１）とフレーム（５）の間に、フレーム（２），（３），（４）が１２０ｆｐｓの入力フレームレートで入力されるものとして説明する。
なお、フレーム（１）は過去の符号化対象ピクチャであり、フレーム（５）は現在の符号化対象ピクチャである。
【００１９】
符号化／非符号化制御部６は、例えば、現在の符号化対象ピクチャであるフレーム（５）の符号化を開始する際、符号化対象ピクチャフラグを“ＯＮ”に設定することで、累積ベクトル記憶部２に記憶されている累積ベクトルａｖを零リセットする。
例えば、フレーム（５）がＮ個の符号化対象ブロック（例えば、１６画素×１６ライン、あるいは、１６画素×８ラインからなるマクロブロック）に分割されている場合、累積ベクトル記憶部２には、Ｎ個の符号化対象ブロックに係る累積ベクトルａｖがそれぞれ記憶されているので、Ｎ個の累積ベクトルを零リセットする。
【００２０】
フレームメモリＩ／Ｆ３は、符号化／非符号化制御部６が符号化対象ピクチャフラグを“ＯＮ”に設定すると、フレームメモリ１により格納されている複数のピクチャの中から、現在の符号化対象ピクチャであるフレーム（５）を特定し、そのフレーム（５）の中から任意の符号化対象ブロック（未だ動きベクトルが探索されていないマクロブロック）を読み出して、その符号化対象ブロックを動きベクトル探索部４に出力する。
なお、フレーム（５）内の全ての符号化対象ブロックについて動きベクトルが探索されるまで、図３の処理を繰り返し実施する。
【００２１】
次に、符号化／非符号化制御部６は、符号化対象ピクチャフラグを“ＯＦＦ”に設定する。
フレームメモリＩ／Ｆ３は、符号化／非符号化制御部６が符号化対象ピクチャフラグを“ＯＦＦ”に設定すると、フレームメモリ１により格納されている複数のピクチャの中から、フレーム（５）より１／１２０秒前に入力された動きベクトル検出用ピクチャであるフレーム（４）を特定する。
【００２２】
フレームメモリＩ／Ｆ３は、動きベクトル検出用ピクチャであるフレーム（４）を特定すると、そのフレーム（４）の中から、累積ベクトル記憶部２により記憶されている累積ベクトルａｖ（ａｖ＝０）が指し示している参照画像（±ｂ（ｂは自然数）の探索領域）を読み出し、その参照画像を動きベクトル探索部４に出力する。
この実施の形態１では、後述するように、動きベクトルを４回に分けて探索するので、フレーム（５）より１／３０秒前に入力されたフレーム（１）において、動きベクトルの探索範囲が図８と同じ±ａとなるためには、ｂ＝ａ／４以上であればよい。
したがって、ａ＝４０の場合、ｂ＝１０であればよい。
【００２３】
動きベクトル探索部４は、フレームメモリＩ／Ｆ３からフレーム（５）内の符号化対象ブロックとフレーム（４）内の参照画像を受けると、その符号化対象ブロックを動きベクトルの起点ブロックに設定し、その起点ブロックからフレーム（４）内の参照画像に対する動きベクトルｍｖ１を探索する（図３のステップＳＴ１）。
動きベクトルの探索方法は、いかなる方法を用いてもよいが、ここでは、説明の便宜上、上述したブロックマッチング法を用いるものとする。
ブロックマッチング法を用いる場合、フレーム（４）内の参照画像（±ｂの探索領域）の中から、起点ブロックとの予測誤差評価基準値が最も小さくなるブロックを探索し、起点ブロックから予測誤差評価基準値が最も小さくなる参照画像内のブロックを指し示すベクトルを動きベクトルｍｖ１として算出する。
【００２４】
ｂ＝１０の場合、水平方向の探索点は、参照画像の中心の位置のほかに、参照画像の中心の位置から水平左方向に１０の箇所と水平右方向に１０の箇所となる。
また、垂直方向の探索点は、参照画像の中心の位置のほかに、参照画像の中心の位置から垂直上方向に１０の箇所と垂直下方向に１０の箇所となる。
したがって、フレーム（４）における参照画像内の探索点の総数は、４４１箇所になる。
探索点の総数＝（１０＋１０＋１）×（１０＋１０＋１）＝４４１
【００２５】
加算器５は、動きベクトル探索部４が動きベクトルｍｖ１を探索すると、下記に示すように、その動きベクトルｍｖ１を累積ベクトル記憶部２により記憶されている累積ベクトルａｖ（当該符号化対象ブロックに係る累積ベクトルａｖ）に加算し（ベクトルの成分（水平成分、垂直成分）毎に加算する）、加算後の累積ベクトルａｖを累積ベクトル記憶部２に格納する（ステップＳＴ２）。
加算後の累積ベクトルａｖ＝累積ベクトルａｖ＋動きベクトルｍｖ１
＝０＋ｍｖ１
＝ｍｖ１
【００２６】
符号化／非符号化制御部６は、現在の符号化対象ピクチャフラグが“ＯＦＦ”であるので、先にフレームメモリＩ／Ｆ３により読み出された参照画像は符号化対象ピクチャ（フレーム（１））内の画像ではないと判定する（ステップＳＴ３）。
先にフレームメモリＩ／Ｆ３により読み出された参照画像は、最終ピクチャ内の画像でもないので（ステップＳＴ６）、ステップＳＴ１の処理に移行する。
【００２７】
符号化／非符号化制御部６は、符号化フレームレートが３０ｆｐｓであるため、この段階では、“ＯＦＦ”の符号化対象ピクチャフラグを維持して、“ＯＦＦ”の符号化対象ピクチャフラグをフレームメモリＩ／Ｆ３を出力する。
フレームメモリＩ／Ｆ３は、符号化／非符号化制御部６から“ＯＦＦ”の符号化対象ピクチャフラグを受けると、フレームメモリ１により格納されている複数のピクチャの中から、フレーム（４）より１／１２０秒前に入力された動きベクトル検出用ピクチャであるフレーム（３）を特定する。
フレームメモリＩ／Ｆ３は、動きベクトル検出用ピクチャであるフレーム（３）を特定すると、そのフレーム（３）の中から、累積ベクトル記憶部２により記憶されている累積ベクトルａｖ（ａｖ＝ｍｖ１）が指し示している参照画像（±ｂの探索領域）を読み出し、その参照画像を動きベクトル探索部４に出力する。
【００２８】
動きベクトル探索部４は、フレームメモリＩ／Ｆ３からフレーム（３）内の参照画像を受けると、フレーム（４）内の参照画像において、予測誤差評価基準値が最も小さいブロック（動きベクトルｍｖ１が検出されたブロック）を動きベクトルの起点ブロックに設定し、その起点ブロックからフレーム（３）内の参照画像に対する動きベクトルｍｖ２を探索する（ステップＳＴ１）。
動きベクトルｍｖ２の探索方法は、動きベクトルｍｖ１を探索する場合と同様の方法であり、詳細な説明を省略する。
なお、ｂ＝１０の場合、フレーム（３）における参照画像内の探索点の総数は、４４１箇所になる。
探索点の総数＝（１０＋１０＋１）×（１０＋１０＋１）＝４４１
【００２９】
加算器５は、動きベクトル探索部４が動きベクトルｍｖ２を探索すると、下記に示すように、その動きベクトルｍｖ２を累積ベクトル記憶部２により記憶されている累積ベクトルａｖに加算し、加算後の累積ベクトルａｖを累積ベクトル記憶部２に格納する（ステップＳＴ２）。
加算後の累積ベクトルａｖ＝累積ベクトルａｖ＋動きベクトルｍｖ２
＝ｍｖ１＋ｍｖ２
【００３０】
符号化／非符号化制御部６は、現在の符号化対象ピクチャフラグが“ＯＦＦ”であるので、先にフレームメモリＩ／Ｆ３により読み出された参照画像は符号化対象ピクチャ（フレーム（１））内の画像ではないと判定する（ステップＳＴ３）。
先にフレームメモリＩ／Ｆ３により読み出された参照画像は、最終ピクチャ内の画像でもないので（ステップＳＴ６）、ステップＳＴ１の処理に移行する。
【００３１】
符号化／非符号化制御部６は、符号化フレームレートが３０ｆｐｓであるため、この段階では、“ＯＦＦ”の符号化対象ピクチャフラグを維持して、“ＯＦＦ”の符号化対象ピクチャフラグをフレームメモリＩ／Ｆ３を出力する。
フレームメモリＩ／Ｆ３は、符号化／非符号化制御部６から“ＯＦＦ”の符号化対象ピクチャフラグを受けると、フレームメモリ１により格納されている複数のピクチャの中から、フレーム（３）より１／１２０秒前に入力された動きベクトル検出用ピクチャであるフレーム（２）を特定する。
フレームメモリＩ／Ｆ３は、動きベクトル検出用ピクチャであるフレーム（２）を特定すると、そのフレーム（２）の中から、累積ベクトル記憶部２により記憶されている累積ベクトルａｖ（ａｖ＝ｍｖ１＋ｍｖ２）が指し示している参照画像（±ｂの探索領域）を読み出し、その参照画像を動きベクトル探索部４に出力する。
【００３２】
動きベクトル探索部４は、フレームメモリＩ／Ｆ３からフレーム（２）内の参照画像を受けると、フレーム（３）内の参照画像において、予測誤差評価基準値が最も小さいブロック（動きベクトルｍｖ２が検出されたブロック）を動きベクトルの起点ブロックに設定し、その起点ブロックからフレーム（２）内の参照画像に対する動きベクトルｍｖ３を探索する（ステップＳＴ１）。
動きベクトルｍｖ３の探索方法は、動きベクトルｍｖ１を探索する場合と同様の方法であり、詳細な説明を省略する。
なお、ｂ＝１０の場合、フレーム（２）における参照画像内の探索点の総数は、４４１箇所になる。
探索点の総数＝（１０＋１０＋１）×（１０＋１０＋１）＝４４１
【００３３】
加算器５は、動きベクトル探索部４が動きベクトルｍｖ３を探索すると、下記に示すように、その動きベクトルｍｖ３を累積ベクトル記憶部２により記憶されている累積ベクトルａｖに加算し、加算後の累積ベクトルａｖを累積ベクトル記憶部２に格納する（ステップＳＴ２）。
加算後の累積ベクトルａｖ＝累積ベクトルａｖ＋動きベクトルｍｖ３
＝ｍｖ１＋ｍｖ２＋ｍｖ３
【００３４】
符号化／非符号化制御部６は、現在の符号化対象ピクチャフラグが“ＯＦＦ”であるので、先にフレームメモリＩ／Ｆ３により読み出された参照画像は符号化対象ピクチャ（フレーム（１））内の画像ではないと判定する（ステップＳＴ３）。
先にフレームメモリＩ／Ｆ３により読み出された参照画像は、最終ピクチャ内の画像でもないので（ステップＳＴ６）、ステップＳＴ１の処理に移行する。
【００３５】
次に、符号化／非符号化制御部６は、符号化フレームレートが３０ｆｐｓであるため、符号化対象ピクチャフラグを“ＯＮ”に設定する。
フレームメモリＩ／Ｆ３は、符号化／非符号化制御部６が符号化対象ピクチャフラグを“ＯＮ”に設定すると、フレームメモリ１により格納されている複数のピクチャの中から、フレーム（２）より１／１２０秒前に入力された動きベクトル検出用ピクチャであるフレーム（１）を特定する。
フレームメモリＩ／Ｆ３は、動きベクトル検出用ピクチャであるフレーム（１）を特定すると、そのフレーム（１）の中から、累積ベクトル記憶部２により記憶されている累積ベクトルａｖ（ａｖ＝ｍｖ１＋ｍｖ２＋ｍｖ３）が指し示している参照画像（±ｂの探索領域）を読み出し、その参照画像を動きベクトル探索部４に出力する。
【００３６】
動きベクトル探索部４は、フレームメモリＩ／Ｆ３からフレーム（１）内の参照画像を受けると、フレーム（２）内の参照画像において、予測誤差評価基準値が最も小さいブロック（動きベクトルｍｖ３が検出されたブロック）を動きベクトルの起点ブロックに設定し、その起点ブロックからフレーム（１）内の参照画像に対する動きベクトルｍｖ４を探索する（ステップＳＴ１）。
動きベクトルｍｖ４の探索方法は、動きベクトルｍｖ１を探索する場合と同様の方法であり、詳細な説明を省略する。
なお、ｂ＝１０の場合、フレーム（１）における参照画像内の探索点の総数は、４４１箇所になる。
探索点の総数＝（１０＋１０＋１）×（１０＋１０＋１）＝４４１
【００３７】
加算器５は、動きベクトル探索部４が動きベクトルｍｖ４を探索すると、下記に示すように、その動きベクトルｍｖ４を累積ベクトル記憶部２により記憶されている累積ベクトルａｖに加算し、加算後の累積ベクトルａｖを累積ベクトル記憶部２に格納する（ステップＳＴ２）。
加算後の累積ベクトルａｖ＝累積ベクトルａｖ＋動きベクトルｍｖ３
＝ｍｖ１＋ｍｖ２＋ｍｖ３＋ｍｖ４
【００３８】
符号化／非符号化制御部６は、現在の符号化対象ピクチャフラグが“ＯＮ”であるので、先にフレームメモリＩ／Ｆ３により読み出された参照画像は符号化対象ピクチャ（フレーム（１））内の画像であると判定する（ステップＳＴ３）。
符号化／非符号化制御部６は、その参照画像が符号化対象ピクチャ（フレーム（１））内の画像であると判定すると、累積ベクトル記憶部２により記憶されている累積ベクトルａｖ（ａｖ＝ｍｖ１＋ｍｖ２＋ｍｖ３＋ｍｖ４）を最終的な動きベクトルとして外部に出力させて（ステップＳＴ４）、累積ベクトル記憶部２により記憶されている累積ベクトルを零リセットする（ステップＳＴ５）。
先にフレームメモリＩ／Ｆ３により読み出された参照画像が、最終ピクチャ内の画像でなければ、ステップＳＴ１の処理に移行するが、最終ピクチャ内の画像であれば、処理を終了する（ステップＳＴ６）。
【００３９】
この実施の形態１では、動きベクトルを４回に分けて探索しているので、探索点の総数は１７６４箇所となり、図８の場合の探索点の総数（６５６１箇所）より減少する。
探索点の総数＝｛（１０＋１０＋１）×（１０＋１０＋１）｝×４＝１７６４
【００４０】
以上で明らかなように、この実施の形態１によれば、フレームメモリ１により格納されているピクチャのうち、動きベクトル検出用ピクチャに関する入力フレームレートが、符号化対象ピクチャに関する符号化フレームレートの公倍数である場合、フレームメモリ１から符号化フレームレートで特定される符号化対象ピクチャ内の符号化対象ブロックを読み出すとともに、符号化フレームレートの公倍数分だけ、入力フレームレートで特定される動きベクトル検出用ピクチャの中から、累積ベクトル記憶部２により記憶されている累積ベクトルが指し示している参照画像を順番に読み出すフレームメモリＩ／Ｆ３と、フレームメモリＩ／Ｆ３により参照画像が読み出される毎に、フレームメモリＩ／Ｆ３により読み出された符号化対象ブロック又は前回読み出された参照画像内で動きベクトルが検出されたブロックを起点ブロックに設定し、その起点ブロックから今回読み出された参照画像に対する動きベクトルを探索する動きベクトル探索部４とを設け、加算器５が動きベクトル探索部４により探索された動きベクトルを累積ベクトル記憶部２により記憶されている累積ベクトルに累積し、符号化／非符号化制御部６がフレームメモリＩ／Ｆ３により読み出された参照画像が符号化対象ピクチャ内の画像であれば、その累積ベクトルを最終的な動きベクトルとして出力して、その累積ベクトルを零リセットするように構成したので、動きベクトルを探索する際の演算量を削減することができる効果を奏する。
【００４１】
なお、この実施の形態１では、符号化フレームレートが３０ｆｐｓであり、入力フレームレートが１２０ｆｐｓである例を示したが、入力フレームレートが符号化フレームレートの公倍数であればよく、符号化フレームレート及び入力フレームレートが他のフレームレートであってもよい。
【００４２】
また、この実施の形態１では、動きベクトルにおける水平方向の探索範囲と垂直方向の探索範囲が同じ±ｂである例を示したが、水平方向の探索範囲と垂直方向の探索範囲が異なっていてもよい。
【００４３】
実施の形態２．
図４はこの発明の実施の形態２による動きベクトル検出装置を示す構成図であり、図において、図１と同一符号は同一又は相当部分を示すので説明を省略する。
Ｎ／１精度動きベクトル探索部１１は動きベクトル探索部４における動きベクトルの探索精度よりも細かい探索精度で動きベクトルｄｍｖを探索する処理を実施する。
加算器１２は動きベクトル探索部４により探索された動きベクトルｍｖとＮ／１精度動きベクトル探索部１１により探索された動きベクトルｄｍｖを加算し（ベクトルの成分（水平成分、垂直成分）毎に加算する）、加算後の動きベクトルｍｖ＋ｄｍｖをセレクタ１３に出力する処理を実施する。
なお、加算器５、符号化／非符号化制御部６及び加算器１２から動きベクトル累積手段が構成されている。
【００４４】
セレクタ１３は符号化／非符号化制御部６から出力された符号化対象ピクチャフラグが“ＯＮ”であれば、動きベクトル探索部４により探索された動きベクトルｍｖを選択し、符号化／非符号化制御部６から出力された符号化対象ピクチャフラグが“ＯＦＦ”であれば、加算器１２による加算後の動きベクトルｍｖ＋ｄｍｖを選択する処理を実施する。
なお、Ｎ／１精度動きベクトル探索部１１及びセレクタ１３からＮ／１精度動きベクトル探索手段が構成されている。
【００４５】
図４では、動きベクトル検出装置の構成要素であるフレームメモリＩ／Ｆ３、動きベクトル探索部４、加算器５、符号化／非符号化制御部６、Ｎ／１精度動きベクトル探索部１１、加算器１２及びセレクタ１３のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路やワンチップマイコン）で構成されているものを想定しているが、動きベクトル検出装置がコンピュータで構成される場合、フレームメモリＩ／Ｆ３、動きベクトル探索部４、加算器５、符号化／非符号化制御部６、Ｎ／１精度動きベクトル探索部１１、加算器１２及びセレクタ１３の処理内容を記述しているプログラムを当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図５はこの発明の実施の形態２による動きベクトル検出装置の処理内容（動きベクトル検出方法）を示すフローチャートである。
【００４６】
次に動作について説明する。
Ｎ／１精度動きベクトル探索部１１、加算器１２及びセレクタ１３を設けている点以外は、上記実施の形態１と同様であるため、主にＮ／１精度動きベクトル探索部１１、加算器１２及びセレクタ１３の処理内容を説明する。
【００４７】
動きベクトル探索部４とＮ／１精度動きベクトル探索部１１は、符号化対象ブロックと参照画像から動きベクトルを探索する点では同じであるが、動きベクトル探索部４とＮ／１精度動きベクトル探索部１１における動きベクトルの探索精度が異なっており、動きベクトル探索部４とＮ／１精度動きベクトル探索部１１における動きベクトルの探索精度の比率が、符号化フレームレートと入力フレームレートの比率と等しくなるように動きベクトルの探索精度が決められている。
例えば、符号化フレームレートが３０ｆｐｓであり、入力フレームレートが１２０ｆｐｓであれば、符号化フレームレートと入力フレームレートの比率が“４”になるので、Ｎ／１精度動きベクトル探索部１１における動きベクトルの探索精度が、動きベクトル探索部４における動きベクトルの探索精度よりも、４倍細かい精度に決められる。
したがって、動きベクトル探索部４が１画素単位で動きベクトルを探索しているのであれば、Ｎ／１精度動きベクトル探索部１１は１／４画素単位で動きベクトルを探索することになる。
【００４８】
動きベクトル探索部４は、上記実施の形態１と同様にして、動きベクトルｍｖを探索する（図５のステップＳＴ１）。
Ｎ／１精度動きベクトル探索部１１は、動きベクトル探索部４が動きベクトルｍｖを探索すると、フレームメモリＩ／Ｆ３により読み出された参照画像が符号化対象ピクチャ（フレーム（１））内の画像でなければ（ステップＳＴ１１）、動きベクトル探索部４における動きベクトルの探索精度よりも細かい探索精度で動きベクトルｄｍｖを探索する（ステップＳＴ１２）。
【００４９】
動きベクトルｄｍｖの探索方法は、いかなる方法を用いてもよく、動きベクトル探索部４における動きベクトルｍｖの探索方法と同じであってもよい。
なお、Ｎ／１精度動きベクトル探索部１１は、動きベクトル探索部４により探索された動きベクトルｍｖを基点とし、その動きベクトルｍｖが指し示す周辺領域において、動きベクトル探索部４の探索精度の１／Ｎ精度で動きベクトルの探索を行う。
【００５０】
加算器１２は、動きベクトル探索部４により探索された動きベクトルｍｖとＮ／１精度動きベクトル探索部１１により探索された動きベクトルｄｍｖを加算し（ベクトルの成分（水平成分、垂直成分）毎に加算する）、加算後の動きベクトルｍｖ＋ｄｍｖをセレクタ１３に出力する（ステップＳＴ１３）。
加算後の動きベクトル＝動きベクトルｍｖ＋Ｎ／１精度動きベクトルｄｍｖ
【００５１】
セレクタ１３は、符号化／非符号化制御部６から出力された符号化対象ピクチャフラグが“ＯＮ”であれば、動きベクトル探索部４により探索された動きベクトルｍｖを選択して、その動きベクトルｍｖを加算器５に出力する。
一方、符号化／非符号化制御部６から出力された符号化対象ピクチャフラグが“ＯＦＦ”であれば、加算器１２による加算後の動きベクトルｍｖ＋ｄｍｖを選択して、加算後の動きベクトルｍｖ＋ｄｍｖを加算器５に出力する。
以下、ステップＳＴ２〜ＳＴ６の処理内容は、上記実施の形態１と同様であるため説明を省略する。
【００５２】
以上で明らかなように、この実施の形態２によれば、フレームメモリＩ／Ｆ３により読み出された参照画像が符号化対象ピクチャ（フレーム（１））内の画像でなければ、Ｎ／１精度動きベクトル探索部１１が、動きベクトル探索部４における動きベクトルの探索精度よりも細かい探索精度で動きベクトルｄｍｖを探索し、その動きベクトルｄｍｖを動きベクトル探索部４により探索された動きベクトルｍｖに加算するように構成したので、上記実施の形態１と同様の効果を奏することができるほか、入力フレームレートの増加に伴って時間分解能が上がった場合、その分だけ、動きベクトルの探索精度を細かくして、空間分解能を上げれば、より精度の高い動きベクトルの探索を行うことができる効果を奏する。
【００５３】
実施の形態３．
図６はこの発明の実施の形態３による動きベクトル検出装置を示す構成図であり、図において、図１と同一符号は同一又は相当部分を示すので説明を省略する。
フレームメモリ２０は図１のフレームメモリ１と同様に、動画像を構成している複数のピクチャを格納しているが、符号化対象ピクチャ以外のピクチャ（非符号化ピクチャ）であるフレーム（２），（３），（４）については、縮小された画像である点で相違している。なお、フレームメモリ２０はピクチャ格納手段を構成している。
【００５４】
間引き画素補間部２１はフレームメモリＩ／Ｆ３により読み出された参照画像を縮小前のサイズに戻すサイズ変換処理を実行する。
セレクタ２２は符号化／非符号化制御部６から出力された符号化対象ピクチャフラグが“ＯＮ”であれば、フレームメモリＩ／Ｆ３により読み出された参照画像を選択し、符号化／非符号化制御部６から出力された符号化対象ピクチャフラグが“ＯＦＦ”であれば、間引き画素補間部２１により縮小前のサイズに戻された参照画像を選択する処理を実施する。
なお、フレームメモリＩ／Ｆ３、間引き画素補間部２１及びセレクタ２２から画像読出手段が構成されている。
【００５５】
図６では、動きベクトル検出装置の構成要素であるフレームメモリＩ／Ｆ３、動きベクトル探索部４、加算器５、符号化／非符号化制御部６、間引き画素補間部２１及びセレクタ２２のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路やワンチップマイコン）で構成されているものを想定しているが、動きベクトル検出装置がコンピュータで構成される場合、フレームメモリＩ／Ｆ３、動きベクトル探索部４、加算器５、符号化／非符号化制御部６、間引き画素補間部２１及びセレクタ２２の処理内容を記述しているプログラムを当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
【００５６】
次に動作について説明する。
間引き画素補間部２１及びセレクタ２２を設けている点と、縮小されている非符号化ピクチャがフレームメモリ２０に格納されている点以外は、上記実施の形態１と同様であるため、主に間引き画素補間部２１及びセレクタ２２の処理内容を説明する。
【００５７】
フレームメモリ２０には、図１のフレームメモリ１と同様に、動画像を構成している複数のピクチャを格納しているが、非符号化ピクチャであるフレーム（２），（３），（４）については、縮小された画像である。
縮小画像の作成方法は、元の画像サイズより小さくなるような方法であれば、どのような方法を用いてもよい。
例えば、単に画素をサブサンプルする方法であってもよいし、低域通過フィルタなどを用いて高周波領域をカットした後、画素のサブサンプルを行う方法であってもよい。
【００５８】
間引き画素補間部２１は、フレームメモリＩ／Ｆ３から非符号ピクチャ（フレーム（２），（３），（４））内の参照画像を受けると、その参照画像を縮小前のサイズに戻すサイズ変換処理を実行する。
縮小前のサイズに戻すサイズ変換処理は、元の画像サイズに戻すような処理であれば、どのような方法でもよい。
例えば、単に隣接画素を繰り返し出力する方法であってもよいし、低域通過フィルタを用いて補間画素を算出する方法であってもよい。
【００５９】
セレクタ２２は、符号化／非符号化制御部６から出力された符号化対象ピクチャフラグが“ＯＮ”であれば、フレームメモリＩ／Ｆ３により読み出された参照画像（フレーム（１）内の参照画像）を選択して、その参照画像を動きベクトル探索部４に出力する。
一方、符号化／非符号化制御部６から出力された符号化対象ピクチャフラグが“ＯＦＦ”であれば、間引き画素補間部２１により縮小前のサイズに戻された参照画像（フレーム（２），（３），（４）内の参照画像）を選択して、その参照画像を動きベクトル探索部４に出力する。
【００６０】
以上で明らかなように、この実施の形態３によれば、動画像を構成している複数のピクチャのうち、縮小されている非符号化ピクチャ内の参照画像については、間引き画素補間部２１が縮小前のサイズに戻すように構成しているので、図１のフレームメモリ１よりも、フレームメモリ２０の記憶容量を削減することができる効果を奏する。
また、フレームメモリ２０と動きベクトル探索部４間のデータ転送量も削減することができる効果を奏する。
【００６１】
この実施の形態３では、間引き画素補間部２１及びセレクタ２２を図１の動きベクトル検出装置に適用する例を示したが、図７に示すように、間引き画素補間部２１及びセレクタ２２を図４の動きベクトル検出装置に適用するようにしてもよく、同様の効果を奏することができる。
【符号の説明】
【００６２】
１  フレームメモリ（ピクチャ格納手段）、２  累積ベクトル記憶部（累積ベクトル記憶手段）、３  フレームメモリＩ／Ｆ（画像読出手段）、４  動きベクトル探索部（動きベクトル探索手段）、５  加算器（動きベクトル累積手段）、６  符号化／非符号化制御部（動きベクトル累積手段）、１１  Ｎ／１精度動きベクトル探索部（Ｎ／１精度動きベクトル探索手段）、１２  加算器（動きベクトル累積手段）、１３  セレクタ（Ｎ／１精度動きベクトル探索手段）、２０  フレームメモリ（ピクチャ格納手段）、２１  間引き画素補間部（画像読出手段）、２２  セレクタ（画像読出手段）。
【図１】
2011071839.tif 000003
【図２】
2011071839.tif 000004
【図３】
2011071839.tif 000005
【図４】
2011071839.tif 000006
【図５】
2011071839.tif 000007
【図６】
2011071839.tif 000008
【図７】
2011071839.tif 000009
【図８】
2011071839.tif 000010