(57)【要約】【課題】演算量を低減すること。【解決手段】動画像データにおける符号化対象画像フレームを分割したブロック単位に動き補償フレーム間予測を行う方法であって、符号化対象画像フレームのブロックと、当該ブロックに対応する参照画像フレームのブロックとに基づいて、ブロックごとに動きベクトルを検出し、ブロックに含まれる画素ごとのオプティカルフローを検出する際に、ブロックの中央から画素までの距離に応じて変化する探索範囲から、検出対象の画素に対応する探索範囲を選択し、探索範囲に基づいて画素ごとのオプティカルフローを算出し、オプティカルフローを画素ごとのオプティカルフロー補正ベクトルとし、画素ごとのオプティカルフロー補正ベクトルにより補正した動きベクトルに基づいて、予測画像ブロックを生成する。【選択図】図２
2018093374.tif 000002
【特許請求の範囲】
【請求項１】
動画像データにおける符号化対象画像フレームを分割したブロック単位に動き補償フレーム間予測を行う予測画像生成方法であって、
前記符号化対象画像フレームのブロックと、当該ブロックに対応する参照画像フレームのブロックとに基づいて、前記ブロックごとに動きベクトルを検出する予測処理ステップと、
前記ブロックに含まれる画素ごとのオプティカルフローを検出する際に、前記ブロックの中央から前記画素までの距離に応じて変化する探索範囲から、検出対象の前記画素に対応する前記探索範囲を選択するクラス別探索範囲設定ステップと、
選択される前記探索範囲に基づいて前記画素ごとのオプティカルフローを算出し、算出した前記オプティカルフローを前記画素ごとのオプティカルフロー補正ベクトルとするオプティカルフロー補正ベクトル算出処理ステップと、
前記画素ごとの前記オプティカルフロー補正ベクトルにより補正した前記動きベクトルに基づいて、予測画像ブロックを生成するオプティカルフロー補正画像生成処理ステップと、
を有する予測画像生成方法。
【請求項２】
前記探索範囲は、前記オプティカルフローの検出対象の前記画素が、前記ブロックの中央から離れるにしたがって、前記探索範囲が広がるように予め定められている、請求項１に記載の予測画像生成方法。
【請求項３】
前記予測処理ステップにおいて、前記ブロックの中央からの距離に応じて減少する重み付けを行って前記動きベクトルを検出する、請求項１又は２に記載の予測画像生成方法。
【請求項４】
全ての前記画素に対して同一の前記探索範囲を選択する探索範囲設定ステップと、
前記ブロックの前記動きベクトルと、当該ブロックの周辺のブロックの前記動きベクトルとが揃っているか否かを判定する動きベクトル判定ステップと、
を更に有し、
前記クラス別探索範囲設定ステップにおいて、前記動きベクトル判定ステップで前記ブロックの前記動きベクトルと、当該ブロックの周辺のブロックの動きベクトルとが揃っていると判定した場合、前記ブロックの中央から前記画素までの距離に応じて変化する探索範囲から、前記画素に対応する前記探索範囲を選択し、
前記探索範囲設定ステップにおいて、前記動きベクトル判定ステップで前記ブロックの前記動きベクトルと、当該ブロックの周辺のブロックの動きベクトルとが揃っていないと判定した場合、前記同一の探索範囲を選択する、請求項１から３のいずれか一項に記載の予測画像生成方法。
【請求項５】
動画像データにおける符号化対象画像フレームを分割したブロック単位に動き補償フレーム間予測を行う予測画像生成装置であって、
前記符号化対象画像フレームのブロックと、当該ブロックに対応する参照画像フレームのブロックとに基づいて、前記ブロックごとに動きベクトルを検出する予測処理部と、
前記ブロックに含まれる画素ごとのオプティカルフローを検出する際に、前記ブロックの中央から前記画素までの距離に応じて変化する探索範囲から、検出対象の前記画素に対応する前記探索範囲を選択するクラス別探索範囲設定部と、
選択される前記探索範囲に基づいて前記画素ごとのオプティカルフローを算出し、算出した前記オプティカルフローを前記画素ごとのオプティカルフロー補正ベクトルとするオプティカルフロー補正ベクトル算出処理部と、
前記画素ごとの前記オプティカルフロー補正ベクトルにより補正した前記動きベクトルに基づいて、予測画像ブロックを生成するオプティカルフロー補正画像生成処理部と、
を備える予測画像生成装置。
【請求項６】
請求項１から４のいずれか一項に記載の予測画像生成方法をコンピュータに実行させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、予測画像生成方法、予測画像生成装置及びコンピュータプログラムに関する。
【背景技術】
【０００２】
動画像符号化における重要な要素技術の一つとして、動き補償フレーム間予測(以下、ＭＣ(Motion Compensation)予測ともいう) がある。動き補償フレーム間予測は、異なる画面間で予測を実行する面間予測を伴う動画符号化方式であり、すでに復号されたフレームを参照して、予測誤差エネルギーを最小にするように動きベクトルと残差信号を求める。この残差信号に対して直交変換と量子化を施し、さらに、エントロピー符号化を行うことにより、符号化データを生成する。この方式において、符号化効率を高めるためには予測誤差エネルギーの低減が不可欠であり、高精度の予測方式が要求される。
【０００３】
ＭＣ予測では、次式（１）で示される符号化対象画像フレームｆｔ（ｐ）をいくつかの領域に分割する。
【０００４】
【数１】
2018093374.tif 000003
【０００５】
分割した領域ごとに動き補償（ＭＣ）を用いた次式（２）で示されるようなフレーム間予測が行われる。
【０００６】
【数２】
2018093374.tif 000004
【０００７】
式（２）において、領域Ｂｉは、第ｉ番目の領域であり、ベクトルｖｉは、次式（３）を満たす動きベクトルである。
【０００８】
【数３】
2018093374.tif 000005
【０００９】
式（３）において領域Ｒは、領域Ｂｉに対応する探索領域であり、ｒ（ｖ）（ただし、ｖはベクトル）は、動きベクトルｖの符号量の推定値である。例えば、ｒ（ｖ）として、ｒ（ｖ）＝｜ｖ｜が適用される。式（３）において、次式（４）の部分は、次に続く値を最小化するベクトルｖを求めることを意味する。
【００１０】
【数４】
2018093374.tif 000006
【００１１】
式（３）においては、符号化対象画像フレームと動きベクトルが適用された１フレーム前の符号化対象画像フレームの予測誤差の絶対値和（ＳＡＤ：Sum of Absolute Difference）と動きベクトルの符号量の推定値の加重和を最小化するベクトルｖが動きベクトルｖｉとして求められることになる。
【００１２】
前述の通り、ＭＣ予測は、領域を分割したブロックを単位とした予測処理であり、ＭＣ予測の対象とするブロックを、ＭＣ予測ブロックといい、ＭＣ予測ブロックごとに動きベクトルが検出されて対応付けられる。しかしながら、ＭＣ予測ブロック内の画素それぞれの動きベクトルは、必ずしも同一になるとは限らないため誤差が発生する。この誤差を、ＭＣ予測誤差という。ＭＣ予測ブロックサイズを小さく設定することにより、ＭＣ予測誤差を低減させることはできるが、ＭＣ予測ブロックサイズを縮小させることは、付加情報を増加させることになる。このように、ＭＣ予測誤差の低減とＭＣ予測における付加情報の低減は、トレードオフの関係にある。
【００１３】
これに対して、付加情報なしで画素ごとのオプティカルフロー（以下、ＯＦ(Optical Flowともいう)）をデコーダ側で算出し、算出したオプティカルフローに基づき、ＭＣ予測ブロック内の動きベクトルを補正する処理が提案されている。例えば、ＦＲＡＵＣ(Frame rate up-conversion mode)におけるＢＩＯ(Bi-directional optical flow)などの補正手法がある（例えば、非特許文献１参照）。
【００１４】
この補正を式で示すと、動きベクトルをｖとした場合、画素ｐに対して動きベクトルｖを適用することを示す次式（５）が、当該補正により次式（６）となる。
【００１５】
【数５】
2018093374.tif 000007
【００１６】
【数６】
2018093374.tif 000008
【００１７】
この処理をＯＦ補正といい、ベクトルδ（ｐ）が算出したオプティカルフローであり、以下、ＯＦ補正ベクトルという。ＯＦ補正により、ＭＣ予測の予測信号は、次式（７）で示されることになる。
【００１８】
【数７】
2018093374.tif 000009
【００１９】
このとき、ＯＦ補正ベクトルδ（ｐ）は、次式（８）によって求められる。
【００２０】
【数８】
2018093374.tif 000010
【００２１】
式（８）において、領域Ωは、補正ベクトルδの探索範囲であり、予め固定領域として与えられる。領域Ψは、補正ベクトルδの探索対象となるｐを含むブロックであり、予め固定サイズのブロックとして与えられる。また、式（８）に示すように、ＯＦ補正ベクトルδ（ｐ）は、符号化対象画像フレームｆｔ（ｐ）の前後のフレームを補正したｆｔ＋１（ｐ＋δ）とｆｔ−１（ｐ＋δ）とにより求められる。
【先行技術文献】
【非特許文献】
【００２２】
【非特許文献１】“Further improvements to HMKTA-1.0”,VCEG-AZ07, ITU - Telecommunications Standardization Sector, STUDY GROUP 16 Question 6, Video Coding Experts Group (VCEG), June 2015.
【発明の概要】
【発明が解決しようとする課題】
【００２３】
しかしながら、上記の手法では、エンコーダのみならず、デコーダにおいても演算量が増加するため、計算機リソースの限られた映像端末装置ではリアルタイム再生に対応することができないという問題があった。
【００２４】
上記事情に鑑み、本発明は、演算量を低減することができる技術の提供を目的としている。
【課題を解決するための手段】
【００２５】
本発明の一態様は、動画像データにおける符号化対象画像フレームを分割したブロック単位に動き補償フレーム間予測を行う予測画像生成方法であって、前記符号化対象画像フレームのブロックと、当該ブロックに対応する参照画像フレームのブロックとに基づいて、前記ブロックごとに動きベクトルを検出する予測処理ステップと、前記ブロックに含まれる画素ごとのオプティカルフローを検出する際に、前記ブロックの中央から前記画素までの距離に応じて変化する探索範囲から、検出対象の前記画素に対応する前記探索範囲を選択するクラス別探索範囲設定ステップと、選択される前記探索範囲に基づいて前記画素ごとのオプティカルフローを算出し、算出した前記オプティカルフローを前記画素ごとのオプティカルフロー補正ベクトルとするオプティカルフロー補正ベクトル算出処理ステップと、前記画素ごとの前記オプティカルフロー補正ベクトルにより補正した前記動きベクトルに基づいて、予測画像ブロックを生成するオプティカルフロー補正画像生成処理ステップと、を有する予測画像生成方法である。
【００２６】
本発明の一態様は、上記の予測画像生成方法であって、前記探索範囲は、前記オプティカルフローの検出対象の前記画素が、前記ブロックの中央から離れるにしたがって、前記探索範囲が広がるように予め定められている。
【００２７】
本発明の一態様は、上記の予測画像生成方法であって、前記予測処理ステップにおいて、前記ブロックの中央からの距離に応じて減少する重み付けを行って前記動きベクトルを検出する。
【００２８】
本発明の一態様は、上記の予測画像生成方法であって、全ての前記画素に対して同一の前記探索範囲を選択する探索範囲設定ステップと、前記ブロックの前記動きベクトルと、当該ブロックの周辺のブロックの前記動きベクトルとが揃っているか否かを判定する動きベクトル判定ステップと、を更に有し、前記クラス別探索範囲設定ステップにおいて、前記動きベクトル判定ステップで前記ブロックの前記動きベクトルと、当該ブロックの周辺のブロックの動きベクトルとが揃っていると判定した場合、前記ブロックの中央から前記画素までの距離に応じて変化する探索範囲から、前記画素に対応する前記探索範囲を選択し、前記探索範囲設定ステップにおいて、前記動きベクトル判定ステップで前記ブロックの前記動きベクトルと、当該ブロックの周辺のブロックの動きベクトルとが揃っていないと判定した場合、前記同一の探索範囲を選択する。
【００２９】
本発明の一態様は、動画像データにおける符号化対象画像フレームを分割したブロック単位に動き補償フレーム間予測を行う予測画像生成装置であって、前記符号化対象画像フレームのブロックと、当該ブロックに対応する参照画像フレームのブロックとに基づいて、前記ブロックごとに動きベクトルを検出する予測処理部と、前記ブロックに含まれる画素ごとのオプティカルフローを検出する際に、前記ブロックの中央から前記画素までの距離に応じて変化する探索範囲から、検出対象の前記画素に対応する前記探索範囲を選択するクラス別探索範囲設定部と、選択される前記探索範囲に基づいて前記画素ごとのオプティカルフローを算出し、算出した前記オプティカルフローを前記画素ごとのオプティカルフロー補正ベクトルとするオプティカルフロー補正ベクトル算出処理部と、前記画素ごとの前記オプティカルフロー補正ベクトルにより補正した前記動きベクトルに基づいて、予測画像ブロックを生成するオプティカルフロー補正画像生成処理部と、を備える予測画像生成装置である。
【００３０】
本発明の一態様は、上記の予測画像生成方法をコンピュータに実行させるためのコンピュータプログラムである。
【発明の効果】
【００３１】
この発明によれば、演算量を低減することが可能となる。
【図面の簡単な説明】
【００３２】
【図１】本発明の第１実施形態における動画像符号化装置の構成を示す図である。
【図２】本発明の第１実施形態におけるインター予測処理部の構成を示す図である。
【図３】第１実施形態のインター予測処理部による処理を示すフローチャートである。
【図４】本発明の第２実施形態におけるインター予測処理部の構成を示す図である。
【図５】第２実施形態のインター予測処理部による処理を示すフローチャートである。
【図６】本発明の第３実施形態におけるインター予測処理部の構成を示す図である。
【図７】第３実施形態のインター予測処理部による処理を示すフローチャートである。
【図８】本発明の一実施形態における動画像復号装置の構成を示す図である
【図９】動画像復号装置２００のインター予測処理部２１０の構成を示す図である。
【図１０】動画像復号装置２００のインター予測処理部２１０ｂの構成を示す図である。
【図１１】動画像復号装置２００のインター予測処理部２１０ｃの構成を示す図である。
【発明を実施するための形態】
【００３３】
（第１実施形態）
以下、本発明の各実施形態について図面を参照して説明する。図１は、本発明の第１実施形態による動画像符号化装置１００の構成を示すブロック図である。動画像符号化装置１００は、例えば、ＨＥＶＣ（High Efficiency Video Coding）と呼ばれるＨ．２６５や、Ｈ．２６４等の符号化方式においてエンコーダとして適用される装置である。
【００３４】
図１において、動画像符号化装置１００は、予測残差生成部１０２、変換処理部１０３、量子化処理部１０４、逆量子化処理部１０５、逆変換処理部１０６、復号信号生成部１０７、インループフィルタ処理部１０８、イントラ予測処理部１０９、インター予測処理部１１０、フレームメモリ１１１、イントラ予測情報記憶部１１２、インター予測情報記憶部１１３、スイッチ１１４、エントロピー符号化処理部１１５を備える。
【００３５】
動画像符号化装置１００は、符号化対象の映像信号を入力信号として取り込み、入力映像信号に含まれる動画像データの各々のフレームを符号化し、符号化したビットストリームデータを符号化ストリームデータとして出力する。
【００３６】
動画像符号化装置１００において、入力映像信号に含まれる符号化対象の動画像データの各々のフレームが予測残差生成部１０２、インター予測処理部１１０に入力される。なお、以下の説明において、符号化対象の動画像データを、符号化対象画像データといい、符号化対象画像データの個々のフレームを、符号化対象画像フレームといい、更に、符号化対象画像フレームが分割された個々のブロックを、符号化対象画像ブロックという。
【００３７】
予測残差生成部１０２は、入力されたフレームごとに、内部に備える加算器により、入力映像信号と、イントラ予測処理部１０９、またはインター予測処理部１１０が出力する予測信号との差分を算出し、当該差分を予測残差信号として出力する。なお、以下の説明において、予測信号を、適用される構成に応じて、予測画像データ、予測画像フレーム、予測画像ブロックという。
【００３８】
変換処理部１０３は、予測残差信号に対して離散コサイン変換（ＤＣＴ(Discrete Cosine Transform)）の直交変換を行い、直交変換により得られた変換係数を出力する。量子化処理部１０４は、変換係数を量子化し、量子化した変換係数をエントロピー符号化処理部１１５と逆量子化処理部１０５とに出力する。エントロピー符号化処理部１１５は、量子化された変化係数をエントロピー符号化し、符号化ストリームデータを出力する。また、エントロピー符号化処理部１１５は、イントラ予測情報記憶部１１２に記憶されているイントラ予測に関する情報や、インター予測情報記憶部１１３に記憶されているインター予測に関する情報を読み出し、エントロピー符号化して符号化ストリームデータとして出力する。
【００３９】
逆量子化処理部１０５は、量子化された変換係数を逆量子化して変換係数に戻して出力する。逆変換処理部１０６は、逆量子化処理部１０５が出力する変換係数を逆直交変換して、予測残差復号信号を出力する。復号信号生成部１０７は、イントラ予測処理部１０９、またはインター予測処理部１１０が出力する予測信号と、逆変換処理部１０６が出力する予測残差復号信号とを内部に備える加算器により加算する。また、復号信号生成部１０７は、当該加算により、符号化対象画像ブロックに対応する復号画像ブロックを生成して出力する。インループフィルタ処理部１０８は、復号信号生成部１０７が出力する復号画像ブロックに対して符号化歪を低減するフィルタリング処理を行い、フィルタリング処理後の復号画像ブロックをフレームメモリ１１１に書き込んで記憶させる。
【００４０】
イントラ予測処理部１０９は、フレームメモリ１１１に記憶されているフレームに含まれるブロックごとに、予め定められる予測モードにしたがって、イントラ予測、すなわちフレーム内での予測を行い、予測信号を出力する。また、イントラ予測処理部１０９は、設定した予測モード等のイントラ予測に関する情報をイントラ予測情報記憶部１１２に書き込んで記憶させる。
【００４１】
インター予測処理部１１０は、入力された符号化対象画像フレームの１つ前のフレームｆｔ−１（ｐ）を参照画像フレームとしてフレームメモリ１１１から読み出す。インター予測処理部１１０は、入力された符号化対象画像フレームの符号化対象画像ブロックと、参照画像フレームにおける当該符号化対象画像ブロックに対応するブロックとに基づいて、インター予測、すなわちフレーム間予測を行い、予測信号を出力する。また、インター予測処理部１１０は、ブロックごとに動きベクトルを検出し、検出した動きベクトルによる動き補償を適用したフレーム間予測処理を行う。また、インター予測処理部１１０は、検出した動きベクトル、及び後述する動きベクトルを補正するＯＦ補正ベクトル等のインター予測に関する情報をインター予測情報記憶部１１３に書き込んで記憶させる。
【００４２】
スイッチ１１４は、予測残差生成部１０２及び復号信号生成部１０７が、イントラ予測処理部１０９かインター予測処理部１１０のいずれか一方に接続されるように切り替える。スイッチ１１４が、予測残差生成部１０２及び復号信号生成部１０７と、インター予測処理部１１０とを接続している場合、インター予測処理部１１０が動き補償フレーム間予測処理により生成した予測信号が予測残差生成部１０２に供給される。予測残差生成部１０２は、動き補償フレーム間予測が行われた予測信号を、符号化対象画像ブロックから減算して上記の予測残差信号を生成する。これにより、動画像符号化装置１００において、動き補償が行われたフレーム間予測を適用した符号化が行われる。
【００４３】
（第１実施形態のインター予測処理部の構成）
図２は、上述した動画像符号化装置１００のインター予測処理部１１０の内部構成を示すブロック図である。インター予測処理部１１０は、動きベクトル探索処理部１０、予測画像ブロック生成処理部１１、距離算出部１２、クラス別探索範囲設定部１３、クラス分類閾値記憶部１４、ＯＦ補正ベクトル算出処理部１５、ＯＦ補正画像生成処理部１６を備える。
【００４４】
インター予測処理部１１０は、ＭＣ予測ブロック、すなわち動き補償予測が行われたブロック内のＭＣ予測誤差の偏在性に着目した以下の適応処理を行う。ＭＣ予測ブロック内のＭＣ予測誤差の偏在性とは、ＭＣ予測ブロック内のＭＣ予測誤差が、ブロックの中央付近から離れるにしたがい、増加する傾向を有する性質のことである。この性質を利用して、ＯＦ補正を行う際のオプティカルフローを算出する際に、ＭＣ予測ブロック内の画素の位置に適応した処理をインター予測処理部１１０が行う。
【００４５】
例えば、第ｉ番目のＭＣ予測ブロックＢｉ内の中央位置の座標値をμｉとする。座標値μｉから補正処理の対象画素位置ｐまでの距離ｄ（ｐ，μｉ）に基づき、対象画素位置ｐのオプティカルフローの探索範囲を設定する。具体的には、ｄ（ｐ，μｉ）の値域をＣ個のクラスに分類し、クラスごとに探索範囲Ωｃ（ｃ＝０，・・・，Ｃ−１）を次式（９）のように定める。なお、以下の説明において、Ωｃ（ｃ＝０，・・・，Ｃ−１）をクラス別探索範囲という。
【００４６】
【数９】
2018093374.tif 000011
【００４７】
式（９）において、｜Ωｃ｜をクラス別探索範囲Ωｃ内の画素数を表す数式とした場合、次式（１０）の関係が成立するように、式（９）に示すクラス別探索範囲Ωｃを定める。なお、クラス別探索範囲Ωｃが、縦ｎ画素、横ｍ画素の矩形領域の場合、｜Ωｃ｜は、＝ｎ×ｍとなる。
【００４８】
【数１０】
2018093374.tif 000012
【００４９】
上記したクラス別探索範囲Ωｃ、クラス数Ｃ、及びクラス分類閾値θｃ（ｃ＝０，・・・，Ｃ−１）は、予め定められる情報である。また、上記した距離ｄ（）は、２つの座標値ｐ＝（ｐｘ，ｐｙ）、ｑ＝（ｑｘ，ｑｙ）の間において、次式（１１）に示す長さを示す。
【００５０】
【数１１】
2018093374.tif 000013
【００５１】
上記の式（１０）は、ＭＣ予測ブロックの中央付近では、オプティカルフローの探索範囲が最も狭く、ＭＣ予測ブロックの外縁に近づくほど、オプティカルフローの探索範囲が広くなることを意味している。例えば、Ｃ＝２として、探索範囲Ω０を空集合とすると、ＭＣ予測ブロックの外縁部の画素のみに対して、ＯＦ補正を適用し、それ以外の画素については、ＯＦ補正を省略することになる。
【００５２】
符号化対象画像フレームからＯＦ補正の参照画像フレームへの距離が異なる場合、例えば、式（８）のように符号化対象画像フレームの直前と直後、つまりｔ−１と、ｔ＋１の参照画像フレーム以外のフレームを用いる場合、ＯＦ補正に適用されるオプティカルフローの算出は、次式（１２）のように一般化して表すことができる。なお、式（１２）において、ｌｆは、未来方向の参照画像フレームを指定するパラメータであり、ｌｂは、過去方向の参照画像フレームを指定するパラメータである。
【００５３】
【数１２】
2018093374.tif 000014
【００５４】
以下、図２を参照しつつ、インター予測処理部１１０の構成について説明する。インター予測処理部１１０において、動きベクトル探索処理部１０は、符号化対象画像フレームと、フレームメモリ１１１に記憶されている参照画像フレームとを入力し、動きベクトルを検出する。例えば、動きベクトル探索処理部１０は、フレームメモリ１１１から、符号化対象画像フレームにおいてＭＣ予測を行うブロックに対応する参照画像ブロックを読み出す。すなわち、動きベクトル探索処理部１０は、取り込んだ符号化対象画像フレームの１つ前のフレームｆｔ−１（ｐ）を参照画像フレームとし、当該参照画像フレームにおいて、ＭＣ予測を行うブロックに対応する領域を参照画像ブロックとして読み出す。動きベクトル探索処理部１０は、符号化対象画像フレームのＭＣ予測ブロックと、当該ブロックに対応する参照画像ブロックとに基づいて、ＭＣ予測処理を行い、ＭＣ予測ブロックに最も類似した参照画像フレーム内の領域を探索することによってブロックごとに動きベクトルを検出する。ここで、ＭＣ予測を行うブロックに対応する参照画像フレームのブロックとは、ＭＣ予測を行うブロックの画素ｐに対して動きベクトルｖｉを適用することで式（２）を満たす関係となる参照画像フレームの画素を含むブロックである。このようなブロックを、例えば、マッチングにより検出して、参照画像フレームにおけるＭＣ予測を行うブロックに対応する参照画像ブロックとして読み出し、ＭＣ予測を行うブロックと、参照画像ブロックとの座標情報から動きベクトルを検出する。
【００５５】
動きベクトル探索処理部１０は、検出した動きベクトルをインター予測情報記憶部１１３及び予測画像ブロック生成処理部１１に出力する。予測画像ブロック生成処理部１１は、動きベクトルに基づいて予測画像ブロックを生成する予測処理部である。予測画像ブロック生成処理部１１は、ＭＣ予測が行われたブロック、すなわちＭＣ予測ブロックを示す情報を距離算出部１２に出力する。また、予測画像ブロック生成処理部１１は、生成した予測画像ブロックをＯＦ補正画像生成処理部１６に出力する。
【００５６】
距離算出部１２は、予測画像ブロック生成処理部１１が出力するＭＣ予測ブロックを示す情報からＭＣ予測が行われたブロックの中央座標値μｉを検出する。また、距離算出部１２は、検出した中央座標値μｉと、当該ブロック内でのＯＦ補正処理の対象となる画素ｐの座標値とに基づいて、距離ｄ（ｐ，μｉ）を算出し、算出した距離ｄ（ｐ，μｉ）をクラス別探索範囲設定部１３に出力する。
【００５７】
クラス分類閾値記憶部１４は、式（９）によって定められるクラス別探索範囲Ωｃ（ｃ＝０，・・・，Ｃ−１）と、クラス分類閾値θｃ（ｃ＝０，・・・，Ｃ−１）とが関係付けられたクラス別探索範囲を示す情報を予め記憶する。クラス別探索範囲設定部１３は、クラス分類閾値記憶部１４から、クラス別探索範囲を示す情報を読み出し、距離算出部１２が出力する距離ｄ（ｐ，μｉ）に該当する探索範囲を、クラス分類閾値θｃにしたがってクラス別探索範囲Ωｃから選択する。また、クラス別探索範囲設定部１３は、選択した探索範囲をＯＦ補正ベクトル算出処理部１５に出力する。
【００５８】
ＯＦ補正ベクトル算出処理部１５は、動画像符号化装置１００のフレームメモリ１１１から符号化対象画像フレームｆｔ（ｐ）の前後のフレームを参照画像フレームとして読み出す。また、ＯＦ補正ベクトル算出処理部１５は、読み出した参照画像フレームと、クラス別探索範囲設定部１３が出力する探索範囲とに基づいて、オプティカルフローを算出し、算出したオプティカルフローをＯＦ補正ベクトルδ（ｐ）とする。また、ＯＦ補正ベクトル算出処理部１５は、算出したＯＦ補正ベクトルδ（ｐ）をＯＦ補正画像生成処理部１６に出力する。
【００５９】
ＯＦ補正画像生成処理部１６は、予測画像ブロック生成処理部１１が出力した予測画像ブロックと、ＯＦ補正ベクトル算出処理部１５が出力したＯＦ補正ベクトルδ（ｐ）とに基づいて、ＯＦ補正を施した予測画像ブロックを生成する。また、ＯＦ補正画像生成処理部１６は、ＯＦ補正後の予測画像ブロックを予測残差生成部１０２と、復号信号生成部１０７とに出力する。また、ＯＦ補正画像生成処理部１６は、ＯＦ補正ベクトルδ（ｐ）をインター予測情報記憶部１１３に書き込んで記憶させる。
【００６０】
（第１実施形態のインター予測処理部による処理）
次に、第１実施形態のインター予測処理部１１０による処理について説明する。図３は、インター予測処理部１１０による処理の流れを示すフローチャートである。動画像符号化装置１００の製作者等の操作を受けて、インター予測処理部１１０のクラス分類閾値記憶部１４に、クラス別探索範囲Ωｃ（ｃ＝０，・・・，Ｃ−１）と、クラス分類閾値θｃ（ｃ＝０，・・・，Ｃ−１）とが関係付けられたクラス別探索範囲を示す情報が予め書き込まれて設定される（ステップＳａ１）。ステップＳａ２〜ステップＳａ６の処理が、符号化対象画像フレームの全てのＭＣ予測ブロックに対して繰り返し行われる（ループＬａ１ｓ〜Ｌａ１ｅ）。
【００６１】
動きベクトル探索処理部１０は、符号化対象画像フレームを取り込む。動きベクトル探索処理部１０は、取り込んだ符号化対象画像フレームの１つ前のフレームｆｔ−１を参照画像フレームとし、当該参照画像フレームにおいて、ＭＣ予測を行うブロックに対応する領域を参照画像ブロックとしてフレームメモリ１１１から読み出す。動きベクトル探索処理部１０は、ＭＣ予測ブロックと、当該ブロックに対応する参照画像ブロックとに基づいて、ＭＣ予測処理を行って、動きベクトルを検出する。動きベクトル探索処理部１０ｂは、検出した動きベクトルを予測画像ブロック生成処理部１１及びインター予測情報記憶部１１３に出力する。予測画像ブロック生成処理部１１は、検出された動きベクトルに基づいて予測画像ブロックを生成する。予測画像ブロック生成処理部１１は、ＭＣ予測ブロックを示す情報を距離算出部１２に出力する。予測画像ブロック生成処理部１１は、生成した予測画像ブロックをＯＦ補正画像生成処理部１６に出力する（ステップＳａ２）。
【００６２】
ステップＳａ３〜ステップＳａ５の処理が、ＭＣ予測ブロック内の全ての画素に対して繰り返し行われる（ループＬａ２ｓ〜Ｌａ２ｅ）。距離算出部１２は、ＭＣ予測ブロックを示す情報からＭＣ予測が行われたブロックの中央座標値μｉを検出する。ここで、ＭＣ予測ブロックを示す情報とは、当該ＭＣ予測ブロックの符号化対象画像フレームにおける位置を示す情報であってもよいし、当該ＭＣ予測ブロックの中央座標値μｉ自体であってもよい。ＭＣ予測ブロックを示す情報が、中央座標値μｉの場合、距離算出部１２は、予測画像ブロック生成処理部１１が出力する値をそのまま用いる。これに対して、ＭＣ予測ブロックを示す情報が、符号化対象画像フレームにおける当該ＭＣ予測ブロックの位置を示す情報の場合、距離算出部１２は、予測画像ブロック生成処理部１１が符号化対象画像フレームを取り込んだ際に、予測画像ブロック生成処理部１１から事前に与えられている符号化対象画像フレームの座標位置に関する情報等から当該ＭＣ予測ブロックの中央座標値μｉを算出する。
【００６３】
距離算出部１２は、ＭＣ予測ブロックの中央座標値μｉと、当該ブロック内でのＯＦ補正処理の対象となる画素ｐの座標値とに基づいて、式（１１）により距離ｄ（ｐ，μｉ）を算出する。距離算出部１２は、算出した距離ｄ（ｐ，μｉ）をクラス別探索範囲設定部１３に出力する（ステップＳａ３）。
【００６４】
クラス別探索範囲設定部１３は、クラス分類閾値記憶部１４からクラス別探索範囲Ωｃ（ｃ＝０，・・・，Ｃ−１）と、クラス分類閾値θｃ（ｃ＝０，・・・，Ｃ−１）とが関係付けられたクラス別探索範囲を示す情報を読み出す。クラス別探索範囲設定部１３は、読み出したクラス別探索範囲を示す情報に基づいて、距離算出部１２が出力する距離ｄ（ｐ，μｉ）に該当する探索範囲を、クラス分類閾値θｃにしたがってクラス別探索範囲Ωｃから選択する。クラス別探索範囲設定部１３は、選択した探索範囲をＯＦ補正ベクトル算出処理部１５に出力する（ステップＳａ４）。
【００６５】
ＯＦ補正ベクトル算出処理部１５は、動画像符号化装置１００のフレームメモリ１１１から、式（１２）にしたがって、符号化対象画像フレームｆｔ（ｐ）の前後のフレーム、すなわち時刻ｔ＋ｌｆと、時刻ｔ−ｌｂにおけるフレームを参照画像フレームとして読み出す。ＯＦ補正ベクトル算出処理部１５は、読み出した２つの参照画像フレームと、クラス別探索範囲設定部１３が出力する探索範囲とに基づいて、式（１２）により、ＯＦ補正ベクトルδ（ｐ）を求める。すなわち、ＯＦ補正ベクトル算出処理部１５は、参照画像フレームにおける当該探索範囲を対象として画素ごとのオプティカルフローを算出し、算出したオプティカルフローをＯＦ補正ベクトルδ（ｐ）とする。また、ＯＦ補正ベクトル算出処理部１５は、算出したＯＦ補正ベクトルδ（ｐ）をＯＦ補正画像生成処理部１６に出力する（ステップＳａ５）。
【００６６】
ＯＦ補正画像生成処理部１６は、予測画像ブロック生成処理部１１が出力した予測画像ブロックと、インター予測情報記憶部１１３に記憶されている動きベクトルと、ＯＦ補正ベクトル算出処理部１５が出力したＯＦ補正ベクトルδ（ｐ）に基づいて、式（７）による画素ごとのＯＦ補正を施した予測画像ブロックを生成する。ＯＦ補正画像生成処理部１６は、ＯＦ補正後の予測画像ブロックを予測残差生成部１０２と、復号信号生成部１０７とに出力する。ＯＦ補正画像生成処理部１６は、動きベクトルと、ＯＦ補正ベクトルδ（ｐ）とをインター予測情報記憶部１１３に書き込んで記憶させる（ステップＳａ６）。
【００６７】
上記の第１実施形態の構成により、インター予測処理部１１０の予測画像ブロック生成処理部１１は、符号化対象画像フレームのＭＣ予測ブロックと、当該ブロックに対応する参照画像ブロックとに基づいて、動きベクトルを検出し、検出した動きベクトルに基づいて予測画像ブロックを生成する。距離算出部１２は、ＭＣ予測ブロックの中央座標値と、ＯＦ補正の処理対象とする画素の距離を算出する。クラス別探索範囲設定部１３は、ＭＣ予測ブロックの外縁に近づくほどオプティカルフローの探索範囲が広くなるように予め定められたクラス別探索範囲Ωｃと、クラス分類閾値θｃとが関係付けられたクラス別探索範囲を示す情報をクラス分類閾値記憶部１４から読み出す。クラス別探索範囲設定部１３は、距離算出部１２が算出した距離と、クラス分類閾値θｃとに基づいて、クラス別探索範囲Ωｃの中から当該距離に該当する探索範囲を選択する。ＯＦ補正ベクトル算出処理部１５は、選択された探索範囲からオプティカルフローを算出し、算出したオプティカルフローをＯＦ補正ベクトルとしてＯＦ補正画像生成処理部１６に出力する。ＯＦ補正画像生成処理部１６は、算出されたＯＦ補正ベクトルを、予測画像ブロック生成処理部１１が出力する予測画像ブロックと動きベクトルとに適用し、ＯＦ補正した予測画像ブロックを生成する。
これにより、ＭＣ予測ブロックの補正対象の画素の位置に応じたオプティカルフローの探索範囲を選択することができる。補正対象の画素の位置が、ＭＣ予測ブロックの中央付近から離れるにしたがって探索範囲が広くなるようにすることで、ＭＣ予測ブロックの中央付近の画素については、探索範囲を狭くすることができる。探索範囲を狭くすることにより、オプティカルフローの算出に要する演算量を削減することができる。また、補正対象の画素の位置が、ＭＣ予測ブロックの外縁部に近づくにつれて、探索範囲が広くなるため、精度を下げることなく、オプティカルフローを算出することができる。したがって、上記の第１実施形態の構成により、符号化効率の低下を抑えながら、ＯＦ補正にかかる演算量を削減することが可能となる。
【００６８】
（第２実施形態）
図４は、本発明の第２実施形態によるインター予測処理部１１０ｂの構成を示す図である。インター予測処理部１１０ｂは、図１に示す動画像符号化装置１００において、第１実施形態のインター予測処理部１１０に替えて適用される機能部である。以下、第１実施形態のインター予測処理部１１０と同一の構成については、同一の符号を付し、異なる構成について説明する。インター予測処理部１１０ｂは、動きベクトル探索処理部１０ｂ、予測画像ブロック生成処理部１１、重み係数記憶部２１、距離算出部１２、クラス別探索範囲設定部１３、クラス分類閾値記憶部１４、ＯＦ補正ベクトル算出処理部１５、ＯＦ補正画像生成処理部１６を備える。
【００６９】
第１実施形態によるインター予測処理部１１０では、ＭＣ予測ブロックの中央付近から離れるにつれて、ＭＣ予測誤差が増加する傾向があることを前提としていたが、映像信号の特性によっては、当該前提が明確に成立しない場合も想定される。そのため、第２実施形態によるインター予測処理部１１０ｂでは、ＭＣ予測ブロックの中央付近から離れるにつれて減少する重みを乗じて、次式（１３）に示すように動きベクトルの検出を行う。
【００７０】
【数１３】
2018093374.tif 000015
【００７１】
式（１３）において、ｃ（Ｂｉ）は、ＭＣ予測ブロックＢｉの中央の座標値であり、Ｗ（ｐ−ｃ（Ｂｉ））は、ＭＣ予測ブロックの中央位置からの距離に応じて減少するように設定された重み係数である。重み係数として、例えば、次式（１４）で示されるようなガウス関数を用いることができる。
【００７２】
【数１４】
2018093374.tif 000016
【００７３】
式（１４）においてσは、重みの減少量を定めるパラメータである。また、式（１３）において、次式（１５）の部分は、画素ｐと中央の座標値ｃ（Ｂｉ）とのユークリッド距離である。式（１３）に示す重み付けにより、ＭＣ予測ブロックの中央付近のＭＣ予測誤差が低減することになる。このように動きベクトルを検出することで、第１実施形態において前提としていたＭＣ予測誤差の性質が明確になる。
【００７４】
【数１５】
2018093374.tif 000017
【００７５】
以下、インター予測処理部１１０ｂの内部構成について説明する。インター予測処理部１１０ｂにおいて、重み係数記憶部２１には、予め式（１４）に基づいて算出された重み係数Ｗ（ｐ−ｃ（Ｂｉ））が、動画像符号化装置１００の製作者等の操作を受けて書き込まれる。すなわち、重み係数記憶部２１は、画素ｐごとの重み係数を予め記憶する。
動きベクトル探索処理部１０ｂは、符号化対象画像フレームと、重み係数記憶部２１に記憶されている重み係数とに基づいて、動きベクトルを検出する。
【００７６】
（第２実施形態のインター予測処理部による処理）
図５は、インター予測処理部１１０ｂによる処理の流れを示すフローチャートである。図５のフローチャートにおいて、ステップＳｂ１，Ｓｂ３，Ｓｂ４，Ｓｂ５，Ｓｂ６による処理は、図３のステップＳａ１，Ｓａ３，Ｓａ４，Ｓａ５，Ｓａ６の処理と同一の処理である。また、ループ処理Ｌｂ１ｓ〜Ｌｂ１ｅは、ループ処理Ｌａ１ｓ〜Ｌａ１ｅと同じく符号化対象画像フレームの全てのＭＣ予測ブロックを対象として繰り返す処理であり、ループ処理Ｌｂ２ｓ〜Ｌｂ２ｅは、ループ処理Ｌａ２ｓ〜Ｌａ２ｅと同じくＭＣ予測ブロック内の全ての画素を対象として繰り返す処理である。以下、第１実施形態と異なる処理について説明する。
【００７７】
動きベクトル探索処理部１０ｂは、重み係数記憶部２１から重み係数を読み出す（ステップＳｂ２−１）。動きベクトル探索処理部１０ｂは、符号化対象画像フレームを取り込む。動きベクトル探索処理部１０ｂは、取り込んだ符号化対象画像フレームの１つ前のフレームｆｔ−１（ｐ）を参照画像フレームとし、参照画像フレームにおいて、ＭＣ予測を行うブロックに対応する領域を参照画像ブロックとしてフレームメモリ１１１から読み出す。
【００７８】
動きベクトル探索処理部１０ｂは、符号化対象画像フレームのＭＣ予測ブロックと、当該ブロックに対応する参照画像ブロックと、重み係数記憶部２１から読み出した重み係数とに基づいて、式（１３）に基づいて、ＭＣ予測処理を行い、動きベクトルを検出する。動きベクトル探索処理部１０ｂは、検出した動きベクトルを予測画像ブロック生成処理部１１及びインター予測情報記憶部１１３に出力する。予測画像ブロック生成処理部１１は、重み付きの動きベクトルを用いて予測画像ブロックを生成する。予測画像ブロック生成処理部１１は、ＭＣ予測ブロックを示す情報を距離算出部１２に出力する。予測画像ブロック生成処理部１１は、生成した予測画像ブロックをＯＦ補正画像生成処理部１６に出力する（ステップＳｂ２−２）。
【００７９】
上記の第２実施形態の構成により、動きベクトル探索処理部１０ｂが、重み係数記憶部２１に記憶されている重み係数、すなわちＭＣ予測ブロックの中央位置から離れるにつれて減少する重みを乗じて動きベクトルを検出する。そのため、ＭＣ予測ブロック内のＭＣ予測誤差の偏在性、すなわちＭＣ予測ブロック内のＭＣ予測誤差が、ブロックの中央付近から離れるにしたがい、増加する傾向を有する性質が明確になる。この条件下で、クラス別探索範囲設定部１３が、補正対象の画素がＭＣ予測ブロックの外縁に近づくほどオプティカルフローの探索範囲が広くなるような探索範囲を選択し、ＯＦ補正ベクトル算出処理部１５が、選択された探索範囲からオプティカルフローを算出する処理を行う。これにより、より高い精度で、符号化効率の低下を抑えながら、ＯＦ補正にかかる演算量を削減することが可能となる。
【００８０】
（第３実施形態）
図６は、本発明の第３実施形態によるインター予測処理部１１０ｃの内部構成を示すブロック図である。インター予測処理部１１０ｃは、図１に示す動画像符号化装置１００において、第１実施形態のインター予測処理部１１０に替えて適用される機能部である。第１実施形態のインター予測処理部１１０と同一の構成については、同一の符号を付し、以下、異なる構成について説明する。インター予測処理部１１０ｃは、動きベクトル探索処理部１０、予測画像ブロック生成処理部１１ｃ、動きベクトル判定部２２、スイッチ２３、距離算出部１２、クラス別探索範囲設定部１３、クラス分類閾値記憶部１４、探索範囲設定部２４、ＯＦ補正ベクトル算出処理部１５ｃ、ＯＦ補正画像生成処理部１６を備える。
【００８１】
第１実施形態によるインター予測処理部１１０では、ＭＣ予測ブロックの中央付近から離れるにつれて、ＭＣ予測誤差が増加する傾向があることを前提としていたが、映像信号の特性によっては、当該前提が明確に成立しない場合も想定される。そのため、第３実施形態によるインター予測処理部１１０ｃでは、対象としているＭＣ予測ブロックの動きベクトルが周辺ブロックの動きベクトルと揃っていれば、当該前提が成り立つものとして、第１実施形態のインター予測処理部１１０による処理を行う。一方、対象としているＭＣ予測ブロックの動きベクトルが周辺ブロックの動きベクトルと揃っていない場合、当該前提が成り立たないものとして、ＯＦ補正に用いるオプティカルフローの探索範囲を、ＭＣ予測ブロック内の位置によらず固定して探索を行う。
【００８２】
対象のＭＣ予測ブロックの動きベクトルが周辺ブロックの動きベクトルと揃っていることを評価する尺度としては、例えば、次式（１６）に示す動きベクトルの乖離度を適用することができる。式（１６）の乖離度が、予め定められる閾値未満の場合、当該ＭＣ予測ブロックの動きベクトルが周辺ブロックの動きベクトルと揃っているとみなし、逆に、予め定められる閾値以上の場合、当該ＭＣ予測ブロックの動きベクトルが周辺ブロックの動きベクトルと揃っていないとみなす。なお、式（１６）において、ベクトルｖｉは、処理対象のＭＣ予測ブロックの動きベクトルであり、ベクトルｖｎは、処理対象のＭＣ予測ブロックの周辺ブロックの動きベクトルである。Ｎは、周辺ブロックのインデックスの集合を示しており、例えば、処理対象のＭＣ予測ブロックの上下左右に隣接する４つのブロックを周辺ブロックとする。また、式（１６）に示すように、動きベクトルが揃っているか否かは、ベクトルの大きさと方向の両方の面において揃っているか否かに基づいており、ＭＣ予測ブロックの動きベクトルと、周辺ブロックのベクトルが、同一方向で同一の大きさの場合、乖離度は最小となる。
【００８３】
【数１６】
2018093374.tif 000018
【００８４】
以下、インター予測処理部１１０ｃの内部構成について説明する。インター予測処理部１１０ｃにおいて、予測画像ブロック生成処理部１１ｃは、検出された動きベクトルと、ＭＣ予測ブロックを示す情報とを動きベクトル判定部２２に出力する。また、予測画像ブロック生成処理部１１ｃは、生成した予測画像ブロックをＯＦ補正画像生成処理部１６に出力する。
【００８５】
動きベクトル判定部２２は、予測画像ブロック生成処理部１１ｃが出力するＭＣ予測ブロックを示す情報に基づいて、当該ＭＣ予測ブロックの上下左右に隣接する４つの周辺ブロックの動きベクトルをインター予測情報記憶部１１３から読み出す。また、動きベクトル判定部２２は、予測画像ブロック生成処理部１１ｃが出力するＭＣ予測ブロックの動きベクトルと、インター予測情報記憶部１１３から読み出した周辺ブロックの動きベクトルとから動きベクトルの乖離度を算出する。また、動きベクトル判定部２２は、算出した乖離度が、予め定められる閾値未満であるか否かを判定し、判定結果に基づいて、スイッチ２３の接続先を距離算出部１２にするか、または、探索範囲設定部２４にするかを選択する。また、動きベクトル判定部２２は、スイッチ２３の接続先にＭＣ予測ブロックを示す情報を出力する。スイッチ２３は、動きベクトル判定部２２からの指示情報を受けて、当該指示情報に示される接続先と、動きベクトル判定部２２とを接続する。
【００８６】
探索範囲設定部２４は、動きベクトル判定部２２が出力するＭＣ予測ブロックを示す情報を受けて、当該ＭＣ予測ブロック内の全ての画素に共通した探索範囲であって予め定められる規定の探索範囲をＯＦ補正ベクトル算出処理部１５ｃに出力する。つまり、当該探索範囲は、画素の位置によらず、固定の大きさの領域である。
【００８７】
ＯＦ補正ベクトル算出処理部１５ｃは、動画像符号化装置１００のフレームメモリ１１１から符号化対象画像フレームｆｔ（ｐ）の前後のフレームを参照画像フレームとして読み出す。また、ＯＦ補正ベクトル算出処理部１５は、読み出した参照画像フレームと、クラス別探索範囲設定部１３、または探索範囲設定部２４が出力する探索範囲とに基づいて、ＯＦ補正ベクトルδ（ｐ）を求める。また、ＯＦ補正ベクトル算出処理部１５は、算出したＯＦ補正ベクトルδ（ｐ）をＯＦ補正画像生成処理部１６に出力する。
【００８８】
（第３実施形態のインター予測処理部による処理）
図７は、インター予測処理部１１０ｃによる処理の流れを示すフローチャートである。図７のフローチャートにおいて、ステップＳｃ１，Ｓｃ３，Ｓｃ４による処理は、図３のステップＳａ１，Ｓａ３，Ｓａ４の処理と同一の処理であり、ステップＳｃ５の処理は、ＯＦ補正ベクトル算出処理部１５ｃが、第１実施形態のＯＦ補正ベクトル算出処理部１５と同様に、クラス別探索範囲設定部１３が出力する探索範囲を受けてステップＳａ５と同一の処理を行う。ループ処理Ｌｃ１ｓ〜Ｌｃ１ｅは、ループ処理Ｌａ１ｓ〜Ｌａ１ｅと同じく符号化対象画像フレームの全てのＭＣ予測ブロックを対象として繰り返す処理であり、ループ処理Ｌｃ２ｓ〜Ｌｃ２ｅは、ループ処理Ｌａ２ｓ〜Ｌａ２ｅと同じくＭＣ予測ブロック内の全ての画素を対象として繰り返す処理である。以下、第１実施形態と異なる処理について説明する。
【００８９】
動きベクトル探索処理部１０は、符号化対象画像フレームを取り込む。動きベクトル探索処理部１０は、取り込んだ符号化対象画像フレームの１つ前のフレームｆｔ−１を参照画像フレームとし、当該参照画像フレームにおいて、ＭＣ予測を行うブロックに対応する領域を参照画像ブロックとしてフレームメモリ１１１から読み出す。
【００９０】
動きベクトル探索処理部１０は、符号化対象画像フレームのＭＣ予測ブロックと、当該ブロックに対応する参照画像ブロックとに基づいて、ＭＣ予測処理を行って、動きベクトルを検出し、検出した動きベクトルを予測画像ブロック生成処理部１１ｃ及びインター予測情報記憶部１１３に出力する。予測画像ブロック生成処理部１１ｃは、動きベクトルを用いて予測画像ブロックを生成する。予測画像ブロック生成処理部１１ｃは、検出された動きベクトルと、ＭＣ予測ブロックを示す情報とを動きベクトル判定部２２に出力する。予測画像ブロック生成処理部１１ｃは、生成した予測画像ブロックをＯＦ補正画像生成処理部１６に出力する（ステップＳｃ２ａ）。
【００９１】
動きベクトル判定部２２は、予測画像ブロック生成処理部１１ｃが出力するＭＣ予測ブロックを示す情報に基づいて、当該ＭＣ予測ブロックの上下左右に隣接する４つの周辺ブロックの動きベクトルをインター予測情報記憶部１１３から読み出す（ステップＳｃ２ｂ）。動きベクトル判定部２２は、予測画像ブロック生成処理部１１ｃが出力するＭＣ予測ブロックの動きベクトルと、インター予測情報記憶部１１３から読み出した周辺ブロックの動きベクトルとに基づいて、式（１６）により動きベクトルの乖離度を算出する。動きベクトル判定部２２は、算出した乖離度が、予め定められる閾値未満であるか否かを判定する（ステップＳｃ２ｃ）。
【００９２】
動きベクトル判定部２２は、算出した乖離度が、予め定められる閾値未満であると判定した場合、予測画像ブロック生成処理部１１ｃが出力するＭＣ予測ブロックの動きベクトルが、周辺ブロックの動きベクトルに揃っているとみなし、スイッチ２３を距離算出部１２に接続する指示情報を出力する。スイッチ２３は、当該指示情報を受けて、動きベクトル判定部２２と、距離算出部１２とを接続する。その後、ループＬｃ２ｓ〜Ｌｃ２ｅの処理が行われる。一方、動きベクトル判定部２２は、算出した乖離度が、予め定められる閾値以上であると判定した場合、予測画像ブロック生成処理部１１ｃが出力するＭＣ予測ブロックの動きベクトルが、周辺ブロックの動きベクトルに揃っていないとみなし、スイッチ２３を探索範囲設定部２４に接続する指示情報を出力する。スイッチ２３は、当該指示情報を受けて、動きベクトル判定部２２と、探索範囲設定部２４とを接続する。その後、ステップＳｃ１０及びステップＳｃ１１の処理が、ＭＣ予測ブロック内の全ての画素を対象として繰り返し行われる。
【００９３】
探索範囲設定部２４は、動きベクトル判定部２２が出力するＭＣ予測ブロックを示す情報を受けて、当該ＭＣ予測ブロック内の全ての画素に共通した探索範囲であって予め定められる規定の探索範囲をＯＦ補正ベクトル算出処理部１５ｃに出力する（ステップＳｃ１０）。ＯＦ補正ベクトル算出処理部１５ｃは、動画像符号化装置１００のフレームメモリ１１１から符号化対象画像フレームｆｔ（ｐ）の前後のフレームを参照画像フレームとして読み出す。ＯＦ補正ベクトル算出処理部１５ｃは、読み出した参照画像フレームと、探索範囲設定部２４が出力する探索範囲とに基づいて、ＯＦ補正ベクトルδ（ｐ）を求める。また、ＯＦ補正ベクトル算出処理部１５は、算出したＯＦ補正ベクトルδ（ｐ）をＯＦ補正画像生成処理部１６に出力する（ステップＳｃ１１）。
【００９４】
ＯＦ補正画像生成処理部１６は、予測画像ブロック生成処理部１１が出力した予測画像ブロック及び動きベクトルと、ＯＦ補正ベクトル算出処理部１５ｃが出力したＯＦ補正ベクトルδ（ｐ）とに基づいて、式（７）により、ＯＦ補正を施した予測画像ブロックを生成する。ＯＦ補正画像生成処理部１６は、ＯＦ補正後の予測画像ブロックを予測残差生成部１０２と、復号信号生成部１０７とに出力する。ＯＦ補正画像生成処理部１６は、動きベクトルと、ＯＦ補正ベクトルδ（ｐ）とをインター予測情報記憶部１１３に書き込んで記憶させる（ステップＳｃ１５）。
【００９５】
上記の第３実施形態の構成により、予測画像ブロック生成処理部１１ｃが検出したＭＣ予測ブロックの動きベクトルが、当該ＭＣ予測ブロックの周辺ブロックの動きベクトルに揃っているか否かを動きベクトル判定部２２が判定する。動きベクトル判定部２２が、動きベクトルが揃っていると判定した場合、ＭＣ予測ブロックの中央付近から離れるにつれて、ＭＣ予測誤差が増加する傾向が現れているものとみなし、画素の位置によって探索範囲を変化させてオプティカルフローの算出を行う。一方、動きベクトル判定部２２が、動きベクトルが揃っていないと判定した場合、画素の位置に依存しない固定の広さの探索範囲によって、オプティカルフローの算出を行う。これにより、ＭＣ予測ブロックの中央付近から離れるにつれて、ＭＣ予測誤差が増加する傾向が現れているとみなせる状態と、みなせない状態とに応じて、オプティカルフローの算出処理を選択することができる。当該傾向が現れていない場合に、画素の位置によって探索範囲を変化させてオプティカルフローの算出処理を行っても演算量の削減を行うことできず、むしろ、距離算出部１２による距離の算出処理や、クラス別探索範囲設定部１３おける閾値判定の処理のために処理量が増加する可能性もある。上記のように選択的に処理を行うことで、このような処理量の増加を抑えつつ、符号化効率の低下を抑えながら、ＯＦ補正にかかる演算量を削減することが可能となる。
【００９６】
（動画像復号装置）
図８は、図１の動画像符号化装置１００が出力する符号化ストリームデータを受信して映像信号を復号する動画像復号装置２００の構成を示すブロック図である。動画像復号装置２００は、例えば、ＨＥＶＣやＨ．２６４等の符号化方式においてデコーダとして適用される装置である。
【００９７】
動画像復号装置２００は、逆量子化処理部２０５、逆変換処理部２０６、復号信号生成部２０７、インループフィルタ処理部２０８、フレームメモリ２１１、イントラ予測処理部２０９、インター予測処理部２１０、イントラ予測情報記憶部２１２、インター予測情報記憶部２１３、スイッチ２１４及びエントロピー復号処理部２１５を備える。
【００９８】
動画像復号装置２００において、エントロピー復号処理部２１５は、動画像符号化装置１００のエントロピー符号化処理部１１５が出力する符号化ストリームデータを取り込み、符号化ストリームデータに含まれているイントラ予測に関する情報をエントロピー復号して、イントラ予測情報記憶部２１２に書き込んで記憶させる。また、エントロピー復号処理部２１５は、符号化ストリームデータに含まれている動きベクトルやＯＦ補正ベクトル等のインター予測に関する情報をエントロピー復号して、インター予測情報記憶部２１３に書き込んで記憶させる。また、エントロピー復号処理部２１５は、符号化ストリームデータに含まれている復号対象ブロックの量子化されている変換係数をエントロピー復号する。
【００９９】
逆量子化処理部２０５は、エントロピー復号処理部２１５が出力する量子化されている変換係数を逆量子化して、復号変換係数を出力する。逆変換処理部２０６は、逆量子化処理部２０５が出力する復号変換係数を逆直交変換し、予測残差復号信号を出力する。復号信号生成部２０７は、イントラ予測処理部２０９、またはインター予測処理部２１０が出力する予測信号と、逆量子化処理部２０５が出力する予測残差復号信号とを、内部に備える加算器により加算し、復号画像ブロックを生成する。インループフィルタ処理部２０８は、復号信号生成部２０７が出力する復号画像ブロックに対して符号化歪を低減するフィルタリング処理を行い、フィルタリング処理後の復号画像ブロックをフレームメモリ２１１に書き込んで記憶させる。
【０１００】
イントラ予測処理部２０９は、フレームメモリ２１１に記憶されているフィルタリング処理後の復号画像ブロックを読み出す。また、イントラ予測処理部２０９は、イントラ予測情報記憶部２１２に記憶されている予測モード等の情報に基づいて、読み出した復号画像ブロックから予測画像ブロック、すなわち予測信号を生成して出力する。
【０１０１】
インター予測処理部２１０は、フレームメモリ２１１に記憶されているフィルタリング処理後の復号画像ブロックを読み込む。また、インター予測処理部１１０は、インター予測情報記憶部２１３に記憶されている動きベクトル、ＯＦ補正ベクトル等の情報に基づいて、復号画像ブロックから予測画像ブロック、すなわち予測信号を生成して出力する。
【０１０２】
スイッチ２１４は、復号信号生成部２０７と、イントラ予測処理部２０９とを接続するか、復号信号生成部２０７と、インター予測処理部２１０とを接続するかを切り替えることにより、適用する予測信号を切り替える。
【０１０３】
（第１から第３実施形態のインター予測部の動画像復号装置２００への適用）
第１実施形態のインター予測部の構成を動画像復号装置２００へ適用した場合の構成を図９に示す。
図９は、動画像復号装置２００のインター予測処理部２１０の内部構成を示すブロック図である。インター予測処理部２１０は、予測画像ブロック生成処理部３１、距離算出部３２、クラス別探索範囲設定部３３、クラス分類閾値記憶部３４、ＯＦ補正ベクトル算出処理部３５、ＯＦ補正画像生成処理部３６を備える。
予測画像ブロック生成処理部３１は、インター予測情報記憶部２１３に記憶されている動きベクトルと、フレームメモリ２１１に記憶されている参照画像フレームとに基づいて、動きベクトルが指定する参照画像フレーム内の領域を予測画像ブロックとしてフレームメモリ２１１から読み出す。予測画像ブロック生成処理部３１、距離算出部３２、クラス別探索範囲設定部３３、クラス分類閾値記憶部３４、ＯＦ補正ベクトル算出処理部３５及びＯＦ補正画像生成処理部３６は、動画像符号化装置１００のインター予測処理部１１０が備える同名の機能部と同様の処理を行う。
【０１０４】
第２実施形態のインター予測部の構成を動画像復号装置２００へ適用した場合の構成を図１０に示す。
図１０は、動画像復号装置２００のインター予測処理部２１０ｂの内部構成を示すブロック図である。インター予測処理部２１０ｂは、予測画像ブロック生成処理部３１ｂ、距離算出部３２、クラス別探索範囲設定部３３、クラス分類閾値記憶部３４、ＯＦ補正ベクトル算出処理部３５、ＯＦ補正画像生成処理部３６を備える。
予測画像ブロック生成処理部３１ｂは、インター予測情報記憶部２１３に記憶されている重み付きの動きベクトルと、フレームメモリ２１１に記憶されている参照画像フレームとに基づいて、動きベクトルが指定する参照画像フレーム内の領域を予測画像ブロックとしてフレームメモリ２１１から読み出す。予測画像ブロック生成処理部３１ｂ、距離算出部３２、クラス別探索範囲設定部３３、クラス分類閾値記憶部３４、ＯＦ補正ベクトル算出処理部３５及びＯＦ補正画像生成処理部３６は、動画像符号化装置１００のインター予測処理部１１０ｂが備える同名の機能部と同様の処理を行う。
【０１０５】
第３実施形態のインター予測部の構成を動画像復号装置２００へ適用した場合の構成を図１０に示す。
図１１は、動画像復号装置２００のインター予測処理部２１０ｃの内部構成を示すブロック図である。インター予測処理部２１０ｃは、予測画像ブロック生成処理部３１ｃ、動きベクトル判定部４２、スイッチ４３、距離算出部３２、クラス別探索範囲設定部３３、クラス分類閾値記憶部３４、探索範囲設定部４４、ＯＦ補正ベクトル算出処理部３５ｃ、ＯＦ補正画像生成処理部３６を備える。
予測画像ブロック生成処理部３１ｃは、インター予測情報記憶部２１３に記憶されている動きベクトルと、フレームメモリ２１１に記憶されている参照画像フレームとに基づいて、動きベクトルが指定する参照画像フレーム内の領域を予測画像ブロックとしてフレームメモリ２１１から読み出す。予測画像ブロック生成処理部３１ｃ、距離算出部３２、クラス別探索範囲設定部３３、クラス分類閾値記憶部３４、ＯＦ補正ベクトル算出処理部３５及びＯＦ補正画像生成処理部３６は、動画像符号化装置１００のインター予測処理部１１０ｃが備える同名の機能部と同様の処理を行う。
【０１０６】
なお、上記の第１から第３実施形態において、クラス分類閾値記憶部１４には、式（９）によって定められるクラス別探索範囲Ωｃ（ｃ＝０，・・・，Ｃ−１）と、クラス分類閾値θｃ（ｃ＝０，・・・，Ｃ−１）とが関係付けられたクラス別探索範囲を示す情報が予め記憶されるとしているが、本発明の構成は、当該実施の形態に限られない。例えば、処理が開始されるごとに、クラス別探索範囲を示す情報を外部のメモリ等から読み出すようにしておくようにしてもよい。そのようにすることで、メモリ等の情報を書き換えるだけで容易にクラス別探索範囲Ωｃやクラス分類閾値θｃを変更することができる。
【０１０７】
また、上記の第１から第３実施形態において、式（２）に示すようにＭＣ予測処理は、１つ前のフレームを対象として動きベクトルを算出するようにしているが、前後のフレーム、すなわち未来と過去のフレームを用いて動きベクトルを算出する双方向のＭＣ予測処理であってもよい。
【０１０８】
また、上記の第１から第３実施形態において、式（１２）に示すように符号化対象画像フレームの前後の参照画像フレームを用いてオプティカルフロー、すなわちＯＦ補正ベクトルを算出するようにしているが、オプティカルフローを算出する手法であればどのような手法を用いてもよく、符号化対象画像フレームと過去の参照画像フレームから算出してもよいし、符号化対象画像フレームと未来の参照画像フレームから算出するようにしてもよい。
【０１０９】
また、上記の第３実施形態において、周辺ブロックは、ＭＣ予測ブロックの上下左右に隣接する４つのブロックを周辺ブロックとしているが、右上、右下、左上、左下を加えた８ブロックを周辺ブロックにするようにしてもよい。
【０１１０】
また、上記の第３実施形態において、対象のＭＣ予測ブロックの動きベクトルが周辺ブロックの動きベクトルと揃っていることを評価する尺度として、次式（１６）に示す動きベクトルの乖離度を用いているが、本発明の構成は、当該実施の形態に限られない。例えば、ベクトルの方向のみをみて方向の一致度合いに基づいて揃っているか否かを判定するようにしてもよい。
【０１１１】
また、上記の第３実施形態の動きベクトル探索処理部１０として、第２実施形態の動きベクトル探索処理部１０ｂを適用してもよい。また、予測画像ブロック生成処理部１１ｃに加えて、動きベクトル探索処理部１０ｂを備えておき、動きベクトル判定部２２による判定の結果、距離算出部１２に接続することが選択された場合に、動きベクトル探索処理部１０ｂに重み付けされた動きベクトルを検出させるようにしてもよい。
【０１１２】
また、上記の第３実施形態の動きベクトル判定部２２は、算出した乖離度が、予め定められる閾値未満であるか否かに基づいて、判定を行っているが、本発明の構成は、当該実施の形態に限られず、閾値以下であるか否かに基づいて判定を行ってもよい。すなわち、上記の実施形態における値の比較は一例であり、例えば、式（９）における≦が、＜であってもよい。
【０１１３】
上述した各実施形態における動画像符号化装置１００、動画像復号装置２００、インター予測処理部１１０，１１０ｂ，１１０ｃ、２１０，２１０ｂ，２１０ｃとなる予測画像生成装置をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
【０１１４】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【０１１５】
１０…動きベクトル探索処理部，  １１…予測画像ブロック生成処理部，  １２…距離算出部，  １３…クラス別探索範囲設定部，  １４…クラス分類閾値記憶部，  １５…ＯＦ補正ベクトル算出処理部，  １６…ＯＦ補正画像生成処理部，  １１０…インター予測処理部
【図１】
2018093374.tif 000019
【図２】
2018093374.tif 000020
【図３】
2018093374.tif 000021
【図４】
2018093374.tif 000022
【図５】
2018093374.tif 000023
【図６】
2018093374.tif 000024
【図７】
2018093374.tif 000025
【図８】
2018093374.tif 000026
【図９】
2018093374.tif 000027
【図１０】
2018093374.tif 000028
【図１１】
2018093374.tif 000029