(57)【特許請求の範囲】
【請求項１】
映像を符号化する際の設定情報を決定する符号化設定情報決定装置であって、
映像を入力して、ＳＵＲＦ（Speeded-Up Robust Features）特徴点のフレーム間マッチングにより、ＳＵＲＦ特徴点ごとに動きベクトルを生成する動き推定部と、
符号化ブロックごとにＳＵＲＦ特徴点を計数し、計数したＳＵＲＦ特徴点の数に基づき、前記符号化ブロックと同一又は前記符号化ブロックを分割したサイズの予測ブロックを決定する予測ブロックサイズ設定部と、
前記予測ブロックごとに、前記ＳＵＲＦ特徴点ごとの動きベクトルの平均値又は中央値を算出し、前記予測ブロックごとの動き探索の初期変位ベクトルと決定する初期変位ベクトル設定部と、
前記予測ブロックごとに、前記ＳＵＲＦ特徴点ごとの動きベクトルを用いて、動き探索範囲を決定する動き探索範囲設定部と、
を備え、
前記予測ブロックサイズ設定部は、前記予測ブロックのサイズを、ＳＵＲＦ特徴点の数が多い符号化ブロックほど小さくなるように決定し、
前記動き探索範囲設定部は、
前記初期変位ベクトルを前記動きベクトルの平均値とした場合は、予測ブロックに対応する全ての動きベクトルの始点を予測ブロックの中心点に移動させたときの、該動きベクトルの終点を含む範囲を、該予測ブロックの初期変位ベクトルに対する動き探索範囲とし、
前記初期変位ベクトルを前記動きベクトルの中央値とした場合は、予測ブロックに対応する動きベクトルのうち大きさが第１四分位数から第３四分位数の動きベクトルの始点を予測ブロックの中心点に移動させたときの、該動きベクトルの終点を含む範囲を、該予測ブロックの初期変位ベクトルに対する動き探索範囲とすることを特徴とする符号化設定情報決定装置。
【請求項２】
コンピュータを、請求項１に記載の符号化設定情報決定装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像を符号化する際の設定情報を決定する符号化設定情報決定装置及びプログラムに関する。
【背景技術】
【０００２】
映像の符号化方式として、ＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（以下、単に「ＡＶＣ」と称する。）や、ＩＴＵ−Ｔ Ｈ．２６５／ＭＰＥＧ−Ｈ ＨＥＶＣ（以下、単に「ＨＥＶＣ」と称する。）などが知られている。これらの符号化方式では、インター予測（フレーム間予測、画面間予測）、及びイントラ予測（フレーム内予測、画面内予測）が用いられる。インター予測は時間的に前後する参照フレームから予測画像を生成し、原画像との差分を符号化する予測符号化方式である。イントラ予測はフレーム内符号化されるブロックに対して、符号化済みの隣接ブロックの画素から予測画像を生成し、原画像との差分を符号化する予測符号化方式である。
【０００３】
非特許文献１には、ＨＥＶＣでは、符号化ツリーユニット（ＣＴＵ：Coding Tree Unit）を階層的に４分木分割することで可変サイズの符号化ユニット（ＣＵ：Coding Unit）を生成することが開示されている。ＣＵのサイズは、６４×６４画素、３２×３２画素、１６×１６画素、及び８×８画素の４種類である。インター予測を行う場合には、各ＣＵを更にインター予測用の予測ユニット（ＰＵ：Prediction Unit）に分割し、該ＰＵごとに予測処理を行う。また、イントラ予測を行う場合には、各ＣＵを更にイントラ予測用のＰＵに分割し、該ＰＵごとに予測処理を行う。
【０００４】
また、特許文献１には、複数カメラ撮像映像の符号化演算量を削減するために、複数カメラ撮影映像の各々においてＳＵＲＦ特徴量を用いた特徴点抽出を行い、撮影範囲が重複する領域のマクロブロックについては隣接カメラベクトルに基づいて探索範囲が狭くなるように補正してブロックマッチングを行うことが開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１４−１２０９１７号公報
【非特許文献】
【０００６】
【非特許文献１】大久保榮監修、「インプレス標準教科書シリーズ  Ｈ．２６５／ＨＥＶＣ教科書」、株式会社インプレスジャパン、2013年10月21日
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来の符号化方法では、「複数の電車が高速走行する」、「多数のピンポン玉が跳ねる」というように、多数のオブジェクトが大きい動きをするような映像では、インター予測の精度が低いため、符号化画質が低くなるおそれがある。
【０００８】
また、特許文献１に記載の技術は、複数カメラ撮影映像の符号化演算量を削減するためのものであって、ＳＵＲＦ特徴点の複数フレーム間マッチングを用いて動き推定を行って符号化効率を向上させるものではない。
【０００９】
かかる事情に鑑みてなされた本発明の目的は、多数のオブジェクトが大きい動きをする映像の符号化効率を向上させるための符号化設定情報を決定することが可能な符号化設定情報決定装置及びプログラムを提供することにある。
【課題を解決するための手段】
【００１０】
上記課題を解決するため、本発明に係る符号化設定情報決定装置は、映像を符号化する際の設定情報を決定する符号化設定情報決定装置であって、映像を入力して、ＳＵＲＦ（Speeded-Up Robust Features）特徴点のフレーム間マッチングにより、ＳＵＲＦ特徴点ごとに動きベクトルを生成する動き推定部と、符号化ブロックごとにＳＵＲＦ特徴点を計数し、計数したＳＵＲＦ特徴点の数に基づき、前記符号化ブロックと同一又は前記符号化ブロックを分割したサイズの予測ブロックを決定する予測ブロックサイズ設定部と、前記予測ブロックごとに、前記ＳＵＲＦ特徴点ごとの動きベクトルの平均値又は中央値を算出し、前記予測ブロックごとの動き探索の初期変位ベクトルと決定する初期変位ベクトル設定部と、前記予測ブロックごとに、前記ＳＵＲＦ特徴点ごとの動きベクトルを用いて、動き探索範囲を決定する動き探索範囲設定部と、を備え、前記予測ブロックサイズ設定部は、前記予測ブロックのサイズを、ＳＵＲＦ特徴点の数が多い符号化ブロックほど小さくなるように決定し、前記動き探索範囲設定部は、前記初期変位ベクトルを前記動きベクトルの平均値とした場合は、予測ブロックに対応する全ての動きベクトルの始点を予測ブロックの中心点に移動させたときの、該動きベクトルの終点を含む範囲を、該予測ブロックの初期変位ベクトルに対する動き探索範囲とし、前記初期変位ベクトルを前記動きベクトルの中央値とした場合は、予測ブロックに対応する動きベクトルのうち大きさが第１四分位数から第３四分位数の動きベクトルの始点を予測ブロックの中心点に移動させたときの、該動きベクトルの終点を含む範囲を、該予測ブロックの初期変位ベクトルに対する動き探索範囲とすることを特徴とする。
【００１４】
また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記符号化設定情報決定装置として機能させることを特徴とする。
【発明の効果】
【００１５】
本発明によれば、多数のオブジェクトが大きい動きをする映像の符号化効率を向上させるための符号化設定情報を決定することが可能になる。
【図面の簡単な説明】
【００１６】
【図１】本発明の第１の実施形態に係る符号化設定情報決定装置の構成例を示すブロック図である。
【図２】本発明の第１の実施形態に係る符号化設定情報決定装置の動き推定部における処理を説明する図である。
【図３】本発明の第１の実施形態に係る符号化設定情報決定装置の動き推定部における参照フレーム間の予測構造例を示す図である。
【図４】本発明の第２の実施形態に係る符号化設定情報決定装置の構成例を示すブロック図である。
【図５】本発明の第２の実施形態に係る符号化設定情報決定装置の初期変位ベクトル設定部における処理を説明する図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施形態について、図面を参照して詳細に説明する。
【００１８】
（第１の実施形態）
本発明の第１の実施形態に係る符号化設定情報決定装置について、以下に説明する。図１は、本発明の第１の実施形態に係る符号化設定情報決定装置の構成例を示すブロック図である。図１に示す例では、符号化設定情報決定装置１は、動き推定部１１と、予測ブロックサイズ設定部１２とを備える。
【００１９】
動き推定部１１は、映像（原画像群）を入力して、フレーム間（符号化対象フレームと参照フレームとの間）でＳＵＲＦ特徴点のマッチングを行うことにより、ＳＵＲＦ（Speeded-Up Robust Features）特徴点ごとに、ＳＵＲＦ特徴点を始点とする動きベクトルを生成する。そして、ＳＵＲＦ特徴点の位置及び動きベクトルの方向（水平及び垂直方向の位置ずれ量）を示す動きベクトル情報を予測ブロックサイズ設定部１２に出力する。なお、予測ブロックサイズ設定部１２では動きベクトルの方向を示す情報は不要であるため、予測ブロックサイズ設定部１２に対してはＳＵＲＦ特徴点の位置を示す情報のみを出力するようにしてもよい。
【００２０】
動き推定部１１は、ＳＵＲＦ特徴量を用いた動き推定を行うことにより、拡大・縮小、回転、照明変動などを検出でき、「火花が飛び散る映像」のような動きがランダムな映像であっても高精度に動き推定が可能となり、ランダムな動きが多い映像におけるインター予測精度（動き推定精度）を向上させることが可能となる。
【００２１】
図２は、動き推定部１１におけるＳＵＲＦ特徴量の算出方法を説明する図である。ＳＵＲＦ特徴量は、原画像に分散値を可変としたガウシアンフィルタを適用した画像において、ヘッセ（Hessian）行列値の極大点を探すことで複数のＳＵＲＦ特徴点を抽出する。図２では左上図に示すように、８×８画素のブロックの中心点をＳＵＲＦ特徴点としている。つぎに、各ＳＵＲＦ特徴点においてハールウェーブレット（Haar wavelet）を用いて強度の強い角度を３／π間隔で求める。そして、強度の強い方向を原方向として、図２の右下図に示すように２×２画素の領域ごとに、ハールウェーブレットを用いて水平方向の微分値ｄｘ及び垂直方向の微分値ｄｙを求めることにより、Σdx、Σ|dx|、Σdy、及びΣ|dy|の４つの特徴量を算出する。
【００２２】
図２に示すようにＳＵＲＦ特徴点を中心とする８×８画素のブロック単位で特徴量を算出すると、８×８画素のブロックには２×２画素の領域が４×４個存在するので、１つのＳＵＲＦ特徴点において６４（＝４×４×４）次元の特徴量が得られる。なお、ＳＵＲＦの詳細については、例えば、H. Bay, A. Ess, T. Tuytelaars, and L. V. Gool, "Speeded-Up Robust Features (SURF)", Elsevier, vol. 110, Issue 3, p. 346-359, Jun. 2008を参照されたい。
【００２３】
ＳＵＲＦ特徴量を用いる場合、動き推定部１１は、符号化対象フレームと参照フレームとの間でＳＵＲＦ特徴量のマッチングを行うことにより、ＳＵＲＦ特徴点ごとに動きベクトルを求める。具体的には、符号化対象フレーム内の任意のＳＵＲＦ特徴点Ａにおける特徴量に対して６４次元のユークリッド距離が最小となる参照フレーム内のＳＵＲＦ特徴点Ｂをマッチング点として抽出し、ＳＵＲＦ特徴点ＡＢ間の水平方向及び垂直方向の位置ずれ量を動きベクトルとして算出する。
【００２４】
図３は、参照フレーム間の予測構造例を示す図である。動き推定部１１は、インター予測の参照フレームを、参照フレーム間の予測構造情報を基に判定する。図３に示す例では、Ｐ1ピクチャを符号化対象フレームとすると、Ｉ0ピクチャが参照フレームとなるため、Ｐ1ピクチャとＩ0ピクチャ位置の原画像間でＳＵＲＦ特徴量によるマッチングを行う。また、Ｂ2ピクチャを符号化対象フレームとすると、Ｉ0ピクチャとＰ1ピクチャが参照フレームとなるため、Ｂ2ピクチャとＩ0ピクチャ位置、及びＢ2ピクチャとＰ1ピクチャ位置の原画像間で動き推定を行う。
【００２５】
なお、参照フレームの予測構造情報の入力は必須ではなく、参照フレームの予測構造情報を入力しないで、常に符号化対象フレームの１フレーム前（過去）の時間位置との原画像間で動き推定を行うようにしてもよい。
【００２６】
図１に戻ると、予測ブロックサイズ設定部１２は、フレームを分割した符号化ブロックのサイズを示す符号化ブロックサイズ情報を入力する。そして、予測ブロックサイズ設定部１２は、所定サイズの符号化ブロックごとにＳＵＲＦ特徴点を計数し、計数したＳＵＲＦ特徴点の数に基づき予測ブロックのサイズを決定し、決定した予測ブロックのサイズを示す予測ブロックサイズ情報を外部の符号化装置（図示せず）に設定情報として出力する。予測ブロックのサイズは符号化ブロックと同一又は符号化ブロックを分割したサイズである。
【００２７】
符号化装置は、符号化設定情報決定装置１により決定された予測ブロックサイズを設定し、予測ブロックごとに予測処理を行う。ＳＵＲＦ特徴点の数が多いほど当該符号化ブロックは空間高周波成分が多いと考えられるが、予測ブロックサイズ設定部１２はＳＵＲＦ特徴点の数が多い符号化ブロックほど予測ブロックのサイズを小さくするため、微小動きを高精度かつ高確度に検出することができる。
【００２８】
符号化方式がＡＶＣである場合、例えば符号化ブロックサイズを１６×１６画素とする。ＳＵＲＦ特徴点の総数をＮS、符号化ブロックの数をＮBとすると、符号化ブロック内のＳＵＲＦ特徴点数が（ＮS／ＮB）×２以上であれば予測ブロックサイズ（マクロブロックサイズ）を４×４画素と設定し、（ＮS／ＮB）×２未満で（ＮS／ＮB）×１以上であれば予測ブロックサイズを８×８画素と設定し、（ＮS／ＮB）×１未満であれば予測ブロックサイズを１６×１６画素と設定する。
【００２９】
また、符号化方式がＨＥＶＣである場合、符号化ブロックサイズをＣＵのサイズとする。例えばＳＵＲＦ特徴点の総数をＮS、ＣＵブロックの数をＮBとすると、ＣＵ内のＳＵＲＦ特徴点数が（ＮS／ＮB）×２以上であれば予測ブロックサイズ（ＰＵサイズ）を４×４画素と設定し、（ＮS／ＮB）×２未満で（ＮS／ＮB）×１．５以上であれば予測ブロックサイズを８×８画素と設定し、（ＮS／ＮB）×１．５未満で（ＮS／ＮB）×１以上であれば予測ブロックサイズを１６×１６画素と設定し、（ＮS／ＮB）×１未満で（ＮS／ＮB）×０．５以上であれば予測ブロックサイズを３２×３２画素と設定し、（ＮS／ＮB）×０．５未満であれば予測ブロックサイズを６４×６４画素と設定する。なおＰＵサイズがＣＵサイズを超える場合は、ＰＵとＣＵを同じサイズとする。
【００３０】
上述したように、符号化設定情報決定装置１は、符号化ブロックごとにＳＵＲＦ特徴点を計数する。そして、ＳＵＲＦ特徴点の数が多い符号化ブロックほど空間高周波成分が多いとみなせるため、ＳＵＲＦ特徴点の数が多い符号化ブロックほど予測ブロックのサイズが小さくなるように決定する。したがって、符号化設定情報決定装置１により決定されたサイズの予測ブロックを用いて符号化することにより、多数のオブジェクトが大きい動きをする映像の符号化効率を向上させることが可能となる。
【００３１】
（第２の実施形態）
つぎに、本発明の第２の実施形態に係る符号化設定情報決定装置について説明する。図４は、第２の実施形態に係る符号化設定情報決定装置の構成例を示すブロック図である。図４に示す例では、符号化設定情報決定装置２は、動き推定部１１と、予測ブロックサイズ設定部１２と、初期変位ベクトル設定部１３と、動き探索範囲設定部１４とを備える。第２の実施形態の符号化設定情報決定装置２は第１の実施形態の符号化設定情報決定装置１と比較して、初期変位ベクトル設定部１３及び動き探索範囲設定部１４を更に備える点が相違する。なお、本実施形態では符号化設定情報決定装置２は初期変位ベクトル設定部１３及び動き探索範囲設定部１４を備えるが、いずれか一方のみを備える構成としてもよい。
【００３２】
動き推定部１１は、第１の実施形態と同様に、映像を入力してフレーム間でＳＵＲＦ特徴点のマッチングを行うことにより、ＳＵＲＦ特徴点ごとに動きベクトルを生成する。そして動きベクトル情報を予測ブロックサイズ設定部１２、初期変位ベクトル設定部１３、及び動き探索範囲設定部１４に出力する。
【００３３】
予測ブロックサイズ設定部１２は、第１の実施形態と同様に、所定サイズの符号化ブロックごとにＳＵＲＦ特徴点を計数し、計数したＳＵＲＦ特徴点の数に基づき、符号化ブロック以下のサイズの予測ブロックサイズを決定する。そして予測ブロックサイズ情報を外部の符号化装置に設定情報として出力するとともに、初期変位ベクトル設定部１３、及び動き探索範囲設定部１４に出力する。
【００３４】
初期変位ベクトル設定部１３は、動き推定部１１により生成された動きベクトル情報、及び予測ブロックサイズ設定部１２により生成された予測ブロックサイズ情報を入力して、各予測ブロック内に含まれる全ての動きベクトルの平均値又は中央値を算出し、動き探索の初期変位ベクトルとする。そして、初期変位ベクトル設定部１３は、初期変位ベクトルを示す情報を外部の符号化装置に設定情報として出力する。なお、予測ブロックに対応する動きベクトルが存在しない（すなわち、予測ブロック内にＳＵＲＦ特徴点が存在しない）場合には、その旨を示す情報を外部に出力する。
【００３５】
図５は、初期変位ベクトル設定部１３の処理を説明する図である。図５に示すように予測ブロックＰ内に３つのＳＵＲＦ特徴点Ａ，Ｂ，Ｃが存在した場合、初期変位ベクトル設定部１３は、ＳＵＲＦ特徴点Ａを始点とする動きベクトル、ＳＵＲＦ特徴点Ｂを始点とする動きベクトル、及びＳＵＲＦ特徴点Ｃを始点とする動きベクトルの平均値又は中央値を初期変位ベクトルとして算出する。
【００３６】
動き探索範囲設定部１４は、動き推定部１１により生成された動きベクトル情報、及び予測ブロックサイズ設定部１２により生成された予測ブロックサイズ情報を入力して、予測ブロックごとに、対応する動きベクトル（予測ブロックに含まれる特徴点を始点とする動きベクトル）を用いて動き探索範囲を決定する。そして、動き探索範囲設定部１４は、動き探索範囲を示す情報を外部の符号化装置に設定情報として出力する。なお、予測ブロックに対応する動きベクトルが存在しない（すなわち、予測ブロック内にＳＵＲＦ特徴点が存在しない）場合には、その旨を示す情報を外部に出力する。
【００３７】
具体的には、動き探索範囲設定部１４は、初期変位ベクトル設定部１３が初期変位ベクトルを動きベクトルの平均値とした場合は、予測ブロックに対応する全ての動きベクトルの始点を予測ブロックの中心点に移動させたときの、該動きベクトルの終点を含む範囲を、当該予測ブロックの初期変位ベクトルに対する動き探索範囲とする。また、動き探索範囲設定部１４は、初期変位ベクトル設定部１３が初期変位ベクトルを動きベクトルの中央値とした場合は、予測ブロックに対応する動きベクトルのうち大きさが第１四分位数から第３四分位数の動きベクトルの始点を予測ブロックの中心点に移動させたときの、該動きベクトルの終点を含む範囲を、当該予測ブロックの初期変位ベクトルに対する動き探索範囲情報とする。ここで、第１四分位数は、データを小さい順に並べたときの、小さいほうから数えて全体の１／４の順位の値であり、第３四分位数は、データを小さい順に並べたときの、小さいほうから数えて全体の３／４の順位の値である。
【００３８】
上述したように、符号化設定情報決定装置２は、符号化設定情報決定装置１と同様に、符号化ブロックごとにＳＵＲＦ特徴点を計数し、ＳＵＲＦ特徴点の数が多い符号化ブロックほど予測ブロックのサイズが小さくなるように決定するため、符号化設定情報決定装置２により決定されたサイズの予測ブロックを用いて符号化することにより、多数のオブジェクトが大きい動きをする映像の符号化効率を向上させることが可能となる。
【００３９】
また、符号化設定情報決定装置２は、予測ブロック内に含まれる動きベクトルを用いて動き探索の初期変位ベクトルを決定する。したがって、符号化設定情報決定装置２により決定された初期変位ベクトルを用いることにより、大きな動きであってもブロックマッチングによる動き検出を行うことができ、動き推定の精度を向上させることが可能となる。
【００４０】
また、符号化設定情報決定装置２は、予測ブロック内に含まれる動きベクトルを用いて動き探索範囲を決定する。したがって、符号化設定情報決定装置２により決定された動き探索範囲を用いてブロックマッチングを行うことにより、動き探索範囲を絞ることができ、動き検出の速度を向上させることが可能となる。
【００４１】
なお、上述した符号化設定情報決定装置１又は２として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、符号化設定情報決定装置１又は２の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。
【００４２】
上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。
【符号の説明】
【００４３】
１，２  符号化設定情報決定装置
１１    動き推定部
１２    予測ブロックサイズ設定部
１３    初期変位ベクトル設定部
１４    動き探索範囲設定部
【図１】
0006663191.tif 000002
【図２】
0006663191.tif 000003
【図３】
0006663191.tif 000004
【図４】
0006663191.tif 000005
【図５】
0006663191.tif 000006