(57)【要約】【課題】縮小ＭＥを行って等倍ＭＥにおける参照画像の参照範囲を決定する際に、画質への影響を考慮して決定し、かつ転送コストの高い外部メモリからの読み出し量を抑制する。【解決手段】動画像の１画面を複数の部分画面領域に分割し、部分画面領域毎に符号化を行う動画像符号化方法であって、部分画面領域及び参照画像を縮小した縮小画像を用いて動きベクトル探索における探索起点領域の候補を複数個求め、複数個の候補のそれぞれについて、部分画面領域の処理ブロックと参照画像における探索起点領域との類似度を算出するとともに、動画像符号化装置に接続された外部メモリから探索起点領域を含む参照範囲を読み出した場合の転送コストを算出し、算出した類似度と転送コストとに基づいて、処理ブロックに対する動きベクトル探索で参照する参照範囲を決定する処理、を動画符号化装置が実行する。【選択図】図７
2016134699.tif 000002
【特許請求の範囲】
【請求項１】
動画像の１画面を複数の部分画面領域に分割し、前記部分画面領域毎に符号化を行う動画像符号化方法であって、
前記部分画面領域の符号化を行う動画像符号化装置が、
前記部分画面領域及び当該部分画面領域の符号化において参照する参照画像を縮小した縮小画像を用いて前記部分画面領域内の処理ブロックに対する動きベクトル探索における探索起点領域の候補を複数個求め、
複数個の前記探索起点領域の候補のそれぞれについて、等倍の前記処理ブロックと前記参照画像における前記探索起点領域との類似度を算出するとともに、前記動画像符号化装置に接続された外部メモリから前記探索起点領域を含む参照範囲を読み出した場合の転送コストを算出し、
算出した前記類似度と前記転送コストとに基づいて、等倍の前記処理ブロックに対する動きベクトル探索で参照する前記参照範囲を決定する処理、
を実行することを特徴とする動画像符号化方法。
【請求項２】
前記動画像符号化装置が、複数個の前記探索起点領域の候補のうちの算出した前記類似度と前記転送コストとの和が最小になる候補を含む参照範囲を、前記動きベクトル探索で参照する前記参照範囲として決定する、
ことを特徴とする請求項１に記載の動画像符号化方法。
【請求項３】
前記動画像符号化装置が、前記参照画像における前記参照範囲の位置に応じて複数の前記外部メモリのなかから前記参照範囲を読み出す外部メモリを選択し、複数の前記外部メモリ毎に設定されたコスト係数を用いて前記転送コストを算出する、
ことを特徴とする請求項１に記載の動画像符号化方法。
【請求項４】
前記動画像符号化装置が、前記参照範囲を読み出す前記外部メモリへのアクセス状況に応じて、前記メモリへのアクセス頻度が高い場合は前記コスト係数を大きくし、前記メモリへのアクセス頻度が少ない場合は前記コスト係数を小さくする、
ことを特徴とする請求項３に記載の動画像符号化方法。
【請求項５】
２つの前記探索起点領域の候補における類似度の差の絶対値が閾値を下回る場合、当該探索起点領域の候補のうちのデータの転送コストが小さい方を探索起点領域を決定し、
前記類似度の差の絶対値が閾値以上の場合、当該探索起点領域の候補のうちの類似度の高い方を探索起点領域に決定する、
ことを特徴とする請求項１に記載の動画像符号化方法。
【請求項６】
動画像の１画面を複数の部分画面領域に分割したときの前記部分画面領域及び当該部分画面領域の符号化において参照する参照画像を縮小した縮小画像を用いて前記部分画面領域内の処理ブロックに対する動きベクトル探索における探索起点領域の候補を求める縮小ＭＥ部と、
求めた前記探索起点候補が複数個ある場合に、複数個の前記探索起点領域の候補のそれぞれについて、等倍の前記処理ブロックと前記参照画像における前記探索起点領域を含む参照範囲との類似度を算出するとともに、前記動画像符号化装置に接続された複数の外部メモリから前記参照範囲を読み出した場合の転送コストを算出し、算出した前記類似度と前記転送コストとに基づいて、等倍の前記処理ブロックに対する動きベクトル探索で参照する前記参照範囲を決定する参照画像管理部と、
を備えることを特徴とする動画像符号化装置。
【請求項７】
動画像を符号化する動画像符号化装置と、当該動画像符号化装置にバスを介して接続された外部メモリとの組を複数備え、
前記バスがバスブリッジを介して他のバスと接続された電子機器であって、
前記動画像符号化装置が、
動画像の１画面を複数の部分画面領域に分割したときの前記部分画面領域及び当該部分画面領域の符号化において参照する参照画像を縮小した縮小画像を用いて前記部分画面領域内の処理ブロックに対する動きベクトル探索における探索起点領域の候補を求める縮小ＭＥ部と、
求めた前記探索起点候補が複数個ある場合に、複数個の前記探索起点領域の候補のそれぞれについて、等倍の前記処理ブロックと前記参照画像における前記探索起点領域を含む参照範囲との類似度を算出するとともに、前記動画像符号化装置に接続された複数の外部メモリから前記参照範囲を読み出した場合の転送コストを算出し、算出した前記類似度と前記転送コストとに基づいて、等倍の前記処理ブロックに対する動きベクトル探索で参照する前記参照範囲を決定する参照画像管理部と、
を備えることを特徴とする電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像符号化方法、動画像符号化装置、及び電子機器に関する。
【背景技術】
【０００２】
デジタル動画像は現在も高精細化が進んでおり、１画面（１フレーム）の画素数が非常に多くなっている。高精細なデジタル動画像を符号化する際には、１画面を複数の部分画面領域に分割し、複数の動画像符号化装置により複数の部分画面領域の符号化を並行して行っている。以下の説明では、デジタル動画像のことを単に動画像ともいう。
【０００３】
動画像の符号化は、Moving Picture Experts Group（MPEG）やH.26x等の規格に従って行われる。この符号化において、動画像の各画像（フレーム）は、フレーム内予測により符号化するフレームと、フレーム間予測を用いて符号化するフレームとに分けられる。このうち、フレーム間予測を用いた符号化では、フレーム間予測の前処理として、符号化するフレーム（原画像）と参照画像とを用いた動きベクトル探索（ＭＥ： Motion Estimation）を行う。高精細な動画像における動きベクトルの探索は、縮小画像を用いた探索と等倍画像を用いた探索とを組み合わせて行われる（例えば、特許文献１を参照。）。
【０００４】
縮小画像を用いた探索は、等倍画像を用いた探索において探索起点とする領域を決定するために行う。縮小画像を用いた探索では、符号化対象の部分画面領域に隣接する他の部分画面領域を含んだ広範囲から複数の探索起点領域の候補を求め、複数の候補のなかから類似度の高い探索起点領域を選出する。そして、等倍画像を用いた探索では、選出した探索起点及びその周囲を細かく探索する。このような動きベクトルの探索により、情報量の多い高精細な動画像においても、広い探索範囲と、高い探索精度との両立が可能となる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−０１１１５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
１個の動画像符号化装置で１個の部分画面領域を符号化するときには、部分画面領域を複数の処理ブロックに分割し、処理ブロック単位で符号化する。動画像符号化装置はバスにより外部メモリと接続しており、符号化対象の部分画面領域や参照画像のデータは、外部メモリで保持している。そして、部分画面領域のうちの符号化する処理ブロック及びその周辺のデータが動画像符号化装置に設けた内部メモリで保持される。
【０００７】
ところで、縮小画像を用いた動きベクトルの探索では、上記のように、符号化対象の部分画面領域に隣接する他の部分画面領域を含んだ広範囲から複数の探索起点領域の候補を求め、複数の候補のなかから処理ブロックとの類似度の高い探索起点領域を選出する。そのため、選出した探索起点領域に他の部分画面領域が含まれることがある。他の部分画面領域のデータは、動画像符号化装置に接続された上記の外部メモリとは別のメモリに格納されている。したがって、等倍画像を用いた探索において符号化を受け持つ部分画面領域とは別の部分画面領域のデータを参照する場合、動画像符号化装置は、バスブリッジ等を介して必要なデータを読み込むこととなる。
【０００８】
バスブリッジ等を介してデータを読み込む場合、動画像符号化装置が符号化を受け持つ部分画面領域のデータを保持する外部メモリからの読み込みに比べて転送速度が遅くなるため、転送コストが高くなる。したがって、転送コストの観点では、動画像符号化装置が符号化を受け持つ部分画面領域内に収まる探索起点領域を選出することが好ましい。
【０００９】
しかしながら、選択した探索起点領域と処理ブロックとの類似度が低い場合、高い圧縮率の不可逆変換が必要となるため、情報の欠落による画質の劣化が発生する。そのため、縮小画像を用いた探索により複数の候補から探索起点領域を選出するときには、できるだけ類似度の高い探索起点領域を選出することが好ましい。したがって、画質の観点では、符号化を受け持つ部分画面領域だけでなく、隣接する他の部分画面領域も探索範囲に含めることが好ましい。
【００１０】
本発明は、１つの側面では、縮小画像を用いて等倍画像での動きベクトル探索における参照画像の参照範囲を決定する際に、画質への影響を考慮して参照範囲を決定し、かつ転送コストの高い外部メモリからの読み出し量を抑制することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の１つの態様の動画像符号化方法は、動画像の１画面を複数の部分画面領域に分割し、前記部分画面領域毎に符号化を行う動画像符号化方法であって、前記部分画面領域の符号化を行う動画像符号化装置が、前記部分画面領域及び当該部分画面領域の符号化において参照する参照画像を縮小した縮小画像を用いて前記部分画面領域内の処理ブロックに対する動きベクトル探索における探索起点領域の候補を複数個求め、複数個の前記探索起点領域の候補のそれぞれについて、等倍の前記処理ブロックと前記参照画像における前記探索起点領域との類似度を算出するとともに、前記動画像符号化装置に接続された外部メモリから前記探索起点領域を含む参照範囲を読み出した場合の転送コストを算出し、算出した前記類似度と前記転送コストとに基づいて、等倍の前記処理ブロックに対する動きベクトル探索で参照する前記参照範囲を決定する処理、を実行する。
【発明の効果】
【００１２】
上述の態様によれば、縮小画像を用いて等倍画像による動きベクトル探索における参照画像の参照範囲を決定する際に、画質への影響を考慮して参照範囲を決定し、かつ転送コストの高い外部メモリからの読み出し量を抑制することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明に係る動画像符号化方法を説明する模式図である。
【図２】４個の動画像符号化装置の接続例を示す模式図である。
【図３】動きベクトルの探索方法を説明する模式図である。
【図４Ａ】処理ブロックの位置と読み出すデータを保持しているメモリとの関係を説明する模式図である。
【図４Ｂ】探索範囲のデータの読み出し経路を示す模式図である。
【図５Ａ】縮小ＭＥの結果の一例に基づく探索範囲の分布を示す模式図である。
【図５Ｂ】縮小ＭＥの結果の別の例に基づく探索範囲の分布を示す模式図である。
【図６】本発明の一実施形態に係る動画像符号化装置の構成を示すブロック図である。
【図７】動画像符号化装置内の参照画像管理部の構成を示すブロック図である。
【図８Ａ】参照画像管理部で行う処理を示すフローチャート（その１）である。
【図８Ｂ】参照画像管理部で行う処理を示すフローチャート（その２）である。
【図９】転送コストの算出方法及び最適縮小ＭＥ結果の選出方法の実施例１を説明する模式図である。
【図１０】転送コストの算出方法及び最適縮小ＭＥ結果の選出方法の実施例２を説明する模式図である。
【図１１】転送コストの算出方法及び最適縮小ＭＥ結果の選出方法の実施例３を説明する模式図である。
【図１２】最適縮小ＭＥ結果の選出方法の実施例４を説明するフローチャートである。
【図１３】本実施形態の動画像符号化装置を備えたコンピュータのハードウェア構成を示す模式図である。
【発明を実施するための形態】
【００１４】
図１は、本発明に係る動画像符号化方法を説明する模式図である。
本発明に係る動画像符号化方法は、デジタル動画像における１枚（１フレーム）の画像を複数の部分画面領域に分割し、複数の部分画面領域の符号化を複数の動画像符号化装置で並行して行う符号化方法である。このような符号化方法は、特に、スーパーフルハイビジョン等の高精細な動画像の符号化に適している。
【００１５】
図１に示すように、スーパーフルハイビジョンの動画像における１枚の画像（１画面）１０００は、例えば７６８０画素×４３２０ラインと画素数が多い。このような動画像は、例えば１枚の画像１０００を４×４の１６個の部分画面領域１００１〜１０１６に分割し、４個の動画像符号化装置を用いて各部分画面領域を符号化する。この際、１個の動画像符号化装置が１個の部分画面領域の符号化を受け持ち、４個の部分画面領域の符号化を並行して行う。
【００１６】
図１に示した例では、２×２の田型に配置された４個の部分画面領域（例えば画面左上の部分画面領域１００１，１００２，１００５，１００６）を１組とし、当該４個１組の部分画面領域の符号化を４回行うことで、１枚の画像１０００の符号化が完了する。
【００１７】
図２は、４個の動画像符号化装置の接続例を示す模式図である。
図２に示すように、各動画像符号化装置１（１Ａ〜１Ｄ）には、バス２（２Ａ〜２Ｄ）を介して外部メモリ３（３Ａ〜３Ｄ）が接続されている。外部メモリ３には、動画像符号化装置１で符号化する部分画面領域のデータや、符号化時に参照する参照画像のデータが格納される。
【００１８】
動画像符号化装置１は、外部メモリ３から部分画面領域のデータのうちの符号化する処理ブロック及びその周囲のデータを読み出し、自身に設けられた内部メモリ１００で保持する。
【００１９】
また、動画像符号化装置１と外部メモリ３とを接続するバス２（２Ａ〜２Ｄ）同士は、バスブリッジ４により接続されている。
【００２０】
すなわち、１個の動画像符号化装置１は、バス２及びバスブリッジ４により４個の外部メモリ３（３Ａ〜３Ｄ）と接続されている。
【００２１】
そのため、動画像符号化装置１は、バスブリッジ４、及び他の動画像符号化装置１と外部メモリ３とを接続するバス２を介して、自身が符号化する部分画面領域と隣接した他の部分画面領域のデータを読み出すことができる。
【００２２】
以下の説明では、動画像符号化装置１と外部メモリ３とを接続するバス２のうちバスブリッジ４を介さずに両者を直接接続するバスを「自バス」ともいう。
【００２３】
また、バスブリッジ４を介して自バス２と接続される他のバス２を「他バス」ともいう。
【００２４】
すなわち、図２に示した例で左上に位置する第１の動画像符号化装置１Ａにとっての自バスは、第１の動画像符号化装置１Ａと、第１の動画像符号化装置１Ａで符号化する部分画面領域のデータを保持する第１の外部メモリ３Ａとを直接接続する第１のバス２Ａになる。したがって、第１の動画像符号化装置１Ａにとっての他バスは、第２のバス２Ｂ、第３のバス２Ｃ、及び第４のバス２Ｄとなる。
【００２５】
さらに、以下の説明では、他バスのうち（１個の）バスブリッジ４のみを介して自バス２と接続された他バスを「隣接バス」ともいう。
【００２６】
図３は、動きベクトルの探索方法を説明する模式図である。
上記のように、１個の部分画面領域の符号化は１個の動画像符号化装置１が受け持つ。１個の動画像符号化装置１は、部分画面領域をｎ×ｍ個の処理ブロックに分割し、各処理ブロックを順次符号化する。
【００２７】
動画像符号化装置１で行う符号化処理は、フレーム間予測を用いない符号化処理と、フレーム間予測を用いる符号化処理とに大別される。符号化する画像（フレーム）がＩフレームの場合、フレーム内予測による符号化処理を行う。一方、符号化する画像（フレーム）がＰフレーム又はＢフレームの場合、フレーム間予測を用いる符号化処理を行う。
【００２８】
このうち、フレーム間予測を用いる符号化処理では、フレーム間予測を行うための前処理として、符号化する部分画面領域の画像（原画像）と参照画像とを用いた動きベクトル探索（ＭＥ： Motion Estimation）を行う。この動きベクトルの探索は、二段階に分けて行う。
【００２９】
探索の第一段階は、原画像及び参照画像のそれぞれを縮小した縮小原画像及び縮小参照画像を用いた動きベクトル探索（縮小ＭＥ）である。
【００３０】
縮小ＭＥでは、図３に示すように、例えば等倍の原画像１１００を１／４のサイズに縮小した縮小原画像１１５０を用意し、原画像１１００における処理ブロック１１００ａと対応する処理ブロック１１５０ａを縮小原画像１１５０内に設定する。また、等倍の参照画像１２００を１／４サイズに縮小した縮小参照画像１２５０を用意し、動きベクトルの探索範囲１２５０ｂを縮小参照画像１２５０内に設定する。そして、縮小参照画像１２５０の探索範囲１２５０ｂ内で縮小原画像１１５０における処理ブロック１１５０ａとの類似度の高い領域を求め、探索起点領域の候補１２５０ａとして抽出する。なお、縮小ＭＥでは、探索範囲１２５０ｂを広く設定し、ベクトルの上限やサブブロックの分割サイズを変える等、探索条件に異なった制約を加えて複数の探索起点領域の候補１２５０ａを抽出する。その後、抽出した複数の探索起点領域の候補１２５０ａのなかから最適な探索起点領域を１つ選出する。
【００３１】
縮小ＭＥが終了すると、探索の第二段階として、等倍の原画像１１００及び参照画像１２００を用いた動きベクトル探索（等倍ＭＥ）を行う。
【００３２】
等倍ＭＥは、図３に示すように、縮小参照画１２５０から求めた探索起点領域の候補１２５０ａの１つに基づいて等倍の参照画像１２００内に探索起点領域１２００ａ及び探索範囲（参照範囲）１２００ｂを設定して行う。具体的には、当該探索範囲１２００ｂ内で探索起点領域１２００ａを移動させながら原画像１１００における処理ブロック１１００ａとの類似度が高い領域を求める。そして、類似度の最も高い探索起点領域１２００ａの位置に対応する等倍の原画像１１００内の領域１１００ｂと、処理ブロック１１００ａとの位置関係から、動きベクトルＭＶを算出する。
【００３３】
このように縮小ＭＥ及び等倍ＭＥの２段階で動きベクトルを探索する場合、図３に示したように、縮小ＭＥにおいては探索範囲１２５０ｂを広く設定し、等倍ＭＥにおいては探索範囲１２００ｂを、探索起点を中心とした狭い範囲にすることが好ましい。これにより、データ数の少ない縮小ＭＥにおいて広範囲から探索起点領域の候補を大まかに求めた後、データ数の多い等倍ＭＥにおいて探索起点領域を中心とした周辺のみを細かく探索することができる。そのため、広い探索範囲と高い探索精度との両立が可能となる。
【００３４】
ところで、動画像符号化装置１の内部メモリ１００は、外部メモリ３に比べて動作が高速であるが、外部メモリ３に比べて容量が小さい。そのため、１度に符号化する部分画面領域の画素数が多くなると、上記の動きベクトルを探索する処理において、原画像１１００及び参照画像１２００のデータを全て内部メモリ１００に格納することはできない。したがって、参照画像１２００については、処理速度の低下を抑えるため、原画像１１００における処理ブロック１１００ａ及びその周囲のように処理ブロック１１００ａ内の像（被写体）が存在している確率の高い部分のデータを内部メモリ１００で保持している。そして、等倍ＭＥにおいて、内部メモリ１００で保持していないデータが必要になった場合、バス２を介して外部メモリ３から必要なデータを読み込む。
【００３５】
図４Ａは、処理ブロックの位置と読み出すデータを保持しているメモリとの関係を説明する模式図である。図４Ｂは、探索範囲のデータの読み出し経路を示す模式図である。
【００３６】
図４Ａには、４個の田型に配置された部分画面領域１００１，１００２，１００５，１００６のうちの左上の部分画面領域１００１の符号化を受け持つ動画像符号化装置１に着目し（図１を参照）、当該動画像符号化装置１が動きベクトルの探索処理で用いるデータの画面上の位置と当該データを保持しているメモリとの関係を示している。上記４個の部分領域１００１，１００２，１００５，１００６の符号化は、それぞれ、図２に示した符号化装置１Ａ，１Ｂ，１Ｃ，１Ｄが行う。
【００３７】
図４Ａにおいて、処理ブロック１１００ａは、等倍ＭＥによる動きベクトルの探索を行おうとしている領域である。したがって、処理ブロック１１００ａ及びその周囲の領域（周辺領域１３００）のデータは、符号化を受け持つ動画像符号化装置１（１Ａ）の内部メモリ１００に格納されている。
【００３８】
また、内部メモリ１００には、直近の動きベクトルの探索処理における参照範囲の一部１３０１，１３０２，１３０３のデータも格納されている。
【００３９】
そして、動画像符号化装置１（１Ａ）が符号化を受け持つ部分画面領域１００１のうちの周辺領域１３００及び直近に参照した領域１３０１〜１３０３を除く領域１３０４のデータは、自バス２により接続された外部メモリ３（３Ａ）に格納されている。なお、自バス２により接続された外部メモリ３には、実際には部分画面領域全体のデータが格納されている。
【００４０】
また、処理ブロック１１００ａに対する動きベクトルの探索処理を行う場合には、符号化を受け持つ部分画面領域１００１と左右方向（左右の辺）で隣接する部分画面領域１００２内の近接領域１３０５のデータを参照することもある。近接領域１３０５は、他の動画像符号化装置１（１Ｂ）が符号化を受け持つため、部分画像領域１００２内のデータは、バスブリッジ４及び他バス２を介して接続された外部メモリ３（３Ｂ）に格納されている。
【００４１】
同様に、処理ブロック１１００ａに対する動きベクトルの探索処理を行う場合には、符号化を受け持つ部分画面領域１００１と上下方向（上下の辺）で隣接する部分画面領域１００５内の近接領域１３０６のデータを参照することもある。部分画像領域１００５内のデータは、バスブリッジ４及び他バス２を介して接続された外部メモリ３（３Ｃ）に格納されている。
【００４２】
さらに、処理ブロック１１００ａに対する動きベクトルの探索処理を行う場合には、符号化を受け持つ部分画面領域１００１と斜め方向（角の点）で隣接する部分画面領域１００６内のデータを参照することもある。部分画像領域１００６内のデータは、バスブリッジ４及び他バス２を介して接続された外部メモリ３（３Ｄ）に格納されている。
【００４３】
処理ブロックに対する動きベクトルの探索処理で参照するデータは、縮小ＭＥで求めた探索起点領域と対応する等倍の参照画面１２００における探索範囲（参照範囲）の画面上の位置によって決まる。
【００４４】
探索範囲が周辺領域１３００又は直近に参照した領域１３０１〜１３０３に含まれる場合、動画像処理装置１は、自身の内部メモリ１００から該当領域のデータを読み出して探索処理を行う。また、探索範囲の一部分又は全体が処理ブロック１１００ａを含む部分画面領域１００１内であり、かつ周辺領域１３００及び直近に参照した領域１３０１〜１３０３を除く領域１３０４にある場合、動画像処理装置１は、自身の内部メモリ１００及び自バス２で接続された外部メモリ３から該当領域のデータを読み出して探索処理を行う。さらに、探索範囲に隣接する他の部分画面領域１００２．１００５，１００６と重なる部分がある場合、当該重なる部分のデータはバスブリッジ４及び他バス２を介して他の外部メモリ３から取得する。
【００４５】
すなわち、動画像符号化装置１で部分画面領域の符号化を行う場合、図４Ｂに示したように、動画像符号化装置１Ａと読み出すデータが格納された外部メモリ３Ａ〜３Ｄとの経路は３通りある。
【００４６】
この３通りの経路は、バス２の数及びバスブリッジ４の数が異なっており、外部メモリ３からデータを読み出して動画像符号化装置１への転送が完了するまでに要する時間が異なる。
【００４７】
縮小ＭＥにより得られる複数の探索起点領域の候補の位置は、動きベクトルの上限やサブブロックの分割サイズを変える等、探索条件に加える制約条件が異なっている。そして、映像内の被写体の動きが大きくなるほど各探索起点領域の候補の類似度が大きく異なる傾向にある。類似度が低い（悪い）場合、処理ブロックと探索起点領域との差分情報が多くなるので、一定のビットレートを目標として符号化するときには高い圧縮率の不可逆変換が必要となる。そのため、類似度が低い場合、情報の欠落による画質の劣化を招来する。
【００４８】
よって、従来の動画像符号化装置においては、処理ブロックと探索起点領域の候補との類似度を算出し、当該類似度の高い探索起点領域の候補を探索起点領域に選出している。
【００４９】
しかしながら、処理ブロックと探索起点領域の候補との類似度のみを考慮して探索起点領域を選出した場合、探索起点領域のうちの隣接する他の部分画面領域内に含まれる部分が多くなってしまうことがある。このような状況にあっては、隣接する他の部分画面領域内のデータの読み出し量が多くなり、転送コスト（読み出しコスト）が増大する。そのため、動きベクトルの探索処理（符号化処理）が遅延し、画質劣化の要因となる。
【００５０】
図５Ａは、縮小ＭＥの結果の一例に基づく探索範囲の分布を示す模式図である。図５Ｂは、縮小ＭＥの結果の別の例に基づく探索範囲の分布を示す模式図である。
【００５１】
図５Ａの（ａ）及び（ｂ）に示した例においては、１個の処理ブロック１１００ａを、寸法が１／４である第１のサブブロック３個（ＳＢ１〜ＳＢ３）と、寸法が１／１６であるサブブロック４個（ＳＢ４〜ＳＢ６）とに分割している。これらのサブブロックＳＢ１〜ＳＢ７は、第２のサブブロック４個（ＳＢ４〜ＳＢ６）を田型に配置したサブブロック群と、第１のサブブロックＳＢ１〜ＳＢ３とが田型に配置されている。この図５Ａの（ａ）及び（ｂ）に示した処理ブロックに対して縮小ＭＥを行い、等倍ＭＥにおける各サブブロックＳＢ１〜ＳＢ７の動きベクトルの探索範囲（参照画像の参照範囲）を求めると、例えばそれぞれ矩形の領域ＳＡ１〜ＳＡ７内が探索範囲となる。
【００５２】
一方、図５Ｂの（ａ）及び（ｂ）に示した例においては、１個の処理ブロック１１００ａを、寸法が１／４である第１のサブブロック２個（ＳＢ１，ＳＢ２）と、寸法が１／１６である第２のサブブロック８個（ＳＢ３〜ＳＢ１０）とに分割している。これらのサブブロックＳＢ１〜ＳＢ１０は、第２のサブブロック４個を田型に配置したサブブロック群と、第１のサブブロック群とが市松格子状に配置されている。この図５Ｂの（ａ）及び（ｂ）に示した処理ブロック１１００ａに対して縮小ＭＥを行い、等倍ＭＥにおける各サブブロックＳＢ１〜ＳＢ１０の動きベクトルの探索範囲（参照画像の参照範囲）を求めると、例えばそれぞれ矩形の領域ＳＡ１〜ＳＡ１０内が探索範囲となる。
【００５３】
このように処理ブロック１１００ａ内のサブブロックのレイアウトを変えると、縮小ＭＥの結果、すなわち各サブブロックの探索起点領域の分布が異なる。そのため、等倍ＭＥを行う際には、どの縮小ＭＥの結果を採用するかを決める必要がある。従来の動画像符号化方法においては、類似度に基づいてどの縮小ＭＥの結果を採用するか決めている。
【００５４】
図５Ａ及び図５Ｂに示した縮小ＭＥの結果における類似度は、図５Ａの（ｂ）及び図５Ｂの（ｂ）に示した各サブブロックに記載した数値の合計となる。すなわち、図５Ａに示した例では類似度は４３０となり、図５Ｂに示した例では類似度は２５０となる。この類似度は、例えばSummation of Absolute Differences（ＳＡＤ）で算出しており、値が小さいほど似ていることになる。
【００５５】
よって、図５Ａの（ａ）及び図５Ｂの（ａ）に示した結果を類似度のみで判断すると、図５Ｂの（ａ）に示した結果のほうが処理ブロックと探索起点領域とが似ていることとなる。そのため、図５Ｂの（ｂ）に示した結果が処理ブロックに対する探索範囲として採用される。
【００５６】
しかしながら、図５Ｂに示した結果では、他の動画像符号化装置１が符号化を受け持つ部分画像領域１００２〜１００４にはみ出している探索範囲がある。このとき、処理ブロック１１００ａを含む部分画像領域１００１の符号化を受け持つ動画像符号化装置１の内部メモリ１００には矩形領域１３００〜１３０３のデータのみが格納されている。そのため、動画像符号化装置１は、矩形領域１３００〜１３０３を除く部分画像領域１００１内のデータを、自バス２で接続された外部メモリ３から読み出す必要がある。さらに、探索範囲ＳＡ１，ＳＡ８，ＳＡ１０のうちの他の動画像符号化装置１が符号化を受け持つ部分画像領域１００２〜１００４にはみ出している部分のデータは、バスブリッジ４及び他バス２で接続された外部メモリ３から読み出す必要がある。
【００５７】
これに対し、図５Ａに示した結果では、処理ブロック１１００を含む部分画像領域１００１内に全ての探索範囲が収まっている。そのため、図５Ｂの（ａ）に示した結果を等倍ＭＥの探索範囲に採用した場合、図５Ａの（ａ）に示した結果に比べて外部メモリ３から読み出したデータを転送する分、転送コストが高くなる。
【００５８】
したがって、図５Ｂの（ａ）に示した結果を探索範囲に採用した場合、符号化する際の圧縮率を低く抑えられるものの、転送コストが高いことにより処理が遅延し、画質の劣化を招来する恐れがある。
【００５９】
本発明は、このような事態を鑑みてなされたものであり、縮小ＭＥの結果から求めた類似度と転送コストとに基づいて等倍ＭＥにおける動きベクトルの探索範囲を選出する。これにより、縮小画像を用いて等倍画像による動きベクトル探索における参照画像の参照範囲を決定する際に、画質への影響を考慮して参照範囲を決定し、かつ転送コストの高い外部メモリからの読み出し量を抑制することができる。
【００６０】
［装置構成］
図６は、本発明の一実施形態に係る動画像符号化装置の構成を示すブロック図である。
【００６１】
図６に示すように、動画像符号化装置１は、バス（自バス）２により外部メモリ３と接続されている。符号化前の動画像データは、バス２を介して外部メモリ３に格納される。動画像符号化装置１は、バス２を介して外部メモリ３から動画像データを読み出して符号化し、符号化した動画像データをバス２を介して外部メモリ３に格納する。
【００６２】
本実施形態の動画像符号化装置１は、ＭＰＥＧ等の規格に従って動画像を符号化する装置であり、フレーム間予測を用いない符号化処理と、フレーム間予測を用いる符号化処理とを行う。この動画像符号化装置１は、図６に示したように、縮小ＭＥ部１０１、参照画像管理部１０２、原画像管理部１０３、等倍ＭＥ部１０４、動き補償部１０５、フレーム内予測部１０６、及び予測画像選択部１０７を備える。また、動画像符号化装置１は、その他に、誤差画像生成部１０８、直交変換／量子化部１０９、エントロピー符号化部１１０、逆量子化／逆変換再構成部１１１、デブロッキングフィルタ部１１２を備える。
【００６３】
縮小ＭＥ部１０１は、符号化対象の画像を縮小した縮小画像及び参照画像を縮小した縮小画像を用いた動きベクトル探索を行い、符号化対象の画像における各処理ブロックの動きベクトルの探索起点領域を求める。
【００６４】
参照画像管理部１０２は、縮小ＭＥ部１０１で求めた探索起点領域に基づいて、等倍ＭＥにおける動きベクトルの探索起点領域及び探索範囲（参照画像の参照範囲）を決定するとともに、探索範囲のデータを外部メモリ３から読み出す。なお、参照画像管理部１０２は、図示しない内部メモリを有し、外部メモリ３から読み出した探索範囲のデータの一部を内部メモリで保持する。内部メモリで保持するのは、処理ブロック及びその周辺のデータ、直近の処理において読み出したデータの一部等である。そのため、参照画像管理部１０２は、決定した探索範囲のデータを内部メモリで保持していない場合、外部メモリ３から探索範囲のデータを読み出し、内部メモリに格納する。
【００６５】
原画像管理部１０３は、原画像、すなわち処理対象の画像のうちの符号化を受け持つ部分画面領域における処理ブロック部分のデータを読み出し、等倍ＭＥ部１０１又はフレーム内予測部１０６と、誤差画像生成部１０８とに渡す。処理対象の画像がフレーム内予測を行う画像である場合、原画像管理部１０３は、読み出したデータをフレーム内予測部１０６及び誤差画像生成部１０８に渡す。一方、処理対象の画像がフレーム間予測を行う画像である場合、原画像管理部１０３は、読み出したデータを等倍ＭＥ部１０４及び誤差画像生成部１０８に渡す。
【００６６】
等倍ＭＥ部１０４は、参照画像管理部１０２において決定した探索起点領域及び探索範囲（参照領域）に従い、原画像と参照画像とから処理ブロックの動きベクトルを求める。
【００６７】
動き補償部１０５は、等倍ＭＥ部１０４で求めた動きベクトルによりフレーム間予測で用いる参照画像の動き補償を行い、フレーム間予測画像を生成する。
【００６８】
フレーム内予測部１０６は、原画像管理部１０３から渡された原画像のデータと再構成部で再構成した画像とを用いてフレーム内予測画像を生成する。
【００６９】
予測画像選択部１０７は、動き補償部１０５で生成したフレーム間予測画像とフレーム内予測部１０６で生成したフレーム内予測画像とのどちらを符号化する予測画像にするかを選択する。
【００７０】
誤差画像生成部１０８は、原画像と予測画像との差分である誤差画像を生成する。
直交変換／量子化部１０９は、誤差画像のデータに対しＤＣＴ等の直交変換、及び量子化を行う。
【００７１】
エントロピー符号化部１１０は、直交変換及び量子化を行った画像データに対してエントロピー符号化を行う。エントロピー符号化されたデータは、符号化された動画像の一部として外部メモリ３に格納される。
【００７２】
逆量子化／逆変換再構成部１１１は、直交変換及び量子化を行った画像データに対し逆量子化及び逆直交変換を行った後、予測画像選択部１０７で選択したフレーム間予測画像又はフレーム内予測画像を用いて再構成画像を作成する。逆量子化及び逆直交変換を行って得られたデータは、デブロッキングフィルタ部１１２に送られる。また、再構成画像はフレーム内予測部１０６に送られる。
【００７３】
デブロッキングフィルタ部１１２は、逆量子化及び逆直交変換を行って得られたデータにおけるノイズ（ブロック歪み）を除去する。ノイズを除去したデータ（ローカルデコード画像）は、以降のフレーム間予測における参照画像に用いられる。
【００７４】
本実施形態に係る動画像符号化装置１において、上記の構成のうち参照画像管理部１０２を除く他の構成は、周知の動画像符号化装置における構成と同じでよい。以下に、本実施形態に係る動画像符号化装置１内の参照画像管理部１０２の構成を説明する。
【００７５】
図７は、動画像符号化装置内の参照画像管理部の構成を示すブロック図である。
図７に示すように、参照画像管理部１０２は、縮小ＭＥ結果記憶部１０２ａ、参照箇所決定部１０２ｂ、領域種別判定部１０２ｃ、参照画像位置管理部１０２ｄ、コスト算出部１０２ｅ、最適縮小ＭＥ結果選出部１０２ｆ、及び参照画像記憶部１０２ｇを有する。
【００７６】
縮小ＭＥ結果記憶部１０２ａは、上記内部メモリ１００の一部であり、縮小ＭＥ部１０１の処理結果（以下「縮小ＭＥ結果」ともいう）を記憶する。
【００７７】
参照箇所決定部１０２ｂは、縮小ＭＥ結果に基づき、参照画像のうちの等倍ＭＥにおいて参照する箇所（参照範囲）を決定する。
【００７８】
領域種別判定部１０２ｃは、参照画像位置管理部１０２ｄからの情報に基づき、参照範囲の領域種別、すなわち参照範囲のデータがどのメモリに格納されているかを判定する。
【００７９】
参照画像位置管理部１０２ｄは、参照画像における参照範囲の位置と、当該参照範囲のデータがどのメモリに格納されているかを管理する。また、参照画像位置管理部１０２ｄは、最適な縮小ＭＥ結果の参照範囲に基づき、内部メモリで保持していないデータを外部メモリ３から読み出し、参照画像記憶部１０２ｇに記憶させる。
【００８０】
コスト算出部１０２ｅは、領域種別毎の画素の和のそれぞれにコスト係数を乗じ、その総和を転送コストＲＣとして算出する。算出した転送コストＲＣは、縮小ＭＥ結果と対応付けて縮小ＭＥ結果記憶部１０２ａに記憶させる。
【００８１】
最適縮小ＭＥ結果選出部１０２ｆは、転送コストＲＣに基づき、複数の縮小ＭＥ結果から最適な縮小ＭＥ結果を選出する。
【００８２】
参照画像記憶部１０２ｇは、上記内部メモリの一部であり、選出した最適縮小ＭＥ結果を用いた等倍ＭＥに必要なデータを外部メモリ３から取得して記憶する。
【００８３】
図８Ａは、参照画像管理部で行う処理を示すフローチャート（その１）である。図８Ｂは、参照画像管理部で行う処理を示すフローチャート（その２）である。
【００８４】
参照画像管理部１０２は、図８Ａに示すように、まず、縮小ＭＥ部１０１から入力される縮小ＭＥ結果を縮小ＭＥ結果記憶部１０２ａに記憶させる（ステップＳ１）。縮小ＭＥ結果は、複数の結果が出てからまとめて入力されてもよいし、結果が出る毎に都度入力されてもよい。
【００８５】
次に、転送コストを計算していない縮小ＭＥ結果が有るか確認し（ステップＳ２）、次に行う処理を判断する。計算していない縮小ＭＥ結果がある場合（ステップＳ２；Ｙｅｓ）、縮小ＭＥ結果に基づき転送コストを計算する処理（ステップＳ３〜７）を繰り返す。一方、計算していない縮小ＭＥ結果がない場合（ステップＳ２；Ｎｏ）、最適な縮小ＭＥ結果を選択し、等倍ＭＥで参照する画像のデータを等倍ＭＥ部に送る処理（図８ＢのステップＳ８〜Ｓ１３）を行う。
【００８６】
転送コスト計算を計算する処理では、図８Ｂに示すように、まず転送コストを算出していない縮小ＭＥ結果の１つを選出する（ステップＳ３）。
【００８７】
次に、選出した最小ＭＥ結果に基づき、参照画像のうちの等倍ＭＥにおいて参照する範囲（動きベクトルの探索範囲）を決定する（ステップＳ４）。ステップＳ４では、最小ＭＥ結果における探索起点領域の位置と、予め定めた探索範囲の寸法とから参照範囲を決定する。
【００８８】
次に、決定した参照範囲の領域種別を判定する（ステップＳ５）。ステップＳ５では、参照範囲内の各画素のデータが内部メモリ、外部メモリのどのメモリに格納されているかを判定する。
【００８９】
次に、領域種別毎の画素の和のそれぞれに設定されたコスト係数を乗じ、その総和を転送コストとして算出する（ステップＳ６）。すなわち、ステップＳ６では、下記式（１）により転送コストＲＣを算出する。
【００９０】
ＲＣ＝Ｐ１×Ｃ１＋Ｐ２×Ｃ２＋Ｐ３×Ｃ３＋Ｐ４×Ｃ４      ・・・（１）
【００９１】
式（１）において、Ｐ１はデータを内部メモリ１００で保持している画素の数であり、Ｐ２〜Ｐ４はそれぞれデータを外部メモリ３で保持している画素の数である。また、Ｃ１はデータを内部メモリ１００で保持している画素に対するコスト係数であり、Ｃ２〜Ｃ４はそれぞれデータを外部メモリ３で保持している画素に対するコスト係数である。このコスト係数は、画質向上への影響を考慮した制御に基づいて設定される値であり、例えば処理ブロック１１００ａを含む部分画面領域の符号化を受け持つ動画像符号化装置１から遠い外部メモリほど大きくする。
【００９２】
転送コストを算出したら、算出した転送コストを縮小ＭＥ結果と対応付けて縮小ＭＥ結果記憶部１０２ａに記憶させ（ステップＳ７）、ステップＳ２に戻る。
【００９３】
ステップＳ３〜Ｓ７を繰り返して全ての縮小ＭＥ結果に対する転送コストを計算したら、次に、縮小ＭＥ結果の中から最適な縮小ＭＥ結果を選出する（ステップＳ８）。ステップＳ８では、後述するように、例えば転送コストが最小の縮小ＭＥ結果を選出する。
【００９４】
次に、選出した縮小ＭＥ結果に基づき、参照画像のうちの等倍ＭＥにおいて参照する範囲（動きベクトルの探索範囲）を決定する（ステップＳ９）。ステップＳ９では、例えばステップＳ４と同様の方法で参照範囲（探索範囲）を決定する。なお、内部メモリの容量に余裕がある場合、ステップＳ４で決定した参照範囲を記憶部（内部メモリ）に記憶させておき、ステップＳ９では内部メモリから読み出すだけにしてもよい。
【００９５】
次に、決定した参照範囲に基づき、参照画像における参照範囲の位置と、当該参照範囲のデータがどのメモリに格納されているかを参照画像位置管理部１０２ｄに追加する（ステップＳ１０）。
【００９６】
次に、参照画像の参照範囲のうちの内部メモリで保持していない部分のデータを外部メモリ３から読み出し、参照画像記憶部１０２ｇに記憶させる（ステップＳ１１）。
【００９７】
次に、等倍ＭＥ部１０４に最適縮小ＭＥ結果を通知する（ステップＳ１２）。
最後に、等倍ＭＥで参照する参照画像を等倍ＭＥ部１０４に送る（ステップＳ１３）。
【００９８】
参照画像管理部１０２は、フレーム間予測を行う部分画面領域の各処理ブロックに対して上記の処理を行う。
【００９９】
以下、転送コストの算出方法及び最適縮小ＭＥ結果の選出方法についての実施例を説明する。
【０１００】
［実施例１］
図９は、転送コストの算出方法及び最適縮小ＭＥ結果の選出方法の実施例１を説明する模式図である。
【０１０１】
図９には、ある処理ブロック１１００ａに対する縮小ＭＥにより求められた２通りの結果（ａ）及び（ｂ）を示している。なお、図９の（ａ）及び（ｂ）に示した例は、それぞれ図５の（ａ）及び（ｂ）と同じ例である。したがって、上述のように、処理ブロック１１００ａ内の各サブブロックと参照範囲（探索範囲）との類似度のみで判定すれば、図９の（ｂ）に示した例のほうが最適な縮小ＭＥ結果となる。
【０１０２】
これに対し、実施例１では、類似度及び転送コストに基づいて、最適な縮小ＭＥ結果を選出する。
【０１０３】
転送コストは、上記式（１）を用いて算出する。この式（１）で用いるコスト係数Ｃ１〜Ｃ４は、外部メモリ３、特にバスブリッジ４を介して接続された外部メモリ３から読み出すデータが多いほど、転送コストＲＣが大きくなるように設定することが好ましい。そこで、実施例１では、コスト係数Ｃ１、Ｃ２、Ｃ３、及びＣ４を、それぞれ１、１０、２０、及び５０とする。
【０１０４】
図９の（ａ）に示した例において、式（１）の画素の数Ｐ１、Ｐ２、Ｐ３、及びＰ４がそれぞれ６７、６４、０、及び０であるとすると、転送コストＲＣは７０７になる。
【０１０５】
一方、図９の（ｂ）に示した例において、式（１）の画素の数Ｐ１、Ｐ２、Ｐ３、及びＰ４がそれぞれ７８、３５、２１、及び１であるとすると、転送コストＲＣは８９８になる。
【０１０６】
図９の（ａ）及び（ｂ）に示した例（言い換えると図５の（ａ）及び（ｂ）に示した例）における類似度は、上述したように４３０及び２５０である。この類似度に上記の転送コストＲＣを加算すると、図９の（ａ）に示した例では１１３７となり、図９の（ｂ）に示した例の１１４８よりも小さくなる。これは、類似度を優先して図９の（ｂ）を最適縮小ＭＥ結果として選出した場合、類似度で計られる画質の違いに比べ、転送コストがかかりすぎることを意味する。このような場合、転送コストが大きい分、外部メモリ３からのデータの読み出しに時間がかかり、動きベクトルの探索処理（符号化処理）が遅延し画質劣化の要因となる。また、図９の（ａ）と（ｂ）とでは、類似度の差もそれほど大きくはないので、（ｂ）のほうを選出しても、大きな画質向上にはつながらない。
【０１０７】
したがって、図９の（ａ）及び（ｂ）に示した例からは、図９の（ａ）に示した例を最適な縮小ＭＥ結果として選出することが好ましい。よって、上記ステップＳ８では、類似度と転送コストとの和が最小になる縮小ＭＥ結果を最適縮小ＭＥ結果として選出する。これにより、縮小画像を用いて等倍画像による動きベクトル探索における参照画像の参照範囲を決定する際に、画質への影響を考慮して参照範囲を決定し、かつ外部メモリから読み出す参照範囲の転送コストを抑制することができる。
【０１０８】
なお、式（１）のコスト係数Ｃ１、Ｃ２、Ｃ３、及びＣ４は、上記の１、１０、２０、及び５０という組み合わせに限らず、適宜変更可能である。
【０１０９】
［実施例２］
図１０は、転送コストの算出方法及び最適縮小ＭＥ結果の選出方法の実施例２を説明する模式図である。
【０１１０】
図１０には、ある処理ブロック１１００ａに対する縮小ＭＥにより求められた２通りの結果（ａ）及び（ｂ）を示している。なお、図１０の（ａ）及び（ｂ）に示した例は、それぞれ図５の（ａ）及び（ｂ）と同じ例である。したがって、上述のように、処理ブロック１１００ａ内の各サブブロックと探索範囲（参照画像の参照箇所）との類似度のみで判定すれば、図１０の（ｂ）に示した例のほうが最適な縮小ＭＥ結果となる。
【０１１１】
これに対し、実施例２では、類似度及び転送コストに基づいて、最適な縮小ＭＥ結果を選出する。また、実施例２では、外部メモリ３へのアクセス頻度に応じて転送コストを算出する際のコスト係数を切り替える。
【０１１２】
転送コストは、上記式（１）を用いて算出する。この式（１）で用いるコスト係数Ｃ１〜Ｃ４は、外部メモリ３、特にバスブリッジ４を介して接続された外部メモリ３から読み出すデータが多いほど、転送コストＲＣが大きくなるように設定することが好ましい。そこで、実施例１では、コスト係数Ｃ１、Ｃ２、Ｃ３、及びＣ４を、それぞれ１、１０、２０、及び５０としていた。
【０１１３】
しかしながら、フレームレートが低い等、外部メモリ３へのアクセス頻度が低い場合は、アクセス頻度が高い場合に比べて１つの処理ブロックに対する処理に時間的余裕がある。そのため、外部メモリ３からデータを読み出す際の遅延時間の許容範囲にも余裕がある。したがって、実施例２では、上記式（１）におけるコスト係数Ｃ１、Ｃ２、Ｃ３、及びＣ４を、フレームレート等に基づいて変更可能にする。実施例２では、フレームレートが高い場合（例えば６０ｆｐｓ以上の場合）、上記式（１）におけるコスト係数Ｃ１、Ｃ２、Ｃ３、及びＣ４を、実施例１と同様、それぞれ１、１０、２０、及び５０とする。
【０１１４】
一方、フレームレートが低い場合（例えば６０ｆｐｓ未満の場合）、上記式（１）におけるコスト係数Ｃ１、Ｃ２、Ｃ３、及びＣ４を、それぞれ１、５、１０、及び２０とする。この場合、図１０の（ａ）及び（ｂ）に示した例における転送コストＲＣは、それぞれ３８７及び４８３になる。なお、図１０の（ａ）に示した例における式（１）の画素の数Ｐ１、Ｐ２、Ｐ３、及びＰ４は、それぞれ６７、６４、０、及び０としている。また、図１０の（ｂ）に示した例における式（１）の画素の数Ｐ１、Ｐ２、Ｐ３、及びＰ４は、それぞれ７８、３５、２１、及び１としている。
【０１１５】
よって、フレームレートが低い場合、図１０の（ａ）に示した例では、類似度と転送コストＲＣとの和が８１７となる。一方、図１０の（ｂ）に示した例では、類似度と転送コストＣＲとの和が７３３となる。すなわち、フレームレートが低い場合、類似度と転送コストとの和で比較すると、図１０の（ａ）に示した例のほうが値が小さくなる。これは、図１０の（ａ）を最適縮小ＭＥ結果として選出した場合、転送コストがかかるものの、その分、画質の向上が見込めることを意味する。
【０１１６】
したがって、フレームレートが低い（外部メモリへのアクセス頻度が低い）場合、図１０の（ａ）及び（ｂ）に示した例からは、図１０の（ｂ）に示した例を最適な縮小ＭＥ結果として選出されるようにことが好ましい。
【０１１７】
このように、実施例２では、最適縮小ＭＥ結果を選出する処理（ステップＳ８）において、外部メモリへのアクセス頻度に応じてコスト係数を切り替える。これにより、類似度の高さを活かした画質の向上が見込める。
【０１１８】
なお、式（１）のコスト係数Ｃ１、Ｃ２、Ｃ３、及びＣ４は、上記の組み合わせに限らず、適宜変更可能である。
【０１１９】
［実施例３］
図１１は、転送コストの算出方法及び最適縮小ＭＥ結果の選出方法の実施例３を説明する模式図である。
【０１２０】
図１１には、ある処理ブロック１１００ａに対する縮小ＭＥにより求められた２通りの結果（ａ）及び（ｂ）を示している。なお、図１１の（ａ）及び（ｂ）に示した例は、それぞれ図５の（ａ）及び（ｂ）と同じ例である。したがって、上述のように、処理ブロック１１００ａ内の各サブブロックと参照範囲（探索範囲）との類似度のみで判定すれば、図１１の（ｂ）に示した例のほうが最適な縮小ＭＥ結果となる。
【０１２１】
これに対し、実施例３では、帯域に使用上限のあるバス２に基づいて転送コストを算出し、帯域の使用上限を下回る縮小ＭＥ結果から最適な縮小ＭＥ結果を選出する。
【０１２２】
転送コストは、実施例１及び２と同様、上記式（１）を用いて算出する。ただし、実施例３では、式（１）で用いるコスト係数Ｃ１〜Ｃ４をバス２の使用上限に基づいて設定する。例えば、使用上限のあるバスが自バス２である場合、内部メモリからデータを読み出す画素、すなわちデータの読み出しに自バス２を使用しない画素に対するコスト係数Ｃ１を０とする。一方、外部メモリ３からデータを読み出す画素、すなわちデータの転送に自バス２を使用する画素に対するコスト係数Ｃ２〜Ｃ４はいずれも１とする。
【０１２３】
なお、自バス２の使用上限は、例えば使用実績の移動平均等に基づき、外部メモリ３からデータを読み出す画素の上限等にする。実施例３では、自バス２の使用上限を６０（個）とする。
【０１２４】
図１１の（ａ）に示した例において、式（１）の画素の数Ｐ１、Ｐ２、Ｐ３、及びＰ４を、それぞれ６７、６４、０、及び０とすると、転送コストＲＣは６４となる。そのため、転送コストＲＣは自バスの帯域の使用上限である６０を上回る。
【０１２５】
一方、図１１の（ｂ）に示した例において、式（１）の画素の数Ｐ１、Ｐ２、Ｐ３、及びＰ４を、それぞれ７８、３５、２１、及び１とすると、転送コストＲＣは５７になる。そのため、転送コストＲＣは自バスの帯域の使用上限である６０を下回る。
【０１２６】
よって、図１１の（ａ）及び（ｂ）に示した例では、類似度に関係なく、（ｂ）に示した例が最適な縮小ＭＥ結果に選出される。
【０１２７】
このように、実施例３では、バスの帯域の使用上限に基づいて最適な縮小ＭＥ結果を選出する。これにより、自バスにおいて輻輳が発生してデータが欠落することや、符号化処理が遅延することを防げる。
【０１２８】
なお、式（１）のコスト係数Ｃ１、Ｃ２、Ｃ３、及びＣ４は、上記の組み合わせに限らず、適宜変更可能である。また、帯域の使用上限は、自バスに限らず他バスに設定してもよい。
【０１２９】
［実施例４］
図１２は、最適縮小ＭＥ結果の選出方法の実施例４を説明するフローチャートである。
【０１３０】
実施例４の最適な縮小ＭＥ結果の選出方法では、縮小ＭＥ結果における類似度の差に応じて、最適縮小ＭＥ結果の選出方法を切り替える。具体的には、２つの縮小ＭＥ結果の類似度の差の絶対値が閾値より小さいときには転送コストの小さい縮小ＭＥ結果を最適縮小ＭＥ結果とする。一方、２つの縮小ＭＥ結果の類似度の差の絶対値が閾値以上のときには、類似度の高い（値の小さい）縮小ＭＥ結果を最適縮小ＭＥ結果とする。
【０１３１】
類似度の差の閾値は任意であり、例えば１０００程度の値とする。
すなわち、最適な最小ＭＥ結果を選出する処理（図８ＢのステップＳ８）において、図１２に示したような処理を行う。まず、類似度の値が小さい２つの縮小ＭＥ結果を選出し、類似度の差の絶対値を算出する（ステップＳ８０１）。次に、類似度の差の絶対値が閾値未満であるか確認する（ステップＳ８０２）。類似度の差の絶対値が閾値未満の場合（ステップＳ８０２；Ｙｅｓ）、転送コストの小さい縮小ＭＥ結果を最適縮小ＭＥ結果とし（ステップＳ８０３）、処理を終了する（リターン）。一方、類似度の差の絶対値が閾値以上の場合（ステップＳ８０４）、類似度の低い縮小ＭＥ結果を最適縮小ＭＥ結果とし（ステップＳ８０４）、処理を終了する。
【０１３２】
例えば、図９の（ａ）及び（ｂ）に示した例では、類似度の値が４３０及び２５０である。そのため、類似度の差の絶対値は１８０であり、閾値（１０００）よりも小さい。このため、最適縮小ＭＥ結果には、転送コストＲＣの小さいほうが選出される。図９に示した例では、（ａ）に示したほうが転送コストが小さい。よって、実施例４の選出方法によれば、図９の（ａ）及び（ｂ）に示した例では、（ａ）に示した例が最適縮小ＭＥ結果に選出される。
【０１３３】
このように、実施例４では、最適縮小ＭＥ結果を選出する処理（ステップＳ８）において、２つの縮小ＭＥ結果の類似度の差の絶対値が閾値よりも小さい場合、転送コストの小さい方を最適縮小ＭＥ結果に選出する。そのため、画質に大きな影響を与えずに転送コストを低減することができる。
【０１３４】
なお、実施例４では、２つの縮小ＭＥ結果から最適縮小ＭＥ結果を選出する例を説明したが、これに限らず、３つ以上の縮小ＭＥ結果から最適縮小ＭＥ結果を選出しても良いことはもちろんである。縮小ＭＥ結果が３つ以上の場合、例えば、まず当該３つの縮小ＭＥ結果のうち類似度の高い（値の小さい）縮小ＭＥ結果を２つ選出し、当該２つの縮小ＭＥ結果から最適縮小ＭＥ結果を選出すればよい。また、例えば、実施例１で説明したような類似度と転送コストとの和が小さい縮小ＭＥ結果を２つ選出し、当該２つの縮小ＭＥ結果から最適縮小ＭＥ結果を選出してもよい。
【０１３５】
以上説明したように、本実施形態によれば、複数の縮小ＭＥ結果から最適な縮小ＭＥ結果を選出する際に、画質に影響する類似度の差及び処理速度に影響する転送コストＲＣに基づいて選出する。そのため、各探索起点領域の類似度が画質に大きな影響を与えない範囲で、動画像符号化装置１と他バス２で接続された外部メモリからの読み出し量を抑制し、自バス２で接続された外部メモリからの読み出し量の多い最小ＭＥ結果を選出することができる。よって、縮小画像を用いて等倍画像による動きベクトル探索における参照画像の参照範囲を決定する際に、画質への影響を考慮して参照範囲を決定し、かつ転送コストの高い外部メモリからの読み出し量を抑制することができる。
【０１３６】
また、転送コストＲＣを算出する際のコスト係数を、フレームレート等に基づいて適宜変更することで、最適な縮小ＭＥ結果を選出する際の転送コストの寄与率を調節することができる。そのため、フレームレートが低い場合等には画質の向上を見込める最適縮小ＭＥ結果の選出が可能になる。
【０１３７】
さらに、バスの帯域の使用上限に基づいて転送コストＲＣを算出すれば、外部メモリから読み込むデータ量が制限されるため、転送コストの増大による画質の劣化を抑えた最適縮小ＭＥ結果の選出が可能になる。
【０１３８】
しかも、算出した転送コストＲＣの大きさに見合った画質の向上が望めない場合には、転送コストの抑制を優先して最適縮小ＭＥ結果を選出する。よって、転送コストの高い外部メモリからの読み出し量が減り、その分消費電力量が低減する。
【０１３９】
なお、本実施形態の動画像符号化装置１は、例えばパーソナルコンピュータや、デジタルカメラ等の撮像装置に組み込まれる。以下、本実施形態の動画像符号化装置１が組み込まれたパーソナルコンピュータのハードウェア構成について簡単に説明する。
【０１４０】
［ハードウェア構成］
図１３は、本実施形態の動画像符号化装置を備えたコンピュータのハードウェア構成を示す模式図である。
【０１４１】
図１３に示すように、コンピュータ２０００は、Central Processing Unit（ＣＰＵ）２００１、メモリ２００２、補助記憶装置２００３、入力装置２００４、表示装置２００５、符号化装置２００６、及び媒体駆動装置２００７を備える。また、コンピュータ２０００は、上記のハードウェアの他、図示しない各種インターフェース等を備える。また、コンピュータ２０００におけるこれらのハードウェアは、バス２００９により任意の２点間でデータを伝送できる。
【０１４２】
ＣＰＵ ２００１は、各種のプログラムを実行することによりコンピュータ２０００の全体の動作を制御する演算処理装置である。
【０１４３】
メモリ２００２は、Read Only Memory（ＲＯＭ）やRandom Access Memory（ＲＡＭ）等の半導体メモリである。ＲＯＭには、例えばコンピュータ２０００の起動時にＣＰＵ ２００１が読み出す所定の基本制御プログラム等が予め記録されている。また、ＲＡＭは、ＣＰＵ ２００１が各種のプログラムを実行する際に、必要に応じて作業用記憶領域として使用する。
【０１４４】
補助記憶装置２００３は、Hard Disk Drive（ＨＤＤ）やSolid State Drive（ＳＳＤ）等の大容量の記憶装置であり、ＣＰＵ ２００１によって実行される各種のプログラムや映像データを記憶するのに使用する。
【０１４５】
入力装置２００４は、例えばキーボード装置やマウス装置、タッチパネル装置であり、コンピュータ２０００のオペレータ（ユーザ）により操作されると、その操作内容に対応付けられている入力情報をＣＰＵ ２００１に送信する。
【０１４６】
表示装置２００５は、例えば液晶ディスプレイであり、ＣＰＵ ２００１から送信される表示データに従ってメニュー画面や設置イメージ等を含む各種のテキスト、画像を表示する。
【０１４７】
符号化装置２００６は、本実施形態で説明した動画像の符号化を含む種々の画像処理を行う装置であり、Digital Signal Processor（ＤＳＰ）２００６ａ及びメモリ２００６ｂを備える。
【０１４８】
媒体駆動装置２００７は、可搬型記録媒体に記録されているプログラムやデータの読み出しや、補助記憶装置で保持するデータ等の可搬型記録媒体への記録を行う。可搬型記録媒体としては、例えば、Universal Serial Bus（ＵＳＢ）規格のコネクタが備えられているフラッシュメモリが利用可能である。また、可搬型記録媒体としては、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disc Read Only Memory）なども利用可能である。
【０１４９】
以上記載した各実施例を含む実施形態に関し、さらに以下の付記を開示する。
（付記１）
動画像の１画面を複数の部分画面領域に分割し、前記部分画面領域毎に符号化を行う動画像符号化方法であって、
前記部分画面領域の符号化を行う動画像符号化装置が、
前記部分画面領域及び当該部分画面領域の符号化において参照する参照画像を縮小した縮小画像を用いて前記部分画面領域内の処理ブロックに対する動きベクトル探索における探索起点領域の候補を複数個求め、
複数個の前記探索起点領域の候補のそれぞれについて、等倍の前記処理ブロックと前記参照画像における前記探索起点領域との類似度を算出するとともに（図５Ａ）、前記動画像符号化装置に接続された外部メモリから前記探索起点領域を含む参照範囲を読み出した場合の転送コストを算出し、
算出した前記類似度と前記転送コストとに基づいて、等倍の前記処理ブロックに対する動きベクトル探索で参照する前記参照範囲を決定する処理（Ｓ８）、
を実行することを特徴とする動画像符号化方法。
（付記２）
前記動画像符号化装置が、複数個の前記探索起点領域の候補のうちの算出した前記類似度と前記転送コストとの和が最小になる候補を含む参照範囲を、前記動きベクトル探索で参照する前記参照範囲として決定する、
ことを特徴とする付記１に記載の動画像符号化方法。
（付記３）
前記動画像符号化装置が、前記参照画像における前記参照範囲の位置に応じて複数の前記外部メモリのなかから前記参照範囲を読み出す外部メモリを選択し、複数の前記外部メモリ毎に設定されたコスト係数を用いて前記転送コストを算出する、
ことを特徴とする付記１に記載の動画像符号化方法。
（付記４）
前記動画像符号化装置が、前記参照範囲を読み出す前記外部メモリへのアクセス状況に応じて、前記メモリへのアクセス頻度が高い場合は前記コスト係数を大きくし、前記メモリへのアクセス頻度が少ない場合は前記コスト係数を小さくする、
ことを特徴とする付記３に記載の動画像符号化方法。
（付記５）
２つの前記探索起点領域の候補における類似度の差の絶対値が閾値を下回る場合、当該探索起点領域の候補のうちの転送コストが小さい方を探索起点領域を決定し、
前記類似度の差の絶対値が閾値以上の場合、当該探索起点領域の候補のうちの類似度の高い方を探索起点領域に決定する、
ことを特徴とする付記１に記載の動画像符号化方法。
（付記６）
動画像の１画面を複数の部分画面領域に分割したときの前記部分画面領域及び当該部分画面領域の符号化において参照する参照画像を縮小した縮小画像を用いて前記部分画面領域内の処理ブロックに対する動きベクトル探索における探索起点領域の候補を求める縮小ＭＥ部と、
求めた前記探索起点候補が複数個ある場合に、複数個の前記探索起点領域の候補のそれぞれについて、等倍の前記処理ブロックと前記参照画像における前記探索起点領域を含む参照範囲との類似度を算出するとともに、前記動画像符号化装置に接続された複数の外部メモリから前記参照範囲を読み出した場合の転送コストを算出し、算出した前記類似度と前記転送コストとに基づいて、等倍の前記処理ブロックに対する動きベクトル探索で参照する前記参照範囲を決定する参照画像管理部と、
を備えることを特徴とする動画像符号化装置。
（付記７）
動画像を符号化する動画像符号化装置と、当該動画像符号化装置にバスを介して接続された外部メモリとの組を複数備え、
前記バスがバスブリッジを介して他のバスと接続された電子機器であって、
前記動画像符号化装置が、
動画像の１画面を複数の部分画面領域に分割したときの前記部分画面領域及び当該部分画面領域の符号化において参照する参照画像を縮小した縮小画像を用いて前記部分画面領域内の処理ブロックに対する動きベクトル探索における探索起点領域の候補を求める縮小ＭＥ部と、
求めた前記探索起点候補が複数個ある場合に、複数個の前記探索起点領域の候補のそれぞれについて、等倍の前記処理ブロックと前記参照画像における前記探索起点領域を含む参照範囲との類似度を算出するとともに、前記動画像符号化装置に接続された複数の外部メモリから前記参照範囲を読み出した場合の転送コストを算出し、算出した前記類似度と前記転送コストとに基づいて、等倍の前記処理ブロックに対する動きベクトル探索で参照する前記参照範囲を決定する参照画像管理部と、
を備えることを特徴とする電子機器。
【符号の説明】
【０１５０】
１  動画像符号化装置
１００  内部メモリ
１０１  縮小ＭＥ部
１０２  参照画像管理部
１０２ａ  縮小ＭＥ結果記憶部
１０２ｂ  参照箇所決定部
１０２ｃ  領域種別判定部
１０２ｄ  参照画像位置管理部
１０２ｅ  コスト算出部
１０２ｆ  最適縮小ＭＥ結果選出部
１０２ｇ  参照画像記憶部
１０３  原画像管理部
１０４  等倍ＭＥ部
２  バス
３  外部メモリ
４  バスブリッジ
【図１】
2016134699.tif 000003
【図２】
2016134699.tif 000004
【図３】
2016134699.tif 000005
【図４Ａ】
2016134699.tif 000006
【図４Ｂ】
2016134699.tif 000007
【図５Ａ】
2016134699.tif 000008
【図５Ｂ】
2016134699.tif 000009
【図６】
2016134699.tif 000010
【図７】
2016134699.tif 000011
【図８Ａ】
2016134699.tif 000012
【図８Ｂ】
2016134699.tif 000013
【図９】
2016134699.tif 000014
【図１０】
2016134699.tif 000015
【図１１】
2016134699.tif 000016
【図１２】
2016134699.tif 000017
【図１３】
2016134699.tif 000018