(57)【特許請求の範囲】
【請求項１】
第１符号化方式で符号化された第１の符号化データを第２符号化方式で符号化された第２の符号化データに変換する画像符号化装置であって、
前記第１の符号化データを復号化し、動きベクトルを含む復号化情報と復号画像とを生成する復号化手段と、
前記復号化手段が生成した復号画像を前記第２符号化方式で符号化し、動きベクトルを含む符号化情報と符号化画像とを含む第２の符号化データを生成する符号化手段と、
前記復号化手段が生成した復号化情報を保持する復号化情報保持手段と、
前記符号化手段が生成した符号化情報を保持する符号化情報保持手段と、
前記符号化手段が符号化対象とする復号画像を符号化するときのピクチャタイプを示す符号化条件に基づいて、前記復号化情報に含まれる動き情報と、前記符号化情報に含まれる動き情報とのうちいずれか一方を選択し、選択した動き情報から前記符号化手段が動きベクトルを検出するのに用いられる情報である基本動き情報を生成する基本動き情報生成手段とを備え、
前記符号化手段は、前記基本動き情報生成手段が生成した基本動き情報に従い探索範囲を決定し、決定した探索範囲内で前記復号画像の動きベクトルを検出し、検出した動きベクトルを含む符号化情報と符号化画像とを含む第２の符号化データを生成する
ことを特徴とする画像符号化装置。
【請求項２】
前記基本動き情報生成手段は、選択した前記符号化情報または前記復号化情報に含まれる複数の動きベクトルから、それら複数の動きベクトルを代表する代表動きベクトルを算出し、算出した代表ベクトルを前記基本動き情報として生成し、
前記符号化手段は、基本動き情報が示す動きによって指し示す位置を中心位置とする所定範囲を探索範囲として決定する
ことを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記基本動き情報生成手段は、
前記符号化条件が、前記符号化手段の符号化対象とする復号画像を符号化するときのピクチャタイプがＰピクチャであることを示す場合、前記復号化情報保持手段に保持された
復号化情報を選択する
ことを特徴とする請求項２に記載の画像符号化装置。
【請求項４】
前記基本動き情報生成手段は、
前記符号化条件が、前記符号化手段の符号化対象とする復号画像を符号化するときのピクチャタイプがＢピクチャであることを示す場合、前記符号化情報保持手段に保持された符号化情報を選択する
ことを特徴とする請求項２に記載の画像符号化装置。
【請求項５】
前記基本動き情報生成手段は、
前記復号化情報に含まれるマクロブロックごとの動きベクトルから平均ベクトルを算出し、
前記符号化情報に含まれるマクロブロックごとの動きベクトルから平均ベクトルを算出し、
算出された各々の平均ベクトルを代表ベクトルとして算出する平均ベクトル算出部と、
前記符号化手段が符号化対象とする復号画像を符号化するときのピクチャタイプを判定するピクチャタイプ判定部と、
前記ピクチャタイプ判定部の判定に基づき、前記復号化情報または前記符号化情報から算出される代表ベクトルを選択する選択部とを備え、
前記基本動き情報生成手段は、前記選択部に選択された前記符号化情報または前記復号化情報から算出される代表ベクトルを前記基本動き情報として生成する
ことを特徴とする請求項２に記載の画像符号化装置。
【請求項６】
前記符号化情報保持手段は、前記符号化手段が符号化対象とする前記復号画像以前に符号化された復号画像の動きベクトルを含む符号化情報を保持し、
前記平均ベクトル算出部は、前記符号化情報保持手段が保持する前記復号画像の直前に符号化された復号画像の符号化情報から前記代表ベクトルを算出する
ことを特徴とする請求項５に記載の画像符号化装置。
【請求項７】
前記平均ベクトル算出部は、
前記符号化手段で符号化対象となる前記復号画像を符号化するときと同じピクチャタイプで前記符号化手段により前記復号画像の直前に符号化された復号画像の符号化情報から代表ベクトルを算出する
ことを特徴とする請求項５に記載の画像符号化装置。
【請求項８】
前記平均ベクトル算出部は、
前記符号化手段で符号化対象となる前記復号画像の予測方向ごとにマクロブロックごとの動きベクトルの平均ベクトルを前記代表ベクトルとして前記符号化情報から算出し、
前記代表ベクトルは、前記平均ベクトル算出部が算出した予測方向ごとの平均ベクトルである前方方向代表ベクトルおよび後方方向代表ベクトルからなる
ことを特徴とする請求項５に記載の画像符号化装置。
【請求項９】
前記平均ベクトル算出部は、
前記符号化手段で符号化対象となる前記復号画像の前方方向のマクロブロックごとの動きベクトルの平均ベクトルを前記代表ベクトルとして前記復号化情報から算出する
ことを特徴とする請求項５に記載の画像符号化装置。
【請求項１０】
前記平均ベクトル算出部は、
前記符号化手段がフレーム構造で符号化する場合、１フレーム間の距離の大きさと方向とで表現した基本ベクトルを用いて平均ベクトルを算出し、
前記符号化手段がフィールド構造で符号化する場合、１フィールド間の距離の大きさと方向とで表現した基本ベクトルを用いて平均ベクトルを算出する
ことを特徴とする請求項５に記載の画像符号化装置。
【請求項１１】
前記平均ベクトル算出部は、
前記符号化手段で符号化対象となる前記復号画像を２以上の領域に分割し、
前記復号化情報を基に、前記領域内に存在するマクロブロックごとの動きベクトルの平均値である第１平均ベクトルを、当該領域ごとに計算し、
前記符号化情報を基に、前記領域内に存在するマクロブロックごとの動きベクトルの平均値である第２平均ベクトルを、当該領域ごとに計算し、
前記領域ごとに算出された前記第１平均ベクトルを当該第１平均ベクトルが属する領域の第１代表ベクトルとして算出するとともに、前記領域ごとに算出された前記第２平均ベクトルを当該第２平均ベクトルが属する領域の第２代表ベクトルとして算出し、
前記選択部は、
前記領域ごとに、前記ピクチャタイプ判定部の判定に基づき、前記第１代表ベクトルと、当該第１代表ベクトルが属する領域の第２第代表ベクトルと、のうちいずれかを前記代表ベクトルとして選択する
ことを特徴とする請求項５に記載の画像符号化装置。
【請求項１２】
前記平均ベクトル算出部は、
前記復号化情報に含まれるマクロブロックごとの動きベクトルを、当該動きベクトルの大きさと方向とを基準に複数のグループに分割するとともに、当該グループに含まれる動きベクトルの平均値を第１平均値として、当該グループごとに算出し、
前記符号化情報に含まれるマクロブロックごとの動きベクトルを前記大きさと前記方向とを基準に前記複数のグループに分割するとともに、当該グループに含まれる動きベクトルの平均値を第２平均値として、当該グループごとに算出し、
前記グループごとに算出された前記第１平均ベクトルを当該第１平均ベクトルが属するグループの第１代表ベクトルとして算出するとともに、前記グループごとに算出された前記第２平均ベクトルを当該第２平均ベクトルが属するグループの第２代表ベクトルとして算出し、
前記選択部は、
前記領域ごとに、前記ピクチャタイプ判定部の判定に基づき、前記第１代表ベクトルと、当該第１代表ベクトルが属するグループの第２第代表ベクトルと、のうちいずれかを前記代表ベクトルとして選択する
ことを特徴とする請求項５に記載の画像符号化装置。
【請求項１３】
前記符号化手段は、
前記復号画像の動きが大きくなるにつれ、前記探索範囲を大きくすることを特徴とする、
請求項１に記載の画像符号化装置。
【請求項１４】
前記第１符号化方式および前記第２符号化方式は、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｓｅｒｔｓ  Ｇｒｏｕｐ）規格に準拠した符号化方式である
ことを特徴とする請求項２に記載の画像符号化装置。
【請求項１５】
第１符号化方式で符号化された第１の符号化データを第２符号化方式で符号化された第２の符号化データに変換する画像符号化方法であって、
前記第１の符号化データを復号化し、動きベクトルを含む復号化情報と復号画像とを生成する復号化ステップと、
前記復号化ステップが生成した復号画像を前記第２符号化方式で符号化し、動きベクト
ルを含む符号化情報と符号化画像とを含む第２の符号化データを生成する符号化ステップと、
前記復号化ステップが生成した復号化情報を保持する復号化情報保持ステップと、
前記符号化ステップが生成した符号化情報を保持する符号化情報保持ステップと、
前記符号化ステップが符号化対象とする復号画像を符号化するときのピクチャタイプを示す符号化条件に基づいて、前記復号化情報に含まれる動き情報と、前記符号化情報に含まれる動き情報とのうちいずれか一方を選択し、選択した動き情報から前記符号化ステップが動きベクトルを検出するのに用いられる情報である基本動き情報を生成する基本動き情報生成ステップとを含み、
前記符号化ステップは、前記基本動き情報生成ステップが生成した基本動き情報に従い探索範囲を決定し、決定した探索範囲内で前記復号画像の動きベクトルを検出し、検出した動きベクトルを含む符号化情報と符号化画像とを含む第２の符号化データを生成する
ことを特徴とする画像符号化方法。
【請求項１６】
第１符号化方式で符号化された第１の符号化データを第２符号化方式で符号化された第２の符号化データに変換することで画像符号化する集積回路であって、
前記第１の符号化データを復号化し、動きベクトルを含む復号化情報と復号画像とを生成する復号化手段と、
前記復号化手段が生成した復号画像を前記第２符号化方式で符号化し、動きベクトルを含む符号化情報と符号化画像とを含む第２の符号化データを生成する符号化手段と、
前記復号化手段が生成した復号化情報を保持する復号化情報保持手段と、
前記符号化手段が生成した符号化情報を保持する符号化情報保持手段と、
前記符号化手段が符号化対象とする復号画像を符号化するときのピクチャタイプを示す符号化条件に基づいて、前記復号化情報に含まれる動き情報と、前記符号化情報に含まれる動き情報とのうちいずれか一方を選択し、選択した動き情報から前記符号化手段が動きベクトルを検出するのに用いられる情報である基本動き情報を生成する基本動き情報生成手段とを備え、
前記符号化手段は、前記基本動き情報生成手段が生成した基本動き情報に従い探索範囲を決定し、決定した探索範囲内で前記復号画像の動きベクトルを検出し、検出した動きベクトルを含む符号化情報と符号化画像とを含む第２の符号化データを生成する
ことを特徴とする集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化装置およびその方法に関し、特に、第１の符号化方式で符号化された画像を第２の符号化方式で再符号化する画像符号化装置および方法に関する。
【背景技術】
【０００２】
近年、アナログテレビ放送等の標準品位テレビ（ＳＤＴＶ：Ｓｔａｎｄａｒｄ  Ｄｅｆｉｎｉｔｉｏｎ  ＴｅｌｅＶｉｓｉｏｎ）のストリームをデジタル化し、さらに圧縮符号化してハードディスク（ＨＤＤ：Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）やＤＶＤ−ＲＡＭ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等の光ディスクに記録するデジタルビデオレコーダが普及している。さらに、衛星放送や地上波のデジタルハイビジョンテレビ放送等の高品位テレビ（ＨＤＴＶ：Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ  ＴｅｌｅＶｉｓｉｏｎ、以下、ＨＤＴＶと記載。）のストリームを記録可能なデジタルビデオレコーダが商品化されはじめている。
【０００３】
ＨＤＴＶ放送ではＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）−２規格で符号化されたストリームが送信されている。ＨＤＴＶ放送を記録するときには、ＭＰＥＧ−２ストリームのままで記録する。あるいは、ＭＰＥＧ−２規格で符号化され復号化されたストリームの画像をＤＶＤ規格で規定された画像サイズに変換し、ＭＰＥＧ−２規格で再符号化して記録する方法が一般的である。また、ＭＰＥＧ−２規格で符号化され復号化されたストリームの画像をＭＰＥＧ−２規格よりも符号化効率が高いＨ．２６４規格で再符号化して記録する方法もある。Ｈ．２６４規格で再符号化した場合、ビットレートを下げて記録したとしてもＨＤＴＶの画像サイズのままで画質劣化を抑えて記録できる。
【０００４】
しかし、Ｈ．２６４規格で符号化する場合、ＭＰＥＧ−２規格で符号化する場合に比べて動き補償の自由度が高く参照可能な画像が多いため処理量が膨大なものになる。
【０００５】
また、ＨＤＴＶ放送のようにＨＤ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ；高解像度）画像を符号化する場合には、動き検出を行う探索範囲を広くする必要があり、動き検出を行う探索範囲を広げるとＳＤＴＶ放送を記録するときと比べるとさらに処理量が増大する。
【０００６】
ＨＤＴＶ放送の画像サイズは、ＳＤＴＶ放送の画像サイズの約６倍である。そのため、ＭＰＥＧ−２規格でＨＤＴＶ放送を記録する場合でも、ＳＤＴＶ放送を記録する場合と同程度の動きベクトル検出性能を実現するためにはＳＤＴＶ放送を記録するときと比べて約６倍の探索範囲が必要となる。
【０００７】
さらに、Ｈ．２６４規格でＨＤＴＶ放送を記録（符号化）する場合、ＭＰＥＧ−２規格でＨＤＴＶ放送を記録（符号化）する場合と比べると、符号化単位であるマクロブロック（ＭＢ：ＭＡＣＲＯ  ＢＬＯＣＫ）数は６倍であることから、３６倍の処理量が必要となる。
【０００８】
また、ＭＰＥＧ−２規格では最大２フレーム（４フィールド）が参照できるのに対して、Ｈ．２６４規格では、動き補償を行うときに、最大１６ピクチャを参照することが許されている。そのため、Ｈ．２６４規格ではＭＰＥＧ−２規格に比べてより精度の高い動きベクトルを検出することが可能となる。しかし、Ｈ．２６４規格において、全ての参照ピクチャに対して動きベクトル検出を行うと、ＭＰＥＧ−２規格に対してさらに８倍の処理量が必要となる。以上のように、ＭＰＥＧ−２規格よりも符号化効率が高いＨ．２６４規格で再符号化する場合、ＭＰＥＧ−２規格で再符号化する場合と比べると処理量が膨大になってしまうという課題がある。
【０００９】
そこで、動き検出を行う探索範囲を狭めても精度の良い動きベクトルを検出して符号化する方法が提案されている（例えば、特許文献１）。
【００１０】
上記特許文献１の「デジタル画像符号化装置とこれに用いる動きベクトル検出装置」では、符号化時に既に符号化した画像の動きベクトル情報を用いることで動き検出を行う探索範囲を決定している。
【特許文献１】特開平１１−３０８６１７号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、上記特許文献１では、過去に符号化した結果のみを用いて動き検出を行う探索範囲を狭めると、動きの方向が急に逆向きになる場合や動きに加速度を伴う場合に、画面全体の動きに追従できず、動きベクトルの検出精度が低下する。さらにまた、検出精度が低下した動きベクトルを用いて動き検出を行う探索範囲にフィードバックされるため、間違った情報を基に探索範囲を狭めることになり、さらに動き検出精度が低下することになる。そのため、探索範囲を充分に狭めることができない。
【００１２】
そこで、本発明は上記の事情に鑑みてなされたものであり、処理量を削減しつつ、精度の高い動きベクトルを検出して符号化することができる画像符号化装置および方法を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記目的を達成するために、本発明に係る画像符号化装置は、第１符号化方式で符号化された第１の符号化データを第２符号化方式で符号化された第２の符号化データに変換する画像符号化装置であって、前記第１の符号化データを復号化し、動きベクトルを含む復号化情報と復号画像とを生成する復号化手段と、前記復号化手段が生成した復号画像を前記第２符号化方式で符号化し、動きベクトルを含む符号化情報と符号化画像とを含む第２の符号化データを生成する符号化手段と、前記復号化手段が生成した復号化情報を保持する復号化情報保持手段と、前記符号化手段が生成した符号化情報を保持する符号化情報保持手段と、前記符号化手段が符号化対象とする復号画像を符号化するときのピクチャタイプを示す符号化条件に基づいて、前記復号化情報または前記符号化情報を選択し、選択した前記符号化情報または前記復号化情報から前記符号化手段が動きベクトルを検出するのに用いられる情報である基本動き情報を生成する基本動き情報生成手段とを備え、前記符号化手段は、前記基本動き情報生成手段が生成した基本動き情報に従い探索範囲を決定し、決定した探索範囲内で前記復号画像の動きベクトルを検出し、検出した動きベクトルを含む符号化情報と符号化画像とを含む第２の符号化データを生成することを特徴とする。
【００１４】
また、前記基本動き情報生成手段は、選択した前記符号化情報または前記復号化情報に含まれる複数の動きベクトルから、それら複数の動きベクトルを代表する代表動きベクトルを算出し、算出した代表ベクトルを前記基本動き情報として生成し、前記符号化手段は、基本動き情報が示す動きによって指し示される範囲を探索範囲として決定してもよい。
【００１５】
この構成により、符号化手段が符号化対象とする復号画像を符号化するときのピクチャタイプに応じて、第１の符号化データを復号化したときの復号化情報あるいは再符号化したときの符号化情報を選択することで、選択された復号化情報あるいは符号化情報に含まれる複数の動きベクトルからより精度の高い探索範囲を指し示すのに用いられる基本動き情報を生成することができ、効果的に動きベクトルを検出できる。すなわち、動きベクトル検出を行う探索範囲を狭めて処理量を削減しても、精度の高い動きベクトルを検出することが可能となる。それにより、処理量を削減しつつ、精度の高い動きベクトルを検出して符号化することができる画像符号化装置および方法を実現することができる。
【００１６】
また、前記基本動き情報生成手段は、前記符号化条件が前記符号化手段の符号化対象とする復号画像を符号化するときのピクチャタイプがＰピクチャであることを示す場合、前記復号化情報保持手段に保持された復号化情報を選択してもよい。
【００１７】
これにより、符号化対象とする復号画像を符号化するときのピクチャタイプがＰピクチャである場合に、符号化対象の復号画像と参照画像との差異がより少ない復号化情報の動きベクトルを選択することで、より精度の高い探索範囲を指し示すのに用いられる基本動き情報を生成することができる。
【００１８】
また、前記基本動き情報生成手段は、前記符号化条件が前記符号化手段が符号化対象とする復号画像を符号化するときのピクチャタイプがＢピクチャであることを示す場合、前記符号化情報保持手段に保持された符号化情報を選択してもよい。
【００１９】
この構成により、符号化対象とする復号画像を符号化するときのピクチャタイプがＢピクチャである場合に、符号化対象の復号画像と参照画像との差異がより少ない符号化情報の動きベクトルを選択することで、より精度の高い探索範囲を指し示すのに用いられる基本動き情報を生成することができる。
【００２０】
また、前記基本動き情報生成手段は、前記復号化情報または前記符号化情報から前記復号化情報に含まれるマクロブロックごとの動きベクトルを平均し、平均ベクトルを前記復号化情報または前記符号化情報に含まれる動きベクトルを代表する代表ベクトルとして算出する平均ベクトル算出部と、前記符号化手段が符号化対象とする復号画像を符号化するときのピクチャタイプを判定するピクチャタイプ判定部と、前記ピクチャタイプ判定部の判定に基づき、前記復号化情報または前記符号化情報から算出される代表ベクトルを選択する選択部とを備え、前記基本動き情報生成手段は、前記選択部に選択された前記符号化情報または前記復号化情報から算出される代表ベクトルを前記基本動き情報として生成してもよい。
【００２１】
この構成により、符号化手段が符号化対象とする復号画像を符号化するときのピクチャタイプを判定結果に応じて、復号化情報あるいは符号化情報を選択することで、選択した復号化情報あるいは符号化情報に含まれる複数の動きベクトルから算出するそれらを代表する代表ベクトルを基本動き情報として生成することができる。それにより、より精度の高い探索範囲を指し示すのに用いられる基本動き情報を生成することができる。
【００２２】
また、前記符号化情報保持手段は、前記符号化手段が符号化対象とする前記復号画像以前に符号化された復号画像の動きベクトルを含む符号化情報を保持し、前記平均ベクトル算出部は、前記符号化情報保持手段が保持する前記復号画像の直前に符号化された復号画像の符号化情報から前記代表ベクトルを算出してもよい。
【００２３】
この構成により、代表ベクトルを符号化対象の復号画像の直前の符号化情報から算出することで、符号化対象画像の検出すべき動きベクトルに近い動きベクトルを算出することができ、より精度の高い探索範囲を指し示すのに用いられる基本動き情報を生成することができる。
【００２４】
また、前記平均ベクトル算出部は、前記符号化手段で符号化対象となる前記復号画像を符号化するときと同じピクチャタイプで前記符号化手段により前記復号画像の直前に符号化された復号画像の符号化情報から代表ベクトルを算出してもよい。
【００２５】
この構成により、符号化情報からより符号化対象画像の検出すべき動きベクトルに近い動きベクトルを代表する代表ベクトルを算出することができ、より精度の高い探索範囲を指し示すのに用いられる基本動き情報を生成することができる。
【００２６】
また、前記平均ベクトル算出部は、前記符号化手段で符号化対象となる前記復号画像の予測方向ごとにマクロブロックごとの動きベクトルの平均ベクトルを前記代表ベクトルとして前記符号化情報から算出し、前記代表ベクトルは、前記平均ベクトル算出部が算出した予測方向ごとの平均ベクトルである前方方向代表ベクトルおよび後方方向代表ベクトルからなってもよい。
【００２７】
この構成より、予測方向ごとの動きベクトルを代表する代表ベクトルを算出することで、符号化対象画像の検出すべき動きベクトルに近い動きベクトルを算出することができ、より精度の高い探索範囲を指し示すのに用いられる基本動き情報を生成することができる。
【００２８】
また、前記平均ベクトル算出部は、前記符号化手段で符号化対象となる前記復号画像の前方方向のマクロブロックごとの動きベクトルの平均ベクトルを前記代表ベクトルとして前記復号化情報から算出してもよい。
【００２９】
この構成より、前方方向の動きベクトルを代表する代表ベクトルを算出することで、符号化対象画像の検出すべき動きベクトルに近い動きベクトルを算出することができ、より精度の高い探索範囲を指し示すのに用いられる基本動き情報を生成することができる。
【００３０】
また、前記平均ベクトル算出部は、前記符号化手段がフレーム構造で符号化する場合、１フレーム間の距離の大きさと方向とで表現した基本ベクトルを用いて平均ベクトルを算出し、前記符号化手段がフィールド構造で符号化する場合、１フィールド間の距離の大きさと方向とで表現した基本ベクトルを用いて平均ベクトルを算出してもよい。
【００３１】
この構成より、前記符号化手段がフレーム構造あるいはフィールド構造で符号化する場合でも、マクロブロックの動きベクトルを代表する動きベクトルを算出することができる。
【００３２】
また、前記平均ベクトル算出部は、前記復号化情報または前記符号化情報から算出される前記符号化手段で符号化対象となる前記復号画像を２以上の領域に分割し、分割された領域ごとの動きベクトルの平均値を算出し、算出した動きベクトルの平均値の中で最も大きい平均値の動きベクトルを前記代表ベクトルとしてもよい。
【００３３】
この構成より、領域ごとの動きベクトルの中で、最も動きベクトルの動きを代表する平均ベクトルを第２の代表ベクトルとして算出することで、符号化対象画像の検出すべき動きベクトルに近い動きベクトルを算出することができ、より精度の高い探索範囲を指し示すのに用いられる基本動き情報を生成することができる。
【００３４】
また、前記平均ベクトル算出部は、前記復号化情報または前記符号化情報から算出される前記符号化手段で符号化対象となる前記復号画像を２以上の領域に分割し、分割された領域ごとの動きベクトルの平均値を算出し、算出した平均値の中央値の動きベクトルを前記代表ベクトルとしてもよい。
【００３５】
この構成より、領域ごとの動きベクトルの中で、最も動きベクトルの動きを代表する平均ベクトルを代表ベクトルとして算出することで、符号化対象画像の検出すべき動きベクトルに近い動きベクトルを算出することができ、より精度の高い探索範囲を指し示すのに用いられる基本動き情報を生成することができる。
【００３６】
また、前記平均ベクトル算出部は、前記復号化情報または前記符号化情報から算出される前記符号化手段で符号化対象となる前記復号画像を２以上の領域に分割し、分割された領域ごとに算出した動きベクトルの平均である平均ベクトルを大きさと方向とでグルーピングし、グルーピングされた平均ベクトルの個数が最も多いグループの動きベクトルの平均値を前記代表ベクトルとしてもよい。
【００３７】
この構成より、グルーピングされた平均ベクトルの中で、最も動きベクトルの動きを代表する平均ベクトルを代表ベクトルとして算出することで、符号化対象画像の検出すべき動きベクトルに近い動きベクトルを算出することができ、より精度の高い探索範囲を指し示すのに用いられる基本動き情報を生成することができる。
【００３８】
また、前記符号化手段は、前記平均ベクトル算出部は、前記復号化情報または前記符号化情報から算出される前記符号化手段で符号化対象となる前記復号画像を２以上の領域に分割し、分割された領域ごとに各マクロブロックの動きベクトルを大きさと方向とでグルーピングし、グループごとに平均ベクトルを算出し、動きベクトルの数が最も多いグループの平均ベクトルを前記代表ベクトルとしてもよい。
【００３９】
この構成より、動きベクトルを大きさと方向とでグルーピングし、グループごとに算出された平均ベクトルの中で、動きベクトルの数の多いグループの平均ベクトルを代表ベクトルとして算出することができる。それにより、符号化対象画像の検出すべき動きベクトルに近い動きベクトルを算出することができ、より精度の高い探索範囲を指し示すのに用いられる基本動き情報を生成することができる。
【００４０】
また、前記符号化手段は、前記符号化対象画像と参照画像間の動きベクトルの総和を前記基本動き情報から算出し、参照画像ごとに前記動きベクトルの総和分だけずらした位置を中心として動きベクトル検出の探索範囲を決定してもよい。
【００４１】
この構成より、より精度の高い探索範囲を指し示すのに用いられる基本動き情報を生成することができる。
【００４２】
なお、本発明は、装置として実現するだけでなく、このような装置が備える処理手段を備える集積回路として実現したり、その装置を構成する処理手段をステップとする方法として実現したり、それらステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、それらプログラム、情報、データおよび信号は、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の通信媒体を介して配信してもよい。
【発明の効果】
【００４３】
本発明によれば、動きベクトルを検出する際に、入力ストリームのデコード情報と、再符号化したときの符号化情報とに基づいて動き検出を行う探索範囲を決定することで、動き検出を行う探索範囲を狭めて処理量を削減しても、精度の高い動きベクトルを検出することが可能となる。それにより、処理量を削減しつつ、精度の高い動きベクトルを検出して符号化することができる画像符号化装置および方法を実現することができる。したがって、衛星放送や地上波のデジタルハイビジョンテレビ放送等の高品位テレビが普及しつつある今日における本発明の実用的価値は極めて高い。
【発明を実施するための最良の形態】
【００４４】
（実施の形態１）
以下、本発明の実施の形態１について、図面を用いて説明する。
【００４５】
図１は、画像符号化装置１００の構成を示すブロック図である。図１において、画像符号化装置１００は、第１符号化方式で符号化された第１の符号化データを第２符号化方式で符号化された第２の符号化データに変換する画像符号化装置であって、復号化部１０２と、デコード情報保持部１０３と、符号化部１０４と、基本動き情報生成部１０５と、符号化情報保持部１０６とを備えている。
【００４６】
以下、第１の符号化データをＭＰＥＧ−２規格で符号化された符号化データとし、第２の符号化データをＨ．２６４規格で符号化された符号化データとした場合を例として説明する。また、ＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅ）構成がフレーム構造である場合の表示順のフレームは、Ｉ、Ｂ、Ｂ、Ｐとなり、ＧＯＰ構成がフィールド構造の場合の表示順のフィールドは、Ｉ、Ｉ、Ｂ、Ｂ、Ｂ、Ｂ、Ｐ、Ｐとなる場合を説明する。
【００４７】
復号化部１０２は、本発明に係る復号化手段に相当し、前記第１の符号化データを復号化し、動きベクトルを含む復号化情報と復号画像とを生成する。具体的には、入力された第１の符号化データを、ＭＰＥＧ−２規格のシンタックスに沿って復号化する。ここで、シンタックスとは、圧縮符号化されたデータ列の規則であり、符号化されたデータのビットストリーム構成方法を示す。
【００４８】
復号化部１０２は、第１符号化データを復号化するときに第１符号化されたデータのストリームから、シーケンス全体の情報（Ｓｅｑｕｅｎｃｅ  ｈｅａｄｅｒ等）、ＧＯＰに関する情報（ＧＯＰ  ｈｅａｄｅｒ）、ピクチャ情報（Ｐｉｃｔｕｒｅ  ｈｅａｄｅｒ等）、スライス情報（Ｓｌｉｃｅ）およびマクロブロック情報（Ｍａｃｒｏｂｌｏｃｋ  ｍｏｄｅｓ等）等の輝度情報や動き情報を含む情報（以下、デコード情報と記載。）を抽出する。復号化部１０２は、抽出したデコード情報に基づいて入力された第１の符号化データを復号化することで、復号画像を生成する。また、抽出した情報をデコード情報としてデコード情報保持部１０３に出力する。
【００４９】
ところで、ＭＰＥＧ−２規格では、画面間の動き補償を用いて符号化が行われるため、符号化された画像の記録順と画像の表示順が異なる場合がある。ＭＰＥＧ−２規格からＨ．２６４規格に変換して再符号化する復号化部１０２では、復号画像を表示順に並び替えて符号化部１０４に出力する場合と、符号化順のまま符号化部１０４に出力する場合が考えられる。例えば、ＭＰＥＧ−２規格で記録されている画像をその画像のピクチャタイプに相当するＨ．２６４規格のピクチャタイプで符号化する場合、動き予測時の参照関係がほぼ同じになるので、復号化部１０２では表示順に画像を並べ替える必要がない。
【００５０】
デコード情報保持部１０３は、本発明に係る復号化情報保持手段に相当し、前記復号化手段が生成した復号化情報を保持する。具体的には、復号化部１０２により抽出され出力されたデコード情報を、復号画像と関連づけて保持する。デコード情報保持部１０３から、復号画像と関連づけられたデコード情報が基本動き情報生成部１０５へ出力される。
【００５１】
ところで、Ｈ．２６４規格ではＭＰＥＧ−２規格と同様に画面間の動き補償をマクロブロック、ブロックおよびサブブロックの７種類のブロックサイズを用いて行うことが可能である。一般的には上記の各ブロックサイズでブロックマッチングを行い、符号化対象のブロックと参照画像との間で差分絶対値和等の評価値が最も小さくなるブロック位置とブロックサイズを検出、すなわち、動き検出する。このブロックマッチングを行うときの探索範囲を基本動き情報から決定する。
【００５２】
符号化部１０４は、本発明に係る符号化手段に相当し、前記復号化手段が生成した復号画像を前記第２符号化方式で符号化し、動きベクトルを含む符号化情報と符号化画像とを含む第２の符号化データを生成する。また、符号化部１０４は、前記基本動き情報生成手段が生成した基本動き情報に従い探索範囲を決定し、決定した探索範囲内で前記復号画像の動きベクトルを検出し、検出した動きベクトルを含む符号化情報と符号化画像とを含む第２の符号化データを生成する。具体的には、符号化部１０４は、復号化部１０２で復号化され復号化部１０２より入力された復号画像をＨ．２６４規格で符号化し、符号化した復号画像を第２の符号化データとして出力する。また、符号化部１０４は、符号化対象とする復号画像を符号化するときのピクチャタイプ、参照画像等を示す符号化条件を基本動き情報生成部１０５に出力する。また、符号化部１０４は、復号画像を符号化するときに用いたマクロブロックタイプ、動きベクトル情報および量子化値等の輝度情報や動き情報を含む情報（以下、符号化情報と記載。）を符号化情報保持部１０６に出力する。なお、符号化部１０４が復号画像を符号化するときには、復号化部１０２がその復号画像を復号化したときに用いたデコード情報あるいは、符号化部１０４が既に符号化した画像（符号化対象となる復号画像の前の画像）を符号化するときに用いた符号化情報のどちらか一方から生成された基本動き情報に基づいて動き検出の探索範囲を決定する。
【００５３】
符号化情報保持部１０６は、本発明に係る符号化情報保持手段に相当し、前記符号化手段が生成した符号化情報を保持する。具体的には、符号化部１０４より出力された符号化情報を保持する。符号化情報保持部１０６が保持している符号化情報は現在以降の画像を符号化するときに用いられる。
【００５４】
基本動き情報生成部１０５は、本発明に係る基本動き情報生成手段に相当し、前記符号化手段が符号化対象とする復号画像を符号化するときのピクチャタイプを示す符号化条件に基づいて、前記復号化情報あるいは前記符号化情報を選択し、選択された前記符号化情報あるいは前記復号化情報から前記符号化手段が前記復号画像から動きベクトルを検出する探索範囲を決定するのに用いられる情報である基本動き情報を生成する。具体的には、符号化部１０４が符号化対象とする復号画像を符号化するときのピクチャタイプを示す符号化条件に基づいて符号化対象となる画像（復号画像）についてのデコード情報あるいは既に符号化した画像（符号化対象となる前の画像）についての符号化情報を選択し、選択した符号化対象となる画像（復号画像）についてのデコード情報あるいは既に符号化した画像（符号化対象となる前の画像）についての符号化情報を用いて画面の動きを表す動き情報である基本動き情報を生成する。基本動き情報生成部１０５は、デコード情報保持部１０３からのデコード情報に含まれる動きベクトルを代表する代表ベクトルと、符号化情報保持部１０６からの符号化情報に含まれる動きベクトルを代表する代表ベクトルとを算出する。基本動き情報生成部１０５は、符号化部１０４からのピクチャタイプを示す符号化条件に基づいて、デコード情報に含まれる複数の動きベクトルを代表する代表ベクトルあるいは符号化情報に含まれる複数の動きベクトルを代表する代表ベクトルを選択する。基本動き情報生成部１０５は、選択した代表ベクトルに基づいて、基本動き情報を生成する。
【００５５】
ここで、基本動き情報生成部１０５により生成された基本動き情報は、符号化部１０４が符号化対象画像を符号化する際の動きベクトルを探索する範囲を決定するのに用いられる。
【００５６】
図２は、画像符号化装置１００が符号化する場合の処理を説明するフローチャートである。
【００５７】
まず、符号化情報保持部１０６は、符号化部１０４が符号化対象となる復号画像の前の画像を符号化するときに用いた符号化情報を保持している。次に、復号化部１０２により符号化対象となる画像を復号化され、デコード情報保持部１０３は、符号化対象となる画像が復号化された際に用いられたデコード情報を保持している。
【００５８】
次に、基本動き情報生成部１０５は、デコード情報保持部１０３からデコード情報に含まれる動きベクトルを代表する代表ベクトルと、符号化情報保持部１０６から符号化情報に含まれる動きベクトルを代表する代表ベクトルとを算出する（Ｓ１００）。
【００５９】
次に、基本動き情報生成部１０５は、符号化部１０４から入力されたピクチャタイプを示す符号化条件から、符号化部１０４が符号化対象とする復号画像を符号化するときのピクチャタイプを判定する（Ｓ１０１）。
【００６０】
次に、基本動き情報生成部１０５は、符号化部１０４からの符号化条件に基づいて、デコード情報に含まれる動きベクトルを代表する代表ベクトルあるいは符号化情報に含まれる動きベクトルを代表する代表ベクトルを選択する（Ｓ１０２）。
【００６１】
次に、基本動き情報生成部１０５は、選択した代表ベクトルに基づいて、基本動き情報を生成する。
【００６２】
次に、符号化部１０４は、基本動き情報生成部１０５により生成された基本動き情報に基づいて動き検出の探索範囲を決定する（Ｓ１０４）。
【００６３】
次に、符号化部１０４は、基本動き情報に基づいて決定された動き検出の探索範囲で動きベクトルを検出し、動きベクトルと動き補償等の符号化情報から、符号化対象となる画像を符号化する。
【００６４】
以下、基本動き情報生成部１０５における基本動き情報の生成方法と、符号化部１０４における探索範囲の決定方法に関して説明する。
【００６５】
まず、基本動き情報生成部１０５における基本動き情報の生成方法について説明する。
図３は、基本動き情報生成部１０５の構成を示すブロック図である。
【００６６】
基本動き情報生成部１０５は、平均ベクトル算出部１０５１および１０５３と、選択器１０５６と、ピクチャタイプ判定部１０５７とを備える。
【００６７】
平均ベクトル算出部１０５１は、本発明に係る平均ベクトル算出部に相当し、デコード情報保持部１０３からのデコード情報からマクロブロックごとの動きベクトルの平均ベクトルを算出し、代表ベクトルとして選択器１０５６へ出力する。
【００６８】
平均ベクトル算出部１０５３は、本発明に係る平均ベクトル算出部に相当し、符号化情報保持部１０６からの符号化情報からマクロブロックごとの動きベクトルの平均ベクトルを算出し、代表ベクトルとして選択器１０５６へ出力する。
【００６９】
ピクチャタイプ判定部１０５７は、本発明に係るピクチャタイプ判定部に相当し、符号化部１０４から入力されたピクチャタイプを示す符号化条件から、符号化部１０４が符号化対象とする復号画像を符号化するときのピクチャタイプを判定する。ピクチャタイプ判定部１０５７は、所定の選択基準に基づき、代表ベクトルを選択するよう選択器１０５６を制御する。
【００７０】
ここで、所定の選択基準について説明する。符号化部１０４から入力された符号化条件から符号化部１０４が符号化対象とする復号画像を符号化するときのピクチャタイプがＰピクチャと判定された場合には、デコード情報から算出される代表ベクトルを選択し、符号化部１０４から入力された符号化条件から符号化部１０４が符号化対象とする復号画像を符号化するときのピクチャタイプがＢピクチャと判定された場合には、符号化情報から算出される代表ベクトルを選択することを選択基準としている。
【００７１】
選択器１０５６は、本発明に係る選択部に相当し、ピクチャタイプ判定部１０５７により制御され、平均ベクトル算出部１０５１からのデコード情報から得られた代表ベクトル、あるいは、平均ベクトル算出部１０５３からの符号化情報から得られた代表ベクトルを選択する。選択器１０５６により選択された代表ベクトルは基本動き情報として符号化部１０４に入力される。
【００７２】
ここでは、基本動き情報生成部１０５から基本動き情報として一つのベクトルが出力される場合について説明する。また、第１の符号化データと第２の符号化データとは共にフレーム構造である場合としている。
【００７３】
図４は、デコード情報から平均ベクトルを算出する方法を説明するための図である。図４では復号化された第１の符号化データがフレーム構造で符号化され、かつＰ３ピクチャが符号化部１０４における符号化対象の画像である場合を示している。
【００７４】
図４において、Ｐ３ピクチャが参照できる画像は、Ｉ０ピクチャのみである。Ｉ０ピクチャのフレームに対するＰ３ピクチャからの動きベクトルＭＶＦ（Ｐ３）が存在する。マクロブロックごとに存在するこれらのベクトル、すなわち動きベクトルＭＶＦ（Ｐ３）をＰ３ピクチャから１フレーム分前方参照した場合の動きベクトルに時間スケーリングする。すなわち、Ｐ３ピクチャから１フレーム分前方参照した場合の動きベクトルをＭＶｄｅｃ（Ｐ３）とし、ＭＶｄｅｃ（Ｐ３）を、Ｐ３ピクチャからＩ０ピクチャに対する動きベクトルＭＶＦ（Ｐ３）で表すものである。関係式で表すと以下のようになる。
【００７５】
ＭＶｄｅｃ（Ｐ３）＝１／３×ＭＶＦ（Ｐ３）
時間スケーリングした動きベクトルＭＶｄｅｃ（Ｐ３）を用いてベクトルの平均値を求める。
【００７６】
ＡｖｅＭＶｄｅｃ（Ｐ３）＝ΣＭＶｄｅｃ（Ｐ３）／ベクトル数
ここで、ＭＶｄｅｃ（Ｐ３）＝１／３×ＭＶＦ（Ｐ３）の式における係数値「１／３」をスケーリング係数値と呼ぶ。
【００７７】
また、ＡｖｅＭＶｄｅｃ（Ｐ３）は、図４における平均ベクトル算出部１０５１で算出されたデコード情報から得られたマクロブロックごとの動きベクトルの平均ベクトルである。
【００７８】
ところで、ＭＰＥＧ−２規格の場合、画像がフレーム構造であってもマクロブロック単位でフレームとフィールドとを切り替えて符号化することが可能である。その場合には、時間方向のスケーリング係数を変えることで算出することが可能である。具体的には、フィールド予測となる場合、以下の４通りの組み合わせがあり、上記のスケーリング係数値（１／３）を以下のように変える。
【００７９】
（１）トップがトップを参照する。スケーリング値は１／３
（２）トップがボトムを参照する。スケーリング値は２／５
（３）ボトムがトップを参照する。スケーリング値は２／７
（４）ボトムがボトムを参照する。スケーリング値は１／３
【００８０】
なお、本実施の形態１では、画像がフレーム構造の場合で１枚目のＰピクチャを符号化部１０４の符号化対象画像として説明したが、２枚目のＢピクチャあるいは３枚目のＢピクチャが符号化部１０４の符号化対象画像としてよく、その場合にも同様の考え方で平均ベクトルを算出できる。
【００８１】
次に、符号化情報から平均ベクトルを算出する方法を説明する。
図５は、符号化情報から平均ベクトルを算出する方法を説明するための図である。図５では、復号化部１０２で復号化されたフレーム構造の画像が符号化部１０４で符号化され、かつＢ２ピクチャが符号化部１０４における符号化対象の画像である場合を示している。ところで、Ｈ．２６４規格では、Ｉピクチャよりも前のＰピクチャを参照することが可能であるが、説明を簡単にするため、ＭＰＥＧ−２規格と同様に直前・直後にあるＩピクチャとＰピクチャのみを参照する場合について説明する。符号化対象であるＢ２ピクチャを符号化するとき、符号化順で直前に符号化したフレームはＢ１ピクチャである。
【００８２】
図５において、Ｂ１ピクチャが参照できる画像は、Ｉ０ピクチャとＰ３ピクチャの２フレームである。Ｉ０ピクチャとＰ３ピクチャとの２フレームに対するＢ１ピクチャからの動きベクトルＭＶＦ（Ｂ１）と動きベクトルＭＶＢ（Ｂ１）とが存在する。
【００８３】
マクロブロックごとに存在するＢ１ピクチャの動きベクトルであるＭＶＦ（Ｂ１）とＭＶＢ（Ｂ１）を用いて、Ｂ１ピクチャから１フレーム分前方参照した場合の動きベクトルに時間スケーリングする。すなわち、Ｂ１ピクチャから１フレーム分前方参照した場合の動きベクトルをＭＶｅｎｃ（Ｂ１）とし、ＭＶｅｎｃ（Ｂ１）を、Ｂ１ピクチャからＩ０ピクチャに対する動きベクトルＭＶＦ（Ｂ１）と、Ｂ２ピクチャからＰ３ピクチャに対する動きベクトルＭＶＢ（Ｂ１）とで表す。関係式で表すと以下のようになる。
【００８４】
ＭＶｅｎｃ（Ｂ１）＝ＭＶＦ（Ｂ１）
ＭＶｅｎｃ（Ｂ１）＝−１／２×ＭＶＢ（Ｂ１）
【００８５】
ベクトルの平均値は、時間スケーリングした動きベクトルＭＶｅｎｃ（Ｂ１）を用いて以下のように表せる。
【００８６】
ＡｖｅＭＶｅｎｃ（Ｂ１）＝ΣＭＶｅｎｃ（Ｂ１）／ベクトル数
【００８７】
ここでは、符号化対象であるＢ２ピクチャを符号化する直前に符号化された画像（Ｂ１ピクチャ）の動きベクトル情報を利用することを前提としている。
【００８８】
また、ＡｖｅＭＶｅｎｃ（Ｂ１）は、図３における平均ベクトル算出部１０５３で算出された符号化情報から得られたマクロブロックごとの動きベクトルの平均ベクトルである。
【００８９】
また、図５における表示順で符号化する場合、符号化順に直すと、Ｉ０、Ｐ３、Ｂ１、Ｂ２、Ｐ６、Ｂ４、Ｂ５・・という順になる。上記の例では、Ｂ１ピクチャはＰ３ピクチャの動きベクトルを利用することを想定している。
【００９０】
なお、本実施の形態１とは別の方法として、同じピクチャタイプで直前に符号化されたピクチャの動きベクトル情報を利用してもよい。
【００９１】
上記のように算出された平均ベクトルＡｖｅＭＶｄｅｃ（Ｐ３）あるいはＡｖｅＭＶｅｎｃ（Ｂ１）を、符号化部１０４のピクチャタイプを示す符号化条件に基づき選択してＭＶｓｅｌとする。符号化部１０４が符号化対象とする復号画像を符号化するときのピクチャタイプがＰピクチャの場合は、ＡｖｅＭＶｄｅｃ（Ｐ３）を選択してＭＶｓｅｌ（Ｐ３）とし、符号化部１０４が符号化対象とする復号画像を符号化するときのピクチャタイプがＢピクチャの場合は、ＡｖｅＭＶｅｎｃ（Ｂ１）を選択してＭＶｓｅｌ（Ｂ２）とする。基本動き情報生成部１０５は、このＭＶｓｅｌを基本動き情報として出力する。具体的には、ピクチャタイプ判定部１０５７で、符号化部１０４から入力されたピクチャタイプを示す符号化条件から、符号化部１０４が符号化対象とする復号画像を符号化するときのピクチャタイプを判定する。符号化部１０４が符号化対象とする復号画像を符号化するときのピクチャタイプにより選択されるという選択基準に基づいて、平均ベクトルＡｖｅＭＶｄｅｃ（Ｐ３）あるいはＡｖｅＭＶｅｎｃ（Ｂ１）が選択される。選択器１０５６で選択された、デコード情報から得られた平均ベクトルであるＡｖｅＭＶｄｅｃ（Ｐ３）あるいは符号化情報から得られた平均ベクトルＡｖｅＭＶｅｎｃ（Ｂ１）は基本動き情報ＭＶｓｅｌとして符号化部１０４に出力される。
【００９２】
図６は、基本動き情報生成部１０５が代表ベクトルを生成する場合の処理を説明するフローチャートである。
【００９３】
ここで、平均ベクトル算出部１０５１が代表ベクトルを生成する場合について説明する。
【００９４】
まず、平均ベクトル算出部１０５１は、デコード情報保持部１０３から出力されたデコード情報から得られたマクロブロックごとの動きベクトルを算出する（Ｓ２０１）。
【００９５】
次に、平均ベクトル算出部１０５１は、マクロブロックごとに存在する符号化対象画像の動きベクトルを符号化対象画像から所定の参照画像に対するマクロブロックごとの動きベクトルへと時間スケーリングする（Ｓ２０２）。
【００９６】
次に、平均ベクトル算出部１０５１は、時間スケーリングしたマクロブロックごとに存在する符号化対象画像の動きベクトルを用いて、マクロブロックごとに存在する符号化対象画像の動きベクトルの平均ベクトルを算出する（Ｓ２０３）。
【００９７】
次に、平均ベクトル算出部１０５１は、算出した平均ベクトルをデコード情報から得られる代表ベクトルとすることにより、代表ベクトルを生成する（Ｓ２０４）。
【００９８】
なお、平均ベクトル算出部１０５３が代表ベクトルを生成する場合についても同様であるので割愛する。
【００９９】
次に、符号化部１０４における探索範囲の決定方法について説明する。
図７は、基本動き情報を用いて探索範囲を決定する方法を説明するための図である。
【０１００】
符号化部１０４では、基本動き情報生成部１０５から出力された基本動き情報であるＭＶｓｅｌを用いて、符号化対象画像から参照画像への時間スケーリングを行い、参照画像ごとに探索を行う中心位置を決定する。符号化対象画像のマクロブロックの動きベクトル検出を行うための基準となる探索範囲は、図７では参照画像８０１中で基準探索範囲８０２として点線で囲まれた範囲で示されている。この基準探索範囲８０２を符号化対象画像から参照画像８０１へ時間スケーリングしたＭＶｓｅｌ分だけずらした位置を新たに探索範囲として動きベクトル検出を行う。これは、図６中の探索範囲８０３として点線で囲まれた範囲で示されている。
【０１０１】
なお、本実施の形態１では、動きベクトル検出を検出する際の探索範囲の広さが一定で、中心位置のみを変えるとして説明したが、例えば、時間スケーリングした基本動き情報ＭＶｓｅｌが大きな値の時には動きベクトル検出を検出する際の探索範囲を広げて、さらに間引き探索を行う等の設定を行ってもよい。
【０１０２】
以上、本実施の形態１では、基本動き情報生成部１０５から基本動き情報として一つのベクトルが出力される場合について説明した。基本動き情報は、選択器１０５６で選択された平均ベクトル算出部１０５１によりデコード情報から算出された代表ベクトルあるいは平均ベクトル算出部１０５３により符号化情報から算出された代表ベクトルである。また、平均ベクトル算出部１０５１からのデコード情報から得られる代表ベクトル（平均ベクトル）と平均ベクトル算出部１０５３からの符号化情報から得られる代表ベクトル（平均ベクトル）とを選択する基準として符号化部１０４が符号化対象とする復号画像を符号化するときのピクチャタイプが用いられている。
【０１０３】
それにより、動きベクトルを検出する際に、入力ストリームのデコード情報あるいは再符号化したときの符号化情報からの代表ベクトルを符号化部１０４が符号化対象とする復号画像を符号化するときのピクチャタイプにより選択し、選択したデコード情報あるいは符号化情報からの代表ベクトルを基本動き情報として用いて動きベクトル検出を行う探索範囲を決定することで、効果的に動きベクトルを検出できる。すなわち、動きベクトル検出を行う探索範囲を狭めて処理量を削減しても、精度の高い動きベクトルを検出することが可能となる。それにより、処理量を削減しつつ、精度の高い動きベクトルを検出して符号化することができる画像符号化装置を実現することができる。
【０１０４】
なお、本実施の形態１では、デコード情報と符号化情報とから得られるそれぞれの代表ベクトルとして、時間スケーリングしたマクロブロックごとの全動きベクトルの平均を算出する構成として説明しているが、参照画像ごとに平均ベクトルとベクトルの分散を算出し、分散値が小さい方の平均ベクトル、あるいは、動きベクトルの本数が多い方の平均ベクトルを選択してそれぞれの代表ベクトルとしてもよい。
【０１０５】
（実施の形態２）
次に、本発明の実施の形態２について図面を用いて説明する。
【０１０６】
実施の形態１では、基本動き情報生成部１０５から基本動き情報として一つのベクトルが出力される場合であり、第１の符号化データと第２の符号化データとは共にフレーム構造である場合を説明した。本実施の形態２では、基本動き情報生成部１０５から基本動き情報として一つのベクトルが出力される場合であるが、第１の符号化データと第２の符号化データとが共にフィールド構造である場合について以下に説明する。
【０１０７】
図８は、デコード情報から平均ベクトルを算出する方法を説明するための図である。図８では復号化された第１の符号化データがフィールド構造で符号化され、かつＰ６フィールドが符号化部１０４における符号化対象の画像である場合をしている。
【０１０８】
図８において、Ｐ６フィールドが参照できる画像は、Ｉ０フィールドとＩ１フィールドの２フィールドである。トップフィールドであるＩ０フィールドとボトムフィールドであるＩ１フィールドとの２フィールドに対するＰ６フィールドからの動きベクトルは、ＭＶＦｔ（Ｐ６）およびＭＶＦｂ（Ｐ６）の２種類の動きベクトルとが存在することになる。マクロブロックごとに存在するこれらの動きベクトルを、Ｐ６フィールドから１フィールド分前方参照した場合の動きベクトルに時間スケーリングする。Ｐ６フィールドから１フィールド分前方参照した場合の動きベクトルをＭＶｄｅｃ（Ｐ６）として、関係式で表すと以下のようになる。
【０１０９】
ＭＶｄｅｃ（Ｐ６）＝１／６×ＭＶＦｔ（Ｐ６）
ＭＶｄｅｃ（Ｐ６）＝１／５×ＭＶＦｂ（Ｐ６）
【０１１０】
ベクトルの平均は実施の形態１に示すフレーム構造と同様に、時間スケーリングした動きベクトルＭＶｄｅｃ（Ｐ６）を用いて以下のように表せる。
【０１１１】
ＡｖｅＭＶｄｅｃ（Ｐ６）＝ΣＭＶｄｅｃ（Ｐ６）／ベクトル数
【０１１２】
図９は、符号化情報から平均ベクトルを算出する方法を説明するための図である。図９では、復号化部１０２で復号化されたフィールド構造の画像が符号化部１０４で符号化され、かつＢ４フィールドが符号化部１０４における符号化対象の画像である場合を示している。ところで、Ｈ．２６４規格では、Ｉピクチャよりも前のＰピクチャを参照することが可能であるが、説明を簡単にするため、ＭＰＥＧ−２規格と同様に直前・直後にあるＩピクチャとＰピクチャのみを参照する場合について説明する。符号化対象であるＢ４フィールドを符号化するとき、符号化順で直前に符号化したフィールドはＢ３フィールドとなる。
【０１１３】
図９において、Ｂ３フィールドが参照できる画像は、Ｂ３フィールドからの前方参照では、Ｉ０フィールドとＩ１フィールドの２フィールドである。Ｉ０フィールドとＩ１フィールドとの２フィールドに対するＢ３フィールドからの動きベクトルは、ＭＶＦｔ（Ｂ３）およびＭＶＦｂ（Ｂ３）の２種類の動きベクトルが存在することになる。Ｂ３フィールドが参照できる画像は、Ｂ３フィールドからの後方参照では、Ｐ６フィールドとＰ７フィールドとの２フィールドである。Ｐ６フィールドとＰ７フィールドとの２フィールドに対するＢ３フィールドからの動きベクトルは、ＭＶＢｔ（Ｂ３）およびＭＶＢｂ（Ｂ３）の２種類の動きベクトルが存在することになる。マクロブロックごとに存在するこれらのベクトルを、Ｂ３フィールドから１フィールド分前方参照した場合の動きベクトルに時間スケーリングする。Ｂ４フィールドから１フィールド分前方参照した場合の動きベクトルをＭＶｅｎｃ（Ｂ３）として、関係式で表すと以下のようになる。
【０１１４】
ＭＶｅｎｃ（Ｂ３）＝１／３×ＭＶＦｔ（Ｂ３）
ＭＶｅｎｃ（Ｂ３）＝１／２×ＭＶＦｂ（Ｂ３）
ＭＶｅｎｃ（Ｂ３）＝−１／３×ＭＶＢｔ（Ｂ３）
ＭＶｅｎｃ（Ｂ３）＝−１／４×ＭＶＢｂ（Ｂ３）
【０１１５】
ベクトルの平均は、時間スケーリングした動きベクトルＭＶｅｎｃ（Ｂ３）を用いて以下のように表せる。
【０１１６】
ＡｖｅＭＶｅｎｃ（Ｂ３）＝ΣＭＶｅｎｃ（Ｂ３）／ベクトル数
【０１１７】
ここでは、符号化対象であるＢ４フィールドを符号化する直前に符号化された画像の動きベクトル情報を利用することを前提としている。
【０１１８】
図９における表示順で符号化する場合、符号化順に直すと、Ｉ０、Ｉ１、Ｐ６、Ｐ７、Ｂ２、Ｂ３、Ｂ４、Ｂ５、Ｐ１２、Ｐ１３・・という順になる。上記の例では、Ｂ２フィールドはＰ７フィールドの動きベクトルを利用することを想定している。
【０１１９】
なお、本実施の形態２とは別の方法として、同じピクチャタイプで直前に符号化されたピクチャの動きベクトル情報を利用してもよい。あるいは、同じピクチャタイプで、かつ同一パリティの直前に符号化されたピクチャの動きベクトル情報を利用してもよい。
【０１２０】
上記のように算出された平均ベクトルＡｖｅＭＶｄｅｃ（Ｐ３）あるいはＡｖｅＭＶｅｎｃ（Ｂ１）を、符号化部１０４のピクチャタイプを示す符号化条件に基づき選択してＭＶｓｅｌとする。符号化部１０４が符号化対象とする復号画像を符号化するときのピクチャタイプがＰピクチャの場合は、ＡｖｅＭＶｄｅｃ（Ｐ３）を選択してＭＶｓｅｌ（Ｐ３）とし、符号化部１０４が符号化対象とする復号画像を符号化するときのピクチャタイプがＢピクチャの場合は、ＡｖｅＭＶｅｎｃ（Ｂ１）を選択してＭＶｓｅｌ（Ｂ２）とする。基本動き情報生成部１０５は、このＭＶｓｅｌを基本動き情報として出力する。
【０１２１】
次に、符号化部１０４における探索範囲の決定方法について説明する。
基本動き情報生成部１０５は、上記のようにデコード情報から算出される代表ベクトル（平均ベクトル）と符号化情報から算出される代表ベクトル（平均ベクトル）を符号化部１０４が符号化対象とする復号画像を符号化するときのピクチャタイプに基づいて選択し、基本動き情報ＭＶｓｅｌとして符号化部１０４へ出力する。
【０１２２】
符号化部１０４は、基本動き情報生成部１０５より出力された基本動き情報ＭＶｓｅｌを用いて、符号化対象画像から参照画像への時間スケーリングを行い、参照画像ごとに探索を行う中心位置を決定する。
【０１２３】
なお、本実施の形態２では、探索範囲の広さが一定で、中心位置のみを変えることを想定しているが、例えば、時間スケーリングした基本動き情報ＭＶｓｅｌが大きな値の時には探索範囲を広げて、さらに間引き探索を行う等の設定を行ってもよい。
【０１２４】
以上、本実施の形態２では、符号化対象となる復号画像がフィールド構造であっても、動きベクトルを検出する際に、符号化部１０４が符号化対象とする復号画像を符号化するときのピクチャタイプに基づいて、入力ストリームのデコード情報あるいは再符号化したときの符号化情報とからの代表ベクトルを選択する。選択したデコード情報あるいは符号化情報からの代表ベクトルを基本動き情報として用いて動きベクトル検出を行う探索範囲を決定することで、効果的に動きベクトルを検出できる。すなわち、動きベクトル検出を行う探索範囲を狭めて処理量を削減しても、精度の高い動きベクトルを検出することが可能となる。それにより、処理量を削減しつつ、精度の高い動きベクトルを検出して符号化することができる画像符号化装置を実現することができる。
【０１２５】
なお、本実施の形態２では、デコード情報と符号化情報とから得られるそれぞれの代表ベクトルとして、時間スケーリングしたマクロブロックごとの全動きベクトルの平均を算出するとして説明しているが、参照画像ごとに平均ベクトルとベクトルの分散を算出し、分散値が小さい方の平均ベクトル、あるいは、動きベクトルの本数が多い方の平均ベクトルを選択してそれぞれの代表ベクトルとしてもよい。
【０１２６】
（実施の形態３）
次に、本発明の実施の形態３について説明する。
【０１２７】
実施の形態２では、基本動き情報生成部１０５から基本動き情報として一つのベクトルが出力される場合で、第１の符号化データと第２の符号化データとが共にフィールド構造である場合について説明した。本実施の形態３では、基本動き情報生成部１０５から基本動き情報として一つのベクトルが出力される場合であるが、第１の符号化データと第２の符号化データとにおける符号化構造が異なる場合について以下に説明する。
【０１２８】
第１の符号化データがフレーム構造で、第２の符号化データがフィールド構造である場合、デコード情報から得られる代表ベクトルは、実施の形態１で示した方法で平均ベクトルを算出することで得ることができ、符号化情報から得られる代表ベクトルは、実施の形態２で示した方法で平均ベクトルを算出することで得ることができる。すなわち、デコード情報で得られる代表ベクトルは１フレーム分前方参照した場合の符号化部１０４における符号化対象画像のピクチャの動きベクトルとなるため、時間スケーリングして算出した平均ベクトルをさらに１／２倍することで１フィールド分前方参照した場合の符号化部１０４における符号化対象画像のフィールドの動きベクトルとして算出することができる。
【０１２９】
また、第１の符号化データがフィールド構造で、第２の符号化データがフレーム構造である場合、デコード情報から得られる代表ベクトルは実施の形態２で示した方法で平均ベクトルを算出することで得ることができ、符号化情報から得られる代表ベクトルは、実施の形態１で示した方法で平均ベクトルを算出することで得ることができる。すなわち、デコード情報で得られる代表ベクトルは１フィールド分前方参照した場合の符号化部１０４における符号化対象画像のフィールドの動きベクトルとなるため、時間スケーリングして算出した平均ベクトルをさらに２倍することで符号化部１０４における符号化対象画像の１フレーム分前方参照した場合のピクチャの動きベクトルとして算出することができる。
【０１３０】
また、代表ベクトルの選択方法は、実施の形態１および２と同様に、符号化部１０４からの符号化条件に示される符号化対象画像のピクチャタイプにより選択される。すなわち、符号化部１０４が符号化対象とする復号画像を符号化するときのピクチャタイプがＰピクチャと判定された場合には、デコード情報から算出される代表ベクトルが選択され、符号化部１０４が符号化対象とする復号画像を符号化するときのピクチャタイプがＢピクチャと判定された場合には、符号化情報から算出される代表ベクトルが選択される。
【０１３１】
以上、本実施の形態３では、第１の符号化データがフィールド構造で、第２の符号化データがフレーム構造であっても、第１の符号化データがフレーム構造で、第２の符号化データがフィールド構造であっても、動きベクトルを検出する際に、符号化部１０４が符号化対象とする復号画像を符号化するときのピクチャタイプに基づいて入力ストリームのデコード情報あるいは再符号化したときの符号化情報からの代表ベクトルを選択する。選択したデコード情報あるいは再符号化したときの符号化情報とからの代表ベクトルを基本動き情報として用いて動きベクトル検出を行う探索範囲を決定することで、効果的に動きベクトルを検出できる。すなわち、動きベクトル検出を行う探索範囲を狭めて処理量を削減しても、精度の高い動きベクトルを検出することが可能となる。それにより、処理量を削減しつつ、精度の高い動きベクトルを検出して符号化することができる画像符号化装置を実現することができる。
【０１３２】
（実施の形態４）
次に、本発明の実施の形態４について説明する。
【０１３３】
実施の形態３では、基本動き情報生成部１０５から基本動き情報として一つのベクトルが出力される場合で、第１の符号化データと第２の符号化データとが符号化構造で異なる場合について説明した。本実施の形態４では、基本動き情報生成部１０５から基本動き情報として、参照方向ごとの代表ベクトルが出力される場合を示す。ここでは、第１の符号化データと、第２の符号化データとにおける符号化構造が共にフレーム構造である場合について以下に説明する。
【０１３４】
デコード情報から得られる代表ベクトルと符号化情報から得られる代表ベクトルとは、実施の形態１で示した方法で算出できる。
【０１３５】
図６のＳ２０１と同様に、基本動き情報生成部１０５における平均ベクトル算出部１０５１は、デコード情報からマクロブロックごとの動きベクトルを算出する。同様に、基本動き情報生成部１０５における平均ベクトル算出部１０５３は、符号化情報からマクロブロックごとの動きベクトルを算出する。
【０１３６】
次に、基本動き情報生成部１０５における平均ベクトル算出部１０５１および平均ベクトル算出部１０５３はそれぞれ、参照方向ごとに、算出したマクロブロックごとの動きベクトルのベクトルを集計する。
【０１３７】
次に、図６のＳ２０２と同様に、基本動き情報生成部１０５における平均ベクトル算出部１０５１および平均ベクトル算出部１０５３はそれぞれ、参照方向ごとに集計された動きベクトルを符号化対象画像から所定の参照画像に対する参照方向ごとの動きベクトルへと時間スケーリングを行う。
【０１３８】
次に、図６のＳ２０２と同様に、基本動き情報生成部１０５における平均ベクトル算出部１０５１および平均ベクトル算出部１０５３はそれぞれ、時間スケーリングした参照方向ごとの符号化対象画像の動きベクトルを用いて、参照方向ごとの符号化対象画像の動きベクトルの平均ベクトルを算出する。
【０１３９】
基本動き情報生成部１０５は、符号化部１０４が符号化対象とする復号画像を符号化するときのピクチャタイプに基づいて、デコード情報から算出される代表ベクトル（平均ベクトル）と符号化情報から算出される代表ベクトル（平均ベクトル）を参照方向ごとに選択し、選択した参照方向ごとの代表ベクトルを基本動き情報として、符号化部１０４に出力する。
【０１４０】
以上、本実施の形態４では、動きベクトルを検出する際に、符号化部１０４が符号化対象とする復号画像を符号化するときのピクチャタイプに基づいて、入力ストリームのデコード情報から得られる参照方向ごとの代表ベクトルあるいは再符号化したときの符号化情報から得られる参照方向ごとの代表ベクトルを選択する。選択したデコード情報あるいは再符号化したときの符号化情報からの参照方向ごとの代表ベクトルを基本動き情報として用いて動きベクトル検出を行う探索範囲を決定することで、効果的に動きベクトルを検出できる。すなわち、動きベクトル検出を行う探索範囲を狭めて処理量を削減しても、精度の高い動きベクトルを検出することが可能となる。それにより、処理量を削減しつつ、精度の高い動きベクトルを検出して符号化することができる画像符号化装置を実現することができる。
【０１４１】
なお、本実施の形態４では、参照方向ごとにデコード情報と符号化情報とから得られる動きベクトルの平均ベクトル値を集計する場合を説明したが、参照画像ごとに集計してもよい。また、参照画像ごとに集計した平均ベクトルにベクトル本数の偏りがある場合には、ベクトルの本数が多い参照画像を参照方向の代表として平均ベクトルを算出してもよい。
【０１４２】
また、第１の符号化データと、第２の符号化データとの符号化構造が共にフィールド構造である場合も実施の形態２で示した方法で参照方向ごとにデコード情報と符号化情報とから得られるそれぞれの代表ベクトルを算出してもよい。
【０１４３】
また、第１の符号化データと、第２の符号化データとの符号化構造が異なる場合は、実施の形態３で示した方法で参照方向ごとにデコード情報と符号化情報とから得られるそれぞれの代表ベクトルを算出してもよい。
【０１４４】
（実施の形態５）
次に、本発明の実施の形態５について説明する。
【０１４５】
実施の形態４では、基本動き情報生成部１０５から基本動き情報として、参照方向ごとの代表ベクトルが出力される場合を説明した。本実施の形態５では、基本動き情報生成部１０５で画像を複数の領域に分割し、領域ごとに代表ベクトルを算出し、算出した代表ベクトルを基本動き情報として出力する場合について説明する。ここで、基本動き情報生成部１０５からは複数のベクトルが出力される。
【０１４６】
ここでは、第１の符号化データと、第２の符号化データとの符号化構造が共にフレーム構造である場合として説明する。
【０１４７】
また、画像を水平４分割かつ垂直４分割した場合（以下、分割画面と記載。）を例として以下に説明する。
【０１４８】
図１０は、分割画面９０１における分割された領域ごとの代表ベクトルが算出される場合について説明するための図である。図１０において、左上に記載されている小矩形領域がマクロブロックを表しており、一例としてマクロブロック９０１１およびマクロブロック９０１２が表されている。
【０１４９】
図１０のマクロブロック９０１１およびマクロブロック９０１２に示されている矢印はベクトルであり、前方方向に１フレーム分前方参照に時間スケーリングした場合の符号化部１０４における符号化対象画像のマクロブロック９０１１およびマクロブロック９０１２の動きベクトルとして表している。
【０１５０】
また、図１０におけるＲ（ｘ，ｙ）（ｘ、ｙとも０から３の整数）で示される領域は、分割画面９０１の分割された各領域を示している。分割された領域ごとに含まれるマクロブロックごとの動きベクトルは集計され、領域ごとの平均ベクトルが算出される。デコード情報と符号化情報とのそれぞれから領域ごとの１６本の代表ベクトルが算出される。符号化部１０４が符号化対象とする復号画像を符号化するときのピクチャタイプに基づいてデコード情報あるいは符号化情報から領域ごとに代表ベクトルが選択される。そして、領域ごとに選択された１６本の代表ベクトルは、基本動き情報生成部１０５が生成した基本動き情報として出力される。
【０１５１】
図１１は、基本動き情報生成部１０５が分割画面９０１の領域ごとの代表ベクトルを生成する場合の処理を説明するフローチャートである。
【０１５２】
ここで、平均ベクトル算出部１０５１が分割画面９０１の各領域について代表ベクトルを生成する場合について説明する。
【０１５３】
まず、平均ベクトル算出部１０５１は、デコード情報保持部１０３から入力したデコード情報からマクロブロックごとの動きベクトルを算出する（Ｓ４０１）。
【０１５４】
次に、平均ベクトル算出部１０５１は、マクロブロックごとに存在する符号化対象画像の動きベクトルを符号化対象画像から所定の参照画像に対するマクロブロックごとの動きベクトルへと時間スケーリングする（Ｓ４０２）。
【０１５５】
次に、平均ベクトル算出部１０５１は、分割画面９０１の領域ごとに、時間スケーリングしたマクロブロックごとの動きベクトルのベクトルを集計する（Ｓ４０３）。
【０１５６】
次に、平均ベクトル算出部１０５１は、時間スケーリングされ、分割画面９０１の領域ごとに集計された符号化対象画像の動きベクトルを用いて、分割画面９０１の領域ごとに符号化対象画像の動きベクトルの平均ベクトルを算出する（Ｓ４０４）。
【０１５７】
次に、平均ベクトル算出部１０５１は、算出した領域ごとの平均ベクトルをデコード情報から得られる領域ごとの代表ベクトルとすることにより、代表ベクトルを生成する（Ｓ４０４）。
【０１５８】
なお、平均ベクトル算出部１０５３が領域ごとに代表ベクトルを生成する場合についても同様であるので割愛する。
【０１５９】
また、代表ベクトルの選択方法は、実施の形態１〜４と同様に、符号化部１０４からの符号化条件に示される符号化対象画像のピクチャタイプにより選択される。すなわち、基本動き情報生成部１０５は、符号化部１０４が符号化対象とする復号画像を符号化するときのピクチャタイプがＰピクチャと判定された場合には、デコード情報から算出される領域ごとの代表ベクトルが選択され、符号化部１０４が符号化対象とする復号画像を符号化するときのピクチャタイプがＢピクチャと判定された場合には、符号化情報から算出される領域ごとの代表ベクトルが選択される。
【０１６０】
次に、符号化部１０４における探索範囲の決定方法について説明する。
符号化部１０４は、符号化対象画像のマクロブロックが分割画面９０１における１６個の領域のどこに存在するかによって、動きベクトルを検出する際の探索範囲を変える。例えば、Ｒ（０，０）の領域内に存在するマクロブロックが符号化対象画像のマクロブロックとすると、Ｒ（０，０）の領域の代表ベクトルを用いて、その代表ベクトルが指し示す位置を中心とした探索範囲において動きベクトルの検出を行う。
【０１６１】
この場合、図７で説明したように、基本動き情報であるＭＶｓｅｌが１つの参照画像に付き１本ではなく、符号化対象マクロブロック位置が存在する領域ごとに基本動き情報であるＭＶｓｅｌを変えることで、探索範囲の中心位置を変えることができる。
【０１６２】
以上、本実施の形態５では、基本動き情報生成部１０５は、符号化部１０４が符号化対象とする復号画像を符号化するときのピクチャタイプに基づいて、領域ごとの代表ベクトルを基本動き情報として生成する。動きベクトルを検出する際に、符号化部１０４が符号化対象とする復号画像を符号化するときのピクチャタイプにより入力ストリームのデコード情報あるいは再符号化したときの符号化情報から得られる領域ごとの代表ベクトルを選択する。選択したデコード情報あるいは符号化情報からの領域ごとの代表ベクトルを基本動き情報として用いて動きベクトル検出を行う探索範囲を決定することで、効果的に動きベクトルを検出できる。すなわち、動きベクトル検出を行う探索範囲を狭めて処理量を削減しても、精度の高い動きベクトルを検出することが可能となる。それにより、処理量を削減しつつ、精度の高い動きベクトルを検出して符号化することができる画像符号化装置を実現することができる。
【０１６３】
なお、本実施の形態では、第１の符号化データと、第２の符号化データとの符号化構造が共にフレーム構造である場合について説明したが、第１の符号化データと、第２の符号化データとの両方がフィールド構造の場合、あるいは一方がフレーム構造で他方がフィールド構造の場合においても実施の形態２もしくは実施の形態３で説明した代表ベクトル算出方法を領域ごとの代表ベクトル算出にごとに適用させてもよい。
【０１６４】
また、基本動き情報生成部１０５が生成する基本動き情報として符号化対象画像における領域ごとに１本の代表ベクトルを生成する例を説明しているが、実施の形態４に示すように符号化対象画像の参照方向ごとに、領域ごとの代表ベクトルを算出し、基本動き情報としてもよい。
【０１６５】
また、基本動き情報生成部１０５は、符号化対象画像の領域ごとの代表ベクトルを、大きさと方向とでグルーピングし、１または複数の代表ベクトルを基本動き情報として生成してもよい。例えば、図１０の分割画面９０１における各領域のベクトルは、Ｒ（０，０）に示される代表ベクトルは左向きの大きいベクトルに、Ｒ（２，１）に示される代表ベクトルは右向きの小さいベクトルにグルーピングすることができる。基本動き情報生成部１０５は、グルーピングされたベクトルの平均ベクトルを算出し、グルーピングしたグループそれぞれに１本の代表ベクトルを基本動き情報とする。また、基本動き情報生成部１０５は、グルーピングしたグループごとの動きベクトルの平均値ではなく、中央値もしくは最大値や最小値を算出してもよい。
【０１６６】
（実施の形態６）
次に、本発明の実施の形態６について説明する。
【０１６７】
実施の形態５では、基本動き情報生成部１０５で行うマクロブロックの動きベクトルの集計方法として、分割画面における分割された領域ごとの代表ベクトルを算出する場合について説明した。本実施の形態６では、基本動き情報生成部１０５で行うマクロブロックの動きベクトルの集計方法として、マクロブロックの動きベクトルを大きさと方向とでグルーピングする方法について説明する。
【０１６８】
図１２は、領域９０２における大きさと方向でグルーピングされた領域ごとの代表ベクトルが算出される場合について説明するための図である。
【０１６９】
基本動き情報生成部１０５は、デコード情報あるいは符号化情報から得られるマクロブロックごとの動きベクトルを時間スケーリングする。時間スケーリングした動きベクトルを図１２のように大きさと方向で区切った領域のどこに存在するかを調べる。
【０１７０】
ここでは、動きベクトルがゼロ近辺にあるグループはＧ（０，０）で示される領域にあるとしている。Ｇ（０，０）で示される領域の周辺にあり、比較的小さな動きベクトルが存在するグループは、第１〜４の象限にあるＧ（１，０）からＧ（１，３）の領域にあるとしている。また、大きい動きベクトルが存在するグループは象限ごとにＧ（２，０）からＧ（２，３）の領域にあるとしている。例えば、領域９０２の第１象限おけるＧ（１，０）の領域の境界値であるｘ０、ｘ１、ｙ０、ｙ１は、任意に設定できる。例えば、ｘ０＝ｙ０＝１６、ｘ１＝ｙ１＝４８と設定してもよい。図１２の中で、マクロブロックの動きベクトルは、Ｇ（１，１）の領域に存在するように示されている。
【０１７１】
基本動き情報生成部１０５は、デコード情報あるいは符号化情報から算出されたマクロブロックごとに時間スケーリングした動きベクトルを大きさと方向でグルーピングしたグループごとに集計する。基本動き情報生成部１０５は、大きさと方向でグルーピングしたグループごとに集計した、デコード情報と符号化情報とからの動きベクトルから、平均ベクトルを算出する。基本動き情報生成部１０５は、大きさと方向でグルーピングしたグループごとに、デコード情報あるいは符号化情報から算出した平均ベクトルを代表ベクトルとして選択する。基本動き情報生成部１０５は、大きさと方向でグルーピングした９つのグループごとに選択することで生成した９本の代表ベクトルを基本動き情報として符号化部１０４に出力する。
【０１７２】
図１３は、基本動き情報生成部１０５が大きさと方向でグルーピングした領域ごとに代表ベクトルを生成する場合の処理を説明するフローチャートである。
【０１７３】
ここで、平均ベクトル算出部１０５１が大きさと方向でグルーピングした領域ごとに代表ベクトルを生成する場合について説明する。
【０１７４】
まず、平均ベクトル算出部１０５１は、デコード情報保持部１０３から入力したデコード情報からマクロブロックごとの動きベクトルを算出する（Ｓ６０１）。
【０１７５】
次に、平均ベクトル算出部１０５１は、マクロブロックごとに存在する符号化対象画像の動きベクトルを符号化対象画像から所定の参照画像に対するマクロブロックごとの動きベクトルへと時間スケーリングする（Ｓ６０２）。
【０１７６】
次に、平均ベクトル算出部１０５１は、時間スケーリングされた符号化対象画像の動きベクトルを用いて、符号化対象画像の動きベクトルの平均ベクトルを算出する。
【０１７７】
次に、平均ベクトル算出部１０５１は、大きさと方向でグルーピングした領域ごとに、時間スケーリングしたマクロブロックごとの動きベクトルのベクトルを集計する（Ｓ６０３）。
【０１７８】
次に、平均ベクトル算出部１０５１は、時間スケーリングされ、大きさと方向でグルーピングした領域ごとに集計された符号化対象画像の動きベクトルを用いて、分割画面９０１の領域ごとに符号化対象画像の動きベクトルの平均ベクトルを算出する（Ｓ６０４）。
【０１７９】
次に、平均ベクトル算出部１０５１は、大きさと方向でグルーピングした領域ごとに算出した平均ベクトルをデコード情報から得られる領域ごとの代表ベクトルとすることにより、代表ベクトルを生成する（Ｓ６０５）。
【０１８０】
なお、平均ベクトル算出部１０５３が大きさと方向でグルーピングした領域ごとに代表ベクトルを生成する場合についても同様であるので割愛する。
【０１８１】
また、代表ベクトルの選択方法は、実施の形態１〜５と同様に、符号化部１０４からの符号化条件に含まれる符号化対象画像のピクチャタイプにより選択される。すなわち、基本動き情報生成部１０５は、符号化部１０４が符号化対象とする復号画像を符号化するときのピクチャタイプがＰピクチャと判定された場合には、大きさと方向でグルーピングした領域ごとにデコード情報から算出される代表ベクトルが選択され、符号化部１０４が符号化対象とする復号画像を符号化するときのピクチャタイプがＢピクチャと判定された場合には、大きさと方向でグルーピングした領域ごとに符号化情報から算出される代表ベクトルが選択される。
【０１８２】
次に、符号化部１０４における探索範囲の決定方法について説明する。
符号化部１０４は、大きさと方向でグルーピングした領域ごとの９本の代表ベクトルに基づき、参照画像ごとに９箇所を探索することで動きベクトル検出を行う。あるいは、参照画像ごとに探索する範囲を選択して合計９箇所を探索すること等の方法で動きベクトル検出を行う。
【０１８３】
なお、本実施の形態６では、基本動き情報生成部１０５が、グルーピングし、算出された代表ベクトルを全て基本動き情報として出力することを前提として説明したが、例えば、グルーピングした動きベクトル数が最も多いグループの平均ベクトルのみを代表ベクトルと算出してよい。グルーピングした動きベクトル数が２番目に多いグループまでの平均ベクトルを代表ベクトルとして算出してもよい。
【０１８４】
また、基本動き情報生成部１０５は、参照方向および大きさと方向とでグルーピングした領域ごとに動きベクトルの集計を行ってもよい。その場合、参照方向および大きさと方向とでグルーピングした領域は１８種類となり、１８種類の平均ベクトルが代表ベクトルとして符号化部１０４に出力される。また、基本動き情報生成部１０５は、参照方向および大きさと方向とでグルーピングした領域でベクトル数が最も多いグループの平均ベクトルのみを基本動き情報として符号化部１０４に出力してもよく、参照方向および大きさと方向とでグルーピングした領域でベクトル数が２番目に多いグループまでのグループごとの代表ベクトルを基本動き情報として符号化部１０４に出力してもよい。
【０１８５】
また、本実施の形態６では、大きさと方向とでグルーピングした領域が合計９つのグループとなるよう分けることを説明したが、これに限らない。例えば、ｘ軸を基準に９０°ごとに４方向にグルーピングし、ｘ軸から２２．５°の位置を基準に４５°ごとにさらに８方向にグルーピングしてもよい。この場合、大きさと方向との分類方法を図１２と同じとした場合、１７種類にグルーピングされることになる。
【０１８６】
また、基本動き情報生成部１０５は、各マクロブロックの動きベクトルをグルーピングし、グループごとに平均ベクトルを算出することから代表ベクトルを生成する場合のグルーピングの例を説明したが、これに限らない。基本動き情報生成部１０５は、領域ごとの平均ベクトルを算出後にグルーピングしてもよい。すなわち、基本動き情報生成部１０５はデコード情報あるいは符号化情報から算出されたマクロブロックごとに時間スケーリングした動きベクトルの、例えば分割画面９０１における領域ごとの平均ベクトルを算出し、算出した平均ベクトルを大きさと方向でグルーピングすることから代表ベクトルを生成してもよい。その場合、基本動き情報生成部１０５は、大きさと方向でグルーピングした９つのグループごとに選択することで生成した９本の代表ベクトルを基本動き情報として符号化部１０４に出力する。また、基本動き情報生成部１０５は、大きさと方向でグルーピングした９つのグループで最も平均ベクトルの数が多いグループを選択し、選択したグループの動きベクトルの平均を代表ベクトルとして符号化部１０４に出力してもよい。
【０１８７】
以上、本実施の形態６では、基本動き情報生成部１０５は、符号化部１０４の符号化対象画像のピクチャタイプに基づいて、大きさと方向とでグルーピングした領域ごとの代表ベクトルを基本動き情報として生成する。動きベクトルを検出する際に、符号化部１０４が符号化対象とする復号画像を符号化するときのピクチャタイプに基づいて、入力ストリームのデコード情報あるいは再符号化したときの符号化情報から得られる大きさと方向とでグルーピングされた領域ごとの代表ベクトルを選択する。選択したデコード情報あるいは符号化情報とからの大きさと方向とでグルーピングした領域ごとの代表ベクトルを基本動き情報として用いて動きベクトル検出を行う探索範囲を決定することで、効果的に動きベクトルを検出できる。すなわち、動きベクトル検出を行う探索範囲を狭めて処理量を削減しても、精度の高い動きベクトルを検出することが可能となる。それにより、処理量を削減しつつ、精度の高い動きベクトルを検出して符号化することができる画像符号化装置を実現することができる。
【０１８８】
以上、本発明の画像符号化装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
【産業上の利用可能性】
【０１８９】
本発明は、画像符号化装置およびその方法に利用でき、特に、ＨＤＴＶ放送等のＨＤ画像をＨ．２６４規格で録画を行う画像符号化装置に利用することができる。
【図面の簡単な説明】
【０１９０】
【図１】本発明の実施の形態１における画像符号化装置の構成を示すブロック図である。
【図２】本発明の実施の形態１における画像符号化装置が符号化する場合の処理を説明するフローチャートである。
【図３】本発明の実施の形態１における基本動き情報生成部の構成を示すブロック図である。
【図４】本発明の実施の形態１におけるデコード情報から平均ベクトルを算出する方法を説明するための図である。
【図５】本発明の実施の形態１における符号化情報から平均ベクトルを算出する方法を説明するための図である。
【図６】本発明の実施の形態１における基本動き情報生成部１０５が代表ベクトルを生成する場合の処理を説明するフローチャートである。
【図７】本発明の実施の形態１における基本動き情報を用いて探索範囲を決定する方法を説明するための図である。
【図８】本発明の実施の形態２におけるデコード情報から平均ベクトルを算出する方法を説明するための図である。
【図９】本発明の実施の形態２における符号化情報から平均ベクトルを算出する方法を説明するための図である。
【図１０】本発明の実施の形態５における分割画面９０１における分割された領域ごとの代表ベクトルについて説明するための図である。
【図１１】本発明の実施の形態５における基本動き情報生成部１０５が分割画面９０１の領域ごとの代表ベクトルを生成する場合の処理を説明するフローチャートである。
【図１２】本発明の実施の形態６における領域における大きさと方向でグルーピングされた領域ごとの代表ベクトルが算出される場合について説明するための図である。
【図１３】本発明の実施の形態６における基本動き情報生成部が大きさと方向でグルーピングした領域ごとに代表ベクトルを生成する場合の処理を説明するフローチャートである。
【符号の説明】
【０１９１】
１００  画像符号化装置
１０２    復号化部
１０３    デコード情報保持部
１０４    符号化部
１０５    基本動き情報生成部
１０６    符号化情報保持部
８０１    参照画像
８０２    基準探索範囲
８０３    探索範囲
９０１    分割画面
９０２    領域
９０１１、９０１２    マクロブロック
１０５１、１０５３    平均ベクトル算出部
１０５６    選択器
１０５７    ピクチャタイプ判定部
【図１】
0004523625.tif 000002
【図２】
0004523625.tif 000003
【図３】
0004523625.tif 000004
【図４】
0004523625.tif 000005
【図５】
0004523625.tif 000006
【図６】
0004523625.tif 000007
【図７】
0004523625.tif 000008
【図８】
0004523625.tif 000009
【図９】
0004523625.tif 000010
【図１０】
0004523625.tif 000011
【図１１】
0004523625.tif 000012
【図１２】
0004523625.tif 000013
【図１３】
0004523625.tif 000014