(57)【要約】  複数のブロックに分割された画像を復号する画像復号方法であって、復号対象画像内の復号済みブロックの復号情報及び復号済み画像の復号情報を格納する格納手段から復号済みブロックの復号情報を取得し、複数の復号済み画像の中から、所定の復号済み画像を選択し、選択された復号済み画像内の所定ブロックの復号情報を取得し、取得された復号済みブロックの復号情報及び所定ブロックの復号情報を用いて、復号対象ブロックの分割形状を表す分割モードを予測し、符号化データから分割モードを表す分割モード情報を復号し、予測された分割モード及び復号された分割モード情報から復号対象ブロックの分割モードを決定する。
2012042654.tif 000002
【特許請求の範囲】
【請求項１】
複数のブロックに分割された画像を復号する画像復号方法であって、
復号対象画像内の復号済みブロックの復号情報及び復号済み画像の各ブロックの復号情報を格納する格納手段から前記復号済みブロックの復号情報を取得し、
複数の前記復号済み画像の中から、所定の復号済み画像を選択し、
前記選択された復号済み画像内の所定ブロックの復号情報を前記格納手段から取得し、
前記取得された復号済みブロックの復号情報及び前記所定ブロックの復号情報を用いて、復号対象ブロックの分割形状を表す分割モードを予測し、
符号化データから前記復号対象ブロックの分割モードを表す分割モード情報を復号し、
前記予測された分割モード及び前記復号された分割モード情報から前記復号対象ブロックの分割モードを決定する画像復号方法。
【請求項２】
前記所定の復号済み画像を選択する場合、前記復号対象画像と時間間隔が最も小さい復号済み画像を選択する請求項１記載の画像復号方法。
【請求項３】
前記所定ブロックの復号情報を取得する場合、前記復号対象ブロックと同一位置にある同位置ブロック及び前記同位置ブロックの周辺ブロックを前記所定ブロックとする請求項１又は２記載の画像復号方法。
【請求項４】
前記分割モードを予測する場合、前記復号済みブロックの復号情報に含まれる分割モードと、前記復号済みブロックと同一位置にある前記所定ブロックの復号情報に含まれる分割モードとが同じであれば、前記同位置ブロックの分割モードを前記予測された分割モードとする請求項３記載の画像復号方法。
【請求項５】
前記所定の復号済み画像を選択する場合、復号済み画像と該復号済み画像の参照画像との間隔が最も小さい復号済み画像を選択する請求項１記載の画像復号方法。
【請求項６】
前記所定ブロックの復号情報を取得する場合、前記取得された復号済みブロックの動きベクトルを取得し、取得した動きベクトルを用いて仮動きベクトルを生成し、前記復号対象ブロックから前記仮動きベクトルが示すブロックを前記所定ブロックとする請求項５記載の画像復号方法。
【請求項７】
前記所定ブロックの復号情報を取得する場合、前記仮動きベクトルが示すブロックを含む周辺ブロックのうち、前記復号対象ブロック内を通る動きベクトルを有するブロックを前記所定ブロックとする請求項６記載の画像復号方法。
【請求項８】
前記分割モードを予測する場合、前記所定ブロックの復号情報に含まれる分割モードを、前記復号済みブロックの復号情報に含まれる分割モードよりも優先して前記予測された分割モードとする請求項６又は７記載の画像復号方法。
【請求項９】
前記分割モードを決定する場合、前記予測された分割モードの符号量が他の分割モードよりも小さくなるよう変更される、前記分割モードと符号とを対応付けた復号テーブルに基づいて、前記分割モード情報が示す前記符号化テーブル内の符号から分割モードを決定する請求項１乃至８いずれか一項に記載の画像復号方法。
【請求項１０】
前記分割モードを決定する場合、前記分割モード情報が、前記予測された分割モードと一致するか否かを示す情報であるとき、該情報が一致を示せば前記予測された分割モードに決定し、該情報が不一致を示せば前記予測された分割モード以外の分割モードに決定する請求項１乃至８いずれか一項に記載の画像復号方法。
【請求項１１】
画像を複数のブロックに分割した符号化する画像符号化方法であって、
符号化対象画像内の符号化済みブロックの符号化情報及び符号化済み画像の各ブロックの符号化情報を格納する格納手段から前記符号化済みブロックの符号化情報を取得し、
複数の前記符号化済み画像の中から、所定の符号化済み画像を選択し、
前記選択された符号化済み画像内の所定ブロックの符号化情報を前記格納手段から取得し、
前記取得された符号化済みブロックの符号化情報及び前記所定ブロックの符号化情報を用いて、符号化対象ブロックの分割形状を表す分割モードを予測し、
前記符号化対象ブロックで用いる分割モードを決定し、
前記予測された分割モード及び前記決定された分割モードから前記符号化対象ブロックの分割モード情報を符号化する画像符号化方法。
【請求項１２】
複数のブロックに分割された画像を復号する画像復号装置であって、
復号対象画像内の復号済みブロックの復号情報及び復号済み画像の各ブロックの復号情報を格納する格納手段と、
前記格納手段から前記復号済みブロックの復号情報を取得する第１取得手段と、
複数の前記復号済み画像の中から、所定の復号済み画像を選択する選択手段と、
前記選択手段により選択された復号済み画像内の所定ブロックの復号情報を前記格納手段から取得する第２取得手段と、
前記第１取得手段により取得された復号済みブロックの復号情報及び前記第２取得手段により取得された所定ブロックの復号情報を用いて、復号対象ブロックの分割形状を表す分割モードを予測する予測手段と、
符号化データから前記復号対象ブロックの分割モードを表す分割モード情報を復号する復号手段と、
前記予測手段により予測された分割モード及び前記復号手段により復号された分割モード情報から前記復号対象ブロックの分割モードを決定する決定手段と、
を備える画像復号装置。
【請求項１３】
画像を複数のブロックに分割して符号化する画像符号化装置であって、
符号化対象画像内の符号化済みブロックの符号化情報及び符号化済み画像の各ブロックの符号化情報を格納する格納手段と、
前記格納手段から前記符号化済みブロックの復号情報を取得する第１取得手段と、
複数の前記符号化済み画像の中から、所定の符号化済み画像を選択する選択手段と、
前記選択手段により選択された符号化済み画像内の所定ブロックの符号化情報を前記格納手段から取得する第２取得手段と、
前記第１取得手段により取得された符号化済みブロックの符号化情報及び前記第２取得手段により取得された所定ブロックの符号化情報を用いて、符号化対象ブロックの分割形状を表す分割モードを予測する予測手段と、
前記符号化対象ブロックで用いる分割モードを決定する決定手段と、
前記予測手段により予測された分割モード及び前記決定手段により決定された分割モードから前記復号対象ブロックの分割モード情報を符号化する符号化手段と、
を備える画像符号化装置。
【請求項１４】
コンピュータに、
復号対象画像内の復号済みブロックの復号情報及び復号済み画像の各ブロックの復号情報を格納する格納手段から前記復号済みブロックの復号情報を取得し、
複数の前記復号済み画像の中から、所定の復号済み画像を選択し、
前記選択された復号済み画像内の所定ブロックの復号情報を前記格納手段から取得し、
前記取得された復号済みブロックの復号情報及び前記所定ブロックの復号情報を用いて、復号対象ブロックの分割形状を表す分割モードを予測し、
符号化データから前記復号対象ブロックの分割モードを表す分割モード情報を復号し、
前記予測された分割モード及び前記復号された分割モード情報から前記復号対象ブロックの分割モードを決定する処理を実行させる画像復号プログラム。
【請求項１５】
コンピュータに、
符号化対象画像内の符号化済みブロックの符号化情報及び符号化済み画像の各ブロックの符号化情報を格納する格納手段から前記符号化済みブロックの符号化情報を取得し、
複数の前記符号化済み画像の中から、所定の符号化済み画像を選択し、
前記選択された符号化済み画像内の所定ブロックの符号化情報を前記格納手段から取得し、
前記取得された符号化済みブロックの符号化情報及び前記所定ブロックの符号化情報を用いて、符号化対象ブロックの分割形状を表す分割モードを予測し、
前記符号化対象ブロックで用いる分割モードを決定し、
前記予測された分割モード及び前記決定された分割モードから前記符号化対象ブロックの分割モード情報を符号化する処理を実行させる画像符号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、分割モードの予測に関する画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、画像復号プログラム、及び画像符号化プログラムに関する。
【背景技術】
【０００２】
画像データ、特に動画像データは、一般にデータ量が大きいので、送信装置から受信装置へ伝送される際、あるいは記憶装置に格納される際などには、高能率符号化が行われる。ここで、「高能率符号化」とは、あるデータ列を他のデータ列に変換する符号化処理であって、そのデータ量を圧縮する処理をいう。【０００３】
動画像データは、主にフレームのみから構成されるものと、フィールドから構成されるものがある。【０００４】
動画像データの高能率符号化方法として、ピクチャ内予測（イントラ予測）符号化方法が知られている。この符号化方法では、動画像データが空間方向に相関性が高いことを利用し、他のピクチャの符号化画像を用いない。ピクチャ内予測符号化方法は、ピクチャ内の情報のみで画像を復元できる方法である。【０００５】
また、ピクチャ間予測（インター予測）符号化方法が知られている。この符号化方法では、動画像データが時間方向に相関性が高いことを利用する。動画像データは、一般に、あるタイミングのピクチャデータと次のタイミングのピクチャデータとの類似度が高いことが多いので、インター予測符号化方法では、その性質を使用する。【０００６】
ピクチャ間予測符号化方法では、原画像をブロックに分割し、このブロック単位に、符号化済みフレームの復号画像から、この原画像ブロックと類似している領域を選択する。図１は、原画像をブロックに分割した一例を示す図である。図１に示すブロックMBがマクロブロックである。図１に示すように、原画像は、複数のマクロブロックに分割される。【０００７】
次に、原画像ブロックの類似領域と原画像ブロックとの差分を求め、冗長性が取り除かれる。そして、類似領域を指し示す動きベクトル情報と、冗長性の取り除かれた差分情報とを符号化することにより、高圧縮率を実現している。【０００８】
例えば、インター予測符号化を用いたデータ伝送システムでは、送信装置において、前ピクチャから対象ピクチャへの「動き」を表す動きベクトルデータ、及びその前ピクチャからその動きベクトルデータを用いて作成した対象ピクチャの予測画像と対象ピクチャとの差分データを生成する。次に、データ伝送システムは、それら動きベクトルデータおよび差分データを受信装置に送出する。一方、受信装置は、受信した動きベクトルデータおよび差分データから対象ピクチャを再生する。【０００９】
代表的な動画像符号化方式として、ISO/IEC（ISO/IEC : International Organization for Standardization/International Electrotechnical Commission） MPEG（Moving Picture Experts Group）-2／MPEG-4(以下MPEG-2、MPEG-4)が挙げられる。【００１０】
動画像符号化方式では、一定周期でイントラ予測符号化された画面を送り、残りはインター予測符号化で送られるGOP ( group of pictures )構造をとっている。さらに、これらの予測に対応したI,P,Bの３種類のピクチャを規定している。Iピクチャは、他のピクチャの符号化画像を用いない。ピクチャ内の情報のみで画像を復元できるピクチャである。Pピクチャは、過去のピクチャから順方向のピクチャ間予測を行い、予測誤差を符号化したピクチャである。Bピクチャは過去と未来のピクチャから双方向のピクチャ間予測を行い、予測誤差を符号化したピクチャである。Bピクチャは未来のピクチャを予測に用いるため、その符号化に先駆けて、予測に用いられる未来のピクチャを符号化、復号しておく必要がある。【００１１】
図２は、双方向の復号画像を参照するBピクチャを説明する図である。図２に示すように符号化対象BピクチャPic2を符号化する時点で、少なくとも前後の２枚のピクチャPic1、Pic3が先行して符号化されている。符号化対象BピクチャPic2は、前方向参照画像Pic1と後方向参照画像Pic3のいずれか片方または両方を選択することができる。例えば、ブロックマッチング技術を用いて前方向参照画像Pic1内で最も符号化対象ブロックCB１に類似した領域を前方向予測ブロックFB1、後方向参照画像Pic3内で最も符号化対象ブロックCB1に類似した領域を後方向予測ブロックBB1として算出する。双方向が選択された場合、予測方向である双方向情報と両参照画像内で符号化対象ブロックCB１と同一位置（CollocatedブロックColB1,2）から予測ブロックへの動きベクトルMV1,2と、符号化対象ブロックCB1と予測ブロックの画素差分が符号化される。【００１２】
図３は、GOP構成（その１）の一例を示す図である。図３に示すGOP構成は、一般的なGOP構成のIBBP構造を示す。MPEG-2では、Bピクチャの参照画像として用いることができる符号化済み画像はPピクチャまたはIピクチャとして符号化されている必要があった。しかし、最新の符号化方式である国際標準ITU-T H.264（ITU-T : International Telecommunication Union Telecommunication Standardization Sector）／ISO/IEC MPEG-4AVC（以下、H.264という）では、加えてBピクチャで符号化された符号化済み画像も参照画像として使用できるようになった。【００１３】
図４は、GOP構成（その２）の一例を示す図である。動画像符号化のH.264では、図４に示すようなGOP構成をとることが可能となっており、符号化効率を上げることに成功している。このGOP構成を階層B構造と呼ぶ。このように1GOP中のピクチャは、Bピクチャの数が多くなっており、Bピクチャの符号化効率を上げることが、動画像符号化全体の符号化効率を上げることに直結している。図３、図４に示す矢印は、前方向もしくは後方向ベクトルを表している。【００１４】
図５は、H.264のブロック構造の例を説明する図である。H.264では、圧縮効率を上げるために、図５に示すように16×16画素のマクロブロックをさらに小さなパーティション（サブマクロブロック）に分割し、この分割されたパーティション単位で動きベクトルを求めることができる。このパーティションの分割単位は、マクロブロックパーティションとして16×16（図５（A））、16×8（図５（B））、8×16（図５（C））、8×8（図５（D））がある。また、マクロブロックが8×8画素の場合、サブマクロブロックパーティションとして8×8、8×4、4×8、4×4（図５（D））から分割単位を選択することができる。【００１５】
さらに、次世代動画像符号化HEVC (High-efficiency video coding)で提案されている技術として、図６に示す分割単位がある。図６は、次世代動画像符号化のブロック構造の一例を示す図である。図６に示すように、従来のマクロブロックに相当するCoding unit（CU）、CUをさらに予測単位のパーティションに分割したPrediction unit（PU）、そしてCUにおける周波数単位のパーティションに分割したTransform unit（TU）としてさらに細分化されている。また、ブロックを細分化するために分割フラグを用いて、分割ありの判定を行えるようにしている。
【先行技術文献】
【非特許文献】
【００１６】
【非特許文献１】Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, 1st Meeting: Dresden, DE, 15-23 April, 2010,Samsung's Response to the Call for Proposals on Video Compression Technology / JCTVC-A124, P.7-10
【発明の概要】
【発明が解決しようとする課題】
【００１７】
従来の符号化対象ブロックの構造、周波数変換方法などを復号器側に通知するため、これらの分割モード情報を明示的にビットストリームとして送信する。一方、様々な符号化モードが追加されるため、その通知ビットのオーバーヘッドが符号化効率の向上を妨げる一因となっている。【００１８】
図７は、空間的相関を示す図である。例えば、算術符号化では、符号化対象ブロックCB2を符号化する際に、図７に示すような周辺の符号化済みブロックA、Bの予測モード情報（インター予測やイントラ予測など）の空間的相関を利用して出現確率を更新している。【００１９】
しかしながら、同一ピクチャ内の符号化対象ブロックの周辺ブロックの状態、すなわち空間的な相関だけを用いて予測を行うため、画像の性質によっては、画像の分割形状を表す分割モードに対し適切な予測ができず、符号化の圧縮率が低下することがある。【００２０】
そこで、開示の技術は、分割モードの予測精度を上げ、画像の符号化／復号化の更なる効率化を図ることができる画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、画像復号プログラム、及び画像符号化プログラムを提供することを目的とする。
【課題を解決するための手段】
【００２１】
開示の一態様の画像復号方法は、複数のブロックに分割された画像を復号する画像復号方法であって、復号対象画像内の復号済みブロックの復号情報及び復号済み画像の各ブロックの復号情報を格納する格納手段から前記復号済みブロックの復号情報を取得し、複数の前記復号済み画像の中から、所定の復号済み画像を選択し、前記選択された復号済み画像内の所定ブロックの復号情報を前記格納手段から取得し、前記取得された復号済みブロックの復号情報及び前記所定ブロックの復号情報を用いて、復号対象ブロックの分割形状を表す分割モードを予測し、符号化データから前記復号対象ブロックの分割モードを表す分割モード情報を復号し、前記予測された分割モード及び前記復号された分割モード情報から前記復号対象ブロックの分割モードを決定する。【００２２】
開示の他の態様の画像符号化方法は、画像を複数のブロックに分割した符号化する画像符号化方法であって、符号化対象画像内の符号化済みブロックの符号化情報及び符号化済み画像の各ブロックの符号化情報を格納する格納手段から前記符号化済みブロックの符号化情報を取得し、複数の前記符号化済み画像の中から、所定の符号化済み画像を選択し、前記選択された符号化済み画像内の所定ブロックの符号化情報を前記格納手段から取得し、前記取得された符号化済みブロックの符号化情報及び前記所定ブロックの符号化情報を用いて、符号化対象ブロックの分割形状を表す分割モードを予測し、前記符号化対象ブロックで用いる分割モードを決定し、前記予測された分割モード及び前記決定された分割モードから前記符号化対象ブロックの分割モード情報を符号化する。
【発明の効果】
【００２３】
開示の技術によれば、分割モードの予測精度を上げ、画像の符号化／復号の更なる効率化を図ることができる。
【図面の簡単な説明】
【００２４】
【図１】原画像をブロックに分割した一例を示す図。
【図２】双方向の復号画像を参照するBピクチャを説明する図。
【図３】GOP構成（その１）の一例を示す図。
【図４】GOP構成（その２）の一例を示す図。
【図５】H.264のブロック構造の例を説明する図。
【図６】次世代動画像符号化のブロック構造の一例を示す図。
【図７】空間的相関を示す図。
【図８】実施例１における画符号化装置の構成の一例を示すブロック図。
【図９】実施例１における分割モードの予測に関する機能の一例を示すブロック図。
【図１０】実施例１における予測手段の機能の一例を示すブロック図。
【図１１】実施例２における画像復号装置の構成の一例を示すブロック図。
【図１２】実施例２における分割モードの予測に関する機能の一例を示すブロック図。
【図１３】Quad treeの階層構造を説明する図。
【図１４】実施例３におけるGOP構成（IBBP構造）の一例を示した図。
【図１５】符号化対象ブロックと周辺ブロックとの関係の一例を示す図。
【図１６】符号化対象画像とその参照画像との間隔を説明する図。
【図１７】第２取得手段により取得されるブロックを説明する図。
【図１８】予測手段による比較（その１）を説明する図。
【図１９】予測手段による比較（その２）を説明する図。
【図２０】不一致フラグの一例を示す図。
【図２１】実施例３における分割モード符号化処理の一例を示すフローチャート。
【図２２】実施例４における分割モード復号処理の一例を示すフローチャート。
【図２３】実施例５におけるGOP構成（B階層構造）を示した図。
【図２４】実施例５における分割モードの予測に関する機能の一例を示すブロック図。
【図２５】ピクチャ間隔の一例を示す図。
【図２６】第１取得手段により取得される符号化情報の一例を示す図。
【図２７】仮動きベクトルの一例を示す図。
【図２８】符号化テーブルの一例を示す図。
【図２９】実施例５における分割モードの符号化処理の一例を示すフローチャート。
【図３０】実施例６における分割モードの予測に関する機能の一例を示すブロック図。
【図３１】実施例６における分割モード復号処理の一例を示すフローチャート。
【図３２】実施例７における分割モードの予測に関する機能の一例を示すブロック図。
【図３３】実施例７における周辺ブロックの一例を示す図。
【図３４】第２取得手段７０２により指定する周辺ブロックの一例を示す図。
【図３５】第２取得手段により取得するブロックの一例を示す図。
【図３６】予測手段の機能の一例を示すブロック図。
【図３７Ａ】実施例７における分割モード符号化処理（その１）の一例を示すフローチャート。
【図３７Ｂ】実施例７における分割モード符号化処理（その２）の一例を示すフローチャート。
【図３８】実施例８における分割モードの予測に関する機能の一例を示すブロック図。
【図３９Ａ】実施例８における分割モード復号処理（その１）の一例を示すフローチャート。
【図３９Ｂ】実施例８における分割モード復号処理（その２）の一例を示すフローチャート。
【図４０】情報処理装置の構成の一例を示す図。
【符号の説明】
【００２５】
１０１  予測誤差信号生成部
１０４  エントロピー符号化部
１０５  逆量子化手段
１０６  逆直交変換部
１０７  復号画像生成部
１０９  ピクチャメモリ
１１０  イントラ予測画像生成部
１１１  インター予測画像生成部
１１２  動きベクトル計算部
２０１  格納手段
２０２、５０２、７０１  第１取得手段
２０３、５０１  選択手段
２０４、５０３、７０２  第２取得手段
２０５、５０４、７０３  予測手段
２０７  決定手段
２０８、５０５  符号化手段
２５１、７３１  第１分割モード予測手段
２５２、７３２  第２分割モード予測手段
３０１  エントロピー復号部
３０５  復号情報記憶部
３０４  イントラ予測画像生成部
３０６  インター予測画像生成部
３１０  ピクチャメモリ
４０１  格納手段
４０２、６０２、８０１  第１取得手段
４０３、６０１  選択手段
４０４、６０３、８０２  第２取得手段
４０５、６０４、８０３  予測手段
４０６  復号手段
４０７、６０５  決定手段
【発明を実施するための形態】
【００２６】
以下、図面に基づいて実施例について説明する。
【００２７】
［実施例１］
図８は、実施例１における画符号化装置１００の構成の一例を示すブロック図である。図８に示すように、実施例１における画像符号化装置１００は、予測誤差信号生成部１０１、直交変換部１０２、量子化部１０３、エントロピー符号化部１０４、逆量子化部１０５、逆直交変換部１０６、復号画像生成部１０７、デブロッキングフィルタ部１０８、ピクチャメモリ１０９、イントラ予測画像生成部１１０、インター予測画像生成部１１１、動きベクトル計算部１１２、符号化制御及びヘッダ生成部１１３及び予測画像選択部１１４を含む。各部についての概略を以下に説明する。
【００２８】
予測誤差信号生成部１０１は、入力された動画像データの符号化対象画像を１６×１６ピクセル（画素）のブロック（以降、マクロブロック（ＭＢ）ともいう）に分割されたマクロブロックデータ（以降、ブロックデータともいう）を取得する。実施例１では、マクロブロック分割について説明するが、図６に示すような分割単位でも実施可能である。
【００２９】
予測誤差信号生成部１０１は、そのマクロブロックデータと、予測画像選択部１１４から出力される予測画像ピクチャのマクロブロックデータとにより、予測誤差信号を生成する。予測誤差信号生成部１０１は、生成された予測誤差信号を直交変換部１０２に出力する。
【００３０】
直交変換部１０２は、入力された予測誤差信号を直交変換処理する。直交変換部１０２は、直交変換処理によって水平及び垂直方向の周波数成分に分離された信号を量子化部１０３に出力する。
【００３１】
量子化部１０３は、直交変換部１０２からの出力信号を量子化する。量子化部１０３は、量子化することによって出力信号の符号量を低減し、この出力信号をエントロピー符号化部１０４及び逆量子化部１０５に出力する。
【００３２】
エントロピー符号化部１０４は、量子化部１０３からの出力信号をエントロピー符号化して出力する。エントロピー符号化とは、シンボルの出現頻度に応じて可変長の符号を割り当てる方式をいう。
【００３３】
逆量子化部１０５は、量子化部１０３からの出力信号を逆量子化してから逆直交変換部１０６に出力する。逆直交変換部１０６は、逆量子化部１０５からの出力信号を逆直交変換処理してから復号画像生成部１０７に出力する。これら逆量子化部１０５及び逆直交変換部１０６によって復号化処理が行われることにより、符号化前の予測誤差信号と同程度の信号が得られる。
【００３４】
復号画像生成部１０７は、インター予測画像生成部１１１で動き補償された画像のブロックデータと、逆量子化部１０５、及び逆直交変換部１０６により復号処理された予測誤差信号とを加算する。復号画像生成部１０７は、加算して生成した復号画像のブロックデータを、デブロッキングフィルタ部１０８に出力する。
【００３５】
デブロッキングフィルタ部１０８は、復号画像生成部１０７から出力された復号画像に対し、ブロック歪を低減するためのフィルタをかけ、ピクチャメモリ１０９に出力する。
【００３６】
ピクチャメモリ１０９は、入力したブロックデータを新たな参照画像のデータとして記憶し、イントラ予測画像生成部１１０、インター予測画像生成部１１１及び動きベクトル計算部１１２に出力する。また、ピクチャメモリ１０９は、符号化された画像の各ブロックの動きベクトルや分割モードなどを記憶する。
【００３７】
イントラ予測画像生成部１１０は、符号化対象画像のすでに符号化された周辺画素から予測画像を生成する。
【００３８】
インター予測画像生成部１１１は、ピクチャメモリ１０９から取得した参照画像のデータを動きベクトル計算部１１２から提供される動きベクトルで動き補償する。これにより、動き補償された参照画像としてのブロックデータが生成される。
【００３９】
動きベクトル計算部１１２は、符号化対象画像におけるブロックデータと、ピクチャメモリ１０９から取得する符号化済み画像の参照画像のブロックデータを用いて、動きベクトルを求める。動きベクトルとは、ブロック単位で参照画像から符号化対象画像に最も類似している位置を探索するブロックマッチング技術を用いて求められるブロック単位の空間的なずれを示す値である。動きベクトル計算部１１２は、求めた動きベクトルをインター予測画像生成部１１１に出力する。
【００４０】
イントラ予測画像生成部１１０とインター予測画像生成部１１１から出力されたブロックデータは、予測画像選択部１１４に入力される。予測画像選択手段１１４は、どちらか一方の予測画像を選択する。選択されたブロックデータは、予測誤差信号生成部１０１に出力される。
【００４１】
また、符号化制御及びヘッダ生成部１１３について、符号化の全体制御とヘッダ生成を行う。符号化制御及びヘッダ生成部１１３は、イントラ予測画像生成部１１０に対して、スライス分割有無の通知、デブロッキングフィルタ部１０８に対して、デブロッキングフィルタ有無の通知、動きベクトル計算部１１２に対して参照画像の制限通知などを行う。符号化制御及びヘッダ生成部１１３は、その制御結果を用いて、例えばH.264のヘッダ情報を生成する。生成されたヘッダ情報は、エントロピー符号化部１０４に渡され、画像データ、動きベクトルデータとともにストリームとして出力される。
【００４２】
次に、分割モードの予測に関する機能について説明する。図９は、実施例１における分割モードの予測に関する機能の一例を示すブロック図である。図５に示すように、画像符号化装置１００は、格納手段２０１、第１取得手段２０２、選択手段２０３、第２取得手段２０４、予測手段２０５、決定手段２０６、符号化手段２０７を含む。
【００４３】
格納手段２０１は、ピクチャメモリ１０９に対応し、第１取得手段２０２、選択手段２０３、第２取得手段２０４、予測手段２０５、決定手段２０６は、例えば動きベクトル計算部１１２に対応し、符号化手段２０７は、エントロピー符号化部１０４に対応する。
【００４４】
格納手段２０１は、符号化された画像のローカルデコードされた復号画像やブロック単位の動きベクトル、ブロックタイプ、分割モードなどの符号化情報を格納する。過去の符号化情報は次に符号化する符号化対象ブロックで参照することが可能である。
【００４５】
第１取得手段２０２は、符号化対象画像に属するブロックの符号化済みの符号化情報を格納手段２０１から取得する。ブロック符号化は一般に符号化対象画像の左上からラスタスキャン順に行われるため、符号化対象画像における符号化済みの符号化情報は符号化対象ブロックと同ブロックラインの左側と上側の全ブロックとなる。第１取得手段２０２は、予め決められた方法で符号化対象画像のブロック位置を指定し、格納手段２０１から符号化対象画像に属する符号化済みの分割モードや動きベクトルなどの符号化情報を取得する。予め決められた方法は、例えば、符号化対象ブロックの上側ブロック、左側ブロック、左上側ブロック、右上側ブロックのうち、どのブロックかを決めておく方法である。
【００４６】
選択手段２０３は、格納手段２０１に格納されている符号化対象画像以外の符号化済み画像の分割モードを得るために、複数の符号化済み画像から予め決められた方法で符号化済み画像を選択する。格納手段２０１は、複数の符号化済み画像の復号画像を固有のインデックスを付け、リストとして格納しておいてもよい。選択手段２０３は、符号化済み画像インデックスを用いて選択結果を示してもよい。
【００４７】
第２取得手段２０４は、選択手段２０３で選択された符号化済み画像に属するブロックの符号化情報を格納手段２０１から取得する。第２取得手段２０４は、予め決められた方法でブロック位置を指定し、選択手段２０３で選択されたインデックスをもつ符号化済み画像に属するブロックの符号化情報を格納手段２０１から取得する。
【００４８】
予測手段２０５は、第1取得手段２０２と第２取得手段２０４から得られた符号化情報に基づいて符号化対象ブロックの分割モードの予測値である予測モードを算出する。
【００４９】
図１０は、実施例１における予測手段２０５の機能の一例を示すブロック図である。図１０に示すように、予測手段２０５は、第１分割モード予測手段２５１、第２分割モード予測手段２５２を含む。
【００５０】
第１分割モード予測手段２５１は、第1取得手段２０２から取得した符号化情報を用いて分割モードの候補モードを算出する。第２分割モード予測手段２５２は、第２取得手段２０４から取得した符号化情報を用いて分割モードの候補モードを算出する。予測手段２０５は、これらの候補モードから所定の基準に従って予測モードを決定する。
【００５１】
図９に戻り、決定手段２０６は、符号化対象ブロックで用いる分割モードを決定する。決定手段２０６は、例えば、符号化対象ブロックと複数の参照画像におけるブロックマッチングを行い、最も類似した領域を参照できるような分割モードを決定する。
【００５２】
符号化手段２０７は、予測手段２０５から取得した予測モードと決定手段２０６で決定された分割モードとに基づき、分割モードを表す分割モード情報を生成する。生成された分割モード情報は、ビットストリームに含めて送信される。
【００５３】
これにより、第１取得手段２０２及び第２取得手段２０４を用いることで、空間方向の符号化済みブロックの分割モード、時間的方向の符号化済みブロックの分割モードを取得できる。実施例１における画像符号化装置１００は、これらの分割モードを用いて予測モードを予測することで、分割モードの予測精度を向上させ、符号化効率を上げることが可能になる。
【００５４】
［実施例２］
図１１は、実施例２における画像復号装置３００の構成の一例を示すブロック図である。実施例２における画像復号装置３００は、実施例１における画像符号化装置１００により符号化された符号化データを復号する。
【００５５】
図１１に示すように、画像復号装置３００は、エントロピー復号部３０１、逆量子化部３０２、逆直交変換部３０３、イントラ予測画像生成部３０４、復号情報記憶部３０５、インター予測画像生成部３０６、予測画像選択部３０７、復号画像生成部３０８、デブロッキングフィルタ部３０９、ピクチャメモリ３１０を含む。各部についての概略を以下に説明する。
【００５６】
エントロピー復号部３０１は、ビットストリームが入力されると、画像符号化装置１００のエントロピー符号化に対応するエントロピー復号を行なう。エントロピー復号部３０１により復号された予測誤差信号などは逆量子化部３０２に出力される。また、インター予測されている場合、復号された動きベクトルなどは復号情報記憶部３０５に出力され、イントラ予測の場合、イントラ予測画像生成部３０４にその旨通知する。また、エントロピー復号部３０１は、復号対象画像がインター予測されているか、イントラ予測されているかを予測画像選択部３０７に通知する。
【００５７】
逆量子化部３０２は、エントロピー復号部３０１からの出力信号に対して逆量子化処理を行う。逆量子化された出力信号は逆直交変換部３０３に出力される。
【００５８】
逆直交変換部３０３は、逆量子化部３０２からの出力信号に対して逆直交変換処理を行い、残差信号を生成する。残差信号は復号画像生成部３０８に出力される。
【００５９】
イントラ予測画像生成部３０４は、ピクチャメモリ３１０から取得する復号対象画像のすでに復号化された周辺画素から予測画像を生成する。
【００６０】
復号情報記憶部３０５は、復号された動きベクトルや分割モードなどの復号情報を記憶する。
【００６１】
インター予測画像生成部３０６は、ピクチャメモリ３１０から取得した参照画像のデータを復号情報記憶部３０５から取得する動きベクトルや分割モードを用いて動き補償する。これにより、動き補償された参照画像としてのブロックデータが生成される。
【００６２】
予測画像選択部３０７は、イントラ予測画像、又はインター予測画像どちらか一方の予測画像を選択する。選択されたブロックデータは、復号画像生成部３０８に出力される。
【００６３】
復号画像生成部３０８は、予測画像選択部３０７から出力される予測画像と、逆直交変換部３０３から出力される残差信号とを加算し、復号画像を生成する。生成された復号画像はデブロッキングフィルタ部３０９に出力される。
【００６４】
デブロッキングフィルタ部３０９は、復号画像生成部３０８から出力された復号画像に対し、ブロック歪を低減するためのフィルタをかけ、ピクチャメモリ３１０に出力する。フィルタ後の復号画像は表示装置に出力されてもよい。ピクチャメモリ３１０は、参照画像となる復号画像などを記憶する。なお、復号情報記憶手段３０５とピクチャメモリ３１０は、分けた構成にしているが、同じ記憶部であってもよい。
【００６５】
次に、分割モードの予測に関する機能について説明する。図１２は、実施例２における分割モードの予測に関する機能の一例を示すブロック図である。図１２に示す例では、画像復号装置３００は、格納手段４０１、第１取得手段４０２、選択手段４０３、第２取得手段４０４、予測手段４０５、復号手段４０６、決定手段４０７を含む。
【００６６】
図１２に示す画像復号装置３００は、画像符号化装置１００から出力されるビットストリームを復号し、復号対象ブロックの分割モードを算出する。また、画像復号装置３００の各手段は、それぞれ画像符号化装置１００における、格納手段２０１、第1取得手段２０２、選択手段２０３、第２取得手段２０４、予測手段２０５、符号化手段２０７、決定手段２０６にそれぞれ対応する。
【００６７】
また、格納手段４０１は、例えば復号情報記憶部３０５及びピクチャメモリ３１０に対応し、第１取得手段４０２、選択手段４０３、第２取得手段４０４、予測手段４０５は、例えばインター予測画像生成部３０６に対応し、復号手段４０６、決定手段４０７は、例えばエントロピー復号部３０１に対応する。
【００６８】
格納手段４０１は、過去に復号済みの画像と、ブロック単位の動きベクトル、ブロックタイプ、分割モードなどの復号情報とを格納する。
【００６９】
第１取得手段４０２は、復号対象画像に属する復号済みの復号情報を格納手段４０１から取得する。ブロック復号は一般に復号対象画像の左上からラスタスキャン順に行われるため、復号対象画像における復号済みの復号情報は復号対象ブロックと同ブロックラインの左側と上側の全ブロックとなる。
【００７０】
選択手段４０３は、格納手段４０１に格納されている復号対象画像以外の複数の復号済み画像から復号情報を得るために、所定の方法で復号済み画像を選択する。
【００７１】
第２取得手段４０４は、選択手段４０３で選択された復号済み画像に属するブロックの復号情報を格納手段４０１から取得する。
【００７２】
予測手段４０５は、第１取得手段４０２と第２取得手段４０４とから得られた復号情報に基づいて、復号対象ブロックの分割モードの予測値である予測モードを算出する。
【００７３】
復号手段４０６は、ビットストリームを復号し、分割モードを表す分割モード情報を取得する。
【００７４】
決定手段４０７は、予測手段４０５から取得した予測モードと、復号手段４０６から取得した分割モード情報とから分割モードを決定する。決定した分割モードは、格納手段４０１に出力され、格納される。
【００７５】
これにより、第１取得手段４０２及び第２取得手段４０４を用いることで、空間方向の復号済みブロックの分割モード、時間方向の復号済みブロックの分割モードを取得できる。実施例２における画像復号装置３００は、これらの分割モードを用いることで、分割モードの予測精度を向上させた符号化に対応し、復号効率を上げることが可能になる。
【００７６】
［実施例３］
次に、実施例３における画像符号化装置について説明する。実施例３における画像符号化装置の構成は、図８に示した構成と同様であり、実施例３における画像符号化装置の分割モードの予測に関する機能は、図９、１０における機能と同じ符号を用いて説明する。
【００７７】
また、実施例３では、HEVC提案手法に対する適用例を示す。この例では、従来のマクロブロックに相当するCoding unit（CU）、CUをさらに予測単位のパーティションに分割したPrediction unit（PU）、そしてCUにおける直交変換単位のパーティションに分割したTransform unit （TU）として細分化されている。
【００７８】
まず、CUのブロック分割構造を定められた順番に走査していく。走査順は、ブロックをQuad treeで分割していくものや、ラスタスキャン順が考えられる。図１３は、Quad treeの階層構造を説明する図である。図１３に示すように、Quad treeを例にすると、CUは階層化されており、最下層がPU、TUにあたる。CUの符号化では、符号化対象CU内が分割されていれば、4分割の左上ブロック1から右下ブロック4に向けて順に分割の階層を決定する。すなわち、ブロック1の最下層を決定してから、ブロック2、ブロック3、ブロック4の階層を決定する。
【００７９】
よって、符号化対象の分割ブロックが参照できる符号化済みの領域は、符号化済みの他のCUと符号化対象CUの中の符号化済み分割ブロックになる。ある分割ブロックを符号化するときに参照する符号化済み情報については、同じ階層以下の符号化済み情報を用いることが望ましい。CU、TUの符号化時の分割モードは、分割可否フラグ(split_coding_unit_flag, split_transform_unit_flag)である。例えば、分割可否フラグは、分割されていれば「１」、分割されていなければ「０」である。
【００８０】
次に、実施例３で用いるデータ構造について説明する。図１４は、実施例３におけるGOP構成（IBBP構造）の一例を示した図である。以下、このIBBP構造を例として説明する。I、P、Bは、ピクチャタイプを表し、ピクチャタイプの隣の番号は、時間順を表す。また、符号化順は、I0、P3、B1、B2、P6、B4、B5、P9、B7、B8となる。図１４に示す矢印は、前方向または後方向ベクトルを表す。
【００８１】
実施例３では、図１４に示すB4ピクチャを符号化する場合について説明する。以下の処理は、その他のPピクチャ、Bピクチャにも同様に適用できる。B4ピクチャを符号化する際に、P3ピクチャ、P6ピクチャは既に符号化され、符号化済み画像としてB4ピクチャはP3ピクチャ、P6ピクチャを参照できるようになっている。
【００８２】
格納手段２０１は、符号化済み画像の符号化情報を格納する。例えば、P3ピクチャ、P6ピクチャに関する動きベクトル、ブロックタイプ、分割モードなどの符号化情報を格納する。
【００８３】
第1取得手段２０２は、符号化対象画像に属する符号化済みブロックの分割モードを格納手段２０１から取得する。図１５は、符号化対象ブロックと周辺ブロックとの関係の一例を示す図である。第１取得手段２０２は、例えば、図１５に示すように、符号化対象ブロックCB3の周辺ブロックである左ブロックA、上ブロックBの分割モードA、Bを取得する。ブロックA、Bの分割モードを分割モードA、Bとする。さらに、第１取得手段２０２は、符号化対象ブロックCB3の左上ブロックや右上ブロックの分割モード情報を取得してもよい。また、H.264のように分割モードがブロックタイプとして定義されている符号化方式では、第１取得手段２０２は、ブロックタイプを取得してもよい。
【００８４】
選択手段２０３は、所定の符号化済み画像を選択する。ここで、B4ピクチャは、P3ピクチャ、P6ピクチャを参照することができる。選択手段２０３は、例えば、符号化対象画像と符号化済み画像との間隔が最も小さい符号化済み画像を選択する方が望ましい。これは、符号化対象画像と符号化済み画像との時間間隔が近いほど予測の信頼性が高いからである。
【００８５】
図１６は、符号化対象画像とその参照画像との間隔を説明する図である。図１６に示すように、B4ピクチャとP6ピクチャの間は２ピクチャ間隔であり、B4ピクチャとP3ピクチャの間は１ピクチャ間隔である。この場合、選択手段２０３により、ピクチャ間隔が小さいP3ピクチャが選択される。
【００８６】
第２取得手段２０４は、選択手段２０３で選択された符号化済み画像に属するブロックの符号化情報を格納手段２０１から取得する。第２取得手段２０４は、選択された符号化済み画像内のどのブロックの符号化情報を取得するかを予め決めておくとよい。
【００８７】
図１７は、第２取得手段２０４により取得されるブロックを説明する図である。第２取得手段２０４は、例えば、図１７に示すように、P3ピクチャ内で、符号化対象ブロックCB3と同一位置にあるブロックColB3（CollocatedブロックX）の分割モードXを取得する。さらに、第１取得手段２０４は、第１取得手段２０２で分割モードを取得したブロックと同一位置にあるブロック、すなわちCollocatedブロックColB3の左ブロックA'、上ブロックB'の分割モードA'、B'を格納手段２０１から取得する。
【００８８】
予測手段２０５は、第１取得手段２０２と第２取得手段２０４とから取得した符号化情報に基づいて符号化対象ブロックの分割モードの予測値である予測モードを算出する。図１０で説明したように、予測手段２０５は、第１分割モード予測手段２５１と第２分割モード予測手段２５２を有する。
【００８９】
第１分割モード予測手段２５１は、第１取得手段２０２から取得したB4ピクチャ内の分割モードAを候補モードA、分割モードBを候補モードBとする。
【００９０】
第２分割モード予測手段２５２は、第２取得手段２０４から取得した分割モードXを候補モードXとする。第２分割モード予測手段２５２は、分割モードA'を候補モードA'、分割モードB'を候補モードB'とする。
【００９１】
予測手段２０５は、第１分割モード予測手段２５１と第２分割モード予測手段２５２とから取得した候補モードに基づいて、符号化対象ブロックの分割モードの予測値である予測モードを算出する。例えば、予測手段２０５は、第1取得手段２０２と第２取得手段２０４で取得した同一位置の分割モードを比較する。予測手段２０５は、第１分割モード予測手段２５１から取得した候補モードAと第２分割モード予測手段２５２から取得した候補モードA'とが一致するか比較する。また、予測手段２０５は、第1分割モード予測手段２５１から取得した候補モードBと第２分割モード予測手段２５２から取得した候補モードB'とが一致するか比較する。この比較について図１８及び図１９を用いて説明する。
【００９２】
図１８は、予測手段２０５による比較（その１）を説明する図である。図１８に示すように、予測手段２０５は、比較結果がどちらも一致した場合、第２分割モード予測手段２５２で取得した候補モードXを予測モードに設定する。これは、周辺のブロックの分割モードが一致すれば、符号化対象ブロックCB3とCollocatedブロックの分割モードXが一致する可能性が高いと言えるからである。
【００９３】
図１９は、予測手段２０５による比較（その２）を説明する図である。図１９に示すように、予測手段２０５は、比較結果がどちらか異なる場合、候補モードA、B、A'、B'、Xの中で最も多い分割モードを予測モードとする。これは、必ずしも符号化対象ブロックCB3とCollocatedブロックの分割モードXが一致するとは言えないからである。予測手段２０５は、例えば、分割ありの分割モードが多ければ、分割ありを予測モードとする。
【００９４】
決定手段２０６は、符号化対象ブロックと複数の参照画像におけるブロックマッチングを行い、最も類似した領域を選択できるような分割モードに決定する。ブロックマッチングの評価値は、画素差分絶対値和を用いてもよく、画素差分二乗和でもよい。
【００９５】
符号化手段２０７は、予測手段２０５により予測された予測モードと決定手段２０６で決定された分割モードとが一致するか否かのフラグを算出する。符号化手段２０７は、例えば、一致する場合、不一致フラグを「０」に設定し、不一致である場合、不一致フラグを「１」に設定する。符号化手段２０７は、この不一致フラグを算術符号化するなどしてビットストリームに含める。
【００９６】
図２０は、不一致フラグの一例を示す図である。図２０（A）は、符号化対象CUの予測モードの分割形状を示す。図２０（B）は、符号化対象CUの実際の分割形状と不一致フラグを示す。符号化手段２０７は、例えば、図２０に示すように符号化対象CUのブロック分割が予測モードと同様であるなら不一致フラグを「０」、異なる分割構造（分割形状）であるなら「１」を設定する。
【００９７】
図２０（B）に示すCU1は、予測モードでは分割ありであったが（図２０（A）参照）、実際は分割なしであったので、不一致フラグは「１」が設定されている。また、図２０（B）に示すCU2は、予測モードでは分割なしであったが（図２０（A）参照）、実際は分割ありであったので、不一致フラグは「１」が設定されている。
【００９８】
符号化構造には時間的な相関があるため、不一致フラグの通知ビットは予測が当れば確率的に「０」に偏る。確率が偏ると、算術符号化により符号量を1ビット以下に抑えることができる。もし、符号化構造が異なるならば、その階層以降は、通常の符号化方法を適用する。Quad treeブロック分割の場合は、ブロック分割しない場合は「０」、さらにブロック分割する場合は「１」を通知する。
【００９９】
これにより、空間方向及び時間方向を用いて予測した予測モードが実際の分割モードと一致すれば、符号量を減らすことが可能になる。
【０１００】
次に、実施例３における画像符号化装置の動作について説明する。図２１は、実施例３における分割モード符号化処理の一例を示すフローチャートである。
【０１０１】
図２１に示すステップＳ１０１で、格納手段２０１は、符号化済み画像のブロック単位の動きベクトル、ブロックタイプ、分割モードなどの符号化情報を格納する。
【０１０２】
ステップＳ１０２、Ｓ１０３で、第1取得手段２０２は、符号化対象画像に属する符号化済みブロックの符号化情報に含まれる分割モードを格納手段２０１から取得する。第１取得手段２０２は、図１５に示す例では、符号化対象ブロックに隣接する左ブロックA、上ブロックBの分割モードA、Bを取得する。
【０１０３】
ステップＳ１０４で、選択手段２０３は、符号化対象画像の参照画像の中で、符号化対象画像との時間間隔が小さい符号化済み画像を選択する。
【０１０４】
ステップＳ１０５で、第２取得手段２０４は、選択手段２０３で選択された符号化済み画像（選択画像）のCollocatedブロックX、その左ブロックA'、上ブロックB'に属する分割モードX、A'、B'を取得する。
【０１０５】
ステップＳ１０６で、第１分割モード予測手段２５１は、分割モードA、Bを候補モードA、Bとし、第２分割モード予測手段２５２は、分割モードX、A'、B'を候補モードX、A'、B'とする。
【０１０６】
ステップＳ１０７で、予測手段２０５は、候補モードAとA'、候補モードBとB'が一致しているか判定する。一致していれば（ステップＳ１０７−ＹＥＳ）ステップＳ１０８に進み、どちらかが一致していなければ（ステップＳ１０７−ＮＯ）ステップＳ１０９に進む。
【０１０７】
ステップＳ１０８で、予測手段２０５は、候補モードXを予測モードに設定する。ステップＳ１０９で、予測手段２０５は、候補モードA、B、X、A'、B'の中で、分割されている方が多ければ分割ありを予測モードに設定し、分割されていない方が多ければ分割なしを予測モードに設定する。
【０１０８】
ステップＳ１１０で、決定手段２０６は、符号化対象ブロックの分割モードをブロックマッチングにより決定する。
【０１０９】
ステップＳ１１１で、符号化手段２０７は、予測モードと分割モードとが一致するか否かを判定する。一致すれば（ステップＳ１１１−ＹＥＳ）ステップＳ１１２に進み、一致しなければ（ステップＳ１１１−ＮＯ）ステップＳ１１３に進む。
【０１１０】
ステップＳ１１２で、符号化手段２０７は、例えば、分割モード情報としての不一致フラグを「０」に設定する。ステップＳ１１３で、符号化手段２０７は、例えば、分割モード情報としての不一致フラグを「１」に設定する。
【０１１１】
以上、実施例３によれば、空間的に近い符号化済みブロックの分割モード、時間的に近い符号化対象ブロックと同一位置及び周辺の符号化済みブロックの分割モードを取得することができる。これにより、符号化対象ブロックの分割モードの予測の精度を向上させることができる。これは、符号化対象ブロックと空間的に近いブロックの分割モードが時間方向において同じであれば、時間方向で同一位置にあるブロックの分割モードと符号化対象ブロックの分割モードとが同じである可能性が高いという考えに基づく。よって、分割モードの予測精度が向上すれば、不一致フラグの値に偏りを持たせることができるので、符号化効率を上げることが可能になる。
【０１１２】
［実施例４］
次に、実施例４における画像復号装置について説明する。実施例４における画像復号装置の構成は、図１１に示した構成と同様であり、実施例４における画像復号装置の予測に関する機能は、図１２に示す機能と同じ符号を用いて説明する。
【０１１３】
また、実施例４における画像復号装置は、実施例３における画像符号化装置で符号化されたビットストリームを復号する。
【０１１４】
格納手段４０１は、過去に復号済みの画像と、ブロック単位の動きベクトル、ブロックタイプ、分割モードなどの復号情報とを格納する。
【０１１５】
第１取得手段４０２は、復号対象画像に属する復号済みブロックの復号情報に含まれる分割モードを格納手段４０１から取得する。ここでは、同じ画面内の、復号対象ブロックの右ブロックAの分割モードA、復号対象ブロックの上ブロックBの分割モードBが取得される。
【０１１６】
選択手段４０３は、格納手段４０１に格納されている復号対象画像以外の複数の復号済み画像の中から所定の復号済み画像を選択する。例えば、選択手段４０３は、復号対象画像と参照画像（復号済み画像）との間隔が最も小さい参照画像を選択する。
【０１１７】
第２取得手段４０４は、選択手段４０３で選択された復号済み画像のCollocatedブロックと、このCollocatedブロックの左ブロックA、上ブロックBの復号情報を格納手段４０１から取得し、分割モードX、A'、B'とする。
【０１１８】
予測手段４０５は、第１取得手段４０２から取得した分割モードA、Bと第２取得手段４０４から取得した分割モードX、A'、B'とに基づいて復号対象ブロックの分割モードの予測値である予測モードを算出する。
【０１１９】
例えば、予測手段４０５は、候補モードAと候補モードA'とが一致するか比較し、候補モードBと候補モードB'とが一致するか比較する。予測手段４０５は、比較結果が一致すれば分割モードXを予測モードに設定する。予測手段４０５は、比較結果が一致しなければ分割モードA、B、X、A'、B'の中で、分割のあり無しについて多数決で決める。
【０１２０】
復号手段４０６は、ビットストリームを復号し、分割モードを表す分割モード情報を取得する。この場合、分割モード情報として、不一致フラグが取得される。例えば、不一致フラグは、一致すれば「０」、不一致であれば「１」が設定されるとする。
【０１２１】
決定手段４０７は、分割モード情報の不一致フラグが「０」であれば、予測手段４０５から取得した予測モードを分割モードに決定し、不一致フラグが「１」であれば、予測モード以外の分割モードに決定する。決定した分割モードは、格納手段４０１に出力され、格納される。
【０１２２】
これにより、実施例３で説明した画像符号化装置で生成されたビットストリームを復号することができる。
【０１２３】
次に、実施例４における画像復号装置の動作について説明する。図２２は、実施例４における分割モード復号処理の一例を示すフローチャートである。
【０１２４】
図２２に示すステップＳ２０１で、格納手段４０１は、復号済み画像のブロック単位の動きベクトル、ブロックタイプ、分割モードなどの復号情報を格納する。
【０１２５】
ステップＳ２０２、Ｓ２０３で、第1取得手段４０２は、復号対象画像に属する復号済みブロックの復号情報に含まれる分割モードを取得する。第１取得手段４０２は、図１５に示す例では、復号対象ブロックに隣接する左ブロックA、上ブロックBの分割モードA、Bを取得する。
【０１２６】
ステップＳ２０４で、選択手段４０３は、復号対象画像の参照画像の中で、復号対象画像との時間間隔が小さい復号済み画像を選択する。
【０１２７】
ステップＳ２０５で、第２取得手段４０４は、選択手段４０３で選択された復号済み画像のCollocatedブロックX、その左ブロックA'、上ブロックB'に属する分割モードX、A'、B'を取得する。
【０１２８】
ステップＳ２０６で、予測手段４０５は、分割モードA、Bを候補モードA、Bとし、分割モードX、A'、B'を候補モードX、A'、B'とする。
【０１２９】
ステップＳ２０７で、予測手段４０５は、候補モードAとA'、候補モードBとB'が一致しているかを判定する。一致していれば（ステップＳ２０７−ＹＥＳ）ステップＳ２０８に進み、どちらかが一致していなければ（ステップＳ２０７−ＮＯ）ステップＳ２０９に進む。
【０１３０】
ステップＳ２０８で、予測手段４０５は、候補モードXを予測モードに設定する。ステップＳ２０９で、予測手段４０５は、候補モードA、B、X、A'、B'の中で、分割されている方が多ければ分割ありを予測モードに設定し、分割されていない方が多ければ分割なしを予測モードに設定する。
【０１３１】
ステップＳ２１０で、復号手段４０６は、ビットストリーム（符号化データ）を復号し、分割モード情報を取得する。
【０１３２】
ステップＳ２１１で、決定手段４０７は、分割モード情報が示す不一致フラグが「０」であるかを判定する。不一致フラグが「０」であれば（ステップＳ２１１−ＹＥＳ）ステップＳ２１２に進み、不一致フラグが「１」であれば（ステップＳ２１１−ＮＯ）ステップＳ２１３に進む。
【０１３３】
ステップＳ２１２で、決定手段４０７は、予測モードが示す分割モードに決定する。ステップＳ２１３で、決定手段４０７は、予測モード以外の分割モードに決定する。
【０１３４】
以上、実施例４によれば、空間的に近い符号化済みブロックの分割モード、時間的に近い符号化対象ブロックと同一位置及び周辺の符号化済みブロックの復号ブロックの分割モードを取得することができる。これにより、分割モードの予測精度を上げた符号化に対応して、復号対象ブロックの分割モードを決定することができる。
【０１３５】
［実施例５］
次に、実施例５における画像符号化装置について説明する。H.264の分割モード符号化では、ブロックタイプとしてさまざまな形状の分割モードを符号化している。HEVC提案手法の予測単位のパーティションの分割モードであるPrediction unit（PU）はPUについてはブロックタイプを符号化するため、H.264のマクロブロックタイプと同様に考えてよい。そこで、実施例５では、ブロックタイプに対する適用例を示す。
【０１３６】
図２３は、実施例５におけるGOP構成（B階層構造）を示した図である。以下、このB階層構造を例として説明する。I、P、Bはピクチャタイプを表し、ピクチャタイプの隣の番号は時間順を表す。符号化順は、I0、P8、B4、B2、B6、B1、B3、B5、B7となる。図２３に示す矢印は、前方向または後方向ベクトルを表す。
【０１３７】
実施例５における画像符号化装置の構成は、図４に示した構成と同様であるため、同じ符号を用いて説明する。実施例５における分割モードの予測に関する機能は、図２４に示す。図２４は、実施例５における分割モードの予測に関する機能の一例を示すブロック図である。
【０１３８】
実施例５における画像符号化装置は、格納手段２０１、選択手段５０１、第１取得手段５０２、第２取得手段５０３、予測手段５０４、決定手段２０６、符号化手段５０５を含む。図２４に示す機能で、図９に示す機能と同様のものは同じ符号を付す。
【０１３９】
実施例５では、図２３に示すB5ピクチャを符号化対象画像として、分割モードの予測の仕方を説明する。なお、他のP、Bピクチャについても実施例５は同様に適用可能である。格納手段２０１は、実施例３と同様である。
【０１４０】
選択手段５０１は、例えば、符号化対象画像と符号化済み画像との間隔が最も小さい符号化済み画像を選択する。これは、符号化対象画像と符号化済み画像との時間間隔が近いほど予測の信頼性が高いからである。図２３に示すように、B5ピクチャとB4ピクチャ、B5ピクチャとB6ピクチャの時間的な間隔は１ピクチャであり同一である。この中で１ピクチャを選択する場合、選択手段５０１は、符号化済み画像と符号化済み画像の参照画像との間隔が最も小さい符号化済み画像を選択する。これは、符号化済み画像と符号化済み画像の参照画像との間隔が近いほど予測の信頼性が高いからである。
【０１４１】
図２５は、ピクチャ間隔の一例を示す図である。図２５に示すように、B4ピクチャは、P8ピクチャを参照しており、B6ピクチャはB4ピクチャを参照している。また、B5ピクチャはB4ピクチャとP8ピクチャ、B4ピクチャとB6ピクチャの間に存在する。すなわち、符号化済み画像と符号化済み画像の参照画像の間に符号化対象画像が存在する。B4ピクチャとP8ピクチャの間は４ピクチャ間隔であり、B4ピクチャとB6ピクチャの間は２ピクチャ間隔であるため、B6ピクチャが選択手段５０１により選択される。選択手段５０１は、選択したピクチャの情報を第１取得手段５０２、第２取得手段５０３に通知する。
【０１４２】
第１取得手段５０２は、符号化対象画像に属する符号化済みブロックの符号化情報を格納手段２０１から取得する。図２６は、第１取得手段５０２により取得される符号化情報の一例を示す図である。第１取得手段５０２は、例えば、図２６に示すように、符号化対象ブロックCB4の左ブロックA、上ブロックBのB6ピクチャに対する動きベクトルA、Bを取得する。ここで、ブロックAの動きベクトルを動きベクトルA、ブロックBの動きベクトルを動きベクトルBと呼ぶ。第１取得手段５０２は、選択手段５０１から通知されたピクチャに対する動きベクトルを取得する。この場合、B6ピクチャに対する動きベクトルが取得される。
【０１４３】
第１取得手段５０２は、B6ピクチャに対する動きベクトルがない場合、同方向に存在するP8ピクチャへの動きベクトルが存在する場合は、適切に時間方向スケーリングを行い、B6ピクチャに対する動きベクトルを算出する。この場合、B6ピクチャに対する動きベクトルは、P8ピクチャへの動きベクトルの１／３である。第１取得手段５０２は、取得した動きベクトルを第２取得手段５０３に出力する。なお、第１取得手段５０２は、動きベクトルを取得するブロックがイントラ符号化されていた場合は、動きベクトルを無効とする。
【０１４４】
第２取得手段５０３は、選択手段５０１で選択された符号化済み画像に属するブロックの符号化情報を格納手段２０１から取得する。第２取得手段５０３は、第1取得手段５０２から取得した複数の動きベクトルに基づいて、例えば中間値や平均値のベクトルを算出する。これを仮動きベクトルとする。ここでは、仮動きベクトルの例として平均値のベクトルを算出するとする。また、第1取得手段５０１から得られた動きベクトルが全て無効である場合はゼロベクトルとする。
【０１４５】
図２７は、仮動きベクトルの一例を示す図である。図２７に示すように、第２取得手段５０３は、以下の式で仮動きベクトルを求める。
仮動きベクトル＝（動きベクトルA＋動きベクトルB）／２
これにより、第２取得手段５０３は、算出された平均ベクトル（pvx, pvy）を符号化対象ブロックの推測ベクトル（仮動きベクトル）PVとして、B6ピクチャへの符号化対象ブロックに相当する移動先座標を推測する。符号化対象ブロックCB4の座標が（x,y）とすると、移動先座標は（x+pvx, y+pvy）である。第２取得手段５０３は、その移動先座標を含むB6ピクチャのブロックBl1（ブロックX）の分割モードXを取得する。なお、移動先座標が画面外に出る場合は、ブロックXの分割モードを取得することができない。そこで、この場合は、選択手段５０１、第１取得手段５０２、第２取得手段５０３、予測手段５０４は、実施例３で説明した処理を行うようにすればよい。また、ブロックXがイントラ予測で符号化されている場合は、分割モードXを無効にする。
【０１４６】
予測手段５０４は、第２取得手段５０３から取得した符号化情報に基づいて符号化対象ブロックの分割モードの予測値である予測モードを算出する。例えば、予測手段５０４は、第２取得手段５０３から取得した分割モードXをそのまま予測モードXに設定する。決定手段２０６については、例えば実施例３で示した動作と同様でもよい。
【０１４７】
符号化手段５０５は、H.264の分割モード符号化方法を例にして説明する。図２８は、符号化テーブルの一例を示す図である。符号化手段５０５は、図２８に示すように分割モードと、参照方向を示す参照モード（前方向、後方向、双方向）とをブロックタイプとして符号化する。ここで、符号が小さい方が符号量も小さくなるとする。H.264では、図２８（A）に示すように、予め決められた符号が分割タイプを基準に順番に割り当てられており効率的ではない。実施例５では、符号化手段５０５は、分割モードの予測モードを基準に符号化テーブルを変更する。例えば、符号化手段５０５は、予測モードXを含むブロックの符号量を小さくするように符号化テーブルを適応的に変更する。
【０１４８】
例えば、予測モードが8x8分割であった場合、符号化手段５０５は、図２８（B）に示すように8x8分割を含むマクロブロックタイプの順位を上げる。また、符号化手段５０５は、分割しているブロック（例えば16x8，8x16）を分割していないブロック（16x16）より順位を上げる。予測モードXがイントラ予測で符号化されており無効である場合は、符号化テーブルの変更を行わない。
【０１４９】
これにより、予測モードが実際の分割モードと一致すれば、値が小さい符号で符号化できるので、ブロックタイプに係る符号量を削減することが可能になる。
【０１５０】
次に、実施例５における画像符号化装置の動作について説明する。図２９は、実施例５における分割モードの符号化処理の一例を示すフローチャートである。図２９に示すステップＳ３０１で、格納手段２０１は、符号化済み画像のブロック単位の動きベクトル、ブロックタイプ、分割モードなどの符号化情報を格納する。
【０１５１】
ステップＳ３０２、Ｓ３０３で、第1取得手段５０２は、符号化対象画像に属する符号化済みブロックの符号化情報に含まれる動きベクトルを取得する。第１取得手段５０２は、図２６に示す例では、符号化対象ブロックに隣接する左ブロックA、上ブロックBの動きベクトルA、Bを取得する。
【０１５２】
ステップＳ３０４で、選択手段５０１は、符号化対象画像の参照画像の中で、符号化対象画像との時間間隔が小さい符号化済み画像（選択画像）を選択する。
【０１５３】
ステップＳ３０５で、選択手段５０１は、選択画像が１つであるか否かを判定する。選択画像が１つであれば（ステップＳ３０５−ＹＥＳ）ステップＳ３０７に進み、選択画像が複数あれば（ステップＳ３０５−ＮＯ）ステップＳ３０６に進む。
【０１５４】
ステップＳ３０６で、選択手段５０１は、選択画像とその参照画像との時間間隔が最小となる符号化済み画像を選択する。
【０１５５】
ステップＳ３０７で、第２取得手段５０３は、第１取得手段５０２から取得した動きベクトルA、Bが、選択手段５０１により選択された選択画像もしくは符号化対象画像方向の参照画像を指し示すか判定する。動きベクトルA、Bがこれらの画像を指し示さなければ動きベクトルは無効であるとする。よって、動きベクトルA、Bの両方が無効であれば（ステップＳ３０７−ＹＥＳ）ステップＳ３０８に進み、いずれか一方が有効であれば（ステップＳ３０７−ＮＯ）ステップＳ３０９に進む。
【０１５６】
ステップＳ３０８で、第２取得手段５０３は、動きベクトルA、Bをゼロベクトルとする。
【０１５７】
ステップＳ３０９で、第２取得手段５０３は、動きベクトルA、Bの平均ベクトルPVを計算する。第２取得手段５０３は、有効な動きベクトルが一つしかなければ、その動きベクトルを平均し推測ベクトルPVとする。
【０１５８】
ステップＳ３１０で、第２取得手段５０３は、推測ベクトルPVを用いて、符号化対象ブロックの選択画像への移動先座標を計算する。
【０１５９】
ステップＳ３１１で、第２取得手段５０３は、移動先座標を含むブロックの分割モードXを取得する。
【０１６０】
ステップＳ３１２で、予測手段５０４は、第２取得手段５０３により取得した分割モードXを予測モードに設定する。
【０１６１】
ステップＳ３１３で、符号化手段５０５は、予測モードに応じてVLC（可変長符号化）テーブルの符号量の割り当てを変更する。例えば、符号化手段５０５は、予測モードの分割形状を値が小さい符号になるようにVLCテーブルを変更する。
【０１６２】
ステップＳ３１４で、決定手段２０６は、符号化対象ブロックの分割モードをブロックマッチングにより決定する。
【０１６３】
ステップＳ３１５で、符号化手段５０５は、決定手段２０６により決定された分割モードをVLCテーブルに応じて符号に変換する。この符号を分割モード情報とする。分割モード情報は、ビットストリームに含まれる。
【０１６４】
なお、ステップＳ３１０の後に、第２取得手段５０３は、移動先座標が画面内にあるか否かを判定してもよい。画面外にあれば、図２１に示すステップＳ１０３以降の処理を行うことで、分割モードの予測モードを設定することもできる。また、簡略化して、第２取得手段５０３は、移動先座標が画面外にあると判定すれば、分割モードXを、分割を表す分割モードに設定してもよい。
【０１６５】
以上、実施例５によれば、符号化対象ブロックと類似するブロックを時間方向で見つけることにより符号化効率を上げることができる。これは、時間方向において、符号化対象ブロックと類似するブロックの分割モードは、符号化対象ブロックの分割モードと同じである可能性が高いという考えに基づく。よって、分割モードの予測精度が向上すれば、VLCテーブルにより変換される符号の符号量を削減できるので、符号化効率を上げることが可能になる。
【０１６６】
［実施例６］
次に、実施例６における画像復号装置について説明する。実施例６における画像復号装置の構成は、図１１に示した構成と同様である。また、実施例６における分割モードの予測に関する機能は、図３０に示す。図３０は、実施例６における分割モードの予測に関する機能の一例を示すブロック図である。
【０１６７】
また、実施例６における画像復号装置は、実施例５における画像符号化装置で符号化されたビットストリームを復号する。
【０１６８】
実施例６における画像復号装置は、格納手段４０１、選択手段６０１、第１取得手段６０２、第２取得手段６０３、予測手段６０４、復号手段４０６、決定手段６０５を含む。図３０に示す機能において、図１２に示す機能と同様のものは同じ符号を付す。格納手段４０１は、実施例４と同様である。
【０１６９】
選択手段６０１は、例えば、復号対象画像と復号済み画像との間隔が最も小さい復号済み画像を選択する。選択した画像が複数ある場合は、選択手段６０１は、復号済み画像と復号済み画像の参照画像の間隔が最も小さい復号済み画像を選択する。選択手段６０１は、選択したピクチャの情報を第１取得手段６０２、第２取得手段６０３に通知する。
【０１７０】
第１取得手段６０２は、復号対象画像に属する復号済みブロックの復号情報に含まれる動きベクトルを取得する。第１取得手段６０２は、例えば、復号対象ブロックの左ブロックA、上ブロックBの動きベクトルを取得する。第１取得手段６０２は、選択手段６０１から通知されたピクチャに対する動きベクトルを取得する。
【０１７１】
第１取得手段６０２は、選択されたピクチャに対する動きベクトルがない場合、同方向に存在するピクチャへの動きベクトルが存在する場合は、適切に時間方向スケーリングを行い、選択されたピクチャに対する動きベクトルを算出する。第１取得手段６０２は、取得した動きベクトルを第２取得手段６０３に出力する。なお、第１取得手段６０２は、動きベクトルを取得するブロックがイントラ符号化されていた場合は、動きベクトルを無効とする。
【０１７２】
第２取得手段６０３は、選択手段６０１で選択された復号済み画像に属するブロックの復号情報を取得する。第２取得手段６０３は、第1取得手段６０２から取得した複数の動きベクトルに基づいて、例えば中間値や平均値のベクトルを算出する。これを仮動きベクトルとする。ここでは、仮動きベクトルの例として平均値のベクトルを算出するとする。また、第1取得手段６０２から得られた動きベクトルが全て無効である場合はゼロベクトルとする。
【０１７３】
第２取得手段６０３は、算出された平均ベクトル（pvx, pvy）を復号対象ブロックの推測ベクトル（仮動きベクトル）PVとして、選択された復号済み画像への復号対象ブロックに相当する移動先座標を推測する。復号対象ブロックの座標が（x,y）とすると、移動先座標は（x+pvx, y+pvy）である。
【０１７４】
第２取得手段６０３は、その移動先座標を含む復号済み画像のブロックXの分割モードXを取得する。なお、移動先座標が画面外に出る場合は、ブロックXの分割モードを取得することができない。そこで、この場合は、選択手段６０１、第１取得手段６０２、第２取得手段６０３、予測手段６０４は、実施例４で説明した処理を行うようにすればよい。また、ブロックXがイントラ予測で符号化されている場合は、分割モードXを無効にする。
【０１７５】
予測手段６０４は、第２取得手段６０３から取得した復号情報に基づいて復号対象ブロックの分割モードの予測値である予測モードを算出する。例えば、予測手段６０４は、第２取得手段６０３から取得した分割モードXをそのまま予測モードXに設定する。復号手段４０６については、例えば実施例４で示した動作と同様でもよい。
【０１７６】
決定手段６０５は、取得した予測モードを基準に復号テーブルを設定する。例えば、決定手段６０５は、予測モードXを含むブロックを上位にするように復号テーブルを適応的に変更する。
【０１７７】
例えば、予測モードが8x8分割であった場合、決定手段６０５は、8x8分割を含むマクロブロックタイプの順位を上げる。また、決定手段６０５は、分割しているブロック（例えば16x8，8x16）を分割していないブロック（16x16）より順位を上げる。予測モードXがイントラ予測で符号化されており無効である場合は、復号テーブルの変更を行わない。決定手段６０５は、分割モード情報が示す符号と復号テーブルとに基づき、分割モードを決定する。
【０１７８】
次に、実施例６における画像復号装置の動作について説明する。図３１は、実施例６における分割モード復号処理の一例を示すフローチャートである。図３１に示すステップＳ４０１で、格納手段４０１は、復号済み画像のブロック単位の動きベクトル、ブロックタイプ、分割モードなどの復号情報を格納する。
【０１７９】
ステップＳ４０２、Ｓ４０３で、第1取得手段６０２は、復号対象画像に属する復号済みブロックの復号情報に含まれる動きベクトルを取得する。第１取得手段６０２は、復号対象ブロックに隣接する左ブロックAの動きベクトルA、上ブロックBの動きベクトルBを取得する。
【０１８０】
ステップＳ４０４で、選択手段６０１は、復号対象画像の参照画像の中で、復号対象画像との時間間隔が小さい復号済み画像（選択画像）を選択する。
【０１８１】
ステップＳ４０５で、選択手段６０１は、選択画像が１つであるか否かを判定する。選択画像が１つであれば（ステップＳ４０５−ＹＥＳ）ステップＳ４０７に進み、選択画像が複数あれば（ステップＳ４０５−ＮＯ）ステップＳ４０６に進む。
【０１８２】
ステップＳ４０６で、選択手段６０１は、選択画像とその参照画像との時間間隔が最小となる復号済み画像を選択する。
【０１８３】
ステップＳ４０７で、第２取得手段６０３は、第１取得手段６０２から取得した動きベクトルA、Bが、選択手段６０１により選択された選択画像もしくは復号対象画像方向の参照画像を指し示すか判定する。動きベクトルA、Bがこれらの画像を指し示さなければ動きベクトルは無効であるとする。よって、動きベクトルA、Bの両方が無効であれば（ステップＳ４０７−ＹＥＳ）ステップＳ４０８に進み、いずれか一方が有効であれば（ステップＳ４０７−ＮＯ）ステップＳ４０９に進む。
【０１８４】
ステップＳ４０８で、第２取得手段６０３は、動きベクトルA、Bをゼロベクトルとする。
【０１８５】
ステップＳ４０９で、第２取得手段６０３は、動きベクトルA、Bを平均し、推測ベクトルPVを計算する。第２取得手段６０３は、有効な動きベクトルが一つしかなければ、その動きベクトルを平均ベクトルPVとする。
【０１８６】
ステップＳ４１０で、第２取得手段６０３は、推測ベクトルPVを用いて、復号対象ブロックの選択画像への移動先座標を計算する。
【０１８７】
ステップＳ４１１で、第２取得手段６０３は、移動先座標を含むブロックの分割モードXを取得する。
【０１８８】
ステップＳ４１２で、予測手段６０４は、第２取得手段６０３により取得した分割モードXを予測モードに設定する。
【０１８９】
ステップＳ４１３で、決定手段６０５は、予測モードに応じてVLD（可変長復号）テーブルを変更する。例えば、決定手段６０５は、予測モードの分割形状を示す分割モードが上位にくるようにVLDテーブルを変更する。
【０１９０】
ステップＳ４１４で、復号手段４０６は、ビットストリームを復号し、復号対象ブロックの分割モード情報を取得する。
【０１９１】
ステップＳ４１５で、決定手段６０５は、復号手段４０６により決定された分割モード情報が示す符号をVLDテーブルに応じて分割モードに変換する。決定手段６０５は、これにより分割モードを決定することができる。
【０１９２】
なお、ステップＳ４１０の後に、第２取得手段６０３は、移動先座標が画面内にあるか否かを判定してもよい。画面外にあれば、図２２に示すステップＳ２０３以降の処理を行うことで、分割モードを決定することもできる。また、簡略化して、第２取得手段６０３は、移動先座標が画面外にあると判定すれば、分割モードXを、分割を表す分割モードに設定してもよい。
【０１９３】
以上、実施例６によれば、実施例５により分割モードの予測精度を上げた符号化に対応して、復号対象ブロックの分割モードを決定することができる。
【０１９４】
［実施例７］
次に、実施例７における画像符号化装置について説明する。実施例７における画像符号化装置の構成については、図８に示した構成と同様であり、分割モードの予測に関する機能は、図３２に示す。図３２は、実施例７における分割モードの予測に関する機能の一例を示すブロック図である。
【０１９５】
図３２に示す画像符号化装置は、格納手段２０１、選択手段７０１、第１取得手段７０２、第２取得手段７０３、予測手段７０４、決定手段２０６、符号化手段５０５を含む。なお、図３２に示す機能において、図９及び図２４と同様の機能のものは同じ符号を付す。
【０１９６】
実施例７では、図２３に示すB5ピクチャを符号化する例を用いて説明する。B5ピクチャを符号化する際、すでにB4ピクチャ、B6ピクチャ、P8ピクチャは符号化され、これらのB4、B6、P8ピクチャは、符号化済み画像としてB5ピクチャで参照可能となっている。
【０１９７】
格納手段２０１、選択手段５０１は、実施例３、５と同様である。図３３は、実施例７における周辺ブロックの一例を示す図である。第１取得手段７０１は、図３３に示すように、符号化対象ブロックCB5の左ブロックA、上ブロックB、右上のブロックCそれぞれの動きベクトルA、B、C及び分割モードA、B、Cを取得する。
【０１９８】
第２取得手段７０２は、まず実施例５と同様に第1取得手段７０１から取得した複数の動きベクトルに基づいて、例えば中間値や平均値のベクトルを算出する。また、第1取得手段７０１から取得した動きベクトルが全て無効である場合はゼロベクトルとする。
【０１９９】
第２取得手段７０２は、以下の式で平均ベクトルを求める。
平均ベクトル＝（動きベクトルＡ+動きベクトルＢ+動きベクトルＣ）／３
第２取得手段７０２は、算出した平均ベクトル（pvx, pvy）を符号化対象ブロックの推測ベクトルPVとして、B6ピクチャへの符号化対象ブロックに相当する移動先座標を推測する。符号化対象ブロックの座標が（x,y）だとすると、移動先座標は（x+pvy, y+pvy）である。
【０２００】
図３４は、第２取得手段７０２により指定する周辺ブロックの一例を示す図である。ここで、第２取得手段７０２は、より正確に移動先を求めるため、例えば図３４に示すように、移動先座標（x+pvy, y+pvy）を含むブロックXを含む、周辺ブロックA'〜H'のB6ピクチャからB4ピクチャへの動きベクトルを取得する。符号化済み画像の全ての情報が使用できるため符号化情報を取得する領域は予め指定された領域でよい。
【０２０１】
図３５は、第２取得手段７０２により取得されるブロックの一例を示す図である。第２取得手段７０２は、図３５に示すように、B6ピクチャからB4ピクチャへの動きベクトルMVF1〜3の中で符号化対象ブロックCB5を通る動きベクトルMVF2を含むブロックXの分割モードを取得する。指定されたA'〜H'が全てイントラ予測で符号化されているなどして符号化対象ブロックCB5を通る動きベクトルがない場合は分割モードを無効とする。
【０２０２】
次に、予測手段７０３について説明する。図３６は、予測手段７０３の機能の一例を示すブロック図である。図３６に示すように、予測手段７０３は、第1分割モード予測手段７３１と第２分割モード予測手段７３２を含む。第２分割モード予測手段７３２は、第２取得手段７０２から取得した分割モードが複数存在する場合、最も多いモードを候補モードXとする。同数であれば分割されるモードが優先される。
【０２０３】
第１分割モード予測手段７３１は、第1取得手段７０１から取得したB6ピクチャ内のブロックAの分割モードA、ブロックBの分割モードB、ブロックCの分割モードCの中で最も多いモードを候補モードYとする。
【０２０４】
予測手段７０３は、候補モードXが有効であれば、候補モードXを他の候補モードよりも優先して予測モードとし、候補モードXが無効であれば、候補モードYを予測モードとする。候補モードXを有するブロックは、符号化対象ブロックと類似する可能性が高いからである。
【０２０５】
決定手段２０６、符号化手段５０５については、実施例３、５で示した動作と同様でもよい。
【０２０６】
次に、実施例７における画像符号化装置の動作について説明する。図３７は、実施例７における分割モード符号化処理の一例を示すフローチャートである。図３７Aに示すステップＳ５０１で、格納手段２０１は、符号化済み画像のブロック単位の動きベクトル、ブロックタイプ、分割モードなどの符号化情報を格納する。
【０２０７】
ステップＳ５０２、Ｓ５０３で、第1取得手段７０１は、符号化対象画像に属する符号化済みブロックの符号化情報に含まれる動きベクトルを取得する。第１取得手段７０１は、図３３に示す例では、符号化対象ブロックに隣接する左ブロックA、上ブロックB、右上ブロックCそれぞれの動きベクトルA、B、Cを格納手段２０１から取得する。ブロックCの動きベクトルを動きベクトルCとする。
【０２０８】
ステップＳ５０４で、選択手段５０１は、符号化対象画像の参照画像の中で、符号化対象画像との時間間隔が小さい符号化済み画像（選択画像）を選択する。
【０２０９】
ステップＳ５０５で、選択手段５０１は、選択画像が１つであるか否かを判定する。選択画像が１つであれば（ステップＳ５０５−ＹＥＳ）ステップＳ５０７に進み、選択画像が複数あれば（ステップＳ５０５−ＮＯ）ステップＳ５０６に進む。
【０２１０】
ステップＳ５０６で、選択手段５０１は、選択画像とその参照画像との時間間隔が最小となる符号化済み画像を選択する。
【０２１１】
ステップＳ５０７で、第２取得手段７０２は、第１取得手段７０１から取得した動きベクトルA、B、Cが、選択手段５０１により選択された選択画像もしくは符号化対象画像方向の参照画像を指し示すか判定する。動きベクトルA、B、Cがこれらの画像を指し示さなければ動きベクトルは無効であるとする。また、イントラ符号化されている場合も、動きベクトルは無効とする。よって、動きベクトルA、B、C全てが無効であれば（ステップＳ５０７−ＹＥＳ）ステップＳ５０９に進み、少なくとも１つが有効であれば（ステップＳ５０７−ＮＯ）ステップＳ５０８に進む。
【０２１２】
ステップＳ５０８で、第２取得手段７０２は、動きベクトルA、B、Cを平均し、推測ベクトルPVを計算する。第２取得手段７０２は、有効な動きベクトルが一つしかなければ、その動きベクトルを推測ベクトルPVとする。
【０２１３】
ステップＳ５０９で、第２取得手段７０２は、動きベクトルA、B、Cをゼロベクトルとする。
【０２１４】
ステップＳ５１０で、第２取得手段７０２は、推測ベクトルPVを用いて、符号化対象ブロックの選択画像への移動先座標を計算する。
【０２１５】
ステップＳ５１１で、第２取得手段７０２は、移動先座標を含むブロックを中心に周辺ブロックを指定する。
【０２１６】
ステップＳ５１２で、第２取得手段７０２は、指定されたブロックの動きベクトルを取得する。
【０２１７】
ステップＳ５１３で、第２取得手段７０２は、符号化対象ブロックを通る動きベクトルの分割モードXを取得する。
【０２１８】
図３７Bに示すステップＳ５１４で、第２分割モード予測手段７３２は、分割モードXが複数あるか判定する。分割モードXが複数あれば（ステップＳ５１４−ＹＥＳ）ステップＳ５１５に進み、分割モードXが１つしかなければ（ステップＳ５１４−ＮＯ）ステップＳ５１６に進む。
【０２１９】
ステップＳ５１５で、第２分割モード予測手段７３２は、複数の分割モードXから多数決により候補モードXを決定する。
【０２２０】
ステップＳ５１６で、第１分割モード予測手段７３１は、分割モードA、B、Cから多数決により候補モードYを決定する。
【０２２１】
ステップＳ５１７で、予測手段７０３は、候補モードXが有効かを判定する。候補モードXが有効であれば（ステップＳ５１７−ＹＥＳ）ステップＳ５１８に進み、候補モードXが無効であれば（ステップＳ５１７−ＮＯ）ステップＳ５１９に進む。
【０２２２】
ステップＳ５１８で、予測手段７０３は、候補モードXを候補Yよりも優先して予測モードとする。符号化対象ブロックと空間的に隣接するブロックよりも、時間的に類似するブロックを優先した方が、予測精度が上がる可能性が高いからである。ステップＳ５１９で、予測手段７０３は、候補モードYを予測モードとする。
【０２２３】
ステップＳ５２０で、符号化手段５０５は、予測モードに応じてVLC（可変長符号化）テーブルの符号量の割り当てを変更する。例えば、符号化手段５０５は、予測モードの分割形状を値が小さい符号になるようにVLCテーブルを変更する。
【０２２４】
ステップＳ５２１で、決定手段２０６は、符号化対象ブロックの分割モードをブロックマッチングにより決定する。
【０２２５】
ステップＳ５２２で、符号化手段５０５は、決定手段２０６により決定された分割モードをVLCテーブルに応じて符号に変換する。この符号を分割モード情報とする。分割モード情報は、ビットストリームに含まれる。
【０２２６】
なお、ステップＳ５１０の後に、第２取得手段７０２は、移動先座標が画面内にあるか否かを判定してもよい。画面外にあれば、図２１に示すステップＳ１０３以降の処理を行うことで、分割モードの予測モードを設定することもできる。また、簡略化して、第２取得手段７０２は、移動先座標が画面外にあると判定すれば、分割モードXを、分割を表す分割モードに設定してもよい。
【０２２７】
以上、実施例７によれば、実施例５よりも、符号化対象ブロックと類似するブロックを時間方向で見つけることができる可能性がある。これは、符号化対象ブロックを通る動きベクトルを有するブロックは、符号化対象ブロックに対しより類似すると言えるからである。よって、分割モードの予測精度が向上すれば、VLCテーブルにより変換される符号の符号量を削減できるので、符号化効率を上げることが可能になる。
【０２２８】
［実施例８］
次に、実施例８における画像復号装置について説明する。実施例８における画像復号装置の構成は、図１１に示した構成と同様であり、分割モードの予測に関する機能は、図３８に示す。図３８は、実施例８における分割モードの予測に関する機能の一例を示すブロック図である。
【０２２９】
図３８に示す画像復号装置は、格納手段４０１、選択手段６０１、第１取得手段８０１、第２取得手段８０２、予測手段８０３、復号手段４０６、決定手段６０５を含む。なお、図３８に示す機能において、図１２、３０と同様の機能のものは同じ符号を付す。
【０２３０】
また、実施例８における画像復号装置は、実施例７における画像符号化装置で符号化されたビットストリームを復号する。
【０２３１】
格納手段４０１、選択手段６０１は、実施例４、６と同様である。第１取得手段８０１、復号対象ブロックの左ブロックA、上ブロックB、右上のブロックCそれぞれの動きベクトルA、B、C及び分割モードA、B、Cを取得する。
【０２３２】
第２取得手段８０２は、まず実施例６と同様に第1取得手段８０１から取得した複数の動きベクトルに基づいて、例えば中間値や平均値のベクトルを算出する。また、第1取得手段８０１から取得した動きベクトルが全て無効である場合はゼロベクトルとする。
【０２３３】
第２取得手段８０２は、以下の式で平均ベクトルを求める。
平均ベクトル＝（動きベクトルA+動きベクトルB+動きベクトルC）／３
第２取得手段８０２は、算出した平均ベクトル（pvx, pvy）を復号対象ブロックの推測ベクトルPVとして、選択されたピクチャへの復号対象ブロックに相当する移動先座標を推測する。復号対象ブロックの座標が（x,y）だとすると、移動先座標は（x+pvy, y+pvy）である。
【０２３４】
第２取得手段８０２は、より正確に移動先を求めるため、移動先座標（x+pvy, y+pvy）を含むブロックXに隣接するブロックA'〜H'の動きベクトルのうち、選択された画像から復号対象画像方向への動きベクトルを取得する。復号済み画像の全ての情報が使用できるため復号情報を取得する領域は、予め指定された領域でよい。
【０２３５】
第２取得手段８０２は、選択された画像から復号対象画像への動きベクトルの中で復号対象ブロックを通る動きベクトルを有するブロックXの分割モードを取得する。指定されたA'〜H'が全てイントラ予測で符号化されている場合、又は復号対象ブロックを通る動きベクトルがない場合は、分割モードを無効とする。
【０２３６】
予測手段８０３は、第２取得手段８０２から取得した分割モードが複数存在する場合、最も多いモードを候補モードXとする。同数であれば分割されるモードが優先される。
【０２３７】
予測手段８０３は、第1取得手段８０１から取得した復号対象画像内のブロックAの分割モードA、ブロックBの分割モードB、ブロックCの分割モードCの中で最も多いモードを候補モードYとする。
【０２３８】
予測手段８０３は、候補モードXが有効であれば、候補モードXを他の候補モードよりも優先して予測モードとし、候補モードXが無効であれば、候補モードYを予測モードとする。
【０２３９】
決定手段４０６、符号化手段６０５については、実施例４、６で示した動作と同様でもよい。
【０２４０】
これにより、実施例７で説明した画像符号化装置で生成されたビットストリームを復号することができる。
【０２４１】
次に、実施例８における画像復号装置の動作について説明する。図３９は、実施例８における分割モード復号処理の一例を示すフローチャートである。
【０２４２】
図３９Aに示すステップＳ６０１で、格納手段４０１は、復号済み画像のブロック単位の動きベクトル、ブロックタイプ、分割モードなどの復号情報を格納する。
【０２４３】
ステップＳ６０２、Ｓ６０３で、第1取得手段８０１は、復号対象画像に属する復号済みブロックの復号情報に含まれる動きベクトルを格納手段４０１から取得する。第１取得手段８０１は、例えば、復号対象ブロックに隣接する左ブロックA、上ブロックB、右上ブロックCそれぞれの動きベクトルA、B、Cを取得する。
【０２４４】
ステップＳ６０４で、選択手段６０１は、復号対象画像の参照画像の中で、復号対象画像との時間間隔が小さい復号済み画像（選択画像）を選択する。
【０２４５】
ステップＳ６０５で、選択手段６０１は、選択画像が１つであるか否かを判定する。選択画像が１つであれば（ステップＳ６０５−ＹＥＳ）ステップＳ６０７に進み、選択画像が複数あれば（ステップＳ６０５−ＮＯ）ステップＳ６０６に進む。
【０２４６】
ステップＳ６０６で、選択手段６０１は、選択画像とその参照画像との時間間隔が最小となる復号済み画像を選択する。
【０２４７】
ステップＳ６０７で、第２取得手段８０２は、第１取得手段８０１から取得した動きベクトルA、B、Cが、選択手段６０１により選択された選択画像もしくは復号対象画像方向の参照画像を指し示すか判定する。動きベクトルA、B、Cがこれらの画像を指し示さなければ動きベクトルは無効であるとする。また、イントラ符号化されている場合も、動きベクトルは無効とする。よって、動きベクトルA、B、C全てが無効であれば（ステップＳ６０７−ＹＥＳ）ステップＳ６０９に進み、少なくともいずれか一方が有効であれば（ステップＳ６０７−ＮＯ）ステップＳ６０８に進む。
【０２４８】
ステップＳ６０８で、第２取得手段８０２は、動きベクトルA、B、Cを平均し、推測ベクトルPVを計算する。第２取得手段８０２は、有効な動きベクトルが一つしかなければ、その動きベクトルを推測ベクトルPVとする。
【０２４９】
ステップＳ６０９で、第２取得手段８０２は、動きベクトルA、B、Cをゼロベクトルとする。
【０２５０】
ステップＳ６１０で、第２取得手段８０２は、推測ベクトルPVを用いて、復号対象ブロックの選択画像への移動先座標を計算する。
【０２５１】
ステップＳ６１１で、第２取得手段８０２は、移動先座標を含むブロックを中心に周辺ブロックを指定する。
【０２５２】
ステップＳ６１２で、第２取得手段８０２は、指定されたブロックの動きベクトルを取得する。
【０２５３】
ステップＳ６１３で、第２取得手段８０２は、復号対象ブロックを通る動きベクトルの分割モードXを取得する。
【０２５４】
図３９Bに示すステップＳ６１４で、予測手段８０３は、分割モードXが複数あるか判定する。分割モードXが複数あれば（ステップＳ６１４−ＹＥＳ）ステップＳ６１５に進み、分割モードXが１つしかなければ（ステップＳ６１４−ＮＯ）ステップＳ６１６に進む。
【０２５５】
ステップＳ６１５で、予測手段８０３は、複数の分割モードXから多数決により候補モードXを決定する。
【０２５６】
ステップＳ６１６で、予測手段８０３は、分割モードA、B、Cから多数決により候補モードYを決定する。
【０２５７】
ステップＳ６１７で、予測手段８０３は、候補モードXが有効かを判定する。候補モードXが有効であれば（ステップＳ６１７−ＹＥＳ）ステップＳ６１８に進み、候補モードXが無効であれば（ステップＳ６１７−ＮＯ）ステップＳ６１９に進む。
【０２５８】
ステップＳ６１８で、予測手段８０３は、候補モードXを候補Yよりも優先して予測モードとする。ステップＳ６１９で、予測手段８０３は、候補モードYを予測モードとする。
【０２５９】
ステップＳ６２０で、決定手段６０５は、予測モードに応じてVLD（可変長復号）テーブルを変更する。例えば、決定手段６０５は、予測モードの分割形状を示す分割モードが上位にくるようにVLDテーブルを変更する。
【０２６０】
ステップＳ６２１で、復号手段４０６は、ビットストリームを復号し、復号対象ブロックの分割モード情報を取得する。
【０２６１】
ステップＳ６２２で、決定手段６０５は、復号手段４０６により決定された分割モード情報が示す符号をVLDテーブルに応じて分割モードに変換する。決定手段６０５は、これにより分割モードを決定することができる。
【０２６２】
なお、ステップＳ６１０の後に、第２取得手段８０２は、移動先座標が画面内にあるか否かを判定してもよい。画面外にあれば、図２２に示すステップＳ２０３以降の処理を行うことで、分割モードを決定することもできる。また、簡略化して、第２取得手段６０３は、移動先座標が画面外にあると判定すれば、分割モードXを、分割を表す分割モードに設定してもよい。
【０２６３】
以上、実施例８によれば、実施例７により分割モードの予測精度を上げた符号化に対応して、復号対象ブロックの分割モードを決定することができる。
【０２６４】
［変形例］
次に、変形例について説明する。変形例では、前述した画像符号化方法又は画像復号方法を実現するためのプログラムを記録媒体に記録することで、各実施例での処理をコンピュータシステムに実施させることができる。
【０２６５】
図４０は、情報処理装置９００の構成の一例を示す図である。図４０に示すように、情報処理装置９００は、制御部９０１、主記憶部９０２、補助記憶部９０３、ドライブ装置９０４、ネットワークＩ／Ｆ部９０６、入力部９０７、表示部９０８を含む。これら各構成は、バスを介して相互にデータ送受信可能に接続されている。
【０２６６】
制御部９０１は、コンピュータの中で、各装置の制御やデータの演算、加工を行うＣＰＵである。また、制御部９０１は、主記憶部９０２や補助記憶部９０３に記憶されたプログラムを実行する演算装置であり、入力部９０７や記憶装置からデータを受け取り、演算、加工した上で、表示部９０８や記憶装置などに出力する。
【０２６７】
主記憶部９０２は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などであり、制御部９０１が実行する基本ソフトウェアであるＯＳやアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。
【０２６８】
補助記憶部９０３は、ＨＤＤ（Hard Disk Drive）などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。
【０２６９】
ドライブ装置９０４は、記録媒体９０５、例えばフレキシブルディスクからプログラムを読み出し、記憶装置にインストールする。
【０２７０】
また、記録媒体９０５に、所定のプログラムを格納し、この記録媒体９０５に格納されたプログラムはドライブ装置９０４を介して情報処理装置９００にインストールされる。インストールされた所定のプログラムは、情報処理装置９００により実行可能となる。
【０２７１】
ネットワークＩ／Ｆ部９０６は、有線及び／又は無線回線などのデータ伝送路により構築されたＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）などのネットワークを介して接続された通信機能を有する周辺機器と情報処理装置７００とのインターフェースである。
【０２７２】
入力部９０７は、カーソルキー、数字入力及び各種機能キー等を備えたキーボード、表示部９０８の表示画面上でキーの選択等を行うためのマウスやスライスパット等を有する。また、入力部９０７は、ユーザが制御部９０１に操作指示を与えたり、データを入力したりするためのユーザインターフェースである。
【０２７３】
表示部９０８は、ＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）等により構成され、制御部９０１から入力される表示データに応じた表示が行われる。
【０２７４】
このように、前述した実施例で説明した画像符号化処理又は画像復号処理は、コンピュータに実行させるためのプログラムとして実現されてもよい。このプログラムをサーバ等からインストールしてコンピュータに実行させることで、前述した画像符号化処理又は画像復号処理を実現することができる。
【０２７５】
また、このプログラムを記録媒体９０５に記録し、このプログラムが記録された記録媒体９０５をコンピュータや携帯端末に読み取らせて、前述した画像符号化処理又は画像復号処理を実現させることも可能である。なお、記録媒体９０５は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。また、前述した各実施例で説明した画像符号化処理又は画像復号処理は、１つ又は複数の集積回路に実装してもよい。
【０２７６】
以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した各実施例の構成要素を全部又は複数を組み合わせることも可能である。
【図１】
2012042654.tif 000003
【図２】
2012042654.tif 000004
【図３】
2012042654.tif 000005
【図４】
2012042654.tif 000006
【図５】
2012042654.tif 000007
【図６】
2012042654.tif 000008
【図７】
2012042654.tif 000009
【図８】
2012042654.tif 000010
【図９】
2012042654.tif 000011
【図１０】
2012042654.tif 000012
【図１１】
2012042654.tif 000013
【図１２】
2012042654.tif 000014
【図１３】
2012042654.tif 000015
【図１４】
2012042654.tif 000016
【図１５】
2012042654.tif 000017
【図１６】
2012042654.tif 000018
【図１７】
2012042654.tif 000019
【図１８】
2012042654.tif 000020
【図１９】
2012042654.tif 000021
【図２０】
2012042654.tif 000022
【図２１】
2012042654.tif 000023
【図２２】
2012042654.tif 000024
【図２３】
2012042654.tif 000025
【図２４】
2012042654.tif 000026
【図２５】
2012042654.tif 000027
【図２６】
2012042654.tif 000028
【図２７】
2012042654.tif 000029
【図２８】
2012042654.tif 000030
【図２９】
2012042654.tif 000031
【図３０】
2012042654.tif 000032
【図３１】
2012042654.tif 000033
【図３２】
2012042654.tif 000034
【図３３】
2012042654.tif 000035
【図３４】
2012042654.tif 000036
【図３５】
2012042654.tif 000037
【図３６】
2012042654.tif 000038
【図３７Ａ】
2012042654.tif 000039
【図３７Ｂ】
2012042654.tif 000040
【図３８】
2012042654.tif 000041
【図３９Ａ】
2012042654.tif 000042
【図３９Ｂ】
2012042654.tif 000043
【図４０】
2012042654.tif 000044
【国際調査報告】
2012042654.tif 000045
2012042654.tif 000046
2012042654.tif 000047
2012042654.tif 000048