(57)【要約】  複数のブロックに分割された画像を復号する画像復号方法であって、復号対象画像内の復号済みブロックの復号情報及び復号済み画像の各ブロックの復号情報を格納する格納手段から復号済みブロックの復号情報を取得し、複数の復号済み画像の中から、復号済み画像と復号済み画像の参照画像との間に復号対象画像がある復号済み画像を選択し、選択された復号済み画像内の所定ブロックの復号情報を格納手段から取得し、取得された復号済みブロックの復号情報及び所定ブロックの復号情報を用いて、複数方向の復号済み画像を参照可能とする復号対象ブロックの予測方向を示す参照モードを予測し、符号化データから参照モードを決定するための参照モード情報を復号し、予測された参照モード及び復号された参照モード情報から復号対象ブロックの参照モードを決定する。
2012042650.tif 000002
【特許請求の範囲】
【請求項１】
複数のブロックに分割された画像を復号する画像復号方法であって、
復号対象画像内の復号済みブロックの復号情報及び復号済み画像の各ブロックの復号情報を格納する格納手段から前記復号済みブロックの復号情報を取得し、
複数の前記復号済み画像の中から、復号済み画像と該復号済み画像の参照画像との間に前記復号対象画像がある復号済み画像を選択し、
前記選択された復号済み画像内の所定ブロックの復号情報を前記格納手段から取得し、
前記取得された復号済みブロックの復号情報及び前記所定ブロックの復号情報を用いて、複数方向の復号済み画像を参照可能とする復号対象ブロックの予測方向を示す参照モードを予測し、
符号化データから前記復号対象ブロックの参照モードを決定するための参照モード情報を復号し、
前記予測された参照モード及び前記復号された参照モード情報から前記復号対象ブロックの参照モードを決定する画像復号方法。
【請求項２】
前記復号済み画像を選択する場合、前記復号済み画像と該復号済み画像の参照画像との間隔が最も小さい復号済み画像を選択する請求項１記載の画像復号方法。
【請求項３】
前記所定ブロックの復号情報を取得する場合、前記復号対象ブロックと同一位置にあるブロックを前記所定ブロックとする請求項１又は２記載の画像復号方法。
【請求項４】
前記参照モードを予測する場合、前記復号済みブロックの復号情報に含まれる参照モード及び前記所定ブロックの復号情報に含まれる参照モードのうち、最も多い参照モードを前記予測された参照モードとする請求項３記載の画像復号方法。
【請求項５】
前記所定ブロックの復号情報を取得する場合、前記復号対象ブロックと同一位置にあるブロックを含む周辺ブロックのうち、前記復号対象ブロック内を通る動きベクトルを有するブロックを前記所定ブロックとする請求項１又は２記載の画像復号方法。
【請求項６】
前記所定ブロックの復号情報を取得する場合、前記取得された復号済みブロックの動きベクトルを取得し、取得した動きベクトルを用いて仮動きベクトルを生成し、前記復号対象ブロックから前記仮動きベクトルが示すブロックを前記所定ブロックとする請求項１又は２記載の画像復号方法。
【請求項７】
前記参照モードを予測する場合、前記所定ブロックの復号情報に含まれる参照モードを、前記復号済みブロックの復号情報に含まれる参照モードよりも優先して前記予測された参照モードとする請求項５又は６記載の画像復号方法。
【請求項８】
前記参照モードを決定する場合、前記予測された参照モードの符号量が他の参照モードよりも小さくなるよう変更される、前記参照モードと符号とを対応付けた符号化テーブルに基づいて、前記参照モード情報が示す前記符号化テーブル内の符号から参照モードを決定する請求項１乃至７いずれか一項に記載の画像復号方法。
【請求項９】
前記参照モードを決定する場合、前記参照モード情報が前記予測された参照モードと一致するか否かを示す情報であるとき、該情報が一致を示せば前記予測された参照モードに決定し、該情報が不一致を示せば前記予測された参照モード以外の参照モードに決定する請求項１乃至７いずれか一項に記載の画像復号方法。
【請求項１０】
画像を複数のブロックに分割して符号化する画像符号化方法であって、
符号化対象画像内の符号化済みブロックの符号化情報及び符号化済み画像の各ブロックの符号化情報を格納する格納手段から前記符号化済みブロックの符号化情報を取得し、
複数の前記符号化済み画像の中から、符号化済み画像と該符号化済み画像の参照画像との間に前記符号化対象画像がある符号化済み画像を選択し、
前記選択された符号化済み画像内の所定ブロックの符号化情報を前記格納手段から取得し、
前記取得された符号化済みブロックの符号化情報及び前記所定ブロックの符号化情報を用いて、複数方向の符号化済み画像の復号画像を参照可能とする符号化対象ブロックの予測方向を示す参照モードを予測し、
前記符号化対象ブロックで用いる参照モードを決定し、
前記予測された参照モード及び前記決定された参照モードから前記符号化対象ブロックの参照モードを符号化する画像符号化方法。
【請求項１１】
前記符号化済み画像を選択する場合、前記符号化済み画像と該符号化済み画像の参照画像との間隔が最も小さい符号化済み画像を選択する請求項１０記載の画像符号化方法。
【請求項１２】
複数のブロックに分割された画像を復号する画像復号装置であって、
復号対象画像内の復号済みブロックの復号情報及び復号済み画像の各ブロックの復号情報を格納する格納手段と、
前記格納手段から前記復号済みブロックの復号情報を取得する第１取得手段と、
複数の前記復号済み画像の中から、復号済み画像と該復号済み画像の参照画像との間に前記復号対象画像がある復号済み画像を選択する選択手段と、
前記選択手段により選択された復号済み画像内の所定ブロックの復号情報を前記格納手段から取得する第２取得手段と、
前記第１取得手段により取得された復号済みブロックの復号情報及び前記第２取得手段により取得された所定ブロックの復号情報を用いて、複数方向の復号済み画像の参照を可能とする復号対象ブロックの予測方向を示す参照モードを予測する予測手段と、
符号化データから前記復号対象ブロックの参照モードを決定するための参照モード情報を復号する復号手段と、
前記予測手段により予測された参照モード及び前記復号手段により復号された参照モード情報から前記復号対象ブロックの参照モードを決定する決定手段と、
を備える画像復号装置。
【請求項１３】
画像を複数のブロックに分割して符号化する画像符号化装置であって、
符号化対象画像内の符号化済みブロックの符号化情報及び符号化済み画像の各ブロックの符号化情報を格納する格納手段と、
前記格納手段から前記符号化済みブロックの復号情報を取得する第１取得手段と、
複数の前記符号化済み画像の中から、符号化済み画像と該符号化済み画像の参照画像との間に前記符号化対象画像がある符号化済み画像を選択する選択手段と、
前記選択手段により選択された符号化済み画像内の所定ブロックから符号化情報を取得する第２取得手段と、
前記第１取得手段により取得された符号化済みブロックの符号化情報及び前記第２取得手段により取得された所定ブロックの符号化情報を用いて、複数方向の符号化済み画像の復号画像を参照可能とする符号化対象ブロックの予測方向を示す参照モードを予測する予測手段と、
前記符号化対象ブロックで用いる参照モードを決定する決定手段と、
前記予測手段により予測された参照モード及び前記決定手段により決定された参照モードから前記符号化対象ブロックの参照モードを符号化する符号化手段と、
を備える画像符号化装置。
【請求項１４】
コンピュータに、
復号対象画像内の復号済みブロックの復号情報及び復号済み画像の各ブロックの復号情報を格納する格納手段から前記復号済みブロックの復号情報を取得し、
複数の前記復号済み画像の中から、復号済み画像と該復号済み画像の参照画像との間に前記復号対象画像がある復号済み画像を選択し、
前記選択された復号済み画像内の所定ブロックの復号情報を前記格納手段から取得し、
前記取得された復号済みブロックの復号情報及び前記所定ブロックの復号情報を用いて、複数方向の復号済み画像を参照可能とする復号対象ブロックの予測方向を示す参照モードを予測し、
符号化データから前記復号対象ブロックの参照モードを決定するための参照モード情報を復号し、
前記予測された参照モード及び前記復号された参照モード情報から前記復号対象ブロックの参照モードを決定する処理を実行させる画像復号プログラム。
【請求項１５】
コンピュータに、
符号化対象画像内の符号化済みブロックの符号化情報及び符号化済み画像の各ブロックの符号化情報を格納する格納手段から前記符号化済みブロックの符号化情報を取得し、
複数の前記符号化済み画像の中から、符号化済み画像と該符号化済み画像の参照画像との間に前記符号化対象画像がある符号化済み画像を選択し、
前記選択された符号化済み画像内の所定ブロックの符号化情報を前記格納手段から取得し、
前記取得された符号化済みブロックの符号化情報及び前記所定ブロックの符号化情報を用いて、複数方向の符号化済み画像の復号画像を参照可能とする符号化対象ブロックの予測方向を示す参照モードを予測し、
前記符号化対象ブロックで用いる参照モードを決定し、
前記予測された参照モード及び前記決定された参照モードから前記符号化対象ブロックの参照モードを符号化する処理を実行させる画像符号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、参照モードの予測に関する画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、画像復号プログラム、及び画像符号化プログラムに関する。
【背景技術】
【０００２】
画像データ、特に動画像データは、一般にデータ量が大きいので、送信装置から受信装置へ伝送される際、あるいは記憶装置に格納される際などには、高能率符号化が行われる。ここで、「高能率符号化」とは、あるデータ列を他のデータ列に変換する符号化処理であって、そのデータ量を圧縮する処理をいう。【０００３】
動画像データは、主にフレームのみから構成されるものと、フィールドから構成されるものがある。【０００４】
動画像データの高能率符号化方法として、ピクチャ内予測（イントラ予測）符号化方法が知られている。この符号化方法では、動画像データが空間方向に相関性が高いことを利用し、他のピクチャの符号化画像を用いない。ピクチャ内予測符号化方法は、ピクチャ内の情報のみで画像を復元できる方法である。【０００５】
また、ピクチャ間予測（インター予測）符号化方法が知られている。この符号化方法では、動画像データが時間方向に相関性が高いことを利用する。動画像データは、一般に、あるタイミングのピクチャデータと次のタイミングのピクチャデータとの類似度が高いことが多いので、インター予測符号化方法では、その性質を使用する。【０００６】
ピクチャ間予測符号化方法では、原画像をブロックに分割し、このブロック単位に、符号化済みフレームの復号画像から、この原画像ブロックと類似している領域を選択する。次に、この類似領域と原画像ブロックの差分を求め、冗長性が取り除かれる。そして、類似領域を指し示す動きベクトル情報と、冗長性の取り除かれた差分情報とを符号化することにより、高圧縮率が実現される。【０００７】
例えば、インター予測符号化を用いたデータ伝送システムでは、送信装置において、前ピクチャから対象ピクチャへの「動き」を表す動きベクトルデータ、及びその前ピクチャからその動きベクトルデータを用いて作成した対象ピクチャの予測画像と対象ピクチャとの差分データを生成する。次に、データ伝送システムは、それら動きベクトルデータおよび差分データを受信装置に送出する。一方、受信装置は、受信した動きベクトルデータおよび差分データから対象ピクチャを再生する。【０００８】
代表的な動画像符号化方式として、ISO/IEC（ISO/IEC : International Organization for Standardization/International Electrotechnical Commission） MPEG（Moving Picture Experts Group）-2／MPEG-4(以下MPEG-2、MPEG-4)が挙げられる。【０００９】
動画像符号化方式では、一定周期でイントラ予測符号化された画面を送り、残りはインター予測符号化で送られるGOP ( group of pictures )構造をとっている。さらに、これらの予測に対応したI,P,Bの３種類のピクチャを規定している。Iピクチャは、他のピクチャの符号化画像を用いない。ピクチャ内の情報のみで画像を復元できるピクチャである。Pピクチャは、過去のピクチャから順方向のピクチャ間予測を行い、予測誤差を符号化したピクチャである。Bピクチャは過去と未来のピクチャから双方向のピクチャ間予測を行い、予測誤差を符号化したピクチャである。Bピクチャは未来のピクチャを予測に用いるため、その符号化に先駆けて、予測に用いられる未来のピクチャを符号化、復号しておく必要がある。【００１０】
図１は、双方向の復号画像を参照するBピクチャを説明する図である。図１に示すように符号化対象BピクチャPic2を符号化する時点で、少なくとも前後の２枚のピクチャPic1、Pic3が先行して符号化されている。符号化対象BピクチャPic2は、前方向参照ピクチャPic1と後方向参照ピクチャPic3のいずれか片方または両方を選択することができる。例えば、ブロックマッチング技術を用いて前方向参照ピクチャPic1内で最も符号化対象ブロックCB１に類似した領域を前方向予測ブロックFB1、後方向参照ピクチャPic3内で最も符号化対象ブロックCB1に類似した領域を後方向予測ブロックBB1として算出する。双方向が選択された場合、予測方向である双方向情報と両参照画像内で符号化対象ブロックCB１と同一位置（CollocatedブロックColB1,2）から予測ブロックへの動きベクトルMV1,2と、符号化対象ブロックCB1と予測ブロックの画素差分とが符号化される。【００１１】
図２は、GOP構成（その１）の一例を示す図である。図２に示すGOP構成は、一般的なGOP構成のIBBP構造を示す。MPEG-2では、Bピクチャの参照画像として用いることができる符号化済み画像は、PピクチャまたはIピクチャとして符号化されている必要があった。しかし、最新の符号化方式である国際標準ITU-T H.264（ITU-T : International Telecommunication Union Telecommunication Standardization Sector）／ISO/IEC MPEG-4AVC（以下、H.264という)では、加えてBピクチャで符号化された符号化済み画像の復号画像も参照画像として使用できるようになった。【００１２】
図３は、GOP構成（その２）の一例を示す図である。動画像符号化のH.264では、図３に示すようなGOP構成をとることが可能となっており、符号化効率を上げることに成功している。このGOP構成を階層B構造と呼ぶ。このように1GOP中のピクチャは、Bピクチャの数が多くなっており、Bピクチャの符号化効率を上げることが、動画像符号化全体の符号化効率を上げることに直結している。図２、図３に示す矢印は、前方向もしくは後方向ベクトルを表している。【００１３】
H.264では、Bピクチャは分割ブロック毎に、前方向、後方向、双方向いずれかの画像を参照画像として用いるかという予測方向情報（以下、参照モードともいう）が選択可能である。H.264では、これらの参照モードとその他の予測情報をまとめてマクロブロックタイプとして符号化し、ビットストリームで明示的に送信している。【００１４】
ここで、符号化対象ブロックのイントラ予測、インター予測の予測モードを判定するのに、隣接ブロックを参照ブロックとし、所定の条件を満たせばコストが最小の参照ブロックの予測モードに決定する技術がある。また、符号化対象ピクチャの符号化前処理で、符号化済みピクチャの符号化結果の統計量を用いて符号化対象ピクチャのピクチャタイプを決定する技術がある。【００１５】
また、次世代符号化方式において、符号化対象ピクチャの符号化対象ブロック周囲の符号化済みブロックの符号化情報を用いて、前方向、後方向、双方向を予測することで予測符号化を行い、参照モードをビットストリームで明示的に送信する技術が提案されている。
【先行技術文献】
【特許文献】
【００１６】
【特許文献１】特開２００９−５５５４２号公報
【特許文献２】特開２００９−２９６３２８号公報
【非特許文献】
【００１７】
【非特許文献１】Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, 1st Meeting: Dresden, DE, 15-23 April, 2010, Appendix to Description of video coding technology proposal by Tandberg Nokia Ericson, JCTVC-A119, P34
【発明の概要】
【発明が解決しようとする課題】
【００１８】
しかしながら、前述した従来技術では、符号化対象ピクチャの符号化対象ブロック周囲の符号化済みブロックのような空間的な予測だけで、符号化対象ブロックを適切に予測するのは難しい。符号化対象ブロックを適切に予測できなければ、参照モードの予測精度を上げることは困難になり、符号化／復号化の効率を上げることができない。【００１９】
そこで、開示の技術は、参照モードの予測精度を上げ、画像の符号化／復号化の更なる効率化を図ることができる画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、画像復号プログラム、及び画像符号化プログラムを提供することを目的とする。
【課題を解決するための手段】
【００２０】
開示の一態様の画像復号方法は、複数のブロックに分割された画像を復号する画像復号方法であって、復号対象画像内の復号済みブロックの復号情報及び復号済み画像の各ブロックの復号情報を格納する格納手段から前記復号済みブロックの復号情報を取得し、複数の前記復号済み画像の中から、復号済み画像と該復号済み画像の参照画像との間に前記復号対象画像がある復号済み画像を選択し、前記選択された復号済み画像内の所定ブロックの復号情報を前記格納手段から取得し、前記取得された復号済みブロックの復号情報及び前記所定ブロックの復号情報を用いて、複数方向の復号済み画像を参照可能とする復号対象ブロックの予測方向を示す参照モードを予測し、符号化データから参照モードを決定するための参照モード情報を復号し、前記予測された参照モード及び前記復号された参照モード情報から前記復号対象ブロックの参照モードを決定する。【００２１】
開示の他の態様の画像符号化方法は、画像を複数のブロックに分割して符号化する画像符号化方法であって、符号化対象画像内の符号化済みブロックの符号化情報及び符号化済み画像の各ブロックの符号化情報を格納する格納手段から前記符号化済みブロックの符号化情報を取得し、複数の前記符号化済み画像の中から、符号化済み画像と該符号化済み画像の参照画像との間に前記符号化対象画像がある符号化済み画像を選択し、前記選択された符号化済み画像内の所定ブロックの符号化情報を前記格納手段から取得し、前記取得された符号化済みブロックの符号化情報及び前記所定ブロックの符号化情報を用いて、複数方向の符号化済み画像の復号画像を参照可能とする符号化対象ブロックの予測方向を示す参照モードを予測し、前記符号化対象ブロックで用いる参照モードを決定し、前記予測された参照モード及び前記決定された参照モードから前記符号化対象ブロックの参照モードを符号化する。
【発明の効果】
【００２２】
開示の技術によれば、参照モードの予測精度を上げ、画像の符号化／復号の更なる効率化を図ることができる。
【図面の簡単な説明】
【００２３】
【図１】双方向の復号画像を参照するBピクチャを説明する図。
【図２】GOP構成（その１）の一例を示す図。
【図３】GOP構成（その２）の一例を示す図。
【図４】実施例１における画符号化装置の構成の一例を示すブロック図。
【図５】実施例１における参照モードの予測に関する機能の一例を示すブロック図。
【図６】実施例１における予測手段の機能の一例を示すブロック図。
【図７】実施例２における画像復号装置の構成の一例を示すブロック図。
【図８】実施例２における参照モードの予測に関する機能の一例を示すブロック図。
【図９】実施例で用いるGOP構成の一例を示す図。
【図１０】符号化対象ブロックと周辺ブロックの関係（その１）の一例を示す図。
【図１１】符号化済み画像とその参照画像との間隔を説明する図。
【図１２】符号化対象ブロックと同一位置にあるブロックを説明する図。
【図１３】実施例３における第２参照モード予測手段による処理を説明する図。
【図１４】参照モードと分割モードとをブロックタイプとして符号化する例を示す図。
【図１５】実施例３における参照モード符号化処理の一例を示すフローチャート。
【図１６】実施例４における参照モード復号処理の一例を示すフローチャート。
【図１７】符号化対象ブロックと周辺ブロックの関係（その２）の一例を示す図。
【図１８】Collocatedブロックとその周辺ブロックの関係の一例を示す図。
【図１９】実施例５における第２参照モード予測手段による処理を説明する図。
【図２０Ａ】実施例５における参照モード符号化処理（その１）の一例を示すフローチャート。
【図２０Ｂ】実施例５における参照モード符号化処理（その２）の一例を示すフローチャート。
【図２１Ａ】実施例６における参照モード復号処理（その１）の一例を示すフローチャート。
【図２１Ｂ】実施例６における参照モード復号処理（その２）の一例を示すフローチャート。
【図２２】実施例７における参照モードの予測に関する機能の一例を示すブロック図。
【図２３】実施例７における符号化済み画像の選択処理を説明する図。
【図２４】実施例７における第１取得手段による処理を説明する図。
【図２５】仮動きベクトルの一例を示す図。
【図２６】実施例７における予測手段の機能の一例を示すブロック図。
【図２７Ａ】実施例７における参照モード符号化処理（その１）の一例を示すフローチャート。
【図２７Ｂ】実施例７における参照モード符号化処理（その２）の一例を示すフローチャート。
【図２８】実施例８における参照モードの予測に関する機能の一例を示すブロック図。
【図２９Ａ】実施例８における参照モード復号処理（その１）の一例を示すフローチャート。
【図２９Ｂ】実施例８における参照モード復号処理（その２）の一例を示すフローチャート。
【図３０】情報処理装置の構成の一例を示す図。
【符号の説明】
【００２４】
１０１  予測誤差信号生成部
１０４  エントロピー符号化部
１０５  逆量子化手段
１０６  逆直交変換部
１０７  復号画像生成部
１０９  ピクチャメモリ
１１０  イントラ予測画像生成部
１１１  インター予測画像生成部
１１２  動きベクトル計算部
２０１  格納手段
２０２、５０２  第１取得手段
２０３、５０１  選択手段
２０４、５０３  第２取得手段
２０５、５０４  予測手段
２０７  決定手段
２０８  符号化手段
２５１、５４１  第１参照モード予測手段
２５２、５４２  第２参照モード予測手段
３０１  エントロピー復号部
３０５  復号情報記憶部
３０４  イントラ予測画像生成部
３０６  インター予測画像生成部
３１０  ピクチャメモリ
４０１  格納手段
４０２、６０２  第１取得手段
４０３、６０１  選択手段
４０４、６０３  第２取得手段
４０５、６０４  予測手段
４０６  復号手段
４０７  決定手段
【発明を実施するための形態】
【００２５】
以下、図面に基づいて実施例について説明する。
【００２６】
［実施例１］
図４は、実施例１における画符号化装置１００の構成の一例を示すブロック図である。図４に示すように、実施例１における画像符号化装置１００は、予測誤差信号生成部１０１、直交変換部１０２、量子化部１０３、エントロピー符号化部１０４、逆量子化部１０５、逆直交変換部１０６、復号画像生成部１０７、デブロッキングフィルタ部１０８、ピクチャメモリ１０９、イントラ予測画像生成部１１０、インター予測画像生成部１１１、動きベクトル計算部１１２、符号化制御及びヘッダ生成部１１３及び予測画像選択部１１４を含む。各部についての概略を以下に説明する。
【００２７】
予測誤差信号生成部１０１は、入力された動画像データの符号化対象画像が１６×１６ピクセル（画素）のブロック（以降、マクロブロック（ＭＢ）ともいう）に分割されたマクロブロックデータ（以降、ブロックデータともいう）を取得する。予測誤差信号生成部１０１は、そのマクロブロックデータと、予測画像選択部１１４から出力される予測画像のマクロブロックデータとにより、予測誤差信号を生成する。予測誤差信号生成部１０１は、生成された予測誤差信号を直交変換部１０２に出力する。
【００２８】
直交変換部１０２は、入力された予測誤差信号を直交変換処理する。直交変換部１０２は、直交変換処理によって水平及び垂直方向の周波数成分に分離された信号を量子化部１０３に出力する。
【００２９】
量子化部１０３は、直交変換部１０２からの出力信号を量子化する。量子化部１０３は、量子化することによって出力信号の符号量を低減し、この出力信号をエントロピー符号化部１０４及び逆量子化部１０５に出力する。
【００３０】
エントロピー符号化部１０４は、量子化部１０３からの出力信号をエントロピー符号化して出力する。エントロピー符号化とは、シンボルの出現頻度に応じて可変長の符号を割り当てる方式をいう。
【００３１】
逆量子化部１０５は、量子化部１０３からの出力信号を逆量子化してから逆直交変換部１０６に出力する。逆直交変換部１０６は、逆量子化部１０５からの出力信号を逆直交変換処理してから復号画像生成部１０７に出力する。これら逆量子化部１０５及び逆直交変換部１０６によって復号化処理が行われることにより、符号化前の予測誤差信号と同程度の信号が得られる。
【００３２】
復号画像生成部１０７は、インター予測画像生成部１１１で動き補償された画像のブロックデータと、逆量子化部１０５、及び逆直交変換部１０６により復号処理された予測誤差信号とを加算する。復号画像生成部１０７は、加算して生成した復号画像のブロックデータを、デブロッキングフィルタ部１０８に出力する。
【００３３】
デブロッキングフィルタ部１０８は、復号画像生成部１０７から出力された復号画像に対し、ブロック歪を低減するためのフィルタをかけ、ピクチャメモリ１０９に出力する。
【００３４】
ピクチャメモリ１０９は、入力したブロックデータを新たな参照画像のデータとして記憶し、イントラ予測画像生成部１１０、インター予測画像生成部１１１及び動きベクトル計算部１１２に出力する。
【００３５】
イントラ予測画像生成部１１０は、符号化対象画像のすでに符号化された周辺画素から予測画像を生成する。
【００３６】
インター予測画像生成部１１１は、ピクチャメモリ１０９から取得した参照画像のデータを動きベクトル計算部１１２から提供される動きベクトルで動き補償する。これにより、動き補償された参照画像としてのブロックデータが生成される。
【００３７】
動きベクトル計算部１１２は、符号化対象ピクチャにおけるブロックデータと、ピクチャメモリ１０９から取得する既に符号化された参照画像のブロックデータを用いて、動きベクトルを求める。動きベクトルとは、ブロック単位で参照画像から符号化対象画像に最も類似している位置を探索するブロックマッチング技術を用いて求められるブロック単位の空間的なずれを示す値である。動きベクトル計算部１１２は、求めた動きベクトルをインター予測画像生成部１１１に出力する。
【００３８】
イントラ予測画像生成部１１０とインター予測画像生成部１１１から出力されたブロックデータは、予測画像選択部１１４に入力される。予測画像選択手段１１４は、どちらか一方の予測画像を選択する。選択されたブロックデータは、予測誤差信号生成部１０１に出力される。
【００３９】
また、符号化制御及びヘッダ生成部１１３について、符号化の全体制御とヘッダ生成を行う。符号化制御及びヘッダ生成部１１３は、イントラ予測画像生成部１１０に対して、スライス分割有無の通知、デブロッキングフィルタ部１０８に対して、デブロッキングフィルタ有無の通知、動きベクトル計算部１１２に対して参照画像の制限通知などを行う。符号化制御及びヘッダ生成部１１３は、その制御結果を用いて、例えばH.264のヘッダ情報を生成する。生成されたヘッダ情報は、エントロピー符号化部１０４に渡され、画像データ、動きベクトルデータとともにストリームとして出力される。
【００４０】
次に、参照モードの予測に関する機能について説明する。図５は、実施例１における参照モードの予測に関する機能の一例を示すブロック図である。図５に示すように、画像符号化装置１００は、格納手段２０１、第１取得手段２０２、選択手段２０３、第２取得手段２０４、予測手段２０５、決定手段２０６、符号化手段２０７を含む。
【００４１】
格納手段２０１は、ピクチャメモリ１０９に対応し、第１取得手段２０２、選択手段２０３、第２取得手段２０４、予測手段２０５、決定手段２０６は、例えば動きベクトル計算部１１２に対応し、符号化手段２０７は、エントロピー符号化部１０４に対応する。
【００４２】
図５に示す画像符号化装置１００は、符号化対象画像を複数のブロックに分割し、符号化対象ブロックは、複数方向の符号化された画像の復号画像を参照でき、その参照モードを符号化する。ブロックのサイズは、固定されていてもよいし、可変サイズであってもよい。
【００４３】
格納手段２０１は、符号化された画像のローカルデコードされた復号画像やブロック単位の動きベクトル、ブロックタイプ、参照モードなどの符号化情報を格納する。ブロックのサイズは、例えば、１６×１６画素のブロック（マクロブロック）である。過去の符号化情報は次に符号化する符号化対象ブロックで参照することが可能である。
【００４４】
第１取得手段２０２は、符号化対象画像に属するブロックの符号化済みの符号化情報を格納手段２０１から取得する。ブロック符号化は一般に符号化対象画像の左上からラスタスキャン順に行われるため、符号化対象画像における符号化済みの符号化情報は符号化対象ブロックと同ブロックラインの左側と上側の全ブロックとなる。第１取得手段２０２は、予め決められた方法で符号化対象画像の所定のブロック位置を指定し、格納手段２０１から符号化対象画像に属する符号化済みの符号化情報を取得する。予め決められた方法とは、例えば、符号化対象ブロックの上側ブロック、左側ブロック、左上側ブロック、右上側ブロックのうち、どのブロックかを決めておく方法である。
【００４５】
選択手段２０３は、格納手段２０１に格納されている符号化対象画像以外の符号化済み画像から参照モードを得るために、複数の符号化済み画像の復号画像（参照画像）から予め決められた方法で参照画像を選択する。格納手段２０１は、複数の参照画像を固有のインデックスを付け、リストとして格納しておいてもよい。選択手段２０３は、参照画像インデックスを用いて選択結果を示してもよい。
【００４６】
第２取得手段２０４は、選択手段２０３で選択された参照画像に属するブロックの符号化情報を取得する。第２取得手段２０４は、予め決められた方法でブロック位置を指定し、選択手段２０３で選択されたインデックスをもつ参照画像に属するブロックの符号化情報を格納手段２０１から取得する。
【００４７】
予測手段２０５は、第1取得手段２０２と第２取得手段２０４とから得られた符号化情報に基づいて符号化対象ブロックの参照モードの予測値である予測モードを算出する。
【００４８】
図６は、実施例１における予測手段２０５の機能の一例を示すブロック図である。図６に示すように、予測手段２０５は、第１参照モード予測手段２５１、第２参照モード予測手段２５２を含む。
【００４９】
第１参照モード予測手段２５１は、第1取得手段２０２から取得した符号化情報を用いた候補モードを算出する。第２参照モード予測手段２５２は、第２取得手段２０４から取得した符号化情報を用いた候補モードを算出する。予測手段２０５は、これらの候補モードから所定の基準に従って予測モードを決定する。
【００５０】
図５に戻り、決定手段２０６は、符号化対象ブロックで用いる参照モードを決定する。決定手段２０６は、例えば、符号化対象ブロックと複数の参照画像におけるブロックマッチングを行い、最も類似した参照画像を選択し、その参照画像に対応する参照モードを決定する。
【００５１】
符号化手段２０７は、予測手段２０５から取得した予測モードと決定手段２０６で決定された参照モードとからビットストリームとして送信するための参照モード情報を符号化する。
【００５２】
これにより、第１取得手段２０２及び第２取得手段２０４を用いることで、空間的に近い符号化済みブロックの参照モード、時間的に類似する符号化済みブロックの参照モードを取得できる。実施例１における画像符号化装置１００は、これらの参照モードを用いて予測モードを決定することで、参照モードの予測精度を向上させ、符号化効率を上げることが可能になる。
【００５３】
［実施例２］
図７は、実施例２における画像復号装置３００の構成の一例を示すブロック図である。実施例２における画像復号装置３００は、実施例１における画像符号化装置１００により符号化されたビットストリーム（符号化データ）を復号する。
【００５４】
図７に示すように、画像復号装置３００は、エントロピー復号部３０１、逆量子化部３０２、逆直交変換部３０３、イントラ予測画像生成部３０４、復号情報記憶部３０５、インター予測画像生成部３０６、予測画像選択部３０７、復号画像生成部３０８、デブロッキングフィルタ部３０９、ピクチャメモリ３１０を含む。各部についての概略を以下に説明する。
【００５５】
エントロピー復号部３０１は、ビットストリームが入力されると、画像符号化装置１００のエントロピー符号化に対応するエントロピー復号を行なう。エントロピー復号部３０１により復号された予測誤差信号などは逆量子化部３０２に出力される。また、インター予測されている場合、復号された動きベクトルなどは復号情報記憶部３０５に出力され、イントラ予測の場合、イントラ予測画像生成部３０４にその旨通知する。また、エントロピー復号部３０１は、復号対象画像がインター予測されているか、イントラ予測されているかを予測画像選択部３０７に通知する。
【００５６】
逆量子化部３０２は、エントロピー復号部３０１からの出力信号に対して逆量子化処理を行う。逆量子化された出力信号は逆直交変換部３０３に出力される。
【００５７】
逆直交変換部３０３は、逆量子化部３０２からの出力信号に対して逆直交変換処理を行い、残差信号を生成する。残差信号は復号画像生成部３０８に出力される。
【００５８】
イントラ予測画像生成部３０４は、ピクチャメモリ３１０から取得する復号対象画像のすでに復号化された周辺画素から予測画像を生成する。
【００５９】
復号情報記憶部３０５は、復号された動きベクトルや参照モードなどの復号情報を記憶する。
【００６０】
インター予測画像生成部３０６は、ピクチャメモリ３１０から取得した参照画像のデータを復号情報記憶部３０５から取得する動きベクトルや参照モードを用いて動き補償する。これにより、動き補償された参照画像としてのブロックデータが生成される。
【００６１】
予測画像選択部３０７は、イントラ予測画像、又はインター予測画像どちらか一方の予測画像を選択する。選択されたブロックデータは、復号画像生成部３０８に出力される。
【００６２】
復号画像生成部３０８は、予測画像選択部３０７から出力される予測画像と、逆直交変換部３０３から出力される残差信号とを加算し、復号画像を生成する。生成された復号画像はデブロッキングフィルタ部３０９に出力される。
【００６３】
デブロッキングフィルタ部３０９は、復号画像生成部３０８から出力された復号画像に対し、ブロック歪を低減するためのフィルタをかけ、ピクチャメモリ３１０に出力する。フィルタ後の復号画像は表示装置に出力されてもよい。ピクチャメモリ３１０は、復号画像を記憶する。なお、復号情報記憶手段３０５とピクチャメモリ３１０は、分けた構成にしているが、同じ記憶装置であってもよい。
【００６４】
次に、参照モードの予測に関する機能について説明する。図８は、実施例２における参照モードの予測に関する機能の一例を示すブロック図である。図８に示す例では、画像復号装置３００は、格納手段４０１、第１取得手段４０２、選択手段４０３、第２取得手段４０４、予測手段４０５、復号手段４０６、決定手段４０７を含む。
【００６５】
図８に示す画像復号装置３００は、画像符号化装置１００から出力されるビットストリームを復号し、復号対象ブロックの参照モードを算出する。また、画像復号装置３００の各手段は、それぞれ画像符号化装置１００における、格納手段２０１、第1取得手段２０２、選択手段２０３、第２取得手段２０４、予測手段２０５、符号化手段２０７、決定手段２０６に対応する。
【００６６】
また、格納手段４０１は、例えば復号情報記憶部３０５及びピクチャメモリ３１０に対応し、第１取得手段４０２、選択手段４０３、第２取得手段４０４、予測手段４０５は、例えばインター予測画像生成部３０６に対応し、復号手段４０６、決定手段４０７は、例えばエントロピー復号部３０１に対応する。
【００６７】
格納手段４０１は、過去に復号済みの画像と、ブロック単位の動きベクトル、ブロックタイプ、参照モードなどの復号情報とを格納する。
【００６８】
第１取得手段４０２は、復号対象画像に属する復号済みの復号情報を格納手段４０１から取得する。ブロック復号は一般に復号対象画像の左上からラスタスキャン順に行われるため、復号対象画像における復号済みの復号情報は復号対象ブロックと同ブロックラインの左側と上側の全ブロックとなる。
【００６９】
選択手段４０３は、格納手段４０１に格納されている復号対象画像以外の複数の復号済み画像から復号情報を得るために、復号済み画像と復号済み画像の参照画像との間に復号対象画像が存在するような複数方向の復号済み画像から適切な復号済み画像を選択する。
【００７０】
第２取得手段４０４は、選択手段４０３で選択された復号済み画像に属するブロックの復号情報を格納手段４０１から取得する。
【００７１】
予測手段４０５は、第１取得手段４０２と第２取得手段４０４とから得られた復号情報に基づいて復号対象ブロックの参照モードの予測値である予測モードを算出する。
【００７２】
復号手段４０６は、ビットストリームを復号し、参照モードを決定するために必要な参照モード情報を取得する。
【００７３】
決定手段４０７は、予測手段４０５から取得した予測モードと、復号手段４０６から取得した参照モード情報とから参照モードを決定する。決定した参照モードは、格納手段４０１に出力され、格納される。
【００７４】
これにより、第１取得手段４０２及び第２取得手段４０４を用いることで、空間的に近い復号済みブロックの参照モード、時間方向における復号済みブロックの参照モードを取得できる。実施例２における画像復号装置３００は、これらの参照モードを用いることで、参照モードの予測精度を向上させた符号化データに対応し、復号効率を上げることが可能になる。
【００７５】
［実施例３］
次に、実施例３における画像符号化装置について説明する。実施例３における画像符号化装置の構成は、図４に示した構成と同様である。実施例３における画像符号化装置の参照モードの予測に関する機能は、図５に示す機能と同じ符号を用いて説明する。
【００７６】
以降に示す実施例で用いるGOP構成について説明する。図９は、実施例で用いるGOP構成の一例を示す図である。図９に示す例では、I,P,Bはピクチャタイプを表し、I,P,Bの隣にある番号は、時間順を表している。また、符号化順は、I0,P8,B4,B2,B6,B1,B3,B5,B7となる。図９に示す矢印は、前方向または後方向ベクトルを表す。
【００７７】
実施例３では、B6ピクチャを符号化する場合を例に以下説明する。B6ピクチャを符号化する場合、すでにB4ピクチャ、P8ピクチャは符号化され、符号化済み画像としてB6ピクチャの符号化時に既に参照可能となっている。
【００７８】
格納手段２０１は、符号化済み画像RPs（Reference Picture群）の符号化情報を格納する。例えば、格納手段２０１は、B4ピクチャ、P8ピクチャに関するブロック単位の動きベクトル、ブロックタイプ、参照モードなどの符号化情報を格納する。
【００７９】
第1取得手段２０２は、符号化対象画像CP（Coding Picture）に属する符号化済みブロックの符号化情報を取得する。図１０は、符号化対象ブロックと周辺ブロックの関係（その１）の一例を示す図である。例えば、図１０に示すように、符号化対象ブロックCB2に隣接する左ブロックA、上ブロックBの参照モードをそれぞれ参照モードA、Bとする。
【００８０】
第１取得手段２０２は、左ブロックA、上ブロックBそれぞれの参照モードA、Bを格納手段２０１から取得する。さらに、CB２に隣接する左上ブロック、右上ブロックの参照モードも取得してもよい。また、H.264のように参照モードがブロックタイプとして定義されている符号化方式では、ブロックタイプを取得してもよい。第１取得手段２０２は、ブロックA、ブロックBがイントラ符号化の場合は、参照モードを無効とする。第１取得手段２０２は、取得した参照モードA、Bを予測手段４０５に出力する。ここでは、B6ピクチャのブロックAの参照モードを参照モードAとし、ブロックBの参照モードを参照モードBとする。
【００８１】
選択手段４０３は、符号化対象画像が、符号化済み画像と、この復号画像の参照画像との間にあるような符号化済み画像を選択する。例えば、図９に示すように、B4ピクチャは、P8ピクチャを参照しており、P8ピクチャはI０ピクチャを参照している。また、符号化対象のB6ピクチャはB4ピクチャとP8ピクチャ、I０ピクチャとP8ピクチャの間に存在する。よって、符号化済み画像と符号化済み画像の参照画像の間に符号化対象画像が複数存在する。
【００８２】
選択手段２０３は、符号化済み画像と符号化済み画像の参照画像の間隔が近いほど予測の信頼性が高いため、符号化済み画像と符号化済み画像の参照画像との間隔が最も小さい符号化済み画像を選択する方が望ましい。
【００８３】
図１１は、符号化済み画像とその参照画像との間隔を説明する図である。図１１に示すように、B4ピクチャとP8ピクチャの間は４ピクチャ間隔であり、I０ピクチャとP8ピクチャの間は８ピクチャ間隔であるため、この場合、選択手段２０３によりB4ピクチャが選択される。
【００８４】
第２取得手段２０４は、選択手段２０３で選択された符号化済み画像の復号画像に属するブロックの符号化情報を格納手段２０１から取得する。第２取得手段２０４は、選択された符号化済み画像の復号画像内のどのブロックの符号化情報を取得するかを予め決めておくとよい。
【００８５】
図１２は、符号化対象ブロックと同一位置にあるブロックを説明する図である。第２取得手段２０４は、例えば、図１２に示すように、B4ピクチャ内の符号化対象ブロックCB2と同一位置にあるブロックColB3（CollocatedブロックX）の参照モードXを取得する。また、第２取得手段２０４は、参照モードを含むマクロブロックタイプを取得しても良い。第２取得手段２０４は、取得した参照モードXを予測手段２０５に出力する。
【００８６】
予測手段２０５は、第１取得手段２０２と第２取得手段２０４とから取得した符号化情報に基づいて符号化対象ブロックの参照モードの予測値である予測モードを算出する。予測手段２０５は、第１参照モード予測手段２５１と第２参照モード予測手段２５２を有する。
【００８７】
第１参照モード予測手段２５１は、第１取得手段２０１から取得したB6ピクチャ内の参照モードAを候補モードA、参照モードBを候補モードBとする。  図１３は、実施例３における第２参照モード予測手段２５２による処理を説明する図である。第２参照モード予測手段２５２は、図１３に示すように、第２取得手段２０４から取得したブロックColB3の参照モードXが、B4ピクチャからB6ピクチャ方向の参照を含むと判断したとする。すなわち、第２参照モード予測手段２５２は、参照モードXがP8ピクチャへの参照を含む（後方向または双方向）と判断したとする。
【００８８】
このとき、符号化対象ブロックに類似した領域が、B4ピクチャ、P8ピクチャともに存在すると考えられることから、第２参照モード予測手段２５２は、双方向を候補モードXとする。また、第２取得手段２０４で得られた参照モードXが、前方向であった場合、又は無効の場合すなわちイントラ符号化であった場合は、候補モードXを無効とする。
【００８９】
予測手段２０５は、候補モードA、B、Xの中で最も多い参照モードを予測モードとする。すべての候補モードが異なれば、候補モードXを予測モードとする。また、予測手段２０５は、すべての候補モードがイントラ符号化されており、参照モードが無効であれば、例えば双方向を予測モードとする。
【００９０】
決定手段２０６は、符号化対象ブロックと複数の参照画像におけるブロックマッチングを行い、最も類似した参照画像を選択し、その参照モードを符号化モードとして決定する。ブロックマッチングの評価値は、画素差分絶対値和を用いても良く、画素差分二乗和でもよい。
【００９１】
符号化手段２０７は、H.264の参照モード符号化方法を例にして説明する。図１４は、参照モードと分割モードとをブロックタイプとして符号化する例を示す図である。符号化手段２０７は、図１４に示すように、参照モードをブロックタイプとして分割タイプと共に符号化している。分割タイプは、１６×１６などのブロックサイズを表す。
【００９２】
ここで、符号の値が小さい方が符号量も小さくなるとする。この場合、図１４（A）のように予め決められた符号が、分割タイプを基準に順番に割り当てられており効率的ではない。実施例３では、参照モードを基準に符号化テーブルを変更する。すなわち、符号化手段２０７は、予測モードを含むブロックの符号量を小さくするように適応的に符号化テーブルを変更する。例えば、符号化手段２０７は、予測モードが双方向であった場合、図１４（B）のように双方向を含むマクロブロックタイプの順位を上げ、小さい値の符号を割り当てるようにする。
【００９３】
これにより、双方向の予測モードが実際の参照モードと一致すれば、値が小さい符号に符号化することができ、符号量を減らすことができる。
【００９４】
次に、実施例３における画像符号化装置の動作について説明する。図１５は、実施例３における参照モード符号化処理の一例を示すフローチャートである。
【００９５】
図１５に示すステップＳ１０１で、格納手段２０１は、符号化済み画像RPs（Reference Picture群）のブロック単位の動きベクトル、ブロックタイプ、参照モードなどの符号化情報を格納する。
【００９６】
ステップＳ１０２、Ｓ１０３で、第1取得手段２０２は、符号化対象画像CP（Coding Picture）に属する符号化済みブロックの符号化情報を格納手段２０１から取得する。第１取得手段２０２は、図１０に示す例では左ブロックA、上ブロックBそれぞれの参照モードA、Bを取得する。第１取得手段２０２は、ブロックA、ブロックBがイントラ符号化されている場合は、参照モードを無効とする。
【００９７】
ステップＳ１０４で、選択手段２０３は、符号化対象画像が、符号化済み画像と、この符号化済み画像の参照画像との間にあるような符号化済み画像RP（Reference Picture）を選択する。
【００９８】
ステップＳ１０５で、選択手段２０３は、取得したRPが複数存在するか判定する。複数存在すれば（ステップＳ１０５−ＹＥＳ）ステップＳ１０６に進み、複数存在しなければ（ステップＳ１０５−ＮＯ）ステップＳ１０８に進む。
【００９９】
ステップＳ１０６、Ｓ１０７で、選択手段２０３は、符号化済み画像と符号化済み画像の参照画像との間隔Lを計算し、その間隔Lが最も小さい符号化済み画像RPを選択する。
【０１００】
ステップＳ１０８で、第２取得手段２０４は、選択手段２０３で選択された符号化済み画像の復号画像内に属するCollocatedブロックの参照モードXを格納手段２０１から取得する。
【０１０１】
ステップＳ１０９で、第１参照モード予測手段２５１は、参照モードA、Bを候補モードA、Bとする。
【０１０２】
ステップＳ１１０で、第２参照モード予測手段２５２は、参照モードXがCP方向を参照しているかを判定する。第２参照モード予測手段２５２は、図１３に示す例を用いて説明すると、参照モードXが、双方向か後方向を参照しているかを判定する。CP方向を参照していれば（ステップＳ１１０−ＹＥＳ）ステップＳ１１２に進み、CP方向を参照していなければ（ステップＳ１１０−ＮＯ）ステップＳ１１１に進む。
【０１０３】
ステップＳ１１１で、第２参照モード予測手段２５２は、候補モードXを無効とする。
【０１０４】
ステップＳ１１２で、第２参照モード予測手段２５２は、双方向モードを候補モードXとする。
【０１０５】
ステップＳ１１３で、予測手段２０５は、候補モードA、B、Xの中で最も多い参照モードを予測モードとするため、例えば、予測手段２０５は、候補モードが全て異なるか否かを判定する。全て異なれば（ステップＳ１１３−ＹＥＳ）ステップＳ１１４に進み、全て異ならなければ（ステップＳ１１３−ＮＯ）ステップＳ１１５に進む。
【０１０６】
ステップＳ１１４で、予測手段２０５は、候補モードXを予測モードに設定する。ステップＳ１１５で、予測手段２０５は、候補モードA、B、Xの中で最も多い参照モードを予測モードに設定する。
【０１０７】
ステップＳ１１６で、予測手段２０５は、予測モードが有効か否かを判定する。予測モードが有効であれば（ステップＳ１１６−ＹＥＳ）ステップＳ１１９に進み、予測モードが無効であれば（ステップＳ１１６−ＮＯ）ステップＳ１１７に進む。
【０１０８】
ステップＳ１１７で、予測手段２０５は、双方向を予測モードに設定する。
【０１０９】
ステップＳ１１８で、決定手段２０６は、符号化対象ブロックの参照モードをブロックマッチングにより決定する。
【０１１０】
ステップＳ１１９で、符号化手段２０７は、予測モードに応じてVLC（可変長符号化）テーブルの符号量割り当てを変更する。符号化手段２０７は、例えば、予測モードが双方向を示す場合、図１４（Ａ）に示す符号化テーブルから図１４（Ｂ）に示す符号化テーブルに変更する。
【０１１１】
ステップＳ１２０で、符号化手段２０７は、変更されたVLCテーブルを用いて、符号化対象ブロックの参照モードを符号化する。図１５に示す処理は、Bピクチャの符号化対象ブロック毎に行われる。
【０１１２】
なお、Collocatedブロックの参照モードがダイレクトモードを示す場合もありえる。この場合、参照モードを無効にするか、又は、実際に用いるアンカーブロックの動きベクトルにより参照モードを決定してもよい。例えば、Collocatedブロックが、ダイレクトモードにより双方向の動きベクトルを用いる場合、Collocatedブロックの参照モードは双方向に設定する。
【０１１３】
以上、実施例３によれば、空間的に近い符号化済みブロックの参照モード、時間方向における符号化対象ブロックと同一位置の符号化済みブロックの復号ブロックの参照モードを取得することができる。これにより、符号化対象ブロックの参照モードの予測の精度を向上させることができる。これは、符号化対象ブロックと類似するブロックを空間的、時間的な観点で探し出し、類似すると推測されたブロックの参照モードで多く使われているものが、符号化対象ブロックでも使われるという考えに基づく。よって、参照モードの予測精度が向上すれば、符号量が小さい符号で符号化できるので、符号化効率を上げることが可能になる。
【０１１４】
［実施例４］
次に、実施例４における画像復号装置について説明する。実施例４における画像復号装置の構成は、図７に示した構成と同様である。実施例４における画像複合装置の参照モードの予測に関する機能は、図８に示す機能と同じ符号を用いて説明する。
【０１１５】
また、実施例４における画像復号装置は、実施例３における画像符号化装置で符号化されたビットストリームを復号する。
【０１１６】
格納手段４０１は、過去に復号済みの画像DRPs（Decoded Reference Picture群）と、ブロック単位の動きベクトル、ブロックタイプ、参照モードなどの復号情報とを格納する。
【０１１７】
第１取得手段４０２は、復号対象画像DP（Decoding Picture）に属する復号済みの復号情報を格納手段４０１から取得する。ここでは、同じ画面内の、復号対象ブロックの右ブロックAの参照モードA、復号対象ブロックの上ブロックBの参照モードBが取得される。
【０１１８】
選択手段４０３は、格納手段４０１に格納されている復号対象画像以外の複数の復号済み画像の中から所定の復号済み画像を選択する。例えば、選択手段４０３は、復号済み画像と復号済み画像の参照画像の間に復号対象画像が存在するような複数方向の復号済み画像から適切な復号済み画像DRPを選択する。
【０１１９】
第２取得手段４０４は、選択手段４０３で選択された復号済み画像DRPのCollocatedブロックの参照モードXを格納手段４０１から取得する。
【０１２０】
予測手段４０５は、第１取得手段４０２から取得した参照モードA、Bと第２取得手段４０４から取得した参照モードXとに基づいて復号対象ブロックの参照モードの予測値である予測モードを算出する。この場合、多数決により、一番多い参照モードが予測モードとなる。
【０１２１】
復号手段４０６は、ビットストリームから参照モードを決定するために必要な参照モード情報を復号する。この場合、参照モード情報として、VLCテーブルを用いて変換された符号が復号され、取得される。
【０１２２】
決定手段４０７は、予測手段４０５から取得した予測モードに基づきVLDテーブルの変更を行う。この場合、決定手段４０７は、予測モードを含むマクロブロックタイプの符号が小さい値になるよう変更する。決定手段４０７は、復号手段４０６から取得した参照モード情報と、変更されたVLDテーブルとから参照モードを決定する。決定した参照モードは、格納手段４０１に出力され、格納される。
【０１２３】
これにより、実施例３で説明した画像符号化装置で生成されたビットストリームを復号することができる。
【０１２４】
次に、実施例４における画像復号装置の動作について説明する。図１６は、実施例４における参照モード復号処理の一例を示すフローチャートである。
【０１２５】
図１６に示すステップＳ２０１で、格納手段４０１は、復号済み画像DRPsのブロック単位の動きベクトル、ブロックタイプ、参照モードなどの復号情報を格納する。
【０１２６】
ステップＳ２０２、Ｓ２０３で、第1取得手段４０２は、復号対象画像DPに属する復号済みブロックの復号情報を格納手段４０１から取得する。第１取得手段４０２は、図１０に示す例では左ブロックA、上ブロックBの参照モードA、Bを格納手段４０１から取得する。第１取得手段４０２は、ブロックA、ブロックBがイントラ符号化の場合は、参照モードを無効とする。
【０１２７】
ステップＳ２０４で、選択手段４０３は、復号対象画像DPが、復号済み画像DRPと、この復号済み画像DRPの参照画像との間にあるような復号済み画像DRPを選択する。
【０１２８】
ステップＳ２０５で、選択手段４０３は、取得したDRPが複数存在するか否かを判定する。複数存在すれば（ステップＳ２０５−ＹＥＳ）ステップＳ２０６に進み、複数存在しなければ（ステップＳ２０５−ＮＯ）ステップＳ２０８に進む。
【０１２９】
ステップＳ２０６、Ｓ２０７で、選択手段４０３は、復号済み画像と復号済み画像の参照画像の間隔Lを計算し、その間隔Lが最も小さい復号済み画像DRPを選択する。
【０１３０】
ステップＳ２０８で、第２取得手段４０４は、選択手段４０３で選択された復号済み画像のCollocatedブロックの参照モードXを格納手段４０１から取得する。
【０１３１】
ステップＳ２０９で、予測手段４０５は、参照モードA、Bを候補モードA、Bとする。
【０１３２】
ステップＳ２１０で、予測手段４０５は、参照モードXがDP方向を参照しているか判定する。DP方向を参照していれば（ステップＳ２１０−ＹＥＳ）ステップＳ２１２に進み、DP方向を参照していなければ（ステップＳ２１０−ＮＯ）ステップＳ２１１に進む。
【０１３３】
ステップＳ２１１で、予測手段４０５は、候補モードXを無効とする。ステップＳ２１２で、予測手段４０５は、双方向モードを候補モードXとする。
【０１３４】
ステップＳ２１３で、予測手段４０５は、候補モードA、B、Xの中で最も多い参照モードを予測モードとするため、例えば、予測手段４０５は、候補モードが全て異なるか否かを判定する。全て異なれば（ステップＳ２１３−ＹＥＳ）ステップＳ２１４に進み、全て異ならなければ（ステップＳ２１３−ＮＯ）ステップＳ２１５に進む。
【０１３５】
ステップＳ２１４で、予測手段４０５は、候補モードXを予測モードに設定する。ステップＳ２１５で、予測手段４０５は、候補モードA、B、Xの中で最も多い参照モードを予測モードとする。
【０１３６】
ステップＳ２１６で、予測手段４０５は、予測モードが有効か否かを判定する。予測モードが有効であれば（ステップＳ２１６−ＹＥＳ）ステップＳ２１９に進み、予測モードが無効であれば（ステップＳ２１６−ＮＯ）ステップ２１７に進む。
【０１３７】
ステップＳ２１７で、予測手段４０５は、双方向を予測モードに設定する。ステップＳ２１８で、復号手段４０６は、ビットストリームを復号し、復号対象ブロックの参照モード情報を取得する。ここでの参照モード情報は、VLCテーブルの符号を表す。
【０１３８】
ステップＳ２１９で、決定手段４０７は、予測モードに応じてVLD（可変長復号）テーブルの符号量割り当てを変更する。
【０１３９】
ステップＳ２２０で、決定手段４０７は、予測モードを用いて変更されたVLDテーブルと参照モード情報とを用いて、復号対象ブロックの参照モードを決定する。図１６に示す処理は、Ｂピクチャの復号対象ブロック毎に行われる。
【０１４０】
以上、実施例４によれば、空間的に近い復号済みブロックの参照モード、時間方向において復号対象ブロックと同一位置の復号済みブロックの参照モードを取得することができる。これにより、参照モードの予測の精度を上げた符号化に対応して、復号対象ブロックの参照モードを決定することができる。
【０１４１】
［実施例５］
次に、実施例５における画像符号化装置について説明する。実施例５における画像符号化装置の構成は、図４に示した構成と同様である。実施例５における画像符号化装置の参照モードの予測に関する機能は、図５に示す機能と同じ符号を用いて説明する。
【０１４２】
実施例５では、図９に示すB6ピクチャを符号化対象画像として、参照モードの予測の仕方を説明する。格納手段２０１は、実施例３と同様である。
【０１４３】
第１取得手段２０２は、図１７に示すように、符号化対象ブロックCB3の左ブロックA、上ブロックB、右上のブロックCそれぞれの参照モードA、B、Cを取得する。図１７は、符号化対象ブロックと周辺ブロックの関係（その２）の一例を示す図である。例えば、図１７に示すように、符号化対象ブロックCB3に隣接する左ブロックA、上ブロックB、右上ブロックCそれぞれの参照モードを参照モードA、B、Cとする。
【０１４４】
選択手段２０３の選択処理について説明する。ここで、符号化済み画像と符号化済み画像の参照画像との間に符号化対象画像が存在するような符号化済み画像が複数存在し、符号化済み画像同士が符号化対象画像を挟むような符号化済み画像が存在するとする。このとき、選択手段２０３は、符号化済み画像と符号化済み画像の参照画像との間隔が小さい２ピクチャの組を選択する。
【０１４５】
図９に示す例では、B4ピクチャとP8ピクチャは、符号化済み画像と符号化済み画像の参照画像の間に符号化対象画像が存在するような符号化済み画像である。また、B4ピクチャとP8ピクチャは、符号化対象画像B6ピクチャを挟むような符号化済み画像であるので、B4ピクチャとP8ピクチャの組が選択される。
【０１４６】
第２取得手段２０４は、まず、B4ピクチャ内の符号化対象ブロックの同一位置にあるCollocatedブロックColB4とCollocatedブロックColB4の周辺ブロックを格納手段２０１から取得する。図１８は、Collocatedブロックとその周辺ブロックの関係の一例を示す図である。
【０１４７】
第２取得手段２０４は、例えば、図１８に示すように、B4ピクチャのブロックＡ'〜Ｈ'のP8ピクチャへの動きベクトルを取得する。なお、符号化済み画像の全ての情報が使用できるため符号化情報を取得する領域は予め指定された領域でよい。例えば、指定された領域とは、CollocatedブロックColB4とブロックＡ'とブロックＢ'でもよいし、B4ピクチャ内の全ブロックであってもよい。また、P8ピクチャについても同様にI0ピクチャへの動きベクトルを取得する。
【０１４８】
第1参照モード予測手段２５１は、第1取得手段２０２から取得したB6ピクチャ内の参照モードAを候補モードA、参照モードBを候補モードB、参照モードCを候補モードCとする。
【０１４９】
図１９は、実施例５における第２参照モード予測手段２５２による処理を説明する図である。第２参照モード予測手段２５２は、図１９に示すように、第２取得手段２０４から取得したB4ピクチャからP8ピクチャへの動きベクトル（MVB２〜４）、P8ピクチャからI0ピクチャへの動きベクトルの中で1つでも符号化対象ブロックCB3を通る動きベクトルがないかを判定する。
【０１５０】
第２参照モード予測手段２５２は、符号化対象ブロックCB3を通る動きベクトルMVB2を検出した場合、符号化対象ブロックCB3に類似した領域が、B4ピクチャ、P8ピクチャともに存在すると判断する。
【０１５１】
また、P8ピクチャからI0ピクチャへの動きベクトルならば、P8ピクチャとI0ピクチャの間にB4ピクチャが間にある。よって、第２参照モード予測手段２５２は、符号化対象ブロックCB3に類似した領域が、B4ピクチャ、P8ピクチャともに存在すると判断する。
【０１５２】
これにより、第２参照モード予測手段２５２は、CB3に類似した領域がB4ピクチャ及びP8ピクチャにあると判断した場合、双方向を候補モードXとする。第２参照モード予測手段２５２は、符号化対象ブロックCB3を通る動きベクトルが存在しない場合、候補モードXを無効とする。
【０１５３】
予測手段２０５は、候補モードXが有効であれば、候補モードXを予測モードとする。無効であれば、候補モードA、B、Cの中で最も多いモードを予測モードとする。すべての候補モードが異なり、すべての候補モードが無効であれば、例えば双方向を予測モードとする。
【０１５４】
決定手段２０６は、符号化対象ブロックと複数の参照画像におけるブロックマッチングを行い、最も類似した参照画像を選択し、その参照モードを符号化モードとして決定する。
【０１５５】
符号化手段２０７は、予測手段２０５から取得した予測モードと決定手段２０６で決定された参照モードとが一致するか否かのフラグを算出し、不一致しているときは残りの２モードを選択する情報を符号化する。
【０１５６】
符号化手段２０７は、例えば、一致であった場合、不一致フラグを「０」に設定し、不一致であった場合、不一致フラグを「１」に設定する。符号化手段２０７は、さらに、不一致フラグ「１」の後に続けて、前方向であるか後方向であるかの情報を１ビットで設定する。
【０１５７】
符号化手段２０７は、算術符号化を用いるとき、例えば、シンボル０の確率を増やすことで符号量を減らすことができる。つまり、予測モードの予測精度を上げることで、不一致フラグが「０」となる頻度が多くなり、算術符号化において符号化効率を上げることができる。また、不一致フラグが不一致を示す「１」の後のシンボルについては、候補モードとなったモードの個数や前方向動きベクトルと後方向動きベクトルの個数に応じて、さらに予測順位をつける。この例では、シンボル「０」の頻度を多くしたいので、候補モードで２番目に多いモードを「０」、３番目に多いモードを「１」にしてもよい。
【０１５８】
例えば、予測モードと参照モードとが不一致であったが、候補モードの中で「前方向」が２番目に多かったとする。この場合、前方向の参照モードを示す不一致フラグは「１０」になり、後方向の参照モードを示す不一致フラグは「１１」になる。
【０１５９】
次に、実施例５における画像符号化装置の動作について説明する。図２０は、実施例５における参照モード符号化処理の一例を示すフローチャートである。
【０１６０】
図２０Aに示すステップＳ３０１で、格納手段２０１は、符号化済み画像RPsのブロック単位の動きベクトル、ブロックタイプ、参照モードなどの符号化情報を格納する。
【０１６１】
ステップＳ３０２、Ｓ３０３で、第1取得手段２０２は、符号化対象画像CPに属する符号化済みブロックの符号化情報を格納手段２０１から取得する。第１取得手段２０２は、図１７に示す例では左ブロックA、上ブロックB、右上ブロックCの参照モードA、B、Cを取得する。第１取得手段２０２は、ブロックA、ブロックB、ブロックCがイントラ符号化の場合は、参照モードを無効とする。
【０１６２】
ステップＳ３０４で、選択手段２０３は、符号化対象画像が、符号化済み画像と、この符号化済み画像の参照画像との間にあるような符号化済み画像RPを選択する。
【０１６３】
ステップＳ３０５で、選択手段２０３は、取得したRPが複数存在するか否かを判定する。複数存在すれば（ステップＳ３０５−ＹＥＳ）ステップＳ３０６に進み、複数存在しなければ（ステップＳ３０５−ＮＯ）ステップＳ３０８に進む。
【０１６４】
ステップＳ３０６、Ｓ３０７で、選択手段２０３は、符号化済み画像と符号化済み画像の参照画像の間隔Lを計算し、その間隔Lが最も小さい符号化済み画像RPの組（２ピクチャ）を選択する。
【０１６５】
ステップＳ３０８で、第２取得手段２０４は、選択手段２０３で選択された符号化済み画像のブロックを指定する。第２取得手段２０４には、予め所定のブロックが設定されている。例えば、所定のブロックとして、Collocatedブロックを含む周辺ブロックと設定されている（図１８参照）。
【０１６６】
ステップＳ３０９で、第２取得手段２０４は、指定されたブロックの動きベクトルMV（Motion Vector）を格納手段２０１から取得する。
【０１６７】
ステップＳ３１０で、第１参照モード予測手段２５１は、参照モードA、B、Cそれぞれを候補モードA、B、Cとする。
【０１６８】
図２０Bに示すステップＳ３１１で、第２参照モード予測手段２５２は、第２取得手段２０４が取得したMVの中で、符号化対象ブロックを通る動きベクトルがあるか否かを判定する。動きベクトルが符号化対象ブロックを通るとは、図１９に示す例で説明すると、復号済みブロックとその参照ブロックとを動きベクトルMVB2で繋いだ場合、符号化対象ブロックCB3の領域内をその動きベクトルMVB2が通ることを言う。
【０１６９】
符号化対象ブロックを通る動きベクトルがあれば（ステップＳ３１１−ＹＥＳ）ステップＳ３１３に進み、この動きベクトルがなければ（ステップＳ３１１−ＮＯ）ステップＳ３１２に進む。
【０１７０】
ステップＳ３１２で、第２参照モード予測手段２５２は、候補モードXを無効とする。
【０１７１】
ステップＳ３１３で、第２参照モード予測手段２５２は、双方向を候補モードXとする。
【０１７２】
ステップＳ３１４で、予測手段２０５は、候補モードXが有効か否かを判定する。有効であれば（ステップＳ３１４−ＹＥＳ）ステップＳ３１５に進み、無効であれば（ステップＳ３１４−ＮＯ）ステップＳ３１６に進む。
【０１７３】
ステップＳ３１５で、予測手段２０５は、候補モードXを他の候補モードよりも優先して候補モードXを予測モードに設定する。候補モードXを有するブロックは、符号化対象ブロックと類似する可能性が高いからである。
【０１７４】
ステップＳ３１６で、予測手段２０５は、候補モードが全て異なるか否かを判定する。全て異なれば（ステップＳ３１６−ＹＥＳ）ステップＳ３１７に進み、全て異ならなければ（ステップＳ３１６−ＮＯ）ステップＳ３１８に進む。
【０１７５】
ステップＳ３１７で、予測手段２０５は、双方向を予測モードに設定する。ステップＳ３１８で、予測手段２０５は、候補モードA、B、Cの中で最も多い参照モードを予測モードに設定する。
【０１７６】
ステップＳ３１９で、予測手段２０５は、予測モードが有効か否かを判定する。予測モードが有効であれば（ステップＳ３１９−ＹＥＳ）ステップＳ３２２に進み、予測モードが無効であれば（ステップＳ３１９−ＮＯ）ステップ３２０に進む。
【０１７７】
ステップＳ３２０で、予測手段２０５は、双方向を予測モードに設定する。ステップＳ３２１で、決定手段２０６は、符号化対象ブロックの参照モードをブロックマッチングにより決定する。
【０１７８】
ステップＳ３２２で、符号化手段２０７は、予測手段２０５から取得した予測モードと決定手段２０６で決定された参照モードとが一致するか否かを判定する。一致すれば（ステップＳ３２２−ＹＥＳ）ステップＳ３２４に進み、一致しなければ（ステップＳ３２２−ＮＯ）ステップＳ３２３に進む。
【０１７９】
ステップＳ３２３で、符号化手段２０７は、不一致フラグを例えば「１」に設定し、残りの２モードを選択する情報を生成する。ステップＳ３２４で、符号化手段２０７は、不一致フラグを例えば「０」に設定する。
【０１８０】
ステップＳ３２５で、符号化手段２０７は、符号化対象ブロックの参照モードを不一致フラグで表し、この不一致フラグを含む符号化データに対し、例えば算術符号化を行う。図２０に示す処理は、Ｂピクチャの符号化対象ブロック毎に行われる。
【０１８１】
以上、実施例５によれば、第２取得手段２０４を用いて、符号化対象ブロックを通る動きベクトルを有するブロックの参照モードを取得することができる。これにより、符号化対象ブロックと、参照モードを取得する時間方向のブロックとの類似性が高くなり、類似するブロックの参照モードは同じ可能性が高いという観点から、参照モードの予測精度をより向上させることができる。よって、参照モードの予測精度が向上すれば、符号量が小さい符号で符号化できるので、符号化効率を上げることが可能になる。
【０１８２】
なお、実施例５では、符号化手段２０７において、参照モードに対し、不一致フラグを生成して符号化する例を説明したが、実施例３で説明したように、可変長符号化テーブルを用いて符号化してもよい。
【０１８３】
［実施例６］
次に、実施例６における画像復号装置について説明する。実施例６における画像復号装置の構成は、図７に示した構成と同様である。実施例６における画像復号装置の参照モードの予測に関する機能は、図８に示す機能と同じ符号を用いて説明する。
【０１８４】
また、実施例６における画像復号装置は、実施例５における画像符号化装置で符号化されたビットストリームを復号する。
【０１８５】
格納手段４０１は、過去に復号済みの画像DRPsと、ブロック単位の動きベクトル、ブロックタイプ、参照モードなどの復号情報とを格納する。
【０１８６】
第１取得手段４０２は、復号対象画像DP（Decoding Picture）に属する復号済みの復号情報を格納手段４０１から取得する。ここでは、同じ画面内の、復号対象ブロックの右ブロックAの参照モードA、復号対象ブロックの上ブロックBの参照モードB、復号対象ブロックの右上Cの参照モードCが取得される。
【０１８７】
選択手段４０３の選択処理について説明する。ここで、復号済み画像と復号済み画像の参照画像との間に復号対象画像が存在するような復号済み画像が複数存在し、復号済み画像同士が復号対象画像を挟むような復号済み画像が存在するとする。このとき、選択手段４０３は、復号済み画像と復号済み画像の参照画像との間隔が小さい２ピクチャの組を選択する。
【０１８８】
第２取得手段４０４は、選択手段４０３で選択された復号済み画像DRPの指定ブロックの復号情報に含まれる動きベクトルを格納手段４０１から取得する。
【０１８９】
予測手段４０５は、第２取得手段４０４から取得した動きベクトルMVが復号対象ブロックを通るか否かを判定し、この動きベクトルがあれば、双方向を候補モードXとする。予測手段４０５は、この動きベクトルがなければ候補モードXを無効にする。
【０１９０】
予測手段４０５は、候補モードXが有効であれば、候補モードXを予測モードとする。予測手段４０５は、候補モードXが無効であれば、第１取得手段４０２から取得した参照モードA、B、Cに基づいて復号対象ブロックの参照モードの予測値である予測モードを算出する。この場合、多数決により、一番多い参照モードが予測モードとなる。予測手段４０５は、参照モードA、B、Cが全て異なれば、双方向モードを予測モードに設定する。
【０１９１】
復号手段４０６は、ビットストリームを復号し、参照モードを決定するために必要な参照モード情報を取得する。この場合、不一致フラグが参照モード情報となる。
【０１９２】
決定手段４０７は、予測手段４０５から取得した予測モードにより、不一致フラグを設定する。不一致フラグの設定の仕方は、実施例５で説明した方法と同様である。決定手段４０７は、設定された不一致フラグのうち、復号手段４０６から取得した参照モード情報と同じ不一致フラグに対応する参照モードを決定する。決定された参照モードは、格納手段４０１に出力され、格納される。
【０１９３】
これにより、実施例５で説明した画像符号化装置で生成されたビットストリームを復号することができる。
【０１９４】
次に、実施例６における画像復号装置の動作について説明する。図２１は、実施例６における参照モード復号処理の一例を示すフローチャートである。
【０１９５】
図２１Aに示すステップＳ４０１で、格納手段４０１は、復号済み画像DRPsのブロック単位の動きベクトル、ブロックタイプ、参照モードなどの復号情報を格納する。
【０１９６】
ステップＳ４０２、Ｓ４０３で、第1取得手段４０２は、復号対象画像DPに属する復号済みブロックの復号情報を格納手段４０１から取得する。第１取得手段４０２は、図１７に示す例では左ブロックA、上ブロックB、右上ブロックCそれぞれの参照モードA、B、Cを取得する。第１取得手段２０２は、ブロックA、ブロックB、ブロックCがイントラ符号化の場合は、参照モードを無効とする。
【０１９７】
ステップＳ４０４で、選択手段４０３は、復号対象画像が、復号済み画像と、この復号済み画像の参照画像との間にあるような符号化済み画像DRPを選択する。
【０１９８】
ステップＳ４０５で、選択手段４０３は、取得したDRPが複数存在するか否かを判定する。複数存在すれば（ステップＳ４０５−ＹＥＳ）ステップＳ４０６に進み、複数存在しなければ（ステップＳ４０５−ＮＯ）ステップＳ４０８に進む。
【０１９９】
ステップＳ４０６、Ｓ４０７で、選択手段４０３は、復号済み画像と復号済み画像の参照画像との間隔Lを計算し、その間隔Lが最も小さい復号済み画像DRPの組（２ピクチャ）を選択する。
【０２００】
ステップＳ４０８で、第２取得手段４０４は、選択手段４０３で選択された復号済み画像のブロックを指定する。第２取得手段４０４には、予め所定のブロックが設定されている。例えば、所定のブロックとして、Collocatedブロックを含む周辺ブロックと設定されている。
【０２０１】
ステップＳ４０９で、第２取得手段４０４は、指定されたブロックの動きベクトルMVを格納手段４０１から取得する。
【０２０２】
ステップＳ４１０で、予測手段４０５は、参照モードA、B、Cを候補モードA、B、Cとする。
【０２０３】
図２１Bに示すステップＳ４１１で、予測手段４０５は、第２取得手段４０４が取得したMVの中で、復号対象ブロックを通る動きベクトルがあるか否かを判定する。復号対象ブロックを通る動きベクトルがあれば（ステップＳ４１１−ＹＥＳ）ステップＳ４１３に進み、この動きベクトルがなければ（ステップＳ４１１−ＮＯ）ステップＳ４１２に進む。
【０２０４】
ステップＳ４１２で、予測手段４０５は、候補モードXを無効とする。ステップＳ４１３で、予測手段４０５は、双方向を候補モードXとする。
【０２０５】
ステップＳ４１４で、予測手段４０５は、候補モードXが有効か否かを判定する。有効であれば（ステップＳ４１４−ＹＥＳ）ステップＳ４１５に進み、無効であれば（ステップＳ４１４−ＮＯ）ステップＳ４１６に進む。
【０２０６】
ステップＳ４１５で、予測手段４０５は、候補モードXを他の候補モードよりも優先して候補モードXを予測モードに設定する。ステップＳ４１６で、予測手段４０５は、第１取得手段４０２から取得した候補モードが全て異なるか否かを判定する。全て異なれば（ステップＳ４１６−ＹＥＳ）ステップＳ４１７に進み、全て異ならなければ（ステップＳ４１６−ＮＯ）ステップＳ４１８に進む。
【０２０７】
ステップＳ４１７で、予測手段４０５は、双方向を予測モードに設定する。ステップＳ４１８で、予測手段４０５は、候補モードA、B、Cの中で最も多い参照モードを予測モードに設定する。
【０２０８】
ステップＳ４１９で、予測手段４０５は、予測モードが有効か否かを判定する。予測モードが有効であれば（ステップＳ４１９−ＹＥＳ）ステップＳ４２１に進み、予測モードが無効であれば（ステップＳ４１９−ＮＯ）ステップ４２０に進む。
【０２０９】
ステップＳ４２０で、予測手段４０５は、双方向を予測モードに設定する。ステップＳ４２１で、決定手段４０７は、予測手段４０５から取得した予測モードにより不一致フラグを生成する。つまり、予測モードが示す参照モードの不一致フラグを例えば「０」にし、２番目に多い参照モードの不一致フラグを「１０」、その他の参照モードの不一致フラグを「１１」とする。
【０２１０】
ステップＳ４２２で、復号手段４０６は、ビットストリームを復号し、復号対象ブロックの参照モード情報を取得する。例えば、復号手段４０６は、算術符号化の復号を行なって、不一致フラグを取得する。この場合、参照モード情報は、不一致フラグである。
【０２１１】
ステップＳ４２３で、決定手段４０７は、設定された不一致フラグのうち、復号手段４０６から取得した参照モード情報と同じ不一致フラグに対応する参照モードを決定する。図２１に示す処理は、Bピクチャの復号対象ブロック毎に行われる。
【０２１２】
以上、実施例６によれば、実施例５により参照モードの予測精度を上げた符号化に対応して、復号対象ブロックの参照モードを決定することができる。
【０２１３】
［実施例７］
次に、実施例７における画像符号化装置について説明する。実施例７における画像符号化装置の構成については、図４に示した構成と同様であり、参照モードの予測に関する機能は、図２２に示す。図２２は、実施例７における参照モードの予測に関する機能の一例を示すブロック図である。
【０２１４】
図２２に示す画像符号化装置は、格納手段２０１、選択手段５０１、第１取得手段５０２、第２取得手段５０３、予測手段５０４、決定手段２０６、符号化手段２０７を含む。なお、図２２に示す機能において、図５に示す機能と同様のものは同じ符号を付す。
【０２１５】
実施例７では、図９に示すB5ピクチャを符号化する例を用いて説明する。B5ピクチャを符号化する際、すでにB4ピクチャ、B6ピクチャ、P8ピクチャは符号化され、これらのB4、B6、P8ピクチャは、符号化済み画像としてB5ピクチャで参照可能となっている。
【０２１６】
格納手段２０１は、すでにB4ピクチャ、B6ピクチャ、P8ピクチャに関するブロック単位の動きベクトル、ブロックタイプ、参照モードなどの符号化情報を格納している。
【０２１７】
図９に示すように、B4ピクチャは、P8ピクチャを参照しており、B6ピクチャはB4ピクチャを参照しており、P8ピクチャはI0ピクチャを参照している。また、B5ピクチャは、B4ピクチャとP8ピクチャ、B4ピクチャとB6ピクチャ、I0ピクチャとP8ピクチャの間に存在する。すなわち、符号化済み画像と符号化済み画像の参照画像との間に符号化対象画像が存在する。
【０２１８】
選択手段５０１は、符号化済み画像と符号化済み画像の参照画像との間隔が近いほど予測の信頼性が高いため、符号化済み画像と符号化済み画像の参照画像の間隔が最も小さい符号化済み画像を選択する。
【０２１９】
図２３は、実施例７における符号化済み画像の選択処理を説明する図である。図２３に示すように、B4ピクチャとP8ピクチャとの間は４ピクチャ間隔であり、B4ピクチャとB6ピクチャとの間は２ピクチャ間隔であり、I0ピクチャとP8ピクチャとの間は８ピクチャ間隔である。よって、選択手段５０１は、B6ピクチャを選択する。選択手段５０１は、B6ピクチャを選択した旨を第１取得手段５０２及び第２取得手段５０３に通知する。
【０２２０】
第１取得手段５０２は、符号化対象画像に属する符号化済みブロックの符号化情報を格納手段２０１から取得する。この符号化情報は、例えば、動きベクトルである。図２４は、実施例７における第１取得手段５０２による処理を説明する図である。
【０２２１】
第１取得手段５０２は、例えば、図２４に示すように、符号化対象ブロックCB4の左ブロックA、上ブロックBのB6ピクチャに対する動きベクトルMVB5,6を格納手段２０１から取得する。B6ピクチャに対する動きベクトルを取得する理由は、選択手段５０１から通知された符号化済み画像だからである。
【０２２２】
また、第１取得手段５０２は、B6ピクチャに対する動きベクトルがない場合、同方向に存在するP8ピクチャへの動きベクトルが存在する場合は、適切に時間方向スケーリングを行い、B6ピクチャに対する動きベクトルを算出する。この場合、スケーリングされた動きベクトルは、P8ピクチャへの動きベクトルの１／３である。ただし、第１取得手段５０２は、ブロックA、Bがイントラ予測で符号化されている場合は無効とする。第１取得手段５０２は、取得した動きベクトルを第２取得手段５０３に出力する。
【０２２３】
また、第１取得手段５０２は、ブロックAとブロックBとが異なる参照画像を参照する場合、B6ピクチャに対する動きベクトルになるよう適切にスケーリングを行ってもよい。例えば、ブロックAは、B6ピクチャを参照する場合はその動きベクトルを取得し、ブロックBがP8ピクチャを参照する場合はその動きベクトルをスケーリングしてB6ピクチャに対する動きベクトルに変換する。第１取得手段５０２は、これらの動きベクトルを第２取得手段５０３に出力する。
【０２２４】
第２取得手段５０３は、選択手段５０１で選択された符号化済み画像に属する符号化情報を格納手段２０１から取得する。第２取得手段５０３は、第1取得手段５０２から得られた１又は複数の動きベクトルに基づいて、例えば中間値や平均値のベクトルを算出する。
【０２２５】
また、第２取得手段５０３は、第1取得手段５０２から取得した動きベクトルが全て無効であればゼロベクトルとする。第２取得手段５０３は、第１取得手段５０２から取得した動きベクトルから仮動きベクトルを算出する。
【０２２６】
図２５は、仮動きベクトルの一例を示す図である。仮動きベクトルは、図２４及び図２５に示す例を用いると、
仮動きベクトル＝（動きベクトルMVB5＋動きベクトルMVB6）／２
の式により算出する。第２取得手段５０３は、算出した平均ベクトル（pvx, pvy）を符号化対象ブロックの推測ベクトルPVとして、B6ピクチャへの符号化対象ブロックに相当する移動先座標を推測する。
【０２２７】
ここで、符号化対象ブロックの座標が（x,y）とすると、移動先座標は（x+pvx, y+pvy）である。第２取得手段５０３は、この移動先座標を含むB6ピクチャのブロックBl1の参照モードを取得する。
【０２２８】
予測手段５０４は、第１取得手段５０２と第２取得手段５０３とから得られた符号化情報に基づいて、符号化対象ブロックの参照モードの予測値である予測モードを算出する。
【０２２９】
図２６は、実施例７における予測手段５０４の構成の一例を示すブロック図である。予測手段５０４は、図２６に示すように第１参照モード予測手段５４１と第２参照モード予測手段５４２を有する。
【０２３０】
第１参照モード予測手段５４１は、第１取得手段５０２から取得したB5ピクチャ内のブロックAの参照モードAを候補モードA、ブロックBの参照モードBを候補モードBとする。
【０２３１】
第２参照モード予測手段５４２は、第２取得手段５０３から取得した参照モードに基づき候補モードXを設定する。例えば、取得した参照モードがB6ピクチャからB5ピクチャ方向の参照画像、すなわちB4ピクチャへの参照を含む（前方向または双方向）場合、符号化対象ブロックに類似した領域が、B4ピクチャ、B6ピクチャともに存在すると考えられる。よって、第２参照モード予測手段５４２は、双方向を候補モードXに設定する。
【０２３２】
また、取得した参照モードが、後方向であった場合、又はイントラ符号化であった場合は、第２参照モード予測手段５４２は、候補モードXを無効とする。また、仮動きベクトルで指定した移動先座標が画面外であった場合、第２参照モード予測手段５４２は、前方向を候補モードXに設定する。
【０２３３】
予測手段５０４は、候補モードXが有効であれば、候補モードXを他の候補モードよりも優先して予測モードに設定する。次に、予測手段５０４は、候補モードXが無効であれば双方向が否定されているので、候補モードA、Bで双方向を除く候補モードがあれば、その候補モードを予測モードとする。
【０２３４】
予測手段５０４は、候補モードA、Bが前方向と後方向で別れている場合、候補モードXが無効であれば前方向が否定されているので、後方向を予測モードとする。予測手段５０４は、候補モードA、Bが両方双方向、またはすべての候補モードが無効であれば、双方向を予測モードとする。
【０２３５】
決定手段２０６、符号化手段２０７については、例えば、実施例３や実施例５で示した動作と同様でもよい。
【０２３６】
次に、実施例７における画像符号化装置の動作について説明する。図２７は、実施例７における参照モード符号化処理の一例を示すフローチャートである。
【０２３７】
図２７Aに示すステップＳ５０１で、格納手段２０１は、符号化済み画像RPsのブロック単位の動きベクトル、ブロックタイプ、参照モードなどの符号化情報を格納する。
【０２３８】
ステップＳ５０２、Ｓ５０３で、第1取得手段５０２は、符号化対象画像CPに属する符号化済みブロックの符号化情報を格納手段２０１から取得する。第１取得手段５０２は、図２４に示す例では左ブロックA、上ブロックBの動きベクトルA、B及び参照モードA、Bを取得する。第１取得手段５０２は、ブロックA、ブロックBがイントラ符号化の場合は、動きベクトルA、B及び参照モードA、Bを無効とする。
【０２３９】
ステップＳ５０４で、選択手段５０１は、符号化対象画像が、符号化済み画像と、この符号化済み画像の参照画像との間にあるような符号化済み画像RPを選択する。
【０２４０】
ステップＳ５０５で、選択手段５０１は、取得したRPが複数存在するか否かを判定する。複数存在すれば（ステップＳ５０５−ＹＥＳ）ステップＳ５０６に進み、複数存在しなければ（ステップＳ５０５−ＮＯ）ステップＳ５０８に進む。
【０２４１】
ステップＳ５０６、Ｓ５０７で、選択手段５０１は、符号化済み画像と符号化済み画像の参照画像の間隔Lを計算し、その間隔Lが最も小さい符号化済み画像RPを選択する。
【０２４２】
ステップＳ５０８で、第２取得手段５０３は、第１取得手段５０２から取得した動きベクトルA、Bが両方無効であるか否かを判定する。両方無効である場合（ステップＳ５０８−ＹＥＳ）ステップＳ５０９に進み、両方無効でなければ（ステップＳ５０８−ＮＯ）ステップＳ５１０に進む。
【０２４３】
ステップＳ５０９で、第２取得手段５０３は、動きベクトルA、Bをゼロベクトルに設定する。
【０２４４】
ステップＳ５１０で、第２取得手段５０３は、動きベクトルA、Bの例えば平均値を算出する。
【０２４５】
ステップＳ５１１で、第２取得手段５０３は、選択された符号化済み画像RPへの符号化対象ブロックの移動先座標を計算する。
【０２４６】
ステップＳ５１２で、第２取得手段５０３は、移動先座標を含むブロックの参照モードXを格納手段２０１から取得する。
【０２４７】
ステップＳ５１３で、第１参照モード予測手段５４１は、第１取得手段５０２から取得したB5ピクチャ内のブロックAの参照モードAを候補モードA、ブロックBの参照モードBを候補モードBとする。
【０２４８】
図２７Bに示すステップＳ５１４で、第２参照モード予測手段５４２は、第２取得手段５０３から取得した参照モードXが符号化対象画像CP方向を参照しているか否かを判定する。CP方向を参照していれば（ステップＳ５１４−ＹＥＳ）ステップＳ５１５に進み、CP方向を参照していなければ（ステップＳ５１４−ＮＯ）ステップＳ５１６に進む。
【０２４９】
ステップＳ５１５で、第２参照モード予測手段５４２は、双方向を候補モードXとする。
【０２５０】
ステップＳ５１６で、第２参照モード予測手段５４２は、参照モードXが、後方向であるか、又はイントラ符号化であるかを判定する。後方向である、又はイントラ符号化であれば（ステップＳ５１６−ＹＥＳ）ステップＳ５１７に進み、それ以外であれば（ステップＳ５１６−ＮＯ）ステップＳ５１８に進む。
【０２５１】
ステップＳ５１７で、第２参照モード予測手段５４２は、候補モードＸを無効とする。
【０２５２】
ステップＳ５１８で、第２参照モード予測手段５４２は、仮動きベクトルで指定した移動先座標が画面外であるか否かを判定する。画面外あれば（ステップＳ５１８−ＹＥＳ）ステップＳ５１９に進み、画面内であれば（ステップＳ５１８−ＮＯ）、ダイレクトモードであると判断しステップＳ５１７に進む。なお、第２参照モード予測手段５４２は、ダイレクトモードであると判定した場合、アンカーブロックの動きベクトルに応じて候補モードXを設定してもよい。
【０２５３】
ステップＳ５１９で、第２参照モード予測手段５４２は、RP方向とは逆方向を候補モードXに設定する。
【０２５４】
ステップＳ５２０で、第２参照モード予測手段５４２は、候補モードXが有効か否かを判定する。有効であれば（ステップＳ５２０−ＹＥＳ）ステップＳ５２１に進み、無効であれば（ステップＳ５２０−ＮＯ）ステップＳ５２２に進む。
【０２５５】
ステップＳ５２１で、予測手段５０４は、候補モードXを他の候補モードよりも優先して予測モードに設定する。ステップＳ５２２で、予測手段５０４は、候補モードA又はBが双方向以外であるか否かを判定する。双方向以外であれば（ステップＳ５２２−ＹＥＳ）ステップＳ５２３に進み、双方向であれば（ステップＳ５２２−ＮＯ）ステップＳ５２９に進む。
【０２５６】
ステップＳ５２３で、予測手段５０４は、候補モードA、Bが異なる、かつ無効ではないか判定する。候補モードA、Bが異なる、かつ無効であれば（ステップＳ５２３−ＹＥＳ）ステップＳ５２５に進み、候補モードA、Bが同じ、かつ無効でなければ（ステップＳ５２３−ＮＯ）ステップＳ５２４に進む。
【０２５７】
ステップＳ５２４で、予測手段５０４は、候補モードA（又は候補モードB）を予測モードに設定する。
【０２５８】
ステップＳ５２５で、予測手段５０４は、候補モードA、BにRP方向が含まれるかを判定する。RP方向が含まれれば（ステップＳ５２５−ＹＥＳ）ステップＳ５２６に進み、RP方向が含まれなければ（ステップＳ５２５−ＮＯ）ステップＳ５２７に進む。
【０２５９】
ステップＳ５２６で、予測手段５０４は、RP方向を予測モードに設定する。ステップＳ５２７で、予測手段５０４は、候補モードA又は候補モードBが有効であるかを判定する。候補モードA又は候補モードBが有効であれば（ステップＳ５２７−ＹＥＳ）ステップＳ５２８に進み、候補モードA、Bどちらも無効であれば（ステップＳ５２７−ＮＯ）ステップＳ５２９に進む。
【０２６０】
ステップＳ５２８で、予測手段５０４は、候補モードA、Bの中で有効なものを予測モードに設定する。
【０２６１】
ステップＳ５２９で、予測手段５０４は、双方向を予測モードに設定する。ステップＳ５３０で、決定手段２０６は、符号化対象ブロックの参照モードをブロックマッチングにより決定する。
【０２６２】
ステップＳ５３１で、符号化手段２０７は、予測手段５０４から取得した予測モードと決定手段２０６で決定された参照モードとが一致するか否かを判定する。一致すれば（ステップＳ５３１−ＹＥＳ）ステップＳ５３３に進み、一致しなければ（ステップＳ５３１−ＮＯ）ステップＳ５３２に進む。
【０２６３】
ステップＳ５３２で、符号化手段２０７は、不一致フラグを例えば「１」に設定し、残りの２モードを選択する情報を生成する。ステップＳ５３３で、符号化手段２０７は、不一致フラグを例えば「０」に設定する。
【０２６４】
ステップＳ５３４で、符号化手段２０７は、符号化対象ブロックの参照モードを不一致フラグで表し、この不一致フラグを含む符号化データに対し、例えば算術符号化を行う。図２７に示す処理は、Bピクチャの符号化対象ブロック毎に行われる。
【０２６５】
以上、実施例７によれば、符号化対象ブロックに隣接する周辺ブロックの動きベクトルを用いて、符号化対象画像と間隔が小さい符号化済み画像の中から、符号化対象ブロックに類似するブロックを見つけることができる。これにより、符号化対象ブロックと、参照モードを取得するブロックとの類似性が高くなり、類似するブロックの参照モードは同じ可能性が高いという観点から、参照モードの予測精度をより向上させることができる。よって、参照モードの予測精度が向上すれば、符号量が小さい符号で符号化できるので、符号化効率を上げることが可能になる。
【０２６６】
なお、実施例７では、符号化手段２０７において、参照モードに対し、不一致フラグを生成して符号化する例を説明したが、実施例３で説明したように、可変長符号化テーブルを用いて符号化してもよい。
【０２６７】
［実施例８］
次に、実施例８における画像復号装置について説明する。実施例８における画像復号装置の構成は、図７に示した構成と同様であり、参照モードの予測に関する機能は、図２８に示す。図２８は、実施例８における参照モードの予測に関する機能の一例を示すブロック図である。
【０２６８】
図２８に示す画像復号装置は、格納手段４０１、選択手段６０１、第１取得手段６０２、第２取得手段６０３、予測手段６０４、復号手段４０６、決定手段４０７を含む。なお、図２８に示す構成において、図８と同様の構成のものは同じ符号を付す。
【０２６９】
また、実施例８における画像復号装置は、実施例７における画像符号化装置で符号化されたビットストリームを復号する。
【０２７０】
格納手段４０１は、過去に復号済みの画像DRPsと、ブロック単位の動きベクトル、ブロックタイプ、参照モードなどの復号情報とを格納する。
【０２７１】
選択手段６０１の選択処理について説明する。ここで、復号済み画像と復号済み画像の参照画像との間に復号対象画像が存在するような復号済み画像が複数存在し、復号済み画像同士が復号対象画像を挟むような復号済み画像が存在するとする。このとき、選択手段６０１は、復号済み画像と復号済み画像の参照画像との間隔が小さい復号済み画像を選択する。選択手段６０１は、選択した復号済み画像を示す情報を第１取得手段６０２及び第２取得手段６０３に通知する。
【０２７２】
第１取得手段６０２は、復号対象画像に属する復号済みブロックの復号情報を格納手段４０１から取得する。この復号情報は、例えば、動きベクトル、参照モードである。
【０２７３】
第１取得手段６０２は、復号対象ブロックの左ブロックA、上ブロックBの動きベクトルで、選択手段６０１から通知された復号済み画像を示す動きベクトルがあれば格納手段４０１から取得する。
【０２７４】
また、第１取得手段６０２は、選択手段６０１から通知された復号済み画像に対する動きベクトルがない場合、同方向に存在する復号済み画像への動きベクトルが存在するかを判定する。第１取得手段６０２は、この動きベクトルがある場合は、適切に時間方向スケーリングを行い、選択手段６０１により通知された復号済み画像に対する動きベクトルを算出する。ただし、第１取得手段６０２は、ブロックA、Bがイントラ符号化されている場合は無効とする。第１取得手段６０２は、取得した動きベクトルを第２取得手段６０３に出力する。
【０２７５】
第２取得手段６０３は、選択手段６０１で選択された復号済み画像に属する復号情報を格納手段４０１から取得する。第２取得手段６０３は、第1取得手段６０２から取得した複数の動きベクトルに基づいて、例えば中間値や平均値のベクトルを算出する。
【０２７６】
また、第２取得手段６０３は、第1取得手段６０２から取得した動きベクトルが全て無効であればゼロベクトルとする。第２取得手段６０３は、第１取得手段６０２から取得した動きベクトルから仮動きベクトルを算出する。
【０２７７】
第２取得手段６０３は、算出した仮動きベクトルを復号対象ブロックの推測ベクトルPVとして、選択手段６０１により選択された復号済み画像への復号対象ブロックに相当する移動先座標を推測する。次に、第２取得手段６０３は、移動先座標を含むブロックの参照モードを取得する。
【０２７８】
予測手段６０４は、第１取得手段６０２と第２取得手段６０３とから得られた復号情報に基づいて、復号対象ブロックの参照モードの予測値である予測モードを算出する。
【０２７９】
予測手段６０４は、第１取得手段６０２から取得したB5ピクチャ内のブロックAの参照モードAを候補モードA、ブロックBの参照モードBを候補モードBとする。
【０２８０】
予測手段６０４は、第２取得手段６０３から取得した参照モードに候補モードXを設定する。例えば、取得した参照モードがB6ピクチャからB5ピクチャ方向の参照画像、すなわちB4ピクチャへの参照を含む（前方向または双方向）場合、復号対象ブロックに類似した領域が、B4ピクチャ、B6ピクチャともに存在すると考えられる。よって、予測手段６０４は、双方向を候補モードXに設定する。
【０２８１】
また、取得した参照モードが、後方向であった場合、又はイントラ符号化であった場合は、予測手段６０４は、候補モードXを無効とする。また、仮動きベクトルで指定した移動先座標が画面外であった場合、予測手段６０４は、前方向を候補モードXに設定する。
【０２８２】
予測手段６０４は、候補モードXが有効であれば、他の候補モードよりも優先して候補モードXを予測モードとする。次に、予測手段６０４は、候補モードXが無効であれば双方向が否定されているので、候補モードA、Bで双方向を除く候補モードがあれば、その候補モードを予測モードとする。
【０２８３】
予測手段６０４は、候補モードA、Bが前方向と後方向で別れている場合、候補モードXが無効であれば前方向が否定されているので、後方向を予測モードとする。予測手段６０４は、候補モードA、Bが両方双方向、またはすべての候補モードが無効であれば、双方向を予測モードとする。
【０２８４】
復号手段４０６、決定手段４０７については、例えば、実施例４や実施例６で示した動作と同様でもよい。
【０２８５】
これにより、実施例７で説明した画像符号化装置で生成されたビットストリームを復号することができる。
【０２８６】
次に、実施例８における画像復号装置の動作について説明する。図２９は、実施例８における参照モード復号処理の一例を示すフローチャートである。
【０２８７】
図２９Aに示すステップＳ６０１で、格納手段４０１は、復号済み画像DRPsのブロック単位の動きベクトル、ブロックタイプ、参照モードなどの復号情報を格納する。
【０２８８】
ステップＳ６０２、Ｓ６０３で、第1取得手段６０２は、復号対象画像DPに属する復号済みブロックの復号情報を取得する。第１取得手段６０２は、図２４に示す例では左ブロックA、上ブロックBの参照モードA、B、動きベクトルA、Bを取得する。第１取得手段６０２は、ブロックA、ブロックBがイントラ符号化されていた場合は、参照モード、動きベクトルを無効とする。
【０２８９】
ステップＳ６０４で、選択手段６０１は、復号対象画像が、復号済み画像と、この復号済み画像の参照画像との間にあるような復号済み画像DRPを選択する。
【０２９０】
ステップＳ６０５で、選択手段６０１は、取得したDRPが複数存在するか否かを判定する。複数存在すれば（ステップＳ６０５−ＹＥＳ）ステップＳ６０６に進み、複数存在しなければ（ステップＳ６０５−ＮＯ）ステップＳ６０８に進む。
【０２９１】
ステップＳ６０６、Ｓ６０７で、選択手段６０１は、復号済み画像と復号済み画像の参照画像との間隔Lを計算し、その間隔Lが最も小さい復号済み画像DRPを選択する。
【０２９２】
ステップＳ６０８で、第２取得手段６０３は、第１取得手段６０２から取得した動きベクトルA、Bが両方無効であるか否かを判定する。両方無効である場合（ステップＳ６０８−ＹＥＳ）ステップＳ６０９に進み、両方無効でなければ（ステップＳ６０８−ＮＯ）ステップＳ６１０に進む。
【０２９３】
ステップＳ６０９で、第２取得手段６０３は、動きベクトルA、Bをゼロベクトルに設定する。
【０２９４】
ステップＳ６１０で、第２取得手段６０３は、動きベクトルA、Bの例えば平均値を算出する。
【０２９５】
ステップＳ６１１で、第２取得手段６０３は、復号済み画像DRPへの復号対象ブロックの移動先座標を計算する。
【０２９６】
ステップＳ６１２で、第２取得手段６０３は、移動先座標を含むブロックの参照モードXを格納手段４０１から取得する。
【０２９７】
ステップＳ６１３で、予測手段６０４は、第１取得手段６０２から取得したピクチャ内で、復号対象ブロックの左ブロックAの参照モードAを候補モードA、上ブロックBの参照モードBを候補モードBとする。
【０２９８】
図２９Bに示すステップＳ６１４で、予測手段６０４は、第２取得手段６０３から取得した参照モードXが復号対象画像DP方向を参照しているか否かを判定する。DP方向を参照していれば（ステップＳ６１４−ＹＥＳ）ステップＳ６１５に進み、DP方向を参照していなければ（ステップＳ６１４−ＮＯ）ステップＳ６１６に進む。
【０２９９】
ステップＳ６１５で、予測手段６０４は、双方向を候補モードXとする。
【０３００】
ステップＳ６１６で、予測手段６０４は、参照モードXが、後方向であるか、又はイントラ符号化であるかを判定する。後方向、又はイントラ符号化であれば（ステップＳ６１６−ＹＥＳ）ステップＳ６１７に進み、それ以外であれば（ステップＳ６１６−ＮＯ）ステップＳ６１８に進む。
【０３０１】
ステップＳ６１７で、予測手段６０４は、候補モードXを無効とする。ステップＳ６１８で、予測手段６０４は、仮動きベクトルで指定した移動先座標が画面外であるか否かを判定する。画面外であれば（ステップＳ６１８−ＹＥＳ）ステップＳ６１９に進み、画面内であれば（ステップＳ６１８−ＮＯ）、ダイレクトモードであると判断しステップＳ６１７に進む。なお、予測手段６０４は、ダイレクトモードであると判定した場合、候補モードXを無効にするのではなく、アンカーブロックの動きベクトルに応じて候補モードXを設定してもよい。
【０３０２】
ステップＳ６１９で、予測手段６０４は、DRP方向とは逆方向を候補モードXに設定する。
【０３０３】
ステップＳ６２０で、予測手段６０４は、候補モードXが有効か否かを判定する。有効であれば（ステップＳ６２０−ＹＥＳ）ステップＳ６２１に進み、無効であれば（ステップＳ６２０−ＮＯ）ステップＳ６２２に進む。
【０３０４】
ステップＳ６２１で、予測手段６０４は、候補モードXを他の候補モードより優先して予測モードに設定する。ステップＳ６２２で、予測手段６０４は、候補モードA又はBが双方向以外であるか否かを判定する。双方向以外であれば（ステップＳ６２２−ＹＥＳ）ステップＳ６２３に進み、双方向であれば（ステップＳ６２２−ＮＯ）ステップＳ６２９に進む。
【０３０５】
ステップＳ６２３で、予測手段６０４は、候補モードA、Bが異なる、かつ無効ではないか判定する。候補モードA、Bが異なる、かつ無効であれば（ステップＳ６２３−ＹＥＳ）ステップＳ６２５に進み、候補モードA、Bが同じあり、かつ無効でなければ（ステップＳ６２３−ＮＯ）ステップＳ６２４に進む。
【０３０６】
ステップＳ６２４で、予測手段６０４は、候補モードA（又は候補モードB）を予測モードに設定する。
【０３０７】
ステップＳ６２５で、予測手段６０４は、候補モードA、BにDRP方向が含まれるかを判定する。DRP方向が含まれれば（ステップＳ６２５−ＹＥＳ）ステップＳ６２６に進み、DRP方向が含まれなければ（ステップＳ６２５−ＮＯ）ステップＳ６２７に進む。
【０３０８】
ステップＳ６２６で、予測手段６０４は、DRP方向を予測モードに設定する。ステップＳ６２７で、予測手段６０４は、候補モードA又は候補モードBが有効であるかを判定する。候補モードA又は候補モードBが有効であれば（ステップＳ６２７−ＹＥＳ）ステップＳ６２８に進み、候補モードA、Bどちらも無効であれば（ステップＳ６２７−ＮＯ）ステップＳ６２９に進む。
【０３０９】
ステップＳ６２８で、予測手段６０４は、候補モードA、Bの中で有効なものを予測モードに設定する。
【０３１０】
ステップＳ６２９で、予測手段６０４は、双方向を予測モードに設定する。ステップＳ６３０で、決定手段４０７は、予測手段６０４から取得した予測モードにより不一致フラグを設定する。つまり、予測モードが示す参照モードの不一致フラグを例えば「０」にし、２番目に多い参照モードの不一致フラグを「１０」、その他の参照モードの不一致フラグを「１１」とする。
【０３１１】
ステップＳ６３１で、復号手段４０６は、ビットストリームを復号し、復号対象ブロックの参照モード情報を取得する。復号手段４０６は、例えば、算術符号化の復号を行なって、不一致フラグを取得する。この場合、参照モード情報は、不一致フラグである。
【０３１２】
ステップＳ６３２で、決定手段４０７は、設定された不一致フラグのうち、復号手段４０６から取得した参照モード情報と同じ不一致フラグに対応する参照モードを決定する。図２９に示す処理は、Bピクチャの復号対象ブロック毎に行われる。
【０３１３】
以上、実施例８によれば、実施例７により参照モードの予測精度を上げた符号化に対応して、復号対象ブロックの参照モードを決定することができる。
【０３１４】
［変形例］
次に、変形例について説明する。変形例では、前述した画像符号化方法又は画像復号方法を実現するためのプログラムを記録媒体に記録することで、各実施例での処理をコンピュータシステムに実施させることができる。
【０３１５】
図３０は、情報処理装置７００の構成の一例を示す図である。図３０に示すように、情報処理装置７００は、制御部７０１、主記憶部７０２、補助記憶部７０３、ドライブ装置７０４、ネットワークＩ／Ｆ部７０６、入力部７０７、表示部７０８を含む。これら各構成は、バスを介して相互にデータ送受信可能に接続されている。
【０３１６】
制御部７０１は、コンピュータの中で、各装置の制御やデータの演算、加工を行うＣＰＵである。また、制御部７０１は、主記憶部７０２や補助記憶部７０３に記憶されたプログラムを実行する演算装置であり、入力部７０７や記憶装置からデータを受け取り、演算、加工した上で、表示部７０８や記憶装置などに出力する。
【０３１７】
主記憶部７０２は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などであり、制御部７０１が実行する基本ソフトウェアであるＯＳやアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。
【０３１８】
補助記憶部７０３は、ＨＤＤ（Hard Disk Drive）などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。
【０３１９】
ドライブ装置７０４は、記録媒体７０５、例えばフレキシブルディスクからプログラムを読み出し、記憶装置にインストールする。
【０３２０】
また、記録媒体７０５に、所定のプログラムを格納し、この記録媒体７０５に格納されたプログラムはドライブ装置７０４を介して情報処理装置７００にインストールされる。インストールされた所定のプログラムは、情報処理装置７００により実行可能となる。
【０３２１】
ネットワークＩ／Ｆ部７０６は、有線及び／又は無線回線などのデータ伝送路により構築されたＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）などのネットワークを介して接続された通信機能を有する周辺機器と情報処理装置７００とのインターフェースである。
【０３２２】
入力部７０７は、カーソルキー、数字入力及び各種機能キー等を備えたキーボード、表示部７０８の表示画面上でキーの選択等を行うためのマウスやスライスパット等を有する。また、入力部７０７は、ユーザが制御部７０１に操作指示を与えたり、データを入力したりするためのユーザインターフェースである。
【０３２３】
表示部７０８は、ＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）等により構成され、制御部７０１から入力される表示データに応じた表示が行われる。
【０３２４】
このように、前述した実施例で説明した画像符号化処理又は画像復号処理は、コンピュータに実行させるためのプログラムとして実現されてもよい。このプログラムをサーバ等からインストールしてコンピュータに実行させることで、前述した画像符号化処理又は画像復号処理を実現することができる。
【０３２５】
また、このプログラムを記録媒体７０５に記録し、このプログラムが記録された記録媒体７０５をコンピュータや携帯端末に読み取らせて、前述した画像符号化処理又は画像復号処理を実現させることも可能である。なお、記録媒体７０５は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。また、前述した各実施例で説明した画像符号化処理又は画像復号処理は、１つ又は複数の集積回路に実装してもよい。
【０３２６】
以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した各実施例の構成要素を全部又は複数を組み合わせることも可能である。
【図１】
2012042650.tif 000003
【図２】
2012042650.tif 000004
【図３】
2012042650.tif 000005
【図４】
2012042650.tif 000006
【図５】
2012042650.tif 000007
【図６】
2012042650.tif 000008
【図７】
2012042650.tif 000009
【図８】
2012042650.tif 000010
【図９】
2012042650.tif 000011
【図１０】
2012042650.tif 000012
【図１１】
2012042650.tif 000013
【図１２】
2012042650.tif 000014
【図１３】
2012042650.tif 000015
【図１４】
2012042650.tif 000016
【図１５】
2012042650.tif 000017
【図１６】
2012042650.tif 000018
【図１７】
2012042650.tif 000019
【図１８】
2012042650.tif 000020
【図１９】
2012042650.tif 000021
【図２０Ａ】
2012042650.tif 000022
【図２０Ｂ】
2012042650.tif 000023
【図２１Ａ】
2012042650.tif 000024
【図２１Ｂ】
2012042650.tif 000025
【図２２】
2012042650.tif 000026
【図２３】
2012042650.tif 000027
【図２４】
2012042650.tif 000028
【図２５】
2012042650.tif 000029
【図２６】
2012042650.tif 000030
【図２７Ａ】
2012042650.tif 000031
【図２７Ｂ】
2012042650.tif 000032
【図２８】
2012042650.tif 000033
【図２９Ａ】
2012042650.tif 000034
【図２９Ｂ】
2012042650.tif 000035
【図３０】
2012042650.tif 000036
【手続補正書】
【提出日】平成25年3月21日(2013.3.21)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数のブロックに分割された画像を復号する画像復号方法であって、
復号対象画像内の復号済みブロックの復号情報及び復号済み画像の各ブロックの復号情報を格納する格納手段から前記復号済みブロックの復号情報を取得し、
複数の前記復号済み画像の中から、復号済み画像と該復号済み画像の参照画像との間に前記復号対象画像がある復号済み画像を選択し、
前記選択された復号済み画像内の所定ブロックの復号情報を前記格納手段から取得し、
前記取得された復号済みブロックの復号情報及び前記所定ブロックの復号情報を用いて、複数方向の復号済み画像を参照可能とする復号対象ブロックの予測方向を示す参照モードを予測し、
符号化データから前記復号対象ブロックの参照モードを決定するための参照モード情報を復号し、
前記予測された参照モード及び前記復号された参照モード情報から前記復号対象ブロックの参照モードを決定する画像復号方法。
【請求項２】
前記復号済み画像を選択する場合、前記復号済み画像と該復号済み画像の参照画像との間隔が最も小さい復号済み画像を選択する請求項１記載の画像復号方法。
【請求項３】
前記所定ブロックの復号情報を取得する場合、前記復号対象ブロックと同一位置にあるブロックを前記所定ブロックとする請求項１又は２記載の画像復号方法。
【請求項４】
前記参照モードを予測する場合、前記復号済みブロックの復号情報に含まれる参照モード及び前記所定ブロックの復号情報に含まれる参照モードのうち、最も多い参照モードを前記予測された参照モードとする請求項３記載の画像復号方法。
【請求項５】
前記所定ブロックの復号情報を取得する場合、前記復号対象ブロックと同一位置にあるブロックを含む周辺ブロックのうち、前記復号対象ブロック内を通る動きベクトルを有するブロックを前記所定ブロックとする請求項１又は２記載の画像復号方法。
【請求項６】
前記所定ブロックの復号情報を取得する場合、前記取得された復号済みブロックの動きベクトルを取得し、取得した動きベクトルを用いて仮動きベクトルを生成し、前記復号対象ブロックから前記仮動きベクトルが示すブロックを前記所定ブロックとする請求項１又は２記載の画像復号方法。
【請求項７】
前記参照モードを予測する場合、前記所定ブロックの復号情報に含まれる参照モードを、前記復号済みブロックの復号情報に含まれる参照モードよりも優先して前記予測された参照モードとする請求項５又は６記載の画像復号方法。
【請求項８】
前記参照モードを決定する場合、前記予測された参照モードの符号量が他の参照モードよりも小さくなるよう変更される、前記参照モードと符号とを対応付けた符号化テーブルに基づいて、前記参照モード情報が示す前記符号化テーブル内の符号から参照モードを決定する請求項１乃至７いずれか一項に記載の画像復号方法。
【請求項９】
前記参照モードを決定する場合、前記参照モード情報が前記予測された参照モードと一致するか否かを示す情報であるとき、該情報が一致を示せば前記予測された参照モードに決定し、該情報が不一致を示せば前記予測された参照モード以外の参照モードに決定する請求項１乃至７いずれか一項に記載の画像復号方法。
【請求項１０】
画像を複数のブロックに分割して符号化する画像符号化方法であって、
符号化対象画像内の符号化済みブロックの符号化情報及び符号化済み画像の各ブロックの符号化情報を格納する格納手段から前記符号化済みブロックの符号化情報を取得し、
複数の前記符号化済み画像の中から、符号化済み画像と該符号化済み画像の参照画像との間に前記符号化対象画像がある符号化済み画像を選択し、
前記選択された符号化済み画像内の所定ブロックの符号化情報を前記格納手段から取得し、
前記取得された符号化済みブロックの符号化情報及び前記所定ブロックの符号化情報を用いて、複数方向の符号化済み画像の復号画像を参照可能とする符号化対象ブロックの予測方向を示す参照モードを予測し、
前記符号化対象ブロックで用いる参照モードを決定し、
前記予測された参照モード及び前記決定された参照モードから前記符号化対象ブロックの参照モードを符号化する画像符号化方法。
【請求項１１】
複数のブロックに分割された画像を復号する画像復号装置であって、
復号対象画像内の復号済みブロックの復号情報及び復号済み画像の各ブロックの復号情報を格納する格納手段と、
前記格納手段から前記復号済みブロックの復号情報を取得する第１取得手段と、
複数の前記復号済み画像の中から、復号済み画像と該復号済み画像の参照画像との間に前記復号対象画像がある復号済み画像を選択する選択手段と、
前記選択手段により選択された復号済み画像内の所定ブロックの復号情報を前記格納手段から取得する第２取得手段と、
前記第１取得手段により取得された復号済みブロックの復号情報及び前記第２取得手段により取得された所定ブロックの復号情報を用いて、複数方向の復号済み画像の参照を可能とする復号対象ブロックの予測方向を示す参照モードを予測する予測手段と、
符号化データから前記復号対象ブロックの参照モードを決定するための参照モード情報を復号する復号手段と、
前記予測手段により予測された参照モード及び前記復号手段により復号された参照モード情報から前記復号対象ブロックの参照モードを決定する決定手段と、
を備える画像復号装置。
【請求項１２】
画像を複数のブロックに分割して符号化する画像符号化装置であって、
符号化対象画像内の符号化済みブロックの符号化情報及び符号化済み画像の各ブロックの符号化情報を格納する格納手段と、
前記格納手段から前記符号化済みブロックの復号情報を取得する第１取得手段と、
複数の前記符号化済み画像の中から、符号化済み画像と該符号化済み画像の参照画像との間に前記符号化対象画像がある符号化済み画像を選択する選択手段と、
前記選択手段により選択された符号化済み画像内の所定ブロックから符号化情報を取得する第２取得手段と、
前記第１取得手段により取得された符号化済みブロックの符号化情報及び前記第２取得手段により取得された所定ブロックの符号化情報を用いて、複数方向の符号化済み画像の復号画像を参照可能とする符号化対象ブロックの予測方向を示す参照モードを予測する予測手段と、
前記符号化対象ブロックで用いる参照モードを決定する決定手段と、
前記予測手段により予測された参照モード及び前記決定手段により決定された参照モードから前記符号化対象ブロックの参照モードを符号化する符号化手段と、
を備える画像符号化装置。
【請求項１３】
コンピュータに、
復号対象画像内の復号済みブロックの復号情報及び復号済み画像の各ブロックの復号情報を格納する格納手段から前記復号済みブロックの復号情報を取得し、
複数の前記復号済み画像の中から、復号済み画像と該復号済み画像の参照画像との間に前記復号対象画像がある復号済み画像を選択し、
前記選択された復号済み画像内の所定ブロックの復号情報を前記格納手段から取得し、
前記取得された復号済みブロックの復号情報及び前記所定ブロックの復号情報を用いて、複数方向の復号済み画像を参照可能とする復号対象ブロックの予測方向を示す参照モードを予測し、
符号化データから前記復号対象ブロックの参照モードを決定するための参照モード情報を復号し、
前記予測された参照モード及び前記復号された参照モード情報から前記復号対象ブロックの参照モードを決定する処理を実行させる画像復号プログラム。
【請求項１４】
コンピュータに、
符号化対象画像内の符号化済みブロックの符号化情報及び符号化済み画像の各ブロックの符号化情報を格納する格納手段から前記符号化済みブロックの符号化情報を取得し、
複数の前記符号化済み画像の中から、符号化済み画像と該符号化済み画像の参照画像との間に前記符号化対象画像がある符号化済み画像を選択し、
前記選択された符号化済み画像内の所定ブロックの符号化情報を前記格納手段から取得し、
前記取得された符号化済みブロックの符号化情報及び前記所定ブロックの符号化情報を用いて、複数方向の符号化済み画像の復号画像を参照可能とする符号化対象ブロックの予測方向を示す参照モードを予測し、
前記符号化対象ブロックで用いる参照モードを決定し、
前記予測された参照モード及び前記決定された参照モードから前記符号化対象ブロックの参照モードを符号化する処理を実行させる画像符号化プログラム。
【国際調査報告】
2012042650.tif 000037
2012042650.tif 000038
2012042650.tif 000039
2012042650.tif 000040