(57)【要約】【課題】後方参照画像Ｐｒ1，０上の基準領域Ｂｃｏｌがイントラ符号化されている場合でも、ゼロベクトルではない前方予測ベクトルｍｖＬ０および後方予測ベクトルｍｖＬ１を導出し、予測効率の低下を防止できる、動画像復号装置等を実現する。【解決手段】本発明の動画像復号装置又は動画像符号化装置における予測ベクトル導出手段においては、少なくとも２枚以上の参照画像を基準画像の候補とする。基準画像候補の一つを基準画像として選択したときに、基準領域がイントラ符号化されていて基準動きベクトルが存在しない場合には、別の基準画像候補を基準画像として選択することで画像の実際の動きに合った予測ベクトルを導出できる可能性を高めることができる。これにより、後方参照画像上の基準領域がイントラ符号化されている場合でも、ゼロベクトルではない予測ベクトルを導出でき、予測効率の低下を防止できる、動画像復号装置等を実現する。【選択図】図１
2011160468.tif 000002
【特許請求の範囲】
【請求項１】
処理対象画像上の処理対象領域の予測ベクトルを、基準画像の基準動きベクトルを用いて導出する予測ベクトル導出手段と、
前記予測ベクトルを用いて、前記処理対象領域の動きベクトルを再構成する動きベクトル復号手段と、
復号処理を終えた既復号画像から、前記動きベクトルを用いて前記処理対象領域の予測画像を導出する予測画像導出手段と
を備え、
前記予測ベクトル導出手段は、
少なくとも２枚以上の前記既復号画像を前記基準画像の候補画像とし、
前記基準動きベクトルがゼロベクトルとなることを回避する、所定の選択基準に基づいて前記候補画像の中の１枚を前記基準画像として選択し、
該基準画像上で前記処理対象領域と空間的に同一位置に位置する領域の動きベクトルを基準動きベクトルとして選択する基準動きベクトル選択手段を備え、
さらに、該基準動きベクトル選択手段が、
前記処理対象画像よりも表示時刻が早い既復号画像を前記基準画像として選択した場合、
前記予測画像導出手段は、
前記処理対象画像に表示時刻が最も近い前方参照画像のみを用いて予測画像を導出することを特徴とする、動画像復号装置。
【請求項２】
前記候補画像は、
前記処理対象画像より表示時刻が遅くかつ前記処理対象画像に表示時刻が最も近い既復号画像
および
前記処理対象画像より表示時刻が早くかつ前記処理対象画像に表示時刻が最も近い既復号画像であり、
前記所定の選択基準は、
前記処理対象画像より表示時刻が遅い前記候補画像上で、前記処理対象領域と空間的に同一位置に位置する領域の動きベクトルが存在する場合は、該候補画像を前記基準画像として選択し、
該動きベクトルが存在しない場合で、
前記処理対象画像より表示時刻が早い前記候補画像上で、前記処理対象領域と空間的に同一位置に位置する領域の動きベクトルが存在する場合は、該候補画像を前記基準画像として選択するという基準であることを特徴とする、請求項１に記載の動画像復号装置。
【請求項３】
前記既復号画像は、参照画像または非参照画像であることを特徴とする、請求項１または２に記載の動画像復号装置。
【請求項４】
前記基準動きベクトル選択手段は、前記所定の基準に基づき、前記動きベクトルの有無の判定を、該動きベクトルが有るまで繰り返し、該動きベクトルが有った場合に、該候補画像を前記基準画像として選択することを特徴とする、請求項１から３のうちいずれか一項に記載の動画像復号装置。
【請求項５】
処理対象画像上の処理対象領域の予測ベクトルを、基準画像の基準動きベクトルを用いて導出する予測ベクトル導出手段と、
前記処理対象画像と符号化処理を終えた既符号化画像とを用いて、動きベクトルを推定する動きベクトル推定手段と、
前記予測ベクトルを用いて、前記動きベクトルを符号化する動きベクトル符号化手段と、
前記既符号化画像から、前記動きベクトルを用いて前記処理対象領域の予測画像を導出する予測画像導出手段と
を備え、
前記予測ベクトル導出手段は、
少なくとも２枚以上の前記既符号化画像を前記基準画像の候補画像とし、
前記基準動きベクトルがゼロベクトルとなることを回避する、所定の選択基準に基づいて前記候補画像の中の１枚を前記基準画像として選択し、
該基準画像上で前記処理対象領域と空間的に同一位置に位置する領域の動きベクトルを基準動きベクトルとして選択する基準動きベクトル選択手段を備え、
さらに、該基準動きベクトル選択手段が、
前記処理対象画像よりも表示時刻が早い既符号化画像を前記基準画像として選択した場合、
前記予測画像導出手段は、
前記処理対象画像に表示時刻が最も近い前方参照画像のみを用いて予測画像を導出することを特徴とする、動画像符号化装置。
【請求項６】
前記候補画像は、
前記処理対象画像より表示時刻が遅くかつ前記処理対象画像に表示時刻が最も近い既符号化画像
および
前記処理対象画像より表示時刻が早くかつ前記処理対象画像に表示時刻が最も近い既符号化画像であり、
前記所定の選択基準は、
前記処理対象画像より表示時刻が遅い前記候補画像上で、前記処理対象領域と空間的に同一位置に位置する領域の動きベクトルが存在する場合は、該候補画像を前記基準画像として選択し、
該動きベクトルが存在しない場合で、
前記処理対象画像より表示時刻が早い前記候補画像上で、前記処理対象領域と空間的に同一位置に位置する領域の動きベクトルが存在する場合は、該候補画像を前記基準画像として選択するという基準であることを特徴とする、請求項５に記載の動画像符号化装置。
【請求項７】
前記既符号化画像は、参照画像または非参照画像であることを特徴とする、請求項５または６に記載の動画像符号化装置。
【請求項８】
前記基準動きベクトル選択手段は、前記所定の基準に基づき、前記動きベクトルの有無の判定を、該動きベクトルが有るまで繰り返し、該動きベクトルが有った場合に、該候補画像を前記基準画像として選択することを特徴とする、請求項５から７のうちいずれか一項に記載の動画像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動き補償に複数の参照画像を用いる動画像符号化装置および動画像復号装置に関するものである。
【背景技術】
【０００２】
従来技術として、ＭＰＥＧ−４  ＡＶＣ方式（非特許文献１；ＩＳＯ／ＩＥＣ  １４４９６−１０）を用いた動画像復号装置について、図９に示すブロック図を参照しながら、以下に説明する。
【０００３】
動画像復号装置３は、可変長符号復号部１００、動きベクトル復号部（動きベクトル復号手段）１０１、予測ベクトル導出部１０２、バッファメモリ１０３、画像復号部１０４、予測画像導出部（予測画像導出手段）１０５を含んで構成される。
【０００４】
可変長符号復号部１００は、入力符号化データを可変長復号し、予測方式、予測残差データ、差分ベクトルおよび時間情報等の符号化情報を復号する。動きベクトル復号部１０１は、予測ベクトルおよび差分ベクトルから、動きベクトルを復号する。予測ベクトル導出部１０２は、予測方式に基づき、復号済みの動きベクトルを用いて、予測ベクトルを導出する。バッファメモリ１０３は、動きベクトル、画像、および時間情報等を一時的に記録する。画像復号部１０４は、予測方式、予測残差データ、および予測画像から、画像を復号する。予測画像導出部１０５は、動きベクトルおよび参照画像を用いて、動き補償により予測画像を導出する。
【０００５】
＜従来技術を用いた復号手順の概要について＞
従来技術を用いた動画像復号装置における復号処理の概略について、図１０に示す復号処理手順のフローチャートを参照しながら、以下に説明する。
【０００６】
まず、可変長符号復号部１００が、動画像復号装置３の外部から入力された符号化データを可変長復号する（ステップ１０、以下Ｓ１０と略す)。可変長符号復号部１００の出力は、予測方式、予測残差データ、差分ベクトル、および時間情報等の符号化情報である。予測方式は、予測ベクトル導出部１０２および画像復号部１０４に出力され、予測残差データは、画像復号部１０４に出力され、差分ベクトルは、動きベクトル復号部１０１に出力され、時間情報は、画像復号部１０４に出力される。
【０００７】
次に、予測ベクトル導出部１０２が、バッファメモリ１０３に記録されている動きベクトルを用いて、可変長符号復号部１００から入力された予測方式に応じた予測ベクトルを導出する（Ｓ２０）。予測ベクトル導出部１０２は、導出した予測ベクトルを、動きベクトル復号部１０１およびバッファメモリ１０３に出力する。なお、予測ベクトル導出部１０２の動作の詳細については後述する。
【０００８】
次に、動きベクトル復号部１０１が、予測ベクトル導出部１０２から入力された予測ベクトルに、可変長符号復号部１００から入力された差分ベクトルを加えて、動きベクトルとして出力する（Ｓ３０）。出力された動きベクトルは、バッファメモリ１０３に出力され、記録される。
【０００９】
次に、予測画像導出部１０５が、バッファメモリ１０３に記録されている参照画像を読み出す。予測画像導出部１０５は、バッファメモリ１０３を介して動きベクトル復号部１０１から入力された動きベクトルと、読み出した参照画像とを用いて、動き補償予測を行い、予測画像を導出し、導出した予測画像を画像復号部１０４に出力する（Ｓ４０）。
【００１０】
次に、画像復号部１０４が、可変長符号復号部１００から入力された予測方式に応じて、予測画像導出部１０５から入力された予測画像と可変長符号復号部１００から入力された予測残差データとに基づいて、画像を復号する（Ｓ５０）。復号された画像およびその画像の表示タイミングに関する時間情報は、バッファメモリ１０３に出力され、記録される。
【００１１】
次に、Ｓ５０においてバッファメモリ１０３に記録された画像は、時間情報で示される時刻に、動画像表示装置（図示せず）に出力される（Ｓ６０）。
【００１２】
以上説明したように、従来技術（ＭＰＥＧ−４  ＡＶＣ方式）では、動き補償予測を用いた復号が行われている。
【００１３】
＜時間ダイレクト予測について＞
ＭＰＥＧ−４  ＡＶＣ方式では、予測方式の一つとして、時間ダイレクト予測と呼ばれる高能率な動き補償予測方式を用いることができる。
【００１４】
次に、ＭＰＥＧ−４  ＡＶＣ方式の時間ダイレクト予測について、図１１に示す概念図を用いて説明する。なお、以降の説明では、特に断らない限り、参照画像は、前方参照用と後方参照用とにそれぞれ１枚づつ、合計２枚あるものとする。
【００１５】
時間ダイレクト予測とは、図１１に示すように、対象画像Ｐｃｕｒの予測画像を導出するにあたり、前方参照画像Ｐｒ０，０および後方参照画像Ｐｒ1，０の２枚の参照画像を用いる、動き補償予測方式である。
【００１６】
以下では、対象画像Ｐｃｕｒ上の処理対象領域（図１１中の白丸）を、対象領域Ａｃｕｒと呼ぶ。なお、図１１の概念図、そして、図４、図５、図６、図１４に示す概念図では、図の左右方向が、動画像を表示する表示時刻を表し、縦棒が各画像を表し、図の上下方向が、各画像内の領域の位置を表している。
【００１７】
時間ダイレクト予測における動き補償では、対象領域Ａｃｕｒの、前方予測ベクトルｍｖＬ０と後方予測ベクトルｍｖＬ１とを用いる。前方予測ベクトルｍｖＬ０および後方予測ベクトルｍｖＬ１は、「基準画像」として定めた画像Ｐｃｏｌ上の、対象領域Ａｃｕｒと空間的に同一位置の領域Ｂｃｏｌ(図１１中の二重丸)の動きベクトルｍｖＣｏｌに基づいて計算する。なお、領域Ｂｃｏｌを「基準領域」と呼び、動きベクトルｍｖＣｏｌを「基準動きベクトル」と呼ぶこととする。また、基準動きベクトルｍｖＣｏｌが指す領域を、領域Ｂｃｏｌｒｅｆとし、領域Ｂｃｏｌｒｅｆは、画像Ｐｃｏｌｒｅｆ上にあるものとする。
【００１８】
ＭＰＥＧ−４  ＡＶＣ方式の時間ダイレクト予測では、図１１に示すように、後方参照画像Ｐｒ1，０が、基準画像Ｐｃｏｌである。また、特に参照画像が２枚の場合には、前方参照画像Ｐｒ０，０が、画像Ｐｃｏｌｒｅｆになる。
【００１９】
前方予測ベクトルｍｖＬ０および後方予測ベクトルｍｖＬ１は、基準動きベクトルｍｖＣｏｌを用いて、以下の式で計算する。
【００２０】
ｍｖＬ０  ＝  ｔｂ  ／  ｔｂｂ  ×  ｍｖＣｏｌ    ・・・（１）
ｍｖＬ１  ＝  （ｔｂ  −  ｔｄ）  ／  ｔｂｂ  ×  ｍｖＣｏｌ    ・・・（２）
なお、式（１）および式（２）において、ｔｂは、前方参照画像Ｐｒ０，０と対象画像Ｐｃｕｒとの表示時間の時間間隔、ｔｄは、前方参照画像Ｐｒ０，０と後方参照画像Ｐｒ1，０との時間間隔、ｔｂｂは、画像Ｐｃｏｌｒｅｆと基準画像Ｐｃｏｌとの時間間隔を表す。時間間隔ｔｂ、ｔｄ、およびｔｂｂの各値は、図１０のＳ５０の処理において、バッファメモリ１０３に記録されている各画像の表示時刻に関する時間情報を用いて計算される。時間間隔ｔｂ、ｔｄ、およびｔｂｂは、対象画像Ｐｃｕｒの表示時刻Ｔｃｕｒ、前方参照画像Ｐｒ０，０の表示時刻Ｔｒ０，０、後方参照画像Ｐｒ1，０の表示時刻Ｔｒ1，０、基準画像Ｐｃｏｌの表示時刻Ｔｃｏｌ、および画像Ｐｃｏｌｒｅｆの表示時刻Ｔｃｏｌｒｅｆを用いて、以下の式で計算される。
【００２１】
ｔｂ  ＝  Ｔｒ０，０  −  Ｔｃｕｒ    ・・・（３）
ｔｄ  ＝  Ｔｒ１，０  −  Ｔｒ０，０    ・・・（４）
ｔｂｂ  ＝  Ｔｃｏｌ  −  Ｔｃｏｌｒｅｆ    ・・・（５）
時間ダイレクト予測は、図１１に示す対象領域Ａｃｕｒおよび領域Ｂｃｕｒそれぞれにおいて画像となっている２つの物体が、領域Ａｒ０，０から領域Ａｒ1，０に、また領域Ｂｃｏｌｒｅｆから基準領域Ｂｃｏｌに、それぞれ同じ方向へ等速運動していることを仮定した予測方式である。
【００２２】
なお、ｐｍｖ（Ｐｒｅｄｉｃｔｏｒ  ｏｆ  Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ）予測では、推定した動きベクトルと予測ベクトルとの差分ベクトルを用いるが、時間ダイレクト予測では、そのような差分ベクトルを用いずに動きベクトルを復号する。具体的には、前方予測ベクトルｍｖＬ０および後方予測ベクトルｍｖＬ１を対象領域Ａｃｕｒにおける動きベクトルとする。
【００２３】
対象領域Ａｃｕｒの予測画像は、前方予測ベクトルｍｖＬ０が指す前方参照画像Ｐｒ０，０上の領域Ａｒ０，０と、後方予測ベクトルｍｖＬ１が指す後方参照画像Ｐｒ1，０上の領域Ａｒ1，０とを使用して動き補償を行い、生成される。
【００２４】
＜予測ベクトル導出部１０２の詳細な構成について＞
時間ダイレクト予測を用いて予測ベクトルを導出する、予測ベクトル導出部１０２の詳細な構成を、図１２のブロック図で示す。
【００２５】
予測ベクトル導出部１０２は、導出方式選択部２０１、スイッチ２０２、時間ダイレクト予測部２０３、空間ダイレクト予測部２０４、ｐｍｖ予測部２０５、ゼロベクトル出力部２０６から構成される。
【００２６】
導出方式選択部２０１は、可変長符号復号部１００から入力された予測方式と、バッファメモリ１０３に記録された基準動きベクトルの有無とに応じて、予測ベクトルの導出方式を選択する。スイッチ２０２は、導出方式選択部２０１で選択された予測ベクトル導出方式への切り替えを行う。時間ダイレクト予測部２０３は、時間ダイレクト予測で定められた方式で、予測ベクトルを求め、動きベクトル復号部１０１へ出力する。空間ダイレクト予測部２０４は、空間ダイレクト予測で定められた方式で、予測ベクトルを求め、動きベクトル復号部１０１へ出力する。ｐｍｖ予測部２０５は、差分ベクトルが存在する場合に、推定した動きベクトルと予測ベクトルとの差分ベクトルを符号化するｐｍｖ予測により予測ベクトルを求め、動きベクトル復号部１０１へ出力する。ゼロベクトル出力部２０６は、予測ベクトル導出部１０２への入力に関わらず、常にゼロベクトルを予測ベクトルとして、動きベクトル復号部１０１へ出力する。
【００２７】
＜時間ダイレクト予測における予測ベクトルの導出手順について＞
次に、動き補償予測方式として、時間ダイレクト予測が用いられる場合の、前方予測ベクトルｍｖＬ０および後方予測ベクトルｍｖＬ１の導出手順について、図１３に示す導出手順のフローチャートを用いて説明する。
【００２８】
まず、導出方式選択部２０１が、基準動きベクトルｍｖＣｏｌを、バッファメモリ１０３に要求する（Ｓ２１）。
【００２９】
次に、導出方式選択部２０１は、バッファメモリ１０３からの通知に基づき、バッファメモリ１０３上の、基準領域Ｂｃｏｌの基準動きベクトルｍｖＣｏｌの有無を判定する（Ｓ２２）。
【００３０】
基準動きベクトルｍｖＣｏｌが有る場合は、次のＳ２３の処理に進み、基準動きベクトルｍｖＣｏｌが無い場合は、Ｓ２５の処理に進む。
【００３１】
次に、導出方式選択部２０１は、スイッチ２０２を切り替えて、時間ダイレクト予測部２０３を選択する（Ｓ２３）。
【００３２】
次に、時間ダイレクト予測部２０３は、バッファメモリ１０３から取得した基準動きベクトルｍｖＣｏｌを、時間情報でスケーリング、すなわち式（１）および式（２）を用いて、前方予測ベクトルｍｖＬ０および後方予測ベクトルｍｖＬ１を計算し、予測ベクトルとして、動きベクトル復号部１０１へ出力し、処理を終了する（Ｓ２４）。
【００３３】
Ｓ２２において、基準動きベクトルｍｖＣｏｌがバッファメモリ１０３上に無いとの通知を受けた場合、導出方式選択部２０１は、基準領域Ｂｃｏｌがイントラ符号化されていると判断し、スイッチ２０２を切り替えて、ゼロベクトル出力部２０６を選択する（Ｓ２５）。
【００３４】
次に、ゼロベクトル出力部２０６は、前方予測ベクトルｍｖＬ０および後方予測ベクトルｍｖＬ１を、共にゼロベクトルとし、予測ベクトルとして動きベクトル復号部１０１へ出力して、処理を終了する（Ｓ２６）。
【００３５】
なお、ＭＰＥＧ−４  ＡＶＣ方式では、時間ダイレクト予測の他に、空間ダイレクト予測およびｐｍｖ予測による動き補償予測が可能であるが、これらの予測を行う空間ダイレクト予測部２０４およびｐｍｖ予測部２０５の動作については、説明を省略する。
【００３６】
以上説明したように、従来技術による時間ダイレクト予測方式では、後方参照画像Ｐｒ1，０を基準画像Ｐｃｏｌとした場合であり、かつ基準画像Ｐｃｏｌ上の基準領域Ｂｃｏｌの基準動きベクトルｍｖＣｏｌが利用可能な場合には、動画内の物体の実際の動きに近い予測ベクトルを導出することができる。
【先行技術文献】
【非特許文献】
【００３７】
【非特許文献１】ＩＳＯ／ＩＥＣ  １４４９６−１０
【発明の概要】
【発明が解決しようとする課題】
【００３８】
しかしながら、従来技術による予測ベクトル導出方法では、後方参照画像Ｐｒ1，０上の基準領域Ｂｃｏｌがイントラ符号化されている場合には、基準動きベクトルｍｖＣｏｌがゼロベクトルとされてしまう。その場合、図１４の概念図に示すように、ゼロベクトルを用いて式（１）および式（２）の計算を行うので、前方予測ベクトルｍｖＬ０が指す領域は領域Ａｒ０，０となり、後方予測ベクトルが指す領域は領域Ａｒ1，０となってしまい、前方予測ベクトルｍｖＬ０および後方予測ベクトルｍｖＬ１と、対象領域Ａｃｕｒの実際の動きとの差異が大きくなる場合が多い。従って、予測効率が低下するという課題があった。
【００３９】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、後方参照画像Ｐｒ1，０上の基準領域Ｂｃｏｌがイントラ符号化されている場合でも、ゼロベクトルではない前方予測ベクトルｍｖＬ０および後方予測ベクトルｍｖＬ１を導出し、予測効率の低下を防止できる、動画像復号装置および動画像符号化装置を実現することにある。
【課題を解決するための手段】
【００４０】
本発明に係る動画像復号装置は、上記の課題を解決するために、
処理対象画像上の処理対象領域の予測ベクトルを、基準画像の基準動きベクトルを用いて導出する予測ベクトル導出手段と、
前記予測ベクトルを用いて、前記処理対象領域の動きベクトルを再構成する動きベクトル復号手段と、
復号処理を終えた既復号画像から、前記動きベクトルを用いて前記処理対象領域の予測画像を導出する予測画像導出手段と
を備え、
前記予測ベクトル導出手段は、
少なくとも２枚以上の前記既復号画像を前記基準画像の候補画像とし、
前記基準動きベクトルがゼロベクトルとなることを回避する、所定の選択基準に基づいて前記候補画像の中の１枚を前記基準画像として選択し、
該基準画像上で前記処理対象領域と空間的に同一位置に位置する領域の動きベクトルを基準動きベクトルとして選択する基準動きベクトル選択手段を備え、
さらに、該基準動きベクトル選択手段が、
前記処理対象画像よりも表示時刻が早い既復号画像を前記基準画像として選択した場合、
前記予測画像導出手段は、
前記処理対象画像に表示時刻が最も近い前方参照画像のみを用いて予測画像を導出することを特徴としている。
【００４１】
また、本発明に係る動画像復号装置は、
前記候補画像は、
前記処理対象画像より表示時刻が遅くかつ前記処理対象画像に表示時刻が最も近い既復号画像
および
前記処理対象画像より表示時刻が早くかつ前記処理対象画像に表示時刻が最も近い既復号画像であり、
前記所定の選択基準は、
前記処理対象画像より表示時刻が遅い前記候補画像上で、前記処理対象領域と空間的に同一位置に位置する領域の動きベクトルが存在する場合は、該候補画像を前記基準画像として選択し、
該動きベクトルが存在しない場合で、
前記処理対象画像より表示時刻が早い前記候補画像上で、前記処理対象領域と空間的に同一位置に位置する領域の動きベクトルが存在する場合は、該候補画像を前記基準画像として選択するという基準であってよい。
【００４２】
また、本発明に係る動画像復号装置は、
前記既復号画像は、参照画像または非参照画像であってよい。
【００４３】
また、本発明に係る動画像復号装置は、
前記基準動きベクトル選択手段は、前記所定の基準に基づき、前記動きベクトルの有無の判定を、該動きベクトルが有るまで繰り返し、該動きベクトルが有った場合に、該候補画像を前記基準画像として選択する構成であってよい。
【００４４】
また、本発明に係る動画像符号化装置は、上記の課題を解決するために、
処理対象画像上の処理対象領域の予測ベクトルを、基準画像の基準動きベクトルを用いて導出する予測ベクトル導出手段と、
前記処理対象画像と符号化処理を終えた既符号化画像とを用いて、動きベクトルを推定する動きベクトル推定手段と、
前記予測ベクトルを用いて、前記動きベクトルを符号化する動きベクトル符号化手段と、
前記既符号化画像から、前記動きベクトルを用いて前記処理対象領域の予測画像を導出する予測画像導出手段と
を備え、
前記予測ベクトル導出手段は、
少なくとも２枚以上の前記既符号化画像を前記基準画像の候補画像とし、
前記基準動きベクトルがゼロベクトルとなることを回避する、所定の選択基準に基づいて前記候補画像の中の１枚を前記基準画像として選択し、
該基準画像上で前記処理対象領域と空間的に同一位置に位置する領域の動きベクトルを基準動きベクトルとして選択する基準動きベクトル選択手段を備え、
さらに、該基準動きベクトル選択手段が、
前記処理対象画像よりも表示時刻が早い既符号化画像を前記基準画像として選択した場合、
前記予測画像導出手段は、
前記処理対象画像に表示時刻が最も近い前方参照画像のみを用いて予測画像を導出することを特徴としている。
【００４５】
また、本発明に係る動画像符号化装置は、
前記候補画像は、
前記処理対象画像より表示時刻が遅くかつ前記処理対象画像に表示時刻が最も近い既符号化画像
および
前記処理対象画像より表示時刻が早くかつ前記処理対象画像に表示時刻が最も近い既符号化画像であり、
前記所定の選択基準は、
前記処理対象画像より表示時刻が遅い前記候補画像上で、前記処理対象領域と空間的に同一位置に位置する領域の動きベクトルが存在する場合は、該候補画像を前記基準画像として選択し、
該動きベクトルが存在しない場合で、
前記処理対象画像より表示時刻が早い前記候補画像上で、前記処理対象領域と空間的に同一位置に位置する領域の動きベクトルが存在する場合は、該候補画像を前記基準画像として選択するという基準であってよい。
【００４６】
また、本発明に係る動画像符号化装置は、
前記既符号化画像は、参照画像または非参照画像であってよい。
【００４７】
また、本発明に係る動画像符号化装置は、
前記基準動きベクトル選択手段は、前記所定の基準に基づき、前記動きベクトルの有無の判定を、該動きベクトルが有るまで繰り返し、該動きベクトルが有った場合に、該候補画像を前記基準画像として選択する構成であってよい。
【発明の効果】
【００４８】
以上のように、本発明に係る動画像復号装置は、
処理対象画像上の処理対象領域の予測ベクトルを、基準画像の基準動きベクトルを用いて導出する予測ベクトル導出手段と、
前記予測ベクトルを用いて、前記処理対象領域の動きベクトルを再構成する動きベクトル復号手段と、
復号処理を終えた既復号画像から、前記動きベクトルを用いて前記処理対象領域の予測画像を導出する予測画像導出手段と
を備え、
前記予測ベクトル導出手段は、
少なくとも２枚以上の前記既復号画像を前記基準画像の候補画像とし、
前記基準動きベクトルがゼロベクトルとなることを回避する、所定の選択基準に基づいて前記候補画像の中の１枚を前記基準画像として選択し、
該基準画像上で前記処理対象領域と空間的に同一位置に位置する領域の動きベクトルを基準動きベクトルとして選択する基準動きベクトル選択手段を備え、
さらに、該基準動きベクトル選択手段が、
前記処理対象画像よりも表示時刻が早い既復号画像を前記基準画像として選択した場合、
前記予測画像導出手段は、
前記処理対象画像に表示時刻が最も近い前方参照画像のみを用いて予測画像を導出する構成である。
【００４９】
また、本発明に係る動画像符号化装置は、
処理対象画像上の処理対象領域の予測ベクトルを、基準画像の基準動きベクトルを用いて導出する予測ベクトル導出手段と、
前記処理対象画像と符号化処理を終えた既符号化画像とを用いて、動きベクトルを推定する動きベクトル推定手段と、
前記予測ベクトルを用いて、前記動きベクトルを符号化する動きベクトル符号化手段と、
前記既符号化画像から、前記動きベクトルを用いて前記処理対象領域の予測画像を導出する予測画像導出手段と
を備え、
前記予測ベクトル導出手段は、
少なくとも２枚以上の前記既符号化画像を前記基準画像の候補画像とし、
前記基準動きベクトルがゼロベクトルとなることを回避する、所定の選択基準に基づいて前記候補画像の中の１枚を前記基準画像として選択し、
該基準画像上で前記処理対象領域と空間的に同一位置に位置する領域の動きベクトルを基準動きベクトルとして選択する基準動きベクトル選択手段を備え、
さらに、該基準動きベクトル選択手段が、
前記処理対象画像よりも表示時刻が早い既符号化画像を前記基準画像として選択した場合、
前記予測画像導出手段は、
前記処理対象画像に表示時刻が最も近い前方参照画像のみを用いて予測画像を導出する構成である。
【００５０】
よって、本発明に係る動画像復号装置および動画像符号化装置は、後方参照画像Ｐｒ1，０上の基準領域Ｂｃｏｌがイントラ符号化されている場合でも、ゼロベクトルではない前方予測ベクトルｍｖＬ０および後方予測ベクトルｍｖＬ１を導出し、予測効率の低下を防止できるという効果を実現することができる。
【図面の簡単な説明】
【００５１】
【図１】予測ベクトル導出部１１２が予測ベクトルを導出する手順を示すフローチャートある。
【図２】第１の実施の形態における、動画像復号装置１の構成を示すブロック図である。
【図３】予測ベクトル導出部１１２の詳細な構成を示すブロック図である。
【図４】前方参照画像Ｐｒ０，０を基準画像Ｐｃｏｌとする場合の、時間ダイレクト予測による予測ベクトルの導出方法を説明する概念図である。
【図５】複数の参照画像を基準画像候補とする場合の、時間ダイレクト予測による予測ベクトルの導出方法を説明する概念図である。
【図６】非参照画像を基準画像候補に含める場合の、時間ダイレクト予測による予測ベクトルの導出方法を説明する概念図である。
【図７】第２の実施の形態における、動画像符号化装置２の構成を示すブロック図である。
【図８】第２の実施の形態における、動画像符号化装置２の処理手順を示すフローチャートである。
【図９】従来技術における動画像復号装置３のブロック図である。
【図１０】従来技術における動画像復号装置３の復号手順の概要を示すフローチャートである。
【図１１】後方参照画像Ｐｒ1，０が基準画像Ｐｃｏｌである場合の、時間ダイレクト予測による予測ベクトルの導出方法を説明する概念図である。
【図１２】従来技術における、予測ベクトル導出部１０２の詳細な構成を示すブロック図である。
【図１３】従来技術において、予測ベクトル導出部１０２が予測ベクトルを導出する手順を示すフローチャートである。
【図１４】従来技術において、基準領域Ｂｃｏｌがイントラ予測されている場合の、予測ベクトルを示す概念図である。
【発明を実施するための形態】
【００５２】
［第１の実施の形態］
以下、本発明の第１の実施の形態における、動画像復号装置について説明する。
【００５３】
＜動画像復号装置の構成について＞
図２および図３のブロック図において、本実施の形態における、動画像復号装置の構成を示す。図２のブロック図は、動画像復号装置１の全体の構成を示し、図３のブロック図は、図２に示す予測ベクトル導出部（予測ベクトル導出手段）１１２の詳細な構成を示したものである。
【００５４】
これらの図に示す要素は、以下に述べるものを除き、従来技術の説明において用いたブロック図（図９および図１２）と同一なので、説明を省略する。
【００５５】
図２に示すブロック図おいて、本実施の形態の動画像復号装置１の構成と従来技術による動画像復号装置３の構成とが異なる部分は、予測ベクトル導出部１１２である。予測ベクトル導出部１１２は、可変長符号復号部１００から入力した予測方式に基づき、復号済みの動きベクトルを用いて、予測ベクトルを導出する。
【００５６】
図３に示すブロック図において、本実施の形態の予測ベクトル導出部１１２の構成と従来技術による予測ベクトル導出部１０２の構成とが異なる部分は、基準ベクトル選択部（基準動きベクトル選択手段）２１０の有無である。基準ベクトル選択部２１０は、バッファメモリ１０３上に複数ある基準画像候補から、基準画像Ｐｃｏｌとする画像を選択し、選択した基準画像Ｐｃｏｌに対応する基準動きベクトルｍｖＣｏｌを、導出方式選択部２０１に通知する。
【００５７】
すなわち、本実施の形態の動画像復号装置１は、時間ダイレクト予測において、複数の基準画像候補から、所定の手順で、基準画像Ｐｃｏｌおよび基準動きベクトルｍｖＣｏｌを決定し、前方予測ベクトルｍｖＬ０および後方予測ベクトルｍｖＬ１を導出することを特徴とする。
【００５８】
＜本実施の形態における予測ベクトルの導出手順について＞
本実施の形態の動画像復号装置１での、時間ダイレクト予測における前方予測ベクトルｍｖＬ０および後方予測ベクトルｍｖＬ１の導出手順について、図１のフローチャートを用いて説明する。
【００５９】
まず、導出方式選択部２０１が、基準ベクトル選択部２１０に、基準動きベクトルｍｖＣｏｌを要求する（Ｓ１）。
【００６０】
次に、基準ベクトル選択部２１０が、導出方式選択部２０１による要求に応じて、後方参照画像Ｐｒ1，０を、基準画像Ｐｃｏｌとして設定（Ｐｃｏｌ＝Ｐｒ1，０）した後、基準画像Ｐｃｏｌの基準動きベクトルｍｖＣｏｌを、バッファメモリ１０３に要求する（Ｓ２）。
【００６１】
次に、導出方式選択部２０１は、バッファメモリ１０３からの返答に基づいて、基準動きベクトルｍｖＣｏｌがバッファメモリ１０３内に存在するか否かを判断する（Ｓ３）。なお、この場合、基準動きベクトルｍｖＣｏｌがバッファメモリ１０３内に存在するとは、後方参照画像Ｐｒ1，０の基準領域Ｂｃｏｌに基準動きベクトルｍｖＣｏｌが存在することである。
【００６２】
基準動きベクトルｍｖＣｏｌがバッファメモリ１０３内に存在する場合（後方参照画像Ｐｒ1，０を基準画像Ｐｃｏｌとする、図１１の概念図の場合に相当）は、次のＳ４の処理に進む。
【００６３】
基準動きベクトルｍｖＣｏｌがバッファメモリ１０３内に存在しない場合は、Ｓ６の処理に進む。
【００６４】
Ｓ３またはＳ７において、基準動きベクトルｍｖＣｏｌがバッファメモリ１０３内に存在すると判断された場合、導出方式選択部２０１は、スイッチ２０２を切り替えて、時間ダイレクト予測部２０３を選択する（Ｓ４）。
【００６５】
次に、時間ダイレクト予測部２０３が、バッファメモリ１０３から取得した基準動きベクトルｍｖＣｏｌを用いて、前方予測ベクトルｍｖＬ０および後方予測ベクトルｍｖＬ１を、式（１）および式（２）により計算し、計算結果を前方予測ベクトルｍｖＬ０および後方予測ベクトルｍｖＬ１として、動きベクトル復号部１０１へ出力し、処理を終了する（Ｓ５）。
【００６６】
Ｓ３において、基準動きベクトルｍｖＣｏｌがバッファメモリ１０３内に存在しないと判断された場合、基準ベクトル選択部２１０は、前方参照画像Ｐｒ０，０を基準画像Ｐｃｏｌとして設定（Ｐｃｏｌ＝Ｐｒ０，０）した後、基準画像Ｐｃｏｌの基準動きベクトルｍｖＣｏｌを、バッファメモリ１０３に要求する（Ｓ６）。
【００６７】
次に、導出方式選択部２０１は、バッファメモリ１０３からの返答に基づいて、基準動きベクトルｍｖＣｏｌがバッファメモリ１０３内に存在するか否かを判断する（Ｓ７）。なお、この場合、基準動きベクトルｍｖＣｏｌがバッファメモリ１０３内に存在するとは、前方参照画像Ｐｒ０，０の基準領域Ｂｃｏｌに基準動きベクトルｍｖＣｏｌが存在することである。
【００６８】
基準動きベクトルｍｖＣｏｌがバッファメモリ１０３内に存在する場合（図４の概念図の場合に相当）は、Ｓ４の処理に進む。なお、図４の概念図では、前方参照画像Ｐｒ０，０を基準画像Ｐｃｏｌとする場合の、基準動きベクトルｍｖＣｏｌと、前方予測ベクトルｍｖＬ０および後方予測ベクトルｍｖＬ１との関係を示している。
【００６９】
基準動きベクトルｍｖＣｏｌがバッファメモリ１０３内に存在しない場合は、次のＳ８に進む。
【００７０】
Ｓ７において、基準動きベクトルｍｖＣｏｌがバッファメモリ１０３内に存在しないと判断された場合は、導出方式選択部２０１は、スイッチ２０２を切り替えて、ゼロベクトル出力部２０６を選択する（Ｓ８）。
【００７１】
次に、ゼロベクトル出力部２０６が、ゼロベクトルを前方予測ベクトルｍｖＬ０および後方予測ベクトルｍｖＬ１として動きベクトル復号部１０１へ出力し、処理を終了する。（Ｓ９）
上記手順に従うと、後方参照画像Ｐｒ1，０を基準画像Ｐｃｏｌとした際に、基準動きベクトルｍｖＣｏｌが利用可能ならば、従来技術と同様にして予測ベクトルを導出することができる。また、後方参照画像Ｐｒ1，０における基準動きベクトルｍｖＣｏｌが利用不可能ならば、前方参照画像Ｐｒ０，０を基準画像Ｐｃｏｌとして基準動きベクトルｍｖＣｏｌを利用することができる。
【００７２】
後方参照画像Ｐｒ1，０を基準画像Ｐｃｏｌとして使う場合と同様に、前方参照画像Ｐｒ０，０を基準画像Ｐｃｏｌとして使う場合も、図４の概念図に示す対象領域Ａｃｕｒにおいて画像としてある物体および領域Ｂｃｕｒにおいて画像としてある物体がそれぞれ、領域Ａｒ０，０から領域Ａｒ1，０に、また領域Ｂｃｏｌｒｅｆから領域Ｂｒ1，０に、同じ方向へ等速運動していることを仮定して予測を行う。
【００７３】
このように、従来手法において、図１４の概念図で示した様に、後方参照画像Ｐｒ1，０に基準動きベクトルｍｖＣｏｌが無く、予測ベクトルがゼロベクトルとされる予測方法に較べて、本発明に係る予測方法では、他の参照画像の基準動きベクトルｍｖＣｏｌを用いて予測ベクトルを導出し画像予測に用いるので、領域Ａｃｕｒに画像としてある物体の実際の動きを正確に表すことができる。従って、従来技術による予測方法に比べて、効率の良い予測が可能である。
【００７４】
＜基準画像候補が３枚以上ある場合の基準画像選択方法について＞
なお、本発明は、基準画像候補が３枚以上ある場合にも、適用可能である。
【００７５】
例えば、参照画像が３枚以上存在する場合は、それら参照画像のうち、複数枚を基準画像候補として利用できる。図５の概念図に示すように、３枚の前方参照画像Ｐｒ０，０、Ｐｒ０，１、およびＰｒ０，２と、１枚の後方参照画像Ｐｒ1，０とが存在し、それらの参照画像を全て基準画像候補とする場合について、以下に説明する。
【００７６】
３枚以上の基準画像候補が存在する場合、候補間の優先順位を、各基準画像候補の表示時刻と、対象画像Ｐｃｕｒの表示時刻との時間間隔の大小を用いて決めておく。例えば、後方参照画像Ｐｒ1，０を時間間隔が小さい順に並べ、その後、前方参照画像Ｐｒ０，０、Ｐｒ０，１、およびＰｒ０，２を時間間隔が小さい順に並べ、この順序を優先順位とする。この優先順位に従うと、図５における各基準画像候補の優先順位は、後方参照画像Ｐｒ1，０、前方参照画像Ｐｒ０，０、前方参照画像Ｐｒ０，１、前方参照画像Ｐｒ０，２の順となる。
【００７７】
基準ベクトル選択部２１０は、優先順位の高い基準画像候補を、基準画像Ｐｃｏｌに設定する。そして、設定した基準画像Ｐｃｏｌの基準動きベクトルｍｖＣｏｌの有無を判定して、基準動きベクトルｍｖＣｏｌが存在する場合は、その基準動きベクトルｍｖＣｏｌを選択する。存在しない場合は、次の優先順位の基準画像候補を基準画像Ｐｃｏｌに設定し、優先順位に従って、同様の処理を繰り返す。全ての基準画像Ｐｃｏｌを試した後に、基準動きベクトルｍｖＣｏｌが選択されていない場合は、その旨を導出方式選択部２０１へ通知する。
【００７８】
図５に示す概念図では、参照画像Ｐｒ０，１を基準画像Ｐｃｏｌに設定した場合の、基準動きベクトルｍｖＣｏｌと、前方予測ベクトルｍｖＬ０および後方予測ベクトルｍｖＬ１との関係を示している。この場合も、対象領域Ａｃｕｒに画像としてある物体および領域Ｂｃｕｒに画像としてある物体が、それぞれ、領域Ａｒ０，０から領域Ａｒ1，０に、領域Ｂｃｏｌｒｅｆから領域Ｂｒ1，０に、同じ方向へ等速運動していることを仮定し、式（１）および式（２）より、予測ベクトルが計算できる。
【００７９】
基準画像候補が３枚以上ある場合には、基準画像候補のいずれかを基準画像Ｐｃｏｌとし、その基準画像Ｐｃｏｌに対応する基準動きベクトルｍｖＣｏｌを選択することで、図１４の概念図に示すように基準動きベクトルｍｖＣｏｌをゼロベクトルとする場合に較べて、画像にある物体の実際の動きとの相関が高い予測ベクトルを導出できる可能性が高くなる。従って、より効率の良い予測が可能である。
【００８０】
＜非参照画像を基準画像候補に含める予測方法について＞
参照画像に加えて、従来技術では予測画像の導出には用いない非参照画像を、基準画像候補に含めても構わない。この場合は、全ての既復号画像が、基準画像候補となり得る。図６の概念図に示すように、前方参照画像Ｐｒ０，０および後方参照画像Ｐｒ1，０の２枚の参照画像に加えて、非参照画像Ｐｎｒが基準画像候補に含まれる場合について説明する。
【００８１】
基準画像候補に非参照画像Ｐｎｒを含む場合であっても、基準ベクトル選択部２１０の動作は既に説明した動作と同様である。つまり、優先順位に従って、順に基準画像Ｐｃｏｌに設定した画像毎に、基準動きベクトルｍｖＣｏｌの有無を判定することで、基準動きベクトルｍｖＣｏｌを選択する。
【００８２】
基準画像候補に非参照画像Ｐｎｒを含む場合の、優先順位の決め方として、例えば、参照画像であるか非参照画像であるかを問わず、表示時刻が対象画像Ｐｃｕｒの表示時刻に近い順に、画像に優先順位をつける方法がある。また、参照画像である画像を表示時刻が対象画像Ｐｃｕｒの表示時刻に近い順に並べ、次に、非参照画像である画像を表示時刻が対象画像Ｐｃｕｒの表示時刻に近い順に並べて、優先順位とする方法もある。
【００８３】
図６の概念図では、非参照画像Ｐｎｒを基準画像Ｐｃｏｌに設定した場合（Ｐｃｏｌ=Ｐｎｒ）における、基準動きベクトルｍｖＣｏｌと前方予測ベクトルｍｖＬ０および後方予測ベクトルｍｖＬ１との関係を示している。この場合も、対象領域Ａｃｕｒに画像としてある物体および領域Ｂｃｕｒに画像としてある物体が、それぞれ、領域Ａｒ０，０から領域Ａｒ1，０に、また領域Ｂｃｏｌｒｅｆから基準領域Ｂｒ1，０に、同じ方向へ等速運動していることを仮定し、式（１）および式（２）より予測ベクトルを計算できる。
【００８４】
非参照画像を基準画像候補に含めることで、参照画像のみを基準画像候補に含める場合に較べて、対象画像Ｐｃｕｒの表示時刻と表示時刻が近い基準画像候補が多くなる。対象画像Ｐｃｕｒの表示時刻と基準画像Ｐｃｏｌの表示時刻との間隔が狭い場合は、対象領域Ａｃｕｒと領域Ｂｃｕｒとの、対象画像Ｐｃｕｒ上における距離が短くなるため、これら２つの領域が同じ方向へ等速運動しているとの仮定が成り立ちやすくなる。従って、画像にある物体の実際の動きと相関が高い動きベクトルを導出できる可能性が高くなるため、参照画像のみを基準画像候補とする場合に較べて、より効率の良い予測が可能である。
【００８５】
なお、非参照画像を基準画像候補として使用する場合には、少なくとも、候補となる非参照画像に対応する動きベクトルおよびその非参照画像の表示時刻情報が、バッファメモリ１０３内に記録されている必要がある。
【００８６】
＜予測画像導出に１枚の参照画像のみを用いる方法について＞
なお、ここまでの説明では、時間ダイレクト予測において、対象領域Ａｃｕｒの予測画像導出に、前方参照画像Ｐｒ０，０および後方参照画像Ｐｒ1，０の２枚を用いるものとしていたが、いずれか一方の参照画像のみを用いても構わない。
【００８７】
例えば、図４の概念図に示すように、前方参照画像Ｐｒ０，０を基準画像Ｐｃｏｌとして予測ベクトルを導出する場合に、領域Ａｒ０，０のみから対象領域Ａｃｕｒの予測画像を生成してもよい。この場合、基準領域Ｂｃｏｌに画像としてある物体が領域Ｂｃｏｌｒｅｆから領域Ｂｃｕｒまで等速運動する可能性の方が、より時間間隔の長い領域Ｂｃｏｌｒｅｆから領域Ｂｒ1，０まで等速運動する可能性に較べて高い。つまり、前方予測ベクトルｍｖＬ０の方が、後方予測ベクトルｍｖＬ１に較べて精度が良い可能性が高い。従って、領域Ａｒ０，０のみを用いた場合に、予測効率が向上する。
【００８８】
また、後方参照画像Ｐｒ1，０を、基準画像Ｐｃｏｌとする場合であり、かつ、基準動きベクトルｍｖＣｏｌが後方参照画像Ｐｒ1，０よりも表示時間が後になる画像を指す場合には、前方参照画像Ｐｒ０，０のみから予測ベクトルを導出する場合と同様に、領域Ａｒ1，０のみを予測画像の導出に用いることで、予測効率が向上する。
【００８９】
［第２の実施の形態］
以下、本発明の第２の実施の形態における動画像符号化装置について説明する。
＜動画像符号化装置の構成について＞
図７のブロック図において、本実施の形態に係る動画像符号化装置２の構成を示す。図７のブロック図は、動画像符号化装置２の全体の構成を示したものである。
【００９０】
動画像符号化装置２は、画像符号化部１２１、予測画像導出部１０５、動きベクトル推定部（動きベクトル推定手段）１２２、バッファメモリ１０３、画像復号部１０４、予測ベクトル導出部１１２、予測方式制御部１２４、可変長符号化部１２０、および動きベクトル符号化部（動きベクトル符号化手段）１２３を含んで構成される。
【００９１】
この図に示す要素は、以下に述べるものを除き、第１の実施の形態において動画像復号装置１のブロック図（図２）に示す要素と同一なので、説明を省略する。
【００９２】
可変長符号化部１２０は、画像符号化部１２１から入力した予測残差データ、動きベクトル符号化部１２３から入力した差分ベクトル、および予測方式制御部１２４から入力した予測方式等の符号化情報を可変長符号化し、外部に出力する。画像符号化部１２１は、外部から入力した動画像データおよび予測画像導出部１０５から入力した予測画像を用いて予測残差データを求め、画像復号部１０４および可変長符号化部１２０に出力する。動きベクトル推定部１２２は、外部から入力した動画像データおよびバッファメモリ１０３内の参照画像を用いて、動きベクトルを推定し、求めた動きベクトルを予測画像導出部１０５、バッファメモリ１０３、予測ベクトル導出部１１２、予測方式制御部１２４、および動きベクトル符号化部１２３にする。動きベクトル符号化部１２３は、動きベクトル推定部１２２から入力した動きベクトル、予測ベクトル導出部１１２から入力した予測ベクトル、および予測方式制御部から入力した予測方式を用いて差分ベクトルを求め、可変長符号化部１２０に出力する。予測方式制御部１２４は、動きベクトル推定部１２２から入力した動きベクトルに基づき、予測ベクトル導出時の予測方式を設定し、予測方式を予測ベクトル導出部１１２、可変長符号化部１２０、および動きベクトル符号化部１２３に出力する。
【００９３】
＜動画符号化装置２における符号化手順の概略について＞
動画符号化装置２における符号化処理手順の概略について、図８に示すフローチャートを参照しながら、以下に説明する。
【００９４】
まず、動きベクトル推定部１２２が、入力された動画像データとバッファメモリ１０３内の参照画像とを用いて動き推定を行い、符号化の対象となる画像の各領域の動きベクトルを求める。動きベクトル推定部１２２は、求めた動きベクトルをバッファメモリ１０３に記録すると共に、予測ベクトル導出部１１２、予測方式制御部１２４、および動きベクトル符号化部１２３へ出力する（Ｓ１００）。
【００９５】
次に、予測方式制御部１２４が、動きベクトル推定部１２２から入力された動きベクトルを用いて、予測方式を、時間ダイレクト予測、空間ダイレクト予測、またはｐｍｖ予測のいずれかの方式に決定し、予測ベクトル導出部１１２、可変長符号化部１２０、および動きベクトル符号化部１２３に出力する（Ｓ１１０）。
【００９６】
次に、予測ベクトル導出部１１２が、動きベクトル推定部１２２から入力された動きベクトルと、予測方式制御部１２４から入力された予測方式とに基づいて、第１の実施の形態において説明した予測ベクトルの導出手順に従って、予測ベクトルを計算し、バッファメモリ１０３および動きベクトル符号化部１２３に出力する（Ｓ１２０）。
【００９７】
次に、動きベクトル符号化部１２３が、差分ベクトルを求める。予測方式制御部１２４から入力された予測方式がｐｍｖ予測である場合には、動きベクトル推定部１２２から入力された動きベクトルと、予測ベクトル導出部１１２から入力された予測ベクトルとに基づいて、差分ベクトルを計算する。予測方式制御部１２４から入力された予測方式が、時間ダイレクト予測または空間ダイレクト予測の場合には、差分ベクトルをゼロベクトルとする。動きベクトル符号化部１２３は、求めた差分ベクトルを可変長符号化部１２０に出力する（Ｓ１３０）。
【００９８】
次に、予測画像導出部１０５が、動きベクトル推定部１２２から入力された動きベクトルと、バッファメモリ１０３内の参照画像とを用いて動き補償を行い、予測画像を求め、画像符号化部１２１および画像復号部１０４に出力する（Ｓ１４０）。
【００９９】
次に、画像符号化部１２１が、外部から入力された動画像データと予測画像導出部１０５から入力された予測画像とに基づき、予測残差データを計算し、画像復号部１０４および可変長符号化部１２０に出力する（Ｓ１５０）。
【０１００】
次に、画像復号部１０４が、画像符号化部１２１から入力された予測残差データと、予測画像導出部１０５から入力された予測画像とを用いて、画像を既符号化画像として再構成する（Ｓ１６０）。再構成された画像は、バッファメモリ１０３に記録される。既符号化画像は、予測ベクトル導出時に基準画像として用いられ、また、予測画像導出時に参照画像として用いられる。
【０１０１】
次に、可変長符号化部１２０が、画像符号化部１２１から入力された予測残差データと、動きベクトル符号化部１２３から入力された差分ベクトルと、予測方式制御部１２４から入力された予測方式とを可変長符号化し、符号化データとして動画像符号化装置２の外部に出力する（Ｓ１７０）。
【０１０２】
＜第２の実施の形態に関する補足事項＞
以上説明したように、本実施の形態における動画像符号化装置２は、第１の実施の形態において説明した予測ベクトルの導出手順に従い、複数の基準画像候補を用いて予測ベクトルを導出する。そして、導出した予測ベクトルを用いて動画像の符号化を行うので、動画像の高能率な符号化が可能である。
【０１０３】
なお、図８に示すフローチャートのＳ１２０の処理（予測ベクトルの導出）において、第１の実施の形態で説明したように、３枚以上の基準画像候補を用いて予測ベクトルを導出することにより、予測効率が向上する。
【０１０４】
また、同じくＳ１２０の処理において、第１の実施の形態で説明したように、非参照画像を基準画像候補に含めて予測ベクトルを導出することにより、予測効率が向上する。
【０１０５】
また、以上説明した時間ダイレクト予測における予測ベクトルの導出方法を、ｐｍｖ予測を予測方式として用いる場合の、予測ベクトルの導出に用いることも可能である。
【０１０６】
＜補足事項＞
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【０１０７】
前記候補画像は、前記処理対象画像より表示時刻が遅くかつ前記処理対象画像に表示時刻が最も近い既復号画像および前記処理対象画像より表示時刻が早くかつ前記処理対象画像に表示時刻が最も近い既復号画像であり、前記所定の選択基準は、前記処理対象画像より表示時刻が遅い前記候補画像上で、前記処理対象領域と空間的に同一位置に位置する領域の動きベクトルが存在する場合は、該候補画像を前記基準画像として選択し、該動きベクトルが存在しない場合で、前記処理対象画像より表示時刻が早い前記候補画像上で、前記処理対象領域と空間的に同一位置に位置する領域の動きベクトルが存在する場合は、該候補画像を前記基準画像として選択するという基準であることが好ましい。
【０１０８】
これにより、当該構成において、基準動きベクトル選択手段は、まず、処理対象画像の直後にある既復号画像が基準画像に選択できるか否かを判断する。選択できる場合は、従来技術と同様に予測画像を導出する。選択できない場合は、次に、処理対象画像の直前にある既復号画像が基準画像に選択できるか否かを判断する。選択できる場合は、その既復号画像を基準画像として、予測画像を導出する。
【０１０９】
上記の構成によれば、処理対象画像に最も表示時刻が近い既復号画像を基準画像に選択するので、処理対象画像と基準画像との時間間隔が短い。従って、時間ダイレクト予測の前提である画像上の物体は、同方向へ等速運動をしているという仮定が成り立つ確率が高まるので、予測画像の予測効率を向上できるという効果を奏する。
【０１１０】
また、前記所定の選択基準は、前記候補画像に含まれる、前記処理対象画像より表示時刻が遅い既復号画像を、その表示時刻が前記処理対象画像の表示時刻に近い順に優先順位をつけ、その優先順位に続けて、前記候補画像に含まれる、前記処理対象画像より表示時刻が早い既復号画像を、その表示時刻が前記処理対象画像の表示時刻に近い順に優先順位をつけ、該優先順位の順に、前記候補画像上での、前記処理対象領域と空間的に同一位置に位置する領域の動きベクトルの有無の判定を、該動きベクトルが有るまで繰り返し、該動きベクトルが有った場合は、該候補画像を前記基準画像として選択するという基準であることが好ましい。
【０１１１】
当該構成において、基準動きベクトル選択手段は、まず、複数ある既復号画像に優先順位をつけ、優先度の高いものから順に、基準画像に選択できるか否かを判断していく。この優先順位は、予測ベクトルが実際の物体の動きを反映する可能性の高い既復号画像を優先する順位付けになっている。
【０１１２】
これにより、上記の構成によれば、候補画像のいずれかを基準画像とし、その基準画像に対応する基準動きベクトルを選択することで、基準動きベクトルをゼロベクトルとする場合に較べて、画像にある物体の実際の動きとの相関が高い予測ベクトルを導出できる可能性が高くなるので、より効率の良い予測が可能になるという効果を奏する。
【０１１３】
また、前記基準動きベクトル選択手段が、前記処理対象画像よりも表示時刻が早い既復号画像を前記基準画像として選択した場合、前記予測画像導出手段は、前記処理対象画像に表示時刻が最も近い前方参照画像のみを用いて予測画像を導出することが好ましい。
【０１１４】
参照画像とは、動きベクトルが指す領域を有する既復号画像のことをいう。
【０１１５】
前方参照画像とは、動きベクトルが指す領域を有する既復号画像のうち、処理対象画像よりも表示時刻が早い既復号画像のことをいう。
【０１１６】
後方参照画像とは、動きベクトルが指す領域を有する既復号画像のうち、処理対象画像よりも表示時刻が遅い既復号画像のことをいう。
【０１１７】
前方予測ベクトルとは、処理対象領域から前方参照画像を指す予測ベクトルである。
【０１１８】
後方予測ベクトルとは、処理対象領域から後方参照画像を指す予測ベクトルである。
【０１１９】
当該構成において、表示時刻から見ると、まず基準動きベクトルが指す前方参照画面があり、次に基準画像があり、次に処理対象画像があり、次に後方参照画像があるという関係になる。
【０１２０】
これにより、上記の構成によれば、前方参照画像を基準画像として予測ベクトルを導出する場合に、前方予測ベクトルが指す基準画像上の領域のみから処理対象領域の予測画像を生成する場合、基準領域に画像としてある物体が基準動きベクトルが指す前方参照画像上の領域から処理対象画像上の領域まで等速運動する可能性の方が、より時間間隔の長い基準動きベクトルが指す前方参照画像上の領域から後方参照画像上の領域まで等速運動する可能性に較べて高い。
【０１２１】
さらに、前方参照画像と後方参照画像との時間間隔に比較して短い前方参照画像と処理対象画像との時間間隔を用いて予測ベクトルを求めるので、時間ダイレクト予測の仮定である画像上の物体が同一方向へ等速運動をするという条件が成り立つ可能性が高まる。従って、予測画像の予測効率を向上できるという効果を奏する。
【０１２２】
また、前記既復号画像は、参照画像および非参照画像であることが好ましい。
【０１２３】
非参照画像とは、予測画像の導出には用いない既復号画像のことをいう。
【０１２４】
当該構成において、非参照画像を候補画像に含めることで、参照画像のみを候補画像に含める場合に較べて、処理対象画像の表示時刻と表示時刻が近い既復号画像が多くなる。
【０１２５】
これにより、上記の構成によれば、処理対象画像の表示時刻と基準画像の表示時刻との間隔が狭い場合は、対象領域と基準動きベクトルが指す基準画像上の領域との処理対象画像上における距離が短くなるため、これら２つの領域が同じ方向へ等速運動しているとの仮定が成り立ちやすくなる。従って、画像にある物体の実際の動きと相関が高い動きベクトルを導出できる可能性が高くなるので、参照画像のみを基準画像候補とする場合に較べて、より予測効率を向上できるという効果を奏する。
【０１２６】
また、前記候補画像は、前記処理対象画像より表示時刻が遅くかつ前記処理対象画像に表示時刻が最も近い既符号化画像および前記処理対象画像より表示時刻が早くかつ前記処理対象画像に表示時刻が最も近い既符号化画像であり、前記所定の選択基準は、前記処理対象画像より表示時刻が遅い前記候補画像上で、前記処理対象領域と空間的に同一位置に位置する領域の動きベクトルが存在する場合は、該候補画像を前記基準画像として選択し、該動きベクトルが存在しない場合で、前記処理対象画像より表示時刻が早い前記候補画像上で、前記処理対象領域と空間的に同一位置に位置する領域の動きベクトルが存在する場合は、該候補画像を前記基準画像として選択するという基準であることが好ましい。
【０１２７】
当該構成において、基準動きベクトル選択手段は、まず、処理対象画像の直後にある既符号化画像が基準画像に選択できるか否かを判断する。選択できる場合は、従来技術と同様に予測画像を導出する。選択できない場合は、次に、処理対象画像の直前にある既符号化画像が基準画像に選択できるか否かを判断する。選択できる場合は、その既符号化画像を基準画像として、予測画像を導出する。
【０１２８】
これにより、上記の構成によれば、処理対象画像に最も表示時刻が近い既符号化画像を基準画像に選択するので、処理対象画像と基準画像との時間間隔が短い。従って、時間ダイレクト予測の前提である画像上の物体は、同方向へ等速運動をしているという仮定が成り立つ確率が高まるので、予測画像の予測効率を向上できるという効果を奏する。
【０１２９】
また、前記所定の選択基準は、前記候補画像に含まれる、前記処理対象画像より表示時刻が遅い既符号化画像を、その表示時刻が前記処理対象画像の表示時刻に近い順に優先順位をつけ、その優先順位に続けて、前記候補画像に含まれる、前記処理対象画像より表示時刻が早い既符号化画像を、その表示時刻が前記処理対象画像の表示時刻に近い順に優先順位をつけ、該優先順位の順に、前記候補画像上での、前記処理対象領域と空間的に同一位置に位置する領域の動きベクトルの有無の判定を、該動きベクトルが有るまで繰り返し、該動きベクトルが有った場合は、該候補画像を前記基準画像として選択するという基準であることが好ましい。
【０１３０】
当該構成において、基準動きベクトル選択手段は、まず、複数ある既符号化画像に優先順位をつけ、優先度の高いものから順に、基準画像に選択できるか否かを判断していく。この優先順位は、予測ベクトルが実際の物体の動きを反映する可能性の高い既符号化画像を優先する順位付けになっている。
【０１３１】
これにより、上記の構成によれば、候補画像のいずれかを基準画像とし、その基準画像に対応する基準動きベクトルを選択することで、基準動きベクトルをゼロベクトルとする場合に較べて、画像にある物体の実際の動きとの相関が高い予測ベクトルを導出できる可能性が高くなるので、より効率の良い予測が可能になるという効果を奏する。
【０１３２】
また、前記基準動きベクトル選択手段が、前記処理対象画像よりも表示時刻が早い既符号化画像を前記基準画像として選択した場合、前記予測画像導出手段は、前記処理対象画像に表示時刻が最も近い前方参照画像のみを用いて予測画像を導出することが好ましい。
【０１３３】
当該構成において、表示時刻から見ると、まず基準動きベクトルが指す前方参照画面があり、次に基準画像があり、次に処理対象画像があり、次に後方参照画像があるという関係になる。
【０１３４】
これにより、上記の構成によれば、前方参照画像を基準画像として予測ベクトルを導出する場合に、前方予測ベクトルが指す基準画像上の領域のみから処理対象領域の予測画像を生成する場合、基準領域に画像としてある物体が、基準動きベクトルが指す前方参照画像上の領域から、処理対象画像上の領域まで等速運動する可能性の方が、より時間間隔の長い、基準動きベクトルが指す前方参照画像上の領域から後方参照画像上の領域まで等速運動する可能性に較べて高い。
【０１３５】
さらに、前方参照画像と後方参照画像との時間間隔に比較して短い、前方参照画像と処理対象画像との時間間隔を用いて予測ベクトルを求めるので、時間ダイレクト予測の仮定である、画像上の物体が同一方向へ等速運動をするという条件が成り立つ可能性が高まる。従って、予測画像の予測効率を向上できるという効果を奏する。
【０１３６】
また、前記既符号化画像は、参照画像および非参照画像であることが好ましい。
【０１３７】
当該構成において、非参照画像を候補画像に含めることで、参照画像のみを候補画像に含める場合に較べて、処理対象画像の表示時刻と表示時刻が近い既符号化画像が多くなる。
【０１３８】
これにより、上記の構成によれば、処理対象画像の表示時刻と基準画像の表示時刻との間隔が狭い場合は、対象領域と基準動きベクトルが指す基準画像上の領域との、処理対象画像上における距離が短くなるため、これら２つの領域が同じ方向へ等速運動しているとの仮定が成り立ちやすくなる。従って、画像にある物体の実際の動きと相関が高い動きベクトルを導出できる可能性が高くなるので、参照画像のみを基準画像候補とする場合に較べて、より予測効率を向上できるという効果を奏する。
【０１３９】
なお、本発明に係る動画像復号装置は、処理対象画像上の処理対象領域の動きベクトルを既復号画像の動きベクトルを用いて導出する予測ベクトル導出手段と、前記予測ベクトルを用いて既復号画像から処理対象領域の予測画像を導出する予測画像導出手段とを備えた動画像復号装置において、前記予測ベクトル導出手段は、少なくとも２枚以上の既復号画像を基準画像の候補とし、所定の選択基準に基づいて前記候補の中から１枚を基準画像として選択し、該基準画像上で処理対象領域と空間的に同一位置に位置する領域の動きベクトルを基準動きベクトルとして選択する基準動きベクトル選択手段を備え、該基準動きベクトルを前記画像間の表示時間間隔に基づいてスケーリングして予測ベクトルを導出することを特徴とする構成でもよい。
【０１４０】
また、本発明に係る動画像復号装置は、前記の構成に加え、前記基準動きベクトル選択手段は、処理対象画像より表示時間が遅くかつ処理対象画像に表示時間が最も近い既復号画像並びに処理対象画像より表示時間が早くかつ処理対象画像に表示時間が最も近い既復号画像を前記基準画像候補とし、処理対象画像より表示時間が遅い基準画像候補上で処理対象領域と同一位置に位置する領域の動きベクトルが存在する場合は該動きベクトルを基準動きベクトルとして選択し、該動きベクトルが存在しない場合は、処理対象画像より表示時間が早い基準画像候補上で処理対象領域と同一位置に位置する領域の動きベクトルが存在する場合は該動きベクトルを基準動きベクトルとして選択することを特徴とする構成でもよい。
【０１４１】
さらに、本発明に係る動画像復号装置は、前記の構成に加え、前記基準動きベクトル選択手段は、複数の既復号画像を基準画像候補とし、該基準画像候補に含まれる処理対象画像より表示時間が遅い既復号画像を処理対象画像に表示時間が近い順に並べ、その後に該基準画像候補に含まれる処理対象画像より表示時間が早い既復号画像を処理対象画像に表示時間が近い順に並べて基準画像候補の優先順序とし、該優先順序の順に基準画像候補を基準画像として設定して、該基準画像上で処理対象領域と同一位置に位置する領域の動きベクトルが存在する場合は該動きベクトルを基準動きベクトルとして選択することを特徴とする構成でもよい。
【０１４２】
また、本発明に係る動画像復号装置は、前記の構成に加え、前記基準動きベクトル選択手段において、処理対象画像よりも表示時間が遅い既復号画像を基準画像として基準動きベクトルが選択された場合には、処理対象画像に表示時間が最も近い前方参照画像及び処理対象画像に表示時間が最も近い後方参照画像を用いて予測画像を導出し、処理対象画像よりも表示時間が早い画像を基準画像として基準動きベクトルが選択された場合には、処理対象画像に表示時間が最も近い前方参照画像のみを用いて予測画像を導出することを特徴とする構成でもよい。
【０１４３】
さらに、本発明に係る動画像復号装置は、前記の構成に加え、前記基準動きベクトル選択手段は、前記既復号画像として参照画像を用いることを特徴とする構成でもよい。
【０１４４】
また、本発明に係る動画像復号装置は、前記の構成に加え、前記基準動きベクトル選択手段は、前記既復号画像として参照画像及び非参照画像を用いることを特徴とする構成でもよい。
【０１４５】
さらに、本発明に係る動画像符号化装置は、符号化処理を終えた既符号化画像の動きベクトルを用いて処理対象画像上の処理対象領域の動きベクトルを導出する予測ベクトル導出手段と、前記予測ベクトルを用いて既符号化画像から処理対象領域の予測画像を導出する予測画像導出手段とを備えた動画像符号化装置において、前記予測ベクトル導出手段は、少なくとも２枚以上の既符号化画像を基準画像の候補とし、所定の選択基準に基づいて前記候補の中から１枚を基準画像として選択し、該基準画像上で処理対象領域と空間的に同一位置に位置する領域の動きベクトルを基準動きベクトルとして選択する基準動きベクトル選択手段を備え、該基準動きベクトルを前記画像間の表示時間間隔に基づいてスケーリングして予測ベクトルを導出することを特徴とする構成でもよい。
【０１４６】
また、本発明に係る動画像符号化装置は、前記の構成に加え、前記基準動きベクトル選択手段は、処理対象画像より表示時間が遅くかつ処理対象画像に表示時間が最も近い既符号化画像並びに処理対象画像より表示時間が早くかつ処理対象画像に表示時間が最も近い既符号化画像を前記基準画像候補とし、処理対象画像より表示時間が遅い基準画像候補上で処理対象領域と同一位置に位置する領域の動きベクトルが存在する場合は該動きベクトルを基準動きベクトルとして選択し、該動きベクトルが存在しない場合は、処理対象画像より表示時間が早い基準画像候補上で処理対象領域と同一位置に位置する領域の動きベクトルが存在する場合は該動きベクトルを基準動きベクトルとして選択することを特徴とする構成でもよい。
【０１４７】
さらに、本発明に係る動画像符号化装置は、前記の構成に加え、前記基準動きベクトル選択手段は、複数の既符号化画像を基準画像候補とし、該基準画像候補に含まれる処理対象画像より表示時間が遅い既符号化画像を処理対象画像に表示時間が近い順に並べ、その後に該基準画像候補に含まれる処理対象画像より表示時間が早い既符号化画像を処理対象画像に表示時間が近い順に並べて基準画像候補の優先順序とし、該優先順序の順に基準画像候補を基準画像として設定して、該基準画像上で処理対象領域と同一位置に位置する領域の動きベクトルが存在する場合は該動きベクトルを基準動きベクトルとして選択することを特徴とする構成でもよい。
【０１４８】
また、本発明に係る動画像符号化装置は、前記の構成に加え、前記基準動きベクトル選択手段において、処理対象画像よりも表示時間が遅い既符号化画像を基準画像として基準動きベクトルが選択された場合には、処理対象画像に表示時間が最も近い前方参照画像及び処理対象画像に表示時間が最も近い後方参照画像を用いて予測画像を導出し、処理対象画像よりも表示時間が早い画像を基準画像として基準動きベクトルが選択された場合には、処理対象画像に表示時間が最も近い前方参照画像のみを用いて予測画像を導出することを特徴とする構成でもよい。
【０１４９】
さらに、本発明に係る動画像符号化装置は、前記の構成に加え、前記基準動きベクトル選択手段は、前記既符号化画像として参照画像を用いることを特徴とする構成でもよい。
【０１５０】
また、本発明に係る動画像符号化装置は、前記の構成に加え、前記基準動きベクトル選択手段は、前記既符号化画像として参照画像及び非参照画像を用いることを特徴とする構成でもよい。
【０１５１】
最後に、動画像復号装置１および動画像符号化装置２の各ブロック、特に導出方式選択部２０１、基準ベクトル選択部２１０、時間ダイレクト予測部２０３、空間ダイレクト予測部２０４、ｐｍｖ予測部、およびゼロベクトル出力部２０６は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０１５２】
すなわち、動画像復号装置１および動画像符号化装置２は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central  processing  unit）、上記プログラムを格納したＲＯＭ（read  only  memory）、上記プログラムを展開するＲＡＭ（random  access  memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである動画像復号装置１および動画像符号化装置２の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記動画像復号装置１および動画像符号化装置２に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０１５３】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０１５４】
また、動画像復号装置１および動画像符号化装置２を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual  private  network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【０１５５】
本発明に係る動画像復号装置は、以上のように、前記予測ベクトル導出手段は、少なくとも２枚以上の前記既復号画像を前記基準画像の候補画像とし、基準動きベクトルがゼロベクトルとなることを回避する、所定の選択基準に基づいて前記候補画像の中の１枚を前記基準画像として選択し、該基準画像上で前記処理対象領域と空間的に同一位置に位置する領域の動きベクトルを基準動きベクトルとして選択する基準動きベクトル選択手段を備えたことを特徴とする。
【０１５６】
それゆえ、処理対象画像より表示時刻が遅い既復号画像がイントラ符号化されており基準領域が動きベクトルを持たない場合でも、候補画像に含まれる複数の既復号画像の中から基準画像を選択できるので、画像上の物体の動きとの相関が少ないゼロベクトルではなく、画像上の物体の動きを反映した、予測ベクトルを得られる可能性が高くなるので、予測画像の予測効率を向上できるという効果を奏する。
【０１５７】
また、本発明に係る動画像符号化装置は、以上のように、前記予測ベクトル導出手段は、少なくとも２枚以上の前記既符号化画像を前記基準画像の候補画像とし、基準動きベクトルがゼロベクトルとなることを回避する、所定の選択基準に基づいて前記候補画像の中の１枚を前記基準画像として選択し、該基準画像上で前記処理対象領域と空間的に同一位置に位置する領域の動きベクトルを基準動きベクトルとして選択する基準動きベクトル選択手段を備えたことを特徴とする。
【０１５８】
それゆえ、処理対象画像より表示時刻が遅い既符号化画像がイントラ符号化されており基準領域が動きベクトルを持たない場合でも、候補画像に含まれる複数の既符号化画像の中から基準画像を選択できるので、画像上の物体の動きとの相関が少ないゼロベクトルではなく、画像上の物体の動きを反映した、予測ベクトルを得られる可能性が高くなるので、予測画像の予測効率を向上できるという効果を奏する。
【０１５９】
本発明に係る動画像符号装置は、以上のように、処理対象画像上の処理対象領域の予測ベクトルを、基準画像の基準動きベクトルを用いて導出する予測ベクトル導出手段と、前記予測ベクトルを用いて、前記処理対象領域の動きベクトルを再構成する動きベクトル復号手段と、復号処理を終えた既復号画像から、前記動きベクトルを用いて前記処理対象領域の予測画像を導出する予測画像導出手段とを備え、前記予測ベクトル導出手段は、時間ダイレクト予測により予測ベクトルを導出することを特徴とする動画像復号装置において、前記予測ベクトル導出手段は、少なくとも２枚以上の前記既復号画像を前記基準画像の候補画像とし、前記基準動きベクトルがゼロベクトルとなることを回避する、所定の選択基準に基づいて前記候補画像の中の１枚を前記基準画像として選択し、該基準画像上で前記処理対象領域と空間的に同一位置に位置する領域の動きベクトルを基準動きベクトルとして選択する基準動きベクトル選択手段を備えたことを特徴とする。
【０１６０】
処理対象画像とは、符号化データの状態から動画像を構成する画像を再構築する対象となる画像をいう。
【０１６１】
処理対象領域とは、処理対象画像上にあり、一つの復号処理の単位で復号される処理対象画像の部分のことをいう。
【０１６２】
予測ベクトルとは、動きベクトルを導出するために用いるベクトルである。
【０１６３】
動きベクトルとは、動き補償予測方式により、動画像を構成する画像を再構築する際に予測画像を導出するために用いるベクトルである。
【０１６４】
基準画像とは、予測ベクトルを求めるための基準動きベクトルを持つ画像である。
【０１６５】
基準動きベクトルとは、基準画像の基準領域にある動きベクトルである。
【０１６６】
基準領域とは、処理対象領域と空間的に同一の位置にある、基準画像上の領域である。
【０１６７】
予測画像とは、符号化データに含まれる予測残差データから画像を再構築する元になる画像である。
【０１６８】
既復号画像とは、符号化データの復号および再構築により導出された動画を構成する画像である。
【０１６９】
時間ダイレクト予測とは、処理対象画像の表示時刻と、基準画像の表示時刻と、基準動きベクトルが指す既復号画像の表示時刻との時間間隔に基づいて、基準動きベクトルをスケーリングし、予測ベクトルを導出する予測方式である。
【０１７０】
表示時刻とは、符号化データに含まれる時間情報であり、動画像を構成する各既復号画像をどの時刻に再生すればよいかを表すものである。
【０１７１】
従来技術では、処理対象画像より表示時刻が遅い既復号画像を基準画像として、予測ベクトルが導出されるが、該既復号画像がイントラ符号化されている場合、予測ベクトルはゼロベクトルとされるところ、当該構成においては、複数ある候補画像の中から基準画像を選択する。
【０１７２】
上記の構成によれば、処理対象画像より表示時刻が遅い既復号画像がイントラ符号化されており基準領域が動きベクトルを持たない場合でも、候補画像に含まれる複数の既復号画像の中から基準画像を選択できるので、画像上の物体の動きとの相関が少ないゼロベクトルではなく、画像上の物体の動きを反映した、予測ベクトルを得られる可能性が高くなるので、予測画像の予測効率を向上できるという効果を奏する。
【０１７３】
本発明に係る動画像符号化装置は、以上のように、処理対象画像上の処理対象領域の予測ベクトルを、基準画像の基準動きベクトルを用いて導出する予測ベクトル導出手段と、前記処理対象画像と符号化処理を終えた既符号化画像とを用いて、動きベクトルを推定する動きベクトル推定手段と、前記予測ベクトルを用いて、前記動きベクトルを符号化する動きベクトル符号化手段と、前記既符号化画像から、前記動きベクトルを用いて前記処理対象領域の予測画像を導出する予測画像導出手段とを備え、前記予測ベクトル導出手段は、時間ダイレクト予測により予測ベクトルを導出する動画像符号化装置において、前記予測ベクトル導出手段は、少なくとも２枚以上の前記既符号化画像を前記基準画像の候補画像とし、前記基準動きベクトルがゼロベクトルとなることを回避する、所定の選択基準に基づいて前記候補画像の中の１枚を前記基準画像として選択し、該基準画像上で前記処理対象領域と空間的に同一位置に位置する領域の動きベクトルを基準動きベクトルとして選択する基準動きベクトル選択手段を備えたことを特徴とする。
【０１７４】
既符号化画像とは、動画像データ構成する画像のうち、一度符号化したデータから画像を復号および再構築により導出した画像である。
【０１７５】
従来技術では、処理対象画像より表示時刻が遅い既符号化画像を基準画像として、予測ベクトルが導出されるが、該既符号化画像がイントラ符号化されている場合、予測ベクトルはゼロベクトルとされるところ、当該構成においては、複数ある候補画像の中から基準画像を選択する。
【０１７６】
上記の構成によれば、処理対象画像より表示時刻が遅い既符号化画像がイントラ符号化されており基準領域が動きベクトルを持たない場合でも、候補画像に含まれる複数の既符号化画像の中から基準画像を選択できるので、画像上の物体の動きとの相関が少ないゼロベクトルではなく、画像上の物体の動きを反映した、予測ベクトルを得られる可能性が高くなるので、予測画像の予測効率を向上できるという効果を奏する。
【産業上の利用可能性】
【０１７７】
本発明に係る動画像復号装置１および動画像符号化装置２を用いると、予測ベクトルの予測効率を向上させることができるので、動画像の符号化または復号を行う装置、すなわち、携帯端末機器、携帯電話機、テレビジョン受像機、マルチメディア機器などに好適に使用できる。
【図１】
2011160468.tif 000003
【図２】
2011160468.tif 000004
【図３】
2011160468.tif 000005
【図４】
2011160468.tif 000006
【図５】
2011160468.tif 000007
【図６】
2011160468.tif 000008
【図７】
2011160468.tif 000009
【図８】
2011160468.tif 000010
【図９】
2011160468.tif 000011
【図１０】
2011160468.tif 000012
【図１１】
2011160468.tif 000013
【図１２】
2011160468.tif 000014
【図１３】
2011160468.tif 000015
【図１４】
2011160468.tif 000016