(57)【要約】  分割された領域毎に、時間的又は空間的なフレーム間予測符号化方式を適用して、処理対象領域の参照フレームとその参照フレームにおける処理対象領域の予測対象位置を示す参照情報とに基づいて処理対象領域の予測画像を生成して動画像を処理するときに、その参照情報の予測情報となる予測参照情報を生成する方法。処理対象領域に隣接する既に処理済みの隣接領域を処理した際の参照情報を、処理対象領域の参照情報の予測に用いる予測参照情報予測データとして設定し、該予測データによって指し示される参照領域を処理した際に用いた１つ以上の参照情報から参照領域参照情報を生成し、これにより前記予測参照情報予測データを変更し、１つ又は複数存在する前記変更した予測参照情報予測データを用いて、上記予測参照情報を生成する。
2008053746.tif 000002
【特許請求の範囲】
【請求項１】
画像を領域分割し、領域毎に、時間的又は空間的なフレーム間予測符号化方式を適用して、処理対象領域の参照フレームとその参照フレームにおける処理対象領域の予測対象位置を示す参照情報とに基づいて処理対象領域の予測画像を生成して動画像を処理するときに用いられて、その参照情報の予測情報となる予測参照情報を生成する予測参照情報生成方法であって、
処理対象領域に隣接する既に処理済みの隣接領域を処理した際の参照情報を、処理対象領域の参照情報の予測に用いる予測参照情報予測データとして設定する予測参照情報予測データ設定ステップと、
前記予測参照情報予測データによって指し示される参照領域を処理した際に用いた１つ以上の参照情報から参照領域参照情報を生成する参照領域参照情報生成ステップと、
前記予測参照情報予測データを、生成された前記参照領域参照情報を用いて変更する予測参照情報予測データ変更ステップと、
１つ又は複数存在する前記変更した予測参照情報予測データを用いて、前記予測参照情報を生成する予測参照情報生成ステップと
を有する予測参照情報生成方法。
【請求項２】
画像全体を領域分割して、領域毎に、既に符号化済みの複数のフレームの中から、その領域の画像情報を予測する際に参照フレームとして用いる符号化対象領域参照フレームを選択し、符号化対象領域参照フレームと、該符号化対象領域参照フレームにおける符号化対象領域の予測対象位置を示す参照情報とを用いて予測画像を生成して、予測画像と符号化対象領域の画像との差分情報を符号化することで動画像を符号化する動画像符号化方法であって、
符号化対象領域に隣接する既に符号化済みの隣接領域を符号化した際の参照情報を、符号化対象領域の参照情報の予測に用いる予測参照情報予測データとして設定する予測参照情報予測データ設定ステップと、
前記予測参照情報予測データによって指し示される参照領域を符号化した際に用いた１つ以上の参照情報から参照領域参照情報を生成する参照領域参照情報生成ステップと、
前記予測参照情報予測データを、生成された前記参照領域参照情報を用いて変更する予測参照情報予測データ変更ステップと、
１つ又は複数存在する前記変更した予測参照情報予測データを用いて、符号化対象領域の参照情報の予測情報となる予測参照情報を生成する予測参照情報生成ステップと、
符号化対象領域に対する予測画像を生成するために用いた参照情報と前記予測参照情報との差分情報を符号化する差分参照情報符号化ステップと
を有する動画像符号化方法。
【請求項３】
請求項２に記載の動画像符号化方法において、
前記予測参照情報予測データ変更ステップでは、前記予測参照情報予測データが示す対応点情報を、前記予測参照情報予測データが示す対応点情報と前記参照領域参照情報が示す対応点情報との和に変更することによって、前記予測参照情報予測データを変更する動画像符号化方法。
【請求項４】
請求項２に記載の動画像符号化方法において、
前記予測参照情報予測データ変更ステップでは、前記予測参照情報予測データが示す対応点情報を、前記参照領域参照情報が示す対応点情報に変更することによって、前記予測参照情報予測データを変更する動画像符号化方法。
【請求項５】
請求項２に記載の動画像符号化方法において、
前記予測参照情報予測データ変更ステップでは、前記予測参照情報予測データが示す対応点情報を、前記予測参照情報予測データが示す対応点情報と前記参照領域参照情報が示す対応点情報との和、及び、前記参照領域参照情報の対応点情報のいずれか一方に変更することによって、前記予測参照情報予測データを変更する動画像符号化方法。
【請求項６】
請求項５に記載の動画像符号化方法において、
前記予測参照情報予測データ変更ステップでは、前記符号化対象領域参照フレームの時刻情報及び視点情報と、前記参照領域の含まれるフレームの時刻情報及び視点情報と、前記参照領域を符号化した際の参照フレームであるところの参照領域参照フレームの時刻情報及び視点情報と、符号化対象フレームの時刻情報及び視点情報とを用いて、前記予測参照情報予測データの対応点情報を、前記予測参照情報予測データの対応点情報と前記参照領域参照情報の対応点情報との和に変更するのか、前記参照領域参照情報の対応点情報に変更するのかを決定する動画像符号化方法。
【請求項７】
請求項２に記載の動画像符号化方法において、
符号化対象フレームの視点のカメラパラメータと、前記符号化対象領域参照フレームの視点のカメラパラメータと、前記予測参照情報予測データの示すフレームの視点のカメラパラメータとを用いて、その予測参照情報予測データが示す対応点情報に幾何変換を加える予測参照情報幾何変換ステップを有する動画像符号化方法。
【請求項８】
請求項２に記載の動画像符号化方法において、
符号化対象フレームの視点のカメラパラメータと、前記符号化対象領域参照フレームの視点のカメラパラメータと、前記予測参照情報予測データの示すフレームの視点のカメラパラメータと、その予測参照情報予測データに対応する参照領域参照情報の示すフレームの視点のカメラパラメータとを用いて、その参照領域参照情報が示す対応点情報に幾何変換を加える参照領域参照情報幾何変換ステップを有する動画像符号化方法。
【請求項９】
請求項２に記載の動画像符号化方法において、
符号化対象領域の参照フレーム上の領域を探索対象として、前記予測参照情報予測データによって指し示される参照領域に対応付けられる領域を探索し、前記予測参照情報予測データを探索結果の対応情報に変更する予測参照情報予測データ探索ステップを有する動画像符号化方法。
【請求項１０】
請求項２に記載の動画像符号化方法において、
符号化対象領域の参照フレーム上の領域を探索対象として、符号化対象領域の隣接領域に対応付けられる領域を探索し、前記予測参照情報予測データを探索結果の対応情報に変更する予測参照情報予測データ探索ステップを有する動画像符号化方法。
【請求項１１】
画像全体を領域分割して、既に復号した複数のフレームから予測画像を生成しながら画像を復号するのにあたり、領域毎に、予測画像を生成するために用いる既に復号済みのフレームであるところの復号対象領域参照フレームを示す情報と、復号対象領域参照フレームにおける復号対象領域の予測対象位置を示す参照情報と、予測画像と復号対象領域の画像との差分情報とを復号することで、動画像を復号する動画像復号方法であって、
復号対象領域に隣接する既に復号済みの隣接領域を復号した際の参照情報を、復号対象領域の参照情報の予測に用いる予測参照情報予測データとして設定する予測参照情報予測データ設定ステップと、
前記予測参照情報予測データによって指し示される参照領域を復号した際に用いた１つ以上の参照情報から参照領域参照情報を生成する参照領域参照情報生成ステップと、
前記予測参照情報予測データを、生成された前記参照領域参照情報を用いて変更する予測参照情報予測データ変更ステップと、
１つ又は複数存在する前記変更した予測参照情報予測データを用いて、復号対象領域の参照情報の予測情報となる予測参照情報を生成する予測参照情報生成ステップと、
符号化データから、復号対象領域に対する予測画像を生成するために用いる参照情報と前記予測参照情報との差分情報を復号する差分参照情報復号ステップと
を有する動画像復号方法。
【請求項１２】
請求項１１に記載の動画像復号方法において、
前記予測参照情報予測データ変更ステップでは、前記予測参照情報予測データが示す対応点情報を、前記予測参照情報予測データが示す対応点情報と前記参照領域参照情報が示す対応点情報との和に変更することによって、前記予測参照情報予測データを変更する動画像復号方法。
【請求項１３】
請求項１１に記載の動画像復号方法において、
前記予測参照情報予測データ変更ステップでは、前記予測参照情報予測データが示す対応点情報を、前記参照領域参照情報が示す対応点情報に変更することによって、前記予測参照情報予測データを変更する動画像復号方法。
【請求項１４】
請求項１１に記載の動画像復号方法において、
前記予測参照情報予測データ変更ステップでは、前記予測参照情報予測データが示す対応点情報を、前記予測参照情報予測データが示す対応点情報と前記参照領域参照情報が示す対応点情報との和、及び、前記参照領域参照情報が示す対応点情報のいずれか一方変更することによって、前記予測参照情報予測データを変更する動画像復号方法。
【請求項１５】
請求項１４に記載の動画像復号方法において、
前記予測参照情報予測データ変更ステップでは、前記復号対象領域参照フレームの時刻情報及び視点情報と、前記参照領域の含まれるフレームの時刻情報及び視点情報と、前記参照領域を復号した際の参照フレームであるところの参照領域参照フレームの時刻情報及び視点情報と、復号対象フレームの時刻情報及び視点情報とを用いて、前記予測参照情報予測データの対応点情報を、前記予測参照情報予測データの対応点情報と前記参照領域参照情報の対応点情報との和に変更するのか、前記参照領域参照情報の対応点情報に変更するのかを決定する動画像復号方法。
【請求項１６】
請求項１１に記載の動画像復号方法において、
復号対象フレームの視点のカメラパラメータと、前記復号対象領域参照フレームの視点のカメラパラメータと、前記予測参照情報予測データの示すフレームの視点のカメラパラメータとを用いて、その予測参照情報予測データが示す対応点情報に幾何変換を加える予測参照情報幾何変換ステップを有する動画像復号方法。
【請求項１７】
請求項１１に記載の動画像復号方法において、
復号対象フレームの視点のカメラパラメータと、前記復号対象領域参照フレームの視点のカメラパラメータと、前記予測参照情報予測データの示すフレームの視点のカメラパラメータと、その予測参照情報予測データに対応する参照領域参照情報の示すフレームの視点のカメラパラメータとを用いて、その参照領域参照情報が示す対応点情報に幾何変換を加える参照領域参照情報幾何変換ステップを有する動画像復号方法。
【請求項１８】
請求項１１に記載の動画像復号方法において、
復号対象領域の参照フレーム上の領域を探索対象として、前記予測参照情報予測データによって指し示される参照領域に対応付けられる領域を探索し、前記予測参照情報予測データを探索結果の対応情報に変更する予測参照情報予測データ探索ステップを有する動画像復号方法。
【請求項１９】
請求項１１に記載の動画像復号方法において、
復号対象領域の参照フレーム上の領域を探索対象として、復号対象領域の隣接領域に対応付けられる領域を探索し、前記予測参照情報予測データを探索結果の対応情報に変更する予測参照情報予測データ探索ステップを有する動画像復号方法。
【請求項２０】
請求項１に記載の予測参照情報生成方法における各ステップを実現する手段を備える予測参照情報生成装置。
【請求項２１】
請求項１に記載の予測参照情報生成方法における各ステップをコンピュータに実行させるための予測参照情報生成プログラム。
【請求項２２】
請求項１に記載の予測参照情報生成方法における各ステップをコンピュータに実行させるための予測参照情報生成プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項２３】
請求項２に記載の動画像符号化方法における各ステップを実現する手段を備える動画像符号化装置。
【請求項２４】
請求項２に記載の動画像符号化方法における各ステップをコンピュータに実行させるための動画像符号化プログラム。
【請求項２５】
請求項２に記載の動画像符号化方法における各ステップをコンピュータに実行させるための動画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項２６】
請求項１１に記載の動画像復号方法における各ステップを実現する手段を備える動画像復号装置。
【請求項２７】
請求項１１に記載の動画像復号方法における各ステップをコンピュータに実行させるための動画像復号プログラム。
【請求項２８】
請求項１１に記載の動画像復号方法における各ステップをコンピュータに実行させるための動画像復号プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を領域分割し、領域毎に、時間的又は空間的なフレーム間予測符号化方式を適用して、処理対象領域の参照フレームとその参照フレームにおける処理対象領域の予測対象位置を示す参照情報とに基づいて処理対象領域の予測画像を生成して動画像を処理するときに用いられて、その参照情報の予測情報となる予測参照情報を生成する予測参照情報生成方法及びその装置と、その予測参照情報生成方法を用いる動画像符号化方法及びその装置と、その動画像符号化方法により生成された符号化データを復号する動画像復号方法及びその装置と、その予測参照情報生成方法の実現に用いられる予測参照情報生成プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体と、その動画像符号化方法の実現に用いられる動画像符号化プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体と、その動画像復号方法の実現に用いられる動画像復号プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。
本願は、２００６年１０月３０日に出願された特願２００６−２９３９２９号に基づき優先権を主張し、その内容をここに援用する。
【背景技術】
【０００２】
多視点動画像（多視点映像）とは、複数のカメラで同じ被写体と背景を撮影した複数の動画像のことである。以下では、１つのカメラで撮影された動画像を“２次元動画像”と呼び、同じ被写体と背景を撮影した２次元動画像群を“多視点動画像”と呼ぶ。【０００３】
多視点動画像に含まれる各カメラの２次元動画像は、時間方向に関して強い相関がある。一方、各カメラが同期されていた場合、同じ時刻に撮影した各カメラの映像は全く同じ状態の被写体と背景を別の位置から撮影したものなので、カメラ間で強い相関がある。動画像の符号化においては、これらの相関を利用することによって符号化効率を高めている。【０００４】
まず、２次元動画像の符号化技術に関する従来技術を述べる。【０００５】
国際標準動画像符号化規格であるＭＰＥＧ−２やＨ.264などをはじめとした従来の多くの２次元動画像符号化方式では、フレーム間予測符号化と呼ばれる方法によって、時間方向の相関を利用して高い符号化効率を実現している。
２次元動画像符号化におけるフレーム間予測符号化で用いる方法は、時間による映像の変化つまり動きを利用したものであるため、一般に動き補償と呼ばれる。以下では、その例に倣い時間方向のフレーム間予測符号化を動き補償と呼ぶ。なお、フレームとは動画像を構成するある時刻に撮影された１枚の画像を表す。【０００６】
一般的な２次元動画像符号化における各フレームの符号化モードには、フレーム間の相関を使わずに符号化するＩフレームと、過去に符号化した１枚のフレームから動き補償を行いながら符号化するＰフレームと、過去に符号化した２枚のフレームから動き補償を行いながら符号化するＢフレームとがある。【０００７】
さらに、映像予測の効率を向上させるために、映像符号化方式Ｈ.263とＨ.264では、参照画像メモリに２フレーム以上の複数フレーム分の復号画像を蓄積しておき、そのメモリから参照画像を選択して予測をすることができる。
参照画像はブロック毎に選択することができ、参照画像を指定する参照画像指定情報を符号化することで復号処理を可能としている。【０００８】
動き補償では、参照画像指定情報のほかに、参照画像内のどの位置を用いて符号化対象ブロックの予測を行うのかを示すためのベクトルが符号化される。このベクトルは動きベクトルと呼ばれる。【０００９】
動きベクトルの符号化においては、ＭＰＥＧ−４やＨ.264では、符号化対象ブロックの隣接ブロックの動きベクトルから予測ベクトルを生成し、符号化対象ブロックの動き補償で用いる動きベクトルとこの予測ベクトルとの差分ベクトルのみを符号化する。この方法によれば、隣接ブロック間に動きの連続性がある場合に、動きベクトルを符号化効率よく符号化することができる。【００１０】
Ｈ.264における予測ベクトルの生成手順の詳細については、下記に示す非特許文献１に記載されているが、以下で概要を説明する。【００１１】
Ｈ.264では、図２０Ａに示すように、符号化対象ブロックの左のブロック（図中のａ）、上のブロック（図中のｂ）、右上のブロック（図中のｃ）で用いた動きベクトル（ｍｖ＿ａ，ｍｖ＿ｂ，ｍｖ＿ｃ）から、水平成分及び垂直成分を個々に中央値をとって求める。【００１２】
Ｈ.264では、可変ブロックサイズ動き補償を採用しているため、符号化対象ブロックと周辺ブロックの動き補償ブロックサイズが同一でない場合があるが、その場合は、図２０Ｂのように、ブロックａは左に隣接するブロックの内の最も上のブロックとし、ブロックｂは上に隣接するブロックの内の最も左のブロックとし、ブロックｃは右上に存在する最も近いブロックとする。
例外として、符号化対象ブロックのサイズが８×１６画素の場合は、図２０Ｃに示すように、中央値の代わりに、左のブロックはブロックａを、右のブロックはブロックｃを予測に用い、符号化対象ブロックのサイズが１６×８画素の場合は、図２０Ｄに示すように、中央値の代わりに、下のブロックはブロックａを、上のブロックはブロックｂを予測に用いる。【００１３】
また、前述の通り、Ｈ.264では、過去に符号化した複数のフレームの中から、ブロック毎に参照フレームを選択し、その参照フレームを用いて動き補償を行う。【００１４】
一般的に、被写体の動きは参照フレームによって変化するため、符号化対象ブロックの参照フレームと異なる参照フレームを用いて動き補償をしている場合の動きベクトルより、同じ参照フレームを用いて動き補償をしている場合の動きベクトルのほうが、符号化対象ブロックで用いる動きベクトルに近いベクトルであると考えられる。
そのため、Ｈ.264では、ブロックａ，ｂ，ｃの内、符号化対象ブロックと参照フレームが等しいブロックがひとつだけある場合は、中央値の代わりに、そのブロックの動きベクトルを予測ベクトルとして用いることで、より信頼度の高い予測ベクトルを生成している。【００１５】
物体が等速直線運動をする場合など、複数のフレーム間に動きの連続性がある場合に、動きベクトルを符号化効率よく符号化する方法として、符号化順序で直前のフレームの動きベクトルを蓄積しておき、その動きベクトル情報を時間間隔に従ってスケーリングして動きベクトルを算出する方法がある。【００１６】
この時間間隔を知るための情報には各フレームの出力時刻が利用される。
一般的に、この時間情報は、撮影画像の入力順とエンコード順が異なる場合などに、映像を撮影時刻順序通りに復号する際に必要なため、フレーム毎に符号化される。つまり、エンコーダでは、入力順に応じて付けられた入力画像の時刻情報を設定して各フレームを符号化し、デコーダでは、各フレームの復号画像を設定されていた時刻情報によって指定された順に出力する。【００１７】
複数のフレーム間に存在する動きの連続性を利用して動きベクトルを符号化効率よく符号化する方法として、Ｈ.264において時間ダイレクトモードと呼ばれているものがある。【００１８】
例えば、図２１に示すフレームＡ，Ｂ，Ｃについて、フレームＡ，Ｃ，Ｂの順に符号化を行い、フレームＣがフレームＡを参照フレームとして動き補償を行いながら符号化されているとする。このような状況において、時間ダイレクトモードでは、フレームＢのあるブロックの動きベクトルは次のように求められる。
まず、符号化対象ブロックと同位置のフレームＣ上のブロックで使われている動きベクトルｍｖを見つける。
次に、下記の式に従って、フレームＡを参照フレームとしたときの動きベクトルｆｍｖと、フレームＣを参照フレームとしたときの動きベクトルｂｍｖとを計算する。【００１９】
ｆmv＝（ｍｖ×ＴAB）／ＴAC
ｂmv＝（ｍｖ×ＴBC）／ＴBC
ここで、ＴAB、ＴBC、ＴACは、それぞれ、フレームＡとフレームＢとの間の時間間隔、フレームＢとフレームＣとの間の時間間隔、フレームＡとフレームＣとの間の時間間隔を示す。【００２０】
Ｈ.264においては、時間ダイレクトモードは、ブロック毎に参照フレームを２枚用いるＢフレーム（Bi-predictive Frame:双予測フレーム）においてのみ利用することが可能である。
下記に示す非特許文献２では、これを応用することで、ブロック毎に１枚の参照フレームのみを使用するＰフレームにおいても、動きベクトルを効率よく符号化する方法が提案されている。【００２１】
隣接ブロック間の動きの連続性と、複数フレーム間の動きの連続性との両者を仮定して動きベクトルを効率よく符号化する方法として、下記に示す非特許文献３に記載されている方法がある。【００２２】
図２２Ａ〜２２Ｄに、その概要を示す。この手法では、Ｈ.264やＭＰＥＧ−４と同じように、符号化対象ブロックの周辺ブロックの動きベクトルを用いて予測ベクトルを生成し、実際の動き補償で用いる動きベクトルと予測ベクトルとの差分ベクトルのみを符号化する（図２２Ａ参照）。
Ｈ.264等と異なる点は、周辺ブロックの動きベクトルをそのまま使うのではなく、以下の式を用いて、動きベクトルを時間間隔に従ってスケーリングしてから利用する点である。【００２３】
ｍｖ＿ｋ’＝ｍｖ＿ｋ×Ｔct／Ｔck
ここで、ｍｖ＿ｋは元の動きベクトル、ｍｖ＿ｋ’はスケーリングされた動きベクトル、Ｔctは符号化対象フレームと符号化対象ブロックが参照しようとしているフレームとの間の時間間隔、Ｔckは符号化対象フレームとその周辺ブロックが参照しているフレームとの間の時間間隔を表す（図２２Ｂ〜２２Ｄ参照）。【００２４】
次に、従来の多視点動画像の符号化方式について説明する。【００２５】
一般的な多視点動画像の符号化では、カメラ間の相関を利用するために、同じ時刻に異なるカメラで撮影されたフレーム間に動き補償を適用した“視差補償”を用いることで高い符号化効率を実現している。【００２６】
この手法が使われている例としては、ＭＰＥＧ−２  Ｍｕｌｔｉｖｉｅｗ  ｐｒｏｆｉｌｅや非特許文献４に記載される方法などがある。【００２７】
非特許文献４の方法では、ブロック毎に動き補償と視差補償のどちらか一方を選択して符号化を行っている。ブロック毎に符号化効率のよいほうを選ぶことによって、時間方向の相関とカメラ間の相関の両方を利用することができ、どちらか一方しか使わない場合に比べて高い符号化効率を達成している。【００２８】
視差補償では、予測残差のほかに視差ベクトルが符号化される。視差ベクトルとは、フレーム間の時間変化である動きベクトルに対応するものであり、異なる位置に配置されたカメラで撮影された画像平面上で、被写体上の同じ位置が投影されている位置の差を表す。【００２９】
図２３に、このカメラ間で生じる視差ベクトルの概念図を示す。この概念図では、光軸が平行なカメラの画像平面を垂直に見下ろしたものとなっている。【００３０】
視差ベクトルの符号化においては、動きベクトルの符号化と同様に、符号化対象ブロックの隣接ブロックの視差ベクトルから予測ベクトルを生成し、符号化対象ブロックの視差補償で用いる視差ベクトルとこの予測ベクトルとの差分ベクトルのみを符号化する方法を用いることができる。この方法によれば、隣接ブロック間に視差の連続性がある場合に、視差ベクトルを符号化効率よく符号化することができる。    
【非特許文献１】ITU-T Rec.H.264/ISO/IEC 11496-10, "Editor's Proposed Draft Text Modifications for Joint Video Specification (ITU-T Rec. H.264 / ISO/IEC 14496-10 AVC), Draft 7", Final Committee Draft, Document JVT-E022, pp. 63-64, and 117-121, September 2002.
【非特許文献２】Alexis Michael Tourapis, "Direct Prediction for Predictive(P) and Bidirectionally Predictive(B) frames in Video Coding," JVT-C128, Joint Video Team (JVT) of ISO/IEC MPEG&ITU-T VCEG Meeting, pp. 1-11, May, 2002.
【非特許文献３】加藤禎篤, ブンチュンセン, "時間的動きベクトル正規化を用いた複数予測参照画像の符号化における動きベクトル予測", PCSJ2004 画像符号化シンポジウム資料 19th, P-2.18, Nov. 2004.
【非特許文献４】Hideaki Kimata and Masaki Kitahara, "Preliminary results on multiple view video coding（3DAV)", document M10976 MPEG Redmond Meeting，July, 2004.
【発明の開示】
【発明が解決しようとする課題】
【００３１】
符号化対象ブロックで実際に用いる動きベクトルや視差ベクトルを、隣接ブロックで使用された動きベクトルや視差ベクトルを用いて生成した予測ベクトルとの差分で符号化するという従来の方法は、実空間上で被写体は連続して存在し、被写体の動きは同じ被写体内では大きくは変化しない確率が高いという事実に基づいているため、符号化対象ブロックで用いる動きベクトルや視差ベクトルを、より少ない符号量で符号化することが可能である。【００３２】
しかしながら、符号化対象ブロックの画像を予測するのに最適な参照フレームが、隣接ブロックで使われていないような場合、実際に用いる動きベクトルと予測ベクトルとの差は大きくなり、符号量を十分に削減することが出来ない。【００３３】
特に、ブロック毎に動き補償と視差補償とを適応的に選択して符号化を行う場合、動きベクトルと視差ベクトルとでは性質が大きく異なるため、動きベクトルから視差ベクトルの予測ベクトルを生成したり、視差ベクトルから動きベクトルの予測ベクトルを生成したりすることは不可能であり、フレーム間予測のための情報を効率的に符号化することが出来ない。【００３４】
動きベクトルに関しては、非特許文献１に記載の時間ダイレクトモードや、非特許文献２や非特許文献３に記載されているような方法を用いることで、符号化対象ブロックの画像を予測するのに最適な時刻の参照フレームが、隣接ブロックで使われていないような場合においても、効率のよい動きベクトルを生成することができる。【００３５】
しかしながら、これらの方法はフレーム間の動きの連続性を仮定しているため、被写体が数フレームに渡りカメラに対して等速直線運動に近い動きをしていなければ、効率のよい予測ベクトルを生成できない。【００３６】
視差ベクトルに関しても、符号化対象ブロックを予測するのに最適なカメラで撮影された参照フレームが隣接ブロックで使われていないような場合において、効率のよい視差ベクトルを生成するための方法として、時間間隔の変わりにカメラ間隔を用いて、隣接ブロックで使用された視差ベクトルをスケーリングして使用する方法が容易に類推可能である。【００３７】
しかしながら、この方法では、カメラの向きが平行（光軸が平行）の場合には適切な予測ベクトルを生成できるが、それ以外の場合には適切な予測ベクトルを生成することができないため、効率的な符号化を実現することができない。【００３８】
また、当然のことながら、このような時間間隔やカメラ間隔を用いて既に符号化済みの動きベクトルや視差ベクトルをスケーリングして利用する方法を用いたとしても、ブロック毎に動き補償と視差補償とを適応的に選択して符号化するような場合においては、適切な予測ベクトルを生成することは困難であり、効率的な符号化を実現することは出来ない。【００３９】
本発明はかかる事情に鑑みてなされたものであって、複数フレーム間で実際及び見かけ上の被写体やカメラの運動が等速直線運動でない場合においても、符号化時の映像予測に用いる動きベクトルや視差情報との差分が小さくなるような、予測ベクトルや予測視差情報を生成する新たな技術の提供を目的とする。
【課題を解決するための手段】
【００４０】
〔１〕本発明の予測参照情報生成装置
この目的を達成するために、本発明の予測参照情報生成装置は、画像を領域分割し、領域毎に、時間的又は空間的なフレーム間予測符号化方式を適用して、処理対象領域の参照フレームとその参照フレームにおける処理対象領域の予測対象位置を示す参照情報とに基づいて処理対象領域の予測画像を生成して動画像を処理するときに用いられて、その参照情報の予測情報となる予測参照情報を生成する処理を行うために、（イ）処理対象領域に隣接する既に処理済みの隣接領域を処理した際の参照情報を、処理対象領域の参照情報の予測に用いる予測参照情報予測データとして設定する予測参照情報予測データ設定手段と、（ロ）予測参照情報予測データによって指し示される参照領域を処理した際に用いた１つ以上の参照情報から参照領域参照情報を生成する参照領域参照情報生成手段と、（ハ）予測参照情報予測データを、生成された前記参照領域参照情報を用いて変更する予測参照情報予測データ変更手段と、（ニ）１つ又は複数存在する変更した予測参照情報予測データを用いて、前記予測参照情報を生成する予測参照情報生成手段とを備える。【００４１】
以上の各処理手段はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。【００４２】
このように構成される本発明の予測参照情報生成装置では、先ず最初に、処理対象領域に隣接する既に処理済みの隣接領域を処理した際の参照情報を、処理対象領域の参照情報の予測に用いる予測参照情報予測データとして設定する。【００４３】
続いて、予測参照情報予測データによって指し示される参照領域を処理した際に用いた１つ以上の参照情報から参照領域参照情報を生成して、その設定した予測参照情報予測データを、生成された前記参照領域参照情報を用いて変更する。【００４４】
続いて、１つ又は複数存在する変更した予測参照情報予測データを用いて、処理対象領域の参照情報の予測情報となる予測参照情報を生成する。【００４５】
このようにして、本発明の予測参照情報生成装置は、処理対象領域に隣接する既に処理済みの隣接領域を処理した際の参照情報をそのまま用いて、処理対象領域の参照情報の予測情報となる予測参照情報を生成するのではなくて、被写体の非直線的な動きやカメラの非等速直線運動的な動きを考慮して、その隣接領域を処理した際の参照情報を予測参照情報予測データとして設定して、その予測参照情報予測データによって指し示される参照領域を処理した際に用いた１つ以上の参照情報から参照領域参照情報を生成して、その生成した参照領域参照情報に基づいて予測参照情報予測データを変更し、その変更した予測参照情報予測データを用いて、処理対象領域の参照情報の予測情報となる予測参照情報を生成するように処理するのである。【００４６】
このとき、変更した予測参照情報予測データを使って予測参照情報予測データの変更処理を繰り返していくようにしてもよく、この繰り返し処理を行う場合には、例えば、処理対象領域の参照フレームに到達するまで、この繰り返し処理を行うことになる。【００４７】
このように構成される本発明の予測参照情報生成装置によれば、複数フレーム間における映像変化の時間的連続性がない場合や、処理対象領域毎に動き補償と視差補償を選択しながら多視点画像を符号化したり復号する場合においても、処理対象領域を符号化したり復号する際に用いる参照情報と予測参照情報との差を小さくすることができるようになることで、フレーム間予測符号化のための動きベクトルや視差情報を効率よく符号化したり復号することができるようになる。【００４８】
〔２〕本発明の動画像符号化方法
前述のように構成される本発明の予測参照情報生成装置により実現される本発明の予測参照情報生成方法は、動画像符号化方法に適用することが可能である。【００４９】
即ち、本発明の動画像符号化方法は、画像全体を領域分割して、領域毎に、既に符号化済みの複数のフレームの中から、その領域の画像情報を予測する際に参照フレームとして用いる符号化対象領域参照フレームを選択し、符号化対象領域参照フレームと、該符号化対象領域参照フレームにおける符号化対象領域の予測対象位置を示す参照情報（例えば、動きベクトルや視差ベクトル）とを用いて予測画像を生成して、予測画像と符号化対象領域の画像との差分情報を符号化することで動画像を符号化するという構成を採るときに、（イ）符号化対象領域に隣接する既に符号化済みの隣接領域を符号化した際の参照情報を、符号化対象領域の参照情報の予測に用いる予測参照情報予測データとして設定する予測参照情報予測データ設定ステップと、（ロ）予測参照情報予測データによって指し示される参照領域を符号化した際に用いた１つ以上の参照情報から参照領域参照情報を生成する参照領域参照情報生成ステップと、（ハ）予測参照情報予測データを、生成された前記参照領域参照情報を用いて変更する予測参照情報予測データ変更ステップと、（ニ）１つ又は複数存在する変更した予測参照情報予測データを用いて、符号化対象領域の参照情報の予測情報となる予測参照情報を生成する予測参照情報生成ステップと、（ホ）符号化対象領域に対する予測画像を生成するために用いた参照情報と予測参照情報との差分情報を符号化する差分参照情報符号化ステップとを有する。【００５０】
典型例として、前記予測参照情報予測データ変更ステップでは、前記予測参照情報予測データが示す対応点情報を、前記予測参照情報予測データが示す対応点情報と前記参照領域参照情報が示す対応点情報との和に変更することによって、前記予測参照情報予測データを変更する。【００５１】
別の典型例として、前記予測参照情報予測データ変更ステップでは、前記予測参照情報予測データが示す対応点情報を、前記参照領域参照情報が示す対応点情報に変更することによって、前記予測参照情報予測データを変更する。【００５２】
好適には、前記予測参照情報予測データ変更ステップでは、前記予測参照情報予測データが示す対応点情報を、前記予測参照情報予測データが示す対応点情報と前記参照領域参照情報が示す対応点情報との和、及び、前記参照領域参照情報の対応点情報のいずれか一方に変更することによって、前記予測参照情報予測データを変更する。【００５３】
この場合、前記予測参照情報予測データ変更ステップでは、符号化対象領域参照フレームの時刻情報及び視点情報と、参照領域の含まれるフレームの時刻情報及び視点情報と、参照領域を符号化した際の参照フレームであるところの参照領域参照フレームの時刻情報及び視点情報と、符号化対象フレームの時刻情報及び視点情報とを用いて、予測参照情報予測データの対応点情報を、予測参照情報予測データの対応点情報と参照領域参照情報の対応点情報との和に変更するのか、参照領域参照情報の対応点情報に変更するのかを決定するようにしても良い。【００５４】
好適例として、符号化対象フレームの視点のカメラパラメータと、前記符号化対象領域参照フレームの視点のカメラパラメータと、前記予測参照情報予測データの示すフレームの視点のカメラパラメータとを用いて、その予測参照情報予測データが示す対応点情報に幾何変換を加える予測参照情報幾何変換ステップを有する。【００５５】
別の好適例として、符号化対象フレームの視点のカメラパラメータと、前記符号化対象領域参照フレームの視点のカメラパラメータと、前記予測参照情報予測データの示すフレームの視点のカメラパラメータと、その予測参照情報予測データに対応する参照領域参照情報の示すフレームの視点のカメラパラメータとを用いて、その参照領域参照情報が示す対応点情報に幾何変換を加える参照領域参照情報幾何変換ステップを有する。【００５６】
別の好適例として、符号化対象領域の参照フレーム上の領域を探索対象として、予測参照情報予測データによって指し示される参照領域に対応付けられる領域を探索し、予測参照情報予測データを探索結果の対応情報に変更する予測参照情報予測データ探索ステップを有する。【００５７】
このとき、予測参照情報予測データ探索ステップでは、予測参照情報予測データの上記対応情報の示す領域を探索中心とした探索を行い、その探索結果による情報に変更することがある。【００５８】
別の好適例として、符号化対象領域の参照フレーム上の領域を探索対象として、符号化対象領域の隣接領域に対応付けられる領域を探索し、予測参照情報予測データを探索結果の対応情報に変更する予測参照情報予測データ探索ステップを有する。【００５９】
このとき、予測参照情報予測データ探索ステップでは、予測参照情報予測データの上記対応情報の示す領域を探索中心とした探索を行い、その探索結果による情報に変更することがある。【００６０】
〔３〕本発明の動画像復号方法
前述のように構成される本発明の予測参照情報生成装置により実現される本発明の予測参照情報生成方法は、動画像復号方法に適用することが可能である。【００６１】
次に、本発明の予測参照情報生成方法により実現される本発明の動画像復号方法について説明する。【００６２】
即ち、本発明の動画像復号方法は、画像全体を領域分割して、既に復号した複数のフレームから予測画像を生成しながら画像を復号するのにあたり、領域毎に、予測画像を生成するために用いる既に復号済みのフレームであるところの復号対象領域参照フレームを示す情報と、復号対象領域参照フレームにおける復号対象領域の予測対象位置を示す参照情報と、予測画像と復号対象領域の画像との差分情報とを復号することで、動画像を復号するという構成を採るときに、（イ）復号対象領域に隣接する既に復号済みの隣接領域を復号した際の参照情報を、復号対象領域の参照情報の予測に用いる予測参照情報予測データとして設定する予測参照情報予測データ設定ステップと、（ロ）予測参照情報予測データによって指し示される参照領域を復号した際に用いた１つ以上の参照情報から参照領域参照情報を生成する参照領域参照情報生成ステップと、（ハ）予測参照情報予測データを、生成された前記参照領域参照情報を用いて変更する予測参照情報予測データ変更ステップと、（ニ）１つ又は複数存在する変更した予測参照情報予測データを用いて、復号対象領域の参照情報の予測情報となる予測参照情報を生成する予測参照情報生成ステップと、（ホ）符号化データから、復号対象領域に対する予測画像を生成するために用いる参照情報と予測参照情報との差分情報を復号する差分参照情報復号ステップとを有する。【００６３】
典型例として、前記予測参照情報予測データ変更ステップでは、前記予測参照情報予測データが示す対応点情報を、前記予測参照情報予測データが示す対応点情報と前記参照領域参照情報が示す対応点情報との和に変更することによって、前記予測参照情報予測データを変更する。【００６４】
別の典型例として、前記予測参照情報予測データ変更ステップでは、前記予測参照情報予測データが示す対応点情報を、前記参照領域参照情報が示す対応点情報に変更することによって、前記予測参照情報予測データを変更する。【００６５】
好適には、前記予測参照情報予測データ変更ステップでは、前記予測参照情報予測データが示す対応点情報を、前記予測参照情報予測データが示す対応点情報と前記参照領域参照情報が示す対応点情報との和、及び、前記参照領域参照情報が示す対応点情報のいずれか一方変更することによって、前記予測参照情報予測データを変更する。【００６６】
この場合、予測参照情報予測データ変更ステップでは、復号対象領域参照フレームの時刻情報及び視点情報と、参照領域の含まれるフレームの時刻情報及び視点情報と、参照領域を復号した際の参照フレームであるところの参照領域参照フレームの時刻情報及び視点情報と、復号対象フレームの時刻情報及び視点情報とを用いて、予測参照情報予測データの対応点情報を、予測参照情報予測データの対応点情報と参照領域参照情報の対応点情報との和に変更するのか、参照領域参照情報の対応点情報に変更するのかを決定するようにしても良い。【００６７】
好適例として、復号対象フレームの視点のカメラパラメータと、前記復号対象領域参照フレームの視点のカメラパラメータと、前記予測参照情報予測データの示すフレームの視点のカメラパラメータとを用いて、その予測参照情報予測データが示す対応点情報に幾何変換を加える予測参照情報幾何変換ステップを有する。【００６８】
別の好適例として、復号対象フレームの視点のカメラパラメータと、前記復号対象領域参照フレームの視点のカメラパラメータと、前記予測参照情報予測データの示すフレームの視点のカメラパラメータと、その予測参照情報予測データに対応する参照領域参照情報の示すフレームの視点のカメラパラメータとを用いて、その参照領域参照情報が示す対応点情報に幾何変換を加える参照領域参照情報幾何変換ステップを有する。【００６９】
別の好適例として、復号対象領域の参照フレーム上の領域を探索対象として、予測参照情報予測データによって指し示される参照領域に対応付けられる領域を探索し、予測参照情報予測データを探索結果の対応情報に変更する予測参照情報予測データ探索ステップを有する。【００７０】
このとき、予測参照情報予測データ探索ステップでは、予測参照情報予測データの上記対応情報の示す領域を探索中心とした探索を行い、その探索結果による情報に変更することがある。【００７１】
別の好適例として、復号対象領域の参照フレーム上の領域を探索対象として、復号対象領域の隣接領域に対応付けられる領域を探索し、前記予測参照情報予測データを探索結果の対応情報に変更する予測参照情報予測データ探索ステップを  有する。【００７２】
このとき、予測参照情報予測データ探索ステップでは、予測参照情報予測データの上記対応情報の示す領域を探索中心とした探索を行い、その探索結果による情報に変更することがある。
【発明の効果】
【００７３】
本発明によれば、符号化対象領域に隣接する領域を符号化するときに用いた参照情報を、その参照領域を符号化する際に用いた符号化情報を用いて、符号化対象フレームと符号化対象参照フレームとの時刻及び視点関係に適した参照情報に変換した後に、予測参照情報を生成することによって、複数フレーム間における映像変化の時間的連続性がない場合や、符号化単位領域毎に動き補償と視差補償を選択しながら多視点画像を符号化する場合においても、変換操作の方法を示す付加情報を符号化することなく、符号化対象領域を符号化する際に用いる参照情報と予測参照情報との差を小さくし、フレーム間予測符号化のための動きベクトルや視差情報を効率よく符号化することができる。
【図面の簡単な説明】
【００７４】
【図１】本発明によって、予測参照情報予測データを予測参照情報予測データと参照領域参照情報との和に変更する場合の処理の一例を示す図である。
【図２】本発明によって、予測参照情報予測データを参照領域参照情報に変更する場合の処理の一例を示す図である。
【図３】本発明の動画像符号化装置の一実施形態例である。
【図４】本実施形態例の動画像符号化装置が実行する動画像符号化処理のフローチャートの一例である。
【図５】本実施形態例における符号化において、時間方向の映像予測のみが可能な場合の予測参照情報予測データの変更処理のフローチャートの一例である。
【図６】本実施形態例における符号化において、符号化対象ブロック毎に時間方向又はカメラ間の映像予測のどちらか一方が可能な場合の予測参照情報予測データの変更処理のフローチャートの一例である。
【図７】図６のフローチャートの一部としての、符号化対象ブロックがカメラ間の映像変化の予測を行う場合のフローチャートの一例である。
【図８】図６のフローチャートの一部としての、符号化対象ブロックが時間的な映像変化の予測を行う場合のフローチャートの一例である。
【図９】本実施形態例における符号化において、符号化対象ブロック毎に任意の映像予測が可能な場合の、予測参照情報予測データの変更処理のフローチャートの一例である。
【図１０】図９のフローチャートの一部としての、符号化対象ブロックがカメラ間の映像変化の予測を行う場合のフローチャートの一例である。
【図１１】図９のフローチャートの一部としての、符号化対象ブロックが時間的な映像変化の予測を行う場合のフローチャートの一例である。
【図１２】図９のフローチャートの一部としての、符号化対象ブロックが時間的な変化とカメラ間の変化の混在した映像変化の予測を行う場合のフローチャートの一例である。
【図１３】図７のフローチャートのＳ３１０で実行する予測参照情報予測データの変更処理の説明図である。
【図１４】図７のフローチャートのＳ３１８で実行する予測参照情報予測データの変更処理の説明図である。
【図１５】図１０のフローチャートのＳ４１５で実行する予測参照情報予測データの変更処理の説明図である。
【図１６】図１１のフローチャートのＳ４３３で実行する予測参照情報予測データの変更処理の説明図である。
【図１７】図１２のフローチャートのＳ４４４で実行する予測参照情報予測データの変更処理の説明図である。
【図１８】本発明の動画像復号装置の一実施形態例である。
【図１９】本実施形態例の動画像復号装置が実行する動画像復号処理のフローチャートの一例である。
【図２０Ａ】Ｈ.264における動きベクトル予測の説明図である。
【図２０Ｂ】同様に、Ｈ.264における動きベクトル予測の説明図である。
【図２０Ｃ】同様に、Ｈ.264における動きベクトル予測の説明図である。
【図２０Ｄ】同様に、Ｈ.264における動きベクトル予測の説明図である。
【図２１】ダイレクトモードにおける動きベクトル生成の説明図である。
【図２２Ａ】符号化対象ブロックの周辺ブロックの動きベクトルを用いて予測ベクトルを生成する手法の説明図である。
【図２２Ｂ】時刻情報を用いてスケーリングを適用した動きベクトル予測の説明図である。
【図２２Ｃ】同様に、時刻情報を用いてスケーリングを適用した動きベクトル予測の説明図である。
【図２２Ｄ】同様に、時刻情報を用いてスケーリングを適用した動きベクトル予測の説明図である。
【図２３】カメラ間で生ずる視差の説明図である。
【符号の説明】
【００７５】
１００  動画像符号化装置
１０１  画像入力部
１０２  ブロックマッチング実施部
１０３  予測画像作成部
１０４  差分画像符号化部
１０５  差分画像復号部
１０６  参照フレームメモリ
１０７  参照情報蓄積メモリ
１０８  予測参照情報予測データメモリ
１０９  予測参照情報生成部
１１０  差分参照情報符号化部
１１１  参照情報変更部
１１２  参照フレーム指定情報蓄積メモリ
１１３  参照フレーム選択部
１１４  参照フレーム指定情報符号化部
【発明を実施するための最良の形態】
【００７６】
本発明による動画像符号化方法あるいは動画像復号方法によれば、符号化対象領域／復号対象領域を符号化／復号するために用いる参照情報を、符号化対象領域／復号対象領域の隣接領域の参照情報を用いて予測するにあたり、隣接領域を符号化／復号する際に参照していた参照領域を符号化／復号する際に用いた参照情報を用いて、隣接領域の参照情報に修正を加えることで、複数フレームの間に映像変化の連続性がない場合においても、精度の高い予測参照情報を生成することができる。【００７７】
従来の方法では、図１の破線矢印で示すように、複数フレーム間の映像変化に連続性を仮定して、単純に参照情報を修正してしまっていた（参照情報から予測参照情報を生成していた）ため、複数フレーム間の映像変化に連続性がない場合は、誤った変換を施してしまっていた。【００７８】
これに対して、本発明によれば、隣接領域の参照フレームから別のフレームへの変化を、隣接領域の参照領域を符号化／復号した際の参照情報から取得できるため、複数フレーム間の映像変化の連続性を仮定せずに、隣接領域の参照情報を修正することができる。【００７９】
ここで、本発明では、この隣接領域の参照領域、つまり予測参照情報予測データによって示される領域を符号化／復号した際の参照情報を参照領域参照情報と呼んでいる。【００８０】
この参照領域参照情報は、その参照領域を符号化／復号する際に実際に利用されたものであり、良い符号化効率のために映像の変化を信頼度高く表していると考えられる。そのため、そのような情報を用いて修正を施した情報も映像の変化を信頼度高く表していると言える。【００８１】
参照情報を修正する方法として、図１に示すように、隣接領域に対する参照情報に、参照領域参照情報を加える方法（ベクトル合成する方法）をとってもよい。  【００８２】
この方法では、隣接領域の参照フレームから符号化／復号対象フレームへの映像変化に、隣接領域の参照領域の参照フレームから隣接領域の参照フレームへの映像変化を加えることで、隣接領域の参照領域の参照フレームから符号化／復号対象フレームへの映像変化を求めることなる。
このことは既に符号化／復号されている映像変化が変化することはないという事実に基づいて、信頼度の高い参照情報変換を実現している。【００８３】
ここで、隣接領域の参照領域が符号化／復号処理の単位領域になっておらず、その領域に複数の参照情報が含まれている場合が考えられるが、そのときは、
(i）参照領域が最も多く含まれる符号化／復号処理の単位領域で用いられた参照情報を参照領域参照情報とする方法を用いたり、
(ii)参照領域の含まれる割合に応じて符号化／復号処理の単位領域の参照情報に重みをつけて求めた平均の参照情報を参照領域参照情報とする方法を用いたり、
(iii）符号化／復号処理の単位領域に対して符号化／復号される参照情報をその領域に含まれる全ての画素が持つものとして、複数の参照領域において最も多く現れる参照情報を参照領域参照情報とする
方法を用いてもよい。【００８４】
また、この修正は１度だけでなく、修正を加えた参照情報に対して再度修正を加えるなど、繰り返し行っても構わない。
繰り返し修正を加えることで、隣接領域の参照領域の参照フレームが符号化／復号対象領域参照フレームに十分近くない場合は、符号化／復号対象領域参照フレームからの映像変化により近い予測参照情報予測データを得ることができる。【００８５】
参照情報を修正する方法として、図２のように、隣接領域に対する参照情報を、参照領域参照情報で置き換える方法をとってもよい。【００８６】
この方法では、隣接領域の参照フレームから符号化／復号対象フレームへの映像変化が、隣接領域の参照フレームから符号化／復号対象領域参照フレームへの映像変化に等しいとして、符号化／復号対象領域参照フレームから符号化／復号対象フレームへの映像変化を求めることになる。【００８７】
この方法では、実世界における２つの事実を利用している。【００８８】
１つ目は実世界における被写体の変化には物理的な制約があるという事実である。被写体の変化に物理的な制約があるということは視差の時間相関が高いということを示す。
つまり、時間的に異なるフレームにおける対応関係の与えられた領域、すなわち、隣接領域とその隣接領域の参照領域における視差は非常に類似性が高い。
したがって、隣接領域の時間的な参照情報を、隣接領域の参照領域におけるカメラ間の参照情報に置き換えることで、隣接領域におけるカメラ間の参照情報に精度よく変換することができる。【００８９】
２つ目は実世界における被写体の運動は１つであるという事実である。被写体の変化が１つしかないということは、各カメラによって撮影された動きは全て同じであり、被写体の動きのカメラ間の相関が高いということを示す。
つまり、カメラの異なる同時刻に撮影されたフレームにおける対応関係の与えられた領域、すなわち、隣接領域とその隣接領域の参照領域における動きは非常に類似性が高い。
したがって、隣接領域のカメラ間の参照情報を、隣接領域の参照領域における時間的な参照情報に置き換えることで、隣接領域における時間的な参照情報に制度よく変換することができる。【００９０】
これによって、符号化対象領域とその隣接領域で、参照対象が時間方向とカメラ方向に異なっていても精度よく参照情報を予測できるようになる。
なお、この方法は、隣接領域の参照領域とその参照フレームの時刻関係と視点関係とが、符号化／復号対象フレームと符号化／復号対象領域参照フレームの時間関係と視点関係とにより適合しているほど、正確な予測を可能とする置換が可能である。【００９１】
参照情報を修正する方法は、符号化／復号対象領域毎に、上述したいずれかの方法を適宜選択してもかまわない。【００９２】
それぞれの方法では、利用している映像の性質が異なるため、どちらの方法が適切であるかは、状況によって異なる。
したがって、符号化／復号対象領域毎に切り替えることで、その領域に適した修正を加えることが可能となり、映像変化をより正しく表した予測参照情報を生成することができる。【００９３】
ここで、先の方法はフレーム間の映像の時間変化を累積していくため、時間方向の映像変化を予測するのに適した方法であり、後の方法は映像変化の時間とカメラ間という次元を変換するのに適した方法であるため、符号化／復号対象領域で用いた映像予測の方法や予測参照情報予測データや参照領域参照情報によって示される映像変化の次元から、どちらの方法を適用したほうが望ましいかを判断することが可能である。【００９４】
つまり、符号化／復号対象領域参照フレームの時刻情報及び視点情報と、参照領域の含まれるフレームの時刻情報及び視点情報と、参照領域を符号化／復号した際の参照フレームであるところの参照領域参照フレームの時刻情報及び視点情報と、符号化／復号対象フレームの時刻情報及び視点情報とを用いることで、適用すべき方法を精度よく判定することができる。【００９５】
参照情報を修正する方法として、符号化／復号対象フレームの視点のカメラパラメータと、符号化／復号対象領域参照フレームの視点のカメラパラメータと、参照領域の含まれるフレームの視点のカメラパラメータとに従って、参照情報に幾何変換を加えることで修正する方法をとっても良い。【００９６】
また、このような変換を、予測参照情報予測データや、参照領域参照情報に加えることができる。【００９７】
これらの方法によれば、２つのカメラで撮影されたフレームの映像変化を、別の組み合わせの２つのカメラで撮影されたフレームの映像変化へと変換することができる。【００９８】
映像の時間変化と異なり、映像のカメラ間の変化はカメラの位置と被写体の位置に起因するものであるため、時刻の同じ２つの異なる位置から撮影された画像があり、そのカメラの位置関係などを示すカメラパラメータが既知の場合、さらに別の位置から撮影された画像を精度良く予測することが可能である。
この対応関係はカメラ間隔に応じてスケーリングするだけで得られるものではないため、従来の時間間隔に応じてスケーリングする方法を拡張するだけの単純な方法では、正確な予測を可能とする変換を行うことができない。【００９９】
参照情報を修正する方法として、符号化／復号対象領域の参照フレーム上の領域を探索対象として、予測参照情報予測データによって指し示される参照領域に対応付けられる領域を探索し、予測参照情報予測データを探索結果の対応情報に置き換える方法をとっても良い。【０１００】
また、参照情報を修正する方法として、符号化対象領域の参照フレーム上の領域を探索対象として、符号化対象領域の隣接領域に対応付けられる領域を探索し、予測参照情報予測データを探索結果の対応情報に置き換える方法をとっても良い。【０１０１】
これらの方法では、符号化側、復号側の両方で大量の演算を必要とするが、隣接領域の符号化／復号対象領域参照フレーム上の対応点をより正確に求めることができるため、映像変化をより正しく表した予測参照情報を生成することができ、その結果、参照情報を効率よく符号化することができる。【０１０２】
これらの方法で、対応点を正確に求めることができるかどうかは、対応領域を探索するときの探索方法や探索範囲、つまり演算コストに大きく依存してしまう。
しかしながら、予測参照情報予測データの参照フレームが、符号化／復号対象フレームよりも符号化／復号対象領域参照フレームに近い場合、予測参照情報予測データの参照情報が途中までの動きを表してくれていることになるため、そこからの変化だけを探索すれば済むことになり、演算コストを減らすことができる。【０１０３】
以下、実施の形態に従って本発明を詳細に説明する。【０１０４】
図３に、本発明の動画像符号化装置１００の一実施形態例を示す。【０１０５】
この動画像符号化装置１００は、符号化対象となる画像を入力する画像入力部１０１と、符号化対象画像を分割した領域毎に、既に符号化済みの参照フレームにおける対応領域を求めるためにブロックマッチングを行うブロックマッチング実施部１０２と、ブロックマッチングの結果と参照フレームとを用いて符号化対象領域の画像の予測画像を生成する予測画像作成部１０３と、符号化対象領域の画像と予測画像との差分画像を符号化する差分画像符号化部１０４と、差分画像符号化データを復号する差分画像復号部１０５と、復号された差分画像と予測画像との和によって生成された符号化対象領域の画像の復号画像を参照フレームとして蓄積する参照フレームメモリ１０６と、予測画像を生成する際に用いたブロックマッチングの結果の参照情報を蓄積する参照情報蓄積メモリ１０７と、予測画像を生成する際に用いたブロックマッチングの結果の参照情報の符号化に用いられる予測参照情報の候補となる参照情報を蓄積する予測参照情報予測データメモリ１０８と、予測参照情報予測データから予測参照情報を生成する予測参照情報生成部１０９と、予測画像を生成する際に用いたブロックマッチングの結果の参照情報と予測参照情報との差分を符号化する差分参照情報符号化部１１０と、予測参照情報予測データメモリ１０８上の予測参照情報予測データに修正を施す参照情報変更部１１１と、符号化済みの各領域が参照したフレームの情報を蓄積する参照フレーム指定情報蓄積メモリ１１２と、符号化対象領域の画像を符号化するときに用いる参照フレームを選択する参照フレーム選択部１１３と、符号化対象領域を符号化するときに用いた参照フレームを指定する情報を符号化する参照フレーム指定情報符号化部１１４とを備える。【０１０６】
図４に、このように構成される動画像符号化装置１００の実行するフローチャートを示す。【０１０７】
このフローチャートに従って、このように構成される動画像符号化装置１００の実行する処理について詳細に説明する。
ただし、既に複数フレームの画像を符号化済みであり、その結果が参照フレームメモリ１０６、参照情報蓄積メモリ１０７、参照フレーム指定情報蓄積メモリ１１２に蓄積されているものとする。【０１０８】
まず、画像入力部１０１より符号化対象となる画像が入力される［Ｓ１０１］。
入力された符号化対象画像は、画面全体を領域分割され領域毎に符号化を行う［Ｓ１０２〜Ｓ１２１］。【０１０９】
このフローチャートでは、ブロック（領域）のインデックスをblk と表し、一つの画像に対する総ブロック数をMaxBlkと表す。
つ・BR>ワり、インデックスBLK を１に初期化した後［Ｓ１０２］、BLK がMAXBLKになるまで［Ｓ１２０］、BLK に１を加算しながら［Ｓ１２１］、以下の処理［Ｓ１０３〜Ｓ１１９］を繰り返し実行することになる。【０１１０】
ブロック毎に行う処理では、そのブロックを符号化するために用いる参照フレームbest＿ref 、参照情報best＿mv、予測参照情報best＿pmv を求め［Ｓ１０３〜Ｓ１１７］、この映像予測のための情報とこれらを用いて符号化されるブロックblk の画像情報とを符号化して出力した後［Ｓ１１８］、以後の符号化処理のために、符号化データを復号して復号結果の画像情報、best＿ref 、best＿mvを、それぞれ、参照フレームメモリ１０６、参照フレーム指定情報蓄積メモリ１１２、参照情報蓄積メモリ１０７に格納する［Ｓ１１９］。【０１１１】
ここで、Ｓ１１８の符号化処理では、best＿ref を示す情報は参照フレーム指定情報符号化部１１４で符号化され、best＿mvとbest＿pmv との差分が差分参照情報符号化部１１０で符号化され、入力画像と、これらの情報を用いて予測画像作成部１０３で生成された予測画像との差分画像が、差分画像符号化部１０４で符号化される。
また、Ｓ１１９の復号処理では、差分画像の符号化データを差分画像復号部１０５で復号し、その結果と予測画像作成部１０３で生成された予測画像との和を求めることでブロックblk の復号画像情報を得る。【０１１２】
符号化時に用いる映像予測のための情報は、全ての利用可能な参照フレームに対して、以下の処理［Ｓ１０４〜Ｓ１１５］を繰り返し実行することで求める。
つまり、参照フレームインデックスref を１に初期化し、最小レート歪コストbestCostを絶対に取りえない最大値MaxCost に初期化した後［Ｓ１０３］、ref が全ての利用可能な参照フレームの数NumOfRefになるまで［Ｓ１１６］、ref に１を加算しながら［Ｓ１１７］、予測参照情報を生成する処理［Ｓ１０４〜Ｓ１０７］と、レート歪コストが最小となるような参照情報を求める処理［Ｓ１０８〜Ｓ１１５］とを繰り返し実行する。【０１１３】
予測参照情報を生成する処理は、予測参照情報予測データメモリ１０８を初期化した後［Ｓ１０４］、ブロックblk に隣接する複数のブロックに関して、そのブロックを符号化したときに使用した参照フレーム番号ＲＥＦと、参照情報ＭＶと、そのブロックの位置を示す情報ＰＯＳとの組｛ＲＥＦ，ＭＶ，ＰＯＳ｝を予測参照情報予測データメモリ１０８に格納する［Ｓ１０５］。
このとき、ＭＶ，ＲＥＦは、それぞれ、参照情報蓄積メモリ１０７、参照フレーム指定情報蓄積メモリ１１２に、ブロックインデックス又は画像内の位置に対応付けられて蓄積されているものとする。【０１１４】
なお、ブロックblk に隣接する複数のブロックとしては、例えば、画像を分割した領域をラスタースキャン順に符号化している場合には、上、左、右上で隣接するブロックとすることができる。
本実施形態例では、この３つの隣接ブロックの参照情報を予測参照情報予測データに設定することとする。ただし、該当するブロックが画面の外になるような場合は候補から除外するものとする。【０１１５】
次に、予測参照情報予測データメモリ１０８内の予測参照情報予測データを取り出し、参照情報変更部１１１で変更を加えて、再度、予測参照情報予測データメモリ１０８に蓄積する［Ｓ１０６］。ここで行われる処理については後で詳しく説明を行う。【０１１６】
そして、予測参照情報予測データメモリ１０８に蓄積されている複数の参照情報から予測参照情報pmv を生成する［Ｓ１０７］。具体的には、参照情報の成分ごとに予測参照情報予測データの中間値を取ることで予測参照情報pmv を作成する。
つまり、参照情報がＸ−Ｙの２次元のベクトルとして表される場合、成分ごとに、複数の予測参照情報予測データの持つ対応する成分の中間値を求めて、pmv をその成分の値とする。
なお、中間値以外にも平均値や最大値、最小値などを任意の基準のものを用いても構わない。ただし、動画像復号装置が用いる基準と同じ基準を用いる必要がある。【０１１７】
このようにして求められたpmv を用いて、レート歪コストが最小となるような参照情報を求める処理を実行する。
つまり、参照情報インデックスmv＿idx を１に初期化した後［Ｓ１０８］、mv＿idx がブロックblk の符号化のために用いることのできる参照情報の候補の数NumOfListMv に一致するまで［Ｓ１１４］、mv＿idx に１を加算しながら［Ｓ１１５］、以下の処理［Ｓ１１０〜Ｓ１１３］を繰り返す。【０１１８】
まず、mv＿idx に対応する参照情報mvを得る［Ｓ１０９］。ここでは、mv＿idx に対応する参照情報がメモリcand＿mvに既に蓄積されているものとする。
そして、このmvと参照フレームref とを用いて、ブロックblk に対する予測画像Ｐreを生成する［Ｓ１１０］。
具体的には、ブロックblk の位置からmv（ベクトル）によって示される参照フレームref上の領域の画像情報を予測画像とする。【０１１９】
次に、生成された予測画像Ｐreと、ブロックblk の画像情報Ｏrgと、pmv 、mv、ref とを用いてレート歪コストcostを次の式に基づいて計算する［Ｓ１１１］。【０１２０】
【数１】
2008053746.tif 000003
【０１２１】
ここで、λはラグランジュの未定乗数であり、予め設定された値が利用される。また、bit() は与えられた情報を符号化するのに必要な符号量を返す関数を表す。
なお、ここではＤを２つの画像情報の差分絶対値和としたが、差分二乗和としてもよいし、差分情報を周波数領域へ変換してから和を求めるＳＡＴＤと呼ばれる指標を用いてもよい。
さらに符号化処理の演算コストが増加するが、正確なレート歪コストを求める方法として、符号化対象領域の画像と予測画像との差分画像Ｄiff(＝Ｏrg−Ｐre）を実際に符号化したときの符号量ＢＩＴＳと、その差分画像の符号化データを復号して得られた復号差分画像ＤecＤiff とを用いて、以下の式で求める方法を用いてもよい。【０１２２】
【数２】
2008053746.tif 000004
【０１２３】
このようにして求められたcostとbestCostとを比較して［Ｓ１１２］、costの方が小さくなったならば、bestCostをcostに変更し、best＿ref をref に変更し、best＿mvをmvに変更し、best＿pmv をpmv に変更する［Ｓ１１３］ことで、最もレート歪コストが小さくなるような符号化のための情報を得る。【０１２４】
次に、図５〜図１２に示すフローチャートに従って、参照情報変更部１１１で行われるＳ１０６の詳細な処理について説明する。【０１２５】
Ｓ１０６の処理では、まず、予測参照情報予測データメモリ１０８に蓄積された全ての予測参照情報予測データに対して割り当てられる変数FIN を０で初期化し、全てのFIN が１になるまで、図５〜図１２の処理を繰り返し実行する。【０１２６】
ここで、図５は、全ての入力フレーム及び参照フレームが同じカメラから撮影された画像である場合のフローチャートを示す。
また、図６〜図８は、多視点画像が入力され、参照フレームが入力フレームと表示時刻（撮影時刻）が同じ画像か、同じカメラで撮影された画像である場合のフローチャートを示す。
また、図９〜図１２は、多視点画像が入力され、任意の既に符号化済みのフレームを参照フレームとして用いることが出来る場合のフローチャートを示す。【０１２７】
図５で示される、全ての入力フレーム及び参照フレームが同じカメラから撮影された画像である場合のフローチャートについて説明する。【０１２８】
まず、予測参照情報予測データメモリ１０８から、変更が完了していない、つまりFIN が０である予測参照情報予測データを取り出して p＿can とする［Ｓ２０１］。
上述したＳ１０５の処理で説明したように、予測参照情報予測データメモリは、符号化対象ブロックであるブロックblk に隣接する複数のブロックを符号化したときに使用した参照フレームと、参照情報と、そのブロックの位置を示す情報とを持つ情報であることから、 p＿can は、隣接ブロックの参照フレーム番号と、隣接ブロックの参照情報と、隣接ブロックの位置を示す情報とを持つ情報である。【０１２９】
そこで、 p＿can の参照フレーム番号を ref＿can に設定し、 p＿can の参照情報をmv＿can に設定する［Ｓ２０２］。【０１３０】
ここで、 ref＿can がブロックblk を符号化する際に用いようとしている参照フレームの参照フレーム番号ref と等しければ［Ｓ２０３］、FIN を１にして［Ｓ２０４］、 p＿can をそのまま予測参照情報予測データメモリ１０８に格納する［Ｓ２１１］。【０１３１】
すなわち、隣接ブロックの参照フレーム ref＿can と、符号化対象ブロックblk の参照フレームref とが一致する場合には、予測参照情報予測データメモリ１０８から取り出した予測参照情報予測データをそのまま用いて予測参照情報pmv を生成した方がよいので、 p＿can をそのまま予測参照情報予測データメモリ１０８に格納するように処理するのである。【０１３２】
一方、 ref＿can がブロックblk を符号化する際に用いようとしている参照フレームの参照フレーム番号ref と等しくないときには、フレーム ref＿can 上の、p＿can（隣接領域）をmv＿can だけずらした領域（参照領域）を符号化する際に最も多くの画素で使われている参照フレームを ref＿tel とし、この領域内で参照フレームが ref＿tel のもので最も多くの画素で使われている参照情報をmv＿tel として［Ｓ２０５］、次の条件式に基づき処理を行う［Ｓ２０６〜Ｓ２１０］。【０１３３】
【数３】
2008053746.tif 000005
【０１３４】
ここで、ＴＩＭＥ（）は、与えられた参照フレーム番号に対応するフレームの表示時刻（撮影時刻）を返す関数である。【０１３５】
この条件式は、 ref＿tel という参照フレームが ref＿can という参照フレームよりも符号化対象ブロックblk の参照フレームref に時間的に近いのか否かを判断することを意味する。【０１３６】
この条件式が成り立つ場合は、 ref＿can を ref＿tel に書き換え、mv＿can にmv＿tel を加える［Ｓ２０７］。【０１３７】
一方、この条件式が成り立たない場合は、 p＿can の位置の符号化対象フレームの復号画像情報を用いて、符号化対象ブロックblk の参照フレームref を探索対象とし、探索中心をmv＿canに設定して、参照フレームref 上の対応領域を求め、探索中心からの変位（対応情報）をmv＿canBM とし［Ｓ２０８］、 ref＿can をref に書き換え、mv＿can にmv＿canBM を加える［Ｓ２０９］。【０１３８】
そして、どちらの場合も ref＿can とmv＿can の変更が終わったら、 ref＿can とmv＿can とを p＿can の参照フレーム番号と参照情報とに設定し［Ｓ２１０］、その p＿can を予測参照情報予測データメモリ１０８に格納して［Ｓ２１１］、処理を終了する。【０１３９】
ここで、図５のフローチャートでは、全ての予測参照情報予測データに対してFIN の値が１に設定されるまで、すなわち、符号化対象ブロックblk の参照フレームref に到達するまで、このフローチャートを繰り返し実行することを想定しているが、例えば規定回数（１回でもよい）だけ繰り返すというような方法を用いることも可能である。【０１４０】
また、図５のフローチャートでは、Ｓ２０８のブロックマッチング処理で、符号化対象ブロックblk の参照フレームref を探索対象として、符号化対象ブロックblk の隣接領域に対応付けられる参照領域にマッチングする領域を探索するという方法を用いたが、符号化対象ブロックblk の隣接領域にマッチングする領域を探索するという方法を用いることも可能である。【０１４１】
また、図５のフローチャートでは、Ｓ２０６の判断処理に従って、Ｓ２０７の処理を実行するのか、Ｓ２０８，２０９の処理を実行するのかを決定するという方法を用いたが、無条件に、Ｓ２０７の処理を実行するという方法を用いることも可能である。【０１４２】
このようにして、参照情報変更部１１１は、図５のフローチャートを実行することで、図１に示すような形で、予測参照情報予測データメモリ１０８に格納される予測参照情報予測データを変更するように処理するのである。【０１４３】
次に、図６〜図８で示される多視点画像が入力され、参照フレームが入力フレームと表示時刻（撮影時刻）が同じ画像か、同じカメラで撮影された画像である場合のフローチャートについて説明する。【０１４４】
ここで、図６〜図８のフローチャートでは、全ての予測参照情報予測データに対してFIN の値が１に設定されるまで、このフローチャートを繰り返し実行することを想定しているが、例えば規定回数（１回でもよい）だけ繰り返すというような方法を用いることも可能である。【０１４５】
まず、FIN が０である予測参照情報予測データを取り出して p＿can とする［Ｓ３０１］。次に、 p＿can の参照フレーム番号を ref＿can に設定し、 p＿can の参照情報をmv＿can に設定する［Ｓ３０２］。【０１４６】
ここで、 ref＿can がブロックblk を符号化する際に用いようとしている参照フレームの参照フレーム番号ref と等しければ［Ｓ３０３］、FIN を１にして［Ｓ３０４］、 p＿can をそのまま予測参照情報予測データメモリ１０８に格納する［Ｓ３３６，Ｓ３３７］。【０１４７】
そうでなければ、フレーム ref＿can 上の mv＿can が示す領域（参照領域）を符号化する際に最も多くの画素で使われている参照フレームを ref＿tel とし、この領域内で参照フレームが ref＿tel のもので最も多くの画素で使われている参照情報をmv＿tel として［Ｓ３０５］、以下の処理［Ｓ３０６〜Ｓ３３５］を行った後、 p＿can を予測参照情報予測データメモリ１０８に格納する［Ｓ３３６，Ｓ３３７］。【０１４８】
Ｓ３０６〜Ｓ３３５の処理では、まず、 ref＿tel がref と等しければ［Ｓ３０６］、 ref＿can をref に書き換え、mv＿can にmv＿tel を加える［Ｓ３０７］。
そうでなければ、符号化対象フレームcur の表示時刻と符号化対象ブロックの参照フレームref の表示時刻とを比較して［Ｓ３０８］、同じであれば、ブロックblk で映像のカメラ間の変化の予測を行う場合の処理［図７：Ｓ３０９〜Ｓ３２０］を実行し、異なるのであれば、ブロックblk で映像の時間変化の予測を行う場合の処理［図８：Ｓ３２１〜Ｓ３３５］を実行する。【０１４９】
ブロックblk で映像のカメラ間の変化の予測が行われる場合の処理［図７：Ｓ３０９〜Ｓ３２０］では、フレームcur とフレーム ref＿can を撮影した視点（カメラ）が同じであるかどうかを調べる［Ｓ３０９］。
ここで、図７のフローチャート上のＶＩＥＷ（）は、与えられたフレーム番号に対応するフレームを撮影した視点（カメラ）インデックスを返す関数を表す。【０１５０】
フレームcur とフレーム ref＿can とが異なるカメラで撮影されている場合、フレームcur における p＿can の位置の領域（隣接領域）のフレーム ref＿can への視差mv＿can を、該隣接領域のフレームref への視差mv＿trans1へ、フレームcur とフレーム ref＿can とフレームref のカメラパラメータを用いて幾何変換を行い［Ｓ３１０］、 ref＿can をref に書き換え、mv＿can をmv＿trans1に書き換える［Ｓ３１１］。
Ｓ３１０の処理で行われる幾何変換は以下の手順で実行する。【０１５１】
１． p＿can で表される領域（符号化対象領域の隣接領域）の中心位置 pos＿cur を求める
２． p＿can で表される位置からmv＿can だけずらした領域（参照領域）の中心位置 pos＿can を求める
３．ｘを変数として、Ｔrans（cur, ref＿can, pos＿cur,ｘ）を求める（これをｐ（下に述べる対応画素）の上に〜が付加されたもので示す）。
Ｔrans（src, dst, pix, d ）は、次の式によって定義でき、視点src における画像上の位置pix の画素から被写体までの距離がｄの場合に、視点dst における画像上における画素pix の対応画素ｐの斉次座標値を表す。【０１５２】
【数４】
2008053746.tif 000006
【０１５３】
ただし、Ａ，Ｒ，ｔはカメラパラメータであり、それぞれ内部パラメータ、回転パラメータ、並進パラメータを示す。内部パラメータと回転パラメータは３×３行列であり、ｔは３次元のベクトルである。
また、座標値に〜が付加されているものは斉次座標値を示している。特に、第三成分が１の斉次座標値を座標値に「＾」を付加して表している。
なお、カメラパラメータの表し方は様々であり、本実施形態例では、上記式によってカメラ間の対応点が計算できるようなカメラパラメータであるとする。
４．＾ｐ（ｐの、第三成分が１の斉次座標値）とpos ＿can とのユークリッド距離が最小になるｘを求めｄcur とする
５．次の式に従ってmv＿trans1を求める【０１５４】
【数５】
2008053746.tif 000007
【０１５５】
なお、これらの式は各位置情報が２次元座標で与えられ、参照情報が２次元ベクトルで表されている場合の式である。【０１５６】
図１３に、Ｓ３１０の処理で行われる幾何変換の一例を示す。なお、見やすくするために、mv＿can とmv＿trans1を上下にずらして示してある。【０１５７】
この図に示すように、Ｓ３１０では、
ＴＩＭＥ(cur) ＝ＴＩＭＥ(ref) ＝ＴＩＭＥ(ref＿can)
という状況下で、mv＿can をmv＿trans1に幾何変換する処理が行われ、これを受けて、Ｓ３１１では、mv＿can をmv＿trans1に書き換える処理が行われることになる。【０１５８】
一方、フレームcur とフレーム ref＿can とが同じカメラで撮影されている場合［Ｓ３０９でＹＥＳの場合］、フレーム ref＿can とフレーム ref＿tel とが同じカメラで撮影されているかどうかを判定する［Ｓ３１２］。【０１５９】
同じカメラで撮影されていた場合、フレームcur とフレーム ref＿tel の時間間隔が予め与えられた閾値ＴＨ１よりも小さいかどうかを判定する［Ｓ３１３］。この時間間隔がＴＨ１より小さい場合は、 ref＿can を ref＿tel に書き換え、mv＿can にmv＿tel を加える［Ｓ３１４］。
一方、この時間間隔がＴＨ１以上の場合は、 p＿can の位置の符号化対象フレームの復号画像情報を用いて、参照フレームref 上の対応領域を求め、 p＿can の位置からの変位（対応情報）をmv＿BMとし［Ｓ３１５］、 ref＿can をref に書き換え、mv＿can をmv＿BMに書き換える［Ｓ３１６］。【０１６０】
Ｓ３１２の判定処理で、フレーム ref＿can とフレーム ref＿tel とが異なるカメラで撮影されていると判定された場合、フレームref とフレーム ref＿tel とが同じカメラで撮影されたかどうかを判定する［Ｓ３１７］。【０１６１】
同じカメラで撮影されていない場合、VIEW(ref＿can)で撮影された画像における、p＿can（隣接ブロックの位置）をmv＿can だけずらした位置の領域（参照領域）の、VIEW(ref＿tel)で撮影された画像への視差mv＿tel を、該参照領域の、VIEW(ref) で撮影された画像への視差mv＿trans2へ、VIEW(ref＿can)とVIEW(ref＿tel)とVIEW(ref) のカメラパラメータを用いて幾何変換を行い［Ｓ３１８］、 ref＿can をref に書き換え、mv＿can をmv＿trans2に書き換える［Ｓ３１９］。
Ｓ３１８の処理で行われる幾何変換は以下の手順で実行する。【０１６２】
１． p＿can をmv＿can だけずらした位置の領域の中心位置 pos＿can を求める
２． p＿can をmv＿can ＋mv＿tel だけずらした位置の領域の中心位置 pos＿tel を求める
３．ｘを変数として、Ｔrans(ref＿can, ref＿tel, pos＿can,ｘ）を求める（これをｐの上に〜が付加されたもので示す）
４．＾ｐと pos＿tel とのユークリッド距離が最小になるｘを求めｄcan とする
５．次の式に従ってmv＿trans2を求める【０１６３】
【数６】
2008053746.tif 000008
【０１６４】
図１４に、Ｓ３１８の処理で行われる幾何変換の一例を示す。【０１６５】
この図に示すように、Ｓ３１８では、
ＴＩＭＥ(cur) ＝ＴＩＭＥ(ref) ，ＶＩＥＷ(cur) ＝ＶＩＥＷ(ref＿can)
ＴＩＭＥ(ref＿can)＝ＴＩＭＥ(ref＿tel), ＶＩＥＷ(ref) ≠ＶＩＥＷ(ref＿tel)という状況下で、mv＿tel をmv＿trans2に幾何変換する処理が行われ、これを受けて、Ｓ３１９では、mv＿can をmv＿trans2に書き換える処理（図中に示す破線が処理結果）が行われることになる。【０１６６】
Ｓ３１７の判定処理で、フレームref とフレーム ref＿tel とが同じカメラで撮影されていると判定された場合、 ref＿can をref に書き換え、mv＿can をmv＿tel に書き換える［Ｓ３２０］。【０１６７】
一方、ブロックblk で映像の時間変化の予測が行われる場合の処理［図８：Ｓ３２１〜Ｓ３３５］では、まず、フレームcur とフレーム ref＿can とが同じカメラで撮影されたかどうかを判定する［Ｓ３２１］。【０１６８】
同じカメラで撮影されたと判定された場合、フレーム ref＿can とフレーム ref＿tel とが同じカメラで撮影されたかどうかを判定する［Ｓ３２２］。
これも同じカメラで撮影されたと判定された場合、フレーム ref＿tel とフレーム ref＿can とで、どちらが時間的にフレームref に近いかを判定する［Ｓ３２３］。
フレーム ref＿tel の方がフレームref に時間的に近いと判定された場合には、 ref＿can を ref＿tel に書き換え、mv＿can にmv＿tel を加える［Ｓ３２４］。【０１６９】
Ｓ３２２の判定処理で、フレーム ref＿can とフレーム ref＿tel とが異なるカメラで撮影されたと判定された場合か、Ｓ３２３の判定処理で、フレーム ref＿can の方がフレームref に時間的に近いと判定された場合には、 p＿can の位置の符号化対象フレームの復号画像情報を用いて、探索中心をmv＿can に設定して、参照フレームref 上の対応領域を求め、探索中心からの変位（対応情報）をmv＿canBM とし［Ｓ３２５］、 ref＿can をref に書き換え、mv＿can にmv＿canBM を加える［Ｓ３２６］。【０１７０】
一方、Ｓ３２１の判定処理において、フレームcur とフレーム ref＿can とが異なるカメラで撮影されたと判定された場合、フレーム ref＿can とフレーム ref＿tel とが同じカメラで撮影されたかどうかを判定する［Ｓ３２７］。
同じカメラで撮影されたと判定された場合、フレームref の表示時刻とフレーム ref＿tel の表示時刻（撮影時刻）とが同じであるかどうかを判定する［Ｓ３２８］。
同じ表示時刻を持つと判定された場合、 ref＿can をref に書き換え、mv＿can をmv＿tel に書き換える［Ｓ３２９］。【０１７１】
Ｓ３２８の判定処理で、異なる表示時刻を持つと判定された場合、 p＿can の位置の符号化対象フレームの復号画像情報を用いて、探索中心をmv＿tel に設定して、参照フレームref 上の対応領域を求め、探索中心からの変位（対応情報）をmv＿telBM とし［Ｓ３３０］、 ref＿can をref に書き換え、mv＿can をmv＿tel とmv＿telBM との和に書き換える［Ｓ３３１］。【０１７２】
Ｓ３２７の判定処理で、フレーム ref＿can とフレーム ref＿tel とが異なるカメラで撮影されたと判定された場合、VIEW(cur) とVIEW(ref＿tel)の撮影領域の一致割合が、予め与えられた閾値ＴＨ２より大きいかどうかを判定する［Ｓ３３２］。
このフローチャートでは、Ｄiff(cam1,cam2)が撮影領域の一致度合いを表し、一方のカメラ（あらかじめどちらかに決められ、それに適合する閾値ＴＨ２が選択される）で撮影可能な領域に対する両方のカメラで撮影可能な領域の割合を与える。ただし、カメラから、別途与えられる距離までの実空間のみを対象とする。また、与えられる閾値ＴＨ２は、全てのカメラの組合せにおいて最も小さなＤiff値よりも大きいとする。【０１７３】
Ｓ３３２の判定処理で、VIEW(cur) とVIEW(ref＿tel)の撮影領域の一致割合が閾値ＴＨ２より大きかった場合、 ref＿can を ref＿tel に書き換え、mv＿can にmv＿tel を加える［Ｓ３３３］。【０１７４】
一方、Ｓ３３２の判定処理で、VIEW(cur) とVIEW(ref＿tel)の撮影領域の一致割合が閾値ＴＨ２以下だった場合、 p＿can の位置の符号化対象フレームの復号画像情報を用いて、参照フレームref 上の対応領域を求め、 p＿can の位置からの変位（対応情報）をmv＿BMとし［Ｓ３３４］、 ref＿can をref に書き換え、mv＿can をmv＿BMに書き換える［Ｓ３３５］。【０１７５】
次に、図９〜図１２で示される、多視点画像が入力され、任意の既に符号化済みのフレームを参照フレームとして用いることが出来る場合のフローチャートについて説明する。【０１７６】
ここで、図９〜図１２のフローチャートでは、全ての予測参照情報予測データに対してFIN の値が１に設定されるまで、このフローチャートを繰り返し実行することを想定しているが、例えば規定回数（１回でもよい）だけ繰り返すというような方法を用いることも可能である。【０１７７】
まず、FIN が０である予測参照情報予測データを取り出して p＿can とする［Ｓ４０１］。次に、 p＿can の参照フレーム番号を ref＿can に設定し、 p＿can の参照情報をmv＿can に設定する［Ｓ４０２］。【０１７８】
ここで、 ref＿can がブロックblk を符号化する際に用いようとしている参照フレームの参照フレーム番号ref と等しければ［Ｓ４０３］、FIN を１にして［Ｓ４０４］、 p＿can をそのまま予測参照情報予測データメモリ１０８に格納する［Ｓ４５２，Ｓ４５３］。【０１７９】
そうでなければ、フレーム ref＿can 上の、p＿can（隣接領域）をmv＿can だけずらした領域（参照領域）を符号化する際に最も多くの画素で使われている参照フレームを ref＿tel とし、この領域内で参照フレームが ref＿tel のもので最も多くの画素で使われている参照情報をmv＿tel として［Ｓ４０５］、以下の処理［Ｓ４０６〜Ｓ４５１］を行った後、 p＿can を予測参照情報予測データメモリ１０８に格納する［Ｓ４５２，Ｓ４５３］。【０１８０】
Ｓ４０６〜Ｓ４５１の処理では、まず、 ref＿tel がref と等しければ［Ｓ４０６］、 ref＿can をref に書き換え、mv＿can にmv＿tel を加える［Ｓ４０７］。
そうでなければ、符号化対象フレームcur の表示時刻と符号化対象ブロックの参照フレームref の表示時刻とを比較して［Ｓ４０８］、同じであれば、ブロックblk で映像のカメラ間の変化の予測を行う場合の処理［図１０：Ｓ４０９〜Ｓ４２０］を実行し、異なるのであれば、フレームcur とフレームref を撮影したカメラが同じであるかどうかを判定する［Ｓ４２１］。
同じであれば、ブロックblk で映像の時間変化の予測を行う場合の処理［図１１：Ｓ４２２〜Ｓ４４１］を実行し、異なるのであれば、映像の時間変化とカメラ間の変化が合わさったものの予測を行う場合の処理［図１２：Ｓ４４２〜Ｓ４５１］を実行する。【０１８１】
ブロックblk で映像のカメラ間の変化の予測が行われる場合の処理［図１０：Ｓ４０９〜Ｓ４２０］では、まず、フレームcur の表示時刻とフレーム ref＿can の表示時刻とが同じであるかどうかを判定する［Ｓ４０９］。
同じであると判定された場合、前述のＳ３１０での処理と同様の方法で、フレームcur における p＿can の位置の領域（隣接領域）のフレーム ref＿can への視差mv＿can を、該隣接領域のフレームref への視差mv＿trans1へ、フレームcur とフレーム ref＿can とフレームref のカメラパラメータを用いて幾何変換を行い［Ｓ４１０］、 ref＿can をref に書き換え、mv＿can をmv＿trans1に書き換える［Ｓ４１１］。【０１８２】
ここで、このＳ４１０で行われる幾何変換処理は、Ｓ３１０で説明した幾何変換処理と同じものである。【０１８３】
一方、Ｓ４０９の判定処理で、フレームcur の表示時刻とフレーム ref＿can の表示時刻とが異なると判定された場合、フレーム ref＿can の表示時刻とフレーム ref＿tel の表示時刻とが同じであるかどうかを判定する［Ｓ４１２］。
同じであると判定された場合、フレーム ref＿tel を撮影したカメラとフレームref を撮影したカメラとが同じで、かつ、フレーム ref＿can を撮影したカメラとフレームcur を撮影したカメラとが同じであるかどうかを判定する［Ｓ４１３］。
２組のカメラ対がそれぞれ同じカメラであると判定された場合、 ref＿can をref に書き換え、mv＿can をmv＿tel に書き換える［Ｓ４１４］。【０１８４】
Ｓ４１３の判定処理で、２組のカメラ対のどちらか一方でも同じではないと判定された場合、VIEW(ref＿can)で撮影された画像における、p＿can（隣接ブロックの位置）をmv＿can だけずらした位置の領域（参照領域）の、VIEW(ref＿tel)で撮影された画像への視差mv＿tel を、VIEW(cur) で撮影された画像における p＿can の位置の領域（隣接領域）の、VIEW(ref) で撮影された画像への視差mv＿trans3へ、VIEW(cur) とVIEW(ref＿can)とVIEW(ref＿tel)とVIEW(ref) のカメラパラメータを用いて幾何変換を行い［Ｓ４１５］、 ref＿can をref に書き換え、mv＿can をmv＿trans3に書き換える［Ｓ４１６］。
Ｓ４１５の処理で行われる幾何変換は以下の手順で実行する。【０１８５】
１． p＿can をmv＿can だけずらした位置の領域の中心位置 pos＿can を求める
２． p＿can をmv＿can ＋mv＿tel だけずらした位置の領域の中心位置 pos＿tel を求める
３．ｘを変数として、Ｔrans(ref＿can, ref＿tel, pos＿can,ｘ）を求める（これをｐの上に〜が付加されたもので示す）
４．＾ｐと pos＿tel とのユークリッド距離が最小になるｘを求めｄcan とする
５．次の式に従ってmv＿trans3を求める【０１８６】
【数７】
2008053746.tif 000009
【０１８７】
図１５に、Ｓ４１５の処理で行われる幾何変換の一例を示す。なお、見やすくするために、mv＿tel とmv＿tran3 を上下にずらして示してある。【０１８８】
この図に示すように、Ｓ４１５では、
ＴＩＭＥ(cur) ＝ＴＩＭＥ(ref) ≠ＴＩＭＥ(ref＿can)＝ＴＩＭＥ(ref＿tel)
ＶＩＥＷ(ref) ≠ＶＩＥＷ(ref＿tel)またはＶＩＥＷ(cur) ≠ＶＩＥＷ(ref＿can)
という状況下で、mv＿tel をmv＿trans3に幾何変換する処理が行われ、これを受けて、Ｓ４１６では、mv＿can をmv＿trans3に書き換える処理（図中に示す破線が処理結果）が行われることになる。【０１８９】
Ｓ４１２の判定処理で、フレーム ref＿can の表示時刻とフレーム ref＿tel の表示時刻とが異なると判定された場合、フレームcur とフレーム ref＿tel の時間間隔が、予め与えられた閾値ＴＨ１よりも小さいかどうかを判定する［Ｓ４１７］。
時間間隔がＴＨ１より小さい場合は、 ref＿can を ref＿tel に書き換え、mv＿can にmv＿tel を加える［Ｓ４１８］。
時間間隔がＴＨ１以上の場合は、 p＿can の位置の符号化対象フレームの復号画像情報を用いて、参照フレームref 上の対応領域を求め、 p＿can の位置からの変位（対応情報）をmv＿BMとし［Ｓ４１９］、 ref＿can をref に書き換え、mv＿can をmv＿BMに書き換える［Ｓ４２０］。【０１９０】
ブロックblk で映像の時間変化の予測を行う場合の処理［図１１：Ｓ４２２〜Ｓ４４１］では、まず、フレームcur を撮影したカメラとフレーム ref＿can を撮影したカメラとが同じであるかどうか判定する［Ｓ４２２］。
同じであった場合、さらに、フレーム ref＿can を撮影したカメラとフレーム ref＿tel を撮影したカメラとが同じであるかどうかを判定する［Ｓ４２３］。【０１９１】
これも同じであった場合、前述の〔数３〕式による判定を行う［Ｓ４２４］。
この〔数３〕式が成立する場合は、 ref＿can を ref＿tel に置き換え、mv＿can にmv＿tel を加える［Ｓ４２５］。
一方、この〔数３〕式が成立しなかった場合は、 p＿can の位置の符号化対象フレームの復号画像情報を用いて、探索中心をmv＿can に設定して、参照フレームref 上の対応領域を求め、探索中心からの変位（対応情報）をmv＿canBM とし［Ｓ４２６］、 ref＿can をref に書き換え、mv＿can にmv＿canBM を加える［Ｓ４２７］。【０１９２】
Ｓ４２３の判定処理で、フレーム ref＿can を撮影したカメラとフレーム ref＿tel を撮影したカメラとが異なると判定された場合、フレームref を撮影したカメラとフレーム ref＿tel を撮影したカメラとが同じであるかどうか判定する［Ｓ４２８］。【０１９３】
同じであった場合、 p＿can の位置の符号化対象フレームの復号画像情報を用いて、探索中心をmv＿can ＋mv＿tel に設定して、参照フレームref 上の対応領域を求め、探索中心からの変位（対応情報）をmv＿epiBM1とし［Ｓ４２９］、 ref＿can をref に書き換え、mv＿can にmv＿tel とmv＿epiBM1とを加える［Ｓ４３０］。【０１９４】
なお、このＳ４２９での探索は、カメラ間の制約を用いることで、対応領域の中心が次の手順で得られる直線の周囲になる場合のみを探索することにしてもよい。【０１９５】
１． p＿can をmv＿can ＋mv＿tel だけずらした位置の領域の中心位置 pos＿tel を求める
２．ｘを変数として、Ｔrans(ref＿tel, ref, pos＿tel, x）を求める（これをｐの上に〜が付加されたもので示す）
３．ｘを変化させたときにｐの描くフレームref 上の直線を求める
ここでは、変化させるｘの値の最大値と最小値を決めないが、予め設定しておいても構わない
また、Ｓ４２８の判定処理で、フレームref を撮影したカメラとフレーム ref＿tel を撮影したカメラとが異なると判定された場合、前述のＳ４２６の処理とＳ４２７の処理とを行う。【０１９６】
一方、最初に行うＳ４２２の判定処理で、フレームcur を撮影したカメラとフレーム ref＿can を撮影したカメラとが異なると判定された場合、フレームref の表示時刻とフレーム ref＿tel の表示時刻とが同じであるかどうかを判定する［Ｓ４３１］。
同じであった場合、さらに、フレームref の表示時刻とフレーム ref＿can の表示時刻とが同じであるかどうかを判定する［Ｓ４３２］。【０１９７】
これも同じであった場合、前述のＳ３１８での処理と同様の方法で、VIEW(ref＿can)で撮影された画像における、p＿can（隣接ブロックの位置）をmv＿can だけずらした位置の領域（参照領域）の、VIEW(ref＿tel)で撮影された画像への視差mv＿tel を、該参照領域の、VIEW(ref) で撮影された画像への視差mv＿trans2へ、VIEW(ref＿can)とVIEW(ref＿tel)とVIEW(ref) のカメラパラメータを用いて幾何変換を行い［Ｓ４３３］、 ref＿can をref に書き換え、mv＿can にmv＿trans2を加える［Ｓ４３４］。【０１９８】
図１６に、Ｓ４３３の処理で行われる幾何変換の一例を示す。【０１９９】
この図に示すように、Ｓ４３３では、
ＶＩＥＷ(cur) ＝ＶＩＥＷ(ref),  ＶＩＥＷ(cur) ≠ＶＩＥＷ(ref＿can)
ＴＩＭＥ(ref) ＝ＴＩＭＥ(ref＿can)＝ＴＩＭＥ(ref＿tel)
という状況下で、mv＿tel をmv＿trans2に幾何変換する処理が行われ、これを受けて、Ｓ４３４では、mv＿can にmv＿trans2を加える処理（図中に示す破線が処理結果）が行われることになる。【０２００】
なお、Ｓ４３２の判定処理で、フレームref の表示時刻とフレーム ref＿can の表示時刻とが異なると判定された場合は、前述のＳ４２９の処理とＳ４３０の処理とを行う。【０２０１】
また、Ｓ４３１の判定処理で、フレームref の表示時刻とフレーム ref＿tel の表示時刻とが異なると判定された場合は、フレームref の表示時刻とフレーム ref＿can の表示時刻とが同じであるかどうかを判定す・BR>驕MＳ４３５］。【０２０２】
同じであると判定された場合は、 p＿can の位置の符号化対象フレームの復号画像情報を用いて、探索中心をmv＿can に設定して、参照フレームref 上の対応領域を求め、探索中心からの変位（対応情報）をmv＿epiBM2とし［Ｓ４３６］、 ref＿can をref に書き換え、mv＿can にmv＿epiBM2を加える［Ｓ４３７］。【０２０３】
なお、このＳ４３６での探索は、カメラ間の制約を用いることで、対応領域の中心が次の手順で得られる直線の周囲になる場合のみを探索することにしてもよい。【０２０４】
１． p＿can をmv＿can だけずらした位置の領域の中心位置 pos＿can を求める
２．ｘを変数として、Ｔrans(ref＿can, ref, pos＿can, x）を求める（これをｐの上に〜が付加されたもので示す）
３．ｘを変化させたときにｐの描くフレームref 上の直線を求める
ここでは、変化させるｘの値の最大値と最小値を決めないが、予め設定しておいても構わない
Ｓ４３５の判定処理で、フレームref の表示時刻とフレーム ref＿can の表示時刻とが異なると判定された場合は、次の２つの条件式による判定を行う［Ｓ４３８］。【０２０５】
【数８】
2008053746.tif 000010
【０２０６】
どちらか一方でも成り立つ場合は、 ref＿can を ref＿tel に書き換え、mv＿can にmv＿tel を加える［Ｓ４３９］。
どちらも成立しない場合は、 p＿can の位置の符号化対象フレームの復号画像情報を用いて、参照フレームref 上の対応領域を求め、 p＿can の位置からの変位（対応情報）をmv＿BMとし［Ｓ４４０］、 ref＿can をref に書き換え、mv＿can をmv＿BMに書き換える［Ｓ４４１］。【０２０７】
ブロックblk で映像の時間変化とカメラ間の変化が合わさったものの予測を行う場合の処理［図１２：Ｓ４４２〜Ｓ４５１］では、まず、フレーム ref＿can の表示時刻とフレーム refの表示時刻とが同じであるかどうかを判定する［Ｓ４４２］。
同じであると判定された場合、フレーム ref＿tel の表示時刻とフレームref の表示時刻とが同じであるかどうかを判定する［Ｓ４４３］。【０２０８】
これも同じであると判定された場合、前述のＳ３１８での処理と同様の方法で、VIEW(ref＿can)で撮影された画像における、p＿can（隣接ブロックの位置）をmv＿can だけずらした位置の領域（参照領域）の、VIEW(ref＿tel)で撮影された画像への視差mv＿tel を、該参照領域の、VIEW(ref) で撮影された画像への視差mv＿trans2へ、VIEW(ref＿can)とVIEW(ref＿tel)とVIEW(ref) のカメラパラメータを用いて幾何変換を行い［Ｓ４４４］、 ref＿can をref に書き換え、mv＿can にmv＿trans2を加える［Ｓ４４５］。【０２０９】
図１７に、Ｓ４４４の処理で行われる幾何変換の一例を示す。なお、見やすくするために、mv＿tel とmv＿trans2を上下にずらして示してある。【０２１０】
この図に示すように、Ｓ４４４では、
ＴＩＭＥ(cur) ≠ＴＩＭＥ(ref) ，ＶＩＥＷ(cur) ≠ＶＩＥＷ(ref) 
ＴＩＭＥ(ref) ＝ＴＩＭＥ(ref＿can)＝ＴＩＭＥ(ref＿tel)
という状況下で、mv＿tel をmv＿trans2に幾何変換する処理が行われ、これを受けて、Ｓ４４５では、mv＿can にmv＿trans2を加える処理（図中に示す破線が処理結果）が行われることになる。【０２１１】
また、Ｓ４４３の判定処理で、フレーム ref＿tel の表示時刻とフレームref の表示時刻とが異なると判定された場合、 p＿can の位置の符号化対象フレームの復号画像情報を用いて、探索中心をmv＿can に設定して、参照フレームref 上の対応領域を求め、探索中心からの変位（対応情報）をmv＿epiBM2とし［Ｓ４４６］、 ref＿can をref に書き換え、mv＿can にmv＿epiBM2を加える［Ｓ４４７］。
なお、このＳ４４６での探索は、カメラ間の制約を用いることで、対応領域の中心が、前述のＳ３３６の処理のときと同じ手順で得られる直線の周囲になる場合のみを探索することにしてもよい。【０２１２】
一方、最初に行うＳ４４２の判定処理で、フレーム ref＿can の表示時刻とフレームref の表示時刻とが異なると判定された場合、前述の〔数３〕式による判定を行う［Ｓ４４８］。
この〔数３〕式が成立する場合は、 ref＿can を ref＿tel に置き換え、mv＿can にmv＿tel を加える［Ｓ４４９］。
一方、この〔数３〕式が成立しなかった場合は、 p＿can の位置の符号化対象フレームの復号画像情報を用いて、参照フレームref 上の対応領域を求め、 p＿can の位置からの変位（対応情報）をmv＿BMとし［Ｓ４５０］、 ref＿can をref に書き換え、mv＿can をmv＿BMに書き換える［Ｓ４５１］。【０２１３】
このようにして、参照情報変更部１１１は、図６〜図１２のフローチャートを実行することで、図１や図２に示すような形で、予測参照情報予測データメモリ１０８に格納される予測参照情報予測データを変更するように処理するのである。【０２１４】
次に、本発明を具備する動画像復号装置について説明する。【０２１５】
図１８に、本発明の動画像復号装置２００の一実施形態例を示す。【０２１６】
この動画像復号装置２００は、復号対象となる画像の予測画像に対する差分画像の符号化データを復号する差分画像復号部２０１と、予測画像を生成する際の参照情報の予測参照情報に対する差分参照情報の符号化データを復号する差分参照情報復号部２０２と、予測画像を生成する際の参照フレーム指定情報の符号化データを復号する参照フレーム指定情報復号部２０３と、既に復号済みのフレームであるところの参照フレームと参照フレーム指定情報と参照情報とを用いて復号対象フレームの予測画像を生成する予測画像作成部２０４と、予測画像と復号された差分画像との和で求められる復号画像を蓄積する参照フレームメモリ２０５と、予測参照情報予測データ（予測参照情報の候補となる参照情報）から予測参照情報を生成する予測参照情報生成部２０６と、予測参照情報予測データを蓄積する予測参照情報予測データメモリ２０７と、過去に画像を復号する際に用いた参照情報を蓄積する参照情報蓄積メモリ２０８と、予測参照情報予測データメモリ２０７上の予測参照情報予測データに修正を施す参照情報変更部２０９と、過去に画像を復号する際に用いた参照フレーム指定情報を蓄積する参照フレーム指定情報蓄積メモリ２１０とを備える。【０２１７】
図１９に、このように構成される動画像復号装置２００の実行するフローチートを示す。【０２１８】
このフローチャートに従って、このように構成される動画像復号装置２００の実行する処理について詳細に説明する。ただし、既に複数フレームの画像を復号済みであり、その結果が参照フレームメモリ２０５、参照情報蓄積メモリ２０８、参照フレーム指定情報蓄積メモリ２１０に蓄積されているものとする。【０２１９】
まず、差分画像の符号化データと、差分参照情報の符号化データと、参照フレーム指定情報の符号化データとが、動画像復号装置２００へ入力され、それぞれ、差分画像復号部２０１と、差分参照情報復号部２０２と、参照フレーム指定情報復号部２０３へ送られる［Ｓ５０１］。【０２２０】
復号対象画像は画像全体を領域分割し、領域毎に復号を行う［Ｓ５０２〜Ｓ５１５］。このフローチャートでは、ブロック（領域）のインデックスをblk と表し、一つの画像に含まれる総ブロック数をMaxBlkと表す。
つまり、インデックスblk を１に初期化した後［Ｓ５０２］、blk がMaxBlkになるまで［Ｓ５１４］、blk に１を加算しながら［Ｓ５１５］、以下の処理［Ｓ５０３〜Ｓ５１３］を繰り返し実行する。【０２２１】
ブロック毎に行う処理では、参照フレーム指定情報の符号化データを復号して、参照フレーム指定情報ref を取得し［Ｓ５０３］、参照フレームref に対する参照情報を予測するための予測参照情報pmv を生成する処理［Ｓ５０４〜Ｓ５０７］を行った後に、差分参照情報の符号化データを復号して、差分参照情報mvd を取得し［Ｓ５０８］、pmv とmvd との和で構成される参照情報mvを生成する［Ｓ５０９］。【０２２２】
そして、参照フレームref と参照情報mvとを用いて予測画像Ｐreを生成し［Ｓ５１０］、差分画像の符号化データを復号して、差分画像Ｓubを取得し［Ｓ５１１］、ＰreとＳubとの画素ごとの和を計算することで復号画像Ｄecを生成する［Ｓ５１２］。
そして、復号画像Ｄecと、ブロックblk を復号するために用いた情報である参照情報mvと、参照フレーム指定情報ref を、それぞれ、参照フレームメモリ２０５、参照情報蓄積メモリ２０８、参照フレーム指定情報蓄積メモリ２１０に格納する［Ｓ５１３］。【０２２３】
なお、各フレームについては、そのフレームに含まれる全てのブロックに関して復号処理が終わった後で、かつ、そのフレームより前の表示時刻を持つフレームが全て出力された後に、復号されたフレームが動画像復号装置２００から出力される。【０２２４】
予測参照情報pmv を生成する処理［Ｓ５０４〜Ｓ５０７］では、予測参照情報予測データメモリ２０７を初期化した後［Ｓ５０４］、ブロックblk に隣接する複数のブロックに関して、そのブロックを復号したときに使用した参照フレーム番号ＲＥＦと、参照情報ＭＶと、そのブロックの位置を示す情報ＰＯＳの組｛ＲＥＦ，ＭＶ，ＰＯＳ｝とを予測参照情報予測データメモリ２０７に格納する［Ｓ５０５］。
このとき、ＭＶ，ＲＥＦは、それぞれ、参照情報蓄積メモリ２０８、参照フレーム指定情報蓄積メモリ２１０にブロックインデックス又は画像内の位置に対応付けられて蓄積されているものとする。【０２２５】
なお、ブロックblk に隣接する複数のブロックとしては、例えば、画像を分割した領域をラスタースキャン順に符号化している場合には、上、左、右上で隣接するブロックとすることができる。
本形態実施例では、この３つの隣接ブロックの参照情報を予測参照情報予測データに設定することとする。ただし、該当するブロックが画面の外になるような場合は候補から除外するものとする。【０２２６】
次に、予測参照情報予測データメモリ２０７内の予測参照情報予測データを取り出し、参照情報変更部２０９で変更を加えて、再度予測参照情報予測データメモリ２０７に蓄積する［Ｓ５０６］。ここで行われる処理は後で詳しく説明を行う。【０２２７】
そして、予測参照情報予測データメモリ２０７に蓄積されている複数の参照情報から予測参照情報pmv を生成する［Ｓ５０７］。具体的には、参照情報の成分ごとに予測参照情報予測データの中間値を取ることで予測参照情報pmv を作成する。
つまり、参照情報がＸ−Ｙの２次元のベクトルとして表される場合、成分ごとに、複数の予測参照情報予測データの持つ対応する成分の中間値を求めて、pmv をその成分の値とする。
なお、中間値以外にも平均値や最大値、最小値などを任意の基準のものを用いても構わない。ただし、動画像符号化装置が用いる基準と同じ基準を用いる必要がある。【０２２８】
参照情報変更部２０９で行われるＳ５０６の処理は、既に述べた図３に示した動画像符号化装置１００内の参照情報変更部１１１で行われる図４中に示すＳ１０６の処理と同様である。【０２２９】
つまり、最初に、予測参照情報予測データメモリ２０７に蓄積された全ての予測参照情報予測データに対してFIN を０で初期化し、全てのFIN が１になるまで、図５〜図１２のフローチャートの処理を繰り返し実行する。【０２３０】
ここで、図５は、全ての入力フレーム及び参照フレームが同じカメラから撮影された画像である場合のフローチャートを示す。
また、図６〜図８は、多視点画像が入力され、参照フレームが入力フレームと表示時刻（撮影時刻）が同じ画像か、同じカメラで撮影された画像である場合のフローチャートを示す。
また、図９〜図１２は、多視点画像が入力され、任意の既に符号化済みのフレームを参照フレームとして用いることが出来る場合のフローチャートを示す。復号装置においては、任意の既に復号済みのフレームを参照フレームとして用いることが出来る場合のフローチャートとしてとらえれば良い。【０２３１】
図示実施形態例に従って本発明を説明したが、本発明は、この実施形態例に限られるものではない。【０２３２】
例えば、mv＿tel を生成する方法としては、上述のような最頻値を取るほかに、成分ごとの中間値や平均値で生成する方法を用いてもよい。
ただし、動画像符号化装置側と動画像復号装置側との対応した処理で同じ方法になっている必要がある。【０２３３】
また、実施形態例ではフレーム内符号化については述べていないが、予測画像を作る方法の１つとして、例えば、参照フレーム指定情報として別の番号を割り当てることで容易に追加することができる。
なお、隣接ブロックがフレーム内符号化されているときはＭＶ（参照情報）に０を設定して予測参照情報予測データを生成し、ＴＩＭＥ（）やＶＩＥＷ（）は、他の場合（即ち、フレーム内符号化されていない）には絶対返さないような絶対値の大きな値を返すこととすると、フレーム内符号化が行われているような場合にも、前述のフローチャートで適切に処理可能である。また、参照フレーム指定情報を用いず、Ｈ.264のように別途符号化モードを用意して実現した動画像符号化装置、動画像復号装置も本発明から容易に類推可能である。【０２３４】
以上説明した動画像符号化及び復号の処理は、コンピュータとソフトウェアプログラムとによっても実現することができ、そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも、ネットワークを通して提供することも可能である。【０２３５】
また、以上の実施形態例では動画像符号化装置及び動画像復号装置を中心に説明したが、これら動画像符号化装置及び動画像復号装置の各部の動作に対応したステップによって本発明の動画像符号化方法及び動画像復号方法を実現することができる。【０２３６】
以上、図面を参照して本発明の実施形態例を説明してきたが、以上に説明した実施形態例は本発明の例示に過ぎず、本発明が以上に説明した実施形態例に限定されるものでないことは明らかである。したがって、本発明の精神及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。
【産業上の利用可能性】
【０２３７】
本発明によれば、符号化対象領域に隣接する領域を符号化するときに用いた参照情報を、その参照領域を符号化する際に用いた符号化情報を用いて、符号化対象フレームと符号化対象参照フレームとの時刻及び視点関係に適した参照情報に変換した後に、予測参照情報を生成することによって、複数フレーム間における映像変化の時間的連続性がない場合や、符号化単位領域毎に動き補償と視差補償を選択しながら多視点画像を符号化する場合においても、変換操作の方法を示す付加情報を符号化することなく、符号化対象領域を符号化する際に用いる参照情報と予測参照情報との差を小さくし、フレーム間予符号化のための動きベクトルや視差情報を効率よく符号化することができる。
【図１】
2008053746.tif 000011
【図２】
2008053746.tif 000012
【図３】
2008053746.tif 000013
【図４】
2008053746.tif 000014
【図５】
2008053746.tif 000015
【図６】
2008053746.tif 000016
【図７】
2008053746.tif 000017
【図８】
2008053746.tif 000018
【図９】
2008053746.tif 000019
【図１０】
2008053746.tif 000020
【図１１】
2008053746.tif 000021
【図１２】
2008053746.tif 000022
【図１３】
2008053746.tif 000023
【図１４】
2008053746.tif 000024
【図１５】
2008053746.tif 000025
【図１６】
2008053746.tif 000026
【図１７】
2008053746.tif 000027
【図１８】
2008053746.tif 000028
【図１９】
2008053746.tif 000029
【図２０Ａ】
2008053746.tif 000030
【図２０Ｂ】
2008053746.tif 000031
【図２０Ｃ】
2008053746.tif 000032
【図２０Ｄ】
2008053746.tif 000033
【図２１】
2008053746.tif 000034
【図２２Ａ】
2008053746.tif 000035
【図２２Ｂ】
2008053746.tif 000036
【図２２Ｃ】
2008053746.tif 000037
【図２２Ｄ】
2008053746.tif 000038
【図２３】
2008053746.tif 000039
【国際調査報告】
2008053746.tif 000040
2008053746.tif 000041
2008053746.tif 000042
2008053746.tif 000043