(57)【特許請求の範囲】
【請求項１】
複数の被符号化画像とその撮影位置データを入力とし、前記複数の被符号化画像を撮影位置データの空間に配置した参照画像と参照画像の近傍の画像を予測符号化される予測画像にグループ化する参照予測グループ化手段と、参照画像を符号化する参照画像符号化手段と、再構成参照画像を用いて予測画像を符号化する予測画像符号化手段と、参照関係と符号化データ位置と撮影位置を記述した参照関係テーブルを作成し、参照関係テーブルと符号化データを出力する参照関係テーブル作成手段を備えたことを特徴とする画像符号化装置。
【請求項２】
請求項１に記載の画像符号化装置で符号化されたデータを復号化する画像復号化装置であって、再生すべき画像の要求と、画像が符号化された符号化データと、参照予測関係と撮影位置と符号化データ位置を記述した参照関係テーブルを入力とし、参照関係テーブルから要求される画像の復号化に必要な符号化データを選択する符号化データ選択手段と、符号化データを復号化し、再構成参照画像を出力する参照画像復号化手段と、符号化データを復号化し再構成予測画像を出力する予測画像復号化手段を備えたことを特徴とする画像復号化装置。
【請求項３】
撮影位置と、参照画像符号化データ位置と予測画像符号化データ位置を記述したデータ位置テーブルと、予測画像符号化データについては、参照画像に対する変形情報とこの変形情報を用いて変形された画像に対する残差情報で構成されることを特徴とする符号化データを入力とし、再生すべき画像要求を逐次監視する画像要求監視手段と、画像要求と画像復号化状況とデータ位置テーブルと符号化データから、復号化する符号化データと出力画像を選択する符号化データ選択手段と、符号化データから再構成参照画像を復号化する再構成参照画像復号化手段と、再構成参照画像と符号化データの変形情報から変形参照画像を復号化する変形参照画像復号化手段と、変形画像と符号化データの残差情報から再構成予測画像を復号化する再構成予測画像復号化手段を備え、画像要求が参照画像の場合には再構成参照画像復号化手段の出力を、画像要求が予測画像の場合には変形参照画像復号化手段または再構成予測画像復号化手段の出力を選択的に出力することを特徴とする画像復号化装置。
【請求項４】
請求項１に記載の画像符号化装置で符号化されたデータを復号化する画像復号化装置であって、再生すべき画像の要求と、撮影位置と参照画像符号化データ位置と予測画像符号化データ位置を記述したデータ位置テーブルと、画像が符号化された符号化データを入力とし、復号化する符号化データを選択する符号化データ選択手段と、符号化データから参照画像を復号化する参照画像復号化手段と、再構成された参照画像を複数枚蓄積する再構成参照画像群蓄積手段と、符号化データから予測画像を復号化する予測画像復号化手段と、再構成された予測画像を複数枚蓄積する再構成予測画像群蓄積手段と、要求された再生すべき画像の撮影位置と蓄積された画像の撮影位置との距離を計算し、当該距離が最も大きい蓄積画像を削除することで前記再構成参照画像群蓄積手段と構成予測画像群蓄積手段に蓄積されている画像量を一定量以下に保つ画像蓄積検査手段を備え、前記復号処理済みの蓄積されている画像から再生画像を出力することを特徴とする画像復号化装置。
【請求項５】
請求項１に記載の画像符号化装置で符号化されたデータを復号化する画像復号化装置であって、撮影位置と参照画像符号化データ位置と予測画像符号化データ位置を記述したデータ位置テーブルと、符号化データを入力とし、再生すべき画像の要求を逐次監視し、画像要求を出力する画像要求監視手段と、現在の画像要求が前回の画像要求と等しい場合又は蓄積画像に現在の画像要求が存在する場合には復号化せず、現在の画像要求が前回の画像要求とが異なる場合で蓄積画像に現在の画像要求が存在しない場合には復号化するように、新たに復号化する符号化データを選択する符号化データ選択手段と、撮影位置に関して現在の画像要求の近傍の画像の符号化データを選択する予測符号化データ選択手段と、符号化データを参照画像に復号化する参照画像復号化手段と、符号化データを予測画像に復号化する予測画像復号化手段と、復号化された参照画像を蓄積する再構成参照画像群蓄積手段と、復号化された予測画像を蓄積する再構成予測画像群蓄積手段とを有し、画像要求を監視し再生する一方で、現在の画像要求近傍の画像の符号化データを選択し復号を行なうことを特徴とする画像復号化装置。
【請求項６】
複数の被符号化画像と画像撮影位置データを入力とし、前記複数の被符号化画像を撮影位置データの空間で配置した参照画像と、参照画像の近傍の画像を予測される予測画像にグループ化する参照予測グループ化手段と、参照画像と予測画像の間の変形拘束式を推定する変形拘束式推定手段と、参照画像を符号化する参照画像符号化手段と、変形拘束式に基づいて変形を拘束して予測画像を符号化する拘束予測画像符号化手段、参照予測グループの参照関係と符号化データ位置を記述した参照関係テーブルを作成し、参照関係テーブルと符号化データを出力する参照関係テーブル作成手段を備えたことを特徴とする画像符号化装置。
【請求項７】
請求項６に記載の画像符号化装置で符号化されたデータを復号化する画像復号化装置であって、再生すべき画像の要求と、画像が符号化された符号化データと、参照予測関係と撮影位置と符号化データ位置を記述した参照関係テーブルを入力とし、参照関係テーブルから要求される画像の復号化に必要な符号化データを選択する符号化データ選択手段と、参照画像符号化データを復号化し、再構成参照画像を出力する参照画像復号化手段と、変形拘束式に基づいて変形を拘束して予測画像符号化データを復号化し再構成予測画像を出力する拘束予測画像復号化手段を備えたことを特徴とする画像復号化装置。
【請求項８】
複数の被符号化画像とその撮影位置データと光源位置データを入力とし、前記複数の被符号化画像を撮影位置データと光源位置データの空間に配置した参照画像と参照画像の近傍の画像を予測符号化される予測画像にグループ化する参照予測グループ化手段と、参照画像を符号化する参照画像符号化手段と、再構成参照画像を用いて予測画像を符号化する予測画像符号化手段と、参照関係と符号化データ位置と撮影位置を記述した参照関係テーブルを作成し、参照関係テーブルと符号化データを出力する参照関係テーブル作成手段を備えたことを特徴とする画像符号化装置。
【請求項９】
再生すべき画像の要求と、画像が符号化された符号化データと、参照予測関係と撮影位置と光源位置と符号化データ位置を記述した参照関係テーブルを入力とし、参照関係テーブルから要求される画像の復号化に必要な符号化データを選択する符号化データ選択手段と、符号化データを復号化し、再構成参照画像を出力する参照画像復号化手段と、符号化データを復号化し再構成予測画像を出力する予測画像復号化手段を備えたことを特徴とする画像復号化装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画像の伝送・蓄積のための画像符号化装置と画像復号化装置に関するものである。
【０００２】
【従来の技術】
従来、３次元物体を計算機上で表現する際、物体の形状情報や表面の材質情報を計算機に入力し、見え方を計算し、シュミレーションする手法が取られているが、複雑な形状や細かな質感を表現するには、多くのデータを入力する必要があり、シュミレーションの計算量も膨大なものとなる。
【０００３】
一方、より小さい計算量で３次元物体を表現するために、イメージベースドレンダリング（Image-BasedRendering）と呼ばれる、多くの視点からの画像をあらかじめ撮影・蓄積・伝送しておき、それらを要求に応じて表示する手法も取られている（「クイックタイム  ブイアール」（S. E. Chen、 "QuickTime VR -- An Image-Based Approach  to Virtual Environment Navigation "、 SIGGRAPH'90、 pp. 29--38、 1990））。
【０００４】
【発明が解決しようとする課題】
Image-Based Rendering の手法では、多くの要求に応えるために、多くの視点からの画像をあらかじめ撮影しておくため、膨大なデータ量を蓄積・伝送しなければならない、これらのデータは画像として約１万枚、約２．４ギガバイトを越えることもある。したがって、これらの膨大なデータ量を、効率的に蓄積・伝送することが課題となっている。
【０００５】
本発明は、従来のこのような課題を考慮し、蓄積・伝送すべき多数の画像の中から少数の代表画像を選び、各代表画像で複数枚の画像を表現し、その依存関係を付加することによって、効率的に複数の画像を符号化する画像符号化装置や、段階的な復号化や、次の要求の予測を行うことによって効率的に画像を符号化または復号化する方式とその装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
第一の発明は、複数の被符号化画像とその撮影位置データを入力とし、前記複数の被符号化画像を撮影位置データの空間に配置した参照画像と参照画像の近傍の画像を予測符号化される予測画像にグループ化する参照予測グループ化手段と、参照画像を符号化する参照画像符号化手段と、再構成参照画像を用いて予測画像を符号化する予測画像符号化手段と、参照関係と符号化データ位置と撮影位置を記述した参照関係テーブルを作成し、参照関係テーブルと符号化データを出力する参照関係テーブル作成手段を備えたことを特徴とする画像符号化装置である。
【０００７】
第２の発明は、第一の発明の画像符号化装置で符号化されたデータを復号化する画像復号化装置であって、再生すべき画像の要求と、画像が符号化された符号化データと、参照予測関係と撮影位置と符号化データ位置を記述した参照関係テーブルを入力とし、参照関係テーブルから要求される画像の復号化に必要な符号化データを選択する符号化データ選択手段と、符号化データを復号化し、再構成参照画像を出力する参照画像復号化手段と、符号化データを復号化し再構成予測画像を出力する予測画像復号化手段を備えたことを特徴とする画像復号化装置である。
【０００８】
第３の発明は、撮影位置と、参照画像符号化データ位置と予測画像符号化データ位置を記述したデータ位置テーブルと、予測画像符号化データについては、参照画像に対する変形情報とこの変形情報を用いて変形された画像に対する残差情報で構成されることを特徴とする符号化データを入力とし、再生すべき画像要求を逐次監視する画像要求監視手段と、画像要求と画像復号化状況とデータ位置テーブルと符号化データから、復号化する符号化データと出力画像を選択する符号化データ選択手段と、符号化データから再構成参照画像を復号化する再構成参照画像復号化手段と、再構成参照画像と符号化データの変形情報から変形参照画像を復号化する変形参照画像復号化手段と、変形画像と符号化データの残差情報から再構成予測画像を復号化する再構成予測画像復号化手段を備え、画像要求が参照画像の場合には再構成参照画像復号化手段の出力を、画像要求が予測画像の場合には変形参照画像復号化手段または再構成予測画像復号化手段の出力を選択的に出力することを特徴とする画像復号化装置である。
【０００９】
第４の発明は、第一の発明の画像符号化装置で符号化されたデータを復号化する画像復号化装置であって、再生すべき画像の要求と、撮影位置と参照画像符号化データ位置と予測画像符号化データ位置を記述したデータ位置テーブルと、画像が符号化された符号化データを入力とし、復号化する符号化データを選択する符号化データ選択手段と、符号化データから参照画像を復号化する参照画像復号化手段と、再構成された参照画像を複数枚蓄積する再構成参照画像群蓄積手段と、符号化データから予測画像を復号化する予測画像復号化手段と、再構成された予測画像を複数枚蓄積する再構成予測画像群蓄積手段と、要求された再生すべき画像の撮影位置と蓄積された画像の撮影位置との距離を計算し、当該距離が最も大きい蓄積画像を削除することで前記再構成参照画像群蓄積手段と構成予測画像群蓄積手段に蓄積されている画像量を一定量以下に保つ画像蓄積検査手段を備え、前記復号処理済みの蓄積されている画像から再生画像を出力することを特徴とする画像復号化装置である。
【００１０】
第５の発明は、第一の発明の画像符号化装置で符号化されたデータを復号化する画像復号化装置であって、撮影位置と参照画像符号化データ位置と予測画像符号化データ位置を記述したデータ位置テーブルと、符号化データを入力とし、再生すべき画像の要求を逐次監視し、画像要求を出力する画像要求監視手段と、現在の画像要求が前回の画像要求と等しい場合又は蓄積画像に現在の画像要求が存在する場合には復号化せず、現在の画像要求が前回の画像要求とが異なる場合で蓄積画像に現在の画像要求が存在しない場合には復号化するように、新たに復号化する符号化データを選択する符号化データ選択手段と、撮影位置に関して現在の画像要求の近傍の画像の符号化データを選択する予測符号化データ選択手段と、符号化データを参照画像に復号化する参照画像復号化手段と、符号化データを予測画像に復号化する予測画像復号化手段と、復号化された参照画像を蓄積する再構成参照画像群蓄積手段と、復号化された予測画像を蓄積する再構成予測画像群蓄積手段とを有し、画像要求を監視し再生する一方で、現在の画像要求近傍の画像の符号化データを選択し復号を行なうことを特徴とする画像復号化装置である。
【００１１】
第６の発明は、複数の被符号化画像と画像撮影位置データを入力とし、前記複数の被符号化画像を撮影位置データの空間で配置した参照画像と、参照画像の近傍の画像を予測される予測画像にグループ化する参照予測グループ化手段と、参照画像と予測画像の間の変形拘束式を推定する変形拘束式推定手段と、参照画像を符号化する参照画像符号化手段と、変形拘束式に基づいて変形を拘束して予測画像を符号化する拘束予測画像符号化手段、参照予測グループの参照関係と符号化データ位置を記述した参照関係テーブルを作成し、参照関係テーブルと符号化データを出力する参照関係テーブル作成手段を備えたことを特徴とする画像符号化装置である。
【００１２】
第７の発明は、第６の発明の画像符号化装置で符号化されたデータを復号化する画像復号化装置であって、再生すべき画像の要求と、画像が符号化された符号化データと、参照予測関係と撮影位置と符号化データ位置を記述した参照関係テーブルを入力とし、参照関係テーブルから要求される画像の復号化に必要な符号化データを選択する符号化データ選択手段と、参照画像符号化データを復号化し、再構成参照画像を出力する参照画像復号化手段と、変形拘束式に基づいて変形を拘束して予測画像符号化データを復号化し再構成予測画像を出力する拘束予測画像復号化手段を備えたことを特徴とする画像復号化装置。
【００１３】
第８の発明は、複数の被符号化画像とその撮影位置データと光源位置データを入力とし、前記複数の被符号化画像を撮影位置データと光源位置データの空間に配置した参照画像と参照画像の近傍の画像を予測符号化される予測画像にグループ化する参照予測グループ化手段と、参照画像を符号化する参照画像符号化手段と、再構成参照画像を用いて予測画像を符号化する予測画像符号化手段と、参照関係と符号化データ位置と撮影位置を記述した参照関係テーブルを作成し、参照関係テーブルと符号化データを出力する参照関係テーブル作成手段を備えたことを特徴とする画像符号化装置である。
【００１４】
第９の発明は、再生すべき画像の要求と、画像が符号化された符号化データと、参照予測関係と撮影位置と光源位置と符号化データ位置を記述した参照関係テーブルを入力とし、参照関係テーブルから要求される画像の復号化に必要な符号化データを選択し、符号化データを復号化し再構成参照画像を出力し、符号化データを復号化し再構成予測画像を出力することを特徴とする画像復号化装置である。
【００１５】
第１の発明に基づく画像符号化装置では、参照予測グループ化手段が、入力である複数の被符号化画像とその撮影位置データから被符号化画像を参照画像と参照画像から予測符号化される予測画像からなる複数のグループに分ける。参照画像は参照画像符号化手段により符号化され、その再構成画像を用いて予測画像符号化手段が予測画像を符号化する。そして、参照関係テーブル作成手段が、参照画像に対する予測画像の参照関係、符号化データ位置、撮影位置を記述した参照関係テーブルを作成し、参照関係テーブルと符号化データを出力する。
【００１６】
第２の発明に基づく画像復号化装置では、再生すべき画像の要求、画像符号化データおよび参照予測関係、撮影位置、符号化データ位置を記述した参照関係テーブルを入力とする。符号化データ選択手段は、要求される画像の復号化に必要な符号化データを参照関係テーブルに基づいて選択する。
【００１７】
選択された符号化データが参照画像であれば、参照画像復号化手段により復号化され、再構成参照画像として出力される。また選択された符号化データが予測画像データであれば、予測画像復号化手段により復号化され再構成予測画像として出力される。
【００１８】
第３の発明に基づく画像復号化装置では、撮影位置と参照画像符号化データ位置と予測画像符号化データ位置を記述したデータ位置テーブルと、予測画像符号化データについては、参照画像に対する変形情報とこの変形情報を用いて変形された画像に対する残差情報で構成されることを特徴とする符号化データを入力とする。画像要求監視手段は再生すべき画像要求を逐次監視する。符号化データ選択手段は、画像要求と画像復号化状況に応じてデータ位置テーブルと符号化データから、復号化すべき符号化データを選択する。
【００１９】
選択された符号化データが参照画像データであれば、再構成参照画像復号化手段がその符号化データから再構成参照画像を復号化する。また選択された符号化データが予測画像データであれば、変形参照画像復号化手段または再構成予測画像復号化手段が予測画像データを復号する。変形参照画像復号化手段によれば、再構成参照画像と符号化データの変形情報から変形参照画像が復元され、再構成予測画像復号化手段によれば、変形画像と符号化データの残差情報から再構成予測画像が復元される。再構成参照画像復号化手段と変形参照画像復号化手段および再構成予測画像復号化手段の出力は、画像要求と画像復号化状況に応じてデータ位置テーブルにより選択的に出力されることになる。
【００２０】
第４の発明に基づく画像復号化装置では、再生すべき画像の要求と、撮影位置と参照画像符号化データ位置と予測画像符号化データ位置を記述したデータ位置テーブルと、画像が符号化された符号化データを入力とする。
【００２１】
符号化データ選択手段は再生すべき画像の要求を入力として復号化べき符号化データを選択する。選択された符号化データが参照画像データであれば、参照画像復号化手段が、選択された符号化データが予測画像データであれば、予測画像復号化手段が画像の再構成を行ない、その結果はそれぞれ再構成参照画像群蓄積手段と再構成予測画像群蓄積手段に蓄積される。この時、画像蓄積検査手段が、再生すべき画像の要求に応じて蓄積すべき画像の撮影位置を計算し、前記再構成参照画像群蓄積手段と再構成予測画像群蓄積手段に蓄積されている画像量を一定量以下に保つよう廃棄する蓄積画像を決定する。出力画像は復号処理済みの蓄積されている画像から選択されて出力される。
【００２２】
第５の発明に基づく画像復号化装置では、撮影位置と参照画像符号化データ位置と予測画像符号化データ位置を記述したデータ位置テーブルと、符号化データを入力とする。画像要求監視手段は、再生すべき画像の要求を逐次監視し、画像要求を出力する。符号化データ選択手段は、現在の画像要求と前回の画像要求と既に復号化され蓄積された画像の情報から、新たに復号化する符号化データを選択する。その一方で、予測符号化データ選択手段は、撮影位置に関して現在の画像要求近傍の画像の符号化データを選択する。以上の二つの選択手段で選ばれた符号化データは選択された符号化データが参照画像データであれば、参照画像復号化手段が、選択された符号化データが予測画像データであれば、予測画像復号化手段が画像の再構成を行ない、その結果はそれぞれ再構成参照画像群蓄積手段と再構成予測画像群蓄積手段に蓄積される。
【００２３】
このように、画像要求を監視し再生する一方で、現在の画像要求近傍の画像の符号化データを選択し復号を行ない、画像を出力する。
【００２４】
第６の発明に基づく画像符号化装置は、複数の被符号化画像と画像撮影位置データを入力とする。参照予測グループ化手段では、前記複数の被符号化画像を、参照画像と、参照画像から予測される予測画像にグループ化する。変形拘束式推定手段では、参照画像と予測画像の間の変形拘束式を推定する。
【００２５】
参照画像符号化手段では、参照画像を符号化する。拘束予測画像符号化手段では、変形拘束式に基づいて変形を拘束して予測画像を符号化する。参照関係テーブル作成手段では、参照予測グループの参照関係と符号化データ位置を記述した参照関係テーブルを作成し、参照関係テーブルと符号化データを出力する。
【００２６】
第７の発明に基づく画像復号化装置では、再生すべき画像の要求と、画像が符号化された符号化データと、参照予測関係と撮影位置と符号化データ位置を記述した参照関係テーブルを入力とする。符号化データ選択手段では、参照関係テーブルから要求される画像の復号化に必要な符号化データを選択する。参照画像復号化手段では、参照画像符号化データを復号化し、再構成参照画像を出力する。拘束予測画像復号化手段では、変形拘束式に基づいて変形を拘束して予測画像符号化データを復号化し再構成予測画像を出力する。
【００２７】
第８の発明に基づく画像符号化装置では、複数の被符号化画像とその撮影位置データと光源位置データを入力とする。参照予測グループ化手段では、前記複数の被符号化画像を参照画像と参照画像から予測符号化される予測画像にグループ化する。参照画像符号化手段では、参照画像を符号化する。予測画像符号化手段では、再構成参照画像を用いて予測画像を符号化する。参照関係テーブル作成手段では、参照関係と符号化データ位置と撮影位置を記述した参照関係テーブルを作成し、参照関係テーブルと符号化データを出力する。
【００２８】
第９の発明に基づく画像復号化装置では、再生すべき画像の要求と、画像が符号化された符号化データと、参照予測関係と撮影位置と光源位置と符号化データ位置を記述した参照関係テーブルを入力とする。
【００２９】
符号化データ選択手段では、参照関係テーブルから要求される画像の復号化に必要な符号化データを選択する。参照画像復号化手段では、符号化データを復号化し、再構成参照画像を出力する。予測画像復号化手段では、符号化データを復号化し再構成予測画像を出力する。
【００３０】
【発明の実施の形態】
以下、本発明にかかる実施の形態について図面を参照しながら説明する。
【００３１】
図１は本発明の第１の実施の形態である画像符号化装置の構成を示すブロック図であり、同図を用いて本実施の形態の構成を説明する。
【００３２】
同図において、撮影位置制御型画像撮像部（１０１）は、対象物体の画像を撮影し、その撮影位置データと画像データを出力する。参照予測グループ部（１０５）は、撮影位置データと画像データを参照画像と一枚以上の予測画像からなる参照予測グループにグループ化し、参照画像を参照画像符号化部（１０６）に出力し、予測画像を予測画像符号化部（１０８）に出力する。
【００３３】
参照画像符号化部（１０６）は、参照画像を符号化し、再構成参照画像を作成し、符号化データを参照関係作成部（１０９）に出力し、再構成参照画像を再構成参照画像蓄積部（１０７）に出力する。再構成参照画像蓄積部（１０７）は、再構成参照画像を蓄積し、予測画像符号化部（１０８）に再構成参照画像を出力する。
【００３４】
予測画像符号化部（１０８）は、予測画像を符号化し、符号化データを参照関係作成部（１０９）に出力する。参照関係テーブル作成部（１０９）は、符号化データから参照関係と符号化データ位置と撮影位置を記述した参照関係テーブルを作成し、参照関係テーブルと符号化データをデータ記録・伝送部（１１０）に出力する。データ記録・伝送部（１１０）は、用途に応じて記録・伝送する。
【００３５】
以上のように構成された本実施の形態の画像符号化装置の動作を説明する。
まず、撮影位置制御型画像撮像部（１０１）では、対象物体の周囲を網羅するように、異なる視点から画像を撮影する。計算機によってサーボモータ（１０２）を対象物体の正面から水平方向にρ度、水平面から垂直方向にθ度の位置にカメラ（１０３）を移動させ、撮影位置・画像データを計算機（１０４）によって取得する。画像データは、クロマキーによって対象物体を背景と分離し、透過度情報を示すアルファプレーンを付加し、輝度プレーン（２０１）、色差１プレーン（２０２）、色差２プレーン（２０３）、アルファプレーン（２０４）で構成する。
【００３６】
ここで、ρ，θは、
【００３７】
【数１】
0004013286.tif 000002
【００３８】
とする。このように取得された撮影位置・画像データは、図３に示すように、各画像データの先頭に水平方向撮影角度ρと、垂直方向撮影角度θを付加した書式で出力される。
【００３９】
参照予測グループ化部（１０５）では、参照画像（４０１）によって類似した画像を予測画像（４０２）として予測符号化するために、ρ−θ空間において等間隔に参照画像を配置し、参照画像の近傍の画像をその参照画像より予測される予測画像にグループ化するため、撮影位置Ｐ＝（ρ，θ）を用いて、以下のように画像それぞれに参照画像か予測画像のフラグｆ（Ｐ）を割り当てる。
【００４０】
【数２】
0004013286.tif 000003
【００４１】
さらに、以下のようにインデックスｎ（Ｐ）を割り当てる。
【００４２】
【数３】
0004013286.tif 000004
【００４３】
以上において、Ｑ＝（Ｓｎ，Ｓｍ）である。Ｓは参照画像間の間隔でありＳ＝５である。「・」は、・を越えない整数を表わす。また、水平方向撮影位置で折り返すため、
【００４４】
【数４】
0004013286.tif 000005
【００４５】
とすると、
【００４６】
【数５】
0004013286.tif 000006
【００４７】
である。これらを、インデックス順に図５の示す書式で、参照画像は参照画像符号化部（１０６）へ、予測画像は予測画像符号化部（１０７）へ出力する。
【００４８】
参照画像符号化部（１０６）では、参照画像をその画像データのみで符号化もしくは、その符号化データのみで復号化出来るよう復号化しておく、アルファプレーンを含んだ、そのような符号化する方法には、ＭＰＥＧ４（MPEG Video Group、"MPEG-4 Video Verification Model Version 5.0"、ISO/IEC JTC1/SC29/WG11 Document N1469、 1996）で標準化が進められている動画像符号化方法のＩ−ＰＩＣＴＵＲＥ符号化方式がある。
【００４９】
この方法を用いて、参照画像符号化部（１０６）で参照画像を符号化し、符号化データを参照関係テーブル作成部（１０９）に出力し、参照画像の再構成画像を作成し、再構成参照画像蓄積部（１０７）に出力する。図６に参照画像符号化部（１０６）のフローチャートを示す。
【００５０】
再構成参照画像蓄積部（１０７）では、再構成参照画像を蓄積しておき、予測画像符号化部（１０８）に出力する。参照予測グループ化部（１０５）において、図５のように参照画像と予測画像が整列されて出力されるので、再構成参照画像蓄積部（１０８）は、画像１枚分の容量を持っていれば十分である。
【００５１】
予測画像符号化部（１０８）では、予測画像を再構成参照画像を用いて符号化する。参照画像と同様に、アルファプレーンを含んだ予測画像符号化方法には、ＭＰＥＧ４による動画像符号化のＰ−ＰＩＣＴＵＲＥ符号化方式がある。この方法を用いて予測画像を符号化し、符号化データを参照関係テーブル作成部（１０９）に出力する。図７に参照画像符号化部（１０６）のフローチャートを示す。
【００５２】
参照関係テーブル作成部（１０９）では、各符号化部より出力された図８のようなデータを順に走査し、図９のような参照関係テーブルと図１０のような符号化データを作成し、データ記録・伝送部（１１０）に出力する。
【００５３】
データ記録・伝送部（１１０）では、参照関係テーブルと符号化データを磁気ディスクや光ディスクに蓄積しておいたり、ネットワークなどで伝送する。
【００５４】
以上のように、本実施の形態では、異なる多くの視点から撮影された多視点画像を、撮影位置データが近傍の類似した画像である参照画像と１枚以上の予測画像にグループ化し、効率よく符号化することが可能である。さらに、画像を各参照予測グループで参照画像が先頭になるように整列して、符号化手段に出力することで、計算量と計算に必要な蓄積容量を少なくしている。また、その整列順に符号化データ位置を格納したテーブルを付加することで、ランダムアクセスに対応した効率的な復号化が可能である。
【００５５】
図１１は本発明の第２の実施の形態である画像復号化装置の構成を示すブロック図であり、同図を用いて本実施の形態の構成を説明する。
【００５６】
同図において、データ記憶・伝送部（１１０１）では、参照関係テーブルと符号化データを蓄積・伝送し、参照テーブルと符号化データを符号化データ選択部（１１０２）に出力する。符号化データ選択部（１１０２）では、参照関係テーブルからデータの位置を検索し、符号化データから必要なデータを参照画像復号化部（１１０３）や予測画像復号化部（１１０５）に出力する。参照画像復号化部（１１０３）では、参照画像符号化データを復号化し、再構成参照画像を再構成参照画像蓄積部（１１０４）に出力し、必要なら画像表示手段（１１０６）にも出力する。
【００５７】
再構成参照画像蓄積部（１１０５）は、再構成参照画像を蓄積し、予測画像復号化部（１１０５）に出力する。予測画像復号化部（１１０５）では、予測画像符号化データを復号化し、再構成予測画像を画像表示部（１００６）に出力する。画像表示部（１１０６）は入力された画像を蓄積しておき、要求により表示する。
【００５８】
以上のように構成された本実施の形態の画像復号化装置の動作を説明する。
データ記憶・伝送部（１１０１）では、参照関係テーブルと符号化データを蓄積・伝送し、参照テーブルと符号化データを符号化データ選択部（１１０２）に出力する。
【００５９】
符号化データ選択部（１１０２）では、参照関係テーブルから符号化データ位置を検索し、データ記憶・伝送部（１１０１）から、符号化データ位置の符号化データを取得する。参照／予測フラグと参照符号化データを、参照画像復号化部（１１０３）に出力し、予測符号化データがあれば、予測画像復号化部（１１０５）に出力する。但し、参照画像復号化部（１１０３）に出力する参照符号化データが前回と同じ場合は、参照画像はすでに復号化され、蓄積されているので、参照画像復号化部（１１０３）への出力は省略する。参照画像復号化部（１１０３）では、参照画像が符号化された参照符号化データを復号化し、再構成参照画像を再構成参照画像蓄積部（１１０４）に出力する。
【００６０】
また、参照／予測フラグにおいて、参照画像であれば、画像表示部（１００６）に再構成参照画像を出力する。再構成参照画像蓄積部（１１０４）では、再構成された参照画像を蓄積し、予測画像復号化部（１１０５）に出力する。
【００６１】
予測画像復号化部（１１０５）では、予測画像が符号化された予測符号化データを再構成参照画像を用いて復号化し、画像表示部（１１０６）に再構成予測画像を出力する。
【００６２】
画像表示部（１１０６）では、復号化された画像を蓄積しておき、計算機に接続されたマウスにより検索し、表示する。
【００６３】
以上のように、本実施の形態では、多くの異なる視点から撮影した画像を、撮影位置が近傍の画像をグループ化し、グループを予測符号化された符号化データを、その参照予測関係と符号化データ位置と撮影位置を記述したテーブルを用いることにより、効率的に復号化することが可能である。
【００６４】
また、参照関係テーブルはグループ順に記述されているので、同一参照予測グループ内が連続的に復号化されるので、再構成参照画像を蓄積しておき、予測符号化データを復号化するだけで、効率的に画像を復号化することが可能である。
【００６５】
図１２は本発明の第３の実施の形態である画像復号化装置の構成を示すブロック図であり、同図を用いて本実施の形態の構成を説明する。
【００６６】
同図において、データ記憶・伝送部（１２０１）では、参照関係テーブルと符号化データを蓄積・伝送し、参照テーブルをランダムアクセステーブル作成部（１２０２）に出力し、符号化データを符号化データ選択部（１２０３）に出力する。画像要求部（１２０４）では、要求する画像の撮影位置を符号化データ選択部（１２０３）に出力する。ランダムアクセステーブル作成部（１２０２）では、撮影位置から符号化データに効率的にランダムアクセスできるように、テーブルを変更する。
【００６７】
符号化データ選択部（１２０３）では、画像要求に基づいて、ランダムアクセステーブルから、必要なデータの位置を検索し、符号化データから必要なデータを参照画像復号化部（１２０５）や予測画像復号化部（１２０７）に出力する。参照画像復号化部（１２０５）では、参照画像符号化データを復号化し、再構成参照画像を再構成参照画像蓄積部（１２０６）に出力し、必要なら画像表示部（１２０８）にも出力する。
【００６８】
再構成参照画像蓄積部（１２０６）は、再構成参照画像を蓄積し、予測画像復号化部（１２０７）に出力する。予測画像復号化部（１２０７）では、予測画像符号化データを復号化し、再構成予測画像を画像表示部（１２０７）に出力する。画像表示部（１２０８）は入力された画像を表示する。
【００６９】
以上のように構成された本実施の形態の画像復号化装置の動作を説明する。
データ記憶・伝送部（１２０１）では、参照関係テーブルと符号化データを蓄積・伝送し、参照テーブルをランダムアクセステーブル作成部（１２０２）に出力する。また、符号化データ選択部（１２０３）の要求により、符号化データを符号化データ選択部（１２０３）に出力する。
【００７０】
画像要求部（１２０４）では、計算機に接続されたマウスを操作することによって、ユーザが見たい視点位置を指定し、その視点位置に対応する撮影位置を符号化データ選択部（１２０３）に出力する。
【００７１】
ランダムアクセステーブル作成部（１２０２）では、図９に示す参照関係テーブルを、撮影位置から符号化データ位置を効率的に検索できるよう、ランダムアクセステーブルを作成する。図９中の参照ヘッダと予測ヘッダは、図１３のようなランダムアクセスヘッダ（Ｎバイト）に変換され、撮影位置（ρ，θ）のランダムアクセスヘッダはランダムアクセステーブルの先頭から、
【００７２】
【数６】
0004013286.tif 000007
【００７３】
の位置に配置し、図１４に示すランダムアクセステーブルを作成する。
ただし、参照画像の場合、予測符号化データ位置の欄は空欄にしておく。
【００７４】
符号化データ選択部（１２０３）では、要求画像の撮影位置データ（α，β）を用いて、ランダムアクセステーブルの先頭から、
【００７５】
【数７】
0004013286.tif 000008
【００７６】
の位置のランダムアクセスヘッダを検索し、データ記憶・伝送手段（１２０１）から、符号化データ位置の符号化データを取得する。参照／予測フラグと参照符号化データは、参照画像復号化部（１２０５）に出力し、予測符号化データがあれば、予測画像復号化部（１２０７）に出力する。
【００７７】
ただし、参照画像復号化部（１２０５）に出力する参照符号化データが前回と同じ場合は、参照画像はすでに復号化され、蓄積されているので、参照画像復号化部（１２０５）への出力は省略する。
【００７８】
参照画像復号化部（１２０５）では、参照画像が符号化された参照符号化データを復号化し、再構成参照画像を再構成参照画像蓄積部（１２０６）に出力する。また、参照／予測フラグにおいて、参照画像であれば、画像表示部（１２０８）に再構成参照画像を出力する。
【００７９】
再構成参照画像蓄積部（１２０６）では、再構成された参照画像を蓄積し、予測画像復号化部（１２０７）に出力する。
【００８０】
予測画像復号化部（１１０７）では、予測画像が符号化された予測符号化データを再構成参照画像を用いて復号化し、画像表示部（１２０８）に再構成予測画像を出力する。画像表示部（１２０８）では、入力された画像を表示する。
【００８１】
以上のように、本実施の形態では、多くの異なる視点から撮影した画像を、撮影位置が近傍の画像をグループ化し、効率的に予測符号化し、その参照予測関係と符号化データ位置と撮影位置を記述したテーブルを付加することにより、任意の撮影位置の画像を効率的に検索、復号化、表示することが可能である。また、連続的に要求される画像は、撮影位置が近傍のものが多く、同一参照予測グループ内である場合が多く、再構成参照画像を蓄積しておくことで、予測符号化データを復号化するだけで、効率的に画像を復号化、表示することが可能である。
【００８２】
図１５は本発明の第４の実施の形態である画像符号化装置の構成を示すブロック図であり、同図を用いて本実施の形態の構成を説明する。
【００８３】
同図において、撮影位置制御型画像撮像部（１５０１）は、対象物体の画像を撮影し、その撮影位置データと画像データを出力する。参照予測グループ部（１５０２）は、撮影位置データと画像データを画像データを参照画像と一枚以上の予測画像からなる参照予測グループにグループ化し、参照画像を参照画像符号化部（１５０３）に出力し、予測画像を予測画像符号化部（１５０５）に出力する。参照画像符号化部（１５０３）は、参照画像を符号化し、再構成参照画像を作成し、符号化データを参照関係テーブル作成部（１５０６）に出力し、再構成参照画像を再構成参照画像蓄積部（１５０４）に出力する。再構成参照画像蓄積部（１５０４）は、再構成参照画像を蓄積し、予測画像符号化部（１５０５）に再構成参照画像を出力する。予測画像符号化部（１５０５）は、予測画像を符号化し、符号化データを参照関係テーブル作成部（１５０６）に出力する。参照関係テーブル作成部（１５０６）は、符号化データから参照関係と符号化データ位置と撮影位置を記述した参照関係テーブルを作成し、参照関係テーブルと符号化データをランダムアクセステーブル作成部（１５０７）に出力する。
【００８４】
ランダムアクセステーブル作成部（１５０７）では、撮影位置から符号化データに効率的にランダムアクセスできるように、テーブルを変更し、ランダムアクセステーブルと符号化データをデータ記録・伝送部（１５０８）に出力する。データ記録・伝送部（１５０８）は、用途に応じて記録・伝送する。
【００８５】
以上のように構成された本実施の形態の画像符号化装置の動作を説明する。
まず、画像位置制御型画像撮像部（１５０１）は、画像位置制御型画像撮影部（１０１）と同様である。参照予測グループ化部（１５０２）は、参照予測グループ化部（１０５）と同様である。参照画像符号化部（１５０３）は、参照画像符号化部（１０６）と同様である。再構成参照画像蓄積部（１５０４）は、再構成参照画像蓄積部（１０７）と同様である。予測画像符号化部（１５０５）は、予測画像符号化部（１０８）と同様である。参照関係テーブル作成部（１５０６）は、参照関係テーブル作成部（１０９）と同様である。
【００８６】
ランダムアクセステーブル作成部（１５０７）は、ランダムアクセステーブル作成部（１２０２）と同様に、ランダムアクセステーブルを作成し、データ記録・伝送部（１１０）に符号化データとランダムアクセステーブルを出力する。
【００８７】
データ記録・伝送部（１１０）では、ランダムアクセステーブルと符号化データを磁気ディスクや光ディスクに蓄積しておいたり、ネットワークなどで伝送する。
【００８８】
以上のように、本実施の形態では、異なる多くの視点から撮影された多視点画像を、撮影位置データが近傍の類似した画像である参照画像と１枚以上の予測画像にグループ化し、効率よく符号化することが可能である。さらに、画像を各参照予測グループで参照画像が先頭になるように整列して、符号化手段に出力することで、計算量と計算に必要な蓄積容量を少なくしている。また、その撮影位置順に符号化データ位置を格納したテーブルを付加することで、ランダムアクセスに対応した効率的な復号化が可能である。
【００８９】
図１６は本発明の第５の実施の形態である画像復号化装置の構成を示すブロック図であり、同図を用いて本実施の形態の構成を説明する。
【００９０】
同図において、データ記憶・伝送部（１６０１）では、ランダムアクセステーブルと符号化データを蓄積・伝送し、ランダムアクセステーブルと符号化データを符号化データ選択部（１６０２）に出力する。画像要求部（１６０３）では、要求する画像の撮影位置を符号化データ選択部（１６０２）に出力する。
【００９１】
符号化データ選択部（１６０２）では、画像要求に基づいて、ランダムアクセステーブルから、必要なデータの位置を検索し、符号化データから必要なデータを参照画像復号化部（１６０４）や予測画像復号化部（１６０６）に出力する。参照画像復号化部（１６０４）では、参照画像符号化データを復号化し、再構成参照画像を再構成参照画像蓄積部（１６０５）に出力し、必要なら画像表示部（１６０７）にも出力する。
【００９２】
再構成参照画像蓄積部（１６０５）は、再構成参照画像を蓄積し、予測画像復号化部（１６０６）に出力する。予測画像復号化部（１６０６）では、予測画像符号化データを復号化し、再構成予測画像を画像表示部（１６０７）に出力する。画像表示部（１６０７）は入力された画像を表示する。
【００９３】
以上のように構成された本実施の形態の画像復号化装置の動作を説明する。データ記憶・伝送部（１６０１）では、ランダムアクセステーブルと符号化データを蓄積・伝送し、ランダムアクセステーブルを符号化データ選択部（１６０２）に出力する。また、符号化データ選択部（１６０２）の要求により、符号化データを符号化データ選択部（１６０２）に出力する。
【００９４】
画像要求部（１６０３）では、計算機に接続されたマウスを操作することによって、ユーザが見たい視点位置を指定し、その視点位置に対応する撮影位置を符号化データ選択部（１６０２）に出力する。符号化データ選択部（１６０２）は、符号化データ選択部（１２０３）と同様である。
【００９５】
参照画像復号化部（１６０４）では、参照画像が符号化された参照符号化データを復号化し、再構成参照画像を再構成参照画像蓄積部（１６０５）に出力する。また、参照／予測フラグにおいて、参照画像であれば、画像表示部（１６０７）に再構成参照画像を出力する。再構成参照画像蓄積部（１６０５）では、再構成された参照画像を蓄積し、予測画像復号化部（１６０６）に出力する。
【００９６】
予測画像復号化部（１６０６）では、予測画像が符号化された予測符号化データを再構成参照画像を用いて復号化し、画像表示部（１６０７）に再構成予測画像を出力する。画像表示部（１６０７）では、入力された画像を表示する。
【００９７】
以上のように、本実施の形態では、多くの異なる視点から撮影した画像を、撮影位置が近傍の画像をグループ化し、効率的に予測符号化し、その参照予測関係と符号化データ位置と撮影位置を記述したテーブルを付加することにより、任意の撮影位置の画像を効率的に検索、復号化、表示することが可能である。また、連続的に要求される画像は、撮影位置が近傍のものが多く、同一参照予測グループ内である場合が多く、再構成参照画像を蓄積しておくことで、予測符号化データを復号化するだけで、効率的に画像を復号化、表示することが可能である。
【００９８】
図１７は本発明の第６の実施の形態である画像復号化装置の構成を示すブロック図であり、同図を用いて本実施の形態の構成を説明する。
【００９９】
同図において、データ記憶・伝送部（１７０１）では、ランダムアクセステーブルと符号化データを蓄積・伝送し、ランダムアクセステーブルと符号化データを符号化データ選択部（１７０５）に出力する。画像要求監視部（１７０２）は、画像の要求を監視し画像要求蓄積部（１７０３）に出力する。
【０１００】
画像要求蓄積部（１７０３）は、画像要求を蓄積する。復号化状況蓄積部（１７０４）は復号化の状況を蓄積する。符号化データ選択部（１７０５）は、復号化状況と画像要求とランダムアクセステーブルと符号化データから復号化すべき符号化データを選択し、参照画像復号化部（１７０６）や変形画像復号化部（１７０８）や予測画像復号化部（１７１０）や出力画像選択部（１７１２）に出力する。参照画像復号化部（１７０６）は、参照画像符号化データを復号化し、再構成参照画像を再構成参照画像蓄積部（１７０７）に出力する。
【０１０１】
再構成参照画像蓄積部（１７０７）は再構成参照画像を蓄積する。変形参照画像復号化部（１７０８）は符号化データの動きベクトル部分と再構成参照画像から、変形参照画像を復号化し、変形参照画像蓄積部（１７０９）に出力する。
【０１０２】
変形参照画像蓄積部（１７０９）は、変形参照画像を蓄積する。予測画像復号化部（１７１０）は、符号化データの残差成分部分と変形参照画像から、予測画像を復号化し、予測画像蓄積部（１７１１）に出力する。予測画像蓄積部（１７１１）は、予測画像を蓄積する。出力画像選択部（１７１２）は、画像を選択し、画像表示部（１７１３）に出力する。画像表示部（１７１３）は、画像を表示する。
【０１０３】
以上のように構成された本実施の形態の画像復号化装置の動作を説明する。
まず、データ記憶・伝送部（１７０１）では、ランダムアクセステーブルと符号化データを蓄積・伝送し、ランダムアクセステーブルを符号化データ選択部（１７０５）に出力する。また、符号化データ選択部（１７０５）により、符号化データが読み出される。
【０１０４】
画像要求監視部（１７０２）は、マウスを持った計算機であり、ユーザがマウスを使ってする要求を常に監視し、画像要求蓄積部（１７０３）に蓄積する。画像要求蓄積部（１７０３）は、要求される画像の撮影位置を蓄積し、符号化データ選択部（１７０５）により読み出される。
【０１０５】
復号化状況蓄積部（１７０４）では、復号化状況テーブル（１８０１）を蓄積し、符号化データ選択部（１７０４）により更新され、読み出される。復号化状況テーブル（１８０１）において、撮影位置は（ρ，θ）であり、復号化レベルは復号化の状況を示す。復号化レベルの意味を復号化レベルテーブル（１８０２）に示す。
【０１０６】
符号化データ選択部（１７０５）は、要求する撮影位置とランダムアクセステーブルと復号化状況テーブルから、出力データと出力先と復号化状況テーブル更新方法を決定する。図１９に要求する撮影位置とランダムアクセステーブルと復号化状況テーブルの状態を列挙した状態テーブルを示す。ここで、Ｐは要求された画像の撮影位置、Ｑは要求された画像が予測画像の場合、その画像の復号化に必要な参照画像の撮影位置、Ｒは復号化状況テーブル（１８０１）に登録されている参照画像撮影位置、Ｓは復号化状況テーブル（１８０１）に登録されている予測画像撮影位置、Ｌは復号化状況テーブル（１８０１）に登録されている復号化レベルを表わす。
【０１０７】
図２０に出力データ書式（２００１）と各状態に対応する出力データと出力先と更新後の復号化状況テーブルを列挙した出力データテーブル（２００２）を示す。出力データ書式（２００１）において出力画像フラグは最終的に出力されるべき画像を示すフラグであり、０は出力なし、１は再構成参照画像を出力、２は変形参照画像を出力、３は再構成予測画像を出力を示す。符号化データはランダムアクセステーブルより撮影位置に対応する符号化データ位置を検索し、データ記憶・伝送部（１７０１）より読み出す。
【０１０８】
参照画像復号化部（１７０６）では、入力された出力画像フラグと符号化データを出力画像フラグは出力画像選択部（１７１２）に出力し、符号化データは参照画像に復号化し、再構成参照画像蓄積部（１７０７）に出力する。再構成参照画像蓄積部（１７０７）は、再構成参照画像を蓄積する。変形画像復号化部（１７０８）では、入力された出力画像フラグと符号化データを出力画像フラグは出力画像選択部（１７１２）に出力し、符号化データは符号化データの動きベクトル部分を復号化し、再構成参照画像を変形させて変形参照画像を作成し、変形参照画像蓄積部（１７０９）に出力する。変形参照画像蓄積部（１７０９）は、変形参照画像を蓄積する。
【０１０９】
予測画像復号化部（１７１０）では、入力された出力画像フラグと符号化データを、出力画像フラグは出力画像選択部（１７１２）に出力し、符号化データは符号化データの残差成分部分を復号化し、変形参照画像に残差成分を加えて予測画像を作成し、再構成予測画像蓄積部（１７１１）に出力する。再構成予測画像蓄積部（１７１１）は、再構成予測画像を蓄積する。
【０１１０】
出力画像選択部（１７１２）は、入力された出力画像フラグが、０ならば出力しない、１ならば再構成参照画像蓄積部（１７０６）より再構成参照画像を読み出し、画像表示部（１７１３）に出力する、２ならば変形参照画像蓄積部（１７０８）より変形参照画像を読み出し、画像表示部（１７１３）に出力する、３ならば再構成予測画像蓄積部（１７１１）より再構成予測画像を読み出し、画像表示部（１７１３）に出力する。画像表示部（１７１３）は、入力された画像を表示する。
【０１１１】
以上のように、本実施の形態では、画像要求を監視し、蓄積する部と、復号化処理途中の変形画像を出力する部を備えており、画像要求の変化の速度と画像復号化処理の速度に対応して、自動的に変形画像か再構成予測画像を出力することにより、画像要求の変化が速いときや画像復号化処理の速度が遅いときは画質の良くない変形画像が、その逆のときには画質のよい再構成予測画像を表示することが可能である。
【０１１２】
図２１は本発明の第７の実施の形態である画像復号化装置の構成を示すブロック図であり、同図を用いて本実施の形態の構成を説明する。
【０１１３】
同図において、データ記憶・伝送部（２１０１）では、ランダムアクセステーブルと符号化データを蓄積・伝送し、ランダムアクセステーブルと符号化データを符号化データ選択部（２１０４）に出力する。画像要求部（２１０２）は、要求する画像の撮影位置を画像蓄積検査部（２１０３）に出力する。画像蓄積検査部（２１０３）では、再構成参照画像群蓄積部（２１０８）と再構成予測画像群蓄積部（２１０９）に蓄積されている画像の重要度を撮影位置に基づいて計算し、最大蓄積量を越えないように重要度の低い画像を消去する。符号化データ選択部（２１０４）では、蓄積された画像とランダムアクセステーブルに基づいて必要な符号化データを選択し、参照画像復号化部（２１０５）や予測画像復号化部（２１０６）や参照予測画像復号化部（２１０７）に出力する。
【０１１４】
再構成参照画像群蓄積部（２１０８）では、複数枚の再構成参照画像と各画像の撮影位置を蓄積し、出力画像選択部（２１１０）に出力する。再構成予測画像群蓄積部（２１０９）では、複数枚の再構成予測画像と各画像の撮影位置を蓄積し、出力画像選択部（２１１０）に出力する。参照画像復号化部（２１０５）では、符号化データを参照画像に復号化し、再構成参照画像群蓄積部（２１０８）に出力し、要求画像の撮影位置を出力画像選択部（２１１０）に出力する。予測画像復号化部（２１０６）では、符号化データを再構成参照画像を用いて予測画像に復号化し、再構成予測画像群蓄積部（２１０９）に出力し、要求画像の撮影位置を出力画像選択部（２１１０）に出力する。参照予測画像復号化部（２１０７）では、符号化データを参照画像と予測画像に復号化し、再構成した参照画像を再構成参照画像群蓄積部（２１０８）に出力し、再構成した予測画像を再構成予測画像群蓄積部（２１０９）に出力し、要求画像の撮影位置を出力画像選択部（２１１０）に出力する。出力画像選択部（２１１０）は、要求画像の撮影位置に対応する画像を再構成参照画像群蓄積部（２１０８）と再構成予測画像群蓄積部（２１０９）の中から取得し、画像表示部（２１１１）に出力する。画像表示部（２１１１）では、入力された画像を表示する。
【０１１５】
以上のように構成された本実施の形態の画像復号化装置の動作を説明する。
データ記憶・伝送部（２１０１）では、ランダムアクセステーブルと符号化データを蓄積・伝送し、ランダムアクセステーブルを符号化データ選択部（２１０４）に出力する。また、符号化データ選択部（２１０４）により、符号化データが読み出される。
【０１１６】
画像要求部（２１０２）は、マウスを持った計算機であり、ユーザがマウスを使って見たい画像を要求し、要求画像の撮影位置を画像蓄積検査手段（２１０３）に出力する。画像蓄積検査部（２１０３）では、要求された画像の撮影位置と、最大Ｎ枚蓄積できる再構成参照画像群蓄積部（２１０８）に蓄積された画像の撮影位置と最大Ｍ枚蓄積できる再構成予測画像群蓄積部（２１０９）に蓄積された画像の撮影位置により各画像に対する重要度を計算し、再構成参照画像群蓄積部（２１０８）に蓄積された画像のＮ番目に重要度が大きいものと再構成予測画像群蓄積部（２１０９）に蓄積された画像のＭ番目に重要度が大きいものを消去する。ρ−θ空間上で距離の近いほど重要度は高いので、要求された画像の撮影位置をＰ、蓄積された画像の撮影位置をＱとすると、重要度はＷは、
【０１１７】
【数８】
0004013286.tif 000009
【０１１８】
で計算できる。ここで、
【０１１９】
【数９】
0004013286.tif 000010
【０１２０】
とすると、
【０１２１】
【数１０】
0004013286.tif 000011
【０１２２】
である。
符号化データ選択部（２１０４）では、図２２の状態テーブルに応じて図２３の出力データテーブルにしたがって、出力データを作成し、それぞれの出力先に出力する。図２２と図２３においてＰは要求画像の撮影位置であり、Ｑは要求画像が予測画像の場合に復号化に必要となる参照画像の撮影位置である。出力データは先頭に出力画像撮影位置データを配置し、続いて画像の再構成に必要なデータを配置している。
【０１２３】
参照画像復号化部（２１０５）では、入力されたデータの先頭の出力画像撮影位置データを出力画像選択部（２１１０）に出力し、参照符号化データを参照画像に復号化し、再構成参照画像群蓄積部（２１０８）に出力する。
【０１２４】
予測画像復号化部（２１０６）では、入力されたデータの先頭の出力画像撮影位置データを出力画像選択部（２１１０）に出力し、参照画像データを用いて予測符号化データを予測画像に復号化し、再構成予測画像群蓄積部（２１０９）に出力する。
【０１２５】
参照予測画像復号化部（２１０７）では、入力されたデータの先頭の出力画像撮影位置データを出力画像選択部（２１１０）に出力し、参照符号化データを参照画像に復号化し、再構成された参照画像を用いて予測符号化データを予測画像に復号化し、再構成参照画像群蓄積部（２１０８）に再構成参照画像を出力し、再構成予測画像群蓄積部（２１０９）に再構成予測画像を出力する。
【０１２６】
出力画像選択部（２１１０）では、入力された出力画像撮影位置データに対応する画像を再構成参照画像群蓄積部（２１０８）と再構成予測画像群蓄積部（２１０９）から取得し、画像表示部（２１１１）に出力する。
【０１２７】
画像表示部（２１１１）では、入力された画像を表示する。
以上のように、本実施の形態では、多視点画像復号化装置では、現在要求されている画像の撮影位置の近傍の画像の要求頻度が高いことを利用し、要求された画像の撮影位置に近いものに高い重要度を与え、一度復号化した画像のうち重要度の高いものを蓄積しておくことで、効率的に画像を復号化することが可能である。
【０１２８】
図２４は本発明の第８の実施の形態である画像復号化装置の構成を示すブロック図であり、同図を用いて本実施の形態の構成を説明する。
【０１２９】
同図において、データ記憶・伝送部（２４０１）では、ランダムアクセステーブルと符号化データを蓄積・伝送し、ランダムアクセステーブルと符号化データを符号化データ選択部（２４０５）と予測符号化データ選択部（２４０９）に出力する。画像要求部（２４０２）は、要求する画像の撮影位置を画像要求蓄積部（２４０３）に出力する。画像要求蓄積部（２４０３）は、画像要求を蓄積し、符号化データ選択部（２４０５）により画像要求が読み出される。前回画像要求蓄積部（２４０４）は、前回処理した画像の撮影位置を蓄積し、符号化データ選択部（２４０５）によって、前回画像要求が読み出され、更新される。
【０１３０】
符号化データ選択部（２４０５）は、前回処理した画像の要求や画像の蓄積の状態から復号化すべき符号化データを決定し、ランダムアクセステーブルと符号化データから必要な符号化データや画像データを選択し、参照予測画像復号化部１（２４０６）や参照画像復号化部１（２４０７）や予測画像復号化部１（２４０８）や画像表示部（２４１５）に出力する。
【０１３１】
予測符号化データ選択部（２４０９）は、復号化されていない近傍の撮影位置を予測し、その位置の画像の復号化に必要なデータを、ランダムアクセステーブルと符号化データと画像データからを選択し、参照予測画像復号化部２（２４１０）や参照画像復号化部２（２４１１）や予測画像復号化部２（２４１２）に出力する。参照予測画像復号化部１（２４０６）は、符号化データから予測画像を復号化し、画像表示部（２４１５）に出力する。
【０１３２】
参照画像復号化部１（２４０７）は、符号化データから参照画像を復号化し、画像表示部（２４１５）に出力する。予測画像復号化部１（２４０８）は、符号化データと画像データから予測画像を復号化し、画像表示部（２４１５）に出力する。参照予測画像復号化部２（２４１０）は、符号化データから参照画像と予測画像を復号化し、再構成参照画像群蓄積部（２４１３）と再構成予測画像群蓄積部（２４１４）に出力する。参照画像復号化部２（２４１１）は、符号化データから参照画像を復号化し、再構成参照画像群蓄積部（２４１３）に出力する。予測画像復号化部２（２４１２）は、符号化データと画像データから予測画像を復号化し、再構成予測画像群蓄積部（２４１４）に出力する。
【０１３３】
以上のように構成された本実施の形態の画像復号化装置の動作を説明する。
データ記憶・伝送部（２４０１）では、ランダムアクセステーブルと符号化データを蓄積・伝送し、ランダムアクセステーブルを符号化データ選択部（２４０５）に出力する。また、符号化データ選択部（２４０５）により、符号化データを読み出される。画像要求部（２４０２）は、マウスを持った計算機であり、ユーザがマウスを使って見たい画像を要求し、要求画像の撮影位置を画像要求蓄積手段（２４０３）に出力する。画像要求蓄積部（２４０３）では、要求された画像の撮影位置を蓄積し、符号化データ選択部（２４０５）によって、撮影位置を読み出される。
【０１３４】
前回要求画像蓄積部（２４０４）では、処理した撮影位置を蓄積し、符号化データ選択部（２４０５）によって、撮影位置を読み出される。符号化データ選択部（２４０５）では、図２５の状態テーブルに応じて図２６の出力データテーブルにしたがって、出力データを作成し、それぞれの出力先へ出力する。図２５と図２６においてＰは要求画像の撮影位置であり、Ｑは要求画像が予測画像の場合に復号化に必要となる参照画像の撮影位置であり、Ｒは前回処理された画像の撮影位置である。さらに、Ｒ≠Ｐならば、再構成予測画像群蓄積部（２４１３）と再構成参照画像群蓄積部（２４１４）に蓄積されている画像を消去し、Ｐを前回要求画像蓄積部（２４０４）に書き込む。
【０１３５】
参照予測画像復号化部１（２４０６）は、参照符号化データと予測符号化データを予測画像に復号化し、画像表示部（２４１５）に出力する。参照画像復号化部１（２４０７）は、参照符号化データを参照画像に復号化し、画像表示部（２４１５）に出力する。予測画像復号化部１（２４０８）は、参照画像データと予測符号化データを予測画像に復号化し、画像表示部（２４１５）に出力する。
【０１３６】
予測符号化データ選択部（２４０９）では、図２７の予測テーブルの上から順に、再構成参照画像群蓄積部（２４１３）と再構成予測画像群蓄積部（２４１４）に蓄積されていないか検索し、蓄積されていないものがあれば、その撮影位置を予測撮影位置としてＳとして、図２８の状態テーブルに応じて図２９の出力データテーブルにしたがって、出力データを作成しそれぞれの出力先へ出力する。図２８と図２９で、Ｔは、撮影位置Ｓの画像が予測画像の場合の復号化に必要な参照画像の撮影位置である。
【０１３７】
参照予測画像復号化部２（２４１０）は、参照符号化データと予測符号化データを参照画像と予測画像に復号化し、参照画像は再構成参照画像群蓄積部（２４１３）に、予測画像は再構成予測画像群蓄積部（２４１４）に出力する。参照画像復号化部２（２４１１）は、参照符号化データを参照画像に復号化し、再構成参照画像群蓄積部（２４１３）に出力する。
【０１３８】
予測画像復号化部２（２４１２）は、参照画像データと予測符号化データを予測画像に復号化し、再構成予測画像群蓄積部（２４１４）に出力する。画像表示部（２４１５）は、入力された画像を表示する。
【０１３９】
以上のように、本実施の形態では、多視点画像復号化装置では、現在要求されている画像の撮影位置の近傍の画像の要求頻度が高いことを利用し、画像の要求の変化がないときには、要求された画像の撮影位置に近いもの復号化しておくことで、効率的に画像を復号化することが可能である。
【０１４０】
図３０は本発明の第９の実施の形態である画像符号化装置の構成を示すブロック図であり、同図を用いて本実施の形態の構成を説明する。
【０１４１】
同図において、撮影位置制御型画像撮像部（３００１）は、対象物体の画像を撮影し、その撮影位置データと画像データを出力する。参照予測グループ部（３００５）は、撮影位置データと画像データを参照画像と一枚以上の予測画像からなる参照予測グループにグループ化し、参照画像を参照画像符号化部（３００６）に出力し、撮影位置データと参照画像と予測画像を変形拘束式推定部（３００８）に出力する。
【０１４２】
参照画像符号化部（３００６）は、参照画像を符号化し、再構成参照画像を作成し、符号化データを参照関係作成部（３０１０）に出力し、再構成参照画像を再構成参照画像蓄積部（３００７）に出力する。再構成参照画像蓄積部（３００７）は、再構成参照画像を蓄積し、拘束予測画像符号化部（３００９）に再構成参照画像を出力する。拘束式推定部（３００８）は、拘束式を推定し、拘束予測画像符号化部（３００９）に出力する。
【０１４３】
拘束予測画像符号化部（３００９）は、予測画像を符号化し、符号化データを参照関係作成部（３０１０）に出力する。参照関係テーブル作成部（３０１０）は、符号化データから参照関係と符号化データ位置と撮影位置を記述した参照関係テーブルを作成し、参照関係テーブルと符号化データをデータ記録・伝送部（３０１１）に出力する。データ記録・伝送部（３０１１）は、用途に応じて記録・伝送する。
【０１４４】
以上のように構成された本実施の形態の画像符号化装置の動作を説明する。まず、画像位置制御型撮像部（３００１）では、図１の画像位置制御型撮像部と同様に、対象物体の周囲を周囲を網羅するように、異なる視点から画像を撮影し、撮影位置・画像データを取得し、図３に示す書式で出力する。
【０１４５】
参照グループ化部（３００５）では、図１の参照グループ化部（１０５）と同様に、参照画像とその近傍の画像を予測画像としてグループ化し、インデックス順に図５に示す書式で、参照画像符号化部（３００６）と変形拘束式推定部（３００８）へ出力する。参照画像符号化部（３００６）は、図１の参照画像符号化部（１０６）と同様である。再構成参照画像蓄積部（３００７）は、図１の再構成参照画像蓄積部（１０７）と同様である。
【０１４６】
変形拘束式推定部（３００８）では、エピポーラ拘束と呼ばれる拘束式のパラメータ７つを推定する(「エピポラー  ジェオメトリ  イン  ステレオ  モーション  アンド  オブジェクト  レコグニション」"Epipolar Geometry in Stereo、 Motion and Object Recognition - A Unified Approach、" Gang Xu and Zhengyou Zhang、 Kluwer Academic Publishers、 1996)）。
【０１４７】
図３１はエピポーラ拘束の説明図であり、３次元空間中の点Ｍを異なる視点から撮影した場合である。Ｃ１、Ｃ２はそれぞれの画像１と画像２を撮影したカメラの焦点を示し、Ｍは、画像１上ではｍ１に、画像２上ではｍ２に投影される。Ｃ２は画像１上のｅ１に、Ｃ１は画像２上のｅ２に投影され、ｅ１とｅ２はそれぞれの画像上のエピ極と呼ばれる。３次元空間中のＣ１とｍ１を通る直線を画像２上への投影した直線をエピポーラ線と呼び、エピポーラ線２として図３１に示す。
【０１４８】
エピポーラ線２は、画像１を撮影したカメラの内部パラメータ（焦点距離、光軸）と視点位置、画像２を撮影したカメラの内部パラメータと視点位置、画像１上の点の座標により決定できる。エピポーラ線２を決定できれば、画像１上の点ｍ１に３次元空間で対応する画像２上の点ｍ２の位置は、Ｃ１からＭの距離が得られない場合でも、エピポーラ線２上に拘束できる。
【０１４９】
図３２に示す二つの視点から撮影された画像１と画像２において、画像１上の点（ｘ１、ｙ１）に対応する画像２上のエピポーラ線は以下のように表わされる。
【０１５０】
【数１１】
0004013286.tif 000012
【０１５１】
ここで、
【０１５２】
【数１２】
0004013286.tif 000013
【０１５３】
【数１３】
0004013286.tif 000014
【０１５４】
【数１４】
0004013286.tif 000015
【０１５５】
【数１５】
0004013286.tif 000016
【０１５６】
であり、ｏｘ、ｏｙはカメラの光軸の画像上の座標を表わし、ｆは焦点距離を示す。
【０１５７】
（ρ１，θ１）、（ρ２，θ２）、ｄは、図３２に示す撮影位置を示し、×は、
【０１５８】
【数１６】
0004013286.tif 000017
【０１５９】
の演算を示す。カメラの内部パラメータであるｏｘ、ｏｙ、ｆは、予め求めておき、（ρ１，θ１）、（ρ２，θ２）、ｄは撮影システムにより与えられる。
７つのパラメータｅは、
【０１６０】
【数１７】
0004013286.tif 000018
【０１６１】
とすると、
【０１６２】
【数１８】
0004013286.tif 000019
【０１６３】
で計算できる。
予測画像の撮影位置を（ρ１，θ１）とし、その予測画像を予測するための参照画像（同じインデックスのついた参照画像）の撮影位置（ρ２，θ２）として用いて、それぞれの参照予測の組に対してエピポーラパラメータを推定する。入力である図５のデータの予測画像にエピポーラパラメータを付加し、図３３に示す書式で、拘束予測画像符号化部（３００９）へ出力する。
【０１６４】
拘束予測画像符号化部（３００９）のフローチャートを図３４に示す。ブロック化ステップでは、予測画像データをブロックに分割する。
【０１６５】
エピポーラ線計算ステップでは、各ブロックの中心点の座標を（ｘ１，ｙ１）とし、拘束式推定部（３００８）で推定されたエピポーラパラメータｅからＦを以下のように計算し、式１１を用いてブロックにエピポーラ線を求める。
【０１６６】
【数１９】
0004013286.tif 000020
【０１６７】
ここで、
【０１６８】
【数２０】
0004013286.tif 000021
【０１６９】
である。
動き推定ステップでは、図３５に示すように、予測画像のブロックをエピポーラ線に沿って、再構成参照画像上を１次元的に移動させて、予測画像ブロックと再構成参照画像の画素値の差の絶対値の総和が最小になる１次元の移動量を求める。
【０１７０】
ブロック残差計算ステップでは、予測画像ブロックと再構成参照画像の画素値の差の絶対値の総和が最小になる位置での、画素値の差を計算する。ＤＣＴステップでは、ブロック残差計算ステップで計算されたブロック残差をデジタルコサイン変換する。量子化ステップでは、ＤＣＴステップの出力結果を所定の量子幅で量子化する。
【０１７１】
可変長符号化ステップでは、動き推定ステップで計算された１次元移動量と、量子化ステップの出力結果を可変長符号化し、符号化データとして図３６に示す書式で出力する。
【０１７２】
参照関係テーブル作成部（３０１０）は、参照関係テーブル作成部（１０９）と同様である。データ記録・伝送部（３０１１）は、データ記録・伝送部（１１０）と同様である。
【０１７３】
以上のように、本実施の形態では、多視点画像のように、動きのないシーンを与えられた視点から撮影した場合、２つの画像の対応点が撮影対象によらず、カメラの視点と内部パラメータから決定できるある直線上に拘束されることを利用して、符号化データに拘束パラメータを付加する一方で、２次元の動き情報を一次元の動き情報に減少させることで、効率の良い符号化が可能である。
【０１７４】
図３７は本発明の第１０の実施の形態である画像復号化装置の構成を示すブロック図であり、同図を用いて本実施の形態の構成を説明する。
【０１７５】
同図において、データ記憶・伝送部（３７０１）では、参照関係テーブルと符号化データを蓄積・伝送し、参照テーブルと符号化データを符号化データ選択部（３７０２）に出力する。符号化データ選択部（３７０２）では、参照関係テーブルからデータの位置を検索し、符号化データから必要なデータを参照画像復号化部（３７０３）や拘束予測画像復号化部（３７０５）に出力する。参照画像復号化部（１７０３）では、参照画像符号化データを復号化し、再構成参照画像を再構成参照画像蓄積部（３７０４）に出力し、必要なら画像表示手段（３７０６）にも出力する。
【０１７６】
再構成参照画像蓄積部（３７０５）は、再構成参照画像を蓄積し、拘束予測画像復号化部（３７０５）に出力する。拘束予測画像復号化部（３７０５）では、予測画像符号化データを復号化し、再構成予測画像を画像表示部（３７０６）に出力する。画像表示部（３７０６）は入力された画像を蓄積しておき、要求により表示する。
【０１７７】
以上のように構成された本実施の形態の画像復号化装置の動作を説明する。データ記憶・伝送部（３７０１）では、参照関係テーブルと符号化データを蓄積・伝送し、参照テーブルと符号化データを符号化データ選択部（３７０２）に出力する。符号化データ選択部（３７０２）では、参照関係テーブルから符号化データ位置を検索し、データ記憶・伝送部（３７０１）から、符号化データ位置の符号化データを取得する。参照／予測フラグと参照符号化データを、参照画像復号化部（３７０３）に出力し、予測符号化データがあれば、予測画像復号化部（３７０５）に出力する。
【０１７８】
ただし、参照画像復号化部（３７０３）に出力する参照符号化データが前回と同じ場合は、参照画像はすでに復号化され、蓄積されているので、参照画像復号化部（３７０３）への出力は省略する。
【０１７９】
参照画像復号化部（３７０３）では、参照画像が符号化された参照符号化データを復号化し、再構成参照画像を再構成参照画像蓄積部（３７０４）に出力する。また、参照／予測フラグにおいて、参照画像であれば、画像表示部（３７０６）に再構成参照画像を出力する。
【０１８０】
再構成参照画像蓄積部（３７０４）では、再構成された参照画像を蓄積し、拘束予測画像復号化部（３７０５）に出力する。拘束予測画像復号化部（３７０５）のフローチャートを図３８に示す。復号化ステップでは、可変長符号化されたエピポーラパラメータ、動き情報、残差情報を復号化する。
【０１８１】
エピポーラ線計算ステップでは、ブロックの中心座標とエピポーラパラメータから、図３４のエピポーラ線計算ステップと同様にエピポーラ線を計算する。動き補償ステップでは、エピポーラ線に沿って、復号化された移動量だけ移動したところからブロックを得、変形画像を構成する。逆量子化ステップでは、残差情報を逆量子化する。逆ＤＣＴステップでは、逆量子化された残差情報を逆ＤＣＴし、画素の残差情報を得る。ブロック再構成ステップでは、逆ＤＣＴステップで得られた残差情報を、動き補償ステップで得られた変形画像に加えて予測画像データを再構成する。
【０１８２】
以上のように予測符号化データを再構成参照画像を用いて復号化し、画像表示部（３７０６）に再構成予測画像を出力する。画像表示部（３７０６）では、復号化された画像を蓄積しておき、計算機に接続されたマウスにより検索し、表示する。
【０１８３】
以上のように、本実施の形態では、多視点画像のように、動きのないシーンを与えられた視点から撮影した場合、２つの画像の対応点が撮影対象によらず、カメラの視点と内部パラメータから決定できるある直線上に拘束されることを利用して、符号化データに拘束パラメータを付加する一方で、２次元の動き情報を一次元の動き情報に減少させることで、効率の良く符号化した符号化データの復号化が可能である。
【０１８４】
図３９は本発明の第１１の実施の形態である画像符号化装置の構成を示すブロック図であり、同図を用いて本実施の形態の構成を説明する。
【０１８５】
同図において、撮影位置光源位置制御型画像撮像部（３９０１）は、対象物体の画像を撮影し、その撮影位置データと光源位置データと画像データを出力する。参照予測グループ部（３９０７）は、撮影位置データと光源位置データと画像データを参照画像と一枚以上の予測画像からなる参照予測グループにグループ化し、参照画像を参照画像符号化部（３９０８）に出力し、予測画像を予測画像符号化部（３９０８）に出力する。
【０１８６】
参照画像符号化部（３９０８）は、参照画像を符号化し、再構成参照画像を作成し、符号化データを参照関係作成部（３９１１）に出力し、再構成参照画像を再構成参照画像蓄積部（３９０９）に出力する。再構成参照画像蓄積部（３９０９）は、再構成参照画像を蓄積し、予測画像符号化部（３９１０）に再構成参照画像を出力する。
【０１８７】
予測画像符号化部（３９１０）は、予測画像を符号化し、符号化データを参照関係作成部（３９１１）に出力する。参照関係テーブル作成部（３９１１）は、符号化データから参照関係と符号化データ位置と撮影位置と光源位置を記述した参照関係テーブルを作成し、参照関係テーブルと符号化データをデータ記録・伝送部（３９１０）に出力する。データ記録・伝送部（３９１２）は、用途に応じて記録・伝送する。
【０１８８】
以上のように構成された本実施の形態の画像符号化装置の動作を説明する。撮影位置光源位置制御型画像撮像部（３９０１）では、光源位置が対象物体の周囲を網羅するように、異なる光源位置で画像を撮影する。計算機（３９０４）によって、サーボモータ２（３９０４）を対象物体の正面から水平方向にρｌ度、水平面から垂直方向にθｌ度の位置に光源（３９０５）を移動させる。さらに、それぞれの光源位置について、カメラ位置が対象物体の周囲を網羅するように、異なる視点から画像を撮影する。
【０１８９】
計算機（３９０４）によってサーボモータ１（３９０２）を対象物体の正面から水平方向にρｃ度、水平面から垂直方向にθｃ度の位置にカメラ（３９０３）を移動させ、撮影位置・光源位置・画像データを計算機（３９０４）によって取得する。ここで、得られる画像データは図２と同様に輝度プレーン、色差１プレーン、色差２プレーン、アルファプレーンで構成する。ここで、ρｌ，θｌ，ρｃ，θｃは、
【０１９０】
【数２１】
0004013286.tif 000022
【０１９１】
【数２２】
0004013286.tif 000023
【０１９２】
とする。このように取得された撮影位置・光源位置・画像データは、図４０に示すように、各画像データの先頭に水平方向撮影角度ρｃと、垂直方向撮影角度θｃと、水平方向撮影角度ρｌと、垂直方向撮影角度θｌを付加した書式で出力される。
【０１９３】
参照予測グループ化部（３９０７）では、参照画像によって類似した画像を予測画像として予測符号化するために、ρｌ−θｌ−ρｃ−θｃ空間において、等間隔に参照画像を配置し、参照画像の近傍の画像をその参照画像より予測される予測画像にグループ化する。参照予測グループ化部（３９０７）での処理は、図１の参照予測グループ化部（１０５）の処理を４次元的に行う。グループ化された撮影位置・光源位置・画像データはインデックス順に図４１の示す書式で、参照画像は参照画像符号化部（３９０８）へ、予測画像は予測画像符号化部（３９１０）へ出力する。
【０１９４】
参照画像符号化部（３９０８）では、参照画像を図１の参照画像符号化部（１０６）と同様に符号化し、符号化データを参照関係テーブル作成部（３９１１）に出力し、参照画像の再構成画像を作成し、再構成参照画像蓄積部（３９０９）に出力する。
【０１９５】
再構成参照画像蓄積部（３９０９）では、再構成参照画像を蓄積しておき、予測画像符号化部（３９１０）に出力する。参照予測グループ化部（３９０７）において、図４１のように参照画像と予測画像が整列されて出力されるので、再構成参照画像蓄積部（３９０９）は、画像１枚分の容量を持っていれば十分である。
【０１９６】
予測画像符号化部（３９１０）では、図１の予測画像符号化部（１０８）と同様に、予測画像を再構成参照画像を用いて符号化し、符号化データを参照関係テーブル作成部（３９１１）に出力する。参照関係テーブル作成部（３９１１）では、各符号化部より出力された図４２のようなデータを順に走査し、図４３のような参照関係テーブルと図４４のような符号化データを作成し、データ記録・伝送部（３９１２）に出力する。
【０１９７】
データ記録・伝送部（３９１２）では、参照関係テーブルと符号化データを磁気ディスクや光ディスクに蓄積しておいたり、ネットワークなどで伝送する。
【０１９８】
以上のように、本実施の形態では、異なる多くの視点から異なる多くの光源位置で撮影された多視点画像を、撮影位置データが近傍の類似した画像である参照画像と１枚以上の予測画像にグループ化し、効率よく符号化することが可能である。さらに、画像を各参照予測グループで参照画像が先頭になるように整列して、符号化手段に出力することで、計算量と計算に必要な蓄積容量を少なくしている。また、その整列順に符号化データ位置を格納したテーブルを付加することで、ランダムアクセスに対応した効率的な復号化が可能である。
【０１９９】
図４５は本発明の第１２の実施の形態である画像復号化装置の構成を示すブロック図であり、同図を用いて本実施の形態の構成を説明する。
【０２００】
同図において、データ記憶・伝送部（４５０１）では、参照関係テーブルと符号化データを蓄積・伝送し、参照テーブルと符号化データを符号化データ選択部（４５０２）に出力する。符号化データ選択部（４５０２）では、参照関係テーブルから要求された画像のデータの位置を検索し、符号化データから必要なデータを参照画像復号化部（４５０３）や予測画像復号化部（４５０５）に出力する。
【０２０１】
要求された光源位置の符号化データがなければ、近傍にある複数の光源位置の符号化データを選択し、それぞれを参照画像復号化部（４５０３）や予測画像復号化部（４５０５）に出力する。参照画像復号化部（４５０３）では、参照画像符号化データを復号化し、再構成参照画像を再構成参照画像蓄積部（４５０４）と中間画像生成部（４５０６）に出力する。再構成参照画像蓄積部（４５０５）は、再構成参照画像を蓄積し、予測画像復号化部（４５０５）に出力する。予測画像復号化部（４５０５）では、予測画像符号化データを復号化し、再構成予測画像を中間画像生成部（４５０６）に出力する。
【０２０２】
中間画像生成部（４５０６）では、要求された光源位置の画像がなければ、近傍の光源位置の画像を用いて要求された光源位置の画像の画像を生成し、画像表示部（４５０７）に出力する。画像表示部（４５０７）は入力された画像を蓄積しておき、要求により表示する。
【０２０３】
以上のように構成された本実施の形態の画像復号化装置の動作を説明する。
データ記憶・伝送部（４５０１）では、参照関係テーブルと符号化データを蓄積・伝送し、参照テーブルと符号化データを符号化データ選択部（４５０２）に出力する。
【０２０４】
符号化データ選択部（４５０２）では、要求された光源位置と撮影位置を参照関係テーブルから符号化データ位置を検索し、データ記憶・伝送部（４５０１）から、符号化データ位置の符号化データを取得する。参照／予測フラグと参照符号化データを、参照画像復号化部（４５０３）に出力し、予測符号化データがあれば、予測画像復号化部（４５０５）に出力する。
【０２０５】
ただし、参照画像復号化部（４５０３）に出力する参照符号化データが前回と同じ場合は、参照画像はすでに復号化され、蓄積されているので、参照画像復号化部（４５０３）への出力は省略する。また、要求された光源位置のデータがない場合には、光源位置が近傍の４つの符号化データをそれぞれ参照画像復号化部（４５０３）と予測画像復号化部（４５０４）へ出力する。
【０２０６】
要求された画像が、（ρｌ，θｌ，ρｃ，θｃ）であり、参照関係テーブルに、光源位置が水平・垂直方向の角度が１０の倍数の画像しか無い場合、近傍の４つの符号化データ（ρｌ１，θｌ１，ρｃ，θｃ）、（ρｌ１，θｌ２，ρｃ，θｃ）、（ρｌ２，θｌ１，ρｃ，θｃ）、（ρｌ２，θｌ２，ρｃ，θｃ）は、以下の式によって得られる。
【０２０７】
【数２３】
0004013286.tif 000024
【０２０８】
【数２４】
0004013286.tif 000025
【０２０９】
【数２５】
0004013286.tif 000026
【０２１０】
【数２６】
0004013286.tif 000027
【０２１１】
ここで、「・」は、・を越えない１０の倍数を示す。また、ρｌ２が３６０になる場合は、ρｌ２＝０とする。
【０２１２】
参照画像復号化部（４５０３）では、参照画像が符号化された参照符号化データを復号化し、再構成参照画像を再構成参照画像蓄積部（４５０４）に出力する。
【０２１３】
また、参照／予測フラグにおいて、参照画像であれば、中間画像生成部（４５０６）に再構成参照画像を出力する。再構成参照画像蓄積部（４５０４）では、再構成された参照画像を蓄積し、予測画像復号化部（４５０５）に出力する。
【０２１４】
予測画像復号化部（４５０５）では、予測画像が符号化された予測符号化データを再構成参照画像を用いて復号化し、中間画像生成部（４５０６）に再構成予測画像を出力する。中間画像生成部（４５０６）では、要求された光源位置と復号化された画像データの光源位置が等しければ、画像表示部（４５０６）へ出力する。等しくなければ、符号化データ選択部（４５０２）で選択された光源位置が近傍の画像より中間画像を生成する。
【０２１５】
要求された画像の光源位置を（ρｌ，θｌ，ρｃ，θｃ）とし、符号化データ選択部（４５０２）で選択された画像の光源位置を（ρｌ１，θｌ１，ρｃ，θｃ）、（ρｌ１，θｌ２，ρｃ，θｃ）、（ρｌ２，θｌ１，ρｃ，θｃ）、（ρｌ２，θｌ２，ρｃ，θｃ）とする。それぞれの近傍画像をＩ１、Ｉ２、Ｉ３、Ｉ４とし、画像Ｉ１の座標（ｘ，ｙ）の画素値をＩ１（ｘ，ｙ）と表わすと、中間画像Ｉの画素値Ｉ（ｘ，ｙ）を以下の式で計算する。
【０２１６】
【数２７】
0004013286.tif 000028
【０２１７】
ここで、
【０２１８】
【数２８】
0004013286.tif 000029
【０２１９】
【数２９】
0004013286.tif 000030
【０２２０】
【数３０】
0004013286.tif 000031
【０２２１】
【数３１】
0004013286.tif 000032
【０２２２】
である。生成された中間画像は画像表示部（４５０７）へ出力される。
画像表示部（４５０７）では、復号化された画像を蓄積し、表示する。
【０２２３】
以上のように、本実施の形態では、多くの異なる視点から多くの異なる光源位置で撮影した画像を、撮影位置が近傍の画像をグループ化し、グループを予測符号化された符号化データを、その参照予測関係と符号化データ位置と撮影位置を記述したテーブルを用いることにより、効率的に復号化することが可能である。
【０２２４】
また、参照関係テーブルはグループ順に記述されているので、同一参照予測グループ内が連続的に復号化されるので、再構成参照画像を蓄積しておき、予測符号化データを復号化するだけで、効率的に画像を復号化することが可能である。
【０２２５】
さらに、要求された光源位置の画像が符号化されていない場合でも、光源位置が近傍の画像から要求された光源位置の画像を生成するので、要求画像を表示することが可能である。
【０２２６】
【発明の効果】
本発明の画像符号化装置と復号化装置では、以下の理由により、従来の画像符号化技術を用いるよりも効率の良い符号化と復号化が可能となる。
【０２２７】
１．画像符号化データに参照関係と撮影位置と符号化データ位置を記述したテーブルを付加することにより、参照画像から複数の予測画像に対して予測符号化を用いて符号化する。
【０２２８】
２．画像符号化データに参照関係と撮影位置と符号化データ位置を記述したテーブルを参照することにより、要求する画像の符号化データ位置を直ちに検索でき、復号化できる。
【０２２９】
３．画像再生の要求を監視しておき、それを参照することにより、高速な要求の変化や計算能力に応じて、自動的に、画質は悪いが計算負荷の小さい変形画像と画質は良いが計算負荷の大きい予測画像を段階的に復号化する。
【０２３０】
４．蓄積すべき画像の撮影位置を計算し、復号化処理済みの一枚数の画像を蓄積しておき、復号化処理の回数を減らす。
【０２３１】
５．再生すべき画像に変化がないときに、再生すべき画像の撮影位置と撮影位置が復号化する画像撮影位置を計算し、あらかじめ復号化処理しておき、再生すべき画像の変化に高速な応答をする。
【０２３２】
６．撮影シーンに動きがない場合に、撮影対象によらず対応点が直線上に拘束できることを利用して、拘束パラメータと１次元的な動き情報で、画像を効率に符号化する。
【０２３３】
７．撮影シーンに動きがない場合に、撮影対象によらず対応点が直線上に拘束できることを利用して、拘束パラメータと１次元的な動き情報で、画像を効率に符号化した符号化データを復号化する。
【０２３４】
８．画像符号化データに参照関係と撮影位置と光源位置と符号化データ位置を記述したテーブルを付加することにより、多くの視点で多くの照明効果を持つ対象物体画像を、要求にたいして効率的に復号化可能な状態で符号化する。
【０２３５】
９．画像符号化データに参照関係と撮影位置と光源位置と符号化データ位置を記述したテーブルが付加された、符号化データを、要求にたいして効率的に復号化する。さらに、要求される光源位置の画像が符号化データに無い場合でも、光源位置が近傍の画像から中間画像を生成する。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における画像符号化装置のブロック図
【図２】画像データの構成の図
【図３】撮影位置データと画像データの図
【図４】予測符号化の説明図
【図５】参照予測グループごとに整列された撮影位置データと画像データの図
【図６】参照画像符号化部のフローチャート
【図７】予測画像符号化部のフローチャート
【図８】参照予測グループごとに整列された撮影位置データと符号化データの図
【図９】参照関係テーブルの図
【図１０】符号化データの図
【図１１】第２の実施の形態における画像復号化装置のブロック図
【図１２】第３の実施の形態における画像復号化装置のブロック図
【図１３】ランダムアクセステーブルの図
【図１４】ランダムアクセスヘッダの構成の図
【図１５】第４の実施の形態における画像符号化装置のブロック図
【図１６】第５の実施の形態における画像復号化装置のブロック図
【図１７】第６の実施の形態における画像復号化装置のブロック図
【図１８】復号化状況蓄積テーブルの説明図
【図１９】符号化データ選択部（１７０５）の状態テーブルの図
【図２０】符号化データ選択部（１７０５）の出力データテーブルの図
【図２１】第７の実施の形態における画像復号化装置のブロック図
【図２２】符号化データ選択部（２１０４）の状態テーブルの図
【図２３】符号化データ選択部（２１０４）の出力データテーブルの図
【図２４】第８の実施の形態における画像復号化装置のブロック図
【図２５】符号化データ選択部（２４０５）の状態テーブルの図
【図２６】符号化データ選択部（２４０５）の出力データテーブルの図
【図２７】予測テーブルの図
【図２８】予測符号化データ選択部（２４０９）の状態テーブルの図
【図２９】予測符号化データ選択部（２４０９）の出力データテーブルの図
【図３０】第８の実施の形態における画像符号化装置のブロック図
【図３１】エピポーラ拘束の説明図
【図３２】異なる二つの撮影位置の説明図
【図３３】エピポーラパラメータの付加された画像データの図
【図３４】拘束予測符号化部のフローチャート
【図３５】拘束された動き推定方法の説明図
【図３６】拘束予測符号化データの図
【図３７】第９の実施の形態における画像復号化装置のブロック図
【図３８】拘束予測復号化部のフローチャート
【図３９】第１０の実施の形態における画像符号化装置のブロック図
【図４０】撮影位置と光源位置を付加した画像データの図
【図４１】参照予測グループごとに整列された撮影位置データと光源位置データと画像データの図
【図４２】参照予測グループごとに整列された撮影位置データと光源位置データと符号化データの図
【図４３】参照関係テーブル作成部（３９１１）の出力する参照関係テーブルの図
【図４４】参照関係テーブル作成部（３９１１）の出力する符号化データの図
【図４５】第１０の実施の形態における画像復号化装置のブロック図
【符号の説明】
１０１  撮影位置制御型画像撮像部
１０２  サーボモータ
１０３  カメラ
１０４  計算機
１０５  参照予測グループ化部
１０６  参照画像符号化部
１０７  再構成参照画像蓄積部
１０８  予測画像符号化部
１０９  参照関係テーブル作成部
１１０  データ記録・伝送部
２０１  輝度プレーン
２０２  色差１プレーン
２０３  色差２プレーン
２０４  アルファプレーン
４０１  参照画像
４０２  予測画像
１１０１  データ記録・伝送部
１１０２  符号化データ選択部
１１０３  参照画像復号化部
１１０４  再構成参照画像蓄積部
１１０５  予測画像復号化部
１１０６  画像表示部
１２０１  データ記録・伝送部
１２０２  ランダムアクセステーブル作成部
１２０３  符号化データ選択部
１２０４  画像要求部
１２０５  参照画像復号化部
１２０６  再構成参照画像蓄積部
１２０７  予測画像復号化部
１２０８  画像表示部
１５０１  撮影位置制御型画像撮像部
１５０２  参照予測グループ化部
１５０３  参照画像符号化部
１５０４  再構成参照画像蓄積部
１５０５  予測画像符号化部
１５０６  参照関係テーブル作成部
１５０７  ランダムアクセステーブル作成部
１５０８  データ記録・伝送部
１６０１  データ記録・伝送部
１６０２  符号化データ選択部
１６０３  画像要求部
１６０４  参照画像復号化部
１６０５  再構成参照画像蓄積部
１６０６  予測画像復号化部
１６０７  画像表示部
１７０１  データ記録・伝送部
１７０２  画像要求監視部
１７０３  画像要求蓄積部
１７０４  復号化状況蓄積部
１７０５  符号化データ選択部
１７０６  参照画像復号化部
１７０７  再構成参照画像蓄積部
１７０８  変形参照画像復号化部
１７０９  変形参照画像蓄積部
１７１０  予測画像復号化部
１７１１  再構成予測画像蓄積部
１７１２  出力画像選択部
１７１３  画像表示部
１８０１  復号化状況テーブル
１８０２  復号化レベルテーブル
２００１  出力データ書式
２００２  出力データテーブル
２１０１  データ記録・伝送部
２１０２  画像要求部
２１０３  画像蓄積検査部
２１０４  符号化データ選択部
２１０５  参照画像復号化部
２１０６  予測画像復号化部
２１０７  参照予測画像復号化部
２１０８  再構成参照画像群蓄積部
２１０９  再構成予測画像群蓄積部
２１１０  出力画像選択部
２１１１  画像表示部
２４０１  データ記録・伝送部
２４０２  画像要求監視部
２４０３  画像要求蓄積部
２４０４  前回画像要求蓄積部
２４０５  符号化データ選択部
２４０６  参照画像復号化部１
２４０７  予測画像復号化部１
２４０８  参照予測画像復号化部１
２４０９  予測符号化データ選択部
２４１０  参照画像復号化部２
２４１１  予測画像復号化部２
２４１２  参照予測画像復号化部２
２４１３  再構成参照画像群蓄積部
２４１４  再構成予測画像群蓄積部
２４１５  画像表示部
３００１  撮影位置制御型画像撮像部
３００２  サーボモータ
３００３  カメラ
３００４  計算機
３００５  参照予測グループ化部
３００６  参照画像符号化部
３００７  再構成参照画像蓄積部
３００８  変形拘束式推定部
３００９  拘束予測画像符号化部
３０１０  参照関係テーブル作成部
３０１１  データ記録・伝送部
３７０１  データ記録・伝送部
３７０２  符号化データ選択部
３７０３  参照画像復号化部
３７０４  再構成参照画像蓄積部
３７０５  拘束予測画像復号化部
３７０６  画像表示部
３９０１  撮影位置光源位置制御型画像撮像部
３９０２  サーボモータ１
３９０３  カメラ
３９０４  サーボモータ２
３９０５  光源
３９０６  計算機
３９０７  参照予測グループ化部
３９０８  参照画像符号化部
３９０９  再構成参照画像蓄積部
３９１０  予測画像符号化部
３９１１  参照関係テーブル作成部
３９１２  データ記録・伝送部
４５０１  データ記録・伝送部
４５０２  符号化データ選択部
４５０３  参照画像復号化部
４５０４  再構成参照画像蓄積部
４５０５  予測画像復号化部
４５０６  中間画像生成部
４５０７  画像表示部
【図１】
0004013286.tif 000033
【図２】
0004013286.tif 000034
【図３】
0004013286.tif 000035
【図４】
0004013286.tif 000036
【図５】
0004013286.tif 000037
【図６】
0004013286.tif 000038
【図７】
0004013286.tif 000039
【図８】
0004013286.tif 000040
【図９】
0004013286.tif 000041
【図１０】
0004013286.tif 000042
【図１１】
0004013286.tif 000043
【図１２】
0004013286.tif 000044
【図１３】
0004013286.tif 000045
【図１４】
0004013286.tif 000046
【図１５】
0004013286.tif 000047
【図１６】
0004013286.tif 000048
【図１７】
0004013286.tif 000049
【図１８】
0004013286.tif 000050
【図１９】
0004013286.tif 000051
【図２０】
0004013286.tif 000052
【図２１】
0004013286.tif 000053
【図２２】
0004013286.tif 000054
【図２３】
0004013286.tif 000055
【図２４】
0004013286.tif 000056
【図２５】
0004013286.tif 000057
【図２６】
0004013286.tif 000058
【図２７】
0004013286.tif 000059
【図２８】
0004013286.tif 000060
【図２９】
0004013286.tif 000061
【図３０】
0004013286.tif 000062
【図３１】
0004013286.tif 000063
【図３２】
0004013286.tif 000064
【図３３】
0004013286.tif 000065
【図３４】
0004013286.tif 000066
【図３５】
0004013286.tif 000067
【図３６】
0004013286.tif 000068
【図３７】
0004013286.tif 000069
【図３８】
0004013286.tif 000070
【図３９】
0004013286.tif 000071
【図４０】
0004013286.tif 000072
【図４１】
0004013286.tif 000073
【図４２】
0004013286.tif 000074
【図４３】
0004013286.tif 000075
【図４４】
0004013286.tif 000076
【図４５】
0004013286.tif 000077