(57)【要約】【課題】２次元画像情報から光線空間を介して画像情報（予測画像）を作成するにあたり，２次元画像情報の画素位置にある画像情報から，画像作成位置の画像情報を直接作成することを可能とする。【解決手段】画像蓄積メモリ303 に，画像情報の作成に参照する画像情報とＮ次元光線空間における位置情報とを格納しておく。２次元参照画像選択部305 は，画像蓄積メモリ303 内の２次元参照画像を選択する。画像作成位置指定部316 は，画像を作成する位置情報を指定する。参照画素選択部307 は，この位置情報に基づいて参照画素を選択する。平均予測画像作成部313 は，重み付け情報を用いて平均予測画像を作成し，平均予測画像メモリ314 に蓄積する。同様に他の２次元参照画像を用いた平均予測画像の作成も行い，再帰的平均予測画像作成部315 によりそれらの平均予測画像から画像情報を作成する。【選択図】図１２
2005301781.tif 000002
【特許請求の範囲】
【請求項１】
画像蓄積メモリに格納されたＮ次元光線空間における位置情報を含む２次元画像情報を参照して，Ｎ次元光線空間における指定位置の画像情報を作成する画像作成方法であって，
Ｎ次元光線空間における画像作成対象位置に依存して，前記画像蓄積メモリに格納された２次元画像情報のうち，画像作成に使用する参照画素を選択する参照画素選択ステップと，
参照画素位置の画像情報を参照することにより，指定位置の予測画像を作成する予測画像作成ステップと，
を実行することを特徴とする画像作成方法。
【請求項２】
画像蓄積メモリに格納されたＮ次元光線空間における位置情報を含む２次元画像情報を参照して，Ｎ次元光線空間における指定位置の画像情報を作成する画像作成方法であって，
前記画像蓄積メモリに格納された複数の２次元画像情報から２次元参照画像情報を選択する２次元参照画像選択ステップと，
Ｎ次元光線空間における画像作成対象位置に依存して，前記２次元参照画像情報のうち，画像作成に使用する複数の参照画素を選択する参照画素選択ステップと，
複数の参照画素位置の画像情報を重み付け平均して予測画像を作成する予測画像作成ステップと，
を実行することを特徴とする画像作成方法。
【請求項３】
請求項１または請求項２に記載の画像作成方法であって，
複数の２次元画像情報に対して前記予測画像作成ステップを実行して複数の予測画像を作成するステップと，
作成した複数の予測画像を重み付け平均して更に予測画像を作成する再帰的平均予測画像作成ステップと，
を実行することを特徴とする画像作成方法。
【請求項４】
請求項１または請求項２または請求項３に記載の画像作成方法を使って，複数の２次元画像を符号化する画像符号化方法であって，
前記画像作成方法を使って予測画像を作成する予測画像作成ステップと，
作成した予測画像を用いてフレーム間予測符号化を行うフレーム間予測符号化ステップと，
を実行することを特徴とする画像符号化方法。
【請求項５】
請求項４に記載の画像符号化方法であって，
Ｎ次元光線空間における画像作成対象位置に対する，前記参照画素選択ステップで選択する参照画素位置情報の相対位置情報を符号化する参照画素位置符号化ステップを実行することを特徴とする画像符号化方法。
【請求項６】
請求項２または請求項３に記載の画像作成方法を使って，複数の２次元画像を符号化する画像符号化方法であって，
前記画像作成方法を使って予測画像を作成する予測画像作成ステップと，
作成した予測画像を用いてフレーム間予測符号化を行うフレーム間予測符号化ステップと，
前記予測画像の作成における重み付け平均に用いた重み付け係数情報を符号化する重み付け情報符号化ステップと，
を実行することを特徴とする画像符号化方法。
【請求項７】
請求項６に記載の画像符号化方法であって，
前記重み付け係数情報を，既に符号化された画素位置で選択された重み付け係数情報から予測する重み付け情報予測ステップを実行することを特徴とする画像符号化方法。
【請求項８】
請求項１または請求項２または請求項３に記載の画像作成方法を使って，複数の２次元画像を復号する画像復号方法であって，
前記画像作成方法を使って予測画像を作成する予測画像作成ステップと，
作成した予測画像を用いてフレーム間予測復号を行うフレーム間予測復号ステップと，
を実行することを特徴とする画像復号方法。
【請求項９】
請求項８に記載の画像復号方法であって，
Ｎ次元光線空間における画像作成対象位置に対する，前記参照画素選択ステップで選択する参照画素位置の相対位置情報を復号する参照画素位置復号ステップを実行することを特徴とする画像復号方法。
【請求項１０】
請求項２または請求項３に記載の画像作成方法を使って，複数の２次元画像を復号する画像復号方法であって，
前記画像作成方法による予測画像の作成の重み付け平均に用いる重み付け係数情報を復号する重み付け情報復号ステップと，
前記画像作成方法を使って予測画像を作成する予測画像作成ステップと，
作成した予測画像を用いてフレーム間予測復号を行うフレーム間予測復号ステップと，
を実行することを特徴とする画像復号方法。
【請求項１１】
請求項１０に記載の画像復号方法であって，
前記重み付け係数情報を，既に復号された画素位置で選択された重み付け係数情報から予測する重み付け情報予測ステップを実行することを特徴とする画像復号方法。
【請求項１２】
２次元画像情報を使ってＮ次元光線空間における指定位置の画像情報を作成する画像作成装置であって，
Ｎ次元光線空間における位置情報を含む２次元画像情報を格納する画像蓄積メモリと，
Ｎ次元光線空間における画像作成対象位置に依存して，前記画像蓄積メモリに格納された２次元画像情報のうち，画像作成に使用する参照画素を選択する参照画素選択部と，
参照画素位置の画像情報を参照することにより，指定位置の予測画像を作成する予測画像作成部と，
を備えることを特徴とする画像作成装置。
【請求項１３】
２次元画像情報を使ってＮ次元光線空間における指定位置の画像情報を作成する画像作成装置であって，
Ｎ次元光線空間における位置情報を含む複数の２次元画像情報を格納する画像蓄積メモリと，
前記画像蓄積メモリに格納された複数の２次元画像情報から２次元参照画像情報を選択する２次元参照画像選択部と，
Ｎ次元光線空間における画像作成対象位置に依存して，前記２次元参照画像情報のうち，画像作成に使用する複数の参照画素を選択する参照画素選択部と，
複数の参照画素位置の画像情報を重み付け平均して予測画像を作成する予測画像作成部と，
を備えることを特徴とする画像作成装置。
【請求項１４】
複数の２次元画像を符号化する画像符号化装置であって，
Ｎ次元光線空間における位置情報を含む２次元画像情報を格納する画像蓄積メモリと，
Ｎ次元光線空間における画像作成対象位置に依存して，前記画像蓄積メモリに格納された２次元画像情報のうち，画像作成に使用する参照画素を選択する参照画素選択部と，
参照画素位置の画像情報を参照することにより，指定位置の予測画像を作成する予測画像作成部と，
作成した予測画像と原画像との間の予測残差を符号化する予測残差符号化部と，
を備えることを特徴とする画像符号化装置。
【請求項１５】
複数の２次元画像を符号化する画像符号化装置であって，
Ｎ次元光線空間における位置情報を含む２次元画像情報を格納する画像蓄積メモリと，
Ｎ次元光線空間における画像作成対象位置に依存して，前記画像蓄積メモリに格納された２次元画像情報のうち，画像作成に使用する参照画素を選択する参照画素選択部と，
複数の参照画素位置の画像情報を重み付け平均して予測画像を作成する予測画像作成部と，
作成した予測画像と原画像との間の予測残差を符号化する予測残差符号化部と，
を備えることを特徴とする画像符号化装置。
【請求項１６】
複数の２次元画像を符号化する画像符号化装置であって，
Ｎ次元光線空間における位置情報を含む２次元画像情報を格納する画像蓄積メモリと，
Ｎ次元光線空間における画像作成対象位置に依存して，前記画像蓄積メモリに格納された２次元画像情報のうち，画像作成に使用する参照画素を選択する参照画素選択部と，
参照画素位置の画像情報を参照することにより，指定位置の予測画像を作成する予測画像作成部と，
複数の予測画像を重み付け平均して更に予測画像を作成する再帰的平均予測画像作成部と，
作成した予測画像と原画像との間の予測残差を符号化する予測残差符号化部と，
を備えることを特徴とする画像符号化装置。
【請求項１７】
請求項１５または請求項１６に記載の画像符号化装置であって，
前記重み付け係数情報を，既に符号化された画素位置で選択された重み付け係数情報から予測する重み付け情報予測部を備えることを特徴とする画像符号化装置。
【請求項１８】
複数の２次元画像を復号する画像復号装置であって，
既に復号されたＮ次元光線空間における位置情報を含む２次元画像情報を格納する画像蓄積メモリと，
Ｎ次元光線空間における画像作成対象位置に依存して，前記画像蓄積メモリに格納された２次元画像情報のうち，画像作成に使用する参照画素を選択する参照画素選択部と，
参照画素位置の画像情報を参照することにより，指定位置の予測画像を作成する予測画像作成部と，
予測残差を復号する予測残差復号部と，
作成した予測画像と予測残差とから復号画像を作成する復号画像作成部と，
を備えることを特徴とする画像復号装置。
【請求項１９】
複数の２次元画像を復号する画像復号装置であって，
既に復号されたＮ次元光線空間における位置情報を含む２次元画像情報を格納する画像蓄積メモリと，
Ｎ次元光線空間における画像作成対象位置に依存して，前記画像蓄積メモリに格納された２次元画像情報のうち，画像作成に使用する参照画素を選択する参照画素選択部と，
複数の参照画素位置の画像情報を重み付け平均して予測画像を作成する平均予測画像作成部と，
予測残差を復号する予測残差復号部と，
作成した予測画像と予測残差とから復号画像を作成する復号画像作成部と，
を備えることを特徴とする画像復号装置。
【請求項２０】
複数の２次元画像を復号する画像復号装置であって，
既に復号されたＮ次元光線空間における位置情報を含む２次元画像情報を格納する画像蓄積メモリと，
Ｎ次元光線空間における画像作成対象位置に依存して，前記画像蓄積メモリに格納された２次元画像情報のうち，画像作成に使用する参照画素を選択する参照画素選択部と，
参照画素位置の画像情報を参照することにより，指定位置の予測画像を作成する予測画像作成部と，
複数の予測画像を重み付け平均して更に予測画像を作成する再帰的平均予測画像作成部と，
予測残差を復号する予測残差復号部と，
作成した予測画像と予測残差とから復号画像を作成する復号画像作成部と，
を備えることを特徴とする画像復号装置。
【請求項２１】
請求項１９または請求項２０に記載の画像復号装置であって，
前記重み付け係数情報を，既に符号化された画素位置で選択された重み付け係数情報から予測する重み付け情報予測部を備えることを特徴とする画像復号装置。
【請求項２２】
請求項１，請求項２または請求項３に記載の画像作成方法を，コンピュータに実行させるための画像作成プログラム。
【請求項２３】
請求項４，請求項５，請求項６または請求項７に記載の画像符号化方法を，コンピュータに実行させるための画像符号化プログラム。
【請求項２４】
請求項８，請求項９，請求項１０または請求項１１に記載の画像復号方法を，コンピュータに実行させるための画像復号プログラム。
【請求項２５】
請求項１，請求項２または請求項３に記載の画像作成方法を，コンピュータに実行させるためのプログラムを，コンピュータ読み取り可能な記録媒体に記録したことを特徴とする画像作成プログラム記録媒体。
【請求項２６】
請求項４，請求項５，請求項６または請求項７に記載の画像符号化方法を，コンピュータに実行させるためのプログラムを，コンピュータ読み取り可能な記録媒体に記録したことを特徴とする画像符号化プログラム記録媒体。
【請求項２７】
請求項８，請求項９，請求項１０または請求項１１に記載の画像復号方法を，コンピュータに実行させるためのプログラムを，コンピュータ読み取り可能な記録媒体に記録したことを特徴とする画像復号プログラム記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，画像作成方法，画像符号化方法，画像復号方法，画像作成装置，画像符号化装置，画像復号装置，画像作成プログラム，画像符号化プログラム，画像復号プログラムおよびそれらのプログラム記録媒体に関し，特に，視点位置や視線方向を変更することを可能とする映像通信と映像配信と映像蓄積に関する技術である。
【背景技術】
【０００２】
複数のカメラ入力映像を予め持っていれば，入力映像を切り替えることによって視点位置と視線方向を変更することが可能である。これらは撮影した位置での映像が得られるが，さらに撮影されていない視点位置や視線方向の映像を生成する技術が提案されている。例えば，下記の非特許文献１では，複数のカメラ入力画像から光線空間を生成して，その光線空間から画像情報を取り出すことにより，撮影されていない視点位置または視線方向の映像を生成する手法が提案されている。
【０００３】
ここで，任意視点の映像を生成するための画像情報の符号化方法としては，カメラ入力映像を符号化対象とする手法と，光線空間を符号化対象とする手法に分類できる。カメラ入力映像を符号化対象とする手法としては，単純にカメラ入力映像を個別に符号化する手法が考えられる。カメラ入力映像を符号化対象とする場合には，復号側にてカメラ入力画像を光線空間に写像する必要があり，光線空間を符号化対象とする場合には，符号化側にてカメラ入力画像を光線空間に写像する必要がある。
【０００４】
光線空間を符号化対象とする手法としては，例えば下記の非特許文献２が挙げられる。この手法では，多次元の光線空間を多次元サブバンド分割して複数のレイヤ構造にして，各レイヤを符号化する。
【０００５】
ここで複数のカメラ入力画像から光線空間を作成する手法を示す。図１のようにｃ１〜ｃ３の３台のカメラが水平方向に並んでいるとする。図中，１０，１１は被写体である。このとき実空間上での面をＰとし，Ｐの水平方向をＸ軸，Ｐの垂直方向をＹ軸，Ｐからカメラ方向をＺ軸とする。面Ｐを通過する光線の位置を（ｘ，ｙ）として，光線の方向を（θ，φ）とする。Ｐを通る光線の強度は４次元量（ｘ，ｙ，θ，φ）で定義される。すなわち，ここでの光線空間は４次元である。以後は，説明を簡略にするため，カメラを通過するＹ軸に垂直な面上で定義を説明する。
【０００６】
このとき図２に示すように，面Ｐとカメラとの実空間での距離をＤとし，視野角をαとすると，カメラは実空間で幅Ｗの画像情報を撮影することになる。実空間でのカメラ間隔をＡとする。ＤとＷの間には式（１）の関係がある。
【０００７】
Ｗ＝２・Ｄ・ｔａｎ（α）          （１）
ここで得られる画像情報を光線空間に写像する。写像した例を図３に示す。ここでは，横軸がｘであり，縦軸がｕ＝ｔａｎ（θ）の空間である。４次元の光線空間のうちｙ＝０，φ＝０の面での断面を見ていることに相当する。各カメラの画像情報は，図３のように写像される。ここで隣り合う画像情報の，ｘ軸との交点間をａとし，画像情報の幅をｗとする。光線空間でのａとｗと，実空間のＡとＷとの間には比例関係があり，光線空間でのｗは次の式（２）で示される。
【０００８】
ｗ＝Ｗ・ａ／Ａ                    （２）
ここで，光線空間のｗは式（２）で計算されるため，撮影された画像情報の画素数とは無関係に計算される。従って，撮影された画像情報を実数精度で光線空間へ写像することになる。
【０００９】
光線空間より任意視点の画像情報を作成する手法を示す。例えば図３の光線空間があるときに，図４に示すカメラ位置（Ｑ点）の画像情報を生成する場合を示す。図４に示すカメラ位置（Ｑ点）は光線空間を構築する面Ｐよりも遠い位置にあるため，面Ｐを通る光線の角度は小さくなり，図５に示すような位置に対応する画像情報が存在することになる。この位置の画像情報を光線空間から取り出すことにより，図４に示すカメラ位置（Ｑ点）での画像情報を生成する。
【００１０】
画像情報を取り出すにあたり，画像情報の存在しない光線空間位置では，情報の存在する光線位置の情報を使って補間により作成する。補間方法としては，例えば下記の非特許文献３のように，隣接する画像情報を使って補間する手法が提案されている。
【００１１】
以上のような視点位置や視線方向を変更した映像を得るためには，撮影に使用したカメラの位置情報が必要である。世界座標系におけるカメラの位置情報を示す方法に，米国のテレビ標準規格“SMPTE 315M-1999 SMPTE STANDARD for Television--Camera Positioning Information Conveyed by Ancillary Data Packets”がある。
【００１２】
この方法によればカメラで映像を撮影したときに，それを撮影した位置情報を表現することができ，撮影された画像情報と合わせて位置情報を記録蓄積することができる。この規格では，さらにカメラパラメータを規定している。これらの位置情報やカメラパラメータは，上記の撮影されていない視点位置や視線方向の映像を生成する技術において必要な情報である。
【非特許文献１】藤井，木本，谷本：“光線群表現における３次元空間情報の圧縮”，３次元画像コンファレンス'96, pp.1-6(1996.7).
【非特許文献２】M.Tanimoto,S.Sakaguchi,T.Kobayashi,T.Fujii,T.Kimoto,"The Hierarchical Ray Space for 3-D Imaging",EVA2000 Florence(2000.3).
【非特許文献３】小林，藤井，木本，谷本：“適応フィルタを用いた光線空間データ補間”，３次元画像コンファレンス'99, pp.25-30(1999.7).
【発明の開示】
【発明が解決しようとする課題】
【００１３】
撮影されていない視点位置や視線方向の映像を生成する技術では，カメラ入力画像情報を光線空間へ写像する。このとき，カメラ入力画像情報の画素位置は，光線空間では実数精度位置である。従って，光線空間の整数画素位置の画像情報を，周囲の実数精度位置の画像情報から作成する。この変換によって，一般的にカメラ入力映像情報の高周波情報が失われる。このため光線空間から生成される映像には，高周波情報が無くボケた映像となる問題がある。
【００１４】
逆に，光線空間上で実数精度で画像情報を持つとすると，その位置情報を実数精度で記録しておく必要があるため膨大なメモリ量を必要とし，さらに実数精度の位置情報を扱うため演算処理が膨大になる問題がある。
【００１５】
本発明は，上記従来技術の問題点を解決し，２次元画像情報の画素位置にある画像情報から，画像作成位置の画像情報を直接作成することができ，かつ品質の良い画像情報を作成することができるようにすることを目的とする。
【課題を解決するための手段】
【００１６】
以上の課題を解決するため，第１の本発明は，２次元画像情報を使ってＮ次元光線空間における指定位置の画像情報（予測画像）を作成する画像作成方法であって，Ｎ次元光線空間における画像作成対象位置に依存して，２次元画像情報のうち画像生成に使用する参照画素を選択する参照画素選択ステップと，参照画素位置の画像情報を使って，指定位置の予測画像を作成する予測画像作成ステップと，を実行することを特徴とする。
【００１７】
第２の本発明で，２次元画像情報を使ってＮ次元光線空間における指定位置の画像情報（予測画像）を作成する画像作成方法であって，複数の２次元画像情報から２次元参照画像情報を選択する２次元参照画像選択ステップと，Ｎ次元光線空間における画像作成対象位置に依存して，２次元参照画像情報のうち画像作成に使用する複数の参照画素を選択する参照画素選択ステップと，複数の参照画素位置の画像情報を重み付け平均して予測画像を作成する平均予測画像作成ステップと，を実行することを特徴とする。
【００１８】
第３の本発明は，第１または第２の本発明の画像作成方法であって，複数の２次元画像情報に対して予測画像作成ステップまたは平均予測画像作成ステップを実行して複数の予測画像を求め，複数の予測画像を重み付け平均してさらに予測画像を作成する再帰的平均予測画像作成ステップを実行することを特徴とする。
【００１９】
第４の本発明は，第１または第２または第３の本発明の画像作成方法を使って，複数の２次元画像を符号化する画像符号化方法であって，前記画像作成方法を使って予測画像を作成して，フレーム間予測符号化を行うフレーム間予測符号化ステップを実行することを特徴とする。
【００２０】
第５の本発明は，第４の本発明の画像符号化方法であって，Ｎ次元光線空間における画像作成対象位置に対する，前記参照画素選択ステップで選択する参照画素位置情報の相対位置情報を符号化する参照画素位置符号化ステップを実行することを特徴とする。
【００２１】
第６の本発明は，第４の本発明の画像符号化方法であって，平均予測画像作成ステップまたは再帰的平均予測画像作成ステップで適用する重み付け係数情報を符号化する重み付け情報符号化ステップを実行することを特徴とする。
【００２２】
第７の本発明は，第６の本発明の画像符号化方法であって，平均予測画像作成ステップまたは再帰的平均予測画像作成ステップで適用する重み付け係数情報を，既に符号化された画素位置で選択された重み付け係数情報から予測する重み付け情報予測ステップを実行することを特徴とする。
【００２３】
また，他の本発明は，第４ないし第７の本発明の画像符号化方法によって符号化されたデータを復号する画像復号方法であり，第１ないし第３の本発明による画像作成方法を使って作成した予測画像をもとに，フレーム間予測復号ステップを実行し復号することを特徴とする。
【００２４】
第１の本発明によれば，２次元画像情報の画素位置にある画像情報から，画像作成位置の画像情報を直接作成することができる。ここで，２次元画像情報の画素位置は，光線空間の画素位置に配置する。配置方法の例として，図３に示した方法に対応した方法を図６に示す。図６に示すように，２次元画像情報の画素位置が必ず光線空間上の画素位置になるように，２次元画像情報の画素を配置する。図６中の破線で示したｕ軸はｘ軸に垂直な光線空間を構成した場合の軸である。このｕ軸に対応した２次元画像情報の光線空間上での位置を破線ｐ１で示している。
【００２５】
２次元画像情報の画素位置が光線空間上の画素位置になるように２次元画像情報の画素を配置するため，図６に実線で示すｕ軸のように，この空間におけるｕ軸は必ずしもｘ軸に垂直にはならない。このような光線空間を２次元画像情報毎に構成する。この発明により，元々２次元画像情報が有する高周波の情報も使用することができ，品質の良い画像情報を作成することができる。ここで作成される画像情報を表示しても良いし，画像符号化処理などの他の画像処理に使用しても良い。
【００２６】
第２の本発明によれば，複数の２次元画像情報がある場合に，画像を作成することに使用する２次元画像情報を選択することができる。Ｎ次元光線空間は時間軸を含むため，過去の２次元画像情報を選択することも可能である。これにより，より多くの画素位置から，画像を作成する際に参照する画像情報を選択することができ，品質の良い画像情報を作成することができる。
【００２７】
第３の本発明によれば，第１の本発明において作成される画像情報を，さらに重み付け平均することができる。これにより，より多くの画素位置から，画像を作成する際に選択することができ，品質の良い画像情報を作成することができる。このとき各２次元画像情報について，図６のように２次元画像情報が光線空間の整数画素位置に配置されるように光線空間は構成される。
【００２８】
第４の本発明によれば，第１，第２または第３の本発明において作成される画像情報を，フレーム間予測符号化時の予測画像に使用することができる。Ｎ次元の光線空間から予測画像を作成できるため，従来の２次元の画像情報から予測画像を作成するフレーム間予測符号化よりも予測効率を向上することができ，結果的に符号化効率を向上させることができる。
【００２９】
ここで，複数の２次元画像情報から参照する２次元画像情報を選択する場合には，その２次元画像情報を指定する情報を合わせて符号化しても良い。このとき，２次元画像情報を指定する情報は，符号化対象画像を分割したブロック単位に指定しても良い。また，複数の参照画素位置の画像情報を重み付け平均して予測画像を作成しても良い。また作成された予測画像情報をさらに重み付け平均して予測画像を作成しても良い。
【００３０】
第５の本発明によれば，第４の本発明において，２次元画像情報のうち参照する画素位置を指定する情報を符号化することができる。このとき，参照画素位置を指定する情報は，符号化対象画像を分割したブロック単位に指定しても良い。
【００３１】
第６の本発明によれば，第４の本発明において，予測画像を作成する際に使用する重み付け平均を示す情報を符号化することができる。この重み付け平均の係数を符号化しても良いし，予め複数の重み付け平均の係数を設定しておき，そのインデックスを符号化しても良い。予め複数の重み付け平均の係数を設定する場合には，その係数を符号化方法と復号方法との間で予め設定しておいても良いし，例えばスライス単位に符号化して更新しても良い。このとき，重み付け平均の係数は符号化対象画像を分割したブロック単位に指定しても良い。
【００３２】
第７の本発明によれば，第６の本発明において，予測画像を作成する際に使用する重み付け平均の係数を既に符号化された画素位置の係数から予測することができる。これにより，重み付け平均の係数を符号化するために必要な符号量を削減することができる。
【発明の効果】
【００３３】
本発明によれば，２次元画像情報から光線空間を介して画像情報を作成するにあたり，２次元画像情報の画素位置にある画像情報から，画像作成位置の画像情報を直接作成することができるため，元々２次元画像情報が有する高周波の情報も使用することができ，品質の良い画像情報を作成することができる。
【発明を実施するための最良の形態】
【００３４】
本発明の実施の形態を図面を参照して説明する。本発明の第１の実施の形態は，２次元画像情報を入力し，フレーム間予測符号化を適用して画像情報を符号化する画像符号化装置の例である。
【００３５】
２次元画像情報は，縦横８画素で構成される複数のブロックに分割してブロック毎に符号化される。予測画像を過去に符号化した画像情報から作成する例を示す。過去に符号化した画像情報とその光線空間での位置情報を画像蓄積メモリに蓄積しておき，画像作成位置指定部は，符号化対象画像情報の光線空間の位置情報を指定する。
【００３６】
光線空間は５次元であり，位置情報（ｘ，ｙ）と視線方向（θ，φ）と時間ｔを軸とする。２次元画像情報は，実空間で水平面の上で撮影された画像情報とする。なお，光線空間は時間ｔを省いた４次元でも，例えば他の軸を加えた６次元でも良い。ここでは，５次元の光線空間を例に説明する。
【００３７】
画像符号化装置の構成の一例を図７に示す。画像符号化装置１は，２次元画像情報を入力する画像入力部１０１と，画像情報と位置情報を蓄積する画像蓄積メモリ１０４と，画像入力部１０１で入力される画像情報の符号化対象ブロックの位置情報を指定する画像作成位置指定部１０７と，符号化対象ブロックの位置情報を符号化する画像作成位置符号化部１１９と，２次元参照画像を選択する２次元参照画像選択部１０５と，２次元参照画像を指定する情報を符号化する２次元参照画像符号化部１０６と，２次元参照画像情報の中から参照画素を選択する参照画素選択部１０８と，参照画素の位置を指定する情報を符号化する参照画素位置符号化部１０９と，複数の参照画素から予測画像を作成する際の重み付け係数を指定する重み付け情報指定部１１０と，重み付け情報を蓄積する重み付け情報メモリ１１１と，重み付け情報を予測する重み付け情報予測部１１２と，複数の参照画素から予測画像を作成する平均予測画像作成部１１３と，平均予測画像を蓄積する平均予測画像メモリ１１４と，複数の平均予測画像情報から予測画像を作成する再帰的平均予測画像作成部１１５と，重み付け情報を符号化する重み付け情報符号化部１１６と，符号化対象ブロックの符号化モードを決定する符号化モード決定部１１７と，符号化対象ブロックの符号化モードを符号化する符号化モード符号化部１１８と，予測画像と原画像との予測残差を符号化する予測残差符号化部１０２と，予測残差符号化データを復号して復号画像を作成する予測残差復号部１０３とから構成される。
【００３８】
参照画素選択部１０８では，符号化対象ブロックの位置情報を使って，２次元参照画像情報の中から参照画素を選択する。ブロック内には，縦横８画素の合計６４画素が存在する。各画素に対して参照画素を指定するが，符号化対象画素と参照画素との相対位置関係はブロック内で同一にする。各画素に対して３つの参照画素を選択するものとする。
【００３９】
図８は，光線空間における参照画素の選択方法の例を示す図である。参照画素の選択方法と光線空間の距離の計算は，図８に従う。すなわち，符号化対象画素の光線空間位置（図中×印）を通る，ｕ軸に平行な直線が２次元画像情報と交差する点をＫとする。点Ｋに最も近い３つの画素位置を参照画素に選択する。また，符号化対象画素と光線空間の画素との距離は，光線空間の画素位置によって構成される多次元空間上のユークリッド距離を用いる。
【００４０】
重み付け情報指定部１１０では，複数の重み付け係数の組み合わせを用意しておき，それらのうちから選択するものとする。この第１の実施の形態では，２種類の組み合わせを用意しておき，ブロック毎に選択する。再帰的平均予測画像作成部１１５では，符号化対象画素と参照画素との間の光線空間上での距離に対応して平均予測画像を重み付け平均する。Ｍ個の２次元画像情報から予測画像を作成する場合を示す。２次元画像情報ｉに対する第一の参照画素Ｒi と符号化対象画素との距離Ｄi を使用する。
【００４１】
ここで第一の参照画素とは，参照画素選択部１０８で選択される３つの参照画素のうち，重み付け係数の値が最も大きい画素を指す。ここで得られるＤi の大きさに対応して，平均予測画像を重み付け平均する。第一の参照画素Ｒi に対する平均予測画像をＡi とすると，再帰的平均予測画像作成部１１５で作成される予測画像Ｐは，次の式（３）により計算する。
【００４２】
【数１】
2005301781.tif 000003
ここで，距離情報Ｄi は２次元画像情報ｉについて構成される光線空間で定義される値であり，２次元画像情報ｉについて構成される光線空間上での距離がＣi 画素であったとすると，Ｄi は２次元画像情報ｉについて構成される光線空間に特有なスケール値Ｓi を使って式（４）で計算される。
【００４３】
Ｄi ＝Ｃi ・Ｓi                   （４）
画像蓄積メモリ１０４には，既に過去の２次元画像情報の復号画像と位置情報が蓄積されているものとする。
【００４４】
画像蓄積メモリ１０４の構成例を図９に示す。５次元の光線空間内の位置情報を蓄積するために，次元毎に値を蓄積するメモリを用意する。各画素でこの位置情報を設定するため，次元毎に２次元のマトリックスを構成する。これは２次元の画像とみなすことができる。したがって，各２次元画像情報について合計６フレーム分の画像メモリを備える。すなわち，２次元画像情報の画像情報を記憶する画像情報メモリＭ１の他，位置情報ｘメモリＭ２，位置情報ｙメモリＭ３，位置情報θメモリＭ４，位置情報φメモリＭ５，位置情報ｔメモリＭ６の６フレーム分のメモリを備える。各メモリＭ１〜Ｍ６内に四角で示したものが２次元画像情報に相当する。
【００４５】
画像蓄積メモリ１０４は，これを複数フレーム分備えておき，２次元画像情報の画像情報と位置情報とを逐次蓄積する。図９の例では，フレームＦ１〜Ｆ５の５フレーム分蓄積するメモリが用意されている。あらかじめ用意したフレーム数を超えて，新たに２次元画像情報を蓄積する場合には，最も過去に蓄積したフレームの２次元画像情報の画像情報と位置情報とを廃棄して，新しい情報を蓄積する。
【００４６】
画像蓄積メモリ１０４に蓄積された２次元画像情報の例を，図１０に示す。図中，ＥおよびＦは，それぞれ過去の２次元画像情報の復号画像であり，これらは２次元参照画像として用いられる（ここでは説明を簡単にするために２フレーム分の例を示している）。
【００４７】
重み付け情報メモリ１１１には，過去に符号化されたブロックについて，使用された２次元画像情報と，その重み付け係数が蓄積される。重み付け情報予測部１１２では，符号化対象ブロックの左と上と左上と右上の既に符号化されたブロックで，使用された各２次元画像情報について，使用された重み付け情報のうちから最も使用頻度の高いものを，その２次元画像情報についての予測重み付け情報とする。
【００４８】
符号化モード決定部１１７で決定する符号化モードは，平均予測画像作成部１１３で使用する重み付け係数について，重み付け情報予測部１１２で予測される係数を使うのかどうかを示し，再帰的平均予測画像作成部１１５で加算する平均予測画像の数を示す。ここで符号化対象ブロックの符号量が最も少なくなるように符号化モードを決定する。
【００４９】
以上の前提のもとで，２次元画像情報が入力された時の符号化手順を示す。画像入力部１０１は，２次元画像情報を入力してブロックに分割する。以下では，ブロック毎に符号化処理が進められる。
【００５０】
２次元参照画像選択部１０５は，２次元参照画像Ｅを選択する。画像作成位置指定部１０７は，この２次元参照画像で構成される光線空間上での入力画像の位置情報を指定する。画像作成位置符号化部１１９は，この位置情報を符号化する。参照画素選択部１０８は，入力画像の位置情報から参照画素を選択する。
【００５１】
重み付け情報予測部１１２は，重み付け情報メモリ１１１に蓄積された重み付け係数から，予測重み付け情報を決定する。ここで，予測重み付け情報は，重み付け情報指定部１１０が指定するうちの第１の重み付け情報であったとする。
【００５２】
平均予測画像作成部１１３は，この重み付け情報を使って参照画素の重み付け平均を計算し，平均予測画像を作成する。再帰的平均予測画像作成部１１５は，この平均予測画像から予測画像を作成する。予測残差符号化部１０２は，予測画像と原画像との間の予測残差を，フレーム間予測符号化を適用して符号化する。
【００５３】
２次元参照画像符号化部１０６は，参照画像を指定する情報を符号化する。参照画素位置符号化部１０９は，参照画素の位置情報を符号化する。符号化モード決定部１１７は，この時の予測残差と参照画像を指定する情報と参照画素の位置情報と符号化対象ブロックの位置情報についての符号量の合計を計算して，この値を２次元参照画像Ｅの予測重み付け情報での符号量として記録しておく。平均予測画像メモリ１１４には，この時の平均予測画像を蓄積しておく。
【００５４】
重み付け情報符号化部１１６は，予測重み付け情報である第１の重み付け情報を符号化する。符号化モード決定部１１７は，この時の予測残差と参照画像を指定する情報と参照画素の位置情報と符号化対象ブロックの位置情報と重み付け情報についての符号量の合計を計算して，この値を２次元参照画像Ｅの第１の重み付け情報での符号量として記録しておく。
【００５５】
重み付け情報指定部１１０は，第２の重み付け情報を指定する。平均予測画像作成部１１３は，この重み付け情報を使って参照画素の重み付け平均を計算し，平均予測画像を作成する。再帰的平均予測画像作成部１１５は，この平均予測画像から予測画像を作成する。予測残差符号化部１０２は，予測画像と原画像との間の予測残差を，フレーム間予測符号化を適用して符号化する。
【００５６】
２次元参照画像符号化部１０６は，参照画像を指定する情報を符号化する。参照画素位置符号化部１０９は，参照画素の位置情報を符号化する。符号化モード決定部１１７は，この時の予測残差と参照画像を指定する情報と参照画素の位置情報と符号化対象ブロックの位置情報についての符号量の合計を計算して，この値を２次元参照画像Ｅの第２の重み付け情報での符号量として記録しておく。平均予測画像メモリ１１４には，この時の平均予測画像を蓄積しておく。
【００５７】
続いて２次元参照画像選択部１０５は，２次元参照画像Ｆを選択する。画像作成位置指定部１０７は，この２次元参照画像で構成される光線空間上での入力画像の位置情報を指定する。画像作成位置符号化部１１９は，この位置情報を符号化する。参照画素選択部１０８は，入力画像の位置情報から参照画素を選択する。
【００５８】
重み付け情報予測部１１２は，重み付け情報メモリ１１１に蓄積された重み付け係数から，予測重み付け情報を決定する。ここで，重み付け情報メモリ１１１には，２次元参照画像Ｆに対する重み付け情報が蓄積されていないとする。この場合には，重み付け情報を決定できない。符号化モード決定部１１７は，この予測重み付け情報を使った場合の符号量として，想定される範囲の最大値を記録する。
【００５９】
重み付け情報指定部１１０は，第１の重み付け情報を指定する。平均予測画像作成部１１３は，この重み付け情報を使って参照画素の重み付け平均を計算し，平均予測画像を作成する。再帰的平均予測画像作成部１１５は，この平均予測画像から予測画像を作成する。予測残差符号化部１０２は，予測画像と原画像との間の予測残差を，フレーム間予測符号化を適用して符号化する。
【００６０】
２次元参照画像符号化部１０６は，参照画像を指定する情報を符号化する。参照画素位置符号化部１０９は，参照画素の位置情報を符号化する。符号化モード決定部１１７は，この時の予測残差と参照画像を指定する情報と参照画素の位置情報と符号化対象ブロックの位置情報についての符号量の合計を計算して，この値を２次元参照画像Ｆの第１の重み付け情報での符号量として記録しておく。平均予測画像メモリ１１４には，この時の平均予測画像を蓄積しておく。
【００６１】
重み付け情報指定部１１０は，第２の重み付け情報を指定する。平均予測画像作成部１１３は，この重み付け情報を使って参照画素の重み付け平均を計算し，平均予測画像を作成する。再帰的平均予測画像作成部１１５は，この平均予測画像から予測画像を作成する。
【００６２】
予測残差符号化部１０２は，予測画像と原画像との間の予測残差を，フレーム間予測符号化を適用して符号化する。２次元参照画像符号化部１０６は，参照画像を指定する情報を符号化する。参照画素位置符号化部１０９は，参照画素の位置情報を符号化する。符号化モード決定部１１７は，この時の予測残差と参照画像を指定する情報と参照画素の位置情報と符号化対象ブロックの位置情報についての符号量の合計を計算して，この値を２次元参照画像Ｆの第２の重み付け情報での符号量として記録しておく。平均予測画像メモリ１１４には，この時の平均予測画像を蓄積しておく。
【００６３】
続いて，平均予測画像メモリ１１４に蓄積された，２次元参照画像Ｅの第１の重み付け情報での平均予測画像と，２次元参照画像Ｅの第２の重み付け情報での平均予測画像と，２次元参照画像Ｆの第１の重み付け情報での平均予測画像と，２次元参照画像Ｆの第２の重み付け情報での平均予測画像の，各組み合わせについて，再帰的平均予測画像作成部１１５は，予測画像を作成し，予測残差符号化部１０２は，予測画像と原画像との間の予測残差を，フレーム間予測符号化を適用して符号化し，２次元参照画像符号化部１０６は，参照画像を指定する情報を符号化し，参照画素位置符号化部１０９は，参照画素の位置情報を符号化し，重み付け情報符号化部１１６は，重み付け情報を符号化し，符号化モード決定部１１７は，この時の予測残差と参照画像を指定する情報と参照画素の位置情報と符号化対象ブロックの位置情報と重み付け情報についての符号量の合計を計算して，この値をその組み合わせの符号量として記録しておく。合計４組の組み合わせについてこの符号量を求めて記録しておく。
【００６４】
そして符号化モード決定部１１７は，最も符号量の少ない場合を，そのブロックの符号化モードに決定する。符号化モード符号化部１１８は，符号化モードを符号化する。そして決定された符号化モードに対応する平均予測画像を使って，再帰的平均予測画像作成部１１５は，予測画像を作成し，予測残差符号化部１０２は，予測画像と原画像との間の予測残差を，フレーム間予測符号化を適用して符号化し，２次元参照画像符号化部１０６は，参照画像を指定する情報を符号化し，参照画素位置符号化部１０９は，参照画素の相対位置情報を符号化し，画像作成位置符号化部１１９は，符号化対象ブロックの位置情報を符号化し，重み付け情報符号化部１１６は，重み付け情報を符号化する。重み付け情報を重み付け情報メモリ１１１に蓄積する。予測残差復号部１０３は，符号化データを復号して画像蓄積メモリ１０４に蓄積する。以上により符号化対象ブロックを符号化することができる。
【００６５】
次に，画像復号装置の動作手順を示す。画像復号装置の構成の一例を，図１１に示す。画像復号装置２は，画像情報と位置情報を蓄積する画像蓄積メモリ２０３と，復号対象ブロックの位置情報を復号する画像作成位置復号部２１７と，復号対象ブロックの位置情報を指定する画像作成位置指定部２１６と，２次元参照画像を選択する２次元参照画像選択部２０５と，２次元参照画像を指定する情報を復号する２次元参照画像復号部２０４と，２次元参照画像情報の中から参照画素を選択する参照画素選択部２０７と，参照画素の位置を指定する情報を復号する参照画素位置復号部２０６と，複数の参照画素から予測画像を作成する際の重み付け係数を指定する重み付け情報指定部２０８と，重み付け情報を蓄積する重み付け情報メモリ２０９と，重み付け情報を予測する重み付け情報予測部２１０と，複数の参照画素から予測画像を作成する平均予測画像作成部２１３と，平均予測画像を蓄積する平均予測画像メモリ２１４と，複数の平均予測画像情報から予測画像を作成する再帰的平均予測画像作成部２１５と，重み付け情報を復号する重み付け情報復号部２１１と，復号対象ブロックの符号化モードを復号する符号化モード復号部２１２と，予測残差を復号する予測残差復号部２０１と，復号画像を作成する復号画像作成部２０２とで構成される。
【００６６】
以上の前提のもとで，符号化データが入力された時の復号手順を示す。以下では，ブロック毎に復号処理が進められる。符号化モード復号部２１２は，符号化モードを復号し，平均予測画像作成部２１３で使用する重み付け係数について，重み付け情報予測部２１０で予測される係数を使うのかどうかを求め，再帰的平均予測画像作成部２１５で加算する平均予測画像の数を求める。平均予測画像の数によって予測画像を作成する手順が異なる。
【００６７】
（１）平均予測画像の数が１の場合
２次元参照画像復号部２０４は，２次元参照画像を指定する情報を復号する。２次元参照画像選択部２０５は，この情報に基づき，２次元参照画像ＥまたはＦを選択する。参照画素位置復号部２０６は，参照画素の相対位置情報を復号する。画像作成位置指定部２１６は，画像を作成する位置情報を指定する。
【００６８】
参照画素選択部２０７は，この位置情報と参照画素の相対位置情報を使って参照画素を選択する。重み付け情報予測部２１０で予測される係数を使う場合には，重み付け情報復号部２１１で重み付け情報を復号しない。そして重み付け情報予測部２１０は，重み付け情報メモリ２０９に蓄積された重み付け情報から予測重み付け情報を算出して重み付け情報として指定する。
【００６９】
重み付け情報予測部２１０で予測される係数を使わない場合には，重み付け情報復号部２１１で重み付け情報を復号し，重み付け情報指定部２０８は，この重み付け情報を指定する。平均予測画像作成部２１３は，平均予測画像を作成する。再帰的平均予測画像作成部２１５は，予測画像を作成する。
【００７０】
（２）平均予測画像の数が２の場合
２次元参照画像復号部２０４は，第１の２次元参照画像を指定する情報を復号する。２次元参照画像選択部２０５は，この情報に基づき，２次元参照画像ＥまたはＦを選択する。
【００７１】
参照画素位置復号部２０６は，参照画素の相対位置情報を復号する。画像作成位置指定部２１６は，画像を作成する位置情報を指定する。参照画素選択部２０７は，この位置情報と参照画素の相対位置情報を使って参照画素を選択する。重み付け情報予測部２１０で予測される係数を使う場合には，重み付け情報復号部２１１で重み付け情報を復号しない。そして重み付け情報予測部２１０は，重み付け情報メモリ２０９に蓄積された重み付け情報から予測重み付け情報を算出して重み付け情報として指定する。
【００７２】
重み付け情報予測部２１０で予測される係数を使わない場合には，重み付け情報復号部２１１で重み付け情報を復号し，重み付け情報指定部２０８は，この重み付け情報を指定する。平均予測画像作成部２１３は，平均予測画像を作成して平均予測画像メモリ２１４に蓄積する。
【００７３】
２次元参照画像復号部２０４は，第２の２次元参照画像を指定する情報を復号する。２次元参照画像選択部２０５は，この情報に基づき，２次元参照画像ＥまたはＦを選択する。参照画素位置復号部２０６は，参照画素の相対位置情報を復号する。画像作成位置指定部２１６は，画像を作成する位置情報を指定する。
【００７４】
参照画素選択部２０７は，この位置情報と参照画素の相対位置情報を使って参照画素を選択する。重み付け情報予測部２１０で予測される係数を使う場合には，重み付け情報復号部２１１で重み付け情報を復号しない。そして重み付け情報予測部２１０は，重み付け情報メモリ２０９に蓄積された重み付け情報から予測重み付け情報を算出して重み付け情報として指定する。
【００７５】
重み付け情報予測部２１０で予測される係数を使わない場合には，重み付け情報復号部２１１で重み付け情報を復号し，重み付け情報指定部２０８は，この重み付け情報を指定する。平均予測画像作成部２１３は，平均予測画像を作成する。再帰的平均予測画像作成部２１５は，この平均予測画像と，平均予測画像メモリ２１４に蓄積された平均予測画像から予測画像を作成する。
【００７６】
予測残差復号部２０１は，予測残差符号化データを復号して予測残差を求める。復号画像作成部２０２は，予測残差と予測画像から復号画像を作成して出力し，画像蓄積メモリ２０３に蓄積する。以上により復号対象ブロックを復号することができる。
【００７７】
本実施の形態での光線空間の位置情報は，時間情報も含まれており，同じ撮像装置からの画像情報であっても，異なる時間の画像情報であれば，実施の形態に示す手順で符号化しても良い。
【００７８】
本実施の形態では，画像作成位置指定部１０７での位置情報は，光線空間での位置情報を使用したが，実空間上での撮像装置の位置情報を使っても良い。
【００７９】
２次元画像情報をロスレス符号化する場合には，予測残差復号部１０３は，必要ではなく，画像入力部１０１で得られる画像情報を画像蓄積メモリ１０４に蓄積しておけば良い。また，画像蓄積メモリ１０４には，画像入力部１０１からの画像情報を蓄積するのではなく，予め蓄積しておいても良い。
【００８０】
参照画素選択部１０８では，符号化対象ブロック内の各画素において，符号化対象画素と参照画素との相対位置関係はブロック内で同一にしたが，異なっていても良い。この場合，各画素について参照画素の位置情報を指定しても良いし，ブロックを４等分したサブブロック単位に指定しても良い。同様に，重み付け情報指定部１１０では，重み付け係数をブロック毎に選択したが，各画素やサブブロック単位に指定しても良い。
【００８１】
本実施の形態では，参照画素位置をブロック毎に選択して，その情報を符号化したが，これを実空間上での撮像装置の位置情報を使って計算しても良い。この場合には，予め設定した条件に従って撮像装置の位置情報から計算する。このため，画像符号化装置１には参照画素位置符号化部１０９を備えず，画像復号装置２には参照画素位置復号部２０６を備えない。例えば，符号化対象画素について，撮像装置の位置情報から光線空間上での位置情報を決定し，その光線空間上で既に画像蓄積メモリに蓄積されている画像情報のうち，最も距離の近い画素を参照画素として選択するようにしても良い。なお，撮像装置の位置情報を符号化または復号する構成にしても良く，この場合には，画像符号化装置１で使った撮像装置の位置情報を符号化し，画像復号装置２で復号して得られる位置情報を使って参照画素位置を計算する。
【００８２】
２次元参照画像選択部１０５では，２次元参照画像をブロック毎に選択したが，各画素やサブブロック単位に指定しても良い。また参照画素位置を符号化しているため，図８に従って決定される３つの参照画素位置ではなく，他の参照画素位置を使用しても良い。
【００８３】
本実施の形態では，２次元画像情報を参照画像として選択して，その情報を符号化したが，これを予め設定した条件に従って選択しても良い。この場合には，画像符号化装置１には２次元参照画像符号化部１０６を備えず，画像復号装置２には２次元参照画像復号部２０４を備えない。例えば，実空間上での撮像装置の位置情報を使って計算しても良い。符号化対象画素について，撮像装置の位置情報から光線空間上での位置情報を決定し，その光線空間上で既に画像蓄積メモリに蓄積されている２次元画像情報のうち，最も距離の近い画素を持つ２次元画像情報を選択するようにしても良い。なお，撮像装置の位置情報を符号化または復号する構成にしても良く，この場合には画像符号化装置１で使った撮像装置の位置情報を符号化し，画像復号装置２で復号して得られる撮像装置の位置情報を使って参照画素位置を計算する。
【００８４】
本実施の形態における再帰的平均予測画像作成部１１５では，参照画素と符号化対象画素との距離を式（４）により計算したが，画像蓄積メモリ１０４に蓄積される，全ての２次元画像情報についてスケール値Ｓi が同じ値であるならば，式（４）の代わりに式（５）を用いても良い。
【００８５】
Ｄi ＝Ｃi                 （５）
本実施の形態によれば，Ｎ次元の光線空間から予測画像を作成できるため，従来の２次元の画像情報から予測画像を作成するフレーム間予測符号化よりも予測効率を向上させることができ，結果的に符号化効率を向上させることができる。また，２次元画像情報の画素位置にある画像情報から，画像作成位置の画像情報を直接作成することができるため，元々２次元画像情報が有する高周波の情報も使用することができ，品質の良い画像情報を作成することができる。
【００８６】
本実施の形態では，画像蓄積メモリ１０４において，あらかじめ用意したフレーム数を超えて，新たに２次元画像情報を蓄積する場合には，最も過去に蓄積したフレームの２次元画像情報の画像情報と位置情報とを廃棄して，新しい情報を蓄積したが，新しく画像情報を蓄積する際に，どの画像情報を廃棄するのかを指定しても良い。
【００８７】
また，本実施の形態では，画像蓄積メモリ１０４において，２次元画像情報を６フレーム分の画像情報として蓄積したが，この他の方法を用いても良い。例えば，画素毎に画像情報と５次元の位置情報をメモリ上に配置すれば，６種類の情報をメモリ上に連続して蓄積することができる。これを２次元画像情報のすべての画素について，ラスタスキャン順序でメモリ上に蓄積するようにしても良い。
【００８８】
実空間上での撮像装置の位置情報を使って，参照画素位置や２次元参照画像を選択する場合には，画像蓄積メモリには，このような光線位置情報を蓄積しておくのではなく，撮像装置の位置情報のみを蓄積しておいても良い。この場合には，予測画像を生成する際に，撮像装置の位置情報から２次元参照画像の，図６のような光線空間の位置情報を作成する。
【００８９】
本発明の第２の実施の形態は，画像蓄積メモリに蓄積された２次元画像情報から画像情報を生成する画像作成装置に係る実施の形態である。画像作成位置指定部は，符号化対象画像情報の光線空間の位置情報を指定する。光線空間は５次元であり，位置情報（ｘ，ｙ）と視線方向（θ，φ）と時間ｔを軸とする。２次元画像情報は，実空間で水平面の上で撮影された画像情報とする。
【００９０】
画像作成装置の構成の一例を，図１２に示す。画像作成装置３は，画像情報と位置情報を蓄積する画像蓄積メモリ３０３と，画像を生成する位置情報を指定する画像作成位置指定部３１６と，２次元参照画像を選択する２次元参照画像選択部３０５と，２次元参照画像情報の中から参照画素を選択する参照画素選択部３０７と，複数の参照画素から予測画像を作成する際の重み付け係数を指定する重み付け情報指定部３０８と，複数の参照画素から予測画像を作成する平均予測画像作成部３１３と，平均予測画像を蓄積する平均予測画像メモリ３１４と，複数の平均予測画像情報から予測画像を作成する再帰的平均予測画像作成部３１５とで構成される。
【００９１】
参照画素選択部３０７では，生成する画素の位置情報を使って，２次元画像情報の中から参照画素を選択する。重み付け情報指定部３０８では，１組の重み付け係数の組み合わせを用意しておき，それを指定するものとする。再帰的平均予測画像作成部３１５では，生成対象画素と参照画素との間の光線空間上での距離に対応して平均する。計算式は，式（３）を用いる。画像蓄積メモリ３０３には，予め他の２次元画像情報の復号画像と位置情報が蓄積されているものとする。画像蓄積メモリ３０３に蓄積された２次元画像情報は第１の実施の形態と同じく図１０のようになっている。
【００９２】
以上の前提のもとで，画像情報を生成する手順を示す。２次元参照画像選択部３０５は，２次元参照画像Ｅを選択する。画像作成位置指定部３１６は，画像を作成する位置情報を指定する。参照画素選択部３０７は，この位置情報に基づいて参照画素を選択する。重み付け情報指定部３０８は，重み付け情報を指定する。平均予測画像作成部３１３は，平均予測画像を作成して平均予測画像メモリ３１４に蓄積する。
【００９３】
２次元参照画像選択部３０５は，２次元参照画像Ｆを選択する。画像作成位置指定部３１６は，画像を作成する位置情報を指定する。参照画素選択部３０７は，この位置情報に基づいて参照画素を選択する。重み付け情報指定部３０８は，重み付け情報を指定する。平均予測画像作成部３１３は，平均予測画像を作成する。再帰的平均予測画像作成部３１５は，この平均予測画像と，平均予測画像メモリ３１４に蓄積された平均予測画像から画像情報を作成し出力する。以上により画像情報を生成することができる。
【００９４】
本実施の形態では，重み付け情報は１つのみ指定したが，これを複数のうちから選択するようにしても良い。
【００９５】
本実施の形態によれば，２次元画像情報の画素位置にある画像情報から，画像作成位置の画像情報を直接作成することができるため，元々２次元画像情報が有する高周波の情報も使用することができ，品質の良い画像情報を作成することができる。
【００９６】
以上の第１および第２の実施の形態では，平均予測画像作成部で平均予測画像を作成して，さらに再帰的平均予測画像作成部にて，参照画素と符号化対象画素との距離情報を使って予測画像を作成したが，画像生成技術を適用して，参照画素から符号化対象画素の画像情報を作成して，これを予測画像を作成しても良い。
【００９７】
画像生成技術としては，例えば，文献（小林，藤井，木本，谷本：“適応フィルタを用いた光線空間データ補間”，３次元画像コンファレンス'99,pp.25-30(1999.7). ）のように，隣接する参照画素の画像情報から作成する方法や，文献（Mehrdad Panahpour Tehrani, Toshiaki Fujii, Masayuki Tanimoto, "Offset-Block Matching of Multi-view Images for Ray-Space Interpolation", 映像情報メディア学会誌  vol.58, no.4, pp.540-548, 2004. ）のように，光線空間から小領域のルックアップテーブルデータを作成し，適切な小領域を探索して，探索された小領域から画像情報を生成しても良い。また，このルックアップテーブルは，予め画像符号化装置と画像復号装置に備えておいても良い。また，このルックアップテーブルの内容は，ＬＢＧアルゴリズム等の学習アルゴリズムに従って更新しても良い。
【００９８】
また，再帰的平均予測画像作成部では，最大２つの平均予測画像から予測画像を作成したが，より多くの平均予測画像から予測画像を作成しても良い。例えば３フレーム分以上の２次元画像情報から，各フレームで平均予測画像を作成して，それらの平均予測画像を重み付け平均して予測画像を作成しても良い。
【００９９】
また，上記第１および第２の実施の形態では，それぞれ１フレーム分の２次元画像情報を符号化する例および生成する例を示したが，複数フレーム分の２次元画像情報をまとめて符号化しても，または生成しても良い。複数の２次元画像情報をまとめて処理することにより，重み付け情報を共通に使用することができ，重み付け情報の符号量を削減することができる。
【０１００】
また，複数フレーム分をまとめて符号化する場合には，文献（Shih-Ta Hsiang and John W. Woods, "Embedded video coding using invertible motion compensated 3-D subband / wavelet filter bank", Signal Processing: Image Communication, vol.16, pp.705-724,2001. ）にあるように，複数の２次元画像情報をサブバンド符号化により符号化しても良い。
【０１０１】
また，第１および第２の実施の形態で使用した過去の重み付け情報を使って，２次元画像情報を生成しても良い。例えば，図３におけるｃ１とｃ３の２次元画像情報からｃ２の２次元画像情報を作成する際に使用された重み付け情報を使って，ｃ１とｃ２の間にある視点位置の２次元画像情報を生成しても良い。
【０１０２】
以上の画像符号化，復号および画像生成に関する処理は，ハードウェアやファームウェア等を用いて実現することができるだけでなく，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。
【図面の簡単な説明】
【０１０３】
【図１】複数カメラ撮像系の構成例を示す図である。
【図２】撮像系の実空間配置の例を示す図である。
【図３】画像の光線空間配置の例を示す図である。
【図４】任意視点の画像情報の作成例を示す図である。
【図５】画像を作成する光線位置の例を示す図である。
【図６】画像の光線空間配置の例を示す図である。
【図７】第１の実施の形態における画像符号化装置の構成の一例を示す図である。
【図８】光線空間における参照画素の選択方法の例を示す図である。
【図９】画像蓄積メモリの構成例を示す図である。
【図１０】画像の光線空間配置の例を示す図である。
【図１１】第１の実施の形態における画像復号装置の構成の一例を示す図である。
【図１２】第２の実施の形態における画像作成装置の構成の一例を示す図である。
【符号の説明】
【０１０４】
１  画像符号化装置
２  画像復号装置
３  画像作成装置
１０，１１  被写体
１０１  画像入力部
１０２  予測残差符号化部
１０３，２０１  予測残差復号部
１０４，２０３，３０３  画像蓄積メモリ
１０５，２０５，３０５  ２次元参照画像選択部
１０６  ２次元参照画像符号化部
１０７，２１６，３１６  画像作成位置指定部
１０８，２０７，３０７  参照画素選択部
１０９  参照画素位置符号化部
１１０，２０８，３０８  重み付け情報指定部
１１１，２０９  重み付け情報メモリ
１１２，２１０  重み付け情報予測部
１１３，２１３，３１３  平均予測画像作成部
１１４，２１４，３１４  平均予測画像メモリ
１１５，２１５，３１５  再帰的平均予測画像作成部
１１６  重み付け情報符号化部
１１７  符号化モード決定部
１１８  符号化モード符号化部
１１９  画像作成位置符号化部
２０２  復号画像作成部
２０４  ２次元参照画像復号部
２０６  参照画素位置復号部
２１１  重み付け情報復号部
２１２  符号化モード復号部
２１７  画像作成位置復号部
ｃ１，ｃ２，ｃ３  カメラ
【図１】
2005301781.tif 000004
【図２】
2005301781.tif 000005
【図３】
2005301781.tif 000006
【図４】
2005301781.tif 000007
【図５】
2005301781.tif 000008
【図６】
2005301781.tif 000009
【図７】
2005301781.tif 000010
【図８】
2005301781.tif 000011
【図９】
2005301781.tif 000012
【図１０】
2005301781.tif 000013
【図１１】
2005301781.tif 000014
【図１２】
2005301781.tif 000015