(57)【要約】【課題】参照フレームの外側の画像情報を別の参照フレームの画像情報から作成することを可能として符号化効率を向上させる。【解決手段】外部画像作成部１０９が参照画像メモリ１０６から読み込んだ入力画像の参照フレームの外側の画像情報を他の入力画像の参照フレームの画像情報を用いて作成し，動き探索部１０２が動き探索を行い，予測画像作成用の参照フレームと動き情報を設定し，参照画像指定情報符号化部１０８が参照画像指定情報を符号化し，動き情報符号化部１１１が動き情報を符号化し，領域分類部１０３が参照フレームと動き情報に基づき，参照フレーム間の幾何学情報を用いて現マクロブロック内の画像情報を領域に分類し，予測画像作成部１０５が，分類に基づいて参照フレームから予測画像を作成し，差分符号化部１０４が現マクロブロックの画像情報と予測画像との間の差分画像情報を符号化する。【選択図】図１６
2005159824.tif 000002
【特許請求の範囲】
【請求項１】
Ｍフレーム（２≦Ｍ）の参照画像を蓄積しておき，現フレームを分割した領域内の画像情報を，フレーム間予測符号化を用いて符号化する画像符号化方法であって，
予め設定された参照フレーム間の幾何学情報を用いて，前記現フレームを分割した領域内の画像情報をＮ個（２≦Ｎ≦Ｍ）の細領域Ｒｉ（ｉ＝１，２，…，Ｎ）に分類する領域分類ステップと，
前記領域分類ステップで分類された複数の細領域のうち，少なくとも１つの細領域Ｒｉ内の画像情報に対する予測画像を，第ｉ番目の参照フレームの画像情報から作成する予測画像作成ステップと，
前記現フレームを分割した領域内の画像情報と予測画像との差分を符号化する差分符号化ステップとを有する
ことを特徴とする画像符号化方法。
【請求項２】
Ｍフレーム（２≦Ｍ）の参照画像を蓄積しておき，現フレームを分割した領域内の画像情報を，フレーム間予測符号化を用いて符号化する画像符号化方法であって，
予め設定された参照フレーム間の幾何学情報を用いて，第ｉ番目の参照フレームについてフレーム外側の画像情報を，前記第ｉ番目の参照フレーム以外のフレームの画像情報から作成する外部画像作成ステップと，
前記外部画像作成ステップで作成した画像情報または第ｉ番目の参照フレーム内の画像情報と，前記現フレームを分割した領域内の画像情報との差分が最も小さい位置を探索する動き探索ステップと，
前記動き探索ステップで得られる動き情報と，予め設定された参照フレーム間の幾何学情報を用いて，前記現フレームを分割した領域内の画像情報をＮ個（２≦Ｎ≦Ｍ）の細領域Ｒｉ（ｉ＝１，２，…，Ｎ）に分類する領域分類ステップと，
前記現フレームを分割した領域の動き情報を符号化する動き情報符号化ステップと，
前記領域分類ステップで分類された複数の細領域のうち，少なくとも１つの細領域Ｒｉ内の画像情報に対する予測画像を，第ｉ番目の参照フレームの画像情報から作成する予測画像作成ステップと，
前記現フレームを分割した領域内の画像情報と予測画像との差分を符号化する差分符号化ステップとを有する
ことを特徴とする画像符号化方法。
【請求項３】
請求項２に記載の画像符号化方法において，
前記動き探索ステップで得られる動き情報から現フレームと参照フレーム間の幾何学情報を推定する現フレーム幾何推定ステップを有する
ことを特徴とする画像符号化方法。
【請求項４】
請求項１または請求項２に記載の画像符号化方法において，
参照フレーム間の幾何学情報を推定する参照フレーム幾何推定ステップを有する
ことを特徴とする画像符号化方法。
【請求項５】
Ｍフレーム（２≦Ｍ）の参照画像を蓄積しておき，現フレームを分割した領域内の画像情報を，フレーム間予測符号化を用いて復号する画像復号方法であって，
予め設定された参照フレーム間の幾何学情報を用いて，前記現フレームを分割した領域内の画像情報をＮ個（２≦Ｎ≦Ｍ）の細領域Ｒｉ（ｉ＝１，２，…，Ｎ）に分類する領域分類ステップと，
前記領域分類ステップで分類された複数の細領域のうち，少なくとも１つの細領域Ｒｉ内の画像情報に対する予測画像を，第ｉ番目の参照フレームの画像情報から作成する予測画像作成ステップと，
差分画像情報を復号する差分復号ステップと，
予測画像と差分画像情報とから復号画像を作成する復号画像作成ステップとを有する
ことを特徴とする画像復号方法。
【請求項６】
Ｍフレーム（２≦Ｍ）の参照画像を蓄積しておき，現フレームを分割した領域内の画像情報を，フレーム間予測符号化を用いて復号する画像復号方法であって，
前記現フレームを分割した領域の動き情報を復号する動き情報復号ステップと，
前記動き情報復号ステップで得られる動き情報と，予め設定された参照フレーム間の幾何学情報を用いて，前記現フレームを分割した領域内の画像情報をＮ個（２≦Ｎ≦Ｍ）の細領域Ｒｉ（ｉ＝１，２，…，Ｎ）に分類する領域分類ステップと，
前記領域分類ステップで分類された複数の細領域のうち，少なくとも１つの細領域Ｒｉ内の画像情報に対する予測画像を，第ｉ番目の参照フレームの画像情報から作成する予測画像作成ステップと，
差分画像情報を復号する差分復号ステップと，
予測画像と差分画像情報とから復号画像を作成する復号画像作成ステップとを有する
ことを特徴とする画像復号方法。
【請求項７】
請求項５または請求項６に記載の画像復号方法において，
参照フレーム間の幾何学情報を推定する参照フレーム幾何推定ステップを有する
ことを特徴とする画像復号方法。
【請求項８】
Ｍフレーム（２≦Ｍ）の参照画像を蓄積しておき，現フレームを分割した領域内の画像情報を，フレーム間予測符号化を用いて符号化する画像符号化装置であって，
Ｍフレームの参照画像を蓄積する参照画像メモリと，
予め設定された参照フレーム間の幾何学情報を用いて，前記現フレームを分割した領域内の画像情報をＮ個（２≦Ｎ≦Ｍ）の細領域Ｒｉ（ｉ＝１，２，…，Ｎ）に分類する領域分類部と，
前記領域分類部で分類された複数の細領域Ｒｉ内の画像情報に対する予測画像を，第ｉ番目の参照フレームの画像情報から作成する予測画像作成部と，
前記現フレームを分割した領域内の画像情報と予測画像の差分を符号化する差分符号化部とを備える
ことを特徴とする画像符号化装置。
【請求項９】
Ｍフレーム（２≦Ｍ）の参照画像を蓄積しておき，現フレームを分割した領域内の画像情報を，フレーム間予測符号化を用いて符号化する画像符号化装置であって，
Ｍフレームの参照画像を蓄積する参照画像メモリと，
予め設定された参照フレーム間の幾何学情報を用いて，第ｉ番目の参照フレームについてフレーム外側の画像情報を，前記第ｉ番目の参照フレーム以外のフレームの画像情報から作成する外部画像作成部と，
前記外部画像作成部で作成した画像情報または第ｉ番目の参照フレーム内の画像情報と，前記現フレームを分割した領域内の画像情報との差分が最も小さい位置を探索する動き探索部と，
前記動き探索部で得られる動き情報と，予め設定された参照フレーム間の幾何学情報を用いて，前記現フレームを分割した領域内の画像情報をＮ個（２≦Ｎ≦Ｍ）の細領域Ｒｉ（ｉ＝１，２，…，Ｎ）に分類する領域分類部と，
前記現フレームを分割した領域の動き情報を符号化する動き情報符号化部と，
前記領域分類部で分類された複数の細領域Ｒｉ内の画像情報に対する予測画像を，第ｉ番目の参照フレームの画像情報から作成する予測画像作成部と，
前記現フレームを分割した領域内の画像情報と予測画像との差分を符号化する差分符号化部とを備える
ことを特徴とする画像符号化装置。
【請求項１０】
請求項９に記載の画像符号化装置において，
前記動き探索部で得られる動き情報から現フレームと参照フレーム間の幾何学情報を推定する現フレーム幾何推定部を備える
ことを特徴とする画像符号化装置。
【請求項１１】
請求項８または請求項９に記載の画像符号化装置において，
参照フレーム間の幾何学情報を推定する参照フレーム幾何推定部を備える
ことを特徴とする画像符号化装置。
【請求項１２】
Ｍフレーム（２≦Ｍ）の参照画像を蓄積しておき，現フレームを分割した領域内の画像情報を，フレーム間予測符号化を用いて復号する画像復号装置であって，
Ｍフレームの参照画像を蓄積する参照画像メモリと，
予め設定された参照フレーム間の幾何学情報を用いて，前記現フレームを分割した領域内の画像情報をＮ個（２≦Ｎ≦Ｍ）の細領域Ｒｉ（ｉ＝１，２，…，Ｎ）に分類する領域分類部と，
前記領域分類部で分類された複数の細領域Ｒｉ内の画像情報に対する予測画像を，第ｉ番目の参照フレームの画像情報から作成する予測画像作成部と，
差分画像情報を復号する差分復号部と，
予測画像と差分画像情報とから復号画像を作成する復号画像作成部とを備える
ことを特徴とする画像復号装置。
【請求項１３】
Ｍフレーム（２≦Ｍ）の参照画像を蓄積しておき，現フレームを分割した領域内の画像情報を，フレーム間予測符号化を用いて復号する画像復号装置であって，
Ｍフレームの参照画像を蓄積する参照画像メモリと，
前記現フレームを分割した領域の動き情報を復号する動き情報復号部と，
前記動き情報復号部で得られる動き情報と，予め設定された参照フレーム間の幾何学情報を用いて，前記現フレームを分割した領域内の画像情報をＮ個（２≦Ｎ≦Ｍ）の細領域Ｒｉ（ｉ＝１，２，…，Ｎ）に分類する領域分類部と，
前記領域分類部で分類された複数の細領域Ｒｉ内の画像情報に対する予測画像を，第ｉ番目の参照フレームの画像情報から作成する予測画像作成部と，
差分画像情報を復号する差分復号部と，
予測画像と差分画像情報から復号画像を作成する復号画像作成部とを備える
ことを特徴とする画像復号装置。
【請求項１４】
請求項１２または請求項１３に記載の画像復号装置において，
参照フレーム間の幾何学情報を推定する参照フレーム幾何推定部を備える
ことを特徴とする画像復号装置。
【請求項１５】
請求項１から請求項４までのいずれか１項に記載の画像符号化方法をコンピュータに実行させるための画像符号化プログラム。
【請求項１６】
請求項５から請求項７までのいずれか１項に記載の画像復号方法をコンピュータに実行させるための画像復号プログラム。
【請求項１７】
請求項１から請求項４までのいずれか１項に記載の画像符号化方法をコンピュータに実行させるための画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１８】
請求項５から請求項７までのいずれか１項に記載の画像復号方法をコンピュータに実行させるための画像復号プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，フレーム間予測符号化方式を使った，複数フレームの画像符号化／復号技術に関するものである。
【背景技術】
【０００２】
ＭＰＥＧ−１，ＭＰＥＧ−２やＨ．２６１，Ｈ．２６３といった国際標準動画像符号化では，各フレームの出力時刻を符号化する。これらの時刻情報はＴＲ（Temporal Reference）と呼ばれ，フレーム毎に固定長符号化される。システムで基準となる時間間隔を予め設定しておき，その時間間隔とＴＲの積でシーケンス先頭からの時刻を示す。エンコーダでは，入力画像の時刻情報をＴＲに設定して各フレームを符号化し，デコーダでは，各フレームの復号画像をＴＲで指定された時刻に出力する。
【０００３】
他方，一般的に動画像符号化では時間方向の相関を使って高い符号化効率を実現するため，フレーム間予測符号化を用いている。フレームの符号化モードには，フレーム間の相関を使わずに符号化するＩフレームと，過去に符号化した１フレームから予測するＰフレームと，過去に符号化した２フレームから予測することができるＢフレームがある。
【０００４】
Ｂフレームでは，参照画像メモリに２フレーム分の復号画像を蓄積しておく必要がある。特に映像符号化方式Ｈ．２６３とＨ．２６４では，参照画像メモリに２フレーム以上の複数フレーム分の復号画像を蓄積しておき，そのメモリから参照画像を選択して予測することができる。参照画像はブロック毎に選択することができ，参照画像を指定する参照画像指定情報を符号化する。参照画像メモリには，短時間用（ＳＴＲＭ）と長時間用（ＬＴＲＭ）があり，ＳＴＲＭには現フレームの復号画像を蓄積していき，ＬＴＲＭにはＳＴＲＭに蓄積されている画像を選択して蓄積する。なお，ＬＴＲＭとＳＴＲＭの制御方法については，例えば下記の非特許文献１に記載されている。
【０００５】
ＭＰＥＧ−１，ＭＰＥＧ−２のＢフレームでは，より過去のフレームから予測する方法を前方向フレーム間予測と呼び，より未来のフレームから予測する方法を後方向フレーム間予測と呼ぶ。後方向フレーム間予測における参照フレームの表示時刻は，現フレームよりも未来である。この場合には，現フレームを表示した後に後方向フレーム間予測の参照フレームを出力することになる。Ｂフレームで２フレームから予測する場合（両方向フレーム間予測）には，２フレームからの画像情報を補間して１フレーム分の画像情報を作成し，これを予測画像とする。
【０００６】
図１（Ａ）に，後方向フレーム間予測における参照フレームの表示時刻が未来の場合の，動画像の予測関係の例を示す。図１に示す（１）〜（７）は，フレーム番号を表している。第１フレームから第７フレームの符号化モードをＩＢＢＰＢＢＰの順序で符号化する場合には，図１（Ａ）に示す予測関係があるため，実際に符号化する場合には，図１（Ｂ）に示すように１４２３７５６の順序でフレームを符号化する。この場合の符号化されるＴＲの順序は，符号化フレームと同様に１４２３７５６に対応した値となる。
【０００７】
Ｈ．２６４のＢフレームでは，後方向フレーム間予測の概念をＭＰＥＧ−１，ＭＰＥＧ−２よりも拡張しており，後方向フレーム間予測における参照フレームの表示時刻は，現フレームよりも過去であってもよい。この場合には，後方向フレーム間予測の参照フレームの方を先に出力することになる。
【０００８】
上記したように，Ｈ．２６４では参照画像メモリに複数の復号画像を蓄積することができる。そこで前方向フレーム間予測用の参照画像指定情報Ｌ０と，後方向フレーム間予測用の参照画像指定情報Ｌ１を定義しておき，それぞれ独立に前方向フレーム間予測用の参照画像と後方向フレーム間予測用の参照画像を指定する。
【０００９】
ブロック毎に参照画像を指定するため，まずブロックの予測モード（前方向フレーム間予測または後方向フレーム間予測または両方向フレーム間予測）を符号化して，予測モードが前方向フレーム間予測の場合には参照画像指定情報Ｌ０を符号化し，後方向フレーム間予測の場合には参照画像指定情報Ｌ１を符号化し，両方向フレーム間予測の場合には参照画像指定情報Ｌ０と参照画像指定情報Ｌ１を符号化する。
【００１０】
このように定義すると，後方向フレーム間予測における参照フレームの表示時刻は，現フレームよりも未来である必要はない。Ｈ．２６４のＢフレームでは，このように後方向フレーム間予測も過去のフレームを参照画像に指定でき，さらに指定はブロック単位に変更できるため，両方向フレーム間予測の場合を除いて，Ｐフレームと同様な予測画像を作成することができる。
【００１１】
図２（Ａ）に，後方向フレーム間予測における参照フレームの表示時刻が過去の場合の，動画像の予測関係の例を示す。図１の場合と異なり，第１フレームから第７フレームの符号化モードをＩＢＢＰＢＢＰの順序で符号化する場合であっても，図２（Ａ）に示す予測関係があるため，図２（Ｂ）に示すように１４２３５６７の順序でフレームを符号化する。
【００１２】
参照画像指定情報としてＴＲを用いる手法としては，Ｈ．２６３  Ａｎｎｅｘ  ＮのようにＴＲを用いる手法や，Ｈ．２６３  Ａｎｎｅｘ  Ｕのように別途ｉｎｄｅｘを定義する手法も提案されている。ＴＲを用いる場合には，ＴＲは一般的に固定長で符号化されるため，参照画像指定情報の発生頻度を反映しておらず符号化効率が悪い。別途ｉｎｄｅｘを用いる手法では，ｉｎｄｅｘを例えば可変長符号化することにより，参照画像指定情報の発生頻度を反映してエントロピー符号化を行うことができる。
【００１３】
他方，超広角カメラを使って撮影される全方位映像がある。全方位映像の符号化方法として，全方位映像を一度３次元ポリゴンの表面にマッピングし，さらに全ポリゴン平面を矩形の２次元画像にマッピングして，２次元映像として符号化する手法が提案されている。
【００１４】
３次元ポリゴンの形状は任意であるが，例えば下記の非特許文献２では，図３に示すように八面体を用いる手法が提案されている。図３に示す手法では，全方位映像を図３（Ａ）の八面体のポリゴンの表面に投影し，投影された全方位の映像から，図３（Ｂ）に示すように，八面体のポリゴンの上の四角錐からの画像情報（Ｕ１〜Ｕ４からなる映像Ａ）と下の四角錐からの画像情報（Ｄ１〜Ｄ４からなる映像Ｂ）を抽出し，抽出された画像情報を再配列して，図３（Ｃ）のように１つの矩形の画面にマッピングする。
【００１５】
これらの方式では，全方位の映像を１つの矩形の画面にマッピングしているが，複数の画面にマッピングしてもよい。例えば八面体のポリゴンの場合には，上の四角錐からの画像情報（映像Ａ）を１つの画面として，下の四角錐からの画像情報（映像Ｂ）を１つの画面として，合計２画面の画像情報として扱ってもよい。このようにすれば全方位の映像を１つの画面にマッピングする手法よりも低い空間解像度の画像を，複数持つ構成にすることが可能である。
【００１６】
復号側では，低い解像度の画面にすれば，画面全体の画像情報を復号するための時間が少なくなり，より早く再生画面の表示が可能となる利点がある。このような複数の画面で構成される画像を画面毎に個別に符号化してもよいし，各画面を１つの映像の個々のフレームに対応させて，１つの映像として符号化してもよい。
【非特許文献１】Thomas Wiegand,Xiaozheng Zhang,and Bernd Girod,"Long-Term Memory Motion-Compensated Prediction,"IEEE Transactions on Circuits and Systems for Video Technology,vol.9,no.1,pp.70-84,Feb.1999.
【非特許文献２】"Report on 3DAV Exploration,"N5878,ISO/IEC JTC1/SC29/WG11(MPEG),2003.
【非特許文献３】高木幸一，小池淳，松本修一，“ビットレート−ひずみ特性を考慮した任意形状符号化のためのパディング法”，信学論, Vol.J84-D2,No.2 pp.238-247,2001.
【非特許文献４】上倉一人，渡辺裕，小林直樹，一之瀬進，安田浩，“演算量低減を考慮したグローバル動き・輝度変化補償動画像符号化”，信学論（Ｂ）,vol.J82-B,no.9,pp.1676-1688,1999.
【非特許文献５】Yucel Altunbask,Russel M.Mersereau and Andrew J.Patti,"A Fast Parametric Motion Estimation Algorithm With Illumination and Lens Distortion Correction,"IEEE Trans.Image Processing,vol.12,no.4,pp.395-408,2003.
【発明の開示】
【発明が解決しようとする課題】
【００１７】
画面を領域に分割して動き補償を行う符号化では，領域内の画像情報と参照画像から作成される予測画像との間の差分（予測残差）が少ないと符号化効率が高くなるため，このような動き情報を探索し，動き補償での動きベクトルを設定する。ここで，参照フレームの外周よりも外側の画像情報を作成しておき，参照フレームの外を示すような動きベクトルを設定することを可能とする手法が提案されている（Ｈ．２６３  Ａｎｎｅｘ  Ｄ（Unrestricted Motion Vector mode ））。
【００１８】
例えば図４に示すように，現フレームのあるブロックについて，参照フレームの端の部分で予測残差が少ない場合，参照フレーム外の画像情報を適切に作成すれば，ブロック内の画像情報に対する予測残差を少なくすることができる。
【００１９】
任意形状オブジェクトベースの映像情報の符号化では，形状情報で指定される領域を囲む矩形領域をバウンディングボックスと呼ぶ。現フレームのバウンディングボックス内の画素が符号化対象である。現フレームのバウンディングボックス内であり，かつ形状情報で指定される領域内の画素位置では画像情報を符号化し，バウンディングボックス内であり，かつ形状外の画素位置では，画像情報がないという情報を符号化する。また，参照フレームのバウンディングボックス内の形状情報で指定される領域内の画像情報が，参照フレームの画像情報である。
【００２０】
このような任意形状オブジェクトベース符号化では，参照フレームの領域外の画像情報を適切に作成することにより，矩形の画像の符号化と同様に，現フレームの領域内の画像情報について予測残差を少なくすることができる。
【００２１】
Ｈ．２６３  Ａｎｎｅｘ  Ｄ（Unrestricted Motion Vector mode ）やＭＰＥＧ−４では，図５に示すように，参照フレーム外の画像情報を作成する際に，同参照画像の外周の画像情報を縦横にコピーすることで作成する。また非特許文献３では，任意形状オブジェクトベース符号化において，参照フレームの領域外の画像情報を，同参照フレームの画像情報から作成する手法が提案されている。このように従来の方法では，同参照フレーム内の画像情報から，参照フレームや領域の外側の予測画像を作成していた。
【００２２】
これらの従来の方法は，現フレームの領域内の画像情報は高周波成分を持たず，ほぼ同じ値となる場合には有効である。しかしながら，現フレーム内の実物体オブジェクトの映像情報が参照フレームの外周部分にあたるときに，フレーム外または領域外の部分の画像情報を再現できない問題がある。例えば図４のように現フレームのブロックの左側の画像情報は，同参照フレーム内の画像情報には存在しないため，ブロック内の画像情報に対する予測残差を低減することができない。
【００２３】
複数の復号画像を蓄積する参照画像メモリを備えておき，ブロック毎に参照画像を選択する手法を用いれば，現フレーム内の実物体オブジェクトの映像情報が，直前の参照フレームの外周部分にあたる場合に，他の参照フレームの画像情報から，現フレームのブロック内の画像情報に対する予測残差の少ない位置を探索する手法も考えられる。
【００２４】
しかしながら，この手法であっても，現フレームのブロック内の全画素位置で予測残差を少なくするような位置は必ずしも存在しない。例えば図６に示すように，現フレームのブロックの右側が参照フレームＡの外周部分の画像情報と一致し，ブロック内の左側が参照フレームＢの画像情報と一致する場合には，ブロック内の予測残差を低減することができない。
【００２５】
このような現フレーム内の実物体オブジェクトの映像情報が参照フレームの外周部分にあたるときに，フレーム外または領域外の部分の画像情報を再現できずに符号化効率が低下する問題は，広角カメラからの画像を複数の画面に分割し，さらに各画面をまとめて１つの映像として符号化する場合や，複数のカメラからの入力画像を一つの映像として符号化する場合に多く発生する。
【００２６】
広角カメラからの映像を分割し画面をまとめて符号化する場合には，例えば図３における上の四角錐の端の部分は，下の四角錐の端にそれぞれ対応しているため，参照フレームの外周部分の画像は，他の参照フレームの外周部分と連続している。しかしながら，他の参照フレーム内の画像を同参照フレームの画像情報から作成することはできないため，予測効率のよい参照フレームの外側の画像情報を作成することができない。
【００２７】
また，複数のカメラからの映像が，例えば図７（Ａ）に示すような空間位置を撮像したものとすると，複数のカメラの映像を１つにまとめた場合に，図７（Ｂ）に示すように，カメラＡからの画像（映像Ａ）の左端の部分は，カメラＢからの画像（映像Ｂ）の位置Ｘに相当するため，これらの映像には連続性が存在している。しかしながら，カメラＡからの映像の画像情報からは，カメラＡに付属する参照フレームの外側の画像情報を作成できないため，予測効率のよい参照フレームの外側の画像情報は作成できない。
【００２８】
本発明は，上記従来技術の問題点を解決し，参照フレームの外側の画像情報を別の参照フレームの画像情報から作成でき，符号化効率を向上することが可能な画像符号化／復号技術を提供することを目的とする。
【課題を解決するための手段】
【００２９】
以上の課題を解決するため，第１の本発明では，Ｍフレーム（Ｍは２以上）の参照画像を蓄積しておき，現フレームを分割した領域内の画像情報を，フレーム間予測符号化を用いて符号化する画像符号化方法であって，予め設定された参照フレーム間の幾何学情報を用いて，該領域内の画像情報をＮ個（Ｎは２以上かつＭ以下）の細領域Ｒｉ（ｉ＝１，２，…，Ｎ）に分類する領域分類ステップと，を実行し，前記領域分類ステップで分類された複数の細領域のうち，少なくとも１つの細領域Ｒｉ内の画像情報に対する予測画像を，第ｉ番目の参照フレームの画像情報から作成する予測画像作成ステップと，該領域内の画像情報と予測画像の差分を符号化する差分符号化ステップと，を実行することを特徴とする。
【００３０】
第２の本発明では，Ｍフレーム（Ｍは２以上）の参照画像を蓄積しておき，現フレームを分割した領域内の画像情報を，フレーム間予測符号化を用いて符号化する画像符号化方法であって，予め設定された参照フレーム間の幾何学情報を用いて，第ｉ番目の参照フレームについてフレーム外側の画像情報を，該参照フレーム以外のフレームの画像情報から作成する外部画像作成ステップと，前記外部画像作成ステップで作成した画像情報または第ｉ番目の参照フレーム内の画像情報と，該領域内の画像情報との差分が最も小さい位置を探索する動き探索ステップと，前記動き探索ステップで得られる動き情報と，予め設定された参照フレーム間の幾何学情報を用いて，該領域内の画像情報をＮ個（Ｎは２以上かつＭ以下）の細領域Ｒｉ（ｉ＝１，２，…，Ｎ）に分類する領域分類ステップと，を実行し，該領域の動き情報を符号化する動き情報符号化ステップと，前記領域分類ステップで分類された複数の細領域のうち，少なくとも１つの細領域Ｒｉ内の画像情報に対する予測画像を，第ｉ番目の参照フレームの画像情報から作成する予測画像作成ステップと，該領域内の画像情報と予測画像の差分を符号化する差分符号化ステップと，を実行することを特徴とする。
【００３１】
第３の本発明では，第２の本発明の画像符号化方法であって，動き探索ステップで得られる動き情報から現フレームと参照フレーム間の幾何学情報を推定する現フレーム幾何推定ステップ，を実行することを特徴とする。
【００３２】
第４の本発明では，第１の本発明または第２の本発明の画像符号化方法であって，参照フレーム間の幾何学情報を推定する参照フレーム幾何推定ステップ，を実行することを特徴とする。
【００３３】
第５の本発明では，Ｍフレーム（Ｍは２以上）の参照画像を蓄積しておき，現フレームを分割した領域内の画像情報を，フレーム間予測符号化を用いて復号する画像復号方法であって，予め設定された参照フレーム間の幾何学情報を用いて，該領域内の画像情報をＮ個（Ｎは２以上かつＭ以下）の細領域Ｒｉ（ｉ＝１，２，…，Ｎ）に分類する領域分類ステップ，を実行し，前記領域分類ステップで分類された複数の細領域のうち，少なくとも１つの細領域Ｒｉ内の画像情報に対する予測画像を，第ｉ番目の参照フレームの画像情報から作成する予測画像作成ステップと，差分画像情報を復号する差分復号ステップと，予測画像と差分画像情報から復号画像を作成する復号画像作成ステップと，を実行することを特徴とする。
【００３４】
第６の本発明では，Ｍフレーム（Ｍは２以上）の参照画像を蓄積しておき，現フレームを分割した領域内の画像情報を，フレーム間予測符号化を用いて復号する画像復号方法であって，該領域の動き情報を復号する動き情報復号ステップと，前記動き情報復号ステップで得られる動き情報と，予め設定された参照フレーム間の幾何学情報を用いて，該領域内の画像情報をＮ個（Ｎは２以上かつＭ以下）の細領域Ｒｉ（ｉ＝１，２，…，Ｎ）に分類する領域分類ステップと，を実行し，前記領域分類ステップで分類された複数の細領域のうち，少なくとも１つの細領域Ｒｉ内の画像情報に対する予測画像を，第ｉ番目の参照フレームの画像情報から作成する予測画像作成ステップと，差分画像情報を復号する差分復号ステップと，予測画像と差分画像情報から復号画像を作成する復号画像作成ステップと，を実行することを特徴とする。
【００３５】
第７の本発明では，第５の本発明または第６の本発明の画像復号方法であって，参照フレーム間の幾何学情報を推定する参照フレーム幾何推定ステップ，を実行することを特徴とする。
【００３６】
第１の本発明の画像符号化方法あるいは第５の本発明の画像復号方法によれば，異なる撮影地点や撮影方向のカメラで撮影された複数の映像を，フレーム間予測符号化を用いて符号化／復号する際に，参照フレーム外部の画像情報を他のカメラからの映像から作成することができ，参照フレームの外周部分を予測画像に設定する際の符号化効率を向上することができる。参照フレーム外部の画像情報を作成する際に，カメラ間の幾何学情報を利用することが特徴である。
【００３７】
以下で符号化する手順を示す。まず〔ケース１〕として，図３に示す八面体のポリゴンに投影された画像を２つの映像に分類して符号化する場合を示す。上の四角錐の映像Ａと下の四角錐の映像Ｂがあり，映像Ａと映像Ｂとは，まとめて一つの映像として符号化される。
【００３８】
図８に示すように，１つの映像中で１フレームおきに映像Ａと映像Ｂを符号化していく。フレーム毎に時刻情報ＴＲの他に，もともと映像Ａなのか映像Ｂなのかを示すカテゴリ情報を符号化しておく。
【００３９】
映像Ａと映像Ｂの過去の復号画像が参照画像メモリに蓄積されている場合に，映像Ａの現フレームをブロックに分割しフレーム間予測符号化で符号化する場合には，まず映像Ａの前フレームの復号画像を参照画像に設定する。映像Ａと映像Ｂは，図３に示す幾何学的関係があるため，参照フレーム外側の画像情報を，同じ時刻の映像Ｂの参照フレームから作成する。そして，ブロック毎に予測画像を作成する。
【００４０】
このとき，領域分類ステップにて，参照フレームの外側を参照する位置では，映像Ｂの参照画像から画像を作成し，参照フレーム内部を参照する位置では，映像Ａの参照画像から作成するように，ブロック内の画素を分類し，予測画像作成ステップにてそれぞれの予測画像を作成する。
【００４１】
予測画像作成ステップにて，ブロック毎に予測画像を作成する際には，参照フレーム中の現ブロックと異なる位置の画像情報を用いる。ブロック毎の動き情報の決定方法はどのような手法を用いてもよい。ブロック毎に動き情報が設定される場合には，その動き情報だけ移動した位置の画像情報を用いる。動き情報は動き探索によって探索する手法もあるが，例えばカメラ撮像系の位置情報の移動量を用いてもよい。この位置情報はＧＰＳ等を用いて計測することも可能である。またワーピング予測のように，ブロック内の画素位置で動き量が異なっていてもよい。そして差分符号化ステップにて，ブロックの画像情報と予測画像との間の差分を符号化する。
【００４２】
ここで予測画像作成ステップでの，映像Ｂの参照画像から映像Ａの参照フレームの外側の画像情報を作成する方法を説明する。映像間の幾何学情報は，撮像系を構築した際に予め測定してもよいし，カメラ撮像系の位置情報の移動量を用いてもよい。この位置情報はＧＰＳ等を用いて計測することも可能である。映像Ａと映像Ｂとの間には図３（Ａ）および図３（Ｂ）に示す関係があることを利用する。すなわち，図３（Ａ）に示したように，映像Ａと映像Ｂはもともとは球面の画像情報を投影したものであるため，映像Ａと映像Ｂの端の部分で画像情報は連続していることを利用する。
【００４３】
予測画像作成方法の例を示す。映像Ａの外側には，図９に示すように映像Ｂの画像情報を配置する。ブロックＣが映像Ａの参照フレームであり，ブロックＢ１からブロックＢ８までの領域の一部の画像情報を作成することとなる。ブロックＢ１からブロックＢ８までの全画素位置の画像情報を求める必要はなく，予測画像を作成する必要のある画素位置の画像情報を作成すればよい。
【００４４】
ブロックＢ１からブロックＢ４までの画像情報は，映像Ｂの参照フレームで反転して回転した位置に対応した画像情報となる。またブロック５からブロック８までは，図５に示すような従来の外部画像情報の作成方法を適用する。横方向にブロックＢ１またはブロックＢ４の外周の画像情報をコピーして作成する。このように映像Ａと映像Ｂの幾何学情報を利用して映像Ａの参照フレームの外側の画像情報を作成することができる。
【００４５】
幾何学情報を利用する手法であれば，図９に示す手法とは異なる手法を用いてもよい。例えば，ブロックＢ１はＤ３で示した領域，ブロックＢ２はＤ４で示した領域，ブロックＢ３はＤ２で示した領域，ブロックＢ４はＤ１で示した領域のみ，参照フレームの画像情報を反転し回転して適用し，それ以外の領域では，図５に示す従来の手法を用いてもよい。
【００４６】
なお，本例では，参照フレームの端部分において，頂点から遠く離れた位置では，現ブロックは２つに分類して予測画像を作成したが，頂点位置では現ブロックは３つに分類して予測画像を作成する。例えば，左の頂点から遠く離れた位置では，ブロックＣから作成する画素とブロックＢ２から作成する画素に分類し，左の頂点位置では，ブロックＣから作成する画素とブロックＢ１から作成する画素とブロックＢ２から作成する画素に分類する。
【００４７】
また，図９では映像Ａの参照フレームの外側の画像情報を作成する例を示したが，同様にして映像Ｂの参照フレームの外側の画像情報を映像Ａの参照フレームの画像情報から作成してもよい。
【００４８】
以上では〔ケース１〕として，図３に示すように，八面体のポリゴンに投影された画像を２つの映像に分類して符号化する場合を示したが，以下ではその他の場合について例を示す。
【００４９】
〔ケース２〕立方体の場合：
図１０に球面から立方体への投影図を示す。映像Ｓ１の裏側に映像Ｓ４があり，映像Ｓ２の裏側に映像Ｓ５があり，映像Ｓ３の裏側に映像Ｓ６があるとする。このような幾何学情報の関係がある場合に，映像Ｓ２の参照フレームの外側の画像情報を作成する例を示す。映像Ｓ１から映像Ｓ６までは，まとめて一つの映像として符号化される。これらの映像は１つの映像中で１フレームおきに符号化していく。フレーム毎に時刻情報ＴＲの他に，もともと映像Ｓ１から映像Ｓ６までのいずれの映像なのかを示すカテゴリ情報を符号化しておく。
【００５０】
予測画像を作成する概念図を図１１に示す。ブロックＢ１からブロックＢ４までの画像情報は，それぞれ映像Ｓ１または映像Ｓ６または映像Ｓ３または映像Ｓ４の参照フレームで反転して回転した位置に対応した画像情報となる。またブロックＢ５からブロックＢ８までは，図５に示すような従来の外部画像情報の作成方法を適用する。横方向にブロックＢ１またはブロックＢ４の外周の画像情報をコピーして作成する。このように映像Ａと映像Ｂの幾何学情報を利用して映像Ａの参照フレームの外側の画像情報を作成することができる。幾何学情報を利用する手法であれば，図１１に示す手法とは異なる手法を用いてもよい。
【００５１】
〔ケース３〕任意方向の複数のカメラ映像の場合：
図７（Ａ）に示すような複数のカメラ映像がある場合に，映像Ａの参照フレームの外側の画像情報を映像Ｂの参照フレームの画像情報から作成する手順の例を示す。現フレームの真中のブロックの予測画像を作成する際の手順を示す。映像Ａと映像Ｂとは，まとめて一つの映像として符号化される。これらの映像は図８に示すように１つの映像中で１フレームおきに映像Ａと映像Ｂを符号化していく。フレーム毎に時刻情報ＴＲの他に，もともと映像Ａなのか映像Ｂなのかを示すカテゴリ情報を符号化しておく。
【００５２】
映像Ａと映像Ｂには，図７（Ａ）に示すような幾何学情報の関係があるため，図７（Ｂ）に示すように，映像Ａの参照フレームの左端の部分は映像Ｂの参照フレーム中の位置Ｌに対応する。従って，映像Ａの参照フレームの左の外側については，映像Ｂの参照フレームの位置Ｌから左端までの画像情報から予測画像を作成する。
【００５３】
概念図を図１２に示す。すなわち，映像Ａと映像Ｂは，図１２（Ａ）に示すように，複数のカメラ（カメラＡ，カメラＢ）によって異なる方向から撮像されたカメラ映像であり，図１２（Ｂ）に示すように，映像Ａの参照フレームの左端の部分は映像Ｂの参照フレーム中の位置Ｌに対応する。そこで，図１２（Ｂ）の映像Ａの参照フレームの左の外側については，映像Ｂの参照フレームの位置Ｌから左端までの画像情報から予測画像を作成する。このようにして，現フレームの真中のブロックの予測画像を作成する。
【００５４】
このように映像Ａと映像Ｂの幾何学情報を利用して映像Ａの参照フレームの外側の画像情報を作成することができる。幾何学情報を利用する手法であれば，図１２に示す手法とは異なる手法を用いてもよい。
【００５５】
〔ケース４〕カメラが移動する場合：
図７（Ａ）に示すようなカメラ配置が，例えば図１３（Ａ）に示すように，１つのカメラの位置が位置Ａから位置Ｂに移動して実現された場合の手順を示す。この場合，図１３（Ｂ）に示すように，１つの映像の中の，異なる時刻の複数の参照フレームの画像情報から予測画像を作成することとなる。各時刻における映像の幾何学情報を測定しておき，参照フレーム間の幾何学情報を決定する。フレーム毎に時刻情報ＴＲの他に，参照フレームＢの参照フレームＡに対する幾何学情報を符号化しておく。
【００５６】
映像Ａと映像Ｂには，図１３（Ａ）に示すような幾何学情報の関係があるため，図１３（Ｂ）に示すように，映像Ａの参照フレームの左端の部分は映像Ｂの参照フレーム中の位置Ｌに対応する。従って映像Ａの参照フレームの左の外側については，映像Ｂの参照フレームの位置Ｌから左端までの画像情報から予測画像を作成する。このように映像Ａと映像Ｂの幾何学情報を利用して映像Ａの参照フレームの外側の画像情報を作成することができる。幾何学情報を利用する手法であれば，図１３に示す手法とは異なる手法を用いてもよい。
【００５７】
上記した例だけではなく，カメラ撮像系の幾何学情報が得られるのであれば，他の幾何学情報で構成される撮像系に適用してもよい。この幾何学情報により，領域分類ステップで分類する現ブロックの領域数が決定される。
【００５８】
ケース１からケース３のように撮像系が固定の場合には，幾何学情報は毎フレーム符号化する必要はなく，予め設定しておいてもよい。ケース４のように幾何学情報が時間と共に変化する場合には，幾何学情報も符号化しておき符号化データに含めておき，復号側でその情報を使用することも可能である。
【００５９】
幾何学情報を符号化する場合には，
・カメラの位置情報
・絶対座標系における映像の位置情報
・映像の相対的な位置情報
のいずれかを符号化対象としてよい。
【００６０】
特に，ケース４のようにカメラが移動する場合には，相対的な位置情報が好適である。映像の相対的な位置情報としては，画面間の移動量を利用する方法も好適である。例えば図１４に示すように，画面Ａと画面Ｂがあるとすると，画面Ａの四隅の画素の，画面Ｂを基準とする位置情報で表現してもよい。
【００６１】
参照フレームの外側の画像情報を別の参照フレームの画像情報から作成する際に，外側の画像を作成する参照フレームを変形してもよい。例えば映像Ａと映像Ｂが図１５（Ａ）に示す関係にあるとすると，図１５（Ｂ）のように，映像Ａの参照フレームの左の外側の画像情報を映像Ｂの参照フレームから作成する際に，映像Ｂの参照フレームの画像情報を水平方向に拡大して予測画像を作成してもよい。
【００６２】
変形方法は映像間の幾何学情報から決定してもよいし，符号化側と復号側で画像情報から同様に推定してもよいし，符号化側で画像情報から推定して符号化データに変形パラメータを含めてもよい。
【００６３】
同様に，予測画像作成ステップで参照フレームから予測画像を作成する際に，ＭＰＥＧ−４ｐａｒｔ２に採用されているスプライト符号化やＧＭＣのように，ワーピング予測符号化を用いてもよい。なお参照画像メモリに蓄積する画像情報は原画像でも復号画像でもよい。不可逆符号化の場合には復号画像を用いる方が好適である。
【００６４】
第２の本発明の画像符号化方法あるいは第６の本発明の画像復号方法によれば，現フレームの領域の動き情報を符号化／復号して，予測画像の作成に使用する参照フレーム内の画素位置を指定することができる。
【００６５】
特に符号化方法では，外部画像作成ステップで参照フレーム外側の画像情報を作成しておき，それを使って動き探索ステップで動き探索を実行することにより，動き情報を求めることができる。外部画像作成ステップでは，参照フレーム間の幾何学情報を利用して参照フレーム外側の画像情報を作成する。動き探索ステップで動き情報を探索することにより，より予測効率の高い予測画像を作成するように，領域分類ステップで領域の分類を行うことが可能である。
【００６６】
第３の本発明の画像符号化方法によれば，動き探索ステップで得られる動き情報を用いて，現フレーム幾何推定ステップで現フレームと参照フレームとの間の幾何学情報を求めることができる。求めた幾何学情報は，現フレームの画像情報を次のフレーム以後で参照フレームとして利用する場合に，外部画像作成ステップや領域分類ステップで必要となる参照フレーム間の幾何学情報として利用することが可能となる。これにより参照フレーム間の幾何学情報を符号化データに含める必要がなく，符号化効率を向上することができる。
【００６７】
現フレームと参照フレーム間の幾何学情報を作成する方法としては，現フレームと参照フレーム間のグローバルな動き情報を探索することにより実現することが可能である。フレーム間のグローバルな動き情報を探索する手法としては，例えば非特許文献４や非特許文献５に記載されるように，各領域の動きべクトルの統計から求める方法が提案されている。また幾何学情報を探索するにあたり，現フレームと参照フレームとの間の，画面全体の輝度情報の変化も合わせて補償しても好適である。例えば上記両文献（非特許文献４，非特許文献５）に記載される手法が提案されている。
【００６８】
第４の本発明の画像符号化方法あるいは第７の本発明の画像復号方法によれば，参照フレーム間の幾何学情報を，参照フレームの画像情報から求めることができる。これにより，参照フレーム間の幾何学情報を符号化データに含める必要がなく，符号化効率を向上することができる。
【００６９】
参照フレーム間の幾何学情報を作成する方法としては，参照フレーム間のグローバルな動き情報を探索することにより実現することが可能である。フレーム間のグローバルな動き情報を探索する手法としては，上記と同様に，例えば上記両文献（非特許文献４，非特許文献５）に記載されるように，参照フレームを領域に分割して各領域の動きベクトルの統計から求める方法が提案されている。また幾何学情報を探索するにあたり，参照フレーム間の，画面全体の輝度情報の変化も合わせて補償しても好適である。例えば上記両文献（非特許文献４，非特許文献５）に記載される手法が提案されている。
【発明の効果】
【００７０】
本発明によれば，広角カメラの映像や複数のカメラからの映像，または移動しているカメラからの映像を符号化する時に，参照フレームの外側の画像情報を別の参照フレームの画像情報から作成することにより，符号化効率を向上することができる。
【発明を実施するための最良の形態】
【００７１】
図面を用いて本発明の実施形態を説明する。まず，図３に示す全方位映像を符号化する際の手順を示す。上の四角錐の映像Ａを「画像Ａ」として，下の四角錐の映像Ｂを「画像Ｂ」として図８に示すように交互に符号化するものとする。
【００７２】
画像Ａと画像Ｂの間には，図３（Ａ）および図３（Ｂ）に示す幾何学情報の関係があることを前提にして，参照フレームの外側の画像情報を作成するものとする。各フレームを縦横１６画素マクロブロックに分割し，マクロブロック毎に差分符号化データの符号量が最小となるように参照画像を選択して符号化する例を示す。参照フレームメモリは画像Ａ用に２フレーム分，画像Ｂ用に２フレーム分の合計４フレーム分あるものとする。
【００７３】
図１６は，本発明の実施形態１に係る画像符号化装置の構成を示す図である。画像符号化装置１は，画像情報を取り込む画像入力部１０１と，４フレームの参照画像を蓄積する参照画像メモリ１０６と，参照フレームの外側の画像情報を作成する外部画像作成部１０９と，動き探索を行う動き探索部１０２と，動き探索部１０２で得られる動き情報と参照フレーム間の幾何学情報を用いて現マクロブロック内の画像情報を最大２個の領域に分類する領域分類部１０３と，動き情報を符号化する動き情報符号化部１１１と，予測画像を作成する予測画像作成部１０５と，入力画像情報と予測画像との差分を符号化する差分符号化部１０４と，参照画像指定情報を符号化する参照画像指定情報符号化部１０８と，差分符号化部１０４で作成された差分符号化データを復号して復号画像を作成する復号部１１０と，予測画像作成部１０５で使用する参照画像の切り替えを制御する参照画像切替部１０７と，参照画像切替部１０７の制御によって参照画像を切り替えるスイッチ部１１６とを備える。
【００７４】
参照画像指定情報符号化部１０８では，画像Ａを符号化する場合には，画像Ａについてまず直前に符号化したフレームほど符号量が少なくなり，続いて画像Ｂについて直前に符号化したフレームほど符号量が少なくなるように参照画像指定情報を可変長符号化するものとする。また，画像Ｂを符号化する場合には，画像Ｂについてまず直前に符号化したフレームほど符号量が少なくなり，続いて画像Ａについて直前に符号化したフレームほど符号量が少なくなるように参照画像指定情報を可変長符号化するものとする。
【００７５】
参照画像メモリ１０６には４フレーム分の画像を蓄積できるメモリが備えてあり，画像Ａと画像Ｂとでカテゴリ分けされており，画像Ａ用カテゴリのメモリ（Ｃ１）に２フレームを蓄積し，画像Ｂ用カテゴリのメモリ（Ｃ２）に２フレームを蓄積する。
【００７６】
各カテゴリで，新たに復号画像を蓄積する際に全てのメモリに画像が蓄積されている場合には，最も過去に蓄積した画像を廃棄して復号画像を蓄積するものとする。また画像Ａと画像Ｂについて２フレーム分が既に符号化されており，参照画像メモリ１０６に復号画像が蓄積されているものとする。
【００７７】
画像入力部１０１は，入力画像をマクロブロックに分割するものとする。外部画像作成部１０９と予測画像作成部１０５では，図９に示した方法に従って参照フレーム外側の画像情報を作成するものとする。動き探索部１０２は，入力画像と参照画像との間で動き探索を行い，最も差分絶対値和が小さい位置を動き情報とする。差分符号化部１０４は，差分画像情報をＤＣＴしてＤＣＴ係数を可変長符号化するものとする。
【００７８】
このような前提で入力画像を次のように符号化する。図１７は，本発明の実施形態１に係る画像符号化処理フローを示す図である。まず画像入力部１０１は，画像Ａの入力画像を取り込み，マクロブロックに分割する（ステップＳ１）。ブロック番号ｋを１に初期化し（ステップＳ２），マクロブロック毎に次のようにして符号化する。
【００７９】
参照画像切替部１０７は，参照画像メモリ１０６の画像Ａ用カテゴリのメモリ（Ｃ１）に切り替える。外部画像作成部１０９は，参照画像メモリ１０６から画像Ａ用の第１の参照フレームを読み込む（ステップＳ２，Ｓ３，Ｓ４）。
【００８０】
続いて，参照画像切替部１０７は，参照画像メモリ１０６の画像Ｂ用カテゴリのメモリ（Ｃ２）に切り替える。外部画像作成部１０９は，参照画像メモリ１０６から画像Ｂ用の第１の参照フレームを読み込む（ステップＳ５）。そして外部画像作成部１０９は，画像Ａの参照フレームの外側の画像情報を画像Ｂの参照フレームの画像情報を使用して作成する（ステップＳ６）。動き探索部１０２は，外部画像作成部１０９で作成した画像情報で動き探索を行い，最も絶対値差分和の小さい位置を求める。このときの絶対値差分和と動き情報を，動き探索部１０２は保存しておく（ステップＳ７）。
【００８１】
次に，外部画像作成部１０９は，画像Ｂの参照フレームの外側の画像情報を画像Ａの参照フレームの画像情報を使用して作成する（ステップＳ８）。動き探索部１０２は，外部画像作成部１０９で作成した画像情報で動き探索を行い，最も絶対値差分和の小さい位置を求める。このときの絶対値差分和と動き情報を，動き探索部１０２は保存しておく（ステップＳ９）。
【００８２】
次に，参照画像切替部１０７は，参照画像メモリ１０６の画像Ａ用カテゴリのメモリ（Ｃ１）に切り替える。外部画像作成部１０９は，参照画像メモリ１０６から画像Ａ用の第２の参照フレームを読み込む（ステップＳ１０，Ｓ１１，Ｓ４）。続いて，参照画像切替部１０７は，参照画像メモリ１０６の画像Ｂ用カテゴリのメモリ（Ｃ２）に切り替える。外部画像作成部１０９は，参照画像メモリ１０６から画像Ｂ用の第２の参照フレームを読み込む（ステップＳ５）。
【００８３】
外部画像作成部１０９は，画像Ａの参照フレームの外側の画像情報を画像Ｂの参照フレームの画像情報を使用して作成する（ステップＳ６）。動き探索部１０２は，外部画像作成部１０９で作成した画像情報で動き探索を行い，最も絶対値差分和の小さい位置を求める。このときの絶対値差分和と動き情報を，動き探索部１０２は保存しておく（ステップＳ７）。次に，外部画像作成部１０９は，画像Ｂの参照フレームの外側の画像情報を画像Ａの参照フレームの画像情報を使用して作成する（ステップＳ８）。動き探索部１０２は，外部画像作成部１０９で作成した画像情報で動き探索を行い，最も絶対値差分和の小さい位置を求める。このときの絶対値差分和と動き情報を，動き探索部１０２は保存しておく（ステップＳ９）。
【００８４】
以上により求められた４個の絶対値差分和のうち最も値が小さい場合の，画像Ａまたは画像Ｂの参照フレームと，その外側の画像となる画像Ｂまたは画像Ａの参照フレームを，予測画像を作成する参照フレームに設定し，また，そのときの動き情報を予測画像を作成する動き情報に設定する（ステップＳ１２）。参照画像指定情報符号化部１０８は，ここで設定された参照フレームを指定する参照画像指定情報を符号化し（ステップＳ１３），動き情報符号化部１１１は，ここで設定された動き情報を符号化する（ステップＳ１４）。
【００８５】
領域分類部１０３は，ここで求めた参照フレームと動き情報に基づき，参照フレーム間の幾何学情報を用いて現マクロブロック内の画像情報を最大２個の領域に分類する（ステップＳ１５）。動き情報が参照フレームの外部を指す場合には，現マクロブロックを，参照フレーム内部から予測画像を作成する領域１と，参照フレーム外側の画像情報から予測画像を作成する領域２の，合計２つの領域に分類する。逆に，動き情報が参照フレームの内部を指す場合には，現マクロブロックは，参照フレーム内部から予測画像を作成する１つの領域に分類する。この分類に基づいて，予測画像作成部１０５は，画像Ａの参照フレームまたは画像Ｂの参照フレームから予測画像を作成する（ステップＳ１６）。
【００８６】
そして差分符号化部１０４は，現マクロブロックの画像情報と予測画像との間の差分画像情報を符号化し，差分符号化データを作成する（ステップＳ１７）。復号部１１０は，差分符号化データを復号して差分画像情報を求めて，予測画像を使用して復号画像を作成する（ステップＳ１８）。以上の動作をブロック番号ｋに１を加算しながら繰り返し，画像Ａの全マクロブロックに対して実行する（ステップＳ１９，Ｓ２０）。復号画像は，参照画像メモリ１０６の画像Ａ用カテゴリのメモリ（Ｃ１）に蓄積する（ステップＳ２１）。
【００８７】
続いて，画像入力部１０１は，画像Ｂの入力画像を取り込み，マクロブロックに分割する（ステップＳ２２，Ｓ２３，Ｓ１）。マクロブロック毎に次のようにして符号化する。画像Ａの場合と同様にして，参照画像切替部１０７で参照フレームを設定し，外部画像作成部１０９は，参照フレームの外側の画像情報を作成し，動き探索部１０２で動き探索をして，予測画像の作成に使用する参照フレームと動き情報を設定する（ステップＳ２〜Ｓ１２）。
【００８８】
参照画像指定情報符号化部１０８は，ここで設定された参照フレームを指定する参照画像指定情報を符号化し（ステップＳ１３），動き情報符号化部１１１は，ここで設定された動き情報を符号化する（ステップＳ１４）。領域分類部１０３は，ここで求めた参照フレームと動き情報に基づき，参照フレーム間の幾何学情報を用いて現マクロブロック内の画像情報を最大２個の領域に分類する（ステップＳ１５）。動き情報が参照フレームの外部を指す場合には，現マクロブロックを，参照フレーム内部から予測画像を作成する領域１と，参照フレーム外側の画像情報から予測画像を作成する領域２の，合計２つの領域に分類する。逆に，動き情報が参照フレームの内部を指す場合には，現マクロブロックは，参照フレーム内部から予測画像を作成する１つの領域に分類する。
【００８９】
この分類に基づいて，予測画像作成部は画像Ａの参照フレームまたは画像Ｂの参照フレームから予測画像を作成する（ステップＳ１６）。そして，差分符号化部１０４は，現マクロブロックの画像情報と予測画像との間の差分画像情報を符号化し，差分符号化データを作成する（ステップＳ１７）。復号部１１０は，差分符号化データを復号して差分画像情報を求めて，予測画像を使用して復号画像を作成する（ステップＳ１８）。
【００９０】
以上の動作を画像Ｂの全マクロブロックに対して実行する（ステップＳ１９，Ｓ２０）。復号画像は参照画像メモリ１０６の画像Ｂ用カテゴリのメモリ（Ｃ２）に蓄積する（ステップＳ２１）。以上の動作をフレーム毎に繰り返し実行することにより（ステップＳ２２，Ｓ２３），全方位映像を符号化する。
【００９１】
図１８は，本発明の実施形態１に係る画像復号装置の構成を示す図である。画像復号装置２は，差分符号化データを復号する差分復号部２０１と，参照画像指定情報を復号する参照画像指定情報復号部２０４と，動き情報を復号する動き情報復号部２０８と，４フレームの参照画像を蓄積する参照画像メモリ２０６と，動き情報と参照フレーム間の幾何学情報を用いて現マクロブロック内の画像情報を最大２個の領域に分類する領域分類部２０５と，予測画像を作成する予測画像作成部２０２と，差分画像と予測画像から復号画像を作成する復号画像作成部２０７と，予測画像作成部２０２で使用する参照画像の切り替えを制御する参照画像切替部２０３と，参照画像切替部２０３の制御によって参照画像を切り替えるスイッチ部２１１とを備える。
【００９２】
参照画像メモリ２０６には，４フレーム分の画像を蓄積できるメモリが備えてあり，画像Ａと画像Ｂとでカテゴリ分けされており，画像Ａ用カテゴリのメモリ（Ｃ１）に２フレームを蓄積し，画像Ｂ用カテゴリのメモリ（Ｃ２）に２フレームを蓄積する。各カテゴリで，新たに復号画像を蓄積する際に全てのメモリに画像が蓄積されている場合には，最も過去に蓄積した画像を廃棄して復号画像を蓄積するものとする。
【００９３】
また画像Ａと画像Ｂについて２フレーム分が既に復号されており，参照画像メモリ２０６に復号画像が蓄積されているものとする。予測画像作成部２０２では，図９に示す方法に従って参照フレーム外側の画像情報を作成するものとする。差分復号部２０１は，差分符号化データを可変長復号し，逆ＤＣＴして差分画像情報を求めるものとする。
【００９４】
このような前提で，図１６に示す画像符号化装置１で符号化された符号化データを次のように復号する。図１９は，本発明の実施形態１に係る画像復号処理フローを示す図である。まず，ブロック番号ｋを１に初期化した後（ステップＳ３１），マクロブロック毎に次のようにして符号化データを復号する。参照画像指定情報復号部２０４は，参照画像指定情報を復号して参照フレームを設定する（ステップＳ３２）。動き情報復号部２０８は，動き情報を復号する（ステップＳ３３）。
【００９５】
領域分類部２０５は，ここで求めた参照フレームと動き情報に基づき，参照フレーム間の幾何学情報を用いて現マクロブロック内の画像情報を最大２個の領域に分類する（ステップＳ３４）。動き情報が参照フレームの外部を指す場合には，現マクロブロックを，参照フレーム内部から予測画像を作成する領域１と，参照フレーム外側の画像情報から予測画像を作成する領域２の，合計２つの領域に分類する。逆に，動き情報が参照フレームの内部を指す場合には，現マクロブロックは，参照フレーム内部から予測画像を作成する１つの領域に分類する。
【００９６】
参照画像切替部２０３は，予測画像を作成する参照フレームを，ここで設定された参照フレームに切り替える（ステップＳ３５）。予測画像作成部２０２は，領域分類部２０５で設定した分類に基づいて，画像Ａの参照フレームまたは画像Ｂの参照フレームから予測画像を作成する（ステップＳ３６）。そして差分復号部２０１は，差分符号化データを復号して差分画像情報を求める（ステップＳ３７）。復号画像作成部２０７は，差分画像情報と予測画像を使用して復号画像を作成する（ステップＳ３８）。
【００９７】
以上の動作をブロック番号ｋに１を加算しながら繰り返し，全マクロブロックに対して実行する（ステップＳ３９，Ｓ４０）。復号画像は参照画像メモリ２０６の画像Ａ用カテゴリのメモリ（Ｃ１）に蓄積する（ステップＳ４１）。
【００９８】
続いて，画像Ｂについて同様な処理を行い，画像Ｂの復号画像を得る（ステップＳ４２，Ｓ４３，Ｓ３１〜Ｓ４１）。以上の動作をフレーム毎に繰り返し実行することにより（ステップＳ４２），全方位映像を復号する。
【００９９】
本実施形態１では，画像符号化装置１で動き情報を画像情報を利用して探索したが，動き情報をカメラの幾何学情報から求めてもよい。
【０１００】
次に，本発明の実施形態２として，図１２に示す２つのカメラからの映像をまとめて符号化する際の手順を示す。カメラＡからの映像を「画像Ａ」として，カメラＢからの映像を「画像Ｂ」として図８に示すように交互に符号化するものとする。各フレームを縦横１６画素マクロブロックに分割し，マクロブロック毎に差分符号化データの符号量が最小となるように参照画像を選択して符号化する例を示す。参照フレームメモリは，画像Ａ用に２フレーム分，画像Ｂ用に２フレーム分の合計４フレーム分あるものとする。
【０１０１】
図２０は，本発明の実施形態２に係る画像符号化装置の構成を示す図である。実施形態２の画像符号化装置３は，画像情報を取り込む画像入力部１０１と，４フレームの参照画像を蓄積する参照画像メモリ１０６と，参照フレームの外側の画像情報を作成する外部画像作成部１０９と，動き探索を行う動き探索部１０２と，動き探索部１０２で得られる動き情報と参照フレーム間の幾何学情報を用いて現マクロブロック内の画像情報を最大２個の領域に分類する領域分類部１０３と，動き情報を符号化する動き情報符号化部１１１と，予測画像を作成する予測画像作成部１０５と，入力画像情報と予測画像との差分を符号化する差分符号化部１０４と，参照画像指定情報を符号化する参照画像指定情報符号化部１０８と，差分符号化部１０４で作成された差分符号化データを復号して復号画像を作成する復号部１１０と，予測画像作成部１０５で使用する参照画像の切り替えを制御する参照画像切替部１０７と，参照フレーム間の幾何学情報を推定する参照フレーム幾何推定部１１２と，参照画像切替部１０７の制御によって参照画像を切り替えるスイッチ部１１６とを備える。
【０１０２】
参照画像指定情報符号化部１０８では，画像Ａを符号化する場合には，画像Ａについてまず直前に符号化したフレームほど符号量が少なくなり，続いて画像Ｂについて直前に符号化したフレームほど符号量が少なくなるように参照画像指定情報を可変長符号化するものとする。また，画像Ｂを符号化する場合には，画像Ｂについてまず直前に符号化したフレームほど符号量が少なくなり，続いて画像Ａについて直前に符号化したフレームほど符号量が少なくなるように参照画像指定情報を可変長符号化するものとする。
【０１０３】
参照画像メモリ１０６には，４フレーム分の画像を蓄積できるメモリが備えてあり，画像Ａと画像Ｂとでカテゴリ分けされており，画像Ａ用カテゴリのメモリ（Ｃ１）に２フレームを蓄積し，画像Ｂ用カテゴリのメモリ（Ｃ２）に２フレームを蓄積する。各カテゴリで，新たに復号画像を蓄積する際に全てのメモリに画像が蓄積されている場合には，最も過去に蓄積した画像を廃棄して復号画像を蓄積するものとする。また，画像Ａと画像Ｂについて２フレーム分が既に符号化されており，参照画像メモリ１０６に復号画像が蓄積されているものとする。
【０１０４】
画像入力部１０１は，入力画像をマクロブロックに分割するものとする。外部画像作成部１０９と予測画像作成部１０５では，図１２に示す方法に従って参照フレーム外側の画像情報を作成するものとする。動き探索部１０２は，入力画像と参照画像との間で動き探索を行い，最も差分絶対値和が小さい位置を動き情報とする。差分符号化部１０４は，差分画像情報をＤＣＴしてＤＣＴ係数を可変長符号化するものとする。また参照フレーム幾何推定部１１２では，参照フレームを縦横８画素のブロックに分割して動き探索を行い，動き情報の統計により参照フレーム間のグローバルな移動量を推定し，これを参照フレーム間の幾何学情報に設定するものとする。
【０１０５】
このような前提で入力画像を次のように符号化する。図２１は，本発明の実施形態２に係る画像符号化処理フローの一例を示す図である。まず，画像入力部１０１は，画像Ａの入力画像を取り込み，マクロブロックに分割する（ステップＳ５１）。ブロック番号ｋを１に初期化し（ステップＳ５２），その後，マクロブロック毎に次のようにして符号化する。
【０１０６】
参照画像切替部１０７は，参照画像メモリ１０６の画像Ａ用カテゴリのメモリ（Ｃ１）に切り替える。外部画像作成部１０９は，参照画像メモリ１０６から画像Ａ用の第１の参照フレームＣ１−１を読み込む（ステップＳ５３，Ｓ５４）。続いて，参照画像切替部１０７は，参照画像メモリ１０６の画像Ｂ用カテゴリのメモリ（Ｃ２）に切り替える。外部画像作成部１０９は，参照画像メモリ１０６から画像Ｂ用の第１の参照フレームＣ２−１を読み込む（ステップＳ５５）。参照フレーム幾何推定部１１２は，参照フレームＣ２−１に対する参照フレームＣ１−１の幾何学情報を推定する（ステップＳ５６）。
【０１０７】
そして，外部画像作成部１０９は，画像Ａの参照フレームＣ１−１の外側の画像情報を画像Ｂの参照フレームＣ２−１の画像情報を使用して作成する（ステップＳ５７）。動き探索部１０２は，外部画像作成部１０９で作成した画像情報で動き探索を行い，最も絶対値差分和の小さい位置を求める。このときの絶対値差分和と動き情報を，動き探索部１０２は保存しておく（ステップＳ５８）。
【０１０８】
次に，参照フレーム幾何推定部１１２は，参照フレームＣ１−１に対する参照フレームＣ２−１の幾何学情報を推定する（ステップＳ５９）。外部画像作成部１０９は，画像Ｂの参照フレームＣ２−１の外側の画像情報を画像Ａの参照フレームＣ１−１の画像情報を使用して作成する（ステップＳ６０）。動き探索部１０２は，外部画像作成部１０９で作成した画像情報で動き探索を行い，最も絶対値差分和の小さい位置を求める。このときの絶対値差分和と動き情報を，動き探索部１０２は保存しておく（ステップＳ６１）。
【０１０９】
次に，参照画像切替部１０７は，参照画像メモリ１０６の画像Ａ用カテゴリのメモリ（Ｃ１）に切り替える。外部画像作成部１０９は，参照画像メモリ１０６から画像Ａ用の第２の参照フレームＣ１−２を読み込む（ステップＳ６２，Ｓ６３，Ｓ５４）。続いて，参照画像切替部１０７は，参照画像メモリ１０６の画像Ｂ用カテゴリのメモリ（Ｃ２）に切り替える。外部画像作成部１０９は，参照画像メモリ１０６から画像Ｂ用の第２の参照フレームＣ２−２を読み込む（ステップＳ５５）。そして参照フレーム幾何推定部１１２は，参照フレームＣ２−２に対する参照フレームＣ１−２の幾何学情報を推定する（ステップＳ５６）。
【０１１０】
外部画像作成部１０９は，画像Ａの参照フレームＣ１−２の外側の画像情報を画像Ｂの参照フレームＣ２−２の画像情報を使用して作成する（ステップＳ５７）。動き探索部１０２は，外部画像作成部１０９で作成した画像情報で動き探索を行い，最も絶対値差分和の小さい位置を求める。このときの絶対値差分和と動き情報を，動き探索部１０２は保存しておく（ステップＳ５８）。
【０１１１】
次に，参照フレーム幾何推定部１１２は，参照フレームＣ１−２に対する参照フレームＣ２−２の幾何学情報を推定する（ステップＳ５９）。外部画像作成部１０９は，画像Ｂの参照フレームＣ２−２の外側の画像情報を画像Ａの参照フレームＣ１−２の画像情報を使用して作成する（ステップＳ６０）。動き探索部１０２は，外部画像作成部１０９で作成した画像情報で動き探索を行い，最も絶対値差分和の小さい位置を求める。このときの絶対値差分和と動き情報を，動き探索部１０２は保存しておく（ステップＳ６１）。
【０１１２】
以上により求められた４個の絶対値差分和のうち最も値が小さい場合の，画像Ａまたは画像Ｂの参照フレームと，その外側の画像となる画像Ｂまたは画像Ａの参照フレームを，予測画像を作成する参照フレームに設定し，またそのときの動き情報を予測画像を作成する動き情報に設定する（ステップＳ６４）。
【０１１３】
参照画像指定情報符号化部１０８は，ここで設定された参照フレームを指定する参照画像指定情報を符号化し（ステップＳ６５），動き情報符号化部１１１は，ここで設定された動き情報を符号化する（ステップＳ６６）。領域分類部１０３は，ここで求めた参照フレームと動き情報に基づき，参照フレーム間の幾何学情報を用いて現マクロブロック内の画像情報を最大２個の領域に分類する（ステップＳ６７）。動き情報が参照フレームの外部を指す場合には，現マクロブロックを，参照フレーム内部から予測画像を作成する領域１と，参照フレーム外側の画像情報から予測画像を作成する領域２の，合計２つの領域に分類する。逆に，動き情報が参照フレームの内部を指す場合には，現マクロブロックは，参照フレーム内部から予測画像を作成する１つの領域に分類する。
【０１１４】
この分類に基づいて，予測画像作成部１０５は，画像Ａの参照フレームまたは画像Ｂの参照フレームから予測画像を作成する（ステップＳ６８）。そして差分符号化部１０４は，現マクロブロックの画像情報と予測画像との間の差分画像情報を符号化し，差分符号化データを作成する（ステップＳ６９）。復号部１１０は，差分符号化データを復号して差分画像情報を求めて，予測画像を使用して復号画像を作成する（ステップＳ７０）。
【０１１５】
以上の動作をブロック番号ｋに１を加算しながら繰り返し，画像Ａの全マクロブロックに対して実行する（ステップＳ７１，Ｓ７２）。復号画像は参照画像メモリ１０６の画像Ａ用カテゴリのメモリ（Ｃ１）に蓄積する（ステップＳ７３）。
【０１１６】
続いて，画像入力部１０１は画像Ｂの入力画像を取り込み，マクロブロックに分割する（ステップＳ７４，Ｓ７５，Ｓ５１）。マクロブロック毎に次のようにして符号化する。画像Ａの場合と同様にして，参照画像切替部１０７で参照フレームを設定し，参照フレーム幾何推定部１１２は，参照フレーム間の幾何学情報を推定し，外部画像作成部１０９は，参照フレームの外側の画像情報を作成し，動き探索部１０２で動き探索をして，予測画像の作成に使用する参照フレームと動き情報を設定する（ステップＳ５２〜Ｓ６４）。
【０１１７】
参照画像指定情報符号化部１０８は，ここで設定された参照フレームを指定する参照画像指定情報を符号化し（ステップＳ６５），動き情報符号化部１１１は，ここで設定された動き情報を符号化する（ステップＳ６６）。
【０１１８】
領域分類部１０３は，ここで求めた参照フレームと動き情報に基づき，参照フレーム間の幾何学情報を用いて現マクロブロック内の画像情報を最大２個の領域に分類する（ステップＳ６７）動き情報が参照フレームの外部を指す場合には，現マクロブロックを，参照フレーム内部から予測画像を作成する領域１と，参照フレーム外側の画像情報から予測画像を作成する領域２の，合計２つの領域に分類する。逆に，動き情報が参照フレームの内部を指す場合には，現マクロブロックは，参照フレーム内部から予測画像を作成する１つの領域に分類する。
【０１１９】
この分類に基づいて，予測画像作成部１０５は画像Ａの参照フレームまたは画像Ｂの参照フレームから予測画像を作成する（ステップＳ６８）。そして差分符号化部１０４は，現マクロブロックの画像情報と予測画像との間の差分画像情報を符号化し，差分符号化データを作成する。復号部１１０は，差分符号化データを復号して差分画像情報を求めて，予測画像を使用して復号画像を作成する（ステップＳ７０）。
【０１２０】
以上の動作をブロック番号ｋに１を加算しながら繰り返し，画像Ｂの全マクロブロックに対して実行する（ステップＳ７１，Ｓ７２）。復号画像は参照画像メモリ１０６の画像Ｂ用カテゴリのメモリ（Ｃ２）に蓄積する（ステップＳ７３）。以上の動作をフレーム毎に繰り返し実行することにより（ステップＳ７４，Ｓ７５），２つのカメラからの映像をまとめて符号化する。
【０１２１】
図２２は，本発明の実施形態２に係る画像復号装置の構成を示す図である。画像復号装置４は，差分符号化データを復号する差分復号部２０１と，参照画像指定情報を復号する参照画像指定情報復号部２０４と，動き情報を復号する動き情報復号部２０８と，４フレームの参照画像を蓄積する参照画像メモリ２０６と，動き情報と参照フレーム間の幾何学情報を用いて現マクロブロック内の画像情報を最大２個の領域に分類する領域分類部２０５と，予測画像を作成する予測画像作成部２０２と，差分画像と予測画像から復号画像を作成する復号画像作成部２０７と，予測画像作成部２０２で使用する参照画像の切り替えを制御する参照画像切替部２０３と，参照フレーム間の幾何学情報を推定する参照フレーム幾何推定部２０９と，参照画像切替部２０３の制御によって参照画像を切り替えるスイッチ部２１１とを備える。
【０１２２】
参照画像メモリ２０６には，４フレーム分の画像を蓄積できるメモリが備えてあり，画像Ａと画像Ｂとでカテゴリ分けされており，画像Ａ用カテゴリのメモリ（Ｃ１）に２フレームを蓄積し，画像Ｂ用カテゴリのメモリ（Ｃ２）に２フレームを蓄積する。各カテゴリで，新たに復号画像を蓄積する際に全てのメモリに画像が蓄積されている場合には，最も過去に蓄積した画像を廃棄して復号画像を蓄積するものとする。また，画像Ａと画像Ｂについて２フレーム分が既に復号されており，参照画像メモリ２０６に復号画像が蓄積されているものとする。予測画像作成部２０２では，図９に示す方法に従って参照フレーム外側の画像情報を作成するものとする。
【０１２３】
差分復号部２０１は，差分符号化データを可変長復号し，逆ＤＣＴして差分画像情報を求めるものとする。また参照フレーム幾何推定部２０９では，参照フレームを縦横８画素のブロックに分割して動き探索を行い，動き情報の統計により参照フレーム間のグローバルな移動量を推定し，これを参照フレーム間の幾何学情報に設定するものとする。
【０１２４】
このような前提で，図２０に示す画像符号化装置３で符号化された符号化データを次のように復号する。図２３は，本発明の実施形態２に係る画像復号処理フローを示す図である。まず，ブロック番号ｋを１に初期化した後（ステップＳ８１），次のようにして符号化データを復号する。参照画像指定情報復号部２０４は，参照画像指定情報を復号して参照フレームを設定する（ステップＳ８２）。参照フレーム幾何推定部２０９は，ここで設定された参照フレームと同時刻の，別のカテゴリの参照フレームとの間の幾何学情報を推定する（ステップＳ８３）。動き情報復号部２０８は，動き情報を復号する（ステップＳ８４）。
【０１２５】
領域分類部２０５は，ここで求めた参照フレームと動き情報に基づき，参照フレーム間の幾何学情報を用いて現マクロブロック内の画像情報を最大２個の領域に分類する（ステップＳ８５）。動き情報が参照フレームの外部を指す場合には，現マクロブロックを，参照フレーム内部から予測画像を作成する領域１と，参照フレーム外側の画像情報から予測画像を作成する領域２の，合計２つの領域に分類する。逆に，動き情報が参照フレームの内部を指す場合には，現マクロブロックは，参照フレーム内部から予測画像を作成する１つの領域に分類する。
【０１２６】
参照画像切替部２０３は，予測画像を作成する参照フレームを，ここで設定された参照フレームに切り替える（ステップＳ８６）。領域分類部２０５で設定した分類に基づいて，予測画像作成部２０２は，画像Ａの参照フレームまたは画像Ｂの参照フレームから予測画像を作成する（ステップＳ８７）。そして，差分復号部２０１は，差分符号化データを復号して差分画像情報を求める（ステップＳ８８）。
【０１２７】
復号画像作成部２０７は，差分画像情報と予測画像を使用して復号画像を作成する（ステップＳ８９）。以上の動作をブロック番号ｋに１を加算しながら繰り返し，全マクロブロックに対して実行する（ステップＳ９０，Ｓ９１）。復号画像は参照画像メモリ２０６の画像Ａ用カテゴリのメモリ（Ｃ１）に蓄積する（ステップＳ９２）。
【０１２８】
続いて，画像Ｂについて同様な処理を行い画像Ｂの復号画像を得る（ステップＳ９３，Ｓ９４，Ｓ８１〜Ｓ９２）。以上の動作をフレーム毎に繰り返し実行することにより２つのカメラからの映像をまとめて復号する（ステップＳ９３）。
【０１２９】
本実施形態２では，参照フレーム間の幾何学情報は予め設定されており符号化データに含めなかったが，符号化データに含めてもよい。符号化データに含めることにより，図１３のようにカメラが移動した場合にも，随時幾何学情報を変更することが可能となる。
【０１３０】
また，本実施形態２では，同じ時刻の参照フレーム間で幾何学情報を推定して参照フレームの外側の画像情報を作成したが，異なる時刻の参照フレーム間で幾何学情報を推定して参照フレームの外側の画像情報を作成してもよい。例えば参照フレームＣ１−１の外側を参照フレームＣ２−２の画像情報から作成してもよい。また同じカメラからの異なる時刻の参照フレームの画像を使用してもよい。例えば参照フレームＣ１−１の外側を参照フレームＣ１−２の画像情報から作成してもよい。
【０１３１】
特に，図１３のようにカメラが移動している場合には，同じカメラからの異なる時刻の参照フレームを使用する方法は有効である。異なる時刻の参照フレームを使用する場合には，参照フレームの外側の画像情報を作成するための参照フレームを指定する情報を符号化して符号化データに含め，復号側で参照フレームの外側の画像情報を作成する際に，この情報に基づいて参照フレームを選択すればよい。
【０１３２】
次に本発明の実施形態３として，図１２に示す２つのカメラからの映像をまとめて符号化する際に，現フレームと参照フレームとの間で動き探索を行い，その動き情報をもとにして現フレームと参照フレームとの間の幾何学情報を推定し，以降のフレームの符号化において，この幾何学情報を参照フレーム間の幾何学情報に設定する場合の手順を示す。
【０１３３】
本発明の第２の実施形態と同様に，カメラＡからの映像を「画像Ａ」として，カメラＢからの映像を「画像Ｂ」として図８に示すように交互に符号化するものとする。各フレームを縦横１６画素マクロブロックに分割し，マクロブロック毎に差分符号化データの符号量が最小となるように参照画像を選択して符号化する例を示す。参照フレームメモリは画像Ａ用に２フレーム分，画像Ｂ用に２フレーム分の合計４フレーム分あるものとする。
【０１３４】
図２４は，本発明の実施形態３に係る画像符号化装置の構成を示す図である。画像符号化装置５は，画像情報を取り込む画像入力部１０１と，４フレームの参照画像を蓄積する参照画像メモリ１０６と，参照フレームの外側の画像情報を作成する外部画像作成部１０９と，動き探索を行う動き探索部１０２と，動き探索部１０２で得られる動き情報と参照フレーム間の幾何学情報を用いて現マクロブロック内の画像情報を最大２個の領域に分類する領域分類部１０３と，動き情報を符号化する動き情報符号化部１１１と，予測画像を作成する予測画像作成部１０５と，入力画像情報と予測画像との差分を符号化する差分符号化部１０４と，参照画像指定情報を符号化する参照画像指定情報符号化部１０８と，差分符号化部１０４で作成された差分符号化データを復号して復号画像を作成する復号部１１０と，予測画像作成部１０５で使用する参照画像の切り替えを制御する参照画像切替部１０７と，現フレームと参照フレーム間の幾何学情報を推定する現フレーム幾何推定部１１３と，幾何学情報を蓄積する幾何情報蓄積メモリ１１４と，参照フレーム間の幾何学情報を符号化する幾何情報符号化部１１５と，参照画像切替部１０７の制御によって参照画像を切り替えるスイッチ部１１６とを備える。
【０１３５】
参照画像指定情報符号化部１０８では，画像Ａを符号化する場合には，画像Ａについてまず直前に符号化したフレームほど符号量が少なくなり，続いて画像Ｂについて直前に符号化したフレームほど符号量が少なくなるように参照画像指定情報を可変長符号化するものとする。また，画像Ｂを符号化する場合には，画像Ｂについてまず直前に符号化したフレームほど符号量が少なくなり，統いて画像Ａについて直前に符号化したフレームほど符号量が少なくなるように参照画像指定情報を可変長符号化するものとする。
【０１３６】
参照画像メモリ１０６には，４フレーム分の画像を蓄積できるメモリが備えてあり，画像Ａと画像Ｂとでカテゴリ分けされており，画像Ａ用カテゴリのメモリ（Ｃ１）に２フレームを蓄積し，画像Ｂ用カテゴリのメモリ（Ｃ２）に２フレームを蓄積する。各カテゴリで，新たに復号画像を蓄積する際に全てのメモリに画像が蓄積されている場合には，最も過去に蓄積した画像を廃棄して復号画像を蓄積するものとする。また，画像Ａと画像Ｂについて２フレーム分が既に符号化されており，参照画像メモリ１０６に復号画像が蓄積されているものとする。
【０１３７】
画像入力部１０１は，入力画像をマクロブロックに分割するものとする。外部画像作成部１０９と予測画像作成部１０５では，図１２に示す方法に従って参照フレーム外側の画像情報を作成するものとする。動き探索部１０２は，入力画像と参照画像との間で動き探索を行い，最も差分絶対値和が小さい位置を動き情報とする。差分符号化部１０４は，差分画像情報をＤＣＴしてＤＣＴ係数を可変長符号化するものとする。また現フレーム幾何推定部１１３では，動き探索部１０２での動き情報の統計により現フレームと参照フレーム間のグローバルな移動量を推定するものとする。
【０１３８】
また幾何情報蓄積メモリ１１４には，参照画像メモリ１０６に蓄積されているＣ１−１とＣ１−２の間の幾何学情報とＣ１−１とＣ２−２の間の幾何学情報と，Ｃ２−１とＣ１−１の間の幾何学情報とＣ２−１とＣ１−２の間の幾何学情報とＣ２−１とＣ２−２の間の幾何学情報と，Ｃ２−２とＣ１−２の間の幾何学情報とが，蓄積されているものとする。
【０１３９】
このような前提で入力画像を次のように符号化する。図２５および図２６は，本発明の実施形態３に係る画像符号化処理フローを示す図である。まず画像入力部１０１は，画像Ａの入力画像を取り込み，マクロブロックに分割する（ステップＳ１０１）。ブロック番号ｋを１に初期化した後（ステップＳ１０２），マクロブロック毎に次のようにして符号化する。
【０１４０】
参照画像切替部１０７は，参照画像メモリ１０６の画像Ａ用カテゴリのメモリ（Ｃ１）に切り替える。外部画像作成部１０９は，参照画像メモリ１０６から画像Ａ用の第１の参照フレームＣ１−１を読み込む（ステップＳ１０３，Ｓ１０４）。続いて，参照画像切替部１０７は，参照画像メモリ１０６の画像Ｂ用カテゴリのメモリ（Ｃ２）に切り替える。外部画像作成部１０９は，参照画像メモリ１０６から画像Ｂ用の第１の参照フレームＣ２−１を読み込む（ステップＳ１０５）。
【０１４１】
外部画像作成部１０９は，画像Ａの参照フレームＣ１−１の外側の画像情報を画像Ｂの参照フレームＣ２−１の画像情報を使用して作成する（ステップＳ１０６）。このとき幾何情報蓄積メモリ１１４に蓄積した幾何学情報を使用する。動き探索部１０２は，外部画像作成部１０９で作成した画像情報で動き探索を行い，最も絶対値差分和の小さい位置を求める。このときの絶対値差分和と動き情報を，動き探索部１０２は保存しておく（ステップＳ１０７）。
【０１４２】
次に，外部画像作成部１０９は，画像Ｂの参照フレームＣ２−１の外側の画像情報を画像Ａの参照フレームＣ１−１の画像情報を使用して作成する（ステップＳ１０８）。このとき幾何情報蓄積メモリ１１４に蓄積した幾何学情報を使用する。動き探索部１０２は，外部画像作成部１０９で作成した画像情報で動き探索を行い，最も絶対値差分和の小さい位置を求める。このときの絶対値差分和と動き情報を，動き探索部１０２は保存しておく（ステップＳ１０９）。
【０１４３】
次に，参照画像切替部１０７は，参照画像メモリ１０６の画像Ａ用カテゴリのメモリ（Ｃ１）に切り替える。外部画像作成部１０９は，参照画像メモリ１０６から画像Ａ用の第２の参照フレームＣ１−２を読み込む（ステップＳ１１０，Ｓ１１１，Ｓ１０４）。続いて，参照画像切替部１０７は，参照画像メモリ１０６の画像Ｂ用カテゴリのメモリ（Ｃ２）に切り替える。外部画像作成部１０９は，参照画像メモリ１０６から画像Ｂ用の第２の参照フレームＣ２−２を読み込む（ステップＳ１０５）。
【０１４４】
外部画像作成部１０９は，画像Ａの参照フレームＣ１−２の外側の画像情報を画像Ｂの参照フレームＣ２−２の画像情報を使用して作成する（ステップＳ１０６）。このとき幾何情報蓄積メモリ１１４に蓄積した幾何学情報を使用する。動き探索部１０２は，外部画像作成部１０９で作成した画像情報で動き探索を行い，最も絶対値差分和の小さい位置を求める。このときの絶対値差分和と動き情報を，動き探索部１０２は保存しておく（ステップＳ１０７）。
【０１４５】
次に，外部画像作成部１０９は，画像Ｂの参照フレームＣ２−２の外側の画像情報を画像Ａの参照フレームＣ１−２の画像情報を使用して作成する（ステップＳ１０８）。このとき幾何情報蓄積メモリ１１４に蓄積した幾何学情報を使用する。動き探索部１０２は，外部画像作成部１０９で作成した画像情報で動き探索を行い，最も絶対値差分和の小さい位置を求める。このときの絶対値差分和と動き情報を，動き探索部１０２は保存しておく（ステップＳ１０９）。
【０１４６】
以上により求められた４個の絶対値差分和のうち最も値が小さい場合の，画像Ａまたは画像Ｂの参照フレームと，その外側の画像となる画像Ｂまたは画像Ａの参照フレームを，予測画像を作成する参照フレームに設定し，またそのときの動き情報を予測画像を作成する動き情報に設定する（ステップＳ１１２）。参照画像指定情報符号化部１０８は，ここで設定された参照フレームを指定する参照画像指定情報を符号化し（ステップＳ１１３），動き情報符号化部１１１は，ここで設定された動き情報を符号化する（ステップＳ１１４）。また参照画像指定情報で指定する参照フレームと，参照フレームの外側の画像情報を作成するために使用する参照フレームとの間の幾何学情報を，幾何情報符号化部１１５が符号化する（ステップＳ１１５）。
【０１４７】
領域分類部１０３は，ここで求めた参照フレームと動き情報に基づき，参照フレーム間の幾何学情報を用いて現マクロブロック内の画像情報を最大２個の領域に分類する（ステップＳ１１６）。動き情報が参照フレームの外部を指す場合には，現マクロブロックを，参照フレーム内部から予測画像を作成する領域１と，参照フレーム外側の画像情報から予測画像を作成する領域２の，合計２つの領域に分類する。逆に，動き情報が参照フレームの内部を指す場合には，現マクロブロックは，参照フレーム内部から予測画像を作成する１つの領域に分類する。
【０１４８】
この分類に基づいて，予測画像作成部１０５は，画像Ａの参照フレームまたは画像Ｂの参照フレームから予測画像を作成する（ステップＳ１１７）。そして，差分符号化部１０４は，現マクロブロックの画像情報と予測画像との間の差分画像情報を符号化し，差分符号化データを作成する（ステップＳ１１８）。
【０１４９】
復号部１１０は，差分符号化データを復号して差分画像情報を求めて，予測画像を使用して復号画像を作成する（ステップＳ１１９）。以上の動作をブロック番号ｋに１を加算しながら繰り返し，画像Ａの全マクロブロックに対して実行する（ステップＳ１２０，Ｓ１２１）。ただし，幾何情報符号化部１１５は，同一の幾何学情報を使用する場合には，その幾何学情報を以後のマクロブロックでは符号化しない。復号画像は画像Ａ用のカテゴリの参照画像メモリ１０６に蓄積する（ステップＳ１２２）。
【０１５０】
また，現フレーム幾何推定部１１３は，現フレームと各参照フレームとの間の動き探索部１０２での動き情報から，現フレームと各参照フレームとの間の幾何学情報を推定し，幾何情報蓄積メモリ１１４に蓄積する（ステップＳ１２３）。
【０１５１】
続いて，画像入力部１０１は，画像Ｂの入力画像を取り込み，マクロブロックに分割する（ステップＳ１２４，Ｓ１２５，Ｓ１０１）。マクロブロック毎に次のようにして符号化する。
【０１５２】
画像Ａの場合と同様にして，参照画像切替部１０７で参照フレームを設定し，外部画像作成部１０９は，参照フレームの外側の画像情報を作成し，動き探索部１０２で動き探索をして，予測画像の作成に使用する参照フレームと動き情報を設定する（ステップＳ１０２〜Ｓ１１２）。
【０１５３】
参照画像指定情報符号化部１０８は，ここで設定された参照フレームを指定する参照画像指定情報を符号化し（ステップＳ１１３），動き情報符号化部１１１は，ここで設定された動き情報を符号化する（ステップＳ１１４）。また参照画像指定情報で指定する参照フレームと，参照フレームの外側の画像情報を作成するために使用する参照フレームとの間の幾何学情報を，幾何情報符号化部１１５が符号化する（ステップＳ１１５）。
【０１５４】
領域分類部１０３は，ここで求めた参照フレームと動き情報に基づき，参照フレーム間の幾何学情報を用いて現マクロブロック内の画像情報を最大２個の領域に分類する（ステップＳ１１６）。動き情報が参照フレームの外部を指す場合には，現マクロブロックを，参照フレーム内部から予測画像を作成する領域１と，参照フレーム外側の画像情報から予測画像を作成する領域２の，合計２つの領域に分類する。逆に，動き情報が参照フレームの内部を指す場合には，現マクロブロックは，参照フレーム内部から予測画像を作成する１つの領域に分類する。
【０１５５】
この分類に基づいて，予測画像作成部１０５は，画像Ａの参照フレームまたは画像Ｂの参照フレームから予測画像を作成する（ステップＳ１１７）。そして，差分符号化部１０４は，現マクロブロックの画像情報と予測画像との間の差分画像情報を符号化し，差分符号化データを作成する（ステップＳ１１８）。復号部１１０は，差分符号化データを復号して差分画像情報を求めて，予測画像を使用して復号画像を作成する（ステップＳ１１９）。
【０１５６】
以上の動作を画像Ｂの全マクロブロックに対して実行する（ステップＳ１２０，Ｓ１２１）。ただし，幾何情報符号化部１１５は，同一の幾何学情報を使用する場合には，その幾何学情報を以後のマクロブロックでは符号化しない。復号画像は参照画像メモリ１０６の画像Ｂ用カテゴリのメモリ（Ｃ２）に蓄積する（ステップＳ１２２）。
【０１５７】
また，現フレーム幾何推定部１１３は，現フレームと各参照フレームとの間の動き探索部１０２での動き情報から，現フレームと各参照フレームとの間の幾何学情報を推定し，幾何情報蓄積メモリ１１４に蓄積する（ステップＳ１２３）。以上の動作をフレーム毎に繰り返し実行することにより，２つのカメラからの映像をまとめて符号化する（ステップＳ１２４）。
【０１５８】
図２７は，本発明の実施形態３に係る画像復号装置の構成を示す図である。画像復号装置６は，差分符号化データを復号する差分復号部２０１と，参照画像指定情報を復号する参照画像指定情報復号部２０４と，動き情報を復号する動き情報復号部２０８と，４フレームの参照画像を蓄積する参照画像メモリ２０６と，動き情報と参照フレーム間の幾何学情報を用いて現マクロブロック内の画像情報を最大２個の領域に分類する領域分類部２０５と，予測画像を作成する予測画像作成部２０２と，差分画像と予測画像から復号画像を作成する復号画像作成部２０７と，予測画像作成部２０２で使用する参照画像を切り替える参照画像切替部２０３と，参照フレーム間の幾何学情報を復号する幾何情報復号部２１０とを備える。
【０１５９】
参照画像メモリ２０６には４フレーム分の画像を蓄積できるメモリが備えてあり，画像Ａと画像Ｂとでカテゴリ分けされており，画像Ａ用カテゴリのメモリ（Ｃ１）に２フレームを蓄積し，画像Ｂ用カテゴリのメモリ（Ｃ２）に２フレームを蓄積する。各カテゴリで，新たに復号画像を蓄積する際に全てのメモリに画像が蓄積されている場合には，最も過去に蓄積した画像を廃棄して復号画像を蓄積するものとする。また，画像Ａと画像Ｂについて２フレーム分が既に復号されており，参照画像メモリ２０６に復号画像が蓄積されているものとする。予測画像作成部２０２では，図９に示す方法に従って参照フレーム外側の画像情報を作成するものとする。差分復号部２０１は，差分符号化データを可変長復号し，逆ＤＣＴして差分画像情報を求めるものとする。
【０１６０】
このような前提で，図２４に示す画像符号化装置５で符号化された符号化データを次のように復号する。図２８は，本発明の実施形態３に係る画像復号処理フローを示す図である。まず，ブロック番号ｋを１に初期化した後（ステップＳ１３１），マクロブロック毎に次のようにして符号化データを復号する。
【０１６１】
参照画像指定情報復号部２０４は，参照画像指定情報を復号して参照フレームを設定する（ステップＳ１３２）。幾何情報復号部２１０は，幾何学情報が符号化されている場合には幾何学情報を復号する（ステップＳ１３３）。動き情報復号部２０８は，動き情報を復号する（ステップＳ１３４）。
【０１６２】
領域分類部２０５は，ここで求めた参照フレームと動き情報に基づき，参照フレーム間の幾何学情報を用いて現マクロブロック内の画像情報を最大２個の領域に分類する（ステップＳ１３５）。動き情報が参照フレームの外部を指す場合には，現マクロブロックを，参照フレーム内部から予測画像を作成する領域１と，参照フレーム外側の画像情報から予測画像を作成する領域２の，合計２つの領域に分類する。逆に，動き情報が参照フレームの内部を指す場合には，現マクロブロックは，参照フレーム内部から予測画像を作成する１つの領域に分類する。
【０１６３】
参照画像切替部２０３は，予測画像を作成する参照フレームを，ここで設定された参照フレームに切り替える（ステップＳ１３６）。そして領域分類部２０５で設定した分類に基づいて，予測画像作成部２０２は，画像Ａの参照フレームまたは画像Ｂの参照フレームから予測画像を作成する（ステップＳ１３７）。そして，差分復号部２０１は，差分符号化データを復号して差分画像情報を求める（ステップＳ１３８）。復号画像作成部２０７は，差分画像情報と予測画像を使用して復号画像を作成する（ステップＳ１３９）。以上の動作をブロック番号ｋに１を加算しながら繰り返し，全マクロブロックに対して実行する（ステップＳ１４０，Ｓ１４１）。復号画像は参照画像メモリ２０６の画像Ａ用カテゴリのメモリ（Ｃ１）に蓄積する（ステップＳ１４２）。
【０１６４】
続いて，画像Ｂについて同様な処理を行い画像Ｂの復号画像を得る（ステップＳ１４３，Ｓ１４４，Ｓ１３１〜Ｓ１４２）。以上の動作をフレーム毎に繰り返し実行することにより，２つのカメラからの映像をまとめて復号する（ステップＳ１４３）。
【０１６５】
本発明の実施形態１と実施形態２と実施形態３では，画像符号化装置において参照フレームと動き情報を設定する際に，絶対値差分和が最も小さい位置に設定したが，例えば実際に符号化した符号化データの符号量が最小となる位置に設定してもよい。
【０１６６】
また，以上の本発明の実施形態では，差分符号化部１０４は差分画像情報をＤＣＴしたが，その他の変換符号化やベクトル量子化などの手法を用いてもよい。また，本発明の実施形態では，画像符号化装置における復号部１１０は差分画像情報と予測画像とから復号画像を作成し，それを参照画像メモリ１０６に蓄積したが，原画像を参照画像メモリ１０６に蓄積してもよい。
【図面の簡単な説明】
【０１６７】
【図１】動画像の予測関係の例を示す図である。
【図２】動画像の予測関係の例を示す図である。
【図３】全方位映像の符号化方法の例を示す図である。
【図４】参照フレーム外部への参照の概念図である。
【図５】従来の外部画像情報の作成方法の例を示す図である。
【図６】複数参照フレームでのフレーム外部への参照の例を示す図である。
【図７】複数カメラからの映像の例を示す図である。
【図８】複数カメラからの映像の符号化順序の例を示す図である。
【図９】八面体での参照フレーム外側の画像作成の例を示す図である。
【図１０】全方位映像の符号化方法の例を示す図である。
【図１１】立方体での参照フレーム外側の画像作成の例を示す図である。
【図１２】複数カメラからの予測画像作成の例を示す図である。
【図１３】カメラが移動した場合の予測画像作成の例を示す図である。
【図１４】２画面間の位置関係の表現方法の例を示す図である。
【図１５】参照フレームを変形する例を示す図である。
【図１６】画像符号化装置（実施形態１）の構成を示す図である。
【図１７】画像符号化処理フローを示す図である。
【図１８】画像復号装置（実施形態１）の構成を示す図である。
【図１９】画像復号処理フローを示す図である。
【図２０】画像符号化装置（実施形態２）の構成を示す図である。
【図２１】画像符号化処理フローを示す図である。
【図２２】画像復号装置（実施形態２）の構成を示す図である。
【図２３】画像復号処理フローを示す図である。
【図２４】画像符号化装置（実施形態３）の構成を示す図である。
【図２５】画像符号化処理フローを示す図である。
【図２６】画像符号化処理フローを示す図である。
【図２７】画像復号装置（実施形態３）の構成を示す図である。
【図２８】画像復号処理フローを示す図である。
【符号の説明】
【０１６８】
１，３，５  画像符号化装置
２，４，６  画像復号装置
１０１  画像入力部
１０２  動き探索部
１０３  領域分類部
１０４  差分符号化部
１０５  予測画像作成部
１０６  参照画像メモリ
１０７  参照画像切替部
１０８  参照画像指定情報符号化部
１０９  外部画像作成部
１１０  復号部
１１１  動き情報符号化部
１１２  参照フレーム幾何推定部
１１３  現フレーム幾何推定部
１１４  幾何情報蓄積メモリ
１１５  幾何情報符号化部
１１６  スイッチ部
２０１  差分復号部
２０２  予測画像作成部
２０３  参照画像切替部
２０４  参照画像指定情報復号部
２０５  領域分類部
２０６  参照画像メモリ
２０７  復号画像作成部
２０８  動き情報復号部
２０９  参照フレーム幾何推定部
２１０  幾何情報復号部
２１１  スイッチ部
【図１】
2005159824.tif 000003
【図２】
2005159824.tif 000004
【図３】
2005159824.tif 000005
【図４】
2005159824.tif 000006
【図５】
2005159824.tif 000007
【図６】
2005159824.tif 000008
【図７】
2005159824.tif 000009
【図８】
2005159824.tif 000010
【図９】
2005159824.tif 000011
【図１０】
2005159824.tif 000012
【図１１】
2005159824.tif 000013
【図１２】
2005159824.tif 000014
【図１３】
2005159824.tif 000015
【図１４】
2005159824.tif 000016
【図１５】
2005159824.tif 000017
【図１６】
2005159824.tif 000018
【図１７】
2005159824.tif 000019
【図１８】
2005159824.tif 000020
【図１９】
2005159824.tif 000021
【図２０】
2005159824.tif 000022
【図２１】
2005159824.tif 000023
【図２２】
2005159824.tif 000024
【図２３】
2005159824.tif 000025
【図２４】
2005159824.tif 000026
【図２５】
2005159824.tif 000027
【図２６】
2005159824.tif 000028
【図２７】
2005159824.tif 000029
【図２８】
2005159824.tif 000030