(57)【特許請求の範囲】
【請求項１】
複数の画像を一つの映像として符号化する映像符号化方法であって、
第１の画像内の所定位置に対する符号化対象情報を符号化するにあたり、該第１の画像と符号化済みの第２の画像との間の視点ずれを示す参照視差情報を設定する参照視差情報設定ステップと、
前記参照視差情報を用いて、前記第２の画像において前記所定位置と対応付けられる対応位置を設定する対応位置設定ステップと、
前記対応位置の符号化対象情報に対応した符号テーブルを設定する符号テーブル設定ステップと、
前記符号テーブルを使い、前記第１の画像内の前記符号化対象情報を符号化する符号化対象情報符号化ステップと
を有し、
前記符号化対象情報は、画像を分割したブロックごとに設定されるものであり、
前記対応位置設定ステップでは、前記第２の画像において前記所定位置に対応するブロックの位置を、前記参照視差情報に基づいてずらしたときに該ブロックとの重複面積が最大となるブロックの位置を対応位置として設定する映像符号化方法。
【請求項２】
複数の画像を一つの映像として符号化する映像符号化方法であって、
第１の画像内の所定位置に対する符号化対象情報を符号化するにあたり、該第１の画像と符号化済みの第２の画像との間の視点ずれを示す参照視差情報を設定する参照視差情報設定ステップと、
前記参照視差情報を用いて、前記第２の画像において前記所定位置と対応付けられる対応位置を設定する対応位置設定ステップと、
前記対応位置の符号化対象情報に対応した符号テーブルを設定する符号テーブル設定ステップと、
前記符号テーブルを使い、前記第１の画像内の前記符号化対象情報を符号化する符号化対象情報符号化ステップと
を有し、
前記符号化対象情報は、画像を分割したブロックごとに設定されるものであり、
前記対応位置設定ステップでは、前記第２の画像において前記所定位置に対応するブロックの位置を、前記参照視差情報に基づいてずらした位置の周辺の複数のブロックの位置を対応位置として設定する映像符号化方法。
【請求項３】
複数の画像を一つの映像として符号化する映像符号化方法であって、
第１の画像内の所定位置に対する符号化対象情報を符号化するにあたり、該第１の画像と符号化済みの第２の画像との間の視点ずれを示す参照視差情報を設定する参照視差情報設定ステップと、
前記参照視差情報を用いて、前記第２の画像において前記所定位置と対応付けられる対応位置を設定する対応位置設定ステップと、
前記対応位置の符号化対象情報に対応した符号テーブルを設定する符号テーブル設定ステップと、
前記符号テーブルを使い、前記第１の画像内の前記符号化対象情報を符号化する符号化対象情報符号化ステップと
を有し、
前記符号テーブル設定ステップでは、前記第２の画像内の前記対応位置の符号化対象情報と、前記第１の画像内の前記所定位置の周辺の位置に対する符号化済みの符号化対象情報とに対応した符号テーブルを設定し、前記符号テーブルの設定に用いる符号化対象情報の最頻値に対応する符号テーブルを設定する映像符号化方法。
【請求項４】
複数の画像を一つの映像として符号化する映像符号化方法であって、
第１の画像内の所定位置に対する符号化対象情報を符号化するにあたり、該第１の画像と符号化済みの第２の画像との間の視点ずれを示す参照視差情報を設定する参照視差情報設定ステップと、
前記参照視差情報を用いて、前記第２の画像において前記所定位置と対応付けられる対応位置を設定する対応位置設定ステップと、
前記対応位置の符号化対象情報に対応した符号テーブルを設定する符号テーブル設定ステップと、
前記符号テーブルを使い、前記第１の画像内の前記符号化対象情報を符号化する符号化対象情報符号化ステップと
を有し、
前記符号テーブル設定ステップでは、前記第２の画像内の前記対応位置の周辺の位置に対応する符号化対象情報も参照して前記符号テーブルを設定し、前記符号テーブルの設定に用いる符号化対象情報の最頻値に対応する符号テーブルを設定する映像符号化方法。
【請求項５】
複数の画像を一つの映像として符号化する映像符号化方法であって、
第１の画像内の所定位置に対する符号化対象情報を符号化するにあたり、該第１の画像と符号化済みの第２の画像との間の視点ずれを示す参照視差情報を設定する参照視差情報設定ステップと、
前記参照視差情報を用いて、前記第２の画像において前記所定位置と対応付けられる対応位置を設定する対応位置設定ステップと、
前記対応位置の符号化対象情報に対応した符号テーブルを設定する符号テーブル設定ステップと、
前記符号テーブルを使い、前記第１の画像内の前記符号化対象情報を符号化する符号化対象情報符号化ステップと
を有し、
前記符号テーブル設定ステップでは、前記第２の画像内の前記対応位置の符号化対象情報と、前記第１の画像内の前記所定位置の周辺の位置に対する符号化済みの符号化対象情報とに対応した符号テーブルを設定し、前記符号テーブルの設定に用いる符号化対象情報の平均値に対応する符号テーブルを設定する映像符号化方法。
【請求項６】
複数の画像を一つの映像として符号化する映像符号化方法であって、
第１の画像内の所定位置に対する符号化対象情報を符号化するにあたり、該第１の画像と符号化済みの第２の画像との間の視点ずれを示す参照視差情報を設定する参照視差情報設定ステップと、
前記参照視差情報を用いて、前記第２の画像において前記所定位置と対応付けられる対応位置を設定する対応位置設定ステップと、
前記対応位置の符号化対象情報に対応した符号テーブルを設定する符号テーブル設定ステップと、
前記符号テーブルを使い、前記第１の画像内の前記符号化対象情報を符号化する符号化対象情報符号化ステップと
を有し、
前記符号テーブル設定ステップでは、前記第２の画像内の前記対応位置の周辺の位置に対応する符号化対象情報も参照して前記符号テーブルを設定し、前記符号テーブルの設定に用いる符号化対象情報の平均値に対応する符号テーブルを設定する映像符号化方法。
【請求項７】
複数の画像を一つの映像として符号化することで生成された符号化データを復号する映像復号方法であって、
第１の画像内の所定位置に対する符号化対象情報を復号するにあたり、該第１の画像と符号化済みの第２の画像との間の視点ずれを示す参照視差情報を設定する参照視差情報設定ステップと、
前記参照視差情報を用いて、前記第２の画像において前記所定位置と対応付けられる対応位置を設定する対応位置設定ステップと、
前記対応位置の符号化対象情報に対応した符号テーブルを設定する符号テーブル設定ステップと、
前記符号テーブルを使い、前記第１の画像内の前記符号化対象情報を復号する符号化対象情報復号ステップと
を有し、
前記符号化対象情報は、画像を分割したブロックごとに設定されるものであり、
前記対応位置設定ステップでは、前記第２の画像において前記所定位置に対応するブロックの位置を、前記参照視差情報に基づいてずらしたときに該ブロックとの重複面積が最大となるブロックの位置を対応位置として設定する映像復号方法。
【請求項８】
複数の画像を一つの映像として符号化することで生成された符号化データを復号する映像復号方法であって、
第１の画像内の所定位置に対する符号化対象情報を復号するにあたり、該第１の画像と符号化済みの第２の画像との間の視点ずれを示す参照視差情報を設定する参照視差情報設定ステップと、
前記参照視差情報を用いて、前記第２の画像において前記所定位置と対応付けられる対応位置を設定する対応位置設定ステップと、
前記対応位置の符号化対象情報に対応した符号テーブルを設定する符号テーブル設定ステップと、
前記符号テーブルを使い、前記第１の画像内の前記符号化対象情報を復号する符号化対象情報復号ステップと
を有し、
前記符号化対象情報は、画像を分割したブロックごとに設定されるものであり、
前記対応位置設定ステップでは、前記第２の画像において前記所定位置に対応するブロックの位置を、前記参照視差情報に基づいてずらした位置の周辺の複数のブロックの位置を対応位置として設定する映像復号方法。
【請求項９】
複数の画像を一つの映像として符号化することで生成された符号化データを復号する映像復号方法であって、
第１の画像内の所定位置に対する符号化対象情報を復号するにあたり、該第１の画像と符号化済みの第２の画像との間の視点ずれを示す参照視差情報を設定する参照視差情報設定ステップと、
前記参照視差情報を用いて、前記第２の画像において前記所定位置と対応付けられる対応位置を設定する対応位置設定ステップと、
前記対応位置の符号化対象情報に対応した符号テーブルを設定する符号テーブル設定ステップと、
前記符号テーブルを使い、前記第１の画像内の前記符号化対象情報を復号する符号化対象情報復号ステップと
を有し、
前記符号テーブル設定ステップでは、前記第２の画像内の前記対応位置の符号化対象情報と、前記第１の画像内の前記所定位置の周辺の位置に対する復号済みの符号化対象情報とに対応した符号テーブルを設定し、前記符号テーブルの設定に用いる符号化対象情報の最頻値に対応する符号テーブルを設定する映像復号方法。
【請求項１０】
複数の画像を一つの映像として符号化することで生成された符号化データを復号する映像復号方法であって、
第１の画像内の所定位置に対する符号化対象情報を復号するにあたり、該第１の画像と符号化済みの第２の画像との間の視点ずれを示す参照視差情報を設定する参照視差情報設定ステップと、
前記参照視差情報を用いて、前記第２の画像において前記所定位置と対応付けられる対応位置を設定する対応位置設定ステップと、
前記対応位置の符号化対象情報に対応した符号テーブルを設定する符号テーブル設定ステップと、
前記符号テーブルを使い、前記第１の画像内の前記符号化対象情報を復号する符号化対象情報復号ステップと
を有し、
前記符号テーブル設定ステップでは、前記第２の画像内の前記対応位置の周辺の位置に対応する符号化対象情報も参照して前記符号テーブルを設定し、前記符号テーブルの設定に用いる符号化対象情報の最頻値に対応する符号テーブルを設定する映像復号方法。
【請求項１１】
複数の画像を一つの映像として符号化することで生成された符号化データを復号する映像復号方法であって、
第１の画像内の所定位置に対する符号化対象情報を復号するにあたり、該第１の画像と符号化済みの第２の画像との間の視点ずれを示す参照視差情報を設定する参照視差情報設定ステップと、
前記参照視差情報を用いて、前記第２の画像において前記所定位置と対応付けられる対応位置を設定する対応位置設定ステップと、
前記対応位置の符号化対象情報に対応した符号テーブルを設定する符号テーブル設定ステップと、
前記符号テーブルを使い、前記第１の画像内の前記符号化対象情報を復号する符号化対象情報復号ステップと
を有し、
前記符号テーブル設定ステップでは、前記第２の画像内の前記対応位置の符号化対象情報と、前記第１の画像内の前記所定位置の周辺の位置に対する復号済みの符号化対象情報とに対応した符号テーブルを設定し、前記符号テーブルの設定に用いる符号化対象情報の平均値に対応する符号テーブルを設定する映像復号方法。
【請求項１２】
複数の画像を一つの映像として符号化することで生成された符号化データを復号する映像復号方法であって、
第１の画像内の所定位置に対する符号化対象情報を復号するにあたり、該第１の画像と符号化済みの第２の画像との間の視点ずれを示す参照視差情報を設定する参照視差情報設定ステップと、
前記参照視差情報を用いて、前記第２の画像において前記所定位置と対応付けられる対応位置を設定する対応位置設定ステップと、
前記対応位置の符号化対象情報に対応した符号テーブルを設定する符号テーブル設定ステップと、
前記符号テーブルを使い、前記第１の画像内の前記符号化対象情報を復号する符号化対象情報復号ステップと
を有し、
前記符号テーブル設定ステップでは、前記第２の画像内の前記対応位置の周辺の位置に対応する符号化対象情報も参照して前記符号テーブルを設定し、前記符号テーブルの設定に用いる符号化対象情報の平均値に対応する符号テーブルを設定する映像復号方法。
【請求項１３】
複数の画像を一つの映像として符号化する映像符号化装置であって、
第１の画像内の所定位置に対する符号化対象情報を符号化するにあたり、該第１の画像と符号化済みの第２の画像との間の視点ずれを示す参照視差情報を設定する参照視差情報設定部と、
前記参照視差情報を用いて、前記第２の画像において前記所定位置と対応付けられる対応位置を設定する対応位置設定部と、
前記対応位置の符号化対象情報に対応した符号テーブルを設定する符号テーブル設定部と、
前記符号テーブルを使い、前記第１の画像内の前記符号化対象情報を符号化する符号化対象情報符号化部と
を有し、
前記符号化対象情報は、画像を分割したブロックごとに設定されるものであり、
前記対応位置設定部は、前記第２の画像において前記所定位置に対応するブロックの位置を、前記参照視差情報に基づいてずらしたときに該ブロックとの重複面積が最大となるブロックの位置を対応位置として設定する映像符号化装置。
【請求項１４】
複数の画像を一つの映像として符号化する映像符号化装置であって、
第１の画像内の所定位置に対する符号化対象情報を符号化するにあたり、該第１の画像と符号化済みの第２の画像との間の視点ずれを示す参照視差情報を設定する参照視差情報設定部と、
前記参照視差情報を用いて、前記第２の画像において前記所定位置と対応付けられる対応位置を設定する対応位置設定部と、
前記対応位置の符号化対象情報に対応した符号テーブルを設定する符号テーブル設定部と、
前記符号テーブルを使い、前記第１の画像内の前記符号化対象情報を符号化する符号化対象情報符号化部と
を有し、
前記符号化対象情報は、画像を分割したブロックごとに設定されるものであり、
前記対応位置設定部は、前記第２の画像において前記所定位置に対応するブロックの位置を、前記参照視差情報に基づいてずらした位置の周辺の複数のブロックの位置を対応位置として設定する映像符号化装置。
【請求項１５】
複数の画像を一つの映像として符号化することで生成された符号化データを復号する映像復号装置であって、
第１の画像内の所定位置に対する符号化対象情報を復号するにあたり、該第１の画像と符号化済みの第２の画像との間の視点ずれを示す参照視差情報を設定する参照視差情報設定部と、
前記参照視差情報を用いて、前記第２の画像において前記所定位置と対応付けられる対応位置を設定する対応位置設定部と、
前記対応位置の符号化対象情報に対応した符号テーブルを設定する符号テーブル設定部と、
前記符号テーブルを使い、前記第１の画像内の前記符号化対象情報を復号する符号化対象情報復号部と
を有し、
前記符号化対象情報は、画像を分割したブロックごとに設定されるものであり、
前記対応位置設定部は、前記第２の画像において前記所定位置に対応するブロックの位置を、前記参照視差情報に基づいてずらしたときに該ブロックとの重複面積が最大となるブロックの位置を対応位置として設定する映像復号装置。
【請求項１６】
複数の画像を一つの映像として符号化することで生成された符号化データを復号する映像復号装置であって、
第１の画像内の所定位置に対する符号化対象情報を復号するにあたり、該第１の画像と符号化済みの第２の画像との間の視点ずれを示す参照視差情報を設定する参照視差情報設定部と、
前記参照視差情報を用いて、前記第２の画像において前記所定位置と対応付けられる対応位置を設定する対応位置設定部と、
前記対応位置の符号化対象情報に対応した符号テーブルを設定する符号テーブル設定部と、
前記符号テーブルを使い、前記第１の画像内の前記符号化対象情報を復号する符号化対象情報復号部と
を有し、
前記符号化対象情報は、画像を分割したブロックごとに設定されるものであり、
前記対応位置設定部は、前記第２の画像において前記所定位置に対応するブロックの位置を、前記参照視差情報に基づいてずらした位置の周辺の複数のブロックの位置を対応位置として設定する映像復号装置。
【請求項１７】
請求項１から請求項６のいずれか１項に記載の映像符号化方法の実現に用いられる処理をコンピュータに実行させるための映像符号化プログラム。
【請求項１８】
請求項７から請求項１２のいずれか１項に記載の映像復号方法の実現に用いられる処理をコンピュータに実行させるための映像復号プログラム。
【請求項１９】
請求項１から請求項６のいずれか１項に記載の映像符号化方法の実現に用いられる処理をコンピュータに実行させるための映像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項２０】
請求項７から請求項１２のいずれか１項に記載の映像復号方法の実現に用いられる処理をコンピュータに実行させるための映像復号プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多視点動画像の符号化に用いられる映像符号化方法及びその装置と、その映像符号化方法の実現に用いられる映像符号化プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体と、その映像符号化技術により生成された符号化データを復号する映像復号方法及びその装置と、その映像復号方法の実現に用いられる映像復号プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。
本願は、２００５年１月７日に出願された特願２００５−００２４２３号に基づき優先権を主張し、その内容をここに援用する。
【背景技術】
【０００２】
多視点動画像は、様々な位置にある複数のカメラで同じ被写体と背景を撮影した複数の動画像である。以下では、一つのカメラで撮影された動画像を“２次元動画像”と呼び、同じ被写体と背景を撮影した２次元動画像の集合を“多視点動画像”と呼ぶ。【０００３】
多視点動画像に含まれる各カメラの２次元動画像は、時間方向に強い相関がある。一方、各カメラが同期されていた場合、同じ時間に対応した各カメラのフレームは全く同じ状態の被写体と背景を撮影しているため、カメラ間で強い相関がある。【０００４】
まず、２次元動画像の符号化方式に関する従来技術を述べる。【０００５】
国際符号化標準であるＨ.264、ＭＰＥＧ−４、ＭＰＥＧ−２をはじめとした従来の多くの２次元動画像符号化方式では、動き補償、直交変換、量子化、エントロピー符号化という技術を利用して、高効率な符号化を行う。【０００６】
例えば、Ｈ.264では、Ｉフレームにおいてはフレーム内相関を利用して符号化が可能で、Ｐフレームでは過去の複数枚のフレームにおけるフレーム間相関を利用して符号化が可能で、Ｂフレームでは過去あるいは未来の複数枚毎のフレームにおけるフレーム間相関を利用して符号化が可能である。【０００７】
Ｉフレームではフレームをブロック分割し（このブロックをマクロブロックといい、ブロックサイズは１６×１６である）、各マクロブロックにおいてイントラ予測を行う。イントラ予測の際には、各マクロブロックをさらに小さなブロックに分割し（以後、サブブロックと呼ぶ）、各サブブロックで異なるイントラ予測方法を行うことができる。【０００８】
一方、Ｐフレームでは、各マクロブロックでイントラ予測、あるいはインター予測を行うことができる。Ｐフレームにおけるイントラ予測はＩフレームの場合と同様である。一方、インター予測の際には動き補償が行われる。動き補償においても、マクロブロックをより小さなブロックに分割して、各サブブロックで異なる動きベクトル、参照画像を持つことができる。【０００９】
また、Ｂフレームにおいても、イントラ予測とインター予測が行えるが、Ｂフレームでのインター予測では、過去のフレームに加えて未来のフレームも動き補償の参照画像にできる。例えば、Ｉフレーム→Ｂフレーム→Ｂフレーム→Ｐフレームというフレーム構成で符号化する場合、Ｉ→Ｐ→Ｂ→Ｂの順番で符号化することとなる。そして、Ｂフレームでは、Ｉフレーム及びＰフレームを参照して動き補償ができる。また、Ｐフレームの場合と同様に、マクロブロックを分割したサブブロックごとに異なる動きベクトルを持つことができる。【００１０】
イントラもしくはインター予測を行うと予測残差が得られるが、各マクロブロックで予測残差ブロックにＤＣＴ（離散コサイン変換）を行って量子化が行われる。具体的には、ブロックサイズ１６×１６のマクロブロックは４×４のサブブロックに分割され、４×４のＤＣＴが行われる。そして、ＤＣＴ係数の量子化値列は次のような情報で表現される。【００１１】
・Coded block pattern：マクロブロック内に定義できる４つの８×８ブロックのうち、どのブロック内で非ゼロであるＤＣＴ係数（以後、非ゼロ係数）が存                        在するか示す情報
・Coded block flag：非ゼロ係数が存在する８×８ブロック内における４つの４×４ブロックのうち、どの４×４ブロックに非ゼロ係数が存在するか示す情報
・Significanceマップ：Coded block flagで示される４×４ブロックに存在するＤＣＴ係数のうち、どの係数が非ゼロであるか示す情報
・レベル情報：Significanceマップが示す非ゼロ係数の値
上記のＤＣＴ係数に関連する情報に加え、各マクロブロックのサブブロックへの分割方法や動きベクトルなどに対して、エントロピー符号化と呼ばれる可逆符号化が施されて符号化が完了する。【００１２】
ここで、画素領域の量子化値、あるいは画像ブロックに対して直交変換した変換係数の量子化値（ＤＣＴ係数の場合、上記のレベル情報に対応する）以外のエントロピー符号化の対象となる情報を“補助情報”と呼ぶこととする。Ｈ.264の場合、上記ＤＣＴ係数関連の補助情報以外の補助情報として、例えば以下のようなものがある。これらの補助情報はマクロブロック単位で与えられる。【００１３】
・マクロブロックタイプ及びサブマクロブロックタイプ：  マクロブロックタイプは、マクロブロックでイントラ予測を行うか、インター予測を行うかの指定、予測方法、ブロックの分割形式などの組み合わせをインデックスで表現したものである。一方、サブマクロブロックタイプは、サブブロックでの予測方法、ブロックの分割形式などの組み合わせをインデックスで表現したものである。
・参照画像インデックス：  各サブブロックでの動き補償に利用される参照画像のインデックス値である。
・動きベクトル：  各サブブロックにおける動きベクトルである。Ｈ.264では、周辺の動きベクトルで予測した残差として表現している。【００１４】
次に、エントロピー符号化に関する概要を説明する。【００１５】
エントロピー符号化は可逆符号化である。ここで、一般的に可逆符号化とは、符号化対象のシンボル（整数の集合から取り出した一つの値と解釈すれば良い）を１と０によるビット列に変換する処理である。例えば、符号化対象のシンボルが｛０，１，２，３｝という整数の集合における一つの値であるとき、そのシンボルが０の時は００、１のときは０１、２のときは１０、３のときは１１、に符号化すれば可逆符号化になる。この符号化方法は固定長符号化と呼ばれている。ここで、シンボルを符号化するための符号の集合（この例では、｛００，０１，１０，１１｝）を“符号テーブル”と呼ぶ。【００１６】
固定長符号化は可逆符号化だが、符号化効率の意味では効率が悪い。情報理論では、シンボルの発生確率（整数の集合に関する確率分布）を利用することによって、高効率な可逆符号化を実現できることが知られている。おおまかには、発生確率の高いシンボルには短い符号長を割り振り、発生確率の低いシンボルには長い符号長を割り振ることで平均的には固定長符号化より効率的な符号化が可能になる。このように、確率分布を利用した可逆符号化をエントロピー符号化という。【００１７】
しかし、前述のような高効率なエントロピー符号化が行えるのは、符号化対象のシンボルの確率分布が既知であることが前提である。従って、従来は経験的に確率分布を決めたり、符号化しながらシンボルの確率分布を学習するという方法が取られていた。なお、シンボルの確率分布から最適な符号テーブルを求める方法は従来からある（ハフマン符号や算術符号）。従って、以下では確率分布と符号テーブルを同義として扱う。【００１８】
エントロピー符号化を動画像符号化の補助情報、画素値、変換係数値の符号化に利用する場合、これらの符号化対象の情報は画像内で確率が変わる。従って、高効率な符号化を実現するには、画像内の位置によって符号化に利用する符号テーブルを適切なものに切り替える必要がある。すなわち、確率分布を適切なものに切り替える必要がある。【００１９】
Ｈ.264では、Context-Adaptive Binary Arithmetic Coding(ＣＡＢＡＣ) という方法でこれを実現している（参考文献１：下記の非特許文献１）。以下で、マクロブロックタイプを符号化する場合を例として、Ｈ.264におけるＣＡＢＡＣの概要を示す。【００２０】
ＣＡＢＡＣでは、あるマクロブロックのマクロブロックタイプを符号化する場合、そのマクロブロックの上及び左のマクロブロックの符号化済みのマクロブロックタイプを参照して符号テーブルを切り替える。【００２１】
図１７に、この参照関係の概念図を示す。図中のＡ、Ｂと記述されたマクロブロックのマクロブロックタイプは符号化対象のマクロブロックタイプと強い相関がある。【００２２】
ＣＡＢＡＣでは、この相関を利用して最適な符号テーブルを予測する。具体的には、マクロブロックＡ、Ｂについて、あり得るすべてのマクロブロックタイプの値の組み合わせについてそれぞれ符号テーブルを保持し、実際のＡ、Ｂのマクロブロックタイプの値に対応した符号テーブル（確率分布）を利用して符号化対象のマクロブロックタイプをエントロピー符号化する。その他の符号化対象の情報も同じ考え方に基づいてエントロピー符号化される。【００２３】
次に、従来の多視点動画像の符号化方法について説明する。【００２４】
従来の多視点動画像の符号化では、上記の時間方向及び視差方向（カメラ間）の相関を利用して符号化効率を高めるために、時間方向の予測及びカメラ間での補償を行った符号化を採用している。その一例としては、参考文献２（下記の非特許文献２）に示される手法がある。【００２５】
この手法では、“ＧＯＰ”と呼ばれるフレームの集まりを、Ｂase ＧＯＰとＩnterＧＯＰという２種類のＧＯＰに分類し、符号化する。Ｂase ＧＯＰと呼ばれるＧＯＰでは、同一カメラのＧＯＰの画像に含まれる全てのフレームがイントラあるいはインター予測によって符号化されるが、Ｉnter ＧＯＰと呼ばれるＧＯＰに含まれるフレームでは、このようなイントラ、インター予測に加え、別のカメラのＧＯＰの画像を利用した視差方向予測も利用して良い。ここで、視差方向予測というのは、あるカメラの画像のマクロブロックを符号化するにあたり、別のカメラの画像を参照画像として動き補償と同じ処理を行うことである。【００２６】
図１８に、この方法におけるＧＯＰ構造の一例を示す。図の例においては、各ＧＯＰは２つの画像を有し、各矢印は画像間の参照関係を表している。この方法では、時間方向及び視差方向の相関が符号化に利用されるため、時間方向のみの相関を利用した方法より符号化効率を向上させることが可能である。
【非特許文献１】Detlev Marpe, et.al., "Context-Based Adaptive Binary Arithmetic Coding in the H.264/AVC Video Compression Standard", IEEE Transactions on Circuits and Systems for Video Technology, Vol. 13. No. 7, pp. 620-636, July, 2003.
【非特許文献２】Hideaki Kimataand Masaki Kitahara, "Preliminary results on multiple view video coding (3DAV)," document M10976 MPEG Redmond Meeting, July, 2004.
【発明の開示】
【発明が解決しようとする課題】
【００２７】
しかしながら、参考文献２の手法では、符号化対象の多視点動画像を符号化するときに、先ず最初に、符号化効率に基づいて、時間方向の予測を使って符号化を行うのか、視差方向の予測を使って符号化を行うのかを決めるようにして、それに従って、時間方向の予測を使って符号化を行うことを決定すると、その後は、視差方向の相関を一切考慮することなく符号化を行うようにしている。【００２８】
この場合、符号化対象の多視点動画像において、被写体と背景の時間的な変化が緩やかで、時間方向の相関がカメラ間の相関に勝る場合、参考文献２の方法に従っていると、時間方向の相関しか利用しない方法と比較して符号化効率を向上させることができないという問題がある。【００２９】
これは、参考文献２の方法を前述のような多視点動画像に適用すると、常に時間方向の予測が利用され、時間方向の相関しか利用しない方法とほぼ同じ符号化を行うことになるからである。【００３０】
しかし、時間方向の予測しか行われない場合も、予測残差やその直交変換係数、動きベクトルやマクロブロックタイプのような補助情報は、カメラ間で相関がある。従って、これらの情報の符号化においてカメラ間の相関を利用することが考えられる。【００３１】
一方、動き補償の予測誤差を画素領域で量子化し、その量子化値をエントロピー符号化するような符号化方法を前提とした場合、一つの２次元動画像を符号化する方法である参考文献３（塩寺太一郎，松田一朗，伊東晋,"動き補償と３次元予測に基づいた動画像の可逆符号化〜コンテクストモデリングに関する検討〜",情報科学技術フォーラム(FIT 2003)講演論文集, No. J-053, pp. 303-304, Sep. 2003）の手法を応用することが考えられる。【００３２】
この参考文献３の手法では、予測残差の量子化値のエントロピー符号化の際に、各ブロックで求められた動きベクトルを利用して、前フレームのすでに符号化が終了している量子化値を参照することで符号テーブルを切り替えるようにしている。【００３３】
具体的には、現在符号化対象となっている画素の位置を（ｘ，ｙ）、その画素が含まれるブロックの動きベクトルを（ｍx ，ｍy ) としたとき、前フレームで（ｘ＋ｍx ，ｙ＋ｍy ）の位置の周辺の画素に対応した量子化値の和を参照して符号テーブルを切り替える。（ｘ＋ｍx ，ｙ＋ｍy ）の位置の周辺の画素に対応した量子化値は、符号化対象の画素の量子化値と相関があるため、この手法を用いることで符号化効率を向上させることが可能となる。【００３４】
この手法を多視点動画像の符号化において、（画素領域における）予測残差の量子化値のエントロピー符号化に応用する場合には、各ブロックで隣接するカメラの同一フレームに対して視差ベクトルを求め、参考文献３の手法で時間方向に行っていた処理を視差方向に行えばよい。【００３５】
しかしながら、このような容易に類推可能な方法では、予測残差の量子化値自体の符号化効率を向上させることができるものの、各ブロックに対する視差ベクトルを符号化する必要があるため、全体としての符号化効率を向上させることが困難である。【００３６】
また、このような容易に類推可能な方法では、画素領域の予測残差以外の符号化対象情報（例えば、直交変換係数、動きベクトルやマクロブロックタイプなどの補助情報）を効率的に符号化することはできない。これは、画素領域の予測残差とその他の符号化対象情報との間に相関がないからである。【００３７】
本発明はかかる事情に鑑みてなされたものであって、多視点動画像を符号化するときに、エントロピー符号化において視差方向の相関を利用して符号化を行うことができるようにすることで、従来視差方向予測によって符号化効率を向上させることができないでいた多視点動画像を含めたあらゆる多視点動画像に対して、その符号化効率を向上させることができるようにする新たな符号化技術の提供を目的とする。
【課題を解決するための手段】
【００３８】
上記事情を鑑みて、本発明は、複数の画像を一つの映像として符号化する映像符号化方法であって、
第１の画像内の所定位置に対する符号化対象情報を符号化するにあたり、該第１の画像と符号化済みの第２の画像との間の視点ずれを示す参照視差情報を設定する参照視差情報設定ステップと、
前記参照視差情報を用いて、前記第２の画像において前記所定位置と対応付けられる対応位置を設定する対応位置設定ステップと、
前記対応位置の符号化対象情報に対応した符号テーブルを設定する符号テーブル設定ステップと、
前記符号テーブルを使い、前記第１の画像内の前記符号化対象情報を符号化する符号化対象情報符号化ステップと
を有し、
前記符号化対象情報は、画像を分割したブロックごとに設定されるものであり、
前記対応位置設定ステップでは、前記第２の画像において前記所定位置に対応するブロックの位置を、前記参照視差情報に基づいてずらしたときに該ブロックとの重複面積が最大となるブロックの位置を対応位置として設定する映像符号化方法を提供する。
【００４０】
このように構成される本発明によれば、参照される視差情報（視差ベクトルなどのような視差の大きさを示す情報）を符号化しないか、もしくは符号化してもデータ量を小さく抑えることができ、なおかつ、視差方向の相関を利用して符号化対象となっている符号化対象情報を符号化できることにより、複数の映像（例えば多視点動画像）を効率的に符号化できるようになる。【００４１】
この実現にあたって、ブロックごとに視差情報を求めて符号化するのでなく、異なるカメラ間の視点ずれを示す視差情報を推定するか，もしくは一つの画像に対して１つの平均的な視差情報（グローバル視差情報）を求めて符号化する。
各カメラのカメラパラメータが既知であり、２つ以上のカメラの復号画像が参照可能である場合には、符号化対象画像（第１の画像）を利用せずに、符号化対象画像の各画素に関する視差情報(視差ベクトル)を推定することができる。
また、カメラが一列に並んでいて視軸が平行であるような場合、各カメラの同一時刻の画像列は被写体が平行移動した動画像を撮影していることと等価なので、参照視差情報のみでローカルな視差情報を近似できる。
そして、上記のような視差情報を利用して、別の画像の符号化対象情報を参照して、符号化対象画像のエントロピー符号化用の符号テーブルを切り替える。【００４２】
好適例として、前記符号テーブル設定ステップでは、前記第２の画像内の前記対応位置の符号化対象情報と、前記第１の画像内の前記所定位置の周辺の位置に対する符号化済みの符号化対象情報とに対応した符号テーブルを設定する。
別の好適例として、前記符号テーブル設定ステップでは、前記第２の画像内の前記対応位置の周辺の位置に対応する符号化対象情報も参照して前記符号テーブルを設定する。これによれば、ロバストな符号テーブルの切り替えが可能となる。
これにより、参照視差情報の精度などの影響がある場合でも、上記第２の画像内の対応位置を設定するにあたり、上記第１の画像内の上記所定位置の統計的なばらつきにも対応できるという効果がある。
即ち、周辺の複数の対応位置を参照して符号テーブルを設定することにより、参照視差情報の精度などの影響を吸収することが可能となる。【００４３】
典型例として、前記符号化対象情報は、画像を分割したブロックごとに設定されるものであり、
前記対応位置設定ステップでは、前記第２の画像において前記所定位置に対応するブロックの位置を、前記参照視差情報に基づいてずらしたときに該ブロックとの重複面積が最大となるブロックの位置を対応位置として設定する。
この場合、符号テーブル設定手段は、その対応位置のブロックの符号化対象情報を参照することで符号テーブルを切り替えることになる。この構成を採ることで、ブロックベースの符号化において、各ブロックに対して求められる符号化対象情報（直交変換係数、マクロブロックタイプなど）の効率的な符号化が行えるようになる。【００４４】
別の典型例として、前記符号化対象情報は、画像を分割したブロックごとに設定されるものであり、
前記対応位置設定ステップでは、前記第２の画像において前記所定位置に対応するブロックの位置を、前記参照視差情報に基づいてずらした位置の周辺の複数のブロックの位置を対応位置として設定する。
このときには、符号テーブル設定手段は、その複数のブロックの符号化対象情報を参照することで符号テーブルを切り替えることになる。この構成を採ることで、ブロックベースの符号化において、前述した理由と同じ理由により、ロバストな符号テーブルの切り替えが可能となる。【００４５】
前記符号テーブル設定ステップでは、前記符号テーブルの設定に用いる符号化対象情報の最頻値に対応する符号テーブルを設定するようにしても良い。
この構成を採ることで、符号テーブルの数の爆発的な増加を防ぎながら、マクロブロックタイプや予測モードのような、数値として表現されているがあくまでもインデックスとしての数値である、大小関係が定義できない符号化対象情報を効率的に符号化することができるようになる。【００４６】
すなわち、参照する対応位置の数がＮであった場合、Ｎ個のシンボルの全組み合わせについて符号テーブルを用意すると、参照する対応位置の数が１の場合の符号テーブル数ｃに対してｃN-1 個の符号テーブルを持つ必要がある。つまり、符号テーブルの数は指数的に増加する。これに対して、この構成を採ると、複数の対応位置に関する符号化対象情報の最頻値を参照して符号テーブルを切り替えるので、符号テーブルの数はｃで済む。【００４７】
また、前記符号テーブル設定ステップにおいて、前記符号テーブルの設定に用いる符号化対象情報の平均値に対応する符号テーブルを設定するようにしても良い。
この構成を採ることで、符号テーブルの数の爆発的な増加を防ぎながら、直交変換係数の量子化値や非ゼロ係数の数などのような大小関係が定義できる符号化対象情報を効率的に符号化することができるようになる。
上述のように、参照する対応位置の数がＮであった場合、Ｎ個のシンボルの全組み合わせについて符号テーブルを用意すると、参照する対応位置の数が１の場合の符号テーブル数ｃに対してｃN-1 個の符号テーブルを持つ必要がある。これに対して、この構成を採ると、複数の対応位置に関する符号化対象情報の平均値を参照して符号テーブルを切り替えるので、符号テーブルの数はｃで済む。【００４８】
本発明はまた、複数の画像を一つの映像として符号化することで生成された符号化データを復号する映像復号方法であって、
第１の画像内の所定位置に対する符号化対象情報を復号するにあたり、該第１の画像と符号化済みの第２の画像との間の視点ずれを示す参照視差情報を設定する参照視差情報設定ステップと、
前記参照視差情報を用いて、前記第２の画像において前記所定位置と対応付けられる対応位置を設定する対応位置設定ステップと、
前記対応位置の符号化対象情報に対応した符号テーブルを設定する符号テーブル設定ステップと、
前記符号テーブルを使い、前記第１の画像内の前記符号化対象情報を復号する符号化対象情報復号ステップと
を有し、
前記符号化対象情報は、画像を分割したブロックごとに設定されるものであり、
前記対応位置設定ステップでは、前記第２の画像において前記所定位置に対応するブロックの位置を、前記参照視差情報に基づいてずらしたときに該ブロックとの重複面積が最大となるブロックの位置を対応位置として設定する映像復号方法を提供する。
【００５０】
好適例として、前記符号テーブル設定ステップでは、前記第２の画像内の前記対応位置の符号化対象情報と、前記第１の画像内の前記所定位置の周辺の位置に対する復号済みの符号化対象情報とに対応した符号テーブルを設定する。
別の好適例として、前記符号テーブル設定ステップでは、前記第２の画像内の前記対応位置の周辺の位置に対応する符号化対象情報も参照して前記符号テーブルを設定する。【００５１】
典型例として、
前記符号化対象情報は、画像を分割したブロックごとに設定されるものであり、
前記対応位置設定ステップでは、前記第２の画像において前記所定位置に対応するブロックの位置を、前記参照視差情報に基づいてずらしたときに該ブロックとの重複面積が最大となるブロックの位置を対応位置として設定する。
別の典型例として、前記符号化対象情報は、画像を分割したブロックごとに設定されるものであり、
前記対応位置設定ステップでは、前記第２の画像において前記所定位置に対応するブロックの位置を、前記参照視差情報に基づいてずらした位置の周辺の複数のブロックの位置を対応位置として設定する。【００５２】
前記符号テーブル設定ステップでは、前記符号テーブルの設定に用いる符号化対象情報の最頻値に対応する符号テーブルを設定しても良く、また、前記符号テーブルの設定に用いる符号化対象情報の平均値に対応する符号テーブルを設定しても良い。【００５３】
本発明はまた、複数の画像を一つの映像として符号化する映像符号化装置であって、
第１の画像内の所定位置に対する符号化対象情報を符号化するにあたり、該第１の画像と符号化済みの第２の画像との間の視点ずれを示す参照視差情報を設定する参照視差情報設定部と、
前記参照視差情報を用いて、前記第２の画像において前記所定位置と対応付けられる対応位置を設定する対応位置設定部と、
前記対応位置の符号化対象情報に対応した符号テーブルを設定する符号テーブル設定部と、
前記符号テーブルを使い、前記第１の画像内の前記符号化対象情報を符号化する符号化対象情報符号化部と
を有し、
前記符号化対象情報は、画像を分割したブロックごとに設定されるものであり、
前記対応位置設定部は、前記第２の画像において前記所定位置に対応するブロックの位置を、前記参照視差情報に基づいてずらしたときに該ブロックとの重複面積が最大となるブロックの位置を対応位置として設定する映像符号化装置を提供する。
本発明はまた、複数の画像を一つの映像として符号化する映像符号化装置であって、
第１の画像内の所定位置に対する符号化対象情報を符号化するにあたり、該第１の画像と符号化済みの第２の画像との間の視点ずれを示す参照視差情報を設定する参照視差情報設定部と、
前記参照視差情報を用いて、前記第２の画像において前記所定位置と対応付けられる対応位置を設定する対応位置設定部と、
前記対応位置の符号化対象情報に対応した符号テーブルを設定する符号テーブル設定部と、
前記符号テーブルを使い、前記第１の画像内の前記符号化対象情報を符号化する符号化対象情報符号化部と
を有し、
前記符号化対象情報は、画像を分割したブロックごとに設定されるものであり、
前記対応位置設定部は、前記第２の画像において前記所定位置に対応するブロックの位置を、前記参照視差情報に基づいてずらした位置の周辺の複数のブロックの位置を対応位置として設定する映像符号化装置。
【００５５】
本発明はまた、複数の画像を一つの映像として符号化することで生成された符号化データを復号する映像復号装置であって、
第１の画像内の所定位置に対する符号化対象情報を復号するにあたり、該第１の画像と符号化済みの第２の画像との間の視点ずれを示す参照視差情報を設定する参照視差情報設定部と、
前記参照視差情報を用いて、前記第２の画像において前記所定位置と対応付けられる対応位置を設定する対応位置設定部と、
前記対応位置の符号化対象情報に対応した符号テーブルを設定する符号テーブル設定部と、
前記符号テーブルを使い、前記第１の画像内の前記符号化対象情報を復号する符号化対象情報復号部と
を有し、
前記符号化対象情報は、画像を分割したブロックごとに設定されるものであり、
前記対応位置設定部は、前記第２の画像において前記所定位置に対応するブロックの位置を、前記参照視差情報に基づいてずらしたときに該ブロックとの重複面積が最大となるブロックの位置を対応位置として設定する映像復号装置を提供する。
本発明はまた、複数の画像を一つの映像として符号化することで生成された符号化データを復号する映像復号装置であって、
第１の画像内の所定位置に対する符号化対象情報を復号するにあたり、該第１の画像と符号化済みの第２の画像との間の視点ずれを示す参照視差情報を設定する参照視差情報設定部と、
前記参照視差情報を用いて、前記第２の画像において前記所定位置と対応付けられる対応位置を設定する対応位置設定部と、
前記対応位置の符号化対象情報に対応した符号テーブルを設定する符号テーブル設定部と、
前記符号テーブルを使い、前記第１の画像内の前記符号化対象情報を復号する符号化対象情報復号部と
を有し、
前記符号化対象情報は、画像を分割したブロックごとに設定されるものであり、
前記対応位置設定部は、前記第２の画像において前記所定位置に対応するブロックの位置を、前記参照視差情報に基づいてずらした位置の周辺の複数のブロックの位置を対応位置として設定する映像復号装置。
【００５７】
本発明の各方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することができる。
【発明の効果】
【００５８】
以上に説明したように、本発明によれば、視差方向予測によって符号化効率を向上させることができないでいた多視点動画像に対して、エントロピー符号化において視差方向の相関を利用することが可能となることから、あらゆる多視点動画像に対して、符号化効率を向上させることができるようになる。
【図面の簡単な説明】
【００５９】
【図１Ａ】符号テーブルを切り替えるための符号化対象情報の参照関係の一例を示す図である。
【図１Ｂ】同様に、符号テーブルを切り替えるための符号化対象情報の参照関係の一例を示す図である。
【図２Ａ】符号テーブルを切り替えるための符号化対象情報の参照関係の一例を示す図である。
【図２Ｂ】同様に、符号テーブルを切り替えるための符号化対象情報の参照関係の一例を示す図である。
【図３】本発明の一実施形態において、カメラの構成を示す概念図である。
【図４】同実施形態における映像符号化装置の構成を示す図である。
【図５】同実施形態における符号化対象情報参照符号化部の構成を示す図である。
【図６】同実施形態において、映像符号化装置の実行する動作フローを示す図である。
【図７】同実施形態において、カメラＣ２の画像中の符号化対象情報の符号化処理の動作フローを示す図である。
【図８Ａ】符号テーブルを切り替えるための符号化対象情報の参照関係の一例を示す図である。
【図８Ｂ】同様に、符号テーブルを切り替えるための符号化対象情報の参照関係の一例を示す図である。
【図９】同実施形態における映像復号装置の構成を示す図である。
【図１０】同実施形態における符号化対象情報参照復号部の構成を示す図である。
【図１１】同実施形態において、映像復号装置の実行する動作フローを示す図である。
【図１２】同実施形態において、カメラＣ２の画像中の符号化対象情報の復号処理の動作フローを示す図である。
【図１３Ａ】同実施形態において、符号テーブルを切り替えるための符号化対象情報の参照関係の一例を示す図である。
【図１３Ｂ】同様に、符号テーブルを切り替えるための符号化対象情報の参照関係の一例を示す図である。
【図１４】符号化対象画像を利用せずに、該画像の各画素に関する視差情報(視差ベクトル)を推定する原理を示す図である。
【図１５】視差情報を推定する場合の、カメラＣ２の画像中の符号化対象情報の符号化処理の動作フローを示す図である。
【図１６】視差情報を推定する場合の、カメラＣ２の画像中の符号化対象情報の復号処理の動作フローを示す図である。
【図１７】Ｈ.264における符号テーブルを切り替えるためのマクロブロックの参照関係を示す図である。
【図１８】従来技術のＧＯＰ構造の一例を示す図である。
【符号の説明】
【００６０】
１    映像符号化装置
２    映像復号装置
１０  画像情報入力部
１１  画像メモリ
１２  参照視差情報設定部
１３  符号化対象情報非参照符号化部
１４  符号化対象情報メモリ
１５  符号化対象情報参照符号化部
１６  グローバル視差符号化部
２０  符号化対象情報非参照復号部
２１  符号化対象情報メモリ
２２  符号化対象情報参照復号部
２３  グローバル視差復号部
２４  画像情報復元部
２５  画像情報出力部
【発明を実施するための最良の形態】
【００６１】
以下、実施の形態に従って本発明を詳細に説明する。【００６２】
まず、図１Ａ、１Ｂ及び図２Ａ，２Ｂに、符号テーブルを切り替えるための符号化対象情報の参照関係の一例を示す。ここで、これらの図では、説明の便宜上、参照視差情報としてグローバル視差ベクトル（グローバル視差情報）を用いることを想定している。【００６３】
これらの図では、２つのカメラ（カメラＣ１、カメラＣ２）で撮影された映像を符号化することを想定しており、カメラＣ１に関する符号化対象情報（符号化対象情報とはエントロピー符号化の対象となる情報の総称で、予測残差、直交変換係数、マクロブロックタイプなどの情報である）については、カメラＣ２の符号化対象情報を参照せずに符号化し、一方、カメラＣ２の符号化対象情報のエントロピー符号化については、カメラＣ１の符号化済みの符号化対象情報を参照してエントロピー符号化することを想定している。【００６４】
図１Ａ、１Ｂの例では、カメラＣ２において現時点で符号化対象となっている符号化対象情報が属するブロック５０２（この例ではＭＰＥＧ−２のようなブロックベースの符号化を仮定している）の位置に対応するカメラＣ１の画像中の位置５０１を、カメラＣ１の画像中においてグローバル視差ベクトル分ずらすことで特定される位置に対応する１つのブロック（図中でＣと記述されたブロック）の符号化対象情報に従って符号テーブルを切り替えて、その符号テーブルを使って符号化対象情報を符号化する。【００６５】
なお、上記の例で、ブロック５０２の位置に対応するカメラＣ１の画像中の位置５０１を、カメラＣ１の画像中においてグローバル視差ベクトル分ずらすことで特定される位置に対応する１つのブロックを特定する場合に、好適例としては、ブロック５０１との重複面積が最大となるブロック（例えばＣ）の位置を対応位置として設定するようにする。【００６６】
また、図２Ａ，２Ｂの例では、カメラＣ２において現時点で符号化対象となっている符号化対象情報が属するブロック５０２（この例ではＭＰＥＧ−２のようなブロックベースの符号化を仮定している）の位置に対応するカメラＣ１の画像中の位置５０１を、カメラＣ１の画像中においてグローバル視差ベクトル分ずらすことで特定される位置周辺に対応する複数のブロック（図中でＣ，Ｄ，Ｅ，Ｆと記述されたブロック）の符号化対象情報に従って符号テーブルを切り替えて、その符号テーブルを使って符号化対象情報を符号化する。【００６７】
以下の実施形態例では、２つのカメラで撮影された多視点動画像を符号化する場合の具体例を、詳細に説明する。【００６８】
図３に、本実施形態例で利用するカメラ構成の概念図を示す。ここで、図中に示す四角型の図形は各カメラのフレーム（画像）を表すものとする。【００６９】
この図に示すように、本実施形態例では、カメラＣ１，Ｃ２を利用することを想定するとともに、カメラＣ１のフレームの全符号化対象情報を同一時刻のカメラＣ２のフレームより前に符号化し、カメラＣ２のフレームの符号化対象情報のエントロピー符号化においてカメラＣ１の（符号化済みの）符号化対象情報を参照することを想定する。【００７０】
以下では、説明を簡単にするため、図３の中でフレームの図に記述されている順番で符号化していくとする。また、符号化対象情報を符号化する際のブロックのスキャン方法については、各行を左からスキャンし、上の行から処理していくこととする。【００７１】
また、本発明では、符号化対象情報ごとに最適な符号テーブルに切り替えるという構成を採るのであるが、本実施形態例では、マクロブロックタイプという符号化対象情報を符号化する場合を想定して、その符号テーブルの切り替えについて具体的に説明する。マクロブロックタイプは、各ブロックでの動き補償の方法やイントラ予測の方法を示す情報であり、整数インデックスであるＭＢtypeとして表現される。本実施形態例では、ＭＢtypeは１２通りあるとする（つまり、ＭＢtype＝0,1,....,11)。【００７２】
また、符号化対象情報のエントロピー符号化の際には、符号化対象情報に対応するブロック周辺の符号化済み符号化対象情報を利用したコンテクスト依存型エントロピー符号化を行うか、あるいは、それらの符号化済み符号化対象情報及び別カメラのフレームの符号化済み符号化対象情報を利用したコンテクスト依存型エントロピー符号化を行うこととする。なお、その際の各符号テーブルは予め適切なものが用意されているとする。【００７３】
図４に、本実施形態例において利用する映像符号化装置１の構成を示す。【００７４】
この図に示す映像符号化装置１は、カメラＣ１，Ｃ２のフレームを図３に示す順番で入力する画像情報入力部１０と、カメラＣ１のフレームを蓄積する画像メモリ１１と、カメラＣ１とカメラＣ２のフレームの間で参照視差情報（本実施形態では、グローバル視差ベクトル）を求める参照視差情報設定部１２と、カメラＣ１の符号化対象情報を符号化する符号化対象情報非参照符号化部１３と、カメラＣ１のブロック情報（符号化対象情報）を蓄積する符号化対象情報メモリ１４と、カメラＣ２の符号化対象情報を符号化する符号化対象情報参照符号化部１５と、グローバル視差ベクトルを符号化するグローバル視差符号化部１６とを備える。【００７５】
図５に、映像符号化装置１における符号化対象情報参照符号化部１５の詳細な構成を示す。【００７６】
この図に示すように、符号化対象情報参照符号化部１５は、グローバル視差ベクトルから対応位置を求める対応位置設定部１５０と、カメラＣ１とカメラＣ２の符号化対象情報に基づいて符号テーブルを設定するための参照パラメータを設定する参照パラメータ設定部１５１と、参照パラメータを基に符号テーブルを設定する符号テーブル設定部１５２と、カメラＣ２の画像から符号化対象情報を設定する符号化対象情報設定部１５３と、カメラＣ２の符号化対象情報を符号化する符号化対象情報符号化部１５４とを備える。【００７７】
図６に、このように構成される映像符号化装置１の実行する動作フローを示す。【００７８】
この動作フローに示すように、まず、カメラＣ１とカメラＣ２のフレームが、図３に示されている順番で、交互に画像情報入力部１０に入力される（Ｓ１０）。【００７９】
入力されたフレームがカメラＣ１のフレームであれば、符号化対象情報非参照符号化部１３にて、各ブロックの符号化対象情報が符号化される（Ｓ１１／Ｓ１２）。また、画像メモリ１１には１フレーム分のメモリがあり、常にカメラＣ１の最新の入力済みフレームが蓄積される。【００８０】
一方、入力されたフレームがカメラＣ２のフレームであれば、符号化対象情報参照符号化部１５にて、各ブロックの符号化対象情報が符号化される（Ｓ１１／Ｓ１３）。なお、カメラＣ２のフレームの符号化対象情報の符号化では、事前に参照視差情報設定部１２で求められたグローバル視差ベクトルが利用される。【００８１】
そして、最後に、このようにして生成した符号化対象情報の符号化データを出力する（Ｓ１４）。【００８２】
図７に、カメラＣ２の符号化対象情報の符号化処理の詳細な動作フローを示す。【００８３】
参照視差情報設定部１２には、画像メモリ１１からカメラＣ１の画像が入力され、画像情報入力部１０からカメラＣ２の画像が入力される。そして、参照視差情報設定部１２でグローバル視差ベクトルが求められる（Ｓ１３０）。【００８４】
グローバル視差ベクトルの計算方法は様々な方法が考えられるが、ここでは、各ブロック（例えばマクロブロック）ごとの視差ベクトルの平均ベクトルとして求めることとする。【００８５】
すなわち、カメラＣ２のｂ（ｂ＝0, 1, ...., B-1）番目のブロックの画素値を、
Ｉb ( ｉ，ｊ）  ｉ＝0, 1, ...., I-1, ｊ＝0, 1, ...., J-1
と表し、カメラＣ１の画像中で左上の画素の位置が（ｉ’，ｊ’）である、大きさがＩ×Ｊであるブロックの画素値を、
Ｉi',j' ( ｉ，ｊ）  ｉ＝0, 1, ...., I-1, ｊ＝0, 1, ...., J-1
と表すならば、参照視差情報設定部１２では、カメラＣ２の各ブロックについて、以下の評価関数に基づいてブロックマッチングを行う。【００８６】
Ｅ（ｂ，ｉ',ｊ')＝Σi Σj （Ｉb ( ｉ，ｊ）−Ｉi',j' ( ｉ，ｊ））2 
ただし、Σi はｉ＝０〜Ｉ−１についての総和、Σj はｊ＝０〜Ｊ−１についての総和。
ここで、各ブロックにおいてＥ（ｂ，ｉ',ｊ')を最小化することで求まった視差ベクトルを＜ｄb ＞としたとき、グローバル視差ベクトル＜ｄ＞を例えば以下のような式で求める。【００８７】
＜ｄ＞＝Σ＜ｄb ＞／Ｂ
ただし、Σはｂ＝０〜Ｂ−１についての総和。
このようにして求められたグローバル視差ベクトルはグローバル視差符号化部１６に入力され、グローバル視差符号化部１６にて符号化される（Ｓ１３１）。【００８８】
グローバル視差ベクトルの符号化は、本実施形態例では非可逆符号化されることとする。ここでは、量子化ステップサイズが１で量子化されて（最も近い整数にマッピングされることと等価である）、エントロピー符号化されることとする。【００８９】
次に、各ブロックについて、符号化対象情報をエントロピー符号化するために、符号化対象情報設定部１５３にて符号化対象情報を求める（Ｓ１３３）。具体的には、動き補償による動きベクトル、ＭＢtypeなどの情報や直交変換係数などの符号化対象情報が求められる。【００９０】
次に、各ブロックについて、符号化対象情報符号化部１５４にて符号化対象情報を符号化する。その際、対応位置設定部１５０は、符号化されて復号されたグローバル視差ベクトルを用いて、対応位置がカメラＣ１のフレーム内に存在するか、判定を行う（Ｓ１３４）。【００９１】
本実施形態例では、図８Ａ，８Ｂに示すように、対応位置は、カメラＣ２の画像中のブロックｂに対応するカメラＣ１の画像中の位置５０１をグローバル視差ベクトル分シフトさせた位置に最も近い４つのブロックの位置とする。具体的には、現ブロックｂの左上の角の位置をＩb としたとき、カメラＣ１の画像においてブロックの左上の角の位置がＩb ＋＜ｄ＞に最も近い４つのブロックの位置を対応位置とする。ただし、Ｉb ＋＜ｄ＞とブロック左上の角の位置との距離が、予め設定された閾値maxDist より大きい場合には対応位置とはしないものとする。【００９２】
対応位置設定部１５０により対応位置が存在しないと判定された場合、エントロピー符号化の際の符号テーブルの切り替えは、同じ画像内の符号化済みのブロックのみの参照で行う。【００９３】
すなわち、対応位置が存在しない場合は、参照パラメータ設定部１５１は、図８Ｂ中のＡ、Ｂと記述されたブロックのＭＢtypeの組を求める。例えば、（０，５）というようなＭＢtypeの組を求めるのである。【００９４】
これを受けて、符号テーブル設定部１５２は、この（０，５）というＭＢtypeの組に対応した符号テーブルをエントロピー符号化用に設定する（Ｓ１３７）。なお、ここで利用される符号テーブルはカメラＣ１で利用されたものと同じとする。また、符号テーブル設定部１５２は、あり得るすべてのＭＢtypeの値の組み合わせについてそれぞれ符号テーブルを保持している。【００９５】
そして、この符号テーブルの設定を受けて、符号化対象情報符号化部１５４は、この符号テーブル内で現ブロックのＭＢtypeに対応した符号を出力する（Ｓ１３８）。即ち、現ブロックの符号化対象情報が符号化される。【００９６】
一方、対応位置設定部１５０により対応位置が存在すると判定された場合（図８ＡでＣ、Ｄ、Ｅ、Ｆと記述されたブロックである）は、参照パラメータ設定部１５１は、４つの対応位置に関するＭＢtypeの最頻値を求めて、そのＭＢtypeと、図８Ｂ中のＡ、Ｂと記述されたブロックのＭＢtypeの組とに基づいて、最終的なＭＢtypeの組を求める。即ち、符号化対象画像中の、現在符号化しようとしているブロックｂの周辺の符号化済み符号化対象情報と、符号化済み参照画像中の対応位置の符号化対象情報とが参照される。【００９７】
例えば、４つの対応位置のＭＢtypeが（０，５，５，４）であったとすると、最頻値は５である。また、図８中のＡ、Ｂと記述されたブロックのＭＢtypeの組が（０，５）だったとすると、参照パラメータ設定部１５１は、これらのＭＢtypeに基づいて、最終的に（０，５，５）というＭＢtypeの組を求めるのである。【００９８】
これを受けて、符号テーブル設定部１５２は、この（０，５，５）というＭＢtypeの組に対応した符号テーブルをエントロピー符号化用に設定する（Ｓ１３５）。【００９９】
そして、この符号テーブルの設定を受けて、符号化対象情報符号化部１５４は、この符号テーブル内で現ブロックのＭＢtypeに対応した符号を出力する（Ｓ１３６）。【０１００】
これらの処理については、画像内の全ブロックの符号化対象情報が符号化されるまで行われる（Ｓ１３２／Ｓ１３９／Ｓ１４０）。【０１０１】
このようにして、本発明の映像符号化装置１は、視差方向の相関を利用して、エントロピー符号化の対象となる符号化対象情報を符号化するように処理するのである。【０１０２】
次に、本発明の映像復号装置について説明する。【０１０３】
図９に、本実施形態例において利用する映像復号装置２の構成を示す。【０１０４】
この図に示す映像復号装置２は、カメラＣ１に関する符号化対象情報を復号する符号化対象情報非参照復号部２０と、カメラＣ１について復号された符号化対象情報を蓄積する符号化対象情報メモリ２１と、カメラＣ２に関する符号化対象情報を復号する符号化対象情報参照復号部２２と、グローバル視差ベクトルを復号するグローバル視差復号部２３と、符号化対象情報に基づいて画像を復元する画像情報復元部２４と、復元された画像を出力する画像情報出力部２５とを備える。【０１０５】
図１０に、映像復号装置２における符号化対象情報参照復号部２２の詳細な構成を示す。【０１０６】
この図に示すように、符号化対象情報参照復号部２２は、カメラＣ２の符号化対象情報を復号する符号化対象情報復号部２２０と、復号されたグローバル視差ベクトルから対応位置を求める対応位置設定部２２１と、カメラＣ１とカメラＣ２の復号済み符号化対象情報に基づいて符号テーブルを設定するための参照パラメータを設定する参照パラメータ設定部２２２と、参照パラメータを基に符号テーブルを設定する符号テーブル設定部２２３とを備える。【０１０７】
図１１に、このように構成される映像復号装置２の実行する動作フローを示す。【０１０８】
まず、映像復号装置２では、カメラＣ１とカメラＣ２の符号化データが、図３に示されている順番で入力される（Ｓ２０）。【０１０９】
このとき、カメラＣ１の符号化データについては符号化対象情報非参照復号部２０に入力され、カメラＣ２の符号化データについては符号化対象情報参照復号部２２に入力される。ここで、カメラＣ２の符号化データが入力される際には、グローバル視差ベクトルの符号化データもグローバル視差復号部２３に入力される。【０１１０】
入力された符号化データがカメラＣ１の符号化データであれば、符号化対象情報非参照復号部２０にて、各ブロックの符号化対象情報が復号される（Ｓ２１／Ｓ２２）。【０１１１】
一方、入力された符号化データがカメラＣ２の符号化データであれば、符号化対象情報参照復号部２２にて、各ブロックの符号化対象情報が復号される（Ｓ２１／Ｓ２３）。【０１１２】
そして、最後に、このようにして復号した符号化対象情報に基づいて画像を復元して出力する（Ｓ２４）。【０１１３】
図１２に、カメラＣ２の符号化対象情報の復号処理の詳細な動作フローを示す。【０１１４】
カメラＣ２の符号化対象情報の復号処理では、まずグローバル視差ベクトルの符号化データがグローバル視差復号部２３に入力され、グローバル視差復号部２３でグローバル視差ベクトルが復号される（Ｓ２３０）。【０１１５】
そして、対応位置設定部２２１にて、復号されたグローバル視差ベクトルを用いて、カメラＣ１のフレーム内に、カメラＣ２のフレーム内の現ブロックｂに対応する対応位置が存在するか、判定される（Ｓ２３２）。対応位置の決定方法については、符号化時と同様である。【０１１６】
対応位置設定部２２１により対応位置が存在しないと判定された場合、カメラＣ２の復号済み符号化対象情報のみを参照することで符号テーブルの切り替えが行われ、現ブロックの符号化対象情報が復号される（Ｓ２３５／Ｓ２３６）。参照関係については、符号化時と同様である。【０１１７】
このとき、参照パラメータ設定部２２２と符号テーブル設定部２２３については、映像符号化装置１において、対応位置が存在しない場合に行われる参照パラメータ設定部１５１と符号テーブル設定部１５２と同様の動作をして、現ブロックのＭＢtypeを復号する。【０１１８】
一方、対応位置設定部２２１により対応位置が存在すると判定された場合（符号化の場合と同じく図８ＡでＣ、Ｄ、Ｅ、Ｆと記述されたブロックである）、カメラＣ２の復号済み符号化対象情報及びカメラＣ１の対応位置の復号済み符号化対象情報を参照することで符号テーブルの切り替えが行われ、現ブロックの符号化対象情報が復号される（Ｓ２３３／Ｓ２３４）。【０１１９】
このとき、参照パラメータ設定部２２２と符号テーブル設定部２２３については、映像符号化装置１において、対応位置が存在する場合に行われる参照パラメータ設定部１５１と符号テーブル設定部１５２と同様の動作をして、現ブロックのＭＢtypeを復号する。【０１２０】
現ブロックの全ての符号化対象情報が復号されると、画像情報復元部２４で、これらの情報をもとに当該ブロックの画像情報が復元され、画像情報出力部２５から出力される（Ｓ２３７）。【０１２１】
これらの処理については、画像内の全ブロックが復号されるまで行われる（Ｓ２３１／Ｓ２３８／Ｓ２３９）。【０１２２】
このようにして、本発明の映像復号装置２は、視差方向の相関を利用して、本発明の映像符号化装置１により生成された符号化データを復号するように処理するのである。【０１２３】
前述した実施形態例での符号化処理はマクロブロックタイプという情報のエントロピー符号化に関するものであるが、本発明は、その他のエントロピー符号化の対象となる情報のエントロピー符号化に対しても、そのまま応用可能である。以下にいくつかの例を示す。【０１２４】
具体的には、Ｈ.264でエントロピー符号化の対象となり、ＤＣＴ係数に関連する情報である、Coded block pattern 、Coded block flag、Significanceマップ、レベル情報に対しての本発明の応用を示す。【０１２５】
前述の通り、Ｈ.264では、エントロピー符号化の対象となる情報は全てビット列で表現されており、１ビットずつコンテクスト依存型の算術符号化でエントロピー符号化される。すなわち、本発明を応用する場合は、各ビットをエントロピー符号化するときの符号テーブル（算術符号化なので、具体的には確率テーブルである）の切り替えに利用可能である。【０１２６】
前述のように、Coded block pattern という情報は、マクロブロック内の４つの８×８ブロックにおいて、どのブロックに非ゼロ係数があるか示す情報である。具体的には、８×８ブロックにおいて非ゼロ係数の存在の有無を１ビットで表すような、合計４ビットの情報として表現される。【０１２７】
ある８×８ブロックのCoded block pattern のビットを符号化する際には、例えば図１３Ａ，１３Ｂに示すような形の参照を、８×８ブロックを単位として行えば良い。図１３Ａ，１３Ｂは、それぞれ図８Ａ，８Ｂに対応した、ブロックの位置関係を示す図である。つまり、８×８ブロックＡ、Ｂ、Ｃのビットの全組み合わせに対応した符号テーブルをそれぞれ用意しておき、そのうちの、符号化対象の８×８ブロックｂに対して最も相応しいＡ、Ｂ、Ｃのビットの組み合わせに対応した符号テーブルでエントロピー符号化すれば良い。【０１２８】
また、Coded block flagという情報は、上述のように、非ゼロ係数が存在する８×８ブロック内の４つの４×４ブロックにおいて、どのブロックに非ゼロ係数があるか示す情報である。従い、Coded block flag はCoded block pattern と同じ形式の情報であり、本発明の応用も同じ形で行える。【０１２９】
次に、Significanceマップのエントロピー符号化における本発明の応用方法の例を示す。Significanceマップという情報は、上述のように、Coded block flagで示される４×４ブロック内で、どのＤＣＴ係数が非ゼロであるか示した情報である。具体的には、あるＤＣＴ係数が非ゼロであるか否かを１ビットで表し、ある順番に従って当該４×４ブロック中の１６個のＤＣＴ係数をスキャンし、ＤＣＴ係数が非ゼロであった場合は１として、そうでない場合は０とする。これらのビットをSignificanceビットと呼ぶ。【０１３０】
なお、ＤＣＴ係数が非ゼロであって１とされたときは、そのＤＣＴ係数がスキャンの中で最後の非ゼロ係数であったか否かを１ビットで表して（非ゼロ係数であった場合は値１、そうでない場合は値０）Significanceマップに含める。これらのビットをLastビットと呼ぶ。
スキャン中にLastビットの値が１であるような状況が発生した場合（即ち、その位置のＤＣＴ係数が最後の非ゼロ係数であった場合）、以後のＤＣＴ係数に関するSignificanceビットは必要ない。また、スキャンの中で最後のＤＣＴ係数が非ゼロであるか否かについては、それまでのSignificanceビットとLastビットから明らかなので、このＤＣＴ係数については情報は特に必要ない。【０１３１】
Ｈ.264では、SignificanceビットとLastビットを独立に符号化するが、符号テーブルはスキャンの中での位置に応じて切り替える（上述のように、最後のＤＣＴ係数については情報が不要なので、１５個の符号テーブルが要求される）。本発明を応用する場合は、例えば図１３Ａ、１３Ｂに示されるように、別カメラの４×４ブロックＣにおける非ゼロ係数の数を参照して符号テーブルを切り替えることが考えられる。これは、多視点動画像の性質上、ブロックＣにおいて非ゼロであるＤＣＴ係数の数が大きいほど、符号化対象の４×４ブロックｂの１６個のSignificanceビットが１である（即ち、ＤＣＴ係数が非ゼロである）確率が高く、Lastビットが０である確率が高いからである。【０１３２】
最後に、レベル情報のエントロピー符号化における本発明の応用方法の例を示す。Ｈ.264では、整数値であるＤＣＴ係数の量子化値を２進のビット列に変換し、Significanceマップの場合と同様にスキャンしながら、各ビットをエントロピー符号化していく。【０１３３】
このときに利用する符号テーブルは、ブロック内のこれまでのスキャン中で発生した、絶対値が１より大きい量子化値の数によって切り替える。スキャン中のある時点で、絶対値が１より大きい量子化値が多く発生している場合、その時点で符号化対象となっている量子化値は大きな値を持つ確率が大きいため、この性質を反映した符号テーブルを用意しておく。【０１３４】
多視点動画像を符号化する場合、図１３Ａ，１３Ｂに示されるような別カメラ（Ｃ１）のブロックＣにおけるＤＣＴ係数の量子化値が大きければ、現在符号化対象となっているブロック（ｂ）の量子化値も大きい値が多いという性質がある。従って、本発明を応用する場合は、例えば、ブロックＣにおける量子化値の平均値に応じた符号テーブルを用意しておき、符号化対象のブロックｂに関する別カメラのブロックＣの量子化値の平均値に対応した符号テーブルによってエントロピー符号化すれば良い。【０１３５】
以上、実施形態例に従って本発明を説明したが、本発明はこれに限定されるものではない。例えば、実施形態例ではカメラＣ１，Ｃ２という２台のカメラにより撮像された映像を処理対象として本発明を説明したが、本発明は３台以上のカメラにより撮像された映像に対してもそのまま適用できるものである。【０１３６】
また、上述の実施形態例では、参照視差情報を映像符号化装置において求めた場合を記載した。一方で、本発明は、種々の視差推定手法を用いて予め外部において求められた視差情報を入力して、当該視差情報を参照視差として用いて符号化処理することによっても実現できる。【０１３７】
また、実施形態例では視差情報として視差ベクトルを用いることを想定したが、本発明は視差ベクトル以外のものを視差情報として用いることでもよい。【０１３８】
具体的には、例えば、参考文献４（Aljoscha Smolic, Thomas Sikora and Jens-Rainer Ohm, "Long-Term Global Motion Estimation and its Application for Sprite Coding, Content Description, and Segmentation", IEEE Transactions on Circuits and Systems for Video Technology, Vol.9, No.8, pp.1227-1242, December, 1999）で説明されているようなグローバル動きモデルを視差方向に適用したグローバル視差モデルを利用してもよい。
この場合、映像符号化装置においてグローバル視差モデルのパラメータを求めて、これらのパラメータを符号化する。また、対応位置を求める際には、これらのパラメータをグローバル視差モデルに適用してグローバル視差ベクトルを求めて、対応位置を決定する。一方、映像復号装置では、復号されたグローバル視差モデルのパラメータをグローバル視差モデルに適用して対応位置を決定する。【０１３９】
また、上記の実施形態例では、カメラが２台あり、片方のカメラの復号画像を参照する場合を記載したが、各カメラのカメラパラメータ（カメラの位置や姿勢、レンズの画角等）が既知で、異なる２台以上のカメラの復号画像を参照できる場合は、符号化対象画像を利用せずに，図１４に示したような方法で符号化対象の画像の各画素に関する視差情報(視差ベクトル)を推定することができる。
図１４において、被写体６００に対し、符号化対照画像を撮像するカメラＣ２の視点位置を６２０、同被写体６００を撮像する（即ち、参照画像を出力する）別の２つのカメラＣ１，Ｃ３の視点位置をそれぞれ６１０、６３０とする。また、符号化対照画像において視差を求めたい画素位置を６４０とする。この図に示されているように、被写体６００に対する真の視差においては各参照画像において画素位置６４０に対応する対応点の画素値がほぼ同じ値になるはずである。従って、多くの視差推定法では、様々な奥行きに関して各参照画像の対応点の画素値を比較して、画素値が最も近くなる奥行き（図１４では符号６５０で示す）と、既知のカメラパラメータに基づいて、カメラＣ１もしくはＣ３からの視差を推定できる。この処理は符号化対象画像の画素単位で行うことが可能である。【０１４０】
上記の実施形態例の構成においてこの方法を実施する場合は、映像符号化装置１のグローバル視差符号化部１６、映像復号装置２のグローバル視差復号部２３は不要である。そして、例えば符号化対象ブロックの各画素に関して推定された視差ベクトルの平均を用いて、上記実施例と同様の処理により符号化を実施すればよい。
具体的には、符号化対象情報の符号化処理において、図１５に示すような処理を行う。ここでは、図７のステップＳ１３０，Ｓ１３１の処理に代えて、ステップＳ１３００が設けられ、同ステップにおいて、カメラＣ２により撮像された符号化対象画像と同時刻に撮像されたカメラＣ１，Ｃ３の画像の復号画像を用いて、上述の方法によりカメラＣ１もしくはＣ３からの視差を推定する。
また、復号処理においては、図１６に示すような処理を行う。ここでは、図１２のステップＳ２３０の処理に代えてステップＳ２３００が設けられ、同ステップにおいて、カメラＣ２により撮像された符号化対象画像と同時刻に撮像されたカメラＣ１，Ｃ３の画像の復号画像を用いて、同様の方法によりカメラＣ１もしくはＣ３からの視差を推定する。
【図１Ａ】
0004937741.tif 000002
【図１Ｂ】
0004937741.tif 000003
【図２Ａ】
0004937741.tif 000004
【図２Ｂ】
0004937741.tif 000005
【図３】
0004937741.tif 000006
【図４】
0004937741.tif 000007
【図５】
0004937741.tif 000008
【図６】
0004937741.tif 000009
【図７】
0004937741.tif 000010
【図８Ａ】
0004937741.tif 000011
【図８Ｂ】
0004937741.tif 000012
【図９】
0004937741.tif 000013
【図１０】
0004937741.tif 000014
【図１１】
0004937741.tif 000015
【図１２】
0004937741.tif 000016
【図１３Ａ】
0004937741.tif 000017
【図１３Ｂ】
0004937741.tif 000018
【図１４】
0004937741.tif 000019
【図１５】
0004937741.tif 000020
【図１６】
0004937741.tif 000021
【図１７】
0004937741.tif 000022
【図１８】
0004937741.tif 000023