(57)【要約】【課題】  立体画像を効率よく圧縮する。【解決手段】  立体画像を構成する第１〜第Ｎ眼画像１０１1〜１０１Nは立体画像多重化部１０４において空間的に配置され１枚の画像に多重化された後、多重化画像圧縮部１０５において圧縮される。その際求められる動きベクトル情報は、動きベクトル分解部１０６においてオフセットベクトルとローカル動きベクトルとに分解され動画ストリーム中に挿入される。この動画ストリームは、送信・記録部１０７を介して送信され、受信・再生部１０８により受信され、多重化画像伸長部１０９により伸長される。その際、動きベクトル合成部１１０によりローカル動きベクトルとオフセットベクトルから１本の動きベクトルが合成され、この動きベクトル情報を用いて多重化画像が復元される。伸長された多重化画像は、立体画像分離部１１１により第１〜第Ｎ眼画像１１２1〜１１２Nに分離される。【選択図】図１
2005110113.tif 000002
【特許請求の範囲】
【請求項１】
所定の対象物を複数の視点から撮影することにより得られる複数の多視点画像を動きベクトルと差分画像とに分解して符号化して動画ストリームとして出力することによりデータ量の圧縮を行う多視点画像圧縮装置であって、
前記複数の多視点画像を画像空間的に多重化して１枚の多重化画像を生成する多視点画像多重化手段と、
前記多重化画像の所定領域を動きベクトルサーチ範囲として、符号化を行おうとする多重化画像の符号化対象ブロックと類似する類似ブロックを、参照画像とした多重化画像を構成するブロックのうちから最も予測効率が高くなるように選択することにより動きベクトルを検出する動きベクトル検出手段と、
前記動きベクトル検出手段により検出された動きベクトルを、前記選択されたブロックを含む多視点画像内において符号化対象ブロックの多視点画像内でのローカル座標と同一の座標に位置するオフセットブロックに至るオフセットベクトルと、該オフセットブロックから前記選択されたブロックに至るローカル動きベクトルとに分解する動きベクトル分解手段と、
前記動きベクトル分解手段により分解されたローカル動きベクトルおよびオフセットベクトルを前記動画ストリームに多重化して出力する多重化手段とを有する多視点画像圧縮装置。
【請求項２】
前記複数の多視点画像が、右目画像と左目画像である請求項１記載の多視点画像圧縮装置。
【請求項３】
前記複数の多視点画像が、右目画像と左目画像と、前記右目画像または前記左目画像のいずれかを水平方向に２倍の解像度とした追加画像である請求項１記載の多視点画像圧縮装置。
【請求項４】
前記複数の多視点画像が、複数の立体画像と該立体画像よりも解像度の高い平面画像とから構成され、
符号化対象ブロックが前記多重化画像の立体画像内にあるか平面画像内にあるかを判別し、符号化対象ブロックが立体画像内にある場合には、前記動きベクトル検出手段により検出された動きベクトルを前記動きベクトル分解手段に出力し、符号化対象ブロックが平面画像内にある場合には、前記動きベクトル検出手段により検出された動きベクトルを前記多重化手段に出力する判別手段をさらに備えた請求項１記載の多視点画像圧縮装置。
【請求項５】
前記ローカル動きベクトルを表す符号は、ＭＰＥＧ規格における動きベクトルのフォーマットに従って符号化される請求項１から４のいずれか１項記載の多視点画像圧縮装置。
【請求項６】
前記オフセットベクトルを表す符号は、前記多重化画像に配置されているＭ枚の画像の各々に対し予め定められた少なくとも[ｌｏｇ2（Ｍ−１）]＋１ビット（但し[ｘ]はｘを超えない最大の整数）の固定長符号テーブルを参照することにより表される請求項１から５のいずれか１項記載の多視点画像圧縮装置。
【請求項７】
前記オフセットベクトルを表す符号は、符号化対象ブロックを含む多視点画像と選択されたブロックを含む視差画像との視点の距離に応じて可変長符号化される請求項１から５のいずれか１項記載の多視点画像圧縮装置。
【請求項８】
前記オフセットベクトルを表す符号は、前記多重化画面において互いに隣接する２つ以上のブロックにそれぞれ対応する複数のオフセットベクトル群によりランレングス符号化される１から５のいずれか１項記載の多視点画像圧縮装置。
【請求項９】
前記多視点画像圧縮手段において圧縮される動画ストリームはＭＰＥＧ規格に準拠した動画ストリームであり、
前記オフセットベクトルを表す符号は、該ＭＰＥＧ規格に準拠したストリーム中のユーザデータ部、ヘッダ部のいずれかまたは両方に挿入され、
前記オフセットベクトルが存在する位置を示すフラグ、及び、前記オフセットベクトルの符号化フォーマットを示すフラグ、及び、多重化画像内の画像の配置順序を示すフラグは、前記ＭＰＥＧ規格に準拠したストリーム中のユーザデータ部に挿入される請求項１から８のいずれか１項記載の多視点画像圧縮装置。
【請求項１０】
所定の対象物を複数の視点から撮影することにより得られる複数の多視点画像を空間的に多重化することにより得られる多重化画像を動きベクトルと差分画像とに分解して符号化する際、前記多重化画像の所定領域を動きベクトルサーチ範囲として、符号化を行おうとする多重化画像の符号化対象ブロックと類似する類似ブロックを、参照画像とした多重化画像を構成するブロックのうちから最も予測効率が高くなるように選択することにより動きベクトルを検出し、検出された前記動きベクトルを、動きベクトルの検出の際に参照画像とした多重化画像を構成するブロックのうちから選択されたブロックを含む多視点画像内において符号化対象ブロックの多視点画像内でのローカル座標と同一の座標に位置するオフセットブロックに至るオフセットベクトルと、該オフセットブロックから前記選択されたブロックに至るローカル動きベクトルとに分解し、分解された前記ローカル動きベクトルおよび前記オフセットベクトルを符号化して多重化することにより得られた動画ストリームを受信して伸長することにより元の多視点画像を復元する多視点画像伸長装置であって、
受信した動画ストリーム中に含まれる前記ローカル動きベクトルと前記オフセットベクトルを分離する分離手段と、前記分離手段により分離されたローカル動きベクトルとオフセットベクトルから動きベクトルを合成する動きベクトル合成手段と、前記動きベクトル合成手段により合成された動きベクトルと受信した動画ストリーム中の参照画像から予測画像を形成し、該予測画像と前記動画ストリームに含まれる差分画像との和をとることにより元の多重化画像を復元する多重化画像復元手段とを有する多視点画像伸長装置。
【請求項１１】
前記複数の多視点画像が、複数の立体画像と該立体画像よりも解像度の高い平面画像とから構成され、
多重化画像内での立体画像及び平面画像の配置順序を検出し、符号化対象ブロックが立体画像内にある場合には、前記分離手段により動画ストリームから分離された動きベクトルをローカル動きベクトルとして前記動きベクトル合成手段に出力し、符号化対象ブロックが平面画像内にある場合には、前記分離手段により動画ストリームから分離された動きベクトルを前記多重化画像復元手段に出力する判別手段をさらに備えた請求項１０記載の多視点画像伸長装置。
【請求項１２】
所定の対象物を複数の視点から撮影することにより得られる複数の多視点画像を動きベクトルと差分画像とに分解して符号化して動画ストリームとして伝送を行い、伝送されてきた動画ストリームを受信して伸長することにより元の多視点画像を復元する多視点画像伝送システムであって、
前記複数の多視点画像を画像空間的に多重化して１枚の多重化画像を生成する多視点画像多重化手段と、前記多重化画像の所定領域を動きベクトルサーチ範囲として、符号化を行おうとする多重化画像の符号化対象ブロックと類似する類似ブロックを、参照画像とした多重化画像を構成するブロックのうちから最も予測効率が高くなるように選択することにより動きベクトルを検出する動きベクトル検出手段と、前記動きベクトル検出手段により検出された動きベクトルを、前記選択されたブロックを含む多視点画像内において符号化対象ブロックの多視点画像内でのローカル座標と同一の座標に位置するオフセットブロックに至るオフセットベクトルと、該オフセットブロックから前記選択されたブロックに至るローカル動きベクトルとに分解する動きベクトル分解手段と、前記動きベクトル分解手段により分解されたローカル動きベクトルおよびオフセットベクトルを符号化して前記動画ストリームに多重化して出力する多重化手段とを有する多視点画像圧縮装置と、
前記多視点画像圧縮装置から受信した動画ストリーム中に含まれるローカル動きベクトルとオフセットベクトルを分離する分離手段と、前記分離手段により分離されたローカル動きベクトルとオフセットベクトルから動きベクトルを合成する動きベクトル合成手段と、前記動きベクトル合成手段により合成された動きベクトルと受信した動画ストリーム中の参照画像から予測画像を形成し、該予測画像と前記動画ストリームに含まれる差分画像との和をとることにより元の多重化画像を復元する多重化画像復元手段とを有する多視点画像伸長装置と、を備えた多視点画像伝送システム。
【請求項１３】
前記複数の多視点画像が、複数の立体画像と該立体画像よりも解像度の高い平面画像とから構成され、
前記多視点画像圧縮装置は、
符号化対象ブロックが前記多重化画像の立体画像内にあるか平面画像内にあるかを判別し、符号化対象ブロックが立体画像内にある場合には、前記動きベクトル検出手段により検出された動きベクトルを前記動きベクトル分解手段に出力し、符号化対象ブロックが平面画像内にある場合には、前記動きベクトル検出手段により検出された動きベクトルを前記多重化手段に出力する第１の判別手段をさらに備え、
前記多視点画像伸長装置は、
多重化画像内での立体画像及び平面画像の配置順序を検出し、符号化対象ブロックが立体画像内にある場合には、前記分離手段により動画ストリームから分離された動きベクトルをローカル動きベクトルとして前記動きベクトル合成手段に出力し、符号化対象ブロックが平面画像内にある場合には、前記分離手段により動画ストリームから分離された動きベクトルを前記多重化画像復元手段に出力する第２の判別手段をさらに備えた請求項１２記載の多視点画像伝送システム。
【請求項１４】
所定の対象物を複数の視点から撮影することにより得られる複数の多視点画像を動きベクトルと差分画像とに分解して符号化して動画ストリームとして出力することによりデータ量の圧縮を行う多視点画像圧縮方法であって、
前記複数の多視点画像を画像空間的に多重化して１枚の多重化画像を生成するステップと、
前記多重化画像の所定領域を動きベクトルサーチ範囲として、符号化を行おうとする多重化画像の符号化対象ブロックと類似する類似ブロックを、参照画像とした多重化画像を構成するブロックのうちから最も予測効率が高くなるように選択することにより動きベクトルを検出するステップと、
検出された前記動きベクトルを、前記選択されたブロックを含む多視点画像内において符号化対象ブロックの多視点画像内でのローカル座標と同一の座標に位置するオフセットブロックに至るオフセットベクトルと、該オフセットブロックから前記選択されたブロックに至るローカル動きベクトルとに分解するステップと、
分解された前記ローカル動きベクトルおよび前記オフセットベクトルを前記動画ストリームに多重化して出力するステップとを有する多視点画像圧縮方法。
【請求項１５】
前記複数の多視点画像が、右目画像と左目画像である請求項１４記載の多視点画像圧縮方法。
【請求項１６】
前記複数の多視点画像が、右目画像と左目画像と、前記右目画像または前記左目画像のいずれかを水平方向に２倍の解像度とした追加画像である請求項１４記載の多視点画像圧縮方法。
【請求項１７】
前記複数の多視点画像が、複数の立体画像と該立体画像よりも解像度の高い平面画像とから構成され、
符号化対象ブロックが前記多重化画像の立体画像内にあるか平面画像内にあるかを判別し、符号化対象ブロックが立体画像内にある場合には、検出された前記動きベクトルをオフセットベクトルとローカル動きベクトルに分解するステップに処理を進め、符号化対象ブロックが平面画像内にある場合には、検出された前記動きベクトルを前記動画ストリームに多重化して出力するステップをさらに備えた請求項１４から１６のいずれか１項記載の多視点画像圧縮方法。
【請求項１８】
前記ローカル動きベクトルを表す符号は、ＭＰＥＧ規格における動きベクトルのフォーマットに従って符号化される請求項１４から１７のいずれか１項記載の多視点画像圧縮方法。
【請求項１９】
前記多視点画像圧縮手段において圧縮される動画ストリームはＭＰＥＧ規格に準拠した動画ストリームであり、
前記オフセットベクトルを表す符号は、該ＭＰＥＧ規格に準拠したストリーム中のユーザデータ部、ヘッダ部のいずれかまたは両方に挿入され、
前記オフセットベクトルが存在する位置を示すフラグ、及び、前記オフセットベクトルの符号化フォーマットを示すフラグ、及び、多重化画像内の画像の配置順序を示すフラグは、前記ＭＰＥＧ規格に準拠したストリーム中のユーザデータ部に挿入される請求項１４から１８のいずれか１項記載の多視点画像圧縮方法。
【請求項２０】
所定の対象物を複数の視点から撮影することにより得られる複数の多視点画像を空間的に多重化することにより得られる多重化画像を動きベクトルと差分画像とに分解して符号化する際、前記多重化画像の所定領域を動きベクトルサーチ範囲として、符号化を行おうとする多重化画像の符号化対象ブロックと類似する類似ブロックを、参照画像とした多重化画像を構成するブロックのうちから最も予測効率が高くなるように選択することにより動きベクトルを検出し、検出された前記動きベクトルを、動きベクトルの検出の際に参照画像とした多重化画像を構成するブロックのうちから選択されたブロックを含む多視点画像内において符号化対象ブロックの多視点画像内でのローカル座標と同一の座標に位置するオフセットブロックに至るオフセットベクトルと、該オフセットブロックから前記選択されたブロックに至るローカル動きベクトルとに分解し、分解された前記ローカル動きベクトルおよび前記オフセットベクトルを符号化して多重化することにより得られた動画ストリームを受信して伸長することにより元の多視点画像を復元する多視点画像伸長方法であって、
受信した動画ストリーム中に含まれる前記ローカル動きベクトルと前記オフセットベクトルを分離するステップと、
分離された前記ローカル動きベクトルと前記オフセットベクトルから動きベクトルを合成するステップと、
合成された前記動きベクトルと受信した動画ストリーム中の参照画像から予測画像を形成し、該予測画像と前記動画ストリームに含まれる差分画像との和をとることにより元の多重化画像を復元するステップとを有する多視点画像伸長方法。
【請求項２１】
前記複数の多視点画像が、複数の立体画像と該立体画像よりも解像度の高い平面画像とから構成され、
多重化画像内での立体画像及び平面画像の配置順序を検出し、符号化対象ブロックが立体画像内にある場合には、動画ストリームから分離された動きベクトルを前記ローカル動きベクトルとして動きベクトルを合成するステップに処理を進め、符号化対象ブロックが平面画像内にある場合には、動画ストリームから分離された動きベクトルを用いて元の多重化画像を復元するステップに処理を進めるステップをさらに備えた請求項２０記載の多視点画像伸長方法。
【請求項２２】
所定の対象物を複数の視点から撮影することにより得られる複数の多視点画像を動きベクトルと差分画像とに分解して符号化して動画ストリームとして伝送を行い、伝送されてきた動画ストリームを受信して伸長することにより元の多視点画像を復元する多視点画像伝送方法であって、
前記複数の多視点画像を画像空間的に多重化して１枚の多重化画像を生成するステップと、
前記多重化画像の所定領域を動きベクトルサーチ範囲として、符号化を行おうとする多重化画像の符号化対象ブロックと類似する類似ブロックを、参照画像とした多重化画像を構成するブロックのうちから最も予測効率が高くなるように選択することにより動きベクトルを検出するステップと、
検出された前記動きベクトルを、前記選択されたブロックを含む多視点画像内において符号化対象ブロックの多視点画像内でのローカル座標と同一の座標に位置するオフセットブロックに至るオフセットベクトルと、該オフセットブロックから前記選択されたブロックに至るローカル動きベクトルとに分解するステップと、
分解された前記ローカル動きベクトルおよび前記オフセットベクトルを符号化して前記動画ストリームに多重化して出力するステップと、
受信した動画ストリーム中に含まれるローカル動きベクトルとオフセットベクトルを分離するステップと、
分離された前記ローカル動きベクトルと前記オフセットベクトルから動きベクトルを合成するステップと、
合成された前記動きベクトルと受信した動画ストリーム中の参照画像から予測画像を形成し、該予測画像と前記動画ストリームに含まれる差分画像との和をとることにより元の多重化画像を復元するステップとを有する多視点画像伝送方法。
【請求項２３】
前記複数の多視点画像が、複数の立体画像と該立体画像よりも解像度の高い平面画像とから構成され、
前記多視点画像を圧縮する処理において、符号化対象ブロックが前記多重化画像の立体画像内にあるか平面画像内にあるかを判別し、符号化対象ブロックが立体画像内にある場合には、検出された前記動きベクトルをオフセットベクトルとローカル動きベクトルに分解するステップに処理を進め、符号化対象ブロックが平面画像内にある場合には、検出された前記動きベクトルを前記動画ストリームに多重化して出力するステップと、
前記多視点画像を伸長する処理において、多重化画像内での立体画像及び平面画像の配置順序を検出し、符号化対象ブロックが立体画像内にある場合には、動画ストリームから分離された動きベクトルを前記ローカル動きベクトルとして動きベクトルを合成するステップに処理を進め、符号化対象ブロックが平面画像内にある場合には、動画ストリームから分離された動きベクトルを用いて元の多重化画像を復元するステップに処理を進めるステップとをさらに備えた請求項２２記載の多視点画像伝送方法。
【請求項２４】
所定の対象物を複数の視点から撮影することにより得られる複数の多視点画像を動きベクトルと差分画像とに分解して符号化して動画ストリームとして出力することによりデータ量の圧縮を行う多視点画像圧縮方法をコンピュータに実行させるためのプログラムであって、
前記複数の多視点画像を画像空間的に多重化して１枚の多重化画像を生成する処理と、
前記多重化画像の所定領域を動きベクトルサーチ範囲として、符号化を行おうとする多重化画像の符号化対象ブロックと類似する類似ブロックを、参照画像とした多重化画像を構成するブロックのうちから最も予測効率が高くなるように選択することにより動きベクトルを検出する処理と、
検出された前記動きベクトルを、前記選択されたブロックを含む多視点画像内において符号化対象ブロックの多視点画像内でのローカル座標と同一の座標に位置するオフセットブロックに至るオフセットベクトルと、該オフセットブロックから前記選択されたブロックに至るローカル動きベクトルとに分解する処理と、
分解された前記ローカル動きベクトルおよび前記オフセットベクトルを前記動画ストリームに多重化して出力する処理とをコンピュータに実行させるためのプログラム。
【請求項２５】
前記複数の多視点画像が、複数の立体画像と該立体画像よりも解像度の高い平面画像とから構成され、
符号化対象ブロックが前記多重化画像の立体画像内にあるか平面画像内にあるかを判別し、符号化対象ブロックが立体画像内にある場合には、検出された前記動きベクトルをオフセットベクトルとローカル動きベクトルに分解する処理に進み、符号化対象ブロックが平面画像内にある場合には、検出された前記動きベクトルを前記動画ストリームに多重化して出力する処理をさらにコンピュータに実行させる請求項２４記載のプログラム。
【請求項２６】
所定の対象物を複数の視点から撮影することにより得られる複数の多視点画像を空間的に多重化することにより得られる多重化画像を動きベクトルと差分画像とに分解して符号化する際、前記多重化画像の所定領域を動きベクトルサーチ範囲として、符号化を行おうとする多重化画像の符号化対象ブロックと類似する類似ブロックを、参照画像とした多重化画像を構成するブロックのうちから最も予測効率が高くなるように選択することにより動きベクトルを検出し、検出された前記動きベクトルを、動きベクトルの検出の際に参照画像とした多重化画像を構成するブロックのうちから選択されたブロックを含む多視点画像内において符号化対象ブロックの多視点画像内でのローカル座標と同一の座標に位置するオフセットブロックに至るオフセットベクトルと、該オフセットブロックから前記選択されたブロックに至るローカル動きベクトルとに分解し、分解された前記ローカル動きベクトルおよび前記オフセットベクトルを符号化して多重化することにより得られた動画ストリームを受信して伸長することにより元の多視点画像を復元する多視点画像伸長方法をコンピュータに実行させるためのプログラムであって、
受信した動画ストリーム中に含まれる前記ローカル動きベクトルと前記オフセットベクトルを分離する処理と、
分離された前記ローカル動きベクトルと前記オフセットベクトルから動きベクトルを合成する処理と、
合成された前記動きベクトルと受信した動画ストリーム中の参照画像から予測画像を形成し、該予測画像と前記動画ストリームに含まれる差分画像との和をとることにより元の多重化画像を復元する処理とをコンピュータに実行させるためのプログラム。
【請求項２７】
前記複数の多視点画像が、複数の立体画像と該立体画像よりも解像度の高い平面画像とから構成され、
多重化画像内での立体画像及び平面画像の配置順序を検出し、符号化対象ブロックが立体画像内にある場合には、動画ストリームから分離された動きベクトルを前記ローカル動きベクトルとして動きベクトルを合成する処理に進み、符号化対象ブロックが平面画像内にある場合には、動画ストリームから分離された動きベクトルを用いて元の多重化画像を復元する処理に進む処理をさらにコンピュータに実行させる請求項２６記載のプログラム。
【請求項２８】
所定の対象物を複数の視点から撮影することにより得られる複数の多視点画像を動きベクトルと差分画像とに分解して符号化して動画ストリームとして伝送を行い、伝送されてきた動画ストリームを受信して伸長することにより元の多視点画像を復元する多視点画像伝送方法をコンピュータに実行させるためのプログラムであって、
前記複数の多視点画像を画像空間的に多重化して１枚の多重化画像を生成する処理と、
前記多重化画像の所定領域を動きベクトルサーチ範囲として、符号化を行おうとする多重化画像の符号化対象ブロックと類似する類似ブロックを、参照画像とした多重化画像を構成するブロックのうちから最も予測効率が高くなるように選択することにより動きベクトルを検出する処理と、
検出された前記動きベクトルを、前記選択されたブロックを含む多視点画像内において符号化対象ブロックの多視点画像内でのローカル座標と同一の座標に位置するオフセットブロックに至るオフセットベクトルと、該オフセットブロックから前記選択されたブロックに至るローカル動きベクトルとに分解する処理と、
分解された前記ローカル動きベクトルおよび前記オフセットベクトルを符号化して前記動画ストリームに多重化して出力する処理と、
受信した動画ストリーム中に含まれるローカル動きベクトルとオフセットベクトルを分離する処理と、
分離された前記ローカル動きベクトルと前記オフセットベクトルから動きベクトルを合成する処理と、
合成された前記動きベクトルと受信した動画ストリーム中の参照画像から予測画像を形成し、該予測画像と前記動画ストリームに含まれる差分画像との和をとることにより元の多重化画像を復元する処理とをコンピュータに実行させるためのプログラム。
【請求項２９】
前記複数の多視点画像が、複数の立体画像と該立体画像よりも解像度の高い平面画像とから構成され、
前記多視点画像を圧縮する処理において、符号化対象ブロックが前記多重化画像の立体画像内にあるか平面画像内にあるかを判別し、符号化対象ブロックが立体画像内にある場合には、検出された前記動きベクトルをオフセットベクトルとローカル動きベクトルに分解するに処理に進み、符号化対象ブロックが平面画像内にある場合には、検出された前記動きベクトルを前記動画ストリームに多重化して出力する処理と、
前記多視点画像を伸長する処理において、多重化画像内での立体画像及び平面画像の配置順序を検出し、符号化対象ブロックが立体画像内にある場合には、動画ストリームから分離された動きベクトルを前記ローカル動きベクトルとして動きベクトルを合成する処理に進み、符号化対象ブロックが平面画像内にある場合には、動画ストリームから分離された動きベクトルを用いて元の多重化画像を復元する処理に進む処理をさらにコンピュータに実行させる請求項２８記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体画像を含む多視点画像を圧縮するための多視点画像圧縮装置および方法と、そのような多視点画像圧縮装置または方法により圧縮された画像データを伸長するための多視点画像伸長装置及び方法と、多視点画像圧縮装置と多視点画像伸長装置により構成される多視点画像伝送システムと方法に関する。
【背景技術】
【０００２】
平面画像と比べて迫力のある立体画像を伝送するための立体映像システムが従来から提案されている。このような立体映像システムには、人間の目の両眼視差を応用して、左右２つの視差画像を使った２眼式立体映像システムや、１つの対象物を複数の視点から撮影した画像を用いる多眼式立体映像システムがある。
【０００３】
このようにある１つの対象物を複数の視点から撮影することにより得られる立体画像を伝送するために様々な立体画像伝送システムが提案されている。
【０００４】
このような立体画像伝送システムの従来の技術として、特許文献１に画像高能率符号化方式が公開されている。図３４は、この従来の立体画像伝送システムにおける立体画像圧縮装置の構成を示すブロック図である。
【０００５】
この従来の立体画像圧縮装置では、パターンマッチング部４００５〜４００７において、符号化画面４００１と、時間的或いは空間的に異なる参照画面４００２〜４００４との、パターンマッチング、すなわち動き補償あるいは視差補償をそれぞれ行い、補償ベクトルを求める。選択部４００８では、参照画面４００２〜４００４のうちで最も誤差が小さくなる参照画面を選択し、上記補償ベクトルとともに選択フラグとして伝送する。符号器４００９では、選択フラグが示す参照画面と符号化画面の値との予測誤差を求めて受信側に伝送する。
【０００６】
この従来技術では、時間的または空間的に離れた複数の視差画像を参照画面とするため予測効率の向上を図ることができるが、既存の動画像符号化規格に比べて予測構造が複雑であるため、既存の動画像用ＬＳＩの構成を大幅に変更する必要があり、結果的にコストが増大するという問題がある。
【０００７】
他の従来技術としては、特許文献２に立体動画像高能率符号化復号化装置及びその方法が公開されている。図３５は、この従来技術の構成を示す図である。符号化装置に同時に入力される左右の視差画像のどちらか一方の画像を１画像期間遅延させる遅延装置４１０１と、遅延装置４１０１で１画像期間遅延した画像と他方の遅延をしていない画像とを１画像内の左右または上下に分けて合成する画像処理部４１０２および４１０３と、画像処理部４１０２および４１０３により合成された画像を符号化する符号化部４１０４とからなる。ここで符号化部４１０４では、ＭＰＥＧ（Motion Picture Experts Group）規格に準拠した符号化を行ない、Ｐフレームの動きベクトル検出、または、Ｂフレームの動きベクトル検出の場合においては、参照画像における符号化画像と同一位置をセンタとした動きベクトルサーチ範囲に半画面分サーチセンタを移動した動きベクトルサーチ範囲を追加して動きベクトルを求めるようにしている。
【０００８】
この従来技術では、空間的に並べられた左右視差画像における２箇所の類似部分のうちで予測誤差の小さいブロックを選択できるため予測効率が向上するというメリットがあるが、多重化画像の境界をまたぐような長い動きベクトルが多く選択される場合に、動きベクトル符号量が大幅に増加してしまう問題があり、これについては何ら触れられていない。
【０００９】
尚、このようなシステムを用いることにより、伝送する画像が複数の視差画像からなる立体画像だけでなく１つの対象物を複数の視点から撮影することにより得られる多視点画像を伝送することができるため、広い意味では多視点画像伝送システムとして表現することができるものである。よって、以降は１つの対象物を複数の視点から撮影することにより得られる多視点画像を伝送するためのシステムを多視点画像伝送システムと呼ぶこととする。
【特許文献１】特開平６−９８３１２号公報
【特許文献２】特開平１１−１１３０２６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
上述した従来の多視点画像伝送システムおよび方法では、下記のような問題点があった。
（１）特許文献１記載の技術では、現在までに種々開発されている平面動画用のコーデックＬＳＩの構成をそのまま利用することができず、大幅に変更しなければならない。
（２）特許文献２記載の技術では、左右視差画像を多重化した多重化画像の境界をまたぐような動きベクトルが多く選択されると、動きベクトル符号量が大幅に増加してしまい、立体画像を効率よく圧縮伝送することができない。
【００１１】
本発明の目的は、現在までに種々開発されている平面動画用のコーデックＬＳＩの構成をほとんど変えずに利用し、かつ、多視点画像を効率よく圧縮伝送することのできる多視点画像伝送システムと方法、多視点画像圧縮装置と方法、多視点画像伸長装置と方法を提供することである。
【課題を解決するための手段】
【００１２】
上記目的を達成するために、本発明は、所定の対象物を複数の視点から撮影することにより得られる複数の多視点画像を動きベクトルと差分画像とに分解して符号化して動画ストリームとして出力することによりデータ量の圧縮を行う多視点画像圧縮装置であって、
前記複数の多視点画像を画像空間的に多重化して１枚の多重化画像を生成する多視点画像多重化手段と、
前記多重化画像の所定領域を動きベクトルサーチ範囲として、符号化を行おうとする多重化画像の符号化対象ブロックと類似する類似ブロックを、参照画像とした多重化画像を構成するブロックのうちから最も予測効率が高くなるように選択することにより動きベクトルを検出する動きベクトル検出手段と、
前記動きベクトル検出手段により検出された動きベクトルを、前記選択されたブロックを含む多視点画像内において符号化対象ブロックの多視点画像内でのローカル座標と同一の座標に位置するオフセットブロックに至るオフセットベクトルと、該オフセットブロックから前記選択されたブロックに至るローカル動きベクトルとに分解する動きベクトル分解手段と、
前記動きベクトル分解手段により分解されたローカル動きベクトルおよびオフセットベクトルを前記動画ストリームに多重化して出力する多重化手段とを有する。
【００１３】
本発明によれば、オフセットベクトルの始点と終点は各多視点画像内でのローカル座標が等しいため、オフセットベクトルを表す符号は、ベクトルの終点がＮ枚の複数の多視点画像のうちのどの画像を指しているかを表現するのに必要なビット数で済む。また、ローカル動きベクトルは、１枚の多視点画像内における局所的な動きを表現するのに必要な少ないビット数で表すことができる。従って、本発明により動きベクトルをオフセットベクトルとローカル動きベクトルに分解すれば、動きベクトルを分解せずに符号化する場合に比べて、動きベクトル符号量を大幅に削減することができる。また、複数の多視点画像を１枚の大きな画面に多重化することにより、既存の動画像規格の予測構造をそのまま利用でき、また、現在までに種々開発されている平面動画像用コーデックＬＳＩの構成もほとんど変えずに利用できるため、低コストかつ高効率な多視点画像の圧縮が実現できる。
【００１４】
また、本発明の他の多視点画像圧縮装置では、前記複数の多視点画像を、右目画像と左目画像、または右目画像と左目画像と前記右目画像または前記左目画像のいずれかを水平方向に２倍の解像度とした追加画像である。
【００１５】
また、本発明の他の多視点画像圧縮装置では、前記複数の多視点画像が、複数の立体画像と該立体画像よりも解像度の高い平面画像とから構成され、
符号化対象ブロックが前記多重化画像の立体画像内にあるか平面画像内にあるかを判別し、符号化対象ブロックが立体画像内にある場合には、前記動きベクトル検出手段により検出された動きベクトルを前記動きベクトル分解手段に出力し、符号化対象ブロックが平面画像内にある場合には、前記動きベクトル検出手段により検出された動きベクトルを前記多重化手段に出力する判別手段をさらに備えるようにしてもよい。
【００１６】
また、本発明の他の多視点画像圧縮装置では、前記ローカル動きベクトルを表す符号は、ＭＰＥＧ規格における動きベクトルのフォーマットに従って符号化されるようにしてもよい。
【００１７】
また、本発明の他の多視点画像圧縮装置では、オフセットベクトルを表す符号は、前記多重化画像に配置されているＭ枚の画像の各々に対し予め定められた少なくとも[ｌｏｇ2（Ｍ−１）]＋１ビット（但し[ｘ]はｘを超えない最大の整数）の固定長符号テーブルを参照することにより表わすようにしてもよい。
【００１８】
さらに、本発明の他の多視点画像圧縮装置では、前記オフセットベクトルを表す符号は、符号化対象ブロックを含む多視点画像と選択されたブロックを含む視差画像との視点の距離に応じて可変長符号化されるようにしてもよいし、前記多重化画面において互いに隣接する２つ以上のブロックにそれぞれ対応する複数のオフセットベクトル群によりランレングス符号化されるようにしてもよい。
【００１９】
また、本発明の他の多視点画像圧縮装置では、前記多視点画像圧縮手段において圧縮される動画ストリームはＭＰＥＧ規格に準拠した動画ストリームとし、
前記オフセットベクトルを表す符号は、該ＭＰＥＧ規格に準拠したストリーム中のユーザデータ部、ヘッダ部のいずれかまたは両方に挿入され、
前記オフセットベクトルが存在する位置を示すフラグ、及び、前記オフセットベクトルの符号化フォーマットを示すフラグ、及び、多重化画像内の画像の配置順序を示すフラグは、前記ＭＰＥＧ規格に準拠したストリーム中のユーザデータ部に挿入されるようにしてもよい。
【００２０】
上記目的を達成するために、本発明は、所定の対象物を複数の視点から撮影することにより得られる複数の多視点画像を空間的に多重化することにより得られる多重化画像を動きベクトルと差分画像とに分解して符号化する際、前記多重化画像の所定領域を動きベクトルサーチ範囲として、符号化を行おうとする多重化画像の符号化対象ブロックと類似する類似ブロックを、参照画像とした多重化画像を構成するブロックのうちから最も予測効率が高くなるように選択することにより動きベクトルを検出し、検出された前記動きベクトルを、動きベクトルの検出の際に参照画像とした多重化画像を構成するブロックのうちから選択されたブロックを含む多視点画像内において符号化対象ブロックの多視点画像内でのローカル座標と同一の座標に位置するオフセットブロックに至るオフセットベクトルと、該オフセットブロックから前記選択されたブロックに至るローカル動きベクトルとに分解し、分解された前記ローカル動きベクトルおよび前記オフセットベクトルを符号化して多重化することにより得られた動画ストリームを受信して伸長することにより元の多視点画像を復元する多視点画像伸長装置であって、
受信した動画ストリーム中に含まれる前記ローカル動きベクトルと前記オフセットベクトルを分離する分離手段と、前記分離手段により分離されたローカル動きベクトルとオフセットベクトルから動きベクトルを合成する動きベクトル合成手段と、前記動きベクトル合成手段により合成された動きベクトルと受信した動画ストリーム中の参照画像から予測画像を形成し、該予測画像と前記動画ストリームに含まれる差分画像との和をとることにより元の多重化画像を復元する多重化画像復元手段とを有する。
【００２１】
本発明では、動きベクトルがオフセットベクトルとローカル動きベクトルとに分解されて符号化された動画ストリームを多視点画像圧縮装置から受信し、この動画ストリームからローカル動きベクトルおよびオフセットベクトルを分離して合成することにより元の動きベクトルを得る。そして、合成した動きベクトルを用いて受信した動画ストリームを伸長することにより元の多視点画像を復元する。オフセットベクトルの始点と終点は各多視点画像内でのローカル座標が等しいため、オフセットベクトルを表す符号は、ベクトルの終点がＮ枚の複数の多視点画像のうちのどの画像を指しているかを表現するのに必要なビット数で済む。また、ローカル動きベクトルは、１枚の多視点画像内における局所的な動きを表現するのに必要な少ないビット数で表すことができる。そのため、動きベクトルを分解せずに符号化する場合に比べて、動きベクトル符号量を大幅に削減することができる。また、複数の多視点画像が１枚の大きな画面に多重化された多重化画像を復元した後に分離することにより元の複数の多視点画像を得るようにしているので、既存の動画像規格の予測構造をそのまま利用でき、また、現在までに種々開発されている平面動画像用コーデックＬＳＩの構成もほとんど変えずに利用できるため、低コストかつ高効率な多視点画像の圧縮が実現できる。
【００２２】
また、本発明の他の多視点画像伸長装置では、前記複数の多視点画像が、複数の立体画像と該立体画像よりも解像度の高い平面画像とから構成され、
多重化画像内での立体画像及び平面画像の配置順序を検出し、符号化対象ブロックが立体画像内にある場合には、前記分離手段により動画ストリームから分離された動きベクトルをローカル動きベクトルとして前記動きベクトル合成手段に出力し、符号化対象ブロックが平面画像内にある場合には、前記分離手段により動画ストリームから分離された動きベクトルを前記多重化画像復元手段に出力する判別手段をさらに備えるようにしてもよい。
【００２３】
上記目的を達成するために、本発明は、所定の対象物を複数の視点から撮影することにより得られる複数の多視点画像を動きベクトルと差分画像とに分解して符号化して動画ストリームとして伝送を行い、伝送されてきた動画ストリームを受信して伸長することにより元の多視点画像を復元する多視点画像伝送システムであって、
前記複数の多視点画像を画像空間的に多重化して１枚の多重化画像を生成する多視点画像多重化手段と、前記多重化画像の所定領域を動きベクトルサーチ範囲として、符号化を行おうとする多重化画像の符号化対象ブロックと類似する類似ブロックを、参照画像とした多重化画像を構成するブロックのうちから最も予測効率が高くなるように選択することにより動きベクトルを検出する動きベクトル検出手段と、前記動きベクトル検出手段により検出された動きベクトルを、前記選択されたブロックを含む多視点画像内において符号化対象ブロックの多視点画像内でのローカル座標と同一の座標に位置するオフセットブロックに至るオフセットベクトルと、該オフセットブロックから前記選択されたブロックに至るローカル動きベクトルとに分解する動きベクトル分解手段と、前記動きベクトル分解手段により分解されたローカル動きベクトルおよびオフセットベクトルを符号化して前記動画ストリームに多重化して出力する多重化手段とを有する多視点画像圧縮装置と、
前記多視点画像圧縮装置から受信した動画ストリーム中に含まれるローカル動きベクトルとオフセットベクトルを分離する分離手段と、前記分離手段により分離されたローカル動きベクトルとオフセットベクトルから動きベクトルを合成する動きベクトル合成手段と、前記動きベクトル合成手段により合成された動きベクトルと受信した動画ストリーム中の参照画像から予測画像を形成し、該予測画像と前記動画ストリームに含まれる差分画像との和をとることにより元の多重化画像を復元する多重化画像復元手段とを有する多視点画像伸長装置とを備えている。
【００２４】
また、本発明の他の多視点画像伝送システムでは、
前記複数の多視点画像が、複数の立体画像と該立体画像よりも解像度の高い平面画像とから構成され、
前記多視点画像圧縮装置は、
符号化対象ブロックが前記多重化画像の立体画像内にあるか平面画像内にあるかを判別し、符号化対象ブロックが立体画像内にある場合には、前記動きベクトル検出手段により検出された動きベクトルを前記動きベクトル分解手段に出力し、符号化対象ブロックが平面画像内にある場合には、前記動きベクトル検出手段により検出された動きベクトルを前記多重化手段に出力する第１の判別手段をさらに備え、
前記多視点画像伸長装置は、
多重化画像内での立体画像及び平面画像の配置順序を検出し、符号化対象ブロックが立体画像内にある場合には、前記分離手段により動画ストリームから分離された動きベクトルをローカル動きベクトルとして前記動きベクトル合成手段に出力し、符号化対象ブロックが平面画像内にある場合には、前記分離手段により動画ストリームから分離された動きベクトルを前記多重化画像復元手段に出力する第２の判別手段をさらに備えるようにしてもよい。
【００２５】
本発明では、多視点画像圧縮装置側では、動きベクトルをオフセットベクトルとローカル動きベクトルに分解して動画ストリームに含めて送信し、多視点画像伸長装置側では、受信した動画ストリーム中のオフセットベクトルとローカル動きベクトルを分離して合成することにより元の動きベクトルを合成し、この動きベクトルを用いて受信した動画ストリームから元の多重化画像を復元する。オフセットベクトルの始点と終点は各多視点画像内でのローカル座標が等しいため、オフセットベクトルを表す符号は、ベクトルの終点がＮ枚の複数の多視点画像のうちのどの画像を指しているかを表現するのに必要なビット数で済む。また、ローカル動きベクトルは、１枚の多視点画像内における局所的な動きを表現するのに必要な少ないビット数で表すことができる。従って、本発明のようにして動画ストリームの伝送を行うようにすれば、動きベクトルを分解せずに符号化する場合に比べて、動きベクトル符号量を大幅に削減することができる。また、多視点画像圧縮装置では、複数の多視点画像を１枚の大きな画面に多重化して送信し、多視点画像伸長装置では、復元された多重化画像を分離することにより元の複数の多視点画像を得るようにしているので、既存の動画像規格の予測構造をそのまま利用でき、また、現在までに種々開発されている平面動画像用コーデックＬＳＩの構成もほとんど変えずに利用できるため、低コストかつ高効率な多視点画像の圧縮が実現できる。
【発明の効果】
【００２６】
以上説明したように、本発明によれば、下記のような効果を得ることができる。
（１）多視点画像伝送システムでは、多視点画像圧縮装置において、検出された動きベクトルをオフセットベクトルとローカル動きベクトルに分解して動画ストリームに多重化して送信し、多視点画像伸長装置において、受信した動画ストリーム中のオフセットベクトルとローカル動きベクトルを分離して合成することにより元の動きベクトルを合成し、この動きベクトルを用いて受信した動画ストリームから元の多重化画像を復元するようにしているので、動きベクトルを分解せずに符号化する場合に比べて、動きベクトル符号量を大幅に削減することができる。
（２）多視点画像伝送システムでは、多視点画像圧縮装置において、伝送しようとする複数の多視点画像を１枚の大きな画面に多重化して送信し、多視点画像伸長装置において、復元された多重化画像を分離することにより元の複数の多視点画像を得るようにしているので、既存の動画像規格の予測構造をそのまま利用でき、また、現在までに種々開発されている平面動画像用コーデックＬＳＩの構成もほとんど変えずに利用できるため、低コストかつ高効率な多視点画像の圧縮が実現できる。
【発明を実施するための最良の形態】
【００２７】
次に、本発明の実施の形態について図面を参照して詳細に説明する。ここでは、多視点画像伝送システムの１つである立体画像伝送システムを用いて説明を行う。
【００２８】
（第１の実施形態）
図１は、本発明の第１の実施形態の立体画像伝送システムの構成を示すブロック図である。本実施形態の立体画像伝送システムは、複数の視差画像を動きベクトルと差分画像とに分解して符号化して動画ストリームとして出力することによりデータ量の圧縮を行う立体画像圧縮装置１０と、立体画像伸長装置２０と、この立体画像圧縮装置１０と立体画像伸長装置２０とを接続する伝送路とから構成されている。
【００２９】
立体画像圧縮装置１０は、立体画像多重化部１０４と、多重化画像圧縮部１０５と、動きベクトル分解部１０６と、送信・記録部１０７とから構成されている。また、立体画像伸長装置２０は、図１に示すように、受信・再生部１０８、多重化画像伸長部１０９と、動きベクトル合成部１１０と、立体画像分離部１１１とから構成されている。
【００３０】
立体画像多重化部１０４は、入力された複数の視差画像からなる立体画像を画像空間的に多重化して１枚の多重化画像を生成する。ここでは、立体画像多重化部１０４に入力される立体画像は、第１眼画像１０１1〜第Ｎ眼画像１０１NのＮ枚から構成されているものとして説明する。
【００３１】
動きベクトル分解部１０６は、多重化画像圧縮部１０５により検出された動きベクトルを、オフセットブロックに至るオフセットベクトルと、このオフセットブロックから選択されたブロックに至るローカル動きベクトルとに分解する。ここで、オフセットブロックとは、動きベクトルを検出する際に、参照画像中の選択されたブロックを含む多視点画像内において符号化対象ブロックの多視点画像内でのローカル座標と同一の座標に位置するブロックのことである。
【００３２】
立体画像多重化部１０４では、Ｎ枚の立体画像が空間的に配置され、図２に示すように、１枚の大きな画像に多重化される。ここで多重化方法は、図２に示した方法以外に、縦方向に並べるのでも、横方向に並べるのでもよく、また、視差画像を並べる順番も、図２に示した通りでなくて構わない。多重化された画像は多重化画像圧縮部１０５において圧縮されるが、その際求められる動きベクトル情報は、動きベクトル分解部１０６においてオフセットベクトルとローカル動きベクトルとに分解され、出力ストリーム中に挿入される。圧縮された立体画像は送信・記録部１０７によって１本のストリームとして送信あるいは記録される。
【００３３】
ここで、立体画像多重化部１０４により多重化された多重化画像は、格子状のマクロブロックに分割され、このマクロブロック単位で動きベクトルの検出や動き補償が行われる。マクロブロックとは、図３に示すようなＭＰＥＧ等の規格で用いられる、１６画素×１６ラインのブロックのことである。
【００３４】
尚、オフセットベクトルおよびローカル動きベクトルを出力ストリーム中に挿入する具体的な方法については、第１〜第５の実施形態の説明後にまとめて説明する。
【００３５】
立体画像圧縮装置１０により圧縮された多重化画像は、伝送路を介して立体画像伸長装置２０に送られて受信・再生部１０８によって１本のストリームとして受信あるいは再生される。そして、受信・再生部１０８によって受信あるいは再生された多重化画像は、多重化画像伸長部１０９において伸長されるが、その際、動きベクトル合成部１１０において受信したローカル動きベクトルとオフセットベクトルから１本の動きベクトルが合成され、合成された動きベクトル情報を用いて多重化画像を復元する。伸長された多重化画像は、立体画像分離部１１１において第１眼画像１１２1、第２眼画像１１２2、・・・、第Ｎ眼画像１１２Nに分離される。そして、第１眼画像１１２1〜第Ｎ眼画像１１２Nを１列毎に配置した画像を作って立体ディスプレイに表示し、Ｎ眼立体表示が実現される。
【００３６】
次に、多重化画像圧縮部１０５における多重化画像の符号化方法について説明する。多重化画像圧縮部１０５は、図４に示すように、動きベクトル検出部３０４と、ＤＣＴ変換部３１０と、量子化部３１１と、逆量子化部３１５と、可変長符号化部３１２と、多重化部３１３と、逆ＤＣＴ変換部３１６と、予測メモリ３０３と、動き補償部３０６と、から構成されている。
【００３７】
多重化画像圧縮部１０５は、図４に示すように、既存の種々の平面動画圧縮部とほぼ同様の構成となっている。すなわち、動画像の時間方向の相関を利用するための動き補償や、空間方向の高周波成分を取り除くためのＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ：離散コサイン変換）など、平面動画を効率よく圧縮するための機能のみが備わっており、立体画像に特化した機能は備えらておらず、動きベクトル検出部３０４により検出された動きベクトル３０５が動きベクトル分解部１０６に出力され、動きベクトル分解部１０６からのローカル動きベクトル３０８とオフセットベクトル３０９が多重化部３１３に入力されている点が異なっている。なお、この図４において、動きベクトル分解部１０６は多重化画像圧縮部１０５の外部にある構成となっているが、多重化画像圧縮部１０５の内部に含む構成としても構わない。
【００３８】
動きベクトル検出手部３０４は、多重化画像全体を動きベクトルサーチ範囲として、符号化を行おうとする多重化画像の符号化対象ブロックと類似する類似ブロックを、参照画像とした多重化画像を構成するブロックのうちから最も予測効率が高くなるように選択することにより動きベクトルを検出する。
【００３９】
多重化画像圧縮部１０５の動作としては、まず、多重化画像圧縮部１０５に入力された多重化画像と、予測メモリ３０３に記憶されている過去あるいは未来の参照画像とを動きベクトル検出部３０４においてブロック単位で比較し、動きベクトル３０５を検出する。このとき、多重化画像に配置されているＮ枚の視差画像の類似部分から予測誤差の最も小さいブロックを選択することにより、予測効率を向上させることができる。この動きベクトル情報により、動き補償部３０６において予測メモリ３０３に記憶されている参照画像から対応するデータを読み出して予測画像を形成し、入力された多重化画像との差分をとる。一方動きベクトルは動きベクトル分解部１０６においてオフセットベクトル３０９とローカル動きベクトル３０８とに分解される。差分画像はＤＣＴ変換部３１０、量子化部３１１、及び可変長符号化部３１２を経て、多重化部３１３においてローカル動きベクトル情報、オフセットベクトル情報とともに１本の動画ストリーム３１４に多重化される。さらに、次のフレームの多重化画像を圧縮するための参照画像は、逆量子化部３１５、逆ＤＣＴ変換部３１６を経て３０３予測メモリに記憶される。
【００４０】
次に、動きベクトル分解部１０６における動きベクトル分解方法、及び分解されたベクトルの符号化方法について、更に詳しく説明する。
【００４１】
動きベクトル分解の様子は、図５を用いて説明する。以下、第ｋ眼画像内のローカル座標(ｘ,ｙ)にあるブロックを、ブロック座標(ｋ,ｘ,ｙ)と表すことにする。符号化対象ブロック４０１は第６眼画像内にあり、ローカル座標(ｉ,ｊ)であるから、ブロック座標は(６,ｉ,ｊ)となる。一方、参照ブロック４０３は第１眼画像内にあり、ローカル座標(ｉ’,ｊ’)であるから、ブロック座標は(１,ｉ’,ｊ’)となる。動きベクトル分解部１０６に入力された動きベクトル４０５は、以下のようにして分解される。すなわち、動きベクトル４０５は、ブロック座標(６,ｉ,ｊ)に位置する符号化対象ブロック４０１から、第１眼画像における同一ローカル座標、すなわちブロック座標(１,ｉ,ｊ)に位置するオフセットブロック４０６に至るオフセットベクトル４０７と、オフセットブロック４０７から、ブロック座標(１,ｉ’,ｊ’)に位置する参照ブロック４０３に至るローカル動きベクトル４０８とに分解される。
【００４２】
ローカル動きベクトルの符号化については、視差画像内での局所的な動きを表現できればよいため、平面動画像規格にあるような動きベクトル符号化の方法に従って可変長符号化すればよい。
【００４３】
次に、オフセットベクトルの符号化方法について説明する。オフセットベクトル符号は、選択されたブロックがどの視差画像内に存在するかを表現できれば良いので、図６のように視差画像毎に少なくとも[ｌｏｇ2（Ｍ−１）]＋１ビット（但し[ｘ]はｘを超えない最大の整数、Ｍは多重化画像内に存在する視差画像の数）の固定長符号を割り当てておき、このテーブルを参照して符号化する方法がまず考えられる。
【００４４】
さらに、動きベクトル検出において選択されるブロックは、符号化対象ブロックと同一視点画像内に存在することが多く、逆に視点が離れた画像内に存在する割合は低くなる傾向にあるため、符号化対象ブロックと参照ブロックの視点距離が近い場合は符号長を短くし、遠い場合は符号長を長くするようにすれば、オフセットベクトル情報を効率的に符号化することが可能になる。一例として、図７に示すような可変長符号テーブルを用意して、符号化対象ブロックが属する視差画像と、検出された参照ブロックが属する視差画像をもとに符号を決定すればよい。
【００４５】
また、オフセットベクトルは隣接ブロック間で相関性があることを考慮して、オフセットベクトル情報をランレングス符号化することも可能である。すなわち、オフセットベクトル情報を、「オフセットベクトルの値と、値が連続する個数」として表現する。例えば、図８に示すように、第６眼画像内にある連続する５つのブロック７０２における動きベクトル７０３が、図８のように左から順に第２眼画像、第２眼画像、第２眼画像、第６眼画像、第６眼画像に属するブロック７０４を参照しているとする。この場合、オフセットベクトルを順に並べると”２２２６６”となるが、これをランレングス方式で表現すると、「２が３個、６が２個」すなわち”２３６２”となる。このようにランレングス符号化を行う場合も、オフセットベクトルの値及び値が連続する個数は、固定長符号化、可変長符号化のどちらでもよい。ランレングス符号は、多重化画面全体で区切るのでもよいし、スライス単位で区切るのでもよいし、個々の視差画像の境界部分で区切るのでもよい。
【００４６】
また、オフセットベクトル情報が固定長符号か、可変長符号か、また、ランレングス符号化されているかどうかなどの、オフセットベクトルの符号化フォーマットを示すフラグは、出力ストリーム中のユーザデータ部やプライベートデータ部など、ユーザが任意にデータを挿入できるフィールドに挿入される。さらに、多重化画像における視差画像の配置順序を示すフラグも、ユーザデータ部に挿入される。
【００４７】
上記処理により得られたオフセットベクトル情報及びローカル動きベクトル情報は、出力ストリーム中に挿入される。ローカル動きベクトル情報は、平面動画像の符号化規格における動きベクトル情報の符号化方式に従って符号化され、動きベクトル符号として挿入される。オフセットベクトル情報は、付加情報としてユーザデータ部、あるいはローカル動きベクトル符号の前後に挿入され、さらに、ストリーム中でのオフセットベクトル情報の存在場所を示すフラグがユーザデータ部に挿入される。
【００４８】
次に、多重化画像伸長部１０９における多重化画像の復号化方法について説明する。図９に示すように、多重化画像伸長部１０９も多重化画像圧縮部１０５と同様に、既存の平面動画像伸張部と同様の構成になっている。すなわち、多重化画像圧縮部１０５に示した、一般的な平面動画用圧縮部で出力されるストリームが伸長できる機能が備わっていればよい。
【００４９】
多重化画像伸長部１０９は、図９に示されるように、分離部８０３と、可変長復号化部８０７と、逆量子化部８０８と、逆ＤＣＴ変換部８０９と、動き補償部８１２と、予測メモリ８１３とから構成されている。ここで、可変長復号化部８０７と、逆量子化部８０８と、逆ＤＣＴ変換部８０９と、動き補償部８１２と、予測メモリ８１３は、圧縮された符号化された多重化画像を復元するための多重化画像復元手段として機能する。
【００５０】
多重化画像伸長部１０９での動作は、まず、多重化画像伸張部１０９に入力された１本の動画ストリーム８０２が、分離部８０３において差分画像データ８０４、オフセットベクトル８０５、ローカル動きベクトル８０６とに分離される。差分画像データ８０４は可変長復号化部８０７、逆量子化部８０８、逆ＤＣＴ変換部８０９において、それぞれ可変長復号化、逆量子化、逆ＤＣＴ変換され、差分画像に復号される。オフセットベクトル８０５及びローカル動きベクトル８０６は、動きベクトル合成部１１０において１本の動きベクトル８１１に合成される。この合成された動きベクトル８１１を用いて、動き補償部８１２において、予測メモリ８１３に記憶されている過去あるいは未来の参照画像から予測画像が形成される。そして、予測画像と逆ＤＣＴ変換部８０９から出力された差分画像との和をとることによって、多重化画像が復元される。
【００５１】
次に、オフセットベクトル８０５及びローカル動きベクトル８０６の復号化方法、動きベクトル合成部１１０における動きベクトル合成方法について、更に詳しく説明する。
【００５２】
まず、動画ストリーム中の動きベクトル符号を検出し、これをローカル動きベクトル情報として取得する。ローカル動きベクトルの復号化方法については、種々の動画像規格に定められている動きベクトルの復号化方式に従う。
【００５３】
オフセットベクトルは、ユーザデータ内に存在するオフセットベクトル情報の存在場所を示すフラグを検出することにより、動画ストリーム中のユーザデータ部、あるいはローカル動きベクトル符号の前後からオフセットベクトル符号として取り出して検出する。オフセットベクトル符号の復号化方法については、ユーザデータ部に挿入されている、オフセットベクトルの符号化フォーマットを示すフラグを検出し、送受信側で予め決めておいたフォーマットに従って復号化する。
【００５４】
動きベクトルの合成方法については、ユーザデータ部から多重化画像内における視差画像の配置順序を示すフラグを検出し、これにより多重化画像内におけるオフセットブロックの位置を算出する。そして、オフセットベクトルとローカル動きベクトルをベクトル加算することにより、元の動きベクトルを合成する。
【００５５】
本実施形態の立体画像伝送システムては、立体画像圧縮装置１０の多重化画像圧縮部１０５では、動きベクトル検出部３０４により検出された動きベクトル３０５をローカル動きベクトル３０８と、オフセットベクトル３０９に分解して動画ストリームに多重化するようにしている。ここで、オフセットベクトル３０９の始点と終点は各視差画像内でのローカル座標が等しいため、オフセットベクトル３０９を表す符号は、ベクトルの終点がＮ枚の複数の視差画像のうちのどの画像を指しているかを表現するのに必要なビット数で済む。また、ローカル動きベクトル３０８は、１枚の視差画像内における局所的な動きを表現するのに必要な少ないビット数で表すことができる。従って、本実施形態により動きベクトル３０５をオフセットベクトル３０９とローカル動きベクトル３０８に分解すれば、動きベクトル３０５を分解せずに符号化する場合に比べて、動きベクトル符号量を大幅に削減することができる。また、Ｎ枚の視差画像を１枚の大きな画面に多重化することにより、既存の動画像規格の予測構造をそのまま利用でき、また、現在までに種々開発されている平面動画像用コーデックＬＳＩの構成もほとんど変えずに利用できるため、低コストかつ高効率な立体画像の圧縮が実現できる。
【００５６】
本実施形態では、多視点画像は、１つの対象物を異なる視点から撮像した場合を想定して説明したが、対象物は１つに限定されるものではない。複数の対象物のそれぞれを複数の視点から撮影した画像についても、本発明を適用することができる。その場合は、符号化対象ブロックは、それぞれの対象物に対応した複数の画像のグループ内に含まれることとなるので、動きベクトルサーチ範囲は、多重化画像全体とするのではなく、各対象物に対応した複数の画像グループ内を所定領域とすれば、効率よくサーチできる。よって、本実施形態の立体画像伝送システムによれば、複数の立体画像だけでなく、所定の対象物を複数の視点から撮影することにより得られる複数の多視点画像を伝送する場合にも用いることができるものである。
【００５７】
（第２の実施形態）
次に、本発明の第２の実施形態の立体画像伝送システムについて説明する。
【００５８】
上記で説明した第１の実施形態は、Ｎ枚の視差画像を立体画像として伝送するものであったが、本発明の第２実施の実施形態では、Ｎ枚の視差画像に加え、Ｎ枚の視差画像の内の１枚を列方向にＮ倍した解像度を有する平面画像を立体画像に含めて伝送するものである。
【００５９】
伝送されたＮ枚の視差画像は、画像表示側において立体ディスプレイを用いて表示されることにより立体映像が実現される。しかし、画像表示側が通常の平面ディスプレイしか備えていない場合には、視差画像のうちの１枚を水平方向に引き延ばして表示しなければならず水平方向の解像度が劣化してしまうことになる。そのため、画像表示側が立体ディスプレイまたは平面ディスプレイのいずれを備えている場合でも高精細な表示を行うことができるように、Ｎ枚の視差画像とともにＮ枚の視差画像の内の１枚を列方向にＮ倍した解像度を有する平面画像を立体画像に含めて伝送する。
【００６０】
本実施形態の立体画像伝送システムの構成を図１０に示す。図１０において、図１中の構成要素と同一の構成要素には同一の符号を付し、説明を省略するものとする。
本実施形態の立体映像伝送システムは、図１０に示されるように、立体画像圧縮装置３０と、立体画像伸長装置４０と、この立体画像圧縮装置３０と立体画像伸長装置４０とを接続する伝送路とから構成されている。
【００６１】
立体画像圧縮装置３０は、立体画像多重化部２０４と、多重化画像圧縮部２０５と、動きベクトル分解部１０６と、送信・記録部１０７とから構成されている。また、立体画像伸長装置４０は、受信・再生部１０８と、多重化画像伸長部２０９と、動きベクトル合成部１１０と、立体画像分離部２１１とから構成されている。
【００６２】
本実施形態では、立体画像圧縮装置３０には、Ｎ枚の視差画像である第１眼画像１０１1〜第Ｎ眼画像１０１Nから構成される立体画像とともにＮ枚の視差画像の内の１枚を列方向にＮ倍した解像度を有する平面画像２０１とが入力されている。
【００６３】
立体画像多重化部２０４では、入力されたＮ枚の第１眼画像１０１1〜第Ｎ眼画像１０１Nと平面画像２０１は、図１１に示すように空間的に配置され、１枚の大きな画像に多重化される。ここで多重化方法は、図１１に示した方法以外に、縦方向に並べるのでも、横方向に並べるのでもよく、また、視差画像及び平面画像を並べる順番も、図１１に示した通りでなくて構わない。多重化された画像は多重化画像圧縮部２０５において圧縮されるが、その際求められる動きベクトル情報は、符号化対象ブロックがＮ枚の視差画像内にある場合は動きベクトル分解部においてオフセットベクトルとローカル動きベクトルとに分解され、動画ストリーム中に挿入される。符号化対象ブロックが平面画像内にある場合は、そのまま動きベクトルとして動画ストリーム中に挿入される。圧縮された立体画像及び平面画像は送信・記録部１０７によって１本のストリームとして送信あるいは記録される。
【００６４】
圧縮された多重化画像は、受信・再生部１０８によって１本のストリームとして受信あるいは再生され、多重化画像伸長部２０９において伸長されるが、その際、動きベクトル合成部１１０において受信したローカル動きベクトルとオフセットベクトルから１本の動きベクトルが合成され、合成された動きベクトル情報を用いて多重化画像を復元する。伸長された多重化画像は、立体画像分離部２１１において第１眼画像〜第Ｎ眼画像１１２1〜１１２N及び平面画像２１２に分離される。そして、Ｎ眼立体表示を行う場合は第１眼画像〜第Ｎ眼画像１１２1〜１１２Nを１列毎に配置して立体ディスプレイに表示し、平面表示を行う場合は平面画像２１２をそのまま平面ディスプレイに表示する。
【００６５】
次に、多重化画像圧縮部２０５における多重化画像の符号化方法について説明する。多重化画像圧縮部２０５は図１２に示すような構成になっている。図１２において、図４中の構成要素と同一の構成要素には同一の符号を付し、説明を省略するものとする。
【００６６】
多重化画像圧縮部２０５は、図１２に示すように、動きベクトル検出部３０４と、ＤＣＴ変換部３１０と、量子化部３１１と、逆量子化部３１５と、可変長符号化部３１２と、多重化部３１３と、逆ＤＣＴ変換部３１６と、予測メモリ３０３と、動き補償部３０６と、判別部２０２とから構成されている。
【００６７】
本実施形態における多重化画像圧縮部２０５は、判別部２０２が設けられている以外は、図３に示した第１の実施形態における多重化画像圧縮部１０５と同様な構成となっている。
【００６８】
判別部２０２は、符号化対象ブロックがＮ枚の視差画像内にあるか平面画像内にあるかを判別部２０２によって判別し、Ｎ枚の視差画像内にある場合には、動きベクトル検出部３０４により検出された動きベクトル３０５を、動きベクトル分解部１０６に出力し、符号化対象ブロックが平面画像内にある場合には、動きベクトル検出部３０４により検出された動きベクトル３０５をローカル動きベクトル３０８の替わりとして多重化部３１３に出力する。
【００６９】
この図１２では、動きベクトル分解部１０６は多重化画像圧縮部２０５の外部に設けられているが、多重化画像圧縮部２０５内部に含む構成としても構わない。この多重化画像圧縮部２０５での動作は、まず、入力された多重化画像と、予測メモリ３０３に記憶されている過去あるいは未来の参照画像とを動きベクトル検出部３０４においてブロック単位で比較し、動きベクトル３０５を検出する。このとき、符号化対象ブロックがＮ枚の視差画像内にある場合は、動きベクトルサーチ範囲を参照多重化画像におけるＮ枚の視差画像が配置されている部分とし、Ｎ個の類似部分のうちで最も予測誤差の小さいブロックを選択する。一方、符号化対象ブロックが平面画像内にある場合は、動きベクトルサーチ範囲は参照多重化画像の平面画像が配置されている部分のみとし、１本の動画を符号化する場合と同様の動きベクトル検出を行う。この動きベクトル情報により、動き補償部３０６において予測メモリ３０３に記憶されている参照画像から対応するデータを読み出して予測画像を形成し、入力された多重化画像との差分をとる。一方、動きベクトル３０５については、符号化対象ブロックがＮ枚の視差画像内にあるか平面画像内にあるかが判別部２０２において判別され、符号化対象ブロックがＮ枚の視差画像内にある場合は、動きベクトル３０５は動きベクトル分解部１０６においてオフセットベクトル３０９とローカル動きベクトル３０８とに分解される。符号化対象ブロックが平面画像内にある場合は、動きベクトル分解部１０６は経由せず、動きベクトル検出部１０５によって求められた動きベクトル３０５はそのまま多重化部３１３に送られる。差分画像はＤＣＴ変換部３１０、量子化部３１１、及び可変長符号化部３１２を経て、多重化部３１３においてローカル動きベクトル３０８情報、オフセットベクトル３０９情報とともに１本の動画ストリームに多重化される。さらに、次のフレームの多重化画像を圧縮するための参照画像は、逆量子化部３１５、逆ＤＣＴ変換部３１６を経て予測メモリ３０３に記憶される。
【００７０】
動きベクトル分解部１０６における動きベクトル分解方法、及び分解されたベクトルの符号化方法については、第１実施形態と同様の方法によって行われる。但し、ユーザデータ部に挿入されるオフセットベクトル情報において、多重化画像におけるＮ枚の視差画像の配置順序に加え、平面画像の配置順序を示すデータも挿入される点が異なる。
【００７１】
次に、本実施形態の多重化画像伸長部２０９における多重化画像の復号化方法について説明する。多重化画像伸長部２０９は図１３に示すような構成になっている。図１３において、図９中の構成要素と同一の構成要素には同一の符号を付し、説明を省略するものとする。
【００７２】
多重化画像伸長部２０９は、図１３に示されるように、分離部８０３と、可変長復号化部８０７と、逆量子化部８０８と、逆ＤＣＴ変換部８０９と、動き補償部８１２と、予測メモリ８１３と、判別部２０６とから構成されている。
【００７３】
本実施形態における多重化画像伸長部２０９は、判別部２０６が設けられている以外は、図９に示した第１の実施形態における多重化画像伸長部１０９と同様な構成となっている。
【００７４】
判別部２０６は、多重化画像内でのＮ枚の視差画像及び平面画像の配置順序を示すフラグを検出し、符号化対象ブロックがＮ枚の視差画像内にある場合には、分離部８０３により動画ストリームから分離された動きベクトルをそのままローカル動きベクトル８０６として動きベクトル合成部１１０に出力し、符号化対象ブロックが平面画像内にある場合には、分離部８０３により動画ストリームから分離された動きベクトルを動きベクトル８１１として動き補償部８１２に出力する。
【００７５】
まず、多重画像伸長部２０９では、入力された動画ストリームが、分離部８０３において差分画像データ８０４とオフセットベクトル８０５と、動きベクトルに分離される。
尚、符号化対象ブロックが、平面画像内にある場合には、オフセットベクトルは存在しないため、分離部８０３からオフセットベクトル８０５は出力されない。次に、判別部２０６では、多重化画像内でのＮ枚の視差画像及び平面画像の配置順序を示すフラグを検出し、復号化対象ブロックがＮ枚の視差画像内にあった場合は、分離部８０３からの動きベクトルをそのままローカル動きベクトル８０６として動きベクトル合成部１１０に出力する。符号化対象ブロックが平面画像内にある場合には、判別部２０６が、分離部８０３からの動きベクトルを動きベクトル８１１として動き補償部８１２に出力する。
【００７６】
差分画像データ８０４は、可変長復号化部８０７、逆量子化部８０８、逆ＤＣＴ変換部８０９において、それぞれ可変長復号化、逆量子化、逆ＤＣＴ変換され、差分画像に復号される。オフセットベクトル８０５及びローカル動きベクトル８０６は、動きベクトル合成部１１０において１本の動きベクトル８１１に合成される。この合成された動きベクトル８１１を用いて、動き補償部８１２において、予測メモリ８１３に記憶されている過去あるいは未来の参照画像から予測画像が形成される。そして、予測画像と逆ＤＣＴ変換部８０９からの差分画像との和をとることによって、多重化画像が復元される。
【００７７】
オフセットベクトル及びローカル動きベクトルの復号化方法については、第１実施形態と同様の方法によって行われる。但しこのとき、多重化画像におけるＮ枚の視差画像及び平面画像の配置順序を示すデータを検出し、これにより多重化画像内におけるオフセットブロックの位置を算出する点が若干異なる。
【００７８】
本実施形態では、Ｎ枚の視差画像の内の１枚を列方向に引き延ばして平面画像としているが、ここで用いる平面画像としては、異なった対象物を表示するための画像であっても良い。この場合、平面画像内にある符号化対象ブロックに対する動きベクトルサーチにおいては、サーチ範囲は多重化画像全体ではなく平面画像が配置されている部分のみとし、Ｎ枚の視差画像内にある符号化対象ブロックに対する動きベクトルサーチにおいては、サーチ範囲はＮ枚の視差画像が配置されている部分のみとする。このような構成とすれば、異なった視点で異なった映像を映すことができ、複数のユーザが別の情報を同時に見ることが可能となる。
【００７９】
本実施形態では、符号化対象ブロックが平面画像内の場合にはオフセットベクトルが存在しないものとして説明しているが、符号化対象ブロックが平面画像内の場合にもオフセットベクトルを用いるようにして平面画像と立体画像との間で動き予測を行うようにしてもよい。この場合には、図１２に示した多重化画像圧縮部２０５における判別部２０２および図１３に示した多重化画像伸長部２０９における判別部２０６は不要となる。
【００８０】
（第３の実施形）
次に、本発明の第３の実施形態の立体画像伝送システムについて説明する。
【００８１】
上記第２の実施形態の立体画像伝送システムでは、Ｎ枚の視差画像とともに平面画像を伝送する場合について説明を行った。しかし、この第２の実施形態では、Ｎ枚の視差画像と平面画像とは、大きさが異なりまた解像度も異なるものであるため空間的相関性が低くなり、平面画像と視差画像間での動き予測を行っても効率的な圧縮を行うことができなかった。そこで、本実施形態の立体画像伝送システムでは、平面画像を視差画像と同じ大きさを有するＮ枚の平面部分画像に分割して、Ｎ枚の視差画像とともに多重化するようにして、効率的な圧縮を行うようにしたものである。
【００８２】
本発明の第３の実施形態は、図１に示した第１の実施形態において、Ｎ枚の視差画像である第１〜第Ｎ眼画像１０１1〜１０１Nに加え、Ｎ枚の視差画像の内の１枚を列方向にＮ倍した解像度を有する平面画像を入力し、立体画像多重化部１０４において入力された平面画像をＮ枚の平面部分画像に分割してからＮ枚の視差画像とともに多重化する点のみが異なっている。
【００８３】
本実施形態における立体画像多重化部では、入力された平面画像は、図１４に示すようにＮ列毎に取り出して視差画像と同じ大きさを有するＮ枚の平面部分画像に分割され、図１５に示すように、Ｎ枚の視差画像とＮ枚の平面部分画像を合わせた計２Ｎ枚の画像が多重化され１枚の大きな多重化画像となる。ここで多重化方法は、図１５に示した方法以外に、縦方向に並べるのでも、横方向に並べるのでもよく、また、視差画像及び平面部分画像を並べる順番も、図１５に示した通りでなくて構わない。さらに、図１５において例えば平面画像は第１眼画像の４倍の水平解像度をもつ画像だとすると、第１眼画像と第１平面部分画像は全く同じ画像となるから、第１眼画像と第１平面部分画像のうちのいずれかを省略し、代わりにダミー画像を挿入してもよい。このように平面画像をＮ枚の平面部分画像に分割することで、平面画像を、Ｎ枚の視差画像と同じ大きさでかつ空間的相関性の高いＮ枚の画像とすることができる。
【００８４】
このようにして多重化された多重化画像を圧縮・伸長する方法については、図１に示した第１の実施形態と同様な方法により行われるため、第１の実施形態の構成を示した図１を用いて本実施形態の以降の動作について説明する。
【００８５】
立体画像多重化部により多重化された多重化画像は、多重化画像圧縮部１０５において圧縮されるが、その際求められる動きベクトル情報は、動きベクトル分解部１０６によりオフセットベクトルとローカル動きベクトルとに分解され、動画ストリーム中に挿入される。圧縮された立体画像及び平面画像は送信・記録部１０７によって１本のストリームとして送信あるいは記録される。
【００８６】
立体画像伸長装置２０では、圧縮された多重化画像は、受信・再生部１０８によって１本のストリームとして受信あるいは再生され、多重化画像伸長部１０９において伸長されるが、その際、動きベクトル合成部１１０において受信したローカル動きベクトルとオフセットベクトルから１本の動きベクトルが合成され、合成された動きベクトル情報を用いて多重化画像を復元する。伸長された多重化画像は、立体画像分離部１１１において第１眼画像〜第Ｎ眼画像、及び第１平面部分画像〜第Ｎ平面部分画像に分離され、第１平面部分画像〜第Ｎ平面部分画像は図１４に示した手順と逆の手順により１枚の平面画像に再構成される。そして、Ｎ眼立体表示を行う場合は第１眼画像〜第Ｎ眼画像を１列毎に配置して立体ディスプレイに表示し、平面表示を行う場合は平面画像をそのまま平面ディスプレイに表示する。
【００８７】
本実施形態では、Ｎ枚の視差画像及びＮ枚の平面部分画像がすべて同じ大きさ・解像度を有しており、しかもそれらは互いに空間的相関性が高いため、多重化画像圧縮部１０５における多重化画像の符号化方法、動きベクトル分解方法及び分解されたベクトルの符号化方法、多重化画像の復号化方法、オフセットベクトル及びローカル動きベクトルの復号化方法については、第１実施形態においてＮを２Ｎに置き換えた場合と同様の方法で実施する。但し、ユーザデータ部に挿入されるオフセットベクトル情報において、多重化画像におけるＮ枚の視差画像の配置順序に加え、Ｎ枚の平面部分画像の配置順序を示すデータも挿入される点が異なる。
【００８８】
（第４の実施形態）
次に、本発明の第４の実施形態の立体画像伝送システムについて説明する。上記で説明した第２の実施形態では、画像表示側が平面ディスプレイしか備えていない場合を考慮して、Ｎ枚の視差画像とともに平面画像を送信するようにしていたが、本発明の第４の実施形態では、画像表示側が１〜Ｎ眼ディスプレイのいずれであっても立体表示あるいは平面表示を行うことができるように、第１眼画像〜第Ｎ眼画像の原画像を列方向に間引かずに、原画像の解像度のまま入力する。
【００８９】
本実施形態における立体画多重化部においては、これらの画像が空間的に配置され、１枚の大きな画像に多重化される。例えばＮ＝４とするとき、多重化処理過程においては、図１６のように第１眼画像〜第Ｎ眼画像をそのまま多重化画像に配置する。ここで多重化方法は、図１６に示した方法以外に、縦方向に並べるのでも、横方向に並べるのでもよく、また、視差画像を並べる順番も、図１６に示した通りでなくて構わない。
【００９０】
このようにして多重化された多重化画像を圧縮・伸長する方法については、図１に示した第１の実施形態と同様な方法により行われるため、第１の実施形態の構成を示した図１を用いて本実施形態の以降の動作について説明する。
【００９１】
立体画像多重化部により多重化された画像は多重化画像圧縮部１０５において圧縮されるが、その際求められる動きベクトル情報は、動きベクトル分解部１０６によりオフセットベクトルとローカル動きベクトルとに分解され、動画ストリーム中に挿入される。圧縮された立体画像及び平面画像は送信・記録部１０７によって１本のストリームとして送信あるいは記録される。
【００９２】
立体画像伸長装置２０では、圧縮された立体画像及び平面画像は、受信・再生部１０８によって１本のストリームとして受信あるいは再生され、多重化画像伸長部１０９において伸長されるが、その際、動きベクトル合成部１１０において受信したローカル動きベクトルとオフセットベクトルから１本の動きベクトルが合成され、合成された動きベクトル情報を用いて多重化画像を復元する。伸長された多重化画像は、立体画像分離部１１１において第１眼画像〜第Ｎ眼画像に分離される。Ｎ眼立体表示を行う場合は第１眼画像〜第Ｎ眼画像のそれぞれの第１列、第Ｎ＋１列、第２Ｎ＋１列・・・を取り出して１列毎に配置し、立体ディスプレイに表示する。平面表示を行う場合は第１眼画像〜第Ｎ眼画像のうちの任意の１枚をそのまま平面ディスプレイに表示する。ｋ眼立体表示（２≦ｋ＜Ｎ）を行う場合は、第１眼画像〜第ｋ眼画像のそれぞれの第１列、第ｋ＋１列、第２ｋ＋１列・・・を取り出して１列毎に配置し、立体ディスプレイに表示する。
【００９３】
本実施形態では、Ｎ枚の視差画像がすべて同じ大きさ・解像度を有しているため、多重化画像圧縮部１０５における多重化画像の符号化方法、動きベクトル分解方法及び分解されたベクトルの符号化方法、多重化画像の復号化方法、オフセットベクトル及びローカル動きベクトルの復号化方法については、第１の実施形態と同様の方法により実施することができる。但し、ユーザデータ部に、第１の実施形態において挿入されるフラグに加えて、Ｎ枚の視差画像がすべて高解像度（原画を間引いていない）であることを示すフラグが挿入される点が異なる。
【００９４】
（第５の実施形態）
次に、本発明の第５の実施形態について説明する。上記第１〜第４の実施形態では、画像表示側がＮ眼の立体ディスプレイまたは平面ディスプレイである場合を前提としていたが、本実施形態は、ｋをＮの約数とした場合に、画像表示側がｋ眼ディスプレイである場合でも表示ができるようにしたものである。
【００９５】
本実施形態では、図１に示した第１の実施形態の立体画像伝送システムにおいて、ｋを３以上の整数Ｎの任意の約数とするとき、全てのｋに対して、ｋ眼ディスプレイに表示するために必要な全ての視差画像を入力する。例えば、Ｎ＝６の場合、６の約数、すなわち１眼（平面）ディスプレイに表示するための平面画像、２眼立体ディスプレイに表示するための２枚の視差画像、３眼ディスプレイに表示するための３枚の視差画像、及び６眼ディスプレイに表示するための６枚の視差画像を、立体画像多重化部に入力する。以下の説明ではＮ＝６の場合を用いて説明する。
【００９６】
立体画像多重化部に入力する視差画像の大きさ、視点の関係を図１７に示す。立体画像多重化部においては、これらの視差画像が１枚の大きな画像に空間的に多重化される。このとき６眼ディスプレイに表示する６枚の視差画像を除いたすべての視差画像はそれぞれ、図１８〜図２０に示すように第６眼画像と同じ大きさを有する複数の視差部分画像に分割され、図２１に示すように、全ての視差画像及び視差部分画像を合計した２４枚の画像が多重化される。図１８は、平面ディスプレイ用画像を複数の部分画像に分割する方法を示す図であり、図１９は、２眼ディスプレイ用画像を複数の部分画像に分割する方法を示す図である。また、図２０は、３眼ディスプレイ用画像を複数の部分画像に分割する方法を示す図である。
【００９７】
ここで多重化方法は、図２１に示した方法以外に、縦方向に並べるのでも、横方向に並べるのでもよく、また、視差画像及び視差部分画像を並べる順番も、図に示した通りでなくて構わない。さらに、視差画像及び視差部分画像のうちで重複する画像はダミー画像で置き換えてもよい。ダミー画像がたくさんあるならば、多重化画像自体を小さくし、必要な画像のみを配置するのでもよい。例えば、図１８〜図２０を参照すると、１眼用第１視点第１部分画像と、２眼用第１視点第１部分画像と、３眼用第１視点第１部分画像とは、互いに重複しているので、これらのうち一つを多重化画像に配置すれば十分である。このように互いに解像度の異なる視差画像群を複数の視差部分画像に分割することで、全ての視差画像を同じ大きさでかつ空間的相関性の高い画像群とすることができる。
【００９８】
このようにして多重化された多重化画像を圧縮・伸長する方法については、図１に示した第１の実施形態と同様な方法により行われるため、第１の実施形態の構成を示した図１を用いて本実施形態の以降の動作について説明する。
【００９９】
立体画像多重化部により多重化された画像は多重化画像圧縮部１０５において圧縮されるが、その際求められる動きベクトル情報は、動きベクトル分解部１０６によりオフセットベクトルとローカル動きベクトルとに分解され、動画ストリーム中に挿入される。圧縮された立体画像及び平面画像は送信・記録部１０７によって１本のストリームとして送信あるいは記録される。
【０１００】
立体画像伸長装置２０では、圧縮された多重化画像は、受信・再生部１０８によって１本のストリームとして受信あるいは再生され、多重化画像伸長部１０９において伸長されるが、その際、動きベクトル合成部１１０において受信したローカル動きベクトルとオフセットベクトルから１本の動きベクトルが合成され、合成された動きベクトル情報を用いて多重化画像を復元する。伸長された多重化画像は、立体画像分離部１１１において視差画像、及び視差部分画像に分離され、視差部分画像は図１８〜図２０と逆の手順により、１枚の平面画像、２枚の２眼ディスプレイ用画像、３枚の３眼ディスプレイ用画像に再構成される。そして、６眼立体表示を行う場合は６眼用第１視点画像〜６眼用第６視点画像を１列毎に配置して６眼立体ディスプレイに表示し、３眼立体表示を行う場合は３眼用第１視点画像〜３眼用第３視点画像を１列毎に配置して３眼立体ディスプレイに表示し、２眼立体表示を行う場合は２眼用第１視点画像〜２眼用第２視点画像を１列毎に配置して２眼立体ディスプレイに表示し、平面表示を行う場合は１眼（平面）用第１視点画像をそのまま平面ディスプレイに表示する。
【０１０１】
本実施形態では、多重化画像に多重化される視差画像及び視差部分画像の総枚数をＭとするとき、多重化されるＭ枚画像はすべて同じ大きさ・解像度を有しており、しかもそれらは互いに空間的相関性が高いため、多重化画像圧縮部における多重化画像の符号化方法、動きベクトル分解方法及び分解されたベクトルの符号化方法、多重化画像の復号化方法、オフセットベクトル及びローカル動きベクトルの復号化方法については、第１実施形態においてＮをＭに置き換えた場合と同様の方法で実施することができる。但し、ユーザデータ部に挿入されるオフセットベクトル情報において、Ｎ枚の視差画像の配置順序を示すのではなく、多重化画像におけるＭ枚の視差画像及び視差部分画像の配置順序が挿入される点が異なる。
【０１０２】
上記第１〜第５の実施形態では、圧縮側では、オフセットベクトルを復号化するために必要な情報、すなわちストリーム中においてオフセットベクトルが存在する位置を示すフラグ、オフセットベクトルの符号化フォーマットを示すフラグ、多重化画像内の視差画像、あるいは視差画像と平面画像、あるいは視差画像と視差部分画像の配置順序を示すフラグなどの情報を、動画ストリーム中に挿入するものとして説明した。ここでは、その一例として、ユーザデータ部などの、ユーザが任意のデータを挿入できるフィールドに挿入されるオフセットベクトル情報のフォーマットについて、図２２〜図２６を参照して説明する。ここでは、ＭＰＥＧストリーム中にオフセットベクトルを挿入する場合の具体的な方法について説明する。
【０１０３】
図２２に示すように、ＭＰＥＧストリームは階層構造となっており、画像サイズやアスペクト比、フレーム・レートなど、ストリーム全体が共有する情報を格納するシーケンスレイヤ、複数のピクチャをまとめたＧＯＰ(Group Of Picture)レイヤ、１枚の静止画として扱うことのできるフレームまたはフィールドを示すピクチャレイヤ、マクロブロックを水平方向に帯状につなげた領域であるスライスレイヤ、１６画素×１６ラインの領域であり動き補償の単位であるマクロブロックレイヤ、８画素×８画素の領域でありＤＣＴ変換の単位であるブロックレイヤから構成されている。オフセットベクトル情報はＭＰＥＧの規格外のため、ＭＰＥＧ規格に準じるためには、任意のデータを格納できるユーザデータ部にオフセットベクトル情報を挿入すればよい。ＭＰＥＧの規格上、ユーザデータ部を挿入可能な位置はシーケンスヘッダやピクチャヘッダの前後などに限られるが、例えば以下に説明する方法に従って１フレーム分のオフセットベクトル情報を挿入するためには、各ピクチャヘッダの前または後にユーザデータ部を設け、そこに格納すればよい。
【０１０４】
オフセットベクトル情報の先頭には、図２３に示すように、オフセットベクトル情報の有無を示すフラグ３１が挿入される。このフラグ３１が“１”のときは、後ろに多重化画像の配置順序を示す多重化画像情報（muxed image information）３２、オフセットベクトルのストリーム上での存在位置や符号化フォーマットを示すオフセットベクトル情報（offset vector information）３３が挿入され、オフセットベクトルがユーザデータに存在するならば、その後ろにオフセットベクトルの符号化データオフセットベクトルデータ（offset vector data）３４が続く。
【０１０５】
多重化画像情報３２が格納されたセクションには、多重化画像における視差画像、平面画像、視差部分画像の配置順序を示すデータが格納される。多重化画像情報３２の先頭には、図２４に示すように、まず多重化画像がどのような画像から構成されているかを示す多重化画像構成フラグ（muxed image structure）４１が格納される。このビットは例えば、
００：  多重化画像は視差画像のみから構成されている。
【０１０６】
０１：  多重化画像は視差画像と平面画像から構成されている。
【０１０７】
１０：  多重化画像は高解像度（原画から間引いていない）の１〜Ｎ眼画像から構成されている。
【０１０８】
１１：  多重化画像はＮ眼ディスプレイ用画像と、全てのｋに対して、ｋ眼ディスプレイに表示するために必要な全ての視差画像から構成されている。
のようにすればよい。さらに、上記で“０１”（視差画像＋平面画像）であった場合、平面画像の配置形式を示すフラグをさらに挿入する。すなわち、
０：  平面画像は分割せずにそのまま配置されている。
【０１０９】
１：  平面画像は複数の平面部分画像に分割されて配置されている。
のようにすればよい。次に、立体画像の最大視点数を示すＮの具体的な数字であるＮ数４２が格納される。このデータは固定長としても、可変長としてもよい。そしてその次に、多重化画像の配置を示す多重化画像配置（muxed image arrangement）サブセクション４３が続く。
【０１１０】
多重化画像配置サブセクション４３の先頭には、図２４に示すように、多重化画像が水平方向の視差画像（または平面部分画像、視差部分画像）数を示す水平部分画素数（muxed partition image number width(mW)）４４、垂直方向の視差画像（または平面部分画像、視差部分画像）数を示す垂直部分画素数（muxed partition image number height(mH)）４５が挿入される。但し、多重化画像が視差画像と平面画像から構成されており、かつ平面画像が分割されずに配置されている場合は、視差画像は横方向に１列に並べる方法しかとることができないので、上記２つのデータの代わりに平面画像と視差画像の配置関係を示す２ビットのフラグが挿入される。すなわち、
００：  平面画像は視差画像の上に配置されている。
【０１１１】
０１：  平面画像は視差画像の下に配置されている。
【０１１２】
１０：  平面画像は視差画像の右に配置されている。
【０１１３】
１１：  平面画像は視差画像の左に配置されている。
とする。さらにこの場合、前記ｍＷ及びｍＨは、それぞれＮ、１に設定される。次に、多重化画像内の左上の画像ブロックから、右下のブロックへ向かって順番に配置データ（muxed img）[y][x]４６が格納される。配置データ（muxed img）[y][x]４６に格納されるデータは、例えば以下のように決めればよい。多重化画像に配置される視差画像、あるいは視差画像と平面部分画像、あるいは視差画像と視差部分画像、の総数がＭである場合、これにダミー画像を加えたＭ＋１種類の画像を表すのに必要な最低ビット数すなわち[log2(M-1)]＋２ビットの固定長とする。例えばＮ＝６で、多重化画像に視差画像と平面部分画像が配置されているとき、Ｍ＝１２となるから、以下のようにして視差画像、平面部分画像とビットの関係を決めておく。１２＋１は４ビットあれば表すことができるので、
００００：  ダミー画像
０００１：  第１眼画像
００１０：  第２眼画像
００１１：  第３眼画像
０１００：  第４眼画像
０１０１：  第５眼画像
０１１０：  第６眼画像
０１１１：  第１平面部分画像
１０００：  第２平面部分画像
１００１：  第３平面部分画像
１０１０：  第４平面部分画像
１０１１：  第５平面部分画像
１１００：  第６平面部分画像
１１０１〜１１１１：  保留
とすればよい。例として図２５に示すように多重化画像が３×５＝１５の画像ブロックから構成されており、図２５に示すように視差画、平面部分画像が配置されているとすると、図２４の配置データ[0][0]４６〜配置データ[2][4]４６のフィールドには、
0100 1001 0010 0000 1011 1100 0110 0101 0111 0000 0000 0001 1000 1010 0011
のように符号が挿入される。
【０１１４】
オフセットベクトル情報３３のセクションには、図２６に示すように、オフセットベクトルの符号化フォーマットやストリーム中での挿入位置を示すデータが格納される。オフセットベクトル情報３３の先頭には、図２６に示すように、符号化フォーマットを示すオフセットベクトル符号化フォーマットフラグ（offset vector format）４７が挿入される。このフラグは、以下のような意味をもつ。
【０１１５】
００：  オフセットベクトルを表す符号は固定長符号化(constant length coding: CLC)されており、ランレングス符号化されていない。
【０１１６】
０１：オフセットベクトルを表す符号は可変長符号化(variable length coding: VLC)されており、ランレングス符号化されていない。
【０１１７】
１０：オフセットベクトルを表す符号は固定長符号化(constant length coding: CLC)されており、ランレングス符号化されている。
【０１１８】
１１：オフセットベクトルを表す符号は可変長符号化(variable length coding: VLC)されており、ランレングス符号化されている。
次に、オフセットベクトル符号のストリーム中での存在位置を示すオフセットベクトル格納位置フラグ（offset vector location）４８が挿入される。このオフセットベクトル格納位置フラグ４８は、例えば
００：  オフセットベクトル符号はユーザデータ部に挿入されている。
【０１１９】
０１：  オフセットベクトル符号はマクロブロックヘッダ部に挿入されている。
【０１２０】
１０：オフセットベクトル符号は動きベクトル符号のすぐ後ろに挿入されている。
【０１２１】
１１：オフセットベクトル符号は動きベクトル符号のすぐ後ろに挿入されている。
という意味をもつ。ここで、上記フラグが“００”以外（ユーザデータ部以外）の場合は、ランレングス符号化することはできないので、オフセットベクトル符号化フォーマットフラグ４７の上位１ビットは強制的に“０”にされる。次に、オフセットベクトル符号化フォーマットフラグ４７で、ランレングス符号化されている（＝“１０”または“１１”）場合は、ランレングス符号化に関する付加情報が挿入される。オフセットベクトルレングス符号化フォーマットフラグ（offset vector length format）４９は、オフセットベクトルの連続する数を表す符号のフォーマットを示すフラグで、以下のような意味をもつ。
【０１２２】
０：  オフセットベクトルの連続数を表す符号は、固定長符号化（CLC）されている。
【０１２３】
１：  オフセットベクトルの連続数を表す符号は、可変長符号化（VLC）されている。
【０１２４】
次に、ランレングス符号化の付加情報として、オフセットベクトルのランレングス符号の区切りの単位（周期）を示すオフセットベクトルランレングス周期フラグ（offset vector RL separate period）５０が挿入される。フラグの意味は以下のとおりである。
【０１２５】
００：オフセットベクトルのランレングス符号はピクチャ単位で区切られている。
【０１２６】
０１：オフセットベクトルのランレングス符号はスライス単位で区切られている。
【０１２７】
１０：オフセットベクトルのランレングス符号はブロック画像（視差画像または）単位で区切られている。
【０１２８】
１１：  保留
次に、オフセットベクトルデータ３４のセクションには、図２７に示すように、オフセットベクトルの符号化データが格納される。このセクションでは、オフセットベクトル情報３３セクションのオフセットベクトル符号化フォーマットフラグ４７の値によって、格納される形式が異なる。
【０１２９】
ランレングス符号化されていない場合のオフセットベクトルデータ３４の構成を図２７（ａ）に示し、ランレングス符号化されている場合のオフセットベクトルデータ３４の構成を図２７（ｂ）に示す。
【０１３０】
まず、ランレングス符号化されていない場合、図２７（ａ）に示すように、オフセットベクトルを示す固定長または可変長の符号化データ５１が並ぶ。データの並び順は、図２８に示すような左上のマクロブロックから右下のマクロブロックへ向かう順番となる。また、符号の意味やビット数は、第１の実施形態及び図６、図７に示した方法に従う。一方、ランレングス符号化されている場合は、図２７（ｂ）に示すように、オフセットベクトルの値（run）５４と、その連続する数（length）５５が、それぞれ固定長、可変長のどちらかで格納される。データの並び順は図２８に従う。ランレングス符号の終端には、終端であることを示すランレングスエンドコード（run-length end code）５６が格納される。
【０１３１】
オフセットベクトル符号がユーザデータ以外の位置にある場合、例えばマクロブロックヘッダ部や動きベクトル符号の前後にある場合は、ランレングス符号化は行われず、該当マクロブロックにおけるオフセットベクトル符号が、固定長符号または可変長符号により挿入される。
【０１３２】
ここまでに説明した第１〜第５の実施形態において、多重化画像圧縮部１０、３０及び多重化画像伸張部２０、４０として、ＭＰＥＧ規格などの動画像圧縮規格に準拠した既存の平面動画用エンコーダ・デコーダをほとんどそのまま用いることができる。この場合、多重化画像圧縮部１０、３０において圧縮されるストリームはＭＰＥＧ規格に準拠したストリームであり、オフセットベクトルを表す符号は、動画ストリーム中のユーザデータ部、ヘッダ部のいずれかまたは両方に挿入され、前記オフセットベクトルが存在する位置を示すフラグ、及び、オフセットベクトルの符号化フォーマットを示すフラグ、及び、多重化画像内の視差画像、あるいは視差画像と平面画像、あるいは視差画像と視差部分画像の配置順序を示すフラグは、ユーザデータ部に挿入される。多重化画像伸長部２０、４０においては、動画ストリームはＭＰＥＧ規格に従って復号化されるとともに、オフセットベクトルは第１〜第５の実施形態に示した方法で復号化される。このように、既存の動画用エンコーダ・デコーダをほとんどそのまま用いることができるため、低コストでかつ効率のよい立体画像の伝送が可能となる。
【０１３３】
また、図には示されていないが、本発明の第１〜第５の実施形態の立体画像圧縮装置１０、３０および立体画像伸長装置２０、４０は、上記で説明した立体画像圧縮方法および立体画像伸長方法を実行するためのプログラムを記録した記録媒体を備えている。この記録媒体は磁気ディスク、半導体メモリまたはその他の記録媒体であってもよい。このプログラムは、記録媒体から立体画像圧縮装置１０、３０および立体画像伸長装置２０、４０に読み込まれ、立体画像圧縮装置１０、３０および立体画像伸長装置２０、４０の動作を制御する。具体的には、立体画像圧縮装置１０、３０および立体画像伸長装置２０、４０内のＣＰＵがこのプログラムの制御により立体画像圧縮装置１０、３０および立体画像伸長装置２０、４０のハードウェア資源に特定の処理を行うように指示することにより上記の処理が実現される。
【０１３４】
さらに、上記第１〜第５の実施形態では、立体画像圧縮装置と立体画像伸長装置からなる立体画像伝送システムを用いて説明しているが、本発明は伝送する画像が立体画像である場合に限定されるものではなく、所定の対象物を複数の視点から撮影した多視点画像を伝送する場合にも同様に適用することができるものである。また、立体画像も多視点画像に含まれるため、この場合には、立体画像圧縮装置および立体画像伸長装置は、多視点画像圧縮装置および多視点画像伸長装置に対応し、立体画像伝送システムは、多視点画像伝送システムに対応する。また、立体画像圧縮方法および立体画像伸長方法は、多視点画像圧縮方法および多視点画像伸長方法に対応し、立体画像伝送方法は、多視点画像伝送方法に対応する。
【実施例】
【０１３５】
次に、本発明の一実施例について図面を参照して詳細に説明する。
立体画像の最も単純なものは、複数の多視点画像が右目画像と左目画像の２つの視差画像からなるものであり、またこの２つの画像に右目画像または左目画像のいずれかを水平方向に２倍の解像度とした追加画像をさらに用いるようにすれば画像表示側が平面ディスプレイの場合にも表示が可能となる。
【０１３６】
本発明の具体的な実施例として、右目画像・左目画像と、左目画像を高解像度にするための追加画像を圧縮・伝送する場合について説明する。この実施例は、上記で説明した第３の実施形態においてＮ＝２とした場合に等しく、右目画像が第１眼画像、左目画像が第２眼画像、追加画像が第１平面部分画像に相当する。
【０１３７】
以下の説明では便宜上、右目画像、左目画像及び追加画像はそれぞれ１７６画素×２８８ラインとする。立体表示を行う場合は右目画像・左目画像を１画素毎に交互に配置し、３５２画素×２８８ラインの立体画像として視聴する。また、平面表示を行う場合は、左目画像と追加画像を１画素毎に交互に配置し、３５２画素×２８８ラインの平面画像として視聴する。
【０１３８】
右目画像・左目画像・追加画像は図１の立体画像多重化部１０４に入力され、図２９のように１枚の大きな画像に多重化される。多重化方法は、縦方向でも横方向に並べるのでもよいが、ここでは便宜上、横方向に並べることにする。すなわち、５２８画素×２８８ラインの多重化画像に多重化される。
【０１３９】
次に、図４に示した多重化画像圧縮部１０５における動作について説明する。まず、多重化画像圧縮部１０５における動きベクトル検出部３０４においては、予測メモリ３０３に記憶されている過去あるいは未来の画像を参照し、マクロブロック単位でのブロックマッチングが行われ、動きベクトルが検出される。ここで、図３０に示すように、一つの符号化対象ブロックに対し、参照画像内には３箇所の類似ブロックがあることがわかる。そのため、まず３つの類似ブロック近傍においてそれぞれ予測誤差（たとえば、符号化対象ブロックと参照ブロックとの差分自乗和）が最小となる箇所を検出し、求めた３箇所の類似ブロックのうちで最も予測誤差が小さいブロックを選択すればよい。このようにして求められた動きベクトルは、動きベクトル分解部１０６においてローカル動きベクトルとオフセットベクトルに分解される。ローカル動きベクトルは、既存の動画符号化規格の動きベクトルの符号化方法に従って符号化する。オフセットベクトルの符号化方法については、例えば符号化対象ブロックが左目画像にあり、選択されたブロックが右目画像内にある場合は、図３１のオフセットベクトルテーブルに従うと、オフセットベクトルを表す符号は“１０”となることがわかる。このようにして、符号化対象フレーム内の全てのマクロブロックに対して動きベクトル検出、動きベクトル分解を行う。その他多重化画像圧縮部１０５における動作については、上記の第１の実施形態などで説明した通りであるので、省略する。
【０１４０】
上記で求められたオフセットベクトル情報及びオフセットベクトルに関する種々の情報はユーザデータ部に挿入される。以下、上記で説明した例に基づいて、オフセットベクトルに関する情報を挿入する方法について説明する。ここでは、オフセットベクトル情報は全てユーザデータ部に挿入されるものとし、オフセットベクトル符号は図３１のように可変長符号化されており、ランレングス符号化は行われないものとして説明する。また、多重化画像内における視差画像の配置は図３０のようになっているものとする。
【０１４１】
まず、多重化画像情報セクションの多重化画像構成フラグについては、本実施例では視差画像と平面画像から構成されているので、“０１”となる。さらに、そのすぐ後に平面画像の配置形式を示すフラグとして、平面画像が複数の平面部分画像に分割されて配置されることを示す符号”1"が挿入される。次にＮ数は、最大視点数を示すので２が入る。このフィールドを８ビット固定長とすれば、“００００００１０”となる。
【０１４２】
続いて多重化画像配置サブセクション４３の先頭の水平部分画像数４４、垂直部分画像数４５には、それぞれ“３”、“１”が入る。これらも８ビット固定長とすると、それぞれ“００００００１１”、“０００００００１”となる。次に、多重化画像配置データ４６には、多重化画像内の各画像ブロックにどの視差画像が配置されているかを示すデータが格納される。全画像数は３であるから、これらを区別するためには２ビットあれば十分である。そうすると、多重化画像の符号は以下のようになる。
００：保留
０１：右目画像
１０：左目画像
１１：左目用追加画像
従って図３０の配置をもとにすると、多重化画像配置データ４６には、
０１  １０  １１
が挿入される。
【０１４３】
続いて、オフセットベクトル情報３３の先頭には符号化フォーマットを示すオフセットベクトル符号化フォーマットフラグ４７が挿入される。オフセットベクトルは可変長符号化されおり、ランレングス符号化は行われないので、このオフセットベクトル符号化フォーマットフラグ４７には“０１”を挿入する。次に、オフセットベクトル情報が格納されている場所を示すオフセットベクトル格納位置フラグ４８には、オフセットベクトル情報が全てユーザデータに格納されていることを示す“００”が挿入される。ランレングス符号化は行わないので、ランレングス符号化に関する情報であるオフセットベクトル・レングス符号化フォーマットフラグ４９及びオフセットベクトル・ランレングス周期フラグ５０は挿入されず、スキップされる。続くオフセットベクトルデータ３４のセクションには、動きベクトル分解部１０６で求められた全マクロブロックのオフセットベクトル符号が挿入される。
【０１４４】
例として、多重化画像内の第１行目のはじめの１５個のマクロブロックにおけるオフセットベクトルが図３２のように求められた場合、オフセットベクトルデータ３４セクションには、図３１のテーブルに従い、
０  ０  １０  １１  ０  １１  ０  ０  ０  １０  １０  ０  １１  １１  １０
の順に挿入される。ここで、左右及び追加画像の水平画素数はそれぞれ１７６画素であり、各画像の水平方向には１７６／１６＝１１個のマクロブロックが入るため、左から１２番目のマクロブロックで符号化対象画面が右目画像から左目画像に切り替わることにより、１１番目と１２番目のマクロブロックにおけるオフセットベクトルが同じ左目画像を参照していても符号は異なることに注意されたい。さらに第２行目以降も同様にしてオフセットベクトルデータが挿入される。
【０１４５】
多重化画像伸長部１０９での動作は、まず、多重化画像伸張部１０９に入力された１本の動画ストリームが、分離部８０３において差分画像データ８０４、オフセットベクトル情報８０５、動きベクトル情報８０６とに分離される。
【０１４６】
次に動きベクトル合成部１１０においては、オフセットベクトル情報及びローカル動きベクトル情報をもとに、１本の動きベクトル８１１が合成されるが、合成するためにはオフセットベクトル及びローカル動きベクトルを復号する必要がある。
【０１４７】
まずローカル動きベクトルは、動画ストリーム中の動きベクトル符号を検出し、これをローカル動きベクトル情報として取得する。ローカル動きベクトルの復号化方法については、種々の動画像規格に定められている動きベクトルの復号化方式に従う。
【０１４８】
次に、オフセットベクトルを復号するためには、多重化画像の配置順序やオフセットベクトルの符号化フォーマットなどの情報が必要なので、ユーザデータ部に挿入されているオフセットベクトルに関する情報を復号してから、オフセットベクトル符号自体を復号する。本実施例では、多重化画像情報３２より復号した情報から、視点数は２で、多重化画像は左目画像・右目画像・左目用追加画像の３枚から構成されており、それらは多重化画像内左から右目画像・左目画像・追加画像の順で配置されていることがわかる。また、オフセットベクトル情報３３より復号した情報から、オフセットベクトルは可変長符号化されており、ランレングス符号化は行われていないことがわかる。これらの情報があれば、フレーム内の全マクロブロックにおけるオフセットベクトル符号を一意に復号することができ、オフセットベクトルとローカル動きベクトルを合成してもとの動きベクトルに復元することができる。
【０１４９】
この合成された動きベクトル情報を用いて、動き補償部８１２において、予測メモリ８１３に記憶されている過去あるいは未来の参照画像から予測画像が形成される。そして、予測画像と前記差分画像との和をとることによって、多重化画像が復元される。その他１０９多重化画像伸長部における動作については、第１実施形態などで説明した通りであるので、省略する。
【０１５０】
そして、伸長された多重化画像は多重化画像分離部１１１において、右目画像・左目画像・左目用追加画像に分離され出力される。
【０１５１】
以上述べた方法により、右目画像・左目画像・追加画像相互の空間的相関性を利用し、かつ動きベクトル符号量の増加を抑えることができ、立体画像及び高解像度平面画像を効率よく圧縮伝送することが可能になる。
【０１５２】
最後に、従来技術による空間配置法により立体画像を圧縮した場合と、本発明によるオフセット空間配置法により立体画像を圧縮した場合との動きベクトルの符号量の比較をシミュレーションした結果を図３３のグラフに示す。ここでは、下記のような条件に基づいてシミュレーションを行った。
（１）使用した映像シーケンス
シーケンス名：立体映像標準チャート  No.9: Amusement Park
画像サイズ：原画像は右目画像・左目画像ともＨＤＴＶサイズ(１９２０画素×１０３５ライン)だが、リサンプリング・トリミング処理を施して右目画像・左目画像・追加画像をそれぞれ１６０画素×２４０とした。
フレーム数：４５０フレーム（３０[フレーム／秒]×[１５秒]）
（２）エンコード条件
使用したエンコーダ：MPEG-2 TM-5(Test Model 5)エンコーダ
（テストモデルとは、エンコーダやデコーダ開発の際などに性能比較の対象として、映像業界で標準的に用いられているコーデック（エンコーダ＋デコーダのセット）である。）
画像劣化：ビットレート固定ではなく、ＤＣＴ係数量子化値（画像の劣化度合いとほぼ等しい）を一定にした。ただし、エンコード条件は基本的にDCT係数符号量のみに影響し、動きベクトル符号量はシーケンスの複雑度（動きの大小等）に依存するため、エンコード条件の違いによる動きベクトル符号量の違いはほとんどないといってよい。
動きベクトル検出アルゴリズム：単純ブロックマッチング（差分絶対値和最小点探索）
（３）立体画像圧縮アルゴリズム
オフセット空間配置法（本実施形態）、空間配置法（従来技術）の２種類
オフセット空間配置法：本実施形態に従って動きベクトルをローカル動きベクトルとオフセットベクトルとに分解する方法。
空間配置法：オフセット空間配置法において動きベクトルを分解しない方法。
（４）オフセットベクトル符号化条件
符号化テーブル：全ページ図３１のテーブルを使用する。
ランレングス符号化：符号化しない。
【０１５３】
上記のような条件に行われた図３３のシミュレーション結果では、オフセット空間配置法と空間配置法により符号化した場合の、１〜４５０の各フレームにおける動きベクトル発生符号量が示されている。図３３中の実線は空間配置法における動きベクトル符号量Ｖ（オフセットベクトル符号量はゼロ）、１点破線はオフセット空間配置法の動きベクトル符号量（ローカル動きベクトル符号量(Ｖl)＋オフセットベクトル符号量(Ｖo)）を示している。また、破線はオフセット空間配置法におけるローカル動きベクトル符号量(Ｖl)のみの符号量を示している。従って、一点破線と破線の間がオフセットベクトル符号量(Ｖo)に相当する。このグラフより、動きベクトル分解により動きベクトル符号量を効果的に削減することが可能である（最大で１９％）ことが確認できる。動きベクトル分解によりオフセットベクトルの符号量はオーバーヘッドとなるが、オフセット空間配置法において（ローカル）動きベクトルを短くすることによる符号量削減効果が大きい（実線vs一点破線の比較）ため、トータル比較でも空間配置法の符号量を上回ることはなかった。尚、オフセットベクトル符号量はランレングス符号化などによりさらに削減できる可能性がある。
【図面の簡単な説明】
【０１５４】
【図１】本発明の第１の実施形態の立体画像伝送システムの構成を示すブロック図である。
【図２】本発明の第１の実施形態における、視差画像の空間多重化例を示す図である。
【図３】マクロブロックを説明するための図である。
【図４】本発明の第１の実施形態における多重化画像圧縮部１０５の構成を示すブロック図である。
【図５】本発明の第１の実施形態における動きベクトル分解の様子を示す図である。
【図６】オフセットベクトルの符号化の際に参照する固定長符号テーブルの例を示す図である。
【図７】オフセットベクトルの符号化の際に参照する可変長符号テーブルの例を示す図である。
【図８】ランレングス符号化を説明するための動きベクトル並びの一例を示す図である。
【図９】本発明の第１の実施形態における多重化画像伸長部１０９の構成を示すブロック図である。
【図１０】本発明の第２の実施形態の立体画像伝送システムの構成を示すブロック図である。
【図１１】本発明の第２の実施形態における、視差画像及び平面画像の空間多重化例を示す図である。
【図１２】本発明の第２の実施形態における、多重化画像圧縮部２０５の構成を示すブロック図である。
【図１３】本発明の第２の実施形態における、多重化画像伸長部２０９の構成を示すブロック図である。
【図１４】本発明の第３の実施形態における、平面画像を複数の平面部分画像に分割する方法を示す図である。
【図１５】本発明の第３の実施形態における、視差画像及び平面部分画像の空間多重化例を示す図である。
【図１６】本発明の第４の実施形態における、視差画像の空間多重化例を示す図である。
【図１７】本発明の第５の実施形態における、入力する視差画像の大きさ、視点の関係を示す図である。
【図１８】本発明の第５の実施形態における、平面ディスプレイ用画像を複数の部分画像に分割する方法を示す図である。
【図１９】本発明の第５の実施形態における、２眼ディスプレイ用画像を複数の部分画像に分割する方法を示す図である。
【図２０】本発明の第５の実施形態における、３眼ディスプレイ用画像を複数の部分画像に分割する方法を示す図である。
【図２１】本発明の第５の実施形態における、視差画像及び視差部分画像の空間多重化例を示す図である。
【図２２】ＭＰＥＧストリーム中にオフセットベクトルを挿入する様子を説明するための図である。
【図２３】ユーザデータ部における、オフセットベクトル情報の挿入例を示す図である。
【図２４】図２３における多重化画像情報３２内のデータ配置例を示す図である。
【図２５】図２３の配置データ４６フィールドに挿入する符号を説明するための、多重化画像における視差画像、平面部分画像、ダミー画像の配置例を示す図である。
【図２６】図２３におけるオフセットベクトル情報３３セクション内のデータ配置例を示す図である。
【図２７】図２３におけるオフセットベクトルデータ３４セクション内のデータ配置例を示す図である。
【図２８】多重化画像内における、オフセットベクトルの走査方向を示す図である。
【図２９】本発明の一実施例において右目画像・左目画像・追加画像が多重化される様子を示す図である。
【図３０】動きベクトルの検出方法を説明するための図である。
【図３１】本発明の一実施例におけるオフセットベクトルテーブルを示す図である。
【図３２】本発明の一実施例におけるオフセットベクトルの例を示す図である。
【図３３】従来技術による空間配置法により立体画像を圧縮した場合と、本発明によるオフセット空間配置法により立体画像を圧縮した場合との動きベクトルの符号量の比較をシミュレーションした結果を示すグラフである。
【図３４】従来の立体画像圧縮装置の構成を示すブロック図である。
【図３５】従来の他の立体画像圧縮装置の構成を示すブロック図である。
【符号の説明】
【０１５５】
１０    立体画像圧縮装置
２０    立体画像伸長装置
３０    立体画像圧縮装置
３１    フラグ
３２    多重化画像情報
３３    オフセットベクトル情報
３４    オフセットベクトルデータ
４０    立体画像伸長装置
４１    多重化画像構成フラグ
４２    Ｎ数
４３    多重化画像配置サブセクション
４４    水平部分画素数
４５    垂直部分画素数
４６    配置データ
４７    オフセットベクトル符号化フォーマットフラグ
４８    オフセットベクトル格納位置フラグ
４９    オフセットベクトルレングス符号化フォーマットフラグ
５０    オフセットベクトルランレングス周期フラグ
５１    符号化で
５４    オフセットベクトルの値
５５    オフセットベクトルの値が連続する数
５６    ランレングスエンドコード
１０１1〜１０１N    第１〜第Ｎ眼画像入力
１０４    立体画像多重化部
１０５    多重化画像圧縮部
１０６    動きベクトル分解部
１０７    送信・記録部
１０８    受信・再生部
１０９    多重化画像伸長部
１１０    動きベクトル合成部
１１１    立体画像分離部
１１２1〜１１２N    第１〜第Ｎ眼画像出力
３０３    予測メモリ
３０４    動きベクトル検出部
３０５    動きベクトル
３０６    動き補償部
３０８    ローカル動きベクトル
３０９    オフセットベクトル
３１０    ＤＣＴ変換部
３１１    量子化部
３１２    可変長符号化部
３１３    多重化部
３１５    逆量子化部
３１６    逆ＤＣＴ変換部
４０１    符号化対象ブロック
４０３    参照ブロック
４０５    動きベクトル
４０６    オフセットブロック
４０７    オフセットベクトル
４０８    ローカル動きベクトル
７０２    連続するブロック
７０３    動きベクトル
７０４    参照ブロック
８０３    分離部
８０４    差分画像データ
８０５    オフセットベクトル
８０６    ローカル動きベクトル
８０７    可変長復号化部
８０８    逆量子化部
８０９    逆ＤＣＴ変換部
８１０    動きベクトル合成部
８１１    動きベクトル
８１２    動き補償部
８１３    予測メモリ
【図１】
2005110113.tif 000003
【図２】
2005110113.tif 000004
【図３】
2005110113.tif 000005
【図４】
2005110113.tif 000006
【図５】
2005110113.tif 000007
【図６】
2005110113.tif 000008
【図７】
2005110113.tif 000009
【図８】
2005110113.tif 000010
【図９】
2005110113.tif 000011
【図１０】
2005110113.tif 000012
【図１１】
2005110113.tif 000013
【図１２】
2005110113.tif 000014
【図１３】
2005110113.tif 000015
【図１４】
2005110113.tif 000016
【図１５】
2005110113.tif 000017
【図１６】
2005110113.tif 000018
【図１７】
2005110113.tif 000019
【図１８】
2005110113.tif 000020
【図１９】
2005110113.tif 000021
【図２０】
2005110113.tif 000022
【図２１】
2005110113.tif 000023
【図２２】
2005110113.tif 000024
【図２３】
2005110113.tif 000025
【図２４】
2005110113.tif 000026
【図２５】
2005110113.tif 000027
【図２６】
2005110113.tif 000028
【図２７】
2005110113.tif 000029
【図２８】
2005110113.tif 000030
【図２９】
2005110113.tif 000031
【図３０】
2005110113.tif 000032
【図３１】
2005110113.tif 000033
【図３２】
2005110113.tif 000034
【図３３】
2005110113.tif 000035
【図３４】
2005110113.tif 000036
【図３５】
2005110113.tif 000037