(57)【特許請求の範囲】
【請求項１】
第１及び第２画像信号に対してそれぞれ、フィールド内で全帯域の１／２の２次元通過周波数帯域制限を施す第１及び第２フィルタ処理手段と、
これら第１及び第２フィルタ処理手段によって２次元通過周波数帯域制限を施した第１及び第２画像信号についてそれぞれ、走査線番号の偶奇性に従って間引きを行う第１及び第２間引き手段と、
これら第１及び第２間引き手段によって間引きを行った第１及び第２画像信号についてそれぞれ、走査線番号の偶奇性に従って１／４サブサンプリング周期だけ左又は右に移動した点における値を、デジタル内挿処理によって算出する第１及び第２内挿手段と、
これら第１及び第２内挿手段によってデジタル内挿処理された第１及び第２画像信号を多重する画像信号多重手段とを具えることを特徴とする符号化装置。
【請求項２】
前記第１及び第２画像信号を、２眼式立体画像信号を構成する左眼及び右眼用画像信号としたことを特徴とする請求項１記載の符号化装置。
【請求項３】
第１及び第２画像信号から構成された信号を第１及び第２画像信号に分離する画像信号分離手段と
その画像信号分離手段によって分離された第１及び第２画像信号についてそれぞれ、走査線番号の偶奇性に従って１／４サブサンプリング周期だけ左又は右に移動した点における値を、デジタル内挿処理によって算出する第１及び第２内挿手段と、
これら第１及び第２内挿手段によってデジタル内挿処理された第１及び第２画像信号についてそれぞれ、前記サブサンプリング周期の中間点にそれぞれ０値を挿入する第１及び第２挿入手段と、
これら第１及び第２挿入手段によって０値が挿入された第１及び第２画像信号に対してそれぞれ、フィールド内で全帯域の１／２の２次元通過周波数帯域制限を施す第１及び第２フィルタ処理手段とを具えることを特徴とする復号化装置。
【請求項４】
前記第１及び第２画像信号を、２眼式立体画像信号を構成する左眼及び右眼用画像信号としたことを特徴とする請求項３記載の復号化装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像信号の符号化装置及び復号化装置に関するものであり、例えば、２眼式立体テレビジョンシステムに適用され、２眼式立体画像を構成する左眼及び右眼用画像信号のような第１及び第２画像信号の符号化装置及び及び復号化装置に関するものである。
【０００２】
【従来の技術】
従来、２眼式立体画像をその状態で観察することができる１画像に多重圧縮する方法として、以下のものが提案されている。
１．フィールド順次切換方式
２．垂直周波数帯域制限多重方式
３．水平周波数帯域制限多重方式
４．２次元周波数帯域制限多重方式
【０００３】
フィールド順次切換方式では、左眼用及び右眼用画像をフィールド順次に交互に切り換えている。
【０００４】
垂直周波数帯域制限多重方式では、左眼用及び右眼用画像の垂直周波数帯域をそれぞれ１／２に制限して走査線を一つごとに間引き、１画面の上側半分と下側半分とに多重化している。
【０００５】
水平周波数帯域制限多重方式では、左眼用及び右眼用画像の水平周波数帯域をそれぞれ１／２に制限してサンプリング点を一つごとに間引き、１画面の左側半分と右側半分とに多重化している。
【０００６】
２次元周波数帯域制限多重方式では、左眼用及び右眼用画像を、左眼用及び右眼用画像に対してフィールド内で１／２の面積となる台形の２次元通過周波数帯域を有する２次元デジタルフィルタ処理した後、フィールド内オフセットサンプリングを行い、そのサンプリング点の値をそのまま並び替えて両眼の画像を１画面の左側半分と右側半分とに多重している。この場合、サブサンプリング点の並び替えは、フィールド内で１走査線ごとにサンプリング点の値をそのまま水平サブサンプリング間隔の１／２だけずらして垂直方向の位置を揃えた上で時間軸圧縮を行うことに相当する。
【０００７】
また、立体動画像の圧縮伝送方式として、国際標準化されているMPEG2 の多眼画像対応プロファイル(MVP:Multi View Profile)が提案されている（以下、MPEG2-MVP 方式と称する。）。この場合、左眼と右眼のうちの一方の画像は、順方向と逆方向の両方の動き予測補償を用いた通常のプロファイル(MP:Main Profile)で符号化され、他方の画像は、順方向のみの動き補償と両眼の画像間の視差補償を用いて符号化される。これによって、両眼ともMPで符号化した場合すなわち単眼の２倍の符号量とした場合と同質の画質が、約１５％少ない符号量すなわち単眼の約１．７倍の符号量で得られる。
【０００８】
【発明が解決しようとする課題】
しかしながら、フィールド順次切換方式では、垂直解像度及び時間解像度が共に半減するため、画質の劣化が顕著になる。また、垂直周波数帯域制限多重方式では、垂直解像度が半減し、水平周波数帯域制限多重方式では、水平解像度が半減する。したがって、垂直周波数帯域制限多重方式及び水平周波数帯域制限多重方式の場合でも画質が幾分劣化し、具体的には、標準画像を用いた画質評価試験で１ランク近い劣化が生じる。
【０００９】
２次元周波数帯域制限多重方式では、多重した画像を非可逆の圧縮伝送を行わずにそのまま分離及び再生する場合には、画質の劣化を検知限前後に抑制することができ、具体的には、標準画像を用いた画質評価試験で０．５ランク程度の劣化まで抑制することができる。しかしながら、多重した画像を、MPEG2 のように復号化後の斜め方向成分の欠落が大きくなる非可逆の圧縮伝送を行った後に分離及び再生する場合、水平サブサンプリング点の位置移動のために、元の画像で垂直方向に伸びた直線がジグザグに再生され、局所的に画質の劣化が顕著になるという不都合がある。
【００１０】
MPEG2-MVP 方式では、視差補償を行っており、その結果、視差補償を行わない場合に比べて少ない伝送符号量で同一の画質を得ることができるが、圧縮装置及び再生装置のハードウェア規模が共に単眼用のものに比べて２倍以上になる。また、動きの激しい画像では視差補償による伝送符号量の低減効果がほとんどなく、伝送する両眼の画像を１台のモニタで観察して確認することができないという不都合がある。さらに、符号化すべき２画像が立体画像のように画像間に相関を有しない場合、再生された画像の画質は、同一伝送レートであるときには単眼用の装置を２台使用した場合に比べて劣化する。
【００１１】
本発明の目的は、局所的な画質の劣化が生じることなく第１及び第２画像信号の非可逆伝送を行うことができる符号化装置及び復号化装置を提供することである。
【００１２】
本発明の他の目的は、従来のMPEG2-MVP 方式に比べてハードウェア規模を小さくし、かつ、両眼の画像を１台のモニタで観察して確認することができる符号化装置及び復号化装置を提供することである。
【００１３】
【課題を解決するための手段】
本発明による符号化装置は、
第１及び第２画像信号に対してそれぞれ、フィールド内で全帯域の１／２の２次元通過周波数帯域制限を施す第１及び第２フィルタ処理手段と、
これら第１及び第２フィルタ処理手段によって２次元通過周波数帯域制限を施した第１及び第２画像信号についてそれぞれ、走査線番号の偶奇性に従って間引きを行う第１及び第２間引き手段と、
これら第１及び第２間引き手段によって間引きを行った第１及び第２画像信号についてそれぞれ、走査線番号の偶奇性に従って１／４サブサンプリング周期だけ左又は右に移動した点における値を、デジタル内挿処理によって算出する第１及び第２内挿手段と、
これら第１及び第２内挿手段によってデジタル内挿処理された第１及び第２画像信号を多重する画像信号多重手段とを具えることを特徴とするものである。
【００１４】
本発明によれば、間引きを行った第１及び第２画像信号についてそれぞれ、走査線番号の偶奇性に従って１／４サブサンプリング周期だけ左又は右に移動した点における値を、デジタル内挿処理によって算出する。このように１／２ではなく１／４サブサンプリング周期だけ左又は右に移動させることによって、非可逆伝送時において、垂直方向に伸びた直線がジグザグではなく直線上に再生されるので、局所的な画像の劣化が抑制される。
【００１５】
また、２次元通過周波数帯域制限を施すことによって、特開平７−９５６１８号公報に記載されているように、再生される画質が最良となり、非可逆伝送時における画質の劣化を更に抑制することができる。
【００１６】
さらに、第１及び第２画像信号を多重することによって、単眼用の装置を１台しか必要としないので、従来のMPEG2-MVP 方式に比べてハードウェア規模を小さくし、かつ、両眼の画像を１台のモニタで観察して確認することができる。
【００１７】
前記第１及び第２画像信号を、例えば、２眼式立体画像信号を構成する左眼及び右眼用画像信号とする
【００１８】
本発明による復号化装置は、
第１及び第２画像信号から構成された信号を第１及び第２画像信号に分離する画像信号分離手段と
その画像信号分離手段によって分離された第１及び第２画像信号についてそれぞれ、走査線番号の偶奇性に従って１／４サブサンプリング周期だけ左又は右に移動した点における値を、デジタル内挿処理によって算出する第１及び第２内挿手段と、
これら第１及び第２内挿手段によってデジタル内挿処理された第１及び第２画像信号についてそれぞれ、前記サブサンプリング周期の中間点にそれぞれ０値を挿入する第１及び第２挿入手段と、
これら第１及び第２挿入手段によって０値が挿入された第１及び第２画像信号に対してそれぞれ、フィールド内で全帯域の１／２の２次元通過周波数帯域制限を施す第１及び第２フィルタ処理手段とを具えることを特徴とするものである。
【００１９】
本発明によれば、第１及び第２画像信号についてそれぞれ、走査線番号の偶奇性に従って１／４サブサンプリング周期だけ左又は右に移動した点における値を、デジタル内挿処理によって算出する。このように１／２ではなく１／４サブサンプリング周期だけ左又は右に移動させることによって、非可逆伝送時において、垂直方向に伸びた直線がジグザグではなく直線上に再生されるので、局所的な画像の劣化が抑制される。
【００２０】
また、２次元通過周波数帯域制限を施すことによって、特開平７−９５６１８号公報に記載されているように、再生される画質が最良となり、非可逆伝送時における画質の劣化を更に抑制することができる。
【００２１】
さらに、に第１及び第２画像信号を分離して、前記第１及び第２内挿手段にそれぞれ供給することによって、単眼用の装置を１台しか必要としないので、従来のMPEG2-MVP 方式に比べてハードウェア規模を小さくし、かつ、両眼の画像を１台のモニタで観察して確認することができる。
【００２２】
【発明の実施の形態】
本発明によるの実施の形態を、図面を参照して詳細に説明する。
図１は、本発明による符号化装置及び復号化装置を有する伝送システムのブロック図である。図示した伝送システムは、例えば２眼式立体テレビジョンシステムに適用され、符号化装置１と、復号化装置２と、可逆伝送又は非可逆伝送に使用される従来既知の単眼用の伝送装置（例えば、MPEG2 エンコーダ／デコーダ）３と、通常のＤ／Ａ変換器４と、通常のモニタ５とを具える。
【００２３】
符号化装置１は、第１及び第２画像信号としての左眼用及び右眼用デジタル画像信号がそれぞれ入力されるサンプリング点間引き部６ａ，６ｂと、そのサンプリング点間引き部６ａ，６ｂによって処理された左眼用及び右眼用デジタル画像信号を多重して２眼式立体画像信号を出力する画面内左右画像多重器７とを有する。
【００２４】
サンプリング点間引き部６ａ，６ｂはそれぞれ、第１及び第２フィルタ処理手段としてのフィールド内２次元台形フィルタ７ａ，７ｂと、第１及び第２間引き手段としてのフィールド内オフセットサブサンプリング器８ａ，８ｂと、第１及び第２内挿手段としての１／４サブサンプリング周期移動点内挿器９ａ，９ｂとを有する。
【００２５】
フィールド内２次元台形フィルタ７ａ，７ｂはそれぞれ、左眼用及び右眼用画像信号に対してフィールド内で１／２の面積となる台形の２次元通過周波数帯域を有する。フィールド内オフセットサブサンプリング器８ａ，８ｂはそれぞれ、左眼用及び右眼用画像信号に対してフィールド内オフセットサブサンプリングを行う、すなわち、走査線番号の偶奇性に従って間引きを行う。１／４サブサンプリング周期移動点内挿器９ａ，９ｂはそれぞれ、左眼用及び右眼用画像信号について、走査線番号の偶奇性に従って１／４サブサンプリング周期だけ左又は右に移動した点における値を、デジタル内挿処理によって算出する。なお、フィールド内オフセットサブサンプリング器８ａ，８ｂ及び１／４サブサンプリング周期移動点内挿器９ａ，９ｂにはそれぞれ、動作中に偶奇性走査線フラグが立てられる。
【００２６】
復号化装置２は、２眼式立体画像信号が伝送装置３を通じて入力されるとともに左眼用及び右眼用画像信号に分離する画像信号分離手段としての左右画像分離器１０と、これら左眼用及び右眼用画像信号がそれぞれ入力されるサンプリング点補間部１１ａ，１１ｂを有する。
【００２７】
サンプリング点補間部１１ａ，１１ｂはそれぞれ、第１及び第２内挿手段としての１／４サブサンプリング周期移動点内挿器１２ａ，１２ｂと、第１及び第２挿入手段としてのサブサンプリング点間０値挿入器１３ａ，１３ｂと、第１及び第２フィルタ処理手段としてのフィールド内２次元台形フィルタ１４ａ，１４ｂとを有する。
【００２８】
１／４サブサンプリング周期移動点内挿器１２ａ，１２ｂは、１／４サブサンプリング周期移動点内挿器６ａ，６ｂと同一構成を有する。サブサンプリング点間０値挿入器１３ａ，１３ｂは、左眼用及び右眼用画像信号について、前記サブサンプリング周期の中間点にそれぞれ０値を挿入する。２次元台形フィルタ１４ａ，１４ｂは、２次元台形フィルタ７ａ，７ｂと同一構成を有する。なお、１／４サブサンプリング周期移動点内挿器１２ａ，１２ｂ及びサブサンプリング点間０値挿入器１３ａ，１３ｂにはそれぞれ、動作中に偶奇性走査線フラグが立てられる。
【００２９】
本実施の形態の動作を、２眼式立体画像信号を構成する第１及び第２画像信号としての左眼及び右眼用画像信号（ハイビジョン信号の場合にはBTA S-002 規格の信号）を非可逆伝送する場合について説明する。
【００３０】
サンプリング点間引き部６ａ，６ｂに入力される左眼及び右眼用画像信号ａ１，ａ２はそれぞれ、図２において斜線で示すような全帯域の１／２の通過帯域特性を有するフィールド内２次元台形フィルタ７ａ，７ｂによって、２次元帯域制限が施される。図２において、fsをサンプリング周波数とし、fHを１フレーム走査線数とする。
【００３１】
このような通過帯域特性のフィルタを使用することによって、再生される画質が最良となり、これは、特開平７−９５６１８号公報に記載されている。なお、左眼及び右眼用画像信号ａ１，ａ２の構成を、図３に示すが、この場合、■，□は、左眼画像の画素を表し、▲，△は、右眼画像の画素を表す。
【００３２】
２次元帯域制限が施された左眼及び右眼用画像信号ｂ１，ｂ２はそれぞれ、フィールド内オフセットサブサンプリング器８ａ，８ｂによって、フィールド内オフセットサブサンプリング、すなわち、走査線番号の偶奇性に従った間引きが行われる。このように間引きが行われた左眼及び右眼用画像信号ｃ１，ｃ２の構成も図３に示すが、この場合、  ×は、間引かれた画素を表す。
【００３３】
間引きが行われた左眼及び右眼用画像信号ｃ１，ｃ２はそれぞれ、１／４サブサンプリング周期移動点内挿器６ａ，６ｂにおいて、走査線番号の偶奇性すなわち偶奇性走査線フラグに従って１／４サブサンプリング周期だけ左又は右に移動した点における値をデジタル内挿処理によって算出した上で、その点を新たなサンプリング点とすることによって、図３に示すように、サブサンプリング点が垂直方向に揃った左眼及び右眼用画像信号ｄ１，ｄ２に変換される。なお、図３の
0003958493.tif 000002
は、移動点における内挿値を示す。
【００３４】
図４は、１／４サブサンプリング周期移動点内挿器６ａ，６ｂの構成の一例を示す図である。１／４サブサンプリング周期移動点内挿器６ａ，６ｂはそれぞれ、第１区分２１と、第２区分２２と、偶奇性走査線フラグに従って第１区分２１の出力側と第２区分２２の出力側との間で接続を交互に切り換えるスイッチ２３とを有する。
【００３５】
第１区分２１は、係数α１，α２，α３，．．．，αｎをそれぞれ乗算するｎ（ｎ：整数）個の乗算器２４−１，２４−２，２４−３，．．．，２４−ｎと、１クロック分だけ遅延を行うディレイ２５−１，２５−２，．．．，２５−ｎ−１と、乗算器２６−１，２６−２，．．．，２６−ｎ−１とを有する。
【００３６】
第２区分２１は、係数αｎ，αｎ−１，αｎ−２，．．．，α１をそれぞれ乗算するｎ（ｎ：整数）個の乗算器２７−１，２７−２，２７−３，．．．，２７−ｎと、１クロック分だけ遅延を行うディレイ２８−１，２８−２，．．．，２８−ｎ−１と、乗算器２９−１，２９−２，．．．，２９−ｎ−１とを有する。
【００３７】
サブサンプリング点を垂直方向に揃えるに当たり、１走査線ごとに１／２サブサンプリング周期だけ移動した点における値を同様のデジタル内挿処理によって算出することも考えられるが、この場合、移動を行ったサブサンプリング点の値がフィルタの有効なタップ数の制限による折り返し妨害の影響が顕著になり、かつ、オーバーシュートやアンダーシュートによる振幅のクリッピングの発生割合が比較的高くなるために再生画像の劣化が大きくなる。本発明のように１走査線ごとに左又は右に１／４サブサンプリング周期だけ移動すると、１／２サブサンプリング周期だけ移動させる場合に比べて繰り返し妨害の影響及び再生画像の劣化が抑制される。
【００３８】
左眼及び右眼用画像信号ｄ１，ｄ２は、画面内左右画像多重器７において、それぞれ１走査線で間引く前の元のサンプリング周期に時間軸圧縮された上で、画面の左側及び右側の位置に時間軸多重され、図３に示すような構成の２眼式立体画像信号ｅに変換される。２眼式立体画像信号ｅは、非可逆伝送時には幾分の誤差を有するが、これによる画質への影響はほとんどない。
【００３９】
２眼式立体画像信号ｅは、単眼の画像信号と同一規格に沿ったデジタル画像信号となるので、２眼式立体画像信号ｅを、単一の伝送装置３のみを通じて復号化装置２に伝送できるだけでなく、Ｄ／Ａ変換器４を通じてモニタ５に供給することによって、左眼用及び右眼用画像がモニタ５の画面の左側及び右側にそれぞれ多重された１枚の画像を観察することができる。
【００４０】
復号化装置２に伝送された２眼式立体画像信号ｅは、左右画像分離器１０において、画面の左側及び右側の位置に時間軸多重された左眼用及び右眼用画像信号として分離された後、１走査線上でのサンプリング周期が２サンプル間隔にそれぞれ時間軸伸長され、図３に示すような構成の左眼及び右眼用画像信号ｆ１，ｆ２にそれぞれ変換される。
【００４１】
左眼及び右眼用画像信号ｆ１，ｆ２はそれぞれ、１／４サブサンプリング周期移動点内挿器１２ａ，１２ｂにおいて、走査線番号の偶奇性すなわち偶奇性走査フラグに従って、１／４サブサンプリング周期移動点内挿器９ａ，９ｂでの移動方向とは反対方向に１／４サブサンプリング周期だけ左又は右に移動した点における値をデジタル内挿処理によって算出した上で、その点を新たなサブサンプリング点とするように処理される。
【００４２】
このような処理の後、サブサンプリング点間０値挿入器１３ａ，１３ｂによって、サブサンプリング周期の中間点に０値が挿入され、そのようにして得られた左眼及び右眼用画像信号ｇ１，ｇ２の構成をそれぞれ図３に示す。図３において、  ○は、挿入された０値を表す。
【００４３】
なお、１／４サブサンプリング周期移動点内挿器１２ａ，１２ｂの構成は、１／４サブサンプリング周期移動点内挿器９ａ，９ｂの構成とほとんど同一であるが、走査線番号の偶奇性に従った左又は右方向への移動を、１／４サブサンプリング周期移動点内挿器９ａ，９ｂの場合とは反対方向に行う必要がある。
【００４４】
左眼及び右眼用画像信号ｇ１，ｇ２は、フィールド内２次元台形フィルタ１４ａ，１４ｂによってフィルタ処理することによって、図３に示すような構成の左眼及び右眼用画像信号ｈ１，ｈ２が復号化装置２から出力される。なお、フィールド内２次元台形フィルタ１４ａ，１４ｂに入力される左眼及び右眼用画像信号ｇ１，ｇ２は１サンプルごとに０値となっているので、直流に対するゲインをフィールド内２次元台形フィルタ７ａ，７ｂの２倍にする必要がある。
【００４５】
本実施の形態によれば、１／４サブサンプリング周期だけ左又は右に移動させることによって、非可逆伝送時において、垂直方向に伸びた直線がジグザグではなく直線上に再生されるので、局所的な画像の劣化が抑制される。
【００４６】
また、伝送装置を１台しか必要としないので、従来のMPEG2-MVP 方式に比べてハードウェア規模を小さくし、かつ、両眼の画像を１台のモニタで観察して確認することができ、番組の素材収録から編集、送出のいずれの段階においても、誤りのない内容確認を容易に行うことができる。
【００４７】
本発明は、上記実施の形態に限定されるものではなく、幾多の変更及び変形が可能である。
例えば、本発明による符号化装置及び復号化装置を、２眼式立体テレビジョンシステム以外の他の伝送システムに適用することができる。また、第１及び第２画像信号として、立体表示に要する画像間の相関を有しない二つの画像信号を用いることもでき、可逆伝送を行う場合についても本発明を適用することができる。なお、可逆伝送を行う場合、再生画像の帯域幅が損なわれにくくなる。
【００４８】
フィールド内２次元台形フィルタの代わりに、他のタイプのフィルタを所望の特性に従って適用することもでき、１／４サブサンプリング周期移動点内挿器の構成を、図４に示した構成以外の他の任意の構成とすることができる。また、上記実施の形態では、符号化装置のフィルタが復号化装置のものと同一特性を有する場合について説明したが、ハードウェア規模との両立や折り返し成分の除去のために、これらの特性が互いに相違するようにしてもよい。この場合でも、復号化装置のフィルタの直流に対するゲインを符号化装置のものの２倍にする必要がある。
【００４９】
さらに、伝送装置を、ＶＴＲなどの記録及び再生装置に置換することができ、この場合、簡便な２眼式立体画像素材の収録及び編集用の信号圧縮及び伸長装置として使用することも可能になる。また、両眼の画像を２台のＶＴＲなどに個別に収録及び編集する際には不可欠な同期運転制御を行う必要がなくなる。
【図面の簡単な説明】
【図１】  本発明による符号化装置及び復号化装置を有するシステムのブロック図である。
【図２】  図１のフィールド内２次元台形フィルタの通過帯域の特性図である。
【図３】  図１の符号化装置及び復号化装置を通過する信号の構造を示す図である。
【図４】  図１の１／４サブサンプリング周期移動点内挿器の構成の一例を示す図である。
【符号の説明】
１  符号化装置
２  復号化装置
３  伝送装置
４  Ｄ／Ａ変換器
５  モニタ
６ａ，６ｂ  サンプリング点間引き部
７ａ，７ｂ  フィールド内２次元台形フィルタ
８ａ，８ｂ  フィールド内オフセットサブサンプリング器
９ａ，９ｂ，１２ａ，１２ｂ  １／４サブサンプリング周期移動点内挿器
１０  左右画像分離器
１１ａ，１１ｂ  サンプリング点補間部
１３ａ，１３ｂ  サブサンプリング点間０値挿入器
ａ１，ｂ１，ｃ１，ｄ１，ｆ１，ｇ１，ｈ１  左眼用デジタル画像信号
ａ２，ｂ２，ｃ２，ｄ２，ｆ２，ｇ２，ｈ２  右眼用デジタル画像信号
ｅ  ２眼式立体画像信号
【図１】
0003958493.tif 000003
【図２】
0003958493.tif 000004
【図３】
0003958493.tif 000005
【図４】
0003958493.tif 000006