(57)【特許請求の範囲】
【請求項１】
入力される映像信号ブロックを直交変換して圧縮する符号化装置において、直交変換されて得られた変換係数と現在符号化しようとする映像信号ブロックを選択的に受信し、上記両映像信号ブロックに対する模様情報を選択的に受信し、その受信値に対する横および縦方向への相関関係を判断して入力される映像信号ブロックを相関関係の多い方向にまず直交変換させた後、それと異なる方向に直交変換させる変換方向制御信号を出力する変換モード制御手段と、上記変換モード制御手段から変換方向制御信号を受信し、これに相応して直交変換を行う直交変換手段からなることを特徴とする適応的変換方法を用いる映像圧縮符号化装置。
【請求項２】
上記変換モード制御手段は、直交変換した後、得られた変換係数を貯蔵するメモリと、上記メモリから変換係数を受信して符号化しようとする映像信号ブロックを選択的に受信し、上記直交変換手段の変換方向順序を制御する変換方向制御信号を出力するモード制御機からなることを特徴とする請求項１に記載の適応的変換方法を用いる映像圧縮符号化装置。
【請求項３】
上記モード制御機は、現在符号化しようとする映像信号ブロックとその周辺にあるすでに直交変換された変換係数のブロック平均値を求めてその平均値の縦方向変化率と横方向変化率を求め、その両変化率の絶対値を相互比較して小さい方向に対する値を出力することにより、入力される映像信号ブロックを変化率の小さい方向にまず直交変換した後、それと異なる方向に直交変換を行うようにすることを特徴とする請求項２に記載の適応的変換方法を用いる映像圧縮符号化装置。
【請求項４】
上記モード制御機は、現在符号化しようとする映像信号ブロックとその周辺にある直交変換された変換係数のブロック平均値を求めてその平均値の縦方向変化率と横方向変化率を求め、その変化率の絶対値を縦および横、両方向に分離して各方向の絶対値を合算し、その両方向の合算値の大きさを比較して小さい方向に対する値を出力することにより、入力される映像信号ブロックを小さい方向にまず直交変換した後、それと異なる方向に直交変換を行うようにすることを特徴とする請求項２に記載の適応的変換方法を用いる映像圧縮符号化装置。
【請求項５】
上記直交変換手段は、符号化しようとする映像信号ブロックを選択的に受信し、上記符号化しようとする映像信号ブロックを縦方向に直交変換した後、横方向に直交変換する第1直交変換機と、上記符号化しようとする映像信号ブロックを受信し、模様情報を選択的に受信して上記符号化しようとする映像信号ブロックを横方向に直交変換した後、縦方向に直交変換する第2直交変換機と、上記変換モード制御手段から変換方向制御信号を受信してスイッチング動作され、上記符号化しようとする映像信号ブロックが上記第1直交変換機または第2直交変換機に入力されることを締め括る第1スイッチと、上記変換モード制御手段から変換方向制御信号を受信してスイッチング動作され、上記第1直交変換機または上記第2直交変換機から変換係数が出力されることを締め括る第2スイッチからなることを特徴とする請求項１に記載の適応的変換方法を用いる映像圧縮符号化装置。
【請求項６】
上記直交変換手段は、上記変換モード制御手段から変換方向制御信号を受信してオン／オフモードが制御され、オンモード時に符号化しようとする映像信号ブロックを受信して時計反対方向に90度回転する前処理機と、上記前処理機から90度回転された映像信号ブロックを受信し、模様情報を選択的に受信して縦／横方向に直交変換した後、横／縦方向に直交変換する直交変換機と、上記変換モード制御手段から変換方向制御信号を受信してオン／オフモードが制御され、オンモード時に上記直交変換機から変換係数を受信して2次元ブロックの左方上段と右方下段を結ぶ軸を中心に180度回転する後処理機からなることを特徴とする請求項１に記載の適応的変換方法を用いる映像圧縮符号化装置。
【請求項７】
入力される映像信号ブロックを直交変換して圧縮する符号化装置において、復元された映像信号ブロックを受信して符号化する映像信号ブロックを選択的に受信し、上記両映像信号ブロックに対する模様情報を選択的に受信し、その受信値に対する横および縦方向への相関関係を判断して相関関係の多い方向にまず直交変換させた後、それと異なる方向に直交変換させる変換方向制御信号を出力する変換モード制御手段と、上記変換モード制御手段から変換方向制御信号を受信し、これに相応して直交変換を行う直交変換手段からなることを特徴とする適応的変換方法を用いる映像圧縮符号化装置。
【請求項８】
入力される映像信号ブロックと復元された映像信号ブロックを減算して予測誤差信号ブロックを出力する減算機と、符号化に助けを与える模様情報を出力する付加情報符号機と、量子化された変換係数を受信して上記減算機から予測誤差信号ブロックを選択的に受信し、これに相応する変換方法制御信号を出力する変換モード制御手段と、上記減算機から予測誤差信号ブロックを受信して上記付加情報符号機から模様情報を選択的に受信し、上記変換モード制御手段によって変換方向が制御されて上記予測誤差信号ブロックを直交変換することにより、変換係数を出力する直交変換手段と、上記直交変換手段から変換係数を受信して量子化させ、上記変換モード制御手段および異なる構成要素に量子化された変換係数を出力する量子化機と、上記量子化機から量子化された変換係数を受信して可変長さ符号化された信号に変換する可変長さ符号機と、上記可変長さ符号機から可変長さ符号化された信号を受信し、上記付加情報符号機から模様情報を選択的に受信し、その両信号をマルチプレキシングして転送媒体に転送する多重化機からなることを特徴とする適応的変換方法を用いる映像圧縮符号化装置。
【請求項９】
上記量子化機から量子化された変換係数を受信して逆量子化させる逆量子化機と、上記逆量子化機から逆量子化された変換係数ブロックを受信して上記付加情報復号機から模様情報を選択的に受信し、上記変換モード制御手段によって逆直交変換方向が制御されて上記逆量子化された変換係数ブロックを逆直交変換させる逆直交変換手段と、上記逆直交変換手段から逆直交変換された信号を受信する同時に、以前に復元された映像信号ブロックを受信し、その両受信値を加算して元の映像信号ブロックに復元させる加算機と、上記加算機から復元された映像信号ブロックを受信して貯蔵した後、上記加算機に復元された映像信号ブロックを出力するメモリが追加されて構成されたことを特徴とする請求項８に記載の適応的変換方法を用いる映像圧縮符号化装置。
【請求項１０】
上記減算機と変換モード制御手段の間には上記減算機から出力される予測誤差信号ブロックが上記モード制御手段に入力されることを締め括るスイッチが追加されて構成されたことを特徴とする請求項８に記載の適応的変換方法を用いる映像圧縮符号化装置。
【請求項１１】
上記付加情報符号機、直交変換手段および逆直交変換手段の間には上記付加情報符号機から上記直交変換手段および逆直交変換手段に模様情報が入力されることを締め括るスイッチが追加されて構成されたことを特徴とする請求項９に記載の適応的変換方法を用いる映像圧縮符号化装置。
【請求項１２】
上記逆直交変換手段は、上記逆量子化機から逆量子化された変換係数ブロックを受信して上記付加情報符号機から模様情報を選択的に受信し、上記逆量子化された変換係数ブロックを縦方向に逆直交変換した後、横方向に逆直交変換する第1逆直交変換機と、上記逆量子化機から逆量子化された変換係数ブロックを受信して上記付加情報符号機から模様情報を選択的に受信し、上記逆量子化された変換係数ブロックを横方向に逆直交変換した後、縦方向に逆直交変換する第2逆直交変換機と、上記変換モード制御手段から変換方向制御信号を受信してスイッチング動作され、上記逆量子化された変換係数ブロックが上記第1逆直交変換機または第2逆直交変換機に入力されることを締め括る第1スイッチと、上記変換モード制御手段から変換方向制御信号を受信してスイッチング動作され、上記第1逆直交変換機または第2逆直交変換機から逆直交変換された信号ブロックが出力されることを締め括る第2スイッチからなることを特徴とする請求項９に記載の適応的変換方法を用いる映像圧縮符号化装置。
【請求項１３】
上記逆直交変換手段は、上記変換モード制御手段から変換方向制御信号を受信してオン／オフモードが制御され、オンモード時に上記逆量子化機から逆量子化された変換係数ブロックを受信して2次元ブロックの左方上段と右方下段を結ぶ軸を中心に180度回転する前処理機と、上記前処理機から180度回転された逆量子化された変換係数ブロックを受信し、上記付加情報符号機から模様情報を選択的に受信して縦／横方向に逆直交変換した後、横／縦方向に逆直交変換する逆直交変換機と、上記変換モード制御手段から変換方向制御信号を受信してオン／オフモードが制御され、オンモード時に上記逆直交変換機から逆変換された信号ブロックを受信して時計方向に90度回転する後処理機からなることを特徴とする請求項９に記載の適応的変換方法を用いる映像圧縮符号化装置。
【請求項１４】
転送される圧縮符号化された映像信号を受信して復号化する復号化装置において、現在転送されて可変長さ復号化過程を経た信号ブロックを選択的に受信して以前に可変長さ復号化された信号ブロックを受信し、模様情報を選択的に受信し、その可変長さ復号化される信号ブロックに対する横および縦方向への相関関係を判断して相関関係の少ない方向にまず逆直交変換させた後、それと異なる方向に逆直交変換させる逆変換方向制御信号を出力する逆変換モード制御手段と、上記逆変換モード制御手段から逆変換方向制御信号を受信し、これに相応して逆直交変換を行う逆直交変換手段からなることを特徴とする適応的変換方法を用いる映像圧縮復号化装置。
【請求項１５】
上記逆変換モード制御手段は、現在可変長さ復号される信号ブロックを貯蔵するメモリと、上記メモリから以前に可変長さ復号化された信号ブロックを受信して現在可変長さ復号化される信号ブロックを選択的に受信し、上記逆直交変換手段の逆直交変換モードを制御する逆直交変換方向制御信号を出力するモード制御機からなることを特徴とする請求項１４に記載の適応的変換方法を用いる映像圧縮復号化装置。
【請求項１６】
上記モード制御機は、現在可変長さ復号化されて入力される信号ブロックのブロック周辺にある以前に可変長さ復号化された信号ブロックの平均値を求めてその平均値の縦方向変化率と横方向変化率を求め、その両変化率の絶対値を相互比較して変化率が大きい方向にまず逆直交変換した後、それと異なる方向に逆直交変換を行うように制御する逆直交変換制御信号を出力することを特徴とする請求項１５に記載の適応的変換方法を用いる映像圧縮復号化装置。
【請求項１７】
上記モード制御機は現在可変長さ復号化されて入力される信号ブロックとその周辺にある以前に可変長さ復号化された信号ブロックの平均値を求めてその平均値の縦方向変化率と横方向変化率を求め、その両変化率の絶対値を縦および横、両方向に分離して各方向の絶対値を合算し、その両方向の合算値の大きさを比較して合算値が大きい方向にまず逆直交変換した後、それと異なる方向に逆直交変換を行うようにする逆変換方向制御信号を出力することを特徴とする請求項１５に記載の適応的変換方法を用いる映像圧縮復号化装置。
【請求項１８】
上記逆直交変換手段は、可変長さ復号化される信号ブロックを受信して模様情報を選択的に受信し、上記可変長さ復号化される信号ブロックを縦方向に逆直交変換した後、横方向に逆直交変換する第1逆直交変換機と、上記可変長さ復号化される信号ブロックを受信して模様情報を選択的に受信して上記可変長さ復号化される信号ブロックを横方向に逆直交変換した後、縦方向に逆直交変換する第2逆直交変換機と、上記逆変換モード制御手段から逆変換方向制御信号を受信してスイッチング動作され、上記可変長さ復号化される信号が上記第1逆直交変換機または第2逆直交変換機に入力されることを締め括る第1スイッチと、上記逆変換モード制御手段から逆変換方向制御信号を受信してスイッチング動作され、上記第1逆直交変換機または上記第2逆直交変換機から逆直交変換された信号ブロックが出力されることを締め括る第2スイッチからなることを特徴とする請求項１４に記載の適応的変換方法を用いる映像圧縮復号化装置。
【請求項１９】
上記逆直交変換手段は、上記逆変換モード制御手段から逆変換方向制御信号を受信してオン／オフモードが制御され、オンモード時に可変長さ復号化される信号を受信して2次元ブロックの左方上段と右方下段を結ぶ軸を中心に180度回転する前処理機と上記前処理機から180度回転された信号ブロックを受信し、模様情報を選択的に受信して縦／横方向に逆直交変換した後、横／縦方向に逆直交変換する逆直交変換機と、上記逆変換モード制御手段から逆変換方向制御信号を受信してオン／オフモードが制御され、オンモード時に上記逆直交変換機から逆直交変換された信号ブロックを受信して時計反対方向に90度回転する後処理機からなることを特徴とする請求項１４に記載の適応的変換方法を用いる映像圧縮復号化装置。
【請求項２０】
符号化装置から符号化されて入力される信号をデマルチプレキシングして符号化された模様情報と符号化された映像信号ブロックを出力するデマルチプレキサー部と、上記デマルチプレキサー部から符号化された映像信号ブロックを受信して可変長さ復号化させる復号機と、上記復号機から可変長さ復号化された信号ブロックを受信して逆量子化させる逆量子化機と、上記デマルチプレキサー部から符号化された模様情報を選択的に受信して復元させる付加情報復号機と、上記復号機から現在可変長さ復号化されて出力される信号ブロックを選択的に受信して以前に可変長さ復号化された信号ブロックを受信し、その信号ブロックに対する横および縦方向への相関関係を判断して相関関係の少ない方向にまず逆直交変換させた後、それと異なる方向に逆直交変換させる逆変換方向制御信号を出力する逆変換モード制御手段と、上記逆量子化機から逆量子化された信号を受信し、上記付加情報復号機から復元された模様情報を選択的に受信して上記逆変換モード制御手段により制御されて上記逆量子化された信号ブロックを逆直交変換する逆直交変換手段と、上記逆直交変換手段から逆直交変換された信号ブロックを受信する同時に、以前に復元された映像信号ブロックを受信し、その両信号を加算して復元された映像信号ブロックを出力する加算機と、上記加算機から出力される復元された映像信号ブロックを貯蔵した後、上記加算機に予測のために出力させるメモリからなることを特徴とする適応的変換方法を用いる映像圧縮復号化装置。
【請求項２１】
上記付加情報復号機と上記逆直交変換手段の間には上記付加情報復号機から出力される模様情報が上記逆直交変換手段に入力されることを締め括るスイッチが追加されて構成されたことを特徴とする請求項２０に記載の適応的変換方法を用いる映像圧縮復号化装置。
【請求項２２】
上記復号機と上記逆変換モード制御手段のモード制御機の間には上記復号機からモード制御機に可変長さ復号される信号が入力されることを締め括るスイッチが追加されて構成されたことを特徴とする請求項２０に記載の適応的変換方法を用いる映像圧縮復号化装置。
【請求項２３】
入力される映像信号ブロックと復元された映像信号ブロックを減算して予測誤差信号ブロックを出力する減算機と、符号化に助けを与える模様情報と可変長さ符号化された模様情報信号を出力する付加情報符号機と、上記減算機から符号化しようとする予測誤差信号ブロックを受信すると同時に上記付加情報符号機から模様情報信号を選択的に受信し、これに相応して変換方向制御信号を出力するモード制御手段と、上記減算機から予測誤差信号ブロックを受信して上記付加情報符号機から可変長さ符号化された模様情報を選択的に受信し、上記モード制御手段によって変換方向が制御されて上記予測誤差信号ブロックを直交変換することにより、変換係数を出力する直交変換手段と、上記直交変換手段から変換係数を受信して量子化させ、これに相応して量子化された変換係数を出力する量子化機と、上記量子化機から量子化された変換係数を受信して可変長さ符号化された信号に変換する可変長さ符号機と、上記モード制御手段から変換方向制御信号を受信して符号化させる制御信号符号機と、上記可変長さ符号機から可変長さ符号化された信号を受信し、上記付加情報符号機から模様情報を選択的に受信し、上記制御信号符号機から符号化された変換方向制御信号を受信し、その三つの信号をマルチプレキシングして転送媒体に転送する多重化機で構成される符号化装置と；符号化装置から転送媒体を通じて入力される信号をデマルチプレキシングして可変長さ符号化された模様情報、可変長さ符号化された量子化された変換係数および符号化された変換方向制御信号を出力するデマルチプレキサー部と、上記デマルチプレキサー部から符号化された模様情報を選択的に受信して復号化させる付加情報復号機と、上記デマルチプレキサー部から可変長さ符号化された量子化された変換係数を受信して可変長さ復号化させる復号機と、上記デマルチプレキサー部から符号化された変換方向制御信号を受信して復号化させる制御信号復号機と、上記復号機から可変長さ復号化された量子化された変換係数ブロックを受信して逆量子化させる第2逆量子化機と、上記第2逆量子化機から逆量子化された変換係数ブロックを受信して上記付加情報復号機から模様情報を受信し、上記制御信号復号機から変換方向制御信号を受信し、これに相応して上記逆量子化された変換係数ブロックを上記直交変換手段の直交変換方向と反対に逆直交変換する第2逆直交変換手段と、上記第2逆直交変換手段から逆直交変換された信号を受信する同時に、以前に復元された映像信号ブロックを受信し、その両信号を加算して復元された映像信号ブロックを出力する加算機と、上記加算機から出力される復元された映像信号ブロックを貯蔵した後、上記加算機に予測のために出力させるメモリで構成された復号化装置からなることを特徴とする適応的変換方法を用いる映像圧縮符号化装置および復号化装置。
【請求項２４】
上記量子化機から量子化された変換係数を受信して逆量子化させる第1逆量子化機と、上記第1逆量子化機から逆量子化された変換係数ブロックを受信して上記付加情報符号機から模様情報を選択的に受信して上記モード制御手段により逆直交変換モードが制御され、上記逆量子化された変換係数ブロックを上記直交変換手段の直交変換方向と反対に逆直交変換させる第1逆直交変換手段と、上記第1逆直交変換手段から逆直交変換された信号ブロックを受信する同時に、以前に復元された映像信号ブロックを受信し、その両受信値を加算して元の映像信号ブロックに復元させる加算機と、上記加算機から復元された映像信号ブロックを受信して貯蔵した後、上記加算機に復元された映像信号ブロックを出力するメモリが追加されて構成されたことを特徴とする請求項２３に記載の適応的変換方法を用いる映像圧縮符号化装置および復号化装置。
【請求項２５】
上記モード制御手段は、上記減算機から予測誤差信号のブロックを受信して貯蔵する2次元メモリと、上記2次元メモリに貯蔵された予測誤差信号ブロックの一行に存在する画素値間の差を行別に繰返して求める多数の水平減算機と、上記水平減算機からの求められた減算値を行別に加算する水平加算機と、上記水平加算機から現在求められた一行に対する減算値の合計と、以前に求められた行の減算値の合計を加算する最終水平加算機と、上記最終水平加算機から出力される加算値を臨時貯蔵する第1臨時メモリと、上記2次元メモリに貯蔵された予測誤差信号ブロックの一行に存在する画素値間の差を列別に繰返して求める多数の垂直減算機と、上記垂直減算機から求められた減算値列別に加算する垂直加算機と、上記垂直加算機から現在求められた一行に対する減算値の合計と以前に求められた列の減算値の合計を加算する最終垂直加算機と、上記最終垂直加算機から出力される加算値を臨時貯蔵する第2臨時メモリと、上記第1、2臨時メモリからそれぞれ行に対する加算値と列に対する加算値を受信し、その両加算値の大きさを比較して小さい大きさの方向にまず直交変換した後、異なる方向に直交変換されるようにする一方、逆直交変換と反対方向に行われるようにする変換方向制御信号を出力する比較機からなることを特徴とする請求項２３に記載の適応的変換方法を用いる映像圧縮符号化装置および復号化装置。
【請求項２６】
上記モード制御手段は、上記減算機から入力される現在符号化しようとする予測誤差信号ブロックを横直交変換した後に縦直交変換し、これに相応する変換係数を出力する第1直交変換機と、上記第1直交変換機から変換係数を受信し、その変換係数を可変長さ符号化するとき生成される符号量を検査する第1ビットストリムカウンターと、上記減算機から予測誤差信号ブロックを受信し、縦直交変換した後に横直交変換し、これに相応する変換係数を出力する第2直交変換機と、上記第2直交変換機から変換係数を受信し、その変換係数を可変長さ符号化するとき生成される符号量を検査する第2ビットストリムカウンターと、上記第1、2ビットストリムカウンターから計算された符号量を比較して小さい符号量を発生させるビットストリムカウンターと連結された直交変換機から行われる直交変換をする一方、逆直交変換は上記直交変換と反対に行われるようにする変換方向制御信号を出力する比較機からなることを特徴とする請求項２３に記載の適応的変換方法を用いる映像圧縮符号化装置および復号化装置。
【請求項２７】
上記モード制御手段は、上記減算機から入力される現在符号化しようとする予測誤差ブロックを受信して縦直交変換した後に横直交変換し、これに相応する変換係数を出力する第1直交変換機と、上記第1直交変換機から変換係数を受信し、量子化させる第1量子化機と、上記第1量子化機から量子化された変換係数ブロックを受信して逆量子化させる第1逆量子化機と、上記第1逆量子化機から逆量子化された変換係数を受信して上記第1直交変換機の直交変換方向と反対に逆直交変換して復元された映像信号ブロックを出力する第1逆直交変換機と、上記第1直交変換機に入力される予測誤差信号ブロックを受信する同時に、上記第1逆直交変換機から復元された映像信号ブロックを受信し、両ブロックの誤差を発生させる第1誤差測定機と、上記減算機から入力される予測誤差信号ブロックを受信して横直交変換した後に縦直交変換し、これに相応する変換係数を出力する第2直交変換機と、上記第2直交変換機から変換係数を受信して量子化させる第2量子化機と、上記第2量子化機から量子化された変換係数ブロックを受信して逆量子化させる第2逆量子化機と、上記第2逆量子化機から逆量子化された変換係数を受信して上記第2直交変換機の直交変換方向と反対に逆直交変換して復元された映像信号ブロックを出力する第2逆直交変換機と、上記第2直交変換機に入力される予測誤差信号ブロックを受信すると同時に上記第2逆直交変換機から復元された映像信号ブロックを受信し、両ブロックの誤差を発生させる第2誤差測定機と、上記第1誤差測定機および第2誤差測定機から計算された誤差を比較して誤差の小さい誤差測定機と連結された直交変換機および逆直交変換機から行われる直交変換および逆直交変換をさせる変換方向制御信号を出力する比較機からなることを特徴とする請求項２３に記載の適応的変換方法を用いる映像圧縮符号化装置および復号化装置。
【請求項２８】
入力される映像信号ブロックと復元された映像信号ブロックを減算して予測誤差信号ブロックを出力する減算機と、符号化に助けを与える模様情報と可変長さ符号化された模様情報信号を出力する付加情報符号機と、上記減算機から符号化しようとする予測誤差信号ブロックと上記付加情報符号機から模様情報を受信し、これに相応する変換方向制御信号を出力するモード制御手段と、上記減算機から予測誤差信号ブロックを受信して上記付加情報符号機から模様情報を選択的に受信し、上記モード制御手段によって変換方向が制御されて上記予測誤差信号ブロックを直交変換することにより、変換係数を出力する直交変換手段と、上記直交変換手段から変換係数を受信して量子化させ、これに相応する量子化された変換係数を出力する量子化機と、上記量子化機から量子化された変換係数を受信して可変長さ符号化された量子化された変換係数信号に変換する可変長さ符号機と、上記モード制御手段から変換方向制御信号を受信して符号化させる制御信号符号機と、直交変換または逆直交変換の時変換方向制御信号に対する使用可否によって上記モード制御手段および制御信号符号機のオン／オフモードを制御するためのモード制御機制御信号を発生するモード制御機制御信号符号機と、上記可変長さ符号機から可変長さ符号化された信号を受信し、上記付加情報符号機から模様情報を選択的に受信して上記制御信号符号機から符号化された変換方向制御信号を受信し、上記モード制御機制御信号符号機から符号化されたモード制御機制御信号を受信してマルチプレキシングして転送媒体に転送する多重化機で構成された符号化装置と；符号化装置から転送媒体を通じて入力される信号をデマルチプレキシングして可変長さ符号化された模様情報、変換係数、変換方向制御信号およびモード制御機制御信号を出力するデマルチプレキサー部と、上記デマルチプレキサー部から符号化された模様情報を選択的に受信して復号化させる付加情報復号機と、上記デマルチプレキサー部から可変長さ符号化された映像信号ブロックを受信して可変長さ復号化させる復号機と、上記デマルチプレキサー部から可変長さ符号化された変換方向制御信号を受信して復号化させる制御信号復号機と、上記デマルチプレキサー部から符号化されたモード制御機制御信号を受信して復号化させ、上記制御信号復号機のオン／オフモードを制御するモード制御機制御信号復号機と、上記復号機から可変長さ復号化された信号ブロックを受信して逆量子化させる第２逆量子化機と、上記第２逆量子化機から逆量子化された変換係数ブロックを受信して上記付加情報復号機から変換方向制御信号を受信し、これに相応して上記逆量子化された変換係数ブロックを上記直交変換手段の直交変換方向と反対に逆直交変換する第２逆直交変換手段と、上記第２逆直交変換手段から逆直交変換された信号ブロックを受信すると同時に、以前に復元された映像信号ブロックを受信し、その両信号を加算して復元された映像信号ブロックを出力する加算機と、上記加算機から出力される復元された映像信号ブロックを貯蔵した後、上記加算機に予測のために出力させるメモリで構成された復号化装置からなることを特徴とする適応的変換方法を用いる映像圧縮符号化装置および復号化装置。
【請求項２９】
上記モード制御手段、制御手段符号機および制御信号復号機は、上記モード制御機制御信号発生手段から出力されるモード制御機制御信号によってオン／オフモードが制御され、上記モード制御手段、制御信号符号機および制御信号復号機は、すべて同一モードで動作することを特徴とする請求項２８に記載の適応的変換方法を用いる映像圧縮符号化装置および復号化装置。
【請求項３０】
上記モード制御手段がオフモードにあるとき、上記直交変換手段は、入力信号に対して横直交変換した後に縦直交変換、縦直交変換した後に横直交変換中、いずれかの直交変換方法を行うようになり、上記第1、2逆直交変換手段は、上記直交変換手段の直交変換順序と逆順に入力信号を逆直交変換することを特徴とする請求項２８に記載の適応的変換方法を用いる映像圧縮符号化装置および復号化装置。
【請求項３１】
入力される映像信号ブロックを直交変換して圧縮する符号化方法において、変換モード制御手段が以前に直交変換されて得られた変換係数と現在符号化しようとする映像信号ブロックを選択的に受信し、上記両映像信号ブロックに対する模様情報を選択的に受信し、その受信値に対する横および縦方向への相関関係を判断して相関関係の多い方向にまず直交変換させた後、それと異なる方向に直交変換させる変換方向制御信号を出力する変換方向制御信号発生段階と、直交変換手段が変換方向制御信号を受信し、これに相応して順次直交変換を行う直交変換手段階からなることを特徴とする適応的変換方法を用いる映像圧縮符号化方法。
【請求項３２】
上記変換方向制御信号発生段階は、現在符号化しようとする映像信号ブロック周辺にあるすでに符号化された変換係数の平均値を求める第1段階と、上記第１段階から求められた平均値の縦方向の変化率と横方向の変化率を求める第2段階と、上記第2段階から求められた各方向に対する変化率の絶対値を求めて相互比較する第3段階と、上記第3段階から変化率の絶対値が小さい方向にまず直交変換した後、それと異なる方向に直交変換されるようにする変換方向制御信号を出力する第4段階からなることを特徴とする請求項３１に記載の適応的変換方法を用いる映像圧縮符号化方法。
【請求項３３】
上記変換方向制御信号発生段階は、現在符号化しようとする映像信号ブロックとその周辺にあるすでに符号化された変換係数のブロック平均値を求める第1′段階と、上記第１′段階から求められた平均値の縦方向の変化率と横方向の変化率を求める第2′段階と、上記第2′段階から求められた変化率の絶対値を求め、縦および横各方向に分離して各方向別に絶対値を合算する第3′段階と、上記第3′段階から求められた両方向の合算値の大きさを比較する第4′段階と、上記第4′段階から合算値が小さい方向にまず直交変換した後、それと異なる方向に直交変換されるようにする変換方向制御信号を出力する第5′段階からなることを特徴とする請求項３１に記載の適応的変換方法を用いる映像圧縮符号化方法。
【請求項３４】
上記変換段階は、上記変換方向制御信号発生段階から出力された変換方向制御信号によって変換動作が決定され、この時、もし上記変換方向制御信号が縦直交変換した後に横直交変換モード情報を有していれば、入力映像信号ブロックを縦直交変換した後に横直交変換する一方、上記変換方向制御信号が縦直交変換した後、横直交変換モードを有していれば、入力映像信号ブロックを時計反対方向に90度回転し、縦直交変換した後に横直交変換し、その変換係数を2次元ブロックの左方上段と右方下段を結ぶ軸を中心に180度回転することを特徴とする請求項３１に記載の適応的変換方法を用いる映像圧縮符号化方法。
【請求項３５】
転送される圧縮符号化された映像信号を受信して復号化する方法において、逆変換モード制御手段が現在可変長さ復号化される信号ブロックを選択的に受信して以前に可変長さ復号化された信号ブロックを受信し、模様情報を選択的に受信し、その可変長さ復号化される信号ブロックに対する横および縦方向への相関関係を判断して相関関係の少ない方向にまず逆直交変換させた後、それと異なる方向に逆直交変換させる逆変換方向制御信号を出力する逆変換方向制御信号発生段階と、逆直交変換手段が上記逆変換方向制御信号を受信し、これに相応して順次逆直交変換を行う逆直交変換段階からなることを特徴とする適応的変換方法を用いる映像圧縮復号化方法。
【請求項３６】
上記変換方向制御信号発生段階は、現在可変長さ復号化される信号ブロック周辺にあるすでに可変長さ復号化された信号ブロックの平均値を求める第1段階と、上記第１段階から求められた平均値の縦方向の変化率と横方向の変化率を求める第2段階と、上記第2段階から求められた各方向に対する変化率の絶対値を求めて相互比較する第3段階と、上記第3段階から変化率の絶対値が大きい方向にまず逆直交変換した後、それと異なる方向に逆直交変換されるようにする逆変換方向制御信号を出力する第4段階からなることを特徴とする請求項３５に記載の適応的変換方法を用いる映像圧縮復号化方法。
【請求項３７】
上記変換方向制御信号発生段階は現在可変長さ復号化される信号ブロックとその周辺にあるすでに可変長さ復号化された信号ブロックの平均値を求める第1′段階と、上記第１′段階から求められた平均値の縦方向の変化率と横方向の変化率を求める第2′段階と、上記第2′段階から求められた変化率の絶対値を求め、縦および横各方向に分離して各方向別に絶対値を合算する第3′段階と、上記第3′段階から求められた両方向の合算値の大きさを比較する第4′段階と、上記第4′段階から合算値が大きい方向にまず逆直交変換した後、それと異なる方向に逆直交変換されるようにする逆変換方向制御信号を出力する第5′段階からなることを特徴とする請求項３５に記載の適応的変換方法を用いる映像圧縮復号化方法。
【請求項３８】
上記逆変換段階は、上記逆変換方向制御信号発生段階から出力された逆変換方向制御信号によって逆変換動作が決定され、この時、もし上記逆変換方向制御信号が縦直交変換した後に横直交変換モード情報を有していれば、符号化されて入力される信号ブロックを横逆直交変換した後に縦逆直交変換する一方、上記逆変換方向制御信号が横直交変換した後、縦直交変換モードを有していれば、符号化されて入力される信号ブロックを2次元ブロックの左方上段と右方下段を結ぶ軸を中心に180度回転して横逆直交変換した後に縦逆直交変換し、その逆直交変換された信号ブロックを時計方向に90度回転することを特徴とする請求項３５に記載の適応的変換方法を用いる映像圧縮符号化方法。
【請求項３９】
入力される映像信号ブロックを符号化および復号化する方法において、符号化しようとする映像信号ブロックと模様情報を用いて直交変換および逆直交変換の変換方向順序を決定する変換方向制御信号を発生する変換方向制御信号発生段階と、上記変換方向制御信号発生段階から発生された変換方向制御信号を符号化する一方、上記変換方向制御信号によって符号化しようとする映像信号ブロックを直交変換して量子化および可変長さ符号化する符号化段階と、上記符号化段階から符号化された変換方向制御信号と可変長さ符号化された映像信号ブロックをマルチプレキシングして転送する転送段階と、上記転送段階から転送された符号化された信号を受信してデマルチプレキシングして符号化された変換方向制御信号と可変長さ符号化された映像信号ブロックを分離する信号分離段階と、上記信号分離段階から分離された符号化された変換方向制御信号を復号化させる一方、可変長さ符号化された映像信号ブロックを可変長さ復号化させて量子化させる復号化段階と、上記復号化段階から復号化された変換方向制御信号によって逆直交変換方向順序が決定されて逆量子化された変換係数ブロックを逆直交変換し、これを以前に復元された映像信号ブロックを用いて初期に入力された映像信号ブロックを復元させる信号復元段階からなることを特徴とする適応的変換方法を用いる映像圧縮符号化方法および復号化方法。
【請求項４０】
上記変換方向制御信号発生段階は、符号化するために入力される映像信号ブロックの一行／一列に存在する画素値間の差を、模様情報を考慮して行／列別に繰返して求める減算段階と、上記減算段階から求められた減算値を行／列別に加算する第1加算段階と、上記第1加算段階から現在求められた一行／一列に対する減算値の合計と以前に求められた行／列の減算値の合計を加算する第2加算段階と、上記第2加算段階から出力される行に対する加算値の大きさを比較して小さい大きさの方向にまず直交変換した後、異なる方向に直交変換されるようにする一方、逆直交変換は上記直交変換と反対方向に行われるようにする変換方向制御信号を出力する制御信号出力段階からなることを特徴とする請求項３９に記載の適応的変換方法を用いる映像圧縮符号化方法および復号化方法。
【請求項４１】
上記変換方向制御信号発生段階は、符号化のために入力される映像信号ブロックの模様情報を考慮し、横／縦直交変換した後、縦／横直交変換し、これに相応する変換係数を出力する直交変換段階と、上記直交変換段階から求められた2種類の変換係数を可変長さ符号化するとき生成される符号量をそれぞれ検査する符号量検査段階と、上記符号量検査段階から検査した2種類の符号量を比較して符号量が少ない方の直交変換をさせる一方、逆直交変換は上記直交変換方向と反対に行われるようにする変換方向制御信号を出力する制御信号発生段階からなることを特徴とする請求項３９に記載の適応的変換方法を用いる映像圧縮符号化方法および復号化方法。
【請求項４２】
上記変換方向制御信号発生段階は、符号化のために入力される映像信号ブロックの模様情報を考慮し、縦／横直交変換した後、横／縦直交変換し、これに相応する変換係数を出力する直交変換段階と、上記直交変換段階から求められた2種類の変換係数を受信してそれぞれ量子化させる量子化段階と、上記量子化段階から求められた2種類の量子化された信号ブロックをそれぞれ逆量子化させる逆量子化段階と、上記逆量子化段階から求められた2種類の逆量子化された信号ブロックを、模様情報を考慮してそれぞれ上記直交変換方向と反対に逆直交変換する逆直交変換段階と、上記逆直交変換段階から求められた2種類の復元された映像信号ブロックと初期に入力された映像信号ブロックの誤差をそれぞれ求める誤差測定段階と、上記誤差測定段階から求められた2種類の誤差値を比較して誤差が小さい方の直交変換および逆直交変換を行うようにする変換方向制御信号を出力する変換方向制御信号出力段階からなることを特徴とする請求項３９に記載の適応的変換方法を用いる映像圧縮符号化方法および復号化方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、通信分野またはマルチメディア分野で使用される映像圧縮符号化および復号化装置ならびにその方法に関するものであり、特に映像圧縮符号化および復号化から入力映像信号ブロックの変換方向順序に従って相異する変換係数を出力する場合、入力映像信号ブロックの特性によって変換方向順序を選択して符号化および復号化する適応的変換方法を用いる映像圧縮符号化および復号化装置ならびにその方法に関するものである。
【０００２】
【関連する背景技術】
一般に、デジタル映像を圧縮符号化する方法において、映像信号ブロックを、直交変換方法を使用して変換係数に変換した後、その変換係数を符号化する方式は現在最も多く使用される方式であり、停止映像圧縮符号化の標準化法式であるISO／IEC JPEG、動映像圧縮符号化の標準化法式であるISO／IEC MPEG、ITU−TのH.261、H.263など、すべてのデジタル圧縮符号化に対する国際標準においても広く使用されている実情である。
【０００３】
従来の変換基盤映像信号圧縮技術は、入力される映像信号ブロックを直交変換方法によって変換し、変換係数を量子化した後に量子化された変換係数を可変長さ符号化して転送する一方、これの逆過程を通じて信号を復元する方法を使用し、これに対する従来の映像圧縮符号化および復号化システムは、図１６に示したように入力映像信号ブロックを、圧縮技術を用いて符号化させる符号化装置と、その符号化された信号を受信して符号化の逆過程を通じ信号を復元する復号化装置からなっている。
【０００４】
上記符号化装置は、入力映像信号ブロックと復元された映像信号ブロックを減算して予測誤差信号ブロックを出力する減算機1と、符号化に助けを与える付加情報信号（たとえば、模様情報）と可変長さ符号化された模様情報信号を出力する付加情報符号機9、上記減算機1から予測誤差信号ブロックを受信すると同時に、上記付加情報符号機9からスイッチ10bのスイッチング動作によって選択的に模様情報を受信して特定変換方法によって変換された変換係数を出力する直交変換機2と、上記直交変換機2から変換係数を受信して量子化された変換係数ブロックに変換する量子化機3と、上記量子化機3から量子化された変換係数ブロックを受信し、可変長さ符号化された変換係数信号に変換する可変長さ符号機8と、上記可変長さ符号機8から可変長さ符号化された信号と、上記付加情報符号機9からスイッチ10aのスイッチング動作によって模様情報が選択的に入力され、その両信号をマルチプレキシングして転送媒体12に転送する多重化機11から構成される。
【０００５】
一方、上記量子化機3から量子化された変換係数ブロックを受信して逆量子化させる第1逆量子化機4と、上記第1逆量子化機4から逆量子化された変換係数ブロックを受信する同時に、上記付加情報符号機9からスイッチ10bのスイッチング動作によって選択的に模様情報を受信して逆直交変換された信号ブロックに変換する第1逆直交変換機5と、上記第1逆直交変換機5から逆直交変換された信号ブロックと後述される第1メモリ7に貯蔵してある復元された映像信号ブロックを加算し、映像信号ブロックを復元する加算機6aと、上記加算機6aから加算された信号を受信して貯蔵し、上記減算機1からその復元された映像信号ブロックを出力する第1メモリ7が追加に構成されている。
【０００６】
さらに、上記復号化装置は上記多重化機11から転送媒体12を通じて可変長さ符号化された信号を受信して可変長さ符号化された模様情報信号と可変長さ符号化された入力変換係数信号を出力するデマルチプレキサー13と、上記デマルチプレキサー13から下辺長さが符号化された変換係数信号を量子化された変換係数ブロックに変換する復号機15と、上記復号機15から量子化された変換係数ブロックを受信して逆量子化された変換係数ブロックに変換する第2逆量子化機16と、上記デマルチプレキサー13から可変長さ符号化された模様情報を復元させる付加情報復号機14と、上記第2逆量子化機16から逆量子化された変換係数ブロックを受信する同時に、スイッチ19のスイッチング動作によって模様情報を選択的に受信して逆直交変換された信号ブロックを出力する第2逆直交変換機17と、上記第2逆直交変換機17から逆直交変換された信号ブロックを受信する同時に、後述される第2メモリ18に貯蔵された以前の復元映像信号ブロックを受信し、その両信号を加算して復元された映像信号ブロックを出力する加算機6bと、上記加算機6bから出力される復元映像信号ブロックを貯蔵して必要なときに上記加算機6bに出力する第2メモリ18からなっている。
【０００７】
上記模様情報は映像を物体領域と非物体領域（背景）に区分する情報であり、符号機および復号機から全体の映像に代えて物体領域を中心にする信号処理を可能にし、一般的な二進模様情報は物体に属する画素と物体ではない画素（背景）に相異する値を有させる二進マスクの形態を有する。
上記構成を有する従来の映像圧縮符号化および復号化装置の動作を下記の通り説明する。
【０００８】
まず減算機1から映像信号ブロックと復元された映像信号ブロックを減算した予測誤差信号ブロックを出力すると、直交変換機2は上記予測誤差信号ブロックを受信すると同時に上記付加情報符号機9から模様情報を選択的に受信し直交変換方法によって変換された変換係数を出力する。この時、減算機1は第1メモリ7から予測された信号と現在入力信号との予測誤差のみならず、第1メモリ7の信号からの予測なしで現在入力信号をそのまま出力することができるが、この場合、このためには第1メモリ7に貯蔵されている値を0に初期化して減算機1からの信号と入力映像信号を同一に作ることができる。
【０００９】
この時、量子化機3は上記直交変換機2から変換係数を受信して量子化された変換係数ブロックに変換し、可変長さ符号機8から上記量子化された変換係数ブロックを受信して可変長さ符号化された変換係数信号に変換し、その可変長さ符号化された信号を多重化機11に出力する。
上記多重化機11は上記可変長さ符号化された変換係数信号と上記付加情報符号機から可変長さ符号化された模様情報を選択的に受信し、その両信号をマルチプレキシングして転送媒体12を通じて出力する。
【００１０】
次いで、上記デマルチプレキサー13では上記転送媒体12からの符号化された信号を受信して可変長さ符号化された模様情報と可変長さ符号化された変換係数ブロックを出力する。
復号機15は上記デマルチプレキサー13から可変長さ符号化された信号を受信して量子化された変換係数ブロックに変換し、第2逆量子化機16は上記量子化された変換係数ブロックを受信して逆量子化された変換係数ブロックを出力する。
【００１１】
第2逆直交変換機17は第2逆量子化機16から逆量子化された変換係数ブロックを受信する同時に、上記付加情報復号機14から模様情報を選択的に受信して逆直交変換された信号ブロックを出力し、加算機6bは逆直交変換された信号ブロックを受信する同時に、第2メモリ18から以前に復元された映像信号ブロックを受信し、その両信号を加算して復元された映像信号ブロックを出力する。
【００１２】
一方、上記量子化機3から量子化された変換係数ブロックは第1逆量子化機4に入力されて逆量子化された変換係数ブロックに変換され、その信号は第1逆直交変換機5に入力される。
それと同時に、上記付加情報符号機9から模様情報が選択的に上記第1逆直交変換機5に入力され、それによって逆直交変換された信号ブロックと上記第1メモリ7から以前に復元された映像信号ブロックを加算して復元された映像信号ブロックに変換し、その映像信号ブロックは第1メモリ7に貯蔵されて上記減算機1に入力される。
【００１３】
そして、付加情報復号機14は復元された模様情報を出力し、第2メモリ18には予測のために復元された入力映像信号ブロックが貯蔵される。
一方、上記直交変換機2で使用される変換方法について図１７ないし図２１に基づいて説明すると、斜線部分が符号化対象のある部分であり、この部分のみを変換して符号化する。まず映像信号ブロックが入力されると（図１７）、入力された信号を単位ブロックの上段に対して整列し（図１８）、縦方向にDCT変換（直交変換）する（図１９）。
【００１４】
次いで、左方に対して整列が完了されると、横方向にDCT変換し（図２０）、最終変換信号が得られる（図２１）。
図２２ないし図２４は図1の直交変換機2から直交変換する方向によって変換係数が相異することを説明するための図面であり、図２２は直交変換機2に入力される信号ブロックであり、そこで数字のない部分は符号化対象がない部分、すなわち背景領域に符号化を行わない部分を示し、数字がある部分が変換されて符号化される部分である。
【００１５】
そして、図２３は縦方向にまず直交変換した後、横方向に直交変換した時の変換係数であり、図２４は横方向にまず直交変換した後、縦方向に直交変換した時の変換係数である。
そこで図２３と図２４を比較すると、直交変換方向順序によって異なる結果、すなわち異なる変換係数が生成されることを確認することができる。
【００１６】
上記図２２ないし図２４を詳しく見ると、図２２のように横方向に類似度が高い入力信号ブロックに対しては横方向にまず直交変換した後、縦方向に直交変換した図２４の結果が縦方向にまず直交変換した後、横方向に直交変換した図２３の結果より高いエネルギー集中効果を示し、より少ない数の変換係数のみを符号化するので、一層高い圧縮性能を示すようになる。
【００１７】
すなわち、図２３のように縦方向にまず直交変換した後、横方向に直交変換した場合は12種類の異なる値の変換係数を符号化しなければならないが、横方向に直交変換した後、縦方向に直交変換した場合は5種類の異なる値の変換係数のみを符号化すれば良いので、符号化効率を高めることができる。
【００１８】
【発明が解決しようとする課題】
ところが、従来例では図２２ないし図２４に示したように、直交変換される入力信号の類似性を考慮せずに一方的に横直交変換した後、縦方向直交変換する方法を使用するか縦直交変換した後、横直交変換する方法を使用するので、入力信号の特性に対して最適の変換結果を得ることができない問題点があった。
【００１９】
したがって、本発明は上記のような問題点を解決するためになされたものであり、本発明の目的は圧縮符号化効率を高めるための適応的変換方法を用いる映像圧縮符号化および復号化装置ならびにその方法を提供することである。
【００２０】
【課題を解決するための手段】
上記目的を達成するため、本発明による適応的変換方法を用いる映像圧縮符号化装置は入力される映像信号ブロックを直交変換して圧縮する符号化装置において、直交変換されて得られた変換係数と現在符号化しようとする映像信号ブロックを選択的に受信し、上記両映像信号ブロックに対する模様情報を選択的に受信し、その受信値に対する横および縦方向への相関関係を判断して入力される映像信号ブロックを相関関係の多い方向にまず直交変換させた後、それと異なる方向に直交変換させる変換方向制御信号を出力する変換モード制御手段と、上記変換モード制御手段から変換方向制御信号を受信し、これに相応して直交変換を行う直交変換手段からなることを特徴とする。
【００２１】
そして、本発明による適応的変換方法を用いるさらに異なる映像圧縮符号化装置は入力される映像信号ブロックを直交変換して圧縮する符号化装置において、復元された映像信号ブロックを受信して符号化する映像信号ブロックを選択的に受信し、上記両映像信号ブロックに対する模様情報を選択的に受信し、その受信値に対する横および縦方向への相関関係を判断して相関関係の多い方向にまず直交変換させた後、それと異なる方向に直交変換させる変換方向制御信号を出力する変換モード制御手段と、上記変換モード制御手段から変換方向制御信号を受信し、これに相応して直交変換を行う直交変換手段からなることを特徴とする。この場合は模様情報内の映像信号のみを用いるために復元された映像信号ブロックに対する付加情報符号機からの模様情報と選択的に符号化する映像信号ブロックに対する付加情報符号機からの模様情報を受信して上記変換モード制御手段の入力として使用する。
【００２２】
さらに、本発明による適応的変換方法を用いる映像圧縮復号化装置は映像信号ブロックが圧縮符号化されて転送される圧縮符号化された映像信号を受信して復号化する復号化装置において、現在転送されて可変長さ復号化過程を経た信号ブロックを選択的に受信して以前に可変長さ復号化された信号ブロックを受信し、模様情報を選択的に受信し、その可変長さ復号化される信号ブロックに対する横および縦方向への相関関係の少ない方向にまず逆直交変換させた後、それと異なる方向に逆直交変換させる逆変換方向制御信号を出力する逆変換モード制御手段と、上記逆変換モード制御手段から逆変換方向制御信号を受信し、これに相応して逆直交変換を行う逆直交変換手段からなることを特徴とする。
【００２３】
そして、本発明のさらに異なる実施例による適応的変換方法を用いる映像圧縮符号化および復号化装置は入力される映像信号ブロックと復元された映像信号ブロックを減算して予測誤差信号ブロックを出力する減算機と、符号化に助けを与える模様情報と可変長さ符号化された模様情報信号を出力する付加情報符号機と、上記減算機から符号化しようとする予測誤差信号ブロックと模様情報内の予測誤差信号のみを用いるための上記付加情報符号機から模様情報信号を選択的に受信し、これに相応して変換方向制御信号を出力するモード制御手段と、上記減算機から予測誤差信号ブロックを受信して上記付加情報符号機から可変長さ符号化された模様情報を選択的に受信し、上記モード制御手段によって変換方向が制御されて上記予測誤差信号ブロックを直交変換することにより、変換係数を出力する直交変換手段と、上記直交変換手段から変換係数を受信して量子化させ、これに相応して量子化された変換係数を出力する量子化機と、上記量子化機から量子化された変換係数を受信して可変長さ符号化された信号に変換する可変長さ符号機と、上記モード制御手段から変換方向制御信号を受信して符号化させる制御信号符号機と、上記可変長さ符号機から可変長さ符号化された信号を受信し、上記付加情報符号機から模様情報を選択的に受信し、上記制御信号符号機から符号化された変換方向制御信号を受信し、その三つの信号をマルチプレキシングして転送媒体に転送する多重化機で構成される符号化装置と；符号化装置から転送媒体を通じて入力される信号をデマルチプレキシングして可変長さ符号化された模様情報、可変長さ符号化された量子化された変換係数および符号化された変換方向制御信号を出力するデマルチプレキサー部と、上記デマルチプレキサー部から符号化された模様情報を選択的に受信して復号化させる付加情報復号機と、上記デマルチプレキサー部から可変長さ符号化された量子化された変換係数を受信して可変長さ復号化させる復号機と、上記デマルチプレキサー部から符号化された変換方向制御信号を受信して復号化させる制御信号復号機と、上記復号機から可変長さ復号化された量子化された変換係数ブロックを受信して逆量子化させる第２逆量子化機と、上記第２逆量子化機から逆量子化された変換係数ブロックを受信して上記付加情報復号機から模様情報を受信し、上記制御信号復号機から変換方向制御信号を受信し、これに相応して上記逆量子化された変換係数ブロックを上記直交変換手段の直交変換方向と反対に逆直交変換する第２逆直交変換手段と、上記第２逆直交変換手段から逆直交変換された信号を受信する同時に、以前に復元された映像信号ブロックを受信し、その両信号を加算して復元された映像信号ブロックを出力する加算機と、上記加算機から出力される復元された映像信号ブロックを貯蔵した後、上記加算機に予測のために出力させるメモリで構成された復号化装置からなることを特徴とする。
【００２４】
また、本発明のさらに異なる実施例による適応的変換方法を用いる映像圧縮符号化および復号化装置は入力される映像信号ブロックと復元された映像信号ブロックを減算して予測誤差信号ブロックを出力する減算機と、符号化に助けを与える模様情報と可変長さ符号化された模様情報信号を出力する付加情報符号機と、上記減算機から符号化しようとする予測誤差信号ブロックと模様情報内の予測誤差信号のみを用いるために上記付加情報符号機から模様情報を受信し、これに相応して変換方向制御信号を出力するモード制御手段と、上記減算機から予測誤差信号ブロックを受信して上記付加情報符号機から模様情報を選択的に受信し、上記モード制御手段によって変換方向が制御されて上記予測誤差信号ブロックを直交変換することにより、変換係数を出力する直交変換手段と、上記直交変換手段から変換係数を受信して量子化させ、これに相応して量子化された変換係数を出力する量子化機と、上記量子化機から量子化された変換係数を受信して可変長さ符号化された量子化された変換係数信号に変換する可変長さ符号機と、上記モード制御手段から変換方向制御信号を受信して符号化させる制御信号符号機と、直交変換または逆直交変換の時変換方向制御信号に対する使用可否によって上記モード制御手段および制御信号符号機のオン／オフモードを制御するためのモード制御機制御信号を発生するモード制御信号発生手段と、上記モード制御機制御信号発生手段からモード制御機制御信号を受信して符号化させるモード制御機制御信号符号機と、上記可変長さ符号機から可変長さ符号化された信号を受信し、上記付加情報符号機から模様情報を選択的に受信し、上記制御信号符号機から符号化された変換方向制御信号を受信し、上記モード制御機制御信号符号機から符号化された変換方向制御信号を受信してマルチプレキシングして転送媒体に転送する多重化機で構成された符号化装置と；符号化装置から転送媒体を通じて入力される信号をデマルチプレキシングして可変長さ符号化された模様情報、変換係数、変換方向制御信号およびモード制御機制御信号を出力するデマルチプレキサー部と、上記デマルチプレキサー部から符号化された模様情報を選択的に受信して復号化させる付加情報復号機と、上記デマルチプレキサー部から可変長さ符号化された映像信号ブロックを受信して可変長さ復号化させる復号機と、上記デマルチプレキサー部から可変長さ符号化された変換方向制御信号を受信して復号化させる制御信号復号機と、上記デマルチプレキサー部から符号化されたモード制御機制御信号を受信して復号化させ、上記制御信号復号機のオン／オフモードを制御するモード制御機制御信号復号機と、上記復号機から可変長さ復号化された信号ブロックを受信して逆量子化させる第２逆量子化機と、上記第２逆量子化機から逆量子化された変換係数ブロックを受信し、上記付加情報復号機から模様情報を受信して上記制御信号復号機から変換方向制御信号を受信し、これに相応して上記逆量子化された変換係数ブロックを上記直交変換手段の直交変換方向と反対に逆直交変換する第２逆直交変換手段と、上記第２逆直交変換手段から逆直交変換された信号ブロックを受信する同時に、以前に復元された映像信号ブロックを受信し、その両信号を加算して復元された映像信号ブロックを出力する加算機と、上記加算機から出力される復元された映像信号ブロックを貯蔵した後、上記加算機に予測のために出力させるメモリで構成された復号化装置からなることを特徴とする。
【００２５】
一方、本発明による適応的変換方法を用いる映像圧縮符号化装置は入力される映像信号ブロックを直交変換して圧縮する符号化装置において、変換モード制御手段が以前に直交変換されて得られた変換係数と現在符号化しようとする映像信号ブロックを選択的に受信し、上記両映像信号ブロックに対する模様情報を選択的に受信し、その受信値に対する横および縦方向への相関関係を判断して相関関係の多い方向にまず直交変換させた後、それと異なる方向に直交変換させる変換方向制御信号を出力する変換方向制御信号発生段階と、上記変換方向制御信号を受信し、これに相応して順次直交変換を行う直交変換手段階からなることを特徴とする。
【００２６】
そして、本発明による適応的変換方法を用いる映像圧縮復号化方法は転送される圧縮符号化された映像信号を受信して復号化する方法において、逆変換モード制御手段が現在可変長さ復号化される信号ブロックを選択的に受信して以前に可変長さ復号化された信号ブロックを受信し、模様情報を選択的に受信し、その可変長さ復号化される信号ブロックに対する横および縦方向への相関関係を判断して相関関係の少ない方向にまず逆直交変換させた後、それと異なる方向に逆直交変換させる逆変換方向制御信号を出力する逆変換方向制御信号発生段階と、逆直交変換手段が上記逆変換方向制御信号を受信し、これに相応して順次逆直交変換を行う逆直交変換段階からなることを特徴とする。
【００２７】
また、本発明のさらに異なる実施例による適応的変換方法を用いる映像圧縮符号化および復号化方法は入力される映像信号ブロックを符号化および復号化する方法において、符号化しようとする映像信号ブロックと模様情報を用いて直交変換および逆直交変換の変換方向順序を決定する変換方向制御信号を発生する変換方向制御信号発生段階と、上記変換方向制御信号発生段階から発生された変換方向制御信号を符号化する一方、上記変換方向制御信号によって符号化しようとする映像信号ブロックを直交変換して量子化および可変長さ符号化する符号化段階と、上記符号化段階から符号化された変換方向制御信号と可変長さ符号化された映像信号ブロックをマルチプレキシングして転送する転送段階と、上記転送段階から転送された符号化された信号を受信してデマルチプレキシングして符号化された変換方向制御信号と可変長さ符号化された映像信号ブロックを分離する信号分離段階と、上記信号分離段階から分離された符号化された変換方向制御信号を復号化させる一方、可変長さ符号化された映像信号ブロックを可変長さ復号化させて量子化させる復号化段階と、上記復号化段階から復号化された変換方向制御信号によって逆直交変換方向順序が決定されて逆量子化された変換係数ブロックを逆直交変換し、これを以前に復元された映像信号ブロックを用いて初期に入力された映像信号ブロックを復元させる信号復元段階からなることを特徴とする。
【００２８】
【発明の実施の形態】
以下、本発明の実施例による適応的変換方法を用いる映像圧縮符号化および復号化装置ならびにその方法について添付の図面に基づいて詳細に説明する。
図１は本発明の一実施例による適応的変換方法を用いる映像圧縮符号化および復号化装置に関する制御ブロック図である。
【００２９】
本発明による符号化装置に対して図１に基づいて次の通り説明する。
減算機1は映像信号ブロックと復元された映像信号ブロックを減算して予測誤差信号ブロックを出力する役割をし、付加情報符号機9は符号化に助けを与える模様情報を出力する役割をする。この時、減算機1は第1メモリ7から予測された信号と現在入力信号との予測誤差のみならず、第1メモリ7の信号からの予測なしで現在入力信号をそのまま出力することができるが、この場合、このためには第1メモリ7に貯蔵されている値を0に初期化して減算機1からの信号と入力映像信号を同一に作ることができる。
【００３０】
そして、直交変換手段1000は上記減算機1から予測誤差信号ブロックを受信する一方、上記付加情報符号機9から模様情報を選択的に受信して後述される変換制御手段100によって直交変換モードが制御されて直交変換を行うことにより、変換係数を出力する役割をする。
上記直交変換手段1000の一実施例は図２に示したように、上記減算機1から予測誤差信号ブロックを選択的に受信する一方、上記付加情報符号機9から模様情報を選択的に受信して上記予測誤差信号ブロックを縦方向にDCT変換した後、横方向にDCT変換する第1直交変換機1120と、上記減算機1から予測誤差信号ブロックを選択的に受信する一方、上記付加情報符号機9から模様情報を選択的に受信して上記予測誤差信号ブロックを横方向にDCT変換した後、縦方向にDCT変換する第2直交変換機1140で構成されている。この時、上記予測誤差信号ブロックは上記第1メモリ7に貯蔵されている値を0に初期化して入力映像信号ブロックと同一に作ることができる。
【００３１】
さらに、上記直交変換手段1000には上記変換モード制御手段100から変換方向制御信号を受信してスイッチング動作され、上記減算機1から出力される予測誤差信号ブロックが上記第1直交変換機1120または第2直交変換機1140に入力されることを締め括る第1スイッチ1110と、上記変換モード制御手段100から変換方向制御信号を受信してスイッチング動作され、上記第1直交変換機1120または上記第2直交変換機1140から出力される変換係数が上記第1量子化機3に入力されることを締め括る第2スイッチ1130が構成されている。
【００３２】
一方、上記直交変換手段1000のさらに異なる実施例は図４に示したように、上記変換モード制御手段100から変換方向制御信号を受信してオン／オフモードが制御されてオンモード時に上記減算機1から入力される予測誤差信号ブロックを時計反対方向に90度回転し、オフモード時に予測誤差信号ブロックをそのまま出力する前処理機1210と、上記前処理機1210から予測誤差信号ブロックを受信する一方、上記付加情報符号機9から模様情報を選択的に受信して縦／横方向にDCT変換した後、横／縦方向にDCT変換する直交変換機1220と、上記変換モード制御手段100から変換方向制御信号ブロックを受信してオン／オフモードが制御され、オンモード時に上記直交変換機1220から変換係数を受信して単位ブロックの左方上段と右方下段を結ぶ軸を中心に180度回転し、オフモード時に変換係数ブロックをそのまま出力する後処理機1230からなっている。この時、上記予測誤差信号ブロックは上記第１メモリに貯蔵されている値を０に初期化して入力映像信号ブロックと同一に作ることができる。
【００３３】
また、第1量子化機3は上記直交変換手段1000から変換係数を受信して量子化された変換係数ブロックに変換する役割をし、可変長さ符号機8は上記第1量子化機3から量子化された変換係数ブロックを受信して可変長さ符号化された信号に変換する役割をし、多重化機11は上記可変長さ符号機8から可変長さ符号化された信号を受信する一方、上記付加情報符号機9から可変長さ符号化された模様情報信号を選択的に受信し、その両信号をマルチプレキシングして転送媒体に転送する役割をする。
【００３４】
そして、変換モード制御手段100の一実施例では、上記第1量子化機3から量子化された変換係数を受信する一方、上記減算機1から予測誤差信号を選択的に受信し、これに相応する変換モード制御信号を出力する役割をする。この時、上記予測誤差信号は上記第1メモリに貯蔵されている値を0に初期化して入力映像信号ブロックと同一に作ることができる。
【００３５】
また、上記変換モード制御手段100の詳細構成は上記第1量子化機3から量子化された変換係数を受信して貯蔵するメモリ110と、上記メモリ110から量子化された変換係数を受信する一方、上記減算機1から予測誤差信号ブロックを選択的に受信し、これに相応する変換方向制御信号を出力するモード制御機120からなっている。この時、上記予測誤差信号ブロックは上記第1メモリ7に貯蔵されている値を0に初期化して入力映像信号ブロックと同一に作ることができる。
【００３６】
一方、上記変換モード制御手段100はさらに異なる実施例であり、メモリ110が上記第1量子化機3から量子化された変換係数を受信する構成に代えて後述される第1メモリ7から復元された映像信号ブロックと、上記減算機1から符号化しようとする予測誤差信号ブロックを選択的に受信し、模様情報内の予測誤差信号のみを用いるために付加情報符号機9から上記復元された映像信号ブロックと符号化しようとする予測誤差信号ブロックに対する模様情報をスイッチ10gのスイッチング作用によって選択的に受信し、これに相応して変換方向制御信号を出力するように構成することができる。この時、上記予測誤差信号ブロックは上記第1メモリ7に貯蔵されている値を0に初期化して入力映像信号ブロックと同一に作ることができる。
【００３７】
また、第1逆量子化機4は上記第1量子化機3から量子化された変換係数ブロックを受信して逆量子化された変換係数ブロックに変換する役割をし、第1逆直交変換手段140は上記第1逆量子化機4から逆量子化された変換係数ブロックを受信する一方、上記付加情報符号機9から模様情報を選択的に受信して上記変換モード制御手段100により逆変換モードが制御され、これに相応する逆変換係数を出力する役割をする。
【００３８】
上記第1逆直交変換手段140の一実施例は図３に示したように、第1逆量子化機4から逆量子化された変換係数ブロックを選択的に受信する一方、上記付加情報符号機9から模様情報を選択的に受信して上記逆量子化された変換係数ブロックを縦方向にDCT変換した後、横方向にDCT逆変換する第1逆直交変換機2120と、上記第1逆量子化機4から逆量子化された変換係数ブロックを選択的に受信する一方、上記付加情報符号機9から模様情報を選択的に受信して横方向にDCT逆変換した後、縦方向にDCT逆変換する第2逆直交変換機2140で構成されている。
【００３９】
さらに、上記第1逆直交変換手段140には上記変換モード制御手段100から変換方向制御信号を受信してスイッチング動作が制御され、上記第1逆量子化機4から出力される逆量子化された変換係数ブロックが上記第1逆直交変換機2120または第2逆直交変換機2140に入力されることを締め括る第3スイッチ2110と、上記変換モード制御手段100から変換方向制御信号を受信してスイッチング動作が制御され、上記第1逆直交変換機2120または上記第2逆直交変換機2140から出力される逆変換係数が上記第1加算機6aに入力されることを締め括る第4スイッチ2130が構成されている。
【００４０】
一方、上記第1逆直交変換手段140はさらに異なる実施例であり、図５に示したように上記変換モード制御手段100から変換方向制御信号を受信してオン／オフモードが制御されてオンモード時に上記第1逆量子化機4から逆量子化された変換係数ブロックを受信して単位ブロックの左方上段と右方下段を結ぶ軸を中心に180度回転し、オフモード時に逆量子化された変換係数信号ブロックをそのまま出力する前処理機2210と、上記前処理機2210から逆量子化された変換係数ブロックを受信する一方、上記付加情報符号機9から模様情報を選択的に受信して縦／横方向に逆DCT変換した後、横／縦方向に逆DCT変換する逆直交変換機2220と、上記変換モード制御手段100から変換方向制御信号ブロックを受信してオン／オフモードが制御され、オンモード時に上記逆直交変換機2220から逆変換係数を受信して時計方向に90度回転して逆変換係数を出力し、オフモード時に逆変換係数をそのまま出力する後処理機2230からなっている。
【００４１】
また、第1加算機6aは上記第1逆直交変換手段140から逆変換係数を受信すると同時に、後述される第1メモリ7に貯蔵してある以前に復元された映像信号ブロックを受信し、その両信号を加算して映像信号ブロックを復元する役割をし、第1メモリ7は上記加算機6aから復元映像信号ブロックを受信し、次の予測のために貯蔵して上記減算機1にその復元された映像信号ブロックを出力する役割をする。
【００４２】
そして、上記減算機1とモード制御機120の間には上記減算機1から出力される予測誤差信号ブロックが上記モード制御機120に入力されることを締め括るスイッチ10bが構成されており、上記付加情報符号機9と直交変換手段1000および第1逆直交変換手段140の間には上記付加情報符号機9から上記直交変換手段1000および第1逆直交変換手段140に模様情報が入力されることを締め括るスイッチ10cが構成されている。
【００４３】
また、上記付加情報符号機9と上記多重化機11の間には上記付加情報符号機9から出力される模様情報が上記多重化機11に入力されることを締め括るスイッチ10aが構成されている。
一方、本発明による復号化装置に対して図１に基づいて次の通り説明する。
デマルチプレキサー部13は上記符号化装置から符号化された信号を受信してデマルチプレキシングして符号化された模様情報と符号化された映像信号を出力する役割をし、復号機15は上記デマルチプレキサー部13から符号化された映像信号を受信して可変長さ復号化された信号を変換する役割をする。
【００４４】
そして、第2逆量子化機200は上記復号機15から可変長さ復号化された信号を受信して逆量子化された変換係数ブロックに変換する役割をし、付加情報復号機14は上記デマルチプレキサー部13から符号化された模様情報を選択的に受信して模様情報を復元させる役割をする。
また、第2逆直交変換手段2000は上記第2逆量子化機200から逆量子化された変換係数ブロックを受信する一方、上記付加情報復号機14から復元された模様情報を選択的に受信して後述される逆変換モード制御手段210によって逆変換モードが制御されて逆直交変換を行うことにより、逆変換係数を出力する役割をする。
【００４５】
上記第2直交変換手段2000の一実施例は図３に示したように、上記第2逆量子化機200から逆量子化された変換係数ブロックを選択的に受信する一方、上記付加情報復号機14から復元された模様情報を選択的に受信して上記逆量子化された変換係数ブロックを縦方向に逆DCT変換した後、横方向に逆DCT変換する第1逆直交変換機2120と、上記第2逆量子化機200から逆量子化された変換係数ブロックを選択的に受信する一方、上記付加情報復号機14から復元された模様情報を選択的に受信して逆量子化された変換係数ブロックを横方向に逆DCT変換した後、縦方向に逆DCT変換する逆直交変換する第2逆直交変換機2140で構成されている。
【００４６】
さらに、上記第2逆直交変換手段2000には上記逆変換モード制御手段210から逆変換方向制御信号を受信してスイッチング動作され、上記第2逆量子化機200から逆量子化された変換係数が上記第1逆直交変換機2120または第2逆直交変換機2140に入力されることを締め括る第3スイッチ2110と、上記逆変換モード制御手段200から逆変換方向制御信号を受信してスイッチング動作され、上記第1逆直交変換機2120または上記第2逆直交変換機2140から出力される逆変換係数が上記第2加算機6bに入力されることを締め括る第4スイッチ2130が具備されている。
【００４７】
一方、第2逆直交変換手段2000のさらに異なる実施例は図５に示したように、上記逆変換モード制御手段210から逆変換方向制御信号を受信してオン／オフモードが制御されてオンモード時に上記第2逆量子化機200から入力される逆量子化された変換係数ブロックを単位ブロックの左方上段と右方下段を結ぶ軸を中心に180度回転し、オフモード時に逆量子化された変換信号ブロックをそのまま出力する前処理機2210と、上記前処理機2210から逆量子化された変換係数ブロックを受信する一方、上記付加情報復号機14から現在復元された模様情報信号を選択的に受信して縦／横方向に逆DCT逆変換した後、横／縦方向に逆DCT変換する逆直交変換機2220と、上記逆変換モード制御手段210から逆変換方向制御信号ブロックを受信してオン／オフモードが制御され、オンモード時に上記逆直交変換機2220から逆変換係数を受信して時計方向に90度回転し、オフモード時に逆変換係数をそのまま出力する後処理機2230からなっている。
【００４８】
そして、第2加算機6bは上記第2逆直交変換手段2000から逆変換係数を受信すると同時に、後述される復元された映像信号ブロックを受信し、その両信号を加算して復元された映像信号ブロックを出力する役割をし、第2メモリ18は予測のために上記復元された入力映像信号ブロックを貯蔵し、その信号ブロックは上記第2加算機6bに次の予測のために出力される。
【００４９】
また、逆変換モード制御手段210は上記復号機15から可変長さ復号された信号を受信し、これに相応する逆変換方向制御信号を出力する役割をし、その構成は上記復号機15から可変長さ復号された信号を受信して貯蔵するメモリ211と、上記メモリ211から以前に可変長さ復号された信号を受信する一方、上記復号機15から現在可変長さ復号された信号を選択的に受信し、これに相応する逆変換モード制御信号を出力するモード制御機213からなっている。
【００５０】
一方、上記逆変換モード制御手段210はさらに異なる実施例であり、メモリ211が上記以前に可変長さ復号された信号を受信する構成に代えて後述される第２メモリ18から復元された映像信号ブロックと模様情報内の予測誤差信号のみを用いるために上記付加情報復号機から復元される模様情報を受信する一方、上記復号機15から現在可変長さ復号された信号を選択的に受信し、これに相応する逆変換モード制御信号を出力するように構成することができる。
【００５１】
さらに、上記付加情報復号機14と上記第2逆直交変換手段2000の間には上記付加情報復号機14から出力される模様情報が上記第2逆直交変換手段2000に入力されることを締め括るスイッチ19aが構成されている。
そして、上記復号機15と上記モード制御機213の間には上記復号機15からモード制御機213に可変長さ復号化された信号が入力されることを締め括るスイッチ19bが追加に構成されており、さらに上記デマルチプレキサー部13と上記付加情報復号機14の間には上記デマルチプレキサー部13から出力される符号化された模様情報が上記付加情報復号機14に入力されることを締め括るスイッチ10eが具備されている。
【００５２】
上記のような構成を有する適応的変換方法を用いる映像圧縮符号化装置および復号化装置を使用した符号化方法ならびに復号化方法について次の通り説明する。
まず、符号化方法について説明すると、映像信号ブロックは減算機1に入力され、模様情報は付加情報符号機9に入力されて符号化される。
【００５３】
この時、減算機1は入力映像信号ブロックと第1メモリ7から出力される復元された映像信号ブロックを減算して予測誤差信号ブロックを求め、直交変換手段1000にその信号を出力する。
さらに、減算機1は第1メモリ7から予測された信号と現在入力信号との予測誤差のみならず、第1メモリ7の信号からの予測なしで現在入力信号をそのまま出力することができるが、この場合、このためには第1メモリ7に貯蔵されている値を0に初期化して減算機1からの信号と入力映像信号を同一に作ることができる。
【００５４】
直交変換手段1000は上記減算機1から予測誤差信号ブロックを受信する一方、上記付加情報符号機9から模様情報を選択的に受信して変換モード制御手段100によって変換モードが制御されて直交変換を行うことにより、変換係数を出力する。
以後、第1量子化機3は上記直交変換手段1000から出力される変換係数を量子化された変換係数ブロックに変換し、可変長さ符号機8は上記第1量子化機3から量子化された変換係数ブロックを受信して可変長さ符号化された変換係数信号に変換し、多重化機11はその可変長さ符号化された変換係数信号を受信すると同時に、上記付加情報符号機９から可変長さ符号化された模様情報信号を選択的に受信してその両信号をマルチプレキシングして転送媒体12を通じて転送させる。
【００５５】
一方、上記第1量子化機3から出力された量子化された変換係数ブロックは第1逆量子化機4に入力されて逆量子化された変換係数ブロックに変換され、第1逆直交変換手段140は上記第1逆量子化機4から逆量子化された変換係数ブロックを受信する一方、上記付加情報符号機9から符号化された模様情報を選択的に受信して上記変換モード制御手段100により逆変換モードが制御されて逆直交変換を行うことによって逆変換係数を出力する。
【００５６】
次いで、第1加算機6aは上記第1逆直交変換手段140から逆変換係数を受信する同時に、第1メモリ7から復元された映像信号ブロックを受信してその両信号を加算して映像信号ブロックに復元して第1メモリ7に貯蔵し、第1メモリ7から減算機1に復元された映像信号ブロックを出力する。
そして、上記変換モード制御手段100のモード制御機120から変換方向制御信号を発生する方法について２種類で実施可能である。
【００５７】
1番目の方法は、図６に示したように、ブロック単位符号化方法を使用した場合、変換方向制御信号を出力する方法である。
そこでブロック単位符号化方法とは入力信号を一定の大きさを有するブロックに区分した後、区分されたブロックの単位でそれぞれ変換符号化する方法を言う。
【００５８】
Xは減算機1から入力された現在符号化しようとするブロックであり、ここでは変換方向制御信号を発生するに関与せず、A、BおよびCは第1量子化機3から出力されてメモリ110に貯蔵した後、モード制御機120に入力された量子化された変換係数であって、上記Aは上記ブロックXから左側に位置したブロックであり、BはブロックXから左側上に位置したブロックであり、CはブロックXの上側に位置したブロックである。
【００５９】
Mode決定のために各ブロックの変換係数中、DC値の変化率を使用してModeを求めるために横と縦方向の変化率を求めると、以下の数式1の通りである。
（数式１）
Grad＿Vert＝ABS（DC＿A−DC＿B）
Grad＿Hori＝ABS（DC＿B−DC＿C）
ここで、Grad＿Vertは縦方向の変化率を示し、Grad＿Horiは横方向の変化率を示す。
【００６０】
さらに、ABS（a）はaの絶対値を示し、最終的には直交変換手段1000に入力される変換方向制御信号変化率が少ない方向に対する値を出力する。
すなわち、Grad＿VertがGrad＿Horiより少ないか同じであれば、縦方向にまず直交変換した後、横方向に直交変換するように変換方向制御信号を出力し、反面Grad＿VertがGrad＿Horiより大きければ横方向にまず直交変換した後、縦方向に直交変換するように変換方向制御信号を出力する。
【００６１】
この方法の意味は次の通りである。
各ブロックのDC値は各ブロックの平均にあたる意味を有しており、現在符号化しようとするブロック周辺に位置したブロックの平均値間の変化率は現在ブロックの性質、すなわちブロック内の信号が横方向に高い相関度を有しているか、それとも縦方向に高い相関度を有しているかに対する情報を示している。したがって、周辺ブロックに対する情報を使用することだけでも変換方向に対するMODE決定を効率的にすることができる。
【００６２】
また、この方法はすでに符号化されたブロックに対する情報のみを用いるため、非常に簡単な演算だけで現在符号化しようとするブロックに対する変換方向制御信号が求められる長所がある。
さらに、すでに符号化されたブロックのみを使用するため、復号機に制御信号を付加的に転送することなく、復号機は符号機から決定された制御信号を同一に決定することのできる長所がある。
【００６３】
さらに異なる方法は、現在符号化しようとするブロック周辺にすでに量子化された変換係数に対する情報のみを使用する図６の方法に代えて、図７のように一層正確に制御MODEが決定できるようにすでに量子化された変換係数ブロックの外に現在符号化しようとするブロックに対する情報を一緒に用いるという差異点がある。
【００６４】
この時は、制御信号を付加的に復号機に転送しないように現在符号化しようとするブロックの量子化されたDC信号の値を使用する。
図７でXは減算機1から入力された現在符号化しようとするブロックであり、A、BおよびCは第1量子化機3から出力されてメモリ110に貯蔵された後、モード制御機120に入力された量子化された変換係数ブロックであって、A はブロックXから左側に位置したブロックであり、BはブロックXから左側上に位置したブロックであり、そしてCはブロックXの上側に位置したブロックである。
【００６５】
Mode決定のために各ブロックの変換係数中、以下の数式2のようなDC値の変化率を使用する。
（数式２）
Grad＿Vert＿1＝ABS（DC＿A−DC＿B）
Grad＿Vert＿2＝ABS（DC＿C−DC＿X）
Grad＿Hori＿1＝ABS（DC＿B−DC＿C）
Grad＿Hori＿2＝ABS（DC＿A−DC＿X）
ここで、ABS（a）はaの絶対値を示し、Modeを求めるために数式3のように横と縦方向の変化率を求める。
（数式３）
Grad＿Vert＝Grad＿Vert＿1＋Grad＿Vert＿2
Grad＿Hori＝Grad＿Hori＿1＋Grad＿Hori＿2
ここで、Grad＿Vertは縦方向の変化率を示し、Grad＿Horiは横方向の変化率を示す。
【００６６】
最終的には直交変換機のため、変換方向制御信号は変化率が少ない方向に対する値を出力する。
すなわち、Grad＿VertがGrad＿Horiより少ないか同じであれば、縦方向にまず直交変換した後、横方向に直交変換するように変換方向制御信号を出力し、反面Grad＿VertがGrad＿Horiより大きければ横方向にまず直交変換した後、縦方向に直交変換するように変換方向制御信号を出力する。
【００６７】
この方法は現在ブロックに対する情報を周辺ブロックに対する情報と一緒に使用するので、図６より一層正確な変換方向制御信号を出力するという長所があるが、現在ブロックのDCを求めて変化率を求めるためには、図６より多い演算を必要とする短所がある。変化率を求めるためには加算演算の外にも最大値、減算演算など、信号の特性を決定することのできる多様な方法が使用され得る。
【００６８】
さらに、直交変換手段1000は上述のように2種類の実施例で実現できるので、直交変換手段1000からなる変換方法を実施例毎に個別的に説明する。
一番目の実施例である直交変換手段（図２）からなる直交変換方法は、まず、上記変換モード制御手段100が変換モードを決定する変換方向制御信号を第1、2スイッチ1110、1130に入力させ、この時、もし変換方向制御信号が縦直交変換した後、横直交変換情報を有していれば、第1、2スイッチ1110、1130は入出力段を第1直交変換機1120にスイッチングし、これによって第1直交変換機1120は減算機1から予測誤差信号ブロックを受信する同時に、付加情報符号機9から模様情報を選択的に受信し、受信された予測誤差信号ブロックを縦方向に直交変換した後、横方向に直交変換した変換係数信号を出力する。この時、上記予測誤差信号ブロックは上記第1メモリ7に貯蔵されている値を0に初期化して入力映像信号ブロックと同一に作ることができる。
【００６９】
一方、入力される変換方向制御信号が横直交変換した後、縦直交変換情報を有していれば、第1、2スイッチ1110、1130は入出力段を第2直交変換機1140にスイッチングし、これによって第2直交変換機1140は減算機1から予測誤差信号ブロックを受信する同時に、付加情報符号機9から模様情報を選択的に受信し、受信された予測誤差信号ブロックを横方向に直交変換した後、縦方向に直交変換した変換係数信号を出力する。
【００７０】
2番目の実施例である直交変換手段（図４）からなる直交変換方法は、まず、上記変換モード制御手段100から変換モードを決定する変換方向制御信号が入力され、もしそのモード情報が横直交変換した後、縦直交変換モードであれば、前処理機1210が動作されて減算機1から入力される信号を時計反対方向に90度回転し、直交変換機1220はその回転された信号を受信する同時に、付加情報符号機9から模様情報を選択的に受信して縦直交変換した後、横直交変換して後処理機1230に入力される。
【００７１】
この時、後処理機1230が動作され、上記直交変換された信号は単位ブロックの左方上段と右方下段を結ぶ軸を中心に180度回転させて変換係数を出力する。
反面、モードが縦直交変換した後、横直交変換であれば、前処理機1210および後処理機1230を動作させずに、信号をそのまま出力し、上記直交変換機1220のみを動作させて減算機1から入力される予測誤差信号ブロックを縦直交変換した後、横直交変換した変換係数を出力する。この時、減算機1は第1メモリ7から予測された信号と現在入力信号との予測誤差のみならず、第1メモリ7の信号からの予測なしで現在入力信号をそのまま出力することができるが、この場合、このためには第1メモリ7に貯蔵されている値を0に初期化して減算機からの信号と入力映像信号と同一に作ることができる。
【００７２】
一方、第1逆直交変換手段140は上述のように、2種類の実施例で実現可能であるので、逆直交変換方法を実施例毎に個別的に説明する。
1番目の実施例である第1逆直交変換手段（図３）からなる逆直交変換方法においては、まず、上記変換モード制御手段100が変換方向制御信号を第3、4スイッチ2110、2130に入力させ、この時、もし変換方向制御信号が横直交変換した後、縦直交変換情報を有していれば、第3、4スイッチ2110、2130は入出力段を第1逆直交変換機2120にスイッチングし、これによって第1逆直交変換機2120は第1量子化機4から逆量子化された変換ブロックを受信する同時に、付加情報符号機9から模様情報を選択的に受信し、受信された逆量子化された変換係数ブロックを縦方向に逆直交変換した後、横方向に逆直交変換し、これに相応する変換した係数を出力する。
【００７３】
一方、入力される変換方向制御信号が縦直交変換した後、横直交変換情報を有していれば、上記第3、4スイッチ2110、2130は入出力段を第2逆直交変換機2140にスイッチングし、これによって第2逆直交変換機2140は第1逆量子化機4から逆量子化された変換係数を受信する同時に、付加情報符号機9から模様情報を選択的に受信し、受信された逆量子化された変換係数ブロックを横方向に逆直交変換した後、縦方向に逆直交変換し、これに相応する逆変換係数を出力する。
【００７４】
この時、後処理機2230が動作され、上記逆直交変換された信号ブロックを時計方向に90度回転した逆変換係数を出力する。
反面、モードが縦直交変換した後、横直交変換であれば、前処理機2210および後処理機2230を動作させずに、上記逆直交変換機2220のみを動作させて第1逆量子化機4から入力される逆量子化された変換係数ブロックを横逆直交変換した後、縦逆直交変換させて形成された逆変換係数を出力する。
【００７５】
一方、復号化方法について説明すると、まず、デマルチプレキサー部13は転送媒体を通じて符号化された映像信号を受信してデマルチプレキシングして可変長さ符号化された模様情報および可変長さ符号化された変換係数信号を出力し、復号機15は上記可変長さ符号化された映像信号を受信して量子化された変換係数信号に変換する一方、付加情報復号機14は上記可変長さ符号化された模様情報を選択的に受信して元の模様情報に復元させる。
【００７６】
この時、第2逆量子化機200では上記復号機15から量子化された変換係数信号を受信して逆量子化された変換係数ブロックに変換し、第2逆直交変換手段2000は上記第2逆量子化機200から逆量子化された変換係数ブロックを受信する一方、上記付加情報復号機14から復元された模様情報を選択的に受信して逆変換モード制御手段210から逆変換方向制御信号を受信し、逆変換モードが制御されて逆直交変換を行うことにより逆直交変換された信号ブロックを出力する。
【００７７】
次いで、第2加算機6bは上記第2逆直交変換手段2000から逆直交変換された信号ブロックと第2メモリ18から以前に復元された映像信号ブロックを受信してその両信号を加算して復元された映像信号ブロックを出力する。
一方、第2メモリ18は上記第2加算機6bから出力される復元された映像信号ブロックを受信して貯蔵し、上記第２加算機6bに復元された映像信号ブロックを出力する。
【００７８】
上記逆変換モード制御手段210から逆変換方向制御信号を発生する方法は、上述の変換モード制御手段100と同一であり、ただ上記変換モード制御手段100からDC値を用いて逆変換方向制御信号を発生する一方、上記変換モード制御手段100から復元された映像信号ブロックと模様情報を用いれば、逆変換モード制御手段210でも復元された映像信号ブロックと模様情報を用いなければならない。
【００７９】
一方、第2逆直交変換手段2000から逆直交変換する方法は上述の第1逆直交変換手段140での方法と同一である。
さらに、図８は星型の模様情報を有する入力映像を示した図面であり、斜線の部分が入力映像の物体部分となり、残りの部分が入力映像の背景部分となる。
そして、図９は図８の模様情報を有する入力映像の符号化のためブロックを示した図面であり、斜線ブロックのみを符号化し、残りのブロックは符号化対象から除外する。
【００８０】
符号化しようとするブロックに対する変換方法を選択し、これに対する情報を復号機に転送しないためにはすでに符号化されたブロックに対する情報のみを使用して変換方法を選択しなければならない。
すなわち、現在符号化しようとするブロックの上側に位置するブロックと同じ行から左側に位置するブロックのみを使用して変換方法を選択しなければならない。
【００８１】
したがって、図１０で斜線ブロックのようにすでに符号化されたブロックが存在しないか、変換方法を選択するのに不十分に存在する場合、符号化しようとするブロックに対する変換方法が選択できなくなる。この時、符号化順序は左側上段のブロックから始め、右側方向に実行して右側下段のブロックまで行うと仮定する。
【００８２】
したがって、符号化しようとする直接使用して変換方法を選択する場合には、現在符号化しようとする信号を直接使用して分析するため、周辺信号のみを使用して変換方法を決定する方法より変換方法を選択するにおいて、より高い正確性を保障することができる。なお、上記モード制御信号を転送による付加ビットの発生にもかかわらず、現在符号化しようとする信号を直接使用することにより、高い符号化効率が得られる優れた効果がある。さらに周辺信号を使用して変換方法を決定する場合、後述されるビット列に対する編集性（bitstream editability）に対する問題が解決できる長所がある。
【００８３】
図１１は上記のような点に着眼した本発明の第2実施例による適応的変換方法を用いる映像圧縮符号化および復号化装置に関する制御ブロック図であり、従来と同一の部分に対しては同一符号を付し、重複された説明は省略する。
第2実施例では、第1実施例で使用された変換方向制御信号を発生する変換モード制御手段100、予測誤差信号ブロックが上記変換モード制御手段100に入力されることを締め括るスイッチ10b、逆変換方向制御信号を出力する逆変換モード制御手段210および復号機15から可変長さ復号された信号が上記逆変換モード制御手段210に入力されることを締め括るスイッチ19bに代えて次のような構成要素が付加される。
【００８４】
上記第2実施例に付加される構成要素は、模様情報内の予測誤差信号のみを用いるために付加情報符号機9を通じて入力される模様情報を選択的に受信し、減算機1を通じて入力される予測誤差信号ブロックを受信し、これを用いて直交変換方向順序を決定する変換方向制御信号を発生するモード制御手段3000と、上記モード制御手段3000から変換方向制御信号を受信して符号化させる制御信号符号機4000と、上記制御信号符号機4000から出力される符号化された変換方向制御信号を多重化機11、転送媒体12およびデマルチプレキサー部13を通じて受信して可変長さ復号化させ、上記モード制御手段3000から発生した変換方向制御信号を上記第2逆直交変換手段200に入力させる制御信号復号機5000からなる。
【００８５】
この時、減算機1は第1メモリ7から予測された信号と現在入力信号との予測誤差のみならず、第1メモリ7の信号からの予測なしで現在入力信号をそのまま出力することができるが、この場合、このためには第1メモリ7に貯蔵されている値を0に初期化して減算機1からの信号と入力映像信号を同一に作ることができる。
そして、上記モード制御手段3000は3種類の実施例で構成することができ、これを図１２，１３および１４に基づいてそれぞれ説明する。
【００８６】
図１２はモード制御手段の実施例1を示した図面であり、実施例1によるモード制御手段は上記減算機1から入力される現在符号化しようとする予測誤差信号をブロックを受信して貯蔵する2次元メモリ3100と、上記2次元メモリ3100に貯蔵された予測誤差信号ブロックの一行に存在する画素値間の差を行別に繰返して求める多数の水平減算機3110と、上記水平減算機3110からの求められた減算値の合計を求める多数の水平加算機3120と、上記水平加算機3120から出力される現在求められた一行に対する減算値の合計と、以前に求められた行の減算値の合計を加算する最終水平加算機3150と、上記最終水平加算機3150から出力される行に対する加算値を臨時貯蔵する第1臨時メモリ3160と、最終行に対する上記最終水平加算機3150の出力を上記比較機3190の入力にするため、スイッチング動作されるスイッチ3115aを具備している。
【００８７】
そして、実施例1によるモード制御手段は上記2次元メモリ3100に貯蔵された予測誤差信号ブロックの一行に存在する画素値間の差を列別に繰返して求める多数の垂直減算機3130と、上記垂直減算機3130から求められた減算値の合計を求める多数の垂直加算機3140と、上記垂直加算機3140から出力される現在求められた一行に対する減算値の合計と以前に求められた列の減算値の合計を加算する最終垂直加算機3170と、上記最終垂直加算機3170から出力される加算値を臨時貯蔵する第2臨時メモリ3180と、最終行に対する上記最終垂直加算機3140の出力を上記比較機3190の入力にするため、スイッチング動作されるスイッチ3115bと、上記第1、2臨時メモリ3160、3180から出力される行に対する加算値と列に対する加算値を比較し、もし行に対する加算値が列に対する加算値より小さければ、横直交変換した後、縦直交変換されるようにする同時に、逆直交変換は上記直交変換と反対に行われるようにする一方、行に対する加算値が列に対する加算値より大きければ、上記過程と直交変換および逆直交変換が反対に行われるようにする変換方向制御信号を出力する比較機3190を追加に具備している。
【００８８】
この時、水平減算機3110と上記垂直減算機3130は上記付加情報符号機9から入力される模様情報を選択的に受信して模様情報が入力される場合、符号化対象である部分、すなわち物体部分内に存在する画素値のみを使用して画素値間の差を求める。
図１３はモード制御手段の実施例2を示した図面であり、実施例2によるモード制御手段は上記付加情報符号機9から選択的に入力される模様情報と上記減算機1から入力される現在符号化しようとする予測誤差信号ブロックを受信して横直交変換した後に縦直交変換し、これに相応する変換係数を出力する第1直交変換機3200と、上記第1直交変換機3200から変換係数を受信し、その変換係数を量子化して可変長さ符号化するときに生成される符号量を検査する第1ビットストリムカウンター3220と、上記付加情報符号機9から選択的に入力される模様情報信号と上記減算機1から予測誤差信号ブロックを受信して縦直交変換した後に横直交変換し、これに相応する変換係数を出力する第2直交変換機3210と、上記第2直交変換機3210から変換係数を受信し、その変換係数を量子化して可変長さ符号化するとき生成される符号量を検査する第2ビットストリムカウンター3230と、上記第1、2ビットストリムカウンター3220、3230から計算された符号量を比較して小さい符号量を発生させる直交変換を行うようにする変換方向制御信号を出力する比較機3240で構成されている。この時、減算機1は第1メモリ7から予測された信号と現在入力信号との予測誤差のみならず、第1メモリ7の信号からの予測なしで現在入力信号をそのまま出力することができるが、この場合、このためには第1メモリ7に貯蔵されている値を0に初期化して減算機1からの信号と入力映像信号を同一に作ることができる。
【００８９】
図１４はモード制御手段の実施例3を示した図面であり、実施例3によるモード制御手段は上記付加情報符号機9から選択的に入力される模様情報と上記減算機1から入力される現在符号化しようとする予測誤差信号を受信して縦直交変換した後、横直交変換し、これに相応する変換係数を出力する第1直交変換機3300と、上記第1直交変換機3300から変換係数を受信し、量子化させる第1量子化機3310と、上記第1量子化機3310から量子化された変換係数ブロックを受信して逆量子化させる第1逆量子化機3320と、上記付加情報符号機9から選択的に受信して横直交変換した後、縦直交変換して復元された映像信号ブロックを出力する第1逆直交変換機3330と、上記第1直交変換機3330に入力される符号化しようとする予測誤差信号ブロックを受信すると同時に、上記第1逆直交変換機3330から復元された映像信号ブロックを受信し、両ブロックの誤差を発生させる第1誤差測定機3340を具備している。この時、上記予測誤差信号ブロックは上記第1メモリ7に貯蔵されている値を0に初期化して入力映像信号ブロックと同一に作ることができる。
【００９０】
そして、上記実施例3によるモード制御手段は上記減算機1から入力される現在符号化しようとする予測誤差信号ブロックを受信して横直交変換した後、縦直交変換し、これに相応する変換係数を出力する第2直交変換機3350と、上記第2直交変換機3350から変換係数を受信して量子化させる第2量子化機3360と、上記第2量子化機3360から量子化された変換係数ブロックを受信して逆量子化させる第2逆量子化機3370と、上記第2逆量子化機3370から逆量子化された変換係数を受信して縦逆直交変換した後、横直交変換して復元された映像信号ブロックを出力する第2逆変換機3380と、上記第2直交変換機3350に入力される符号化しようとする予測誤差信号ブロックを受信する同時に上記第2逆直交変換機3380から復元された映像信号ブロックを受信し、両ブロックの誤差を発生させる第2誤差測定機3390と、上記第1誤差測定機3340および第2誤差測定機3390から計算された誤差を比較して誤差が小さいノードに使用される直交変換機から行われる直交変換および逆直交変換を行うようにする変換方向制御信号を出力する比較機3400が追加に構成されている。この時、減算機1は第1メモリ7から予測された信号と現在入力信号との予測誤差のみならず、第1メモリ7の信号からの予測なしで現在入力信号をそのまま出力することができるが、この場合、このためには第1メモリ7に貯蔵されている値を0に初期化して減算機1からの信号と入力映像信号を同一に作ることができる。
【００９１】
上記のように構成された本発明の第2実施例による適応的変換方法を用いる映像圧縮符号化および復号化装置を用いる符号化方法および復号化方法について説明する。
まず、符号化方法について説明すると、映像信号ブロックは減算機1に入力され、模様情報符号機9に入力されて符号化される。この時、減算機1は第1メモリから予測された信号と現在入力信号との予測誤差のみならず、第1メモリ7の信号からの予測なしで現在入力信号をそのまま出力することができるが、この場合、このためには第1メモリ7に貯蔵されている値を0に初期化して減算機1からの信号と入力映像信号を同一に作ることができる。
【００９２】
この時、減算機1は入力映像信号ブロックと第1メモリ7から出力される復元された映像信号ブロックを減算して予測誤差信号ブロックを求め、直交変換手段1000にその信号を出力する。
一方、モード制御手段3000は上記減算機1から予測誤差信号ブロックを受信し、これを用いて直交変換および逆直交変換方向順序を決定する変換方向制御信号を出力し、制御信号符号機4000は上記変換方向制御信号を受信し、符号化して多重化機11に出力する。
【００９３】
上記直交変換手段1000は上記減算機1から予測誤差信号ブロックを受信する一方、上記付加情報符号機9から模様情報を選択的に受信してモード制御手段3000によって直交変換方向に制御され、これに相応する変換係数信号を出力する。
以後、第1量子化機3は上記直交変換手段1000から出力される変換係数を量子化された変換係数ブロックに変換し、可変長さ符号機8は上記第1量子化機3から量子化された変換係数ブロックを受信して可変長さ符号化された変換係数信号に変換する。
【００９４】
上記、多重化機11はその可変長さ符号機8から可変長さ符号化された信号を受信し、上記付加情報符号機９から可変長さ符号化された模様情報信号を選択的に受信する同時に、上記制御信号符号機4000から符号化された変換方向制御信号を受信し、その信号をマルチプレキシングして転送媒体12を通じて転送させる。
一方、上記第1量子化機3から出力された量子化された変換係数ブロックは第1逆量子化機4に入力されて逆量子化された変換係数ブロックに変換され、第1逆直交変換手段140は上記第1逆量子化機4から逆量子化された変換係数ブロックを受信する一方、上記付加情報符号機9から符号化された模様情報を選択的に受信して上記モード制御手段3000により逆直交変換方向が制御され、これに相応する逆変換係数を出力する。
【００９５】
次いで、第1加算機6aは上記第1逆直交変換手段140から逆変換係数を受信する同時に、第1メモリ7から以前に復元された映像信号ブロックを受信し、その両信号を加算して元の映像信号ブロックに復元し、これを第1メモリ7に貯蔵し、第1メモリ7からは減算機1に復元された映像信号ブロックを出力する。
そして、上記モード制御手段3000から変換方向制御信号を発生する方法について上述の実施例別に説明する。
【００９６】
実施例1による変換方向制御信号を図１２に基づいて説明すると、まず、2次元メモリ3100が上記減算機1から現在符号化しようとする予測誤差信号ブロックを受信して貯蔵し、第1、2スイッチ3115a、3115bは上記比較機とオフされており、第1、2臨時メモリ3160、3180の値は0に初期化する。
次いで、上記2次元メモリ3100に貯蔵された予測誤差信号ブロックは水平、垂直減算機3100、3130によって行と列方向に画素値間の減算演算が行われた後、減算された値の大きさ値の水平、垂直加算機3120、3140にそれぞれ伝達されてその大きさ値の合計が求められる。
【００９７】
そして、上記大きさ値の合計は最終水平、垂直加算機3150、3170にそれぞれ伝達され、第1、2臨時メモリ3160、3180に貯蔵された以前大きさ値の合計と加算されて第1、2臨時メモリ3160、3180にそれぞれ貯蔵される。
上記予測誤差信号ブロックの次行と列に対して上述の方式を使用してすべての行と列方向に対して画素間誤差値の合計が計算され、最終的に第1、2スイッチが比較機に対してオンされ、最終水平、垂直加算機3150、3170の出力が比較機3190に伝達され、比較機3190は上記行と列方向の画素間誤差値の合計を相互比較して誤差値の合計が小さい方向の類似度が大きいと判断し、類似度が大きい方向にまず直交変換した後、それと異なる方向に直交変換されるようにする一方、逆直交変換は上記直交変換方向と反対になるようにする変換方向制御信号を出力する。
【００９８】
そして、実施例2による変換方向制御信号発生方法を図１３に基づいて説明すると、まず減算機1から予測誤差信号ブロックが本装置に入力されれば、第1直交変換機3200は上記予測誤差信号ブロックを横直交変換した後、縦直交変換する一方、第2直交変換機3210は上記予測誤差信号ブロックを縦直交変換した後、横直交変換する。
【００９９】
以後、第1、2ビットストリムカウンター3220、3230は上記第1、2直交変換機3200、3210から直交変換されて求められた変換係数をそれぞれ受信して符号発生量を計算する。
次いで、比較機3240は上記第1、2ビットストリムカウンター3220、3230から計算された符号発生量を相互比較して符号発生量が小さい方向の直交変換機から行われる直交変換をさせる一方、逆直交変換は上記直交変換と反対方向に行われるようにする変換方向制御信号を出力する。
【０１００】
さらに、実施例3による変換方向制御信号発生方法を図１４に基づいて説明すると、まず減算機1から予測誤差信号ブロックが本装置に入力されれば、第1直交変換機3300は上記予測誤差信号ブロックを縦直交変換した後、横直交変換する。この時、減算機1は第1メモリ7から予測された信号と現在入力信号との予測誤差のみならず、第1メモリ7の信号からの予測なしで現在入力信号をそのまま出力することができるが、この場合、このためには第1メモリ7に貯蔵されている値を0に初期化して減算機1からの信号と入力映像信号を同一に作ることができる。
【０１０１】
次いで、第1量子化機3310は上記第1直交変換機3300から変換係数を受信して量子化させ、第1逆量子化機3320は上記量子化された変換係数ブロックを受信して逆量子化させ、第1逆直交変換機3330は上記逆量子化された変換係数ブロックを受信し、上記第1直交変換機3300の変換方向と反対方向に逆直交変換を行い復元された信号ブロックを出力する。
【０１０２】
そして、第1誤差測定機3340は上記第1逆直交変換機3330から復元された信号ブロックと上記第1直交変換機3300に入力された予測誤差信号ブロック間の誤差を計算して比較機3400にその誤差値を出力する。
一方、異なるノードに存在する第2直交変換機3350は上記予測誤差信号ブロックを横直交変換した後、縦直交変換し、第2量子化機3360は上記第2直交変換機3350から変換係数を受信して量子化させ、第2逆量子化機3370はその量子化された変換係数ブロックを受信して逆量子化させ、第2逆直交変換機3380はその逆量子化された変換係数ブロックを受信し、上記第2直交変換機3350の変換方向と反対方向に逆直交変換を行い復元された信号ブロックを出力する。
【０１０３】
そして、第2誤差測定機3390は上記第2逆直交変換機3380から復元された信号ブロックと上記第2直交変換機3350に入力された予測誤差信号ブロック間の誤差を計算して比較機3400にその誤差値を出力する。
この時、上記比較機3400は上記第1、2誤差測定機3340、3390から誤差値をそれぞれ受信し、その誤差値を比較して誤差値が小さいノードの直交変換機および逆変換機から行われる直交変換および逆直交変換を行うようにする変換方向制御信号を出力する。
【０１０４】
一方、復号化方法について説明すると、まず、デマルチプレキサー部13は転送媒体を通じて符号化された信号を受信してデマルチプレキシングして可変長さ符号化された模様情報、映像信号および変換方向制御信号を出力し、復号機15は上記符号化された可変長さ映像信号を受信して量子化された変換係数信号に変換する一方、付加情報復号機14は上記可変長さ符号化された模様情報を選択的に受信して模様情報に復元させる。
【０１０５】
そして、制御信号復号機5000は符号化された変換方向制御信号を受信して元の変換方向制御信号に復元させる。
この時、第2逆量子化機200では上記復号機15から量子化された変換係数信号を受信して逆量子化された変換係数ブロックに変換し、第2逆直交変換手段2000は上記第2逆量子化機200から逆量子化された変換係数ブロックを受信する一方、上記付加情報復号機14から復元された模様情報を選択的に受信し、上記制御信号復号機5000から復元された変換方向制御信号を受信し、上記直交変換手段1000の直交変換方向と反対方向に逆直交変換を行うことにより逆直交変換された信号ブロックを出力する。
【０１０６】
次いで、第2加算機6bは上記第2逆直交変換手段2000から逆直交変換された信号ブロックと第2メモリ18から以前に復元された映像信号ブロックを受信し、その両信号を加算して復元された元の映像信号ブロックを出力する。
一方、第2メモリ18は上記第2加算機6bから出力される復元された映像信号ブロックを受信して貯蔵し、上記第２加算機6bに復元された映像信号ブロックを出力する。
【０１０７】
上記制御信号復号機5000から出力される変換方向制御信号により上記第2逆直交変換手段200が逆直交変換を行う動作に対して詳細に説明すると、上記変換方向制御手段が横直交変換した後、縦直交変換情報を有していれば、上記第２逆直交変換手段200は縦逆直交変換した後、横逆直交変換を行う一方、上記変換方向制御信号が縦直交変換した後、横直交変換情報を有していれば、横逆直交変換した後、縦逆直交変換が行われる。
【０１０８】
信号の特性またはハードウェア具現上の複雑度問題によって変換方向を設定するための上記モード制御機の使用が制限され得る。前の例として、信号成分が極めて均一に分布する場合は変換方向の変化から得られる符号化効率に対する利得がないか、微細な利得のみが得られる。この場合は、制御信号の転送による付加的な符号発生により全体的な符号化効率を落ちる。後の例としては、携帯用端末機の場合ハードウェア具現上の複雑性が符号化効率より大きな問題となり得るので、変換方向の適応的設定から得られる符号化効率の増加を犠牲しながらハードウェア具現を簡単にしなければならないことがある。しかし、ビット列の互換性側面から変換方向を適応的に設定しない符号化装置から符号化された符号列も変換方向に対する制御信号を含む符号列を復号化する復号化機でこれが復号化できなければならない。このためには、変換方向に対する制御信号の使用可否を表す情報がビット列内に含まれなければならない。
【０１０９】
図１５は上述のようなモード制御機の使用を制限するための本発明の第3実施例による適応的変換方法を用いる映像圧縮符号化および復号化装置に関する制御ブロック図であり、上述の上記図１１の符号化および復号化装置にモード制御機制御信号発生手段6000、モード制御機制御信号符号機7000およびモード制御機制御信号復号機8000が追加された構成を有する。
【０１１０】
上記モード制御機制御信号発生手段6000は直交変換手段1000および第1、2逆直交変換手段140から変換方向制御信号を使用するかの可否により上記モード制御手段3000、制御信号符号機4000および制御信号復号機5000のオン／オフ動作を制御するモード制御機制御信号を発生する役割をする。
上記モード制御手段3000、制御信号符号機4000および制御信号復号機5000のオン／オフ動作は符号化対象に対するモード制御機制御信号発生手段から発生されるモード制御機制御信号によって同一に適用される。
【０１１１】
上記モード制御機制御信号符号機4000は上記モード制御機制御信号発生手段6000からモード制御機制御信号を受信して符号化させ、上記多重化機11に入力させて異なる信号とマルチプレキシングされるようにする。
上記モード制御機制御信号復号機8000は上記多重化機11、転送媒体12およびデマルチプレキサー部13を通じて符号化されたモード制御機制御信号を受信して復号化させ、その復号化されたモード性制御機制御信号として上記制御信号復号機5000の動作を制御する役割をする。
【０１１２】
上記の構成を有する図１５の符号化装置および復号化装置からなる符号化方法ならびに復号化方法を説明する。
直交変換手段1000および第1、2逆直交変換手段140、200の変換方法制御信号に対する使用可否によって本装置の動作が決定される。
変換方法設定のため、変換方法制御信号の使用可否に対する情報であるモード制御機制御信号の転送は一つのMB（Macro-block）のスタート位置、一つの画面のスタート位置、一つの場面のスタート位置、または動映像のスタート位置に変換方向設定のため、制御信号の使用可否に対する情報を含むようになる。モード制御機制御信号の転送によって符号量を増大させるが、モード制御機制御信号の転送による符号量の増加は全体的な符号量に比べて無視できるほどの少ない量である。
【０１１３】
若し上記変換方向制御信号を使用する場合はモード制御機制御信号発生手段6000からこれに相応するモード制御信号を出力し、これによりモード制御手段3000および制御信号符号機4000がすべて動作するようになり、この時、モード制御機制御信号符号機7000は上記モード制御機制御信号を符号化し、その符号化された制御信号は多重化機11、転送媒体12およびデマルチプレキサー部13を通じてモード制御機制御信号復号機8000に入力されて復号化され、その復号化されたモード制御機制御信号は制御信号復号機5000を動作させる。
【０１１４】
その後、符号化および復号化過程は上述の図１１の符号化方法および復号化方法と同一である。
一方、上記変換方向制御信号を使用しない場合はモード制御機制御信号発生手段6000からこれに相応するモード制御信号を出力し、これによりモード制御手段3000および制御信号符号機4000が中止され、モード制御機制御信号符号機7000は上記モード制御機制御信号を符号化し、その符号化された制御信号は多重化機11、転送媒体12およびデマルチプレキサー部13を通じてモード制御機制御信号復号機8000に入力されて復号化され、その復号化されたモード制御機制御信号は制御信号復号機5000の動作を中止させる。
【０１１５】
上記変換方向制御信号を使用しない場合は、直交変換手段1000は符号化するための予測誤差信号ブロックを横直交変換した後、縦直交変換および縦直交変換した後、横直交変換中、いずれかの場合に対してすでに定められた変換方法を行う。また逆直交変換手段は直交変換手段1000に対応する逆変換方法を行う。すなわち、上記変換方向制御信号を使用しない場合は上記直交変換手段1000が入力される予測誤差信号ブロックを縦直交変換した後に横直交変換する場合、逆直交変換手段は入力される逆量子化された変換係数ブロックを横逆直交変換した後、縦逆直交変換して逆直交変換された信号ブロックを出力する。
【０１１６】
この時、第2逆量子化機200を通じて入力される逆量子化された変換係数ブロックを第2逆直交変換手段2000から上記直交変換手段1000の直交変換方向と逆方向に逆直交変換を行い、残り過程は図１１の復号化過程と同一である。
一方、モード制御機を構成する方法は上記の実施例の外にも種々の方法を使用されることができ、その方法は限界ブロックを含む周囲のブロックの平均値変化率を用いる方法、符号化するブロックに対し、横と縦方向にそれぞれ投射して投射された値の変化率を使用する方法、符号化しようとするブロックの周辺値または中心の一部分など符号化しようとするブロックの一部分のみを用いて変換方式を決定する方法など多様な方法を使用することができる。
【０１１７】
すなわち、変換方法制御信号を付加的に転送することによって、変換方法を極めて柔軟に決定することができる。
変換方向制御信号を転送することによって変換方法の決定は符号機でのみ行い、復号機では転送される制御信号により、ただ変換方法のみを変化させれば良いので、復号機の複雑度を増加せしめない。
【０１１８】
上述のように本発明による適応的変換方法を用いる映像圧縮符号化装置および復号化装置ならびにその方法によれば、符号化されたブロックの情報や、または符号化されたブロックの情報および現在符号化しようとするブロックに対する情報を用い、そのブロック内の信号が縦方向に高い相関度を有しているか、あるいは横方向に高い相関度を有しているか否かを判断して相関度の高い方向に直交変換をまず行った後、相関度の低い方向に直交変換する一方、その直交変換方向と反対に逆直交変換を行うことによって圧縮符号化効率が高められる優れた効果がある。
【０１１９】
現在符号化しようとするブロックを使用して符号化しようとするブロックの変換方法を定める方法は符号化されたブロックを使用して変換方向を決定する方法より圧縮符号化効率をより高められる長所の外に、符号列に対する編集性（editability）から表れる。この時、符号列に対する編集性とは映像の質感や色相のような映像の属性は符号列を操作することにより容易に変化せしめ得る能力をいう。
【０１２０】
すなわち、映像内で属性を変化させようとする部分に対するビット列を変化された属性を反映する新たなビット列に代置し、他の部分はすでに符号化されて生成されたビット列をそのまま使用することができる能力をいう。変換方向に対する情報を転送しない方法の場合、現在符号化しようとする部分に対する変換方向を求めるため、すでに符号化された部分に対する情報を継続的に用いるので、生成されたビット列は相互独立的ではなく、空間的に以前にあたるビット列と継続的に関係を有するようになる。したがって、映像内のある一部分に対する属性を変化させる場合、空間的に属性が変化された部分以後のすべての信号に対する情報を付加的に転送する場合、符号化しようとする信号部分とすでに符号化された信号部分に対するビット列をそれぞれ独立的に生成することができ、信号内の一部分に対する属性を変化させた場合、属性が変化された部分に対するビット列のみを再度符合化して既存のビット列の同一位置に属するビット列を代置することだけでも信号内の一部分の属性のみ変化させる効果を表すようになる。
【０１２１】
本発明は、これら実施例に限定されるものではなく、本発明の要旨を逸脱しない範囲で種々の変形実施が可能である。
【０１２２】
【発明の効果】
以上説明したように、本発明は、通信分野またはマルチメディア分野で使用される映像圧縮符号化および復号化装置ならびにその方法、特に映像圧縮符号化および復号化で入力映像信号ブロックの変換方向順序に従って相異する変換係数を出力する場合、入力映像信号ブロックの特性によって変換方向順序を選択して符号化および復号化する適応的変換方法を用いる映像圧縮符号化および復号化装置ならびにその方法に関するものであり、本発明による適応的変換方法を用いる映像圧縮符号化および復号化装置ならびにその方法によれば、符号化されたブロックの情報や、または符号化されたブロックの情報および現在符号化されようとするブロックに対する情報を用い、そのブロック内の信号が縦方向に高い相関度を有しているか、あるいは横方向に高い相関度を有しているか否かを判断して相関度の高い方向に直交変換した後、相関度の低い方向に直交変換する一方、上記直交変換方向と反対方向に逆直交変換を行うことで圧縮符号化効率が高められる。
【図面の簡単な説明】
【図１】  本発明の一実施例による適応的変換方法を用いる映像圧縮符号化および復号化装置に関する制御ブロック図である。
【図２】  図１の直交変換手段に対する制御ブロック図である。
【図３】  図１の第1、2逆直交変換手段に対する制御ブロック図である。
【図４】  図１の他の実施例による直交変換手段に対する制御ブロック図である。
【図５】  図１の他の実施例による第1、2逆直交変換手段に対する制御ブロック図である。
【図６】  モード制御機の実施例1を示す図である。
【図７】  モード制御機の実施例2を示す図である。
【図８】  星型の模様情報を有する入力映像を示す図である。
【図９】  図８の模様情報を有する入力映像の符号化するためのブロックを示す図である。
【図１０】  図８の模様情報を使用し、ブロック単位符号化方法を用いる場合は周辺情報が存在しないことから、符号化しようとする信号に対する変換方法が選択できない場合に対する例を示す図である。
【図１１】  本発明の第2実施例による適応的変換方法を用いる映像圧縮符号化装置および復号化装置に関する制御ブロック図である。
【図１２】  図１１のモード制御手段の実施例1を示す図である。
【図１３】  図１１のモード制御手段の実施例2を示す図である。
【図１４】  図１１のモード制御手段の実施例3を示す図である。
【図１５】  本発明の第3実施例による適応的変換方法を用いる映像圧縮符号化装置および復号化装置に関する制御ブロック図である。
【図１６】  従来技術による映像圧縮符号化装置および復号化装置の制御ブロック図である。
【図１７】  図１６の直交変換機から模様情報を用いて直交変換する過程を示す図面である。
【図１８】  同じく、直交変換する過程を示す図面である。
【図１９】  同じく、直交変換する過程を示す図面である。
【図２０】  同じく、直交変換する過程を示す図面である。
【図２１】  同じく、直交変換する過程を示す図面である。
【図２２】  図１６の直交変換機から直交変換する方向によって変換係数が相異することを説明するための図である。
【図２３】  同じく、変換係数が相異することを説明するための図である。
【図２４】  同じく、変換係数が相異することを説明するための図である。
【符号の説明】
1  減算機
3  量子化機
8  可変長さ符号機
9  付加情報符号機
100  変換モード制御手段
110,211  メモリ
120,213  モード制御器
140  第1逆直交変換手段
210  逆変換モード制御手段
1000  直交変換手段
1120,1140,1220  直交変換機
1110,1130,2110,2130  スイッチ
1210  前処理機
1230  後処理機
2000  第2逆直交変換手段
2120,2140  逆直交変換機
3000  モード制御手段
4000  制御信号符号機
5000  制御信号復号機
【図１】
0004226172.tif 000002
【図２】
0004226172.tif 000003
【図３】
0004226172.tif 000004
【図４】
0004226172.tif 000005
【図５】
0004226172.tif 000006
【図６】
0004226172.tif 000007
【図７】
0004226172.tif 000008
【図８】
0004226172.tif 000009
【図９】
0004226172.tif 000010
【図１０】
0004226172.tif 000011
【図１１】
0004226172.tif 000012
【図１２】
0004226172.tif 000013
【図１３】
0004226172.tif 000014
【図１４】
0004226172.tif 000015
【図１５】
0004226172.tif 000016
【図１６】
0004226172.tif 000017
【図１７】
0004226172.tif 000018
【図１８】
0004226172.tif 000019
【図１９】
0004226172.tif 000020
【図２０】
0004226172.tif 000021
【図２１】
0004226172.tif 000022
【図２２】
0004226172.tif 000023
【図２３】
0004226172.tif 000024
【図２４】
0004226172.tif 000025