(57)【要約】【課題】隔走査線画素を用いた画像データの符号化方法及び装置を提供する。【解決手段】画像データ符号化方法は映像の所定フレームにおいて現在の走査線の各画素に対する符号化の可否をフレームで現在の走査線の直前走査線の画素と直後走査線の画素との相異により決定する判断段階と、決定により符号化しない画素を除いて前記映像を符号化する符号化段階とを含み、これにより、符号化過程が極端に単純で圧縮効率に優れる。【選択図】図５
2006121718.tif 000002
【特許請求の範囲】
【請求項１】
映像の所定フレームにおいて現在の走査線の各画素に対する符号化の可否を前記フレームで現在の走査線の直前走査線の画素と直後走査線の画素との相異により決定する判断段階と、
前記決定により符号化しない画素を除いて前記映像を符号化する符号化段階と、
を含むことを特徴とする画像データ符号化方法。
【請求項２】
前記画素の相異の判断は排他論理和演算を行ってなることを特徴とする、請求項１に記載の画像データ符号化方法。
【請求項３】
前記判断段階は、
画像の所定フレームで画像データを隔走査線の形のデータに分離する隔走査線分離段階と、
前記フレームで現在走査線の直前及び直後走査線の各画素に対して排他論理和演算する排他論理和段階を含み、
前記符号化段階は、
前記現在走査線の直前及び直後走査線の情報と、前記現在走査線の各画素に相応する排他論理和演算結果値（排他論理和情報）と、前記直前及び直後走査線の画素値は相等しいが、前記現在の走査線の画素値とは異なる現在の走査線画素値（例外情報）を生成するデータ生成段階と、
前記発生された現在走査線の直前、直後走査線情報を符号化してビットストリームに形成し、前記排他論理和情報及び例外情報を符号化して前記形成されたビットストリームと結合して完全なビットストリームに形成するビットストリーム形成段階とを含むことを特徴とする、請求項１に記載の画像データ符号化方法。
【請求項４】
前記現在の走査線が前記フレームで最後の走査線に該当する場合、前記直後走査線を前記直前走査線に代えて排他論理和演算を行うことを特徴とする、請求項２または３に記載の画像データ符号化方法。
【請求項５】
多次隔走査線の処理のために、前記現在の走査線の直前走査線及び直後走査線情報を入力して前記直前及び直後走査線に対して前記排他論理和段階及びデータ生成段階を少なくとも一回行うことを特徴とする、請求項３に記載の画像データ符号化方法。
【請求項６】
前記多次隔走査線の処理は垂直隔走査及び水平隔走査を連続遂行して生成されたデータを符号化することによってなされることを特徴とする、請求項５に記載の画像データ符号化方法。
【請求項７】
前記ビットストリーム形成段階の排他論理和情報の符号化は同一画素値のラン・レングスを求める段階と、
前記求められたラン・レングスを所定のエントロピ符号化方式を使用して符号化する段階とを含んでなることを特徴とする、請求項３に記載の画像データ符号化方法。
【請求項８】
前記ビットストリーム形成段階の排他論理和情報の符号化は、
前記隔走査線分離段階から分離された走査線のうち前記排他論理和情報及び例外情報を含む隔走査線の画素の中前記排他論理和情報に該当する画素を除いた各画素に対して所定の周辺画素値により決定される画素性向特徴値を求める段階と、
前記求められた画素性向特徴値に対して既に設定された確率模型値でマッピングさせる段階と、
前記確率模型値でマッピングされた値を所定のエントロピ符号化方式で符号化する段階とを含んでなることを特徴とする、請求項３に記載の画像データ符号化方法。
【請求項９】
前記ビットストリーム形成段階の例外情報の符号化は、
前記隔走査線分離段階から分離された走査線のうち前記排他論理和情報及び例外情報を含む隔走査線の画素の中前記排他論理和情報に該当する画素を除いた各画素に対して所定の周辺画素値により決定される画素性向特徴値を求める段階と、
前記求められた画素性向特徴値を一次元で再構成する段階と、
前記符号化しようとする例外情報画素の画素性向特徴値を抽出する段階と、
符号化された例外情報画素と直前に符号化された例外情報画素との間に前記抽出された画素性向特徴値と同一値の出現回数を求める段階と、
前記抽出された画素性向特徴値と求められた出現回数を所定のエントロピ符号化方式で符号化する段階を含んでなることを特徴とする、請求項３に記載の画像データ符号化方法。
【請求項１０】
前記ビットストリーム形成段階の例外情報の符号化は、
前記隔走査線分離段階から分離された走査線のうち前記排他論理和情報及び例外情報を含む隔走査線の画素の中前記排他論理和情報に該当する画素を除いた画素に対してセグメント単位に分離する段階と、
前記セグメントの最初の画素に対して所定の周辺画素値により決定される画素性向特徴値を求める段階と、
前記求められた画素性向特徴値と前記セグメントの長さをセグメント単位に一次元で再構成する段階と、
符号化される例外情報画素と直前符号化された例外情報画素との間に前記求められた画素性向特徴値と同一値の出現回数を求める段階と、
前記得られた画素性向特徴値と前記求めた出現回数及び前記セグメントの長さを所定のエントロピ符号化方式で符号化する段階とを含んでなることを特徴とする、請求項３に記載の画像データ符号化方法。
【請求項１１】
セグメントの長さを単位として符号化する情報と符号化しない情報とを選択する損失符号化段階をさらに具備することを特徴とする、請求項８または１０に記載の画像データ符号化方法。
【請求項１２】
発生情報の数または発生ビットの数を測り、それに基づき隔走査線方式の適用順番を定める段階をさらに具備することを特徴とする請求項８または１０に記載の画像データ符号化方法。
【請求項１３】
前記隔走査線方式の適用は、
隔走査線の適用された画像データに再び隔走査線を適用可能なことを特徴とする、請求項１２に記載の画像データ符号化方法。
【請求項１４】
入力される画像の所定フレームで現在走査線の該当行の画素の直前及び直後走査線の該当行の画素に対する排他論理和を利用して前記現在の走査線に対する分析を行い、前記現在の走査線の直前、直後走査線情報、前記排他的論理和演算で選択された画素値及び前記排他的論理和演算から落ちた画素値（例外情報）を形成し、該当次数だけ前記現在の走査線の直前、直後走査線に対する走査線分析を繰返して行う走査線分析器と、
前記該当次数だけ行った後、最終的に発生される前記現在の走査線の直前、直後走査線情報を符号化してビットストリームに形成し、各次数で発生された前記排他的論理和演算に選択された画素及び前記排他的論理和演算から落ちた画素は直ちに前記ビットストリームに合流させる符号化器と、
前記符号化器から出力されるビットストリームを復号化する復号化器と、
前記復号化されたビットストリームに対し、最高次数の直前、直後走査線情報、排他的論理和演算で選択された画素値及び排他的論理和演算から落ちた画素値を用いてその前次数の直前、直後走査線情報を復元し、前記前次数の排他的論理和演算に選択された画素値及び排他的論理和演算から落ちた画素値を用いてその前次数の直前、直後走査線情報を復元することを繰返して行う走査線合成器とを具備することを特徴とする画像データ符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はデータ符号化方法及び装置に係り、特に画像で現在の走査線の直前走査線及び直後走査線の画素を用いて現在の走査線の画素データを符号化する画像データ符号化方法及び装置に関する。
【背景技術】
【０００２】
図1 は既存の形状(shape) 符号化器の構造を示したブロック図である。図1 に示されたように、入力される原映像は形状符号化器11を経てビットストリームに符号化され、符号化されたビットストリーム13で表示される。そして、形状復号化器15では前記符号化されたビットストリーム13を復号化して復元された形状を提供する。
前記既存の形状符号化器では、解像度或いは画質調節のために必要な情報が、実際にこのような調節なく符号化される場合に比べて符号化されたビット量が増大するだけでなく、それに応じるシステムの複雑度も増大される短所がある。特に、このような問題は形状符号化時には大きな負担となり、解像度或いは画質調節機能、伝送エラーに強い符号化、そして伝送率制御などの付加的な多機能が要求される無線通信のような通信環境の場合にはその比重がさらに増大される。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
本発明が解決しようとする技術的課題は、多機能２進画像において隔走査線画素を用いてその間に位置した画素に対する情報を排他的論理和を用いて符号化する画像データ符号化方法及び装置を提供することである。
【課題を解決するための手段】
【０００４】
前記技術的課題を解決するための本発明による画像データ符号化方法は、映像の所定フレームにおいて現在の走査線の各画素に対する符号化の可否を前記フレームで現在の走査線の直前走査線の画素と直後走査線の画素との相異により決定する判断段階と、前記決定により符号化しない画素を除いて前記映像を符号化する符号化段階とを含むことが望ましい。
【０００５】
前記画素の相異の判断は排他論理和(exclusive OR)演算を行うように構成することが好ましい。また、前記判断段階は画像の所定フレームで画像データを隔走査線の形のデータに分離する隔走査線分離段階と、前記フレームで現在走査線の直前及び直後走査線の各画素に対して排他論理和演算する排他論理和段階を含むことが好ましい。
前記符号化段階は前記現在走査線の直前及び直後走査線の情報と、前記現在走査線の各画素に相応する排他論理和演算結果値（排他論理和情報）と、前記直前及び直後走査線の画素値は相等しいが、前記現在の走査線の画素値とは異なる現在の走査線画素値（例外情報）を生成するデータ生成段階と、前記発生された現在走査線の直前、直後走査線情報を符号化してビットストリームに形成し、前記排他論理和情報及び例外情報を符号化して前記形成されたビットストリームと結合して完全なビットストリームに形成するビットストリーム形成段階とを含むように構成できる。
【０００６】
前記画像データ符号化方法は前記現在の走査線が前記フレームで最後の走査線に該当する場合、前記直後走査線を前記直前走査線に代えて排他論理和演算を行うように構成できる。そして、多次隔走査線の処理のために、前記現在の走査線の直前走査線及び直後走査線情報を入力して前記直前及び直後走査線に対して前記排他論理和段階及びデータ生成段階を少なくとも一回行うことが好ましい。
【０００７】
前記ビットストリーム形成段階の排他論理和情報の符号化は同一画素値のラン・レングスを求める段階と、前記求められたラン・レングスを所定のエントロピ符号化方式を使用して符号化する段階とを含む構成とすることができる。そして、前記ビットストリーム形成段階の排他論理和情報の符号化は前記隔走査線分離段階から分離された走査線のうち前記排他論理和情報及び例外情報を含む隔走査線の画素の中前記排他論理和情報に該当する画素を除いた各画素に対して所定の周辺画素値により決定される画素性向特徴値を求める段階と、前記求められた画素性向特徴値に対して既に設定された確率模型値でマッピングさせる段階と、前記確率模型値でマッピングされた値を所定のエントロピ符号化方式で符号化する段階とを含むことが好ましい。
【０００８】
前記ビットストリーム形成段階の例外情報の符号化は前記隔走査線分離段階から分離された走査線のうち前記排他論理和情報及び例外情報を含む隔走査線の画素の中前記排他論理和情報に該当する画素を除いた各画素に対して所定の周辺画素値により決定される画素性向特徴値を求める段階と、前記求められた画素性向特徴値を一次元で再構成する段階と、前記符号化しようとする例外情報画素の画素性向特徴値を抽出する段階と、符号化された例外情報画素と直前に符号化された例外情報画素との間に前記抽出された画素性向特徴値と同一値の出現回数を求める段階と、前記抽出された画素性向特徴値と求められた出現回数を所定のエントロピ符号化方式で符号化する段階を含む構成とすることができる。
【０００９】
前記ビットストリーム形成段階の例外情報の符号化は前記隔走査線分離段階から分離された走査線のうち前記排他論理和情報及び例外情報を含む隔走査線の画素の中前記排他論理和情報に該当する画素を除いた画素に対してセグメント単位に分離する段階と、前記セグメントの最初の画素に対して所定の周辺画素値により決定される画素性向特徴値を求める段階と、前記求められた画素性向特徴値と前記セグメントの長さをセグメント単位に一次元で再構成する段階と、符号化される例外情報画素と直前符号化された例外情報画素との間に前記求められた画素性向特徴値と同一値の出現回数を求める段階と、前記得られた画素性向特徴値と前記求めた出現回数及び前記セグメントの長さを所定のエントロピ符号化方式で符号化する段階とを含む構成とすることができる。
【００１０】
そして、前記画像データ符号化方法はセグメントの長さを単位として符号化する情報と符号化しない情報とを選択する損失符号化段階をさらに具備し、発生情報数または発生ビット数を測り、それに基づき隔走査線方式の適用順番を定める段階をさらに具備することが望ましい。前記隔走査線方式の適用は隔走査線の適用された画像データに再び隔走査線を適用可能なことが望ましい。
【００１１】
前記技術的な課題を解決するための本発明による画像データ符号化装置は、入力される画像の所定フレームで現在走査線の該当行の画素の直前及び直後走査線の該当行の画素に対する排他論理和を利用して前記現在の走査線に対する分析を行い、前記現在の走査線の直前、直後走査線情報、前記排他的論理和演算で選択された画素値及び前記排他的論理和演算から落ちた画素値（例外情報）を形成し、該当次数だけ前記現在の走査線の直前、直後走査線に対する走査線分析を繰返して行う走査線分析器と、前記該当次数だけ行った後最終的に発生される前記現在の走査線の直前、直後走査線情報を符号化してビットストリームに形成し、各次数で発生された前記排他的論理和演算に選択された画素及び前記排他的論理和演算から落ちた画素は直ちに前記ビットストリームに合流させる符号化器と、前記符号化器から出力されるビットストリームを復号化する復号化器と、前記復号化されたビットストリームに対し、最高次数の直前、直後走査線情報、排他的論理和演算に選択された画素値及び排他的論理和演算から落ちた画素値を用いてその前次数の直前、直後走査線情報を復元し、前記前次数の排他的論理和演算に選択された画素値及び排他的論理和演算から落ちた画素値を用いてその前次数の直前、直後走査線情報を復元することを繰返して行う走査線合成器とを具備することが望ましい。
【発明を実施するための最良の形態】
【００１２】
以下、添付された図面に基づき本発明の望ましい実施例を説明する。図２は本発明による隔走査線の分析／合成器を含んだ形状符号化器の構造を示したブロック図であって、走査線分析器21、形状符号化器23、形状復号化器27及び走査線合成器29よりなる。前記図1 に示された形状符号化器に走査線分析器21及び走査線合成器29を挿入して符号化の前と復号化後に、隔走査線に対する処理を行う。
【００１３】
図3 を参照すれば、現在の走査線ｔの２進数値情報はその前走査線ｔ−１と、後走査線ｔ＋１を排他論理和演算を実行して把握されうる。即ち、直前標本と直後画素値とが同じ場合には排他的論理和演算結果が'0' となる。概して現在の画素値が直前、直後の画素値と同一なので、このような場合にはどんな情報も符号化する必要がない。一方、直前画素値または直後画素値と相異なる場合にのみ現在の走査線の画素値を送る。また、ごく少ないことながら、直前、直後の画素値が現在の画素値と異なる場合が存在し、このような情報も符号化対象となる。このような場合、符号化される場合は隔走査線情報、排他的論理和演算として選択された画素値、そして排他的論理和演算から落ちた値などである。
【００１４】
図4 は図3 をさらに詳しく示したものであって、隔走査線(scan interleaving) 処理方法を説明するための一例を示したものである。部材番号400 は２進画像データを隔走査線別に示したものであって、部材番号410 と420 とに分離される。そして、前記隔走査線を構成している画素の黒色円と白色円は２進データを意味する。例えば、白色円は'0' 、黒色円は'1' に表示されうる。部材番号410 は前記部材番号400 の２進画像データを構成している隔走査線（以下、奇数走査線、偶数走査線と称する）のうち１つ（奇数走査線）を示したものであって、ベース階層(base layer)と称する。部材番号420 は前記部材番号400 の２進画像データを構成している隔走査線のうち偶数走査線を示したものであって、改善階層(enhancement layer) と称する。
【００１５】
前記部材番号420 をさらに詳しく説明すれば、四角形に示された画素は現在の走査線の直前走査線及び直後走査線を各画素別に比較して現在の走査線の画素に対して現在の走査線の直前及び直後走査線の該当画素値が変わった場合を示す。即ち、現在の走査線の直前及び直後走査線の各画素を排他論理和してその値が'1' の場合を示す。これを' 排他論理和情報' という。そして、点線円で示された画素は現在の走査線の直前走査線及び直後走査線を各画素別に比較して現在の走査線の画素に対して現在の走査線の直前及び直後走査線の該当画素値が変わってない場合であって、現在の走査線の画素値と直前及び直後走査線の該当画素値が異なる場合を示す。これを' 例外情報' という。従って、前記改善階層420 は排他論理和情報と例外情報及び現在走査線と直前及び直後走査線とが変わらない画素値よりなる。
【００１６】
図5 は1 次(level) 隔走査線分析器の動作を説明する順序図である。図5 に示されたように、入力された形状データはｔ＝１に初期化される（ｔ＝０，１，２・・・，LAST-1）（ステップ500）。ここで、変数ｔは現在の走査線が何本目の走査線なのかを示し、LASTは走査線の数を示す。前記初期化過程を行ってから、現在の走査線が現在フレームの最後の走査線なのかを判断する（ステップ510）。その結果、最後の走査線の場合には（ｔ＋１）番目の走査線を（ｔ−１）番目の走査線と同一に設定し（ステップ520）、 直前走査線で排他的論理和演算をする（ステップ530）。この場合、現在の走査線の内容が直前走査線と異なる場合の画素値は符号化時追加的な情報（即ち、排他的論理和から落ちた値）に送られる。前記ステップ530 で排他的論理和演算を行うと、その結果として隔走査線情報、排他論理和情報及び排他的論理和演算から落ちた例外情報を発生する（ステップ540）。一方、ステップ510 において現在の走査線が最後でない場合にはステップ530 に移行する。一方、前記ステップ530 において排他的論理和演算の後、変数ｔの値が（LAST-2）以上であるか否かを判断し（ステップ550）、変数ｔの値が（LAST-2）以上であれば終了し、そうでない場合には、ｔを2だけ増加させ（ステップ560）、前記ステップ510 を行う。
【００１７】
図6 は図5 にその動作流れが示された1 次隔走査線分析器の隔走査線情報を再び入力に返して多次(multi-level）の機能ができるように構成された隔走査線分析器を示したものである。図6 を参照すれば、原形状データ604 はスイッチ603を通して1 次走査線分析器602 に入力され、図5 のような走査線分析が行われる。その結果、隔走査線情報605 、排他的論理和演算に選択された画素値606 、そして排他的論理和演算から落ちた値を示す例外情報607 を発生する。一方、必要に応じてスイッチ603 を経て隔走査線情報605 を再び1 次走査線分析器602 にフィードバック(feedback)して入力することができ、この場合は多次の隔走査線処理が可能である。最後に発生される隔走査線情報605 は図2 の形状符号化器23に入力され、各次から発生された排他的論理和演算により選択された画素値606 、そして排他的論理和演算から落ちた値を示す例外情報607 が結合されてビットストリームを形成することになる。
【００１８】
一方、隔走査線合成器（図2 の29）における走査線合成過程は図4 の隔走査線分析過程の逆順に進行され、最高次の隔走査線情報、排他的論理和演算として選択された画素値を示す排他論理和情報及び排他的論理和演算から落ちた値を示す例外情報を用いてその前次の隔走査線情報を復元し、再びその次の排他的論理和演算として選択された画素値及び排他的論理和演算から落ちた値を用いてその前次の隔走査線情報を復元する。このような過程は原映像が再現されるまでに繰返して進行される。
【００１９】
表1 は本発明による隔走査線処理方式を使用した場合と、そうでない場合の例を示したものである。表1 のように隔走査線処理方式を付加してもビット量は大きく増加しなく、隔走査線処理方式の場合附加情報に対してエントロピ符号化を使用していないのでエントロピ符号化を使用するベースライン(base line) 符号化自体の結果との差は大きくない。また、隔走査線処理方式の場合、圧縮効率以外の多機能を提供する反面、ベースライン符号化には多機能が内在されていない。
【００２０】
【表１】
2006121718.tif 000003
従って、本発明は形状データの場合、走査線間の相関関係が高いため、直前、直後の走査線画素に対して排他的論理和演算を行なうことにより、現在の走査線画素の符号化量を効果的に減らせるようにする。即ち、図3 のように現在の走査線画素9 個の情報を9 ビットに送らなく、ただ排他的論理和演算を利用して附加情報2 ビットのみでも表現しうる。
【００２１】
一方、前記図4 のベース階層410 の走査線は通常の方式で符号化してビットストリームに形成し、前記改善階層420 の前記排他論理和情報と例外情報とに対するさらに効率的な符号化方法を説明する。まず、排他論理和情報の符号化方法に対して説明する。前記改善階層420 において四角形で示された排他論理和情報に対しては同一画素値のラン・レングス(Run-length)を用いた符号化方法を使用し、これに対する説明を図7 に示した。
【００２２】
図7 において部材番号700 は図4 の符号化対象情報として示された改善階層420 を例示的に使用したものである。この場合の符号化対象の排他論理和画素は部材番号710 のように四角形で示された場合の画素である。これら画素は部材番号720 のように一次元情報で再構成でき、このような一次元情報をよく見ると同じ値を有する画素が引続き現れる性向があることが分かる。本発明では排他論理和情報に対して部材番号720 のような排他論理和情報の一次元配列における同一値のラン・レングス(R1 、R2、R3、R4、．．．、Rn)330を求め、その値を適するエントロピ符号化方法等を使用して符号化することにより符号化ビット効率を高めうる。
【００２３】
一方、図8 は前記排他論理和情報の符号化方法を示した流れ図であって、排他論理和情報の符号化方法に対して説明する。前記改善階層420 において点線円で示された例外情報に対しては符号化対象画素の周辺画素値の性向(context) を考慮した所定の画素性向特徴値を限定し、その情報に対する出現回数を符号化する。
図9 は例外情報に対する符号化方法を説明するための画像データを示す。部材番号900 は図4 の符号化対象情報の改善階層420 を例示的に示し、一般的な場合の例外情報の符号化を説明する。前記改善階層900 における部材番号904 、906、908 は各々本来の２進画像における位置の(x1 、y1) 、(xn-1 、yn-1) 、(xn、yn）の座標で例外情報が表れることを示している。
【００２４】
このような例外情報の符号化において、画像の縁部に画素が存在しない一般的な場合は、図10ように元の画像における符号化対象画素Pxy に対して周辺6 個の画素(P1 、P2、．．．、P6）の性向を考慮した画素性向特徴値を求め、画像の縁部に位置した画素に対しては所定の方法の画素複製を通して周辺6 個の値(P1 、P2、．．．、P6) を限定して画素性向特徴値を求める。前記図10のような場合の画素性向特徴値の限定を式で示すと数学式1 のようであり、任意の画素位置(x、y)における画素Pxy の画素性向特徴値は数学式1 のようにF(Pxy)に示される。
＜数1 ＞
F(Pxy)= P1、P2、P3、P4、P5、P6
F(Pxy)：任意の画像における画素位置(x、y)での画素性向特定値
従って、前記例外情報に対して符号化するためにはまず前記改善階層900 の画素のうち前記論理和情報に該当する画素を除外した各画素に対して前記数学式1を使用して画素性向特徴値を求める（ステップ810）。このような場合、部材番号900 のような隔走査線処理される画素に対する画素性向特徴値は図7 のように一次元的に再構成しうる（ステップ820）。
【００２５】
それから、符号化される例外情報画素における画素性向特徴値を抽出する（ステップ830）。ここで、例外情報に対する符号化はまず904 のような最初の例外情報画素に対しては図11の部材番号110 のように最初から画素性向特徴値（130）の前までの画素性向特徴値のうち画素性向特徴値（130 ）と同一な画素性向特徴値の出現回数を求め（ステップ840）、 その値を適するエントロピ符号化方法等を用いて符号化する（ステップ850）。また部材番号908 のような任意の座標(xn 、yn) に位置した例外情報はその直前の例外情報（906 ）の画素性向特徴値（140 ）と現在の値（150 ）の間に自分の画素性向特徴値（150 ）と同一な値の出現回数を求め（ステップ840）、 その値を適合したエントロピ方法等を用いて符号化する（ステップ850）。
【００２６】
以上をまとめると、例外情報の符号化は次のような方法で行われる。
(1) 隔走査線処理される各画素に対して数学式1 を用いて画素性向特徴値を求める。
(2) 前記(1) から得られた画素性向特徴値を一次元的に再構成する。
(3) 符号化される例外情報画素における画素性向特徴値を抽出する。
(4) 符号化される例外情報画素と直前に符号化された例外情報画素との間で、(3) から得た値と同一な値の出現回数を求める。
(5) 前記(4) から求めた出現回数をエントロピ符号化等を用いて符号化する。
【００２７】
この際、最初に表れる例外情報画素の場合は前に符号化された例外情報がないので隔走査線処理されて最初から現在の画素までの間に表れる出現回数を用いてエントロピ符号化等の方法で符号化する。このような例外情報の符号化時、図12のような周辺画素を有する例外情報画素に対しては前述した図9 乃至図11の方法を使用しなく個別的に処理する事も出来る。
【００２８】
一方、前記排他論理和情報を符号化するさらに他の方法に対して説明する。前記改善階層420 において四角形で示された排他論理和情報に対しては画素性向特徴値を用い、これに対した説明は図7 に示した。図7 において部材番号700 は図4 の符号化対象情報として示された改善階層420 を例示的に使用したものである。この場合の符号化対象の排他論理和画素は部材番号710 のように四角形で示された場合の画素である。この画素が縁部に存在しない一般的な場合は、図10のように元の画像における符号化対象画素Pxy に対して周辺6 個の画素(P1 、P2、．．．P6）の性向を考慮した画素性向特徴値を求め、画像の縁部に位置した画素に対しては所定の方法の画素複製を通して周辺6 個の値(P1 、P2、．．．P6) を限定して画素性向特徴値を求める。前記図10のような場合の画素性向特徴値の限定を式で示すと前記数学式1 のようであり、任意の画素位置(x、y)における画素Pxy の画素性向特徴値は数学式1 のようにF(Pxy)に示される。
【００２９】
前記数学式1 から１つの画素を符号化するためには6 個の周辺画素値を利用するので１画素当り総64個の確率模型が構成されうる。従って前記排他論理和情報は前記のように周辺画素情報を用いた画素性向特徴値が求められ、この値を用いた確率模型を求め、この確率模型に基づき画素値を符号化する。以上をまとめると、排他論理和情報の符号化は次のような方法で行われる。まず、排他論理和情報値が1 になると、排他論理和情報で抽出して前記数学式1 を用いて画素性向特徴値を求める。それから、前記求められた画素性向特徴値に基づいた所定の確率模型に基づきエントロピ符号化する。
【００３０】
そして、前記例外情報を符号化するさらに他の方法を説明すれば次のようである。例外情報符号化は画素性向特徴値とその特徴値のラン(run) を符号化し、また例外情報画素のランを符号化して送る。図9 は例外情報に対する符号化方法を説明するための画像データを示す。部材番号900 は図4 の符号化対象情報の改善階層420 を例示的に示したものである。前記改善階層900 における部材番号904、906 、908 は各々元の２進画像での位置の(x1 、y1) 、(xn-1 、yn-1) 、(xn、yn）の座標から例外情報が現れることを示している。このような例外情報の符号化は画像の縁部に画素が存在しない一般的な場合は、図10のように元の画像における符号化対象画素Pxy に対して周辺6 個の画素(P1 、P2、．．．、P6）の性向を考慮した画素性向特徴値を求め、画像の縁部に位置した画素に対しては所定の方法の画素複製を通して周辺6 個の値(P1 、P2、．．．、P6) を限定して画素性向特徴値を求める。
【００３１】
例外情報符号化の画素性向特徴値とその特徴値のランを符号化する方法は図8の説明と同様である。ところが、前述した例外情報符号化方法は例外情報が連続的に繋がらない場合に該当することであり、例外情報が連続的に繋がる時は上記の方法に追加して次のように符号化する。図13のように連続的な例外情報1310が現れる時、前記例外情報各々に対して性向特徴値とそれに対したラン(run) を連続的に符号化する代わりに、画素セグメント(segment）の長さを別に符号化1320することである。ここで、セグメントとは、ライン(line)セグメントであって、画像データを符号化する時画素が排他論理和情報及び例外情報のうち１つで示される際、前記排他論理和情報（または例外情報）が連続的に繋がる画素の集合を意味する。例えば、排他論理和情報が連続的に5 個の画素に繋がると、セグメントの長さは5 となる。部材番号1330は連続画素情報1310を符号化した例である。
【００３２】
即ち、最初の画素に対してのみ位置情報を得るために画素性向特徴値を求め、連続される画素に対しては前記最初の画素の位置情報を用いて符号化することにより圧縮効率を高めうる。
一方、このような例外情報の符号化時、図12のような周辺画素を有する例外情報画素に対しては前述した方法を使用せずに個別的に処理する事も出来る。
【００３３】
一方、損失符号化(lossy coding ）の場合セグメントの長さを単位として符号化する情報と符号化しない情報とを選択しうる。例えば、セグメントの長さが5以上のものは符号化し、5 より小さいのは符号化しなくてもよい。この際、与えられたセグメント長さは損失符号化のための単位であって、復号器で前記損失符号化されたデータを復号化する時は、排他論理和情報が与えられたセグメント長さ以下の場合には復号化せず、そのセグメントに対する予測値のみ満たす。そして、例外情報の場合は既に与えられたセグメント長さ以下の画素は例外情報から除けて符号化するため復号器では例外情報に対する処理はない。排他論理和情報を予測値のみ満たす場合には数学式1 のような確率模型を使用して確率の高い方に画素値を予測して満たせる。
【００３４】
前記方法は排他論理和情報に対して画素性向を使用して符号化することであって、周辺画素性向の強い相関関係を圧縮効果に用いた。隔走査線方式の適用順序（水平、垂直または垂直、水平）を効率的に適用するために発生情報の数を測り、それに基づき適用順序を定めた。即ち、隔走査線を水平方向にするか、または垂直方向にするかの決定において、例えば水平方向に隔走査線を適用して排他論理和情報及び例外情報の発生回数を求め、また垂直方向に隔走査線を適用して排他論理和情報及び例外情報の発生回数を求める。それから前記求められた発生回数を比較してその数の小さい方向に隔走査線を適用する。
このように隔走査線方式はその階層を備えることも出来る。即ち、隔走査線の適用を一回に限定せず、数回適用しうる。このように適用する回数を階層(layer) に区別しうる。例えば、一回適用したことを第1 階層とすれば、第1 階層に対してもう一回適用することを第2 階層等に拡張しうる。そして、適用方向も水平及び垂直を状況により弾力的に適用しうる。図14は隔走査線方式の適用順序に応じる符号化のための一例を示したブロック図である。
【００３５】
図14に示されたように入力データに対して前述した隔走査線方式を水平走査方向に適用する。これを垂直隔走査（Vertical Scan Interleaving）と称する。前記垂直隔走査によって生成されたデータに対して再び垂直走査方向に前述した隔走査線方式を適用する。これを水平隔走査（Horizontal Scan Interleaving）と称する。このように垂直隔走査及び水平隔走査を連続遂行して生成されたデータに対して所定の効率的な符号化方式を用いて符号化する。
【００３６】
例外情報の場合、画素が連続的にセグメント単位で発生することが多く、これを効率よく符号化するため例外情報画素を符号化する度に画素セグメントの長さを符号化する。
【産業上の利用可能性】
【００３７】
前述したように、本発明によれば画像あるいは形状符号化器において、現在の走査線に対する直前、直後走査線の画素に対して排他論理和演算を行い、直前、直後走査線の画素値が相異なる場合にのみ現在の走査線の画素を符号化して伝送することにより、その符号化過程が極端に単純で圧縮効率に優れた利点がある。
また、その符号化過程が独立的であるため、いかなる形状符号化器とも結合して使用でき、多次を用いて多重解像度の具現が極少ない複雑度で可能である。
【００３８】
また、主演算が排他的論理和演算であって、極端に単純で速い演算が可能なので、価格、性能、そして速度面で有利であり、画質調整が容易である。
また、附加情報に対するエントロピ符号化を行わなくても効果的な圧縮が可能であり、よって伝送誤差の大きな通信環境に優れた構造である。
特に、排他論理和情報に対しては排他的論理和情報を一次元的に再構成し、同一画素値のラン・レングスを適したエントロピ符号化を用いて符号化する。
【００３９】
また、例外情報に対しては２進画像で隔走査線処理される各画素に対した画素性向特徴値を求めて一次元的に再構成し、任意の例外情報の直前の例外情報と現在の例外情報との間の画素性向特徴値のうち現在の例外情報画素の画素性向特徴値と同一な値の出現回数をエントロピ符号化等を用いて符号化する。
こうして符号化過程が極端に単純で圧縮効率を高めうる。
【００４０】
また、排他論理和情報及び例外情報に対して符号化対象画素の周辺画素値の性向を考慮した画素性向特徴値を限定して２進画像で隔走査線処理される各画素に対する画素性向特徴値を求めて所定の確率模型に応じてエントロピ符号化し、特に例外情報の処理時、画素のセグメント単位の処理のためのランの符号化で追加的な圧縮効果をもたらす。
そして隔走査線方式の適用順序及び損失符号化を考慮することにより圧縮効率を高めうる。
【図面の簡単な説明】
【００４１】
【図１】一般的な形状符号化器の構造図である。
【図２】本発明による隔走査線分析/ 合成器を含んだ形状符号化器の構造図である。
【図３】本発明において適用された隔走査線処理の例を示した図面である。
【図４】隔走査線処理方法を説明するための一例を示した図面である。
【図５】本発明による1 次隔走査線分析器の動作流れ図である。
【図６】本発明による多次隔走査線分析器の構造図である。
【図７】改善階層において四角形で示された排他論理和情報に対する符号化方法を説明するための図面である。
【図８】排他論理和情報の符号化方法を示した流れ図である。
【図９】例外情報に対する符号化方法を説明するための画像データを示した図面である。
【図１０】元の画像における符号化対象画素Pxy に対して周辺6 個の画素(P1 、P2、．．．、P6) を示した図面である。
【図１１】改善階層の画素のうち論理和情報に該当する画素を除けた各画素に対した画素性向特徴値を一次元的に再構成した図面である。
【図１２】図9 乃至図11の方法を使用しなく個別的に処理しうる例外情報に対する例外情報画素及びその周辺画素を示した図面である。
【図１３】本発明による例外情報の符号化方法を説明するための図面である。
【図１４】隔走査線方式の適用順序に応じる符号化のための一例を示したブロック図である。
【図１】
2006121718.tif 000004
【図２】
2006121718.tif 000005
【図３】
2006121718.tif 000006
【図４】
2006121718.tif 000007
【図５】
2006121718.tif 000008
【図６】
2006121718.tif 000009
【図７】
2006121718.tif 000010
【図８】
2006121718.tif 000011
【図９】
2006121718.tif 000012
【図１０】
2006121718.tif 000013
【図１１】
2006121718.tif 000014
【図１２】
2006121718.tif 000015
【図１３】
2006121718.tif 000016
【図１４】
2006121718.tif 000017
【手続補正書】
【提出日】平成17年11月25日(2005.11.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
映像シーケンスにおいて任意サイズの入力データブロックよりなる所定フレームにおいて、
現在の走査線の直前走査線の画素と直後走査線の画素との比較結果と、前記現在走査線の画素と前記直前走査線あるいは直後走査線の画素間の比較結果に基づき前記現在走査線の画素に対して符号化するか否かを判断する判断段階と、
符号化しないように判断された画素を除き、前記フレームで走査線の画素を符号化する形状符号化段階と、
を含むことを特徴とする映像データ符号化方法。
【請求項２】
前記画素の比較は排他論理和演算を通して行われることを特徴とする請求項１に記載の映像データ符号化方法。
【請求項３】
前記判断段階は、
前記映像シーケンスで前記フレームの画像データを隔走査線の形のデータに分離する隔走査線分離段階と、
前記フレームで前記現在走査線の直前走査線の画素と直後走査線の画素に対して排他論理和演算を行い、前記現在走査線の画素と前記直前走査線あるいは直後走査線の画素に対してはいた論理和演算を行う排他論理和段階と、
を含むことを特徴とする請求項１に記載の映像データ符号化方法。
【請求項４】
前記フレームにおいて前記現在走査線が最終走査線に該当する場合、前記直前走査線を前記直後走査線に代えて前記排他論理和演算を行うことを特徴とする請求項２または３に記載の映像データ符号化方法。
【請求項５】
前記符号化段階は、  
前記現在走査線の直前走査線及び直後走査線の情報、前記現在走査線の各画素に対応して前記直前走査線の画素と前記直後走査線の画素間の排他論理和演算の結果値(排他論理和情報)、前記直前走査線の画素値と前記直後走査線の画素値は同一であるがその画素値が前記同一な直前走査線及び直後走査線の画素値と相異なる現在走査線の画素値(例外情報)を生成する情報生成段階と、
前記現在走査線の直前走査線及び直後走査線情報、前記排他論理和情報及び前記例外情報を符号化して前記ビットストリームを生成するビットストリーム生成段階と、
を含むことを特徴とする請求項３に記載の映像データ符号化方法。
【請求項６】
前記排他論理和情報の符号化は、
同一画素値のランレングスを求める段階と、
前記求められたランレングスをエントロピ符号化する段階と、
を含むことを特徴とする請求項３に記載の映像データ符号化方法。
【請求項７】
前記排他論理和情報の符号化は、
前記隔走査線分離段階で分離された走査線に対して、前記排他論理和情報及び前記例外情報を含む走査線の画素のうち前記排他論理和情報に対応する画素を除いた画素に対して周辺画素値によって決定される画素性向特徴値を求める段階と、
前記求められた画素性向特徴値を確率模型値にマッピングさせる段階と、
前記確率模型値にマッピングされた値をエントロピ符号化する段階とを含むことを特徴とする請求項５に記載の映像データ符号化方法。
【請求項８】
前記例外情報の符号化は、
前記隔走査線分離段階で分離された走査線に対して、前記排他論理和情報及び前記例外情報を含む走査線の画素のうち前記排他論理和情報に対応する画素を除いた画素に対して周辺画素値によって決定される画素性向特徴値を求める段階と、
前記求められた画素性向特徴値を一次元的に再構成する段階と、
前記符号化しようとする例外情報に該当する画素の画素性向特徴値を抽出する段階と、
符号化しようとする例外情報に該当する画素と直前に符号化された例外情報に該当する画素の間で、前記抽出された画素性向特徴値と同一である値の出現回数を求める段階と、
前記抽出された画素性向特徴値と前記求められた出現回数をエントロピ符号化する段階と、
を含むことを特徴とする請求項５に記載の映像データ符号化方法。
【請求項９】
前記例外情報の符号化は、  
前記隔走査線分離段階で分離された走査線に対して，前記排他論理和情報及び前記例外情報を含む走査線の画素のうち前記排他論理和情報に対応する画素を除いた画素をセグメント単位に分離する段階と、
前記セグメントの一番目の画素に対して周辺画素値により決定される画素性向特徴値を求める段階と、
前記求められた画素性向特徴値と前記セグメントの長さを一次元に再構成する段階と、
符号化しようとする例外情報に該当する画素の画素性向特徴値を抽出する段階と、
前記符号化しようとする例外情報に該当する画素と直前に符号化された例外情報に該当する画素との間で、前記抽出された画素性向特徴値と同一である値の出現回数を求める段階と、
前記抽出された画素性向特徴値, 前記求められた出現回数と前記セグメントの長さをエントロピ符号化する段階と、
を含むことを特徴とする請求項５に記載の映像データ符号化方法。
【請求項１０】
前記セグメントの長さを単位として符号化する情報と符号化しない情報を選択する損失符号化段階をさらに含むことを特徴とする請求項９に記載の映像データ符号化方法。
【請求項１１】
前記隔走査線分離段階は水平走査方向及び垂直走査方向に対して連続的に行われることを特徴とする請求項３に記載の映像データ符号化方法。
【請求項１２】
映像シーケンスにおいて任意サイズの入力データブロックよりなる所定フレームにおいて、
現在走査線の直前走査線の画素と直後走査線の画素との比較結果と、前記現在走査線の画素と前記直前走査線あるいは直後走査線の画素間の比較結果に基づき前記現在走査線の画素に対して符号化するか否かを決定する走査線分析を行う走査線分析器と、
前記直前走査線及び直後走査線の画素と、前記走査線分析器の分析結果符号化しないように決定された現在走査線の画素を除いた前記現在走査線の画素を符号化してビットストリームを形成する形状符号化器と、
を含むことを特徴とする映像データ符号化装置。
【請求項１３】
前記走査線分析器における走査線分析は水平走査方向及び垂直走査方向に対して連続的に行われることを特徴とする請求項１２に記載の映像データ符号化装置。
【請求項１４】
前記走査線分析器における走査線分析は排他論理和演算を通して行われることを特徴とする請求項１２に記載の映像データ符号化方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００４
【補正方法】変更
【補正の内容】
【０００４】
前記技術的課題を解決するための本発明による映像データ符号化方法は、映像シーケンスにおいて任意サイズの入力データブロックよりなる所定フレームにおいて、現在の走査線の直前走査線の画素と直後走査線の画素との比較結果と、前記現在走査線の画素と前記直前走査線あるいは直後走査線の画素間の比較結果に基づき前記現在走査線の画素に対して符号化するか否かを判断する判断段階と、符号化しないように判断された画素を除き、前記フレームで走査線の画素を符号化する形状符号化段階とを含む。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
前記画素の比較は排他論理和演算を通して行われることが好ましい。また、判断段階は、映像シーケンスで前記フレームの画像データを隔走査線の形のデータに分離する隔走査線分離段階と、前記フレームで前記現在走査線の直前走査線の画素と直後走査線の画素に対して排他論理和演算を行い、前記現在走査線の画素と前記直前走査線あるいは直後走査線の画素に対してはいた論理和演算を行う排他論理和段階とを含むことが好ましい。さらに、前記フレームにおいて前記現在走査線が最終走査線に該当する場合、前記直前走査線を前記直後走査線に代えて前記排他論理和演算を行うことが好ましい。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
前記符号化段階は、前記現在走査線の直前走査線及び直後走査線の情報、前記現在走査線の各画素に対応して前記直前走査線の画素と前記直後走査線の画素間の排他論理和演算の結果値(排他論理和情報)、前記直前走査線の画素値と前記直後走査線の画素値は同一であるがその画素値が前記同一な直前走査線及び直後走査線の画素値と相異なる現在走査線の画素値(例外情報)を生成する情報生成段階と、前記現在走査線の直前走査線及び直後走査線情報、前記排他論理和情報及び前記例外情報を符号化して前記ビットストリームを生成するビットストリーム生成段階とを含むように構成できる。
前記排他論理和情報の符号化は、同一画素値のランレングスを求める段階と、前記求められたランレングスをエントロピ符号化する段階とを含むように構成できる。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
前記排他論理和情報の符号化は、前記隔走査線分離段階で分離された走査線に対して、前記排他論理和情報及び前記例外情報を含む走査線の画素のうち前記排他論理和情報に対応する画素を除いた画素に対して周辺画素値によって決定される画素性向特徴値を求める段階と、前記求められた画素性向特徴値を確率模型値にマッピングさせる段階と、前記確率模型値にマッピングされた値をエントロピ符号化する段階とを含む構成とすることができる。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
前記例外情報の符号化は、前記隔走査線分離段階で分離された走査線に対して、前記排他論理和情報及び前記例外情報を含む走査線の画素のうち前記排他論理和情報に対応する画素を除いた画素に対して周辺画素値によって決定される画素性向特徴値を求める段階と、前記求められた画素性向特徴値を一次元的に再構成する段階と、前記符号化しようとする例外情報に該当する画素の画素性向特徴値を抽出する段階と、符号化しようとする例外情報に該当する画素と直前に符号化された例外情報に該当する画素の間で、前記抽出された画素性向特徴値と同一である値の出現回数を求める段階と、前記抽出された画素性向特徴値と前記求められた出現回数をエントロピ符号化する段階とを含む構成とすることができる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
前記例外情報の符号化は、前記隔走査線分離段階で分離された走査線に対して，前記排他論理和情報及び前記例外情報を含む走査線の画素のうち前記排他論理和情報に対応する画素を除いた画素をセグメント単位に分離する段階と、前記セグメントの一番目の画素に対して周辺画素値により決定される画素性向特徴値を求める段階と、前記求められた画素性向特徴値と前記セグメントの長さを一次元に再構成する段階と、符号化しようとする例外情報に該当する画素の画素性向特徴値を抽出する段階と、前記符号化しようとする例外情報に該当する画素と直前に符号化された例外情報に該当する画素との間で、前記抽出された画素性向特徴値と同一である値の出現回数を求める段階と、前記抽出された画素性向特徴値, 前記求められた出現回数と前記セグメントの長さをエントロピ符号化する段階とを含むことが好ましい。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
前記セグメントの長さを単位として符号化する情報と符号化しない情報を選択する損失符号化段階をさらに含むことが好ましい。
前記隔走査線分離段階は水平走査方向及び垂直走査方向に対して連続的に行われることが好ましい。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
前記技術的な課題を解決するための本発明による映像データ符号化装置は、映像シーケンスにおいて任意サイズの入力データブロックよりなる所定フレームにおいて、現在走査線の直前走査線の画素と直後走査線の画素との比較結果と、前記現在走査線の画素と前記直前走査線あるいは直後走査線の画素間の比較結果に基づき前記現在走査線の画素に対して符号化するか否かを決定する走査線分析を行う走査線分析器と、前記直前走査線及び直後走査線の画素と、前記走査線分析器の分析結果符号化しないように決定された現在走査線の画素を除いた前記現在走査線の画素を符号化してビットストリームを形成する形状符号化器とを含む。
ここで、前記走査線分析器における走査線分析は水平走査方向及び垂直走査方向に対して連続的に行われることが好ましい。また、前記走査線分析器における走査線分析は排他論理和演算を通して行われることが好ましい。