【手続補正書】
【提出日】平成16年9月16日(2004.9.16)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【書類名】      明細書
【発明の名称】  画像符号化装置及び画像符号化方法
【特許請求の範囲】
【請求項１】
画像信号を構成する画素値を、被符号化画素の周辺に位置する複数の周辺画素の画素値に基づいて符号化する画像符号化装置であって、
上記画像信号を、所定数の画素からなるブロックに分割するブロック化手段と、
上記被符号化画素の周辺に位置する複数の周辺画素のうちの未符号化画素の画素値を、該複数の周辺画素のうちの符号化済画素の画素値から所定の規則に基づいて得られる擬似画素値と置換する画素値置換手段と、
上記ブロックに対応する複数の画素からなる画像信号を、上記符号化済画素の画素値及び上記未符号化画素の擬似画素値に基づいて符号化して符号化信号を出力する符号化手段と、
上記符号化信号を復号化して復号化済画素値を生成する局所復号化手段とを備え、
上記画素値置換手段は、上記未符号化画素の画素値を、上記符号化済画素に対応する復号化済画素の画素値から所定の規則に基づいて得られる擬似画素値と置換し、
上記符号化手段は、上記符号化信号を復号化して得られた復号化済画素値及び上記未符号化画素の擬似画素値を参照して、上記被符号化画素の画素値に対して非可逆符号化処理を施す、
ことを特徴とする画像符号化装置。
【請求項２】
画像信号を構成する画素値を、被符号化画素の周辺に位置する複数の周辺画素の画素値に基づいて符号化する画像符号化方法であって、
上記画像信号を、所定数の画素からなるブロックに分割するブロック化ステップと、
上記被符号化画素の周辺に位置する複数の周辺画素のうちの未符号化画素の画素値を、該複数の周辺画素のうちの符号化済画素の画素値から所定の規則に基づいて得られる擬似画素値と置換する画素値置換ステップと、
上記ブロックに対応する複数の画素からなる画像信号を、上記符号化済画素の画素値及び上記未符号化画素の擬似画素値に基づいて符号化して符号化信号を出力する符号化ステップと、
上記符号化信号を復号化して復号化済画素値を生成する局所復号化ステップとを有し、
上記画素値置換ステップでは、上記未符号化画素の画素値を、上記符号化済画素に対応する復号化済画素の画素値から所定の規則に基づいて得られる擬似画素値と置換し、
上記符号化ステップでは、上記符号化信号を復号化して得られた復号化済画素値及び上記未符号化画素の擬似画素値を参照して、上記被符号化画素の画素値に対して非可逆符号化処理を施す、
ことを特徴とする画像符号化方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像符号化装置及び画像符号化方法に関し、特に画像信号の記録あるいは伝送を、より少ないビット数でもって画質を損なうことなく行うための符号化処理に関するものである。
【０００２】
【従来の技術】
従来の画像符号化処理は、ＭＰＥＧ２準拠の符号化方法により代表されるブロック単位で行われる符号化処理と、差分パルス符号変調（ＤＰＣＭ：Differential Pulse Code Modulation）等の画素単位で行われる符号化処理の２つに大別される。
【０００３】
ブロック単位の符号化処理は、１画像表示領域を複数のブロックに区分し、入力される画像信号（以下、画像入力信号ともいう。）の符号化処理を各ブロック毎に行う手法である。ここで、上記１画像表示領域は、ＭＰＥＧ２に準拠した符号化処理では１つの表示画面に相当するものであり、また、ＭＰＥＧ４に準拠した符号化処理では、１つの表示画面上の個々の物体（オブジェクト）に対応した形状及び大きさを有する表示領域に相当するものである。また、上記各ブロックは１画像表示領域内における所定数の画素からなる表示領域であり、該ブロックの形状としては処理が容易な矩形形状がよく使用される。
【０００４】
このようにブロック単位で画像入力信号の符号化処理を行う符号化方法では、１画像表示領域に対応する画像入力信号の符号化処理が、各ブロック毎に完結することとなる。このため、上記画像入力信号に符号化処理を施して得られる画像符号化信号を伝送する際に伝送誤りが発生しても、誤りの影響をブロック単位で収束させることが可能であるという長所がある。
【０００５】
その反面、上記ブロック単位の符号化方法では以下のような欠点がある。
まず、ブロック単位の符号化方法では、画像入力信号の符号化処理がブロック毎に完結するため、ブロック間の画素相関，つまり異なるブロック間に存在する画素値の相関性を符号化処理の際に利用することが困難である。
【０００６】
また、画像信号の予測符号化方法では、符号化の対象となる被符号化画素の画素値（被符号化画素値）を、これより先に符号化した複数の符号化済画素の画素値（符号化済画素値）を参照して予測し、該予測した画素値を用いて被符号化画素値を適応的に符号化する処理を行っている。ところが、このような予測符号化方法において符号化処理をブロック単位で行うと、被符号化画素値の符号化の際に参照される符号化済画素値がブロック内の画素に限定され、該参照される符号化済画素値の数が少なくなる。このため、被符号化画素の予測値の確からしさが小さくなり、符号化効率があまり高くならない。
【０００７】
一方、 画素単位の符号化方法は、入力される画像信号を画素毎に符号化する手法であり、この符号化方法では、画像入力信号の符号化処理を画素単位で変更することも可能である。このため、この符号化方法において、例えば、 画像入力信号の特性に合わせて符号語が画素毎に自動的に更新される適応算術符号化等のユニバーサル符号化処理を行うようにすれば、どのような特性の画像信号も非常に高い符号化効率でもって符号化することができる。
【０００８】
ところが、上記ユニバーサル符号化処理を行う画素単位の符号化方法により得られた画像符号化信号には、復号化側にて、符号化側と全く同様に符号語を更新する復号化処理が施されるため、上記画像符号化信号を伝送する際に伝送誤りが発生すれば、復号化側では、該伝送誤りの影響により、画像符号化信号の復号化処理を正しく行うことができない状態が長く続くという短所がある。
【０００９】
ところで、上記ブロック単位の符号化方法と画素単位の符号化方法は組み合わせることも可能であり、これらを組み合わせた符号化方法（以下、説明の都合上この符号化方法を組合せ符号化方法という。）では、画素毎に適応的に符号語を切り替え、かつ伝送誤りの影響をブロック単位で収束することが可能となり、符号化効率の高い適応算術符号化等の符号化処理を伝送誤りの影響を小さく抑えつつ行うことができる。
【００１０】
以下、この組合せ符号化方法について説明する。
図１３(a)は１フレーム画面を複数の矩形形状のブロックに区分した状態を示しており、図１３(b)はブロック内，特に符号化対象となっている被符号化ブロック及びその周辺のブロック内での画素の配列を示している。なお、各画素は、１フレーム画面内の各水平走査線に沿ってマトリクス状に配列されていることは言うまでもない。
【００１１】
図中、ＦＧは１フレームに対応する画面、Ｂ１はすでに画像信号に対する符号化処理が施された符号化済ブロック、Ｂｘは符号化処理の対象となっている被符号化ブロック、Ｂ０は未だ画像信号に対する符号化処理が施されていない未符号化ブロックである。ただし、上記各ブロックを区別しない場合はブロックＢと記載する。ＢＬｕ，ＢＬｓ，ＢＬｈ，ＢＬｍは１フレーム画面上での被符号化ブロックの上，下，左，右の境界である。また、実線の丸印はその画素値に対する符号化処理が既に施された符号化済画素を示し、点線の丸印はその画素値に対する符号化処理が未だ施されていない未符号化画素を示している。また、上記各ブロックＢは、上記１フレーム画面ＦＧ上における、４×４画素からなる画像表示領域である。
【００１２】
図１４は、符号化処理の対象となる被符号化画素Ｐｘと、その周辺に位置する周辺画素Ｐ０〜Ｐ９との位置関係を示しており、この周辺画素Ｐ０〜Ｐ９はその画素値が、被符号化画素Ｐｘの画素値を予測する際に参照されるものであり、以下参照画素Ｐ０〜Ｐ９という。
【００１３】
ここで、上記参照画素Ｐ８，Ｐ９は上記被符号化画素Ｐｘと同一の水平走査線上に位置する画素であり、該参照画素Ｐ９，Ｐ８はそれぞれ、上記被符号化画素Ｐｘの１画素分，２画素分だけ手前に位置している。また、上記参照画素Ｐ５，Ｐ１の、１フレーム画面ＦＧ上での水平方向における位置は、上記被符号化画素Ｐｘと同一であり、上記参照画素Ｐ５，Ｐ１はそれぞれ、上記被符号化画素Ｐｘの１画素分，２画素分だけ上の水平走査線上に位置している。さらに、上記参照画素Ｐ３，Ｐ４，Ｐ６，Ｐ７は上記参照画素Ｐ５と同一の水平走査線上に位置する画素であり、該参照画素Ｐ４，Ｐ３はそれぞれ上記被符号化画素Ｐｘの１画素分，２画素分だけ手前に位置し、該参照画素Ｐ６，Ｐ７はそれぞれ上記被符号化画素Ｐｘの１画素分，２画素分だけ後ろに位置している。さらに、上記参照画素Ｐ０，Ｐ２は上記参照画素Ｐ１と同一の水平走査線上に位置する画素であり、該参照画素Ｐ０は上記参照画素Ｐ１の１画素分だけ手前に、該参照画素Ｐ２は上記参照画素Ｐ１の１画素分だけ後ろに位置している。
【００１４】
上記組合せ符号化方法では、まず、図１３(a)、図１３(b) に示すように、１フレーム画面ＦＧに対応する画像信号が、該１フレーム画面を構成する複数のブロックＢの各々に対応するよう分割され、該分割された画像信号の符号化処理が各ブロック毎に行われる。
【００１５】
そして、このブロック単位の符号化処理は、ブロックＢ内における横方向画素列に沿って順次左側から右側へ向かって各画素の画素値を符号化する水平処理を、上記各ブロック内の全ての横方向画素列について最上列から順次最下列まで行うことにより完結する。
【００１６】
また、この符号化処理では、図１４に示すように、被符号化画素Ｐｘの画素値を、それぞれ被符号化画素の周辺に位置する参照画素Ｐ０〜Ｐ９の画素値から適応的に予測し、予測により得られた予測値に応じて、被符号化画素の符号化処理に用いる符号語を適応的に選択している。
【００１７】
これにより、上記組合せ符号化方法では、伝送誤りの復号化側での影響をブロック単位で収束可能とし、しかも、単純なブロック単位の符号化処理に比べて符号化効率を向上することができる。
【００１８】
一方、図１６(a)，図１６(b)及び図１７は、それぞれ上記組合せ符号化方法に対応する組合せ復号化方法を説明するための図であり、図中、Ｂ′は１フレーム画面における各ブロックであり、Ｂｘ′は被復号化ブロック、Ｂ１′は復号化済ブロック、Ｂ０′は未復号化ブロック、ＢＬｕ′，ＢＬｓ′，ＢＬｈ′，ＢＬｍ′は、被復号化ブロックＢｘ′の上，下，左，右側のブロック境界であり、Ｐ０′〜Ｐ９′は被復号化画素Ｐｘ′に対応する参照画素である。ここで、被復号化画素Ｐｘ′に対する参照画素Ｐ０′〜Ｐ９′の配置は、図１３(a)，図１３(b)，図１４に示す符号化処理のものと全く同一となっている。
【００１９】
上記組合せ復号化方法では、まず、図１６(a)、図１６(b) に示すように、１フレーム画面ＦＧ′に対応する画像信号が、該１フレーム画面を構成する複数のブロックＢ′の各々に対応するよう分割され、該分割された画像信号の復号化処理が各ブロック毎に行われる。
【００２０】
そして、このブロック単位の復号化処理は、ブロックＢ′内における横方向画素列に沿って順次左側から右側へ向かって各画素の画素値を復号化する水平処理を、上記各ブロック内の全ての横方向画素列について最上列から順次最下列まで行うことにより完結する。
【００２１】
また、この復号化処理では、図１７に示すように、被復号化画素Ｐｘ′の画素値を、それぞれ被復号化画素の周辺に位置する参照画素Ｐ０′〜Ｐ９′の画素値から適応的に予測し、予測により得られた予測値に応じて、被復号化画素Ｐｘ′の復号化処理に用いる符号語を適応的に選択している。
【００２２】
【発明が解決しようとする課題】
しかしながら、上記ブロック単位の符号化処理と画素単位の符号化処理の両者を組合わた組合せ符号化方法では、以下のような問題があった。
この組合せ符号化方法では、符号化処理はブロック単位で進められるため、図１５に示すように被符号化画素Ｐｘが被符号化ブロックＢｘの右側境界ＢＬｍに隣接して位置する場合、該被符号化画素Ｐｘに対する参照画素Ｐ２，Ｐ６，Ｐ７が未符号化画素となる。
【００２３】
この場合、上記未符号化画素Ｐ２，Ｐ６，Ｐ７の画素値を参照して被符号化画素Ｐｘの画素値を予測し、この予測値を用いて被符号化画素Ｐｘの画素値を符号化すると、復号化側でこの被符号化画素Ｐｘに対応する画像符号化信号を正しく復号化することが不可能となる。
【００２４】
つまり、被符号化画素Ｐｘの画素値をその予測値を用いて符号化して得られる画像符号化信号を復号化側で正しく復号化するには、復号化処理の際に用いる被復号化画素Ｐｘ′の予測値を、符号化処理の際に用いる、該被復号化画素Ｐｘ′に対応する被符号化画素Ｐｘの予測値と一致させる必要がある。これは、言い換えると、符号化側では、被符号化画素Ｐｘの予測値を生成する際に参照される参照画素値が、被符号化画素Ｐｘに対応する被復号化画素Ｐｘ′の予測値を生成する際に参照される参照画素値と完全に一致するようにしておく必要があるということである。
【００２５】
このため、例えば、図１５に示すように、被符号化画素Ｐｘに対する符号化処理を行う際に、被符号化画素Ｐｘに対する参照画素Ｐ０〜Ｐ９のうちの未符号化画素Ｐ２，Ｐ６，Ｐ７の画素値を参照して、被符号化画素Ｐｘの予測値を生成した場合、復号化側では、図１８に示すように、被復号化画素Ｐｘ′に対する復号化処理を行う際、被復号化画素Ｐｘ′に対応する参照画素Ｐ０′〜Ｐ９′の画素値を参照して被復号化画素Ｐｘ′の予測値を生成することとなるが、復号化側では、上記参照画素Ｐ０′〜Ｐ９′のうちの未復号化画素Ｐ２′，Ｐ６′，Ｐ７′については画素値が得られず、上記被符号化画素Ｐｘに対応する被復号化画素Ｐｘ′の画素値を復号化することができない。
【００２６】
そこで、従来の組合せ符号化方法では、上記のように被符号化画素Ｐｘに対応する参照画素Ｐ０〜Ｐ９に未符号化画素が含まれる場合に復号化処理が困難となるという問題を回避するため、上記未符号化画素については、その画素値を予め設定された固定値（例えば０）と見なして、被符号化画素Ｐｘの予測値を生成し、この予測値を用いて被符号化画素Ｐｘに対する符号化処理を行うという対応策を講じている。
【００２７】
このような対応策を講じた組合せ符号化方法では、復号化側では、ブロック内のすべての画素についてその予測値を用いた復号化処理を正しく行うことが可能になるが、未符号化画素となる参照画素の画素値を一律に固定値と置き換えるため、未符号化画素と符号化済画素の間での画素値の相関関係が損なわれることとなり、この結果、被符号化画素の予測効率，つまり被符号化画素に対する予測値の確からしさが劣化するという問題が生ずる。
【００２８】
本発明は上記のような課題を解決するためになされたもので、被符号化画素の予測効率の劣化を招くことなく符号化された画像符号化信号の復号化処理を正しく行うことができる画像処理装置を提供することを目的とする。
【００２９】
【課題を解決するための手段】
本発明に係る画像符号化装置は、画像信号を構成する画素値を、被符号化画素の周辺に位置する複数の周辺画素の画素値に基づいて符号化する画像符号化装置であって、上記画像信号を、所定数の画素からなるブロックに分割するブロック化手段と、上記被符号化画素の周辺に位置する複数の周辺画素のうちの未符号化画素の画素値を、該複数の周辺画素のうちの符号化済画素の画素値から所定の規則に基づいて得られる擬似画素値と置換する画素値置換手段と、上記ブロックに対応する複数の画素からなる画像信号を、上記符号化済画素の画素値及び上記未符号化画素の擬似画素値に基づいて符号化して符号化信号を出力する符号化手段と、上記符号化信号を復号化して復号化済画素値を生成する局所復号化手段とを備え、上記画素値置換手段は、上記未符号化画素の画素値を、上記符号化済画素に対応する復号化済画素の画素値から所定の規則に基づいて得られる擬似画素値と置換し、上記符号化手段は、上記符号化信号を復号化して得られた復号化済画素値及び上記未符号化画素の擬似画素値を参照して、上記被符号化画素の画素値に対して非可逆符号化処理を施す、ものである。
【００３０】
本発明に係る画像符号化方法は、画像信号を構成する画素値を、被符号化画素の周辺に位置する複数の周辺画素の画素値に基づいて符号化する画像符号化方法であって、上記画像信号を、所定数の画素からなるブロックに分割するブロック化ステップと、上記被符号化画素の周辺に位置する複数の周辺画素のうちの未符号化画素の画素値を、該複数の周辺画素のうちの符号化済画素の画素値から所定の規則に基づいて得られる擬似画素値と置換する画素値置換ステップと、上記ブロックに対応する複数の画素からなる画像信号を、上記符号化済画素の画素値及び上記未符号化画素の擬似画素値に基づいて符号化して符号化信号を出力する符号化ステップと、上記符号化信号を復号化して復号化済画素値を生成する局所復号化ステップとを有し、上記画素値置換ステップでは、上記未符号化画素の画素値を、上記符号化済画素に対応する復号化済画素の画素値から所定の規則に基づいて得られる擬似画素値と置換し、上記符号化ステップでは、上記符号化信号を復号化して得られた復号化済画素値及び上記未符号化画素の擬似画素値を参照して、上記被符号化画素の画素値に対して非可逆符号化処理を施す、ものである。
【００３１】
【発明の実施の形態】
以下、本発明の実施の形態について、図１から図１２を用いて説明する。
【００３２】
実施の形態１．
図１は本発明の実施の形態１による画像符号化装置１０１の構成を示すブロック図である。
この画像符号化装置１０１は、入力された画像信号Ｉｓを、１画像表示領域（１フレーム）を構成する複数のブロックの各々に対応するよう分割するブロック化器２と、該ブロック化器２の出力Ｂｓを受け、符号化対象となる被符号化ブロックにおける、符号化対象となる被符号化画素の画素値を、該被符号化画素の予測画素値（以下、単に予測値ともいう。）Ｓｐを参照して可逆符号化する符号化器１６ａと、上記予測画素値Ｓｐを生成する予測値生成部１１０とを有している。
【００３３】
この予測値生成部１１０は、入力される画像信号を構成する各画素の画素値を、例えば１フレームに相当する数だけ記憶可能な大容量の主メモリ４と、該主メモリ４から出力される画素値Ｍを一時的に保持する保持時間の異なる第１，第２補助メモリ６ａ，６ｂとを有している。ここで、上記主メモリ４は、１つの画素値の符号化処理に要する時間の間に、上記符号化器１６ａにて処理の対象となっている被符号化画素Ｐｘの参照画素Ｐ０〜Ｐ９（図１４参照）に対応する画素値を、上記記憶した画素値から順次出力する構成となっている。また、上記第１補助メモリ６ａは、主メモリ４から順次出力される画素値Ｍを１画素分だけ遅延する構成となっており、上記第２補助メモリ６ｂは主メモリ４から順次出力される画素値Ｍを２画素分だけ遅延する構成となっている。
【００３４】
また、上記予測値生成部１１０は、各フレームの画像入力信号Ｉｓを受け、画素値の数をカウントするカウンタ８と、該カウンタ８の出力Ｃｏｕｔ及び外部から供給される各フレームにおける縦横のブロック数の情報ＢＮｓ基づいて、主メモリ４から出力されている画素値が、すでに符号化器１６ａにて符号化処理が施された符号化済画素の画素値であるか、まだ符号化処理が施されていない未符号化画素の画素値であるかを判定する符号化／未符号化判定器１０とを有している。ここで該判定器１０は、未符号化画素については、これと同一水平走査線上に位置する最も近い符号化済画素までの距離を画素数でもって計測する処理も行っている。また、上記カウンタ８は、１フレームを構成するすべての画素の画素値が入力された時点でリセットされるようになっている。
【００３５】
さらに、上記予測値生成部１１０は、上記符号化／未符号化判定器１０の出力に基づいて上記主メモリ４，第１，第２補助メモリ６ａ，６ｂのいずれかの出力Ｍ，Ｍａ，Ｍｂを選択して出力する選択スイッチ１２と、該選択スイッチ１２の出力Ｓｏｕｔを、被符号化画素Ｐｘに対応する予測画素値の生成に必要な参照画素Ｐ０〜Ｐ９の画素値として取得し、該被符号化画素Ｐｘに対応する予測画素値Ｓｐを生成する予測値生成器１４とを有している。
【００３６】
そして、この画像符号化装置１０１では、上記符号化器１６ａは、ブロック化器２から出力される被符号化画素Ｐｘの画素値とその予測画素値との差分値に対して符号化処理を施し、符号化した符号化差分値を上記被符号化画素Ｐｘに対応する符号化画素値として出力するようになっている。この符号化処理では、上記参照画素Ｐ０〜Ｐ９の画素値から得られる予測画素値に基づいて、被符号化画素Ｐｘの画素値を符号化するための符号語を選択するようにしている。
【００３７】
次に動作について説明する。
図２は上記画像符号化装置１０１の符号化処理をフローチャートにより示しており、まず、このフローチャートに従って符号化処理の流れを簡単に説明する。
画像信号が本画像符号化装置１０１に入力されると、上記画像信号を構成する画素値が順次主メモリ４に格納され、該主メモリ４からは、被符号化画素Ｐｘの符号化の際参照される、被符号化画素Ｐｘの周辺に位置する複数の参照画素（周辺画素）Ｐ０〜Ｐ９の画素値が出力される（ステップＳ１）。
【００３８】
次に、上記主メモリ４に取得された複数の参照画素のうちの最初の参照画素が判定対象画素とされ（ステップＳ２）、この判定対象画素が符号化済画素であるか否かの判定が符号化／未符号化判定器１０にて行われる（ステップＳ３）。この符号化／未符号化判定器１０では、上記カウンタ出力Ｃｏｕｔのインクリメントと、上記主メモリ４から９つの参照画素Ｐ０〜Ｐ９の画素値が基準クロックに基づいて順次出力される動作とが同期しているため、主メモリ４から出力されている参照画素の、被符号化画素Ｐｘに対する位置を上記カウンタ出力Ｃｏｕｔから検知することができる。
【００３９】
この判定の結果、判定の対象となっている参照画素が符号化済画素であれば、その画素値が参照画素値として上記予測値生成器１４にて取得され（ステップＳ５）、上記判定の対象となっている参照画素が符号化済画素でなければ、この参照画素についてはその周辺の符号化済画素から参照画素値（擬似画素値）が生成され、上記予測値生成器１４にて取得される（ステップＳ４）。
【００４０】
次に、被符号化画素を符号化する際に必要な参照画素値がすべて上記予測値生成器１４にて取得できたか否かの判定がなされ（ステップＳ６）、必要な参照画素値が全て取得されていない場合は、上記主メモリ４に取得された参照画素のうちの次の参照画素が上記判定対象とされ（ステップＳ８）、上記ステップＳ３〜Ｓ６の処理が繰り返し行われる。一方、上記必要な参照画素値が全て上記予測値生成器１４にて取得されている場合は、上記予測値生成器１４にて上記参照画素値に基づいて、被符号化画素Ｐｘに対応する予測画素値が生成される（ステップＳ７）。
【００４１】
その後、被符号化画素Ｐｘの画素値が上記符号化器１６ａに取得されると同時に上記予測値生成器１４から被符号化画素Ｐｘの予測画素値が取得され（ステップＳ９）、上記符号化器１６ａにて、上記被符号化画素Ｐｘの画素値に対する符号化処理が上記予測画素値を用いて行われる（ステップＳ１０）。
【００４２】
次に、画像信号の符号化処理における本画像符号化装置１０１の動作とともに、上記各ステップＳ１〜Ｓ１０での本装置の各部の具体的な動作について詳しく説明する。
画像入力信号Ｉｓが本画像符号化装置１０１に入力されると、該画像入力信号Ｉｓを構成する複数の画素はブロック化器２にて、１フレームを構成する、複数の画素からなるブロックに対応するようグループ化され、各ブロック内の画素に対応する画素値が符号化器１６ａに送られ、該符号化器１６ａでは、被符号化画素Ｐｘの画素値を画素毎に参照画素値を参照して符号化する符号化処理がブロック単位で行われる。
【００４３】
このとき、上記主メモリ４には、走査線構造の画像入力信号Ｉｓを構成する画素値が順次格納され、被符号化画素Ｐｘに対応する参照画素Ｐ０〜Ｐ９の画素値が、一定の読出周期で出力される（ステップＳ１）。上記主メモリ４の出力Ｍは一時的に上記第１，第２補助メモリ６ａ，６ｂにて保持される。上記第１補助メモリ６ａでは、上記主メモリ４の出力は１読出周期の期間だけ、上記第２補助メモリ６ｂでは２読出周期の期間だけ保持される。
【００４４】
また、上記カウンタ８では、１フレームの最初の画素値を基準として、画像入力信号Ｉｓに基づいて入力される画素値の数がカウントされ、このカウント値Ｃｏｕｔが符号化／未符号化判定器１０に出力される。この符号化／未符号化判定器１０では、外部から１フレームにおける縦横のブロック数情報ＢＮｓが入力されており、このブロック数情報ＢＮｓ及び上記カウンタ８の出力により指定される参照画素が、上記符号化済画素か未符号化画素であるかの判定がなされる判定対象画素となる。例えば、図１４に示すように被符号化画素Ｐｘが決まると、これに対応する参照画素Ｐ０〜Ｐ９が決まり、このうちの主メモリ４から最初に画素値が出力される画素Ｐ０がまず上記判定対象画素となる（ステップＳ２）。
【００４５】
このとき、上記参照画素Ｐ０の画素値は、上記第１，第２補助メモリ６ａ，６ｂにでそれぞれ１読出期間，２読出期間の間保持される。また、符号化／未符号化判定器１０は、上記カウンタ出力Ｃｏｕｔ及びブロック数情報ＢＮｓに基づいて、被符号化ブロック内での被符号化画素の位置が計算され、 各参照画素について符号化済画素であるか未符号化画素であるかが判定され（ステップＳ３）、この判定結果に応じて上記選択スイッチ１２が制御される。
【００４６】
上記参照画素Ｐ０は図１４に示すように符号化済画素であるため、符号化／未符号化判定器１０による判定（ステップＳ３）の結果、選択スイッチ１２は該符号化／未符号化判定部１０により上記主メモリ４の出力Ｍを選択するよう制御され、これにより、上記参照画素Ｐ０の画素値は参照画素値として予測値生成器１４に格納される。
【００４７】
その後、上記符号化／未符号化判定部１０では、被符号化画素Ｐｘに対応する全ての参照画素の画素値が予測値生成器１４にて取得されたか否かが判定される（ステップＳ６）。この場合は、上記予測値生成器１４には参照画素Ｐ０〜Ｐ９の全ての参照画素値が取得されていないので、上記符号化／未符号化部１０では、上記主メモリ４から参照画素Ｐ０の画素値の次に出力される参照画素Ｐ１の画素値が判定対象画素の画素値とされる（ステップＳ８）。そして、参照画素Ｐ１は上記参照画素Ｐ０と同様に符号化済画素であるため、この参照画素Ｐ１の画素値についても上記ステップＳ３，Ｓ５，Ｓ６，Ｓ８の処理が行われる。
【００４８】
続いて、上記符号化／未符号化部１０では、上記主メモリ４から参照画素Ｐ１の画素値の次に出力される参照画素Ｐ２の画素値が判定対象画素の画素値とされる（ステップＳ８）。この参照画素Ｐ２は上記参照画素Ｐ０，Ｐ１とは異なり、符号化済画素の隣に位置している未符号化画素であるため、選択スイッチ１２は該符号化／未符号化判定部１０により上記第１補助メモリ６ａの出力Ｍａを選択するよう制御され、これにより、上記参照画素Ｐ１の画素値が、参照画素Ｐ２の擬似画素値として予測値生成器１４に格納される（ステップＳ４）。その後は上記ステップＳ６，ステップＳ８の処理が行われる。
【００４９】
さらに、上記参照画素Ｐ３〜Ｐ５については上記参照画素Ｐ０と同様に上記ステップＳ３，Ｓ５，Ｓ６，Ｓ８の処理が行われ、さらに参照画素Ｐ６については、上記参照画素Ｐ２と同様にステップＳ３，Ｓ４，Ｓ６，Ｓ８の処理が行われる。
【００５０】
続いて、上記符号化／未符号化部１０では、上記主メモリ４から参照画素Ｐ６の画素値の次に出力される参照画素Ｐ７の画素値が判定対象画素の画素値とされる（ステップＳ８）。この参照画素Ｐ７は上記参照画素Ｐ０〜Ｐ６とは異なり、符号化済画素Ｐｘから１画素分隔てて位置している未符号化画素であるため、選択スイッチ１２は該符号化／未符号化判定部１０により上記第２補助メモリ６ｂの出力Ｍｂを選択するよう制御され、これにより、上記参照画素Ｐ５の画素値が、参照画素Ｐ７の擬似画素値として予測値生成器１４に格納される（ステップＳ４）。その後は上記ステップＳ６，ステップＳ８の処理が行われる。
【００５１】
さらに、上記参照画素Ｐ８，Ｐ９については上記参照画素Ｐ０と同様に上記ステップＳ３，Ｓ５，Ｓ６の処理が行われる。この場合、符号化／未符号化部１０では、全ての参照画素Ｐ０〜Ｐ９の全てについての参照画素値が上記予測値生成器１４に取得されているという判定がなされ、予測値生成器１４にて、取得した参照画素値に基づいて、被符号化画素Ｐｘに対応する予測画素値Ｓｐが算出される（ステップＳ７）。
【００５２】
続いて、上記符号化器１６ａには被符号化画素Ｐｘの画素値とともに上記予測画素値Ｓｐが取得され（ステップＳ９）、被符号化画素Ｐｘの画素値とその予測画素値Ｓｐとの差分値に対して符号化処理が施されて、符号化された差分値が、上記被符号化画素Ｐｘの符号化信号として出力される（ステップＳ１０）。この符号化処理には、上記予測画素値Ｓｐに基づいて選択された符号語が用いられる。
【００５３】
このようにして１フレーム内の各ブロックの画素値が順次符号化されることとなる。なお、１フレームの先頭画素については、その周辺に符号化処理が施された参照画素が存在しないので、予測画素値は０として符号化処理が行われる。
【００５４】
このように本実施の形態１では、未符号化画素の画素値を参照する場合は、その周辺の符号化済画素の画素値を参照するようにしたので、画素単位での適応的な符号化処理とブロック単位での符号化処理とを、未符号化画素と被符号化画素との間での画素値の相関を損なうことなく、しかも符号化信号の復号化が困難となるのを回避しつつ組み合わせることができる。これにより伝送誤りの影響をブロック単位で収束可能とするとともに、単純なブロック単位の符号化処理に比べて符号化効率を向上することができ、また復号化側では、被符号化画素の予測効率の劣化を招くことなく符号化された符号化信号の復号化処理を正しく行うことが可能となる。
【００５５】
つまり、符号化側にて被符号化画素の符号化処理をその周辺画素の画素値を参照して行う場合は、復号化側においても被復号化画素の復号化処理をその周辺画素の画素値を参照して行うこととなり、しかも符号化処理の際に参照される画素値と復号化処理の際に参照される画素値とを一致させる必要がある。
【００５６】
そこで、従来例の符号化方法では、参照される画素が未符号化画素である場合には、その画素値として固定値を用いるようにしていたが、この場合は画素値の相関が損なわれるという問題があった。
【００５７】
これに対し、本発明では、参照される画素が未符号化画素である場合には、参照される符号化済画素から所定の規則で未符号化画素に対する擬似画素値を生成するようにしている。例えば、 図１５の未符号化画素Ｐ２, Ｐ６, Ｐ７についてはその画素値を符号化済画素Ｐ０, Ｐ１, Ｐ３, Ｐ４, Ｐ５, Ｐ８, Ｐ９の画素値から一意的に決定するようにしている。最も簡単な方法としては、未符号化画素と同じ水平走査線上に位置する、距離が近い符号化済画素の画素値を未符号化画素に対する擬似画素値としている。この場合には、 未符号化画素Ｐ２の画素値は、符号化済画素Ｐ１の画素値に置換され、未符号化画素Ｐ６, Ｐ７の画素値は符号化済画素Ｐ５の画素値に置換される。
【００５８】
このようにすれば、ブロック境界での符号化済画素と未符号化画素の間での画素値の相関が大きくなり、画素間相関が大きいブロック内部と同じ予測方式を用いて効率の高い符号化処理が実現できる。
このため、画像信号をより低ビット数で画質を損なうことなく記録伝送することが可能となる。
【００５９】
なお、上記実施の形態１では、主メモリ４の出力Ｍを保持する時間の異なる２つの補助メモリ６ａ，６ｂを備えたが、主メモリ４の出力を一時的に保持する補助メモリを１つだけ備え、主メモリ４から出力される画素値を保持する時間を、未符号化画素の被符号化画素からの距離に応じて、符号化／未符号化判定器１０によって切り換えるようにしてもよい。
【００６０】
また、上記実施の形態１では、画像信号の符号化処理の際、被符号化画素Ｐｘの予測画素値のみを参照するものを示したが、被符号化画素Ｐｘの予測画素値だけでなく、予測画素値の確からしさを示す予測確率に基づいて符号化処理を行うようにしてもよい。
【００６１】
また、この場合、符号化処理の対象となる画像信号が２値形状信号である場合には、予測画素値は「０」あるいは「１」のいずれかであるため、予測画素値をその一方に固定しておき、予測確率のみを参照するようにしてもよい。
【００６２】
以下、本発明の実施の形態２として、上記予測画素値に代えて予測確率のみを参照して２値形状信号の符号化処理を行う画像符号化装置を、また実施の形態３として、上記予測画素値とともに予測確率を参照して、多値の画像信号の符号化処理を行う画像符号化装置についてそれぞれ説明する。
【００６３】
実施の形態２．
図３は本発明の実施の形態２による画像符号化装置１０２の構成を示すブロック図である。なお、図中、図１と同一符号は上記実施の形態１の画像符号化装置１０１におけるものと同一のものを示している。
【００６４】
この画像符号化装置１０２は、上記実施の形態１の画像符号化装置１０１における予測値生成器１４に代えて予測確率生成器２２を備え、画素値が「０」及び「１」のいずれかである２値形状信号に対して符号化処理を行うよう構成したものである。
【００６５】
上記予測確率生成器２２は、被符号化画素Ｐｘに対する参照画素Ｐ０〜Ｐ９の画素値から、被符号化画素Ｐｘの画素値とその予測画素値とが一致する確率を予測確率として求め、被符号化画素Ｐｘに対する予測確率信号Ｓｋを上記符号化器１６ｂに出力する構成となっている。
【００６６】
ここで、上記符号化器１６ｂは、本画像符号化装置１０２が２値形状信号の符号化処理を対象するものであるため、被符号化画素Ｐｘの画素値との引き算を行う予測値は「０」及び「１」の一方に設定されている。またこの符号化器１６ｂは、上記予測確率が大きい場合は被符号化画素Ｐｘの画素値とその予測画素値とが一致する確率が高いので、上記被符号化画素Ｐｘの画素値とその予測画素値との差分値を、差分値が０となる場合に符号化効率が高くなる符号化方法により符号化し、一方、上記予測確率が小さい場合は被符号化画素Ｐｘの画素値とその予測画素値とが一致する確率が小さいので、上記被符号化画素Ｐｘの画素値とその予測画素値との差分値を、上記差分値が０でない場合に符号化効率が高くなる符号化方法により符号化する構成となっている。
【００６７】
次に作用効果について説明する。
なお、上記実施の形態１の画像符号化装置と共通する動作についてはその説明を省略する。
このような構成の画像符号化装置１０２による２値形状信号の符号化処理においても、被符号化画素Ｐｘに対する参照画素Ｐ０〜Ｐ９のうち未符号化画素に相当するものについては、その画素値が上記実施の形態１の画像符号化装置１０１と同様に符号化済画素の画素値から生成され、すべての参照画素Ｐ０〜Ｐ９に対応する画素値が予測確率生成器２２に格納される。
【００６８】
そして、上記予測確率生成器２２では、上記参照画素Ｐ０〜Ｐ９の画素値に基づいて、被符号化画素Ｐｘに対する予測確率を求める。この予測確率情報Ｓｋが上記予測確率生成器２２から符号化器１６ｂに出力されると、該符号化器１６ｂでは、被符号化画素Ｐｘの画素値と予め設定されている予測画素値との差分値に対して、上記予測確率情報Ｓｋに応じた符号化処理を行う。
【００６９】
このように本実施の形態２では、２値形状信号の符号化処理を行う画像符号化装置１０２において、ブロック境界に隣接する予測値生成が困難な被符号化画素を、符号化効率の劣化を抑えつつ符号化することができる。このため、伝送誤りの影響をブロック単位で収束可能とするとともに、単純なブロック単位の符号化処理に比べて符号化効率を向上することができ、また復号化側では、被符号化画素の予測効率の劣化がなく符号化信号の復号化処理を正しく行うことが可能となる。
【００７０】
なお、予測確率に基づく符号化処理については、例えば、国際標準規格ＪＢＩＧ（Joint Bi-level Image Coding Experts Group ）に記載されているが、この規格に記載されている符号化方法は、符号化処理を画素単位（非ブロック単位）で行うものであるため、参照画素は常に符号化済画素であり、本発明の解決課題であるブロック単位の符号化処理では参照画素が未符号化画素となる場合の問題点はもとより、この未符号化画素に対する画素値をどのように設定するかという対応策については何ら開示されていない。
【００７１】
実施の形態３．
図４は本発明の実施の形態３による画像符号化装置１０３の構成を示すブロック図である。なお、図中、図１と同一符号は上記実施の形態１の画像符号化装置１０１におけるものと同一のものを示している。
【００７２】
この画像符号化装置１０３は、上述したように多値の画像信号に対して符号化処理を行うものであり、その予測確率生成部１３０を上記実施の形態１の画像符号化装置１０１における予測値生成器１４に加えて予測確率生成器２２を有する構成としたものである。
【００７３】
上記予測確率生成器２２は、上記予測値生成器１４と同様、選択スイッチ１２の出力Ｓｏｕｔを受け、被符号化画素Ｐｘに対する参照画素Ｐ０〜Ｐ９の画素値を順次格納し、これらの画素値に基づいて、上記予測値生成器１４にて参照画素Ｐ０〜Ｐ９に基づいて予測される予測画素値Ｓｐの確からしさを示す予測確率Ｓｋを出力する構成となっている。
【００７４】
そして、上記符号化器１６ｃは、上記予測値生成器１４からの予測画素値Ｓｐ及び予測確率生成器２２からの予測確率Ｓｋに基づいて、被符号化画素Ｐｘの画素値を符号化する構成となっている。
【００７５】
具体的には、予測画素値の確からしさが大きい場合は、被符号化画素の画素値とその予測画素値の差が小さいので、上記符号化器１６ｃでは、被符号化画素の画素値とその予測画素値の差が小さい場合に符号化効率が高くなる符号化方法により、被符号化画素Ｐｘの画素値に対する符号化処理を行う。また、一方、 予測値の確からしさが小さい場合は、被符号化画素の画素値とその予測画素値の差が大きいので、符号化器１６ｃでは、画素値と予測画素値との差分値がやや大きい場合に符号化効率が高い符号化方法により被符号化画素Ｐｘの画素値に対する符号化処理を行う。
【００７６】
このような構成の画像符号化装置１０３による多値の画像信号の符号化処理においても、被符号化画素Ｐｘに対する参照画素Ｐ０〜Ｐ９のうち未符号化画素に相当するものについては、その画素値が上記実施の形態１の画像符号化装置１０１と同様に符号化済画素の画素値から生成され、すべての参照画素Ｐ０〜Ｐ９に対応する画素値が予測確率生成器２２及び予測値生成器１４に格納される。
【００７７】
そして、予測値生成器１４では、上記実施の形態１と同様にして参照画素Ｐ０〜Ｐ９から被符号化画素Ｐｘの予測画素値を求める。また上記予測確率生成器２２では、上記参照画素Ｐ０〜Ｐ９の画素値に基づいて、被符号化画素Ｐｘに対する予測確率Ｓｋを求める。
【００７８】
上記予測画素値Ｓｐ及び予測確率Ｓｋが符号化器１６ｃに出力されると、該符号化器１６ｃでは、被符号化画素Ｐｘの画素値と予測値生成器１４からの予測画素値との差分値に対して、上記予測確率Ｓｋに応じた符号化処理を行う。
【００７９】
このように本実施の形態３では、多値の画像信号を符号化する画像符号化装置１０３において、ブロック境界に隣接する予測値生成が困難な被符号化画素を、符号化効率の劣化を抑えつつ符号化することができる。このため、伝送誤りの影響をブロック単位で収束可能とするとともに、単純なブロック単位の符号化処理に比べて符号化効率を向上することができ、また復号化側では、被符号化画素の予測効率の劣化がなく符号化信号の復号化処理を正しく行うことが可能となる。
【００８０】
実施の形態４．
図５は本発明の実施の形態４による画像符号化装置１０４の構成を示すブロック図である。なお、図中、図１と同一符号は上記実施の形態１の画像符号化装置１０１におけるものと同一のものを示す。
この画像符号化装置１０４は、ブロック化された画像信号Ｂｓに対して非可逆符号化処理を施す点で上記実施の形態１の画像符号化装置１０１とは異なっている。
【００８１】
つまり、上記画像符号化装置１０４は、上記実施の形態１の可逆符号化処理を行う符号化器１６ａに代えて、上記ブロック化器２の出力Ｂｓに対してＤＣＴ（離散コサイン変換）処理を含む非可逆符号化処理を、予測値生成器１４からの予測画素値に基づいて施す符号化器１６ｄを有している。さらにこの画像符号化装置１０４の予測値生成部１４０は、上記符号化器１６ｄの出力Ｃｓを上記予測値生成器１４からの予測画素値Ｓｐに基づいて復号化する局所復号化器２４を備えており、該局所復号化器２４の出力ＬＤｓが主メモリ４に復号化済画素の画素値として格納され、該出力ＬＤｓが上記カウンタ８に入力されるようになっている。その他の構成は実施の形態１の画像符号化装置１０１と同一である。
【００８２】
このような構成の画像符号化装置１０４では、画像入力信号Ｉｓを被符号化画素Ｐｘの予測画素値Ｓｐに基づいて符号化処理する際、該予測画素値Ｓｐを生成する予測値生成部１４０では、局所復号化器２４にて符号化器１６ｄの出力Ｃｓを予測画素値Ｓｐを参照して復号化し、この復号化した画素値を主メモリ４に格納するようにしている。
【００８３】
このため、非可逆符号化処理を行う画像符号化装置１０４では、予測画素値の生成には復号化済画素値が使用されることとなり、 これによりこの画像符号化装置により符号化された画像符号化信号を、画像復号化装置で正しく復号化することが可能となる。
【００８４】
なお、上記実施の形態４では、画像信号の非可逆符号化処理の際、被符号化画素Ｐｘの予測画素値のみを参照するものを示したが、被符号化画素Ｐｘの予測画素値だけでなく、予測画素値の確からしさを示す予測確率を参照するようにしてもよい。
【００８５】
また、この場合、非可逆符号化処理の対象となる画像信号が２値形状信号である場合には、予測画素値は「０」あるいは「１」のいずれかであるため、予測画素値をその一方に固定しておき、予測確率のみを参照するようにしてもよい。
【００８６】
そこで、本発明の実施の形態４の変形例１として、上記予測画素値に代えて予測確率のみを参照して２値形状信号の非可逆符号化処理を行う画像符号化装置を、また上記実施の形態４の変形例２として、上記予測画素値とともに予測確率を参照して、多値の画像信号の非可逆符号化処理を行う画像符号化装置についてそれぞれ説明する。
【００８７】
図６は本発明の実施の形態４の変形例１による画像符号化装置１０４ａの構成を示すブロック図である。なお、図中、図５と同一符号は実施の形態４の画像符号化装置１０４におけるものと同一のものを示す。
【００８８】
この画像符号化装置１０４ａは、上記実施の形態４の画像符号化装置１０４における予測値生成器１４に代えて、予測確率発生器２２を備えたもので、画素値が「０」及び「１」のいずれかである２値形状信号の符号化処理を行うものである。
【００８９】
上記予測確率生成器２２は、被符号化画素Ｐｘに対する参照画素Ｐ０〜Ｐ９の画素値から、被符号化画素Ｐｘの画素値とその予測画素値とが一致する確率を予測確率として求め、被符号化画素Ｐｘに対する予測確率Ｓｋを上記符号化器１６ｅ及び局所復号化器２４に出力する構成となっている。
【００９０】
ここで、上記符号化器１６ｅは、本画像符号化装置が２値形状信号を処理対象するものであるため、被符号化画素Ｐｘに対する予測画素値は「０」及び「１」の一方に設定されている。またこの符号化器１６ｅは、上記実施の形態２の符号化器１６ｂと同様に、上記予測確率が大きい場合は、上記被符号化画素Ｐｘの画素値とその予測画素値との差分値を、差分値が０となる場合に符号化効率が高くなる符号化方法によって符号化し、一方、上記予測確率が小さい場合は、上記被符号化画素Ｐｘの画素値とその予測画素値との差分値を、上記差分値が０でない場合に符号化効率が高くなる符号化方法によって符号化する構成となっている。
【００９１】
さらに上記局所復号化器２４は、上記予測確率に基づいて上記符号化器１６ｅと同様に復号化方法を切り替えて復号化処理を行うようになっている。
なお、上記実施の形態４の画像符号化装置と共通する動作についてはその説明を省略する。
【００９２】
このような構成の画像符号化装置１０４ａによる２値形状信号の符号化処理においても、被符号化画素Ｐｘに対する参照画素Ｐ０〜Ｐ９のうち未符号化画素に相当するものについては、その画素値が上記実施の形態４の画像符号化装置１０４と同様に符号化済画素の画素値から生成され、すべての参照画素Ｐ０〜Ｐ９に対応する画素値が予測確率生成器２２に格納される。
【００９３】
そして、上記予測確率生成器２２では、上記参照画素Ｐ０〜Ｐ９の画素値に基づいて、被符号化画素Ｐｘに対する予測確率Ｓｋを求める。この予測確率Ｓｋが上記予測確率生成器２２から符号化器１６ｅ及び局所復号化器２４に出力されると、該符号化器１６ｅでは、被符号化画素Ｐｘの画素値と予め設定されている予測画素値との差分値に対して、上記予測確率Ｓｋに応じた非可逆符号化処理を行う。この際、上記局所復号化器２４では、上記予測確率Ｓｋに応じた、上記符号化器１６ｅの出力Ｃｓに対する復号化処理を行って、被符号化画素Ｐｘの画素値を再生する。この再生された被符号化画素Ｐｘの画素値は上記主メモリ４に格納される。
【００９４】
このように本実施の形態４の変形例１では、２値形状信号に対する非可逆符号化処理を行う画像符号化装置１０４ａにおいて、ブロック境界に隣接する予測値生成が困難な被符号化画素を、符号化効率の劣化を抑えつつ符号化することができる。このため、伝送誤りの影響をブロック単位で収束可能とするとともに、単純なブロック単位の符号化処理に比べて符号化効率を向上することができ、また復号化側では、被符号化画素の予測効率の劣化がなく符号化信号の復号化処理を正しく行うことが可能となる。
【００９５】
図７は本発明の実施の形態４の変形例２による画像符号化装置１０４ｂの構成を示すブロック図である。なお、図中、図４と同一符号は上記実施の形態４の画像符号化装置１０４におけるものと同一のものを示す。
【００９６】
この画像符号化装置１０４ｂは、上述したように多値の画像信号に対して非可逆符号化処理を行うものであり、その予測確率生成部１４０ｂを上記実施の形態４の画像符号化装置１０４における予測値生成器１４に加えて予測確率生成器２２を有する構成としたものである。
【００９７】
上記予測確率生成器２２は、上記予測値生成器１４と同様、選択スイッチ１２の出力Ｓｏｕｔを受け、被符号化画素Ｐｘに対する参照画素Ｐ０〜Ｐ９の画素値を順次格納し、これらの画素値に基づいて、上記予測値生成器１４にて参照画素Ｐ０〜Ｐ９に基づいて予測される予測画素値Ｓｐの確からしさを示す予測確率Ｓｋを出力する構成となっている。
【００９８】
そして、上記符号化器１６ｆは、上記予測値生成器１４からの予測画素値Ｓｐ及び予測確率生成器２２からの予測確率Ｓｋに基づいて、被符号化画素Ｐｘの画素値に対して非可逆符号化処理を施す構成となっており、その具体的な構成は、上記実施の形態３の符号化器１６ｃと全く同一となっている。
さらに上記局所復号化器２４は、上記予測確率に基づいて上記符号化器１６ｅと同様に符号化方法を切り替えて復号化処理を行うようになっている。
【００９９】
このような構成の画像符号化装置１０４ｂによる多値の画像信号の符号化処理においても、被符号化画素Ｐｘに対する参照画素Ｐ０〜Ｐ９のうち未符号化画素に相当するものについては、その画素値が上記実施の形態４の画像符号化装置１０４と同様に符号化済画素の画素値から生成され、すべての参照画素Ｐ０〜Ｐ９に対応する画素値が予測確率生成器２２及び予測値生成器１４に格納される。
【０１００】
そして、予測値生成器１４では、上記実施の形態４と同様にして参照画素Ｐ０〜Ｐ９から被符号化画素Ｐｘの予測画素値を求める。また上記予測確率生成器２２では、上記参照画素Ｐ０〜Ｐ９の画素値に基づいて、被符号化画素Ｐｘに対する予測確率Ｓｋを求める。
【０１０１】
上記予測画素値Ｓｐ及び予測確率Ｓｋが符号化器１６ｆ及び局所復号化器２４に出力されると、該符号化器１６ｆでは、被符号化画素Ｐｘの画素値と予め設定されている予測画素値との差分値に対して、上記予測確率Ｓｋに応じた符号化処理を行う。この際、上記局所復号化器２４では、上記予測確率Ｓｋに応じた、上記符号化器１６ｆの出力Ｃｓに対する復号化処理を行って、被符号化画素Ｐｘの画素値を再生する。この再生された被符号化画素Ｐｘの画素値は上記主メモリ４に格納される。
【０１０２】
これにより予測値生成が困難な画像信号に対しては符号化効率を劣化させず、予測値生成が容易な画像信号に対しては大幅な符号化効率向上を達成することができる。
【０１０３】
このように本実施の形態４の変形例２では、多値の画像信号を非可逆符号化する画像符号化装置１０４ｂにおいて、ブロック境界に隣接する予測値生成が困難な被符号化画素を、符号化効率の劣化を抑えつつ符号化することができる。このため、伝送誤りの影響をブロック単位で収束可能とするとともに、単純なブロック単位の符号化処理に比べて符号化効率を向上することができ、また復号化側では、被符号化画素の予測効率の劣化がなく符号化信号の復号化処理を正しく行うことが可能となる。
【０１０４】
実施の形態５．
図８は本発明の実施の形態５による画像復号化装置１０５の構成を示すブロック図である。
この実施の形態５の画像復号化装置１０５は、実施の形態１の画像符号化装置１０１により可逆符号化処理を施した画像符号化信号を可逆的に復号化するものである。
【０１０５】
この画像復号化装置１０５は、入力された画像符号化信号Ｃｓを、１画像表示領域を構成する複数のブロック毎に復号化し、この際、復号化処理の対象となる被復号化画素Ｐｘ′の画素値，つまり被符号化画素Ｐｘの画素値を符号化した符号化信号を、被復号化画素の予測画素値に基づいて復号化する復号化器２６ａと、該復号化器２６ａの出力である各ブロックに対応した画像復号化信号Ｄｓを統合して所定の走査線構造の画像再生信号Ｒｓを生成する逆ブロック化器３０と、上記予測画素値を上記被復号化画素Ｐｘ′の周辺に位置する参照画素Ｐ０′〜Ｐ９′の画素値に基づいて生成する予測値生成部１５０とを有している。
【０１０６】
ここで、上記予測値生成部１５０は、実施の形態１の画像符号化装置１０１における予測値生成部１１０とほぼ同様な構成となっている。
【０１０７】
すなわち、該予測値生成部１５０は、例えば１フレームに相当する数だけ記憶可能な大容量の主メモリ４と、該主メモリ４から出力される画素値Ｍを一時的に保持する保持時間の異なる第１，第２補助メモリ６ａ，６ｂとを有している。ここで、上記主メモリ４は、１つの画素値の符号化処理に要する時間の間に、上記復号化器２６ａにて処理の対象となっている被復号化画素Ｐｘ′の参照画素Ｐ０′〜Ｐ９′（図１７参照）に対応する画素値を、上記記憶した画素値から順次出力する構成となっている。また、上記第１補助メモリ６ａは、主メモリ４から順次出力される画素値Ｍを１画素分だけ遅延する構成となっており、上記第２補助メモリ６ｂは主メモリ４から順次出力される画素値Ｍを２画素分だけ遅延する構成となっている。
【０１０８】
また、上記予測値生成部１５０は、各フレームの画像復号化信号Ｄｓを受け、画素値の数をカウントするカウンタ８と、該カウンタ８の出力Ｃｏｕｔ及び外部から供給される各フレームにおける縦横のブロック数の情報ＢＮｓ基づいて、主メモリ４から出力されている画素値が、すでに符号化器２６ａにて復号化処理が施された復号化済画素の画素値であるか、まだ復号化処理が施されていない未復号化画素の画素値であるかを判定する復号化／未復号化判定器２０とを有している。ここで該判定器２０は、未復号化画素については、これと同一水平走査線上に位置する最も近い復号化済画素までの距離を画素数でもって計測する処理も行っている。また、上記カウンタ８は、１フレームを構成するすべての画素の画素値が入力された時点でリセットされるようになっている。
【０１０９】
さらに、上記予測値生成部１５０は、上記復号化／未復号化判定器２０の出力Ｓｃｏｎｔに基づいて上記主メモリ４，第１，第２補助メモリ６ａ，６ｂのいずれかの出力Ｍ，Ｍａ，Ｍｂを選択して出力する選択スイッチ１２と、該選択スイッチ１２の出力Ｓｏｕｔを、被復号化画素Ｐｘ′に対応する予測画素値の生成に必要な参照画素Ｐ０′〜Ｐ９′の画素値として取得し、該被復号化画素Ｐｘ′に対応する予測画素値Ｓｐを生成する予測値生成器１４とを有している。
【０１１０】
そして、この画像復号化装置１０５では、上記復号化器２６ａは、外部から画像符号化信号として入力される被符号化画素Ｐｘに対する符号化差分値を復号化して復号化差分値を生成し、該復号化差分値に上記予測値生成部１５０からの予測画素値Ｓｐを加算して被復号化画素に対する復号化画素値を生成して逆ブロック化器３０に出力するようになっている。
【０１１１】
次に動作について説明する。
図９は上記画像復号化装置１０５の復号化処理をフローチャートにより示しており、まず、このフローチャートに従って復号化処理の流れを簡単に説明する。
画像符号化信号Ｃｓが本画像符号化装置１０５に入力され、復号化器２６ａにて該画像符号化信号Ｃｓの復号化処理が予測値生成部１５０からの予測信号Ｓｐに基づいて行われる。
【０１１２】
このとき上記復号化器２６ａの出力として、１フレームに対応する複数の復号化画素値が順次主メモリ４に格納され、該主メモリ４からは、被復号化画素Ｐｘ′の復号化の際に参照される、被復号化画素Ｐｘ′の周辺に位置する複数の参照画素（周辺画素）Ｐ０′〜Ｐ９′の画素値が出力される（ステップＳ１１）。
【０１１３】
次に、上記主メモリ４に取得された複数の参照画素のうちの最初の参照画素が判定対象画素とされ（ステップＳ１２）、この判定対象画素が復号化済画素であるか否かの判定が復号化／未復号化判定器３０にて行われる（ステップＳ１３）。この符号化／未符号化判定器３０では、上記カウンタ出力Ｃｏｕｔのインクリメントと、上記主メモリ４から９つの参照画素Ｐ０′〜Ｐ９′の画素値が基準クロックに基づいて順次出力される動作とが同期しているため、主メモリ４から出力されている参照画素の、被復号化画素Ｐｘ′に対する位置を上記カウンタ出力Ｃｏｕｔから検知することができる。
【０１１４】
この判定の結果、判定の対象となっている参照画素が復号化済画素であれば、その画素値が参照画素値として上記予測値生成器１４にて取得され（ステップＳ１５）、上記判定の対象となっている参照画素が復号化済画素でなければ、この参照画素についてはその周辺の復号化済画素から参照画素値（擬似画素値）が生成され、上記予測値生成器１４にて取得される（ステップＳ１４）。
【０１１５】
次に、被復号化画素を復号化する際に必要な参照画素値がすべて上記予測値生成器１４にて取得できたか否かの判定がなされ（ステップＳ１６）、必要な参照画素値が全て取得されていない場合は、上記主メモリ４に取得された参照画素のうちの次の参照画素が上記判定対象とされ（ステップＳ１８）、上記ステップＳ１３〜Ｓ１６の処理が繰り返し行われる。一方、上記必要な参照画素値が全て上記予測値生成器１４にて取得されている場合は、上記予測値生成器１４にて上記参照画素値に基づいて、被復号化画素Ｐｘ′に対応する予測画素値が生成される（ステップＳ１７）。
【０１１６】
その後、被復号化画素Ｐｘ′の画素値が上記復号化器２６ａに取得されると同時に上記予測値生成器１４から被復号化画素Ｐｘ′の予測画素値が取得され（ステップＳ１９）、上記復号化器２６ａにて、上記被復号化画素Ｐｘ′の画素値に対する復号化処理が上記予測画素値を用いて行われる（ステップＳ２０）。
【０１１７】
次に、画像信号の復号化処理における本画像復号化装置１０５の動作とともに、上記各ステップＳ１１〜Ｓ２０での本装置の各部の具体的な動作について詳しく説明する。
【０１１８】
画像符号化信号Ｃｓが本画像復号化装置１０５に入力されると、該画像復号化信号Ｃｓは、復号化器２６ａに送られ、該復号化器２６ａでは、被復号化画素Ｐｘ′の画素値を画素毎に参照画素値を参照して復号化する復号化処理がブロック単位で行われる。
【０１１９】
このとき、上記主メモリ４には、上記復号化器２６ａの出力である１フレームを構成する画素値が順次格納され、被復号化画素Ｐｘ′に対応する参照画素Ｐ０′〜Ｐ９′の画素値が、一定の読出周期で出力される（ステップＳ１１）。上記主メモリ４の出力Ｍは一時的に上記第１，第２補助メモリ６ａ，６ｂにて保持される。上記第１補助メモリ６ａでは、上記主メモリ４の出力は１読出周期の期間だけ、上記第２補助メモリ６ｂでは２読出周期の期間だけ保持される。
【０１２０】
また、上記カウンタ８では、上記１フレームの最初の画素値を基準として、復号化器２６ａの出力Ｄｓに基づいて、入力される画素値の数がカウントされ、このカウント値Ｃｏｕｔが復号化／未復号化判定器２０に出力される。この復号化／未復号化判定器２０では、外部から１フレームにおける縦横のブロック数情報ＢＮｓが入力されており、このブロック数情報ＢＮｓ及び上記カウンタ８の出力により指定される参照画素が、上記復号化済画素か未復号化画素であるかの判定がなされる判定対象画素となる。例えば、図１７に示すように被復号化画素Ｐｘ′が決まると、これに対応する参照画素Ｐ０′〜Ｐ９′が決まり、このうちの主メモリ４から最初に画素値が出力される画素Ｐ０′がまず上記判定対象画素となる（ステップＳ１２）。
【０１２１】
このとき、上記参照画素Ｐ０′の画素値は、上記第１，第２補助メモリ６ａ，６ｂにでそれぞれ１読出期間，２読出期間の間保持される。また、復号化／未復号化判定器２０は、上記カウンタ出力Ｃｏｕｔ及びブロック数情報ＢＮｓに基づいて、被復号化ブロック内での被復号化画素の位置が計算され、 各参照画素について復号化済画素であるか未復号化画素であるかが判定され、この判定結果に応じて上記選択スイッチ１２が制御される。
【０１２２】
この画素Ｐ０′は図１７に示すように復号化済画素であるため、復号化／未復号化判定器２０による判定（ステップＳ１３）の結果、上記選択スイッチ１２は該復号化／未復号化判定器２０により上記主メモリ４の出力Ｍを選択するよう制御され、これにより、上記画素Ｐ０′の画素値は参照画素値として予測値生成器１４に格納される。
【０１２３】
その後、上記復号化／未復号化判定器２０では、被復号化画素Ｐｘ′に対応する全ての参照画素の画素値が予測値生成器１４にて取得されたか否かを判定する（ステップＳ１６）。この場合は、上記予測値生成器１４には参照画素Ｐ０′〜Ｐ９′の全ての参照画素値が取得されていないので、上記復号化／未復号化判定器２０は、上記主メモリ４から参照画素Ｐ０′の画素値の次に出力される参照画素Ｐ１′の画素値を判定対象画素の画素値とする（ステップＳ１８）。そして、参照画素Ｐ１′は上記参照画素Ｐ０′と同様に復号化済画素であるため、この参照画素Ｐ１′の画素値についても上記ステップＳ１３，Ｓ１５，Ｓ１６，Ｓ１８の処理が行われる。
【０１２４】
続いて、上記復号化／未復号化判定器２０では、上記主メモリ４から参照画素Ｐ１′の画素値の次に出力される参照画素Ｐ２′の画素値が判定対象画素の画素値とされる（ステップＳ１８）。この参照画素Ｐ２′は上記参照画素Ｐ０′，Ｐ１′とは異なり、復号化済画素の隣に位置している未復号化画素であるため、上記選択スイッチ１２は該復号化／未復号化判定器２０により上記第１補助メモリ６ａの出力Ｍａを選択するよう制御され、これにより、上記参照画素Ｐ１′の画素値が、参照画素Ｐ２′の擬似画素値として予測値生成器１４に格納される（ステップＳ１４）。その後は上記ステップＳ１６，ステップＳ１８の処理が行われる。
【０１２５】
さらに、上記参照画素Ｐ３′〜Ｐ５′については上記参照画素Ｐ０′と同様に上記ステップＳ１３，Ｓ１５，Ｓ１６，Ｓ１８の処理が行われ、さらに参照画素Ｐ６′については、上記参照画素Ｐ１２′と同様にステップＳ１３′，Ｓ１４′，Ｓ１６′，Ｓ１８′の処理が行われる。
【０１２６】
続いて、上記復号化／未復号化判定器２０では、上記主メモリ４から参照画素Ｐ６′の画素値の次に出力される参照画素Ｐ７′の画素値が判定対象画素の画素値とされる（ステップＳ１８）。この参照画素Ｐ７′は上記参照画素Ｐ０′〜Ｐ６′とは異なり、復号化済画素から１画素分隔てて位置している未復号化画素であるため、上記選択スイッチ１２は該復号化／未復号化判定器２０により上記第２補助メモリ６ｂの出力Ｍｂを選択するよう制御され、これにより、上記参照画素Ｐ５′の画素値が、参照画素Ｐ７′の擬似画素値として予測値生成器１４に格納される（ステップＳ１４）。その後は上記ステップＳ１６，ステップＳ１８の処理が行われる。
【０１２７】
さらに、上記参照画素Ｐ８′，Ｐ９′については上記参照画素Ｐ０′と同様に上記ステップＳ１３，Ｓ１５，Ｓ１６の処理が行われる。この場合、復号化／未復号化判定器２０は全ての参照画素Ｐ０′〜Ｐ９′の全てについての参照画素値が上記予測値生成器１４に取得されているという判定がなされ、予測値生成器１４にて、取得した参照画素値に基づいて、被復号化画素Ｐｘ′に対応する予測画素値が算出される（ステップＳ１７）。
【０１２８】
続いて、上記復号化器２６ａには被復号化画素Ｐｘ′の画素値とともに上記予測画素値が取得され（ステップＳ１９）、被復号化画素Ｐｘ′の画素値とその予測画素値との加算値が、上記被復号化画素Ｐｘの画像復号化信号Ｄｓとして出力される（ステップＳ２０）。
【０１２９】
このようにして１フレーム内の各ブロックの画素値が復号化処理される。なお、１フレームの先頭画素については、復号化処理を施した参照画素が存在しないので、予測画素値を０として復号化処理が行われる。
【０１３０】
そして上記画像復号化信号Ｄｓは逆ブロック器３０にて１フレーム画面に対応するよう統合されて、走査線構造の画像再生信号Ｒｓが出力される。
【０１３１】
このように本実施の形態５では、未復号化画素の画素値を参照する場合は、その周辺の符号化済画素の画素値を参照するようにしたので、画素単位での適応的な復号化処理とブロック単位での復号化処理とを、未復号化画素と被復号化画素との間での画素値の相関を損なうことなく行うことができる。これにより伝送誤りの影響をブロック単位で収束可能とするとともに、単純なブロック単位の符号化処理に比べて符号化効率を向上した符号化方法により処理された画像符号化信号Ｃｓを正しく復号化することができる。
【０１３２】
なお、上記実施の形態５では、主メモリ４の出力Ｍを保持する時間の異なる２つの補助メモリ６ａ，６ｂを備えたが、主メモリ４の出力を一時的に保持する補助メモリを１つだけ備え、主メモリ４から出力される画素値を保持する時間を、未復号化画素の被復号化画素からの距離に応じて、復号化／未復号化判定器２０によって切り換えるようにしてもよい。
【０１３３】
また、上記実施の形態５では、画像信号の符号化処理の際、被復号化画素Ｐｘ′の予測画素値のみを参照するものを示したが、被復号化画素Ｐｘ′の予測画素値だけでなく、予測画素値の確からしさを示す予測確率に基づいて復号化処理を行うようにしてもよい。
【０１３４】
また、この場合、復号化処理の対象となる画像信号が２値形状信号である場合には、予測画素値は「０」あるいは「１」のいずれかであるため、予測画素値をその一方に固定しておき、予測確率のみを参照するようにしてもよい。
【０１３５】
以下、本発明の実施の形態６として、上記予測画素値に代えて予測確率のみを参照して２値形状信号の復号化処理を行う画像復号化装置を、また実施の形態７として、上記予測画素値とともに予測確率を参照して、多値の画像信号の復号化処理を行う画像復号化装置についてそれぞれ説明する。
【０１３６】
実施の形態６．
図１０は本発明の実施の形態６による画像復号化装置の構成を示すブロック図である。なお、図中、図８と同一符号は上記実施の形態５の画像復号化装置１０５におけるものと同一のものを示す。
【０１３７】
本実施の形態６の画像復号化装置１０６は、上記実施の形態５の画像復号化装置１０５における予測値生成器１４に代えて予測確率生成器２２を備え、画素値が「０」及び「１」のいずれかである２値形状信号に対する復号化処理を行うようにしたものである。
【０１３８】
上記予測確率生成器２２は、被復号化画素Ｐｘ′に対する参照画素Ｐ０′〜Ｐ９′の画素値から、被復号化画素Ｐｘ′の画素値とその予測画素値とが一致する確率を予測確率Ｓｋとして求め、被復号化画素Ｐｘ′に対する予測確率Ｓｋを上記復号化器２６ｂに出力する構成となっている。
【０１３９】
ここで、上記復号化器２６ｂは、上記実施の形態２の画像符号化装置１０２により符号化された画像符号化信号Ｃｓの復号化処理を行う構成となっている。
【０１４０】
次に作用効果について説明する。
なお、上記実施の形態１の画像符号化装置と共通する動作についてはその説明を省略する。
このような構成の画像復号化装置１０５による２値形状信号の復号化処理においても、被復号化画素Ｐｘ′に対する参照画素Ｐ０′〜Ｐ９′のうち未復号化画素に相当するものについては、その画素値が上記実施の形態５の画像復号化装置１０５と同様に復号化済画素の画素値から生成され、すべての参照画素Ｐ０′〜Ｐ９′に対応する画素値が予測確率生成器２２に格納される。
【０１４１】
そして、上記予測確率生成器２２では、上記参照画素Ｐ０′〜Ｐ９′の画素値に基づいて、被復号化画素Ｐｘ′に対する予測確率Ｓｋを求める。この予測確率Ｓｋが上記予測確率生成器２２から復号化器２６ｂに出力されると、該復号化器２６ｂでは、被復号化画素Ｐｘ′の画素値と予め設定されている予測画素値との差分値に対して、上記予測確率Ｓｋに応じた復号化処理を行う。
【０１４２】
このように本実施の形態６では、２値の画像信号を符号化してなる画像符号化信号を復号化する画像復号化装置１０６において、ブロック境界に隣接する予測値生成が困難な被符号化画素を、符号化効率の劣化を抑えつつ符号化することができる符号化処理に対応する復号化処理を実現できる。
【０１４３】
実施の形態７．
図１１は本発明の実施の形態７による画像復号化装置の構成を示すブロック図である。なお、図中、図８と同一符号は上記実施の形態５の画像符号化装置１０５におけるものと同一のものを示す。
本実施の形態７の画像復号化装置１０７は、上述したように多値の画像信号に対して符号化処理を行うもので、上記実施の形態３の画像符号化装置１０３により符号化された画像符号化信号Ｃｓの復号化処理を行う構成となっている。
【０１４４】
具体的には、上記画像復号化装置１０７の予測確率生成部１７０は、上記実施の形態５の画像符号化装置１０５における予測値生成器１４に加えて予測確率生成器２２を有する構成となっている。
【０１４５】
上記予測確率生成器２２は、上記予測値生成器１４と同様、選択スイッチ１２の出力Ｓｏｕｔを受け、被復号化画素Ｐｘ′に対する参照画素Ｐ０′〜Ｐ９′の画素値を順次格納し、これらの画素値に基づいて、上記予測値生成器１４にて参照画素Ｐ０′〜Ｐ９′に基づいて予測される予測画素値Ｓｐの確からしさを示す予測確率Ｓｋを出力する構成となっている。
【０１４６】
そして、上記復号化器２６ｃは上記実施の形態３の符号化器１６ｃによる符号化処理に対応する復号化処理を行うものであり、該復号化器２６ｃは、上記予測値生成器１４からの予測画素信号Ｓｐ及び予測確率生成器２２からの予測確率Ｓｋに基づいて、被復号化画素Ｐｘ′の画素値を復号化する構成となっている。
【０１４７】
次に作用効果について説明する。
なお、上記実施の形態５の画像符号化装置と共通する動作についてはその説明を省略する。
このような構成の画像復号化装置１０７による多値の画像信号の復号化処理においても、被復号化画素Ｐｘ′に対する参照画素Ｐ０′〜Ｐ９′のうち未復号化画素に相当するものについては、その画素値が上記実施の形態５の画像復号化装置１０５と同様に復号化済画素の画素値から生成され、すべての参照画素Ｐ０′〜Ｐ９′に対応する画素値が予測確率生成器２２及び予測値生成器１４に格納される。
【０１４８】
そして、予測値生成器１４では、上記実施の形態５と同様にして参照画素Ｐ０′〜Ｐ９′から被復号化画素Ｐｘ′の予測画素値を求める。また上記予測確率生成器２２では、上記参照画素Ｐ０′〜Ｐ９′の画素値に基づいて、被復号化画素Ｐｘ′に対する予測確率を求める。
【０１４９】
上記予測画素値Ｓｐ及び予測確率Ｓｋが復号化器２６ｃ及び局所復号化器２４に出力されると、該復号化器２６ｃでは、被復号化画素Ｐｘ′の画素値と予測値生成器１４からの予測画素値との加算値に対して、上記予測確率Ｓｋに応じた復号化処理を行う。この再生された被復号化画素Ｐｘ′の画素値は上記主メモリ４に格納される。
【０１５０】
このように本実施の形態７では、多値の画像信号を符号化してなる画像符号化信号を復号化する画像復号化装置１０７において、ブロック境界に隣接する予測値生成が困難な被符号化画素を、符号化効率の劣化を抑えつつ符号化することができる符号化処理に対応する復号化処理を実現できる。
【０１５１】
なお、上記実施の形態５，６，７では、画像復号化装置として、実施の形態１，２，３の画像復号化装置１０１，１０２，１０３により可逆符号化した画像符号化信号を復号化するものを示したが、上記復号化器２６ａを、非可逆符号化に対応する復号化処理を行う構成とすることにより、上記実施の形態５，６，７における画像復号化装置１０５，１０６，１０７を、実施の形態４，その変形例１，２の画像符号化装置１０４，１０４ａ，１０４ｂに対応するものとできる。
【０１５２】
また、上記実施の形態で示した符号化装置あるいは復号化装置の構成を実現するための符号化あるいは復号化プログラムを、フロッピーディスク等のデータ記憶媒体に記録するようにすることにより、上記実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
【０１５３】
図１２(a) は、上記実施の形態の符号化あるいは復号化処理を、上記符号化あるいは復号化プログラムを格納したフロッピーディスクを用いて、コンピュータシステムにより実施する場合を説明するための図である。
【０１５４】
図１２(b) は、フロッピーディスクの正面からみた外観、断面構造、及びフロッピーディスクを示し、図１２(a) は、記録媒体本体であるフロッピーディスクの物理フォーマットの例を示している。フロッピーディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフロッピーディスクでは、上記フロッピーディスクＦＤ上に割り当てられた領域に、上記プログラムとしてのデータが記録されている。
【０１５５】
また、図１２(c) は、フロッピーディスクＦＤに上記プログラムの記録再生を行うための構成を示す。上記プログラムをフロッピーディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムとしてのデータをフロッピーディスクドライブを介して書き込む。また、フロッピーディスク内のプログラムにより上記符号化あるいは復号化装置をコンピュータシステム中に構築する場合は、フロッピーディスクドライブによりプログラムをフロッピーディスクから読み出し、コンピュータシステムに転送する。
【０１５６】
上記説明では、データ記録媒体としてフロッピーディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
【０１５７】
また、上記実施の形態２，３及び実施の形態４の変形例１，２では、予測確率に応じて符号化方法を切換える例を、実施の形態５，６では、予測確率に応じて復号化方法を切換える例を示したが、上記予測確率に応じて符号語（符号化テーブル）を変更してもよい。特に算術符号で符号化する場合は予測確率により算術符号に相当する確率テーブルを更新するようにすることにより、簡単な構成により、上記実施の形態２，３及び実施の形態４の変形例１，２の画像符号化装置、あるいは実施の形態５，６の画像復号化装置を実現することができ、この場合、その実用上の効果は非常に大きい。
【０１５８】
また、本発明は、被符号化画素の予測画素値をその周辺に位置する複数の周辺画素の画素値を参照して予測する際、該周辺画素のうちの未符号化画素については、上記周辺画素のうちの符号化済画素の画素値を用いて擬似画素値を生成するようにしたものであるが、被符号化画素のブロック内での位置に応じて、その予測画素値を生成する際に参照される１群の周辺画素として、被符号化画素周辺での配置が異なるものを用いるようにしてもよい。
【０１５９】
例えば、図１４を用いて具体的に説明すると、被符号化画素Ｐｘがブロックの境界に位置する場合には、その周辺画素Ｐ０, Ｐ１, Ｐ３, Ｐ４, Ｐ５, Ｐ８, Ｐ９のみを参照画素とし、被符号化画素Ｐｘがブロックの境界以外に位置する場合には、その周辺画素Ｐ０, Ｐ１, Ｐ２, Ｐ３, Ｐ４, Ｐ５, Ｐ６, Ｐ７, Ｐ８, Ｐ９の全てを参照画素とする。そして、被符号化画素Ｐｘを符号化する際には、その周辺画素Ｐ０, Ｐ１, Ｐ３, Ｐ４, Ｐ５, Ｐ８, Ｐ９のみで構成される符号語と、周辺画素Ｐ０, Ｐ１, Ｐ２, Ｐ３, Ｐ４, Ｐ５, Ｐ６, Ｐ７, Ｐ８, Ｐ９の全てで構成される符号語とを切り替えて使用する。
【０１６０】
言い換えると、符号化器を、被符号化画素Ｐｘのブロック内での位置に応じた符号語を複数有する構成とし、上記被符号化画素Ｐｘの位置に応じて符号語を切換える構成とする。
【０１６１】
このような構成によっても、上述した本発明の実施の形態の画像符号化装置と同様な効果が得られることは、本発明の実施の形態から容易に類推できる。
【０１６２】
なお、復号化器についても、図１７に示す被復号化画素Ｐｘ′のブロック内での位置に応じた符号語を複数有する構成とし、上記被復号化画素Ｐｘ′の位置に応じて符号語を切換える構成とすることにより、上記実施の形態の画像復号化装置と同様な効果が得られることは言うまでもない。
【０１６３】
【発明の効果】
本発明に係る画像符号化装置によれば、被符号化画素に対応する複数の周辺画素のうちの未符号化画素の画素値を、上記複数の周辺画素のうちの符号化済画素の画素値に基づいて得られる擬似画素値に置き換える画素値置換手段を備えたので、１画像表示領域に対応する画像信号をブロック単位で符号化する処理を、被符号化画素周辺の周辺画素の画素値を画素毎に参照して行う際、被符号化画素がブロックの境界に隣接して位置し、参照される複数の周辺画素に未符号化画素が含まれる場合であっても、未符号化画素の画素値として、他の周辺画素の画素値との間で相関のとれた擬似画素値を参照することができる。この擬似画素値は被符号化画素周辺の符号化済画素の画素値から得られるものであるので、復号化側においても、被復号化画素の復号化の際に参照される未復号化画素については、その画素値の代わりに、復号化済画素の画素値から得られる擬似画素値を参照することができる。
また、被符号化画素の画素値に対する非可逆符号化処理を、上記符号化済画素の画素値を復号化した復号化画素値に基づいて行うので、被符号化画素に対する非可逆符号化処理の際に参照する周辺画素の画素値を、被復号化画素に対する復号化処理の際に参照される周辺画素の画素値と同一にすることができる。
【０１６４】
このため、画素単位での適応的な符号化処理とブロック単位での符号化処理とを、未符号化画素と被符号化画素との間での画素値の相関を損なうことなく、しかも復号化側にて符号化信号の復号化が困難となるのを回避しつつ組み合わせることができる。
【０１６５】
これにより伝送誤りの影響をブロック単位で収束可能とし、かつ符号化効率を単純なブロック単位の符号化処理に比べてより高いものとでき、また、被符号化画素の予測効率の劣化を招くことなく符号化した符号化信号の復号化処理を正しく行うことができるという効果が得られる。
【０１６６】
本発明によれば、上記画像符号化装置において、未符号化画素の擬似画素値として、最も未符号化画素に近い符号化済画素の画素値を用いることにより、未符号化画素の擬似画素値を、周辺画素の画素値との相関の強いものとできる。
【０１６７】
本発明によれば、上記画像符号化装置において、未符号化画素の擬似画素値として、未符号化画素と同一水平走査線上で上記未符号化画素から最も近い符号化済画素の画素値を用いることにより、符号化済画素の画素値を所定時間保持するといった簡単な方法により、未符号化画素の擬似画素値を得ることができる。
【０１６８】
本発明によれば、上記画像符号化装置において、上記被符号化画素の画素値とその予測画素値との差分値を符号化することにより、被符号化画素の画素値の符号化に必要となる符号量を低減して符号化効率を向上するこができる。
【０１６９】
本発明によれば、上記画像符号化装置において、上記符号化済画素の画素値及び未符号化画素の擬似画素値に基づいて、被符号化画素の画素値を符号化するための符号語を選択するようにすることにより、画像信号の符号化処理の際、画素毎に符号語を適応的に変更して、効率のよい符号化処理を実現することができる。
【０１７０】
本発明によれば、上記画像符号化装置において、上記符号化済画素の画素値及び未符号化画素の予測画素値に基づいて、被符号化画素を符号化する算術符号に相当する確率テーブルを選択して、被符号化画素に対する画素値の符号化を行うことにより、算術符号化処理における確率テーブルを画素毎に適応的に切り替えて、効率のよい符号化処理を行うことができる。
【０１７１】
本発明によれば、上記画像符号化装置において、被符号化画素の画素値に対して非可逆符号化処理を、上記符号化済画素の画素値を復号化した復号化画素値に基づいて行うことにより、被符号化画素に対する非可逆符号化処理の際に参照する周辺画素の画素値を、被復号化画素に対する復号化処理の際に参照される周辺画素の画素値と同一にすることができ、これにより周辺画素の画素値に基づいた非可逆符号化により得られる画像符号化信号を、復号化側にて正しく復号化することが可能となる。
【０１７２】
本発明によれば、上記画像符号化装置において、上記符号化済画素の画素値および未符号化画素の擬似画素値から被符号化画素の予測画素値を生成し、上記被符号化画素の画素値とその予測画素値との差分値を符号化することにより、被符号化画素の画素値の符号化に必要となる符号量を低減して符号化効率を向上するこができる。
【０１７３】
本発明によれば、上記画像符号化装置において、上記符号化済画素の画素値及び未符号化画素の擬似画素値に基づいて、該被符号化画素の画素値を符号化するための符号語を選択することにより、画像信号の符号化処理の際、画素毎に符号語を適応的に変更して、効率のよい符号化処理を実現することができる。
【０１７４】
本発明によれば、上記画像符号化装置において、上記符号化済画素の画素値及び未符号化画素の擬似画素値に基づいて、被符号化画素を符号化する算術符号に相当する確率テーブルを選択して、被符号化画素に対する画素値の符号化を行うことにより、算術符号化処理における確率テーブルを画素毎に適応的に切り替えて、効率のよい符号化処理を行うことができる。
【０１７５】
本発明に係る画像符号化方法によれば、画像信号を１画像表示領域上の各ブロックに対応するようブロック化し、該ブロックにおける被符号化画素の画素値を周辺画素の画素値を参照して符号化し、この際、周辺画素が符号化済画素であればその画素値を参照し、該周辺画素が未符号化画素であれば、その画素値に代えて符号化済画素の画素値から得られる擬似画素値を参照するようにしたので、上記符号化処理の際、被符号化画素がブロックの境界に隣接して位置し、参照される複数の周辺画素に未符号化画素が含まれる場合であっても、未符号化画素の画素値として、他の周辺画素の画素値との間で相関のとれた擬似画素値を参照することができる。この擬似画素値は被符号化画素周辺の符号化済画素の画素値から得られるものであるので、復号化側においても、被復号化画素の復号化の際に参照される未復号化画素については、その画素値に代わりに、復号化済画素の画素値から得られる擬似画素値を参照することができる。
また、被符号化画素の画素値に対する非可逆符号化処理を、上記符号化済画素の画素値を復号化した復号化画素値に基づいて行うので、被符号化画素に対する非可逆符号化処理の際に参照する周辺画素の画素値を、被復号化画素に対する復号化処理の際に参照される周辺画素の画素値と同一にすることができる。
【０１７６】
このため、画素単位での適応的な符号化処理とブロック単位での符号化処理とを、未符号化画素と被符号化画素との間での画素値の相関を損なうことなく、しかも復号化側にて符号化信号の復号化が困難となるのを回避しつつ組み合わせることができる。
【０１７７】
これにより伝送誤りの影響をブロック単位で収束可能とし、かつ符号化効率を単純なブロック単位の符号化処理に比べてより高いものとでき、また、被符号化画素の予測効率の劣化がなく符号化信号の復号化処理を正しく行うことができるという効果が得られる。
【０１７８】
このように本発明の画像符号化装置及び画像符号化方法は、画像信号の圧縮処理における符号化効率を向上することができ、画像信号の伝送や記憶を行うシステムにおける画像符号化処理を実現するものとして極めて有用であり、特に、ＭＰＥＧ４等の規格に準拠した動画像の圧縮，伸長処理に適している。
【図面の簡単な説明】
【図１】
本発明の実施の形態１による画像符号化装置の構成を示すブロック図である。
【図２】
上記画像符号化装置による符号化処理における未符号化画素の画素値を生成する処理をフローチャートにより示す図である。
【図３】
本発明の実施の形態２による画像符号化装置の構成を示すブロック図である。
【図４】
本発明の実施の形態３による画像符号化装置の構成を示すブロック図である。
【図５】
本発明の実施の形態４による画像符号化装置の構成を示すブロック図である。
【図６】
上記実施の形態４の変形例１による画像符号化装置の構成を示すブロック図である。
【図７】
上記実施の形態４の変形例２による画像符号化装置の構成を示すブロック図である。
【図８】
本発明の実施の形態５による画像復号化装置の構成を示すブロック図である。
【図９】
上記画像復号化装置による復号化処理における未復号化画素の画素値を生成する処理をフローチャートにより示す図である。
【図１０】
本発明の実施の形態６による画像復号化装置の構成を示すブロック図である。
【図１１】
本発明の実施の形態７による画像復号化装置の構成を示すブロック図である。
【図１２】
図１２(a)，図１２(b)，図１２(c)は、上記実施の形態の画像符号化装置による符号化処理あるいは画像復号化装置による復号化処理をコンピュータシステムにより実現するためのプログラムを格納したデータ記憶媒体を示す図である。
【図１３】
図１３(a)、図１３(b)は、ブロック単位の符号化処理における１フレーム画面を複数のブロックに区分する様子を示す模式図である。
【図１４】
画素単位での適応的な符号化処理を説明するための模式図である。
【図１５】
上記ブロック単位の符号化処理と画素単位での符号化処理とを組み合わせた組合せ符号化方法における問題点を説明するための模式図である。
【図１６】
図１６(a)、図１６(b)は、ブロック単位の復号化処理における１フレーム画面を複数のブロックに区分する様子を示す模式図である。
【図１７】
画素単位での適応的な復号化処理を説明するための模式図である。
【図１８】
上記ブロック単位の復号化処理と画素単位での復号化処理とを組み合わせた組合せ復号化方法における問題点を説明するための模式図である。
【符号の説明】
２  ブロック化器
４  カウンタ
６ａ，６ｂ  第１，第２補助メモリ
８  カウンタ
１０  符号化／未符号化判定器
１２  選択スイッチ
１４  予測値生成器
１６ａ，１６ｂ，１６ｃ，１６ｄ，１６ｅ，１６ｆ  符号化器
２０  復号化／未復号化判定器
２２  予測確率生成器
２４  局所復号化器
２６ａ，２６ｂ，２６ｃ  復号化器
３０  逆ブロック化器
１０１，１０２，１０３，１０４，１０４ａ，１０４ｂ  画像符号化装置
１０５，１０６，１０７  画像復号化装置
１１０，１２０，１３０，１４０，１４０ａ，１４０ｂ，１５０，１６０，１７０  予測値生成部