(57)【要約】【課題】  ラスタ構造を保ち画素単位での適応予測が可能でありながら、符号誤りの伝播を防止する。【解決手段】  水平方向に８画素ごとであって垂直方向に１画素オフセットした●画素の値をそのまま伝送データとして選択するとともに、●画素以外の○画素を圧縮するために、垂直方向については●画素のみを○画素の予測画素を選択するための予測候補画素として予測画素を選択し、その予測画素の値と○画素の値の予測誤差を算出する。【選択図】  図１
2005086792.tif 000002
【特許請求の範囲】
【請求項１】
ラスタ順で入力される画像信号に対して、水平方向に所定の画素数ごとであって垂直方向にオフセットした第１の画素の値をそのまま伝送データとして選択するステップと、
前記第１の画素以外の第２の画素を圧縮するために、垂直方向については前記第１の画素のみを前記第２の画素の予測画素を選択するための予測候補画素として前記予測画素を選択し、その前記予測画素の値と前記第２の画素の値の予測誤差を算出するステップと、
前記第１の画素の値と前記第２の画素の予測誤差を符号化してラスタ順で出力するステップとを、
有するＤＰＣＭ符号化方法。
【請求項２】
ラスタ順で入力される画像信号に対して、水平方向に所定の画素数ごとに応じた数のラインを記憶する複数のラインメモリと、
前記複数のラインメモリに記憶された画像信号から、前記水平方向に所定の画素数ごとであって垂直方向にオフセットした第１の画素の値をそのまま伝送データとして選択する手段と、
前記第１の画素以外の第２の画素を圧縮するために、前記複数のラインメモリに記憶された画像信号から、垂直方向については前記第１の画素のみを前記第２の画素の予測画素を選択するための予測候補画素として前記予測画素を選択し、その予測画素の値と前記第２の画素の値の予測誤差を算出する手段と、
前記第１の画素の値と前記第２の画素の予測誤差を符号化してラスタ順で出力する手段とを、
有するＤＰＣＭ符号化装置。
【請求項３】
ラスタ順で入力される画像信号に対して、水平方向に所定の画素数ごとに応じた数のラインを複数のラインメモリのそれぞれに記憶するステップと、
前記複数のラインメモリに記憶された画像信号から、前記水平方向に所定の画素数ごとであって垂直方向にオフセットした第１の画素の値をそのまま伝送データとして選択するステップと、
前記第１の画素以外の第２の画素を圧縮するために、前記複数のラインメモリに記憶された画像信号から、垂直方向については前記第１の画素のみを前記第２の画素の予測画素を選択するための予測候補画素として前記予測画素を選択し、その予測画素の値と前記第２の画素の値の予測誤差を算出するステップと、
前記第１の画素の値と前記第２の画素の予測誤差を符号化してラスタ順で出力するステップとを、
有する処理をコンピュータに動作させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＤＰＣＭ（Differential Pulse Code Modulation）及び可変長符号化により画像データを圧縮して伝送するＤＰＣＭ符号化方法及びＤＰＣＭ符号化装置並びにコンピュータプログラムに関し、特にラスタ構造の画像データをラスタ順に伝送する符号化に関する。
【背景技術】
【０００２】
画像データを圧縮符号化する方法として、ＤＰＣＭと可変長符号化が広く利用されている。ＤＰＣＭによる圧縮方法では、隣接する画素データ間の相関が強いことを利用して予測値と画像データの誤差を符号化する。符号化にはハフマン符号、算術符号、ランレングス符号などが用いられる。画素データはその画素が２次元平面上に並んでいるため、２次元平面上で隣接する画素を予測値とすることで予測精度が高くなる。この際、風景などの自然画像と、計算機により作成された画像では画素間の相関の性質が大きく異なるため、予測方法を適応的に切り替えるなどの方法が取られている。以下では、画素ごとに予測に用いる画素を適応的に変更することを適応予測ＤＰＣＭと呼ぶ。
【０００３】
ところで、連鎖的に予測値を繰り返し復号するＤＰＣＭにとって、符号誤りはそれ以後のデータに多大な影響を及ぼし画像が破綻するという問題点がある。特に、無線通信など伝送過程で符号誤りが発生しやすい環境では留意する必要がある。この符号誤りの伝播を抑える方法として、洩れ積分型の予測が知られている。洩れ積分型の一例を図１７に示す。図１７中の丸印は画像ラスタを構成する２次元配列された複数の画素中の一部の画素を表している。注目画素●の予測値を、左側の画素Ａと上の画素Ｂを用いて次式（１）
【０００４】
【数１】
2005086792.tif 000003
【０００５】
により求め、次いで真の値Ｙとの差ｄを次式（２）
【０００６】
【数２】
2005086792.tif 000004
【０００７】
により求め、差ｄが符号化され伝送される。（詳しくは下記の非特許文献１を参照。）
【０００８】
しかし、この方法は、符号化効率の点で適応予測の導入など改善の余地がある。そこで、洩れ積分型を用いず、符号誤りの伝播を防止する予測方法やデータ伝送方法が提案されている。例えば下記の特許文献１では、データをブロックに分割し、符号誤りのデータを挟みこむ形でブロック化されたデータ列の前後両方向から復号し、符号誤りの伝播を防止している。また下記の特許文献２では、２次元平面上で予測方向とデータ伝送順を一致させることで、符号誤りが２次元平面的に拡散することを防止している。さらに、下記の特許文献３では、１ラインを複数のクラスタに分割し、クラスタの中心に圧縮しないＰＣＭデータを配置し、そこから前後のデータを予測し、符号誤りがクラスタ間にまたがることを防止している。
【特許文献１】特開平７−４６１９９号公報（００１８，図１）
【特許文献２】特開平２−２５３７８３号公報（特許請求の範囲）
【特許文献３】特開昭６４−３２７８９号公報（第７図）
【非特許文献１】吹抜敬彦著“ＴＶ画像の多次元信号処理”日刊工業新聞社刊（ISDB4-526-O2441-4)の２１３〜２３５頁
【発明の開示】
【発明が解決しようとする課題】
【０００９】
ところで、現在、家庭内における電子機器間接続のワイヤレス化が進んでいる。画像データを家庭内で無線伝送する際に、伝送帯域の有効活用の目的で高能率符号化が必要となるが、低伝送レート化のみならず、ハードウエアの低コスト化や低伝送遅延化なども要求される。そこで、データの複雑な並べ替えなどを行わず、符号化器に入力される画像信号のラスタ構造を保ち、符号化した直後に伝送することが必要となる。ＤＰＣＭはこのような目的に適しているが、前述のように符号誤りの伝播を防止する措置をとる必要がある。しかし、従来方法による符号誤りの伝播防止措置では、特許文献２のようにラスタ構造を保っていないものや、特許文献１、３のように画素単位での適応予測ができないという課題があった。
【００１０】
そこで本発明は、ラスタ構造を保ち画素単位での適応予測が可能でありながら、符号誤りの伝播を防止することができるＤＰＣＭ符号化方法及びＤＰＣＭ符号化装置並びにコンピュータプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明は上記目的を達成するために、ラスタ順で入力される画像信号に対して、水平方向に所定の画素数ごとであって垂直方向にオフセットした第１の画素の値をそのまま伝送データとして選択し、
前記第１の画素以外の第２の画素を圧縮するために、垂直方向については前記第１の画素のみを前記第２の画素の予測画素を選択するための予測候補画素として前記予測画素を選択し、その前記予測画素の値と前記第２の画素の値の予測誤差を算出し、
前記第１の画素の値と前記第２の画素の予測誤差を符号化してラスタ順で出力するようにしたものである。
【００１２】
この構成により、符号化効率を高める相関の強い画素を適応的に選択でき、かつＤＰＣＭの問題点である符号誤りが広範囲に影響することを防止できる上に、ＤＰＣＭの特徴である簡便で低コストという利点のみでなく、ラスタ順に符号化・復号できるので伝送遅延がほとんど発生しないという利点がある。
【発明の効果】
【００１３】
本発明によれば、符号化効率を高める相関の強い画素を適応的に選択でき、かつＤＰＣＭの問題点である符号誤りが広範囲に影響することを防止できる上に、ＤＰＣＭの特徴である簡便で低コストという利点に加えて、ラスタ順に符号化・復号できるので伝送遅延がほとんど発生しないという効果がある。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照して本発明の実施の形態について説明する。図１は本発明に係る符号化方法の一実施の形態として、８画素ごとに１画素の間隔で、画素値そのものが伝送される●画素の位置を示している。また、図１で示すように、ライン間では●画素の位置は左に１画素ずつオフセットする構造とする。●画素により挟まれた７つの○画素（位相＃１〜＃７）については、周辺の●画素から値の近いものを適応的に選択して予測値とし、予測に用いた画素位置（位相＃１〜＃７）を表す符号と、○画素の値と予測値との差分であるＤＰＣＭ値を伝送する。
【００１５】
図２は●画素の右隣（１番目）にある○画素３０１の予測（位相＃１）に用いる候補画素３０２〜３０５を示し、画素３０２は画素３０１の左側に隣接する●画素、画素３０３は画素３０１の１ライン上で最も近い●画素、画素３０４は画素３０１の２ライン上で最も近い●画素、画素３０５は画素３０１の右で最も近い●画素である。さらに、予測に用いる画素は、４画素３０２〜３０５のうち、
ｄmin＝min［｜Ｙ−Ｙｘ｜］  （ｘ＝302,303,304,305）  …（３）
により画素３０１との差の絶対値を最小とする画素を選択し、予測誤差＝Ｙ−Ｙｘを求める。
【００１６】
図３は●画素から右に２番目にある○画素４０１の予測（位相＃２）に用いる候補画素４０２〜４０５を示し、画素４０２は画素４０１の左側に隣接する○画素、画素４０３は画素４０１の１ライン上で最も近い●画素、画素４０４は画素４０１の２ライン上で最も近い●画素、画素４０５は画素４０１の右で最も近い●画素である。そして、同様にして、式（３）により、画素４０２〜４０５から適応的に予測値とする画素を選択する。
【００１７】
図４は●画素から右に３番目にある○画素５０１の予測（位相＃３）に用いる候補画素５０２〜５０５を示し、画素５０２は画素５０１の左側に隣接する○画素、画素５０３は画素５０１の１ライン上で最も近い●画素、画素５０４は画素５０１の３ライン上で最も近い●画素、画素５０５は画素５０１の右で最も近い●画素である。そして、同様にして、式（３）により、画素５０２〜５０５から、適応的に予測値とする画素を選択する。
【００１８】
図５は●画素から右に４番目にある○画素６０１の予測（位相＃４）に用いる候補画素６０２〜６０５を示し、画素６０２は画素６０１の左側に隣接する○画素、画素６０３は画素６０１の１ライン上で最も近い●画素、画素６０４は画素６０１の４ライン上で最も近い●画素、画素６０５は画素６０１の右で最も近い●画素である。そして、同様にして、式（３）により、画素６０２〜６０５から適応的に予測値とする画素を選択する。
【００１９】
ここで、●画素から右に５、６、７番目にある○画素の予測では、上のラインの画素を用いると画素間の距離が離れるため、下のラインの画素を予測候補として用い、式（３）により、この候補から適応的に予測値とする画素を選択する。すなわち、図６は●画素から右に５番目にある○画素７０１の予測（位相＃５）に用いる候補画素７０２〜７０５を示し、画素７０２は画素７０１の左側に隣接する○画素、画素７０３は画素７０１の３ライン下で最も近い●画素、画素７０４は画素７０１の１ライン下で最も近い●画素、画素７０５は画素７０１の右で最も近い●画素である。
【００２０】
図７は●画素から右に６番目にある○画素８０１の予測（位相＃６）に用いる候補画素８０２〜８０５を示し、画素８０２は画素８０１の左側に隣接する○画素、画素８０３は画素８０１の２ライン下で最も近い●画素、画素８０４は画素８０１の１ライン下で最も近い●画素、画素８０５は画素８０１の右で最も近い●画素である。
【００２１】
図８は●画素から右に７番目にある○画素９０１の予測（位相＃７）に用いる候補画素９０２〜９０５を示し、画素９０２は画素９０１の左側に隣接する○画素、画素９０３は画素９０１の２ライン下で最も近い●画素、画素９０４は画素９０１の１ライン下で最も近い●画素、画素９０５は画素９０１の右で最も近い●画素である。以上のように水平・垂直方向に相関が強い画素を適応的に選択することが可能である。また、水平方向には８画素おきにＤＰＣＭ値がリセットされ、また、垂直方向には連鎖的な予測を行わないため、符号誤りの影響する領域を制限することが可能である。
【００２２】
＜符号化＞
以下では、図９のブロック図と図１０のフローチャートを用いて、適応予測ＤＰＣＭ符号化を１フレーム分行う動作について説明する。図１０のステップＳ１１０１の画素データの保存動作に従い、１ライン単位で入力１０００から１ラインメモリ１００８に画素データが入力され、メモリ１００１〜１００８上に８ラインが保存される。すでに、１ラインメモリ１００１には図１の第１ライン２０１の画素データが蓄えられており、同様に１ラインメモリ１００２〜１００８にはそれぞれ図１の第２〜第８ライン２０２〜２０８の画素データが蓄えられているものとする。
【００２３】
次に図１０のステップＳ１１０２の符号化対象画素値の読出し動作として、図９の適応予測ＤＰＣＭ符号化器１００９は１ラインメモリ１００５に蓄えられている図１の第５ライン２０５の○画素を読み出す。次に図１０のステップＳ１１０３の符号化動作を説明する。まず、１ラインメモリ１００５中から読み出された画素データが図２の画素３０１（位相＃１）である場合、予測候補画素は符号化しようとしているラインとその上２ラインに存在している。したがって、適応予測ＤＰＣＭ符号化器１００９は１ラインメモリ１００５，１００４，１００３から経路１０１５，１０１４，１０１３を通じて画素値を読み込み、式（３）により求める誤差が最小となる画素を探索する。
【００２４】
次に図１０のステップＳ１１０４に従い前記誤差が最小となった画素位置と予測誤差値を符号化する。以後、順番に読み出される画素は、図３〜図８の位相＃２〜＃７の符号化対象画素値となり、予測候補に必要な画素値を経路１０１１〜１０１８から読み込み、誤差が最小となる画素位置と予測誤差値を符号化する。すなわち、１ライン分の符号化の完了を判断する図１０のステップＳ１１０５の動作に従い、１ラインメモリ１００５の画素データ○を全て符号化するまで上記ステップＳ１１０２〜Ｓ１１０４の動作を繰り返す。
【００２５】
１ライン分の画素を全て符号化した後、図１０のステップＳ１１０６の動作に従い、符号化したラインの３ライン下の１ラインメモリ１００８に含まれる画素データ●の値をそのまま符号化し、図１１に示した順番で符号化されたデータをセットにして出力１０１０から出力する。ただし、出力されたデータはハフマン符号などのエントロピー符号化が行われてから伝送されるが、本発明とは独立して考えられるため説明は省略する。
【００２６】
図１１に示すデータＹ１〜Ｙｍは、図９の１ラインメモリ１００８中に存在するｍ個の●画素のデータであり、続くデータｄ１〜ｄｎは適応予測ＤＰＣＭで符号化された１ラインメモリ１００５中に存在するｎ個の○画素のデータである。以上で１ライン分の符号化が終了し、図１０のステップＳ１１０７の動作に従い１ラインメモリ１００２〜１００８の画素データが経路１０２２〜１０２８を通して、隣接する１ライン分ラインメモリにシフトされる。図１０のステップＳ１１０８に従い、上記ステップＳ１１０１〜Ｓ１１０７の動作は１フレーム分符号化されるまで繰り返され、ステップＳ１１０１により再び新たな１ライン分の画素データが入力１０００から１ラインメモリ１００８に入力される。この動作により、ラスタ順で入力された画素データをラスタ順に符号化して行く。
【００２７】
ただし、１画面の端にあたる上下左右端の数画素については、図２〜図８に示す予測候補画素が存在しないので、量子化スケールの中間値を持つ画素が存在するものと考えて符号化する。例えば８ビット（十進数で０〜２５５）のデジタルデータで画素値が表現されている場合は十進数で１２８とする。また、始めの１ライン目の符号化はその下３ラインが揃ってから開始されるが、復号では始めの３ライン分の予測に用いられる●画素が伝送されてこないため、符号化においてもこれら予測画素（●）が存在しないものとして十進数で１２８を予測値として符号化する。すなわち、復号の完了している水平方向の直前の画素による予測誤差と、十進数で１２８との予測誤差の小さい方が予測値として選択される。この際、始めの３ライン分の●画素に限ってはＤＰＣＭで符号化及び復号する。画像が動画像である場合は、次のフレームが入力される度に図１０の動作が始めから開始される。
【００２８】
＜復号＞
次に、復号の手順を図１２のブロック図と図１３のフローチャートを用いて説明する。まず、図１３のステップＳ１４０１の符号保存動作に従い、図１２に示す入力１３００から図１１の構造で伝送された１ライン分の符号が入力される。入力された符号データのうち、図１１のデータＹ１〜Ｙｍを１ラインメモリ１３０８中に図１４の第８ライン１５０８の●で示す位置で保存する。残りのデータｄ１〜ｄｎは、１ラインメモリ１３０５中に図１４の第５ライン１５０５の◎で示す位置で保存する。図１４の第１〜第７ライン１５０１〜１５０７のデータ●は既に伝送済みの画素値であり、第１〜第４ライン１５０１〜１５０４のデータ○は既に復号された画素値である。
【００２９】
次に図１３のステップＳ１４０２の動作に対応して、適応予測ＤＰＣＭ復号器１３０９は入力された１ラインメモリ１３０５中の◎の位置にある符号を経路１３１５から１画素分ずつ読み出し、予測に使用された画素位置を求める。さらに図１３のステップＳ１４０３の動作に従い、予測に使用された画素が１ラインメモリ１３０１〜１３０８の中のいずれかに存在するので、経路１３１１〜１３１８を通して予測値を読み出す。読み出された予測値に符号化された予測誤差値を加えたものが求める画素値となる。復号された画素値は経路１３１５を通じて１ラインメモリ１３０５へ書き戻される。上記ステップＳ１４０２〜Ｓ１４０３の動作を１ラインメモリ中の画素が全て復号されるまで繰り返す。
【００３０】
１ライン分の復号が終了すると図１３のステップＳ１４０４に従い、ステップＳ１４０５の動作が実行され、復号された１ラインメモリ１３０５の画素データが１ライン分、出力１３１０から出力される。その後、図１４のステップＳ１４０６の動作に従い、１ラインメモリ１３０２〜１３０８のデータが経路１３２２〜１３２８を通じて隣接する１ラインメモリにシフトされる。次に、図１３のステップＳ１４０７に従い、上記ステップＳ１４０１〜Ｓ１４０６の動作を１フレーム分繰り返す。すなわち、入力１３００から入力された新たな１ライン分の符号が、１ラインメモリ１３０５と１３０８へ書き込まれ、以下この動作を繰り返し、ラスタ順で入力された符号をラスタ順に画素データに復号して行く。ただし、符号化と同様に１画面の上下左右端の数画素で、予測候補が存在しないので量子化スケールの中間値を持つ画素が存在するものと考えて復号する。
【００３１】
以上のように水平方向に８画素ごとに、かつ垂直方向に１画素ずつオフセットする形で画素値をそのまま伝送し、垂直方向に予測を行うときには前記画素値をそのまま伝送した画素 （●）を予測値とする構成としたので、垂直方向に相関の強い絵柄において、垂直方向から予測ができないという問題が解決される。すなわち、垂直方向に１画素ずつオフセットして●画素が配置されているという特徴により、符号化対象画素の上下方向に必ず●画素が存在し、垂直方向に相関の強い絵柄における予測値として選択可能になる。
【００３２】
この結果、自然画だけでなく、コントラストの強い水平・垂直エッジが多く適応予測を用いないと予測誤差が０近傍に集中することの少ないコンピュータ画面に対しても、優れた符号化を実現できる。また、図９の符号化器の構成から分かるように、フレームメモリを必要とせず８ライン分のメモリのみで符号化が可能であり、４ライン分の時間遅延で符号の伝送を開始できる。さらに、図１２の復号器の構成から分かるように、８ライン分のメモリのみで復号が可能であり、１ライン分の時間遅延で復号された画像をラスタ順に出力できる。
【００３３】
本実施の形態において符号誤りが発生した場合の影響について図１５と図１６により説明する。図１５は、画素値そのものを伝送している●画素が符号誤りであった場合に影響を受ける範囲を破線で示している。図１５の◎の位置で●画素の符号誤りが発生した場合、最悪でも図２〜図８に示すように予測候補画素として用いる領域以外には影響することがない。しかも、選択される予測画素によっては影響を受ける範囲はさらに小さくなる。
【００３４】
図１６は適応予測ＤＰＣＭで符号化された○画素が符号誤りであった場合に影響を受ける範囲を破線で示している。図１６の◎の位置で○画素の伝送誤りが発生した場合、最悪でも水平方向８画素の領域以外には影響することがない。しかも、選択される予測画素によっては影響を受ける範囲はさらに小さくなる。
【産業上の利用可能性】
【００３５】
本発明は、ハードウエアのみならず、コンピュータに動作させるコンピュータプログラムにも適用することができる。
【図面の簡単な説明】
【００３６】
【図１】本発明の一実施の形態の非圧縮画素と圧縮画素の配置を示した説明図である。
【図２】図１の位相＃１の画素の予測に用いる予測候補画素を示した説明図である。
【図３】図１の位相＃２の画素の予測に用いる予測候補画素を示した説明図である。
【図４】図１の位相＃３の画素の予測に用いる予測候補画素を示した説明図である。
【図５】図１の位相＃４の画素の予測に用いる予測候補画素を示した説明図である。
【図６】図１の位相＃５の画素の予測に用いる予測候補画素を示した説明図である。
【図７】図１の位相＃６の画素の予測に用いる予測候補画素を示した説明図である。
【図８】図１の位相＃７の画素の予測に用いる予測候補画素を示した説明図である。
【図９】本発明の一実施の形態の符号化装置の構成を示すブロック図である。
【図１０】本発明の一実施の形態の符号化手順を示すフローチャートである。
【図１１】本発明の一実施の形態の符号化後のデータストリームを示す説明図である。
【図１２】本発明の一実施の形態の復号装置の構成を示すブロック図である。
【図１３】本発明の一実施の形態の復号手順を示すフローチャートである。
【図１４】本発明の一実施の形態の復号時の画素配列を示す説明図である。
【図１５】本発明の一実施の形態における画素値がそのまま伝送された画素が符号誤りした場合の影響を示す説明図である。
【図１６】本発明の一実施の形態における差分符号化された画素が符号誤りした場合の影響を示す説明図である。
【図１７】従来の洩れ積分型による予測値を求める方法を示した説明図である。
【符号の説明】
【００３７】
１００１〜１００８，１３０１〜１３０８  １ラインメモリ
１００９  適応予測ＤＰＣＭ符号化器
１３０９  適応予測ＤＰＣＭ復号器
【図１】
2005086792.tif 000005
【図２】
2005086792.tif 000006
【図３】
2005086792.tif 000007
【図４】
2005086792.tif 000008
【図５】
2005086792.tif 000009
【図６】
2005086792.tif 000010
【図７】
2005086792.tif 000011
【図８】
2005086792.tif 000012
【図９】
2005086792.tif 000013
【図１０】
2005086792.tif 000014
【図１１】
2005086792.tif 000015
【図１２】
2005086792.tif 000016
【図１３】
2005086792.tif 000017
【図１４】
2005086792.tif 000018
【図１５】
2005086792.tif 000019
【図１６】
2005086792.tif 000020
【図１７】
2005086792.tif 000021