(57)【特許請求の範囲】
【請求項１】
画像を入力する画像入力手段と、
入力された画像を情報源符号化する情報源符号化手段と、
情報源符号化された符号データを固定長のデータフレームに分割するデータフレーム分割手段と、
分割されたデータフレーム内の画像の画素数を検出するデータフレーム内画素数検出手段と、
前記データフレーム内の画像の画素数をもとに、画素数が大きな程誤り訂正能力の大きな誤り訂正手法を選択する誤り訂正手法選択手段と、
前記誤り訂正手法選択手段によって選択された誤り訂正手法で誤り訂正符号を付加する誤り訂正符号付加手段とからなることを特徴とする画像符号化装置。
【請求項２】
画像を入力する画像入力手段と、
入力された画像を情報源符号化する情報源符号化手段と、
情報源符号化された符号データを固定長のデータフレームに分割するデータフレーム分割手段と、
分割されたデータフレーム内の画像の画素数を検出するデータフレーム内画素数検出手段と、
前記分割されたデータフレーム内の画像を分析してその画像の最大画素値および最小画素値の差を検出する画像分析手段と、
前記データフレーム内の画像の最大画素値および最小画素値の差と前記データフレーム内の画像の画素数とをもとに、画像の最大画素値および最小画素値の差が大きい程、かつ、画素数が大きな程誤り訂正能力の大きな誤り訂正手法を選択する誤り訂正手法選択手段と、
前記誤り訂正手法選択手段によって選択された誤り訂正手法で誤り訂正符号を付加する誤り訂正符号付加手段とからなることを特徴とする画像符号化装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ディジタル化された画像信号に圧縮符号化処理を施して伝送し、受信側で圧縮符号化処理に対応した復号処理を施す画像圧縮符号化復号装置に係り、特に、伝送されるディジタル画像データに施される誤り訂正処理、あるいは、誤り補正処理を改良しようとするものである。
【０００２】
【従来の技術】
高品位な画像を得るためには、より多い階調数や、より高い解像度を必要とする。そのままでは、ディジタル化された画像の容量は膨大なものとなる。そこで、伝送コストや伝送時間の低減を目的として、画像符号化により画像サイズを圧縮した後に画像を伝送するようにしている。
【０００３】
通常、伝送を前提として圧縮された画像符号には、伝送路上において発生する誤りを訂正する誤り訂正符号が付加される。その一例として、例えば、丸善発行、安田浩編著、「マルチメディア符号化の国際標準」、１０３ページ〜１２５ページに示される、放送テレビ符号化方式（ＣＣＩＲ勧告７２３）における誤り訂正方式（以下、従来例１と呼ぶ）を以下に説明する。
【０００４】
従来例１を図１０を用いて説明する。図１０は、従来例１を誤り訂正に関わる部分のみに着目して書き直したものである。図１０において、１０は入力画像、１１は入力画像を圧縮する情報源符号化部、１２は、情報源符号化部１１において入力画像を圧縮した圧縮画像データ、１３は、圧縮画像データ１２に誤り訂正符号を付加する誤り訂正符号付加部、１４は、誤り訂正符号を付加した後の最終的な符号データである。
【０００５】
入力画像データ１０は、情報源符号化部１１に入力される。情報源符号化部１１は、動き補償を行った前フレーム差分の離散コサイン変換（ＤＣＴ）を基本とした変換、変換係数の量子化、量子化係数の可変長符号化等を行って、圧縮画像データ１２を出力する。圧縮画像データ１２には、誤り訂正符号付加部１３で誤り訂正符号が付加され、符号１４が出力される。なお、情報源符号化部１１は通常のものであり、その構成、動作は周知であるので、その詳細の説明は省略する。
【０００６】
次に図１１を用いて、図１０の誤り訂正符号付加部１３の動作を説明する。
【０００７】
誤り訂正符号付加部１３では、圧縮画像データ１２のデータを１６ビット×２３９ビットのデータフレームに分割する。データフレームを、図１１の白抜き部分に示すように、１６行２３９列（１６ビット×２３９ビット）に並べ、各行の２３９ビットのデータに対して、ＲＳ（２５５、２３９）のリードソロモン符号となるように、斜線部の１６ビットの誤り訂正符号を付加する。その後、図１１の矢印の順に出力する。
【０００８】
以上のように、従来例１では、圧縮画像データを固定長のデータフレームに分割し、各データフレームに対し、固定長の誤り訂正符号を付加することにより、伝送エラーに対処している。
【０００９】
次に、従来例１を改良した例（従来例２）について説明を行う。従来例２では、圧縮データを複数の部分に分割し、分割した部分の重要性に合わせた誤り訂正を行う。
【００１０】
従来例１を図１２を用いて説明する。図１２は、従来例２を誤り訂正に関わる部分のみに着目して書き直したものである。また、図１０と同じ符号は、同一の構成を示す。以下、図１０の構成と相違する部分のみ説明する。
【００１１】
図１２において、１５は圧縮画像データを分割する分割回路、１６、１７、１８は分割された圧縮データそれぞれに対し誤り訂正符号を付加する誤り訂正符号付加部、１９は分割され、かつ、誤り訂正符号を付加された圧縮データを再度混合して一つのデータストリームにする混合回路である。
【００１２】
従来例２では、ＤＣＴ符号化の例が述べられている。ＤＣＴ符号化では、ＤＣＴ変換されたデータを量子化し、可変長符号化して符号とする。ＤＣＴ変換データを量子化したデータのうち、ＤＣＴ変換領域の低周波数領域のデータは画質に与える影響が大きい。次に重要な領域は、中程度の周波数領域のデータであり、高周波数領域のデータは最も重要性が低い。そこで、ＤＣＴ変換データを量子化したデータを、周波数の大小で３つの領域に分割して、それぞれに対し独立に誤り訂正符号を付加する。低周波領域のデータ（低域）には高い誤り耐性を持たせる。中程度の周波数領域のデータ（中域）には次に誤り耐性の高い誤り訂正符号を与え、高周波数領域のデータ（高域）には、最も低い誤り耐性の高い誤り訂正符号を与える。
【００１３】
具体的には、低域には１／２（１ビットに対して１ビットの誤り訂正符号を付加する）の冗長度が設定され、中域には３／４（３ビットに対して１ビットの誤り訂正符号を付加する）の冗長度が設定され、高域には７／８（７ビットに対して１ビットの誤り訂正符号を付加する）の冗長度が設定される。従来例２では、画像データの領域毎に誤り訂正の手法を変えているが、各領域内では、誤り訂正の手法は固定である。
【００１４】
伝送路のエラーレートが高い場合、誤り耐性の高い訂正符号を必要とする。すなわち符号長の大きな符号が必要となる。従来例１では、全ての領域に対して符号長を大きくする必要があるが、従来例２では、画質上重要な低域を重点的に保護することによって全体の符号量を削減している。
【００１５】
【発明が解決しようとする課題】
従来例１および従来例２のいずれにおいても（従来例２では、各周波数領域の中で）、誤り訂正符号を付加するフレーム内の画像の画質を考慮した誤り訂正を行っていない。すなわち、いずれの従来例も、全てのビットが画質上同じ重要性を持つことを期待している。実際には各ビットの重要性が異なるけれども、全てのビットに対して同じ誤り訂正符号を付加している。
【００１６】
また、いずれの従来例も、付加した誤り訂正符号の誤り耐性により、十分な画質が本当に確保できることを保証していない。そのため、あるフレームではもっと誤り訂正符号が小さくてもよいはずであるのに、固定長の誤り訂正符号を付加しているため、符号が冗長となってしまう。また、あるフレームでは、誤り耐性が不足して、画質劣化を引き起こしてしまう。
【００１７】
【課題を解決するための手段】
本発明は、圧縮画像データを固定長のデータフレームとし、このデータフレームに誤り訂正符号を付加する場合に、そのデータフレーム内の元の画像の性質を考慮して、画質上、最適な量の誤り訂正符号を付加するものである。
【００１８】
元の画像の性質は、たとえば、以下の２点に関するものである。
（ｉ）データフレーム内に圧縮されている画像の画素数
（ｉｉ）データフレーム内に圧縮されている画像の伝送エラーに対する耐性
２番めの点は例えば以下のようなものである。
（１）画像の平滑度なだらかな画像であれば、伝送エラー時にコンシールを掛けることによって画像歪みが見えにくいため、高いエラーレートでも耐えられる。その逆のエッジ等の画像であれば、低いエラーレートが必要である。
（２）画像のランダムネス非常にランダムな画像であれば、伝送エラーによって画素値が変化しても、その変化がマスクされるため、高いエラーレートでも耐えられる。その逆の意味を持った画像であれば、低いエラーレートが必要である。なお、本発明では（１）の点に着目している。
【００１９】
本発明をさらに詳細に説明する。
【００２０】
本発明は、画質を保証しつつ、付加情報の冗長を大幅に削減するために、画像符号化装置に、画像を入力する画像入力手段と、入力された画像を情報源符号化する情報源符号化手段と、情報源符号化された符号データを固定長のデータフレームに分割するデータフレーム分割手段と、分割されたデータフレーム内の画像の画素数を検出するデータフレーム内画素数検出手段と、前記データフレーム内の画像の画素数をもとに誤り訂正手法を選択する誤り訂正手法選択手段と、前記誤り訂正手法選択手段によって選択された誤り訂正手法で誤り訂正符号を付加する誤り訂正符号付加手段とを設けるようにしている。
【００２１】
この構成においては、エラー訂正対象のデータフレーム内の画素数に応じて誤り訂正手法を選択するので、全体として画質を保証しながら、冗長度を削減することができる。
【００２２】
また、この構成において、データフレーム内の画像を分析してその画像の伝送エラー耐性を推定する画像分析手段をさらに設け、前記データフレーム内の伝送エラー耐性と前記データフレーム内の画像の画素数とをもとに誤り訂正手法を選択するようにしてもよい。
【００２３】
また、前記誤り訂正符号は、所定の画像圧縮率を常に満たすように選択されるようにしてもよい。
【００２４】
また、前記誤り訂正手法選択手段が、前記データフレーム内の伝送エラー耐性のエラーレートを前記データフレーム内の画像の画素数で割った値の伝送エラーレートを実現する誤り訂正符号を選択するようにしてもよい。
【００２５】
また、本発明によれば、画質を保証しつつ、付加情報の冗長を大幅に削減するために、画像符号化装置に、画像を入力する画像入力手段と、入力された画像を情報源符号化する情報源符号化手段と、情報源符号化された符号データを固定長のデータフレームに分割するデータフレーム分割手段と、分割されたデータフレーム内の画像の画素数を検出するデータフレーム内画素数検出手段と、前記データフレーム内の画像の画素数をもとに誤り補正手法を選択する誤り補正手法選択手段と、前記誤り補正手法選択手段によって選択された誤り補正手法で誤り補正情報を付加する誤り補正情報付加手段とを設けるようにしている。
【００２６】
この構成においても、全体として画質を保証しながら、冗長度を削減することができる。
【００２７】
また、この構成において、データフレーム内の画像を分析してその画像の伝送エラー耐性を推定する画像分析手段をさらに設け、前記データフレーム内の伝送エラー耐性と前記データフレーム内の画像の画素数とをもとに誤り補正手法を選択するようにしてもよい。
【００２８】
また、前記誤り補正情報は、所定の画像圧縮率を常に満たすように選択されるようにしてもよい。
【００２９】
また、前記情報源符号化手段は離散コサイン変換を用い、前記誤り補正情報は、誤り検出符号、および、離散コサイン変換の直流成分を含んでなるようにしてもよい。
【００３０】
また、前記データフレーム内の画像の画素数に応じて前記誤り補正情報の離散コサイン変換の直流成分量を決定し、前記データフレーム内の伝送エラー耐性に応じて、前記誤り補正情報中の離散コサイン変換の直流成分の圧縮方法を決定するようにしてもよい。
【００３１】
また、前記情報源符号化手段は離散コサイン変換を用い、前記誤り補正情報は、誤り検出符号、および、離散コサイン変換の直流成分および、一部の交流成分であるようにしてもよい。
【００３２】
また、前記データフレーム内の画像の画素数に応じて誤り補正情報量を決定し、前記データフレーム内の伝送エラー耐性に応じて、前記誤り補正情報量中の離散コサイン変換の交流係数の数を決定するようにしてもよい。
【００３３】
また、誤り訂正手法や誤り補正手法を選択する基準としては、広くデータフレーム内の画像の属性を用いることができる。
【００３４】
【発明の実施の態様】
以下、本発明の実施例について説明する。
［実施例１］
図１に実施例を示す。図１において、１０１は画像符号化器、１０２はフレーム分割器、１０３は画素数検出器、１０４は画像分析器、１０５は誤り訂正手法選択器、１０６はデータ切り換えスイッチ、１０７、１０８、１０９、１１０はそれぞれ誤り訂正符号化器（１、２、３、４）、１１１はデータ切り換えスイッチ、１１２は送信側伝送インタフェース、１２１は受信側伝送インタフェース、１２２は誤り訂正手法選択器、１２３はデータ切り換えスイッチ、１２４、１２５、１２６、１２７はそれぞれ誤り訂正復号器（１、２、３、４）、１２８はデータ切り換えスイッチ、１２９は画像復号器である。１４１は画像入力信号線、１４２は圧縮画像入力信号線、１４３、１４４はデータフレーム入力信号線、１４５は画素数入力信号線、１４６は画像分析結果入力信号線、１４７はデータフレーム入力信号線、１４８、１４９はデータ切り換えスイッチ制御線、１５０は誤り訂正手法入力信号線、１５１はデータフレーム入力信号線、１６０は伝送路、１６１は誤り訂正手法入力信号線、１６２は誤り訂正符号入力信号線、１６３、１６４はデータ切り換えスイッチ制御線、１６５は画素数入力信号線、１６６は圧縮画像入力信号線、１６７は画像出力信号線である。
【００３５】
画像符号化器１０１は入力画像を圧縮する。すなわち、画像符号化器１０１は、信号線１４１を介して画像を受け取り、符号化結果を信号線１４２を介してフレーム分割器１０２に出力する。この実施例では、圧縮方法として、丸善、安田浩編著、「マルチメディア符号化の国際標準」１８ページ〜４３ページに示されるＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）を用いる。圧縮後のデータサイズが伝送路帯域を超えないように、予め適度なスケーリングファクタを選択しておく。
【００３６】
フレーム分割器１０２はデータをフレーム単位に分割する。例えば画像符号化器１０１がＪＰＥＧ方式の場合のフレーム分割器１０２の具体的な構成例を図２を用いて説明する。図２において、１１３はバッファ、１１４はＪＰＥＧ復号器、１１５はフレーム分割器、１７１、１７２、１７３は圧縮画像入力信号線、１７４はビット数入力信号線である。フレームサイズは４０９６ビットである。入力データは圧縮画像入力信号線１７１を介してバッファ１１３に蓄積されると同時に、圧縮画像入力信号線１７２を介してＪＰＥＧ復号器１１４に入力される。バッファ１１３はフレームサイズより大きい８１９２ビットのリングバッファであり、圧縮画像入力信号線１７３を介して入力データをフレーム分割器１１５に出力する。ＪＰＥＧ復号器１１４はＪＰＥＧ方式のデータを復号し、１つのブロック（８×８画素）が何ビットで構成されているかを、ビット数入力信号線１７４を介してフレーム分割器１１５に出力する。フレーム分割器１１５は入力データを４０９６ビット単位に分割して出力する。その時、１つのブロックが２つのフレームに分割されて配置されると、誤りが複数のフレームに伝播する虞がある。実施例ではダミーデータを付加することによりこれを回避する。ブロックで順次フレームをうめていき所定のブロック（このフレームに関しては最後のブロック）を埋め込んだときの未伝送のデータ長が４０９６ビットを超えた場合、この最後のブロックは当該フレームには埋め込まず、つぎのフレームに埋め込む。そして４０９６ビットになるまでダミーデータ０を付加しながら、結果を信号線１７５を介して後段の画素数検出器１０３、画像分析器１０４、データ切り換えスイッチ１０６に出力する（図１参照）。前述の最後のブロックのデータは次のフレームの先頭データになる。
【００３７】
図１において、画素数検出器１０３はフレーム内の画素数を検出する。例えば画像符号化器１０１がＪＰＥＧ方式の場合、フレーム分割器１０２と同様に入力データをＪＰＥＧ復号器により復号し、ブロック数を数える。あるいはフレーム分割器１０２に内蔵しても良い。画素数はブロック数を６４倍すれば求められる。これを信号線１４５を介して誤り訂正手法選択器１０５に出力する。
【００３８】
画像分析器１０４はフレーム内の画像を分析し、最悪伝送誤り率Ｅを決定する。例えば画像符号化器１０１がＪＰＥＧ方式で符号化を行なう場合、画像符号化器１０１は、フレーム分割器１０２の具体的な構成例（図２）と同様に、入力データをＪＰＥＧ復号器により復号し、フレーム内の画素値の最大値と最小値の差（Ｄ）を求める。あるいは画像符号化器３０１をフレーム分割器１０２に内蔵しても良い。Ｄから最悪伝送誤り率Ｅを決定し、信号線１４６を介して誤り訂正手法選択器１０５に出力する。最悪伝送誤り率Ｅは、以下の式により求める。
【００３９】
【数１】
Ｅ＝１０-6／（Ｄ＋１）
誤り訂正手法選択器１０５は、適切な誤り訂正手法を選択する。この実施例では以下の考えにより誤り訂正手法を選択する。
▲１▼画素数が多いフレームは、誤りが発生した時に画質に与える影響が大きいので、誤り訂正能力が大きい符号を適用する。
▲２▼最大値と最小値の差が大きいフレームは画像として重要な意味がある可能性が大きく、また誤って再生された場合の補正も難しいので、誤り訂正能力が大きい符号を適用する。
【００４０】
実施例では以下のように誤り訂正符号化器を決定する。
【００４１】
伝送路の物理的な誤り率はｅ（既知）、誤り訂正符号化器（１、２、３、４）１０７〜１１０はそれぞれハミング符号化器Ｈ（３，１）、Ｈ（７，４）、Ｈ（１５，１１）、Ｈ（３１，２６）とする。誤り訂正能力は符号化器１が一番大きく、誤り率はそれぞれ３ｅ2、２１ｅ2、１０５ｅ2、４６５ｅ2である。
【００４２】
入力フレームの画素数Ｎ＝４０００、最悪伝送誤り率Ｅ＝１０-8の時、求められる誤り訂正能力ｅ0は次のようになる。
【００４３】
【数２】
ｅ0＝Ｅ／Ｎ＝２．５・１０-11
伝送路の物理的誤り率ｅ＝１０-6の時、誤り訂正符号化器（１、２、３、４）１０７〜１１０を適用した時の伝送誤り率はそれぞれ３×１０-12、２．１×１０-11、１．０５×１０-10、４．６５×１０-10である。この時、誤り率をｅ0＝２．５×１０-11以下にするために誤り訂正符号化器１か２を適用する必要がある。誤り訂正符号化器１は冗長が大きいので、誤り訂正符号化器２を適用する。
【００４４】
誤り訂正手法選択器１０５は、誤り訂正手法を選択後、データ切り換えスイッチ制御線１４８、１４９を介して、それぞれデータ切り換えスイッチ１０６、１１１に選択した誤り訂正手法を通知する。受信側は、選択した誤り訂正手法、およびフレームの画素数が必要である。前者はデータを復号するため、後者は複数のフレームに誤りが伝播することを防止するためである。
【００４５】
データ切り換えスイッチ１０６、１１１は、誤り訂正手法選択器１０５から指定された誤り訂正符号化器を適用するように回路を接続する。実施例では４種類の誤り訂正符号化器を切り換える。先に述べたように、実施例で用いる具体的な誤り訂正符号化器（１〜４）１０７〜１１０は、それぞれＨ（３，１）、Ｈ（７，４）、Ｈ（１５，１１）、Ｈ（３１，２６）のハミング符号化器である。誤り訂正符号化器１が一番誤り訂正能力が大きく、冗長も大きい。データ切り換えスイッチ１０６から入力されるデータに誤り訂正符号化を適用し、データ切り換えスイッチ１１１に出力する。
【００４６】
送信側伝送インタフェース１１２は伝送路１６０にデータを出力する。伝送路１６０を介して誤り訂正手法、フレーム内の画素数、誤り訂正符号の３つを出力する。誤り訂正手法とフレーム内の画素数は重要であるので、フレームデータより誤り訂正能力を大きくする必要がある。実施例では図３のような伝送を行う。図３において、１８１は誤り訂正手法の識別子、１８２はフレーム内の画素数、１８３は誤り訂正符号である。誤り訂正手法の識別子１８１およびフレーム内の画素数１８２は重要であるので、常に誤り訂正能力が大きいＨ（３，１）で符号化する。誤り訂正手法は４種類であるので２ビットで表現できる。誤り訂正手法の識別子１８１はＨ（３，１）で符号化するので６ビットになる。フレーム内の画素数は１６ビットで表現しているので、フレーム内の画素数１８２はＨ（３，１）で符号化するので４８ビットになる。その後に誤り訂正符号１８３を出力する。
【００４７】
受信側伝送インタフェース１２１は伝送路からデータを入力する。誤り訂正手法、フレーム内の画素数、誤り訂正符号の３つを入力する。誤り訂正手法入力信号線１６１を介して誤り訂正手法とフレーム内の画素数を誤り訂正手法選択器１２２に出力した後、誤り訂正符号入力信号線１６２を介して誤り訂正符号をデータ切り換えスイッチ１２３に出力する。
【００４８】
誤り訂正手法選択器１２２は誤り訂正手法を選択する。データ切り換えスイッチ制御線１６３、１６４を介して、それぞれデータ切り換えスイッチ１２３、１２８に選択した誤り訂正手法を通知する。画素数入力信号線１６５を介してフレーム内の画素数を画像復号器１２９に出力する。
【００４９】
データ切り換えスイッチ１２３、１２８は、誤り訂正手法選択器１２２から指定された誤り訂正復号器を適用するように回路を接続する。実施例では４種類の誤り訂正復号器を切り換える。
【００５０】
誤り訂正復号器（１〜４）１２４〜１２７は誤り訂正復号器であり、それぞれ誤り訂正符号化器（１〜４）１２４〜１２７が出力する誤り訂正符号を復号し、データ切り換えスイッチ１２８に出力する。
【００５１】
画像復号器１２９は入力データから画像を再生する。信号線１６５を介してフレーム内の画素数を入力し、信号線１６６を介して画像データを入力し、画像を再生し、信号線１６７を介して外部に画像を出力する。画像データに誤りがあり、正常に画像を再生できない時は、該当フレームの画像の再生を中断し、次のフレームの再生を行う。次のフレームの再生位置は補正が必要である。入力された画素数分だけ再生開始位置を増加させておく。
【００５２】
本実施例により、過度に冗長な誤り訂正符号を付加したり、あるいは誤り耐性が不足して画質が劣化するという問題を回避できる。
【００５３】
なお、この実施例において、フレーム中の画素数や画像属性に基づいて誤り訂正符号を選択するようにしたが、さらに所定の画像圧縮率以上の圧縮率を常に確保するという基準を加えて、誤り訂正符号を選択するようにしてもよい。
【００５４】
［実施例２］
本実施例は、情報源符号化を行ったデータに対して、そのデータ内の画素の誤り耐性と画素数とに応じた誤り補正情報を付加する手法について述べるものである。
【００５５】
ここで、誤り補正情報とは、完全には、誤りを訂正することはないが、視覚上劣化の見えない程度に画像を復元することのできる情報のことであると定義する。
【００５６】
図４を用いて、実施例２の説明を行う。
【００５７】
図４において、２０１は入力画像、２０２はブロック化回路、２０３はＤＣＴ回路、２０４は量子化器、２０５は量子化テーブル、２０６はスキャン変換回路、２０７は有意係数検出回路、２０８はグループ化回路、２０９はラン長カウンタ、２１０は２次元ハフマン符号化回路、２１１はＤＣ差分算出回路、２１２はグループ化回路、２１３は１次元ハフマン符号化回路、２１４は多重化回路、２１５は誤り補正情報付加前の圧縮画像データ、２１６は誤り補正情報符号化器、２１７は誤り補正情報、２１８はフレーム分割回路、２１９はフレーム分割情報、２２０は画像分析回路、２２１エラー耐性情報、２２２は誤り補正情報付加回路、２２３は最終的な伝送符号である。
【００５８】
図４において、入力された画像２０１は、ブロック化回路２０２で８×８画素のブロック（以下、画素ブロックと呼ぶ）に分割される。画素ブロックは、ＤＣＴ回路２０３でＤＣＴ変換され、ＤＣＴ変換の結果出力される変換係数は、量子化テーブル２０５に記憶された量子化ステップ情報にしたがって、量子化器２０４で量子化される。量子化された変換係数は８×８の行列で表わすことができる。通常、行列の縦方向は下にいくほど高次のＤＣＴ係数に対応する係数となるように、また、横方向は右に行くほど高次のＤＣＴ係数に対応する係数となるように配置する。６４個の変換係数のうち、最も左かつ上の係数はＤＣＴ変換領域の直流成分に対応する係数であるため、ＤＣ係数と呼ばれる。他の６３個は交流成分に対応するため、ＡＣ係数と呼ばれる係数である。
【００５９】
ＤＣ係数は、ＤＣ差分算出回路２１１において、前画像ブロックのＤＣ成分との差分がとられ、グループ化回路２１２に送られる。
【００６０】
グループ化回路２１２では、ＤＣ差分値から図７に示されるグループ番号と、付加ビットを算出する。付加ビットは同一グループ内のＤＣ差分値を特定するために用いられる値である。付加ビットのビット数も図７に示されている。
【００６１】
グループ化回路２１２で算出されたグループ番号は、１次元ハフマン符号化回路２１３でハフマン符号化される。また、付加ビットは、多重化回路２１４に送られる。
【００６２】
量子化器２０４で量子化されたＡＣ係数は、スキャン変換回路２０６で、図５に示されるジグザグスキャン順序にスキャン変換され、有意係数検出回路２０７に送られる。有意係数検出回路２０７では、量子化されたＡＣ係数が”０”か、”０”以外かを判別し、”０”の場合はラン長カウンタ２０９にカウントアップ信号を供給し、カウンタの値を１増加させる。ＡＣ係数の値が”０”以外の有意係数の場合は、リセット信号をラン長カウンタ２０９に供給し、カウンタの値をリセットすると共にＡＣ係数をグループ化回路２０８に送る。
【００６３】
ラン長カウンタ２０９は、”０”のラン長をカウントする回路である。有意係数と有意係数の間にある”０”の数ＮＮＮＮを２次元ハフマン符号化回路２１０に送る。グループ化回路２０８では、ＡＣ係数を、図６に示されるグループ番号ＳＳＳＳと付加ビットに分割し、グループ番号を２次元ハフマン符号化回路２１０に、付加ビットを多重化回路２１４に送る。付加ビットは同一グループ内のＡＣ差分値を特定するために用いられる値である。付加ビットのビット数も図６に示されている。
【００６４】
２次元ハフマン符号化回路２１０は、ラン長ＮＮＮＮとグループ番号ＳＳＳＳの組み合わせをハフマン符号化し、多重化回路２１４に送る。
【００６５】
多重化回路２１４では、１画素ブロック分のＤＣ係数ハフマン符号、ＡＣ係数ハフマン符号、ＤＣ係数付加ビット、ＡＣ係数付加ビットを多重化し、誤り補正情報付加前の圧縮画像データ２１５を出力する。
【００６６】
フレーム分割回路２１８は、圧縮画像データ２１５のビット数をカウントし、所定のビット数に達したとき圧縮画像データをフレームとして分割する。この時、同一画素ブロックのデータが異なるフレームに分割されないように、分割を行う。例えば、フレーム境界と画素ブロック境界が一致する場合は、そのまま分割する。フレーム境界と画素ブロック境界が一致しない場合は、最終画素ブロックは次のフレームで符号化する。フレーム端のあまった部分には、ダミーデータを付加する。これは、実施例１と同様である。
【００６７】
フレーム分割されたデータは、誤り補正情報付加回路２２２に送られる。また、フレーム内のブロック数（フレーム分割情報２１９）は画像分析回路２２０に送られる。
【００６８】
１フレームは例えば１Ｋビットのデータとする。
【００６９】
画像分析回路２２０には、該当するフレーム内に圧縮されている画像データに対応する、元の非圧縮画像データが入力されている。画像分析回路２２０は、この元の非圧縮画像データを分析して、この元の非圧縮画像データのエラー耐性２２１を算出し、誤り補正情報符号化器２１６に伝送する。誤り補正情報符号化器２１６では、量子化器出力のＤＣ係数データをエラー耐性２２１に従って符号化し、誤り補正情報符号２１７を作成し、誤り補正情報付加回路２２２に送る。誤り補正情報付加回路２２２は、分割されたフレームに、ＣＲＣ（巡回冗長符号）等の誤り検出符号と誤り補正情報２１７を付加して符号２２３を出力する。
【００７０】
次に、画像分析回路２２０の詳しい動作を示す。
【００７１】
画像分析回路２２０では、前記した元の非圧縮画像データのブロック内の最大値と最小値を算出し、最大値から最小値を減ずる。各ブロックについて最大値最小値差を算出し、全ブロックの最大値最小値差の最大値を求める。この最大値最小値差の最大値と、ＤＣ成分符号化方法との関係を予め求めておき、ＤＣ成分符号化方法をエラー耐性２２１として、誤り補正情報符号化器２１６に送る。
【００７２】
例えば、ＤＣ成分の階調数を減少させることにより、高い圧縮率で補正情報の符号化を行うとする。想定するエラーレートでフレーム内の画素が失われるとして、その画素値全てをＤＣ成分から求められた値で補正する。この時に、ＤＣ成分の量子化ステップ値をさまざまに変えて符号化および復号したもので補正を行う。補正結果を官能評価し、画質劣化が視覚上検知できず、かつ、最も圧縮率の高い量子化ステップ値を、その画像の誤り補正情報の符号化方法、すなわち、エラー耐性２２１とする。さまざまな画像で最大値最小値差の最大値と、誤り補正情報の符号化方法を調べることにより、この二つの情報の関係式を求めることができる。
【００７３】
例えば、最大値最小値差の最大値をＸ、非圧縮画像データのＤＣ成分符号化方法をＹ、ａ，ｂを定数とする。Ｙ＝ａＸ＋ｂの関係式を用いて、前記した元の非圧縮画像データのＤＣ成分符号化方法をエラー耐性２２１として求める。
【００７４】
以上では、画像の最大値最小値差を用いた画像分析の一例を説明したが、フレーム内の画素数（ブロック数）をエラー耐性を決定する際のパラメータにできることはもちろんである。
【００７５】
誤り補正情報符号化器２１６では、エラー耐性２２１を用いてＤＣ成分を符号化する。エラー耐性２２１は、ＤＣ成分の量子化ステップ値である。ＤＣ成分を量子化ステップ値で割り、ハフマン符号化を行って、誤り補正情報２１７を作成する。誤り補正情報２１７には、ＤＣ成分の符号と量子化ステップ値が含まれる。
【００７６】
実施例２の符号フォーマットを図８に示す。固定長の圧縮画像データと、圧縮画像データの誤り検出符号と、ＤＣ符号の量子化ステップ値と、圧縮画像データのブロック数分のＤＣ符号で、一つのデータフレームを形成する。符号全体は、複数のデータフレームで形成される。
【００７７】
以上では、画像分析を行ってフレーム毎にＤＣ成分の量子化ステップ幅を変える例について示したが、画像分析を行わずに、量子化ステップを固定にしても良い。その場合は、符号フォーマット中のＤＣ符号の量子化ステップ値は不要となる。
【００７８】
また、以上は、誤り補正情報をＤＣのみとしたが、ＡＣ成分の一部を含めても良い。
【００７９】
また、その時に、ＡＣ成分の数と最大値最小値差の最大値Ｘとの関係式を求めるようにして、エラー耐性を、ＡＣ成分の数としても良い。
【００８０】
もちろん、画像分析は、最大値最小値差の最大値に限らない。画像の性質を表わす数値であれば何でも良い。例えば、画素値の平均値、高域通化フィルタの出力値の最大値等さまざまなものが考えられる。
【００８１】
次に、復号動作について述べる。
【００８２】
図９を用いて復号動作の説明を行う。
【００８３】
ステップＳ１から復号が開始される。ステップＳ２で固定長のデータフレームが切り出される。次に、ステップＳ３で固定長データフレームの誤り検出符号のチェックを行う。誤りが検出されない場合、ステップＳ４２に進む。ステップＳ４２では、データフレーム内の圧縮データを通常の方法で復号し、復号画像データを得る。さらに、誤り補正情報を読み飛ばす。
【００８４】
誤りが検出された場合、ステップＳ４１に進む。ステップＳ４１では、フレーム内の圧縮データを全て捨てて、誤り補正情報を復号する。誤り補正情報が例えばＤＣ成分である場合、ＤＣ成分を画素値に変換し、１ブロック全てをその画素値で置換する。さらに、図４のＤＣ差分算出回路２１１に対応する復号動作を行うためには、前ブロックのＤＣ成分値を保持する必要があるため、前ブロックのＤＣ成分値を、最終ブロックの誤り補正情報のＤＣ成分値で書き換える。
【００８５】
１フレーム内の復号が全て終わるとステップＳ５に進む。前フレームが終了の場合はステップＳ６に、まだ復号するフレームが残っている場合は、ステップＳ２に戻る。
【００８６】
本実施例の結果、伝送誤りがあっても、画質に影響のないフレームに対する誤り補正情報は付加せずにすむため、伝送効率が向上する。同一のフレーム長であっても、画素数が少ないフレームの誤り補正情報は少なくてすむため、伝送効率が向上する。
【００８７】
なお、この実施例において、フレーム中の画素数や画像属性に基づいて誤り補正手法を選択するようにしたが、さらに所定の画像圧縮率以上の圧縮率を常に確保するという基準を加えて、誤り補正手法を選択するようにしてもよい。
【００８８】
【発明の効果】
本発明によれば、伝送対象画像の画質や画素数を考慮して複数の誤り訂正手法や補正手法を切り換えるので、画質を保証し、かつ誤り訂正や補正のための付加情報の冗長性を大幅に削減できる。
【図面の簡単な説明】
【図１】  本発明の実施例１の構成を示すブロック図である。
【図２】  図１のフレーム分割器１０２の構成例を示すブロック図である。
【図３】  実施例１における伝送データのフォーマットを説明する図である。
【図４】  本発明の実施例２の構成を示すブロック図である。
【図５】  実施例２におけるＪＰＥＧの符号化を説明する図である。
【図６】  実施例２におけるＪＰＥＧのＡＣ係数グループ化表を示す図である。
【図７】  実施例２におけるＪＰＥＧのＤＣ係数グループ化表を示す図である。
【図８】  実施例２における伝送データのフォーマットを説明する図である。
【図９】  実施例２の復号動作を説明するフローチャートである。
【図１０】  従来例１を説明する図である。
【図１１】  従来例１の誤り訂正符号を説明する図である。
【図１２】  従来例２を説明する図である。
【符号の説明】
１０１    画像符号化器
１０２    フレーム分割器
１０３    画素数検出器
１０４    画像分析器
１０５    誤り訂正手法選択器
１０６    データ切り換えスイッチ
１０７    誤り訂正符号化器（１）
１０８    誤り訂正符号化器（２）
１０９    誤り訂正符号化器（３）
１１０    誤り訂正符号化器（４）
１１１    データ切り換えスイッチ
１１２    送信側伝送インタフェース
１１３    バッファ
１１４    ＪＰＥＧ復号器
１１５    フレーム分割器
１２１    受信側伝送インタフェース
１２２    誤り訂正手法選択器
１２３    データ切り換えスイッチ
１２４    誤り訂正復号器（１）
１２５    誤り訂正復号器（２）
１２６    誤り訂正復号器（３）
１２７    誤り訂正復号器（４）
１２８    データ切り換えスイッチ
１２９    画像復号器
１４１    画像入力信号線
１４２    圧縮画像入力信号線
１４３    データフレーム入力信号線
１４４    データフレーム入力信号線
１４５    画素数入力信号線
１４６    画像分析結果入力信号線
１４７    データフレーム入力信号線
１４８    データ切り換えスイッチ制御線
１４９    データ切り換えスイッチ制御線
１５０    誤り訂正手法入力信号線
１５１    データフレーム入力信号線
１６０    伝送路
１６１    誤り訂正手法入力信号線
１６２    誤り訂正符号入力信号線
１６３    データ切り換えスイッチ制御線
１６４    データ切り換えスイッチ制御線
１６５    画素数入力信号線
１６６    圧縮画像入力信号線
１６７    画像出力信号線
１７１    圧縮画像入力信号線
１７２    圧縮画像入力信号線
１７３    圧縮画像入力信号線
１７４    ビット数入力信号線
１８１    誤り訂正手法
１８２    フレーム内の画素数
１８３    誤り訂正符号
２０１    入力画像
２０２    ブロック化回路
２０３    ＤＣＴ回路
２０４    量子化器
２０５    量子化テーブル
２０６    スキャン変換回路
２０７    有意係数検出回路
２０８    グループ化回路
２０９    ラン長カウンタ
２１０    ２次元ハフマン符号化回路
２１１    ＤＣ差分算出回路
２１２    グループ化回路
２１３    １次元ハフマン符号化回路
２１４    多重化回路
２１５    誤り補正情報付加前の圧縮画像データ
２１６    誤り補正情報符号化器
２１７    誤り補正情報
２１８    フレーム分割回路
２１９    フレーム分割情報
２２０    画像分析回路
２２１    エラー耐性情報
２２２    誤り補正情報付加回路
２２３    最終的な伝送符号
１０    入力画像
１１    情報源符号化部
１２    圧縮画像データ
１３    誤り訂正符号付加部
１４    誤り訂正符号を付加した後の最終的な符号データ
１５    分割回路
１６    誤り訂正符号付加部
１７    誤り訂正符号付加部
１８    誤り訂正符号付加部
１９    混合回路
【図１】
0003807110.tif 000002
【図２】
0003807110.tif 000003
【図３】
0003807110.tif 000004
【図４】
0003807110.tif 000005
【図５】
0003807110.tif 000006
【図６】
0003807110.tif 000007
【図７】
0003807110.tif 000008
【図８】
0003807110.tif 000009
【図９】
0003807110.tif 000010
【図１０】
0003807110.tif 000011
【図１１】
0003807110.tif 000012
【図１２】
0003807110.tif 000013