(57)【要約】      （修正有）【課題】ブロック情報の符号化が不要で、かつ画像特性に応じて処理単位のブロックを変更して符号化効率を向上した画像符号化装置を提供する。【解決手段】原画像を入力する画像入力部１０１と、原画像の基本画像としてダウンサンプル画像を取得するダウンサンプル部１０５と、原画像と基本画像との差分画像を求める差分処理部１０２と、基本画像に含まれるエッジの情報に基づいて基本画像をサイズの異なる複数のブロックに分割し、分割の態様を示すブロック情報を取得するブロック情報取得部１０８と、ブロック情報に示す態様で分割された複数のブロックを処理単位として差分画像を符号化する直交変換部１０３およびエントロピー符号化部１０４とを有する。【選択図】図１
2006246351.tif 000002
【特許請求の範囲】
【請求項１】
原画像を入力する原画像入力手段と、
前記原画像の基本となる基本画像を取得する基本画像取得手段と、
前記原画像と前記基本画像との差分画像を求める差分画像算出手段と、
前記基本画像に含まれるエッジの情報に基づいて前記基本画像をサイズの異なる複数のブロックに分割し、分割の態様を示すブロック情報を取得するブロック情報取得手段と、
前記ブロック情報に示す態様で分割された複数のブロックを処理単位として差分画像を符号化する差分画像符号化手段と、
を備えた画像符号化装置。
【請求項２】
原画像を入力する原画像入力手段と、
前記原画像をダウンサンプル処理した画像を基本画像として取得する基本画像取得手段と、
前記原画像と前記基本画像との差分画像を求める差分画像算出手段と、
前記基本画像に含まれるエッジの情報に基づいて前記基本画像をサイズの異なる複数のブロックに分割し、分割の態様を示すブロック情報を取得するブロック情報取得手段と、
前記ブロック情報に示す態様で分割された複数のブロックを処理単位として差分画像を符号化する差分画像符号化手段と、
前記基本画像を符号化する基本画像符号化手段と、
を備えた画像符号化装置。
【請求項３】
複数の連続したフレームからなる画像を入力する画像入力手段と、
符号化すべき原画像のフレームの前フレームを基本画像として取得する基本画像取得手段と、
前記原画像と前記基本画像との差分画像を求める差分画像算出手段と、
前記基本画像に含まれるエッジの情報に基づいて前記基本画像をサイズの異なる複数のブロックに分割し、分割の態様を示すブロック情報を取得するブロック情報取得手段と、
前記ブロック情報に示す態様で分割された複数のブロックを処理単位として差分画像を符号化する差分画像符号化手段と、
を備えた画像符号化装置。
【請求項４】
前記ブロック情報取得手段は、前記基本画像を符号化した符号化データを復号化して得られる復号画像を複数のブロックに分割して前記ブロック情報を取得する請求項１〜３のいずれかに記載の画像符号化装置。
【請求項５】
前記基本画像の符号化および復号化によって前記復号画像に生じた符号化ノイズを除去する符号化ノイズ除去手段を備えた請求項４に記載の画像符号化装置。
【請求項６】
前記ブロック情報取得手段は、前記基本画像のエッジを抽出したエッジ抽出画像において、各ブロック内のエッジ強度が所定の閾値より小さくなるように分割する請求項１〜３のいずれかに記載の画像符号化装置。
【請求項７】
前記ブロック情報取得手段で用いられる閾値は、ブロックのサイズに応じて複数設定されている請求項６に記載の画像符号化装置。
【請求項８】
前記差分画像に含まれるエッジの情報に基づいて前記差分画像を分割した場合と同じ態様で前記基本画像が分割されるように前記閾値を設定する閾値設定手段を備えた請求項６に記載の画像符号化装置。
【請求項９】
前記ブロック情報取得手段で用いる前記閾値を符号化する閾値符号化手段を備えた請求項６〜８のいずれかに記載の画像符号化装置。
【請求項１０】
前記ブロック情報取得手段でエッジ抽出に用いるエッジ抽出フィルタを符号化するエッジ抽出フィルタ符号化手段を備えた請求項６に記載の画像符号化装置。
【請求項１１】
前記ブロック情報取得手段は、前記基本画像の色差成分から色分布を求め、前記色分布に基づいて前記基本画像を複数のブロックに分割して前記ブロック情報を取得する請求項１〜３のいずれかに記載の画像符号化装置。
【請求項１２】
前記ブロック情報取得手段は、各ブロック内の色分布の分散値が所定の閾値より小さくなるように分割する請求項１１に記載の画像符号化装置。
【請求項１３】
前記差分画像符号化手段は、前記ブロック情報に示す態様で分割された複数のブロックを処理単位として、直交変換を行う請求項１〜３のいずれかに記載の画像符号化装置。
【請求項１４】
前記差分画像符号化手段は、前記直交変換として離散コサイン変換を行う請求項１３に記載の画像符号化装置。
【請求項１５】
前記差分画像符号化手段は、前記直交変換として離散ウェーブレット変換を行う請求項１３に記載の画像符号化装置。
【請求項１６】
前記差分画像符号化手段は、前記ブロック情報に示す態様で分割された複数のブロックを処理単位として、エントロピー符号化を行う請求項１〜３のいずれかに記載の画像符号化装置。
【請求項１７】
前記差分画像符号化手段にて符号化された符号化データを出力する出力手段を備え、
前記出力手段は、符号化の処理単位のブロックのサイズごとに、前記符号化データを出力する請求項１〜３のいずれかに記載の画像符号化装置。
【請求項１８】
前記出力手段は、処理単位のブロックのサイズが大きい符号化データから順に、前記符号化データを出力する請求項１７に記載の画像符号化装置。
【請求項１９】
画像が符号化された符号化データを入力する符号化データ入力手段と、
前記符号化データの一部を復号化して原画像の基本となる基本画像を得る基本画像復号化手段と、
前記基本画像復号化手段にて復号化された基本画像に含まれるエッジの情報に基づいて前記基本画像をサイズの異なる複数のブロックに分割し、分割の態様を示すブロック情報を取得するブロック情報取得手段と、
前記ブロック情報に示す態様で分割された複数のブロックを処理単位として前記符号化データを復号化して差分画像を得る差分画像復号化手段と、
を備えた画像復号化装置。
【請求項２０】
画像が符号化された符号化データを入力する符号化データ入力手段と、
前記符号化データの一部を復号化して原画像がダウンサンプル処理された基本画像を得る基本画像復号化手段と、
前記基本画像復号化手段にて復号化された基本画像に含まれるエッジの情報に基づいて前記基本画像をサイズの異なる複数のブロックに分割し、分割の態様を示すブロック情報を取得するブロック情報取得手段と、
前記ブロック情報に示す態様で分割された複数のブロックを処理単位として前記符号化データを復号化して差分画像を得る差分画像復号化手段と、
を備えた画像復号化装置。
【請求項２１】
複数の連続したフレームからなる画像が符号化された符号化データを入力する符号化データ入力手段と、
前記符号化データに含まれる復号化すべきフレームの前フレームを基本画像とし、基本画像に含まれるエッジの情報に基づいて前記基本画像をサイズの異なる複数のブロックに分割し、分割の態様を示すブロック情報を取得するブロック情報取得手段と、
前記ブロック情報に示す態様で分割された複数のブロックを処理単位として前記符号化データを復号化して差分画像を得る差分画像復号化手段と、
前記基本画像と差分画像とに基づいて前記フレームの原画像を合成する原画像合成手段と、
を備えた画像復号化装置。
【請求項２２】
前記ブロック情報取得手段は、前記基本画像のエッジを抽出したエッジ抽出画像において、各ブロック内のエッジ強度が所定の閾値より小さくなるように分割する請求項１９〜２１のいずれかに記載の画像復号化装置。
【請求項２３】
前記ブロック情報取得手段で用いられる閾値は、ブロックのサイズに応じて複数設定されている請求項２２に記載の画像復号化装置。
【請求項２４】
前記ブロック情報取得手段で用いられる閾値は、前記符号化データと共に入力される請求項２２に記載の画像復号化装置。
【請求項２５】
前記符号化データに含まれるエッジ抽出フィルタを復号化するエッジ抽出フィルタ復号化手段を備え、
前記ブロック情報取得手段は、前記エッジ抽出フィルタを用いて前記基本画像のエッジを抽出する請求項１９〜２１のいずれかに記載の画像復号化装置。
【請求項２６】
前記ブロック情報取得手段は、前記基本画像の色差成分から色分布を求め、前記色分布に基づいて複数のブロックに分割して前記ブロック情報を取得する請求項１９〜２１のいずれかに記載の画像復号化装置。
【請求項２７】
前記ブロック情報取得手段は、各ブロック内の色分布の分散値が所定の閾値より小さくなるように分割する請求項２６に記載の画像復号化装置。
【請求項２８】
前記差分画像復号化手段は、前記ブロック情報に示す態様で分割された複数のブロックを処理単位として、直交変換を行う請求項１９〜２１のいずれかに記載の画像復号化装置。
【請求項２９】
前記差分画像復号化手段は、前記直交変換として離散コサイン変換を行う請求項２８に記載の画像復号化装置。
【請求項３０】
前記差分画像復号化手段は、前記直交変換として離散ウェーブレット変換を行う請求項２８に記載の画像復号化装置。
【請求項３１】
前記差分画像復号化手段は、前記ブロック情報に示す態様で分割された複数のブロックを処理単位として、エントロピー復号化を行う請求項１９〜２１のいずれかに記載の画像復号化装置。
【請求項３２】
原画像を入力する原画像入力ステップと、
前記原画像の基本となる基本画像を取得する基本画像取得ステップと、
前記原画像と前記基本画像との差分画像を求める差分画像算出ステップと、
前記基本画像に含まれるエッジの情報に基づいて前記基本画像をサイズの異なる複数のブロックに分割し、分割の態様を示すブロック情報を取得するブロック情報取得ステップと、
前記ブロック情報に示す態様で分割された複数のブロックを処理単位として差分画像を符号化する差分画像符号化ステップと、
を備えた画像符号化方法。
【請求項３３】
画像が符号化された符号化データを入力する符号化データ入力ステップと、
前記符号化データの一部を復号化して原画像の基本となる基本画像を得る基本画像復号化ステップと、
前記基本画像復号化ステップにおいて復号化された基本画像に含まれるエッジの情報に基づいて前記基本画像をサイズの異なる複数のブロックに分割し、分割の態様を示すブロック情報を取得するブロック情報取得ステップと、
前記ブロック情報に示す態様で分割された複数のブロックを処理単位として前記符号化データを復号化して差分画像を得る差分画像復号化ステップと、
を備えた画像復号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化装置および画像復号化装置に関し、特に画像特性に適したブロックで符号化を行って符号化効率向上を可能とする画像符号化装置および画像復号化装置に関する。
【背景技術】
【０００２】
近年、テロや犯罪件数の増加に伴い、数十台から百台規模の監視カメラを接続可能な映像監視システムが公共施設等で急速に普及しつつある。また、監視カメラの映像は、犯罪の証拠画像として利用されるという位置付けから、静止画像の画質、特に解像度が重要視され、カメラ撮像素子数の増化効果もあり、監視カメラにおける空間解像度の高解像度化が進んでいる。
【０００３】
監視カメラの高解像度化に伴い、数十台規模の監視カメラを接続する監視システムでは、記録容量に制約がある中で、長時間の映像を記録するために、高解像度映像を効率よく圧縮符号化する映像符号化方式が望まれている。
【０００４】
映像符号化技術としては、例えばＪＰＥＧ（Joint Picture Experts Group）方式、あるいはＭＰＥＧ（Moving Picture Experts Group）方式など、画像の空間冗長性に着目しＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）を利用した符号化方式が一般的である。このＭＰＥＧ符号化方式では、８×８画素または４×４画素を１つの処理ブロックとしてＤＣＴ変換による符号化を行っており、ブロックサイズは固定的である。
【０００５】
ＤＣＴ処理においては、画像中の画素値に変化の少ない領域（例えば背景部分など）に対してＤＣＴ処理して得られるＤＣＴ係数は低周波領域に偏るため、大きなブロックを用いてＤＣＴ処理を行った方が符号化効率を向上することが可能である。逆に、画像中の画素値に変化の多い領域（例えばエッジ部分など）に対しては、ＤＣＴ処理により得られるＤＣＴ係数は高周波領域に偏り、高周波を削除して符号化すると擬似輪郭ノイズが発生するため、大きなブロックサイズを用いることは適していない。したがって、ＤＣＴのブロックサイズを固定的にするのではなく、画像特性に合せてＤＣＴのブロックサイズを可変にすることが符号化効率を高めるうえで有効である。
【０００６】
このようにＤＣＴのブロックサイズを変更して符号化効率を高めるために、従来から、例えば特許文献１に示されるように、入力画像の画素変化値を用いて、ＤＣＴブロックサイズを決定し、ＤＣＴブロックサイズを木構造で符号化することにより、符号化効率の向上を図る画像符号化装置が知られている。図１２は、特許文献１に記載された画像符号化装置の構成を示す図である。図１２において、画像入力部１２００は符号化対象の画像を入力する。ブロックサイズ割り当て部１２０１は、入力画像の画素変化値を算出し、画素変化値が大きい領域に小さなサイズのＤＣＴブロックサイズを割り当てて、算出したブロックサイズをＤＣＴ部１２０２に出力する。ＤＣＴ部１２０２、ＤＱＴ部１２０３、量子化器１２０４、ジグザグ走査シリアライザ１２０５では、ブロックサイズ割り当て部１２０１により算出されたブロックサイズに従い、順次ＤＣＴ変換、ＤＱＴ変換、量子化処理および係数のジグザグ走査を行う。可変長コーダ１２０６は、符号化されたブロック情報およびブロックサイズ情報を可変長符号化して生成される画像データを、伝送チャネル１２０７を経て可変長デコーダ１２０８へ出力する。可変長デコーダ１２０８は、伝送チャネル１２０７経由で画像データを受信し、画像データを復号化しブロック情報およびブロックサイズ情報を復号化する。逆ジグザグ走査シリアライザ１２０９、逆量子化器１２１０、ＩＤＱＴ部１２１１およびＩＤＣＴ部１２１２は、可変長デコーダにより復号化されたブロックサイズ情報に従い、符号化データに対して、順次逆ジグザグ走査、逆量子化処理、逆ＤＱＴ処理、逆ＤＣＴ処理を行い、復号化画像を生成し、画像出力部１２１３に出力する。
【０００７】
また、非特許文献１には、動き予測符号化に用いたブロックサイズと同一のブロックサイズでＤＣＴ変換することにより、ブロックサイズ情報の符号化を省略する画像圧縮技術が開示されている。
【特許文献１】特表２００３−５２３６５２公表公報
【非特許文献１】“Ｖａｒｉａｂｌｅ  Ｂｌｏｃｋ−Ｓｉｚｅ  Ｔｒａｎｓｆｏｒｍｓ  ＦｏｒＨ．２６４／ＡＶＣ”,Mathias Wien, IEEE Transactions on circuits and systems for video technology VOL. 13, No.7 July 2003
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記した特許文献１の画像符号化装置のように、入力画像を用いてＤＣＴブロックサイズを算出する方法には、次のような問題点がある。すなわち、符号化データを復号化する時に入力画像を用いることは不可能なので、ＤＣＴ処理のブロックサイズ情報を復号化側の装置に伝える必要がある。従って、画像の符号化データと共に符号化の処理単位となったブロックサイズ情報も符号化されるが、このブロックサイズ情報の符号データの符号量は、画像が高解像度化するにつれて増大するため、ブロックサイズ情報のオーバーヘッドにより符号化効率が低下するという問題がある。
【０００９】
また、上記した非特許文献１の技術のように、動き予測ブロックのサイズを用いてＤＣＴブロックサイズとする方法では、動き予測ブロック以外には適用することが出来ないため、映像監視においてランダムアクセス性の高い画面内符号化方式には使用することが出来ない。さらに、動き予測ブロックで用いるブロックサイズは画像の周波数特性を反映したものではないため、ブロックサイズを変更してＤＣＴ変換を行うことによる符号化向上が望めないという問題がある。
【００１０】
本発明は、かかる点に鑑みてなされたものであり、ブロック情報の符号化が不要で、かつ画像特性に応じてブロックを変更して符号化効率を向上させることを目的とする。
【課題を解決するための手段】
【００１１】
本発明の画像符号化装置は、原画像を入力する原画像入力手段と、前記原画像の基本となる基本画像を取得する基本画像取得手段と、前記原画像と前記基本画像との差分画像を求める差分画像算出手段と、前記基本画像に含まれるエッジの情報に基づいて前記基本画像をサイズの異なる複数のブロックに分割し、分割の態様を示すブロック情報を取得するブロック情報取得手段と、前記ブロック情報に示す態様で分割された複数のブロックを処理単位として差分画像を符号化する差分画像符号化手段とを備えた構成を有する。
【００１２】
この構成により、差分画像の符号化の処理単位であるブロックを示すブロック情報を差分画像と相関の強い基本画像から取得することができるので、ブロック情報を符号化する必要がない。また、平坦な部分とエッジ部分が混在する差分画像の符号化の処理単位を可変とすることによって符号化効率を向上できる。
【００１３】
本発明の別の態様に係る画像符号化装置は、原画像を入力する原画像入力手段と、前記原画像をダウンサンプル処理した画像を基本画像として取得する基本画像取得手段と、前記原画像と前記基本画像との差分画像を求める差分画像算出手段と、前記基本画像に含まれるエッジの情報に基づいて前記基本画像をサイズの異なる複数のブロックに分割し、分割の態様を示すブロック情報を取得するブロック情報取得手段と、前記ブロック情報に示す態様で分割された複数のブロックを処理単位として差分画像を符号化する差分画像符号化手段と、前記基本画像を符号化する基本画像符号化手段とを備えた構成を有する。
【００１４】
この構成により、原画像をダウンサンプル処理した基本画像（基本レイヤ）と差分画像（拡張レイヤ）を用いて、復号化側の装置の環境に適応可能な符号化データを作成する階層符号化において、差分画像の符号化の処理単位であるブロックを示すブロック情報を基本画像から取得することができるので、ブロック情報を符号化する必要がない。また、平坦な部分とエッジ部分が混在する差分画像の符号化の処理単位を可変とすることによって符号化効率を向上できる。
【００１５】
本発明の別の態様に係る画像符号化装置は、複数の連続したフレームからなる画像を入力する画像入力手段と、符号化すべき原画像のフレームの前フレームを基本画像として取得する基本画像取得手段と、前記原画像と前記基本画像との差分画像を求める差分画像算出手段と、前記基本画像に含まれるエッジの情報に基づいて前記基本画像をサイズの異なる複数のブロックに分割し、分割の態様を示すブロック情報を取得するブロック情報取得手段と、前記ブロック情報に示す態様で分割された複数のブロックを処理単位として差分画像を符号化する差分画像符号化手段とを備えた構成を有する。
【００１６】
この構成により、複数のフレームからなる画像において、差分画像の符号化の処理単位であるブロックを示すブロック情報を差分画像と相関の強い前フレームから取得することができるので、ブロック情報を符号化する必要がない。また、平坦な部分とエッジ部分が混在する差分画像の符号化の処理単位を可変とすることによって符号化効率を向上できる。
【００１７】
上記画像符号化装置において、前記ブロック情報取得手段は、前記基本画像を符号化した符号化データを復号化して得られる復号画像を複数のブロックに分割して前記ブロック情報を取得してもよい。
【００１８】
このように復号化された基本画像からブロック情報を取得することにより、符号化および復号化に伴う画像情報の欠落による基本画像の変化を画像の符号化時に考慮して、復号化時と同じブロック情報を取得することができる。
【００１９】
上記画像符号化装置において、前記基本画像の符号化および復号化によって前記復号画像に生じた符号化ノイズを除去する符号化ノイズ除去手段を備えてもよい。
【００２０】
この構成により、擬似エッジノイズの発生を抑え正確なエッジ画像を生成することができる。符号化ノイズ除去手段としては、例えば、デブロックフィルタ、ローパスフィルタを用いることができる。
【００２１】
上記画像符号化装置において、前記ブロック情報取得手段は、前記基本画像のエッジを抽出したエッジ抽出画像において、各ブロック内のエッジ強度が所定の閾値より小さくなるように分割してもよい。
【００２２】
この構成により、エッジ強度が大きい領域を含むブロックは小さいブロックに分割して、エッジ付近での擬似輪郭ノイズの発生を低減し、エッジ強度が大きい領域を含まないブロックは大きいブロックに分割して、ブロックの符号化の効率を向上できる。
【００２３】
上記画像符号化装置において、前記ブロック情報取得手段で用いられる閾値は、ブロックのサイズに応じて複数設定されてもよい。
【００２４】
このように複数の閾値を設定しておくことにより、ブロックのサイズと平均エッジ強度との関係に拘束されずに、ブロックの分割の態様を設定できる。
【００２５】
上記画像符号化装置において、前記差分画像に含まれるエッジの情報に基づいて前記差分画像を分割した場合と同じ態様で前記基本画像が分割されるように前記閾値を設定する閾値設定手段を備えてもよい。
【００２６】
このように符号化対象の差分画像を処理単位のブロックに分割し、その分割の態様と同じ態様で基本画像が分割されるような閾値を設定しておく構成により、差分画像の符号化において符号化効率の高い処理単位のブロック情報を基本画像から取得することができる。
【００２７】
上記画像符号化装置において、前記ブロック情報取得手段で用いる前記閾値を符号化する閾値符号化手段を備えてもよい。
【００２８】
この構成により、画像特性に合せて閾値を変更することが可能となり、処理単位となるブロックを柔軟に制御して符号化効率をさらに向上することが可能となる。
【００２９】
上記画像符号化装置において、前記ブロック情報取得手段でエッジ抽出に用いるエッジ抽出フィルタを符号化するエッジ抽出フィルタ符号化手段を備えてもよい。
【００３０】
この構成により、画像特性に応じてエッジ抽出方式を選択して、処理単位のブロック決定の元となるエッジ画像を正確に生成することが可能となる。
【００３１】
上記画像符号化装置において、前記ブロック情報取得手段は、前記基本画像の色差成分から色分布を求め、前記色分布に基づいて前記基本画像を複数のブロックに分割して前記ブロック情報を取得してもよい。
【００３２】
この構成により、入力画像が多くのエッジを含み、エッジに基づくブロックの分割が困難な画像に対しても、色差情報によって符号化効率の高い処理ブロックを決定できる。
【００３３】
上記画像符号化装置において、前記ブロック情報取得手段は、各ブロック内の色分布の分散値が所定の閾値より小さくなるように分割してもよい。
【００３４】
この構成により、入力画像の多くのエッジを含み、エッジに基づくブロックの分割が困難な画像に対しても、同色の色を有する相互相関の高い領域を１つのブロックにまとめて符号化することができ、符号化効率を向上可能である。
【００３５】
上記画像符号化装置において、前記差分画像符号化手段は、前記ブロック情報に示す態様で分割された複数のブロックを処理単位として直交変換を行ってもよい。
【００３６】
この構成により、ブロック情報取得手段で取得したブロック情報を用いて、画像特性に適したブロックで直交変換を行うことが可能である。
【００３７】
上記画像符号化装置において、前記差分画像符号化手段は、前記直交変換として離散コサイン変換を行ってもよい。
【００３８】
この構成によれば、多数の画素値を含む大きなブロックを、低周波係数に集中しており少数の非ゼロである有効係数を含むＤＣＴ係数へと変換し、少数の有効係数を少ない符号量で符号化することができるため、符号化効率を向上可能である。
【００３９】
上記画像符号化装置において、前記差分画像符号化手段は、前記直交変換として離散ウェーブレット変換を行ってもよい。
【００４０】
この構成によれば、多数の画素値を含む大きなブロックを、低サブバンド係数に集中しており少数の非ゼロである有効係数を含むＤＷＴ係数へと変換し、少数の有効係数を少ない符号量で符号化することができるため、符号化効率を向上可能である。
【００４１】
上記画像符号化装置において、前記差分画像符号化手段は、前記ブロック情報に示す態様で分割された複数のブロックを処理単位として、エントロピー符号化を行ってもよい。
【００４２】
この構成によれば、多数の画素値を含む大きなブロックを、非ゼロである有効係数の偏りを利用して、少ない符号量で符号化することができるため、符号化効率を向上可能である。
【００４３】
上記画像符号化装置は、前記差分画像符号化手段にて符号化された符号化データを出力する出力手段を備え、前記出力手段は、符号化の処理単位のブロックのサイズごとに、前記符号化データを出力してもよい。
【００４４】
この構成により、連続する符号化データの処理単位のブロックサイズが揃っているため効率良く符号化データの伝送、または符号化データの復号化を行うことが可能である。
【００４５】
上記画像符号化装置において、前記出力手段は、処理単位のブロックのサイズが大きい符号化データから順に、前記符号化データを出力してもよい。
【００４６】
この構成により、主観画質への影響が大きい平坦な領域を含むサイズの大きいブロックを先に伝送することができ、優先的に高画質化することが可能である。
【００４７】
本発明の画像復号化装置は、画像が符号化された符号化データを入力する符号化データ入力手段と、前記符号化データの一部を復号化して原画像の基本となる基本画像を得る基本画像復号化手段と、前記基本画像復号化手段にて復号化された基本画像に含まれるエッジの情報に基づいて前記基本画像をサイズの異なる複数のブロックに分割し、分割の態様を示すブロック情報を取得するブロック情報取得手段と、前記ブロック情報に示す態様で分割された複数のブロックを処理単位として前記符号化データを復号化して差分画像を得る差分画像復号化手段とを備えた構成を有する。
【００４８】
この構成により、差分画像の復号化の処理単位であるブロックを示すブロック情報を差分画像と相関の強い基本画像から取得することができるので、ブロック情報を含まずに効率良く符号化された符号化データを、処理単位のブロックを用いて復号化を行うことができる。
【００４９】
本発明の別の態様に係る画像復号化装置は、画像が符号化された符号化データを入力する符号化データ入力手段と、前記符号化データの一部を復号化して原画像がダウンサンプル処理された基本画像を得る基本画像復号化手段と、前記基本画像復号化手段にて復号化された基本画像に含まれるエッジの情報に基づいて前記基本画像をサイズの異なる複数のブロックに分割し、分割の態様を示すブロック情報を取得するブロック情報取得手段と、前記ブロック情報に示す態様で分割された複数のブロックを処理単位として前記符号化データを復号化して差分画像を得る差分画像復号化手段とを備えた構成を有する。
【００５０】
この構成により、原画像をダウンサンプル処理した基本画像（基本レイヤ）と差分画像（拡張レイヤ）を用いて、復号化側の装置の環境に適応可能な符号化データを作成する階層符号化において、差分画像の復号化の処理単位であるブロックを示すブロック情報を基本画像から取得することができるので、ブロック情報を含まずに効率良く符号化された符号化データを、処理単位のブロックを用いて復号化を行うことができる。
【００５１】
本発明の別の態様に係る画像復号化装置は、複数の連続したフレームからなる画像が符号化された符号化データを入力する符号化データ入力手段と、前記符号化データに含まれる復号化すべきフレームの前フレームを基本画像とし、基本画像に含まれるエッジの情報に基づいて前記基本画像をサイズの異なる複数のブロックに分割し、分割の態様を示すブロック情報を取得するブロック情報取得手段と、前記ブロック情報に示す態様で分割された複数のブロックを処理単位として前記符号化データを復号化して差分画像を得る差分画像復号化手段と、前記基本画像と差分画像とに基づいて前記フレームの原画像を合成する原画像合成手段とを備えた構成を有する。
【００５２】
この構成により、複数のフレームからなる画像において、差分画像の復号化の処理単位であるブロックを示すブロック情報を差分画像と相関の強い前フレームから取得することができるので、ブロック情報を含まずに効率良く符号化された符号化データを、処理単位のブロックを用いて復号化を行うことができる。
【００５３】
上記画像復号化装置において、前記ブロック情報取得手段は、前記基本画像のエッジを抽出したエッジ抽出画像において、各ブロック内のエッジ強度が所定の閾値より小さくなるように分割してもよい。
【００５４】
この構成により、エッジ強度に基づいて分割されたブロックを処理単位として効率良く符号化された符号化データを復号化することができる。
【００５５】
上記画像復号化装置において、前記ブロック情報取得手段で用いられる閾値は、ブロックのサイズに応じて複数設定されていてもよい。
【００５６】
この構成により、複数の閾値を用いて分割されたブロックを処理単位として効率良く符号化された符号化データを復号化することができる。
【００５７】
上記画像復号化装置において、前記ブロック情報取得手段で用いられる閾値は、前記符号化データと共に入力されてもよい。
【００５８】
この構成により、画像特性に合せて閾値を変更して効率良く符号化された符号化データに対しても、ブロック情報を必要とせず、画像データを復号化することができる。
【００５９】
上記画像復号化装置は、前記符号化データに含まれるエッジ抽出フィルタを復号化するエッジ抽出フィルタ復号化手段を備え、前記ブロック情報取得手段は、前記エッジ抽出フィルタを用いて前記基本画像のエッジを抽出してもよい。
【００６０】
この構成により、画像特性に合せてエッジ抽出方法を変更して効率良く符号化された符号化データに対しても、ブロック情報を必要とせず、画像データを復号化することができる。
【００６１】
上記画像復号化装置において、前記ブロック情報取得手段は、前記基本画像の色差成分から色分布を求め、前記色分布に基づいて複数のブロックに分割して前記ブロック情報を取得してもよい。
【００６２】
この構成により、色分布に基づいて分割されたブロックを処理単位として効率良く符号化された符号化データを復号化することができる。
【００６３】
上記画像復号化装置において、前記ブロック情報取得手段は、各ブロック内の色分布の分散値が所定の閾値より小さくなるように分割してもよい。
【００６４】
この構成により、同色の色を有する相互相関の高い領域を1つのブロックにまとめて効率良く符号化された符号データを復号化することができる。
【００６５】
上記画像復号化装置において、前記差分画像復号化手段は、前記ブロック情報に示す態様で分割された複数のブロックを処理単位として、直交変換を行ってもよい。
【００６６】
この構成により、処理単位のブロックを変更した直交変換により符号化された符号化データに対しても復号化処理を行うことが可能である。
【００６７】
上記画像復号化装置において、前記差分画像復号化手段は、前記直交変換として離散コサイン変換を行ってもよい。
【００６８】
この構成により、処理単位のブロックを変更したＤＣＴ変換により効率良く符号化された符号化データに対しても復号化処理を行うことが可能である。
【００６９】
上記画像復号化装置において、前記差分画像復号化手段は、前記直交変換として離散ウェーブレット変換を行ってもよい。
【００７０】
この構成により、処理単位のブロックを変更したＤＷＴ変換により効率良く符号化された符号化データに対しても復号化処理を行うことが可能である。
【００７１】
上記画像復号化装置において、前記差分画像復号化手段は、前記ブロック情報に示す態様で分割された複数のブロックを処理単位として、エントロピー復号化を行ってもよい。
【００７２】
この構成により、処理単位のブロックを変更したエントロピー符号化により効率良く符号化された符号化データに対しても復号化処理を行うことができる。
【００７３】
本発明の画像符号化方法は、原画像を入力する原画像入力ステップと、前記原画像の基本となる基本画像を取得する基本画像取得ステップと、前記原画像と前記基本画像との差分画像を求める差分画像算出ステップと、前記基本画像に含まれるエッジの情報に基づいて前記基本画像をサイズの異なる複数のブロックに分割し、分割の態様を示すブロック情報を取得するブロック情報取得ステップと、前記ブロック情報に示す態様で分割された複数のブロックを処理単位として差分画像を符号化する差分画像符号化ステップとを備える。
【００７４】
この構成により、本発明の画像符号化装置と同様に、ブロック情報を符号化しないで差分画像の符号化の処理単位のブロックを可変とでき、符号化効率を向上できる。また、本発明の画像符号化装置の各種の構成を本発明の画像符号化方法に適用することも可能である。
【００７５】
本発明の画像復号化方法は、画像が符号化された符号化データを入力する符号化データ入力ステップと、前記符号化データの一部を復号化して原画像の基本となる基本画像を得る基本画像復号化ステップと、前記基本画像復号化ステップにおいて復号化された基本画像に含まれるエッジの情報に基づいて前記基本画像をサイズの異なる複数のブロックに分割し、分割の態様を示すブロック情報を取得するブロック情報取得ステップと、前記ブロック情報に示す態様で分割された複数のブロックを処理単位として前記符号化データを復号化して差分画像を得る差分画像復号化ステップとを備える。
【００７６】
この構成により、本発明の画像復号化方法と同様に、ブロック情報を含まずに効率良く符号化された符号化データを可変の処理単位のブロックを用いて復号化を行うことができる。また、本発明の画像復号化装置の各種の構成を本発明の画像復号化方法に適用することも可能である。
【発明の効果】
【００７７】
本発明によれば、差分画像の符号化の処理単位であるブロックを示すブロック情報を差分画像と相関の強い基本画像から取得する構成により、差分画像の符号化の処理単位のブロックを可変とし、かつ、その処理単位を決めるブロック情報を符号化する必要がないので符号化効率を向上できるというすぐれた効果を有する。
【発明を実施するための最良の形態】
【００７８】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。第１の実施の形態では、画像の符号化方式として階層符号化方式を用いる例について説明する。階層符号化方式とは、入力画像を基本レイヤと拡張レイヤとに分割して符号化を行う方式である。基本レイヤは単体で画像の復号化が可能であり、拡張レイヤは基本レイヤの補間データを符号化したものである。拡張レイヤを有することによって、基本レイヤから復号化された画像の品質を向上することが可能である。本実施の形態における拡張レイヤは、解像度を向上させる解像度拡張レイヤであるものとする。
【００７９】
（第１の実施の形態）
図１は第１の実施の形態に係る画像符号化装置の構成を示す図、図２は第１の実施の形態の画像復号化装置の構成を示す図である。図１を用いた画像符号化装置の説明、および図２を用いた画像復号化装置の説明に先立って、画像符号化装置および画像復号化装置が用いられる映像監視システムの構成について説明する。
【００８０】
図３は、本発明の第１の実施の形態に係る画像符号化装置１００、画像復号化装置２００を用いた映像監視システムの構成を示すブロック図である。図３に示すように、画像符号化装置１００と画像復号化装置２００とは通信ネットワーク３０１を介して接続されている。図３において、画像符号化装置１００は、カメラ３０２により撮像された画像を符号化し、符号化データを通信ネットワーク３０１に出力する。通信ネットワーク３０１は、画像符号化装置１００によって符号化された符号化データを画像復号化装置２００に転送する。画像復号化装置２００は、通信ネットワーク３０１経由で受信した符号化データを復号化し、ディスプレイ３０３に画像を表示する。
【００８１】
次に、画像符号化装置１００について説明する。図１に示す画像符号化装置１００は、画像入力部１０１、差分処理部１０２、直交変換部１０３、エントロピー符号化部１０４、ダウンサンプル部１０５、基本レイヤ符号化／復号化部１０６、アップサンプル部１０７、ブロック情報取得部１０８、符号化データ出力部１０９を有している。
【００８２】
画像入力部１０１は外部カメラ３０２と接続され、カメラ３０２により撮像された画像データを１フレーム毎に差分処理部１０２とダウンサンプル部１０５に出力する。
【００８３】
ダウンサンプル部１０５は、画像入力部１０１より入力された画像データを予め決められた空間解像度に落とすダウンサンプル処理を行い、ダウンサンプル画像を基本レイヤ符号化／復号化部１０６に出力する。ここで、ダウンサンプル画像は、階層符号化方式における基本レイヤの画像となる。
【００８４】
基本レイヤ符号化／復号化部１０６は、ダウンサンプル部１０５より入力されたダウンサンプル画像をＭＰＥＧ−４等の符号化方式により符号化し、基本レイヤ符号化データを画像データ出力部１０９に出力する。また、基本レイヤ符号化／復号化部１０６は、符号化データを復号化し、復号化された基本レイヤの画像（基本レイヤ復号化画像）をアップサンプル部１０７に出力する。
【００８５】
アップサンプル部１０７は、基本レイヤ符号化／復号化部１０６から入力された基本レイヤ復号化画像を既定の空間解像度にするアップサンプル処理を行い、アップサンプル後の基本レイヤ復号化画像を差分処理部１０２とブロック情報取得部１０８とに出力する。
【００８６】
ブロック情報取得部１０８は、アップサンプル部１０７から入力されたアップサンプル処理後の基本レイヤ復号化画像をエッジの情報に基づいて複数のブロックに分割する。具体的には、エッジ強度の大きい領域は小さいブロックに分割し、エッジ強度の小さい領域は大きいブロックに分割する。分割されたブロックが符号化および復号化の処理単位となる。ブロック情報取得部１０８は、分割されたブロックの態様を示すブロック情報を取得し、取得したブロック情報を直交変換部１０３およびエントロピー符号化部１０４に出力する。
【００８７】
ここで、ブロック情報取得部１０８は、アップサンプル部１０７から入力された基本レイヤ復号化画像が、画像入力部１０１からの入力画像と比較して低画質である場合には、エッジ抽出を行う前に符号化ノイズを除去する処理を行ってもよい。低画質か否かの判定は、入力画像と基本レイヤ復号化画像との比較により算出したＳ／Ｎ値が所定の閾値を超えるか否かによって判定できる。この処理を行うことにより、擬似エッジノイズの発生を抑えて正確なエッジ画像を生成することが可能となる。
【００８８】
差分処理部１０２は、画像入力部１０１から入力された画像データと、アップサンプル部１０７から入力されたアップサンプル処理後の基本レイヤ復号化画像を用いて、画素単位の差分処理を行い、差分画像を生成する。差分処理部１０２は、生成された差分画像を直交変換部１０３に出力する。
【００８９】
直交変換部１０３は、差分処理部１０２から入力された差分画像に対してＤＣＴ（ＤＩＳＣＲＥＴＥ  ＣＯＳＩＮＥ  ＴＲＡＮＳＦＯＲＭ）変換処理を行う。ＤＣＴ変換処理の処理単位となるブロックは、ブロック情報取得部１０８より入力されたブロック情報に基づいて決定される。直交変換部１０３は、ＤＣＴ変換処理により得られたＤＣＴ変換係数をエントロピー符号化部１０４に出力する。
【００９０】
エントロピー符号化部１０４は、直交変換部１０３から入力されたＤＣＴ変換係数をエントロピー符号化する。エントロピー符号化処理の処理単位となるブロックは、ブロック情報取得部１０８より入力されたブロック情報に基づいて決定される。エントロピー符号化部１０４は、エントロピー符号化した符号化データを符号化データ出力部１０９に出力する。
【００９１】
符号化データ出力部１０９は、通信ネットワーク３０１に接続しており、基本レイヤ符号化／復号化部１０６より入力された基本レイヤ符号化データと、エントロピー符号化部１０４より入力された拡張レイヤ符号化データを多重化し、通信ネットワーク３０１に出力する。
【００９２】
次に、画像復号化装置２００について説明する。図２に示すように、画像復号化装置２００は、符号化データ入力部２０１と、エントロピー復号化部２０２と、直交変換部２０３と、画像加算部２０４と、基本レイヤ復号化部２０５と、ブロック情報取得部２０６と、アップサンプル部２０７と、画像出力部２０８とを有する。
【００９３】
符号化データ入力部２０１は通信ネットワーク３０１に接続され、通信ネットワーク３０１経由で画像符号化装置１００から送信された符号化データを受信する。符号化データ入力部２０１は、符号化データの中から各基本・拡張レイヤのスタートコードを検出し、基本レイヤ符号化データを基本レイヤ復号化部２０５に出力すると共に、拡張レイヤ符号化データをエントロピー復号化部２０２に出力する。
【００９４】
基本レイヤ復号化部２０５は、符号化データ入力部２０１から入力された符号化データに対して、ＭＰＥＧ−４等の復号化方式によって復号化し、基本レイヤ復号化画像を生成し、アップサンプル部２０７に出力する。
【００９５】
アップサンプル部２０７は、基本レイヤ復号化部２０５から入力された基本レイヤ復号化画像を、予め設定された空間解像度にするアップサンプル処理を行い、アップサンプル処理後の基本レイヤ復号化画像をブロック情報取得部２０６および画像加算部２０４に出力する。
【００９６】
ブロック情報取得部２０６は、アップサンプル部２０７から入力されたアップサンプル後の基本レイヤ復号化画像をエッジの情報に基づいて複数のブロックに分割し、分割の態様を示すブロック情報を取得する。ここで分割されたブロックが復号化の処理単位となる。ブロック情報取得部２０は、取得したブロック情報を、直交変換部２０３およびエントロピー復号化部２０２に出力する。
【００９７】
エントロピー復号化部２０２は、符号化データ入力部２０１から入力された拡張レイヤ符号化データをエントロピー復号化してＤＣＴ変換係数を生成する。エントロピー復号化処理の処理単位となるブロックは、ブロック情報取得部２０６より入力されたブロック情報に基づいて決定される。エントロピー復号化部２０２は、復号化されたＤＣＴ変換係数を直交変換部２０３に出力する。
【００９８】
直交変換部２０３は、エントロピー復号化部２０２から入力されたＤＣＴ変換係数に逆ＤＣＴ変換処理を行って差分復号化画像を生成する。逆ＤＣＴ変換処理の処理単位となるブロックは、ブロック情報取得部２０６より入力されたブロック情報に基づいて決定される。直交変換部２０３は、生成された差分復号化画像を画像加算部２０４に出力する。
【００９９】
画像加算部２０４は、アップサンプル部２０７から入力されたアップサンプル処理後の基本レイヤ復号化画像と、直交変換部２０３から入力された差分復号化画像とを画素単位で加算処理して復号化画像を生成し、画像出力部２０８に出力する。
【０１００】
画像出力部２０８は、ディスプレイ３０３に接続されており、画像加算部２０４から入力された復号化画像をディスプレイに出力する。
【０１０１】
次に、上記構成を有する画像符号化装置１００の動作について、図４に示すフロー図を用いて説明する。なお、図４に示すフロー図の動作は、画像符号化装置１００の図示しない記憶装置（例えばＲＯＭやフラッシュメモリなど）に制御プログラムとして記憶されており、図示しないＣＰＵによって制御される。
【０１０２】
まず、画像符号化装置１００の画像入力部１０１は、接続されたカメラ３０２からの撮像画像の入力処理を行う（Ｓ１０）。具体的には、画像入力部１０１は、入力された画像データを１フレーム毎に差分処理部１０２とダウンサンプル部１０５に出力する。
【０１０３】
次に、ダウンサンプル部１０５は、画像入力部１０１から入力された画像データを予め決められた空間解像度に落とすダウンサンプル処理を行い（Ｓ１２）、ダウンサンプル処理後の画像を基本レイヤ符号化／復号化部１０６に出力する。本実施の形態では、ダウンサンプルの一例として、入力画像の空間解像度を水平、垂直それぞれ１／２にするものとする。すなわち、入力画像の空間解像度を（Ｘ画素×Ｙ画素）とすると、ダウンサンプル処理後の空間解像度は（Ｘ／２画素×Ｙ／２画素）となる。ダウンサンプルの方法に関しては、空間解像度を変更する方法であれば、如何なる方法も適用可能である。例えば、ＷＡＶＥＬＥＴ変換を用いたサブバンド分割を利用することも可能である。
【０１０４】
次に、基本レイヤ符号化／復号化部１０６は、ダウンサンプル部１０５から入力されたダウンサンプル画像をＭＰＥＧ−４等の符号化方式により符号化し、基本レイヤ符号化データを画像データ出力部１０９に出力する（Ｓ１４）。また、基本レイヤ符号化／復号化部１０６は、符号化データを復号化し、基本レイヤ復号化画像をアップサンプル部１０７に出力する。ここで、基本レイヤ符号化の方法は、ＭＰＥＧ−４以外の如何なる符号化方法も利用可能である。
【０１０５】
次に、ブロック情報取得部１０８は、アップサンプル部１０７から入力されたアップサンプル処理後の基本レイヤ復号化画像を用いて、ブロックの分割の態様を示すブロック情報を取得する（Ｓ１６）。ここで、ブロック情報の取得処理について詳しく説明する。
【０１０６】
図５は、ブロック情報取得処理のフローを示す図である。まず、ブロック情報取得部１０８は、基本レイヤ復号化画像に対してエッジ抽出処理を行い、エッジ画像を生成する（Ｓ３０）。本実施の形態では、エッジ抽出処理は、例えば、ＳＯＢＥＬオペレータを用いたエッジ検出フィルタ処理を行うことにより実現されるものとする。
【０１０７】
次に、ブロック情報取得部１０８は、基本レイヤのエッジ画像に対して、ある画素数で構成される大ブロックを単位としてエッジ強度を算出する（Ｓ３２）。ここで大ブロックは３２×３２画素で構成される格子状のブロック、中ブロックは１６×１６画素で構成される格子状のブロック、小ブロックは８×８画素で構成される格子状のブロックであるとする。
【０１０８】
大ブロックｉのエッジ強度ＡＥ（ｉ）は、(x,y)∈AREA(i)を大ブロックi内に含まれる画素の位置の集合、Ｎを大ブロック内の画素数、Edge(x,y)を画素位置(x,y)におけるエッジ画像の画素値として、以下の式（１）によって計算される。
【数１】
2006246351.tif 000003
図６（ａ）〜図６（ｃ）は、フレーム内におけるブロックの処理順序を説明するための図である。図６（ａ）において、フレーム６０１は画像の１フレームを示し、ブロック６０２は３２×３２画素の大ブロックを示す。図６（ａ）に示すように左上のブロック６０２ａから閾値処理を開始し、順次右側のブロックへと処理を行っていく。一番右側のブロックの処理が終了すると、一段下の行の左側のブロックから右側に処理を行っていく。そして、右下のブロック６０２ｂの閾値処理が終了すると、１フレームの画像のブロック情報が取得される。
【０１０９】
次に、エッジ強度と大ブロック閾値との比較を行う（Ｓ３４）。具体的には、大ブロックのエッジ強度と大ブロック閾値（ＴＨ＿１）を比較し、真であれば大ブロックiのブロックサイズを大ブロックに決定し（Ｓ３６）、終了判定処理（Ｓ４８）へ移動し、ＡＥ（ｉ）<ＴＨ＿１の式が偽であればステップＳ３８の処理を行う。
【０１１０】
次に、大ブロック閾値の判定が偽だった場合には、ブロック情報取得部１０８は、中ブロックのエッジ強度の算出を行う（Ｓ３８）。具体的には、図６（ｂ）に示すように大ブロック６０２には、４つの中ブロック６０３ａ〜６０３ｄが含まれている。それぞれの中ブロック６０３ａ〜６０３ｄについて、エッジ強度の算出を行う。
【０１１１】
大ブロックiのｊ番目の中ブロックのエッジ強度ＡＥ（ｉ）は、(x,y)∈AREA(i)を大ブロックiの中ブロックj内に含まれる画素の位置の集合、Ｎを中ブロック内の画素数、Edge(x,y)を画素位置(x,y)におけるエッジ画像の画素値として、以下の式（２）によって計算される。
【数２】
2006246351.tif 000004
本処理ステップにおいては、大ブロック６０２を分割して構成される４つの中ブロック６０３ａ〜６０３ｄに対して、左上の中ブロック６０３ａからエッジ強度算出を開始し、右上の中ブロック６０３ｂ、左下の中ブロック６０３ｃ、右下の中ブロック６０３ｄの順で処理を行っていく。
【０１１２】
続いて、ブロック情報取得部１０８は、エッジ強度と中ブロック閾値との比較を行う（Ｓ４０）。具体的には、中ブロックのエッジ強度と中ブロック閾値（ＴＨ＿２）を比較し、ＡＥ（ｉ，ｊ）<ＴＨ＿２の式が真であれば中ブロックｊのブロックサイズを中ブロックに決定し（Ｓ４２）、ステップＳ４６の処理へ移動する。逆に、ＡＥ（ｉ，ｊ）<ＴＨ＿２の式が偽であれば、中ブロックｊのブロックサイズを小ブロックに決定する（Ｓ４４）。すなわち、図６（ｃ）に示すように、中ブロック６０３を４つの８×８画素の小ブロックに分割した後、ステップＳ４６の処理へ移動する。
【０１１３】
ステップＳ４６では、ブロック情報取得部１０８は、中ブロック終了判定を行う。具体的には、大ブロック６０２内の４つの中ブロック６０３ａ〜６０３ｄに対してエッジ強度算出処理および閾値判定処理を行ったか否かを判定する。全ての中ブロックの処理が終了した場合はステップＳ４８の処理に移動し、終了していない場合は次の中ブロックを処理対象として、ステップＳ３８の処理を行う。
【０１１４】
最後に、ブロック情報取得部１０８は、終了判定を行う（Ｓ４８）。具体的には、１フレーム内の全ての大ブロックに対してエッジ強度算出および閾値判定処理を行ったか判定する。全ての大ブロック処理が終了した場合は処理を終了し、そうでない場合は、次の大ブロックを処理対象として、処理をステップＳ３２へ移動する。全ての大ブロックの処理が終了した後、１フレーム内の全ての大ブロックに対して算出したブロック情報を直交変換部１０３に出力する。
【０１１５】
ここで、ブロックの判定に用いた２つの閾値は、ＴＨ＿１＜ＴＨ＿２であるものとし、エッジ強度が小さい程、大ブロックが選択されるように設定するものとする。このように閾値を設定することにより、エッジ強度が小さく低周波数の係数が比較的多いと予想される領域ほど、処理単位を大きなブロックサイズに設定することが可能となる。なお、ブロックの決定のための閾値処理の回数は２回に限らず、ブロックサイズに関しても大、中、小の３つに限定されない。また、縦横のサイズが等しい正方形ブロックに限定されるものでもない。
【０１１６】
ブロック情報の取得が完了すると、ブロック情報取得処理部１０８は、ブロック情報を直交変換部１０３およびエントロピー符号化部１０４に出力する。
【０１１７】
次に、図４に戻って、画像符号化装置１００は、拡張レイヤ符号化処理を行う（Ｓ１８）。具体的には、差分処理部１０２は、画像入力部１０１より入力された画像データと、アップサンプル部１０７より入力されたアップサンプル処理後の基本レイヤ復号化画像を画素単位で差分処理を行い、差分画像を直交変換部１０３に出力する。なお、ここで算出した差分画像は、本来入力画像データに存在し、基本レイヤ符号化において削減された画像成分、すなわち符号化処理で失われやすいエッジ成分を多く含むため、基本レイヤのエッジ画像と相関が高い画像である。従って、基本レイヤのエッジ画像を用いて算出したブロック情報は、差分画像を用いて算出したブロック情報と類似する結果が得られる。
【０１１８】
直交変換部１０３は、差分処理部１０２より入力された差分画像に対して、ＤＣＴ（ＤＩＳＣＲＥＴＥ  ＣＯＳＩＮＥ  ＴＲＡＮＳＦＯＲＭ）変換処理を行う。ここでは、ブロック情報取得部１０８から入力されたブロック情報に示されるブロックを処理単位として、ＤＣＴ変換処理を行う。具体的には、差分画像内のすべての大ブロックに対して、ブロック情報取得部１０８において算出されたブロック情報で示されるブロックを処理単位として順次ＤＣＴ変換処理を行う。大ブロックが複数の中ブロックに分割されている場合、さらに小ブロックに分割されている場合には、それらの中ブロックまたは小ブロックを処理単位としてＤＣＴ変換処理を行う。直交変換部１０３は、１フレーム分のＤＣＴ変換係数をエントロピー符号化部１０４に出力する。ここで、直交変換はＤＣＴに限定されず、ＤＷＴ（ＤＩＳＣＲＥＴＥ  ＷＡＶＥＬＥＴ  ＴＲＡＮＳＦＯＲＭ）も利用可能である。
【０１１９】
エントロピー符号化部１０４は、直交変換部１０３より入力されたＤＣＴ変換係数に対して、ブロック情報取得部１０８から入力されたブロック情報で示されるブロックを用いてエントロピー符号化し、拡張レイヤ符号化データを画像出力部１０９に出力する。
【０１２０】
次に、画像符号化装置１００の符号化データ出力部１０９は、符号化データを出力する（Ｓ２０）。具体的には、画像出力部１０９は、基本レイヤ符号化／復号化部１０６より入力された基本レイヤ符号化データと、エントロピー符号化部１０４より入力された拡張レイヤ符号化データを多重化し、接続された通信ネットワーク３０１に出力する。
【０１２１】
次に、画像符号化装置１００は、終了判定を行う（Ｓ２２）。具体的には、カメラ３０２からの画像入力が終了した場合、あるいは既定のフレーム数以上の処理を行った場合には，処理を終了し、そうでない場合には処理をステップＳ１０に移動する。
【０１２２】
続いて、画像復号化装置２００の動作について、図７に示すフロー図を用いて説明する。なお、図７に示すフロー図の動作は、画像復号化装置２００の図示しない記憶装置（例えばＲＯＭやフラッシュメモリなど）に制御プログラムとして記憶されており、図示しないＣＰＵによって制御される。
【０１２３】
画像復号化装置２００は、まず、符号化データの入力を行う（Ｓ５０）。具体的には、符号化データ入力部２０１は、通信ネットワーク３０１経由で画像符号化装置１００から送信された１フレーム分の符号化データを受信する。そして、画像復号化装置２００は、受信した符号化データの中から基本・拡張レイヤのスタートコードをそれぞれ検出し、基本レイヤ符号化データを基本レイヤ復号化部２０５に出力すると共に、拡張レイヤ符号化データをエントロピー復号化部２０２に出力する。
【０１２４】
次に、画像復号化装置２００は、基本レイヤの復号化を行う（Ｓ５２）。具体的には、基本レイヤ復号化部２０５は、符号化データ入力部２０１より入力された基本レイヤの符号化データに対して、ＭＰＥＧ−４等の復号化方式によって復号化し、基本レイヤ復号化画像を生成しアップサンプル部２０７に出力する。
【０１２５】
続いて、アップサンプル部２０７は、基本レイヤ復号化部２０５より入力された基本レイヤ復号化画像を、予め設定された空間解像度にアップサンプル処理し、アップサンプル後の基本レイヤ復号化画像をブロック情報取得部２０６と、画像加算部２０４に出力する。
【０１２６】
次に、ブロック情報取得部２０６は、ブロック情報取得処理を行う（Ｓ５４）。具体的には、ブロック情報取得部２０６は、アップサンプル部２０７より入力されたアップサンプル処理後の基本レイヤ復号化画像をエッジの情報に基づいて分割し、分割の態様を示すブロック情報を取得する。ここで、ブロック情報取得部２０６は、画像符号化装置１００のブロック情報取得部１０８と同一の処理（図５参照）を行う。ブロック情報取得部２０６は、取得したブロックの情報をエントロピー復号化部２０２および直交変換部２０３に出力する。
【０１２７】
ブロック情報を取得した後、画像復号化装置２００は、拡張レイヤの復号化を行う（Ｓ５６）。具体的には、エントロピー復号化部２０２は、符号化データ入力部２０１より入力された拡張レイヤ符号化データをエントロピー復号化し、ＤＣＴ変換係数を生成する。ここで、エントロピー復号化の処理単位は、ブロック情報取得部２０６から入力されたブロック情報で示されるブロックである。エントロピー復号化部２０２は、復号化されたＤＣＴ変換係数を直交変換部２０３に出力する。
【０１２８】
続いて、直交変換部２０３は、エントロピー復号化部２０２より入力されたＤＣＴ変換係数に逆ＤＣＴ変換処理を行い、差分復号化画像を生成する。ここで逆ＤＣＴ変換処理の処理単位は、ブロック情報取得部２０６から入力されたブロック情報で示されるブロックである。直交変換部２０３は、生成された差分復号化画像を画像加算部２０４に出力する。
【０１２９】
続いて、画像加算部２０４は、アップサンプル部２０７から入力されたアップサンプル処理後の基本レイヤ復号化画像と、直交変換部２０３より入力された差分復号化画像を画素単位で加算して画像合成処理を行って復号化画像を生成する（Ｓ５８）。画像加算部２０４は、生成された復号化画像を画像出力部２０８に出力する。
【０１３０】
画像出力部２０８は、画像加算部２０４から入力された復号化画像を出力する（Ｓ６０）。具体的には、画像出力部２０８は、画像加算部２０４から入力された復号化画像をディスプレイに出力する。
【０１３１】
次に、画像復号化装置２００は、終了判定を行う（Ｓ６２）。具体的には、通信ネットワーク３０１からの符号化データの受信が停止した場合、あるいは既定のフレーム数以上の復号化処理を行った場合には処理を終了し、そうでない場合には処理をステップＳ５０に移動する。
【０１３２】
以上、第１の実施の形態の画像符号化装置１００および画像復号化装置２００について説明した。
【０１３３】
本実施の形態の画像符号化装置１００では、画像符号化装置１００のブロック情報取得部１０３が、符号化済みの基本レイヤ符号化データを復号化した復号化画像を用いて、処理単位であるブロックを示すブロック情報を取得することよって、ブロック情報の符号化を必要とせず、階層符号化における拡張レイヤの符号化の処理単位のブロックを変更することが可能である。これにより、画像の符号化効率の向上を図れる。
【０１３４】
また、本実施の形態の画像復号化装置２００は、ブロック情報取得部２０６が、基本レイヤ符号化データを復号化して得られる基本レイヤ復号化画像を用いてブロック情報を取得することによって、符号化データにブロック情報を含まずに、ブロックを変更して効率良く符号化された拡張レイヤの画像データを復号化することが可能である。
【０１３５】
（第２の実施の形態）
次に、本発明の第２の実施の形態の画像符号化装置および画像復号化装置について説明する。第２の実施の形態では、画像の符号化方式として階層符号化方式ではなく通常の符号化方式を用いる例を示す。第２の実施の形態においても、第１の実施の形態と同様に、画像符号化装置および画像復号化装置は、映像監視システムに適用される（図３参照）。
【０１３６】
図８は、本発明の第２の実施の形態に係る画像符号化装置８００の構成を示すブロック図である。図８に示すように、画像符号化装置８００は、画像入力部８０１、動き予測部８０２、直交変換部８０３、エントロピー符号化部８０４、符号化データ出力部８０５、動き補償部８０６、ブロック情報取得部８０７を有している。
【０１３７】
画像入力部８０１は外部カメラ３０２に接続され、カメラ３０２で撮像された画像データを１フレーム毎に動き予測部８０２に出力する。
【０１３８】
動き予測部８０２は、画像入力部８０１から入力された画像データと、動き補償部８０６から入力された１フレーム前の復号化画像（参照画像と定義する）を比べ、１６×１６画素のブロック毎に入力画像データと参照画像間の相関が高い位置への動きベクトルを算出する。続いて、入力画像データを動きベクトル方向に移動した後、参照画像との差分処理を行って差分画像を生成し、直交変換部８０３に出力する。さらに、動き予測部８０２は、動きベクトルを動き補償部８０６およびエントロピー符号化部８０４に出力する。
【０１３９】
直交変換部８０３は、動き予測部８０２より入力される差分画像に対して、ＤＣＴ（ＤＩＳＣＲＥＴＥ  ＣＯＳＩＮＥ  ＴＲＡＮＳＦＯＲＭ）変換を行い、ＤＣＴ係数を生成する。ここでは、ブロック情報取得部８０７から入力されブロック情報に示されるブロックを処理単位として、ＤＣＴ変換処理を行う。直交変換部８０３は、生成されたＤＣＴ係数をエントロピー符号化部８０４に出力するとともに、ＤＣＴ係数を逆ＤＣＴ変換し、差分画像を復号化し、復号化差分画像を動き補償部８０６に出力する。
【０１４０】
エントロピー符号化部８０４は、直交変換部８０３より入力されたＤＣＴ係数に対して、エントロピー符号化処理を行う。ここでは、ブロック情報取得部８０７から入力されたブロック情報に示されるブロックを処理単位として、エントロピー符号化を行う。また、エントロピー符号化部８０４は、動き予測部８０２から入力された動きベクトルを符号化することにより符号化データを生成する。そして、生成された画像および動きベクトルの符号化データを符号化データ出力部８０５に出力する。
【０１４１】
動き補償部８０６は、内部にフレームバッファを持ち１フレーム前の復号化画像を保存している。そして、動き補償部８０６は、直交変換部８０３から入力された復号化差分画像を、動き予測部８０２から入力された動きベクトルの方向に画像を移動した後、フレームバッファ内の画像と加算処理をすることにより復号化画像を生成する。そして、動き補償部８０６は、生成した復号化画像を動き予測部８０２およびブロック情報取得部８０７に出力するとともに、フレームバッファ内のデータを新しく生成された復号化画像に置き換える。
【０１４２】
ブロック情報取得部８０７は、動き補償部８０６により入力された復号化画像を用いてブロック情報を取得し、取得したブロック情報を直交変換部８０３とエントロピー符号化部８０４に出力する。
【０１４３】
符号化データ出力部８０５は通信ネットワーク３０１に接続され、エントロピー符号化部８０４により入力された符号化データを通信ネットワーク３０１に出力する。
【０１４４】
図９は、第２の実施の形態における画像復号化装置９００の構成を示すブロック図である。図９に示すように、画像復号化装置９００は、符号化データ入力部９０１、エントロピー復号化部９０２、直交変換部９０３、動き補償部９０４、画像出力部９０５、ブロック情報取得部９０６を有する。
【０１４５】
符号化データ入力部９０１は、通信ネットワーク３０１に接続され、通信ネットワーク３０１経由で画像符号化装置８００から出力された符号化データを受信し、符号化データの中からスタートコードを検出し、１フレーム分の符号化データをエントロピー復号化部９０２に出力する。
【０１４６】
エントロピー復号化部９０２は、符号化データ入力部９０１より入力された符号化データに対してエントロピー復号化処理を行ってＤＣＴ変換係数を生成する。ここでは、ブロック情報取得部９０６より入力されたブロック情報に示されるブロックを処理単位として、エントロピー復号化処理を行う。エントロピー復号化部９０２は、生成されたＤＣＴ変換係数を直交変換部９０３に出力するとともに、符号化データから動きベクトルを復号化し、動き補償部９０４に出力する。
【０１４７】
直交変換部９０３は、エントロピー復号化部９０２より入力されたＤＣＴ変換係数に対して、逆ＤＣＴ変換処理を行って差分復号化画像を生成する。ここでは、ブロック情報取得部９０６から入力されたブロック情報に示されるブロックを処理単位として逆ＤＣＴ変換処理を行う。直交変換部９０３は、生成された差分復号化画像を動き補償部９０４に出力する。
【０１４８】
ブロック情報取得部９０６は、動き補償部９０４より入力された復号化画像をエッジの情報に基づいて分割し、分割の態様を示すブロック情報を取得する。ブロック情報取得部９０６は、取得したブロック情報を直交変換部９０３およびエントロピー復号化部９０１に出力する。
【０１４９】
動き補償部９０４は、内部にフレームバッファを持ち１フレーム前の復号化画像を保存している。そして、直交変換部９０３から入力された復号化差分画像を、エントロピー復号化部９０２より入力された動きベクトルの方向に画像を移動した後、フレームバッファ内の画像と加算処理をすることにより復号化画像を生成する。そして、動き補償部９０４は、生成した復号化画像を画像出力部９０５およびブロック情報取得部８０７に出力するとともに、フレームバッファ内のデータを新しく生成された復号化画像に置き換える。
【０１５０】
画像出力部９０５は、ディスプレイ３０３に接続されており、動き補償部９０４から入力された復号化画像をディスプレイ３０３に出力する。
【０１５１】
次に、画像符号化装置８００の動作について、図１０に示すフロー図を用いて説明する。なお、図１０に示すフロー図の動作は、画像符号化装置８００の図示しない記憶装置（例えばＲＯＭやフラッシュメモリなど）に制御プログラムとして記憶されており、図示しないＣＰＵによって制御される。
【０１５２】
まず、画像符号化装置８００の画像入力部８０１は、接続されたカメラ３０２によって撮像された画像データを１フレーム毎に入力する（Ｓ７０）。画像符号化装置８００は、入力されたフレームが最初のフレームか否かの判定を行い（Ｓ７２）、入力されたフレームが最初のフレームの場合は、ステップＳ７４の処理を行い、最初のフレームでない場合は、ステップＳ７６の処理を行う。
【０１５３】
符号化フレームが最初のフレームの場合は、１フレーム前の復号化画像が存在しないため、ブロック情報取得部８０７は、固定サイズのブロックを選択する（Ｓ７４）。具体的には、ブロック情報取得部８０７は、符号化処理単位であるブロックサイズを全て固定サイズ、例えば８×８画素の小ブロックと決定し、決定したブロックサイズ情報を直交変換部８０３とエントロピー符号化部８０４に出力する。
【０１５４】
符号化フレームが最初のフレームでない場合は、ブロック情報取得部８０７は、動き補償部８０６より入力された１フレーム前の復号化画像を用いてブロック情報を取得し、ブロック情報を直交変換部８０３とエントロピー符号化部８０４に出力する。本実施の形態におけるブロック情報の取得方法は、基本的に第１の実施の形態におけるブロック情報取得部１０８と同様であり、復号化画像をエッジ抽出後に閾値処理を行ってブロック情報を取得する。第１の実施の形態と異なる点は、第１の実施の形態では基本レイヤの復号化画像を用いたのに対し、第２の実施の形態では１フレーム前の復号化画像を用いる点である。
【０１５５】
次に、画像符号化装置８００は、符号化処理を行う（Ｓ７８）。具体的には、動き予測部８０２は、画像入力部８０１から入力された画像データと、復号化部８０６から入力された１フレーム前の復号化画像（以下、参照画像という）を比べ、１６×１６画素のブロック毎に入力画像データと参照画像間の相関が高い位置への動きベクトルを算出する。続いて入力画像データを動きベクトル方向に移動した後、参照画像との差分処理を行い、差分画像を生成し、直交変換部８０３に出力する。さらに、動き予測部８０２は、動きベクトルを動き補償部８０６とエントロピー符号化部８０４に出力する。
【０１５６】
続いて、直交変換部８０３は、動き予測部８０２より入力される差分画像にＤＣＴ（ＤＩＳＣＲＥＴＥ  ＣＯＳＩＮＥ  ＴＲＡＮＳＦＯＲＭ）変換を行う。ＤＣＴ変換処理の処理単位となるブロックは、ブロック情報取得部１０８より入力されたブロック情報に基づいて決定される。直交変換部８０３は、ＤＣＴ係数をエントロピー符号化部８０４に出力するとともに、ＤＣＴ係数を逆ＤＣＴ変換し、差分画像を復号化し、復号化差分画像を動き補償部８０６に出力する。なお、ＤＣＴ係数値を小さくするため、ＤＣＴ変換後にＤＣＴ係数を量子化パラメータで割った商で置き換える量子化処理を行うことも可能である。量子化処理を行った場合には、逆ＤＣＴ変換処理の前にＤＣＴ係数に対して量子化パラメータの乗算結果で置き換える逆量子化処理を行うものとする。
【０１５７】
続いて、エントロピー符号化部８０４は、直交変換部８０３より入力されたＤＣＴ係数に対して、エントロピー符号化を行う。エントロピー符号化の処理単位は、ブロック情報取得部８０７から入力されたブロック情報に示されるブロックである。エントロピー符号化部８０４は、動き予測部８０２から入力された動きベクトルを符号化することによって符号化データを生成し、符号化データ出力部８０５に出力する。
【０１５８】
動き補償部８０６は、内部にフレームバッファを持ち１フレーム前の復号化画像を保存している。そして、直交変換部８０３より入力された復号化差分画像を、動き予測部８０２より入力された動きベクトル方向に画像を移動した後、フレームバッファ内の画像と加算処理をすることにより復号化画像を生成する。そして、生成した復号化画像を動き予測部８０２とブロック情報取得部８０７に出力するとともに、フレームバッファのデータを新しく生成された復号化画像に置き換える。
【０１５９】
画像符号化装置８００は、符号化データを出力する（Ｓ８０）。具体的には、符号化データ出力部８０５は、エントロピー符号化部８０４より入力された符号化データを、接続された通信ネットワーク３０１に出力する。
【０１６０】
符号化データを出力した後、画像符号化装置８００は、終了判定を行う（Ｓ８２）。具体的には、カメラ３０２からの画像入力が終了した場合、あるいは既定のフレーム数以上の処理を行った場合には，処理を終了し、そうでない場合には処理をステップＳ７０に移動する。
【０１６１】
次に、画像復号化装置９００の動作について、図１１に示すフロー図を用いて説明する。なお、図１１に示すフロー図の動作は、画像復号化装置９００の図示しない記憶装置（例えばＲＯＭやフラッシュメモリなど）に制御プログラムとして記憶されており、図示しないＣＰＵによって制御される。
【０１６２】
画像復号化装置９００は、まず、符号化データの入力を行う（Ｓ９０）。具体的には、符号化データ入力部９０１は、通信ネットワーク３０１経由で画像符号化装置８００から送信された１フレーム分の符号化データを受信し、エントロピー復号化部９０２に出力する。
【０１６３】
次に、画像復号化装置９００は、現在復号化するフレームが最初のフレームの場合は、ステップＳ９４の処理を行い、最初のフレームでない場合は、ステップＳ９６の処理を行う。
【０１６４】
入力されたフレームが最初のフレームの場合は、１フレーム前の復号化画像が存在しないため、ブロック情報取得部９０６は、固定ブロックサイズを選択する。具体的には、ブロック情報取得部９０６は、復号化処理単位であるブロックを全て固定サイズ、例えば８×８画素の小ブロックと決定し、決定したブロック情報を直交変換部９０３とエントロピー復号化部９０２に出力する。
【０１６５】
入力されたブロックが最初のフレームでない場合は、ブロック情報取得部９０６は、動き補償部８０４より入力された１フレーム前の復号化画像をエッジの情報に基づいて分割し、分割の態様を示すブロック情報を取得する。本実施の形態におけるブロック情報の取得方法は、基本的に第１の実施の形態におけるブロック情報取得部２０６と同様であり、復号化画像をエッジ抽出後に閾値処理を行ってブロック情報を決定する。第１の実施の形態と異なる点は、第１の実施の形態では基本レイヤの復号化画像を用いたのに対し、第２の実施の形態では１フレーム前の復号化画像を用いる点である。そして、ブロック情報取得部９０６は、取得したブロック情報を直交変換部９０３およびエントロピー復号化部９０２に出力する。
【０１６６】
次に、画像復号化装置９００は復号化処理を行う（Ｓ９８）。具体的には、エントロピー復号化部９０２は、符号化データ入力部９０１より入力された符号化データをエントロピー復号化し、ＤＣＴ変換係数を生成する。エントロピー復号化の処理単位は、ブロック情報取得部９０６から入力されたブロック情報に示されるブロックである。エントロピー復号化部９０２は、生成されたＤＣＴ変換係数を直交変換部９０３に出力するとともに、符号化データから動きベクトルを復号化し、動き補償部９０４に出力する。
【０１６７】
続いて、直交変換部９０３は、エントロピー復号化部９０２より入力されたＤＣＴ変換係数に対して逆ＤＣＴ変換処理を行って差分復号化画像を生成する。逆ＤＣＴ変換処理の処理単位は、ブロック情報取得部９０６から入力されたブロック情報に示されるブロックである。直交変換部９０３は、生成された差分復号化画像を動き補償部９０４に出力する。
【０１６８】
動き補償部９０４は、直交変換部９０３から入力された復号化差分画像を、エントロピー復号化部９０２から入力された動きベクトルの方向に画像を移動した後、フレームバッファ内に記憶された１フレーム前の画像と加算処理をすることにより復号化画像を生成する（Ｓ１００）。そして、動き補償部９０４は、生成された復号化画像を画像出力部９０５とブロック情報取得部８０７に出力するとともに、フレームバッファ内のデータを新しく生成された復号化画像に置き換える。
【０１６９】
画像出力部９０５は、動き補償部９０４から入力された復号化画像をディスプレイに出力する（Ｓ１０２）。次に、画像復号化装置２００は、終了判定を行う（Ｓ１０４）。具体的には、通信ネットワーク３０１からの符号化データの受信が停止した場合、あるいは既定のフレーム数以上の復号化処理を行った場合には処理を終了し、そうでない場合には処理をステップＳ９０に移動する。以上、本実施形態の画像符号化装置および画像復号化装置の構成および動作について説明した。
【０１７０】
第２の実施の形態の画像符号化装置８００では、ブロック情報取得部８０６が、１フレーム前の復号化画像を用いて、符号化処理単位であるブロックを示すブロック情報を取得することによって、ブロック情報の符号化を必要とせず、可変のブロックを処理単位として符号化することができ、符号化効率を向上させることが可能である。
【０１７１】
また、本実施の形態の画像復号化装置９００は、ブロック情報取得部９０６が、基本レイヤ符号化データを復号化して得られる基本レイヤ復号化画像を用いてブロック情報を取得することによって、符号化データにブロック情報を含まずに、ブロックを変更して効率良く符号化された拡張レイヤの画像データを復号化することが可能である。
【０１７２】
以上、本発明の画像符号化装置および画像復号化装置について実施の形態を挙げて詳細に説明したが、本発明は上記した実施の形態に限定されるものではない。
【０１７３】
上記した第１の実施の形態では、画像符号化装置１００のブロック情報取得部１０３による基本レイヤ復号化画像のエッジ抽出方法として、予め決められたＳＯＢＥＬフィルタを用いたが、エッジ抽出の方法を適宜変更してもよい。これにより、画像特性に応じてエッジ抽出方式を選択して、ブロックの決定の元となるエッジ画像を正確に生成することが可能となる。この場合、エントロピー符号化部１０４がエッジ抽出方法の情報を符号化した符号化データを生成してもよい。これにより、画像復号化装置２００において、符号化データを復号化して得られたエッジ抽出方法に従って、基本レイヤ復号化画像のエッジ抽出を行うことができる。
【０１７４】
また、上記した第１の実施の形態では、画像符号化装置１００のブロック情報取得部１０３は、基本レイヤ復号化画像のエッジ画像を行い、閾値処理によってブロック情報を取得したが、エッジ画像ではなく、色差画像を用いてブロック情報を取得することも可能である。これによって、入力画像が多くのエッジを含み、エッジ画像からはブロック情報の取得が困難な画像に対しても、色差情報によって符号化効率の高い処理ブロックを取得することが可能となる。例えば、画像符号化装置１００のブロック情報取得部１０３は、基本レイヤ復号化画像の色差画像に対して、ブロック毎の分散値を求め、閾値処理によって分散値が小さいブロック程、大きなブロックサイズを決定することも可能である。これによって、入力画像の多くのエッジを含み、エッジによるブロック情報の取得が困難な画像に対しても、同色で相互相関の高い領域を1つのブロックにまとめて符号化することができ、符号化効率を向上可能である。この場合、画像復号化装置２００においても、画像符号化装置１００と同様に色差画像を用いてブロック情報を取得する。これにより、画像符号化装置１００と画像復号化装置２００で同じブロック情報を取得できる。
【０１７５】
また、上記した第１の実施の形態では、画像符号化装置１００の直交変換部１０３は、ブロック情報取得部１０８が取得したブロック情報に従ってＤＣＴ変換を行ったが、ＤＷＴ変換を行うことも可能である。これにより、エッジが少ない領域に対しては、多数の画素値を含む大きなブロックを、低サブバンド係数に集中し少数の有効係数を含むＤＷＴ係数へと変換し、少ない符号量で符号化することができるため、符号化効率を向上可能である。
【０１７６】
また、上記した第１の実施の形態において、画像符号化装置１００の符号化データ出力部１１９は、エントロピー符号化部１０４から入力された符号化データを、入力された順番で通信ネットワーク３０１に出力したが、ブロックサイズ毎にまとめて通信ネットワーク３０１に出力することも可能である。これにより、連続する符号化データのブロックサイズが揃っているため、効率良く符号化データの伝送、または符号化データの復号化を行うことが可能である。例えば、ブロックサイズが大きいものから先に通信ネットワーク３０１に出力することとすれば、主観画質への影響が大きい平坦な領域に対して、優先的に高画質化することができる。
【０１７７】
また、上記した第１の実施の形態において、ブロック情報取得部１０３は、あらかじめ設定された閾値ＴＨ＿１、ＴＨ＿２を用いてエッジ強度に対する閾値処理を行ったが、画像特性に応じて閾値を決定することとしてもよい。例えば、画像特性に応じて閾値を決定するために、次のような構成を採用することができる。まず、ブロック単位で符号化処理すべき差分画像をエッジ強度に応じて分割する。差分画像を分割して得られたブロック情報は、差分画像を符号化するために適したブロック情報である。次に、差分画像に基づいて分割されたブロックと同じように、基本レイヤ復号化画像が分割される閾値を設定する。これにより、差分画像をＤＣＴ処理して得られるＤＣＴ係数値がより小さくなるため、符号化効率をさらに向上することが可能である。なお、このような構成を採用した場合、エントロピー符号化部１０４が閾値を符号化データとして符号化する。これにより、画像特性に合せて設定された閾値を画像復号化装置に通知することができる。
【０１７８】
以上、上記した第１の実施の形態の変形例について説明したが、上記の変形は、第２の実施の形態に適用することも可能である。
【産業上の利用可能性】
【０１７９】
以上説明したように、本発明によれば、差分画像の符号化の処理単位であるブロックのブロック情報を差分画像と相関の強い基本画像から取得する構成により、差分画像の符号化の処理単位のブロックを可変とし、かつ、その処理単位を決めるブロック情報を符号化する必要がないので符号化効率を向上できるというすぐれた効果を有し、例えば、符号化データ量の増大する高解像度画像の符号化等の用途に利用することができる。
【図面の簡単な説明】
【０１８０】
【図１】第１の実施の形態に係る画像符号化装置の構成を示すブロック図
【図２】第１の実施の形態に係る画像復号化装置の構成を示すブロック図
【図３】第１の実施の形態が適用される映像監視システムの全体構成を示すブロック図
【図４】第１の実施の形態に係る画像符号化装置の処理を示すフロー図
【図５】第１の実施の形態に係るブロック情報取得処理を示すフロー図
【図６】（ａ）〜（ｃ）は、第１の実施の形態に係るブロックの概念およびブロックの処理順序を説明するための図
【図７】第１の実施の形態に係る画像復号化装置の処理を示すフロー図
【図８】第２の実施の形態に係る画像符号化装置の構成を示すブロック図
【図９】第２の実施の形態に係る画像復号化装置の構成を示すブロック図
【図１０】第２の実施の形態に係る画像符号化装置の処理を示すフロー図
【図１１】第２の実施の形態に係る画像符号化装置の処理を示すフロー図
【図１２】従来の画像符号化装置、画像復号化装置の構成を表すブロック図
【符号の説明】
【０１８１】
１００  画像符号化装置
１０１  画像入力部
１０２  差分処理部
１０３  直交変換部
１０４  エントロピー符号化部
１０５  ダウンサンプル部
１０６  基本レイヤ符号化／復号化部
１０７  アップサンプル部
１０８  ブロック情報取得部
１０９  符号化データ出力部
２００  画像復号化部
２０１  符号化データ入力部
２０２  エントロピー復号化部
２０３  直交変換部
２０４  画像加算部
２０５  基本レイヤ復号化部
２０７  アップサンプル部
２０６  ブロック情報取得部
２０８  画像出力部
３０１  通信ネットワーク
３０２  カメラ
３０３  ディスプレイ
６０１  フレーム
６０２  大ブロック
６０３  中ブロック
６０４  小ブロック
８０１  画像入力部
８０２  動き予測部
８０３  直交変換部
８０４  エントロピー符号化部
８０５  符号化データ出力部
８０６  動き補償部
８０７  ブロック情報取得部
９００  画像符号化装置
９０１  符号化データ入力部
９０２  エントロピー復号化部
９０３  直交変換部
９０４  動き補償部
９０５  画像出力部
９０６  ブロック情報取得部
１２００  画像入力部
１２０１  ブロックサイズ割り当て部
１２０２  ＤＣＴ部
１２０３  ＤＱＴ部
１２０４  量子化器
１２０５  ジグザグ走査シリアライザ
１２０６  可変長コーダ
１２０７  伝送チャネル
１２０８  可変長デコーダ
１２０９  逆ジグザグ走査シリアライザ
１２１０  逆量子化器値
１２１１  ＩＤＱＴ部
１２１２  ＩＤＣＴ部
１２１３  画像出力部
【図１】
2006246351.tif 000005
【図２】
2006246351.tif 000006
【図３】
2006246351.tif 000007
【図４】
2006246351.tif 000008
【図５】
2006246351.tif 000009
【図６】
2006246351.tif 000010
【図７】
2006246351.tif 000011
【図８】
2006246351.tif 000012
【図９】
2006246351.tif 000013
【図１０】
2006246351.tif 000014
【図１１】
2006246351.tif 000015
【図１２】
2006246351.tif 000016