(57)【要約】【課題】  ブロック歪を低減して画質の改善を図る。【解決手段】  入力画像から得られる複数のサンプルからなる入力ベクトルを所定のブロック領域でベクトル量子化することにより画像の符号化を行う画像符号化装置において、複数のベクトルパターンからなるコードブックと、前記コードブックを探索し、前記ブロック領域に対応するコードベクトルを選択して量子化を行うベクトル量子化手段とを有し、前記ベクトル量子化手段は、矩形以外の多角形からなるブロック領域に基づいて量子化を行うことにより、上記課題を解決する。【選択図】        図１
2006295831.tif 000002
【特許請求の範囲】
【請求項１】
入力画像から得られる複数のサンプルからなる入力ベクトルを所定のブロック領域でベクトル量子化することにより画像の符号化を行う画像符号化装置において、
複数のベクトルパターンからなるコードブックと、
前記コードブックを探索し、前記ブロック領域に対応するコードベクトルを選択して量子化を行うベクトル量子化手段とを有し、
前記ベクトル量子化手段は、矩形以外の多角形からなるブロック領域に基づいて量子化を行うことを特徴とする画像符号化装置。
【請求項２】
予め設定されたブロックパターンに基づいて、前記入力画像を前記多角形のブロック領域にブロック化した入力ベクトルを生成するブロック化手段を有することを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記ブロック化手段は、
前記多角形のブロック領域を略円形にしてブロック化を行うことを特徴とする請求項２に記載の画像符号化装置。
【請求項４】
前記ブロックパターンに基づいて、前記コードブックを生成するコードブック生成手段を有することを特徴とする請求項１乃至３の何れか１項に記載の画像符号化装置。
【請求項５】
入力画像から得られる複数のサンプルからなる入力ベクトルを所定のブロック領域でベクトル量子化することにより画像の符号化を行う画像符号化処理をコンピュータに実行させるための画像符号化プログラムにおいて、
複数のベクトルパターンからなるコードブックを探索し、前記ブロック領域に対応するコードベクトルを選択して量子化を行うベクトル量子化処理を有し、
前記ベクトル量子化処理は、矩形以外の多角形からなるブロック領域に基づいて量子化を行うようにコンピュータに実行させるための画像符号化プログラム。
【請求項６】
請求項１乃至請求項４の何れか１項に記載の画像符号化装置を具備した画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化装置、画像符号化プログラム、及び画像処理装置に係り、特にブロック歪を低減して画質の改善を図るための画像符号化装置、画像符号化プログラム、及び画像処理装置に関する。
【背景技術】
【０００２】
従来より、映像（画像）あるいは音声信号の伝送、蓄積等を行うための高能率符号化技術が各種提案されてきているが、その高能率な帯域圧縮符号化手法の１つとしてベクトル量子化（ＶＱ：Ｖｅｃｔｏｒ  Ｑｕａｎｔｉｚａｔｉｏｎ）がある（例えば、非特許文献１、非特許文献２参照。）。
【０００３】
ベクトル量子化は、複数サンプルで構成される入力ベクトルに対し、コードブックと呼ばれる複数の代表的なベクトルパターン（コードベクトル）を送信側（符号化側）と受信側（復号化側）とで用意しておき、そのコードブック中の候補ベクトルから歪の最も小さいものを選択して符号化する手法である。また、複数サンプルをまとめて量子化することによって、映像（画像）あるいは音声信号を効率的に符号化することができる。
【０００４】
また、ブロックサイズに相当するベクトルの次数を十分大きくしていくと、理論的に符号化性能がレート歪み限界と呼ばれる情報圧縮限界に限りなく近づくことが知られている。
【非特許文献１】Ａｌｌｅｎ  Ｇｅｒｓｈｏ，Ｒｏｂｅｒｔ  Ｍ．Ｇｒａｙ・古井貞煕，田崎三郎，小寺博，渡辺裕共訳、「ベクトル量子化と情報圧縮」、コロナ社、１９９８．
【非特許文献２】Ｋ．Ｒ．Ｒａｏ／Ｐ．Ｙｉｐ共著・安田浩，藤原洋共訳、「画像符号化技術−ＤＣＴとその国際標準−」、オーム社、１９９２．
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、ベクトル量子化では、低ビットレートの場合にブロック境界において顕著なブロック歪が生じるため、品質劣化の主な要因となっている。また、従来のベクトル量子化では矩形ブロックで映像信号の符号化を行うため、ブロック境界は画面上で周期的に連続した直線として存在する。このため、ブロック歪は、視覚上目立ちやすく、デジタル映像符号化等における品質劣化の主な要因となっている。
【０００６】
なお、このようなブロック歪を低減する手法としては、デコーダ出力信号に対するデブロッキングフィルターを用いる手法があるが、この手法では低域通過フィルターの適用により画像をぼかしてしまうという欠点がある。
【０００７】
本発明は、上述した問題点に鑑みなされたものであり、ブロック歪を低減して画質の改善を図るための画像符号化装置、画像符号化プログラム、及び画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
【０００９】
請求項１に記載された発明は、入力画像から得られる複数のサンプルからなる入力ベクトルを所定のブロック領域でベクトル量子化することにより画像の符号化を行う画像符号化装置において、複数のベクトルパターンからなるコードブックと、前記コードブックを探索し、前記ブロック領域に対応するコードベクトルを選択して量子化を行うベクトル量子化手段とを有し、前記ベクトル量子化手段は、矩形以外の多角形からなるブロック領域に基づいて量子化を行うことを特徴とする。
【００１０】
請求項１記載の発明によれば、矩形以外の多角形のブロック領域で符号化することによりブロック境界が矩形の場合に比べて視覚的に検知されにくい斜め方向となり、しかも隣接するブロックの境界が連続した直線にならないため、出力画像（映像）のブロック歪が視覚的に目立たなくなり、画質改善を図ることができる。
【００１１】
請求項２に記載された発明は、予め設定されたブロックパターンに基づいて、前記入力画像を前記多角形のブロック領域にブロック化した入力ベクトルを生成するブロック化手段を有することを特徴とする。
【００１２】
請求項２記載の発明によれば、ブロック化手段により、ブロック領域の設定の変更等を容易に行うことができる。また、ベクトル量子化手段における処理を迅速に行うことができる。
【００１３】
請求項３に記載された発明は、前記ブロック化手段は、前記多角形のブロック領域を略円形にしてブロック化を行うことを特徴とする。
【００１４】
請求項３記載の発明によれば、ブロック領域を略円形に近づけることで、ブロック内の符号化対象の画素値の分散が小さくなり符号化効率の向上を図ることができる。
【００１５】
請求項４に記載された発明は、前記ブロックパターンに基づいて、前記コードブックを生成するコードブック生成手段を有することを特徴とする。
【００１６】
請求項４記載の発明によれば、ブロックパターンに合わせて対応するコードベクトル（ベクトルパターン）からなるコードブックを容易且つ迅速に生成することができる。また、コードブック生成手段により生成されたコードベクトルを用いて高精度なベクトル量子化を行うことができる。
【００１７】
請求項５に記載された発明は、入力画像から得られる複数のサンプルからなる入力ベクトルを所定のブロック領域でベクトル量子化することにより画像の符号化を行う画像符号化処理をコンピュータに実行させるための画像符号化プログラムにおいて、複数のベクトルパターンからなるコードブックを探索し、前記ブロック領域に対応するコードベクトルを選択して量子化を行うベクトル量子化処理を有し、前記ベクトル量子化処理は、矩形以外の多角形からなるブロック領域に基づいて量子化を行うようにコンピュータに実行させる。
【００１８】
請求項５記載の発明によれば、矩形以外の多角形のブロックで符号化することによりブロック境界が矩形の場合に比べて視覚的に検知されにくい斜め方向となり、しかも隣接するブロックの境界が連続した直線にならないため、出力画像（映像）のブロック歪が視覚的に目立たなくなり、画質改善を図ることができる。また、実行プログラムをコンピュータにインストールすることにより、容易に画像符号化処理を実現することができる。
【００１９】
請求項６に記載された発明は、請求項１乃至請求項４の何れか１項に記載の画像符号化装置を具備した画像処理装置である。
【００２０】
請求項６記載の発明によれば、画像処理装置において、ブロック歪を低減して低ビットレートでの画質の改善を図ることができる。
【発明の効果】
【００２１】
本発明によれば、ブロック歪を低減して画質の改善を図ることができる。
【発明を実施するための最良の形態】
【００２２】
以下に、上記のような特徴を有する本発明における画像符号化装置、画像符号化プログラム、及び画像処理装置を好適に実施した形態について、図面を用いて詳細に説明する。なお、以下に示す実施例については、本発明に係る画像処理装置について説明するが、本発明における画像符号化装置の適用範囲はこの限りではない。
【００２３】
＜実施例＞
図１は、本実施例における画像処理装置の一構成例を示す図である。図１に示す画像処理装置１０は、画像符号化装置１１と、画像復号化装置１２とを有するよう構成されている。画像符号化装置１１は、ブロック化手段２１−１，２１−２と、コードブック生成手段２２と、コードブック２３と、ベクトル量子化手段２４とを有するよう構成されている。また、画像復号化装置１２は、ベクトル逆量子化手段３１と、コードブック３２と、走査変換手段３３とを有するよう構成されている。
【００２４】
画像符号化装置１１において、ブロック化手段２１−１は、画像を入力し、予め設定されるブロックパターンに基づいてブロック領域を設定する。なお、所定のブロック領域とは、矩形以外の多角形の形状である。なお、多角形は、隣接するブロック領域の境界が連続した直線にならないようにする。これにより、出力画像（映像）のブロック歪が視覚的に目立たなくなり、画質改善を図ることができる。なお、ブロック領域の形状の具体例については後述する。また、ブロック化生成手段２１−１は、生成された画像ブロック領域のベクトルをベクトル量子化手段２４に出力する。
【００２５】
コードブック２３は、ベクトル量子化手段２４に入力されるル入力ベクトルのブロック領域に対応したベクトルパターン（コードベクトル）が蓄積されていることが好ましい。そのため、まずブロック化手段２１−２にトレーニング用のサンプル画像を入力し、更にブロック化手段２１−１に入力したブロックパターンと同一のブロックパターンをブロック化手段２１−２に入力する。ブロック化手段２１−２は、入力したブロックパターンに基づいてサンプル画像に対するブロック領域の設定を行う。また、ブロック化手段２１−２は、設定されたブロック領域のベクトルをコードブック生成手段２２に出力する。
【００２６】
コードブック生成手段２２は、ブロック化手段２１−２から得られるブロック領域に基づいてコードブック２３を生成する。なお、コードブックの生成手法としては、例えばＬＢＧアルゴリズム等を用いることができる。ＬＢＧアルゴリズムによる生成方法は、均一に量子化されたコードブックを初期値として、トレーニングセットと呼ばれる入力ベクトルに対して最適になるように逐次的にコードブックの更新を繰り返していく収束計算を用いた設計手法である。したがって、この手法を用いてコードブックを生成、更新することができる。なお、コードブック生成手段２２におけるコードブック生成手法については、これに限定されない。
【００２７】
ベクトル量子化手段２４は、ブロック化手段２１−１から得られる入力ベクトルに基づいてコードブック生成手段２２で生成されたコードブック２３を探索し、対応する最も近いベクトルパターン（インデックス）を選択する。また、ベクトル量子化手段２４は、インデックスを画像復号化装置１２に出力する。
【００２８】
なお、図１では、説明を簡略化するため、画像符号化装置１１は、インデックスを直接画像復号化装置１２に出力するものとするが、例えば、画像符号化装置１１から画像復号化装置１２までの経路上で、インターネットやＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）等に代表される通信ネットワークを介して伝送されたり、画像符号化装置１１又は画像復号化装置１２の何れかにハードディスク等に代表される記録手段を設け、インデックスを一旦蓄積し、復号化を行う際に記録手段から読み出すようにしてもよい。
【００２９】
画像復号化装置１２は、画像符号化装置１１のコードブック２３と共通のコードブック３２を有している。画像復号化装置１２は、画像符号化装置１１から出力されたインデックスをベクトル逆量子化手段３１にて入力する。
【００３０】
ベクトル逆量子化手段３１は、画像符号化装置７１から得られるインデックスに基づいてコードブック３２を探索し、対応する画像ブロックを選択する。また、ベクトル逆量子化手段３１は、選択した画像ブロックを走査変換手段３３に出力する。走査変換手段３３は、ベクトル逆量子化手段３１から得られるブロック領域から画像（映像）を再構成して出力する。
【００３１】
＜ブロック領域の形状について＞
ここで、上述したブロック領域の形状について具体的に説明する。図２は、本実施例におけるブロック領域の形状及びその位置関係の一例を示す図である。図２に示すように、ブロック境界が直線上に連続して存在することがないように、六角形（図２（ａ）〜（ｃ））や、八角形（図２（ｄ））等によりブロック領域の形状が設定されて、各ブロック領域が配置される。なお、多角形の形状は、これに限定されず、ブロック境界が直線上に連続して存在することがないように設定されていればよい。
【００３２】
なお、ブロック領域の形状は、多角形にして略円形に近づけることが好ましい。これにより、ブロック内の符号化対象の画素値の分散が小さくなり符号化効率の向上を図ることができる。
【００３３】
なお、図２（ａ）〜（ｄ）に示すようにブロック領域の形状が矩形でない場合には、画像フレーム（画面）の端部でブロック領域がはみ出してしまうため、端部のブロック領域の形状が異なってしまう。
【００３４】
したがって、このような領域については、例えば図２の実線で囲まれる領域のみを探索に用い、点線で囲まれる領域については参照しないようにする。この場合、画像復号化装置１２側でコードブックを探索し、画像ブロックを選択した後、ブロック領域中の不要な領域部分については出力を行わないようにする。
【００３５】
なお、このとき除去する不要な領域部分についての情報を受信（画像復号化装置１２）側に伝送する必要がある。しかしながら、不要な領域部分及び位置は、ブロック領域の形状及び配置により一意に定まるため、送信（画像符号化装置１１）側及び受信（画像復号化装置１２）側でそれらの情報を共有しておくことにより、除去するブロック領域についての情報を常に伝送する必要もなくなる。
【００３６】
更に、図２（ｄ）に示すブロックパターンの場合には、隣接するブロックと重複（オーバーラップ）するブロック領域が存在する。このように、オーバーラップするブロック領域に含まれる画素については、画像復号化装置１２側で対応する画素による単純平均あるいは加算平均を取って出力する。また、画像符号化装置１１側では、オーバーラップする画素のデータは、何れも原画の値をそのまま用いてもよく、また既に符号化済みの隣接するブロックの値を用いてもよい。
【００３７】
また、図２（ａ）〜（ｄ）に示す形状、大きさについては、図２に限定されず他の形状、大きさを設定することができる。このとき、画素（各ブロック領域間）の隙間が生じることがないように設定されることが好ましい。
【００３８】
また、上述したようなブロックパターンによるブロック領域の設定は、ブロック化手段２１で行わなくてもよく、例えばベクトル量子化手段で行ってもよい。
【００３９】
上述した画像処理装置１０に示すように多角形のブロック領域を用いて符号化することにより、ブロック境界が矩形の場合に比べて視覚的に検知されにくい斜め方向となり、しかも隣接するブロックの境界が連続した直線にならず、復号された出力画像（映像）のブロック歪が視覚的に目立たなくなり、画質改善を図ることができる。また、ブロック領域の形状を多角形にして略円形に近づけることで、ブロック内の符号化対象の画素値の分散が小さくなり符号化効率の向上を図ることができる。
【００４０】
＜画像符号化プログラム＞
ここで、本発明における画像符号化装置１０は、上述した専用の装置構成等を用いて本発明における画像符号化処理を行うこともできるが、各構成における処理をコンピュータに実行させることができる実行プログラムを生成し、例えば、汎用のパーソナルコンピュータ、ワークステーション等にそのプログラムをインストールすることにより、本発明に係る画像符号化処理を実現することができる。
【００４１】
＜ハードウェア構成＞
ここで、本発明における画像符号化処理が実行可能なコンピュータのハードウェア構成例について図を用いて説明する。図３は、本発明における画像符号化処理が実現可能なハードウェア構成の一例を示す図である。
【００４２】
図３におけるコンピュータ本体には、入力装置４１と、出力装置４２と、ドライブ装置４３と、補助記憶装置４４と、メモリ装置４５と、各種制御を行うＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）４６と、ネットワーク接続装置４７とを有するよう構成されており、これらはシステムバスＢで相互に接続されている。
【００４３】
入力装置４１は、ユーザが操作するキーボード及びマウス等のポインティングデバイスを有しており、ユーザからのプログラムの実行指示や入力画像（映像）の指定等、各種操作信号を入力する。出力装置４２は、本発明における処理を行うためのコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイ（モニタ）を有し、ＣＰＵ４６が有する制御プログラムにより実行経過や結果等を表示することができる。
【００４４】
ここで、本発明において、コンピュータ本体にインストールされる実行プログラムは、例えばＣＤ−ＲＯＭ等の記録媒体４８等により提供される。プログラムを記録した記録媒体４８は、ドライブ装置４３にセット可能であり、記録媒体４８に含まれる実行プログラムが、記録媒体４８からドライブ装置４３を介して補助記憶装置４４にインストールされる。
【００４５】
また、ドライブ装置４３は、本発明に係る実行プログラムを記録媒体４８に記録することができる。これにより、その記録媒体４８を用いて、他の複数のコンピュータに容易にインストールすることができ、容易に画像符号化処理を実現することができる。
【００４６】
補助記憶装置４４は、ハードディスク等のストレージ手段であり、本発明における実行プログラムや、コンピュータに設けられた制御プログラム等を蓄積し必要に応じて入出力を行うことができる。また、補助記憶装置４４は、上述したコードブック等を記憶する記憶手段として用いることもできる。
【００４７】
ＣＰＵ４６は、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）等の制御プログラム、及びメモリ装置４５により読み出され格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して、画像符号化処理における各処理を実現することができる。また、プログラムの実行中に必要な各種情報等は、補助記憶装置４４から取得することができ、また格納することもできる。
【００４８】
ネットワーク接続装置４７は、電話回線やＬＡＮケーブル等の通信ネットワーク等と接続することにより、実行プログラムを通信ネットワークに接続されている他の端末等から取得したり、プログラムを実行することで得られた実行結果又は本発明における実行プログラムを他の端末等に提供することができる。
【００４９】
上述したようなハードウェア構成により、特別な装置構成を必要とせず、低コストで上述した画像符号化処理を実現することができる。また、プログラムをインストールすることにより、容易に画像符号化処理を実現することができる。
【００５０】
次に、実行プログラムにおける処理手順についてフローチャートを用いて説明する。
【００５１】
＜画像符号化処理＞
図４は、本発明における画像符号化処理手順を示すフローチャートである。まず、画像を入力し（Ｓ０１）、予め設定されるブロックパターンによりブロック化を行い（Ｓ０２）、分割された入力ベクトルを生成する（Ｓ０３）。次に、Ｓ０３により得られる入力ベクトルに基づいてコードブックを探索する（Ｓ０４）。このとき、コードブックのベクトルパターンは、Ｓ０２によりブロック化されたブロックパターンに基づいて予め生成されているベクトルパターンである。
【００５２】
次に、コードブックの中から対応する最も近いベクトルパターン（インデックス）を選択し（Ｓ０５）、選択したインデックスを出力する（Ｓ０６）。次に、未処理の画像が存在するかを判断する（Ｓ０７）。なお、未処理の画像が存在する場合（Ｓ０７において、ＹＥＳ）、Ｓ０１に戻り、未処理の画像を取得して上述した処理を行う。また、未処理の画像が存在しない場合（Ｓ０７にて、ＮＯ）、画像符号化処理を終了する。
【００５３】
上述した画像符号化処理を実行することにより、矩形以外の多角形のブロック領域で符号化することで、ブロック境界が矩形の場合に比べて視覚的に検知されにくい斜め方向となり、しかも隣接するブロックの境界が連続した直線にならないため、復号された出力画像（映像）のブロック歪が視覚的に目立たなくなり、画質改善を図ることができる。また、実行プログラムをコンピュータにインストールすることにより、容易に画像符号化処理を実現することができる。
【００５４】
上述したように本発明によれば、ブロック歪を低減して低ビットレートでの画質の改善を図ることができる。具体的には、矩形以外の多角形のブロック領域で符号化することにより、ブロック境界が矩形の場合に比べて視覚的に検知されにくい斜め方向となり、しかも隣接するブロックの境界が連続した直線にならないため、復号された出力画像（映像）のブロック歪が視覚的に目立たなくなり、画質改善を図ることができる。
【００５５】
また、ブロック形状を多角形にして略円形に近づけることで、ブロック内の符号化対象の画素値の分散が小さくなり符号化効率の向上を図ることができる。
【００５６】
以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【図面の簡単な説明】
【００５７】
【図１】本実施例における画像処理装置の一構成例を示す図である。
【図２】本実施例におけるブロック領域の形状及びその位置関係の一例を示す図である。
【図３】本発明における画像符号化処理が実現可能なハードウェア構成の一例を示す図である。
【図４】本発明における画像符号化処理手順を示すフローチャートである。
【符号の説明】
【００５８】
１０  画像処理装置
１１  画像符号化装置
１２  画像復号化装置
２１  ブロック化手段
２２  コードブック生成手段
２３，３２  コードブック
２４  ベクトル量子化手段
３１  ベクトル逆量子化手段
３３  走査変換手段
４１  入力装置
４２  出力装置
４３  ドライブ装置
４４  補助記憶装置
４５  メモリ装置
４６  ＣＰＵ
４７  ネットワーク接続装置
４８  記録媒体
【図１】
2006295831.tif 000003
【図２】
2006295831.tif 000004
【図３】
2006295831.tif 000005
【図４】
2006295831.tif 000006