(57)【要約】【課題】画面内予測では符号化対象画素の予測を行う際、領域境界である輪郭線の近辺での予測精度を改善する。【解決手段】画像符号化装置は、領域処理部、画面内予測部、及びエントロピー符号化部を備える。領域処理部は、ピクチャ内の領域判定を行う領域判定部と、領域情報を圧縮して符号化する領域符号化部を有する。画面内予測部では、符号化対象画素の近傍の画素を基に符号化対象画素を予測し、その予測誤差画像を生成する。この画面内予測部では、領域情報を基に近傍の画素がどの領域に属するかを判別し、必要に応じて領域境界付近での画面内予測に適用する予測パラメータを修正する機能を有する。【選択図】図１
2013034036.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を圧縮して符号化画像データを生成する画像符号化装置であって、
前記入力画像を解析して前記入力画像において特徴を異にする複数の領域を判別し、領域境界情報を生成する領域処理部と、
符号化対象画像情報の周辺画像情報を用いて、前記符号化対象画像情報に対して画面内予測処理を実行し、前記符号化対象画像情報の予測画像情報を生成する画面内予測部と、
前記符号化対象画像情報と前記予測画像情報との差分を取り、予測誤差情報を生成する差分器と、
前記予測誤差情報を符号化し、符号化予測誤差情報を生成する符号化部と、
前記領域境界情報と、前記予測画像情報を生成するために用いる予測パラメータと、前記予測誤差情報とを統合して符号化ストリームを生成するストリーム生成部と、を備え、
前記画面内予測部は、前記複数の領域のそれぞれに対して前記予測パラメータを生成し、i）前記周辺画像情報が前記符号化対象画像情報の属する領域と同じ領域にある場合には、前記予測パラメータを用いて前記予測画像情報を生成し、ii）前記周辺画像情報が前記符号化対象画像情報の属する領域（第１の領域）とは異なる領域（第２の領域）に属する場合には、前記異なる領域に属する周辺画像情報が符号化効率に与える影響をより小さくするためには前記予測パラメータの修正が必要か否か判定し、当該判定結果に基づいて、前記予測パラメータ或いは前記修正予測パラメータを用いて前記予測画像情報を生成することを特徴とする画像符号化装置。
【請求項２】
請求項１において、
前記画面内予測部は、前記第１の領域と前記第２の領域の境界が前記第１の領域の外側の領域か内側の領域かによって前記予測パラメータの修正について異なる方法を採用することを特徴とする画像符号化装置。
【請求項３】
請求項２において、
前記第１の領域と前記第２の領域との境界が前記第１の領域の外側の境界の場合、前記画面内予測部は、前記第１の領域内にある前記周辺画像情報の前記予測パラメータを、（予測に用いる前記周辺画像情報の個数）／（予測に用いる前記周辺画像情報の個数−前記第２の領域内の前記周辺画像情報の数）倍して前記予測パラメータを修正し、当該修正予測パラメータを用いて前記予測画像情報を生成した場合と、修正前の前記予測パラメータを用いて前記予測画像情報を生成した場合とを比較し、何れの前記予測誤差が小さいかに基づいて前記予測パラメータの修正の必要性の有無を判定することを特徴とする画像符号化装置。
【請求項４】
請求項２において、
前記第１の領域と前記第２の領域との境界が前記第１の領域の内側の境界の場合、前記画面内予測部は、前記第２の領域における予測パラメータの修正の有無の情報に基づいて、前記符号化対象画像情報の前記予測パラメータの修正方法を決定することを特徴とする画像符号化装置。
【請求項５】
請求項１において、
前記予測パラメータを修正して前記予測画像情報を生成する場合、前記ストリーム生成部は、さらに、前記予測パラメータを修正することを示す係数修正情報を統合して符号化ストリームを生成することを特徴とする画像符号化装置。
【請求項６】
請求項１において、
前記領域処理部は、前記複数の領域の各境界について、開始点の座標情報と、当該開始点から継続する境界の方向の情報をコード化して前記領域境界情報を生成することを特徴とする画像符号化装置。
【請求項７】
入力された符号化ストリームを復号化し、復号化画像を出力する画像復号化装置であって、
前記符号化ストリームを解析し、画像内の領域を示す領域境界情報と、予測パラメータと、符号化予測誤差情報と、を取得するストリーム解析部と、
前記予測パラメータと、復号化対象画像情報の周辺画像情報を用いて、画面内予測処理を実行し、予測画像情報を生成する画面内予測部と、
前記符号化予測誤差情報を復号化して予測誤差情報を生成する復号化部と、
前記予測誤差情報と前記予測画像情報とを加算し、復号化画像を生成する復号化部と、を備え、
前記画面内予測部は、i）前記周辺画像情報が前記復号化対象画像情報の属する領域と同じ領域にある場合には、前記予測パラメータを用いて前記予測画像情報を生成し、ii）前記周辺画像情報が前記復号化対象画像情報の属する領域（第１の領域）とは異なる領域（第２の領域）に属する場合には、前記異なる領域に属する周辺画像情報が予測に与える影響をより小さくするためには前記予測パラメータの修正が必要か否か判定し、当該判定結果に基づいて、前記予測パラメータ或いは前記修正予測パラメータを用いて前記予測画像情報を生成することを特徴とする画像復号化装置。
【請求項８】
請求項７において、
前記画面内予測部は、前記第１の領域と前記第２の領域の境界が前記第１の領域の外側の領域か内側の領域かによって前記予測パラメータの修正について異なる方法を採用することを特徴とする画像復号化装置。
【請求項９】
請求項８において、
前記第１の領域と前記第２の領域との境界が前記第１の領域の外側の境界の場合、前記画面内予測部は、前記第１の領域内にある前記周辺画像情報の前記予測パラメータを、（予測に用いる前記周辺画像情報の個数）／（予測に用いる前記周辺画像情報の個数−前記第２の領域内の前記周辺画像情報の数）倍して前記予測パラメータを修正し、当該修正予測パラメータを用いて前記予測画像情報を生成した場合と、修正前の前記予測パラメータを用いて前記予測画像情報を生成した場合とを比較し、何れの前記予測誤差が小さいかに基づいて前記予測パラメータの修正の必要性の有無を判定することを特徴とする画像復号化装置。
【請求項１０】
請求項８において、
前記第１の領域と前記第２の領域との境界が前記第１の領域の内側の境界の場合、前記画面内予測部は、前記第２の領域における予測パラメータの修正の有無の情報に基づいて、前記復号化対象画像情報の前記予測パラメータの修正方法を決定することを特徴とする画像復号化装置。
【請求項１１】
請求項７において、
前記ストリーム解析部は、さらに、前記予測パラメータを修正することを示す係数修正情報を前記符号化ストリームから取得し、
前記画面内予測部は、前記係数修正情報に基づいて前記予測パラメータの修正の必要性の有無を判定し、当該修正予測パラメータを用いて前記予測画像情報を生成することを特徴とする画像復号化装置。
【請求項１２】
入力画像を圧縮して符号化画像データを生成する画像符号化方法であって、
前記入力画像を解析して前記入力画像において特徴を異にする複数の領域を判別し、領域境界情報を生成する領域処理ステップと、
符号化対象画像情報の周辺画像情報を用いて、前記符号化対象画像情報に対して画面内予測処理を実行し、前記符号化対象画像情報の予測画像情報を生成する画面内予測ステップと、
前記符号化対象画像情報と前記予測画像情報との差分を取り、予測誤差情報を生成する差分ステップと、
前記予測誤差情報を符号化し、符号化予測誤差情報を生成する符号化ステップと、
前記領域境界情報と、前記予測画像情報を生成するために用いる予測パラメータと、前記予測誤差情報とを統合して符号化ストリームを生成するストリーム生成ステップと、を備え、
前記画面内予測ステップでは、前記複数の領域のそれぞれに対して前記予測パラメータが生成され、i）前記周辺画像情報が前記符号化対象画像情報の属する領域と同じ領域にある場合には、前記予測パラメータを用いて前記予測画像情報が生成され、ii）前記周辺画像情報が前記符号化対象画像情報の属する領域（第１の領域）とは異なる領域（第２の領域）に属する場合には、前記異なる領域に属する周辺画像情報が符号化効率に与える影響をより小さくするためには前記予測パラメータの修正が必要か否か判定され、当該判定結果に基づいて、前記予測パラメータ或いは前記修正予測パラメータを用いて前記予測画像情報が生成されることを特徴とする画像符号化方法。
【請求項１３】
入力された符号化ストリームを復号化し、復号化画像を出力する画像復号化方法であって、
前記符号化ストリームを解析し、画像内の領域を示す領域境界情報と、予測パラメータと、符号化予測誤差情報と、を取得するストリーム解析ステップと、
前記予測パラメータと、復号化対象画像情報の周辺画像情報を用いて、画面内予測処理を実行し、予測画像情報を生成する画面内予測ステップと、
前記符号化予測誤差情報を復号化して予測誤差情報を生成する復号化ステップと、
前記予測誤差情報と前記予測画像情報とを加算し、復号化画像を生成する復号化部と、を備え、
前記画面内予測ステップでは、i）前記周辺画像情報が前記復号化対象画像情報の属する領域と同じ領域にある場合には、前記予測パラメータを用いて前記予測画像情報が生成され、ii）前記周辺画像情報が前記復号化対象画像情報の属する領域（第１の領域）とは異なる領域（第２の領域）に属する場合には、前記異なる領域に属する周辺画像情報が予測に与える影響をより小さくするためには前記予測パラメータの修正が必要か否か判定され、当該判定結果に基づいて、前記予測パラメータ或いは前記修正予測パラメータを用いて前記予測画像情報が生成されることを特徴とする画像復号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号を高効率で符号化・復号化する画像符号化・復号化装置、及び画像符号化・復号化方法に関する。
【背景技術】
【０００２】
医療機関の画像診断装置や産業用途での電子顕微鏡画像、航空・衛星写真等を圧縮して伝送・保存する用途においては、撮影画像を劣化なく圧縮保存するロスレス画像符号化のニーズが高い。従来のロスレス画像符号化技術としては、ピクチャ内の画素間の相関性を利用して冗長な情報量を削減することで、画像情報量を圧縮する符号化方式が実用化されている。このようなロスレス符号化方式には、ＪＰＥＧ−ＬＳ（Joint Photographic Experts Group - Lossless）やＪＰＥＧ２０００等がある。
【０００３】
ＪＰＥＧ−ＬＳは、符号化対象画素の周辺の水平方向や垂直方向の勾配を考慮して、対象画素の近傍の４画素から対象画素の予測値Pを決定し、符号化対象画素と予測値Pとの予測誤差をエントロピー符号化する。エントロピー符号化方法としては算術符号化やＧｏｌｏｍｂ符号化等を選択することができる。
【０００４】
ＪＰＥＧ２０００は、ブロック単位、もしくはライン単位で離散ウェーブレット変換（ＤＷＴ）を施すことで周波数空間に変換し、得られたウェーブレット係数をモデル化して算術符号化を行う。
【０００５】
上記の既存の画像符号化方式は自然画像を主な用途として想定している。しかし、Ｘ線ＣＴ（Computed Tomography）やＭＲＩ（Magnetic Resonance Imaging）等の画像診断装置で撮像される医用画像は、人体を透過したＸ線量や体内組織内の原子核の核磁気共鳴の状態などを、画像として再構成したものであり、自然画像とは画像の特徴が大きく異なる。
【０００６】
医用画像の特徴の１つとして、複数領域に分割しやすいことが挙げられる。これは同一の体内組織は同一もしくは近い画素値をもつためである。この領域には撮像領域外の領域（通常何も撮影されない）も含まれる。
【０００７】
上記既存の符号化方式では、画素単位、もしくは正方形のブロック単位で符号化情報を格納しているのに対し、医用画像に対しては画像を領域に分割し、この領域単位で符号化情報を格納することにより、符号化効率の向上が期待できる。
【０００８】
特に、領域単位で符号化情報を格納する技術は、動画像符号化の分野では多く開示されてきている。例えば、特許文献１には、領域分割を動画像符号化に適用する方式が記載されている。また、特許文献２には、正方形ブロック内の画素値の分散やエッジ情報などに基づいて、ブロックの統合や分割を行うことでピクチャ内を領域に分割し、この領域毎に動きベクトルや量子化パラメータなどの符号化情報を格納する方式が記載されている。
【０００９】
領域分割に基づく画像符号化を動画像に適用した場合、時間的に連続するピクチャ間で対応する領域の動きを求め、領域単位で動き情報を格納することにより、領域の画像情報の大幅な圧縮が期待できる。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００１−４５４９４号公報
【特許文献２】特開２００６−３１４１２６号公報
【非特許文献】
【００１１】
【非特許文献１】「コンピュータ画像処理」オーム社出版局（田村  秀行  編著）
【非特許文献２】ディジタル信号処理シリーズ第１０巻「適応信号処理」昭晃堂（辻井  重男  編著）
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかしながら、特許文献１及び２に記載されるような動画像符号化における領域分割に基づいた画像符号化は、ピクチャ間の相関を利用した予測（以降、画面間予測）に関する技術であり、ピクチャ内の画素の相関を利用する予測に関して適用できるものではない。
【００１３】
通常、画面内予測では符号化対象画素の予測を行う際、領域境界である輪郭線の近辺で高周波成分が発生し、予測精度が悪くなるという課題があった。予測精度が悪くなると予測誤差の情報量が大きくなるため、符号化効率の低下につながる。特にロスレス画像符号化では、こうした予測誤差の情報の切捨てを行うことができないため、予測誤差の情報量が大きくなると、符号化効率の低下がロッシー符号化に比べてより顕著となる。
【００１４】
本発明はこのような状況に鑑みてなされたものであり、領域分割をともなう画像符号化・復号化処理において、画面内予測での領域境界部の予測精度を改善することを可能とする技術を提供するものである。
【課題を解決するための手段】
【００１５】
上記課題を解決するため、本発明による画像符号化装置は、領域処理部、画面内予測部、及びエントロピー符号化部を備える。領域処理部は、ピクチャ内の領域判定を行う領域判定部と、領域情報を圧縮して符号化する領域符号化部を有する。画面内予測部では、符号化対象画素の近傍の画素を基に符号化対象画素を予測し、その予測誤差画像を生成する。この画面内予測部では、領域情報を基に近傍の画素がどの領域に属するかを判別し、必要に応じて領域境界付近での画面内予測に適用する予測パラメータを修正する機能を有する。
【００１６】
画像符号化装置が出力する符号化ストリームには、予測差分画像の情報とともに、領域単位で、予測パラメータ情報と、領域境界における予測パラメータの修正情報が格納される。この予測パラメータの修正情報は、領域全体に指定することが可能な上、個々の領域境界位置の画素に対して指定することが可能である。
【００１７】
エントロピー符号化部は、画面内予測部で得られた予測誤差画像をエントロピー符号化し、符号化ストリームに出力する。
【００１８】
本発明による画像復号化装置は、領域復号部、画面内予測部、エントロピー復号化部、及び画像生成部を備える。領域復号部は、符号化ストリーム中の領域情報を復号し、ピクチャ内の領域分割情報を取得する。画面内予測部は、領域復号部で得られた領域分割情報と、領域毎に符号化された予測パラメータ、及び予測パラメータ修正情報を基に画面内予測を行い、予測画像を生成する。エントロピー復号化部は、符号化ストリーム中の予測誤差画像を復号化する。画像生成部は、予測画像と予測誤差画像とを加算し、最終的な復号画像を生成する。
【００１９】
本発明による画像符号化方法は、ピクチャ内の領域を判定して領域に分割し、ピクチャ内の画面内予測を行う際、領域分割情報を基に、予測に用いる近傍画素がどの領域に属するかを判別し、必要に応じて領域境界での予測パラメータを修正する。
【００２０】
本発明による画像復号化方法は、画面内予測画像を生成するために、符号化ストリームから領域分割情報を取得し、領域毎に符号化ストリームに格納される予測パラメータを用いた領域内の画素の画面内予測を行い、領域境界付近の画素に対しては、符号化ストリームに格納される予測係数修正情報を基に、画面内予測に適用する予測パラメータを修正して予測画像を生成する。
【００２１】
さらなる本発明の特徴は、以下本発明を実施するための最良の形態および添付図面によって明らかになるものである。
【発明の効果】
【００２２】
本発明によれば、領域境界付近の画素の画面内予測の精度を向上させることができ、領域分割をともなう画像符号化時の圧縮率を向上させることができるようになる。
【図面の簡単な説明】
【００２３】
【図１】本発明の実施形態による画像符号化装置の概略構成を示す図である。
【図２】領域処理部の内部構成例を示す図である。
【図３】領域処理部における領域分割処理を説明するための図である。
【図４】領域処理部における領域の境界追跡処理と境界画素の符号化方法を説明するための図である。
【図５】複数の領域の包含関係を示す図である。
【図６】画面内予測部における処理を説明するためのフローチャートである。
【図７】画面内予測部における予測方法を説明するための図である。
【図８】領域内の予測係数を決定する処理を説明するための図である。
【図９】領域境界付近での予測係数の修正判定処理を説明するための図である。
【図１０】領域境界付近での予測処理を説明するための図である。
【図１１】領域内の内側の境界付近での予測係数の修正処理を説明するための図である。
【図１２】符号化ストリームの構成例を示す図である。
【図１３】本発明の実施形態による画像復号化装置の概略構成を示す図である。
【図１４】領域復号部における領域画像の復元処理を説明するための図である。
【発明を実施するための形態】
【００２４】
本発明は、画面内予測方式を用いて符号化対象画素の予測を行う際、領域境界である輪郭線の近辺での予測精度を向上させ、予測誤差の情報量が小さくし、符号化効率の低下を防止するための技術に関する。本発明は、特にロスレス画像符号化に適しているが、ロッシー符号化にも適用可能である。
【００２５】
以下、添付図面を参照して本発明の実施形態について説明する。ただし、本実施形態は本発明を実現するための一例に過ぎず、本発明の技術的範囲を限定するものではないことに注意すべきである。また、各図において共通の構成については同一の参照番号が付されている。
【００２６】
＜画像符号化装置の構成＞
図１は、本発明の実施形態による画像符号化装置の概略構成を示す図である。当該画像符号化装置は、領域分割に基づく画面内予測を用いて画像符号化を行うものであり、Ｘ線ＣＴやＭＲＩなどの画像診断装置のみならず、ＳＥＭ画像、衛星画像や航空写真等、領域分割による符号化効率の向上が期待できる画像に対しても有効である。
【００２７】
図１において、画像符号化装置１００は、装置全体の制御を行う符号化制御部１０１と、入力画像１０７を解析して１以上の領域に分割し、分割領域に関する領域情報１０８を生成する領域処理部１０２と、予測パラメータ１１４を用いて所定単位（例えば、画素単位やブロック単位）で画面内予測を行い、予測画像１０９を生成する画面内予測部１０３と、入力画像１０７と予測画像１０９との予測誤差画像１１０を生成する差分器１０６と、予測誤差画像１１０をエントロピー符号化し、予測誤差画像情報（符号化画像情報）１１１を生成するエントロピー符号化部１０４と、領域情報１０８、予測情報１１４及び予測誤差画像情報１１を統合（多重化）して符号化ストリーム１０１２を生成するストリーム生成部１０５と、を備えている。
【００２８】
なお、本実施形態による画像符号化装置１００では、画面内予測のみを実行する構成となっているが、画面内予測と画面間予測の効率の良い方（符号量の少ない方）を選択するような構成としても良い。この場合、何れを選択するかは、例えば、画面内予測による符号量と画面間予測による符号量を比較して決定する方法が考えられる。
【００２９】
また、図示してはいないが、図１の各ブロック間には必要に応じて演算タイミングを合わせるための遅延器が適宜設けられている。
【００３０】
＜領域処理部の処理内容＞
以下、図２から図４を参照して、領域処理部１０２の処理内容について詳細に説明する。
【００３１】
図２は、領域処理部１０２の内部構成を示す図である。図２で示されるように、領域処理部１０２は、領域分割部２００と領域情報符号化部２０１とを有している。領域分割部２００は、入力画像１０７を解析してピクチャ内の領域分割を行う。図３を参照して、領域分割部２００における処理例を説明する。
【００３２】
図３は、入力画像を多値化（同図では４値化）することで領域分割する例を示す図である。図３（ａ）は、画像内の各画素の分布（ヒストグラム）を示す図であり、同図では、３個の閾値ｔ１，ｔ２，ｔ３により、画素値を区間［ｔｉ，ｔｉ＋１］（ｉ＝１，２，３）にある画素が１つのクラスに分類されている。この閾値を自動的に選択するアルゴリズムの一例しては、以下に示すような反復法が挙げられる。
【００３３】
（ステップ１）３個の閾値の初期値を等間隔に選ぶ。このとき、ｔ１とｔ３はそれぞれ、画素値の最小値、最大値＋１とし、画素値を区間［ｔｉ，ｔｉ＋１］（ｉ＝１，２，３）にある画素を１つのクラスに分類する。
【００３４】
（ステップ２）各クラスの画素値の平均値Ｍｉ（ｉ＝１，２，３）を求める。
【００３５】
（ステップ３）次式により隣り合うクラスの平均値間の中点を新たに閾値とする。
ｔｉ＝（Ｍｉ＋Ｍｉ＋１）／２    （ｉ＝１，２，３）
【００３６】
（ステップ４）閾値に変化がなければ終了。変化があればステップ２へジャンプする。
【００３７】
図３（ｂ）は、以上の方法によって選択された閾値に基づいて画像を４値化した結果の例を示している。同図に示されるように、分けられた４つのクラスをそのまま４つの領域として定義してもよいし、同じクラスに分類されていても、連結していない領域であれば、別々の領域として分けてもよい。図３（ｂ）では、４値化により同じクラスに分類されている領域Ｒ１と領域Ｒ５とを別々の領域として定義している。画像の連結性の判定については、本願では記載を省略するが、例えば非特許文献１に示されている方法を用いることが可能である。なお、もし小さな領域であればその領域を消去してもよいし、４値化画像全体に対してメジアンフィルタをかけることで雑音を除去するなどの処理を行っても構わない。
【００３８】
このようにして、領域Ｒ１からＲ５を決定すると、領域分割部２００は、４値化された画像の個々の画素値に対して、領域Ｒ１からＲ５のどの領域に属するかのラベル情報を付与する。このラベル情報は、符号化処理の際に用いられる。以下、この領域のラベル情報が付与された画像を領域画像と記す。
【００３９】
領域分割部２００が生成した領域画像１１３は、このままでは情報量が多いため領域情報符号化部２０１において符号化領域情報１０８に符号化される。
【００４０】
図４は、領域情報符号化部２０１における領域情報の符号化処理を説明するための図である。本発明の実施形態による領域情報符号化部２０１は、領域画像１１３で与えられる領域Ｒ１〜Ｒ５の境界追跡を行う。以下に、一例として領域Ｒ２の境界追跡アルゴリズムを示す。
【００４１】
（ステップ１）領域画像１１３をラスタ走査し、左側にＲ２以外の画素が隣接する最初のＲ２画素を探索し、これを境界追跡の開始点Ａ１とする。ただし既に追跡済みの画素は無視してラスタ走査を続行する。また、Ａ１の周囲全てがＲ２以外であれば、これを無視してラスタ走査を続行する。
【００４２】
（ステップ２）境界画素Ａｎの８つの近傍において、直前の境界画素Ａｎ−１から順に反時計回りに画素の領域ラベルを調べ、最初に現れるＲ２の画素を、次の境界画素Ａｎ＋１とする（図４（ａ）参照）。ある境界画素Ａｍが開始点Ａ１と一致したら、一本の境界追跡を終了してステップ１へ戻る。Ａ１〜Ａｍが１本の境界となる。
【００４３】
図４（ｂ）は、このアルゴリズムによって求められた一本の境界追跡の例を示している。なお、追跡の途中で各境界画素Ａｎには追跡済みのマークを付しておく。ただし、追跡した境界が他の境界に内包される場合には、この境界を除外する（図３（ｂ）における領域Ｒ２の内側の境界）。
【００４４】
以上のように、境界追跡を全ての領域（ただしＲ１は領域外として設定すれば除外できる）に対して行うことで、個々の領域の境界線を得ることができる。
【００４５】
続いて、領域情報符号化部２０１は、個々の境界線を符号化する。この符号化方法の一例としてはチェーンコードによる符号化方法がある。このチェーンコードによる符号化方法は、図４（ｂ）で示されるような境界線情報を、開始点Ａ１の座標値の情報と、開始点から再度その開始点に戻るまで順次継続する境界画素の方向を図４（ｃ）に従って表したコードとにより符号化するものである。このようにチェーンコードを用いることにより、境界画素Ａ１〜Ａｍを座標系列で直接表現する場合よりも、領域情報の情報量を小さくすることができる。
【００４６】
上記の境界追跡では、領域の内部の境界情報は保持していない。この理由としては、図３（ｂ）において、例えば領域Ｒ２の内側の境界は領域Ｒ３の外側の境界と等しいため、領域Ｒ２として外側と内側の境界情報を持つことは冗長なためである。
【００４７】
この場合、図５に示すように、Ｒ２の外側の境界線は、Ｒ３の外側の境界線を完全に内包し、Ｒ３の外側の境界線は、Ｒ４とＲ５の境界線を内包する。このようにある境界線の内部が他の境界線内部と完全、もしくは一部が重なるような場合は、各々の境界線に対して優先レベル情報を付与し、これも符号化しておく。
【００４８】
図５の例では、優先レベルがＲ２＜Ｒ３＜Ｒ４＝Ｒ５となるように設定しておく。こうすることで同図中の点Ａは、３つの領域Ｒ２、Ｒ３、Ｒ４の内部であるが、最も優先レベルの高い領域Ｒ４内部の画素として扱われる。同様に点Ｂは領域Ｒ３内部の画素として扱われ、図３（ｂ）の領域画像と等価の情報が保持することができる。
【００４９】
以上で述べた、各領域の境界線情報と個々の境界線の優先レベル情報とが、符号化領域情報１０８として領域情報符号化部２０１から出力される。
【００５０】
＜画面内予測部の処理内容＞
次に本発明の実施形態による画面内予測部１０３の処理内容について説明する。画面内予測部１０３は、ピクチャ内の各対象画素を、その周辺の画素を用いて予測することにより予測画像１０９を生成する。
【００５１】
（１）処理全体の概要
図６は、画面内予測部１０３の全体の処理の概要を説明するためのフローチャートである。
【００５２】
まず、画面内予測部１０３は、領域画像１１３で示される各々の領域（例えば、Ｒ１乃至５）について、画面内予測処理を行っていない領域の有無を判定し（ステップＳ６１）、未処理領域があれば、この領域を処理対象として選択する（ステップＳ６２）。未処理領域がなければ、処理はステップＳ６５に移行する。
【００５３】
そして、ステップＳ６２で選択された領域に対して、画面内予測部１０３は、領域内の画面内予測を行うための予測係数を１つ決定する（ステップＳ６３）。次に、得られた予測係数を用いて、画面内予測部１０３は、予測の際に領域の境界を跨ぐ画素に対して、決定された予測係数を修正するかしないかの判定を行う（ステップＳ６４）。なお、予測係数は領域毎に割り当てられる。
【００５４】
そして、全ての領域について予測係数の決定及び修正処理が完了すれば（ステップＳ６１でＮｏの場合）、画面内予測部１０３は、当該予測係数を用いて予測画像を生成する（ステップＳ６５）。
【００５５】
（２）予測係数決定処理（ステップＳ６３）の詳細
ステップＳ６３における領域内の予測係数（予測パラメータ）の決定処理について以下に説明する。
【００５６】
図７は、対象画素の予測方法の一例を示す図である。同図中、Ｘは符号化対象画素、Ｘ０からＸ５は符号化対象画素の予測に用いる周辺画素であり、Ｘの予測値Ｐは予測係数α０〜α５による線形和によって得られる。
【００５７】
画面内予測部１０３は、領域画像１１３で示される各々の領域に対し、領域内の画素を、ラスタ走査順に従って選択し、上記の予測係数を決定する。予測係数の決定方法の例とて、最小２乗法を用いる方法がある。
【００５８】
図８は予測係数を決定する方法を説明するための図である。最小２乗法により、領域内で１組の最適な係数を決定するため、領域内の任意の代表画素ＳをＮ個選択する（図８（ａ）参照）。このとき、予測誤差の評価値ｅは、図８（ｂ）によって与えられる。この評価値ｅを最小とするような係数を最小２乗法により決定する。本願では、最小２乗法を効率よく計算する算法についての記述は省略するが、例えば非特許文献２に紹介されている方法を用いることが可能である。
【００５９】
なお、上記の代表画素Ｓの個数Ｎは、これを大きくするほどより適切な予測係数を決定できるが、演算量が増すことを考慮した上で、適切な値を予め決めておくとよい。もしもＮに比べて領域内の画素数が多い場合には、別の代表画素Ｓを選択して上記計算を行うことを繰り返し、繰り返しにより得られた予測係数の平均値をとることで、領域の予測係数としてもよい。
【００６０】
（３）予測係数の修正判定処理（ステップＳ６４）の詳細
次に、ステップＳ６４における、領域境界の予測係数の修正判定処理について説明する。ステップＳ６４における処理は、以下のような流れで実行される。
【００６１】
（ステップ１)  予測係数修正の判定に用いる画素を選択する。これには領域情報１０８を用いて、選択された領域画素領域の境界画素を選択する。ここで選択する画素は、境界画素全てを選択してもよいし、処理量削減のため、外側境界画素のうちのいくつかのみを代表画素として選択してもよい（図９参照）。
【００６２】
（ステップ２）  選択された外側境界画素に対して、ステップＳ６３で決定された予測係数を基に、以下の２つの方式で予測値Ｐを算出し、予測誤差Ｅ＝Ｘ−Ｐが小さい方をマーキングする。
【００６３】
方式１：予測係数を修正して予測を行い、予測値Ｐを算出する。係数の修正方法はあらかじめ定めておくものとする。例えば、境界画素の周辺画素Ｘ０からＸ５のうち、境界を跨ぐ画素数をＮｏｕｔとすると、境界内の画素に対応する予測係数を６／（６−Ｎｏｕｔ）倍する、という方法がある。図１０に示す例では、境界画素Ｘに対して境界を跨ぐ画素はＸ１、Ｘ３、Ｘ５の３個であるので、Ｎｏｕｔ＝３となる。このため境界内の画素Ｘ０、Ｘ２、Ｘ４に対応する予測係数α０、α２、α４をそれぞれ２倍（＝６／（６−３））する。
【００６４】
方式２：予測係数を修正せず（ステップＳ６３で求めた予測係数を用いる）に予測を行い、予測値Ｐを算出する。
【００６５】
（ステップ３）ステップ１で選択した画素のうち、未処理の画素があればステップ２を実行する。未処理の画素がなければ、（すなわちステップ１で選択した全ての画素についてステップ２を実行済み）、多くマーキングされた方の方式を、領域境界での予測係数修正方法（ルール）として決定する（多数決で決定）。
【００６６】
（ステップ４）領域情報１０８が示す選択領域の境界のうち、未処理の領域境界があれば、ステップ１にジャンプする。全ての領域境界について処理が行われていれば、予測係数の修正判定処理を終了する。
【００６７】
（４）予測画像生成処理（ステップＳ６５）の詳細
次に、ステップＳ６５における予測画像生成処理について説明する。ステップＳ６５では、ピクチャ内の符号化対象画素をラスタ走査順に選択し、ステップＳ６３にて決定した予測係数を用いて予測画素値Ｐを算出し、基本的にこれを予測画素とする。
【００６８】
ただし、符号化対象画素の予測に用いる周辺画素が領域境界を跨る場合、その領域境界がその領域における外側の境界であるか、内側の境界であるかに応じて以下の２つの処理のいずれかを行う。
【００６９】
（処理１：外側の領域境界の場合）
ステップＳ６４で決められた予測係数の修正判定ルールを用いる。すなわち予測係数の修正を行う場合には、予め定めたルールに従って予測係数を修正して予測画素値Ｐを算出する。
【００７０】
（処理２：内側の領域境界の場合）
予測に用いる周辺画素のうち領域を跨っている画素（例えば、Ｘ１及びＸ２）を含む領域（例えば、領域１及び２）の領域情報１０８に含まれる、その画素（Ｘ１及びＸ２）を含む境界の情報に基づいて、ステップＳ６４で決められた予測係数の修正判定を参照し、予測係数を修正する。具体的には次のような処理が行われる。
【００７１】
図１１は、処理２における予測係数の修正の例を示す図である。符号化対象画素Ｘが符号化対象領域の内側の境界上にある場合、この境界において予測係数修正の有無の判定は、同図中、領域１と領域２の処理として行われていることになる。予測に用いる画素のうち、Ｘ２は領域１に属し、領域１（当該境界は、領域１から見て外側の境界に相当する）においては「予測係数修正有り」と判定されているとする。また、Ｘ１、Ｘ３、及びＸ５は領域２に属し、領域２（当該境界は、領域２から見て外側の境界に相当する）においては「予測係数修正無し」と判定されているとする。このとき、Ｘ０からＸ５の予測係数のうち、予測係数の修正を行う画素はＸ２の１個の係数となるので、その画素は領域３の画素を予測するために用いるには不適切とされ、ステップＳ６４のステップ２で述べた方法と同様に、予測修正を行わない画素に対応する予測係数（Ｘ２以外の５つ）を６／５倍（＝６／（６−１））する。
【００７２】
すなわち、領域情報符号化部２０１の処理の説明で述べたように、符号化対象画素Ｘが属する領域境界がその領域の外側の境界に相当すれば、その境界画素の情報がその領域の情報として符号化されており、上述の予測係数の修正を行うか否かの判定が行われていることになる。一方、領域境界がその領域の内側の境界に相当すれば、その境界画素の情報は、その領域の情報としては符号化されておらず、別の領域の境界画素として符号化されて、その予測係数の修正の有無が判定されていることになる。よって、符号化対象画素の属する領域の境界が、その領域の外側の境界であるか内側の境界であるかによって上述のような処理を行うことで、領域内の全ての境界近辺の画素に対して、予測係数の修正の有無を設定することが可能となる。
【００７３】
以上に述べたように、ステップＳ６１からステップＳ６５の処理を実行することにより、画面内予測部１０３において予測画像１０９を生成することができる。上述した個々の領域における予測係数情報と予測係数の修正情報は、予測パラメータ１１４としてストリーム生成部１０５へ送られる。
【００７４】
＜符号化ストリーム生成処理について＞
差分器１０６は、入力画像（画素）１０７と予測画像（画素）１０９との差分を取り、予測誤差画像（残差）１１０を生成する。なお、図１には示されていないが、対象画素のタイミングを合致させるため、入力画像１０７を遅延するための遅延器が画像入力部と差分器１０６との間に設けられていることは言うまでもない。
【００７５】
そして、エントロピー符号化部１０４は、当該予測誤差画像１１０をエントロピー符号化し、予測誤差画像情報１１１を生成する。このエントロピー符号化の例としては、ゴロム符号、ハフマン符号等の可変長符号や、算術符号化などが挙げられる。なお、本発明は、エントロピー符号化とは直接的には関連しないため、詳細の説明は省略する。
【００７６】
さらに、ストリーム生成部１０５は、領域処理部１０２からの符号化領域情報１０８と、各領域の予測パラメータ（予測係数情報及び予測係数の修正情報）１１４と、予測誤差画像情報１１１とを統合（多重化）し、符号化ストリーム１１２を生成する。
【００７７】
図１２は、符号化ストリーム１１２の例を示す図である。符号化ストリーム１１２は、例えば、画像基本情報と、領域数Ｎの情報と、各領域の情報である領域情報と、予測誤差画像情報と、から構成される。画像基本情報には、画像サイズ等の基本的情報が格納される。領域数Ｎには後続する領域情報の数が格納される。領域情報には、領域形状情報と、その領域内の画面内予測時に適用される予測係数情報とが格納される。領域形状情報には、その領域を形成する境界情報の数Ｍと、個々の境界情報（例としては上述した境界画素系列のチェーンコードとその境界の優先レベル）、個々の境界に対して予測係数を修正するか否かを示す係数修正情報との組が、Ｍ個格納される。
【００７８】
以上により、画像符号化装置１００では、領域境界付近の画素の画面内予測の予測パラメータの修正情報を符号化ストリームに格納することができ、その予測精度を向上させることができるので、領域分割をともなう画像符号化時の圧縮率を向上させることができる。
【００７９】
＜画像復号化装置の構成＞
続いて、本発明の実施形態による、上述の画像符号化装置により生成された符号化ストリームを復号する画像復号化装置について説明する。
【００８０】
図１３は、本発明の実施形態による画像復号化装置の概略構成を示す図である。画像復号化装置１３００は、装置全体の制御を行う復号制御部１３０１と、符号化ストリーム１３０７を解析し、符号化領域情報１３０８（係数修正情報も含まれる）と、予測係数情報１３１１（予測パラメータ１１４の予測係数情報に相当）と、予測誤差画像情報１３１３（予測誤差画像情報１１１に相当）に分離するストリーム解析部１３０６と、符号化領域情報１３０８を復号化して領域情報１３０９を生成する領域復号部１３０２と、既に生成された復号画像１３１５と予測係数情報１３１１と符号化領域情報１３０８に含まれる係数修正情報とを用いて予測画像１３１２を生成する予測画像生成部１３０３と、予測誤差画像情報１３１３を復号化して予測誤差画像１３１４を生成するエントロピー復号化部１３０４と、予測画像１３１２と予測誤差画像１３１４とを加算して復号画像１３１５を生成する加算器１３０５と、を備えている。なお、本実施形態では、復号画像１３１５は復号画素情報（ブロック単位で処理する場合は復号ブロック情報）であるので、１フレームを構成するためには１フレーム分の復号画素情報を蓄積し、１フレーム画像として出力する画像構成処理部（例）が必要となる。この画像構成処理部は画像復号化装置１３００内に設けても良いし、画像復号化装置１３００外に設けても良い。
【００８１】
＜各処理部の動作の詳細＞
図１４は、領域復号部１３００による領域復号処理を説明するための図である。ストリーム解析部１３０６は、符号化ストリーム１３０７を解析して符号化領域情報１３０８を抽出し、それを領域復号部１３００に提供する。符号化ストリーム１３０７の構成としては、例えば図１２で述べたような例が挙げられるので説明は省略する。
【００８２】
符号化領域情報１３０８には、個々の領域を形成する境界情報が格納されており、この境界情報は、開始画素座標情報と、図１０で述べたような個々の境界を示すチェーンコードと、領域の優先レベルの情報と、を含んでいる。以下、この境界を示すチェーンコードから領域情報１３０９を復元する方法の一例について説明する。
【００８３】
（ステップ１）境界を構成する画素のうち、図１４（ａ）に示すような条件を満たす左エッジと、図１４（ｂ）に示すような条件を満たす右エッジを求める。すなわち左エッジとは、直前の境界画素が左上、上、右上、右のいずれかにあり、次の境界画素が左下、下、右下、右のいずれかにある境界画素である。右エッジとは、直前の境界画素が左、左下、下、右下のいずれかにあり、次の境界画素が左上、上、右上、左のいずれかにある境界画素である。
【００８４】
（ステップ２）開始画素の座標を基準とし、左エッジと右エッジの間を、その領域内画素としてラベリングする（図１４（ｃ））。
【００８５】
以上の処理により、境界画素を示すチェーンコードから、その境界画素に囲まれる領域内の画素を復元できる。上記のような処理を、全ての領域に対して、その境界線の優先レベルが低い順に行い、優先レベルの高い領域の画素のラベルにより、優先レベルの低い領域の画素のラベルを上書きする。以上の処理により、領域情報１３０９を復元される。
【００８６】
予測画像生成部１３０３は、予測係数情報１３１１と、符号化領域情報１３０８に含まれる係数修正情報と、領域情報１３０９と、既復号画像１３１５に基づいて、予測画像１３１２を生成する。予測画像生成部１３０３における処理は、符号化処理における画面内予測部１０３内の予測画像生成ステップＳ６５（図６）と同様のため、説明は省略する。
【００８７】
エントロピー復号部１３０４は、符号化ストリーム１３０７内の予測誤差画像情報１３１３を復号化して予測誤差画像１３１４を復元する。
【００８８】
予測画像１３１２と予測誤差画像１３１４とは、加算器１３０５において加算され、復号画像１３１５が生成され、出力される。この復号画像１３１５は、画面内予測処理に用いるため、予測画像生成部１３０３にも提供される。
【００８９】
以上により、画像復号化部１３００では、画像復号化装置１００に作成された符号化ストリーム１３０７を復号することができる。
【００９０】
以上に述べたように、本実施例による画像復号化装置では、画像復号化装置１００に作成された、領域境界での予測係数の修正に関する情報を含む符号化ストリーム１３０７を復号することが可能となる。
【００９１】
＜まとめ＞
本実施形態では、画面内予測の際に、１フレームを、特徴を同一にする領域に分割して得られた複数の領域のそれぞれに対して予測パラメータを生成する。そして、符号化に用いる周辺画像情報が符号化対象画像情報の属する領域と同じ領域にある場合には、生成した予測パラメータを用いて前記予測画像情報を生成する。一方、周辺画像情報が符号化対象画像情報の属する領域（第１の領域）とは異なる領域（第２の領域）に属する場合には、第２の領域に属する周辺画像情報が符号化効率（予測）に与える影響をより小さくするためには予測パラメータの修正が必要か否か判定し、当該判定結果に基づいて、予測パラメータ（修正不要と判定された場合）或いは修正予測パラメータ（修正要と判定された場合）を用いて予測画像情報を生成する。このようにすることにより、領域境界部の画素の予測精度を向上させることができ、ロスレス符号化においても符号化効率を改善することができる。
【００９２】
なお、画面内予測部は、第１の領域と第２の領域の境界が第１の領域の外側の領域か内側の領域かによって予測パラメータの修正について異なる方法を採用する。つまり、当該境界が外側の境界の場合、第１の領域内にある周辺画像情報の予測パラメータを、（予測に用いる周辺画像情報の個数）／（予測に用いる周辺画像情報の個数−第２の領域内の周辺画像情報の数）倍して予測パラメータを修正し、当該修正予測パラメータを用いて予測画像情報を生成した場合と、修正前の前記予測パラメータを用いて予測画像情報を生成した場合とを比較し、何れの予測誤差が小さいかに基づいて予測パラメータの修正の必要性の有無を判定する。また、境界が内側の境界の場合、第２の領域における予測パラメータの修正の有無の情報に基づいて、符号化対象画像情報の予測パラメータの修正方法を決定する。このように、境界が第１の領域の外側の境界か内側の境界かによって予測パラメータの修正方法を異ならしめることにより、境界に付近における画素の符号化をより効率よく実行することができる。
【００９３】
また、予測パラメータを修正して予測画像情報を生成する場合、予測パラメータを修正することを示す係数修正情報を統合して符号化ストリームを生成するようにしても良い。このようにすることにより、復号化処理の際に、係数修正情報に従って予測画像を生成すればよいので、復号化処理を効率よく実行することができる。
【００９４】
さらに、複数の領域の各境界について、開始点の座標情報と、当該開始点から継続する境界の方向の情報をコード化（チェーンコードを用いる）して領域境界情報を生成する。このようにすることにより、境界画素の座標情報をストリーム化して伝送する必要がないので、符号化ストリームの情報量を削減することができる。また、開始点の画素からチェーンコードにしたがって境界を特定できるので、境界の再現の処理が簡単である。
【００９５】
復号化のときの画面内予測の際にも同様に、周辺画像情報が復号化対象画像情報の属する領域と同じ領域にある場合には、予測パラメータを用いて予測画像情報を生成する。一方、周辺画像情報が復号化対象画像情報の属する領域（第１の領域）とは異なる領域（第２の領域）に属する場合には、異なる領域に属する周辺画像情報が予測に与える影響をより小さくするためには予測パラメータの修正が必要か否か判定し、当該判定結果に基づいて、予測パラメータ或いは修正予測パラメータを用いて予測画像情報を生成する。これにより、領域を跨ぐ周辺画素を用いて効率よく符号化画像を復号化することが可能となる。
【００９６】
復号化処理の際には、符号化装置から送信されてきた、予測パラメータを修正することを示す係数修正情報を符号化ストリームから取得し、係数修正情報に基づいて予測パラメータを修正の必要性の有無を判定し、当該修正予測パラメータを用いて予測画像情報を生成するようにしても良い。このようにすることにより、復号化処理の際に、予測パラメータの修正の有無を判断する必要がなくなるので、効率よく復号化処理を実行することができるようになる。
【００９７】
なお、本発明は、実施形態の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をシステム或は装置に提供し、そのシステム或は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。
【００９８】
また、プログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータ上のメモリに書きこまれた後、そのプログラムコードの指示に基づき、コンピュータのＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。
【００９９】
また、実施の形態の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することにより、それをシステム又は装置のハードディスクやメモリ等の記憶手段又はＣＤ−ＲＷ、ＣＤ−Ｒ等の記憶媒体に格納し、使用時にそのシステム又は装置のコンピュータ（又はＣＰＵやＭＰＵ）が当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしても良い。
【符号の説明】
【０１００】
１００…画像符号化装置
１０１…符号化制御部
１０２…領域処理部
１０３…画面内予測部
１０４…エントロピー符号化部
１０５…ストリーム生成部
１０８…領域情報
１１３…領域画像
１１４…予測パラメータ
１３００…画像復号化装置
１３０１…復号化制御部
１３０２…領域復号部
１３０３…予測画像生成部
１３０４…エントロピー復号化部
１３０６…ストリーム解析部
１３０８…符号化領域情報
１３０９…領域情報
１３１１…予測係数情報
【図１】
2013034036.tif 000003
【図２】
2013034036.tif 000004
【図３】
2013034036.tif 000005
【図４】
2013034036.tif 000006
【図５】
2013034036.tif 000007
【図６】
2013034036.tif 000008
【図７】
2013034036.tif 000009
【図８】
2013034036.tif 000010
【図９】
2013034036.tif 000011
【図１０】
2013034036.tif 000012
【図１１】
2013034036.tif 000013
【図１２】
2013034036.tif 000014
【図１３】
2013034036.tif 000015
【図１４】
2013034036.tif 000016