(57)【要約】【課題】  復号化した場合の画像の劣化をより効果的に防止することができる画像処理装置を実現する。【解決手段】  本発明の画像処理装置は、画像情報を、複数のブロックに分割するブロック化部と、前記ブロック内における対象画素に、前記対象画素が参照する参照画素を表す複数の参照画素情報と、前記対象画素と前記参照画素との位置関係を表す位置情報と、を関連付けたマップ情報を取得するマップ情報取得部と、前記対象画素の画素値と前記参照画素の画素値とに基づいて、前記マップ情報に含まれる前記複数の参照画素情報のうち、１の参照画素情報を選択する参照画素情報選択部と、を含む。【選択図】  図１
2019149672.tif 000002
【特許請求の範囲】
【請求項１】
画像情報を、複数のブロックに分割するブロック化部と、
前記ブロック内における対象画素に、前記対象画素が参照する参照画素を表す複数の参照画素情報と、前記対象画素と前記参照画素との位置関係を表す位置情報と、を関連付けたマップ情報を取得するマップ情報取得部と、
前記対象画素の画素値と前記参照画素の画素値とに基づいて、前記マップ情報に含まれる前記複数の参照画素情報のうち、１の参照画素情報を選択する参照画素情報選択部と、
を含む画像処理装置。
【請求項２】
前記参照画素情報選択部は、前記参照画素の画素値に基づいて算出求められる画素値と前記対象画素の画素値との差分に基づいて、前記１の参照画素情報を選択する請求項１記載の画像処理装置。
【請求項３】
前記対象画素が参照する参照画素の数が複数である請求項１または２記載の画像処理装置。
【請求項４】
前記参照画素の画素値に基づいて算出される画素値は、前記複数の参照画素の画素値を前記複数の参照画素と対象画素との距離に基づき算出する請求項３記載の画像処理装置。
【請求項５】
前記マップ情報取得部は、複数のマップ情報を取得し、
前記画像処理装置は、更に、
前記参照画素情報選択部により選択された参照画素情報に基づいて算出される画素値で置換した置換ブロックと、置換前のブロックとに基づいて、前記複数のマップ情報のうち１のマップ情報を選択するマップ選択部を含む請求項１乃至３のいずれかに記載の画像処理装置。
【請求項６】
前記各マップ情報は、前記対象画素以外の画素の画素値を量子化するビット幅を表すビット幅情報を含み、
前記画像処理装置は、さらに、
前記選択されたマップ情報に基づき、前記ブロックを量子化する量子化部を含む請求項５に記載の画像処理装置。
【請求項７】
前記ビット幅情報は、前記マップ情報に含まれる前記対象画素の個数に基づいて異なることを特徴とする請求項６記載の画像処理装置。
【請求項８】
前記量子化部は、前記ブロック内の画素の画素値のうちの第１の値と第２の値とに基づいて量子化する請求項７に記載の画像処理装置。
【請求項９】
前記第１の値は前記ブロック内の画素の画素値のうちの最大値であり、前記第２の値は前記ブロック内の画素の画素値のうちの最小値である請求項８に記載の画像処理装置。
【請求項１０】
前記画像処理装置は、更に、
前記各画素の各色の第１の値と第２の値とに基づくレンジ比に基づいて、前記各色のビット配分を決定して、前記各色にビット配分するビット配分部を有する請求項１乃至９のいずれかに記載の画像処理装置。
【請求項１１】
画像情報を、複数のブロックに分割し、
前記ブロック内における対象画素に、前記対象画素が参照する参照画素を表す複数の参照画素情報と、前記対象画素と前記参照画素との位置関係を表す位置情報と、を関連付け
たマップ情報を取得し、
前記対象画素の画素値と前記参照画素の画素値とに基づいて、前記マップ情報に含まれる前記複数の参照画素情報のうち、１の参照画素情報を選択する、
画像処理方法。
【請求項１２】
画像情報を、複数のブロックに分割するブロック化部、
前記ブロック内における対象画素に、前記対象画素が参照する参照画素を表す複数の参照画素情報と、前記対象画素と前記参照画素との位置関係を表す位置情報と、を関連付けたマップ情報を取得するマップ情報取得部、
前記対象画素の画素値と前記参照画素の画素値とに基づいて、前記マップ情報に含まれる前記複数の参照画素情報のうち、１の参照画素情報を選択する参照画素情報選択部と、としてコンピュータを機能させる
画像処理装置プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及び画像処理プログラムに関する。
【背景技術】
【０００２】
画像の符号化技術として、特許文献１に開示されているように、３ＤＣＧ用のテクスチャ符号化技術として、Ｓ３ＴＣ（Ｓ３  Ｔｅｘｔｕｒｅ  Ｃｏｍｐｒｅｓｓｉｏｎ、ＤＸＴＣとも呼ばれる）が知られている。ここで、Ｓ３ＴＣにおいては、画像情報を４×４のブロックに分割する。次に、ブロック毎に２の代表色とその代表色の間で２の中間色を設定し、画素毎にこれら４色で置き換える（置換画像）。具体的には、４色のうちどの色を使ったのか示すインデックス情報として記憶する。上記構成により、ブロック毎に、代表色とインデックス情報を保持することにより、上記置換画像を再現することができる。このようにして、画像情報を圧縮することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２００１−５１９６０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、画像によっては、復合化した場合、画像の劣化の程度が大きくなることがある。かかる課題に鑑みて、従来技術に比較して本発明は、復号化した場合の画像の劣化を防止することができる画像処理装置を実現することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の画像処理装置は、画像情報を、複数のブロックに分割するブロック化部と、前記ブロック内における対象画素に、前記対象画素が参照する参照画素を表す複数の参照画素情報と、前記対象画素と前記参照画素との位置関係を表す位置情報と、を関連付けたマップ情報を取得するマップ情報取得部と、前記対象画素の画素値と前記参照画素の画素値とに基づいて、前記マップ情報に含まれる前記複数の参照画素情報のうち、１の参照画素情報を選択する参照画素情報選択部と、を含む。
【０００６】
本発明の画像処理方法は、画像情報を、複数のブロックに分割し、前記ブロック内における対象画素に、前記対象画素が参照する参照画素を表す複数の参照画素情報と、前記対象画素と前記参照画素との位置関係を表す位置情報と、を関連付けたマップ情報を取得し、前記対象画素の画素値と前記参照画素の画素値とに基づいて、前記マップ情報に含まれる前記複数の参照画素情報のうち、１の参照画素情報を選択する。
【０００７】
本発明の画像処理装置プログラムは、画像情報を、複数のブロックに分割するブロック化部、前記ブロック内における対象画素に、前記対象画素が参照する参照画素を表す複数の参照画素情報と、前記対象画素と前記参照画素との位置関係を表す位置情報と、を関連付けたマップ情報を取得するマップ情報取得部、前記対象画素の画素値と前記参照画素の画素値とに基づいて、前記マップ情報に含まれる前記複数の参照画素情報のうち、１の参照画素情報を選択する参照画素情報選択部と、としてコンピュータを機能させる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態にかかる画像処理装置の構成を説明する図である。
【図２】入力される画像情報の一例を示す図である。
【図３】ブロック化されたブロックの構成の一例示す図である。
【図４Ａ】マップ情報の一例を示す図である。
【図４Ｂ】マップ情報の他の一例を示す図である。
【図４Ｃ】マップ情報の他の一例を示す図である。
【図４Ｄ】マップ情報の他の一例を示す図である。
【図４Ｅ】マップ情報の他の一例を示す図である。
【図４Ｆ】マップ情報の他の一例を示す図である。
【図４Ｇ】マップ情報の他の一例を示す図である。
【図４Ｈ】マップ情報の他の一例を示す図である。
【図５】本発明の実施形態のフローの一例を示す図である。
【発明を実施するための形態】
【０００９】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示に過ぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００１０】
図１は、本発明の画像処理装置の構成の一例を示す図である。図1に示すように、本発
明の画像処理装置１１は、例えば、機能的に、ブロック化部１２、マップ情報取得部１３、参照画素情報選択部１４、マップ選択部１５、量子化部１６、記憶部１７、演算部１８および符号化部１９を含む。
【００１１】
また、上記画像処理装置１１は、ハードウェア構成としては、例えば、ＣＰＵ、ＭＰＵ等で構成される制御部を含み、記憶部１７に格納されたプログラムに従って動作する。なお、上記構成は一例であって、例えば、後述する図４Ｂに示すようなマップ情報（参照画素情報、位置関係に関する情報、ビット割り当て情報、モード情報等）を１のＬＳＩが保持するように構成してもよい。ブロック化部１２、マップ情報取得部１３、参照画素情報選択部１４、マップ選択部１５、量子化部１６、演算部１８および符号化部１９は、当該制御部によって実現される。記憶部１７は、例えば、ＲＯＭやＲＡＭ等の情報記録媒体で構成され、制御部によって実行されるプログラムを保持する情報記録媒体である。また、記憶部１７は、制御部のワークメモリとしても動作する。なお、当該プログラムは、例えば、ネットワークを介して、ダウンロードされて提供されてもよいし、または、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ、半導体メモリ等のコンピュータで読み取り可能な各種の情報記録媒体によって提供されてもよい。
【００１２】
ここで、画像処理装置１１に入力される画像情報は、例えば図２に示すように、画像情報Ｖｍｎが、水平方向Ｘ（図中左右方向）に対して画素情報がｍ個整列し、垂直方向Ｙ（図中上下方向）に対して画素情報がｎ個整列しているものとする（ｍ、ｎは自然数）。また、この画像情報は、例えば、ＲＧＢの各色から形成される。なお、当該画像情報は、ＲＧＢ以外にＹＵＶ等異なる形式の画像情報からから形成されてもよいが、下記においてはＲＧＢを例に説明する。
【００１３】
ブロック化部１２は、例えば図３に示すように、上記入力された画像情報を４×４行の１６画素Ｐ０〜Ｐ１５を含む複数のブロックに分割する。上記ブロックは、４×４行に限らず、複数の画素を含むものであれば、特に限定されるものではない。
【００１４】
上記ブロックにおける各画素の画素値は量子化部１６により量子化され、量子化ブロックが生成される。この量子化ブロックは記憶部１７に記憶される。
【００１５】
量子化部１６は、例えば、ブロックにおける画素の画素値に基づいて、画像情報のＲＧＢ各色における最大値、最小値を代表値として算出する。そして、当該ブロック内における各画素の画素値を、当該最大値と最小値との間を所定のビット幅（例えば１２ｂｉｔ）で表される複数の中間値で置換することにより量子化する。上記ブロックおよび量子化ブロックは、記憶部１７に記憶される。上記では、最大値と最小値を代表値としているが、これに限られない。
【００１６】
マップ情報取得部１３は、対象画素が参照する参照画素を表す複数の参照画素情報と、対象画素と参照画素との位置関係を表す位置情報と、を関連付けたマップ情報を取得する。具体的には、図４Ｂに示すマップ情報を用いて説明する。図４Ｂにおいて対象画素はＱ１乃至Ｑ４である。対象画素Ｑ１については、図４Ｂ右に示すように、参照画素としてＰ１、Ｐ４、Ｐ１とＰ１３、Ｐ４とＰ７が参照画素情報として関連づけられている。また、図４Ｂ左に示すように、各参照画素と対象画素の位置関係についても関連付けられている。更に、図４Ｂ右に示すように、参照画素情報毎（対象画素Ｑ１についてＰ１、Ｐ４、Ｐ１とＰ１３、Ｐ４とＰ７等）に、参照画素を直接参照するか、または、１：２で内分する等を表すモード情報が関連付けられている。なお、直接参照や内分する等の詳細については後述する。更に、マップ情報においては、対象画素のビット幅及び対象画素以外の画素のビット幅についても関連付けられている。なお、当該マップ情報は一例であって、マップ情報は上記構成に限られるものではない。
【００１７】
また、各マップ情報は、上記従来技術では、復号化した場合に画像の劣化の程度が大きい各画像に対応してあらかじめ設定されている。具体的には、例えば、コード６またはコード７で表されるマップ情報は、ブロック内の画素の色がグラデーションのように色が連続的に変化する場合、復号化した場合における画像の劣化の程度を抑制することができる。
【００１８】
参照画素情報選択部１４は、対象画素の画素値と参照画素の画素値に基づいて、１の参照画素情報を選択する。具体的には、上記対象画素Ｑ１の場合を例として説明する。Ｑ１については、上記のようにＰ１，Ｐ４、Ｐ１とＰ１３、Ｐ４とＰ７が関連付けられているので、それぞれの候補画素値を求める。より具体的には、例えば、図４Ｂの１行の参照画素情報については、モード情報として直接参照が関連付けられているので、候補画素値は、Ｐ１の画素値となる。同様に２行目の参照画素値については、Ｐ４の画素値となる。一方、３行目の画素値については、参照画素情報としてＰ１とＰ１３が関連付けられているので、対象画素Ｑ１と参照画素Ｐ１、Ｐ１３との距離に応じて、候補画素情報を求める。具体的には、Ｑ１とＰ１との距離およびＱ１とＰ１３との距離の比は、１：２の関係にあるので、Ｑ１の候補画素情報は、Ｐ１の画素値×２／３＋Ｐ１３の画素値×１／３より求める。４行目の参照画素値については、参照画素情報としてＰ４とＰ７が関連付けられているので、３行目の参照画素情報と同様にしてＰ４の画素値×２／３＋Ｐ７の画素値×１／３より参照画素値を求める。数式で表すと、参照画素値を算出する際の式は、Ｑ１とＰ１との距離およびＱ１とＰ１３との距離に応じた内分値は下記式で示される。
【００１９】
【数１】
2019149672.tif 000003
なお、上記参照画素値の求め方は、一例であってこの求め方に限られるものではない。
【００２０】
参照画素情報選択部１４は、さらに、参照画素値と上記参照画素値との差分を演算部１８に算出させ、その差分が最小である参照画素値に対応する参照画素を参照画素情報とし
て選択する。ここでは差分を算出して選択する例を示したが、これに限定されず、対象画素の画素値と参照画素値との誤差が小さくなる選択方法であれば他の方法であってもよい。例えば、上記差分値は近似した差分値を用いて算出する等である。
【００２１】
参照画素情報選択部１４は、図４Ｂに示される対象画素Ｑ２〜Ｑ４についても同様に参照画素情報を選択する。なお、図４Ｂ〜図４Ｈに示すマップ情報を取得した場合についても、上記と同様の処理を行うことから、説明を省略する。
【００２２】
マップ選択部１５は、マップ情報毎に参照画素情報選択部１４により選択された参照画素情報に基づいて算出される画素値で置換した置換ブロックと、置換前のブロックとに基づいて、上記複数のマップ情報のうち１のマップ情報を選択する。マップ選択部１５は、対象画素のそれぞれの参照画素情報が含まれるマップ情報に基づき、対象画素のそれぞれに対応する参照画素を求めた参照画素値で置換し、置換ブロックを取得する。マップ選択部１５は、得られた置換ブロックと、置換前のブロックとの差分を演算部１８に算出させ、差分が最小であるマップ情報を選択する。差分の算出方法は、直接差分を算出しても、近似値の差分を算出してもよく、特に限定されるものではない。ここでは差分を算出して選択する例を示したが、マップ情報を選択する際の方法は、これに限定されず、置換ブロックと、置換前のブロックとの誤差が少なくなる方法であればいかなる方法でもよい。
【００２３】
符号化部１９は、例えば、上記選択されたマップ情報（例えば、コード１）を量子化したデータと、選択されたマップ情報に対応する参照画素情報（例えば、Ｑ１の参照画素としてのＰ１を表す情報）を量子化したデータと、対象画素以外の画素値（例えば、Ｐ０）を量子化したデータ、上記最大値及び最小値を量子化したデータを符号化情報として出力する。ここで、上記のように、マップ情報にはビット割り当て情報が関連付けられているので、例えば、当該マップ情報に応じて、量子化部１６が参照画素情報や対象画素以外の画素値を量子化する。なお、上記最大値と最小値のデータに含まれる順序に応じて、ＲＧＢに基づくデータかＹＵＶに基づくデータかを判定するように構成してもよい。
【００２４】
本発明の画像処理装置は、更に、復号化部（図示なし）を備え、符号化された情報を復号化部にて復号化して、復号化された画像データを生成するように構成してもよい。
【００２５】
また、上記画像処理装置１１は、更に、画像情報が単色で構成されているか否かを判定する単色判定部を備えていてもよい。この場合、単色判定部は、上記ブロックのすべての画素が単色で表されるかを判定する。ブロック内の各画素が単色であると判定された場合は、ＲＧＢ各色独立で持っている最大値/最小値を共通にすることで、余ったビットを量
子化の際のビット幅に割り当ててもよい。例えば、図４Ａに示すようなコード０のマップ情報を用いて処理する。図４Ａに示すように、参照画素を持たないためブロックの情報を符号化の際にそのまま使用する。例えば、図４Ａに示すブロック内の画素Ｐ０〜１５に１２ｂｉｔのビット幅が割り当てられたブロックを用いる。なお、この場合においても、上記図４Ｂ乃至図４Ｈで示すマップ情報を用いて処理してもよい。また、単色の場合は１つの色で表現できるため、他色に対するビット幅の割り当てが不要となるので、余ったビット幅を更に、当該単色に割り当てるように構成してもよい。また例えば、各画素の値がＲとＧとＢ、ＲとＧが一定の範囲内で同じ場合においても単色と同様に扱うことができる。組合せはこれに限らない。単色判定を備える場合は、単色かを判別する付加ビットを符号データに追加することで復号化の際に判断することが可能である。
【００２６】
以下、本実施形態にかかる画像処理装置１１が実行する画像処理の流れの一例を図５に例示するフロー図を参照して説明する。
【００２７】
図５に示すように、画像処理装置１１に、画像情報が入力される（Ｓ１）。ブロック化
部１２は、上記入力された画像情報を４×４行の１６画素Ｐ０〜Ｐ１５を含む複数のブロックに分割する（Ｓ２）。ブロックにおける画素の画素値に基づいて、画像情報のＲＧＢ各色における最大値、最小値を代表値として算出する（Ｓ３）。
【００２８】
マップ情報取得部１３は、対象画素が参照する参照画素を表す複数の参照画素情報と、対象画素と参照画素との位置関係を表す位置情報と、を関連付けたマップ情報を取得する（Ｓ４）。参照画素情報選択部１４は、さらに、参照画素値と上記参照画素値との差分を演算部１８に算出させ、その差分が最小である参照画素値に対応する参照画素を参照画素情報として選択する（Ｓ５）。当該処理はマップ情報毎に行われる。
【００２９】
マップ選択部１５は、参照画素情報選択部１４により選択された参照画素情報に基づいて算出される画素値で置換した置換ブロックと、置換前のブロックとに基づいて、上記複数のマップ情報のうち１のマップ情報を選択する（Ｓ６）。
【００３０】
符号化部１９は、例えば、上記選択されたマップ情報（例えば、コード１）を量子化したデータと、選択されたマップ情報に対応する参照画素情報（例えば、Ｑ１の参照画素としてのＰ１を表す情報）を量子化したデータと対象画素以外の画素値（例えば、Ｐ０）を量子化したデータと、上記最大値及び最小値を量子化したデータを符号化情報として出力する（Ｓ７）。
【００３１】
上記実施の形態によれば、上記従来技術と比較して、復号化した場合の画像の劣化を防止することができる。
【００３２】
例えば、上記実施の形態において、更に、例えば、全体のビット数と、各色の最大値と最小値との差分の比（レンジ比、ｒ１≦ｒ２≦ｒ３）に基づいて、各色（ＲＧＢまたはＹＵＶ）のビット配分（ｂ１≦ｂ２≦ｂ３）を決定して、配分するように構成してもよい。この場合、例えば、下記表に示すように、コード毎にあらかじめ設定されたレンジ比とビット配分とを関係を表すビット配分情報を取得し、当該ビット配分情報に基づいて、各色にビット配分を決定する。なお、下記表は、ビット配分情報の一部の一例を示すものである。より具体的には、例えば、コード１の場合においては、画素情報のレンジ比（ｒ１、ｒ２、ｒ３）が（２、５、４０９６）の場合、ビット配分情報（２、４、４０９６）であり、ｒ２に対応する５は、ビット配分情報のｒ２に対応する４以上であることから、下記表の第１行のビット配分情報に基づき、（ｂ１、ｂ２、ｂ３）のビット配分を（１、２、１２）とする等である。なお、下記に示すビット配分情報は一例であって、下記に限定されるものではない。例えば、上記コードや各コードのグループ（コード１乃至４等）毎にあらかじめ設定してもよい。これにより、各ビット数で表現できる最大範囲をより等しくすることができる。なお、例えば、上記レンジ（ｒ１等）が０にならないように、各レンジに１を加算するように構成してもよい。また、Ｙは重みを増すために３倍に重みづけするように構成してもよい。さらに、Ｇはタイブレーク打破のために１を加算するように構成してもよい。なお、上記においては、一例として最大値と最小値との差分の比を用いているが、これに限られるものではない。
【００３３】
【表１】
2019149672.tif 000004
本発明は、上記実施の形態に限定されるものではなく、上記実施の形態で示した構成と実質的に同一の構成、同一の作用効果を奏する構成又は同一の目的を達成することができ
る構成で置き換えてもよい。なお例えば、上記画像処理装置は８Ｋテレビにおける画像情報を符号化・復号化する場合に適用される。
【符号の説明】
【００３４】
１１  ：画像処理装置
１２  ：ブロック化部
１３  ：マップ情報取得部
１４  ：参照画素情報選択部
１５  ：マップ選択部
１６  ：量子化部
１７  ：記憶部
１８  ：演算部 
１９  ：符号化部
【図１】
2019149672.tif 000005
【図２】
2019149672.tif 000006
【図３】
2019149672.tif 000007
【図４Ａ】
2019149672.tif 000008
【図４Ｂ】
2019149672.tif 000009
【図４Ｃ】
2019149672.tif 000010
【図４Ｄ】
2019149672.tif 000011
【図４Ｅ】
2019149672.tif 000012
【図４Ｆ】
2019149672.tif 000013
【図４Ｇ】
2019149672.tif 000014
【図４Ｈ】
2019149672.tif 000015
【図５】
2019149672.tif 000016