(57)【要約】  グラデーションを含む画像を表示する際に生じるバンディングを軽減しつつ、本来存在すべき階調の変化が不明瞭になることを防ぐこと。  画像処理装置は、複数の画素を含む元画像の画像データを取得し、前記複数の画素のいずれかである対象画素を含む注目領域の色分布に基づいて、バンディングが発生する可能性を示す評価値を取得し、前記評価値に基づいて、前記対象画素の色が補正された中間画像を生成し、前記生成された中間画像に基づいて、補正された画像を出力させる。色の補正では、前記対象画素の色の補正量を前記評価値に応じて変化させる。
2018092715.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素を含む元画像の画像データを取得する画像データ取得手段と、
前記複数の画素のいずれかである対象画素を含む注目領域の色分布に基づいて、バンディングが発生する可能性を示す評価値を取得する評価値取得手段と、
前記評価値に基づいて、前記対象画素の色が補正された中間画像を生成する補正手段と、
前記生成された中間画像に基づいて、補正された画像を出力させる画像出力手段と、を含み、
前記補正手段は、前記対象画素の色の補正量を前記評価値に応じて変化させる、
画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記補正手段は、前記評価値と所定の閾値との比較によりバンディングが発生する可能性が低いと判断された場合に、前記対象画素の色を補正しない、
画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記補正手段は、前記評価値と所定の閾値との比較によりバンディングが発生する可能性が高いと判断された場合に、前記対象画素の色を補正する、
画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記補正手段は、前記対象画素の色を補正する場合に、前記評価値と所定の閾値との差が大きくなるにつれ、補正量が大きくなるように対象画素の色を補正する、
画像処理装置。
【請求項５】
請求項１から４のいずれかに記載の画像処理装置において、
前記評価値取得手段は、前記注目領域の色を示す階調値の平坦さを示す評価値を取得する、
画像処理装置。
【請求項６】
請求項１から５のいずれかに記載の画像処理装置において、
前記補正手段は、前記対象画素の階調値が前記注目領域にある複数の画素の階調値の平均に近づくように補正する、
画像処理装置。
【請求項７】
請求項１から６のいずれかに記載の画像処理装置において、
前記補正手段は、前記注目領域内にある複数の画素の階調値の平均と前記対象画素の階調値との差に基づいて、前記評価値を算出する、
画像処理装置。
【請求項８】
請求項１から７のいずれかに記載の画像処理装置において、
前記評価値取得手段は、前記注目領域内にある複数の画素であって、互いに隣接しない複数の画素の階調値に基づいて、前記評価値を算出する、
画像処理装置。
【請求項９】
複数の画素を含む元画像の画像データを取得するステップと、
前記複数の画素のいずれかである対象画素を含む注目領域の色分布に基づいて、バンディングが発生する可能性を示す評価値を取得するステップと、
前記評価値に基づいて、前記対象画素の色が補正された中間画像を生成するステップと、
前記生成された中間画像に基づいて、補正された画像を出力させるステップと、を含み、
前記中間画像を生成するステップでは、前記対象画素の色の補正量を前記評価値に応じて変化させる、
画像処理方法。
【請求項１０】
複数の画素を含む元画像の画像データを取得する画像データ取得手段、
前記複数の画素のいずれかである対象画素を含む注目領域の色分布に基づいて、バンディングが発生する可能性を示す評価値を取得する評価値取得手段、
前記評価値に基づいて、前記対象画素の色が補正された中間画像を生成する補正手段、および、
前記生成された中間画像に基づいて、補正された画像を出力させる画像出力手段、としコンピュータを機能させ、
前記補正手段は、前記対象画素の色の補正量を前記評価値に応じて変化させる、
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
画像データから生成された画像を、ヘッドマウントディスプレイやテレビなどのディスプレイに表示させることは一般的に行われている。【０００３】
例えば空のように、色が滑らかに変化するグラデーションを含む画像を表示する場合に、いわゆるバンディングという現象が生じることが知られている。バンディングとは、本来は滑らかに色が変化するグラデーションの領域に、画像を表示させる際に生じる問題であり帯状のものが見える現象である。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
バンディングを軽減するために平滑化処理をすることが考えられるが、それにより、グラデーションではない領域において本来存在すべき階調の変化が不明瞭になってしまう。【０００５】
本発明は上記課題を鑑みてなされたものであり、その目的は、グラデーションを含む画像を表示する際に生じるバンディングを軽減しつつ、本来存在すべき階調の変化が不明瞭になることを防ぐ技術を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明にかかる画像処理装置は、複数の画素を含む元画像の画像データを取得する画像データ取得手段と、前記複数の画素のいずれかである対象画素を含む注目領域の色分布に基づいて、バンディングが発生する可能性を示す評価値を取得する評価値取得手段と、前記評価値に基づいて、前記対象画素の色が補正された中間画像を生成する補正手段と、前記生成された中間画像に基づいて、補正された画像を出力させる画像出力手段と、を含む。前記補正手段は、前記対象画素の色の補正量を前記評価値に応じて変化させる。【０００７】
また、本発明にかかる画像処理方法は、複数の画素を含む元画像の画像データを取得するステップと、前記複数の画素のいずれかである対象画素を含む注目領域の色分布に基づいて、バンディングが発生する可能性を示す評価値を取得するステップと、前記評価値に基づいて、前記対象画素の色が補正された中間画像を生成するステップと、前記生成された中間画像に基づいて、補正された画像を出力させるステップと、を含む。前記中間画像を生成するステップでは、前記対象画素の色の補正量を前記評価値に応じて変化させる。【０００８】
また、本発明にかかるプログラムは、複数の画素を含む元画像の画像データを取得する画像データ取得手段、前記複数の画素のいずれかである対象画素を含む注目領域の色分布に基づいて、バンディングが発生する可能性を示す評価値を取得する評価値取得手段、前記評価値に基づいて、前記対象画素の色が補正された中間画像を生成する補正手段、および、前記生成された中間画像に基づいて、補正された画像を出力させる画像出力手段、としコンピュータを機能させる。前記補正手段は、前記対象画素の色の補正量を前記評価値に応じて変化させる。【０００９】
本発明によれば、グラデーションを含む画像を表示する際に生じるバンディングを軽減しつつ、本来存在すべき階調の変化が不明瞭になることを防ぐことができる。【００１０】
本発明の一形態では、前記補正手段は、前記評価値と所定の閾値との比較によりバンディングが発生する可能性が低いと判断された場合に、前記対象画素の色を補正しなくてよい。【００１１】
本発明の一形態では、前記補正手段は、前記評価値と所定の閾値との比較によりバンディングが発生する可能性が高いと判断された場合に、前記対象画素の色を補正してよい。【００１２】
本発明の一形態では、前記補正手段は、前記対象画素の色を補正する場合に、前記評価値と所定の閾値との差が大きくなるにつれ、補正量が大きくなるように対象画素の色を補正してよい。【００１３】
本発明の一形態では、前記評価値取得手段は、前記注目領域の色を示す階調値の平坦さを示す評価値を取得してよい。【００１４】
本発明の一形態では、前記補正手段は、前記対象画素の階調値が前記注目領域にある複数の画素の階調値の平均に近づくように補正してよい。【００１５】
本発明の一形態では、前記補正手段は、前記注目領域内にある複数の画素の階調値の平均と前記対象画素の階調値との差に基づいて、前記評価値を算出してよい。【００１６】
本発明の一形態では、前記評価値取得手段は、前記注目領域内にある複数の画素であって、互いに隣接しない複数の画素の階調値に基づいて、前記評価値を算出してよい。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施形態にかかる画像処理装置のハードウェア構成の一例を示す図である。
【図２】画像処理装置が実現する機能を示すブロック図である。
【図３】バンディングを含む画像を模式的に示す図である。
【図４】ＹＵＶ色空間とＲＧＢ色空間との関係を説明する図である。
【図５】画像処理装置の処理を概略的に示すフロー図である。
【図６】バンディング軽減部の処理を示すフロー図である。
【図７】バンディング軽減部の処理を示すフロー図である。
【図８】対象画素と注目領域との一例を示す図である。
【図９】サンプリングされる画素の一例を示す図である。
【図１０】画素の集合Ｎの一例を示す図である。
【図１１】スコアの算出に用いられるテーブルの一例を示す図である。
【図１２】平坦さの評価値Ｆと重みＷ１との関係の一例を示す図である。
【図１３】距離ｄと重みＷ２との関係の一例を示す図である。
【図１４】直線状に並んだ画素における補正前の階調と補正後の階調の一例を模式的に示す図である。
【図１５】直線状に並んだ画素における補正前の階調と補正後の階調の他の一例を模式的に示す図である。
【発明を実施するための形態】
【００１８】
以下では、本発明の実施形態について図面に基づいて説明する。出現する構成要素のうち同一機能を有するものには同じ符号を付し、その説明を省略する。
【００１９】
本実施形態では、動画データをデコードすることで生成される１フレームの画像についてバンディングを軽減する画像処理装置１について説明するが、これは一例にすぎず、例えば静止画に対しても本発明を適用することは可能である。
【００２０】
図１は、本発明の実施形態にかかる画像処理装置１のハードウェア構成の一例を示す図である。画像処理装置１は、パーソナルコンピュータや家庭用ゲーム機、またはタブレット端末などである。画像処理装置１は、プロセッサ１１、記憶部１２、通信部１３、ＧＰＵ１４、入出力部１５を含む。
【００２１】
プロセッサ１１は、記憶部１２に格納されているプログラムに従って動作し、通信部１３やＧＰＵ１４、入出力部１５等を制御する。なお、上記プログラムは、フラッシュメモリ等のコンピュータで読み取り可能な記憶媒体に格納されて提供されるものであってもよいし、インターネット等のネットワークを介して提供されるものであってもよい。
【００２２】
記憶部１２は、ＤＲＡＭやフラッシュメモリ等のメモリ素子によって構成されている。記憶部１２は、上記プログラムを格納する。また、記憶部１２は、プロセッサ１１や通信部１３等から入力される情報や演算結果を格納する。なお、記憶部１２は、さらにハードディスクといった外部記憶装置を含んでもよい。
【００２３】
通信部１３は有線ＬＡＮや無線ＬＡＮを構成する集積回路やコネクタ、アンテナなどにより構成されている。通信部１３は、ネットワークを介して他の装置と通信する機能を有する。通信部１３は、プロセッサ１１の制御に基づいて、他の装置から受信した情報をプロセッサ１１や記憶部１２に入力し、他の装置に情報を送信する。
【００２４】
画像処理部１４は、いわゆるＧＰＵ（Graphic Processing Unit）やフレームバッファメモリ、表示制御回路を含む。表示制御回路は、ディスプレイ２１に出力する表示信号を生成する。ディスプレイ２１は画像処理部１４が出力する表示信号が示す画像を表示する。ディスプレイ２１は外付けのディスプレイであってもよいし、画像処理装置１に内蔵されてもよいし、ヘッドマウントディスプレイであってもよい。
【００２５】
入出力部１５は、ユーザの操作を検出するハードウェアからの入力を取得する回路と、音声などの出力をする回路とを含む。入出力部１５は、キーボードやコントローラ等の入力デバイスとから入力信号を取得し、その入力信号が変換された情報をプロセッサ１１や記憶部１２に入力する。
【００２６】
以下では画像処理装置１が実現する機能および処理を説明する。図２は、画像処理装置１が実現する機能を示すブロック図である。画像処理装置１は機能的に、動画データ取得部５１、フレーム画像取得部５２、バンディング軽減部５３、表示処理部５４を含む。またバンディング軽減部５３は、機能的に、色空間変換部５６、評価値取得部５７、階調補正部５８を含む。
【００２７】
動画データ取得部５１は、主に、プロセッサ１１が記憶部１２に記憶されるプログラムを実行し、記憶部１２から、または通信部１３を介して情報を取得することで実現される。フレーム画像取得部５２およびバンディング軽減部５３は、主に、プロセッサ１１と画像処理部１４に含まれるＧＰＵとが記憶部１２に記憶されるプログラムを実行し、記憶部１２等に格納された情報を処理し、処理結果を記憶部１２やフレームバッファに格納することにより実現される。表示処理部５４は、主に画像処理部１４の表示制御回路により実現される。
【００２８】
動画データ取得部５１は、記憶部１２または他の機器に格納されている動画データを取得する。動画データは、公知の動画圧縮のコーデックによりエンコードされたデータであってよい。
【００２９】
フレーム画像取得部５２は、取得された動画データをデコードし、現在のフレームの画像の画像データを取得する。この画像はマトリクス状に配置された複数の画素を含み、画像データは、各画素の色を示す情報を含む。色を示す情報は、例えばＹＵＶ形式の情報であってもよいし、ＲＧＢ形式の情報であってもよい。以下では、画像データがＹＵＶ形式の各画素の色情報を含むものとして説明する。なお、フレーム画像取得部５２は、動画データをデコードする代わりに、記憶部１２に格納された静止画のデータや、ネットワークを介して受信した静止画のデータを取得してもよい。
【００３０】
バンディング軽減部５３は、画像データが示す画像においてバンディング現象を軽減するように画像を補正し、補正された画像である中間画像の画像データをメモリに出力する。
【００３１】
図３は、バンディングを含む画像を模式的に示す図である。バンディングは、本来は滑らかに階調が変化するグラデーションの画像の中に、帯状のものが見えてしまう現象である。強いバンディング現象が発生すると、本来の色と異なる色（偽色）が視認される場合もある。図３の例では、画像はバンディングの現象が発生するグラデーションの領域と、グラデーションでない非グラデーション領域８１とを含む。グラデーション領域は、例えば未明の空であり、非グラデーション領域８１は、例えば空にある星である。
【００３２】
バンディング現象は、撮影時の量子化、編集時の色調・階調補正、エンコード時の量子化、色空間の変換などにより生じる。単にディスプレイ２１や画像データが表現できる階調の数より人間が視認できる階調の数が多い場合だけでなく、画像データの加工により、実質的に表現できる階調の数が画像データが表現できる階調の数より小さくなる場合にもバンディング現象が発生する。
【００３３】
バンディング軽減部５３に含まれる色空間変換部５６は、ＹＵＶ形式の色情報を、ＲＧＢ形式の色情報に変換する。ＹＵＶ形式の色情報は、Ｙ，Ｃｂ，Ｃｒの３つの値により表される。ＲＧＢ形式の色情報は、Ｒ，Ｇ，Ｂの３つの値により表される。また、本実施形態では、Ｙ，Ｃｂ，Ｃｒは整数値であり、色空間変換部５６が変換により出力するＲ，Ｇ，Ｂは浮動小数点形式の実数値である。以下では、Ｒ，Ｇ，Ｂのそれぞれの値を階調値とよぶ。色空間変換部５６は、公知の数式に基づいてＹＵＶ形式の色情報をＲＧＢ形式の色情報に変換してよい。
【００３４】
図４は、ＹＵＶ色空間６１とＲＧＢ色空間６２との関係を説明する図である。ＹＵＶ色空間６１は、ＹＵＶ形式のＹ，Ｃｂ，Ｃｒの値により表現が可能な色の範囲を示すものであり、ＲＧＢ色空間６２はＲＧＢ形式のＲ，Ｇ，Ｂの値により表現が可能な色の範囲を示すものである。図４に記載されているように、ＲＧＢ色空間６２は、ＹＵＶ色空間６１の一部の範囲に対応付けられる。一方、一般的にはＹＵＶ形式の値の範囲（例えば１６≦Ｙ≦２３５、１６≦Ｃｂ，Ｃｒ≦２４０）は、ＲＧＢ形式の値の範囲（例えば０≦Ｒ，Ｇ，Ｂ≦２５５）より狭いため、これらを整数値で表す場合にはＹＵＶ色空間６１では互いに隣り合う色であっても、ＲＧＢ色空間６２では互いに離間する色として表現されてしまう場合がある。この現象もバンディングが生じる要因のうち１つである。
【００３５】
評価値取得部５７は、画像に含まれる複数の画素のいずれかである対象画素７１を含む注目領域７２の色分布に基づいて、バンディングが発生する可能性を示す評価値を算出する。ここで、対象画素７１を変化させることにより、評価値取得部５７は、画像に含まれる画素のそれぞれについて評価値を算出する。評価値は、階調値の平面上の変化の平坦さを示す値である。評価値の計算の詳細については後述する。
【００３６】
階調補正部５８は、算出された評価値に基づいて、対象画素７１の色が補正された中間画像の画像データを生成する。階調補正部５８は、対象画素７１の色の補正量を算出された評価値に応じて変化させる。ここで、対象画素７１の変化により、中間画像は複数の画素について補正されていてよい。
【００３７】
また、階調補正部５８は、評価値と予め定められた判定閾値との比較よりバンディングが発生する可能性が低いと判断された場合に、対象画素７１の色を補正しない。一方、評価値と予め定められた判定閾値との比較によりバンディングが発生する可能性が高いと判断された場合に、対象画素７１の色を補正する。また、階調補正部５８は、対象画素７１の色を補正する場合は、評価値と判定閾値との差が大きくなるにつれ、補正量が大きくなるように対象画素７１の色を補正する。
【００３８】
階調補正部５８は、対象画素７１のＲＧＢの階調値が、それぞれ注目領域７２にある複数の画素のＲＧＢ階調値の平均に近づくように補正する。一方、階調補正部５８は、ディザリングも併用して各画素の色を補正してよい。
【００３９】
表示処理部５４は、中間画像の画像データに基づいて、補正された画像をディスプレイ２１に表示させる。
【００４０】
次に、画像処理装置１の処理について図とともに説明する。図５は、画像処理装置１の処理を概略的に示すフロー図である。
【００４１】
はじめに、動画データ取得部５１は、記憶部１２または他の機器に格納されている動画データを取得する（ステップＳ１０１）。そして、フレーム画像取得部５２は、取得された動画データをデコードし、現在のフレームの画像の画像データを取得する（ステップＳ１０２）。
【００４２】
そして、バンディング軽減部５３は、画像データが示す画像においてバンディングを軽減するように画像を補正する（ステップＳ１０３）。以下では補正された画像を中間画像とよぶ。
【００４３】
次に、ステップＳ１０３の処理についてより詳細に説明する。図６および図７は、バンディング軽減部５３の処理を示すフロー図である。図６および図７は、ステップＳ１０３の処理をより詳細に説明する図である。図６および図７に示される処理は、本実施形態では主にＧＰＵのシェーダーにより実行されるが、プロセッサ１１により実行されてもよい。
【００４４】
バンディング軽減部５３は、はじめに、処理の対象となる対象画素７１を選択する（ステップＳ２０１）。より具体的には、例えばバンディング軽減部５３は、マトリクス状の画素のうち上端の走査行に含まれる画素を左端から右へ順に対象画素７１として選択していき、右端の画素に達したら次の走査行に含まれる画素を左端から順に対象画素７１として選択することを繰り返してもよい。また、バンディング軽減部５３は、他の予め定められた順序で、画像に含まれるすべての画素を順に対象画素７１として選択してもよい。また、バンディング軽減部５３は一度に複数の画素を対象画素７１として選択し、それぞれについてステップＳ２０２以降の処理を並列的に行ってもよい。以下では、説明の容易のため、１つの対象画素７１についての処理を説明する。
【００４５】
対象画素７１が選択されると、バンディング軽減部５３は、対象画素７１を中心とする所定の大きさの領域を注目領域７２として設定する（ステップＳ２０２）。注目領域７２は、画像に含まれる複数の画素のうち一部を含む。図８は、対象画素７１と注目領域７２との一例を示す図である。図８の例では、対象画素７１を中心とする１５×１５の領域を注目領域７２としているが、注目領域７２のサイズは異なっていてもよい。注目領域７２は、対象画素７１に直接的に隣接する画素と異なる画素を含んでよい。
【００４６】
次に、色空間変換部５６は、対象画素７１のＹＵＶ形式のＹ，Ｃｂ，Ｃｒの値をＲＧＢ形式のＲ，Ｇ，Ｂの階調値に変換する（ステップＳ２０３）。本実施形態では、ＹＵＶ形式のＹ，Ｃｂ，Ｃｒの値は整数値であり、変換されたＲＧＢ形式のＲ，Ｇ，Ｂの階調値は浮動小数点の実数値である。Ｒ，Ｇ，Ｂの階調値は、小数点以下まで表現できる有効桁数をもっていれば固定小数点などの値であってもよい。
【００４７】
そして、評価値取得部５７は、注目領域７２内にある複数の画素（以下では近傍画素と呼ぶ）をサンプリングする（ステップＳ２０４）。図９は、サンプリングされる近傍画素７３の一例を示す図である。近傍画素７３は、注目領域７２に存在する画素のうち一部である。図９の例では、ある対象画素７１についてサンプリングされる近傍画素７３の数は１６であり、複数の近傍画素７３は互いに隣接せず離間している。近傍画素７３は対象画素７１の色の補正に用いられる画素である。補正の際の処理対象になる近傍画素７３を注目領域７２のうち一部かつ互いに離間する画素に制限することにより、色の補正の質の低下を防ぎつつ、計算量を削減することができる。
【００４８】
色空間変換部５６は、サンプリングされた近傍画素のＹＵＶ形式のＹ，Ｃｂ，Ｃｒの値を、ＲＧＢ形式のＲ，Ｇ，Ｂの階調値に変換する（ステップＳ２０５）。本実施形態では、色空間変換部５６が出力するＲ，Ｇ，Ｂの値は、ステップＳ２０３と同様に浮動小数点であるが、固定小数点などであってもよい。
【００４９】
次に、評価値取得部５７は、サンプリングされた複数の近傍画素のうちから、処理対象となる新たな近傍画素を選択する（ステップＳ２０６）。なお、ステップＳ２０６の処理は、ステップＳ２０４の処理と統合されてもよい。この場合、近傍画素と対象画素７１との相対位置の配列は予め設定されており、評価値取得部５７は、順に配列を選択することで、その配列に示される相対位置に存在する１つの近傍画素を選択し、色空間変換部５６は、選択された近傍画素のＹＵＶ形式のＹ，Ｃｂ，Ｃｒの値を、ＲＧＢ形式のＲ，Ｇ，Ｂの階調値に変換する。
【００５０】
次に、評価値取得部５７は、対象画素７１と選択された近傍画素との色の距離を算出し、その距離が判定閾値より小さいか判定する（ステップＳ２０７）。そして、その距離が判定閾値より大きい場合には（ステップＳ２０７のＮ）、評価値取得部５７はステップＳ２０８，Ｓ２０９の処理をスキップする。ここで、本実施形態では、色の距離は、いわゆるチェビシェフ距離であり、Ｒ，Ｇ，Ｂのそれぞれの成分についての対象画素７１と近傍画素との階調値の差の絶対値の最大値である。色の距離は例えばオイラー距離のように他の方法で求められてもよい。
【００５１】
一方、その距離が判定閾値以下である場合には（ステップＳ２０７のＹ）、評価値取得部５７は、その近傍画素が集合Ｎに属するものと決定し、その近傍画素のＲ，Ｇ，Ｂの階調値の平均を求めるためにその近傍画素のＲ，Ｇ，Ｂの階調値をそれぞれ変数ＡＣＣ＿Ｒ，ＡＣＣ＿Ｇ，ＡＣＣ＿Ｂに加算する（ステップＳ２０８）。
【００５２】
集合Ｎは、グラデーションを構成する可能性のある画素の集合である。図１０は、画素の集合Ｎの一例を示す図である。図１０は、図９に対応する図である。図１０の例では、近傍画素７３のうち一部の画素７４が集合Ｎに属し、残りの画素７５は集合Ｎに属していない。
【００５３】
また評価値取得部５７は、その近傍画素と対象画素７１との色の距離に基づくスコア要素を変数ｓｃに加算する（ステップＳ２０９）。図１１は、スコアの算出に用いられるテーブルの一例を示す図である。評価値取得部５７は、その近傍画素と対象画素７１との色の距離に対応するスコア要素を取得し、変数ｓｃに加算する。図１１に示されるように、色の距離が小さいほどスコアの値が高くなっている。なお、本実施形態では判定閾値は６であるため、図１１のテーブルには色の距離が７以上のものは存在しない。なお、変数ＡＣＣ＿Ｒ，ＡＣＣ＿Ｇ，ＡＣＣ＿Ｂ、変数ｓｃは本実施形態ではそれぞれ浮動小数点の実数の変数であり、ステップＳ２０８，Ｓ２０９では精度を確保するため浮動小数点形式で計算されている。また、変数ＡＣＣ＿Ｒ，ＡＣＣ＿Ｇ，ＡＣＣ＿Ｂ、変数ｓｃは対象画素７１が選択された際に初期化されている。
【００５４】
そして、評価値取得部５７は、すべての近傍画素が既に選択されたか判定する（ステップＳ２１０）。すべての近傍画素が選択されていない場合には（ステップＳ２１０のＮ）、評価値取得部５７はステップＳ２０６からの処理を繰り返し、既にすべての近傍画素が選択された場合には、ステップＳ２１１以降の処理に移る。
【００５５】
ステップＳ２１１では、スコア要素が積算されたスコア（変数ｓｃの値）がスコア閾値以上であるか否かを判定する。スコアがスコア閾値より小さい場合には（ステップＳ２１１のＮ）、注目領域７２における色の変化が多く、バンディングが起きにくい状況であるため、階調補正部５８は対象画素７１の色を補正しない（ステップＳ２１９）。
【００５６】
一方、スコアがスコア閾値より大きい場合には（ステップＳ２１１のＹ）、注目領域における色の変化が少なく、バンディングが起きやすい状況であるため、階調補正部５８は対象画素７１を補正するためのステップＳ２１２からＳ２１８の処理を行う。
【００５７】
ステップＳ２１２では、階調補正部５８は対象画素７１に付加するノイズ値を取得する。ノイズ値は実数の疑似乱数であってもよいし、あらかじめ定められ、一定の範囲で見た場合に平均値がほぼ０となる配列から取得されてもよい。このノイズ値は、いわゆるディザリングを適用するためのものである。
【００５８】
また、階調補正部５８はＲ，Ｇ，Ｂの階調値の積算値（変数ＡＣＣ＿Ｒ，ＡＣＣ＿Ｇ，ＡＣＣ＿Ｂ）を集合Ｎに属する画素の数で割ることで、集合Ｎに属する画素のＲ，Ｇ，Ｂの階調の平均値を求める（ステップＳ２１３）。階調補正部５８はＲＧＢのそれぞれについて求められた階調の平均値にノイズ値を加算し、その加算されたＲＧＢ成分を含む基準色を取得する（ステップＳ２１４）。本実施形態では、階調の平均値や基準色のＲＧＢ成分は階調値と同じく浮動小数点の実数であり、計算も浮動小数点で行われる。以下で説明する計算も、特に明記しない限り浮動小数点で行われる。ここで、ディザリングを適用しない場合は、階調補正部５８は、基準色として、集合Ｎに属する画素のＲ，Ｇ，Ｂの階調の平均値を取得してもよい。この場合、ノイズに関する処理は不要になる。
【００５９】
次に、階調補正部５８は基準色と対象画素７１の色との距離ｄを求める（ステップＳ２１５）。距離ｄは、いわゆるチェビシェフ距離であるが、他の距離であってもよい。
【００６０】
また、距離ｄの算出とともに、評価値取得部５７は、スコアに基づいて平坦さの評価値Ｆを算出する（ステップＳ２１６）。評価値取得部５７は、平坦さの評価値Ｆを以下の式で表される演算をすることにより取得する。
【００６１】
【数１】
2018092715.tif 000003
【００６２】
ここで、ｓｃはスコア、Ｍａｘｓｃは理論上のスコアの最大値（本実施形態ではサンプリングする点の数１７にスコア要素の最高値１０をかけた１７０）である。
【００６３】
階調補正部５８は距離ｄと評価値Ｆとに基づいて、ブレンド係数ａを求める（ステップＳ２１７）。ブレンド係数ａは、以下の式で求められる。
【００６４】
【数２】
2018092715.tif 000004
【００６５】
ブレンド係数ａは、重みＷ１と重みＷ２との積であり、バンディングを軽減する補正の強さを示すパラメータである。Ｗ１は評価値Ｆに基づく重みであり、Ｗ２は距離ｄに基づく重みであり、どちらも実数の値である。ｍｉｎは、２つの引数のうち最小値を選択する関数を示す。Ｔｈｓｃはスコア閾値である。
【００６６】
図１２は、平坦さの評価値Ｆと重みＷ１との関係の一例を示す図である。本実施形態では、重みＷ１の値は、スコアがスコア閾値のときに０となり、スコアが増加するにつれて単調増加し、スコアがＭａｘｓｃになると１になる。スコアがスコア閾値より小さい場合は重みＷ１は計算されない。言い換えると、バンディングの補正の強さは注目領域７２の色の平坦さの評価値Ｆに応じて単調増加する。なお、評価値取得部５７は、平坦さの評価値Ｆとして、Ｗ１を直接的に求めてもよい。
【００６７】
図１３は、距離ｄと重みＷ２との関係の一例を示す図である。本実施形態では、重みＷ２は、色の距離ｄがステップＳ２０７で用いられる判定閾値であるときに０となり、判定閾値の半分の値以下のときに１となる。重みＷ２は、判定閾値の半分の値から色の距離ｄが増えるにつれて単調減少する。
【００６８】
ブレンド係数ａが求められると、階調補正部５８は、ブレンド係数ａと、基準色と、対象画素７１の色とに基づいて、対象画素７１の色を補正する（ステップＳ２１８）。より具体的には、階調補正部５８は、ブレンド係数ａが０の場合に補正後の対象画素７１の色が元の対象画素７１と同じになり、ブレンド係数ａが１の場合に補正後の対象画素７１の色が基準色になるように、対象画素７１の元の色のＲＧＢ成分と基準色のＲＧＢ成分とを内挿することで、補正後の対象画素７１の色を求める。
【００６９】
階調補正部５８は、ブレンド係数ａを用いることにより、平坦さを示す評価値Ｆだけでなく、注目領域７２内にある複数の画素の階調値と対象画素７１の階調値との差にも基づいて、対象画素７１の色を補正している。
【００７０】
対象画素７１の色が補正された、または、対象画素７１の色を補正しないことが決定されると、バンディング軽減部５３は、既にすべての対象画素７１を選択したか判定する（ステップＳ２２０）。すべての対象画素７１が選択されていない場合には、ステップＳ２０１からの処理を繰り返す。一方、すべての対象画素７１が選択された場合には、次の処理に移る。これまでに対象画素７１として処理された画素を含む画像が、階調補正部５８により補正された画像に相当する。
【００７１】
バンディング軽減部５３が画像を補正すると、バンディング軽減部５３はこれまでの処理で補正された画像である中間画像の画像データをメモリに出力する（ステップＳ１０４）。ここで、バンディング軽減部５３は、中間画像に含まれる画素のそれぞれのＲＧＢの階調値を、整数値に変換してメモリに出力してよい。画像データの出力先は、フレームバッファメモリでもよいし、ＧＰＵが直接的にアクセスできる他のメモリであってもよい。
【００７２】
そして、表示処理部５４は、メモリに出力された画像データに基づいて、ディスプレイ２１に画像を表示させる表示信号を出力する（ステップＳ１０５）。より具体的には、表示制御回路がフレームバッファメモリに格納された画像データを読み出して表示信号を出力してもよいし、表示処理部５４が、中間画像の画像データを加工し、表示制御回路が加工された画像データを読み出して表示信号を出力してもよい。
【００７３】
バンディングは、各画素の色をその画素を中心とする注目領域７２の色の平均値にすることで、目立たなくなる。また、平均値にディザリングを適用することで、よりバンディングを軽減できる。一方、すべての画素に上記の処理を行うと、非グラデーション領域８１内にある階調差や、非グラデーション領域８１とグラデーション領域との階調差が不明瞭になってしまう。
【００７４】
本発明では、バンディングが発生しやすいか否かを、対象画素７１を中心とする注目領域７２における色の平坦さなどで評価し、バンディングが発生しやすい領域に含まれる画素の色のみを補正する。これにより、本来存在すべき階調差が不明瞭になることを避けることができる。
【００７５】
図１４は、直線状に並んだ画素における補正前の階調と補正後の階調の一例を模式的に示す図である。補正前の画素の階調値が実線、補正後の画素の階調値が破線で示されている。図１４の例では、画素の階調の変化が小さいので、平坦さの評価値Ｆが高くなる。そのため、補正により階調差が消えるように補正される。
【００７６】
図１５は、直線状に並んだ画素における補正前の階調と補正後の階調の他の一例を模式的に示す図である。図１５の例では、画素の階調差は、補正の対象外とならない程度ではあるものの、図１４の例より大きい。図１５の例では、階調値は補正されるものの、階調の段差の形がある程度残っている。
【００７７】
このように、平坦さの評価値Ｆや対象画素７１と基準値との距離ｄに応じて、元の対象画素７１の色に近づけるか基準色に近づけるかを連続的に変化させることにより、非グラデーション領域８１とグラデーション領域との境界付近に不自然な階調変化が生じることを防ぐことができる。
【００７８】
本実施形態では、ディザリングとしてノイズを付加しているが、公知の他の手法で処理をしてもよい。例えば広義のディザリングの処理として、ステップＳ２１４の処理の代わりに、ステップＳ２１８で補正された対象画素７１の色に誤差拡散法を適用してもよい。
【図１】
2018092715.tif 000005
【図２】
2018092715.tif 000006
【図３】
2018092715.tif 000007
【図４】
2018092715.tif 000008
【図５】
2018092715.tif 000009
【図６】
2018092715.tif 000010
【図７】
2018092715.tif 000011
【図８】
2018092715.tif 000012
【図９】
2018092715.tif 000013
【図１０】
2018092715.tif 000014
【図１１】
2018092715.tif 000015
【図１２】
2018092715.tif 000016
【図１３】
2018092715.tif 000017
【図１４】
2018092715.tif 000018
【図１５】
2018092715.tif 000019
【国際調査報告】
2018092715.tif 000020
2018092715.tif 000021