(57)【要約】【課題】リンギングの発生を抑制しつつエッジを強調した画像を生成すること。【解決手段】本発明の画像処理装置は、入力画像に対してエッジ強調処理を施して出力画像を生成する画像処理装置であって、入力画像に対するＧｒａｄｉｅｎｔの絶対値とＬａｐｌａｃｉａｎの絶対値を算出して、算出結果に基づいてラインゲインを算出するラインゲイン算出部と、入力画像と前記ラインゲインとに基づいて正または負の値を取り得るブレンド係数を算出し、当該ブレンド係数に基づいてラインゲインを補正するラインゲイン補正部と、補正されたラインゲインを入力画像に適用して、出力画像を生成するゲイン適用部と、を備えることを特徴とする。【選択図】図２
2015114729.tif 000002
【特許請求の範囲】
【請求項１】
入力画像に対してエッジ強調処理を施して出力画像を生成する画像処理装置であって、
前記入力画像に対するＧｒａｄｉｅｎｔの絶対値とＬａｐｌａｃｉａｎの絶対値を算出して、算出結果に基づいてラインゲインを算出するラインゲイン算出部と、
前記入力画像と前記ラインゲインとに基づいて正または負の値を取り得るブレンド係数を算出し、当該ブレンド係数に基づいて前記ラインゲインを補正するラインゲイン補正部と、
補正された前記ラインゲインを前記入力画像に適用して、前記出力画像を生成するゲイン適用部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記入力画像に対するＧｒａｄｉｅｎｔの絶対値とＬａｐｌａｃｉａｎとを算出し、算出結果に基づいてステップゲインを算出するステップゲイン算出部と、補正された前記ラインゲインと前記ステップゲインとに基づいて前記ステップゲインを補正するステップゲイン補正部をさらに備え、
前記ゲイン適用部は、補正された前記ステップゲインおよび補正された前記ラインゲインを前記入力画像に適用して、前記出力画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記ラインゲイン算出部は、予め決められた係数を乗じた前記Ｇｒａｄｉｅｎｔの絶対値と前記Ｌａｐｌａｃｉａｎの絶対値との差分を用いて、前記ラインゲインを算出することを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記ラインゲイン補正部は、所定の割合を乗じた前記ラインゲインを前記入力画像に対して適用した画像と、前記入力画像との相関に基づいて前記ブレンド係数を算出することを特徴とする請求項１乃至請求項３のいずれかに記載の画像処理装置。
【請求項５】
入力画像に対してエッジ強調処理を施して出力画像を生成する画像処理装置であって、
前記入力画像に対するＧｒａｄｉｅｎｔの絶対値とＬａｐｌａｃｉａｎとを算出し、算出結果に基づいてステップゲインを算出するステップゲイン算出部と、
前記ステップゲインを、前記入力画像に適用して、前記出力画像を生成するゲイン適用部と、
を備えることを特徴とする画像処理装置。
【請求項６】
前記ステップゲイン算出部は、前記Ｇｒａｄｉｅｎｔの絶対値と前記Ｌａｐｌａｃｉａｎとを乗算した値を用いて、前記ステップゲインを算出することを特徴とする請求項２または請求項５に記載の画像処理装置。
【請求項７】
請求項１乃至請求項６のいずれかに記載の画像処理装置と、
前記出力画像に基づいて画像が表示される表示部と、
を備えることを特徴とる表示装置。
【請求項８】
入力画像に対してエッジ強調処理を施して出力画像を生成する画像処理方法であって、
前記入力画像に対するＧｒａｄｉｅｎｔの絶対値とＬａｐｌａｃｉａｎの絶対値を算出して、算出結果に基づいてラインゲインを算出し、
前記入力画像と前記ラインゲインとに基づいて正または負の値を取り得るブレンド係数を算出し、当該ブレンド係数に基づいて前記ラインゲインを補正し、
補正された前記ラインゲインを前記入力画像に適用して、前記出力画像を生成することを特徴とする画像処理方法。
【請求項９】
入力画像に対してエッジ強調処理を施して出力画像を生成する画像処理方法であって、
前記入力画像に対するＧｒａｄｉｅｎｔの絶対値とＬａｐｌａｃｉａｎとを算出し、算出結果に基づいてステップゲインを算出し、
前記ステップゲインを前記入力画像に適用して、前記出力画像を生成することを特徴とする画像処理方法。
【請求項１０】
入力画像に対してエッジ強調処理を施して出力画像を生成するコンピュータに、
前記入力画像に対するＧｒａｄｉｅｎｔの絶対値とＬａｐｌａｃｉａｎの絶対値を算出して、算出結果に基づいてラインゲインを算出し、
前記入力画像と前記ラインゲインとに基づいて正または負の値を取り得るブレンド係数を算出し、当該ブレンド係数に基づいて前記ラインゲインを補正し、
補正された前記ラインゲインを前記入力画像に適用して、前記出力画像を生成する処理を実行させるためのプログラム。
【請求項１１】
入力画像に対してエッジ強調処理を施して出力画像を生成するコンピュータに、
前記入力画像に対するＧｒａｄｉｅｎｔの絶対値とＬａｐｌａｃｉａｎとを算出し、算出結果に基づいてステップゲインを算出し、
前記ステップゲインを前記入力画像に適用して、前記出力画像を生成する処理を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像のエッジを強調する技術に関する。
【背景技術】
【０００２】
ディスプレイの高解像度化に伴い、低解像度の画像のデータが入力された場合に、この画像を高解像度化することが行われている。この際、画像において輝度が大きく変化する部分、すなわちエッジ（輪郭）において、単に補間が行われるだけの場合、エッジの輝度の傾斜がなまってしまい、エッジがぼやけた画像になってしまう。一般的には、エッジは、輝度が階段状に変化するステップエッジ、白線または黒線等の線により形成されるラインエッジが含まれる。ラインエッジがぼやけると、線幅が太くなってしまう。
【０００３】
エッジを強調するため、ラプラシアンフィルタを用いたアンシャープマスク処理によりエッジの輝度の傾斜を急峻する画像処理が知られている。しかしながら、ラプラシアンフィルタを用いると、エッジの輝度傾斜が急峻になるものの、リンギング（オーバーシュート、アンダーシュート）が発生するという現象が生じる。そこで、リンギングが発生しないようにするための技術として、クリップ処理を用いる技術が特許文献１、２に開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−１１５５２６号公報
【特許文献２】国際公開第２０１０／０７３５８２号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１、２に開示されたクリップ処理では、クリップするレベルの設定が困難であり、また、一定値で輝度がクリップされるためエッジ付近の輝度が平坦になってしまう。輝度が平坦になると、自然画のような画像を表示させた場合に、べたついた油絵のように表示され、不自然な画像になってしまう。
【０００６】
本発明の目的の一つは、リンギングの発生を抑制しつつエッジを強調した画像を生成することにある。
【課題を解決するための手段】
【０００７】
本発明の一実施形態によると、入力画像に対してエッジ強調処理を施して出力画像を生成する画像処理装置であって、前記入力画像に対するＧｒａｄｉｅｎｔの絶対値とＬａｐｌａｃｉａｎの絶対値を算出して、算出結果に基づいてラインゲインを算出するラインゲイン算出部と、前記入力画像と前記ラインゲインとに基づいて正または負の値を取り得るブレンド係数を算出し、当該ブレンド係数に基づいて前記ラインゲインを補正するラインゲイン補正部と、補正された前記ラインゲインを前記入力画像に適用して、前記出力画像を生成するゲイン適用部と、を備えることを特徴とする画像処理装置が提供される。
【０００８】
この画像処理装置によれば、リンギングの発生を抑制しつつエッジを強調した画像を生成することができる。特に、ラインエッジに対して効果的である。
【０００９】
また、別の好ましい態様において、前記入力画像に対するＧｒａｄｉｅｎｔの絶対値とＬａｐｌａｃｉａｎとを算出し、算出結果に基づいてステップゲインを算出するステップゲイン算出部と、補正された前記ラインゲインと前記ステップゲインとに基づいて前記ステップゲインを補正するステップゲイン補正部とをさらに備え、前記ゲイン適用部は、補正された前記ステップゲインおよび補正された前記ラインゲインを前記入力画像に適用して、前記出力画像を生成してもよい。
【００１０】
この画像処理装置によれば、ステップエッジに対しても、リンギングの発生を抑制しつつエッジを強調した画像を生成することができる。
【００１１】
また、別の好ましい態様において、前記ラインゲイン算出部は、予め決められた係数を乗じた前記Ｇｒａｄｉｅｎｔの絶対値と前記Ｌａｐｌａｃｉａｎの絶対値との差分を用いて、前記ラインゲインを算出してもよい。
【００１２】
この画像処理装置によれば、ラインエッジに対して簡易な処理でリンギングの発生を抑制しつつエッジを強調した画像を生成することができる。
【００１３】
また、別の好ましい態様において、前記ラインゲイン補正部は、所定の割合を乗じた前記ラインゲインを前記入力画像に対して適用した画像と、前記入力画像との相関に基づいて前記ブレンド係数を算出してもよい。
【００１４】
この画像処理装置によれば、ラインエッジに対して簡易な処理でリンギングの発生を抑制しつつエッジを強調した画像を生成することができる。
【００１５】
また、本発明の一実施形態によると、入力画像に対してエッジ強調処理を施して出力画像を生成する画像処理装置であって、前記入力画像に対するＧｒａｄｉｅｎｔの絶対値とＬａｐｌａｃｉａｎとを算出し、算出結果に基づいてステップゲインを算出するステップゲイン算出部と、前記ステップゲインを、前記入力画像に適用して、前記出力画像を生成するゲイン適用部と、を備えることを特徴とする画像処理装置が提供される。
【００１６】
この画像処理装置によれば、リンギングの発生を抑制しつつエッジを強調した画像を生成することができる。特に、ステップエッジに対して効果的である。
【００１７】
また、別の好ましい態様において、前記ステップゲイン算出部は、前記Ｇｒａｄｉｅｎｔの絶対値と前記Ｌａｐｌａｃｉａｎとを乗算した値を用いて、前記ステップゲインを算出してもよい。
【００１８】
この画像処理装置によれば、ステップエッジに対して簡易な処理でリンギングの発生を抑制しつつエッジを強調した画像を生成することができる。
【００１９】
また、本発明の一実施形態によると、上記に記載の画像処理装置と、前記出力画像に基づいて画像が表示される表示部と、を備えることを特徴とる表示装置が提供される。
【００２０】
この表示装置によれば、リンギングの発生を抑制しつつエッジを強調した画像を表示することができる。
【００２１】
本発明の一実施形態によると、入力画像に対してエッジ強調処理を施して出力画像を生成する画像処理方法であって、前記入力画像に対するＧｒａｄｉｅｎｔの絶対値とＬａｐｌａｃｉａｎの絶対値を算出して、算出結果に基づいてラインゲインを算出し、前記入力画像と前記ラインゲインとに基づいて正または負の値を取り得るブレンド係数を算出し、当該ブレンド係数に基づいて前記ラインゲインを補正し、補正された前記ラインゲインを前記入力画像に適用して、前記出力画像を生成することを特徴とする画像処理方法が提供される。
【００２２】
この画像処理方法によれば、リンギングの発生を抑制しつつエッジを強調した画像を生成することができる。特に、ラインエッジに対して効果的である。
【００２３】
また、本発明の一実施形態によると、入力画像に対してエッジ強調処理を施して出力画像を生成する画像処理方法であって、前記入力画像に対するＧｒａｄｉｅｎｔの絶対値とＬａｐｌａｃｉａｎとを算出し、算出結果に基づいてステップゲインを算出し、前記ステップゲインを前記入力画像に適用して、前記出力画像を生成することを特徴とする画像処理方法が提供される。
【００２４】
この画像処理方法によれば、リンギングの発生を抑制しつつエッジを強調した画像を生成することができる。特に、ステップエッジに対して効果的である。
【００２５】
本発明の一実施形態によると、入力画像に対してエッジ強調処理を施して出力画像を生成するコンピュータに、前記入力画像に対するＧｒａｄｉｅｎｔの絶対値とＬａｐｌａｃｉａｎの絶対値を算出して、算出結果に基づいてラインゲインを算出し、前記入力画像と前記ラインゲインとに基づいて正または負の値を取り得るブレンド係数を算出し、当該ブレンド係数に基づいて前記ラインゲインを補正し、補正された前記ラインゲインを前記入力画像に適用して、前記出力画像を生成する処理を実行させるためのプログラムが提供される。
【００２６】
このプログラムによれば、リンギングの発生を抑制しつつエッジを強調した画像を生成することができる。特に、ラインエッジに対して効果的である。
【００２７】
また、本発明の一実施形態によると、入力画像に対してエッジ強調処理を施して出力画像を生成するコンピュータに、前記入力画像に対するＧｒａｄｉｅｎｔの絶対値とＬａｐｌａｃｉａｎとを算出し、算出結果に基づいてステップゲインを算出し、前記ステップゲインを前記入力画像に適用して、前記出力画像を生成する処理を実行させるためのプログラムが提供される。
【００２８】
このプログラムによれば、リンギングの発生を抑制しつつエッジを強調した画像を生成することができる。特に、ステップエッジに対して効果的である。
【発明の効果】
【００２９】
本発明によれば、リンギングの発生を抑制しつつエッジを強調した画像を生成することができる。
【図面の簡単な説明】
【００３０】
【図１】本発明の一実施形態における表示装置１の構成を示すブロック図である。
【図２】本発明の一実施形態における画像処理装置１０の構成を示すブロック図である。
【図３】本発明の一実施形態におけるステップゲイン算出部１１０の算出方法を説明する図である。
【図４】本発明の一実施形態におけるステップエッジがステップゲインにより強調された例を説明する図である。
【図５】本発明の一実施形態におけるラインゲイン算出部１２０の算出方法を説明する図である。
【図６】本発明の一実施形態におけるラインエッジがラインゲインにより強調された例を説明する図である。
【図７】本発明の一実施形態におけるラインゲイン補正部１３０の構成を示すブロックる図である。
【図８】本発明の一実施形態におけるラインゲイン補正部１３０におけるブレンド係数を算出するときの白線の影響を説明する図である。
【図９】本発明の一実施形態におけるラインゲイン補正部１３０におけるブレンド係数を算出するときの黒線の影響を説明する図である。
【図１０】本発明の一実施形態におけるラインゲインに対してステップゲイン補正処理を行った様子を説明する図である。
【図１１】本発明の一実施形態におけるステップゲインに対してステップゲイン補正処理を行った様子を説明する図である。
【発明を実施するための形態】
【００３１】
以下、本発明の実施形態に係る表示装置について、図面を参照しながら詳細に説明する。なお、以下に示す実施形態は本発明の実施形態の一例であって、本発明はこれらの実施形態に限定して解釈されるものではなく、種々の変形を行ない実施することが可能である。
【００３２】
＜実施形態＞
本発明の一実施形態に係る表示装置について、図面を参照しながら詳細に説明する。
【００３３】
［全体構成］
図１は、発明の一実施形態における表示装置１の構成を示すブロック図である。表示装置１は、スマートフォン、携帯電話、パーソナルコンピュータ、テレビなどにおいて、画像を表示する装置である。表示装置１は、画像処理装置１０、画像拡大部２０および表示部３０を備える。表示部３０は、マトリクス状に配置された画素を有し、それぞれの画素には画像を表示するための表示素子を備えるディスプレイである。この例では、表示素子はＯＬＥＤ素子等の自発光素子やＬＣＤ素子等の非自発光素子である。表示部３０は、画像処理装置１０から出力される出力画像を示すデータに基づいて、各画素に設けられた表示素子を発光させて、もしくは各画素に設けられた表示素子に対応する液晶の偏光特性を制御して、当該出力画像を表示させる。
【００３４】
画像拡大部２０は、表示部３０の解像度よりも低い解像度のディスプレイに用いられる画像（低解像度画像）のデータが入力される。言い換えると、画像拡大部２０に入力されるデータは、一画面が規定された画像を、表示部３０の画素数よりも少ない画素数で示している。すなわち、この明細書において、解像度は、一画面の画像を構成する画素数に対応している。画像拡大部２０は、入力された低解像度画像を表示部３０の画素数に対応した高解像度画像にアップスケーリング（アップコンバート）して出力する。ここでの変換は、補間処理等の公知の技術が用いられる。この変換によって、入力された低解像度画像と比較してエッジがなまった画像になっている。
【００３５】
画像処理装置１０は、画像拡大部２０において高解像度化された画像が入力される。この画像を以下の説明では入力画像Ｏｒｇという。画像処理装置１０は、入力画像Ｏｒｇのエッジを強調する処理を行って出力する。なお、画像処理装置１０は、入力画像Ｏｒｇに予め平滑化フィルタなどのノイズ除去フィルタを適用しておき、適用後の輝度値に基づいて下記に示す各ゲインを算出するようにしてもよい。
【００３６】
なお、以下の実施形態では、画像処理装置１０は、入力画像Ｏｒｇの輝度値に基づいて下記に示す各ゲインを算出する例を示しているが、入力画像Ｏｒｇの輝度値の代わりに、入力画像Ｏｒｇのコンポーネント信号を入力して、ＲＧＢ個別に各ゲインを算出する構成にしてもよい。
【００３７】
画像処理装置１０から出力される画像を出力画像といい、表示部３０においては、この出力画像が表示される。続いて、画像処理装置１０の詳細の構成を説明する。
【００３８】
［画像処理装置１０の構成］
図２は、本発明の一実施形態における画像処理装置１０の構成を示すブロック図である。画像処理装置１０は、ステップゲイン算出部１１０、ラインゲイン算出部１２０、ラインゲイン補正部１３０、ステップゲイン補正部１５０、およびゲイン適用部１４０を備える。ステップゲイン算出部１１０は、水平ステップゲイン算出部１１２、垂直ステップゲイン算出部１１４、およびこれらの出力を加算する加算器１１６を備える。水平ステップゲイン算出部１１２は、ゲインの算出対象となる画素（以下、注目画素という）に対して水平方向（走査線の延びる方向）に並ぶ画素を用いて、水平成分のステップゲイン算出処理を行う。また、垂直ステップゲイン算出部１１４は、注目画素に対して垂直方向（データ線が延びる方向）に並ぶ画素を用いて、垂直成分のステップゲイン算出処理を行う。このそれぞれの算出処理によって得られたステップゲインを加算器１１６において加算し、ステップゲインＧａｉｎＳとしてステップゲイン算出部１１０から出力される。ステップゲイン算出処理は、ステップエッジを強調するため式を用いてゲインを算出する処理である。
【００３９】
ラインゲイン算出部１２０は、水平ラインゲイン算出部１２２、垂直ラインゲイン算出部１２４、およびこれらの出力を加算する加算器１２６を備える。水平ラインゲイン算出部１２２は、注目画素に対して水平方向に並ぶ画素を用いて、水平成分のラインゲイン算出処理を行う。また、垂直ラインゲイン算出部１２４は、注目画素に対して垂直方向に並ぶ画素を用いて、垂直成分のラインゲイン算出処理を行う。このそれぞれの算出処理によって得られたラインゲインを加算器１２６において加算し、ラインゲインＧａｉｎＬとしてラインゲイン算出部１２０から出力される。ラインゲイン算出処理は、ラインエッジを強調するため式を用いてゲインを算出する処理である。
【００４０】
ラインゲイン補正部１３０は、ラインゲインＧａｉｎＬをブレンド係数に基づいて補正し、補正ラインゲインＧａｉｎＬＢを出力する。ラインエッジは、後述するように白線であるか黒線であるかによってラインゲインを異ならせる必要があるためラインゲインＧａｉｎＬを補正する必要がある。これを補正するためのブレンド係数の算出方法については別途述べる。
【００４１】
ステップゲイン補正部１５０は、ステップゲインＧａｉｎＳをステップゲイン補正係数ＣｔｌＳに基づいて補正し、補正ステップゲインＧａｉｎＳＣｔｌを出力する。このステップゲイン補正処理は、ラインエッジに対して、ステップゲインの影響が少なくなるようにするための処理である。ステップゲイン補正係数の算出方法については別途述べる。
【００４２】
ゲイン適用部１４０は、入力画像Ｏｒｇに対して、補正ステップゲインＧａｉｎＳＣｔｌおよび補正ラインゲインＧａｉｎＬＢに応じたゲインを適用して出力画像として出力する。
【００４３】
続いて、ステップゲイン算出処理、ラインゲイン算出処理およびラインゲイン補正部１３０、ステップゲイン補正部１５０の構成と動作について、順に説明する。
【００４４】
［ステップゲイン算出処理］
ステップゲイン算出処理について説明する。ステップゲイン算出処理は、ステップエッジを強調するための式を用いてゲインを算出する処理である。ここでは、水平成分のステップゲイン算出処理を例に説明する。なお、垂直成分であっても算出に用いられる画素が異なるだけであるから、説明を省略する。
【００４５】
ステップゲインの算出には、ＧｒａｄｉｅｎｔとＬａｐｌａｃｉａｎとを利用する。Ｇｒａｄｉｅｎｔとは、注目画素の右隣の画素の輝度値から左隣の画素の輝度値を減算した値であり、式（１）で表される。なお、ｘは対象画素を示し、ｘ＋１は右隣の画素、ｘ−１は左隣の画素を示している。ｇｒａｄはＧｒａｄｉｅｎｔを示し、ｌｕｍは輝度値を示している。
【００４６】
【数１】
2015114729.tif 000003
【００４７】
Ｌａｐｌａｃｉａｎとは、注目画素の右隣の画素の輝度値に左隣の画素の輝度値を加えたものから注目画素の輝度値の２倍を減算した値であり、式（２）で表される。ｌａｐはＬａｐｌａｃｉａｎを示している。
【００４８】
【数２】
2015114729.tif 000004
【００４９】
また、Ｇｒａｄｉｅｎｔの絶対値を１に正規化するために、ＧｒａｄｉｅｎｔにＭａｘフィルタを適用したｇｒａｎｄＭａｘを算出する。Ｍａｘフィルタとは、例えば、注目画素の前後３画素（右側に隣接する３画素と左側に隣接する３画素）のＧｒａｄｉｅｎｔの最大値であり、式（３）で表される。
【００５０】
【数３】
2015114729.tif 000005
【００５１】
図３は、本発明の一実施形態におけるステップゲイン算出部１１０の算出方法を説明する図である。図３は、入力画像Ｏｒｇがステップエッジを示すときのＬａｐｌａｃｉａｎ、Ｇｒａｄｉｅｎｔ、およびｇｒａｄＭａｘを示した図である。これらは、上記の式（１）〜（３）により算出される。
【００５２】
続いて、ステップゲインＧａｉｎＳは、Ｇｒａｄｉｅｎｔの絶対値を正規化したものとＬａｐｌａｃｉａｎと予め設定したパラメータｐＳｔｅｐとを乗算したものであり、式（４）で表される。ｐＳｔｅｐは、エンハンス強度を調整するパラメータである。
【００５３】
【数４】
2015114729.tif 000006
【００５４】
図４は、本発明の一実施形態におけるステップエッジがステップゲインにより強調された例を説明する図である。図４に示すステップゲインＧａｉｎＳは、上記の式（４）によって算出される。ＥｎｈＳは、Ｏｒｇに対してＧａｉｎＳを適用した場合の輝度値である。この例では、ＥｎｈＳ＝Ｏｒｇ＋ＧａｉｎＳである。
【００５５】
上述のように、ステップゲインＧａｉｎＳを算出するときに、Ｌａｐｌａｃｉａｎのみでなく、Ｇｒａｄｉｅｎｔの絶対値を混合することで、ステップエッジの中央部分へのＬａｐｌａｃｉａｎの影響を強くする。この算出方法により、リンギングの発生を抑制しつつも、ステップエッジをより急峻にして強調することができる。また、クリップ処理を用いないため、自然な画像を維持することもできる。なお、ステップゲインの算出はステップエッジに有効に用いられるが、ラインエッジに対しては、エッジを急峻にする効果はあるが、線幅を細くする効果はない。このため、ラインエッジに対してステップゲインをそのまま加えてしまうと、ラインゲインが線幅を細くする効果を半減させてしまう。そこで後述するステップゲイン補正部１５０において、ラインエッジに対してはステップゲインの影響が少なくなるよう、ステップゲインを補正する。
【００５６】
［ラインゲイン算出処理］
ラインゲイン算出処理について説明する。ラインゲイン算出処理は、ラインエッジを強調するための式を用いてゲインを算出する処理である。ここでは、水平成分のラインゲイン算出処理を例に説明する。なお、垂直成分であっても算出に用いられる画素が異なるだけであるから、説明を省略する。
【００５７】
ラインゲインの算出には、ステップゲインと同様にＧｒａｄｉｅｎｔとＬａｐｌａｃｉａｎとを利用する。ラインゲインでは、Ｇｒａｄｉｅｎｔの絶対値に予め設定したパラメータｐＬｉｎｅ１を乗算したものをＬａｐｌａｃｉａｎの絶対値から減算し、ラインゲインシードｓｅｅｄが得られる。ｓｅｅｄは、式（５）で表される。パラメータｐＬｉｎｅ１は、ｐｅａｋ（峰）／Ｆｏｏｔ（裾野）の割合を調整するパラメータである。
【００５８】
【数５】
2015114729.tif 000007
【００５９】
図５は、本発明の一実施形態におけるラインゲイン算出部１２０の算出方法を説明する図である。図５は、入力画像Ｏｒｇがラインエッジを示すときのＬａｐｌａｃｉａｎ、Ｇｒａｄｉｅｎｔ、およびｓｅｅｄを示した図である。これらは、上記の式（１）、（２）、（５）により算出される。
【００６０】
続いて、ラインゲインＧａｉｎＬは、ラインゲインシードｓｅｅｄがＰｅａｋの領域においては予め設定したパラメータｐＬｉｎｅ０Ｐを乗算し、Ｆｏｏｔの領域においては予め設定したパラメータｐＬｉｎｅ０Ｍを乗算して得られ、式（６）で表される。ラインゲインシードｓｅｅｄが「０」より大きい領域をＰｅａｋの領域といい、「０」以下の領域をＦｏｏｔの領域という。ｐＬｉｎｅ０ＰはＰｅａｋ領域のエンハンス強度を調整するパラメータであり、ｐＬｉｎｅ０ＭはＦｏｏｔ領域のエンハンス強度を調整するパラメータである。
【００６１】
【数６】
2015114729.tif 000008
【００６２】
図６は、本発明の一実施形態におけるラインエッジがラインゲインにより強調された例を説明する図である。図６に示すラインゲインＧａｉｎＬは、上記の式（６）によって算出される。ＥｎｈＬは、Ｏｒｇに対してＧａｉｎＬを適用した場合の輝度値である。この例では、ＥｎｈＬ＝Ｏｒｇ＋ＧａｉｎＬである。
【００６３】
上述のように、ラインゲインＧａｉｎＬを算出するときに、Ｌａｐｌａｃｉａｎのみでなく、Ｌａｐｌａｃｉａｎの絶対値からＧｒａｄｉｅｎｔの絶対値の所定割合を減算するように混合することで、ラインエッジの中心付近ではＰｅａｋを高くし、ラインエッジの中心から離れて輝度が緩やかに変化する領域ではＦｏｏｔを低くすることができる。この算出方法により、リンギングの発生を抑制しつつも、ラインエッジをより急峻にして強調し、線幅を細くすることができる。また、クリップ処理を用いないため、自然な画像を維持することもできる。なお、ラインゲインの算出はラインエッジに有効に用いられるが、ステップエッジに対しては、後述するラインゲイン補正部１３０の処理によりゲインがほぼキャンセルされるように作用するため、ラインゲインによる影響は少ない。
【００６４】
なお、上述したステップゲインおよびラインゲインの算出式は一例であって、同様の特性が得られるのであれば、他の算出式であってもよい。特に、ＧｒａｄｉｅｎｔやＬａｐｌａｃｉａｎを算出するときには、様々な方法が考えられる。例えば、注目画素の右隣２つの画素の輝度値の合計から注目画素の左隣２つの画素の輝度値の合計を減算した値であってもよい。また、注目画素の右隣およびその上下の画素の輝度値の合計から、注目画素の左隣およびその上下の画素の輝度値の合計を減算した値であってもよい。
【００６５】
ここで、図５、６に示すような白線を対象としたものであれば、上記のラインゲインの算出方法が適用できるが、黒線を対象とした場合には、ＥｎｈＬ＝Ｏｒｇ−ＧａｉｎＬにする必要がある。これは、白線であっても黒線であっても、Ｌａｐｌａｃｉａｎの絶対値とＧｒａｄｉｅｎｔの絶対値を用いて算出されるラインゲインシードｓｅｅｄは、同じ極性になってしまうためである。
【００６６】
そのため、以下に説明するとおり、ラインゲイン補正部１３０において、Ｏｒｇに適用するときのＧａｉｎＬの混合割合を示すブレンド係数を算出することで、ラインゲインを補正する必要がある。すなわち、ＥｎｈＬ＝Ｏｒｇ＋ブレンド係数×ＧａｉｎＬする。この例では、ブレンド係数は、−１以上＋１以下の範囲のいずれかになるように算出される。以下の説明において、ブレンド係数×ＧａｉｎＬをＧａｉｎＬＢといい、補正されたラインゲインに対応する。
【００６７】
［ラインゲイン補正部１３０の構成］
図７は、本発明の一実施形態におけるラインゲイン補正部１３０の構成を示すブロックる図である。ラインゲイン補正部１３０は、加算器１３２２、減算器１３４２、ＬＰＦ（ローパスフィルタ）１３２４、１３４４、ＢＭ（ブロックマッチング部）１３２６、１３４６、および補正部１３３０を備える。
【００６８】
加算器１３２２は、ＯｒｇとＧａｉｎＬとを加算して出力する（ＥｎｈＰ）。ＥｎｈＰは、ラインエッジが白線であると仮定して、ラインゲインを適用した場合の輝度値である。ＬＰＦ１３２４は、ＥｎｈＰに対してローパスフィルタを適用しＥｎｈＬＰを得る。フィルタ係数等のパラメータは予め決められている。
【００６９】
ＢＭ１３２６は、ＥｎｈＬＰについて、ブロックマッチングによりＯｒｇとの差分ＤｉｆｆＰを算出する。ＤｉｆｆＰは、この例では、式（７）により表されるＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）  Ｂｌｏｃｋ  Ｍａｔｃｈｉｎｇを用いて算出される。ＯｒｇとＥｎｈＬＰとが近いほどＤｉｆｆＰが小さくなる。なお、ＳＳＤ（Ｓｕｍ  ｏｆ  Ｓｑｕｅｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ）  Ｂｌｏｃｋ  ＭａｔｃｈｉｎｇなどＯｒｇとＥｎｈＬＰとの相関が得られる方法であれば別の方法で算出されてもよい。
【００７０】
【数７】
2015114729.tif 000009
【００７１】
ここで、ＬｕｍＯｒｇ（ｘ，ｙ）は、画素（ｘ，ｙ）におけるＯｒｇの輝度値であり、ＬｕｍＥｎｈＬＰ（ｘ，ｙ）は、画素（ｘ，ｙ）におけるＥｎｈＬＰの輝度値である。
【００７２】
減算器１３４２は、ＯｒｇからＧａｉｎＬを減算して出力する（ＥｎｈＭ）。ＥｎｈＭは、ラインエッジが黒線であると仮定して、ラインゲインを適用した場合の輝度値である。ＬＰＦ１３４４は、ＥｎｈＭに対してローパスフィルタを適用しＥｎｈＬＭを得る。フィルタ係数等のパラメータは予め決められている。
【００７３】
ＢＭ１３４６は、ＥｎｈＬＭについて、ブロックマッチングによりＯｒｇとの差分ＤｉｆｆＭを算出する。ＤｉｆｆＭは、上述のＢＭ１３２６と同様に、式（８）により表されるＳＡＤ  Ｂｌｏｃｋ  Ｍａｔｃｈｉｎｇを用いて算出される。ＯｒｇとＥｎｈＬＭとが近いほどＤｉｆｆＭが小さくなる。
【００７４】
【数８】
2015114729.tif 000010
【００７５】
図８は、本発明の一実施形態におけるラインゲイン補正部１３０におけるブレンド係数を算出するときの白線の影響を説明する図である。図８（ａ）は、Ｏｒｇが白線である場合に、ＯｒｇにＧａｉｎＬが加算される経路（加算器１３２２、ＬＰＦ１３２４、ＢＭ１３２６の経路）においてＤｉｆｆＰが小さくなることを示している。一方、図８（ｂ）は、Ｏｒｇが白線である場合に、ＯｒｇからＧａｉｎＬが減算される経路（減算器１３４２、ＬＰＦ１３４４、ＢＭ１３４６の経路）においてＤｉｆｆＭが大きくなることを示している。
【００７６】
図９は、本発明の一実施形態におけるラインゲイン補正部１３０におけるブレンド係数を算出するときの黒線の影響を説明する図である。図９（ａ）は、Ｏｒｇが黒線である場合に、ＯｒｇにＧａｉｎＬが加算される経路（加算器１３２２、ＬＰＦ１３２４、ＢＭ１３２６の経路）においてＤｉｆｆＰが大きくなることを示している。一方、図９（ｂ）は、Ｏｒｇが黒線である場合に、ＯｒｇからＧａｉｎＬが減算される経路（減算器１３４２、ＬＰＦ１３４４、ＢＭ１３４６の経路）においてＤｉｆｆＭが小さくなることを示している。
【００７７】
図８、９に示すように、ラインエッジが白線に近いほどＤｉｆｆＰが小さくＤｉｆｆＭが大きくなる一方、黒線に近いほどＤｉｆｆＰが大きくＤｉｆｆＭが小さくなる。補正部１３３０は、この特徴を用いてブレンド係数を算出する。
【００７８】
図７に戻って説明を続ける。補正部１３３０は、ＤｉｆｆＰとＤｉｆｆＭとに基づいてブレンド係数を算出し、ブレンド係数に基づいてＧａｉｎＬを補正する。補正部１３３０は、ＧａｉｎＬを補正して得られるＧａｉｎＬＢを出力する。ＤｉｆｆＰとＤｉｆｆＭとを用いたブレンド係数は、例えば、以下の式（９）で算出される。
【００７９】
【数９】
2015114729.tif 000011
【００８０】
ＢＲはブレンド係数であり、−１以上＋１以下の値を取り得る。ブレンド係数ＢＲは、ラインエッジが白線であれば＋１に近くなり、黒線であれば−１に近くなる。なお、上述したとおり、Ｏｒｇがステップエッジであった場合、ＤｉｆｆＰとＤｉｆｆＭとが近い値になるため、ブレンド係数ＢＲは、ほぼ「０」になるため、ラインゲインの影響をほとんど受けない。
【００８１】
補正部１３３０は、算出したブレンド係数ＢＲとラインゲインＧａｉｎＬとを乗算し、補正ラインゲインＧａｉｎＬＢ（＝ＢＲ×ＧａｉｎＬ）を出力する。上記の通り、白線であればブレンド係数ＢＲは「＋１」に近くなるため、Ｏｒｇにゲインを加算する方向に作用する（図８（ａ）に相当）。一方、黒線であればブレンド係数ＢＲ「−１」に近くなるため、Ｏｒｇにゲインを減算する方向に作用する（図９（ｂ）に相当）。
【００８２】
［ステップゲイン補正部１５０の構成］
ステップゲイン補正処理について説明する。ステップゲイン補正処理では、ラインエッジが入力された場合にステップゲインをキャンセルする機能である。ステップゲイン補正処理ではラインゲインの絶対値にＭａｘフィルタを適用したＧａｉｎＬＭａｘを使用する。Ｍａｘフィルタとは、例えば、注目画素の上下左右３画素を含む矩形領域の最大値であり、式（１０）で示される。
【００８３】
【数１０】
2015114729.tif 000012
【００８４】
続いて、ステップゲイン補正係数ＣｔｌＳは、式（１１）、式（１２）で示される。ｐＳｔｅｐＣｔｌは、ラインエッジに対するステップゲインの影響度を調整するパラメータである。
【００８５】
【数１１】
2015114729.tif 000013
【００８６】
【数１２】
2015114729.tif 000014
【００８７】
続いて、補正ステップゲインＧａｉｎＳＣｔｌは、ステップゲイン補正係数ＣｔｌＳに、ステップゲインＧａｉｎＳを乗算したものであり、式（１３）で示される。
【００８８】
【数１３】
2015114729.tif 000015
【００８９】
図１０は、本発明の一実施形態におけるラインゲインに対してステップゲイン補正処理を行った様子を説明する図である。図１０は入力画像Ｏｒｇがラインエッジを示す時のＧａｉｎＬ、ＧａｉｎＳ、ＧａｉｎＬＭａｘ、ＧａｉｎＳＣｔｌを示した図である。ラインエッジ近傍ではステップゲイン補正係数ＣｔｌＳが０に近い値となるため、補正ステップゲインＧａｉｎＳＣｔｌは０に近い値となる。
【００９０】
図１１は、本発明の一実施形態におけるステップゲインに対してステップゲイン補正処理を行った様子を説明する図である。図１１は入力画像Ｏｒｇがステップエッジを示す時のＧａｉｎＬ、ＧａｉｎＳ、ＧａｉｎＬＭａｘ、ＧａｉｎＳＣｔｌを示した図である。前述の通り、ステップエッジに対してはラインゲインがキャンセルされるため、ステップエッジ近傍では、ステップゲイン補正係数Ｃｔｌｓが１に近い値となる。これにより、補正ステップゲインＧａｉｎＳＣｔｌはＧａｉｎＳに近い値となる。
【００９１】
図２に戻って説明を続ける。ゲイン適用部１４０はＯｒｇに対して、ＧａｉｎＳＣｔｌおよびＧａｉｎＬＢを適用し、出力画像を生成する。この例では、Ｏｒｇ＋ＧａｉｎＳＣｔｌ＋ＧａｉｎＬＢが出力画像である。この出力画像は、表示部３０に出力される。
【００９２】
このように、本願の実施形態における画像処理装置１０は、ステップゲイン算出処理において、Ｌａｐｌａｃｉａｎのみでなく、Ｇｒａｄｉｅｎｔの絶対値を混合した値を用いることで、リンギングの発生を抑制しつつも、ステップエッジをより急峻にすることができる。また、ラインゲイン算出処理において、Ｌａｐｌａｃｉａｎのみでなく、Ｌａｐｌａｃｉａｎの絶対値からＧｒａｄｉｅｎｔの絶対値の所定割合を減算するように混合した値を用いることで、リンギングの発生を抑制しつつも、ラインエッジをより急峻にして線幅を細くすることができる。また、クリップ処理を用いないため、自然な画像を維持することもできる。
【００９３】
なお、上記の表示装置１において、画像処理装置１０は、図１に示すように画像拡大部２０の後段に配置されアップスケーリングされた画像に対してエッジ強調を行う例を示したが、画像拡大部２０が存在しなくてもよい。この場合、この表示装置では解像度変換は行わずに入力画像に対してエッジ強調のみを行う。
【００９４】
なお、上記の画像処理装置１０の各構成は、プログラムを実行することにより実現されるようにしてもよい。この場合には、画像処理装置１０は、プログラムを記憶するメモリ、およびそのプログラムを実行するＣＰＵを備えるコンピュータであればよい。このプログラムは、磁気記録媒体、光記録媒体、光磁気記録媒体、半導体メモリなどのコンピュータで読み取り可能な記録媒体に記憶した状態で提供されてもよい。また、各プログラムは、ネットワーク経由でダウンロードされてもよい。
【符号の説明】
【００９５】
１…表示装置、１０…画像処理装置、２０…画像拡大部、３０…表示部、１１０…ステップゲイン算出部、１１２…水平ステップゲイン算出部、１１４…垂直ステップゲイン算出部、１１６…加算器、１２０…ラインゲイン算出部、１２２…水平ラインゲイン算出部、１２４…垂直ラインゲイン算出部、１２６…加算器、１３０…ラインゲイン補正部、１５０…ステップゲイン補正部、１４０…ゲイン適用部、１３２２…加算器、１３２４…ＬＰＦ、１３２６…ＢＭ、１３４２…減算器、１３４４…ＬＰＦ、１３４６…ＢＭ、１３３０…補正部
【図１】
2015114729.tif 000016
【図２】
2015114729.tif 000017
【図３】
2015114729.tif 000018
【図４】
2015114729.tif 000019
【図５】
2015114729.tif 000020
【図６】
2015114729.tif 000021
【図７】
2015114729.tif 000022
【図８】
2015114729.tif 000023
【図９】
2015114729.tif 000024
【図１０】
2015114729.tif 000025
【図１１】
2015114729.tif 000026