(57)【要約】【課題】ナイキスト周波数を超える周波数成分により画像を先鋭化する。【解決手段】本発明に係る画像強調装置１は、入力画像を鮮鋭化した出力画像を生成する画像強調装置１であって、前記入力画像を表す入力画像信号に含まれる周波数成分の少なくとも直流成分を除去することにより第１信号を生成するフィルタ部１０と、前記第１信号に対して前記第１信号の正負で非対称となる非線形処理を行い第２信号を生成する非線形処理部２０と、前記第２信号を調整して第３信号を生成するリミッタ３０と、前記第３信号を前記入力画像信号に加算して前記出力画像を表す出力画像信号を生成する加算部５０と、を備える。【選択図】図１
2014036380.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を鮮鋭化した出力画像を生成する画像強調装置であって、
前記入力画像を表す入力画像信号に含まれる周波数成分の少なくとも直流成分を除去することにより第１信号を生成するフィルタ部と、
前記第１信号に対して前記第１信号の正負で非対称となる非線形処理を行い第２信号を生成する非線形処理部と、
前記第２信号を調整して第３信号を生成するリミッタと、
前記第３信号を前記入力画像信号に加算して前記出力画像を表す出力画像信号を生成する加算部と、を備える画像強調装置。
【請求項２】
切替器を備え、
前記非線形処理部は、前記第１信号に前記第１信号の正負で非対称となる非線形処理を複数種類行い複数種類の第２信号を生成し、
前記切替器は、前記入力画像信号の信号レベルに応じて、画素毎に前記複数種類の第２信号から１つの第２信号を選択して第４信号を生成し、
前記リミッタは、前記第４信号を調整して前記第３信号を生成する、請求項１に記載の画像強調装置。
【請求項３】
前記切替器は、前記信号レベルが所定値以下の画素について、前記複数種類の第２信号から、前記第１信号の正領域での変化率が大きい第２信号を選択して前記第４信号を生成する、請求項２に記載の画像強調装置。
【請求項４】
前記切替器は、前記信号レベルが所定値より高い画素について、前記複数種類の第２信号から、前記第１信号の負領域での変化率が大きい第２信号を選択して前記第４信号を生成する、請求項２又は３に記載の画像強調装置。
【請求項５】
切替器を備え、
前記切替器は、前記入力画像信号の信号レベルに応じて、画素毎に前記第１信号又は前記第２信号の一方を選択して第４信号を生成し、
前記リミッタは、前記第４信号を調整して前記第３信号を生成する、
請求項１に記載の画像強調装置。
【請求項６】
前記切替器は、前記信号レベルが所定の上限及び下限の範囲に含まれる画素について、前記第２信号を選択して前記第４信号を生成する、請求項５に記載の画像強調装置。
【請求項７】
前記入力画像信号の各画素について、周囲の画素を含む所定エリアの平均信号レベルを算出するエリアフィルタを備え、
前記切替器は、前記各画素の前記平均信号レベルに基づき前記第４信号を生成する、請求項２乃至６のいずれか一項に記載の画像強調装置。
【請求項８】
入力画像を鮮鋭化した出力画像を生成する画像強調装置における画像強調方法であって、前記画像強調装置による処理手順が、
前記入力画像を表す入力画像信号に含まれる周波数成分の少なくとも直流成分を除去することにより第１信号を生成するステップと、
前記第１信号に対して前記第１信号の正負で非対称となる非線形処理を行い第２信号を生成する非線形処理ステップと、
前記第２信号を調整して第３信号を生成する調整ステップと、
前記第３信号を前記入力画像信号に加算して前記出力画像を表す出力画像信号を生成するステップと、を含む画像強調方法。
【請求項９】
切替ステップをさらに含み、
前記非線形処理ステップにおいて、前記第１信号に前記第１信号の正負で非対称となる非線形処理を複数種類行い複数種類の第２信号を生成し、
前記切替ステップにおいて、前記入力画像信号の信号レベルに応じて、画素毎に前記複数種類の第２信号から１つの第２信号を選択して第４信号を生成し、
前記調整ステップにおいて、前記第４信号を調整して前記第３信号を生成する、請求項８に記載の画像強調方法。
【請求項１０】
前記切替ステップにおいて、前記信号レベルが所定値以下の画素について、前記複数種類の第２信号から、前記第１信号の正領域での変化率が大きい第２信号を選択して前記第４信号を生成する、請求項９に記載の画像強調方法。
【請求項１１】
前記切替ステップにおいて、前記信号レベルが所定値より高い画素について、前記複数種類の第２信号から、前記第１信号の負領域での変化率が大きい第２信号を選択して前記第４信号を生成する、請求項９又は１０に記載の画像強調方法。
【請求項１２】
切替ステップをさらに含み、
前記切替ステップにおいて、前記入力画像信号の信号レベルに応じて、画素毎に前記第１信号又は前記第２信号の一方を選択して第４信号を生成し、
前記調整ステップは、前記第４信号を調整して前記第３信号を生成する、
請求項８に記載の画像強調方法。
【請求項１３】
前記切替ステップにおいて、前記信号レベルが所定の上限及び下限の範囲に含まれる画素について、前記第２信号を選択して前記第４信号を生成する、請求項１２に記載の画像強調方法。
【請求項１４】
前記入力画像信号の各画素について、周囲の画素を含む所定エリアの平均信号レベルを算出するステップをさらに含み、
前記切替ステップにおいて、前記各画素の前記平均信号レベルに基づき前記第４信号を生成する、請求項９乃至１３のいずれか一項に記載の画像強調方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を鮮鋭化して画質を改善するための画像強調装置及び画像強調方法に関し、例えばテレビジョン（ＴＶ）受像機でリアルタイムに表示される動画の鮮鋭化に好適な画像強調装置及び画像強調方法に関する。
【背景技術】
【０００２】
画像を鮮鋭化して画質を改善するための画像強調処理は、従来より広く知られている。例えば、従来のテレビジョン受像機において、表示される画像の輪郭部に相当する映像信号の立ち上がりや立ち下がりを急にする輪郭補償が行われている。この輪郭補償では、入力画像信号（輝度信号）の高周波成分を抽出し、その高周波成分を増幅して入力画像信号に加算することにより、視覚上の画質を向上させている。図１２は、従来の画像強調処理による画像の信号レベルの波形変化を示す図である。図１２（Ａ）は、入力画像信号の水平方向の信号レベルの波形を示す図であり、特に、水平方向に信号レベルが変化するエッジに相当する部分の波形を示す図である。図１２（Ｂ）は、入力画像信号から抽出された高周波成分であり、この高周波成分を増幅して入力画像信号に加算することにより、図１２（Ｃ）に示すエッジの立ち上がり変化が急となった出力画像信号を得ることができる。
【０００３】
また、近年、特に入力画像をより高解像度の出力画像にアップコンバートし、当該アップコンバートした画像の強調処理を行う超解像と呼ばれる技術も提案されている（例えば、非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】S. Farsiu, D. Robinson, M. Elad, and P. Milanfar, "Fast and Robust Multi-frame Super-resolution", IEEE Transactions on Image Processing, vol. 13, no. 10, pp. 1327-1344, October 2004.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の画像強調処理は、線形のデジタル信号処理に基づくものであることから、ナイキスト周波数よりも高い周波数成分、すなわち対象となる画像のサンプリング周波数の１／２よりも高い周波数成分を生成することができない。このため、画質改善のために、ナイキスト周波数を超える周波数成分を生成、利用して画像を鮮鋭化することはできなかった。
【０００６】
例えば、フルハイビジョン（ＨＤＴＶ：High Definition Television、１０８０×１９２０画素)のテレビジョン受信機で、解像度がＨＤＴＶに満たない画像信号を拡大表示する場合には、画像がぼやけて表示される。また、ＨＤＴＶの解像度を持つ画像信号をより高精細な解像度（例えば４０００×２０００画素程度の４Ｋ解像度）に拡大した場合も同様に画像がぼやけて表示される。このように画像がぼやける原因は、拡大処理後の画像信号には、拡大前の元画像のナイキスト周波数までの周波数成分しか含まれておらず、拡大後の画像のナイキスト周波数近傍の周波数成分が含まれていないためである。
【０００７】
以下、画像の拡大、強調処理による周波数成分の変化を図１３により説明する。図１３（Ａ）は、サンプリング周波数がｆｓであるデジタル画像信号の周波数スペクトルを示し、図１３（Ｂ）は、このデジタル画像信号をアップコンバートして画素数を水平方向に２倍に拡大した場合の周波数スペクトルである。拡大処理後のサンプリング周波数Ｆｂｓは元のサンプリング周波数ｆｓの２倍となる（Ｆｓｂ＝２・ｆｓ）。ここで、図１３（Ｂ）に示すとおり、アップコンバート後のデジタル画像信号においては、元のサンプリング周波数ｆｓに対応するナイキスト周波数ｆｓ／２と、新たなサンプリング周波数Ｆｂｓに対応する新たなナイキスト周波数Ｆｂｓ／２＝ｆｓとの間には、周波数成分が存在しない。
【０００８】
図１３（Ｃ）は、アップコンバート後のデジタル画像信号に対し、従来の線形デジタル信号処理による画像強調処理を行った場合の周波数スペクトルを示している。図示の通り、線形デジタル信号処理による画像強調処理により、元のナイキスト周波数ｆｓ／２近傍の周波数成分は増大している。しかし、従来の線形デジタル信号処理による画像強調処理では、元のナイキスト周波数ｆｓ／２を超える周波数成分が生成されることはない。そのため、従来の線形デジタル信号処理による画像強調処理では、例えば図１３（Ｄ）に例示するように、元のナイキスト周波数ｆｓ／２を超えて、新たなナイキスト周波数Ｆｂｓ／２近傍の周波数成分が生成されることはない。すなわち、アップコンバート後のデジタル画像信号に対し、画質改善のために、ナイキスト周波数を超える周波数成分を生成、利用して画像を鮮鋭化することはできなかった。
【０００９】
また、非特許文献１などに記載の従来の超解像技術は、サンプリング周波数が同じ複数のフレームに繰り返し演算処理を施し、各フレームから解像度の高い画素を選択して合成することにより画像強調処理を行うものである。そのため、画像によっては正しく復元できないことがあるため、動画では破綻画像が突然現れたりするようなチラつきが発生する可能性があり、また、複数フレームを使っての演算の処理量が非常に重いという問題があった。
【００１０】
そこで本発明は、複数フレームに対する繰り返し演算なしで、ナイキスト周波数を超える周波数成分により画像を先鋭化することが可能な画像強調装置及び画像強調方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上述した諸課題を解決すべく、本発明に係る画像強調装置は、入力画像を鮮鋭化した出力画像を生成する画像強調装置であって、前記入力画像を表す入力画像信号に含まれる周波数成分の少なくとも直流成分を除去することにより第１信号を生成するフィルタ部と、前記第１信号に対して前記第１信号の正負で非対称となる非線形処理を行い第２信号を生成する非線形処理部と、前記第２信号を調整して第３信号を生成するリミッタと、前記第３信号を前記入力画像信号に加算して前記出力画像を表す出力画像信号を生成する加算部と、を備える。
【００１２】
また、切替器を備え、前記非線形処理部は、前記第１信号に前記第１信号の正負で非対称となる非線形処理を複数種類行い複数種類の第２信号を生成し、前記切替器は、前記入力画像信号の信号レベルに応じて、画素毎に前記複数種類の第２信号から１つの第２信号を選択して第４信号を生成し、前記リミッタは、前記第４信号を調整して前記第３信号を生成する、ことが好ましい。
【００１３】
また、前記切替器は、前記信号レベルが所定値以下の画素について、前記複数種類の第２信号から、前記第１信号の正領域での変化率が大きい第２信号を選択して前記第４信号を生成する、ことが好ましい。
【００１４】
また、前記切替器は、前記信号レベルが所定値より高い画素について、前記複数種類の第２信号から、前記第１信号の負領域での変化率が大きい第２信号を選択して前記第４信号を生成する、ことが好ましい。
【００１５】
また、切替器を備え、前記切替器は、前記入力画像信号の信号レベルに応じて、画素毎に前記第１信号又は前記第２信号の一方を選択して第４信号を生成し、前記リミッタは、前記第４信号を調整して前記第３信号を生成する、ことが好ましい。
【００１６】
また、前記切替器は、前記信号レベルが所定の上限及び下限の範囲に含まれる画素について、前記第２信号を選択して前記第４信号を生成する、ことが好ましい。
【００１７】
また、前記入力画像信号の各画素について、周囲の画素を含む所定エリアの平均信号レベルを算出するエリアフィルタを備え、前記切替器は、前記各画素の前記平均信号レベルに基づき前記第４信号を生成する、ことが好ましい。
【００１８】
上述したように本発明の解決手段を装置として説明してきたが、本発明はこれらに実質的に相当し、装置が備えるプロセッサにより実行される方法、プログラム、又はプログラムを記録した記憶媒体としても実現し得るものであり、本発明の範囲にはこれらも包含されるものと理解されたい。
【００１９】
例えば、本発明を方法として実現した画像強調方法は入力画像を鮮鋭化した出力画像を生成する画像強調装置における画像強調方法であって、前記画像強調装置による処理手順が、前記入力画像を表す入力画像信号に含まれる周波数成分の少なくとも直流成分を除去することにより第１信号を生成するステップと、前記第１信号に対して前記第１信号の正負で非対称となる非線形処理を行い第２信号を生成する非線形処理ステップと、前記第２信号を調整して第３信号を生成する調整ステップと、前記第３信号を前記入力画像信号に加算して前記出力画像を表す出力画像信号を生成するステップと、を含む。
【００２０】
また、切替ステップをさらに含み、前記非線形処理ステップにおいて、前記第１信号に前記第１信号の正負で非対称となる非線形処理を複数種類行い複数種類の第２信号を生成し、前記切替ステップにおいて、前記入力画像信号の信号レベルに応じて、画素毎に前記複数種類の第２信号から１つの第２信号を選択して第４信号を生成し、前記調整ステップにおいて、前記第４信号を調整して前記第３信号を生成する、ことが好ましい。
【００２１】
また、前記切替ステップにおいて、前記信号レベルが所定値以下の画素について、前記複数種類の第２信号から、前記第１信号の正領域での変化率が大きい第２信号を選択して前記第４信号を生成する、ことが好ましい。
【００２２】
また、前記切替ステップにおいて、前記信号レベルが所定値より高い画素について、前記複数種類の第２信号から、前記第１信号の負領域での変化率が大きい第２信号を選択して前記第４信号を生成する、ことが好ましい。
【００２３】
また、切替ステップをさらに含み、前記切替ステップにおいて、前記入力画像信号の信号レベルに応じて、画素毎に前記第１信号又は前記第２信号の一方を選択して第４信号を生成し、前記調整ステップは、前記第４信号を調整して前記第３信号を生成する、ことが好ましい。
【００２４】
また、前記切替ステップにおいて、前記信号レベルが所定の上限及び下限の範囲に含まれる画素について、前記第２信号を選択して前記第４信号を生成する、ことが好ましい。
【００２５】
また、前記入力画像信号の各画素について、周囲の画素を含む所定エリアの平均信号レベルを算出するステップをさらに含み、前記切替ステップにおいて、前記各画素の前記平均信号レベルに基づき前記第４信号を生成する、ことが好ましい。
【発明の効果】
【００２６】
本発明に係る画像強調装置及び画像強調方法によれば、複数フレームに対する繰り返し演算なしで、ナイキスト周波数を超える周波数成分により画像を先鋭化することが可能となる。
【図面の簡単な説明】
【００２７】
【図１】第１実施形態に係る画像強調装置の構成を示す図である。
【図２】第１実施形態に係る画像の水平方向の信号レベルの波形を示す図である。
【図３】高域通過フィルタの構成の一例を示す図である。
【図４】低域通過フィルタにより構成した高域通過フィルタの一例を示す図である。
【図５】第１実施形態に係る非対称非線形処理を示す図である。
【図６】第２実施形態に係る画像強調装置の構成を示す図である。
【図７】第２実施形態に係る画像の水平方向の信号レベルの波形を示す図である。
【図８】第２実施形態に係る非対称非線形処理を示す図である。
【図９】第３実施形態に係る画像強調装置の構成を示す図である。
【図１０】第４実施形態に係る画像の水平方向の信号レベルの波形を示す図である。
【図１１】第４実施形態に係る非対称非線形処理を示す図である。
【図１２】従来の画像強調処理による画像の信号レベルの波形変化を示す図である。
【図１３】画像の拡大、強調処理による周波数成分の変化を示す図である。
【発明を実施するための形態】
【００２８】
以降、諸図面を参照しながら、本発明の実施態様を詳細に説明する。
【００２９】
（第１実施形態）
図１は、本発明の第１実施形態に係る画像強調装置１の構成を示すブロック図である。この画像強調装置１は、画像を表すデジタル信号として外部から入力される入力画像信号Ｓｉｎに対し、その入力画像信号Ｓｉｎの表す画像を鮮鋭化するための処理（以下「画像強調処理」または単に「強調処理」という）を施す装置であって、高域通過フィルタ（ＨＰＦ）１０と、非線形処理部２０と、リミッタ３０と、加算器５０とを備えている。
【００３０】
入力画像信号Ｓｉｎの表す画像は、静止画であってもよいし動画であってもよく、入力画像信号Ｓｉｎが動画を表す場合、その動画は、例えば標準画質テレビジョン（ＳＤＴＶ：Standard Definition Television）または高精細テレビジョン（ＨＤＴＶ：High Definition Television）の受像機においてリアルタイムで表示される動画であってもよい。
【００３１】
以下、図２に示す画像の水平方向の信号レベル（輝度値）の波形を例に、各構成部の動作及び出力される波形の説明を行う。なお、以下の説明では、画像の水平方向の信号レベルの波形について各構成部の説明を行うが、画像の垂直方向の信号レベルの波形や、動画像における画像間の時間方向の信号レベルの波形についても、各構成部は水平方向と同等の処理で画像強調処理を行うことが可能である点に留意されたい。
【００３２】
図２（Ａ）は、入力画像信号Ｓｉｎの水平方向の信号レベルの波形を示す図であり、特に、水平方向に信号レベルが変化するエッジに相当する部分の波形を示す図である。なお、入力画像信号Ｓｉｎの解像度は、出力画像信号Ｓｏｕｔの解像度に対応するものであり、出力画像の解像度が元の入力画像の解像度より高い場合、入力画像信号Ｓｉｎは、元の入力画像の解像度を出力画像信号Ｓｏｕｔの解像度にアップコンバートしたものである。例えば、画像強調装置１によりＳＤＴＶの画像をＨＤＴＶの画像として出力する場合、入力画像信号Ｓｉｎは、元のＳＤＴＶの画像を既存の線形変換によりＨＤＴＶの解像度に変換した信号となる。
【００３３】
ＨＰＦ１０は、入力画像信号Ｓｉｎに含まれる周波数成分の少なくとも直流成分を除去することにより高周波信号である第１信号Ｓ１を生成する。具体的には、ＨＰＦ１０は、入力画像信号Ｓｉｎの表す画像における輪郭成分を含む高周波成分を抽出し、図２（Ａ）の入力画像信号Ｓｉｎから、図２（Ｂ）の第１信号Ｓ１を抽出する。
【００３４】
図３は、このＨＰＦ１０の構成を示すブロック図である。図３の通り、ＨＰＦ１０は、ｍ−１個の単位遅延素子１１１〜１１（ｍ−１）と、ｍ個の乗算器１２１〜１２ｍと、１個の加算器１３１とから構成されるｍタップ（ｍは３以上）のトランスバーサル型のデジタルフィルタとして構成することができる。この場合、各乗算器１２ｊ（ｊ＝１〜ｍ、以下同じ）は、入力される信号に係数Ｃｊを乗算してその結果を加算器１３１に出力し、係数Ｃｊは、ＨＰＦ１０が、輪郭成分を含む高周波成分を抽出するように設定されている（例えば、ｍ＝３、Ｃ１＝０．５、Ｃ２＝−１、Ｃ３＝０．５）。なお、一般に、高域通過フィルタを実現するよりも低域通過フィルタを実現する方が容易である。図４は、低域通貨フィルタにより構成した高域通過フィルタの一例を示す図である。図４の通り、低域通過フィルタ（以下「ＬＰＦ」という）１１と減算器１２を用いた構成により、図１に示すＨＰＦ１０を実現することができる。
【００３５】
非線形処理部２０は、第１信号Ｓ１に対して、第１信号Ｓ１の正負で非対称となる非線形処理を行い第２信号Ｓ２を生成する。第１信号Ｓ１は、図２（Ｂ）に示すように正方向の輪郭成分と負方向の輪郭成分とを含むものである。ここで、第１信号Ｓ１の正方向及び負方向は、画素的にはそれぞれ白方向及び黒方向となり、両方向について同じ（対称的な）非線形処理を適用するのではなく、異なる（非対称となる）非線形処理を適用することにより、より人間の視覚特性にあったエッジ強調が可能となる。すなわち、非線形処理部２０は、第１信号Ｓ１の正方向の輪郭成分と、負方向の輪郭成分とに異なる（非対称となる）非線形処理を行うものである。これ以降、第１信号Ｓ１の正負で非対称となる非線形処理を、「非対称非線形処理」と称するものとする。
【００３６】
非線形処理部２０による非対称非線形処理は、第１信号Ｓ１の原点（値がゼロとなる点）を中心に、正の領域に適用する非線形処理と負の領域に適用する非線形処理との値が連続している限り、あらゆる非線形処理を組み合わせることができる。本実施形態において、非線形処理部２０は、例えば図５に示すとおり、第１信号Ｓ１が正の場合には、第１信号Ｓ１を３乗して第２信号Ｓ２を生成し（Ｓ２＝Ｓ１３）、第１信号Ｓ１が負の場合には、第１信号Ｓ１を２乗して符号を負としたものを第２信号Ｓ２として生成する（Ｓ２＝−Ｓ１２）ものとする。図２（Ｃ）は、非線形処理部２０による非対称非線形処理による第２信号Ｓ２の波形を示す図である。図示の通り、第２信号Ｓ２は、正の波形が大きく増幅されることになる。
【００３７】
非線形処理部２０が第１信号Ｓ１の正負で非対称となる非線形処理を行うことにより、後述する通り、人間の知覚特性に合った画像強調処理が可能になる。例えば、人間の感覚に基づく法則として、ヴェーバー‐フェヒナーの法則が知られている。この法則を画像認識に当てはめると、輝度が低い領域における輪郭は、輝度が高い領域における輪郭に比べて知覚されやすいといえる。そのため、例えば、非線形処理部２０は、信号レベル（輝度）が低い画素に対して非線形処理部２０の処理を適用することにより、第１信号Ｓ１におけるエッジ強調成分を増幅することが可能となる。
【００３８】
なお、非線形処理部２０による非対称非線形処理は、２乗処理及び３乗処理の組み合わせに限定されず、他の非線形処理を行うことが可能である。例えば、第１信号Ｓ１の正負各領域での非線形処理は、式（１）により表現することができる。各処理部による非線形処理は、p/qで表される一般的な有理数の指数乗をすべて包含する。なお、かかる冪乗処理においては、第１信号Ｓ１の正負は維持されるものであり、例えば、冪乗処理として偶数乗（例えば２乗）を行う場合でも、第１信号Ｓ１が負の場合には、冪乗処理後の値の符号は負に維持される（例えば、Ｓ２＝−Ｓ１２）。
【００３９】
【数１】
2014036380.tif 000003
【００４０】
さらに、非線形処理部２０は、非対称非線形処理について、三角関数（例えばＳ２＝Ｓｉｎ（Ｓ１））、対数関数（例えばＳ２＝ｌｏｇ（｜Ｓ１｜＋１））、ガンマ補正関数（例えばＳ２＝Ｓ１１／２）など、種々の非線形関数を適宜組み合わせて利用することができる。
【００４１】
また、非線形処理部２０は、予め第１信号Ｓ１の信号レベル毎の加算値をテーブルなどで保持しておき、例えば、最小値０から最大値２５５までの値をとる８ビットの信号レベルである場合、第１信号Ｓ１の信号レベルに応じて±１０の範囲の値を加算するなど、式（１）に示す一般式によらない非線形処理を行うことも可能である。
【００４２】
リミッタ３０は、第２信号Ｓ２の振幅（信号レベル）の調整器として機能するものであり、第２信号Ｓ２を調整して第３信号Ｓ３を生成する。具体的には、第２信号Ｓ２の振幅が所定の上限値以下となるようにクリップ処理を行ったり、第２信号Ｓ２に０≦α＜１となる定数αを乗算することにより当該第２信号Ｓ２のレベルのゲイン調整を行う。また、リミッタ３０は、ノイズ除去のため、第２信号Ｓ２における所定の下限値以下の信号値を０とする丸め処理を行うこともできる。リミッタ３０は、クリップ処理、ゲイン調整、丸め処理などを行った第２信号Ｓ２を第３信号Ｓ３として加算器５０に出力する。
【００４３】
加算器５０は、第３信号Ｓ３を画像の鮮鋭化のための補償用信号として入力画像信号Ｓｉｎに加算することにより出力画像信号Ｓｏｕｔを生成する。すなわち、Ｓｏｕｔ＝Ｓｉｎ＋Ｓ３であり、図２（Ａ）の入力画素信号に図２（Ｃ）の第２信号Ｓ２を調整した第３信号Ｓ３を加算することにより、図２（Ｄ）に示す画像強調処理後の信号を生成する。この出力画像信号Ｓｏｕｔにおけるエッジ部の立ち上がり変化は、入力画像信号Ｓｉｎのエッジ部の立ち上がり変化よりも急になる。即ち、入力画像信号Ｓｉｎよりも鮮鋭な画像を得ることができる。なお、加算器５０は、入力画像信号Ｓｉｎと第３信号Ｓ３との間でタイミングを調整するための遅延素子を必要に応じて備えるものである。
【００４４】
本実施形態に係る画像強調装置１は、従来の画像強調装置では補償できなかったナイキスト周波数ｆｓ／２を越える高周波域の補償も可能であることから、拡大処理の施された画像信号の表す画像の鮮鋭化による画質向上において特に効果を奏する。以下、非線形処理部２０による非線形処理により、ナイキスト周波数ｆｓ／２を越える高周波域の補償が可能となる点について更に詳しく説明する。
【００４５】
いま、入力画像信号Ｓｉｎが（水平方向）位置ｘの関数ｆ(ｘ)で表現されるものとし、入力画像信号Ｓｉｎの基本角周波数をωとすると、このｆ(ｘ)は式（２）のようなフーリエ級数で表現することができる。
【００４６】
【数２】
2014036380.tif 000004
【００４７】
ここで、Ｎは、（画像拡大処理前の）サンプリング周波数ｆｓに対応するナイキスト周波数ｆｓ／２を越えない最高周波数の高調波の次数である。すなわち、
Ｎω／（２π）＜ｆｓ／２≦（Ｎ＋１）ω／（２π）
である。
【００４８】
上記式（２）より、関数ｆ(ｘ)で表される入力画像信号Ｓｉｎ（以下「入力信号ｆ(ｘ)」ともいう）の直流成分ａ0以外の部分をｇ(ｘ)とおくと、ｇ（ｘ）は式（３）で表すことができる。
【００４９】
【数３】
2014036380.tif 000005
【００５０】
ＨＰＦ１０から出力される第１信号Ｓ１は、上記信号ｇ(ｘ)または信号ｇ(ｘ)の高周波成分を含んでおり、第１信号Ｓ１は、非線形処理部２０により、第１信号Ｓ１の正負で非対称となる非線形処理を施される。
【００５１】
例えば、非線形処理部２０が、正の第１信号Ｓ１を３乗することにより、第２信号Ｓ２を生成する場合、第２信号Ｓ２における各項は下記式（４ａ）〜（４ｄ）のいずれかで表現される。
【００５２】
【数４】
2014036380.tif 000006
（ｉ＝±１，±２，…，±Ｎ；ｊ＝±１，±２，…，±Ｎ；ｋ＝±１，±２，…，±Ｎ）
【００５３】
いま、例えばｉ＝ｊ＝ｋ＝Ｎの項のうち上記式（４ａ）（４ｄ）で示される下記の項に着目すると、これらの項は、三角関数の公式より次のように書き換えることができる。
【００５４】
【数５】
2014036380.tif 000007
【００５５】
また、例えばｉ＝ｊ＝ｋ＝−Ｎの項のうち上記式（４ａ）（４ｄ）で示される下記の項に着目すると、この項は、三角関数の公式より次のように書き換えることができる。
【００５６】
【数６】
2014036380.tif 000008
【００５７】
上記式（５ａ）（５ｄ）（６ａ）（６ｄ）より、（ｇ(ｘ)）3は、基本角周波数ωの３Ｎ倍の周波数成分や−３Ｎ倍の周波数成分を含む。（ｇ(ｘ)）3における他の項についても三角関数の公式によって書き換えることにより、（ｇ(ｘ)）3は、基本角周波数ωの−３Ｎ倍から３Ｎ倍までの種々の周波数成分を含むことがわかる。
【００５８】
また、非線形処理部２０が、負の第１信号Ｓ１を２乗して符号をマイナスにすることにより、第２信号Ｓ２を生成する場合、第２信号Ｓ２における各項は下記式（７ａ）〜（７ｃ）のいずれかで表現される。
【００５９】
【数７】
2014036380.tif 000009
（ｉ＝±１，±２，…，±Ｎ；ｊ＝±１，±２，…，±Ｎ）
【００６０】
三角関数に関する公式を用いると、上記式（７ａ）〜（７ｃ）は、下記の式（８ａ）〜（８ｃ）にそれぞれ書き直すことができる。
【００６１】
【数８】
2014036380.tif 000010
【００６２】
上記式より（ｇ(ｘ)）2は、（Ｎ＋１）ω，（Ｎ＋２）ω，…，２Ｎω等の角周波数成分を含むので、ナイキスト周波数ｆｓ／２よりも高い周波数成分を含む。このため、第２信号Ｓ２も、周波数２Ｎω／（２π）という高調波成分等のようにナイキスト周波数ｆｓ／２よりも高い周波数成分を含む。
【００６３】
したがって、画素数を水平方向に２倍にする画像拡大処理が施された後の画像信号が入力画像信号Ｓｉｎとして本実施形態の画像強調装置１に入力されると、ＨＰＦ１０を経て、非線形処理部２０の処理により、画像拡大処理前のナイキスト周波数ｆｓ／２よりも高い周波数成分を含む第２信号Ｓ２が生成される。リミッタ３０が出力する第３信号Ｓ３にも、画像拡大処理前のナイキスト周波数ｆｓ／２よりも高い周波数成分は含まれる。このため、入力画像信号Ｓｉｎと補償用信号である第３信号Ｓ３とを加算した出力画像信号Ｓｏｕｔにも、同様に画像拡大処理前のナイキスト周波数ｆｓ／２よりも高い周波数成分が含まれる。その結果、出力画像信号Ｓｏｕｔの周波数スペクトルは、例えば図１３（Ｄ）に示すように、元のナイキスト周波数ｆｓ／２を超え、新たなナイキスト周波数Ｆｂｓ／２近傍の周波数成分が生成されたものとなる。
【００６４】
このように、本実施形態によれば、非線形処理部２０は、第１信号Ｓ１に非対称非線形処理を行い第２信号Ｓ２を生成し、リミッタ３０は、第２信号Ｓ２を調整して第３信号Ｓ３を生成し、加算器５０は、第３信号を入力画像信号Ｓｉｎに加算して出力画像を表す出力画像信号Ｓｏｕｔを生成する。これにより、複数フレームに対する繰り返し演算なしで、ナイキスト周波数を超える周波数成分により画像を先鋭化することが可能となる。
【００６５】
より詳しくは、非線形処理部２０における非線形処理により、入力画像信号Ｓｉｎが有する周波数成分の高調波成分等のナイキスト周波数ｆｓ／２を越える高周波成分が生成され、この高周波成分を利用して、入力画像信号Ｓｉｎに対し鮮鋭化のための処理が施される。すなわち、サンプリング周波数がｆｓであるデジタル画像信号から画像拡大処理によってサンプリング周波数Ｆｂｓ＝２ｆｓの画像信号を生成し、この画像信号を入力画像信号Ｓｉｎとして使用するものとすると、非線形処理部２０の処理に基づき、元のサンプリング周波数ｆｓに対応するナイキスト周波数ｆｓ／２よりも高い周波数成分を含む第３信号Ｓ３が補償用信号として生成され、この第３信号Ｓ３が入力画像信号Ｓｉｎに付加される。これにより、本実施形態における出力画像信号Ｓｏｕｔの周波数スペクトルは図１３（Ｄ）に示すようになり、拡大処理前のナイキスト周波数ｆｓ／２を超える成分を含み、従来の画像強調装置に比べ、拡大処理後の画像を十分に鮮鋭化できるようになる。
【００６６】
また、図１に示す簡単な構成で本実施形態に係る画像強調装置１を実現できるので、この画像強調装置１を高精細テレビジョン（ＨＤＴＶ)や標準画質テレビジョン（ＳＤＴＶ）の受像機等に利用することにより、静止画のみならずリアルタイムで表示される動画についても、大きなコスト増を招くことなく画質を改善することができる。
【００６７】
また本実施形態は、従来の画像強調装置では補償できなかったナイキスト周波数ｆｓ／２を越える高周波域の補償も可能であることから、特に、拡大処理の施された画像信号の表す画像の鮮鋭化による画質向上において特に効果を奏する。例えば高精細テレビジョン（ＨＤＴＶ)の受信機のディスプレイで、標準画質テレビジョン（ＳＤＴＶ：Standard Definition Television）の画像信号に拡大処理を施して画像を表示する場合に、本実施形態は、リアルタイムで表示される動画を簡単な構成で十分に鮮鋭化できるという点で大きな効果を奏する。また、現在、ＨＤＴＶの画素数よりも多い４０００×２０００程度の画素数のディスプレイ（以下「４ｋディスプレイ」という）やそれに対応したテレビジョン放送のための技術開発が行われており、ＨＤＴＶ用の画像信号をアップコンバートしてこの４ｋディスプレイで表示する場合にも、本実施形態は同様の点で大きな効果を奏する。
【００６８】
（第２実施形態）
図６は、本発明の第２実施形態に係る画像強調装置２の構成を示すブロック図である。この画像強調装置２は、高域通過フィルタ（ＨＰＦ）１０と、非線形処理部２３と、切替器４０と、リミッタ３１と、加算器５０とを備えている。以下、図７に示す画像の水平方向の信号レベル（輝度値）の波形を例に、各構成部の動作及び出力される波形の説明を行う。なお、第１実施形態と同一の符号を付した機能部については、第１実施形態と同等の処理を行うものとして本実施形態での詳細な説明を省略する。例えば、ＨＰＦ１０は、第１実施形態と同様に、図７（Ａ）の入力画像信号Ｓｉｎの高周波成分を抽出して図７（Ｂ）に示す第１信号Ｓ１を生成する。
【００６９】
非線形処理部２３は、第１信号Ｓ１に複数種類の非対称非線形処理を行い複数種類の第２信号を生成するものである。本実施形態に係る非線形処理部２３は、第１処理部２１及び第２処理部２２を備え、第１処理部２１及び第２処理部２２は、それぞれ異なる非対称非線形処理を行うものである。
【００７０】
例えば、第１処理部２１は、図８（Ａ）に示すとおり、第１信号Ｓ１が正の場合には、第１信号Ｓ１を３乗して第２信号Ｓ２１を生成し（Ｓ２１＝Ｓ１３）、第１信号Ｓ１が負の場合には、第１信号Ｓ１を２乗して符号を負としたものを第２信号Ｓ２１として生成する（Ｓ２１＝−Ｓ１２）ものとする。図７（Ｃ１）は、第１処理部２１による非対称非線形処理による第２信号Ｓ２１の波形を示す図である。図示の通り、第２信号Ｓ２１は、正の波形が負の波形に比べて大きく増幅されることになる。これにより、例えば、信号レベル（輝度）が低い画素に対して第１処理部２１の処理を適用することにより、第１信号Ｓ１におけるエッジの成分を強調することが可能となる。
【００７１】
また、例えば、第２処理部２２は、図８（Ｂ）に示すとおり、第１信号Ｓ１が正の場合には、第１信号Ｓ１を２乗して第２信号Ｓ２２を生成し（Ｓ２２＝Ｓ１２）、第１信号Ｓ１が負の場合には、第１信号Ｓ１を３乗したものを第２信号Ｓ２２として生成する（Ｓ２２＝Ｓ１３）ものとする。図７（Ｃ２）は、第２処理部２２による非対称非線形処理による第２信号Ｓ２２の波形を示す図である。図示の通り、第２信号Ｓ２２は、負の波形が正の波形に比べて大きく増幅されることになる。これにより、例えば、信号レベル（輝度）が高い画素に対して第２処理部２２の処理を適用することにより、増幅による値の飽和・発散を防ぎ、かつ、輝度レベルが低い画素について第１信号Ｓ１におけるエッジの成分を強調することが可能となる。
【００７２】
切替器４０は、入力画像信号Ｓｉｎの信号レベルに応じて、画素毎に複数種類の第２信号（Ｓ２１、Ｓ２２）から１つの第２信号を選択して、第４信号Ｓ４を生成する。ここで、上述の通り、輝度が低い領域における輪郭は、輝度が高い領域における輪郭に比べて知覚されやすい。つまり、人間の視覚特性に基づき、各画素の信号レベル（輝度）に応じて、正方向（白方向）のエッジに対する制御と、負方向（黒方向）のエッジに対する制御とを切り替えることが好ましい。そのため、輝度が低い領域の輪郭をより強調するため、切替器４０は、信号レベル（輝度）の低い画素は、第１信号Ｓ１の正領域での変化率の大きい第１処理部２１による第２信号Ｓ２１を第４信号Ｓ４として選択する。また、切替器４０は、信号レベル（輝度）の高い画素は、増幅による値の飽和・発散を防ぎ、かつ、輝度レベルが低い画素のエッジ成分を強調するため、第１信号Ｓ１の負領域での変化率の大きい第２処理部２２による第２信号Ｓ２２を第４信号Ｓ４として選択する。例えば、切替器４０は、入力画像信号Ｓｉｎが８ビットの信号とすると、信号レベルが０〜１２７の画素については、第１処理部２１からの第２信号Ｓ２１を第４信号Ｓ４としてリミッタ３１に出力し、信号レベルが１２８〜２５５の画素については、第２処理部２２からの第２信号Ｓ２２を第４信号Ｓ４としてリミッタ３１に出力する。図７（Ｄ）は、切替器４０が、第２処理部２２による第２信号Ｓ２２を第４信号Ｓ４として選択した場合の波形を示すものである。
【００７３】
リミッタ３１は、第４信号Ｓ４を調整して第３信号Ｓ３１を生成し、加算器５０は、第３信号Ｓ３１を画像の鮮鋭化のための補償用信号として入力画像信号Ｓｉｎに加算することにより出力画像信号Ｓｏｕｔを生成する。
【００７４】
このように、本実施形態によれば、非線形処理部２３は、第１信号Ｓ１に複数種類の非対称非線形処理を行い複数種類の第２信号（Ｓ２１、Ｓ２２）を生成し、切替器４０は、入力画像信号Ｓｉｎの信号レベルに応じて、画素毎に複数種類の第２信号（Ｓ２１、Ｓ２２）から１つの第２信号を選択して第４信号Ｓ４を生成し、リミッタ３１は、第４信号Ｓ４を調整して第３信号Ｓ３１を生成し、加算器５０は、第３信号Ｓ３１を入力画像信号Ｓｉｎに加算して出力画像を表す出力画像信号Ｓｏｕｔを生成する。これにより、複数フレームに対する繰り返し演算なしで、ナイキスト周波数を超える周波数成分により画像を先鋭化することが可能となる。
【００７５】
特に、切替器４０は、入力画像信号Ｓｉｎの信号レベルに応じて、画素毎に複数種類の第２信号（Ｓ２１、Ｓ２２）から１つの第２信号を選択するという処理を行う。すなわち、入力画像の輝度が低い領域と高い領域など、入力画像の画素ごとに異なる非対称非線形処理を行い、各領域にあった画像強調処理を行うことが可能となる。
【００７６】
例えば、切替器４０は、信号レベルが所定値以下の画素について、複数種類の第２信号（Ｓ２１、Ｓ２２）から、第１信号Ｓ１の正領域での変化率が大きい第２信号を選択して第４信号Ｓ４を生成する。これにより、輝度が低い領域における輪郭は、輝度が高い領域における輪郭に比べて知覚されやすいという人間の知覚特性に合った画像強調処理を行うことが可能となる。
【００７７】
また、例えば、切替器４０は、信号レベルが所定値より高い画素について、複数種類の第２信号（Ｓ２１、Ｓ２２）から、第１信号Ｓ１の負領域での変化率が大きい第２信号を選択して第４信号Ｓ４を生成する。これにより、輝度レベルが低い画素について第１信号Ｓ１におけるエッジの成分が強調されるため、人間の知覚特性に合った画像強調処理を行うことが可能となる。
【００７８】
なお、非線形処理部２３が備える処理部の数は２つに限定されず、さらに多くの処理部を備えることが可能である。例えば、非線形処理部２３は、ｎ個（ｎ＞２）の処理部を備え、各処理部がそれぞれ異なる非対称非線形処理を行うように構成しても良い。この場合、切替器４０は、信号レベルについてｎ−１個の閾値を管理しておき、各閾値によりどの処理部からの第２信号を第４信号Ｓ４として出力するか選択することができる。非線形処理部２３が多くの種類の非対称非線形処理を行うことによって、より細かい粒度で、入力画像の各領域に合った画像強調処理を行うことが可能となる。また、切替器４０が管理する閾値は、信号レベルを均等に分割したものである必要はない。例えば、人間の知覚に影響を与えやすい輝度の低い領域については細かい間隔で閾値を設定して非対称非線形処理を細かく切替え、輝度の高い領域についてはある程度広い範囲について共通の非対称非線形処理を適用することとしても良い。
【００７９】
（第３実施形態）
図９は、本発明の第３実施形態に係る画像強調装置３の構成を示すブロック図である。この画像強調装置２は、高域通過フィルタ（ＨＰＦ）１０と、非線形処理部２３と、切替器４１と、リミッタ３１と、加算器５０、エリアフィルタ６０とを備えている。なお、第２実施形態と同一の符号を付した機能部については、第２実施形態と同等の処理を行うものとして本実施形態での詳細な説明を省略する。例えば、本実施形態に係る画像強調装置３の各信号レベルの波形は、図７に示す第２実施形態における波形と同様である。
【００８０】
エリアフィルタ６０は、入力画像信号Ｓｉｎの画素ごとに第１処理部２１による第２信号Ｓ２１と第２処理部２２による第２信号Ｓ２１とを切り替えた場合に、隣接する画素間において輝度が変化してちらつきが発生することを防ぐものである。本実施形態において、エリアフィルタ６０は、入力画像信号Ｓｉｎの各画素について、周囲の画素を含む所定エリアの平均信号レベルを算出し、当該平均信号レベルを入力画像平均信号Ｓｉｎ＿ａｖｅとして切替器４１に出力する。例えば、エリアフィルタ６０は、入力画像信号Ｓｉｎの各画素を中心とした３×３画素、５×５画素、又は７×７画素といった所定エリアの輝度の平均信号レベルを算出するメディアンフィルタであり、当該平均信号レベルを入力画像平均信号Ｓｉｎ＿ａｖｅとして切替器４１に出力する。なお、ここでいう「平均」とは、周囲の画素の単純な平均のみならず、各画素に対する重み付けを考慮した重み付け平均を含むものである。
【００８１】
切替器４１は、入力画像平均信号Ｓｉｎ＿ａｖｅの各画素の平均信号レベルに基づき、複数種類の第２信号（Ｓ２１、Ｓ２２）から１つの第２信号を選択して、第４信号Ｓ４１を生成する。
【００８２】
このように、本実施形態によれば、切替器４１は、入力画像信号Ｓｉｎの各画素の信号レベルではなく、各画素の平均信号レベルに基づき第４信号Ｓ４１を生成する。平均信号レベルは、周囲の画素を含む所定エリアの信号レベルの平均値となるため、隣接する画素間において異なる非対称非線形処理による第２信号が選択される可能性が低減され、画面のちらつきの発生を抑制することが可能となる。また、切替器４１は、例えば所定エリアに対して選択される第２信号を一定期間維持することにより、さらに画面のちらつきの発生を抑制することが可能である。
【００８３】
（第４実施形態）
図１０は、本発明の第４実施形態に係る画像強調装置４の構成を示すブロック図である。この画像強調装置４は、高域通過フィルタ（ＨＰＦ）１０と、非線形処理部２０と、切替器４２と、リミッタ３１と、加算器５０とを備えている。以下、図１１に示す画像の水平方向の信号レベル（輝度値）の波形を例に、各構成部の動作及び出力される波形の説明を行う。なお、第１実施形態と同一の符号を付した機能部については、第１実施形態と同等の処理を行うものとして本実施形態での詳細な説明を省略する。例えば、ＨＰＦ１０は、第１実施形態と同様に、図１１（Ａ）の入力画像信号Ｓｉｎの高周波成分を抽出して図１１（Ｂ）に示す第１信号Ｓ１を生成する。また、非線形処理部２０は、第１信号Ｓ１に対して、第１信号Ｓ１の正負で非対称となる非線形処理を行い、図１１（Ｃ）に示す第２信号Ｓ２を生成する。
【００８４】
切替器４２は、入力画像信号Ｓｉｎの信号レベルに応じて、画素毎に、第１信号Ｓ１又は第２信号Ｓ２の一方を選択して、第４信号Ｓ４２を生成する。ここで、上述の通り、輝度が低い領域における輪郭は、輝度が高い領域における輪郭に比べて知覚されやすい。ただし、輝度が特に低い領域における輪郭は、いわゆるノイズに相当するものであり、当該ノイズを強調することは好ましくない。また、輝度が高い領域の輪郭を強調すると、増幅により値が飽和・発散して画像にぎらつきが生じる場合がある。そのため、ノイズの発生を抑えつつ輝度が低い領域の輪郭をより強調するため、切替器４２は、信号レベル（輝度）が所定値の上限及び下限の範囲に含まれる画素は、例えば図１１（Ｄ）に示すとおり、第２信号Ｓ２を第４信号Ｓ４２として選択する。また、切替器４２は、信号レベル（輝度）が所定の上限及び下限の範囲に含まれない画素は、増幅による値の飽和・発散や、ノイズの強調を防ぐため、図１１（Ｂ）に示す第１信号Ｓ１を第４信号Ｓ４２として選択する。例えば、切替器４２は、入力画像信号Ｓｉｎが８ビットの信号とすると、信号レベルが３２（下限）〜１９２（上限）の画素については、非線形処理部２０からの第２信号Ｓ２を第４信号Ｓ４２としてリミッタ３１に出力し、信号レベルが下限未満の０〜３１と、上限より高い１９３〜２５５の画素については、第１信号Ｓ１を第４信号Ｓ４２としてリミッタ３１に出力する。
【００８５】
リミッタ３１は、第４信号Ｓ４２を調整して第３信号Ｓ３１を生成し、加算器５０は、第３信号Ｓ３１を画像の鮮鋭化のための補償用信号として入力画像信号Ｓｉｎに加算することにより出力画像信号Ｓｏｕｔを生成する。
【００８６】
このように、本実施形態によれば、非線形処理部２０は、第１信号Ｓ１に非対称非線形処理を行い第２信号Ｓ２を生成し、切替器４２は、入力画像信号Ｓｉｎの信号レベルに応じて、画素毎に第１信号Ｓ１又は第２信号Ｓ２の一方を選択して第４信号Ｓ４２を生成し、リミッタ３１は、第４信号Ｓ４２を調整して第３信号Ｓ３１を生成し、加算器５０は、第３信号Ｓ３１を入力画像信号Ｓｉｎに加算して出力画像を表す出力画像信号Ｓｏｕｔを生成する。これにより、複数フレームに対する繰り返し演算なしで、ナイキスト周波数を超える周波数成分により画像を先鋭化することが可能となる。
【００８７】
特に、切替器４２は、入力画像信号Ｓｉｎの信号レベルに応じて、画素毎に第１信号Ｓ１又は第２信号Ｓ２の一方を選択するという処理を行う。すなわち、入力画像の輝度が低い領域など、入力画像の画素ごとに非対称非線形処理の適否を判断し、各領域にあった画像強調処理を行うことが可能となる。
【００８８】
例えば、切替器４２は、信号レベルが所定の上限及び下限の範囲に含まれる画素について、第２信号Ｓ２を選択して第３信号Ｓ３を生成する。これにより、ノイズの強調を抑えつつ、輝度が低い領域における輪郭は輝度が高い領域における輪郭に比べて知覚されやすいという人間の知覚特性に合った画像強調処理を行うことが可能となる。
【００８９】
なお、上記第３実施形態は、第２実施形態の構成にエリアフィルタ６０を追加した構成であるが、第４実施形態の構成にエリアフィルタ６０を追加することも可能である。この場合、切替器４２は、入力画像平均信号Ｓｉｎ＿ａｖｅの各画素の平均信号レベルに基づき、第１信号Ｓ１又は第２信号Ｓ２の一方を選択して、第４信号Ｓ４２を生成する。この実施形態によれば、切替器４２は、入力画像信号Ｓｉｎの各画素の信号レベルではなく、各画素の平均信号レベルに基づき第４信号Ｓ４２を生成する。平均信号レベルは、周囲の画素を含む所定エリアの信号レベルの平均値となるため、隣接する画素間において、第１信号Ｓ１又は第２信号Ｓ２それぞれが異なって選択される可能性が低減され、画面のちらつきの発生を抑制することが可能となる。また、切替器４２は、例えば所定エリアに対して、第１信号Ｓ１又は第２信号Ｓ２の選択を一定期間維持することにより、さらに画面のちらつきの発生を抑制することが可能である。
【産業上の利用可能性】
【００９０】
本発明は、画像を鮮鋭化して画質を改善するための画像強調装置に適用されるものであり、例えばテレビジョン（ＴＶ）受像機でリアルタイムで表示される動画を鮮鋭化するための画像強調装置に適用することができる。
【００９１】
また、本発明は、監視カメラの画像強調処理に適用可能であり、例えば、画像の一部を拡大した際のボケを低減することが可能となる。また、暗所に設置された監視カメラの画像や、夜間に撮影された画像などに対して、輝度が暗い領域の輪郭をより先鋭化する画像強調処理が可能になる。
【００９２】
さらに、本発明は、遠距離から撮像した映像の解像度改善に適用することができる。例えば、接近することが困難な事故現場などを遠方から撮影した画像や、衛星画像などに対し、輪郭を先鋭化する画像強調処理が可能になる。
【００９３】
さらに、本発明は、アナログコンテンツのハイビジョン化に適用することができる。即ち、既存のアナログコンテンツをハイビジョンコンテンツに変換する際、アップコンバートされた画像の輪郭を先鋭化する画像強調処理を行うことにより、アナログコンテンツをより高精細なデジタルコンテンツとして再製することが可能となる。例えば、アナログテレビコンテンツをハイビジョンコンテンツに変換したり、古い映画コンテンツをより高精細なデジタルコンテンツ（例えばＢｌｕ−ｒａｙ（登録商標）コンテンツ）に変換したりする際に適用可能である。
【００９４】
さらに、本発明は、医療分野にも適用可能である。例えば、内視鏡等による患部の拡大画像をより高精細な画像へと変換したり、遠隔医療などにおいて、解像度の低い患部の映像をより高精細な画像へと変換したりすることが可能となる。
【００９５】
さらに、本発明は、コンピュータで視聴可能な動画コンテンツの高精細化に適用可能である。インターネット上には動画コンテンツを配信するサイトが多数存在し、既に多数の動画コンテンツが保存されている。本発明により、既存の動画コンテンツをさらに高精細、高解像度のコンテンツに変換し、視聴品質を向上させることが可能となる。
【００９６】
本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各構成部、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部やステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。
【符号の説明】
【００９７】
１、２、３  画像強調装置
１０  ＨＰＦ（高域通過フィルタ：フィルタ部）
１１１〜１１（ｍ−１）  単位遅延素子
１２１〜１２ｍ  乗算器
１３１  加算器
１１  ＬＰＦ（低域通過フィルタ）
１２  減算器
２０、２３  非線形処理部
２１  第１処理部
２２  第２処理部
３０、３１  リミッタ
４０、４１、４２  切替器
５０  加算器
６０  エリアフィルタ
【図１】
2014036380.tif 000011
【図２】
2014036380.tif 000012
【図３】
2014036380.tif 000013
【図４】
2014036380.tif 000014
【図５】
2014036380.tif 000015
【図６】
2014036380.tif 000016
【図７】
2014036380.tif 000017
【図８】
2014036380.tif 000018
【図９】
2014036380.tif 000019
【図１０】
2014036380.tif 000020
【図１１】
2014036380.tif 000021
【図１２】
2014036380.tif 000022
【図１３】
2014036380.tif 000023
【手続補正書】
【提出日】平成25年3月13日(2013.3.13)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
入力画像を鮮鋭化した出力画像を生成する画像強調装置であって、
前記入力画像を表す入力画像信号に含まれる周波数成分の少なくとも直流成分を除去することにより第１信号を生成するフィルタ部と、
前記第１信号に対して前記第１信号の正負で非対称となる非線形処理を行い第２信号を生成する非線形処理部であって、前記第１信号に対して、正の領域に適用する非線形処理と負の領域に適用する非線形処理とが原点を通る連続関数として表され、且つ、非線形処理で生成された周波数成分の帯域が、正の領域と負の領域で非対称となる非線形処理を行う非線形処理部と、
前記第２信号を調整して第３信号を生成するリミッタと、
前記第３信号を前記入力画像信号に加算して前記出力画像を表す出力画像信号を生成する加算部と、を備える画像強調装置。
【請求項２】
切替器を備え、
前記非線形処理部は、前記第１信号に対して前記連続関数が互いに異なり前記第１信号の正負で非対称となる非線形処理を複数種類行い複数種類の第２信号を生成し、
前記切替器は、前記入力画像信号の信号レベルに応じて、画素毎に前記複数種類の第２信号から知覚特性に合った１つの第２信号を選択して第４信号を生成し、
前記リミッタは、前記第４信号を調整して前記第３信号を生成する、請求項１に記載の画像強調装置。
【請求項３】
前記切替器は、前記信号レベルが所定値以下の画素について、前記複数種類の第２信号から、前記第１信号の正領域での変化率が大きい第２信号を選択して前記第４信号を生成する、請求項２に記載の画像強調装置。
【請求項４】
前記切替器は、前記信号レベルが所定値より高い画素について、前記複数種類の第２信号から、前記第１信号の負領域での変化率が大きい第２信号を選択して前記第４信号を生成する、請求項２又は３に記載の画像強調装置。
【請求項５】
切替器を備え、
前記切替器は、前記入力画像信号の信号レベルに応じて、画素毎に前記第１信号又は前記第２信号の一方を選択し得る構成を有し、前記信号レベルが所定の上限及び下限の範囲に含まれる画素について、前記第２信号を選択して第４信号を生成し、
前記リミッタは、前記第４信号を調整して前記第３信号を生成する、
請求項１に記載の画像強調装置。
【請求項６】
前記入力画像信号の各画素について、周囲の画素を含む所定エリアの平均信号レベルを算出するエリアフィルタを備え、
前記切替器は、前記信号レベルに代えて前記各画素の前記平均信号レベルに基づき前記第４信号を生成する、請求項２乃至５のいずれか一項に記載の画像強調装置。
【請求項７】
入力画像を鮮鋭化した出力画像を生成する画像強調装置における画像強調方法であって、前記画像強調装置による処理手順が、
前記入力画像を表す入力画像信号に含まれる周波数成分の少なくとも直流成分を除去することにより第１信号を生成するステップと、
前記第１信号に対して前記第１信号の正負で非対称となる非線形処理を行い第２信号を生成する非線形処理ステップであって、前記第１信号に対して、正の領域に適用する非線形処理と負の領域に適用する非線形処理とが原点を通る連続関数として表され、且つ、非線形処理で生成された周波数成分の帯域が、正の領域と負の領域で非対称となる非線形処理を行う非線形処理ステップと、
前記第２信号を調整して第３信号を生成する調整ステップと、
前記第３信号を前記入力画像信号に加算して前記出力画像を表す出力画像信号を生成するステップと、を含む画像強調方法。
【請求項８】
切替ステップをさらに含み、
前記非線形処理ステップにおいて、前記第１信号に対して前記連続関数が互いに異なり前記第１信号の正負で非対称となる非線形処理を複数種類行い複数種類の第２信号を生成し、
前記切替ステップにおいて、前記入力画像信号の信号レベルに応じて、画素毎に前記複数種類の第２信号から知覚特性に合った１つの第２信号を選択して第４信号を生成し、
前記調整ステップにおいて、前記第４信号を調整して前記第３信号を生成する、請求項７に記載の画像強調方法。
【請求項９】
前記切替ステップにおいて、前記信号レベルが所定値以下の画素について、前記複数種類の第２信号から、前記第１信号の正領域での変化率が大きい第２信号を選択して前記第４信号を生成する、請求項８に記載の画像強調方法。
【請求項１０】
前記切替ステップにおいて、前記信号レベルが所定値より高い画素について、前記複数種類の第２信号から、前記第１信号の負領域での変化率が大きい第２信号を選択して前記第４信号を生成する、請求項８又は９に記載の画像強調方法。
【請求項１１】
切替ステップをさらに含み、
前記切替ステップにおいて、前記入力画像信号の信号レベルに応じて、画素毎に前記第１信号又は前記第２信号の一方を選択可能とし、前記信号レベルが所定の上限及び下限の範囲に含まれる画素について、前記第２信号を選択して第４信号を生成し、
前記調整ステップは、前記第４信号を調整して前記第３信号を生成する、
請求項７に記載の画像強調方法。
【請求項１２】
前記入力画像信号の各画素について、周囲の画素を含む所定エリアの平均信号レベルを算出するステップをさらに含み、
前記切替ステップにおいて、前記信号レベルに代えて前記各画素の前記平均信号レベルに基づき前記第４信号を生成する、請求項８乃至１１のいずれか一項に記載の画像強調方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
上述した諸課題を解決すべく、本発明に係る画像強調装置は、入力画像を鮮鋭化した出力画像を生成する画像強調装置であって、前記入力画像を表す入力画像信号に含まれる周波数成分の少なくとも直流成分を除去することにより第１信号を生成するフィルタ部と、前記第１信号に対して前記第１信号の正負で非対称となる非線形処理を行い第２信号を生成する非線形処理部であって、前記第１信号に対して、正の領域に適用する非線形処理と負の領域に適用する非線形処理とが原点を通る連続関数として表され、且つ、非線形処理で生成された周波数成分の帯域が、正の領域と負の領域で非対称となる非線形処理を行う非線形処理部と、前記第２信号を調整して第３信号を生成するリミッタと、前記第３信号を前記入力画像信号に加算して前記出力画像を表す出力画像信号を生成する加算部と、を備える。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
例えば、本発明を方法として実現した画像強調方法は、入力画像を鮮鋭化した出力画像を生成する画像強調装置における画像強調方法であって、前記画像強調装置による処理手順が、前記入力画像を表す入力画像信号に含まれる周波数成分の少なくとも直流成分を除去することにより第１信号を生成するステップと、前記第１信号に対して前記第１信号の正負で非対称となる非線形処理を行い第２信号を生成する非線形処理ステップであって、前記第１信号に対して、正の領域に適用する非線形処理と負の領域に適用する非線形処理とが原点を通る連続関数として表され、且つ、非線形処理で生成された周波数成分の帯域が、正の領域と負の領域で非対称となる非線形処理を行う非線形処理ステップと、前記第２信号を調整して第３信号を生成する調整ステップと、前記第３信号を前記入力画像信号に加算して前記出力画像を表す出力画像信号を生成するステップと、を含む。
【手続補正４】
【補正対象書類名】図面
【補正対象項目名】図１０
【補正方法】変更
【補正の内容】
【図１０】
2014036380.tif 000024