(57)【要約】低解像度の画像をアップスケール処理したことで太くなってしまった線状の画像領域を、元の細い線状の画像領域に再現させることができる画像処理装置を実現する。画像処理装置（１００）において、振幅推定部（１）は、入力画像信号が、低解像度パターンＰｔｎＬと類似するように、局所領域における倍率ａを算出する。類似度算出部（２）は、低解像度パターンＰｔｎＬと類似する画素位置において、大きな値の類似度ｓを出力する。ＦＩＲフィルタ部（４）は、ＦＩＲフィルタ係数を差分パターンＰｔｎＤｉｆｆにより設定し、倍率ａと類似度ｓとの積を入力として、ＦＩＲフィルタ処理を行うことで、高域成分ΔＤを取得する。そして、加算部（５）により、入力画像Ｄｉｎに、高域成分ΔＤが加算されることで、高精細な出力画像Ｄｏｕｔを取得する。
2015115168.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を先鋭化する画像処理装置であって、
高解像度パターンデータ列に対して所定の処理を実行することで取得される低解像度パターンデータ列に倍率ａを乗算することにより取得された調整後低解像度パターンデータ列と、処理対象画素を含む入力画像の所定の範囲である局所領域内の画素データ列との差が、所定の値以下となるときの前記倍率ａを取得する振幅推定部と、
前記局所領域内において、前記調整後低解像度パターンデータ列と前記画素データ列との差が少ない程、前記処理対象画素の類似度値を、前記調整後低解像度パターンデータ列と前記画素データ列との類似の程度が高いことを示す値に設定する類似度算出部と、
前記処理対象ごとに、前記倍率ａと前記類似度とを乗算する乗算部と、
前記低解像度パターンデータ列から前記高解像度パターンデータ列を減算することで取得される差分パターンデータ列をＦＩＲフィルタ係数として、前記処理対象画素ごとに、前記乗算部により取得された前記倍率ａと前記類似度との乗算値に対して、ＦＩＲフィルタ処理を実行することで、前記処理対象画素の高域成分データΔＤを取得するＦＩＲフィルタ部と、
前記処理対象画素ごとに、当該処理対象画素の画素データと、前記ＦＩＲフィルタ処理により取得された前記処理対象画素の高域成分データΔＤとを加算する加算部と、
を備える画像処理装置。
【請求項２】
前記振幅推定部は、前記高解像度パターンデータ列をダウンスケール処理した後、アップスケール処理することで、前記低解像度パターンデータ列を取得する、
請求項１に記載の画像処理装置。
【請求項３】
前記振幅推定部は、前記高解像度パターンデータ列に対して、低域通過フィルタ処理を実行することで、前記低解像度パターンデータ列を取得する、
請求項１に記載の画像処理装置。
【請求項４】
前記類似度算出部は、
（１）前記局所領域内において、前記調整後低解像度パターンデータ列と前記画素データ列との差が最小となる画素に対して、当該画素に対応する類似度を第１の値に設定し、（２）前記局所領域内において、前記調整後低解像度パターンデータ列と前記画素データ列との差が最小とならない画素に対して、当該画素に対応する類似度を前記第１の値よりも小さい値に設定する、
請求項１から３のいずれかに記載の画像処理装置。
【請求項５】
振幅推定部は、最小二乗法により、前記倍率ａを求める、
請求項１から４のいずれかに記載の画像処理装置。
【請求項６】
類似度算出部は、最小二乗法により算出した前記倍率ａで調整された前記調整後低解像度パターンデータ列と、前記局所領域内の前記画素データ列との最小二乗誤差値Ｅｍｉｎを、前記局所領域内の画素ごとに算出し、（１）前記局所領域内において、前記最小二乗誤差値Ｅｍｉｎが最小値である画素の類似度を第１の値に設定し、（２）前記局所領域内において、前記最小二乗誤差値Ｅｍｉｎが最小値でない画素の類似度を前記第１の値よりも小さい値に設定する、
請求項１から５のいずれかに記載の画像処理装置。
【請求項７】
類似度算出部は、
前記倍率ａで調整された前記調整後低解像度パターンデータ列と、前記局所領域内の前記画素データ列との差が小さい程、前記処理対象画素の類似度を大きな値に設定する、
請求項１から６のいずれかに記載の画像処理装置。
【請求項８】
類似度算出部は、
（１）前記局所領域内において、前記処理対象画素の画素データがピーク値であるとき、前記処理対象画素に対応する類似度を第１の値に設定し、（２）前記局所領域内において、前記処理対象画素の画素データがピーク値ではないとき、前記処理対象画素に対応する類似度を第１の値よりも小さい値に設定する、
請求項１から７のいずれかに記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術に関し、例えば、アップスケール処理が実行された画像において、ディテール部分を適切に改善する技術に関する。
【背景技術】
【０００２】
一般に、ＳＤ（Ｓｔａｎｄａｒｄ  Ｄｅｆｉｎｉｔｉｏｎ）画質等の低解像度の画像（映像）は、ＨＤ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ）画質等の高解像度の画像（映像）を表示する高解像度ディスプレイに表示される場合、入力画像（映像）をディスプレイ全体に表示させるために、入力画像（映像）を引き延ばす(拡大)するアップスケールという処理（アップスケール処理）がなされる。しかし、アップスケール処理を実行しただけの画像（映像）を、そのまめ、高解像度ディスプレイに表示させると、真のＨＤ画質の画像（映像）に比べて、ぼけた印象の画像（映像）として表示される。このため、ＳＤ画質等の低解像度の画像（映像）をアップスケールした場合、アップスケール処理後の画像（映像）に対して、画像を鮮鋭化する処理（画像先鋭化処理）が実行されることがある。【０００３】
一般的に、アップスケール処理等により失われた画像のディテール部分を再現させるためには、高周波成分を補う必要がある。【０００４】
例えば、特許文献１（特許第５２８１６９０号公報）に開示されている技術では、入力画像信号に対して、高周波成分を抽出し、抽出した高周波成分に対してリミット処理を行い、リミット処理後の高周波成分を、入力画像信号に加算させる。これにより、特許文献１に開示されている技術では、入力画像信号の高域成分を強調した信号を取得することができる。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示されている技術では、元の信号（入力画像信号）に含まれている高周波成分を強調して処理を行っているに過ぎないので、適切に画像先鋭化処理を実行することができない場合がある。【０００６】
例えば、低解像度の画像をアップスケールした場合、髪の毛などのように、線の細い部分（画像領域）が太くなってしまう。このような画像（画像信号）に対して、従来技術のように、当該画像（画像信号）に含まれている高周波成分を強調しても、太くなってしまった線等は、太くなったまま強調される（例えば、輪郭がはっきりするように強調される）だけであり、アップスケール前の細い線に再現させることは困難である。【０００７】
つまり、従来の技術では、元の信号（入力画像信号）に含まれている高周波成分を強調して処理を行っているに過ぎないので、元の信号（入力画像信号）に含まれている信号帯域以上の成分を強調する処理や、アップスケール処理によって太くなってしまった線を、元の細い線に再現させることは困難である。また、従来の技術では、入力画像信号に、当該画像信号に含まれている高周波成分を加算する処理が実行されるので、振幅の大きな入力画像信号に対して、ノイズを不必要に強調したり、また、振幅の大きな入力画像信号に対して、過剰にオーバーシュートが発生したりするという問題点もある。【０００８】
そこで、本発明は、上記問題点に鑑み、不必要にノイズ成分を強調したり、過剰にオーバーシュートを発生させたりすることなく、低解像度の画像をアップスケール処理したことで太くなってしまった線状の画像領域を、元の細い線状の画像領域に再現させることができる画像処理装置を実現することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、第１の構成は、入力画像を先鋭化する画像処理装置であって、振幅推定部と、類似度算出部と、乗算部と、ＦＩＲフィルタ部と、加算部と、を備える。【００１０】
振幅推定部は、高解像度パターンデータ列をダウンスケール処理した後、アップスケール処理して取得される低解像度パターンデータ列に倍率ａを乗算することにより取得された調整後低解像度パターンデータ列と、処理対象画素を含む入力画像の所定の範囲である局所領域内の画素データ列との差が、所定の値以下となるときの倍率ａを取得する。【００１１】
類似度算出部は、局所領域内において、調整後低解像度パターンデータ列と画素データ列との差が少ない程、処理対象画素の類似度値を、調整後低解像度パターンデータ列と画素データ列との類似の程度が高いことを示す値に設定する。【００１２】
乗算部は、処理対象ごとに、倍率ａと類似度とを乗算する。【００１３】
ＦＩＲフィルタ部は、低解像度パターンデータ列から高解像度パターンデータ列を減算することで取得される差分パターンデータ列をＦＩＲフィルタ係数として、処理対象画素ごとに、乗算部により取得された倍率ａと類似度との乗算値に対して、ＦＩＲフィルタ処理を実行することで、処理対象画素の高域成分データΔＤを取得する。【００１４】
加算部は、処理対象画素ごとに、当該処理対象画素の画素データと、ＦＩＲフィルタ処理により取得された処理対象画素の高域成分データΔＤとを加算する。
【発明の効果】
【００１５】
本発明によれば、不必要にノイズ成分を強調したり、過剰にオーバーシュートを発生させたりすることなく、低解像度の画像をアップスケール処理したことで太くなってしまった線状の画像領域を、元の細い線状の画像領域に再現させることができる画像処理装置を実現することができる。
【図面の簡単な説明】
【００１６】
【図１】第１実施形態に係る画像処理システム１０００の概略構成図。
【図２】細線化処理の原理を説明するための図。
【図３】局所領域ｕにおける、入力画像信号Ｄｉｎ（＝ｆ（ｘ））と、低解像度パターン信号ＰｔｎＬをａ倍してｂを加算した信号ａ（ｘ）×ｋ（ｕ）＋ｂ（ｘ）とを示す図。
【図４】第１実施形態の振幅推定部１の概略構成図。
【図５】第１実施形態の類似度算出部２の概略構成図。
【図６】第１実施形態の類似度決定部２１の概略構成図。
【図７】入力画像信号Ｄｉｎの信号波形、類似度ｓの信号波形を示す図。
【図８】（１）入力画像Ｄｉｎの信号波形と、（２）最小２乗法により決定した振幅値ａ（＝ａ（ｘ））およびオフセット値ｂ（＝ｂ（ｘ））による信号ａ（ｘ）ｋ（ｕ）＋ｂ（ｘ）（低解像度パターン信号の振幅をａ（ｘ）にし、オフセット値を加算した信号）の信号波形と、（３）最小２乗誤差Ｅｍｉｎ（ｘ）の信号波形と、（４）類似度ｓ（＝ｓ（ｘ））の信号波形とを示す図。
【図９】第１実施形態のＦＩＲフィルタ部４の概略構成図。
【図１０】（１）入力画像Ｄｉｎの信号波形と、（２）最小２乗法により決定した振幅値ａ（＝ａ（ｘ））およびオフセット値ｂ（＝ｂ（ｘ））による信号ａ（ｘ）ｋ（ｕ）＋ｂ（ｘ）（低解像度パターン信号の振幅をａ（ｘ）にし、オフセット値を加算した信号）の信号波形と、（３）乗算部３の出力信号ｓ×ａ（＝ｓ（ｘ）×ａ（ｘ））の信号波形と、（４）ＦＩＲフィルタ部４の出力信号ΔＤ（＝ΔＤ（ｘ））の信号波形とを示す図。
【図１１】図１０のｘ＝ｘ１近傍における、（１）入力画像Ｄｉｎの信号波形と、（２）最小２乗法により決定した振幅値ａ（＝ａ（ｘ））およびオフセット値ｂ（＝ｂ（ｘ））による信号ａ（ｘ）ｋ（ｕ）＋ｂ（ｘ）（低解像度パターン信号の振幅をａ（ｘ）にし、オフセット値を加算した信号）の信号波形と、（３）ＦＩＲフィルタ部４の出力信号ΔＤ（＝ΔＤ（ｘ））の信号波形と、（５）出力信号Ｄｏｕｔの信号波形とを示す図。
【図１２】第１実施形態の第１変形例における振幅推定部１の処理について説明するための図。
【図１３】第１実施形態の第１変形例における類似度決定部の入出力特性を示す図。
【図１４】第１実施形態の第３変形例における類似度算出部２Ａの概略構成図。
【図１５】入力画像Ｄｉｎの信号波形と、本変形例の類似度算出部２Ａにより取得された類似度ｓとを示す図。
【図１６】第１実施形態の第４変形例に係る画像処理システム１０００Ａの概略構成図。
【図１７】第２実施形態の画像処理方法のフローチャート。
【図１８】第２実施形態の画像処理方法のフローチャート。
【図１９】第２実施形態の画像処理方法のフローチャート。
【図２０】第２実施形態の画像処理方法のフローチャート。
【発明を実施するための形態】
【００１７】
［第１実施形態］
第１実施形態について、図面を参照しながら、以下、説明する。
【００１８】
＜１．１：画像処理システムの構成＞
図１は、第１実施形態に係る画像処理システム１０００の概略構成図である。
【００１９】
画像処理システム１０００は、図１に示すように、画像処理部（画像処理装置）１００と、パターン生成部２００とを備える。
【００２０】
画像処理部１００は、図１に示すように、振幅推定部１と、類似度算出部２と、乗算部３と、ＦＩＲフィルタ部４と、加算部５と、を備える。
【００２１】
振幅推定部１は、入力画像（入力画像信号）Ｄｉｎと、パターン生成部２００から出力される低解像度パターン信号ＰｔｎＬと、を入力する。振幅推定部１は、入力画像信号Ｄｉｎと低解像度パターン信号ＰｔｎＬとに基づいて、振幅推定値ａを取得し、取得した推定振幅値ａ（推定振幅値ａを示す信号）を、乗算部３に出力する。
【００２２】
類似度算出部２は、入力画像（入力画像信号）Ｄｉｎと、パターン生成部２００から出力される低解像度パターン信号ＰｔｎＬと、を入力する。類似度算出部２は、入力画像信号Ｄｉｎと低解像度パターン信号ＰｔｎＬとに基づいて、類似度値ｓを取得し、取得した類似度値ｓ（類似度値ｓを示す信号）を、乗算部３に出力する。
【００２３】
乗算部３は、振幅推定部１から出力される推定振幅値ａ（推定振幅値信号ａ）と、類似度算出部２から出力される類似度値ｓ（類似度値信号ｓ）とを入力する。乗算部は、入力された推定振幅値ａ（推定振幅値信号ａ）と類似度値ｓ（類似度値信号ｓ）とを乗算し、乗算処理により取得された信号をＦＩＲフィルタ部４に出力する。
【００２４】
ＦＩＲフィルタ部４は、パターン生成部２００から出力される差分パターン信号ＰｔｎＤｉｆｆと、乗算部３から出力される、推定振幅値ａ（推定振幅値信号ａ）と類似度値ｓ（類似度値信号ｓ）との乗算結果信号と、を入力する。ＦＩＲフィルタ部４は、差分パターン信号ＰｔｎＤｉｆｆに基づいて、ＦＩＲフィルタのフィルタ係数を設定し、乗算部３から出力される信号（乗算結果信号）に対して、ＦＩＲフィルタ処理を実行する。そして、ＦＩＲフィルタ部４は、ＦＩＲフィルタ処理後の信号を、差分信号ΔＤとして、加算部５に出力する。
【００２５】
加算部５は、入力画像（入力画像信号）Ｄｉｎと、ＦＩＲフィルタ部４から出力される差分信号ΔＤと、を入力する。そして、加算部５は、入力画像信号Ｄｉｎと、差分信号ΔＤとを加算し、当該加算処理により取得された信号を、画像信号Ｄｏｕｔとして、出力する。
【００２６】
パターン生成部２００は、図１に示すように、ダウンスケール処理部２０１と、アップスケール処理部２０２と、減算部２３とを備える。
【００２７】
ダウンスケール処理部２０１は、高解像度パターン信号ＰｔｎＨを入力とし、入力された高解像度パターン信号ＰｔｎＨに対して、ダウンスケール処理を実行する。そして、ダウンスケール処理部２０１は、ダウンスケール処理後の信号をアップスケール処理部２０２に出力する。
【００２８】
アップスケール処理部２０２は、ダウンスケール処理部２０１から出力される信号を入力とし、入力された信号に対して、アップスケール処理を実行する。そして、アップスケール処理部２０２は、アップ処理後の信号を、低解像度パターン信号ＰｔｎＬとして、画像処理部１００の振幅推定部１および類似度算出部２に出力する。また、アップスケール処理部２０２は、低解像度パターン信号ＰｔｎＬを減算部２３にも出力する。
【００２９】
減算部２３は、高解像度パターン信号ＰｔｎＨと、アップスケール処理部２０２から出力される低解像度パターン信号ＰｔｎＬとを入力とし、低解像度パターン信号ＰｔｎＬから高解像度パターン信号ＰｔｎＨを減算する処理を行う。そして、減算部２３は、当該減算処理により取得された信号を、差分パターン信号ＰｔｎＤｉｆｆとして、画像処理部１００のＦＩＲフィルタ部４に出力する。
【００３０】
＜１．２：解像度推定装置の動作＞
以上のように構成された画像処理システム１０００の動作について、以下、説明する。
【００３１】
まず、本発明の原理を説明するため、高解像度画像（例えば、ＨＤ映像）が一度ダウンスケールされて、再びアップスケールされた画像（映像）を例に、線を細く表現するための原理について、図２を用いて説明する。
【００３２】
図２は、細線化処理の原理を説明するための図である。なお、図２では、説明を簡単にするため、２次元画像の１次元軸（例えば、水平軸）上のデータを抽出し、１次元データとして図示している。
【００３３】
図２では、画像信号Ａ〜Ｄを、横軸を１次元軸（例えば、水平軸）の座標位置とし、縦軸を画素値（例えば、輝度値）として、描いている。
【００３４】
図２に示すように、画像信号Ａは、例えば、１次元軸（例えば、水平軸）方向の線幅ｗ１の（当該１次元軸方向と直交する方向に延びる）線（例えば、垂直軸方向に延びる線）に相当する画像を形成する画像信号である。
【００３５】
画像信号Ｂは、画像信号Ａに対してダウンスケール処理（例えば、デシメート処理および平滑化処理）を実行した後の画像信号である。
【００３６】
画像信号Ｃは、画像信号Ｂに対して、アップスケール処理（例えば、インターポーレート処理および平滑化処理）を実行した後の画像信号である。つまり、画像信号Ｃは、真のＨＤ画質の画像信号Ａが、一度ダウンスケールされて画像信号Ｂとなり、その画像信号Ｂを、再び、アップスケールされた後の画像信号である。
【００３７】
画像信号Ｄは、画像信号Ａから画像信号Ｃを減算して取得された差分信号である。すなわち、
（画像信号Ｄ）＝（画像信号Ａ）―（画像信号Ｃ）
である。
【００３８】
図２から分かるように、画像信号Ａにおいて、線幅ｗ１の線に相当する部分が、画像信号Ｃでは、画素値（輝度値）のピークが半分程度になり、さらに、線幅がｗ２とその太さが約３倍に太くなっている。
【００３９】
アップスケールされた画像信号Ｃにおいて、精細感が感じられない要因の一つとして、このように、原画像において細い線が、アップスケールされた画像において、太くなっていることが原因として考えられる。
【００４０】
もし、画像信号Ｃの線部分の幅（線幅）ｗ２を、原画像である画像信号Ａの線幅ｗ１の細さに復元することができれば、画像信号Ｃが形成する画像において、精細感を得ることができる。
【００４１】
そこで、画像処理システム１０００では、画像信号Ｃのパターンを示す信号を、低解像度パターン信号ＰｔｎＬとし、入力画像信号Ｄｉｎ中に、低解像度パターン信号ＰｔｎＬに似た信号パターン（信号系列）が現れた場合、画像信号Ｄのパターンを示す信号を、入力画像信号Ｄｉｎに加算する。これにより、画像処理システム１０００では、画像信号Ａのような精細感のある画像（映像）を取得する。
【００４２】
このような原理（考え方）に基づいて、パターン生成部２００では、図２の画像信号Ａに相当する高解像度パターン信号ＰｔｎＨから、図２の画像信号Ｃに相当する低解像度パターン信号ＰｔｎＬと、図２の画像信号Ｄ（差分信号Ｄ）に相当する差分パターン信号ＰｔｎＤｉｆｆとが生成される。具体的には、パターン生成部２００では、以下のように処理が実行される。
【００４３】
高解像度パターン信号ＰｔｎＨは、ダウンスケール処理部２０１および減算部２３に入力される。
【００４４】
ダウンスケール処理部２０１では、高解像度パターン信号ＰｔｎＨは、ダウンスケール処理（例えば、デシメート処理および平滑化処理）が実行される。そして、ダウンスケール処理が実行された信号は、アップスケール処理部２０２に出力される。
【００４５】
アップスケール処理部２０２では、ダウンスケール処理部２０１から出力された信号に対して、アップスケール処理（例えば、インターポーレート処理および平滑化処理）が実行されることで、低解像度パターン信号ＰｔｎＬが取得される。そして、取得された低解像度パターン信号ＰｔｎＬは、減算部２３と、画像処理部１００の振幅推定部１と、画像処理部１００の類似度算出部２とに、出力される。
【００４６】
減算部２３では、高解像度パターン信号ＰｔｎＨから、低解像度パターン信号ＰｔｎＬを減算する処理を実行することで、差分パターン信号ＰｔｎＤｉｆｆを取得する。つまり、減算部２３は、
ＰｔｎＤｉｆｆ＝ＰｔｎＨ―ＰｔｎＬ
に相当する処理により、差分パターン信号ＰｔｎＤｉｆｆを取得する。
【００４７】
そして、減算部２３により取得された差分パターン信号ＰｔｎＤｉｆｆは、画像処理部１００のＦＩＲフィルタ部４に出力される。
【００４８】
（１．２．１：振幅推定処理）
画像処理部１００の振幅推定部１では、入力画像信号Ｄｉｎに対して、低解像度パターン信号ＰｔｎＬを用いて、振幅推定処理が実行される。
【００４９】
具体的には、振幅推定部１は、局所領域ｕにおいて、入力画像信号Ｄｉｎと、低解像度パターン信号ＰｔｎＬをａ倍してｂを加算した信号との差が最小となる倍率ａ（振幅ａ）を算出する。これについて、図３を用いて説明する。
【００５０】
図３は、局所領域ｕにおける、入力画像信号Ｄｉｎ（＝ｆ（ｘ））と、低解像度パターン信号ＰｔｎＬをａ倍してｂを加算した信号ａ（ｘ）×ｋ（ｕ）＋ｂ（ｘ）とを示す図である。
【００５１】
なお、ここで、入力画像信号Ｄｉｎをｆ（ｘ）とし、低解像度パターン信号ＰｔｎＬをｋ（ｕ）とし、局所領域ｕにおける、入力画像信号Ｄｉｎ（＝ｆ（ｘ））と、低解像度パターン信号ＰｔｎＬをａ倍してｂを加算した信号ａ（ｘ）×ｋ（ｕ）＋ｂ（ｘ）との２乗誤差Ｅとすると、振幅推定部１は、
【数１】
2015115168.tif 000003
が最小となる振幅ａ（ｘ）およびオフセットｂ（ｘ）を求める。なお、振幅ａ（ｘ）は、実数であり、負の値が許容される。また、上式におけるシグマ記号は、局所領域ｕにおいて、Ｎ個のサンプル点において、シグマ演算（加算処理）を行うことを意味している（以下、同様）。
【００５２】
振幅推定部１は、上式による２乗誤差Ｅが最小となる振幅ａ（ｘ）およびオフセットｂ（ｘ）を最小２乗法により算出する。具体的には、振幅推定部１は、
【数２】
2015115168.tif 000004
により、２乗誤差Ｅが最小となる振幅ａ（ｘ）およびオフセットｂ（ｘ）を算出する。
【００５３】
なお、上式は、
【数３】
2015115168.tif 000005
2015115168.tif 000006
として、算出される。
【００５４】
なお、上式から分かるように、Ｓｋ、Ｓｋ２、Ａ１、Ａ２、Ｂ１、Ｂ２は、低解像度パターン信号ｋ（ｕ）が決定されれば、定数となるので、予め設定しておくことが好ましい。
【００５５】
なお、上記算出処理は、例えば、図４に示す構成により、ハードウェア処理により実行されるものであってもよい。なお、図４の四角で示した部分は、遅延器（例えば、Ｄフリップフロップや、１ライン分の遅延器（ラインメモリ）等）である。図４の場合、局所領域ｕは、処理対象画素（注目画素）ｆ（ｘ）を中心とする５個（Ｎ＝５）のサンプル点を含む領域であり、当該局所領域において、振幅推定部１は、上記処理を実行し、振幅ａ（ａ（ｘ））を算出する。
【００５６】
このようにして、振幅推定部１において算出された振幅ａ（＝ａ（ｘ））は、振幅推定部１から乗算部３に出力される。
【００５７】
（１．２．２：類似度算出処理）
画像処理部１００の類似度算出部２では、入力画像信号Ｄｉｎに対して、低解像度パターン信号ＰｔｎＬを用いて、類似度算出処理が実行される。
【００５８】
局所領域において、入力画像Ｄｉｎ（＝ｆ（ｘ））と、低解像度パターン信号ＰｔｎＬをａ倍してｂを加算した信号ａ（ｘ）×ｋ（ｕ）＋ｂ（ｘ）との２乗誤差Ｅが、局所領域において、最小となる場合、類似度算出部２は、類似度ｓ（＝ｓ（ｘ））を「１」として出力し、それ以外の場合、類似度算出部２は、類似度ｓ（＝ｓ（ｘ））を「０」として出力する。
【００５９】
すなわち、類似度算出部２は、２乗誤差Ｅが最小となる振幅ａ（ｘ）およびオフセットｂ（ｘ）を算出する。そして、類似度算出部２は、算出した値に振幅ａ（ｘ）およびオフセット値ｂ（ｘ）を設定した場合において、２乗誤差Ｅが、（１）局所領域内において最小となるときは、類似度ｓ（＝ｓ（ｘ））を「１」として出力し、（２）局所領域内において最小ではないときは、類似度ｓ（＝ｓ（ｘ））を「０」として出力する。
【００６０】
具体的には、類似度算出部２は、下記数式により算出される最小２乗誤差Ｅｍｉｎが、（１）局所領域で最小値となる場合、類似度ｓ（＝ｓ（ｘ））を「１」として出力し、（２）局所領域内で最小値とならない場合、類似度ｓ（＝ｓ（ｘ））を「０」として出力する。
【数４】
2015115168.tif 000007
なお、ここで、上記最小２乗誤差Ｅｍｉｎについて、説明する。
【００６１】
入力画像Ｄｉｎ（＝ｆ（ｘ））と、低解像度パターン信号ＰｔｎＬをａ倍してｂを加算した信号ａ（ｘ）×ｋ（ｕ）＋ｂ（ｘ）との２乗誤差Ｅは、以下のように展開することができる。
【数５】
2015115168.tif 000008
上記２乗誤差Ｅが最小値をとる場合の極値条件は、２乗誤差Ｅのａについての偏微分値が「０」であり、かつ、２乗誤差Ｅのｂについての偏微分値が「０」であることである。すなわち、上記２乗誤差Ｅが最小値をとる場合の極値条件は、以下の通りである。
【数６】
2015115168.tif 000009
【数７】
2015115168.tif 000010
上記（数式５）〜（数式７）により、
【数８】
2015115168.tif 000011
となる。
【００６２】
したがって、類似度算出部２は、（数式４）により算出される最小２乗誤差Ｅｍｉｎが、（１）局所領域で最小値となる場合、類似度ｓ（＝ｓ（ｘ））を「１」として出力し、（２）局所領域内で最小値とならない場合、類似度ｓ（＝ｓ（ｘ））を「０」として出力する。
【００６３】
なお、上記算出処理は、例えば、図５、図６に示す構成により、ハードウェア処理により実行されるものであってもよい。図５、図６の場合、振幅ａ（ｘ）およびオフセット値ｂ（ｘ）を算出するための局所領域ｕは、処理対象画素（注目画素）ｆ（ｘ）を中心とする５個（Ｎ＝５）のサンプル点を含む領域であり、最小２乗誤差Ｅｍｉｎを算出（決定）するための局所領域ｕ’は、処理対象画素（注目画素）の最小２乗誤差Ｅｍｉｎ（ｘ）を中心とする９個（Ｎ＝５）のサンプル点を含む領域である。図６に示す類似度決定部２１の最小値判定部２１１は、Ｅ（ｘ−４）〜Ｅ（ｘ＋４）の９個のサンプル点において、処理対象画素（注目画素）の最小２乗誤差Ｅ（ｘ）が最小値であるか否かを判定する。そして、類似度決定部２１の最小値判定部２１１は、Ｅ（ｘ）が最小値である場合、類似度ｓ（＝ｓ（ｘ））を「１」として出力し、一方、Ｅ（ｘ）が最小値ではない場合、類似度ｓ（＝ｓ（ｘ））を「０」として出力する。
【００６４】
例えば、図７に示す入力画像信号Ｄｉｎに対して、類似度算出処理を実行する場合、図７に示すように、低解像度パターン信号ＰｔｎＬ（例えば、図７に示すＰｔｎ１〜Ｐｔｎ５）を用いて、類似度を検証する。図７の場合、ｘ＝ｘ０にピークを有するＰｔｎ３の低解像度パターン信号ＰｔｎＬと、入力画像信号Ｄｉｎとの類似度が高いので、ｘ＝ｘ０において、最小２乗誤差Ｅｍｉｎが最小値（極小値）をとる。したがって、図７に示すように、ｘ＝ｘ０において、Ｓ＝１となり、それ以外の部分では、Ｓ＝０となる。
【００６５】
図８に、（１）入力画像Ｄｉｎの信号波形と、（２）最小２乗法により決定した振幅値ａ（＝ａ（ｘ））およびオフセット値ｂ（＝ｂ（ｘ））による信号ａ（ｘ）ｋ（ｕ）＋ｂ（ｘ）（低解像度パターン信号の振幅をａ（ｘ）にし、オフセット値を加算した信号）の信号波形と、（３）最小２乗誤差Ｅｍｉｎ（ｘ）の信号波形と、（４）類似度ｓ（＝ｓ（ｘ））の信号波形とを、横軸（ｘ座標軸）を一致させて示している。
【００６６】
また、図８において、ＡＲ（ｘ）は、中心をｘとする局所領域を示しており、図８の場合、局所領域に含まれる画素数（サンプル数）は、「９」である。
【００６７】
図８から分かるように、ｘ＝ｘ１、ｘ２、ｘ３、ｘ４において、低解像度パターン信号ＰｔｎＬと類似する信号波形（信号パターン）が発生している。
【００６８】
つまり、
（１）局所領域ＡＲ（ｘ１）において、ｘ＝ｘ１のときＥｍｉｎは、最小値Ｅｍｉｎ（ｘ１）となり、
（２）局所領域ＡＲ（ｘ２）において、ｘ＝ｘ２のときＥｍｉｎは、最小値Ｅｍｉｎ（ｘ２）となり、
（３）局所領域ＡＲ（ｘ３）において、ｘ＝ｘ３のときＥｍｉｎは、最小値Ｅｍｉｎ（ｘ３）となり、
（４）局所領域ＡＲ（ｘ４）において、ｘ＝ｘ４のときＥｍｉｎは、最小値Ｅｍｉｎ（ｘ４）となる。
【００６９】
したがって、図８に示すように、Ｓ（＝Ｓ（ｘ））は、ｘ＝ｘ１、ｘ２、ｘ３、ｘ４において、Ｓ＝１となり、それ以外のｘ座標位置では、Ｓ＝０となる。なお、振幅ａ（ｘ）は、実数であり、負の値が許容されるので、低解像度パターン信号ＰｔｎＬ（ｋ（ｕ）に対応）の信号値が反転した波形であっても、Ｓ＝１となりうる。
【００７０】
このようにして、類似度算出部２において算出（決定）された類似度ｓ（＝ｓ（ｘ））は、類似度算出部２から乗算部３に出力される。
【００７１】
乗算部３では、振幅推定部１から出力される振幅ａ（＝ａ（ｘ））と、類似度算出部２から出力される類似度ｓ（＝ｓ（ｘ））とが乗算される。そして、乗算処理後の信号（＝ａ×ｓ（＝ａ（ｘ）×ｓ（ｘ）））が、ＦＩＲフィルタ部４に出力される。
【００７２】
（１．２．３：ＦＩＲフィルタ処理）
画像処理部１００のＦＩＲフィルタ部４では、乗算部３から出力される、振幅ａ（＝ａ（ｘ））と類似度ｓ（＝ｓ（ｘ））の乗算信号（ａ×ｓ）に対して、差分パターン信号ＰｔｎＤｉｆｆを用いて、ＦＩＲフィルタ処理が実行される。
【００７３】
つまり、ＦＩＲフィルタ部４は、差分パターン信号ＰｔｎＤｉｆｆのデータ列をＦＩＲフィルタ係数とするＦＩＲフィルタ処理を実行する。すなわち、差分パターン信号ＰｔｎＤｉｆｆをｄ（ｘ＋ｉ）（ｉ：整数、−ｎ≦ｉ≦ｎ）とすると、ＦＩＲフィルタ部４は、
【数９】
2015115168.tif 000012
に相当する処理を実行することで、ＦＩＲフィルタ処理後の信号ΔＤ（ｘ）を取得する。
【００７４】
なお、上記ＦＩＲフィルタ処理は、例えば、図９に示す構成により、ハードウェア処理により実行されるものであってもよい。図９に示した構成では、上記数式において、ｎ＝４とした場合のＦＩＲフィルタ処理が実行される。なお、図９の合計部４１は、各入力を加算する（シグマ演算）を行う。
【００７５】
ここで、ＦＩＲフィルタ処理について、図１０を用いて、説明する。
【００７６】
図１０は、（１）入力画像Ｄｉｎの信号波形と、（２）最小２乗法により決定した振幅値ａ（＝ａ（ｘ））およびオフセット値ｂ（＝ｂ（ｘ））による信号ａ（ｘ）ｋ（ｕ）＋ｂ（ｘ）（低解像度パターン信号の振幅をａ（ｘ）にし、オフセット値を加算した信号）の信号波形と、（３）乗算部３の出力信号ｓ×ａ（＝ｓ（ｘ）×ａ（ｘ））の信号波形と、（４）ＦＩＲフィルタ部４の出力信号ΔＤ（＝ΔＤ（ｘ））の信号波形とを、横軸（ｘ座標軸）を一致させて示している。
【００７７】
上記ＦＩＲフィルタ処理では、インパルス応答（ｘ＝ｘａにおいてのみ振幅「１」の信号が入力されたときの出力）の信号波形が、差分パターン信号ＰｔｎＤｉｆｆのデータ列と一致する。したがって、ｘ＝ｘａにおいてのみ非０の信号値ａ（ｘａ）をとり、ｘ＝ｘａ以外において、「０」の信号値をとる信号を、ＦＩＲフィルタ部４に入力すると、ＦＩＲフィルタ部４からは、差分パターン信号ＰｔｎＤｉｆｆを、その信号値をａ（ｘａ）倍した信号が出力される。
【００７８】
図１０に示すように、ｘ＝ｘ１、ｘ２、ｘ３、ｘ４において、ＦＩＲフィルタ部４から出力される信号は、以下のようになる。
（１）ｘ＝ｘ１において、乗算部３の出力信号ｓ×ａ＝ａ（ｘ１）であるので、このとき、ＦＩＲフィルタ部４から、差分パターン信号ＰｔｎＤｉｆｆをａ（ｘ１）倍した信号（差分信号ΔＤ（＝ΔＤ（ｘ）））が出力される。
（２）ｘ＝ｘ２において、乗算部３の出力信号ｓ×ａ＝ａ（ｘ２）であるので、このとき、ＦＩＲフィルタ部４から、差分パターン信号ＰｔｎＤｉｆｆをａ（ｘ２）倍した信号（差分信号ΔＤ（＝ΔＤ（ｘ）））が出力される。
（３）ｘ＝ｘ３において、乗算部３の出力信号ｓ×ａ＝ａ（ｘ３）であるので、このとき、ＦＩＲフィルタ部４から、差分パターン信号ＰｔｎＤｉｆｆをａ（ｘ３）倍した信号（差分信号ΔＤ（＝ΔＤ（ｘ）））が出力される。
（４）ｘ＝ｘ４において、乗算部３の出力信号ｓ×ａ＝ａ（ｘ４）であるので、このとき、ＦＩＲフィルタ部４から、差分パターン信号ＰｔｎＤｉｆｆをａ（ｘ４）倍した信号（差分信号ΔＤ（＝ΔＤ（ｘ）））が出力される。
【００７９】
このようにして、ＦＩＲフィルタ部４により取得された信号は、差分信号ΔＤ（＝ΔＤ（ｘ））として、加算部５に出力される。
【００８０】
加算部５では、入力画像信号Ｄｉｎと、ＦＩＲフィルタ部４から出力された差分信号ΔＤとが加算される。すなわち、加算部５では、
Ｄｏｕｔ＝Ｄｉｎ＋ΔＤ
に相当する処理が実行され、出力画像信号Ｄｏｕｔが取得される。
【００８１】
図１１に、図１０のｘ＝ｘ１近傍における、（１）入力画像Ｄｉｎの信号波形と、（２）最小２乗法により決定した振幅値ａ（＝ａ（ｘ））およびオフセット値ｂ（＝ｂ（ｘ））による信号ａ（ｘ）ｋ（ｕ）＋ｂ（ｘ）（低解像度パターン信号の振幅をａ（ｘ）にし、オフセット値を加算した信号）の信号波形（図１０において、「ＰｔｎＬ×ａ（ｘ１）」で示した信号波形）と、（３）ＦＩＲフィルタ部４の出力信号ΔＤ（＝ΔＤ（ｘ））の信号波形と、（５）出力信号Ｄｏｕｔの信号波形とを、横軸（ｘ座標軸）を一致させて示している。また、図１１の左側に低解像度パターン信号ＰｔｎＬと、差分パターン信号ＰｔｎＤｉｆｆとを示している。
【００８２】
図１１に示すように、画像処理システム１０００では、振幅推定部１により、低解像度パターン信号ＰｔｎＬをａ倍して、オフセットｂを加算したときの信号波形と、入力画像信号Ｄｉｎとの誤差が最も小さくなるように、倍率ａが設定される。そして、画像処理システム１０００では、類似度算出部２により、局所領域において、低解像度パターン信号ＰｔｎＬをａ倍して、オフセットｂを加算したときの信号波形と、入力画像信号との最小２乗誤差Ｅｍｉｎが最小値となる位置（図１１ではｘ座標位置がｘ１の位置）を検出し、その位置における類似度を「１」に設定する（図１１の場合、Ｓ（ｘ１）＝１）。そして、画像処理システム１０００では、乗算部３により生成された乗算信号ｓ×ａが、ＦＩＲフィルタ部４に入力されることで、ＦＩＲフィルタ部４は、差分パターン信号ＰｔｎＤｉｆｆの信号値をａ倍した信号ΔＤを出力する。そして、画像処理システム１０００では、加算部５により、差分パターン信号ＰｔｎＤｉｆｆの信号値をａ倍した信号ΔＤと、入力画像信号Ｄｉｎとが加算される。これにより、画像処理システム１０００では、図１１に示すように、ｘ＝ｘ１近傍において、低解像度の画像をアップスケール処理したことで太くなってしまった線状の画像領域を、元の細い線状の画像領域に再現させることができる。
【００８３】
以上のように、画像処理システム１０００では、高解像度パターン信号ＰｔｎＨをダウンスケール処理し、さらに、アップスケール処理したときの低解像度パターン信号ＰｔｎＬをａ倍した信号波形を用いて、当該信号波形と類似する信号波形部分を、入力画像信号において検出する。そして、画像処理システム１０００では、上記のように検出した、入力画像信号の信号部分に、高解像度パターン信号ＰｔｎＨと低解像度パターン信号ＰｔｎＬとの差分である差分パターン信号ＰｔｎＤｉｆｆをａ倍した信号波形を加算する。入力画像信号Ｄｉｎにおいて、低解像度パターン信号ＰｔｎＬをａ倍した信号波形と類似する信号波形部分は、ダウンスケール処理され、さらに、アップスケール処理されることで、高域成分が失われた部分であり、その失われた高域成分は、差分パターン信号ＰｔｎＤｉｆｆをａ倍した信号波形（信号ΔＤ）に類似する。
【００８４】
したがって、画像処理システム１０００では、入力画像信号Ｄｉｎに対して、差分パターン信号ＰｔｎＤｉｆｆをａ倍（倍率ａは、低解像度パターン信号ＰｔｎＬをａ倍した信号波形と入力画像信号Ｄｉｎとの差が局所領域において最小となる倍率）した信号波形（信号ΔＤ）を加算することで、ダウンスケール処理され、さらに、アップスケール処理されることで失われた高域成分を適切に復元することができる。
【００８５】
このように、画像処理システム１０００では、ダウンスケール処理され、さらに、アップスケール処理されたときに発生する信号処理波形と類似する信号波形を有する部分を検出し、当該検出した部分においてのみ、失われた高域成分を、その振幅が失われた高域成分信号と同等になるように調整して、入力画像信号に加算する。したがって、画像処理システム１０００では、従来技術のように、不必要にノイズ成分を強調したり、過剰にオーバーシュートを発生させたりすることなく、低解像度の画像をアップスケール処理したことで太くなってしまった線状の画像領域を、元の細い線状の画像領域に再現させることができる。その結果、画像処理システム１０００で取得される画像信号(映像信号)は、精細感のある高品質な画像信号(映像信号)となる。
【００８６】
≪第１変形例≫
次に、第１実施形態の第１変形例について説明する。
【００８７】
なお、上記実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。
【００８８】
本変形例の画像処理システムは、第１実施形態の画像処理システム１０００と同様の構成を有しており、振幅推定部１で実行される処理のみが異なる。
【００８９】
図１２は、本変形例における振幅推定部１の処理について説明するための図である。
【００９０】
本変形例における振幅推定部１では、第１実施形態のように最小二乗法により、振幅ａを求めるのではなく、簡易的に、振幅ａを求める。
【００９１】
具体的には、図１２に示すように、振幅推定部１は、処理対象画素をｘ＝ｘ０の画素とすると、図１２に示すように、領域ＡＲ＿ｐと、ｘ軸上における、領域ＡＲ＿ｐの前後の領域ＡＲ＿ｆ１、ＡＲ＿ｆ２を設定する。図１２に示す領域ＡＲ＿ｐに含まれる画素の画素値（信号値）の平均値ＡｖｅＰと、領域ＡＲ＿ｆ１およびＡＲ＿ｆ２に含まれる画素の画素値（信号値）の平均値ＡｖｅＦとに基づいて、振幅ａ（＝ａ（ｘ））を求める。つまり、振幅推定部１は、
【数１０】
2015115168.tif 000013
【数１１】
2015115168.tif 000014
により、領域ＡＲ＿ｐに含まれる画素の画素値（信号値）の平均値ＡｖｅＰと、領域ＡＲ＿ｆ１およびＡＲ＿ｆ２に含まれる画素の画素値（信号値）の平均値ＡｖｅＦとを算出する。
【００９２】
なお、ｎは、領域ＡＲ＿ｐの中心の前後のサンプル数であり。ｍは、領域ＡＲ＿ｐ、領域ＡＲ＿ｆ１、領域ＡＲ＿ｆ２により構成される領域における中心の前後のサンプル数である。図１２は、ｎ＝１、ｍ＝５の場合を示している。
【００９３】
そして、低解像度パターン信号ＰｔｎＬの振幅をａ０とすると、
ａ（ｘ０）＝（ＡｖｅＰ−ＡｖｅＦ）／ａ０
により、処理対象画素ｘ＝ｘ０における、振幅ａ（ｘ）（＝ａ（ｘ０））を算出する。
【００９４】
これにより、本変形例では、第１実施形態のように、最小二乗法による算出処理を行うことなく、簡易に、倍率ａ（＝ａ（ｘ））を算出することができる。
【００９５】
≪第２変形例≫
次に、第１実施形態の第２変形例について説明する。
【００９６】
なお、上記実施形態（変形例を含む）と同様の部分については、同一符号を付し、詳細な説明を省略する。
【００９７】
本変形例の画像処理システムは、第１実施形態の画像処理システム１０００の類似度算出部２の類似度決定部２１の処理内容が異なる。
【００９８】
第１実施形態の類似度決定部２１では、図６に示す構成を有しており、処理対象画素が、局所領域におけるＥｍｉｎの最小値をとるか否かを判断していた。それに対して、本変形例の類似度決定部２１は、図６に示す構成の代わりに、図１３に示すような入出力特性を有するＲＯＭ等により構成される。つまり、本変形例の類似度決定部２１は、図１３に示すように、入力される最小２乗誤差Ｅｍｉｎの値が「０」に近づく程、出力値、すなわち、類似度が「１」に近づいて大きくなる。
【００９９】
これにより、０〜１の間の中間値を有する類似度ｓが類似度算出部２から出力される。
【０１００】
つまり、本変形例の画像処理システムでは、０〜１の間の中間値を有する類似度ｓを用いて処理を行うことができる。
【０１０１】
なお、本変形例の類似度決定部２１の入出力特性は、上記に限定されることなく、入力である最小２乗誤差Ｅｍｉｎの値に対して単調減少となる特性であれば、他の特性であってもよい。また、本変形例の類似度決定部２１は、ＲＯＭ等によって実現されるものであってもよく、また、演算により上記入出力特性を実現するものであってもよい。
【０１０２】
≪第３変形例≫
次に、第１実施形態の第３変形例について説明する。
【０１０３】
なお、上記実施形態（変形例を含む）と同様の部分については、同一符号を付し、詳細な説明を省略する。
【０１０４】
本変形例の画像処理システムは、第１実施形態の画像処理システム１０００において、類似度算出部２を、図１４に示す類似度算出部２Ａに置換した構成を有している。それ以外については、本変形例の画像処理システムは、第１実施形態の画像処理システム１０００と同様である。
【０１０５】
本変形例の類似度算出部２Ａは、入力画像Ｄｉｎの局所領域（図１４の場合、９個の画素からなる局所領域）において、処理対象画素が、ピーク値（最大値または最小値）をとる場合、類似度ｓ＝１として、類似度ｓを出力し、それ以外の場合、類似度ｓ＝０として、類似度ｓを出力する。
【０１０６】
図１５に、入力画像Ｄｉｎの信号波形と、本変形例の類似度算出部２Ａにより取得された類似度ｓとを、ｘ軸を一致させて示す。
【０１０７】
図１５から分かるように、本変形例の類似度算出部２Ａにより、適切に、類似度ｓが算出（決定）されている。なお、図１５の場合、局所領域は、９個の画素（サンプル点）からなる局所領域である。
【０１０８】
このように、本変形例の画像処理システムでは、簡易に、類似度ｓを算出することができる。
【０１０９】
≪第４変形例≫
次に、第１実施形態の第４変形例について説明する。
【０１１０】
なお、上記実施形態（変形例を含む）と同様の部分については、同一符号を付し、詳細な説明を省略する。
【０１１１】
図１６に、第１実施形態の第４変形例の画像処理システム１０００Ａの概略構成図を示す。
【０１１２】
本変形例の画像処理システム１０００Ａは、第１実施形態の画像処理システム１０００のパターン生成部２００をパターン生成部２００Ａに置換した構成を有している。具体的には、本変形例の画像処理システム１０００Ａは、図１６に示すように、第１実施形態のパターン生成部２００において、ダウンスケール処理部２０１およびアップスケール処理部２０２を、低域通過フィルタ部２０４に置換した構成を有している。これ以外については、本変形例の画像処理システム１０００Ａは、第１実施形態の画像処理システム１０００と同様である。
【０１１３】
低域通過フィルタ部２０４は、高解像度パターン信号ＰｔｎＨを入力とし、入力された高解像度パターン信号ＰｔｎＨに対して、低域通過フィルタ処理（ローパスフィルタ処理）を実行する。そして、低域通過フィルタ部２０４は、低域通過フィルタ処理後の信号を、低解像度パターン信号ＰｔｎＬとして、減算部２３および振幅推定部１に出力する。
【０１１４】
なお、「低域通過フィルタ処理」は、高解像度パターン信号ＰｔｎＨが、当該低域通過フィルタ処理を実行されたときに取得される信号波形と、高解像度パターン信号ＰｔｎＨに対して、ダウンスケール処理した後、アップスケール処理した場合に取得される信号波形とが、類似するように（例えば、両者（２つの信号波形）の差（誤差）が所定の範囲に入るように）、当該低域通過フィルタ処理のカットオフ周波数が設定されることが好ましい。
【０１１５】
第１実施形態の画像処理システム１０００において、高解像度パターン信号ＰｔｎＨを、ダウンスケール処理部２０１によりダウンスケール処理が実行された後、アップスケール処理部２０２によりアップスケール処理が実行されることで取得される低解像度パターン信号ＰｔｎＬは、高解像度パターン信号ＰｔｎＨの高域成分を削減した信号となる。つまり、この信号は、高解像度パターン信号ＰｔｎＨに対して、低域通過フィルタ処理を実行することで取得される信号と近似する。
【０１１６】
本変形の画像処理システム１０００Ａでは、上記のように、低域通過フィルタ部２０４により、高解像度パターン信号ＰｔｎＨに対して、低域通過フィルタ処理を実行することで、低解像度パターン信号ＰｔｎＬを取得する。したがって、本変形の画像処理システム１０００Ａにおいて取得される低解像度パターン信号ＰｔｎＬは、第１実施形態の画像処理システム１０００において取得される低解像度パターン信号ＰｔｎＬと近似する。その結果、画像処理システム１０００Ａでは、パターン生成部２００Ａにより取得された低解像度パターン信号ＰｔｎＬを用いて、処理を行うことで、第１実施形態と同様の処理を実現することができる。
【０１１７】
また、本変形例の画像処理システム１０００Ａでは、上記のように、低域通過フィルタ部２０４による低域通過フィルタ処理を行うだけで、低解像度パターン信号ＰｔｎＬを取得することができるので、第１実施形態に比べて、演算量を少なくすることができる。
【０１１８】
例えば、画像処理システムを実現する場合、計算機リソースに余裕がある場合、第１実施形態の画像処理システム１０００の構成を採用すればよい。この場合、高解像度パターン信号ＰｔｎＨに対して、ダウンスケール処理部２０１によるダウンスケール処理、および、アップスケール処理部２０２によりアップスケール処理を実行することで、精度の高い低解像度パターン信号ＰｔｎＬが取得される。デシメート処理で発生するわずかな折り返しひずみも再現してモデルを生成することができるためである。
【０１１９】
一方、計算機リソースに余裕がない場合、本変形例の画像処理システム１０００Ａの構成を採用すればよい。この場合、高解像度パターン信号ＰｔｎＨに対して、低域通過フィルタ部２０４による低域通過フィルタ処理を行うだけで、低解像度パターン信号ＰｔｎＬを取得することができるので、演算量を少なくでき、必要とされる計算機リソースを低減することができる。
【０１２０】
［第２実施形態］
次に、第２実施形態について、説明する。
【０１２１】
なお、上記実施形態（変形例を含む）と同様の部分については、同一符号を付す。
【０１２２】
図１７〜図２０は、第２実施形態に係る画像処理方法のフローチャートである。
【０１２３】
図１７〜図２０のフローチャートを用いて、本実施形態の画像処理方法について、説明する。
【０１２４】
なお、本実施形態の解像度推定方法は、例えば、第１実施形態の画像処理システムや、制御部（ＣＰＵ等）、画像メモリ、ＲＯＭ、ＲＡＭ等を備えたシステムにより実行される。
【０１２５】
（Ｓ１）：
ステップＳ１では、高解像度パターンを低解像度化したパターン（低解像度パターン）ｋ（ｕ）が設定される（算出される）。
【０１２６】
（Ｓ２）：
ステップＳ２では、高解像度パターンと低解像度パターンとの差分である差分パターンｄ（ｕ）が設定（算出）される。
【０１２７】
（Ｓ３）：
ステップＳ３では、低解像度パターンｋ（ｕ）から、第１実施形態の（数式３）で説明したのと同様に、Ａ１、Ａ２、Ｂ１、Ｂ２が算出される。なお、（数式３）におけるＮは、局所領域に含まれるサンプル数を示す。また、Ｎ＝２×ｎ＋１とし、ｎは、処理対象画素（注目画素）の画素位置ｘを中心として、局所領域の範囲を示す値である。つまり、局所領域は、（ｘ−ｎ）〜（ｘ＋ｎ）で表される。
【０１２８】
（Ｓ４）：
ステップＳ４では、出力画像Ｙ（ｉ，ｊ）を、入力画像Ｉ（ｉ，ｊ）で初期化する。
【０１２９】
（Ｓ５、Ｓ６）：
ステップＳ５では、画像の水平方向の先鋭化処理（水平先鋭化処理）が実行される。画像Ｙ（ｉ，ｊ）に、水平先鋭化処理により取得された高域成分ΔＹが加算されることにより、水平先鋭化処理が実行される。
【０１３０】
また、ステップＳ６では、画像の垂直方向の先鋭化処理（垂直先鋭化処理）が実行される。画像Ｙ（ｉ，ｊ）に、垂直先鋭化処理により取得された高域成分ΔＹが加算されることにより、垂直先鋭化処理が実行される。
【０１３１】
なお、ステップＳ５、Ｓ６の順番を入れ替えてもよい。
【０１３２】
≪先鋭化処理≫
次に、ステップＳ５、Ｓ６の先鋭化処理（水平先鋭化処理、垂直先鋭化処理）の詳細について、図１８〜図２０を用いて、説明する。
【０１３３】
（Ｓ５０１、Ｓ５０２）：
ステップＳ５０１では、ｊ＝０とし、ｊがＶ＿ＳＩＺＥ−１となるまで、ｊを＋１ずつインクリメントしながら、処理を繰り返す。なお、Ｖ＿ＳＩＺＥは垂直画像サイズであり、ｊは処理対象画素の垂直座標位置である。
【０１３４】
ステップＳ５０２では、ｉ＝０とし、ｉがＨ＿ＳＩＺＥ−１となるまで、ｉを＋１ずつインクリメントしながら、処理を繰り返す。なお、Ｈ＿ＳＩＺＥは水平直画像サイズであり、ｉは処理対象画素の水平座標位置である。
【０１３５】
特に明記しない限り、以後のフローチャートにおいて、ｉ，ｊは上記の意味を示す。
【０１３６】
（Ｓ５０４、Ｓ５０５）：
ステップＳ５０４では、局所領域の情報をｆ（−ｎ：ｎ）（例えば、ｆ（−ｎ：ｎ）は、−ｎ〜ｎのデータ（２ｎ＋１個のデータ）を保存することができるメモリ領域）にコピーする。水平処理の場合には、画素（ｉ，ｊ）を中心として水平方向に隣接する画素が、ｆ（−ｎ：ｎ）にコピーされる。この処理を、
ｆ（［−ｎ：ｎ］）＝Ｉ（ｉ，ｊ＋［−ｎ：ｎ］）
と表記する。
【０１３７】
また、ステップＳ５０５の垂直処理の場合には、画素（ｉ，ｊ）を中心として垂直方向に隣接する画素が、ｆ（−ｎ：ｎ）にコピーされる。この処理を、
ｆ（［−ｎ：ｎ］）＝Ｉ（ｉ［−ｎ：ｎ］，ｊ）
と表記する。
【０１３８】
（Ｓ５０６〜Ｓ５０８）：
ステップＳ５０６では、第１実施形態で示した数式に基づいて、Ｓｆｋ、Ｓｆを求め、さらに、振幅ａを求める。
【０１３９】
ステップＳ５０７では、第１実施形態で示した数式に基づいて、オフセット値ｂと、Ｓｆ２とを求め、さらに、第１実施形態と同様に、最小二乗誤差Ｅｍｉｎを求める。
【０１４０】
ステップＳ５０８では、画像メモリの（ｉ，ｊ）に対応する振幅ａのデータ格納用アドレスに振幅ａのデータを保存する。この処理を、
Ｍａ（ｉ，ｊ）＝ａ
と表記する。
【０１４１】
また、画像メモリの（ｉ，ｊ）に対応する最小二乗誤差Ｅｍｉｎのデータ格納用アドレスに最小二乗誤差Ｅｍｉｎのデータを保存する。この処理を、
Ｍｅ（ｉ，ｊ）＝Ｅｍｉｎ
と表記する。
【０１４２】
（Ｓ５０９）：
Ｓ５０９では、ｉを＋１インクリメントし、処理をＳ５０２に戻し、上記処理（Ｓ５０３〜Ｓ５０８までの処理）を繰り返す。
【０１４３】
（Ｓ５１０）：
Ｓ５１０では、ｊを＋１インクリメントし、処理をＳ５０１に戻し、上記処理（Ｓ５０２〜Ｓ５０９までの処理）を繰り返す。
【０１４４】
（Ｓ５１１、Ｓ５１２）：
ステップＳ５１１では、ｊ＝０とし、ｊがＶ＿ＳＩＺＥ−１となるまで、ｊを＋１ずつインクリメントしながら、処理を繰り返す。
【０１４５】
ステップＳ５１２では、ｉ＝０とし、ｉがＨ＿ＳＩＺＥ−１となるまで、ｉを＋１ずつインクリメントしながら、処理を繰り返す。
【０１４６】
（Ｓ５１３〜Ｓ５１６）：
ステップＳ５１３では、処理対象画素（ｉ，ｊ）における最小二乗誤差値Ｍｅ（ｉ，ｊ）が局所領域内で最小値をとるか否かを判定する。判定の結果、局所領域内において、最小二乗誤差値Ｍｅ（ｉ，ｊ）が最小値である場合、類似度としてｓ＝１をセットし（ステップＳ５１４）、そうでない場合は、ｓ＝０をセットする（ステップＳ５１５）。
【０１４７】
ステップＳ５１６では、類似度ｓと振幅Ｍａ（ｉ，ｊ）との積を、画像メモリＭｓａ（ｉ，ｊ）にストアする。つまり、
Ｍｓａ（ｉ，ｊ）＝ｓ×Ｍａ（ｉ，ｊ）
に相当する処理を実行する。
【０１４８】
（Ｓ５１７）：
Ｓ５１７では、ｉを＋１インクリメントし、処理をＳ５１２に戻し、上記処理（Ｓ５１３〜Ｓ５１６までの処理）を繰り返す。
【０１４９】
（Ｓ５１８）：
Ｓ５１８では、ｊを＋１インクリメントし、処理をＳ５１１に戻し、上記処理（Ｓ５１２〜Ｓ５１７までの処理）を繰り返す。
【０１５０】
（Ｓ５１９、Ｓ５２０）：
ステップＳ５１１では、ｊ＝０とし、ｊがＶ＿ＳＩＺＥ−１となるまで、ｊを＋１ずつインクリメントしながら、処理を繰り返す。
【０１５１】
ステップＳ５１２では、ｉ＝０とし、ｉがＨ＿ＳＩＺＥ−１となるまで、ｉを＋１ずつインクリメントしながら、処理を繰り返す。
【０１５２】
（Ｓ５２１〜Ｓ５２３）：
ステップＳ５２１では、水平処理であるか否かを判定する。
【０１５３】
ステップＳ５２２、Ｓ５２３では、局所領域における振幅と類似度との積の情報をａｓ（−ｎ：＋ｎ）にコピーする。つまり、水平処理の場合には、画素（ｉ，ｊ）を中心として水平方向に隣接する画素が、ａｓ（−ｎ：＋ｎ）にコピーされる。つまり、
ａｓ（［−ｎ：ｎ］）＝Ｍａｓ（ｉ＋［−ｎ：ｎ］，ｊ）
に相当する処理が実行される（Ｓ５２３）。
【０１５４】
垂直処理の場合には、画素（ｉ，ｊ）を中心として垂直方向に隣接する画素が、ａｓ（−ｎ：＋ｎ）にコピーされる。つまり、
ａｓ（［−ｎ：ｎ］）＝Ｍａｓ（ｉ，ｊ＋［−ｎ：ｎ］）
に相当する処理が実行される（Ｓ５２２）。
【０１５５】
（Ｓ５２４〜Ｓ５２９）：
ステップＳ５２４では、一時変数ｔｍｐをクリアし、ステップＳ５２５では、局所参照変数ｕを−ｎから＋ｎまで、＋１ずつインクリメントしながら処理を繰り返す。このループ処理の中では、差分パターンｄ（ｕ）と、ａｓ（ｕ）とが乗算され、乗算結果の値がｔｍｐに累積加算される。これは、いわゆるＦＩＲフィルタの処理に相当する。
【０１５６】
上記ループ処理が終了した時点で、ｔｍｐを鮮鋭化成分ΔＹに保存する（Ｓ５２８）。
【０１５７】
そして、鮮鋭化成分ΔＹをＹ（ｉ，ｊ）に加算する。すなわち、
Ｙ（ｉ，ｊ）＝Ｙ（ｉ，ｊ）＋ΔＹ
に相当する処理が実行される。
【０１５８】
なお、１回目の鮮鋭化処理で水平処理が選択されている場合、右辺のＹ（ｉ，ｊ）には、入力画像Ｉ（ｉ，ｊ）と同じデータがストアされている。２回目の鮮鋭化処理で垂直が選択されている場合、右辺のＹ（ｉ，ｊ）には、１回目の鮮鋭化処理の結果がストアされており、２回目の時には、新たに垂直の鮮鋭化成分が足しこまれることになる。
【０１５９】
（Ｓ５３０）：
Ｓ５３０では、ｉを＋１インクリメントし、処理をＳ５２０に戻し、上記処理（Ｓ５２１〜Ｓ５２９までの処理）を繰り返す。
【０１６０】
（Ｓ５３１）：
Ｓ５３１では、ｊを＋１インクリメントし、処理をＳ５１９に戻し、上記処理（Ｓ５２０〜Ｓ５３０までの処理）を繰り返す。
【０１６１】
以上により、ステップＳ５、Ｓ６の先鋭化処理（水平先鋭化処理、垂直先鋭化処理）が実行される。
【０１６２】
以上のように、本実施形態の画像処理方法では、ダウンスケール処理され、さらに、アップスケール処理されたときに発生する信号処理波形と類似する信号波形を有する部分を検出し、当該検出した部分においてのみ、失われた高域成分を、その振幅が失われた高域成分信号と同等になるように調整して、入力画像信号に加算する。したがって、本実施形態の画像処理方法では、従来技術のように、不必要にノイズ成分を強調したり、過剰にオーバーシュートを発生させたりすることなく、低解像度の画像をアップスケール処理したことで太くなってしまった線状の画像領域を、元の細い線状の画像領域に再現させることができる。その結果、本実施形態の画像処理方法により取得される画像信号(映像信号)は、精細感のある高品質な画像信号(映像信号)となる。
【０１６３】
［他の実施形態］
上記実施形態（変形例を含む）では、低解像度パターン信号ＰｔｎＬ、および、差分パターン信号ＰｔｎＤｉｆｆが、高解像度パターン信号ＰｔｎＨから所定の処理が実行されることで、取得される場合について、説明した。しかしながら、これに限定されることはなく、高解像度パターン信号ＰｔｎＨ、低解像度パターン信号ＰｔｎＬ、および、差分パターン信号ＰｔｎＤｉｆｆの一部または全部が、予め設定されているものであってもよい。この場合、例えば、画像処理システムにおいて、パターン生成部２００を省略した構成とすることも可能である。
【０１６４】
また、高解像度パターン信号ＰｔｎＨ、低解像度パターン信号ＰｔｎＬ、および、差分パターン信号ＰｔｎＤｉｆｆの一部または全部が、設定により、そのパターン（信号波形）が変更されるものであってもよい。
【０１６５】
また、第１実施形態（変形例を含む）では、画像処理システムにおいて、水平方向の処理を想定して、説明を行ったが、是に限定されることはなく、上記と同様の考え方により、画像処理システムにおいて、垂直方向の処理が実行されるようにしてもよい。
【０１６６】
また、上記実施形態（変形例を含む）の一部または全部を組み合わせて、画像処理システム、画像処理装置および画像処理方法を実現するようにしてもよい。
【０１６７】
また、上記実施形態の画像処理システム、画像処理装置の一部または全部は、集積回路（例えば、ＬＳＩ、システムＬＳＩ等）として実現されるものであってもよい。
【０１６８】
上記実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置（ＣＰＵ）により実行されるものであってもよい。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、中央演算装置（ＣＰＵ）が、ＲＯＭ、あるいはＲＡＭから当該プログラムを読み出し、実行されるものであってもよい。
【０１６９】
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア（ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。）により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。
【０１７０】
なお、上記実施形態に係る画像処理システム、画像処理装置をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。また、タイミング調整を行うための遅延器等についても図示を省略している。
【０１７１】
また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。
【０１７２】
前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、大容量ＤＶＤ、次世代ＤＶＤ、半導体メモリを挙げることができる。
【０１７３】
上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。
【０１７４】
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
【０１７５】
［付記］
なお、本発明は、以下のようにも表現することができる。
【０１７６】
第１の発明は、入力画像を先鋭化する画像処理装置であって、振幅推定部と、類似度算出部と、乗算部と、ＦＩＲフィルタ部と、加算部と、を備える。
【０１７７】
振幅推定部は、高解像度パターンデータ列に対して所定の処理を実行することで取得される低解像度パターンデータ列に倍率ａを乗算することにより取得された調整後低解像度パターンデータ列と、処理対象画素を含む入力画像の所定の範囲である局所領域内の画素データ列との差が、所定の値以下となるときの倍率ａを取得する。
【０１７８】
類似度算出部は、局所領域内において、調整後低解像度パターンデータ列と画素データ列との差が少ない程、処理対象画素の類似度値を、調整後低解像度パターンデータ列と画素データ列との類似の程度が高いことを示す値に設定する。
【０１７９】
乗算部は、処理対象ごとに、倍率ａと類似度とを乗算する。
【０１８０】
ＦＩＲフィルタ部は、低解像度パターンデータ列から高解像度パターンデータ列を減算することで取得される差分パターンデータ列をＦＩＲフィルタ係数として、処理対象画素ごとに、乗算部により取得された倍率ａと類似度との乗算値に対して、ＦＩＲフィルタ処理を実行することで、処理対象画素の高域成分データΔＤを取得する。
【０１８１】
加算部は、処理対象画素ごとに、当該処理対象画素の画素データと、ＦＩＲフィルタ処理により取得された処理対象画素の高域成分データΔＤとを加算する。
【０１８２】
この画像処理装置では、ダウンスケール処理され、さらに、アップスケール処理されたときに発生する信号処理波形と類似する信号波形を有する部分を検出し、当該検出した部分においてのみ、失われた高域成分を、その振幅が失われた高域成分信号と同等になるように調整して、入力画像信号に加算する。したがって、この画像処理装置では、従来技術のように、不必要にノイズ成分を強調したり、過剰にオーバーシュートを発生させたりすることなく、低解像度の画像をアップスケール処理したことで太くなってしまった線状の画像領域を、元の細い線状の画像領域に再現させることができる。その結果、この画像処理装置で取得される画像信号(画像データ)は、精細感のある高品質な画像信号(画像データ)となる。
【０１８３】
なお、「処理対象画素を含む入力画像の所定の範囲である局所領域」とは、例えば、（１）処理対象画素を中心として、画像の水平方向に２ｎ＋１画素（ｎ：自然数）の画素からなる画像領域や、（２）処理対象画素を中心として、画像の垂直方向に２ｎ＋１画素（ｎ：自然数）の画素からなる画像領域や、（３）処理対象画素を中心として、（２ｎ＋１）画素×（２ｎ＋１）画素からなる画像領域等を含む概念である。
【０１８４】
第２の発明は、第１の発明であって、振幅推定部は、高解像度パターンデータ列をダウンスケール処理した後、アップスケール処理することで、前記低解像度パターンデータ列を取得する。
【０１８５】
これにより、この画像処理装置では、高解像度パターンデータ列に対して、ダウンスケール処理した後、アップスケール処理することで、低解像度パターンデータ列を取得することができる。
【０１８６】
第３の発明は、第１の発明であって、振幅推定部は、高解像度パターンデータ列に対して、低域通過フィルタ処理を実行することで、低解像度パターンデータ列を取得する。
【０１８７】
この画像処理装置では、低域通過フィルタ処理を実行することで、低解像度パターンデータ列を取得することができるので、少ない演算量で、低解像度パターンデータ列を取得することができる。
【０１８８】
なお、「低域通過フィルタ処理」は、高解像度パターンデータ列が、当該低域通過フィルタ処理を実行されたときに取得される信号波形（データ列パターン）と、高解像度パターンデータ列に対して、ダウンスケール処理した後、アップスケール処理した場合に取得される信号波形（データ列パターン）とが、類似するように（例えば、両者（２つの信号波形）の差（誤差）が所定の範囲に入るように）、当該低域通過フィルタ処理のカットオフ周波数が設定されることが好ましい。
【０１８９】
第４の発明は、第１から第３のいずれかの発明であって、類似度算出部は、（１）局所領域内において、調整後低解像度パターンデータ列と画素データ列との差が最小となる画素に対して、当該画素に対応する類似度を第１の値に設定し、（２）局所領域内において、調整後低解像度パターンデータ列と画素データ列との差が最小とならない画素に対して、当該画素に対応する類似度を第１の値よりも小さい値に設定する。
【０１９０】
これにより、この画像処理装置では、局所領域内において、調整後低解像度パターンデータ列と画素データ列との差が最小となる画素の類似度を大きな値に設定することができる。
【０１９１】
第５の発明は、第１から第４のいずれかの発明であって、振幅推定部は、最小二乗法により、倍率ａを求める。
【０１９２】
第６の発明は、第１から第５のいずれかの発明であって、類似度算出部は、最小二乗法により算出した倍率ａで調整された調整後低解像度パターンデータ列と、局所領域内の画素データ列との最小二乗誤差値Ｅｍｉｎを、局所領域内の画素ごとに算出し、（１）局所領域内において、最小二乗誤差値Ｅｍｉｎが最小値である画素の類似度を第１の値に設定し、（２）局所領域内において、最小二乗誤差値Ｅｍｉｎが最小値でない画素の類似度を第１の値よりも小さい値に設定する。
【０１９３】
これにより、この画像処理装置では、最小二乗法により算出した倍率ａで調整された調整後低解像度パターンデータ列と、局所領域内の画素データ列との最小二乗誤差値Ｅｍｉｎを用いて、適切に処理対象画素の類似度を設定することができる。
【０１９４】
第７の発明は、第１から第６のいずれかの発明であって、類似度算出部は、倍率ａで調整された調整後低解像度パターンデータ列と、局所領域内の画素データ列との差が小さい程、処理対象画素の類似度を大きな値に設定する。
【０１９５】
これにより、この画像処理装置では、中間値（例えば、０〜１の間の中間値）をとる類似度を設定することができる。
【０１９６】
第８の発明は、第１から第７のいずれかの発明であって、類似度算出部は、（１）局所領域内において、処理対象画素の画素データがピーク値であるとき、処理対象画素に対応する類似度を第１の値に設定し、（２）局所領域内において、処理対象画素の画素データがピーク値ではないとき、処理対象画素に対応する類似度を第１の値よりも小さい値に設定する。
【０１９７】
これにより、この画像処理装置では、簡易に類似度を設定することができる。その結果、例えば、この画像処理装置をハードウェアで実現する場合のハードウェア規模を小さくすることができる。
【０１９８】
第９の発明は、入力画像を先鋭化する画像処理方法であって、
高解像度パターンデータ列に対して、所定の処理（例えば、（１）ダウンスケール処理した後、アップスケール処理を行う処理や、（２）低域通過フィルタ処理）を実行して取得される低解像度パターンデータ列に倍率ａを乗算することにより取得された調整後低解像度パターンデータ列と、処理対象画素を含む入力画像の所定の範囲である局所領域内の画素データ列との差が、所定の値以下となるときの前記倍率ａを取得する振幅推定ステップと、
前記局所領域内において、前記調整後低解像度パターンデータ列と前記画素データ列との差が少ない程、前記処理対象画素の類似度値を、前記調整後低解像度パターンデータ列と前記画素データ列との類似の程度が高いことを示す値に設定する類似度算出ステップと、
前記処理対象ごとに、前記倍率ａと前記類似度とを乗算する乗算ステップと、
前記低解像度パターンデータ列から前記高解像度パターンデータ列を減算することで取得される差分パターンデータ列をＦＩＲフィルタ係数として、前記処理対象画素ごとに、前記乗算部により取得された前記倍率ａと前記類似度との乗算値に対して、ＦＩＲフィルタ処理を実行することで、前記処理対象画素の高域成分データΔＤを取得するＦＩＲフィルタステップと、
前記処理対象画素ごとに、当該処理対象画素の画素データと、前記ＦＩＲフィルタ処理により取得された前記処理対象画素の高域成分データΔＤとを加算する加算ステップと、
を備える画像処理方法である。
【産業上の利用可能性】
【０１９９】
本発明は、不必要にノイズ成分を強調したり、過剰にオーバーシュートを発生させたりすることなく、低解像度の画像をアップスケール処理したことで太くなってしまった線状の画像領域を、元の細い線状の画像領域に再現させることができる画像処理装置、画像処理方法を実現することができる。したがって、本発明は、映像関連産業分野において、有用であり、当該分野において実施することができる。
【符号の説明】
【０２００】
１０００  画像処理システム
１００  画像処理部（画像処理装置）
１  振幅推定部
２、２Ａ  類似度算出部
３  乗算部
４  ＦＩＲフィルタ部
５  加算部
【図１】
2015115168.tif 000015
【図２】
2015115168.tif 000016
【図３】
2015115168.tif 000017
【図４】
2015115168.tif 000018
【図５】
2015115168.tif 000019
【図６】
2015115168.tif 000020
【図７】
2015115168.tif 000021
【図８】
2015115168.tif 000022
【図９】
2015115168.tif 000023
【図１０】
2015115168.tif 000024
【図１１】
2015115168.tif 000025
【図１２】
2015115168.tif 000026
【図１３】
2015115168.tif 000027
【図１４】
2015115168.tif 000028
【図１５】
2015115168.tif 000029
【図１６】
2015115168.tif 000030
【図１７】
2015115168.tif 000031
【図１８】
2015115168.tif 000032
【図１９】
2015115168.tif 000033
【図２０】
2015115168.tif 000034
【手続補正書】
【提出日】平成28年7月1日(2016.7.1)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００２
【補正方法】変更
【補正の内容】
【０００２】
一般に、ＳＤ（Ｓｔａｎｄａｒｄ  Ｄｅｆｉｎｉｔｉｏｎ）画質等の低解像度の画像（映像）は、ＨＤ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ）画質等の高解像度の画像（映像）を表示する高解像度ディスプレイに表示される場合、入力画像（映像）をディスプレイ全体に表示させるために、入力画像（映像）を引き延ばす(拡大)するアップスケールという処理（アップスケール処理）がなされる。しかし、アップスケール処理を実行しただけの画像（映像）を、そのまめ、高解像度ディスプレイに表示させると、真のＨＤ画質の画像（映像）に比べて、ぼけた印象の画像（映像）として表示される。このため、ＳＤ画質等の低解像度の画像（映像）をアップスケールした場合、アップスケール処理後の画像（映像）に対して、画像を鮮鋭化する処理（画像鮮鋭化処理）が実行されることがある。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
しかしながら、特許文献１に開示されている技術では、元の信号（入力画像信号）に含まれている高周波成分を強調して処理を行っているに過ぎないので、適切に画像鮮鋭化処理を実行することができない場合がある。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
上記課題を解決するために、第１の構成は、入力画像を鮮鋭化する画像処理装置であって、振幅推定部と、類似度算出部と、乗算部と、ＦＩＲフィルタ部と、加算部と、を備える。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
【図１】第１実施形態に係る画像処理システム１０００の概略構成図。
【図２】細線化処理の原理を説明するための図。
【図３】局所領域ｕにおける、入力画像信号Ｄｉｎ（＝ｆ（ｘ））と、低解像度パターン信号ＰｔｎＬをａ倍してｂを加算した信号ａ（ｘ）×ｋ（ｕ）＋ｂ（ｘ）とを示す図。
【図４】第１実施形態の振幅推定部１の概略構成図。
【図５】第１実施形態の類似度算出部２の概略構成図。
【図６】第１実施形態の類似度決定部２１の概略構成図。
【図７】入力画像信号Ｄｉｎの信号波形、類似度ｓの信号波形を示す図。
【図８】（１）入力画像Ｄｉｎの信号波形と、（２）最小２乗法により決定した振幅値ａ（＝ａ（ｘ））およびオフセット値ｂ（＝ｂ（ｘ））による信号ａ（ｘ）ｋ（ｕ）＋ｂ（ｘ）（低解像度パターン信号の振幅をａ（ｘ）にし、オフセット値を加算した信号）の信号波形と、（３）最小２乗誤差Ｅｍｉｎ（ｘ）の信号波形と、（４）類似度ｓ（＝ｓ（ｘ））の信号波形とを示す図。
【図９】第１実施形態のＦＩＲフィルタ部４の概略構成図。
【図１０】（１）入力画像Ｄｉｎの信号波形と、（２）最小２乗法により決定した振幅値ａ（＝ａ（ｘ））およびオフセット値ｂ（＝ｂ（ｘ））による信号ａ（ｘ）ｋ（ｕ）＋ｂ（ｘ）（低解像度パターン信号の振幅をａ（ｘ）にし、オフセット値を加算した信号）の信号波形と、（３）乗算部３の出力信号ｓ×ａ（＝ｓ（ｘ）×ａ（ｘ））の信号波形と、（４）ＦＩＲフィルタ部４の出力信号ΔＤ（＝ΔＤ（ｘ））の信号波形とを示す図。
【図１１】図１０のｘ＝ｘ１近傍における、（１）入力画像Ｄｉｎの信号波形と、（２）最小２乗法により決定した振幅値ａ（＝ａ（ｘ））およびオフセット値ｂ（＝ｂ（ｘ））による信号ａ（ｘ）ｋ（ｕ）＋ｂ（ｘ）（低解像度パターン信号の振幅をａ（ｘ）にし、オフセット値を加算した信号）の信号波形と、（３）ＦＩＲフィルタ部４の出力信号ΔＤ（＝ΔＤ（ｘ））の信号波形と、（４）出力信号Ｄｏｕｔの信号波形とを示す図。
【図１２】第１実施形態の第１変形例における振幅推定部１の処理について説明するための図。
【図１３】第１実施形態の第１変形例における類似度決定部の入出力特性を示す図。
【図１４】第１実施形態の第３変形例における類似度算出部２Ａの概略構成図。
【図１５】入力画像Ｄｉｎの信号波形と、本変形例の類似度算出部２Ａにより取得された類似度ｓとを示す図。
【図１６】第１実施形態の第４変形例に係る画像処理システム１０００Ａの概略構成図。
【図１７】第２実施形態の画像処理方法のフローチャート。
【図１８】第２実施形態の画像処理方法のフローチャート。
【図１９】第２実施形態の画像処理方法のフローチャート。
【図２０】第２実施形態の画像処理方法のフローチャート。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
振幅推定部１は、入力画像（入力画像信号）Ｄｉｎと、パターン生成部２００から出力される低解像度パターン信号ＰｔｎＬと、を入力する。振幅推定部１は、入力画像信号Ｄｉｎと低解像度パターン信号ＰｔｎＬとに基づいて、推定振幅値ａを取得し、取得した推定振幅値ａ（推定振幅値ａを示す信号）を、乗算部３に出力する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
アップスケール処理部２０２は、ダウンスケール処理部２０１から出力される信号を入力とし、入力された信号に対して、アップスケール処理を実行する。そして、アップスケール処理部２０２は、アップスケール処理後の信号を、低解像度パターン信号ＰｔｎＬとして、画像処理部１００の振幅推定部１および類似度算出部２に出力する。また、アップスケール処理部２０２は、低解像度パターン信号ＰｔｎＬを減算部２３にも出力する。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】変更
【補正の内容】
【００３０】
＜１．２：画像処理システムの動作＞
以上のように構成された画像処理システム１０００の動作について、以下、説明する。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００３６
【補正方法】変更
【補正の内容】
【００３６】
画像信号Ｃは、画像信号Ｂに対して、アップスケール処理（例えば、インターポーレート処理および平滑化処理）を実行した後の画像信号である。つまり、画像信号Ｃは、真のＨＤ画質の画像信号Ａが、一度ダウンスケールされて画像信号Ｂとなり、その画像信号Ｂが、再び、アップスケールされた後の画像信号である。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００５８
【補正方法】変更
【補正の内容】
【００５８】
入力画像Ｄｉｎ（＝ｆ（ｘ））と、低解像度パターン信号ＰｔｎＬをａ倍してｂを加算した信号ａ（ｘ）×ｋ（ｕ）＋ｂ（ｘ）との２乗誤差Ｅが、局所領域において、最小となる場合、類似度算出部２は、類似度ｓ（＝ｓ（ｘ））を「１」として出力し、それ以外の場合、類似度算出部２は、類似度ｓ（＝ｓ（ｘ））を「０」として出力する。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００８１
【補正方法】変更
【補正の内容】
【００８１】
図１１に、図１０のｘ＝ｘ１近傍における、（１）入力画像Ｄｉｎの信号波形と、（２）最小２乗法により決定した振幅値ａ（＝ａ（ｘ））およびオフセット値ｂ（＝ｂ（ｘ））による信号ａ（ｘ）ｋ（ｕ）＋ｂ（ｘ）（低解像度パターン信号の振幅をａ（ｘ）にし、オフセット値を加算した信号）の信号波形（図１０において、「ＰｔｎＬ×ａ（ｘ１）」で示した信号波形）と、（３）ＦＩＲフィルタ部４の出力信号ΔＤ（＝ΔＤ（ｘ））の信号波形と、（４）出力信号Ｄｏｕｔの信号波形とを、横軸（ｘ座標軸）を一致させて示している。また、図１１の左側に低解像度パターン信号ＰｔｎＬと、差分パターン信号ＰｔｎＤｉｆｆとを示している。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００８３
【補正方法】変更
【補正の内容】
【００８３】
以上のように、画像処理システム１０００では、高解像度パターン信号ＰｔｎＨをダウンスケール処理し、さらに、アップスケール処理したときの低解像度パターン信号ＰｔｎＬをａ倍した信号波形を用いて、当該信号波形と類似する信号波形部分を、入力画像信号において検出する。そして、画像処理システム１０００では、上記のように検出した、入力画像信号の信号波形部分に、高解像度パターン信号ＰｔｎＨと低解像度パターン信号ＰｔｎＬとの差分である差分パターン信号ＰｔｎＤｉｆｆをａ倍した信号波形を加算する。入力画像信号Ｄｉｎにおいて、低解像度パターン信号ＰｔｎＬをａ倍した信号波形と類似する信号波形部分は、ダウンスケール処理され、さらに、アップスケール処理されることで、高域成分が失われた部分であり、その失われた高域成分は、差分パターン信号ＰｔｎＤｉｆｆをａ倍した信号波形（信号ΔＤ）に類似する。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００９２
【補正方法】変更
【補正の内容】
【００９２】
なお、ｎは、領域ＡＲ＿ｐの中心の前後のサンプル数であり、ｍは、領域ＡＲ＿ｐ、領域ＡＲ＿ｆ１、領域ＡＲ＿ｆ２により構成される領域における中心の前後のサンプル数である。図１２は、ｎ＝１、ｍ＝５の場合を示している。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】０１１５
【補正方法】変更
【補正の内容】
【０１１５】
第１実施形態の画像処理システム１０００において、高解像度パターン信号ＰｔｎＨに、ダウンスケール処理部２０１によりダウンスケール処理が実行された後、アップスケール処理部２０２によりアップスケール処理が実行されることで取得される低解像度パターン信号ＰｔｎＬは、高解像度パターン信号ＰｔｎＨの高域成分を削減した信号となる。つまり、この信号は、高解像度パターン信号ＰｔｎＨに対して、低域通過フィルタ処理を実行することで取得される信号と近似する。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】０１１６
【補正方法】変更
【補正の内容】
【０１１６】
本変形例の画像処理システム１０００Ａでは、上記のように、低域通過フィルタ部２０４により、高解像度パターン信号ＰｔｎＨに対して、低域通過フィルタ処理を実行することで、低解像度パターン信号ＰｔｎＬを取得する。したがって、本変形例の画像処理システム１０００Ａにおいて取得される低解像度パターン信号ＰｔｎＬは、第１実施形態の画像処理システム１０００において取得される低解像度パターン信号ＰｔｎＬと近似する。その結果、画像処理システム１０００Ａでは、パターン生成部２００Ａにより取得された低解像度パターン信号ＰｔｎＬを用いて、処理を行うことで、第１実施形態と同様の処理を実現することができる。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】０１２９
【補正方法】変更
【補正の内容】
【０１２９】
（Ｓ５、Ｓ６）：
ステップＳ５では、画像の水平方向の鮮鋭化処理（水平鮮鋭化処理）が実行される。画像Ｙ（ｉ，ｊ）に、水平鮮鋭化処理により取得された高域成分ΔＹが加算されることにより、水平鮮鋭化処理が実行される。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】０１３０
【補正方法】変更
【補正の内容】
【０１３０】
また、ステップＳ６では、画像の垂直方向の鮮鋭化処理（垂直鮮鋭化処理）が実行される。画像Ｙ（ｉ，ｊ）に、垂直鮮鋭化処理により取得された高域成分ΔＹが加算されることにより、垂直鮮鋭化処理が実行される。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】０１３２
【補正方法】変更
【補正の内容】
【０１３２】
≪鮮鋭化処理≫
次に、ステップＳ５、Ｓ６の鮮鋭化処理（水平鮮鋭化処理、垂直鮮鋭化処理）の詳細について、図１８〜図２０を用いて、説明する。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】０１５０
【補正方法】変更
【補正の内容】
【０１５０】
（Ｓ５１９、Ｓ５２０）：
ステップＳ５１９では、ｊ＝０とし、ｊがＶ＿ＳＩＺＥ−１となるまで、ｊを＋１ずつインクリメントしながら、処理を繰り返す。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】０１５１
【補正方法】変更
【補正の内容】
【０１５１】
ステップＳ５２０では、ｉ＝０とし、ｉがＨ＿ＳＩＺＥ−１となるまで、ｉを＋１ずつインクリメントしながら、処理を繰り返す。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】０１６１
【補正方法】変更
【補正の内容】
【０１６１】
以上により、ステップＳ５、Ｓ６の鮮鋭化処理（水平鮮鋭化処理、垂直鮮鋭化処理）が実行される。
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】０１７６
【補正方法】変更
【補正の内容】
【０１７６】
第１の発明は、入力画像を鮮鋭化する画像処理装置であって、振幅推定部と、類似度算出部と、乗算部と、ＦＩＲフィルタ部と、加算部と、を備える。
【手続補正２２】
【補正対象書類名】明細書
【補正対象項目名】０１９８
【補正方法】変更
【補正の内容】
【０１９８】
第９の発明は、入力画像を鮮鋭化する画像処理方法であって、
高解像度パターンデータ列に対して、所定の処理（例えば、（１）ダウンスケール処理した後、アップスケール処理を行う処理や、（２）低域通過フィルタ処理）を実行して取得される低解像度パターンデータ列に倍率ａを乗算することにより取得された調整後低解像度パターンデータ列と、処理対象画素を含む入力画像の所定の範囲である局所領域内の画素データ列との差が、所定の値以下となるときの前記倍率ａを取得する振幅推定ステップと、
前記局所領域内において、前記調整後低解像度パターンデータ列と前記画素データ列との差が少ない程、前記処理対象画素の類似度値を、前記調整後低解像度パターンデータ列と前記画素データ列との類似の程度が高いことを示す値に設定する類似度算出ステップと、
前記処理対象ごとに、前記倍率ａと前記類似度とを乗算する乗算ステップと、
前記低解像度パターンデータ列から前記高解像度パターンデータ列を減算することで取得される差分パターンデータ列をＦＩＲフィルタ係数として、前記処理対象画素ごとに、前記乗算ステップにより取得された前記倍率ａと前記類似度との乗算値に対して、ＦＩＲフィルタ処理を実行することで、前記処理対象画素の高域成分データΔＤを取得するＦＩＲフィルタステップと、
前記処理対象画素ごとに、当該処理対象画素の画素データと、前記ＦＩＲフィルタ処理により取得された前記処理対象画素の高域成分データΔＤとを加算する加算ステップと、
を備える画像処理方法である。
【手続補正２３】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
入力画像を鮮鋭化する画像処理装置であって、
高解像度パターンデータ列に対して所定の処理を実行することで取得される低解像度パターンデータ列に倍率ａを乗算することにより取得された調整後低解像度パターンデータ列と、処理対象画素を含む入力画像の所定の範囲である局所領域内の画素データ列との差が、所定の値以下となるときの前記倍率ａを取得する振幅推定部と、
前記局所領域内において、前記調整後低解像度パターンデータ列と前記画素データ列との差が少ない程、前記処理対象画素の類似度値を、前記調整後低解像度パターンデータ列と前記画素データ列との類似の程度が高いことを示す値に設定する類似度算出部と、
前記処理対象ごとに、前記倍率ａと前記類似度とを乗算する乗算部と、
前記低解像度パターンデータ列から前記高解像度パターンデータ列を減算することで取得される差分パターンデータ列をＦＩＲフィルタ係数として、前記処理対象画素ごとに、前記乗算部により取得された前記倍率ａと前記類似度との乗算値に対して、ＦＩＲフィルタ処理を実行することで、前記処理対象画素の高域成分データΔＤを取得するＦＩＲフィルタ部と、
前記処理対象画素ごとに、当該処理対象画素の画素データと、前記ＦＩＲフィルタ処理により取得された前記処理対象画素の高域成分データΔＤとを加算する加算部と、
を備える画像処理装置。
【請求項２】
前記振幅推定部は、前記高解像度パターンデータ列をダウンスケール処理した後、アップスケール処理することで、前記低解像度パターンデータ列を取得する、
請求項１に記載の画像処理装置。
【請求項３】
前記振幅推定部は、前記高解像度パターンデータ列に対して、低域通過フィルタ処理を実行することで、前記低解像度パターンデータ列を取得する、
請求項１に記載の画像処理装置。
【請求項４】
前記類似度算出部は、
（１）前記局所領域内において、前記調整後低解像度パターンデータ列と前記画素データ列との差が最小となる画素に対して、当該画素に対応する類似度を第１の値に設定し、（２）前記局所領域内において、前記調整後低解像度パターンデータ列と前記画素データ列との差が最小とならない画素に対して、当該画素に対応する類似度を前記第１の値よりも小さい値に設定する、
請求項１から３のいずれかに記載の画像処理装置。
【請求項５】
振幅推定部は、最小二乗法により、前記倍率ａを求める、
請求項１から４のいずれかに記載の画像処理装置。
【請求項６】
類似度算出部は、最小二乗法により算出した前記倍率ａで調整された前記調整後低解像度パターンデータ列と、前記局所領域内の前記画素データ列との最小二乗誤差値Ｅｍｉｎを、前記局所領域内の画素ごとに算出し、（１）前記局所領域内において、前記最小二乗誤差値Ｅｍｉｎが最小値である画素の類似度を第１の値に設定し、（２）前記局所領域内において、前記最小二乗誤差値Ｅｍｉｎが最小値でない画素の類似度を前記第１の値よりも小さい値に設定する、
請求項１から５のいずれかに記載の画像処理装置。
【請求項７】
類似度算出部は、
前記倍率ａで調整された前記調整後低解像度パターンデータ列と、前記局所領域内の前記画素データ列との差が小さい程、前記処理対象画素の類似度を大きな値に設定する、
請求項１から６のいずれかに記載の画像処理装置。
【請求項８】
類似度算出部は、
（１）前記局所領域内において、前記処理対象画素の画素データがピーク値であるとき、前記処理対象画素に対応する類似度を第１の値に設定し、（２）前記局所領域内において、前記処理対象画素の画素データがピーク値ではないとき、前記処理対象画素に対応する類似度を第１の値よりも小さい値に設定する、
請求項１から７のいずれかに記載の画像処理装置。
【国際調査報告】
2015115168.tif 000035
2015115168.tif 000036
2015115168.tif 000037
2015115168.tif 000038