(57)【要約】【課題】ＦＨＤの映像を、４Ｋ映像／８Ｋ映像に拡大した場合であっても、エッジ成分を保存しながら、ノイズ成分を適切に低減する画像処理装置を実現する。【解決手段】斜め方向成分低減ＬＰＦ部は、入力画像信号に対して、画像上の斜め方向の高域周波数成分を低減させる２次元ＬＰＦによる処理を実行し、処理後の画像信号を、低域画像信号として出力する。エッジ成分保持処理部は、入力画像信号を入力として、入力画像信号のエッジ成分を保持した画像信号を、原画像信号として出力する。制御信号生成部は、入力画像信号に基づいて、合成処理用制御信号を生成する。合成部は、制御信号生成部により生成された合成処理用制御信号に基づいて、原画像信号と、低域画像信号とを合成する処理を行うことで、出力画像信号を取得する。【選択図】図１
2017091239.tif 000002
【特許請求の範囲】
【請求項１】
入力画像信号に対して、ノイズ低減処理を行う画像処理装置であって、
前記入力画像信号に対して、画像上の斜め方向の高域周波数成分を低減させる２次元ＬＰＦによる処理を実行し、処理後の画像信号を、低域画像信号として出力する斜め方向成分低減ＬＰＦ部と、
前記入力画像信号を入力として、前記入力画像信号のエッジ成分を保持した画像信号を、原画像信号として出力するエッジ成分保持処理部と、
前記入力画像信号に基づいて、合成処理用制御信号を生成する制御信号生成部と、
前記制御信号生成部により生成された前記合成処理用制御信号に基づいて、前記原画像信号と、前記低域画像信号とを合成する処理、あるいは、前記原画像信号と、前記低域画像信号とのいずれかを選択する処理を行うことで、出力画像信号を取得する選択合成部と、
を備える画像処理装置。
【請求項２】
前記制御信号生成部は、前記入力画像信号に基づいて、前記入力画像信号が形成する画像上において、処理対象の画素である注目画素が画像上のエッジ領域に含まれるか否かを判定し、当該判定結果を示す前記合成処理用制御信号を生成し、
前記選択合成部は、前記合成処理用制御信号が示す前記判定結果に基づいて、
（１）前記注目画素が画像上のエッジ領域に含まれる場合、前記原画像信号に含まれる高域成分が強調または保持されるように、前記原画像信号と、前記低域画像信号とを合成する処理を行う、または、前記原画像信号を選択する処理を行い、
（２）前記注目画素が画像上のエッジ領域に含まれない場合、前記原画像信号に含まれる高域成分が低減されるように、前記原画像信号と、前記低域画像信号とを合成する処理を行う、または、前記低域画像信号を選択する処理を行う、
請求項１に記載の画像処理装置。
【請求項３】
斜め方向成分低減ＬＰＦ部は、画像上の斜め方向の高域成分を低減させるフィルタ特性を有する、第１から第ＮのＬＰＦ部（Ｎ：自然数）を備え、
第ｋのＬＰＦ部（ｋ：自然数、１≦ｋ＜Ｎ）のカットオフ周波数をｆｃ（ｋ）とすると、
ｆｃ（ｋ）＞ｆｃ（ｋ＋１）
であり、
第ｋのＬＰＦ部は、前記入力画像信号に対して、フィルタ処理を行い、フィルタ処理後の画像信号を第ｋ画像信号として出力し、
前記選択合成部は、
前記合成処理用制御信号の信号値が、注目画素が画像上のエッジ領域に含まれる可能性が低いことを示す信号値である程、第１から第ＮのＬＰＦ部のうち、カットオフ周波数がより低いフィルタ特性であるフィルタ処理を実行するＬＰＦ部から出力された画像信号を選択することで、前記出力画像信号を取得する、
請求項１または２に記載の画像処理装置。
【請求項４】
前記第ｋのＬＰＦ部は、前記入力画像信号により形成される画像上の画素位置をサンプリング点とし、当該サンプリング点に対応するフィルタ係数によるフィルタ処理を行い、
前記第１から第ＮのＬＰＦ部は、共通に設定されているフィルタ係数を用いてフィルタ処理を実行し、
前記第１から第ＮのＬＰＦ部は、それぞれ、異なるサンプリング間隔で取得した、画像上の画素の画素値に対して、前記フィルタ係数を用いて、フィルタ処理を行うことで、それぞれ、異なるカットオフ周波数のフィルタ特性のフィルタ処理を実行する、
請求項３に記載の画像処理装置。
【請求項５】
前記斜め方向成分低減ＬＰＦ部は、
画像上の注目画素を中心として、左斜め上方向である第１軸方向の高域成分を低減させるフィルタ特性を有するフィルタ処理を、前記入力画像信号に対して実行し、フィルタ処理後の画像信号を第１軸画像信号として出力する第１軸ＬＰＦ部と、
画像上の前記注目画素を中心として、右斜め上方向である第２軸方向の高域成分を低減させるフィルタ特性を有するフィルタ処理を、前記入力画像信号に対して実行し、フィルタ処理後の画像信号を第２軸画像信号として出力する第２軸ＬＰＦ部と、
画像上の前記注目画素を中心として、左斜め下方向である第３軸方向の高域成分を低減させるフィルタ特性を有するフィルタ処理を、前記入力画像信号に対して実行し、フィルタ処理後の画像信号を第３軸画像信号として出力する第３軸ＬＰＦ部と、
画像上の前記注目画素を中心として、右斜め下方向である第４軸方向の高域成分を低減させるフィルタ特性を有するフィルタ処理を、前記入力画像信号に対して実行し、フィルタ処理後の画像信号を第４軸画像信号として出力する第４軸ＬＰＦ部と、
を備え、
前記制御信号生成部は、
前記注目画素が画像上のエッジ領域に含まれるか否かと、前記注目画素の前記第１軸方向から前記第４軸方向の４方向にエッジ領域が存在するか否かとを判定し、当該判定結果を示す前記合成処理用制御信号を生成し、
前記選択合成部は、
（１）前記合成処理用制御信号が、前記注目画素はエッジ領域に含まれず、かつ、前記第１軸方向から前記第４軸方向のいずれの方向にもエッジ領域が存在しないと判定されたことを示している場合、前記原画像信号を前記出力画像信号として出力する、あるいは、前記原画像信号の高域成分を保持または強調した映像信号を前記出力画像信号として出力し、
（２）前記合成処理用制御信号が、前記注目画素はエッジ領域に含まれず、かつ、前記第１軸方向にエッジ領域が存在すると判定されたことを示している場合、前記第２軸画像信号、前記第３軸画像信号、および、前記第４軸画像信号の少なくとも１つを用いて生成した画像信号を、前記出力画像信号として出力し、
（３）前記合成処理用制御信号が、前記注目画素はエッジ領域に含まれず、かつ、前記第２軸方向にエッジ領域が存在すると判定されたことを示している場合、前記第１軸画像信号、前記第３軸画像信号、および、前記第４軸画像信号の少なくとも１つを用いて生成した画像信号を、前記出力画像信号として出力し、
（４）前記合成処理用制御信号が、前記注目画素はエッジ領域に含まれず、かつ、前記第３軸方向にエッジ領域が存在すると判定されたことを示している場合、前記第１軸画像信号、前記第２軸画像信号、および、前記第４軸画像信号の少なくとも１つを用いて生成した画像信号を、前記出力画像信号として出力し、
（５）前記合成処理用制御信号が、前記注目画素はエッジ領域に含まれず、かつ、前記第４軸方向にエッジ領域が存在すると判定されたことを示している場合、前記第１軸画像信号、前記第２軸画像信号、および、前記第３軸画像信号の少なくとも１つを用いて生成した画像信号を、前記出力画像信号として出力する、
請求項１に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術に関する。特に、画像（映像）を拡大処理したときに発生するノイズを低減する技術に関する。
【背景技術】
【０００２】
日本では、ＦＨＤ（Ｆｕｌｌ  Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ）テレビが普及し、次は４Ｋテレビ／８Ｋテレビの普及が期待されている。しかし、現在放送されている、地上波デジタル放送／ＢＳデジタル放送では、ＦＨＤ放送が主流であり、４Ｋ放送は、一部のＣＳチャンネルで放送されている程度である。
【０００３】
このため、４Ｋテレビ／８Ｋテレビを購入しても、ユーザーは、ＦＨＤ放送を見る機会が多く、ユーザーは、４Ｋテレビ／８Ｋテレビで、ＦＨＤ映像を４Ｋ映像（３８４０×２１６０ｐの映像）／８Ｋ映像（７６８０×４３２０ｐの映像）に拡大して見ることが多い。
【０００４】
ＦＨＤ放送で送信される映像は、ＦＨＤ解像度で表示されて、ユーザーに視聴されることを前提に設計されている。このため、ＦＨＤ放送で送信される映像を、４Ｋ映像／８Ｋ映像に拡大して４Ｋテレビ／８Ｋテレビで表示すると、拡大された映像において、モスキートノイズ等のデジタル圧縮ノイズが発生し、当該映像を視聴するユーザーに不快感を与えることになる。
【０００５】
そこで、ＦＨＤ放送で送信される映像を、４Ｋ映像／８Ｋ映像に拡大して４Ｋテレビ／８Ｋテレビで表示するために、デジタル圧縮ノイズ低減技術を用いる必要がある。このノイズ低減技術として、ローパスフィルタを用いることが考えられる。ローパスフィルタを用いる場合、映像信号により形成される映像（画像）の画素の画素値（例えば、輝度信号の値）を平均化処理する処理が実行されるため、ローパスフィルタ処理後の映像がぼやけてしまう（エッジ成分が損なわれる）という問題がある。
【０００６】
特許文献１では、ＦＨＤの映像に対して、ＩＩＲフィルタを用いた処理を実行することで、エッジを保存しながらノイズを低減することで、処理後の映像がぼやけないようにする方法（処理後の映像のエッジ成分が損なわれないようにする方法）が開示されている。
【０００７】
特許文献１に開示されているように、特許文献１のＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）は、エッジ保存平滑化処理部と、ＩＩＲ型平均値更新部と、ＩＩＲフィルタ係数算出部とを備える。
【０００８】
エッジ保存平滑化処理部は、補正対象画素の近傍の参照画素の信号値の平均値および分散値を算出し、算出した平均値および分散値に対してウィナー（Ｗｅｎｅｒ）フィルタを実行する。
【０００９】
ＩＩＲフィルタ係数算出部は、ＩＩＲ型分散値算出部において適用するＩＩＲフィルタ係数を画像の信号値に応じて更新する。
【００１０】
上記のように構成された特許文献１のＤＳＰは、ウィナー（Ｗｉｅｎｅｒ）フィルタ処理に用いるパラメータを、ＩＩＲフィルタを適用した処理によって算出し、算出したパラメータに基づいて、ＩＩＲ適用処理に用いるフィルタ係数を適応的に変更することで画像信号に応じたノイズ低減処理を実行する。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２０１２−２５６２０２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかしながら、ＩＩＲ(無限インパルス応答)フィルタは、少ない回路規模で急峻なフィルタ特性を実現できるが、尾引きや発振などが起きるという問題がある。
【００１３】
また、ＩＩＲフィルタのフィルタ係数は、画像毎に更新することができないので、ノイズの多い映像では、高域成分が過剰に低減されてしまい、エッジ成分を適切に保存することができないという問題もある。
【００１４】
そこで、本発明は、上記問題点に鑑み、ＦＨＤの映像を、４Ｋ映像／８Ｋ映像に拡大した場合であっても、エッジ成分を保存しながら、ノイズ成分を適切に低減する画像処理装置を実現することを目的とする。
【課題を解決するための手段】
【００１５】
上記課題を解決するために、第１の構成は、入力画像信号に対して、ノイズ低減処理を行う画像処理装置であって、斜め方向成分低減ＬＰＦ部と、エッジ成分保持処理部と、制御信号生成部と、選択合成部と、を備える画像処理装置である。
【００１６】
斜め方向成分低減ＬＰＦ部は、入力画像信号に対して、画像上の斜め方向の高域周波数成分を低減させる２次元ＬＰＦによる処理を実行し、処理後の画像信号を、低域画像信号として出力する。
【００１７】
エッジ成分保持処理部は、入力画像信号を入力として、入力画像信号のエッジ成分を保持した画像信号を、原画像信号として出力する。
【００１８】
制御信号生成部は、入力画像信号に基づいて、合成処理用制御信号を生成する。
【００１９】
選択合成部は、制御信号生成部により生成された合成処理用制御信号に基づいて、原画像信号と、低域画像信号とを合成する処理、あるいは、原画像信号と、低域画像信号とのいずれかを選択する処理を行うことで、出力画像信号を取得する。
【発明の効果】
【００２０】
本発明によれば、ＦＨＤの映像を、４Ｋ映像／８Ｋ映像に拡大した場合であっても、エッジ成分を保存しながら、ノイズ成分を適切に低減する画像処理装置を実現することができる。
【図面の簡単な説明】
【００２１】
【図１】第１実施形態の画像処理システム１０００の概略構成図。
【図２】制御信号生成部３の概略構成図。
【図３】斜め方向成分低減用ＬＰＦのフィルタ係数（一例）を示す図。
【図４】２次元差分信号Ｄｘにより形成される２次元差分画像の一部の画像領域を模式的に示す図。
【図５】画像処理システム１０００で処理された処理結果（一例）を示す図。
【図６】第２実施形態の画像処理システム２０００の概略構成図。
【図７】斜め方向成分低減ＬＰＦ部２Ａの概略構成図。
【図８】第１斜め方向用ＬＰＦのフィルタ係数（一例）を示す図。
【図９】第２斜め方向用ＬＰＦのフィルタ係数（一例）を示す図。
【図１０】第３実施形態の画像処理システム３０００の概略構成図。
【図１１】第３実施形態の変形例の画像処理システム３０００Ａの概略構成図。
【図１２】第４実施形態の画像処理システム４０００の概略構成図。
【図１３】斜め方向用ＬＰＦのフィルタ係数（一例）を示す図。
【図１４】第５実施形態の画像処理システム５０００の概略構成図。
【図１５】時間方向フィルタ部７の概略構成図。
【発明を実施するための形態】
【００２２】
［第１実施形態］
第１実施形態について、図面を参照しながら、以下、説明する。
【００２３】
＜１．１：画像処理システムの構成＞
図１は、第１実施形態の画像処理システム１０００の概略構成図である。
【００２４】
図２は、制御信号生成部３の概略構成図である。
【００２５】
図１に示すように、画像処理システム１０００は、画像処理装置１００と、アップスケーラＡ１とを備える。
【００２６】
画像処理装置１００は、図１に示すように、エッジ成分保持処理部１と、斜め方向成分低減ＬＰＦ部２と、制御信号生成部３と、合成部４とを備える。
【００２７】
なお、以下では、画像処理システム１０００にＦＨＤの解像度を有する映像信号が、映像信号Ｄｉｎとして入力され、画像処理システム１０００から８Ｋの解像度を有する映像信号が、映像信号Ｄ１６＿ｏｕｔとして出力される場合について、説明する。
【００２８】
エッジ成分保持処理部１は、映像信号Ｄｉｎと、斜め方向成分低減ＬＰＦ部２から出力される映像信号ＤＬｏｕｔとを入力とする。エッジ成分保持処理部１は、映像信号Ｄｉｎと、映像信号ＤＬｏｕｔとの差分に基づいて、映像信号ＤＨｏｕｔを取得し、取得した映像信号ＤＨｏｕｔを合成部４に出力する。
【００２９】
斜め方向成分低減ＬＰＦ部２は、映像信号Ｄｉｎを入力とする。斜め方向成分低減ＬＰＦ部２は、映像信号Ｄｉｎにより形成される画像（例えば、１フレーム画像）に対して、画像上における斜め方向の高域成分を抑制するＬＰＦ処理を実行し、処理後の映像信号を、映像信号ＤＬｏｕｔとして、エッジ成分保持処理部１と合成部４とに出力する。
【００３０】
制御信号生成部３は、図２に示すように、２次元差分検出部３１と、最大値検出部３２と、比較部３３とを備える。
【００３１】
２次元差分検出部３１は、映像信号Ｄｉｎを入力する。２次元差分検出部３１は、映像信号Ｄｉｎに基づいて、２次元差分信号Ｄｘを取得し、取得した２次元差分信号Ｄｘを最大値検出部３２と、比較部３３とに出力する。
【００３２】
最大値検出部３２は、２次元差分検出部３１から出力される２次元差分信号Ｄｘを入力する。最大値検出部３２は、入力された２次元差分信号Ｄｘの一定範囲での分布に基づいて、最大値検出結果信号Ｄｍａｘを取得し、取得した最大値検出結果信号Ｄｍａｘを比較部３３に出力する。
【００３３】
比較部３３は、２次元差分検出部３１から出力される２次元差分信号Ｄｘと、最大値検出部３２から出力される最大値検出結果信号Ｄｍａｘとを入力する。比較部３３は、２次元差分信号Ｄｘと、最大値検出結果信号Ｄｍａｘとの比較結果に基づいて、合成処理用制御信号Ｃｔｌを生成する。そして、比較部３３は、生成した合成処理用制御信号Ｃｔｌを合成部４に出力する。
【００３４】
合成部４は、エッジ成分保持処理部１から出力される映像信号ＤＨｏｕｔと、斜め方向用ＬＰＦ部２１から出力される映像信号ＤＬｏｕｔと、制御信号生成部３から出力される合成処理用制御信号Ｃｔｌとを入力する。合成部４は、合成処理用制御信号Ｃｔｌに基づいて映像信号ＤＨｏｕｔの強度を変化させ、映像信号ＤＬｏｕｔへ加算し、処理後の映像信号を、映像信号Ｄｏｕｔとして、アップスケーラＡ１に出力する。
【００３５】
アップスケーラＡ１は、合成部４から出力される映像信号Ｄｏｕｔを入力する。アップスケーラＡ１は、映像信号Ｄｏｕｔに対してアップスケール処理を実行し、処理後の映像信号をＤ１６＿ｏｕｔとして出力する。
【００３６】
＜１．２：画像処理システムの動作＞
以上のように構成された画像処理システム１０００の動作について、以下、説明する。
【００３７】
デジタル放送により送信された放送波は、チューナーを通して検波され、検波された信号は、復調され、さらに、復調された信号は、Ｉ／Ｐ変換（インターレース／ノンインターレース変換）される。これにより、ＦＨＤ（１９２０×１０８０ｐ）の映像を形成することができる映像信号（ＦＨＤの映像信号）が取得される。
【００３８】
そして、このようにして取得されたＦＨＤの映像信号が、例えば、画像処理システム１０００に入力される。
【００３９】
映像信号Ｄｉｎは、画像処理装置１００の斜め方向成分低減ＬＰＦ部に入力される。
【００４０】
斜め方向成分低減ＬＰＦ部２では、映像信号Ｄｉｎに対して、例えば、図３に示すフィルタ係数（２次元フィルタ係数）によるＬＰＦ処理が実行される。
【００４１】
図３では、最上段に画素位置（映像信号により形成される画像の画素の位置）の水平方向の相対位置を示し、最左端に画素位置の垂直方向の相対位置を示している。なお、処理対象の画素のフィルタ係数は、水平方向の相対位置が「０」であり、水平方向の相対位置が「０」である位置の値（図３では、「０．３３７４７」）である。
【００４２】
つまり、斜め方向成分低減ＬＰＦ部２では、映像信号Ｄｉｎが形成する画像（１フレーム画像）の処理対象画素（注目画素）とその周辺画素とで構成される９×９の画像領域（処理対象画素を中心とする９×９の画像領域）に含まれる画素（８１個の画素）を用いて、９×９の２次元ＬＰＦ処理が実行される。
【００４３】
図３に示す２次元フィルタでは、注目画素の近辺の画素（注目画素を中心とする５×５の領域）に適用するフィルタ係数が正の値であり、注目画素の斜め方向に位置する画素に適用するフィルタ係数が正の値である。そして、図３に示す２次元フィルタでは、注目画素の垂直方向および水平方向に位置する画素に適用するフィルタ係数が負の値になっている。
【００４４】
このため、図３に示す２次元フィルタは、水平方向の高域成分および垂直方向の高域成分を保持しつつ、斜め方向の高域成分を低減するフィルタ特性を有する。
【００４５】
このようなフィルタ特性を有する２次元フィルタを、映像信号Ｄｉｎに対して適用することで、斜め方向成分低減ＬＰＦ部２は、水平方向の高域成分および垂直方向の高域成分を保持しつつ、斜め方向の高域成分を低減した映像信号ＤＬｏｕｔを取得する。
【００４６】
なお、斜め方向成分低減ＬＰＦ部２で用いられる２次元フィルタのフィルタ係数は、図３に示したものに限定されることはなく、水平方向の高域成分および垂直方向の高域成分を保持（または強調）しつつ、斜め方向の高域成分を低減するフィルタ特性を実現するものであれば、他のフィルタ係数を有するものであってもよい。また、斜め方向成分低減ＬＰＦ部２で用いられる２次元フィルタの次数は、図３のように９×９に限定されるものではなく、他の次数（ｎ×ｍ（ｎ，ｍ：自然数））であってもよい。
【００４７】
そして、斜め方向成分低減ＬＰＦ部２により取得された映像信号ＤＬｏｕｔは、エッジ成分保持処理部１と、合成部４とに出力される。
【００４８】
エッジ成分保持処理部１では、映像信号Ｄｉｎから斜め方向成分低減ＬＰＦ部２から出力される映像信号ＤＬｏｕｔを減算する処理が実行され、映像信号ＤＨｏｕｔが取得される。
【００４９】
そして、エッジ成分保持処理部１により取得された映像信号ＤＨｏｕｔは、合成部４に出力される。
【００５０】
制御信号生成部３の２次元差分検出部３１では、映像信号Ｄｉｎから、２次元差分信号Ｄｘを取得する処理が実行される。
【００５１】
具体的には、映像信号Ｄｉｎにより形成される画像の処理対象画素（注目画素）（画像上の座標を（Ｉ，Ｊ）とする。）の信号値（画素値）をＤｉｎ（Ｉ，Ｊ）とし、画像上において、注目画素の上下左右に隣接する画素の画素値を、それぞれ、Ｄｉｎ（Ｉ−１，Ｊ）、Ｄｉｎ（Ｉ＋１，Ｊ）、Ｄｉｎ（Ｉ，Ｊ−１）、Ｄｉｎ（Ｉ，Ｊ＋１）とすると、制御信号生成部３は、
Ｄｘ（Ｉ，Ｊ）＝｛ａｂｓ（Ｄ（Ｉ，Ｊ）−Ｄ（Ｉ，Ｊ−１））＋ａｂｓ（Ｄ（Ｉ，Ｊ）−Ｄ（Ｉ，Ｊ＋１））＋ａｂｓ（Ｄ（Ｉ，Ｊ）−Ｄ（Ｉ−１，Ｊ））＋ａｂｓ（Ｄ（Ｉ，Ｊ）−Ｄ（Ｉ＋１，Ｊ））｝／４
ａｂｓ（ｘ）：値ｘの絶対値を取得する関数
に相当する処理を実行することで、注目画素の２次元差分信号Ｄｘの信号値Ｄｘ（Ｉ，Ｊ）を取得する。
【００５２】
２次元差分検出部３１により、上記のようにして取得された２次元差分信号Ｄｘは、２次元差分検出部３１から最大値検出部３２に出力される。
【００５３】
図４に、２次元差分信号Ｄｘにより形成される２次元差分画像の一部の画像領域を模式的に示す。図４は、注目画素（Ｉ，Ｊ）を中心とした７×７の画像領域を示している。
【００５４】
モスキートノイズは、輝度変化の大きな輪郭すなわちエッジの周辺に発生するので、その輪郭からモスキートノイズが発生する画素数の平均値を予め求めておく。本実施形態では、２次元差分検出部３１は、図４に示すように、処理対象となる画素（注目画素）から上下左右４画素離れた画素までの２次元差分信号値Ｄｘ（合計４９個の２次元差分信号値Ｄｘ）を調べ、２次元差分信号値Ｄｘが最大となる画素の２次元差分信号値Ｄｘを、注目画素の最大値検出結果信号の信号値Ｄｍａｘ（Ｉ，Ｊ）とする。
【００５５】
つまり、２次元差分検出部３１は、
Ｄｍａｘ（Ｉ，Ｊ）＝ｍａｘ（Ｄｘ（Ｉ−ｘ，Ｊ−ｙ），．．．，Ｄｘ（Ｉ＋ｘ，Ｊ＋ｙ））
ｍａｘ（）：要素の最大値を取得する関数
により、注目画素の最大値検出結果信号の信号値Ｄｍａｘ（Ｉ，Ｊ）を取得する。なお、図４の場合、ｘ＝ｙ＝３であり、２次元差分検出部３１は、図４に示す７×７個の２次元差分信号値Ｄｘの中の最大値をＤｍａｘ（Ｉ，Ｊ）とする。
【００５６】
このようにして取得された最大値検出結果信号Ｄｍａｘは、最大値検出部３２から比較部３３に出力される。
【００５７】
比較部３３では、注目画素（Ｉ，Ｊ）の２次元差分信号Ｄｘの信号値Ｄｘ（Ｉ，Ｊ）と、注目画素（Ｉ，Ｊ）の最大値検出結果信号Ｄｍａｘの信号値Ｄｍａｘ（Ｉ，Ｊ）とを比較し、注目画素（Ｉ，Ｊ）の合成処理用制御信号Ｃｔｌの信号値Ｃｔｌ（Ｉ，Ｊ）を取得する。
【００５８】
具体的には、比較部３３は、
（１）Ｄｘ（Ｉ，Ｊ）≧Ｋ×Ｄｍａｘ（Ｉ，Ｊ）であるとき、
Ｃｔｌ（Ｉ，Ｊ）＝１
とし、
（２）Ｄｘ（Ｉ，Ｊ）＜Ｋ×Ｄｍａｘ（Ｉ，Ｊ）であるとき、
Ｃｔｌ（Ｉ，Ｊ）＝［｛Ｄｘ（Ｉ，Ｊ）／（Ｋ×Ｄｍａｘ（Ｉ，Ｊ））｝−Ｔｈ］／（１−Ｔｈ）
とすることで、注目画素（Ｉ，Ｊ）の合成処理用制御信号Ｃｔｌの信号値Ｃｔｌ（Ｉ，Ｊ）を取得する。なお、信号値Ｃｔｌ（Ｉ，Ｊ）が０以下となるときは０とする。また、上記において、Ｋは係数（０≦Ｋ≦１）であり、Ｔｈは０以上１未満の閾値である。
【００５９】
この最大値検出結果信号Ｄｍａｘの信号値Ｄｍａｘ（Ｉ，Ｊ）のＫ倍の値（Ｋは１以下の値）と比較して、処理対象画素（注目画素）の２次元差分信号Ｄｘの信号値Ｄｘ（Ｉ，Ｊ）がどの程度かにより、比較部３３は、映像信号ＤＬｏｕｔ（映像信号Ｄｉｎの低域成分信号）に対する、映像信号ＤＨｏｕｔ（映像信号Ｄｉｎの高域成分信号）の加算比率を求める。
【００６０】
比較部３３は、上記処理を実行することで、｛Ｄｘ（Ｉ，Ｊ）／（Ｋ×Ｄｍａｘ（Ｉ，Ｊ））｝を基に、その値が閾値Ｔｈと比べどの程度大きいかにより、映像信号ＤＬｏｕｔ（映像信号Ｄｉｎの低域成分信号）に対する、映像信号ＤＨｏｕｔ（映像信号Ｄｉｎの高域成分信号）の加算比率を求める。
【００６１】
そして、比較部３３は、以上のようにして求められた加算比率を、注目画素（Ｉ，Ｊ）の合成処理用制御信号Ｃｔｌの信号値Ｃｔｌ（Ｉ，Ｊ）とすることで、合成処理用制御信号Ｃｔｌを生成する。
【００６２】
そして、生成された合成処理用制御信号Ｃｔｌは、制御信号生成部３から合成部４に出力される。
【００６３】
合成部４では、合成処理用制御信号Ｃｔｌに基づいて、映像信号ＤＬｏｕｔ（映像信号Ｄｉｎの低域成分信号）と、映像信号ＤＨｏｕｔ（映像信号Ｄｉｎの高域成分信号）とが合成され、映像信号Ｄｏｕｔが取得される。
【００６４】
具体的には、合成部４は、注目画素（Ｉ，Ｊ）の合成処理用制御信号Ｃｔｌの信号値Ｃｔｌ（Ｉ，Ｊ）と、注目画素（Ｉ，Ｊ）の映像信号ＤＬｏｕｔの信号値ＤＬｏｕｔ（Ｉ，Ｊ）と、注目画素（Ｉ，Ｊ）の映像信号ＤＨｏｕｔの信号値ＤＨｏｕｔ（Ｉ，Ｊ）とを用いて、注目画素（Ｉ，Ｊ）の合成処理後の映像信号Ｄｏｕｔ（Ｉ，Ｊ）を、
Ｄｏｕｔ（Ｉ，Ｊ）＝ＤＬｏｕｔ（Ｉ，Ｊ）＋Ｃｔｌ（Ｉ，Ｊ）×ＤＨｏｕｔ（Ｉ，Ｊ）
に相当する処理を実行することで取得する。
【００６５】
このようにして取得した合成処理後の映像信号Ｄｏｕｔは、合成部４からアップスケーラＡ１に出力される。
【００６６】
アップスケーラＡ１では、合成部４から出力される映像信号Ｄｏｕｔ映像信号Ｄｏｕｔに対してランチョス法（Ｌａｎｃｚｏｓ  ａｌｇｏｒｉｔｈｍ）などによるアップスケール処理が実行され、アップスケール処理された映像信号Ｄ１６＿ｏｕｔが取得される。例えば、アップスケーラＡ１では、ＦＨＤの映像信号を、８Ｋの映像信号にアップスケールする処理が実行される。
【００６７】
以上のようにして、画像処理システム１０００で処理された処理結果（一例）を、図５に示す。
【００６８】
図５の上段の画像は、映像信号Ｄｉｎにより形成される画像（ＦＨＤの原画像）である。
【００６９】
図５の中段の画像は、映像信号Ｄｉｎ（ＦＨＤの原画像）を従来技術の画像拡張処理（ランチョス関数を用いた処理）により縦横ともに４倍に拡張した画像（８Ｋ映像の画像に相当）である。
【００７０】
図５の下段の画像は、映像信号Ｄｉｎ（ＦＨＤの原画像）を画像処理システム１０００で処理することで取得された画像（８Ｋ映像の画像に相当）である。
【００７１】
図５から分かるように、図５の中段の画像では、エッジ周辺でモスキートノイズが目立つが、図５の下段の画像では、エッジ成分を適切に保持しつつ、エッジ周辺でモスキートノイズの発生が適切に抑制されているのが分かる。
【００７２】
以上のように、画像処理システム１０００では、ＦＨＤの映像を、４Ｋ映像／８Ｋ映像に拡大した場合であっても、エッジ成分を保存しながら、ノイズ成分（例えば、モスキートノイズ）を適切に低減することができる。
【００７３】
なお、上記において、比較部３３では、
Ｃｔｌ（Ｉ，Ｊ）＝［｛Ｄｘ（Ｉ，Ｊ）／（Ｋ×Ｄｍａｘ（Ｉ，Ｊ））｝−Ｔｈ］／（１−Ｔｈ）
に相当する処理が実行されるので、上記処理をハードウェアにより実現する場合、除算回路を設ける必要がある。しかしながら、この場合、必ずしも除算回路により実現する必要はなく、例えば、ビットシフト回路により、上記数式に相当する処理を実現するようにしてもよい。これにより、除算回路を用いた場合に比べて、回路規模を縮小することができる。
【００７４】
また、比較部３３は、以下の処理を実行することで、注目画素（Ｉ，Ｊ）の合成処理用制御信号Ｃｔｌの信号値Ｃｔｌ（Ｉ，Ｊ）を取得するようにしてもよい。
（Ａ）Ｄｘ（Ｉ，Ｊ）≧Ｋ×Ｄｍａｘ（Ｉ，Ｊ）であるとき、
Ｃｔｌ（Ｉ，Ｊ）＝１
（Ｂ）Ｋ×Ｄｍａｘ（Ｉ，Ｊ）＞Ｄｘ（Ｉ，Ｊ）≧Ｋ×Ｄｍａｘ（Ｉ，Ｊ）／２であるとき、
Ｃｔｌ（Ｉ，Ｊ）＝０．５
（Ｃ）Ｋ×Ｄｍａｘ（Ｉ，Ｊ）／２＞Ｄｘ（Ｉ，Ｊ）≧Ｋ×Ｄｍａｘ（Ｉ，Ｊ）／４であるとき、
Ｃｔｌ（Ｉ，Ｊ）＝０．２５
（Ｄ）Ｋ×Ｄｍａｘ（Ｉ，Ｊ）／４＞Ｄｘ（Ｉ，Ｊ）≧Ｋ×Ｄｍａｘ（Ｉ，Ｊ）／８であるとき、
Ｃｔｌ（Ｉ，Ｊ）＝０．１２５
（Ｅ）Ｋ×Ｄｍａｘ（Ｉ，Ｊ）／８＞Ｄｘ（Ｉ，Ｊ）≧Ｋ×Ｄｍａｘ（Ｉ，Ｊ）／１６であるとき、
Ｃｔｌ（Ｉ，Ｊ）＝０．０６２５
（Ｆ）Ｋ×Ｄｍａｘ（Ｉ，Ｊ）／１６＞Ｄｘ（Ｉ，Ｊ）であるとき、
Ｃｔｌ（Ｉ，Ｊ）＝０
［第２実施形態］
次に、第２実施形態について、説明する。
【００７５】
図６は、第２実施形態の画像処理システム２０００の概略構成図である。
【００７６】
図７は、斜め方向成分低減ＬＰＦ部２Ａの概略構成図である。
【００７７】
画像処理システム２０００は、図６に示すように、第１実施形態の画像処理システム１０００において、斜め方向成分低減ＬＰＦ部２を、斜め方向成分低減ＬＰＦ部２Ａに置換した構成を有している。それ以外については、画像処理システム２０００は、第１実施形態の画像処理システム１０００と同様であるので、詳細な説明を省略する。
【００７８】
斜め方向成分低減ＬＰＦ部２Ａは、図７に示すように、第１斜め方向用ＬＰＦ部２１と、第２斜め方向用ＬＰＦ部２２と、を備える。
【００７９】
第１斜め方向用ＬＰＦ部２１は、映像信号Ｄｉｎを入力とする。第１斜め方向用ＬＰＦ部２１は、映像信号Ｄｉｎにより形成される画像に対して、画像上における右斜め下方向の高域成分を抑制するＬＰＦ処理を実行し、処理後の映像信号を、映像信号ＤＬ１として、第２斜め方向用ＬＰＦ部に出力する。
【００８０】
第１斜め方向用ＬＰＦ部２１は、例えば、図８に示すフィルタ係数によるフィルタ処理を映像信号Ｄｉｎに対して実行する。具体的には、映像信号Ｄｉｎの注目画素（Ｉ，Ｊ）の画素値（信号値）をＤｉｎ（Ｉ，Ｊ）とし、映像信号ＤＬ１の注目画素（Ｉ，Ｊ）の画素値（信号値）をＤＬ１（Ｉ，Ｊ）とすると、第１斜め方向用ＬＰＦ部２１は、
ＤＬ１（Ｉ，Ｊ）＝０．７１８８×Ｄｉｎ（Ｉ，Ｊ）
＋０．２２２７×｛Ｄｉｎ（Ｉ−１，Ｊ−１）＋Ｄｉｎ（Ｉ＋１，Ｊ＋１）｝
−０．１０９４×｛Ｄｉｎ（Ｉ−２，Ｊ−２）＋Ｄｉｎ（Ｉ＋２，Ｊ＋２）｝
＋０．０２３４×｛Ｄｉｎ（Ｉ−３，Ｊ−３）＋Ｄｉｎ（Ｉ＋３，Ｊ＋３）｝
＋０．００３９×｛Ｄｉｎ（Ｉ−４，Ｊ−４）＋Ｄｉｎ（Ｉ＋４，Ｊ＋４）｝
に相当する処理を実行することで、映像信号ＤＬ１の注目画素（Ｉ，Ｊ）の信号値ＤＬ１（Ｉ，Ｊ）を取得する。
【００８１】
図８から分かるように、図８に示すフィルタ係数は、注目画素（Ｉ，Ｊ）を中心として、画像上の右斜め下方向のサンプル点に対して、ＬＰＦ特性のインパルス応答により取得される係数と類似する。したがって、図８に示すフィルタ係数によるフィルタ処理を実行することで、画像上の右斜め下方向の高域成分を抑制するフィルタ処理を実現することができる。
【００８２】
このようにして、取得された映像信号ＤＬ１は、第１斜め方向用ＬＰＦ部２１から第２斜め方向用ＬＰＦ部２２に出力される。
【００８３】
第２斜め方向用ＬＰＦ部２２は、第１斜め方向用ＬＰＦ部２１から出力される映像信号ＤＬ１を入力する。第２斜め方向用ＬＰＦ部２２は、映像信号ＤＬ１により形成される画像に対して、画像上における右斜め上方向の高域成分を抑制するＬＰＦ処理を実行し、処理後の映像信号を、映像信号ＤＬｏｕｔとして、エッジ成分保持処理部１と合成部４とに出力する。
【００８４】
第２斜め方向用ＬＰＦ部２２は、例えば、図９に示すフィルタ係数によるフィルタ処理を映像信号Ｄｉｎに対して実行する。具体的には、映像信号Ｄｉｎの注目画素（Ｉ，Ｊ）の画素値（信号値）をＤｉｎ（Ｉ，Ｊ）とし、映像信号ＤＬ１の注目画素（Ｉ，Ｊ）の画素値（信号値）をＤＬｏｕｔ（Ｉ，Ｊ）とすると、第２斜め方向用ＬＰＦ部２２は、
ＤＬｏｕｔ（Ｉ，Ｊ）＝０．７１８８×Ｄｉｎ（Ｉ，Ｊ）
＋０．２２２７×｛Ｄｉｎ（Ｉ＋１，Ｊ−１）＋Ｄｉｎ（Ｉ−１，Ｊ＋１）｝
−０．１０９４×｛Ｄｉｎ（Ｉ＋２，Ｊ−２）＋Ｄｉｎ（Ｉ−２，Ｊ＋２）｝
＋０．０２３４×｛Ｄｉｎ（Ｉ＋３，Ｊ−３）＋Ｄｉｎ（Ｉ−３，Ｊ＋３）｝
＋０．００３９×｛Ｄｉｎ（Ｉ＋４，Ｊ−４）＋Ｄｉｎ（Ｉ−４，Ｊ＋４）｝
に相当する処理を実行することで、映像信号ＤＬｏｕｔの注目画素（Ｉ，Ｊ）の信号値ＤＬｏｕｔ（Ｉ，Ｊ）を取得する。
【００８５】
図９から分かるように、図９に示すフィルタ係数は、注目画素（Ｉ，Ｊ）を中心として、画像上の右斜め上方向のサンプル点に対して、ＬＰＦ特性のインパルス応答により取得される係数と類似する。したがって、図９に示すフィルタ係数によるフィルタ処理を実行することで、画像上の右斜め上方向の高域成分を抑制するフィルタ処理を実現することができる。
【００８６】
このようにして、取得された映像信号ＤＬｏｕｔは、第２斜め方向用ＬＰＦ部２２からエッジ成分保持処理部１および合成部４に出力される。
【００８７】
第１実施形態の斜め方向成分低減ＬＰＦ部２において適用されるフィルタは、図３に示すように、「０」の軸を中心に対称な値になっているので、画素値Ｄｉｎ（Ｉ−４，Ｊ−４）、画素値Ｄｉｎ（Ｉ−４，Ｊ＋４）、画素値Ｄｉｎ（Ｉ＋４，Ｊ−４）、および、画素値Ｄｉｎ（Ｉ＋４，Ｊ＋４）に適用されるフィルタ係数は、同じ値である。したがって、第１実施形態の斜め方向成分低減ＬＰＦ部２において、予めそれらの画素値の和を取ってからフィルタ係数を乗算するようにすれば、合計２５個の乗算器を設けることで、当該処理を実現することができる。
【００８８】
しかし、乗算器は比較的回路規模が大きいので、できるだけ減らした方が良い。そこで、本実施形態の画像処理システム２０００では、図９に示すように、画像上の斜め方向のサンプル点に対して適用させるフィルタ係数のみを有するフィルタにより、フィルタ処理を実行する。つまり、画像処理システム２０００では、第１斜め方向用ＬＰＦ部２１が図８のフィルタ係数によるフィルタ処理（斜め方向のサンプル点にフィルタ係数を乗算して加算する処理）を行い、第２斜め方向用ＬＰＦ部２２が図９のフィルタ係数によるフィルタ処理（斜め方向のサンプル点にフィルタ係数を乗算して加算する処理）を行うことで、フィルタ処理を実行する。
【００８９】
このように、図８や図９で示す画像処理システム２０００では、注目画素（Ｉ，Ｊ）を中心に対称となる、このフィルタ係数を用いてフィルタ処理を実行するので、斜め方向成分低減ＬＰＦ部２Ａでの処理をハードウェアで実現する場合、乗算器の数は、第１斜め方向用ＬＰＦ部２１での処理用として５個、第２斜め方向用ＬＰＦ部２２での処理用として５個の合計１０個で済み、第１実施形態の場合に比べて、回路規模を大幅に削減することができる。
【００９０】
以上のように、本実施形態の画像処理システム２０００では、より少ない数のフィルタ係数を用いてフィルタ処理を実行することにより、画像上の斜め方向の高域成分を低減する処理を行う。これにより、画像処理システム２０００では、少ない演算量で処理を実行することができ、また、ハードウェアでフィルタ処理を実現する場合、回路規模を削減することができる。
【００９１】
そして、本実施形態の画像処理システム２０００においても、第１実施形態と同様に、ＦＨＤの映像を、４Ｋ映像／８Ｋ映像に拡大した場合であっても、エッジ成分を保存しながら、ノイズ成分（例えば、モスキートノイズ）を適切に低減することができる。
【００９２】
なお、斜め方向成分低減ＬＰＦ部２Ａで用いられるフィルタのフィルタ係数は、図８、図９に示したものに限定されることはなく、水平方向の高域成分および垂直方向の高域成分を保持（または強調）しつつ、斜め方向の高域成分を低減するフィルタ特性を実現するものであれば、他のフィルタ係数を有するものであってもよい。また、斜め方向成分低減ＬＰＦ部２Ａで用いられるフィルタの次数（フィルタのタップ数）は、図８、９のように９個に限定されるものではなく、他の数であってもよい。
【００９３】
［第３実施形態］
次に、第３実施形態について、説明する。
【００９４】
図１０は、第３実施形態の画像処理システム３０００の概略構成図である。
【００９５】
画像処理システム３０００は、図１０に示すように、アップコンバータＡ２と、画像処理装置３００とを備える。
【００９６】
画像処理装置３００は、図１０に示すように、マトリックス遅延部５と、エッジ保持処理部１Ａと、斜め方向成分低減ＬＰＦ部２Ｂと、制御信号生成部３と、選択部４Ａとを備える。
【００９７】
なお、説明便宜のために、画像処理装置３００に入力される映像信号Ｄ０は、ＦＨＤの映像信号であるものとし、アップコンバータＡ２により、８Ｋの映像信号にアップコンバートされるものとして、説明する。
【００９８】
アップコンバータＡ２は、ＦＨＤの映像信号Ｄ０を入力し、映像信号Ｄ０に対して、アップコンバート処理を行い、８Ｋの映像信号Ｄｉｎを取得する。そして、アップコンバータＡ２は、取得した８Ｋの映像信号Ｄｉｎを画像処理装置３００のマトリックス遅延部５に出力する。
【００９９】
マトリックス遅延部５は、８Ｋの映像信号Ｄｉｎに対して、マトリックス遅延処理（例えば、３２×３２マトリックス遅延処理）を行い、画像上において、処理対象の画素（注目画素）を中心とする所定の画像領域の各画素に対応する信号値（映像信号Ｄｉｎの信号値）を取得する。マトリックス遅延部５は、８Ｋの映像信号Ｄｉｎから、例えば、３３画素×３３画素からなる画像領域の各画素に対応する映像信号Ｄｉｎの信号値（画素値）を取得する（３３画素×３３画素からなる画像領域の空間データを取得する）。
【０１００】
なお、マトリックス遅延部５により取得された空間データは、Ｄｍｔと表記し、注目画素（Ｉ，Ｊ）の画素値をＤｍｔ（Ｉ，Ｊ）と表記する。
【０１０１】
マトリックス遅延部５は、取得した空間データＤｍｔ（映像信号Ｄｍｔ）をエッジ成分保持処理部１Ａの第１ＬＰＦ部Ｌ１と、斜め方向成分低減ＬＰＦ部２Ｂの第２ＬＰＦ部Ｌ２〜第ｋＬＰＦ部と、制御信号生成部３とに出力する。
【０１０２】
ＦＨＤ映像を８Ｋ映像へアップコンバートした場合、８Ｋ映像信号により形成される画像上において、元々の原画像（ＦＨＤ映像信号により形成される画像）に存在していた画素に対応する画素は、１６画素に１画素の割合（縦横それぞれ、４画素に１画素の割合）でしか存在しない。そして、元々の原画像（ＦＨＤ映像信号により形成される画像）の周波数帯域は、８Ｋ映像信号により形成される画像の周波数帯域の縦１／４×横１／４となる。
【０１０３】
そこで、第１ＬＰＦ部Ｌ１、第２ＬＰＦ部Ｌ２〜第ｋＬＰＦ部Ｌｋへ入力する画素は、１画素飛ばし、２画素飛ばし、３画素飛ばし等にすることで、ＬＰＦを実現するために必要となるタップ数を少なくすることができる。また、このようにすることで、フィルタの特性を変えることができる。飛ばす画素数が多いほど、カットオフ周波数の低いフィルタとして働く。
【０１０４】
第１ＬＰＦ部Ｌ１では、１画素間隔（１ドット間隔）で斜め２方向のＬＰＦ特性となるフィルタ係数により、フィルタ処理（ＬＰＦ処理）を実行する。
【０１０５】
具体的には、図８、図９に示したフィルタ係数を用いて、
Ａ（０，０）＝０．７１８８
Ａ（−１，−１）＝Ａ（１，１）＝０．２２２７
Ａ（−２，−２）＝Ａ（２，２）＝−０．１０９４
Ａ（−３，−３）＝Ａ（３，３）＝０．０２３４
Ａ（−４，−４）＝Ａ（４，４）＝０．００３９
Ａ（１，−１）＝Ａ（−１，１）＝０．２２２７
Ａ（２，−２）＝Ａ（−２，２）＝−０．１０９４
Ａ（３，−３）＝Ａ（−３，３）＝０．０２３４
Ａ（４，−４）＝Ａ（−４，４）＝０．００３９
とし、下記数式に相当する処理を実行することにより、第１ＬＰＦ部Ｌ１は、フィルタ処理後の注目画素（Ｉ，Ｊ）の信号値Ｄ１（Ｉ，Ｊ）を取得する。
【数１】
2017091239.tif 000003
なお、上記数式の最後の項は、第１項と第２項でＡ（０，０）×Ｄｍｔ（Ｉ，Ｊ）の値を合計２回加算しているので、１回分を減算するための項である。
【０１０６】
上記のように、第１ＬＰＦ部Ｌ１では、１画素間隔（１ドット間隔）で斜め２方向のＬＰＦ特性となるフィルタ係数により、フィルタ処理（ＬＰＦ処理）を実行するので、カットオフ周波数が高く、高域成分があまり低減されない。つまり、第１ＬＰＦ部Ｌ１により処理された映像信号は、エッジ成分を保持した画像を形成する映像信号となる。
【０１０７】
なお、第１ＬＰＦ部Ｌ１では、ＬＰＦフィルタ処理を行わずに、入力された映像信号Ｄｍｔを、そのまま映像信号Ｄｏｕｔとして、出力するようにしてもよい。
【０１０８】
第１ＬＰＦ部Ｌ１により取得されたフィルタ処理後の映像信号Ｄ１は、第１ＬＰＦ部Ｌ１から選択部４Ａに出力される。
【０１０９】
第２ＬＰＦ部Ｌ２では、３画素間隔（３ドット間隔）で斜め２方向のＬＰＦ特性となるフィルタ係数により、フィルタ処理（ＬＰＦ処理）を実行する。
【０１１０】
具体的には、図８、図９に示したフィルタ係数を用いて、
Ａ（０，０）＝０．７１８８
Ａ（−１，−１）＝Ａ（１，１）＝０．２２２７
Ａ（−２，−２）＝Ａ（２，２）＝−０．１０９４
Ａ（−３，−３）＝Ａ（３，３）＝０．０２３４
Ａ（−４，−４）＝Ａ（４，４）＝０．００３９
Ａ（１，−１）＝Ａ（−１，１）＝０．２２２７
Ａ（２，−２）＝Ａ（−２，２）＝−０．１０９４
Ａ（３，−３）＝Ａ（−３，３）＝０．０２３４
Ａ（４，−４）＝Ａ（−４，４）＝０．００３９
とし、下記数式に相当する処理を実行することにより、第２ＬＰＦ部Ｌ２は、フィルタ処理後の注目画素（Ｉ，Ｊ）の信号値Ｄ２（Ｉ，Ｊ）を取得する。
【数２】
2017091239.tif 000004
なお、上記数式の最後の項は、第１項と第２項でＡ（０，０）×Ｄｍｔ（Ｉ，Ｊ）の値を合計２回加算しているので、１回分を減算するための項である。
【０１１１】
上記のように、第２ＬＰＦ部Ｌ２では、３画素間隔（３ドット間隔）で斜め２方向のＬＰＦ特性となるフィルタ係数により、フィルタ処理（ＬＰＦ処理）を実行するので、カットオフ周波数はそれ程高くなく、斜め方向の高域成分を適切に低減することができる。つまり、第２ＬＰＦ部Ｌ２により処理された映像信号は、斜め方向の高域成分を適切に低減した画像を形成する映像信号となる。
【０１１２】
第２ＬＰＦ部Ｌ２により取得されたフィルタ処理後の映像信号Ｄ２は、第２ＬＰＦ部Ｌ２から選択部４Ａに出力される。
【０１１３】
第ｋＬＰＦ部Ｌｋでは、４画素間隔（４ドット間隔）で斜め２方向のＬＰＦ特性となるフィルタ係数により、フィルタ処理（ＬＰＦ処理）を実行する。
【０１１４】
具体的には、図８、図９に示したフィルタ係数を用いて、
Ａ（０，０）＝０．７１８８
Ａ（−１，−１）＝Ａ（１，１）＝０．２２２７
Ａ（−２，−２）＝Ａ（２，２）＝−０．１０９４
Ａ（−３，−３）＝Ａ（３，３）＝０．０２３４
Ａ（−４，−４）＝Ａ（４，４）＝０．００３９
Ａ（１，−１）＝Ａ（−１，１）＝０．２２２７
Ａ（２，−２）＝Ａ（−２，２）＝−０．１０９４
Ａ（３，−３）＝Ａ（−３，３）＝０．０２３４
Ａ（４，−４）＝Ａ（−４，４）＝０．００３９
とし、下記数式に相当する処理を実行することにより、第ｋＬＰＦ部Ｌｋは、フィルタ処理後の注目画素（Ｉ，Ｊ）の信号値Ｄ２（Ｉ，Ｊ）を取得する。
【数３】
2017091239.tif 000005
なお、上記数式の最後の項は、第１項と第２項でＡ（０，０）×Ｄｍｔ（Ｉ，Ｊ）の値を合計２回加算しているので、１回分を減算するための項である。
【０１１５】
上記のように、第ｋＬＰＦ部Ｌｋでは、４画素間隔（４ドット間隔）で斜め２方向のＬＰＦ特性となるフィルタ係数により、フィルタ処理（ＬＰＦ処理）を実行するので、カットオフ周波数は、第２ＬＰＦ部Ｌ２のカットオフ周波数よりもさらに低くなり、斜め方向の高域成分を第２ＬＰＦ部Ｌ２よりも強く低減することができる。つまり、第ｋＬＰＦ部Ｌｋにより処理された映像信号は、斜め方向の高域成分を、第２ＬＰＦ部Ｌ２よりも強く低減した画像を形成する映像信号となる。
【０１１６】
第ｋＬＰＦ部Ｌｋにより取得されたフィルタ処理後の映像信号Ｄｋは、第ｋＬＰＦ部Ｌｋから選択部４Ａに出力される。
【０１１７】
制御信号生成部３では、第１実施形態と同様の処理が実行され、映像信号Ｄｍｔ（空間データＤｍｔ）から、合成処理用制御信号Ｃｔｌが生成される。
【０１１８】
なお、第１実施形態では、制御信号生成部３では、
Ｄｘ（Ｉ，Ｊ）＝｛ａｂｓ（Ｄ（Ｉ，Ｊ）−Ｄ（Ｉ，Ｊ−１））＋ａｂｓ（Ｄ（Ｉ，Ｊ）−Ｄ（Ｉ，Ｊ＋１））＋ａｂｓ（Ｄ（Ｉ，Ｊ）−Ｄ（Ｉ−１，Ｊ））＋ａｂｓ（Ｄ（Ｉ，Ｊ）−Ｄ（Ｉ＋１，Ｊ））｝／４
ａｂｓ（ｘ）：値ｘの絶対値を取得する関数
に相当する処理を実行することで、注目画素の２次元差分信号Ｄｘの信号値Ｄｘ（Ｉ，Ｊ）を取得する場合について、説明した。つまり、第１実施形態では、制御信号生成部３は、注目画素の画素値と、注目画素の上下左右に隣接する画素の画素値との差分の絶対値の和をＤｘ（Ｉ，Ｊ）としたが、これに限定されることはない。例えば、本実施形態では、制御信号生成部３は、注目画素の画素値と、注目画素の上下左右にｎ画素（ｎ：自然数）離れて隣接する画素の画素値との差分の絶対値の和をＤｘ（Ｉ，Ｊ）としてもよい。つまり、制御信号生成部３は、
Ｄｘ（Ｉ，Ｊ）＝｛ａｂｓ（Ｄ（Ｉ，Ｊ）−Ｄ（Ｉ，Ｊ−ｎ））＋ａｂｓ（Ｄ（Ｉ，Ｊ）−Ｄ（Ｉ，Ｊ＋ｎ））＋ａｂｓ（Ｄ（Ｉ，Ｊ）−Ｄ（Ｉ−ｎ，Ｊ））＋ａｂｓ（Ｄ（Ｉ，Ｊ）−Ｄ（Ｉ＋ｎ，Ｊ））｝／４
として、Ｄｘ（Ｉ，Ｊ）を取得してもよい。例えば、ｎ＝２として、制御信号生成部３は、上記処理により、Ｄｘ（Ｉ，Ｊ）を取得してもよい。
【０１１９】
制御信号生成部３では、信号値が大きい程、エッジである確率が高いことを示すようにして、合成処理用制御信号Ｃｔｌを生成する。なお、合成処理用制御信号Ｃｔｌの信号値は、０≦Ｃｔｌ（Ｉ，Ｊ）≦１を満たす実数値として設定されてもよい。あるいは、合成処理用制御信号Ｃｔｌの信号値は、複数の離散値として設定されてもよい。
【０１２０】
このようにして生成された合成処理用制御信号Ｃｔｌは、制御信号生成部３から選択部４Ａに出力される。
【０１２１】
選択部４Ａでは、合成処理用制御信号Ｃｔｌの信号値が大きい程、カットオフ周波数の高いＬＰＦ処理が実行された映像信号を選択する。例えば、ｋ＝３である場合、つまり、画像処理装置３００が、第１ＬＰＦ部Ｌ１と、第２ＬＰＦ部Ｌ２と、第ｋＬＰＦ部Ｌｋ（ｋ＝３）とを備える場合、閾値をｔｈ１、ｔｈ２（ｔｈ１＜ｔｈ２）とすると、
（１）Ｃｔｌ（Ｉ，Ｊ）＞ｔｈ２である場合（注目画素がエッジ部分に含まれる可能性が高い場合）、選択部４Ａは、第１ＬＰＦ部から出力される映像信号Ｄ１を選択し、映像信号Ｄｏｕｔとして出力する。つまり、選択部４Ａは、
Ｄｏｕｔ（Ｉ，Ｊ）＝Ｄ１（Ｉ，Ｊ）
として、映像信号Ｄｏｕｔを出力する。
（２）ｔｈ２≧Ｃｔｌ（Ｉ，Ｊ）＞ｔｈ１である場合（注目画素がエッジ部分に含まれる可能性が中程度である場合）、選択部４Ａは、第２ＬＰＦ部から出力される映像信号Ｄ２を選択し、映像信号Ｄｏｕｔとして出力する。つまり、選択部４Ａは、
Ｄｏｕｔ（Ｉ，Ｊ）＝Ｄ２（Ｉ，Ｊ）
として、映像信号Ｄｏｕｔを出力する。
（３）ｔｈ１≧Ｃｔｌ（Ｉ，Ｊ）である場合（注目画素がエッジ部分に含まれる可能性が低い場合）、選択部４Ａは、第ｋＬＰＦ部（ｋ＝３）から出力される映像信号Ｄｋを選択し、映像信号Ｄｏｕｔとして出力する。つまり、選択部４Ａは、
Ｄｏｕｔ（Ｉ，Ｊ）＝Ｄｋ（Ｉ，Ｊ）
として、映像信号Ｄｏｕｔを出力する。
【０１２２】
なお、閾値ｔｈ１、ｔｈ２は、合成処理用制御信号Ｃｔｌの信号値のとる範囲に応じて決定される。
【０１２３】
以上のように、画像処理システム３０００では、注目画素がエッジ近傍に存在するか否かを判定し、その判定結果に応じて、カットオフ周波数の異なる複数のＬＰＦ処理が実行された映像信号（映像信号Ｄ１〜Ｄｋ）から、適切な映像信号を選択して、出力する。
【０１２４】
画像処理システム３０００の第２ＬＰＦ部Ｌ２〜第ｋＬＰＦ部Ｌｋにより実行されるフィルタのフィルタ特性は、異なるカットオフ周波数を有し、かつ、斜め方向の高域成分を抑制するフィルタである。したがって、画像処理システム３０００では、上記のように処理することで、ＦＨＤの映像を、４Ｋ映像／８Ｋ映像に拡大した場合であっても、エッジ成分を保存しながら、ノイズ成分（例えば、モスキートノイズ）を適切に低減することができる。
【０１２５】
≪変形例≫
次に、第３実施形態の変形例について、説明する。
【０１２６】
図１１は、本変形例の画像処理システム３０００Ａの概略構成図である。
【０１２７】
本変形例の画像処理システム３０００Ａは、図１１に示すように、第３実施形態の画像処理システム３０００において、選択部４Ａの後段に、ポストＬＰＦ部６を追加した構成を有している。それ以外については、本変形例の画像処理システム３０００Ａは、画像処理システム３０００と同様である。
【０１２８】
図１１に示すように、選択部４Ａから出力される映像信号を、映像信号Ｄｏｕｔ０とすると、ポストＬＰＦ部６は、選択部４Ａから出力される映像信号Ｄｏｕｔ０を入力とし、映像信号Ｄｏｕｔ０に対して、画像処理システム３０００Ａに入力される映像信号Ｄ０（例えば、ＦＨＤの映像信号）の周波数帯域を通過させるが、当該周波数帯域より高い周波数帯域の周波数成分を遮断（低減）するフィルタ特性を有するＬＰＦ処理を実行する。
【０１２９】
そして、ポストＬＰＦ部６は、処理後の映像信号を、映像信号Ｄｏｕｔとして出力する。
【０１３０】
画像処理システム３０００Ａでは、上記のように、ポストＬＰＦ部６による処理を行うことで、隣接する画素で適用されるＬＰＦの特性が変わることで、出力される映像に不連続に見える画像領域が発生することを適切に防止することができる。
【０１３１】
［第４実施形態］
次に、第４実施形態について、説明する。
【０１３２】
図１２は、第４実施形態の画像処理システム４０００の概略構成図である。
【０１３３】
図１３は、斜め方向用ＬＰＦのフィルタ係数（一例）を示す図である。
【０１３４】
画像処理システム４０００は、図１２に示すように、第３実施形態の画像処理システム３０００において、斜め方向成分低減ＬＰＦ部２Ｂを、斜め方向成分低減ＬＰＦ部２Ｃに置換し、制御信号生成部３を、制御信号生成部３Ａに置換し、選択部４Ａを合成部４Ｂに置換した構成を有している。それ以外については、第４実施形態の画像処理システム４０００は、画像処理システム３０００と同様である。
【０１３５】
斜め方向成分低減ＬＰＦ部２Ｃは、図１２に示すように、第１軸ＬＰＦ部ＬＬ１と、第２軸ＬＰＦ部ＬＬ２と、第３軸ＬＰＦ部ＬＬ３と、第４軸ＬＰＦ部ＬＬ４とを備える。
【０１３６】
第１軸ＬＰＦ部ＬＬ１は、マトリックス遅延部５から出力される映像信号Ｄｍｔを入力し、映像信号Ｄｍｔに対して、図１３の領域Ｃｏｅ＿Ａｘ１に含まれるフィルタ係数を用いたフィルタ処理を実行する。具体的には、第１軸ＬＰＦ部ＬＬ１は、ｎ画素間隔（ｎドット間隔）（ｎ：自然数）で、図１２のＣｏｅ＿ＡＸ１が示す方向である第１軸方向のＬＰＦ特性となるフィルタ係数により、フィルタ処理（ＬＰＦ処理）を実行する。
【０１３７】
具体的には、図１３に示したフィルタ係数を用いて、
Ａ（０，０）＝０．７１８８
Ａ（−１，−１）＝０．２２２７×２
Ａ（−２，−２）＝−０．１０９４×２
Ａ（−３，−３）＝０．０２３４×２
Ａ（−４，−４）＝０．００３９×２
とし、下記数式に相当する処理を実行することにより、第１軸ＬＰＦ部ＬＬ１は、フィルタ処理後の注目画素（Ｉ，Ｊ）の信号値Ｄａ１（Ｉ，Ｊ）を取得する。
【数４】
2017091239.tif 000006
そして、第１軸ＬＰＦ部ＬＬ１は、フィルタ処理後の映像信号Ｄａ１を合成部４Ｂに出力する。
【０１３８】
第２軸ＬＰＦ部ＬＬ２は、マトリックス遅延部５から出力される映像信号Ｄｍｔを入力し、映像信号Ｄｍｔに対して、図１３の領域Ｃｏｅ＿Ａｘ２に含まれるフィルタ係数を用いたフィルタ処理を実行する。具体的には、第２軸ＬＰＦ部ＬＬ２は、ｎ画素間隔（ｎドット間隔）（ｎ：自然数）で、図１２のＣｏｅ＿ＡＸ２が示す方向である第２軸方向のＬＰＦ特性となるフィルタ係数により、フィルタ処理（ＬＰＦ処理）を実行する。
【０１３９】
具体的には、図１３に示したフィルタ係数を用いて、
Ａ（０，０）＝０．７１８８
Ａ（１，−１）＝０．２２２７×２
Ａ（２，−２）＝−０．１０９４×２
Ａ（３，−３）＝０．０２３４×２
Ａ（４，−４）＝０．００３９×２
とし、下記数式に相当する処理を実行することにより、第２軸ＬＰＦ部ＬＬ２は、フィルタ処理後の注目画素（Ｉ，Ｊ）の信号値Ｄａ２（Ｉ，Ｊ）を取得する。
【数５】
2017091239.tif 000007
そして、第２軸ＬＰＦ部ＬＬ２は、フィルタ処理後の映像信号Ｄａ２を合成部４Ｂに出力する。
【０１４０】
第３軸ＬＰＦ部ＬＬ３は、マトリックス遅延部５から出力される映像信号Ｄｍｔを入力し、映像信号Ｄｍｔに対して、図１３の領域Ｃｏｅ＿Ａｘ３に含まれるフィルタ係数を用いたフィルタ処理を実行する。具体的には、第３軸ＬＰＦ部ＬＬ３は、ｎ画素間隔（ｎドット間隔）（ｎ：自然数）で、図１２のＣｏｅ＿ＡＸ３が示す方向である第３軸方向のＬＰＦ特性となるフィルタ係数により、フィルタ処理（ＬＰＦ処理）を実行する。
【０１４１】
具体的には、図１３に示したフィルタ係数を用いて、
Ａ（０，０）＝０．７１８８
Ａ（−１，１）＝０．２２２７×２
Ａ（−２，２）＝−０．１０９４×２
Ａ（−３，３）＝０．０２３４×２
Ａ（−４，４）＝０．００３９×２
とし、下記数式に相当する処理を実行することにより、第３軸ＬＰＦ部ＬＬ３は、フィルタ処理後の注目画素（Ｉ，Ｊ）の信号値Ｄａ３（Ｉ，Ｊ）を取得する。
【数６】
2017091239.tif 000008
そして、第３軸ＬＰＦ部ＬＬ３は、フィルタ処理後の映像信号Ｄａ３を合成部４Ｂに出力する。
【０１４２】
第４軸ＬＰＦ部ＬＬ４は、マトリックス遅延部５から出力される映像信号Ｄｍｔを入力し、映像信号Ｄｍｔに対して、図１３の領域Ｃｏｅ＿Ａｘ４に含まれるフィルタ係数を用いたフィルタ処理を実行する。具体的には、第４軸ＬＰＦ部ＬＬ４は、ｎ画素間隔（ｎドット間隔）（ｎ：自然数）で、図１２のＣｏｅ＿ＡＸ４が示す方向である第４軸方向のＬＰＦ特性となるフィルタ係数により、フィルタ処理（ＬＰＦ処理）を実行する。
【０１４３】
具体的には、図１３に示したフィルタ係数を用いて、
Ａ（０，０）＝０．７１８８
Ａ（１，１）＝０．２２２７×２
Ａ（２，２）＝−０．１０９４×２
Ａ（３，３）＝０．０２３４×２
Ａ（４，４）＝０．００３９×２
とし、下記数式に相当する処理を実行することにより、第４軸ＬＰＦ部ＬＬ４は、フィルタ処理後の注目画素（Ｉ，Ｊ）の信号値Ｄａ４（Ｉ，Ｊ）を取得する。
【数７】
2017091239.tif 000009
そして、第４軸ＬＰＦ部ＬＬ４は、フィルタ処理後の映像信号Ｄａ４を合成部４Ｂに出力する。
【０１４４】
制御信号生成部３Ａは、マトリックス遅延部５から出力される映像信号Ｄｍｔを入力とする。制御信号生成部３Ａは、映像信号Ｄｍｔ（空間データＤｍｔ）から、上記実施形態と同様の処理を実行し、注目画素（Ｉ，Ｊ）が画像上のエッジ領域に含まれるか否かを判定する。
（１）制御信号生成部３Ａは、注目画素が画像上のエッジ領域に含まれると判定した場合、制御信号Ｃｔｌ２の信号値を「０」にして、合成部４Ｂに出力する。
（２）制御信号生成部３Ａは、注目画素が画像上のエッジ領域に含まれず、かつ、注目画素の左上方向（第１軸方向）にエッジ領域が存在すると判定した場合、制御信号Ｃｔｌ２の信号値を「１」にして、合成部４Ｂに出力する。
（３）制御信号生成部３Ａは、注目画素が画像上のエッジ領域に含まれず、かつ、注目画素の右上方向（第２軸方向）にエッジ領域が存在すると判定した場合、制御信号Ｃｔｌ２の信号値を「２」にして、合成部４Ｂに出力する。
（４）制御信号生成部３Ａは、注目画素が画像上のエッジ領域に含まれず、かつ、注目画素の左下方向（第３軸方向）にエッジ領域が存在すると判定した場合、制御信号Ｃｔｌ２の信号値を「３」にして、合成部４Ｂに出力する。
（５）制御信号生成部３Ａは、注目画素が画像上のエッジ領域に含まれず、かつ、注目画素の右下方向（第４軸方向）にエッジ領域が存在すると判定した場合、制御信号Ｃｔｌ２の信号値を「４」にして、合成部４Ｂに出力する。
【０１４５】
合成部４Ｂは、制御信号生成部３Ａからの制御信号Ｃｔｌ２の信号値に基づいて、出力する映像信号Ｄｏｕｔを生成する。具体的には、合成部４Ｂは、以下のようにして、映像信号Ｄｏｕｔを生成する。
（１）制御信号Ｃｔｌ２の信号値が「０」である場合、注目画素はエッジ領域に含まれず、かつ、第１軸方向〜第４軸方向のいずれの方向にも、エッジ領域が存在しないので、合成部４Ｂは、エッジ成分が保持された映像信号Ｄ１を、映像信号Ｄｏｕｔとして、出力する。つまり、合成部４Ｂは、
Ｄｏｕｔ（Ｉ，Ｊ）＝Ｄ１（Ｉ，Ｊ）
とする映像信号Ｄｏｕｔを出力する。
（２）制御信号Ｃｔｌ２の信号値が「１」である場合、注目画素はエッジ領域に含まれず、かつ、第１軸方向の方向にエッジ領域が存在するので、合成部４Ｂは、エッジ領域が検出された方向のＬＰＦ処理を実行された映像信号Ｄａ１を採用せず、それ以外の映像信号Ｄａ２〜Ｄａ４を合成することで、映像信号Ｄｏｕｔを生成する。つまり、合成部４Ｂは、
Ｄｏｕｔ（Ｉ，Ｊ）＝｛Ｄ２（Ｉ，Ｊ）＋Ｄ３（Ｉ，Ｊ）＋Ｄ４（Ｉ，Ｊ）｝／３
あるいは、
Ｄｏｕｔ（Ｉ，Ｊ）＝｛Ｄ２（Ｉ，Ｊ）＋Ｄ３（Ｉ，Ｊ）｝／４＋Ｄ４（Ｉ，Ｊ）／２
などにより生成した映像信号Ｄｏｕｔを出力する。
（３）制御信号Ｃｔｌ２の信号値が「２」である場合、注目画素はエッジ領域に含まれず、かつ、第２軸方向の方向にエッジ領域が存在するので、合成部４Ｂは、エッジ領域が検出された方向のＬＰＦ処理を実行された映像信号Ｄａ２を採用せず、それ以外の映像信号Ｄａ１、Ｄａ３、Ｄａ４を合成することで、映像信号Ｄｏｕｔを生成する。つまり、合成部４Ｂは、
Ｄｏｕｔ（Ｉ，Ｊ）＝｛Ｄ１（Ｉ，Ｊ）＋Ｄ３（Ｉ，Ｊ）＋Ｄ４（Ｉ，Ｊ）｝／３
あるいは、
Ｄｏｕｔ（Ｉ，Ｊ）＝｛Ｄ１（Ｉ，Ｊ）＋Ｄ４（Ｉ，Ｊ）｝／４＋Ｄ３（Ｉ，Ｊ）／２
などにより生成した映像信号Ｄｏｕｔを出力する。
（４）制御信号Ｃｔｌ２の信号値が「３」である場合、注目画素はエッジ領域に含まれず、かつ、第３軸方向の方向にエッジ領域が存在するので、合成部４Ｂは、エッジ領域が検出された方向のＬＰＦ処理を実行された映像信号Ｄａ３を採用せず、それ以外の映像信号Ｄａ１、Ｄａ２、Ｄａ４を合成することで、映像信号Ｄｏｕｔを生成する。つまり、合成部４Ｂは、
Ｄｏｕｔ（Ｉ，Ｊ）＝｛Ｄ１（Ｉ，Ｊ）＋Ｄ２（Ｉ，Ｊ）＋Ｄ４（Ｉ，Ｊ）｝／３
あるいは、
Ｄｏｕｔ（Ｉ，Ｊ）＝｛Ｄ１（Ｉ，Ｊ）＋Ｄ４（Ｉ，Ｊ）｝／４＋Ｄ２（Ｉ，Ｊ）／２
などにより生成した映像信号Ｄｏｕｔを出力する。
（５）制御信号Ｃｔｌ２の信号値が「４」である場合、注目画素はエッジ領域に含まれず、かつ、第４軸方向の方向にエッジ領域が存在するので、合成部４Ｂは、エッジ領域が検出された方向のＬＰＦ処理を実行された映像信号Ｄａ４を採用せず、それ以外の映像信号Ｄａ１〜Ｄａ３を合成することで、映像信号Ｄｏｕｔを生成する。つまり、合成部４Ｂは、
Ｄｏｕｔ（Ｉ，Ｊ）＝｛Ｄ１（Ｉ，Ｊ）＋Ｄ２（Ｉ，Ｊ）＋Ｄ３（Ｉ，Ｊ）｝／３
あるいは、
Ｄｏｕｔ（Ｉ，Ｊ）＝｛Ｄ１２（Ｉ，Ｊ）＋Ｄ３（Ｉ，Ｊ）｝／４＋Ｄ１（Ｉ，Ｊ）／２
などにより生成した映像信号Ｄｏｕｔを出力する。
【０１４６】
画像処理システム４０００では、上記のように処理することで、エッジ領域が存在する方向の高域成分を抑制したフィルタ処理後の映像信号を除外して生成された映像信号Ｄｏｕｔを取得することができる。このため、画像処理システム４０００では、ＦＨＤの映像を、４Ｋ映像／８Ｋ映像に拡大した場合であっても、エッジ成分を保存しながら、ノイズ成分（例えば、モスキートノイズ）をより適切に低減することができる（より滑らかな映像信号を取得することができる）。
【０１４７】
なお、合成部４Ｂにおいて、映像信号Ｄａ１〜Ｄａ４を合成する場合の映像信号Ｄａ１〜Ｄａ４に対する重み付け（乗算する係数）は、上記以外のものであってもよい。
【０１４８】
［第５実施形態］
次に、第５実施形態について、説明する。
【０１４９】
図１４は、第５実施形態の画像処理システム５０００の概略構成図である。
【０１５０】
図１５は、時間方向フィルタ部７の概略構成図である。
【０１５１】
画像処理システム５０００は、図１４に示すように、第１実施形態の画像処理システム１０００において、エッジ成分保持処理部１と合成部４との間に、時間方向フィルタ部７を追加した構成を有している。それ以外については、第５実施形態の画像処理システム５０００は、第１実施形態の画像処理システム１０００と同様である。
【０１５２】
時間方向フィルタ部７は、エッジ成分保持処理部１から出力される映像信号ＤＨｏｕｔを入力する。時間方向フィルタ部７は、映像信号ＤＨｏｕｔに対して、時間方向のＬＰＦ処理を実行し、処理後の映像信号を映像信号Ｄ１Ｈｏｕｔとして合成部４に出力する。
【０１５３】
なお、合成部４では、第１実施形態において、映像信号ＤＨｏｕｔを、映像信号Ｄ１Ｈｏｕｔとして、第１実施形態と同様の処理が実行される。
【０１５４】
時間方向フィルタ部７は、図１５に示すように、第１係数器７１と、加算器７２と、第２係数器７３と、フレームメモリ７４とを備える。
【０１５５】
時間方向フィルタ部７の第１係数器７１は、入力された映像信号ＤＨｏｕｔに対して、係数（１−α）（０≦α≦１）を乗算することで取得した映像信号ＤＨ１（＝α×ＤＨｏｕｔ）を加算器７２に出力する。
【０１５６】
加算器７２は、第１係数器７１から出力される映像信号ＤＨ１と、第２係数器７３から出力される映像信号ＤＨ２とを加算する。そして、加算器７２は、加算して取得した映像信号を映像信号Ｄ１Ｈｏｕｔとして、フレームメモリ７４と、合成部４とに出力する。
【０１５７】
フレームメモリ７４は、少なくとも１フレーム分の映像信号のデータを保持することができるメモリである。フレームメモリ７４は、加算器７２から出力される映像信号Ｄ１Ｈｏｕｔを入力し、記憶する。そして、フレームメモリ７４は、記憶している、現フレーム（現在処理対象のフレーム）のＮフレーム前（Ｎ：自然数）（本実施形態では、Ｎ＝１とする）のフレームの映像信号Ｄ１Ｈｏｕｔ＿ｐａｓｔを第２係数器７３に出力する。
【０１５８】
第２係数器７３は、フレームメモリ７４から出力される映像信号Ｄ１Ｈｏｕｔ＿ｐａｓｔを入力し、係数α（０≦α≦１）を乗算することで取得した映像信号ＤＨ１（＝α×ＤＨｏｕｔ）を加算器７２に出力する。
【０１５９】
つまり、時間方向フィルタ部７は、
Ｄ１Ｈｏｕｔ＝（１−α）×ＤＨｏｕｔ＋α×Ｄ１Ｈｏｕｔ＿ｐａｓｔ
に相当する処理を実行することで、映像信号Ｄ１Ｈｏｕｔを取得する。
【０１６０】
これにより、画像処理システム５０００では、時間軸方向に発生するノイズ（時間的に変化するモスキートノイズ）を効果的に低減させることができる。
【０１６１】
［他の実施形態］
上記実施形態（変形例を含む）で説明した画像処理システム、画像処理装置において、フィルタ処理に用いるフィルタ係数は、一例であり、他のフィルタ係数により処理を実行するようにしてもよい。また、フィルタ処理後の映像信号の信号レベルが所定の範囲に収まるように、映像信号に対して、ゲイン調整、オフセット調整等を行うようにしてもよい。
【０１６２】
また、各機能ブロックに入力される映像信号、各機能ブロックから出力される映像信号に対しても、映像信号の信号レベルが所定の範囲に収まるように、映像信号に対して、ゲイン調整、オフセット調整等を行うようにしてもよい。
【０１６３】
また、上記実施形態（変形例を含む）で説明した画像処理システム、画像処理装置において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。
【０１６４】
なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０１６５】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
【０１６６】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
【０１６７】
また、上記各実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記各実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置（ＣＰＵ）、マイクロプロセッサ、プロセッサ等により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。
【０１６８】
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア（ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。）により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。なお、上記実施形態に係る画像処理システム、画像処理装置をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。
【０１６９】
また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。また、上記実施形態における処理方法において、発明の要旨を逸脱しない範囲で、一部のステップが、他のステップと並列に実行されるものであってもよい。
【０１７０】
前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、大容量ＤＶＤ、次世代ＤＶＤ、半導体メモリを挙げることができる。
【０１７１】
上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。
【０１７２】
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
【０１７３】
［付記］
なお、本発明は、以下のように表現することもできる。
【０１７４】
第１の発明は、入力画像信号に対して、ノイズ低減処理を行う画像処理装置であって、斜め方向成分低減ＬＰＦ部と、エッジ成分保持処理部と、制御信号生成部と、選択合成部と、を備える画像処理装置である。
【０１７５】
斜め方向成分低減ＬＰＦ部は、入力画像信号に対して、画像上の斜め方向の高域周波数成分を低減させる２次元ＬＰＦによる処理を実行し、処理後の画像信号を、低域画像信号として出力する。
【０１７６】
エッジ成分保持処理部は、入力画像信号を入力として、入力画像信号のエッジ成分を保持した画像信号を、原画像信号として出力する。
【０１７７】
制御信号生成部は、入力画像信号に基づいて、合成処理用制御信号を生成する。
【０１７８】
選択合成部は、制御信号生成部により生成された合成処理用制御信号に基づいて、原画像信号と、低域画像信号とを合成する処理、あるいは、原画像信号と、低域画像信号とのいずれかを選択する処理を行うことで、出力画像信号を取得する。
【０１７９】
この画像処理装置では、選択合成部が、合成処理用制御信号に基づいて、エッジ成分を保持している原画像信号と、斜め方向のノイズ成分を低減した低域画像信号とを用いて、合成処理あるいは選択処理を実行する。したがって、この画像処理装置では、例えば、ＦＨＤの映像を、４Ｋ映像／８Ｋ映像に拡大した場合であっても、エッジ成分を保存しながら、ノイズ成分（例えば、モスキートノイズ）を適切に低減することができる。
【０１８０】
第２の発明は、第１の発明であって、制御信号生成部は、入力画像信号に基づいて、入力画像信号が形成する画像上において、処理対象の画素である注目画素が画像上のエッジ領域に含まれるか否かを判定し、当該判定結果を示す合成処理用制御信号を生成する。
【０１８１】
選択合成部は、合成処理用制御信号が示す判定結果に基づいて、
（１）注目画素が画像上のエッジ領域に含まれる場合、原画像信号に含まれる高域成分が強調または保持されるように、原画像信号と、低域画像信号とを合成する処理を行う、または、原画像信号を選択する処理を行い、
（２）注目画素が画像上のエッジ領域に含まれない場合、原画像信号に含まれる高域成分が低減されるように、原画像信号と、低域画像信号とを合成する処理を行う、または、低域画像信号を選択する処理を行う。
【０１８２】
これにより、この画像処理装置では、画像上のエッジ領域に含まれる画素に相当する映像信号に対しては、エッジ成分（高域成分）を保持し、画像上のエッジ領域に含まれない画素に相当する映像信号に対しては、画像上の斜め方向の高域成分を適切に抑制することができる。その結果、この画像処理装置では、例えば、ＦＨＤの映像を、４Ｋ映像／８Ｋ映像に拡大した場合であっても、エッジ成分を保存しながら、ノイズ成分（例えば、モスキートノイズ）を適切に低減することができる。
【０１８３】
第３の発明は、第１または第２の発明であって、斜め方向成分低減ＬＰＦ部は、画像上の斜め方向の高域成分を低減させるフィルタ特性を有する、第１から第ＮのＬＰＦ部（Ｎ：自然数）を備える。
【０１８４】
第ｋのＬＰＦ部（ｋ：自然数、１≦ｋ＜Ｎ）のカットオフ周波数をｆｃ（ｋ）とすると、
ｆｃ（ｋ）＞ｆｃ（ｋ＋１）
である。
【０１８５】
第ｋのＬＰＦ部は、入力画像信号に対して、フィルタ処理を行い、フィルタ処理後の画像信号を第ｋ画像信号として出力する。
【０１８６】
選択合成部は、合成処理用制御信号の信号値が、注目画素が画像上のエッジ領域に含まれる可能性が低いことを示す信号値である程、第１から第ＮのＬＰＦ部のうち、カットオフ周波数がより低いフィルタ特性であるフィルタ処理を実行するＬＰＦ部から出力された画像信号を選択することで、出力画像信号を取得する。
【０１８７】
これにより、この画像処理装置では、注目画素が画像上のエッジ領域に含まれる可能性が低い程、画像上の斜め方向の高域成分を強く低減するフィルタ処理を実行した映像信号を出力映像信号とすることができる。したがって、この画像処理装置では、例えば、ＦＨＤの映像を、４Ｋ映像／８Ｋ映像に拡大した場合であっても、エッジ成分を保存しながら、ノイズ成分（例えば、モスキートノイズ）を適切に低減することができる。
【０１８８】
合成処理用制御信号の信号値が０以上１以下の範囲の実数値をとる場合であって、注目画素が画像上のエッジ領域に含まれる可能性が高い程、当該注目画素に対応する合成処理用制御信号の信号値が大きな値（「１」に近い値）をとるように設定されている場合、「合成処理用制御信号の信号値が、注目画素が画像上のエッジ領域に含まれる可能性が低いことを示す信号値である程」とは、合成処理用制御信号の信号値が「０」に近い値である程、という意味である。
【０１８９】
第４の発明は、第３の発明であって、第ｋのＬＰＦ部は、入力画像信号により形成される画像上の画素位置をサンプリング点とし、当該サンプリング点に対応するフィルタ係数によるフィルタ処理を行う。
【０１９０】
第１から第ＮのＬＰＦ部は、共通に設定されているフィルタ係数を用いてフィルタ処理を実行する。
【０１９１】
第１から第ＮのＬＰＦ部は、それぞれ、異なるサンプリング間隔で取得した、画像上の画素の画素値に対して、フィルタ係数を用いて、フィルタ処理を行うことで、それぞれ、異なるカットオフ周波数のフィルタ特性のフィルタ処理を実行する。
【０１９２】
これにより、この画像処理装置では、共通に設定されているフィルタ係数（例えば、２次元フィルタ係数）を用いて、サンプリング間隔を変更することで、異なるフィルタ処理を実現することができる。
【０１９３】
第５の発明は、第１の発明であって、斜め方向成分低減ＬＰＦ部は、第１軸ＬＰＦ部と、第２軸ＬＰＦ部と、第３軸ＬＰＦ部と、第４軸ＬＰＦ部と、を備える。
【０１９４】
第１軸ＬＰＦ部は、画像上の注目画素を中心として、左斜め上方向である第１軸方向の高域成分を低減させるフィルタ特性を有するフィルタ処理を、入力画像信号に対して実行し、フィルタ処理後の画像信号を第１軸画像信号として出力する。
【０１９５】
第２軸ＬＰＦ部は、画像上の注目画素を中心として、右斜め上方向である第２軸方向の高域成分を低減させるフィルタ特性を有するフィルタ処理を、入力画像信号に対して実行し、フィルタ処理後の画像信号を第２軸画像信号として出力する。
【０１９６】
第３軸ＬＰＦ部は、画像上の注目画素を中心として、左斜め下方向である第３軸方向の高域成分を低減させるフィルタ特性を有するフィルタ処理を、入力画像信号に対して実行し、フィルタ処理後の画像信号を第３軸画像信号として出力する。
【０１９７】
第４軸ＬＰＦ部は、画像上の注目画素を中心として、右斜め下方向である第４軸方向の高域成分を低減させるフィルタ特性を有するフィルタ処理を、入力画像信号に対して実行し、フィルタ処理後の画像信号を第４軸画像信号として出力する。
【０１９８】
制御信号生成部は、注目画素が画像上のエッジ領域に含まれるか否かと、注目画素の第１軸方向から第４軸方向の４方向にエッジ領域が存在するか否かとを判定し、当該判定結果を示す合成処理用制御信号を生成する。
【０１９９】
選択合成部は、以下の処理を行う。
（１）合成処理用制御信号が、注目画素はエッジ領域に含まれず、かつ、第１軸方向から第４軸方向のいずれの方向にもエッジ領域が存在しないと判定されたことを示している場合、選択合成部は、原画像信号を出力画像信号として出力する、あるいは、原画像信号の高域成分を保持または強調した映像信号を出力画像信号として出力する。
（２）合成処理用制御信号が、注目画素はエッジ領域に含まれず、かつ、第１軸方向にエッジ領域が存在すると判定されたことを示している場合、選択合成部は、第２軸画像信号、第３軸画像信号、および、第４軸画像信号の少なくとも１つを用いて生成した画像信号を、出力画像信号として出力する。
（３）合成処理用制御信号が、注目画素はエッジ領域に含まれず、かつ、第２軸方向にエッジ領域が存在すると判定されたことを示している場合、選択合成部は、第１軸画像信号、第３軸画像信号、および、第４軸画像信号の少なくとも１つを用いて生成した画像信号を、出力画像信号として出力する。
（４）合成処理用制御信号が、注目画素はエッジ領域に含まれず、かつ、第３軸方向にエッジ領域が存在すると判定されたことを示している場合、選択合成部は、第１軸画像信号、第２軸画像信号、および、第４軸画像信号の少なくとも１つを用いて生成した画像信号を、出力画像信号として出力する。
（５）合成処理用制御信号が、注目画素はエッジ領域に含まれず、かつ、第４軸方向にエッジ領域が存在すると判定されたことを示している場合、選択合成部は、第１軸画像信号、第２軸画像信号、および、第３軸画像信号の少なくとも１つを用いて生成した画像信号を、出力画像信号として出力する。
【０２００】
この画像処理装置では、上記のように処理することで、エッジ領域が存在する方向の高域成分を抑制したフィルタ処理後の画像信号を除外して生成された出力画像信号を取得することができる。このため、この画像処理装置では、ＦＨＤの映像を、４Ｋ映像／８Ｋ映像に拡大した場合であっても、エッジ成分を保存しながら、ノイズ成分（例えば、モスキートノイズ）をより適切に低減することができる（より滑らかな画像信号(映像信号)を取得することができる）。
【産業上の利用可能性】
【０２０１】
本発明によれば、ＦＨＤの映像を、４Ｋ映像／８Ｋ映像に拡大した場合であっても、エッジ成分を保存しながら、ノイズ成分を適切に低減する画像処理装置を実現することができるので、映像関連産業分野において、有用であり、当該分野において実施することができる。
【符号の説明】
【０２０２】
１００、２００、３００、４００、５００  画像処理装置
１、１Ａ  エッジ成分保持処理部
２、２Ａ、２Ｂ、２Ｃ  斜め方向成分低減ＬＰＦ部
３  制御信号生成部
４、４Ｂ  合成部（選択合成部）
４Ａ  選択部（選択合成部）
【図１】
2017091239.tif 000010
【図２】
2017091239.tif 000011
【図３】
2017091239.tif 000012
【図４】
2017091239.tif 000013
【図５】
2017091239.tif 000014
【図６】
2017091239.tif 000015
【図７】
2017091239.tif 000016
【図８】
2017091239.tif 000017
【図９】
2017091239.tif 000018
【図１０】
2017091239.tif 000019
【図１１】
2017091239.tif 000020
【図１２】
2017091239.tif 000021
【図１３】
2017091239.tif 000022
【図１４】
2017091239.tif 000023
【図１５】
2017091239.tif 000024