(57)【要約】【課題】垂直に近い方向について、ラインメモリの数を増やさずに画素補間性能を向上させることが可能な画像処理装置を提供する。【解決手段】右斜め方向及び前記左斜め方向の相関値を算出する際に、補間対象画素の上下２ライン目では処理対象の方向の画素の情報をそのまま使用して、前記補間対象画素の上下１ライン目では、処理対象の方向で対応する画素があれば該画素の情報をそのまま使用し、対応する画素が無ければ隣接する複数の画素の情報を用いて相関値を算出することを特徴とする、画像処理装置が提供される。【選択図】図５
2016086236.tif 000002
【特許請求の範囲】
【請求項１】
補間対象画素から見て垂直方向、右斜め方向及び左斜め方向の画素間の相関値及び補間値を算出する相関処理部と、
前記垂直方向、前記右斜め方向および前記左斜め方向の前記相関値に基づいて補間方向を決定して、決定した方向における前記補間対象画素の補間値を出力する補間値出力部と、
を備え、
前記相関処理部は、前記右斜め方向及び前記左斜め方向の相関値を算出する際に、前記補間対象画素の上下２ライン目では処理対象の方向の画素の情報をそのまま使用して、前記補間対象画素の上下１ライン目では、処理対象の方向で対応する画素があれば該画素の情報をそのまま使用し、対応する画素が無ければ隣接する複数の画素を候補画素群として、該候補画素群の情報を用いて相関値を算出することを特徴とする、画像処理装置。
【請求項２】
前記相関処理部は、前記補間対象画素の上下１ライン目で、処理対象の方向で対応する画素が無ければ、前記補間対象画素の上下の画素を含んだ前記候補画素群の情報を用いて相関値を算出することを特徴とする、請求項１に記載の画像処理装置。
【請求項３】
前記相関処理部は、前記補間対象画素の上下１ライン目では前記候補画素群及び前記候補画素群の両隣の画素の情報を用いて水平方向の画素値の変化を算出する、請求項１に記載の画像処理装置。
【請求項４】
前記相関処理部は、４５度より垂直に近い斜め方向に対する前記相関値及び前記補間値の算出の際に、前記補間対象画素の上下１ライン目で、処理対象の方向で対応する画素が無ければ前記候補画素群の情報を用いて相関値を算出することを特徴とする、請求項１に記載の画像処理装置。
【請求項５】
補間対象画素から見て垂直方向、右斜め方向及び左斜め方向の画素間の相関値及び補間値を算出する相関処理ステップと、
前記垂直方向、前記右斜め方向および前記左斜め方向の前記相関値に基づいて補間方向を決定して、決定した方向における前記補間対象画素の補間値を出力する補間値出力ステップと、
を含み、
前記相関処理ステップでは、前記右斜め方向及び前記左斜め方向の相関値を算出する際に、前記補間対象画素の上下２ライン目では処理対象の方向の画素の情報をそのまま使用して、前記補間対象画素の上下１ライン目では、処理対象の方向で対応する画素があれば該画素の情報をそのまま使用し、対応する画素が無ければ隣接する複数の画素の情報を用いて相関値を算出することを特徴とする、画像処理方法。
【請求項６】
コンピュータに、
補間対象画素から見て垂直方向、右斜め方向及び左斜め方向の画素間の相関値及び補間値を算出する相関処理ステップと、
前記垂直方向、前記右斜め方向および前記左斜め方向の前記相関値に基づいて補間方向を決定して、決定した方向における前記補間対象画素の補間値を出力する補間値出力ステップと、
を実行させ、
前記相関処理ステップでは、前記右斜め方向及び前記左斜め方向の相関値を算出する際に、前記補間対象画素の上下２ライン目では処理対象の方向の画素の情報をそのまま使用して、前記補間対象画素の上下１ライン目では、処理対象の方向で対応する画素があれば該画素の情報をそのまま使用し、対応する画素が無ければ隣接する複数の画素の情報を用いて相関値を算出することを特徴とする、コンピュータプログラム。
【請求項７】
前記１〜４のいずれかに記載の画像処理装置を備えることを特徴とする、表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、コンピュータプログラム及び表示装置に関する。
【背景技術】
【０００２】
近年の画像の高解像化に伴い、液晶ディスプレイ（ｄｉｓｐｌａｙ）、プラズマ（ｐｌａｓｍａ）ディスプレイ、有機ＥＬディスプレイ等の表示装置の表示解像度も高くなっている。しかし、ハイビジョン（Ｈｉ−Ｖｉｓｉｏｎ；ＨＶ）放送などにより放送されるテレビ信号（インターレース信号）等の入力画像の解像度は、表示装置の表示解像度より低い場合がある。そこで、表示装置内で入力画像の解像度を表示解像度まで拡大することで、入力画像の解像度を表示装置の表示解像度に合わせることが求められる。
【０００３】
しかし、単純に線形補間等の手法で入力画像の拡大処理を行なうと、拡大した画像で輪郭がぼやけたり、斜め線でジャギー（ｊａｇｇｙ）が発生したりしてしまう。そこで、入力画像の解像度を表示解像度まで拡大する際に、インターレース・プログレッシブ変換（ｉｎｔｅｒｌａｃｅ−ｐｒｏｇｒｅｓｓｉｖｅ、ＩＰ変換）時に用いるフレーム（ｆｒａｍｅ）内補間処理を、縦方向及び横方向に適用することにより、斜め方向のエッジ（ｅｄｇｅ）が滑らかな補間画素を生成することが可能となる。例えば特許文献１には、画像を拡大する際に、斜め方向のジャギーを抑制する発明が開示されている。また例えば特許文献２には、入力画像の解像度を表示装置の表示解像度に拡大する際に、斜め線の画素補間性能と十字線の画素補間性能を両立する発明が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】平８−１６３５１１号公報
【特許文献２】特開２０１２−１３４６１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の発明では、ジャギーを低減するために、補間対象画素の上下２ライン（ｌｉｎｅ）ずつ、合計４ラインの画素を用いて、斜め方向の相関によって補間方向を決定することが示されている。しかし、特許文献１には垂直に近い方向の斜め線の場合にジャギーが残るという問題があった。
【０００６】
また特許文献２に記載の発明でも、ジャギーを低減するために、補間対象画素の上下２ラインずつ、合計４ラインの画素を用いて、斜め方向の相関によって補間方向を決定することが示されている。しかし、特許文献２に記載の発明を用いて垂直に近い斜め方向についてジャギーを低減させようとすると、さらに多くのラインが必要になるために、ラインメモリ（ｌｉｎｅ  ｍｅｍｏｒｙ）の数を増やさなければいけないという問題があった。
【０００７】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、垂直に近い方向について、ラインメモリの数を増やさずに画素補間性能を向上させることが可能な、新規かつ改良された画像処理装置、画像処理方法、コンピュータプログラム及び表示装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明のある観点によれば、補間対象画素から見て垂直方向、右斜め方向及び左斜め方向の画素間の相関値及び補間値を算出する相関処理部と、前記垂直方向、前記右斜め方向および前記左斜め方向の前記相関値に基づいて補間方向を決定して、決定した方向における前記補間対象画素の補間値を出力する補間値出力部と、を備え、前記相関処理部は、前記右斜め方向及び前記左斜め方向の相関値を算出する際に、前記補間対象画素の上下２ライン目では処理対象の方向の画素の情報をそのまま使用して、前記補間対象画素の上下１ライン目では、処理対象の方向で対応する画素があれば該画素の情報をそのまま使用し、対応する画素が無ければ隣接する複数の画素を候補画素群として、該候補画素群の情報を用いて相関値を算出することを特徴とする、画像処理装置が提供される。
【０００９】
前記相関処理部は、前記補間対象画素の上下１ライン目で、処理対象の方向で対応する画素が無ければ、前記補間対象画素の上下の画素を含んだ前記候補画素群の情報を用いて相関値を算出することを特徴とする、請求項１に記載の画像処理装置。
【００１０】
前記相関処理部は、前記補間対象画素の上下１ライン目では前記候補画素群及び前記候補画素群の両隣の画素の情報を用いて水平方向の画素値の変化を算出する、請求項１に記載の画像処理装置。
【００１１】
前記相関処理部は、４５度より垂直に近い斜め方向に対する前記相関値及び前記補間値の算出の際に、前記補間対象画素の上下１ライン目で、処理対象の方向で対応する画素が無ければ前記候補画素群の情報を用いて相関値を算出することを特徴とする、請求項１に記載の画像処理装置。
【００１２】
また、上記課題を解決するために、本発明の別の観点によれば、補間対象画素から見て垂直方向、右斜め方向及び左斜め方向の画素間の相関値及び補間値を算出する相関処理ステップと、前記垂直方向、前記右斜め方向および前記左斜め方向の前記相関値に基づいて補間方向を決定して、決定した方向における前記補間対象画素の補間値を出力する補間値出力ステップと、を含み、前記相関処理ステップでは、前記右斜め方向及び前記左斜め方向の相関値を算出する際に、前記補間対象画素の上下２ライン目では処理対象の方向の画素の情報をそのまま使用して、前記補間対象画素の上下１ライン目では、処理対象の方向で対応する画素があれば該画素の情報をそのまま使用し、対応する画素が無ければ隣接する複数の画素の情報を用いて相関値を算出することを特徴とする、画像処理方法が提供される。
【００１３】
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータに、補間対象画素から見て垂直方向、右斜め方向及び左斜め方向の画素間の相関値及び補間値を算出する相関処理ステップと、前記垂直方向、前記右斜め方向および前記左斜め方向の前記相関値に基づいて補間方向を決定して、決定した方向における前記補間対象画素の補間値を出力する補間値出力ステップと、を実行させ、前記相関処理ステップでは、前記右斜め方向及び前記左斜め方向の相関値を算出する際に、前記補間対象画素の上下２ライン目では処理対象の方向の画素の情報をそのまま使用して、前記補間対象画素の上下１ライン目では、処理対象の方向で対応する画素があれば該画素の情報をそのまま使用し、対応する画素が無ければ隣接する複数の画素の情報を用いて相関値を算出することを特徴とする、コンピュータプログラムが提供される。
【００１４】
また、上記課題を解決するために、本発明の別の観点によれば、上記画像処理装置を備えることを特徴とする、表示装置が提供される。
【発明の効果】
【００１５】
以上説明したように本発明によれば、垂直に近い方向について、ラインメモリを増やさずに画素補間性能を向上させることが可能な、新規かつ改良された画像処理装置、画像処理方法、コンピュータプログラム及び表示装置を提供することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施の形態の背景について示す説明図である。
【図２】本発明の実施の形態の背景について示す説明図である。
【図３】本発明の実施の形態の背景について示す説明図である。
【図４】本発明の実施の形態の背景について示す説明図である。
【図５】本発明の一実施形態に係る画像処理装置１００の機能構成例を示す説明図である。
【図６】本発明の一実施形態に係る画像処理装置１００の動作例を示す流れ図である。
【図７】入力される原画素の一例を示す図である。
【図８】本発明の一実施形態に係る画像処理装置１００の動作例を示す流れ図である。
【図９】右斜め相関処理部１０２による相関値の計算方法を説明する説明図である。
【図１０】本発明の一実施形態に係る画像処理装置１００の動作例を示す流れ図である。
【図１１】本発明の一実施形態に係る画像処理装置１００による効果について示す説明図である。
【図１２】本発明の一実施形態に係る画像処理装置１００による効果について示す説明図である。
【図１３】右斜め相関処理部１０２による相関値の計算方法を説明する説明図である。
【図１４】画像処理装置１００を利用した表示装置２００の機能構成例を示す説明図である。
【発明を実施するための形態】
【００１７】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１８】
＜１．背景＞
本発明の実施の形態について詳細に説明する前に、本発明の実施の形態の背景について説明する。
【００１９】
上述したように、画像の高解像化に伴い、画像を表示する表示装置の表示解像度も高くなっている。近年では、いわゆる４Ｋとも称される、横４０００画素前後、縦２０００画素前後の解像度に対応した映像を表示することが可能な表示装置も普及しつつある。
【００２０】
さらに、更なる高画質化を目指して、ＮＨＫ放送技術研究所では、スーパーハイビジョン（以下、ＳＨＶ）放送の実用化へ向けた研究開発が進められている。ＳＨＶとは、次世代テレビ向けフォーマットであり、横７６８０画素、縦４３２０画素の解像度を持つ超高精細映像のことである。ＳＨＶは、縦横共に現行のフルＨＤと呼ばれる横１９２０画素、縦１０８０画素の４倍で、画像全体ではフルＨＤの１６倍の解像度を有する。そこで、ＳＨＶ放送の実用化を想定し、ＳＨＶに対応した表示装置が必要となる。また、これに伴って地上デジタル放送でＳＨＶを放送または受信するための技術も開発中である。
【００２１】
しかし、伝送容量を拡大するための技術の向上や、電波の送受信のためのアンテナの導入の必要性等の観点から、すぐにＳＨＶを地上波放送で導入することは難しい。このため、全ての放送が完全にＳＨＶ放送へ移行することは未だ困難であり、ＳＨＶ放送への移行の過渡期にはハイビジョン放送が行われる状況が続くことが予想される。従って、表示装置が放送フォーマットより高い解像度を有する場合は、表示装置の表示解像度に合わせた映像の拡大処理が表示装置側で必要になる。
【００２２】
このような背景のもと、拡大処理を行なっても原画像の品質を保持した状態で高品位な表示が可能となるような画像の補間処理技術が求められる。例えば上述したように、特許文献１には、画像を拡大する際に、斜め方向のジャギーを抑制する発明が開示されている。また例えば上述したように、上記特許文献２では、本件発明者による、入力画像の解像度を表示装置の表示解像度に拡大する際に、斜め線の画素補間性能と十字線の画素補間性能を両立する発明が開示されている。
【００２３】
しかし、この特許文献１や特許文献２で開示されている発明を用いて、垂直に近い斜め方向について同じように拡大しようとすると、以下の様な問題がある。
【００２４】
特許文献１で開示された発明では、拡大時のジャギーを低減するために、補間対象画素の上下２ラインずつの合計４ラインを用いて、斜め方向の相関によって補間方向を決定することが示されている。しかし、特許文献１には、垂直に近い斜め方向の補間については記載がなく、仮に垂直に近い斜め方向の補間について特許文献１で開示された発明を用いて補間しようとすると、ジャギーが残った状態となってしまう。
【００２５】
図１及び図２は、本発明の実施の形態の背景について示す説明図であり、特許文献１で開示された発明での問題点について示す説明図である。
【００２６】
傾きをＤｉａとし、Ｄｉａ＝±０、＋１、＋２、＋３を図１に示したように定義すると、それぞれの方向については、実際にある画素を用いて補間方向を決定し、補間画素を生成する。図１では右斜め方向についての例を示しているが、左斜め方向についても、つまり、Ｄｉａ＝−１、−２、−３についても、実際にある画素を用いて補間方向を決定し、補間画素を生成する。ところが、Ｄｉａが０と１の間、例えば図２に示したようにＤｉａ＝０．３の場合、補間方向の角度は約７２度となるが、ｍ１  ｌｉｎｅとｐ１  ｌｉｎｅ上には実際には画素が存在しない。このため、実際の画素（実画素）を使用して補間方向を決定する方式では、正しい方向を決定できず、また補間値も生成できない。
【００２７】
すなわち、Ｄｉａが０と１の間の角度の線を補間する場合、実画素から生成される方向で、かつ相関の高いＤｉａ＝０か＋１の方向が選択される。しかし、実画素を使用して補間方向を決定する場合、Ｄｉａ＝０か＋１の方向は正しい方向ではないため、ジャギーが残った状態となってしまう。
【００２８】
特許文献２で開示された発明では、拡大時のジャギーを低減するために、補間対象画素の上下２ラインずつの合計４ラインを用いて、斜め方向の相関によって補間方向を決定することが示されている。特許文献２に記載の発明では、右斜め方向画素間の相関値（ｒｅｌ＿ｒ［ｎ］，ｎはＴａｐ（傾き）を表す）と、水平・垂直周波数を考慮した右斜め方向の相関値（ｒｅｌ＿ｒｖ［ｎ］）と、垂直方向の相関値（ｃｏｒ＿ｖ）とから、右斜め方向の相関値（ｃｏｒ＿ｒ［ｎ］）を算出、この中から、最小値（ｍｉｎ＿ｃｏｒ＿ｒ）を選択して、最終的な右斜め方向を決定、補間値を決定していた。
【００２９】
図３及び図４は、本発明の実施の形態の背景について示す説明図であり、特許文献２で開示された発明での問題点について示す説明図である。
【００３０】
図３は、特許文献２で開示された発明において、右斜め方向ｎ＝１（４５度）の場合に、水平・垂直周波数を考慮した右斜め方向の相関値（ｒｅｌ＿ｒｖ［ｎ］）を求めるときを示したものである。特許文献２で開示された発明においては、右斜め方向ｎ＝１（４５度）の場合、水平・垂直周波数を考慮した右斜め方向の相関値（ｒｅｌ＿ｒｖ［ｎ］）は、ｍ１［１］とｐ１［−１］を中心とした上下ラインを用いて算出している。
【００３１】
しかし、図２に示したようなＤｉａ＝０．３の方向について、同じように右斜め方向の相関値を求めようとすると、図４に示したように、ｍ２［１］とｐ２［−１］を中心とした上下１ラインが必要になる。従って、補間画素から上下２ラインだけでは右斜め方向の相関値を求めることが出来ず、さらに２ライン分のラインメモリ（図４のｍ３  ｌｉｎｅ及びｐ３  ｌｉｎｅ）が余分に必要になる。
【００３２】
そこで本件発明者は、垂直に近い方向について、ラインメモリを補間画素から上下２ライン分よりも増やさずに画素補間性能を向上させることが可能な技術について、鋭意検討を行った。その結果、本件発明者は、以下で説明するように、垂直に近い方向について、ラインメモリを補間画素から上下２ライン分よりも増やさずに画素補間性能を向上させることが可能な技術を考案するに至った。
【００３３】
以上、本発明の実施の形態の背景について説明した。続いて、本発明の実施の形態について詳細に説明する。
【００３４】
＜２．本発明の一実施形態＞
［画像処理装置の機能構成例］
まず、図面を参照しながら本発明の一実施形態に係る画像処理装置の機能構成例について説明する。図５は、本発明の一実施形態に係る画像処理装置１００の機能構成例を示す説明図である。図５に示した画像処理装置１００は、入力画像を縦方向及び横方向のそれぞれで２倍に拡大する装置である。以下、図５を用いて本発明の一実施形態に係る画像処理装置１００の機能構成例について説明する。
【００３５】
図５に示したように、本発明の一実施形態に係る画像処理装置１００は、垂直相関処理部１０１と、右斜め相関処理部１０２と、左斜め相関処理部１０３と、マルチプレクサ（ｍｕｌｔｉｐｌｅｘｅｒ）１０４と、を含んで構成される。
【００３６】
画像処理装置１００は、ＲＧＢ画素をＹＵＶ画素に変換し、Ｙ画素を入力画素として補間画素を生成する処理を実行してもよい。この時、ＵとＶの補間値は、以下に示す実施形態の処理結果に関係なく、ＵとＶの入力画素の上下方向（垂直方向）を用い、それぞれ平均値を算出して得られる値であってもよい。これにより、画像処理装置１００は、垂直相関処理部１０１、右斜め相関処理部１０２、左斜め相関処理部１０３及びマルチプレクサ１０４をＹ画素に対する１系統分だけ備えればよく、回路規模を縮小することができるとともに、製造コストを低減できる。
【００３７】
垂直相関処理部１０１は、入力画像のフィールド（ｆｉｅｌｄ）毎に入力画素に対する上下画素間の相関値（ｒｅｌ＿ｖ）、入力画素に対する垂直周波数を考慮した上下相関値（ｒｅｌ＿ｖｖ）、及び、入力画素に対する上下画素間の補間値（ｉｎｔ＿ｖ）を各々算出する。そして、垂直相関処理部１０１は、上下画素間の相関値（ｒｅｌ＿ｖ）及び上下相関値（ｒｅｌ＿ｖｖ）に基づいて垂直方向相関値（ｃｏｒ＿ｖ）を算出する。垂直相関処理部１０１は、上下画素間の補間値（ｉｎｔ＿ｖ）はマルチプレクサ１０４に出力し、垂直方向相関値（ｃｏｒ＿ｖ）は右斜め相関処理部１０２、左斜め相関処理部１０３及びマルチプレクサ１０４に出力する。
【００３８】
右斜め相関処理部１０２は、入力画素に対する右斜め方向画素間の相関値（ｒｅｌ＿ｒ［ｎ］）を算出する。ここで、ｎは算出する相関値の位置情報を表しており、例えば、図３を例に説明すると、ｎ＝１の場合は、補間位置に対して右に１傾いたｍ１［１］とｐ１［−１］と、補間位置に対して左に１傾いたｍ１［−１］とｐ１［１］の位置を表している。またｎ＝２の場合は、補間位置に対して右に２傾いたｍ１［２］とｐ１［−２］と、補間位置に対して左に２傾いたｍ１［−２］とｐ１［２］の位置を表している。
【００３９】
また右斜め相関処理部１０２は、入力画素に対する水平・垂直周波数を考慮した右斜め方向の相関値（ｒｅｌ＿ｒｖ［ｎ］）、及び、入力画素に対する右斜め方向の補間値（ｉｎｔ＿ｒ［ｎ］）を各々算出する。
【００４０】
右斜め相関処理部１０２は、上記垂直方向相関値（ｃｏｒ＿ｖ）、右斜め方向画素間の相関値（ｒｅｌ＿ｒ［ｎ］）及び水平・垂直周波数を考慮した右斜め方向の相関値（ｒｅｌ＿ｒｖ［ｎ］）に基づいて、右斜め方向に探索する画素数分の複数の右斜め方向相関値（ｃｏｒ＿ｒ［ｎ］）を算出する。
【００４１】
そして右斜め相関処理部１０２は、複数の右斜め方向相関値（ｃｏｒ＿ｒ［ｎ］）から最小の右斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｒ）を選択し、最小の右斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｒ）に基づき右斜め方向の最終補間値（ｉｎｔ＿ｒ）を選択し、最小の右斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｒ）、右斜め方向の最終補間値（ｉｎｔ＿ｒ）及び相関位置情報（ｌｅｎ＿ｒ）をマルチプレクサ１０４に出力する。
【００４２】
また、右斜め相関処理部１０２は、同一の値の右斜め方向相関値（ｃｏｒ＿ｒ［ｎ］）が複数存在する場合は、垂直方向に近い方の右斜め方向の最終補間値（ｉｎｔ＿ｒ）及び相関位置情報（ｌｅｎ＿ｒ）を選択する。
【００４３】
本実施形態では、右斜め相関処理部１０２は、図２に示したＤｉａ＝±０．３の方向についても右斜め方向相関値を算出し、最小の右斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｒ）、右斜め方向の最終補間値（ｉｎｔ＿ｒ）及び相関位置情報（ｌｅｎ＿ｒ）をマルチプレクサ１０４に出力する。
【００４４】
左斜め相関処理部１０３は、入力画素に対する左斜め方向画素間の相関値（ｒｅｌ＿ｌ
［ｎ］）を算出する。ここで、ｎは中心画素に対して相関する画素を探索する方向の画素数を表している。また左斜め相関処理部１０３は、入力画素に対する水平・垂直周波数を考慮した左斜め方向の相関値（ｒｅｌ＿ｌｖ［ｎ］）、及び、入力画素に対する右斜め方向の補間値（ｉｎｔ＿ｌ［ｎ］）を各々算出する。
【００４５】
左斜め相関処理部１０３は、上記垂直方向相関値（ｃｏｒ＿ｖ）、左斜め方向画素間の相関値（ｒｅｌ＿ｌ［ｎ］）及び水平・垂直周波数を考慮した左斜め方向の相関値（ｒｅｌ＿ｌｖ［ｎ］）に基づいて、左斜め方向に探索する画素数分の複数の左斜め方向相関値（ｃｏｒ＿ｌ［ｎ］）を算出する。
【００４６】
そして左斜め相関処理部１０３は、複数の左斜め方向相関値（ｃｏｒ＿ｌ［ｎ］）から最小の左斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｌ）を選択し、最小の左斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｌ）に基づき左斜め方向の最終補間値（ｉｎｔ＿ｌ）を選択し、最小の左斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｌ）、左斜め方向の最終補間値（ｉｎｔ＿ｌ）及び相関位置情報（ｌｅｎ＿ｌ）をマルチプレクサ１０４に出力する。
【００４７】
また、左斜め相関処理部１０３は、同一の値の左斜め方向相関値（ｃｏｒ＿ｌ［ｎ］）が複数存在する場合は、垂直方向に近い方の左斜め方向の最終補間値（ｉｎｔ＿ｌ）及び相関位置情報（ｌｅｎ＿ｌ）を選択する。
【００４８】
本実施形態では、左斜め相関処理部１０３は、図２に示したＤｉａ＝±０．３の方向についても左斜め方向相関値を算出し、最小の左斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｌ）、左斜め方向の最終補間値（ｉｎｔ＿ｌ）及び相関位置情報（ｌｅｎ＿ｌ）をマルチプレクサ１０４に出力する。
【００４９】
マルチプレクサ１０４は、右斜め相関処理部１０２が選択した最小の右斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｒ）及び左斜め相関処理部１０３が選択した最小の左斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｌ）のうち、値が小さい方を第１の最小値（ｄｉａ＿ｍｉｎ＿ｃｏｒ）として選択する。マルチプレクサ１０４は、選択した第１の最小値（ｄｉａ＿ｍｉｎ＿ｃｏｒ）に基づき最終補間値（ｉｎｔ＿ｄ）を選択する。そしてマルチプレクサ１０４は、上記垂直方向相関値（ｃｏｒ＿ｖ）及び第１の最小値（ｄｉａ＿ｍｉｎ＿ｃｏｒ）のうち値が小さい方を最終補間方向とし、前記最終補間方向に基づき補間値を出力する。
【００５０】
垂直相関処理部１０１、右斜め相関処理部１０２、及び左斜め相関処理部１０３は、本発明の相関処理部の一例として機能し、マルチプレクサ１０４は、本発明の補間値出力部の一例として機能する。
【００５１】
本発明の一実施形態に係る画像処理装置１００は、図５に示したような構成を有することで、水平方向だけでなく、垂直に近い方向についても、画素補間性能を向上させることが可能となる。
【００５２】
以上、図５を用いて本発明の一実施形態に係る画像処理装置１００の機能構成例について説明した。続いて、本発明の一実施形態に係る画像処理装置１００の動作例について説明する。
【００５３】
［画像処理装置の動作例］
図６は、本発明の一実施形態に係る画像処理装置１００の動作例を示す流れ図である。図６に示したのは、垂直方向の相関値を算出する際の、画像処理装置１００の動作例である。以下、図６を用いて本発明の一実施形態に係る画像処理装置１００の動作例について説明する。
【００５４】
垂直相関処理部１０１は、画素が入力されると（ステップＳ１０１）、その入力画素に対する上下画素間の相関値（ｒｅｌ＿ｖ）を算出する（ステップＳ１０２）。
【００５５】
上下画素間の相関値（ｒｅｌ＿ｖ）の具体例について説明する。図３は、入力される原画素の一例を示す図であり、中心画素ｍ１［０］，ｍ２［０］，ｐ１［０］，ｐ２［０］に加えて左方向に２ｎ＋１、右方向に２ｎ＋１の原画素をそれぞれ５画素分配置している。ここでは、ｎの最大値が２である場合を示す。もちろん、ｎの最大値は２に限定されるものではない。
【００５６】
図７は、入力される原画素の一例を示す図であり、中心画素ｍ１［０］，ｍ２［０］，ｐ１［０］，ｐ２［０］に加えて左方向に２ｎ＋１、右方向に２ｎ＋１の原画素をそれぞれ５画素分配置している。なお、図７にはｎの最大値が２である場合を示している。
【００５７】
図７において、左方向の各行に配置された画素は、ｍ１［−１］〜ｍ１［−５］，ｍ２［−１］〜ｍ２［−５］，ｐ１［−１］〜ｐ１［−５］，ｐ２［−１］〜ｐ２［−５］であり、右方向の各行に配置された画素は、ｍ１［１］〜ｍ１［５］，ｍ２［１］〜ｍ２［５］，ｐ１［１］〜ｐ１［５］，ｐ２［１］〜ｐ２［５］である。左方向の各行に配置された画素には便宜上（−）を付している。また、中心画素ｍ１［０］及びｐ１［０］の間に補間画素が配置されるものとする。
【００５８】
上下画素間の相関値（ｒｅｌ＿ｖ）は、以下の数式（１）により算出される。
ｒｅｌ＿ｖ＝｜ｍ１［０］−ｐ１［０］｜・・・・・（１）
【００５９】
また、垂直相関処理部１０１は、垂直周波数を考慮した上下相関値（ｒｅｌ＿ｖｖ）を算出する（ステップＳ１０３）。ここでは、垂直相関処理部１０１は、垂直周波数を考慮した上下相関値（ｒｅｌ＿ｖｖ）として、上下相関値（ｒｅｌ＿ｖｖ１）と上下相関値（ｒｅｌ＿ｖｖ２）を算出する。
【００６０】
上下相関値（ｒｅｌ＿ｖｖ１）は、中心画素ｍ１［０］，ｍ２［０］，ｐ１［０］の各画素値を用いて以下に示す数式（２）により算出され、上下相関値（ｒｅｌ＿ｖｖ２）は中心画素ｍ１［０］，ｐ１［０］，ｐ２［０］の各画素値を用いて以下に示す数式（３）により算出される。
【００６１】
ｒｅｌ＿ｖｖ１＝ｌｐｆ＿ｍ１［０］＊２−（ｌｐｆ＿ｍ２［０］＋ｌｐｆ＿ｐ１［０］）・・・・・（２）
ｒｅｌ＿ｖｖ２＝ｌｐｆ＿ｐ１［０］＊２−（ｌｐｆ＿ｍ１［０］＋ｌｐｆ＿ｐ２［０
］）・・・・・（３）
【００６２】
但し、ｌｐｆ＿＊は、水平方向に加重平均した値であり、例えば、図３のｍ１ラインの
場合、ｌｐｆ＿ｍ１［Ｘ］＝（ｍ１［Ｘ−１］＋ｍ１［Ｘ］＊２＋ｍ１［Ｘ＋１］）／４
となる。
【００６３】
ここで、ｍｉｎ（｜Ａ｜，｜Ｂ｜）処理を定義する。ｍｉｎ（｜Ａ｜，｜Ｂ｜）処理は、ＡとＢの符号（±）が同じ時、ＡとＢの絶対値が小さい方を選択し、符号（±）が異なる時、０を出力するものとする。・・・・・（定義１）。
【００６４】
本実施形態では、すなわち、ｒｅｌ＿ｖｖ＝ｍｉｎ（｜ｒｅｌ＿ｖｖ１｜，｜ｒｅｌ＿ｖｖ２｜）となり、ｒｅｌ＿ｖｖ１とｒｅｌ＿ｖｖ２の符号（±）が同じ時、絶対値の小さい方が選択され、符号（±）が異なる時、ｒｅｌ＿ｖｖ＝０となる。
【００６５】
また垂直相関処理部１０１は、上下画素間の補間値（ｉｎｔ＿ｖ）を算出する（ステップＳ１０４）。上下画素間の補間値ｉｎｔ＿ｖは、ｉｎｔ＿ｖ＝（ｍ１［０］＋ｐ１［０］）／２で求められる値である。
【００６６】
次いで、垂直相関処理部１０１は、上下画素間の相関値（ｒｅｌ＿ｖ）と、上下相関値（ｒｅｌ＿ｖｖ）と、を用いて、垂直方向相関値（ｃｏｒ＿ｖ）を算出する（ステップＳ１０５）。垂直方向相関値（ｃｏｒ＿ｖ）は、以下の数式（４）により算出される。
ｃｏｒ＿ｖ＝ｒｅｌ＿ｖ−ｒｅｌ＿ｖｖ＊ｇａｉｎ＿ｖ・・・・・（４）
【００６７】
なお、ｇａｉｎ＿ｖは、外部から設定可能なパラメータ（ｐａｒａｍｅｔｅｒ）である。本実施形態ではｇａｉｎ＿ｖ＝１として計算する。もちろんｇａｉｎ＿ｖの値は１に限定されるものではない。
【００６８】
次いで、垂直相関処理部１０１は、算出した垂直方向相関値（ｃｏｒ＿ｖ）を右斜め相関処理部１０２、左斜め相関処理部１０３およびマルチプレクサ１０４に出力し、上下画素間の補間値（ｉｎｔ＿ｖ）をマルチプレクサ１０４に出力して、一連の処理を終了する。
【００６９】
以上、図６を用いて、垂直方向の相関値を算出する際の、画像処理装置１００の動作例について説明した。
【００７０】
図８は、本発明の一実施形態に係る画像処理装置１００の動作例を示す流れ図である。図８に示したのは、右斜め方向の相関値を算出する際の、画像処理装置１００の動作例である。以下、図８を用いて本発明の一実施形態に係る画像処理装置１００の動作例について説明する。
【００７１】
右斜め相関処理部１０２は、画素が入力されると（ステップＳ２０１）、その入力画素に対する右斜め方向画素間の相関値（ｒｅｌ＿ｒ［ｎ］）を算出する（ステップＳ２０２）。また右斜め相関処理部１０２は、水平・垂直周波数を考慮した右斜め方向の相関値（ｒｅｌ＿ｒｖ［ｎ］）を算出する（ステップＳ２０３）。また右斜め相関処理部１０２は、右斜め方向の補間値（ｉｎｔ＿ｒ［ｎ］）を算出する（ステップＳ２０４）。
【００７２】
なお、ステップＳ２０２、２０３、２０４におけるｎは、いずれもｎ＝０．３，１，２，・・・であるとする。
【００７３】
ｎ＝１，２，・・・の場合の相関値の計算方法については、特許文献２（特開２０１２−１３４６１０号公報）で記載されているので、ここではｎ＝０．３の場合における相関値の計算方法について説明する。
【００７４】
図９は、右斜め相関処理部１０２による相関値の計算方法を説明する説明図であり、ステップＳ２０２、２０３、２０４におけるｎがｎ＝０．３の場合における相関値の計算方法について説明するための図である。
【００７５】
ｎがｎ＝０．３の場合は、右斜め相関処理部１０２は、ｍ２［１］およびｐ２［−１］の位置の画素だけで画素間の相関値を算出するのでなく、ｍ１ラインおよびｐ１ラインにおける、Ｄｉａ＝＋０．３の角度上の位置のある画素値を算出して、画素間の相関値を計算する。
【００７６】
すなわち右斜め相関処理部１０２は、図９に示したように、ｍ１ラインについてはｍ１［０］、ｍ１［１］の２つの画素を候補画素群として、ｐ１ラインについてはｐ１［０］、ｐ１［−１］の２つの画素を候補画素群としてそれぞれ用いて、ｍ１ラインおよびｐ１ラインにおける画素値を算出するとともに、算出した画素値を用いて画素間の相関値を計算する。
【００７７】
本実施形態では、ｒｅｌ＿ｒ［０．３］を以下の数式（５）で求める。
ｒｅｌ＿ｒ［０．３］＝
｜ｍ２［１］−ｐ２［−１］｜＋
｜（（２＊ｍ１［０］＋ｍ１［１］）／３）−（（２＊ｐ１［０］＋ｐ１［−１］）／３）｜・・・・・（５）
【００７８】
なお回路規模の都合上、右斜め相関処理部１０２は、以下の数式（５’）のように、単に２つの画素の画素値の平均値を用いてｒｅｌ＿ｒ［０．３］を用いても良い。
ｒｅｌ＿ｒ［０．３］＝
｜ｍ２［１］−ｐ２［−１］｜＋
｜（（ｍ１［０］＋ｍ１［１］）／２）−（（ｐ１［０］＋ｐ１［−１］）／２）｜・・・・・（５’）
【００７９】
続いて右斜め相関処理部１０２は、水平・垂直周波数を考慮した右斜め方向の相関値（ｒｅｌ＿ｒｖ［０．３］）を計算する。ｎ＝０．３の場合、水平方向の画素変化については以下の数式（６）で算出する。
ｒｅｌ＿ｒｖ１［０］＝ｍ２［１］＊２−（ｍ２［０］＋ｍ２［２］）
ｒｅｌ＿ｒｖ２［０］＝ｐ２［−１］＊２−（ｐ２［−２］＋ｐ２［０］）
ｒｅｌ＿ｒｖ１［１］＝（ｍ１［０］＋ｍ１［１］）−（ｍ１［−１］＋ｍ１［２］）
ｒｅｌ＿ｒｖ２［１］＝（ｐ１［−１］＋ｐ１［０］）−（ｐ１［−２］＋ｐ１［１］）・・・・・（６）
【００８０】
そして右斜め相関処理部１０２は、上述のｍｉｎ（｜Ａ｜，｜Ｂ｜）に基づき、ｒｅｌ＿ｒｖ［０．３］を算出する。すなわち右斜め相関処理部１０２は、ｒｅｌ＿ｒｖ［０．３］を以下の数式（７）で算出する。
ｒｅｌ＿ｒｖ［０．３］＝
ｍｉｎ（｜ｒｅｌ＿ｒｖ１［０］｜，｜ｒｅｌ＿ｒｖ２［０］｜）＋
ｍｉｎ（｜ｒｅｌ＿ｒｖ１［１］｜，｜ｒｅｌ＿ｒｖ２［１］｜）＋
ｍｉｎ（｜ｒｅｌ＿ｒｖ１［０］｜，｜ｒｅｌ＿ｒｖ１［１］｜）＋
ｍｉｎ（｜ｒｅｌ＿ｒｖ２［１］｜，｜ｒｅｌ＿ｒｖ２［０］｜）・・・・・（７）
【００８１】
右斜め相関処理部１０２は、このようにして、ｎがｎ＝０．３の場合の画素間の相関値ｒｅｌ＿ｒ［０．３］を求めるとともに、水平・垂直周波数を考慮した右斜め方向の相関値ｒｅｌ＿ｒｖ［０．３］を求めることが出来る。
【００８２】
続いてｎ＝０．３の場合における右斜め方向の補間値の算出方法について説明する。右斜め相関処理部１０２は、ｎ＝０．３の場合における右斜め方向の補間値ｉｎｔ＿ｒ［０．３］を、以下の数式（８）で計算する。
ｉｎｔ＿ｒ［０．３］＝
（（（ｍ２［１］＋ｐ２［−１］）／２）＋
（（（（２＊ｍ１［０］＋ｍ１［１］）／３）＋（（２＊ｐ１［０］＋ｐ１［−１］）／３））／２））／２・・・・・（８）
【００８３】
なお回路規模の都合上、右斜め相関処理部１０２は、以下の数式（８’）のように、単に２つの画素の画素値の平均値を用いてｉｎｔ＿ｒ［０．３］を用いても良い。
ｉｎｔ＿ｒ［０．３］＝
（（（ｍ２［１］＋ｐ２［−１］）／２）＋
（（（（ｍ１［０］＋ｍ１［１］）／２）＋（（ｐ１［０］＋ｐ１［−１］）／２））／２））／２・・・・・（８’）
【００８４】
右斜め相関処理部１０２は、このようにして、ｎがｎ＝０．３の場合の右斜め方向の補間値ｉｎｔ＿ｒ［０．３］を求めることが出来る。
【００８５】
次いで、右斜め相関処理部１０２は、右斜め方向画素間の相関値（ｒｅｌ＿ｒ［ｎ］）、右斜め方向の相関値（ｒｅｌ＿ｒｖ［ｎ］）及び垂直方向相関値（ｃｏｒ＿ｖ）を用いて、右斜め方向に探索する位置情報数［ｎ＋１］分のｎ＋１個の右斜め方向相関値（ｃｏｒ＿ｒ［ｎ］）を算出する（ステップＳ２０５）。右斜め方向相関値（ｃｏｒ＿ｒ［ｎ］）は、ｎ＝１，２，・・・の場合は以下の数式（９）により、ｎ＝０．３の場合は以下の数式（１０）により、算出される値である。
【００８６】
ｃｏｒ＿ｒ［ｎ］＝ｒｅｌ＿ｒ［ｎ］＊（２ｎ＋１）＋ｃｏｒ＿ｖ−ｒｅｌ＿ｒｖ［ｎ］＊ｇａｉｎ＿ｄ・・・・・（９）
ｃｏｒ＿ｒ［０．３］＝ｒｅｌ＿ｒ［０．３］＊（２ｋ＋１）＋ｃｏｒ＿ｖ−ｒｅｌ＿ｒｖ［０．３］＊ｇａｉｎ＿ｄ２・・・・・（１０）
【００８７】
なお、ｇａｉｎ＿ｄ、ｇａｉｎ＿ｄ２は、外部から設定可能なパラメータであり、以下ではいずれも１として計算する。もちろんｇａｉｎ＿ｄ、ｇａｉｎ＿ｄ２の値は１に限定されるものではない。
【００８８】
次いで、右斜め相関処理部１０２は、ｎ＋１個の右斜め方向相関値（ｃｏｒ＿ｒ［ｎ］）の算出結果から、最小の右斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｒ）を選択する（ステップＳ２０６）。右斜め相関処理部１０２は、最小の右斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｒ）が複数存在するか判断する（ステップＳ２０７）。
【００８９】
複数の最小値が存在する場合は（ステップＳ２０７、Ｙｅｓ）、右斜め相関処理部１０２は、垂直方向に近い相関値の方を選択し、相関位置情報（ｌｅｎ＿ｒ）と最小の右斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｒ）と最終補間値（ｉｎｔ＿ｒ）をマルチプレクサ１０４に出力する（ステップＳ２０８）。
【００９０】
一方、右斜め相関処理部１０２は、ステップＳ２０７の判断の結果、複数の最小値が存在しない場合は（ステップＳ２０７、ＮＯ）、最小の右斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｒ）に基づき、相関位置情報（ｌｅｎ＿ｒ）と最小の右斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｒ）と最終補間値（ｉｎｔ＿ｒ）をマルチプレクサ１０４に出力する（ステップＳ２０９）。
【００９１】
以上、図８を用いて右斜め方向の相関値を算出する際の、画像処理装置１００の動作例について説明した。
【００９２】
図１０は、本発明の一実施形態に係る画像処理装置１００の動作例を示す流れ図である。図１０に示したのは、左斜め方向の相関値を算出する際の、画像処理装置１００の動作例である。以下、図１０を用いて本発明の一実施形態に係る画像処理装置１００の動作例について説明する。
【００９３】
左斜め相関処理部１０３は、画素が入力されると（ステップＳ３０１）、その入力画素に対する左斜め方向画素間の相関値（ｒｅｌ＿ｌ［ｎ］）を算出する（ステップＳ３０２）。また左斜め相関処理部１０３は、水平・垂直周波数を考慮した左斜め方向の相関値（ｒｅｌ＿ｌｖ［ｎ］）を算出する（ステップＳ３０３）。また左斜め相関処理部１０３は、左斜め方向の補間値（ｉｎｔ＿ｌ［ｎ］）を算出する（ステップＳ３０４）。
【００９４】
なお、ステップＳ３０２、３０３、３０４におけるｎは、いずれもｎ＝０．３，１，２，・・・であるとする。左斜め相関処理部１０３によるｎ＝０．３の場合の処理は、右斜め相関処理部１０２によるｎ＝０．３の場合の処理と同様であるので、詳細な説明はここでは省略する。
【００９５】
次いで、左斜め相関処理部１０３は、左斜め方向画素間の相関値（ｒｅｌ＿ｌ［ｎ］）、左斜め方向の相関値（ｒｅｌ＿ｌｖ［ｎ］）及び垂直方向相関値（ｃｏｒ＿ｖ）を用いて、左斜め方向に探索する位置情報数［ｎ＋１］分のｎ＋１個の左斜め方向相関値（ｃｏｒ＿ｌ［ｎ］）を算出する（ステップＳ３０５）。左斜め方向相関値（ｃｏｒ＿ｌ［ｎ］）は、ｎ＝１，２，・・・の場合は以下の数式（１１）により、ｎ＝０．３の場合は以下の数式（１２）により、算出される値である。
【００９６】
ｃｏｒ＿ｌ［ｎ］＝ｒｅｌ＿ｌ［ｎ］＊（２ｎ＋１）＋ｃｏｒ＿ｖ−ｒｅｌ＿ｌｖ［ｎ］＊ｇａｉｎ＿ｄ・・・・・（１１）
ｃｏｒ＿ｌ［０．３］＝ｒｅｌ＿ｌ［０．３］＊（２ｋ＋１）＋ｃｏｒ＿ｖ−ｒｅｌ＿ｌｖ［０．３］＊ｇａｉｎ＿ｄ２・・・・・（１２）
【００９７】
なお、ｇａｉｎ＿ｄ、ｇａｉｎ＿ｄ２は、外部から設定可能なパラメータであり、以下ではいずれも１として計算する。もちろんｇａｉｎ＿ｄ、ｇａｉｎ＿ｄ２の値は１に限定されるものではない。
【００９８】
次いで、左斜め相関処理部１０３は、ｎ＋１個の右斜め方向相関値（ｃｏｒ＿ｌ［ｎ］）の算出結果から、最小の右斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｌ）を選択する（ステップＳ３０６）。左斜め相関処理部１０３は、最小の左斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｌ）が複数存在するか判断する（ステップＳ３０７）。
【００９９】
複数の最小値が存在する場合は（ステップＳ３０７、Ｙｅｓ）、左斜め相関処理部１０３は、垂直方向に近い相関値の方を選択し、相関位置情報（ｌｅｎ＿ｌ）と最小の左斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｌ）と最終補間値（ｉｎｔ＿ｌ）をマルチプレクサ１０４に出力する（ステップＳ３０８）。
【０１００】
一方、左斜め相関処理部１０３は、ステップＳ３０７の判断の結果、複数の最小値が存在しない場合は（ステップＳ３０７、ＮＯ）、最小の左斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｌ）に基づき、相関位置情報（ｌｅｎ＿ｌ）と最小の左斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｌ）と最終補間値（ｉｎｔ＿ｌ）をマルチプレクサ１０４に出力する（ステップＳ３０９）。
【０１０１】
以上、図１０を用いて左斜め方向の相関値を算出する際の、画像処理装置１００の動作例について説明した。
【０１０２】
このように最小の右斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｒ）及び最小の左斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｌ）が求まると、マルチプレクサ１０４は、最小の右斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｒ）及び最小の左斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｌ）のうち値が小さい方を第１の最小値（ｄｉａ＿ｍｉｎ＿ｃｏｒ）として選択し、第１の最小値（ｄｉａ＿ｍｉｎ＿ｃｏｒ）に基づき最終補間値（ｉｎｔ＿ｄ）を選択する。続いて、マルチプレクサ１３４は、上記垂直方向相関値（ｃｏｒ＿ｖ）及び第１の最小値（ｄｉａ＿ｍｉｎ＿ｃｏｒ）のうち値が小さい方を最終補間方向とし、前記最終補間方向に基づき補間値を出力する。
【０１０３】
本発明の一実施形態に係る画像処理装置１００は、入力される画像を縦横２倍に拡大するように画像補間処理を実行することにより、拡大後も原画像の品質を保持しつつ、斜め線や十字線にジャギーを生じさせない高品位な画像表示が可能になる。そして本発明の一実施形態に係る画像処理装置１００は、垂直に近い方向についてもジャギーを生じさせない高品位な画像表示が可能になる。
【０１０４】
［効果］
続いて、本発明の一実施形態に係る画像処理装置１００による効果について説明する。図１１は、本発明の一実施形態に係る画像処理装置１００による効果について示す説明図であり、本発明の一実施形態に係る画像処理装置１００による、Ｄｉａ＝±０．３の方向の相関処理を加えた場合の処理結果と、Ｄｉａ＝±０．３の方向の相関処理を加えない場合の処理結果とを比較して示す説明図である。図１１では、２つの処理のいずれも、水平方向は線形補間を行っており、垂直方向の処理が異なる２つの処理結果が示されている。
【０１０５】
図１１に示したように、Ｄｉａ＝±０．３の方向の相関処理を加えない場合は、垂直に近い斜め線の部分でジャギーが感じられる処理結果となったのに対し、Ｄｉａ＝±０．３の方向の相関処理を加えた場合は、垂直に近い斜め線の部分でジャギーが低減された処理結果となったのが分かる。
【０１０６】
図１２は、本発明の一実施形態に係る画像処理装置１００による効果について示す説明図であり、本発明の一実施形態に係る画像処理装置１００による、Ｄｉａ＝±０．３の方向の相関処理を加えた場合の処理結果と、一般的なフィルタによる拡大処理の処理結果とを比較して示す説明図である。図１２では、本発明の一実施形態に係る画像処理装置１００による処理結果と、ランチョス（Ｌａｎｃｚｏｓ）法によって縦及び横をそれぞれ２倍に拡大した場合の処理結果とを比較して示している。
【０１０７】
図１２に示したように、ランチョス法によって縦及び横をそれぞれ２倍に拡大した場合は、垂直に近い斜め線の部分でジャギーが目立ってしまう処理結果となったのに対し、Ｄｉａ＝±０．３の方向の相関処理を加えた場合は、垂直に近い斜め線の部分でジャギーが大きく低減された処理結果となったのが分かる。
【０１０８】
このように、本開示の一実施形態に係る画像処理装置１００は、Ｄｉａ＝±０．３の方向の相関処理を加えて補間処理を行うことで、垂直に近い斜め線の部分でジャギーを低減させることが出来る。
【０１０９】
［変形例］
上述してきた説明では、Ｄｉａ＝±０．３の方向の相関処理を加えて補間処理を行う画像処理装置１００について示したが、画像処理装置１００は、その他の方向についても相関処理を加えて補間処理を行っても良い。以下では、Ｄｉａ＝±０．６の方向（約５６度）の相関処理を加えて補間処理を行う場合の例を示す。
【０１１０】
図１３は、右斜め相関処理部１０２による相関値の計算方法を説明する説明図であり、図８のステップＳ２０２、２０３、２０４におけるｎがｎ＝０．６の場合における相関値の計算方法について説明するための図である。
【０１１１】
ｎ＝０．６の場合は、右斜め相関処理部１０２は、ｍ２［２］およびｐ２［−２］の位置の画素だけで画素間の相関値を算出するのでなく、ｍ１ラインおよびｐ１ラインにおける、Ｄｉａ＝＋０．６の角度上の位置のある画素値を算出して、画素間の相関値を計算する。
【０１１２】
すなわち右斜め相関処理部１０２は、図１３に示したように、ｍ１ラインについてはｍ１［０］、ｍ１［１］の２つの画素を、ｐ１ラインについてはｐ１［０］、ｐ１［−１］の２つの画素をそれぞれ用いて、ｍ１ラインおよびｐ１ラインにおける画素値を算出するとともに、算出した画素値を用いて画素間の相関値を計算する。
【０１１３】
本実施形態では、ｒｅｌ＿ｒ［０．６］を以下の数式（１３）で求める。
ｒｅｌ＿ｒ［０．６］＝
｜ｍ２［２］−ｐ２［−２］｜＋
｜（（ｍ１［０］＋２＊ｍ１［１］）／３）−（（ｐ１［０］＋２＊ｐ１［−１］）／３）｜・・・・・（１３）
【０１１４】
なお回路規模の都合上、右斜め相関処理部１０２は、以下の数式（１３’）のように、単に２つの画素の画素値の平均値を用いてｒｅｌ＿ｒ［０．６］を用いても良い。
ｒｅｌ＿ｒ［０．６］＝
｜ｍ２［２］−ｐ２［−２］｜＋
｜（（ｍ１［０］＋ｍ１［１］）／２）−（（ｐ１［０］＋ｐ１［−１］）／２）｜・・・・・（１３’）
【０１１５】
続いて右斜め相関処理部１０２は、水平・垂直周波数を考慮した右斜め方向の相関値（ｒｅｌ＿ｒｖ［０．６］）を計算する。ｎ＝０．６の場合、水平方向の画素変化については以下の数式（１４）で算出する。
ｒｅｌ＿ｒｖ１［０］＝ｍ２［２］＊２−（ｍ２［１］＋ｍ２［３］）
ｒｅｌ＿ｒｖ２［０］＝ｐ２［−３］＊２−（ｐ２［−３］＋ｐ２［１］）
ｒｅｌ＿ｒｖ１［１］＝（ｍ１［０］＋ｍ１［１］）−（ｍ１［−１］＋ｍ１［２］）
ｒｅｌ＿ｒｖ２［１］＝（ｐ１［−１］＋ｐ１［０］）−（ｐ１［−２］＋ｐ１［１］）・・・・・（１４）
【０１１６】
そして右斜め相関処理部１０２は、上述のｍｉｎ（｜Ａ｜，｜Ｂ｜）に基づき、ｒｅｌ＿ｒｖ［０．６］を算出する。すなわち右斜め相関処理部１０２は、ｒｅｌ＿ｒｖ［０．６］を以下の数式（１５）で算出する。
ｒｅｌ＿ｒｖ［０．６］＝
ｍｉｎ（｜ｒｅｌ＿ｒｖ１［０］｜，｜ｒｅｌ＿ｒｖ２［０］｜）＋
ｍｉｎ（｜ｒｅｌ＿ｒｖ１［１］｜，｜ｒｅｌ＿ｒｖ２［１］｜）＋
ｍｉｎ（｜ｒｅｌ＿ｒｖ１［０］｜，｜ｒｅｌ＿ｒｖ１［１］｜）＋
ｍｉｎ（｜ｒｅｌ＿ｒｖ２［１］｜，｜ｒｅｌ＿ｒｖ２［０］｜）・・・・・（１５）
【０１１７】
右斜め相関処理部１０２は、このようにして、ｎがｎ＝０．６の場合の画素間の相関値ｒｅｌ＿ｒ［０．６］を求めるとともに、水平・垂直周波数を考慮した右斜め方向の相関値ｒｅｌ＿ｒｖ［０．６］を求めることが出来る。
【０１１８】
続いてｎ＝０．６の場合における右斜め方向の補間値の算出方法について説明する。右斜め相関処理部１０２は、ｎ＝０．６の場合における右斜め方向の補間値ｉｎｔ＿ｒ［０．６］を、以下の数式（１６）で計算する。
ｉｎｔ＿ｒ［０．６］＝
（（（ｍ２［２］＋ｐ２［−２］）／２）＋
（（（（２＊ｍ１［０］＋ｍ１［１］）／３）＋（（２＊ｐ１［０］＋ｐ１［−１］）／３））／２））／２・・・・・（１６）
【０１１９】
なお回路規模の都合上、右斜め相関処理部１０２は、以下の数式（１６’）のように、単に２つの画素の画素値の平均値を用いてｉｎｔ＿ｒ［０．６］を用いても良い。
ｉｎｔ＿ｒ［０．６］＝
（（（ｍ２［２］＋ｐ２［−２］）／２）＋
（（（（ｍ１［０］＋ｍ１［１］）／２）＋（（ｐ１［０］＋ｐ１［−１］）／２））／２））／２・・・・・（１６’）
【０１２０】
右斜め相関処理部１０２は、このようにして、ｎがｎ＝０．６の場合の右斜め方向の補間値ｉｎｔ＿ｒ［０．６］を求めることが出来る。
【０１２１】
なお、上記実施形態では、画像処理装置１００は、垂直相関処理部１０１、右斜め相関処理部１０２、左斜め相関処理部１０３及びマルチプレクサ１０４を、Ｙ画素など１系統分だけ備える構成例を示したが、この構成に限定するものではなく、ＲＧＢの画素毎に補間画素を生成するように、垂直相関処理部１０１、右斜め相関処理部１０２、左斜め相関処理部１０３及びマルチプレクサ１０４を３系統備えるようにしてもよい。
【０１２２】
次に、画像処理装置１００を利用した表示装置の一例について図１４を参照して説明する。図１４は、画像処理装置１００を利用した表示装置２００の機能構成例を示す説明図である。
【０１２３】
図１４において、表示装置２００は、画像処理装置１００と液晶パネル２０１により構成される。画像処理装置１００は、上述の図５に示したものと同一である。液晶パネル２０１は、薄膜トランジスタ（以下、ＴＦＴという）基板、ＴＦＴ基板に対向して結合されるカラーフィルタ基板及び両基板の間に介在されて液晶等を含む。
【０１２４】
液晶パネル２０１は、フルハイビジョン（ＨＶ）画像を拡大する画像処理装置１００からフレーム毎に入力される拡大画像により画像を表示する。液晶パネル２０１の解像度が、入力されるフルハイビジョン画像の縦横２倍である場合、画像処理装置１００は、入力されるフルハイビジョン画像を縦横２倍に拡大するように上記画像補間処理を実行する。これにより、拡大後も原画像の品質を保持しつつ、斜め線や十字線にジャギーを生じさせない高品位な画像表示が可能になる。
【０１２５】
なお、本実施の形態では、液晶パネル２０１を用いた表示装置２００に画像処理装置１００を適用した場合を示したが、本発明は液晶パネル２０１を用いた表示装置２００に限定するものではなく、例えば、ＰＤＰ、有機ＥＬパネルなどを用いた表示装置にも適用可能であることは言うまでもない。
【０１２６】
＜３．まとめ＞
以上説明したように本発明の一実施形態によれば、入力画像を縦方向及び横方向のそれぞれで拡大する際に、拡大後も原画像の品質を保持しつつ、斜め線や十字線にジャギーを生じさせない高品位な画像表示が可能な画像処理装置１００、及び画像処理装置１００によって拡大処理された画像を表示する表示装置２００が提供される。
【０１２７】
本発明の一実施形態に係る画像処理装置１００は、補間画素の生成の際に、傾きＤｉａが±１，２，・・・の方向だけでなく、１未満の方向、例えば±０．３や±０．６の方向の相関処理を加える。本発明の一実施形態に係る画像処理装置１００は、補間画素の生成の際に、傾きＤｉａが１未満の方向の相関処理を加えることで、ラインメモリの数を増やさずに、すなわち、補間対象画素の上下それぞれ２ライン分のラインメモリだけで拡大画像の垂直に近い方向におけるジャギーの発生を防ぐことが出来る。
【０１２８】
本明細書における装置が実行する処理における各ステップは、必ずしもフローチャート（ｆｌｏｗｃｈａｒｔ）やシーケンス（ｓｅｑｕｅｎｃｅ）図として記載された順序に沿って時系列に処理される必要はない。例えば、各装置が実行する処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても良く、並列的に処理されてもよい。
【０１２９】
また上述した各装置の構成と同等の機能を、本明細書における装置に内蔵されるＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）およびＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などのハードウェア（図示せず）に発揮させるためのコンピュータプログラムも作成されることができる。また、該コンピュータプログラムを記憶させた記憶媒体も提供されることが可能である。また、機能ブロック図で示したそれぞれの機能ブロックをハードウェアで構成することで、一連の処理をハードウェアで実現することもできる。
【０１３０】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【０１３１】
１００    画像処理装置
１０１    垂直方向相関処理部
１０２    右斜め相関処理部
１０３    左斜め相関処理部
１０４    マルチプレクサ
２００    液晶表示装置
２０１    液晶パネル
【図１】
2016086236.tif 000003
【図２】
2016086236.tif 000004
【図３】
2016086236.tif 000005
【図４】
2016086236.tif 000006
【図５】
2016086236.tif 000007
【図６】
2016086236.tif 000008
【図７】
2016086236.tif 000009
【図８】
2016086236.tif 000010
【図９】
2016086236.tif 000011
【図１０】
2016086236.tif 000012
【図１１】
2016086236.tif 000013
【図１２】
2016086236.tif 000014
【図１３】
2016086236.tif 000015
【図１４】
2016086236.tif 000016