(57)【要約】【課題】斜め線の画素補間性能と十字線の画素補間性能を両立しつつ回路規模を抑えることが可能な画像処理装置を提供する。【解決手段】入力画像信号を用いて第１の方向での画素間の画素を補間する補間処理を行う第１補間処理部と、第１の方向に直交する第２の方向での画素間の画素を補間する際に補間対象の画素の近傍では、第１補間処理部が出力する第１の方向での補間後の画像信号から連続して、補間対象の画素の近傍以外では第１補間処理部が出力する第１の方向での補間後の画像信号から第１の方向において離隔して、それぞれ画素を選択する画素選択部と、画素選択部が選択した補間処理のための画素を用いて第２の方向での画素間の画素を補間する補間処理を行う第２補間処理部と、を備えることを特徴とする、画像処理装置が提供される。【選択図】図１
2016025459.tif 000002
【特許請求の範囲】
【請求項１】
入力画像信号を用いて第１の方向での画素間の画素を補間する補間処理を行なって補間後の画像信号を出力する第１補間処理部と、
前記第１の方向に直交する第２の方向での画素間の画素を補間する際に補間対象の画素の近傍では、前記第１補間処理部が出力する前記第１の方向での補間後の画像信号から連続して、前記補間対象の画素の近傍以外では前記第１補間処理部が出力する前記第１の方向での補間後の画像信号から前記第１の方向において離隔して、それぞれ画素を選択する画素選択部と、
前記画素選択部が選択した前記補間処理のための画素を用いて前記第２の方向での画素間の画素を補間する補間処理を行なって出力する第２補間処理部と、
を備えることを特徴とする、画像処理装置。
【請求項２】
前記画素選択部は、前記第２の方向での画素間の画素を補間する際に補間対象の画素から角度方向の差分が略均等になるよう、前記第１補間処理部が出力する前記第１の方向での補間後の画像信号から、少なくとも一部は前記第１の方向において離隔して画素を選択することを特徴とする、請求項１に記載の画像処理装置。
【請求項３】
前記画素選択部は、角度方向が均等になるような画素の候補が複数ある場合、選択した画素のうち最も補間対象の画素から離れている画素と前記第１の方向との角度が小さい方の候補を選択することを特徴とする、請求項２に記載の画像処理装置。
【請求項４】
前記画素選択部は、角度方向が均等になるような画素の候補が複数ある場合、均等度合いの平均値が小さい方の候補を選択することを特徴とする、請求項２に記載の画像処理装置。
【請求項５】
前記第１の方向は垂直方向であり、前記第２の方向は水平方向であることを特徴とする、請求項１に記載の画像処理装置。
【請求項６】
前記画素選択部は、補間対象の画素に前記第２の方向で隣接する位置にある画素を選択することを特徴とする、請求項１に記載の画像処理装置。
【請求項７】
入力画像信号を用いて第１の方向での画素間の画素を補間する補間処理を行なって補間後の画像信号を出力する第１補間処理ステップと、
前記第１の方向に直交する第２の方向での画素間の画素を補間する際に補間対象の画素の近傍では、前記第１補間処理ステップで出力される前記第１の方向での補間後の画像信号から連続して、前記補間対象の画素の近傍以外では前記第１補間処理ステップで出力される前記第１の方向での補間後の画像信号から前記第１の方向において離隔して、それぞれ画素を選択する画素選択ステップと、
前記画素選択ステップで選択された前記補間処理のための画素を用いて前記第２の方向での画素間の画素を補間する補間処理を行なって出力する第２補間処理ステップと、
を含むことを特徴とする、画像処理方法。
【請求項８】
コンピュータに、
入力画像信号を用いて第１の方向での画素間の画素を補間する補間処理を行なって補間後の画像信号を出力する第１補間処理ステップと、
前記第１の方向に直交する第２の方向での画素間の画素を補間する際に補間対象の画素の近傍では、前記第１補間処理ステップで出力される前記第１の方向での補間後の画像信号から連続して、前記補間対象の画素の近傍以外では前記第１補間処理ステップで出力される前記第１の方向での補間後の画像信号から前記第１の方向において離隔して、それぞれ画素を選択する画素選択ステップと、
前記画素選択ステップで選択された前記補間処理のための画素を用いて前記第２の方向での画素間の画素を補間する補間処理を行なって出力する第２補間処理ステップと、
を実行させることを特徴とする、コンピュータプログラム。
【請求項９】
前記１〜６のいずれかに記載の画像処理装置を備えることを特徴とする、表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、コンピュータプログラム及び表示装置に関する。
【背景技術】
【０００２】
近年の画像の高解像化に伴い、液晶ディスプレイ（ｄｉｓｐｌａｙ）、プラズマ（ｐｌａｓｍａ）ディスプレイ、有機ＥＬディスプレイ等の表示装置の表示解像度も高くなっている。しかし、ハイビジョン（Ｈｉ−Ｖｉｓｉｏｎ；ＨＶ）放送などにより放送されるテレビ信号（インターレース信号）等の入力画像の解像度は、表示装置の表示解像度より低い場合がある。そこで、表示装置内で入力画像の解像度を表示解像度まで拡大することで、入力画像の解像度を表示装置の表示解像度に合わせることが求められる。
【０００３】
しかし、単純に線形補間等の手法で入力画像の拡大処理を行なうと、拡大した画像で輪郭がぼやけたり、斜め線でジャギー（ｊａｇｇｙ）が発生したりしてしまう。そこで、入力画像の解像度を表示解像度まで拡大する際に、インターレース・プログレッシブ変換（ｉｎｔｅｒｌａｃｅ−ｐｒｏｇｒｅｓｓｉｖｅ、ＩＰ変換）時に用いるフレーム（ｆｒａｍｅ）内補間処理を、縦方向及び横方向に適用することにより、斜め方向のエッジ（ｅｄｇｅ）が滑らかな補間画素を生成することが可能となる。例えば特許文献１には、入力画像の解像度を表示装置の表示解像度に拡大する際に、斜め線の画素補間性能と十字線の画素補間性能を両立する発明が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−１３４６１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
例えば、横方向を２倍にした後で縦方向を２倍にする補間処理を行う場合、横方向を２倍にした補間結果の画素を用いて、縦方向を２倍する処理を行う。このため、縦方向の補間画素生成時には、横方向補間時の２倍の画素を用いて処理を実施する必要がある。すなわち、後段の横方向補間で使用する画素数は、前段の縦方向の補間処理で使用する画素数と異なり、後段の処理は、前段の２倍の処理を実施する必要がある。従って、入力画像の解像度を表示装置の表示解像度に拡大する際に、斜め線の画素補間性能と十字線の画素補間性能を両立しようとすると、回路規模も大きくなるという問題があった。
【０００６】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、斜め線の画素補間性能と十字線の画素補間性能を両立しつつ回路規模を抑えることが可能な、新規かつ改良された画像処理装置、画像処理方法、コンピュータプログラム及び表示装置を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある観点によれば、入力画像信号を用いて第１の方向での画素間の画素を補間する補間処理を行なって補間後の画像信号を出力する第１補間処理部と、前記第１の方向に直交する第２の方向での画素間の画素を補間する際に補間対象の画素の近傍では、前記第１補間処理部が出力する前記第１の方向での補間後の画像信号から連続して、前記補間対象の画素の近傍以外では前記第１補間処理部が出力する前記第１の方向での補間後の画像信号から前記第１の方向において離隔して、それぞれ画素を選択する画素選択部と、前記画素選択部が選択した前記補間処理のための画素を用いて前記第２の方向での画素間の画素を補間する補間処理を行なって出力する第２補間処理部と、を備えることを特徴とする、画像処理装置が提供される。
【０００８】
前記画素選択部は、前記第２の方向での画素間の画素を補間する際に補間対象の画素から角度方向の差分が略均等になるよう、前記第１補間処理部が出力する前記第１の方向での補間後の画像信号から、少なくとも一部は前記第１の方向において離隔して画素を選択してもよい。
【０００９】
前記画素選択部は、角度方向が均等になるような画素の候補が複数ある場合、選択した画素のうち最も補間対象の画素から離れている画素と前記第１の方向との角度が小さい方の候補を選択してもよい。
【００１０】
前記画素選択部は、角度方向が均等になるような画素の候補が複数ある場合、均等度合いの平均値が小さい方の候補を選択してもよい。
【００１１】
前記第１の方向は垂直方向であり、前記第２の方向は水平方向であってもよい。
【００１２】
前記画素選択部は、補間対象の画素に前記第２の方向で隣接する位置にある画素を選択してもよい。
【００１３】
また、上記課題を解決するために、本発明の別の観点によれば、入力画像信号を用いて第１の方向での画素間の画素を補間する補間処理を行なって補間後の画像信号を出力する第１補間処理ステップと、前記第１の方向に直交する第２の方向での画素間の画素を補間する際に補間対象の画素の近傍では、前記第１補間処理ステップで出力される前記第１の方向での補間後の画像信号から連続して、前記補間対象の画素の近傍以外では前記第１補間処理ステップで出力される前記第１の方向での補間後の画像信号から前記第１の方向において離隔して、それぞれ画素を選択する画素選択ステップと、前記画素選択ステップで選択された前記補間処理のための画素を用いて前記第２の方向での画素間の画素を補間する補間処理を行なって出力する第２補間処理ステップと、を含むことを特徴とする、画像処理方法が提供される。
【００１４】
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータに、入力画像信号を用いて第１の方向での画素間の画素を補間する補間処理を行なって補間後の画像信号を出力する第１補間処理ステップと、前記第１の方向に直交する第２の方向での画素間の画素を補間する際に補間対象の画素の近傍では、前記第１補間処理ステップで出力される前記第１の方向での補間後の画像信号から連続して、前記補間対象の画素の近傍以外では前記第１補間処理ステップで出力される前記第１の方向での補間後の画像信号から前記第１の方向において離隔して、それぞれ画素を選択する画素選択ステップと、前記画素選択ステップで選択された前記補間処理のための画素を用いて前記第２の方向での画素間の画素を補間する補間処理を行なって出力する第２補間処理ステップと、を実行させることを特徴とする、コンピュータプログラムが提供される。
【００１５】
また、上記課題を解決するために、本発明の別の観点によれば、上記画像処理装置を備える、表示装置が提供される。
【発明の効果】
【００１６】
以上説明したように本発明によれば、斜め線の画素補間性能と十字線の画素補間性能を両立しつつ回路規模を抑えることが可能な、新規かつ改良された画像処理装置、画像処理方法、コンピュータプログラム及び表示装置を提供することができる。
【図面の簡単な説明】
【００１７】
【図１】入力画像の解像度を２倍に拡大する際の処理例を示す説明図である。
【図２】入力画像の解像度を２倍に拡大する際の処理例を示す説明図である。
【図３】入力画像の解像度を２倍に拡大する際の回路規模について説明する説明図である。
【図４】放射状の線を有する画像を、Ｔａｐの数を変化させて縦横２倍に拡大した際の画像の一部を示す説明図である。
【図５】本発明の一実施形態に係る画像処理装置１００の機能構成例を示す説明図である。
【図６】本実施形態に係る補間処理部１３０の構成例を示す説明図である。
【図７】本発明の一実施形態に係る画像処理装置１００の動作例を示す流れ図である。
【図８】画素選択部１２０による画素選択の例を、画素選択を行わない場合と比較しながら説明する説明図である。
【図９】図８のそれぞれのパターンにおける、補間対象画素と選択画素との間の角度の情報を示す説明図である。
【図１０】放射状の線を有する画像に対しフレーム内補間処理を行なった後の画像の例を示す説明図である。
【図１１】画像処理装置１００を利用した表示装置２００の機能構成例を示す説明図である。
【発明を実施するための形態】
【００１８】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１９】
＜１．背景＞
本発明の実施の形態について詳細に説明する前に、本発明の実施の形態の背景について説明する。
【００２０】
上述したように、画像の高解像化に伴い、画像を表示する表示装置の表示解像度も高くなっている。近年では、いわゆる４Ｋとも称される、横４０００画素前後、縦２０００画素前後の解像度に対応した映像を表示することが可能な表示装置も普及しつつある。
【００２１】
さらに、更なる高画質化を目指して、ＮＨＫ放送技術研究所では、スーパーハイビジョン（以下、ＳＨＶ）放送の実用化へ向けた研究開発が進められている。ＳＨＶとは、次世代テレビ向けフォーマットであり、横７６８０画素、縦４３２０画素の解像度を持つ超高精細映像のことである。ＳＨＶは、縦横共に現行のフルＨＤと呼ばれる横１９２０画素、縦１０８０画素の４倍で、画像全体ではフルＨＤの１６倍の解像度を有する。そこで、ＳＨＶ放送の実用化を想定し、ＳＨＶに対応した表示装置が必要となる。また、これに伴って地上デジタル放送でＳＨＶを放送または受信するための技術も開発中である。
【００２２】
しかし、伝送容量を拡大するための技術の向上や、電波の送受信のためのアンテナの導入の必要性等の観点から、すぐにＳＨＶを地上波放送で導入することは難しい。このため、全ての放送が完全にＳＨＶ放送へ移行することは未だ困難であり、ＳＨＶ放送への移行の過渡期にはハイビジョン放送が行われる状況が続くことが予想される。従って、表示装置が放送フォーマットより高い解像度を有する場合は、表示装置の表示解像度に合わせた映像の拡大処理が表示装置側で必要になる。
【００２３】
このような背景のもと、拡大処理を行なっても原画像の品質を保持した状態で高品位な表示が可能となるような画像の補間処理技術が求められる。例えば上述したように、上記特許文献１では、本件発明者による、入力画像の解像度を表示装置の表示解像度に拡大する際に、斜め線の画素補間性能と十字線の画素補間性能を両立する発明が開示されている。
【００２４】
上記特許文献１では、入力画素に対する上下画素間の相関値及び垂直方向相関値、右斜め方向の相関値並びに左斜め方向の相関値を算出し、右斜め方向の相関値及び左斜め方向の相関値から斜め方向の相関値を選択し、垂直方向相関値及び斜め方向の相関値から最終補間方向を選択し、最終補間方向に基づき上下画素間の相関値及び斜め方向の相関値から出力補間値を決定する発明が記載されている。
【００２５】
上記特許文献１（特開２０１２−１３４６１０号公報）で開示されている発明を用いることにより、入力画像の解像度を表示装置の表示解像度に拡大する際に、斜め線の画素補間性能と十字線の画素補間性能を両立することが可能となる。ここで、入力画像の解像度を表示装置の表示解像度に拡大する際に、例えば横方向を２倍にした後で縦方向を２倍にする場合を考える。この場合、横方向を２倍にした補間結果の画素を用いて縦方向を２倍する処理を行う。
【００２６】
このため、縦方向の補間画素生成時には、横方向補間時の２倍の画素を用いて処理を実施する。図１及び図２は、入力画像の解像度を２倍に拡大する際の処理例を示す説明図である。例えば図１に示したように、横方向補間時に、補間対象の画素の上下３つの画素を使用する場合、縦方向補間時には、横方向補間時に生成された補間画素を含む、補間対象の画素の左右６つの画素を使用する。
【００２７】
図３は、入力画像の解像度を２倍に拡大する際の回路規模について説明する説明図である。補間対象画素から横方向の左右の画素位置までの画素数をＴａｐと表現すると、図３はＴａｐ＝０〜６の場合において、補間対象画素から見て右斜め上方向及び左斜め下方向について相関値を算出する際の例を示している。
【００２８】
すなわち、Ｔａｐ＝０とは補間対象画素と同じ列であり、かつ補間対象画素の上下の行の画素を補間処理で用いる場合である。またＴａｐ＝１とは補間対象画素の左右それぞれ１つ隣の列であり、かつ補間対象画素の上下の行の画素を補間処理で用いる場合である。
【００２９】
また図３では、各画素を円で示しており、横方向の画素間の間隔と縦方向の画素間の間隔は同じであると仮定して示している。また図３では、各Ｔａｐにおける画素の選択方向の水平からの角度θを示している。各Ｔａｐにおける水平からの角度θは、Ｔａｐ＝０の場合は９０度、Ｔａｐ＝１の場合は、水平方向２画素分、垂直方向２画素分のアークタンジェントをとって４５度、Ｔａｐ＝２の場合は、水平方向４画素分、垂直方向２画素分のアークタンジェントをとって約２７度、Ｔａｐ＝３の場合は、水平方向６画素分、垂直方向２画素分のアークタンジェントをとって約１８度、Ｔａｐ＝４の場合は、水平方向８画素分、垂直方向２画素分のアークタンジェントをとって約１４度、Ｔａｐ＝５の場合は、水平方向１０画素分、垂直方向２画素分のアークタンジェントをとって約１１度、Ｔａｐ＝６の場合は、水平方向１２画素分、垂直方向２画素分のアークタンジェントをとって約９度である。
【００３０】
補間処理時に使用するＴａｐの数を増やせば増やすほど、斜め方向の検出精度は向上する。従って、補間処理時に使用するＴａｐの数を増やすことで、斜め線の画素補間性能と十字線の画素補間性能を両立することが可能になる。
【００３１】
しかし、補間処理時に使用するＴａｐの数を増やせば増やすほど、図３に示したように、回路規模も比例して大きくなる。すなわち、Ｔａｐの数を増やして斜め線の画素補間性能を向上させようとすると、補間処理を行う方向が増加するため、補間処理の際の回路も増大することになる。回路規模を削減するために、単純にＴａｐの数を減らしてしまうと、斜め方向でジャギーが発生してしまい、斜め線の画素補間性能が低下する。
【００３２】
図４は、放射状の線を有する画像を、Ｔａｐの数を変化させて縦横２倍に拡大した際の画像の一部を示す説明図である。図４は、横方向補間時のＴａｐの数（Ｔａｐ−Ｈ）を３で固定し、縦方向補間時のＴａｐの数（Ｔａｐ−Ｖ）を２〜６の間で変化させた場合の補間処理後の画像の例を示している。
【００３３】
図４に示したように、縦方向補間時のＴａｐの数を増やしていくにつれて、ジャギーの無い良好な拡大画像を得ることが可能になるが、逆に縦方向補間時のＴａｐの数を減らしていくにつれて、斜め方向の線でジャギーが増加していく範囲が広がっていくことが分かる。
【００３４】
すなわち、後段の縦方向補間で使用する画素数は、前段の横方向の補間処理で使用する画素数と異なり、後段の処理は、前段の２倍の処理を実施する必要がある。従って、入力画像の解像度を表示装置の表示解像度に拡大する際に、斜め線の画素補間性能と十字線の画素補間性能を両立しようとすると、回路規模も大きくなる。
【００３５】
そこで本件発明者は、斜め線の画素補間性能と十字線の画素補間性能を両立しつつ回路規模を抑えることが可能な発明について鋭意検討を行なった。その結果、本件発明者は、斜め線の画素補間性能と十字線の画素補間性能を両立しつつ回路規模を抑えることが可能な発明を考案するに至った。
【００３６】
以上、本発明の実施の形態の背景について説明した。続いて、本発明の一実施形態について説明する。
【００３７】
＜２．本発明の一実施形態＞
［画像処理装置の機能構成例］
まず、図面を参照しながら本発明の一実施形態に係る画像処理装置の機能構成例について説明する。図５は、本発明の一実施形態に係る画像処理装置１００の機能構成例を示す説明図である。図５に示した画像処理装置１００は、入力画像を縦方向及び横方向のそれぞれで２倍に拡大する装置である。以下、図５を用いて本発明の一実施形態に係る画像処理装置１００の機能構成例について説明する。
【００３８】
図５に示したように、本発明の一実施形態に係る画像処理装置１００は、補間処理部１１０，１３０と、画素選択部１２０と、を含んで構成される。
【００３９】
補間処理部１１０は、入力画像の画素（入力画素）を用いて、横方向での画素間のフレーム内補間処理を実行する。補間処理部１１０が補間処理を実行することで、入力画像の横方向の画素数が２倍に拡大される。補間処理部１１０は、入力画素（元画素）及び補間処理で生成された補間画素を画素選択部１２０へ出力する。
【００４０】
画素選択部１２０は、補間処理部１１０が出力した元画素及び補間画素の中から、後段の補間処理部１３０における縦方向での画素間の補間処理に用いられる画素を選択する。画素選択部１２０は、元画素及び補間画素の中から選択された画素（選択画素）を補間処理部１３０に出力する。
【００４１】
補間処理部１３０は、画素選択部１２０が出力した選択画素を用いて、縦方向での画素間のフレーム内補間処理を実行する。補間処理部１３０が補間処理を実行することで、入力画像の縦方向の画素数が２倍に拡大される。補間処理部１３０は、縦方向の画素数を２倍に拡大した画像の画素を出力画素として出力する。補間処理部１３０は、補間処理部１１０が出力した元画素及び横方向での補間処理で生成した補間画素も合わせて出力する。従って図５に示した画像処理装置１００は、出力画素として、横方向及び縦方向の画素数を２倍に拡大した画像の画素を出力する。
【００４２】
本実施形態では、補間処理部１１０、１３０は、補間対象画素の縦または横方向に位置する画素及び斜め方向に位置する画素に対して相関値を算出し、算出した相関値に基づいて補間方向を決定し、決定した補間方向に位置する画素を用いて補間画素を生成する処理を実行する。
【００４３】
図６は、本実施形態に係る補間処理部１３０の構成例を示す説明図である。図６に示した補間処理部１３０は、特許文献１（特開２０１２−１３４６１０号公報）の図１で開示されたものと同様の構成を有するものである。図６に示したように、本実施形態に係る補間処理部１３０は、垂直相関処理部１３１と、右斜め相関処理部１３２と、左斜め相関処理部１３３と、マルチプレクサ（ｍｕｌｔｉｐｌｅｘｅｒ）１３４と、を含んで構成される。
【００４４】
補間処理部１３０は、ＲＧＢ画素をＹＵＶ画素に変換し、Ｙ画素を入力画素として補間画素を生成する処理を実行してもよい。この時、ＵとＶの補間値は、以下に示す実施形態の処理結果に関係なく、ＵとＶの入力画素の上下方向（垂直方向）を用い、それぞれ平均値を算出して得られる値であってもよい。
【００４５】
補間処理部１３０の各部の詳細については特許文献１で開示されているのでここでは簡単な説明にとどめる。垂直相関処理部１３１は、入力画像のフィールド毎に入力画素に対する上下画素間の相関値（ｒｅｌ＿ｖ）、入力画素に対する垂直周波数を考慮した上下相関値（ｒｅｌ＿ｖｖ）、及び、入力画素に対する上下画素間の補間値（ｉｎｔ＿ｖ）を各々算出する。
【００４６】
また垂直相関処理部１３１は、上下画素間の相関値（ｒｅｌ＿ｖ）及び上下相関値（ｒｅｌ＿ｖｖ）に基づいて垂直方向相関値（ｃｏｒ＿ｖ）を算出する。垂直相関処理部１３１は、上下画素間の補間値（ｉｎｔ＿ｖ）をマルチプレクサ１３４に出力し、垂直方向相関値（ｃｏｒ＿ｖ）を右斜め相関処理部１３２、左斜め相関処理部１３３及びマルチプレクサ１３４に出力する。
【００４７】
右斜め相関処理部１３２は、入力画素に対する右斜め方向画素間の相関値（ｒｅｌ＿ｒ）、入力画素に対する水平・垂直周波数を考慮した右斜め方向の相関値（ｒｅｌ＿ｒｖ［ｎ］）、及び、入力画素に対する右斜め方向の補間値（ｉｎｔ＿ｒ［ｎ］）を各々算出する。なおｎは算出する相関値の位置情報を表しており、補間対象画素に対して相関する画素を探索する方向の画素数を表す。
【００４８】
右斜め相関処理部１３２は、上記垂直方向相関値（ｃｏｒ＿ｖ）、右斜め方向画素間の相関値（ｒｅｌ＿ｒ［ｎ］）及び水平・垂直周波数を考慮した右斜め方向の相関値（ｒｅｌ＿ｒｖ［ｎ］）に基づいて、右斜め方向に探索する画素数分の複数の右斜め方向相関値（ｃｏｒ＿ｒ［ｎ］）を算出する。
【００４９】
そして右斜め相関処理部１３２は、複数の右斜め方向相関値（ｃｏｒ＿ｒ［ｎ］）から最小の右斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｒ）を選択し、最小の右斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｒ）に基づき右斜め方向の最終補間値（ｉｎｔ＿ｒ）を選択し、最小の右斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｒ）及び右斜め方向の最終補間値（ｉｎｔ＿ｒ）及び相関位置情報（ｌｅｎ＿ｒ）をマルチプレクサ１３４に出力する。
【００５０】
左斜め相関処理部１３３は、入力画素に対する左斜め方向画素間の相関値（ｒｅｌ＿ｌ［ｎ］）、入力画素に対する水平・垂直周波数を考慮した左斜め方向の相関値（ｒｅｌ＿ｌｖ［ｎ］）、及び、入力画素に対する右斜め方向の補間値（ｉｎｔ＿ｌ［ｎ］）を各々算出する。なおｎは算出する相関値の位置情報を表しており、補間対象画素に対して相関する画素を探索する方向の画素数を表す。
【００５１】
左斜め相関処理部１３３は、上記垂直方向相関値（ｃｏｒ＿ｖ）、左斜め方向画素間の相関値（ｒｅｌ＿ｌ［ｎ］）及び水平・垂直周波数を考慮した左斜め方向の相関値（ｒｅｌ＿ｌｖ［ｎ］）に基づいて、左斜め方向に探索する画素数分の複数の左斜め方向相関値（ｃｏｒ＿ｌ［ｎ］）を算出する。
【００５２】
そして左斜め相関処理部１３３は、複数の左斜め方向相関値（ｃｏｒ＿ｌ［ｎ］）から最小の左斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｌ）を選択し、最小の左斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｌ）に基づき左斜め方向の最終補間値（ｉｎｔ＿ｌ）を選択し、最小の左斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｌ）及び左斜め方向の最終補間値（ｉｎｔ＿ｌ）及び相関位置情報（ｌｅｎ＿ｌ）をマルチプレクサ１３４に出力する。
【００５３】
なお、右斜め相関処理部１３２は、同一の値の右斜め方向相関値（ｃｏｒ＿ｒ［ｎ］）が複数存在する場合は、垂直方向に近い方の右斜め方向の最終補間値（ｉｎｔ＿ｒ）及び相関位置情報（ｌｅｎ＿ｒ）を選択する。同様に、左斜め相関処理部１３３は、同一の値の左斜め方向相関値（ｃｏｒ＿ｌ［ｎ］）が複数存在する場合は、垂直方向に近い方の左斜め方向の最終補間値（ｉｎｔ＿ｌ）及び相関位置情報（ｌｅｎ＿ｌ）を選択する。
【００５４】
マルチプレクサ１３４は、最小の右斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｒ）及び最小の左斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｌ）のうち値が小さい方を第１の最小値（ｄｉａ＿ｍｉｎ＿ｃｏｒ）として選択し、第１の最小値（ｄｉａ＿ｍｉｎ＿ｃｏｒ）に基づき最終補間値（ｉｎｔ＿ｄ）を選択する。続いて、マルチプレクサ１３４は、上記垂直方向相関値（ｃｏｒ＿ｖ）及び第１の最小値（ｄｉａ＿ｍｉｎ＿ｃｏｒ）のうち値が小さい方を最終補間方向とし、前記最終補間方向に基づき補間値を出力する。
【００５５】
図６では、縦方向での画素間の補間処理を実行する補間処理部１３０の機能構成例を示したが、横方向での画素間の補間処理を実行する補間処理部１１０についても、図６に示した構成と同様の構成を有し得る。
【００５６】
補間処理部１３０が図６に示したような構成を有することで、垂直方向相関値と、斜め方向相関値とを確認することで、補間方向を決定することができる。補間処理部１３０がこのように補間方向を決定することで、補間対象画素の付近でどのような画像が表示されていても、適切に補間を行なって、ジャギーの無い拡大画像を生成することが可能になる。
【００５７】
なお補間処理部１３０は、ＲＧＢの画素毎に補間画素を生成する構成であってもよい。ＲＧＢの画素毎に補間画素を生成する構成を採る場合、補間処理部１３０は、垂直相関処理部１３１と、右斜め相関処理部１３２と、左斜め相関処理部１３３と、マルチプレクサ１３４とを３系統備える構成を有する。
【００５８】
しかし上述したように、相関値算出のための方向数、すなわち補間処理時に使用するＴａｐの数を増やせば増やすほど、回路規模も比例して大きくなる。回路規模を削減するために、単純にＴａｐの数を減らしてしまうと、斜め方向でジャギーが発生してしまい、斜め線の画素補間性能が低下する。
【００５９】
そこで本実施形態では、補間処理部１１０、１３０の間に画素選択部１２０を設けたことを特徴としている。画素選択部１２０は、補間処理部１１０が出力する、横方向での補間後の画像信号から、補間処理部１３０での補間処理に用いられる画素を選択する。具体的に、画素選択部１２０は、補間対象の画素の近傍では、補間処理部１１０が出力する、横方向での補間後の画像信号から連続して画素を選択し、補間対象の画素の近傍以外では補間処理部１１０が出力する横方向での補間後の画像信号から横方向において離隔して画素を選択する。
【００６０】
画素選択部１２０は、このように補間処理部１１０が出力する横方向での補間後の画像信号から、補間処理部１３０での補間処理に用いられる画素を選択することで、補間処理部１３０での補間処理時に使用するＴａｐの数を削減しつつ、斜め線の画素補間性能を低下させないようにすることが可能になる。
【００６１】
以上、図５を用いて本発明の一実施形態に係る画像処理装置１００の機能構成例について説明した。続いて本発明の一実施形態に係る画像処理装置１００の動作例について説明する。
【００６２】
［画像処理装置の動作例］
図７は、本発明の一実施形態に係る画像処理装置１００の動作例を示す流れ図である。以下、図７を用いて本発明の一実施形態に係る画像処理装置１００の動作例について説明する。
【００６３】
画像処理装置１００は、入力画素に対して、まず横方向のフレーム内補間処理を実行する（ステップＳ１０１）。このステップＳ１０１の横方向のフレーム内補間処理は、補間処理部１１０が実行する。
【００６４】
ステップＳ１０１で横方向のフレーム内補間処理を実行すると、続いて画像処理装置１００は、入力画素及び横方向のフレーム内補間処理で生成された補間画素の中から、縦方向のフレーム内補間処理で使用する画素を選択する（ステップＳ１０２）。このステップＳ１０２の画素の選択処理は、画素選択部１２０が実行する。
【００６５】
最後に画像処理装置１００は、入力画素及び補間画素に対して、縦方向のフレーム内補間処理を実行する（ステップＳ１０３）。このステップＳ１０３の縦方向のフレーム内補間処理は、補間処理部１３０が実行する。
【００６６】
上述したように、画素選択部１２０は、補間対象の画素の近傍では、補間処理部１１０が出力する横方向での補間後の画像信号から連続して画素を選択し、補間対象の画素の近傍以外では補間処理部１１０が出力する横方向での補間後の画像信号から横方向において離隔して画素を選択する。ここで、画素選択部１２０による画素選択の例を、画素選択を行わない場合と比較しながら説明する。
【００６７】
図８は、画素選択部１２０による画素選択の例を、画素選択を行わない場合と比較しながら説明する説明図である。図８では、各画素を円で示しており、横方向の画素間の間隔と縦方向の画素間の間隔は同じであると仮定して示している。図８の（１）は、補間対象画素から左右６画素分を含んだ７画素を縦方向のフレーム内補間処理で使用する場合である。図８の（２）は、補間対象画素から左右それぞれ１つ目、２つ目、４つ目、６つ目を含んだ５画素を縦方向のフレーム内補間処理で使用する場合である。図８の（３）は、補間対象画素から左右それぞれ１つ目、２つ目、３つ目、５つ目を含んだ５画素を縦方向のフレーム内補間処理で使用する場合である。
【００６８】
図８の（２）や（３）に示したように、縦方向のフレーム内補間処理で使用する画素を選択するのは、補間対象画素から左右６画素分を含んだ７画素を縦方向のフレーム内補間処理で使用する場合と比較して、縦方向での補間性能を維持しつつ、斜め方向での補間性能も大きく低下させないようにするためである。
【００６９】
画素選択部１２０は、図８の（２）や（３）に示したように、補間対象の画素の近傍では、補間処理部１１０が出力する横方向での補間後の画像信号から連続して画素を選択し、補間対象の画素の近傍以外では補間処理部１１０が出力する横方向での補間後の画像信号から横方向において離隔して画素を選択する。
【００７０】
画素選択部１２０は、補間処理部１１０が出力する横方向での補間後の画像信号から、補間処理部１３０での補間処理に用いられる画素を、図８の（２）や（３）に示したようなパターンで選択することで、補間処理部１３０での補間処理時に使用するＴａｐの数を削減しつつ、斜め線の画素補間性能を低下させないようにすることが可能になる。
【００７１】
後述の比較説明のために、図８では画素の他の選択例についても示されている。図８の（４）は、縦方向のフレーム内補間処理で補間対象画素から左右それぞれ４画素分を含んだ５画素を使用する場合である。図８の（５）は、縦方向のフレーム内補間処理で補間対象画素から左右それぞれ１つ目、４つ目、５つ目、６つ目を含んだ５画素を使用する場合である。
【００７２】
図９は、図８のそれぞれのパターンにおける、補間対象画素と選択画素との間の角度の情報を示す説明図である。図９では、図８のそれぞれのパターンにおける、補間対象画素と選択画素との間の角度の、隣接する選択画素間での差分に着目している。
【００７３】
図９について説明する。補間対象画素からの、補間対象画素から１つ上の行における補間対象画素の上の画素及び右６画素の水平からの角度は、それぞれ９０度、４５度、２７度、１８度、１４度、１１度、９度、である。
【００７４】
図８の（１）のように縦方向のフレーム内補間処理で補間対象画素から左右６画素分を含んだ７画素を使用する場合、水平からの角度の差分は、４５度、１８度、９度、４度、３度、２度、９度となり、これらの角度の差分のさらに差分をとると、その値はそれぞれ２７度、９度、５度、１度、１度、７度、となる。
【００７５】
図８の（２）のように縦方向のフレーム内補間処理で左右それぞれ１つ目、２つ目、４つ目、６つ目を含んだ５画素を使用する場合、水平からの角度の差分は、４５度、１８度、１３度、５度、９度となり、これらの角度の差分のさらに差分をとると、その値はそれぞれ２７度、５度、８度、４度、となる。
【００７６】
図８の（３）のように縦方向のフレーム内補間処理で左右それぞれ１つ目、２つ目、３つ目、５つ目を含んだ５画素を使用する場合、水平からの角度の差分は、４５度、１８度、９度、７度、１１度となり、これらの角度の差分のさらに差分をとると、その値はそれぞれ２７度、９度、２度、４度、となる。
【００７７】
図８の（４）のように縦方向のフレーム内補間処理で左右それぞれ４画素分を含んだ５画素を使用する場合、水平からの角度の差分は、４５度、１８度、９度、４度、１４度となり、これらの角度の差分のさらに差分をとると、その値はそれぞれ２７度、９度、５度、１０度、となる。
【００７８】
図８の（５）のように縦方向のフレーム内補間処理で左右それぞれ１つ目、４つ目、５つ目、６つ目を含んだ５画素を使用する場合、水平からの角度の差分は、４５度、３１度、３度、２度、９度となり、これらの角度の差分のさらに差分をとると、その値はそれぞれ１４度、２８度、１度、７度、となる。
【００７９】
図８のそれぞれのパターンにおける縦方向のフレーム内補間処理を行なった後の画像の例を示し、それぞれのパターンにおける補間性能を説明する。図１０は、放射状の線を有する画像に対し、横方向のフレーム内補間処理及び図８のそれぞれのパターンにおける縦方向のフレーム内補間処理を行なった後の画像の例を示す説明図である。
【００８０】
図８の（１）のように縦方向のフレーム内補間処理で補間対象画素から左右６画素分を含んだ７画素を使用する場合、図１０に示したように、斜め方向のジャギーは殆ど発生しない。ところが、図８の（２）のように縦方向のフレーム内補間処理で左右それぞれ１つ目、２つ目、４つ目、６つ目を含んだ５画素を使用する場合であっても、図１０に示したように、斜め方向のジャギーは殆ど発生しない。
【００８１】
すなわち、図８の（２）のように縦方向のフレーム内補間処理で左右それぞれ１つ目、２つ目、４つ目、６つ目を含んだ５画素を使用する場合、図８の（１）のように７画素を使用する場合よりも補間処理部１３０での補間処理時に使用するＴａｐの数を削減しつつ、斜め線の画素補間性能を低下させないようにすることが可能になる。
【００８２】
なお、図８の（３）のように縦方向のフレーム内補間処理で左右それぞれ１つ目、２つ目、３つ目、５つ目を含んだ５画素を使用する場合では、図１０に示したように、斜め方向のジャギーが若干発生しているが、それでも実用には問題のない程度まで斜め線の画素補間性能が発揮されている。
【００８３】
すなわち、図８の（３）のように縦方向のフレーム内補間処理で左右それぞれ１つ目、２つ目、３つ目、５つ目を含んだ５画素を使用する場合、図８の（１）のように７画素を使用する場合よりも補間処理部１３０での補間処理時に使用するＴａｐの数を削減しつつ、斜め線の画素補間性能を大きく低下させないようにすることが可能になる。
【００８４】
ここで、図８の（２）や（３）の場合と同じように縦方向のフレーム内補間処理で５画素を使用する場合であっても、画素の選び方によっては斜め線の画素補間性能が大きく低下してしまうことを示す。
【００８５】
図８の（４）のように縦方向のフレーム内補間処理で左右それぞれ１つ目〜４つ目を含んだ５画素を使用する場合では、図１０に示したように、斜め方向のジャギーが目立つようになってしまう。同様に、図８の（５）のように縦方向のフレーム内補間処理で左右それぞれ１つ目、４つ目、５つ目、６つ目を含んだ５画素を使用する場合でも、図１０に示したように、斜め方向のジャギーが目立つようになってしまう。
【００８６】
すなわち、単に縦方向のフレーム内補間処理で使用する画素の数を減らすだけでは、縦方向のフレーム内補間処理を行なった後の拡大画像で、斜め方向のジャギーが目立ってしまい、斜め線の画素補間性能が大きく低下してしまう。従って、図８の（２）や（３）に示したように、補間対象の画素の近傍では補間処理部１１０が出力する横方向での補間後の画像信号から連続して画素を選択し、補間対象の画素の近傍以外では補間処理部１１０が出力する横方向での補間後の画像信号から横方向において離隔して画素を選択することで、補間処理部１３０での補間処理時に使用するＴａｐの数を削減しつつ、斜め線の画素補間性能を大きく低下させないようにすることが可能になることが分かる。
【００８７】
図８の（２）や（３）のように、補間対象の画素の近傍では補間処理部１１０が出力する横方向での補間後の画像信号から連続して画素を選択し、補間対象の画素の近傍以外では補間処理部１１０が出力する横方向での補間後の画像信号から横方向において離隔して画素を選択するパターンが複数ある場合、画素選択部１２０は、図８の（２）のように、補間対象の画素から最も遠い位置にある画素の水平からの角度が最も小さいパターンを選択してもよい。
【００８８】
図８の（２）や（３）のように、補間対象の画素の近傍では補間処理部１１０が出力する横方向での補間後の画像信号から連続して画素を選択し、補間対象の画素の近傍以外では補間処理部１１０が出力する横方向での補間後の画像信号から横方向において離隔して画素を選択するパターンが複数ある場合、画素選択部１２０は、図８の（３）のように、画素間の角度の差分の均等度合いの平均値が小さい方の候補を選択してもよい。
【００８９】
本発明の一実施形態に係る画像処理装置１００は、最初に横方向での補間処理を実行した後に縦方向での補間処理を実行するように構成されているが、順序は逆でも良いことは言うまでもない。また本発明の一実施形態に係る画像処理装置１００は、横方向での補間処理を実行する補間処理部１１０と、縦方向での補間処理を実行する補間処理部１３０とを有して構成されているが、横方向での補間処理と縦方向での補間処理とを同一のブロックで実行するように構成されていても良い。
【００９０】
次に、画像処理装置１００を利用した表示装置の一例について図１１を参照して説明する。図１１は、画像処理装置１００を利用した表示装置２００の機能構成例を示す説明図である。
【００９１】
図１１において、表示装置２００は、画像処理装置１００と液晶パネル２０１により構成される。画像処理装置１００は、上述の図５に示したものと同一である。液晶パネル２０１は、薄膜トランジスタ（以下、ＴＦＴという）基板、ＴＦＴ基板に対向して結合されるカラーフィルタ基板及び両基板の間に介在されて液晶等を含む。
【００９２】
液晶パネル２０１は、フルハイビジョン（ＨＶ）画像を拡大する画像処理装置１００からフレーム毎に入力される拡大画像により画像を表示する。液晶パネル２０１の解像度が、入力されるフルハイビジョン画像の縦横２倍である場合、画像処理装置１００は、入力されるフルハイビジョン画像を縦横２倍に拡大するように上記画像補間処理を実行する。これにより、拡大後も原画像の品質を保持しつつ、斜め線や十字線にジャギーを生じさせない高品位な画像表示が可能になる。
【００９３】
なお、本実施の形態では、液晶パネル２０１を用いた表示装置２００に画像処理装置１００を適用した場合を示したが、本発明は液晶パネル２０１を用いた表示装置２００に限定するものではなく、例えば、ＰＤＰ、有機ＥＬパネルなどを用いた表示装置にも適用可能であることは言うまでもない。
【００９４】
＜３．まとめ＞
以上説明したように本発明の一実施形態によれば、入力画像を縦方向及び横方向のそれぞれで拡大する際に、拡大後も原画像の品質を保持しつつ、斜め線や十字線にジャギーを生じさせない高品位な画像表示が可能な画像処理装置１００、及び画像処理装置１００によって拡大処理された画像を表示する表示装置２００が提供される。
【００９５】
本発明の一実施形態に係る画像処理装置１００は、画素選択部１２０において、補間対象の画素の近傍では補間処理部１１０が出力する横方向での補間後の画像信号から連続して画素を選択し、補間対象の画素の近傍以外では補間処理部１１０が出力する横方向での補間後の画像信号から横方向において離隔して画素を選択する。本発明の一実施形態に係る画像処理装置１００は、このように画素を画素選択部１２０で選択することで、補間処理部１３０での補間処理時に使用するＴａｐの数を削減しつつ、斜め線の画素補間性能を大きく低下させないようにすることが可能になる。
【００９６】
本明細書における装置が実行する処理における各ステップは、必ずしもフローチャートやシーケンス図として記載された順序に沿って時系列に処理される必要はない。例えば、各装置が実行する処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても良く、並列的に処理されてもよい。
【００９７】
また上述した各装置の構成と同等の機能を、本明細書における装置に内蔵されるＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）およびＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などのハードウェア（図示せず）に発揮させるためのコンピュータプログラムも作成されることができる。また、該コンピュータプログラムを記憶させた記憶媒体も提供されることが可能である。また、機能ブロック図で示したそれぞれの機能ブロックをハードウェアで構成することで、一連の処理をハードウェアで実現することもできる。
【００９８】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００９９】
１００    画像処理装置
１１０、１３０    補間処理部
１２０    画素選択部
２００    表示装置
２０１    液晶パネル
【図１】
2016025459.tif 000003
【図２】
2016025459.tif 000004
【図３】
2016025459.tif 000005
【図４】
2016025459.tif 000006
【図５】
2016025459.tif 000007
【図６】
2016025459.tif 000008
【図７】
2016025459.tif 000009
【図８】
2016025459.tif 000010
【図９】
2016025459.tif 000011
【図１０】
2016025459.tif 000012
【図１１】
2016025459.tif 000013