(57)【要約】【課題】任意倍率拡大処理を実現するとともに、画質の低下および処理時間の増大を抑制させた画像処理が可能な画像処理装置を提供する。【解決手段】テレビジョン受像機は、参照ブロック内の入力画素を用いて、補間画素におけるエッジ勾配方向を設定するエッジ勾配方向設定部と、上記エッジ勾配方向に垂直な方向に沿った２辺を有する平行四辺形の頂点となる４つの参照画素を設定する仮参照座標設定部（６５）と、参照画素が参照ブロックの内か外かにかかわらず、参照ブロック内の入力画素を用いて、参照画素の濃度値である参照画素値を設定する参照画素値設定部（６６）と、４つの参照画素における参照画素値を用いて、補間画素の濃度値を算出する補間画素値算出部（６７）とを備える。【選択図】図９
2014085892.tif 000002
【特許請求の範囲】
【請求項１】
設定された拡大縮小率に従って、入力された画像データに含まれる入力画素間に補間画素を設けることにより上記画像データを拡大縮小する画像処理装置において、
上記補間画素を含む参照ブロックを設定する参照ブロック設定部と、
上記参照ブロック内の入力画素を用いて、補間画素におけるエッジ勾配方向を設定するエッジ勾配方向設定部と、
上記エッジ勾配方向に垂直な方向に沿った２辺を有する四角形の頂点となる４つの参照画素を設定する参照画素設定部と、
上記参照画素が上記参照ブロック外に位置する場合、当該参照画素を一端とする上記四角形の一辺と上記参照ブロックの境界線との交点を求め、当該交点に隣接する参照ブロック内の入力画素を隣接入力画素として特定し、当該隣接入力画素と当該交点との距離および当該隣接入力画素における濃度値に基づいて、当該参照画素の濃度値である参照画素値を推定し、上記参照画素が上記参照ブロック内に位置する場合、参照画素と同じ位置の入力画素の濃度値を参照画素値とする参照画素値設定部と、
上記４つの参照画素における参照画素値を用いて、上記補間画素の濃度値を算出する補間画素値算出部とを備えることを特徴とする画像処理装置。
【請求項２】
設定された拡大縮小率に従って、入力された画像データに含まれる入力画素間に補間画素を設けることにより上記画像データを拡大縮小する画像処理装置において、
上記補間画素を含む参照ブロックを設定する参照ブロック設定部と、
上記参照ブロック内の入力画素を用いて、補間画素におけるエッジ勾配方向を設定するエッジ勾配方向設定部と、
上記エッジ勾配方向に垂直な方向に沿った２辺を有する四角形の頂点となる４つの参照画素を設定する参照画素設定部と、
上記参照画素が上記参照ブロック外に位置する場合、当該参照画素を一端とする上記四角形の一辺と上記参照ブロックの境界線との交点を求め、当該交点に隣接する参照ブロック内の入力画素を隣接入力画素として特定し、当該隣接入力画素と当該交点との距離および当該隣接入力画素における濃度値に基づいて、当該参照画素の濃度値である参照画素値を推定し、上記参照画素が上記参照ブロック内に位置する場合、参照画素と同じ位置の入力画素の濃度値を参照画素値とする参照画素値設定部と、
上記４つの参照画素における参照画素値を用いて、上記補間画素におけるエッジ勾配方向依存の濃度値である第１補間値を算出する第１補間処理部と、
上記エッジ勾配方向に依存しない補間処理を用いて、上記補間画素における非エッジ勾配方向依存の濃度値である第２補間画素値を算出する第２補間処理部と、
上記エッジ勾配方向設定部により設定されたエッジ勾配方向の信頼度を算出する信頼度算出部と、
上記信頼度に基づいて、上記第１補間値および第２補間値の各々に対する重み係数を決定し、決定した重み係数を用いて上記第１補間値と上記第２補間値とを加算して、上記補間画素の濃度値を算出する混合処理部とを備えることを特徴とする画像処理装置。
【請求項３】
上記エッジ勾配方向設定部は、上記参照ブロック内における複数の入力画素の各々におけるエッジ勾配を求め、当該複数の入力画素におけるエッジ勾配に基づいて、補間画素におけるエッジ勾配方向を設定することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
上記エッジ勾配方向設定部は、少なくとも１つの水平方向１次微分フィルタと、少なくとも１つの垂直方向１次微分フィルタを用いて、上記参照ブロック内における入力画素におけるエッジ勾配を求め、当該エッジ勾配に基づいて補間画素におけるエッジ勾配方向を設定することを特徴とする請求項１から３の何れか１項に記載の画像処理装置。
【請求項５】
上記エッジ勾配方向設定部は、補間画素のエッジ勾配方向として、予め定められた角度範囲を有する複数の角度領域から選択した一つの角度領域を設定し、
上記信頼度算出部は、上記参照ブロックに含まれる複数の入力画素の各々について、当該入力画素におけるエッジ勾配方向が上記補間画素に対して設定されたエッジ勾配方向と同じ角度領域に属するか否かを判定し、一致する入力画素の数を示す第１評価値を用いて上記信頼度を算出することを特徴とする請求項２に記載の画像処理装置。
【請求項６】
上記信頼度算出部は、さらに、上記参照ブロックに含まれる複数の入力画素の各々について、（１）当該入力画素におけるエッジ勾配方向が、上記補間画素に対して設定されたエッジ勾配方向の角度領域と右回り方向に隣接する角度領域に属するか否かを判定し、一致する入力画素の数を示す第２評価値を求めるとともに、（２）当該入力画素におけるエッジ勾配方向が、上記補間画素に対して設定されたエッジ勾配方向の角度領域と左回り方向に隣接する角度領域に属するか否かを判定し、一致する入力画素の数を示す第３評価値を求め、第２評価値および第３評価値のうち大きい方の値を第１評価値に加算することにより上記信頼度を算出することを特徴とする請求項５に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、高解像度処理を行う画像処理装置、プログラムおよび記録媒体に関する。
【背景技術】
【０００２】
画像処理および映像処理において用いられる重要な技術としてアップスケーリング処理が知られている。例えば、近年のＦＨＤ（Ｆｕｌｌ  Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ）解像度に対応したディスプレイの普及に伴い、ＳＤ（Ｓｔａｎｄａｒｄ  Ｄｅｆｉｎｉｔｉｏｎ）解像度の映像コンテンツをＦＨＤ解像度ディスプレイで表示するにはアップスケーリング処理が必要である。また、ＦＨＤ解像度を超えるＱＦＨＤ（Ｑｕａｄ  Ｆｕｌｌ  Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ）解像度に対応したディスプレイが開発されており、さらにはＱＦＨＤを超えるＵＨＤ（Ｕｌｔｒａ  Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ）解像度のディスプレイも研究されている。このように、ディスプレイの高解像度化が進むにつれ、高性能なアップスケーリング処理の重要性が高まっている。
【０００３】
アップスケーリング処理は、一般的な技術として最近傍補間（ニアレストネイバー）、双一次補間（バイリニア補間）、双三次補間（バイキュービック補間）の補間方法がある。最近傍補間は参照する位置に最も近い位置にある画素値を用いて補間を行うものであり、拡大率が高くなると同じ画素が何個か続くため階調再現が悪く、また、エッジ部がギザギザになってしまう。双一次補間は参照する位置の周辺の２×２画素（４画素）を用いて、画素値を直線的に補間して画素値を求めるものであり、最近傍補間より精度は良いものの、線形補間された画素値を用いるためぼやけてしまう。双三次補間は参照する位置の周辺の４×４画素（１６画素）を用いて三次式で補間して画素値を求めるものであり、最近傍補間や双一次補間に比べ性能は良いものの、エッジ部にジャギーが発生する問題がある。
【０００４】
特許文献１は、複雑な処理を必要とすることなく画像、及び、映像を高品質にアップスケーリング処理する方法が記載されている。特許文献１に記載のアップスケーリング処理は、まず斜め方向に隣接する低解像度入力画素を用いて斜め高解像度（ＨＲ）画素を生成する。次に、水平方向に隣接する低解像度入力画素、及び、垂直方向に隣接する斜め高解像度（ＨＲ）画素を用いて水平高解像度（ＨＲ）画素を生成する。最後に、垂直方向に隣接する低解像度入力画素、及び、水平方向に隣接する斜め高解像度（ＨＲ）画素を用いて垂直高解像度（ＨＲ）画素を生成することにより、高解像度（ＨＲ）画像を生成する。また、各高解像度（ＨＲ）画素を生成する際に、エッジ方向に近い方向は重み付けが大きく、エッジ方向から離れた方向は重み付けが小さくなるよう制御する。これにより、オーバーシュートを発生させることなく、ジャギーアーティファクタを抑制させている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−６７２７２号公報（２０１０年３月２５日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載のアップスケーリング処理は、入力される低解像度画素の中間に位置する補間画素を生成するためのものである。低解像度入力画素の右下画素値を算出し、次に、右下画素値の算出結果を用いて低解像度入力画素の右画素値、及び、下画素値を算出するものであり、常に１つの低解像度入力画素から、新たに３つの出力画素を生成するものであるため、２倍以外の任意倍率拡大処理を実現することが難しい。
【０００７】
また、従来技術として双一次補間や双三次補間の補間方法を併用することで任意倍率拡大処理をすることは可能であるが、結局、上記したこれらの補間方法の問題を発生させる結果となってしまう。
【０００８】
さらに、特許文献１において考慮されるエッジの方向は、水平方向、垂直方向、４５°方向および−４５°方向に限定されている。そのため、これらの間にあたる斜め方向のエッジが存在するとき、適切な方向の画素を参照しないため、不自然な補間結果になる場合がある。エッジの方向をより細かく分けるには、より幅広い範囲の画素を参照することが考えられる。しかしながら、この場合、特に垂直方向に離れた画素を参照するためには、より多くのラインバッファを実装する必要がある。参照可能な画素の範囲は実装可能なラインバッファの本数に依存するためである。また、幅広い範囲の画素を参照するために処理に時間がかかるという問題が生じる。
【０００９】
本発明は、上記課題を解決するためになされたものであり、この発明の目的は、任意倍率拡大処理を実現するとともに、画質の低下および処理時間の増大を抑制させた画像処理が可能な画像処理装置、プログラムおよび記録媒体を提供することである。
【課題を解決するための手段】
【００１０】
上記の課題を解決するために、本発明の一態様に係る画像処理装置は、設定された拡大縮小率に従って、入力された画像データに含まれる入力画素間に補間画素を設けることにより上記画像データを拡大縮小する画像処理装置において、上記補間画素を含む参照ブロックを設定する参照ブロック設定部と、上記参照ブロック内の入力画素を用いて、補間画素におけるエッジ勾配方向を設定するエッジ勾配方向設定部と、上記エッジ勾配方向に垂直な方向に沿った２辺を有する四角形の頂点となる４つの参照画素を設定する参照画素設定部と、上記参照画素が上記参照ブロック外に位置する場合、当該参照画素を一端とする上記四角形の一辺と上記参照ブロックの境界線との交点を求め、当該交点に隣接する参照ブロック内の入力画素を隣接入力画素として特定し、当該隣接入力画素と当該交点との距離および当該隣接入力画素における濃度値に基づいて、当該参照画素の濃度値である参照画素値を推定し、上記参照画素が上記参照ブロック内に位置する場合、参照画素と同じ位置の入力画素の濃度値を参照画素値とする参照画素値設定部と、上記４つの参照画素における参照画素値を用いて、上記補間画素の濃度値を算出する補間画素値算出部とを備える。
【００１１】
また、本発明の一態様に係る画像処理装置は、設定された拡大縮小率に従って、入力された画像データに含まれる入力画素間に補間画素を設けることにより上記画像データを拡大縮小する画像処理装置において、上記補間画素を含む参照ブロックを設定する参照ブロック設定部と、上記参照ブロック内の入力画素を用いて、補間画素におけるエッジ勾配方向を設定するエッジ勾配方向設定部と、上記エッジ勾配方向に垂直な方向に沿った２辺を有する四角形の頂点となる４つの参照画素を設定する参照画素設定部と、上記参照画素が上記参照ブロック外に位置する場合、当該参照画素を一端とする上記四角形の一辺と上記参照ブロックの境界線との交点を求め、当該交点に隣接する参照ブロック内の入力画素を隣接入力画素として特定し、当該隣接入力画素と当該交点との距離および当該隣接入力画素における濃度値に基づいて、当該参照画素の濃度値である参照画素値を推定し、上記参照画素が上記参照ブロック内に位置する場合、参照画素と同じ位置の入力画素の濃度値を参照画素値とする参照画素値設定部と、上記４つの参照画素における参照画素値を用いて、上記補間画素におけるエッジ勾配方向依存の濃度値である第１補間値を算出する第１補間処理部と、上記エッジ勾配方向に依存しない補間処理を用いて、上記補間画素における非エッジ勾配方向依存の濃度値である第２補間画素値を算出する第２補間処理部と、上記エッジ勾配方向設定部により設定されたエッジ勾配方向の信頼度を算出する信頼度算出部と、上記信頼度に基づいて、上記第１補間値および第２補間値の各々に対する重み係数を決定し、決定した重み係数を用いて上記第１補間値と上記第２補間値とを加算して、上記補間画素の濃度値を算出する混合処理部とを備える。
【発明の効果】
【００１２】
本発明によれば、任意倍率拡大処理を実現するとともに、画質の低下および処理時間の増大を抑制させた画像処理が可能となる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態１に係るテレビジョン受像機の構成の概略を示すブロック図である。
【図２】図１に示す映像信号処理回路の構成を示すブロック図である。
【図３】図２に示すスケーラー処理部の構成を示すブロック図である。
【図４】補間画素に対する参照ブロックの設定例を示す図である。
【図５】１次微分フィルタの一例を示す図である。
【図６】入力画素に対して算出されたエッジ勾配の一例を示す図である。
【図７】エッジ勾配方向の各区域を示す図である。
【図８】エッジ勾配Ｇ＝（Ｇｘ，Ｇｙ）を用いたエッジ勾配方向の設定処理の流れを示すフローチャートである。
【図９】図３に示す補間処理部の構成を示すブロック図である。
【図１０】参照ブロックＭ＝Ｎ＝４であり、エッジ勾配方向の分割数ＮＢ＝１２とした場合における、補間画素のエッジ勾配方向φに対する平行四辺形の設定例を示す。
【図１１】補間画素の位置と、仮参照画素を頂点とする平行四辺形の位置との関係を示す図である。
【図１２Ａ】参照ブロックをＭ＝Ｎ＝６、ＬＨＭａｘ＝ＬＶＭａｘ＝５、エッジ勾配方向の分割数をＮＢ＝２０とした場合の、エッジ勾配方向Ｂ０、Ｂ１１−Ｂ１９における仮参照座標４点の設定例である。
【図１２Ｂ】参照ブロックをＭ＝Ｎ＝６、ＬＨＭａｘ＝ＬＶＭａｘ＝５、エッジ勾配方向の分割数をＮＢ＝２０とした場合の、エッジ勾配方向Ｂ１−Ｂ１０における仮参照座標４点の設定例である。
【図１３】図９に示す参照画素値設定部による、仮参照座標の画素値の設定処理を示したフローチャートである。
【図１４】仮参照座標が参照ブロック外である場合の仮参照座標の画素値の設定方法を示す図である。
【図１５】図９に示す補間画素値算出部が実行する処理のフローチャートを示す図である。
【図１６】補間画素の画素値を算出する方法を示す図であり、（ａ）はφが第１方向群に属する場合であり、（ｂ）はφが第２方向群に属する場合である。
【図１７】補間画素の画素値を算出する方法を示す図である。
【図１８】エッジ勾配を求めるための複数の１次微分フィルタの例を示す図である。
【図１９】補間画素のエッジ勾配方向を決定するために選択されたＮＤ個の対象画素の例を示した図である。
【図２０】エッジ勾配方向を求めるためのテンプレートを示す図である。
【図２１】本発明の実施形態２に係るテレビジョン受像機が備えるスケーラー処理部の構成を示すブロック図である。
【図２２】図２１に示すエッジ勾配方向設定部の構成を示すブロック図である。
【図２３】図２１に示す信頼度算出部の処理例を示すフローチャートである。
【図２４】図２１に示す信頼度算出部が用いるルックアップテーブルの一例を示す図である。
【図２５】エッジ勾配方向に依存しないLanczos補間処理で用いられる重み係数の分布（ｎ＝２の場合）を示す図である。
【図２６】図２１に示す信頼度算出部の別の処理例を示すフローチャートである。
【図２７】図２１に示す信頼度算出部が用いるルックアップテーブルの別の例を示す図である。
【図２８】スケーラー処理部の変形例を示すブロック図である。
【図２９】図２８に示すエッジ勾配方向設定部の構成を示すブロック図である。
【図３０】信頼度を補正するためのフィルタの例を示す図である。
【図３１】エッジ勾配方向が取り得る角度範囲を示す図である。
【図３２】図２１に示す信頼度算出部が用いるルックアップテーブルの別の例を示す図である。
【図３３】ルックアップテーブルを設定するためのパラメータΔθＲＥＳを求める方法を示す図である。
【図３４】図３２に示すＬＵＴ＿Ｃ［φ］に対して設定されたＬＵＴ＿Ｒ［φ］およびＬＵＴ＿Ｌ［φ］の一例を示す図である。
【図３５】参照ブロックから選択された選択画素の一例を示す図である。
【図３６】本発明の実施形態３に係るモニタの構成の概略を示すブロック図である。
【図３７】図３６に示すモニタの適用例であるマルチディスプレイを示す図である。
【発明を実施するための形態】
【００１４】
図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部材には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
【００１５】
〔実施形態１〕
（テレビジョン受像機の構成）
図１は、実施形態１におけるテレビジョン受像機の構成の概略を示すブロック図である。図１に示されるように、テレビジョン受像機（画像処理装置）１は、その全体を制御する中央演算装置（ＣＰＵ）１１、映像信号処理回路２１、音声信号処理回路２３およびパネルコントローラー２５を含む集積回路（ＬＳＩ）３と、電源ユニット５と、チューナー７と、インターフェース９と、表示部１３と、操作部１５と、スピーカー１７とを備える。
【００１６】
インターフェース９は、ＴＶアンテナ４１と、ＴＭＤＳ（Ｔｒａｎｓｉｔｉｏｎ  Ｍｉｎｉｍｉｚｅｄ  Ｄｉｆｆｅｒｅｎｔｉａｌ  Ｓｉｇｎａｌｉｎｇ）方式でシリアル通信するためのＤＶＩ（Ｄｉｇｉｔａｌ  Ｖｉｓｕａｌ  Ｉｎｔｅｒｆａｃｅ）端子４３およびＨＤＭＩ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）端子４５と、ＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ  Ｃｏｎｔｒｏｌ  Ｐｒｏｔｏｃｏｌ）またはＵＤＰ（Ｕｓｅｒ  Ｄａｔａｇｒａｍ  Ｐｒｏｔｏｃｏｌ）等の通信プロトコルで通信するためのＬＡＮ端子４７とを含む。インターフェース９は、ＣＰＵ１１からの指示に従って、ＤＶＩ端子４３、ＨＤＭＩ端子４５またはＬＡＮ端子４７に接続された外部の機器との間でデータを送受信する。
【００１７】
操作部１５は、電源スイッチと、切替スイッチとを少なくとも含む。電源スイッチは、テレビジョン受像機１の電源のオンとオフの切り替えを指示する操作指示を入力するためスイッチである。切替スイッチは、テレビジョン受像機１で受像する放送チャンネルを指定する操作指示を入力するためのスイッチである。操作部１５は、電源スイッチおよび切替スイッチが押下されることに応じて、各スイッチに対応する操作指示をＣＰＵ１１に出力する。
【００１８】
なお、ここでは、テレビジョン受像機１が備える操作部１５が操作される場合を例に説明したが、テレビジョン受像機１と無線で通信することが可能なリモートコントローラに操作部１５を備えるようにして、各スイッチに対応する操作指示をテレビジョン受像機１に送信するようにしてもよい。この場合、リモートコントローラがテレビジョン受像機１と通信する通信媒体は、赤外光であってもよいし、電磁波であってもよい。
【００１９】
表示部１３は、例えば、液晶ディスプレイ（ＬＣＤ）パネル、プラズマディスプレイパネル等であり、テレビジョン番組を表示することが可能である。
【００２０】
電源ユニット５は、外部から供給される電力を制御する。ＣＰＵ１１は、電源スイッチから入力される操作指示に応じて、電源ユニット５に電力を供給させる、または、電力の供給を遮断させる。電源スイッチから入力される操作指示が電源オンに切り替える操作指示である場合、テレビジョン受像機１の全体に電力が供給され、電源スイッチから入力される操作指示が電源オフに切り替える操作指示である場合、テレビジョン受像機１に供給される電力が遮断される。
【００２１】
チューナー７は、例えば、地上波デジタルチューナーまたはＢＳ／ＣＳデジタルチューナーであり、ＴＶアンテナ４１と接続され、ＴＶアンテナ４１が受信する放送信号が入力される。放送信号は、映像データおよび音声データを含む高周波デジタル変調信号である。チューナー７は、逆インターリーブ回路、誤り訂正回路を備えており、取り出した特定の周波数の高周波デジタル変調信号を復調して可変長符号を生成する。チューナー７は、ＴＶアンテナ４１で受信された放送信号のうちからＣＰＵ１１で指定されたチャンネルの放送信号を選択し、その放送信号に基づいて生成された可変長符号を映像信号処理回路２１および音声信号処理回路２３に出力する。
【００２２】
映像信号処理回路２１は、チューナー７から入力される可変長符号に各種の処理を実行し、映像信号を生成する。
【００２３】
パネルコントローラー２５は、表示部１３を制御して、映像信号処理回路２１が出力する映像信号の映像を表示部１３に表示する。具体的には、パネルコントローラー２５は、パネル駆動回路、バックライト制御回路を備え、ＣＰＵ１１からの指示に従って、パネル駆動回路の駆動を制御し、表示部１３の背面に配置されたバックライトの点灯および消灯を制御する。
【００２４】
音声信号処理回路２３は、オーディオデコーダを備えており、チューナー７から入力される可変長符号を復号して音声信号を生成し、音声信号をＤ／Ａ（デジタル／アナログ）変換して、スピーカー１７に出力する。
【００２５】
なお、ここでは、チューナー７がＴＶアンテナ４１により受信された放送信号に基づいて、映像信号処理回路２１が映像信号を生成する場合を例に説明したが、外部の機器がＤＶＩ端子４３、ＨＤＭＩ端子４５またはＬＡＮ端子４７を介して送信した映像データに基づいて、映像信号処理回路２１が映像信号を生成するようにしてもよい。また、チューナー７は、地上波デジタルチューナーとＢＳ／ＣＳデジタルチューナーとの両方を備えていてもよい。
【００２６】
（映像信号処理回路の構成）
図２は、映像信号処理回路の構成を示すブロック図である。図２に示されるように、映像信号処理回路２１は、ビデオデコーダ５１と、ＩＰ変換処理部５３と、ノイズ低減処理部５５と、シャープネス処理部５７と、カラー調整処理部５９と、スケーラー処理部６１とを含む。
【００２７】
ビデオデコーダ５１は、チューナー７から入力される可変長符号を復号して映像信号を生成し、映像信号をＤ／Ａ変換して、ＩＰ変換処理部５３に出力する。ＩＰ変換処理部５３は、必要に応じて、ビデオデコーダ５１から入力される映像信号をインタレース方式からプログレッシブ方式に変換する。ノイズ低減処理部５５は、ＩＰ変換処理部５３が出力する映像信号に含まれるノイズ成分を軽減するためのノイズ低減処理を実行する。シャープネス処理部５７は、ノイズ低減処理部５５が出力する映像信号の映像を鮮鋭化するシャープネス処理を実行する。カラー調整処理部５９は、シャープネス処理部５７が出力する映像信号に対して、コントラストや彩度等を調整するカラー処理を実行する。スケーラー処理部６１は、カラー調整処理部５９が出力する映像信号に対して、表示部１３の画素数に応じたスケーリング処理を実行する。なお、ＣＰＵ１１は、図示しないフレームメモリに、映像信号処理回路２１により各種の処理が実行される際の映像信号をフレーム単位で適宣記憶させる。
【００２８】
スケーリング処理は、表示部１３の画素数に応じた倍率に、映像データに含まれるフレーム単位の画像データを拡大（または縮小）し、拡大（または縮小）により補間が必要な画素を補間画素として算出する処理を少なくとも含む。補間画素は、画像データが拡大（または縮小）された倍率により、位置が定まる。具体的には、画像データにおいて、縦方向、横方向および斜め方向それぞれの入力画素と入力画素との間の位置である。最も単純な例として整数倍拡大の例を用いて補間演算位置について説明する。倍率が２倍である場合、縦方向、横方向および斜め方向それぞれの入力画素と入力画素との間を２等分する位置に補間画素が設定される。
【００２９】
（スケーラー処理部の構成）
図３は、スケーラー処理部の構成を示すブロック図である。図３に示されるように、スケーラー処理部６１は、参照ブロック設定部６２と、エッジ勾配方向設定部６３と、補間処理部６４とを含む。
【００３０】
参照ブロック設定部６２は、後段のエッジ勾配方向設定部６３および補間処理部６４において参照できる入力画素の集合である参照ブロックを設定する。参照ブロック設定部６２は、補正画素の周辺に存在する入力画素のうち、垂直方向Ｍ画素、水平方向Ｎ画素からなる複数の画素集合を参照ブロックとして抽出する。ただし、Ｍ，Ｎはいずれも予め決められた４以上の自然数とする。
【００３１】
図４は、補間画素に対する参照ブロックの設定例であり、（ａ）はＭ＝Ｎ＝４の参照ブロック、（ｂ）はＭ＝Ｎ＝６の参照ブロックを示す。図４において黒円で示される点は入力画素を示し、白円で示される点は入力画素のうち参照ブロックとして抽出された画素を示す。また、＊で示される点は補間画素を示す。本実施形態では、複数のラインの入力画素から参照ブロックを構成するために複数のラインバッファを備え、垂直方向の画素数Ｍは、当該ラインバッファ数に応じて設定される。なお、水平方向の画素数ＮはＭと一致させる必要は無く、必要に応じてＮ＞Ｍとして、水平方向の補間精度を高めることができる。Ｎ＞Ｍとする例として、ＩＰ変換処理部５３においてＩＰ変換処理が行われた場合が挙げられる。
【００３２】
参照ブロック設定部６２は、参照ブロックとして抽出された入力画素について、画素座標および画素値（濃度値）をラインバッファから読み出し、エッジ勾配方向設定部６３および補間処理部６４がアクセスしやすいようにメモリに記憶させる。
【００３３】
エッジ勾配方向設定部６３は、参照ブロックを構成する複数の入力画素のうち選択された１つの入力画素におけるエッジ勾配を求め、そのエッジ勾配に従って補間画素のエッジ勾配方向を設定する。
【００３４】
エッジ勾配方向設定部６３は、参照ブロックの中から補間画素との相関の高い入力画素を、エッジ勾配を算出する入力画素として選択すればよい。相関の高い入力画素として、例えば、補間画素の座標を（ｘ，ｙ）とするとき（ただしｘ，ｙはゼロ以上の実数とする）、それぞれｘ，ｙを超えない最大の整数であるｉ，ｊを画素座標とする入力画素（ｉ，ｊ）（すなわち、補間画素に隣接する左上の入力画素）を選択すればよい。もしくは、（ｘ，ｙ）とのユークリッド距離が最も小さくなる入力画素を選択してもよい。また、画素値（濃度値）は、入力画像がグレースケール方式の場合は階調値とし、ＲＧＢ方式である場合、Ｒ，Ｇ，Ｂの３成分から算出される値を用いてもよい。Ｒ，Ｇ，Ｂの３成分から算出される値の例として、３成分の平均値や最大値、また輝度成分に変換した値が挙げられる。
【００３５】
次に、エッジ勾配方向設定部６３は、図５に示す１次微分フィルタを用いて、選択した入力画素（ｉ，ｊ）における水平方向の１次微分値Ｇｘ（ｉ，ｊ）および垂直方向の１次微分値Ｇｙ（ｉ，ｊ）を次式に従って算出する。
【００３６】
Ｇｘ（ｉ，ｊ）＝ＩＮ（ｉ＋１，ｊ−１）＋ＩＮ（ｉ＋１，ｊ）×ａ
＋ＩＮ（ｉ＋１，ｊ＋１）−ＩＮ（ｉ−１，ｊ−１）
−ＩＮ（ｉ−１，ｊ）×ａ−ＩＮ（ｉ−１，ｊ＋１）・・式（１−１）
Ｇｙ（ｉ，ｊ）＝ＩＮ（ｉ−１，ｊ＋１）＋ＩＮ（ｉ，ｊ＋１）×ａ
＋ＩＮ（ｉ＋１，ｊ＋１）−ＩＮ（ｉ−１，ｊ−１）
−ＩＮ（ｉ，ｊ−１）×ａ−ＩＮ（ｉ＋１，ｊ−１）・・式（１−２）
ただし、ＩＮ（ｉ，ｊ）は、座標（ｉ，ｊ）における入力画素値を表す。また、ｉ，ｊは自然数である。そして、エッジ勾配方向設定部６３は、水平方向の１次微分値Ｇｘおよび垂直方向の１次微分値ＧｙからなるベクトルＧ＝（Ｇｘ，Ｇｙ）をエッジ勾配とする。
【００３７】
なお、１次微分フィルタの係数ａは任意の正の係数とし、ａ＝１の場合、１次微分フィルタはPrewittフィルタ、ａ＝２の場合、Sobelフィルタとして使用することができる。また、１次微分フィルタは図５に挙げるような３×３画素のサイズのフィルタに限定されるものではない。参照ブロックの大きさに応じて１次微分フィルタのサイズを設定すればよい。すなわち、１次微分フィルタは、参照ブロック内の画素のみを用いることを条件としてより大きいサイズが決定される。例えば、図４の（ｂ）に示されるような参照ブロックの場合、５×５のサイズの１次微分フィルタを使用することができる。
【００３８】
続いて、エッジ勾配方向設定部６３は、算出されたエッジ勾配を用いて、補間画素のエッジ勾配方向を設定する。
【００３９】
図６は、直交座標上におけるエッジ勾配Ｇ＝（Ｇｘ，Ｇｙ）を示す図である。エッジ勾配Ｇの角度θは、ＧｘとＧｙの逆正接θ＝atan｛Ｇｙ／Ｇｘ｝より与えられるが、逆正接の演算は一般的に複雑な処理を必要とする。また、本実施形態では微小な角度差を考慮する必要はない。本実施形態では、エッジ勾配方向として、水平方向、垂直方向のほか、ＧｘとＧｙの比が整数比となるようないくつかの方向のうちいずれかに分類されることが望ましい。そこで、全ての方向を複数区域に分割し、エッジ勾配方向設定部６３は、エッジ勾配Ｇが属する区域をエッジ勾配方向として設定する。
【００４０】
図７は、全ての方向を複数区域に分割した例を示す。下記の規則に従い、全ての方向が分割されている。
・水平方向軸を中心とする区域を設ける。
・垂直方向軸を中心とする区域を設ける。
・Ｇｘ：Ｇｙ＝１：±１となる方向を中心とする区域を設ける。
・Ｇｘ：Ｇｙ＝１：±ＬＶとなる方向を中心とする区域を設ける。
【００４１】
（ＬＶ＝２，…，ＬＶＭａｘ）
・Ｇｘ：Ｇｙ＝ＬＨ：±１となる方向を中心とする区域を設ける。
【００４２】
（ＬＨ＝２，…，ＬＨＭａｘ）
ただし、ＬＶＭａｘおよびＬＨＭａｘは２以上の任意の自然数とし、参照ブロックのサイズに応じて設定される。たとえば、Ｍ＝Ｎ＝４のときＬＶＭａｘ＝ＬＨＭａｘ＝３、Ｍ＝Ｎ＝６のときＬＶＭａｘ＝ＬＨＭａｘ＝５とするのが望ましい。
【００４３】
上記の規則により、全方向は｛８＋４（ＬＶＭａｘ＋ＬＨＭａｘ−２）｝個に分割される。全方向を分割した数の半分の数をエッジ勾配方向の分割数ＮＢ＝４＋２（ＬＶＭａｘ＋ＬＨＭａｘ−２）とするとき、垂直方向を中心とする区域をＢ０として、右回り順にＢ１，…，ＢＮＢ−１と呼ぶことにする（すなわち、ｋ＝０，１，…，ＮＢ−１とするとき、Ｂｋと表わされる区域はそれぞれ２個ずつ存在する）。なお、エッジ方向はエッジ勾配方向と直交する方向となるため、エッジ勾配方向がＢ０のときエッジ方向は水平方向となる。
【００４４】
図８は、エッジ勾配Ｇ＝（Ｇｘ，Ｇｙ）を用いたエッジ勾配方向の設定処理の流れを示すフローチャートである。まず、エッジ勾配方向設定部６３は、ＧｘおよびＧｙを用いて下記判定式（２−１）で算出されるエッジ勾配が所定閾値τθ（例えば１６）より小さいか否か判定する（Ｓ８１）。
｜Ｇｘ｜＋｜Ｇｙ｜＜τθ      ・・・（２−１）
エッジ勾配が所定閾値τθより小さいとき、エッジ勾配方向設定部６３は、エッジ方向の推定が不可であると判定して、エッジ勾配方向φ＝Ｂ０と設定する（Ｓ８２）。
【００４５】
エッジ勾配が所定閾値τθより大きいとき、エッジ勾配方向設定部６３は、下記判定式（２−２）を満たすか否かを判定する（Ｓ８３）。
Ｇｘ×Ｇｙ≧０                ・・・（２−２）
なお、判定式（２−２）はＧｘ、Ｇｙの符号が同一であるか否かを判断している。
【００４６】
判定式２−２を満たすとき、エッジ勾配方向設定部６３は、下記判定式（２−３）を満たすか否か判定する（Ｓ８４）。
τ０×｜Ｇｘ｜≦｜Ｇｙ｜      ・・・（２−３）
なお、判定式（２−３）における係数τ０は任意の定数で与えられ、たとえばτ０＝１３とする。判定式（２−３）を満たすとき、エッジ勾配方向設定部６３は、エッジ勾配Ｇがほぼ垂直方向の向きにあると判定し、エッジ勾配方向φ＝Ｂ０と設定する（Ｓ８５）。
【００４７】
判定式（２−３）を満たさないとき、エッジ勾配方向設定部６３は、下記判定式（２−４）を満たすか否か判定する（Ｓ８６）。
τ１×｜Ｇｘ｜≦｜Ｇｙ｜      ・・・（２−４）
なお、判定式（２−４）における係数τ１は任意の定数で与えられ、たとえばτ１＝２．５とする。判定式（２−４）を満たすとき、エッジ勾配方向設定部６３は、エッジ勾配ＧがほぼＧｘ：Ｇｙ＝１：ＬＶＭａｘの向きにあると判定し、エッジ勾配方向φ＝Ｂ１とする（Ｓ８７）。
【００４８】
以下、同様にして、エッジ勾配方向設定部６３は、下記判定式（２−５）を用いた条件判定を行い（Ｓ８８）、判定式（２−５）を満たすとき、エッジ勾配方向φ＝Ｂｋとする（Ｓ８９）。
τｋ×｜Ｇｘ｜≦｜Ｇｙ｜      ・・・（２−５）
判定式（２−５）を満たさないとき、ｋ＝ｋ＋１に更新し、判定式（２−５）による判定を反復する。エッジ勾配方向設定部６３は、ｋ＝ＮＢ／２−１において判定式（２−５）を満たすか否かを判定し（Ｓ９０、Ｓ９１）、判定式（２−５）を満たさないとき、エッジ勾配方向φ＝ＢＮＢ／２とし（Ｓ９２）、判定式（２−５）による判定を終了する。
【００４９】
なお、上記に挙げた係数τ０，…，τＮＢ／２−１は、以下の規則に従って設定される任意の係数である。
・τ０＞ ＬＶＭａｘ
・ｋ＝１，…，ＬＶＭａｘ−１について、ＬＶＭａｘ−ｋ＜τｋ＜ ＬＶＭａｘ−ｋ＋１
・ｋ＝ＬＶＭａｘ，…，ＮＢ／２−１について、
１／（ｋ−ＬＶＭａｘ＋２）＜τｋ＜１／（ｋ−ＬＶＭａｘ＋１）
・０＜τＮＢ／２−１＜１／ＬＨＭａｘ
たとえば、ＬＨＭａｘ＝ＬＶＭａｘ＝３、すなわちＮＢ＝１２のとき、τ０＝１３、τ１＝５／２、τ２＝３／２、τ３＝２／３、τ２＝２／５、τ５＝１／１３と設定することができる。係数τ０，…，τＮＢ／２−１は、関係する2つの隣り合うエッジ勾配方向の境界となる角度のＧｘとＧｙの比を表わしており、たとえばτ２の場合、Ｇｘ：Ｇｙ＝１：２の方向を示すＢ２と、Ｇｘ：Ｇｙ＝１：１の方向を示すＢ３との境界に関係しており、たとえばτ２＝３／２とすると、Ｇｘ：Ｇｙ＝１：１．５の方向がＢ２とＢ３の境界の方向となる。
【００５０】
一方、判定式２−２を満たさない場合、エッジ勾配方向設定部６３は、上記判定式（２−３）を満たすか否かを判定する（Ｓ９３）。判定式２−３を満たすとき、エッジ勾配方向設定部６３は、エッジ勾配ベクトルＧがほぼ垂直方向の向きにあると判定し、エッジ勾配方向φ＝Ｂ０とする（Ｓ９４）。
【００５１】
上記判定式（２−３）を満たさないとき、上記判定式（２−４）を満たすか否かが判定される（Ｓ９５）。判定式２−４を満たすとき、エッジ勾配ＧがほぼＧｘ：Ｇｙ＝１：−ＬＶＭａｘの向きにあると判定され、エッジ勾配方向φ＝ＢＮＢ−１と設定される（Ｓ９６）。
【００５２】
以下、同様にして上記判定式（２−５）を用いた条件判定を行い（Ｓ９５、Ｓ９７，Ｓ９９）、エッジ勾配方向φが設定される。つまり、判定式（２−５）を満たすとき、エッジ勾配方向φ＝ＢＮＢ−ｋと設定される（Ｓ９６、Ｓ９８，Ｓ１００）。判定式２−５を満たさないとき、ｋ＝ｋ＋１に更新し、判定式（２−５）による判定を反復する。ｋ＝ＮＢ／２−１において判定式２−５を満たさないとき、エッジ勾配方向φ＝ＢＮＢ／２とし（Ｓ１０１）、判定式（２−５）による判定を終了する。以上の処理により、補間画素のエッジ勾配方向φを設定することができる。
【００５３】
補間処理部６４は、参照ブロック設定部６２で設定された参照ブロックと、エッジ勾配方向設定部６３で決定されたエッジ勾配方向を用いて、補間画素における画素値を算出する。
【００５４】
図９は、補間処理部６４の構成を示すブロック図である。図示されるように、補間処理部６４は、仮参照座標設定部６５と、参照画素値設定部６６と、補間画素値算出部６７とを備えている。
【００５５】
仮参照座標設定部６５は、補間画素を内包し、かつエッジ方向と平行な二辺（エッジ勾配方向に垂直な二辺）を持つ平行四辺形の頂点となる４点を設定し、その座標を仮参照座標として指定する。平行四辺形には正方形も含まれる。また、平行四辺形の頂点となる４点は、整数の座標値をとる点が設定される。
【００５６】
図１０は、参照ブロックをＭ＝Ｎ＝４、ＬＨＭａｘ＝ＬＶＭａｘ＝３とし、エッジ勾配方向の分割数をＮＢ＝１２とした場合における、補間画素のエッジ勾配方向φに対する平行四辺形の設定例を示す。前述の通り、エッジ勾配方向φとエッジ方向は直交することに注意する。仮参照座標設定部６５は、このようにして設定した平行四辺形の４つの頂点の座標を、仮参照座標として指定する。なお、図１０に示す通り、少なくとも２点は、参照ブロック内の入力画素の点が選択される。図１０に示す例（Ｍ＝Ｎ＝４、ＬＨＭａｘ＝ＬＶＭａｘ＝３）では、一部のエッジ勾配方向（たとえばφ＝Ｂ１０など）において、平行四辺形を構成する４点のうち１点ないし２点が、参照ブロック外に位置する場合もあるが、この段階では参照ブロックの内部もしくは外側のどちらに所属するかは特に考慮する必要は無い。また、図１０は、補間画素がグレーで示した範囲に存在する場合の例であり、たとえばφ＝Ｂ２の場合、仮参照座標設定部６５は、補間画素を内包する平行四辺形を設定するため、補間画素の位置に応じて図１１のように平行四辺形の位置を変更し、４つの仮参照座標を指定する。φ＝Ｂ１−Ｂ５，Ｂ７−Ｂ１１も同様に、仮参照座標設定部６５は、補間画素の位置が含まれるように平行四辺形の位置を変更して、４つの仮参照座標を指定する。
【００５７】
なお、図１０に示す例では、仮参照座標設定部６５は、いずれのエッジ勾配方向においても同じ面積となる平行四辺形を設定する。Ｂ０−Ｂ３，Ｂ１０，Ｂ１１では、エッジ方向に平行な二辺と水平方向に平行な二辺とを持つ平行四辺形が設定され、Ｂ４−Ｂ９では、エッジ方向に平行な二辺と垂直方向に平行な二辺とを持つ平行四辺形が設定される。
【００５８】
仮参照座標の設定方法は前述の例に限定する必要は無く、参照ブロックのサイズやエッジ勾配方向の分割方法によって可変とすることができる。図１２Ａおよび図１２Ｂは、参照ブロックをＭ＝Ｎ＝６、ＬＨＭａｘ＝ＬＶＭａｘ＝５、エッジ勾配方向の分割数をＮＢ＝２０とした場合の仮参照座標４点の設定例である。
【００５９】
仮参照座標設定部６５は、このように得られた４点の仮参照座標をそれぞれＰ１，Ｐ２，Ｐ３，Ｐ４とし、Ｐ１〜Ｐ４を参照画素値設定部に出力する。なお、Ｐ１は左上頂点，Ｐ２は右上頂点，Ｐ３は右下頂点，Ｐ４は左下頂点である。
【００６０】
参照画素値設定部６６は、仮参照座標設定部６５から受けた仮参照座標に対応する画素値をそれぞれ設定する。図１３は、仮参照座標から対応する画素値を設定するための処理を示したフローチャートである。
【００６１】
まず、参照画素値設定部６６は、仮参照座標Ｐｋ（ただし、ｋ＝１，２，３，４）が参照ブロックに含まれるかどうかを判定する（Ｓ１３１）。仮参照座標Ｐｋが参照ブロックに含まれる場合、参照画素値設定部６６は、仮参照座標Ｐｋに対応する画素値ｆｋとして、仮参照座標Ｐｋに位置する入力画素の画素値ＩＮＰｋを設定する（Ｓ１３２）。
【００６２】
仮参照座標Ｐｋが参照ブロックの外側に位置する場合、参照画素値設定部６６は、図１４に示すように、仮参照座標Ｐｋを端とする平行四辺形の一辺と参照ブロックの境界との交点を点Ｒ、点Ｒを挟んで参照ブロックの境界上に位置する両側の入力画素をそれぞれ点Ｓ，点Ｔとする（Ｓ１３３）。そして、参照画素値設定部６６は、ＳＲ：ＲＴ＝α：１−αとするとき（ただし０≦α≦１とする）、仮参照座標Ｐｋの画素値ｆｋを次式（３）に従って算出する（Ｓ１３４）。
ｆｋ＝（１−α）ＩＮＳ＋αＩＮＴ      ・・・（３）
ただし、ＩＮＳは入力画素Ｓにおける画素値、ＩＮＴは入力画素Ｔにおける画素値を示す。
【００６３】
たとえば図１４に示す例の場合、参照ブロック外に位置するＰ３に対して、参照ブロックの境界上に仮想的な画素Ｒが置かれ、ＳＲ：ＲＴ＝２／３：１／３となる（すなわちα＝２／３）。従って、仮参照座標Ｐ３における画素値ｆ３は、式（３）よりｆ３＝（１／３）ＩＮＳ＋（２／３）ＩＮＴより得られる。
【００６４】
参照画素値設定部６６は、図１３に示す処理をＰ１，Ｐ２，Ｐ３およびＰ４の４つの仮参照座標に対して実行し、それぞれに対応する画素値ｆ１、ｆ２、ｆ３およびｆ４を算出する。
【００６５】
このように、参照画素値設定部６６は、仮参照座標が参照ブロック外に位置していても、参照ブロックの境界上に点Ｒをとり、参照ブロック内の入力画素から内挿的に仮参照座標に対する画素値を与える。すなわち、参照ブロック設定部６２により設定された参照ブロック内の入力画素のみを参照することで、各仮参照座標の画素値を設定することができる。
【００６６】
補間画素値算出部６７は、前述の４つの仮参照座標および対応する画素値から、補間演算により補間画素の画素値を算出する。図１５は、補間画素値算出部６７が実行する処理のフローチャートを示す図である。なお、以下の説明では、補間画素上の点をＰ０とし、その座標を（ｐｘ、ｐｙ）とする。
【００６７】
まず、補間画素値算出部６７は、補間画素のエッジ勾配方向φが、第１方向群および第２方向群のいずれに属するかを判定する（Ｓ１５１）。ここで、第１方向群は、エッジ勾配Ｇ＝（Ｇｘ，Ｇｙ）について｜Ｇｘ｜＜｜Ｇｙ｜となる方向およびＧｘ＝Ｇｙとなる方向集合であり、第２方向群は、第１方向群に含まれない方向の集合である。たとえばＮＢ＝１２の場合、第１および第２方向群は以下の通り分類される。
第１方向群：Ｂ０，Ｂ１，Ｂ２，Ｂ３，Ｂ１０，Ｂ１１
第２方向群：Ｂ４，Ｂ５，Ｂ６、Ｂ７，Ｂ８，Ｂ９
第１方向群は、エッジ方向に平行な二辺と水平方向に平行な二辺とを持つ平行四辺形の頂点が仮参照座標として設定される方向である。また、第２方向群は、エッジ方向に平行な二辺と垂直方向に平行な二辺とを持つ平行四辺形の頂点が仮参照座標として設定される方向である。
【００６８】
φが第１方向群に属する場合、補間画素値算出部６７は、Ｐ０を通り、辺Ｐ１Ｐ４（左辺）に平行な直線と辺Ｐ１Ｐ２（上辺）との交点Ｑ１２および当該直線と辺Ｐ３Ｐ４（下辺）との交点Ｑ３４を設定する（Ｓ１５２）。図１６の（ａ）は、φが第１方向群に属する場合に、Ｐ０に対する交点Ｑ１２およびＱ３４の設定方法の例を示す図である。
【００６９】
次に、補間画素値算出部６７は、下記の式（４）に従い、Ｐ１とＱ１２との距離ｄｘ、および辺Ｐ１Ｐ２とＰ０との距離ｄｙを算出する（Ｓ１５３）。
ｄｘ＝ｄｉｓｔ｛Ｐ１，Ｑ１２｝  ，ｄｙ＝ｐｙ−［ｐｙ］    ・・・（４）
ただし、ｄｉｓｔ｛Ａ，Ｂ｝は点Ａ，Ｂ間の距離であり、［ｘ］は、ｘを超えない最大の整数である。たとえば、Ｍ＝Ｎ＝４とし、図７のようにエッジ勾配方向を分割する場合、補間画素Ｐ０（ｉ＋５／６，ｊ＋１／２）の位置でエッジ勾配方向φ＝Ｂ１のとき、図１７に示されるように交点Ｑ１２およびＱ３４が設定される。このとき、Ｑ１２の座標は（ｉ−２／３，ｊ）となり、式（４）より以下のように距離ｄｘ，ｄｙが算出される。
【００７０】
【数１】
2014085892.tif 000003
【００７１】
続いて、補間画素値算出部６７は、Ｐ１，Ｐ２，Ｐ３およびＰ４から、初めに水平方向の線形補間によりＱ１２およびＱ３４における画素値を算出し、続いてＱ１２およびＱ３４の画素値から垂直方向の線形補間によりＰ０の画素値を算出する（Ｓ１５４）。この水平補間および垂直補間は、次式のように１つの式にまとめることができる。
ＯＵＴ＝（１−ｄｙ）×｛（１−ｄｘ）×ｆ１＋ｄｘ×ｆ２｝
＋ｄｙ×｛ｄｘ×ｆ３＋（１−ｄｘ）×ｆ４｝      ・・・（５）
【００７２】
φが第２方向群に属する場合、補間画素値算出部６７は、Ｐ０を通り、辺Ｐ１Ｐ２（上辺）に平行な直線と辺Ｐ１Ｐ４（左辺）との交点Ｑ１４および当該直線と辺Ｐ２Ｐ３（右辺）との交点Ｑ２３を設定する（Ｓ１５５）。図１６の（ｂ）は、φが第２方向群に属する場合に、Ｐ０に対する交点Ｑ１４およびＱ２３の設定方法の例を示す図である。
【００７３】
次に、補間画素値算出部６７は、下記の式（６）に従い、辺Ｐ１Ｐ４とＰ０との距離ｄｘ、およびＰ１とＱ１４との距離ｄｙを算出する（Ｓ１５６）。
ｄｘ＝ｐｘ−［ｐｘ］  ，ｄｙ＝ｄｉｓｔ｛Ｐ１，Ｑ１４｝    ・・・（６）
【００７４】
続いて、補間画素値算出部６７は、Ｐ１，Ｐ２，Ｐ３およびＰ４から、初めに垂直方向の線形補間によりＱ１４およびＱ２３における画素値を算出し、続いてＱ１４およびＱ２３の画素値から水平方向の線形補間によりＰ０の画素値を算出する（Ｓ１５７）。この垂直補間および水平補間は、次式のように１つの式にまとめることができる。
ＯＵＴ＝（１−ｄｘ）×｛（１−ｄｙ）×ｆ１＋ｄｙ×ｆ４｝
＋ｄｘ×｛（１−ｄｙ）×ｆ２＋ｄｙ×ｆ３｝      ・・・（７）
【００７５】
式（５）および式（７）はいずれも次式のように整理することができる。
ＯＵＴ＝（１−ｄｘ）×（１−ｄｙ）×ｆ１＋ｄｘ×（１−ｄｙ）×ｆ２
＋ｄｘ×ｄｙ×ｆ３＋（１−ｄｘ）×ｄｙ×ｆ４      ・・・（８）
【００７６】
このように、補間画素値算出部６７は、エッジ方向に沿った平行四辺形の形状に従った線形補間により補間画素の画素値を算出するため、エッジ方向に依存した補間が可能となる。また、補間画素値算出部６７は、仮参照画素が参照ブロックの内にあるか外にあるかにかかわらず、参照ブロック内の入力画素の画素値を用いて補間画素の画素値を算出することができる。
【００７７】
なお、入力される画像がグレースケール画像である場合、参照画素値設定部６６および補間画素値算出部６７は、階調値を用いて画素値を算出する。一方、入力される画像がＲＧＢ方式である場合、参照画素値設定部６６および補間画素値算出部６７は、Ｒ，Ｇ，Ｂの成分毎に画素値を求める。すなわち、参照画素値設定部は、仮参照座標Ｐｋ（ｋ＝１，２，３，４）における画素値のＲ成分ｆｋＲ、Ｇ成分ｆｋＧ、Ｂ成分ｆｋＢを算出する。そして、補間画素値算出部は、補間画素における画素値のＲ成分ＯＵＴＲ、Ｇ成分ＯＵＴＧおよびＢ成分ＯＵＴＢを算出する。
ＯＵＴＲ＝（１−ｄｘ）×（１−ｄｙ）×ｆ１Ｒ＋ｄｘ×（１−ｄｙ）×ｆ２Ｒ
＋ｄｘ×ｄｙ×ｆ３Ｒ＋（１−ｄｘ）×ｄｙ×ｆ４Ｒ
ＯＵＴＧ＝（１−ｄｘ）×（１−ｄｙ）×ｆ１Ｇ＋ｄｘ×（１−ｄｙ）×ｆ２Ｇ
＋ｄｘ×ｄｙ×ｆ３Ｇ＋（１−ｄｘ）×ｄｙ×ｆ４Ｇ
ＯＵＴＢ＝（１−ｄｘ）×（１−ｄｙ）×ｆ１Ｂ＋ｄｘ×（１−ｄｙ）×ｆ２Ｂ
＋ｄｘ×ｄｙ×ｆ３Ｂ＋（１−ｄｘ）×ｄｙ×ｆ４Ｂ    ・・・（９）
【００７８】
（エッジ勾配の算出に関する変形例１）
上記の説明では、図５に示すような水平方向および垂直方向１つずつの１次微分フィルタを用いてエッジ勾配を算出するものとした。しかしながら、文字画像のような１画素幅のエッジに対しては、図５に示す１次微分フィルタでは検出できない場合がある。例えば、０−１００−０という画素値が並ぶとき、両端は０となっているため１次微分値も０となる。そこで、エッジ勾配方向設定部６３は、複数の１次微分フィルタを適用し、対象画素のエッジ勾配を決定してもよい。
【００７９】
例えば、エッジ勾配方向設定部６３は、図１８に示されるように、水平方向および垂直方向３つずつの１次微分フィルタを用いて対象画素のエッジ勾配を算出してもよい。図１８において、（ａ）は図５に示すフィルタと同じ第１の水平方向１次微分フィルタＦＨ１であり、（ｂ）は図５に示すフィルタと同じ第１の垂直方向１次微分フィルタＦＶ１である。また、（ｃ）は、第１の水平方向１次微分フィルタＦＨ１に対して、中央列を左側の列で置き換え、さらに左側の列の値をゼロとした第２の水平方向１次微分フィルタＦＨ２である。（ｅ）は、第１の水平方向１次微分フィルタＦＨ１に対して、中央列を右側の列で置き換え、さらに右側の列の値をゼロとした第３の水平方向１次微分フィルタＦＨ３である。同様に、（ｄ）は、第１の垂直方向１次微分フィルタＦＶ１に対して、中央段を上段で置き換え、さらに上段の値をゼロとした第２の垂直方向１次微分フィルタＦＶ２である。（ｆ）は、第１の垂直方向１次微分フィルタＦＶ１に対して、中央段を下段で置き換え、さらに下段の値をゼロとした第３の垂直方向１次微分フィルタＦＶ３である。
【００８０】
エッジ勾配方向設定部６３は、ＦＨ１およびＦＶ１を適用して得られた１次微分値をＧｘ１およびＧｙ１、ＦＨ２およびＦＶ２を適用して得られた１次微分値をＧｘ２およびＧｙ２、ＦＨ３およびＦＶ３を適用して得られた１次微分値をＧｘ３およびＧｙ３とするとき、水平方向および垂直方向の１次微分値の絶対値和が最大となるフィルタの組の１次微分値をエッジ勾配として用いる。
【００８１】
【数２】
2014085892.tif 000004
【００８２】
本変形例によれば、第１の１次微分フィルタに加えて、第２，第３の１次微分フィルタを併用することで、１画素幅のエッジも検出できるようになる。
【００８３】
なお、第２、第３の１次微分フィルタは特に文字画像に有効であるが、実装するモニタ等が実写映像などの表示に限定する場合は第１の１次微分フィルタのみでも充分な効果を発揮できる。
【００８４】
（エッジ勾配の算出に関する変形例２）
上記の説明では、入力画像がＲＧＢ方式である場合に、３つの成分から算出される値（平均値や最大値など）を単一の画素値として用い、エッジ勾配を算出した。しかしながら、エッジ勾配方向設定部６３は、複数の画素値を用いてエッジ勾配を算出してもよい。
【００８５】
エッジ勾配方向設定部６３は、上述したエッジ勾配算出処理方法を用いて、Ｒ，Ｇ，Ｂの成分毎にエッジ勾配を算出する。算出されたＲ成分のエッジ勾配を（ＧＲｘ，ＧＲｙ）、Ｇ成分のエッジ勾配を（ＧＧｘ，ＧＧｙ）、Ｂ成分のエッジ勾配を（ＧＢｘ，ＧＢｙ）とする。そして、エッジ勾配方向算出処理部は、Ｒ，Ｇ，Ｂ成分毎に、エッジ勾配の垂直方向成分および水平方向成分の絶対値の和を算出し、絶対値の和が最大となる成分のエッジ勾配を対象画素のエッジ勾配（Ｇｘ，Ｇｙ）とする。
【００８６】
【数３】
2014085892.tif 000005
【００８７】
本変形例によれば、単一の画素値で算出する場合に比べ、各色成分の傾向を考慮したエッジ勾配を決定することができる。たとえばＲ，Ｇ，Ｂ成分が（０，０，１００）と（１００，０，０）の画素間では、Ｒ成分およびＢ成分において変化が見られるが、３成分の平均値や最大値による単一の画素値を用いると、両画素で同一の画素値となり、エッジ勾配を検出できない。そのため、色成分毎にエッジ勾配を算出し、そのうち最も大きなものを採用することで、色成分を考慮したエッジ勾配を設定することができる。
【００８８】
（エッジ勾配方向の設定に関する変形例）
上記の説明では、エッジ勾配方向設定部６３は、参照ブロックを構成する入力画素のうち選択した一つの入力画素におけるエッジ勾配を基に、補間画素のエッジ勾配方向を設定した。しかしながら、エッジ勾配方向設定部６３は、参照ブロックを構成する入力画素のうち２つ以上の入力画素の各々において得られたエッジ勾配から補間画素のエッジ勾配方向を設定してもよい。以下、この方法について述べる。
【００８９】
エッジ勾配方向設定部６３は、補間画素のエッジ勾配方向を決定するために、参照ブロックからＮＤ個の対象画素を選択する。ただし、ＮＤは２以上の自然数とする。図１９は、補間画素のエッジ勾配方向を決定するために選択されたＮＤ個の対象画素の例を示した図である。図１９に示されるように、例えば、エッジ勾配方向算出処理部は、補間画素を取り囲む４つの入力画素を対象画素として選択する。
【００９０】
次に、エッジ勾配方向設定部６３は、ＮＤ個の対象画素それぞれについてエッジ勾配の算出を行う。この算出方法は上述した方法を用いる。ここで、対象画素Ｑｋ（ただしｋ＝１，…，ＮＤとする）に関して算出されたエッジ勾配を（Ｇｘｋ，Ｇｙｋ）とする。
【００９１】
エッジ勾配方向設定部６３は、ＮＤ個のエッジ勾配（Ｇｘｋ，Ｇｙｋ）を用いて、補間画素におけるエッジ勾配（Ｇｘ，Ｇｙ）を決定して、補間画素のエッジ勾配方向を算出する。初めに、エッジ勾配方向設定部６３は、第１象限と第４象限における、すなわちＧｘｋの値を正に固定したときのＧｘｋの総和ＳＧｘｐｏｓとＧｙｋの総和ＳＧｙｆｒｅｅとを算出する。
【００９２】
【数４】
2014085892.tif 000006
【００９３】
ただし、sign（ｘ）は、引数ｘが０以上のとき１を、ｘが負のとき−１を返す符号関数である。同様に、エッジ勾配方向設定部６３は、第１象限と第２象限における、すなわちＧｙｋの値を正に固定したときのＧｙｋの総和ＳＧｙｐｏｓとＧｘｋの総和ＳＧｘｆｒｅｅを算出する。
【００９４】
【数５】
2014085892.tif 000007
【００９５】
続いて、エッジ勾配方向設定部６３は、ＳＧｘｐｏｓとＳＧｙｆｒｅｅの絶対値の和Ｓｘと、ＳＧｘｆｒｅｅとＳＧｙｐｏｓの絶対値の和Ｓｙを求める。Ｓｘ≧Ｓｙとなるとき、エッジ勾配方向算出処理部は、補間画素のエッジ勾配（Ｇｘ，Ｇｙ）＝（ＳＧｘｐｏｓ，ＳＧｙｆｒｅｅ）とし、Ｓｘ＜Ｓｙとなるとき、補間画素のエッジ勾配（Ｇｘ，Ｇｙ）＝（ＳＧｘｆｒｅｅ，ＳＧｙｐｏｓ）とする。
【００９６】
続いて、エッジ勾配方向設定部６３は、得られたエッジ勾配（Ｇｘ，Ｇｙ）を用いて補間画素のエッジ勾配方向を設定する。エッジ勾配方向については、上記説明の方法（図８に示す方法）と同様のため、ここでは説明を省略する。
【００９７】
たとえば、ＮＤ＝４とし、（Ｇｘ１，Ｇｙ１）＝（２００，１００）、（Ｇｘ２，Ｇｙ２）＝（−１００，２００）、（Ｇｘ３，Ｇｙ３）＝（１００，−１００）、（Ｇｘ４，Ｇｙ４）＝（−１００，−２００）とするとき、
ＳＧｘｐｏｓ＝２００＋１００＋１００＋１００＝５００
ＳＧｙｆｒｅｅ＝１００＋２００×（−１）＋（−１００）＋（−２００）×（−１）＝０
ＳＧｘｆｒｅｅ＝２００＋（−１００）＋１００×（−１）＋（−１００）×（−１）
＝１００
ＳＧｙｐｏｓ＝１００＋２００＋１００＋２００＝６００
となり、
Ｓｘ＝|ＳＧｘｐｏｓ｜＋｜ＳＧｙｆｒｅｅ｜＝５００，
Ｓｙ＝|ＳＧｘｆｒｅｅ｜＋｜ＳＧｙｐｏｓ｜＝７００
となる。そのため、エッジ勾配方向設定部６３は、補間画素のエッジ勾配を（Ｇｘ，Ｇｙ）＝（１００，６００）に設定する。
【００９８】
単一の入力画素のみからエッジ勾配方向を算出する場合、選択された入力画素がノイズ等により正しくエッジ勾配方向を算出できない場合もある。しかしながら、本変形例によれば、エッジ勾配方向設定部６３は、周囲のエッジ勾配を上記のように統合して、垂直方向のバラつきおよび水平方向のバラつきを考慮することにより、ノイズに強いエッジ勾配方向を設定することができる。
【００９９】
（その他）
なお、上記の説明では、エッジ勾配方向を求めるために、１次微分フィルタを用いた方法を挙げたが、他の方法を用いてエッジ勾配方向を設定してもよい。エッジ勾配方向の他の算出方法として、たとえばテンプレートマッチングが挙げられる。図２０に示すような特定の方向に対応したテンプレートのフィルタを用いて、エッジ勾配方向設定部６３は、各画素においてフィルタ演算により算出した値をエッジ量とする。そして、エッジ勾配方向算出処理部は、テンプレート毎に算出されたエッジ量が最大となるテンプレートに対応する方向からエッジ勾配方向を求めればよい。エッジ勾配方向を求める方法は特に指定しない。例として、エッジ量が最大となる方向θ１の両隣の方向のエッジ量のうち、大きな値を取る方の方向をθ２とし、θ１とθ２におけるエッジ量を重みとしてθ１とθ２を加重平均して方向θ３を求め、予め決められたＮＢ個の方向のうちθ３に最も近い方向をエッジ勾配方向としてもよい。
【０１００】
なお、図２０はテンプレートの一例を示す図であり、テンプレートのサイズを大きくすることで方向のパターンを増加することもできる。
【０１０１】
〔実施形態２〕
上記の実施形態１では、算出されたエッジ勾配方向に応じて補間処理を行う方法について説明した。しかしながら、例えば前景オブジェクトに対して背景領域がボケ気味の画像などでは、エッジ勾配方向が常に信頼できるものとは限らず、またノイズ等の影響により誤ったエッジ勾配方向を算出してしまう場合も考えられる。そこで、本実施形態では、算出したエッジ勾配方向に対してその信頼度を評価し、信頼度が低い場合にはエッジ勾配方向に依存しない補間に切り替える。
【０１０２】
（スケーラー処理部の構成）
図２１は、本実施形態に係るスケーラー処理部６１’の構成を示すブロック図である。スケーラー処理部６１’は、参照ブロック設定部６２、エッジ勾配方向設定部７３、信頼度算出部７４、第１補間処理部７５、第２補間処理部７６、および混合処理部７７を備えている。
【０１０３】
図２２は、エッジ勾配方向設定部７３の構成を示すブロック図である。エッジ勾配方向設定部７３は、エッジ勾配算出部７８と、第１設定部７９と、第２設定部８０とを備えている。
【０１０４】
エッジ勾配算出部７８は、後段の第１設定部７９および第２設定部８０においてエッジ勾配方向を設定するために必要となる、複数の選択画素におけるエッジ勾配を算出する。具体的には、エッジ勾配算出部７８は、参照ブロック内のＮＤＧＲＤ個の画素を選択画素として選択する。但し、ＮＤＧＲＤは２以上の自然数とする。例えば、エッジ勾配算出部７８は、補間画素を取り囲む４つの画素を選択画素として選択すればよい。そして、エッジ勾配算出部７８は、各選択画素について、実施形態１におけるエッジ勾配方向設定部６３のエッジ勾配の算出方法と同様の方法により、エッジ勾配を算出する。処理内容については前述のためここでは説明を省略する。
【０１０５】
第１設定部７９は、ＮＤＧＲＤ個の選択画素からさらに選択したＮＤ個の選択画素の各々におけるエッジ勾配方向を設定する。ただし、ＮＤは２以上ＮＤＧＲＤ以下の自然数とする。例えば、第１設定部７９は、ＮＤＧＲＤ個全ての選択画素を選択してもよいし、補間画素に近い上位２つの選択画素を選択してもよい。ＮＤ個の選択画素の各々におけるエッジ勾配方向を設定するため、出力されるエッジ勾配方向もＮＤ個となる。各選択画素におけるエッジ勾配方向の設定方法については、実施形態１と同様である。すなわち、第１設定部７９は、選択画素に対して算出されたエッジ勾配を基に図８に従ってエッジ勾配方向を設定すればよい。
【０１０６】
第２設定部８０は、ＮＤＧＲＤ個の選択画素からさらに選択したＮＰ個の選択画素のエッジ勾配を用いて、補間画素のエッジ勾配方向を算出する。ただし、ＮＰは１以上ＮＤＧＲＤ以下の自然数とする。第２設定部８０におけるエッジ勾配方向の設定方法は、ＮＰ＝１のときは図８に従った方法と同様であり、ＮＰが２以上のときは実施形態１の（エッジ勾配方向の設定に関する変形例）と同様であるため、ここでは説明を省略する。
【０１０７】
なお、エッジ勾配算出部７８におけるＮＤＧＲＤ個の選択画素のエッジ勾配は、第１設定部７９もしくは第２設定部８０の少なくとも一方で必ず選択されるものとする。また、第１設定部７９および第２設定部８０で選択するエッジ勾配は重複していてもよい。
【０１０８】
信頼度算出部７４は、第２設定部８０により設定された補間画素のエッジ勾配方向φｐの信頼度Ｖｐを、第１設定部７９により設定されたＮＤ個のエッジ勾配方向φ１〜φＮＤを用いて算出する。信頼度算出部７４は、ｋ＝１，…，ＮＤとするとき、φｐとφｋとを比較し、両方の方向パターンが一致するかどうかを示す第１評価値ＶＣを求め、ＮＤ個全てのエッジ勾配方向φ１〜φＮＤについて算出した第１評価値ＶＣの総和を信頼度として算出する。
【０１０９】
図２３は、信頼度算出処理を実行するためのフローチャートを示した図である。また、図２４は、方向φを入力とした場合にＶＣに加算する値を出力するルックアップテーブルの例である。
【０１１０】
まず、信頼度算出部７４は、ｋ＝１，ＶＣ＝０を初期値とし（Ｓ２３１）、φｐとφｋとを比較する（Ｓ２３２）。Φｐがφｋと一致するとき、信頼度算出部７４は、ＶＣにＬＵＴ＿Ｃ［φｐ］を加算する（Ｓ２３３）。なお、ＬＵＴ＿Ｃ［φ］は、図２４に示すように方向φ毎にゼロ以上となる係数を与えるルックアップテーブルである。図２４に示すＬＵＴ＿Ｃ［φ］のルックアップテーブルは、ＮＢ＝１２とする場合における一例であり、これらに限定する必要はない。信頼度算出部７４は、以上の処理をｋ＝１，…，ＮＤについて反復し（Ｓ２３４，Ｓ２３５）、第１評価値ＶＣを更新し、信頼度Ｖｐ＝ＶＣとして出力する（Ｓ２３６）。
【０１１１】
このように、ＮＤ個の周囲画素のエッジ勾配方向について、補間画素のエッジ勾配方向と一致する場合にのみＶＣが更新されることにより、補間画素のエッジ勾配方向の確からしさを評価することができる。すなわち、第２設定部８０により設定された補間画素のエッジ勾配方向は、必ずしも周辺画素のエッジ勾配方向のバラつきを考慮できているとは限らない。そこで、信頼度算出部７４は、第１設定部７９によって設定された周辺画素それぞれのエッジ勾配方向のバラつき度合いから補間画素のエッジ勾配方向の信頼度を算出している。周辺のエッジ勾配方向がばらついている場合、信頼度は低い値になる。これにより、信頼度を確認することにより、ノイズ等により周囲でエッジ勾配方向がバラついているか否かを判断することができる。
【０１１２】
第１補間処理部７５は、参照ブロック設定部６２で設定された参照ブロックと、第２設定部８０により設定された補間画素のエッジ勾配方向を用いて、補間画素における画素値を算出する処理を行う。本実施形態における第１補間処理部７５は、図９に示すような実施形態１における補間処理部６４と同様の構成を有する。すなわち、仮参照座標設定部６５が、補間画素を内包する平行四辺形を構成する４点の仮参照座標を指定する。次に、参照画素値設定部６６が、各仮参照座標に対応した画素値を設定する。最後に、補間画素値算出部６７が、４つの仮参照画素の画素値と重み付け係数とから、重み付き加算により補間画素の画素値を算出する。本実施形態では、第１補間処理部７５は、算出した補間画素の画素値をスケーラー処理部６１’の最終出力値とせず、第１補間値ＯＵＴ１として後段の混合処理部７７へ入力する。
【０１１３】
第１補間処理部７５の処理内容については、実施形態１における補間処理部６４と同様のため、ここでは詳細な説明を省略する。
【０１１４】
第２補間処理部７６は、参照ブロックを基に、エッジ勾配方向に依存しない補間処理により補間画素における画素値を算出する。
【０１１５】
第２補間処理部７６で適用するエッジ勾配方向に依存しない補間処理方法は、よく知られた方法を使用することができ、たとえば、Lanczos（ランツォシュ）補間処理を用いることができる。Lanczos補間処理は、以下に示す式に基づいて定められる重み係数と補間に用いる画素との積和を算出することにより補間処理を行うものである。
【０１１６】
【数６】
2014085892.tif 000008
【０１１７】
ただし、ｎは、補間関数の性質を制御するための変数であり、ｎに応じて補間演算に用いる補間画素数が変化する。ｄは、補間画素周辺の４画素と補間画素との距離を表している。図２５はｎ＝２における重み係数の分布を示す図である。たとえば、参照ブロックのサイズがＭ＝Ｎ＝４のとき、第２補間処理部７６は、ｎ＝２とし、下記の通り水平方向に補間演算を行ってＶ（ｋ）を算出する。
Ｖ（ｋ）＝ｗ（１＋ｄｉｓｔＸ）×Ｐ（ｋ，０）＋ｗ（ｄｉｓｔＸ）×Ｐ（ｋ，１）
＋ｗ（１−ｄｉｓｔＸ）×Ｐ（ｋ，２）＋ｗ（２−ｄｉｓｔＸ）×Ｐ（ｋ，３）
・・・（１０）
ただし、ｋ＝０，１，２，３であり、Ｐは補間処理に用いる入力画素の画素値を表す。次に、第２補間処理部は、Ｖ（ｋ）を用いて下記の通り補間演算を行うことにより、補間画素の第２補間値ＯＵＴ２を算出する。
ＯＵＴ２＝ｗ（１＋ｄｉｓｔＹ）×Ｖ（０）＋ｗ（ｄｉｓｔＹ）×Ｖ（１）
＋ｗ（１−ｄｉｓｔＹ）×Ｖ（２）＋ｗ（２−ｄｉｓｔＹ）×Ｖ（３）
・・・（１１）
なお、上記は入力画像がグレースケール画像である場合であり、画素値Ｐは各画素の階調値とする。入力画像がＲＧＢ画像である場合、Ｒ，Ｇ，Ｂ成分毎に補間画素の第２補間値を算出する。Ｒ成分の第２補間値をＯＵＴ２Ｒ、Ｇ成分の第２補間値をＯＵＴ２Ｇ、Ｂ成分の第２補間値をＯＵＴ２Ｂとすると、ＯＵＴ２は、補間画素の第２補間値の３成分のベクトル（ＯＵＴ２Ｒ，ＯＵＴ２Ｇ，ＯＵＴ２Ｂ）として表わされる。
【０１１８】
第２補間処理部７６における処理はLanczos補間処理を限定されるものではなく、他の方法を用いてもよい。例えば、下記に示す双三次補間（バイキュービック補間）を用いてもよい。
【０１１９】
【数７】
2014085892.tif 000009
【０１２０】
混合処理部７７は、第１補間処理部７５で得られた第１補間値ＯＵＴ１と、第２補間処理部７６で得られた第２補間値ＯＵＴ２とを、信頼度算出部７４で得られた信頼度Ｖｐに応じて混合する。
【０１２１】
第１および第２補間値の混合比率γは、信頼度Ｖｐを、Ｖｐが取り得る最大値ＶｐＭＡＸで除算した値を用いる（すなわちγ＝Ｖｐ／ＶｐＭＡＸ）。また最大値ＶｐＭＡＸは、たとえばルックアップテーブルを用いて信頼度を算出する場合、ルックアップテーブルで参照し得る最大値をＤＭＡＸとするとき、ＶｐＭＡＸ＝ＤＭＡＸ×ＮＤで与えられる。混合処理部７７は、この混合比率γを用いて、次式のようにＯＵＴ１およびＯＵＴ２の重み付き加算を行う。
ＯＵＴ＝γＯＵＴ１＋（１−γ）ＯＵＴ２    ・・・（１２）
式（１２）により得られた画素値ＯＵＴを、本実施形態が備えるスケーラー処理部６１’の出力とする。たとえば、信頼度Ｖｐ＝６０、信頼度の最大値ＶｐＭＡＸ＝１００とするとき、混合比率γ＝６０／１００＝０．６となり、画素値ＯＵＴ＝０．６ＯＵＴ１＋０．４ＯＵＴ２として与えられる。
【０１２２】
入力画像がＲＧＢ方式である場合、混合処理部７７は、Ｒ，Ｇ，Ｂ成分毎の画素値を式（１２）に従って算出すればよい。混合比率γは、３つの成分間で共通である。
【０１２３】
（信頼度算出方法の変形例１）
信頼度算出部７４における信頼度の算出方法は上記の方法に限定する必要はなく、たとえば下記の方法を用いることができる。
【０１２４】
ｋ＝１，…，ＮＤとするとき、信頼度算出部７４は、φｐとφｋとを比較し、両方の方向パターンが一致するかどうかを示す第１評価値ＶＣと、φｋがφｐの右回り方向に隣接するかどうかを示す第２評価値ＶＲと、φｋがφｐの左回り方向に隣接するかどうかを示す第３評価値ＶＬとを算出する。信頼度算出部７４は、ＮＤ個の選択画素のエッジ勾配方向φ１〜φＮＤについて算出した値の総和をとった後、第１、第２および第３評価値を合成することにより信頼度を算出する。
【０１２５】
図２６は、本変形例における信頼度算出処理を実行するためのフローチャートを示した図である。また、図２７は、方向φを入力とした場合にＶＣ、ＶＲおよびＶＬに加算する値を出力するルックアップテーブルの例である。
【０１２６】
まず、信頼度算出部７４は、ｋ＝１、ＶＣ＝ＶＲ＝ＶＬ＝０を初期値に設定し（Ｓ２６１）、φｐとφｋとを比較する（Ｓ２６２）。φｋがφｐと一致するとき、信頼度算出部７４は、ＶＣにＬＵＴ＿Ｃ［φｐ］を加算する（Ｓ２６３）。なお、ＬＵＴ＿Ｃ［φ］は、図２７の（ａ）に示すように方向φ毎にゼロ以上となる係数を与えるルックアップテーブルである。
【０１２７】
φｋがφｐと一致しないとき、続いてφｐの右隣φｐＲとφｋとが比較される（Ｓ２６４）。φｋがφｐＲと一致するとき、信頼度算出部７４は、ＶＲにＬＵＴ＿Ｒ［φｐ］を加算する（Ｓ２６５）。なお、ＬＵＴ＿Ｒ［φ］は、図２７の（ｂ）に示すように方向φ毎にゼロ以上となる係数を与えるルックアップテーブルである。
【０１２８】
φｋがφｐＲと一致しないとき、続いてφｐの左隣φｐＬとφｋとが比較される（Ｓ２６６）。φｋがφｐＬと一致するとき、信頼度算出部７４は、ＶＬにＬＵＴ＿Ｌ［φｐ］を加算する（Ｓ２６７）。なお、ＬＵＴ＿Ｌ［φ］は、図２７の（ｃ）に示すように方向φ毎にゼロ以上となる係数を与えるルックアップテーブルである。
【０１２９】
図２７に示すＬＵＴ＿Ｃ、ＬＵＴ＿ＲおよびＬＵＴ＿Ｌの参照テーブルは、ＮＢ＝１２とする場合における一例であり、これらに限定する必要はない。
【０１３０】
信頼度算出部７４は、以上の処理をｋ＝１，…，ＮＤについて反復し（Ｓ２６８，Ｓ２６９）、第１、第２および第３評価値ＶＣ、ＶＲおよびＶＬを更新し、最後に次式の演算により信頼度Ｖｐを算出する。
Ｖｐ＝ＶＣ＋ｍａｘ｛ＶＲ，ＶＬ｝
上式により、ＮＤ個の周囲画素のエッジ勾配方向について、右回り方向にずれている場合はＶＲ、左回り方向にずれている場合はＶＬの一方のみを加算することにより、右回り方向と左回り方向のずれ方の集中度合いを評価している。ＶＲとＶＬのうち大きい方をＶＣと加算することで、集中度合いの大きい方が優先されるようになるため、φｐに対して右回り方向および左回り方向の両方に同様に周囲画素のエッジ勾配方向がバラついている場合、ＶＲ，ＶＬともに大きな値になりにくいため、信頼度を小さくすることができる。
【０１３１】
また、ＬＵＴ＿Ｃに比べ、ＬＵＴ＿Ｒ，ＬＵＴ＿Ｌの出力値を小さく設定することで、方向が一致する場合は信頼度への寄与率を高く、隣接する場合は信頼度への寄与率を小さく設定できる。
【０１３２】
（信頼度算出方法の変形例２）
上記の説明では、補間画素のエッジ勾配方向を用いて信頼度を算出したが、これに限定する必要はない。たとえば、エッジ勾配方向を求めるために算出された補間画素のエッジ勾配を用いて信頼度を算出してもよい。
【０１３３】
図２８は、本変形例にかかるスケーラー処理部６１’’の構成を示すブロック図である。また、図２９は、図２８におけるエッジ勾配方向設定部８１の構成を示すブロック図である。
【０１３４】
図２９に示されるように、エッジ勾配方向設定部８１は、第１設定部７９を有さず、エッジ勾配算出部７８および第２設定部８３のみを備えている。第２設定部８３は、上記の第２設定部８０と同様の機能を有し、さらに補間画素のエッジ勾配を出力する機能を有する。
【０１３５】
信頼度算出部８２は、補間画素のエッジ勾配を用いて信頼度を算出する。この算出方法は特に限定されない。たとえば、補間画素のエッジ勾配（Ｇｘｐ，Ｇｙｐ）とするとき、絶対値和｜Ｇｘｐ｜＋｜Ｇｙｐ｜を信頼度Ｖｐとして用いることができる。
【０１３６】
（信頼度算出方法の変形例３）
信頼度算出部７４，８２は、上記の何れかの方法により算出した信頼度に対して、更に所定のフィルタを適用することで補正してもよい。図３０は、信頼度を補正するためのフィルタの例を示す。フィルタは、信頼度Ｖｐを入力として非減少の関数として与えられる。たとえば、図３０の左側のフィルタ例のように所定の閾値以下では急激に信頼度が下がるようにするようにしてもよい。あるいは、図３０の中央のフィルタ例のように、オフセットを与えて常に信頼度がゼロにならないようにすることもできる。あるいは、図３０の右側のフィルタ例のように、補正を行うフィルタの波形は連続関数である必要は無く、ステップ形状とすることもできる。なお、出力信頼度Ｖｐの取り得る最大値が入力信頼度の取り得る最大値よりも小さくなる場合、混合処理部７７における最大値ＶｐＭＡＸは出力信頼度Ｖｐの取り得る最大値ＶｐＭＡＸ’に更新する。
【０１３７】
本変形例によれば、信頼度が高域・中域・低域それぞれの場合において混合処理の振る舞いを補正により変更することが可能となる。たとえば、ある程度信頼度が小さくなった場合は全てゼロに補正して、エッジ勾配方向に依存した補間処理をオフにしてしまうことも可能である。
【０１３８】
（信頼度算出方法の変形例４）
図２４に示すルックアップテーブルでは、全てのエッジ勾配方向に対して同じ出力値を割り当てていた。しかしながら、図３１に示されるように、各エッジ勾配方向の取り得る角度範囲は不均一である。たとえば±４５°方向（図３１の場合、Ｂ３、Ｂ９）は角度範囲が広いのに対して、水平方向、垂直方向（図３１の場合、Ｂ０、Ｂ６）は角度範囲が狭い。角度範囲の広い方向では、狭い方向に比べて、図３１に示すように、実際のエッジ勾配方向Ｇ１と、エッジ勾配から推定されたエッジ勾配方向Ｇ２との間の差異が大きくなり易い。この場合、実際のエッジ勾配方向（Ｇ１）と推定されたエッジ勾配方向（Ｇ２）との誤差により、実際に補間演算に用いるべき画素と推定されたエッジ勾配方向に基づいて定められる補間演算に用いる画素との間にズレが生じ、補間演算の結果に誤差が生じるという不具合が考えられる。拡大処理では、特に変倍率が大きくなるにつれて、当該誤差が目立つようになる。そこで、変倍率が大きいときに角度範囲が狭い方向における信頼度を高め、角度範囲が広い方向における信頼度を低くすることが好ましい。
【０１３９】
そこで、信頼度算出部７４は、複数のルックアップテーブルを予め記憶しておき、変倍率に応じてルックアップテーブルを選択してもよい。具体的には、信頼度算出部７４は、図２４に示すルックアップテーブルと、図３２に示すルックアップテーブルとを備えている。図３２に示すルックアップテーブルでは、角度範囲Δθφが大きくなるほど出力値が小さくなるように設定されている。そして、信頼度算出部７４は、変倍率が小さいとき（たとえば、２倍以下）、図２４のルックアップテーブルを利用し、変倍率が大きいとき（たとえば、２倍より大きいとき）、図３２に示すルックアップテーブルを利用する。これにより、補間精度を向上させることができる。
【０１４０】
また、同様にして、変倍率に応じてＬＵＴ＿ＲおよびＬＵＴ＿Ｌを設定してもよい。上記と同様に、エッジ勾配方向の角度範囲が広い程、その隣のエッジ勾配方向との差異が大きくなるため、信頼度を低くする事で上記不具合が生じることの抑制することができる。
【０１４１】
ＬＵＴ＿Ｃ，ＬＵＴ＿ＲおよびＬＵＴ＿Ｌは、以下のように設定すればよい。まず、ＬＵＴ＿Ｃについては、図３２と同じように、角度範囲Δθφが大きくなるほど出力値が小さくなるように設定される。また、図３３に示されるように、エッジ勾配方向φ（図ではφ＝Ｂ３を例とする）が持つ角度範囲の中央を通る（すなわち、φの角度範囲を二等分する）直線Ｌφを引き、原点を中心にＬφを±ΔθＴだけ回転した直線ＬｌｅｆｔおよびＬｒｉｇｈｔを引く（たとえばΔθＴ＝π／８など）。このとき、φが持つ角度の範囲をΔθφとすると、両隣のエッジ勾配方向に含まれる角度はそれぞれΔθＲＥＳとなる。
【０１４２】
そして、ＬＵＴ＿Ｃ［φ］と、これらの角度の情報を利用して、ＬＵＴ＿Ｒ［φ］およびＬＵＴ＿Ｌ［φ］の値が設定される。設定方法の例として、以下のようなΔθＲＥＳとΔθＴの比から求める方法を用いればよい。
【０１４３】
【数８】
2014085892.tif 000010
【０１４４】
図３４は、ＬＵＴ＿Ｃ［φ］を図３２と同じにした場合のＬＵＴ＿Ｒ［φ］およびＬＵＴ＿Ｌ［φ］の値の設定例を示す。なお、ＬＵＴ＿ＲおよびＬＵＴ＿Ｌの設定方法は、ここで説明した方法に限定されるものではなく、他の方法により設定してもよい。
【０１４５】
そして、信頼度算出部７４は、変倍率が小さいとき（たとえば、２倍以下）は図２７の組を利用し、変倍率が大きいとき（たとえば、２倍より大きいとき）は図３４の組を用いるなど、変倍率に応じて３つのＬＵＴの値を選択すればよい。
【０１４６】
（第１設定部および第２設定部における選択画素の選択方法の変形例）
上述したように、第１設定部７９は、ＮＤＧＲＤ個の選択画素からＮＤ個を選択する。また、第２設定部８０は、ＮＤＧＲＤ個の選択画素からＮＰ個を選択する。この選択方法は特に限定されるものではない。
【０１４７】
例えば、第１設定部７９で選択したエッジ勾配の集合をＵ１、第２設定部８０で選択したエッジ勾配の集合をＵ２としたとき、Ｕ１はＵ２に含まれる、もしくはＵ２はＵ１に含まれるように選択される。すなわち、数の少ない方の集合は、数の多い方の集合に完全に重複する。あるいは、第１設定部７９および第２設定部８０は、同じ数の選択画素を選択してもよい。
【０１４８】
また、第１設定部７９および第２設定部８０は、補間画素に近い選択画素から順に設定された個数（ＮＤ個またはＮＰ個）の選択画素を選択してもよい。ＮＤ＝ＮＰ＝４である場合、補間画素を囲む４つの選択画素が選択される。ＮＤまたはＮＰが５以上である場合、既に選択済みの選択画素のうちのいずれかに隣接する選択画素から、補間画素との距離が近い選択画素を優先的に選択すればよい。
【０１４９】
また、補間画素に近い順に選択画素を選択するのではなく、補間画素に対する位置関係に基づいて選択画素を選択してもよい。たとえば、補間画素の座標を（ｐｘ，ｐｙ）とするときに、画素（［ｐｘ］，［ｐｙ］）（ただし［ｘ］は、ｘを越えない最大の整数）、すなわち補間画素の左上に位置する画素を最初に選択してもよい。その後、補間画素の左下の画素、右上の画素、右下の画素、左上画素の左隣の画素、左下画素の左隣の画素、・・・と順に選択していく。この位置関係の選択順位とは予め設定されている。
【０１５０】
ここで、Ｍ＝Ｎ＝４であり、補間画素に対して左上画素の左隣の画素および左下画素の左隣の画素が選択画素として選択されたとする。すなわち、図３５の（ａ）における選択画素ＡおよびＢである。このような選択画素Ａ，Ｂについて、（ａ）に示す補間画素＊に対して設定された参照ブロックだけではエッジ勾配を求めることができない。そこで、このような場合、（ｂ）に示されるように、水平方向に１画素分だけ前に設定された参照ブロックを用いて算出された選択画素ＡおよびＢに対応するエッジ勾配をバッファに一時的に保管しておく。これにより、（ａ）のように参照ブロックが設定されたときにも、選択画素ＡおよびＢに対応するエッジ勾配を参照することが可能となる。
【０１５１】
〔実施形態３〕
本発明の別の実施形態３について説明する。本実施形態に係る画像処理装置は、モニタ（インフォメーションディスプレイ）である。図３６は、本実施形態に係るモニタ１’の構成を示すブロック図である。図３６に示されるように、モニタ１’は、実施形態１のテレビジョン受像機１と比較して、チューナー７を備えていない点で相違し、それ以外はテレビジョン受像機１と同様の構成を有する。図３６に示すモニタ１’でも、映像信号処理回路２１を備えることにより、高品質に映像をアップスケーリングすることが出来る。
【０１５２】
また、図３７は、図３６に記載のモニタ１’を複数台並べて構成されるマルチディスプレイを示す図である。それぞれ、水平方向、垂直方向に複数台のモニタ１’を並べて構成されるマルチディスプレイにＦＨＤ映像を再生するような場合においても、各モニタ１’が映像信号処理回路２１を備えることにより、高品質に映像をアップスケーリングすることができる。
【０１５３】
〔まとめ〕
以上のように、本発明の一態様に係る画像処理装置は、設定された拡大縮小率に従って、入力された画像データに含まれる入力画素間に補間画素を設けることにより上記画像データを拡大縮小する画像処理装置（テレビジョン受像機１，モニタ１’）において、上記補間画素を含む参照ブロックを設定する参照ブロック設定部と、上記参照ブロック内の入力画素を用いて、補間画素におけるエッジ勾配方向を設定するエッジ勾配方向設定部と、上記エッジ勾配方向に垂直な方向に沿った２辺を有する四角形の頂点となる４つの参照画素を設定する参照画素設定部（仮参照座標設定部６５）と、上記参照画素が上記参照ブロック外に位置する場合、当該参照画素を一端とする上記四角形の一辺と上記参照ブロックの境界線との交点を求め、当該交点に隣接する参照ブロック内の入力画素を隣接入力画素として特定し、当該隣接入力画素と当該交点との距離および当該隣接入力画素における濃度値に基づいて、当該参照画素の濃度値である参照画素値を推定し、上記参照画素が上記参照ブロック内に位置する場合、参照画素と同じ位置の入力画素の濃度値を参照画素値とする参照画素値設定部と、上記４つの参照画素における参照画素値を用いて、上記補間画素の濃度値を算出する補間画素値算出部とを備える。
【０１５４】
上記の構成によれば、エッジ勾配方向に垂直な方向（つまり、エッジ方向）に沿って設定された画素を用いた補間演算により補間画素の濃度値（画素値）が算出される。これにより、滑らかさを保ちながら拡大縮小を行うことができる。さらに、仮参照座標が参照ブロック外に位置する場合であっても、参照ブロック内の入力画素から仮参照座標の濃度値が補間的に算出される。そのため、参照ブロック内の入力画素のデータのみを確認することで補間画素の濃度値を求めることができ、補間画素の濃度値を演算するための処理速度を向上させることができる。特に、参照ブロックの入力画素のデータを抽出するためのラインバッファを十分に確保できない場合でも、補間画素の濃度値を精度よく算出できる。
【０１５５】
また、本発明の一態様に係る画像処理装置は、設定された拡大縮小率に従って、入力された画像データに含まれる入力画素間に補間画素を設けることにより上記画像データを拡大縮小する画像処理装置において、上記補間画素を含む参照ブロックを設定する参照ブロック設定部と、上記参照ブロック内の入力画素を用いて、補間画素におけるエッジ勾配方向を設定するエッジ勾配方向設定部と、上記エッジ勾配方向に垂直な方向に沿った２辺を有する四角形の頂点となる４つの参照画素を設定する参照画素設定部と、上記参照画素が上記参照ブロック外に位置する場合、当該参照画素を一端とする上記四角形の一辺と上記参照ブロックの境界線との交点を求め、当該交点に隣接する参照ブロック内の入力画素を隣接入力画素として特定し、当該隣接入力画素と当該交点との距離および当該隣接入力画素における濃度値に基づいて、当該参照画素の濃度値である参照画素値を推定し、上記参照画素が上記参照ブロック内に位置する場合、参照画素と同じ位置の入力画素の濃度値を参照画素値とする参照画素値設定部と、上記４つの参照画素における参照画素値を用いて、上記補間画素におけるエッジ勾配方向依存の濃度値である第１補間値を算出する第１補間処理部と、上記エッジ勾配方向に依存しない補間処理を用いて、上記補間画素における非エッジ勾配方向依存の濃度値である第２補間画素値を算出する第２補間処理部と、上記エッジ勾配方向設定部により設定されたエッジ勾配方向の信頼度を算出する信頼度算出部と、上記信頼度に基づいて、上記第１補間値および第２補間値の各々に対する重み係数を決定し、決定した重み係数を用いて上記第１補間値と上記第２補間値とを加算して、上記補間画素の濃度値を算出する混合処理部とを備える。
【０１５６】
上記の構成によっても、エッジ勾配方向に垂直な方向（つまり、エッジ方向）に沿って設定された画素を考慮して、補間画素の濃度値（画素値）が算出される。これにより、滑らかさを保ちながら拡大縮小を行うことができる。さらに、参照ブロック内の入力画素のデータのみを確認することで補間画素の濃度値を求めることができ、補間画素の濃度値を演算するための処理速度を向上させることができる。
【０１５７】
また、エッジ勾配方向設定部により設定されたエッジ勾配方向の信頼度を基に、第１補間値および第２補間値の各々に対する重み係数を決定し、決定した重み係数を用いて上記第１補間値と上記第２補間値とを加算して、補間画素の濃度値を算出する。そのため、エッジ勾配方向の信頼度に応じて、第１補間値と上記第２補間値との重み係数を変化させることができる。例えば、エッジ勾配方向設定部により設定されたエッジ勾配方向の信頼度が低い場合には、第１補間値の重み係数を小さくすればよい。これにより、誤ったエッジ方向に依存した補間処理による画像品質低下を防止することができる。
【０１５８】
また、本発明の一態様に係る画像処理装置において、上記エッジ勾配方向設定部は、上記参照ブロック内における複数の入力画素の各々におけるエッジ勾配を求め、当該複数の入力画素におけるエッジ勾配に基づいて、補間画素におけるエッジ勾配方向を設定してもよい。
【０１５９】
上記の構成によれば、参照ブロック内の入力画素におけるばらつきを考慮することができ、ノイズに影響されにくいエッジ勾配方向を設定することができる。
【０１６０】
また、本発明の一態様に係る画像処理装置において、上記エッジ勾配方向設定部は、少なくとも１つの水平方向１次微分フィルタと、少なくとも１つの垂直方向１次微分フィルタを用いて、上記参照ブロック内における入力画素におけるエッジ勾配を求め、当該エッジ勾配に基づいて補間画素におけるエッジ勾配方向を設定してもよい。
【０１６１】
水平方向１次微分フィルタおよび垂直方向１次微分フィルタを用いてエッジ勾配を求めることにより、参照ブロックという限られた範囲の中で精度よくエッジ勾配方向を設定することができる。
【０１６２】
また、複数の水平方向１次微分フィルタおよび複数の垂直方向１次微分フィルタを用いた場合、文字等の１画素幅で構成されるエッジを含めてエッジ勾配を求めることができ、精度よくエッジ勾配方向を設定することができる。
【０１６３】
また、本発明の一態様に係る画像処理装置において、上記エッジ勾配方向設定部は、補間画素のエッジ勾配方向として、予め定められた角度範囲を有する複数の角度領域から選択した一つの角度領域を設定し、上記信頼度算出部は、上記参照ブロックに含まれる複数の入力画素の各々について、当該入力画素におけるエッジ勾配方向が上記補間画素に対して設定されたエッジ勾配方向と同じ角度領域に属するか否かを判定し、一致する入力画素の数を示す第１評価値を用いて上記信頼度を算出してもよい。
【０１６４】
上記の構成によれば、補間画素のエッジ勾配方向と、周囲の入力画素のエッジ勾配方向との比較から信頼度を算出することで、エッジ勾配方向のバラつきを考慮することができる。例えば、ノイズ等により本来のエッジ勾配方向と異なるエッジ勾配方向が設定されている場合に、周辺にノイズなどで特異な画素がある可能性があるとして信頼度を下げることができる。
【０１６５】
また、本発明の一態様に係る画像処理装置において、上記信頼度算出部は、さらに、上記参照ブロックに含まれる複数の入力画素の各々について、（１）当該入力画素におけるエッジ勾配方向が、上記補間画素に対して設定されたエッジ勾配方向の角度領域と右回り方向に隣接する角度領域に属するか否かを判定し、一致する入力画素の数を示す第２評価値を求めるとともに、（２）当該入力画素におけるエッジ勾配方向が、上記補間画素に対して設定されたエッジ勾配方向の角度領域と左回り方向に隣接する角度領域に属するか否かを判定し、一致する入力画素の数を示す第３評価値を求め、第２評価値および第３評価値のうち大きい方の値を第１評価値に加算することにより上記信頼度を算出してもよい。
【０１６６】
上記の構成によれば、第１評価値に加えて第２、第３評価値を更に考慮することで、補間画素のエッジ勾配方向について、右回り方向および左回り方向の両側にバラつきが出る場合にその偏りの大きい方のみを考慮することができる。これにより、例えばコーナー部分のように周囲に複数方向のエッジが存在する場合に信頼度を下げることができる。
【０１６７】
また、本発明の一態様に係る画像処理装置は、さらに、表示部を備え、上記画像データを拡大縮小した後の画像を上記表示部に表示させてもよい。
【０１６８】
これにより、エッジ勾配方向を考慮した補間演算による拡大縮小処理後の画像を表示させる画像表示装置を実現することができる。
【０１６９】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
【０１７０】
最後に、テレビジョン受像機１またはモニタ１’の各ブロック、特にスケーラー処理部６１，６１’、６１’’は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０１７１】
上述した機能を実現するソフトウェアであるテレビジョン受像機１またはモニタ１’の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記テレビジョン受像機１またはモニタ１’に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０１７２】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ（登録商標）／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０１７３】
また、テレビジョン受像機１またはモニタ１’を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【０１７４】
本発明は、例えばテレビジョンなどの画像処理に利用することができる。
【符号の説明】
【０１７５】
１    テレビジョン受像機（画像処理装置）
１’  モニタ（画像処理装置）
１３  表示部
２１  映像信号処理回路
６１，６１’，６１’’  スケーラー処理部
６２  参照ブロック設定部
６３，７３，８１  エッジ勾配方向設定部
６４  補間処理部
６５  仮参照座標設定部（参照画素設定部）
６６  参照画素値設定部
６７  補間画素値算出部
７４，８２  信頼度算出部
７５  第１補間処理部
７６  第２補間処理部
７７  混合処理部
７８  エッジ勾配算出部
７９  第１設定部
８０，８３  第２設定部
【図１】
2014085892.tif 000011
【図２】
2014085892.tif 000012
【図３】
2014085892.tif 000013
【図４】
2014085892.tif 000014
【図５】
2014085892.tif 000015
【図６】
2014085892.tif 000016
【図７】
2014085892.tif 000017
【図８】
2014085892.tif 000018
【図９】
2014085892.tif 000019
【図１０】
2014085892.tif 000020
【図１１】
2014085892.tif 000021
【図１２Ａ】
2014085892.tif 000022
【図１２Ｂ】
2014085892.tif 000023
【図１３】
2014085892.tif 000024
【図１４】
2014085892.tif 000025
【図１５】
2014085892.tif 000026
【図１６】
2014085892.tif 000027
【図１７】
2014085892.tif 000028
【図１８】
2014085892.tif 000029
【図１９】
2014085892.tif 000030
【図２０】
2014085892.tif 000031
【図２１】
2014085892.tif 000032
【図２２】
2014085892.tif 000033
【図２３】
2014085892.tif 000034
【図２４】
2014085892.tif 000035
【図２５】
2014085892.tif 000036
【図２６】
2014085892.tif 000037
【図２７】
2014085892.tif 000038
【図２８】
2014085892.tif 000039
【図２９】
2014085892.tif 000040
【図３０】
2014085892.tif 000041
【図３１】
2014085892.tif 000042
【図３２】
2014085892.tif 000043
【図３３】
2014085892.tif 000044
【図３４】
2014085892.tif 000045
【図３５】
2014085892.tif 000046
【図３６】
2014085892.tif 000047
【図３７】
2014085892.tif 000048