(57)【要約】【課題】従来よりもノイズ耐性を向上させた斜め線補間が可能な映像信号処理装置及び映像信号処理方法を提供する。【解決手段】映像信号処理装置１は、角検出部８において、入力画像の各画素におけるエッジ強度値を算出し、エッジ強度値の分布に基づいて、斜め線となるエッジの境界を、画像の各ラインについて検出する。斜め度判定部９において、このエッジの境界に基づいて、斜め線の判定と、斜め線の角度が判定される。斜め線補間を実施する画素については、中間値計算部１６により中間値が算出され、補間部１９により斜め線補間がなされる。斜め線と判定されない画素については、通常の補間が補間部１９によりなされる。【選択図】図２
2013126134.tif 000002
【特許請求の範囲】
【請求項１】
入力画像の各画素における周辺画素との画素値の差分に基づいてエッジ強度値を算出し、一定領域の画素におけるエッジ強度値の分布に基づいて、斜め線となるエッジの境界を入力画像の各ラインについて検出する角検出部と、
検出されたエッジの境界の位置に基づいて、斜め線の角度を判定する斜め度判定部と、
判定された斜め線の角度に基づいて補間処理を実行する補間部と、
を備える映像信号処理装置。
【請求項２】
前記角検出部は、
各画素において、周辺画素との画素値の差分を方向成分ごとに出力する差分フィルタと、
前記差分フィルタにより出力される差分の各方向成分に基づいて、各画素についてエッジの方向を判定する方向判定部と、
前記各方向成分に基づいて、各画素についてエッジ強度値を算出する強度算出部とを含む、
請求項１記載の映像信号処理装置。
【請求項３】
前記方向判定部は、
前記算出されるエッジ強度値が所定の閾値以下であれば、エッジの境界の検出対象としないと判定する、
請求項２記載の映像信号処理装置。
【請求項４】
前記角検出部は、
２次元を構成する一定領域の複数の画素において、前記強度算出部によるエッジ強度値の分布状況を所定のパターンと比較することにより、斜め線となるエッジの境界を検出する、
請求項２記載の映像信号処理装置。
【請求項５】
前記斜め度判定部は、
２値化判定値を基準として入力画像を２値化画像に変換する２値化部を含み、
２値化画像における画素値の分布に基づいて斜め線の角度を判定する、
請求項１記載の映像信号処理装置。
【請求項６】
前記斜め度判定部は、
前記角検出部により検出されたエッジの境界の位置に基づいて、入力画像において、２値化判定値を算出するための複数の画素からなる領域を決定する領域決定部と、
前記領域決定部により決定された領域の画素の画素値に基づいて２値化判定値を算出する２値化判定値算出部を含む、
請求項５記載の映像信号処理装置。
【請求項７】
前記領域決定部は、各ラインにおける着目画素ごとに前記領域を決定するものであり、、着目画素周辺の複数の画素についてエッジの境界が含まれるか判定し、エッジの境界の画素を含む領域を、２値化判定値を算出するための領域と決定する、
請求項６記載の映像信号処理装置。
【請求項８】
前記斜め度判定部は、前記２値化画像における斜め線の水平方向の長さに基づいて斜め線の角度を判定する、
請求項５記載の映像信号処理装置。
【請求項９】
前記斜め度判定部は、補間対象の画素の位置、および、前記斜め線の角度に基づいて、所定の画素を選択して中間値を算出する中間値計算部を含み、
前記補間部は、前記中間値計算部により算出された中間値を用いて斜め線の補間処理を実行する、
請求項１記載の映像信号処理装置。
【請求項１０】
映像信号処理装置に画素数変換させるための映像信号処理方法であって、
映像信号処理装置に、入力画像の各画素における周辺画素との画素値の差分に基づいてエッジ強度値を算出し、一定領域の画素におけるエッジ強度値の分布に基づいて、斜め線となるエッジの境界を入力画像の各ラインについて検出させる角検出ステップと、
検出されたエッジの境界の位置に基づいて、斜め線の角度を判定させる斜め度判定ステップと、
判定された斜め線の角度に基づいて補間処理を実行させる補間ステップと、
を含む映像信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を任意の倍率で画素数変換するスケーリング機能を有する映像信号処理装置、映像信号処理方法に関し、特に、補間による画質劣化を防止する技術に関する。
【背景技術】
【０００２】
動画像を表示する表示装置が高精細化、大画面化してきている。これに伴って、入力画像を任意の倍率で拡大表示するために、画像の垂直方向および水平方向の画素を補間する技術が用いられている（下記の特許文献等を参照）。
【０００３】
画像中の斜め線を補間する際、補間後の斜め線のジャギーが強調され、補間による画質劣化の一因となっている。そのため、従来より様々な対策が検討されている。例えば、下記の特許文献１では、画素数変換装置は、原画像を２値化し、２値化画像に基づいて斜め線の方向（斜め線の角度）を判定している。画素の補間は、通常、補間箇所の周囲の画素の画素値（輝度）に基づいて行われる。そのため、斜め線の方向に基づいて、補間箇所の画素値算出に適した画素を選択して補間をすることで、ジャギーを抑えている。
【０００４】
画像の２値化による斜め線の判定について、図面を用いて、より詳細に説明する。図１５は、２値化により斜め線を判定する映像信号処理装置の一例を示す図である。
【０００５】
図１５に示すように、映像信号処理装置は、画像の垂直補間をするために、斜め線判定部１５０と、垂直補間部１５５を含む。図１５では、例えば、斜め線の判定領域を、着目画素の周辺の画素からなる一定範囲の領域とする。この斜め線の判定領域は、水平方向に１１個の画素と、垂直方向に４個の画素からなる。着目画素の周辺における画像の斜め線の角度（斜め度）に応じて、画像を垂直補間する際にどの画素を用いるべきかが決定される。
【０００６】
斜め線判定部１５０は、着目画素周辺の判定領域の映像信号の入力を受け付けて、判定領域における各画素の画素値の平均値を平均値算出部１５１により算出する。この算出結果に基づいて、２値化部１５２により画像を２値化する。２値化された画像は、例えば２値化パターン１５６に示すようになる。
【０００７】
図１５では、○（白丸）で示す画素は、画素値が判定領域における平均値より大きい画素である。一方、黒丸で示す画素は、画素値が判定領域における平均値未満の画素である。
【０００８】
なお２値化パターン１５６において、着目画素の位置は、上から２つめのラインにおける左から６番目の画素（同図の２値化パターン１５６において、斜線で示す）とする。
【０００９】
この２値化画像に対して、斜め線の角度を判定するために、パターン判定部１５３は、予め定義した所定の２値化画像と比較する（パターンマッチング）。比較の結果、斜め線の角度が判定される。斜め線の角度に応じて、中間値計算部１５４により中間値が算出される。この中間値は、斜め線と判定された場合の垂直補間時に用いられる。
【００１０】
図１６は、斜め線の角度に応じた中間値の算出方法を示す図である。
図１５および図１６に図示する例では、着目画素を含むラインの黒丸の画素と、隣接するラインにおいて○で示す画素とが４つ並んでいる。パターン判定部１５３は、隣接するラインにおいて、黒丸と○で示す画素が並んだ数に応じて、斜め線の角度を示す斜め度を決定する。図１５および図１６の例では、右上がりの線をプラス、右下がりの線をマイナスとして、例えば斜め度を「＋４」などとしている。
【００１１】
図１６において中間値算出対象画素１６１、１６２、１６３、１６４として示すように、中間値計算部１５４は、斜め度の値および斜め度が偶数か奇数かに応じて、中間値計算のための画素を決定する。斜め度の値を２で割った数に基づいて、着目画素から水平方向に離れた位置にある画素が中間値計算に用いられる。
【００１２】
垂直補間部１５５は、図１５の補間方法１５７に示すように、斜め線を補間する際は、中間値計算部１５４で計算された中間値に基づいて、垂直補間演算を行う。図１５の例では、補間前の実画素の位相を０および４０９６とし、補間する画素の位相の値に応じて、いずれかの位相の実画素を用いて中間値に基づいて補間する。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特開２０００−２２８７２３号公報
【特許文献２】特開２００７−１８１１３２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１４】
上記のように、入力画像に含まれる各画素値の平均値に基づいて２値化画像を得ていると、入力画像にノイズが含まれる場合に、２値化パターンが乱れるおそれがある。この場合、ノイズが微小であっても２値化パターンが乱れ、パターンマッチングによる斜め線の斜め度が誤判定されるおそれがある。その結果、斜め線に基づいた補間が有効に機能せず、画質が劣化する。
【００１５】
そこで、本発明は、従来よりもノイズ耐性を向上させた斜め線補間が可能な映像信号処理装置及び映像信号処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１６】
本発明は、入力画像の各画素における周辺画素との画素値の差分に基づいてエッジ強度値を算出し、一定領域の画素におけるエッジ強度値の分布に基づいて、斜め線となるエッジの境界を入力画像の各ラインについて検出する角検出部と、検出されたエッジの境界の位置に基づいて、斜め線の角度を判定する斜め度判定部と、判定された斜め線の角度に基づいて補間処理を実行する補間部と、を備える映像信号処理装置である。
【００１７】
また、角検出部は、各画素において、周辺画素との画素値の差分を方向成分ごとに出力する差分フィルタと、差分フィルタにより出力される差分の各方向成分に基づいて、各画素についてエッジの方向を判定する方向判定部と、各方向成分に基づいて、各画素についてエッジ強度値を算出する強度算出部とを含むこととしてもよい。
【００１８】
また、方向判定部は、算出されるエッジ強度値が所定の閾値以下であれば、エッジの境界の検出対象としないと判定することとしてもよい。
【００１９】
また、角検出部は、２次元を構成する一定領域の複数の画素において、強度算出部によるエッジ強度値の分布状況を所定のパターンと比較することにより、斜め線となるエッジの境界を検出することとしてもよい。
【００２０】
また、斜め度判定部は、２値化判定値を基準として入力画像を２値化画像に変換する２値化部を含み、２値化画像における画素値の分布に基づいて斜め線の角度を判定することとしてもよい。
【００２１】
また、斜め度判定部は、角検出部により検出されたエッジの境界の位置に基づいて、入力画像において、２値化判定値を算出するための複数の画素からなる領域を決定する領域決定部と、領域決定部により決定された領域の画素の画素値に基づいて２値化判定値を算出する２値化判定値算出部を含むこととしてもよい。
【００２２】
また、領域決定部は、各ラインにおける着目画素ごとに領域を決定するものであり、着目画素周辺の複数の画素についてエッジの境界が含まれるか判定し、エッジの境界の画素を含む領域を、２値化判定値を算出するための領域と決定することとしてもよい。
【００２３】
また、斜め度判定部は、２値化画像における斜め線の水平方向の長さに基づいて斜め線の角度を判定することとしてもよい。
【００２４】
また、斜め度判定部は、補間対象の画素の位置、および、斜め線の角度に基づいて、所定の画素を選択して中間値を算出する中間値計算部を含み、補間部は、中間値計算部により算出された中間値を用いて斜め線の補間処理を実行することとしてもよい。
【００２５】
また、本発明は、映像信号処理装置に画素数変換させるための映像信号処理方法であって、映像信号処理装置に、入力画像の各画素における周辺画素との画素値の差分に基づいてエッジ強度値を算出し、一定領域の画素におけるエッジ強度値の分布に基づいて、斜め線となるエッジの境界を入力画像の各ラインについて検出させる角検出ステップと、検出されたエッジの境界の位置に基づいて、斜め線の角度を判定させる斜め度判定ステップと、判定された斜め線の角度に基づいて補間処理を実行させる補間ステップと、を含む映像信号処理方法でもある。
【発明の効果】
【００２６】
本発明は、上記構成を備えることにより、入力画像の差分値をもとにエッジの境界の位置を検出し、検出結果に基づいて斜め線の角度を判定している。そのため入力画像に乗るノイズの影響を受けにくくなり、斜め線の判定の精度が向上する。これにより、斜め線の角度に基づいた補間が実施され、画像の品質が向上する。
【図面の簡単な説明】
【００２７】
【図１】本発明の第１の実施の形態に係る映像信号処理装置１を示すブロック図である。
【図２】水平・垂直画素数変換装置４の詳細な構成を示す図である。
【図３】斜め線判定部１０の構成を、より詳細に示した図である。
【図４】Ｓｏｂｅｌフィルタ２１による画素値の変化を各ラインで算出する構成を示す図である。
【図５】斜め方向判定部２２による、着目画素におけるエッジの角度の分類処理を示す図である。
【図６】エッジ角パターン解析部２４における斜め線の角を検出してパターンに分類する処理を示す図である。
【図７】平均値算出領域判定部１３において、エッジ角検出部１４の２値化処理に用いる２値化判定値を算出するための領域を決定する処理を示す図である。
【図８】エッジ角検出部１４による２値化処理とパターン判定処理を示す図である。
【図９】斜め判定部１５による斜め度の判定処理を示す図である。
【図１０】中間値計算部１６による中間値計算をするための画素を決定する処理を示す図である。
【図１１】垂直補間部１７等による斜め線補間の方法を示す図である。
【図１２】従来のように、入力画像の所定領域の全ての画素の平均値を用いて２値化パターンを得た場合の、斜め線の判定結果を示す図である。
【図１３】ノイズのない入力画像が与えられた場合における補間結果を示す図である。
【図１４】ノイズが付加された入力画像が与えられた場合における補間結果を示す図である。
【図１５】２値化により斜め線を判定する映像信号処理装置の一例を示す図である。
【図１６】斜め線の角度に応じた中間値の算出方法を示す図である。
【発明を実施するための形態】
【００２８】
以下、本発明にかかる映像信号処理装置１について具体的に説明する。
１  映像信号処理装置１の全体像
以下、図面を参照して本発明の実施の形態について詳細に説明する。
【００２９】
図１は本発明の第１の実施の形態に係る映像信号処理装置１を示すブロック図である。
図１において、映像信号処理装置１の入力端子にはインターレース方式やプログレッシブ方式の映像信号が入力される。入力される映像信号には、同期信号等が含まれている。
【００３０】
図１に示すように、映像信号処理装置１は、ノイズ除去装置２と、Ｉ−Ｐ変換装置３と、水平・垂直画素数変換装置４と、出力用同期信号生成装置５と、画質調整装置６とを含む。フレームバッファ７は、所定ライン数の画像データを一時的に保持するバッファメモリである。
【００３１】
ノイズ除去装置２は、入力される映像信号に対してフィルタリング等を施して一定のノイズを除去する。
【００３２】
Ｉ−Ｐ変換装置３は、インターレース方式で入力された場合、映像信号をプログレッシブ信号に変換する。
【００３３】
水平・垂直画素数変換装置４は、入力される映像信号について、後段の信号処理装置等に対応した解像度の画像を得るために、画素の補間等を行って水平および垂直方向の画素数を拡大して高解像度の画像を得たり、画像サイズを縮小させたりする。スケーリング機能ともいう。例えば、後段に接続されるディスプレイのパネルサイズに合わせて任意倍率で画素数が変換される。
【００３４】
出力用同期信号生成装置５は、水平・垂直画素数変換装置４に入力される映像信号等に基づいて、映像出力信号を出力するための同期信号を生成する。
【００３５】
画質調整装置６は、入力される映像信号について、明るさ等の画質を調節して、映像出力信号を生成する。生成された映像出力信号は、LCD（Liquid Crystal Display）等の表示装置や別の信号処理装置に出力される。
【００３６】
フレームバッファ７は、ノイズ除去装置２やＩ−Ｐ変換装置３や水平・垂直画素数変換装置４が、映像信号に対して所定の処理を実行するために使用するバッファメモリである。
【００３７】
２  水平・垂直画素数変換装置４の概要
本発明は、特に、水平・垂直画素数変換装置４のスケーリングの処理に関するものである。
【００３８】
従来の構成では、様々な補間演算方法を選択してスケーリング機能を発揮する。従来の構成において、斜め線を含む画像を高解像度化する場合などに、画像の水平方向と垂直方向が独立に補間演算を行う。このような補間方法であると、補間後の斜め線のジャギーが強調され、画質劣化が発生する。また、斜め線を判定できる斜め線の角度の範囲が狭かったり、斜め線の誤判定による補間が行われて特異点が発生する。そのため補間の効果は特定の入力画像に限られている。
【００３９】
この画質劣化を低減し、より汎用的な画像で斜め線補間を適用するための、斜め線を含む画像の画素数を変換する構成について、以下、詳細を説明する。
【００４０】
図２は、水平・垂直画素数変換装置４の詳細な構成を示す図である。
図２に示すように、水平・垂直画素数変換装置４は、斜め線判定部１０と、補間部１９とを含む。補間部１９は、垂直補間部１７と、水平補間部１８を含む。
【００４１】
斜め線判定部１０は、入力される映像信号について、斜め線が含まれるか判定し、斜め線の角度（斜め度）を決定する。スケーリングを行うための処理の基準となる画素を着目画素という。着目画素の周辺が斜め線であれば、垂直補間に用いる中間値を算出する。詳しくは後述する。
【００４２】
補間部１９は、垂直補間および水平補間を行う。補間部１９に含まれる垂直補間部１７は、着目画素に基づいて垂直補間を行い、水平補間部１８は、着目画素に基づいて水平補間を行う。詳しくは後述する。
【００４３】
３  斜め線判定部１０の概要
斜め線判定部１０について詳細を説明する。
【００４４】
図２に示すように、斜め線判定部１０は、水平方向エッジ改善部１１と、角検出部８と、斜め度判定部９を含む。
【００４５】
水平方向エッジ改善部１１は、ローパスフィルタおよびバンドパスフィルタを備えている。水平方向エッジ改善部１１は、入力される映像信号に対してローパスフィルタを適用した後、バンドパスフィルタを適用して、必要な周波数成分を通過させる。これにより映像信号の水平方向のエッジを改善する。
【００４６】
エッジとは、物体の外縁をあらわす線や、画像を特徴づける線要素である。エッジは画像の濃度や色に急な変化がある場所に存在する。エッジは画素値が急激に変化する部分である。エッジの検出は、例えば画素値の変化分を取り出す微分演算によってなされる。
【００４７】
角検出部８は、入力される映像信号について、各画素においてエッジ強度を算出し、エッジ強度の分布に基づいて、斜め線となるエッジの境界を検出する。角検出部８は、差分フィルタ適用部１２を含む。
【００４８】
差分フィルタ適用部１２は、映像信号に対して差分フィルタを適用してエッジを検出し、着目画素におけるエッジの方向成分やエッジの強度の分布に基づいて、斜め線の角度や斜め線の角（ある１ラインの映像信号において、画素値の変化が比較的緩やかな部分と大きい部分の境界。エッジの境界。）を検出する。詳しくは後述する。
【００４９】
斜め度判定部９は、斜め線の角度を判定する。斜め度判定部９は、平均値算出領域判定部１３と、エッジ角検出部１４と、斜め判定部１５と、中間値計算部１６を含む。
【００５０】
平均値算出領域判定部１３は、後述するエッジ角検出部１４が映像信号を２値化する際に基準とする値（２値化判定値）を算出する。平均値算出領域判定部１３は、複数の画素からなる一定範囲の所定の領域を対象に、差分フィルタ適用部１２の解析結果に基づいて、どの範囲の画素を用いて２値化判定値を算出するか決定する。この際、画素値の変化の大きい領域の画素を用いて２値化判定値が算出されるよう、２値化判定値を算出するための画素の範囲が決定される。平均値算出領域判定部１３は、本実施形態では、選択された範囲にある画素の画素値の平均値を２値化判定値と算出する。詳しくは後述する。
【００５１】
エッジ角検出部１４は、平均値算出領域判定部１３で算出された２値化判定値を基準として、映像信号を２値化する。２値化した結果に基づいて、着目画素周辺の画素値の分布をパターン分けする。パターン分けは、着目画素周辺の画素における画素値の分布が、斜め線の角を構成しているか等に応じた分け方としている。
【００５２】
このようなエッジ角検出部１４におけるパターン分けの結果を用いて、斜め判定部１５において斜め度が判定される。すなわち、斜め線判定部１０は、差分フィルタ適用部１２、平均値算出領域判定部１３、エッジ角検出部１４により、斜め線の角や画素値の変化が比較的緩やかな画素の並びを検出する。斜め線の角等に基づいて、後述する斜め判定部１５により斜め線の角度を示す斜め度が算出される。
【００５３】
斜め判定部１５は、エッジ角検出部１４により２値化された２値化パターンに基づいて、着目画素が斜め線補間か、斜め線ではない部分の補間（通常補間）か判定する。着目画素が斜め線補間であれば、斜め度を算出する。詳しくは後述する。
【００５４】
中間値計算部１６は、斜め判定部１５による斜め度の算出結果（斜め線の角度）を受けて、斜め線の角度に対応して、着目画素における垂直補間のための中間値を計算する。
【００５５】
３．１  斜め線判定部１０の構成
図３は、斜め線判定部１０の構成を、より詳細に示した図である。なお、図３では、図２で示した角検出部８、斜め度判定部９、補間部１９の図示を省略している。
【００５６】
図３では、差分フィルタ適用部１２及びエッジ角検出部１４の具体的な構成の一例を示している。差分フィルタ適用部１２およびエッジ角検出部１４について説明する。
【００５７】
図３に示すように、差分フィルタ適用部１２は、Ｓｏｂｅｌフィルタ２１と、斜め方向判定部２２と、エッジ強度算出部２３と、エッジ角パターン解析部２４を含む。
【００５８】
３．２  Ｓｏｂｅｌフィルタ２１の構成
Ｓｏｂｅｌフィルタ２１は、入力される映像信号の各ラインにおいて、画素値がどれだけ変化しているかを算出する。Ｓｏｂｅｌフィルタ２１は、着目画素と、着目画素の周囲の画素に基づいて、例えば図４に示すＳｏｂｅｌフィルタを適用して着目画素における画素値の変化量を算出してエッジを検出する。Ｓｏｂｅｌフィルタを適用することにより、着目画素周辺における画素値の差分の水平方向（ｘ方向）および垂直方向（ｙ方向）が算出される。
【００５９】
ここで、Ｓｏｂｅｌフィルタについて詳しく説明する。
図４は、Ｓｏｂｅｌフィルタ２１による画素値の変化を各ラインで算出する構成を示す図である。
【００６０】
図４に示すように、着目画素および着目画素の周囲の８画素の画素値に基づいて、水平方向差分フィルタ４２を適用することにより着目画素における画素値の変化量のｘ方向成分（ｄｘ）が算出される。同様に垂直方向差分フィルタ４３を適用することにより着目画素における画素値の変化量のｙ方向成分（ｄｙ）が算出される。
【００６１】
なお、図４に示すように、各ラインの着目画素においてＳｏｂｅｌフィルタを適用するため、着目画素のあるラインの上下にあるラインの画素の画素値についてもＳｏｂｅｌフィルタへ入力する。例えば、差分フィルタ部４１に示すように、ライン１（ｌ１）の画素についてＳｏｂｅｌフィルタを適用するため、ライン０〜２の映像信号をＳｏｂｅｌフィルタに入力する。差分フィルタ部４１に示すように、本実施形態では映像信号を６ライン入力する（ライン０〜ライン５）こととし、ライン１（ｌ１）、ライン２（ｌ２）、ライン３（ｌ３）、ライン４（ｌ４）についての画素値の変化量が算出される。例えば、ライン１の着目画素におけるｄｘをｌ１ｄｘとし、ｄｙをｌ１ｄｙとして画素値の変化量が算出される。
【００６２】
３．３  エッジ強度算出部２３の構成
図３に戻り説明を続ける。
【００６３】
エッジ強度算出部２３は、Ｓｏｂｅｌフィルタ２１による算出結果（着目画素における画素値の変化量のｘ方向成分およびｙ方向成分）に基づいて、着目画素における画素値の変化量の大きさ（エッジ強度）を算出する。エッジ強度を強度値Ｉとすると、エッジ強度算出部２３は、例えば、下記の式１のように、着目画素におけるｄｘの２乗とｄｙの２乗との和を着目画素における強度値Ｉと算出する。
【００６４】
（式１）  Ｉ＝（ｄｘ）２＋（ｄｙ）２
３．４  斜め方向判定部２２の構成
斜め方向判定部２２は、着目画素におけるエッジの角度を分類する。斜め方向判定部２２は、分類したエッジの角度を、斜め線の方向を示す方向値として出力する。角度の分類は、Ｓｏｂｅｌフィルタ２１により算出される着目画素におけるｄｘおよびｄｙと、エッジ強度算出部２３により算出される着目画素におけるエッジ強度（強度値Ｉ）に基づいてなされる。この角度の分類について詳しく説明する。
【００６５】
図５は、斜め方向判定部２２による、着目画素におけるエッジの角度の分類処理を示す図である。
【００６６】
斜め方向判定部２２は、着目画素におけるｄｙ／ｄｘを計算するｄｙ／ｄｘ計算部５２と、角度分類演算部５３とからなる方向値判定部５１を含む。
【００６７】
ｄｙ／ｄｘ計算部５２は、Ｓｏｂｅｌフィルタ２１より出力される、着目画素におけるｄｘとｄｙの入力を受け付けて、ｄｙ／ｄｘを算出する。着目画素において、画素値の変化量のｘ方向成分とｙ方向成分のなす角度をθとすると、ｄｙ／ｄｘは、着目画素における画素値の変化量のｔａｎθの値となる。
【００６８】
角度分類演算部５３は、着目画素における画素値の変化量に基づいて、着目画素におけるエッジの角度を、数パターンに分類する。角度分類演算部５３は、ｄｙ／ｄｘ計算部５２よりｄｙ／ｄｘの入力を受け付け、エッジ強度算出部２３より強度値Ｉの入力を受け付ける。また、予め強度値Ｉと比較するための閾値０（ｔｈｒｅｓｈ０）と、斜め線の方向を判定するための閾値１（ｔｈｒｅｓｈ１）および閾値２（ｔｈｒｅｓｈ２）の入力を受け付ける。なお、閾値１よりも閾値２の方が大きい値とする。閾値１および閾値２は、ｄｙ／ｄｘと比較して斜め線の方向を判定するために予め設定された値である。本実施形態では、斜め線の方向が右下がりか右上がりであるかを判定するために閾値１および閾値２を設定する。
【００６９】
角度分類演算部５３は、本実施形態では、図示するように、着目画素におけるエッジの角度を５つに分類する。すなわち、角度分類演算部５３は、エッジの角度に応じた４方向（方向０〜方向３）と、強度値Ｉが閾値０よりも小さい場合の「方向がない」（方向４）の５つに分類する。角度分類演算部５３は、下記の（式２）により強度値Ｉと閾値０を比較し、強度値Ｉが閾値０よりも小さい場合は、斜め線の方向を「方向４」と判定する。これは、エッジ強度が所定値より小さい場合は、エッジを構成する画像ではないと推定している。
【００７０】
（式２）  Ｉ  ＜  ｔｈｒｅｓｈ０
式（２）が真でない場合、すなわち強度値Ｉが閾値０よりも大きいか等しい場合は、角度分類演算部５３は、ｄｙ／ｄｘを閾値１および閾値２と比較して方向を判定する。すなわち、角度分類演算部５３は、下記の（式３）が真であれば「方向０」、（式４）が真であれば「方向２」、（式５）が真であれば「方向３」、（式６）が真であれば「方向１」、と判定する。（式３）は、ｄｙ／ｄｘの絶対値がｔｈｒｅｓｈ１より小さいか、（式４）は、ｄｙ／ｄｘがｔｈｒｅｓｈ１より大きいか等しくｔｈｒｅｓｈ２より小さいか、（式５）はｄｙ／ｄｘが−ｔｈｒｅｓｈ２より大きいか等しく−ｔｈｒｅｓｈ１より小さいか、（式６）はｄｙ／ｄｘの絶対値がｔｈｒｅｓｈ２より大きいか等しいかを判定する条件式である。各条件式のいずれかが真の場合に、その真となった条件式に対応して斜め線の方向が判定される。
【００７１】
（式３）  ｜ｄｙ／ｄｘ｜  ＜  ｔｈｒｅｓｈ１
（式４）  ｔｈｒｅｓｈ１  ≦  ｄｙ／ｄｘ  ＆＆  ｄｙ／ｄｘ  ＜  ｔｈｒｅｓｈ２
（式５）  −ｔｈｒｅｓｈ２  ≦  ｄｙ／ｄｘ  ＆＆  ｄｙ／ｄｘ  ＜  −ｔｈｒｅｓｈ１
（式６）  ｔｈｒｅｓｈ２  ≦  ｜ｄｙ／ｄｘ｜
同図に示すように、「方向０」は、エッジの傾きがほぼ水平の線であることを示し、「方向１」は、エッジの傾きがほぼ垂直の線であることを示している。「方向２」は、右下がりの傾きを示し、「方向３」は右上がりの傾きを示している。判定結果（方向０〜４）は、方向値として出力される。
【００７２】
この斜め方向判定部２２による判定結果である方向値は、エッジ角パターン解析部２４において用いられる。
【００７３】
３．５  エッジ角パターン解析部２４の構成
エッジ角パターン解析部２４は、エッジの強度値の分布状況および斜め方向判定部２２が出力する斜め線の方向値に基づいて、斜め線の角を検出し、検出された角の位置を４パターンに分類する。本実施形態では、斜め線の傾きが右下がりか右上がりか、および、斜め線の角がエッジの左側か右側かに応じた４パターンに分類する。エッジ角パターン解析部２４は、斜め方向判定部２２より着目画素における斜め線の傾きの判定結果を受け付け、エッジ強度算出部２３より着目画素における強度値Ｉを受け付ける。
【００７４】
図６は、エッジ角パターン解析部２４における斜め線の角を検出してパターンに分類する処理を示す図である。
【００７５】
判定領域６０は、エッジ角パターン解析部２４の処理において、パターン分類のために用いられる画素の領域を示す。判定領域６０は、水平方向に２画素、垂直方向に４画素からなる２×４の領域である。同図に示すように、エッジ角パターン解析部２４は、判定領域６０の８画素の領域を３つに分割し、それぞれについて斜め線のパターンを判定する。本実施形態では、着目画素が含まれるラインをライン３（ｌ３）とする。エッジ角パターン解析部２４は、そのライン３の上下のライン（ライン１（ｌ１）、ライン２（ｌ２）、ライン４（ｌ４））に含まれる２画素×２画素の領域を併せて用いてパターンを判定する。
【００７６】
上部判定領域６１は、ライン４（ｌ４）およびライン３（ｌ３）からなる２×２の画素を含む領域である。中部判定領域６２は、ライン３（ｌ３）およびライン２（ｌ２）からなる２×２の画素を含む領域である。下部判定領域６３は、ライン２（ｌ２）およびライン１（ｌ１）からなる２×２の画素を含む領域である。
【００７７】
パターン判定条件６４は、上記の上部判定領域６１等の２×２の領域を各パターンに分類する判定条件を示す。
【００７８】
同図に示すように、パターン判定条件６４の判定結果は４パターンあり、２つの判定条件が含まれる。第１の判定条件は、斜め線の傾きを示す方向値（斜め方向判定部２２の判定結果）の分布状況に対応している。第１の判定条件において、斜め線の方向が右下がりか右上がりかに分類される。
【００７９】
第２の判定条件は、斜め線の角の位置（エッジの左側か右側か）に対応している。例えば、上部判定領域６１の２×２の画素の領域において、左下と右上の画素における斜め方向判定部２２の判定結果が方向３（右上がり）であれば、この領域において斜め線の方向は右上がりと推定される。さらに、各画素における強度値Ｉの分布が、左上の画素のものが最も小さい場合は、斜め線の角がエッジの左側にあるパターン１と判定される。
【００８０】
すなわち、エッジ角パターン解析部２４は、判定領域６０に含まれる上部判定領域６１等の２×２の画素の領域について、斜め線の方向が右上がりであるか右下がりであるかを判定する（パターン判定条件６４の「方向値」）。さらに、上部判定領域６１等について、強度値Ｉの分布に応じてパターン分類することで、斜め線の角が、エッジの左側のもの（判定結果１および判定結果４）か右側のものか（判定結果２および判定結果３）を判定している。
【００８１】
このエッジ角パターン解析部２４の判定結果であるパターン判定値は、平均値算出領域判定部１３および斜め判定部１５により用いられる。
【００８２】
３．６  平均値算出領域判定部１３の構成
次に、平均値算出領域判定部１３について詳しく説明する。
【００８３】
平均値算出領域判定部１３は、差分フィルタ適用部１２のエッジ角パターン解析部２４におけるパターン判定値を受ける。このパターン判定値を用いて、着目画素の周囲にある所定の領域の画素のうち、エッジ角検出部１４における２値化処理に用いる２値化判定値を算出する領域を決定する。決定した領域に含まれる画素に基づいて、平均値算出領域判定部１３は、２値化判定値を算出する。
【００８４】
図７は、平均値算出領域判定部１３において、エッジ角検出部１４の２値化処理に用いる２値化判定値を算出するための領域を決定する処理を示す図である。
【００８５】
同図に示すように、判定領域７０は、図６の判定領域６０と同様に、エッジ角パターン解析部２４における判定に用いられる領域を示している。図７と図６を参照して、上部判定領域７１は上部判定領域６１と、中部判定領域７２は中部判定領域６２と、下部判定領域７３は下部判定領域６３と対応している。エッジ角パターン解析部２４の処理において、上部判定領域７１の判定結果を「ｕ」、中部判定領域７２の判定結果を「ｍ」、下部判定領域７３の判定結果を「ｄ」とする。これら判定結果が平均値算出領域判定部１３に入力される。
【００８６】
２値化判定値算出対象領域７９は、図示するように、水平方向に４画素、垂直方向に４画素からなる４×４の領域である。この領域において、着目画素は、本実施形態では、４ラインの入力のうちライン３（ｌ３）の、左から２番目の画素としている。この領域のうち、判定領域決定式７７に示される条件式に従って、２値化判定値を算出するための領域が決定される。
【００８７】
判定領域決定式７７について説明すると、平均値算出領域判定部１３は、下記の（式７）を満たすときは、第１判定領域７４に示される水平方向に４画素、垂直方向に３画素の領域（ライン４、３、２の３ライン）を、２値化判定値を算出するための領域であると決定する。同様に、下記の（式８）を満たすときは、第２判定領域７５に示される水平方向に４画素、垂直方向に３画素の領域（ライン３、２、１の３ライン）を、２値化判定値を算出するための領域であると決定する。
【００８８】
（式７）  ｉｆ（ｕ＝＝１｜｜ｍ＝＝２）  ＆＆  ｄ！＝２  ｜｜  （ｕ＝＝３｜｜ｍ＝＝４）  ＆＆  ｄ！＝４
（式８）  ｉｆ（ｍ＝＝１｜｜ｄ＝＝２）  ＆＆  ｍ！＝２  ｜｜  （ｍ＝＝３｜｜ｄ＝＝４）  ＆＆  ｍ！＝４
（式７）は、判定領域７０において、比較的上側の領域に斜め線の角があるか判定している。（式８）は、比較的下側の領域に斜め線の角があるか判定している。斜め線の角がある場合は、その角がある領域において画素値の変化が比較的大きいため、斜め線の角に関係ない領域にある画素を用いないで２値化判定値を算出することが望ましいためである。
【００８９】
上記（式７）および（式８）を満たさない場合は、第３判定領域７６に示される領域（水平方向に４画素、垂直方向に４画素（ライン１〜４）からなる４×４の領域）、すなわち領域全体を、２値化判定値を算出するための領域であると決定する。
【００９０】
上記のように２値化判定値を算出するための領域が決定されると、平均値算出領域判定部１３は、２値化判定値を、これら決定した領域に含まれる画素の画素値の平均により算出する。
【００９１】
３．７  エッジ角検出部１４の構成
図３に戻り説明を続ける。エッジ角検出部１４では、平均値算出領域判定部１３により算出される２値化判定値を受け付けて、着目画素周辺の画素値の２値化パターンを作成する。エッジ角検出部１４は、図示するように、２値化部２５と、パターン判定部２６とを含む。
【００９２】
図８は、エッジ角検出部１４による２値化処理とパターン判定処理を示す図である。
２値化部２５は、入力された画像について、２値化パターンを作成する。作成された２値化パターンに基づいて、パターン判定部２６は、着目画素ごとに、判定領域８０に示すように、着目画素周辺の水平２画素×垂直４画素（ライン１〜４）からなる領域を対象にパターン判定を行う。なお、本実施形態では、判定領域８０において、着目画素は、図示するようにライン３の左側の画素としている。
【００９３】
判定パターン８１は、２値化部２５により作成された２値化パターンを分類するための判定条件を示す。図示するように、本実施形態では着目画素周辺において、斜め線が水平となっているか、斜め線の角となっているかに応じて４パターンに分類する。同図では、平均値算出領域判定部１３により算出される２値化判定値の値よりも大きな画素値の画素を○で示し、２値化判定値の値よりも小さな画素値の画素を黒丸で示している。
【００９４】
Ｔｙｐｅ１、Ｔｙｐｅ２は、２値化パターンに基づいて、着目画素周辺において、２値化された画素が水平方向に連続しているか判定する。Ｔｙｐｅ３、Ｔｙｐｅ４は、２値化パターンに基づいて、着目画素周辺において、２値化された画素の不連続点があるか（１ラインにおいて○と黒丸が並んでいるか）判定する。これら２値化された画素の並びに基づいて、斜め線の角度（斜め度）が斜め判定部１５により判定される。
【００９５】
３．８  斜め判定部１５の構成
斜め判定部１５は、２値化パターンに基づいて、斜め線の角度（斜め度）を判定する。なお、斜め度は、２値化された画像において、着目画素が含まれるラインに隣接するラインとの画素の並びにより決定される。
【００９６】
図８で示したように、着目画素判定値よりも小さいか等しい画素値の画素を黒丸、着目画素判定値よりも大きい画素値の画素を○とすると、着目画素を含むラインと隣接するラインにおいて、異なる画素が並んだ数に応じて斜め度を判定している。斜め線が右上がりの角度である場合は、着目画素を含むラインと、その下のラインに着目し、着目画素を含むラインにおいて黒丸が並び、その黒丸の下に○が並ぶ数によって斜め度を判定する。
【００９７】
図９は、斜め判定部１５による斜め度の判定処理を示す図である。
図９では、２値化判定値よりも小さい画素値の画素が画素値「０」と、２値化判定値よりも大きい画素値の画素が画素値「２５５」と２値化されている。図９の例では、着目画素が含まれるライン（上から２番目のライン）において画素値「０」があり、その下のラインにおいて画素値「２５５」が並んでいる数を斜め度（この場合は斜め度は「＋４」）としている。なお、斜め線が右下がりの場合も、同様に着目画素を含むラインと隣接するラインにおいて、異なる画素が並んだ数に応じて斜め度を判定すればよい。
【００９８】
図９では、斜め線が右上がりの傾きを有する場合の、斜め度判定処理を示している。斜め度判定演算式９３は、斜め判定部１５における演算の条件式が示されている。斜め線判定解析例９０には、２値化された画素の例と、この例における着目画素が含まれるラインにおいて、着目画素を順に移動させながら、各着目画素において斜め度判定演算式９３に示される条件式に従った演算の実施結果を示している。
【００９９】
上記の斜め度判定演算式９３に示される演算は、斜め線が右上がりの傾きを有する場合のものである。パターン解析ステート値ｓｔａｔは、斜め線の角を検出して斜め線の斜め度の判定をしているかを示す状態値であり、ｓｔａｔ＝０のとき、斜め線の角を検出しておらず斜め度の判定をしていないことを示す。ｓｔａｔ＝０のとき、着目画素が含まれるライン（ｌ３）の下のライン（ｌ２）において、斜め線の角があるか（ｔｙｐｅ４であるか）、（式９）が真であるか否かにより判定する。なお、図９におけるｕ、ｍ、ｄは、図７の判定領域７０における説明と同様に、エッジ角パターン解析部２４における判定結果を示す。ｕ、ｍ、ｄが１か２であるかの判定により、斜め線が右上がりであることに対応する。なお、下記式においてｐは平均値算出領域判定部１３による判定結果を示す。
【０１００】
（式９）  ｓｔａｔ  ＝＝０  ＆＆  （ｍ＝＝１  ｜｜  ｄ＝＝２）  ＆＆  ｐ！＝ｔｙｐｅ２  ＆＆  ｐ＝＝ｔｙｐｅ４
（式９）が真のとき、ｓｔａｔ＝１、ｃｎｔ＝１とする。ｓｔａｔ＝１のとき、斜め線の斜め度を判定する状態であることを示す。ｃｎｔは、斜め度を判定するために用いるカウンタ値である。斜め判定部１５は、着目画素が含まれるライン（ｌ３）において、各着目画素について、斜め度判定演算式９３に示される演算を実施する。すなわち、（式９）が偽であれば、（式１０）が真であるか判定され、（式１０）が偽であれば（式１１）が真であるか判定される。（式９〜１１）のいずれも偽であれば、ｓｔａｔ＝０、ｃｎｔ＝０としてパターン解析ステート値ｓｔａｔおよびカウンタ値を初期化する。なお、（式１１）において、ＭＡＸ＿ＣＮＴは、ｃｎｔの上限値であり、外部より指定する定数とする。
【０１０１】
（式１０）  （ｓｔａｔ＝＝１  ｜｜  ｓｔａｔ＝＝２）  ＆＆  （ｕ＝＝１  ｜｜  ｍ＝＝２）  ＆＆  ｐ！＝ｔｙｐｅ１）
（式１１）  ｓｔａｔ＝＝１  ＆＆  （（ｍ＝＝１  ｜｜ｄ＝＝２）  ＆＆  ｐ！＝ｔｙｐｅ２  ｜｜  ｃｎｔ＜ＭＡＸ＿ＣＮＴ  ＆＆  ｐ＝＝ｔｙｐｅ１）
このように、斜め判定部１５は、２値化パターンにおけるｌ３において同一の画素値が連続せず、着目画素が含まれるラインとその下のラインとが２値化パターンにおいて境界でない点（ｔｙｐｅ１に該当しないか）を検出するまで斜め度を増分していく。上記（式９〜１１）のいずれも偽と判定されると、斜め線の角でないと推定される。
【０１０２】
図示する例では、パターン解析ステート値ｓｔａｔおよびカウンタ値ｃｎｔに基づいて、ｓｔａｔ＝２と判定された着目画素におけるｃｎｔの値から１を減算した値を斜め度と算出している。
【０１０３】
なお、本実施形態では、斜め線補間適用範囲９１に示すように、各着目画素について上記演算を実施して、ｓｔａｔが０から１となった画素を起点として、斜め度に２を増分した数の画素を、斜め線補間を実施する範囲と判定する。
【０１０４】
３．９  中間値計算部１６の構成
中間値計算部１６は、斜め判定部１５により算出される斜め度を用いて、中間値を計算する。この中間値は、垂直補間部１７等による斜め線補間の実施時に用いられる。斜め線補間の対象となるのは、斜め判定部１５により斜め線補間を実施する範囲と判定された画素である。
【０１０５】
中間値計算部１６による中間値の計算について詳細を説明する。
図１０は、中間値計算部１６による中間値計算をするための画素を決定する処理を示す図である。
【０１０６】
中間値計算部１６は、着目画素を中心に、斜め度に示される角度に応じて中間値を計算するための画素を決定する。斜め度に示される値が大きいほど、斜め線を構成する画素の水平方向が長く、斜め線の角から離れている。斜め線の角に近い画素を用いて中間値が算出される。
【０１０７】
中間値計算部１６は、斜め判定部１５において判定された、斜め線補間を実施する範囲の各画素について、その画素における斜め度が偶数であるか奇数であるか判断する。垂直補間により画素を補間する位置を垂直補間位置１０１、１０３として示す。矢印で示される画素の間に、画素が補間される。なお、図１０の例では、右上がりの斜め線を示している。そのため斜め線の角は、下のラインほど画像の左側に近くなる。
【０１０８】
斜め度が偶数であれば、図１０に示すように、垂直補間位置から（斜め度／２）個右側の画素と（斜め度／２）個左側の画素とのペアを選択する。
【０１０９】
斜め線の角に近い画素の画素値を用いて中間値を計算するために、斜め線が右上がりの場合は、斜め線補間を実施する範囲と判定されたラインにおいて、垂直補間をする画素の（斜め度／２）個右側の画素と、上記ラインのひとつ下のラインにおいて、（斜め度／２）個左側の画素のペア（中間値算出用画素１０２）を選択する。中間値計算部１６は、この選択されたペアの画素の、２値化前の画素値の平均値を、斜め線補間のための中間値として算出する。
【０１１０】
なお、斜め度が奇数である場合は、中間値計算部１６は、図１０に示すように、４つの画素を用いて中間値を算出する。すなわち、斜め線補間を実施する画素（同図における垂直補間位置１０３の画素）について、（斜め度／２）を計算し、小数点を切り下げた数だけ離れた画素と、小数点を切り上げた数だけ離れた画素とを用いて（同図に中間値算出用画素１０４として示す）、各画素の２値化する前の画素値の平均値を中間値として算出する。
【０１１１】
なお、斜め線が右下がりである場合は、斜め線の角に近い画素を用いて中間値を算出するために、着目画素が含まれるラインの（斜め度／２）個左側の画素と、ひとつ下のラインの（斜め度／２）個右側の画素を用いる。
【０１１２】
４  垂直補間部１７の構成
垂直補間部１７は、入力される画像について、垂直方向の補間を行う。斜め線と判定され、斜め度が算出されている画素については、垂直補間部１７は、斜め線補間を実行する。また、斜め線と判定されていない画素については、垂直補間部１７は、通常の補間処理を実行する。
【０１１３】
図１１は、垂直補間部１７による斜め線補間の処理を示す図である。
図１１において、黒丸と○で示す画素は原画像にある実画素である。この２つの画素は、隣接するライン（同図において水平方向の実線で示す）にある。スケーリングにより高解像度の画像を得る際は、このラインの間に画素を補間する必要がある。実画素の位相を０と４０９６とする。同図において、位相０の実画素を黒丸で示し、位相４０９６の実画素を○で示す。スケーリングによる画像の拡大の倍率に応じて、画素を補間すべき位置を示す補間位相ｐが定まる。
【０１１４】
垂直補間部１７は、斜め判定部１５により斜め線補間適用範囲（図９の例では、斜め線補間適用範囲９１）と判定された画素について、斜め線補間を実行するため、中間値計算部１６により計算された中間値を用いて補間する。
【０１１５】
垂直補間部１７は、補間する画素の位相（補間位相ｐ）に応じて、上記実画素のいずれを用いて補間するか決定する。補間位相ｐが、０以上２０４８未満であれば、垂直補間部１７は、黒丸で示す位相０の実画素と、中間値計算部１６で算出した中間値を用いて補間する。補間位相ｐが２０４８以上４０９６以下であれば、中間値と、○で示す位相４０９６の実画素を用いて補間する。補間される画素の画素値は、実画素からの距離等に応じて定まる。
【０１１６】
５  水平補間部１８の構成
水平補間部１８は、入力される画像について、水平方向の補間を行う。なお、斜め線と判定された画素の補間については、水平補間部１８は、斜め線補間を実行する。また、斜め線と判定されない画素については、水平補間部１８は、通常の補間処理を実行する。
【０１１７】
水平補間部１８による斜め線補間は、垂直補間部１７のものとほぼ同様に、中間値を用いて補間する。水平補間部１８は、斜め線補間の対象となる画素について、水平方向に隣接する実画素との間に画素を補間する場合、上記垂直補間部１７と同様に、補間する画素の位相に応じて、中間値を用いて補間する。
【０１１８】
６  従来の補間方法との比較
以上のように説明してきた本発明の映像信号処理装置１について、従来の構成と比較して説明する。
【０１１９】
６．１  従来の方法で補間した場合
（ノイズがない場合）
まず、従来のように差分フィルタ等を用いない補間方法の例について説明する。
【０１２０】
図１２は、従来のように、入力画像の所定領域の全ての画素の平均値を用いて２値化パターンを得た場合の、斜め線の判定結果を示す図である。
【０１２１】
図１２に示すように、第１入力画像パターン１２１のように６ラインの入力画像があり、着目画素（同図中、背景を斜線で示す画素）を基準として、垂直方向４ライン×水平方向１１画素からなる図示するような所定の領域を処理の対象とする。この所定の領域における画素値の平均値は「１８３」である。中間値「１８３」よりも大きい画素と、中間値「１８３」以下の画素に２値化すると、２値化画像である２値化パターン１２２が得られる（なお、２値化パターン１２２においても着目画素を斜線で示す）。
【０１２２】
上記の説明のように、この２値化画像において、斜め度は＋４である。そのため着目画素を基準に、中間値算出対象となる２つの画素（第１入力画像パターン１２１において、四角で囲んだ画素）を用いて中間値が算出される。図１２の例では、中間値は「１８３」である。
【０１２３】
この場合、垂直補間の際に、補間する画素の位相値を３０００とすると、中間値や位相４０９６の実画素との位相の差に応じて補間値（補間する画素の画素値）が算出される。図示するように、補間値は「２１６」である。
【０１２４】
（ノイズが付加されている場合）
一方、入力画像にノイズが付加された例について説明する。第２入力画像パターン１２５のように、垂直方向４ライン×水平方向１１画素からなる領域を処理の対象とする。ノイズが付加されている場合、この領域における画素値の平均値は「１８４」である。これにより、この領域の２値化画像である２値化パターン１２６が得られる。
【０１２５】
この場合、ノイズが付加された影響で、斜め線の斜め度判定に失敗し、通常の補間がなされる。例えば、補間する画素の位相が３０００とすると、図示するように補間値は着目画素と、その下のラインの実画素の画素値に基づいて算出され、「２３６」となる。
【０１２６】
このノイズのある画像とない画像が静止画としてフレームごとに交互に入力されると、補間した画素の画素値が異なり点滅して見えることとなる。そのため斜め線補間により画質が劣化する。
【０１２７】
６．２  本発明により補間した場合
（ノイズがない場合）
次に、上記の本実施形態で説明した構成における補間例を示す。図１２と同様の入力画像が与えられたとする。
【０１２８】
図１３は、ノイズのない入力画像が与えられた場合における補間結果を示す図である。
図１３に示す第１入力画像パターン１３１は、図１２の第１入力画像パターン１２１と同内容の入力画像とする。
【０１２９】
この第１入力画像パターン１３１の各画素に対し、差分フィルタ適用部１２のＳｏｂｅｌフィルタＸ１３２によりＸ方向の差分を出力し、ＳｏｂｅｌフィルタＹ１３３によりＹ方向の差分を出力する。
【０１３０】
ＳｏｂｅｌフィルタＸ１３２およびＳｏｂｅｌフィルタＹ１３３の出力結果に基づいて、エッジ強度算出部２３は、（式１）によりエッジ強度Ｉを各画素について算出する（算出結果を強度Ｉ１３５に示す）。
【０１３１】
ＳｏｂｅｌフィルタＸ１３２およびＳｏｂｅｌフィルタＹ１３３の出力結果に基づいて、斜め方向判定部２２は、（式２）〜（式６）により斜め線の方向の判定値を各画素について「方向０」〜「方向４」と判定する（判定結果が斜め方向判定１３４に示されている）。
【０１３２】
これら斜め方向判定１３４や強度Ｉ１３５に示す結果に基づいて、エッジ角パターン解析部２４は、斜め線の角を判定する。強度Ｉ１３５に、斜め線の角の判定箇所を四角および矢印で図示している。この判定結果をパターン解析１３６として示す。
【０１３３】
なお、パターン解析１３６では、平均値算出領域判定部１３による、２値化判定値を算出するための領域を決定する処理の結果と、エッジ角検出部１４による２値化処理および２値化パターンの分類結果も示している。
【０１３４】
これら平均値算出領域判定部１３やエッジ角検出部１４の処理の結果を受けて、斜め判定部１５により斜め度が判定され、斜め線補間を適用する画素も判定される。斜め判定部１５による演算結果を斜め線判定結果１３７に示す（斜め線補間を適用する画素の範囲を斜線で示す）。なお、この場合は、上記の処理により、丸で囲んだ着目画素（同図では画素値が「１８３」である）において斜め線補間をした場合、中間値が中間値計算部１６により算出される。中間値の算出結果を受けて、垂直補間部１７等により補間値が算出される。
【０１３５】
（ノイズが付加された場合）
次に、入力画像にノイズが付加された場合における補間例を示す。
【０１３６】
図１４は、ノイズが付加された入力画像が与えられた場合における補間結果を示す図である。
【０１３７】
図１４に示す第２入力画像パターン１４１は、図１２の第２入力画像パターン１２５と同内容の入力画像とする。
【０１３８】
ＳｏｂｅｌフィルタＸ１４２、ＳｏｂｅｌフィルタＹ１４３、斜め方向判定１４４、強度Ｉ１４５、パターン解析１４６は、それぞれ図１３においてＳｏｂｅｌフィルタＸ１３２、ＳｏｂｅｌフィルタＹ１３３、斜め方向判定１３４、強度Ｉ１３５、パターン解析１３６として説明したものと同様の処理である。
【０１３９】
このように、ノイズが付加された入力画像に対しても、斜め線の角を検出して、斜め線判定結果１４７において斜め線の斜め度が算出されている。この場合は、斜め補間と判定して、中間値が中間値計算部１６により算出される。中間値を用いて斜め補間が行われて補間値が算出される。
【０１４０】
この例のように、ノイズがない場合と付加されている場合とを比較すると、画素値の差分値に基づいて斜め線を判定しているため、ノイズに対する耐性が従来よりも向上している。すなわち、差分値に基づいて斜め線の角を検出して斜め度および斜め補間すべき画素の範囲を決定しているため、本発明は、ノイズがある画像に対し、従来よりも安定して斜め線を判定することができ、補間後の画像の画質が向上する。
【０１４１】
上記のように、本発明は、垂直方向のみならず水平方向についても斜め線補間をすることができる。そのため、幅広い斜め線の角度に対応して補間処理を実行できる。特定の入力画像に限らず、従来よりも汎用的に補間処理を実行しうる。
【０１４２】
今回開示された実施の形態はすべての点で例示であって制限的なものでないと考えられるべきである。この発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【産業上の利用可能性】
【０１４３】
本発明は、動画像のスケーリング機能を備えた映像信号処理装置や映像再生装置、表示装置などに用いることができる。
【符号の説明】
【０１４４】
１  映像信号処理装置、２  ノイズ除去装置、３  Ｉ−Ｐ変換装置、４  水平・垂直画素数変換装置、５  出力用同期信号生成装置、６  画質調整装置、７  フレームバッファ、８  角検出部、９  斜め度判定部、１０  斜め線判定部、１１  水平方向エッジ改善部、１２  差分フィルタ適用部、１３  平均値算出領域判定部、１４  エッジ角検出部、１５  斜め判定部、１６  中間値計算部、１７  垂直補間部、１８  水平補間部、１９  補間部、２１  Ｓｏｂｅｌフィルタ、２２  斜め方向判定部、２３  エッジ強度算出部、２４  エッジ角パターン解析部、２５  ２値化部、２６  パターン判定部。
【図１】
2013126134.tif 000003
【図２】
2013126134.tif 000004
【図３】
2013126134.tif 000005
【図４】
2013126134.tif 000006
【図５】
2013126134.tif 000007
【図６】
2013126134.tif 000008
【図７】
2013126134.tif 000009
【図８】
2013126134.tif 000010
【図９】
2013126134.tif 000011
【図１０】
2013126134.tif 000012
【図１１】
2013126134.tif 000013
【図１２】
2013126134.tif 000014
【図１３】
2013126134.tif 000015
【図１４】
2013126134.tif 000016
【図１５】
2013126134.tif 000017
【図１６】
2013126134.tif 000018