(57)【特許請求の範囲】
【請求項１】
映像信号の画素値を補間して高解像度化する映像信号処理装置において、
複数の方向性を持つ微分作用素を、前記映像信号の補間時に用いる予め設定した複数の画素の画素値に施して、前記映像信号のエッジの方向性を検出する方向性検出手段と、
前記方向性検出手段により検出された前記エッジの方向性を示す直線が、複数の補間画素の補間位置のみを通り、前記予め設定した複数の画素の位置のいずれにも通らないときは、前記補間画素の候補値を、前記複数の画素のうち前記補間画素の周辺の画素の線形補間により生成し、前記直線が前記複数の補間画素のうち中心位置にある第１の補間画素の位置のみを通るときは、前記第１の補間画素の候補値を、前記複数の画素のうち前記直線の近傍位置にある２以上の画素の画素値を平均して生成すると共に、前記直線の平行線が通る位置にある第２の補間画素の候補値を、前記複数の画素のうち、前記平行線の近傍位置にある２以上の画素の画素値を平均して生成し、かつ、前記直線が通らない位置にある第３の補間画素の候補値を、前記複数の画素のうち前記第３の補間画素の周辺の画素の線形補間により生成する候補値生成手段と、
前記候補値生成手段により生成された前記候補値を、前記複数の画素のうち前記第１の補間画素の位置の上下左右にそれぞれ隣接する中央の４画素の画素値のうち最大値と最小値で制限して、この制限された候補値を補間画素の補間値として出力する補間値出力手段と
を有することを特徴とする映像信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は映像信号処理装置に係り、特に階調画像を扱う映像表示装置、映像記録装置、映像処理装置、コンピュータ装置などにおいて画像の拡大・解像度変換を施した出力画像を得るための映像信号処理装置に関する。
【背景技術】
【０００２】
近年の映像機器のディジタル化及びパーソナルコンピュータやデジタルカメラの普及、さらに超高解像度映像機器の導入により、既存の映像ソースの高品質な高解像度化の重要性が高まっている。この高解像度化には、例えば、既存の映像ソースの映像信号の画素間を補間して画像を拡大する手法が用いられる。
【０００３】
広く知られている補間手法としては、最近隣補間法、線形補間法、３次元畳み込み補間法などがある。最近隣補間法は、変換画像の最も近いサンプル点の値を補間値とする方法であり、アルゴリズムが簡単に実現できるメリットがある。線形補間法は、変換画像の補間位置の周囲４点の画素からの距離の比を求め、その比率に応じて、周囲４点の画素値から補間していく方法であり、画像が滑らかになるメリットがある。３次元畳み込み補間法は、ｓｉｎｃ関数を近似した三次関数を用いて、補間位置の周辺１６点から、畳み込んで計算していく方法であり、画像が滑らかになるのと同時に鮮鋭化の効果もある。
【０００４】
しかし、上記のような従来の補間手法では、周囲の情報を均等に配分して補間データを作り出すため、非エッジ部では滑らかな補間画像が得られるものの、エッジ部分、特に傾斜の急な斜め線においてジャギーが目立つことは避けがたい。
【０００５】
そのため、エッジ部と非エッジ部の補間手段を別々のものを使用し、エッジ部ではジャギーの目立ちにくい直交変換・逆変換を利用する補間方法が従来提案されている（例えば、特許文献１参照）。
【０００６】
また、斜めに隣接する画素間の補間については単調増加する非線形関数、縦横に隣接する画素間の補間については単調増加する非線形関数もしくは線形関数を用いることによって、ジャギーに対応する補間方法も従来知られている（例えば、特許文献２参照）。
【０００７】
更に、周辺の画素値をもとに予め定められた詳細関数によって求められる評価値が、予め設定された条件を満足するまで、補間画素値を繰り返し修正して、斜め線も含め高品位な補間を行う方法も従来提案されている（例えば、特許文献３参照）。
【０００８】
【特許文献１】特許３５７８９２１号公報
【特許文献２】特開平５‐２８４３３８号公報
【特許文献３】特開平１０‐１６４３５８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかし、上記の特許文献１〜３に記載の補間方法は、直交変換・逆変換の処理が必要になったり、メモリーテーブルを用いた非線形関数の適用する必要があったり、繰り返し演算が必要であったりするなど、いずれも計算コスト上の障害が存在する上、様々な角度の斜め線のジャギーに対応するだけの仕組みを有していないので、補間性能にも限界がある。
【００１０】
本発明は上記の点に鑑みなされたもので、複数の方向性を持つ微分作用素で映像信号のエッジの方向性を検出し、検出したエッジに沿った加重平均を得、これを周辺画素の最大値と最小値の間に制限したものを補間値とすることにより、エラーが少なく高性能な斜め線補間を比較的簡単な計算で実現する映像信号処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記の目的を達成するため、本発明の信号処理装置は、映像信号の画素値を補間して高解像度化する信号処理装置において、複数の方向性を持つ微分作用素を、映像信号の補間時に用いる予め設定した複数の画素の画素値に施して、映像信号のエッジの方向性を検出する方向性検出手段と、方向性検出手段により検出されたエッジの方向性を示す直線が、複数の補間画素の補間位置のみを通り、予め設定した複数の画素の位置のいずれにも通らないときは、補間画素の候補値を、複数の画素のうち補間画素の周辺の画素の線形補間により生成し、上記直線が複数の補間画素のうち中心位置にある第１の補間画素の位置のみを通るときは、第１の補間画素の候補値を、複数の画素のうち上記直線の近傍位置にある２以上の画素の画素値を平均して生成すると共に、上記直線の平行線が通る位置にある第２の補間画素の候補値を、複数の画素のうち、平行線の近傍位置にある２以上の画素の画素値を平均して生成し、かつ、上記直線が通らない位置にある第３の補間画素の候補値を、複数の画素のうち第３の補間画素の周辺の画素の線形補間により生成する候補値生成手段と、候補値生成手段により生成された候補値を、複数の画素のうち第１の補間画素の位置の上下左右にそれぞれ隣接する中央の４画素の画素値のうち最大値と最小値で制限して、この制限された候補値を補間画素の補間値として出力する補間値出力手段とを有することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、エラーが少なく高性能な斜め線補間を比較的簡単な計算処理で実現することができる。
【発明を実施するための最良の形態】
【００１３】
次に、本発明の一実施の形態について図面と共に詳細に説明する。
【００１４】
図１は、本発明になる映像信号処理装置の一実施の形態のブロック図を示す。同図に示すように、本実施の形態の映像信号処理装置１００は、入力された三原色信号（入力ＲＧＢ信号）に基づいて、輝度信号Ｙと２種類の色信号Ｃｂ、Ｃｒを生成する第一マトリクス回路１０１と、輝度信号Ｙ用の拡大処理部１０２と、色信号Ｃｂ用の拡大処理部１０３と、色信号Ｃｒ用の拡大処理部１０４と、各拡大処理部１０２〜１０４から出力された信号に基づいて、拡大ＲＧＢ信号を生成する第二マトリクス回路１０５とからなる。
【００１５】
次に、この実施の形態の動作について説明する。
【００１６】
第一マトリクス回路１０１は、高解像度化対象の映像信号である入力ＲＧＢ信号を公知のマトリクス演算を用いて輝度信号Ｙと２種類の色信号Ｃｂ及びＣｒに変換する。Ｙ用拡大処理部１０２は、第一マトリクス回路１０１から出力された輝度信号Ｙを入力として受け、後述するように、その輝度信号Ｙの画像のエッジとその方向性とを検出し、検出したエッジに沿った画素の画素値を、そのエッジの方向性によって決定される重み付けにより加重平均して得た加重平均値を所定の複数の周辺画素の最大値と最小値とにより決定される値によって制限し、その制限値を補間値とする拡大処理を行う。
【００１７】
一方、Ｃｂ用の拡大処理部１０３とＣｒ用の拡大処理部１０４とは、それぞれ第一マトリクス回路１０１から出力された色信号Ｃｂ、Ｃｒを入力として受け、その入力色信号Ｃｂ、Ｃｒを公知の線形補間により補間して拡大処理を行う。第二マトリクス回路１０５は、上記の拡大処理部１０２、１０３、１０４から出力された拡大処理済みの輝度信号Ｙ、拡大処理済みの色信号Ｃｂ、及びＣｒをそれぞれ入力として受け、これらに基づいて公知のマトリクス演算を行って、拡大処理されたＲ（赤）信号、Ｇ（緑）信号、及びＢ（青）信号の三原色信号を出力する。
【００１８】
次に、本実施の形態の要部であるＹ用拡大処理部１０２による拡大処理方法の詳細について説明する。
【００１９】
図２は、本発明装置の一実施の形態の要部の動作を説明するフローチャートである。このフローチャートはＹ用拡大処理部１０２による拡大処理の処理手順を示す。
【００２０】
まず、入力された輝度信号Ｙの図３に０〜２３で示した○の位置の、計２４個の画素の画素値（以下ｙ［ｎ］とする）を用いて、同図のｏ０、ｏ１、ｏ２、ｏ３、ｏ４に示す計５つの位置の補間値を算出するために、エッジとその方向性の検出を行う（ステップＳ１）。
【００２１】
なお、「エッジ」とは、濃度値、色、模様などの特徴が類似している部分を一つの領域としたとき、上記の特徴が急激に変化している、領域と領域との境界をいう。また、方向性の検出とは、後述する１２種類の方向性パターンから所定の方法で一つを選択する処理である。選択方法の詳細は後述する。
【００２２】
このステップＳ１では、図４〜図１５に示す複数の方向性を持つ微分作用素を輝度信号Ｙの画素値（輝度値）に施してエッジとその方向性とを検出する。ここで、「微分作用素」とは、例えば公知の文献（酒井幸一著：“ディジタル画像処理入門”、株式会社コロナ社、P.30-32）に記載されている特徴抽出フィルタにおける、画素の濃度差をとるためのオペレータを総称したものである。この公知文献には、近傍領域に拡張した微分フィルタであるPrewittフィルタのオペレータや、Prewittフィルタにおいて、中央の重みを大きくしたフィルタであるSobelフィルタのオペレータが開示されている。それらのオペレータは縦方向３画素、横方向３画素の計９画素について、垂直・水平のエッジを検出できるような係数配置になっている。
【００２３】
これに対し、本実施の形態では、これより複雑な図３に示した配置の２４画素のオペレータを用いて、以下説明するように１２のエッジの方向性（角度）の検出ができるようにしている。
【００２４】
いま、図４に点線の直線Ｄ０で示される水平方向の方向性を方向性０と呼び、図５に点線の直線Ｄ１で示す垂直方向の方向性を方向性１と呼ぶものとする。同様に、図６〜図１５にそれぞれ点線の直線Ｄ２〜Ｄ１１で示す方向性を方向性２〜方向性１１と呼ぶものとする。また、方向性ｋ（ｋ＝０、１、２、・・・、１１）を示す図４〜図１５における２４画素の画素配置は図３と同じであるが、その画素配置のうち、直線Ｄ０〜Ｄ１１の一方の側に配置されている〇で示す画素の係数を「１０」、他方の側に配置されている●で示す画素の係数を「−１０」とする。ただし、図６、図７では直線Ｄ２、Ｄ３上に位置する４画素をノーカウントにし、かつ、〇で示す画素の係数を「１２」、●で示す画素の係数を「−１２」とする。なお、直線Ｄ０〜Ｄ１１は、全て２４画素の配置の中心位置（補間画素ｏ０の位置）を通る。
【００２５】
上記の画素の係数をｃｋ［ｎ］とし、２４個の各画素値をｙ［ｎ］とすると（ｎは図４〜図１５に示した各画素の番号）、次式
0004868249.tif 000002
が方向性ｋにおいて最大になる場合、方向性ｋのエッジが存在すると考える。図２のステップＳ１では、方向性０〜１１について（１）式の演算を行い、微分作用素計算結果の絶対値ｘの最大値が得られる方向性を検出する。
【００２６】
続いて、上記の検出した方向性を示す微分作用素計算結果の絶対値ｘの最大値が所定値ｔｈ１未満であるかどうかを判定し（ステップＳ２）、上記の最大値がｔｈ１未満である場合は非エッジと判定し、線形補間を行う（ステップＳ３）。具体的には、
ｏ０＝(y[8]＋y[9]＋y[14]＋y[15])/４
ｏ１＝(y[8]＋y[9])/２
ｏ２＝(y[8]＋y[14])/２
ｏ３＝(y[9]＋y[15])/２
ｏ４＝(y[14]＋y[15])/２
のように、周辺に位置する４画素又は２画素の各画素値に基づいて補間画素ｏ０〜ｏ４の画素値（補間値）を計算する。
【００２７】
一方、上記のステップＳ２において、微分作用素計算結果の絶対値ｘの最大値が所定値ｔｈ１以上であると判定されたときは、その検出した方向性はエッジであると判定し、そのエッジとして判定された各方向性について場合分けして加重平均による補間値の候補値を計算する（ステップＳ４）。この補間値の候補値の計算においては、随所に線形補間も使用されるので、予め以下の関係を定めておく。
【００２８】
ｂｏ０＝(y[8]＋y[9]＋y[14]＋y[15])/４
ｂｏ１＝(y[8]＋y[9])/２
ｂｏ２＝(y[8]＋y[14])/２
ｂｏ３＝(y[9]＋y[15])/２
ｂｏ４＝(y[14]＋y[15])/２
ｔｈ２＝ｍａｘ(y[8],y[9],y[14],y[15])−ｍｉｎ(y[8],y[9],y[14],y[15])
また、最終的に制限される前の補間値の候補値の推定であるが、便宜上、候補値も補間値と同じｏ０，ｏ１，ｏ２，ｏ３，ｏ４という表現で記載する。
【００２９】
ここで、ｔｈ２は補間位置周辺の現画素のダイナミックレンジを意味し、以下の計算においてエッジ推定のエラーなどを防止するための場合分けに使用される。また、図４〜図１５に８，９，１４，１５で示した番号の画素は、補間値決定に重要な位置付けを占める“中央４画素”とし、ｙ［８］，ｙ［９］，ｙ［１４］，ｙ［１５］を“中央４画素値”と以下呼ぶことにする。
【００３０】
次に、各方向性０〜１１のそれぞれについて、その方向性を検出した場合の候補値の計算方法について説明する。
【００３１】
（１）方向性０をエッジの方向性と検出した場合
この場合は、図４に示した方向性０を示す直線Ｄ０が、ｏ０、ｏ２、ｏ３の補間画素の補間位置のみを通り、映像信号の予め設定した２４個の画素０〜２３の位置をいずれも通らないときであり、線形補間と同一の方法で補間値の候補値を計算する。よって、図４に示した方向性０におけるｏ０〜ｏ４の補間値の候補値は以下のようになる。
【００３２】
ｏ０＝ｂｏ０、ｏ１＝ｂｏ１、ｏ２＝ｂｏ２、ｏ３＝ｂｏ３、ｏ４＝ｂｏ４
（２）方向性１をエッジの方向性と検出した場合
この場合も、（１）と同様に図５に示した方向性１を示す直線Ｄ１が、ｏ０、ｏ１、ｏ４の補間画素の補間位置のみを通り、映像信号の２４個の画素０〜２３の位置をいずれも通らないときであり、線形補間と同一の方法で補間値の候補値を計算する。よって、図５に示した方向性１におけるｏ０〜ｏ４の補間値の候補値は以下のようになる。
【００３３】
ｏ０＝ｂｏ０、ｏ１＝ｂｏ１、ｏ２＝ｂｏ２、ｏ３＝ｂｏ３、ｏ４＝ｂｏ４
（３）方向性２をエッジの方向性と検出した場合
図６に示した方向性２におけるｏ０〜ｏ４の補間値の候補値のうち、ｏ１〜ｏ４については線形補間と同一の値とし、ｏ０については図６の方向性２を示す直線Ｄ２上に位置する画素９、１４の画素値ｙ［９］、ｙ［１４］を平均する。従って、この場合は以下のようになる。
【００３４】
ｏ０＝(ｙ[９]＋ｙ[１４])／２
ｏ１＝ｂｏ１、ｏ２＝ｂｏ２、ｏ３＝ｂｏ３、ｏ４＝ｂｏ４
（４）方向性３をエッジの方向性と検出した場合
図７に示した方向性３におけるｏ０〜ｏ４の補間値の候補値のうち、ｏ１〜ｏ４については線形補間と同一の値とし、ｏ０については図７の方向性３を示す直線Ｄ３上に位置する画素８、１５の画素値ｙ［８］、ｙ［１５］を平均する。従って、この場合は以下のようになる。
【００３５】
ｏ０＝(ｙ[８]＋ｙ[１５])／２
ｏ１＝ｂｏ１、ｏ２＝ｂｏ２、ｏ３＝ｂｏ３、ｏ４＝ｂｏ４
（５）方向性４をエッジの方向性と検出した場合
図８に示した方向性４におけるｏ０〜ｏ４のうち、中央にあるｏ０の補間値の候補値については方向性４を示す直線Ｄ４に近い４画素９、１０、１３、１４の画素値を平均して求める。ｏ２，ｏ３の補間値の候補値については補間位置を通る直線Ｄ４の平行線に近い補間位置近傍の３画素の画素値を平均して求める。但し、前記４画素９、１０、１３、１４のｏ０位置を挟む２組のペアについてどちらかの差の絶対値がｔｈ２を超えた場合は平均計算がエラーをもたらす確率が高いとして、方向性２と同一の演算を行う。従って、この場合は以下の式によりｏ０〜ｏ４の補間値の候補値を計算する。
【００３６】
ｏ０＝(ｙ[１３]＋ｙ[１４]＋ｙ[９]＋ｙ[１０])／４
ｏ１＝ｂｏ１
ｏ２＝(ｙ[９]＋ｙ[１３]＋ｙ[８])／３
ｏ３＝(ｙ[１０]＋ｙ[１４]＋ｙ[１５])／３
ｏ４＝ｂｏ４
if(abs(y[10]−y[9])＞th2||abs(y[13]−y[14])＞th2)
{ｏ０＝(y[9]＋y[14])/２;ｏ２＝ｂｏ２;ｏ３＝ｂｏ３}
（６）方向性５をエッジの方向性と検出した場合
図９に示した方向性５におけるｏ０〜ｏ４のうち、中央にあるｏ０の補間値の候補値については方向性５を示す直線Ｄ５に近い４画素７、８、１５、１６の画素値を平均して求める。ｏ２，ｏ３の補間値の候補値については補間位置を通る直線Ｄ５の平行線に近い補間位置近傍の３画素の画素値を平均して求める。但し、前記４画素７、８、１５、１６のｏ０位置を挟む２組のペアについてどちらかの差の絶対値がｔｈ２を超えた場合は平均計算がエラーをもたらす確率が高いとして、方向性３と同一の演算を行う。従って、この場合は以下の式によりｏ０〜ｏ４の補間値の候補値を計算する。
【００３７】
ｏ０＝(ｙ[７]＋ｙ[８]＋ｙ[１５]＋ｙ[１６])／４
ｏ１＝ｂｏ１
ｏ２＝(ｙ[７]＋ｙ[１４]＋ｙ[１５])／３
ｏ３＝(ｙ[８]＋ｙ[９]＋ｙ[１６])／３
ｏ４＝ｂｏ４
if(abs(y[7]−y[8])＞th2||abs(y[15]−y[16])＞th2)
{ｏ０＝(y[8]＋y[15])/２;ｏ２＝ｂｏ２;ｏ３＝ｂｏ３}
（７）方向性６をエッジの方向性と検出した場合
図１０に示した方向性６におけるｏ０〜ｏ４のうち、中央にあるｏ０の補間値の候補値については方向性６を示す直線Ｄ６に近い４画素４、９、１４、１９の画素値を平均して求める。ｏ１，ｏ４の補間値の候補値については補間位置を通る直線Ｄ６の平行線に近い補間位置近傍の３画素の画素値を平均して求める。但し、前記４画素４、９、１４、１９のｏ０位置を挟む２組のペアについてどちらかの差の絶対値がｔｈ２を超えた場合は平均計算がエラーをもたらす確率が高いとして、方向性２と同一の演算を行う。従って、この場合は以下の式によりｏ０〜ｏ４の補間値の候補値を計算する。
【００３８】
ｏ０＝(ｙ[４]＋ｙ[９]＋ｙ[１４]＋ｙ[１９])／４
ｏ１＝(ｙ[４]＋ｙ[８]＋ｙ[１４])／３
ｏ２＝ｂｏ２
ｏ３＝ｂｏ３
ｏ４＝(ｙ[９]＋ｙ[１５]＋ｙ[１９])／３
if(abs(y[4]−y[9])＞th2||abs(y[19]−y[14])＞th2)
{ｏ０＝(y[9]＋y[14])/２;ｏ１＝ｂｏ１;ｏ４＝ｂｏ４}
（８）方向性７をエッジの方向性と検出した場合
図１１に示した方向性７におけるｏ０〜ｏ４のうち、中央にあるｏ０の補間値の候補値については方向性７を示す直線Ｄ７に近い４画素３、８、１５、２０の画素値を平均して求める。ｏ１，ｏ４の補間値の候補値については補間位置を通る直線Ｄ７の平行線に近い補間位置近傍の３画素の画素値を平均して求める。但し、前記４画素３、８、１５、２０のｏ０位置を挟む２組のペアについてどちらかの差の絶対値がｔｈ２を超えた場合は平均計算がエラーをもたらす確率が高いとして、方向性３と同一の演算を行う。従って、この場合は以下の式によりｏ０〜ｏ４の補間値の候補値を計算する。
【００３９】
ｏ０＝(ｙ[３]＋ｙ[８]＋ｙ[１５]＋ｙ[２０])／４
ｏ１＝(ｙ[３]＋ｙ[９]＋ｙ[１５])／３
ｏ２＝ｂｏ２
ｏ３＝ｂｏ３
ｏ４＝(ｙ[８]＋ｙ[１４]＋ｙ[２０])／３
if(abs(y[3]−y[8])＞th2||abs(y[15]−y[20])＞th2)
{ｏ０＝(y[8]＋y[15])/２;ｏ１＝ｂｏ１;ｏ４＝ｂｏ４}
（９）方向性８をエッジの方向性と検出した場合
この場合は、図１２に示した方向性８を示す直線Ｄ８が、補間画素ｏ０〜ｏ４のうち補間画素ｏ０の位置を通るが、ｏ２、ｏ３には接しているので、実質上、ｏ０のみを通る場合である。この場合は、方向性８におけるｏ０〜ｏ４のうち、中央にあるｏ０の補間値の候補値については直線Ｄ８に近い４画素１０、１１、１２、１３の画素値を平均して求める。ｏ２，ｏ３の補間値の候補値については補間位置を通る直線Ｄ８の平行線に近い補間位置近傍の３画素の画素値を平均して求める。但し、前記４画素１０、１１、１２、１３のｏ０位置を挟む２組のペアのそれぞれについて、中央４画素値で直線Ｄ８近傍の直近のものとの差を計算し、差の絶対値がｔｈ２を超えた場合は平均計算がエラーをもたらす確率が高いとして、線形補間を行う。従って、この場合は以下の式によりｏ０〜ｏ４の補間値の候補値を計算する。
【００４０】
ｏ０＝(ｙ[１０]＋ｙ[１１]＋ｙ[１２]＋ｙ[１３])／４
ｏ１＝ｂｏ１
ｏ２＝(ｙ[８]＋ｙ[１０]＋ｙ[１２])／３
ｏ３＝(ｙ[１１]＋ｙ[１３]＋ｙ[１４])／３
ｏ４＝ｂｏ４
if(abs(y[10]−y[9])＞th2||abs(y[11]−y[9])＞th2)
||abs(y[12]−y[14])＞th2||abs(y[13]−y[14])＞th2)
{ｏ０＝ｂｏ０;ｏ２＝ｂｏ２;ｏ３＝ｂｏ３}
（１０）方向性９をエッジの方向性と検出した場合
この場合は、図１３に示した方向性９を示す直線Ｄ９が、補間画素ｏ０〜ｏ４のうち補間画素ｏ０の位置を通るが、ｏ２、ｏ３には接しているので、実質上、ｏ０のみを通る場合である。この場合は、図１３に示した方向性９におけるｏ０〜ｏ４のうち、中央にあるｏ０の補間値の候補値については直線Ｄ９に近い４画素６、７、１６、１７の画素値を平均して求める。ｏ２，ｏ３の補間値の候補値については補間位置を通る直線Ｄ９の平行線に近い補間位置近傍の３画素の画素値を平均して求める。但し、前記４画素６、７、１６、１７のｏ０位置を挟む２組のペアのそれぞれについて、中央４画素値で直線Ｄ９近傍の直近のものとの差を計算し、差の絶対値がｔｈ２を超えた場合は平均計算がエラーをもたらす確率が高いとして、線形補間を行う。従って、この場合は以下の式によりｏ０〜ｏ４の補間値の候補値を計算する。
【００４１】
ｏ０＝(ｙ[６]＋ｙ[７]＋ｙ[１６]＋ｙ[１７])／４
ｏ１＝ｂｏ１
ｏ２＝(ｙ[６]＋ｙ[１４]＋ｙ[１６])／３
ｏ３＝(ｙ[７]＋ｙ[９]＋ｙ[１７])／３
ｏ４＝ｂｏ４
if(abs(y[6]−y[8])＞th2||abs(y[7]−y[8])＞th2)
||abs(y[16]−y[15])＞th2||abs(y[17]−y[15])＞th2)
{ｏ０＝ｂｏ０;ｏ２＝ｂｏ２;ｏ３＝ｂｏ３}
（１１）方向性１０をエッジの方向性と検出した場合
この場合は、図１４に示した方向性１０を示す直線Ｄ１０が、補間画素ｏ０〜ｏ４のうち補間画素ｏ０の位置を通るが、ｏ１、ｏ４にはほぼ接しているので、実質上、ｏ１のみを通る場合である。この場合は、図１４に示した方向性１０におけるｏ０〜ｏ４のうち、中央にあるｏ０の補間値の候補値については直線Ｄ１０に近い４画素１、４、１９、２２の画素値を平均して求める。ｏ１，ｏ４の補間値の候補値については補間位置を通る直線Ｄ１０の平行線に近い補間位置近傍の３画素の画素値を平均して求める。但し、前記４画素１、４、１９、２２のｏ０位置を挟む２組のペアのそれぞれについて、中央４画素値で直線Ｄ１０近傍の直近のものとの差を計算し、差の絶対値がｔｈ２を超えた場合は平均計算がエラーをもたらす確率が高いとして、線形補間を行う。従って、この場合は以下の式によりｏ０〜ｏ４の補間値の候補値を計算する。
【００４２】
ｏ０＝(ｙ[１]＋ｙ[４]＋ｙ[１９]＋ｙ[２２])／４
ｏ１＝(ｙ[１]＋ｙ[８]＋ｙ[１９])／３
ｏ２＝ｂｏ２
ｏ３＝ｂｏ３
ｏ４＝(ｙ[４]＋ｙ[１５]＋ｙ[２２])／３
if(abs(y[1]−y[9])＞th2||abs(y[4]−y[9])＞th2)
||abs(y[19]−y[14])＞th2||abs(y[22]−y[14])＞th2)
{ｏ０＝ｂｏ０;ｏ１＝ｂｏ１;ｏ４＝ｂｏ４}
（１２）方向性１１をエッジの方向性と検出した場合
この場合は、図１５に示した方向性１１を示す直線Ｄ１１が、補間画素ｏ０〜ｏ４のうち補間画素ｏ０の位置を通るが、ｏ１、ｏ４には接しているので、実質上、ｏ０のみを通る場合である。この場合は、図１５に示した方向性１１におけるｏ０〜ｏ４のうち、中央にあるｏ０の補間値の候補値については直線Ｄ１１に近い４画素０、３、２０、２３の画素値を平均して求める。ｏ１，ｏ４の補間値の候補値については補間位置を通る直線Ｄ１１の平行線に近い補間位置近傍の３画素の画素値を平均して求める。但し、前記４画素０、３、２０、２３のｏ０位置を挟む２組のペアのそれぞれについて、中央４画素値で直線Ｄ１１近傍の直近のものとの差を計算し、差の絶対値がｔｈ２を超えた場合は平均計算がエラーをもたらす確率が高いとして、線形補間を行う。従って、この場合は以下の式によりｏ０〜ｏ４の補間値の候補値を計算する。
【００４３】
ｏ０＝(ｙ[０]＋ｙ[３]＋ｙ[２０]＋ｙ[２３])／４
ｏ１＝(ｙ[０]＋ｙ[９]＋ｙ[２０])／３
ｏ２＝ｂｏ２
ｏ３＝ｂｏ３
ｏ４＝(ｙ[３]＋ｙ[１４]＋ｙ[２３])／３
if(abs(y[0]−y[8])＞th2||abs(y[3]−y[8])＞th2)
||abs(y[20]−y[15])＞th2||abs(y[23]−y[15])＞th2)
{ｏ０＝ｂｏ０;ｏ１＝ｂｏ１;ｏ４＝ｂｏ４}
次に、上記のステップＳ４において、上記の（１）〜（１１）のいずれかの処理により求められた候補値ｏ０，ｏ１，ｏ２，ｏ３，ｏ４につき、周辺画素である中央４画素の画素値の最大値と最小値の範囲内の値に制限（リミット）したものを、図３にｏ０，ｏ１，ｏ２，ｏ３，ｏ４で示す補間位置の補間値（補間画素値）としてそれぞれ生成し、出力する（ステップＳ５）。
【００４４】
すなわち、このステップＳ５では、中央４画素の最大値ｍａｘ（ｙ［８］，ｙ［９］，ｙ［１４］．ｙ［１５］）と、中央４画素の最小値ｍｉｎ（ｙ［８］，ｙ［９］，ｙ［１４］，ｙ［１５］）との範囲内の値に制限した候補値を補間値として出力する。つまり、候補値ｏ０〜ｏ４のうち、上記最大値より大なる値の候補値は上記最大値に制限されて補間値として出力され、上記最小値より小なる値の候補値は上記最小値に制限されて補間値として出力され、上記最大値と最小値の範囲内の候補値は、その値がそのまま補間値として出力される。
【００４５】
ここで、上記の中央４画素の画素値の最大値と最小値の範囲内の値に制限する理由は、周囲の画素値によっては、制限を行わないと突出した補間値となり、ノイズ又はエイリアシング状に見えることがあるためである。
【００４６】
このように、本実施の形態によれば、従来よりも複雑な図３に示した配置の２４画素のオペレータを用いて、１２の方向性（角度）を持つ微分作用素で高解像度化対象の映像信号のエッジの方向性を検出し、検出したエッジの方向性に沿った複数の画素の加重平均から候補値を求め、その候補値のうち周辺画素である中央４画素の最大値と最小値の間に制限したものを補間値として生成するようにしたため、エラーが少なく高性能な斜め線補間を比較的簡単な計算処理で実現することができる。
【００４７】
なお、本発明は、ハードウェアの画像拡大処理に限定されるものでなく、コンピュータプログラムにより処理することもできる。この場合、コンピュータプログラムは、記録媒体からコンピュータに取り込まれてもよいし、ネットワーク経由でコンピュータに取り込まれてもよい。また、上記の実施の形態では、検出する方向性の数は「１２」としたが、本発明は、この数に限定されるものではない。
【図面の簡単な説明】
【００４８】
【図１】本発明の一実施の形態のブロック図である。
【図２】本発明の一実施の形態の要部の動作説明用フローチャートである。
【図３】図２による補間処理の１回の処理単位における画素配置を示す図である。
【図４】方向性０の微分作用素を示す図である。
【図５】方向性１の微分作用素を示す図である。
【図６】方向性２の微分作用素を示す図である。
【図７】方向性３の微分作用素を示す図である。
【図８】方向性４の微分作用素を示す図である。
【図９】方向性５の微分作用素を示す図である。
【図１０】方向性６の微分作用素を示す図である。
【図１１】方向性７の微分作用素を示す図である。
【図１２】方向性８の微分作用素を示す図である。
【図１３】方向性９の微分作用素を示す図である。
【図１４】方向性１０の微分作用素を示す図である。
【図１５】方向性１１の微分作用素を示す図である。
【符号の説明】
【００４９】
１００  映像信号処理装置
１０１  第一マトリクス回路
１０２  Ｙ用拡大処理部
１０３  Ｃｂ用拡大処理部
１０４  Ｃｒ用拡大処理部
１０５  第二マトリクス回路
【図１】
0004868249.tif 000003
【図２】
0004868249.tif 000004
【図３】
0004868249.tif 000005
【図４】
0004868249.tif 000006
【図５】
0004868249.tif 000007
【図６】
0004868249.tif 000008
【図７】
0004868249.tif 000009
【図８】
0004868249.tif 000010
【図９】
0004868249.tif 000011
【図１０】
0004868249.tif 000012
【図１１】
0004868249.tif 000013
【図１２】
0004868249.tif 000014
【図１３】
0004868249.tif 000015
【図１４】
0004868249.tif 000016
【図１５】
0004868249.tif 000017