(57)【要約】【課題】高い分解能の相関方向を生成して補間を行うことで、ノイズを抑制し違和感のない自然な画像を生成する。【解決手段】  複数ライン分の入力映像信号を保持し、入力映像信号に基づく各画素の画素位置と補間画素の画素位置との関係を示す補間位相の情報を生成し、入力映像信号に基づく画素位置における相関方向又は補間位相のうちの一部の補間位相における相関方向の判定結果である第１の相関方向判定結果を得、判定対象の補間位相の周囲の複数の補間位相における複数の第１の相関方向判定結果に対して、判定対象の補間位相と複数の周囲の画素位置又は補間位相との位相関係に基づく演算を施して、判定対象の補間位相の第２の相関方向判定結果を得、第２の相関方向判定結果に基づいて、判定対象の補間位相における画素値を生成することを特徴とする。【選択図】図１
2010166241.tif 000002
【特許請求の範囲】
【請求項１】
複数ライン分の入力映像信号を保持する第１の記憶部と、
前記入力映像信号に基づく各画素の画素位置と補間画素の画素位置との関係を示す補間位相の情報を生成する補間位相生成部と、
前記第１の記憶部に保持される前記入力映像信号の複数ライン分の画素を用いて、前記入力映像信号に基づく画素位置における相関方向又は前記補間位相のうちの一部の補間位相における相関方向の判定結果である第１の相関方向判定結果を得て出力する第１の相関方向判定部と、
前記第１の相関方向判定結果を保持する第２の記憶部と、
前記第１の相関方向判定部及び前記第２の記憶部から、前記第１の相関判定結果が得られていない判定対象の補間位相の周囲の複数の画素位置又は補間位相における複数の前記第１の相関方向判定結果を読出して、前記判定対象の補間位相と前記複数の周囲の画素位置又は補間位相との位相関係に基づく演算を前記複数の第１の相関方向判定結果に施して、前記判定対象の補間位相における相関方向の判定結果である第２の相関方向判定結果を得る第２の相関方向判定部と、
前記第２の相関方向判定結果に基づいて前記第１の記憶部から前記入力映像信号に基づく画素値を読出して、前記判定対象の補間位相における画素値を生成する補間画素生成部と
を具備したことを特徴とする補間画素生成回路。
【請求項２】
前記第２の相関方向判定部の演算は、前記複数の第１の相関方向判定結果に対して、前記判定対象の補間位相と前記複数の周囲の画素位置又は補間位相との距離に基づく重み付けを付すことを含む処理によって、前記第２の相関方向判定結果を得ることを特徴とする請求項１に記載の補間画素生成回路。
【請求項３】
前記第２の相関方向判定部は、前記複数の周囲の画素位置又は補間位相として、前記判定対象の補間位相に隣接する複数の補間位相を選択することを特徴とする請求項２に記載の補間画素生成回路。
【請求項４】
前記補間位相生成部は、前記補間位相として、水平方向位相及び垂直方向位相の少なくとも一方の補間位相を生成することを特徴とする請求項１乃至３のいずれか１つに記載の補間画素生成回路。
【請求項５】
複数ライン分の入力映像信号を保持し、
前記入力映像信号に基づく各画素の画素位置と補間画素の画素位置との関係を示す補間位相の情報を生成し、
前記入力映像信号の複数ライン分の画素を用いて、前記入力映像信号に基づく画素位置における相関方向又は前記補間位相のうちの一部の補間位相における相関方向の判定結果である第１の相関方向判定結果を得て出力し、
前記第１の相関方向判定結果を保持し、
前記第１の相関判定結果が得られていない判定対象の補間位相の周囲の複数の補間位相における前記複数の第１の相関方向判定結果を読出して、前記判定対象の補間位相と前記複数の周囲の画素位置又は補間位相との位相関係に基づく演算を前記複数の第１の相関方向判定結果に施して、前記判定対象の補間位相における相関方向の判定結果である第２の相関方向判定結果を得、
前記第２の相関方向判定結果に基づいて前記入力映像信号に基づく画素値を読出して、前記判定対象の補間位相における画素値を生成する
ことを特徴とする補間画素生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スケーリング処理等に好適な補間画素生成回路及び方法に関する。
【背景技術】
【０００２】
近年、ディスプレイ装置として、液晶パネルやプラズマディスプレイパネル等のフラットパネルが採用されるようになってきた。フラットパネルにおいては、各画素毎に対応する映像信号を供給することで画像表示を行っている。従って、入力映像信号の画素数やアスペクト比が表示画面の画素数やアスペクト比と異なる場合には、入力映像信号に対する補間処理等によって、映像信号の画素数及びアスペクト比をフラットパネルと一致させるスケーリング処理が必要である。スケーリング処理では、画素間に新たな画素を生成する技術（補間という）を用いることによって、画像の拡大及び縮小（画素数の増加及び減少）を実現している。
【０００３】
補間処理は、画像の所定範囲の複数画素（参照画素）を用いて、新たな１画素（補間画素）を生成するものであり、スケーリング処理においては、この補間処理が行われて新たな画像が生成される。補間画素を生成するためには、先ず、画像上の画素を補間する位置（以下、補間位相という）において、絵柄に応じた相関方向を求める。例えば、補間位相の上下・左右・斜め方向の画素を用いて相関判定を行い、最も相関の高い組み合わせの画素の画素値を基に相関方向を決定する。相関方向が決定すると、相関方向上の画素の画素値、又は相関方向上に画素が無い場合には相関方向に隣接する画素の画素値の平均値等を用いて、補間位相における画素値を求めるようになっている。
【０００４】
ところで、原画像の２ラインの間に１ライン（以下、補間ラインという）を補間して画像垂直方向の画素数を増加させるものとする。この場合には、水平方向の補間位相は原画像の画素位置に一致しており、通常、上述した相関方向の決定を行った後、補間位相における画素値を求める。
【０００５】
しかしながら、スケーリング倍率等によっては、原画像の各画素間の任意の補間位相において補間を行うことがある。特許文献１においては、このような場合に、演算量を抑制するために、隣接する補間位相において求めた相関方向を利用して、画素値を求める方法が開示されている。
【０００６】
例えば、補間ラインについて更に水平方向に補間を行いたい場合には、対象補間位相に隣接する左右の補間位相のうち最も近接した補間位相について求めた相関方向を用いて、対象補間位相の画素値を求めるのである。
【０００７】
しかしながら、この場合には、絵柄によっては対象補間位相の本来の相関方向と異なる相関方向を用いて画素値が求められることがあり、新たなノイズが発生し、違和感のある不自然な画像になることがあるという問題があった。
【特許文献１】特開２００５−１９２００５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は、隣接する補間位相について求めた相関方向を用い、対象補間位相に応じた重み付けによって高い分解能の相関方向を生成して補間を行うことで、ノイズを抑制し違和感のない自然な画像を生成することができる補間画素生成回路及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の一態様の補間画素生成回路は、複数ライン分の入力映像信号を保持する第１の記憶部と、前記入力映像信号に基づく各画素の画素位置と補間画素の画素位置との関係を示す補間位相の情報を生成する補間位相生成部と、前記第１の記憶部に保持される前記入力映像信号の複数ライン分の画素を用いて、前記入力映像信号に基づく画素位置における相関方向又は前記補間位相のうちの一部の補間位相における相関方向の判定結果である第１の相関方向判定結果を得て出力する第１の相関方向判定部と、前記第１の相関方向判定結果を保持する第２の記憶部と、前記第１の相関方向判定部及び前記第２の記憶部から、前記第１の相関判定結果が得られていない判定対象の補間位相の周囲の複数の画素位置又は補間位相における複数の前記第１の相関方向判定結果を読出して、前記判定対象の補間位相と前記複数の周囲の画素位置又は補間位相との位相関係に基づく演算を前記複数の第１の相関方向判定結果に施して、前記判定対象の補間位相における相関方向の判定結果である第２の相関方向判定結果を得る第２の相関方向判定部と、前記第２の相関方向判定結果に基づいて前記第１の記憶部から前記入力映像信号に基づく画素値を読出して、前記判定対象の補間位相における画素値を生成する補間画素生成部とを具備したことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、隣接する補間位相について求めた相関方向を用い、対象補間位相に応じた重み付けによって高い分解能の相関方向を生成して補間を行うことで、ノイズを抑制し違和感のない自然な画像を生成することができるという効果を有する。
【発明を実施するための最良の形態】
【００１１】
以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は本発明の実施の形態に係る補間画素生成回路を示すブロック図である。
【００１２】
図１において、入力端子１１には入力映像信号が入力される。この入力映像信号はラインメモリ１２に与えられる。ラインメモリ１２は入力された複数ライン（水平期間）分の映像信号を記憶する。入力端子１１からの入力映像信号及びラインメモリ１２からの映像信号は、補間画素生成部１７に供給される。
【００１３】
また、ラインメモリ１２からの複数のラインの映像信号は第１の相関方向判定部１３にも供給される。補間位相生成部１４は、例えばスケーリング倍率情報が入力されており（図示省略）、スケーリング倍率等に応じて補間すべき補間位相の情報を第１の相関方向判定部１３、判定結果保持部１５、第２の相関方向判定部１６及び補間画素生成部１７に出力する。
【００１４】
補間画素の画素値を求める場合には、補間する画素（補間画素）の生成に用いる画素を決定するために、先ず、補間画素と相関が高い画素の方向（相関方向）を決定する。第１の相関方向判定部１３は、入力映像信号に基づいて、各補間位相における相関方向を求める。第１の相関方向判定部１３における相関方向の判定方法としては、公知の種々の手法を採用することができる。
【００１５】
第１の相関方向判定部１３は、補間位相生成部１４によって指定される全ての補間位相のうちの一部の補間位相（以下、第１の補間位相という）のみについて相関方向を求める。例えば、第１の相関方向判定部１３は、水平方向の補間位相が元の画素の水平方向画素位置（以下、整数倍画素位置という）と同じ場合にのみ、相関方向判定を行う。
【００１６】
第１の相関方向判定部１３は、求めた相関方向判定結果を第１の相関方向判定結果として判定結果保持部１５及び第２の相関方向判定部１６に出力する。判定結果保持部１５は、補間位相生成部１４からの情報に基づいて、各補間位相毎に、第１の相関方向判定部１３からの第１の相関方向判定結果を保持する。
【００１７】
第２の相関方向判定部１６は、補間位相生成部１４からの情報に基づいて、第１の相関方向判定部１３及び判定結果保持部１５からの第１の相関方向判定結果を用いて、第１の相関方向判定部１３において相関方向が判定されていない補間位相（以下、第２の補間位相という）について、相関方向を判定する。例えば、第１の相関方向判定部１３において、整数倍画素位置のみの相関方向判定を行った場合には、第２の相関方向判定部１６は、水平方向の補間位相が元の画素の水平方向画素位置と異なる画素位置（以下、小数点画素位置という）の場合にのみ、相関方向判定を行う。第２の相関方向判定部１６は、求めた相関方向判定結果を第２の相関方向判定結果として補間画素生成部１７に出力する。なお、第１の相関方向判定結果についても第２の相関方向判定部１６から補間画素生成部１７に供給されるようになっている。
【００１８】
本実施の形態においては、第２の相関方向判定部１６は、第１の相関方向判定結果が得られていない判定対象となる第２の補間位相の周囲の複数の第１の補間位相について求められた複数の第１の相関方向判定結果に対する演算によって、第２の相関方向判定結果を得るようになっている。例えば、第２の相関方向判定部１６は、判定対象となる第２の補間位相の両側の２カ所の第１の補間位相について求められた２つの第１の相関方向判定結果同士に対する演算を行う。例えば、第２の相関方向判定部１６は、２カ所の第１の補間位相における２つの第１の相関方向判定結果を、第２の補間位相と各第１の補間位相との距離に応じた重み付けを付して加算平均することにより、第２の相関方向判定結果を得てもよい。
【００１９】
補間画素生成部１７は、補間位相生成部１４から補間画素の補間位相が与えられ、入力映像信号の各補間位相について、第１又は第２の相関方向判定結果によって与えられる相関方向上の画素又は相関方向上に画素が無い場合には相関方向に隣接する画素の画素値の平均値等を用いて、画素値を求めるようになっている。補間画素生成部１７は、入力映像信号に補間位相生成部１４に指定された補間位相において画素補間を行って得た出力映像信号を出力する。
【００２０】
次に、このように構成された実施の形態の動作について図２乃至図８を参照して説明する。
【００２１】
図１は本実施の形態における相関方向の判定方法を説明するための説明図である。図２（ａ）は補間ラインの相関方向判定結果を示し、図２（ｂ）は従来技術における水平２倍垂直２倍に拡大した補間位相点の相関方向判定を示し、図２（ｃ）は本実施の形態における水平２倍垂直２倍に拡大した補間位相点の相関方向判定を示している。図２において、水平線は画像の各ラインを示している。各ライン上の○印は画素位置又は補間位相を示しており、○印中の白抜き、斜線又は塗り潰しは画素値の変化を示している。例えば、斜線のピッチが狭い程輝度は低いものとし、白抜き、斜線、塗り潰しの順で輝度が低くなることを示している。例えば、白抜きは白い画素、斜線はグレーの画素、塗り潰しは黒の画素に対応する。即ち、図２は例えばＶ字の一部等の絵柄を示している。図２（ｂ），（ｃ）は垂直方向に画素数を拡大するだけでなく、水平方向にも画素数を２倍に拡大した例についてのものである。
【００２２】
図２（ａ）の元ラインＬ１は、原画像の所定のラインＬ１の一部の画素Ａ１〜Ａ８を示している。また、図２（ａ）の元ラインＬ２は、原画像の所定のラインＬ２の一部の画素Ｂ１〜Ｂ８を示している。図２（ａ）の補間ラインＨ１は、各補間位相Ｘ１〜Ｘ８において元ラインＬ１，Ｌ２の画素を用いて生成する画素（補間画素）Ｘ１〜Ｘ８を示している。
【００２３】
入力端子１１を介して入力された入力映像信号はラインメモリ１２に供給される。ラインメモリ１２は複数ラインの映像信号を記憶して第１の相関方向判定部１３に出力する。例えば、図２の例では、ラインメモリ１２には、元ラインＬ１，Ｌ２の映像信号が保持される。
【００２４】
第１の相関方向判定部１３は、第１の補間位相における第１の相関方向を判定する。例えば、第１の補間位相が整数倍画素位置であるものとすると、第１の相関方向判定部１３は、補間位相Ｘ１〜Ｘ８における相関方向を判定する。第１の相関方向判定部１３は、公知の手法によって相関方向を判定する。
【００２５】
例えば、第１の相関方向判定部１３は、補間画素Ｘ１〜Ｘ８の補間位相において、夫々所定の相関方向判定領域を設定し、この相関方向判定領域内で、補間位相を中心として点対称な位置の２つの画素（以下、画素対という）の相関を求める。そして、第１の相関方向判定部１３は、最も相関が高い画素対の方向を相関方向として決定する。
【００２６】
図２（ａ）の矢印は、第１の相関方向判定部１３によって求められた補間位相Ｘ１〜Ｘ８における相関方向を示している。例えば、補間位相Ｘ１においては、画素Ａ１，Ｂ１を結ぶ方向が相関方向と判定される。以下、補間位相Ｘｎの相関方向をｄＸｎとし、画素Ａｎ，Ｂｎを結ぶ方向を｛Ａｎ，Ｂｎ｝で表す。即ち、ｄＸ１＝｛Ａ１，Ｂ１｝である。
【００２７】
図２（ａ）の例では、ｄＸ２＝｛Ａ２，Ｂ２｝、ｄＸ３＝｛Ａ２，Ｂ４｝、ｄＸ４＝｛Ａ３，Ｂ５｝、ｄＸ５＝｛Ａ５，Ｂ５｝、ｄＸ６＝｛Ａ６Ａ７，Ｂ５Ｂ６｝、ｄＸ７＝｛Ａ７，Ｂ７｝、ｄＸ８＝｛Ａ８，Ｂ８｝である。なお、｛Ａ６Ａ７，Ｂ５Ｂ６｝は、画素Ａ６，Ａ７の中間位相と画素Ｂ５，Ｂ６の中間位相とを結ぶ方向を示している。
【００２８】
第１の相関方向判定部１３は、各補間位相における第１の相関方向判定結果を判定結果保持部１５及び第２の相関方向判定部１６に出力する。判定結果保持部１５は第１の相関方向判定結果を、保持すると共に第２の相関方向判定部１６に出力する。第２の相関方向判定部１６は、第１の相関方向判定部１３及び判定結果保持部１５からの第１の相関方向判定結果を用いて、第２の補間位相における第２の相関方向判定結果を得る。例えば、第２の補間位相としては小数点画素位置が設定される。
【００２９】
ここで、比較のために、従来例における第２の補間位相の相関方向判定の判定方法を説明する。図２（ｂ）はこの判定方法を示している。従来例においては、相関方向の判定に必要な演算量を低減させるために、既に求めた相関方向の判定結果をそのまま用いる。例えば、図２（ｂ）の補間位相Ｘ３４においては、補間位相Ｘ３４に隣接するＸ３（符号省略）の相関方向（実線矢印）と同一の方向を相関方向（破線矢印）とする。また例えば、図２（ｂ）の補間位相Ｘ４５においては、補間位相Ｘ４５に隣接するＸ４（符号省略）の相関方向（実線矢印）と同一の方向を相関方向（破線矢印）とする。また例えば、図２（ｂ）の補間位相Ｘ５６においては、補間位相Ｘ５６に隣接するＸ５（符号省略）の相関方向（実線矢印）と同一の方向を相関方向（破線矢印）とする。
【００３０】
補間位相Ｘ３４については、補間画素の画素値は相関方向に位置する画素Ａ２３，Ｂ４５を用いて求められる。同様に、補間位相Ｘ４５については、補間画素の画素値は相関方向に位置する画素Ａ３４，Ｂ５６を用いて求められ、補間位相Ｘ５６については、補間画素の画素値は相関方向に位置する画素Ａ５６，Ｂ５６を用いて求められる。この結果、本来白い画素にすべき補間画素Ｘ４５はグレーの画素となり、本来黒い画素と考えられる補間画素Ｘ２３はグレーの画素となってしまう。これは、隣接する相関方向に対応する元画素同士の順序が入れ替わるからである（以下、相関方向がクロスするという）。
【００３１】
これに対し、本実施の形態の第２の相関方向判定部１６は、第１の補間位相と各第２の補間位相との距離に応じて、２つの第１の相関方向判定結果に重み付けを行う。図３は図２（ｃ）の一部を拡大してこの重み付け処理を説明するための説明図である。
【００３２】
例えば、第２の相関方向判定部１６は、補間位相Ｘ２３の相関方向判定には、両側に隣接する補間位相Ｘ２，Ｘ３の第１の相関方向判定結果を用いる。補間位相Ｘ２３が、補間位相Ｘ２，Ｘ３の中間の画素位置であるものとすると、第１の相関方向判定部１３は、補間位相Ｘ２３の相関方向として、補間位相Ｘ２，Ｘ３の第１の相関方向判定結果をいずれも１／２にして加算する。
【００３３】
例えば、図３に示すように、第１の相関方向判定部１３で算出した位相点Ｘ２、Ｘ３、Ｘ４の相関方向ｄｘ２、ｄｘ３、ｄｘ４をそれぞれ｛Ａ２，Ｂ２｝，｛Ａ２，Ｂ４｝，｛Ａ３，Ｂ５｝として、補間位相Ｘ２３における相関方向ｄｘ２３を求める。Ｘ２３はＸ２とＸ３から等距離にあるため、その距離比０．５：０．５をＸ２およびＸ３の元ライン画素同士の距離比に適応すると、元ラインＬ１では、Ａ２＊０．５＋Ａ２＊０．５＝Ａ２となり、元ラインＬ２では、Ｂ２＊０．５＋Ｂ４＊０．５＝Ｂ３となる。（なお、＊は乗算を示す。）従って、相関方向ｄｘ２３＝｛Ａ２，Ｂ３｝である。
【００３４】
また、位相点Ｘ３における相関方向ｄｘ３が｛Ａ２，Ｂ４｝、位相点Ｘ４における相関方向ｄｘ４が｛Ａ３，Ｂ５｝として、補間位相Ｘ３４における相関方向角ｄｘ３４を求める。Ｘ３４はＸ３とＸ４から等距離にあるため、その距離比０．５：０．５をＸ３およびＸ４の元ライン画素同士の距離比に適応すると、元ラインＬ１では、Ａ２＊０．５＋Ａ３＊０．５＝Ａ２３となる。また、元ラインＬ２では、Ｂ４＊０．５＋Ｂ５＊０．５＝Ｂ４５となる。従って、相関方向ｄｘ３４＝｛Ａ２３，Ｂ４５｝である。
【００３５】
また、補間位相Ｘ４５における相関方向ｄｘ４５は、位相点Ｘ４における相関方向ｄｘ４が｛Ａ３，Ｂ５｝、位相点Ｘ５における相関方向ｄｘ５が｛Ａ５，Ｂ５｝とすると、｛Ａ３＊０．５＋Ａ５＊０．５，Ｂ５＊０．５＋Ｂ５＊０．５｝、即ち、相関方向ｄｘ４５＝｛Ａ４，Ｂ５｝となる。
【００３６】
同様に、位相点Ｘ５６における相関方向ｄｘ５６は、位相点Ｘ５における相関方向ｄｘ５が｛Ａ５，Ｂ５｝、位相点Ｘ６における相関方向ｄｘ６が｛Ａ６７、Ｂ５６｝とすると、｛Ａ５＊０．５＋Ａ６７＊０．５，Ｂ５＊０．５＋Ｂ５６＊０．５｝、即ち、相関方向ｄｘ５６＝｛Ａ５６７，Ｂ５５６｝である。なお、｛Ａ５６６，Ｂ５５６｝は、画素Ａ５，Ａ６７の中間位相と画素Ｂ５，Ｂ５６の中間位相とを結ぶ方向である。これにより、隣接する相関方向がクロスすることが防止される。
【００３７】
他の小数点画素位置の第２の補間位相についても、同様の手法によって相関方向を判定する。第２の相関方向判定部１６は、求めた第２の相関方向判定結果を補間画素生成部１７に出力する。
【００３８】
補間画素生成部１７は、第１及び第２の相関方向判定結果を用いて、各補間位相における画素値を求めて、入力映像信号に水平及び垂直方向の画素を補間する。例えば、補間画素生成部１７は、補間画素Ｘ２３を、画素Ａ２と画素Ａ３との画素値を用いた線形補間によって生成してもよく、また、画素Ａ１〜Ａ４等の複数画素による多タップ補間によって生成してもよい。
【００３９】
図２（ｃ）に示すように、第１の補間位相だけでなく、小数点画素位置における第２の補間位相においても、絵柄に応じた高い分解能の相関方向判定結果が得られている。これにより、補間画素生成部１７は、絵柄に応じた高精度の画素補間が可能である。
【００４０】
このように本実施の形態においては、第２の相関方向判定部が、第１の補間位相と各第２の補間位相との距離に応じて、２つの第１の相関方向判定結果に重み付けを行って加算している。これにより、小数点画素位置の第２の補間位相においても、絵柄に応じた高い分解能の相関方向判定が可能であり、高精度の画素補間を行うことができ、ノイズを抑制し違和感のない自然な画像を生成することができる。
【００４１】
なお、上記実施の形態は、補間位相が水平・垂直共に整数倍画素位置の中間（以下、１／２画素位置という）の位置の例であるが、任意の位置の補間位相についても同様に、距離に応じて重み付けを行えばよい。図４はこの場合の例を示す説明図である。
【００４２】
例えば、図４に示す２点の相関方向Ｘｎ，Ｘｎ＋１から補間位相点Ｘαの相関方向ｄｘαを求める場合は次のようになる。図４に示すように、位相点Ｘｎの相関方向ｄＸｎが｛Ｘｕｐｎ，Ｘｄｎｎ｝、位相点Ｘｎ＋１の相関方向ｄＸｎ＋１が｛Ｘｕｐｎ＋１，Ｘｄｎｎ＋１｝として、補間位相点Ｘαの相関方向各ｄｘαを求める。ＸαとＸｎ、Ｘｎ＋１の距離比をｐ：１−ｐとすると、補間位相Ｘαの相関方向ｄｘαは、下記（１）式で表される。
【００４３】
ｄＸα＝｛  Ｘｕｐｎ ＋ ｜ Ｘｕｐｎ＋１ − Ｘｕｐｎ ｜＊ｐ、Ｘｄｎｎ ＋ ｜ Ｘｄｎｎ＋１ − Ｘｄｎｎ ｜＊ｐ｝…（１）
なお、＊は乗算を示している。また、｜Ｘｕｐｎ＋１−Ｘｕｐｎ｜はＸ座標Ｘｕｐｎ＋１と座標Ｘｕｐｎとの間の距離であり、｜Ｘｄｎｎ＋１−Ｘｄｎｎ｜は、Ｘ座標Ｘｄｎｎ＋１と座標Ｘｄｎｎとの間の距離である。
【００４４】
また、Ｘｎ及びＸｎ＋１の相関方向をそれぞれｄｘｎ，ｄｘｎ＋１とすると、ｄｘαは次の（２）式でも求めることができる。
【００４５】
ｄＸα＝  ｄｘｎ ＊ （１−ｐ） ＋ ｄｘｎ＋１ ＊  ｐ  …（２）
ところで、上記実施の形態においては、第２の相関方向判定部１６は、第２の補間位相の両側に隣接する２つの第１の補間位相における第１の相関方向判定結果を用いて、第２の相関方向を求めた。更に、第２の相関方向判定部１６は、３つ以上の第１の相関方向判定結果を用いて、第２の補間位相を求めてもよい。図５のこの例を示す説明図である。
【００４６】
例えば、図５に示すように、格子状の上下左右の近傍４画素Ａ〜Ｄ内の任意の補間位相Ｘαの相関方向ｄxαを求めるものとする。画素Ａ〜Ｄについて求めた相関方向をそれぞれｄａ、ｄｂ、ｄｃ、ｄｄとすると、補間位相点の相関方向ｄｘαは次の（３）式で求められる。なお、補間位相Ｘと画素Ａ〜Ｄの距離比ｐ、ｑは図５に示す比率となる。
【００４７】
ｄｘα＝（１−ｑ）＊｛ｄａ＊（１−ｐ）＋ｄｂ＊ｐ｝＋
ｑ＊｛ｄｃ＊（１−ｐ）＋ｄｄ＊ｐ｝  …  （３）
また、任意位相点Ａ〜Ｄの４点と補間位相点Ｘαの相対的な位置関係による重み付け係数をそれぞれｍａ、ｍｂ、ｍｃ、ｍｄとすると、補間位相点の相関方向ｄｘαは次の（４）式で求められる。
【００４８】
ｄｘα＝  （ｍａ＊ｄａ＋ｍｂ＊ｄｂ＋ｍｃ＊ｄｃ＋ｍｄ＊ｄｄ）／（ｍａ＋ｍｂ＋ｍｃ＋ｍｄ）  …  （４）
なお、この（３），（４）式は、更に、５点以上の画素位置における相関方向判定結果を用いる場合にも、（３），（４）式を高次の補間法として拡張することで適用可能である。
【００４９】
（垂直方向の拡大の例）
図２の例は、水平及び垂直方向に画素数を増大させる例を示した。図６は垂直方向のみに画素数を増大させる例である。図６は図２と同一の標記方法を採用しており、図６（ａ）は図２（ａ）と同一の絵柄及び補間方法を示すものである。なお、図６（ｂ），（ｃ）は、垂直方向のスケーリング倍率が４倍である場合の例を示している。
【００５０】
図６の例においても、第１の相関方向判定部１３は、第１の補間位相における第１の相関方向として、補間位相Ｈ１〜Ｈ８について夫々図６（ａ）の矢印にて示す相関方向を求める。即ち、図２（ａ）と同様に、相関方向ｄＨ１＝｛Ａ１，Ｂ１｝、ｄＨ２＝｛Ａ２，Ｂ２｝、ｄＨ３＝｛Ａ２，Ｂ４｝、ｄＨ４＝｛Ａ３，Ｂ５｝、ｄＨ５＝｛Ａ５，Ｂ５｝、ｄＨ６＝｛Ａ６Ａ７，Ｂ５Ｂ６｝、ｄＨ７＝｛Ａ７，Ｂ７｝、ｄＨ８＝｛Ａ８，Ｂ８｝である。
【００５１】
なお、図６の例では、第１の相関方向判定部１３は、垂直方向の補間位相が元の画素の垂直方向画素位置同士の中間である１／２画素位置と同じ場合にのみ、相関方向判定を行う。そして、この場合には、例えば、第２の相関方向判定部１６は、垂直方向の補間位相が元の画素の垂直方向画素位置同士の１／４の位置（以下、１／４画素位置という）の場合に、この位置を第２の補間位相として、相関方向判定を行う。
【００５２】
図６の例においても、第２の相関方向判定部１６は、第１の相関方向判定部１３及び判定結果保持部１５からの第１の相関方向判定結果を用いて、第２の補間位相（この場合には１／４画素位置）における第２の相関方向判定結果を得る。
【００５３】
ここで、比較のために、従来例における第２の補間位相の相関方向判定の判定方法を説明する。図６（ｂ）はこの判定方法を示している。従来例においては、上述したように、既に求めた相関方向の判定結果をそのまま用いる。例えば、補間ラインＩの補間位相Ｉ２の相関方向は、１／２画素位置の補間位相Ｈ２の相関方向判定結果を垂直方向に１／４画素分だけずらす。従って、補間位相Ｉ２の相関方向と補間位相Ｈ２の相関方向とは同一（垂直方向）であり、補間画素Ｉ２の生成には例えば、元ラインＬ１，Ｌ２の画素Ａ２，Ｂ２の画素値を用いる。
【００５４】
なお、この場合には、距離｜Ａ２−Ｉ２｜と距離｜Ｂ２−Ｉ２｜の距離比は１：３となるので、補間画素Ｉ２の画素値Ｉ２は、Ｉ２＝（Ａ２＊３＋Ｂ２＊１） ／４となる。
【００５５】
同様にして、補間位相Ｉ４の補間画素Ｉ４を生成する場合は、補間位相Ｉ４の相関方向として、補間位相Ｈ４の相関方向｛Ａ３，Ｂ５｝を垂直方向に１／４画素分ずらした相関方向｛Ａ３４，Ｂ５６｝を求める。そして、この場合には補間画素Ｉ４の画素値Ｉ４は、Ｉ４ ＝ （Ａ３４＊３ ＋ Ｂ５６＊１）／４ となる。なお、Ａ３４＝（Ａ３＋Ａ４）／２，Ｂ５６＝（Ｂ５＋Ｂ６）／２である。
【００５６】
このように、１／２画素位置の補間位相について求めた相関方向をそのまま利用すると、補間画素Ｉ４は白とならず、図６（ｂ）に示すように、孤立したノイズとなってしまう。原因は補間位相Ｉ４における相関方向（破線矢印）が、隣接する補間位相Ｈ５の相関方向（実線矢印）とクロスし、補間位相Ｉ５の左側の補間位相Ｉ４の画素値を、画素Ｂ５より右側の画素Ｂ６を用いて求めることになるからである。
【００５７】
これに対し、本実施の形態の第２の相関方向判定部１６は、第１の補間位相と各第２の補間位相との距離に応じて、２つの第１の相関方向判定結果に重み付けを行うことで、各補間位相の相関方向に対応する元画素同士の順序が入れ替わることを防止する。
【００５８】
例えば、第２の相関方向判定部１６は、補間位相Ｉ４の相関方向判定には、補間位相Ｉ４に隣接する２カ所の補間位相を用いる。この２カ所の補間位相としては、補間位相Ｉ４を間に挟む相関方向を有する補間位相を選択する。即ち、この場合には、補間位相Ｉ４に最も近接した補間位相Ｈ４と補間位相Ｈ５とである。そして、補間位相Ｉ４の相関方向は、これらの補間位相Ｈ４の相関方向と補間位相Ｈ５の相関方向とを距離に応じて重み付けして加算平均する。
【００５９】
上記（１）式と同様にして補間位相Ｉ４における相関方向ｄI4を求める。図７は図６の一部を拡大して示している。図７に示すように、元画像における各画素ピッチは、水平及び垂直方向のいずれにも１であるものとする。
【００６０】
補間位相Ｉ４の水平ライン上において隣接する相関点Ｈ４およびＨ５の相関方向ｄＨ４およびｄＨ５と交差する点の距離理は、０．５：１．０となるので正規化すると（１）式のｐ＝１／３になるので、補間位相Ｉ４の相関方向ｄＩ４は次のようになる。
【００６１】
ｄＩ４＝｛  Ａ３＋｜Ａ５−Ａ３｜＊ｐ、Ｂ５＋｜Ｂ５−Ｂ５｜＊ｐ｝
＝  ｛  Ａ３＋２／３、Ｂ５｝
また、式（４）を用いてＨ４とＨ５の相対的位置関係より直接求めてもよい。
【００６２】
図６（ｃ）に示すように、この式は、補間位相Ｉ４の画素値が白であることを示している。このように、垂直方向のみに拡大する場合においても、本実施の形態は有効である。
【００６３】
（水平方向の拡大の例）
また、図８は水平方向のみに画素数を増大させる例を示す説明図である。図８は図２と同一の標記方法を採用しているが、図８（ａ）は原画像の３ラインＬ１〜Ｌ３の絵柄及び補間方法を示すものである。また、図８（ｂ），（ｃ）は、水平方向のスケーリング倍率が４倍である場合の例を示している。
【００６４】
図８の例においては、第１の相関方向判定部１３は、第１の相関方向として、原画像の画素位置における相関方向を求める。即ち、第１の相関方向判定部１３による相関方向判定結果は、直接その画素位置の画素補間に用いられるのではなく、第２の相関方向を判定するために用いられる。従って、水平方向の補間位相の全てが第２の補間位相となる。
【００６５】
第１の相関方向判定部１３は、第１の相関方向として、画素位置Ｂ１〜Ｂ８について夫々図８（ａ）の矢印にて示す相関方向を求める。即ち、相関方向ｄＢ１＝｛Ａ１，Ｃ１｝、ｄＢ２＝｛Ａ２，Ｃ２｝、ｄＢ３＝｛Ａ２，Ｃ４｝、ｄＢ４＝｛Ａ３，Ｃ５｝、ｄＢ５＝｛Ａ５，Ｃ５｝、ｄＢ６＝｛Ａ６Ａ７，Ｃ５Ｃ６｝、ｄＢ７＝｛Ａ７，Ｃ７｝、ｄＢ８＝｛Ａ８，Ｃ８｝である。
【００６６】
そして、図８の例では、第２の相関方向判定部１６は、水平方向の補間位相が１／２画素位置及び１／４画素位置の場合に、この位置を第２の補間位相として、相関方向判定を行う。図８の例においても、第２の相関方向判定部１６は、第１の相関方向判定部１３及び判定結果保持部１５からの第１の相関方向判定結果を用いて、第２の補間位相における第２の相関方向判定結果を得る。
【００６７】
ここで、比較のために、従来例における第２の補間位相の相関方向判定の判定方法を説明する。図８（ｂ）はこの判定方法を示している。従来例においては、上述したように、既に求めた相関方向の判定結果をそのまま用いる。
【００６８】
図８（ｂ）の例では、水平方向の補間位相が元の画素位置から１／２画素位置までは、隣接する元の画素位置について求めた相関方向判定結果を採用し、１／２画素位置から次の画素までは、隣接する次の画素位置について求めた相関方向判定結果を利用する。例えば、補間位相Ｂ１２−１及び補間位相Ｂ１２−２については、画素位置Ｂ１について求めた相関方向をそのまま第２の相関方向判定結果とし、補間位相Ｂ１２−３については、画素位置Ｂ２について求めた相関方向をそのまま第２の相関方向判定結果とする。
【００６９】
同様に、例えば、ラインＬ２上の補間位相Ｂ４５−１及びＢ４５−２の補間位相では、画素位置Ｂ４について求めた相関方向ｄＢ４＝｛Ａ３，Ｃ５｝をそのまま第２の相関方向判定結果とし、補間位相Ｂ４５−３の補間位相では、画素位置Ｂ５について求めた相関方向ｄＢ５＝｛Ａ５，Ｃ５｝をそのまま第２の相関方向判定結果とする。このような相関方向の判定によれば、補間位相Ｂ４５−１及び補間位相Ｂ４５−２の相関方向が補間位相Ｂ５の相関方向と交差し、画素位置Ｂ５の左側の補間位相Ｂ４５−１，Ｂ４５−２の画素値を、画素Ｃ５より右側の画素Ｃ５６−１，Ｃ５６−２を用いて求めることになるからである。このため、従来技術を用いた補間では、絵柄によっては、絵柄との相関が小さいノイズとなる画素が生成されることがある。
【００７０】
これに対し、本実施の形態の第２の相関方向判定部１６は、第１の補間位相と各第２の補間位相との距離に応じて、２つの第１の相関方向判定結果に重み付けを行うことで、各補間位相の相関方向同士がクロスすることを防止する。
【００７１】
例えば、補間位相Ｂ４５−１における相関方向は、画素位置Ｂ４，Ｂ５における相関方向同士の重み付けによって求める。画素位置Ｂ４の相関方向が｛Ａ３，Ｃ５｝であり、画素位置Ｂ５の相関方向が｛Ａ５，Ｃ５｝であるので、上記（１）式を用いて補間位相Ｂ４５−１の相関方向ｄＢ４５−１を求めると、ｐ＝０．２５となるので、
ｄＢ４５−１＝｛Ａ３＋｜Ａ５−Ａ３｜＊ｐ、Ｃ５＋｜Ｃ５−Ｃ５｜＊ｐ｝
＝  ｛  Ａ３＋２＊０．２５、Ｃ５｝
＝  ｛  Ａ３＋０．５、Ｃ５｝
となる。この式は、補間位相Ｂ４５−１の画素値が、図８（ｃ）にも示すように、白であることを示している。このように、水平方向のみに拡大する場合においても、本実施の形態は有効である。
【００７２】
なお、上記実施の形態においては、判定対象となる補間位相に隣接する２つの画素位置における第１の相関方向判定結果に対して、補間位相との距離比に応じた重み付けを付すことで、画素補間に用いる画素位置と補間位相とを結ぶ相関方向同士がクロスしないようにしたが、画素補間に用いる画素位置と補間位相とを結ぶ相関方向同士がクロスしないならば、第１の相関方向判定結果に対してどのような演算を施して第２の相関方向判定結果を得てもよい。
【図面の簡単な説明】
【００７３】
【図１】本発明の実施の形態に係る補間画素生成回路を示すブロック図。
【図２】実施の形態の動作を説明するための説明図。
【図３】実施の形態の動作を説明するための説明図。
【図４】実施の形態の動作を説明するための説明図。
【図５】実施の形態の動作を説明するための説明図。
【図６】実施の形態の動作を説明するための説明図。
【図７】実施の形態の動作を説明するための説明図。
【図８】実施の形態の動作を説明するための説明図。
【符号の説明】
【００７４】
１２…ラインメモリ、１３…第１の相関方向判定部、１４…補間位相生成部、１５…判定結果保持部、１６…第２の相関方向判定部、１７…補間画素生成部。
【図１】
2010166241.tif 000003
【図２】
2010166241.tif 000004
【図３】
2010166241.tif 000005
【図４】
2010166241.tif 000006
【図５】
2010166241.tif 000007
【図６】
2010166241.tif 000008
【図７】
2010166241.tif 000009
【図８】
2010166241.tif 000010