(57)【要約】【課題】斜め線のギザギザ感を軽減しつつ良好な画質で垂直及び水平方向に画像を拡大する。【解決手段】入力画像に含まれる斜め線上の画素対の相関を利用した補間処理を行うことで斜め線処理付きの拡大処理を実現する画像処理装置であって、拡大後画像に含まれる画素の位置である出力画素位置を決定する出力画素位置決定部１０１と、出力画素位置周辺の所定数の入力画素群を抽出するｍ×ｎ画素抽出部１０２と、出力画素位置と所定数の入力画素群とに基づいて垂直方向に斜め線処理付きの拡大処理を行う斜め線処理付垂直方向拡大部３０１と、出力画素位置と所定数の入力画素群と斜め線処理付垂直方向拡大部３０１の拡大処理結果とに基づいて水平方向に斜め線処理付きの拡大処理を行う斜め線処理付水平方向拡大部３０２とを備える。【選択図】図１
2011035746.tif 000002
【特許請求の範囲】
【請求項１】
入力画像に含まれる斜め線上の画素対の相関を利用した補間処理を行うことで斜め線処理付きの拡大処理を実現する画像処理装置であって、
拡大後画像に含まれる画素の位置である出力画素位置を決定する決定部と、
前記出力画素位置周辺の所定数の入力画素群を抽出する抽出部と、
前記出力画素位置と前記所定数の入力画素群とに基づいて垂直方向及び水平方向のうちの一方に前記斜め線処理付きの拡大処理を行う第１の拡大部と、
前記出力画素位置と前記所定数の入力画素群と前記第１の拡大部の拡大処理結果とに基づいて垂直方向及び水平方向のうちの他方に前記斜め線処理付きの拡大処理を行う第２の拡大部と、を備えたことを特徴とする画像処理装置。
【請求項２】
前記第１の拡大部は、垂直方向に前記斜め線処理付きの拡大処理を行い、
前記第２の拡大部は、水平方向に前記斜め線処理付きの拡大処理を行う
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記第１の拡大部は、前記所定数の入力画素群に含まれる斜め線である第１の斜め線を検出する垂直拡大用斜め線検出部と、前記第１の斜め線上の画素を生成する垂直拡大用斜め線処理部と、前記第１の斜め線上の画素に基づいて垂直方向拡大後画素を生成する垂直方向拡大フィルタ部とを備え、
前記第２の拡大部は、前記所定数の入力画素群に含まれる斜め線である第２の斜め線を検出する水平拡大用斜め線検出部と、前記第２の斜め線上の画素を生成する水平拡大用斜め線処理部と、前記第２の斜め線上の画素に基づいて水平方向拡大後画素を生成する水平方向拡大フィルタ部とを備えた
ことを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記垂直拡大用斜め線検出部は、前記所定数の入力画素群のうち前記出力画素位置と垂直方向に隣接するｖライン目及びｖ＋１ライン目上の入力画素対を通る斜め線を前記第１の斜め線として検出し、
前記水平拡大用斜め線検出部は、前記所定数の入力画素群のうち前記出力画素位置と水平方向に隣接するｈ画素目及びｈ＋１画素目上の入力画素対を通り、かつ、連続する２つの前記垂直方向拡大後画素間を通る斜め線を前記第２の斜め線として検出する
ことを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記垂直拡大用斜め線検出部は、複数の前記第１の斜め線の中からその画素対の差分絶対値が最小となる相関を検出し、
前記水平拡大用斜め線検出部は、複数の前記第２の斜め線及び連続する２つの前記垂直方向拡大後画素対の中からその画素対の差分絶対値が最小となる相関を検出する
ことを特徴とする請求項４記載の画像処理装置。
【請求項６】
前記垂直拡大用斜め線処理部は、前記出力画素位置の垂直方向距離に応じた重み付けをして前記第１の斜め線上の画素を生成し、
前記水平拡大用斜め線処理部は、前記出力画素位置の水平方向距離に応じた重み付けをして前記第２の斜め線上の画素を生成する
ことを特徴とする請求項５記載の画像処理装置。
【請求項７】
前記垂直方向拡大フィルタ部は、前記出力画素位置の垂直方向距離に応じた重み付けをして前記垂直方向拡大後画素を生成し、
前記水平方向拡大フィルタ部は、前記出力画素位置の水平方向距離に応じた重み付けをして前記水平方向拡大後画素を生成する
ことを特徴とする請求項３記載の画像処理装置。
【請求項８】
入力画像に含まれる斜め線上の画素対の相関を利用した補間処理を行うことで斜め線処理付きの拡大処理を実現する画像処理方法であって、
拡大後画像に含まれる画素の位置である出力画素位置を決定する決定ステップと、
前記出力画素位置周辺の所定数の入力画素群を抽出する抽出ステップと、
前記出力画素位置と前記所定数の入力画素群とに基づいて垂直方向及び水平方向のうちの一方に前記斜め線処理付きの拡大処理を行う第１の拡大ステップと、
前記出力画素位置と前記所定数の入力画素群と前記第１の拡大ステップにおける拡大処理結果とに基づいて垂直方向及び水平方向のうちの他方に前記斜め線処理付きの拡大処理を行う第２の拡大ステップと、を備えたことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を拡大する画像処理装置及び画像処理方法に関し、特に、拡大後画像に含まれる斜め線のギザギザ感を軽減するための画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
パソコンやＴＶ受像機などが備えるデジタル表示ディスプレイに、画素数が小さい入力画像信号を表示画素数まで拡大して表示したい場合がある。このような場合は、線形補間法又はバイキュービック法のいずれかを用いるのが一般的である。これらの方法では、出力画像位置に応じたフィルタリングを行い、元画素間に画素を補間する。画素を補間することで結果的に画像を拡大させることができる。
【０００３】
しかしながら、線形補間法やバイキュービック法などの従来の一般的な方法によると、後述するように、出力画像（拡大後画像）に含まれる斜め線がギザギザに見えるとういう問題があった。そこで、斜め線のギザギザ感を軽減するための画像拡大方法が従来より提案されている。例えば、特許文献１には、出力画素位置に隣接した２つの走査線間の中間に、斜め線情報に基づいた画素を生成し、出力画素位置に隣接する走査線上の画素と前記中間画素とを用いて走査線変換する方法が開示されている。また、特許文献２には、画素補間する位置周辺の元画像間の水平方向及び垂直方向のエッジ検出結果を比較し、連続性があると判断した画素については、その連続した画素同士のフィルタリングにより画素補間する方法が開示されている。
【０００４】
図１１は、前記した従来技術の違いを説明するための図である。図１１（ａ）は、入力画像（拡大前画像）を示している。この図に示すように、入力画像には、明るい部分（白）と暗い部分（黒）との境界線が斜め方向に存在するものとする。図１１（ｂ）は、従来の一般的な方法により入力画像を垂直方向に２倍拡大した後の画像を示している。従来の一般的な方法では、垂直方向に隣接する２つの元画素の平均値を求め、この平均値の画素値を持つ画素を補間することになる。そのため、図１１（ｂ）に示すように、境界線付近にグレーの画素が補間され、斜め線がギザギザに見えるという問題が発生していた。図１１（ｃ）は、特許文献１又は２に開示されている従来方法により入力画像を垂直方向に２倍拡大した後の画像を示している。特許文献１又は２に開示されている従来方法では、入力画像に含まれる斜め線を検出し、検出した斜め線上の画素対の相関を利用した補間処理を行う。そのため、図１１（ｃ）に示すように、斜め線上には黒の画素が補間され、斜め線以外の領域には白の画素が補間される結果、従来の一般的な方法に比べて斜め線のギザギザ感を軽減することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−１２６０１号公報
【特許文献２】特開２００８−２７１０８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示されている装置は走査線変換装置であり、垂直方向の画素数を変換する装置である。すなわち、特許文献１には、垂直方向に加えて水平方向に画像を拡大する構成については開示されていない。
【０００７】
また、特許文献２に開示されている従来方法では、拡大後画像の画質の面で問題がある。すなわち、画像を垂直方向及び水平方向に拡大する場合は、一方の拡大処理の結果を他方の拡大処理に反映させるのが好ましい（後述する）。しかし、特許文献２に開示されている従来方法では、水平拡大フィルタリング結果と垂直拡大フィルタリング結果と斜め方向拡大フィルタリング結果のいずれかを選択するようになっているので、一方の拡大処理の結果を他方の拡大処理に反映させることができない。
【０００８】
本発明は前記課題を解決するためになされたものであり、その目的は、斜め線のギザギザ感を軽減しつつ良好な画質で垂直及び水平方向に画像を拡大することのできる画像処理装置及び画像処理方法を提供することにある。
【課題を解決するための手段】
【０００９】
本発明の実施の形態に係る第１の特徴は、入力画像に含まれる斜め線上の画素対の相関を利用した補間処理を行うことで斜め線処理付きの拡大処理を実現する画像処理装置であって、拡大後画像に含まれる画素の位置である出力画素位置を決定する決定部と、前記出力画素位置周辺の所定数の入力画素群を抽出する抽出部と、前記出力画素位置と前記所定数の入力画素群とに基づいて垂直方向及び水平方向のうちの一方に前記斜め線処理付きの拡大処理を行う第１の拡大部と、前記出力画素位置と前記所定数の入力画素群と前記第１の拡大部の拡大処理結果とに基づいて垂直方向及び水平方向のうちの他方に前記斜め線処理付きの拡大処理を行う第２の拡大部とを備えたことである。
【００１０】
本発明の実施の形態に係る第２の特徴は、前記第１の特徴を備えた画像処理装置において、前記第１の拡大部が、垂直方向に前記斜め線処理付きの拡大処理を行い、前記第２の拡大部が、水平方向に前記斜め線処理付きの拡大処理を行うことである。
【００１１】
本発明の実施の形態に係る第３の特徴は、前記第２の特徴を備えた画像処理装置において、前記第１の拡大部が、前記所定数の入力画素群に含まれる斜め線である第１の斜め線を検出する垂直拡大用斜め線検出部と、前記第１の斜め線上の画素を生成する垂直拡大用斜め線処理部と、前記第１の斜め線上の画素に基づいて垂直方向拡大後画素を生成する垂直方向拡大フィルタ部とを備え、前記第２の拡大部が、前記所定数の入力画素群に含まれる斜め線である第２の斜め線を検出する水平拡大用斜め線検出部と、前記第２の斜め線上の画素を生成する水平拡大用斜め線処理部と、前記第２の斜め線上の画素に基づいて水平方向拡大後画素を生成する水平方向拡大フィルタ部とを備えたことである。
【００１２】
本発明の実施の形態に係る第４の特徴は、前記第３の特徴を備えた画像処理装置において、前記垂直拡大用斜め線検出部が、前記所定数の入力画素群のうち前記出力画素位置と垂直方向に隣接するｖライン目及びｖ＋１ライン目上の入力画素対を通る斜め線を前記第１の斜め線として検出し、前記水平拡大用斜め線検出部が、前記所定数の入力画素群のうち前記出力画素位置と水平方向に隣接するｈ画素目及びｈ＋１画素目上の入力画素対を通り、かつ、連続する２つの前記垂直方向拡大後画素間を通る斜め線を前記第２の斜め線として検出することである。
【００１３】
本発明の実施の形態に係る第５の特徴は、前記第４の特徴を備えた画像処理装置において、前記垂直拡大用斜め線検出部が、複数の前記第１の斜め線の中からその画素対の差分絶対値が最小となる相関を検出し、前記水平拡大用斜め線検出部が、複数の前記第２の斜め線及び連続する２つの前記垂直方向拡大後画素対の中からその画素対の差分絶対値が最小となる相関を検出することである。
【００１４】
本発明の実施の形態に係る第６の特徴は、前記第５の特徴を備えた画像処理装置において、前記垂直拡大用斜め線処理部が、前記出力画素位置の垂直方向距離に応じた重み付けをして前記第１の斜め線上の画素を生成し、前記水平拡大用斜め線処理部が、前記出力画素位置の水平方向距離に応じた重み付けをして前記第２の斜め線上の画素を生成することである。
【００１５】
本発明の実施の形態に係る第７の特徴は、前記第３の特徴を備えた画像処理装置において、前記垂直方向拡大フィルタ部が、前記出力画素位置の垂直方向距離に応じた重み付けをして前記垂直方向拡大後画素を生成し、前記水平方向拡大フィルタ部が、前記出力画素位置の水平方向距離に応じた重み付けをして前記水平方向拡大後画素を生成することである。
【００１６】
本発明の実施の形態に係る第８の特徴は、入力画像に含まれる斜め線上の画素対の相関を利用した補間処理を行うことで斜め線処理付きの拡大処理を実現する画像処理方法であって、拡大後画像に含まれる画素の位置である出力画素位置を決定する決定ステップと、前記出力画素位置周辺の所定数の入力画素群を抽出する抽出ステップと、前記出力画素位置と前記所定数の入力画素群とに基づいて垂直方向及び水平方向のうちの一方に前記斜め線処理付きの拡大処理を行う第１の拡大ステップと、前記出力画素位置と前記所定数の入力画素群と前記第１の拡大ステップにおける拡大処理結果とに基づいて垂直方向及び水平方向のうちの他方に前記斜め線処理付きの拡大処理を行う第２の拡大ステップと、を備えたことである。
【発明の効果】
【００１７】
本発明によれば、斜め線のギザギザ感を軽減しつつ良好な画質で垂直及び水平方向に画像を拡大することのできる画像処理装置及び画像処理方法を提供することが可能である。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施の形態における画像処理装置の構成図である。
【図２】本発明の実施の形態における画像処理装置の動作を示す図である。
【図３】本発明の実施の形態における拡大前後の画素位置を示す図である。
【図４】本発明の実施の形態における入力画素群の範囲を示す図である。
【図５】本発明の実施の形態における斜め線の組み合わせを示す図である。
【図６】本発明の実施の形態における斜め線、垂直方向距離を示す図である。
【図７】本発明の実施の形態における斜め線の組み合わせを示す図である。
【図８】本発明の実施の形態における斜め線、水平方向距離を示す図である。
【図９】特許文献１に開示されている従来技術を発展させた装置の構成図である。
【図１０】特許文献２に開示されている従来技術と本発明との違いを示す図である。
【図１１】従来技術の違いを説明するための図である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００２０】
図１は、本発明の実施の形態における画像処理装置の構成図である。この画像処理装置は、入力画像に含まれる斜め線上の画素対の相関を利用した補間処理を行うことで斜め線処理付きの拡大処理を実現する画像処理装置であって、図１（ａ）に示すように、出力画素位置決定部１０１と、ｍ×ｎ画素抽出部１０２と、斜め線処理付垂直方向拡大部３０１と、斜め線処理付水平方向拡大部３０２とを備えている。
【００２１】
出力画素位置決定部１０１は、入力された垂直同期信号及び水平同期信号と垂直方向拡大率及び水平方向拡大率とに基づいて出力画素位置を決定する。出力画素位置は、拡大後画像に含まれる画素の位置であり、例えばｘとｙの座標値で表される。
【００２２】
ｍ×ｎ画素抽出部１０２は、入力された画像信号から出力画素位置周辺の水平方向ｍ画素×垂直方向ｎ画素を抽出する処理部であり、具体的には、ｎライン以上のラインバッファで構成される。ｍ×ｎ画素抽出部１０２により抽出される画素は少なくとも２ライン×２画素以上である。また、ｍ×ｎ画素抽出部１０２に入力される画像信号の画素値はＲＧＢ又は輝度色差の値である。
【００２３】
斜め線処理付垂直方向拡大部３０１は、出力画素位置とｍ×ｎの入力画素群とに基づいて垂直方向に斜め線処理付きの拡大処理を行う処理部であり、図１（ｂ）に示すように、垂直拡大用斜め線検出部１０３と、垂直拡大用斜め線処理部１０５と、垂直方向拡大フィルタ部１０６とを備えている。垂直拡大用斜め線検出部１０３は、ｍ×ｎの入力画素群に含まれる斜め線（第１の斜め線）を検出する。垂直拡大用斜め線処理部１０５は、第１の斜め線上の画素（第１の前処理画素）を生成する。垂直方向拡大フィルタ部１０６は、第１の斜め線上の画素に基づいて垂直方向拡大後画素を生成する。
【００２４】
斜め線処理付水平方向拡大部３０２は、出力画素位置とｍ×ｎの入力画素群と斜め線処理付垂直方向拡大部３０１の拡大処理結果とに基づいて水平方向に斜め線処理付きの拡大処理を行う処理部であり、図１（ｂ）に示すように、水平拡大用斜め線検出部１０４と、水平拡大用斜め線処理部１０７と、水平方向拡大フィルタ部１０８とを備えている。水平拡大用斜め線検出部１０４は、ｍ×ｎの入力画素群に含まれる斜め線（第２の斜め線）を検出する。水平拡大用斜め線処理部１０７は、第２の斜め線上の画素（第２の前処理画素）を生成する。水平方向拡大フィルタ部１０８は、第２の斜め線上の画素に基づいて水平方向拡大後画素を生成する。
【００２５】
図２は、本発明の実施の形態における画像処理装置の動作を示すフローチャートである。以下、図２に従って、本画像処理装置の構成を更に詳しく説明する。
【００２６】
まず、出力画素位置決定部１０１は、出力画素位置を決定する（ステップＳ１）。出力画素位置は、拡大後画像に含まれる画素の位置である。垂直方向の位置は垂直方向拡大率に基づいて決定され、水平方向の位置は水平方向拡大率に基づいて決定される。図３（ａ）は、垂直方向拡大前後の画素位置の関係を示している。垂直方向拡大前の隣接画素の間隔を１とした場合、垂直方向拡大後の隣接画素の間隔ｄｖは垂直方向拡大率の逆数である。例えば、垂直方向拡大率が２倍である場合、垂直方向拡大後の隣接画素の間隔ｄｖは０．５となる。この場合、出力画素位置の垂直方向距離ｙは、１ライン目から順に「０」「０．５」「０」「０．５」・・・というように、垂直方向上端からの距離の小数部で表される。同様に、図３（ｂ）は、水平方向拡大前後の画素位置の関係を示している。水平方向拡大前の隣接画素の間隔を１とした場合、水平方向拡大後の隣接画素の間隔ｄｈは水平方向拡大率の逆数である。例えば、水平方向拡大率が２倍である場合、水平方向拡大後の隣接画素の間隔ｄｈは０．５となる。この場合、出力画素位置の水平方向距離ｘは、１画素目から順に「０」「０．５」「０」「０．５」・・・というように、水平方向左端からの距離の小数部で表される。
【００２７】
次に、ｍ×ｎ画素抽出部１０２は、出力画素位置周辺の入力画素群を抽出する（ステップＳ２）。図４は、ｍ×ｎ画素抽出部１０２により抽出される入力画素群の範囲を示している。すなわち、ｍ×ｎ画素抽出部１０２は、図中に実線の枠で示すように、出力画素位置を取り囲む４つの入力画素を中心にｍ×ｎ画素を抽出するようになっている。
【００２８】
次に、垂直拡大用斜め線検出部１０３は、出力画素位置と垂直方向に隣接する入力画素対を通る斜め線を検出する（ステップＳ３）。図５は、ｍ×ｎ画素抽出部１０２により抽出された入力画素群から検出される斜め線の組み合わせを示している。すなわち、垂直拡大用斜め線検出部１０３は、画素Ｐ（ｈ，ｖ）とＰ（ｈ，ｖ＋１）の間を通るｖライン目とｖ＋１ライン目上の画素対を結ぶ線分、具体的には、線分Ｐ（ｈ，ｖ）−Ｐ（ｈ，ｖ＋１）、線分Ｐ（ｈ−１，ｖ）−Ｐ（ｈ＋１，ｖ＋１）、線分Ｐ（ｈ＋１，ｖ）−Ｐ（ｈ−１，ｖ＋１）、線分Ｐ（ｈ−２，ｖ）−Ｐ（ｈ＋２，ｖ＋１）、線分Ｐ（ｈ＋２，ｖ）−Ｐ（ｈ−２，ｖ＋１）、・・・を検出する。そして、検出した複数の斜め線の中から１つを選び出すために、まずは各斜め線の画素対の差分絶対値を算出する。
【００２９】
相関Cva = |P(h,v)−P(h,v+1)|
相関Cvb = | P(h-1,v)−P(h+1,v+1)|
相関Cvc= | P(h+1,v)−P(h-1,v+1)|
相関Cvd= | P(h-2,v)−P(h+2,v+1)|
相関Cve= | P(h+2,v)−P(h-2,v+1)|
・・・
次いで、垂直拡大用斜め線検出部１０３は、算出した差分絶対値（相関）のうち最小値となる相関を検出し、検出した相関を構成する斜め線情報(画素対)を出力する。例えば、相関Ｃｖｃが最小値である場合は、斜め線情報（Ｄｖ１，Ｄｖ２）＝（Ｐ（ｈ＋１，ｖ），Ｐ（ｈ−１，ｖ＋１））を出力する。
【００３０】
次に、垂直拡大用斜め線処理部１０５は、垂直方向拡大フィルタ部１０６で使用する画素（前処理画素）を生成する（ステップＳ４）。まず、垂直拡大用斜め線検出部１０３から出力された斜め線情報Ｄｖ１とＰ（ｈ，ｖ）を、Ｐ（ｈ，ｖ）と出力画素位置との垂直方向距離ｙに応じて補間する。言い換えると、斜め線情報Ｄｖ１とＰ（ｈ，ｖ）について、垂直方向距離ｙに応じた重み付けをする。
【００３１】
前処理画素      Tv1 = P(h,v)×(0.5−y)×2 + Dv1×y×2     (y≦0.5)
Tv1 = Dv1                       (y＞0.5)
同様に、斜め線情報Ｄｖ２とＰ（ｈ，ｖ＋１）を、Ｐ（ｈ，ｖ）と出力画素位置との垂直方向距離ｙに応じて補間する。言い換えると、斜め線情報Ｄｖ２とＰ（ｈ，ｖ＋１）について、垂直方向距離ｙに応じた重み付けをする。
【００３２】
前処理画素      Tv2 = Dv2                             (y＜0.5)
Tv2 = P(h,v+1)×(y−0.5)×2 + Dv2×(1.0−y)×2   (y≧0.5)
図６は、斜め線情報（Ｄｖ１，Ｄｖ２）が（Ｐ（ｈ＋１，ｖ），Ｐ（ｈ−１，ｖ＋１））である場合の斜め線、垂直方向距離ｙを示している。前処理画素Ｔｖ１はＰ（ｈ，ｖ）とＰ（ｈ＋１，ｖ）から算出され、前処理画素Ｔｖ２はＰ（ｈ，ｖ＋１）とＰ（ｈ−１，ｖ＋１）から算出される。このような前処理を行えば、垂直方向距離ｙに応じた重み付けがされるので、出力画素位置が入力画素位置に一致した場合でも「画素とび」のような不連続現象の発生を抑制することが可能となる。
【００３３】
次に、垂直方向拡大フィルタ１０６は、垂直方向拡大補間を行う（ステップＳ５）。すなわち、垂直拡大用斜め線処理部１０５により生成された前処理画素Ｔｖ１，Ｔｖ２を用いて、出力画素位置との距離ｙに応じて補間する。言い換えると、前処理画素Ｔｖ１，Ｔｖ２について、垂直方向距離ｙに応じた重み付けをする。
【００３４】
垂直方向拡大後画素SV = Tv1×(1−y) + Tv2×y
これにより、斜め線処理付き垂直方向拡大処理が完了し、垂直方向拡大後画素ＳＶが出力される。斜め線処理付き垂直方向拡大処理の内容はここで例示した内容に限定されるものではない。例えば、特許文献１に開示されているように、斜め線の画素対の中間値と出力画素位置に隣接する画素との補間によっても、斜め線処理付き垂直方向拡大処理を実現することができる。
【００３５】
一方、前記垂直拡大用斜め線検出処理（ステップＳ３）と並行して水平拡大用斜め線検出処理を行う。すなわち、水平拡大用斜め線検出部１０４は、出力画素位置と水平方向に隣接する垂直方向拡大後画素間を通る斜め線を検出する（ステップＳ６）。図７は、ｍ×ｎ画素抽出部１０２により抽出された入力画素群から検出される斜め線の組み合わせを示している。ここで、図中のＳＶ（ｈ，ｖ）とＳＶ（ｈ＋１，ｖ）は、連続する２つの垂直方向拡大後画素である。「連続する」とは、ＳＶ（ｈ，ｖ）に続いてＳＶ（ｈ＋１，ｖ）が垂直方向拡大フィルタ１０６から出力されることを意味している。水平拡大用斜め線検出部１０４は、ＳＶ（ｈ，ｖ）とＳＶ（ｈ＋１，ｖ）間を通り、かつ、ｈ画素目及びｈ＋１画素目上の画素対の線分、具体的には、線分ＳＶ（ｈ，ｖ）−ＳＶ（ｈ＋１，ｖ）、線分Ｐ（ｈ，ｖ）−Ｐ（ｈ＋１，ｖ＋１）、線分Ｐ（ｈ＋１，ｖ）−Ｐ（ｈ，ｖ＋１）、線分Ｐ（ｈ，ｖ−１）−Ｐ（ｈ＋１，ｖ＋２）、線分Ｐ（ｈ＋１，ｖ−１）−Ｐ（ｈ，ｖ＋２）、・・・を検出する。そして、検出した複数の斜め線の中から１つを選び出すために、まずは各斜め線の画素対の差分絶対値を算出する。
【００３６】
相関Cha = |SV(h,v)−SV(h,v+1)|
相関Chb= | P(h,v)−P(h+1,v+1)|
相関Chc= | P(h+1,v)−P(h,v+1)|
相関Chd= | P(h,v-1)−P(h+1,v+2)|
相関Che= | P(h+1,v-1)−P(h,v+2)|
・・・
次いで、水平拡大用斜め線検出部１０４は、算出した差分絶対値（相関）のうち最小値となる相関を検出し、検出した相関を構成する斜め線情報(画素対)を出力する。例えば、相関Ｃｈｃが最小値である場合は、斜め線情報（Ｄｈ１，Ｄｈ２）＝（Ｐ（ｈ，ｖ＋１），Ｐ（ｈ＋１，ｖ））を出力する。
【００３７】
次に、水平拡大用斜め線処理部１０７は、水平方向拡大フィルタ部１０８で使用する画素（前処理画素）を生成する（ステップＳ７）。まず、水平拡大用斜め線検出部１０４から出力された斜め線情報Ｄｈ１とＳＶ（ｈ，ｖ）を、ＳＶ（ｈ，ｖ）と出力画素位置との水平方向距離ｘに応じて補間する。言い換えると、斜め線情報Ｄｈ１とＳＶ（ｈ，ｖ）について、水平方向距離ｘに応じた重み付けをする。
【００３８】
前処理画素      Th1 = SV(h,v)×(0.5−x)×2 + Dh1×x×2    (x≦0.5)
Th1 = Dh1                             (x＞0.5)
同様に、斜め線情報Ｄｈ２とＳＶ（ｈ＋１，ｖ）を、ＳＶ（ｈ，ｖ）と出力画素位置との水平方向距離ｘに応じて補間する。言い換えると、斜め線情報Ｄｈ２とＳＶ（ｈ＋１，ｖ）について、水平方向距離ｘに応じた重み付けをする。
【００３９】
前処理画素      Th2 = Dh2                             (x＜0.5)
Th2 = SV(h+1,v)×(x−0.5)×2 + Dh2×(1.0−x)×2  (x≧0.5)
図８は、斜め線情報（Ｄｈ１，Ｄｈ２）が（Ｐ（ｈ，ｖ＋１），Ｐ（ｈ＋１，ｖ））である場合の斜め線、水平方向距離ｘを示している。前処理画素Ｔｈ１はＳＶ（ｈ，ｖ）とＰ（ｈ，ｖ＋１）から算出され、前処理画素Ｔｈ２はＳＶ（ｈ＋１，ｖ）とＰ（ｈ＋１，ｖ）から算出される。このような前処理を行えば、水平方向距離ｘに応じた重み付けがされるので、出力画素位置が垂直方向拡大後の画素位置に一致した場合でも「画素とび」のような不連続現象の発生を抑制することが可能となる。
【００４０】
次に、水平方向拡大フィルタ部１０８は、水平方向拡大補間を行う（ステップＳ８）。すなわち、水平拡大用斜め線処理部１０７により生成された前処理画素Ｔｈ１，Ｔｈ２を用いて、出力画素位置との距離ｘに応じて補間する。言い換えると、前処理画素Ｔｈ１，Ｔｈ２について、水平方向距離ｘに応じた重み付けをする。
【００４１】
水平方向拡大後画素SH = Th1×(1−x) + Th2×x
これにより、斜め線処理付きで垂直方向及び水平方向に拡大された画素ＳＨが出力される。全ての出力画素について同様の処理を繰り返す（ステップＳ９）。
【００４２】
以上のように、本発明では、斜め線処理付垂直方向拡大部３０１と斜め線処理付水平方向拡大部３０２とが直列接続された分離型フィルタ構造を採用しているため、垂直方向の拡大処理の結果が水平方向の拡大処理に反映される。これにより、斜め線のギザギザ感を軽減しつつ良好な画質で垂直及び水平方向に画像を拡大することが可能となる。以下、本発明の効果を明確にするために、特許文献１及び２に開示される従来技術との違いについて説明する。
【００４３】
図９は、特許文献１に開示されている従来技術を発展させた装置の構成図である。既に説明した通り、特許文献１に開示されている装置は走査線変換装置である。そのため、入力画像の水平方向画素数とデジタル表示ディスプレイの水平方向表示画素数とが異なる場合、そのままでは画像を表示することができない。そこで、図９に示すように、特許文献１に開示されている装置を２つ直列に接続する。前段の装置は垂直方向画素数変換装置とし、後段の装置は画像を９０度回転して水平方向画素数変換装置とすれば、画像を表示することが可能になると推測される。しかしながら、この場合は、図９に示すように、垂直方向画素数変換装置と水平方向画素数変換装置の両方に、斜め線検出等に用いるｍ×ｎ画素抽出部３０４及び３０７が必要になる。ｍ×ｎ画素抽出部３０４及び３０７はラインバッファにより構成されており、ハイビジョン映像などの水平方向画素数が大きい画像では、ラインバッファに必要なメモリ容量が非常に大きくなり、装置のコスト増大の主要因となってしまう問題点がある。加えて、垂直方向拡大後の画素を使用して斜め線を検出することになるため、垂直方向の拡大率が大きいほど、垂直方向拡大後の隣接画素間の画素値の差は小さくなりやすい。その結果、水平方向画素数変換装置のｍ×ｎ画素抽出部３０７における斜め線の検出精度が低下してしまう問題点を有している。それに対して、本発明では、図１（ａ）に示すように、装置全体の回路規模の多くの割合を占めるｍ×ｎ画素抽出部３０７に相当する処理部が存在しない。そのため、回路規模の削減による装置コストの削減が可能である。
【００４４】
図１０は、特許文献２に開示されている従来技術と本発明との違いを簡単に説明するための概念図である。既に説明した通り、特許文献２に開示されている従来方法では、垂直方向の拡大処理の結果を水平方向の拡大処理に反映することができない。それに対して、本発明では、図１０に示すように、白の元画素１１と黒の元画素１５とを用いてグレーの拡大後画素１４を生成した後、このグレーの拡大後画素１４と白の元画素１２とを用いて淡いグレーの拡大後画素１３を生成することができる。すなわち、本発明によれば、垂直方向の拡大処理の結果が水平方向の拡大処理に反映されるので、特許文献２に開示されている従来技術に比べて良好な画質を提供することが可能である。
【００４５】
なお、ここでは、垂直方向拡大処理を行った後に水平方向拡大処理を行うこととしているが、本発明はこれに限定されるものではない。すなわち、水平方向拡大処理を行った後に垂直方向拡大処理を行う必要がある場合は、斜め線処理付垂直方向拡大部３０１と斜め線処理付水平方向拡大部３０２とを入れ替えることも可能である。この場合、水平方向の拡大処理の結果が垂直方向の拡大処理に反映されることになるのはいうまでもない。
【符号の説明】
【００４６】
１０１…出力画素位置決定部
１０２…ｍ×ｎ画素抽出部
１０３…垂直拡大用斜め線検出部
１０４…水平拡大用斜め線検出部
１０５…垂直拡大用斜め線処理部
１０６…垂直方向拡大フィルタ部
１０７…水平拡大用斜め線処理部
１０８…水平方向拡大フィルタ部
３０１…斜め線処理付垂直方向拡大部
３０２…斜め線処理付水平方向拡大部
【図１】
2011035746.tif 000003
【図２】
2011035746.tif 000004
【図３】
2011035746.tif 000005
【図４】
2011035746.tif 000006
【図５】
2011035746.tif 000007
【図６】
2011035746.tif 000008
【図７】
2011035746.tif 000009
【図８】
2011035746.tif 000010
【図９】
2011035746.tif 000011
【図１０】
2011035746.tif 000012
【図１１】
2011035746.tif 000013