(57)【特許請求の範囲】
【請求項１】
入力映像に対して各ピクセルの勾配値を算出する勾配算出部と、
前記勾配値を用いて前記ピクセルがエッジに該当するピクセルであるか否かを判断するエッジ判断部と、
補間領域内にエッジに該当するピクセルが存在する場合、前記補間領域内で補間するピクセルの位置に応じて補間方向を判断する補間方向判断部と、
前記補間方向が対角方向、垂直方向または水平方向の何れであるかに応じて、前記補間するピクセルを基準にして前記補間領域を前記補間方向に対応した分割方法に従って分割した後、前記補間するピクセルに近接する周辺ピクセル上のエッジ配置状況を、前記分割した補間領域内において前記補間方向に沿って識別し、前記識別の結果に依存した合成演算方法に応じて前記周辺ピクセルから合成された代替値によって前記補間領域内ピクセルのピクセル値を代替するピクセル代替部と、
前記代替されたピクセル値を用いて前記補間するピクセルの補間を実行する補間実行部と、
を備えることを特徴とする映像補間装置。
【請求項２】
前記勾配算出部は、前記ピクセルに対して水平方向の勾配値と垂直方向の勾配値を用いて前記ピクセルの勾配値を算出することを特徴とする請求項１に記載の映像補間装置。
【請求項３】
前記エッジ判断部は、前記ピクセルに対して水平方向の勾配値と垂直方向の勾配値との比較結果に基づいて前記ピクセルがエッジであるか否かを判断することを特徴とする請求項１に記載の映像補間装置。
【請求項４】
前記ピクセル代替部は、
前記補間方向が対角方向である場合、前記補間するピクセルを基準にして前記補間領域を４象限に分割する対角方向領域分割部と、
前記４象限それぞれに含まれたピクセルを参加ピクセルと非参加ピクセルに分類した後、一つ以上の前記参加ピクセルのピクセル値を前記合成した値によって前記非参加ピクセルのピクセル値を代替する対角方向ピクセル代替部であって、前記分類する動作は、前記エッジ配置状況の識別のために各象限毎のピクセル集合を走査した結果、非エッジ画素の連続に対応するピクセルを参加ピクセルとし、エッジ画素に対応するピクセルを非参加ピクセルとする動作を具備する、対角方向ピクセル代替部と、
を備えることを特徴とする請求項１に記載の映像補間装置。
【請求項５】
前記ピクセル代替部は、
前記補間方向が垂直方向である場合、前記補間するピクセルを基準にして垂直方向に前記補間領域の一部を分割する垂直方向領域分割部と、
前記垂直方向に分割された前記補間領域に属する前記周辺ピクセルの垂直方向に沿った系列上でエッジ画素の配置状況を識別し、前記垂直方向の前記識別の結果に依存した合成演算方法に応じて合成された代替ピクセル値によって、前記分割された補間領域内ピクセルのピクセル値を代替する垂直方向ピクセル代替部と、
を備えることを特徴とする請求項１に記載の映像補間装置。
【請求項６】
前記垂直方向ピクセル代替部は、前記エッジ画素の配置状況を前記識別するために、前記垂直方向に沿った系列内の前記周辺ピクセルの各々がエッジ画素に対応するか否かに応じて、前記補間領域に含まれたピクセルが、垂直配置の複数の異なる形態の何れに分類されるかを判断した後、前記垂直配置の各形態に対してそれぞれ定義されたピクセル代替式を用いて算出した代替値により前記補間領域内ピクセルのピクセル値を代替することを特徴とする請求項５に記載の映像補間装置。
【請求項７】
前記ピクセル代替部は、
前記補間方向が水平方向である場合、前記補間するピクセルを基準にして水平方向に前記補間領域の一部を分割する水平方向領域分割部と、
前記水平方向に分割された前記補間領域に属する前記周辺ピクセルの水平方向に沿った系列上でエッジ画素の配置状況を識別し、前記水平方向の前記識別の結果に依存した合成演算方法に応じて合成された代替ピクセル値によって、前記分割された補間領域内ピクセルのピクセル値を代替する水平方向ピクセル代替部と、
を備えることを特徴とする請求項１に記載の映像補間装置。
【請求項８】
前記水平方向ピクセル代替部は、前記エッジ画素の配置状況を前記識別するために、前記水平方向に沿った系列内の前記周辺ピクセルの各々がエッジ画素に対応するか否かに応じて、前記補間領域に含まれたピクセルが、水平配置の複数の異なる形態の何れに分類されるかを判断した後、前記水平配置の各形態に対してそれぞれ定義されたピクセル代替式を用いて算出した代替値により前記補間領域内ピクセルのピクセル値を代替することを特徴とする請求項７に記載の映像補間装置。
【請求項９】
入力映像に対して各ピクセルの勾配値を算出するステップと、
前記勾配値を用いて前記ピクセルがエッジに該当するピクセルであるか否かを判断するステップと、
補間領域内にエッジに該当するピクセルが存在する場合、前記補間領域内で補間するピクセルの位置に応じて補間方向を判断するステップと、
前記補間方向が対角方向、垂直方向または水平方向の何れであるかに応じて、前記補間するピクセルを基準にして前記補間領域を前記補間方向に対応した分割方法に従って分割した後、前記補間するピクセルに近接する周辺ピクセル上のエッジ配置状況を、前記分割した補間領域内において前記補間方向に沿って識別し、前記識別の結果に依存した合成演算方法に応じて前記周辺ピクセルから合成された代替値によって前記補間領域内ピクセルのピクセル値を代替するステップと、
前記代替されたピクセル値を用いて前記補間するピクセルの補間を実行するステップと、
を含むことを特徴とする映像補間方法。
【請求項１０】
前記勾配値を算出するステップは、前記ピクセルに対して水平方向の勾配値と垂直方向の勾配値を用いて前記ピクセルの勾配値を算出することを特徴とする請求項９に記載の映像補間方法。
【請求項１１】
前記ピクセルがエッジに該当するピクセルであるか否かを判断するステップは、前記ピクセルに対して水平方向の勾配値と垂直方向の勾配値との比較結果に基づいて前記ピクセルがエッジであるか否かを判断することを特徴とする請求項９に記載の映像補間方法。
【請求項１２】
前記補間領域内ピクセルのピクセル値を代替するステップは、
前記補間方向が対角方向である場合、前記補間するピクセルを基準にして前記補間領域を４象限に分割するステップと、
前記４象限それぞれに含まれたピクセルを参加ピクセルと非参加ピクセルに分類した後、一つ以上の前記参加ピクセルのピクセル値を前記合成した値によって前記非参加ピクセルのピクセル値を代替するステップであって、前記分類する動作は、前記エッジ配置状況の識別のために各象限毎のピクセル集合を走査した結果、非エッジ画素の連続に対応するピクセルを参加ピクセルとし、エッジ画素に対応するピクセルを非参加ピクセルとする動作を具備する、ステップと、
を含むことを特徴とする請求項９に記載の映像補間方法。
【請求項１３】
前記補間領域内ピクセルのピクセル値を代替するステップは、
前記補間方向が垂直方向である場合、前記補間するピクセルを基準にして垂直方向に前記補間領域の一部を分割するステップと、
前記垂直方向に分割された前記補間領域に属する前記周辺ピクセルの垂直方向に沿った系列上でエッジ画素の配置状況を識別し、前記垂直方向の前記識別の結果に依存した合成演算方法に応じて合成された代替ピクセル値によって、前記分割された補間領域内ピクセルのピクセル値を代替するステップと、
を含むことを特徴とする請求項９に記載の映像補間方法。
【請求項１４】
前記分割された補間領域内ピクセルのピクセル値を周辺ピクセルのピクセル値を用いて代替するステップは、前記エッジ画素の配置状況を前記識別するために、前記垂直方向に沿った系列内の前記周辺ピクセルの各々がエッジ画素に対応するか否かに応じて、前記補間領域に含まれたピクセルが、垂直配置の複数の異なる形態の何れに分類されるかを判断した後、前記垂直配置の各形態に対してそれぞれ定義されたピクセル代替式を用いて算出した代替値により前記補間領域内ピクセルのピクセル値を代替することを特徴とする請求項１３に記載の映像補間方法。
【請求項１５】
前記補間領域内ピクセルのピクセル値を代替するステップは、
前記補間方向が水平方向である場合、前記補間するピクセルを基準にして水平方向に前記補間領域の一部を分割するステップと、
前記水平方向に分割された前記補間領域に属する前記周辺ピクセルの水平方向に沿った系列上でエッジ画素の配置状況を識別し、前記水平方向の前記識別の結果に依存した合成演算方法に応じて合成された代替ピクセル値によって、前記分割された補間領域内ピクセルのピクセル値を代替するステップと、
を含むことを特徴とする請求項９に記載の映像補間方法。
【請求項１６】
前記分割された補間領域内ピクセルのピクセル値を周辺ピクセルのピクセル値を用いて代替するステップは、前記エッジ画素の配置状況を前記識別するために、前記水平方向に沿った系列内の前記周辺ピクセルの各々がエッジ画素に対応するか否かに応じて、前記補間領域に含まれたピクセルが、水平配置の複数の異なる形態の何れに分類されるかを判断した後、前記水平配置の各形態に対してそれぞれ定義されたピクセル代替式を用いて算出した代替値により前記補間領域内ピクセルのピクセル値を代替することを特徴とする請求項１５に記載の映像補間方法。
【請求項１７】
請求項９〜請求項１６のいずれか一項の方法を行うプログラムを記録したコンピュータ読み出し可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は映像の解像度変換のための映像補間方式に関し、特に、入力映像の地域情報を効果的に用いてナチュラルな高解像度の映像を生成する技術に関する。
【背景技術】
【０００２】
最近、多様な解像度を有するディスプレイ装置が発売されつつ、入力映像の解像度をディスプレイ装置に提供する解像度に合わせて変換される過程が必須である。
【０００３】
低解像度の映像を高解像度に変換する解像度変換技術は、大きく復元基盤方法（ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ  ｂａｓｅｄ  ｍｅｔｈｏｄ）、線形フィルタリング技術を用いる方法、非線形フィルタリング技術を用いる方法に分けられる。
【０００４】
低解像度の映像を高解像度映像に変換する場合、エッジ周辺に多くの画質劣化が発生することがある。代表的な画質劣化として、解像度を変換した結果、映像のエッジ近所にノコギリの歯状のパターンが発生するジグザグ現象（ｊａｇｇｅｄｎｅｓｓ）、解像度の変換によって鮮明度の低下が発生するブラー（ｂｌｕｒｒｉｎｇ）現象、およびフィルタ特性の低下によるエッジ近辺のアイリアシング現象（ａｌｉａｓｉｎｇ）などがある。すなわち、エッジ周辺における処理が解像度の変更に最も重要な役割をする。
【０００５】
したがって、既存の解像度変換技術の限界を克服して低解像度の映像を高解像度の映像に変換するにあたって、よりナチュラルな映像復元と共にエッジ周辺に精巧な処理を行うことによって画質を改善するための技術研究が持続的に求められる。
【発明の概要】
【課題を解決するための手段】
【０００６】
本発明の一実施形態に係る映像補間装置は、入力映像に対して各ピクセルの勾配値を算出する勾配算出部と、前記勾配値を用いて前記ピクセルがエッジに該当するピクセルであるか否かを判断するエッジ判断部と、補間領域内にエッジに該当するピクセルが存在する場合、前記補間領域内で補間するピクセルの位置に応じて補間方向を判断する補間方向判断部と、前記補間方向に応じて前記補間するピクセルを基準にして前記補間領域を分割した後、前記補間領域内ピクセルのピクセル値を代替するピクセル代替部と、前記代替されたピクセル値を用いて前記補間するピクセルの補間を実行する補間実行部とを備えてもよい。
【０００７】
このとき、前記エッジ判断部は、前記ピクセルに対して水平方向の勾配値と垂直方向の勾配値との比較結果に基づいて前記ピクセルがエッジであるか否かを判断してもよい。
【０００８】
また、前記ピクセル代替部は、前記補間方向が対角方向である場合、前記補間するピクセルを基準にして前記補間領域を４象限に分割する対角方向領域分割部と、前記４象限それぞれに含まれたピクセルをエッジ有無に応じて参加ピクセルと非参加ピクセルに分類した後、前記参加ピクセルのピクセル値を用いて前記非参加ピクセルのピクセル値を代替する対角方向ピクセル代替部とを備えてもよい。
【０００９】
また、前記ピクセル代替部は、前記補間方向が垂直方向である場合、前記補間するピクセルを基準にして垂直方向に前記補間領域の一部を分割する垂直方向領域分割部と、前記分割された補間領域内ピクセルのピクセル値を周辺ピクセルのピクセル値を用いて代替する垂直方向ピクセル代替部とを備えてもよい。
【００１０】
また、前記ピクセル代替部は、前記補間方向が水平方向である場合、前記補間するピクセルを基準にして水平方向に前記補間領域の一部を分割する水平方向領域分割部と、前記分割された補間領域内ピクセルのピクセル値を周辺ピクセルのピクセル値を用いて代替する水平方向ピクセル代替部とを備えてもよい。
【００１１】
また、本発明の一実施形態に係る映像補間方法は、入力映像に対して各ピクセルの勾配値を算出するステップと、前記勾配値を用いて前記ピクセルがエッジに該当するピクセルであるか否かを判断するステップと、補間領域内にエッジに該当するピクセルが存在する場合、前記補間領域内で補間するピクセルの位置に応じて補間方向を判断するステップと、前記補間方向に応じて前記補間するピクセルを基準にして前記補間領域を分割した後、前記補間領域内ピクセルのピクセル値を代替するステップと、前記代替されたピクセル値を用いて前記補間するピクセルの補間を実行するステップとを含んでもよい。
【発明の効果】
【００１２】
本発明の一実施形態によれば、入力映像のエッジ周辺に発生する劣化現像を排除することのできる新しい線形フィルタリング技術を提供することによって、エッジ周辺の映像がより鮮明かつナチュラルに復元できる。
【００１３】
本発明の一実施形態によれば、補間方向に応じて最適の地域情報を効率的に用いることで映像の解像度を高め、リアルタイムに処理することで適する映像補間方式を提供することによって、高画質の映像を提供することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態に係る映像補間装置を示す図である。
【図２】図１に示す勾配算出部の一例を示す図である。
【図３】図１に示すピクセル代替部の動作を説明するための図である。
【図４】図１に示すピクセル代替部の一例を示すブロック図である。
【図５】図４に示す対角方向領域分割部の動作を説明するための図である。
【図６】図４に示す対角方向ピクセル代替部の動作を説明するための図である。
【図７】図４に示す垂直方向領域分割部の動作を説明するための図である。
【図８】図４に示す垂直方向ピクセル代替部の動作を説明するための図である。
【図９】図４に示す水平方向領域分割部の動作を説明するための図である。
【図１０】図４に示す水平方向ピクセル代替部の動作を説明するための図である。
【図１１】本発明の一実施形態に係る映像補間方法を示す動作フローチャートである。
【図１２】図１１に示すピクセルのエッジ可否を判断する過程を示す動作フローチャートである。
【図１３】図１１に示す対角方向に対する領域分割およびピクセル代替過程を示す動作フローチャートである。
【図１４】図１１に示す垂直方向に対する領域分割およびピクセル代替過程を示す動作フローチャートである。
【図１５】図１１に示す水平方向に対する領域分割およびピクセル代替過程を示す動作フローチャートである。
【発明を実施するための形態】
【００１５】
以下、添付された図面に記載された内容を参照して本発明に係る好適な実施形態を詳細に説明する。ただし、本発明が実施形態によって制限されたり限定されたりすることはない。
【００１６】
図１は、本発明の一実施形態に係る映像補間装置を示す図である。図１を参照するに、映像補間装置は、勾配算出部１０１、エッジ判断部１０２、補間方向判断部１０３、ピクセル代替部１０４、補間実行部１０５に構成してもよい。
【００１７】
勾配算出部１０１は、入力映像に対して各ピクセルの勾配値Ｇを算出する。
【００１８】
図２は、勾配算出部１０１の一例を示す図である。図２を参照するに、勾配算出部１０１は、各ピクセルの勾配値Ｇを算出するために勾配フィルタ２０１を用いてもよい。このとき、勾配フィルタ２０１としてソーベルフィルタ（ｓｏｂｅｌ  ｆｉｌｔｅｒ）を用いてもよい。
【００１９】
一例として、勾配算出部１０１は、勾配フィルタ２０１を介して水平方向の勾配値Ｇｘおよび垂直方向の勾配値Ｇｙを算出した後、算出された水平方向の勾配値Ｇｘと垂直方向の勾配値Ｇｙの絶対値の和で該当ピクセルの勾配値Ｇを算出してもよい。
【００２０】
勾配値Ｇは式（１）のように定義してもよい。
【００２１】
Ｇ＝｜Ｇｘ｜＋｜Ｇｙ｜      （１）
エッジ判断部１０２は、各ピクセルの勾配値Ｇを用いて該当のピクセルがエッジに該当するか否かを判断してもよい。エッジ判断部１０２は、各ピクセルの勾配値Ｇに対して細線化（ｔｈｉｎｎｉｎｇ）処理を行った後エッジ可否を判断してもよい。
【００２２】
エッジ判断部１０２は、各ピクセルに対して水平方向の勾配値Ｇｘと垂直方向の勾配値Ｇｙとの比較結果に基づいて該当のピクセルがエッジであるか否かを判断してもよい。
【００２３】
エッジ判断部１０２は、ピクセルの勾配値Ｇが予め決定した閾値Ｔ以上であり、同時に少なくとも１つの他の条件を満足する場合にエッジとして判断する一方、１つの条件でも満足しない場合にはエッジではないもの（ｎｏｎ−ｅｄｇｅ）として判断する。
【００２４】
一例として、エッジ判断部１０２は、ピクセルの勾配値Ｇが閾値Ｔ以上であり（第１条件）水平方向の勾配値Ｇｘが垂直方向の勾配値Ｇｙよりも大きい場合（第２条件）には、水平方向の勾配値Ｇｘが該当のピクセルに隣接する左側ピクセルと右側ピクセルの勾配値よりも大きい場合（第３条件）、該当のピクセルをエッジとして判断してもよい。このとき、エッジ判断部１０２は、水平方向の勾配値Ｇｘが左側ピクセルと右側ピクセルそれぞれの水平方向の勾配値より予め決定された設定値（Ｖ）以上大きい場合に（第４条件）該当のピクセルをエッジとして判断してもよい。
【００２５】
一方、エッジ判断部１０２は、ピクセルの勾配値Ｇが閾値Ｔ以上であり（第１条件）、垂直方向の勾配値Ｇｙが水平方向の勾配値Ｇｘよりも大きい場合（第５条件）には、垂直方向の勾配値Ｇｙが該当のピクセルに隣接する上側ピクセルと下側ピクセルの勾配値よりも大きい場合（第６条件）、該当のピクセルをエッジとして判断してもよい。このとき、エッジ判断部１０２は、垂直方向の勾配値Ｇｙが上側ピクセルと下側ピクセルそれぞれの垂直方向の勾配値より設定値（Ｖ）以上大きい場合（第７条件）、該当のピクセルをエッジとして判断してもよい。
【００２６】
すなわち、エッジ判断部１０２は、前記第１条件を満足しつつ同時に前記第２条件ないし第４条件を全て満足したり、前記第５条件と第７条件を全て満足するケースに該当のピクセルを最終的にエッジとして判断してもよい。
【００２７】
このように、エッジ判断部１０２は、ピクセルの勾配値によって直ちにエッジ可否を判断することなく、水平方向の勾配値と垂直方向の勾配値を共に考慮した細線化処理によって厚いエッジの発生を除去することができる。結局、エッジの細線化処理によってエッジ周辺に発生し得る劣化現象を最小化することができる。
【００２８】
補間方向判断部１０３は、補間する補間領域（ｗｉｎｄｏｗ）内にエッジに該当するピクセルの存在可否を判断してもよく、補間領域にエッジが存在する場合、補間領域内で補間しようとするピクセル（以下、「補間ピクセル」と称する）の位置に応じて補間方向を判断してもよい。
【００２９】
図３を参照するに、補間方向判断部１０３は、補間領域３０１内に存在する全てのピクセルのエッジ可否を判断して補間領域３０１にエッジに該当するピクセルが存在する場合、補間ピクセルの位置を考慮して補間方向を判断してもよい。このとき、補間方向判断部１０３は、補間ピクセルの位置に応じて対角方向、垂直方向、水平方向に区分して補間方向を判断してもよい。
【００３０】
ピクセル代替部１０４は、補間方向に応じて補間ピクセルを基準にして補間領域を分割した後、補間領域内で周辺ピクセルのピクセル値を用いて各ピクセルのピクセル値を代替してもよい。
【００３１】
図４は、ピクセル代替部１０４の一例を示すブロック図である。図４を参照するに、ピクセル代替部１０４は、対角方向の補間方向に対して対角方向領域分割部４０１および対角方向ピクセル代替部４０２から構成され、垂直方向の補間方向に対して垂直方向領域分割部４０３および垂直方向ピクセル代替部４０４から構成され、水平方向の補間方向に対して水平方向領域分割部４０５および水平方向ピクセル代替部４０６から構成されてもよい。
【００３２】
図５は対角方向領域分割部４０１の動作を説明するための図であり、図６は対角方向ピクセル代替部４０２の動作を説明するための図である。
【００３３】
図５を参照するに、対角方向領域分割部４０１は、補間ピクセルを基準にして補間領域を４象限に分割してもよい。
【００３４】
図６を参照するに、対角方向ピクセル代替部４０２は、４象限それぞれに含まれたピクセルのエッジ有無に応じて参加ピクセルと非参加ピクセルとに分類した後、参加ピクセルのピクセル値を用いて非参加ピクセルのピクセル値を代替してもよい。このとき、ピクセル値は該当のピクセルの明度値を意味する。
【００３５】
対角方向ピクセル代替部４０２は、４象限で補間ピクセルと隣接した順にピクセルのエッジ可否を判断して参加ピクセルと非参加ピクセルとに分類してもよい。
【００３６】
例えば、対角方向ピクセル代替部４０２は、第１象限の領域にｉ、ｊ＋１、ｉ、ｊ＋２、ｉ−１、ｊ＋１、ｉ−１、ｊ＋２のピクセルが存在する場合、補間ピクセルと最も隣接したｉ、ｊ＋１のピクセルからエッジ可否を判断し、次にｉ、ｊ＋２、ｉ−１、ｊ＋１、ｉ−１、ｊ＋２の順にピクセルのエッジ可否を判断してもよい。このとき、ｉ、ｊ＋１を除いた残りのピクセルのエッジ有無の判断順序は変更され得る。
【００３７】
また、対角方向ピクセル代替部４０２は、ｉ、ｊ＋１のピクセルがエッジに該当する場合、以下全てのピクセル、すなわち、ｉ、ｊ＋１、ｉ、ｊ＋２、ｉ−１、ｊ＋１、ｉ−１、ｊ＋２のピクセル値を空きにして該当のピクセルを非参加ピクセルとして分類する。一方、ｉ、ｊ＋１のピクセルがエッジではない場合、対角方向ピクセル代替部４０２は、ｉ、ｊ＋１のピクセルを参加ピクセルとして分類した後、ｉ、ｊ＋２のピクセルに移動してｉ、ｊ＋２ピクセルのエッジ可否を判断する。このとき、ｉ、ｊ＋２のピクセルがエッジではない場合、対角方向ピクセル代替部４０２は、ｉ、ｊ＋２のピクセルを参加ピクセルとして分類し、エッジに該当する場合に対角方向ピクセル代替部４０２は、ｉ、ｊ＋２のピクセルのピクセル値を空きにして非参加ピクセルとして分類する。次に、ｉ−１、ｊ＋１に移動して該当のピクセルがエッジではない場合、対角方向ピクセル代替部４０２は、ｉ−１、ｊ＋１のピクセルを参加ピクセルとして分類し、エッジに該当する場合に対角方向ピクセル代替部４０２は、ｉ−１、ｊ＋１のピクセルのピクセル値を空きにして非参加ピクセルとして分類する。次に、ｉ−１、ｊ＋２に移動して該当のピクセルがエッジではない場合、対角方向ピクセル代替部４０２は、ｉ−１、ｊ＋２のピクセルを参加ピクセルとして分類し、エッジに該当する場合に対角方向ピクセル代替部４０２は、ｉ−１、ｊ＋２のピクセルのピクセル値を空きにして非参加ピクセルとして分類する。
【００３８】
このとき、ピクセルのピクセル値を空きにするという意味は、ピクセル値を他の値に代替するため臨時的にピクセル値を消すことを意味する。
【００３９】
このような過程を第２象限、第３象限、第４象限に独立的に行って補間領域に含まれた全てのピクセルを参加ピクセルと非参加ピクセルとに分類してもよい。
【００４０】
対角方向ピクセル代替部４０２は、補間領域内ピクセルを参加ピクセルと非参加ピクセルに分類した後、参加ピクセルのピクセル値を用いてピクセル値を空いた非参加ピクセルの新しいピクセル値を算出してもよい。例えば、対角方向ピクセル代替部４０２は、参加ピクセルの平均ピクセル値を算出した後、算出された平均ピクセル値を全ての非参加ピクセルに対するピクセル値に代替してもよい。
【００４１】
図７は、垂直方向領域分割部４０３の動作を説明するための図であり、図８は、垂直方向ピクセル代替部４０４の動作を説明するための図である。図７を参照するに、垂直方向領域分割部４０３は、補間ピクセルを基準にして垂直方向に前記補間領域の一部を分割してもよい。垂直方向領域分割部４０３は、補間方向が垂直方向である場合、補間領域内に含まれたピクセルのうち補間ピクセルを基準にして垂直線上に位置するピクセルを用いてもよい。
【００４２】
垂直方向ピクセル代替部４０４は、分割された補間領域に含まれたピクセルのピクセル値を該当の領域内の周辺ピクセルのピクセル値を用いて代替してもよい。垂直方向ピクセル代替部４０４は、該当の領域内ピクセルのエッジ有無に応じる垂直配置の形態を判断した後、判断された垂直配置の形態に対して予め定義されたピクセル代替式を用いて該当の領域内ピクセルのピクセル値を代替してもよい。
【００４３】
図７のように４×４構造の補間領域を用いる場合、垂直方向領域分割部４０３は、補間領域で補間ピクセルを基準にして垂直方向に位置する４個のピクセルを含む領域を分割してもよい。
【００４４】
図８を参照するに、分割された補間領域に含まれたピクセルのエッジ有無に応じて、ピクセルの垂直配置の形態を６つの場合の数に分類してもよい。
【００４５】
垂直方向ピクセル代替部４０４は、垂直配置の形態別に予め定義されたピクセル代替式を用いて分割された補間領域内ピクセルのピクセル値を代替してもよい。
【００４６】
このとき、分割された補間領域内ピクセルの垂直配置の形態が図８に示す１のケースに該当する場合、そのピクセル代替式は式（２）のように定義してもよい。式（２）によれば、ｉ−１、ｊとｉ＋２、ｊのピクセル値はｉ、ｊのピクセル値とｉ＋１、ｊのピクセル値の平均に代替してもよい。
【００４７】
【数１】
0005485277.tif 000002
また、分割された補間領域内ピクセルの垂直配置の形態が図８に示す２のケースに該当する場合、そのピクセル代替式は式（３）のように定義してもよい。式（３）によれば、ｉ−１、ｊとｉ＋２、ｊのピクセル値はｉ、ｊのピクセル値とｉ＋１、ｊのピクセル値の平均に代替してもよい。
【００４８】
【数２】
0005485277.tif 000003
また、分割された補間領域内ピクセルの垂直配置の形態が図８に示す３のケースに該当する場合、そのピクセル代替式は式（４）のように定義してもよい。式（４）によれば、ｉ−１、ｊとｉ、ｊのピクセル値はｉ＋１、ｊのピクセル値とｉ＋２、ｊのピクセル値の平均に代替してもよい。
【００４９】
【数３】
0005485277.tif 000004
また、分割された補間領域内ピクセルの垂直配置の形態が図８に示す４のケースに該当する場合、そのピクセル代替式は式（５）のように定義してもよい。式（５）によれば、ｉ−１、ｊ、ｉ、ｊとｉ＋２、ｊのピクセル値はｉ＋１、ｊのピクセル値に代替してもよい。
【００５０】
【数４】
0005485277.tif 000005
また、分割された補間領域内ピクセルの垂直配置の形態が図８に示す５のケースに該当する場合、そのピクセル代替式は式（６）のように定義してもよい。式（６）によれば、ｉ＋１、ｊとｉ＋２、ｊのピクセル値はｉ−１、ｊのピクセル値とｉ、ｊのピクセル値の平均に代替してもよい。
【００５１】
【数５】
0005485277.tif 000006
また、分割された補間領域内ピクセルの垂直配置の形態が図８に示す６のケースに該当する場合、そのピクセル代替式は式（７）のように定義してもよい。式（７）によれば、ｉ−１、ｊ、ｉ＋１、ｊとｉ＋２、ｊのピクセル値はｉ、ｊのピクセル値に代替してもよい。
【００５２】
【数６】
0005485277.tif 000007
図９は水平方向領域分割部４０５の動作を説明するための図であり、図１０は水平方向ピクセル代替部４０６の動作を説明するための図である。図９を参照するに、水平方向領域分割部４０５は、補間ピクセルを基準にして水平方向に前記補間領域の一部を分割してもよい。水平方向領域分割部４０５は、補間方向が水平方向である場合、補間領域内に含まれたピクセルのうち補間ピクセルを基準にして水平線上に位置するピクセルを用いてもよい。
【００５３】
水平方向ピクセル代替部４０６は、分割された補間領域に含まれたピクセルのピクセル値を該当の領域内の周辺ピクセルのピクセル値を用いて代替してもよい。水平方向ピクセル代替部４０６は、該当の領域内ピクセルのエッジ有無に応じて水平配置の形態を判断した後、判断された水平配置の形態に対して予め定義されたピクセル代替式を用いて該当の領域内ピクセルのピクセル値を代替してもよい。
【００５４】
図９に示すように、４×４構造の補間領域を用いる場合、水平方向領域分割部４０５は、補間領域で補間ピクセルを基準にして水平方向に位置する４個のピクセルを含む領域を分割してもよい。
【００５５】
図１０を参照するに、分割された補間領域に含まれたピクセルのエッジ有無に応じてピクセルの水平配置の形態を６つの場合の数に分類してもよい。
【００５６】
水平方向ピクセル代替部４０６は、水平配置の形態別に予め定義されたピクセル代替式を用いて分割された補間領域内ピクセルのピクセル値を代替してもよい。
【００５７】
このとき、分割された補間領域内ピクセルの水平配置の形態が図１０に示す１のケースに該当する場合、そのピクセル代替式は式（８）のように定義してもよい。式（８）によれば、ｉ、ｊ−１とｉ、ｊ＋２のピクセル値はｉ、ｊのピクセル値とｉ、ｊ＋１のピクセル値の平均に代替してもよい。
【００５８】
【数７】
0005485277.tif 000008
また、分割された補間領域内ピクセルの水平配置の形態が図１０の２ケースに該当する場合、そのピクセル代替式は式（９）のように定義してもよい。式（９）によれば、ｉ、ｊ−１とｉ、ｊ＋２のピクセル値はｉ、ｊのピクセル値とｉ、ｊ＋１のピクセル値の平均に代替してもよい。
【００５９】
【数８】
0005485277.tif 000009
また、分割された補間領域内ピクセルの水平配置の形態が図１０に示す３のケースに該当する場合、そのピクセル代替式は式（１０）のように定義してもよい。式（１０）によれば、ｉ、ｊ−１とｉ、ｊのピクセル値はｉ、ｊ＋１のピクセル値とｉ、ｊ＋２のピクセル値の平均に代替してもよい。
【００６０】
【数９】
0005485277.tif 000010
また、分割された補間領域内ピクセルの水平配置の形態が図１０に示す４のケースに該当する場合、そのピクセル代替式は式（１１）のように定義してもよい。式（１１）によれば、ｉ、ｊ−１、ｉ、ｊとｉ、ｊ＋２のピクセル値はｉ、ｊ＋１のピクセル値に代替してもよい。
【００６１】
【数１０】
0005485277.tif 000011
また、分割された補間領域内ピクセルの水平配置の形態が図１０に示す５のケースに該当する場合、そのピクセル代替式は式（１２）のように定義してもよい。式（１２）によれば、ｉ、ｊ＋１とｉ、ｊ＋２のピクセル値はｉ、ｊ−１のピクセル値とｉ、ｊのピクセル値の平均に代替してもよい。
【００６２】
【数１１】
0005485277.tif 000012
また、分割された補間領域内ピクセルの水平配置の形態が図１０に示す６のケースに該当する場合、そのピクセル代替式は式（１３）のように定義してもよい。式（１３）によれば、ｉ、ｊ−１、ｉ、ｊ＋１とｉ、ｊ＋２のピクセル値はｉ、ｊのピクセル値に代替してもよい。
【００６３】
【数１２】
0005485277.tif 000013
ピクセル代替部１０４は、補間方向に応じて補間領域を分割して補間領域内ピクセルのピクセル値を代替することによって、補間領域に存在するピクセルのうち補間に使用できないピクセルを分離し、補間時に分離されたピクセルのピクセル値を排除してもよい。すなわち、ピクセル代替部１０４は、補間ピクセルが占めている物体とは全く関係のないピクセルを除去することができ、ブラーによる画質の低下を改善することができる。
【００６４】
補間実行部１０５は、補間方向に応じて領域分割およびピクセル代替過程が完了すれば、代替されたピクセル値を用いて補間ピクセルの補間を実行してもよい。補間実行部１０５は、ピクセル代替部１０４で領域分割によって分類された補間に参加するピクセル値、すなわち周辺ピクセルのエッジ有無に応じて代替されたピクセル値を用いて補間を実行することができる。
【００６５】
図１１は、本発明の一実施形態に係る映像補間方法を示す動作フローチャートである。
【００６６】
本発明の一実施形態に係る映像補間方法において、低解像度の入力映像を高解像度に補間する過程は次のような過程を含んでもよい。
【００６７】
本発明の一実施形態に係る映像補間方法は、入力映像に対して各ピクセルの勾配値Ｇを算出する（１１０１）。
【００６８】
このとき、各ピクセルの勾配値Ｇを算出するステップ１１０１は、該当のピクセルに対して水平方向の勾配値Ｇｘと垂直方向の勾配値Ｇｙを算出した後、算出された水平方向の勾配値Ｇｘと垂直方向の勾配値Ｇｙの絶対値の和に該当のピクセルの勾配値Ｇを算出してもよい。
【００６９】
また、本発明の一実施形態に係る映像補間方法は各ピクセルの勾配値Ｇを用いてエッジの有無判断を実行する（１１０２）。
【００７０】
このとき、各ピクセルのエッジ可否を判断するステップ１１０２は、該当のピクセルの勾配値Ｇに対して細線化処理を経た後にエッジ可否を判断してもよい。
【００７１】
各ピクセルのエッジ可否を判断するステップ１１０２は、次のような過程を含んでもよい。
【００７２】
図１２を参照するに、各ピクセルのエッジ可否を判断するステップ１１０２は、第１条件（１２０１）、第２条件（１２０２）、第３条件（１２０３）、および第４条件（１２０４）を同時に満足する場合、該当のピクセルをエッジと判断する（１２０５）。
【００７３】
一例として、第１条件（１２０１）は、該当のピクセル（ｉ、ｊ）の勾配値Ｇが閾値Ｔ以上でなければならない条件である。第２条件（１２０２）は、水平方向の勾配値Ｇｘ（ｉ、ｊ）が垂直方向の勾配値Ｇｙ（ｉ、ｊ）以上でなければならない条件である。また、第３条件（１２０３）は、水平方向の勾配値Ｇｘ（ｉ、ｊ）が該当のピクセルに隣接する左側ピクセル（ｉ、ｊ−１）の水平方向の勾配値Ｇｘ（ｉ、ｊ−１）および右側ピクセル（ｉ、ｊ＋１）の水平方向の勾配値Ｇｘ（ｉ、ｊ＋１）以上でなければならない条件である。また、第４条件（１２０４）は、左側ピクセル（ｉ、ｊ−１）の水平方向の勾配値Ｇｘ（ｉ、ｊ−１）と右側ピクセル（ｉ、ｊ＋１）の水平方向の勾配値Ｇｘ（ｉ、ｊ＋１）の２つのうち大きい値と該当のピクセル（ｉ、ｊ）の水平方向の勾配値Ｇｘ（ｉ、ｊ）との間の差異値の絶対値が設定値（Ｖ）以上でなければならない条件である。
【００７４】
また、各ピクセルのエッジ可否を判断するステップ１１０２は、第１条件（１２０１）、第５条件（１２０６）、第６条件（１２０７）および第７条件（１２０８）を同時に満足する場合、該当のピクセルをエッジと判断する（１２０５）。
【００７５】
一例として、第５条件（１２０６）は、垂直方向の勾配値Ｇｙ（ｉ、ｊ）が水平方向の勾配値Ｇｘ（ｉ、ｊ）以上でなければならない条件である。第６条件（１２０７）は、垂直方向の勾配値Ｇｙ（ｉ、ｊ）が該当のピクセルに隣接する上側ピクセル（ｉ−１、ｊ）の垂直方向の勾配値Ｇｙ（ｉ−１、ｊ）および下側ピクセル（ｉ＋１、ｊ）の垂直方向の勾配値Ｇｙ（ｉ＋１、ｊ）以上でなければならない条件である。また、第７条件（１２０８）は、上側ピクセル（ｉ−１、ｊ）の垂直方向の勾配値Ｇｙ（ｉ−１、ｊ）と下側ピクセル（ｉ＋１、ｊ）の垂直方向の勾配値Ｇｙ（ｉ＋１、ｊ）Ｇｙ（ｉ＋１、ｊ）の２つのうち大きい値と該当のピクセル（ｉ、ｊ）の垂直方向の勾配値Ｇｙ（ｉ、ｊ）との間の差異値の絶対値が設定値（Ｖ）以上でなければならない条件である。
【００７６】
また、各ピクセルのエッジ可否を判断するステップ１１０２は、第１条件〜第４条件（１２０１〜１２０４）および第５条件〜第７条件（１２０６〜１２０８）のうちいずれか１つの条件にも満足しない場合、該当のピクセルをｎｏｎ−ｅｄｇｅと判断する（１２０９）。
【００７７】
したがって、各ピクセルのエッジ可否を判断するステップ１１０２は、該当のピクセルの勾配値Ｇが予め決定した閾値Ｔ以上でありながら、同時に他の条件を全て満足する場合にエッジとして判断する一方、そのうち１つの条件にも満足しない場合はノンエッジとして判断する。
【００７８】
再び図１１において、本発明の一実施形態に係る映像補間方法は、補間領域内にエッジに該当するピクセルの存在可否を判断した後（１１０３）、補間領域にエッジが存在する場合、補間領域内で補間ピクセルの位置に応じて補間方向を判断する（１１０４）。
【００７９】
このとき、補間ピクセルの補間方向を判断するステップ１１０４は、補間ピクセルの位置に応じて対角方向、垂直方向、水平方向に区分してもよい。
【００８０】
また、本発明の一実施形態に係る映像補間方法は、補間方向が対角方向の場合に対角方向に対する領域分割およびピクセル代替を行なう（１１０５）。
【００８１】
対角方向に対する領域分割およびピクセル代替を行うステップ１１０５は次のような過程を含んでもよい。
【００８２】
図１３を参照するに、対角方向に対する領域分割およびピクセル代替を行うステップ１１０５は、補間ピクセルを基準にして補間領域を４象限に分割する（１３０１）。
【００８３】
また、対角方向に対する領域分割およびピクセル代替を行うステップ１１０５は、４象限それぞれに含むピクセルのエッジ有無に応じて、参加ピクセルと非参加ピクセルに分類する（１３０２）。このとき、参加ピクセルと非参加ピクセルに分類するステップ１３０２は、４象限において独立的に行って補間ピクセルと隣接した順にそれぞれ４象限に含まれたピクセルのエッジ可否を判断して参加ピクセルと非参加ピクセルに分類してもよい。
【００８４】
また、対角方向に対する領域分割およびピクセル代替を行うステップ１１０５は、参加ピクセルのピクセル値を用いて非参加ピクセルのピクセル値を代替してもよい。このとき、非参加ピクセルのピクセル値を代替するステップは、補間領域内の全ての参加ピクセルの平均ピクセル値を算出した後（１３０３）、算出された平均ピクセル値を全ての非参加ピクセルに対するピクセル値に代替する（１３０４）。
【００８５】
再び図１１において、本発明の一実施形態に係る映像補間方法は、補間方向が垂直方向である場合、垂直方向に対する領域分割およびピクセル代替を行う（１１０６）。
【００８６】
垂直方向に対する領域分割およびピクセル代替を行うステップ１１０６は次のような過程を含んでもよい。
【００８７】
図１４を参照するに、垂直方向に対する領域分割およびピクセル代替を行うステップ１１０６は、補間ピクセルを基準にして垂直方向に補間領域の一部を分割する（１４０１）。このとき、補間領域の一部を分割するステップ１４０１は、補間領域内に含まれたピクセルのうち補間ピクセルを基準にして垂直線上に位置するピクセルを含む領域を分割してもよい。
【００８８】
また、垂直方向に対する領域分割およびピクセル代替を行うステップ１１０６は、分割された補間領域に含まれたピクセルのピクセル値を該当の領域内の周辺ピクセルのピクセル値を用いて代替する（１４０２）。このとき、水平方向に対するピクセル代替を行うステップ１４０２は、該当の領域内ピクセルのエッジ有無に応じる垂直配置の形態を判断した後、判断された垂直配置の形態に対して予め定義されたピクセル代替式を用いて該当の領域内ピクセルのピクセル値を代替してもよい。
【００８９】
再び図１１において、本発明の一実施形態に係る映像補間方法は、補間方向が水平方向である場合、水平方向に対する領域分割およびピクセル代替を行なう（１１０７）。
【００９０】
水平方向に対する領域分割およびピクセル代替を行うステップ１１０７は次のような過程を含んでもよい。
【００９１】
図１５を参照するに、水平方向に対する領域分割およびピクセル代替を行うステップ１１０７は、補間ピクセルを基準にして水平方向に補間領域の一部を分割する（１５０１）。このとき、補間領域の一部を分割するステップ１５０１は、補間領域内に含まれたピクセルのうち補間ピクセルを基準にして水平線上に位置するピクセルを含む領域を分割してもよい。
【００９２】
また、水平方向に対する領域分割およびピクセル代替を行うステップ１１０７は、分割された補間領域に含まれたピクセルのピクセル値を該当の領域内の周辺ピクセルのピクセル値を用いて代替する（１５０２）。このとき、水平方向に対するピクセル代替を行うステップ１５０２は、該当の領域内ピクセルのエッジ有無に応じる水平配置の形態を判断した後、判断された水平配置の形態に対して予め定義されたピクセル代替式を用いて該当の領域内ピクセルのピクセル値を代替してもよい。
【００９３】
再び図１１において、本発明の一実施形態に係る映像補間方法は、補間方向に応じて領域分割およびピクセル代替過程が完了すれば、代替されたピクセル値を用いて補間ピクセルの補間を実行する（１１０８）。
【００９４】
したがって、映像補間方法は、細線化処理により厚いエッジの発生を除去し、補間方向に係る領域分割およびピクセル代替過程を介してエッジによって分離された領域を精巧に処理することで、さらに鮮明な高解像度の映像を提供することができる。
【００９５】
本発明の実施形態に係る映像補間方法は、コンピュータにより実現される多様な動作を実行するためのプログラム命令形態で実現され、コンピュータで読取可能な記録媒体に記録されてもよい。前記コンピュータ読取可能な媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含むものでもよい。前記媒体に記録されるプログラム命令は、本発明の目的のために特別に設計され構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知であり使用可能なものであってもよい。コンピュータで読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスクおよび磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードを含む。上述のハードウェア装置は、本発明の動作を行うために１つ以上のソフトウェア階層で作動するように構成されてもよい。
【００９６】
上述したように、本発明は、一例として限定された実施形態と図面とによって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような記載から多様な修正および変形が可能である。
【００９７】
したがって、本発明の範囲は説明された実施形態に限定されてはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等なものなどによって定められなければならない。
【図１】
0005485277.tif 000014
【図２】
0005485277.tif 000015
【図３】
0005485277.tif 000016
【図４】
0005485277.tif 000017
【図５】
0005485277.tif 000018
【図６】
0005485277.tif 000019
【図７】
0005485277.tif 000020
【図８】
0005485277.tif 000021
【図９】
0005485277.tif 000022
【図１０】
0005485277.tif 000023
【図１１】
0005485277.tif 000024
【図１２】
0005485277.tif 000025
【図１３】
0005485277.tif 000026
【図１４】
0005485277.tif 000027
【図１５】
0005485277.tif 000028