(57)【特許請求の範囲】
【請求項１】
補間画素を挟んで対向する複数組の画素対によって構成される対向方向の内、最も強い相関を示す対向方向を選択する相関方向選択部を備えるとともに、前記相関方向選択部によって選択された前記対向方向に位置する前記画素対の値を用いて前記補間画素を補間する第１の補間部と、
補間ラインを挟む２つの入力画像ライン間で相関のある並び方をしている複数の入力画素がある区間をパターン近似区間として検出するパターン近似区間検出部と、補間ラインを挟む２つの入力画像ラインの一方のライン上における前記パターン近似区間と他方のライン上における前記パターン近似区間とがなす方向をパターン近似方向として検出するパターン近似方向検出部と、を備えるとともに、前記第１の補間部による補間処理が完了後に前記パターン近似方向に対向する２つの前記パターン近似区間内画素の値を用いてこれら２つの前記パターン近似区間内画素によって挟まれる前記補間画素を補間する第２の補間部と、
前記パターン近似区間内画素に隣接する前記補間画素の内、前記第２の補間部によって補間されない画素である周辺補間画素を、前記周辺補間画素を挟んで補間ラインに対して垂直な方向に前記パターン近似区間内画素と対向する入力画素であるパターン対向画素の値を用いて補間する第３の補間部と、を備えることを特徴とする画像補間装置。
【請求項２】
前記第３の補間部が、前記パターン対向画素の値を前記周辺補間画素の値とする補間を行うことを特徴とする請求項１に記載の画像補間装置。
【請求項３】
補間画素を挟んで対向する複数組の画素対によって構成される対向方向の内、最も強い相関を示す対向方向を選択する相関方向選択部を備えるとともに、前記相関方向選択部によって選択された前記対向方向に位置する前記画素対の値を用いて前記補間画素を補間する第１の補間部と、
補間ラインを挟む２つの入力画像ライン間で相関のある並び方をしている複数の入力画素がある区間をパターン近似区間として検出するパターン近似区間検出部と、補間ラインを挟む２つの入力画像ラインの一方のライン上における前記パターン近似区間と他方のライン上における前記パターン近似区間とがなす方向をパターン近似方向として検出するパターン近似方向検出部と、を備えるとともに、前記第１の補間部による補間処理が完了後に前記パターン近似方向に対向する２つの前記パターン近似区間内画素の値を用いてこれら２つの前記パターン近似区間内画素によって挟まれる前記補間画素を補間する第２の補間部と、
前記パターン近似区間内画素に隣接する前記補間画素の内、前記第２の補間部によって補間されない画素である周辺補間画素を、前記周辺補間画素を挟んで前記パターン近似方向に対向する２つの入力画素であるパターン周辺画素を用いて補間する第３の補間部と、を備えることを特徴とする画像補間装置。
【請求項４】
前記第３の補間部が、前記周辺補間画素を挟んで前記パターン近似方向に対向する２つの入力画素であるパターン周辺画素に相関があるか否かを判定する周辺画素相関判定部を備えるとともに、該周辺画素判定部によって前記パターン周辺画素に相関があると判定された場合に、前記周辺補間画素を補間することを特徴とする請求項３に記載の画像補間装置。
【請求項５】
前記第３の補間部が、前記周辺画素相関判定部によって前記パターン周辺画素に相関がないと判定された場合に、前記周辺補間画素を挟んで補間ラインに対して垂直な方向に前記パターン近似区間内画素と対向する入力画素であるパターン対向画素を用いて前記周辺補間画素を補間することを特徴とする請求項４に記載の画像補間装置。
【請求項６】
前記第３の補間部が、前記パターン周辺画素のどちらか一方の値を前記周辺補間画素の値とする補間を行うことを特徴とする請求項３〜請求項５のいずれかに記載の画像補間装置。
【請求項７】
前記第３の補間部が、前記パターン周辺画素の平均値を前記周辺補間画素の値とする補間を行うことを特徴とする請求項３〜請求項５のいずれかに記載の画像補間装置。
【請求項８】
前記第１の補間部が、前記相関方向選択部によって選択された前記対向方向がエッジ方向であるか否かを判定するエッジ方向判定部を備えるとともに、前記エッジ方向判定部によって前記対向方向がエッジ方向であると判定された場合に前記対向方向に位置する前記画素対の値を用いて前記補間画素を補間することを特徴とする請求項１〜請求項７のいずれかに記載の画像補間装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像を補間する画像補間装置に関するものである。
【０００２】
【従来の技術】
例えば、インターレース画像をプログレッシブ画像に変換する場合、画像を拡大する場合、低解像度の画像を高解像度の画像に変換する場合などには、画像を補間する必要がある。
【０００３】
このような画像の補間方法としては、補間画素（補間すべき画素）を挟んで対向する複数組の２つの入力画素のうち、相関が最も強い方向にある組の２つの入力画素を用いて補間画素を補間するなどして、補間画素を１つずつ補間する方法が知られている。
【０００４】
ところが、このような方法で画像の補間を行う場合、水平方向に近い斜線の部分の画質を向上させるためには、補間画素を挟むより多くの方向の中から補間する方向を決めなければならないので、演算数が多くなって処理時間が長くなるとともに、相関は強いがエッジ方向ではない方向に補間することによる補間エラーが増加するという問題がある。
【０００５】
そこで、以上のようにして補間画素を１画素ずつ補間することに加えて、水平方向に近い斜線部分の画質を向上させる目的で、パターンマッチング補間が行われる。このパターンマッチング補間について、図１６を用いて説明する。まず、補間ラインｉを挟む２つの入力画像ラインＡ、Ｂ間で相関のある並び方をしている複数の入力画素がある区間ＫＡ、ＫＢをパターン近似区間として検出する。最も簡単な例では、補間ラインを挟む２つの入力画像ラインにおいて、画素の値が同じように並んでいる区間をパターン近似区間として検出する。
【０００６】
次に、入力画像ラインＡ上におけるパターン近似区間ＫＡと、入力画像ラインＢ上におけるパターン近似区間ＫＢとがなす方向Ｄをパターン近似方向として検出する。そして、パターン近似区間ＫＡ、ＫＢに含まれる入力画素であるパターン近似区間内画素Ａ３、Ａ４、Ａ５、Ａ６、Ｂ７、Ｂ８、Ｂ９、Ｂ１０が隣接する補間画素ｉ３、ｉ４、ｉ５、ｉ６、ｉ７、ｉ８、ｉ９、ｉ１０のうち、２つのパターン近似区間内画素によってパターン近似方向Ｄに挟まれる補間画素ｉ５、ｉ６、ｉ７、ｉ８を、それぞれを挟んで対向するパターン内画素Ａ３とＢ７、Ａ４とＢ８、Ａ５とＢ９、Ａ６とＢ１０の値を用いて補間するものである。
【０００７】
具体的には、パターン近似区間内画素Ａ３とＢ７の平均値を補間画素ｉ５の値とし、パターン内画素Ａ４とＢ８の平均値を補間画素ｉ６の値とし、パターン内画素Ａ５とＢ９の平均値を補間画素ｉ７の値とし、パターン内画素Ａ６とＢ１０の平均値を補間画素ｉ８の値とする。
【０００８】
【発明が解決しようとする課題】
しかしながら、上記従来の画像補間方法では、図１６において、入力画素Ａ３、Ａ４、Ａ５、Ａ６、Ｂ７、Ｂ８、Ｂ９、Ｂ１０の値をＹ１、入力画素Ａ７、Ａ８、Ａ９、Ａ１０、Ｂ３、Ｂ４、Ｂ５、Ｂ６の値をＹ２とすると、補間画素ｉ５、ｉ６、ｉ７、ｉ８の値に関しては、パターンマッチング補間によりＹ１となるのに対して、補間画素ｉ３、ｉ４、ｉ９、ｉ１０の値に関しては、１画素ずつの補間により補間された値のままであり、例えば１画素ずつの補間により（Ｙ１＋Ｙ２）／２となっているとすると、Ｙ１とＹ２とが大きく異なるときには、水平方向に近い斜線のエッジ部分がぼけてしまい、補間後の画像として高精細な画像を得ることができないという問題があった。
【０００９】
そこで、本発明は、補間後の画像として高精細な画像を得ることができる画像補間装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記の目的を達成するため、本発明の第１の画像補間装置では、補間ラインを挟む２つの入力画像ライン間で相関のある並び方をしている複数の入力画素がある区間をパターン近似区間として検出するパターン近似区間検出手段と、
補間ラインを挟む２つの入力画像ラインの一方のライン上における前記パターン近似区間と、他方のライン上における前記パターン近似区間とがなす方向をパターン近似方向として検出するパターン近似方向検出手段と、
前記パターン近似方向に対向する２つの前記パターン近似区間内画素の値を用いて、これら２つの前記パターン近似区間内画素によって挟まれる補間画素を補間する第１の補間手段と、
前記パターン近似区間内画素が隣接する補間画素のうち、前記第１の補間手段によって補間されない画素である周辺補間画素を、該周辺補間画素を挟んで補間ラインに対して垂直な方向に前記パターン近似区間内画素と対向する入力画素であるパターン対向画素を用いて補間する第２の補間手段と、
を有する構成となっている。
【００１１】
この構成により、本発明の第１の画像補間装置では、パターンマッチング補間により補間する補間画素の周辺に位置する補間画素についても周辺の入力画素の値を用いて補間することになる。
【００１２】
また、本発明の第２の画像補間装置では、補間ラインを挟む２つの入力画像ライン間で相関のある並び方をしている複数の入力画素がある区間をパターン近似区間として検出するパターン近似区間検出手段と、
補間ラインを挟む２つの入力画像ラインの一方のライン上における前記パターン近似区間と、他方のライン上における前記パターン近似区間とがなす方向をパターン近似方向として検出するパターン近似方向検出手段と、
前記パターン近似方向に対向する２つの前記パターン近似区間内画素の値を用いて、これら２つの前記パターン近似区間内画素によって挟まれる補間画素を補間する第１の補間手段と、
前記パターン近似区間内画素が隣接する補間画素のうち、前記第１の補間手段によって補間されない画素である周辺補間画素を、該周辺補間画素を挟んで前記パターン近似方向に対向する２つの入力画素であるパターン周辺画素を用いて補間する第２の補間手段と、
を有する構成となっている。
【００１３】
この構成により、本発明の第２の画像補間装置では、パターンマッチング補間により補間する補間画素の周辺に位置する補間画素についても、該補間画素を挟んでパターン近似方向に対向する２つの入力画素の値を用いて補間することになる。
【００１４】
また、本発明の第３の画像補間装置では、補間ラインを挟む２つの入力画像ライン間で相関のある並び方をしている複数の入力画素がある区間をパターン近似区間として検出するパターン近似区間検出手段と、
補間ラインを挟む２つの入力画像ラインの一方のライン上における前記パターン近似区間と、他方のライン上における前記パターン近似区間とがなす方向をパターン近似方向として検出するパターン近似方向検出手段と、
前記パターン近似方向に対向する２つの前記パターン近似区間内画素の値を用いて、これら２つの前記パターン近似区間内画素によって挟まれる補間画素を補間する第１の補間手段と、
前記パターン近似区間内画素が隣接する補間画素のうち、前記第１の補間手段によって補間されない画素である周辺補間画素を挟んで前記パターン近似方向に対向する２つの入力画素であるパターン周辺画素に相関があるか否かを判定する判定手段と、
前記パターン周辺画素に相関があれば、前記パターン周辺画素を用いて前記周辺補間画素を補間する第２の補間手段と、
を有する構成となっている。
【００１５】
この構成により、本発明の第３の画像補間装置では、パターンマッチング補間により補間を行う部分とその周辺の部分とが同じ方向にエッジをもっている場合にのみ、パターンマッチングにより補間を行う補間画素の周辺に位置する補間画素については、該補間画素を挟んでパターン近似方向に対向する２つの入力画素の値を用いて補間することになる。
【００１６】
また、本発明の第４の画像補間装置では、上記第３の画像補間装置において、前記第２の補間手段が、前記パターン周辺画素に相関がなければ、前記周辺補間画素を、該周辺補間画素を挟んで補間ラインに対して垂直な方向に前記パターン近似区間内画素と対向する入力画素であるパターン対向画素を用いて補間するようになっている。
【００１７】
この構成により、本発明の第４の画像補間装置では、パターンマッチング補間により補間する補間画素の周辺に位置する補間画素についても周辺の入力画素の値を用いて補間し、特に、パターンマッチング補間により補間を行う部分とその周辺の部分とが同じ方向にエッジをもっている場合には、パターンマッチング補間により補間する補間画素の周辺に位置する補間画素を、該補間画素を挟んでパターン近似方向に対向する２つの入力画素の値を用いて補間することになる。
【００１８】
【発明の実施の形態】
以下に、本発明の実施形態を図面を参照しながら説明する。本発明の第１実施形態である画像補間装置のブロック図を図１に示す。同図において、端子ＩＮから入力されたインターレース画像の画像データは原画素用メモリ１に蓄積される。第１補間部２は補間画素を１画素ずつ補間する。第２補間部３は第１補間部での補間が終わった後、パターンマッチング補間を行う。第３補間部４はパターンマッチング補間により補間される補間画素の周辺に位置する補間画素を再度補間し直す。第１補間部２、第２補間部３、及び、第３補間部４により補間された補間画素データは補間画素用メモリ５に蓄積される。
【００１９】
原画素用メモリ１に蓄積された１ライン分の画像データと補間画素用メモリ５に蓄積された１ライン分の画像データとが交互に出力されるように、原画素メモリ１に蓄積された画像データと補間画素用メモリ５に蓄積された画像データがセレクタ６により択一的に選択されて端子ＯＵＴから出力される。これにより、入力されたインターレース画像がプログレッシブ画像に変換されて出力されることになる。
【００２０】
本第１実施形態である画像補間装置にて補間が行われる流れを図２、図３、図４、図５、及び、図６に示すフローチャートを用いて説明する。まず、第１補間部２が図１７に示す補間画素Ｘを中心とする対角線方向Ｈ１、Ｈ２、Ｈ３の順に以下の処理を行う。２つの隣接原画素の差分絶対値を求める（＃１０１）。
【００２１】
次に、＃１０１で求めた差分絶対値が閾値以下であるか否かを判定する（＃１０２）。閾値以下であれば（＃１０２のＹ）、＃１０１で求めた差分絶対値が最小値として記憶している値よりも小さいか否かを判定する（＃１０３）。一方、閾値以下でなければ（＃１０２のＮ）、次の対角線方向で処理を進めるべく＃１０１へ戻る。尚、＃１０２での処理についてはなくても構わない。
【００２２】
＃１０３での判定の結果が肯定であれば（＃１０３のＹ）、今まで記憶していた対角線方向に替えて今着目している対角線方向をエッジ候補として記憶する（＃１０４）とともに、今まで記憶していた値に替えて＃１０１で求めた差分絶対値を最小値として記憶する（＃１０５）。＃１０５の後は、次の対角線方向で処理を進めるべく、＃１０１へ戻る。一方、＃１０３での判定の結果が否定であれば（＃１０３のＮ）、＃４及び＃５をスキップして、次の対角線方向で処理を進めるべく＃１０１へ戻る。
【００２３】
尚、次の補間画素に対して以上の処理を行う前には、最小値として記憶されている値はクリアされ、また、エッジ候補として記憶されている対角線方向は縦方向（対角線方向Ｈ１）に初期化されるものとする（＃１００）。また、ここまでの処理については、この例では、対角線方向Ｈ１、Ｈ２、Ｈ３の順に進めるようになっているが、３つの対角線方向Ｈ１、Ｈ２、Ｈ３で並列に進めるようにしてもよい。
【００２４】
また、この例では、次の補間画素に対して以上の処理を行う前には、エッジ候補として記憶している対角線方向は対角線方向Ｈ１に初期化されるものとしたが、縦方向のエッジが多い場合には対角線方向Ｈ１に初期化され、右肩上がりの斜め方向のエッジが多い場合には対角線方向Ｈ２に初期化され、左肩上がりの斜め方向のエッジが多い場合には対角線方向Ｈ３に初期化されるというように、取り扱う画像の性質に応じて初期化する対角線方向を決定すればよい。
【００２５】
さて、ある補間画素に対して以上の＃１０１〜＃１０５の処理を終えた時点では、その補間画素に関して２つの隣接画素の差分絶対値が最小となる対角線方向、すなわち、相関が最も強い対角線方向がエッジ候補として記憶されていることになる。
【００２６】
次に、１つの補間画素に対して以上の＃１０１〜＃１０５の処理を終えると、エッジ候補として記憶されている対角線方向に対応する入力画素を用いた所定の演算を行い、その演算結果がエッジ条件を満足するか否かを判定することにより、エッジ候補として記憶されている対角線方向がエッジ方向であるか否かを判定する（＃１０６）。
【００２７】
＃１０６での判定結果が肯定であれば（＃１０６のＹ）、そのまま＃１０８へ移行するが、一方、＃１０６での判定結果が否定であれば（＃１０６のＮ）、エッジ候補として縦方向（対角線方向Ｈ１）を記憶する（＃１０７）。
【００２８】
そして、エッジ候補として記憶されている方向にある２つの隣接原画素の平均値を算出し（＃１０８）、算出された平均値を補間画素の値として補間用メモリ６に記憶する（＃１０９）。尚、２つの隣接画素の差分絶対値が最小となる対角線方向がエッジ方向でない場合は、この例では、対角線方向Ｈ１に補間を行うことになる。以上の＃１０１〜＃１０９までの処理を各補間画素毎に行う。
【００２９】
ここで、＃１０６でのエッジ条件について説明する。図７に示すように、対角線方向Ｈ３に最も強い相関がある場合を例にとって説明する。対角線方向Ｈ３の２つの隣接原画素Ａ（−１）、Ｂ（１）と、隣接原画素Ａ（−１）、Ｂ（１）のそれぞれ左方向に隣接する隣接原画素Ａ（−２）、Ｂ（０）との差分Ａ（−１）−Ａ（−２）、Ｂ（１）−Ｂ（０）の符号（＋、−、または、０）をそれぞれａ、ｃとし、また、対角線方向Ｈ３の２つの隣接原画素Ａ（−１）、Ｂ（１）と、隣接原画素Ａ（−１）、Ｂ（１）のそれぞれ右方向に隣接する原画素Ａ（０）、Ｂ（２）との差分Ａ（−１）−Ａ（０）、Ｂ（１）−Ｂ（２）の符号をそれぞれｂ、ｄとすると、ａ＝ｃまたはｂ＝ｄであることをエッジ条件（以下、このエッジ条件を「第１のエッジ条件」と言う）としている。尚、ａ＝ｃ且つｂ＝ｄをエッジ条件とするようにしてもよい。
【００３０】
尚、＃１０６でのエッジ条件については以下のようにしてもよい。例えば対角線方向Ｈ３に最も強い相関がある場合については、図８に示すように、対角線方向Ｈ３の２つの隣接原画素Ａ（−１）、Ｂ（１）と、隣接原画素Ａ（−１）、Ｂ（１）のそれぞれが補間画素Ｘがあるラインｉを挟んで対向する隣接原画素Ｂ（−１）、Ａ（１）との差分Ａ（−１）−Ｂ（−１）、Ｂ（１）−Ａ（１）の符号（＋、−、または、０）をそれぞれｅ、ｆとすると、ｅ≠ｆであることをエッジ条件（以下、このエッジ条件を「第２のエッジ条件」と言う）としてもよい。
【００３１】
また、例えば対角線方向Ｈ３に最も強い相関がある場合については、図９に示すように、対角線方向Ｈ３の２つの隣接原画素Ａ（−１）、Ｂ（１）の平均値を補間画素Ｘの値とした場合に、補間画素Ｘを垂直方向に挟んで対向する２つの隣接原画素Ａ（０）、Ｂ（０）に対して、Ｘ≒Ａ（０）またはＸ≒Ｂ（０）であることをエッジ条件（以下、このエッジ条件を「第３のエッジ条件」と言う）としてもよい。
【００３２】
また、例えば対角線方向Ｈ３に最も強い相関がある場合については、図１０に示すように、どの対角線方向に相関が強いかに関係なく、補間画素Ｘを挟んで垂直方向に対向する２つの隣接原画素Ａ（０）とＢ（０）との差分絶対値｜Ａ（０）−Ｂ（０）｜が閾値以上であることをエッジ条件（以下、このエッジ条件を「第４のエッジ条件」と言う）としてもよい。
【００３３】
以上のような処理が行われるので、補間画素を１画素ずつ補間するにあたって、最も相関が強い（２つの隣接原画素の差分絶対値が最小となる）対角線方向がエッジ方向であるか否かが判定され、エッジ方向であると判定されてはじめて、その方向で補間が行われるので、相関は強いがエッジ方向ではない方向で補間が行われることによる補間エラーが低減し、補間後の画像の画質、特に細線部分の画質が向上する。
【００３４】
尚、＃１０３での判定結果が肯定となる毎に＃１０６を行うようにしてもよい。このようにすれば、エッジ方向であると判定された対角線方向のうち、最も相関が強い（２つの隣接原画素の差分絶対値が最小となる）方向で補間を行うことになり、同様の効果を得ることができる。
【００３５】
また、上記第１、第２、第３、第４の４つのエッジ条件を複数組み合わせたものを１つのエッジ条件とするようにしてもよい。このようにすれば、相関は強いがエッジ方向ではない方向で補間が行われることによる補間エラーが一層低減し、補間後の画像の画質、特に細線部分の画質が一層向上する。
【００３６】
さて、第１補間部２が以上の＃１０１〜＃１０９の処理を行うことにより、補間画素が１画素ずつ補間されると、第２補間部３が以下の処理を行う。まず、最上段の入力画像ラインに着目する（＃１１０）。次に、着目している入力画像ライン上の左端の入力画素に着目する（＃１１１）。
【００３７】
次に、候補位置として今まで記憶していた位置に替えて着目している画素の位置を記憶する（＃１１２）。次に、符号連続数として今まで記憶していた値に替えて０を記憶する（＃１１３）。次に、着目している入力画素と、着目している入力画素がある入力画像ラインの１つ下の入力画像ライン上にあって、着目している入力画素の真下にある入力画素との差分（以下、「垂直差分」と言う）を求め、求めた垂直差分を＋と−の２種類の符号に符号化する（＃１１４）。
【００３８】
次に、符号連続数が０であるか否かを判定する（＃１１５）。符号連続数が０であれば（＃１１５のＹ）、垂直符号として今まで記憶していた符号に替えて＃１１４で得られた符号を記憶し（＃１１６）、その後、後述する＃１１８へ移行する。一方、符号連続数が０でなければ（＃１１５のＮ）、＃１１４で得られた符号が垂直符号と一致するか否かを判定する（＃１１７）。
【００３９】
＃１１４で得られた符号が垂直符号と一致すれば（＃１１７のＹ）、後述する＃１１８へ移行し、一方、＃１１４で得られた符号が垂直符号と一致しなければ（＃１１７のＮ）、後述する＃１２１へ移行する。
【００４０】
＃１１８では符号連続数として記憶している値を１だけインクリメントする。＃１１８の後は、着目している画素が入力画像ライン上の右端の画素であるか否かを判定する（＃１１９）。着目している入力画素が入力画像ラインの右端の画素であれば（＃１１９のＹ）、後述する＃１２４へ移行する。一方、着目している画素が入力画像ライン上の右端の画素でなければ（＃１１９のＮ）、着目している画素を１つ右へずらし（＃１２０）、その後、＃１１４へ戻る。
【００４１】
＃１２１では、符号連続数が１であるか否かを判定する。符号連続数が１であれば（＃１２１のＹ）、後述する＃１２２へ移行する。一方、符号連続数が１でなければ（＃１２２のＮ）、後述する＃１２４へ移行する。
【００４２】
＃１２２では、着目している画素が入力画像ライン上の右端の画素であるか否かを判定する。着目している入力画素が入力画像ラインの右端の画素であれば（＃１２２のＹ）、着目する入力画像ラインを１つ下へずらし（＃１２３）、その後、＃１１１へ戻る。一方、着目している入力画素が入力画像ラインの右端の画素でなければ（＃１２２のＮ）、＃１１２へ戻る。
【００４３】
＃１２４では、候補位置にある入力画素を左端とする、符号連続数と同数の入力画素がある区間を、今まで記憶していた区間に替えて、垂直区間として記憶する。
【００４４】
ここまでの処理により、ある入力画像ラインＬ上の入力画素の垂直差分の符号が図１４に示すようになる場合は、垂直差分の符号が同じ入力画素が連続する区間ＫＰ１及びＫＰ２が垂直区間として順次検出されることになる。
【００４５】
＃１２４の後は、垂直区間の左端の入力画素に着目する（＃１２５）。次に、候補位置として今まで記憶していた位置に替えて着目している画素の位置を記憶する（＃１２６）。次に、符号連続数として今まで記憶していた値に替えて０を記憶する（＃１２７）。次に、着目している入力画素と、右方向に隣接する入力画素との差分（以下、「水平差分」と言う）を求め、求めた水平差分を＋、−、及び、０の３種類の符号に符号化する（＃１２８）。次に、符号連続数が０であるか否かを判定する（＃１２９）。
【００４６】
符号連続数が０であれば（＃１２９のＹ）、水平符号として今まで記憶していた符号に替えて＃１２８で得られた符号を記憶し（＃１３０）、その後、後述する＃１３２へ移行する。一方、符号連続数が０でなければ（＃１２９のＮ）、＃１２８で得られた符号が水平符号と一致するか否かを判定する（＃１３１）。
【００４７】
＃１２８で得られた符号が水平符号と一致すれば（＃１３１のＹ）、後述する＃１３２へ移行し、一方、＃１２８で得られた符号が水平符号と一致しなければ（＃１３１のＮ）、後述する＃１３６へ移行する。
【００４８】
＃１３２では、符号連続数として記憶している値を１だけインクリメントする。＃１３２の後は、着目している画素が垂直区間の右端の画素であるか否かを判定する（＃１３３）。着目している画素が垂直区間の右端の画素であれば（＃１３３のＹ）、後述する＃１３４へ移行する。一方、着目している画素が垂直区間の右端の画素でなければ（＃１３３のＮ）、着目する画素を１つ右へずらし（＃１３５）、その後、＃１２８へ戻る。
【００４９】
＃１３４では、候補位置にある入力画素を左端とする、符号連続数と同数の入力画素がある区間を新たな水平区間として記憶するとともに、その区間に関するデータを記憶する（＃１３４）。＃１３４の後は、後述する＃１３９へ移行する。尚、区間に関するデータとは、具体的には、その区間に含まれる入力画素の垂直差分の符号及び水平差分の符号、その区間に含まれる入力画素の数、及び、その区間に含まれる入力画素の輝度の平均値もしくは輝度差の平均値である。
【００５０】
＃１３６では、符号連続数が１であるか否かを判定する。符号連続数が１であれば（＃１３６のＹ）、後述する＃１３８へそのまま移行する。一方、符号連続数が１でなければ（＃１３６のＮ）、前述した＃１３４と同じ処理を行い（＃１３７）、その後、後述する＃１３８へ移行する。
【００５１】
＃１３８では、着目している画素が垂直区間内の右端の画素であるか否かを判定する。着目している画素が垂直区間内の右端の画素であれば（＃１３８のＹ）、後述する＃１３９へ移行する。一方、着目している画素が垂直区間内の右端の画素でなければ（＃１３８のＮ）、＃１２６へ戻る。
【００５２】
＃１３９では、着目している画素が入力画像ライン上の右端の画素であるか否かを判定する。着目している画素が入力画像ライン上の右端の画素であれば（＃１３９のＹ）、後述する＃１４０へ移行する。一方、着目している画素が入力画像ライン上の右端の画素でなければ（＃１３９のＮ）、＃１１２へ戻る。
【００５３】
ここまでの処理により、着目しているライン上に垂直区間を検出する度に、その垂直区間内で水平差分の符号が同じ入力画素が連続する区間が水平区間として検出されることになる。尚、垂直区間ＫＰ１及びＫＰ２内の入力画素の水平差分の符号が図１５に示すようになる場合は、区間ＫＨ１、ＫＨ２、及び、ＫＨ３が水平区間として検出される。
【００５４】
＃１４０では、着目している入力画像ラインと、１つ上の入力画像ラインに水平区間があるか否かを判定する。両方のラインに水平区間があれば（＃１４０のＹ）、後述する＃１４１へ移行する。一方、両方のラインに水平区間がなければ（＃１４０のＮ）、後述する＃１４６へ移行する。
【００５５】
＃１４１では、今着目している入力画像ライン上にある水平区間に近似する水平区間を、今着目している入力画像ラインの１つ上の入力画像ライン上の所定の範囲内に検索し、今着目している入力画像ラインとその１つ上の入力画像ラインとの間で近似する水平区間（以下、「パターン近似区間」と言う）があるか否かを判定する。尚、近似するとは、垂直差分の符号及び水平差分の符号が同じであり、含まれる画素の数がほぼ等しく、及び、含まれる画素の輝度の平均値もしくは輝度差の平均値がほぼ等しいという条件を満足することを意味するものとする。
【００５６】
＃１４１の後は、パターン近似区間のそれぞれの中心がなす方向（以下、「パターン近似方向」と言う）を検出する（＃１４２）。例えば、図１６に示すように、入力画像ラインＡの水平区間ＫＡと入力画像ラインＢの水平区間ＫＢとがパターン近似区間である場合は、方向Ｄがパターン近似方向として検出される。
【００５７】
次に、パターン近似区間内に含まれる入力画素（以下、「パターン近似区間内画素」と言う）に関して、パターン近似方向に対向する２つのパターン近似区間内画素の平均値を求める（＃１４３）。次に、パターン近似方向に対向する２つのパターン近似区間内画素の平均値を、これら２つのパターン近似区間内画素によって挟まれる補間画素（以下、「パターンマッチング補間対象画素」と言う）の値とする（＃１４４）。
【００５８】
図１６に示す場合においては、入力画像ラインＡ上の入力画素Ａ３、Ａ４、Ａ５、及び、Ａ６、並びに、入力画像ラインＢ上の入力画素Ｂ７、Ｂ８、Ｂ９、及び、Ｂ１０がパターン近似区間内画素であり、補間ラインｉ上の補間画素ｉ５、ｉ６、ｉ７、ｉ８がそれぞれ２つのパターン近似区間内画素Ａ３とＢ７、Ａ４とＢ８、Ａ５とＢ９、Ａ６とＢ１０によってパターン近似方向Ｄに挟まれるので、補間画素ｉ５、ｉ６、ｉ７、及び、ｉ８がパターンマッチング補間対象画素であり、補間画素ｉ５、ｉ６、ｉ７、ｉ８の値がそれぞれ２つの入力画素Ａ３とＢ７、Ａ４とＢ８、Ａ５とＢ９、Ａ６とＢ１０の平均値となる。
【００５９】
このようにして、第２補間部３が以上の＃１１０〜＃１４４の処理を行うことにより、１つの補間ラインに対してパターンマッチング補間が行われると、第３補間部４が以下の処理を行う。
【００６０】
パターン近似区間内画素が隣接する補間画素のうち、２つのパターン近似区間画素によってパターン近似方向に挟まれない画素（換言すれば、パターンマッチング補間対象画素以外の画素）（以下、「周辺補間画素」と言う）を、該周辺補間画素を挟んで補間ラインに対して垂直な方向にパターン近似区間内画素と対向する入力画素（以下、「パターン対向画素」と言う）の値を用いて補間する（＃１４５−１）。具体的には、パターン対向画素の値を周辺補間画素の値とすることによって補間を行う。
【００６１】
＃１４５−１の処理により、図１６に示す場合においては、パターン近似区間内画素Ａ３、Ａ４、Ａ５、Ａ６、Ｂ７、Ｂ８、Ｂ９、Ｂ１０が隣接する補間画素はそれぞれ補間画素ｉ３、ｉ４、ｉ５、ｉ６、ｉ７、ｉ８、ｉ９、ｉ１０であるので、このうち、パターンマッチング補間対象画素である補間画素ｉ５、ｉ６、ｉ７、及び、ｉ８以外の画素である補間画素ｉ３、ｉ４、ｉ９、及び、ｉ１０が周辺補間画素であり、また、入力画像ラインＢ上の入力画素Ｂ３、Ｂ４、入力画像ラインＡ上の入力画素Ａ９、Ａ１０がそれぞれ周辺補間画素ｉ３、ｉ４、ｉ９、ｉ１０に対応するパターン対向画素であり、補間画素ｉ３、ｉ４、ｉ９、ｉ１０の値がそれぞれ入力画素Ｂ３、Ｂ４、Ａ９、Ａ１０の値となる。
【００６２】
また、例えば、図１６に示す場合においては、補間画素ｉ３、ｉ４の値を入力画素Ｂ３とＢ４の平均値とし、補間画素ｉ９及びｉ１０の値を入力画素Ａ９とＡ１０の平均値とするというように、対応するパターン対向画素と同じライン上にある全てのパターン対向画素の平均値とすることによって、各周辺補間画素の補間を行うようにしてもよい。
【００６３】
また、図１６に示す場合においては、ｘ、ｙをｘ＋ｙ＝１とすると、補間画素ｉ３の値を（ｘ・Ｂ３＋ｙ・Ｂ４）／２、補間画素ｉ４の値を（ｙ・Ｂ３＋ｘ・Ｂ４）／２、補間画素ｉ９の値を（ｙ・Ａ９＋ｘ・Ａ１０）／２、補間画素ｉ８の値を（ｘ・Ａ９＋ｙ・Ａ１０）／２とするというように、対応するパターン対向画素と同じライン上にある全てのパターン対向画素の平均値にその周辺補間画素の位置に応じた重み計数を乗じて得られる値とすることによって、各周辺補間画素の補間を行うようにしてもよい。
【００６４】
＃１４５−１の後は、着目している入力画像ラインが最下段のラインであるか否か判定する（＃１４６）。着目している入力画像ラインが最下段のラインであれば（＃１４６のＹ）、補間を行う処理は終了となる。一方、着目している入力画像ラインが最下段のラインでなければ（＃１４６のＮ）、着目する入力画像ラインを１つ下にずらし（＃１４７）、その後、＃１１１へ戻る。
【００６５】
以上より、本第１実施形態の画像補間装置では、パターンマッチング補間により補間する補間画素の周辺に位置する補間画素についても、周辺の入力画素の値を用いて補間するので、水平方向に近い斜線部分の画質が改善され、補間後の画像として高精細な画像を得ることができる。
【００６６】
本発明の第２実施形態である画像補間装置では、上記第１実施形態である画像補間装置と同一構成であるが、図６に示すフローチャートにおける＃１４５−１の代わりに、第３の補間部４が以下の処理を行う。
【００６７】
図１１のフローチャートに示すように、周辺補間画素を、該周辺補間画素を挟んでパターン近似方向に対向する２つの入力画素（以下、「パターン周辺画素」と言う）の値を用いて補間する（＃１４５−２）。具体的には、対応する２つのパターン周辺画素のどちらか一方の値を周辺補間画素の値とすることによって補間を行う。
【００６８】
＃１４５−２の処理により、図１６に示す場合においては、補間画素ｉ３、ｉ４、ｉ９、ｉ１０の値がそれぞれ入力画素Ａ１とＢ５とのどちらか一方の値、入力画素Ａ２とＢ６とのどちらか一方の値、入力画素Ａ７とＢ１１とのどちらか一方の値、入力画素Ａ８とＢ１２とのどちらか一方の値となる。
【００６９】
また、対応する２つのパターン周辺画素の平均値を周辺補間画素の値とすることによって補間を行うようにしてもよい。このようにすると、図１６に示す場合においては、補間画素ｉ３、ｉ４、ｉ９、ｉ１０の値がそれぞれ入力画素Ａ１とＢ５の平均値、入力画素Ａ２とＢ６の平均値、入力画素Ａ７とＢ１１の平均値、入力画素Ａ８とＢ１２の平均値となる。
【００７０】
以上より、本第２実施形態の画像補間装置では、パターンマッチング補間により補間する補間画素の周辺に位置する補間画素についても、該補間画素を挟んでパターン近似方向に対向する２つの入力画素の値を用いて補間するので、水平方向に近い斜線部分の画質が改善され、補間後の画像として高精細な画像を得ることができる。また、水平方向に近い斜線の周辺にある、その斜線と平行な１画素からなる細線をきれいに再現することができる。
【００７１】
本発明の第３実施形態である画像補間装置では、上記第１実施形態である画像補間装置と同一構成であるが、図６に示すフローチャートにおける＃１４５−１の代わりに、第３の補間部４が以下の処理を行う。
【００７２】
図１２のフローチャートに示すように、まず、各周辺補間画素毎に、対応する２つのパターン周辺画素に相関があるか否かを判定する（＃１４５−３）。具体的には、２つのパターン周辺画素の差分絶対値が閾値よりも小さいときに、その２つのパターン周辺画素に相関があると判定する。あるいは、＃１０６と同様にして、２つのパターン周辺画素がなす方向がエッジ方向であるか否か判定し、エッジ方向であれば、その２つのパターン周辺画素に相関があるとするようにしてもよい。
【００７３】
次に、対応する２つのパターン周辺画素に相関がある周辺補間画素については、その対応する２つのパターン周辺画素の値を用いて補間する（＃１４５−４）。尚、図１３のフローチャートに示すように、対応する２つのパターン周辺画素に相関がない周辺補間画素については、対応するパターン対向画素の値を用いて周辺補間画素を補間するステップ（＃１４５−５）を設けるようにしてもよい。
【００７４】
ここで、上記第２実施形態の画像補間装置では、常にパターン近似方向に周辺補間画素を挟んで対向する２つの入力画素の値を用いてその周辺補間画素を補間するようになっているので、パターンマッチング補間により補間を行う部分とその周辺の部分とが同じ方向にエッジをもっていない場合は、エッジがぼけてしまうという危険性がある。
【００７５】
これに対して、本第３実施形態の画像補間装置では、パターンマッチング補間により補間を行う部分とその周辺の部分とが同じ方向にエッジをもっている場合にのみ、パターン近似方向に周辺補間画素を挟んで対向する２つの入力画素の値を用いてその周辺補間画素を補間するので、水平方向に近い斜線部分の画質が一層改善され、補間後の画像としてより高精細な画像を得ることができる。
【００７６】
尚、上記各実施形態の画像補間装置では、画素の値として、輝度データを用いるようにしてもよいし、原色データや色差データを用いることも可能である。その他には、簡易的な手法として、視感度の最も強いグリーンの絵素の値のみを用いるようにしてもよい。
【００７７】
また、上記各実施形態の画像補間装置は、インターレース画像をプログレッシブ画像に変換するものであるが、本発明はこれに限定されるものではなく、画像を拡大する場合や、低解像度の画像を高解像度の画像に変換する場合などにも適用可能である。
【００７８】
また、上記各実施形態の画像補間装置はライン数を増やすものであるが、ライン上の画素数を増やす場合には、９０゜方向を変えて同じ処理を行うようにすればよい。
【００７９】
また、上記各実施形態の画像補間装置では、補間画素を１画素ずつ補間するに際して、３つの対角線方向の中から補間方向を決定しているが、３つ以上の対角線方向の中から補間方向を決定するようにしてもよい。また、上記各実施形態の画像補間装置にてパターンマッチング補間が行われる処理の流れはあくまでも一例であり、その他の手法でパターンマッチング補間を行った後、周辺補間画素の補間を行うようにしてもよい。
【００８０】
【発明の効果】
以上説明したように、本発明の第１の画像補間装置によれば、パターンマッチング補間により補間する補間画素の周辺に位置する補間画素についても周辺の入力画素の値を用いて補間するので、水平方向に近い斜線部分の画質が改善され、補間後の画像として高精細な画像を得ることができる。
【００８１】
本発明の第２の画像補間装置によれば、パターンマッチング補間により補間する補間画素の周辺に位置する補間画素についても、該補間画素を挟んでパターン近似方向に対向する２つの入力画素の値を用いて補間するので、水平方向に近い斜線部分の画質が改善され、補間後の画像として高精細な画像を得ることができ、また、水平方向に近い斜線の周辺にある、その斜線と平行な１画素からなる細線をきれいに再現することができる。
【００８２】
また、本発明の第３の画像補間装置によれば、パターンマッチング補間により補間を行う部分とその周辺の部分とが同じ方向にエッジをもっている場合にのみ、パターンマッチングにより補間を行う補間画素の周辺に位置する補間画素については、該補間画素を挟んでパターン近似方向に対向する２つの入力画素の値を用いて補間するので、水平方向に近い斜線部分の画質が一層改善され、補間後の画像としてより高精細な画像を得ることができる。
【００８３】
また、本発明の第４の画像補間装置によれば、パターンマッチング補間により補間する補間画素の周辺に位置する補間画素についても周辺の入力画素の値を用いて補間し、特に、パターンマッチング補間により補間を行う部分とその周辺の部分とが同じ方向にエッジをもっている場合には、パターンマッチング補間により補間する補間画素の周辺に位置する補間画素を、該補間画素を挟んでパターン近似方向に対向する２つの入力画素の値を用いて補間するので、水平方向に近い斜線部分の画質が一層改善され、補間後の画像としてより高精細な画像を得ることができる。
【図面の簡単な説明】
【図１】 本発明の第１実施形態である画像補間装置のブロック図である。
【図２】 本発明の第１実施形態である画像補間装置において、補間が行われる流れを示すフローチャートである。
【図３】 本発明の第１実施形態である画像補間装置において、補間が行われる流れを示すフローチャートである。
【図４】 本発明の第１実施形態である画像補間装置において、補間が行われる流れを示すフローチャートである。
【図５】 本発明の第１実施形態である画像補間装置において、補間が行われる流れを示すフローチャートである。
【図６】 本発明の第１実施形態である画像補間装置において、補間が行われる流れを示すフローチャートである。
【図７】 第１のエッジ条件を説明するための図である。
【図８】 第２のエッジ条件を説明するための図である。
【図９】 第３のエッジ条件を説明するための図である。
【図１０】 第４のエッジ条件を説明するための図である。
【図１１】 本発明の第２実施形態である画像補間装置において、補間が行われる流れを示すフローチャートである。
【図１２】 本発明の第３実施形態である画像補間装置において、補間が行われる流れを示すフローチャートである。
【図１３】 本発明の第３実施形態である画像補間装置において、補間が行われる流れを示すフローチャートである。
【図１４】 垂直区間について説明するための図である。
【図１５】 水平区間について説明するための図である。
【図１６】 パターンマッチング補間が行われる部分を示す図である。
【図１７】  本発明の第１実施形態である画像補間装置において、補間が行われる流れを説明するための図である。
【図１】
0003707959.tif 000002
【図２】
0003707959.tif 000003
【図３】
0003707959.tif 000004
【図４】
0003707959.tif 000005
【図５】
0003707959.tif 000006
【図６】
0003707959.tif 000007
【図７】
0003707959.tif 000008
【図８】
0003707959.tif 000009
【図９】
0003707959.tif 000010
【図１０】
0003707959.tif 000011
【図１１】
0003707959.tif 000012
【図１２】
0003707959.tif 000013
【図１３】
0003707959.tif 000014
【図１４】
0003707959.tif 000015
【図１５】
0003707959.tif 000016
【図１６】
0003707959.tif 000017
【図１７】
0003707959.tif 000018