(57)【要約】【課題】斜め方向エッジのジャギが目立たず、かつエッジ鮮鋭度を保ちつつエッジのオーバーシュート／アンダーシュートが発生しないように画像を拡大処理できる画像処理装置、画像処理方法、並びに画像処理プログラムを提供する。【解決手段】入力画像を拡大処理する画像処理装置において、入力画像から注目画素を含む注目領域を抽出する領域抽出部１と、注目領域内の画素の微分値を演算する微分演算部２と、微分値に基づいて注目領域における領域パターンを判定するパターン分類判定部３と、領域パターンおよび微分値に基づいて、注目領域における補間画素の画素値を演算するための補間係数を算出する補間係数算出部４と、補間係数に基づいて補間画素の画素値を算出する補間演算部５と、を有することを特徴とする。【選択図】図１
2008167027.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を拡大処理する画像処理装置において、
前記入力画像から注目画素を含む注目領域を抽出する領域抽出部と、
前記注目領域内の画素の微分値を演算する微分演算部と、
前記微分値に基づいて前記注目領域における領域パターンを判定するパターン分類判定部と、
前記領域パターンおよび前記微分値に基づいて、前記注目領域における補間画素の画素値を演算するための補間係数を算出する補間係数算出部と、
前記補間係数に基づいて前記補間画素の画素値を算出する補間演算部と、
を有することを特徴とする画像処理装置。
【請求項２】
前記微分演算部は、少なくとも４方向の微分値を算出する複数の微分フィルタと、該複数の微分フィルタで算出された複数の微分値の絶対値和である微分絶対値和を算出する微分絶対値和算出部とを有し、
前記パターン分類判定部は、前記複数の微分値および前記微分絶対値和に基づいて、前記注目領域における領域パターンを判定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記微分演算部は、前記注目画素について、前記複数の微分値および前記微分絶対値和を算出することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記微分演算部は、前記注目領域内の全画素について、前記複数の微分値および前記微分絶対値和を算出し、
前記パターン分類判定部は、前記全画素について、対応する前記複数の微分値および前記微分絶対値和に基づいて判定された領域パターンの統計に基づいて、前記注目領域における領域パターンを判定することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記補間係数算出部は、前記補間係数として、前記分類コードに基づいて複数の方向補間フィルタ係数を算出するとともに、前記複数の微分値に基づいて複数の方向毎の角度重み付け係数を算出することを特徴とする請求項２〜４のいずれか一項に記載の画像処理装置。
【請求項６】
前記補間演算部は、前記方向補間フィルタ係数に基づいて前記注目領域における複数の方向補間値を算出するとともに、その算出した複数の方向補間値を、前記角度重み付け係数に基づいて重み付けして、前記注目画素の画素値を輪郭線領域補間値として算出する輪郭線領域補間演算部を有することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
入力画像を拡大処理するにあたり、
前記入力画像から注目画素を含む注目領域を抽出するステップと、
抽出された注目領域内の画素の微分値を演算するステップと、
演算された微分値に基づいて前記注目領域における領域パターンを判定するステップと、
判定された領域パターンおよび演算された微分値に基づいて、前記注目領域における補間画素の画素値を演算するための補間係数を算出するステップと、
算出された補間係数に基づいて前記補間画素の画素値を算出するステップと、
を含むことを特徴とする画像処理方法。
【請求項８】
コンピュータに、
入力画像から注目画素を含む注目領域を抽出する機能と、
抽出された注目領域内の画素の微分値を演算する機能と、
演算された微分値に基づいて前記注目領域における領域パターンを判定する機能と、
判定された領域パターンおよび演算された微分値に基づいて、前記注目領域における補間画素の画素値を演算するための補間係数を算出する機能と、
算出された補間係数に基づいて前記補間画素の画素値を算出して、前記入力画像を拡大する機能と、
を実現させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画素数の少ない画像を拡大して画素数の多い画像に変換する画像処理装置、画像処理方法、並びに画像処理プログラムに関するものである。
【背景技術】
【０００２】
画素数の少ない画像を拡大して画素数の多い画像に変換するには、原画素の画素値を用いて画素を補間する必要がある。その補間方法として、補間画素の画素値を、補間点から最も近傍にある原画素の画素値を用いて代入する最近傍法（ニアレスネイバー法）、補間点の周囲４点（２×２）の原画素値を用いて線形に算出する線形補間法（バイリニア法）、補間点の周囲１６点（４×４）の原画素値を用いて３次関数により算出する双３次補間法（バイキュービック法）、等が知られている。
【０００３】
最近傍法は、処理が単純であることから高速処理が可能であり、また、水平・垂直のエッジを鮮鋭にできるという利点があるが、一方では、画素が単純に拡大されるため、斜め方向エッジがジャギになるという問題がある。
【０００４】
線形補間法は、周囲４点の原画素値の重み付け平均値を補間値として算出するので、平滑化効果により最近傍法のようなジャギを目立たなくすることができる利点があるが、反面、平均値を補間値とするため、エッジの鮮鋭度が低下したり、細かなテクスチャの部分が潰れてしまったり、角度によっては斜め方向エッジのジャギ低減効果が十分得られなかったりするという問題がある。
【０００５】
双３次補間法は、周囲１６点の原画素値の重み付け平均値で、３次関数で近似しているので、線形補間よりもエッジ鮮鋭度が高く、最近傍法のようなジャギが目立たなくなる利点があるが、一方では、エッジにオーバーシュート／アンダーシュートが発生して、エッジの淵に擬似輪郭が発生したり、角度によっては斜め方向のジャギ低減効果が十分でなかったりするという問題がある。
【０００６】
上記の問題解決を図った従来の補間方法として、例えば、入力画像の一部領域の形状を、予め用意された複数の形状パターンとの比較に基づいて判定し、その判定された形状パターンに対応した補間処理で補間を行う方法が提案されている（例えば、特許文献１参照）。
また、他の補間方法として、補間点から最も近傍にある原画素の画素値（近位置画素値）と、原画像の算出対象画素区画内における補間点に応じた補間値との混合比、すなわち複数の補間方法の混合比を、算出対象画素区画付近のコントラスト量に基づいて決定して、補間画素の画素値を算出する方法が提案されている（例えば、特許文献２参照）。
【０００７】
【特許文献１】特開平９−３３１４４７号公報
【特許文献２】特開平１０−３４１３３４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１に開示の補間方法にあっては、パターンマッチングにより入力画像の形状を判定するに際して、最適な形状パターンが存在しない場合には、拡大画像に画質の劣化が発生するという問題がある。また、このような画質劣化を防止しようとすると、あらゆる入力画像の形状に対応しなければならなくなるため、予め用意する形状パターンの種類が限りなく多くなってしまうという問題がある。
【０００９】
また、特許文献２に開示の補間方法にあっては、エッジの存在する領域では、近位置画素値、補間値、コントラスト量を算出するにあたって、相関の低い画素の値が参照されてしまうため、エッジの鮮鋭度の低下が生じるという問題がある。
【００１０】
したがって、かかる点に鑑みてなされた本発明の目的は、斜め方向エッジのジャギが目立たず、かつエッジ鮮鋭度を保ちつつエッジのオーバーシュート／アンダーシュートが発生しないように画像を拡大処理できる画像処理装置、画像処理方法、並びに画像処理プログラムを提供することにある。
【課題を解決するための手段】
【００１１】
上記目的を達成する請求項１に係る画像処理装置の発明は、入力画像を拡大処理する画像処理装置において、
前記入力画像から注目画素を含む注目領域を抽出する領域抽出部と、
前記注目領域内の画素の微分値を演算する微分演算部と、
前記微分値に基づいて前記注目領域における領域パターンを判定するパターン分類判定部と、
前記領域パターンおよび前記微分値に基づいて、前記注目領域における補間画素の画素値を演算するための補間係数を算出する補間係数算出部と、
前記補間係数に基づいて前記補間画素の画素値を算出する補間演算部と、
を有することを特徴とするものである。
【００１２】
請求項２に係る発明は、請求項１に記載の画像処理装置において、
前記微分演算部は、少なくとも４方向の微分値を算出する複数の微分フィルタと、該複数の微分フィルタで算出された複数の微分値の絶対値和である微分絶対値和を算出する微分絶対値和算出部とを有し、
前記パターン分類判定部は、前記複数の微分値および前記微分絶対値和に基づいて、前記注目領域における領域パターンを判定することを特徴とするものである。
【００１３】
請求項３に係る発明は、請求項２に記載の画像処理装置において、
前記微分演算部は、前記注目画素について、前記複数の微分値および前記微分絶対値和を算出することを特徴とするものである。
【００１４】
請求項４に係る発明は、請求項２に記載の画像処理装置において、
前記微分演算部は、前記注目領域内の全画素について、前記複数の微分値および前記微分絶対値和を算出し、
前記パターン分類判定部は、前記全画素について、対応する前記複数の微分値および前記微分絶対値和に基づいて判定された領域パターンの統計に基づいて、前記注目領域における領域パターンを判定することを特徴とするものである。
【００１５】
請求項５に係る発明は、請求項２〜４のいずれか一項に記載の画像処理装置において、
前記補間係数算出部は、前記補間係数として、前記分類コードに基づいて複数の方向補間フィルタ係数を算出するとともに、前記複数の微分値に基づいて複数の方向毎の角度重み付け係数を算出することを特徴とするものである。
【００１６】
請求項６に係る発明は、請求項５に記載の画像処理装置において、
前記補間演算部は、前記方向補間フィルタ係数に基づいて前記注目領域における複数の方向補間値を算出するとともに、その算出した複数の方向補間値を、前記角度重み付け係数に基づいて重み付けして、前記注目画素の画素値を輪郭線領域補間値として算出する輪郭線領域補間演算部を有することを特徴とするものである。
【００１７】
さらに、上記目的を達成する請求項７に係る画像処理方法の発明は、入力画像を拡大処理するにあたり、
前記入力画像から注目画素を含む注目領域を抽出するステップと、
抽出された注目領域内の画素の微分値を演算するステップと、
演算された微分値に基づいて前記注目領域における領域パターンを判定するステップと、
判定された領域パターンおよび演算された微分値に基づいて、前記注目領域における補間画素の画素値を演算するための補間係数を算出するステップと、
算出された補間係数に基づいて前記補間画素の画素値を算出するステップと、
を含むことを特徴とするものである。
【００１８】
さらに、上記目的を達成する請求項８に係る画像処理プログラムの発明は、
コンピュータに、
入力画像から注目画素を含む注目領域を抽出する機能と、
抽出された注目領域内の画素の微分値を演算する機能と、
演算された微分値に基づいて前記注目領域における領域パターンを判定する機能と、
判定された領域パターンおよび演算された微分値に基づいて、前記注目領域における補間画素の画素値を演算するための補間係数を算出する機能と、
算出された補間係数に基づいて前記補間画素の画素値を算出して、前記入力画像を拡大する機能と、
を実現させることを特徴とするものである。
【発明の効果】
【００１９】
本発明によれば、入力画像における注目領域内の画素の微分値に基づいて、注目領域における領域パターンを判定し、その判定された領域パターンおよび微分値に基づいて、注目領域における補間係数を算出して、補間画素の画素値を算出するようにしたので、輪郭線を有する領域パターンを的確に判定して補間処理することができる。したがって、斜め方向エッジのジャギが目立たず、かつエッジ鮮鋭度を保ちつつエッジのオーバーシュート／アンダーシュートが発生しないように入力画像を拡大処理することが可能となる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明の実施の形態について、図を参照して説明する。
【００２１】
（第１実施の形態）
図１乃至図１４は、本発明の第１実施の形態を示すもので、図１は画像処理装置の全体の要部構成を示す機能ブロック図である。本実施の形態に係る画像処理装置は、入力画像の注目画素を含む注目領域を抽出する領域抽出部１と、注目領域の微分値を算出する微分演算部２と、注目画素のパターンを分類するパターン分類判定部３と、補間演算のための補間係数を算出する補間係数算出部４と、補間演算を行う補間演算部５とを有している。
【００２２】
入力画像は、領域抽出部１に入力する。領域抽出部１は、微分演算部２および補間演算部５に接続し、微分演算部２は、パターン分類判定部３および補間係数算出部４に接続する。また、パターン分類判定部３は、補間係数算出部４および補間演算部５に接続し、補間係数算出部４は、補間演算部５に接続して、補間演算部５から出力画像を出力する。
【００２３】
図２は、図１に示す画像処理装置の概略動作を示すフローチャートである。入力画像は、領域抽出部１に、画素単位で順次入力される。領域抽出部１は、メモリを有しており、入力画像の画素データが入力されると、画像拡大処理が可能となる所定ライン分の画素データが揃うまで遅延を行う。画像拡大処理が可能となる所定ライン分の画素データがメモリに格納されると、画像中の（ｘ，ｙ）における注目画素の画素値Ｐ（ｘ，ｙ）と、その周辺の画素位置（ｘ＋ｉ，ｙ＋ｊ）における周辺画素の画素値Ｐ（ｘ＋ｉ，ｙ＋ｊ）とが抽出されて、その抽出された注目画素を含む注目領域が微分演算部２および補間演算部５へ出力する（ステップＳ１）。
【００２４】
微分演算部２は、領域抽出部１で抽出された注目領域内の注目画素における微分値を、微分算出フィルタにより算出し、その算出した微分値をパターン分類判定部３および補間係数算出部４へ出力する（ステップＳ２）。
【００２５】
パターン分類判定部３は、微分演算部２で算出された微分値に基づいて、注目領域が、連続する輪郭線領域、テクスチャ領域、平坦領域のいずれの領域パターンに属するかを判定する。さらに、注目領域が連続する輪郭線領域であると判定された場合には、微分演算部２で算出された微分値に基づいて、輪郭線方向パターンを判定し、この輪郭線方向パターンを含む領域パターンの判定結果から分類コードを決定して、補間係数算出部４および補間演算部５へ出力する（ステップＳ３）。
【００２６】
補間係数算出部４は、微分演算部２で算出された微分値に基づいて、複数の補間フィルタの重み付けを決定する角度重み付け係数を算出するとともに、パターン分類判定部３で決定された領域パターンの分類コードに基づいて、輪郭線に沿って補間処理を行うための複数の角度に対応した複数の補間フィルタ係数を算出し、これら算出した角度重み付け係数および補間フィルタ係数を補間演算部５へ出力する（ステップＳ４）。本実施の形態では、隣接する３種類の角度に対応する３種類の補間フィルタ係数を算出する。
【００２７】
補間演算部５は、輪郭線領域については、補間係数算出部４で算出された複数の補間フィルタ係数と角度重み付け係数とに基づいて輪郭線補間値を算出するとともに（ステップＳ５）、テクスチャ領域についは、予め用意されたテクスチャ補間フィルタ係数により入力画像にフィルタリング処理を行ってテクスチャ補間値を算出し（ステップＳ６）、さらに、平坦領域については、予め用意された平坦補間フィルタ係数により入力画像にフィルタリング処理を行って平坦補間値を算出して（ステップＳ７）、注目領域内の補間画素の画素値を算出する。その後、パターン分類判定部３で決定された分類コードに基づいて、算出した輪郭線補間値、テクスチャ補間値、平坦補間値の補間画素の中から適合するものを一つ選択して、補間画素を有する出力画像として出力し（ステップＳ８）、処理を終了する。
【００２８】
次に、図１に示す画像処理装置の各部の構成および動作について、さらに詳細に説明する。
【００２９】
図３は、図１に示した微分演算部２の要部の構成を示す機能ブロック図である。微分演算部２は、水平微分値算出部２１と、垂直微分値算出部２２と、右上微分値算出部２３と、左上微分値算出部２４と、微分絶対値和算出部２５とを有している。入力画像は、領域抽出部１を介して、水平微分値算出部２１、垂直微分値算出部２２、右上微分値算出部２３、左上微分値算出部２４、にそれぞれ入力する。
【００３０】
水平微分値算出部２１は、下記の（１）式に従って、領域抽出部１で抽出された注目領域内における注目画素の画素値Ｐ（ｘ＋ｉ，ｙ＋ｊ）と、図４（ａ）または図５（ａ）に示す公知の微分フィルタｆｉｌｔｅｒＨ（ｉ，ｊ）との畳み込み演算を行って、水平微分値ＥｄｇｅＨを算出し、その算出した水平微分値ＥｄｇｅＨをパターン分類判定部３および補間係数算出部４へ出力するとともに、微分絶対値和算出部２５へ出力する。
【００３１】
【数１】
2008167027.tif 000003
【００３２】
垂直微分値算出部２２は、下記の（２）式に従って、領域抽出部１で抽出された注目領域内における注目画素の画素値Ｐ（ｘ＋ｉ，ｙ＋ｊ）と、図４（ｂ）または図５（ｂ）に示す公知の微分フィルタｆｉｌｔｅｒＶ（ｉ，ｊ）との畳み込み演算を行って、垂直微分値ＥｄｇｅＶを算出し、その算出した垂直微分値ＥｄｇｅＶをパターン分類判定部３および補間係数算出部４へ出力するとともに、微分絶対値和算出部２５へ出力する。
【００３３】
【数２】
2008167027.tif 000004
【００３４】
右上微分値算出部２３は、下記の（３）式に従って、領域抽出部１で抽出された注目領域内における注目画素の画素値Ｐ（ｘ＋ｉ，ｙ＋ｊ）と、図４（ｃ）または図５（ｃ）に示す公知の微分フィルタｆｉｌｔｅｒＲ（ｉ，ｊ）との畳み込み演算を行って、右上微分値ＥｄｇｅＲを算出し、その算出した右上微分値ＥｄｇｅＲをパターン分類判定部３および補間係数算出部４へ出力するとともに、微分絶対値和算出部２５へ出力する。
【００３５】
【数３】
2008167027.tif 000005
【００３６】
同様に、左上微分値算出部２４は、下記の（４）式に従って、領域抽出部１で抽出された注目領域内における注目画素の画素値Ｐ（ｘ＋ｉ，ｙ＋ｊ）と、図４（ｄ）または図５（ｄ）に示す公知の微分フィルタｆｉｌｔｅｒＬ（ｉ，ｊ）との畳み込み演算を行って、左上微分値ＥｄｇｅＬを算出し、その算出した左上微分値ＥｄｇｅＬをパターン分類判定部３および補間係数算出部４へ出力するとともに、微分絶対値和算出部２５へ出力する。
【００３７】
【数４】
2008167027.tif 000006
【００３８】
また、微分絶対値和算出部２５は、下記の（５）式により、入力された４方向の微分値の絶対値の合計である微分絶対値和ＥｄｇｅＡを算出して、パターン分類判定部３へ出力する。
【００３９】
【数５】
2008167027.tif 000007
【００４０】
このように、微分演算部２では、領域抽出部１で抽出された注目領域内の注目画素に基づいて、微分算出フィルタにより注目画素位置における微分値を算出し、その算出した微分値をパターン分類判定部３および補間係数算出部４へ出力している。これにより、エッジ形状のパターン判別および補間フィルタ係数の重み付けの両方についての処理を、微分値に基づいて制御することが可能となる。
【００４１】
図６は、図１に示したパターン分類判定部３の要部の構成を示す機能ブロック図である。パターン分類判定部３は、正負判定部３１，３２，３３，３４と、パターン決定部３５とを有している。微分演算部２から出力された水平方向微分値、垂直方向微分値、右上方向微分値、左上方向微分値は、正負判定部３１，３２，３３，３４にそれぞれ入力し、微分絶対値和は、パターン決定部３５に入力する。
【００４２】
正負判定部３１は、水平微分算出部２１から出力された水平方向微分値ＥｄｇｅＨの正負を判別し、その結果をパターン決定部３５へ出力する。ここで、水平方向微分値ＥｄｇｅＨは、図７（ａ）に示すように、水平方向エッジの法線方向の濃度勾配ベクトルを表しており、ＥｄｇｅＨが正の場合は、白の矢印で示す上向きの濃度勾配ベクトルを示し、ＥｄｇｅＨが負の場合は、黒の矢印で示す下向きの濃度勾配ベクトルであることを示している。
【００４３】
正負判定部３２は、垂直微分算出部２２から出力された垂直方向微分値ＥｄｇｅＶの正負を判別し、その結果をパターン決定部３５へ出力する。ここで、垂直方向微分値ＥｄｇｅＶは、図７（ｂ）に示すように、垂直方向エッジの法線方向の濃度勾配ベクトルを表しており、ＥｄｇｅＶが正の場合は、白の矢印で示す右向きの濃度勾配ベクトルを示し、ＥｄｇｅＨが負の場合は、黒の矢印で示す左向きの濃度勾配ベクトルであることを示している。
【００４４】
正負判定部３３は、右上微分算出部２３から出力された右上方向微分値ＥｄｇｅＲの正負を判別し、その結果をパターン決定部３５へ出力する。ここで、右上方向微分値ＥｄｇｅＲは、図７（ｃ）に示すように、斜め右上方向エッジの法線方向の濃度勾配ベクトルを表しており、ＥｄｇｅＲが正の場合は、白の矢印で示す斜め左上向きの濃度勾配ベクトルを示し、ＥｄｇｅＨが負の場合は、黒の矢印で示す斜め右下向きの濃度勾配ベクトルであることを示している。
【００４５】
同様に、正負判定部３４は、左上微分算出部２４から出力された左上方向微分値ＥｄｇｅＬの正負を判別し、その結果をパターン決定部３５へ出力する。ここで、左上方向微分値ＥｄｇｅＬは、図７（ｄ）に示すように、斜め左上方向エッジの法線方向の濃度勾配ベクトルを表しており、ＥｄｇｅＬが正の場合は、白の矢印で示す斜め右上向きの濃度勾配ベクトルを示し、ＥｄｇｅＬが負の場合は黒の矢印で示す斜め左下向きの濃度勾配ベクトルであることを示している。
【００４６】
また、パターン決定部３５は、先ず、微分演算部２により算出された微分絶対値和ＥｄｇｅＡに基づいて、注目領域が平坦領域であるかエッジが存在する領域であるかの第１の領域パターンの判定を行う。この第１の判定では、ＥｄｇｅＡが所定の閾値未満である場合には、注目領域は平坦領域であると判定し、ＥｄｇｅＡが所定の閾値以上である場合には、注目領域はエッジが存在する領域であると判定する。
【００４７】
さらに、第１の判定において、注目領域はエッジが存在する領域であると判定された場合には、正負判定部３１，３２，３３，３４により判別された各微分値の正負に基づいて、第２の領域パターンの判定を行う。この第２の判定では、以下に示す０〜７までの条件パターンに適合するかを判定して、注目領域の輪郭線パターンによる領域パターンの分類を行って、図８の概念図に示す分類コードを決定する。
【００４８】
０：（ＥｄｇｅＨ＞０，ＥｄｇｅＶ＞０，ＥｄｇｅＲ＜０，ＥｄｇｅＬ＞０）
１：（ＥｄｇｅＨ＞０，ＥｄｇｅＶ＞０，ＥｄｇｅＲ＞０，ＥｄｇｅＬ＞０）
２：（ＥｄｇｅＨ＞０，ＥｄｇｅＶ＜０，ＥｄｇｅＲ＞０，ＥｄｇｅＬ＞０）
３：（ＥｄｇｅＨ＞０，ＥｄｇｅＶ＜０，ＥｄｇｅＲ＞０，ＥｄｇｅＬ＜０）
４：（ＥｄｇｅＨ＜０，ＥｄｇｅＶ＜０，ＥｄｇｅＲ＞０，ＥｄｇｅＬ＜０）
５：（ＥｄｇｅＨ＜０，ＥｄｇｅＶ＜０，ＥｄｇｅＲ＜０，ＥｄｇｅＬ＜０）
６：（ＥｄｇｅＨ＜０，ＥｄｇｅＶ＞０，ＥｄｇｅＲ＜０，ＥｄｇｅＬ＜０）
７：（ＥｄｇｅＨ＜０，ＥｄｇｅＶ＞０，ＥｄｇｅＲ＜０，ＥｄｇｅＬ＞０）
【００４９】
この第２の判定において、図８に示すように、分類コードが上記０〜７の条件パターンのいずれかに適合する場合は、注目領域はいずれかの方向の輪郭線領域である領域パターンと判定して、適合する分類コードを決定する。これに対し、０〜７のパターンのいずれにも適合しない場合は、注目領域は複雑な形状エッジを持つテクスチャ領域である領域パターンと判定し、分類コードを８と決定する。また、第１の判定において注目領域が平坦領域である領域パターンと判定されている場合は、分類コードを９と決定する。
【００５０】
第１の判定および第２の判定において決定された分類コードは、補間係数算出部４および補間演算部５に出力する。
【００５１】
このように、パターン分類判定部３において、注目領域が平坦領域であるか、複雑な形状のテクスチャ領域であるか、連続する輪郭線領域であるかの領域パターンの判定を行うことにより、補間演算部５において最適な補間処理を選択することが可能となる。また、注目領域が連続する輪郭線領域であった場合には、輪郭線を８方向の領域パターンに分類することで、補間演算部５において輪郭線に沿った補間が可能となる。さらに、領域パターンの判定は、微分絶対値和の閾値処理および各方向微分値の正負判定という比較的簡単な処理により行われるので、処理の高速化やハードウェアの単純化が可能となる。
【００５２】
図９は、図１に示した補間係数算出部４の要部の構成を示す機能ブロック図である。補間係数算出部４は、複数の補間値の重み付けを算出する重み付け係数算出部４１と、複数の補間値を算出するためのフィルタ係数を算出する補間フィルタ係数算出部４２とを有している。重み付け係数算出部４１は、角度係数算出部４３により構成し、補間フィルタ係数算出部４２は、水平／垂直方向補間フィルタ係数ＬＵＴ４４、斜め方向補間フィルタ係数ＬＵＴ４５、中間方向補間フィルタ係数ＬＵＴ４６と、それぞれの補間フィルタ係数を記憶するメモリ４７，４８，４９とを有して構成する。
【００５３】
微分演算部２で算出された水平方向微分値、垂直方向微分値、右上方向微分値、左上方向微分値は、角度係数算出部４３に入力し、パターン分類判定部３で決定された分類コードは、水平／垂直方向補間フィルタ係数ＬＵＴ４４、斜め方向補間フィルタ係数ＬＵＴ４５、中間方向補間フィルタ係数ＬＵＴ４６に入力する。
【００５４】
角度係数算出部４３は、微分演算部２から入力された水平方向微分値ＥｄｇｅＨ、垂直方向微分値ＥｄｇｅＶ、右上方向微分値ＥｄｇｅＲ、左上方向微分値ＥｄｇｅＬに基づいて、下記の（６）式および（７）式に従って、水平垂直エッジ強度ＨＶおよび斜めエッジ強度ＲＬを算出し、その算出結果を角度重み付け係数として補間演算部５に出力する。なお、（６）式および（７）式において、ＨＶおよびＲＬは、０以上の値とし、０より小さくなる場合は０にクリップする。また、ｋは、重み係数を調整するための任意の係数で、階調のビット数や微分絶対値和の大きさなどに基づいて決定する。
【００５５】
【数６】
2008167027.tif 000008
【００５６】
上記（６）式および（７）式から明らかなように、水平垂直エッジ強度ＨＶおよび斜めエッジ強度ＲＬは、水平微分値ＥｄｇｅＨの絶対値｜ＥｄｇｅＨ｜と垂直微分値ＥｄｇｅＶの絶対値｜ＥｄｇｅＶ｜との差と、左上微分値ＥｄｇｅＬの絶対値｜ＥｄｇｅＬ｜と右上微分値ＥｄｇｅＲの絶対値｜ＥｄｇｅＲ｜との差とを比較している。
【００５７】
図１０は、輪郭線の角度に対する各方向の微分値の絶対値の大きさを示すグラフである。グラフ中の実線は｜ＥｄｇｅＨ｜の大きさ、二重線は｜ＥｄｇｅＶ｜の大きさ、点線は｜ＥｄｇｅＲ｜の大きさ、一点鎖線は｜ＥｄｇｅＬ｜の大きさをそれぞれ示している。
【００５８】
図１０から明らかなように、輪郭線の角度が水平方向に近いとき（図１０中の０°および１８０°付近）、｜ＥｄｇｅＨ｜は極大値に近づき、｜ＥｄｇｅＶ｜は極小値に近づくとともに、｜ＥｄｇｅＬ｜と｜ＥｄｇｅＲ｜はほぼ同じ値になる。また、輪郭線の角度が垂直方向に近いとき（図１０中の９０°付近）、｜ＥｄｇｅＶ｜は極大値に近づき、｜ＥｄｇｅＨ｜は極小値に近づくとともに、｜ＥｄｇｅＬ｜と｜ＥｄｇｅＲ｜はほぼ同じ値になる。  したがって、輪郭線の角度が水平方向または垂直方向に近い場合には、｜ＥｄｇｅＨ｜と｜ＥｄｇｅＶ｜との差の絶対値は極大となり、｜ＥｄｇｅＬ｜と｜ＥｄｇｅＲ｜との差の絶対値は０に近い値となるので、上記（６）式に示すＨＶの値は極大となり、上記（７）式に示すＲＬの値は、負の値になるので、０にクリップされる。
【００５９】
輪郭線の角度が右上がりの斜め４５°方向に近いとき（図１０中の４５°付近）、｜ＥｄｇｅＲ｜は極大値に近づき｜ＥｄｇｅＬ｜は極小値に近づくとともに、｜ＥｄｇｅＨ｜と｜ＥｄｇｅＶ｜はほぼ同じ値になる。また、輪郭線の角度が左上がりの斜め４５°方向に近いとき（図１０中の１３５°付近）、｜ＥｄｇｅＬ｜は極大値に近づき、｜ＥｄｇｅＲ｜は極小値に近づくとともに、｜ＥｄｇｅＨ｜と｜ＥｄｇｅＶ｜はほぼ同じ値になる。したがって、輪郭線の角度が右上がりまたは左上がりの斜め４５°方向に近い場合、｜ＥｄｇｅＲ｜と｜ＥｄｇｅＬ｜との差の絶対値は極大となり、｜ＥｄｇｅＨ｜と｜ＥｄｇｅＶ｜との差の絶対値は０に近い値となるので、上記（７）式に示すＲＬは極大となり、上記（６）式に示すＨＶの値は負の値になるので、０にクリップされる。
【００６０】
また、輪郭線の角度が水平／垂直と斜め４５°との中間の方向に近いとき（図１０中の２２．５°，６７．５°，１１２．５°，１５７．５°付近）、｜ＥｄｇｅＨ｜と｜ＥｄｇｅＶ｜との差の絶対値と、｜ＥｄｇｅＲ｜と｜ＥｄｇｅＬ｜との差の絶対値は、ほぼ等しくなるので、上記（６）式に示すＨＶと上記（７）式に示すＲＬとは、ともに０に近い値となる。
【００６１】
一方、水平／垂直方向補間フィルタ係数ＬＵＴ４４、斜め方向補間フィルタ係数ＬＵＴ４５、中間方向補間フィルタ係数ＬＵＴ４６は、パターン分類判定部３で決定された分類コードに基づいて、ルックアップテーブル（ＬＵＴ）を参照して、それぞれ水平／垂直方向補間フィルタ係数ｆｉｌｔｅｒＨＶ（ｉ，ｊ）、斜め方向補間フィルタ係数ｆｉｌｔｅｒＲＬ（ｉ，ｊ）、中間方向補間フィルタ係数ｆｉｌｔｅｒＭｉｄ（ｉ，ｊ）を算出し、それらの補間フィルタ係数を対応するメモリ４７，４８，４９に格納して、補間演算部５に出力する。
【００６２】
ここで、水平／垂直方向補間フィルタ係数ＬＵＴ４４、斜め方向補間フィルタ係数ＬＵＴ４５、中間方向補間フィルタ係数ＬＵＴ４６が参照するルックアップテーブルは、輪郭線に沿って補間処理を行うように補間フィルタ係数があらかじめ定められているテーブルである。例えば、図１１のイメージ図において、白い円で示す注目領域内の原画素の濃度値を使って、黒い円で示す位置に補間画素を生成しようとした場合には、図１２（ａ）に示すような、水平または垂直方向の輪郭線に対応するフィルタ係数の中から、分類コードに適合するｆｉｌｔｅｒＨＶ（ｉ，ｊ）を選択し、図１２（ｂ）に示すような、斜め４５°方向の輪郭線に対応するフィルタ係数の中から、分類コードに適合するｆｉｌｔｅｒＲＬ（ｉ，ｊ）を選択し、図１２（ｃ）に示すような、水平・垂直と斜め４５°との中間の方向の輪郭線に対応するフィルタ係数の中から、分類コードに適合するｆｉｌｔｅｒＭｉｄ（ｉ，ｊ）を選択する。これらのフィルタ係数は、補間画素位置からの距離に基づいて線形に重み付けされるように、予め定義しておく。なお、図１２では、注目領域の右上の位置に補間画素を生成するフィルタを示しているが、フィルタを回転させることにより、左上、左下、右下の位置の補間に対応可能である。
【００６３】
図１３は、図１に示した補間演算部５の要部の構成を示す機能ブロック図である。補間演算部５は、輪郭線領域補間演算部５１と、テクスチャ領域補間演算部５２と、平坦領域補間演算部５３と、補間出力選択部５４とを有して構成する。入力画像は、領域抽出部１を介して輪郭線領域補間演算部５１、テクスチャ領域補間演算部５２、平坦領域補間演算部５３に入力し、補間係数算出部４で算出された３種類の補間フィルタ係数および角度係数は、輪郭線領域補間演算部５１に入力する。これら輪郭線領域補間演算部５１、テクスチャ領域補間演算部５２、平坦領域補間演算部５３の出力は、補間出力選択部５４に入力する。また、パターン分類判定部３で決定された分類コードは、補間出力選択部５４に入力し、この補間出力選択部５４から最終出力値である出力画像を出力する。
【００６４】
輪郭線領域補間演算部５１は、算出された水平／垂直方向補間フィルタ係数ｆｉｌｔｅｒＨＶ（ｉ，ｊ）、斜め方向補間フィルタ係数ｆｉｌｔｅｒＲＬ（ｉ，ｊ）、中間方向補間フィルタ係数ｆｉｌｔｅｒＭｉｄ（ｉ，ｊ）、および角度重み付け係数である水平垂直エッジ強度ＨＶ、斜めエッジ強度ＲＬに基づいて、輪郭線に沿った入力画像の補間処理を行って輪郭線領域補間値を算出し、その算出した輪郭線領域補間値を補間出力選択部５４へ出力する。この輪郭線領域補間演算部５１の更に詳細な構成および動作については、図１４において詳述する。
【００６５】
テクスチャ領域補間演算部５２は、予め定義された補間フィルタによる、テクスチャの細かな構造を保存する公知の補間方法（例えばバイキュービック補間）により補間処理を行ってテクスチャ領域補間値を算出し、その算出したテクスチャ領域補間値を補間出力選択部５４へ出力する。
【００６６】
平坦領域補間演算部５３は、予め定義された補間フィルタによる、単純かつ高速で、平坦領域のノイズの影響を受けにくい公知の補間方法(例えばバイリニア補間)により平坦領域補間値を算出し、その算出した平坦領域補間値を補間出力選択部５４へ出力する。
【００６７】
補間出力選択部５４は、パターン分類判定部３で決定された分類コードに基づいて、注目領域が輪郭線領域である場合は輪郭線領域補間値を選択し、テクスチャ領域である場合はテクスチャ領域補間値を選択し、平坦領域である場合は平坦領域補間値を選択して、最終出力値として出力する。
【００６８】
ここで、補間出力選択部５４は、輪郭線領域補間演算部５１、テクスチャ領域補間演算部５２、平坦領域補間演算部５３の前段に設置してもよい。この場合、補間出力選択部５４は、後述する図１８に示す形態と同様に、パターン分類判定部３で決定された分類コードに基づいて、注目領域が輪郭線領域である場合は輪郭線領域補間演算部５１の処理を選択し、テクスチャ領域である場合はテクスチャ領域補間演算部５２の処理を選択し、平坦領域である場合は平坦領域補間演算部５３の処理を選択し、選択された補間演算部の処理をＯＮに、選択されていない補間演算部の処理をＯＦＦにすることにより、分類コードの示す領域に対応して出力する補間値を選択する。この形態においては、輪郭線領域補間演算部５１、テクスチャ領域補間演算部５２、平坦領域補間演算部５３のうち、選択されていない処理については演算が行われないため、より消費電力を抑えることが可能となる。
【００６９】
次に、図１４を参照して、輪郭線領域補間演算部５１における輪郭線に沿った補間処理の詳細について説明する。
【００７０】
図１４は、輪郭線領域補間演算部５１の要部の構成を示す機能ブロック図である。輪郭線領域補間演算部５１は、畳み込み演算部６１，６２，６３と、重み付け加算部６４とを有して構成する。入力画像は、領域抽出部１を介して畳み込み演算部６１，６２，６３にそれぞれ入力する。補間係数算出部４で算出された水平／垂直方向補間フィルタ係数は、畳み込み演算部６１に入力し、斜め方向補間フィルタ係数は、畳み込み演算部６２に入力し、中間方向フィルタ係数は、畳み込み演算部６３に入力する。これら畳み込み演算部６１，６２，６３の出力は、重み付け加算部６４に入力する。また、補間係数算出部４で算出された角度係数は、重み付け加算部６４に入力し、この重み付け加算部６４から、輪郭線領域補間値を補間出力選択部５４に出力する。
【００７１】
畳み込み演算部６１は、下記の（８）式に従って、水平／垂直方向補間フィルタ係数ＬＵＴ４４から入力された水平／垂直方向補間フィルタ係数ｆｉｌｔｅｒＨＶ（ｉ，ｊ）と、入力画像Ｐ（ｘ＋ｉ，ｙ＋ｊ）との畳み込み演算を行って、水平／垂直補間値ＰＨＶを算出し、その算出した水平／垂直補間値ＰＨＶを重み付け加算部６４へ出力する。
【００７２】
【数７】
2008167027.tif 000009
【００７３】
畳み込み演算部６２は、下記の（９）式に従って、斜め方向補間フィルタ係数ＬＵＴ４５から入力された斜め方向補間フィルタ係数ｆｉｌｔｅｒＲＬ（ｉ，ｊ）と、入力画像Ｐ（ｘ＋ｉ，ｙ＋ｊ）との畳み込み演算を行って、斜め補間値ＰＲＬを算出し、その算出した斜め補間値ＰＲＬを重み付け加算部６４へ出力する。
【００７４】
【数８】
2008167027.tif 000010
【００７５】
畳み込み演算部６３は、下記の（１０）式に従って、中間方向補間フィルタ係数ＬＵＴ４６から入力された中間方向補間フィルタ係数ｆｉｌｔｅｒＭｉｄ（ｉ，ｊ）と、入力画像Ｐ（ｘ＋ｉ，ｙ＋ｊ）との畳み込み演算を行って、中間補間値ＰＭｉｄを算出し、その算出した中間補間値ＰＭｉｄを重み付け加算部６４へ出力する。
【００７６】
【数９】
2008167027.tif 000011
【００７７】
重み付け加算部６４は、補間係数算出部４の角度係数算出部４３より入力された水平垂直エッジ強度ＨＶおよび斜めエッジ強度ＲＬに基づいて、下記の（１１）式に従って、水平／垂直補間値ＰＨＶ、斜め補間値ＰＲＬ、中間補間値ＰＭｉｄの重み付け加算を行って、輪郭線領域補間値Ｐｌｉｎｅを算出し、その算出した輪郭線領域補間値Ｐｌｉｎｅを補間出力選択部５４へ出力する。
【００７８】
【数１０】
2008167027.tif 000012
【００７９】
上記（１１）式から明らかなように、中間補間値ＰＭｉｄにかかる係数は常に１であるのに対して、水平／垂直補間値ＰＨＶの重みは水平垂直エッジ強度ＨＶに比例して大きくなり、斜め補間値ＰＲＬの重みは斜めエッジ強度ＲＬに比例して大きくなる。これは、水平垂直エッジ強度ＨＶが大きい場合、つまり水平／垂直に近い輪郭線に対しては、水平／垂直補間値ＰＨＶの寄与度が大きくなると同時に、中間補間値ＰＭｉｄの寄与度が小さくなることを意味している。また、斜めエッジ強度ＲＬが大きい場合、つまり斜め４５°に近い輪郭線に対しては、斜め補間値ＰＲＬの寄与度が大きくなると同時に、中間補間値ＰＭｉｄの寄与度が小さくなることを意味している。また、水平垂直エッジ強度ＨＶおよび斜めエッジ強度ＲＬの両方が小さい場合、つまり水平／垂直と斜め４５°との中間に近い角度の輪郭線に対しては、中間補間値ＰＭｉｄの寄与度が大きくなることを意味している。
【００８０】
本実施の形態によれば、微分値に基づいて注目画素のパターン分類を行い、輪郭線領域、テクスチャ領域、平坦領域のいずれかに対応する補間方法によって最適な補間値を算出することが可能になる。さらに、輪郭線領域においては、パターン分類の判定結果である分類コードに基づいてフィルタ係数を算出し、輪郭線に沿って相関の低い画素を参照することなく補間処理を行うことにより、輪郭線の鮮鋭度の低下およびジャギを低減するとともに、輪郭線付近のエッジのオーバーシュート・アンダーシュートの発生を防止することができ、高品質な出力画像を得ることが可能となる。
【００８１】
また、輪郭線領域において、３方向に対応する３種類の補間値を、微分値に基づいて重み付け加算することにより、細かい輪郭線の角度の変化に対応した補間処理を行うことが可能となる。例えば、輪郭線の角度が徐々に変わる弧のような形状の輪郭線に対しては、水平／垂直方向補間値、中間方向補間値、斜め４５°方向補間値を、輪郭線の角度の変化に応じて徐々に重み付けを変化して加算するので、パターンの変化による継ぎ目のような不自然な輪郭になるのを防止することができるとともに、ジャギの発生を防止でき、滑らかに輪郭線の補間を行うことが可能となる。
【００８２】
さらに、微分値に基づいてパターン分類、フィルタ係数の算出、重み付け係数の算出を組み合わせて補間処理を行うことにより、比較的単純な方法の組み合わせにより高品質な出力画像を得ることができ、かつ処理速度やハードウェア規模を軽くすることが可能となる。
【００８３】
（第２実施の形態）
図１５および図１６は、本発明の第２実施の形態に係る画像処理装置を説明するための図で、図１５はパターン分類判定部の要部の構成を示す機能ブロック図、図１６はその動作を説明するための図である。
【００８４】
本実施の形態の画像処理装置は、第１実施の形態の画像処理装置において、パターン分類判定部３の構成が異なるものである。したがって、第１実施の形態と同様の構成要素には、同一の参照符号を付して説明を省略し、主として異なる点についてのみ説明する。
【００８５】
本実施の形態では、注目領域のパターン分類判定を行うにあたって、注目画素だけではなく、注目領域内の全ての画素に対してパターン判定を行い、その統計によって注目領域のパターン分類判定の補正処理を行う。このため、図１５に示すように、パターン分類判定部３は、正負判定部３１，３２，３３，３４およびパターン決定部３５を有する第１実施の形態の場合の構成に加えて、メモリ３６およびパターン補正部３７を設ける。
【００８６】
ここで、メモリ３６には、図６で説明した処理と同様にして、パターン決定部３５で決定された分類コードを入力する。本実施の形態では、このパターン決定部３５で決定された分類コードをそのまま順次出力せずにメモリ３６に格納して、注目領域内の全ての画素についての分類コードが揃うまで遅延する。
【００８７】
その後、メモリ３６に注目領域内の全ての画素についての分類コードが格納された時点で、注目領域内の全ての画素についての分類コードをパターン補正部３７へ出力する。パターン補正部３７は、注目領域内の全ての画素についての分類コードの統計から、特徴的なパターンを有する特異点を検出して、注目画素の分類コードの補正処理を行う。
【００８８】
例えば、注目領域内に、図１６（ａ）に示すようなエッジの角部が存在する場合には、注目領域内において、互いに９０°異なる方向を示す分類コードの決定がなされた画素を検出する。また、注目領域内に図１６（ｂ） に示すような細線の端点が存在する場合や、図１６（ｃ）に示すような孤立点が含まれる場合には、注目領域内において１８０°異なる方向（互いに逆向き）を示す分類コードの決定がなされた画素を検出する。また、注目領域内に図１６（ｄ）に示すような複雑な形状のエッジが存在する場合には、注目領域内の各画素の分類コードが連続せず、複雑に変化する。
【００８９】
このような特異点の領域においては、注目画素の値を保持した滑らかな補間処理を行うことが望ましいことから、パターン補正部３７は、特異点が検出された場合には、図８に示す分類コードを８に変更し、テクスチャ領域補間と同様の注目画素の構造を保持する補間処理を行うように、領域パターンの分類判定を補正する。このようにして、パターン補正部３７において、注目領域の分類コードを補正して、補正した分類コードを補間係数算出部４および補間演算部５へ出力する。
【００９０】
本実施の形態によれば、上述した第１実施の形態と同等の効果が得られる他、注目領域内の全ての画素についての分類コードの統計から画像における特異点を検出して、注目領域のパターン分類を補正するようにしたので、パターン分類判定の精度を向上させることができ、コントラストの低下、および画像の構造の変化による画質劣化を、より有効に防止することが可能となる。
【００９１】
（第３実施の形態）
図１７および図１８は、本発明の第３実施の形態に係る画像処理装置を説明するための図で、図１７は補間係数算出部の要部の構成を示す機能ブロック図、図１８は補間演算部の要部の構成を示す機能ブロック図である。本実施の形態において、第１実施の形態と同様の構成要素には、同一の参照符号を付して説明を省略し、主として異なる点についてのみ説明する。
【００９２】
本実施の形態では、補間係数算出部４において、ルックアップテーブルより３種類のフィルタ係数を算出した後、各フィルタ係数を重み付けして合成フィルタ係数を算出し、その算出した合成フィルタ係数を補間演算部５に出力して、畳み込みにより補間値を算出する。
【００９３】
このため、図１７に示すように、補間係数算出部４は、複数の補間値の重み付けを算出する重み付け係数算出部７１と、複数の補間値を算出するためのフィルタ係数を算出する補間フィルタ係数算出部７２と、算出した重み付け係数に基づいて複数のフィルタの重み付け加算を行って合成フィルタ係数を算出するフィルタ合成部７３とを有して構成する。重み付け係数算出部７１は、角度係数算出部４３により構成し、補間フィルタ係数算出部４２は、水平／垂直方向補間フィルタ係数ＬＵＴ４４、斜め方向補間フィルタ係数ＬＵＴ４５および中間方向補間フィルタ係数ＬＵＴ４６を有して構成し、フィルタ合成部７３は、重み付け加算部７４およびメモリ７５を有して構成する。ここで、角度係数算出部４３、水平／垂直方向補間フィルタ係数ＬＵＴ４４、斜め方向補間フィルタ係数ＬＵＴ４５および中間方向補間フィルタ係数ＬＵＴ４６の機能は、図９に示した第１実施の形態と同様である。
【００９４】
微分演算部２で算出された水平方向微分値、垂直方向微分値、右上方向微分値、左上方向微分値は、角度係数算出部４３に入力し、ここで算出された角度重み付け係数は、重み付け加算部７４に入力する。また、パターン分類判定部３で算出された分類コードは、水平／垂直方向補間フィルタ係数ＬＵＴ４４、斜め方向補間フィルタ係数ＬＵＴ４５、中間方向補間フィルタ係数ＬＵＴ４６に入力して、それぞれの補間フィルタ係数を算出し、これら算出された補間フィルタ係数を重み付け加算部７４に入力する。
【００９５】
重み付け加算部７４は、下記の（１２）式に従って、角度係数算出部４３で算出された水平垂直エッジ強度ＨＶおよび斜めエッジ強度ＲＬに基づいて、ルックアップテーブルにより出力された水平／垂直方向補間フィルタ係数ｆｉｌｔｅｒＨＶ（ｉ，ｊ）、斜め方向補間フィルタ係数ｆｉｌｔｅｒＲＬ（ｉ，ｊ）、中間方向補間フィルタ係数ｆｉｌｔｅｒＭｉｄ（ｉ，ｊ）の重み付け加算処理を行って、合成フィルタ係数ｆｉｌｔｅｒＳＹＮ（ｉ，ｊ）を算出し、その算出結果をメモリ７５に記憶して、補間演算部５に出力する。
【００９６】
【数１１】
2008167027.tif 000013
【００９７】
また、図１８に示すように、補間演算部５は、輪郭線領域補間演算部５１と、テクスチャ領域補間演算部５２と、平坦領域補間演算部５３と、補間出力選択部５４とを有して構成する。入力画像は、領域抽出部１を介して輪郭線領域補間演算部５１、テクスチャ領域補間演算部５２、平坦領域補間演算部５３に入力し、図１７に示した補間係数算出部４で算出された輪郭線補間フィルタ係数は、輪郭線領域補間演算部５１に入力する。また、パターン分類判定部３で決定された分類コードは、補間出力選択部５４に入力する。
【００９８】
補間出力選択部５４は、入力された分類コードに基づいて、注目領域が輪郭線領域である場合は輪郭線領域補間演算部５１の処理を選択し、テクスチャ領域である場合はテクスチャ領域補間演算部５２の処理を選択し、平坦領域である場合は平坦領域補間演算部５３の処理を選択して、選択した補間演算部の処理をＯＮ、選択されない補間演算部の処理をＯＦＦに制御することにより、選択した補間処理部の出力を最終の出力画像として出力させる。
【００９９】
ここで、補間出力選択部５４は、輪郭線領域補間演算部５１、テクスチャ領域補間演算部５２、平坦領域補間演算部５３の前段に設置してもよい。この場合、補間出力選択部５４は、前述の図１３に示した形態と同様に、パターン分類判定部３で決定された分類コードに基づいて、注目領域が輪郭線領域である場合は輪郭線領域補間演算部５１より出力される輪郭線領域補間値を選択し、テクスチャ領域である場合はテクスチャ領域補間演算部５２より出力されるテクスチャ領域補間値を選択し、平坦領域である場合は平坦領域補間演算部５３より出力される平坦領域補間値を選択して、最終出力値として出力する。
【０１００】
ここで、輪郭線領域補間演算部５１は、補間出力選択部５４で注目領域が輪郭線領域と判定された場合に、図１７に示した補間係数算出部４で算出された合成フィルタ係数ｆｉｌｔｅｒＳＹＮ（ｉ，ｊ）を用いて、下記の（１３）式に従って、入力画素との畳み込み演算を行って補間値を算出し、この補間値を最終出力値として出力する。
【０１０１】
【数１２】
2008167027.tif 000014
【０１０２】
テクスチャ領域補間演算部５２は、補間出力選択部５４で注目領域がテクスチャ領域と判定された場合に、図１３と同様に、予め定義された補間フィルタによる、テクスチャの細かな構造を保存する公知の補間方法（例えばバイキュービック補間）により補間処理を行ってテクスチャ領域補間値を算出し、その算出したテクスチャ領域補間値を最終出力値として出力する。
【０１０３】
同様に、平坦領域補間演算部５３は、補間出力選択部５４で注目領域が平坦領域と判定された場合に、図１３と同様に、予め定義された補間フィルタによる、単純かつ高速で、平坦領域のノイズの影響を受けにくい公知の補間方法(例えばバイリニア補間)により平坦領域補間値を算出し、その算出した平坦領域補間値を最終出力値として出力する。
【０１０４】
本実施の形態によれば、上述した第１実施の形態と同等の効果が得られる他、補間係数算出部４の処理において、フィルタ係数を格納するために必要なメモリを一つにすることができ、ハードウェア化において規模を縮小することができる。また、輪郭線領域補間処理部５１では、１度の畳み込み演算で補間値を算出することができるので、処理の簡略化が図れる。
【０１０５】
なお、上述した各実施の形態において、領域抽出部１、微分演算部２、パターン分類判定部３、補間係数算出部４および補間演算部５の機能は、コンピュータを用いてプログラムにより実現することもできる。
【図面の簡単な説明】
【０１０６】
【図１】本発明の第１実施の形態に係る画像処理装置の全体の要部構成を示す機能ブロック図である。
【図２】第１実施の形態の概略動作を示すフローチャートである。
【図３】図１に示した微分演算部の要部構成を示す機能ブロック図である。
【図４】図３に示した微分演算部で用いるフィルタ係数の一例を示す図である。
【図５】図３に示した微分演算部で用いるフィルタ係数の他の例を示す図である。
【図６】図１に示したパターン分類判定部の要部構成を示す機能ブロック図である。
【図７】図５に示した微分演算部による方向別微分値が表すベクトルの方向を示す概念図である。
【図８】図６に示したパターン決定部で決定する輪郭方向パターンの分類を示す概念図である。
【図９】図１に示した補間係数算出部の要部の構成を示す機能ブロック図である。
【図１０】図５に示した微分演算部による方向別微分値の輪郭線の角度に対する大きさの変化を示すグラフである。
【図１１】注目領域における原画素と補間画素の位置を示す概念図である。
【図１２】第１実施の形態における補間フィルタ係数の形状テーブルを示す概念図である。
【図１３】図１に示した補間演算部の要部構成を示す機能ブロック図である。
【図１４】図１３に示した輪郭線領域補間演算部の要部構成を示す機能ブロック図である。
【図１５】本発明の第２実施の形態に係る画像処理装置におけるパターン分類判定部の要部構成を示す機能ブロック図である。
【図１６】図１５に示したパターン分類判定部の動作を説明する特異点における画素のパターンを示す概念図である。
【図１７】本発明の第３実施の形態に係る画像処理装置における補間係数算出部の要部構成を示す機能ブロック図である。
【図１８】本発明の第３実施の形態に係る画像処理装置における補間演算部の要部構成を示す機能ブロック図である。
【符号の説明】
【０１０７】
１  領域抽出部
２  微分演算部
３  パターン分類判定部
４  補間係数算出部
５  補間演算部
２１  水平微分値算出部
２２  垂直微分値算出部
２３  右上微分値算出部
２４  左上微分値算出部
２５  微分絶対値和算出部
３１，３２，３３，３４  正負判定部
３５  パターン決定部
３６  メモリ
３７  パターン補正部
４１  重み付け係数算出部
４２  補間フィルタ係数算出部
４３  角度係数算出部
４４  水平／垂直方向補間フィルタ係数ＬＵＴ
４５  斜め方向補間フィルタ係数ＬＵＴ
４６  中間方向補間フィルタ係数ＬＵＴ
４７，４８，４９  メモリ
５１  輪郭線領域補間演算部
５２  テクスチャ領域補間演算部
５３  平坦領域補間演算部
５４  補間出力選択部
６１，６２，６３  畳み込み演算部
６４  重み付け加算部
７１  重み付け係数算出部
７２  補間フィルタ係数算出部
７３  フィルタ合成部
７４  重み付け加算部
７５  メモリ
【図１】
2008167027.tif 000015
【図２】
2008167027.tif 000016
【図３】
2008167027.tif 000017
【図４】
2008167027.tif 000018
【図５】
2008167027.tif 000019
【図６】
2008167027.tif 000020
【図７】
2008167027.tif 000021
【図８】
2008167027.tif 000022
【図９】
2008167027.tif 000023
【図１０】
2008167027.tif 000024
【図１１】
2008167027.tif 000025
【図１２】
2008167027.tif 000026
【図１３】
2008167027.tif 000027
【図１４】
2008167027.tif 000028
【図１５】
2008167027.tif 000029
【図１６】
2008167027.tif 000030
【図１７】
2008167027.tif 000031
【図１８】
2008167027.tif 000032