(57)【要約】【課題】  本発明は、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体に関し、例えば解像度の変換に適用して、丸まった角を尖らせるようにする。【解決手段】  本発明は、画素値の勾配が最も大きなエッジ勾配方向に直交するエッジ方向ｖ２を検出し、このエッジ方向ｖ２の交点ｑに基づいて画素値を補正する。【選択図】        図１
2006251850.tif 000002
【特許請求の範囲】
【請求項１】
入力画像データを処理して出力画像データを出力する画像処理装置において、
前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向と直交するエッジ方向を検出する勾配解析部と、
前記勾配解析部により検出される前記エッジ方向に基づいて、前記出力画像データの各画素毎に、前記エッジ方向の直線と周辺画素の前記エッジ方向の直線との間で交点を検出する交点検出部と、
前記出力画像データの各画素毎に、前記交点検出部で検出される前記交点に応じて、前記入力画像データによる画素値を補正して前記交点の側に角を尖らせる角改善部と、
前記交点の信頼度を検出する信頼度計算部と、
前記信頼度に応じて、前記入力画像データによる画素値を前記角改善部による画素値により補正して前記出力画像データを出力するブレンド部と
を備えることを特徴とする画像処理装置。
【請求項２】
前記角改善部は、
注目画素から対応する前記交点の方向とは逆方向であって、前記注目画素から前記交点の距離だけ離れたサンプリング点の画素値を、前記注目画素の画素値に設定することにより、前記入力画像データによる画素値を補正する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記角改善部は、
注目画素の画素値により前記交点に係るサンプリング点の画素値を設定することにより、前記入力画像データによる画素値を補正する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記信頼度計算部は、
注目画素における交点と、周辺画素で検出される交点との比較により、前記注目画素で検出される交点の信頼度を計算する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記信頼度計算部は、
注目画素における交点と、周辺画素で検出される交点とによる標準偏差により、前記注目画素で検出される交点の信頼度を計算する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記信頼度計算部は、
注目画素より見た、前記注目画素における交点と周辺画素で検出される交点との分布の角度により、前記注目画素で検出される交点の信頼度を計算する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記ブレンド部は、
前記エッジ方向に係る画素値の勾配の分散と前記エッジ勾配方向に係る画素値の勾配の分散との比率に応じて、前記信頼度を補正して重み付け係数を求め、
前記重み付け係数により、前記入力画像データによる画素値と前記角改善部による画素値とを重み付け加算することにより、前記入力画像データによる画素値を前記角改善部による画素値により補正する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記入力画像データの解像度を前記出力画像データの解像度に変換して前記角改善部に出力する解像度変換部を有し、
前記交点検出部は、
前記入力画像データの画素毎に、前記交点を検出した後、該検出結果に基づいて前記解像度変換部から出力される各画素の前記交点を検出することにより、前記出力画像データの各画素毎に、前記交点を検出し、
前記角改善部は、
前記解像度変換部から出力される画像データについて、前記交点の側に角を尖らせる
ことを特徴とする請求項１に記載の画像処理装置。
【請求項９】
入力画像データを処理して出力画像データを出力する画像処理装置において、
それぞれ前記入力画像データを処理して画像データを出力する複数の画像処理部と、
前記複数の画像処理部から出力される前記画像データを合成して前記出力画像データを生成する統合部とを備え、
前記画像処理部は、
前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向と直交するエッジ方向を検出する勾配解析部と、
前記勾配解析部により検出される前記エッジ方向に基づいて、前記出力画像データの各画素毎に、前記エッジ方向の直線と周辺画素の前記エッジ方向の直線との間で交点を検出する交点検出部と、
前記入力画像データの解像度を変換して出力データを出力する解像度変換部と、
前記出力画像データの各画素毎に、前記交点検出部で検出される前記交点に応じて、前記解像度変換部の出力データによる画素値を補正して前記交点の側に角を尖らせる角改善部と、
前記交点の信頼度を検出する信頼度計算部と、
前記信頼度に応じて、前記出力データの画素値を前記角改善部による画素値により補正して前記画像データを出力するブレンド部とを有し、
前記複数の画像処理部は、
前記エッジ方向の検出に供する特性が異なる特性に設定された
ことを特徴とする画像処理装置。
【請求項１０】
前記エッジ検出部は、
処理対象の画素を中心とした一定範囲の画素値を微分して、前記エッジ方向を検出し、
前記複数の画像処理部は、
前記エッジ検出部における前記画素値の微分に供する微分演算子が異なるように設定されて、前記エッジ方向の検出に供する特性が異なる特性に設定された
ことを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記エッジ検出部は、
処理対象の画素を中心とした一定範囲の画素値を微分して、前記エッジ方向を検出し、
前記複数の画像処理部は、
前記エッジ検出部における前記一定範囲が異なる範囲に設定されて、前記エッジ方向の検出に供する特性が異なる特性に設定された
ことを特徴とする請求項９に記載の画像処理装置。
【請求項１２】
入力画像データを処理して出力画像データを出力する画像処理方法において、
前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向と直交するエッジ方向を検出する勾配解析のステップと、
前記勾配解析のステップにより検出される前記エッジ方向に基づいて、前記出力画像データの各画素毎に、前記エッジ方向の直線と周辺画素の前記エッジ方向の直線との間で交点を検出する交点検出のステップと、
前記出力画像データの各画素毎に、前記交点検出のステップで検出される前記交点に応じて、前記入力画像データによる画素値を補正して前記交点の側に角を尖らせる角改善のステップと、
前記交点の信頼度を検出する信頼度計算のステップと、
前記信頼度に応じて、前記入力画像データによる画素値を前記角改善のステップによる画素値により補正して前記出力画像データを出力するブレンドのステップと
を有することを特徴とする画像処理方法。
【請求項１３】
入力画像データを処理して出力画像データを出力する画像処理方法において、
それぞれ前記入力画像データを処理して画像データを出力する複数の画像処理のステップと、
前記複数の画像処理のステップから出力される前記画像データを合成して前記出力画像データを生成する統合のステップとを備え、
前記画像処理のステップは、
前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向と直交するエッジ方向を検出する勾配解析のステップと、
前記勾配解析のステップにより検出される前記エッジ方向に基づいて、前記出力画像データの各画素毎に、前記エッジ方向の直線と周辺画素の前記エッジ方向の直線との間で交点を検出する交点検出のステップと、
前記入力画像データの解像度を変換して出力データを出力する解像度変換のステップと、
前記出力画像データの各画素毎に、前記交点検出のステップで検出される前記交点に応じて、前記解像度変換のステップの出力データによる画素値を補正して前記交点の側に角を尖らせる角改善のステップと、
前記交点の信頼度を検出する信頼度計算のステップと、
前記信頼度に応じて、前記出力データの画素値を前記角改善のステップによる画素値により補正して前記画像データを出力するブレンドのステップとを有し、
前記複数の画像処理のステップは、
前記エッジ方向の検出に供する特性が異なる特性に設定された
ことを特徴とする画像処理方法。
【請求項１４】
演算処理手段による実行により、入力画像データを処理して出力画像データを出力する画像処理方法のプログラムにおいて、
前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向と直交するエッジ方向を検出する勾配解析のステップと、
前記勾配解析のステップにより検出される前記エッジ方向に基づいて、前記出力画像データの各画素毎に、前記エッジ方向の直線と周辺画素の前記エッジ方向の直線との間で交点を検出する交点検出のステップと、
前記出力画像データの各画素毎に、前記交点検出のステップで検出される前記交点に応じて、前記入力画像データによる画素値を補正して前記交点の側に角を尖らせる角改善のステップと、
前記交点の信頼度を検出する信頼度計算のステップと、
前記信頼度に応じて、前記入力画像データによる画素値を前記角改善のステップによる画素値により補正して前記出力画像データを出力するブレンドのステップと
を有することを特徴とする画像処理方法のプログラム。
【請求項１５】
演算処理手段による実行により、入力画像データを処理して出力画像データを出力する画像処理方法のプログラムにおいて、
それぞれ前記入力画像データを処理して画像データを出力する複数の画像処理のステップと、
前記複数の画像処理のステップから出力される前記画像データを合成して前記出力画像データを生成する統合のステップとを備え、
前記画像処理のステップは、
前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向と直交するエッジ方向を検出する勾配解析のステップと、
前記勾配解析のステップにより検出される前記エッジ方向に基づいて、前記出力画像データの各画素毎に、前記エッジ方向の直線と周辺画素の前記エッジ方向の直線との間で交点を検出する交点検出のステップと、
前記入力画像データの解像度を変換して出力データを出力する解像度変換のステップと、
前記出力画像データの各画素毎に、前記交点検出のステップで検出される前記交点に応じて、前記解像度変換のステップの出力データによる画素値を補正して前記交点の側に角を尖らせる角改善のステップと、
前記交点の信頼度を検出する信頼度計算のステップと、
前記信頼度に応じて、前記出力データの画素値を前記角改善のステップによる画素値により補正して前記画像データを出力するブレンドのステップとを有し、
前記複数の画像処理のステップは、
前記エッジ方向の検出に供する特性が異なる特性に設定された
ことを特徴とする画像処理方法のプログラム。
【請求項１６】
演算処理手段による実行により、入力画像データを処理して出力画像データを出力する画像処理方法のプログラムを記録した記録媒体において、
前記画像処理方法のプログラムは、
前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向と直交するエッジ方向を検出する勾配解析のステップと、
前記勾配解析のステップにより検出される前記エッジ方向に基づいて、前記出力画像データの各画素毎に、前記エッジ方向の直線と周辺画素の前記エッジ方向の直線との間で交点を検出する交点検出のステップと、
前記出力画像データの各画素毎に、前記交点検出のステップで検出される前記交点に応じて、前記入力画像データによる画素値を補正して前記交点の側に角を尖らせる角改善のステップと、
前記交点の信頼度を検出する信頼度計算のステップと、
前記信頼度に応じて、前記入力画像データによる画素値を前記角改善のステップによる画素値により補正して前記出力画像データを出力するブレンドのステップと
を有することを特徴とする画像処理方法のプログラムを記録した記録媒体。
【請求項１７】
演算処理手段による実行により、入力画像データを処理して出力画像データを出力する画像処理方法のプログラムを記録した記録媒体において、
前記画像処理方法のプログラムは、
それぞれ前記入力画像データを処理して画像データを出力する複数の画像処理のステップと、
前記複数の画像処理のステップから出力される前記画像データを合成して前記出力画像データを生成する統合のステップとを備え、
前記画像処理のステップは、
前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向と直交するエッジ方向を検出する勾配解析のステップと、
前記勾配解析のステップにより検出される前記エッジ方向に基づいて、前記出力画像データの各画素毎に、前記エッジ方向の直線と周辺画素の前記エッジ方向の直線との間で交点を検出する交点検出のステップと、
前記入力画像データの解像度を変換して出力データを出力する解像度変換のステップと、
前記出力画像データの各画素毎に、前記交点検出のステップで検出される前記交点に応じて、前記解像度変換のステップの出力データによる画素値を補正して前記交点の側に角を尖らせる角改善のステップと、
前記交点の信頼度を検出する信頼度計算のステップと、
前記信頼度に応じて、前記出力データの画素値を前記角改善のステップによる画素値により補正して前記画像データを出力するブレンドのステップとを有し、
前記複数の画像処理のステップは、
前記エッジ方向の検出に供する特性が異なる特性に設定された
ことを特徴とする画像処理方法のプログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体に関し、例えば解像度の変換に適用することができる。本発明は、画素値の勾配が最も大きなエッジ勾配方向に直交するエッジ方向を検出し、このエッジ方向の交点に基づいて画素値を補正することにより、丸まった角を尖らせることができるようにする。
【背景技術】
【０００２】
従来、画像処理においては、例えば線型補間処理、バイキュービック変換処理により、画像を拡大、縮小するようになされており、例えば特開２００３−２２４７１５号公報には、このような画像処理を簡易な構成により実行する方法が提案されている。またこのような画像処理のうち、画像の拡大においては、高域強調、エンハンス等の処理により、いわゆるぼけを低減するようになされている。
【０００３】
しかしながら従来手法により画像を拡大する場合、元の画像では尖った角が丸まってしまい、これら高域強調、エンハンス等の処理を実行しても、このような丸まった角については元に戻すことが困難であり、結局、画質が劣化する問題がある。
【特許文献１】特開２００３−２２４７１５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明は以上の点を考慮してなされたもので、丸まった角を尖らせることができる画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体を提案しようとするものである。
【課題を解決するための手段】
【０００５】
かかる課題を解決するため請求項１の発明においては、入力画像データを処理して出力画像データを出力する画像処理装置に適用して、前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向と直交するエッジ方向を検出する勾配解析部と、前記勾配解析部により検出される前記エッジ方向に基づいて、前記出力画像データの各画素毎に、前記エッジ方向の直線と周辺画素の前記エッジ方向の直線との間で交点を検出する交点検出部と、前記出力画像データの各画素毎に、前記交点検出部で検出される前記交点に応じて、前記入力画像データによる画素値を補正して前記交点の側に角を尖らせる角改善部と、前記交点の信頼度を検出する信頼度計算部と、前記信頼度に応じて、前記入力画像データによる画素値を前記角改善部による画素値により補正して前記出力画像データを出力するブレンド部とを備えるようにする。
【０００６】
また請求項９の発明においては、入力画像データを処理して出力画像データを出力する画像処理装置に適用して、それぞれ前記入力画像データを処理して画像データを出力する複数の画像処理部と、前記複数の画像処理部から出力される前記画像データを合成して前記出力画像データを生成する統合部とを備え、前記画像処理部は、前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向と直交するエッジ方向を検出する勾配解析部と、前記勾配解析部により検出される前記エッジ方向に基づいて、前記出力画像データの各画素毎に、前記エッジ方向の直線と周辺画素の前記エッジ方向の直線との間で交点を検出する交点検出部と、前記入力画像データの解像度を変換して出力データを出力する解像度変換部と、前記出力画像データの各画素毎に、前記交点検出部で検出される前記交点に応じて、前記解像度変換部の出力データによる画素値を補正して前記交点の側に角を尖らせる角改善部と、前記交点の信頼度を検出する信頼度計算部と、前記信頼度に応じて、前記出力データの画素値を前記角改善部による画素値により補正して前記画像データを出力するブレンド部とを有し、前記複数の画像処理部は、前記エッジ方向の検出に供する特性が異なる特性に設定されているようにする。
【０００７】
また請求項１２の発明においては、入力画像データを処理して出力画像データを出力する画像処理方法に適用して、前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向と直交するエッジ方向を検出する勾配解析のステップと、前記勾配解析のステップにより検出される前記エッジ方向に基づいて、前記出力画像データの各画素毎に、前記エッジ方向の直線と周辺画素の前記エッジ方向の直線との間で交点を検出する交点検出のステップと、前記出力画像データの各画素毎に、前記交点検出のステップで検出される前記交点に応じて、前記入力画像データによる画素値を補正して前記交点の側に角を尖らせる角改善のステップと、前記交点の信頼度を検出する信頼度計算のステップと、前記信頼度に応じて、前記入力画像データによる画素値を前記角改善のステップによる画素値により補正して前記出力画像データを出力するブレンドのステップとを有するようにする。
【０００８】
また請求項１３の発明においては、入力画像データを処理して出力画像データを出力する画像処理方法に適用して、それぞれ前記入力画像データを処理して画像データを出力する複数の画像処理のステップと、前記複数の画像処理のステップから出力される前記画像データを合成して前記出力画像データを生成する統合のステップとを備え、前記画像処理のステップは、前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向と直交するエッジ方向を検出する勾配解析のステップと、前記勾配解析のステップにより検出される前記エッジ方向に基づいて、前記出力画像データの各画素毎に、前記エッジ方向の直線と周辺画素の前記エッジ方向の直線との間で交点を検出する交点検出のステップと、前記入力画像データの解像度を変換して出力データを出力する解像度変換のステップと、前記出力画像データの各画素毎に、前記交点検出のステップで検出される前記交点に応じて、前記解像度変換のステップの出力データによる画素値を補正して前記交点の側に角を尖らせる角改善のステップと、前記交点の信頼度を検出する信頼度計算のステップと、前記信頼度に応じて、前記出力データの画素値を前記角改善のステップによる画素値により補正して前記画像データを出力するブレンドのステップとを有し、前記複数の画像処理のステップは、前記エッジ方向の検出に供する特性が異なる特性に設定されているようにする。
【０００９】
また請求項１４の発明においては、演算処理手段による実行により、入力画像データを処理して出力画像データを出力する画像処理方法のプログラムに適用して、前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向と直交するエッジ方向を検出する勾配解析のステップと、前記勾配解析のステップにより検出される前記エッジ方向に基づいて、前記出力画像データの各画素毎に、前記エッジ方向の直線と周辺画素の前記エッジ方向の直線との間で交点を検出する交点検出のステップと、前記出力画像データの各画素毎に、前記交点検出のステップで検出される前記交点に応じて、前記入力画像データによる画素値を補正して前記交点の側に角を尖らせる角改善のステップと、前記交点の信頼度を検出する信頼度計算のステップと、前記信頼度に応じて、前記入力画像データによる画素値を前記角改善のステップによる画素値により補正して前記出力画像データを出力するブレンドのステップとを有するようにする。
【００１０】
また請求項１５の発明においては、演算処理手段による実行により、入力画像データを処理して出力画像データを出力する画像処理方法のプログラムに適用して、それぞれ前記入力画像データを処理して画像データを出力する複数の画像処理のステップと、前記複数の画像処理のステップから出力される前記画像データを合成して前記出力画像データを生成する統合のステップとを備え、前記画像処理のステップは、前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向と直交するエッジ方向を検出する勾配解析のステップと、前記勾配解析のステップにより検出される前記エッジ方向に基づいて、前記出力画像データの各画素毎に、前記エッジ方向の直線と周辺画素の前記エッジ方向の直線との間で交点を検出する交点検出のステップと、前記入力画像データの解像度を変換して出力データを出力する解像度変換のステップと、前記出力画像データの各画素毎に、前記交点検出のステップで検出される前記交点に応じて、前記解像度変換のステップの出力データによる画素値を補正して前記交点の側に角を尖らせる角改善のステップと、前記交点の信頼度を検出する信頼度計算のステップと、前記信頼度に応じて、前記出力データの画素値を前記角改善のステップによる画素値により補正して前記画像データを出力するブレンドのステップとを有し、前記複数の画像処理のステップは、前記エッジ方向の検出に供する特性が異なる特性に設定されているようにする。
【００１１】
また請求項１６の発明においては、演算処理手段による実行により、入力画像データを処理して出力画像データを出力する画像処理方法のプログラムを記録した記録媒体に適用して、前記画像処理方法のプログラムは、前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向と直交するエッジ方向を検出する勾配解析のステップと、前記勾配解析のステップにより検出される前記エッジ方向に基づいて、前記出力画像データの各画素毎に、前記エッジ方向の直線と周辺画素の前記エッジ方向の直線との間で交点を検出する交点検出のステップと、前記出力画像データの各画素毎に、前記交点検出のステップで検出される前記交点に応じて、前記入力画像データによる画素値を補正して前記交点の側に角を尖らせる角改善のステップと、前記交点の信頼度を検出する信頼度計算のステップと、前記信頼度に応じて、前記入力画像データによる画素値を前記角改善のステップによる画素値により補正して前記出力画像データを出力するブレンドのステップとを有するようにする。
【００１２】
また請求項１７の発明においては、演算処理手段による実行により、入力画像データを処理して出力画像データを出力する画像処理方法のプログラム記録した記録媒体に適用して、前記画像処理方法のプログラムは、それぞれ前記入力画像データを処理して画像データを出力する複数の画像処理のステップと、前記複数の画像処理のステップから出力される前記画像データを合成して前記出力画像データを生成する統合のステップとを備え、前記画像処理のステップは、前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向と直交するエッジ方向を検出する勾配解析のステップと、前記勾配解析のステップにより検出される前記エッジ方向に基づいて、前記出力画像データの各画素毎に、前記エッジ方向の直線と周辺画素の前記エッジ方向の直線との間で交点を検出する交点検出のステップと、前記入力画像データの解像度を変換して出力データを出力する解像度変換のステップと、前記出力画像データの各画素毎に、前記交点検出のステップで検出される前記交点に応じて、前記解像度変換のステップの出力データによる画素値を補正して前記交点の側に角を尖らせる角改善のステップと、前記交点の信頼度を検出する信頼度計算のステップと、前記信頼度に応じて、前記出力データの画素値を前記角改善のステップによる画素値により補正して前記画像データを出力するブレンドのステップとを有し、前記複数の画像処理のステップは、前記エッジ方向の検出に供する特性が異なる特性に設定されているようにする。
【００１３】
請求項１の構成により、入力画像データを処理して出力画像データを出力する画像処理装置に適用して、前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向と直交するエッジ方向を検出する勾配解析部と、前記勾配解析部により検出される前記エッジ方向に基づいて、前記出力画像データの各画素毎に、前記エッジ方向の直線と周辺画素の前記エッジ方向の直線との間で交点を検出する交点検出部と、前記出力画像データの各画素毎に、前記交点検出部で検出される前記交点に応じて、前記入力画像データによる画素値を補正して前記交点の側に角を尖らせる角改善部と、前記交点の信頼度を検出する信頼度計算部と、前記信頼度に応じて、前記入力画像データによる画素値を前記角改善部による画素値により補正して前記出力画像データを出力するブレンド部とを備えるようにすれば、エッジ方向により検出される交点により角の頂点を検出して、この頂点に向かって角が尖るように画素値を補正することができる。また信頼度を検出してこのような処理結果により画素値を補正して画像データを出力することにより、角であることが確からしくない箇所については、元の入力画像データによる画素値により出力画像データを出力することができ、これにより違和感無く角を尖らせて、画質を向上することができる。
【００１４】
またこれにより請求項９の構成によれば、入力画像データを処理して出力画像データを出力する画像処理装置に適用して、それぞれ前記入力画像データを処理して画像データを出力する複数の画像処理部と、前記複数の画像処理部から出力される前記画像データを合成して前記出力画像データを生成する統合部とを備え、前記画像処理部は、前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向と直交するエッジ方向を検出する勾配解析部と、前記勾配解析部により検出される前記エッジ方向に基づいて、前記出力画像データの各画素毎に、前記エッジ方向の直線と周辺画素の前記エッジ方向の直線との間で交点を検出する交点検出部と、前記入力画像データの解像度を変換して出力データを出力する解像度変換部と、前記出力画像データの各画素毎に、前記交点検出部で検出される前記交点に応じて、前記解像度変換部の出力データによる画素値を補正して前記交点の側に角を尖らせる角改善部と、前記交点の信頼度を検出する信頼度計算部と、前記信頼度に応じて、前記出力データの画素値を前記角改善部による画素値により補正して前記画像データを出力するブレンド部とを有することにより、この各画像処理部において、違和感無く角を尖らせて、画質を向上することができる。またこのように構成して、前記複数の画像処理部は、前記エッジ方向の検出に供する特性が異なる特性に設定されていることにより、１つの画像処理部でエッジ方向を検出できない場合、誤り検出した場合等であっても、他の画像処理部では、エッジ方向を正しく検出することができ、これにより確実に、画質を向上することができる。
【００１５】
これにより請求項１２、請求項１４、請求項１６の構成によれば、違和感無く角を尖らせて、画質を向上することができる画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体を提供することができる。
【００１６】
また請求項１３、請求項１５、請求項１７の構成によれば、違和感無く角を尖らせて、確実に、画質を向上することができる画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体を提供することができる。
【発明の効果】
【００１７】
本発明によれば、違和感無く角を尖らせて、画質を向上することができる。
【発明を実施するための最良の形態】
【００１８】
以下、適宜図面を参照しながら本発明の実施例を詳述する。
【実施例１】
【００１９】
（１）実施例１の構成
図１は、本発明の実施例に係る画像処理装置を示す機能ブロック図である。この画像処理装置１は、演算処理手段である例えばディジタルシグナルプロセッサにより形成され、この演算処理手段により所定の処理プログラムを実行することにより、入力画像データＳ１を画像処理して出力画像データＳ３を表示手段等に出力する。
【００２０】
なおこの実施例において、この演算処理手段に係る処理プログラムにおいては、この画像処理装置１にプリインストールされて提供されるようになされているものの、このような処理プログラムの提供にあっては、例えばインターネット等によるネットワークを介したダウンロードにより提供するようにしてもよく、さらには種々の記録媒体を介して提供するようにしてもよい。なおこのような記録媒体においては、光ディスク、メモリカード、着脱可能なハードディスク装置等、種々の記録媒体に広く適用することができる。
【００２１】
この画像処理装置１において、勾配解析部２は、入力画像データＳ１の各画素毎に、画素値の勾配が最も大きなエッジ勾配方向、このエッジ勾配方向と直交するエッジ方向を検出する。勾配解析部２は、例えばラスタ走査順に順次注目画素を切り換え、図２に示すように、この注目画素を中心とした範囲Ｗにおける画素値を用いた演算処理により、次式により表される輝度勾配の行列Ｇを各画素毎に生成する。なおここで図２は、注目画素を中心にしたｘ方向及びｙ方向の±３画素をこの範囲Ｗに設定した例である。
【００２２】
【数１】
2006251850.tif 000003
【００２３】
ここでｗ(i,j) は、（２）式により表されるガウス型の重みであり、ｇは、画像輝度Ｉのｘ方向の偏微分ｇx と、画像輝度Ｉのｙ方向の偏微分ｇy とにより（３）式で表される輝度勾配である。
【００２４】
【数２】
2006251850.tif 000004
【００２５】
【数３】
2006251850.tif 000005
【００２６】
これにより勾配解析部２は、注目画素を中心とした所定範囲Ｗについて、注目画素を基準にして重み付け処理してなる画素値の勾配を検出する。
【００２７】
勾配解析部２は、この輝度勾配の行列Ｇを処理することにより、図３に示すように、注目画素において、画素値の勾配が最も大きい方向であるエッジ勾配方向ｖ１、このエッジ勾配方向ｖ１に直交する方向であるエッジ方向ｖ２を検出する。またこれらエッジ勾配方向ｖ１、エッジ方向ｖ２について、それぞれ画素値の勾配の分散を示す固有値λ１、λ２を検出する。
【００２８】
具体的に、勾配解析部２は、次式の演算処理により、エッジ勾配方向ｖ１、エッジ方向ｖ２、固有値λ１、λ２（λ１≧λ２）を検出する。
【００２９】
【数４】
2006251850.tif 000006
【００３０】
【数５】
2006251850.tif 000007
【００３１】
【数６】
2006251850.tif 000008
【００３２】
【数７】
2006251850.tif 000009
【００３３】
但し、ａは、次式による。
【００３４】
【数８】
2006251850.tif 000010
【００３５】
交点検出部３は、勾配解析部２で検出されたエッジ方向ｖ２を用いてエッジが交差している交点を検出することにより、角の頂点を検出する。ここでこの交点をｑi と置き、画素ｐiで求められるエッジ方向をｖiと置くと、交点ｑiにあっては、画素ｐiを通るｖi方向の直線上に位置することにより、これらｐi、ｑiをそれぞれ交点及び画素の座標値とし、変数をｔとおいて、次式の関係式を得ることができる。
【００３６】
【数９】
2006251850.tif 000011
【００３７】
またこの（９）式をｘｙ座標表記により表せば、次式の関係式を得ることができる。なおここでこの（１０）式では、ｘ座標成分及びｙ座標成分をそれぞれ符号ｘ及びｙのサフィックスにより示す。
【００３８】
【数１０】
2006251850.tif 000012
【００３９】
ここで交点ｑiにあっては、この（１０）式の関係式で求められる複数の直線の交点であり、これにより交点検出部３は、図４に示すように、注目画素を中心にした一定範囲で検出されるエッジ方向ｖiを用いて、次式の演算処理を実行することにより、これら一定範囲の各画素による（１０）式の関係式を連立方程式により解き、交点ｑを検出する。これらにより交点検出部３は、勾配解析部２により検出されるエッジ方向ｖ２に基づいて、出力画像データＳ３の各画素毎に、エッジ方向ｖ２の直線と周辺画素のエッジ方向ｖ２の直線との間で交点ｑを検出する。
【００４０】
【数１１】
2006251850.tif 000013
【００４１】
なおここでエッジ方向ｖ２の画素値の勾配の分散を示す固有値λ１が小さい場合、エッジの信頼度が低いと言える。これにより固有値λ１が小さい注目画素、周辺画素で検出されるエッジ方向ｖ２については、（１１）式の演算処理に使用しないようにしてもよい。またこの一定範囲で検出されるエッジ方向が平行に近い場合、交点ｑにあっては、注目画素から遠く離れた位置で検出される。ここでこの実施例では、交点ｑまでの距離｜ｑ｜を基準にして画素値を設定して丸まった角を尖らせることにより、あまりに距離が大きくなると、誤って画素値を設定する恐れがある。これにより図５に示すように、注目画素から交点までの距離｜ｑ｜が一定値ｎｍｉｎ以下の場合、値１であって、距離｜ｑ｜が大きくなるに従って徐々に値が低下して値０となるパラメータｋを設定し、このパラメータｋを用いて、次式の演算処理を実行することにより、注目画素に近づくように交点ｑの位置を補正するようにしてもよい。
【００４２】
【数１２】
2006251850.tif 000014
【００４３】
角改善部４は、交点検出部３で検出される交点位置に基づいて、入力画像データＳ１による画素値を補正して交点の側に角を尖らせる。ここで角改善部４は、図６に示すように、注目画素から交点方向とは逆方向の、注目画素から交点までの距離だけ離れたサンプリング点の画素値を注目画素の画素値に割り当てる。またこのとき、このサンプリング点が、入力画像データＳ１のサンプリング点と一致しない場合、例えば次式の演算処理により、周囲の画素より対応するサンプリング点の画素値を求め、この画素値を注目画素の画素値ｆに設定する。なおここでｔｘ及びｔｙは、この交点までの距離だけ離れたサンプリング点が、それぞれ入力画像データＳ１の隣接するサンプリング点を、ｘ方向及びｙ方向に内分する内分比である。これによりこの（１３）式の例では直線補間によりこの交点までの距離だけ離れたサンプリング点の画素値ｆを求めることになるが、この演算処理にあっては、種々の補間演算処理を広く適用することができる。
【００４４】
【数１３】
2006251850.tif 000015
【００４５】
またこのようにして求めた画素値により、入力画像データＳ１の画素値を変更して画像データＳ３を出力する。これにより角改善部４は、交点に向かって角が尖るように画素値を補正する。
【００４６】
交点信頼度計算部５は、交点検出部３で検出される交点ｑの信頼度を計算することにより、角改善部４で設定された画素値の信頼度を検出する。すなわち交点検出部３で検出される交点ｑにあっては、ノイズにより正確に求められない場合等があり、これにより図７に示すように、ばらつきが発生する。ここでこのようなばらつきが大きい場合、この交点にあっては、角である可能性が低いと考えられる。これにより交点信頼度計算部５は、周辺画素で検出される交点との比較により、注目画素で検出される交点の信頼度を計算し、これによりばらつきに応じて値が小さくなるように、信頼度を示すパラメータｒを設定する。
【００４７】
すなわち交点信頼度計算部５は、注目画素により検出される交点ｑと、この注目画素を中心とした一定範囲の周辺画素から検出される交点ｑとの座標値を用いてｘ方向及びｙ方向の標準偏差ｓｄｖx、ｓｄｖyを求め、これらｘ方向及びｙ方向の標準偏差ｓｄｖx、ｓｄｖyより次式の演算処理を実行して標準偏差ｓｄｖを計算する。
【００４８】
【数１４】
2006251850.tif 000016
【００４９】
さらにこの標準偏差ｓｄｖを用いて、図８に示すように、注目画素より検出される交点についての信頼度を示す信頼度のパラメータｒsdvを、標準偏差ｓｄｖの増大により値が小さくなるように設定する。なおこの図８に示す例では、標準偏差ｓｄｖが一定の範囲ｓｄｖｍｉｎ〜ｓｄｖｍａｘで、標準偏差ｓｄｖに比例して値が減少し、この一定の範囲ｓｄｖｍｉｎ〜ｓｄｖｍａｘ以下及び以上でそれぞれ値１．０及び値０となるように、信頼度のパラメータｒsdvを設定する。これにより交点信頼度計算部５は、注目画素における交点と周辺画素による交点とによる分散の大きさにより、注目画素で検出される交点の信頼度を計算する。
【００５０】
またこのようにして検出される標準偏差ｓｄｖの値が同一の場合でも、注目画素と交点との間の距離が近い場合には、この距離が長い場合に比して、信頼性が低いと言える。これにより交点信頼度計算部５は、図９に示すように、注目画素により検出される交点ｑと、この注目画素を中心とした一定範囲の周辺画素から検出される交点ｑとの座標値を用いて、注目画素から見たこれら交点の分布する角度を計算する。
【００５１】
また図１０に示すように、注目画素より検出される交点についての信頼度を示す信頼度のパラメータｒangleを、この角度の開きが大きくなるに従って値が小さくなるように設定する。なおこの図１０に示す例では、角度の開きが正側及び負側の一定の範囲ａｍｉｎ〜ａｍａｘ、−ａｍｉｎ〜−ａｍａｘで角度の開きが大きくなるに従って値が減少し、角度の開きがこの範囲より小さい場合及び大きい場合に、それぞれ値１．０及び値０により信頼度のパラメータｒangleを設定する。
【００５２】
交点信頼度計算部５は、次式により示すように、このようにして計算した２種類のパラメータｒsdv、ｒangleを乗算して、最終的にこの注目画素より角改善部４で求められる画素値について、信頼度を示す信頼度のパラメータｒを計算する。
【００５３】
【数１５】
2006251850.tif 000017
【００５４】
なおこのようにして検出される信頼度のパラメータｒにより、次式により示すように、角改善部４で画素値の設定に供する画素がより近づくように、計算に供するベクトルｑを補正し、これにより（１２）式について上述したと同様に誤った画素値の設定を防止するようにしてもよい。
【００５５】
【数１６】
2006251850.tif 000018
【００５６】
角領域検出部６は、入力画像データＳ１より角の部分を検出する。ここでエッジ勾配方向ｖ１及びエッジ方向ｖ２についてそれぞれ画素値の勾配の分散を示す固有値λ１、λ２について、この固有値λ１、λ２の比率λ２／λ１が大きい場合には、この注目画素においては、エッジ勾配方向ｖ１の画素値の勾配が急峻であり、エッジである確率が高いと判断することができる。これによりこの場合、エッジ方向ｖ２により検出される交点にあっては、角である確率が高いと言うことができる。
【００５７】
これにより角領域検出部６は、図１１に示すように、この比率λ２／λ１が一定の範囲λ２／λ１ｍｉｎ〜λ２／λ１ｍａｘにおいては、比率λ２／λ１の値が増大するに従ってほぼ直線的に値が増加し、比率λ２／λ１の値がこの一定の範囲λ２／λ１ｍｉｎ、λ２／λ１ｍａｘ以外の場合には、それぞれ最小値Ｓｍｉｎ及び最大値１．０となるパラメータｓを生成する。
【００５８】
ブレンド比決定部７は、角改善部４による処理結果による画素値と、元の入力画像データＳ１の画素値とをブレンドするブレンド比を決定する。
【００５９】
すなわちブレンド比決定部７は、交点信頼度計算部５で検出される信頼度のパラメータｒから、図１２に示すように、信頼度が高い程、値が大きくなるように、ブレンド比計算用のパラメータｔを求める。ここで図１２の例では、一定の範囲ｒｍｉｎ〜ｒｍａｘでは信頼度のパラメータｒの値に比例して値が増大し、この範囲ｒｍｉｎ〜ｒｍａｘ以外ではそれぞれ最小値及び最大値１．０となるようにパラメータｔを設定する。
【００６０】
また次式により示すように、このようにして求めたパラメータｔと、角領域検出部６で求められるパラメータｓとを乗算してブレンド比αを計算する。
【００６１】
【数１７】
2006251850.tif 000019
【００６２】
ブレンド部８は、次式により示すように、このブレンド比決定部７で求めたブレンド比αにより角改善部４の処理結果Ｓ２による画素値と、元の入力画像データＳ１の画素値とを重み付け加算し、これにより出力画像データＳ３を生成して出力する。これによりブレンド部８は、ブレンド比決定部７により、エッジ方向ｖ２に係る画素値の勾配の分散λ２とエッジ勾配方向ｖ１に係る画素値の勾配の分散λ１との比率に応じて、交点信頼度計算部５で計算される信頼度を補正して重み付け係数αを求め、この重み付け係数により、入力画像データＳ１による画素値と角改善部４による画素値とを重み付け加算して出力画像データＳ３を出力する。
【００６３】
【数１８】
2006251850.tif 000020
【００６４】
（２）実施例の動作
以上の構成において、この画像処理装置１において（図１）、入力画像データＳ１は、勾配解析部２に入力され、ここで各画素毎に、画素値の勾配が最も大きなエッジ勾配方向ｖ１と、このエッジ勾配方向ｖ１と直交するエッジ方向ｖ２とが順次検出される（（１）〜（８）式、図３及び図４）。また入力画像データＳ１は、交点検出部３において、出力画像データＳ３の各画素毎に、エッジ方向ｖ２の直線と、周辺画素のエッジ方向ｖ２の直線とで交点が検出され（図４、（９）〜（１１）式）、これにより角の頂点が検出される。入力画像データＳ１は、このようにして検出される交点に基づいて、画素値が補正され、これにより交点に向かって角が尖るように画素値が補正される。
【００６５】
より具体的に、この画像処理装置１では、注目画素から対応する交点の方向とは逆方向であって、注目画素から交点の距離だけ離れたサンプリング点の画素値が、注目画素に設定され（図６、（１３）式）、これにより入力画像データＳ１による画素値が補正される。
【００６６】
しかしながらこのようにして検出される交点にあっては、必ずしも正しく角の頂点を検出しているとは限らず、誤検出されている場合もある。
【００６７】
これにより入力画像データＳ１は、交点検出結果が交点信頼度計算部５に入力され、ここで注目画素による交点と周辺画素による交点との比較により、交点の信頼度が計算される。すなわちこれら注目画素と周辺画素とで交点のばらつきが大きい場合、信頼度が低いと判断することができ、これによりこれら交点の分散の大きさにより、ばらつきが大きい程、値が小さくなるように信頼度のパラメータｒｓｄｖが求められる（図７及び図８、（１４）式）。
【００６８】
またこのような交点に近づくに従ってこのようなばらつきは小さくなることにより、注目画素より見た、注目画素における交点と周辺画素により検出される交点との分布の角度により、この角度が小さい程、値が小さくなるように信頼度のパラメータｒangleが求められる（図９及び図１０）。
【００６９】
またこれらパラメータｒsdv及びｒangleの乗算により最終的に信頼度のパラメータｒが求められる（（１５）式）。
【００７０】
またこのような交点の検出基準であるエッジ方向を誤検出している場合等もあることにより、角領域検出部６において、エッジ勾配方向ｖ１及びエッジ方向ｖ２における画素値の勾配の分散を示す固有値λ１、λ２について、この固有値λ１、λ２の比率λ２／λ１により、角である確率が大きい程、値が大きくなるパラメータｔが計算され、ブレンド比決定部７において、信頼度のパラメータｒとの乗算により、信頼度のパラメータｒがパラメータｔにより補正されてブレンド比αが計算される。
【００７１】
入力画像データＳ１は、角改善部４による処理結果Ｓ２との間で、このブレンド比αを用いて重み付け加算処理され、これにより角改善部による処理結果により画素値が補正される。これにより入力画像データＳ１は、エッジ方向を誤って検出した場合、角の頂点で無い箇所で交点を検出した場合等にあっても、これらの誤検出による誤った角改善部による処理を防止することができ、その分、違和感無く角を尖らせて、画質を向上することができる。
【００７２】
（３）実施例の効果
以上の構成によれば、画素値の勾配が最も大きなエッジ勾配方向に直交するエッジ方向を検出し、このエッジ方向の交点に基づいて画素値を補正することにより、丸まった角を尖らせることができる。
【００７３】
またこのとき角改善部において、注目画素から対応する交点の方向とは逆方向であって、注目画素から交点の距離だけ離れたサンプリング点の画素値を、注目画素に設定し、これにより入力画像データによる画素値を補正して角を尖らせることにより、簡易かつ確実に角を尖らせることができる。
【００７４】
また交点信頼度計算部５で計算した信頼度により、入力画像データによる画素値を角改善部による画素値により補正して出力画像データを出力するようにして、この交点信頼度計算部において、注目画素における交点と、周辺画素により検出される交点との比較により、注目画素で検出される交点の信頼度を計算することにより、簡易かつ確実に交点の信頼度を各画素毎に検出することができ、これにより簡易かつ確実に角を尖らせることができる。
【００７５】
また具体的に、注目画素における交点と、周辺画素で検出される交点とによる分散の大きさにより、注目画素で検出される交点の信頼度を計算することにより、簡易かつ確実に信頼度を計算することができる。
【００７６】
また注目画素より見た、注目画素における交点と周辺画素で検出される交点との分布の角度により、注目画素で検出される交点の信頼度を計算することにより、交点までの距離を加味して信頼度を求めることができる。
【００７７】
またエッジ方向に係る画素値の勾配の分散とエッジ勾配方向に係る画素値の勾配の分散との比率に応じて、信頼度を補正して重み付け係数を求め、この重み付け係数により、入力画像データによる画素値と角改善部による画素値とを重み付け加算することにより、エッジ方向を誤って検出した場合、角の頂点で無い箇所で交点を検出した場合等にあっても、これらの誤検出による誤った角改善部による処理を防止することができ、その分、違和感無く角を尖らせて、画質を向上することができる。
【実施例２】
【００７８】
この実施例に係る画像処理装置は、図６との対比により図１３に示すように、角改善部において、注目画素の画素値を交点の画素値に設定することにより、角を尖らせる。なおこの実施例に係る画像処理装置は、この角改善部に係る構成、この角改善の処理に関連する構成が異なる点を除いて、実施例１について上述した画像処理装置１と同一に構成され、これにより以下の説明においては、適宜、図１を流用して説明する。
【００７９】
すなわち角改善部４は、この場合、対応する交点が入力画像データＳ１のサンプリング点に一致しない場合があることにより、例えば次式により示すように重み付けして、交点に係る入力画像データＳ１の周辺サンプリング点の画素値を設定する。なおこの（１９）式は、ガウシアン型の重み付けであるが、この画素値の設定は、単に距離を変数に設定した一定範囲における外挿処理により求める場合等、種々の手法を広く適用することができる。
【００８０】
【数１９】
2006251850.tif 000021
【００８１】
またこれにより交点信頼度計算部５、ブレンド比決定部７は、実施例１について上述した画像処理装置１における場合と同様の処理により、注目画素について信頼度ｒ、重み付け係数αを計算し、この計算結果を角改善部４における処理に対応するように、交点側のサンプリング点に設定した画素値に係る信頼度、重み付け係数に置き換えて出力する。
【００８２】
またこのように注目画素の画素値を交点の画素値に設定する場合、１つの角に係る交点が複数の注目画素で検出され、これら複数の注目画素からこの１つの角に係るサンプリング点に複数の画素値が求められる場合があることにより、角改善部４は、このような場合、この１つの角について求められる複数の画素値を統計的に処理して、交点の画素値を設定する。なおこの統計的な処理にあっては、複数の画素値を平均値化する場合、さらには信頼度により重み付け加算する場合等、必要に応じて種々の処理を広く適用することができる。
【００８３】
また交点信頼度計算部５、ブレンド比決定部７は、このような角改善部４における統計的な処理に対応する処理により、複数の注目画素より検出される信頼度、比率λ２／λ１を処理して、重み付け係数αを計算する。
【００８４】
この実施例によれば、注目画素の画素値により交点に係るサンプリング点の画素値を設定して角を尖らせるようにしても、実施例１と同様の効果を得ることができる。またこの場合、実施例１の場合に比して、より角を尖らせることができる。
【実施例３】
【００８５】
図１４は、図１との対比により本発明の実施例３に係る画像処理装置を示す機能ブロック図である。この画像処理装置１１において、実施例１について上述した画像処理装置１と同一の構成は、対応する符号を付して示し、重複した説明は省略する。この画像処理装置１１においても、演算処理手段である例えばディジタルシグナルプロセッサにより形成される。
【００８６】
ここでこの画像処理装置１１は、解像度変換部１２により入力画像データＳ１の解像度を増大させて画像データＳ４を生成し、入力画像データＳ１に代えて、この画像データＳ４を角改善部４、ブレンド部８に入力する。ここで解像度変換部１２は、エッジ勾配方向ｖ１、エッジ方向に輪郭強調処理、平滑化処理して画像データＳ４を出力する。
【００８７】
すなわち図１５は、この解像度変換部１２を示す機能ブロック図であり、補間処理部１３は、例えば線型補間処理、バイキュービック変換処理により、入力画像データＳ１の解像度を、出力画像データＳ３の解像度に変換して出力画像データＳ１１により出力する。これによりこの画像データＳ１１は、高周波成分が失われてシャープさの欠けたぼけた画像となる。
【００８８】
エッジ方向処理部１４は、勾配解析部２で検出される入力画像データＳ１の注目画素に係るエッジ方向ｖ２に基づいて、解像度変換後の画像データＳ４に係る各画素のエッジ方向ｖｃを計算し、このエッジ方向ｖｃに基づく内挿処理により出力画像データＳ３の各画素に対応する画素値を順次計算する。
【００８９】
すなわちエッジ方向処理部１４は、図１６に示すように、計算対象である画像データＳ４の注目画素Ｐｃに隣接してなる入力画像データＳ１の各画素（この図１６の例ではＰ３、Ｐ４、Ｐ９、Ｐ１０）について、次式の演算処理を実行することにより、入力画像データＳ１に係るこれら隣接する画素のエッジ方向ｖ２（ｖ3 、ｖ4 、ｖ9 、ｖ10）を用いた内挿処理により注目画素Ｐｃのエッジ方向ｖｃを計算する。
【００９０】
【数２０】
2006251850.tif 000022
【００９１】
なおここで、ｔx 、ｔy は、それぞれ画像データＳ１によるサンプリング点Ｐ３、Ｐ４、Ｐ９、Ｐ１０をｘ方向及びｙ方向に内分する注目画素の座標値であり、０≦ｔx ≦１、０≦ｔy ≦１である。
【００９２】
さらにエッジ方向処理部１４は、このようにして計算される注目画素Ｐｃのエッジ方向ｖｃより、注目画素Ｐｃのサンプリング点からエッジ方向ｖｃの直線上に、入力画像データＳ１のサンプリングピッチによるサンプリング点Ｐ−２、Ｐ−１、Ｐ１、Ｐ２を所定個数だけ設定する。さらにこのサンプリング点Ｐ−２、Ｐ−１、Ｐ１、Ｐ２と注目画素Ｐｃとについて、入力画像データＳ１の画素値を用いた補間演算処理によりそれぞれ画素値を計算し、これにより勾配解析部２の検出結果に基づいて、出力画像データＳ３の各画素毎に、エッジ方向ｖｃに延長する直線上に、入力画像データＳ１の内挿処理によるエッジ方向の内挿画像データを生成する。これによりエッジ方向処理部１４は、入力画像データＳ１をエッジ方向に平滑化しながら解像度を変換する。
【００９３】
またこのとき後述するエッジ方向範囲の決定部１５による計算結果に従って、このようにして設定するサンプリング点の数を切り換え、また続くフィルタリングの処理を切り換え、これにより注目画素のエッジ方向ｖｃに係るエッジの信頼度に応じてフィルタリング処理のタップ数を切り換える。具体的に、例えば続くフィルタリングの処理を３タップのフィルタリングにより実行する場合、注目画素Ｐｃについては、周辺画素Ｐ３、Ｐ４、Ｐ９、Ｐ１０を用いた線型補間により画素値を計算し、また同様にして前後のサンプリング点Ｐ−１、Ｐ１については、それぞれＰ２、Ｐ３、Ｐ８、Ｐ９及びＰ４、Ｐ５、Ｐ１０、Ｐ１１を用いた線型補間により画素値を計算する。これに対して例えば続くフィルタリングの処理を５タップのフィルタリングにより実行する場合、注目画素Ｐｃについては、周辺画素Ｐ３、Ｐ４、Ｐ９、Ｐ１０を用いた線型補間により画素値を計算し、また同様にしてサンプリング点Ｐ−２、Ｐ−１、Ｐ１、Ｐ２について、画素値を計算する。
【００９４】
続いてエッジ方向処理部１４は、このようにして計算したサンプリング点Ｐ−２、Ｐ−１、Ｐ１、Ｐ２及び注目画素Ｐｃの画素値をフィルタリング処理により平滑化処理し、注目画素Ｐｃの画素値Ｐｃ’を決定する。すなわち３タップのフィルタリングによる場合には、例えば次式の演算処理により注目画素Ｐｃの画素値Ｐｃ’を計算する。
【００９５】
【数２１】
2006251850.tif 000023
【００９６】
これに対して５タップのフィルタリングによる場合には、例えば次式の演算処理により注目画素Ｐｃの画素値Ｐｃ’を計算する。
【００９７】
【数２２】
2006251850.tif 000024
【００９８】
これらによりこの実施例においては、エッジ方向の内挿画像データの平滑化処理により、出力画像データＳ３の画素に対応する画素値を計算し、これにより高周波成分の喪失を有効に回避しつつ、エッジにおけるジャギーの発生を防止するようになされている。なおこれら内挿画像データの生成に供する補間演算処理にあっては、隣接する近傍画素の画素値を用いた線型補間に限らず、種々の周辺画素を用いた種々の補間演算処理方法を広く適用することができる。またこの内挿画像データを用いたフィルタリング処理に係る演算処理についても、（２１）式、（２２）式について上述した演算処理に限らず、種々の重み付け係数による補間演算処理を広く適用することができる。
【００９９】
ところでこのように画素毎にエッジ方向を検出して画像データＳ３に係る画素値を計算する場合、エッジでは無い箇所で輝度勾配と直交する方向に平滑化処理する恐れもある。このような場合に、大きな範囲である多くのタップ数によりフィルタリング処理したのでは、却って画質を劣化することになる。しかしながらこれとは逆に、エッジの部分では、大きな範囲でフィルタリング処理して、一段と確実にジャギーの発生を防止して滑らかなエッジを形成することができる。
【０１００】
これによりこの実施例では、画素毎にフィルタリング処理するタップ数を切り換え、これにより画素毎にエッジ方向に平滑化処理する範囲を可変する。またこのような平滑化処理する範囲をエッジ方向ｖｃへのエッジの信頼度により可変し、これにより平滑化処理による画質劣化を防止する。
【０１０１】
具体的に、この実施例では、エッジ方向ｖ２の固有値λ２と、エッジ勾配方向ｖ１の固有値λ１との比率λ２／λ１により、このようなエッジ方向ｖｃへのエッジの信頼度を検出する。すなわちこの比率λ２／λ１が小さい場合には、この注目画素においては、エッジ勾配方向ｖ１の画素値の勾配が支配的であり、エッジ方向ｖ２に強いエッジであると判断することができる。これによりエッジ方向処理範囲の決定部１５は、図１７に示すように、この比率λ２／λ１が一定の範囲λ２／λ１ｍｉｎ〜λ２／λ１ｍａｘにおいては、比率λ２／λ１の値が低下するに従ってほぼ直線的に値が増加し、比率λ２／λ１の値がこの一定の範囲λ２／λ１ｍｉｎ〜λ２／λ１ｍａｘ以外の場合には、それぞれ最大値ｐｍａｘ及び最小値ｐｍｉｎとなるパラメータｐを生成する。これによりエッジ方向へのエッジの信頼度に応じて値の変化するパラメータｐを生成する。
【０１０２】
またエッジ勾配方向ｖ１の固有値λ１が大きい場合、エッジを挟んでコントラストが大きい場合であり、はっきりとしたエッジであると言える。これによりエッジ方向処理範囲の決定部１５は、図１８に示すように、所定の範囲λ１ｍｉｎ〜λ１ｍａｘで、固有値λ１に応じてほぼ直線的に値が増加し、これらの範囲λ１ｍｉｎ〜λ１ｍａｘより値の小さい側及び大きい側では、それぞれ下限値ｑｍｉｎ、上限値ｑｍａｘとなるパラメータｑを生成する。これによりエッジの立ち上がりに応じて値の変化するパラメータｑを生成する。
【０１０３】
エッジ方向処理範囲の決定部１５は、これら２つのパラメータｐ及びｑについて、次式により表される乗算処理を実行し、これによりエッジ方向処理に係るフィルタリング処理の範囲ｒを計算する。
【０１０４】
【数２３】
2006251850.tif 000025
【０１０５】
なおエッジ方向処理範囲の決定部１５においては、エッジ方向処理部１４の処理に係る画像データＳ４のサンプリング点に対応するように、入力画像データＳ１のサンプリング点による固有値λ１、λ２を画像データＳ４のサンプリング点に係る固有値に変換してフィルタリング処理の範囲ｒを計算する。この場合に、入力画像データＳ１のサンプリング点によりフィルタリング処理の範囲ｒを計算した後、この計算結果の内挿処理により画像データＳ３のサンプリング点に係るフィルタリング処理の範囲ｒを計算するようにしてもよく、またこれとは逆に、入力画像データＳ１のサンプリング点に係る固有値λ１、λ２を内挿処理して画像データＳ４のサンプリング点に係る固有値λ１、λ２を計算した後、この計算結果から画像データＳ４のサンプリング点に係るフィルタリング処理の範囲ｒを計算するようにしてもよい。
【０１０６】
しかしてエッジ方向処理部１４は、このようにして計算される範囲ｒによりフィルタリング処理のタップ数を切り換えて画像データＳ３に係る注目画素Ｐｃの画素値Ｐｃ’を計算する。
【０１０７】
このフィルタリングの処理において、エッジ方向処理部１４は、フィルタリング結果の融合処理を実行することにより、実数値のタップ数によりフィルタリング処理を実行し、これにより整数値のタップ数によりフィルタリング処理した場合の、タップ数の切り換え時における不自然さを解消する。
【０１０８】
すなわちエッジ方向処理部１４では、次式により示される整数値によるタップ数のフィルタが定義される。なおここでこの実施例において、この整数値のタップ数は、１、３、５、……による奇数値が適用される。
【０１０９】
【数２４】
2006251850.tif 000026
【０１１０】
ここでｆｌｏｏｒ（ｎ）は、ｎを越えない最大の整数のタップ数であり、ｃｅｉｌ（ｎ）は、ｎ以上の最小の整数のタップ数である。またｎｒｅａｌは、（１２）式により計算された範囲ｒが適用される。これによりｎ＝３．５の場合、ｆｌｏｏｒ（ｎ）はタップ数３であり、ｃｅｉｌ（ｎ）はタップ数５となる。
【０１１１】
フィルタリング結果の融合処理は、これら２種類のフィルタリング処理結果を用いて次式の演算処理を実行することにより、実数値によるフィルタリング処理結果ｆ（ｎ）を計算して実行される。これによりエッジ方向処理部１４は、フィルタリング処理の範囲ｒによりこれら２種類のタップ数によるフィルタリング処理を実行し、さらにこれら２種類のフィルタリング処理結果を用いて（２５）式の演算処理を実行することにより、画像データＳ３に係る注目画素Ｐｃの画素値Ｐｃ’を計算する。これによりエッジ方向処理部１４は、エッジ方向へのエッジの信頼度に応じたタップ数によりフィルタリング処理して画像データＳ３に係る注目画素Ｐｃの画素値Ｐｃ’を計算するようにして、このタップ数を少数点以下の単位で可変する。
【０１１２】
【数２５】
2006251850.tif 000027
【０１１３】
エッジ勾配方向処理部１６は、このようにしてエッジ方向処理部１４で計算される画像データＳ４に係る注目画素Ｐｃの画素値Ｐｃ’を用いて、エッジ勾配方向ｖ１に輪郭強調処理を実行する。すなわちエッジ勾配方向処理部１６は、図１９に示すように、エッジ方向処理部１４において、画像データＳ４に係る注目画素Ｐｃでエッジ方向ｖｃを計算したと同様にして、入力画像データＳ１に係る隣接するサンプリング点のエッジ勾配方向ｖ１より、画像データＳ４に係る注目画素Ｐｃｃのエッジ勾配方向ｖｇを計算する。
【０１１４】
さらにエッジ勾配方向処理部１６は、このようにして計算される注目画素Ｐｃｃのエッジ勾配方向ｖｇより、注目画素Ｐｃｃのサンプリング点からエッジ勾配方向ｖｇの直線上に、画像データＳ４のサンプリングピッチによるサンプリング点Ｐｃ−１、Ｐｃ＋１を所定個数だけ設定する。さらにこのサンプリング点Ｐｃ−１、Ｐｃ＋１と注目画素Ｐｃｃとについて、エッジ方向処理部１４から出力される画素値を用いた補間演算処理によりそれぞれ画素値を計算する。これによりエッジ方向処理部１４は、勾配解析部２の検出結果に基づいて、画像データＳ４の各画素毎に、エッジ勾配方向ｖｇに延長する直線上に、エッジ方向処理部１４から出力される画素値による画像データの内挿処理によるエッジ勾配方向の内挿画像データを生成する。
【０１１５】
続いてエッジ方向処理部１４は、このようにして計算したサンプリング点Ｐｃ−１、Ｐｃ＋１と注目画素Ｐｃｃの画素値をフィルタリング処理し、注目画素Ｐｃｃの画素値Ｐｃｃ’を決定する。しかしてこの図１９の例にあっては、３タップにより注目画素Ｐｃｃの画素値Ｐｃｃ’を計算する場合であり、サンプリング点Ｐｃ−１の画素値にあっては、周辺のサンプリング点Ｐｃ１、Ｐｃ２、Ｐｃ４、Ｐｃｃによる線型補間により生成され、またサンプリング点Ｐｃ＋１の画素値にあっては、周辺のサンプリング点Ｐｃｃ、Ｐｃ５、Ｐｃ７、Ｐｃ８による線型補間により生成されるようになされている。これによりエッジ勾配方向処理部１６は、エッジを横切る方向に輪郭強調するようになされている。なおこれら内挿画像データの生成に供する補間演算処理にあっては、このような隣接する近傍画素の画素値を用いた線型補間に限らず、種々の周辺画素を用いた補間演算処理方法を広く適用することができる。またこの内挿画像データを用いたフィルタリング処理に係る演算処理についても、種々の重み付け係数による補間演算処理を広く適用することができる。
【０１１６】
ブレンド比決定部１７は、エッジ方向ｖｃへのエッジの信頼度に応じてブレンド用の重み付け係数を生成する。すなわち上述したようにエッジ方向に平滑化処理し、エッジと直交する方向に輪郭強調する場合にあっては、自然画において、不自然に輪郭強調する場合がある。このためこの実施例においては、別途、補間処理部１３で従来手法により生成した画像データＳ１１に係る画素値Ｐａと、エッジ勾配方向処理部１６で生成される画素値Ｐｃｃ’とをブレンド処理部１８により重み付け加算して画像データＳ４を生成し、ブレンド比決定部１７は、この重み付け加算処理に係る重み付け係数を可変する。またこの重み付け係数の可変を、エッジ方向へのエッジの信頼度により可変し、これにより過度なエッジに係る処理の不自然さを防止する。またこのエッジ方向へのエッジの信頼度に、エッジ方向ｖ２の固有値λ２と、エッジ勾配方向ｖ１の固有値λ１との比率λ２／λ１を適用して処理する。
【０１１７】
具体的に、この比率λ２／λ１が小さい場合には、この注目画素においては、エッジ勾配方向ｖ１の勾配が支配的であり、エッジ方向ｖ２に強いエッジであると判断することができる。これによりブレンド比決定部１７は、図２０に示すように、この比率λ２／λ１が一定の範囲λ２／λ１ｍｉｎ〜λ２／λ１ｍａｘにおいては、比率λ２／λ１の値が低下するに従ってほぼ直線的に値が増加し、比率λ２／λ１の値がこの一定の範囲λ２／λ１ｍｉｎ〜λ２／λ１ｍａｘ以外の場合には、それぞれ最大値ｓｍａｘ及び最小値ｓｍｉｎとなるパラメータｓを生成する。これによりエッジ方向へのエッジの信頼度に応じて値の変化するパラメータｓを生成する。
【０１１８】
またエッジ勾配方向ｖ１の固有値λ１が大きい場合、エッジを挟んでコントラストが大きい場合であり、はっきりとしたエッジであると言える。これによりブレンド比決定部１７は、図２１に示すように、所定の範囲λ１ｍｉｎ、λ１ｍａｘで、固有値λ１に応じてほぼ直線的に値が増加し、これらの範囲λ１ｍｉｎ、λ１ｍａｘでは、それぞれ下限値ｔｍｉｎ、上限値ｔｍａｘとなるパラメータｔを生成する。これによりエッジの立ち上がりに応じて値の変化するパラメータｔを生成する。
【０１１９】
ブレンド比決定部１７は、次式により示すように、これらパラメータｓ、ｔを乗算して、ブレンド用の重み付け係数β（０≦β≦１）を計算する。
【０１２０】
【数２６】
2006251850.tif 000028
【０１２１】
なおブレンド比決定部１７は、画像データＳ１１に係るサンプリング点に対応するように、入力画像データＳ１のサンプリング点による固有値λ１、λ２を画像データＳ１１のサンプリング点に係る固有値に変換してブレンド用の重み付け係数βを計算する。
【０１２２】
ブレンド処理部１８は、次式の演算処理を実行することにより、エッジ勾配方向処理部１６で計算される画素値Ｐｃｃ’による画像データＳ１２と、補間処理部１３で計算される画素値Ｐａによる画像データＳ１１とをブレンド比決定部１７による重み付け係数βにより重み付け加算処理し、その処理結果を画像データＳ４により出力する。
【０１２３】
【数２７】
2006251850.tif 000029
【０１２４】
これらにより解像度変換部１２は、勾配解析部２で検出されるエッジ勾配方向ｖ１、エッジ方向ｖ２に輪郭強調処理、平滑化処理しながら、入力画像データＳ１の解像度を変換して画像データＳ４を出力する。
【０１２５】
またこれら解像度変換の処理に対応して、交点検出部３は、入力画像データＳ１の各画素について求められる交点から、解像度変換後の画像データである出力画像データＳ３の各画素毎の交点を計算し、この交点を角改善部４、交点信頼度計算部５に通知する。なおこのような交点の計算においては、図２２及び次式により示すように、近傍画素で検出される交点ｑａ、ｑｂ、ｑｃ、ｑｄを用いた補間演算処理を適用することができる。
【０１２６】
【数２８】
2006251850.tif 000030
【０１２７】
また角領域検出部６においても、同様にして、入力画像データＳ１の各画素について求められるパラメータｓを、出力画像データＳ２の各画素に係るパラメータｓに変換して出力する。
【０１２８】
以上の構成によれば、入力画像データＳ１の解像度を出力画像データＳ２の解像度に変換して角改善部により処理することにより、解像度の変換により角がまるくなるような場合であっても、解像度変換前の入力画像データにより求められるエッジ方向により角を尖らせることができ、これにより一段と画質を向上することができる。
【実施例４】
【０１２９】
ところで上述したようにエッジ方向、エッジ勾配方向を検出して角を尖らせる場合、エッジ方向、エッジ勾配方向の検出に供する特性によっては、エッジを検出できない場合もあり、これにより例えば特定のパターンで角を尖らせることが困難になることが判った。
【０１３０】
このため図２３に示すように、この実施例に係る画像処理装置２１は、複数の画像処理部２１Ａ〜２１Ｅによりそれぞれエッジ方向を検出して角を尖らせ、その処理結果を統合部２２により合成して出力画像データＳ３を出力する。
【０１３１】
ここで画像処理部２１Ａ〜２１Ｅは、それぞれ図１４について上述した画像処理装置の構成が適用される。これにより各画像処理部２１Ａは、勾配解析部２でエッジ勾配方向ｖ１、エッジ方向ｖ２、固有値λ１、λ２を検出して続く交点検出部３により交点を検出すると共に、解像度変換部１２により入力画像データＳ１の解像度を出力画像データＳ３の解像度に変換し、この解像度変換部１２の出力データについて、角改善部４により角を尖らせ、一連の処理結果による画像データｆ１〜ｆｎを出力する。
【０１３２】
これら画像処理部２１Ａ〜２１Ｅは、勾配解析部２でｘ方向及びｙ方向の偏微分ｇx 及びｇy を計算する際の微分演算子の設定により、このような一連の処理基準であるエッジ勾配方向、エッジ方向の検出に供する特性が異なるように設定される。
【０１３３】
具体的に、これら画像処理部２１Ａ〜２１Ｅは、（２９）〜（３３）式により表される微分演算子により、これらｘ方向及びｙ方向の偏微分ｇx 及びｇy をそれぞれ計算する。これによりこの画像処理装置２１では、これら複数の画像処理部２１Ａ〜２１Ｅにおける微分演算子の位相特性を異ならせて、エッジ方向、エッジ勾配方向の検出に供する特性が異なるように設定され、１つ又は複数の画像処理部でエッジ方向、エッジ勾配方向を正しく検出できない場合、誤り検出した場合等にあっても、何れか１つの画像処理部では、これらを正しく検出できるようになされている。なおこのような微分演算子にあっては、位相特性に代えて、又は位相特性に加えて、周波数特性を異ならせるようにしてもよい。
【０１３４】
【数２９】
2006251850.tif 000031
【０１３５】
【数３０】
2006251850.tif 000032
【０１３６】
【数３１】
2006251850.tif 000033
【０１３７】
【数３２】
2006251850.tif 000034
【０１３８】
【数３３】
2006251850.tif 000035
【０１３９】
またこのような微分演算子による異なる特性の設定に代えて、エッジ勾配方向、エッジ方向に供する範囲を異ならせて、エッジ勾配方向、エッジ方向の検出に供する特性を異ならせるようにしてもよい。またこの場合、勾配行列の生成に供するサンプル数自体を異ならせてこのような範囲を異ならせるようにしてもよく、またダウンサンプリングにより範囲を異ならせるようにしてもよい。
【０１４０】
統合部２２は、次式の演算処理により、これら画像処理部２１Ａ〜２１Ｅによる処理結果を平均値化して出力画像データＳ３を出力する。なおここでこの画像処理部２１Ａ〜２１Ｅによる処理結果の合成にあっては、各特性によるエッジ検出結果等の信頼性により重み付け加算するようにしてもよい。
【０１４１】
【数３４】
2006251850.tif 000036
【０１４２】
この実施例によれば、エッジ方向の検出に供する特性の異なる複数の画像処理部により、それぞれエッジ方向を検出して角を尖らせることにより、違和感無く角を尖らせて、画質を向上するようにして、特定パターンにおける誤った処理を防止することができ、これにより一段と画質を向上することができる。
【実施例５】
【０１４３】
なお上述の実施例３においては、解像度変換部１２において、エッジ勾配方向及びエッジ方向にそれぞれ輪郭強調処理、平滑化処理して解像度を変換する場合について述べたが、本発明はこれに限らず、解像度の変換にあっては線型補間処理、バイキュービック変換処理等、種々の手法を広く適用することができる。
【０１４４】
また上述の実施例においては、交点の標準偏差と分布の角度とにより各注目画素による交点の信頼度を計算する場合について述べたが、本発明はこれに限らず、実用上十分な特性を確保することができる場合、これらの何れかにより信頼度を計算するようにしてもよい。
【０１４５】
また上述の実施例においては、演算処理手段により所定のプログラムを実行して画像データを処理する場合について述べたが、本発明はこれに限らず、ハードウエアの構成により画像データを処理する場合にも広く適用することができる。
【産業上の利用可能性】
【０１４６】
本発明は、例えば解像度の変換に適用することができる。
【図面の簡単な説明】
【０１４７】
【図１】本発明の実施例１に係る画像処理装置を示す機能ブロック図である。
【図２】画素勾配の行列の生成に供する略線図である。
【図３】エッジ勾配方向及びエッジ方向の説明に供する略線図である。
【図４】交点検出の説明に供する略線図である。
【図５】交点検出に係るパラメータを示す特性曲線図である。
【図６】画素値の置き換えの説明に供する略線図である。
【図７】交点のばらつきの説明に供する略線図である。
【図８】標準偏差により信頼度を示す特性曲線図である。
【図９】分布の角度による信頼度の説明に供する略線図である。
【図１０】分布の角度による信頼度を示す特性曲線図である。
【図１１】固有値λ１及びλ２によるパラメータを示す特性曲線図である。
【図１２】信頼度によるブレンド比を示す特性曲線図である。
【図１３】本発明の実施例２に係る画像処理装置における画素値の置き換えの説明に供する略線図である。
【図１４】本発明の実施例３に係る画像処理装置を示す機能ブロック図である。
【図１５】図１４の画像処理装置における解像度変換部を示す機能ブロック図である。
【図１６】エッジ方向処理部の動作の説明に供する略線図である。
【図１７】平滑化処理範囲の設定に供するパラメータを示す特性曲線図である。
【図１８】平滑化処理範囲の設定に供する他のパラメータを示す特性曲線図である。
【図１９】エッジ勾配方向処理部の動作の説明に供する略線図である。
【図２０】ブレンド処理部の設定に供するパラメータを示す特性曲線図である。
【図２１】ブレンド処理部の設定に供する他のパラメータを示す特性曲線図である。
【図２２】交点に係る補間処理の説明に供する略線図である。
【図２３】本発明の実施例４に係る画像処理装置を示す機能ブロック図である。
【符号の説明】
【０１４８】
１、１１、２１……画像処理装置、２……勾配解析部、３……交点検出部、４……角改善部、５……交点信頼度計算部、６……角領域検出部、７……ブレンド比決定部、８……ブレンド部、１２……解像度変換部、２１Ａ〜２１Ｅ……画像処理部、２２……統合部
【図１】
2006251850.tif 000037
【図２】
2006251850.tif 000038
【図３】
2006251850.tif 000039
【図４】
2006251850.tif 000040
【図５】
2006251850.tif 000041
【図６】
2006251850.tif 000042
【図７】
2006251850.tif 000043
【図８】
2006251850.tif 000044
【図９】
2006251850.tif 000045
【図１０】
2006251850.tif 000046
【図１１】
2006251850.tif 000047
【図１２】
2006251850.tif 000048
【図１３】
2006251850.tif 000049
【図１４】
2006251850.tif 000050
【図１５】
2006251850.tif 000051
【図１６】
2006251850.tif 000052
【図１７】
2006251850.tif 000053
【図１８】
2006251850.tif 000054
【図１９】
2006251850.tif 000055
【図２０】
2006251850.tif 000056
【図２１】
2006251850.tif 000057
【図２２】
2006251850.tif 000058
【図２３】
2006251850.tif 000059