(57)【要約】【課題】必要なリソースの量を低減するとともに、エッジ領域を検出できずアルゴリズムが破綻することを防止できる画像処理装置を提供する。【解決手段】本発明に係る画像処理装置１は、原画像の画像データにおいて隣接する画素間の輝度値の差分の符号が変化した直前の画素から、次に変化する直前の画素までが３画素以上である区間を、エッジ領域として検出する差分符号検出部６と、上記エッジ領域を構成する画素の輝度値の最大値と最小値との差分値である全体差分値が予め定められた閾値以上である場合に、上記エッジ領域を上記補正手段による補正対象領域として設定する全体差分値検出部７とを備えている。【選択図】図１
2008271259.tif 000002
【特許請求の範囲】
【請求項１】
原画像の画像データを、所定の補正割合を用いたスケーリング処理によって補正する補正手段を備えた画像処理装置であって、
上記画像データにおいて隣接する画素間の輝度値の差分の符号が変化した直前の画素から、次に変化する直前の画素までが３画素以上である区間を、エッジ領域として検出するエッジ領域検出手段と、
上記エッジ領域を構成する画素の輝度値の最大値と最小値との差分値である全体差分値が予め定められた閾値以上である場合に、上記エッジ領域を上記補正手段による補正対象領域として設定する補正対象領域設定手段と、
を備えていることを特徴とする画像処理装置。
【請求項２】
上記全体差分値に基づく値を、上記補正対象領域に対する補正割合として設定する補正割合設定手段をさらに備えていることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記画像データにおいて隣接する各画素間の輝度値の差分値である部分差分値のうち最大値を算出する部分差分最大値算出手段をさらに備えており、
上記補正対象領域設定手段は、上記部分差分値の最大値が予め定められた閾値以上である場合に、上記エッジ領域を上記補正対象領域として設定し、
上記補正割合設定手段は、上記部分差分値の最大値が予め定められた閾値以上である場合に、上記部分差分値の最大値に基づく値を、上記補正対象領域に対する上記補正割合として設定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
上記画像データにおいて隣接する各画素間の輝度値の差分値である部分差分値のうち最大値を算出する部分差分最大値算出手段と、
上記部分差分値の最大値に基づいて、上記補正対象領域を構成する画素の上記補正対象領域における位置を検出する位置検出手段と、をさらに備えており、
上記補正割合設定手段は、上記部分差分値の最大値が予め定められた閾値以上である場合に、上記画素ごとに、上記位置に基づく値を、上記補正対象領域を構成する画素の補正に用いる上記補正割合として設定することを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
上記画像データにおいて隣接する各画素間の輝度値の差分値である部分差分値のうち最大値を算出する部分差分最大値算出手段と、
上記部分差分値の最大値と上記部分差分値との差分値であるグラデーション検出値を、上記部分差分値ごとに算出するグラデーション検出値算出手段と、をさらに備えており、
上記補正割合設定手段は、上記部分差分値の最大値が予め定められた閾値以上である場合に、上記補正対象領域のうち上記部分差分値の算出対象とした上記画素ごとに、当該部分差分値に対応する上記グラデーション検出値に基づく値を、当該画素の補正に用いる上記補正割合として設定することを特徴とする請求項２から４のいずれか１項に記載の画像処理装置。
【請求項６】
上記補正手段は、上記補正対象領域における両端部の画素以外の画素を補正することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
原画像の画像データを、所定の補正割合を用いたスケーリング処理によって補正する補正工程を含む画像処理方法であって、
上記画像データにおいて隣接する画素間の輝度値の差分の符号が変化した直前の画素から、次に変化する直前の画素までが３画素以上である区間を、エッジ領域として検出するエッジ領域検出工程と、
上記エッジ領域を構成する画素の輝度値の最大値と最小値との差分値である全体差分値が予め定められた閾値以上である場合に、上記エッジ領域を上記補正工程における補正対象領域として設定する補正対象領域設定工程と、
を含むことを特徴とする画像処理方法。
【請求項８】
請求項１から６のいずれか１項に記載の画像処理装置を動作させるプログラムであって、コンピュータを上記の各手段として機能させるためのプログラム。
【請求項９】
請求項８に記載のプログラムを記録しているコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を拡大または縮小するスケーリング処理を用いた画像処理装置、画像処理方法、画像処理プログラム、および該プログラムを記録した記録媒体に関する。
【背景技術】
【０００２】
近年、ＨＤ（high definition）映像などの高画質かつ高精度の映像を表示できる高解像度の液晶モニタおよび液晶テレビが急速に普及し、表示デバイスの高解像度化が進んでいる。一方、ＳＤ（standard definition）映像などの低解像度コンテンツも未だ多く残されており、低解像度コンテンツを高解像度デバイスに表示することも少なくない。
【０００３】
しかし、低解像度コンテンツを高解像度デバイスによって表示するには、低解像度コンテンツを拡大表示する必要があり、画像の鮮鋭度、特に拡大した画像の輪郭部分の鮮鋭度が著しく低下してしまう。したがって、低解像度コンテンツを高解像度デバイスに表示する場合には、拡大した画像の鮮鋭度の低下を改善するために、輪郭強調処理を施している。
【０００４】
非特許文献１には、ハイパスフィルタを用いた輪郭強調処理技術が開示されている。上記技術を具体的に説明すると、ハイパスフィルタを用いて輪郭部分を抽出した信号を生成し、これを元信号に加算することによって輪郭部分の信号を増大させた信号を生成する技術である。これによって、輪郭部分の濃度変化を強調できるため、原画像と比較して処理後の画像の鮮鋭度が向上したように見える。
【０００５】
しかし、特許文献１に記載の輪郭強調処理技術は、図１２に示すように、原画像にはないアンダーシュートおよびオーバーシュートが形成されてしまい、輪郭強調処理後の画像が不自然に見える部分が生じる。図１２は、従来の輪郭補正処理における補正前の画像データにおける輝度グラフおよび補正後の画像データにおける輝度グラフを示す図である。
【０００６】
また、画像全体を一律に処理するため、字幕またはテロップ部分などの元々急峻な輪郭部分に合わせて処理された場合には、背景部分の処理度合いが微小となり、鮮鋭度がほとんど向上せず、風景などの緩慢な輪郭部分を強調する場合には、元々急峻な輪郭部分がさらに鮮鋭となり、ぎらついた映像となる問題が生じる。この他にも、ノイズ部分も強調されることによって、逆に画質が悪くなる問題も有している。
【０００７】
非特許文献２および３には、上記の問題を解決するために、一律に輪郭強調処理を施すのではなく、輪郭部分を検出し、処理領域を選択することによって画像を補正する画像処理技術が開示されている。以下に、上記技術を具体的に説明する。まず、検出したい輪郭幅（輪郭）ごとにあらかじめ容易した階調の遷移パターンと入力画素とを比較することによって輪郭を抽出する。そして、抽出した輪郭における補正対象画素周辺を、あらかじめ定められた倍率制御パターンによりスケーリングすることによって検出した輪郭を補正する。
【０００８】
これによって、字幕またはテロップ部分などを輪郭補正（以下、単に補正とも称する）処理によって鮮明にさせつつ、微小振幅などのノイズ部分には輪郭補正処理を施さない処理を実現できる。
【０００９】
また、非特許文献１に記載の技術のようにアンダーシュートおよびオーバーシュートを付加する処理方法を用いて処理せず、スケーリング技術を用いて処理するため、処理後の画像にシュートが生じる問題を解消できる。
【非特許文献１】八木伸行  監修  「ディジタル映像処理」  オーム社  映像情報メディア学会2000編
【非特許文献２】長瀬  章裕ら、「スケーリング技術を応用した輪郭補正方法」2005年映像情報メディア学会年次大会
【非特許文献３】長瀬  章裕ら、「スケーリング技術を応用した輪郭補正における輪郭検出方法」2005年映像情報メディア学会年次大会
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかし、非特許文献２および３に記載の技術では、輪郭幅の検出には、あらかじめ用意した階調の遷移パターンと入力画素とを比較する必要があるため、輪郭幅に応じて階調の遷移パターンを多数用意する必要がある。したがって、上記の技術をハード化する場合、または画像処理装置をソフトにより制御する場合には、非常に多量のリソースを必要とする。また、あらかじめ用意されている階調の遷移パターンに輪郭幅があてはまらない場合には、アルゴリズムが破綻してしまうおそれがある。
【００１１】
さらには、上記技術では、周波数成分に対して低域成分または高域成分を検出するための閾値を設けることによって、輪郭部の誤検出の発生する領域を判別している。これによって、誤検出であると判別された場合、上記技術では、輪郭補正を抑制するようにスケーリングの倍率を調整している。しかし、上記技術では、閾値付近の補正倍率の制御に関しては何ら考慮していない。したがって、上記技術における閾値制御では、閾値付近の輪郭部分において、同じ輪郭部分であるにも関わらず、補正される部分と補正されない部分とが生じ、補正後の画像において、画質の劣化が引き起こされるおそれがある。
【００１２】
本発明は、上記問題に鑑みたものであり、その主たる目的は、輪郭幅に応じた階調の遷移パターンをあらかじめ用意することなく、補正対象画像（原画像）におけるエッジ領域を検出し、必要なリソースの量を低減するとともに、エッジ領域を検出できずにアルゴリズムが破綻してしまうことを防止する画像処理装置を提供することである。
【課題を解決するための手段】
【００１３】
本発明に係る画像処理装置は、上記課題を解決するために、原画像の画像データを、所定の補正割合を用いたスケーリング処理によって補正する補正手段を備えた画像処理装置であって、上記画像データにおいて隣接する画素間の輝度値の差分の符号が変化した直前の画素から、次に変化する直前の画素までが３画素以上である区間を、エッジ領域として検出するエッジ領域検出手段と、上記エッジ領域を構成する画素の輝度値の最大値と最小値との差分値である全体差分値が予め定められた閾値以上である場合に、上記エッジ領域を上記補正手段による補正対象領域として設定する補正対象領域設定手段と、を備えていることを特徴としている。
【００１４】
上記の構成によれば、画像処理装置は、隣接した画素における輝度値の差分の符号が変化した直前の画素から、次に変化するまでが３画素以上である区間をエッジ領域として検出する。そして、検出したエッジ領域を構成する画素の輝度値の最大値と最小値の差分値、すなわち全体差分値を算出する。当該全体差分値が閾値以上である場合、画像処理装置は、検出したエッジ領域を補正対象であると判定する。
【００１５】
これによって、画像処理装置は、あらかじめ輪郭幅に応じた階調の遷移パターンを用意することなく、原画像の画像データにおけるエッジ領域を検出できる。したがって、画像処理装置において必要なリソースの量を低減するとともに、エッジ領域を検出できずにアルゴリズムが破綻してしまうことを防止できる効果を奏する。
【００１６】
また、本発明に係る画像処理装置では、さらに、上記全体差分値に基づく値を、上記補正対象領域に対する補正割合として設定する補正割合設定手段をさらに備えていることが好ましい。
【００１７】
上記の構成によれば、算出した全体差分値を、補正対象領域であるか否かを判定するパラメータとしてだけでなく、補正割合を設定するためのパラメータとして用いることができる。すなわち、補正割合を、算出した全体差分値の値に応じた値として設定できる。これによって、閾値付近の補正対象領域においても画質の劣化を引き起こさないように補正割合を設定できる効果を奏する。
【００１８】
また、本発明に係る画像処理装置では、さらに、上記画像データにおいて隣接する各画素間の輝度値の差分値である部分差分値のうち最大値を算出する部分差分最大値算出手段をさらに備えており、上記補正対象領域設定手段は、上記部分差分値の最大値が予め定められた閾値以上である場合に、上記エッジ領域を上記補正対象領域として設定し、上記補正割合設定手段は、上記部分差分値の最大値が予め定められた閾値以上である場合に、上記部分差分値の最大値に基づく値を、上記補正対象領域に対する上記補正割合として設定することが好ましい。
【００１９】
上記の構成によれば、補正対象であるエッジ領域から、エッジ領域内に急峻な区間を有しておらず、補正する必要がないエッジ領域を除去できる効果を奏する。
【００２０】
また、検出したエッジ領域における最も急峻な部分を検出し、その部分を中心に補正することによって、検出したエッジ領域に、より鮮鋭感のある画像となる補正を施すことができる効果を奏する。
【００２１】
また、本発明に係る画像処理装置では、さらに、上記画像データにおいて隣接する各画素間の輝度値の差分値である部分差分値のうち最大値を算出する部分差分最大値算出手段と、上記部分差分値の最大値に基づいて、上記補正対象領域を構成する画素の上記補正対象領域における位置を検出する位置検出手段と、をさらに備えており、上記補正割合設定手段は、上記部分差分値の最大値が予め定められた閾値以上である場合に、上記位置に基づく値を、上記補正対象領域を構成する画素の補正に用いる上記補正割合として設定することが好ましい。
【００２２】
上記の構成によれば、画素ごとに異なる補正割合を設定できるため、検出したエッジ領域をより一層滑らかなエッジとして補正できる効果を奏する。
【００２３】
また、本発明に係る画像処理装置では、さらに、上記画像データにおいて隣接する各画素間の輝度値の差分値である部分差分値のうち最大値を算出する部分差分最大値算出手段と、上記部分差分値の最大値と上記部分差分値との差分値であるグラデーション検出値を、上記部分差分値ごとに算出するグラデーション検出値算出手段と、をさらに備えており、上記補正割合設定手段は、上記部分差分値の最大値が予め定められた閾値以上である場合に、上記補正対象領域のうち上記部分差分値の算出対象とした上記画素ごとに、当該部分差分値に対応する上記グラデーション検出値に基づく値を、当該画素の補正に用いる上記補正割合として設定することが好ましい。
【００２４】
上記の構成によれば、グラデーションが形成されている部分には、グラデーションを考慮した補正割合を設定できるため、グラデーションが崩壊することによる画質の劣化を抑制できる効果を奏する。
【００２５】
また、上記の構成によれば、補正割合を全体差分値、部分差分値の最大値、エッジ領域における位置、およびグラデーション検出値に基づいた値の組み合わせによって設定できる。これによって、補正対象領域を補正するために最も好適であるように補正割合を設定できる効果を奏する。
【００２６】
また、本発明に係る画像処理装置では、さらに、上記補正手段は、上記補正対象領域における両端部の画素以外の画素を補正することが好ましい。
【００２７】
上記の構成によれば、隣接するエッジ領域にも含まれる場合があるエッジ重なり部の画素が、いずれか一方のエッジ領域に基づいて補正されることを防ぐことができる。これによって、補正後の画像における画質の劣化を防ぐことができる効果を奏する。
【００２８】
本発明に係る画像処理方法は、原画像の画像データを、所定の補正割合を用いたスケーリング処理によって補正する補正工程を含む画像処理方法であって、上記画像データにおいて隣接する画素間の輝度値の差分の符号が変化した直前の画素から、次に変化する直前の画素までが３画素以上である区間を、エッジ領域として検出するエッジ領域検出工程と、上記エッジ領域を構成する画素の輝度値の最大値と最小値との差分値である全体差分値が予め定められた閾値以上である場合に、上記エッジ領域を上記補正工程における補正対象領域として設定する補正対象領域設定工程と、を含むことを特徴としている。
【００２９】
上記の構成によれば、本発明に係る画像処理装置と同様の作用効果を奏する。
【００３０】
なお、上記画像処理装置は、コンピュータによって実現してもよい。この場合、コンピュータを上記各手段として動作させることにより上記画像処理装置をコンピュータにおいて実現する画像処理プログラム、およびその画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【発明の効果】
【００３１】
以上のように、本発明に係る画像処理装置は、原画像における画像データからエッジ領域を検出するエッジ領域検出手段と、検出したエッジ領域から算出した全体差分値に基づいて、当該エッジ領域が補正対象であるかどうかを判定するとともに補正割合を設定する補正対象エッジ領域検出手段と、を備えている。これによって、画像処理装置における必要なリソースの量を低減するとともに、エッジ領域を検出できずにアルゴリズムが破綻してしまうことを防止できる効果を奏する。
【発明を実施するための最良の形態】
【００３２】
〔実施形態１〕
本発明に係る画像処理装置の一実施形態について、図１〜図１１を参照して以下に説明する。
【００３３】
（画像処理装置１の構成）
まず、本発明に係る画像処理装置１について、図１を参照して以下に説明する。図１は、本発明の一実施形態に係る画像処理装置１の要部構成を示すブロック図である。画像処理装置１は、図１に示すように、エッジ検出部２、スケーリング処理部３（補正手段）、メモリコントローラ４、ラインメモリ５、補正率算出部９、画素位置検出部１０、補正方向設定部１１およびグラデーション検出部１２を備えている。
【００３４】
（エッジ検出部２の構成）
エッジ検出部２は、画像処理装置１に入力された補正対象画像の画像信号からエッジ領域を検出するためのものである。エッジ検出部２は、図１に示すように、差分符号検出部６（エッジ領域検出手段）、全体差分値検出部７（補正対象領域検出手段）および部分差分最大値検出部８を備えている。各部材の詳細については、後述する。
【００３５】
（スケーリング処理部３の構成）
スケーリング処理部３（補正手段）は、エッジ検出部２において検出されたエッジ領域に、後述する補正率算出部９（補正割合設定手段）、画素位置検出部１０および補正方向設定部１１において算出および設定された補正情報に基づいて補正対象画像をスケーリング処理するものである。スケーリング処理部３は、図１に示すように、ターゲット画素補正部１３およびフィルタ演算部１４を備えている。各部材の詳細については、後述する。
【００３６】
（メモリコントローラ４およびラインメモリ５）
メモリコントローラ４は、スケーリング処理部３において補正する補正対象画像におけるエッジ領域の画素の位置情報をスケーリング処理部３から受け取り、ラインメモリ５に伝えるものである。ラインメモリ５は、補正対象画像の画像信号を記録しているメモリであり、メモリコントローラ４から伝えられる情報に基づいて、スケーリングに必要な画素情報をスケーリング処理部３に供給する。
【００３７】
（補正率算出部９、画素位置検出部１０、補正方向設定部１１およびグラデーション検出部１２）
補正率算出部９は、エッジ検出部２において検出されたエッジ領域における各画素の補正割合に基づいて補正率（補正割合）を算出するためのものである。画素位置検出部１０は、エッジ検出部２において検出されたエッジ部分における画素位置を検出するものである。補正方向設定部１１は、画素位置検出部１０によって位置が明確となった画素の補正方向を設定するものである。グラデーション検出部１２は、エッジ検出部２において検出されたエッジ領域においてグラデーションが形成されているか否かを判定するものである。各部材の詳細については後述する。
【００３８】
ここで、本実施形態における「補正率」とは、スケーリング処理時に用いる補正割合を意味している。なお、本実施形態において「補正割合」とは、上記補正率を算出するためのパラメータであることを意味している。
【００３９】
（画像処理プロセスの概要）
次に、画像処理装置１における画像処理プロセスの概要について、図２を参照して以下に説明する。図２は、画像処理装置１における画像処理プロセスの概要を示すフローチャートである。
【００４０】
（画像信号の入力）
まず、画像処理装置１は、補正対象画像（原画像）の画像信号（画像データ）を取得する（ステップＳ５０）。なお、補正対象画像は、特に限定されるものではなく、例えば、コンピュータなどから入力される静止画像であってもよいし、テレビまたはビデオなどから入力される動画像であってもよい。
【００４１】
（エッジ領域の検出）
エッジ検出部２は、入力された画像信号からエッジ領域を検出する（ステップＳ５１）。具体的には、まず、エッジ検出部２の差分符号検出部６が、ステップＳ５０において取得された画像信号における輝度値を検出し、検出した輝度値に基づいて、隣接する画素との輝度値の差分を取ったときの符号を差分符号として算出する。そして、符号が変化（＋から−、または−から＋に変化）した画素の一つ前の画素から、次に符号が変化する画素の一つ前の画素までが３画素以上である区間を「エッジ領域」として検出する。また、差分符号が変化する一つ前の画素は、エッジ重なり部として設定され、補正されない。エッジ重なり部として設定された画素が補正されない理由については、具体例を示しながら下記に説明する。
【００４２】
（補正対象とするエッジ領域の検出）
次に、エッジ検出部２は、検出したエッジ領域を補正の対象とするか否か判定する（ステップＳ５２およびステップＳ５３）。具体的には、エッジ検出部２の全体差分値検出部８が、エッジ領域における輝度値の最大値と最小値との差分値である全体差分値を算出する（ステップＳ５２）。図３には、エッジ領域における全体差分値の一例を模式的に示している。
【００４３】
そして、ステップＳ５３において、算出した全体差分値が、閾値よりも大きいか否かを判定する。全体差分値が閾値よりも小さい場合（ステップＳ５３においてＮｏ）には、検出したエッジ領域を微小振幅などのノイズ成分であると判定し、ノイズ成分などの輪郭強調を避けるために輪郭補正を施さない（ステップＳ５５）。全体差分値が閾値よりも大きい場合（ステップＳ５３においてＹｅｓ）には、検出したエッジ領域を補正対象であると判定する。すなわち、全体差分値検出部７は、差分符号検出６において検出したエッジ領域から、スケーリング処理部３による補正の対象となるエッジ領域である「補正対象領域」を検出する。
【００４４】
なお、ステップＳ５３における閾値は、画像処理を操作する操作者によって適宜設定されてもよいし、あらかじめ設定された数値であってもよい。また、エッジ領域ごとによってその都度算出してもよい。
（補正が必要であるエッジ領域の検出）
全体差分値検出部７において、検出したエッジ領域が補正対象領域であると判定した場合（ステップＳ５３においてＹｅｓ）、エッジ検出部２は、検出した補正対象領域を補正するか否か判定する（ステップＳ５４およびステップＳ５６）。具体的には、エッジ検出部２の部分差分最大値検出部８が、部分差分最大値を算出する（ステップＳ５４）。部分差分最大値は、隣接する画素間の輝度値の差分である部分差分値を算出し、算出した部分差分値の最大値を検出することによって設定される。図４には、エッジ領域における部分差分値および部分差分最大値の一例を模式的に示している。
【００４５】
そして、ステップＳ５６において、算出した部分差分最大値が、閾値よりも大きいか否かを判定する。すなわち、部分差分最大値検出部８では、検出した補正対象領域が、領域内に急峻な区間を有している場合に、補正対象領域をスケーリング処理部３による補正が必要であるエッジ領域として判定する。すなわち、部分差分最大値検出部８は、全体差分値検出部７において検出した補正対象領域のうち、補正が必要であるエッジ領域を絞り込む。
【００４６】
部分差分最大値が閾値よりも小さい場合（ステップＳ５６においてＮｏ）には、検出した補正対象領域を補正する必要はないと判定し、輪郭補正を施さない。（ステップＳ５５）。部分差分最大値が閾値よりも大きい場合（ステップＳ５６においてＹｅｓ）には、検出した補正対象領域を補正の必要なエッジ領域であると判定する。
【００４７】
なお、ステップＳ５６における閾値は、画像処理を操作する操作者によって適宜設定されてもよいし、あらかじめ設定された数値であってもよい。また、エッジ領域ごとによってその都度算出してもよい。
【００４８】
（補正方向の設定および補正率ｊの算出）
次に、補正率算出部９、画素位置検出部１０および補正方向設定部１１は、補正が必要であると判定した領域を補正するための補正情報を設定する（ステップＳ５７）。なお、上記補正情報とは、補正率、補正方向および補正対象画素の座標である。
【００４９】
具体的には、補正率算出部９において、エッジ領域を補正するための補正率ｊを算出し、画素位置検出部１０および補正方向設定部１１において、エッジ領域を構成する各画素の補正方向を設定する。補正率ｊの算出方法および補正方向の設定方法のより詳細な求め方については、後で詳述する。
【００５０】
（輪郭補正の実行）
最後に、スケーリング処理部３が、ステップＳ５７において算出および設定された補正情報に基づいて、エッジ領域のスケーリング処理を実行する（ステップＳ５８）。
【００５１】
具体的には、スケーリング処理部３におけるターゲット画素補正部１３は、画素位置検出部１０において検出した補正対象画素の位置とともに、ステップＳ５７において算出および設定された補正情報を取得する。スケーリング処理部３が、ターゲット画素補正部１３に補正率ｊ、補正方向および補正対象画素の位置を取得すると、スケーリング処理部３は、補正対象画像の読み出したい画素位置をメモリコントローラ４へと送り、メモリコントローラ４は、ラインメモリ５からスケーリングに必要な画素情報を読み出す。フィルタ演算部１４は、ラインメモリ５から読み出された画素情報をターゲット画素補正部１３の有する補正率ｊおよび補正方向のパラメータに基づいてフィルタ演算する。
【００５２】
なお、画像を拡大する際には、出力先のデバイスにおける解像度に変換した後に等倍時と同様に処理することが最も好ましい。しかし、画像の拡大前に補正を施すターゲット画素のエッジ領域における位置関係に基づいて、補間画素のターゲット画素に対する補正率を算出することによって、画像を拡大すると同時に補正を施すこともできる。
【００５３】
以上の処理を経て、画像処理装置１は、補正後の画像信号を出力する。なお、スケーリング処理部４におけるスケーリング処理は、従来公知の手法を用いることができる。
【００５４】
（本実施形態の利点）
以上のように、本発明に係る画像処理装置１では、あらかじめ用意した階調の遷移パターンと、補正対象画像における画像信号の画素とを比較することなく、補正対象画像におけるエッジ領域を検出できる。
【００５５】
これによって、階調の遷移パターンをあらかじめ用意する必要がなくなるため、必要なリソースの量を低減できるとともに、検出したエッジ領域を構成する画素の輝度値に基づいて補正割合を算出することによって、階調の遷移パターンに当てはまらず、アルゴリズムが破綻することを防止できる。
【００５６】
また、本発明に係る画像処理装置１では、エッジ領域を検出するために、差分符号検出部６において検出したエッジ領域における画素の輝度値の最大値と最小値の差分値、すなわち全体差分最大値を算出し、算出した全体差分最大値と閾値とを比較している（ステップＳ５２および５３）。
【００５７】
これによって、差分符号検出部６において検出したエッジ領域からノイズ成分などの微小振幅を除くことができる。これによって、ノイズ成分などを輪郭強調することによって、補正後の画像が劣化してしまうことを防止できる。
【００５８】
また、本発明に係る画像処理装置１では、隣接する画素間の輝度値の差分である部分差分値の最大値、すなわち部分差分最大値と閾値とを比較している（ステップＳ５４および５６）。
【００５９】
これによって、補正対象領域から、補正する必要がないエッジ領域を除去できる。また、エッジ領域における急峻な部分を検出し、その部分を中心に補正することによって、検出したエッジ領域に、より鮮鋭感のある画像となる補正を施すことができる。
【００６０】
（補正するエッジ領域の検出の具体例）
次に、上述した画像処理装置１において補正するエッジ領域の検出の具体例について、図５を参照して以下に説明する。図５は、画像処理装置１に入力された入力画像信号における輝度グラフ９０、当該画像信号から算出されるデータ、および画像処理装置１から出力された出力画像信号における輝度グラフ１００を示す図である。
【００６１】
図５における入力画像信号では、例えば、符号が変化（＋から−、または−から＋に変化）した画素９０ｂの一つ前の画素９０ａから、次に符号が変化する画素９０ｌの一つ前の画素９０ｈまでがエッジ領域９１として検出される。なお、図５において、符号は、一つ前の画素から輝度値が増加している場合には「＋」、減少している場合には「−」として示している。
【００６２】
検出したエッジ領域９１における全体差分値は、画素９０ａ（輝度値：２７０）と画素９０ｈ（輝度値：３）との差分値である「２２７」となる。すなわち、閾値が「２２７」より大きい場合、全体差分値検出部７は、検出したエッジ領域９１を補正の対象であると補正対象領域であると判定する。
【００６３】
エッジ領域９１における部分差分値は、それぞれ図５に示すようになり、画素９０ｃと画素９０ｄとの間の部分差分値である「６８」が部分差分最大値となる。すなわち、閾値が「６８」より大きい場合、部分差分最大値検出部８は、エッジ領域９１を補正する必要があるエッジ領域であると判定する。
【００６４】
また、画素９０ａおよび画素９０ｈは、差分符号検出部６においてエッジ領域９１が検出される際にエッジ重なり部として設定され、補正されない。これは、画素９０ａは、画素９０ｉから画素９０ａまでの画素によって形成されるエッジ領域９２にも含まれる画素であり、画素９０ａを補正すると、エッジ領域９１またはエッジ領域９２のどちらかに偏った補正となってしまい、画質が補正前よりも劣化してしまうおそれがあるからである。また、画素９０ｈも、画素９０ｈから画素９０ｍまでの画素によって形成されるエッジ領域９３に含まれる画素であり、画素９０ａの場合と同様である。したがって、差分符号検出部６では、補正できる点を少なくとも１点確保するために、符号が変化した画素の一つ前の画素から、次に符号が変化する画素の一つ前の画素までが３画素以上である区間をエッジ領域として検出している。
【００６５】
（補正方向の設定方法および補正率ｊの算出方法）
次に、ステップＳ５７における補正率ｊのより詳細な算出方法、および補正方向のより詳細な設定方法について、図６を参照して以下に説明する。図６は、本実施の形態における補正率ｊのより詳細な算出方法、および補正方向のより詳細な設定方法を示すフローチャートである。
【００６６】
まず、全体差分値請求項底部７および部分差分最大値８は、補正率ｊを算出するためのパラメータとして、補正割合ｆおよび補正割合ｇをそれぞれ設定する（ステップＳ５７ａおよびステップＳ５７ｂ）。補正割合ｆおよびｇの詳細な設定方法については、後で詳述する。
【００６７】
次に、画素位置検出部１０において、エッジ領域を構成する画素の位置を検出する（ステップＳ５７ｃ）。そして、検出した画素位置情報に基づいて、補正割合ｈを設定する（ステップＳ５７ｄ）。なお、補正割合ｈは、補正対象領域を構成する各画素ごとに設定される。画素位置の検出および補正割合ｈの詳細な設定方法については、後で詳述する。
【００６８】
なお、画素位置検出部１０に検出されたエッジ領域を構成する画素の位置、すなわち画素座標は、補正割合ｈの設定の他にも、下記に説明する補正方向の設定およびスケーリング処理時におけるラインメモリ５からの画像信号の読み出しにも用いられる。
【００６９】
その後、グラデーション検出部１２は、補正を施すエッジ領域の各区間がグラデーションを形成しているか否かを判定する（ステップＳ５７ｅ）。エッジ領域においてグラデーションが形成されている場合には、図７に示すように、部分差分最大値と部分差分値との差分値が非常に小さくなっている。このような場合、部分差分最大値を有する区間を優先的に補正すると、図８に示すように、形成されていたグラデーションが崩れてしまい、補正後の画像において画質の劣化が引き起こされる。なお、図７には、エッジ領域におけるグラデーションの一例を模式的に示している。また、図８には、グラデーションの形成を無視し、画像を補正した場合の輝度グラフを示しており、実線が補正前の輝度グラフであり、破線が補正後の輝度グラフである。
【００７０】
したがって、グラデーション検出部１２では、グラデーションの崩壊を防ぐために、部分差分最大値と部分差分値との差分値であるグラデーション検出値を部分差分値ごとに算出し、算出したグラデーション検出値に基づいて、補正割合ｉを設定する（ステップＳ５７ｆ）。なお、グラデーション検出値は、部分差分値ごとに算出されるため、補正割合ｉは補正対象領域を構成する画素それぞれに設定される。補正割合ｉの詳細な設定方法については、後で詳述する。
【００７１】
補正割合ｆ〜ｉが設定されると、補正率算出部９は、設定した補正割合ｆ〜ｉを組み合わせることにより補正率ｊを算出する（ステップＳ５７ｇ）。補正率ｊの算出方法は、補正割合ｆ〜ｉに基づいて算出されれば特に限定されるものではない。補正率ｊの算出方法として、例えば、補正割合ｆ〜ｉの積（すなわちｆ×ｇ×ｈ×ｉ）を算出する方法を一例として挙げることができる。
【００７２】
補正率算出部９において補正率ｊが算出されると、補正方向設定部１１は、画素位置検出部１０によって検出された画素位置に基づいて、エッジ領域を構成する画素の補正方向を設定する（ステップＳ５７ｈ）。具体的には、部分差分最大値検出部８において算出された部分差分最大値を挟んで補正方向が変化するように、各画素に方向性フラグを設定する。なお、方向性フラグは、補正後のエッジ領域が急峻となるように設定される。すなわち、補正方向設定部１１は、それぞれの画素の近傍に位置するエッジ重なり部の画素に近づくように方向性フラグを設定する。なお、方向性フラグは、補正する画素それぞれに設定される。
【００７３】
なお、本実施の形態においては、補正割合ｆ、補正割合ｇ、補正割合ｈそして補正割合ｉの順に補正割合を設定しているが、補正割合ｆ〜ｉの設定順は、これに限定されるものではない。例えば、補正割合ｆおよびｇを設定した後、補正割合ｉ、補正割合ｈの順に設定してもよいし、また補正割合ｆおよびｇを設定する前にグラデーションおよび画素位置を検出し、補正割合ｈおよびｉを設定してもよい。
【００７４】
また、本実施の形態においては、補正率ｊを算出した後に補正方向を設定しているが、これに限定されるものではなく、補正方向を設定した後に補正率ｊを算出してもよい。
【００７５】
（補正割合ｆの詳細な設定方法）
補正割合ｆの設定方法は、特に限定されるものではない。例えば、ステップＳ５３において設定した閾値（ｔｈ＿ａｄｓ）を補正割合０％と設定すると共に、補正割合を１００％と設定する全体差分値（ｔｈ＿ａｄｅ）を設定し、算出した全体差分最大値に応じて補正割合ｆを設定する方法を挙げることができる。例えば、図９に示すように、全体差分値と補正割合ｆとの間には比例関係が成立しており、その比例関係に基づいて補正割合ｆが設定されていてもよい。図９は、全体差分値と補正割合ｆと間の関係の一例を示す図である。
【００７６】
もちろん補正割合ｆは、ｔｈ＿ａｄｓとｔｈ＿ａｄｅとの間における比例関係による設定に限定されるものではなく、指数関数的に増加するように設定されてもよいし、その他の関数に基づいて設定されてもよい。
【００７７】
これによって、全体差分値の大きさが小さい場合には補正割合を小さく、全体差分値の大きさが大きい場合には補正割合を大きく設定できるため、閾値付近のエッジ領域に対しても好適な補正割合を設定することができ、補正後の画像の劣化を防止できる。
【００７８】
なお、ｔｈ＿ａｄｅは、あらかじめ設定されている固定値でもよいし、操作者によって適宜設定されてもよい。また、算出された全体差分値に基づいて、エッジ領域ごとに適宜算出するようにしてもよい。
【００７９】
なお、図８の具体例では、全体差分値検出部７は、全体差分値である「２７７」を用いて補正割合ｆを設定する。
【００８０】
（補正割合ｇの詳細な設定方法）
補正割合ｇの設定方法は、補正割合ｆの設定方法と同様に特に限定されるものではない。例えば、ステップＳ５６（図２参照）において設定した閾値（ｔｈ＿ｍｄｓ）を補正割合０％と設定すると共に、補正割合を１００％と設定する部分差分最大値（ｔｈ＿ｍｄｅ）を設定し、算出した部分差分最大値に応じて補正割合ｇを設定する方法を挙げることができる。例えば、図１０に示すように、部分差分最大値と補正割合ｇ間には比例関係が成立しており、その比例関係に基づいて補正割合ｇが設定されていてもよい。図１０は、部分差分最大値と補正割合ｇとの関係の一例を示す図である。
【００８１】
もちろん補正割合ｇは、ｔｈ＿ｍｄｓとｔｈ＿ｍｄｅとの間における比例関係による設定に限定されるものではなく、指数関数的に増加するように設定されてもよいし、その他の関数に基づいて設定されてもよい。
【００８２】
これによって、部分差分最大値の大きさが小さい場合には補正割合を小さく、部分差分最大値の大きさが大きい場合には補正割合を大きく設定できるため、閾値付近のエッジ領域に対しても好適な補正割合を設定することができ、補正後の画像の劣化を防止できる。
【００８３】
なお、ｔｈ＿ｍｄｅは、あらかじめ設定されている固定の値でもよいし、操作者によって適宜設定されてもよい。また、算出された部分差分最大値に基づいて、エッジ領域ごとに適宜算出するようにしてもよい。
【００８４】
なお、図８の具体例では、部分差分最大値検出部８は、部分差分最大値＝６８を用いて補正割合ｇを設定する。
【００８５】
（補正割合ｈの詳細な設定方法）
補正割合ｈの設定方法も、補正割合ｆおよびｇの設定方法と同様に特に限定されるものではない。例えば、部分差分最大値検出部８において算出した部分差分最大値を有する画素を中心と設定し、中心と設定した画素から離れるにしたがって、補正割合を徐々に減ずる設定方法を挙げることができる。
【００８６】
補正割合ｈの設定方法の具体例について、図５を参照して以下に説明する。上述したように、エッジ領域９１における部分差分最大値は、画素９０ｃの輝度値と画素９０ｄの輝度値との差分値であるため、画素位置検出部１０は、画素９０ｃおよび画素９０ｄをエッジ領域９１の中心と設定する。図５では、画素９０ｃおよび画素９０ｄをエッジ内位置「１」と設定している。続いて、画素９０ｃおよび画素９０ｄに隣接する画素である画素９０ｂおよび画素９０ｅをエッジ内位置「２」と設定する。以後同様に、画素９０ａおよび画素９０ｆをエッジ内位置「３」、画素９０ｇをエッジ内位置「４」、そして画素９０ｈをエッジ内位置「５」と設定する。
【００８７】
エッジ位置検出部１０は、エッジ領域９１を構成する画素９０ａ〜９０ｈのエッジ内位置を設定すると、設定したエッジ内位置に基づいて、画素ごとに補正割合ｈを設定する。例えば、エッジ内位置を「１」と設定した画素９０ｃおよび画素９０ｄの補正割合ｈを１００％、エッジ内位置を「２」と設定した画素９０ｂおよび画素９０ｅの補正割合ｈを８０％、エッジ内位置を「３」と設定した画素９０ｆの補正割合ｈを６０％、そしてエッジ内位置を「４」と設定した画素９０ｇの補正割合ｈを４０％と設定する。なお、画素９０ａおよび画素９０ｈは、エッジ重なり部として設定されているため、補正割合ｈは設定されない。
【００８８】
このように、エッジ領域を構成する画素ごとに異なる補正割合を設定し、かつエッジ領域における両端の画素、すなわちエッジ重なり部として設定されている画素に近づくほど補正割合ｈを減少させることによって、補正後の画像におけるエッジ領域をより一層滑らかに補正できる。
【００８９】
なお、エッジ内位置における補正割合ｈは、あらかじめ設定されていてもよいし、操作者によって適宜設定されてもよい。また、例えば、エッジ内位置が「１」の補正割合ｈを１００％とし、「２」の補正割合を６０％とし、「３」の補正割合を５０％とするように、エッジ内位置と補正割合ｈとの間に比例関係が成立していなくてもよい。
【００９０】
（補正割合ｉの詳細な設定方法）
補正割合ｉの設定方法も、補正割合ｆ、ｇおよびｈの設定方法と同様に、特に限定されるものではない。例えば、グラデーション検出値が０である場合を補正割合０％と設定すると共に、補正割合を１００％と設定する閾値（ｔｈ＿ｄｍａｘ）を設定し、算出したグラデーション検出値に応じて補正割合ｉを設定する方法を挙げることができる。具体的には、図１１に示すように、グラデーション検出値と補正割合ｉ間には比例関係が成立しており、その比例式に基づいて補正割合ｉが設定されてもよい。図１１は、部分差分最大値と補正割合ｉと間の関係の一例を示す図である。
【００９１】
もちろん補正割合ｉは、グラデーション検出値０とｔｈ＿ｄｍａｘとの間における比例関係による設定に限定されるものではなく、指数関数的に増加するように設定されてもよいし、その他の関数に基づいて設定されてもよい。
【００９２】
これによって、グラデーションが形成されている部分には、グラデーションに応じた補正割合を設定できるため、グラデーションが崩れてしまうことによって補正後の画像における画質の劣化を防止できる。
【００９３】
なお、ｔｈ＿ｄｍａｘは、あらかじめ設定されている固定の値でもよいし、操作者によって適宜設定されてもよい。また、算出されたグラデーション検出値に基づいて、エッジ領域ごとに適宜算出するようにしてもよい。
【００９４】
（補正方向設定の具体例）
補正方向を設定する具体例について、図５を参照して以下に説明する。
【００９５】
エッジ領域９１における部分差分最大値は上述したように、画素９０ｃの輝度値と画素９０ｄの輝度値との差分値である。したがって、エッジ領域９１において、画素９０ｂおよび画素９０ｃの方向性フラグは上方向（図８においては「−１」）に、画素９０ｄ、画素９０ｅ、画素９０ｆおよび画素９０ｇの方向性フラグは下方向（図８においては「１」）に設定される。なお、エッジ重なり部である画素９０ａおよび画素９０ｈは、補正されないため、補正方向は設定されない。
【００９６】
（補正率ｊの算出方法の変形例）
補正率算出部９において算出される補正率ｊは、補正割合ｆ〜ｉの組み合わせに応じて適宜算出できる。すなわち、上述した例においては補正率ｊを補正割合ｆ〜ｉ全てを用いて算出しているが、これに限定されるものではない。これによって、補正率ｊを、検出したエッジ領域を補正するために最も好適である値として算出できる。
【００９７】
例えば、補正割合ｆを除いた残りの３つの補正割合である補正割合ｇ、補正割合ｈおよび補正割合ｉを用いて補正率ｊを算出してもよい。
【００９８】
これによって、全体差分値の大きさに関わらず、部分差分最大値の大きさに基づいた補正率ｊを算出できる。
【００９９】
また、他には、補正割合ｈおよび補正割合ｉを除いた残りの２つの補正割合である補正割合ｆおよび補正割合ｇを用いて補正率ｊを算出した場合には、エッジ領域を構成する画素を全て同じ補正率を用いて補正できる。
【０１００】
この場合、補正割合ｆ〜ｉ全てを用いた補正よりも補正後の画像の滑らかさでは劣るものの、画素ごとの補正率を算出することなく補正できるために、補正に要する時間を短縮できる。
【０１０１】
もちろん、補正率ｊを算出する補正割合ｆ〜ｉの組み合わせは上記例に限るものではなく、補正割合ｆ〜ｉの組み合わせ、全１２通り全てにおいて可能である。また、補正割合ｆ〜ｊを組み合わせず、補正割合ｆ〜ｉのいずれか１つを補正率ｊとして設定してもよい。
【０１０２】
なお、通常、部分差分最大値を有する区間は、エッジの中心付近にあり、エッジ領域の両端部に近づくほど部分差分値は小さくなることから、画素ごとの補正率を等しくしても十分に滑らかな画像として補正できる。
【０１０３】
また、補正率ｊを算出するパラメータである補正割合ｆ〜ｉは、エッジ領域の特性にしたがって自動的に設定されてもよいし、操作者により適宜選択されるようにしてもよい。
【０１０４】
（付記事項）
最後に、画像処理装置１の各ブロックは、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０１０５】
すなわち、画像処理装置１は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像処理装置１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記画像処理装置１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０１０６】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスクなどの磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒなどの光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭなどの半導体メモリ系などを用いることができる。
【０１０７】
また、画像処理装置１を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網などが利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網などの無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【０１０８】
なお、本発明は、上述した実施形態に限定されるものではなく、請求項に示した範囲において種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【０１０９】
本発明に係る画像処理装置を用いることによって、画像を拡大表示した際であっても、鮮鋭度の低下していない画像として表示できる。具体的には、ＳＤ解像度において記録された映像をＨＤ解像度を有するテレビに表示した際に、画質の劣化を抑制した鮮鋭な映像として表示できる。
【図面の簡単な説明】
【０１１０】
【図１】本発明に係る画像処理装置の要部構成を示すブロック図である。
【図２】本発明に係る画像処理装置の処理プロセスの概要を示すフローチャートである。
【図３】エッジ検出部において検出したエッジ領域における全体差分値を模式的に示す図である。
【図４】エッジ検出部において検出したエッジ領域における部分差分値および部分差分最大値を模式的に示す図である。
【図５】本発明に係る画像処理装置に入力された入力画像信号における輝度グラフ、当該画像信号から算出されるデータ、および画像処理装置から出力された出力画像信号における輝度グラフを示す図である。
【図６】本発明に係る画像処理装置の補正率および補正方向の詳細な設定プロセスを示すフローチャートである。
【図７】エッジ検出部において検出したエッジ領域におけるグラデーションの一例を模式的に示す図である。
【図８】エッジ領域におけるグラデーションの形成を無視して画像を補正した場合の輝度グラフを示す図であり、実線が補正前の輝度グラフであり、破線が補正後の輝度グラフである。
【図９】補正割合ｆと全体差分値との間の関係の一例を示す図である。
【図１０】補正割合ｇと部分差分最大値との間の関係の一例を示す図である。
【図１１】補正割合ｉとグラデーション検出値との間の関係の一例を示す図である。
【図１２】従来の輪郭補正処理を示す図であり、実線が補正前の画像データにおける輝度グラフであり、破線が補正後の画像データにおける輝度グラフである。
【符号の説明】
【０１１１】
１        画像処理装置
２        エッジ検出部
３        スケーリング処理部（補正手段）
４        メモリコントローラ
５        ラインメモリ
６        差分符号検出部（エッジ領域検出手段）
７        全体差分値検出部（補正対象領域検出手段）
８        部分差分最大値検出部
９        補正率算出部（補正割合設定手段）
１０      画素位置検出部
１１      補正方向設定部
１２      グラデーション検出部（グラデーション検出値算出手段）
１３      ターゲット画素補正部
１４      フィルタ演算部
【図１】
2008271259.tif 000003
【図２】
2008271259.tif 000004
【図３】
2008271259.tif 000005
【図４】
2008271259.tif 000006
【図５】
2008271259.tif 000007
【図６】
2008271259.tif 000008
【図７】
2008271259.tif 000009
【図８】
2008271259.tif 000010
【図９】
2008271259.tif 000011
【図１０】
2008271259.tif 000012
【図１１】
2008271259.tif 000013
【図１２】
2008271259.tif 000014