(57)【要約】【課題】明確な判定基準に基づいて最適な補間処理を選択することにより、擬似階調処理を施した画像の画質を向上させる画像信号処理装置を得ることを目的とする。【解決手段】擬似階調処理が行われたとき生成された擬似階調振幅１００を入力して所定の値を加算する加算手段１０１と、輝度差検出手段６から入力した輝度差の値と加算手段１０１から入力した値とを比較する比較手段９とを備え、比較手段７，９が比較結果に適したものが補間フィルタ２，３，４の中から選択されるように切替手段８，１０を制御する。【選択図】        図１
2004153322.tif 000002
【特許請求の範囲】
【請求項１】
入力画像にそれぞれ異なる補間処理を行う複数の補間フィルタと、前記複数の補間フィルタの出力を切り替えて出力する切替手段と、前記入力画像の輝度差を検出する輝度差検出手段と、前記輝度差を入力して前記切替手段を制御する比較手段とを備えた画像信号処理装置において、
擬似階調処理が行われたとき生成された情報を入力して所定の値を加算する加算手段を備え、
前記比較手段は、前記輝度差検出手段から入力した輝度差の値と前記加算手段から入力した値とを比較し、その比較結果に適した補間処理を行う補間フィルタが前記複数の補間フィルタの中から選択されるように前記切替手段を制御することを特徴とする画像信号処理装置。
【請求項２】
擬似階調処理が行われたとき生成された情報は、擬似階調処理を行ったとき減縮された微小階調を表す擬似階調振幅であることを特徴とする請求項１記載の画像信号処理装置。
【請求項３】
加算手段は、擬似階調振幅の値に所定の値として＋１を加算することを特徴とする請求項２記載の画像信号処理装置。
【請求項４】
入力画像に近傍補間を行う近傍補間フィルタ及び異なる補間処理を行う補間フィルタと、前記複数の補間フィルタの出力を切り替えて出力する切替手段と、前記入力画像の輝度差を検出する輝度差検出手段と、前記輝度差を入力して前記切替手段を制御する比較手段とを備えた画像信号処理装置において、
外部からの同期入力に基づいて周期パターンを発生させるパターン発生手段と、
前記パターン発生手段から入力した周期パターンに基づいて補間処理を行う位置をずらすように前記近傍補間フィルタを制御する位相変更手段とを備えた画像信号処理装置。
【請求項５】
パターン発生手段がランダムな周期パターンを発生させるときに用いる乱数を発生する乱数発生手段を備え、
位相変更手段は、順次近傍補間フィルタで処理される画像のフィールドの中から、パターン発生手段から入力したランダムな、または一定の周期パターンに基づいて処理するフィールドを選択し、当該処理するフィールドにおいて１画素単位で補間処理を行う位置をずらすように前記近傍補間処理フィルタを制御することを特徴とする請求項４記載の画像信号処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、例えば解像度変換や拡大、縮小、回転などの画像変形処理を画面全体もしくは局所的に行う画像信号処理装置に関するものである。
【０００２】
【従来の技術】
デジタル画像信号を処理する画像信号処理装置は、例えば原画像を変倍した出力画像を得るとき、原画像に存在しない位置の画素値を求める必要がある。そのため原画像を補間する出力画素値を求める処理が行われる。
【０００３】
原画像を補間する方法として直交変換を利用する方法、バイリニア法、キュービックコンボリューション（以下、Ｃｕｂｉｃ補間と記載する）、近傍補間、線形補間等が用いられる。特に、Ｃｕｂｉｃ補間や直交変換を利用する補間方法を用いてフィルタ処理を行うと高品質の出力画像が得られる。
【０００４】
補間方法の選択、即ち補間フィルタの選択は、例えば特許文献１に記載されている階調数検出手段のように、注目画素において３×３のウインドウを作成し、これらのウインドウ内に幾種の階調数が存在するかを検出して、当該階調数に適したものを選ぶようにしている。特許文献１に開示された発明では、検出された階調数に基づいて平滑化処理や線形補間に基づく配置・合成等の処理を行う各処理手段が選択されるように構成されている。これらの処理手段の選択は、階調数検出手段によって検出された階調数とコントラストの大小とを組み合わせた各カテゴリーを想定して、カテゴリー毎に実施する処理を設定しておき、所望の画像処理に対応するカテゴリーが選択されることによって、当該画像処理に適した各処理手段が選択される。なお、特許文献１に記載された発明は、主に線形補間処理を行う補間手段が用いられ、入力される画像信号が所定のレベルより小さいときに０次補間手段が用いられるように構成されているが、他の補間処理を行う補間手段を備えて構成しても同様な作用効果が得られるものである。
【０００５】
また、変倍画像を得る補間処理を行うとき、入力された画像信号がどのようなものかを識別する処理が行われる。この識別処理は、例えば特許文献２に開示された発明のように読み取った画像に複数の特徴パラメータを軸とした多次元空間を想定し、この多次元空間上において非線形な所定の特性を含む境界線をひいて文字領域、写真領域、網点領域の各領域を設定して、この多次元空間上に各特徴パラメータの特徴量をプロットし、各領域のプロット状況から識別情報を取得する方法がある。即ち、この方法では各々の特徴パラメータに対して個別に閾値を設定するのではなく、多次元空間上に想定した特徴量を分類する非線形な特性を含む境界線に基づいて識別処理がなされる。
【０００６】
【特許文献１】
特開２００１−１８９８５１公報（第４頁〜第６頁、図１〜図９）
【特許文献２】
特開平９−２００５０４号公報（第５頁〜第１３頁、図１〜図２２）
【０００７】
【発明が解決しようとする課題】
従来の画像信号処理装置は以上のように構成されているので、擬似階調処理に付随する補間処理において隣接画素同士が演算される場合があり、例えばディザや誤差拡散などの擬似階調処理を施した画像の隣接画素同士を混合してしまうことがある。このように混合処理が成されると擬似階調処理によって一画素ごと時系列に拡張した階調は正確な画像が再現できないものになり、拡張された部分は階調数が少なくなるように見える。そのため、階調の変化が緩やかな部分の画像は擬似階調処理によって擬似輪郭の発生を抑制したにもかかわらず階調数の低下によって擬似輪郭が見えやすくなるという課題があった。
【０００８】
また、ディザや誤差拡散などの擬似階調処理に用いる、例えば補間フィルタなどの補間特性の選択または補間処理に適した配合を判定する明確な基準がなく、近傍補間フィルタを用いる判定基準を不用意に高くすると再現した画像にジャギーが視認されやすくなるという課題があった。
【０００９】
また、暗い部屋など特殊な環境下で鑑賞すると、視認能力が極度に高い視聴者は近傍補間処理によるジャギーが気になる場合があり、また、特に画像を回転させるような変形を行ったとき、近傍補間処理を行うとジャギーが見えやすくなるので、フィールド順次で処理する場所を移動させながら画像中の境界線をぼかして近傍補間処理によるジャギーが見えにくくする処理が必要になるという課題があった。
【００１０】
この発明は上記のような課題を解決するためになされたもので、明確な判定基準に基づいて最適な補間処理を選択することにより、擬似階調処理を施した画像の画質を向上させる画像信号処理装置を得ることを目的とする。
【００１１】
【課題を解決するための手段】
この発明に係る画像信号処理装置は、擬似階調処理が行われたとき生成された情報を入力して所定の値を加算する加算手段を備え、比較手段が、輝度差検出手段から入力した輝度差の値と加算手段から入力した値とを比較し、その比較結果に適した補間処理を行う補間フィルタが複数の補間フィルタの中から選択されるように切替手段を制御するものである。
【００１２】
この発明に係る画像信号処理装置は、外部からの同期入力に基づいて周期パターンを発生させるパターン発生手段と、パターン発生手段から入力した周期パターンに基づいて補間処理を行う位置をずらすように近傍補間フィルタを制御する位相変更手段とを備えたものである。
【００１３】
【発明の実施の形態】
以下、この発明の実施の一形態を説明する。
実施の形態１．
図１は、この発明の実施の形態１による画像信号処理装置の構成を示すブロック図である。入力画像１は、近傍補間フィルタ２、Ｃｕｂｉｃ補間フィルタ３、線形補間フィルタ４、及び入力画像１の注目画素とその周辺画素の輝度差の最大値を検出する輝度差検出手段６へ入力される。入力画像１の補間位置を示す補間係数５は、近傍補間フィルタ２、Ｃｕｂｉｃ補間フィルタ３、及び線形補間フィルタ４へ入力される。比較手段７は、輝度差検出手段６の出力結果を入力して所定の値と比較する。切替手段８は、比較手段７の出力に基づいてＣｕｂｉｃ補間フィルタ３と線形補間フィルタ４との出力を切り替えて切替手段１０へ出力する。比較手段９は、加算手段１０１により所定の値が加算された擬似階調振幅１００（擬似階調処理が行われたとき生成された情報）と輝度差検出手段６の出力とを比較し、その結果を切替手段１０へ出力する。切替手段１０は、比較手段９の比較結果に基づいて、切替手段８から入力されたＣｕｂｉｃ補間フィルタ３あるいは線形補間フィルタ４の処理出力と、近傍補間フィルタ２の処理出力とを切り替えて出力画像１１として出力する。
【００１４】
擬似階調振幅１００は、擬似階調処理を行うとき、例えば１０ビット階調の入力画像が８ビット階調の画像情報に変換されたときに減縮された２ビットを用いて表現されていた微小階調や、１２ビット階調の入力画像情報が８ビット階調の画像情報に変換されたときに減縮された４ビットを用いて表現されていた微小階調を表すものである。また、この擬似階調振幅１００は再現画像において人間の視認限界に近く、かつソフトウェアやデジタル回路などにおいて容易に処理できる、上記説明で例示したものでは２ビットや４ビット階調の拡張にあてられる０〜１階調、通称１ビット階調のことである。なお、擬似階調振幅１００は、上記説明で例示した１ビット階調に限られたものではなく、例えば前記例示のものより多階調の入力画像を１０ビット階調の画像情報へ変換する擬似階調処理では、画像を再現したときジャギー等が目立たなければ２ビット階調としてもよい。
【００１５】
次に動作について説明する。
例えば０〜２５５階調の入力画像１が画像信号処理装置へ入力されると、輝度差検出手段６は、入力画像１の注目画素と、その周辺画素の輝度差の最大値を検出する。また、図示を省略した擬似階調処理手段から出力された擬似階調振幅１００を加算手段１０１へ入力し、この擬似階調振幅１００が示す値に所定値として例えば＋１を加算する。加算手段１０１によって所定値が加算された擬似階調振幅１００の値＋１は比較手段９へ入力される。比較手段９は、輝度差検出手段６によって検出された輝度差の最大値と加算手段１０１から入力した擬似階調振幅１００の値＋１とを比較する。
【００１６】
比較手段９は、輝度差検出手段６から出力された値が、例えば擬似階調振幅１００の値＋１の値以下の場合は、近傍補間フィルタ２の処理出力が出力画像１１として出力されるように切替手段１０を制御する。
【００１７】
輝度差検出手段６から出力された値が擬似階調振幅１００の値＋１より大きい場合で、かつ、輝度差検出手段６の出力値が比較手段７に設定されている所定値の例えば「１２７」以下の場合は次のように動作する。なお、ここで例示した所定値「１２７」は、２５６階調の中間近傍の値を一例として示したもので、図１に示したものではＣｕｂｉｃ補間フィルタ３と線形補間フィルタ４のうち適切なものが選択されるように比較手段７に設定されるものであり、擬似階調振幅１００の値＋１と比較する所定値はこれに限定されない。比較手段７が輝度差検出手段６から出力された値と所定値「１２７」とを比較し、その結果を切替手段８へ出力すると、当該切替手段８は、この比較結果に基づいて線形補間フィルタ４の出力を切替手段１０へ入力させる。また比較手段９は、加算手段１０１の出力と輝度差検出手段６の出力とを比較する。切替手段１０は、この場合の比較手段９の比較結果に基づいて当該切替手段１０へ入力されている近傍補間手段２の出力及び切替手段８を介して入力されている線形補間フィルタ４の出力のうち、線形補間手段４の出力を出力画像１１として出力する。
【００１８】
また、輝度差検出手段６の出力が、例えば所定値「１２７」より大きい場合は入力画像１が文字である可能性が高いと判断し、各構成手段が次のように動作する。比較手段７は、輝度差検出手段６から入力した値と所定値「１２７」とを比較する。切替手段８は、この場合の比較結果に基づいて当該切替手段８に入力されているＣｕｂｉｃ補間手段３及び線形補間手段４の出力のうち、Ｃｕｂｉｃ補間手段３の出力を切替手段１０へ出力する。比較手段９は、加算手段１０１の出力と輝度差検出手段６の出力とを比較する。切替手段１０は、この場合の比較結果に基づいて当該切替手段１０へ入力されている近傍補間フィルタ２及び切替手段８を介して入力されているＣｕｂｉｃ補間手段３の出力のうち、Ｃｕｂｉｃ補間手段３の出力を出力画像１１として出力する。このようにしてＣｕｂｉｃ補間フィルタ３から出力画像１１が出力され、鮮鋭な文字画像が得られる。
【００１９】
なお、擬似階調振幅１００の値に所定値として例えば＋１を加算することにより、入力画像１自身がわずかに有する輝度勾配と等しくすることができ、再現したとき入力画像１と同様に見える出力画像１１が得られる。擬似階調振幅１００の値に何も加算しない擬似階調振幅＋０とした場合には、再現画像の輝度勾配が０に限定されてしまい、入力画像１を再現した際に好ましい画像となるとは限らない。また、擬似階調振幅１００の値に加算する値を大きくすると、再現画像にジャギーが目立つようになる。ここでは最適な再現画像が得られる加算値の一例として上記＋１の値を示したもので、擬似階調振幅１００に加算される値は所望の画像が得られるものであれば良く、当該加算値は上記＋１に限定されるものではない。
【００２０】
また、図１に示した画像信号処理装置は、擬似階調振幅１００の値に加算する値の調整等により、入力信号１が図示を省略した擬似階調処理手段の出力画像であっても擬似階調処理等の画像処理を行っていない画像であっても補間処理を行うことができる。
【００２１】
また、図１に示した構成では補間フィルタを複数用意し、複数の補間フィルタの出力の中から適したものを選択することでフィルタ特性を切り替えていたが、一つの補間フィルタが複数のフィルタ係数を有するようにして、この補間フィルタを制御してフィルタ特性を切り替えるように構成しても同様な作用効果が得られる。
【００２２】
また、補間フィルタの切り替えは二者択一の動作に限定されず、徐々にフィルタ処理の配分量を変化させる切り替え動作でも同様な作用効果が得られる。
【００２３】
また、前述の説明では輝度差検出手段６が入力画像１の注目画素と周辺画素との輝度差の最大値を検出しているが、検出する輝度差の値はこれに限定されず、周辺画素同士の輝度差の最大値を検出して、この値と注目画素の輝度との差を検出するようにしても同様な作用効果が得られる。さらに輝度差の検出に代えて注目画素の輝度と隣接画素の輝度とその隣の画素の輝度の勾配の最大値を検出して用いるように構成しても同様な作用効果が得られる。
【００２４】
以上のように、実施の形態１によれば、擬似階調振幅１００を用いた明確な判断基準に基づいて輝度差に適した補間フィルタを選択することができ、輝度差が小さい、つまり輝度階調変化が緩やかな入力画像１において隣接画素同士が混合演算されることが防げることから各画素の擬似階調振幅が保存され、拡張された階調が保存されて再現画像において擬似輪郭が見えにくくなるという効果がある。
【００２５】
また、輝度差検出手段６が検出した輝度差の値と擬似階調振幅１００の値とを比較した結果に基づいて近傍補間フィルタ２を用いるようにしたので、比較的簡易な回路やソフトウェアにて構成された近傍補間フィルタ２を有効に利用して画素変換、即ち補間処理を行うことができるという効果がある。
【００２６】
また、擬似階調振幅１００に加算する所定の値を＋１としたので、画像を再現したときジャギーが発生しにくくなるという効果がある。
【００２７】
実施の形態２．
実施の形態１による画像信号処理装置は、輝度差が小さい、つまり輝度階調変化が緩やかな画像において、隣接画素同士が混合演算されないようにして擬似輪郭が見えにくいようにしたものである。次に、輝度変化が少ない動画像に薄い線が含まれているものを入力した場合に、画像を再現したとき薄い線がジャギーになりにくいように処理する実施の形態２による画像信号処理装置を説明する。
【００２８】
図２は、この発明の実施の形態２による画像信号処理装置の構成を示すブロック図である。図１に示したものと同一あるいは相当する部分に同じ符号を付し、その部分の説明を省略して実施の形態２による画像信号処理装置の特徴となる部分を説明する。入力画像１の水平及び垂直方向の同期信号である同期入力２００は、乱数発生手段２０２の出力と共にパターン発生手段２０３へ入力される。位相変更手段２０１は、パターン発生手段２０３の出力及び補間係数５を入力して近傍補間フィルタ２の処理動作を制御する。
【００２９】
次に、動作について説明する。
ここでは、図１に示した画像信号処理装置と同様な動作について説明を省略し、図２に示した画像信号処理装置の特徴となる動作を説明する。輝度差検出手段６が検出した輝度差の値が擬似階調振幅１００の値＋１より大きい場合は、図１に示した画像信号処理装置と同様に動作するので、ここでは説明を省略する。輝度差検出手段６が検出した輝度差の値が擬似階調振幅１００の値＋１以下の場合は、パターン発生手段２０３が、例えば外部から入力された同期入力２００と、乱数発生手段２０２が発生させた乱数とを入力し、位相変更手段２０１へ出力する情報として周期パターンを生成する。この周期パターンは同期入力２００に基づいて処理画像のフィールド周期とライン周期が交互に変化するように、また同一の乱数に基づいて各周期が変化するように生成される。
【００３０】
次に周期パターンについて説明する。例えばフィールド周期を変化させるパターンは、近傍補間を行う位置をずらして処理するフィールドを「＋１」、近傍補間を行う位置をずらさないで処理するフィールドを「＋０」で表現すると、順次処理される４フィールドでは、例えば次のような周期パターンで補間位置をずらした処理が行われる。位相変更手段２０１へ入力された補間係数５の画素ピッチの小数点以下の数値が、整数値で表現された画素ピッチ幅に対して０〜２４％の場合は補間位置のずらしを行わず、２５〜４９％の場合は一つのフィールドで補間位置をずらした＋０→＋１→＋０→＋０を含む全４種類のパターン、５０〜７４％の場合は二つのフィールドで近傍補間位置をずらした＋０→＋１→＋０→＋１を含む全４種類のパターン、７５〜９９％の場合は三つのフィールドで近傍補間位置をずらした＋０→＋１→＋１→＋１を含む全４種類のパターンがあり、前記各パーセンテージに基づいて区別されたパターンの中からランダムに選定する。また、ライン周期を前記説明のような周期パターンに基づくものとして、順次走査されるラインにおいて補間位置をずらす場合とずらさない場合とをパターン化して処理する。なお、前述したように、フィールド周期とライン周期とを交互に変化させるとき、一定の周期パターンあるいはランダムな周期パターン、または一定及びランダムな周期パターンを混在させ、当該周期パターンにおいて該当するフィールドに近傍補間処理を行う際に補間位置をずらすようにしてもよい。
【００３１】
なお、図２に示した画像信号処理装置も、図１に示した実施の形態１による画像信号処理装置と同様に、擬似階調振幅１００の値に加算手段１０１が所定値として加算する値は＋１に限定されるものではない。
【００３２】
また、図２に示した画像信号処理装置も、図１に示した実施の形態１による画像信号処理装置と同様に、擬似階調振幅１００の値に加算する値の調整等によって、入力画像１が図示を省略した擬似階調処理手段の出力画像であっても擬似階調処理等の画像処理を行っていない画像であっても補間処理を行うことができる。
【００３３】
また、図２に示した画像信号処理装置は、図１に示したものと同様に補間フィルタを複数用意し、複数の補間フィルタの出力の中から適したものを選択することでフィルタ特性を切り替えていたが、一つの補間フィルタが複数のフィルタ係数を有するようにして、この補間フィルタを制御してフィルタ特性を切り替えるように構成しても同様な作用効果が得られる。
【００３４】
また、補間フィルタの切り替えは二者択一の動作に限定されず、徐々にフィルタ処理の配分量を変化させる切り替え動作でも同様な作用効果が得られる。
【００３５】
また、図２に示した画像信号処理装置は、図１に示したものと同様に輝度差検出手段６が入力画像１の注目画素と周辺画素との輝度差の最大値を検出しているが、検出する輝度差の値はこれに限定されず、周辺画素同士の輝度差の最大値を検出して、この値と注目画素の輝度との差を検出するようにしても同様な作用効果が得られる。さらに輝度差の検出に代えて注目画素の輝度と隣接画素の輝度とその隣の画素の輝度の勾配の最大値を検出して用いるように構成しても同様な作用効果が得られる。
【００３６】
以上説明した実施の形態１及び実施の形態２による画像信号処理装置は、表示装置、印刷装置、撮像装置、コンピュータグラフィックス処理装置など入力画像を変形させた出力画像を得る装置に用いられる。
【００３７】
以上のように、実施の形態２によれば、フレーム内において近傍補間処理を行うとき、フィールド毎に補間処理を行う位置を１画素単位でずらすようにしたので、擬似階調処理による階調の拡張が保存され、またフィールド周期で１画素単位で補間処理の位置をずらすことで、画像を再現したとき薄い線が目の残像現象によってぼかしたようになり、薄い線でも欠けずに見え、またジャギーが見えにくい画像が得られるという効果がある。
【００３８】
また、擬似階調振幅１００を用いた明確な判断基準に基づいて輝度差に適した補間フィルタを選択することができ、輝度差が小さい、つまり輝度階調変化が緩やかな入力画像１において隣接画素同士が混合演算されることが防げることから各画素の擬似階調振幅が保存され、拡張された階調が保存されて再現画像において擬似輪郭が見えにくくなるという効果がある。
【００３９】
また、輝度差検出手段６が検出した輝度差の値と擬似階調振幅１００の値とを比較した結果に基づいて近傍補間フィルタ２を用いるようにしたので、比較的簡易な回路やソフトウェアにて構成された近傍補間フィルタ２を有効に利用して画素変換、即ち補間処理を行うことができるという効果がある。
【００４０】
また、擬似階調振幅１００に加算する所定の値を＋１としたので、画像を再現したときジャギーが発生しにくくなるという効果がある。
【００４１】
【発明の効果】
以上のように、この発明によれば、擬似階調振幅の値を入力した比較手段が切替手段を制御して補間処理に用いる補間フィルタを選択するようにしたので、擬似階調処理をした入力画像を補間処理しても、再現した画像に擬似輪郭が見えにくい出力画像が得られるという効果がある。
【００４２】
この発明によれば、パターン発生手段によって発生させた所定の周期パターンに基づいて補間位置をずらすように制御する位相変換手段を備え、順次補間処理されるフィールドの保管位置を所定の周期パターンに基づいて１画素単位でずらして処理するようにしたので、再現した画像にジャギー及び欠けが視認されない薄い線が得られるという効果がある。
【図面の簡単な説明】
【図１】この発明の実施の形態１による画像信号処理装置の構成を示すブロック図である。
【図２】この発明の実施の形態２による画像信号処理装置の構成を示すブロック図である。
【符号の説明】
１  入力画像、２  近傍補間フィルタ、３  Ｃｕｂｉｃ補間フィルタ、４  線形補間フィルタ、５  補間係数、６  輝度差検出手段、７，９  比較手段、８，１０  切替手段、１００  擬似階調振幅、２０１  位相変更手段、２０３  パターン発生手段。
【図１】
2004153322.tif 000003
【図２】
2004153322.tif 000004