(57)【要約】【課題】入力画像が高周波数成分側に折り返し成分を含んでいる場合や高周波数成分を十分に含んでいないカラー画像の場合でも、有彩色のエッジ近傍の色が薄くなったりエッジ近傍が黒くなったりすることなく強調処理画像を得る。【解決手段】入力画像から特定の周波数帯域の成分を取り出して第１の中間画像（Ｄ１）を生成し、第１の中間画像（Ｄ１）から第２の中間画像（Ｄ２）を生成し、第１の中間画像（Ｄ１）の画素値を第１の増幅率で増幅して第３の中間画像（Ｄ３Ｍ）を生成し、第２の中間画像（Ｄ２）の画素値を第２の増幅率で増幅して第４の中間画像（Ｄ３Ｈ）を生成し、入力画像の輝度信号（ＹＩＮ）と第３の中間画像（Ｄ３Ｍ）と第４の中間画像（Ｄ３Ｈ）を加算する（４）。入力画像の輝度信号と色差信号を合成した結果と、第１の中間画像（Ｄ１）の画素値の符号に従って第１の増幅率が決定される。【選択図】図１
2010220063.tif 000002
【特許請求の範囲】
【請求項１】
輝度信号と色差信号から成る入力画像から特定の周波数帯域の成分を取り出した第１の中間画像を生成する第１の中間画像生成手段と、
前記第１の中間画像をもとに第２の中間画像を生成する第２の中間画像生成手段と、
前記入力画像の輝度信号と色差信号を合成する輝度色差加算手段と、
前記第１の中間画像の画素値を第１の増幅率に従って増幅した第３の中間画像を生成する第１の中間画像処理手段と、
前記第２の中間画像の画素値を第２の増幅率に従って増幅した第４の中間画像を生成する第２の中間画像処理手段と、
前記入力画像の輝度信号と前記第３の中間画像と前記第４の中間画像を加算する加算手段を有する画像処理装置において、
前記第１の増幅率は、前記輝度色差加算手段の出力および前記第１の中間画像の画素値の符号に応じて決定される
ことを特徴とする画像処理装置。
【請求項２】
前記第１の増幅率は、
前記第１の中間画像の画素値の符号が正の場合、前記輝度色差加算手段の出力値が大きくなるほど小さくなるよう決定される
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の増幅率は、
前記第１の中間画像の画素値の符号が負の場合、前記輝度色差加算手段の出力値が小さくなるほど小さくなるよう決定される
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記第２の増幅率は、前記輝度色差加算手段の出力および前記第２の中間画像の画素値の符号に応じて決定される
ことを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
【請求項５】
輝度信号と色差信号から成る入力画像から特定の周波数帯域の成分を取り出した第１の中間画像を生成する第１の中間画像生成手段と、
前記第１の中間画像をもとに第２の中間画像を生成する第２の中間画像生成手段と、
前記入力画像の輝度信号と色差信号を合成する輝度色差加算手段と、
前記第１の中間画像の画素値を第１の増幅率に従って増幅した第３の中間画像を生成する第１の中間画像処理手段と、
前記第２の中間画像の画素値を第２の増幅率に従って増幅した第４の中間画像を生成する第２の中間画像処理手段と、
前記入力画像の輝度信号と前記第３の中間画像と前記第４の中間画像を加算する加算手段を有する画像処理装置において、
前記第２の増幅率は、前記輝度色差加算手段の出力および前記第２の中間画像の画素値の符号に応じて決定される
ことを特徴とする画像処理装置。
【請求項６】
前記第２の増幅率は、
前記第２の中間画像の画素値の符号が正の場合、前記輝度色差加算手段の出力値が大きくなるほど小さくなるよう決定される
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記第２の増幅率は、
前記第２の中間画像の画素値の符号が負の場合、前記輝度色差加算手段の出力値が小さくなるほど小さくなるよう決定される
ことを特徴とする請求項５又は６に記載の画像処理装置。
【請求項８】
前記輝度色差加算手段は、
前記輝度信号の値と、前記色差信号の絶対値を加重加算する
ことを特徴とする請求項１乃至７のいずれかに記載の画像処理装置。
【請求項９】
前記第１の中間画像生成手段は、
前記入力画像の輝度信号の第１の周波数以上の高周波数成分のみを取り出した第１の高周波数成分画像を生成する第１の高周波数成分画像生成手段と、
前記第１の高周波数成分画像の第２の周波数以下の低周波数成分のみを取り出す低周波数成分画像生成手段を有する
ことを特徴とする請求項１乃至８のいずれかに記載の画像処理装置。
【請求項１０】
前記第２の中間画像生成手段は、
前記第１の中間画像の画素値を画素に応じて変化させた増幅率で増幅させた非線形処理画像を生成する非線形処理手段を有する
ことを特徴とする請求項１乃至９のいずれかに記載の画像処理装置。
【請求項１１】
前記第２の中間画像生成手段は、
前記非線形処理画像の第３の周波数以上の高周波数成分のみを取り出した第２の高周波数成分画像を生成する第２の高周波数成分画像生成手段を有する
ことを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記第１の高周波数成分画像生成手段は、
前記入力画像の各画素の水平方向の近傍に存在する画素を用いて第１の水平方向周波数以上の高周波数成分を取り出した第１の水平方向高周波数成分画像を生成する第１の水平方向高周波数成分画像生成手段を有し、
前記低周波数成分画像生成手段は、
前記第１の水平方向高周波数成分画像の第２の水平方向周波数以下の低周波数成分のみを取り出した第１の水平方向中間画像を生成する水平方向低周波数成分画像生成手段を有する
ことを特徴とする請求項１乃至１１のいずれかに記載の画像処理装置。
【請求項１３】
前記第１の中間画像が、
前記第１の水平方向中間画像を含み
前記非線形処理手段は、
前記第１の水平方向中間画像の各画素値を画素に応じて変化させた増幅率で増幅した水平方向非線形処理画像を生成する水平方向非線形処理手段を有し、
前記第２の高周波数成分画像生成手段は、
前記水平方向非線形処理画像の第３の水平方向周波数以上の高周波数成分のみを取り出した第２の水平方向高周波数成分画像を生成する第２の水平方向高周波数成分画像生成手段を有する
ことを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
前記水平方向非線形処理手段は、
前記第１の水平方向中間画像の画素値が正から負へ、もしくは負から正へと変化する箇所をゼロクロス点として判定する水平方向ゼロクロス判定手段と、
前記水平方向ゼロクロス判定手段の判定結果に応じて前記第１の水平方向中間画像の各画素に対する増幅率を決定し、決定した増幅率で前記第１の水平方向中間画像の画素値を増幅する水平方向信号増幅手段を有する
ことを特徴とする請求項１３に記載の画像処理装置。
【請求項１５】
前記第２の中間画像は、
前記第２の水平方向高周波数成分画像を含み
前記第２の増幅率は、
前記第２の水平方向高周波数成分画像に対する第２の水平方向増幅率を含む
ことを特徴とする請求項１３又は１４に記載の画像処理装置。
【請求項１６】
前記第１の高周波数成分画像生成手段は、
前記入力画像の各画素の垂直方向の近傍に存在する画素を用いて第１の垂直方向周波以上の高周波数成分を取り出した第１の垂直方向高周波数成分画像を生成する第１の垂直方向高周波数成分画像生成手段を有し、
前記低周波数成分画像生成手段は、
前記第１の垂直方向高周波数成分画像の第２の垂直方向周波数以下の低周波数成分のみを取り出した第１の垂直方向中間画像を生成する垂直方向低周波数成分画像生成手段を有する
ことを特徴とする請求項１乃至１５のいずれかに記載の画像処理装置。
【請求項１７】
前記第１の中間画像が、
前記第１の垂直方向中間画像を含み
前記非線形処理手段は、
前記第１の垂直方向中間画像の各画素値を画素に応じて変化させた増幅率で増幅した垂直方向非線形処理画像を生成する垂直方向非線形処理手段を有し、
前記第２の高周波数成分画像生成手段は、
前記垂直方向非線形処理画像の第３の垂直方向周波数以上の高周波数成分のみを取り出した第２の垂直方向高周波数成分画像を生成する第２の垂直方向高周波数成分画像生成手段を有する
ことを特徴とする請求項１６に記載の画像処理装置。
【請求項１８】
前記垂直方向非線形処理手段は、
前記第１の垂直方向中間画像の画素値が正から負へ、もしくは負から正へと変化する箇所をゼロクロス点として判定する垂直方向ゼロクロス判定手段と、
前記垂直方向ゼロクロス判定手段の判定結果に応じて前記第１の垂直方向中間画像の各画素に対する増幅率を決定し、決定した増幅率で前記第１の垂直方向中間画像の画素値を増幅する垂直方向信号増幅手段を有する
ことを特徴とする請求項１７に記載の画像処理装置。
【請求項１９】
前記第２の中間画像は、
前記第２の垂直方向高周波数成分画像を含み
前記第２の増幅率は、
前記第２の垂直方向高周波数成分画像に対する第２の垂直方向増幅率を含む
ことを特徴とする請求項１７又は１８に記載の画像処理装置。
【請求項２０】
請求項１乃至１９のいずれかに記載の画像処理装置を備えたことを特徴とする画像表示装置。
【請求項２１】
輝度信号と色差信号から成る入力画像から特定の周波数帯域の成分を取り出した第１の中間画像を生成する第１の中間画像生成ステップと、
前記第１の中間画像をもとに第２の中間画像を生成する第２の中間画像生成ステップと、
前記入力画像の輝度信号と色差信号を合成する輝度色差加算ステップと、
前記第１の中間画像の画素値を第１の増幅率に従って増幅した第３の中間画像を生成する第１の中間画像処理ステップと、
前記第２の中間画像の画素値を第２の増幅率に従って増幅した第４の中間画像を生成する第２の中間画像処理ステップと、
前記入力画像の輝度信号と前記第３の中間画像と前記第４の中間画像を加算する加算ステップを有する画像処理方法において、
前記第１の増幅率は、前記輝度色差加算ステップの出力および前記第１の中間画像の画素値の符号に応じて決定される
ことを特徴とする画像処理方法。
【請求項２２】
輝度信号と色差信号から成る入力画像から特定の周波数帯域の成分を取り出した第１の中間画像を生成する第１の中間画像生成ステップと、
前記第１の中間画像をもとに第２の中間画像を生成する第２の中間画像生成ステップと、
前記入力画像の輝度信号と色差信号を合成する輝度色差加算ステップと、
前記第１の中間画像の画素値を第１の増幅率に従って増幅した第３の中間画像を生成する第１の中間画像処理ステップと、
前記第２の中間画像の画素値を第２の増幅率に従って増幅した第４の中間画像を生成する第２の中間画像処理ステップと、
前記入力画像の輝度信号と前記第３の中間画像と前記第４の中間画像を加算する加算ステップを有する画像処理方法において、
前記第２の増幅率は、前記輝度色差加算ステップの出力および前記第２の中間画像の画素値の符号に応じて決定される
ことを特徴とする画像処理方法。
【請求項２３】
請求項２１又は２２に記載の画像処理方法により処理された画像を表示することを特徴とする画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像に対し強調処理する画像処理装置及び方法並びにこれらを用いた画像表示装置に関し、例えば入力画像として、元となる画像を拡大した拡大画像が入力された際に、高周波数成分の生成及び加算をすることによって、解像感の高い出力画像を得るよう画像の強調処理を行うものである。
【背景技術】
【０００２】
一般に画像を表す画像信号に対し適宜画像処理を施した後、画像を再生表示するということが行われている。また、カラー画像に画像の強調処理を行う場合、輝度信号に画像強調処理を行っている。
【０００３】
例えば特許文献１に記載された画像処理装置においては、多重解像度に変換された細部画像に対して、所望の周波数帯域の細部画像に対する強調係数をその所望の周波数帯域よりも低周波数帯域の細部画像の信号に基づいて設定することにより、所望の周波数帯域を強調している。
【０００４】
さらに特許文献２に記載された鮮鋭度強調回路においては、入力した映像信号の輝度成分に対して、その輝度成分の最も高い高域の成分が含まれる周波数帯を中心として強調する第１の強調回路と、第１の強調回路よりも低い中心周波数で映像信号の輝度成分を強調する第２の強調回路を備えている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平９−４４６５１号公報
【特許文献２】特開２０００−１１５５８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、多重解像度に変換された細部画像に対して、所望の周波数帯域の細部画像に対する強調係数を適宜設定する画像処理装置では、入力画像によっては強調処理が不適切あるいは不十分となり、適正な画質の出力画像を得ることができないことがあった。
【０００７】
例えば、入力画像として拡大処理を受けた画像が入力される場合、入力画像の周波数スペクトルの高周波数成分側には、拡大処理前の画像の周波数スペクトルの一部が折り返した成分（折り返し成分）が現れる。したがって単純に高周波数成分を強調すると、この折り返し成分を強調してしまい、不適切な処理となる。また、周波数帯域を限定し、折り返し成分を含まない周波数帯域のみを強調すると、周波数スペクトルで考えた場合、高周波数成分側の強調を避けることになり、結果的に不十分な強調処理となってしまう。
【０００８】
また、入力画像としてノイズ処理を受けた画像が入力される場合、高周波数成分側の周波数スペクトルはノイズ処理によって失われている。したがって高周波数成分を取り出そうとしても、取り出すことができず、十分に画像の強調処理を行えないことがある。
【０００９】
また、入力した映像信号の輝度成分に対して、強調処理を行う場合、有彩色のエッジ付近で色が白く（あるいは薄く）なったり、エッジ付近が黒くなることがある。
【課題を解決するための手段】
【００１０】
本発明の画像処理装置は、
輝度信号と色差信号から成る入力画像から特定の周波数帯域の成分を取り出した第１の中間画像を生成する第１の中間画像生成手段と、
前記第１の中間画像をもとに第２の中間画像を生成する第２の中間画像生成手段と、
前記入力画像の輝度信号と色差信号を合成する輝度色差加算手段と、
前記第１の中間画像の画素値を第１の増幅率に従って増幅した第３の中間画像を生成する第１の中間画像処理手段と、
前記第２の中間画像の画素値を第２の増幅率に従って増幅した第４の中間画像を生成する第２の中間画像処理手段と、
前記入力画像の輝度信号と前記第３の中間画像と前記第４の中間画像を加算する加算手段を有する画像処理装置において、
前記第１の増幅率は、前記輝度色差加算手段の出力および前記第１の中間画像の画素値の符号に応じて決定される
ことを特徴とする。
【００１１】
本発明の他の画像処理装置は、
輝度信号と色差信号から成る入力画像から特定の周波数帯域の成分を取り出した第１の中間画像を生成する第１の中間画像生成手段と、
前記第１の中間画像をもとに第２の中間画像を生成する第２の中間画像生成手段と、
前記入力画像の輝度信号と色差信号を合成する輝度色差加算手段と、
前記第１の中間画像の画素値を第１の増幅率に従って増幅した第３の中間画像を生成する第１の中間画像処理手段と、
前記第２の中間画像の画素値を第２の増幅率に従って増幅した第４の中間画像を生成する第２の中間画像処理手段と、
前記入力画像の輝度信号と前記第３の中間画像と前記第４の中間画像を加算する加算手段を有する画像処理装置において、
前記第２の増幅率は、前記輝度色差加算手段の出力および前記第２の中間画像の画素値の符号に応じて決定される
ことを特徴とする。
【発明の効果】
【００１２】
本発明によれば、入力画像がその周波数スペクトルにおいて、高周波数成分側に折り返し成分を含んでいる場合や、高周波数成分を十分に含んでいない場合でもオーバーシュートの発生を防止しつつ、十分に画像の強調処理を行うことができ、さらに有彩色のエッジ付近で色が不自然に白く（あるいは薄く）なったり、エッジ付近が黒くなることがない。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施の形態１による画像処理装置の構成を示すブロック図である。
【図２】図１の第１の中間画像生成手段１の構成例を示すブロック図である。
【図３】図１の第２の中間画像生成手段２の構成例を示すブロック図である。
【図４】図１の第１の中間画像処理手段３Ｍの構成例を示すブロック図である。
【図５】図１の第２の中間画像処理手段３Ｈの構成例を示すブロック図である。
【図６】図３の水平方向非線形処理手段２Ａｈの構成例を示す図である。
【図７】図３の垂直方向非線形処理手段２Ａｖの構成例を示す図である。
【図８】（Ａ）〜（Ｅ）は、輝度色差加算画像ＹＣ、画像Ｄ１ｈ、及び画像Ｄ１ｖの画素の配置並びに各画素の符号を示す情報の配置を示す図である。
【図９】本発明による画像処理装置を用いた画像表示装置の構成例を示すブロック図である。
【図１０】図９の画像拡大手段Ｕ１の構成例を示すブロック図である。
【図１１】（Ａ）〜（Ｅ）は、図１０画像拡大手段Ｕ１の動作を示す画素配置図である。
【図１２】（Ａ）〜（Ｄ）は、図１０の画像拡大手段Ｕ１の動作を説明するための周波数応答及び周波数スペクトルを示す図である。
【図１３】（Ａ）〜（Ｅ）は、第１の中間画像生成手段１の動作を説明するための周波数応答及び周波数スペクトルを示す図である。
【図１４】（Ａ）〜（Ｃ）は、第２の中間画像生成手段２の動作を説明するための周波数応答及び周波数スペクトルを示す図である。
【図１５】（Ａ）〜（Ｃ）は、ステップエッジとステップエッジをサンプリング間隔Ｓ１でサンプリングしたときに得られる、相連続する画素の信号の値を示す図である。
【図１６】（Ａ）〜（Ｃ）は、ステップエッジとステップエッジをサンプリング間隔Ｓ２でサンプリングしたときに得られる、相連続する画素の信号の値を示す図である。
【図１７】（Ａ）〜（Ｆ）は、第１の中間画像生成手段１及び第２の中間画像生成手段２の動作を説明するための、相連続する画素の信号の値を示す図である。
【図１８】（Ａ）及び（Ｂ）は、高周波数成分の加算に適度に行うことによって、画像の鮮鋭感を増した場合、及び高周波数成分の加算を過度に行った結果、画質の低下を招いた場合の、相連続する画素の信号の値を示す図である。
【図１９】（Ａ）及び（Ｂ）は、輝度色差加算画像ＹＣの画素値Ｌと第１の中間画像処理手段３Ｍ及び第２の中間画像処理手段３Ｈにおける増幅率の関係を示す図である。
【図２０】本発明の実施の形態２の画像処理装置を示す。
【図２１】実施の形態２の画像処理装置における処理の手順を示すフロー図である。
【図２２】図２１の第１の中間画像生成ステップＳＴ１における処理を示すフロー図である。
【図２３】図２１の第２の中間画像生成ステップＳＴ２における処理を示すフロー図である。
【図２４】図２３の水平方向非線形処理ステップＳＴ２Ａｈにおける処理を示すフロー図である。
【図２５】図２３の垂直方向非線形処理ステップＳＴ２Ａｖにおける処理を示すフロー図である。
【図２６】図２１の第１の中間画像処理ステップＳＴ３Ｍにおける処理を示すフロー図である。
【図２７】図２１の第２の中間画像処理ステップＳＴ３Ｈにおける処理を示すフロー図である。
【発明を実施するための形態】
【００１４】
実施の形態１．
図１は本発明の実施の形態１による画像処理装置の構成例を示す図であり、図示の画像処理装置は例えば画像表示装置の一部として用いることができる。
【００１５】
図示の画像処理装置には、入力画像ＩＭＧＩＮが入力され、出力画像ＩＭＧＯＵＴが出力される。入力画像ＩＭＧＩＮはカラー画像であり、輝度成分を表す信号ＹＩＮ（以下、入力輝度画像ＹＩＮと呼ぶ）色差成分を表す信号ＣＲＩＮ、ＣＢＩＮから成る。信号ＣＲＩＮ（以下、入力ＣＲ画像ＣＲＩＮと呼ぶ）は色差成分のうちＣｒ成分を表し、信号ＣＢＩＮ（以下、入力ＣＢ画像ＣＢＩＮと呼ぶ）は色差成分のうちＣｂ成分を表す。出力画像ＩＭＧＯＵＴもカラー画像であり、輝度成分を表す信号ＹＯＵＴ（以下、出力輝度画像ＹＯＵＴと呼ぶ）色差成分を表す信号ＣＲＯＵＴ、ＣＢＯＵＴから成る。信号ＣＲＯＵＴ（以下、出力ＣＲ画像ＣＲＯＵＴと呼ぶ）は色差成分のうちＣｒ成分を表し、信号ＣＢＯＵＴ（以下、入力ＣＢ画像ＣＢＯＵＴと呼ぶ）は色差成分のうちＣｂ成分を表す。
【００１６】
本発明の実施の形態１の画像処理装置は、第１の中間画像生成手段１と、第２の中間画像生成手段２と、輝度色差加算手段５と、第１の中間画像処理手段３Ｍと、第２の中間画像処理手段３Ｈと、加算手段４とを有する。
【００１７】
第１の中間画像生成手段１は、入力輝度画像ＹＩＮから特定の周波数帯域の成分(即ち第１の周波数（第１の所定の周波数）から第２の周波数（第２の所定の周波数）までの成分)を取り出した中間画像（第１の中間画像）Ｄ１を生成する。
第２の中間画像生成手段２は、中間画像Ｄ１に後述する処理を行った中間画像(第２の中間画像)Ｄ２を生成する。
【００１８】
輝度色差加算手段５は、入力輝度画像ＹＩＮと、入力ＣＲ画像ＣＲＩＮと、入力ＣＢ画像ＣＢＩＮを後述するように重み付け加算した輝度色差加算画像ＹＣを生成する。
第１の中間画像処理手段３Ｍは、中間画像Ｄ１に後述する処理を行った中間画像（第３の中間画像）Ｄ３Ｍを生成する。
第２の中間画像処理手段３Ｈは、中間画像Ｄ２に後述する処理を行った中間画像（第４の中間画像）Ｄ３Ｈを生成する。
加算手段４は、入力輝度画像ＹＩＮと、中間画像Ｄ３Ｍと、中間画像Ｄ３Ｈとを加算する。
【００１９】
図示の実施の形態の画像処理装置では輝度成分にのみ処理が行わる。即ち出力輝度画像ＹＯＵＴとして加算手段４の出力画像が出力される一方、出力ＣＲ画像ＣＲＯＵＴとして入力ＣＲ画像ＣＲＩＮがそのまま出力され、出力ＣＢ画像ＣＢＯＵＴとして入力ＣＢ画像ＣＢＩＮがそのまま出力される。
【００２０】
図２は第１の中間画像生成手段１の構成例を示した図であり、図示の第１の中間画像生成手段１は、入力輝度画像ＹＩＮから第１の周波数以上の高周波数成分のみを取り出した画像Ｄ１Ａを生成する高周波数成分画像生成手段１Ａと、画像Ｄ１Ａの第２の周波数以下の低周波数成分のみを取り出した画像Ｄ１Ｂを生成する低周波数成分画像生成手段１Ｂとを有する。高周波数成分画像生成手段１Ａと低周波数成分画像生成手段１Ｂとで、特定の周波数帯域の成分を取り出す帯域通過フィルタ手段が構成されている。第１の中間画像生成手段１からは画像Ｄ１Ｂが中間画像Ｄ１として出力される。
【００２１】
図３は第２の中間画像生成手段２の構成例を示した図であり、図示の第２の中間画像生成手段２は、中間画像Ｄ１に対し、後述する非線形処理を行った画像Ｄ２Ａを出力する非線形処理手段２Ａと、画像Ｄ２Ａの第３の周波数（第３の所定の周波数）以上の高周波数成分のみを取り出した画像Ｄ２Ｂを出力する高周波数成分画像生成手段２Ｂを有する。第２の中間画像生成手段２からは画像Ｄ２Ｂが中間画像Ｄ２として出力される。
【００２２】
図４は第１の中間画像処理手段３Ｍの構成例を示した図であり、図示の第１の中間画像処理手段３Ｍは、増幅率決定手段３ＭＡと、画素値増幅手段３ＭＢとを有する。増幅率決定手段３ＭＡは、後述の輝度色差加算画像ＹＣの画素値をもとに増幅率Ｄ３ＭＡを決定する。画素値増幅手段３ＭＢは、増幅率決定手段３ＭＡにより決定された増幅率Ｄ３ＭＡで中間画像Ｄ１の画素値を増幅し、その結果を中間画像Ｄ３ＭＢとして出力する。そして第１の中間画像処理手段３Ｍからは中間画像Ｄ３ＭＢが中間画像Ｄ３Ｍとして出力される。
【００２３】
増幅率決定手段３ＭＡは、水平方向増幅率決定手段３ＭＡｈと、垂直方向増幅率決定手段３ＭＡｖとを有し、画素値増幅手段３ＭＢは、水平方向画素値増幅手段３ＭＢｈと、垂直方向画素値増幅手段３ＭＢｖとを有する。水平方向増幅率決定手段３ＭＡｈと、水平方向画素値増幅手段３ＭＢｈとで、第１の水平方向中間画像処理手段３Ｍｈが構成され、垂直方向増幅率決定手段３ＭＡｖと、垂直方向画素値増幅手段３ＭＢｖとで、第１の垂直方向中間画像処理手段３Ｍｖが構成されている。
【００２４】
図５は第２の中間画像処理手段３Ｈの構成例を示した図であり、図示の第２の中間画像処理手段３Ｈは増幅率決定手段３ＨＡと、画素値増幅手段３ＨＢとを有する。増幅率決定手段３ＨＡは後述の輝度色差加算画像ＹＣの画素値をもとに増幅率Ｄ３ＨＡを決定する。画素値増幅手段３ＨＢは、増幅率決定手段３ＨＡにより決定された増幅率Ｄ３ＨＡで中間画像Ｄ２の画素値を増幅し、その結果を中間画像Ｄ３ＨＢとして出力する。そして、第１の中間画像処理手段３Ｈからは中間画像Ｄ３ＨＢが中間画像Ｄ３Ｈとして出力される。
【００２５】
増幅率決定手段３ＨＡは、水平方向増幅率決定手段３ＨＡｈと、垂直方向増幅率決定手段３ＨＡｖとを有し、画素値増幅手段３ＨＢは、水平方向画素値増幅手段３ＨＢｈと、垂直方向画素値増幅手段３ＨＢｖとを有する。水平方向増幅率決定手段３ＨＡｈと、水平方向画素値増幅手段３ＨＢｈとで、第２の水平方向中間画像処理手段３Ｈｈが構成され、垂直方向増幅率決定手段３ＨＡｖと、垂直方向画素値増幅手段３ＨＢｖとで、第２の垂直方向中間画像処理手段３Ｈｖが構成されている。
【００２６】
加算手段４は、入力輝度画像ＹＩＮに対し、中間画像Ｄ３Ｍ及び中間画像Ｄ３Ｈを加算し、出力輝度画像ＹＯＵＴを生成する。
【００２７】
以下、本発明の実施の形態１による画像処理装置の詳細な動作について説明を行う。
まず、第１の中間画像生成手段１の詳細な動作について説明する。
第１の中間画像生成手段１は、高周波数成分画像生成手段１Ａにおいて、入力輝度画像ＹＩＮの第１の周波数以上の高周波数成分のみを取り出した画像Ｄ１Ａを生成する。
高周波数成分の取り出しは、ハイパスフィルタ処理を行うことで可能である。高周波数成分の取り出しは画像の水平方向及び垂直方向それぞれについて行う。即ち高周波数成分画像生成手段１Ａは、入力輝度画像ＹＩＮに対し、水平方向のハイパスフィルタ処理を行って水平方向についてのみ第１の水平方向周波数以上の高周波数成分を取り出した画像Ｄ１Ａｈを生成する水平方向高周波数成分画像生成手段１Ａｈと、垂直方向のハイパスフィルタ処理を行って垂直方向についてのみ第２の垂直方向周波数以上の高周波数成分を取り出した画像Ｄ１Ａｖを生成する垂直方向高周波数成分画像生成手段１Ａｖを有し、画像Ｄ１Ａは画像Ｄ１Ａｈと画像Ｄ１Ａｖとから成る。
【００２８】
次に、第１の中間画像生成手段１は、低周波数成分画像生成手段１Ｂにおいて、画像Ｄ１Ａの第２の周波数以下の低周波数成分のみを取り出した画像Ｄ１Ｂを生成する。低周波数成分の取り出しは、ローパスフィルタ処理を行うことで可能である。低周波数成分の取り出しは水平方向及び垂直方向それぞれについて行う。即ち低周波数成分画像生成手段１Ｂは、画像Ｄ１Ａｈに対し水平方向のローパスフィルタ処理を行って水平方向についてのみ第２の水平方向周波数以下の低周波数成分を取り出した画像Ｄ１Ｂｈを生成する水平方向低周波数成分画像生成手段１Ｂと、画像Ｄ１Ａｖに対し垂直方向のローパスフィルタ処理を行って垂直方向についてのみ第２の垂直方向周波数以下の低周波数成分を取り出した画像Ｄ１Ｂｖを生成する垂直方向低周波数成分画像生成手段１Ｂｖとを有し、画像Ｄ１Ｂは画像Ｄ１Ｂｈと画像Ｄ１Ｂｖから成る。第１の中間画像生成手段１からは、画像Ｄ１Ｂが中間画像Ｄ１として出力される。なお、中間画像Ｄ１は、画像Ｄ１Ｂｈに相当する画像Ｄ１ｈ、画像Ｄ１Ｂｖに相当する画像Ｄ１ｖとから成る。
【００２９】
次に、第２の中間画像生成手段２の詳細な動作について説明する。
まず、第２の中間画像生成手段２は、非線形処理手段２Ａにおいて、中間画像Ｄ１に対して後述する非線形処理を行った画像Ｄ２Ａを生成する。非線形処理は、水平方向及び垂直方向それぞれについて行う。即ち非線形処理手段２Ａは、画像Ｄ１ｈに対して後述する非線形処理を行って画像Ｄ２Ａｈを生成する水平方向非線形処理手段２Ａｈと、画像Ｄ１ｖに対して後述する非線形処理を行って画像Ｄ２Ａｖを生成する垂直方向非線形処理手段２Ａｖとを有し、画像Ｄ２Ａは画像Ｄ２Ａｈと画像Ｄ２Ａｖとから成る。
【００３０】
非線形処理手段２Ａの動作についてさらに詳しく説明する。非線形処理手段２Ａは互いに同様の構成から成る水平方向非線形処理手段２Ａｈ及び垂直方向非線形処理手段２Ａｖを備える。水平方向非線形処理手段２Ａｈは水平方向の処理を行い、垂直方向非線形処理手段２Ａｖは垂直方向の処理を行う。
【００３１】
図６は水平方向非線形処理手段２Ａｈの構成例を示す図である。図示の水平方向非線形処理手段２Ａｈはゼロクロス判定手段３１１ｈと、信号増幅手段３１２ｈとを備える。非線形処理手段２Ａｈには、画像Ｄ１ｈが入力画像ＤＩＮ３１１ｈとして入力される。
【００３２】
ゼロクロス判定手段３１１ｈは入力画像ＤＩＮ３１１ｈにおける画素値の変化を水平方向に沿って確認する。そして画素値が正の値から負の値へ、あるいは負の値から正の値へと変化する箇所をゼロクロス点として捉え、信号Ｄ３１１ｈによってゼロクロス点の前後にある画素（前後において隣接する画素）の位置を信号増幅手段３１２ｈに伝達する。ここで「前後」とは信号が供給される順序における前後であり、水平方向に左から右に画素の信号が供給されるときは「左右」を意味し、垂直方向に上から下に画素の信号が供給されるときは「上下」を意味する。ゼロクロス判定手段３１１ｈでは、水平方向非線形処理手段２Ａｈ内のゼロクロス判定手段３１１ｈでは、ゼロクロス点の左右に位置する画素がゼロクロス点の前後に位置する画素として認識される。
【００３３】
信号増幅手段３１２ｈは信号Ｄ３１１ｈをもとにゼロクロス点の前後にある画素（前後において隣接する画素）を特定し、ゼロクロス点の前後にある画素についてのみその画素値を増幅させた（絶対値を大きくした）非線形処理画像Ｄ３１２ｈを生成する。即ち、ゼロクロス点前後にある画素の画素値に対しては増幅率を１より大きな値とし、それ以外の画素の画素値に対しての増幅率は１とする。
【００３４】
水平方向非線形処理手段２Ａｈからは画像Ｄ２Ａｈとして非線形処理画像Ｄ３１２ｈが出力される。
【００３５】
図７は垂直方向非線形処理手段２Ａｖの構成例を示す図である。図示の垂直方向非線形処理手段２Ａｖはゼロクロス判定手段３１１ｖと、信号増幅手段３１２ｖとを備える。非線形処理手段２Ａｖには、画像Ｄ１ｖが入力画像ＤＩＮ３１１ｖとして入力される。
【００３６】
ゼロクロス判定手段３１１ｖは入力画像ＤＩＮ３１１ｖにおける画素値の変化を垂直方向に沿って確認する。そして画素値が正の値から負の値へ、あるいは負の値から正の値へと変化する箇所をゼロクロス点として捉え、信号Ｄ３１１ｖによってゼロクロス点の前後にある画素（前後において隣接する画素）の位置を信号増幅手段３１２ｖに伝達する。垂直方向非線形処理手段２Ａｖ内のゼロクロス判定手段３１１ｖでは、ゼロクロス点の上下に位置する画素がゼロクロス点の前後に位置する画素として認識される。
【００３７】
信号増幅手段３１２ｖは信号Ｄ３１１ｖをもとにゼロクロス点の前後にある画素（前後において隣接する画素）を特定し、ゼロクロス点の前後にある画素についてのみその画素値を増幅させた（絶対値を大きくした）非線形処理画像Ｄ３１２ｖを生成する。即ち、ゼロクロス点前後にある画素の画素値に対しては増幅率を１より大きな値とし、それ以外の画素の画素値に対しての増幅率は１とする。
以上が非線形処理手段２Ａの動作である。
【００３８】
次に第２の中間画像生成手段２は、高周波数成分画像生成手段２Ｂにおいて、画像Ｄ２Ａの第３の周波数以上の高周波数成分のみを取り出した画像Ｄ２Ｂを生成する。高周波数成分の取り出しは、ハイパスフィルタ処理を行うことで可能である。高周波数成分の取り出しは画像の水平方向及び垂直方向それぞれについて行う。即ち高周波数成分画像生成手段２Ｂは、画像Ｄ２Ａｈに対し水平方向のハイパスフィルタ処理を行って水平方向についてのみ第３の水平方向周波数以上の高周波数成分を取り出した画像Ｄ２Ｂｈを生成する水平方向高周波数成分画像生成手段２Ｂｈと、画像Ｄ２Ａｖに対し垂直方向のハイパスフィルタ処理を行って垂直方向についてのみ第３の垂直方向周波数以上の高周波数成分を取り出した画像Ｄ２Ｂｖを生成する垂直方向高周波数成分画像生成手段２Ｂｖとを有し、画像Ｄ２Ｂは画像Ｄ２Ｂｈと画像Ｄ２Ｂｖとから成る。第２の中間画像生成手段２からは、画像Ｄ２Ｂが中間画像Ｄ２として出力される。中間画像Ｄ２は画像Ｄ２Ｂｈに相当する画像Ｄ２ｈと、画像Ｄ２Ｂｖに相当する画像Ｄ２ｖとから成る。
【００３９】
輝度色差加算手段５の詳細な動作について説明する。輝度色差加算手段５は各画素について入力輝度画像ＹＩＮの画素値と、入力ＣＲ画像ＣＲＩＮの画素値の絶対値と、入力ＣＢ画像ＣＢＩＮの画素値の絶対値とを加重加算し（加重加算のみにより）、輝度色差加算画像ＹＣを生成する。即ち、輝度色差加算画像ＹＣを、入力輝度画像ＹＩＮ、入力ＣＲ画像ＣＲＩＮ、及び入力ＣＢ画像ＣＢＩＮを用いて以下に式により求める。
ＹＣ＝Ｋｙ・ＹＩＮ＋Ｋｃｒ・｜ＣＲＩＮ｜＋Ｋｃｂ・｜ＣＢＩＮ｜    …（１）
ここでＫｙ、Ｋｃｒ、Ｋｃｂは重み付けのための係数である。
【００４０】
次に、第１の中間画像処理手段３Ｍの詳細な動作について説明する。
第１の中間画像処理手段３Ｍは、増幅率決定手段３ＭＡにおいて輝度色差加算画像ＹＣの画素値と中間画像Ｄ１の画素値の符号ｓＤ１をもとに増幅率Ｄ３ＭＡを決定する。ここで、第１の中間画像Ｄ１は、画像Ｄ１ｈと画像Ｄ１ｖから成るので、符号ｓＤ１は画像Ｄ１ｈの符号を表す符号ｓＤ１ｈと画像Ｄ１ｖの符号を表す符号ｓＤ１ｖから成る。先に述べた通り、増幅率Ｄ３ＭＡに基づいて第１の中間画像Ｄ１の画素値が増幅されるが、第１の中間画像Ｄ１は、画像Ｄ１ｈと画像Ｄ１ｖから成るので、増幅率Ｄ３ＭＡとしては、画像Ｄ１ｈに対する増幅率Ｄ３ＭＡｈと画像Ｄ１ｖに対する増幅率Ｄ３ＭＡｖが決定される。即ち、増幅率決定手段３ＭＡは、水平方向増幅率決定手段３ＭＡｈと、垂直方向増幅率決定手段３ＭＡｖとを有し、水平方向増幅率決定手段３ＭＡｈでは輝度色差加算画像ＹＣの画素値と画像Ｄ１ｈの画素値の符号ｓＤ１ｈをもとに増幅率Ｄ３ＭＡｈが決定され、垂直方向増幅率決定手段３ＭＡｖでは輝度色差加算画像ＹＣの画素値と画像Ｄ１ｖの画素値の符号ｓＤ１ｖをもとに増幅率Ｄ３ＭＡｖが決定され、増幅率決定手段３ＭＡからは増幅率Ｄ３ＭＡｈ及び増幅率Ｄ３ＭＡｖが増幅率Ｄ３ＭＡとして出力される。
【００４１】
水平方向増幅率決定手段３ＭＡｈ及び垂直方向増幅率決定手段３ＭＡｖの動作についてさらに詳しく説明する。
【００４２】
図８（Ａ）〜（Ｅ）は輝度色差加算画像ＹＣ、並びに画像Ｄ１ｈ及びＤ１ｖ、画像Ｄ１ｈの画素値の符号ｓＤ１ｈ、画像Ｄ１ｖの画素値の符号ｓＤ１ｖを表した図であり、図８（Ａ）が輝度色差加算画像ＹＣを、図８（Ｂ）が画像Ｄ１ｈを、図８（Ｃ）が画像Ｄ１ｖを、図８（Ｄ）が符号ｓＤ１ｈを、図８（Ｅ）が符号ｓＤ１ｖを表している。また、図８（Ａ）〜（Ｅ）では画像の水平方向及び垂直方向に合わせて水平座標、垂直座標及び各座標値が表されている。また、輝度色差加算画像ＹＣについては、水平座標ｘ、垂直座標ｙの位置にある画素の画素値がＹＣ（ｘｙ）という記号で表されており、画像Ｄ１ｈについては、水平座標ｘ、垂直座標ｙの位置にある画素の画素値がＤ１ｈ（ｘｙ）という記号で表されており、画像Ｄ１ｖについては、水平座標ｘ、垂直座標ｙの位置にある画素の画素値がＤ１ｖ（ｘｙ）という記号で表されている。画像Ｄ１ｈの画素値の符号ｓＤ１ｈについては、水平座標ｘ、垂直座標ｙの位置にある画素の符号がｓＤ１ｈ（ｘｙ）という記号で表されており、画像Ｄ１ｖの画素値の符号ｓＤ１ｖについては、水平座標ｘ、垂直座標ｙの位置にある画素の符号がｓＤ１ｖ（ｘｙ）という記号で表されている。
【００４３】
水平方向増幅率決定手段３ＭＡｈは画像Ｄ１ｈの各画素に対する増幅率を輝度色差加算画像ＹＣの同一座標の画素値と画像Ｄ１ｈの同一座標の画素値の符号に基づいて決定する。即ち、画素値Ｄ１ｈ（１１）に対する増幅率は画素値ＹＣ（１１）と符号ｓＤ１ｈ（１１）をもとに決定し、画素値Ｄ１ｈ（１２）に対する増幅率は画素値ＹＣ（１２）と符号ｓＤ１ｈ（１２）をもとに決定し、一般化すれば、画素値Ｄ１ｈ（ｘｙ）に対する増幅率は画素値ＹＣ（ｘｙ）と符号ｓＤ１ｈ（ｘｙ）をもとに決定し、という様に輝度色差加算画像ＹＣの同一座標の画素値と画像Ｄ１ｈの同一座標の画素値の符号をもとに増幅率を決定し、その結果を増幅率Ｄ３ＭＡｈとして出力する。
【００４４】
また、垂直方向増幅率決定手段３ＭＡｖは画像Ｄ１ｖの各画素に対する増幅率を輝度色差加算画像ＹＣの同一座標の画素値と画像Ｄ１ｖの同一座標の画素値の符号に基づいて決定する。即ち、画素値Ｄ１ｖ（１１）に対する増幅率は画素値ＹＣ（１１）と符号ｓＤ１ｖ（１１）をもとに決定し、画素値Ｄ１ｖ（１２）に対する増幅率は画素値ＹＣ（１２）と符号ｓＤ１ｖ（１２）をもとに決定し、一般化すれば、画素値Ｄ１ｖ（ｘｙ）に対する増幅率は画素値ＹＣ（ｘｙ）と符号ｓＤ１ｖ（ｘｙ）をもとに決定し、という様に輝度色差加算画像ＹＣの同一座標の画素値と画像Ｄ１ｖの同一座標の画素値の符号をもとに増幅率を決定し、その結果を増幅率Ｄ３ＭＡｖとして出力する。
【００４５】
次に、画素値増幅手段３ＭＢは、増幅率Ｄ３ＭＡに基づいて第１の中間画像Ｄ１の画素値を増幅する。第１の中間画像Ｄ１は画像Ｄ１ｈと画像Ｄ１ｖとから成るので、画素値増幅手段３ＭＢは、画像Ｄ１ｈの画素値を増幅するための水平方向画素値増幅手段３ＭＢｈと、画像Ｄ１ｖの画素値を増幅するための垂直方向画素値増幅手段３ＭＢｖとを有する。即ち、水平方向画素値増幅手段３ＭＢｈは、増幅率Ｄ３ＭＡｈに基づいて画像Ｄ１ｈの画素値を増幅した画像Ｄ３ＭＢｈを出力し、垂直方向画素値増幅手段３ＭＢｖは、増幅率Ｄ３ＭＡｖに基づいて画像Ｄ１ｖの画素値を増幅した画像Ｄ３ＭＢｖを出力する。そして画素値増幅手段３ＭＢからは画像Ｄ３ＭＢｈ及び画像Ｄ３ＭＢｖが画像Ｄ３ＭＢとして出力される。
【００４６】
画像Ｄ３ＭＢが中間画像Ｄ３Ｍとして第１の中間画像処理手段３Ｍから出力される。中間画像Ｄ３Ｍは画像Ｄ３ＭＢｈに相当する画像Ｄ３Ｍｈと画像Ｄ３ＭＢｖに相当する画像Ｄ３Ｍｖから成る。
以上が第１の中間画像処理手段３Ｍの動作である。
【００４７】
次に、第２の中間画像処理手段３Ｈの動作について説明する。図４と図５を比較すると、第２の中間画像処理手段は、入力信号が輝度色差加算画像ＹＣ、中間画像Ｄ２となっている以外は第１の中間画像処理手段と同様の構成となっており、第２の中間画像処理手段３Ｈは、第１の中間画像処理手段３Ｍが中間画像Ｄ１に対して行ったものと同じ処理を、中間画像Ｄ２に対して行って得た中間画像Ｄ３Ｈを出力する。なお、上述した第１の中間画像処理手段３Ｍの詳細な動作の説明から、第２の中間画像処理手段３Ｈの詳細な動作も明らかであるので、第２の中間画像処理手段３Ｈの詳細な動作の説明は省略する。
【００４８】
最後に加算手段４の動作について説明する。加算手段４は、入力輝度画像ＹＩＮと中間画像Ｄ３Ｍと中間画像Ｄ３Ｈとを加算した出力輝度画像ＹＯＵＴを生成する。加算手段４の出力輝度画像ＹＯＵＴ、並びに出力ＣＲ画像ＣＲＯＵＴ及び出力ＣＢ画像ＣＢＯＵＴから成る出力画像ＩＭＧＯＵＴが最終的な出力画像として、画像処理装置から出力される。
【００４９】
中間画像Ｄ３Ｍは画像Ｄ３Ｍｈ及び画像Ｄ３Ｍｖから成っており、中間画像Ｄ３Ｈは画像Ｄ３Ｈｈ及び画像Ｄ３Ｈｖから成っているので、入力輝度画像ＹＩＮ、中間画像Ｄ３Ｍ、及び中間画像Ｄ３Ｈを加算するとは、入力輝度画像ＹＩＮに対し、画像Ｄ３Ｍｈ、Ｄ３Ｍｖ、Ｄ３Ｈｈ、及びＤ３Ｈｖの全てを加算することを意味する。
【００５０】
ここで、加算手段４での加算処理は単純加算に限らず重み付け加算を行なっても良い。即ち、画像Ｄ３Ｍｈ、Ｄ３Ｍｖ、Ｄ３Ｈｈ、及びＤ３Ｈｖの各々をそれぞれ異なる増幅率で増幅してから入力輝度画像ＹＩＮに加算してもよい。
【００５１】
以下、本発明における画像処理装置を画像表示装置の一部として利用する例について説明する。この説明を通じて、本発明における画像処理装置の作用、効果も明らかなものとなるであろう。以下の説明では特に断らない限り、Ｆｎという記号は入力画像ＩＭＧＩＮのナイキスト周波数を表す。
【００５２】
図９は本発明における画像処理装置を利用した画像表示装置を示し、図示の画像表示装置においては、モニタＵ３上に原画ＩＭＧＯＲＧに対応した画像が表示される。
【００５３】
カラー画像拡大手段Ｕ１は、原画ＩＭＧＯＲＧの画像サイズがモニタＵ３の画像サイズより小さい場合、原画ＩＭＧＯＲＧを拡大した画像ＩＭＧＵ１を出力する。ここで画像の拡大は例えばハイキュービック法などにより行なうことができる。
【００５４】
本発明における画像処理装置Ｕ２は、画像ＩＭＧＵ１を入力画像ＩＭＧＩＮとし、入力画像ＩＭＧＩＮに対し、先に説明した処理を行った画像ＩＭＧＯＵＴを画像ＤＵ２として出力する。そしてモニタＵ３上には画像ＤＵ２が表示される。
【００５５】
なお、画像ＤＵ２は輝度信号（Ｙ）と色差信号（Ｃｒ、Ｃｂ）に分かれている（以下、ＹＣｂＣｒ形式と呼ぶこともある）ので、通常、モニタＵ３に表示される前に赤（Ｒ）緑（Ｇ）青（Ｂ）の色信号（以下ＲＧＢ形式と呼ぶこともある）に変換される。ＹＣｂＣｒ形式とＲＧＢ形式の間の変換は例えば国際電気通信連合による勧告ＩＴＵ−Ｒ．ＢＴ６０１等に記載されており、ＲＧＢ形式からＹＣｂＣｒ形式への変換は
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
Ｃｒ＝０．５００Ｒ−０．４１９Ｇ−０．０８１Ｂ
Ｃｂ＝−０．１６９Ｒ−０．３３１Ｇ＋０．５００Ｂ
…（２）
により行なわれ、ＹＣｂＣｒ形式からＲＧＢ形式への変換は
Ｒ＝１．０００Ｙ＋１．４０２Ｃｒ＋０．０００Ｃｂ
Ｇ＝１．０００Ｙ−０．７１４Ｃｒ−０．３４４Ｃｂ
Ｂ＝１．０００Ｙ＋０．０００Ｃｒ＋１．７７２Ｃｂ
…（３）
により行なわれる。なお、式（２）、式（３）に示した係数は一例であって、本発明はこれらに限定されない。また、入力画像が８ビットデータの場合、Ｃｒ、Ｃｂの値は通常−１２７以上１２８以下の範囲に丸め込まれる。
【００５６】
以下、原画ＩＭＧＯＲＧは、水平方向及び垂直方向ともにその画素数がモニタＵ３の画素数の半分であるとして、まずカラー画像拡大手段Ｕ１の動作、作用について説明を行う。
【００５７】
カラー画像拡大手段Ｕ１は原画ＩＭＧＯＲＧの輝度成分を表す画像ＹＯＲＧを拡大した画像ＤＵ１Ｙを生成する画像拡大手段Ｕ１Ｙと、Ｃｒ成分を表す画像ＣＲＯＲＧを拡大した画像ＤＵ１ＣＲを生成する画像拡大手段Ｕ１ＣＲと、Ｃｂ成分を表す画像ＣＢＯＲＧを拡大した画像ＤＵ１ＣＢを生成する画像拡大手段Ｕ１ＣＢとを有する。なお、画像拡大手段Ｕ１Ｙ、画像拡大手段Ｕ１ＣＲ、及び画像拡大手段Ｕ１ＣＢの構成はいずれも、図１０に示す画像拡大手段Ｕ１と同じにすることができる。
【００５８】
図１０は画像拡大手段Ｕ１の構成例を示す図であり、画像拡大手段Ｕ１は水平方向ゼロ挿入手段Ｕ１Ａと、水平方向低周波数成分通過手段Ｕ１Ｂと、垂直方向ゼロ挿入手段Ｕ１Ｃと、垂直方向低周波数成分通過手段Ｕ１Ｄとを有する。
また、画像拡大手段Ｕ１への入力画像を原画ＤＯＲＧとして表す。
水平方向ゼロ挿入手段Ｕ１Ａは原画ＤＯＲＧの水平方向に関して画素値０を持つ画素を適宜挿入した（原画ＤＯＲＧの水平方向に隣接する画素列相互間に、画素値０の画素から成る画素列を１列ずつ挿入した）画像ＤＵ１Ａを生成する。
【００５９】
水平方向低周波数成分通過手段Ｕ１Ｂはローパスフィルタ処理により画像ＤＵ１Ａの低周波数成分のみを取り出した画像ＤＵ１Ｂを生成する。
垂直方向ゼロ挿入手段Ｕ１Ｃは画像ＤＵ１Ｂの垂直方向に関して画素値０を持つ画素を適宜挿入した（画像ＤＵ１Ｂの垂直方向に隣接した画素行相互間に、画素値０の画素から成る画素行を１行ずつ挿入した）画像ＤＵ１Ｃを生成する。
垂直方向低周波数成分通過手段ＤＵ１Ｄは画像ＤＵ１Ｃの低周波数成分のみを取り出した画像ＤＵ１Ｄを生成する。
画像ＤＵ１Ｄが原画ＤＯＲＧを水平方向及び垂直方向ともに２倍した画像ＤＵ１として、画像拡大手段Ｕ１から出力される。
【００６０】
図１１（Ａ）〜（Ｅ）は画像拡大手段Ｕ１の動作を詳しく説明するための図であり、図１１（Ａ）は原画ＤＯＲＧを、図１１（Ｂ）は画像ＤＵ１Ａを、図１１（Ｃ）は画像ＤＵ１Ｂを、図１１（Ｄ）は画像ＤＵ１Ｃを、図１１（Ｅ）は画像ＤＵ１Ｄを表す。図１１（Ａ）〜（Ｅ）において、四角(升目)は画素を表し、その中に書かれた記号あるいは数値は各画素の画素値を表す。
【００６１】
水平方向ゼロ挿入手段Ｕ１Ａは図１１（Ａ）に示す原画ＤＯＲＧに対して、水平方向の１画素につき１個、画素値０をもった画素を挿入し（即ち、原画ＤＯＲＧの水平方向に隣接する画素列相互間に一つの、画素値０の画素から成る画素列を挿入し）、図１１（Ｂ）に示す画像ＤＵ１Ａを生成する。水平方向低周波数成分通過手段Ｕ１Ｂは図１１（Ｂ）に示す画像ＤＵ１Ａに対して、ローパスフィルタ処理を施し、図１１（Ｃ）に示す画像ＤＵ１Ｂを生成する。
【００６２】
垂直方向ゼロ挿入手段Ｕ１Ｃは図１１（Ｃ）に示す画像ＤＵ１Ｂに対して、垂直方向の１画素につき１個、画素値０をもった画素を挿入し（即ち、画像ＤＵ１Ｂの垂直方向に隣接する画素行相互間に一つの、画素値０の画素から成る画素行を挿入し）、図１１（Ｄ）に示す画像ＤＵ１Ｃを生成する。垂直方向低周波数成分通過手段Ｕ１Ｄは図１１（Ｄ）に示す画像ＤＵ１Ｃに対して、ローパスフィルタ処理を施し、図１１（Ｅ）に示す画像ＤＵ１Ｄを生成する。以上の処理により原画ＤＯＲＧを水平方向及び垂直方向ともに２倍に拡大した画像ＤＵ１Ｄが生成される。
【００６３】
図１２（Ａ）〜（Ｄ）は画像拡大手段Ｕ１による処理の作用を周波数空間上で表したものであり、図１２（Ａ）は原画ＤＯＲＧの周波数スペクトル、図１２（Ｂ）は画像ＤＵ１Ａの周波数スペクトル、図１２（Ｃ）は水平方向周波数成分通過手段Ｕ１Ｂの周波数応答、図１２（Ｄ）は画像ＤＵ１Ｂの周波数スペクトルを表している。なお、図１２（Ａ）〜（Ｄ）において横軸は水平方向の空間周波数を表す周波数軸であり、縦軸は周波数スペクトルもしくは周波数応答の強度を表している。
【００６４】
原画ＤＯＲＧの画素数は水平方向及び垂直方向ともに画像ＤＵ１の半分であり、言い換えると原画ＤＯＲＧのサンプリング間隔は画像ＤＵ１のサンプリング間隔の２倍である。したがって原画ＤＯＲＧのナイキスト周波数は画像ＤＵ１のナイキスト周波数の半分である。
一方、画像拡大手段Ｕ１（あるいは画像拡大手段Ｕ１Ｙ、画像拡大手段Ｕ１ＣＲ、画像拡大手段Ｕ１ＣＢ）の出力する画像ＩＭＧＵ１が入力画像ＩＭＧＩＮとして用いられるので、明らかに、画像ＤＵ１の画素数と入力画像ＩＭＧＩＮの画素数は同じである。即ち画像ＤＵ１のナイキスト周波数もＦｎである。したがって原画ＤＯＲＧのナイキスト周波数は入力画像入力画像ＩＭＧＩＮのナイキスト周波数の半分即ち、Ｆｎ／２である。
【００６５】
なお、図１２（Ａ）〜（Ｄ）では表記を簡素にするため、１本の周波数軸しか用いていない。しかしながら、通常、画像データは２次元平面状に並んだ画素配列上に与えられた画素値から成り、その周波数スペクトルも水平方向の周波数軸及び垂直方向の周波数軸で張られる平面上に与えられるものである。したがって原画ＤＯＲＧ等の周波数スペクトル等を正確に表すためには、水平方向の周波数軸及び垂直方向の周波数軸の両方を記載する必要がある。しかしながらその周波数スペクトルの形状は通常、周波数軸上の原点を中心に等方的に広がったものであり、周波数軸１本で張られる空間上での周波数スペクトルを示しさえすれば、そこから周波数軸２本で張られる空間へ拡張して考察することは当業者にとって容易である。したがって以降の説明でも特に断らない限り、周波数空間上での説明は、１本の周波数軸で張られる空間を用いて行う。
【００６６】
また、原画ＤＯＲＧとして入力される信号としては、輝度成分を表す画像ＹＯＲＧと、色差成分を表す画像ＣＲＯＲＧ及びＣＢＯＲＧがある。しかし人間の目は色差成分の急峻な変化（あるいは色差信号の持つ高周波数成分）については感度が低い。したがって、原画ＤＯＲＧとして色差成分を表す画像ＣＲＯＲＧ及びＣＢＯＲＧが入力される場合、以下で説明するような折り返し成分はあまり問題とならない。したがって以下の説明では原画ＤＯＲＧとして原画ＩＭＧＯＲＧの輝度成分を表す画像ＹＯＲＧが入力される場合を前提にしている。
【００６７】
まず、原画ＤＯＲＧの周波数スペクトルについて説明する。通常、自然画像が原画ＤＯＲＧとして入力されるが、その場合にはその輝度成分のスペクトル強度は周波数空間の原点周辺に集中している。したがって原画ＤＯＲＧの周波数スペクトルは図１２（Ａ）のスペクトルＳＰＯのようになる。
【００６８】
次に、画像ＤＵ１Ａのスペクトル強度について説明する。画像ＤＵ１Ａは、原画ＤＯＲＧに対して、水平方向に１画素につき１画素、画素値０を持った画素を挿入することで生成される。このような処理を行うと周波数スペクトルには原画ＤＯＲＧのナイキスト周波数を中心にした折り返しが発生する。即ち周波数±Ｆｎ／２を中心にスペクトルＳＰＯが折り返したスペクトルＳＰＭが発生するので、画像ＤＵ１Ａの周波数スペクトルは図１２（Ｂ）のように表される。
【００６９】
次に、水平方向低周波数成分通過手段Ｕ１Ｂの周波数応答について説明する。水平方向低周波数成分通過手段はローパスフィルタによって実現されるので、その周波数応答は図１２（Ｃ）に示すように周波数が高くなるほど低くなる。
【００７０】
最後に、画像ＤＵ１Ｂの周波数スペクトルについて説明する。図１２（Ｂ）に示す周波数スペクトルを持った画像ＤＵ１Ａに対し、図１２（Ｃ）に示した周波数応答を持ったローパスフィルタ処理を行うことで、図１２（Ｄ）に示す画像ＤＵ１Ｂが得られる。
したがって画像ＤＵ１Ｂの周波数スペクトルは画像ＤＵ１Ｂに示すように、スペクトルＳＰＭの強度がある程度落ちたスペクトルＳＰ２と、スペクトルＳＰＯの強度がある程度落ちたスペクトルＳＰ１から成る。なお一般に、ローパスフィルタの周波数応答は周波数が高くなるほど低くなる。従って、スペクトルＳＰ１の強度をスペクトルＳＰＯと比較すると、水平方向低周波数成分通過手段Ｕ１Ｂによって、高周波数成分側、即ち周波数が±Ｆｎ／２の近傍でのスペクトル強度が減少したものとなる。
【００７１】
また、画像拡大手段Ｕ１による処理のうち、垂直方向ゼロ挿入手段Ｕ１Ｃ及び垂直方向低周波数成分通過手段Ｕ１Ｄによる処理について、その周波数空間上での作用についての説明は省略するが、その処理の内容から、垂直方向の空間周波数を表す軸方向に対して、図１２（Ａ）〜（Ｄ）を参照して説明した内容と同様の作用があることは容易に理解できる。即ち、画像ＤＵ１Ｄの周波数スペクトルは、図１２（Ｄ）に示した周波数スペクトルが２次元上に広がったものとなる。
【００７２】
また、以降の説明ではスペクトルＳＰ２のことを折り返し成分と呼ぶ。この折り返し成分は、画像上では、比較的高い周波数成分を持ったノイズあるいは偽の信号として現れる。そのようなノイズあるいは偽の信号としてオーバーシュートやジャギーあるいはリンギング等が挙げられる。
【００７３】
以下、本発明における画像処理装置の作用、効果について説明する。
図１３（Ａ）〜（Ｅ）は入力画像ＩＭＧＩＮ（もしくは画像ＩＭＧＵ１）として原画ＩＭＧＯＲＧを拡大して得られた画像ＩＭＧＵ１が入力された場合の、入力輝度画像ＹＩＮから中間画像Ｄ１を生成する際の作用、効果を模式的に表した図であり、
図１３（Ａ）は入力輝度画像ＹＩＮの周波数スペクトルを、図１３（Ｂ）は高周波数成分画像生成手段１Ａの周波数応答を、図１３（Ｃ）は低周波数成分画像生成手段１Ｂの周波数応答を、図１３（Ｄ）は第１の中間画像生成手段１の周波数応答を、図１３（Ｅ）は中間画像Ｄ１の周波数スペクトルを表す。なお、図１３（Ａ）〜（Ｅ）においても図１２（Ａ）〜（Ｄ）と同様の理由で周波数軸は１本しか用いていない。
【００７４】
さらに図１３（Ａ）〜（Ｅ）では、空間周波数が０以上となる範囲でのみ周波数スペクトルあるいは周波数応答の強度を表しているが、以下の説明での周波数スペクトルあるいは周波数応答は、周波数軸上の原点を中心に対称的な形状となる。したがって説明に用いる図は、空間周波数が０以上となる範囲のみを示したもので十分である。
【００７５】
まず、入力輝度画像ＹＩＮの周波数スペクトルについて説明する。画像拡大手段Ｕ１Ｙにおける拡大処理によって生成された画像ＩＭＧＵ１が入力輝度画像ＹＩＮとして入力されるので、入力輝度画像ＹＩＮの周波数スペクトルは図１３（Ａ）に示すように、図１２（Ｄ）で説明したものと同じ形状となり、原画ＩＭＧＯＲＧのスペクトルＳＰＯの強度がある程度落ちたスペクトルＳＰ１と折り返し成分となるスペクトルＳＰ２とから成る。
【００７６】
次に、高周波数成分画像生成手段１Ａの周波数応答について説明する。高周波数成分画像生成手段１Ａはハイパスフィルタにより構成されているので、その周波数応答は図１３（Ｂ）に示すように周波数が低くなるほど低くなる。
【００７７】
次に、低周波数成分画像生成手段１Ｂの周波数応答について説明する。低周波数成分画像生成手段１Ｂはローパスフィルタにより構成されているので、その周波数応答は図１３（Ｃ）に示すように周波数が高くなるほど低くなる。
【００７８】
次に、第１の中間画像生成手段１の周波数応答について説明する。入力輝度画像ＹＩＮが持つ周波数成分のうち、図１３（Ｄ）に示された低周波数成分側の領域（「第１の周波数ＦＬ１」よりも低い周波数の帯域）ＲＬ１の周波数成分については、第１の中間画像生成手段１内の高周波数成分画像生成手段１Ａで弱められる。一方、図１３（Ｄ）に示された高周波数成分側の領域（第２の周波数ＦＬ２よりも高い周波数の帯域）ＲＨ１の周波数成分については、第１の中間画像生成手段１内の低周波数成分画像生成手段１Ｂで弱められる。したがって、第１の中間画像生成手段１の周波数応答は、図１３（Ｄ）に示すように、低周波数成分側の領域ＲＬ１と高周波数成分側の領域ＲＨ１によって帯域を制限された中間の領域（特定の周波数帯域）ＲＭ１内にピークを持ったものとなる。
【００７９】
次に、中間画像Ｄ１の周波数スペクトルについて説明する。図１３（Ａ）に示す周波数スペクトルを持つ入力輝度画像ＹＩＮが、図１３（Ｄ）に示した周波数応答を持つ第１の中間画像生成手段１を通過することで、図１３(Ｅ)に示す中間画像Ｄ１が得られる。そして第１の中間画像生成手段１の周波数応答は、低周波数成分側の領域ＲＬ１と高周波数成分側の領域ＲＨ１によって帯域制限された中間の領域ＲＭ１内にピークを持ったものなので、中間画像Ｄ１の周波数スペクトルは、入力輝度画像ＹＩＮの周波数スペクトルのうち、低周波数成分側の領域ＲＬ１と高周波数成分側の領域ＲＨ１に含まれる部分の強度が弱くなったものとなる。従って中間画像Ｄ１は入力輝度画像ＹＩＮの持つ高周波数成分から折り返し成分となるスペクトルＳＰ２を取り除いたものとなる。即ち第１の中間画像生成手段１には、入力輝度画像ＹＩＮのもつ高周波数成分から折り返し成分となるスペクトルＳＰ１を取り除いた中間画像Ｄ１を生成するという効果がある。
【００８０】
図１４（Ａ）〜（Ｃ）は第２の中間画像生成手段２の作用、効果を表した図であり、図１４（Ａ）は非線形処理画像Ｄ２Ａの周波数スペクトルを、図１４（Ｂ）は高周波数成分画像生成手段２Ｂの周波数応答を、図１４（Ｃ）は画像Ｄ２Ｂの周波数スペクトルを表す。なお、図１４(Ａ）〜（Ｃ）では、図１３（Ａ）〜（Ｅ）と同様の理由で、空間周波数が０以上となる範囲でのみ周波数スペクトルあるいは周波数応答を表している。
【００８１】
後述するように非線形処理画像Ｄ２Ａでは、高周波数成分側の領域ＲＨ２に相当する高周波数成分が生成される。図１４（Ａ）はその様子を模式的に表した図である。図１４（Ｃ）に示す画像Ｄ２Ｂは非線形処理画像Ｄ２Ａが高周波数成分画像生成手段２Ｂを通過することで生成される。高周波数成分画像生成手段２Ｂは第３の周波数ＦＬ３以上の成分を通過させるハイパスフィルタで構成されており、その周波数応答は図１４（Ｂ）に示すように周波数が高くなるほど高いものとなる。従って画像Ｄ２Ｂの周波数スペクトルは図１４（Ｃ）に示すように非線形処理画像Ｄ２Ａの周波数スペクトルから低周波数成分側の領域ＲＬ２に相当する成分（第３の周波数ＦＬ３よりも低い周波数成分）を取り除いたものとなる。言い換えると、非線形処理手段２Ａには高周波数成分側の領域ＲＨ２に相当する高周波数成分を生成する効果があり、高周波数成分画像生成手段２Ｂには非線形処理手段２Ａで生成された高周波数成分のみを取り出す効果がある。なお、図示の例では、第３の周波数ＦＬ３は、Ｆｎ／２に略等しい。
【００８２】
上記の作用、効果についてさらに詳しく説明する。
図１５（Ａ）〜（Ｃ）及び図１６（Ａ）〜（Ｃ）はステップエッジをサンプリングした際に得られる輝度信号について表した図である。
図１５（Ａ）はステップエッジとサンプリング間隔Ｓ１を表しており、図１５（Ｂ）はステップエッジをサンプリング間隔Ｓ１でサンプリングした際に得られる輝度信号を表しており、図１５（Ｃ）は図１５（Ｂ）に示される信号の高周波数成分を表している。一方、図１６（Ａ）はステップエッジとサンプリング間隔Ｓ１より間隔の広いサンプリング間隔Ｓ２を表しており、図１６（Ｂ）はステップエッジをサンプリング間隔Ｓ２でサンプリングした際に得られる信号を表しており、図１６（Ｃ）は図１６（Ｂ）に示される信号の高周波数成分を表している。以下の説明ではサンプリング間隔Ｓ２の長さはサンプリング間隔Ｓ１の長さの２倍であるとする。
【００８３】
図１５（Ｃ）及び図１６（Ｃ）に示されるようにステップエッジの中央は高周波数成分を表す信号においてゼロクロス点Ｚとして現れる。また、高周波数成分を表す信号のゼロクロス点Ｚの近傍での傾きは、サンプリング間隔が短いほど急になり、かつゼロクロス点Ｚの近傍での局所的な最大値、最小値を与える点の位置も、サンプリング間隔が短いほどゼロクロス点Ｚに近づく。
【００８４】
即ち、サンプリング間隔が変わっても、エッジの近傍において高周波数成分を表す信号のゼロクロス点の位置は変化しないが、サンプリング間隔が小さくなるほど（あるいは解像度が上がるほど）エッジの近傍での高周波数成分の傾きは急になり、局所的な最大値、最小値を与える点の位置はゼロクロス点に近づく。
【００８５】
図１７（Ａ）〜（Ｆ）はステップエッジをサンプリング間隔Ｓ２でサンプリングした信号が２倍に拡大された後、本発明における画像処理装置に入力された際の作用、効果を示す図であり、特に第１の中間画像生成手段１及び第２の中間画像生成手段２の作用、効果を表している。なお、先に述べた通り、第１の中間画像生成手段１及び第２の中間画像生成手段２内部の処理は水平方向及び垂直方向のそれぞれについて行われるのでその処理は一次元的に行われる。したがって図１７（Ａ）〜（Ｆ）では一次元信号を用いて処理の内容を表している。
【００８６】
図１７（Ａ）は、図１６（Ｂ）と同様ステップエッジをサンプリング間隔Ｓ２でサンプリングした際の輝度信号を示す。図１７（Ｂ）は、図１７（Ａ）に示される信号を２倍に拡大した信号を示す。即ち、原画ＤＯＲＧに図１７（Ａ）に示すようなエッジが含まれる場合、入力輝度画像ＹＩＮとして図１７（Ｂ）に示すような信号が入力される。なお、信号を２倍に拡大するとサンプリング間隔は拡大前の半分になるため、図１７（Ｂ）に示される信号のサンプリング間隔は図１４（Ａ）〜（Ｃ）中のサンプリング間隔Ｓ１と同じになる。また、図１７（Ａ）において座標Ｐ３で表される位置はエッジ信号の低輝度側（低レベル側）の境界部分であり、座標Ｐ４で表される位置はエッジ信号の高輝度側（高レベル側）の境界である。
【００８７】
図１７（Ｃ）は図１７（Ｂ）に示される信号の高周波数成分を表す信号、即ち高周波数成分画像生成手段１Ａから出力される画像Ｄ１Ａに相当する信号を示す。なお、画像Ｄ１Ａは、入力輝度画像ＹＩＮの高周波数成分を取り出したものなので、その中には折り返し成分も含まれている。
【００８８】
図１７（Ｄ）は図１７（Ｃ）に示される信号の低周波数成分を表す信号、即ち低周波数成分画像生成手段１Ｂから出力される画像Ｄ１Ｂに相当する信号を示す。なお先に述べたとおり画像Ｄ１Ｂが中間画像Ｄ１として出力されるので、図１７（Ｄ）は中間画像Ｄ１にも相当する。図１７（Ｄ）に示すとおり、中間画像Ｄ１においてゼロクロス点Ｚの近傍の局所的な最小値は座標Ｐ３に、局所的な最大値は座標Ｐ４に現れ、その様子は図１６（Ｃ）に示した、ステップエッジをサンプリング間隔Ｓ２でサンプリングした信号から取り出した高周波数成分と一致する。また、画像Ｄ１Ａに含まれていた折り返し成分は、低周波数成分画像生成手段１Ｂで行うローパスフィルタ処理によって取り除かれる。
【００８９】
図１７（Ｅ）は、図１７（Ｄ）に示される信号に対する非線形処理手段２Ａに入力された際の出力信号、即ち、中間画像Ｄ１が入力された場合に非線形処理手段２Ａから出力される画像Ｄ２Ａを表している。非線形処理手段２Ａではゼロクロス点Ｚの前後の（前後において隣接する）座標Ｐ１、Ｐ２の信号値が増幅される。したがって、画像Ｄ２Ａは図１７（Ｅ）に示すように座標Ｐ１、Ｐ２での信号値の大きさが他の値に比べ大きくなり、ゼロクロス点Ｚの近傍で、局所的な最小値の現れる位置が座標Ｐ３からよりゼロクロス点Ｚに近い座標Ｐ１に、局所的な最大値の現れる位置が座標Ｐ４からよりゼロクロス点Ｚに近い座標Ｐ２へと変化する。これは非線形処理手段２Ａにおける、ゼロクロス点Ｚの前後の画素の値を増幅するという非線形処理によって、高周波数成分が生成されたことを意味する。このように画素ごとに適応的に増幅率を変える、あるいは画素に応じて処理の内容を適宜変えることで、高周波数成分を生成することが可能になる。即ち非線形処理手段２Ａには、中間画像Ｄ１には含まれない高周波数成分、すわなち、図１４（Ａ）に示した高周波数成分側の領域ＲＨ２に相当する高周波数成分を生成する効果がある。
【００９０】
図１７（Ｆ）は図１７（Ｅ）に示される信号の高周波数成分を表す信号、即ち高周波数成分画像生成手段２Ｂから出力される画像Ｄ２Ｂに相当する信号を示す。画像Ｄ２Ｂのより正確な形状については後述するが、図１７（Ｆ）に示すとおり、画像Ｄ２Ｂにおいてゼロクロス点Ｚの近傍の局所的な最小値（負側のピーク）は座標Ｐ１に、最大値（正側のピーク）は座標Ｐ２に現れ、その様子は図１５（Ｃ）に示した、ステップエッジをサンプリング間隔Ｓ１でサンプリングした信号から取り出した高周波数成分と一致する。これは非線形処理手段２Ａにおいて生成された高周波数成分が高周波数成分画像生成手段２Ｂによって取り出され、画像Ｄ２Ｂとして出力されることを意味する。
また、取り出された画像Ｄ２Ｂはサンプリング間隔Ｓ１に対応した周波数成分を含む信号であるといえる。言い換えると、高周波数成分画像生成手段２Ｂには非線形処理手段２Ａで生成された高周波数成分のみを取り出す効果がある。
【００９１】
以上が第２の中間画像生成処理手段２の効果であり、まとめると、第２の中間画像生成処理手段２内の非線形処理手段２Ａには高周波数成分側の領域ＲＨ２に相当する高周波数成分を生成する効果があり、第２の中間画像生成処理手段２内の高周波数成分画像生成手段２Ｂには非線形処理手段２Ａで生成された高周波数成分のみを取り出す効果がある。そして画像Ｄ２Ｂが中間画像Ｄ２として出力されるので、第２の中間画像生成手段２は、サンプリング間隔Ｓ１に対応した高周波数成分を持った中間画像Ｄ２を出力することができる。
【００９２】
ここで中間画像Ｄ１及び中間画像Ｄ２を入力輝度画像ＹＩＮに加算することで画像の強調処理を行うことが可能である。
本発明では、第１及び第２の中間画像Ｄ１及びＤ２を入力画像ＹＩＮに加算するわけではないが、以下、仮に第１及び第２の中間画像を加算をした場合に得られる効果について説明し、その後で、第１及び第２の中間画像Ｄ１及びＤ２の代わりに、第３及び第４の中間画像Ｄ３Ｍ及びＤ３Ｈを加算することによる効果について説明する。
【００９３】
まず、中間画像Ｄ１を加算することの効果について述べる。先に述べたとおり中間画像Ｄ１は入力輝度画像ＹＩＮの持つ高周波数成分から折り返し成分を取り除いたものであり、図１３（Ｅ）に示すように原画ＤＯＲＧのナイキスト周波数の近傍の高周波数成分に対応している。図１２（Ｄ）で説明したとおり、原画ＤＯＲＧのナイキスト周波数の近傍のスペクトル強度は画像拡大手段Ｕ１での拡大処理によって弱められているので、中間画像Ｄ１を加算することで、拡大処理によって弱められたスペクトル強度を補うことができる。また、中間画像Ｄ１から、折り返し成分は取り除かれているので、オーバーシュートやジャギーあるいはリンギングといった偽の信号を強調することはない。
【００９４】
次に中間画像Ｄ２を加算することの効果について述べる。先に述べたとおり中間画像Ｄ２はサンプリング間隔Ｓ１に対応した高周波数成分である。したがって画像Ｄ２を加算することで原画ＤＯＲＧのナイキスト周波数以上の帯域の高周波数成分を与えることができ、従って、画像の解像感を増すことができる。
【００９５】
まとめると中間画像Ｄ１と画像Ｄ２を入力輝度画像ＹＩＮに加算することで、折り返し成分を強調することなく高周波数成分を加算することが可能となり、画像の解像感を高めることが可能となる。
【００９６】
ところで、上記の説明の様にして生成した高周波数成分を入力画像に加算することで画像の鮮鋭感を増し、画質を向上することが可能であるが、高周波数成分の加算を過度に行うとかえって画質の低下を招くことがある。
【００９７】
図１８（Ａ）及び（Ｂ）は高周波数成分の加算による画質の低下について説明するための図であり、図１８（Ａ）は高周波数成分の加算に適度に行うことによって、画像の鮮鋭感を増した場合を、図１８（Ｂ）は高周波数成分の加算を過度に行った結果、画質の低下を招いた場合を表す。
【００９８】
図１８（Ａ）は、図１７（Ｂ）に示された入力輝度画像ＹＩＮに対して図１７（Ｄ）に示した中間画像Ｄ１及び図１７（Ｆ）に示した中間画像Ｄ２を加算した結果を示す図であり、図１７（Ａ）において座標Ｐ３で表されたステップエッジの低輝度側の境界部分が、図１８（Ａ）では座標Ｐ１で表される位置へと修正され、図１７（Ａ）において座標Ｐ４で表されたエッジ信号の高輝度側の境界部分が、図１８（Ａ）では座標Ｐ２で表される位置へと修正され、その結果、図１７（Ａ）と図１８（Ｂ）を比較すると、図１８（Ａ）の方が図１６（Ａ）に示すステップエッジへと近づいていることがわかる。これは高周波数成分の加算に適度に行うことによってステップエッジを再現し、画像の鮮鋭感を増したことを表す。
【００９９】
一方、図１８（Ｂ）も、図１７（Ｂ）に示された入力輝度画像ＹＩＮに対して図１７（Ｄ）に示した中間画像Ｄ１及び図１７（Ｆ）に示した中間画像Ｄ２を加算した結果を示す図であるが、図１８（Ａ）の場合とは異なり、高周波数成分の加算が過度に行われた場合を表している。図１８（Ａ）と比較すると座標Ｐ１、Ｐ３で表される位置の輝度がその周辺と比べて不自然に低くなったり（アンダーシュート）、座標Ｐ２、Ｐ４で表される位置の輝度がその周辺と比べて不自然に高くなったり（オーバーシュート）して、画質が低下していることがわかる。オーバーシュートが発生するのは中間画像Ｄ１や中間画像Ｄ２の画素値の符号が正の場合であり、アンダーシュートが発生するのは中間画像Ｄ１や中間画像Ｄ２の画素値の符号が負の場合である。
【０１００】
以下、オーバーシュートが発生した場合の不具合、アンダーシュートが発生した場合の不具合を個別に考えるとともに、本発明によってそれを如何に防止するかについて述べる。
まず、オーバーシュートに関して述べる。
【０１０１】
入力輝度画像ＹＩＮにおいてオーバーシュートが発生すると輝度信号が必要以上に大きくなる。式（３）から、輝度信号（Ｙ）の値が大きくなるとＲＧＢ形式へ変換した場合、Ｒ、Ｇ、Ｂを表す各式の右辺の第１項が大きくなるので、結果的にＲ、Ｇ、Ｂともに大きな値になることがわかる。
【０１０２】
Ｒ、Ｇ、Ｂともに大きな値になるということは白色に近づくことを意味する。白色に近づくとは言い換えれば色が薄くなるということである。もともと無彩色に近い部分で色が薄くなっても相対的に目立たないが、有彩色のエッジ付近で色が薄くなると、エッジの周りのみ色が薄くなり、不自然な感じを与える。
【０１０３】
言い換えると、中間画像Ｄ１や中間画像Ｄ２の画素値の符号が正の場合、有彩色の部分に中間画像Ｄ１や中間画像Ｄ２によって加算される輝度の大きさ（以下、補正量）が必要以上に大きくなると、これら画質の低下が発生しやすくなると考えられる。そこで有彩色の部分において中間画像Ｄ１や中間画像Ｄ２による補正量が必要以上に大きくならないよう調整すればよいと考えられる。
【０１０４】
その方法として例えば中間画像Ｄ１や中間画像Ｄ２の画素値の符号が正の場合、有彩色かつ中間画像Ｄ１や中間画像Ｄ２によって与えられる補正量が大きくなる部分を検出し、検出された箇所では、中間画像Ｄ１や中間画像Ｄ２による補正量が小さくなるよう適宜ゲインをかけることで、補正量が必要以上に大きくならないようにする方法が考えられる。
【０１０５】
有彩色であるかどうかは彩度（Ｃｒ、Ｃｂの２乗和の平方根で表すことができる）で判定することができる。即ち、有彩色では彩度は大きな値となる。またＣｒ、Ｃｂの２乗和の平方根はＣｒ、Ｃｂの絶対値の和で近似することが出来る。ＣｒあるいはＣｂの絶対値が大きくなればＣｒ、Ｃｂの２乗和の平方根も大きくなるからである。また、２乗和の平方根を計算するより、絶対値の和を計算する方が簡単であるため、回路規模も小さくて済む。
【０１０６】
中間画像Ｄ１や中間画像Ｄ２によって与えられる補正量が大きくなるかどうかは入力輝度画像ＹＩＮの画素値に基づいてある程度判断することが可能である。理由を以下に述べる。
【０１０７】
中間画像Ｄ１は入力輝度画像ＹＩＮに対してハイパスフィルタ処理を行った後、ローパスフィルタ処理を行うことで生成される。ローパスフィルタ処理は入力されるデータの局所的な平均値を求めることと同じである。したがってハイパスフィルタ処理の出力値が大きな正の値になっているとローパスフィルタ処理の出力値も大きな正の値となる可能性が高く、中間画像Ｄ１によって与えられる補正量も大きな値となりやすい。
【０１０８】
一方、ハイパスフィルタ処理は入力輝度画像ＹＩＮの各画素値から局所的な平均値を引くことに相当する。したがって、入力輝度画像ＹＩＮにおいて注目する画素の画素値が大きな値を持っており、その周辺の画素の画素値が小さいと、その画素に対して与えられるハイパスフィルタ処理後の出力値も大きな正の値となる。
【０１０９】
逆に入力輝度画像ＹＩＮにおいて注目する画素の画素値が小さな値を持っていると、ハイパスフィルタ処理後の出力値が大きな正の値にはならない。
【０１１０】
したがって入力輝度画像ＹＩＮにおいて注目する画素の画素値が大きいと、その画素に対して与えられるハイパスフィルタ処理後の出力値も大きな正の値となる可能性が高い。
【０１１１】
一方、ローパスフィルタ処理は入力されるデータの局所的な平均値を求めることと同じである。したがってハイパスフィルタ処理の出力値が大きな正の値になっているとローパスフィルタ処理の出力値も大きな正の値となる可能性が高い。
【０１１２】
以上をまとめると、入力輝度画像ＹＩＮにおいて注目する画素の画素値が大きいと、中間画像Ｄ１によって与えられる補正量も大きな値となりやすい。
【０１１３】
また、中間画像Ｄ２は中間画像Ｄ１に対し、非線形処理手段２Ａで非線形処理を行った後、高周波数成分画像生成手段２Ｂにおいてハイパスフィルタ処理を行うことで得られる。非線形処理手段２Ａではゼロクロス点の近傍のみ中間画像Ｄ１を増幅させるので、基本的に中間画像Ｄ１が大きな正の値を持っていると非線形処理手段２Ａの出力する画像Ｄ２Ａも大きな正の値を持っていると考えられる。画像Ｄ２Ａが大きな正の値を持っている場合、画像Ｄ２Ａに対するハイパスフィルタ処理結果である中間画像Ｄ２も大きな正の値をもつ可能性が高い。
【０１１４】
以上をまとめると、入力輝度画像ＹＩＮの画素値が大きい場合、中間画像Ｄ１や中間画像Ｄ２の画素値も大きな正の値となる可能性が高い。言い換えると入力輝度画像ＹＩＮの画素値が大きい場合、中間画像Ｄ１や中間画像Ｄ２によって与えられる補正量が大きくなるとある程度判断することが可能である。
【０１１５】
上記の理由から入力輝度画像ＹＩＮの画素値、入力ＣＲ画像ＣＲＩＮの画素値の絶対値、及び入力ＣＢ画像ＣＢＩＮの画素値の絶対値のいずれかが大きい画素では、補正量が大きくなり、ＲＧＢ形式に直した場合に色が薄くなるという不具合が起きうると考えられる。
【０１１６】
また、入力輝度画像ＹＩＮの画素値、入力ＣＲ画像ＣＲＩＮの画素値の絶対値、及び入力ＣＢ画像ＣＢＩＮの画素値の絶対値のいずれかが大きい場合、その加重加算値も大きな値となる。
【０１１７】
そこで本発明は、式（１）により入力輝度画像ＹＩＮの画素値、入力ＣＲ画像ＣＲＩＮの画素値の絶対値、及び入力ＣＢ画像ＣＢＩＮの画素値の絶対値を加重加算し、輝度色差加算画像ＹＣを生成し、中間画像Ｄ１や中間画像Ｄ２の画素値の符号が正の場合、輝度色差加算画像ＹＣの画素値が大きくなるほど中間画像Ｄ１や中間画像Ｄ２にかける増幅率を小さくすることで、有彩色のエッジ付近で色が薄くなるという不具合を回避することとしたものである。
【０１１８】
このような、増幅率（ＧＡＩＮ）と輝度色差加算画像ＹＣの画素値（Ｌ）の関係は例えば
【数１】
2010220063.tif 000003
と表される。
【０１１９】
図１９（Ａ）は、式（４）で表される増幅率（ＧＡＩＮ）と輝度色差加算画像ＹＣの画素値（Ｌ）の関係を示す図である。輝度色差加算画像ＹＣの画素値が０の場合はある所定の値ｐＢをとり、画素値が０からある値ｐＡ１の間は傾きｐｋ１で減少していき、画素値がｐＡ１からある値ｐＡ２の間は傾きｐｋ２で減少していき、画素値がｐＡ２以上の場合は傾きｐｋ３で減少していく。
【０１２０】
要するに、図１９（Ａ）あるいは式（４）に示すような、輝度色差加算画像ＹＣの画素値が大きくなるほど増幅率が減少するような単調減少の関数に基づいて、増幅率Ｄ３ＭＡあるいは増幅率Ｄ３ＨＡを決定することで、有彩色のエッジ付近で色が薄くなるという不具合を防止する処理が可能となる。
【０１２１】
次に、アンダーシュートに関して述べる。
入力輝度画像ＹＩＮにアンダーシュートが発生すると輝度信号が必要以上に小さくなる。式（３）から、輝度信号（Ｙ）の値が小さくなるとＲＧＢ形式へ変換した場合、Ｒ、Ｇ、Ｂを表す各式の右辺の第１項が小さくなるので、結果的にＲ、Ｇ、Ｂともに小さな値になることがわかる。
【０１２２】
Ｒ、Ｇ、Ｂともに小さな値になるということは黒色に近づくことを意味する。エッジ付近で色が黒くなると、エッジを縁取るような黒い偽の輪郭が現れ、不自然な感じを与える。
【０１２３】
言い換えると、中間画像Ｄ１や中間画像Ｄ２の画素値の符号が負の場合、中間画像Ｄ１や中間画像Ｄ２によって減算される輝度の大きさ（以下、補正量）が必要以上に大きな値になると、これら画質の低下が発生しやすくなると考えられる。そこで中間画像Ｄ１や中間画像Ｄ２の画素値の符号が負の場合、補正量が必要以上に大きくならないよう調整すればよいと考えられる。
【０１２４】
その方法として例えば中間画像Ｄ１や中間画像Ｄ２の画素値の符号が負の場合、補正量が大きくなる部分を検出し、検出された箇所では、中間画像Ｄ１や中間画像Ｄ２による補正量が小さくなるよう適宜ゲインをかけることで、補正量が必要以上に大きくならないようにする方法が考えられる。
【０１２５】
中間画像Ｄ１や中間画像Ｄ２によって与えられる補正量が大きくなる（絶対値の大きな負の値になる）かどうかは入力輝度画像ＹＩＮの画素値に基づいてある程度判断することが可能である。理由を以下に述べる。
【０１２６】
中間画像Ｄ１は入力輝度画像ＹＩＮに対してハイパスフィルタ処理を行った後、ローパスフィルタ処理を行うことで生成される。ここでハイパスフィルタ処理は入力輝度画像ＹＩＮの各画素値から局所的な平均値を引くことに相当する。したがって入力輝度画像ＹＩＮにおいて注目する画素の画素値が小さいと、その画素に対して与えられるハイパスフィルタ処理後の出力値は絶対値の大きな負の値となる可能性が高い。
【０１２７】
一方、ローパスフィルタ処理は入力されるデータの局所的な平均値を求めることと同じである。したがってハイパスフィルタ処理の出力値が絶対値の大きな負の値になっているとローパスフィルタ処理の出力値も絶対値の大きな負の値となる可能性が高い。
【０１２８】
また、中間画像Ｄ２は中間画像Ｄ１に対し、非線形処理手段２Ａで非線形処理を行った後、高周波数成分画像生成手段２Ｂにおいてハイパスフィルタ処理を行うことで得られる。非線形処理手段２Ａではゼロクロス点の近傍のみ中間画像Ｄ１を増幅させるので、基本的に中間画像Ｄ１が絶対値の大きな負の値を持っていると非線形処理手段２Ａの出力する画像Ｄ２Ａも絶対値の大きな負の値を持っていると考えられる。画像Ｄ２Ａが絶対値の大きな負の値を持っている場合、画像Ｄ２Ａに対するハイパスフィルタ処理結果である中間画像Ｄ２も絶対値の大きな負の値をもつ可能性が高い。
【０１２９】
以上をまとめると、入力輝度画像ＹＩＮの画素値が小さい場合、中間画像Ｄ１や中間画像Ｄ２の画素値も小さな負の値となる可能性が高い。言い換えると入力輝度画像ＹＩＮの画素値が小さい場合、中間画像Ｄ１や中間画像Ｄ２によって与えられる補正量が大きな値になるとある程度判断することが可能である。
【０１３０】
上記の理由から入力輝度画像ＹＩＮの画素値が小さい画素では、補正量が大きな値になり、ＲＧＢ形式に直した場合に黒色になるという不具合が起きうると考えられる。
【０１３１】
本発明では、中間画像Ｄ１や中間画像Ｄ２の画素値の符号が負の場合、入力輝度画像ＹＩＮの画素値の代わりに輝度色差加算画像ＹＣの画素値が小さくなるほど中間画像Ｄ１や中間画像Ｄ２にかける増幅率を小さくすることで、エッジ付近に偽の輪郭が現れるという不具合を回避することとしたものである。（なお、入力輝度画像ＹＩＮの代わりに輝度色差加算画像ＹＣを使っても良い理由については後に述べる。）
【０１３２】
このような、増幅率（ＧＡＩＮ）と輝度色差加算画像ＹＣの画素値（Ｌ）の関係は例えば
【数２】
2010220063.tif 000004
と表される。
【０１３３】
図１９（Ｂ）は、式（５）で表される増幅率（ＧＡＩＮ）と輝度色差加算画像ＹＣの画素値（Ｌ）の関係を示す図である。輝度色差加算画像ＹＣの画素値が０の場合はある所定の値ｍＢをとり、画素値が０からある値ｍＡ１の間は傾きｍｋ１で増加していき、画素値がｍＡ１からある値ｍＡ２の間は傾きｍｋ２で増加していき、画素値がｍＡ２以上の場合は傾きｍｋ３で増加していく。
【０１３４】
上記のような処理を行うことによって、無彩色のエッジ付近では、エッジ付近で色が黒色に近づくという不具合を防止する処理が可能となる。なぜなら無彩色の場合、入力ＣＲ画像ＣＲＩＮの画素値の絶対値、及び入力ＣＢ画像ＣＢＩＮの画素値の絶対値はゼロに近いため、輝度加算画像ＹＣの画素値の大小関係はそのまま入力輝度画像ＹＩＮの画素値の大小関係を表していると考えられるからである。したがって無彩色のエッジ付近では入力輝度画像ＹＩＮの代わりに輝度色差加算画像ＹＣを使うことに問題はないと考えられる。
【０１３５】
一方、有彩色のエッジ付近では、入力ＣＲ画像ＣＲＩＮの画素値の絶対値、及び入力ＣＢ画像ＣＢＩＮの画素値の絶対値は大きな値を取り得るため、必ずしも輝度加算画像ＹＣの画素値の大小関係がそのまま入力輝度画像ＹＩＮの画素値の大小関係を表しているとは限らない。例えば入力輝度画像ＹＩＮの画素値が小さくても入力ＣＲ画像ＣＲＩＮの画素値の絶対値あるいは入力ＣＢ画像ＣＢＩＮの画素値が大きいと、入力輝度画像ＹＩＮの画素値は小さな値なのに輝度色差加算画像ＹＣの画素値が大きな値となる。
【０１３６】
しかしながら、自然画像では輝度が小さい場合、色差の絶対値も小さい場合が多いので、入力輝度画像ＹＩＮの画素値が小さくても入力ＣＲ画像ＣＲＩＮの画素値の絶対値あるいは入力ＣＢ画像ＣＢＩＮの画素値が大きい場合は稀である。したがって、上述のように入力輝度画像ＹＩＮの画素値の代わりに輝度色差加算画像ＹＣの画素値を用いて中間画像Ｄ１や中間画像Ｄ２に対する増幅率を制御することに事実用上問題は少ないと考えられる。
【０１３７】
要するに、図１９（Ｂ）あるいは式（５）に示すような、輝度色差加算画像ＹＣの画素値が大きくなるほど増幅率が増加するような単調増加の関数に基づいて、増幅率Ｄ３ＭＡあるいは増幅率Ｄ３ＨＡを決定することで、エッジ付近で色が黒色に近づくという不具合を防止する処理が可能となる。
【０１３８】
以上のように本発明の実施の形態１による画像処理装置では、エッジ付近で色が薄くなるあるいは黒色に近づくという不具合の発生を抑えつつ、画像の強調処理を行うことができる。エッジ付近で色が薄くなるあるいは黒色に近づくと視覚特性上不自然に感じられるので、本発明の実施の形態１による画像処理装置では、視覚特性上も非常に好ましいものである。
【０１３９】
また、本発明の実施の形態１による画像処理装置では、第１の中間画像処理手段３Ｍ及び第２の中間画像処理手段３Ｈにおいて、中間画像Ｄ１及び中間画像Ｄ２に対する増幅率を決定しているが、その際必要になる情報は入力輝度画像ＹＩＮの画素値、入力ＣＲ画像ＣＲＩＮの画素値の絶対値、及び入力ＣＢ画像ＣＢＩＮの画素値の絶対値の加重加算値および中間画像Ｄ１もしくは中間画像Ｄ２の画素値の符号のみである。したがって簡単な回路で増幅率を決定することが可能であり、回路規模の増加も少なくて済む。
【０１４０】
例えば式（４）と式（５）を比較すると両者はその中で用いている係数、閾値等のパラメータが異なるだけである。すなわち、係数ｋ１、ｋ２、ｋ３、閾値Ａ１、Ａ２および数値Ｂを用いて表される以下の計算
【数３】
2010220063.tif 000005
を行える演算手段と、演算手段に対して与える係数ｋ１、ｋ２、ｋ３、閾値Ａ１、Ａ２および数値Ｂの値を中間画像Ｄ１もしくは中間画像Ｄ２の画素値の符号に応じて変化させる係数切替手段で、増幅率決定手段３ＭＡもしくは増幅率決定手段３ＭＢを構成することができる。
即ち、切替手段により、画素値の符号が正のときは、−ｐｋ１、−ｐｋ２、−ｐｋ３、ｐＡ１、ｐＡ２、ｐＢを、画素値の符号が負のときは、ｍｋ１、ｍｋ２、ｍｋ３、ｍＡ１、ｍＡ２、ｍＢを選択し、それぞれｋ１、ｋ２、ｋ３、Ａ１、Ａ２、Ｂとして用いて、式（６）による演算を行うこととすれば良い。
【０１４１】
なお、上記の実施の形態では、第１の中間画像処理手段３Ｍにおいて、輝度色差加算手段５の出力ＹＣと第１の中間画像Ｄ１の画素値の符号ｓＤ１に基づいて増幅率Ｄ３ＭＡを決定するとともに、第２の中間画像処理手段３Ｈにおいて、輝度色差加算手段５の出力ＹＣと第２の中間画像Ｄ２の画素値の符号ｓＤ２に基づいて増幅率Ｄ３ＨＡを決定することとしているが、第１の中間画像処理手段３Ｍ及び第２の中間画像処理手段３Ｈの一方においてのみ、上記の方法で増幅率を決定することとし、他方においては他の方法で増幅率を決定することとしても良い。
【０１４２】
さらに、本発明における画像処理装置では、第１の中間画像生成手段１及び第２の中間画像生成手段２において、画像の水平方向に関する処理及び垂直方向に関する処理を並列に行っているので、画像の水平方向のみ、あるいは垂直方向のみに限らず任意の方向に関して上記の効果を得ることができる。
【０１４３】
また、本発明における画像処理装置では周波数空間で考えて原点からＦｎに渡る周波数帯域のうち、原画ＤＯＲＧのナイキスト周波数±Ｆｎ／２の近傍（あるいは特定の周波数帯域）に入力輝度画像ＹＩＮが持っている成分をもとに、入力輝度画像ＹＩＮのナイキスト周波数±Ｆｎの近傍の高周波数成分に対応した画像Ｄ２Ｂを生成している。したがってなんらかの理由で、入力輝度画像ＹＩＮ（あるいは入力画像ＩＭＧＩＮ）において、ナイキスト周波数±Ｆｎの近傍の周波数成分が失われていたとしても、画像Ｄ２Ｂにより、ナイキスト周波数±Ｆｎの近傍の周波数成分を与えることが可能になる。言い換えると、入力輝度画像ＹＩＮに対し、より高周波数成分側の周波数成分を与えられることになるので、出力輝度画像ＹＯＵＴ（あるいは出力画像ＩＭＧＯＵＴ）の解像感を増すことができる。
【０１４４】
なお、特定の周波数帯域として用いる箇所は、±Ｆｎ／２の近傍に限定されるものではない。即ち高周波数成分画像生成手段１Ａ及び低周波数成分画像生成手段１Ｂの周波数応答を適宜変更することで、利用する周波数帯域を変更することができる。
【０１４５】
上記の説明ではナイキスト周波数Ｆｎの近傍の周波数成分が失われる例として画像の拡大処理を挙げたが、入力輝度画像ＹＩＮに対してナイキスト周波数Ｆｎの近傍の周波数成分が失われる原因はそれに限らず、他にもノイズ除去処理等が考えられる。したがって本発明における画像処理装置の用途は画像拡大処理後に限定されるものではない。
【０１４６】
また、第１の中間画像処理手段３Ｍ及び第２の中間画像処理手段３Ｈで決定される増幅率と輝度色差加算画像ＹＣの画素値の関係は本実施の形態で説明したものに留まらず、中間画像Ｄ１あるいはＤ２の符号が正の場合、輝度色差加算画像ＹＣの画素値が大きくなるほど増幅率が減少するものであればよく、中間画像Ｄ１あるいはＤ２の符号が負の場合、輝度色差加算画像ＹＣの画素値が小さくなるほど増幅率が減少するものであればよい。
【０１４７】
実施の形態２．
実施の形態１では、本発明をハードウエアにより実現するものとして説明したが、図１に示される構成の一部又は全部をソフトウエアにより実現することも可能である。その場合の処理を図２０、並びに図２１〜図２７を参照して説明する。
【０１４８】
図２０は、実施の形態２の画像処理装置を示す。図示の画像処理装置は、ＣＰＵ１１と、プログラムメモリ１２と、データメモリ１３と、第１のインターフェース１４と、第２のインターフェース１５と、これらを接続するバス１６を有し、例えば図１に示す画像処理装置の代わりに、例えば図９に示す表示装置内の画像処理部Ｕ１として用いることができる。
【０１４９】
ＣＰＵ１１は、プログラムメモリ１２に記憶されたプログラムに従って動作する。動作の過程で種々のデータをデータメモリ１３に記憶させる。例えば、図９に示されるカラー画像拡大手段Ｕ１から出力される画像ＩＭＧＵ１が入力画像ＩＭＧＩＮとしてインターフェース１４を介して供給され、ＣＰＵ１１において、図１の画像処理装置と同様の処理を行ない、処理の結果生成される出力画像ＩＭＧＯＵＴが、インターフェース１５を介して例えば図９に示す画像表示装置内のモニタＵ３に画像ＤＵ２として供給され、モニタ９による表示に用いられる。
以下、ＣＰＵ１１により行なわれる処理を、図２１〜図２７を参照して説明する。
【０１５０】
図２１は、図２０の画像処理装置で実施される画像処理方法のフローを表す図であり、図示の画像処理方法は、輝度色差信号加算ステップＳＴ０、第１の中間画像生成ステップＳＴ１、第２の中間画像生成ステップＳＴ２、第１の中間画像処理ステップＳＴ３Ｍ、第２の中間画像処理ステップＳＴ３Ｈ、及び加算ステップＳＴ４を含む。
【０１５１】
なお、実施の形態２による画像処理方法も実施の形態１と同様ＹＣｂＣｒ形式で入力される入力画像ＩＭＧＩＮに対して画像処理を行う。即ち、図示しない画像入力ステップで入力される入力画像ＩＭＧＩＮはカラー画像であり、輝度成分を表す信号ＹＩＮ（以下、入力輝度画像ＹＩＮと呼ぶ）と色差成分を表す信号ＣＲＩＮ及びＣＢＩＮとから成る。信号ＣＲＩＮ（以下、入力ＣＲ画像ＣＲＩＮと呼ぶ）は色差成分のうちＣｒ成分を表し、信号ＣＢＩＮ（以下、入力ＣＢ画像ＣＢＩＮと呼ぶ）は色差成分のうちＣｂ成分を表す。
【０１５２】
第１の中間画像生成ステップＳＴ１は、図２２に示すように、高周波数成分画像生成ステップＳＴ１Ａ、及び低周波数成分画像生成ステップＳＴ１Ｂを含む。
【０１５３】
高周波数成分画像生成ステップＳＴ１Ａは、水平方向高周波数成分画像生成ステップＳＴ１Ａｈ、及び垂直方向高周波数成分画像生成ステップＳＴ１Ａｖを含み、低周波数成分画像生成ステップＳＴ１Ｂは水平方向低周波数成分画像生成ステップＳＴ１Ｂｈ、及び垂直方向高周波巣成分画像ＳＴ１Ｂｖを含む。
【０１５４】
第２の中間画像生成ステップＳＴ２は、図２３に示すように、非線形処理ステップＳＴ２Ａ、及び高周波数成分画像生成ステップＳＴ２Ｂを含む。
【０１５５】
非線形処理ステップＳＴ２Ａは、水平方向非線形処理ステップＳＴ２Ａｈ、及び垂直方向非線形処理ステップＳＴ２Ａｖを含み、高周波数成分画像生成ステップＳＴ２Ｂは、水平方向高周波数成分通過ステップＳＴ２Ｂｈ、及び垂直方向高周波数成分通過ステップＳＴ２Ｂｖを含む。
【０１５６】
水平方向非線形処理ステップＳＴ２Ａｈは、図２４に示すように、ゼロクロス判定ステップＳＴ３１１ｈ、及び信号増幅ステップＳＴ３１２ｈを含み、垂直方向非線形処理ステップＳＴ２Ａｖは、図２５に示すように、ゼロクロス判定ステップＳＴ３１１ｖ、及び信号増幅ステップＳＴ３１２ｖを含む。
【０１５７】
第１の中間画像処理ステップＳＴ３Ｍは、図２６に示すように、増幅率決定ステップＳＴ３ＭＡ、及び画素値変更ステップＳＴ３ＭＢを含む。
【０１５８】
第２の中間画像処理ステップＳＴ３Ｈは、図２７に示すように、増幅率決定ステップＳＴ３ＨＡ、及び画素値変更ステップＳＴ３ＨＢを含む。
【０１５９】
まず、輝度色差信号加算ステップＳＴ０の動作について説明する。輝度色差加算ステップＳＴ０は各画素について入力輝度画像ＹＩＮの画素値、入力ＣＲ画像ＣＲＩＮの画素値の絶対値、及び入力ＣＢ画像ＣＢＩＮの画素値の絶対値を加重加算し、輝度色差加算画像ＹＣを生成する。輝度色差加算画像ＹＣと入力輝度画像ＹＩＮ、入力ＣＲ画像ＣＲＩＮ、及び入力ＣＢ画像ＣＢＩＮの関係は式（１）で表される。この動作は輝度色差加算手段５と同等である。
【０１６０】
次に、図２２のフローに従って第１の中間画像生成ステップＳＴ１の動作について説明する。
高周波数成分画像生成ステップＳＴ１Ａでは、入力輝度画像ＹＩＮに対し、以下のような処理が行われる。
まず、水平方向高周波数成分画像生成ステップＳＴ１Ａｈでは、水平方向のハイパスフィルタ処理によって、入力輝度画像ＹＩＮから水平方向の高周波数成分を取り出した画像Ｄ１Ａｈを生成する。
垂直方向高周波数成分画像ステップＳＴ１Ａｖでは、垂直方向のハイパスフィルタ処理によって、入力輝度画像ＹＩＮから垂直方向の高周波数成分を取り出した画像Ｄ１Ａｖを生成する。
即ち、高周波数成分画像生成ステップＳＴ１Ａは、高周波数成分画像生成手段１Ａと同様の処理を行い、入力輝度画像ＹＩＮから、画像Ｄ１Ａｈ及び画像Ｄ１Ａｖから成る画像Ｄ１Ａを生成する。この動作は高周波数成分画像生成手段１Ａと同等である。
【０１６１】
低周波数成分画像生成ステップＳＴ１Ｂでは、画像Ｄ１Ａに対し、以下のような処理が行われる。まず、水平方向低周波数成分画像生成ステップＳＴ１Ｂｈでは、水平方向のローパスフィルタ処理によって、画像Ｄ１Ａｈから水平方向の低周波数成分を取り出した画像Ｄ１Ｂｈを生成する。
垂直方向低周波数成分画像生成ステップＳＴ１Ｂｖでは、垂直方向のローパスフィルタ処理によって、画像Ｄ１Ａｖから垂直方向の低周波数成分を取り出した画像Ｄ１Ｂｖを生成する。
即ち、低周波数成分画像生成ステップＳＴ１Ｂは、低周波数成分画像生成手段１Ｂと同様の処理を行い、画像Ｄ１Ａから、画像Ｄ１Ｂｈ及び画像Ｄ１Ｂｖから成る画像Ｄ１Ｂを生成する。この動作は低周波数成分画像生成手段１Ｂと同等である。
【０１６２】
以上が第１の中間画像生成ステップＳＴ１の動作であり、第１の中間画像生成ステップＳＴ１は画像Ｄ１Ｂｈを画像Ｄ１ｈとし、画像Ｄ１Ｂｖを画像Ｄ１ｖとし、画像Ｄ１ｈ及び画像Ｄ１ｖから成る中間画像Ｄ１を出力する。以上の動作は第１の中間画像生成手段１と同等である。
【０１６３】
次に図２３〜図２５のフローに従って第２の中間画像生成ステップＳＴ２の動作について説明する。
まず、非線形処理ステップＳＴ２Ａでは中間画像Ｄ１に対し、以下のような処理を行う。
【０１６４】
まず、水平方向非線形処理ステップＳＴ２Ａｈでは、図２４に示すフローに従った処理で画像Ｄ１ｈから画像Ｄ２Ａｈを生成する。図２４に示すフローでの処理は以下の通りである。まず、ゼロクロス判定ステップＳＴ３１１ｈでは、画像Ｄ１ｈにおける画素値の変化を水平方向に沿って確認する。そして画素値が正の値から負の値へ、あるいは負の値から正の値へと変化する箇所をゼロクロス点として捉え、ゼロクロス点の左右に位置する画素を信号増幅ステップＳＴ３１２ｈに通知する。信号増幅ステップＳＴ３１２ｈでは画像Ｄ１ｈについて、ゼロクロス点の左右に位置すると通知された画素の画素値を増幅し、その画像を画像Ｄ２Ａｈとして出力する。即ち、非線形処理ステップＳＴ２Ａｈは、画像Ｄ１ｈに対し、水平方向非線形処理手段２Ａｈと同様の処理を行い、画像Ｄ２Ａｈを生成する。
【０１６５】
次に、垂直方向非線形処理ステップＳＴ２Ａｖでは、図２５に示すフローに従った処理で画像Ｄ１ｖから画像Ｄ２Ａｖを生成する。図２５に示すフローでの処理は以下の通りである。まず、ゼロクロス判定ステップＳＴ３１１ｖでは、画像Ｄ１ｖにおける画素値の変化を垂直方向に沿って確認する。そして画素値が正の値から負の値へ、あるいは負の値から正の値へと変化する箇所をゼロクロス点として捉え、ゼロクロス点の上下に位置する画素を信号増幅ステップＳＴ３１２ｖに通知する。信号増幅ステップＳＴ３１２ｖでは画像Ｄ１ｖについて、ゼロクロス点の上下に位置すると通知された画素の画素値を増幅し、その画像を画像Ｄ２Ａｖとして出力する。即ち、非線形処理ステップＳＴ２Ａｖは、画像Ｄ１ｖに対し、垂直方向非線形処理手段２Ａｖと同様の処理を行い、画像Ｄ２Ａｖを生成する。
【０１６６】
以上が非線形処理ステップＳＴ２Ａの動作であり、非線形処理ステップＳＴ２Ａは画像Ｄ２Ａｈ及び画像Ｄ２Ａｖから成る画像Ｄ２Ａを生成する。その動作は非線形処理手段２Ａと同等である。
【０１６７】
次に、高周波数成分画像生成ステップＳＴ２Ｂでは画像Ｄ２Ａに対し、以下の様な処理を行う。
まず、水平方向高周波数成分画像生成ステップＳＴ２Ｂｈでは、画像Ｄ２Ａｈに対し水平方向のハイパスフィルタ処理を行った画像Ｄ２Ｂｈを生成する。即ち、水平方向高周波数成分画像生成ステップＳＴ２Ｂｈは、水平方向高周波数成分画像生成手段２Ｂｈと同様の処理を行う。
【０１６８】
次に、垂直方向高周波数成分画像生成ステップＳＴ２Ｂｖでは、画像Ｄ２Ａｖに対し垂直方向のハイパスフィルタ処理を行った画像Ｄ２Ｂｖを生成する。即ち、垂直方向高周波数成分画像生成ステップＳＴ２Ｂｖは、垂直方向高周波数成分画像生成手段２Ｂｖと同様の処理を行う。
【０１６９】
以上が高周波数成分画像生成ステップＳＴ２Ｂの動作であり、高周波数成分画像生成ステップＳＴ２Ｂは画像Ｄ２Ｂｈ及び画像Ｄ２Ｂｖから成る画像Ｄ２Ｂを生成する。その動作は高周波数成分画像生成手段２Ｂと同等である。
【０１７０】
以上が第２の中間画像生成ステップＳＴ２の動作であり、第２の中間画像生成ステップＳＴ２は画像Ｄ２Ｂを中間画像Ｄ２として出力する。即ち、画像Ｄ２Ｂｈを画像Ｄ２ｈとし、画像Ｄ２Ｂｖを画像Ｄ２ｖとした中間画像Ｄ２を出力する。この動作は第２の中間画像生成手段２と同等である。
【０１７１】
次に図２６のフローに従って第１の中間画像処理ステップＳＴ３Ｍの動作について説明する。
まず、第１の中間画像処理ステップＳＴ３Ｍは、増幅率決定ステップＳＴ３ＭＡにおいて、中間画像Ｄ１の各画素がもつ画素値に対する増幅率を決定する。ここで中間画像Ｄ１は画像Ｄ１ｈ及び画像Ｄ１ｖから成るので、増幅率の決定は、画像Ｄ１ｈと画像Ｄ１ｖの各画素について行われる。即ち、画像Ｄ１ｈに対しては水平方向増幅率決定ステップＳＴ３ＭＡｈにおいて各画素に対する増幅率が決定され、画像Ｄ１ｖに対しては垂直方向増幅率決定ステップＳＴ３ＭＡｖにおいて各画素に対する増幅率が決定される。ここで水平方向増幅率決定ステップＳＴ３ＭＡｈの動作は水平方向増幅率決定手段３ＭＡｈと、垂直方向増幅率決定ステップＳＴ３ＭＡｖの動作は垂直方向増幅率決定手段３ＭＡｖと同様であるのでその説明は省略する。
【０１７２】
次に画素値変更ステップＳＴ３ＭＢでは、増幅率決定ステップＳＴ３ＭＡにおいて決定された増幅率に基づいて中間画像Ｄ１の各画素がもつ画素値を増幅する。ここで中間画像Ｄ１は画像Ｄ１ｈ及び画像Ｄ１ｖから成るので、画素値の増幅は、画像Ｄ１ｈと画像Ｄ１ｖの各々について行われる。即ち、水平方向増幅率決定ステップＳＴ３ＭＡｈで決定された増幅率に基づいて画像Ｄ１ｈの各画素値が増幅され、画像Ｄ３ＭＢｈが生成される。また、垂直方向増幅率決定ステップＳＴ３ＭＡｖで決定された増幅率に基づいて画像Ｄ１ｖの各画素値が増幅され、画像Ｄ３ＭＢｖが生成される。この動作は画素値変更手段３ＭＢの動作と同じである。
【０１７３】
そして画像Ｄ３ＭＢｈに相当する画像Ｄ３Ｍｈと画像Ｄ３ＭＢｖに相当する画像Ｄ３Ｍｖから成る中間画像Ｄ３Ｍが、第１の中間画像処理ステップＳＴ３Ｍによって生成される。以上が第１の中間画像処理ステップＳＴ３Ｍの動作であり、その動作は、第１の中間画像処理手段３Ｍと同じである。
【０１７４】
次に図２７のフローに従って第２の中間画像処理ステップＳＴ３Ｈの動作について説明する。
まず、第２の中間画像処理ステップＳＴ３Ｈは、増幅率決定ステップＳＴ３ＨＡにおいて、中間画像Ｄ２の各画素がもつ画素値に対する増幅率を決定する。ここで中間画像Ｄ２は画像Ｄ２ｈ及び画像Ｄ２ｖから成るので、増幅率の決定は、画像Ｄ２ｈと画像Ｄ２ｖの各画素について行われる。即ち、画像Ｄ２ｈに対しては水平方向増幅率決定ステップＳＴ３ＨＡｈにおいて各画素に対する増幅率が決定され、画像Ｄ２ｖに対しては垂直方向増幅率決定ステップＳＴ３ＨＡｖにおいて各画素に対する増幅率が決定される。ここで水平方向増幅率決定ステップＳＴ３ＨＡｈの動作は水平方向増幅率決定手段３ＨＡｈと、垂直方向増幅率決定ステップＳＴ３ＨＡｖの動作は垂直方向増幅率決定手段３ＨＡｖと同様であるのでその説明は省略する。
【０１７５】
次に画素値変更ステップＳＴ３ＨＢでは、増幅率決定ステップＳＴ３ＨＡにおいて決定された増幅率に基づいて中間画像Ｄ２の各画素がもつ画素値を増幅する。ここで中間画像Ｄ２は画像Ｄ２ｈ及び画像Ｄ２ｖから成るので、画素値の増幅は、画像Ｄ２ｈと画像Ｄ２ｖの各々について行われる。即ち、水平方向増幅率決定ステップＳＴ３ＨＡｈで決定された増幅率に基づいて画像Ｄ２ｈの各画素値が増幅され、画像Ｄ３ＨＢｈが生成される。また、垂直方向増幅率決定ステップＳＴ３ＨＡｖで決定された増幅率に基づいて画像Ｄ２ｖの各画素値が増幅され、画像Ｄ３ＨＢｖが生成される。この動作は画素値変更手段３ＨＢの動作と同じである。
【０１７６】
そして画像Ｄ３ＨＢｈに相当する画像Ｄ３Ｈｈと画像Ｄ３ＨＢｖに相当する画像Ｄ３Ｈｖから成る中間画像Ｄ３Ｈが、第２の中間画像処理ステップＳＴ３Ｈによって生成される。以上が第２の中間画像処理ステップＳＴ３Ｈの動作であり、その動作は、第２の中間画像処理手段３Ｈと同じである。
【０１７７】
加算ステップＳＴ４は入力輝度画像ＹＩＮ、中間画像Ｄ３Ｍ、及び中間画像Ｄ３Ｈを加算し、出力輝度画像ＹＯＵＴを生成する。中間画像Ｄ３Ｍは画像Ｄ３Ｍｈ及び画像Ｄ３Ｍｖから成り、中間画像Ｄ３Ｈは画像Ｄ３Ｈｈ及び画像Ｄ３Ｈｖから成るので、加算ステップＳＴ４では画像Ｄ３Ｍｈ、Ｄ３Ｈｖ、Ｄ３Ｍｈ、及びＤ３Ｈｖの全てが入力輝度画像ＹＩＮに加算される。この際画像Ｄ３Ｍｈ、Ｄ３Ｈｖ、Ｄ３Ｍｈ、及びＤ３Ｈｖを入力輝度画像ＹＩＮに単純に加算してもよいし、重み付け加算してもよい。そして出力輝度画像ＹＯＵＴが本発明における画像処理方法の最終出力画像として出力される。以上が加算ステップＳＴ４の動作であり、この動作は加算手段４の動作と同等である。
以上が本発明における画像処理方法の動作である。
【０１７８】
本発明における画像処理方法の動作はその説明から明らかなように、本発明の実施の形態１における画像処理装置と同等である。したがって本発明における画像処理方法は、本発明の実施の形態１における画像処理装置と同様の効果を持つ。また、図９に示す画像表示装置において、例えば画像処理装置Ｕ２内部で上記の画像処理方法を実施することで、上記の画像処理方法で処理された画像を、図９に示す画像表示装置で表示することもできる。
【符号の説明】
【０１７９】
１  第１の中間画像生成手段、  ２  第２の中間画像生成手段、  ３Ｍ  第１の中間画像処理手段、  ３Ｈ  第２の中間画像処理手段、  ４  加算手段、  ５  輝度色差加算手段、  ＩＭＧＩＮ  入力画像、  ＹＩＮ  入力輝度画像、  ＣＲＩＮ  入力ＣＲ画像、  ＣＢＩＮ  入力ＣＢ画像、  Ｄ１  中間画像、  Ｄ２  中間画像、  Ｄ３Ｍ  中間画像、  Ｄ３Ｈ  中間画像、  ＩＭＧＯＵＴ  出力画像、  ＹＯＵＴ  出力輝度画像、  ＣＲＯＵＴ  出力ＣＲ画像、  ＣＢＯＵＴ  出力ＣＢ画像。
【図１】
2010220063.tif 000006
【図２】
2010220063.tif 000007
【図３】
2010220063.tif 000008
【図４】
2010220063.tif 000009
【図５】
2010220063.tif 000010
【図６】
2010220063.tif 000011
【図７】
2010220063.tif 000012
【図８】
2010220063.tif 000013
【図９】
2010220063.tif 000014
【図１０】
2010220063.tif 000015
【図１１】
2010220063.tif 000016
【図１２】
2010220063.tif 000017
【図１３】
2010220063.tif 000018
【図１４】
2010220063.tif 000019
【図１５】
2010220063.tif 000020
【図１６】
2010220063.tif 000021
【図１７】
2010220063.tif 000022
【図１８】
2010220063.tif 000023
【図１９】
2010220063.tif 000024
【図２０】
2010220063.tif 000025
【図２１】
2010220063.tif 000026
【図２２】
2010220063.tif 000027
【図２３】
2010220063.tif 000028
【図２４】
2010220063.tif 000029
【図２５】
2010220063.tif 000030
【図２６】
2010220063.tif 000031
【図２７】
2010220063.tif 000032
【手続補正書】
【提出日】平成22年4月16日(2010.4.16)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
輝度信号と色差信号から成る入力画像から特定の周波数帯域の成分を取り出した第１の中間画像を生成する第１の中間画像生成手段と、
前記第１の中間画像をもとに第２の中間画像を生成する第２の中間画像生成手段と、
前記入力画像の輝度信号と色差信号の絶対値を加重加算する輝度色差加算手段と、
前記第１の中間画像の画素値を第１の増幅率に従って増幅した第３の中間画像を生成する第１の中間画像処理手段と、
前記第２の中間画像の画素値を第２の増幅率に従って増幅した第４の中間画像を生成する第２の中間画像処理手段と、
前記入力画像の輝度信号と前記第３の中間画像と前記第４の中間画像を加算する加算手段を有する画像処理装置において、
前記第１の増幅率は、前記輝度色差加算手段の出力および前記第１の中間画像の画素値の符号に応じて決定される
ことを特徴とする画像処理装置。
【請求項２】
前記第１の増幅率は、
前記第１の中間画像の画素値の符号が正で前記輝度色差加算手段の出力値が大きい場合、小さな値になるよう決定される
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の増幅率は、
前記第１の中間画像の画素値の符号が負で前記輝度色差加算手段の出力値が小さい場合、大きな値になるよう決定される
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記第２の増幅率は、前記輝度色差加算手段の出力および前記第２の中間画像の画素値の符号に応じて決定される
ことを特徴とする請求項１乃至３のいずれかに記載の像処理装置。
【請求項５】
輝度信号と色差信号から成る入力画像から特定の周波数帯域の成分を取り出した第１の中間画像を生成する第１の中間画像生成手段と、
前記第１の中間画像をもとに第２の中間画像を生成する第２の中間画像生成手段と、
前記入力画像の輝度信号と色差信号の絶対値を加重加算する輝度色差加算手段と、
前記第１の中間画像の画素値を第１の増幅率に従って増幅した第３の中間画像を生成する第１の中間画像処理手段と、
前記第２の中間画像の画素値を第２の増幅率に従って増幅した第４の中間画像を生成する第２の中間画像処理手段と、
前記入力画像の輝度信号と前記第３の中間画像と前記第４の中間画像を加算する加算手段を有する画像処理装置において、
前記第２の増幅率は、前記輝度色差加算手段の出力および前記第２の中間画像の画素値の符号に応じて決定される
ことを特徴とする画像処理装置。
【請求項６】
前記第２の増幅率は、
前記第２の中間画像の画素値の符号が正で前記輝度色差加算手段の出力値が大きい場合、小さな値になるよう決定される
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記第２の増幅率は、
前記第２の中間画像の画素値の符号が負で前記輝度色差加算手段の出力値が小さい場合、大きな値になるよう決定される
ことを特徴とする請求項５又は６に記載の画像処理装置。
【請求項８】
前記第１の増幅率は、前記輝度色差加算手段の出力および前記第１の中間画像の画素値の符号に応じて決定される
ことを特徴とする請求項５乃至７のいずれかに記載の像処理装置。
【請求項９】
前記第１の中間画像生成手段は、
前記入力画像の輝度信号の第１の周波数以上の高周波数成分のみを取り出した第１の高周波数成分画像を生成する第１の高周波数成分画像生成手段と、
前記第１の高周波数成分画像の第２の周波数以下の低周波数成分のみを取り出す低周波数成分画像生成手段を有する
ことを特徴とする請求項１乃至８のいずれかに記載の画像処理装置。
【請求項１０】
前記第２の中間画像生成手段は、
前記第１の中間画像の画素値を画素に応じて変化させた増幅率で増幅させた非線形処理画像を生成する非線形処理手段を有する
ことを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記第２の中間画像生成手段は、
前記非線形処理画像の第３の周波数以上の高周波数成分のみを取り出した第２の高周波数成分画像を生成する第２の高周波数成分画像生成手段を有する
ことを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記第１の高周波数成分画像生成手段は、
前記入力画像の各画素の水平方向の近傍に存在する画素を用いて第１の水平方向周波数以上の高周波数成分を取り出した第１の水平方向高周波数成分画像を生成する第１の水平方向高周波数成分画像生成手段を有し、
前記低周波数成分画像生成手段は、
前記第１の水平方向高周波数成分画像の第２の水平方向周波数以下の低周波数成分のみを取り出した第１の水平方向中間画像を生成する水平方向低周波数成分画像生成手段を有し、
前記第１の中間画像が、
前記第１の水平方向中間画像を含み
前記非線形処理手段は、
前記第１の水平方向中間画像の各画素値を画素に応じて変化させた増幅率で増幅した水平方向非線形処理画像を生成する水平方向非線形処理手段を有し、
前記第２の高周波数成分画像生成手段は、
前記水平方向非線形処理画像の第３の水平方向周波数以上の高周波数成分のみを取り出した第２の水平方向高周波数成分画像を生成する第２の水平方向高周波数成分画像生成手段を有する
ことを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記水平方向非線形処理手段は、
前記第１の水平方向中間画像の画素値が正から負へ、もしくは負から正へと変化する箇所をゼロクロス点として判定する水平方向ゼロクロス判定手段と、
前記水平方向ゼロクロス判定手段の判定結果に応じて前記第１の水平方向中間画像の各画素に対する増幅率を決定し、決定した増幅率で前記第１の水平方向中間画像の画素値を増幅する水平方向信号増幅手段を有する
ことを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
前記水平方向増幅手段は前記ゼロクロス点の左右に存在する前記水平方向中間画像中の画素の画素値に対する前記増幅率を１より大きな値とし、それ以外の画素に関しては１とすることを特徴とする請求項１３に記載の画像処理装置。
【請求項１５】
前記第１の高周波数成分画像生成手段は、
前記入力画像の各画素の垂直方向の近傍に存在する画素を用いて第１の垂直方向周波以上の高周波数成分を取り出した第１の垂直方向高周波数成分画像を生成する第１の垂直方向高周波数成分画像生成手段を有し、
前記低周波数成分画像生成手段は、
前記第１の垂直方向高周波数成分画像の第２の垂直方向周波数以下の低周波数成分のみを取り出した第１の垂直方向中間画像を生成する垂直方向低周波数成分画像生成手段を有し、
前記第１の中間画像が、
前記第１の垂直方向中間画像を含み
前記非線形処理手段は、
前記第１の垂直方向中間画像の各画素値を画素に応じて変化させた増幅率で増幅した垂直方向非線形処理画像を生成する垂直方向非線形処理手段を有し、
前記第２の高周波数成分画像生成手段は、
前記垂直方向非線形処理画像の第３の垂直方向周波数以上の高周波数成分のみを取り出した第２の垂直方向高周波数成分画像を生成する第２の垂直方向高周波数成分画像生成手段を有する
ことを特徴とする請求項１１に記載の画像処理装置。
【請求項１６】
前記垂直方向非線形処理手段は、
前記第１の垂直方向中間画像の画素値が正から負へ、もしくは負から正へと変化する箇所をゼロクロス点として判定する垂直方向ゼロクロス判定手段と、
前記垂直方向ゼロクロス判定手段の判定結果に応じて前記第１の垂直方向中間画像の各画素に対する増幅率を決定し、決定した増幅率で前記第１の垂直方向中間画像の画素値を増幅する垂直方向信号増幅手段を有する
ことを特徴とする請求項１５に記載の画像処理装置。
【請求項１７】
前記垂直方向増幅手段は前記ゼロクロス点の上下に存在する前記垂直方向中間画像中の画素の画素値に対する前記増幅率を１より大きな値とし、それ以外の画素に関しては１とすることを特徴とする請求項１６に記載の画像処理装置。
【請求項１８】
請求項１乃至１７のいずれかに記載の画像処理装置を備えたことを特徴とする画像表示装置。
【請求項１９】
輝度信号と色差信号から成る入力画像から特定の周波数帯域の成分を取り出した第１の中間画像を生成する第１の中間画像生成ステップと、
前記第１の中間画像をもとに第２の中間画像を生成する第２の中間画像生成ステップと、
前記入力画像の輝度信号と色差信号の絶対値を加重加算する輝度色差加算ステップと、
前記第１の中間画像の画素値を第１の増幅率に従って増幅した第３の中間画像を生成する第１の中間画像処理ステップと、
前記第２の中間画像の画素値を第２の増幅率に従って増幅した第４の中間画像を生成する第２の中間画像処理ステップと、
前記入力画像の輝度信号と前記第３の中間画像と前記第４の中間画像を加算する加算ステップを有する画像処理方法において、
前記第１の増幅率は、前記輝度色差加算ステップの出力および前記第１の中間画像の画素値の符号に応じて決定される
ことを特徴とする画像処理方法。
【請求項２０】
輝度信号と色差信号から成る入力画像から特定の周波数帯域の成分を取り出した第１の中間画像を生成する第１の中間画像生成ステップと、
前記第１の中間画像をもとに第２の中間画像を生成する第２の中間画像生成ステップと、
前記入力画像の輝度信号と色差信号の絶対値を加重加算する輝度色差加算ステップと、
前記第１の中間画像の画素値を第１の増幅率に従って増幅した第３の中間画像を生成する第１の中間画像処理ステップと、
前記第２の中間画像の画素値を第２の増幅率に従って増幅した第４の中間画像を生成する第２の中間画像処理ステップと、
前記入力画像の輝度信号と前記第３の中間画像と前記第４の中間画像を加算する加算ステップを有する画像処理方法において、
前記第２の増幅率は、前記輝度色差加算ステップの出力および前記第２の中間画像の画素値の符号に応じて決定される
ことを特徴とする画像処理方法。
【請求項２１】
請求項１９又は２０に記載の画像処理方法により処理された画像を表示することを特徴とする画像表示装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
本発明の画像処理装置は、
輝度信号と色差信号から成る入力画像から特定の周波数帯域の成分を取り出した第１の中間画像を生成する第１の中間画像生成手段と、
前記第１の中間画像をもとに第２の中間画像を生成する第２の中間画像生成手段と、
前記入力画像の輝度信号と色差信号の絶対値を加重加算する輝度色差加算手段と、
前記第１の中間画像の画素値を第１の増幅率に従って増幅した第３の中間画像を生成する第１の中間画像処理手段と、
前記第２の中間画像の画素値を第２の増幅率に従って増幅した第４の中間画像を生成する第２の中間画像処理手段と、
前記入力画像の輝度信号と前記第３の中間画像と前記第４の中間画像を加算する加算手段を有する画像処理装置において、
前記第１の増幅率は、前記輝度色差加算手段の出力および前記第１の中間画像の画素値の符号に応じて決定される
ことを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
本発明の他の画像処理装置は、
輝度信号と色差信号から成る入力画像から特定の周波数帯域の成分を取り出した第１の中間画像を生成する第１の中間画像生成手段と、
前記第１の中間画像をもとに第２の中間画像を生成する第２の中間画像生成手段と、
前記入力画像の輝度信号と色差信号の絶対値を加重加算する輝度色差加算手段と、
前記第１の中間画像の画素値を第１の増幅率に従って増幅した第３の中間画像を生成する第１の中間画像処理手段と、
前記第２の中間画像の画素値を第２の増幅率に従って増幅した第４の中間画像を生成する第２の中間画像処理手段と、
前記入力画像の輝度信号と前記第３の中間画像と前記第４の中間画像を加算する加算手段を有する画像処理装置において、
前記第２の増幅率は、前記輝度色差加算手段の出力および前記第２の中間画像の画素値の符号に応じて決定される
ことを特徴とする。