(57)【要約】【課題】エッジがぼけないようにし、且つ、滑らかなグラデーションを実現できるようにする。【解決手段】元画像を、エッジを保存した平滑化成分で構成されるエッジ保存低周波画像と、元画像とエッジ保存低周波画像との差分画像に分解する分解手段と、前記分解手段で得られたエッジ保存低周波画像に第１の画像拡大手法を適用して第１の拡大画像を生成する第１画像拡大手段と、前記分解手段で得られた差分画像に第２の画像拡大手法を適用して第２の拡大画像を生成する第２画像拡大手段と、前記第１の拡大画像と前記第２の拡大画像とを合成する画像合成手段とを設け、第１画像拡大手段は、エッジを保存する画像拡大手法を適用し、第２画像拡大手段は、平滑化拡大手法を適用することにより、エッジ部分がぼけてしまうのを防止するとともに、滑らかなグラデーションを実現できるようにする。【選択図】図１
2011049696.tif 000002
【特許請求の範囲】
【請求項１】
画像を拡大する画像処理装置において、
元画像を、エッジを保存した平滑化成分で構成されるエッジ保存低周波画像と、元画像とエッジ保存低周波画像との差分画像に分解する分解手段と、
前記分解手段で得られたエッジ保存低周波画像に第１の画像拡大手法を適用して第１の拡大画像を生成する第１画像拡大手段と、
前記分解手段で得られた差分画像に第２の画像拡大手法を適用して第２の拡大画像を生成する第２画像拡大手段と、
前記第１の拡大画像と前記第２の拡大画像とを合成する画像合成手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記分解手段は、元画像にエッジを保存する平滑化フィルタを施すエッジ保存平滑化部と、元画像から前記エッジ保存低周波画像を減算する差分画像生成部とからなることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１画像拡大手段は、エッジを保存する画像拡大手法を適用することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記第２画像拡大手段は、バイリニア法を適用することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記エッジを保存する画像拡大手法とは、バイラテラルフィルタ、トリラテラルフィルタ、スーザンフィルタのいずれかであることを特徴とする請求項３に記載の画像処理装置。
【請求項６】
画像を拡大する画像処理方法において、
元画像を、エッジを保存した平滑化成分で構成されるエッジ保存低周波画像と、元画像とエッジ保存低周波画像との差分画像に分解する分解工程と、
前記分解工程において得られたエッジ保存低周波画像に第１の画像拡大手法を適用して第１の拡大画像を生成する第１画像拡大工程と、
前記分解工程において得られた差分画像に第２の画像拡大手法を適用して第２の拡大画像を生成する第２画像拡大工程と、
前記第１の拡大画像と前記第２の拡大画像とを合成する画像合成工程と、
を有することを特徴とする画像処理方法。
【請求項７】
前記分解工程は、元画像にエッジを保存する平滑化フィルタを施すエッジ保存平滑化工程と、元画像から前記エッジ保存低周波画像を減算する差分画像生成工程とからなることを特徴とする請求項６に記載の画像処理方法。
【請求項８】
前記第１画像拡大工程は、エッジを保存する画像拡大手法を適用することを特徴とする請求項６に記載の画像処理方法。
【請求項９】
前記第２画像拡大工程は、バイリニア法を適用することを特徴とする請求項６に記載の画像処理方法。
【請求項１０】
前記エッジを保存する画像拡大手法とは、バイラテラルフィルタ、トリラテラルフィルタ、スーザンフィルタの何れかであることを特徴とする請求項８に記載の画像処理方法。
【請求項１１】
画像を拡大する画像処理方法をコンピュータに実行させるコンピュータプログラムにおいて、
元画像を、エッジを保存した平滑化成分で構成されるエッジ保存低周波画像と、元画像とエッジ保存低周波画像との差分画像に分解する分解工程と、
前記分解工程において得られたエッジ保存低周波画像に第１の画像拡大手法を適用して第１の拡大画像を生成する第１画像拡大工程と、
前記分解工程において得られた差分画像に第２の画像拡大手法を適用して第２の拡大画像を生成する第２画像拡大工程と、
前記第１の拡大画像と前記第２の拡大画像とを合成する画像合成工程と、
をコンピュータに実行させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置及び画像処理方法に関し、特に、画像を拡大するために用いて好適な技術に関する。
【背景技術】
【０００２】
所定の解像度の画像を、それより解像度の大きいデバイスで再現する際には、画像の拡大処理が必要となってくる。例えば、デジタルカメラで取得した画像をディスプレイで表示する場合や、プリンタで印刷する場合には、元画像と再現先のデバイスの解像度が、多くの場合一致しないため、画像を拡大しなければならない。
【０００３】
画像を拡大する技術としては、例えば、ニアレストネイバー法やバイリニア法等が用いられている。また、特許文献１に開示されるように、画像を空間周波数領域に変換し、該領域で不足画素を補い、再び実空間領域に変換することで、画像を拡大する方法が知られている。また、特許文献２にて公開された技術では、元画像と、元画像の高周波成分を抽出した画像の２つの画像に画素補間の画像拡大を施した後に両画像を加算する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第２５２２３５７号公報
【特許文献２】特開２００３-３７７３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、前述した拡大方法には次のような課題がそれぞれある。すなわち、図９（ａ）に示すニアレストネイバー法では、拡大部分の画素を隣接画素からコピーして作成する。このため、エッジ部分はくっきりと拡大することができるが、元画像の滑らかなグラデーション部分は拡大されることによって、図９（ａ）において符号９１で示すように、バンディングのような筋が発生することがある。これに対して、バイリニア法では、拡大部分の画素を隣接する４画素の平均によって算出する。このため、グラデーションは滑らかに拡大できるものの、エッジ部分は線形補間されてしまうので、図９（ｂ）において符号９２で示すように、元画像の急峻な立ち上がりがなまってしまう。
【０００６】
また、特許文献１では、元画像を空間周波数領域に変換し、該領域でサイズを拡大して、拡大した領域、つまり、高周波数領域を０で埋めて実空間領域に逆変換することで、画像拡大を行うようにしている。この方法では、サイズ拡大により値がわからない高周波数領域を０で埋めるため、エッジ情報が欠落してしまい、実空間領域に逆変換するとエッジ部分がぼけてしまう問題点があった。
特許文献２では、元画像を画素補間によって拡大するため、エッジ部分における輝度の急峻な立ち上がりを保存することができない。このため、拡大画像において、エッジ部分がぼけてしまう問題点があった。
本発明は問題点に鑑み、画像の拡大処理において、エッジがぼけないようにし、且つ、滑らかなグラデーションを再現できるようにすることを目的とするものである。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、画像を拡大する画像処理装置において、元画像を、エッジを保存した平滑化成分で構成されるエッジ保存低周波画像と、元画像とエッジ保存低周波画像との差分画像に分解する分解手段と、前記分解手段で得られたエッジ保存低周波画像に第１の画像拡大手法を適用して第１の拡大画像を生成する第１画像拡大手段と、前記分解手段で得られた差分画像に第２の画像拡大手法を適用して第２の拡大画像を生成する第２画像拡大手段と、前記第１の拡大画像と前記第２の拡大画像とを合成する画像合成手段とを有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、画像の拡大処理において、エッジのぼけを抑制し、且つ、滑らかなグラデーションを再現するこがきる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態に係る画像処理装置の構成を示すブロック図である。
【図２】画像処理装置における処理の流れを示す図である。
【図３】Ｒ、Ｇ、Ｂカラー画像のデータ構成を示す図である。
【図４】サンプル画像に適用した際の処理結果を示す図である。
【図５】第２の実施形態に係るＵＩ、及び処理の流れを説明する図である。
【図６】第３の実施形態に係るＵＩ、及び処理の流れを説明する図である。
【図７】第１の背景技術を説明する図である。
【図８】第２の背景技術を説明する図である。
【図９】ニアレストネイバー法及びバイリニア法による処理結果を示す図である。
【発明を実施するための形態】
【００１０】
最初に、本発明の背景技術を説明する。
図７は、本発明の第１の背景技術を説明する図である。図７（ａ）は元画像を示す図であり、図７（ｂ）は元画像にフーリエ変換を施して得られる空間周波数情報を示す図である。図７（ｂ）において左上が低周波成分、右下が高周波成分を示している。また、図７（ｂ）における輝度は、強度を示す。図７（ｃ）は、空間周波数領域で画像のサイズを拡大し、高周波領域を零で埋めたデータを示す。図７（ｂ）と同様に、図７（ｃ）の左上が低周波成分、右下が高周波成分を示している。図７（ｄ）は、図７（ｃ）のデータを実領域に逆変換した画像である。この逆変換画像では、図７（ｃ）において高周波成分が零で近似されるため、本来のエッジ情報は保存されず、エッジがなまってしまう。
【００１１】
図８は、第２の背景技術を説明する図である。図８に示すように元画像と、元画像の高周波成分を抽出した画像の２つの画像に画素補間の画像拡大を施した後に両画像を加算する。例えば、図８（ａ）のような輝度信号（横軸が画素位置、縦軸が輝度の強度を示す）が元画像に含まれていた場合、元信号は画素補間による画像拡大によって、図８（ｂ）に示すように横軸方向に引き伸ばされる。
【００１２】
また、ハイパスフィルタによって、元信号から図８（ｃ）に示すような高周波成分が抽出される。そして、前記の画素補間による画像拡大によって、抽出した高周波成分が引き伸ばされ、図８（ｄ）に示すような高周波成分となる。その後、係数の乗算および定数の加算による補正処理が行われた後、さらに図８(ｅ)に示すような高周波成分の推定値が算出される。この推定値と図８（ｂ）に示す信号を足し合わせることで、図８（ｆ）に示すような最終的な拡大後の信号が得られる。しかしながら、この方法では、元画像を画素補間によって拡大するため、図８（ｆ）において丸で囲った部分のように、エッジ部分における輝度の急峻な立ち上がりを保存することができない。このため、拡大画像においてエッジ部分がぼけてしまう不都合があった。
【００１３】
（第１の実施形態）
次に、背景技術で説明した不都合を解消することが可能な本発明の第１の実施形態を説明する。
図１は、本発明の第１の実施形態の画像処理装置を実現するハードウエア構成を示すブロック図である。図１において、１は画像処理装置である。また、１０１は、元画像１１に、エッジを保存した平滑化フィルタを施して、エッジを保存した平滑化成分で構成されるエッジ保存低周波画像１２を生成するエッジ保存平滑化部である。１０２は、元画像１１からエッジ保存低周波画像１２を減算して差分画像１３を生成する差分画像生成部である。
【００１４】
１０３は、エッジ保存平滑化部１０１で生成したエッジ保存低周波画像１２に対して第１の画像拡大手法を適用し、第１の拡大画像１４を生成する第１画像拡大部である。第１画像拡大部１０３において行う、エッジを保存する画像拡大手法は、バイラテラルフィルタ、トリラテラルフィルタ、スーザンフィルタを用いて実現することができる。
【００１５】
１０４は、差分画像生成部１０２で生成した差分画像１３に対して第２の画像拡大手法を適用し、第２の拡大画像１５を生成する第２画像拡大部である。本実施形態においては、第２の画像拡大手法として、拡大部分の画素を隣接する画素の平均値により算出するバイリニア法を用いる。なお、第２の画像拡大手法としては、隣接する画素から補間して求める方法であれば、トリリニア法などの他の方法を用いても構わない。
【００１６】
１０５は、第１画像拡大部１０３で生成した第１の拡大画像１４と、第２画像拡大部１０４で生成した第２の拡大画像１５とを加算し、最終的な拡大画像１６を生成する画像合成部である。１０６は、演算に必要なデータを保持するデータ保持部、１０７は、演算途中の各データを一時的に保持するためのバッファメモリである。また、１０８は画像処理装置１の全体動作を制御する制御部である。
【００１７】
＜画像処理装置１における動作＞
次に、画像処理装置１における動作について、図２を用いて説明する。
図２は、本発明の第１の実施形態の画像処理装置１における動作を説明するフローチャートである。以下の説明では、説明を簡略にするため、元画像１１を１チャンネル８ビットのグレイスケール画像として説明する。図３に、横Ｎｘ画素、縦Ｎｙ画素のグレイスケール画像のデータ形式を示す。図３において、各升目は１画素を表し、１画素につき８ビットを割り当てるものとする。なお、本手法が、１チャンネル８ビット画像以外の画像、例えば、１チャンネル１６ビット画像や３チャンネル２４ビット画像、或いは４チャンネル３２ビット画像にも適用することができる。
【００１８】
Ｓ１において、エッジ保存平滑化部１０１は、元画像１１に、エッジ保存の平滑化フィルタ処理を施し、エッジ保存低周波画像１２を生成する。なお、本実施形態においては、エッジ保存の平滑化フィルタにバイラテラルフィルタを用いる。バイラテラルフィルタは、画素位置と画素間輝度差に応じて重みが変化するガウス型のフィルタである。式（１）〜（４）にバイラテラルフィルタの式を示す。
【００１９】
【数１】
2011049696.tif 000003
【００２０】
ここで、xjは画素jの位置、djは画素jにおける輝度をそれぞれ表す。
次に、Ｓ２において、差分画像生成部１０２は、元画像１１からエッジ保存低周波画像１２を減算することで、差分画像１３を生成する。元画像１１の位置i,jにおける輝度をd(i,j)、エッジ保存低周波画像１２の位置i,jにおける輝度をe(i,j)とすると、差分画像１３の位置i,jにおける輝度f(i,j)は式（５）で表される。
【００２１】
【数２】
2011049696.tif 000004
【００２２】
次に、Ｓ３において、第１画像拡大部１０３は、Ｓ１で生成したエッジ保存低周波画像１２に対して第１の画像拡大手法を用いて第１の拡大画像１４を生成する。本実施形態においては、第１の画像拡大手法にニアレストネイバー法を用いる。ニアレストネイバー法の処理としては、例えば、拡大率が２倍の場合には、処理前画像の位置i,jにおける輝度をP(i,j)、処理後画像の位置i,jにおける輝度Q(i,j)は、式（６）で表される。
【００２３】
【数３】
2011049696.tif 000005
【００２４】
ここで、int(・)は、小数部分を切り捨てる演算である。
次に、Ｓ４において、第２画像拡大部１０４は、Ｓ２で生成した差分画像１３に対して第２の画像拡大手法を用いて第２の拡大画像１５を生成する。本実施形態においては、第２の画像拡大手法にバイリニア法を用いる。
次に、Ｓ５において、画像合成部１０５は、Ｓ３、及びＳ４で生成した２つの拡大画像を加算して最終的な拡大画像１６を生成する。
【００２５】
本手法をサンプル画像に適用した際の変換の様子を図４に示す。
図４（ａ）は、元画像１１であり、その輝度の分布は、左辺から右側へ行くに従い徐々に低下し、画像中心でステップ状に立ち上がり再び右へ行くに従って低下する。
【００２６】
また、図４（ｂ）は、Ｓ１において、元画像１１にバイラテラルフィルタ処理を施すことで生成されるエッジ保存低周波画像１２である。図４（ｃ）は、Ｓ２において、元画像１１からエッジ保存低周波画像１２を減算することで生成される差分画像１３である。図４（ｄ）は、Ｓ３において、エッジ保存低周波画像１２にニアレストネイバー法による処理を施すことで生成される第１の拡大画像１４である。図４(ｅ)は、Ｓ４において、差分画像１３にバイリニア法による処理を施すことで生成される第２の拡大画像１５である。図４（ｆ）は、Ｓ５において、第１の拡大画像１４と第２の拡大画像１５とを加算することで生成される合成画像、つまり、最終的な拡大画像１６である。
【００２７】
以上、説明した技術によれば、元画像１１から拡大画像１５を生成する際に、元画像１１を、エッジ保存低周波画像１２と差分画像１３とに分解し、それぞれの画像に対して、適切な画像拡大手法による処理を施す。その後で両画像を合成することで、エッジがぼけず、且つ、滑らかなグラデーションを実現する拡大画像１６を生成することができる。
【００２８】
（第２の実施形態）
以下、本発明の第２の実施形態の画像処理装置について図面を用いて詳細に説明する。なお、第２の実施形態の画像処理装置を実現するハードウエア構成は、前述した第１の実施形態の画像処理装置１と同様であるので、装置構成を説明するブロック図、及び構成の説明を省略する。
図５（ａ）において、２０１はユーザに、画像拡大に関するパラメータを選択させるためのユーザインターフェース（以下、ＵＩと略す）である。２０２は、予め準備したいくつかのエッジ保存平滑化フィルタから、ユーザに所望のフィルタを選択させるメニューである。２０３は、２０２で選択したフィルタの形状を制御する第１パラメータである。パラメータの種類としては、例えば、フィルタにバイラテラルフィルタが選択された場合には、距離方向の平滑化度合いを制御するパラメータを入力させる。
【００２９】
２０４は、２０２で選択したフィルタの形状を制御する第２パラメータである。パラメータの種類としては、例えば、フィルタにバイラテラルフィルタが選択された場合には、エッジとして認識する輝度差（Ｒ、Ｇ、Ｂであればレベル差）を制御するパラメータを入力させる。
【００３０】
２０５は、予め準備したいくつかの、エッジ保存の画像拡大手法から、ユーザに所望の画像拡大手法を選択させるメニューである。２０６は、予め準備したいくつかの、平滑化画像拡大手法から、ユーザに所望の画像拡大手法を選択させるメニューである。２０７は、２０２から２０６までの各項目が設定された後、その設定を画像拡大処理の際に適用するためのＯＫボタンである。このＯＫボタン２０７をユーザがクリックすることで、画像拡大処理が開始する。２０８は、設定項目をキャンセルするためのボタンである。
【００３１】
次に、本実施形態の画像処理装置における動作について、図５（ｂ）を用いて説明する。
図５（ｂ）は、第２の実施形態の画像処理装置における動作を示すフローチャートである。
Ｓ２１において、ＵＩ２０１からエッジ保存平滑化フィルタ、第１パラメータ、第２パラメータ、第１の拡大手法、第２の拡大手法に関する情報を取得する、パラメータ取得処理が行われる。このパラメータ取得処理は、図１の画像処理装置１で説明した制御部１０８により行われる。エッジ保存平滑化フィルタに関する情報としては、例えば、何種類かの処理手順を関数として予め用意しておき、その中からどの関数を選択したかという情報を示す。
【００３２】
つまり、いくつかの処理手順を関数でプログラミングしておき、ユーザが選択した関数への（メモリ上の）アドレス情報を示す。また、第１パラメータ２０３及び第２パラメータ２０４の内容としては、選択されたエッジ保存平滑化フィルタの特性を制御する１つ、ないし２つのパラメータの値を示す。なお、エッジ保存平滑化フィルタのパラメータが存在しないか、もしくは、１つしか存在しない場合には、ユーザの入力は受け付けないものとする。
【００３３】
また、関数の特性として、３つ以上のパラメータが存在する場合には、パラメータ入力欄を追加してもよいし、３つ以上は受け付けないようにしてもよい。また、第１の画像拡大手法及び第２の画像拡大手法に関する情報は、前述のエッジ保存平滑化フィルタに関する情報と同様に、拡大手順を関数化し、そのアドレス情報を示せばよい。
【００３４】
Ｓ２１のパラメータ取得処理を終了したら、Ｓ１に進み、第１の実施形態において、図２で説明した処理を順次に行う。Ｓ１〜Ｓ５で行われる処理は前述したので、詳細な説明及び図示を省略する。
以上、説明した第２の実施形態によれば、ユーザがＵＩ２０１で画像拡大に関するパラメータを選択、及び入力するだけの簡単な操作で、所望の拡大画像を容易に得ることができる。
【００３５】
（第３の実施形態）
以下、本発明の第３の実施形態について図面を用いて詳細に説明する。なお、第３の実施形態の画像処理装置を実現するハードウエア構成は、前述した第１の実施形態の画像処理装置１と同様であるので、装置構成を説明するブロック図、及び構成の説明を省略する。
図６（ａ）において、３０１はユーザに、画像拡大に関するパラメータを選択させ、そのパラメータで画像を変換した場合のプレビューを確認させるためのＵＩである。２０２、２０３、及び２０４は、第２の実施形態で説明したものと同じであるので、説明を省略する。
【００３６】
３０２は、元画像（元画像１１）を表示するための元画像表示部である。３０３は、ユーザが選択した選択領域である。３０４は、プレビューボタンである。３０５は、プレビュー表示部である。ユーザは、マウスやタッチパネルなどのポインティングデバイスを用いて、元画像表示部３０２上で選択領域３０３で示すように元画像の一部を選択する。その後、プレビューボタン３０４を押すと、選択領域３０３の拡大画像をプレビュー表示部３０５で確認することができる。
【００３７】
３０６は、ユーザが選択、及び、入力した設定を画像拡大処理の際に適用するためのＯＫボタンである。このＯＫボタン３０６をユーザがクリックすることで、画像拡大処理が開始する。３０７は、設定項目をキャンセルするためのボタンである。
【００３８】
次に、本実施形態の画像処理装置における動作について、図６（ｂ）を用いて説明する。
図６（ｂ）は、本実施形態の画像処理装置における動作を示すフローチャートである。
Ｓ３１において、ＵＩ３０１からエッジ保存平滑化フィルタ、第１パラメータ、第２パラメータに関する情報を取得する、パラメータ取得処理が行われる。このパラメータ取得処理は、図１の画像処理装置１で説明した制御部１０８により行われる。
【００３９】
エッジ保存平滑化フィルタに関する情報としては、前述した第２の実施形態で説明した通りである。ユーザによって、前記パラメータが選択、及び入力された後、プレビューボタン３０４が押されると、その情報を用いて、選択領域３０３の画像に対して、画像拡大処理が実行される。その結果、拡大画像はプレビュー表示部３０５に表示される。
【００４０】
そして、ユーザがプレビュー画像を確認し、選択、あるいは、入力した値でよいと判断しＯＫボタン３０６を押すと、元画像に対して画像拡大処理が施される。このような構成にすることによって、元画像の一部分にのみ画像拡大処理を施すことができるため、容易にパラメータを変更して、その結果を確認することができる。このため、画像に最適なパラメータを早く探し出すことができる。
【００４１】
Ｓ３１のパラメータ取得処理を終了したら、Ｓ１に進み、第１の実施形態において、図２で説明した処理を順次に行う。Ｓ１〜Ｓ５で行われる処理は前述したので、詳細な説明及び図示を省略する。
以上、説明した技術によれば、ユーザがＵＩで画像拡大に関するパラメータを選択したり、入力したりすることにより行われた設定での拡大画像のプレビューを予め確認することができる。また、ユーザが選択した領域だけに拡大処理を施すため、元画像に対して拡大処理を施すよりもプレビュー画像を高速に生成することができるので、ユーザは所望の拡大画像を容易に得ることができる。
【００４２】
（その他の実施形態）
また、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムによっても達成される。具体的には、図１の各構成、図２の各ステップ、図５および図６の各ステップに対応したコンピュータプログラムを、そのシステム或いは装置のコンピュータが読み出して実行することによっても達成される場合も本発明に含まれる。
【図１】
2011049696.tif 000006
【図２】
2011049696.tif 000007
【図３】
2011049696.tif 000008
【図４】
2011049696.tif 000009
【図５】
2011049696.tif 000010
【図６】
2011049696.tif 000011
【図７】
2011049696.tif 000012
【図８】
2011049696.tif 000013
【図９】
2011049696.tif 000014