(57)【要約】【課題】いわゆるデジタル覆い焼き処理を行う際に、画素の位置ずれを起こすこと無く、簡単な処理で良好な画像を得られるようにする。【解決手段】輝度抽出部１０１では、入力画像の輝度成分を抽出して輝度画像を作成し、縮小部１１０では、輝度画像を縮小処理して縮小画像を作成する。この際、縮小部１１０では、縮小処理に係る縮小率に満たない輝度画像の端部領域における画素の縮小処理も行う。また、拡大部１４１では、ＬＰＦ１２１〜１２３を介して入力された縮小画像を前記輝度画像と同じ解像度まで拡大して拡大画像を作成する。この際、拡大部１４１では、拡大画像の端部領域の足りない画素を近接する画素から補間し、また、拡大画像の端部領域の余剰な画素を切り捨てる処理も行う。その後、補正処理部１６０において拡大画像に基づく入力画像の補正処理を行う。【選択図】図１
2010021952.tif 000002
【特許請求の範囲】
【請求項１】
入力画像の輝度成分を抽出して、輝度画像を作成する輝度抽出手段と、
前記輝度画像を縮小処理して、縮小画像を作成する縮小手段と、
前記縮小画像の低周波成分を取り出す低周波成分取り出し手段と、
前記低周波成分取り出し手段で低周波成分が取り出された縮小画像を前記輝度画像と同じ解像度まで拡大する拡大処理を行って、拡大画像を作成する拡大手段と、
前記拡大画像に応じて補正係数を算出する補正係数算出手段と、
前記補正係数算出手段で算出された補正係数を用いて前記入力画像の補正処理を行う補正処理手段と
を有し、
前記縮小手段は、前記縮小処理に係る縮小率に満たない前記輝度画像の端部領域における画素の端数部分の縮小処理を行う端数縮小手段を含み、
前記拡大手段は、前記拡大処理の際に前記拡大画像の端部領域の足りない画素を近接する画素からの補間処理によって補う端部補間処理手段と、前記拡大画像の端部領域の余剰な画素を切り捨てる処理を行う端部切り捨て処理手段とを含むことを特徴とする画像処理装置。
【請求項２】
前記端部補間処理手段は、前記近接する画素の画像データのコピーによる補間、前記近接する画素として最外の画素とその一つ内側の画素との画素データの差の傾きを用いた外挿線形補間、又は、前記外挿線形補間とは逆の傾きを用いた折り返し補間のいずれかを用いて前記補間処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
入力画像の輝度成分を抽出して、輝度画像を作成する輝度抽出ステップと、
前記輝度画像を縮小処理して、縮小画像を作成する縮小ステップと、
前記縮小画像の低周波成分を取り出す低周波成分取り出しステップと、
前記低周波成分取り出しステップで低周波成分が取り出された縮小画像を前記輝度画像と同じ解像度まで拡大する拡大処理を行って、拡大画像を作成する拡大ステップと、
前記拡大画像に応じて補正係数を算出する補正係数算出ステップと、
前記補正係数算出ステップで算出された補正係数を用いて前記入力画像の補正処理を行う補正処理ステップと
を有し、
前記縮小ステップは、前記縮小処理に係る縮小率に満たない前記輝度画像の端部領域における画素の端数部分の縮小処理を行う端数縮小ステップを含み、
前記拡大ステップは、前記拡大処理の際に前記拡大画像の端部領域の足りない画素を近接する画素からの補間処理によって補う端部補間処理ステップと、前記拡大画像の端部領域の余剰な画素を切り捨てる処理を行う端部切り捨て処理ステップとを含むことを特徴とする画像処理方法。
【請求項４】
前記端部補間処理ステップでは、前記近接する画素の画像データのコピーによる補間、前記近接する画素として最外の画素とその一つ内側の画素との画素データの差の傾きを用いた外挿線形補間、又は、前記外挿線形補間とは逆の傾きを用いた折り返し補間のいずれかを用いて前記補間処理を行うことを特徴とする請求項３に記載の画像処理方法。
【請求項５】
入力画像の輝度成分を抽出して、輝度画像を作成する輝度抽出ステップと、
前記輝度画像を縮小処理して、縮小画像を作成する縮小ステップと、
前記縮小画像の低周波成分を取り出す低周波成分取り出しステップと、
前記低周波成分取り出しステップで低周波成分が取り出された縮小画像を前記輝度画像と同じ解像度まで拡大する拡大処理を行って、拡大画像を作成する拡大ステップと、
前記拡大画像に応じて補正係数を算出する補正係数算出ステップと、
前記補正係数算出ステップで算出された補正係数を用いて前記入力画像の補正処理を行う補正処理ステップと
をコンピュータに実行させるためのプログラムであって、
前記縮小ステップは、前記縮小処理に係る縮小率に満たない前記輝度画像の端部領域における画素の端数部分の縮小処理を行う端数縮小ステップを含み、
前記拡大ステップは、前記拡大処理の際に前記拡大画像の端部領域の足りない画素を近接する画素からの補間処理によって補う端部補間処理ステップと、前記拡大画像の端部領域の余剰な画素を切り捨てる処理を行う端部切り捨て処理ステップとを含むことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像の画像処理を行う画像処理装置、画像処理方法、及び、当該画像処理方法をコンピュータに実行させるためのプログラムに関する。
【背景技術】
【０００２】
近年、同一画角内に、極めて明るい被写体と暗い被写体とが同時に存在する場合に、両者を明瞭に撮影することができるダイナミックレンジの広いカメラ、いわゆるワイドダイナミックレンジカメラが注目されている。
【０００３】
このようなダイナミックレンジの広い撮影を可能にするための方法として、銀塩写真の場合には、暗室内で行われる覆い焼き処理というものがある。この覆い焼き処理をデジタル画像処理によって実現し、明暗差のある被写体、特に逆光の被写体を補正する技術（以下、この技術を「デジタル覆い焼き」と呼ぶ）がある。このデジタル覆い焼き処理に関する従来の技術としては、例えば、下記の特許文献１に示すものがある。具体的に、特許文献１では、補正を行う係数を決定するための領域判定画像として、輝度成分を抽出して、縮小した後にローパスフィルタをかけ、元のサイズまで拡大したものを作成している。
【０００４】
【特許文献１】特開２００６−０６５６７６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した従来の技術では、画像の縮小や拡大の具体的な処理については開示されておらず、また、処理の負荷についても考慮されていない。例えば、処理の負荷を余りかけないことを考慮して、縮小処理は単純な加算平均処理を行い、拡大処理は線形補間処理を行う場合を考える。この場合について、図１１を用いて説明する。
【０００６】
図１１は、一般的な画像の縮小処理及び拡大処理の一例を示す模式図である。
図１１（ａ）には、元画像１１００が示されている。図１１（ｂ）には、元画像１１００を加算平均処理で縦横１／５に縮小した縮小画像１１１０が示されている。図１１（ｃ）には、縮小画像１１１０を線形補間処理で縦横５倍に拡大した拡大画像１１２０が示されている。
【０００７】
ここで、図１１では、画像の左上隅の一部の処理を図示している。図１１（ａ）から図１１（ｂ）への縮小処理では、５画素×５画素の画素値を加算して、２５で割る処理が行われる。この時、処理の結果得られる画素の座標位置は、黒丸（１１１１）で示される位置となる。
【０００８】
また、図１１（ｂ）から図１１（ｃ）への拡大処理では、隣接する２画素間の画素データ（画素値）の差について、１：４、２：３、３：２、４：１と線形補間して４点を作成する処理を、縦横各々について行う。ここで、図１１（ｃ）の上２画素、左２画素の灰色丸１１２１で示した位置の画素は、図１１（ｂ）の隣接画素間からの線形補間では生成されない。このため、図１１（ａ）に示す元画像１１００よりも、図１１（ｃ）に示す拡大画像１１２０が外周の各２画素分小さくなってしまうという問題点が発生する。
【０００９】
例えば、元画像１１００を６４０画素×４８０画素とした場合、縮小画像１１１０は１２８画素×９６画素、拡大画像１１２０は６３６画素×４７６画素となる。もし、１２８画素×９６画素の縮小画像１１１０から線形補間処理で６４０画素×４８０画素の拡大画像１１２０を作成しようとすると、横方向は６３９／１２７、縦方向は４７９／９５という座標計算を行う必要が生じ、処理量が増加してしまう。更に、この際に作成された拡大画像１１２０の座標は、元画像１１００の座標に対してずれてしまうという問題点も生じることになる。
【００１０】
また、上述した従来の技術では、処理対象の画像のサイズが変化した場合については特に想定していないため、例えば、元画像１１００が縮小処理に係る縮小率の倍数となっておらず、縮小処理の際に画素の端数が出る場合については考慮されていない。そして、処理対象画像のサイズが変化するケースで縮小処理の縮小率及び拡大処理の拡大率を固定して設定している場合、画像の端部領域において画素の端数が出るケースに対応していないと、当該端数部分の画素データは処理を行わずに捨てることになってしまう。その結果、縮小後の拡大処理において、画素位置のずれが大きくなってしまうという問題点がある。
【００１１】
本発明は、このような問題点に鑑みてなされたものであり、いわゆるデジタル覆い焼き処理を行う際に、画素の位置ずれを起こすこと無く、簡単な処理で良好な画像を得られるようにすることを目的とする。また、縮小処理時に画素の端数が出る場合であっても、良好な画像を得られるようにすることも目的とする。
【課題を解決するための手段】
【００１２】
本発明の画像処理装置は、入力画像の輝度成分を抽出して、輝度画像を作成する輝度抽出手段と、前記輝度画像を縮小処理して、縮小画像を作成する縮小手段と、前記縮小画像の低周波成分を取り出す低周波成分取り出し手段と、前記低周波成分取り出し手段で低周波成分が取り出された縮小画像を前記輝度画像と同じ解像度まで拡大する拡大処理を行って、拡大画像を作成する拡大手段と、前記拡大画像に応じて補正係数を算出する補正係数算出手段と、前記補正係数算出手段で算出された補正係数を用いて前記入力画像の補正処理を行う補正処理手段とを有し、前記縮小手段は、前記縮小処理に係る縮小率に満たない前記輝度画像の端部領域における画素の端数部分の縮小処理を行う端数縮小手段を含み、前記拡大手段は、前記拡大処理の際に前記拡大画像の端部領域の足りない画素を近接する画素からの補間処理によって補う端部補間処理手段と、前記拡大画像の端部領域の余剰な画素を切り捨てる処理を行う端部切り捨て処理手段とを含む。
【００１３】
本発明の画像処理方法は、入力画像の輝度成分を抽出して、輝度画像を作成する輝度抽出ステップと、前記輝度画像を縮小処理して、縮小画像を作成する縮小ステップと、前記縮小画像の低周波成分を取り出す低周波成分取り出しステップと、前記低周波成分取り出しステップで低周波成分が取り出された縮小画像を前記輝度画像と同じ解像度まで拡大する拡大処理を行って、拡大画像を作成する拡大ステップと、前記拡大画像に応じて補正係数を算出する補正係数算出ステップと、前記補正係数算出ステップで算出された補正係数を用いて前記入力画像の補正処理を行う補正処理ステップとを有し、前記縮小ステップは、前記縮小処理に係る縮小率に満たない前記輝度画像の端部領域における画素の端数部分の縮小処理を行う端数縮小ステップを含み、前記拡大ステップは、前記拡大処理の際に前記拡大画像の端部領域の足りない画素を近接する画素からの補間処理によって補う端部補間処理ステップと、前記拡大画像の端部領域の余剰な画素を切り捨てる処理を行う端部切り捨て処理ステップとを含む。
【００１４】
本発明のプログラムは、入力画像の輝度成分を抽出して、輝度画像を作成する輝度抽出ステップと、前記輝度画像を縮小処理して、縮小画像を作成する縮小ステップと、前記縮小画像の低周波成分を取り出す低周波成分取り出しステップと、前記低周波成分取り出しステップで低周波成分が取り出された縮小画像を前記輝度画像と同じ解像度まで拡大する拡大処理を行って、拡大画像を作成する拡大ステップと、前記拡大画像に応じて補正係数を算出する補正係数算出ステップと、前記補正係数算出ステップで算出された補正係数を用いて前記入力画像の補正処理を行う補正処理ステップとをコンピュータに実行させるためのプログラムであって、前記縮小ステップは、前記縮小処理に係る縮小率に満たない前記輝度画像の端部領域における画素の端数部分の縮小処理を行う端数縮小ステップを含み、前記拡大ステップは、前記拡大処理の際に前記拡大画像の端部領域の足りない画素を近接する画素からの補間処理によって補う端部補間処理ステップと、前記拡大画像の端部領域の余剰な画素を切り捨てる処理を行う端部切り捨て処理ステップとを含む。
【発明の効果】
【００１５】
本発明によれば、いわゆるデジタル覆い焼き処理を行う際に、画素の位置ずれを起こすこと無く、簡単な処理で良好な画像を得ることができる。また、縮小処理時に画素の端数が出る場合であっても、良好な画像を得ることができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明を実施するための最良の形態について添付図面を参照して説明する。
【００１７】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る画像処理装置の概略構成の一例を示す模式図である。この図１に示す画像処理装置１００は、主として、デジタル覆い焼き処理を行う構成を示している。
【００１８】
図１に示すように、画像処理装置１００は、輝度抽出部１０１、縮小部１１０、ＬＰＦ１２１〜１２３、バッファ１３０〜１３３、拡大部１４０、補正係数算出部１５１〜１５３、補正処理部１６０、及び、制御部１７０を有して構成されている。
【００１９】
また、画像処理装置１００への入力信号としては、入力画像データ信号（Ｉｎ−ｄａｔａ信号）１９０、有効入力データ信号（Ｖａｌｉｄ信号）１９１、及び、画像サイズ設定信号１９２がある。
【００２０】
入力画像データ信号１９０は、ＲＧＢ（赤、緑、青）の３種類のデータからなるカラー画像データである。有効入力データ信号１９１は、入力画像データ信号１９０に有効なデータが流れているタイミングを表す信号である。画像サイズ設定信号１９２は、画像処理装置１００が画像処理をする１画面分の画像サイズを外部から設定するための信号である。
【００２１】
また、画像処理装置１００からの出力信号としては、出力画像データ信号（Ｏｕｔ−ｄａｔａ信号）１９５、及び、有効出力データ信号（Ｖａｌｉｄ信号）１９６がある。
【００２２】
出力画像データ信号１９５は、ＲＧＢ（赤、緑、青）の３種類のデータからなる、画像処理装置１００で画像処理後（補正後）のカラー画像データである。有効出力データ信号１９６は、出力画像データ信号１９５に有効なデータが流れているタイミングを表す信号である。
【００２３】
輝度抽出部１０１は、入力画像データの輝度成分を抽出して、輝度画像データを作成する処理を行う。具体的に、輝度抽出部１０１は、有効入力データ信号１９１が有効になっているタイミングで入力画像データ信号１９０を受信し、入力画像データをＲＧＢデータから輝度データに変換して輝度画像データ（元画像データ）を作成する処理を行う。この際、輝度データへの変換方法は、ＲＧＢからＹＣｂＣｒへの変換式による方法、ＲＧＢからＨＳＶへの変換式による方法など各種あるが、それらに限定されるわけではなく、公知の何れかの変換方法で輝度データを求めればよい。
【００２４】
縮小部１１０は、輝度抽出部１０１で作成された輝度画像データを縮小処理して、縮小画像データを作成する処理を行う。具体的に、本実施形態では、縮小部１１０は、１／２縮小部１１１、１／４縮小部１１２、及び、１／５縮小部１１３を含む構成されており、これらがカスケード接続された構成となっている。
【００２５】
縮小部１１０に入力された輝度画像データは、まず、１／２縮小部１１１において、縦横共に１／２の画素数からなる縮小画像データに変換されて、１／２縮小画像データが作成される。そして、１／２縮小部１１１で作成された１／２縮小画像データは、後段のＬＰＦ１２１に出力されると共に、１／４縮小部１１２へ出力される。
【００２６】
１／４縮小部１１２では、縦横共に１／４の画素数の縮小画像データに変換されるため、輝度画像データ（元画像データ）の１／８縮小画像データが作成される。そして、１／４縮小部１１２で作成された１／８縮小画像データは、後段のＬＰＦ１２２に出力されると共に、１／５縮小部１１３へ出力される。
【００２７】
１／５縮小部１１３では、縦横共に１／５の画素数の縮小画像データに変換されるため、輝度画像データ（元画像データ）の１／４０縮小画像データが作成される。
【００２８】
１／２縮小部１１１、１／４縮小部１１２及び１／５縮小部１１３の後段には、それぞれ、ローパスフィルタ（ＬＰＦ）１２１、１２２及び１２３が接続されている。このＬＰＦ１２１、１２２及び１２３は、例えば、ガウシアンフィルタなどで構成されており、縮小部１１０で作成された縮小画像データの低周波成分を取り出す低周波成分取り出し手段を構成するものである。また、換言すれば、ＬＰＦ１２１、１２２及び１２３は、縮小画像データから高周波成分を取り除く処理を行うということもできる。このローパスフィルタ処理は、高周波成分を取り除くことによって画像をぼかし、大局的な明暗を示す画像を作成するために行われるものである。
【００２９】
このＬＰＦ１２１、１２２及び１２３の後段には、タイミング調整用のバッファ１３１、１３２及び１３３が接続される。また、入力画像データ信号１９０は、タイミング調整用のバッファ１３０に入力されるように接続されている。
【００３０】
拡大部１４０は、ＬＰＦ（１２１、１２２及び１２３）で低周波成分が取り出された縮小画像を輝度画像データ（元画像データ）と同じ解像度まで拡大する拡大処理を行って、拡大画像データを作成する処理を行う。具体的に、本実施形態では、拡大部１４０は、２倍拡大部１４１、８倍拡大部１４２及び４０倍拡大部１４３を含み構成されており、それぞれ、バッファ１３１、１３２及び１３３から読み出された縮小画像データの拡大処理を行う。
【００３１】
１／２縮小部１１１から出力された１／２縮小画像データは、ＬＰＦ１２１、バッファ１３１を経由して、２倍拡大部１４１で元画像データの画像サイズまで拡大処理される。また、１／４縮小部１１２から出力された１／８縮小画像データは、ＬＰＦ１２２、バッファ１３２を経由して、８倍拡大部１４２で元画像データの画像サイズまで拡大処理される。同様に、１／８縮小部１１３から出力された１／４０縮小画像データは、ＬＰＦ１２３、バッファ１３３を経由して、４０倍拡大部１４３で元画像データの画像サイズまで拡大処理される。そして、２倍拡大部１４１、８倍拡大部１４２及び４０倍拡大部１４３から出力される大局的な明暗を示す３種類の拡大画像データは、それぞれ、補正係数算出部１５１、１５２及び１５３に出力される。
【００３２】
補正係数算出部１５１、１５２及び１５３は、入力された拡大画像データの明暗に応じて補正係数を算出する処理を行い、補正係数を決定する。この際、補正係数は、輝度の低い暗い部分ほど大きな値となる。この補正係数は、ガンマ関数等を用いて予め計算されて、例えばルックアップテーブルとして格納されており、各補正係数算出部１５１、１５２及び１５３は、当該ルックアップテーブルを用いて補正係数を算出・決定を行う。
【００３３】
補正処理部１６０は、補正係数算出部１５１、１５２及び１５３で算出された補正係数を用いて入力画像データの補正処理を行う。具体的に、補正処理部１６０は、補正係数算出部１５１、１５２及び１５３から出力される補正係数を用いてバッファ１３０から読み出した入力画像データを演算処理して、入力画像データの補正処理を行う。より詳細に、補正処理部１６０は、補正係数算出部１５１、１５２及び１５３から出力される３つの補正係数をそれぞれ入力画像データに掛け合わせた後、これを加算平均演算処理する。この処理をＲＧＢの各々のデータに対して個々に実行して、入力画像データの補正処理を行い、これを出力画像データ信号１９５として出力する。
【００３４】
制御部１７０は、画像サイズ設定信号１９２の設定に従って、有効入力データ信号１９１に基づいて有効画素数をカウントし、画像処理装置１００の各構成部の制御を行う制御信号を生成する。ここで、制御信号群１８０、１８１、１８２、１８３及び１８４は、それぞれ、縮小部１１０、ＬＰＦ１２１〜１２３、バッファ１３０〜１３３、拡大部１４０及び補正係数算出部１５１〜１５３を制御する制御信号である。この制御信号群１８０〜１８４は、上述した画像処理装置１００の各構成部に対して、複数本からなる信号線を介して制御部１７０から送信される。また、有効出力データ信号１９６は、補正処理部１６０から出力される有効入力データ信号１９１が有効な期間を示す信号である。
【００３５】
また、制御部１７０は、端数縮小制御部１７１、端部補間制御部１７２、端部切り捨て制御部１７３及びタイミング制御部１７４を含み構成されている。
【００３６】
端数縮小制御部１７１は、縮小部１１０に送信する制御信号群１８０に含まれる縮小処理時の画素の端数処理を指示する制御信号を生成する。この端数処理制御は、処理する画像の画素数と縮小部１１０による縮小率との関係で画素の端数が生じる時に、縮小部１１０による通常の縮小処理を端数処理に切り替えるものである。
【００３７】
端部補間制御部１７２は、拡大部１４０に送信する制御信号群１８３に含まれる制御信号であって、画像周囲の拡大処理時に必要な画素の補間処理を指示する制御信号を生成する。
【００３８】
端部切り捨て制御部１７３は、拡大部１４０に送信する制御信号群１８３に含まれる制御信号であって、画像周囲の拡大処理時に必要な画素の切り捨て処理を指示する制御信号を生成する。
【００３９】
タイミング制御部１７４は、画像処理装置１００の各構成部の動作タイミングを調整するための信号であって、各制御信号群１８０〜１８４に含まれるタイミング制御信号、及び、有効出力データ信号１９６を生成する。
【００４０】
次に、図２〜図５に示す画像処理装置１００の各構成部における内部構成の説明を行う前に、本実施形態の画像処理のおおまかな概念を、図６を用いて説明する。
【００４１】
図６は、本発明の第１の実施形態に係る画像処理装置において行われる画像の縮小処理及び拡大処理の一例を示す模式図である。ここで、図６では、説明を簡略化するために、上述した図１に示す画像処理装置１００の構成による処理とは異なるが、画像を１／４に縮小した後に４倍に拡大する例を示している。
【００４２】
図６（ａ）には、縮小部で縮小処理を行う前の輝度画像６００が示されており、白丸６０１は輝度画像６００の画素を示し、具体的に、輝度画像６００は、横１５画素、縦１３画素で構成されている。
【００４３】
１／４縮小処理では、輝度画像６００の左上の画素から順に、まず、横４画素毎の平均が計算され、次に４行毎の平均が計算されることにより、縦横４画素×４画素の１６画素分の画素データ（画素値）の平均が計算され、縮小処理が行われる。ここで、図６（ａ）の黒丸６０２は平均を取った画素の各々の中心座標を示している。
【００４４】
このとき、輝度画像６００の右端部領域（縦４画素×横３画素）の処理では、画素の端数が３画素残るため、横方向についてはこの３画素での平均を計算することによって、縮小処理が行われる。また、輝度画像６００の下端部領域（縦１画素×横４画素）の処理では、縦方向については画素の端数が１行残るため、縦方向の演算は行わず、横方向の平均をのみを計算することによって、縮小処理が行われる。このようにして、本実施形態では、縮小処理に係る縮小率に満たない輝度画像６００の端部領域における画素の端数部分の縮小処理を行うようにしている。
【００４５】
上述したように処理をした結果、図６（ａ）に示す横１５画素、縦１３画素の輝度画像（元画像）６００から、図６（ｂ）に示す横４画素、縦４画素の縮小画像６１０が得られる。縮小画像６１０の右端部領域と下端部領域は、本来であれば白丸で示した位置の画素であるが、処理の簡略化のため、以降は、黒丸で示した位置の画素として扱う。
【００４６】
図６（ｃ）には、図６（ｂ）に示す縮小画像６１０をＬＰＦで処理した後、拡大部で４倍に拡大処理した拡大画像６２０が示されている。図６（ｃ）に示す拡大画像６２０の黒丸は、図６（ｂ）に示す縮小画像６１０の黒丸に一致している。
【００４７】
図６（ｃ）に示す拡大画像６２０の黒のひし形６２１及び灰色のひし形６２２は、横４倍拡大処理によって作成される画素データである。図６（ｃ）に示す拡大画像６２０の左右の端部領域に配置される灰色のひし形６２２の画素データは、黒丸よりも外側にあるため、それぞれ、隣接する左右端の画素データのコピーによって作成される。また、黒のひし形６２１の画素データは、それぞれ、近接する２点の黒丸の画素データから線形補間によって計算されて作成される。図６（ｃ）に示す例では、近接する２点の黒丸からの距離は、順に、１：７、３：５、５：３、７：１となっている。例えば、３：５の距離にある画素データは、距離３の黒丸の画素データの５／８倍と、距離５の黒丸の画素データの３／８倍とを加算することによって得られる。
【００４８】
次に、図６（ｃ）に示す拡大画像６２０の白丸６２３の画素データ及び灰色丸６２４は、縦４倍拡大処理によって作成される画素データである。図６（ｃ）に示す拡大画像６２０の上下の端部領域に配置される灰色丸６２４は、ひし形の画素データよりも外側にあるため、それぞれ、上下端のひし形の画素データのコピーによって作成される。
また、白丸６２３の画素データは、近接する上下のひし形の画素データ行から線形補間によって計算されて作成される。ここで、線形補間の計算は、横４倍拡大処理と同等である。また、白丸の最下行の×（バツ）記号がつけられた画素データは、図６（ａ）の輝度画像（元画像）６００の画像領域よりも外側にある画素データであるため、切り捨て処理が行われる。
【００４９】
このようにして、本実施形態では、拡大処理の際に拡大画像６２０の端部領域の足りない画素を近接する画素からの補間処理によって補う端部補間処理を行うと共に、拡大画像６２０の端部領域の余剰な画素を切り捨てる端部切り捨て処理を行うようにしている。
【００５０】
以上の処理は、図１に示す画像処理装置１００における１／２縮小後の２倍拡大、１／２及び１／４縮小後の８倍拡大、１／２、１／４及び１／５縮小後の４０倍拡大についても、図６で説明した１／４縮小後の４倍拡大に順じた処理が行われる。
【００５１】
なお、本実施形態では、拡大処理の際に拡大画像の端部領域（外周）の不足画素データを補間する方法として、近接する最外の画素データのコピーによる補間を行う態様を示しているが、本発明においてはこのコピーによる態様に限定されるものではない。例えば、近接する最外の画素の画素データとその一つ内側の画素の画素データとの差の傾きを延長して、いわゆる外挿線形補間（最大値、最小値を超える場合はクリッピング）する態様を適用することも可能である。また、当該外挿線形補間とは逆の傾きとして計算して補間する、いわゆる折り返し補間する態様を適用することも可能である。
【００５２】
次に、図２〜図５を用いて、図１に示す画像処理装置１００の各構成部における内部構成の説明を行う。
【００５３】
図２は、図１に示す縮小部１１０の内部構成の一例を示すブロック図である。
図２に示すように、１／２縮小部１１１は、１／２横縮小部２０１と、１／２縦縮小部２１１を含み構成されている。また、１／４縮小部１１２は、１／４横縮小部２０２と、１／４縦縮小部２１２を含み構成されている。また、１／５縮小部１１３は、１／５横縮小部２０３と、１／５縦縮小部２１３を含み構成されている。
【００５４】
縮小部１１０への入力信号としては、入力画像データ信号（Ｉｎ−ｄａｔａ信号）２５０、及び、制御信号群（Ｃｔｒｌ信号群）１８０がある。また、縮小部１１０からの出力信号としては、１／２縮小画像データ信号（１／２Ｏｕｔ−ｄａｔａ信号）２５１、１／８縮小画像データ信号（１／８Ｏｕｔ−ｄａｔａ信号）２５２及び１／４０縮小画像データ信号（１／４０Ｏｕｔ−ｄａｔａ信号）２５３がある。
【００５５】
制御信号群１８０は、制御部１７０で生成される信号群であり、縮小部１１０の制御を行うためのものである。入力画像データ信号（Ｉｎ−ｄａｔａ信号）２５０は、輝度抽出部１０１から出力された輝度画像データに係る信号である。
【００５６】
入力画像データ信号（Ｉｎ−ｄａｔａ信号）２５０は、１／２横縮小部２０１で横方向の画素数が１／２に縮小処理された後、１／２縦縮小部２１１で縦方向の画素数が１／２に縮小処理されて、１／２縮小画像データ信号２５１として出力される。この際、１／２縮小画像データ信号２５１は、１／２縦縮小部２１１からＬＰＦ１２１に出力されると共に、１／４横縮小部２０２に出力される。
【００５７】
続いて、１／２縮小画像データ信号２５１は、１／４横縮小部２０２で横方向の画素数が１／４に縮小処理された後、１／４縦縮小部２１２で縦方向の画素数が１／４に縮小処理されて、１／８縮小画像データ信号２５２として出力される。この際、１／８縮小画像データ信号２５２は、１／４縦縮小部２１２からＬＰＦ１２２に出力されると共に、１／５横縮小部２０３に出力される。
【００５８】
続いて、１／８縮小画像データ信号２５２は、１／５横縮小部２０３で横方向の画素数が１／５に縮小処理された後、１／５縦縮小部２１３で縦方向の画素数が１／５に縮小処理されて、１／４０縮小画像データ信号２５３として出力される。この際、１／４０縮小画像データ信号２５３は、１／５縦縮小部２１３からＬＰＦ１２３に出力される。
【００５９】
このようにして、縮小部１１０では、入力された輝度画像データが、縦横が各々１／２、１／８、１／４０に縮小された３種類の縮小画像データが作成される。
【００６０】
図３は、図２に示す１／５横縮小部２０３の内部構成の一例を示すブロック図である。
図３に示すように、１／５横縮小部２０３は、加算器３００、フリップフロップ（Ｆ／Ｆ）３１０、固定縮小部３２０、端数縮小部３３０、セレクタ３４０、及び、フリップフロップ（Ｆ／Ｆ）３５０を有して構成されている。また、端数縮小部３３０は、１／４演算器３３１、１／３演算器３３２、及び、１／２演算器３３３を含み構成されている。
【００６１】
１／５横縮小部２０３への入力信号としては、入力画像データ信号（Ｉｎ−ｄａｔａ信号）２５２、及び、制御信号群（Ｃｔｒｌ信号群）１８０がある。また、１／５横縮小部２０３からの出力信号としては、出力画像データ信号（Ｏｕｔ−ｄａｔａ信号）３９０がある。この出力画像データ信号３９０は、後段の１／５縦縮小部２１３の入力となる。
【００６２】
入力画像データ信号２５２は、１／４縦縮小部２１２から出力された１／８縮小画像データ信号２５２である。制御信号群１８０には、制御部１７０で生成される制御信号であり、有効入力データ信号（Ｖａｌｉｄ信号）３６０、積算クリア信号（Ｃｌｒ信号）３６１、及び、端数縮小処理選択信号（Ｓｅｌ信号）３６２が含まれている。
【００６３】
入力画像データ信号２５２は、加算器３００とフリップフロップ（Ｆ／Ｆ）３１０によって積算処理される。この積算処理は、有効入力データ信号３６０と積算クリア信号３６１によって制御される。有効入力データ信号３６０は、入力画像データ信号２５２の画像データが有効な期間に１クロック期間アサートされる。この有効入力データ信号３６０のアサートに同期して、フリップフロップ（Ｆ／Ｆ）３１０は、自身の出力信号と入力画像データ信号２５２を加算器３００で加算した結果をラッチする。有効入力データ信号３６０を５回アサートすることによって、５画素分の積算結果がフリップフロップ（Ｆ／Ｆ）３１０にラッチされる。そして、５画素分の積算結果をラッチした後、次に、有効入力データ信号３６０がアサートされるまでの間で、積算クリア信号３６１が１クロック期間アサートされ、フリップフロップ（Ｆ／Ｆ）３１０の積算結果がクリアされる。
【００６４】
フリップフロップ（Ｆ／Ｆ）３１０の出力は、固定縮小部３２０及び端数縮小部３３０に接続されている。固定縮小部３２０は、当該縮小部が１／５横縮小部２０３であるため、フリップフロップ（Ｆ／Ｆ）３１０の出力値に１／５を掛けた値を出力する。また、端数縮小部３３０は、フリップフロップ（Ｆ／Ｆ）３１０の出力値に、それぞれ、１／４演算器３３１で１／４を掛けた値を出力し、１／３演算器３３２で１／３を掛けた値を出力し、１／２演算器３３３で１／２を掛けた値を出力する。具体的に、端数縮小部３３０は、指定された縮小処理（本例では、１／５に縮小する処理）に係る縮小率に満たない画像の端部領域における画素の端数部分の縮小処理を行うものである。
【００６５】
セレクタ３４０には、固定縮小部３２０からの出力信号、端数縮小部３３０の３つの演算器から出力信号及びフリップフロップ（Ｆ／Ｆ）３１０の出力信号が入力される。セレクタ３４０は、端数縮小処理選択信号３６２によって、上記５つの入力された信号の中から選択された信号を出力する。セレクタ３４０で選択された信号は、フリップフロップ（Ｆ／Ｆ）３５０でラッチされる。端数縮小処理選択信号３６２は、制御部１７０の端数縮小制御部１７１によって生成された制御信号線である。この端数縮小処理選択信号３６２は、通常は、固定縮小部３２０の出力信号を選択するものであるが、例えば、画像の右端部領域の縮小処理時には、画素の端数に応じて出力信号の選択を切り替えるように制御するものである。
【００６６】
図３では、１／５横縮小部２０３について説明したが、１／５縦縮小部２１３の内部構成は、フリップフロップ（Ｆ／Ｆ）３１０及び３５０がラインバッファとなる以外はほぼ同様の構成となるため、その構成図は省略する。また、１／２縮小部１１１の１／２横縮小部２０１及び１／２縦縮小部２１１、並びに、１／４縮小部１１２の１／４横縮小部２０２及び１／４縦縮小部２１２についても、端数縮小部３３０の構成要素が減る以外はほぼ同様の構成となるため、その構成図は省略する。
【００６７】
図４は、図１に示す４０倍拡大部１４３の内部構成の一例を示すブロック図である。
図４に示すように、４０倍拡大部１４３は、４０倍横拡大部４１０と、４０倍縦拡大部４２０を含み構成されている。
【００６８】
４０倍拡大部１４３への入力信号としては、入力画像データ信号（Ｉｎ−ｄａｔａ信号）４５０、及び、制御信号群（Ｃｔｒｌ信号群）１８３がある。また、４０倍拡大部１４３からの出力信号としては、出力画像データ信号（Ｏｕｔ−ｄａｔａ信号）４６０がある。
【００６９】
制御信号群１８３は、制御部１７０で生成される信号群であり、４０倍拡大部１４３の制御を行うためのものである。入力画像データ信号４５０は、バッファ１３３から読み出された１／４０縮小画像データに係る信号である。入力画像データ信号４５０は、４０倍横拡大部４１０で横方向の画素数が４０倍に拡大された後、４０倍縦拡大部４２０で縦方向の画素数が４０倍に拡大される。これにより、４０倍拡大画像データが作成され、これが出力画像データ信号４６０として補正係数算出部１５３に出力される。
【００７０】
図５は、図４に示す４０倍横拡大部４１０の内部構成の一例を示すブロック図である。
図５に示すように、４０倍横拡大部４１０は、フリップフロップ（Ｆ／Ｆ）５００及び５１０、線形補間部５２０、セレクタ５３０、及び、フリップフロップ（Ｆ／Ｆ）５４０を有して構成されている。
【００７１】
４０倍横拡大部４１０への入力信号としては、入力画像データ信号（Ｉｎ−ｄａｔａ信号）４５０、及び、制御信号群（Ｃｔｒｌ信号群）１８３がある。また、４０倍横拡大部４１０からの出力信号としては、出力画像データ信号（Ｏｕｔ−ｄａｔａ信号）５５０がある。この出力画像データ信号は、後段の４０倍縦拡大部４２０の入力となる。
【００７２】
制御信号群１８３は、制御部１７０で生成される信号群であり、有効入力データ信号（Ｖａｌｉｄ信号）５６０、線形補間指示信号（Ｅｎａｂｌｅ信号）５６１、及び、端部補間処理選択信号（Ｓｅｌ信号）５６２を含んでいる。
【００７３】
入力画像データ信号４５０は、有効入力データ信号５６０が１クロック期間アサートされる毎にフリップフロップ（Ｆ／Ｆ）５００にラッチされる。フリップフロップ（Ｆ／Ｆ）５１０は、フリップフロップ（Ｆ／Ｆ）５００の後段に接続され、フリップフロップ（Ｆ／Ｆ）５００の１つ前のデータを保持する。
【００７４】
線形補間部５２０は、フリップフロップ（Ｆ／Ｆ）５００及び５１０の出力を受けて、２つのデータの間を線形補間した４０個のデータをクロックに同期して順次出力する。この線形補間は、順に１：７９、３：７７、５：７５、…、７９：１という比率で行われる。線形補間指示信号５６１は、この４０個のデータを順次出力している間アサートされ続ける。線形補間指示信号５６１がデアサートされた後、有効入力データ信号５６０が１クロック期間アサートされ、フリップフロップ（Ｆ／Ｆ）５００及び５１０には次の画素データがラッチされる。また、画像の右端部領域の処理時に、拡大画像データの横画素数の累計が画像サイズ設定信号１９２で指定された元の画素数に達した場合は、４０個分のデータを出力していなくても線形補間指示信号５６１はデアサートされる。この４０個分のデータを出力する前に元の画素数に達した際に線形補間指示信号５６１をデアサートする処理は、端部切り捨て制御部１７３によって制御されるものである。
【００７５】
セレクタ５３０には、線形補間部５２０の出力信号とフリップフロップ（Ｆ／Ｆ）５００の出力信号が入力される。セレクタ５３０は、端部補間制御部１７２によって生成される端部補間処理選択信号５６２によって選択された信号を出力するものである。セレクタ５３０からの出力信号はフリップフロップ（Ｆ／Ｆ）５４０でラッチされる。端部補間処理選択信号５６２は、通常は、線形補間部５２０の出力信号を選択しているが、画像の両端の端数処理時で画素の補間が必要な時には、フリップフロップ（Ｆ／Ｆ）５００の出力信号が選択されることによって画素データのコピーが行われる。なお、本実施形態では、上記補間方法として画像データのコピーによる補間を行っているが、図６の説明時に記述したように、いわゆる外挿線形補間や折り返し補間を適用してもよい。
【００７６】
第１の実施形態によれば、デジタル覆い焼き処理を行う際に、画素の位置ずれを起こすこと無く、簡単な処理で良好な画像を得ることができる。また、縮小処理時に画素の端数が出る場合であっても、良好な画像を得ることができる。
【００７７】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
本発明の第２の実施形態は、第１の実施形態における画像処理装置１００を含む画像処理システムに関するものである。以下の説明においては、第２の実施形態に係る画像処理システムとして、デジタルカメラ装置を適用した例について説明を行う。なお、デジタル覆い焼き処理を行う画像処理装置１００を含む本実施形態のデジタルカメラ装置では、領域判定画像作成時の縮小処理・拡大処理において、できるだけ処理の前後の画像の中心を近づけて上下あるいは左右での処理誤差が均等になるように処理を行う。
【００７８】
図７は、本発明の第２の実施形態に係るデジタルカメラ装置（画像処理システム）の概略構成の一例を示す模式図である。
図７に示すように、デジタルカメラ装置１０は、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、画像蓄積部１４、画像入力部１５、表示部１６、及び、システムバス１７を有して構成されている。また、ＲＯＭ１２には、制御プログラム１２ａが記憶されており、ＲＡＭ１３には、入力画像バッファ１３ａ、覆い焼きバッファ１３ｂ及び圧縮画像バッファ１３ｃが設けられている。
【００７９】
本実施形態においては、ＣＰＵ１１及びＲＯＭ１２に記憶されている制御プログラム１２ａから、図１に示す画像処理装置１００の各構成部（１０１、１１０、ＬＰＦ１２１〜１２３、１４０、１５１〜１５３、１６０、１７０）が構成されている。即ち、ＣＰＵ１１が制御プログラム１２ａを実行することにより、デジタル覆い焼き処理等を行う画像処理装置１００のバッファ１３０〜１３３以外の各構成部の機能が実現されるようになっている。また、本実施形態においては、ＲＡＭ１３に、図１に示す画像処理装置１００のバッファ１３０〜１３３が構成されている。
【００８０】
ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１１は、デジタルカメラ装置１０全体の制御を行うものである。
【００８１】
ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１２は、ＣＰＵ１１が制御を実行する際に用いる制御プログラム１２ａやパラメータ等を格納するメモリである。例えば、ＲＯＭ１２には、後述の図８〜図１０に示すデジタル覆い焼き処理や画像圧縮処理で使用する制御プログラム１２ａ及びパラメータ等が格納されている。
【００８２】
ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１３は、各種のデータや各種の情報等を一時記憶するメモリである。本実施形態では、ＲＡＭ１３には、上述したように、入力画像バッファ１３ａ、覆い焼きバッファ１３ｂ及び圧縮画像バッファ１３ｃが構成されている。
【００８３】
入力画像バッファ１３ａには、画像入力部１５によって取り込まれたデジタル画像データ（入力画像データ）が格納される。覆い焼きバッファ１３ｂには、入力画像バッファ１３ａに格納されている画像データにデジタル覆い焼き処理を行う際の中間処理データ及び処理結果の画像データが格納される。圧縮画像バッファ１３ｃは、入力画像バッファ１３ａに格納されている入力画像データまたは覆い焼きバッファ１３ｂに格納されている覆い焼き処理の結果得られた画像データに対して、圧縮処理を行う時の中間処理データ用の格納場所として使用される。そして、圧縮処理後の画像データは、ＣＰＵ１１の制御により、画像蓄積部１４に蓄積される。
【００８４】
画像入力部１５は、例えば被写体の光学像をデジタル画像データとして取り込むものである。表示部１６は、静止画撮影時には、ファインダー画像として、入力画像バッファ１３ａに格納されている入力画像データまたは覆い焼きバッファ１３ｂに格納されている覆い焼き処理の結果得られた画像データに基づく画像をリアルタイムに表示する。また、表示部１６は、撮影画像確認時には、画像蓄積部１４に蓄積されている圧縮処理後の画像データに基づく画像を伸張した画像の表示を行う。
【００８５】
システムバス１７は、ＣＰＵ１１と他の構成部（１２、１３、１４、１５、１６）とを通信可能に接続するためのバスである。ＣＰＵ１１は、システムバス１７を介して上述した他の構成部と各種のデータや情報、コマンドをやりとりする。
【００８６】
次に、図７に示すデジタルカメラ装置１０による画像処理方法について説明する。
図８は、本発明の第２の実施形態に係るデジタルカメラ装置（画像処理システム）による画像処理方法の処理手順の一例を示すフローチャートである。具体的に、図８には、画像処理方法として、デジタル覆い焼き処理の全体の流れが示されている。
【００８７】
まず、ステップＳ１０１において、ＣＰＵ１１（図１に示す輝度抽出部１０１）は、入力画像バッファ１３ａに格納されている入力画像データの輝度成分を抽出して、輝度画像データ（元画像データ）を作成する処理を行う。具体的に、ステップＳ１０１では、入力画像データをＲＧＢデータから輝度データに変換を行うことで、輝度画像データの作成を行う。この際、輝度データへの変換方法は、ＲＧＢからＹＣｂＣｒへの変換式による方法、ＲＧＢからＨＳＶへの変換式による方法など各種あるが、それらに限定されるわけではなく、公知の何れかの変換方法で輝度データを求めればよい。
【００８８】
続いて、ステップＳ１０２において、ＣＰＵ１１（図１に示す縮小部１１０）は、輝度抽出部１０１で作成された輝度画像データを縮小処理して、縮小画像データを作成する処理を行う。具体的に、ステップＳ１０２では、図１に示す縮小部１１０の場合、１／２縮小部１１１、１／４縮小部１１２及び１／５縮小部１１３により、輝度画像データを３種類の解像度の縮小画像データへ変換する処理が行われる。この３種類の解像度の縮小画像データは、１つ目の解像度の画像データを２つ目の解像度の画像データ作成の入力画像データとし、２つ目の解像度の画像データを３つ目の解像度の画像データ作成の入力画像データとすることで順次作成される。このステップＳ１０２の詳細な処理については、図９を用いて後述する。
【００８９】
続いて、ステップＳ１０３において、ＣＰＵ１１（図１に示す縮小部１１０或いは制御部１７０）は、３種類の解像度の縮小画像データの作成が完了したか否かを判断する。この判断の結果、３種類の解像度の縮小画像データの作成が完了していない場合には、ステップＳ１０２に戻り、作成が完了していない解像度の縮小画像データの作成処理が行われる。
【００９０】
一方、ステップＳ１０３の判断の結果、３種類の解像度の縮小画像データの作成が完了した場合には、ステップＳ１０４に進む。ステップＳ１０４以降の処理では、ステップＳ１０２で作成された３種類の解像度の縮小画像データごとに、処理が行われる。
【００９１】
ステップＳ１０４に進むと、ＣＰＵ１１（図１に示すＬＰＦ１２１〜１２３）は、ステップＳ１０２で作成された３種類の解像度の縮小画像データのうちの１つの縮小画像データに対して、ローパスフィルタ処理を行う。このステップＳ１０４では、例えばガウシアンフィルタなどを用いたローパスフィルタ処理が掛けられ、ステップＳ１０２で作成された縮小画像データの低周波成分を取り出す処理（換言すれば、縮小画像データから高周波成分を取り除く処理）が行われる。このローパスフィルタ処理は、高周波成分を取り除くことによって画像をぼかし、大局的な明暗を示す画像を作成するために行われるものである。
【００９２】
続いて、ステップＳ１０５において、ＣＰＵ１１（図１に示す拡大部１４０）は、ステップＳ１０４でローパスフィルタ処理が施された縮小画像データを輝度画像データ（元画像データ）と同じ解像度まで拡大する拡大処理を行って、拡大画像データを作成する。このステップＳ１０５の詳細な処理については、図１０を用いて後述する。
【００９３】
続いて、ステップＳ１０６において、ＣＰＵ１１（図１に示す補正係数算出部１５１〜１５３及び補正処理部１６０）は、ステップＳ１０５で作成された拡大画像データに基づいて、ＲＧＢデータからなる入力画像データの輝度補正処理を行う。これにより、輝度補正画像データが作成される。この輝度補正処理では、まず、拡大画像データの輝度データ（輝度値）に応じて補正係数を算出して決定し、これを入力画像データのＲＧＢデータのそれぞれに掛け合わせることによって行われる。この補正係数は、ガンマ関数等を用いて予め計算されてテーブル化されている、輝度の低い暗い部分ほど大きな値となる係数である。
【００９４】
続いて、ステップＳ１０７において、ＣＰＵ１１（図１に示す補正処理部１６０或いは制御部１７０）は、ステップＳ１０２で作成された３種類の解像度の縮小画像データに基づく３種類の輝度補正画像データの作成が完了したか否かを判断する。この判断の結果、３種類の輝度補正画像データの作成が完了していない場合には、ステップＳ１０４に戻る。
【００９５】
一方、ステップＳ１０７の判断の結果、３種類の輝度補正画像データの作成が完了した場合には、ステップＳ１０８に進む。ステップＳ１０８に進むと、ＣＰＵ１１（図１に示す補正処理部１６０）は、３種類の輝度補正画像データを加重平均計算によって合成する合成処理を行って、これを最終的な輝度補正画像データとして出力する。その後、図８に示すフローチャートの処理が終了する。
【００９６】
次に、図８のステップＳ１０２の詳細な処理について説明する。
図９は、図８のステップＳ１０２における縮小画像作成処理の詳細な処理手順の一例を示すフローチャートである。以下に示す図９のフローチャートにおける処理では、処理対象画像データの左上の画素から、まず横方向に、次に縦方向といった順序で処理を行う場合について説明する。ここでは、輝度画像データ（元画像データ）の画像サイズを横Ｗ画素×縦Ｈ画素、縮小率を１／Ｎとする。
【００９７】
以下に示すステップＳ２０１〜ステップＳ２０６では、出力対象の画素に対応する元画像データの縦横の画素数を求める処理が行われる。
【００９８】
まず、ステップＳ２０１において、ＣＰＵ１１（図１に示す縮小部１１０）は、処理対象の画素が上下の端部領域の画素であるか否かを判断する。
【００９９】
ステップＳ２０１の判断の結果、処理対象の画素が上下の端部領域の画素でない場合には、ステップＳ２０２に進む。ステップＳ２０２に進むと、ＣＰＵ１１（図１に示す縮小部１１０）は、固定縦画素数としてＮを設定する。
【０１００】
一方、ステップＳ２０１の判断の結果、処理対象の画素が上下の端部領域の画素である場合には、ステップＳ２０３に進む。ステップＳ２０３に進むと、ＣＰＵ１１（図１に示す縮小部１１０）は、端数縦画素数を計算して設定する。具体的に、処理対象の画素が上下の端部領域の画素である場合の端数縦画素数の計算式は、以下の通りである。
ＲＯＵＮＤ（（ＭＯＤ（Ｈ，Ｎ）＋Ｎ）／２）
ここで、ＭＯＤ（Ｘ，Ｙ）は、ＸをＹで割った時の剰余を示し、ＲＯＵＮＤ（Ｘ）は、Ｘの小数点以下を丸める計算を示し、上端部領域の画素では切捨て、下端部領域の画素では切り上げとする。この計算により、上下の端部領域の端数画素数は、ほぼ均等（割り切れない時は下端を１行多くする）となる。
【０１０１】
ステップＳ２０２の処理が終了した場合、或いは、ステップＳ２０３の処理が終了した場合には、ステップＳ２０４に進む。
【０１０２】
ステップＳ２０４に進むと、ＣＰＵ１１（図１に示す縮小部１１０）は、処理対象の画素が左右の端部領域の画素であるか否かを判断する。
【０１０３】
ステップＳ２０４の判断の結果、処理対象の画素が左右の端部領域の画素でない場合には、ステップＳ２０５に進む。ステップＳ２０５に進むと、ＣＰＵ１１（図１に示す縮小部１１０）は、固定横画素数としてＮを設定する。
【０１０４】
一方、ステップＳ２０４の判断の結果、処理対象の画素が左右の端部領域の画素である場合には、ステップＳ２０６に進む。ステップＳ２０６に進むと、ＣＰＵ１１（図１に示す縮小部１１０）は、端数横画素数を計算して設定する。具体的に、処理対象の画素が左右の端部領域の画素である場合の端数横画素数の計算式は、以下の通りである。
ＲＯＵＮＤ（（ＭＯＤ（Ｗ，Ｎ）＋Ｎ）／２）
ここで、ＭＯＤ（Ｘ，Ｙ）は、ＸをＹで割った時の剰余を示し、ＲＯＵＮＤ（Ｘ）は、Ｘの小数点以下を丸める計算を示し、左端部領域の画素では切捨て、右端部領域の画素では切り上げとする。この計算により、左右の端部領域の端数画素数は、ほぼ均等（割り切れない時は右端を１画素多くする）となる。
【０１０５】
ステップＳ２０５の処理が終了した場合、或いは、ステップＳ２０６の処理が終了した場合には、ステップＳ２０７に進む。
【０１０６】
ステップＳ２０７に進むと、ＣＰＵ１１（図１に示す縮小部１１０）は、ステップＳ２０１〜ステップＳ２０６で設定した縦画素数及び横画素数の数だけ、入力された元画像データにおける画素の画像データ（画素値）を積算する処理を行う。
【０１０７】
続いて、ステップＳ２０８において、ＣＰＵ１１（図１に示す縮小部１１０）は、ステップＳ２０７の積算処理が終了したか否かを判断する。この判断の結果、ステップＳ２０７の積算処理が終了していない場合には、ステップＳ２０７に戻る。
【０１０８】
一方、ステップＳ２０８の判断の結果、ステップＳ２０７の積算処理が終了した場合には、ステップＳ２０９に進む。ステップＳ２０９に進むと、ＣＰＵ１１（図１に示す縮小部１１０）は、ステップＳ２０７の積算処理で得られた積算値を、ステップＳ２０１〜ステップＳ２０６で設定した縦画素数及び横画素数で割って平均値を算出し、これを平均画素値とする。
【０１０９】
続いて、ステップＳ２１０において、ＣＰＵ１１（図１に示す縮小部１１０）は、右端の画素の処理が終了したか否かを判断する。この判断の結果、右端の画素の処理が終了していない場合には、ステップＳ２０４に戻る。
【０１１０】
一方、ステップＳ２１０の判断の結果、右端の画素の処理が終了した場合には、ステップＳ２１１に進む。
【０１１１】
ステップＳ２１１に進むと、ＣＰＵ１１（図１に示す縮小部１１０）は、下端の画素の処理が終了したか否かを判断する。この判断の結果、下端の画素の処理が終了していない場合には、ステップＳ２０１に戻る。一方、ステップＳ２１１の判断の結果、下端の画素の処理が終了した場合には、図９に示すフローチャートの処理を終了する。
【０１１２】
図９に示す処理では、ステップＳ２０３、Ｓ２０６において縮小処理に係る縮小率に満たない端部領域における画素の端数を設定し、その後、ステップＳ２０７及びＳ２０９の処理を行うことにより、当該端部領域の縮小処理等を行うことができる。
【０１１３】
次に、図８のステップＳ１０５の詳細な処理について説明する。
図１０は、図８のステップＳ１０５における拡大画像作成処理の詳細な処理手順の一例を示すフローチャートである。
【０１１４】
まず、ステップＳ３０１において、ＣＰＵ１１（図１に示す拡大部１４０）は、入力されたローパスフィルタ処理後の縮小画像データを線形補間処理によって拡大する拡大処理を行う。ここでの線形補間処理は、拡大率をＮとすると、入力された縮小画像データの画素２点間を、１：２Ｎ−１、３：２Ｎ−３、…、２Ｎ−１：１のＮ個の画素を計算する処理となる。
【０１１５】
続いて、ステップＳ３０２において、ＣＰＵ１１（図１に示す拡大部１４０）は、ステップＳ３０１の線形補間処理で得られた拡大画像データの横サイズと、例えば画像サイズ設定信号１９２に基づき設定される目標の横サイズとを比較する。
【０１１６】
ステップＳ３０２の比較の結果、ステップＳ３０１の線形補間処理で得られた拡大画像データの横サイズが目標の横サイズよりも大きい場合には、ステップＳ３０３に進む。ステップＳ３０３に進むと、ＣＰＵ１１（図１に示す拡大部１４０）は、目標の横サイズに基づいて、ステップＳ３０１の線形補間処理で得られた拡大画像データの左右の画素の切り捨て処理を行って横幅の調整を行う。この際、左右の画素の切り捨て画素数は、２で割り切れる場合は均等に切り捨てを行い、２で割り切れない場合は右端を１列多く切り捨てる。
【０１１７】
また、ステップＳ３０２の比較の結果、ステップＳ３０１の線形補間処理で得られた拡大画像データの横サイズが目標の横サイズよりも小さい場合には、ステップＳ３０４に進む。ステップＳ３０４に進むと、ＣＰＵ１１（図１に示す拡大部１４０）は、目標の横サイズに基づいて、ステップＳ３０１の線形補間処理で得られた拡大画像データに対して左右の画素の補間処理を行って横幅の調整を行う。この際、左右の補間画素数は、２で割り切れる場合は均等に補間を行い、２で割り切れない場合は左端に１列多く補間する。また補間方法としては、左右端の画素の画素データのコピーによる補間、外挿線形補間、端点を境目として線対称にコピーする折り返し補間等の方式で行う。
【０１１８】
ステップＳ３０３又はステップＳ３０４の処理が終了した場合、或いは、ステップＳ３０２で拡大画像データの横サイズが目標の横サイズに一致したと判断された場合には、ステップＳ３０５に進む。
【０１１９】
ステップＳ３０５に進むと、ＣＰＵ１１（図１に示す拡大部１４０）は、ステップＳ３０１の線形補間処理で得られた拡大画像データの縦サイズと、例えば画像サイズ設定信号１９２に基づき設定される目標の縦サイズとを比較する。
【０１２０】
ステップＳ３０５の比較の結果、ステップＳ３０１の線形補間処理で得られた拡大画像データの縦サイズが目標の縦サイズよりも大きい場合には、ステップＳ３０６に進む。ステップＳ３０６に進むと、ＣＰＵ１１（図１に示す拡大部１４０）は、目標の縦サイズに基づいて、ステップＳ３０１の線形補間処理で得られた拡大画像データの上下の画素の切り捨て処理を行って縦幅の調整を行う。この際、上下の画素の切り捨て画素数は、２で割り切れる場合は均等に切り捨てを行い、２で割り切れない場合は下端を１行多く切り捨てる。
【０１２１】
また、ステップＳ３０５の比較の結果、ステップＳ３０１の線形補間処理で得られた拡大画像データの縦サイズが目標の縦サイズよりも小さい場合には、ステップＳ３０７に進む。ステップＳ３０７に進むと、ＣＰＵ１１（図１に示す拡大部１４０）は、目標の縦サイズに基づいて、ステップＳ３０１の線形補間処理で得られた拡大画像データに対して上下の画素の補間処理を行って縦幅の調整を行う。この際、上下の補間画素数は、２で割り切れる場合は均等に補間を行い、２で割り切れない場合は上端に１行多く補間する。また補間方法としては、上下端の画素の画素データのコピーによる補間、外挿線形補間、端点を境目として線対称にコピーする折り返し補間等の方式で行う。
【０１２２】
ステップＳ３０６又はステップＳ３０７の処理が終了した場合、或いは、ステップＳ３０５で拡大画像データの縦サイズが目標の縦サイズに一致したと判断された場合には、図１０に示すフローチャートの処理が終了する。
【０１２３】
図１０に示す処理では、ステップＳ３０４、３０７において、拡大処理の際に拡大画像データの端部領域の足りない画素を近接する画素からの補間処理によって補う端部補間処理を行うようにしている。また、ステップＳ３０３、３０６において、拡大画像の端部領域の余剰な画素を切り捨てる端部切り捨て処理を行うようにしている。
【０１２４】
第２の実施形態によれば、デジタル覆い焼き処理を行う際に、画素の位置ずれを起こすこと無く、簡単な処理で良好な画像を得ることができる。また、縮小処理時に画素の端数が出る場合であっても、良好な画像を得ることができる。
【０１２５】
（本発明の他の実施形態）
前述した本発明の各実施形態における画像処理装置１００を構成する図１の各構成部（各手段）、並びに図８〜図１０に示す各ステップは、コンピュータＣＰＵ（１１）がＲＯＭ（１２に記憶されたプログラム（１２ａ）を実行することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
【０１２６】
また、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。
【０１２７】
尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では制御プログラム１２ａ）を、システムあるいは装置に直接、あるいは遠隔から供給するものを含む。そして、そのシステムあるいは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。
【０１２８】
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【０１２９】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
【０１３０】
プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。
【０１３１】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。
【０１３２】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【０１３３】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【０１３４】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【０１３５】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。
【０１３６】
尚、前述した各実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【図面の簡単な説明】
【０１３７】
【図１】本発明の第１の実施形態に係る画像処理装置の概略構成の一例を示す模式図である。
【図２】図１に示す縮小部の内部構成の一例を示すブロック図である。
【図３】図２に示す１／５横縮小部の内部構成の一例を示すブロック図である。
【図４】図１に示す４０倍拡大部の内部構成の一例を示すブロック図である。
【図５】図４に示す４０倍横拡大部の内部構成の一例を示すブロック図である。
【図６】本発明の第１の実施形態に係る画像処理装置において行われる画像の縮小処理及び拡大処理の一例を示す模式図である。
【図７】本発明の第２の実施形態に係るデジタルカメラ装置（画像処理システム）の概略構成の一例を示す模式図である。
【図８】本発明の第２の実施形態に係るデジタルカメラ装置（画像処理システム）による画像処理方法の処理手順の一例を示すフローチャートである。
【図９】図８のステップＳ１０２における縮小画像作成処理の詳細な処理手順の一例を示すフローチャートである。
【図１０】図８のステップＳ１０５における拡大画像作成処理の詳細な処理手順の一例を示すフローチャートである。
【図１１】一般的な画像の縮小処理及び拡大処理の一例を示す模式図である。
【符号の説明】
【０１３８】
１００  画像処理装置
１０１  輝度抽出部
１１０  縮小部
１１１  １／２縮小部
１１２  １／４縮小部
１１３  １／５縮小部
１２１〜１２３  ＬＰＦ（ローパスフィルタ）
１３０〜１３３  バッファ
１４０  拡大部
１４１  ２倍拡大部
１４２  ８倍拡大部
１４３  ４０倍拡大部
１５１〜１５３  補正係数算出部
１６０  補正処理部
１７０  制御部
１７１  端数縮小制御部
１７２  端部補間制御部
１７３  端部切り捨て制御部
１７４  タイミング制御部
【図１】
2010021952.tif 000003
【図２】
2010021952.tif 000004
【図３】
2010021952.tif 000005
【図４】
2010021952.tif 000006
【図５】
2010021952.tif 000007
【図６】
2010021952.tif 000008
【図７】
2010021952.tif 000009
【図８】
2010021952.tif 000010
【図９】
2010021952.tif 000011
【図１０】
2010021952.tif 000012
【図１１】
2010021952.tif 000013