(57)【要約】【課題】  カラー領域とモノクロ領域とが混在する画像を、より少ない枚数の画像で高解像度化できるようにする。【解決手段】  基準画像を拡大した後、基準画像の有彩色の領域に対する高解像度化処理を、基準画像の領域の全体に対して行うと共に、基準画像の無彩色の領域に対する高解像度化処理を、基準画像の領域の全体に対して行う。そして、基準画像の有彩色の領域に対する高解像度化処理を基準画像の領域の全体に対して行うことにより得た高解像度画像と、基準画像の無彩色の領域に対する高解像度化処理を基準画像の領域の全体に対して行うことにより得た高解像度画像とを合成する。【選択図】  図１
2014039105.tif 000002
【特許請求の範囲】
【請求項１】
複数色の色フィルタを有する撮像素子により、相互に撮影位置がずれた複数の画像を撮影する撮影手段と、
前記撮影手段により撮影された複数の画像のうち、基準となる基準画像の彩度を検出する彩度検出手段と、
前記撮影手段により撮影された複数の画像のうち、前記基準画像と異なる画像である比較画像を用いて前記基準画像を高解像度化した高解像度画像を生成する高解像度画像生成手段と、を有し、
前記高解像度画像生成手段は、
前記基準画像の領域のうち、少なくとも、前記彩度検出手段により検出された彩度に基づいて有彩色と判定した領域については、前記基準画像の当該有彩色の画素と前記比較画像の当該有彩色の画素とに基づく有彩色用の高解像度処理を行って、前記高解像度画像を生成し、
前記基準画像の領域のうち、少なくとも、前記彩度検出手段により検出された彩度に基づいて無彩色と判定した領域については、前記基準画像の当該無彩色の画素と前記比較画像の前記複数色の全ての画素とに基づく無彩色用の高解像度処理を行って、前記高解像度画像を生成することを特徴とする画像処理装置。
【請求項２】
前記撮影手段により撮影された画像に対して、ホワイトバランス処理を行うホワイトバランス処理手段を更に有し
前記彩度検出手段は、前記ホワイトバランス処理手段によりホワイトバランス処理が行われた前記基準画像の彩度を検出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記撮影手段により撮影された画像の着目画素の画素値と、当該着目画素の周囲の画素の画素値との関係に基づいて、当該着目画素の画素値を求めることにより、前記撮影手段により撮影された画像に対して、偽色の発生を低減しながら同時化処理を行う偽色低減処理手段を更に有し、
前記彩度検出手段は、前記偽色低減処理手段により同時化処理が行われた前記基準画像の彩度を検出することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記高解像度画像生成手段により生成された高解像度画像を、前記彩度検出手段により検出された彩度に基づいて合成する合成手段を更に有し、
前記高解像度画像生成手段は、前記基準画像の全ての領域について、前記有彩色用の高解像度処理を行って、前記高解像度画像を生成するとともに、前記基準画像の全ての領域について、前記無彩色用の高解像度処理を行って、前記高解像度画像を生成することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
【請求項５】
前記撮像素子の色フィルタの色毎の周波数帯域に応じて、前記撮像素子の色フィルタに対応する色の色信号のうち、相対的に高周波成分まで含む周波数帯域を有する色信号から抽出された高周波成分を、相対的に低周波成分しか含まない色信号に対して加算することで帯域補償を行う帯域補償手段を更に有し、
前記彩度検出手段は、前記帯域補償手段により帯域補償が行われた色信号を用いて、前記基準画像の彩度を検出することを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
【請求項６】
前記基準画像と前記比較画像のそれぞれに、画素値がゼロの画素であるゼロ挿入画素を挿入して、前記基準画像と前記基準画像を拡大する拡大手段を更に有し、
前記高解像度画像生成手段は、
前記基準画像の領域のうち、少なくとも、前記彩度検出手段により検出された彩度に基づいて有彩色と判定した領域については、前記基準画像に挿入されたゼロ挿入画素の画素値を、前記比較画像の画素であって、当該ゼロ挿入画素に対応する位置にある当該有彩色の画素の画素値に置き換えることにより有彩色用の高解像度処理を行って、前記高解像度画像を生成し、
前記基準画像の領域のうち、少なくとも、前記彩度検出手段により検出された彩度に基づいて無彩色と判定した領域については、前記基準画像に挿入されたゼロ挿入画素の画素値を、前記比較画像の画素であって、当該ゼロ挿入画素に対応する位置にある前記複数色の何れかの画素の画素値に置き換えることにより無彩色用の高解像度処理を行って、前記高解像度画像を生成することを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
【請求項７】
前記高解像度画像生成手段により生成された高解像度画像の領域のうち、無彩色の領域の彩度を低減させる彩度調整手段を更に有することを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
【請求項８】
前記撮像素子は、ベイヤー配列の色フィルタを有することを特徴とする請求項１〜７の何れか１項に記載の画像処理装置。
【請求項９】
複数色の色フィルタを有する撮像素子により、相互に撮影位置がずれた複数の画像を撮影する撮影工程と、
前記撮影工程により撮影された複数の画像のうち、基準となる基準画像の彩度を検出する彩度検出工程と、
前記撮影工程により撮影された複数の画像のうち、前記基準画像と異なる画像である比較画像を用いて前記基準画像を高解像度化した高解像度画像を生成する高解像度画像生成工程と、を有し、
前記高解像度画像生成工程は、
前記基準画像の領域のうち、少なくとも、前記彩度検出工程により検出された彩度に基づいて有彩色と判定した領域については、前記基準画像の当該有彩色の画素と前記比較画像の当該有彩色の画素とに基づく有彩色用の高解像度処理を行って、前記高解像度画像を生成し、
前記基準画像の領域のうち、少なくとも、前記彩度検出工程により検出された彩度に基づいて無彩色と判定した領域については、前記基準画像の当該無彩色の画素と前記比較画像の前記複数色の全ての画素とに基づく無彩色用の高解像度処理を行って、前記高解像度画像を生成することを特徴とする画像処理方法。
【請求項１０】
前記撮影工程により撮影された画像に対して、ホワイトバランス処理を行うホワイトバランス処理工程を更に有し
前記彩度検出工程は、前記ホワイトバランス処理工程によりホワイトバランス処理が行われた前記基準画像の彩度を検出することを特徴とする請求項９に記載の画像処理方法。
【請求項１１】
前記撮影工程により撮影された画像の着目画素の画素値と、当該着目画素の周囲の画素の画素値との関係に基づいて、当該着目画素の画素値を求めることにより、前記撮影工程により撮影された画像に対して、偽色の発生を低減しながら同時化処理を行う偽色低減処理工程を更に有し、
前記彩度検出工程は、前記偽色低減処理工程により同時化処理が行われた前記基準画像の彩度を検出することを特徴とする請求項９又は１０に記載の画像処理方法。
【請求項１２】
前記高解像度画像生成工程により生成された高解像度画像を、前記彩度検出工程により検出された彩度に基づいて合成する合成する合成工程を更に有し、
前記高解像度画像生成工程は、前記基準画像の全ての領域について、前記有彩色用の高解像度処理を行って、前記高解像度画像を生成するとともに、前記基準画像の全ての領域について、前記無彩色用の高解像度処理を行って、前記高解像度画像を生成することを特徴とする請求項９〜１１の何れか１項に記載の画像処理方法。
【請求項１３】
前記撮像素子の色フィルタの色毎の周波数帯域に応じて、前記撮像素子の色フィルタに対応する色の色信号のうち、相対的に高周波成分まで含む周波数帯域を有する色信号から抽出された高周波成分を、相対的に低周波成分しか含まない色信号に対して加算することで帯域補償を行う帯域補償工程を更に有し、
前記彩度検出工程は、前記帯域補償工程により帯域補償が行われた色信号を用いて、前記基準画像の彩度を検出することを特徴とする請求項９〜１２の何れか１項に記載の画像処理方法。
【請求項１４】
前記基準画像と前記比較画像のそれぞれに、画素値がゼロの画素であるゼロ挿入画素を挿入して、前記基準画像と前記基準画像を拡大する拡大工程を更に有し、
前記高解像度画像生成工程は、
前記基準画像の領域のうち、少なくとも、前記彩度検出工程により検出された彩度に基づいて有彩色と判定した領域については、前記基準画像に挿入されたゼロ挿入画素の画素値を、前記比較画像の画素であって、当該ゼロ挿入画素に対応する位置にある当該有彩色の画素の画素値に置き換えることにより有彩色用の高解像度処理を行って、前記高解像度画像を生成し、
前記基準画像の領域のうち、少なくとも、前記彩度検出工程により検出された彩度に基づいて無彩色と判定した領域については、前記基準画像に挿入されたゼロ挿入画素の画素値を、前記比較画像の画素であって、当該ゼロ挿入画素に対応する位置にある前記複数色の何れかの画素の画素値に置き換えることにより無彩色用の高解像度処理を行って、前記高解像度画像を生成することを特徴とする請求項９〜１３の何れか１項に記載の画像処理方法。
【請求項１５】
前記高解像度画像生成工程により生成された高解像度画像の領域のうち、無彩色の領域の彩度を低減させる彩度調整工程を更に有することを特徴とする請求項９〜１３の何れか１項に記載の画像処理方法。
【請求項１６】
前記撮像素子は、ベイヤー配列の色フィルタを有することを特徴とする請求項９〜１５の何れか１項に記載の画像処理方法。
【請求項１７】
請求項１〜８の何れか１項に記載の画像処理装置の各手段としてコンピュータを機能させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及びコンピュータプログラムに関し、特に、撮影された画像を高解像度化するために用いて好適なものである。
【背景技術】
【０００２】
従来より、撮影された画像に対して高解像処理を行う方法が提案されている。
特許文献１では、カラー画像を撮影可能な撮像素子を有する撮像装置において、カラー画像の生成方法とモノクロ画像の生成方法とを切り替える撮像装置が開示されている。この撮像装置では、高解像度の必要な白黒ドキュメントを撮像する際は高解像度のモノクロ画像とし、それほど解像度を必要としない自然物を撮像する際は標準解像度のカラー画像として、必要に応じた解像度の画像を得るようにしている。
特許文献２では、複数の撮像画像の画素を１／２画素ピッチでずらす場合、モノクロ画像を取得する時間は、１６枚の撮像時間と演算時間とを加算した処理時間となり、カラー撮像素子で高解像度のモノクロ画像を生成するには時間がかかることを提示している。そこで、特許文献２では、カラーフィルタの配列がベイヤー配列のときは、解像度の高いＧ画素のみからモノクロ画像を作ることで処理時間を短縮するよう方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−２５２５７４号公報
【特許文献２】特開２００２−１５９０１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、前述の特許文献１に開示された技術では、カラー画像及びモノクロ画像の何れであるのかを撮影画像毎に判定し、カラー画像とモノクロ画像の生成方法を切り替える。このため、カラー領域とモノクロ領域とが混在する画像において、両領域を高解像度化することが考慮されていない。
また、前述の特許文献２に開示された技術においても、カラー領域とモノクロ領域とが混在する画像において、両領域を高解像度化することが考慮されていない。また、特許文献２に開示された技術では、Ｇ画素のみからモノクロ画像を生成するため、モノクロの色フィルタを有する撮像素子よりも低解像度の画像しか生成できない。
本発明は、以上の課題に鑑みてなされたものであり、カラー領域とモノクロ領域とが混在する画像を、より少ない枚数の画像で高解像度化できるようにすることを目的とする。
【課題を解決するための手段】
【０００５】
本発明の画像処理装置は、複数色の色フィルタを有する撮像素子により、相互に撮影位置がずれた複数の画像を撮影する撮影手段と、前記撮影手段により撮影された複数の画像のうち、基準となる基準画像の彩度を検出する彩度検出手段と、前記撮影手段により撮影された複数の画像のうち、前記基準画像と異なる画像である比較画像を用いて前記基準画像を高解像度化した高解像度画像を生成する高解像度画像生成手段と、を有し、前記高解像度画像生成手段は、前記基準画像の領域のうち、少なくとも、前記彩度検出手段により検出された彩度に基づいて有彩色と判定した領域については、前記基準画像の当該有彩色の画素と前記比較画像の当該有彩色の画素とに基づく有彩色用の高解像度処理を行って、前記高解像度画像を生成し、前記基準画像の領域のうち、少なくとも、前記彩度検出手段により検出された彩度に基づいて無彩色と判定した領域については、前記基準画像の当該無彩色の画素と前記比較画像の前記複数色の全ての画素とに基づく無彩色用の高解像度処理を行って、前記高解像度画像を生成することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、有彩色と判定した領域と無彩色と判定した領域とで高解像度処理を切り替えるので、カラー領域とモノクロ領域とが混在する画像を、より少ない枚数の画像で高解像度化することができる。
【図面の簡単な説明】
【０００７】
【図１】画像処理装置の概略構成を示す図である。
【図２】第１の実施形態の画像処理装置の動作を説明するフローチャートである。
【図３】撮像素子により得られた画像信号を示す図である。
【図４】ホワイトバランス処理を説明する図である。
【図５】色毎に分離した画像信号を示す図である。
【図６】ホワイトバランス処理を行った後の画像信号を示す図である。
【図７】偽色低減処理と同時化処理を行うことにより得られた画像を示す図である。
【図８】画素信号の周波数特性を示す図である。
【図９】Ｇ画素信号の高周波成分の周波数特性を示す図である。
【図１０】帯域補償されたＲ、Ｂ画素信号の周波数特性の一例を示す図である。
【図１１】Ｒ、Ｇ、Ｂ画素信号の画像を２倍に拡大した画像を示す図である。
【図１２】拡大処理が行われた後の基準画像に対して、拡大処理が行われた後の当該基準画像と同じ色の比較画像の位置合わせを行う様子を示す図である。
【図１３】有彩色の領域に対する高解像度化処理が行われた画像を示す図である。
【図１４】拡大処理が行われた後の基準画像に対して、拡大処理が行われた後の全ての色の比較画像の位置合わせを行う様子を示す図である。
【図１５】無彩色の領域に対する高解像度化処理が行われた画像を示す図である。
【図１６】基準画像の有彩色の領域に対する高解像度化処理の結果を示す図である。
【図１７】基準画像の無彩色と判定した領域に対する高解像度化処理の結果を示す図である。
【図１８】合成部の構成の一例を示す図である。
【図１９】第２の実施形態の画像処理装置の動作を説明するフローチャートである。
【発明を実施するための形態】
【０００８】
以下、図面を参照しながら、本発明の実施形態を説明する。
（第１の実施形態）
まず、本実施形態の第１の実施形態について説明する。
図１は、画像処理装置の概略構成の一例を示すブロック図である。
以下、図１を参照して、画像処理装置１００の各部が有する機能の概要を説明する。
撮像レンズ１０は、撮影像を光学的に撮像素子１２上に結像させる。
撮像素子１２は、結像された撮影像をアナログの電気信号に変換する。また、撮像素子１２は複数色の色フィルタを有する。本実施形態では、撮像素子１２は、ベイヤー配列の色フィルタを有する。
Ａ／Ｄ変換器１４は、撮像素子１２から出力されるアナログ信号をデジタル信号に変換する。
【０００９】
レンズ駆動部１６は、撮像レンズ１０を、水平方向及び垂直方向にシフト駆動させる。
メモリ１８は、撮影した画像データを一時的に格納するための揮発性のメモリである。
制御部２０は、Ａ／Ｄ変換器１４、メモリ１８、位置ズレ検出部２２、位置ズレ補正部２４、彩度検出部２６、高解像度画像生成部２８、合成部３０の間のデータの流れの制御と、レンズ駆動部１６の制御等を行う。
【００１０】
位置ズレ検出部２２は、撮影された２枚の画像を入力として、一方の画像（基準画像）を位置の基準として、他方の画像（比較画像）の位置ズレ量を検出する。
位置ズレ補正部２４は、位置ズレ検出部２２で検出された位置ズレ量に基づいて、位置合わせの基準とした一方の画像（基準画像）に対して、他方の画像（比較画像）の位置ズレを補正した画像を出力する。
彩度検出部２６は、画像の画素毎の彩度を検出する。
高解像度画像生成部２８は、入力された複数枚の画像から、より高解像度の画像を生成する。このとき、高解像度画像生成部２８は、彩度検出部２６により検出された彩度に基づいて、有彩色と判定された領域と、無彩色と判定された領域とで、高解像度化処理の内容を切り替える。
【００１１】
合成部３０は、高解像度画像生成部２８によって、有彩色と判定された領域に対応した高解像度化処理が行われた画像と、無彩色と判定された領域に対応した高解像度化処理が行われた画像を、彩度検出部２６で検出された彩度に基づいて合成する。
ホワイトバランス処理部３２は、撮影された画像に対して光源に合わせたホワイトバランス処理を行う。
偽色低減処理部３４は、撮影された画像に対して、偽色の発生を抑えながら同時化処理を行う。
帯域補償部３６は、撮像素子１２の色毎の周波数特性を合わせる処理を行う。
拡大部３８は、撮影された画像に対してゼロ挿入することによって、当該撮影された画像を拡大する。
【００１２】
次に、図２のフローチャートを参照しながら、高解像度化処理を行う際の画像処理装置１００の動作の一例を説明する。
まず、ステップＳ２０１において、画像処理装置１００（撮像素子１２、Ａ／Ｄ変換器１４、レンズ駆動部１６）は、撮影位置をずらして複数枚の画像を撮影する。図３は、撮像素子１２により得られた画像信号の一例を示す図である。
複数枚の画像の相互の撮影位置をずらす方法として、画像処理装置１００を撮影者が手で持って撮影することで自然に撮影位置をずらす（位置ズレを発生させる）方法がある。また、レンズ駆動部１６を用いて撮像レンズ１０を駆動することで人工的に撮影位置をずらす方法がある。また、両者を組み合わせて撮影位置をずらす方法もある。これらの何れの方法を利用してもよい。
【００１３】
次に、ステップＳ２０２において、ホワイトバランス処理部３２は、撮影した画像に対してホワイトバランス処理を行う。
ホワイトバランス処理は、光源の種類によらず白い色が人間の目に白く見えるように、色のバランスを調整する処理である。
本実施形態では、水平方向と垂直方向のそれぞれにおいて、所定の数の分割領域に画面を分割し、これら分割領域毎に白領域であるか否かを判定し、白領域と判定された分割領域についてホワイトバランス係数を求めることでホワイトバランス処理を行う。
【００１４】
具体例を説明すると、まず、ホワイトバランス処理部３２は、Ｒ画素、Ｇ画素、Ｂ画素毎に画素値を積分し、積分結果をメモリ１８に書きこむことを、分割領域毎に行う。
次に、ホワイトバランス処理部３２は、メモリ１８に記録された積分結果を用いて、分割領域毎に白判定を行う。ここでは、ホワイトバランス処理部３２は、以下の式（１）、式（２）の値が所定の範囲内に収まる場合に、処理対象の分割領域を白領域であると判断する。
（Ｒ−Ｙ）/Ｙ＋（Ｂ−Ｙ）/Ｙ  ・・・（１）
（Ｒ−Ｙ）/Ｙ−（Ｂ−Ｙ）/Ｙ  ・・・（２）
式（１）、式（２）におけるＹは、以下の（３）式で表される。
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ  ・・・（３）
式（３）において、Ｒ，Ｇ，Ｂは、分割領域内でＲ画素、Ｇ画素、Ｂ画素を積分した値を平均した値とする。
【００１５】
図４は、ホワイトバランス処理の一例を説明する図である。
式（１）の値が所定の範囲内に収まる領域とは、図４において、境界線４０２と境界線４０３とに挟まれた領域を指す。式（２）が所定の範囲内の収まる領域とは境界線４０４と境界線４０５とに挟まれた領域を指す。境界線４０２〜４０５によって囲まれる領域は、白色温度変化軌線４０１を内部に含む。
ホワイトバランス処理部３２は、処理対象の分割領域が白領域であると判定した場合には、その分割領域の画素値を積分すると無彩色になると仮定して、色差信号Ｒ−Ｙ，Ｂ−Ｙがゼロになるように、当該分割領域のホワイトバランス係数を求める。ホワイトバランス係数としてＲゲイン、Ｂゲインはそれぞれ以下の式（４）、式（５）で求められる。
[Ｒゲイン]＝Ｙ／（Ｙ＋ｄ１）  ・・・（４）
[Ｂゲイン]＝Ｙ／（Ｙ＋ｄ２）  ・・・（５）
式（４）におけるｄ１は、以下の式（６）で表され、式（５）におけるｄ２は、以下の式（７）で表される。
ｄ１＝Ｒ−Ｙ  ・・・（６）
ｄ２＝Ｂ−Ｙ  ・・・（７）
一方、処理対象の分割領域が白領域であると判定しなかった場合、ホワイトバランス処理部３２は、当該分割領域に対しては、ホワイトバランス係数を求める処理は行わない。
ホワイトバランス処理部３２は、分割領域毎に求めたホワイトバランス係数の平均を求め、画面全体のホワイトバランス係数（Ｒゲイン、Ｂゲイン）を計算する。ホワイトバランス処理部３２は、計算したＲゲイン、ＢゲインをＲ画素値、Ｂ画素値に掛け合わせ、ホワイトバランスの色補正を行ったＲ画素値Ｒ'とＢ画素値Ｂ'を求める。以後の信号処理では、この信号値が用いられる。
尚、ホワイトバランス処理の方法については、以上の方法に限定されるわけではない。
【００１６】
次に、ステップＳ２０３において、偽色低減処理部３４は、ホワイトバランス処理が施された画像に対して偽色低減処理を行う。
後述するステップで、彩度検出部２６により、画素（ＲＧＢ信号）の画素値を用いて彩度を画素毎に検出するために、ステップＳ２０３において、偽色低減処理部３４は、同時化処理（各画素についてＲ／Ｇ／Ｂの３色分の信号を生成する処理）を行う。しかし、同時化処理は、着目画素を、その周囲の同色画素を用いて補間する処理であるため、本来存在しない色、つまり偽色が発生する場合がある。偽色が発生している画素に対して彩度の検出を行うと、彩度の検出精度が下がる。そこで、本実施形態では、ステップＳ２０３において、偽色低減処理部３４は、偽色低減処理を行う。
偽色低減処理の方法として、例えば特開２００１−１０１３９８号公報に記載されている以下の方法を用いることができる。
【００１７】
図５は、撮像素子１２により得られた画像信号を色毎に分離した画像信号を示す図である。図５（ａ）、図５（ｂ）、図５（ｃ）は、それぞれ、Ｒ、Ｇ、Ｂ画素信号を示す図である。図６は、ステップＳ２０２でホワイトバランス処理を行った後のベイヤー配列の画像信号を示す図である。図７は、図６に示す画像に対して偽色低減処理を行いながら同時化処理を行うことにより得られた画像を示す図である。図７（ａ）、図７（ｂ）、図７（ｃ）は、それぞれ、Ｒ、Ｇ、Ｂ画素信号を示す図である。図７に示す画像の生成方法の一例を、特に図７（ａ）に示すＲ１０画素が着目画素である場合を例に説明する。
【００１８】
まず、偽色低減処理部３４は、Ｒ１０画素を中心にして、垂直方向の相関度と水平方向の相関度を比較する。垂直方向の相関度の方が水平方向の相関度よりも高い場合は、以下の前提に基づき、Ｒ１０画素の画素値（Ｒ画素信号の値）を求める。すなわち、画像の局所的な領域におけるＲ画素信号とＧ画素信号との差は等しいという前提（Ｒ１０−Ｇ１０＝Ｒ０９−Ｇ０９という関係が成立するという前提）に基づき、Ｒ１０画素の画素値（Ｒ画素信号の値）を求める。具体的に、偽色低減処理部３４は、Ｒ１０＝Ｇ１０＋（Ｒ０９−Ｇ０９）の演算により、Ｒ１０画素の画素値を求める。
一方、水平方向の相関度の方が垂直方向の相関度より高い場合、偽色低減処理部３４は、Ｒ１０＝（Ｒ０９＋Ｒ１１）／２の演算により、Ｒ１０画素の画素値を求める。
また、偽色低減処理部３４は、Ｇ０９画素の画素値（Ｇ画素信号の値）を、Ｇ０９＝（Ｇ０５＋Ｇ１３）／２の演算により求める。
偽色低減処理部３４は、このような処理を行い、偽色の発生を低減させながら同時化した画像を生成する。
【００１９】
次に、ステップＳ２０４において、帯域補償部３６は、撮像素子１２の色毎の周波数特性を合わせるために、色毎に帯域補償処理を行う。
図８は、画素信号の周波数特性の一例を示す図である。図８（ａ）は、Ｒ画素信号、Ｂ画素信号の周波数特性の一例を示す図であり、図８（ｂ）は、Ｇ画素信号の周波数特性の一例を示す図である。本実施形態の撮像素子１２の色フィルタの配列はベイヤー配列である。したがって、Ｇ画素信号の周波数帯域は、Ｒ画素信号及びＢ画素信号の周波数帯域に比べて、相対的により高周波帯域の領域まで含む。
【００２０】
図８に示す通り、Ｇ画素信号と、Ｒ画素信号及びＢ画素信号とで周波数特性が異なる。このため、後述する彩度検出部２６において、高周波信号を含む無彩色の領域における彩度の検出精度が低下する可能性がある。つまり、Ｇ画素信号に対しては、高周波信号としてサンプリングできるが、Ｒ画素信号、Ｂ画素信号に対しては、折り返りにより低周波信号としてサンプリングしてしまう。このため、本来は無彩色の領域であるのにも関わらず、Ｇ画素信号と、Ｒ画素信号及びＢ画素信号との信号値の差が大きくなり、当該無彩色の領域を、有彩色の領域であると誤判定ししまう可能性がある。
そこで、帯域補償を行うために帯域補償部３６は、まず、Ｇ画素信号に対してハイパスフィルタを掛けて高周波成分を抽出する。図９は、このようにハイパスフィルタを掛けることにより抽出された、Ｇ画素信号の高周波成分の周波数特性の一例を示す図である。
【００２１】
次に、帯域補償部３６は、抽出したＧ画素信号の高周波成分を、Ｒ画素信号とＢ画素信号にそれぞれ足しこむことで、Ｒ画素信号とＢ画素信号の周波数帯域（高周波成分）を補償する。図１０は、帯域補償されたＲ画素信号とＢ画素信号の周波数特性の一例を示す図である。
本実施形態では、撮像素子１２のカラーフィルタがベイヤー配列であるとしているので、ベイヤー配列に対する帯域補償処理を例に挙げて説明した。しかしながら、ベイヤー配列以外の色フィルタを持つ撮像素子１２においても、相対的により高周波成分を含む色信号から抽出した高周波成分を、相対的により低周波成分しか含まない色信号に足しこむ（加算する）ことで帯域補償処理を行うことができる。
【００２２】
次に、ステップＳ２０５において、位置ズレ補正部２４は、処理対象の画像が、位置合わせの基準とする画像であるか否かを判定する。撮影した画像の中から任意の１枚を、位置合わせの基準とする画像として選択することが可能である。本実施形態では、１枚目の画像を基準画像とし、２枚目以降の画像を基準画像の位置に合わせるものとする。尚、以下の説明では、位置合わせの基準とする画像を、必要に応じて基準画像と称し、基準画像以外の画像を比較画像と称する。
この判定の結果、処理対象の画像が基準画像である場合には、位置ズレを検出する必要がないので、ステップＳ２０６を省略して後述するステップＳ２０７に進む。
【００２３】
一方、処理対象の画像が基準画像でない場合には、ステップＳ２０６に進み、位置ズレ補正部２４は、撮影した画像間の位置ズレを検出する。
本実施形態では、位置合わせの方法として、例えば、特願２０１１−９９９５５号明細書に記載されている以下の方法を用いる。
位置ズレ補正部２４は、位置合わせの基準画像と、位置合わせをする比較画像とを、複数の小領域にそれぞれ分割し、前記小領域毎に、基準画像と比較画像との間のズレ量を求める。例えば、位置ズレ補正部２４は、基準画像の小領域を比較画像の小領域内で移動させながら相関値を求め、基準画像の小領域の（初期）位置から、相関値が最も小さい位置までの動きベクトルを、その小領域のズレ量とすることにより、ズレ量を算出できる。相関値としては、例えば、差分絶対値和（ＳＡＤ）等が使用される。
【００２４】
次に、位置ズレ補正部２４は、検出した各小領域におけるズレ量を基に、被写体像の変形を示すアフィン変換のパラメータを算出する。位置ズレ補正部２４は、算出したアフィンパラメータに基づいて、比較画像にアフィン変換を施す。アフィン変換によって、比較画像は、基準画像と重なるような形に位置合わせされる。
ただし、２枚の画像の位置合わせの方法は、この方法に限定されるわけではない。
【００２５】
次に、ステップＳ２０７において、彩度検出部２６は、処理対象の画像が基準画像であるか否かを判定する。この判定の結果、処理対象の画像が基準画像でない場合には、ステップＳ２０８を省略して後述するステップＳ２０９に進む。
一方、処理対象の画像が基準画像である場合には、ステップＳ２０８に進む。
ステップＳ２０８に進むと、彩度検出部２６は、基準画像の彩度を検出する。本実施形態では、彩度検出部２６は、以下の式（８）により、基準画像の彩度を画素毎に算出する。
彩度Ｓ＝（Ｍ−ｍ）÷Ｍ  （Ｍ≠０かつｍ≠０）  ・・・（８）
ただし、Ｍ＝０かつｍ＝０の場合は、彩度Ｓ＝０とする。
式（８）において、Ｍは、Ｒ画素信号、Ｂ画素信号、Ｇ画素信号の最大値、ｍは、Ｒ画素信号、Ｂ画素信号、Ｇ画素信号の最小値とする。
彩度検出部２６は、このようにして検出した画素毎の彩度を、彩度画像としてメモリ１８に記録する。
【００２６】
次に、ステップＳ２０９において、拡大部３８は、高解像度画像を生成するために、撮影した画像に対して拡大処理を行う。
本実施形態では、水平方向と垂直方向においてそれぞれ２倍の解像度の画像を生成するために、拡大部３８は、水平方向及び垂直方向のそれぞれにおいて、画素値がゼロの画素を挿入（ゼロ挿入）して、撮影した画像を２倍に拡大する。
図１１は、Ｒ画素信号、Ｇ画素信号、Ｂ画素信号の画像を２倍に拡大した画像を示す図である。具体的に、図１１（ａ）は、Ｒ画素信号の画像を２倍に拡大した画像を示す図であり、図１１（ｂ）は、Ｇ画素信号の画像を２倍に拡大した画像を示す図であり、図１１（ｃ）は、Ｂ画素信号の画像を２倍に拡大した画像を示す図である。
【００２７】
図１１において、Ｒ、Ｇ、Ｂの文字が記載されていない画素は、ゼロ挿入された画素である。尚、ステップＳ２０３で画像信号を同時化しているが、ステップＳ２０９の拡大処理は、同時化前の画像信号に対して行われる。
拡大部３８は、メモリ１８に記録した彩度画像も、水平方向及び垂直方向のそれぞれにおいて２倍に拡大して、メモリ１８に再度記録する。本実施形態では、拡大処理をバイリニア処理で行うものとする。ただし、拡大処理はバイリニア処理に限定されることなく、バイキュービック処理を拡大処理として採用してもよい。
尚、以下の説明では、ゼロ挿入した画素を、必要に応じてゼロ挿入画素と称する。
【００２８】
図１２は、拡大処理が行われた後の基準画像に対して、拡大処理が行われた後の当該基準画像と同じ色の比較画像の位置合わせを行う様子の一例を示す図である。具体的に、図１２（ａ）は、拡大処理が行われた後のＲ画素信号の基準画像に対して、拡大処理が行われた後のＲ画素信号の比較画像の位置合わせを行う様子の一例を示す図である。また、図１２（ｂ）は、拡大処理が行われた後のＧ画素信号の基準画像に対して、拡大処理が行われた後のＧ画素信号の比較画像の位置合わせを行う様子の一例を示す図である。また、図１２（ｃ）は、拡大処理が行われた後のＢ画素信号の基準画像に対して、拡大処理が行われた後のＢ画素信号の比較画像の位置合わせを行う様子の一例を示す図である。
図１２（ａ）において、画像１２０１は、撮影された１枚目の画像（基準画像）のＲ画素信号に対し、水平方向及び垂直方向のそれぞれにおいてゼロ挿入して、撮影された１枚目の画像（基準画像）の解像度を２倍に拡大した画像である。画像１２０２は、撮影された２枚目の画像（比較画像）のＲ画素信号に対し、水平方向及び垂直方向のそれぞれにおいてゼロ挿入して、撮影された２枚目の画像（比較画像）の解像度を２倍に拡大した画像である。
【００２９】
矢印線１２０３は、位置ズレ検出部２２により前述した方法で検出した、１枚目の画像に対する２枚目の画像の位置ズレの量と方向を表している。位置ズレ補正部２４は、この位置ズレの量と方向に基づいて、撮影された２枚目の画像を、画像１２０１の位置に移動して画像間の位置ズレを補正する。図１２（ａ）に示す例では、２倍に解像度を拡大した画像において、水平方向に２画素、垂直方向に１画素ずれているので、拡大前の画像では、水平方向に１画素、垂直方向に０．５画素、位置がずれていることを示している。
【００３０】
図１２（ｂ）において、画像１２１１は、撮影された１枚目の画像（基準画像）のＧ画素信号に対して、水平方向及び垂直方向のそれぞれにおいてゼロ挿入して、撮影された１枚目の画像（基準画像）の解像度を２倍に拡大した画像である。画像１２１２は、撮影された２枚目の画像（比較画像）のＧ画素信号に対して、水平方向及び垂直方向のそれぞれにおいてゼロ挿入して、撮影された２枚目の画像（比較画像）の解像度を２倍に拡大した画像である。
矢印線１２１３は、位置ズレ検出部２２により前述した方法で検出した、１枚目の画像に対する２枚目の画像の位置ズレの量と方向を表している。位置ズレ補正部２４は、この位置ズレの量と方向に基づいて、撮影された２枚目の画像を、画像１２１１の位置に移動して画像間の位置ズレを補正する。図１２（ｂ）に示す例では、２倍に解像度を拡大した画像において、水平方向に２画素、垂直方向に１画素ずれているので、拡大前の画像では、水平方向に１画素、垂直方向に０．５画素、位置がずれていることを示している。
【００３１】
図１２（ｃ）において、画像１２２１は、撮影された１枚目の画像（基準画像）のＢ画素信号に対して、水平方向及び垂直方向のそれぞれにおいてゼロ挿入して、撮影された１枚目の画像（基準画像）の解像度を２倍に拡大した画像である。画像１２２２は、撮影された２枚目の画像（比較画像）のＢ画素信号に対して、水平方向及び垂直方向のそれぞれにおいてゼロ挿入して、撮影された２枚目の画像（比較画像）の解像度を２倍に拡大した画像である。
矢印線１２２３は、位置ズレ検出部２２により前述した方法で検出した、１枚目の画像に対する２枚目の画像の位置ズレの量と方向を表している。位置ズレ補正部２４は、この位置ズレの量と方向に基づいて、撮影された２枚目の画像を、画像１２２１の位置に移動して画像間の位置ズレを補正する。図１２（ｃ）に示す例では、２倍に解像度を拡大した画像において、水平方向に２画素、垂直方向に１画素ずれているので、拡大前の画像では、水平方向に１画素、垂直方向に０．５画素、位置がずれていることを示している。
【００３２】
次に、ステップＳ２１０において、高解像度画像生成部２８は、基準画像の有彩色と判定された領域に対する（有彩色用の）高解像度化処理を行う。高解像度画像生成部２８は、ステップＳ２０８で検出された彩度が、予め定められた値以下の領域を無彩色の領域とし、それ以外の領域と有彩色の領域と判定する。本実施形態では、有彩色と判定された領域に対する高解像度化処理を画像領域全体に対して行った画像と、無彩色と判定された領域に対する高解像度化処理を画像領域全体に対して行った画像とを、後述する方法で合成して最終的な高解像度画像を生成する。
【００３３】
まず、有彩色と判定された領域に対する高解像度化処理の具体的な方法の一例を、図１２及び図１３を参照しながら説明する。図１３は、有彩色と判定された領域に対する高解像度化処理が行われた画像の一例を示す図である。具体的に図１３（ａ）は、有彩色と判定された領域に対する高解像度化処理が行われたＲ画素信号の画像の一例を示す図である。また、図１３（ｂ）は、有彩色と判定された領域に対する高解像度化処理が行われたＧ画素信号の画像の一例を示す図である。また、図１３（ｃ）は、有彩色と判定された領域に対する高解像度化処理が行われたＢ画素信号の画像の一例を示す図である。
前述したように、基準画像である１枚目の画像に対する、比較画像である２枚目以降の画像の位置ズレの検出と補正とが行われる。高解像度画像生成部２８は、この結果に基づき、１枚目の画像のゼロ挿入された画素の位置と、２枚目以降の画像のゼロ挿入された画素以外の画素の位置との距離が所定の閾値以下の場合、１枚目の画像のゼロ挿入画素を２枚目以降の画像の該当画素に置き換える。
【００３４】
図１２（ａ）における、１枚目の画像のゼロ挿入された画素の位置と、２枚目の画像のゼロ挿入された画素以外の画素（Ｒ信号画素）の位置とが一致した画素において、１枚目の画像のゼロ挿入された画素を２枚目の画像のＲ信号画素に置き換える。このようにして得られた画像が、図１３（ａ）に示す画像である。図１３（ａ）に示す例では、１枚目の画像に対して、新たにＲ信号画素が位置１３０１〜１３０４に挿入される。
同様に図１２（ｂ）における、１枚目の画像のゼロ挿入された画素を、２枚目のＧ信号画素に置き換えた画像が、図１３（ｂ）に示す画像である。図１３（ｂ）に示す例では、１枚目の画像に対して、新たにＧ信号画素が位置１３２１〜１３２６に挿入される。
同様に図１２（ｃ）における、１枚目の画像のゼロ挿入された画素を、２枚目のＢ信号画素に置き換えた画像が、図１３（ｃ）に示す画像である。図１３（ｃ）に示す例では、１枚目の画像に対して、新たにＢ信号画素が位置１３４１、１３４２に挿入される。
【００３５】
次に、ステップＳ２１１において、高解像度画像生成部２８は、基準画像の無彩色と判定された領域に対する（無彩色用の）高解像度化処理を行う。無彩色と判定された領域においては、Ｒ信号画素、Ｇ信号画素、Ｂ信号画素の画素値は同等であるとみなせる。このため、図１３（ａ）に示す画像におけるゼロ挿入された画素を、Ｒ信号画素だけでなく、Ｇ信号画素とＢ信号画素も使用して置き換える。
【００３６】
図１４は、拡大処理が行われた後の基準画像に対して、拡大処理が行われた後の全ての色の比較画像の位置合わせを行う様子の一例を示す図である。具体的に、図１４（ａ）は、拡大処理が行われた後のＲ画素信号の基準画像に対して、拡大処理が行われた後のＲＧＢ画素信号の比較画像の位置合わせを行う様子の一例を示す図である。図１４（ｂ）は、拡大処理が行われた後のＧ画素信号の基準画像に対して、拡大処理が行われた後のＲＧＢ画素信号の比較画像の位置合わせを行う様子の一例を示す図である。図１４（ｃ）は、拡大処理が行われた後のＢ画素信号の基準画像に対して、拡大処理が行われた後のＲＧＢ画素信号の比較画像の位置合わせを行う様子の一例を示す図である。
図１５は、無彩色と判定された領域に対する高解像度化処理が行われた画像の一例を示す図である。具体的に、図１５（ａ）は、無彩色と判定された領域に対する高解像度化処理が行われたＲ画素信号の画像の一例を示す図である。図１５（ｂ）は、無彩色と判定された領域に対する高解像度化処理が行われたＧ画素信号の画像の一例を示す図である。図１５（ｃ）は、無彩色と判定された領域に対する高解像度化処理が行われたＢ画素信号の画像の一例を示す図である。
【００３７】
図１４（ａ）における、１枚目の画像１４０１のゼロ挿入された画素の位置と、２枚目の画像１４０２のＲＧＢ信号画素の位置とが一致した画素において、１枚目の画像１４０１のゼロ挿入された画素を、２枚目のＲＧＢ信号画素で置き換える。このようにして得られた画像が図１５（ａ）に示す画像である。図１５（ａ）に示す例では、１枚目の画像に対して、新たにＲ信号画素が位置１５０１〜１５１２に挿入される。
同様に図１４（ｂ）における、１枚目の画像１４２１のゼロ挿入された画素を、２枚目の画像１４２２のＲＧＢ信号画素で置き換えることにより、図１５（ｂ）に示す画像が得られる。図１５（ｂ）に示す例では、１枚目の画像に対して、新たにＧ信号画素が位置１５２１〜１５２９の位置に挿入される。
同様に図１４（ｃ）における、１枚目の画像１４４１のゼロ挿入された画素を、２枚目の画像１４４２のＲＧＢ信号画素で置き換えることにより、図１３（ｃ）に示す画像が得られる。図１５（ｃ）に示す例では、１枚目の画像に対して、新たにＢ信号画素が位置１５４１〜１５５２に挿入される。
図１５に示すように、基準画像の有彩色と判定された領域に対する高解像度化処理により得られた画像（図１３を参照）に対して、より多くのゼロ挿入された画素が、Ｒ信号画素、Ｇ信号画素又はＢ信号画素に置き換えられる。
【００３８】
次に、ステップＳ２１２において、制御部２０は、撮影した全画像に対して、ステップＳ２０２〜Ｓ２１１の処理を行ったか否かを判定する。この判定の結果、撮影した全画像に対して処理が終了していなければ（ステップＳ２１２でＮｏ）、撮影した画像毎にステップＳ２０２〜Ｓ２１１の処理を繰り返す。そして、撮影した全画像に対して処理が終了すると（ステップＳ２１２でＹｅｓ）、ステップＳ２１３に進む。
【００３９】
ステップＳ２１３に進む場合には、基準画像の有彩色と判定した領域に対する高解像度化処理の結果として、図１６に示す高解像度画像が生成される。具体的に、図１６（ａ）は、基準画像の有彩色と判定した領域に対する高解像度化処理の結果として得られたＲ画素信号の高解像度画像である。図１６（ｂ）は、基準画像の有彩色と判定した領域に対する高解像度化処理の結果として得られたＧ画素信号の高解像度画像である。図１６（ｃ）は、基準画像の有彩色と判定した領域に対する高解像度化処理の結果として得られたＢ画素信号の高解像度画像である。
また、基準画像の無彩色と判定した領域に対する高解像度化処理の結果として、図１７に示す高解像度画像が生成される。具体的に、図１７（ａ）は、基準画像の無彩色と判定した領域に対する高解像度化処理の結果として得られたＲ画素信号の高解像度画像である。図１７（ｂ）は、基準画像の無彩色と判定した領域に対する高解像度化処理の結果として得られたＧ画素信号の高解像度画像である。図１７（ｃ）は、基準画像の無彩色と判定した領域に対する高解像度化処理の結果として得られたＢ画素信号の高解像度画像である。
【００４０】
ステップＳ２１３において、合成部３０は、有彩色と判定された領域に対する高解像度化処理を行った高解像度画像と、無彩色と判定された領域に対する高解像度化処理を行った高解像度画像とを加重加算して合成する。
図１８は、合成部３０の構成の一例を示す図である。
図１８において、有彩色と判定された領域に対する高解像度化処理を行った高解像度画像１６０１は、例えば、図１６（ａ）〜図１６（ｃ）に示した画像に対応する。無彩色と判定された領域に対する高解像度化処理を行った高解像度画像１６０２は、例えば、図１８（ａ）〜図１８（ｃ）に示した画像対応する。合成部３０は、彩度に基づいて求められた加重加算係数ｋを用いて、乗算器１８０３、１８０４及び加算器１８０５により、これらの高解像度画像１８０１、１８０２を加重加算して高解像度画像１８０６を生成する。彩度が高いほど、図１６に示した画像に対する加重加算係数ｋが大きくなるように、加重加算係数ｋの値が予め設定される。
【００４１】
次に、ステップＳ２１４において、制御部２０は、生成されたＲ画素信号、Ｇ画素信号、Ｂ画素信号の高解像度画像に対して現像処理を行い、ＹＵＶ信号を生成する。本実施形態では、制御部２０は、Ｒ画素信号、Ｇ画素信号、Ｂ画素信号に対して、以下の式（９）、式（１０）、（１１）式の計算を行って、ＹＵＶ信号を生成する。
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ  ・・・  （９）
Ｕ＝−０．１６９Ｒ−０．３３１Ｇ＋０．５００Ｂ  ・・・  （１０）
Ｖ＝０．５００Ｒ−０．４１９Ｇ−０．０８１Ｂ  ・・・  （１１）
最後に、ステップＳ２１５において、制御部２０は、ＹＵＶ信号に対して、彩度調整処理を行う。制御部２０は、無彩色であると判定された領域に対応する高解像度画像の領域において、Ｕ画素信号値、Ｖ画素信号値の値が所定値以上であれば、Ｕ画素信号値、Ｖ画素信号値に所定のゲインを掛けることで、彩度を低下させる。これにより、最終的な高解像度画像が生成される。所定のゲインは、０以上１以下の値を有する。
【００４２】
以上のように本実施形態では、基準画像を拡大した後、基準画像の有彩色の領域に対する高解像度化処理を、基準画像の領域の全体に対して行うと共に、基準画像の無彩色の領域に対する高解像度化処理を、基準画像の領域の全体に対して行う。そして、基準画像の有彩色の領域に対する高解像度化処理を基準画像の領域の全体に対して行うことにより得た高解像度画像と、基準画像の無彩色の領域に対する高解像度化処理を基準画像の領域の全体に対して行うことにより得た高解像度画像とを合成する。
ここで、高解像度処理は、以下のようにして行われる。まず、基準画像から各色の画素を分離してそれぞれの色の画像を生成し、生成した画像に対してゼロ挿入を行って、生成した画像を拡大する。比較画像についても、同様にゼロ挿入を行って拡大する。拡大した基準画像においてゼロ挿入された画素を、拡大した比較画像における画素の色であって、拡大した基準画像におけるゼロ挿入された画素に対応する位置の画素の色の画素に置き換える。このとき、基準画像の有彩色の領域に対しては、拡大した比較画像のそれぞれの色のうち、拡大した基準画像の色と同じ色の画素についてのみ置き換えを行う。一方、基準画像の無彩色の領域に対しては、拡大した比較画像の全ての色の画素について置き換えを行う。
このように、有彩色の領域と無彩色の領域との双方の領域で高解像度処理を行うので、特に、無彩色の領域において、より少ない枚数で高解像度処理を行うことができる。よって、カラー領域とモノクロ領域とが混在する画像を、より少ない枚数の画像で高解像度化することができる。
【００４３】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第１の実施形態では、有彩色と判定された領域に対する高解像度化処理を画像領域全体に対して行った高解像度画像と、無彩色と判定された領域に対する高解像度化処理を画像領域全体に対して行った高解像度画像とを、合成して最終的な高解像度画像を生成した。それに対して、本実施形態では、有彩色領域と見なせるか、あるいは無彩色と見なせるかを、領域毎に判定して、高解像化処理方法を領域毎に変更することで、最終的な高解像度画像を生成する。このように、本実施形態と第１の実施形態とでは、高解像度画像を生成する際の処理の一部が異なる。したがって、本実施形態の説明において、第１の実施形態と同一の部分については、図１〜図１８に付した符号と同一の符号を付す等して詳細な説明を省略する。
【００４４】
図１９は、高解像度化処理を行う際の画像処理装置１００の動作の一例を説明するフローチャートである。
ステップＳ２０１〜Ｓ２０９の処理は、第１の実施形態における処理と同じ処理である。
次に、高解像度画像生成部２８は、ステップＳ２０８で検出された彩度が予め定められた値以下の領域を無彩色の領域であると判定し、それ以外の領域と有彩色の領域であると判定する。そして、ステップＳ１９０１において、無彩色の領域であると判定すると、ステップＳ１９０２に進み、高解像度画像生成部２８は、無彩色と判定された領域に対する（無彩色用の）高解像度化処理を行う。高解像度化処理は、第１の実施形態と同じである（図２のステップＳ２１１の説明を参照）。
一方、有彩色の領域であると判定すると、ステップＳ１９０３に進み、高解像度画像生成部２８は、有彩色と判定された領域に対する（有彩色用の）高解像度化処理を行う。高解像化処理は、第１の実施形態と同じである（図２のステップＳ２１０の説明を参照）。
次に、ステップＳ１９０４において、高解像度画像生成部２８は、基準画像の、有彩色と判定された領域と無彩色と判定された領域の双方の領域（全ての領域）に対して高解像度化処理を行ったか否かを判定する。この判定の結果、基準画像の、有彩色と判定された領域と無彩色と判定された領域の双方の領域に対して高解像度化処理を行っていない場合には、ステップＳ１９０１の処理に戻る。そして、基準画像の、有彩色と判定された領域と無彩色と判定された領域の双方の領域に対して高解像度化処理を行うまで、ステップＳ１９０１〜Ｓ１９０４の処理を繰り返す。基準画像の、有彩色と判定された領域と無彩色と判定された領域の双方の領域に対して高解像度化処理を行うと、ステップＳ２１２に進む。
【００４５】
ステップＳ２１２において、制御部２０は、撮影した全画像に対して、ステップＳ２０２〜Ｓ２０９、Ｓ１９０１〜Ｓ１９０４の処理を行ったか否かを判定する。この判定の結果、撮影した全画像に対して処理が終了していなければ（ステップＳ２１２でＮｏ）、撮影した画像毎にステップＳ２０２〜Ｓ２０９、Ｓ１９０１〜Ｓ１９０４の処理を繰り返す。そして、撮影した全画像に対して処理が終了すると（ステップＳ２１２でＹｅｓ）、ステップＳ２１３に進む。以降のステップＳ２１３〜Ｓ２１５の処理は、第１の実施形態における処理と同じ処理である。
以上のように、基準画像の、有彩色と判定された領域と無彩色と判定された領域に対して高解像度化処理を個別に行うようにしても、前述した第１の実施形態と同様の効果が得られる。
【００４６】
尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【００４７】
（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、まず、以上の実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）が当該コンピュータプログラムを読み出して実行する。
【符号の説明】
【００４８】
１０  撮像レンズ、１２  撮像素子、１００  画像処理装置
【図１】
2014039105.tif 000003
【図２】
2014039105.tif 000004
【図３】
2014039105.tif 000005
【図４】
2014039105.tif 000006
【図５】
2014039105.tif 000007
【図６】
2014039105.tif 000008
【図７】
2014039105.tif 000009
【図８】
2014039105.tif 000010
【図９】
2014039105.tif 000011
【図１０】
2014039105.tif 000012
【図１１】
2014039105.tif 000013
【図１２】
2014039105.tif 000014
【図１３】
2014039105.tif 000015
【図１４】
2014039105.tif 000016
【図１５】
2014039105.tif 000017
【図１６】
2014039105.tif 000018
【図１７】
2014039105.tif 000019
【図１８】
2014039105.tif 000020
【図１９】
2014039105.tif 000021