(57)【要約】【課題】  画像の解像力と色再現精度とを用途に応じて切り替えることができるようにする。【解決手段】  ユーザに解像力を重視するか、色再現を重視するか選択させる。そして、解像力を重視する場合には、相互に相関の高いカラーフィルタを同一のフィルタであるとして、各画素の色を補間する。一方、色再現を重視する場合には、カラーフィルタ毎に、各画素の色を補間する。【選択図】  図１
2010273040.tif 000002
【特許請求の範囲】
【請求項１】
イメージセンサと、
前記イメージセンサ上に配置された、分光透過率特性が相互に異なる４以上のカラーフィルタと、
前記４以上のカラーフィルタの夫々を別々のカラーフィルタとして、処理対象の画素の画素値を、当該画素の周囲の画素の画素値を用いて補間する色再現重視処理を行う色再現重視処理手段と、
前記４以上のカラーフィルタのうち、前記分光透過率特性の相関が高い複数のカラーフィルタを同一のフィルタとみなして、処理対象の画素の画素値を、当該画素の周囲の画素の画素値を用いて補間する解像力重視処理を行う解像力重視処理手段と、
前記色再現重視処理と、前記解像力重視処理との何れかを選択する選択手段とを有することを特徴とする画像入力装置。
【請求項２】
前記選択手段は、ユーザによる操作に基づいて、前記色再現重視処理と、前記解像力重視処理との何れかを選択することを特徴とする請求項１に記載の画像入力装置。
【請求項３】
前記イメージセンサにより得られた画像データを周波数解析する周波数解析手段を有し、
前記選択手段は、前記周波数解析手段により周波数解析された結果に基づいて、前記色再現重視処理と、前記解像力重視処理との何れかを選択することを特徴とする請求項１に記載の画像入力装置。
【請求項４】
前記周波数解析手段は、前記イメージセンサにより得られた画像データの一部の領域毎に周波数解析し、
前記選択手段は、前記イメージセンサにより得られた画像データの一部の領域毎に、前記周波数解析手段により周波数解析された結果に基づいて、前記色再現重視処理と、前記解像力重視処理との何れかを選択することを特徴とする請求項３に記載の画像入力装置。
【請求項５】
分光透過率特性が相互に異なる４以上のカラーフィルタを有するイメージセンサにより撮影された撮影画像データを処理する画像処理方法であって、
前記４以上のカラーフィルタの夫々を別々のカラーフィルタとして、処理対象の画素の画素値を、当該画素の周囲の画素の画素値を用いて補間する色再現重視処理を行う色再現重視処理ステップと、
前記４以上のカラーフィルタのうち、前記分光透過率特性の相関が高い複数のカラーフィルタを同一のフィルタとみなして、処理対象の画素の画素値を、当該画素の周囲の画素の画素値を用いて補間する解像力重視処理を行う解像力重視処理ステップと、
前記色再現重視処理と、前記解像力重視処理との何れかを選択する選択ステップとを有することを特徴とする画像処理方法。
【請求項６】
分光透過率特性が相互に異なる４以上のカラーフィルタを有するイメージセンサにより撮影された撮影画像データを処理することをコンピュータに実行させるためのコンピュータプログラムであって、
前記４以上のカラーフィルタの夫々を別々のカラーフィルタとして、処理対象の画素の画素値を、当該画素の周囲の画素の画素値を用いて補間する色再現重視処理を行う色再現重視処理ステップと、
前記４以上のカラーフィルタのうち、前記分光透過率特性の相関が高い複数のカラーフィルタを同一のフィルタとみなして、処理対象の画素の画素値を、当該画素の周囲の画素の画素値を用いて補間する解像力重視処理を行う解像力重視処理ステップと、
前記色再現重視処理と、前記解像力重視処理との何れかを選択する選択ステップとをコンピュータに実行させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、分光透過率特性が相互に異なる４以上のカラーフィルタを有するイメージセンサにより撮影された撮影画像データを処理するものに関する。
【背景技術】
【０００２】
一般的なデジタルカメラやデジタルビデオカメラでは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の分光透過率特性を有するカラーフィルタを用いて被写体の色を取得している。というのも、人には、赤、緑、青に反応する３種類の錐体と呼ばれる視細胞が存在しおり、人は、その錐体によって物体の色情報を認識しているからである。つまり、人が物体の色を認識するための３つの色信号（この３つの色信号を三刺激値という）が等しければ、その物体は同じ色のものとして認識される。このことを利用して、デジタルカメラやデジタルビデオカメラでは、被写体の色情報を取得している。
【０００３】
図１４は、カラーフィルタの一般的な構成を概念的に示す図である。
デジタルカメラやデジタルビデオカメラでは、図１４に示すようなＲ，Ｇ，Ｂのカラーフィルタ１４００をイメージセンサ上に配置しているのが一般的である。このようなカラーフィルタ１４００を用いる場合、各画素では、単一の色情報しか取得できない。しかしながら、各画素に対して、足りない色（例えば、Ｒの画素では、ＧとＢ）を、周囲の画素から補間して求めることができる（特許文献１を参照）。
【０００４】
ところで、このようなＲＧＢのカラーフィルタを備えたデジタルカメラやビデオカメラ（以下、必要に応じてＲＧＢカメラという）は、被写体の照明環境や人の視覚特性の個人差を大きく受けてしまう。例えば、ある照明環境において、被写体と、その被写体の再現画像とが同じ色に見えたとしても、それとは異なる照明環境においては、同じ色に見えないといったことが起こり得る。また、人の視覚特性には個人差がある。例えば、ある人には、被写体と、その被写体の再現画像とが同じ色に見えたとしても、違う人には、それらが同じ色に見えないといったことも起こり得る。
【０００５】
そこで、ＲＧＢの３種類のカラーフィルタを用いるのではなく、それ以上の種類（例えば、６種類）のカラーフィルタを用いて被写体の色情報を取得する画像入力装置（以下、必要に応じてマルチバンドカメラという）がある。このマルチバンドカメラは、前述した三刺激値を取得するのではなく、物体に固有の色情報である分光情報を取得することを目的としている。この分光情報は、物体に固有の色情報のため、照明環境や人の視覚特性に左右されない情報である。すなわち、被写体の分光情報と、その被写体の再現画像の分光情報とが等しければ、どんな状況においても被写体の色と、その被写体の再現画像の色とが等しく見える。また、マルチバンドカメラで取得した分光情報、照明環境、及び各個人の視覚特性を用いることで、照明環境や視覚特性の個人差を考慮した色再現を行うことができる。
【０００６】
このマルチバンドカメラを実現する方法としては、モノクロカメラと複数種類のカラーフィルタとを組み合わせたものがある。このようなマルチバンドカメラでは、ひとつの被写体を撮影するのに、カラーフィルタ数分の撮影が必要となる。そのため、動被写体の撮影が困難である。そこで、複数のカラーフィルタをイメージセンサ上に配置するマルチバンドカメラがある（特許文献２を参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平８−２９８６６９号公報
【特許文献２】特開２００３−８７８０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
前述したように、ＲＧＢのカラーフィルタを用いたＲＧＢカメラは、照明環境や視覚特性の個人差の影響を受けてしまう。その結果、色再現精度が低下してしまう。
一方、１つのイメージセンサ上にカラーフィルタを配置したマルチバンドカメラでは、多くのカラーフィルタをイメージセンサ上に配置する。そのため、ひとつの色に対する総画素数が減ってしまう。すなわち、取得した被写体の解像力（解像度）が低下してしまう。例えば、特許文献２に記載の技術の場合、ＲＧＢのカラーフィルタのみを用いた場合に比べて、少なくとも１／２の解像力となってしまう。
つまり、マルチバンドカメラは、ＲＧＢカメラに対して、色再現精度に関しては優れているものの、解像力に関しては劣ってしまう。
【０００９】
ところで、デジタルカメラやデジタルビデオカメラを用いて、被写体の撮影をする場合、ユーザーニーズや、被写体の解像度の特性によって、解像力を重視すべきなのか、それとも、色再現を重視すべきなのか異なってくる。つまり、解像力を重視する場合には、前述したマルチバンドカメラの構成では、被写体の解像力が不十分となってしまう。一方、色再現精度を重視する場合には、ＲＧＢカメラでは、色再現精度が不十分となってしまう。
【００１０】
本発明は、このような問題点に鑑みてなされたものであり、画像の解像力と色再現精度とを用途に応じて切り替えることができるようにすることを目的とする。
【課題を解決するための手段】
【００１１】
本発明の画像入力装置は、イメージセンサと、前記イメージセンサ上に配置された、分光透過率と波長との関係を示す分光透過率特性が相互に異なる４以上のカラーフィルタと、前記４以上のカラーフィルタの夫々を別々のカラーフィルタとして、処理対象の画素の画素値を、当該画素の周囲の画素の画素値を用いて補間する色再現重視処理を行う色再現重視処理手段と、前記４以上のカラーフィルタのうち、前記分光透過率特性の相関が高い複数のカラーフィルタを同一のフィルタとみなして、処理対象の画素の画素値を、当該画素の周囲の画素の画素値を用いて補間する解像力重視処理を行う解像力重視処理手段と、前記色再現重視処理と、前記解像力重視処理との何れかを選択する選択手段とを有することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、色再現重視処理と、解像力重視処理との何れかを選択するようにしたので、画像の解像力と色再現精度とを用途に応じて切り替えることができる。
【図面の簡単な説明】
【００１３】
【図１】画像入力装置の構成の一例を示すブロック図である。
【図２】画像入力装置の外観構成の一例を示す図である。
【図３】画像入力装置の処理の流れの一例を示すフローチャートである。
【図４】カラーフィルタの配置の一例を示す図である。
【図５】カラーフィルタの分光透過率の一例を示す図である。
【図６】図３のステップＳ３０５の解像力重視のデジタル信号処理の一例を詳細に説明するフローチャートである。
【図７】図６のステップＳ６０３におけるＲのデモザイキング処理の一例を概念的に説明する図である。
【図８】図３のステップＳ３０６の色再現重視のデジタル信号処理の一例を詳細に説明するフローチャートである。
【図９】画像入力装置の処理の流れの一例を示すフローチャートである。
【図１０】図９のステップＳ９０４の高周波領域の度合いの算出処理の一例を詳細に説明するフローチャートである。
【図１１】図１０のステップＳ１００３の縦横方向判別処理の一例を概念的に説明する図である。
【図１２】カラーフィルタの分光透過率の変形例を示す図である。
【図１３】カラーフィルタの配置の一例を示す図である。
【図１４】カラーフィルタの一般的な構成を概念的に示す図である。
【発明を実施するための形態】
【００１４】
＜第１の実施形態＞
以下に、図面を参照しながら、第１の実施形態について説明する。
図１は、画像入力装置の構成の一例を示すブロック図である。
図１において、１０１は、デジタルカメラやデジタルビデオカメラ等の画像入力装置である。１０２は、焦点距離や画角を調整することが可能な撮像レンズである。１０３は、絞り機能とシャッター機能とを兼ねる絞り兼用シャッターである。１０４は、撮影レンズ１０２や絞り兼用シャッター１０３を駆動するためのメカ系駆動回路である。１０５は、カラーフィルタである。１０６は、ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子である。カラーフィルタ１０５は、撮像素子１０６により構成されるイメージセンサ上に配置されている。１０７は、撮像素子１０６から出力されたアナログ信号をデジタル信号に変換するＡ／Ｄ変換器である。１０８は、Ａ／Ｄ変換器１０７から出力されたデジタル信号を処理するためのデジタル信号処理回路である。１０９は、メカ系駆動回路１０４、撮像素子１０６、Ａ／Ｄ変換器１０７、及びデジタル信号処理回路１０８を制御するためのシステム制御ＣＰＵである。
【００１５】
１１０は、操作補助のための表示やカメラの状態を表わす表示を行う操作表示部である。１１１は、画像入力装置１０１（カメラ）の撮影開始をユーザ（撮影者）が制御するためのレリーズスイッチや、画像入力装置１０１の設定の変更をするためにユーザが操作するためのスイッチ等、画像入力装置１０１をユーザが操作するための操作部である。１１２は、画像入力装置１０１と記録媒体１１３とを相互に接続するための記録媒体Ｉ／Ｆ（インターフエース）である。１１３は、メモリカード等の可搬型の記録媒体である。１１４は、メカ系駆動回路１０４及びデジタル信号処理回路１０８において用いられる各種パラメータや、画像データを記憶しておくためのＲＡＭ（Random Access Memory）である。
【００１６】
図２は、画像入力装置１０１の外観構成の一例を示す図である。図２（ａ）は、画像入力装置１０１の正面図であり、図２（ｂ）は、画像入力装置１０１の背面図である。
図２において、１１１ａは、撮影を行う際にユーザが操作する撮影ボタンである。１１１ｂは、再現モードを設定するためにユーザが操作する再現モード設定ボタンである。撮影ボタン１１１ａ及び再現モード設定ボタン１１１ｂの操作に基づいて、システム制御ＣＰＵ１０９は、各処理を実行させる。図２（ａ）に示すように、再現モードを設定する際には、解像力重視及び色再現重視の何れかをユーザが選択するための画像が操作表示部１１０に表示される。そして、この画像を参照しながらユーザが再現モード設定ボタン１１１ｂを操作して、解像力重視及び色再現重視の何れかを選択・決定することによって、再現モードが設定される。
【００１７】
図３は、画像入力装置１０１の処理の流れの一例を示すフローチャートである。また、図４は、カラーフィルタ１０５の配置の一例を示す図である。図５は、カラーフィルタ１０５の分光透過率の一例を示す図である。図４に示すカラーフィルタ４０１〜４０５は、夫々、図５に示す分光透過率５０１〜５０５を持つカラーフィルタ（Ｒ１、Ｒ２、Ｇ、Ｂ１、Ｂ２）の一例である。また、本実施形態では、各カラーフィルタの配列はベイヤ配列である例を説明する。
【００１８】
＜全体処理の流れ＞
ここで、図１のブロック図、図２の外観図、及び図３のフローチャートを用いて、画像入力装置１０１の処理の流れの一例を詳細に説明する。
まず、ステップＳ３０１では、システム制御ＣＰＵ１０９は、ユーザによって再現モード設定ボタン１１１ｂが操作されると、その操作の内容を認識し、認識した結果に応じて再現モードを設定する。
次に、ステップＳ３０２では、システム制御ＣＰＵ１０９は、ユーザによって、撮影ボタン１１１ａが押されたかどうかを判定する。この判定の結果、撮影ボタン１１１ａが押された場合には、ステップＳ３０３に進む。一方、撮影ボタン１１１ａが押されていない場合には、待機状態となりステップＳ３０１に戻る。
【００１９】
ステップＳ３０３に進むと、画像入力装置１０１は、一連の撮影処理を実行する。この撮影処理では、まず、システム制御ＣＰＵ１０９によって、メカ系駆動回路１０４を動作させる。次に、メカ系駆動回路１０４によって、撮影レンズ１０２、絞り兼用シャッター１０３、及びカラーフィルタ１０５を通過した被写体像を撮像素子１０６に結像させる。最後に結像した被写体像は、撮影画像データとしてＡ／Ｄ変換器１０７によってデジタル信号に変換されデジタル信号処理回路１０８に入力される。
【００２０】
次に、ステップＳ３０４では、システム制御ＣＰＵ１０９は、ステップＳ３０１で設定された再現モード（撮影モード）が、解像力モードであるか否かを判定する。この判定の結果、再現モード（撮影モード）が解像力モードの場合には、ステップＳ３０５に進む。一方、再現モードが、色再現モードの場合には、ステップＳ３０６に進む。
このように本実施形態では、例えば、ステップＳ３０４の処理を行うことにより選択手段の一例が実現される。
ステップＳ３０５に進むと、デジタル信号処理回路１０８は、解像力を重視したデジタル信号処理を行う。このステップＳ３０５の詳細については後述する。
一方、ステップＳ３０６に進むと、デジタル信号処理回路１０８は、色再現重視のデジタル信号処理を行われる。このステップＳ３０６の詳細については後述する。
最後に、ステップＳ３０７では、記録媒体Ｉ／Ｆ１１２は、ステップＳ３０５又はステップＳ３０６の処理でデジタル信号処理回路１０８から出力された画像データを、記録媒体１１３に記録する。尚、各処理ステップにおいて、画像データは、ＲＡＭ１１４に書き込み・読み込みがされるものとする。
【００２１】
＜解像力重視のデジタル信号処理＞
次に、図６のフローチャートを参照しながら、図３のステップＳ３０５の解像力重視のデジタル信号処理の一例を詳細に説明する。本処理は、解像力を重視した処理を行うため、相互に相関の高い複数のカラーフィルタについては、同一のフィルタであるとして処理を行う。ここで、相互に相関の高い複数のカラーフィルタとは、例えば、分光特性のピークとなる波長の値が閾値以下の複数のカラーフィルタや、他のカラーフィルタにおける分光特性のピークの波長の値よりも近い２つのカラーフィルタをいう。ただし、相互に相関の高い複数のカラーフィルタを選ぶ方法はこのようなものに限定されず、例えば、分光特性の形を比較して相互に相関の高い複数のカラーフィルタを選んでもよい。
【００２２】
尚、本実施形態では、他のカラーフィルタとの相関が最も大きい（例えば、分光特性のピークとなる波長間の距離の総和又は平均値が最も小さい）カラーフィルタがＧのカラーフィルタである場合を例に挙げて説明する。さらに、本実施形態では、Ｇのカラーフィルタが、２倍の数比を持つ場合を例に挙げて説明する。
まず、ステップＳ６０１では、デジタル信号処理回路１０８は、ＷＢ（ホワイトバランス）処理を行う。このＷＢ処理は、任意の照明環境下において、無彩色な被写体を撮影した際に、Ｒ１、Ｒ２、Ｇ、Ｂ１、Ｂ２の各カラーフィルタの出力画素値が等しくなるようにゲイン処理を行うものである。
次に、ステップＳ６０２では、デジタル信号処理回路１０８は、Ｇ（緑）のデモザイキング処理を行う。このＧのデモザイキング処理は、例えば、特許文献１に記載されているように、被写体に応じて、Ｇの画素を適応的に補間する。
【００２３】
次に、ステップＳ６０３では、デジタル信号処理回路１０８は、Ｒ（赤）のデモザイキング処理を行う。図７は、図６のステップＳ６０３におけるＲのデモザイキング処理の一例を概念的に説明する図である。図７において、Ｇｉｊは、画素位置（ｉ，ｊ）におけるＧの画素値を示す。本実施形態の画像入力装置１０１では、各画素について１つの色しか取得できない。例えば、画素位置（２，２）では、Ｇのみ画素値をもち、ＲとＢの画素値は周囲の画素から補間する必要がある。前述したように、本処理では、相互に相関の高いカラーフィルタに関しては同一のカラーフィルタとして処理を行う。つまり、式（１）として処理を行う。
【００２４】
【数１】
2010273040.tif 000003
【００２５】
このとき、デジタル信号処理回路１０８は、処理対象のＲの画素の周囲の画素の画素値から、当該Ｒの画素の画素値を補間する。例えば、画素位置（２，２）の場合、全ての画素位置でＧの画素値が求められていることを利用して、ステップＳ６０３において、デジタル信号処理回路１０８は、式（２）のように補間処理を行う。
【００２６】
【数２】
2010273040.tif 000004
【００２７】
次に、ステップＳ６０４では、デジタル信号処理回路１０８は、ステップＳ６０３と同様の処理を、Ｂ（青）についても行う（Ｂのデモザイキング処理を行う。）。
次に、ステップＳ６０５では、デジタル信号処理回路１０８は、ステップＳ６０２〜Ｓ６０４にて作成したＲＧＢの画像データから輝度信号の画像データを生成し、当該輝度信号の画像データに対して、エッジ強調処理や輝度ノイズ除去処理等を行う。
最後に、ステップＳ６０６では、デジタル信号処理回路１０８は、ステップＳ６０２〜６０４にて作成したＲＧＢの画像データから色信号の画像データを生成し、当該色信号の画像データに対して、色変換処理や色ノイズ除去処理等を行う。
以上のように本実施形態では、例えば、図６のフローチャートの処理を実行することにより、解像力重視処理手段（解像力重視処理）が実現される。
【００２８】
＜色再現重視のデジタル信号処理＞
次に、図８のフローチャートを参照しながら、図３のステップＳ３０６の色再現重視のデジタル信号処理の一例を詳細に説明する。
まず、ステップＳ８０１では、デジタル信号処理回路１０８は、ＷＢ処理を行う。
次に、ステップＳ８０２では、デジタル信号処理回路１０８は、Ｇのデモザイキング処理を行う。この処理は、前述した解像力重視のデジタル信号処理におけるステップＳ６０２と同様に行う。
【００２９】
次に、ステップＳ８０３では、デジタル信号処理回路１０８は、Ｒ１のデモザイキング処理を行う。このＲ１のデモザイキング処理では、まず、デジタル信号処理回路１０８は、撮影により得られた画像データから、Ｒ１のカラーフィルタが配置されている画素のみを抽出する。次に、デジタル信号処理回路１０８は、Ｒ１のカラーフィルタが配置されていない画素の画素値を、当該画素の周囲のＲ１の画素の画素値を用いて補間をする。この補間としては、例えば、バイリニア補間、バイキュービック補間、又は画像解析の結果を用いた適応補間等が用いられる。
【００３０】
次に、ステップＳ８０４〜Ｓ８０６では、デジタル信号処理回路１０８は、ステップＳ８０３と同様にして、Ｒ２、Ｂ１、及びＢ２のデモザイキング処理を行う。
最後に、ステップＳ８０７では、デジタル信号処理回路１０８は、ステップＳ８０２〜Ｓ８０６で求めた画像データを用いて、各画素について、分光情報を算出する。この処理では、デジタル信号処理回路１０８は、予め記憶してある変換行列Ｇを用いて、式（３）のようにして分光情報を算出する。
【００３１】
【数３】
2010273040.tif 000005
【００３２】
以上のように本実施形態では、例えば、図８のフローチャートの処理を実行することにより、色再現重視処理手段（色再現重視処理）が実現される。
【００３３】
以上のように本実施形態では、ユーザに解像力を重視するか、色再現を重視するか選択させる。そして、解像力を重視する場合には、相互に相関の高いカラーフィルタを同一のフィルタであるとして、各画素の色を補間する。一方、色再現を重視する場合には、カラーフィルタ毎に各画素の色を補間する。したがって、ユーザが解像力を重視する場合には、解像度の高い画像データを生成し、ユーザが色再現を重視する場合には、色再現性の高い画像データを生成することができる。よって、被写体の解像力と色再現精度とを両立させることができ、ユーザのニーズにあった画像データを取得することが可能となる。
【００３４】
＜第２の実施形態＞
次に、本発明の第２の実施形態について詳細に説明する。前述した第１の実施形態では、解像力を重視するか、色再現を重視するかをユーザに選択させるようにした。これに対し、本実施形態では、撮影により得られた画像データを周波数解析した結果に基づいて、解像力を重視するか、色再現を重視するかを選択する。このように本実施形態と、前述した第１の実施形態とは、解像力及び色再現の何れを重視するのかを選択する方法が主として異なる。したがって、本実施形態の説明において、前述した第１の実施形態と同一の部分については、図１〜図８に付した符号と同一の符号を付す等して詳細な説明を省略する。例えば、画像入力装置１０１のハードウェアの構成は、図１、図２に示したものと同じである。また、カラーフィルタ１０５も、図４及び図５に示したものと同じである。したがって、本実施形態でも、これらを例に挙げて説明する。
【００３５】
＜全体処理の流れ＞
図９は、画像入力装置１０１の処理の流れの一例を示すフローチャートである。
まず、ステップＳ９０１では、システム制御ＣＰＵ１０９は、ユーザによって、撮影ボタン１１１ａが押されたかどうかを判定する。この判定の結果、撮影ボタン１１１ａが押された場合には、ステップＳ９０２に進む。一方、撮影ボタン１１１ａが押されていない場合には、待機状態となりステップＳ９０１に戻る。
【００３６】
ステップＳ９０２に進むと、画像入力装置１０１は、一連の撮影処理を実行する。この撮影処理では、まず、システム制御ＣＰＵ１０９によって、メカ系駆動回路１０４を動作させる。次に、メカ系駆動回路１０４によって、撮影レンズ１０２、絞り兼用シャッター１０３、及びカラーフィルタ１０５を通過した被写体像を撮像素子１０６に結像させる。最後に結像した被写体像は、Ａ／Ｄ変換器１０７によってデジタル信号に変換されデジタル信号処理回路１０８に入力される。
【００３７】
次に、ステップＳ９０３では、デジタル信号処理回路１０８は、ステップＳ９０２にて取得した画像データから、任意のサイズ（例えば、６４×６４や、１２８×１２８等）の画像領域を抽出する。この際に抽出する画像領域のサイズとしては、縦横のサイズが等しく、縦横の各サイズ（画素数）が２の累乗の値であることが望ましい。
次に、ステップＳ９０４では、デジタル信号処理回路１０８は、ステップＳ９０３にて抽出した領域について高周波領域の度合いｋの算出を行う。このステップＳ９０４の処理の詳細については後述する。
【００３８】
次に、ステップＳ９０５では、デジタル信号処理回路１０８は、ステップＳ９０３にて抽出した領域について、ステップＳ９０４で算出した高周波領域の度合いｋの値が予め設定された閾値より大きいかどうかを判定する。この判定の結果、閾値よりも高周波領域の度合いｋが大きい場合には、ステップＳ９０６に進む。一方、高周波領域の度合いｋが閾値以下の場合には、ステップＳ９０７に進む。
このように本実施形態では、例えば、ステップＳ９０５の処理を行うことにより選択手段の一例が実現される。
ステップＳ９０６に進むと、デジタル信号処理回路１０８は、第１の実施形態と同様にして、解像力を重視したデジタル信号処理を行う。一方、ステップＳ９０７に進むと、デジタル信号処理回路１０８は、第１の実施形態と同様にして色再現を重視したデジタル信号処理を行う。
以上のように本実施形態では、例えば、ステップＳ９０６の処理を行うことにより解像力重視処理手段（解像力重視処理）の一例が実現され、ステップＳ９０７の処理を行うことにより色再現重視処理手段（色再現重視処理）の一例が実現される。
【００３９】
そして、ステップＳ９０８に進むと、デジタル信号処理回路１０８は、ステップＳ９０２にて取得した画像データの全ての領域について、ステップＳ９０３〜Ｓ９０７の処理が行われたかどうかを判定する。この判定の結果、画像データの全ての領域について、ステップＳ９０３〜Ｓ９０７の処理が行われた場合には、ステップＳ９０９に進む。一方、画像データの全ての領域について、ステップＳ９０３〜Ｓ９０７の処理が行われていない場合には、ステップＳ９０３に戻り処理を繰り返す。
【００４０】
最後に、ステップＳ９０９では、記録媒体Ｉ／Ｆ１１２は、ステップＳ９０８の処理でＹＥＳと判定されることによりデジタル信号処理回路１０８から出力された画像データを、記録媒体１１３に記録する。尚、各処理ステップにおいて、画像データは、ＲＡＭ１１４に書き込み・読み込みがされるものとする。また、デジタル信号処理回路１０８では、ステップＳ９０６、Ｓ９０７でデジタル信号処理が行われた各領域の画像データを合成する処理が行われる。
【００４１】
＜高周波領域の度合いｋの算出＞
次に、図１０のフローチャートを算出しながら、図９のステップＳ９０４の高周波領域の度合いの算出処理の一例を詳細に説明する。
まず、ステップＳ１００１では、デジタル信号処理回路１０８は、ステップＳ９０３にて抽出した画像領域からＧ（緑）の画像データのみを抽出する。
次に、ステップＳ１００２では、デジタル信号処理回路１０８は、Ｇのデモザイキング処理を行う。このステップＳ１００２の処理は、例えば、図６のステップＳ６０２と同様にして行うことができる。
【００４２】
次に、ステップＳ１００３では、デジタル信号処理回路１０８は、ステップＳ１００２において処理したデモザイキング後のＧの画像データに基づいて、画像領域が縦及び横のどちらに変化をしているかを判別するための縦横方向判別処理を行う。図１１は、図１０のステップＳ１００３の縦横方向判別処理の一例を概念的に説明する図である。デジタル信号処理回路１０８は、例えば、Ｇ２２の場合には、式（４）によりＤＨ、ＤＶを算出する。
【００４３】
【数４】
2010273040.tif 000006
【００４４】
次に、ステップＳ１００４では、デジタル信号処理回路１０８は、ステップＳ１００３で算出したＤＨ、ＤＶを用いて、画像領域が縦方向に変化しているかどうかを判定する。本実施形態では、デジタル信号処理回路１０８は、ＤＨ−ＤＶ＞０である場合には、画像領域が縦方向に変化しているとみなし、そうでない場合には、画像領域が横方向に変化しているとみなす。
この判定の結果、ＤＨ−ＤＶ＞０である場合には、ステップＳ１００５に進み、そうでない場合には、ステップＳ１００６に進む。
【００４５】
ステップＳ１００５に進むと、デジタル信号処理回路１０８は、図９のステップＳ９０３で抽出した画像領域について、注目画素を中心に縦一列の画像データを抽出する。
一方、ステップＳ１００６に進むと、デジタル信号処理回路１０８は、図９のステップＳ９０３で抽出した画像領域について、注目画素を中心に横一列の画像データを抽出する。
そして、ステップＳ１００７において、デジタル信号処理回路１０８は、ステップＳ１００５及びステップＳ１００６で抽出した画像データに対してフーリエ変換を施す。
【００４６】
最後に、ステップＳ１００８では、デジタル信号処理回路１０８は、ステップＳ１００７でフーリエ変換した後の画像データに基づいて、図９のステップＳ９０３で抽出した画像領域の周波数特性を算出する。この処理について、詳細に説明する。
まず、Ｇのナイキスト周波数をＮｇとする。Ｇは、縦横方向でそれぞれ見ると、各画素にＧ画素が存在する。それに対して、Ｒ１、Ｒ２、Ｂ１及びＢ２は、３画素おきに存在する。また、Ｒ＝Ｒ１＝Ｒ２、Ｂ＝Ｂ１＝Ｂ２とすると、Ｒ、Ｂは、１画素おきに存在する。つまり、Ｒ１、Ｒ２、Ｂ１、及びＢ２を別々の色として扱う場合、そのナイキスト周波数Ｎ０はＮｇ／４となる。一方、Ｒ＝Ｒ１＝Ｒ２、Ｂ＝Ｂ１＝Ｂ２とした場合、そのナイキスト周波数Ｎ０は、Ｎｇ／２となる。ここで、高周波領域の度合いをｋとすると、ｋは式（５）のように算出する。なお、Ｆは、フーリエ変換した結果を示す。
【００４７】
【数５】
2010273040.tif 000007
【００４８】
以上のように本実施形態では、例えば、図１０のフローチャートの処理を行うことにより周波数解析手段の一例が実現される。
【００４９】
以上のように本実施形態では、撮影により得られた画像データから、画像データの領域の一部の領域を抽出し、抽出した画像領域のデータに対する周波数解析の結果によって、解像力重視か色再現重視かの処理を切り替えるようにする。つまり、高周波領域においては、色再現の精度を悪くしたとしても、解像力を高める処理をする。一方、低周波領域においては、解像力が低くなっても、色再現の精度を高める処理を行う。そして、このような処理を、画像データの全ての領域を抽出するまで行う。その結果、画像データの一部の領域毎に最適な処理を行うことが可能となる。
【００５０】
＜変形例＞
＜カラーフィルタ＞
前述した第１、第２の実施形態では、カラーフィルタ１０５の配置及びカラーフィルタ１０５の分光特性を、それぞれ図４及び図５のようにした。しかしながら、分光透過率と波長との関係を示す分光透過率特性が相互に異なる４以上のカラーフィルタ（４種類以上のカラーフィルタ）を使用していれば、カラーフィルタの配置及び分光特性はこれに限定されない。例えば、図１２のような分光特性１２０１〜１２０６を有する６種類のカラーフィルタを、図１３のように配置してカラーフィルタ１３００を構成してもよい。
＜高周波度合いの閾値＞
前述した第２の実施形態では、高周波領域の度合いｋと比較する閾値を予め決められたものとしたが、必ずしもこのようにする必要はない。例えば、ユーザの選択応じて、閾値を段階的に変化させる形式でもかまわない。
【００５１】
（本発明の他の実施形態）
前述した第１および第２の実施形態における画像入力装置を構成する各手段、並びにフローチャートを用いて説明した画像処理方法の各ステップは、コンピュータがＲＡＭやＲＯＭなどに記憶されたコンピュータプログラムに基づき動作することにより実現できる。このコンピュータプログラムプログラム及び前記コンピュータプログラムプログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
【図１】
2010273040.tif 000008
【図２】
2010273040.tif 000009
【図３】
2010273040.tif 000010
【図４】
2010273040.tif 000011
【図５】
2010273040.tif 000012
【図６】
2010273040.tif 000013
【図７】
2010273040.tif 000014
【図８】
2010273040.tif 000015
【図９】
2010273040.tif 000016
【図１０】
2010273040.tif 000017
【図１１】
2010273040.tif 000018
【図１２】
2010273040.tif 000019
【図１３】
2010273040.tif 000020
【図１４】
2010273040.tif 000021