(57)【要約】      （修正有）【課題】ＳＮ比を悪くすることなく、画像の高色分解性の向上を図ることができる技術を提供する。【解決手段】受光面に複数の画素がマトリックス状に設けられ、受光面の前面に複数の画素の各々に対応するように配置される複数のカラーフィルタから構成される撮像素子と、複数のカラーフィルタの画素値を用いて画像を生成する第１のモードと複数のカラーフィルタの画素値を所定数毎に加算して複数の所定のカラーフィルタの分光特性に対応する画素値を求めて画像を生成する第２のモードとを選択する選択手段と、選択手段によって第１のモードが選択された場合、複数のカラーフィルタの画素値を出力させて画像を生成し、第２のモードが選択された場合、複数のカラーフィルタの画素値を所定数毎に加算して、複数の所定のカラーフィルタの有する分光特性に対応する画素値を出力させて画像を生成する制御を行う制御手段とを備える。【選択図】図１
2010252089.tif 000002
【特許請求の範囲】
【請求項１】
受光面に複数の画素がマトリックス状に設けられ、前記受光面の前面に前記複数の画素の各々に対応するように配置される複数のカラーフィルタから構成されるカラーフィルタアレイが設けられた撮像素子と、
前記複数のカラーフィルタの画素値を用いて画像を生成する第１のモードと前記複数のカラーフィルタの画素値を所定数毎に加算して、複数の所定のカラーフィルタの分光特性に対応する画素値を求めて画像を生成する第２のモードとを選択する選択手段と、
前記選択手段によって前記第１のモードが選択された場合、前記撮像素子に対して、前記複数のカラーフィルタの画素値を出力させて画像を生成し、前記選択手段によって前記第２のモードが選択された場合、前記撮像素子に対して、前記複数のカラーフィルタの画素値を所定数毎に加算して、複数の所定のカラーフィルタの有する分光特性に対応する画素値を出力させて画像を生成する制御を行う制御手段と、
を備えることを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記複数のカラーフィルタは、前記各所定のカラーフィルタの有する分光特性を加算して再現するために用いられるカラーフィルタ毎に隣接して領域を形成し、前記領域が所定のパターンで配置されていることを特徴とする撮像装置。
【請求項３】
請求項２に記載の撮像装置において、
前記制御手段は、
前記選択手段によって前記第１のモードが選択された場合、
前記各画素の位置に対応するカラーフィルタとは異なる他のカラーフィルタの画素値を、前記各画素が含まれる前記領域に隣接する他の複数の領域の各々における前記他のカラーフィルタを有する画素の画素値を用いて補間する補間手段と、
前記各領域での前記複数のカラーフィルタの画素値を用いて、前記複数の所定のカラーフィルタの分光特性それぞれに対応する画素値を算出する算出手段と、
を備えることを特徴とする撮像装置。
【請求項４】
請求項１ないし請求項３のいずれか１項に記載の撮像装置によって撮像された画像データを読み込む入力ステップと、
前記画像データに対して、前記第１のモード又は前記第２のモードのいずれかを行うかの指示を受け付ける指示入力ステップと、
前記指示入力ステップで受け付けた指示に応じて、複数のカラーフィルタの画素値を用いた画像を生成し、又は前記複数のカラーフィルタの画素値を所定数毎に加算して、複数の所定のカラーフィルタの分光特性に対応する画素値を求めて画像を生成する画像生成ステップと、
を備えコンピュータに実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、高感度又は高色分解での撮像や画像処理の切り替え可能な撮像装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
従来、単板式の撮像素子を有したデジタルカメラやデジタルビデオカメラ等において、被写体像の高色分解性（又は色再現性）を向上させるための様々な技術が開発されてきている。
【０００３】
例えば、特許文献１は、高色分解性を向上させるために、分光透過率特性の平均波長が異なる５種類以上のカラーフィルタからなるカラーフィルタアレイが設けられた撮像素子を用いて被写体像を撮像して、各画素において出力される出力信号とは異なる色の信号をその近傍の画素の出力信号に基づいた補間処理を行うことによって、高色分解性に優れ、明るさに対する感度を高くする技術を開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−２８６６４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１のような従来技術の手法では、高色分解性を向上させようとして、５種類以上というカラーフィルタの数を多くすることにより、各カラーフィルタの取り込むことのできる光量が少なくなってしまい、ＳＮ比が悪くなり、明るさに対する感度を高くすることが困難である。
【０００６】
上記従来技術が有する問題に鑑み、本発明の目的は、ＳＮ比を悪くすることなく、画像の高色分解性の向上を図ることができる技術を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明の撮像装置は、受光面に複数の画素がマトリックス状に設けられ、受光面の前面に複数の画素の各々に対応するように配置される複数のカラーフィルタから構成されるカラーフィルタアレイが設けられた撮像素子と、複数のカラーフィルタの画素値を用いて画像を生成する第１のモードと複数のカラーフィルタの画素値を所定数毎に加算して、複数の所定のカラーフィルタの分光特性に対応する画素値を求めて画像を生成する第２のモードとを選択する選択手段と、選択手段によって第１のモードが選択された場合、撮像素子に対して、複数のカラーフィルタの画素値を出力させて画像を生成し、選択手段によって第２のモードが選択された場合、撮像素子に対して、複数のカラーフィルタの画素値を所定数毎に加算して、複数の所定のカラーフィルタの有する分光特性に対応する画素値を出力させて画像を生成する制御を行う制御手段と、を備える。
【０００８】
また、複数のカラーフィルタは、各所定のカラーフィルタの有する分光特性を加算して再現するために用いられるカラーフィルタ毎に隣接して領域を形成し、領域が所定のパターンで配置されても良い。
【０００９】
また、制御手段は、選択手段によって第１のモードが選択された場合、各画素の位置に対応するカラーフィルタとは異なる他のカラーフィルタの画素値を、各画素が含まれる領域に隣接する他の複数の領域の各々における他のカラーフィルタを有する画素の画素値を用いて補間する補間手段と、各領域での複数のカラーフィルタの画素値を用いて、複数の所定のカラーフィルタの分光特性それぞれに対応する画素値を算出する算出手段と、を備えても良い。
【００１０】
本発明の画像処理プログラムは、本発明の撮像装置によって撮像された画像データを読み込む入力ステップと、画像データに対して、第１のモード又は第２のモードのいずれかを行うかの指示を受け付ける指示入力ステップと、指示入力ステップで受け付けた指示に応じて、複数のカラーフィルタの画素値を用いた画像を生成し、又は複数のカラーフィルタの画素値を所定数毎に加算して、複数の所定のカラーフィルタの分光特性に対応する画素値を求めて画像を生成する画像生成ステップと、を備えコンピュータに実行させる。
【発明の効果】
【００１１】
本発明によれば、ＳＮ比を悪くすることなく、画像の高色分解性の向上を図ることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一の実施形態に係るデジタルカメラ１００の構成例を示す模式図
【図２】一の実施形態に係るデジタルカメラ１００の撮像素子３の画素配列の一部を示す図
【図３】基準となるカラーフィルタＲを４つの異なる分光特性のピークを有するカラーフィルタＲ１〜Ｒ４に分割する一例を示す図。
【図４】一の実施形態に係るデジタルカメラ１００による撮像動作を示すフローチャート
【図５】本発明の他の実施形態に係るコンピュータ２００の構成例を示す模式図
【図６】他の実施形態に係るコンピュータ２００による画像処理を示すフローチャート
【発明を実施するための形態】
【００１３】
≪一の実施形態≫
図１は、本発明の一の実施形態に係るデジタルカメラ１００の構成図である。
【００１４】
デジタルカメラ１００は、撮像レンズ１、光学ローパスフィルタ（ＯＬＰＦ）２、撮像素子３、Ａ／Ｄ変換部４、ＣＰＵ５、バッファメモリ６、カードインタフェース（カードＩ／Ｆ）７、操作部材９、記憶部１０及び表示部１１から構成される。ＣＰＵ５、バッファメモリ６、カードＩ／Ｆ７、操作部材９、記憶部１０及び表示部１１は、バス１２を介して情報伝達可能に接続されている。なお、図１はデジタルカメラ１００の主要部分のみを示す。例えば、図１において、ＣＰＵ５の指令に従って、撮像素子３及びＡ／Ｄ変換部４に撮影指示のタイミングパルスを発するタイミングジェネレータや撮像素子３の受光面の前面に設けられるカラーフィルタアレイ等は省略されている。
【００１５】
撮像レンズ１は、複数の光学レンズにより構成され、ＯＬＰＦ２を介して、被写体像を撮像素子３の受光面に結像する。
【００１６】
ＯＬＰＦ２は、撮像レンズ１を介して、被写体像からの入射光のサンプリング周波数近辺をカットすることにより、モアレ等のノイズを除去する。なお、本実施形態では、後述するように、２画素×２画素を１画素のように扱うため、ＯＬＰＦ２の分離幅は、図２に示す撮像素子３の画素配列（一部）が示すように、画素ピッチｄ１ではなく、画素ピッチｄ２を基準として設計されたものを用いる。
【００１７】
撮像素子３は、ＣＣＤやＣＭＯＳの半導体イメージセンサ等を適宜選択して用いる。ただし、本実施形態において、図２に示すように、撮像素子３の受光面の前面に設けられるカラーフィルタアレイを構成する各カラーフィルタＲ（赤）、Ｇ（緑）及びＢ（青）は、２画素×２画素を１画素とした場合においてベイヤ配列型となるように配置されている。さらに、本実施形態では、各カラーフィルタＲ、Ｇ及びＢは、例えば、図３に示すカラーフィルタＲの場合のように、カラーフィルタＲの有する分光特性のスペクトルを、４つの相異なる分光特性のピークを有するカラーフィルタＲ１〜Ｒ４に分割される。他のカラーフィルタＧ及びＢについても同様である。これにより、撮像素子３は、１２色のカラーフィルタを有したカラーフィルタアレイに相当し、高色分解性を図ることできる。また、カラーフィルタＲ１〜Ｒ４、カラーフィルタＧ１〜Ｇ４及びカラーフィルタＢ１〜Ｂ４のそれぞれを加算することにより、各カラーフィルタＲ、Ｇ及びＢが有する分光特性のピークを有するスペクトルを再現することができ、高感度性も図ることができる。
【００１８】
なお、図３に示すように、４つのカラーフィルタＲ１〜Ｒ４のピーク及びスペクトル幅は互いに異なっているが、ピーク位置を除いて、全て同じピーク値及びスペクトル幅を持っていても良い。また、図２は、撮像素子３の画素配列の一部を示し、各画素の先頭の記号Ｒ、Ｇ及びＢは、基準となるカラーフィルタを示し、それに続く番号は、図３に示すような、基準となるカラーフィルタを分割した時のものであるかを示す。さらに、それら続く２桁の番号は画素の位置を示し、左上を基準にしている。
【００１９】
この撮像素子３は、ＣＰＵ５の指令を受けてタイミングジェネレータ（不図示）が発するタイミングパルスに基づいて動作し、前方に設けられた撮像レンズ１によって結像される被写体像を取得する。撮像素子３から出力された画像信号は、Ａ／Ｄ変換部４にてデジタル信号に変換される。デジタルの画像信号は、フレームメモリ（不図示）に一時的に記録された後、バッファメモリ６に記録される。なお、本実施形態における撮像素子３は、後述するように、全ての画素からの画像信号、即ちカラーフィルタＲ１〜Ｒ４、カラーフィルタＧ１〜Ｇ４及びカラーフィルタＢ１〜Ｂ４の画素値を出力する高色分解モードと、カラーフィルタＲ１〜Ｒ４、カラーフィルタＧ１〜Ｇ４及びカラーフィルタＢ１〜Ｂ４の２画素×２画素を１画素として加算して画像信号を出力する高感度モードとの２つのモードがある。また、バッファメモリ６には、半導体メモリのうち、任意の不揮発性メモリを適宜選択して用いることができる。
【００２０】
ＣＰＵ５は、ユーザによって操作部材９の電源釦が押されると、デジタルカメラ１００の電源が入れられる。ＣＰＵ５は、記憶部１０に記憶されている制御プログラム及び画像処理プログラムを読み込み、デジタルカメラ１００を初期化する。ＣＰＵ５は、操作部材９を介してユーザからの指示を受け付けると、制御プログラムに基づいて、タイミングジェネレータ（不図示）に被写体の撮像指令を出力するとともに、画像処理プログラムに基づいて、撮像した画像のホワイトバランス補正、画素値の補間処理、γ補正や階調補正等の画像処理、カードメモリ８や記録部１０への記録、及び表示部１１への表示等の制御を行う。ＣＰＵ５には、一般的な中央演算装置が使用できる。
【００２１】
カードＩ／Ｆ７には、カードメモリ８が脱着可能に装着される。バッファメモリ６に記録されている画像は、ＣＰＵ５で画像処理された後、ＪＰＥＧ形式やＹＵＶ形式等のファイルとしてカードメモリ８に記録される。
【００２２】
操作部材９は、ユーザによる部材操作の内容に応じた操作信号をＣＰＵ５に出力する。操作部材９には、例えば、電源釦、撮影モード等のモード設定釦及びレリーズ釦等の操作部材を有する。なお、操作部材９は、後述する表示部１１の画面の前面に設けられるタッチパネル形式の釦であっても良い。
【００２３】
記憶部１０は、デジタルカメラ１００が撮像した画像データを記録するとともに、ＣＰＵ５がデジタルカメラ１００を制御するための制御プログラムや画像処理プログラム等の各種プログラム等を記憶する。記憶部１０に記憶されるプログラムやデータは、バス１２を介して、ＣＰＵ５から適宜参照することができる。記憶部１０は、一般的なハードディスク装置、光磁気ディスク装置又は任意の不揮発性の半導体メモリ等を適宜選択して用いることができる。
【００２４】
表示部１１は、構図確認用の低解像度画像（いわゆる、スルー画）や撮影した画像又はモード設定画面等を表示する。表示部１１には、液晶モニタ等を適宜選択して用いることができる。
【００２５】
次に、本実施形態に係るデジタルカメラ１００の撮像動作について、図４のフローチャートを参照しながら説明する。
【００２６】
ユーザにより操作部材９の電源釦が押されると、ＣＰＵ５は、デジタルカメラ１００の記憶部１０に記憶されている制御プログラム及び画像処理プログラムを読み込み、デジタルカメラ１００を初期化して、ステップＳ１０からの処理を行う。なお、以下の説明では、図２に示す、画素Ｒ１_３３、Ｒ２_３４、Ｒ３_４３及びＲ４_４４に対する画素値の処理を例にしながら説明する。そして、他の画素についても同様の処理が行われる。
【００２７】
ステップＳ１０：ＣＰＵ５は、ユーザによる操作部材９のモード設定釦の操作を介して、ポートレートや風景等の撮影モードの設定とともに、高色分解モード又は高感度モードの設定を行う。なお、撮影モードの設定がなされると、それに伴って高色分解モード又は高感度モードの設定が決定されても良い。
【００２８】
ステップＳ１１：ＣＰＵ５は、ユーザによって高色分解モードが選択設定されているか否かを判定する。ＣＰＵ５は、高色分解モードが設定されていると判定した場合、ステップＳ１２（ＹＥＳ側）へ移行し、高感度モードが設定されていると判定した場合、ステップＳ１８（ＮＯ側）へ移行する。
【００２９】
ステップＳ１２：ＣＰＵ５は、ユーザからの被写体像の撮像指示が出されるまで待機する。ユーザによって操作部材９のレリーズ釦が押されると、ＣＰＵ５は、撮像指示が出されたと判断して、タイミングジェネレータ（不図示）に対して、撮像素子３に高色分解モードでの撮像指令のタイミングパルスを発して、撮像素子３に撮像レンズ１によって結像された被写体像を取得させる。撮像素子３は、タイミングジェネレータ（不図示）が発する全画素の画素値の出力を指示するタイミングパルスに基づいて、全画素の画素値の画像信号を出力し、Ａ／Ｄ変換部４を介して、バッファメモリ６に記録する。なお、ＣＰＵ５は、バッファメモリ６に記録されるＲＡＷデータである画像データを、後述する本発明の他の実施形態におけるコンピュータ２００において、本実施形態と同様の画像処理を行うために、撮像日時、露光時間やＩＳＯ感度等の撮像情報とともに、高色分解モードをヘッダ情報として付加したＲＡＷ画像ファイルを、カードメモリ８や記憶部１０に記録しても良い。
【００３０】
ステップＳ１３：ＣＰＵ５は、高色分解モードで撮像された画像データを、バス１２を介して、バッファメモリ６から読み込み、ＣＰＵ５内のメモリ（不図示）に記録する。ＣＰＵ５は、画像処理プログラムに従って、画像データに対してホワイトバランス処理を行う。
【００３１】
ステップＳ１４：ＣＰＵ５は、各画素に対応するカラーフィルタとは異なる他のカラーフィルタの画素値を補間処理に基づいて取得する。具体的には、ＣＰＵ５は、Ｒ１_３３の位置におけるカラーフィルタＧ及びカラーフィルタＢの画素値を、例えば、画素Ｒ１_３３、Ｒ２_３４、Ｒ３_４３及びＲ４_４４を２画素×２画素を１つの領域と見なして、その領域に隣接するＧ及びＢの領域の画素値を、次式（１）及び次式（２）を用いて算出する。
Ｇ１_３３＝（Ｇ１_３１＋Ｇ１_１３＋Ｇ１_３５＋Ｇ１_５３）／４    （１）
Ｇ２_３４＝（Ｇ２_３２＋Ｇ２_１４＋Ｇ２_３６＋Ｇ２_５４）／４
Ｇ３_４３＝（Ｇ３_４１＋Ｇ３_２３＋Ｇ３_４５＋Ｇ３_６３）／４
Ｇ４_４４＝（Ｇ４_４２＋Ｇ４_２４＋Ｇ４_４６＋Ｇ４_６４）／４
Ｂ１_３３＝（Ｂ１_１１＋Ｂ１_１５＋Ｂ１_５５＋Ｂ１_５１）／４    （２）
Ｂ２_３４＝（Ｂ２_１２＋Ｂ２_１６＋Ｂ２_５６＋Ｂ２_５２）／４
Ｂ３_４３＝（Ｂ３_２１＋Ｂ３_２５＋Ｂ３_６５＋Ｂ３_６１）／４
Ｂ４_４４＝（Ｂ４_２２＋Ｂ４_２６＋Ｂ４_６６＋Ｂ４_６２）／４
なお、本実施形態では、式（１）及び式（２）において、例えば、画素Ｒ１_３３の位置において、その画素が含まれる領域に隣接する他の複数の領域で且つその画素が位置するところと同じ位置にある他のカラーフィルタを有する画素（Ｇ１_３１やＢ１_１１等）の画素値を用いて補間する。
【００３２】
ステップＳ１５：ＣＰＵ５は、ステップＳ１４の補間処理によって求めた、各画素位置における、例えば、（Ｒ１_３３，Ｇ１_３３，Ｂ１_３３）、（Ｒ２_３４，Ｇ２_３４，Ｂ２_３４）、（Ｒ３_４３，Ｇ３_４３，Ｂ３_４３）、及び（Ｒ４_４４，Ｇ４_４４，Ｂ４_４４）の画素値を、次式（３）に代入して加算することにより、画素Ｒ１_３３、Ｒ２_３４、Ｒ３_４３及びＲ４_４４からなる２画素×２画素の領域を１画素とし、高色分解処理された基準となる各カラーフィルタＲ３３、Ｇ３３及びＢ３３の画素値を算出する。
【００３３】
【数１】
2010252089.tif 000003
ここで、行列の各パラメータｍｉｊ（ｉ＝１，２，３、ｊ＝１，２，…，１２）の値は、製造段階で予め決められる。また、Ｒ３３、Ｇ３３及びＢ３３は、画素Ｒ１_３３、Ｒ２_３４、Ｒ３_４３及びＲ４_４４からなる２画素×２画素の領域の加算した画素値を表し、その領域の位置を表すためにその領域のうち左上にある画素の位置の２桁の番号を用いて表している。この式（３）による加算処理によって、高色分解を維持するとともに、４画素を１画素として加算することにより、高感度性も図ることができる。
【００３４】
ステップＳ１６：ＣＰＵ５は、ステップＳ１５又は後述するステップＳ２０で処理された画像データに対して、γ補正や階調補正等の画像処理を施す。
【００３５】
ステップＳ１７：ＣＰＵ５は、ＣＰＵ５内のメモリ（不図示）に記録されている処理された画像データをＪＰＥＧ形式やＹＵＶ形式等のファイルにして、バス１２とカードＩ／Ｆ７とを介して、カードメモリ８に記録するとともに、表示部１１に処理した画像データを表示して、一連の作業を終了する。
【００３６】
ステップＳ１８：ＣＰＵ５は、ユーザからの被写体像の撮像指示が出されるまで待機する。ユーザによって操作部材９のレリーズ釦が押されると、ＣＰＵ５は、撮像指示が出されたと判断して、タイミングジェネレータ（不図示）に対して、撮像素子３に高感度モードでの撮像指令のタイミングパルスを発して、撮像素子３に撮像レンズ１によって結像された被写体像を取得させる。撮像素子３は、タイミングジェネレータ（不図示）が発するタイミングパルスに基づいて、例えば、画素Ｒ１_３３、Ｒ２_３４、Ｒ３_４３及びＲ４_４４からなる２画素×２画素の領域の画素値を、次式（４）を用いて１画素の画素値として加算した画像信号を出力し、Ａ／Ｄ変換部４を介して、バッファメモリ６に記録する。なお、ＣＰＵ５は、バッファメモリ６に記録されるＲＡＷデータである画像データを、後述する本発明の他の実施形態におけるコンピュータ２００において、本実施形態と同様の画像処理を行うために、撮像日時、露光時間やＩＳＯ感度等の撮像情報とともに、高感度モードをヘッダ情報として付加したＲＡＷ画像ファイルを、カードメモリ８や記憶部１０に記録しても良い。
Ｒ３３＝Ｒ１_３３＋Ｒ２_３４＋Ｒ３_４３＋Ｒ４_４４          （４）
なお、Ｒ３３は、画素Ｒ１_３３、Ｒ２_３４、Ｒ３_４３及びＲ４_４４からなる２画素×２画素の領域の加算した基準となるカラーフィルタＲの画素値を表し、その領域の位置を表すためにその領域のうち左上にある画素の位置の２桁の番号を用いて表している。
【００３７】
ステップＳ１９：ＣＰＵ５は、高感度モードで撮像された画像データを、バス１２を介して、バッファメモリ６から読み込み、ＣＰＵ５内のメモリ（不図示）に記録する。ＣＰＵ５は、画像処理プログラムに従って、画像データに対してホワイトバランス処理を行う。
【００３８】
ステップＳ２０：ＣＰＵ５は、各領域のカラーフィルタとは異なる他のカラーフィルタの画素値を補間処理に基づいて取得する。具体的には、ＣＰＵ５は、領域Ｒ３３の位置における基準となるカラーフィルタＧ及びＢの画素値を、例えば、その領域Ｒ３３に隣接するカラーフィルタＧ及びＢの領域の画素値を、次式（５）及び次式（６）のような補間処理の式を用いて算出する。
Ｇ３３＝（Ｇ３１＋Ｇ１３＋Ｇ３５＋Ｇ５３）／４    （５）
Ｂ３３＝（Ｂ１１＋Ｂ１５＋Ｂ５５＋Ｂ５１）／４    （６）
ＣＰＵ５は、ステップＳ１６へ移行して、ステップＳ１６とステップＳ１７との処理を行い、一連の作業を終了する。
【００３９】
このように、本実施形態では、基準となる分光特性を有するカラーフィルタＲ、Ｇ及びＢの各々を、４つの異なる分光特性のピークを有するカラーフィルタＲ１〜Ｒ４、カラーフィルタＧ１〜Ｇ４及びカラーフィルタＢ１〜Ｂ４に分割し、それらを２画素×２画素の領域を形成し、ベイヤ型配列で配列されたカラーフィルタアレイを有する撮像素子３で撮像された画像を、逆に２画素×２画素を１画素として扱い処理することで、ＳＮ比を悪くすることなく、高感度を維持するとともに、高色分解性の向上を図ることができる。
【００４０】
また、１台のデジタルカメラ１００で、ユーザによる高色分解モードや高感度モードの設定又は撮像モードの設定に応じて適宜切り替えて、被写体像の撮像を行うことができる。
≪他の実施形態≫
図５は、本発明の他の実施形態に係る画像処理プログラムをコンピュータ２００へ適用した場合の概念図である。
【００４１】
図１に示すコンピュータ２００は、ＣＰＵ２０、記憶部３０、入出力インタフェース（入出力Ｉ／Ｆ）４０及びバス５０から構成され、ＣＰＵ２０、記憶部３０及び入出力Ｉ／Ｆ４０は、バス５０を介して情報伝達可能に接続される。また、コンピュータ２００には、入出力Ｉ／Ｆ４０を介して、画像処理の途中経過や処理結果を表示する出力装置６０、ユーザからの入力を受け付ける入力装置７０がそれぞれ接続される。出力装置６０には、一般的な液晶モニタやプリンタ等を用いることができ、入力装置７０には、キーボードやマウス等をそれぞれ適宜選択して使用できる。
【００４２】
ＣＰＵ２０は、入力装置７０で受け付けたユーザからの指示に基づいて、記憶部３０に記憶されている画像処理プログラムを読み込み、記憶部３０に記憶されている画像データの画像処理を行う。ＣＰＵ２０は、その画像データの画像処理の結果を、出力装置６０に表示する。ＣＰＵ２０には、一般的な中央演算装置を用いることができる。
【００４３】
記憶部３０は、一の実施形態に係るデジタルカメラ１００で撮像された被写体像のＲＡＷ画像データ、及びその画像データに対する画像処理プログラム等を記録する。また、記憶部３０は、一の実施形態でも用いた式（３）の製造段階で予め決められる行列の各パラメータｍｉｊ（ｉ＝１，２，３、ｊ＝１，２，…，１２）の値も記録している。記憶部３０に記憶されるデータやプログラム等は、バス５０を介して、ＣＰＵ２０から適宜参照することができる。記憶部３０には、一般的なハードディスク装置、光磁気ディスク装置等の記憶装置を選択して用いることができる。
【００４４】
なお、本実施形態において、記憶部３０に記録される一の実施形態に係るデジタルカメラ１００で撮像されたＲＡＷ画像データは、不図示であるが、入出力Ｉ／Ｆ４０に設けられているカードＩ／Ｆに、カードメモリ８を差し込まれることで、或いは、一の実施形態に係るデジタルカメラ１００と入出力Ｉ／Ｆ４０とをＵＳＢケーブル等で接続することで、コンピュータ２００に転送されて記憶部３０に記録される。また、図５の記憶部３０は、コンピュータ２００に組み込まれているが、外付けの記憶装置でも良い。この場合、記憶部３０は、入出力Ｉ／Ｆ４０を介して、ＵＳＢケーブル等でコンピュータ２００に接続される。
【００４５】
次に、本実施形態に係るコンピュータ２００による画像処理の手順について、図６のフローチャートを参照しながら説明する。
【００４６】
ユーザが、入力装置７０を用いて、画像処理プログラムのコマンドを入力又はそのプログラムのアイコンをダブルクリックすることにより、プログラムの起動命令を出す。ＣＰＵ２０は、その命令を入出力Ｉ／Ｆ４０を介して受け付け、記憶部３０に記憶されている画像処理プログラムと式（３）の行列のパラメータｍｉｊを読み込み実行する。その結果、図６のステップＳ３０からの処理が行われる。なお、以下の説明では、図２に示す、画素Ｒ１_３３、Ｒ２_３４、Ｒ３_４３及びＲ４_４４に対する画素値の処理を例にしながら説明する。そして、他の画素についても同様の処理が行われる。
【００４７】
ステップＳ３０：ＣＰＵ２０は、ユーザによる入力装置７０の入力操作に基づいて、どのＲＡＷ画像データのファイル名を受け付ける。ＣＰＵ２０は、ユーザによる入力装置７０によって指定されたファイル名を有するＲＡＷ画像データを記憶部３０から読み込み、ＣＰＵ２０内のメモリ（不図示）に記録する。
【００４８】
ステップＳ３１：ＣＰＵ２０は、読み込んだＲＡＷ画像データのヘッダ情報を参照することにより、高色分解モードが選択設定されているか否かを判定する。ＣＰＵ２０は、高色分解モードが設定されていると判定した場合、ステップＳ３２（ＹＥＳ側）へ移行し、高感度モードが設定されていると判定した場合、ステップＳ３７（ＮＯ側）へ移行する。
【００４９】
ステップＳ３２： ＣＰＵ２０は、画像処理プログラムに従って、ＲＡＷ画像データに対してホワイトバランス処理を行う。
【００５０】
ステップＳ３３：ＣＰＵ２０は、一の実施形態のステップＳ１４と同様の処理に基づいて、各画素のカラーフィルタとは異なる他のカラーフィルタの画素値を、式（１）及び式（２）を用いた補間処理によって取得する。
【００５１】
ステップＳ３４：ＣＰＵ２０は、ステップＳ３３の補間処理によって求めた、各画素位置における、例えば、（Ｒ１_３３，Ｇ１_３３，Ｂ１_３３）、（Ｒ２_３４，Ｇ２_３４，Ｂ２_３４）、（Ｒ３_４３，Ｇ３_４３，Ｂ３_４３）、及び（Ｒ４_４４，Ｇ４_４４，Ｂ４_４４）の画素値を、式（３）に代入して加算することにより、画素Ｒ１_３３、Ｒ２_３４、Ｒ３_４３及びＲ４_４４からなる２画素×２画素の領域を１画素とし、高色分解処理された基準となる各カラーフィルタＲ３３、Ｇ３３及びＢ３３の画素値を算出する。
【００５２】
ステップＳ３５：ＣＰＵ２０は、ステップＳ３４又は後述するステップＳ３８で処理された画像データに対して、γ補正や階調補正等の画像処理を施す。
【００５３】
ステップＳ３６：ＣＰＵ２０は、ＣＰＵ２０内のメモリ（不図示）に記録されている処理された画像データをＪＰＥＧ形式やＹＵＶ形式等のファイルにして、バス５０を介して、記憶部３０に記録するとともに、入出力Ｉ／Ｆ４０を介して、出力装置６０に処理した画像データを表示して、一連の作業を終了する。
【００５４】
ステップＳ３７： ＣＰＵ２０は、画像処理プログラムに従って、ＲＡＷ画像データに対してホワイトバランス処理を行う。
【００５５】
ステップＳ３８：ＣＰＵ２０は、一の実施形態のステップＳ２０と同様の処理に基づいて、各領域のカラーフィルタとは異なる他のカラーフィルタの画素値を、式（５）及び式（６）を用いた補間処理によって取得する。ＣＰＵ２０は、ステップＳ３５へ移行して、ステップＳ３５とステップＳ３６との処理を行い、一連の作業を終了する。
【００５６】
このように、本実施形態では、基準となる分光特性を有するカラーフィルタＲ、Ｇ及びＢの各々を、４つの異なる分光特性のピークを有するカラーフィルタＲ１〜Ｒ４、カラーフィルタＧ１〜Ｇ４及びカラーフィルタＢ１〜Ｂ４に分割し、それらを２画素×２画素の領域を形成して、ベイヤ型配列で配列されたカラーフィルタアレイを有する撮像素子３で撮像されたＲＡＷ画像データを、逆に２画素×２画素を１画素として扱う画像処理を施すことにより、ＳＮ比を悪くすることなく、高感度を維持するとともに、高色分解性の向上を図ることができる。
≪実施形態の補足事項≫
一の実施形態及び他の実施形態では、基準となる分光特性を有するカラーフィルタＲ、Ｇ及びＢの各々を、４つの異なる分光特性のピークを有するカラーフィルタＲ１〜Ｒ４、カラーフィルタＧ１〜Ｇ４及びカラーフィルタＢ１〜Ｂ４に分割したが、本発明はこれに限定されず、２、９又は１６等の任意の数のカラーフィルタに分割しても良い。それに伴い、２画素、３画素×３画素又は４画素×４画素等を１画素として扱うことが好ましい。また、ＯＬＰＦ２の分離幅も３画素ピッチ等に設計されたものを用いることが好ましい。
【００５７】
なお、一の実施形態及び他の実施形態では、ステップＳ１４又はステップＳ３３の高色分解モードによって撮像された画像データの補間処理において、例えば、画素Ｒ１_３３の位置において、その画素が含まれる領域に隣接する他の複数の領域で且つその画素が位置するところと同じ位置にある他のカラーフィルタを有する画素（Ｇ１_３１やＢ１_１１等）の画素値を用いて補間したが、本発明はこれに限定されず、画素Ｒ１_３３が位置するところとは別の位置にある他のカラーフィルタを有する画素の画素値（例えば、Ｇ２_３２やＢ１_１５）を用いて補間して求めても良い。
【００５８】
なお、一の実施形態及び他の実施形態では、静止画の画像データに対して画像処理を行ったが、本発明はこれに限定されず、動画やスルー画に対しても適用可能である。
【００５９】
なお、他の実施形態では、ステップＳ３１において、ＣＰＵ２０は、読み込んだＲＡＷ画像データのヘッダ情報を参照することにより、高色分解モードが選択設定されているか否かを判定したが、本発明はこれに限定されない。例えば、高色分解モードでのＲＡＷ画像データの画素数が高感度モードでの画素数よりも多いことから、画素数を判断基準にしても良いし、入力装置７０を介して、直接ユーザからの高色分解モード又は高感度モードの指定を受け付けるようにしても良い。
【００６０】
本発明は、その精神又はその主要な特徴から逸脱することなく他の様々な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈されてはならない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。
【符号の説明】
【００６１】
１  撮像レンズ、２  ＯＬＰＦ、３  撮像素子、４  Ａ／Ｄ変換部、５  ＣＰＵ、６  バッファメモリ、７  カードＩ／Ｆ、８  カードメモリ、９  操作部材、１０  記憶部、１１  表示部、１２  バス、１００  デジタルカメラ
【図１】
2010252089.tif 000004
【図２】
2010252089.tif 000005
【図３】
2010252089.tif 000006
【図４】
2010252089.tif 000007
【図５】
2010252089.tif 000008
【図６】
2010252089.tif 000009