(57)【要約】【課題】空間解像度を低下させることなく、４色以上の撮像バンド数で被写体を撮像し、３色以上のカラー画像を得ることができ、色再現性の良いマルチバンド撮像方法および装置を提供する。【解決手段】被写体像をＲ、Ｏ、Ｇ、Ｃ、Ｂの５色から成るカラーフィルタ（１１）を有する単板の撮像素子（５）で１回目の撮像をする。次に、制御部４はシフト駆動部（６）により撮像素子（５）をシフトさせ、カラーフィルタ（１１）のＲ、Ｂ、Ｇのフィルタに結像する各光が、それぞれカラーフィルタ１１のＯ、Ｃ、Ｇのフィルタの位置に結像するようにして、２回目の撮像を行う。画像処理部（７）は、１回目の撮像と２回目の撮像とにより得られた撮影画像に基づいて、２つの３バンドベイヤ画像を生成し、これから３色以上のマルチバンド画像を生成する。【選択図】図１
2010010958.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を４色以上のカラーフィルタを有する単板の撮像素子で撮像する方法であって、
前記被写体像を１回目の撮像を行った後、前記カラーフィルタの第１の色のフィルタに結像する各光が、前記カラーフィルタの第１の色とは異なる第２の色のフィルタの位置に結像するように、前記被写体像を所定のシフト量分シフトさせて、２回目の撮像を行う撮像ステップと、
前記１回目の撮像と前記２回目の撮像とにより得られた撮影画像に基づいて、少なくとも３色以上のマルチバンド画像を生成するマルチバンド画像生成ステップと、
を含むことを特徴とするマルチバンド画像撮像方法。
【請求項２】
前記撮像ステップは、
前記１回目の撮像と前記２回目の撮像とを、異なる撮像条件で複数組行う複数組撮像ステップと、前記複数組撮像ステップで得られた複数組の撮影画像から１組の撮影画像を選定する選定ステップとを含み、
前記マルチバンド画像生成ステップは、
前記選定ステップで選定された１組の撮影画像に基づいて、少なくとも３色以上のマルチバンド画像を生成することを特徴とする
請求項１に記載のマルチバンド画像撮像方法。
【請求項３】
被写体像を撮像光学系を介して４色以上のカラーフィルタを有する単板の撮像素子で撮像するマルチバンド画像撮像装置において、
前記カラーフィルタの第１の色のフィルタに結像する各光が、前記カラーフィルタの第１の色とは異なる第２の色のフィルタの位置に結像するように、前記被写体像を選択的にシフトさせるシフト部と、
前記シフト部による前記被写体像のシフトの前後において、前記撮像素子により撮像して得られた２枚の撮影画像に基づいて、少なくとも３色以上のマルチバンド画像を生成する画像処理部と
を備えることを特徴とするマルチバンド画像撮像装置。
【請求項４】
前記シフト部は、前記撮像光学系と前記撮像素子とを撮像平面内で、相対的にシフトさせることを特徴とする請求項３に記載のマルチバンド画像撮像装置。
【請求項５】
前記カラーフィルタは、前記シフトの前において、前記第１の色および前記第２の色とは異なる第３の色のフィルタに結像した各光が、前記シフトの後において、前記第３の色と同じ色のフィルタの位置に結像するように配列されていることを特徴とする請求項３または４に記載のマルチバンド画像撮像装置。
【請求項６】
前記画像処理部は、前記シフトの前後においてそれぞれ撮像して得た２枚の撮影画像に基づいて、前記撮像バンド数より少ないバンド数を有する２枚の画像を生成し、該２枚の画像に対してそれぞれデモザイキング処理を行うことにより、マルチバンド画像を生成するマルチバンド画像合成部を備えることを特徴とする請求項３〜５のいずれか一項に記載のマルチバンド画像撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を４色以上の撮像バンド数で撮像する単板式の撮像装置に関するものである。
【背景技術】
【０００２】
従来、撮像装置には３原色のフィルタが用いられている。しかし、この３原色のフィルタでは色再現性が必ずしも良くないため、色フィルタの数を増やしてマルチバンド化することにより色再現性を向上することが試みられている。
【０００３】
例えば、マルチバンド化の方法としては、撮像光学系の光路中に設けた複数の色のフィルタを切り替えて、各色に対応する画像を順次取り込み、その後各画像を合成してカラー画像を得るもの（例えば、特許文献１参照）や、被写体からの入射光をハーフミラーやダイクロイックミラーで分離して、分離したそれぞれの入射光から、波長の異なる３色の分光画像を取得し、合計６色の画像を取得するようにしたもの（例えば、特許文献２参照）、単板型の撮像装置において、４色以上のフィルタを有する撮像素子を使用して撮像するもの（例えば、特許文献３参照）などが知られている。
【０００４】
とくに、４色以上のフィルタを使用する単板型撮像装置は、フィルタの入れ替え機構や光路の分割が不要なため、小型化が可能であり撮像時間を短時間にすることもできるという利点がある。
【０００５】
たとえば、特許文献３に記載の撮像装置では、図１６に示すように、被写体からの光をレンズ１０１で集光して規則的に配列された６色のカラーフィルタ１０２を経て、撮像素子１０３で受光し、アナログ信号に変換する。その後、このアナログ信号は、ゲイン調整部１０４を経由して、Ａ／Ｄ変換部１０５でデジタル信号に変換される。さらに、撮像素子１０３で得られる１画素あたり１色の信号をマルチバンド色補間処理部１０６で補間処理することにより１画素あたり６色のデジタル信号に変換し、露出・色調整および画像出力フォーマット変換部１０７を経て、画像出力インタフェース１０８から６色の画像信号として出力する。なお、露出・色調整および画像出力フォーマット変換部１０７は、適切な露出の画像信号が得られるように、ゲイン調整部４の各色信号のゲインを決定するとともに、各色信号の信号レベル分布などに基づき、撮像素子３の露光時間を決定する。
【０００６】
【特許文献１】特開２００６−３１４０４３号公報
【特許文献２】特開２００４−１７２８３２号公報
【特許文献３】特開２００５−２８６６４９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述のようなカラーフィルタを用いたマルチバンド画像撮像装置では、撮像素子の各画素に対して１色のフィルタが対応するため、その画素について他の色の信号を得ることができない。このため、上述の例のように、その画素の他の色信号については、周辺の画素信号から補間処理によって導出している。その結果、より多くの波長域でマルチバンド化するほど、各バンド画像の空間解像度が低下し、偽色等の発生が大きくなるという問題点がある。
【０００８】
したがって、かかる点に着目してなされた本発明の目的は、空間解像度を低下させることなく、４色以上の撮像バンド数で被写体を撮像し、３色以上のカラー画像を得ることができる、色再現性に優れたマルチバンド撮像方法および装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成する請求項１に記載のマルチバンド画像撮像方法の発明は、被写体像を４色以上のカラーフィルタを有する単板の撮像素子で撮像する方法であって、前記被写体像を１回目の撮像を行った後、前記カラーフィルタの第１の色のフィルタに結像する各光が、前記カラーフィルタの第１の色とは異なる第２の色のフィルタの位置に結像するように、前記被写体像を所定のシフト量分シフトさせて、２回目の撮像を行う撮像ステップと、  前記1回目の撮像と前記２回目の撮像とにより得られた撮影画像に基づいて、少なくとも３色以上のマルチバンド画像を生成するマルチバンド画像生成ステップと、を含むことを特徴とするものである。
【００１０】
請求項２に記載の発明は、請求項１に記載のマルチバンド画像撮像方法において、前記撮像ステップは、前記１回目の撮像と前記２回目の撮像とを、異なる撮像条件で複数組行う複数組撮像ステップと、前記複数組撮像ステップで得られた複数組の撮影画像から１組の撮影画像を選定する選定ステップとを含み、前記マルチバンド画像生成ステップは、前記選定ステップで選定された１組の撮影画像に基づいて、少なくとも３色以上のマルチバンド画像を生成することを特徴とするものである。
【００１１】
請求項３に記載のマルチバンド画像撮像装置の発明は、被写体像を撮像光学系を介して４色以上のカラーフィルタを有する単板の撮像素子で撮像するマルチバンド画像撮像装置において、前記カラーフィルタの第１の色のフィルタに結像する各光が、前記カラーフィルタの第１の色とは異なる第２の色のフィルタの位置に結像するように、前記被写体像を選択的にシフトさせるシフト部と、前記シフト部による前記被写体像のシフトの前後において、前記撮像素子により撮像して得られた２枚の撮影画像に基づいて、少なくとも３色以上のマルチバンド画像を生成する画像処理部とを備えることを特徴とするものである。
【００１２】
請求項４に記載の発明は、請求項３に記載のマルチバンド画像撮像装置において、前記シフト部は、前記撮像光学系と前記撮像素子とを撮像平面内で、相対的にシフトさせることを特徴とするものである。
【００１３】
請求項５に記載の発明は、請求項３または４に記載のマルチバンド画像撮像装置において、前記カラーフィルタは、前記シフトの前において、前記第１の色および前記第２の色とは異なる第３の色のフィルタに結像した各光が、前記シフトの後において、前記第３の色と同じ色のフィルタの位置に結像するように配列されていることを特徴とするものである。
【００１４】
請求項６に記載の発明は、請求項３〜５のいずれか一項に記載のマルチバンド画像撮像装置において、前記画像処理部は、前記シフトの前後においてそれぞれ撮像して得た２枚の撮影画像に基づいて、前記撮像バンド数より少ないバンド数を有する２枚の画像を生成し、該２枚の画像に対してそれぞれデモザイキング処理を行うことにより、マルチバンド画像を生成するマルチバンド画像合成部を備えることを特徴とするものである。
【発明の効果】
【００１５】
本発明によれば、４色以上のカラーフィルタを有する単板の撮像素子を用い、被写体像を１回目の撮像を行った後、カラーフィルタの第１の色のフィルタに結像する各光が、カラーフィルタの第１の色とは異なる第２の色のフィルタの位置に結像するように、被写体像を所定のシフト量分シフトさせて、２回目の撮像を行い、１回目の撮像と２回目の撮像とにより得られた撮影画像に基づいて、少なくとも３色以上のマルチバンド画像を生成するようにしたので、３色の撮像バンドで撮像する場合と比較して、空間解像度を低下させることなく、４色以上の撮像バンド数で被写体を撮像し、３色以上のカラー画像を得ることができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施の形態について、図を参照して説明する。
【００１７】
[第１実施の形態]
図１は、本発明の第１実施の形態に係るマルチバンド画像撮像装置の概略構成を示すブロック図である。このマルチバンド画像撮像装置１は、５色のフィルタよりなるカラーフィルタ１１を有する撮像素子５を用い、この撮像素子５をシフトさせて撮像した２枚の画像を合成してマルチバンド画像を生成するものである。
【００１８】
マルチバンド画像撮像装置１は、撮像レンズ２、レリーズボタン３、撮像素子５、シフト駆動部６、画像処理部７、画像記憶部８、および、全体の動作を制御する制御部４を有する。
【００１９】
レリーズボタン３が押下されると、制御部４は、撮像素子５に対して１回目の撮像を指示し、この撮像が完了すると、直ぐに制御部４は、シフト駆動部６によるシフト量を制御して撮像素子５をシフトさせ、その後、撮像素子５に２回目の撮像を指示する。これにより、１回目の撮像と２回目の撮像とを、短時間に連続して行う。ここで、制御部４とシフト駆動部６とは、シフト部を構成する。なお、シフト駆動部６は、手ぶれ補正で撮像素子をシフトさせるために用いられる超音波モータやピエゾ素子などの公知の機構を用いて構成することができる。
【００２０】
次に、撮像素子５のカラーフィルタ１１の画素構成とシフト量とについて説明する。
【００２１】
カラーフィルタ１１は、図２（ａ）に示す単位配列のフィルタを、平面上に繰返し配列して構成される。この図において、Ｒは赤色、Ｏはオレンジ、Ｇは緑色、Ｃはシアン、Ｂは青色の各色を透過するフィルタを示している（以下、適宜赤色をＲ、オレンジをＯ、緑色をＧ、シアンをＣ、青色をＢで表記する）。図２（ａ）に示すように、この単位配列は４行４列の１６画素配列であり、左から順に１行目にはＲＧＯＧ、２行目にはＧＢＧＣ、３行目には１行目と同じくＲＧＯＧ、４行目には２行目と同じくＧＢＧＣの各フィルタが配列されている。なお、以下では上記のような４行４列の単位配列のフィルタを、ＲＧＯＧ−ＧＢＧＣ−ＲＧＯＧ−ＧＢＧＣのように表記する。ここで、Ｒ、Ｏ、Ｇはそれぞれ、第１の色、第２の色、第３の色である。
【００２２】
制御部４は、このフィルタの画素の大きさに応じて、シフト駆動部６により撮像素子５を撮像素子の横方向（以下水平方向という）に２画素分シフトさせる。図２（ｂ）は、カラーフィルタ１１を撮像素子５と一体に（ａ）の状態から左に２画素シフトさせた状態を示している。このシフトにより、被写体像のシフト前のＲフィルタの位置にはＯフィルタが、Ｏフィルタの位置にはＲフィルタが、位置する。ＢフィルタとＣフィルタとについても、シフトの前後で同様の位置変位が生じる。一方、シフト前にＧフィルタがあった位置には、シフト後もＧフィルタが位置している。
【００２３】
このように撮像素子５をシフトさせることによって、図３に示すように、撮像素子５上で被写体３１が結像する画素の位置が変位する。図３は、撮像素子５のシフトの一例を示した図である。ここで、図３（ａ）はシフト前、図３（ｂ）はシフト後を示している。図３（ａ）において、矢印で示した被写体３１の先頭部は、Ｏフィルタに結像し、これによって、Ｏフィルタを透過するＯ成分の画像信号のみを抽出する。次に、撮像素子５が図３（ｂ）に示すように、矢印で示す方向に２画素分シフトすると、同じ被写体３１の先頭部はＲフィルタに結像するので、Ｒフィルタを透過するＲ成分のみが検出される。
【００２４】
図４は、第１実施の形態に係る画像処理部７の概略構成を示す機能ブロック図である。画像処理部７は、マルチバンド画像処理部４１、マルチバンド画像記憶部４２、および、色変換部４３を有する。マルチバンド画像処理部４１は、上記の２回の撮像による２枚の撮影画像の画像信号に基づき、前述のＲＧＢＯＣの各色に対応する５バンドのマルチバンド画像を合成する。この合成されたマルチバンド画像は、マルチバンド画像記憶部４２に一時的に記憶される。色変換部４３は、マルチバンド画像記憶部４２に記憶された５バンドのマルチバンド画像を変換して、３バンドのマルチバンド画像を生成する。
【００２５】
図５は、マルチバンド画像処理部４１の概略構成を示す機能ブロック図である。このマルチバンド画像処理部４１は、撮像素子５で撮像した１回目の撮影画像を記憶する１回目撮影画像記憶部５１、２回目の撮影画像を記憶する２回目撮影画像記憶部５２、１回目の撮影画像および２回目の撮影画像の位置あわせを行う位置あわせ処理部５３、および、後述するマルチバンド画像合成部５４から構成されている。
【００２６】
マルチバンド画像撮像装置１で撮像を行う際に、前述した撮像素子５のシフトによる画素のずれ以外に、手ぶれ等による撮影画像の画素位置のずれが発生する。位置あわせ処理部５３は、これらによる画素位置の水平方向のずれを算出して、そのずれを補正し、２回目の撮影画像に対して、マルチバンド画像合成部５４で処理するための加工を行うものである。
【００２７】
具体的には、位置あわせ処理部５３は、図６に概略構成を示すように、１回目の撮影画像および２回目の撮影画像にそれぞれ対応した、２つのＧ成分抽出部６１、６２、抽出したＧ成分に基づき位置あわせを補正量を算出する位置あわせ量算出部６３、および、この位置あわせ補正量に基づいて、２回目の撮影画像の各画素位置における所望の色画素の画素値を計算する位置あわせ計算部６４を含んで構成される。
【００２８】
位置あわせ量算出部６３は、Ｇ成分抽出部６１、６２で抽出したＧ成分から、１回目の撮影画像および２回目の撮影画像のそれぞれについて、デモザイキング処理を行いＧ成分のみによる画像を生成する。さらに、生成した２つのＧ画像について、水平方向に相対的に変位させつつ相関を計算し、その値が最大となる両画像の相対位置における１回目の撮影画像に対する２回目の撮影画像の画素位置のずれを、上述したシフト駆動部６による撮像素子５のシフト方向を正として、画素数で表したものをずれ量とする。位置あわせ補正は、２回目の撮影画像の画素座標をずれ量に応じて１回目の撮影画像の画素座標に合わせることによって行うことができるので、このずれ量を位置あわせ補正量とも呼ぶ。このずれ量のうち、２画素分は撮像素子５をシフトしたことにより生じたものであるから、実際に手ぶれ等により生じたずれを示すシフト量は、このずれ量から２画素を引いた値となる。
【００２９】
この位置あわせ補正量（ずれ量）の算出処理について、図７を用いてより具体的に説明する。図７は、撮像素子５のカラーフィルタ１１の一部を示しており、Ｒ、Ｏ、Ｇ、Ｃ、Ｂは各画素のフィルタの色を示し、各Ｒ、Ｏ、Ｇ、Ｃ、Ｂの右側に付された２つの数字は、カラーフィルタ１１上での当該画素フィルタの座標を示している。
【００３０】
図７（ａ）は、１回目の撮像を示し、図７（ｂ）は手ぶれがないとき、すなわち、シフト量が０の場合の２回目の撮像を示している。この場合、１回目の撮影画像と比べ、シフト駆動部６による撮像素子５の左側への２画素シフトにより、２回目の撮影画像の被写体像は、右側に２画素シフトされて撮像されることになる。Ｇ成分に着目すると、図７（ａ）のＧ１２、Ｇ１４、Ｇ２１、Ｇ２３、Ｇ３２、Ｇ３４，Ｇ４１、Ｇ４２の各Ｇ画素は、それぞれ、２画素水平方向にシフトした図７（ｂ）のＧ１４、Ｇ１６、Ｇ２３、Ｇ２５、Ｇ３４、Ｇ３６、Ｇ４３、Ｇ４５のＧ画素に対応する。よって、両画像をデモザイキング処理した画像においても、２画素シフトした位置での相関が最も高くなる。
【００３１】
このようにＧ画素成分を用いて、１回目の撮影画像の特定の画素位置が、２回目の撮影画像の同じ画素位置の２画素右の位置に対応することを検出することができる、図７（ａ）のＲ１１およびＣ４４を対角線上の頂点とする単位配列に結像する被写体像は、図７（ｂ）のＯ１３およびＢ４６を対角線上の頂点とする単位配列に結像する被写体像に対応する。すなわち、１回目の撮影画像のＲＧＯＧ−ＧＢＧＣ−ＲＧＯＧ−ＧＢＧＣの単位配列に対して、２回目の撮影画像では、同じ被写体像に対する、ＯＧＲＧ−ＧＣＧＢ−ＯＧＲＧ−ＧＣＧＢの単位配列の画像信号が得られる。後述するように、マルチバンド画像合成部５４は、この画素配列を利用してマルチバンド画像を合成する。
【００３２】
一方、図７（ｃ）は、左方向への撮像素子５のシフトに加え、手ぶれ等によりさらに１画素のずれが生じ、合計３画素のずれが生じた例を示している。図７（ｂ）の場合と同様に、Ｇ画素成分を用いることによって、図７（ｃ）のずれ量が３画素、すなわち、シフト量が１画素であることを算出することができる。よって、この場合カラーフィルタ１１上で、１回目の撮影画像に対し、２回目の撮影画像は、右側に３画素ずれている。
【００３３】
しかし、この例では１回目の撮影画像のＲＧＯＧ−ＧＢＧＣ−ＲＧＯＧ−ＧＢＧＣの単位配列に対して、２回目画像の同じ被写体像に対応するのは、Ｇ１４およびＧ１７を対角線上の頂点とするＧＲＧＯ−ＣＧＢＧ−ＧＲＧＯ−ＣＧＢＧの配列となる。この配列では、後述するマルチバンド画像合成部５４による処理に不適合なため、このＧ１４およびＧ４７を含む４行４列の画素配列の位置に、ＯＧＲＧ−ＧＣＧＢ−ＯＧＲＧ−ＧＣＧＢの画素配列があった場合を想定して、各画素の画素値を、図６の位置あわせ計算部６４で補間等により計算する。
【００３４】
例えば、図７（ｃ）のＧ１４の位置にＯフィルタがあるとした場合の画素値は、周辺のＯ画素、例えば、Ｏ１３およびＯ１７の画素値と、それぞれのＯ画素とＧ１４のとの間の距離を基に補間により計算することができる。また、Ｒ１５の位置にＧフィルタがあるとした場合の画素値は、同様に、周辺のＧ画素、例えばＧ１４およびＧ１６の画素値を用いて補間により計算することができる。以下同様に補間を行うことによって、位置あわせ計算部６４は、１回目の撮影画像のＲＧＯＧ−ＧＢＧＣ−ＲＧＯＧ−ＧＢＧＣを単位配列とする画像に対応する、２回目の撮影画像のＯＧＲＧ−ＧＣＧＢ−ＯＧＲＧ−ＧＣＧＢを単位配列とする各画素の画素値を算出することができる。
【００３５】
なお、シフト量が４の倍数であれば、単にずれ量に応じて画素座標をシフトすることによって、ＯＧＲＧ−ＧＣＧＢ−ＯＧＲＧ−ＧＣＧＢを単位配列とする画像が得られるので、上述の位置あわせ計算部６４での補間処理は必要がなくなる。また、上記の例ではずれ量を３画素としたが、ずれ量が画素の大きさの整数倍ではない場合でも、上述のような位置あわせ計算部６４における補間による画素値の計算は可能である。
【００３６】
以上のように、位置あわせ処理部５３は、１回目撮影画像記憶部５１および２回目撮影画像記憶部５２からの撮影画像の各色の画素値を入力として、ＲＧＯＧ−ＧＢＧＣ−ＲＧＯＧ−ＧＢＧＣを単位配列とする１回目の撮影画像の画像信号を出力するとともに、２回目の撮影画像を１回目の撮影画像に対して位置あわせを行い、さらに、この２回目の撮影画像の画像信号を加工して、上記の１回目の撮影画像の画素位置に対応した、ＯＧＲＧ−ＧＣＧＢ−ＯＧＲＧ−ＧＣＧＢを単位配列とする画像信号を出力する。
【００３７】
次に、図５に示したマルチバンド画像合成部５４の構成について説明する。マルチバンド画像合成部５４は、３バンドベイヤ画像作成部５５、デモザイキング部５６、５７、および、５バンド画像合成部５８を有する。３バンドベイヤ画像作成部５５は、位置あわせ処理部５３から送信される１回目の撮影画像のＲＧＯＧ−ＧＢＧＣ−ＲＧＯＧ−ＧＢＧＣを単位配列とする１回目の撮影画像と、ＧＲＧＯ−ＣＧＢＧ−ＧＲＧＯ−ＣＧＢＧを単位配列とする２回目の撮影画像とを合成してＲＧＢおよびＯＧＣの２つの３バンドベイヤ配列による画像を生成する。このため、３バンドベイヤ画像作成部５５は、１回目の撮影画像のＯ画素およびＣ画素と２回目の撮影画像のそれぞれ同じ位置に位置するＲ画素およびＢ画素とをそれぞれ部分的に入れ替える。
【００３８】
デモザイキング部５６、５７は、３バンドベイヤ画像作成部５５で生成したそれぞれのベイヤ配列の画像をデモザイキング処理することによって、ＲＧＢの各画像とＯＧＣの各画像とを生成する。５バンド画像合成部５８は、デモザイキング部５６、５７で生成されたＲＧＢの各画像とＯＧＣの各画像とから、５バンドのＲＯＧＣＢの各画像を作成する。
【００３９】
次に、図８に示すフローチャートを用いて、本実施の形態に係るマルチバンド画像撮像装置１を用いた被写体の撮像動作について説明する。
【００４０】
まず、使用者により図１のレリーズボタン３が押下されると、制御部４は撮像素子５により１回目の撮像を行う（ステップＳ１）。次に、制御部４は、シフト駆動部６によるシフト量を制御して（ステップＳ２）、撮像素子５を水平方向に２画素シフトさせて（ステップＳ３）、再び撮像素子５により２回目の撮像を行う（ステップＳ４）。この１回目と２回目との撮像は、短時間に連続して行う。
【００４１】
１回目および２回目の撮影画像は、それぞれ画像処理部７に供給され、それぞれ１回目撮影画像記憶部５１および２回目撮影画像記憶部５２に一時的に記憶され、図５に示した画像処理部７内のマルチバンド画像処理部４１で、位置あわせ処理を行う（ステップＳ５）。この位置あわせ処理により、前述したように２回目の撮影画像は、ＲＧＯＧ−ＧＢＧＣ−ＲＧＯＧ−ＧＢＧＣを単位配列とする１回目の撮影画像の対応する位置について、ＧＲＧＯ−ＣＧＢＧ−ＧＲＧＯ−ＣＧＢＧを単位配列とする画像として出力される。これら２枚の撮影画像から、図５のマルチバンド画像合成部５４は、ＲＧＢベイヤ画像およびＯＧＣベイヤ画像を生成し、これらをデモザイキング部５６、５７でデモザイキング処理をすることによって、ＲＧＢの各画像とＯＧＣの各画像との２つの３バンド画像を生成し、これら２つの３バンド画像からＲＯＧＣＢの５バンドのマルチバンド画像を生成する（ステップＳ６）。
【００４２】
マルチバンド画像合成部５４で生成した５バンドのマルチバンド画像は、図４のマルチバンド画像記憶部４２に、一旦保存される（ステップＳ７）。その後、この５バンドのマルチバンド画像は、色変換部４３により、例えば、Ｒ、Ｇ、Ｂの３原色のカラー画像に色変換される（ステップＳ８）。制御部４は、これにより作成されたカラー画像を、図１の画像記憶部８に供給して図示しない記憶媒体に記憶する（ステップＳ９）。制御部４は、全ての処理の完了を確認して処理を終了する。
【００４３】
以上説明したように、本実施の形態によれば、所定の単位配列を有するＲＯＧＣＢの５色のカラーフィルタ１１を有する撮像素子５を用い、シフト駆動部６による撮像素子５のシフトの前後で２枚の画像を撮像し、この２枚の撮影画像からＲＧＢとＯＧＣの２枚の３バンド画像を生成するようにしたので、この２枚の３バンド画像から、従来の３バンドによる撮像に比べ、空間解像度の低下による偽色の発生を抑制して、色再現性に優れた５バンドの画像を生成することができる。また、この５バンドの画像を用いることにより、色再現性に優れたＲＧＢの３バンドの画像を生成することもできる。
【００４４】
また、４行４列に配置されたカラーフィルタ１１の単位配列のうち、半数の８画素をＧ画素とし、撮像素子５のシフトの前後でＧ成分を用いて位置あわせ処理を行うようにしたので、１回目の撮影画像と２回目の撮影画像との間で、手ぶれや被写体の移動があった場合でも、これによる撮像素子上の被写体像の変位を補正することが可能になり、偽色の発生を抑制することができる。
【００４５】
また、カラーフィルタ１１には、輝度の高いＧ成分が、従来の３バンドベイヤ配列の場合と同様の配列で同じ比率、すなわち、全画素の半数の割合で含まれているので、Ｇ成分を用いた従来処理、例えば、ぶれ補正を従来と同様に行うことができる。
【００４６】
[第２実施の形態]
図９は、本発明の第２実施の形態に係るマルチバンド画像撮像装置の概略構成を示すブロック図である。本実施の形態は、第１実施の形態に係るマルチバンド画像撮像装置１において、被写体の像が結像する画素の位置を変位させるために、撮像素子５をシフトさせるのではなく、光学素子である撮像レンズ２ａをシフトさせるものである。このため、図１に示したマルチバンド画像撮像装置１において、シフト駆動部６を設けず、撮像レンズ２をレンズの位置を水平方向に変位させるシフト機構を内蔵した撮像レンズ２ａとし、さらに、このシフト機構によるレンズのシフトを制御するシフト制御部９を設けて、このシフト制御部９を制御部４により制御して、被写体の撮像素子５上における結像位置を２画素分シフトさせる。なお、撮像レンズ２ａのシフト機構は、例えば、手振れ補正等においてレンズの駆動手段として使用されている超音波モータ等の公知の機構を用いることができる。
【００４７】
このように撮像レンズ２ａをシフトさせることによって、図１０に示すように、撮像素子５上で被写体３１が結像する画素の位置が変位する。図１０は、撮像レンズ２ａのシフトの一例を示した図である。ここで、図１０（ａ）はシフト前、図１０（ｂ）はシフト後を示している。図１０（ａ）において、矢印で示した被写体３１の先頭部は、Ｒフィルタに結像し、これによって、Ｒフィルタを透過するＲ成分の画素値のみが抽出される。次に、撮像レンズ２ａが図１０において下方向にシフトすると、図１０（ｂ）に示すように、同じ被写体の先頭部はＯフィルタに結像しているので、Ｏフィルタを透過するＯ成分の画素値みが検出される。
【００４８】
その他の構成および作用は、第１実施の形態と同様である。これによって、第１実施の形態と同様に５バンドのマルチバンド画像を撮像することができ、この５バンドの画像を用いることにより、色再現性に優れたＲＧＢの３バンドの画像を生成することもできる。
【００４９】
以上説明したように、本実施の形態によれば、撮像レンズ２ａをシフトさせることによって、撮像素子５に結像する被写体像をシフトさせるようにしたので、レンズ内シフト機構として手振れ補正用の公知の機構を用いて、第１実施の形態と同様の効果を得ることができる。
【００５０】
［第３実施の形態］
図１１は、本発明の第３実施の形態に係るマルチバンド画像撮像装置の概略構成を示すブロック図である。本実施の形態は、第１実施の形態で説明した１回目および２回目の撮像を１組として、シャッタースピードを変化させて複数組の撮像を行い、これによって撮像した複数の撮影画像の組の画像を評価して、所定の条件から最適と判断する撮影画像の組を選択して、マルチバンド画像の生成を行い、生成したマルチバンド画像を出力するものである。
【００５１】
このため、本実施の形態では、図１に示した第１実施の形態において、モード設定部１０をさらに設ける。このモード設定部１０は、使用者の操作によって、「ぶれ防止優先」、「Ｓ／Ｎ優先」、「ＡＵＴＯ」および「なし」の各モードを選択できるようになっている。モード設定部１０でモードが設定されると、この設定モードが、制御部４で検出される。その後、使用者によりレリーズボタン３が押下されると、制御部４は、設定されたモードに応じて撮像素子５およびシフト駆動部６を動作させるようになっている。
【００５２】
各モードは、マルチバンド画像の撮像において、以下の用途に使用する。
（１）ぶれ防止優先：ぶれやすい被写体を撮像する場合に、撮像素子５から得られる画像信号に基づいて演算される適正シャッタースピードに加え、シャッタースピードを速くして２組の撮像を行い、合計３組の撮影画像からぶれの少ない撮影画像を選択する。
（２）Ｓ／Ｎ優先：比較的静止している被写体に対して、上記の適正シャッタースピードに加え、シャッタースピードを遅くして２組の撮像を行い、合計３組の撮影画像からＳ／Ｎ（Signal to Noise）比の良い撮影画像を選択する。
（３）ＡＵＴＯ：上記のぶれ防止優先あるいはＳ／Ｎ優先を指定せず、上記の適正シャッタースピード、これより速いシャッタースピードおよび遅いシャッタースピードの合計３組のマルチバンド撮影画像から、総合的に画質の良いものを選択する。
（４）なし：
第１実施の形態と同様に、１組だけ上記の適正シャッタースピードで撮像を行う。
【００５３】
図１２は、本実施の形態におけるマルチバンド画像処理部４１の概略構成を示すブロック図である。図１２に示すように、本実施の形態では、第１実施の形態におけるマルチバンド画像処理部４１の構成に、上述の複数組の撮影画像を評価するための評価部５９が設けられている。評価部５９は、位置あわせ処理部５３に接続されており、位置あわせ処理部５３から、１回目の撮影画像、２回目の撮影画像およびずれ量等のデータを受信し、後述の評価を実行し、評価結果の最も良い撮影画像の組を識別して、その識別結果を位置あわせ処理部５３に返すように構成する。
【００５４】
本実施の形態のその他の構成は、第１実施の形態と同様なので、説明を省略する。
【００５５】
次に、図１３〜図１５に示すフローチャートを用いて、本実施の形態に係るマルチバンド画像撮影装置１の撮像動作について説明する。
【００５６】
図１３は、本実施の形態におけるマルチバンド画像撮像装置による撮像動作を示すフローチャートである。本実施の形態では、まず、設定モードに応じて、マルチバンド画像の撮像を実行して、シフト前後の２枚の撮影画像を取得する（ステップＳ１１）。その後、取得した２枚の撮影画像を用いて、第１実施の形態と同様に、５バンドのマルチバンド画像を合成し（ステップＳ１２）、この５バンドのマルチバンド画像を一旦保存した後（ステップＳ１３）、変換部４３で、例えば、Ｒ、Ｇ、Ｂの３原色によるカラー画像に色変換する（ステップＳ１４）。
【００５７】
以下、ステップ１１における撮影画像の取得処理について、図１４に示すフローチャートを参照して、さらに詳細に説明する。まず、撮像に先立って、制御部４は、図１１のモード設定部１０を介して設定された撮像モードを識別する（ステップＳ２１）。
【００５８】
次に、制御部４は、レリーズボタン３の押下を検出すると、撮像素子５から得られる画像信号に基づいて適正シャッタースピードを演算する。また、モードが「ぶれ防止優先」の場合には、この適正シャッタースピードより高速な２つの異なるシャッタースピードを算出する。モードが「Ｓ／Ｎ優先」の場合は、適正シャッタースピードよりも低速な２つの異なるシャッタースピードを算出する。また、モードが「ＡＵＴＯ」の場合には、適正シャッタースピードよりも高速および低速のシャッタースピードを各１つ算出する。これによって、「ぶれ防止優先」、「Ｓ／Ｎ優先」、「ＡＵＴＯ」の各モードでは、それぞれ３つのシャッタースピードを算出する（ステップＳ２２）。なお、モードが「なし」の場合は、適正シャッタースピードのみを算出する。
【００５９】
その後、制御部４は撮像を開始する。まず、制御部４は、適正シャッタースピードで１回目の撮像を行う（ステップＳ２３）。次に、制御部４は、第１実施の形態と同様に、シフト駆動部６によるシフト量を制御して（ステップＳ２４）、撮像素子５を水平方向に２画素シフトさせて（ステップＳ２５）、２回目の撮像を行う（ステップＳ２６）。１回目および２回目の撮影画像は、それぞれの画像処理部７に供給され、それぞれ図１２の１回目撮影画像記憶部５１および２回目撮影画像記憶部５２に一時的に記憶される（ステップＳ２７）。
【００６０】
次に、モード設定が「なし」であれば、制御部４は、第１実施の形態と同様に、１回目および２回目の撮影画像の位置あわせ処理を行い（ステップＳ３２）、図１２のマルチバンド画像合成部５４に出力する（ステップＳ３３）。
【００６１】
一方、モードが「ぶれ防止優先」、「Ｓ／Ｎ優先」または「ＡＵＴＯ」の場合は、撮影画像の組の評価を行い、評価結果を評価値として算出する（ステップＳ２９）。次に、制御部４は、ステップＳ２２で算出した他の２つのシャッタースピードを順次設定して、図１４におけるステップＳ２３、Ｓ２４、Ｓ２５、Ｓ２６、Ｓ２７、Ｓ２９の各ステップを繰返し実行する。３つのシャッタースピードについて、それぞれ２回の撮像が完了し、画像評価値の算出が終了すると（ステップ３０）、評価部５９は、３つのシャッタースピードに対応する３つの画像評価値を比較して、この評価値が最大となる画像の組を選択する（ステップＳ３１）。
【００６２】
その後、評価部５９は、上記で選択した画像の組の情報を位置あわせ処理部５３に供給し、位置あわせ処理部５３は、この画像の組について、第１実施の形態と同様に位置あわせ処理を行い（ステップＳ３２）、１回目の撮影画像および２回目の撮影画像をマルチバンド画像合成部５４に出力する（ステップＳ３３）。
【００６３】
次に、ステップＳ２９における撮影画像の組に対する評価値の算出を、図１５に示すフローチャートを参照して説明する。図１２の位置あわせ処理部５３は、第１実施の形態で説明したのと同様の方法により、１回目撮影画像記憶部５１および２回目撮影画像記憶部５２に記憶された各撮影画像からずれ量を算出する（ステップＳ４１）。
【００６４】
位置あわせ処理部５３は、算出したずれ量および１回目および２回目の撮影画像を評価部５９に供給する。評価部５９では、例えば、ＩＳＯ感度、Ｇ画素の画素値の変化の小さい領域を選定してこの領域について算出した信号の分散値、飽和画素数、黒つぶれ画素数等により定義したＳ／Ｎ評価値を算出する（ステップＳ４２）。
【００６５】
その後、評価部５９では、ステップＳ４１で算出したずれ量およびステップＳ４２で算出したＳ／Ｎ評価値から、所定の評価式を用いて画像評価値を算出する（ステップＳ４３）。ここで、評価式は、モードが「ぶれ防止優先」の場合は、ずれ量の評価に重みをつけ、「Ｓ／Ｎ優先」の場合は、Ｓ／Ｎ評価値に重みをつけて計算するように係数を設定できるものとする。画像評価値の算出が終了すると、評価部５９は画像評価値を保存して、画像評価値算出の完了を制御部４に通知する。
【００６６】
以上説明したように、本実施の形態によれば、撮像モードに応じたシャッタースピードで複数組のマルチバンド画像の撮像を行い、撮像した複数組の画像を評価して最良の１組の画像を選定するようにしたので、第１実施の形態における効果に加えて、撮像の場面や状況ごとに適したマルチバンド画像を撮像することができる。
【００６７】
なお、本発明は、上記実施の形態にのみ限定されるものではなく、幾多の変更または変形が可能である。たとえば、撮像素子５のカラーフィルタ１１は、５色のフィルタから構成していたが、これに限られず、４色あるいは６色以上のフィルタを配列することも可能である。
【００６８】
第１実施の形態の図８で示したフローチャートにおいて、ステップＳ６のマルチバンド画像合成の後に、ステップＳ７のマルチバンド画像保存およびステップＳ８の色変換を行わず、直接画像記憶部８に生成した５バンドのマルチバンド画像を保存するようにしても良い。
【００６９】
位置あわせ処理部５３におけるずれ量の計算は、撮影画像全体に対して行ったが、ずれ量の補正を優先して行う領域を定めることもできる。例えば、背景、前景、指定被写体、または、自動認識した被写体などを優先させることができる。自動認識した被写体を優先させる場合は、位置あわせ処理部５３に、被写体認識あるいは顔認識を行う機能を持たせ、認識された被写体の領域の補正を優先させることによって、例えば、２枚のＧ画像の相関を算出する際に認識された被写体の領域に重みをつけることによって、行うことができる。
【００７０】
第３実施の形態では、１回目の撮影画像および２回目の撮影画像のずれ量およびＳ／Ｎ評価値から画像評価値を算出することとしたが、ずれ量の代わりに位置あわせ後の１回目撮影画像および２回目撮影画像についての相関を用いても良い。相関が低ければ、位置あわせ後の１回目の撮影画像と２回目の撮影画像との間の差異が大きく、画質が悪いと判断することができる。
【図面の簡単な説明】
【００７１】
【図１】本発明の第１実施の形態に係るマルチバンド画像撮像装置の概略構成を示すブロック図である。
【図２】カラーフィルタの単位配列および同単位配列のシフトを示す図である。
【図３】カラーフィルタのシフトによるカラーフィルタ上の結像位置の変位を説明する図である。
【図４】第１実施の形態に係る画像処理部の概略構成を示す機能ブロック図である。
【図５】マルチバンド画像処理部の概略構成を示す機能ブロック図である。
【図６】位置あわせ処理部の概略構成を示すブロック図である。
【図７】位置あわせ処理部における処理を説明するための図である。
【図８】第１実施の形態に係るマルチバンド画像撮像装置の動作を示すフローチャートである。
【図９】本発明の第２実施の形態に係るマルチバンド画像撮像装置の概略構成を示すブロック図である。
【図１０】レンズのシフトによるカラーフィルタ上の結像位置の変位を説明する図である。
【図１１】本発明の第３実施の形態に係るマルチバンド画像撮像装置の概略構成を示すブロック図である。
【図１２】第３実施の形態に係る画像処理部の概略構成を示す機能ブロック図である。
【図１３】第３実施の形態に係るマルチバンド画像撮像装置の動作を示すフローチャートである。
【図１４】図１３のフローチャートにおけるマルチバンド画像撮像の詳細を示すフローチャートである。
【図１５】図１４のフローチャートにおける評価値算出の詳細を示すフローチャートである。
【図１６】従来例のマルチバンド画像撮像装置の一例を示す図である。
【符号の説明】
【００７２】
１    マルチバンド画像撮像装置
２、２ａ    撮像レンズ
３    レリーズボタン
４    制御部
５    撮像素子
６    シフト駆動部
７    画像処理部
８    画像記憶部
９    シフト制御部
１０    モード設定部
１１    カラーフィルタ
３１    被写体
４１    マルチバンド画像処理部
４２    マルチバンド画像記憶部
４３    色変換部
５１    １回目撮影画像記憶部
５２    ２回目撮影画像記憶部
５３    位置あわせ処理部
５４    マルチバンド画像合成部
５５    ３バンドベイヤ画像作成部
５６、５７    デモザイキング部
５８    ５バンド画像合成部
５９    評価部
６１、６２    Ｇ成分抽出部
６３    位置あわせ量算出部
６４    位置あわせ計算部
１０１    撮像レンズ
１０２    カラーフィルタ
１０３    撮像素子
１０４    ゲイン調整部
１０５    Ａ／Ｄ変換部
１０６    マルチバンド色補間処理部
１０７    露出・色調整および画像出力フォーマット変換部
１０８    画像出力インタフェース
【図１】
2010010958.tif 000003
【図２】
2010010958.tif 000004
【図３】
2010010958.tif 000005
【図４】
2010010958.tif 000006
【図５】
2010010958.tif 000007
【図６】
2010010958.tif 000008
【図７】
2010010958.tif 000009
【図８】
2010010958.tif 000010
【図９】
2010010958.tif 000011
【図１０】
2010010958.tif 000012
【図１１】
2010010958.tif 000013
【図１２】
2010010958.tif 000014
【図１３】
2010010958.tif 000015
【図１４】
2010010958.tif 000016
【図１５】
2010010958.tif 000017
【図１６】
2010010958.tif 000018