(57)【要約】【課題】各色成分が所定の規則をもって配される撮像素子から得られる複数の画像信号を使用して、解像感を向上させた画像を生成する。【解決手段】ベイヤー配列を有する複数の画像信号を取得し、１つの輝度信号とＲ成分及びＢ成分の色差信号とを生成し、現像画像を生成する。このとき輝度信号の生成において画像処理装置は、複数の画像信号のうち１つの画像信号を基準画像として設定し、基準画像についてＧ成分の信号を抽出する。そしてＧ成分の信号に含まれる欠落画素の各々について、欠落画素の周辺画素から適応補間により算出した画素値と、複数の画像信号のうち基準画像を除く画像信号から抽出した、欠落画素との像ずれ量が最も小さい最近傍画素の画素値とを加重加算して欠落画素の画素値を算出する。【選択図】図９
2013150123.tif 000002
【特許請求の範囲】
【請求項１】
ベイヤー配列を有する複数の画像信号を取得する取得手段と、
前記取得手段により取得された前記複数の画像信号から、１つの輝度信号を生成する輝度信号生成手段であって、
前記複数の画像信号のうち、１つの画像信号を基準画像として設定する設定手段と、
前記設定手段により設定された前記基準画像について、Ｇ成分の信号を抽出する抽出手段と、
前記抽出手段により抽出された前記Ｇ成分の信号について、画素値のない欠落画素を補間する補間手段と、を有する輝度信号生成手段と、
前記取得手段により取得された前記複数の画像信号から、Ｒ成分及びＢ成分の色差信号を生成する色差信号生成手段と、を有し、
前記補間手段は、前記Ｇ成分の信号における欠落画素の各々について、欠落画素の周辺画素から適応補間により算出した画素値と、前記複数の画像信号のうち前記基準画像を除く画像信号に含まれる画素であって、欠落画素との像ずれ量が最も小さい最近傍画素の画素値とを加重加算することにより欠落画素の画素値を算出し、
前記輝度信号生成手段は、前記補間手段により欠落画素が補間された前記Ｇ成分の信号と、線形補間により欠落画素が補間された前記基準画像のＲ成分及びＢ成分の信号とから輝度信号を生成する
ことを特徴とする画像処理装置。
【請求項２】
前記補間手段は、欠落画素の画素値を、該欠落画素と該欠落画素の近傍画素との像ずれ量に応じて加重加算の比率を変更することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記色差信号生成手段は、
前記設定手段により設定された前記基準画像について、Ｇ１成分の信号とＧ２成分の信号とを抽出する色差用抽出手段と、
前記色差用抽出手段により抽出された前記Ｇ１成分の信号と前記Ｇ２成分の信号について、欠落画素を補間する色差用補間手段と、
を有し、
前記色差用補間手段は、前記Ｇ１成分の信号と前記Ｇ２成分の信号の各々に含まれる各欠落画素について、欠落画素の周辺画素から線形補間により算出した画素値と、前記複数の画像信号のうち前記基準画像を除く画像信号に含まれる画素であって、欠落画素との像ずれ量が最も小さい画素の画素値とを加重加算することにより欠落画素の画素値を算出し、
前記色差信号生成手段は、前記色差用補間手段により欠落画素が補間された前記Ｇ１成分の信号及び前記Ｇ２成分の信号の画素値に応じて、色差信号の算出方法を変更する
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
撮像素子の感度設定あるいは環境温度を取得し、画像信号に含まれるノイズを抑圧するか否かを判断する判断手段をさらに有し、
前記補間手段は、前記判断手段により画像信号に含まれるノイズを抑圧すると判断された場合に、欠落画素の周辺画素から適応補間により算出した画素値と、前記複数の画像信号のうち前記基準画像を除く複数の画像信号に含まれる近傍画素の画素値とを加重加算することにより欠落画素の画素値を算出する
ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記複数の画像信号の各々を撮像した際の撮像装置の姿勢情報を取得し、前記複数の画像信号のうち前記基準画像を除く画像信号の各々を撮像した際の前記撮像装置の姿勢について算出された、前記基準画像を撮像した際の前記撮像装置の姿勢からの回転角の平均値が、予め定められた閾値以上であるか否かを判断する姿勢判断手段をさらに有し、
前記補間手段は、前記姿勢判断手段により前記回転角の平均値が前記予め定められた閾値以上であると判断された場合に、欠落画素の周辺画素から適応補間により算出した画素値と、前記複数の画像信号のうち前記基準画像を除く複数の画像信号に含まれる近傍画素の画素値とを加重加算することにより欠落画素の画素値を算出する
ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
画像処理装置の取得手段が、ベイヤー配列を有する複数の画像信号を取得する取得工程と、
前記画像処理装置の輝度信号生成手段が、前記取得工程において取得された前記複数の画像信号から、１つの輝度信号を生成する輝度信号生成工程であって、
前記複数の画像信号のうち、１つの画像信号を基準画像として設定する設定工程と、
前記設定工程において設定された前記基準画像について、Ｇ成分の信号を抽出する抽出工程と、
前記抽出工程において抽出された前記Ｇ成分の信号について、画素値のない欠落画素を補間する補間工程と、を有する輝度信号生成工程と、
前記画像処理装置の色差信号生成手段が、前記取得工程において取得された前記複数の画像信号から、Ｒ成分及びＢ成分の色差信号を生成する色差信号生成工程と、を有し、
前記輝度信号生成手段は前記補間工程において、前記Ｇ成分の信号に含まれる欠落画素の各々について、欠落画素の周辺画素から適応補間により算出した画素値と、前記複数の画像信号のうち前記基準画像を除く画像信号に含まれる画素であって、欠落画素との像ずれ量が最も小さい近傍画素の画素値とを加重加算することにより欠落画素の画素値を算出し、
前記輝度信号生成手段は前記輝度信号生成工程において、前記補間工程において欠落画素が補間された前記Ｇ成分の信号と、線形補間により欠落画素が補間された前記基準画像のＲ成分及びＢ成分の信号とから輝度信号を生成する
ことを特徴とする画像処理装置の制御方法。
【請求項７】
コンピュータを、請求項１乃至５のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項８】
コンピュータを、請求項１乃至５のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。
【請求項９】
各色成分が所定の規則をもって配される撮像素子から得られる画像信号を取得する取得手段と、
前記取得手段により取得される画像信号の中の１つの画像信号を基準画像とし、該基準画像の１つの色成分の信号について、前記画像信号における該１つの色成分の信号を持たない画素位置の近傍に位置する、前記基準画像以外の前記複数の画像信号の前記１つの色成分の信号を抽出する抽出手段と、
前記基準画像の前記１つの色成分の信号と、前記抽出手段により抽出される前記１つの色成分の信号とを用いて新しい前記１つの色成分の信号を生成する色成分信号生成手段と、
前記色成分信号生成手段により生成される信号を用いて生成される輝度信号あるいは色差信号を用いて１つの現像画像を生成する生成手段と、を有することを特徴とする画像処理装置。
【請求項１０】
前記色成分信号生成手段は、前記１つの色成分の信号について、前記画像信号における前記１つの色成分の信号を持たない画素位置に対応する補間信号を補間処理により算出し、
該補間信号と前記抽出手段により抽出される信号とを、該画素位置と前記抽出手段により抽出される信号の画素位置との距離に応じた係数で加重加算することにより、新しい前記１つの色成分の信号を生成することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記補間処理は適応補間処理であり、
前記生成手段は、前記新しい前記１つの色成分の信号から前記輝度信号を生成することを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記補間処理は線形補間処理であり、
前記生成手段は、前記新しい前記１つの色成分の信号から前記色差信号を生成することを特徴とする請求項１０または１１に記載の画像処理装置。
【請求項１３】
前記１つの色成分は、前記輝度信号への寄与率が最も高い信号であることを特徴とする請求項９乃至１２のいずれか１項に記載の画像処理装置。
【請求項１４】
前記撮像素子は、Ｒ、Ｇ、Ｂを色成分とするベイヤー配列を有し、
前記１つの色成分は、Ｇ成分であることを特徴とする請求項９乃至１３のいずれか１項に記載の画像処理装置。
【請求項１５】
前記色成分信号生成手段は、各色成分についてそれぞれ前記新しい前記１つの色成分の信号を生成することを特徴とする請求項９乃至１４のいずれか１項に記載の画像処理装置。
【請求項１６】
画像処理装置の取得手段が、各色成分が所定の規則をもって配される撮像素子から得られる複数の画像信号を取得する取得工程と、
前記画像処理装置の抽出手段が、前記取得工程において取得される前記複数の画像信号の中の１つの画像信号を基準画像とし、該基準画像の１つの色成分の信号について、前記画像信号における該１つの色成分の信号を持たない画素位置の近傍に位置する、前記基準画像以外の前記複数の画像信号の前記１つの色成分の信号を抽出する抽出工程と、
前記画像処理装置の色成分信号生成手段が、前記基準画像の前記１つの色成分の信号と、前記抽出工程において抽出される前記１つの色成分の信号とを用いて新しい前記１つの色成分の信号を生成する色成分信号生成工程と、
前記画像処理装置の生成手段が、前記色成分信号生成工程において生成される信号を用いて生成される輝度信号あるいは色差信号を用いて１つの現像画像を生成する生成工程と、を有することを特徴とする画像処理装置の制御方法。
【請求項１７】
コンピュータを、請求項９乃至１５のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項１８】
コンピュータを、請求項９乃至１５のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、その制御方法、プログラム、及び記憶媒体に関し、特に撮像素子から出力された複数の画像信号を用いて、解像感の高い現像画像を生成する技術に関する。
【背景技術】
【０００２】
近年、デジタルカメラやデジタルビデオカメラ等の撮像装置に用いられている撮像素子は、多画素化傾向にある。このような画素数の多い撮像素子を有する撮像装置により撮像された静止画像や動画像（以下、単に画像）を表示するために、テレビ受像機等の表示装置では、画像を表示する表示領域の画素数も増加傾向にある。
【０００３】
しかしながら、表示領域の画素数が増加した表示装置に従前の画素数の少ない画像を全面表示する場合、表示領域の画素数に合わせて該画像を引き伸ばすことで画像が粗くなった印象をユーザに与えてしまう。このため、画素数の少ない画像の解像感を低下させることなく画素数の多い画像に変換する、様々な画像処理方法が提案されている。
【０００４】
提案されている画像処理方法の１つに、所謂「超解像処理」と呼ばれる方法がある。該方法は、例えば動画像における連続するフレームや連写撮影された画像等、関連性の高い複数の画像を使用して、解像感を向上させた画像を生成することができる。具体的には該方法は、図１６に示すように、画素数増加の基準となる基準画像の画素（図の□）に対して、○で示された画素（新規画素）を他の画像（参照画像）を参照して内挿する処理を行う。一般的に新規画素の内挿時には、参照画像の画素のうち、該新規画素に対応する位置の周辺に存在する複数の周辺画素の画素値を使用した、バイ・リニア法等の線形補間法によって新規画素は生成される。
【０００５】
しかしながら、内挿時に複数の画素値を使用した補間により新規画素を生成する方法は、画素値の平均化処理を伴う。即ち、画素値の平均化を行うことにより画像がスムージングされるため、生成される画像はエッジ強度が弱まった画像となることがあった。
【０００６】
これに対し、新規画素に対して参照画像の画素そのものを割り当てることにより、平均化処理によるエッジ強度の低下を軽減する方法もある。特許文献１には、参照画像において新規画素に対応する位置と、該位置に最も近い画素との距離に応じて、新規画素に該最も近い画素を割り当てるか、基準画像の他の画素から新規画素を生成する適応補間を行うかを切り替える超解像処理が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０００−１８８６８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１の超解像処理は、既に現像された複数の画像から、１つの解像感を向上させた画像を生成する方法であって、現像処理において解像感を向上させるものではなかった。即ち、撮像素子から複数回の撮像により出力された画像信号を使用し、現像処理において解像感を向上させた画像を生成する技術は、これまで開示されていなかった。また、ベイヤー配列のような各色成分が所定の規則をもって配されているような撮像素子での超解像技術に関しては開示されていなかった。
【０００９】
本発明は、上述の問題点に鑑みてなされたものであり、各色成分が所定の規則をもって配される撮像素子から得られる複数の画像信号を使用して、解像感を向上させた画像を生成すること目的とする。
【課題を解決するための手段】
【００１０】
前述の目的を達成するために、本発明の画像処理装置は、以下の構成を備える。
ベイヤー配列を有する複数の画像信号を取得する取得手段と、取得手段により取得された複数の画像信号から、１つの輝度信号を生成する輝度信号生成手段であって、複数の画像信号のうち、１つの画像信号を基準画像として設定する設定手段と、設定手段により設定された基準画像について、Ｇ成分の信号を抽出する抽出手段と、抽出手段により抽出されたＧ成分の信号について、画素値のない欠落画素を補間する補間手段と、を有する輝度信号生成手段と、取得手段により取得された複数の画像信号から、Ｒ成分及びＢ成分の色差信号を生成する色差信号生成手段と、を有し、補間手段は、Ｇ成分の信号における欠落画素の各々について、欠落画素の周辺画素から適応補間により算出した画素値と、複数の画像信号のうち基準画像を除く画像信号に含まれる画素であって、欠落画素との像ずれ量が最も小さい近傍画素の画素値とを加重加算することにより欠落画素の画素値を算出し、輝度信号生成手段は、補間手段により欠落画素が補間されたＧ成分の信号と、線形補間により欠落画素が補間された基準画像のＲ成分及びＢ成分の信号とから輝度信号を生成することを特徴とする。
【発明の効果】
【００１１】
このような構成により本発明によれば、各色成分が所定の規則をもって配される撮像素子から得られる複数の画像信号を使用して、解像感を向上させた画像を生成することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態に係るデジタルカメラ１００の機能構成を示したブロック図。
【図２】本発明の実施形態に係る画像処理部１０７の機能構成を示したブロック図。
【図３】本発明の実施形態に係る適応補間を説明するための図。
【図４】本発明の実施形態に係る近傍画素を説明するための図。
【図５】本発明の実施形態１に係る加重加算係数を説明するための図。
【図６】本発明の実施形態に係る線形補間を説明するための図。
【図７】本発明の実施形態に係る複数の画像信号の露出時間を説明するための図。
【図８】本発明の実施形態に係るベイヤー配列を示した図。
【図９】本発明の実施形態に係る輝度信号生成処理を例示したフローチャート。
【図１０】本発明の実施形態に係る色差信号生成処理を例示したフローチャート。
【図１１】本発明の実施形態２に係る生成方法決定処理を例示したフローチャート。
【図１２】本発明の実施形態２に係るノイズ低減用輝度信号生成処理を例示したフローチャート。
【図１３】本発明の実施形態２に係る加重加算係数を説明するための図。
【図１４】本発明の変形例に係るアオリ現象を説明するための図。
【図１５】本発明の変形例に係る生成方法決定処理を例示したフローチャート。
【図１６】従来の超解像処理を説明するための図。
【発明を実施するための形態】
【００１３】
［実施形態１］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、画像処理装置の一例としての、ベイヤー配列を有する撮像素子を有し、現像処理時に複数の画像信号を使用して、１つの現像画像を生成可能なデジタルカメラに、本発明を適用した例を説明する。しかし、本発明は、ベイヤー配列を有する複数の画像信号を使用して、１つの現像画像を生成することが可能な任意の機器に適用可能である。また、本明細書において、「画像信号」とは、現像処理が適用される前の、各画素がベイヤー配列のＲ、Ｇ１、Ｇ２、及びＢのいずれかの画素値を有する信号群であるものとする。
【００１４】
＜デジタルカメラ１００の構成＞
図１は、本発明の実施形態に係るデジタルカメラ１００の機能構成を示すブロック図である。
【００１５】
制御部１０１は、例えばＣＰＵであり、デジタルカメラ１００が有する各ブロックの動作を制御する。具体的には制御部１０１は、例えばＲＯＭ１０２より後述する輝度信号生成処理あるいは色差信号生成処理の動作プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより、各ブロックの動作を制御する。
【００１６】
ＲＯＭ１０２は、例えば書き換え可能な不揮発性メモリであり、輝度信号生成処理及び色差信号生成処理の動作プログラムに加え、デジタルカメラ１００で行われる他の処理の動作プログラムを記憶する。またＲＯＭ１０２は、デジタルカメラ１００で行われる動作プログラムに加え、デジタルカメラ１００が有する各ブロックの動作において必要となるパラメータ等の情報を記憶する。
【００１７】
ＲＡＭ１０３は、揮発性メモリであり、デジタルカメラ１００が有する各ブロックの動作プログラムの展開領域としてだけでなく、各ブロックの動作において出力された中間データ等を記憶する格納領域としても用いられる。
【００１８】
撮像部１０５は、例えばＣＣＤやＣＭＯＳセンサ等の、ベイヤー配列を有する撮像素子である。また、本実施形態ではベイヤー配列を用いた撮像素子の例を示しているが、これに限らず、各色成分の画素が所定の規則をもって配される撮像素子において本発明は適用できる。撮像部１０５は、撮像光学系１０４を介して受光部に結像された光学像を光電変換し、アナログ画像信号をＡ／Ｄ変換部１０６に出力する。
【００１９】
Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号に対してＡ／Ｄ変換処理を適用し、デジタル画像信号（以下、単に画像信号）を画像処理部１０７に出力する。画像信号は、撮像素子と同数の画素についての画素値を示す情報であり、上述したように各画素はＲ、Ｇ１、Ｇ２、及びＢのいずれかの画素値を有する。
【００２０】
表示部１０８は、例えば小型ＬＣＤ等のデジタルカメラ１００が有する表示装置である。表示部１０８は、撮像部１０５により撮像された画像や記録媒体１０９に記録された画像の表示に用いられる。
【００２１】
記録媒体１０９は、例えばデジタルカメラ１００の内蔵メモリや、デジタルカメラ１００に着脱可能に接続されるメモリカードやＨＤＤ等の記録装置である。記録媒体１０９は、撮像部１０５により撮像され、後述する画像処理部１０７による現像処理によって出力された記録用の画像が記録される。
【００２２】
操作入力部１１０は、例えば電源ボタンやレリーズボタン等の、デジタルカメラ１００が有するユーザ入力インタフェースである。操作入力部１１０は、ユーザによりインタフェースが操作されたことを検出すると、該操作に対応する制御信号を制御部１０１に伝送する。
【００２３】
画像処理部１０７は、入力されたベイヤー配列を有する複数の画像信号から、解像感を向上させた、最終的な現像画像の輝度信号及び色差信号を生成する。ここで、本実施形態の画像処理部１０７の構成について、図２を用いて詳細を説明する。
【００２４】
（画像処理部１０７の構成）
図示されるように、画像処理部１０７は画像メモリ１２０、輝度信号生成部１３０、及び色差信号生成部１４０で構成される。即ち、本実施形態の画像処理部１０７は、入力された複数の画像信号から、１つの現像画像の輝度信号と色差信号とをそれぞれ別々に生成し、出力する。
【００２５】
画像メモリ１２０は、画像処理部１０７が有する画像処理用の揮発性メモリである。画像処理部１０７に入力された複数の画像信号は、画像メモリ１２０に格納された後、後述する画像処理部１０７の各ブロックで実行される処理のために読み出される。なお、画像メモリ１２０に記憶される情報は、入力された画像信号に限らず、画像処理部１０７の各ブロックで処理が適用された画像信号等が記憶されてよい。
【００２６】
◇輝度信号生成部１３０◇
輝度信号生成部１３０は、適応補間部１３１、近傍画素抽出部１３２、加重加算係数決定部１３３、加重加算部１３４、及び輝度信号変換部１３５で構成される。
【００２７】
適応補間部１３１は、入力された複数の画像信号のうち、基準画像として選択された画像信号のＧ成分（Ｇ１及びＧ２）のみを抽出した画像信号に対し、欠落画素のにあたる画素位置の画素値Ｇadapt（補間信号）を適応補間により生成する（色成分信号生成）。
【００２８】
なお、適応補間部１３１で行われる適応補間はエッジ方向を判断して行われる。例えば図３に示すように欠落画素と該欠落画素に隣接するＧ成分の画素（周辺画素）が配置されている場合、欠落画素におけるエッジ方向は、隣接する画素の水平方向及び垂直方向の勾配（ΔＨ及びΔＶ）により決定される。具体的には各方向の勾配は
ΔＨ＝｜Ｇ１０−Ｇ１２｜
ΔＶ＝｜Ｇ０１−Ｇ２１｜
であり、エッジ方向は該勾配差により判断され、欠落画素の画素値はＧadaptは次のようになる。
【００２９】
ｉ）ΔＨ−ΔＶ＞閾値の場合は、エッジ方向は水平方向であると判断し、
Ｇadapt＝（Ｇ０１＋Ｇ２１）／２
ｉｉ）ΔＶ−ΔＨ＞閾値の場合は、エッジ方向は垂直方向であると判断し、
Ｇadapt＝（Ｇ１０＋Ｇ１２）／２
ｉｉｉ）その他の場合は、エッジではないと判断し、
Ｇadapt＝（Ｇ０１＋Ｇ１０＋Ｇ１２＋Ｇ２１）／４
として、適応補間部１３１は欠落画素の画素値を生成する。なお、適応補間の方法はこれに限られるものでなく、エッジ方向に応じて画素値の生成方法を異ならせるものであればよい。
【００３０】
近傍画素抽出部１３２は、基準画像のＧ成分の欠落画素であった各画素、即ち適応補間部１３１における適応補間により生成された各適応補間画素について、その近傍に位置する基準画像以外の画像のＧ成分の画素を抽出する。本実施形態では、相対的な位置ずれ量が最も小さいＧ成分の画素（最近傍画素）を、基準画像以外の画像信号（参照画像）に含まれるＧ成分の画素から抽出する。これに限らず、位置ずれ量の小さい画像を複数選択し、各適応補間画素近傍のＧ成分の画素を抽出するなどしてもよい。
【００３１】
具体的には近傍画素抽出部１３２は、１つの参照画像のＧ成分について、基準画像のＧ成分との像ずれをなくす方向に移動させ、基準画像及び参照画像のＧ成分の画像信号を位置合わせする。即ち、近傍画素抽出部１３２は、例えばパターンマッチング処理や画像信号撮影時の加速度変化量に基づいて信号間の像ずれ量を把握し、該像ずれ量に応じて２つの画像信号の位置合わせを行う。このとき、いずれの像ずれ量検出方法及び位置合わせ方法を以てしても、サブピクセル単位で正確に位置合わせを行うことは困難である。すなわち、位置合わせ後の基準画像と基準画像以外の各参照画像でも、サブピクセル単位のずれが生じていることが考えられる。このことを利用して本実施形態では、位置合わせ後に近傍画素抽出部１３２が、図４に示すように、参照画像において基準画像のＧ成分の各適応補間画素の位置に最も近い画素を特定し、該画素と適応補間画素との相対的な位置ずれ量ｄをサブピクセル単位で取得する。近傍画素抽出部１３２は、このような処理を全ての参照画像に対して行い、最終的に適応補間画素について相対的な位置ずれ量が最も小さい最近傍画素を示す情報と、該画素と対応する適応補間画素との距離ｄとを取得する。
【００３２】
加重加算係数決定部１３３は、基準画像のＧ成分の各適応補間画素について、適応補間画素の画素値Ｇadaptと近傍画素抽出部１３２により抽出された最近傍画素の画素値Ｇrefとを、加重加算部１３４で加重加算する際の加重加算係数ｒ（比率）を算出する。加重加算係数ｒは、本実施形態では例えば図５のように２種類の閾値（ｔｈ１及びｔｈ２）を設けて、挙動が変化する値として定義する。図示されるように、加重加算係数ｒ（＜０）は、
ｉ）０≦ｄ≦ｔｈ１
ｒ＝１
ｉｉ）ｔｈ１＜ｄ＜ｔｈ２）
ｒ＝１−（ｄ−ｔｈ１）／（ｔｈ２−ｔｈ１）
ｉｉｉ）ｔｈ２≦ｄ
ｒ＝０
となり、加重加算部１３４は、加重加算後の画素値Ｇmixを、算出された加重加算係数ｒを用いて、
Ｇmix＝Ｇadapt×（１−ｒ）＋Ｇref×ｒ
として算出する。このＧmixが、新しいＧの色成分の信号となり、輝度信号生成に用いられることとなる。
【００３３】
なお、加重加算係数ｒの算出方法はこれに限られるものではなく、加重加算する２つの画素の相対的な位置ずれ量ｄに応じて変化する係数であればよい。具体的には加重加算係数決定部１３３は、近傍画素について、位置ずれ量ｄが欠落画素の対応画素とみなしてもよいと定めた閾値以下である場合に、適応補間画素の画素値を近傍画素の画素値で置換する加重加算係数を決定するものであればよい。
【００３４】
輝度信号変換部１３５は、加重加算部１３４における加重加算処理後の基準画像のＧ成分の画像信号と、基準画像のＲ成分及びＢ成分の画像信号とから、基準画像と同一の画素数を有する輝度信号を生成する。
【００３５】
具体的には輝度信号変換部１３５は、基準画像のＲ成分及びＢ成分の画像信号の各々について、線形補間を行うことにより各画像信号の欠落画素の情報を補間する。具体的にはＲ成分の信号に対しての線形補間では、図６に示されるようなＲ成分の４画素について、欠落画素であるＲlinear（０１）、（１０）、（１１）、（１２）、及び（２１）は、以下のように生成される。
【００３６】
１．まず欠落画素に画素値０を割り当てる
２．垂直方向に（１  ２  １）／２で表されるフィルタを適用し、Ｒlinear（１０）及
び（１２）の画素値を生成
３．水平方向に（１  ２  １）／２で表されるフィルタを適用する
【００３７】
そして輝度信号変換部１３５は、基準画像の各画素について、Ｇ成分、Ｒ成分、及びＢ成分の画素値を以下の式に従って加算することにより、輝度信号Ｙを生成して出力する。
Ｙ＝（３Ｒ＋６Ｇ＋Ｂ）／１０  ・・・  （式１）
【００３８】
なお、上記式１では、画像処理部１０７に入力された画像信号の全ては、適正露出で撮像されている場合の、輝度信号の生成に係る式を示している。しかしながら、制御部１０１が決定した適正露光時間を、例えば図７に示すような１回の撮像時間が手ぶれの影響を受けにくい時間になるように分割してｎ回の時分割撮像を行う場合は、上記式１をｎ倍すればよい。
【００３９】
また、本実施形態の輝度信号生成部１３０は、基準画像のＧ成分の画像信号に対しては、近傍画素の抽出処理や適応補間処理を実行して欠落画素の補間を行い、Ｒ成分及びＢ成分の画像信号に対しては、線形補間を実行して欠落画素の補間を行なっている。これは、以下の理由によるものである。
【００４０】
１．ベイヤー配列の色分布
基準画像のＲ成分及びＢ成分の信号についても、Ｇ成分の信号と同様に、全ての欠落画素に対して近傍画素の抽出処理や適応補間処理を実行することは、原理上は可能である。しかしながら、ベイヤー配列においては先にも図８を用いて示したように、２×２の画素のうち、半分をＧ成分、１／４をＲ成分あるいはＢ成分が占有している。つまり、基準画像のＧ成分の画像信号における欠落画素の数を基準とすると、Ｒ成分及びＢ成分の画像信号における欠落画素の数は３倍になる。即ち、近傍画素の抽出に係る処理は３倍の処理負荷を有することになるため、画像処理部１０７のコスト上昇につながり、現実的ではない場合が考えられる。また適応補間処理は、周囲の画素のエッジ方向を判断して処理を分けることで、エッジ強度の低減が回避可能であるが、２×２の画素において１つの画素しか参照できない場合、エッジ方向の判断が不正確となる可能性があり、好適な補間が行えない可能性がある。
【００４１】
２．輝度信号への寄与率
一般に、輝度信号の再現率が高い場合、画像の解像感が向上することが知られている。即ち、輝度信号の生成において、ベイヤー配列の１つの画像信号からの補間処理により輝度信号を生成する場合よりも、本明細書で説明するように複数の画像信号を用いて再現度の高い輝度信号を生成する場合の方が、画像の解像感を向上させることができる。輝度信号については、上述した式１で示されるようにＧ成分の寄与率が最も高く、Ｒ成分及びＢ成分はその半分以下の寄与率となっている。即ち、輝度成分への寄与率が高いＧ成分の欠落画素の補間に対して、近傍画素の抽出及び適応補間処理を実行して再現性を高めることで、最終的に得られる輝度信号も再現性を高くすることができる。
【００４２】
上述した理由によって、本実施形態ではより好ましい形態としてＧ成分の画像信号に対しては、近傍画素の抽出処理や適応補間処理を実行して欠落画素の補間を行い、Ｒ成分及びＢ成分の画像信号に対しては、線形補間を実行して欠落画素の補間を行なっている。しかし、これに限らず、Ｒ成分、Ｂ成分に対してもＧ成分と同様に、本実施形態における近傍画素の抽出処理や適応補間処理、加重加算処理を実行して欠落画素の補間を行って、それらの信号から輝度信号を生成してもよい。
【００４３】
◇色差信号生成部１４０◇
一方、色差信号生成部１４０は、線形補間部１４１、色差用近傍画素抽出部１４２、色差用加重加算係数決定部１４３、色差用加重加算部１４４、偽色判断部１４５、及び色差信号変換部１４６で構成される。
【００４４】
線形補間部１４１は、基準画像のＲ成分、Ｇ１成分、Ｇ２成分、及びＢ成分のそれぞれの信号について、線形補間処理を実行し、欠陥画素を補間した各成分の信号を出力する（同時化処理）。なお、色差信号の生成においては輝度信号の生成とは異なり、Ｇ１及びＧ２を分離し、それぞれ別々に補間処理を行う。これは、撮像素子がベイヤー配列であることに起因する偽色の発生を抑制するためである。
【００４５】
色差用近傍画素抽出部１４２、色差用加重加算係数決定部１４３、及び色差用加重加算部１４４は、線形補間部１４１において線形補間がなされた基準画像のＧ１成分及びＧ２成分の信号の各々について、近傍画素抽出部１３２、加重加算係数決定部１３３、及び加重加算部１３４と同様の処理を行うため、各ブロックの説明は省略する。なお、色差用近傍画素抽出部１４２、色差用加重加算係数決定部１４３、及び色差用加重加算部１４４で行われる処理は、適応補間画素ではなく、線形補間画素を対象として行われることは言うまでもない。
【００４６】
偽色判断部１４５は、色差信号を生成するに当たり、色差信号の各画素において偽色の発生を抑制する画素値の算出方法を、従前の方法を用いて決定する。偽色発生の抑制方法は、例えば特開２００２−３００５９０号公報に示されるような、水平方向と垂直方向のＧ成分の相関度から、エッジ方向を判断して色差信号の画素値を算出する方法であってもよい。また偽色発生の抑制方法は、特開平０８−０２３５４１号公報に示されるようなＧ１及びＧ２のそれぞれと、Ｒ及びＢの画素値の差分に応じた重み付け係数によって加重加算を行なって算出する方法であってもよい。
【００４７】
色差信号変換部１４６は、線形補間部１４１により生成された４種類の画像信号から、Ｒ成分及びＢ成分についての、二種類の色差信号の生成（Ｒ−Ｇ、Ｂ−Ｇ）を行う。このとき、色差信号変換部１４６は、偽色判断部１４５において決定された偽色の発生を抑制する算出式で、色差信号の各画素の画素値を算出するものとする。
【００４８】
なお、本実施形態では画像処理部１０７は、上記の構成であるものとして説明するが、この他に現像処理や表示処理等の、他の画像処理を行うブロックを含んでいてもよいことは容易に理解されよう。
【００４９】
また、本実施形態ではハードウェアとしてデジタルカメラ１００が備える各ブロックにおいて処理が実現されるものとして説明するが、本発明の実施はこれに限らず、各ブロックの処理は該各ブロックと同様の処理を行うプログラムで実現されてもよい。
【００５０】
＜輝度信号生成処理＞
このような構成をもつ本実施形態のデジタルカメラ１００の輝度信号生成処理について、図９のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、制御部１０１が、例えばＲＯＭ１０２に記憶されている対応する処理プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより実現することができる。なお、本輝度信号生成処理は、例えばユーザによる撮影指示を受けて撮像部１０５が複数回の撮像を行い、得られたベイヤー配列を有するｎ枚の画像信号がＡ／Ｄ変換部１０６から出力された際に開始されるものとして説明する。
【００５１】
Ｓ９０１で、制御部１０１は、Ａ／Ｄ変換部１０６から出力された、ベイヤー配列を有するｎ枚の画像信号を画像処理部１０７に入力し、画像メモリ１２０に記憶させる。
【００５２】
Ｓ９０２で、画像処理部１０７は制御部１０１の制御のもと、ｎ枚の画像信号のうちの１つの画像信号を基準画像として設定する。そして画像処理部１０７は、基準画像として設定した画像信号のＧ成分の信号を抽出して、適応補間部１３１に入力する。
【００５３】
Ｓ９０３で、画像処理部１０７は制御部１０１の制御のもと、基準画像のＧ成分の信号について適応補間部１３１に欠落画素の適応補間処理を実行させ、適応補間画素を生成させる。適応補間部１３１は、適応補間処理後のＧ成分の信号を近傍画素抽出部１３２に出力する。
【００５４】
Ｓ９０４で、画像処理部１０７は制御部１０１の制御のもと、適応補間処理後の基準画像に対して、各適応補間画素の最近傍画素の抽出、及び該画素と対応する適応補間画素との位置ずれ量（距離）ｄを近傍画素抽出部１３２に取得させる。
【００５５】
具体的には近傍画素抽出部１３２は、画像メモリ１２０に記憶された基準画像以外のｎ−１枚の画像信号（参照画像）を１つずつ選択し、所定の位置合わせ処理を行なう。そして近傍画素抽出部１３２は、基準画像の全ての適応補間画素に対して、選択した参照画像のＧ成分の画素のうち、最も位置ずれ量が少ない位置に存在する画素を各々特定する。近傍画素抽出部１３２は、各適応補間画素について特定した、最も位置ずれ量が少ない位置に存在する画素について、その位置ずれ量を算出して、参照画像を示す情報に関連付けて画像メモリ１２０に記憶する。近傍画素抽出部１３２は、全ての参照画像に対してこれを繰り返し、各適応補間画素について最小の位置ずれ量を有する最近傍画素を抽出する。
【００５６】
このように、全ての参照画像について、各適応補間画素と最も位置ずれ量が少ない位置に存在する画素の位置ずれ量を算出することで、各適応補間画素について最近傍画素を抽出することができる。しかしながら、例えば位置ずれ量ｄが適応補間画素の対応画素とみなしてもよいと定めた閾値以下である場合には、該適応補間画素についてはそれ以降の参照画像において、位置ずれ量ｄの算出を行わないようにしてもよい。また、位置ずれ量の少ない対応画素を複数抽出し、加算するなどして使用しても良い。
【００５７】
Ｓ９０５で、画像処理部１０７は制御部１０１の制御のもと、基準画像のＧ成分の各適応補間画素について、対応する最近傍画素の位置ずれ量ｄの情報を加重加算係数決定部１３３に伝送して、加重加算係数ｒをそれぞれ決定させる。
【００５８】
Ｓ９０６で、画像処理部１０７は制御部１０１の制御のもと、加重加算係数決定部１３３により決定された加重加算係数に応じて、各適応補間画素と該適応補間画素の最近傍画素とを、加重加算部１３４に加重加算させる。そして加重加算部１３４は、補間が完了した基準画像のＧ成分の信号を出力する。
【００５９】
Ｓ９０７で、画像処理部１０７は制御部１０１の制御のもと、補間が完了した基準画像のＧ成分の信号と、基準画像のＲ成分及びＢ成分の信号を輝度信号変換部１３５に伝送し、輝度信号を生成させる。具体的には輝度信号変換部１３５は、まず入力された基準画像のＲ成分及びＢ成分の信号の各々について、線形補間により欠落画素を生成する。そして補間が完了した基準画像のＧ成分の信号と、線形補間処理後のＲ成分及びＢ成分の信号とを用いて、式１に従って輝度信号の各画素の画素値を算出して輝度画像を生成し、出力する。
【００６０】
このようにすることで、本実施形態の輝度信号生成部１３０は、被写体再現度の高い輝度信号を生成することができる。
【００６１】
＜色差信号生成処理＞
次に、本実施形態のデジタルカメラ１００の色差信号生成処理について、図１０のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、制御部１０１が、例えばＲＯＭ１０２に記憶されている対応する処理プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより実現することができる。なお、本色差信号生成処理は、例えばユーザによる撮影指示を受けて撮像部１０５が複数回の撮像を行い、得られたベイヤー配列を有するｎ枚の画像信号がＡ／Ｄ変換部１０６から出力された際に開始されるものとして説明する。
【００６２】
Ｓ１００１で、制御部１０１は、Ａ／Ｄ変換部１０６から出力された、ベイヤー配列を有するｎ枚の画像信号を画像処理部１０７に入力し、画像メモリ１２０に記憶させる。なお、本ステップの処理は、上述した輝度信号生成処理のＳ９０１の処理と共通であるため、省略されてもよい。
【００６３】
Ｓ１００２で、画像処理部１０７は制御部１０１の制御のもと、ｎ枚の画像信号のうちの１つの画像信号を基準画像として設定する。そして画像処理部１０７は、基準画像として設定した画像信号のＧ１成分及びＧ２成分の信号をそれぞれ抽出（色差用抽出）して、線形補間部１４１に入力する。なお、本ステップで設定される基準画像は、輝度信号生成処理において設定される基準画像と同一であるものとする。
【００６４】
Ｓ１００３で、画像処理部１０７は制御部１０１の制御のもと、基準画像のＧ１成分及びＧ２成分の信号について線形補間部１４１に欠落画素の線形補間処理を実行させ、線形補間画素を生成させる。線形補間部１４１は、線形補間処理後のＧ１成分及びＧ２成分の信号を色差用近傍画素抽出部１４２に出力する。
【００６５】
Ｓ１００４で、画像処理部１０７は制御部１０１の制御のもと、線形補間処理後のＧ１成分及びＧ２成分の信号に対して、各線形補間画素の最近傍画素の抽出、及び該画素と対応する線形補間画素との位置ずれ量（距離）ｄを色差用近傍画素抽出部１４２に取得させる。
【００６６】
具体的には色差用近傍画素抽出部１４２は、画像メモリ１２０に記憶された基準画像以外のｎ−１枚の画像信号（参照画像）を１つずつ選択し、所定の位置合わせ処理を行なう。そして色差用近傍画素抽出部１４２は、Ｇ１成分及びＧ２成分の信号の全ての線形補間画素に対して、選択した参照画像の対応する成分の画素のうち、最も位置ずれ量が少ない位置に存在する画素を各々特定する。色差用近傍画素抽出部１４２は、各線形補間画素について特定した、最も位置ずれ量が少ない位置に存在する画素について、その位置ずれ量を算出して、参照画像を示す情報に関連付けて画像メモリ１２０に記憶する。色差用近傍画素抽出部１４２は、全ての参照画像に対してこれを繰り返し、各線形補間画素について最小の位置ずれ量を有する最近傍画素を抽出する。
【００６７】
このように、全ての参照画像について、各線形補間画素と最も位置ずれ量が少ない位置に存在する画素の位置ずれ量を算出することで、各線形補間画素について最近傍画素を抽出することができる。しかしながら、例えば位置ずれ量ｄが線形補間画素の対応画素とみなしてもよいと定めた閾値以下である場合には、該線形補間画素についてはそれ以降の参照画像において、位置ずれ量ｄの算出を行わないようにしてもよい。また、位置ずれ量の少ない対応画素を複数抽出し、加算するなどして使用しても良い。
【００６８】
Ｓ１００５で、画像処理部１０７は制御部１０１の制御のもと、基準画像のＧ１成分及びＧ２成分の各線形補間画素について、対応する最近傍画素の位置ずれ量ｄの情報を色差用加重加算係数決定部１４３に伝送して、加重加算係数ｒをそれぞれ決定させる。
【００６９】
Ｓ１００６で、画像処理部１０７は制御部１０１の制御のもと、色差用加重加算係数決定部１４３により決定された加重加算係数に応じて、各線形補間画素と該線形補間画素の最近傍画素とを色差用加重加算部１４４に加重加算させる（色差用補間）。そして色差用加重加算部１４４は、補間が完了した基準画像のＧ１成分あるいはＧ２成分の信号を出力する。
【００７０】
Ｓ１００７で、画像処理部１０７は制御部１０１の制御のもと、補間が完了した基準画像のＧ１成分及びＧ２成分の信号と、基準画像のＲ成分及びＢ成分の信号を偽色判断部１４５に伝送し、偽色発生を抑制する色差信号の算出方法を決定させる。そして画像処理部１０７は、決定された算出方法に従って、Ｒ成分及びＢ成分についての色差信号を生成し、出力する。
【００７１】
このようにすることで、本実施形態の輝度信号生成部１３０は、輝度信号への寄与率が高いＧ１成分及びＧ２成分について、被写体再現度を高めた上で色差信号を生成することができる。
【００７２】
そして、上述した輝度信号生成処理及び色差信号生成処理により生成された輝度信号と色差信号とから、本実施形態のデジタルカメラ１００は、解像感が向上した現像画像を生成することができる。
【００７３】
以上説明したように、本実施形態の画像処理装置は、各色成分が所定の規則をもって配される撮像素子から得られる複数の画像信号を使用して、解像感を向上させた画像を生成することができる。具体的には画像処理装置は、ベイヤー配列を有する複数の画像信号を取得し、１つの輝度信号とＲ成分及びＢ成分の色差信号とを生成し、現像画像を生成する。このとき輝度信号の生成において画像処理装置は、複数の画像信号のうち１つの画像信号を基準画像として設定し、基準画像についてＧ成分の信号を抽出する。そしてＧ成分の信号に含まれる欠落画素の各々について、欠落画素の周辺画素から適応補間により算出した画素値と、複数の画像信号のうち基準画像を除く画像信号から抽出した、欠落画素との像ずれ量が最も小さい最近傍画素の画素値とを加重加算して欠落画素の画素値を算出する。
【００７４】
なお、本実施形態では、輝度信号の生成、色差信号の生成に共に本実施形態に特徴的な近傍画素抽出処理及び補間画素との加重加算処理を行っている。しかし、必ずしも輝度、色差両方の信号生成に本実施形態に特徴的な処理を用いる必要はなく、輝度信号、色差信号いずれかに本実施形態の処理を行い、他方の信号は１枚の画像に対しての公知の補間処理などを用いて信号を生成しても良い。その場合でも本実施形態における処理を施した輝度信号あるいは色差信号のいずれかにおいて解像感の向上した画像が得られることになる。
【００７５】
［実施形態２］
上述した実施形態１では、基準画像のＧ成分の信号について生成した適応補間画素と、参照画像のうちの最も該画素との位置ずれ量が小さい、１つの最近傍画素とを加重加算することにより輝度信号を生成する方法について説明した。即ち、上述した実施形態１では、基準画像のＧ成分の信号における１つの欠落画素については、多くとも２種類の画像信号から画素値を算出する方法を説明した。
【００７６】
一方、撮像素子から出力される画像信号には、感度設定や撮像素子の周辺温度の影響等によって、ノイズが生じることがある。具体的には、感度設定が高いほど、撮像素子から出力された画像信号に含まれるノイズ量は増加する。また、撮像素子の周辺温度が高いほど、撮像素子から出力された画像信号に含まれるノイズ量は増加する。このように撮像信号にノイズが含まれる場合、基準画像のＧ成分の信号に含まれる１つの欠落画素に対し、３以上の画像を加算合成することによりノイズを低減した画素値を算出する、所謂コンポジット法とよばれる手法がある。
【００７７】
本実施形態では、撮像部１０５が撮像を行う際の条件においてノイズが発生しうるか否かを判断することにより、基準画像のＧ成分の信号における欠落画素について、画素値の算出に用いる画像信号の数を変更する方法について説明する。
【００７８】
＜デジタルカメラ１００の構成＞
本実施形態のデジタルカメラ１００は、上述した実施形態１のデジタルカメラ１００の構成に加え、ノイズ量判定部１１１を備える。
【００７９】
ノイズ量判定部１１１は、撮像時の撮像素子の感度設定、及び撮像素子周辺の環境温度の情報を取得し、予め定められた算出式に基づいて評価値を算出する。該評価値は、撮像により撮像部１０５から出力される画像信号に含まれうるノイズ量を、定量的に評価する値である。
【００８０】
＜生成方法決定処理＞
本実施形態のデジタルカメラ１００の、輝度信号の生成方法を決定する生成方法決定処理について、図１１のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、制御部１０１が、例えばＲＯＭ１０２に記憶されている対応する処理プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより実現することができる。なお、本生成方法決定処理は、例えばユーザによる撮影指示を受けて撮像部１０５が複数回の撮像を行った際に開始されるものとして説明する。
【００８１】
Ｓ１１０１で、制御部１０１は、ノイズ量判定部１１１に撮像時のノイズ量の評価値を算出させる。具体的には制御部１０１は、ＲＯＭ１０２から読み出した撮像素子の感度設定、及び不図示の温度センサに計測させた撮像素子周辺の温度情報をノイズ量判定部１１１に伝送し、評価値の算出を行わせる。
【００８２】
Ｓ１１０２で、制御部１０１は、ノイズ量判定部１１１に算出させた撮像時のノイズ量の評価値が、３以上の画像信号の加算合成を行なってノイズ低減を行う評価基準として定めた閾値以上であるか否かを判断する。制御部１０１は、撮像時のノイズ量の評価値が閾値以上であると判断した場合は処理をＳ１１０４に移し、閾値未満であると判断した場合は処理をＳ１１０３に移す。
【００８３】
Ｓ１１０３で、制御部１０１は、実施形態１で示した輝度信号生成処理を実行する。
【００８４】
Ｓ１１０４で、制御部１０１は、後述するノイズ低減用輝度信号生成処理を実行する。
【００８５】
このようにすることで、本実施形態のデジタルカメラ１００は、撮像時のノイズ発生条件を評価して輝度信号の生成方法を決定し、実行することができる。
【００８６】
＜ノイズ低減用輝度信号生成処理＞
ここで、本実施形態のデジタルカメラ１００のノイズ低減用輝度信号生成処理について、図１２のフローチャートを用いて具体的な処理を説明する。なお、以下のノイズ低減用輝度信号生成処理の説明において、実施形態１の輝度信号生成処理と同様の処理を行うステップについては同一の参照符号を付して説明を省略し、本実施形態に特徴的なステップの説明に留める。
【００８７】
Ｓ９０３で適応補間処理後の基準画像のＧ成分の信号の生成を適応補間部１３１が行った後、制御部１０１は処理をＳ１２０１に移す。
【００８８】
Ｓ１２０１で、画像処理部１０７は制御部１０１の制御のもと、適応補間処理後の基準画像のＧ成分の各適応補間画素について、加重加算に用いる複数の近傍画素を近傍画素抽出部１３２に抽出させる。また画像処理部１０７は、該抽出された複数の近傍画素の各々について、対応する適応補間画素との位置ずれ量ｄを近傍画素抽出部１３２に取得させる。
【００８９】
なお、本ステップにおいて各適応補間画素について抽出する近傍画素の数は、参照画像の数（ｎ−１）であってもよいし、ノイズ量の評価値により決定される数であってもよい。また位置ずれ量ｄが適応補間画素の対応画素とみなしてもよいと定めた閾値以下である近傍画素を、加重加算に用いる画素として全て抽出してもよい。
【００９０】
Ｓ１２０２で、画像処理部１０７は制御部１０１の制御のもと、基準画像のＧ成分の各適応補間画素について、抽出された近傍画素を１つずつ選択し、該画素の位置ずれ量ｄの情報を加重加算係数決定部１３３に伝送して加重加算係数ｒを決定させる。なお、本実施形態のノイズ低減用輝度信号生成処理においては、抽出された複数の近傍画素を１つずつ選択して適応補間画素とのノイズ抑圧のために加重加算処理を行うため、加重加算係数は図１３に示されるように位置ずれ量によらず一定であるものとする。
【００９１】
Ｓ１２０３で、画像処理部１０７は制御部１０１の制御のもと、加重加算係数決定部１３３により決定された加重加算係数に応じて、各適応補間画素と該適応補間画素について抽出された複数の近傍画素とを、加重加算部１３４に加重加算させる。そして加重加算部１３４は、補間が完了した基準画像のＧ成分の信号を出力する。
【００９２】
このように、本実施形態のデジタルカメラ１００は、撮像時の条件を判断することでノイズの発生量を判断し、ノイズの発生量が所定量以上であると判断した場合は複数の画像信号を加算合成する補間を行うことで、好適にノイズを抑圧した輝度信号を生成できる。
【００９３】
［変形例］
上述した実施形態１及び２では、複数回撮像されて得られた画像信号において、被写体像が平行移動している状況を想定して説明した。即ち、最近傍画素あるいは近傍画素の抽出において、単純にパターンマッチング等の手法により基準画像と参照画像の位置合わせが行えるものとして説明した。本変形例では、複数回撮像されて得られた画像信号において、被写体像が平行移動していない状況を考慮して輝度信号の生成方法を制御する態様について説明する。
【００９４】
同一の被写体を撮像した２つの画像信号について、一方の画像信号を撮像時のデジタルカメラ１００の姿勢と他方の画像信号を撮像時のデジタルカメラ１００の姿勢とが異なっている場合を考える。このとき、２つの姿勢間で、撮像素子の水平軸周り（ピッチ方向）の回転、あるいは撮像素子の垂直軸周り（ヨー方向）の回転が生じている場合、被写体像が台形状に変形する、所謂アオリ現象が生じる。
【００９５】
例えば、一方の画像信号を撮像時のデジタルカメラ１００の姿勢が図１４（ａ）のようであり、他方の画像信号を撮像時の姿勢が、ピッチ方向下向きの回転（アオリ角θとする）が生じた図１４（ｂ）のような姿勢である場合を考える。このとき、図１４（ａ）においてデジタルカメラ１００と正対していた矩形被写体１４０１は、図１４（ｂ）に１４０２で示されるように、台形状に変形して撮像される。
【００９６】
このような２つの画像信号について、像の位置合わせを行うためには、いずれかの画像信号に対してアオリ角θに応じた射影変換を行った後に、パターンマッチング等の像ずれ量を判断する処理を行う必要がある。しかしながら、射影変換には画素の補間演算が含まれるため、アオリ角によっては変換後に得られる画像信号にはナイキスト付近に０落ちが発生することになる。即ち、このような０落ちを含む画像信号から抽出した画素を使用して加重加算を行なったとしても、好適な輝度信号が得られない可能性がある。
【００９７】
本変形例では、撮像された複数の画像信号について、撮像時のデジタルカメラ１００の姿勢変化によって、射影変換で０落ちを含む画像信号が出力されるか否かを判断し、輝度信号の生成方法を制御する。具体的には、射影変換で０落ちを含む画像信号については輝度の再現度が低減するため、上述した実施形態２のノイズ低減用輝度信号生成処理と同様に、１つの欠落画素に対して、３以上の画像信号から抽出した画素値の加重加算を用いて画素値を算出する。
【００９８】
＜生成方法決定処理＞
以下、本実施形態のデジタルカメラ１００の、輝度信号の生成方法を決定する生成方法決定処理について、図１５のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、制御部１０１が、例えばＲＯＭ１０２に記憶されている対応する処理プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより実現することができる。なお、本生成方法決定処理は、例えばユーザによる撮影指示を受けて撮像部１０５が複数回の撮像を開始する際に開始されるものとして説明する。
【００９９】
Ｓ１５０１で、制御部１０１は、不図示の角速度センサに複数の画像信号の撮像中の角速度変位を検出させ、該角速度変位についての時間経過を示す姿勢情報をＲＡＭ１０３に記憶させる。
【０１００】
Ｓ１５０２で、制御部１０１は、画像処理部１０７において輝度信号生成の基準画像として選択される画像の撮影時の姿勢を基準姿勢とし、該姿勢から参照画像の撮像時までの角速度変化を積分することにより、参照画像の各々についての基準姿勢からの回転角を算出する。制御部１０１は、算出した回転角のうち、アオリが生じうる方向（ピッチ及びヨー方向）の回転角（アオリ角）を抽出する。
【０１０１】
Ｓ１５０３で、制御部１０１は、参照画像の各々について算出されたアオリ角θの平均値を算出し、算出した平均アオリ角θaが、予め定められた射影変換で０落ちを含む画像信号が出力される閾値以上であるか否かを判断する（姿勢判断）。制御部１０１は、平均アオリ角θaが閾値以上であると判断した場合は処理をＳ１５０５に移し、閾値未満であると判断した場合は処理をＳ１５０４に移す。
【０１０２】
Ｓ１５０４で、制御部１０１は、実施形態１で示した輝度信号生成処理を実行する。
【０１０３】
Ｓ１５０５で、制御部１０１は、実施形態２で示したノイズ低減用輝度信号生成処理を実行する。
【０１０４】
このようにすることで、複数の画像信号に、アオリが生じうる姿勢で撮像された画像信号が含まれている場合であっても、好適な画質の輝度信号を生成することができる。
【０１０５】
［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又はコンピュータが読み取り可能な各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2013150123.tif 000003
【図２】
2013150123.tif 000004
【図３】
2013150123.tif 000005
【図４】
2013150123.tif 000006
【図５】
2013150123.tif 000007
【図６】
2013150123.tif 000008
【図７】
2013150123.tif 000009
【図８】
2013150123.tif 000010
【図９】
2013150123.tif 000011
【図１０】
2013150123.tif 000012
【図１１】
2013150123.tif 000013
【図１２】
2013150123.tif 000014
【図１３】
2013150123.tif 000015
【図１４】
2013150123.tif 000016
【図１５】
2013150123.tif 000017
【図１６】
2013150123.tif 000018