(57)【要約】【課題】  カラー単板撮像素子を搭載した撮像装置で、低ノイズでかつ高解像度の撮像方法を有する撮像装置を実現することを目的とする。【解決手段】  カラー単板撮像素子を搭載し、複数の画像を合成することでランダムノイズ成分を低減される機能を有する撮像装置において、各画像の画像合成前に行うシフトの量を、シフト後の１画素位置に各色が均等に来るように設定し、シフト後に同一位置にある画素１画素で合成後の１画素を生成する高解像度モードを有する。【選択図】  図３
2006324803.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を露光した光信号を電気信号へと変換する複数の色に対応する複数の画素で構成されるカラー単板撮像素子と、
同一の前記被写体の複数の画像における特徴点を抽出する被写体特徴点抽出手段と、
前記被写体特徴点抽出手段により抽出された前記各画像中の特徴点がそれぞれ同一部位に位置するように前記各画像を調節する画像位置合わせ手段と、
前記各画像を重ね合わせて合成画像を形成する画像合成手段と
を含み、
前記画像位置合わせ手段は、前記各画像においてそれぞれ対応する前記各画素に前記カラー単板撮像素子の各構成色を均等の割合に調節する高解像度モードを有することを特徴とする撮像装置。
【請求項２】
前記画像合成手段は、前記画像位置合わせ手段により前記特徴点が逐次調節された前記各画像を順次に合成してゆくことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記画像合成手段は、前記画像位置合わせ手段により前記特徴点が逐次調節された前記各画像を同時に合成することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記高解像度モードにおいて、前記画像位置合わせ手段は、前記各画像をシフトさせ、シフト後の同一部位に位置する前記各画素に前記カラー単板撮像素子の各構成色が均等の割合で存在するように、前記各画像を調節することを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
【請求項５】
前記カラー単板撮像素子は、前記被写体像を露光する総画素範囲が記録画素範囲よりも広く構成されており、
前記高解像度モードにおいて、前記画像位置合わせ手段は、前記記録画素範囲を前記各画像毎に変えることにより、同一部位に位置する前記各画素に前記カラー単板撮像素子の各構成色が均等の割合で存在するように、前記各画像を調節することを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
【請求項６】
前記高解像度モードにおいて、前記画像位置合わせ手段は、前記特徴点が調節された複数の前記画像の中から、前記各画像内における所定のアドレスに存在する前記各構成色が同一の頻度となるように、前記画像を選択することを特徴とする請求項１〜５のいずれか１項に記載の撮像装置。
【請求項７】
前記画像位置合わせ手段は、
前記特徴点が調節された前記各画像内における所定のアドレスに存在する前記各構成色の存在頻度割合を求める構成色発生頻度算出手段と、
前記構成色発生頻度算出手段により算出された前記各構成色の頻度割合に対応した重み付けを行う重み付け手段と
を更に含むことを特徴とする請求項１〜５のいずれか１項に記載の撮像装置。
【請求項８】
被写体像を露光した光信号を電気信号へと変換する複数の色に対応する複数の画素で構成されるカラー単板撮像素子を備えた撮像装置を用いた撮像方法であって、
同一の前記被写体の複数の画像における特徴点を抽出するステップと、
抽出された前記各画像中の特徴点がそれぞれ同一部位に位置するように前記各画像を調節するステップと、
前記各画像を重ね合わせて合成画像を形成するステップと
を含み、
前記各画像を調節するステップでは、高解像度モード時に、前記各画像においてそれぞれ対応する前記各画素に前記カラー単板撮像素子の各構成色を均等の割合に調節することを特徴とする撮像方法。
【請求項９】
前記一枚の画像データを形成するステップでは、前記特徴点が逐次調節された前記各画像を順次に合成してゆくことを特徴とする請求項８に記載の撮像方法。
【請求項１０】
前記一枚の画像データを形成するステップでは、前記特徴点が逐次調節された前記各画像を同時に合成することを特徴とする請求項８に記載の撮像方法。
【請求項１１】
前記高解像度モード時において、前記各画像をシフトさせ、シフト後の同一部位に位置する前記各画素に前記カラー単板撮像素子の各構成色が均等の割合で存在するように、前記各画像を調節することを特徴とする請求項８〜１０のいずれか１項に記載の撮像方法。
【請求項１２】
前記カラー単板撮像素子は、前記被写体像を露光する総画素範囲が記録画素範囲よりも広く構成されており、
前記高解像度モード時において、前記記録画素範囲を前記各画像毎に変えることにより、同一部位に位置する前記各画素に前記カラー単板撮像素子の各構成色が均等の割合で存在するように、前記各画像を調節することを特徴とする請求項８〜１０のいずれか１項に記載の撮像方法。
【請求項１３】
前記高解像度モード時において、前記特徴点が調節された複数の前記画像の中から、各画像内における所定のアドレスに存在する前記各構成色が同一の頻度となるように、前記画像を選択することを特徴とする請求項８〜１２のいずれか１項に記載の撮像方法。
【請求項１４】
前記高解像度モード時において、前記特徴点が調節された前記各画像内における所定のアドレスに存在する前記各構成色の存在頻度割合を求めた後、算出された前記各構成色の頻度割合に対応した重み付けを行うことを特徴とする請求項８〜１２のいずれか１項に記載の撮像方法。
【請求項１５】
コンピュータに請求項８〜１４のいずれか１項に記載の撮像方法の各ステップを実行させるためのプログラム。
【請求項１６】
請求項１５に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体像を露光した光信号を電気信号へと変換する複数の色に対応する複数の画素で構成されるカラー単板撮像素子を備えた撮像装置及び方法、プログラム及び記録媒体に関する。
【背景技術】
【０００２】
固体撮像素子を用いて撮像を行う際に、撮影画像に存在してしまうノイズ成分としては、同一条件下での撮影においては同一のパターンで発生する固定パターンノイズと、撮影毎にその形状が変化するランダムノイズに分類できる。このうち固定パターンノイズを低減させる方法としては、露光した画像（本画像）から遮光した画像（黒画像）を引き算する、いわゆる"黒引き"があり、この"黒引き"を行うことによって、２次元的なダークシェーディングを含むあらゆる固定パターンノイズを除去することが可能である。
【０００３】
一方、ランダムノイズを低減させる方法としては、複数の画像を撮影し、その複数の画像を重ね合わせて平均画像を作ることによってランダムノイズ成分を低減させる撮像方法がある。この撮像方法は、例えば、ランダムノイズを多く発生する高感度設定で撮影されることの多い天体写真の撮影においてはコンポジット（加算平均）と呼ばれ、広く使用されている撮像方法である。
【０００４】
従来、１枚の撮像素子の各画素上に複数色のカラーフィルタを所定のパターンで配置し形成されるカラー単板撮像素子を用いて複数の画像を合成する撮像方法において、複数の画像の合成に際しては、各画像のそれぞれ同色の画素が重なるように合成されるのが一般的である。この場合、画像合成の後の処理は、１回の撮影からなる通常撮影時と同じ処理を行うこととなる。
【０００５】
【特許文献１】特開平１１−１６８７４４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記した従来の画像合成においては、カラー単板撮像素子を用いた通常撮影時と同様に、複数色からなる複数画素から１つの画素情報を生成することになる。例えば、赤、緑、青の３色からなるベイヤー配列の撮像素子を使用した場合には、２つの緑画素と１つの赤画素と１つの青画素との計４つの画素から、１つの画素信号を生成することになる。これは、例えば、赤、緑、青の３色の撮像素子からなるカラー３板撮像素子を用いた撮像方法に比べると解像度は劣ってしまう。
【０００７】
本発明は、このような事情に鑑みてなされたものであり、カラー単板撮像素子を搭載した撮像装置において、低ノイズ且つ高解像度の画像を得ることを可能とする撮像装置及び方法を実現することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の撮像装置は、被写体像を露光した光信号を電気信号へと変換する複数の色に対応する複数の画素で構成されるカラー単板撮像素子と、同一の前記被写体の複数の画像における特徴点を抽出する被写体特徴点抽出手段と、前記被写体特徴点抽出手段により抽出された前記各画像中の特徴点がそれぞれ同一部位に位置するように前記各画像を調節する画像位置合わせ手段と、前記各画像を重ね合わせて合成画像を形成する画像合成手段とを含み、前記画像位置合わせ手段は、前記各画像においてそれぞれ対応する前記各画素に前記カラー単板撮像素子の各構成色を均等の割合に調節する高解像度モードを有する。
【０００９】
本発明の撮像方法は、被写体像を露光した光信号を電気信号へと変換する複数の色に対応する複数の画素で構成されるカラー単板撮像素子を備えた撮像装置を用いた撮像方法であって、同一の前記被写体の複数の画像における特徴点を抽出するステップと、抽出された前記各画像中の特徴点がそれぞれ同一部位に位置するように前記各画像を調節するステップと、前記各画像を重ね合わせて合成画像を形成するステップとを含み、前記各画像を調節するステップでは、高解像度モード時に、前記各画像においてそれぞれ対応する前記各画素に前記カラー単板撮像素子の各構成色を均等の割合に調節する。
【００１０】
本発明のプログラムは、上記の撮像方法の各ステップを実行させるためのものである。
本発明の記録媒体は、上記のプログラムを記録したコンピュータ読み取り可能なものである。
【発明の効果】
【００１１】
本発明によれば、カラー単板撮像素子を搭載した撮像装置において、低ノイズ且つ高解像度の画像を得ることを可能とする撮像装置が実現する。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施形態について詳細に説明する。
本発明の撮像装置、撮像方法、プログラム及び記録媒体の実施形態について、図面を参照しながら説明する。本実施形態の撮像装置は電子カメラに適用される。
図１は、本実施形態における電子カメラの構成を示すブロック図である。
図１において、１００は画像処理装置である。１４は、被写体像を露光した光信号を電気信号へと変換する複数の色に対応する複数の画素で構成されるカラー単板撮像素子である。１２は、カラー単板撮像素子１４の露光量を制御する絞り機能を有したシャッタである。
【００１３】
レンズユニット３００内の撮影レンズ３１０に入射した光線は、絞り３１２、レンズマウント３０６、１０６、及びシャッタ１２を通じて一眼レフ方式により導かれたカラー単板撮像素子１４上に光学像として結像する。
【００１４】
１６は、カラー単板撮像素子１４から出力されるアナログ信号をディジタル信号に変換するＡ／Ｄ変換器である。１８はカラー単板撮像素子１４及びＡ／Ｄ変換器１６にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路２２及びシステム制御回路５０によって制御される。
【００１５】
２０は画像処理回路であり、Ａ／Ｄ変換器１６からのデータあるいはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路２０は、必要に応じて撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。
【００１６】
２２はメモリ制御回路であり、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、メモリ３０及び圧縮・伸長回路３２を制御する。
Ａ／Ｄ変換器１６からのデータは、画像処理回路２０及びメモリ制御回路２２を介して、あるいは直接、メモリ制御回路２２を介してメモリ３０に書き込まれる。
【００１７】
３０は、撮影された静止画像や動画像を格納するためのメモリである。また、メモリ３０はシステム制御回路５０の作業領域としても使用することが可能である。
３２は、適応離散コサイン変換（ＡＤＣＴ）などにより画像データを圧縮伸長する圧縮・伸長回路であり、メモリ３０に格納された画像を読み込んで圧縮処理あるいは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。
【００１８】
４０は、不図示の測光手段からの測光情報に基づいて、絞り３１２を制御する絞り制御手段３４０と連携しながら、シャッタ１２を制御するシャッタ制御手段である。
９０は、メモリカードやハードディスク等の記録媒体とのインターフェース、９２はメモリカードやハードディスクなどの記録媒体との接続を行うコネクタである。
【００１９】
画像処理装置１００は、図１中に図示されている構成要素の他に、光学ファインダ、画像表示部、測距部、測光部等の様々な構成要素を有しているが、本図では不図示とし、説明は割愛する。
【００２０】
１２０は、レンズマウント１０６内において、画像処理装置１００をレンズユニット３００と接続するためのインターフェース、１２２は画像処理装置１００をレンズユニット３００と電気的に接続するコネクタである。
【００２１】
２００は、メモリカードやハードディスク等の記録媒体である。
記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、画像処理装置１００とのインターフェース２０４、画像処理装置１００と接続を行うコネクタ２０６を備えている。
【００２２】
３００は、交換レンズタイプのレンズユニットである。
３０６は、レンズユニット３００を画像処理装置１００と機械的に結合するレンズマウントである。レンズマウント３０６内には、レンズユニット３００を画像処理装置１００と電気的に接続する各種機能が含まれている。
３１０は撮影レンズ、３１２は撮影レンズ３１０の絞りである。
【００２３】
３２０は、レンズマウント３０６内において、レンズユニット３００を画像処理装置１００と接続するためのインターフェース、３２２は、レンズユニット３００を画像処理装置１００と電気的に接続するコネクタである。
コネクタ３２２は、画像処理装置１００とレンズユニット３００との間で制御信号、状態信号、データ信号等を伝え合うと共に、各種電圧の電流を供給される或いは供給する機能も備えている。また、コネクタ３２２は電気通信のみならず、光通信、音声通信等を伝達する構成としても良い。
【００２４】
３５０は、システム制御回路５０からの測光、測距等の各種情報に基づいて、シャッタ１２を制御するシャッタ制御手段４０と連携しながら、撮影レンズ３１０絞り３１２を含むレンズユニット３００全体を制御するレンズシステム制御手段である。レンズシステム制御回路３５０は、動作用の定数、変数、プログラム等を記憶するメモリやレンズユニット３００に固有の番号等の識別情報、管理情報、開放絞り値や最小絞り値、焦点距離等の機能情報、現在や過去の各設定値などを保持する不揮発メモリの機能も備えている。
【００２５】
図２は、画像処理回路の詳細な構成を示すブロック図である。
図２に示すように、画像処理回路２０は、同一の被写体の複数の画像における特徴点を抽出する被写体特徴点抽出手段３１と、被写体特徴点抽出手段３１により抽出された各画像中の特徴点がそれぞれ同一部位に位置するように各画像を調節する画像位置合わせ手段３２と、各画像を重ね合わせて一枚の画像データを形成する画像合成手段３３とを含み構成されている。
【００２６】
ここで、画像位置合わせ手段３２は、各画像においてそれぞれ対応する各画素にカラー単板撮像素子１４の各構成色を均等の割合に調節する高解像度モードを有している。具体的には、高解像度モードにおいて、画像位置合わせ手段３２は、各画像をシフトさせ、シフト後の同一部位に位置する各画素にカラー単板撮像素子１４の各構成色が均等の割合で存在するように、各画像を調節する。ここで、高解像度モードにおいて、調節された複数の画像の中から、各画像内における所定のアドレスに存在する各構成色が全て同一の頻度となるように画像が選択される。
【００２７】
図３は、本実施形態における複数画像の合成方法について説明する模式図である。
ここで、図３−ａ）では、同一の被写体を撮影した複数の画像を示しており、本図では被写体として立方体を例示している。
【００２８】
図３−ｂ）では、被写体特徴点抽出手段３１により、図３−ａ）における立方体の左下の角を特徴点とし、その周辺を抽出して拡大した様子を示している。図中のＲは赤画素、Ｇは緑画素、Ｂは青画素を示す。実際の撮影においては、図３−ｂ）における４つの拡大図のように、被写体の微少な移動や手ぶれ等により、各画像には画素単位で見ると微少なずれが存在するため、複数の画像を合成する前に、全画像が一致するように各画像をシフトさせる必要がある。
【００２９】
図３−ｃ）では、画像位置合わせ手段３２により、画像をシフトさせた後における、当該画像を拡大した様子を示す。この際、シフト後の画素位置を、あえて色フィルタ毎にあわせず、１つの画素位置にＲ，Ｂ及び２つのＧが全て同じ頻度で存在するように、画像合成に使用する複数枚数の画像を選択する。
【００３０】
図３−ｄ）では、画像合成手段３３により、図２−ｃ）の画像を合成した画像を示す。この合成後の画像においては、各画素について、Ｒ，Ｇ，Ｂ全ての輝度情報が得られるため、合成前の画像の１画素につき、合成後の１画素を作成することができる。従って、合成前の画像の４画素につき合成後の１画素を作成する通常撮影時よりも高解像度の画像を得ることが可能となる。
【００３１】
図４は、図３を用いて説明した本実施形態の画像合成部分のシーケンスを示すフローチャートである。
先ず、システム制御回路５０は、シャッタ１２の制御による露光時間の設定や絞り３１２の制御によるレンズ絞り値の設定、カラー単板撮像素子１４やＡ／Ｄ１６等の制御による感度の設定など、各種撮影条件を設定する初期設定を行う（ステップＳ１０１）。
次に、カラー単板撮像素子１４は、被写体像の撮影（露光）を行う（ステップＳ１０２）。
【００３２】
次に、画像処理回路２０の被写体特徴点抽出手段３１は、取得した画像から被写体の特徴点を抽出する（ステップＳ１０３）。続いて、画像処理回路２０の画像位置合わせ手段３２は、各画像について画像シフトを行う（ステップＳ１０４）。この画像シフトにより、画像の特徴点を合成する画像と一致させるとともに、シフト後の画像の予め定められたアドレス点の画素がＲ画素、Ｂ画素及び２種類のＧ画素のいずれであるかを認識し、各色の信号が均等に当該アドレス点に存在するように調節される。
【００３３】
次に、メモリ制御回路２２は、撮影した画像が１枚目であるかを判定する（ステップＳ１０５）。撮影した画像が１枚目であるならば、ステップＳ１０９に進む。
撮影した画像が１枚目でない場合には、メモリ制御回路２２は、メモリ３０に格納されている合成画像を取り出す（ステップＳ１０６）。続いて、画像処理回路２０の画像合成手段３３は、取り出された合成画像と新規に取得した画像とを合成し、合成画像を形成する。続いて、メモリ制御回路２２は、この合成画像をメモリ３０に格納し（ステップＳ１０８）、Ｓ１０９に進む。
【００３４】
Ｓ１０９において、メモリ制御回路２２は、撮影枚数が予め定められた撮影枚数に達したかを判定する。所定の撮影枚数に達していない場合には、Ｓ１０２に戻り、次の撮影を行う。所定枚数に達した場合には、一連の撮像シーケンスを終了する。
【００３５】
以上説明したように、本実施形態によれば、合成前の画像における１つの画素に対して合成後の画像における１つの画素を作成できるため、４つの画素情報より１つの画素情報を作成する通常撮影時よりも高解像度で低ノイズの画像を得ることのできる撮像装置が実現する。
【００３６】
−変形例−
以下、本実施形態の諸変形例について説明する。これら変形例では、本実施形態と同様に撮像装置及び方法を開示し、撮像装置の構成が本実施形態と同様であるため、撮像装置の図示等を省略する。
【００３７】
（変形例１）
本例では、本実施形態と同様に撮像装置及び方法を開示するが、撮像シーケンスが異なる点で相違する。
図４を用いて説明した本発明の撮像シーケンスにおいては、特徴点抽出や画像シフトなどの画像合成前の処理を、撮影直後で画像をメモリに格納する前に行い、新たに画像を取得する度に画像の合成を行うシーケンスとしたが、本発明はこれに限定されるものではない。
【００３８】
図５は、変形例１による撮像方法の画像合成部分のシーケンスを示すフローチャートである。
先ず、システム制御回路５０は、シャッタ１２の制御による露光時間の設定や絞り３１２の制御によるレンズ絞り値の設定、カラー単板撮像素子１４やＡ／Ｄ１６等の制御による感度の設定など、各種撮影条件を設定する初期設定を行う（ステップＳ２０１）。
次に、カラー単板撮像素子１４は、被写体像の撮影（露光）を行う（ステップＳ２０２）。
【００３９】
次に、メモリ制御回路２２は、この撮影画像をメモリ３０に格納する（ステップＳ２０３）。続いて、メモリ制御回路２２は、撮影枚数が予め定められた撮影枚数に達したかを判定する（ステップＳ２０４）。所定の撮影枚数に達していない場合には、Ｓ２０２に戻り、次の撮影を行う。所定枚数に達した場合には、ステップＳ２０５へ進む。
【００４０】
ステップＳ２０５において、画像処理回路２０の被写体特徴点抽出手段３１は、メモリ３０に記憶された全ての画像について、メモリ３０上で各画像から被写体の特徴点を抽出する。続いて、画像処理回路２０の画像位置合わせ手段３２は、各画像について画像シフトを行う（ステップＳ２０６）。この画像シフトにより、各画像の特徴点をそれぞれ一致させるとともに、シフト後の画像の予め定められたアドレス点の画素がＲ画素、Ｂ画素及び２種類のＧ画素のいずれであるかを認識し、各色の信号が均等に当該アドレス点に存在するように調節される。
【００４１】
次に、画像処理回路２０の画像合成手段３３は、画像シフトがなされた各画像を合成し、合成画像を形成する（ステップＳ２０７）。そして、メモリ制御回路２２は、この合成画像をメモリ３０に格納し（ステップＳ２０８）、一連の撮像シーケンスを終了する。
【００４２】
変形例１によれば、合成前の画像における１つの画素に対して合成後の画像における１つの画素を作成できるため、４つの画素情報より１つの画素情報を作成する通常撮影時よりも高解像度で低ノイズの画像を得ることのできる撮像装置が実現する。変形例１のようなシーケンスを採用した場合、メモリ領域を撮影画像枚数分だけ用意しなければならず、サイズアップ、コストアップにつながるという短所がある一方で、各画像撮影間に処理を行わないため、各撮影間のタイムラグが短くなり、最初の撮影から最後の撮影までの撮影状態の変化を小さくでき、また総撮影時間の短縮にもつながるという長所を有する。
【００４３】
（変形例２）
本例では、本実施形態と同様に撮像装置及び方法を開示するが、画像合成前において被写体の特徴点の位置を合わせる手法が異なる点で相違する。
【００４４】
変形例２では、カラー単板撮像素子１４は、光を露光する総画素範囲が記録画素範囲よりも十分大きい構成を採る。
そして、画像処理回路２０の画像位置合わせ手段３２は、各画像について画像シフトを行う代わりに、カラー単板撮像素子１４の記録画素範囲を各撮影画像に応じて変えることにより、画像シフトと同様の機能を実現できる。即ち、画像位置合わせ手段３２は、記録画素範囲の変更後の同一部位に位置する各画素にカラー単板撮像素子１４の各構成色が均等の割合で存在するように、各画像を調節する。
【００４５】
変形例２によれば、合成前の画像における１つの画素に対して合成後の画像における１つの画素を作成できるため、４つの画素情報より１つの画素情報を作成する通常撮影時よりも高解像度で低ノイズの画像を得ることのできる撮像装置が実現する。
【００４６】
（変形例３）
本例では、本実施形態と同様に撮像装置及び方法を開示する。本実施形態では、画像位置合わせ手段３２は、合成される画像のシフト後の画素位置を、あえて色フィルタ毎に合わせず、１つの画素位置にＲ，Ｂ及び２つのＧが全て同じ頻度で存在するように複数枚の画像を選択するとしたが、本例では、画像位置合わせ手段３２の機能が異なる点で相違する。
【００４７】
本例において、画像処理回路２０の構成要素である画像位置合わせ手段３２は、図６に示すように、特徴点が調節された前記各画像内における所定のアドレスに存在する各構成色の存在頻度割合を求める構成色発生頻度算出手段４１と、構成色発生頻度算出手段４１により算出された各構成色の頻度割合に対応した重み付けを行う重み付け手段４２とを含み構成されている。
【００４８】
そして、重み付け手段４２により重み付けされた各画像を画像合成手段３３により画像合成する。このように本例では、本実施形態による場合、即ち１つの画素位置にＲ，Ｂ及び２つのＧが全て同じ頻度で存在するように複数枚の画像を選択する場合と実質的に同一の結果を得ることができる。
【００４９】
変形例３によれば、合成前の画像における１つの画素に対して合成後の画像における１つの画素を作成できるため、４つの画素情報より１つの画素情報を作成する通常撮影時よりも高解像度で低ノイズの画像を得ることのできる撮像装置が実現する。
【００５０】
なお、本実施形態における図３のシーケンス及び変形例１における図４のシーケンスの各一連ステップや、変形例２，３の画像位置合わせ手段３２の機能等についてのプログラムコード等は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム、及び当該プログラムを記録したコンピュータ読み取り可能な記憶媒体は本発明の実施形態に含まれる。
【００５１】
具体的に、前記プログラムは、例えばＣＤ−ＲＯＭのような記録媒体に記録し、或いは各種伝送媒体を介し、コンピュータに提供される。前記プログラムを記録する記録媒体としては、ＣＤ−ＲＯＭ以外に、フレキシブルディスク、ハードディスク、磁気テープ、光磁気ディスク、不揮発性メモリカード等を用いることができる。他方、前記プログラムの伝送媒体としては、プログラム情報を搬送波として伝搬させて供給するためのコンピュータネットワーク（ＬＡＮ、インターネットの等のＷＡＮ、無線通信ネットワーク等）システムにおける通信媒体（光ファイバ等の有線回線や無線回線等）を用いることができる。
【００５２】
また、コンピュータが供給されたプログラムを実行することにより上述の実施形態の機能が実現されるだけでなく、そのプログラムがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等と共同して上述の実施形態の機能が実現される場合や、供給されたプログラムの処理の全てあるいは一部がコンピュータの機能拡張ボードや機能拡張ユニットにより行われて上述の実施形態の機能が実現される場合も、かかるプログラムは本発明の実施形態に含まれる。
【００５３】
例えば、図７は、パーソナルユーザ端末装置の内部構成を示す模式図である。この図７において、１２００はコンピュータＰＣである。ＰＣ１２００は、ＣＰＵ１２０１を備え、ＲＯＭ１２０２またはハードディスク（ＨＤ）１２１１に記憶された、あるいはフレキシブルディスクドライブ（ＦＤ）１２１２より供給されるデバイス制御ソフトウェアを実行し、システムバス１２０４に接続される各デバイスを総括的に制御する。
【００５４】
ＰＣ１２００のＣＰＵ１２０１、ＲＯＭ１２０２またはハードディスク（ＨＤ）１２１１に記憶されたプログラムにより、本実施形態における図３，図４の各ステップ等の手順が実現される。
【００５５】
１２０３はＲＡＭであり、ＣＰＵ１２０１の主メモリ、ワークエリア等として機能する。１２０５はキーボードコントローラ（ＫＢＣ）であり、キーボード（ＫＢ）１２０９や不図示のデバイス等からの指示入力を制御する。
【００５６】
１２０６はＣＲＴコントローラ（ＣＲＴＣ）であり、ＣＲＴディスプレイ（ＣＲＴ）１２１０の表示を制御する。１２０７はディスクコントローラ（ＤＫＣ）であり、ブートプログラム（起動プログラム：パソコンのハードやソフトの実行（動作）を開始するプログラム）、複数のアプリケーション、編集ファイル、ユーザファイル及びネットワーク管理プログラム等を記憶するハードディスク（ＨＤ）１２１１や、フレキシブルディスク（ＦＤ）１２１２とのアクセスを制御する。
【００５７】
１２０８はネットワークインタフェースカード（ＮＩＣ）であり、ＬＡＮ１２２０を介して、ネットワークプリンタ、他のネットワーク機器、あるいは他のＰＣと双方向のデータのやり取りを行う。
【図面の簡単な説明】
【００５８】
【図１】本実施形態における電子カメラの構成を表すブロック図である。
【図２】画像処理回路の構成を示すブロック図である。
【図３】本実施形態における複数画像の合成方法を説明する模式図である。
【図４】本実施形態における画像合成部分のシーケンスを説明するフローチャートである。
【図５】変形例１における画像合成部分のシーケンスを説明するフローチャートである。
【図６】変形例３における画像位置合わせ手段の構成を示すブロック図である。
【図７】パーソナルユーザ端末装置の内部構成を示す模式図である。
【符号の説明】
【００５９】
１４  カラー単板撮像素子
２０  画像処理回路
２２  メモリ制御回路
３０  メモリ
５０  システム制御回路
３１  被写体特徴点抽出手段
３２  画像位置合わせ手段
３３  画像合成手段
４１  構成色発生頻度算出手段
４２  重み付け手段
【図１】
2006324803.tif 000003
【図２】
2006324803.tif 000004
【図３】
2006324803.tif 000005
【図４】
2006324803.tif 000006
【図５】
2006324803.tif 000007
【図６】
2006324803.tif 000008
【図７】
2006324803.tif 000009