(57)【要約】【課題】高感度撮影時でも解像力の低下を抑えつつ、輝度ノイズと色ノイズの双方を改善した画像を生成すること。【解決手段】略同時に取得した全画素読み出しモードでの画像と画素加算読み出しモードでの画像をそれぞれ輝度成分と色差成分に分離し、適応的に合成処理を行う。全画素画像データは解像力が高く、画素加算画像データは輝度・色ノイズ特性が良いという特徴を持つ。解像感の低下を抑制しつつ輝度ノイズを低減させるために、全画素画像データの輝度成分と画素加算画像データの輝度成分を輝度に応じて加重平均し、ノイズ特性及び解像力に優れた輝度成分画像を生成する。【選択図】図２
2008131580.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも、隣接する複数の画素の電荷を加算して読み出す画素加算読み出しモードと全画素に対応する電荷を読み出す全画素読み出しモードとからなる複数の駆動モードを有する撮像素子と、
前記撮像素子を前記画素加算読み出しモードで駆動して画素加算画像データを取得する動作と前記撮像素子を前記全画素読み出しモードで駆動して全画素画像データを取得する動作とを同時又は連続で実行する同時撮影部と、
前記同時撮影部により得られた前記画素加算画像データと前記全画素画像データとをそれぞれ輝度成分と色差成分とに分離する輝度色差分離部と、
前記画素加算画像データの輝度成分と前記全画素画像データの輝度成分とを合成して合成輝度画像データを生成する輝度成分画像合成部と、
前記合成輝度画像データと前記画素加算画像データの色差成分とを合成して１つのカラー画像を合成する輝度色差合成部と、
を具備することを特徴とする撮像装置。
【請求項２】
前記輝度成分画像合成部は、前記画素加算画像データの輝度成分と前記全画素画像データの輝度成分とでそれぞれ対応する画素の画素値の加重平均値を前記合成輝度画像データにおいて対応する画素の画素値とすることで、前記合成輝度画像データを生成することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記輝度成分画像合成部は、前記画素加算画像データの輝度成分と前記全画素画像データの輝度成分のうち何れか一方の各画素の画素値を輝度閾値と比較し、該比較の結果に応じて前記加重平均値を求める際の加重平均比率を画素毎に変化させることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記輝度成分画像合成部は、前記画素加算画像データの輝度成分の各画素の画素値を前記輝度閾値と比較することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記輝度閾値は、前記比較される画素の画素値が低輝度領域、中輝度領域、高輝度領域の何れに属するかを識別するための輝度閾値を含み、
前記輝度成分画像合成部は、前記比較の結果、前記画素の画素値が前記低輝度領域に属する場合には前記画素加算画像データの輝度成分のウェイトを大きくした加重平均比率を用いて前記加重平均値を求め、前記画素の画素値が前記中輝度領域に属する場合には前記画素加算画像データの輝度成分と前記全画素画像データの輝度成分のウェイトとを等しくした加重平均比率を用いて前記加重平均値を求め、前記画素の画素値が前記高輝度領域に属する場合には前記全画素画像データの輝度成分のウェイトを大きくした加重平均比率を用いて前記加重平均値を求めることを特徴とする請求項３又は４に記載の撮像装置。
【請求項６】
少なくとも、隣接する複数の画素の電荷を加算して読み出す画素加算読み出しモードと全画素に対応する電荷を読み出す全画素読み出しモードとからなる複数の駆動モードを有する撮像素子からの出力を処理する画像処理方法であって、
前記撮像素子を前記画素加算読み出しモードで駆動して画素加算画像データを取得する動作と前記撮像素子を前記全画素読み出しモードで駆動して全画素画像データを取得する動作とを同時又は連続で実行し、
前記画素加算画像データと前記全画素画像データとをそれぞれ輝度成分と色差成分とに分離し、
前記画素加算画像データの輝度成分と前記全画素画像データの輝度成分とを前記画素加算画像データの輝度成分と前記全画素画像データの輝度成分の何れかに基づく比率で加重平均して合成輝度画像データを生成し、
前記合成輝度画像データと前記画素加算画像データの色差成分とを合成して１つのカラー画像を合成する、
ことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に画像データにおけるノイズを低減することが可能な撮像装置及びその画像処理方法に関する。
【背景技術】
【０００２】
デジタルスチルカメラをはじめとするあらゆる撮像装置において、低照度環境下での撮影手法として高感度撮影が用いられている。ここでの高感度撮影とは、撮影素子から出力された画像信号をアンプによって増幅することで、短時間に目標とする強度の画像信号を得る手法である。このような高感度撮影では、同じ露出の画像を撮像するにしても低感度撮影と比較して短時間の露光で撮影を終えることができるという利点がある一方、撮像素子に蓄積される電荷量の低下により後段で発生するノイズ成分に信号成分が埋没する上、アンプによる過度な信号増幅により著しく画質が劣化する問題点も有している。
【０００３】
そのため、画素加算手段を備える撮像素子を用いることで、アンプによる無用なゲインアップを行わずにノイズを抑える手法が例えば特許文献１において提案されている。この手法は、画素加算手段によって撮像素子の隣接する複数の画素値（電荷）を加算して１つの画素の画素値とすることで信号成分を稼ぎ、アンプによる増幅を極力抑えて感度を上げる手法である。
【特許文献１】特開２００５−３０３５１９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ここで、画素加算は、隣接する複数の画素を１画素に置き換えるため、必然的に画像サイズが小さくなる。したがって、ノイズは低減されても画像の解像度は低下してしまう。
【０００５】
即ち、全画素読み出しによって取得される全画素画像データは高い解像力を有する一方で高感度になるとノイズレベルが大きくなり、逆に、画素加算読み出しによって取得される画素加算画像データは色ノイズと輝度ノイズとが共に良好な特性を有する一方で画素加算処理によって画像が縮小し解像力が低下してしまう。
【０００６】
本発明は、上記の事情に鑑みてなされたものであり、高感度撮影時において、解像力の低下を抑えつつ、ノイズを改善した画像を生成することができる撮像装置及びこのような撮像装置における画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を達成するために、本発明の第１の態様による撮像装置は、少なくとも、隣接する複数の画素の電荷を加算して読み出す画素加算読み出しモードと全画素に対応する電荷を読み出す全画素読み出しモードとからなる複数の駆動モードを有する撮像素子と、前記撮像素子を前記画素加算読み出しモードで駆動して画素加算画像データを取得する動作と前記撮像素子を前記全画素読み出しモードで駆動して全画素画像データを取得する動作とを同時又は連続で実行する同時撮影部と、前記同時撮影部により得られた前記画素加算画像データと前記全画素画像データとをそれぞれ輝度成分と色差成分とに分離する輝度色差分離部と、前記画素加算画像データの輝度成分と前記全画素画像データの輝度成分とを合成して合成輝度画像データを生成する輝度成分画像合成部と、前記合成輝度画像データと前記画素加算画像データの色差成分とを合成して１つのカラー画像を合成する輝度色差合成部とを具備することを特徴とする。
【０００８】
また、上記の目的を達成するために、本発明の第２の態様による画像処理方法は、少なくとも、隣接する複数の画素の電荷を加算して読み出す画素加算読み出しモードと全画素に対応する電荷を読み出す全画素読み出しモードとからなる複数の駆動モードを有する撮像素子からの出力を処理する画像処理方法であって、前記撮像素子を前記画素加算読み出しモードで駆動して画素加算画像データを取得する動作と前記撮像素子を前記全画素読み出しモードで駆動して全画素画像データを取得する動作とを同時又は連続で実行し、前記画素加算画像データと前記全画素画像データとをそれぞれ輝度成分と色差成分とに分離し、前記画素加算画像データの輝度成分と前記全画素画像データの輝度成分とを前記画素加算画像データの輝度成分と前記全画素画像データの輝度成分の何れかに基づく比率で加重平均して合成輝度画像データを生成し、前記合成輝度画像データと前記画素加算画像データの色差成分とを合成して１つのカラー画像を合成することを特徴とする。
【０００９】
これら第１及び第２の態様によれば、高解像の全画素画像データとノイズ特性の良い画素加算画像データとを合成することにより、高感度撮影時において、解像力の低下を抑えつつ、ノイズを改善した画像を生成することができる。
【発明の効果】
【００１０】
本発明によれば、高感度撮影時において、解像力の低下を抑えつつ、ノイズを改善した画像を生成することができる撮像装置及びこのような撮像装置における画像処理方法を提供することができる。
【発明を実施するための最良の形態】
【００１１】
以下、図面を参照して本発明の実施形態を説明する。なお、以下に説明する実施形態は数ある実施形態のうちの一部であり、本発明を限定するものではない。  
［第１の実施形態］
図１は、本発明の第１の実施形態に係る撮像装置の主要な構成を示すブロック図である。図１に示すように、本実施形態の撮像装置は、レンズ１と、撮像素子２と、アナログ信号処理部３と、Ａ／Ｄ変換部４と、ＣＰＵ５と、Ｆｌａｓｈメモリ６と、メモリ７と、画像処理部８と、ＪＰＥＧ処理部９と、外部記憶インターフェイス（Ｉ／Ｆ）１０と、外部記憶装置１１と、ＬＣＤドライバ１２と、ＬＣＤ１３と、操作部１４と、バス１５とを備えている。また、撮像素子２と、アナログ信号処理部３と、Ａ／Ｄ変換部４とにより撮像部１６が構成されている。
【００１２】
レンズ１は、図示しない被写体からの光を集光する。撮像素子２は、レンズ１によって集光された光を受光して受光量に応じた電荷に変換し、この電荷を映像信号として出力する。ここで、撮像素子２は全画素読み出しモードと画素加算読み出しモードとを備える撮像素子であれば、ＣＣＤ方式でもＣＭＯＳ方式でも良い。アナログ信号処理部３は、相関二重サンプリング（ＣＤＳ）回路と、オートゲインコントロール（ＡＧＣ）回路とを含み、撮像素子２より得られる映像信号に対してアナログ処理を施す。Ａ／Ｄ変換部４は、アナログ信号処理部３で得られる映像信号をデジタル化してデジタル画像データを生成する。
【００１３】
ここで、撮像素子２を全画素読み出しモード及び画素加算読み出しモードで駆動させて得られるデジタル画像データ（以下それぞれ、全画素画像データ、画素加算画像データとする）はバス１５を介してＳＤＲＡＭ等からなるメモリ７へ格納される。画像処理部８は、メモリ７から全画素画像データ、画素加算画像データを読み出して画像処理を施す。ＪＰＥＧ処理部９は、画像処理部８によって処理され、メモリ７に格納された全画素画像データ及び画素加算画像データを読み出してＪＰＥＧ圧縮処理を施す。ＪＰＥＧ処理部９で圧縮されて得られた圧縮画像データは外部記憶Ｉ／Ｆ１０を経て外部記憶装置１１へ格納される。また、ＪＰＥＧ処理部９は、外部記憶装置１１に格納された圧縮画像データを読み出してＪＰＥＧ伸張する処理も行う。ＬＣＤドライバ１２は、画像処理部８によって処理された画像データをメモリ７から読み出して映像信号に変換し、この映像信号に基づいてＬＣＤ１３に画像表示を行う。
【００１４】
同時撮影部としてのＣＰＵ５は、図１に示す撮像装置の各部を制御する。Ｆｌａｓｈメモリ６は、撮像装置によって実行される各種のプログラムと各種処理を実行するためのパラメータとを格納している。操作部１４は、操作者が各種操作入力を行うための操作部である。
【００１５】
図２は、ＣＰＵ５において実行されるプログラムについて示すフローチャートである。なお、図２に示すプログラムはＦｌａｓｈメモリ６に格納されている。
【００１６】
操作部１４に含まれるレリーズボタンが半押しされて１ｓｔレリーズスイッチがオンになると（ステップＳ１）、ＣＰＵ５は、ＡＥ（Auto Exposure）動作を開始して撮影時の露出条件を決定すると共に、ＡＦ（Auto Focus）動作を開始して焦点位置を求め、求めた焦点位置に応じてレンズ１を駆動する（ステップＳ２）。その後、レリーズボタンが全押しされて２ｎｄレリーズスイッチがオンになると（ステップＳ３）、ＣＰＵ５は、露出条件に従って図示しないシャッタ及び絞りの制御を行うと共に、撮像素子２を所定の撮影条件で駆動させて電荷の蓄積を開始させる（ステップＳ４）。電荷蓄積の終了後、撮像素子２から全画素読み出しモードで電荷が読み出される（ステップＳ５）。読み出された電荷は、アナログ信号処理部３、Ａ／Ｄ変換部４を経てデジタル化される。これにより得られた全画素画像データがバス１５を介してメモリ７へ格納される（ステップＳ６）。
【００１７】
ステップＳ６と連続して、ＣＰＵ５は、撮像素子２を、画素加算による感度上昇等を考慮した撮影条件で駆動させて電荷の蓄積を開始させる（ステップＳ７）。電荷蓄積の終了後、撮像素子２から画素加算読み出しモードで電荷が読み出される（ステップＳ８）。読み出された電荷はアナログ信号処理部３、Ａ／Ｄ変換部４を経てデジタル化される。これにより得られた画素加算画像データがバス１５を介してメモリ７へ格納される（ステップＳ９）。ここで、図１のように、撮像素子が１つしか設けられていない場合には、全画素画像と画素加算画像とは、時間差で撮影しなければ取得できない。したがって、動きの早い被写体を撮影すると、両者の画像に空間的なズレが生じてしまうことがあるが、撮像素子の数を少なくできる分、装置の簡素化が図れる。なお、図１の構成では、全画素画像と画素加算画像とを時間差で取得する必要があるが、その取得順序は図２に示した順序に限らず、逆順でも良い。
【００１８】
また、ステップＳ６及びステップＳ９にて画像データを取り込むにあたり、画素加算読み出しモードで得られる画像信号は、全画素読み出しモードで得られる画像信号と比較して、アナログ信号処理部３で行われるゲインアップの度合いが小さいため、ノイズ量の少ない画像となる。その半面、画素加算画像データは全画素画像データと比較するとサイズが小さくなっている。
【００１９】
ステップＳ６及びステップＳ９でそれぞれ得られた全画素画像データ及び画素加算画像データは各画素がＲ、Ｇ、Ｂいずれかの単色の情報を持つ画像データであるため、１画素が３色の情報を持つように、画像処理部８はそれぞれの画像データに対して同時化処理を行う。更に、画像処理部８は、同時化処理を行ったそれぞれの画像データに対してホワイトバランス処理を行う。その後、それぞれの画像データをメモリ７に格納する（ステップＳ１０）。
【００２０】
更に、画像処理部８は、後に行われるノイズ低減処理のための輝度画像合成処理を行うために、各画素がＲ、Ｇ、Ｂの３成分で構成されている全画素画像データを輝度（Ｙ）及び色差（Ｃ）成分の画像に分離する。その後、色差成分は破棄し、全画素画像データの輝度成分ＹＦのみをメモリ７に格納する（ステップＳ１１）。次に、画像処理部８は、画素加算画像データを輝度及び色差成分の画像に分離する。その後、輝度成分ＹＭと色差成分ＣｒＭ、ＣｂＭとをそれぞれメモリ７に格納する（ステップＳ１２）。
【００２１】
前述のとおり、画素加算画像データは全画素画像データと比較してサイズが小さいため、画像処理部８は、画素加算画像データと全画素画像データとが同等の画像サイズとなるようにＹＭ、ＣｒＭ、ＣｂＭに対してリサイズ変換処理（画素値の補間処理）を行った後で、メモリ７に格納する（ステップＳ１３）。以後はリサイズされた画素加算画像データを利用する。
【００２２】
次に、画像処理部８は、輝度成分ＹＦ、ＹＭを用いて輝度ノイズ低減のための輝度画像合成処理を行う（ステップＳ１４）。ここで行う処理は、ＹＦとＹＭで同位置の画素値を取得し、取得した画素値の加重平均値を合成輝度画像データの画素値とする処理である。そして、加重平均処理を行う際には、輝度の変化に応じてＹＦとＹＭの加重平均比率を変化させる。即ち、あらかじめ複数の輝度スレッシュと、その輝度スレッシュに対応する加重平均比率を設定しておき、ＹＦとＹＭの何れか一方を基準輝度画像データ、他方を参照輝度画像データとし、基準輝度画像データの画素値を輝度スレッシュと比較して、比較結果に対応する加重平均比率をもって参照輝度画像データの画素値との加重平均をとる。このステップＳ１４の処理を詳細に記したフローチャートを図３に示す。
【００２３】
図３はステップＳ１４の処理過程を具体的に示したものである。まず、簡単のために、輝度領域を低輝度領域、中輝度領域、高輝度領域の３段階に分け、低輝度−中輝度の輝度スレッシュをＴ１、中輝度−高輝度の輝度スレッシュをＴ２とする。また、それに対応するように低輝度領域、中輝度領域、高輝度領域での加重平均比率をそれぞれＲ１、Ｒ２、Ｒ３とする。一般的にノイズは暗部（低輝度領域）で目立つため、低輝度領域に対応する比率Ｒ１はノイズの少ないＹＭに大きなウェイトを、中輝度領域に対応する比率Ｒ２はＹＭとＹＦそれぞれに同程度のウェイトを、高輝度領域に対応する比率Ｒ３は解像感を重視するためＹＦに大きなウェイトを持たせることにより、暗部での輝度ノイズレベルを低く抑え、かつ元々ノイズの目立ちにくい中・高輝度領域における解像度の低下を低く抑えることができる。これらを踏まえたうえで、図３のフローチャートについて説明する。
【００２４】
画像処理部８は、まず合成をするにあたっての基準輝度画像データを決定する（ステップＳ２１）。ここではノイズの少ないＹＭ（画素加算画像データの輝度成分）を基準輝度画像データとする。次に、画像処理部８は、基準輝度画像データに決定したＹＭをラスタスキャンし、画素値を取得する（ステップＳ２２）。そして、画像処理部８は、ラスタスキャンによって画素値を取得した画素（着目画素とする）の画素値が輝度スレッシュＴ１以下か否かを判定する（ステップＳ２３）。ステップＳ２３の判定において、着目画素の画素値が輝度スレッシュＴ１以下、即ち着目画素の画素値が低輝度領域に属していれば、画像処理部８は、ステップＳ２２で取得したＹＭの画素値と、それと同位置に存在しているＹＦの画素値とを加重平均比率Ｒ１で加重平均する（ステップＳ２４）。その後、加重平均処理に得られた画素値を合成後の輝度画像データＹの輝度値として出力する（ステップＳ２５）。その後に、画像処理部８は、現在の着目画素が終端の画素（例えば左上端の画素からラスタスキャンを開始した場合には右下端の画素が終端画素となる）であるか否かを判定する（ステップＳ２６）。ステップＳ２６の判定において、現在の着目画素が終端画素である場合には、一連の処理を終了し、そうでない場合はステップＳ２２に戻り、ラスタスキャンを再開する。
【００２５】
また、ステップＳ２３の判定において、着目画素の画素値が輝度スレッシュＴ１を超えていた場合には、画像処理部８は、着目画素の画素値が輝度スレッシュＴ２以下であるか否かを判定する（ステップＳ２７）。ステップＳ２７の判定において、着目画素の画素値が輝度スレッシュＴ２以下、即ち着目画素の画素値が中輝度領域に属していれば、画像処理部８は、ステップＳ２２で取得したＹＭの画素値と、それと同位置に存在しているＹＦの画素値とを加重平均比率Ｒ２で加重平均し（ステップＳ２８）、得られた画素値を合成後の輝度画像データＹの輝度値として出力する。また、ステップＳ２７の判定において、着目画素の画素値が輝度スレッシュＴ２を超えていた場合、即ち着目画素の画素値が高輝度領域に属していれば、画像処理部８は、ステップＳ２２で取得したＹＭの画素値と、それと同位置に存在しているＹＦの画素値とを加重平均比率Ｒ３で加重平均し（ステップＳ２９）、得られた画素値を合成後の輝度画像データＹの輝度値として出力する。これらの処理を行うことで、最終的に輝度に応じて合成された輝度画像データＹが生成される。この合成輝度画像データＹは、低輝度領域で目立ちやすい輝度ノイズが大幅に抑制され、中・高輝度領域での解像感の低下が抑制された画像となる。
【００２６】
ここで、再び図２のフローチャートの説明に戻る。ステップＳ１４で輝度画像データの合成処理を行った後、画像処理部８は、合成輝度画像データＹと画素加算画像データの色差成分ＣｒＭ、ＣｂＭとを合成して、Ｒ、Ｇ、Ｂ成分の画像データに変換することで画像を再構築し、メモリ７に格納する（ステップＳ１５）。画素加算画像データの色差成分は全画素画像データのものと比較して低ノイズであるため、これを再構築画像データの色差成分として使用することにより輝度ノイズだけでなく、色ノイズも大幅に低減させることが可能となる。次に、ＪＰＥＧ処理部９は、メモリ７から再構築されたＲ、Ｇ、Ｂ成分からなるカラー画像データを読み出して圧縮処理した後（ステップＳ１６）、圧縮画像データを外部記憶Ｉ／Ｆ１０を介してメモリカードなどの外部記憶装置１１に書き込む（ステップＳ１７）。
【００２７】
図２及び図３に示した一連の処理により、輝度ノイズ、色ノイズを大幅に低減でき、かつ解像劣化の程度を低く抑えた画像を取得することが可能になる。また、輝度画像データの合成において加重平均比率を決定する際及び画像データの再構築の際には、それぞれノイズの少ない画素加算画像データの輝度成分及び色差成分を利用することにより、よりノイズ低減効果を高めることが可能である。
【００２８】
［第２の実施形態］
次に、本発明の第２の実施形態について説明する。図４は本発明の第２の実施形態に係る撮像装置の主要な構成を示すブロック図である。ここで、図４において図１と同じ参照符号が付されている構成は図１と同様のものなので説明を省略する。図４に示す撮像装置には光路分岐プリズム２０が設けられている。光路分岐プリズム２０はレンズ１によって集光された光を分岐させ、分岐させた一方の光を撮像部２７に入射させ、もう一方の光を撮像部２８に入射させる。このような構成により、被写体からの光を同時に２つの撮像部に入射させることが可能になる。
【００２９】
即ち、レンズ１によって集光した光を光路分岐プリズム２０によって２系統に分け、それぞれの光を撮像素子２１、撮像素子２２にて受光させる。ここで、撮像素子２１は全画素読み出しモードを、撮像素子２２は画素加算読み出しモードを備える。撮像素子２１より得られる映像信号は、後段の相関二重サンプリング（ＣＤＳ）、オートゲインコントロール（ＡＧＣ）を含むアナログ信号処理部２３及びＡ／Ｄ変換部２５を経てデジタル画像データ（全画素画像データ）となる。同様に、撮像素子２２より得られる映像信号はアナログ信号処理部２４、Ａ／Ｄ変換部２６を経てデジタル画像データ（画素加算画像データ）となる。
【００３０】
全画素読み出しモード及び画素加算読み出しモードによって得られたデジタル画像データはバス１５を介してメモリ７へ格納される。その後、メモリ７から読み出された全画素画像データ、画素加算画像データは画像処理部８で画像処理がなされた後、ＪＰＥＧ処理部９でＪＰＥＧ圧縮処理が行われ、外部記憶Ｉ／Ｆ１０を経て外部記憶装置１１へ格納される。また、画像処理部８で画像処理された画像データはＬＣＤドライバ１２を経て映像信号に変換され、この映像信号に基づいてＬＣＤ１３に画像が表示される。
【００３１】
図５は、ＣＰＵ５において実行されるプログラムのフローチャートである。なお、図５に示すプログラムはＦｌａｓｈメモリ６に格納されている。
【００３２】
操作部１４に含まれるレリーズボタンが半押しされて１ｓｔレリーズスイッチがオンされると（ステップＳ４１）、ＣＰＵ５は、ＡＥ動作及びＡＦ動作を開始する（ステップＳ４２）。その後、レリーズボタンが全押しされて２ｎｄレリーズスイッチがオンされると（ステップＳ４３）、ＣＰＵ５は、撮像素子２１及び撮像素子２２をそれぞれ所定の撮影条件で駆動して電荷の蓄積を開始させる（ステップＳ４４）。撮像素子２１からは全画素読み出しモードで電荷が読み出され（ステップＳ４５）、アナログ信号処理部２３、Ａ／Ｄ変換部２５を経てデジタル化された後、デジタル化されて得られた全画素画像データがバス１５を介してメモリ７へ格納される（ステップＳ４６）。
【００３３】
同様に、撮像素子２２からは画素加算読み出しモードで電荷が読み出され（ステップＳ４７）、アナログ信号処理部２４、Ａ／Ｄ変換部２６を経てデジタル化された後、デジタル化されて得られた画素加算画像データがバス１５を介してメモリ７へ格納される（ステップＳ４８）。
【００３４】
以降のステップＳ４９〜Ｓ５６は、第１の実施形態の図２で示したフローチャートのステップＳ１０〜Ｓ１７と同様である。また、ステップＳ５３で行われる輝度画像データの合成処理も第１の実施形態の図３で示したフローチャートの処理である。したがってこれ以降の処理については説明を省略する。
【００３５】
図５で説明した一連の処理により、輝度ノイズ、色ノイズを大幅に低減でき、かつ解像劣化の程度を低く抑えた画像を取得することが可能になる。また、第２の実施形態のように光路や撮像素子を２系統用意することで構成は複雑化するが、全画素画像と画素加算画像とを同時に撮影することができ、タイムラグの無い画像を得ることが可能になる。したがって、加重平均の際の画素位置の一致度を高め、より精度良く合成輝度画像データＹを求めることが可能である。
【００３６】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、上述した実施形態では、輝度領域を３段階に分ける例について説明しているが、４段階以上に分けるようにしても良い。この場合には、輝度領域の数に応じて輝度スレッシュ及び合成比率を設定し、追加した輝度領域も含めて図３の処理を行えば良い。
【００３７】
さらに、前記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【図面の簡単な説明】
【００３８】
【図１】本発明の第１の実施形態に係る撮像装置の主要ブロック図である。
【図２】本発明の第１の実施形態の基本フローチャートである。
【図３】輝度画像合成処理の詳細を記したフローチャートである。
【図４】本発明の第２の実施形態に係る撮像装置の主要ブロック図である。
【図５】本発明の第２の実施形態の基本フローチャートである。
【符号の説明】
【００３９】
１…レンズ、２，２１，２２…撮像素子、３，２３，２４…アナログ信号処理部、４，２５，２６…Ａ／Ｄ変換部、５…ＣＰＵ、６…Ｆｌａｓｈメモリ、７…メモリ、８…画像処理部、９…ＪＰＥＧ処理部、１０…外部記憶インターフェイス（Ｉ／Ｆ）、１１…外部記憶装置、１２…ＬＣＤドライバ、１３…ＬＣＤ、１４…操作部、１５…バス、２０…光路分岐プリズム
【図１】
2008131580.tif 000003
【図２】
2008131580.tif 000004
【図３】
2008131580.tif 000005
【図４】
2008131580.tif 000006
【図５】
2008131580.tif 000007