(57)【要約】【課題】計算負荷が少なく、低い生産コストで製造が可能な信号合成用の信号処理方法及び信号処理回路、並びにそれらの方法及び回路を用いた撮像装置を提供する。【解決手段】信号処理回路は、ＬＵＴを保存するテーブル保存領域と、前記テーブル保存領域に書き込まれたＬＵＴを別のＬＵＴに書き換えるテーブル書換手段と、前記テーブル保存領域にＬＵＴが書き込まれる毎に、前記テーブル保存領域に書き込まれた前記ＬＵＴを基に第１のデジタル信号または第２のデジタル信号に対し演算を行い、前記第１のデジタル信号及び前記第２のデジタル信号を合成する演算手段とを備えている。【選択図】  図４
2004242016.tif 000002
【特許請求の範囲】
【請求項１】
第１の信号または第２の信号に対して実行される複数の処理の各々の内容に応じて、テーブル保存領域に書き込まれるＬＵＴを書き換える書き換えステップと、
前記テーブル保存領域内の前記ＬＵＴの内容が書き換えられる毎に前記書き換えられたＬＵＴの内容に対応する処理を行い、前記第１のデジタル信号及び前記第２のデジタル信号を合成する合成ステップと、を有することを特徴とする信号処理方法。
【請求項２】
前記合成ステップは、
前記第１の信号用の第１の階調補正ＬＵＴを前記テーブル保存領域に書き込むステップと、
前記テーブル保存領域に書き込まれた前記第１の階調補正ＬＵＴを用いて前記第１の信号を階調補正するステップと、
前記第１の階調補正ＬＵＴが書き込まれた前記テーブル保存領域を前記第２の信号用の第２の階調補正ＬＵＴで書き換えるステップと、
前記テーブル保存領域に書き込まれた前記第２の階調補正ＬＵＴを用いて前記第２の信号を階調補正するステップと、
前記第２の階調補正ＬＵＴが書き込まれた前記テーブル保存領域を合成加算用の重み付けＬＵＴで書き換えるステップと、
前記テーブル保存領域に書き込まれた前記合成加算用の重み付けＬＵＴを用いて、前記第１の信号及び第２の信号を合成するステップと、
を備えていることを特徴とする請求項１記載の信号処理方法。
【請求項３】
ＬＵＴを保存するテーブル保存領域と、
前記テーブル保存領域に書き込まれたＬＵＴを別のＬＵＴに書き換えるテーブル書換手段と、
前記テーブル保存領域にＬＵＴが書き込まれる毎に、前記テーブル保存領域に書き込まれた前記ＬＵＴを基に第１のデジタル信号または第２のデジタル信号に対する処理を行い、前記第１のデジタル信号及び前記第２のデジタル信号を合成する処理手段と、を備えたことを特徴とする信号処理回路。
【請求項４】
前記演算手段は、前記テーブル保存領域に書き込まれた第１のデジタル信号用の階調補正ＬＵＴを用いて前記第１のデジタル信号を階調補正し、
前記テーブル保存領域に書き込まれた第２のデジタル信号用の階調補正ＬＵＴを用いて前記第２のデジタル信号を階調補正し、
前記テーブル保存領域に書き込まれた合成加算用重み付けＬＵＴを用いて前記第１のデジタル信号及び前記第２のデジタル信号を合成することを特徴とする請求項３記載の信号処理回路。
【請求項５】
それぞれ異なる感度を有する第１の受光領域及び第２の受光領域からそれぞれ構成される複数の受光素子を有する撮像素子と、
前記第１の受光素子の各々から出力される複数の出力信号から構成される第１のアナログ信号と、前記第２の受光素子の各々から出力される複数の出力信号から構成される第２のアナログ信号とをそれぞれＡ／Ｄ変換して第１のデジタル信号及び第２のデジタル信号を生成するＡ／Ｄ変換回路と、
前記第１のデジタル信号及び第２のデジタル信号に複数の処理を施し、画像データを生成する信号処理回路と、を備え、
前記信号処理回路は、ＬＵＴを保存するテーブル保存領域と、前記テーブル保存領域に書き込まれたＬＵＴを別のＬＵＴに書き換えるテーブル書換手段と、前記テーブル保存領域にＬＵＴが書き込まれる毎に、前記テーブル保存領域に書き込まれた前記ＬＵＴを基に第１のデジタル信号または第２のデジタル信号に対し演算を行い、前記第１のデジタル信号及び前記第２のデジタル信号を合成する演算手段と、を備えたことを特徴とする撮像装置。
【請求項６】
前記第１のデジタル信号または前記第２のデジタル信号を基に前記ＬＵＴを作成する制御部と、
前記制御部が作成した前記ＬＵＴを保存するメモリと、を備え、
前記テーブル書換手段は、前記メモリに保存された前記ＬＵＴを前記テーブル保存領域に書き込むことを特徴とする請求項５記載の撮像装置。
【請求項７】
前記ＬＵＴは、第１のデジタル信号用階調補正ＬＵＴ、前記第２のデジタル信号用階調補正ＬＵＴ、及び合成加算用重み付けＬＵＴであることを特徴とする請求項５または６記載の撮像装置。
【請求項８】
前記信号処理回路は、前記テーブル保存領域に書き込まれた前記第１のデジタル信号用階調補正ＬＵＴを用いて前記第１のデジタル信号を階調補正し、
前記テーブル保存領域に書き込まれた前記第２のデジタル信号用階調補正ＬＵＴを用いて前記第２のデジタル信号を階調補正し、
前記テーブル保存領域に書き込まれた前記合成加算用重み付けＬＵＴを用いて前記第１のデジタル信号及び前記第２のデジタル信号を合成することを特徴とする請求項７記載の撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、信号処理方法、信号処理回路及び撮像装置に係り、特に高感度信号と低感度信号を出力可能な撮像素子を搭載したデジタルカメラ、デジタルビデオカメラ等の撮像装置、並びにそれに用いられる信号処理回路及び信号処理方法に関する。
【０００２】
【従来の技術】
一般に、デジタルカメラ、デジタルビデオカメラ等の撮像装置は、内蔵される撮像素子の電荷蓄積容量により決定される固有のダイナミックレンジを有している。この撮像素子のダイナミックレンジは、銀塩フィルムを用いるカメラによって得られる銀塩ネガフィルムのダイナミックレンジよりも狭い。
【０００３】
そのため、室内から室外を撮影する等、極めて明るい（高輝度）被写体と相対的に暗い（低輝度）被写体が混在するような場面を撮像する場合には、高輝度被写体もしくは低輝度被写体のいずれか一方が適正レベルとなるように露光時間を制御している。このような制御の下では、低輝度被写体を適正レベルとして設定すると高輝度部分が白とびし、高輝度被写体を適正レベルとして設定すると低輝度部分が黒つぶれしてしまう等、不適切な画像しか得られない場合も想定される。
【０００４】
このような問題を解決するために、一つのシーンに対し、互いにダイナミックレンジの異なる高感度信号と低感度信号の２種類の画像信号または映像信号を取得し、２種類の画像信号を最適化して合成処理することにより、広いダイナミックレンジを持つ信号を得る撮像装置が開発されている。このような撮像装置は、例えば以下に示す特許文献に開示されている。
【特許文献１】
特開２００１−９４９９９
【特許文献２】
特開２００１−８１０４
【０００５】
特許文献１は、標準的な明るさの被写体が適正レベルとなるようにして得た標準輝度映像信号と、標準よりも明るい被写体が適性レベルとなるようにして得た高輝度映像信号を、それぞれ適正に調整して、両信号を合成加算することにより、広ダイナミックレンジ映像信号を得る撮像装置を開示している。
【０００６】
また、特許文献２は、低感度信号と高感度信号の両方を撮像可能な撮像手段を用いて、低感度映像と高感度映像を撮影して、両信号を加算合成することにより広ダイナミックレンジ映像信号を得る撮像装置を開示している。
【０００７】
【発明が解決しようとする課題】
しかしながら、特許文献１に記載の撮像装置においては、合成加算時に、撮像データのレベルに応じて、適応的に合成する信号の重み付けを変える必要がある。また、どんなシーンにおいても、一様な合成処理を行ってしまうと、シーンによってはかえって画質が劣化してしまうおそれがある。したがって、例えば被写体のコントラストなどの情報をもとに、シーンに応じてダイナミックレンジを制御することが望まれ、そのための合成加算には複雑な演算が必要とされる。よって、複雑な演算を行うための複雑な信号処理回路を設計する必要があり、コストアップの要因となってしまう。
【０００８】
また、特許文献２に記載の撮像装置において、合成加算を行い広ダイナミックレンジの映像信号を得るためには、合成する画像各々に対して、最適化処理が必要とされる。しかし、各画像に対して最適化処理を同時に行おうとすると、階調補正などの最適化処理回路が合成する画像の数だけ必要となるため、回路が大型化し設計が複雑化してしまい、コストアップの要因となってしまう。
【０００９】
また、最適化処理回路において、階調補正用の補正信号をそれぞれ作成し、階調補正を行った後に、合成処理回路にて合成を行おうとする場合には、信号処理回路全体に大きな計算負荷がかかり処理時間が長くなるといった問題も生じる。
【００１０】
本発明は、上記諸問題を鑑みて為されたものであり、計算負荷が少なく、低い生産コストで製造が可能な画像合成用の信号処理方法及び信号処理回路、並びにその信号処理回路を用いた撮像装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
上記目的を達成するために、本発明の請求項１記載の信号処理方法は、第１の信号または第２の信号に対して実行される複数の処理の各々の内容に応じて、テーブル保存領域に書き込まれるＬＵＴを書き換える書き換えステップと、前記テーブル保存領域内の前記ＬＵＴの内容が書き換えられる毎に前記書き換えられたＬＵＴの内容に対応する処理を行い、前記第１のデジタル信号及び前記第２のデジタル信号を合成する合成ステップと、を有する。
【００１２】
本発明によれば、テーブル保存領域内に書き込まれるデータは、処理に対応して書き換えられる。したがって、複数の処理に対応したＬＵＴ保存用のテーブル保存領域を予め複数設ける必要が無く、テーブル保存領域のデータ容量としては最大のデータ量を持つＬＵＴ分だけ設ければよい。したがって、テーブル保存領域のデータ領域の大きさを節約しつつ、信号合成を行うことが可能となる。
【００１３】
本発明の請求項２記載の信号処理方法は、請求項１記載の信号処理方法であって、前記合成ステップは、前記第１の信号用の第１の階調補正ＬＵＴを前記テーブル保存領域に書き込むステップと、前記テーブル保存領域に書き込まれた前記第１の階調補正ＬＵＴを用いて前記第１の信号を階調補正するステップと、前記第１の階調補正ＬＵＴが書き込まれた前記テーブル保存領域を前記第２の信号用の第２の階調補正ＬＵＴで書き換えるステップと、前記テーブル保存領域に書き込まれた前記第２の階調補正ＬＵＴを用いて前記第２の信号を階調補正するステップと、前記第２の階調補正ＬＵＴが書き込まれた前記テーブル保存領域を合成加算用の重み付けＬＵＴで書き換えるステップと、前記テーブル保存領域に書き込まれた前記合成加算用の重み付けＬＵＴを用いて、前記第１の信号及び第２の信号を合成するステップと、を備えている。
【００１４】
本発明によれば、各種処理に応じてテーブル保存領域に第１の階調補正ＬＵＴ、第２の階調補正ＬＵＴ及び重み付けＬＵＴを保存し、第１の信号及び第２の信号から信号を合成することが可能となる。本発明においても、テーブル保存領域内に書き込まれるデータは、処理に対応して書き換えられる。したがって、複数の処理に対応したＬＵＴを予め複数設ける必要が無く、テーブル保存領域のデータ容量としては最大のデータ量を持つＬＵＴ分だけ設ければよい。したがって、テーブル保存領域のデータ領域の大きさを節約しつつ、信号合成を行うことが可能となる。
【００１５】
本発明の請求項３記載の信号処理回路は、ＬＵＴを保存するテーブル保存領域と、前記テーブル保存領域に書き込まれたＬＵＴを別のＬＵＴに書き換えるテーブル書換手段と、前記テーブル保存領域にＬＵＴが書き込まれる毎に、前記テーブル保存領域に書き込まれた前記ＬＵＴを基に第１のデジタル信号または第２のデジタル信号に対し演算を行い、前記第１のデジタル信号及び前記第２のデジタル信号を合成する演算手段と、を備えている。
【００１６】
本発明によれば、テーブル保存領域内に書き込まれるデータは、処理に対応して書き換えられる。したがって、複数の処理に対応したＬＵＴ保存用のテーブル保存領域を予め複数設ける必要が無く、テーブル保存領域のデータ容量としては最大のデータ量を持つＬＵＴ分だけ設ければよい。したがって、テーブル保存領域のデータ領域の大きさを節約しつつ、信号合成を行うことが可能となる。
【００１７】
本発明の請求項４記載の信号処理回路は、請求項３記載の信号処理回路であって、前記演算手段は、前記テーブル保存領域に書き込まれた第１のデジタル信号用の階調補正ＬＵＴを用いて前記第１のデジタル信号を階調補正し、前記テーブル保存領域に書き込まれた第２のデジタル信号用の階調補正ＬＵＴを用いて前記第２のデジタル信号を階調補正し、前記テーブル保存領域に書き込まれた合成加算用重み付けＬＵＴを用いて前記第１のデジタル信号及び前記第２のデジタル信号を合成する。
【００１８】
本発明によれば、テーブル書換手段は、各種処理に応じてテーブル保存領域に第１の階調補正ＬＵＴ、第２の階調補正ＬＵＴ及び重み付けＬＵＴを保存し、合成手段は、第１の信号及び第２の信号から信号を合成する。本発明においても、テーブル保存領域内に書き込まれるデータは、処理に対応して書き換えられる。したがって、複数の処理に対応したＬＵＴを予め複数設ける必要が無く、テーブル保存領域のデータ容量としては最大のデータ量を持つＬＵＴ分だけ設ければよい。したがって、テーブル保存領域のデータ領域の大きさを節約しつつ、信号合成を行うことが可能となる。
【００１９】
本発明の請求項５記載の撮像装置は、それぞれ異なる感度を有する第１の受光領域及び第２の受光領域からそれぞれ構成される複数の受光素子を有する撮像素子と、前記第１の受光素子の各々から出力される複数の出力信号から構成される第１のアナログ信号と、前記第２の受光素子の各々から出力される複数の出力信号から構成される第２のアナログ信号とをそれぞれＡ／Ｄ変換して第１のデジタル信号及び第２のデジタル信号を生成するＡ／Ｄ変換回路と、前記第１のデジタル信号及び第２のデジタル信号に複数の処理を施し、画像データを生成する信号処理回路と、を備え、前記信号処理回路は、ＬＵＴを保存するテーブル保存領域と、前記テーブル保存領域に書き込まれたＬＵＴを別のＬＵＴに書き換えるテーブル書換手段と、前記テーブル保存領域にＬＵＴが書き込まれる毎に、前記テーブル保存領域に書き込まれた前記ＬＵＴを基に第１のデジタル信号または第２のデジタル信号に対し演算を行い、前記第１のデジタル信号及び前記第２のデジタル信号を合成する演算手段と、を備える。
【００２０】
本発明によれば、テーブル保存領域内に書き込まれるデータは、処理に対応して書き換えられる。したがって、複数の処理に対応したＬＵＴ保存用のテーブル保存領域を予め複数設ける必要が無く、テーブル保存領域のデータ容量としては最大のデータ量を持つＬＵＴ分だけ設ければよい。したがって、テーブル保存領域のデータ領域の大きさを節約しつつ、信号合成を行うことが可能となる。したがって、撮像装置内の回路スペースを節約し、コンパクトなデジタルカメラを構成することが可能となる。
【００２１】
本発明の請求項６記載の撮像装置は、請求項５記載の撮像装置であって、前記第１のデジタル信号または前記第２のデジタル信号を基に前記ＬＵＴを作成する制御部と、前記制御部が作成した前記ＬＵＴを保存するメモリと、を備え、前記テーブル書換手段は、前記メモリに保存された前記ＬＵＴを前記テーブル保存領域に書き込む。
【００２２】
本発明によれば、ＬＵＴは、信号処理回路外部の制御部が作成し、作成したＬＵＴを用いて信号処理回路で演算が行われる。したがって、信号処理回路でＬＵＴを生成する必要が無く、信号処理回路の処理が軽減され、全体の処理の迅速化を図ることが可能となる。
【００２３】
本発明の請求項７記載の撮像装置は、請求項５または６記載の撮像装置であって、前記ＬＵＴは、第１のデジタル信号階調補正用ＬＵＴ、前記第２のデジタル信号階調補正用ＬＵＴ、及び合成加算用重み付けＬＵＴであることを特徴とする請求項５または６記載の撮像装置。
【００２４】
本発明によれば、第１のデジタル信号用階調補正ＬＵＴ、前記第２のデジタル信号用階調補正ＬＵＴ、及び合成加算用重み付けＬＵＴを書き換えることにより、合成処理が行われる。
【００２５】
本発明の請求項８記載の撮像装置は、請求項７記載の撮像装置であって、前記信号処理回路は、前記テーブル保存領域に書き込まれた前記第１のデジタル信号階調補正用ＬＵＴを用いて前記第１のデジタル信号を階調補正し、前記テーブル保存領域に書き込まれた前記第２のデジタル信号階調補正用ＬＵＴを用いて前記第２のデジタル信号を階調補正し、前記テーブル保存領域に書き込まれた前記合成加算用重み付けＬＵＴを用いて前記第１のデジタル信号及び前記第２のデジタル信号を合成する。
【００２６】
本発明によれば、第１のデジタル信号階調補正用ＬＵＴ、第２のデジタル信号階調補正用ＬＵＴ及び合成用重み付けＬＵＴをもとに、階調補正を行い、豪所為処理を行う。ここで合成は、第１のデジタル信号及び第２のデジタル信号から信号を合成する。本発明においても、テーブル保存領域内に書き込まれるデータは、処理に対応して書き換えられる。したがって、複数の処理に対応したＬＵＴを予め複数設ける必要が無く、テーブル保存領域のデータ容量としては最大のデータ量を持つＬＵＴ分だけ設ければよい。したがって、テーブル保存領域のデータ領域の大きさを節約しつつ、信号合成を行うことが可能となる。
【００２７】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施形態に係る撮像装置の一例であるデジタルカメラを詳細に説明する。
【００２８】
図１は、本実施形態のデジタルカメラ１を示すブロック図である。デジタルカメラ１は、光学系１０と、撮像部２０と、Ａ／Ｄ撮像処理部３０と、駆動制御部４０と、信号処理回路５０と、画像データ記録部６０と、表示部７０と、制御部８０と、メモリ９０と、画像記録再生部１００とを備えている。
【００２９】
光学系１０は、外部からの光が入射する一枚のレンズまたは複数のレンズを組み合わせて構成される単焦点レンズ、ズームレンズ等のレンズ、外部からの光量を制限するしぼり等を備えており、外部からの入射光を後段の撮像部２０の撮像素子上に焦点をあわせる収光部材である。光学系１０では、駆動制御部４０からの駆動信号に従って、被写体とカメラとの距離に応じたピント調節や、ズーム動作による画角の調整等が行われる。
【００３０】
撮像部２０は、光学系１０の後段に配置され、光学系１０を介してデジタルカメラ１内に入射した光を入射位置毎に光電変換して電気信号として取り出すものである。本実施形態において、撮像部２０は、ＷハニカムＣＣＤと呼ばれる固体撮像素子２１から構成されるものであり、感度の異なる２種類の信号を一度の撮像で取得可能である。
【００３１】
図２は、この固体撮像素子２１の部分拡大平面図である。固体撮像素子２１は、いわゆるハニカム構造の固体撮像素子であって、半導体基板表面に行方向（矢印Ｘで示す方向）とこれに直交する列方向（矢印Ｙで示す方向）に配設された複数の受光素子２２（図では一部のみに番号を付してある）、垂直転送部２４、水平転送部２６、及び出力部２８を含む。複数の受光素子２２のうち奇数列のものは、偶数列のものに対して隣接する光受光素子間の列方向ピッチの略１／２だけ列方向にずれており、また、奇数行の受光素子は、偶数行の受光素子対して隣接する受光素子間の行方向ピッチの略１／２だけ行方向にずれて配置される。なお、図２では、５行８列の受光素子が示されているが、実際には、さらに多くの受光素子が設けられる。
【００３２】
受光素子２２は、入射光量に対応した信号電荷を発生し、蓄積するもので、例えばフォトダイオードである。受光素子２２の各々は、相対的に広い受光面積を有する主領域ｍと相対的に狭い受光面積を有する副領域ｓを有している。主領域ｍ及び副領域ｓは、それぞれ所定の分光感度の光に対応する信号電荷を発生し、蓄積する。副領域ｓは、主領域ｍよりも受光感度が低く、蓄積される信号電荷の量も主領域ｍと比べて少ない。
【００３３】
各受光素子２２の上方には、赤（Ｒで示す。）、緑（Ｇで示す。）、又は青（Ｂで示す。）のカラーフィルタ（図示せず）の何れか一つが設けられている。ここで、同一受光素子２２内の主領域ｍと副領域ｓは、同一のカラーフィルタが設けられている。各受光素子２２の受光領域ｍ，ｓは、それぞれの色の光に対応する信号電荷を発生し、蓄積する。
【００３４】
垂直転送部２４は、各受光素子２２から信号電荷を読み出し、列方向に転送するものであり、受光素子２２の列に対応してその側方にそれぞれ設けられる。垂直転送部２４は、主領域ｍの信号電荷と副領域ｓの信号電荷をそれぞれ独立に列方向に読み出し、水平転送部２６に転送する。水平転送部２６は、複数の垂直転送部２４からの信号電荷が転送され、転送された信号電荷を行方向に転送するものである。出力部４００は、水平転送部２６から転送された信号電荷量に応じた電圧信号を出力する。以下、複数の主領域ｍからの複数の電荷信号を基に作られた複数の電圧信号をまとめて高感度信号Ｈと、そして複数の副領域ｓからの複数の電荷信号を基に作られた複数の電圧信号を低感度信号Ｌと呼ぶこととする。高感度信号Ｈ及び低感度信号Ｌは、ともにＡ／Ｄ撮像処理部３０に送られる。
【００３５】
Ａ／Ｄ撮像処理部３０は、高感度信号Ｈ及び低感度信号Ｌのバイアス調整、ゲイン調整等の所定のアナログ信号処理を行った後、Ａ／Ｄ変換を行い各信号をデジタル化するものである。ここでは、高感度信号Ｈ及び低感度信号Ｌは、それぞれ独立に１２ｂｉｔ階調でデジタル変換され、高感度デジタル信号Ｈａ及び低感度デジタル信号Ｈｂがそれぞれ生成される。生成された高感度デジタル信号Ｈａ及び低感度デジタル信号Ｈｂは、信号処理部５０に送られる。
【００３６】
駆動制御部４０は、制御部８０からの指示に基づき、光学系１０のレンズの駆動、撮像部２０で生成された電荷信号を転送する転送タイミング信号、及びＡ／Ｄ撮像処理部３０の駆動タイミング等を出力し、各部を統括制御する。フォーカス制御及び撮像時の制御は、制御部からの指示に基づき、この駆動制御部４０により駆動タイミングが決定され、撮像後に生成された各信号は順次信号処理部５０に送られる。
【００３７】
信号処理部５０は、高感度デジタル信号Ｈａ及び低感度デジタル信号Ｈｂの最適化処理を行い、最適化された高感度デジタル信号Ｈａ及び低感度デジタル信号Ｈｂを一つに合成して、画像データを生成するものである。信号処理部５０は、バス１１０に接続されており、生成された画像データは、圧縮処理部６０またはバス１１０を介して画像記録再生部１００に接続された記録媒体１０５に記録される。この信号処理部５０については、後ほど詳述する。
【００３８】
圧縮処理部６０は、バスライン１１０に接続されており、信号処理部５０により生成された画像データにＴＩＦＦ、ＪＰＥＧ等の所定の画像フォーマットに従った圧縮処理を施し、画像データのデータ量を変化させる。データ圧縮を行うかどうかは、ユーザ設定に依存しており、データの圧縮処理を行わない場合には、信号処理部５０から直接記録媒体１０５に画像データが書き込まれるように構成してもよい。
【００３９】
表示部７０は、バスライン１１０に接続され、液晶等を素材としたディスプレイを有している。表示部７０は、このディスプレイ上に撮像前に取得される被写体画像や撮像終了後の画像データを表示したり、ユーザにデジタルカメラの設定等を表示したりする。
【００４０】
制御部８０は、高速演算を行うＣＰＵを備え、図示せぬシャッタボタンからの撮像指示に基づき各種演算を行い、デジタルカメラ１の各部の撮像動作全体を撮像動作全体を総括制御する。また撮像時には、オートフォーカス、自動露光制御、オートホワイトバランス等の制御や必要に応じて各処理部の演算補助を行う等特定制御の一部として機能する。
【００４１】
メモリ９０は、デジタルカメラの諸設定値の保存、及び各部で演算された演算結果等を一時的な記録を行う内蔵記録手段である。デジタルカメラの各部は、必要であればメモリを介してデータの受け渡し等を行う。
【００４２】
画像記録再生部１００は、スマートメディア、ｘＤ−Ｐｉｃｔｕｒｅ  Ｃａｒｄ等の外部記録媒体１０５が接続可能とされており、作成された画像データをこの外部記録媒体１０５に記録し保存する。また、画像記録再生部１００は、画像の再生時に外部記録媒体１０５からデータが読み出して表示部７０に出力し、表示部７０のディスプレー上に画像を表示可能に構成されている。
【００４３】
図３は、信号処理部５０における処理の詳細を示すブロック図である。信号処理部５０は、信号積算部５１と、ゲイン調整部５３と、階調補正部５４と、合成処理部５５と、ＹＣ処理部５６とを備えている。信号処理部５０に入力される高感度デジタル信号Ｈａ及び低感度デジタル信号Ｈｂの両者は、信号積算部５１及びゲイン調整部５３に送られる。
【００４４】
信号積算部５１は、高感度デジタル信号Ｈａ及び低感度デジタル信号ＬａをそれぞれＲ，Ｇ，Ｂの色毎に積算し、色別のヒストグラムや色別の平均積算値を算出する。算出にあたっては、得られる画像の画面領域を複数に分割し、各領域毎に平均積算値を算出するようにしてもよい。
【００４５】
ゲイン調整部５３は、ホワイトバランス調整等のデジタル信号のゲイン調整を行う乗算回路である。ホワイトバランス調整とは、白い被写体が白として撮像されるように、光源の発色（色温度）に応じてカラーバランスを補正する処理である。一般に、ホワイトバランスを調整しない場合には、色温度の違いにより、蛍光灯の元では得られる画像が緑色っぽく、また白熱電灯の元では得られる画像が赤味を帯びてしまう傾向がある。
【００４６】
ゲイン調整部５３は、具体的なホワイトバランス調整において、高感度デジタル信号Ｈａについて信号積算部５１により得られたＲ，Ｇ，Ｂの信号の平均積算値Ｒｓｕｍ，Ｇｓｕｍ，Ｂｓｕｍを基に、Ｇｓｕｍと他の信号Ｒｓｕｍ，Ｂｓｕｍの比Ｒｓｕｍ／Ｇｓｕｍ、Ｂｓｕｍ／Ｇｓｕｍを計算する。そして、求められた比に従って計算された各色毎のゲイン補正係数を信号Ｒ，Ｂの信号にそれぞれ乗算することにより、ＲＧＢ間の色レベルを調整する。ここでは、高感度デジタル信号Ｈａより得られたゲイン補正係数を、高感度デジタル信号ＨａのＲ，Ｂ信号及び低感度デジタル信号ＬａのＲ，Ｂ信号にかけ合わせ各デジタル信号Ｈａ，Ｌａのホワイトバランスを調整する。
【００４７】
階調補正部５４は、ゲイン調整後の高感度デジタル信号Ｈａ及び低感度デジタル信号Ｌａの階調を所定の係数を用いてそれぞれ独立に１２ｂｉｔから８ｂｉｔに階調補正する。この階調補正には、マトリクス形式の高感度デジタル信号階調補正ＬＵＴと低感度デジタル信号階調補正ＬＵＴが用いられる。各階調補正用ＬＵＴは、高感度デジタル信号Ｈａ及び低感度デジタル信号Ｌａが入力されると、信号の値に応じてデータを出力し、階調変換を行う。これらの階調補正用ＬＵＴは、予め制御部８０のメモリ領域やメモリ９０に保存されたものであってもよいし、またユーザ設定、デジタル信号のヒストグラム等を基に行われる演算により適応的に求められるものであってもよい。
【００４８】
合成処理部５５は、階調補正後の高感度デジタル信号Ｈｂと低感度デジタル信号Ｌｂを各Ｒ，Ｇ，Ｂ毎に合成し、Ｒ信号，Ｇ信号，Ｂ信号からなる合成デジタル信号Ｓを生成する。ここでは、一例として以下のような式を用いて合成が行われる。
【００４９】
【数１】
2004242016.tif 000003
【００５０】
ここで、式（１），（２），（３）において、パラメータｐは、加算されたデジタル信号全体に対するゲインであり、これによって加算後のデータに対するダイナミックレンジの制御を行う。この値が小さいほど、ダイナミックレンジは広く、逆に大きいほど、ダイナミックレンジは狭くなる。具体的には、コントラストの高いシーン（真夏の晴天など）では０．８に、曇りや日陰では０．８６、室内蛍光灯下では０．９といったようにシーンに応じてこの値を変化させてやることにより、８ｂｉｔの階調値を有効に使用することが可能となる。
【００５１】
パラメータｔｈは、高感度デジタル信号Ｈｂに対し低感度デジタル信号Ｌｂをどの程度混ぜ合わせるかの比率を表すものであり、高感度デジタル信号Ｈｂと低感度デジタル信号Ｌｂの信号強度に応じて予め決定することができる。実際の合成処理においては、高感度デジタル信号Ｈｂと、パラメータｔｈ，  ｐと、上記式（２）及び（３）に従い決定されるｈ＿ｇａｉｎ及びｌ＿ｇａｉｎを算出し、高感度デジタル信号Ｈｂ及び低感度デジタル信号Ｌｂに、それぞれｈ＿ｇａｉｎ及びｌ＿ｇａｉｎを乗算して、各信号を加算することにより、合成デジタル信号Ｓを生成する。一例として、ｔｈを固定とし、ｐをシーンに応じて可変とすることで処理を実行することが可能である。
【００５２】
制御部８０は、モード設定、撮像条件等に従いパラメータｐおよびｔｈが決定されると、ｈ＿ｇａｉｎ及びｌ＿ｇａｉｎを保存したマトリクス形式の合成用重み付けＬＵＴを予め生成し、制御部８０のメモリ領域またはメモリ９０に保存する。このＬＵＴは、Ｈｂが入力されると、Ｈｂの値に応じたｈ＿ｇａｉｎ及びｌ＿ｇａｉｎを出力するものであり、合成時に所定のテーブル保存領域に読み出され、使用される。この合成用重み付けＬＵＴが保存されるテーブル保存領域は、上述の階調補正用の高感度デジタル信号階調補正用ＬＵＴと低感度デジタル信号階調補正用ＬＵＴが保存される領域と同一である。この説明の詳細については、後述する。
【００５３】
ＹＣ処理部５６は、所定の同時化処理を行い、合成信号ＳのＲ信号、Ｇ信号、Ｂ信号から輝度信号Ｙとクロマ信号Ｃｒ，Ｃｂとを作成する回路である。また、ＹＣ処理部５６は、生成した輝度信号Ｙとクロマ信号Ｃｒ，Ｃｂに対し、ノイズ低減等の各処理を施し、非圧縮状態の画像データを生成する。生成された画像データは、圧縮される場合には圧縮処理部６０で圧縮された後に、また非圧縮のままの場合には、直接画像記録再生部１００に送られ、記録媒体１０５に記録される。
【００５４】
以上、図３に示す信号処理部５０での処理において、ゲイン調整部５３、階調補正部５４，及び合成処理部５５での一連の処理は、一つの最適化合成処理回路５２にて行われる。以下、最適化合成処理回路５２及びその処理について説明を行う。
【００５５】
図４は、最適化合成処理回路５２の構成を示すブロック図である。最適化合成処理回路５２は、高感度デジタル信号階調補正用ＬＵＴ、低感度デジタル信号階調補正用ＬＵＴ、及び合成用重み付けＬＵＴを保存するテーブル保存領域２３０を共有する構造となっている点が特徴的である。以下、各部について説明する。
【００５６】
セレクタ２１０は、最適化合成処理回路５２の入力口に設けられ、最適化合成処理回路５２に入力された各種デジタル信号Ｈａ，Ｌａ，Ｈｂ，Ｌｂをその信号の種類に応じて、振り分ける機能を有する。
【００５７】
乗算器２２０は、ホワイトバランス用のゲイン補正係数を各デジタル信号Ｈａ，Ｌａに乗算し出力する、図３のゲイン調整部５３に相当するブロックである。具体的に、セレクタ２１０は、乗算器２２０に高感度デジタル信号Ｈａ及び低感度デジタル信号Ｌａを順次出力する。乗算器２２０は、受け取った高感度デジタル信号Ｈａ及び低感度デジタル信号Ｌａにゲイン補正係数を乗算し、ゲイン調節を行い、後段のテーブル保存領域２３０に出力する。
【００５８】
テーブル保存領域２３０は、高感度デジタル信号階調補正用ＬＵＴ、低感度デジタル信号階調補正用ＬＵＴ、及び合成用重み付けＬＵＴの何れか一つを一度に保存する。これによりテーブル保存領域２３０は、保存されたＬＵＴに対応して、階調補正部５４として、また合成処理部５５の合成ゲイン出力部として機能するものである。具体的に、テーブル保存領域２３０は、一度に上記ＬＵＴのうち一つだけを保存することができるメモリ領域が割り当てられており、新たなＬＵＴが書き込まれる場合には、先のＬＵＴは、上書きされる。すなわち、テーブル保存領域２３０は、必要な処理に対応するＬＵＴのみが保存され、書き込まれたＬＵＴに対応する処理を入力信号に対して行う。
【００５９】
テーブル書換部２４０は、テーブル保存領域２３０に保存すべきＬＵＴを選択し、テーブル保存領域２３０に書き込む。高感度デジタル信号階調補正用ＬＵＴ、低感度デジタル信号階調補正用ＬＵＴ、及び合成用重み付けＬＵＴは、先述の通り、演算作成が必要な場合にはそれぞれ信号処理部５０の外部で、すなわち制御部８０にて予め作成されており、メモリ９０または制御部８０内部のメモリ領域に保存されている。テーブル書換部２４０は、必要に応じてメモり９０から必要なＬＵＴを読み出し、テーブル保存領域に上書き保存する。
【００６０】
まとめると、テーブル保存領域２３０で行われる処理は、２種類の階調補正処理と、合成用ゲインｈ＿ｇａｉｎおよびｌ＿ｇａｉｎの出力である。テーブル保存領域２３０にゲイン調整後の高感度デジタル信号Ｈａまたは低感度デジタル信号Ｌａが入力する場合、テーブル書換部２４０は、高感度デジタル信号階調補正用ＬＵＴまたは低感度デジタル信号階調補正用ＬＵＴをテーブル保存領域２３０に予め書き込んでおく。そして、高感度デジタル信号階調補正用ＬＵＴまたは低感度デジタル信号階調補正用ＬＵＴを参照して各デジタル信号ＨａまたはＬａの階調補正を行い、階調補正後のデジタル信号ＨｂまたはＬｂをセレクタ２５０に出力する。
【００６１】
一方、テーブル保存領域２３０に階調補正後の高感度デジタル信号Ｈｂが入力した場合、テーブル保存領域２３０は、入力したＨｂの各信号レベルに応じて合成用重み付けＬＵＴに書き込まれたｈ＿ｇａｉｎおよびｌ＿ｇａｉｎを出力する。
【００６２】
セレクタ２５０は、テーブル保存領域２３０から出力されたデジタル信号Ｈｂ，Ｌｂを識別し、信号の種類に応じて、外部のメモリ９０に一時的に保存する。メモリ９０に保存されたデジタル信号Ｈｂ，Ｌｂは、合成加算時に信号処理部５０の最適化合成処理回路５２に入力され、合成処理が行われる。
【００６３】
乗算器２６０，２７０は、セレクタ２１０から送られた階調補正後の高感度デジタル信号Ｈｂおよび低感度デジタル信号Ｌｂに、それぞれ重み付け係数ｈ＿ｇａｉｎおよびｌ＿ｇａｉｎを乗算する回路である。各乗算器２６０，２７０で乗算が行われた高感度デジタル信号Ｈｂおよび低感度デジタル信号Ｌｂは、加算器２８０にて足し合わされ、合成信号Ｓが生成される。加算器２８０から出力された合成信号Ｓは、リミッタ２９０にてオーバーフローが無いかどうかチェックされた後に、最終的な合成信号Ｓとして、最適化合成処理回路５２からＹＣ処理回路５５に出力される。
【００６４】
以下、図５を参照しながら、本最適化合成処理回路５２における信号の流れとともに、合成加算処理について説明する。撮像が行われ、２種のデジタルデータが作成されると、前処理として、制御部８０は、入力デジタル信号及び設定値を基に、ゲイン調整用係数、高感度デジタル信号階調補正用ＬＵＴ及び高感度デジタル信号階調補正用ＬＵＴを作成し、メモリ９０に保存する。そして、テーブル書換部２４０は、高感度デジタル信号階調補正用ＬＵＴをメモリ９０から読み出し、テーブル保存領域２３０に、書き込む（ステップＳ１）。そして、高感度デジタル信号Ｈａが、セレクタ２１０を介して乗算器２２０に送出され、乗算器２２０にてゲイン補正係数が乗算されゲイン調整される。その後、高感度デジタル信号Ｈａは、テーブル保存領域２３０に送られ、高感度デジタル信号階調補正用ＬＵＴを基に階調補正が行われ、階調補正後の高感度デジタル信号Ｈｂが生成される（ステップＳ２）。生成された高感度デジタル信号Ｈｂは、セレクタ２５０を介して、メモリ９０に一時保存される。
【００６５】
次に、テーブル書換部２４０は、低感度デジタル信号階調補正用ＬＵＴをメモリ９０から読み出し、テーブル保存領域２３０に、書き込む（ステップＳ３）。そして、低感度デジタル信号Ｌａが、セレクタ２１０を介して乗算器２２０に送出され、乗算器２２０にて高感度デジタル信号Ｈａと同一のゲイン補正係数が乗算されゲイン調整される。その後、低感度デジタル信号Ｌａは、テーブル保存領域２３０に送られ、低感度デジタル信号階調補正用ＬＵＴを基に階調補正が行われ、階調補正後の低感度デジタル信号Ｌｂが生成される（ステップＳ４）。生成された低感度デジタル信号Ｌｂは、セレクタ２５０を介して、メモリ９０に一時保存される。
【００６６】
階調補正が終了すると、テーブル書換部２４０は、制御部８０によって予め生成されメモリ９０に保存されている合成加算用重み付けＬＵＴを読み出し、テーブル保存領域２３０に書き込む（ステップＳ５）。そして、合成加算用重み付けＬＵＴがテーブル保存領域に設定されると、高感度デジタル信号Ｈｂおよび低感度デジタル信号Ｌｂが順次セレクタ２１０に入力される。高感度デジタル信号Ｈｂは、セレクタ２１０を介してテーブル保存領域２３０及び乗算器２６０に送出され、また低感度デジタル信号Ｌｂは、セレクタ２１０を介して乗算器２７０に送出される。
【００６７】
テーブル保存領域２３０では、入力された高感度デジタル信号Ｈｂの各信号のレベルに従って、合成加算用重み付けＬＵＴに保存された重み付け用のｈ＿ｇａｉｎおよびｌ＿ｇａｉｎが出力され、それぞれ乗算器２６０，２７０に送出される。乗算器２６０では、ｈ＿ｇａｉｎと高感度デジタル信号Ｈｂが乗算され重み付けがなされ、また乗算器２７０では、ｌ＿ｇａｉｎと低感度デジタル信号Ｌｂが乗算され重み付けがなされる。そして、乗算器２６０及び乗算器２７０から出力された各デジタル信号の個々の値同士は、加算器２８０にて足し合わされ、合成信号Ｓが生成される。生成された合成信号Ｓは、リミッタ２９０にてオーバーフローが無いかどうかチェックされ、最終的な合成信号Ｓとして出力される（ステップＳ６）。
【００６８】
その後、合成信号Ｓは、ＹＣ処理回路５６にて所望の処理が行われ、非圧縮状態の画像データが生成され、画像データの生成を終了する（ステップＳ７）。
【００６９】
以上、本実施形態によれば、信号処理部５０におけるゲイン調整部５３，階調補正部５４，及び合成処理部５５の処理は、図４に示す最適化処理回路５２によって順次処理される。この最適化処理回路５２では、複雑な関数演算を最適化処理回路で行うのではなく、ＬＵＴを用いて各種処理が処理される。従って、最適化処理回路５２では、複雑な関数演算による計算負荷が軽減され、各種処理を迅速に実行することができる。
【００７０】
さらに各種処理に用いられるＬＵＴは、高速演算を得意とする外部の制御部８０にて予め生成されているため、最適化処理回路５２自身はＬＵＴを生成する計算負荷から解放される。これにより、最適化処理回路５２における他の演算を円滑に実行し、各種処理を迅速に実行することができる。
【００７１】
また、各種処理に用いられるＬＵＴは、ＬＵＴを必要とする演算が行われる場合に、各演算に必要なＬＵＴが先のＬＵＴを上書きしてテーブル保存領域２３０に保存され、処理が実行される。したがって、予め複数のＬＵＴを保存する領域を最適化処理回路５２に設ける必要が無く、すなわち最適化処理回路５２に複数のＬＵＴを同時に保存するためのメモリ領域を確保することなく、各種処理を行うことができる。一般に、１２ｂｉｔや８ｂｉｔの階調データに対応したマトリクス形式のＬＵＴをすべて回路内に保存しようとすると、回路をチップ化した場合等にメモリ領域のスペースが増大し、チップのサイズ縮小が困難となりまたコストアップの一因となる。しかし、本実施形態によれば、最適化合成処理回路５２内に、複数のＬＵＴにそれぞれ対応したメモリ領域を設ける必要がないため、メモリ領域をコンパクト化でき、チップサイズを縮小するとともにコストの低減をはかることが可能となる。
【００７２】
なお、本実施形態においてはデジタルカメラを基に説明を行ったが、これに限らず、デジタルビデオカメラ等動画撮影可能な撮像装置において本方法を適用することも可能である。
【００７３】
また、本実施形態においてはＷハニカムＣＣＤと呼ばれる撮像素子を備えた撮像装置として説明を行ったが、これに限らず、高感度信号及び低感度信号を取得可能な各種撮像装置に上記信号処理回路を適用しても構わない。
【００７４】
【発明の効果】
本発明によれば、テーブル保存領域内に書き込まれるデータは、処理に対応して書き換えられる。したがって、複数の処理に対応したＬＵＴ保存用のテーブル保存領域を予め複数設ける必要が無く、テーブル保存領域のデータ容量としては最大のデータ量を持つＬＵＴ分だけ設ければよい。したがって、テーブル保存領域のデータ領域の大きさを節約した信号合成方法、低コストの信号合成用回路を得ることが可能となる。
【図面の簡単な説明】
【図１】本実施形態のデジタルカメラを示すブロック図である。
【図２】固体撮像素子の部分拡大平面図である。
【図３】信号処理部における処理の詳細を示すブロック図である。
【図４】最適化合成処理回路の構成を示すブロック図である。
【図５】信号の合成処理を示すフローチャートである。
【符号の説明】
１      デジタルカメラ
１０    光学系
２０    撮像部
２１    固体撮像素子
２２    受光素子
２４    垂直転送路
２６    水平転送路
２８    出力部
３０    Ａ／Ｄ撮像処理部
４０    駆動制御部
５０    信号処理部
５１    信号積算部
５２    最適化合成処理回路
５３    ゲイン調整部
５４    階調補正部
５５    合成処理部
５６    ＹＣ処理部
６０    圧縮処理部
７０    表示部
８０    制御部
９０    メモリ
１００  画像記録再生部
１０５  記録媒体
２１０，２５０  セレクタ
２２０  ２６０，２７０  乗算器
２３０  テーブル保存領域
２８０  加算器
２９０  リミッタ
【図１】
2004242016.tif 000004
【図２】
2004242016.tif 000005
【図３】
2004242016.tif 000006
【図４】
2004242016.tif 000007
【図５】
2004242016.tif 000008