(57)【特許請求の範囲】
【請求項１】
受光量に応じた画素信号を生成する複数の画素を受光面に有し、前記受光面は複数の画素ブロックに分割され、前記画素ブロックには複数の画素が配置される撮像手段から、前記画素信号を受信する受信部と、
前記画素ブロックにおける所定の位置に配置される複数の画素から出力される前記画素信号を加算して、高感度信号を生成する第１の加算部と、
前記高感度信号の信号レベルが閾値を超えるかについて、前記画素ブロック毎に判別する判別部と、
前記高感度信号を前記画素信号の最大レベルより小さくなるように前記画素ブロック毎に別々に圧縮することにより、前記閾値より大きくかつ圧縮前の高感度信号の信号レベルの増加に応じて増加する低感度信号を生成する圧縮部とを備え、
前記高感度信号の信号レベルが前記閾値を超えるとき前記低感度信号が出力され、前記高感度信号の信号レベルが前記閾値を下回るとき前記高感度信号が出力される
ことを特徴とする画像信号処理ユニット。
【請求項２】
前記圧縮部は、前記高感度信号の信号レベルの増加に応じて減少する圧縮係数を前記高感度信号に乗ずることにより前記低感度信号を生成することを特徴とする請求項１に記載の画像信号処理ユニット。
【請求項３】
前記圧縮部は、前記高感度信号の信号レベルが前記閾値を超えるとき前記高感度信号を圧縮して前記低感度信号を生成することを特徴とする請求項１または請求項２に記載の画像信号処理ユニット。
【請求項４】
前記画素は、第１の色のカラーフィルタ、第２の色のカラーフィルタ、および第３の色のカラーフィルタによりそれぞれ覆われる第１の画素、第２の画素、および第３の画素のいずれかであり、
前記画素ブロックには、第１の所定の位置に複数の第１の画素が、第２の所定の位置に複数の第２の画素が、第３の所定の位置に複数の第３の画素が配置され、
前記第１の加算部は、前記第１の所定の位置に配置された複数の第１の画素から出力される前記画素信号を加算して第１の高感度信号を、前記第２の所定の位置に配置された複数の第２の画素から出力される前記画素信号を加算して第２の高感度信号を、前記第３の所定の位置に配置された複数の第３の画素から出力される前記画素信号を加算して第３の高感度信号を生成し、
前記判別部は、前記第１〜第３の高感度信号の中で信号レベルが最大の高感度信号を基準信号として前記画素ブロック毎に検出し、前記基準信号の信号レベルが前記閾値を越えるかについて判別し、
前記圧縮部は、前記基準信号が前記画素信号の最大レベルより小さくなるように、その画素ブロックの前記第１〜第３の高感度信号を圧縮することにより第１〜第３の低感度信号を生成し、
前記画素ブロック毎の前記基準信号の信号レベルが前記閾値を越えるとき前記低感度信号を出力し、前記基準信号の信号レベルが前記閾値を下回るとき前記第１〜第３の高感度信号を出力する
ことを特徴とする請求項１に記載の画像信号処理ユニット。
【請求項５】
前記圧縮部は、前記基準信号の信号レベルの増加に応じて減少する圧縮係数を、前記画素ブロックの前記第１〜第３の高感度信号に乗ずることにより前記低感度信号を生成することを特徴とする請求項４に記載の画像信号処理ユニット。
【請求項６】
前記圧縮部は、前記基準信号の信号レベルが前記閾値を超えるとき前記第１〜第３の高感度信号を圧縮して前記第１〜第３の低感度信号を生成することを特徴とする請求項４または請求項５に記載の画像信号処理ユニット。
【請求項７】
受光量に応じた画素信号を生成する複数の画素を受光面に有し、前記受光面は複数の画素ブロックに分割され、前記画素ブロックには複数の画素が配置される撮像手段から、前記画素信号を受信する受信部と、
前記画素ブロックにおける所定の位置に配置される複数の前記画素から出力される画素信号を加算して、高感度信号を生成する第１の加算部と、
前記画素信号の最大レベルと閾値との差より前記高感度信号が小さくなるように圧縮することにより、圧縮前の高感度信号の信号レベルの増加に応じて増加する低感度信号を生成する圧縮部と、
前記高感度信号の信号レベルが前記閾値を下回るとき前記高感度信号と前記低感度信号とを加算し、前記高感度信号の信号レベルが前記閾値を越えるとき前記閾値と前記低感度信号とを加算する第２の加算部とを備える
ことを特徴とする画像信号処理ユニット。
【請求項８】
前記圧縮部は、予め定められた１より小さな圧縮係数を前記高感度信号に乗ずることにより前記低感度信号を生成することを特徴とする請求項７に記載の画像信号処理ユニット。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子から出力される画素信号の信号処理を行う画像信号処理ユニットに関する。
【背景技術】
【０００２】
従来、撮像素子における複数の画素において生成された画素信号を加算して出力することが知られている（特許文献１参照）。このような画素信号の加算出力を利用して、撮像素子の感度を向上させることが知られている。
【０００３】
処理可能なレベルの信号を生成させる光量が低輝度の被写体からは得られない。しかし、画素信号の加算出力により加算した信号が処理可能なレベルになるため、低輝度の被写体を再現性良く撮影することが可能となる。
【０００４】
しかし、このような画素加算によれば、同時に撮影されることのある高輝度の被写体の信号が飽和することが問題であった。
【０００５】
また、露光時間の異なる長時間蓄積信号と短時間蓄積信号を別々に読み出すことにより、低輝度の被写体も高輝度の被写体も再現性良く撮影することが開示されている（特許文献２参照）が、専用の撮像素子を用いる必要があるため、一般の撮像素子によって両被写体を同時に再現性良く撮影することが困難であった。
【特許文献１】特開２００４−２６６３６９号公報
【特許文献２】特開平１１−２６６４０３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
したがって、本発明では、低輝度の被写体から高輝度の被写体までを含む光学像を受光した通常の撮像素子を用いて、再現性の良い画像として取得することを可能にする画像信号処理ユニットの提供を目的とする。
【課題を解決するための手段】
【０００７】
本発明の第１の画像信号処理ユニットは、受光量に応じた画素信号を生成する複数の画素を受光面に有し受光面は複数の画素ブロックに分割され画素ブロックには複数の画素が配置される撮像手段から画素信号を受信する受信部と、画素ブロックにおける所定の位置に配置される複数の画素から出力される画素信号を加算して高感度信号を生成する第１の加算部と、高感度信号を画素信号の最大レベルより小さくなるように画素ブロック毎に別々に圧縮することにより閾値より大きくかつ圧縮前の高感度信号の信号レベルの増加に応じて増加する低感度信号を生成する圧縮部と、高感度信号の信号レベルが閾値を超えるかについて画素ブロック毎に判別する判別部とを備え、高感度信号の信号レベルが閾値を超えるとき低感度信号が出力され高感度信号の信号レベルが閾値を下回るとき高感度信号が出力されることを特徴としている。
【０００８】
なお、圧縮部は高感度信号の信号レベルの増加に応じて減少する圧縮係数を高感度信号に乗ずることにより低感度信号を生成することが好ましい。さらに、圧縮部は高感度信号の信号レベルが閾値を超えるとき高感度信号を圧縮して低感度信号を生成することが好ましい。
【０００９】
また、画素は第１の色のカラーフィルタ、第２の色のカラーフィルタ、および第３の色のカラーフィルタによりそれぞれ覆われる第１の画素、第２の画素、および第３の画素のいずれかであり、画素ブロックには第１の所定の位置に複数の第１の画素が第２の所定の位置に複数の第２の画素が第３の所定の位置に複数の第３の画素が配置され、第１の加算部は第１の所定の位置に配置された複数の第１の画素から出力される画素信号を加算して第１の高感度信号を、第２の所定の位置に配置された複数の第２の画素から出力される画素信号を加算して第２の高感度信号を、第３の所定の位置に配置された複数の第３の画素から出力される画素信号を加算して第３の高感度信号を生成し、判別部は第１〜第３の高感度信号の中で信号レベルが最大の高感度信号を基準信号として画素ブロック毎に検出し基準信号の信号レベルが閾値を越えるかについて判別し、圧縮部は基準信号が画素信号の最大レベルより小さくなるようにその画素ブロックの第１〜第３の高感度信号を圧縮することにより第１〜第３の低感度信号を生成し、画素ブロック毎の基準信号の信号レベルが閾値を越えるとき低感度信号を出力し基準信号の信号レベルが閾値を下回るとき第１〜第３の高感度信号を出力することが好ましい。
【００１０】
また、圧縮部は基準信号の信号レベルの増加に応じて減少する圧縮係数を画素ブロックの第１〜第３の高感度信号に乗ずることにより低感度信号を生成することが好ましい。さらに、圧縮部は基準信号の信号レベルが閾値を超えるとき第１〜第３の高感度信号を圧縮して第１〜第３の低感度信号を生成することが好ましい。
【００１１】
また、本発明の第２の画像信号処理ユニットは、受光量に応じた画素信号を生成する複数の画素を受光面に有し受光面は複数の画素ブロックに分割され画素ブロックには複数の画素が配置される撮像手段から画素信号を受信する受信部と、画素ブロックにおける所定の位置に配置される複数の画素から出力される画素信号を加算して高感度信号を生成する第１の加算部と、画素信号の最大レベルと閾値との差より高感度信号が小さくなるように圧縮することにより圧縮前の高感度信号の信号レベルの増加に応じて増加する低感度信号を生成する圧縮部と、高感度信号の信号レベルが閾値を下回るとき高感度信号と低感度信号とを加算し高感度信号の信号レベルが閾値を越えるとき閾値と低感度信号とを加算する第２の加算部とを備えることを特徴としている。
【００１２】
なお、圧縮部は予め定められた１より小さな圧縮係数を高感度信号に乗ずることにより低感度信号を生成することが好ましい。
【発明の効果】
【００１３】
本発明によれば、低輝度の被写体と高輝度の被写体とを含む光学像を受光した通常の撮像素子が生成する画素信号から、再現性の良い画像を得ることが可能になる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施形態について図面を参照して説明する。
図１は、本発明の第１の実施形態を適用した画像信号処理ユニットを有するデジタルカメラの内部構成を示すブロック図である。
【００１５】
デジタルカメラ２０は、レンズ２１、撮像素子４０、階調変換回路１０（画像信号処理ユニット）、デジタル信号処理回路２２、ＤＲＡＭ２３、ＲＯＭ２４、およびシステムコントローラ２５などによって構成される。
【００１６】
レンズ２１は、撮像素子４０に光学的に接続される。レンズ２１を透過する被写体の光学像が撮像素子４０の受光面に入射される。撮像素子４０は、例えばＣＭＯＳイメージセンサである。受光面において被写体の光学像が受光されることにより、光学像に対応する画像信号が生成される。
【００１７】
なお、レンズ２１と撮像素子４０との間にはシャッタ２６が設けられ、シャッタ２６が開いている間に、被写体の光学像が撮像される。シャッタ２６がシャッタ駆動回路２７に駆動されることにより、開閉動作が実行される。
【００１８】
撮像素子３０において生成された画像信号は、Ａ／Ｄコンバータ２８に送られる。Ａ／Ｄコンバータ２８は、１２ｂｉｔのＡ／Ｄコンバータが用いられる。Ａ／Ｄコンバータ２８により、画像信号はアナログ信号から０〜４０９５階調のデジタル信号に変換される。デジタル信号に変換された画像信号は、階調変換回路１０に送られる。階調変換回路１０に送られた画像信号は、信号処理の作業用のメモリであるＤＲＡＭ２３に格納される。
【００１９】
なお、デジタルカメラ２０には通常撮影モードと高感度撮影モードが設けられる。高感度撮影モードのとき、階調変換回路１０に送られた画像信号に、後述する階調変換処理が施される。階調変換処理が施された画像信号は、デジタル信号処理回路２２に送られる。また、通常撮影モードのとき、階調変換回路１０に送られた画像信号には階調変換処理が施されること無く、デジタル信号処理回路２２に送られる。
【００２０】
デジタル信号処理回路２２に送られた画像信号には、所定の信号処理が施される。所定の信号処理が施された画像信号は、ＬＣＤ２９に送られる。ＬＣＤ２９において、送られた画像信号に対応する画像が表示される。また、所定の信号処理が施された画像信号は、メモリコネクタ３０を介して接続される着脱式メモリ（図示せず）に格納可能である。
【００２１】
階調変換回路１０およびデジタル信号処理回路２２における信号処理は、システムコントローラ２５によって制御される。また、システムコントローラ２５によってデジタルカメラ２０全体の動作も制御される。
【００２２】
なお、デジタルカメラ２０を操作するためのシャッタボタン（図示せず）や操作ダイヤル（図示せず）などによって構成される操作部３１はシステムコントローラ２５に接続される。操作者による操作部３１への操作入力は、入力信号としてシステムコントローラ２５に送られる。
【００２３】
送られる入力信号に応じて、システムコントローラ２５による各部位の制御が行なわれる。例えば、シャッタボタンが全押しされることにより、シャッタ駆動回路２７がシステムコントローラ２５に制御され、シャッタ２６の開閉動作が実行される。
【００２４】
また、タイミングジェネレータ３２がシステムコントローラ２５に制御されることにより、撮像素子４０が駆動される。撮像素子４０が駆動されることにより画像信号が生成される。また、タイミングジェネレータ３２がシステムコントローラ２５に制御されることにより、Ａ／Ｄコンバータ２８が駆動される。前述のようにＡ／Ｄコンバータ２８が駆動されることにより、画像信号がデジタル信号に変換される。
【００２５】
次に、前述の階調変換処理について説明するために、撮像素子４０の受光面の構成について、図２を用いて説明する。図２は、撮像素子の受光面の構成を概略的に示す図である。
【００２６】
図２に示すように、受光面には複数の画素４１Ｒ、４１Ｇ、４１Ｂがマトリックス状に配置される。なお、本実施形態では、説明を簡単にするために１２×１２の画素が配列された撮像素子４０が用いられる。それぞれの画素４１Ｒ、４１Ｇ、４１Ｂは、ＲＥＤ（Ｒ）カラーフィルタ、ＧＲＥＥＮ（Ｇ）カラーフィルタ、およびＢＬＵＥ（Ｂ）カラーフィルタのいずれかによって覆われる。
【００２７】
Ｒカラーフィルタに覆われた第１の画素４１Ｒ、Ｇカラーフィルタに覆われた第２の画素４１Ｇ、Ｂカラーフィルタに覆われた第３の画素４１Ｂはベイヤー方式に配列される。したがって、任意の２×２に配置された１つの第１の画素４１Ｒ、２つの第２の画素４１Ｇ、１つの第３の画素４１Ｂによりカラーフィルタ繰返し単位（図２において図示せず）が形成される。カラーフィルタ繰返し単位が縦方向および横方向に並ぶことにより受光面が形成される。
【００２８】
第１の画素４１Ｒでは、赤色の光の受光量に応じた画素信号が生成される。第２の画素４１Ｇでは、緑色の光の受光量に応じた画素信号が生成される。第３の画素４１Ｂでは、青色の光の受光量に応じた画素信号が生成される。
【００２９】
なお、画像信号は、受光面における位置が異なる複数の第１、第２、第３の画素４１Ｒ、４１Ｇ、４１Ｂにおいて生成される画素信号によって構成される。それぞれの画素において生成される画素信号が別々に撮像素子４０から出力される。
【００３０】
後述するように、階調変換処理を行うときには、複数の画素４１Ｒ、４１Ｇ、４１Ｂから出力される画素信号の加算処理が行われる。画素信号の加算は、受光面を複数の画素ブロック４２に分割し（図２参照）、画素ブロック毎の所定の位置に配置された画素４１Ｒ、４１Ｇ、４１Ｂから出力される画素信号に対して行なわれる。
【００３１】
次に階調変換回路１０の構成および機能について説明する。図３は、階調変換回路１０の内部構成を概略的に示すブロック図である。階調変換回路１０は、受信部１１、画素信号加算部１２（第１の加算部）、圧縮部１３、および判別部１４によって構成される。
【００３２】
Ａ／Ｄコンバータ２８から出力される画素信号は、受信部１１に入力される。受信部１１に入力された画素信号は、前述のようにＤＲＡＭ２３に格納される。ＤＲＡＭ２３に格納された画素信号は、画素信号加算部１２に読出される。画素信号加算部１２において、画素ブロック４２の所定の位置に配置された画素から出力される画素信号の加算処理が行われる。
【００３３】
加算処理について、図４〜図７を用いてさらに詳細に説明する。図４は、単一の画素ブロックにおける第１の位置の画素の配置を示す図である。図５は、単一の画素ブロックにおける第２の位置の画素の配置を示す図である。図６は、単一の画素ブロックにおける第３の位置の画素の配置を示す図である。図７は、単一の画素ブロックにおける第４の位置の画素の配置を示す図である。
【００３４】
なお、画素ブロック４２において、ｎ行目ｍ列目に配置された第１の画素はＲｎｍ、同様にｎ行目ｍ列目に配置された第２の画素はＧｎｍ、同様にｎ行目ｍ列目に配置された第３の画素はＢｎｍによって表示される。
【００３５】
画素ブロック４２には、３×３のカラーフィルタ繰返し単位４３、すなわち６×６の画素が配置される。画素加算は、後述する第１〜第４の位置に配置された画素毎に行なわれる。
【００３６】
図４に示すように、画素ブロック４２内の各カラーフィルタ繰返し単位４３の左上の領域が第１の位置として定められる。すなわち、画素ブロック４２内における奇数の行の奇数の列が第１の位置として定められる。第１の位置に配置された第１の画素Ｒ１１、Ｒ１３、Ｒ１５、Ｒ３１、Ｒ３３、Ｒ３５、Ｒ５１、Ｒ５３、Ｒ５５から出力される画素信号ＲＳ１１、ＲＳ１３、ＲＳ１５、ＲＳ３１、ＲＳ３３、ＲＳ３５、ＲＳ５１、ＲＳ５３、ＲＳ５５が加算され、第１の高感度信号ＲＳ’１１が生成される。
【００３７】
図５に示すように、画素ブロック４２内の各カラーフィルタ繰返し単位４３の右上の領域が第２の位置として定められる。すなわち、画素ブロック４２内における奇数の行の偶数の列が第２の位置として定められる。第２の位置に配置された第２の画素Ｇ１２、Ｇ１４、Ｇ１６、Ｇ３２、Ｇ３４、Ｇ３６、Ｇ５２、Ｇ５４、Ｇ５６から出力される画素信号ＧＳ１２、ＧＳ１４、ＧＳ１６、ＧＳ３２、ＧＳ３４、ＧＳ３６、ＧＳ５２、ＧＳ５４、Ｇ５６が加算され、第２の高感度信号ＧＳ’１２が生成される。
【００３８】
図６に示すように、画素ブロック４２内の各カラーフィルタ繰返し単位４３の右下の領域が第３の位置として定められる。すなわち、画素ブロック４２内における偶数の行の偶数の列が第３の位置として定められる。第３の位置に配置された第３の画素Ｂ２２、Ｂ２４、Ｂ２６、Ｂ４２、Ｂ４４、Ｂ４６、Ｂ６２、Ｂ６４、Ｂ６６から出力される画素信号ＢＳ２２、ＢＳ２４、ＢＳ２６、ＢＳ４２、ＢＳ４４、ＢＳ４６、ＢＳ６２、ＢＳ６４、ＢＳ６６が加算され、第３の高感度信号ＢＳ’２２が生成される。
【００３９】
図７に示すように、画素ブロック４２内の各カラーフィルタ繰返し単位４３の左下の領域が第４の位置として定められる。すなわち、画素ブロック４２内における偶数の行の奇数の列が第４の位置として定められる。第４の位置に配置された第２の画素Ｇ２１、Ｇ２３、Ｇ２５、Ｇ４１、Ｇ４３、Ｇ４５、Ｇ６１、Ｇ６３、Ｇ６５から出力される画素信号ＧＳ２１、ＧＳ２３、ＧＳ２５、ＧＳ４１、ＧＳ４３、ＧＳ４５、ＧＳ６１、ＧＳ６３、ＧＳ６５が加算され、第４の高感度信号ＧＳ’２１が生成される。
【００４０】
前述のように、１２ｂｉｔのデジタル信号に変換された画素信号の階調の最大値は、４０９５である。したがって、第１〜第４の高感度信号ＲＳ’１１、ＧＳ’１２、ＢＳ’２２、ＧＳ’２１の階調の最大値は９×４０９５となる。
【００４１】
画素信号加算部１２において生成された第１〜第４の高感度信号ＲＳ’１１、ＧＳ’１２、ＢＳ’２２、ＧＳ’２１は、圧縮部１３および判別部１４に出力される（図３参照）。
【００４２】
判別部１４では、単一の画素ブロック４２の第１〜第４の高感度信号ＲＳ’１１、ＧＳ’１２、ＢＳ’２２、ＧＳ’２１の中で信号レベルが最大の高感度信号が、基準信号として画素ブロック４２毎に検出される。
【００４３】
また、判別部１４では、基準信号を画素信号の階調の最大値４０９５で除した判別信号の信号レベルｘ（０≦ｘ≦９）が、予め定められた閾値（本実施形態において０．７）を越えるか否かの判別が行なわれる。判別結果に相当する信号が圧縮部１４に送られる。なお、閾値はＲＯＭ２４に格納されている。
【００４４】
判別信号の信号レベルｘが閾値を超えるときに、その判別信号に対応する画素ブロック４２における第１〜第４の高感度信号ＲＳ’１１、ＧＳ’１２、ＢＳ’２２、ＧＳ’２１に対して階調圧縮処理が施される。一方、判別信号の信号レベルｘが閾値を下回るときには、その判別信号に対応する画素ブロック４２における第１〜第４の高感度信号ＲＳ’１１、ＧＳ’１２、ＢＳ’２２、ＧＳ’２１には階調圧縮処理が施されずに、デジタル信号処理回路２２に出力される。
【００４５】
階調圧縮処理のために、判別信号の信号レベルｘに応じたレベル補正係数Ｎ（ｘ）が予め定められている（図８参照）。なお、レベル補正係数Ｎ（ｘ）は、次の（１）式により計算される値である。
Ｎ（ｘ）＝｛ｘ＾（−６／７）｝／１．３７    ……  （１）
ＲＯＭ２４には、（１）式により計算されるレベル補正係数Ｎ（ｘ）が判別信号の信号レベルｘとの対応表として記憶されている。
【００４６】
階調圧縮処理を行うときは、画素ブロック４２毎に判別信号の信号レベルｘに応じたレベル補正係数Ｎ（ｘ）が検出される。検出されたレベル補正係数Ｎ（ｘ）がその画素ブロック４２の第１〜第４の高感度信号ＲＳ’１１、ＧＳ’１２、ＢＳ’２２、ＧＳ’２１に乗じられることにより、第１〜第４の高感度信号ＲＳ’１１、ＧＳ’１２、ＢＳ’２２、ＧＳ’２１の階調が圧縮された第１〜第４の低感度信号ＲＳ”１１、ＧＳ”１２、ＢＳ”２２、ＧＳ”２１が生成され、デジタル信号処理回路２２に出力される。
【００４７】
高感度撮影モードにおける圧縮部１３に入力される入力信号の信号レベルと圧縮部１３から出力される出力信号の信号レベルの関係について、図９を用いて説明する。図９において、横軸は入力信号の信号レベルであり、縦軸は出力信号の信号レベルである。なお、入力信号は前述の高感度信号に等しく、出力信号は判別信号の信号レベルｘが閾値未満である場合は高感度信号に等しく、判別信号が閾値を超える場合は低感度信号に等しい。
【００４８】
入力信号の信号レベルの増加に応じて、出力信号の信号レベルも増加する。ただし、入力信号の信号レベルが前述の閾値に相当する０．７×４０９５の前後でその傾きが変化する。
【００４９】
入力信号の信号レベルが０から０．７×４０９５までの第１の範囲では、入力信号がそのまま出力信号としてデジタル信号処理回路２２に出力される。したがって、入力信号の信号レベルと出力信号の信号レベルは等しい。一方、入力信号の信号レベルが０．７×４０９５から最大の階調である９×４０９５までの第２の範囲では、１未満のレベル補正係数によって圧縮されることにより、出力信号の信号レベルは０．７×４０９５から１×４０９５に圧縮される。
【００５０】
次に、撮像素子４０が生成した画像信号に対して施される信号処理の動作について図１０のフローチャートを用いて説明する。
【００５１】
ステップＳ１００で、シャッタボタンが全押しされレリーズスイッチがＯＮとなっているかどうか判断する。レリーズスイッチがＯＮとなるまでステップＳ１００の動作を繰返す。レリーズスイッチがＯＮになるとステップＳ１０１に進む。
【００５２】
ステップＳ１０１では、各画素から出力される画素信号によって構成される画像信号を受信する。すなわち、レリーズスイッチがＯＮになることにより、ミラー（図示せず）の開閉、シャッタ２６の開閉、および撮像素子４０の駆動により生成される画像信号を受信する。受信した画像信号を一旦、作業用のメモリであるＤＲＡＭ２３に格納する。
【００５３】
次のステップＳ１０２では、ＤＲＡＭ２３に格納した各画素信号を階調変換回路１０に読出して、ステップＳ１０３に進む。ステップＳ１０３において、撮影モードが高感度撮影モードに切替えられているかどうか確認する。
【００５４】
高感度撮影モードに切替えられていない、すなわち通常撮影モードに切替えられているときは、画素信号をデジタル信号処理回路２２に出力してステップＳ１０９に進む。高感度モードに切替えられているときは、ステップＳ１０４に進む。
【００５５】
ステップＳ１０４では、画素ブロック４２毎に加算処理が行われる。すなわち、画素ブロック４２の第１〜第４の位置に配置された画素の画素信号を加算して、第１〜第４の高感度信号ＲＳ’１１、ＧＳ’１２、ＢＳ’２２、ＧＳ’２１を画素ブロック毎に生成する。
【００５６】
第１〜第４の高感度信号ＲＳ’１１、ＧＳ’１２、ＢＳ’２２、ＧＳ’２１を生成するとステップＳ１０５に進む。ステップＳ１０５では第１〜第４の高感度信号ＲＳ’１１、ＧＳ’１２、ＢＳ’２２、ＧＳ’２１に基づいて判別信号を生成する。判別信号の生成後、ステップＳ１０６に進む。
【００５７】
ステップＳ１０６では、判別信号の信号レベルｘが閾値を超えているか否かの判断を行なう。判別信号の信号レベルｘが閾値を下回るときは、第１〜第４の高感度信号ＲＳ’１１、ＧＳ’１２、ＢＳ’２２、ＧＳ’２１をデジタル信号処理回路２２に出力してステップＳ１０９に進む。
【００５８】
ステップＳ１０６において判別信号の信号レベルｘが閾値を超えるときはステップＳ１０７に進み、判別信号に基づいて画素ブロック４２毎のレベル補正係数Ｎ（ｘ）を検出する。レベル補正係数Ｎ（ｘ）の検出後、ステップＳ１０８に進む。ステップＳ１０８では、ステップＳ１０７で検出したレベル補正係数Ｎ（ｘ）を用いて第１〜第４の高感度信号ＲＳ’１１、ＧＳ’１２、ＢＳ’２２、ＧＳ’２１に対して圧縮処理を行い、第１〜第４の低感度信号ＲＳ”１１、ＧＳ”１２、ＢＳ”２２、ＧＳ”２１を生成する。
【００５９】
生成した第１〜第４の低感度信号ＲＳ”１１、ＧＳ”１２、ＢＳ”２２、ＧＳ”２１をデジタル信号処理回路２２に出力して、ステップＳ１０９に進む。ステップＳ１０９では、ステップＳ１０３において入力された画素信号、ステップＳ１０６において入力された第１〜第４の高感度信号、またはステップＳ１０８において入力された第１〜第４の低感度画素信号に対して、所定の信号処理を施す。ステップＳ１０９の終了後、本動作を終了する。
【００６０】
以上のように、本実施形態の階調変換回路１０によれば、通常の撮像素子４０が生成する画素信号を用いて、高輝度の被写体の信号を飽和させることなく、低輝度の被写体を再現性良く撮影することが可能になる。
【００６１】
また、画素信号の加算処理を行うと、後段の信号処理回路ではＡ／Ｄコンバータ２８の変換で用いる階調より大きな階調の信号処理を行える信号処理回路が必要となる。例えば、１２ｂｉｔのＡ／Ｄコンバータを用いて９画素混合を行なう場合は、１６ｂｉｔのデジタル信号処理回路が必要となる。
【００６２】
しかし、Ａ／Ｄコンバータ２８とデジタル信号処理回路２２との間に本実施形態の階調変換回路１０を用いると、低輝度の被写体に対して感度を高くし、高輝度の被写体に対して感度を低くすることが可能になる。それゆえ、デジタル信号処理回路２２に入力される信号の階調はＡ／Ｄコンバータ２８から出力される画素信号と同じ階調に保たれる。
【００６３】
したがって、Ａ／Ｄコンバータ２８と同じ１２ｂｉｔのデジタル信号処理回路２２を用いても、デジタル信号処理回路２２において、信号が飽和することなく所定の信号処理を施すことが可能になる。
【００６４】
次に第１の実施形態の変形例について説明する。本変形例では、階調変換回路の構成が第１の実施形態と異なる。本変形例の階調変換回路１００の構成について以下に説明する。図１１は、変形例における階調変換回路１００の内部構成を概略的に示すブロック図である。
【００６５】
階調変換回路１００には、第１の実施形態と同様に受信部１１、画素信号加算部１２、圧縮部１３０、判別部１４が設けられる。また、階調変換回路１００には、さらに選択部１５０が設けられる点で第１の実施形態と異なっている。
【００６６】
第１の実施形態と同様に、Ａ／Ｄコンバータ２８から出力される画素信号は、受信部１１に入力される。また、第１の実施形態と同様に、画素信号はＤＲＡＭ２３に格納された後に画素信号加算部１２に読出される。読み出された画素信号に対して加算処理が行われる。
【００６７】
第１の実施形態と異なり、加算処理により生成された高感度信号は、圧縮部１３０、判別部１４、および選択部１５０に出力される。判別部１４では、第１の実施形態と同様に、判別結果に相当する信号が生成される。生成した信号は、第１の実施形態と異なり、選択部１５０に出力される。
【００６８】
圧縮部１３０では、高感度信号に階調圧縮処理が施されることにより、低感度信号が生成される。第１の実施形態と異なり、判別信号の信号レベルによらず圧縮処理が施される。低感度信号は、選択部１５０に出力される。
【００６９】
選択部１５０では、判別信号が閾値を超えるときに低感度信号がデジタル信号処理回路２２に出力され、判別信号が閾値を下回るときに高感度信号がデジタル信号処理回路２２に出力される。
【００７０】
以上のような、本変形例によっても、第１の実施形態と同様に、判別信号の信号レベルｘが閾値より大きいか小さいかによって低感度信号または高感度信号を出力することが可能である。したがって、本変形例によっても、第１の実施形態と同じ効果を得ることが可能である。
【００７１】
次に、第２の実施形態の画像信号処理ユニットについて説明する。本実施形態では、階調変換回路の構成および出力される信号が、第１の実施形態と異なる。以下、第１の実施形態と異なる点を中心に説明する。なお、第１の実施形態と同じ機能を有する部位には、同じ符号を付ける。
【００７２】
図１２は、第２の実施形態の画像信号処理ユニットである階調変換回路１０１の内部構成を示すブロック図である。階調変換回路１０１は、受信部１１、画素信号加算部１２、圧縮部１３１、判別部１４１、および合成部１６１（第２の加算部）によって構成される。
【００７３】
第１の実施形態と同様に、Ａ／Ｄコンバータ２８から出力される画素信号は、受信部１１に入力される。また、第１の実施形態と同様に、受信部１１に入力された画素信号は、ＤＲＡＭ２３に格納される。ＤＲＡＭ２３に格納された画素信号が画素信号加算部１２に読出される。画素信号加算部１２において画素ブロック４２毎に、第１の実施形態と同じ方法で画素信号の加算処理が行われる。
【００７４】
第１の実施形態と同様に、加算処理により生成された第１〜第４の高感度信号ＲＳ’１１、ＧＳ’１２、ＢＳ’２２、ＧＳ’２１が圧縮部１３１および判別部１４１に出力される。第１の実施形態と異なり、第１〜第４の高感度信号ＲＳ’１１、ＧＳ’１２、ＢＳ’２２、ＧＳ’２１は、合成部１６１にも出力される。
【００７５】
圧縮部１３１では、第１〜第４の高感度信号ＲＳ’１１、ＧＳ’１２、ＢＳ’２２、ＧＳ’２１に対して階調圧縮処理が施される。第１の実施形態と異なり、本実施形態では一定のレベル補正係数が用いられる。なお、レベル補正係数は１未満のいかなる正数でもよく、本実施形態では１／１６が用いられる。
【００７６】
一定のレベル補正係数１／１６が第１〜第４の高感度信号ＲＳ’１１、ＧＳ’１２、ＢＳ’２２、ＧＳ’２１に乗じられることにより、第１〜第４の高感度信号ＲＳ’１１、ＧＳ’１２、ＢＳ’２２、ＧＳ’２１の階調が圧縮された第１〜第４の低感度信号ＲＳ”１１、ＧＳ”１２、ＢＳ”２２、ＧＳ”２１が生成される。第１〜第４の低感度信号ＲＳ”１１、ＧＳ”１２、ＢＳ”２２、ＧＳ”２１は、合成部１６１に出力される。
【００７７】
第１の実施形態と同様に、判別部１４１では単一の画素ブロック４２の第１〜第４の高感度信号ＲＳ’１１、ＧＳ’１２、ＢＳ’２２、ＧＳ’２１の中で信号レベルが最大の高感度信号が基準信号として、画素ブロック４２毎に検出される。
【００７８】
第１の実施形態と異なり、判別部１４１によって、基準信号が閾値を超えるか否かの判別が行なわれる。判別結果に相当する信号が合成部１６１に出力される。なお、閾値はＲＯＭ２４に格納されている。
【００７９】
合成部１６１では、第１〜第４の低感度信号ＲＳ”１１、ＧＳ”１２、ＢＳ”２２、ＧＳ”２１と、第１〜第４の高感度信号おＲＳ’１１、ＧＳ’１２、ＢＳ’２２、ＧＳ’２１よび閾値のいずれか一方との合成が行なわれる。
【００８０】
判別部１４１において基準信号の信号レベルが閾値を下回るときは、第１〜第４の低感度信号ＲＳ”１１、ＧＳ”１２、ＢＳ”２２、ＧＳ”２１と、同じ画素ブロック４２の第１〜第４の高感度信号ＲＳ’１１、ＧＳ’１２、ＢＳ’２２、ＧＳ’２１とが合成される。
【００８１】
判別部１４１において基準信号の信号レベルが閾値を超えるときは、第１〜第４の低感度信号ＲＳ”１１、ＧＳ”１２、ＢＳ”２２、ＧＳ”２１と閾値とが合成される。合成部１６１によって合成された信号が合成信号として、デジタル信号処理回路２２に出力される。
【００８２】
高感度撮影モードにおける圧縮部１３１に入力される入力信号の信号レベルと合成部１６１から出力される出力信号の信号レベルの関係について、図１３を用いて説明する。図１３において、横軸は入力信号の信号レベルであり、縦軸は出力信号の信号レベルである。
【００８３】
入力信号の信号レベルの増加に応じて、出力信号の信号レベルも増加する。ただし、入力信号の信号レベルが前述の閾値Ｓｔｈの前後でその傾きが変化する。
【００８４】
入力信号の信号レベルが０から閾値Ｓｔｈまでの第１の範囲では、第１〜第４の高感度信号ＲＳ’１１、ＧＳ’１２、ＢＳ’２２、ＧＳ’２１と第１〜第４の低感度信号ＲＳ”１１、ＧＳ”１２、ＢＳ”２２、ＧＳ”２１を合成した信号がデジタル信号処理回路２２に出力される。
【００８５】
一方、入力信号の信号レベルが閾値Ｓｔｈから最大の階調である９×４０９５までの第２の範囲では、第１〜第４の低感度信号ＲＳ”１１、ＧＳ”１２、ＢＳ”２２、ＧＳ”２１と閾値Ｓｔｈとを合成した信号がデジタル信号処理回路２２に出力される。
【００８６】
次に、撮像素子４０が生成した画像信号に対して施される信号処理の動作について図１４のフローチャートを用いて説明する。
【００８７】
ステップＳ２００〜ステップＳ２０４では、第１の実施形態におけるステップＳ１００〜ステップＳ１０４と同じ動作を行う。
【００８８】
ステップＳ２０４において、第１〜第４の高感度信号ＲＳ’１１、ＧＳ’１２、ＢＳ’２２、ＧＳ’２１を生成するとステップＳ２０５に進む。ステップＳ２０５では第１〜第４の高感度信号ＲＳ’１１、ＧＳ’１２、ＢＳ’２２、ＧＳ’２１に階調圧縮処理を施し、第１〜第４の低感度信号ＲＳ”１１、ＧＳ”１２、ＢＳ”２２、ＧＳ”２１を生成する。
【００８９】
次のステップＳ２０６では、基準信号の信号レベルが閾値を超えているか否かの判断を行なう。基準信号の信号レベルが閾値を下回るときはステップＳ２０７に進む。ステップＳ２０７では、第１〜第４の低感度信号ＲＳ”１１、ＧＳ”１２、ＢＳ”２２、ＧＳ”２１それぞれと第１〜第４の高感度信号ＲＳ’１１、ＧＳ’１２、ＢＳ’２２、ＧＳ’２１とを合成する。合成した信号をデジタル信号処理回路２２に出力して、ステップＳ２０９に進む。
【００９０】
ステップＳ２０６において基準信号の信号レベルが閾値を超えるときはステップＳ２０８に進む。ステップＳ２０８では、第１〜第４の低感度信号ＲＳ”１１、ＧＳ”１２、ＢＳ”２２、ＧＳ”２１と閾値Ｓｔｈとを合成する。合成した信号をデジタル信号処理回路２２に出力して、ステップＳ２０９に進む。
【００９１】
ステップＳ２０９では、ステップＳ２０３において入力された画素信号、ステップＳ２０７において入力された合成信号、またはステップＳ２０８において入力された合成信号に対して、所定の信号処理を施す。ステップＳ２０９の終了後、本動作を終了する。
【００９２】
以上のように、第２の実施形態の階調変換回路１０１でも、通常の撮像素子４０が生成する画素信号により、高輝度の被写体の信号を飽和させることなく、低輝度の被写体を再現性良く撮影することが可能になる。
【００９３】
また、階調圧縮処理を行うので、Ａ／Ｄコンバータ２８と同じ１２ｂｉｔのデジタル信号処理回路２２を用いても、信号が飽和することなく所定の信号処理を施すことが可能になる。
【００９４】
なお、第１、第２の実施形態において、カラーフィルタによって覆われたカラー撮像素子４０に対して加算処理および階調圧縮処理を行う構成であったが、カラーフィルタに覆われないモノクロ撮像素子に対して加算処理および階調圧縮処理を行う構成であってもよい。モノクロ撮像素子に適用した場合であっても、第１、第２の実施形態と同様の効果を得ることが可能である。
【００９５】
また、第１の実施形態においてレベル補正係数Ｎ（ｘ）は、（１）の計算式に基づいて判別信号の信号レベルｘに応じて算出されるが、以下の条件を満たすレベル補正係数を用いれば第１の実施形態と同じ効果を発生させることが可能である。
【００９６】
第１の条件として、判別信号の信号レベルｘが加算する画素の個数（本実施形態では９）であるときにレベル補正係数が実質的に１／（加算する画素の個数）より小さくなる事が挙げられる。また、第２の条件として、判別信号の信号レベルｘが閾値から９に増加するにつれてレベル補正係数Ｎ（ｘ）と判別信号の信号レベルｘとの積が増加する事が挙げられる（図９第２の範囲参照）。
【００９７】
なお、計算の簡略化のために、判別信号の信号レベルｘが閾値であるときにレベル補正係数が実質的に１であることが好ましい。
【００９８】
また、第１の実施形態において判別信号を生成し、判別信号の信号レベルｘと閾値とを比較する構成であったが、基準信号の信号レベルを閾値と比較する構成であってもよい。ただし、基準信号の信号レベルと比較する閾値は、第１の実施形態における閾値に最大の階調を乗じた値が用いられる。
【図面の簡単な説明】
【００９９】
【図１】第１の実施形態を適用した画像信号処理ユニットを有するデジタルカメラの内部構成を示すブロック図である。
【図２】撮像素子の受光面の構成を概略的に示す図である。
【図３】第１の実施形態の階調変換回路の内部構成を概略的に示すブロック図である。
【図４】単一の画素ブロックにおける第１の位置の画素の配置を示す図である。
【図５】単一の画素ブロックにおける第２の位置の画素の配置を示す図である。
【図６】単一の画素ブロックにおける第３の位置の画素の配置を示す図である。
【図７】単一の画素ブロックにおける第４の位置の画素の配置を示す図である。
【図８】判別信号の信号レベルｘとレベル補正係数との相関関係を示す図である。
【図９】第１の実施形態の圧縮部に入力される信号の信号レベルと圧縮部から出力される信号の信号レベルとの相関関係を示す図である。
【図１０】第１の実施形態の階調処理回路とデジタル信号処理回路によって行われる信号処理の動作を説明するためのフローチャートである。
【図１１】第１の実施形態の変形例の階調変換回路の内部構成を概略的に示すブロック図である。
【図１２】第２の実施形態の階調変換回路の内部構成を概略的に示すブロック図である。
【図１３】第２の実施形態の圧縮部に入力される信号の信号レベルと合成部から出力される信号の信号レベルとの相関関係を示す図である。
【図１４】第２の実施形態の階調処理回路とデジタル信号処理回路によって行われる信号処理の動作を説明するためのフローチャートである。
【符号の説明】
【０１００】
１０、１００、１０１  階調変換回路
１１  受信部
１２  画素信号加算部
１３、１３０、１３１  圧縮部
１４、１４１  判別部
１５０  選択部
１６１  合成部
２０  デジタルカメラ
２２  デジタル信号処理回路
２３  ＤＲＡＭ
２４  ＲＯＭ
２５  システムコントローラ
２８  Ａ／Ｄコンバータ
４０  撮像素子
４１Ｒ  第１の画素
４１Ｇ  第２の画素
４１Ｂ  第３の画素
４２  画素ブロック
【図１】
0004759363.tif 000002
【図２】
0004759363.tif 000003
【図３】
0004759363.tif 000004
【図４】
0004759363.tif 000005
【図５】
0004759363.tif 000006
【図６】
0004759363.tif 000007
【図７】
0004759363.tif 000008
【図８】
0004759363.tif 000009
【図９】
0004759363.tif 000010
【図１０】
0004759363.tif 000011
【図１１】
0004759363.tif 000012
【図１２】
0004759363.tif 000013
【図１３】
0004759363.tif 000014
【図１４】
0004759363.tif 000015