(57)【要約】      （修正有）【課題】暗い画像部分における黒浮きを防止する。【解決手段】高感度画像データと低感度画像データとを加算合成して，第１の合成画像データｄａｔａ１が生成される。第１の合成画像データｄａｔａ１と低感度画像データとを減算合成処理することにより，レベルが低い部分については第１の合成画像データｄａｔａ１のレベルよりも低くなる第２の合成画像データｄａｔａ２が生成される。黒い被写体については黒くはっきりとした画像が得られる。【選択図】  図９
2004297433.tif 000002
【特許請求の範囲】
【請求項１】
与えられる高感度画像データと低感度画像データとを合成して合成画像データを出力する画像合成手段，
シャドウ強調モードの設定手段，および
上記シャドウ強調モード設定手段により，シャドウ強調モードが設定されたことに応じて，所定のしきい値以下のレベルをもつ上記合成画像データのレベルを低下させるレベル調整手段，
を備えた合成画像データ調整装置。
【請求項２】
被写体を撮像し，被写体像を表す上記高感度画像データと上記低感度画像データとを出力する固体電子撮像装置をさらに備え，
上記画像データ合成手段が，上記固体電子撮像装置から出力された上記高感度画像データおよび上記低感度画像データを与えられるものである，
請求項１に記載の合成画像データ調整装置。
【請求項３】
上記レベル調整手段は，
所定のしきい値以下のレベルをもつレベル低下対象合成画像データのうち，ほほぼ中間のレベルをもつ画像データの低下の割合がその他の画像データの低下の割合よりも大きくなるようにするものである，
請求項１に記載の合成画像データ調整装置。
【請求項４】
与えられる高感度画像データと低感度画像データとを合成して合成画像データを得，
シャドウ強調モードが設定されたことに応じて，所定のしきい値以下のレベルをもつ合成画像データのレベルを低下させる，
合成画像データ調整方法。
【発明の詳細な説明】
【０００１】
【技術分野】
この発明は，合成画像データ調整装置および方法に関する。
【０００２】
【発明の背景】
夜の撮影は，周囲が暗いために，エッジ部分がぼやけずにくっきりした画像を得ることは比較的難しい。このために，夜景と人物との両方を明暗のバランスが取れた画像を得るものがある（例えば，特許文献１参照）。
【０００３】
【特許文献１】
特開平７−２２２０４９号公報
【０００４】
しかしながら，暗い部分はいわゆる黒浮きが起きることがあり，真っ暗の部分であっても真っ暗の部分の画像を得ることはできないことがある。
【０００５】
このようなことは，ダイナミック・レンジの広い画像を得るために高感度画像データと低感度画像データとを合成して合成画像を生成するものについても同様に起きる。
【０００６】
【発明の開示】
この発明は，暗い画像部分ついては暗くなるようにすることを目的とする。
【０００７】
この発明による合成画像データ調整装置は，与えられる高感度画像データと低感度画像データとを合成して合成画像データを出力する画像合成手段，シャドウ強調モードの設定手段，および上記シャドウ強調モード設定手段により，シャドウ強調モードが設定されたことに応じて，所定のしきい値以下のレベルをもつ上記合成画像データのレベルを低下させるレベル調整手段を備えていることを特徴とする。
【０００８】
この発明は，上記合成画像データ調整装置に適した方法も提供している。すなわち，この方法は，与えられる高感度画像データと低感度画像データとを合成して合成画像データを得，シャドウ強調モードが設定されたことに応じて，所定のしきい値以下のレベルをもつ合成画像データのレベルを低下させるものである。
【０００９】
この発明によると，高感度画像データと低感度画像データとが与えられる。高感度画像データと低感度画像データとが合成されて，合成画像データが生成される。シャドウ強調モードが設定されると，合成画像データのうち，所定のしきい値以下のレベルをもつ合成画像データのレベルが低下させられる。暗い部分がより暗くなり，適正な暗さをもつ画像が得られる。
【００１０】
被写体を撮像し，被写体像を表す上記高感度画像データと上記低感度画像データとを出力する固体電子撮像装置をさらに備えてもよい。この場合，上記画像データ合成手段が，上記固体電子撮像装置から出力された上記高感度画像データおよび上記低感度画像データを与えられるものとなろう。
【００１１】
上記レベル調整手段は，所定のしきい値以下のレベルをもつレベル低下対象合成画像データのうち，ほほぼ中間のレベルをもつ画像データの低下の割合がその他の画像データの低下の割合よりも大きくなるようにするものが好ましい。
【００１２】
黒つぶれが生じてしまうのを未然に防止できる。
【００１３】
【実施例の説明】
図１は，この発明の実施例によるディジタル・スチル・カメラに用いられるＣＣＤ１を模式的に示している。
【００１４】
ＣＣＤ１には，水平方向および垂直方向に多数のフォトダイオード４が配列されている。フォトダイオード４は，奇数列は奇数行に配置され，偶数列は偶数行に配置されている。偶数列は奇数行に配置し，奇数列は偶数行に配置するようにしてもよい。
【００１５】
フォトダイオード４は，その受光領域が２つに分けられている。一方の受光領域３を主受光領域，他方の受光領域４を副受光領域ということにする。主受光領域３に蓄積された信号電荷と副受光領域４に蓄積された信号電荷とは混ざらないようにフォトダイオード２が形成されている。主受光領域３の受光面積と副受光領域４の受光面積との比率は，４対１に規定されている。もっとも，その他の比率でもよいのはいうまでもない。
【００１６】
フォトダイオード２の右側には，フォトダイオード２に蓄積された信号電荷を垂直方向に転送する垂直転送路５が設けられている。フォトダイオード２に蓄積された信号電荷のうち，主受光領域３に蓄積された信号電荷（主信号電荷という）がフォトダイオード２から垂直転送路４にシフトされる。主信号電荷は，水平転送路６に与えられ，水平方向に転送させられる。主信号電荷は，増幅回路７において増幅され，一駒分の画像を表す高感度映像信号ＳＨとしてＣＣＤ５から出力される。
【００１７】
高感度映像信号の出力が終了すると，フォトダイオード２の副受光領域４に蓄積された信号電荷（副信号電荷という）が垂直転送路５にシフトされる。主信号電荷と同様に，副信号電荷は，垂直転送路５内を垂直方向に転送させられ，水平転送路６に与えられる。副信号電荷は，水平転送路６内を水平方向に転送させられ，増幅回路７を介して低感度映像信号ＳＬとしてＣＣＤ５から出力される。
【００１８】
主受光領域３の受光面積は，副受光領域４の受光面積の４倍であるから，同一の被写体を撮像した場合高感度映像信号ＳＨのレベルは低感度映像信号ＳＬのレベルの４倍となる。
【００１９】
図２は，ディジタル・スチル・カメラの電気的構成の一部を示すブロック図である。
【００２０】
ディジタル・スチル・カメラの全体の動作は，ＣＰＵ２２によって統括される。
【００２１】
ディジタル・スチル・カメラには，モード設定スイッチ２３が含まれている。モード設定スイッチ２３により，撮像モード，再生モードなどのモードを設定することができる。撮像モードには，通常撮像モードの他，夜景撮像に適した夜景撮像モード（シャドウ強調モード，長時間露光モード）の設定などがある。これらの撮像モードもモード設定スイッチ２３により設定することができる。モード設定スイッチ２３により設定されたモードを示す信号は，ＣＰＵ２２に与えられる。
【００２２】
また，ディジタル・スチル・カメラには，メモリ２１が含まれている。このメモリ２１には，後述するように，加算合成回路１８における加算合成処理に用いられる合成パラメータＰ１，減算合成回路２０における減算合成処理に用いられる合成パラメータＰ２など所定のデータが格納されている。
【００２３】
上述のように，ＣＣＤ１から高感度映像信号ＳＨと低感度映像信号ＳＬが出力され，ＣＤＳ（相関二重サンプリング）回路１１において相関二重サンプリングが行われる。ＣＤＳ回路１１から出力された高感度映像信号ＳＨと低感度映像信号ＳＬとは，アナログ／ディジタル変換回路１２においてディジタルの高感度画像データと低感度画像データとに変換される。高感度画像データと低感度画像データとは，オフセット回路１３において，アナログ／ディジタル変換回路１２におけるアナログ／ディジタル変換において生じるオフセット分が相殺される。オフセット回路１３から出力された高感度画像データは，第１のゲイン調整回路１４に，低感度画像データは，第２のゲイン調整回路１５にそれぞれ入力し，グレー・バランスを調整するためにゲイン調整処理がそれぞれの回路１４および１５において行われる。
【００２４】
ゲイン調整回路１４および１５から出力された高感度画像データおよび低感度画像データは，第１のガンマ補正回路１６および第２のガンマ補正回路１７にそれぞれ入力し，ガンマ補正処理が行われる。
【００２５】
第１のガンマ補正回路１６から出力された高感度画像データ（高感度画像データｈｉｇｈということにする）および第２のガンマ補正回路１７から出力された低感度画像データ（低感度画像データｌｏｗということにする）は，加算合成回路１８に入力する。加算合成回路１８には，メモリ２１から，加算合成処理に用いられるパラメータＰ１も与えられている。加算合成回路１８において，入力した高感度画像データｈｉｇｈと低感度画像データｌｏｗとが，パラメータＰ１を用いて加算合成処理される。この加算合成処理について詳しくは，後述する。加算合成処理により第１の合成画像データｄａｔａ１が得られ，切換スイッチ１９に与えられる。
【００２６】
切り換えスイッチ１９は，ＣＰＵ２２の制御の下にａ端子とｂ端子とが切り換えられる。モード設定スイッチ２３により，通常撮像モードが設定されているときには，切換スイッチ１９はａ端子が接続され，夜景撮像モードが設定されているときには，切換スイッチ１９はｂ端子が接続される。切換スイッチ１９のｂ端子は，減算合成回路２０と接続されており，切換スイッチのｂ端子が接続されているときには，加算合成回路１８から出力される第１の合成画像データｄａｔａ１は，減算合成回路２０に入力する。
【００２７】
また，減算合成回路２０には，第２のガンマ補正回路１７から出力された低感度画像データｌｏｗおよびメモリ２１に格納されているパラメータＰ２も与えられている。減算合成回路２０において入力する第１の合成画像データｄａｔａ１と低感度画像データｌｏｗとが減算合成される。減算合成処理についても詳しくは，後述する。減算合成処理が行われることにより，第２の合成画像データｄａｔａ２が得られる。
【００２８】
通常撮像モードが設定されているときには，切換スイッチ１９はａ端子が接続されているので，加算合成回路１８から出力される第１の合成画像データｄａｔａ１が彩度補正回路（図示略）に与えられ，彩度補正が行われる。彩度補正が行われた第１の合成画像データが表示装置（図示略）に与えられることにより，第１の合成画像データによって表される画像が表示される。また，夜景撮像モードが設定されているときには，切換スイッチ１９はｂ端子が接続されているので，減算合成回路２０から出力される第２の合成画像データｄａｔａ２が彩度補正されて表示装置に与えられる。黒浮きが防止された画像が表示される。シャッタ・レリーズ・ボタン（図示略）が押されることにより，彩度補正が行われた第１の画像データｄａｔａ１または第２の画像データｄａｔａ２がメモリ・カード等の記録媒体に記録される。
【００２９】
図３から図６は，加算合成回路１８における加算合成処理の仕方を説明するためのグラフである。
【００３０】
この実施例による加算合成処理は，式１にもとづいて行われる。
【００３１】
ｄａｔａ１＝［ｈｉｇｈ＋ＭＩＮ（ｈｉｇｈ／ｔｈ１，１）×ｌｏｗ］×ＭＡＸ［−０．２（ｈｉｇｈ／ｔｈ１）＋１，Ｐ１］・・・式１
【００３２】
ただし，ｈｉｇｈは上述したようにガンマ補正後の高感度画像データのレベルを示し，ｌｏｗはガンマ補正後の低感度画像データのレベルを示し，ｔｈ１，およびｐ１は，合成パラメータを示し，ＭＩＮ（ａ，ｂ）は，ａまたはｂのうちいずれか小さい方を採用することを示し，ＭＡＸ（ａ，ｂ）は，ａまたはｂのうちいずれか大きい方を採用することを示している。
【００３３】
図３は，ガンマ補正後の高感度画像データｈｉｇｈ，ガンマ補正後の低感度画像データｌｏｗおよび式１の｛ｈｉｇｈ＋ＭＩＮ（ｈｉｇｈ／ｔｈ１，１）×ｌｏｗ｝（第１項とする）における相対的被写体輝度と画像データのレベルとの関係を示している。相対的被写体輝度とは，高感度画像データが飽和する時点のレベルを与える被写体輝度を１００％としたものである。画像データは，８ビットのものであり，十進数の表現では，画像データは，０から２５５の間の値となる。
【００３４】
高感度画像データｈｉｇｈは，相対被写体輝度が１００％となるまでの間は，相対的被写体輝度が高くなるにつれて，そのレベルが徐々に高くなる。相対被写体輝度が１００％となると，高感度画像データｈｉｇｈのレベルは，「２５５」となり飽和する。相対被写体輝度が１００％を越えると飽和状態がつづき，高感度画像データのレベルは「２５５」が維持される。
【００３５】
低感度画像データｌｏｗは，副信号電荷にもとづいて得られるものである。上述したようにＣＣＤ５に含まれているフォトダイオード２の副受光領域４の受光面積は，主受光領域３の受光面積の１／４である。このために，相対被写体輝度が４００％となったときに，低感度画像データｌｏｗのレベルは，「６３  」となり，飽和する。相対被写体輝度が４００％となるまでの間は，相対被写体輝度が高くなるにつれ，低感度画像データｌｏｗのレベルは高くなる。
【００３６】
式１の第１項は，高感度画像データｈｉｇｈと低感度画像データｌｏｗとの合成（加算）を表している。重み付け係数ＭＩＮ（ｈｉｇｈ／ｔｈ１，１）が乗じられた低感度画像データｌｏｗと高感度画像データｈｉｇｈとが合成される。
【００３７】
図４は，重み付け係数を示すグラフである。
【００３８】
重み付け係数は，高感度画像データｈｉｇｈのレベルに依存する。高感度画像データｈｉｇｈがしきい値ｔｈ１までの間は，（１／ｔｈ１）ｈｉｇｈにしたがって徐々に大きくなる。高感度画像データｈｉｇｈがしきい値ｔｈ１の値以上となると，重み付け係数は１となる。
【００３９】
図３にもどって，合成パラメータｔｈ１に対応する相対被写体輝度Ｌｔｈ１までは，（ｈｉｇｈ／ｔｈ１）の重み付け係数が乗じられた低感度画像データｌｏｗが高感度画像データｈｉｇｈに加算されることにより画像データの合成が行われる。合成パラメータｔｈ１に対応する相対被写体輝度Ｌｔｈ１となると，重み付け係数は１となり，高感度画像データｈｉｇｈと低感度画像データｌｏｗとが単純に一対一の割合で加算される。
【００４０】
高感度画像データｈｉｇｈと低感度画像データｌｏｗとが加算されると，加算された画像データのレベルは「２５５」を超え，飽和することとなる。このために，式１のＭＡＸ［−０．２（ｈｉｇｈ／ｔｈ１）＋１，Ｐ１］（第２項という）によって，加算された画像データのレベルが「２５５」以下となるように抑圧処理が行われる。
【００４１】
図５は，式１の第２項の高感度画像データｈｉｇｈと合成パラメータＰ１との関係を示すグラフである。
【００４２】
高感度画像データｈｉｇｈがしきい値ｔｈ１になるまでの間は，抑圧率は１−０．２（ｈｉｇｈ／ｔｈ１）となる。高感度画像データｈｉｇｈが高くなるにつれて，抑圧率は徐々に小さくなる。係数０．２は，式２にもとづいて算出することができる。
【００４３】
０．２＝［１−｛Ｓｈ／（Ｓｈ＋Ｓｌ）｝］・・・式２
【００４４】
ただし，Ｓｈは，主受光領域の面積を示し，Ｓｌは，副受光領域の面積を示している。実際には，Ｓｈは主受光領域の飽和量であり，Ｓｌは副受光領域の飽和量であるが，主受光領域の面積と副受光領域の面積とをそれぞれの飽和量と見なしている。この実施例においては，上述したように副受光領域の面積Ｓｌと主受光領域の面積Ｓｈとの比率は一対四であり，式２から係数０．２が算出される。副受光領域の面積Ｓｌと主受光領域の面積Ｓｈとの比率が変わることにより，係数も変化するのはいうまでもない。
【００４５】
高感度画像データｈｉｇｈがしきい値ｔｈ１以上となると，抑圧率はＰ１（Ｐ１は，１未満であり，たとえば０．８）となる。
【００４６】
図６は，抑圧後の合成画像データ（抑圧後の合成画像データが上述したように，加算合成回路１８から出力される合成画像データｄａｔａ１である）を示している。
【００４７】
図３を参照して説明したように，高感度画像データｈｉｇｈと低感度画像データｌｏｗとが加算されると，加算後の画像データのレベルが「２５５」を超えることがあるために，抑圧処理が行われる。この抑圧処理は，相対的被写体輝度がＬｔｈ１となるまでは加算後の画像データが（１−０．２・ｈｉｇｈ／ｔｈ１）倍される。相対被写体輝度がＬｔｈ１以上となるとＰ１倍される。
【００４８】
高感度画像データｈｉｇｈのみで画像を表現する場合のダイナミック・レンジを１００％とすると，合成画像データｄａｔａ１のダイナミック・レンジは４００％にまで広げられている。
【００４９】
図７から図９は，減算合成回路２０における減算合成処理の仕方を説明するものである。
【００５０】
減算合成処理は，式３にもとづいて行われる。
【００５１】
2004297433.tif 000003
【００５２】
式３にもとづく減算合成処理により，合成画像データｄａｔａ１のうちレベルが低い部分の画像データについては，黒つぶれが起きないように低下させられる。黒い部分が黒くはっきりした画像が得られる。
【００５３】
図７は，式３を構成するＭＡＸ［（−ｄａｔａ１／ｔｈ２）＋１，０．０］を示す係数と第１の合成画像データｄａｔａ１との関係を示している。
【００５４】
第１の合成画像データｄａｔａ１がしきい値ｔｈ２となるまでは，係数は（−ｄａｔａ１／ｔｈ２）＋１となり，第１の合成画像データｄａｔａ１のレベルが高くなるにつれて徐々に低下していく。第１の合成画像データｄａｔａ１がしきい値ｔｈ２以上となると，係数は０となる。
【００５５】
式３から分かるように，第１の合成画像データｄａｔａ１からＭＡＸ［（−ｄａｔａ１／ｔｈ２）＋１，０．０］×ｌｏｗが減算される。第１の合成画像データｄａｔａ１がしきい値ｔｈ２となるまでは，第２の合成画像データｄａｔａ２のレベルは，第１の合成画像データｄａｔａ１のレベルより低いレベルとなる。暗い部分を表している画像が適正な暗さを表わすものとなる。
【００５６】
図８は，式３を構成するＭＡＸ［（１−Ｐ２）×（ｄａｔａ１／ｔｈ２）＋Ｐ２，１．０｝を示す係数と第１の合成画像データｄａｔａ１との関係を示している。
【００５７】
第１の合成画像データｄａｔａ１がしきい値ｔｈ２となるまでは，第１の合成画像データｄａｔａ２のレベルに応じて係数が変化していく。この変化の程度は，合成パラメータＰ２（ただし，合成パラメータＰ２は１以上）によって決定される。第１の合成画像データｄａｔａ２がしきい値ｔｈ２以上となると，係数は１となる。
【００５８】
式３から分かるように，式３を構成する［ｄａｔａ１−ＭＡＸ［（−ｄａｔａ１／ｔｈ２）＋１，０．０］×ｌｏｗ］に，図８に示す特性をもつＭＡＸ［（１−Ｐ２）×（ｄａｔａ１／ｔｈ２）＋Ｐ２，１．０｝が乗じられていることにより，［ｄａｔａ１−ＭＡＸ［（−ｄａｔａ１／ｔｈ２）＋１，０．０］×ｌｏｗ］は，第１の合成画像データｄａｔａ１が０近傍またはしきい値ｔｈ２近傍では，式３から得られる第２の合成画像データｄａｔａ２は，第１の合成画像データｄａｔａ１とほぼ同じとなるように，第１の合成画像データｄａｔａ１が０近傍またはしきい値ｔｈ２近傍以外では，第１の合成画像データのレベルよりも比較的小さくなる。
【００５９】
図９は，減算合成回路２０の入出力特性を示している。しきい値ｔｈ２は，１００とされている。
【００６０】
上述したように，第１の合成画像データｄａｔａ１がしきい値ｔｈ２未満の場合は，レベルが０近傍またはしきい値ｔｈ２（＝１００）近傍のほど低下させる割合が小さく，かつレベルが０またはしきい値ｔｈ２から離れるにしたがって低下される割合が大きくなるように，第１の合成画像データレベルが調整させられる。第１の合成画像データｄａｔａ１が０近傍のときに，第２の合成画像データｄａｔａ２は０とならないので，減算合成処理によりいわゆる黒つぶれが生じるのを未然に防止できる。また，第１の合成画像データｄａｔａ１がしきい値近傍のときには，低下させられる割合が小さいので，しきい値近傍のレベルをもつ画像が急に変化してしまうことを未然に防止できる。
【００６１】
たとえば，合成パラメータＰ２が１．１５の場合よりも合成パラメータＰ２が１．０のときの方がレベルを低下させる割合が大きい。合成パラメータＰ２の値を変えることにより，レベルを低下させる割合を変更できる。
【００６２】
第１の合成画像データｄａｔａ１がしきい値ｔｈ２以上は，入出力特性は線形性を有しており，減算合成回路２０に入力した第１の合成画像データｄａｔａ１は，レベルが変わらずに第２の合成画像データｄａｔａ２として減算合成回路２０から出力される。
【００６３】
このようにして，暗い部分は黒浮きなどが生じずに，かつ黒つぶれも起きずに比較的適切な夜景を撮像することができる。
【００６４】
上述した実施例においては，ハードウエア回路により構成されているがソフトウエアにより実現するようにしてもよい。
【００６５】
上述した実施例においては，フォトダイオード２の主受光領域３に蓄積された信号電荷にもとづいて高感度映像信号を得，フォトダイオード２の副受光領域４に蓄積された信号電荷にもとづいて低感度映像信号を得ているが，露出量を変えて同一の被写体を２回撮像することにより高感度映像信号と低感度映像信号とを得るようにしてもよい。
【図面の簡単な説明】
【図１】ＣＣＤの模式図である。
【図２】ディジタル・スチル・カメラの電気的構成を示すブロック図である。
【図３】相対被写体輝度と画像データとの関係を示している。
【図４】低感度画像データの重み係数を表している。
【図５】第１の合成画像データの抑圧率を表している。
【図６】抑圧された第１の合成画像データと相対被写体輝度との関係を示している。
【図７】第１の合成画像データと係数との関係とを示している。
【図８】第１の合成画像データと合成パラメータとの関係を示している。
【図９】減算合成回路の入出力特性を示している。
【符号の説明】
１  ＣＣＤ
１８  加算合成回路
１９  切換スイッチ
２０  減算合成回路
２１  メモリ
２２  ＣＰＵ
２３  モード設定スイッチ
【図１】
2004297433.tif 000004
【図２】
2004297433.tif 000005
【図３】
2004297433.tif 000006
【図４】
2004297433.tif 000007
【図５】
2004297433.tif 000008
【図６】
2004297433.tif 000009
【図７】
2004297433.tif 000010
【図８】
2004297433.tif 000011
【図９】
2004297433.tif 000012