(57)【要約】【課題】  撮影済みの画像に対して画像処理を行ってＪＰＥＧ画像を生成した後に、輝度補正処理を行うと、最終的な撮影画像が生成されるまでに時間がかかってしまう。【解決手段】  縮小処理回路２２は、検波処理回路２１による原画像データ３１のバッファメモリ２７への転送に並行して、生成した縮小画像データ３２ａをバッファメモリ２７へ転送する。拡大処理回路４４は、画像処理部２４の所定の画像処理に並行して、バッファメモリ２７に記憶された縮小画像データ３２ａを原画像データ３１のサイズに拡大して拡大画像データを生成する。ゲイン処理回路４６は、拡大画像データを参照して原画像データ３１の輝度分布を補正して現像画像データ３４を生成する。【選択図】  図３
2010011095.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮影して電気信号から成る原画像データに変換する撮影手段と、
この撮影手段から前記原画像データを転送する原画像転送手段と、
この原画像転送手段によって転送された前記原画像データを一時的に記憶する一時記憶手段と、
この一時記憶手段に記憶された前記原画像データに対して所定の画像処理を行って現像画像データを生成する画像処理手段と、
この画像処理手段によって生成された前記現像画像データを圧縮して圧縮画像データを生成する圧縮手段と、
この圧縮手段によって生成された前記圧縮画像データを記録する記録手段と
を備える撮像装置において、
前記撮影手段からの前記原画像データを縮小して明度信号のみから成る縮小画像データを生成する画像縮小手段と、
前記原画像転送手段による前記原画像データの前記一時記憶手段への転送に並行して前記画像縮小手段によって生成された前記縮小画像データを前記一時記憶手段へ転送する縮小画像転送手段と、
前記画像処理手段の前記所定の画像処理に並行して、前記一時記憶手段に記憶された前記縮小画像データを前記原画像データのサイズに拡大して拡大画像データを生成する画像拡大手段とを備え、
前記画像処理手段は、前記画像拡大手段によって生成された前記拡大画像データを参照して前記原画像データの輝度分布を補正して前記現像画像データを生成することを特徴とする撮像装置。
【請求項２】
前記画像縮小手段は、前記原画像データを縮小して明度信号のみから成る顔検出用縮小画像データを生成し、
前記縮小画像転送手段は、前記画像縮小手段によって生成された前記顔検出用縮小画像データを前記一時記憶手段へ転送し、
前記一時記憶手段に記憶された前記顔検出用縮小画像データから人物の顔領域を検出する顔検出手段と、
前記画像処理手段の前記所定の画像処理に並行して、前記顔検出手段によって検出された前記顔領域の前記縮小画像データの輝度を部分的に増幅する部分増幅手段とを備え、
前記画像拡大手段は、この部分増幅手段によって前記顔領域の輝度が部分的に増幅された前記縮小画像データを前記原画像データのサイズに拡大することを特徴とする請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像画像の輝度分布を補正する撮像装置に関するものである。
【背景技術】
【０００２】
従来、この種の撮像装置としてデジタルカメラなどがある。デジタルカメラなどは、被写体を撮影する時に被写体の後方から逆光がさしている場合、背景の逆光の明るさを拾い、背景が明るくて被写体が暗くなる撮影画像ができてしまう。
【０００３】
従来、このような逆光が発生した撮影画像に対処するために、撮影画像が生成された後にユーザーが、デジタルカメラなどにおいて、マニュアル操作でこれらの不具合の生じた画像に対して撮影画像の暗部の濃度を調整する作業を行っていた。また、特許文献１では、撮像画像をスキャナで読み取って、読み取った画像をデジタル信号とし、種々の画像処理を施した後にプリントするデジタルフォトプリンタが記載されている。このデジタルフォトプリンタのデータ処理部は、スキャナから出力された画像データに対して画像処理を行ってＪＰＥＧ画像を出力する。デジタルフォトプリンタに内蔵された表示画像処理部は、自動的に、この出力された逆光シーンや明暗の差が大きい画像データの輝度を補正することで、人間が原シーンを見た時の印象に近くなる画像を出力している。
【特許文献１】特開平１１−１９１８７１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来の撮像装置のように、ユーザーがマニュアル操作で逆光が発生した撮影画像に対して撮影画像の暗部の濃度を調整することは、手間がかかり、利便性に欠ける。一方、このような問題を解消するため、特許文献１のように、撮影画像に対して画像処理を行ってＪＰＥＧ画像を生成した後に、明暗の濃度を調整する補正処理を行う構成を、デジタルカメラのような撮像装置に適用することが考えられる。しかし、このように構成した場合、ＪＰＥＧ画像生成処理および明暗補正処理が直列に行われ、最終的な撮影画像が生成されるまでに時間がかかってしまう。このため、上記構成を備えたデジタルカメラで連写撮影を行う場合、連写される各画像の１枚についてＪＰＥＧ画像を生成する度に、上述した明暗を補正する処理が行われるため、連写性能が著しく低下してしまう。
【課題を解決するための手段】
【０００５】
本発明はこのような課題を解決するためになされたもので、
被写体を撮影して電気信号から成る原画像データに変換する撮影手段と、
この撮影手段から原画像データを転送する原画像転送手段と、
この原画像転送手段によって転送された原画像データを一時的に記憶する一時記憶手段と、
この一時記憶手段に記憶された原画像データに対して所定の画像処理を行って現像画像データを生成する画像処理手段と、
この画像処理手段によって生成された現像画像データを圧縮して圧縮画像データを生成する圧縮手段と、
この圧縮手段によって生成された圧縮画像データを記録する記録手段と
を備える撮像装置において、
撮影手段からの原画像データを縮小して明度信号のみから成る縮小画像データを生成する画像縮小手段と、
原画像転送手段による原画像データの一時記憶手段への転送に並行して画像縮小手段によって生成された縮小画像データを一時記憶手段へ転送する縮小画像転送手段と、
画像処理手段の所定の画像処理に並行して、一時記憶手段に記憶された縮小画像データを原画像データのサイズに拡大して拡大画像データを生成する画像拡大手段とを備え、
画像処理手段は、画像拡大手段によって生成された拡大画像データを参照して原画像データの輝度分布を補正して現像画像データを生成することを特徴とする。
【０００６】
本構成によれば、縮小画像転送手段が、原画像転送手段による原画像データの一時記憶手段への転送に並行して、画像縮小手段によって生成された縮小画像データを一時記憶手段へ転送する。また、画像拡大手段が、画像処理手段の所定の画像処理に並行して、一時記憶手段に記憶された縮小画像データを原画像データのサイズに拡大して拡大画像データを生成し、画像処理手段が、拡大画像データを参照して原画像データの輝度分布を補正して現像画像データを生成する。このため、原画像データが原画像転送手段によって一時記憶手段に転送されて、画像処理手段によって所定の画像処理が行われて現像画像データが生成されるのに並行して、原画像データの輝度分布が補正される。従って、画像処理手段によって所定の画像処理が行われる処理と、輝度分布の補正処理とが直列に実行される場合と比べて、輝度分布が補正された現像画像データを生成する処理の速度は向上する。この結果、連写性能を低下させることなく、輝度分布を連写しながら補正することが可能な撮像装置が提供されるようになる。
【０００７】
また、本発明は、
画像縮小手段が、原画像データを縮小して明度信号のみから成る顔検出用縮小画像データを生成し、
縮小画像転送手段が、画像縮小手段によって生成された顔検出用縮小画像データを一時記憶手段へ転送し、
一時記憶手段に記憶された顔検出用縮小画像データから人物の顔領域を検出する顔検出手段と、
画像処理手段の所定の画像処理に並行して、顔検出手段によって検出された顔領域の縮小画像データの輝度を部分的に増幅する部分増幅手段とを備え、
画像拡大手段が、この部分増幅手段によって顔領域の輝度が部分的に増幅された縮小画像データを原画像データのサイズに拡大することを特徴とする。
【０００８】
本構成によれば、縮小画像転送手段が、原画像転送手段による原画像データの一時記憶手段への転送に並行して、画像縮小手段によって生成された顔検出用縮小画像データを一時記憶手段へ転送し、また、部分増幅手段が、画像処理手段の所定の画像処理に並行して、顔検出手段によって検出された顔領域の縮小画像データの輝度を部分的に増幅する。このため、画像拡大手段によって拡大される拡大画像データにおける人物の顔領域の輝度が部分的に高くなり、この拡大画像データが参照されて輝度分布が補正されて画像処理手段によって生成される現像画像データは、人物の顔領域のみが特に明るくなったものとなる。従って、近年発達しつつある顔検出技術を用いて、人物の顔のみを特に明るく強調した画像を生成することが可能となる。
【発明の効果】
【０００９】
本発明によれば、上記のように、連写性能を低下させることなく、輝度分布を連写しながら補正することが可能な撮像装置が提供されるようになる。
【発明を実施するための最良の形態】
【００１０】
次に、本発明の撮像装置をデジタルカメラに適用した場合における、最良の実施の形態について説明する。
【００１１】
図１は、この最良の実施の形態によるデジタルカメラの回路構成の概略を示すブロック図である。
【００１２】
メインスイッチ１がオンされることにより図示しないバッテリーから回路各部に電源が供給される。測光装置２は、半押しスイッチ３が押されると、撮影レンズを通して被写体光量を検出し、検出した被写体光量に基づいて絞りの駆動等を行う。焦点検出装置４は、半押しスイッチ３が押されると、撮像レンズの焦点検出状態を検出し、被写体光がＡＦ用ＣＣＤ（Charge Coupled Device）５上で結像するように、レンズ通信回路６を介して撮像レンズを合焦位置へ駆動する。ストロボ通信回路７は、被写体の周囲が暗い時に撮影領域内を照明する照明光をストロボ装置に発光させる信号を出力する。
【００１３】
撮影手段１０は、ＣＣＤ１１、アナログ信号処理回路１２、およびＡ/Ｄ（Analog/Digital）変換器１３を備えて構成され、被写体を撮影して電気信号から成る原画像データに変換する。つまり、ＣＣＤ１１は、半押しスイッチ３のオン操作に引き続いてレリーズスイッチ１４がオン操作されると、撮影レンズを通過した被写体光を受光面上で結像し、被写体光の明るさに応じた信号電荷を蓄積する。ＣＣＤ１１に蓄積された信号電荷は、タイミングジェネレータ（ＴＧ）１５によって生成されるタイミングに従ってドライバ１６により吐き出され、アナログ信号処理回路１２に入力される。アナログ信号処理回路１２は、アンプ雑音とリセット雑音を除去するＣＤＳ（Correlated Double Sampling）回路や、レンズの絞りが開放になった状態でさらに暗い被写体のゲインを上げるＡＧＣ（Automatic Gain Control）回路などから成り、ＣＣＤ１１が出力したアナログ画像信号に対して雑音除去やゲインコントロール等のアナログ処理を施す。Ａ/Ｄ変換器１３は、アナログ信号処理回路１２と共に動作タイミングがＴＧ１５によって決定され、アナログ信号処理回路１２が出力したアナログ画像信号をデジタル画像信号に変換する。このＡ/Ｄ変換により、ＲＧＢ信号から成る原画像データがベイヤ画像として得られる。
【００１４】
ＡＳＩＣ（Application Specific Integrated Circuit：特定用途向けIC）２０は、図２に示すように、検波処理回路２１、縮小処理回路２２、顔検出処理回路２３、画像処理部２４、圧縮モジュール２５、記録モジュール２６、およびバッファメモリ２７を備えて構成されており、図示しないＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、およびＲＯＭ（Read Only Memory）を備えている。ＣＰＵは、ＲＯＭに格納されたファームウェアに従い、ＲＡＭを一時記憶作業領域としてカメラ内の各部の制御を行う。
【００１５】
検波処理回路２１は撮影手段１０から入力した原画像データを２分し、一方を原画像データ３１としてバッファメモリ２７へ転送し、他方を縮小処理回路２２へ出力する。検波処理回路２１は、撮影手段１０からバッファメモリ２７へ原画像データ３１を転送する原画像転送手段を構成しており、バッファメモリ２７は、この検波処理回路２１によって転送された原画像データ３１を一時的に記憶する一時記憶手段を構成している。
【００１６】
縮小処理回路２２は、画像縮小手段を構成しており、撮影手段１０から検波処理回路２１を介して入力される原画像データを縮小して、明度信号のみから成る縮小画像データを生成する。また、縮小処理回路２２は、縮小画像転送手段を構成しており、検波処理回路２１による原画像データ３１のバッファメモリ２７への転送に並行して、生成した縮小画像データを縮小画像データ３２ａとしてバッファメモリ２７へ転送する。本実施形態では、縮小処理回路２２は、撮影手段１０から検波処理回路２１を介して入力される原画像データを縮小して、明度信号のみから成る顔検出用縮小画像データも生成し、生成した顔検出用縮小画像データを顔検出用縮小画像データ３２ｂとしてバッファメモリ２７へ転送する。なお、デジタルカメラが顔検出用の処理を行わないように設定されている場合には、縮小処理回路２２は、縮小画像データ３２ａのみを作成する。顔検出処理回路２３は、顔検出手段を構成しており、バッファメモリ２７に記憶された顔検出用縮小画像データ３２ｂから人物の顔領域を検出する。顔検出処理回路２３によって検出された人物の顔領域は、顔位置や顔の大きさといった顔情報３３としてバッファメモリ２７に格納される。
【００１７】
画像処理部２４は、画像処理手段を構成しており、バッファメモリ２７に記憶された原画像データ３１に対して、後述する所定の画像処理を行って現像画像データを生成し、現像画像データ３４としてバッファメモリ２７に格納する。圧縮モジュール２５は、圧縮手段を構成しており、バッファメモリ２７に格納された現像画像データ３４を所定の比率に圧縮するフォーマット処理を行い、ＪＰＥＧやＴＩＦＦ等の圧縮画像データを生成し、圧縮画像データ３５としてバッファメモリ２７に格納する。バッファメモリ２７に格納された圧縮画像データ３５は、記録モジュール２６によって不揮発メモリ１７へ転送される。不揮発メモリ１７は、記録手段を構成しており、圧縮モジュール２５によって生成された圧縮画像データ３５を記録する。モニタ１８は、カメラ本体の背面などに設けられたＬＣＤ（液晶表示装置）からなり、ＣＣＤ１１によって撮像されてバッファメモリ２７に格納される被写体像を表示する。
【００１８】
図３は、図２に示す画像処理部２４の回路構成の概略を示すブロック図である。
【００１９】
補間処理回路４１は、バッファメモリ２７に格納されている原画像データ３１に対して補間処理を行い、ガンマ処理回路４２は、補間処理された原画像データ３１に対してガンマ補正する。部分ゲイン処理回路４３は、部分増幅手段を構成しており、画像処理部２４における所定の画像処理、本実施形態では、補間処理回路４１およびガンマ処理回路４２における補間処理およびガンマ補正処理に並行して、顔検出処理回路２３によって検出された顔情報３３に基づいて、人物の顔領域に相当する縮小画像データ３２ａの輝度を部分的に増幅する。拡大処理回路４４は、画像拡大手段を構成しており、画像処理部２４における上記の補間処理およびガンマ補正処理に並行して、部分ゲイン処理回路４３によって顔領域の輝度が部分的に増幅された縮小画像データ３２ａを原画像データ３１のサイズに拡大して、拡大画像データを生成する。なお、部分ゲイン処理回路４３における上述した処理は、高速化を求めるのであれば、上記のように拡大処理回路４４によって拡大処理が行われる前に行い、精度を求めるのであれば、拡大処理回路４４によって拡大処理が行われた後に行われるように構成する。テーブル変換処理回路４５は、拡大処理回路４４によって生成された拡大画像データの輝度分布に関するゲイン補正係数値を決定する。つまり、テーブル変換処理回路４５は、輝度とゲイン補正係数値との関係を規定するルックアップテーブルを参照し、輝度が所定値以下で暗い画像データに対して、暗いほど大きなゲイン補正係数値を決定する。
【００２０】
ゲイン処理回路４６は、ガンマ処理回路４２によってガンマ補正された原画像データ３１に対し、ゲイン処理を行なって輝度分布を補正する。この際、ゲイン処理回路４６は、拡大処理回路４４によって生成された拡大画像データを参照して、輝度が所定値以下で暗い画像領域に対し、テーブル変換処理回路４５によって決定されたゲイン補正係数値を掛けたゲイン処理を行う。色・輪郭処理回路４７は、ゲイン処理回路４６から出力される原画像データ３１に対し、ホワイトバランス処理等の色処理を行い、また、輪郭の太さや強弱を調節して解像度を高める輪郭処理を行う。この処理により、輝度「Ｙ」、輝度と青色の色差「Ｃｂ」、および輝度と赤色の色差「Ｃｒ」から成る現像画像データ３４が生成される。
【００２１】
次に、上述した構成を持つ本実施形態によるデジタルカメラの動作について説明する。
【００２２】
検波処理回路２１は、Ａ/Ｄ変換器１３から出力される原画像データを例えば３０００画素×４０００画素のベイヤ型ＲＧＢ画像としてバッファメモリ２７へ転送し、原画像データ３１として格納させる。縮小処理回路２２は、検波処理回路２１からの原画像データ３１を例えば４０画素×６０画素程度に縮小して、逆光補正のために用いる明度信号のみから成る縮小画像データとしてバッファメモリ２７へ転送し、縮小画像データ３２ａとして格納させる。また、縮小処理回路２２は、原画像データを例えば２４０画素×３２０画素程度に縮小して、明度信号のみから成る顔検出用縮小画像データとしてバッファメモリ２７へ転送し、顔検出用縮小画像データ３２ｂとして格納させる。顔検出処理回路２３は、バッファメモリ２７に記憶された顔検出用縮小画像データ３２ｂから人物の顔領域を特定する顔情報３３を生成し、生成した顔情報３３をバッファメモリ２７に格納させる。
【００２３】
画像処理部２４は、バッファメモリ２７に記憶された原画像データ３１に対して、補間処理およびガンマ処理を行う。また、部分ゲイン処理回路４３は、画像処理部２４の上記の画像処理に並行して、バッファメモリ２７に記憶された顔情報３３に基づいて、縮小画像データ３２ａの顔領域の輝度を部分的に増幅する部分ゲイン処理を行う。この処理により、例えば逆光状態で撮影されて暗くなった人物の顔領域が、ゲイン処理回路４６におけるゲイン処理に先立ち、予めある程度までに明るくされる。拡大処理回路４４は、この縮小画像データ３２ａを原画像データ３１のサイズに拡大して拡大画像データを生成し、テーブル変換処理回路４５は、拡大処理回路４４によって生成された拡大画像データの輝度分布に関するゲイン補正係数値を上述したように決定する。この処理により、逆光状態で撮影されて暗くなった人物像の画像データに対応してゲイン処理回路４６で行われるゲイン処理の倍率が補正される。
【００２４】
ゲイン処理回路４６は、拡大処理回路４４によって生成された拡大画像データを参照して、逆光状態で撮影されて暗くなった人物像の原画像データ３１に対し、テーブル変換処理回路４５で決定されたゲイン補正係数値を基にゲイン処理を行い、原画像データ３１の輝度分布を補正する。この処理により、逆光状態で撮影されて暗くなった人物像の原画像データ３１は明るくなり、また、人物の顔領域の原画像データ３１は、部分ゲイン処理回路４３で予め明るくされているため、特に明るくなる。
【００２５】
このような本実施形態によるデジタルカメラによれば、上述したように、縮小処理回路２２が、検波処理回路２１による原画像データ３１のバッファメモリ２７への転送に並行して、生成した縮小画像データ３２ａをバッファメモリ２７へ転送する。また、拡大処理回路４４が、画像処理部２４の所定の画像処理に並行して、バッファメモリ２７に記憶された縮小画像データ３２ａを原画像データ３１のサイズに拡大して拡大画像データを生成し、ゲイン処理回路４６が、拡大画像データを参照して原画像データ３１の輝度分布を補正して現像画像データ３４を生成する。このため、原画像データ３１が検波処理回路２１によってバッファメモリ２７に転送されて、画像処理部２４によって所定の画像処理が行われて現像画像データ３４が生成されるのに並行して、原画像データ３１の輝度分布が補正される。従って、従来の、画像処理部によって所定の画像処理が行われる処理と、輝度分布の補正処理とが直列に実行される場合と比べて、輝度分布が補正された現像画像データ３４を生成する処理の速度は向上する。この結果、連写性能を低下させることなく、輝度分布を連写しながら補正することが可能なデジタルカメラが提供されるようになる。
【００２６】
また、本実施形態によれば、縮小処理回路２２が、検波処理回路２１による原画像データ３１のバッファメモリ２７への転送に並行して、生成した顔検出用縮小画像データ３２ｂをバッファメモリ２７へ転送し、また、部分ゲイン処理回路４３が、画像処理部２４の
所定の画像処理に並行して、顔検出処理回路２３によって検出された顔領域の縮小画像データ３２ａの輝度を部分的に増幅する。このため、拡大処理回路４４によって拡大される拡大画像データにおける人物の顔領域の輝度が部分的に高くなり、この拡大画像データが参照されてゲイン処理回路４６によって生成される現像画像データ３４は、人物の顔領域のみが特に明るくなったものとなる。従って、近年発達しつつある顔検出技術を用いて、人物の顔のみを特に明るく強調した画像を生成することが可能となる。
【産業上の利用可能性】
【００２７】
上記実施形態においては、本発明の撮像装置をデジタルカメラに適用した場合について説明したが、ビデオカメラや、携帯電話等に内蔵されるカメラ等の他の撮像装置にも同様に適用することが可能である。このような撮像装置に本発明を適用した場合においても、上記実施形態と同様な作用効果が奏される。
【図面の簡単な説明】
【００２８】
【図１】本発明の最良の実施の形態によるデジタルカメラの回路構成の概略を示すブロック図である。
【図２】図１に示すＡＳＩＣの回路構成の概略を示すブロック図である。
【図３】図２に示す画像処理部の回路構成の概略を示すブロック図である。
【符号の説明】
【００２９】
１０…撮影手段
２０…ＡＳＩＣ
２１…検波処理回路
２２…縮小処理回路
２３…顔検出処理回路
２４…画像処理部
２５…圧縮モジュール
２６…記録モジュール
３７…バッファメモリ  
３１…原画像データ  
３２ａ…縮小画像データ
３２ｂ…顔検出用縮小画像データ
３３…顔情報
３４…現像画像データ
３５…圧縮画像データ
４１…補間処理回路
４２…ガンマ処理回路
４３…部分ゲイン処理回路
４４…拡大処理回路
４５…テーブル変換処理回路
４６…ゲイン処理回路
４７…色・輪郭処理回路
【図１】
2010011095.tif 000003
【図２】
2010011095.tif 000004
【図３】
2010011095.tif 000005