(57)【要約】【課題】記録又は表示用の画像処理或いは露出補正の影響を受けずに高精度の被写体検出が可能な撮像装置及び撮像方法を提供すること。【解決手段】撮像素子２０４を介して得られるＲＡＷデータに対して画像処理部２１８と被写体検出部２３０とで異なる画像処理を行う。画像処理部２１８では、特定の仕上がりの記録用画像データ又は表示用画像データを生成するための輝度特性変換処理を含む各種の画像処理が行われる。被写体検出部２３０では、画像の明るさが適正となっている検出用画像データを生成するための輝度特性変換処理を含む簡易的な画像処理が行われる。そして、被写体検出部２３０では、この検出用画像データを用いて被写体の検出が行われる。【選択図】図１
2014011767.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像してＲＡＷデータを取得する撮像部と、
前記取得されたＲＡＷデータに対して第１の画像処理を施して、記録用画像データ又は表示用画像データを生成する画像処理部と、
前記ＲＡＷデータに対して前記第１の画像処理とは異なる第２の画像処理を施して、検出用画像データを生成する検出用画像処理部と、
前記検出用画像データを用いて被写体を検出する被写体検出部と、
を具備し、
前記第１の画像処理と前記第２の画像処理とは、前記ＲＡＷデータの輝度特性を変更する輝度特性変換処理を含み、前記第２の画像処理における輝度特性変換処理は、前記第１の画像処理に含まれる輝度特性変換処理とは異なる輝度特性変換処理であることを特徴とする撮像装置。
【請求項２】
前記輝度特性変換処理は、前記ＲＡＷデータから得られる輝度値に応じた輝度値変換を行う輝度変換処理であり、前記第１の画像処理と前記第２の画像処理とで異なる輝度値変換を行うことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記輝度特性変換処理は、ガンマ変換処理であり、前記第１の画像処理と前記第２の画像処理で異なる変換特性のガンマ変換処理を行うことを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記第１の画像処理は、仕上がりが適正とされた前記記録用画像データ又は前記表示用画像データを生成するための画像処理であり、
前記第２の画像処理は、少なくとも画像の明るさが適正とされた前記検出用画像データを生成するための画像処理であることを特徴とする請求項１乃至３の何れか１項に記載の撮像装置。
【請求項５】
前記第２の画像処理は、前記ＲＡＷデータを、前記記録用画像データよりも小さい画像サイズに縮小する縮小処理を含むことを特徴とする請求項１乃至４の何れか１項に記載の撮像装置。
【請求項６】
前記輝度特性変換処理を行うに際し、前記ＲＡＷデータの色成分のうちのＧ成分を用いて前記ＲＡＷデータの輝度値を抽出することを特徴とする請求項２乃至５のいずれか１項に記載の撮像装置。
【請求項７】
前記輝度特性変換処理を行うに際し、前記ＲＡＷデータの色成分毎に重み付け混合した値を用いて前記ＲＡＷデータの輝度値を抽出することを特徴とする請求項２乃至５の何れか１項に記載の撮像装置。
【請求項８】
撮像部により被写体を撮像してＲＡＷデータを取得し、
画像処理部により、前記撮像部により取得されたＲＡＷデータに対して第１の画像処理を施して、記録用画像データ又は表示用画像データを生成し、
検出用画像処理部により、前記撮像部により取得されたＲＡＷデータに対して前記第１の画像処理とは異なる第２の画像処理を施して、検出用画像データを生成し、
被写体検出部により、前記検出用画像データを用いて被写体を検出し、
前記第１の画像処理と前記第２の画像処理とは、前記ＲＡＷデータの輝度特性を変更する輝度特性変換処理を含み、前記第２の画像処理における輝度特性変換処理は、前記第１の画像処理に含まれる輝度特性変換処理とは異なる輝度特性変換処理であることを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を検出する機能を有する撮像装置及びそれを用いた撮像方法に関する。
【背景技術】
【０００２】
撮像されている被写体を画像データから検出する技術が知られている。この種の被写体検出技術に関し、例えば特許文献１は、電子ズーム中に被写体検出を行う場合における被写体検出の精度低下を防止する技術を提案している。この特許文献１では、表示部への表示用の画像と被写体検出用の画像との拡大倍率を適応的に変えることで、被写体検出の精度低下を防いでいる。
【０００３】
一方、近年の撮像装置において、ノイズやシェーディング、ぼかし等といった特殊効果を画像データに意図的に付加する特殊効果処理機能を有するものが知られている。このような特殊効果処理では、独特の印象の画像の撮影及び作風としての撮影表現を実現することが可能である。この種の特殊効果処理として、例えば特許文献２では、銀塩フィルムのような粒状感（ノイズ感）をデジタル画像上で再現するための手法が提案されている。この特許文献２の手法によれば、荒々しく力強い印象の静止画や動画を撮影することが可能である。また、特許文献３では、シェーディングを意図的に付加する技術が提案されている。この特許文献３の手法によれば、トイカメラで撮影したような印象の静止画や動画を撮影することが可能である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４００６４１５号公報
【特許文献２】特開２０１０−６２８３６号公報
【特許文献３】特開２０１０−７４２４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ここで、特許文献１は、主に電子ズーム時の被写体検出の精度低下を目的として、表示部への表示用の画像と被写体検出用の画像との拡大倍率を適応的に変えることで、被写体検出の精度低下を防いでいる。しかしながら、拡大倍率を適応的に変えるだけでは、被写体検出の精度低下が発生してしまう場合がある。
【０００６】
例えば、特殊効果処理と被写体検出とを併用する場合、拡大倍率を変えても、被写体検出用の画像と特殊効果画像とを同様な画像処理で生成する。このとき、被写体検出用の画像の特性が特殊効果処理の内容に応じて変化してしまい、被写体検出精度が低下する可能性が生じる。
【０００７】
また、近年の撮像装置は、撮影された画像の明るさを変更する露出補正機能を有しているものが多い。露出補正機能を用いると、ユーザは明るさの異なる画像を容易に撮影できる。しかしながら、この明るさの変更が被写体検出に影響して被写体検出精度が低下する場合がある。
【０００８】
本発明は、前記の事情に鑑みてなされたもので、記録又は表示用の画像処理或いは露出補正の影響を受けずに高精度の被写体検出が可能な撮像装置及び撮像方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
前記の目的を達成するために、本発明の第１の態様の撮像装置は、被写体を撮像してＲＡＷデータを取得する撮像部と、前記取得されたＲＡＷデータに対して第１の画像処理を施して、記録用画像データ又は表示用画像データを生成する画像処理部と、前記ＲＡＷデータに対して前記第１の画像処理とは異なる第２の画像処理を施して、検出用画像データを生成する検出用画像処理部と、前記検出用画像データを用いて被写体を検出する被写体検出部と、を具備し、前記第１の画像処理と前記第２の画像処理とは、前記ＲＡＷデータの輝度特性を変更する輝度特性変換処理を含み、前記第２の画像処理における輝度特性変換処理は、前記第１の画像処理に含まれる輝度特性変換処理とは異なる輝度特性変換処理であることを特徴とする。
【００１０】
また、前記の目的を達成するために、本発明の第２の態様の撮像方法は、撮像部により被写体を撮像してＲＡＷデータを取得し、画像処理部により、前記撮像部により取得されたＲＡＷデータに対して第１の画像処理を施して、記録用画像データ又は表示用画像データを生成し、検出用画像処理部により、前記撮像部により取得されたＲＡＷデータに対して前記第１の画像処理とは異なる第２の画像処理を施して、検出用画像データを生成し、被写体検出部により、前記検出用画像データを用いて被写体を検出し、前記第１の画像処理と前記第２の画像処理とは、前記ＲＡＷデータの輝度特性を変更する輝度特性変換処理を含み、前記第２の画像処理における輝度特性変換処理は、前記第１の画像処理に含まれる輝度特性変換処理とは異なる輝度特性変換処理であることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、記録又は表示用の画像処理或いは露出補正の影響を受けずに高精度の被写体検出が可能な撮像装置及び撮像方法を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態に係る撮像装置の一例としてのデジタルカメラの構成を示すブロック図である。
【図２】図１で示したデジタルカメラのメイン動作を示すフローチャートである。
【図３】被写体検出処理の第１の例を示すフローチャートである。
【図４】輝度抽出処理の例を示す図である。
【図５】輝度特性変換処理の例を示す図である。
【図６】被写体検出処理の第２の例を示すフローチャートである。
【図７】画像処理の詳細について示したフローチャートである。
【図８】画像処理における輝度特性変換処理の第１の例を示す図である。
【図９】画像処理における輝度特性変換処理の第２の例を示す図である。
【図１０】本発明の一実施形態の変形例のデジタルカメラの構成を示すブロック図である。
【発明を実施するための形態】
【００１３】
以下、図面を参照して本発明の実施形態を説明する。  
図１は、本発明の一実施形態に係る撮像装置の一例としてのデジタルカメラの構成を示すブロック図である。図１に示すデジタルカメラ１は、レンズ交換式のデジタルカメラである。しかしながら、必ずしもレンズ交換式のデジタルカメラである必要はなく、レンズ一体式のデジタルカメラであっても良い。また、撮像機能付き携帯電話機や撮像機能付き携帯端末等であっても本実施形態の技術が適用され得る。
【００１４】
図１に示すデジタルカメラ１は、交換式レンズ１００と、カメラ本体２００と、を有している。交換式レンズ１００は、カメラ本体２００に対して着脱自在に構成されている。カメラ本体２００に交換式レンズ１００が装着された場合に、交換式レンズ１００は、カメラ本体２００と通信自在に接続される。これにより、交換式レンズ１００は、カメラ本体２００の制御に従って動作可能な状態となる。
【００１５】
交換式レンズ１００は、レンズ１０２と、絞り１０４と、ドライバ１０６と、マイクロコンピュータ１０８と、Ｆｌａｓｈメモリ１１０と、を有している。  
レンズ１０２は、図示しない被写体からの光束をカメラ本体２００内の撮像素子２０４に集光するための光学系である。このレンズ１０２は、フォーカスレンズ及びズームレンズ等の複数のレンズを有していても良い。
【００１６】
絞り１０４は、開閉自在に構成され、レンズ１０２を介して入射した光束の量を調整する。ドライバ１０６は、モータ等を有している。このドライバ１０６は、マイクロコンピュータ１０８の制御に従って、レンズ１０２内のフォーカスレンズやズームレンズをその光軸方向に駆動させたり、絞り１０４を開閉駆動させたりする。
【００１７】
マイクロコンピュータ１０８は、交換式レンズ１００がカメラ本体２００に装着された際にインターフェイス（Ｉ/Ｆ）１１２を介してカメラ本体２００内のマイクロコンピュータ２３２と通信自在に接続される。このマイクロコンピュータ１０８は、マイクロコンピュータ２３２からの制御に従ってドライバ１０６を駆動させる。また、マイクロコンピュータ１０８は、Ｆｌａｓｈメモリ１１０に記憶されている交換式レンズ１００のレンズ情報等を、Ｉ/Ｆ１１２を介してマイクロコンピュータ２３２に通信する。
【００１８】
Ｆｌａｓｈメモリ１１０は、レンズ１０２の収差情報等のレンズ情報や交換式レンズ１００の動作を実行するために必要なプログラム等を記憶している。
【００１９】
カメラ本体２００は、メカシャッタ２０２と、撮像素子２０４と、アナログ処理部２０６と、アナログ/デジタル（Ａ/Ｄ）変換部２０８と、バス２１０と、ＳＤＲＡＭ２１２と、ＡＥ処理部２１４と、ＡＦ処理部２１６と、画像処理部２１８と、表示ドライバ２２０と、表示部２２２と、画像圧縮伸張部２２４と、メモリインターフェイス（Ｉ/Ｆ）２２６と、記録媒体２２８と、被写体検出部２３０と、マイクロコンピュータ２３２と、操作部２３４と、Ｆｌａｓｈメモリ２３６と、を有している。
【００２０】
メカシャッタ２０２は、撮像素子２０４の光電変換面を遮光状態又は露出状態とするように移動自在に構成されている。このメカシャッタ２０２を移動させることにより撮像素子２０４の露光時間が調整される。
【００２１】
撮像素子２０４は、レンズ１０２を介して集光された被写体からの光束が結像される光電変換面を有している。光電変換面は、複数の画素が２次元状に配置されて構成されている。また、光電変換面の光入射側には、カラーフィルタが設けられている。このような撮像素子２０４は、光電変換面に結像された光束に対応した像（被写体像）を、その光量に応じた電気信号（以下、画像信号という）に変換して出力する。
【００２２】
ここで、撮像素子２０４は、ＣＣＤ方式やＣＭＯＳ方式等の種々の構成の撮像素子が知られている。また、カラーフィルタの色配列もベイヤ配列等の種々の配列が知られている。本実施形態は、撮像素子２０４の構成が特定の構成に限定されるものではなく、種々の構成の撮像素子を用いることが可能である。また、撮像素子２０４は、露光時間を電子的に制御する電子シャッタ機能を有していても良い。以下の説明においては撮像素子２０４が電子シャッタ機能を有しているものとする。
【００２３】
アナログ処理部２０６は、撮像素子２０４により得られた画像信号に対してＣＤＳ（相関二重サンプリング）処理やＡＧＣ（自動利得制御）処理等のアナログ処理を施す。Ａ/Ｄ変換部２０８は、アナログ処理部２０６においてアナログ処理された画像信号をデジタル信号（以下、ＲＡＷデータという）に変換する。ここで、ＲＡＷデータとは、画像処理部２１８又は被写体検出部２３０における画像処理が施される前の「生の」画像データである。
【００２４】
バス２１０は、カメラ本体２００の内部で発生した各種のデータを転送するための転送路である。ＳＤＲＡＭ２１２は、カメラ本体２００内部で発生した各種のデータを一時的に記憶するための記憶部である。このＳＤＲＡＭ２１２は、画像処理部２１８における画像処理の際のバッファメモリとしても使用される。
【００２５】
ＡＥ処理部２１４は、画像データ（例えばＲＡＷデータ）を用いて被写体輝度を算出する。なお、被写体輝度は、画像データから算出するだけでなく、例えば専用の測光センサで測定するようにしても良い。ＡＦ処理部２１６は、画像データ（例えばＲＡＷデータ）から高周波成分の信号を取り出し、取り出した高周波成分の信号を積算してＡＦ用の合焦評価値を取得する。
【００２６】
画像処理部２１８は、ＲＡＷデータに対する各種の画像処理（第１の画像処理）を行って記録用画像データ又は表示用画像データを生成する。記録用画像データ又は表示用画像データとは、画像処理のパラメータが異なっている。ここで、画像処理部２１８で行われる画像処理は、記録用画像データ又は表示用画像データの仕上がりを所定のものとするための画像処理である。ここでの仕上がりとは、表示の際の見た目や作風等のことを言う。
【００２７】
本実施形態における画像処理部２１８は、オプティカルブラック（ＯＢ）減算処理部２１８１と、ホワイトバランス（ＷＢ）補正処理部２１８２、同時化処理部２１８３と、色再現処理部２１８４と、輝度特性変換部２１８５と、エッジ強調処理部２１８６と、ノイズ低減（ＮＲ）処理部２１８７と、特殊効果処理部２１８８と、を有している。記録用画像データ及び表示用画像データは、ノイズ低減処理までが施されたデータ又は特殊効果処理までが施されたデータである。
【００２８】
ＯＢ減算処理部２１８１は、ＲＡＷデータの暗電流成分（オプティカルブラック）を減算して除去するＯＢ減算処理を行う。  
ＷＢ補正処理部２１８２は、ＲＡＷデータの各色成分を所定のゲイン量で増幅することにより、画像の色バランスを補正する。  
同時化処理部２１８３は、ベイヤ配列に対応して撮像素子２０４を介して出力されるＲＡＷデータ等の、１つの画素が１つの色成分に対応している画像データを、１つの画素が複数の色成分に対応しているＲＧＢデータに変換する処理である。  
色再現処理部２１８４は、画像の色再現を適切なものとするための各種の処理を行う。この処理としては、例えばカラーマトリクス演算処理がある。このカラーマトリクス演算処理は、ＲＧＢデータに対して、例えばホワイトバランスモードに応じたカラーマトリクス係数を乗じる処理である。この他、色再現処理部２１８４は、彩度・色相の補正を行う。
【００２９】
輝度特性変換部２１８５は、ＲＧＢデータをＹＣ（輝度・色差）データに変換し、Ｙデータの輝度特性を、表示や記録に適するように変換する。なお、輝度特性変換部２１８５は、ＲＧＢデータの輝度特性を変換するように構成されていても良い。
【００３０】
エッジ強調処理部２１８６は、画像データ（ＲＧＢデータ又はＹＣデータ）からバンドパスフィルタ等を用いて抽出したエッジ信号にエッジ強調係数を乗じ、この結果をもとの画像データに加算することによって、画像データにおけるエッジ（輪郭）成分を強調する。
【００３１】
ＮＲ処理部２１８７は、コアリング処理等を用いて、画像データ（ＲＧＢデータ又はＹＣデータ）におけるノイズ成分を除去する。
【００３２】
特殊効果処理部２１８８は、画像データ（ＲＧＢデータ又はＹＣデータ）に対して特殊な視覚効果を与えるための特殊効果処理を施す。この特殊効果処理の詳細については後で詳しく説明する。
【００３３】
表示ドライバ２２０は、画像処理部２１８で得られた表示用画像データ又は画像圧縮伸張部２２４で記録用画像データを伸張して得られる表示用画像データを、表示部２２２の表示サイズに応じてリサイズし、リサイズした表示用画像データを映像信号に変換して表示部２２２に出力する。表示部２２２は、例えば液晶ディスプレイ（ＬＣＤ）である。この表示部２２２は、表示ドライバ２２０から入力された映像信号に基づく画像を表示する。
【００３４】
画像圧縮伸張部２２４は、画像の記録時においては、画像処理部２１８における画像処理によって得られた記録用画像データに対してＪＰＥＧ形式やＴＩＦＦ形式等の静止画圧縮処理又はＭＰＥＧ形式やＨ．２６４形式等の動画圧縮処理を施す。また、画像圧縮伸張部２２４は、画像の再生時においては、圧縮処理が施された記録用画像データに対して伸張（デコード）処理を施す。
【００３５】
メモリＩ/Ｆ２２６は、マイクロコンピュータ２３２等が記録媒体２２８にアクセスするためのインターフェイスである。記録媒体２２８は、例えばカメラ本体２００に着脱自在になされたメモリカードである。この記録媒体２２８は、画像ファイル等を記録する。画像ファイルは、画像圧縮伸張部２２４によって圧縮された記録用画像データに、ヘッダ情報を付加したファイルである。記録媒体２２８は、カメラ本体２００に固定されていても良い（着脱できなくても良い）。
【００３６】
被写体検出部２３０は、ＲＡＷデータを用いて被写体を検出する。被写体検出部２３０は、簡易画像処理部２３０１と、特徴量検出部２３０２と、を有している。
【００３７】
検出用画像処理部として機能する簡易画像処理部２３０１は、ＲＡＷデータに対して画像処理部２１８とは異なる簡易的な画像処理（第２の画像処理）を施して検出用画像データを生成する。この簡易的な画像処理は、ＯＢ減算処理、輝度特性変換処理を含む。簡易画像処理部２３０１における輝度特性変換処理は、画像処理部２１８における輝度特性変換処理と異なる処理である。  
特徴量検出部２３０２は、簡易画像処理部２３０１で生成された検出用画像データから、被写体を検出する。被写体の検出は、例えば周知のパターンマッチングにより行う。なお、特徴量検出部２３０２が検出する被写体は、人物、ペット、自動車等、特定の被写体に限定されるものではない。また、人物の顔やペットの顔等、特定の被写体の一部を検出するようにしても良い。
【００３８】
マイクロコンピュータ２３２は、メカシャッタ２０２、撮像素子２０４、表示ドライバ２２０といったカメラ本体２００の各部の動作を統括的に制御する。また、マイクロコンピュータ２３２は、ＡＥ処理部２１４で演算された被写体輝度を用いてＡＥ処理を行ったり、ＡＦ処理部２１６で演算されたＡＦ評価値を用いてＡＦ処理を行ったりもする。また、マイクロコンピュータ２３２は、交換式レンズ１００の装着時には、交換式レンズ１００の動作も制御する。
【００３９】
操作部２３４は、ユーザによって操作される各種の操作部材である。本実施形態における操作部２３４は、レリーズボタンと、動画ボタンと、メニューボタンと、再生ボタンと、電源ボタンと、を有している。ここで、これらのボタンは、一部又は全部をタッチパネルによって操作される仮想的な操作部として構成しても良い。
【００４０】
レリーズボタンは、ファースト（１ｓｔ）レリーズスイッチとセカンド（２ｎｄ）レリーズスイッチの２段スイッチを有している。レリーズボタンが半押しされて、ファーストレリーズスイッチがオンされた場合に、マイクロコンピュータ２３２は、ＡＥ処理やＡＦ処理等の撮影準備処理を実行する。また、レリーズボタンが全押しされて、セカンドレリーズスイッチがオンされた場合に、マイクロコンピュータ２３２は、静止画記録処理を実行する。
【００４１】
動画ボタンは、マイクロコンピュータ２３２に対して動画撮影の実行を指示する。動画ボタンが押された場合、マイクロコンピュータ２３２は、動画記録処理を実行する。また、動画記録処理の実行中に動画ボタンが押された場合、マイクロコンピュータ２３２は、動画記録処理を終了する。
【００４２】
メニューボタンは、メニュー画面の表示を指示するための操作部である。メニュー画面上において、ユーザは、カメラ本体２００の各種の設定を変更することが可能である。本実施形態においては、例えばメニュー画面上において、特殊効果処理モードを設定する。この特殊効果処理モードにより、特殊効果処理部２１８８で施される特殊効果処理の内容が設定される。
【００４３】
再生ボタンは、マイクロコンピュータ２３２に対して静止画ファイル又は動画ファイルの再生を指示するための操作部である。電源ボタンは、カメラ本体２００の電源のオン又はオフを指示するための操作部である。
【００４４】
Ｆｌａｓｈメモリ２３６は、例えばホワイトバランス補正用のホワイトバランスゲイン、カラーマトリクス演算用のカラーマトリクス係数、輝度特性変換用の各種の関数といった画像処理部２１８及び被写体検出部２３０の動作に必要なパラメータ等の、カメラ本体２００の動作に必要な各種のパラメータを記憶している。また、Ｆｌａｓｈメモリ２３６は、マイクロコンピュータ２３２が実行する種々のプログラムも記憶している。
【００４５】
以下、図１で示したデジタルカメラの動作について説明する。図２は、図１で示したデジタルカメラのメイン動作を示すフローチャートである。図２の動作は、例えば図１に示すデジタルカメラの電源がオンされた場合に行われる。
【００４６】
デジタルカメラの電源オン後において、マイクロコンピュータ２３２は、初期化処理を行う（ステップＳ１０１）。初期化処理において、マイクロコンピュータ２３２は、自身が有するレジスタに設定されている記録中フラグをＯｆｆにする等の処理を行う。記録中フラグは、動画記録中であるか否かを示すフラグである。記録中フラグがＯｆｆになっている間は、動画記録中でないことを示す。一方、記録中フラグがＯｎになっている間は、動画記録中であることを示す。
【００４７】
次に、マイクロコンピュータ２３２は、ユーザによって操作部２３４の再生ボタンが押されたか否かを判定する（ステップＳ１０２）。ステップＳ１０２において、再生ボタンが押されたと判定した場合に、マイクロコンピュータ２３２は、再生処理を実行する（ステップＳ１０３）。  
再生処理において、マイクロコンピュータ２３２は、ユーザによる画像ファイル（静止画像ファイル又は動画像ファイル）の選択を待つ。そして、画像ファイルが選択された場合に、マイクロコンピュータ２３２は、選択された画像ファイルを画像圧縮伸張部２２４によりデコードする。そして、マイクロコンピュータ２３２は、デコードにより得られた表示用画像データを表示ドライバ２２０に入力する。表示ドライバ２２０は、入力された表示用画像データを映像信号に変換し、この映像信号に対応した画像を表示部２２２に表示させる。その後、ユーザによって再生終了の指示がなされた場合、例えば再生ボタンが再び押された場合に、マイクロコンピュータ２３２は、処理をステップＳ１０２に戻す。
【００４８】
また、ステップＳ１０２において再生ボタンが押されていないと判定した場合に、マイクロコンピュータ２３２は、カメラ設定をするか否かを判定する（ステップＳ１０４）。例えば、ユーザによって操作部２３４のメニューボタンが押された場合に、マイクロコンピュータ２３２は、カメラ設定をすると判定する。
【００４９】
ステップＳ１０４において、カメラ設定をすると判定した場合に、マイクロコンピュータ２３２は、表示ドライバ２２０を制御して表示部２２２にメニュー画面を表示させた後、カメラ設定処理を実行する（ステップＳ１０５）。  
カメラ設定処理において、マイクロコンピュータ２３２は、ユーザからのカメラ設定の変更の指示を待つ。そして、何らかのカメラ設定の変更の指示がなされた場合に、マイクロコンピュータ２３２は、その指示に従ってカメラ設定を変更する。このカメラ設定処理においては、例えば静止画撮影時や動画撮影時の画像の記録モードの設定、画質の設定等が変更される。また、カメラ設定処理において、特殊効果処理を実行するか否か、及び特殊効果処理を実行する際の特殊効果処理モードを設定することが可能である。さらには、カメラ設定処理において、ユーザは、被写体検出モードのオン/オフ設定が可能である。
【００５０】
ステップＳ１０４において、カメラ設定をしないと判定した場合に、マイクロコンピュータ２３２は、ユーザによって操作部２３４の動画ボタンが押されたか否かを判定する（ステップＳ１０６）。ステップＳ１０６において、動画ボタンが押されたと判定した場合に、マイクロコンピュータ２３２は、記録中フラグを反転させる（ステップＳ１０７）。即ち、マイクロコンピュータ２３２は、記録中フラグがＯｆｆの場合にはＯｎに、Ｏｎの場合にはＯｆｆにする。その後、マイクロコンピュータ２３２は、現在、動画記録中であるか否か、即ち記録中フラグがＯｎであるか否かを判定する（ステップＳ１０８）。
【００５１】
ステップＳ１０８において、記録中フラグがＯｎであると判定した場合に、マイクロコンピュータ２３２は、動画ファイルを生成する（ステップＳ１０９）。動画ファイルは、ヘッダ情報記録部と動画像記録部とを有する。ヘッダ情報部には、動画ファイル用のヘッダ情報を記録する。このヘッダ情報としては、カメラ設定情報や、動画撮影時の撮影情報（ＩＳＯ感度、絞り値、撮影日時等）、動画像データを構成する複数の記録用画像データ等を記録する。さらに、動画撮影によって得られた動画像データを示すサムネイル画像データも記録する。また、動画像記録部には、動画像データを構成する複数の記録用画像データを圧縮した状態で記録する。
【００５２】
また、ステップＳ１０８において、記録中フラグがＯｎでないと判定した場合に、マイクロコンピュータ２３２は、動画ファイルを閉じる（ステップＳ１１０）。
【００５３】
また、ステップＳ１０６において動画ボタンが押されていないと判定した場合、ステップＳ１０９において動画ファイルを生成した後、ステップＳ１１０において動画ファイルを閉じた後、マイクロコンピュータ２３２は、現在、動画記録中であるか否か、即ち記録中フラグがＯｎであるか否かを判定する（ステップＳ１１１）。ステップＳ１１１において、記録中フラグがＯｆｆであると判定した場合に、マイクロコンピュータ２３２は、ユーザによって操作部２３４のレリーズボタンが半押しされてレリーズボタンの状態がＯｆｆ状態から１ｓｔレリーズスイッチのＯｎ状態に遷移したか否かを判定する（ステップＳ１１２）。ステップＳ１１２において、レリーズボタンの状態が１ｓｔレリーズスイッチのＯｎ状態に遷移したと判定した場合に、マイクロコンピュータ２３２は、ＡＥ処理及びＡＦ処理を行う（ステップＳ１１３）。  
ＡＥ処理において、マイクロコンピュータ２３２は、ＡＥ処理部２１４によって被写体輝度を算出させる。その後、マイクロコンピュータ２３２は、ＡＥ処理部２１４によって算出された被写体輝度に応じて静止画撮影の実行時におけるＩＳＯ感度、絞り値、シャッタ速を決定する。また、後述の被写体検出処理において、特定の被写体が検出できている場合には、その被写体の輝度が適正となるようにＩＳＯ感度、絞り値、シャッタ速を決定するようにしても良い。  
ＡＦ処理において、マイクロコンピュータ２３２は、ＡＦ処理部２１６によって合焦評価値を取得させる。そして、マイクロコンピュータ２３２は、ＡＦ処理部２１６で取得された合焦評価値により、コントラストを評価しつつ、レンズ１０２のフォーカスレンズを微少量ずつ駆動させるようにマイクロコンピュータ１０８に指示する。その後、マイクロコンピュータ２３２は、コントラストが最大となった時点でフォーカスレンズの駆動を停止させるようにマイクロコンピュータ１０８に指示する。このようなＡＦ処理は、所謂コントラスト方式のＡＦ処理である。ＡＦ処理として位相差ＡＦ処理を用いるようにしても良い。また、後述の被写体検出処理において、特定の被写体が検出できている場合には、その被写体に合焦するようにフォーカスレンズを駆動させるようにしても良い。
【００５４】
ステップＳ１１３の後、マイクロコンピュータ２３２は、デジタルカメラの電源がオフされたか否かを判定する（ステップＳ１１４）。ステップＳ１１４において、デジタルカメラの電源がオフされていないと判定した場合に、マイクロコンピュータ２３２は、ステップＳ１０２以後の処理を実行する。一方、ステップＳ１１４において、デジタルカメラの電源がオフされたと判定した場合に、マイクロコンピュータ２３２は、図２の処理を終了させる。
【００５５】
また、ステップＳ１１２において、レリーズボタンの状態が１ｓｔレリーズスイッチのＯｎ状態に遷移していないと判定した場合に、マイクロコンピュータ２３２は、ユーザによって操作部２３４のレリーズボタンが全押しされてレリーズボタンの状態が２ｎｄレリーズスイッチのＯｎ状態となっているか否かを判定する（ステップＳ１１５）。
【００５６】
ステップＳ１１５において、レリーズボタンの状態が２ｎｄレリーズスイッチのＯｎ状態である場合に、マイクロコンピュータ２３２は、メカシャッタ２０２を用いた撮影処理を実行する（ステップＳ１１６）。このために、マイクロコンピュータ２３２は、ステップＳ１１３において決定したＩＳＯ感度に応じてアナログ処理部２０６におけるゲイン制御量（増幅率）を設定するとともに、ステップＳ１１３において決定した絞り値をマイクロコンピュータ１０８に送信する。その後、マイクロコンピュータ２３２は、マイクロコンピュータ１０８の制御による絞り１０４の駆動と同期して、ステップＳ１１３において決定したシャッタ速に応じてメカシャッタ２０２を動作させて撮像素子２０４の露光量を制御する。このような撮影処理により、ＲＡＷデータがＳＤＲＡＭ２１２に記憶される。
【００５７】
メカシャッタ２０２を用いた撮影処理を実行した後、マイクロコンピュータ２３２は、撮影処理によってＳＤＲＡＭ２１２に記憶されたＲＡＷデータを用いての被写体検出処理を、被写体検出部２３０に行わせる（ステップＳ１１７）。その後、マイクロコンピュータ２３２は、撮影処理によってＳＤＲＡＭ２１２に記憶されたＲＡＷデータに対する画像処理を、画像処理部２１８に実行させる（ステップＳ１１８）。これらの被写体検出処理及び画像処理の詳細については後で説明する。
【００５８】
画像処理の後、マイクロコンピュータ２３２は、画像処理の結果としてＳＤＲＡＭ２１２に記憶された記録用画像データを、設定されている静止画記録形式で静止画ファイルとして記録する処理を行う（ステップＳ１１９）。この際、例えば設定されている静止画記録形式がＪＰＥＧ形式の場合には、マイクロコンピュータ２３２は、静止画記録処理の結果としてＳＤＲＡＭ２１２に記憶された静止画像データを画像圧縮伸張部２２４に入力して静止画圧縮処理を実行するように画像圧縮伸張部２２４に指示する。この指示を受けて画像圧縮伸張部２２４は、予め設定された記録モードに対応するように静止画圧縮処理を行い、圧縮された静止画像データをＳＤＲＡＭ２１２に記憶させる。その後、マイクロコンピュータ２３２は、画像圧縮伸張部２２４により圧縮された静止画像データをＳＤＲＡＭ２１２から読み出し、読み出した静止画像データに所定のヘッダ情報を付加して静止画ファイルを作成し、作成した静止画ファイルを記録媒体２２８に記録する。静止画ファイルは、ヘッダ情報記録部と静止画像記録部とを有する。ヘッダ情報部には、静止画ファイル用のヘッダ情報を記録する。このヘッダ情報としては、カメラ設定情報や、静止画撮影時の撮影情報（ＩＳＯ感度、絞り値、撮影日時等）、被写体検出結果情報（被写体の位置、種類、大きさ、向き、被写体検出結果の信頼性等）等を記録する。さらに、静止画撮影によって得られた記録用画像データを示すサムネイル画像データも記録する。また、静止画像記録部には、静止画撮影によって得られた記録用画像データを圧縮状態で記録する。
【００５９】
また、ステップＳ１１１において記録中フラグがＯｎであると判定した場合又はステップＳ１１５においてレリーズボタンの状態が２ｎｄレリーズスイッチのＯｎ状態でないと判定した場合に、マイクロコンピュータ２３２は、ＡＥ処理を実行する（ステップＳ１２０）。このＡＥ処理は、動画撮影又はライブビュー表示のための処理である。ＡＥ処理の後、マイクロコンピュータ２３２は、電子シャッタを用いた撮影処理を実行する（ステップＳ１２１）。この撮影処理において、マイクロコンピュータ２３２は、ＡＥ処理によって決定したシャッタ速に応じて撮像素子２０４の電子シャッタ機能を動作させて撮像素子２０４の露光量を制御する。このような撮影処理により、ＲＡＷデータがＳＤＲＡＭ２１２に記憶される。
【００６０】
電子シャッタを用いた撮影処理を実行した後、マイクロコンピュータ２３２は、撮影処理によってＳＤＲＡＭ２１２に記憶されたＲＡＷデータを用いての被写体検出処理を、被写体検出部２３０に行わせる（ステップＳ１２２）。その後、マイクロコンピュータ２３２は、撮影処理によってＳＤＲＡＭ２１２に記憶されたＲＡＷデータに対する画像処理を、画像処理部２１８に実行させる（ステップＳ１２３）。これらの被写体検出処理及び画像処理の詳細については後で説明する。
【００６１】
画像処理の後、マイクロコンピュータ２３２は、ライブビュー表示を行う（ステップＳ１２４）。このライブビュー表示において、マイクロコンピュータ２３２は、画像処理の結果としてＳＤＲＡＭ２１２に記憶された表示用画像データを表示するように表示ドライバ２２０に指示する。この指示を受けて表示ドライバ２２０は、ＳＤＲＡＭ２１２から表示用画像データを読み出し、読み出した表示用画像データを映像信号に変換して表示部２２２に出力する。表示部２２２は、この映像信号に基づいて画像を再生する。このようなライブビュー表示により、ユーザは、表示部２２２を用いて構図の確認等を行うことができる。
【００６２】
また、ライブビュー表示の後、マイクロコンピュータ２３２は、現在、動画記録中であるか否か、即ち記録中フラグがＯｎであるか否かを判定する（ステップＳ１２５）。ステップＳ１２５において、記録中フラグがＯｆｆであると判定した場合に、マイクロコンピュータ２３２は、ステップＳ１１４の判定を行う。また、ステップＳ１２５において、記録中フラグがＯｎであると判定した場合に、マイクロコンピュータ２３２は、動画記録処理を実行する（ステップＳ１２６）。その後、マイクロコンピュータ２３２は、ステップＳ１１４の判定を行う。
【００６３】
図３は、被写体検出処理の第１の例を示すフローチャートである。被写体検出処理は、被写体検出部２３０によって行われる。図３において、被写体検出部２３０は、簡易画像処理部２３０１により、ＲＡＷデータから輝度データを抽出する輝度抽出処理を行う（ステップＳ２０１）。
【００６４】
図４は、輝度抽出処理の例を示す図である。ここで、図４は、ＲＡＷデータの画素配列がベイヤ配列の場合を例示している。しかしながら、ＲＡＷデータの画素配列はベイヤ配列である必要はない。
【００６５】
図４（ａ）は、ベイヤ配列のＲＡＷデータのうちのＧ（緑）成分を輝度データとみなす例である。これは、ベイヤ配列では、Ｇ成分がＲ成分及びＢ成分に比べて多く含まれており、輝度データとみなすのに適当なためである。Ｇ成分を輝度データとして抽出する場合、例えば図４（ａ）に示す太線枠で囲まれた水平２画素及び垂直２画素に隣接して配置される４画素（Ｒ、Ｇｒ、Ｇｂ、Ｂ）からなるブロック単位で輝度データを求める。輝度データは、例えば各ブロック内のＧデータの値とする。ただし、ベイヤ配列の場合、各ブロック内に２つのＧデータ（Ｇｒ、Ｇｂ）が含まれているので、以下の（式１）で示すように、ＧｒデータとＧｂデータの平均値を輝度データとする。  
Ｙ＝（Ｇｒ＋Ｇｂ）/２                                  （式１）  
ここで、（式１）のＧｒ及びＧｂは、それぞれ、対応する画素の画素値を示す。ただし、これらのＧｒデータ及びＧｂデータは、後述のＯＢ減算処理が少なくとも施されているものである。また、Ｙは、各ブロックの輝度データを示す。（式１）は、ＧｒとＧｂを用いてＹを算出したが、ＧｒとＧｂのいずれか一方をそのままＹとしても良い。
【００６６】
図４（ｂ）は、各色成分を用いて輝度データを求める例である。この場合の輝度データは、各色成分を所定の係数で重み付け混合したものとする。例えば、以下の（式２）で示すようにして輝度データを演算する。  
Ｙ＝（ｒ×Ｒ＋ｇｒ×Ｇｒ＋ｇｂ×Ｇｂ＋ｂ×Ｂ）/（ｒ＋ｇｒ＋ｇｂ＋ｂ）  
（式２）
ここで、（式２）のＲ、Ｇｒ、Ｇｂ、及びＢは、それぞれ、対応する画素の画素値を示す。また、ｒ、ｇｒ、ｇｂ、ｂは、係数である。係数は、例えばｒ＝ｇｒ＝ｇｂ＝ｂ＝1.0とする。この他、ｒ＝0.3、ｇｒ＝ｇｂ＝0.5、ｂ＝0.１のように色の明るさに応じて設定しても良い。この色の明るさに応じた係数の数値は、一例である。
【００６７】
ここで、本実施形態では、２種類の輝度抽出処理を例示しているが、輝度抽出処理は、この２種類の手法に限るものではない。本実施形態における輝度抽出処理としては、ＲＡＷデータから輝度データを抽出するための任意の手法を適用できる。
【００６８】
再び、図３の説明に戻る。輝度抽出処理の後、被写体検出部２３０は、簡易画像処理部２３０１により、輝度特性変更処理を行う（ステップＳ２０２）。
【００６９】
図５は、輝度特性変換処理の例を示す図である。輝度特性変換処理は、ＲＡＷデータから抽出された輝度データの特性を変更する処理である。図５の横軸は、輝度データの入力を示し、図５の縦軸は、輝度特性に応じて変換された輝度データの出力を示す。図５の例では、輝度データの入力をＹｉｎ、輝度データの出力をＹｏｕｔとすると、簡易画像処理部２３０１は、以下の（式３）の関数で示すようなガンマ関数によって変換する。  
Ｙｏｕｔ＝ｆ（Ｙｉｎ）                                  （式３）
ここで、図５は、３つの関数ｆを例示している。この３つの関数は、例えばＲＡＷデータの平均明るさ（Ｙｉｎの平均値）に応じて設定する。例えば、ＲＡＷデータの平均明るさが、予め定められた適正露出値である場合には、図５に示す適正露出の場合の関数を使用する。また、ＲＡＷデータの平均明るさが、予め定められた適正露出値よりも明るい場合には、図５に示す、適正露出の場合よりも輝度の変更量が抑えられたオーバー露出の場合の関数を使用する。また、ＲＡＷデータの平均明るさが、予め定められた適正露出値よりも暗い場合には、図５に示す、適正露出の場合よりも輝度の変更量が大きいアンダー露出の場合の関数を使用する。このようにしてＲＡＷデータの明るさに応じて異なる関数で輝度特性変換処理を行うことにより、ＲＡＷデータの明るさによって被写体検出処理の精度が低下することがない。
【００７０】
ここで、図５に示す３つの関数は折れ線関数ある。これは、被写体検出部２３０における被写体検出処理の場合には、画質は余り重要でなく、被写体の検出が精度良く行えるよう、画像の明るさが適正であれば良いためである。折れ線特性の場合、画質は劣化するものの簡易な演算によってＹｏｕｔを求めることが可能である。勿論、輝度特性変換処理に用いる関数は、必ずしも折れ線特性でなくとも良く、なめらかな曲線の関数であっても良い。また、図５は、適正露出値を閾値とした３つの関数を例示しているが、輝度特性変換処理に用いる関数の数は、１つ又は２つであっても、４つ以上であっても良い。さらに、輝度データに対する変換の方法は、ガンマ関数に限るものではない。例えば、以下の（式４）に示すように、Ｙinに応じてオフセットすることで変換するようにしても良い。  
Ｙｏｕｔ＝Ｙｉｎ＋ｆ（Ｙｉｎ）                                    （式４）
再び、図３の説明に戻る。輝度特性変換処理の後、被写体検出部２３０は、被写体検出モードがオンになっているか否かを判定する（ステップＳ２０３）。
【００７１】
ステップＳ２０３において、被写体検出モードがオンになっていると判定した場合に、被写体検出部２３０は、輝度特性変換処理によって得られた検出用画像データを用いて被写体検出処理のためのパターンマッチングを行う（ステップＳ２０４）。例えば、人の顔を検出する被写体検出モードがオンになっている場合には、人の顔パターンと検出用画像データとのマッチングをとり、マッチングの度合いの最も高い検出用画像データ上の位置を、顔の位置と推定する。同様に、ペットの顔を検出する被写体検出モードがオンになっている場合には、ペットの顔パターンと検出用画像データとのマッチングをとり、マッチングの度合いの最も高い検出用画像データ上の位置を、顔の位置と推定する。他の被写体の場合も、マッチングを取る際のパターンデータが異なるのみで処理の内容は同一である。
【００７２】
パターンマッチングの後、被写体検出部２３０は、パターンマッチングの結果から得られる被写体検出結果をＳＤＲＡＭ２１２に出力する（ステップ２０５）。その後、被写体検出部２３０は、図３に示す処理を終了させる。ここで、被写体検出結果は、例えば、被写体の種類を示す情報（被写体が人で個人が特定できた場合にはその人が誰かも含む）、ＲＡＷデータ上での被写体の位置、大きさ、向き等の情報、被写体検出処理の信頼性を示す情報を含む。さらに、被写体が検出できなかった場合にはその旨を示す情報をＳＤＲＡＭ２１２に出力する。また、ステップＳ２０３において、被写体検出モードがオフであると判定した場合の被写体検出結果としては、被写体を検出しなかった旨を示す情報をＳＤＲＡＭ２１２に出力する。
【００７３】
ここで、図３の例は、輝度データのみを用いて被写体検出処理を行っているが、輝度データに加えて色（色差）データを併用して被写体検出処理を行うようにしても良い。このような変形例のフローチャートを図６に示す。図６において、被写体検出部２３０は、ＲＡＷデータから輝度データと色差データの両方を抽出する（ステップＳ３０１）。色差データＣｂ、Ｃｒは、例えば以下の（式５）で示すように抽出できる。  
Ｃｂ＝Ｂ−Ｙ                                                
Ｃｒ＝Ｒ−Ｙ                                                （式５）
輝度データ及び色差データの抽出後、被写体検出部２３０は、特性変換処理を行う（ステップＳ３０２）。輝度データの特性変換処理は、図５で示した輝度特性変換処理と同様である。色差データの変換についても輝度特性変換処理と同様、抽出された色差データを、所定の変換特性に応じて変換する処理である。
【００７４】
ステップＳ３０３〜Ｓ３０５の処理は、図３と同様である。ただし、パターンマッチングの際に色差データから得られた検出用画像データも考慮する点が図３と異なる。
【００７５】
図６の処理によれば、色差データも考慮して被写体検出処理を行うことにより、輝度データだけでは検出が困難な被写体（例えば繰り返しパターンを有する被写体や、同様な形状であるが異なる色の例えば自動車のような被写体）を検出することが可能である。
【００７６】
図７は、画像処理の詳細について示したフローチャートである。図７において、画像処理部２１８は、ＯＢ減算処理部２１８１により、ＯＢ減算処理を行う（ステップＳ４０１）。ＯＢ減算処理において、ＯＢ減算処理部２１８１は、入力されたＲＡＷデータからオプティカルブラック（ＯＢ）値を減算することでＲＡＷデータにおける暗電流成分を除去する。なお、このＯＢ減算処理は、前述の輝度抽出処理でも行われる。
【００７７】
ＯＢ減算の後、画像処理部２１８は、ＷＢ補正処理部２１８２により、ＷＢ補正処理を行う（ステップＳ４０２）。ＷＢ補正処理において、ＷＢ補正処理部２１８２は、ＯＢ減算処理が施されたＲＡＷデータの色成分毎にＷＢ（ホワイトバランス）ゲインを乗じることで画像としての色バランスを補正する。
【００７８】
ＷＢ補正処理の後、画像処理部２１８は、ＲＡＷデータの形式がベイヤ形式の場合には同時化処理部２１８３により、同時化処理を行う（ステップＳ４０３）。同時化処理において、同時化処理部２１８３は、ＷＢ補正がなされたＲＡＷデータを、補間処理を用いて同時化する。これにより、１画素がＲＧＢのうちの１つの色成分を有しているＲＡＷデータを１画素がＲＧＢ３つの色成分を有するＲＧＢデータに変換する。
【００７９】
同時化処理の後、画像処理部２１８は、色再現処理部２１８４により、色再現処理を行う（ステップＳ４０４）。色再現処理において、色再現処理部２１８４は、ＲＧＢデータの各画素にカラーマトリクス係数を乗じることでＲＧＢデータの色変換をする。さらに、色再現処理部２１８４は、色変換したＲＧＢデータの色相及び彩度が適切なものとなるように補正することにより、画像の色再現を調整する。
【００８０】
色再現処理の後、画像処理部２１８は、輝度特性変換部２１８５により、輝度特性変換処理を行う（ステップＳ４０５）。
【００８１】
図８は、画像処理における輝度特性変換処理の第１の例を示す図である。図８に示す輝度特性変換処理も、被写体検出処理における輝度特性変換処理と同様の処理である。図８においても、図５と同様、ガンマ関数によって変換する。
【００８２】
ただし、画像処理における輝度特性変換処理は、再生時に画像として適切な表示がなされるようにしたり、特定の特殊効果を付加したりするために、被写体検出処理における輝度特性変換処理のような簡易な関数を用いての変換ではなく、その用途に応じた関数を用いて変換をする。
【００８３】
図８の関数Ａは、ＲＧＢデータの輝度特性変換処理に用いる関数の例であり、表示部２２２の表示特性やコントラスト等に関連している。関数Ａを用いてＲＧＢデータの特性を変換することにより、適切な輝度やコントラストで画像を表示部２２２に表示させることが可能となる。
【００８４】
関数Ｂは、特定の特殊効果を付加しない通常の輝度特性変換処理に用いる関数の例である。関数Ｂは、Ｙデータに対して使用されるものである。即ち、関数Ａを用いてＲＧＢデータの輝度特性を変換し、変換後のＲＧＢデータをＹＣデータに変換した後、関数Ｂを用いてさらにＹデータの特性を変換する。関数ＢによってＹデータの特性を変換した場合、関数Ａを用いて変換した結果の線形変換となる。
【００８５】
関数Ｃは、関数Ｂに対して高輝度側を持ち上げ、低輝度側を下げるようにした特性の関数である。関数Ｃも、Ｙデータに対して使用されるものである。即ち、関数Ａを用いてＲＧＢデータの輝度特性を変換し、変換後のＲＧＢデータをＹＣデータに変換した後、関数Ｃを用いてさらにＹデータの特性を変換する。関数ＣによってＹデータの特性を変換した場合、画像のコントラストが強調される。このような関数Ｃは、例えばトイカメラで撮影したような視覚効果を付加する特殊効果処理モードやポップ調の視覚効果を付加する特殊効果処理モードの際に用いられる。なお、関数Ｃは、Ｙデータに対して用いられる関数であるが、ＲＧＢデータに対して用いることができるように係数を変更しても良い。
【００８６】
関数Ｄは、関数Ｂに対して全体的な輝度を持ち上げるようにした特性の関数である。関数Ｄも、Ｙデータに対して使用されるものである。即ち、関数Ａを用いてＲＧＢデータの輝度特性を変換し、変換後のＲＧＢデータをＹＣデータに変換した後、関数Ｄを用いてさらにＹデータの特性を変換する。関数ＤによってＹデータの特性を変換した場合、コントラストが抑えられ、かつ明るめの画像となる。このような関数Ｄは、例えばファンタジー調の視覚効果を付加する特殊効果処理モードの際に用いられる。なお、関数Ｄは、Ｙデータに対して用いられる関数であるが、ＲＧＢデータに対して用いることができるように係数を変更しても良い。
【００８７】
ここで、図８は、４種類の関数を例示しているが、特殊効果処理モードに応じて他の特性の関数も使用され得る。また、ＩＳＯ感度に応じて図８に示した関数を補正しても良い。例えば、ＩＳＯ感度を高くした場合、画像の暗部におけるノイズが強調されるので、図８で示した特性に対し、低輝度側をより下げるようにしても良い。この他、種々の条件によって、図８で示した関数を変更したり、追加したりして良い。
【００８８】
図９は、画像処理における輝度特性変換処理の第２の例を示す図である。図９に示す輝度特性変換処理も、被写体検出処理における輝度特性変換処理と同様、各輝度データに、その輝度データの値に応じて変換する処理である。ただし、図９の例は、以下の（式６）の関数で示すような変換を行う。なお、図９の輝度特性変換処理は、例えば水彩調の視覚効果を付加する特殊効果処理モードの際に用いられる。  
Ｙｏｕｔ＝Ｙｉｎ＋ｆ（Ｙｉｎ）×補正係数１×補正係数２            （式６）
図９（ａ）は、輝度データの変換関数ｆの例を示す図である。水彩処理の場合、画像全体の輝度データが、最大輝度の近傍の値となるように変換する。したがって、輝度データの変換関数ｆは、図９（ａ）に示すように、入力される輝度データの値が大きくなるほど、出力される輝度データの値が小さくなる特性を有する。図９（ａ）の例では、輝度データの入力に対して輝度変更量（オフセット量）を線形に変化させている。勿論、必ずしも線形に変化させる必要はない。
【００８９】
図９（ｂ）は、補正係数１の例を示す図である。図９（ａ）の特性に従って輝度データを変換した場合、画像全体がほぼ真っ白になる。水彩処理の場合、色を残す必要があるので、彩度に応じた補正係数を乗じることとする。図９（ｂ）に示すように、補正係数１は、彩度データが０のときに最大値１とし、彩度データが大きくなるほどに小さくする。これにより、高彩度部分の色が再現されることとなる。
【００９０】
図９（ｃ）は、補正係数２の例を示す図である。図９（ａ）及び図９（ｂ）の特性に従って彩度データの値に応じた輝度の画像となる。ここで、Ｂ成分は、他の色成分に比べて輝度が低いので、補正係数１のみの補正では色が正しく再現されない可能性がある。そこで、Ｂ成分についての補正係数２については１よりも小さく（例えば0.5）として、青色が適切に再現されるようにする。なお、Ｂ成分についての補正係数の値は、一例であって適宜変更して良い。また、他の色相成分に対する補正係数２も１未満になるようにしても良い。
【００９１】
ここで、ＩＳＯ感度やホワイトバランスゲインに応じて図９に示した関数を補正しても良い。例えば、ＩＳＯ感度を高くした場合、画像の暗部におけるノイズが強調されるので、低輝度側（図９（ａ）における０付近）の輝度変更量をより下げるようにしても良い。また、ホワイトバランスゲインの大きな色成分については補正係数２を小さくするようにしても良い。この他、種々の条件によって図９で示した関数を変更して良い。
【００９２】
再び図７の説明に戻る。輝度特性変換処理の後、画像処理部２１８は、エッジ強調処理部２１８６により、エッジ強調処理を行う（ステップＳ４０６）。エッジ強調処理において、エッジ強調処理部２１８６は、輝度特性変換処理後のＹデータに対し、バンドパスフィルタ処理を施してエッジ成分を抽出し、抽出したエッジ成分にエッジ強調量に応じた係数を乗じる。そして、エッジ強調処理部２１８６は、係数を乗じたエッジ成分をもとのＹデータに加算することで画像のエッジ成分を強調する。
【００９３】
エッジ強調処理の後、画像処理部２１８は、ＮＲ処理部２１８７により、ノイズ低減（ＮＲ）処理を行う（ステップＳ４０７）。ノイズ低減処理において、ＮＲ処理部２１８７は、エッジ強調処理がされたＹデータを周波数分解し、周波数に応じてコアリング処理等を施して画像におけるノイズ成分を低減させる。Ｃデータに対してノイズ成分を低減させても良い。ノイズ低減処理後のデータは、記録形式がＴＩＦＦ形式の場合には所定のマトリクス演算を行って再度ＲＧＢ形式に変換する。
【００９４】
ノイズ低減処理の後、画像処理部２１８は、シェーディング効果を付加するか否かを判定する（ステップＳ４０８）。例えばトイカメラで撮影したような視覚効果を付加する特殊効果処理モードが設定されている場合には、シェーディング効果を付加すると判定する。
【００９５】
ステップＳ４０８において、シェーディング効果を付加しないと判定した場合に、画像処理部２１８は、ステップＳ４０９の処理をスキップする。また、ステップＳ４０８において、シェーディング効果を付加すると判定した場合に、画像処理部２１８は、特殊効果処理部２１８８により、ＹＣデータにシェーディング効果を付加する（ステップＳ４０９）。この処理において、特殊効果処理部２１８８は、シェーディングを付加する領域の中心位置からの距離に応じて徐々に輝度の値が低下するようなゲインマップを生成し、各画素にその画素の値に応じたゲインを乗じる。なお、ゲインの値は最大値が１である。このような処理により、画像にシェーディング効果が付加される。
【００９６】
続いて、画像処理部２１８は、ソフトフォーカス効果を付加するか否かを判定する（ステップＳ４０９）。例えばファンタジー調の視覚効果を付加する特殊効果処理モードが設定されている場合には、ソフトフォーカス効果を付加すると判定する。
【００９７】
ステップＳ４０９において、ソフトフォーカス効果を付加しないと判定した場合に、画像処理部２１８は、ステップＳ４１０の処理をスキップする。また、ステップＳ４０９において、ソフトフォーカス効果を付加すると判定した場合に、画像処理部２１８は、特殊効果処理部２１８８により、ＹＣデータにソフトフォーカス効果を付加する（ステップＳ４１０）。この処理において、特殊効果処理部２１８８は、ＹＣデータに対してローパスフィルタ処理を施して画像をぼかし、ぼかし後のＹＣデータとぼかし前のＹＣデータとを所定の割合（例えば、ぼかし後：ぼかし前＝２：３）で合成する。このような処理により、画像にソフトフォーカス効果が付加される。ソフトフォーカス効果を付加した後、画像処理部２１８は、図７の処理を終了させる。
【００９８】
なお、図７の例では、輝度変更処理、シェーディング効果付加、ソフトフォーカス効果付加といった特殊効果処理を例示しているが、ノイズの重畳や、クロスフィルタ効果、周辺や上下左右等のぼかし処理、周辺の輝度持ち上げ等、これら以外の特殊効果処理を行うようにしても良い。また、図７の処理の順番は、一例であって適宜変更可能である。例えば、ＷＢ補正処理の前に同時化処理を行っても良い。
【００９９】
以上説明したように、本実施形態によれば、画像処理部２１８と簡易画像処理部２３０１という２種類の画像処理部を設けるようにしている。これにより、記録用や表示用の画像処理と被写体検出用の画像処理との並列処理が可能である。したがって、例えば特殊効果処理を施した画像のライブビュー表示中に被写体検出処理を行うような場合であっても、画像の明るさが適正となっている検出用画像データを用いて被写体検出処理を行うことができ、結果として被写体検出処理の精度を維持することができる。また、ＲＡＷデータの明るさが適正でなかったり、露出補正が行われている場合であっても、簡易画像処理部２３０１による輝度特性変換処理により、ＲＡＷデータの明るさを適正にしてから被写体検出処理を行うことができ、結果として安定な被写体検出処理を行うことが可能である。
【０１００】
また、簡易画像処理部２３０１は、被写体検出処理に必要な最低限の処理が行えれば良く、画像処理部２１８に比べて構成を簡略化できる。即ち、簡易画像処理部２３０１を搭載することによる回路規模の増大は少ないと考えられる。なお、簡易画像処理部２３０１は、ＯＢ減算処理と輝度特性変換処理とが実行できれば良いが、回路規模の許す限りで他の処理を実行できるようにしても良い。例えば、輝度抽出処理においてＧ成分以外を輝度データとして抽出する場合、ＷＢ補正処理によってＲ成分又はＢ成分を増幅するようにしても良い。
【０１０１】
また、縮小したＲＡＷデータを用いて被写体検出処理を行うようにしても良い。図１０は、このような変形例の撮像装置の一例としてのデジタルカメラの構成を示すブロック図である。図１０に示すように、この変形例のデジタルカメラ１においては、Ａ/Ｄ変換部２０８の出力が２つに分岐されている。そして、分岐した出力のうちの一方がバス２１０に接続され、他方がリサイズ処理部２３８に接続されている。リサイズ処理部２３８は、Ａ/Ｄ変換部２０８から出力されるＲＡＷデータを、記録用画像データのサイズよりも縮小する。被写体検出部２３０は、リサイズ処理部２３８で縮小されたＲＡＷデータを用いて被写体検出処理を行う。これにより、処理の負荷を軽減することが可能である。
【０１０２】
さらに、上述した実施形態における画像処理装置による各処理の手法、即ち、各フローチャートに示す処理は、何れもマイクロコンピュータ２３２に実行させることができるプログラムとして記憶させておくこともできる。この他、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、マイクロコンピュータ２３２は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。
【０１０３】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。
【０１０４】
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【符号の説明】
【０１０５】
１…デジタルカメラ、１００…交換式レンズ、１０２…レンズ、１０４…絞り、１０６…ドライバ、１０８…マイクロコンピュータ、１１０…Ｆｌａｓｈメモリ、１１２…インターフェイス（Ｉ/Ｆ）、２００…カメラ本体、２０２…メカシャッタ、２０４…撮像素子、２０６…アナログ処理部、２０８…アナログ/デジタル（Ａ/Ｄ）変換部、２１０…バス、２１２…ＳＤＲＡＭ、２１４…ＡＥ処理部、２１６…ＡＦ処理部、２１８…画像処理部、２２０…表示ドライバ、２２２…表示部、２２４…画像圧縮伸張部、２２６…メモリインターフェイス（Ｉ/Ｆ）、２２８…記録媒体、２３０…被写体検出部、２３２…マイクロコンピュータ、２３４…操作部、２３６…メモリ、２３８…リサイズ処理部、２１８１…オプティカルブラック（ＯＢ）減算処理部、２１８２…ホワイトバランス（ＷＢ）補正処理部、２１８３…同時化処理部、２１８４…色再現処理部、２１８５…輝度特性変換部、２１８６…エッジ強調処理部、２１８７…ノイズ低減（ＮＲ）処理部、２１８８…特殊効果処理部、２３０１…簡易画像処理部、２３０２…特徴量検出部
【図１】
2014011767.tif 000003
【図２】
2014011767.tif 000004
【図３】
2014011767.tif 000005
【図４】
2014011767.tif 000006
【図５】
2014011767.tif 000007
【図６】
2014011767.tif 000008
【図７】
2014011767.tif 000009
【図８】
2014011767.tif 000010
【図９】
2014011767.tif 000011
【図１０】
2014011767.tif 000012