(57)【要約】【課題】  本発明の目的は、撮影シーンに依らずに高精度な背景分離を可能とする撮像装置を提供することである。【解決手段】  本発明の撮像装置（１１〜２５）は、本撮影の前後の少なくとも一方のタイミングで、本撮影とは被写体の照明強度の異なる予備撮影を少なくとも１回行うと共に、本撮影で取得した本撮影画像と予備撮影で取得した予備画像との輝度または複数枚の予備画像の輝度に基づいて、本撮影画像から被写体と非被写体とを分離するための情報を取得する撮像装置であり、制御手段（１９）を備える。制御手段（１９）は、本撮影の撮影シーン又は撮影モードの種類に応じて、本撮影画像および予備画像を取得するまでの一連の撮影シーケンスを変更する。【選択図】  図１
2008278448.tif 000002
【特許請求の範囲】
【請求項１】
本撮影の前後の少なくとも一方のタイミングで、前記本撮影とは被写体の照明強度の異なる予備撮影を少なくとも１回行うと共に、前記本撮影で取得した本撮影画像と前記予備撮影で取得した予備画像との輝度または複数枚の前記予備画像の輝度に基づいて、前記本撮影画像から被写体と非被写体とを分離するための情報を取得する撮像装置であって、
前記本撮影の撮影シーン又は撮影モードの種類に応じて、前記本撮影画像および前記予備画像を取得するまでの一連の撮影シーケンスを変更する制御手段を備える
ことを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記制御手段は、前記本撮影の撮影シーンを自動的に判別する
ことを特徴とする撮像装置。
【請求項３】
請求項２に記載の撮像装置において、
前記制御手段は、前記本撮影の撮影シーンの明るさに応じて、前記本撮影における前記照明強度と前記予備撮影における前記照明強度との強弱の関係を反転させる
ことを特徴とする撮像装置。
【請求項４】
請求項１ないし請求項３の何れか一項に記載の撮像装置において、
前記制御手段は、前記本撮影の撮影シーンが逆光撮影である場合には、前記本撮影における前記照明強度を前記予備撮影における前記照明強度よりも高く設定する
ことを特徴とする撮像装置。
【請求項５】
請求項１ないし請求項４の何れか一項に記載の撮像装置において、
前記制御手段は、前記本撮影の撮影シーンが暗い場合には、前記本撮影における前記照明強度を前記予備撮影における前記照明強度よりも高く設定し、かつ前記予備画像のノイズを低減する処理を前記撮影シーケンスに加える
ことを特徴とする撮像装置。
【請求項６】
請求項５に記載の撮像装置において、
前記予備撮影は、少なくとも２回行われ、前記ノイズを低減する処理は、前記予備撮影で取得した少なくとも２つの前記予備画像を用いて行うノイズ低減処理である
ことを特徴とする撮像装置。
【請求項７】
請求項５に記載の撮像装置において、
前記ノイズを低減する処理は、前記予備撮影において撮像素子からの画素加算処理出力値を用いて前記予備画像を取得する処理である
ことを特徴とする撮像装置。
【請求項８】
請求項５に記載の撮像装置において、
前記ノイズを低減する処理は、前記予備撮影における撮影感度を、自動露出により同じ撮影シーンに対して設定される感度よりも低く設定する処理である
ことを特徴とする撮像装置。
【請求項９】
請求項５に記載の撮像装置において、
前記ノイズを低減する処理は、前記予備撮影における前記照明強度を０（ゼロ）よりも大きな値に設定する処理である
ことを特徴とする撮像装置。
【請求項１０】
請求項１ないし請求項９の何れか一項に記載の撮像装置において、
前記取得された情報に基づいて前記本撮影画像から前記被写体と前記非被写体とを分離すると共に、前記被写体と前記非被写体との何れか一方または双方に対して異なる画像処理を施す画像処理手段を更に備える
ことを特徴とする撮像装置。
【請求項１１】
請求項１０に記載の撮像装置において、
前記画像処理として、ボカシ処理を少なくとも前記非被写体に対して施す
ことを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影で取得した画像から被写体と背景とを分離するための機能を有した撮像装置に関する。以下、画像から被写体と背景とを分離することを「背景分離」と称す。
【背景技術】
【０００２】
背景分離の技術が従来から数多く提案されている。従来技術の一例として、例えば特許文献１には、ストロボ撮影と非ストロボ撮影とを連続して行い、取得した２つの画像の中から輝度の相異する領域を被写体の領域として抽出する技術が開示されている。
【特許文献１】特開平１０−２１０３４０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来技術では、撮影シーンによっては被写体の領域を正しく抽出できないことがあった。
【０００４】
本発明は、上記従来技術の課題を解決するためのものである。本発明の目的は、撮影シーンに依らずに高精度な背景分離を可能とする撮像装置を提供することである。
【課題を解決するための手段】
【０００５】
第１の発明の撮像装置は、本撮影の前後の少なくとも一方のタイミングで、本撮影とは被写体の照明強度の異なる予備撮影を少なくとも１回行うと共に、本撮影で取得した本撮影画像と予備撮影で取得した予備画像との輝度または複数枚の予備画像の輝度に基づいて、本撮影画像から被写体と非被写体とを分離するための情報を取得する撮像装置であり、制御手段を備える。制御手段は、本撮影の撮影シーン又は撮影モードの種類に応じて、本撮影画像および予備画像を取得するまでの一連の撮影シーケンスを変更する。
【０００６】
第２の発明は、第１の発明において、制御手段が、本撮影の撮影シーンを自動的に判別する。
【０００７】
第３の発明は、第２の発明において、制御手段が、本撮影の撮影シーンの明るさに応じて、本撮影における照明強度と予備撮影における照明強度との強弱の関係を反転させる。
【０００８】
第４の発明は、第１〜第３の発明の何れか一の発明において、制御手段が、本撮影の撮影シーンが逆光撮影である場合に、本撮影における照明強度を予備撮影における照明強度よりも高く設定する。
【０００９】
第５の発明は、第１〜第４の発明の何れか一の発明において、制御手段が、本撮影の撮影シーンが暗い場合に、本撮影における照明強度を予備撮影における照明強度よりも高く設定し、かつ予備画像のノイズを低減する処理を撮影シーケンスに加える。
【００１０】
第６の発明は、第５の発明において、予備撮影が少なくとも２回行われ、ノイズを低減する処理として、予備撮影で取得した少なくとも２つの予備画像を用いて行うノイズ低減処理を撮影シーケンスに加える。
【００１１】
第７の発明は、第５の発明において、ノイズを低減する処理として、前記予備撮影において、撮像素子からの画素加算処理出力値を用いて前記予備画像を取得する処理を撮影シーケンスに加える。
【００１２】
第８の発明は、第５の発明において、ノイズを低減する処理として、予備撮影における撮影感度を、自動露出により同じ撮影シーンに対して設定される感度よりも低く設定する処理を撮影シーケンスに加える。
【００１３】
第９の発明は、第５の発明において、ノイズを低減する処理として、予備撮影における照明強度を０（ゼロ）よりも大きな値に設定する処理を撮影シーケンスに加える。
【００１４】
第１０の発明は、第１〜第９の発明の何れか一の発明において、画像処理手段を更に備える。画像処理手段は、取得された情報に基づいて本撮影画像から被写体と非被写体とを分離すると共に、被写体と非被写体との何れか一方または双方に対して異なる画像処理を施す。
【００１５】
第１１の発明は、第１０の発明において、画像処理として、ボカシ処理を少なくとも非被写体に対して施す。
【発明の効果】
【００１６】
本発明では、本撮影の撮影シーン又は撮影モードの種類に応じて撮影シーケンスが変更されるので、本発明を利用すれば背景分離を行うのに最適な本撮影画像と予備画像とを取得することができる。従って、撮影シーンに依らない高精度な背景分離が可能になる。
【発明を実施するための最良の形態】
【００１７】
（第１実施形態の説明）
以下、第１実施形態の電子カメラについて説明する。
【００１８】
図１は、本発明の撮像装置を適用した電子カメラのブロック図である。
【００１９】
電子カメラは、撮像レンズ１１およびレンズ駆動部１２と、撮像素子１３と、信号処理部１４と、タイミングジェネレータ（ＴＧ）１５と、バッファメモリ１６と、データ処理部１７と、圧縮／復号部１８と、制御部１９と、測光部２０と、モニタ２１と、記録媒体２２と、発光部２３と、操作部２４と、バス２５とを有している。ここで、バッファメモリ１６、データ処理部１７、圧縮／復号部１８、制御部１９、測光部２０、モニタ２１、記録媒体２２は、バス２５を介して接続されている。また、レンズ駆動部１２、信号処理部１４、ＴＧ１５、発光部２３、操作部２４は、それぞれ制御部１９に接続されている。
【００２０】
撮像レンズ１１は、フォーカスレンズやズームレンズを含む複数のレンズ群で構成されている。なお、簡単のため、図１では撮像レンズ１１を１枚のレンズとして図示している。
【００２１】
レンズ駆動部１２は、制御部１９の指示に応じてレンズ駆動信号を発生し、撮像レンズ１１を光軸方向に移動させてフォーカス調整やズーム調整を行うと共に、撮像レンズ１１を通過した光束による被写体像を撮像素子１３の受光面に形成する。
【００２２】
撮像素子１３は、ＣＣＤ型やＣＭＯＳ型の撮像素子であり、撮像レンズ１１の像空間側に配置されている。撮像素子１３は、受光面に形成された被写体像を光電変換してアナログ画像信号を生成する。この撮像素子１３の出力は信号処理部１４に接続されている。
【００２３】
信号処理部１４は、制御部１９の指示に応じて、撮像素子１３から出力されたアナログ画像信号に対し、ＣＤＳ（相関二重サンプリング）、ゲイン調整、Ａ／Ｄ変換、ホワイトバランス調整、色分離（補間）およびガンマ変換などの信号処理を施すと共に、処理後の画像信号を出力する。また、信号処理部１４は、制御部１９の指示に基づいてゲイン調整の調整量を設定し、それによってＩＳＯ感度に相当する撮影感度の調整を行う。なお、信号処理部１４の出力はバッファメモリ１６に接続されている。
【００２４】
ＴＧ１５は、制御部１９の指示に基づき撮像素子１３および信号処理部１４に対してタイミングパルスを供給する。撮像素子１３および信号処理部１４の駆動タイミングはそのタイミングパルスによって制御される。
【００２５】
バッファメモリ１６は、信号処理部１４から出力される画像信号を画像データとして一時的に記憶する。また、バッファメモリ１６は、制御部１９による処理の過程で作成された画像データを一時的に記憶する。
【００２６】
データ処理部１７は、制御部１９の指示に応じて、画像データにボカシ処理等の画像処理を施す。
【００２７】
圧縮／復号部１８は、制御部１９の指示に応じて、画像データに圧縮処理を施す。なお、圧縮処理は、ＪＰＥＧ（Joint Photographic Experts Group）形式などによって行われる。
【００２８】
測光部２０は、制御部１９の指示に応じて、バッファメモリ１６に記録された画像データに基づいて、多分割測光（マルチパターン測光）、中央部重点測光、スポット測光などの公知の測光方式により被写体や撮影シーン全体の明るさや撮影シーンの明るさ分布を示す評価値を算出する。
【００２９】
モニタ２１は、電子カメラ筐体の背面などに設けられたＬＣＤモニタや、接眼部を備えた電子ファインダなどであり、制御部１９の指示に応じて各種の画像を表示する。
【００３０】
記録媒体２２には、制御部１９によって、圧縮処理後の画像データが記録される。なお、記録媒体２２は、半導体メモリを内蔵したメモリカードや、小型のハードディスクなどである。
【００３１】
発光部２３は、制御部１９の指示に基づき、電子カメラ筐体に設けられたエレクトロニックフラッシュ等を駆動して、被写体を照明するためのストロボ光を被写界に向けて発光する。
【００３２】
操作部２４は、レリーズ釦、ズーム操作釦などの操作部材を含み、ユーザーによる部材操作の内容に応じた操作信号を制御部１９に送る。
【００３３】
制御部１９は、操作部２４から送られた操作信号に応じて電子カメラの各部を統括制御する。例えば、制御部１９は、操作部２４のレリーズ釦の半押し操作信号を受けると、撮影に先立ち、レンズ駆動部１２と協働して撮像レンズ１１の焦点調節制御（ＡＦ）を行う。また制御部１９は、測光部２０を駆動させて撮影シーンの評価値を算出させ、その評価値に基づき信号処理部１４などの設定内容を調節して露出制御を行う。
【００３４】
撮影時、制御部１９は、測光部２０が算出した評価値に基づき撮影条件（ストロボ発光の有無、絞り値、シャッタースピード）を決定すると共に、レンズ駆動部１２、信号処理部１４、ＴＧ１５、発光部２３に対して、決定した撮影条件を設定させ、その設定下でレンズ駆動部１２およびＴＧ１５を駆動させて撮影を行う。撮影された画像の画像データは、信号処理部１４を介してバッファメモリ１６へ記録される。制御部１９は、データ処理部１７および圧縮／復号部１８を駆動させて、バッファメモリ１６に記録された画像の画像データに対し画像処理および圧縮処理を施すと共に、それら処理後の画像データを記録媒体２２へ記録する。
【００３５】
以下、第１実施形態の電子カメラの背景分離の動作を、図２の流れ図を参照して説明する。図２のフローは、例えば、電子カメラの動作状態が背景分離用の状態の時に実行される。
【００３６】
（撮影シーンが明るい順光撮影である場合のフローの説明）
先ず、撮影シーンが明るく、かつ順光撮影である場合（被写体および背景が共に明るい場合）の動作を説明する。図２では、ステップ１０１（Ｓ１０１）〜ステップ１０９（Ｓ１０９）のフローがこれに当る。
【００３７】
ステップ１０１：ユーザーが操作部２４のレリーズ釦を半押しすると、操作部２４が半押し操作信号を制御部１９に送る。制御部１９は、この半押し操作信号を受けると、撮影に先立ち、その時点で測光部２０が算出した評価値に基づき撮影シーンが明るいか否かを判定する。撮影シーンが明るい場合（Ｙｅｓ側）には、制御部１９はステップ１０２に移行し、一方、撮影シーンが暗い場合（Ｎｏ側）には、制御部１９はステップ１１３に移行する。撮影シーンが明るいか否かは、撮影にストロボ発光が必要となるか否かにより判定する。測光部２０が算出した評価値から撮影にストロボ発光が不要と判断される場合には、制御部１９は、撮影シーンを明るいシーンと判定する。一方、ストロボ発光が必要と判断される場合には、制御部１９は、撮影シーンを暗いシーンと判定する。
【００３８】
ステップ１０２：制御部１９は、測光部２０が算出した評価値に基づいて撮影シーンが逆光撮影であるか否かを判定する。逆光撮影ではない場合（Ｎｏ側）には、制御部１９はステップ１０３に移行する。逆光撮影の場合（Ｙｅｓ側）には、制御部１９はステップ１１０に移行する。
【００３９】
ステップ１０３：制御部１９は、現在の撮影シーンが順光撮影であるとの前提で適正な撮影条件を決定する。順光撮影ではストロボ発光は”無し”に決定する。例えば、晴れた日の屋外での順光撮影の場合は、制御部１９は、電子カメラの撮影感度がＩＳＯ１００であれば、撮影条件を「ストロボ発光は”無し”、絞り値は”Ｆ８”、シャッタースピードは”１／２５０秒”」に決定する。
【００４０】
ステップ１０４：ユーザーが、操作部２４のレリーズ釦を、上記ステップ１０１での半押しに続けて全押しすると、操作部２４が全押し操作信号を制御部１９に送る。制御部１９は、この全押し操作信号を受けると、上記ステップ１０３において決定した撮影条件に基づいて予備撮影を実施する。本実施形態では、この予備撮影において、スルー画像を取得する。ここでスルー画像とは、撮像素子の特定の使い方によって得られる画像である。スルー画像は、本撮影時に取得される画像に比べて解像度が低いが、撮像素子からの読み出しが短時間で行えるので、撮影するシーンの情報を略リアルタイムに取得するのに適している。但し、この予備撮影では、ステップ１０３で決定した撮影条件のうち「ストロボ発光”無し”」の条件のみを不採用とし、発光部２３を駆動させて強制的にストロボ光を発光させる。この予備撮影で取得された画像の画像データは、バッファメモリ１６に記録される。以下、予備撮影で取得された画像の画像データを「予備画像」と称す。
【００４１】
ステップ１０５：制御部１９は、上記ステップ１０３において決定した撮影条件の下で本撮影を実施する。この本撮影で取得された画像の画像データは、バッファメモリ１６の予備画像とは別の領域に記録される。以下、本撮影で取得された画像の画像データを「本撮影画像」と称す。
【００４２】
ステップ１０６：制御部１９は、バッファメモリ１６に記録されている予備画像と本撮影画像の輝度比較を行い、画像間の輝度値の相異量が所定の閾値を超える領域を被写体領域として抽出し、バッファメモリ１６の本撮影画像から被写体と背景を分離する。ここで、予備画像（スルー画像）と本撮影画像は解像度が異なるため、解像度変換処理により両画像の解像度を揃えた後に、両画像の対応する部分の輝度比較を行う。例えば、予備画像の解像度に合わせて本撮影画像の画像サイズを縮小し、予備画像と縮小サイズの本撮影画像を用いて輝度比較を行い、一旦低解像度で被写体と背景の分離情報を作成した後、作成された分離情報を本撮影画像の解像度に再変換する。そして再変換された分離情報を用いて本撮影画像の被写体と背景を分離する。
【００４３】
ステップ１０７：制御部１９は、上記ステップ１０６で分離した被写体と背景との何れか一方または双方に対して画像処理を施させるためにデータ処理部１７を駆動させる。データ処理部１７は、制御部１９からの指示により、背景に対してボカシ処理を施す。ここで、ボカシ処理は、例えば、点拡がり関数のフィルタ演算（畳み込み演算）によって行えるほか、平均化フィルタやガウシアンフィルタなど種々のデジタルフィルタを用いても行える。なお、データ処理部１７は、ボカシ処理が終了すると、制御部１９に割り込み信号を送って画像処理が終了したことを通知する。
【００４４】
ステップ１０８：制御部１９は、データ処理部１７から画像処理の終了通知を受けた後、画像処理後の画像をモニタ２１に表示させる。
【００４５】
ステップ１０９：制御部１９は、圧縮／復号部１８を駆動して、画像処理後の画像に対して圧縮処理を施させると共に、圧縮された画像を記録媒体２２に記録する。
【００４６】
（撮影シーンが逆光撮影である場合のフローの説明）
次に、撮影シーンが逆光撮影である場合（背景は明るいが被写体は暗い場合）の動作を説明する。図２では、ステップ１０１、ステップ１０２、ステップ１１０〜ステップ１１２およびステップ１０６〜ステップ１０９のフローがこれに当たる。なお、ステップ１１０〜ステップ１１２以外のフローについては、前記の撮影シーンが明るい順光撮影である場合のフローと同一であるため説明を省略する。
【００４７】
ステップ１１０：制御部１９は、現在の撮影シーンが逆光撮影であるとの前提で適正な撮影条件を決定する。逆光撮影ではストロボ発光は”有り”に決定する。例えば、晴れた日の屋外での逆光撮影の場合は、制御部１９は、電子カメラの撮影感度がＩＳＯ１００であれば、撮影条件を「ストロボ発光は”有り”、絞り値は”Ｆ８”、シャッタースピードは”１／２５０秒”」に決定する。この撮影条件は「日中シンクロ」などとも呼ばれる。
【００４８】
ステップ１１１：ユーザーが、操作部２４のレリーズ釦を、上記ステップ１０１での半押しに続けて全押しすると、操作部２４が全押し操作信号を制御部１９に送る。制御部１９は、この全押し操作信号を受けると、上記ステップ１１０において決定した撮影条件に基づいて予備撮影を実施する。但し、この予備撮影では、ステップ１１０で決定した撮影条件のうち「ストロボ発光”有り”」の条件のみを不採用とし、ストロボ光の発光を強制的に禁止させる。この予備撮影で取得された予備画像は、バッファメモリ１６に記録される。
【００４９】
ステップ１１２：制御部１９は、上記ステップ１１０において決定した撮影条件の下で本撮影を実施する。この本撮影で取得された本撮影画像は、バッファメモリ１６の予備画像とは別の領域に記録される。
【００５０】
（撮影シーンが暗い場合のフローの説明）
次に、撮影シーンが暗い場合（被写体および背景が共に暗い場合）の動作を説明する。図２では、ステップ１０１、ステップ１１３〜ステップ１１６およびステップ１０６〜ステップ１０９のフローがこれに当たる。なお、ステップ１１３〜ステップ１１６以外のフローについては、前記の撮影シーンが明るい順光撮影である場合のフローと同一であるため説明を省略する。また、特に、以下のステップ１１４およびステップ１１５では、予備画像のノイズを低減する処理である「複数枚の予備画像を用いたノイズ低減処理」について説明する。
【００５１】
ステップ１１３：制御部１９は、現在の撮影シーンが暗い場面であるとの前提で適正な撮影条件を決定する。暗い撮影シーンではストロボ発光は”有り”に決定する。例えば、暗い室内の撮影の場合には、制御部１９は、電子カメラの撮影感度がＩＳＯ１００であれば、撮影条件を「ストロボ発光は”有り”、絞り値は”Ｆ２．８”、シャッタースピードは”１／３０秒”」に決定する。
【００５２】
ステップ１１４：ユーザーが、操作部２４のレリーズ釦を、上記ステップ１０１での半押しに続けて全押しすると、操作部２４が全押し操作信号を制御部１９に送る。制御部１９は、この全押し操作信号を受けると、上記ステップ１１３において決定した撮影条件に基づいて予備撮影を実施する。但し、この予備撮影では、ステップ１１３で決定した撮影条件のうち「ストロボ発光”有り”」の条件のみを不採用とし、ストロボ光の発光を強制的に禁止させると共に、この予備撮影を複数回連続して実施する。この予備撮影で取得された複数枚の予備画像は、バッファメモリ１６に記録される。
【００５３】
ステップ１１５：制御部１９は、複数回の予備撮影で取得されたバッファメモリ１６の複数枚の予備画像を平均化してノイズの低減された１枚の画像を作成する。そして、制御部１９は、この画像を背景分離に使用する予備画像として改めてバッファメモリ１６に記録する。なお、このような画像は、複数枚の予備画像の輝度成分を平均化する事で作成されるが、ＲＧＢやＬａｂ等で表される各成分を個別に平均化して作成してもよい。
【００５４】
ステップ１１６：制御部１９は、上記ステップ１１３において決定した撮影条件の下で本撮影を実施する。この本撮影で取得された本撮影画像は、バッファメモリ１６の予備画像とは別の領域に記録される。
【００５５】
以上、撮影シーンが暗い場合のフローを説明した。
【００５６】
一般に、暗い撮影シーンでストロボ光を発光せずに予備画像を撮影すると、そのＳ／Ｎ比が悪くなるため、上記ステップ１０６での輝度比較が正確にできなくなり、結果として被写体と背景の分離精度が低下する。従って、一例として上記ステップ１１４およびステップ１１５に示したような予備画像のノイズ低減処理を施すことにより、高精度な背景分離を実現することができる。
【００５７】
（第１実施形態の作用効果）
以上、第１実施形態の電子カメラでは、本撮影の撮影条件は、撮影シーンにとって最適なものに設定され、予備撮影の撮影条件は、本撮影と同じ撮影条件において被写体の照明強度を変えたものに設定される。この場合、予備画像の被写体輝度は、本撮影画像の被写体輝度とは確実に異なるものとなる。このような予備画像は、背景分離を行うのに適した良好な予備画像である。
【００５８】
例えば、第１実施形態の電子カメラは、撮影シーンが明るい順光撮影の場合、本撮影においてストロボ光の発光を禁止し、予備撮影においてストロボ光を発光する一方で、撮影シーンが逆光撮影の場合や暗いシーンの場合、本撮影においてストロボ光を発光し、予備撮影においてストロボ光の発光を禁止する。さらに、予備画像のノイズが多くなり易い暗いシーンでは、そのノイズを低減するための処理を撮影シーケンスに加える。
【００５９】
したがって、撮影シーンに依らず、背景分離に適した良好な予備画像と、撮影シーンにとって最適な本撮影画像を確実に得ることができ、高精度な背景分離が実現可能となる。
【００６０】
（第２実施形態の説明）
次に、第２実施形態の電子カメラについて説明する。なお、以下の説明では、第１実施形態と共通する電子カメラの構成要素については同一符号を付して重複説明を省略する。
【００６１】
第１実施形態の電子カメラでは、撮影シーンを評価値に基づき自動的に判別して背景分離を実施したが、第２実施形態の電子カメラでは、ユーザーが選択したシーンモードの種類に基づき撮影シーンを判別して背景分離を実施する。この背景分離の動作を、図３の流れ図を参照して説明する。なお、シーンモードとは、露出やカラー設定など、撮影のための各種条件（撮影条件）が各撮影シーンに合わせて予め最適な内容に決定されている撮影モードのことである。その代表的なものには、ポートレートモード，クローズアップモード，夜景ポートレートモード，逆光モード，風景モード，夜景モードなどがある。
【００６２】
ステップ２０１：ユーザーが、操作部２４のレリーズ釦を全押しすると、操作部２４が全押し操作信号を制御部１９に送る。制御部１９は、この全押し操作信号を受けると、電子カメラの動作状態が背景分離用の状態となっているか否かを判定する。ここで、背景分離用の状態の設定は、例えば撮影に先立って、ユーザーが不図示の設定画面操作やキー操作を行うことによりなされる。制御部１９は、背景分離用の状態となっている場合（Ｙｅｓ側）にはステップ２０２に移行する。一方、背景分離用の状態になっていない場合（Ｎｏ側）には、制御部１９は、以下の背景分離の処理を行わずに終了する。
【００６３】
ステップ２０２：制御部１９は、ユーザーによりシーンモードが選択されているか否かを判定する。シーンモードが選択されている場合（Ｙｅｓ側）には、制御部１９はステップ２０３に移行する。一方、シーンモードが選択されていない場合（Ｎｏ側）には、制御部１９はステップ２１６に移行する。
【００６４】
ステップ２０３：制御部１９は、選択されたシーンモードが「ポートレートモード」または「クローズアップモード」であるか否かを判定する。これらのモードである場合（Ｙｅｓ側）には、制御部１９はステップ２０４に移行する。一方、これら以外のモードである場合（Ｎｏ側）には、制御部１９はステップ２０８に移行する。
【００６５】
ステップ２０４：制御部１９は、「ポートレートモード」用または「クローズアップモード」用として予め決定された撮影条件に基づいて予備撮影（スルー画撮影）を実施する。但し、この予備撮影では、その予め決定された撮影条件のうち、ストロボ発光条件のみを変更する。具体的には、発光部２３を駆動させてストロボ光を強制発光させる。この予備撮影で取得された予備画像の画像データは、バッファメモリ１６に記録される。
【００６６】
ステップ２０５：制御部１９は、「ポートレートモード」用または「クローズアップモード」用として予め決定された撮影条件の下で本撮影を実施する。なお、この本撮影ではストロボ光は発光されない。また、この本撮影で取得された本撮影画像の画像データは、バッファメモリ１６の予備画像とは別の領域に記録される。
【００６７】
ステップ２０６：制御部１９は、バッファメモリ１６の予備画像と本撮影画像の輝度比較を行い、画像間の輝度値の相異量が所定の閾値を超える領域を被写体領域として抽出し、被写体と背景とを分離するための分離情報を作成する。ここで、予備画像（スルー画像）と本撮影画像は解像度が異なるため、第１実施形態のステップ１０６と同様に、解像度変換処理により両画像の解像度を揃えた後に、両画像の対応する部分の輝度比較を行い、被写体と背景の分離情報を作成する。
【００６８】
ステップ２０７：制御部１９は、上記ステップ２０６で作成した分離情報をバッファメモリ１６の本撮影画像とともに記録媒体２２に記録する。そして、それらの記録が終わると、制御部１９は背景分離の処理を終了する。
【００６９】
ステップ２０８：制御部１９は、選択されたシーンモードが「夜景ポートレートモード」であるか否かを判定する。同モードである場合（Ｙｅｓ側）には、制御部１９はステップ２０９に移行する。一方、同モードではない場合（Ｎｏ側）には、制御部１９はステップ２１２に移行する。
【００７０】
ステップ２０９：制御部１９は、「夜景ポートレートモード」用として予め決定された撮影条件に基づいて予備撮影を実施する。但し、この予備撮影では、その予め決定された撮影条件のうち「ストロボ発光”有り”」の条件のみを不採用とし、ストロボ光の発光を強制的に禁止させると共に、この予備撮影を複数回連続して実施する。この予備撮影で取得された複数枚の予備画像は、バッファメモリ１６に記録される。
【００７１】
ステップ２１０：制御部１９は、複数回の予備撮影で取得されたバッファメモリ１６の複数枚の予備画像を平均化してノイズの低減された１枚の画像を作成する。そして、制御部１９は、この画像を背景分離に使用する予備画像として改めてバッファメモリ１６に記録する。なお、このような画像は、複数枚の予備画像の輝度成分を平均化する事で作成されるが、ＲＧＢやＬａｂ等で表される各成分を個別に平均化して作成してもよい。
【００７２】
ステップ２１１：制御部１９は、「夜景ポートレートモード」用として予め決定された撮影条件の下で本撮影を実施する。なお、この本撮影はストロボ光を発光して行われる。また、この本撮影で取得された本撮影画像は、バッファメモリ１６の予備画像とは別の領域に記録される。制御部１９は、本撮影が終わると、撮影した予備画像と本撮影画像の輝度比較に基づき被写体と背景の分離情報を作成するためにステップ２０６に移行する。
【００７３】
ここで、一般に、夜景ポートレート撮影のような暗い撮影シーンでストロボ光を発光させずに予備画像を撮影すると、その予備画像のＳ／Ｎ比が悪くなるため、ステップ２０６での輝度比較が正確にできなくなり、結果として被写体と背景の分離精度が低下する。従って、一例としてステップ２０９およびステップ２１０に示したような予備画像のノイズ低減処理を施すことにより、高精度な背景分離を実現することができる。
【００７４】
ステップ２１２：制御部１９は、選択されたシーンモードが「逆光モード」であるか否かを判定する。同モードである場合（Ｙｅｓ側）には、制御部１９はステップ２１３に移行する。一方、同モードではない場合（Ｎｏ側）には、制御部１９はステップ２１５に移行する。
【００７５】
ステップ２１３：制御部１９は、「逆光モード」用として予め決定された撮影条件に基づいて予備撮影を実施する。但し、この予備撮影では、その予め決定された撮影条件のうち「ストロボ発光”有り”」の条件のみを不採用とし、ストロボ光の発光を強制的に禁止させる。この予備撮影で取得された予備画像は、バッファメモリ１６に記録される。
【００７６】
ステップ２１４：制御部１９は、「逆光モード」用として予め決定された撮影条件の下で本撮影を実施する。なお、この本撮影はストロボ光を発光して行われる。また、この本撮影で取得された本撮影画像は、バッファメモリ１６の予備画像とは別の領域に記録される。制御部１９は、本撮影が終わると、ステップ２０６に移行する。
【００７７】
ステップ２１５：制御部１９は、選択されたシーンモードが「ポートレートモード」、「クローズアップモード」、「夜景ポートレートモード」および「逆光モード」ではない場合には、背景分離の処理を行わない旨をユーザーに警告した後に、処理を終了する。ユーザへの警告は、例えば背景分離の処理を行わない旨のメッセージをモニタ２１に表示させることにより行う。
【００７８】
ステップ２１６：制御部１９は、シーンモードが選択されていない場合には、第１実施形態で説明した図２のフローのステップ１０１〜ステップ１０５、ステップ１１０〜ステップ１１２およびステップ１１３〜ステップ１１６の処理に基づいて予備撮影と本撮影を実施する。なお、これらの実施により取得された予備画像と本撮影画像は、バッファメモリ１６にそれぞれ記録される。そして、撮影が終わると、制御部１９はステップ２０６に移行する。
【００７９】
以上、第２実施形態の電子カメラの背景分離の動作について説明した。
【００８０】
なお、図３のフローは、第２実施形態の電子カメラにおける背景分離の動作、即ちユーザーが選択したシーンモードの種類に応じて、本撮影画像および予備画像を取得するための撮影のシーケンスが変更される動作の一例を示したものであり、その動作は図３の内容に限定されるものではない。
【００８１】
また上記では、ユーザーが選択したシーンモードの種類の判定順として、まず「ポートレートモード」または「クローズアップモード」（ステップ２０３）を判定し、その次に「夜景ポートレートモード」（ステップ２０８）を判定し、その後に「逆光モード」（ステップ２１２）を判定する例を示したが、その順序はこれに限定されるものではなく、任意でかまわない。
【００８２】
（第２実施形態の作用効果）
以上、第２実施形態の電子カメラでは、本撮影の撮影条件は、ユーザーが選択したシーンモードの種類に応じて最適なものに設定される。そして、予備撮影の撮影条件は、本撮影と同じ撮影条件において被写体の照明強度を変えたものに設定される。この場合、予備画像の被写体輝度は、本撮影画像の被写体輝度とは確実に異なるものとなる。このような予備画像は、背景分離を行うのに適した良好な予備画像である。
【００８３】
例えば、第２実施形態の電子カメラは、ユーザーがシーンモードとして「ポートレートモード」または「クローズアップモード」を選択した場合、本撮影においてはストロボ光を発光せず、予備撮影においては強制的にストロボ光を発光する。一方、ユーザーがシーンモードとして「逆光モード」を選択した場合や「夜景ポートレートモード」を選択した場合、本撮影においてはストロボ光を発光し、予備撮影においてはストロボ光の発光を強制的に禁止する。さらに、ユーザーがシーンモードとして「夜景ポートレートモード」を選択した場合、ユーザーが撮影しようとしているシーンは予備画像のノイズが多くなり易い暗いシーンであると判断できるので、予備画像のノイズを低減するための処理を撮影シーケンスに加える。
【００８４】
このように、第２実施形態の電子カメラでは、本撮影画像および予備画像を取得するまでの撮影の一連のシーケンスが、ユーザーが選択したシーンモードの種類に応じて最適なものに変更される。
【００８５】
したがって、ユーザーが撮影しようとしている撮影シーンにとって最適な本撮影画像と、背景分離に適した良好な予備画像を確実に得ることができ、高精度な背景分離が実現可能となる。
【００８６】
（その他）
なお、上記のステップ１０１およびステップ１０２では、測光部２０が算出した評価値を基に撮影シーンが明るいか否か及び逆光撮影であるか否かを判定する例を説明したが、この判定は、ユーザーに手動で入力させた情報を基にして行ってもよい。
【００８７】
また、上記では、先ずステップ１０４で予備撮影を、次にステップ１０５で本撮影を実施する例を説明したが、これらの撮影の実施順序は逆であってもよい。なお、この点は、ステップ２０４の予備撮影とステップ２０５の本撮影の実施順序についても同様である。
【００８８】
また、上記ステップ１０４ならびに上記ステップ２０４では、予備画像としてスルー画像を用いる例を示したが、これに限定されず、予備画像として本撮影画像と同様に解像度の高い画像を用いても良い。
【００８９】
また、上記ステップ１０４での予備撮影は、ストロボ光の強度を変えながら複数回実施してもよい。そして予備撮影を複数回実施した場合には、上記ステップ１０６での輝度比較は、本撮影画像は用いずに、撮影された複数枚の予備画像だけを用いて行ってもよい。なお、この点は、上記ステップ２０４での予備撮影と上記ステップ２０６での輝度比較についても同様である。
【００９０】
また、上記ステップ１０６での予備画像と本撮影画像の輝度比較は、画素単位で行ってもよく、また複数画素から成る領域の単位で行ってもよい。なお、この点は、上記ステップ２０６での輝度比較についても同様である。
【００９１】
また、上記ステップ１０６ならびに上記ステップ２０６での輝度比較には、予備画像と本撮影画像との輝度またはＲＧＢの値の差分を用いてもよく、また値の比を用いてもよい（輝度比較に輝度またはＲＧＢの値の比を用いる技術については、特開２００５−１３０２６８号公報で提案がされている）。
【００９２】
また、上記ステップ１０６ならびに上記ステップ２０６では、予備画像の解像度に合わせて本撮影画像の画像サイズを縮小させる解像度変換処理を施した後に輝度比較を行う例を示したが、これに限定されず、本撮影画像の解像度に合わせて予備画像の画像サイズを拡大させる解像度変換処理を施した後に輝度比較を行っても良い。
【００９３】
また、上記ステップ１０６では、被写体と背景を分離した後に、その分離状況をモニタ２１に表示してユーザーに確認させる処理を実行するようにしてもよい。そして、分離状況の確認の際にユーザーが分離処理のやり直しを指示した場合には、被写体の領域を抽出するための閾値を別の値に変更して再度ステップ１０６の背景分離の処理を実行するようにしてもよい。さらに、これら一連の処理は、ユーザーが望む結果が得られるまで繰り返して実行してもよい。
【００９４】
また、上記ステップ１０６では、上記のステップ２０６およびステップ２０７の処理と同様に、輝度比較によって得られる被写体と背景の分離情報を本撮影画像とともに記録媒体２２に記録するようにして、上記ステップ１０７〜ステップ１０９の処理は実行せずに終了してもよい。そして、そのようにした場合の後処理ならびに上記ステップ２０７での処理の後処理として、電子カメラの動作状態が画像再生などの非撮影状態の時に、記録媒体２３の分離情報と本撮影画像とを用いて背景分離の処理を行った後で上記ステップ１０７〜ステップ１０９の処理を実行するようにしてもよい。或いは、この処理については、電子カメラが実行するかわりにコンピュータに実行させてもよい。
【００９５】
また、上記ステップ２０７では、分離情報と本撮影画像とを記録する処理は行わずに、分離情報を用いて本撮影画像から被写体と背景を分離するようにしてもよい。また、そうした場合には、被写体と背景の分離状況をモニタ２１に表示してユーザーに確認させる処理を実行するようにしてもよい。そして、分離状況の確認の際にユーザーが分離処理のやり直しを指示した場合には、被写体の領域を抽出するための閾値を別の値に変更し、その変更後の閾値を基に再度上記ステップ２０６の処理を実行して分離情報を作成した後に、背景分離の処理をやり直すようにしてもよい。さらに、これら一連の処理は、ユーザーが望む結果が得られるまで繰り返して実行してもよい。
【００９６】
また、上記ステップ２０７では、分離情報と本撮影画像とを記録する処理は行わずに、分離情報を用いて本撮影画像から被写体と背景を分離するようにし、そして、その背景分離処理の後に、上記ステップ１０７〜ステップ１０９の処理を実行するようにしてもよい。
【００９７】
また、上記ステップ１０７では、背景に対してのみボカシ処理を施したが、被写体に対してもボカシ処理を施してよい。その場合、被写体に対しては背景よりも低い強度で施すとよい。
【００９８】
また、上記ステップ１０７でのデータ処理部１７の画像処理には、上記のボカシ処理の他に、例えば、明るさ補正処理、コントラスト強調処理、鮮鋭化処理など様々な処理を適用することができる。ちなみにコントラスト強調処理および鮮鋭化処理については、背景よりも被写体に対して高い強度で施すことが望ましい。
【００９９】
また、上記ステップ１０７では、被写体と背景に対して異なる種類の画像処理を施してもよい。例えば、被写体には鮮鋭化処理を、背景にはボカシ処理をそれぞれ施してもよい。
【０１００】
また、上記ステップ１０８では、画像処理後の画像をＬＣＤモニタ等に表示させた後に、ユーザーから画像処理のやり直しの指示を受け付けるようにしてもよい。そしてユーザーがやり直しを指示した場合には、画像処理の条件（例えば、ボカシ処理の場合には、ボカシ処理の強弱など）を変更して上記ステップ１０７〜ステップ１０８の処理を再度実行するようにしてもよい。さらに、これら一連の処理は、ユーザーが望む結果が得られるまで繰り返して実行してもよい。
【０１０１】
また、上記では、先ずステップ１１１で予備撮影を、次にステップ１１２で本撮影を実施する例を説明したが、これらの撮影の実施順序は逆であってもよい。なお、この点は、ステップ２１３の予備撮影とステップ２１４の本撮影の実施順序についても同様である。
【０１０２】
また、上記では、先ずステップ１１４で予備撮影を、次にステップ１１６で本撮影を実施する例を説明したが、ステップ１１６は、ステップ１１４の前で実施してもよく、ステップ１１４とステップ１１５の間で実施してもよい。
【０１０３】
また、上記では、先ずステップ２０９で予備撮影を、次にステップ２１１で本撮影を実施する例を説明したが、ステップ２１１は、ステップ２０９の前で実施してもよく、ステップ２０９とステップ２１０の間で実施してもよい。
【０１０４】
また、上記のステップ１１４およびステップ１１５、ならびに上記のステップ２０９およびステップ２１０では、予備画像のノイズを低減する処理として、（ａ）「複数枚の予備画像を用いたノイズ低減処理」である複数枚の予備画像の平均をとる処理を説明したが、この複数枚の予備画像に基づくノイズ低減処理はこれに限定されるものではない。例えば、複数枚の予備画像からノイズが最少である予備画像を選出する処理、または、複数枚の予備画像の中で対応する画素（或いは領域）の、メディアン値（中央値）をその画素（或いは領域）の値とする処理であってもよい。
【０１０５】
その他、上記のステップ１１４およびステップ１１５、ならびに上記のステップ２０９およびステップ２１０の処理の代わりに、例えば以下の（ｂ）〜（ｄ）の何れかのノイズ低減処理を適用してもよい。ここで、（ｂ）〜（ｄ）のノイズ低減処理について、ステップ１１４およびステップ１１５の処理の代わりに適用する場合を例に挙げて説明する。
（ｂ）予備画像の解像度を低くする処理
制御部１９は、操作部２４からの全押し操作信号を受けると、上記ステップ１１３において決定した撮影条件に基づいて予備撮影を実施する。但し、この予備撮影では、ステップ１１３で決定した撮影条件のうち「ストロボ発光”有り”」の条件のみを不採用とし、ストロボ光の発光を強制的に禁止させる。この予備撮影で取得された予備画像は、バッファメモリ１６に記録される。
【０１０６】
次に制御部１９は、予備撮影で撮影されたバッファメモリ１６の予備画像の解像度を、例えばバイキュービックなどの隣接画素の情報を用いた解像度変換手法により低減して、ノイズの低減された画像を作成する。そして、制御部１９は、この画像を背景分離に使用する予備画像として改めてバッファメモリ１６に記録する。
（ｃ）予備画像の撮影感度を低くする処理
制御部１９は、操作部２４からの全押し操作信号を受けると、上記ステップ１１３において決定した撮影条件に基づいて予備撮影を実施する。但し、この予備撮影では、ステップ１１３で決定した撮影条件のうち「ストロボ発光”有り”」の条件のみを不採用とし、ストロボ光の発光を強制的に禁止させると共に、電子カメラの撮影感度をストロボ非発光時における自動露出で設定される通常の露出より低いレベルに設定する。この予備撮影で取得されたノイズの少ない画像は、背景分離に使用する予備画像としてバッファメモリ１６に記録される。
（ｄ）予備画像の撮影時にストロボ光を少量発光させる処理
制御部１９は、操作部２４からの全押し操作信号を受けると、上記ステップ１１３において決定した撮影条件に基づいて予備撮影を実施する。但し、この予備撮影の撮影条件は、ストロボ光を少量だけ発光させる点においてのみ、ステップ１１３で決定した撮影条件とは異なる。なお、その発光量は、本撮影時の発光量よりも格段に低く、少なくとも数分の１以下の光量である。この予備撮影で取得されたノイズの少ない画像は、背景分離に使用する予備画像としてバッファメモリ１６に記録される。
【０１０７】
なお、上記（ａ）〜（ｄ）のノイズ低減処理を適用する予備画像は、スルー画像でも良く、本撮影画像と同様な高解像度画像でも良い。前述したように、スルー画像は本撮影画像に比べて解像度が低く、かつ撮像素子からの読み出しが短時間で行えるため、予備画像としてスルー画像を用いた場合には、ノイズ低減処理や以降の被写体と背景を分離するための輝度比較処理において、処理負荷の低減に伴う高速化を図ることができる。
【０１０８】
一方、予備画像として高解像度画像を用いると、スルー画像を用いた場合と比較して、特に（ｂ）のノイズ低減処理において有効である。一般に、画像の解像度を低減する場合、解像度低減後の画像の画素値は、解像度低減前の画像の対応する領域の複数の画素値に基づいて決定される。この時、解像度低減後の画像の画素に対応する解像度低減前の画像領域の画素数が多いほど、ノイズ低減効果を高めることができる。ここで、スルー画像と高解像度画像の双方についてそれぞれ解像度を低減して、同じ解像度の低解像度画像を作成する場合を考えると、高解像度画像はスルー画像よりも解像度が高い（すなわち単位画像サイズあたりの画素数が多い）ため、解像度低減後の画像の画素値を、スルー画像を用いた場合よりも多くの画素値に基づいて作成することができる。従って、高解像度画像を用いた場合の方が、優れたノイズ低減効果を得ることができる。
【０１０９】
また、上記（ｂ）〜（ｄ）のノイズ低減処理を、上記のステップ２０９およびステップ２１０の処理の代わりに適用する場合には、予備撮影は、夜景ポートレートモード用の撮影条件に基づいて実施する。
【０１１０】
また、上記（ｂ）のノイズ低減処理を適用する場合には、更に以下の（１）または（２）の解像度変換処理を行う。なお、上記（ｂ）のノイズ低減処理を上記のステップ１１４およびステップ１１５の処理として適用する場合には、ステップ１０６において解像度変換処理の何れかを実行する。また、同ノイズ低減処理を上記のステップ２０９およびステップ２１０の処理として適用する場合には、ステップ２０６において解像度変換処理の何れかを実行する。
（１）解像度変換処理（パターン１）
上記（ｂ）で作成した低解像度の予備画像に合わせて本撮影画像の画像サイズを縮小し、比較用の本撮影画像を作成する。次にこれら縮小サイズの予備画像および比較用本撮影画像を用いて輝度比較を行い、一旦、低解像度で被写体と背景の分離情報を作成し、後にその分離情報を本撮影画像の解像度に変換する。
（２）解像度変換処理（パターン２）
本撮影画像に合わせて上記（ｂ）で作成した低解像度の予備画像の画像サイズを拡大させる。そして、これら拡大サイズの予備画像および本撮影画像を用いた輝度比較に基づき、被写体と背景の分離情報を作成する。
【０１１１】
また、上記（ｃ）で予備撮影の撮影感度を低く設定すると、露光不足となるが、輝度比較による背景分離が可能であるならば、そのままでも良い。または、その露光不足を補うために、予備撮影のシャッタースピードを上記ステップ１１３で決定した撮影条件（上記のステップ２０９およびステップ２１０の処理として適用した場合には夜景ポートレートモード用の撮影条件）のシャッタースピードより遅くしても、もちろん構わない。
【０１１２】
また、上記（ａ）〜（ｄ）の処理は、それらのうちの２つ以上を併用して適用してもよい。
【０１１３】
また、上記のステップ１０６〜ステップ１０９ならびにステップ２０６〜ステップ２０７の処理プログラムの一部または全部をコンピュータに実行させてもよい。
【０１１４】
また、その他の欄に記載した上記内容のうち、ステップ１０１〜ステップ１０５、ステップ１１０〜ステップ１１２およびステップ１１３〜ステップ１１６に係る事項については、上記ステップ２１６の処理においても適用されてよい。
【０１１５】
なお、上記では、撮影画像から被写体と背景を分離する例を示したが、被写体と前景を分離したり、被写体，背景，及び前景を同時に分離してもよい。
【図面の簡単な説明】
【０１１６】
【図１】本発明の撮像装置を適用した電子カメラのブロック図である。
【図２】第１実施形態の電子カメラの背景分離の動作を示す流れ図である。
【図３】第２実施形態の電子カメラの背景分離の動作を示す流れ図である。
【符号の説明】
【０１１７】
１１…撮像レンズ，１２…レンズ駆動部，１３…撮像素子，１４…信号処理部，１５…タイミングジェネレータ（ＴＧ），１６…バッファメモリ，１７…データ処理部，１８…圧縮／復号部，１９…制御部，２０…測光部，２１…モニタ，２２…記録媒体，２３…発光部，２４…操作部，２５…バス
【図１】
2008278448.tif 000003
【図２】
2008278448.tif 000004
【図３】
2008278448.tif 000005