(57)【要約】【課題】  従来のメモリの容量と変わらない容量であっても、複数の顔にピントが合う画像を容易に生成する。【解決手段】  焦点調節用の光学レンズを有する撮像光学系と、撮像光学系に基づく撮像範囲を分割することで得られる複数の範囲を対象範囲として設定する設定部と、焦点調節用の光学レンズを移動させて、複数の対象範囲のそれぞれに対する焦点調節を行う焦点調節部と、焦点調節用の光学レンズにおける焦点調節が実行される度に、撮像光学系により取り込まれた被写体光から焦点調節に対応した対象範囲の画像を取得する画像取得部と、画像取得部により取得された画像を合成することで、撮像範囲の全範囲における合成画像を生成する画像生成部と、を備えたことを特徴とする。【選択図】    図１
2010178042.tif 000002
【特許請求の範囲】
【請求項１】
焦点調節用の光学レンズを有する撮像光学系と、
前記撮像光学系に基づく撮像範囲を分割することで得られる複数の範囲を対象範囲として設定する設定部と、
前記焦点調節用の光学レンズを移動させて、前記複数の対象範囲のそれぞれに対する焦点調節を行う焦点調節部と、
前記焦点調節用の光学レンズにおける焦点調節が実行される度に、前記撮像光学系により取り込まれた被写体光から前記焦点調節に対応した対象範囲の画像を取得する画像取得部と、
前記画像取得部により取得された画像を合成することで、前記撮像範囲の全範囲における合成画像を生成する画像生成部と、
を備えたことを特徴とする撮像装置。
【請求項２】
請求項１記載の撮像装置において、
前記撮像範囲から顔領域を検出する顔検出部を備え、
前記設定部は、前記顔検出部により前記顔領域が複数検出された場合に、検出された顔領域が前記対象範囲のそれぞれに含まれるように前記撮像範囲を分割することを特徴とする撮像装置。
【請求項３】
請求項２に記載の撮像装置において、
前記制御部は、前記顔領域を用いて前記対象範囲毎の焦点調節を行うとともに、前記焦点調節用の光学レンズの移動量が予め設定された移動量を超える場合に、前記顔領域を用いた前記光学レンズの焦点調節を実行せずに、該顔領域が含まれる前記対象領域の略中心の領域を用いた前記光学レンズの焦点調節を行うことを特徴とする撮像装置。
【請求項４】
請求項２又は請求項３に記載の撮像装置において、
前記顔検出部により検出された前記顔領域の基になる被写体までの距離を求める距離算出部と、
前記複数の顔領域に基づく被写体のうち、前記距離算出部によって算出された距離が近似する被写体に対する顔領域を一つの顔領域として統合する領域統合部と、をさらに備えていることを特徴とする撮像装置。
【請求項５】
請求項２又は請求項３に記載の撮像装置において、
前記顔領域に対する前記撮像光学系の焦点距離を求める焦点距離算出部と、
前記複数の顔領域のうち、前記焦点距離算出部によって算出された焦点距離が近似する顔領域を一つの顔領域として統合する領域統合部と、をさらに備えていることを特徴とする撮像装置。
【請求項６】
請求項１から請求項５のいずれか１項に記載の撮像装置において、
前記画像取得部は、同一の露出条件を用いて各対象範囲に対する画像を取得することを特徴とする撮像装置。
【請求項７】
請求項１から請求項６のいずれか１項に記載の撮像装置において、
前記設定部は、複数の対象範囲のうち、少なくとも１つの対象範囲を除いた対象範囲を、前記撮像範囲を分割することで得られる範囲と、該範囲に隣り合う範囲の一部とから設定し、
前記画像生成部は、前記画像取得部に取得された複数の画像を用いた前記合成画像の生成時に、前記範囲に隣り合う範囲の一部に該当する領域を隣り合う画像に重畳させて前記画像を合成することを特徴とする撮像装置。
【請求項８】
請求項７に記載の撮像装置において、
前記画像生成部は、前記画像のうち、前記重畳する範囲に該当する領域に対して透かし処理を施すことを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体にピントを合わせた画像を取得する撮像装置に関する。
【背景技術】
【０００２】
従来、デジタルカメラなどを用いて撮影を行う際の技術として、撮影の対象となる撮像範囲の中心や、該撮像範囲に設けられた所定の領域にピントを合わせて撮影を行う技術が一般に提供されている。また、人物撮影を行う際には撮像範囲内に含まれる人物の顔を検出して、検出された顔の領域にピントを合わせて撮影を行う技術や、撮像範囲に複数の人物が含まれる場合には、撮像範囲に占める割合が大きい顔の領域を至近距離にあると判定し、該顔の領域にピントを合わせて撮影を行う技術が提案されている。
【０００３】
このような技術を用いた場合には、複数の人物を撮影した場合には、至近距離に位置する人物に対してピントが合ってしまい、他の人物に対してピントが合う画像を得ることができない。最近では、撮像範囲に含まれる顔を検出し、検出された顔が複数となる場合には、１回の撮影時に、それぞれの顔にピントを合わせた画像を連続して取得し、これら画像から、検出された全ての顔にピントが合う画像を生成する技術も提案されている。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、連続して取得した複数の画像から、それぞれの顔にピントが合う画像を生成する場合、撮影時には撮像範囲に含まれる被写体の数に合わせた数の画像を取得する必要があることから、これら画像を記録するためのメモリの容量を１回の撮影時に取得される画像の数に合わせたものとする必要があるとともに、得られた複数の画像のそれぞれからピントの合う顔の領域を抽出する処理など、画像を取得した後の処理時間を増大させてしまう。
【０００５】
本発明は、従来のメモリの容量と変わらない容量であっても、複数の顔にピントが合う画像を容易に生成することができるようにした撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために、第１の発明の撮像装置は、焦点調節用の光学レンズを有する撮像光学系と、撮像光学系に基づく撮像範囲を分割することで得られる複数の範囲を対象範囲として設定する設定部と、前記焦点調節用の光学レンズを移動させて、前記複数の対象範囲のそれぞれに対する焦点調節を行う焦点調節部と、前記焦点調節用の光学レンズにおける焦点調節が実行される度に、前記撮像光学系により取り込まれた被写体光から前記焦点調節に対応した対象範囲の画像を取得する画像取得部と、前記画像取得部により取得された画像を合成することで、前記撮像範囲の全範囲における合成画像を生成する画像生成部と、を備えたことを特徴とする。
【０００７】
また、第２の発明は、第１の発明において、前記撮像範囲から顔領域を検出する顔検出部を備え、前記設定部は、前記顔検出部により前記顔領域が複数検出された場合に、検出された顔領域が前記対象範囲のそれぞれに含まれるように前記撮像範囲を分割し、前記制御部は、前記顔領域を用いて前記光学レンズによる前記対象範囲毎の焦点調節を実行することを特徴とする。
【０００８】
第３の発明は、第２の発明において、前記制御部は、前記顔領域を用いて前記対象範囲毎の焦点調節を行うとともに、前記焦点調節用の光学レンズの移動量が予め設定された移動量を超える場合に、前記顔領域を用いた前記光学レンズの焦点調節を実行せずに、該顔領域が含まれる前記対象範囲の略中心の領域を用いた前記光学レンズの焦点調節を行うことを特徴とする。
【０００９】
第４の発明は、第２又は第３の発明において、前記顔検出部により検出された前記顔領域の基になる被写体までの距離を求める距離算出部と、前記複数の顔領域に基づく被写体のうち、前記距離算出部によって算出された距離が近似する被写体に対する顔領域を一つの顔領域として統合する領域統合部と、をさらに備えていることを特徴とする。
【００１０】
第５の発明は、第２又は第３の発明において、前記顔領域に対する前記撮像光学系の焦点距離を求める焦点距離算出部と、前記複数の顔領域のうち、前記焦点距離算出部によって算出された焦点距離が近似する顔領域を一つの顔領域として統合する領域統合部と、をさらに備えていることを特徴とする。
【００１１】
第６の発明は、第１から第５の発明のいずれかにおいて、前記画像取得部は、同一の露出条件を用いて各対象範囲に対する画像を取得することを特徴とする。
【００１２】
第７の発明は、第１から第６の発明のいずれかにおいて、前記設定部は、複数の対象範囲のうち、少なくとも１つの対象範囲を除いた対象範囲を、前記撮像範囲を分割することで得られる範囲と、該範囲に隣り合う範囲の一部とから設定し、前記画像生成部は、前記画像取得部に取得された複数の画像を用いた前記合成画像の生成時に、前記範囲に隣り合う範囲の一部に該当する領域を隣り合う画像に重畳させて前記画像を合成することを特徴とする。
【００１３】
第８の発明は、第７の発明において、前記画像生成部は、前記範囲に隣り合う範囲の一部に該当する領域に対して透かし処理を施すことを特徴とする。
【発明の効果】
【００１４】
本発明によれば、撮像範囲のうち、予め設定された対象範囲に対する画像を複数取得すればよいことから、これら画像を記憶するメモリなどの容量を従来と変わらない容量で、撮像範囲に含まれる被写体全てにピントが合う画像を生成することができる。また、撮影にて得られた画像を合成するだけで済むので、合成画像を生成する際の処理時間を短縮することができる。
【図面の簡単な説明】
【００１５】
【図１】本実施形態のデジタルカメラの構成の一例を示す図である。
【図２】（ａ）はスルー画像から特定された顔領域を示す図、（ｂ）はスルー画像から顔領域が特定された場合のＬＣＤの表示の一例を示す図である。
【図３】（ａ）は設定される分割線の一例を示す図、（ｂ）は、顔領域毎に設定される対象範囲を示す図である。
【図４】撮像時の処理の流れを示すフローチャートである。
【図５】対象範囲の設定から、合成画像の生成までの流れを示す図である。
【図６】他の実施形態のデジタルカメラの構成の一例を示す図である。
【図７】（ａ）はスルー画像から特定された顔領域を示す図、図７（ｂ）は特定される顔領域の一部の顔領域を統合したときの状態を示す図、（ｃ）は、それぞれの顔用域毎に設定される対象範囲を示す図である。
【図８】顔領域を統合した上で対象範囲を設定する場合の撮像時の処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１６】
図１は、本発明を用いたデジタルカメラの構成を示す図である。デジタルカメラ１０は、周知のように、撮像光学系１５によって取り込まれた被写体光を撮像素子１６によって光電変換し、光電変換後の電気信号（画像信号）から画像データを取得する。
【００１７】
撮像光学系１５は、ズームレンズ２１やフォーカスレンズ２２などから構成される。ズームレンズ２１は、撮影時の倍率を変更する際にズーム調節機構２３により光軸Ｌ方向に沿って移動される。また、フォーカスレンズ２２は、撮影時の焦点調節の際に焦点調節機構２４により光軸Ｌに沿って微小移動される。なお、上述したズーム調節機構２３や焦点調節機構２４によって移動されるズームレンズ２１やフォーカスレンズ２２の位置を示す情報は、ＣＰＵ５０に出力される。ここで、撮影とは、ユーザがデジタルカメラ１０を用いて意図する被写体の画像を取得することを示し、撮像とは、ユーザがデジタルカメラを用いて画像を取得する際のデジタルカメラ１０の内部で行われる処理を示す。
【００１８】
撮像素子１６は、例えばＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ−Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などから構成される。撮像素子１６は、撮像光学系１５によって取り込まれる被写体光を信号電荷に変換（光電変換）して、変換した信号電荷を蓄積する。その後、撮像素子１６にて蓄積された信号電荷は、ＡＦＥ（Ａｎａｌｏｇ  Ｆｒｏｎｔ  Ｅｎｄ）回路３０に出力される。
【００１９】
ドライバ１７は、撮像素子１６の駆動を制御する。なお、撮像素子１６の駆動を制御するとは、撮像素子１６の各画素（実際には光電変換部）における信号電荷を蓄積することや、蓄積した信号電荷を出力することが挙げられる。また、この他に、ドライバ１７は、撮像素子１６の全ての画素を駆動させるか、一部の画素を駆動させるかを制御する。つまり、撮影においてはドライバ１７は撮像素子１６の全画素を駆動させて、各画素を用いた信号電荷の蓄積、及び各画素に蓄積された信号電荷を出力させる。一方、撮影を行える状態であるがレリーズボタン５６の操作が行われない、所謂撮影待機状態となる場合には、ドライバ１７は撮像素子１６を間引き制御することで、一部の画素に蓄積された信号電荷を出力させる。
【００２０】
また、詳細は後述するが、撮影時に「複数人物ポートレート」モードが選択されている場合には、ドライバ１７は、撮像素子１６を構成する画素のうち、対象範囲に対応する画素により蓄積された信号電荷を出力するように撮像素子１６を駆動する。この場合、ドライバ１７は撮像素子１６の全画素のうち、対象範囲に該当する画素のみを駆動させて信号電荷の蓄積及び蓄積された信号電荷を画像信号として出力してもよいし、撮像素子１６の全画素を駆動させて信号電荷の蓄積を行った後、対象範囲に対応する画素に蓄積された信号電荷のみを画像信号として出力させるようにしてもよい。なお、「複数人物ポートレート」モードは、１回の撮影において、スルー画像から検出される顔のそれぞれが含まれるように撮像範囲を仮想的に分割し、分割された各範囲（以下、対象範囲）に含まれる顔に焦点を合わせた画像を対象範囲毎に取得した後、これら画像を合成することで、撮像範囲に含まれる全ての顔にピントが合う画像を取得する撮影モードである。
【００２１】
ＡＦＥ回路３０は、図示しないＡＧＣ回路やＣＤＳ回路を含んで構成される。ＡＦＥ回路３０は、入力された画像信号に対してゲインコントロール、雑音除去などのアナログ処理を施す。このアナログ処理が施された画像信号は、ＤＦＥ回路３１に出力される。
【００２２】
ＤＦＥ（Ｄｉｇｉｔａｌ  Ｆｒｏｎｔ  Ｅｎｄ）回路３１は、ＡＦＥ回路３０によってアナログ処理が施された画像信号をデジタル信号に変換する。デジタル信号に変換された画像信号は１コマ毎にまとめられ、画像データとしてバッファメモリ３５に記録される。符号３４は、タイミングジェネレータ（ＴＧ）であり、このＴＧ３４により、ドライバ１７、ＡＦＥ回路３０及びＤＦＥ回路３１の駆動タイミングが制御される。
【００２３】
画像処理回路４０は、バッファメモリ３５に記憶された画像データに対して、ホワイトバランス処理（以下、ＷＢ処理）、輪郭補償処理、ガンマ処理などの画像処理を施す。例えばバッファメモリ３５に記憶された画像データが、撮影時に得られる画像信号に基づく画像データである場合には、画像処理回路４０は、上述した画像処理後の画像データに対して、例えばＪＰＥＧ方式などの記憶方式で圧縮するためのフォーマット処理（画像後処理）を施す。この処理の後、画像処理回路４０は、サムネイル画像データや、予め設定された圧縮率を用いて圧縮されたＪＰＥＧ方式の圧縮画像データを生成する。これら画像データは、一旦内蔵メモリ４３に記憶される他に、デジタルカメラ１０の機種情報や、撮影時の撮影情報などを付帯情報とした画像ファイルとして、メモリーカード、磁気ディスク及び光学ディスクなどの記憶媒体４５に書き込まれる。なお、符号４６はメディアスロットである。
【００２４】
一方、バッファメモリ３５に記憶された画像データが、撮像素子１６が間引き制御されることで得られる画像信号に基づいた画像データ（以下、スルー画像データ）である場合、このスルー画像データは、上述した画像処理が施された後、ＣＰＵ４０を介して表示制御回路４７に出力される。なお、上述した撮影待機状態では、上述した撮像素子１６は所定間隔で画像信号を出力することから、バッファメモリ３５には、順次スルー画像データが記憶される。画像処理回路４０は、バッファメモリ３５にスルー画像データが記憶される度に上述した画像処理を行い、表示制御回路４７に出力する。これにより、ＬＣＤ４８にはスルー画像が所定間隔で表示されていく、所謂ライブビュー表示が実行される。
【００２５】
この画像処理回路４０は、画像生成部４１の機能を有している。例えば「複数人数ポートレート」モードが選択された状態で撮影が行われた場合には、バッファメモリ３５には、対象範囲毎の画像データが記録される。これら対象範囲毎の画像データは、上述した画像処理が実行された後、画像生成部４１は、これら画像データに対して上述した画像処理を施した後、これら画像データを合成し、合成画像データを生成する。なお、この画像生成部４１により生成される合成画像データは、他の撮影で得られた画像データと同様に、画像ファイルとして記憶媒体４５に記録される。
【００２６】
ＣＰＵ５０は、不図示の制御プログラムを実行することで、デジタルカメラ１０の各部を制御する。このＣＰＵ５０は、顔検出部５１、範囲設定部５２、ＡＥ処理部５３、ＡＦ処理部５４の機能を有している。なお、このＣＰＵ５０には、レリーズボタン５６や操作部５７からの操作信号が順次入力されるので、ＣＰＵ５０は、これら操作信号に基づいた処理を実行する。
【００２７】
顔検出部５１は、画像処理されたスルー画像データを用いた顔検出を行う。この顔検出部５１における顔検出としては、例えばパターンマッチングや特徴量抽出による顔検出が挙げられる。なお、パターンマッチングは、予め顔のパターンを示すパターンデータを複数用意しておき、このパターンデータのいずれかのパターンに合致する領域があるか否かにより顔を検出する方法である。また、特徴量抽出は、目、鼻、口などの特徴量を求めることで、画像中に含まれる顔を検出するものである。この顔検出部５１により顔が検出された場合には、顔となる領域（以下、顔領域と称する）を特定（抽出）する。
【００２８】
図２（ａ）に示すように、二人の人物（符号６１、６２）のスルー画像ＭＩ１となる場合には、これら人物６１，６２の顔が検出され、図２（ａ）中点線で囲まれる領域６３，６４が顔領域としてそれぞれ特定される。なお、顔領域が求められると、顔領域に含まれる画素のアドレスを内蔵メモリ４３に記録するとともに、このアドレスを表示制御回路４７に出力する。これを受けて、表示制御回路４７は、アドレスに対応する画素の領域に対して顔領域を示す表示枠データをスルー画像データに合成する。これにより、図２（ｂ）に示すように、ＬＣＤ４８には、スルー画像ＭＩ１の顔領域に表示枠６５，６６がそれぞれ重畳されて表示される。
【００２９】
範囲設定部５２は、撮影時の撮像範囲を仮想的に複数分割することで、１回の撮影で取得される画像毎の対象範囲を設定する。なお、スルー画像ＭＩ１は撮影時の撮像範囲を示すものであることから、範囲設定部５２は、撮影準備状態において取り込まれるスルー画像ＭＩ１を用いて各対象範囲を設定する。以下では、対象範囲を、撮像範囲の横方向（Ｘ方向）に複数設定する場合について説明する。
【００３０】
まず、範囲設定部５２は、顔検出部５１により検出された顔領域の数が予め設定された閾値（例えば５）以下であるか否かを判定する。この判定で、例えば検出された顔領域の数が閾値以下となる場合には、範囲設定部５２は、検出された顔領域がそれぞれの対象範囲に含まれるようにスルー画像ＭＩ１を分割する。顔検出部５１によって顔領域が求められていることから、範囲設定部５２は、まず、各顔領域のうち、隣り合う２個の顔領域を用いてスルー画像を分割する際に用いる分割線を決定する。以下、２個の顔領域が求められているときについて説明するが、検出された顔領域が３〜５個の場合であっても同様である。
【００３１】
図３（ａ）に示すように、スルー画像ＭＩ１から顔領域６３，６４が特定されている場合、顔領域６３の中心６３ｃ、及び顔領域６４の中心６４ｃをそれぞれ求める。その後、スルー画像ＭＩ１のＸ方向において、顔領域６３の中心６３ｃからの距離Ｄ１と顔領域６４の中心６４ｃからの距離Ｄ２とが等しくなる位置を通るＹ方向に伸びる直線を分割線７２として設定する。この分割線７２を設定することで、撮像範囲７１が斜線で囲まれる領域７３と斜線で囲まれる領域７４とに分割される。この分割線７２で分割される領域７３，７４のうち、分割線７２より左方の領域７３を１つ目の対象範囲（以下、符号７３を付して説明する）として設定する。
【００３２】
上述したように、「複数人物ポートレート」モードでの撮像においては、対象範囲毎にピントが合う画像を連続して取得することから、その過程においてデジタルカメラ１０が振動するなどに起因する像ブレが発生し、設定された対象範囲を基準としたときに、実際に得られる画像における撮像範囲がずれることがある。このような場合、得られた対象範囲毎の画像を、それぞれの画像のＹ方向を一致させて合成すると、合成画像の構図において、各対象範囲のつなぎ目の部分を境にして隣り合う対象範囲の画像がＹ方向にずれてしまい、違和感のある画像が得られることになる。このような画像が得られることを防止するために、２つ目以降の対象範囲を設定する際には、以下の処理を行う。
【００３３】
設定された分割線７２に対して、図３中−Ｘ方向に数画素分ずらした線を重畳線７４として設定し、この重畳線７４でスルー画像ＭＩ１を分割したときの右方の領域７６を２つ目の対象範囲７６として設定する。なお、重畳線７４を設定する際の分割線７２からずらす画素数としては、例えば１０画素以下に設定されることが好ましい。
【００３４】
なお、検出された顔領域の数が閾値を超える場合には、範囲設定部５２は対象範囲の設定を行わない。この場合、ＣＰＵ５０は、撮影モードを「複数人物ポートレート」モードから、通常の撮影モードに切り替える。このとき、ＣＰＵ５０は、表示制御回路４７に「複数人物ポートレート」モードを中止する旨を表示させる信号を出力する。これにより、ＬＣＤ４８には、スルー画像ＭＩ１に、例えば「複数人物ポートレート撮影から、オート撮影に切り替えます」などのコメントが重畳されて表示される（図示省略）。検出された顔領域の数が閾値を超えるときの撮影としては、集合写真など、多数の人物を被写体とする撮影が挙げられる。このような撮影においては、撮影時の画角が大きくなり被写体深度が深くなることから、被写体となる人物のそれぞれに対してピントがほぼ合っている状態となる。つまり集合写真等、多くの人物を被写体とした撮影を行う場合には、「複数人物ポートレート」モードに設定されていても、通常の撮影モードに切り替わる。
【００３５】
ＡＥ処理部５３は、撮像時の露出条件（撮影条件）を決定する。例えばＣＰＵ５０には、取得されるスルー画像データから輝度値を求める。この輝度値を利用して、撮影感度（ＩＳＯ感度）や、シャッター速度（撮像素子１６における電荷蓄積時間）や不図示の絞り値などを決定する。なお、露出条件としては、スルー画像データから得られる輝度値に基づいて決定されるが、上述した対象範囲のうち、初めに選択される対象範囲における輝度値を用いて、露出条件を求めることも可能である。
【００３６】
ＡＦ処理部５４は、撮影時の焦点調節処理を実行する。ＡＦ処理部５４は、ＡＦエリアにおける焦点評価値を算出し、この焦点評価値が最も高くなる位置まで、フォーカスレンズ２２を光軸Ｌ方向に移動させる。また、「複数人物ポートレート」モードが設定されている場合には、対象範囲毎の画像を取得することから、「複数人物ポートレート」モードでの撮影時には、ＡＦ処理部５４は以下の処理を実行する。
【００３７】
ＡＦ処理部５４は、選択された対象範囲に含まれる顔領域をＡＦエリアに設定した上で、焦点調節を実行する。なお、焦点調節時のフォーカスレンズ２２の移動範囲は予め決定されている。例えば被写体の顔に対するピントのズレが小さければ、最も焦点評価値が高くなるフォーカスレンズ２２の位置が前記移動範囲内に存在することから、この場合には、焦点評価値が最も高くなる位置でフォーカスレンズ２２を停止させる。一方、被写体の顔に対するピントのズレが大きい場合には、最も焦点評価値が高くなるフォーカスレンズ２２の位置は、フォーカスレンズ２２の移動範囲から外れた位置に存在することになり、顔領域をＡＦエリアとした焦点調節を行っても、焦点評価値が最も高くなるフォーカスレンズ２２の位置を特定することができない。このような場合には、ＡＦエリアを顔領域から該顔領域が含まれる対象範囲の略中央の領域に再設定し、焦点調節を実行する。
【００３８】
次に、このデジタルカメラ１０における撮影時の処理の流れについて、図４のフローチャートを用いて説明する。なお、図４のフローチャートは、「複数人物ポートレート」モードでの撮影の処理を示すものであり、通常の撮影モードでの撮影については、その詳細を省略する。
【００３９】
ステップＳ１０１は、スルー画像データを取得する処理である。撮影待機状態においてもデジタルカメラ１０には撮像光学系１６を介して被写体光が取り込まれている。この場合、撮像素子１６は間引き処理により駆動制御される。この間引き制御により駆動制御される撮像素子１６からの画像信号がＡＦＥ回路３０及びＤＦＥ回路３１を介してバッファメモリ３５に記録される。つまり、バッファメモリ３５にスルー画像データが記録される。画像処理回路４０は、スルー画像データを読み出し、画像処理を実行する。そして、画像処理回路４０は、画像処理済みのスルー画像データをＣＰＵ５０を介して表示制御回路４７に出力する。
【００４０】
ステップＳ１０２は、顔検出及び顔領域を特定する処理である。上述したように、画像処理済みのスルー画像データがＣＰＵ５０に出力されることから、ＣＰＵ５０はスルー画像データを用いて顔検出を行う。この顔検出により顔が検出されると、ＣＰＵ５０は検出された顔の領域を特定する。例えばスルー画像から二人の顔が検出された場合には、検出された顔の領域を特定する（例えば図２（ａ）中符号６３，６４）。ＣＰＵ５０は、顔領域に含まれる画素のアドレスを内蔵メモリ４３に一時記憶する。同時に、ＣＰＵ５０は、顔領域に含まれる画素のアドレスを表示制御回路４７に出力する。表示制御回路４７は、スルー画像データと、顔領域に含まれる画素のアドレスに対応する表示枠データとを合成し、合成した画像データを用いてＬＣＤ４８における表示を行う。これにより、ＬＣＤ４８にはスルー画像に表示枠６５，６６が重畳されて表示される（図２（ｂ）参照）。
【００４１】
ステップＳ１０３は、対象範囲を設定する処理である。ステップＳ１０２において顔検出が実行され、検出された顔に対する顔領域が求められている。ＣＰＵ５０は、スルー画像を用いて、各顔領域の中心を求めた後、顔領域のうち、隣り合う２つの顔領域を用いて分割線を決定する。図３（ａ）に示すように、スルー画像ＭＩ１から、２つの顔領域６３，６４が求められている場合、スルー画像ＭＩ１のＸ方向において、顔領域６３の中心６３ｃからの距離Ｄ１と顔領域６４の中心６４ｃからの距離Ｄ２とが等しくなる位置を通るＹ方向に伸びる直線を分割線７２として設定する。この分割線７２を設定することで、スルー画像ＭＩ１が、斜線で囲まれる領域７３と、斜線で囲まれる領域７４とに分割される。ＣＰＵ５０は、分割線７２で分割される左方の領域７３を１つ目の対象範囲７３として設定する。
【００４２】
ＣＰＵ５０は、分割線７２を設定した後、該分割線７２を−Ｘ方向に数画素分ずらすことで重畳線７４を設定する。この重畳線７４によりスルー画像ＭＩ１を分割したときの右方の領域７６を２つ目の対象範囲として設定する。これにより、それぞれの顔領域が含まれるように各対象範囲が設定される。
【００４３】
ステップＳ１０４は、レリーズボタン５６が操作されたか否かを判定する処理である。レリーズボタン５６が操作されると、レリーズボタン５６からの操作信号がＣＰＵ５０に入力されることから、ＣＰＵ５０は、このレリーズボタン５６からの操作信号が入力されたか否かを判定することで、レリーズボタン５６が操作されたか否かを判定する。レリーズボタン５６からの操作信号が入力されない場合には、このステップＳ１０４の判定がＮｏとなり、ステップＳ１０１に進む。一方、レリーズボタンからの操作信号が入力された場合には、ステップＳ１０４の処理はＹｅｓとなり、ステップＳ１０５に進む。なお、このステップＳ１０４の判定がＮｏとなる場合には、ステップＳ１０１〜ステップＳ１０３の処理が繰り返し実行される。
【００４４】
ステップＳ１０５は、対象範囲を選択する処理である。まず、ＣＰＵ５０は、スルー画像データを用いたエッジ処理を実行する。このエッジ処理を実行することで、検出された顔領域における焦点状態などが検出される。つまり、ピントが合う顔領域の場合にはエッジ量が多くなり、ピントが合わない顔領域の場合にはエッジ量が少なくなる。このステップＳ１０５においては、検出された顔領域のうち、エッジ量の高い顔領域が含まれる対象範囲から順に選択する。
【００４５】
ステップＳ１０６は、一回目の撮像であるか否かを判定する処理である。ステップＳ１０５により選択された対象範囲が最初に選択された対象範囲である場合には、一回目の撮像であると判定される。この場合、ステップＳ１０６の処理がＹｅｓとなり、ステップＳ１０７に進む。一方、ステップＳ１０５により選択された対象範囲が二番目以降に選択された対象範囲である場合には、一回目の撮像でないと判定される。この場合、ステップＳ１０６の処理がＮｏとなり、ステップＳ１０８に進む。
【００４６】
ステップＳ１０７は、ＡＥ処理である。このステップＳ１０７の処理は、最初に選択された対象範囲を対象とした画像データを取得する場合にのみ実行される。つまり、最初に選択された対象範囲を対象とした画像データを取得する場合にのみ、このステップＳ１０７を実行することで、各対象範囲に対するＡＥ処理を行った場合に発生する、対象範囲毎の色合いの違いの発生を防止している。
【００４７】
ステップＳ１０８はＡＦ処理である。選択された対象範囲においては、顔領域が含まれることから、このステップＳ１０８におけるＡＦ処理においては、対象範囲に含まれる顔領域をＡＦエリアに設定した上で焦点調節が実行される。この焦点調節時には、ＣＰＵ５０は、ＡＦエリアにおける焦点評価値が最も高くなる位置までフォーカスレンズ２２を光軸Ｌに沿って移動させる。なお、予めフォーカスレンズ２２の移動範囲は予め設定されていることから、この移動範囲内で焦点評価値が最も高くなるのであれば、そのときの位置でフォーカスレンズ２２を停止させる。一方、移動範囲内を超えたときに焦点評価値がもっとも高くなる場合には、ＡＦエリアを顔領域から対象範囲の中心の領域に再設定し、再度焦点調節を実行する。
【００４８】
ステップＳ１０９は、選択された対象範囲の画像を取得する処理である。ステップＳ１０８において露出条件が決定されていることから、この露出条件を用いて、対象範囲の画像データを取得する。この際、撮像素子１６の全ての画素を用いて信号電荷の蓄積を行って、対象範囲に該当する画素に蓄積される信号電荷のみを出力することで対象範囲に対する画像データをバッファメモリ３５に記録するようにしても良いし、全ての画素に蓄積される信号電荷を出力し、対象範囲に該当する画素の画素信号のみを対象範囲に対する画像データとしてバッファメモリ３５に記録することも可能である。なお、バッファメモリ３５に記録された対象範囲に対する画像データは、画像処理回路４０により読み出され、上述した画像処理が実行された後、内蔵メモリ４３に書き込まれる。
【００４９】
ステップＳ１１０は、全対象範囲の画像を取得したか否かを判定する処理である。全対象範囲に対する画像を取得している場合には、このステップＳ１１０の判定はＹｅｓとなり、ステップＳ１１１に進む。一方、全対象範囲に対する画像を取得していない場合には、ステップＳ１１０の判定はＮｏとなり、ステップＳ１０５に戻る。この場合、全ての対象範囲に対する画像が取得されるまで、ステップＳ１０５、ステップＳ１０６、ステップＳ１０８及びステップＳ１０９の処理の順で実行される。これにより、同一の露出条件下で全ての対象範囲に対する画像が取得される。
【００５０】
ステップＳ１１１は、得られた画像データを合成する処理である。画像処理回路４０は、各対象範囲により得られた画像データを合成することで、撮像範囲の全範囲における合成画像を生成する。上述したように、一つの対象範囲を除く他の対象範囲においては、隣り合う対象範囲と重畳する領域（図３（ｂ）に示す符号７５）を有していることから、画像処理回路４０は、該領域が隣り合う対象範囲と重畳するように、対象範囲に対する画像をそれぞれ重畳させる。この画像を重畳させる際に例えば周知のファジー理論を用いて、隣り合う画像の相対位置を決定した後、これら画像を合成する。なお、ファジー理論を用いて隣り合う画像の相対位置を決定する他に、例えば重畳される領域の輝度変化をそれぞれ求め、これら輝度変化が一致するように隣り合う画像の相対位置を決定する。これにより、合成画像データが生成される。各対象範囲を対象として取得された画像データは、該対象範囲に含まれる顔領域にピントが合うように取得されたデータであることから、合成画像データは、撮像範囲内の全ての顔に対してピントが合う画像データとなる。
【００５１】
ステップＳ１１２は、合成画像データを記録する処理である。画像処理回路４０は、生成された合成画像データに対して圧縮・伸張処理を施した後、露出条件を示す撮像情報やデジタルカメラ１０のカメラ情報などを付帯情報とした画像ファイルを生成し、記憶媒体４５に記録する。
【００５２】
図５に示すように、例えば顔領域が２つ（符号６５，６６）が特定される場合には、撮像範囲が対象範囲７３と対象範囲７６とに分割される。そして、例えば、顔領域６５と、顔領域６６とのエッジ抽出処理で顔領域６５におけるエッジ量が高い場合には、一番目の撮像に用いる対象範囲として対象範囲７３が選択される。この選択により、一番目の撮像においては、ステップＳ１０７におけるＡＥ処理では、対象範囲７３に対する露出条件が決定される。そして、ステップＳ１０８において顔領域６５をＡＦエリアとした焦点制御が実行された後、ステップＳ１０９において撮像が行われ、対象範囲７３に対する画像ＰＩ１が取得される。
【００５３】
図５においては、対象範囲７３の他に、対象範囲７６が設定されていることから、二番目の撮像に用いる対象範囲として対象範囲が選択される。この場合、一番目の撮像と同条件の露出条件を用いることから、ステップＳ１０７におけるＡＥ処理は実行されない。そして、ステップＳ１０８において顔領域６６をＡＦエリアとした焦点制御が実行された後、ステップＳ１０９において撮像が行われ、対象範囲７６に対する画像ＰＩ２が取得される。これら撮像の後、画像ＰＩ１と画像ＰＩ２とを合成することで、撮像範囲の全範囲に亘る合成画像ＣＩが生成される。
【００５４】
本実施形態では、設定される対象範囲のうち、１つの対象範囲を除く対象範囲を隣り合う対象範囲に重畳させるように設定しているが、撮像時に像ブレが発生しないのであれば、隣り合う対象範囲を重畳させずに合成することも可能である。
【００５５】
本実施形態では、隣り合う対象範囲の画像を重畳させて合成するとしているが、この合成の際に、重畳する領域（図３（ｂ）の符号７５）に対して透かし処理を施した後、隣り合う対象範囲の画像を重畳させることも可能である。
【００５６】
本実施形態では、隣り合う画像を重畳させて合成するとしか記載していないが、隣り合う画像を重畳させて合成する処理を行った後に、該合成された画像に対してトリミング処理を施すことも可能である。つまり、各対象範囲に対応する画像を合成した場合には、その合成時に隣り合う画像の相対位置が上下方向にずれている場合がある。このような状態の画像データを用いた表示を行った場合、上下方向のズレがそのまま残る画像となり、画像自体の見栄えが悪いことから、例えば上下方向に生じるずれ量を差し引いた範囲をトリミングし、合成画像データとして記録することも可能である。
【００５７】
本実施形態では、スルー画像から検出される顔領域のそれぞれが対象範囲に含まれるように、該対象範囲を設定しているが、撮影を行うデジタルカメラから撮像範囲に含まれる顔までの距離（以下、被写体距離）は様々であり、検出された顔毎に対象範囲を設定すると、１回の撮影時に数多くの画像を取得することが必要であり、１回の撮影に係る時間が長くなってしまう。このため、スルー画像から検出される顔領域のうち、近接する顔領域のそれぞれにおける焦点距離や被写体距離が近似する場合には、それら顔領域を１つの顔領域として統合した上で、対象範囲を設定することも可能である。
【００５８】
以下、焦点距離が近似する顔領域を統合する場合について説明する。この場合のデジタルカメラの構成は、図１に示すデジタルカメラの構成と同一であるが、ＣＰＵ５０の機能として、領域統合部を有する点で異なる。なお、図６においては、領域統合部として符号８１を付し、他の構成については本実施形態と同一の構成又は機能と同一であることから、同一の符号を付して説明する。
【００５９】
ＣＰＵ５０の機能となる領域統合部８１は、顔検出部５１により顔が検出されたことにより特定される顔領域のうち、近接する顔領域における焦点距離が近似する場合に、該近接する顔領域を１つの顔領域として統合する。なお、近似するとは、特定される顔領域に対して求められる焦点距離が、近接する顔領域の焦点距離に対して設定される所定の範囲に含まれる状態を示す。図７に示すように、取り込まれたスルー画像ＭＩ２から４つの顔領域８５，８６，８７，８８が特定された場合には、これら顔領域８５，８６，８７，８８のそれぞれに対する焦点距離を求める。なお、焦点距離を求める方法としては、撮像光学系１５のフォーカスレンズ２２を光軸Ｌ方向に移動させ、顔領域の焦点評価値が高くなるフォーカスレンズ２２の位置を求めた上で、各顔領域に対する焦点距離を求めることが挙げられる。
【００６０】
例えば、特定された顔領域８５，８６，８７，８８のうち、顔領域８６における焦点距離が近接する顔領域８７の焦点距離に対して所定の範囲内となる場合には、顔領域８６と顔領域８７との焦点距離が近似すると判定し、これら顔領域８６，８７を一つの顔領域８９として統合する。この場合、範囲設定部８２は、顔領域８５、８８と、統合した顔領域８９とのそれぞれが各対象範囲にそれぞれ含まれるようにスルー画像ＭＩ２、つまり撮像範囲を分割することで、対象範囲を設定する。
【００６１】
以下、この場合の撮像時の処理の流れを図８のフローチャートに基づいて説明する。
【００６２】
ステップＳ２０１は、スルー画像データを取得する処理である。このステップＳ２０１の処理は、本実施形態のステップＳ１０１の処理と同一であるため、ここではステップＳ２０１の処理についての説明は省略する。
【００６３】
ステップＳ２０２は、顔検出及び顔領域を特定する処理である。このステップＳ２０２の処理も、本実施形態のステップＳ１０２の処理と同一であるため、その詳細は省略する。図７（ａ）に示すように、ステップＳ２０２の処理を行って、４個の顔が検出された場合には、この４個の顔に対する顔領域８５，８６，８７，８８がそれぞれ特定される。
【００６４】
ステップＳ２０３は、顔領域毎の焦点距離を算出する処理である。ＣＰＵ５０は、フォーカスレンズ２２を光軸Ｌ方向に移動させて、ステップＳ２０２の処理で特定された顔領域における焦点評価値が最も高くなるときのフォーカスレンズ２２の位置を求めることで、顔領域に対する焦点距離を算出していく。
【００６５】
ステップＳ２０４は、近接する顔領域における焦点距離が近似するか否かを判定する処理である。言い換えれば、近接する顔領域のうち、焦点距離が近似する顔領域があるか否かを判定することで、このステップＳ２０４の処理が実行される。このステップＳ２０４の処理においては、ＣＰＵ５０は、ステップＳ２０３にて算出された焦点距離を用いて、近接する顔領域のうち、焦点距離が近似する顔領域があるか否かを判定する。この判定で、近接する顔領域のうち、焦点距離が近似する顔領域がある（ステップＳ２０４の判定がＹｅｓとなる）場合には、ステップＳ２０５に進む。一方、近接する顔領域のうち、焦点距離が近似する顔領域がない（ステップＳ２０４の判定がＮｏとなる）場合には、ステップＳ２０６に進む。
【００６６】
ステップＳ２０５は、顔領域を統合する処理である。ステップＳ２０５の処理は、ステップＳ２０４の判定処理で、近接する顔領域のうち、焦点距離が近似する顔領域がある場合に実行される。ＣＰＵ５０は、近接する顔領域のうち、焦点距離が近似する顔領域を一つの顔領域に統合する。つまり、図７（ｂ）に示すように、特定された４個の顔領域のうち、顔領域８６，顔領域８７の焦点距離が近似する場合には、これら顔領域８６及び顔領域８７を一つの顔領域８９として統合する。
【００６７】
ステップＳ２０６は、対象範囲を設定する処理である。このステップＳ２０６の処理は、本実施形態のステップＳ１０３と同一の処理であることから、ここでは、詳細を省略する。図７（ｂ）に示すように、スルー画像ＭＩ２から特定される顔領域として顔領域８５、顔領域８８及び統合された顔領域８９となる場合、スルー画像ＭＩ２をこれら顔領域がそれぞれの対象範囲に含まれるように分割、つまりスルー画像ＭＩ２を３分割する。なお、この３分割する際の方法は、Ｘ方向において顔領域８５の中心からの距離と、顔領域８９の中心からの距離とが等しくなる位置を通るＹ方向の直線を分割線９１とし、Ｘ方向において顔領域８９の中心からの距離と、顔領域８６の中心からの距離とが等しくなる位置を通るＹ方向の直線を分割線９２として決定する。そして、スルー画像ＭＩ２を分割線９１で分割したときの左方の領域９３を１つ目の対象範囲として設定する。
【００６８】
また、分割線９１、９２を−Ｘ方向に数画素分ずらした線を重畳線９６，９７とし、スルー画像ＭＩ２のうち、Ｘ方向において、重畳線９６と分割線９２との間の領域９４を２つ目の対象範囲とし、スルー画像ＭＩ２を重畳線９７で分割したときの右方の領域９５を３つ目の対象範囲として設定する。
【００６９】
ステップＳ２０７は、レリーズボタンが操作されたか否かを判定する処理である。なお、このステップＳ２０７の処理は、Ｓ１０４と同一の処理であることから、ここでは詳細を省略する。そして、このステップＳ２０７の判定で、レリーズボタン５６が操作されたと判定された場合に、ステップＳ２０８以降の処理が実行される。なお、ステップＳ２０８以降の処理は、本実施形態のステップＳ１０５以降の処理であることから、ここでは詳細を省略する。これにより、各対象範囲を対象とする画像が取得された後、これら画像を合成することで、撮像範囲の全範囲に亘った合成画像を生成することができる。この場合、対象範囲を設定する際に重畳線を決定している場合には、画像合成時に対象範囲毎の画像をそれぞれ隣り合う画像に重畳させて合成すればよい。一方、分割線のみを用いて対象範囲を設定している場合には、対象範囲毎の画像を重畳せずに合成すればよい。また、この合成画像ＣＩを生成したときに、各画像がＹ方向にずれて合成されている場合には、例えば上下方向に生じるずれ量を差し引いた範囲をトリミングすればよい。
【００７０】
この実施形態の場合には、近接する顔領域のうち、焦点距離が近似する顔領域を統合する場合について説明しているが、焦点距離の他に、撮影時のデジタルカメラから、検出された顔を有する被写体までの距離（以下、被写体距離）を測定し、被写体距離が近似する顔領域を統合することも可能である。なお、被写体までの距離は、測距センサを用いて実際に、検出された顔を含む被写体までの距離を測定しても良いし、特定される顔領域毎の焦点調節を行った際の撮像光学系の各レンズの位置から、実際の被写体までの距離を求めてもよい。また、この他に、顔が検出されたときに特定される顔領域の大きさを比較し、比較した顔領域の大きさが近似する場合に、検出された顔が同一の焦点距離、又は被写体距離にあると判定し、これら顔領域を統合することも可能である。
【００７１】
なお、本実施形態では、被写体として複数の人物を挙げて説明しているが、被写体としては、複数の人物の他に、建物や自動車や列車などが挙げられる。この場合、撮像範囲をＸ方向に等分割した分割線を設定し、この分割線を用いて対象範囲を設定する、或いは、分割線の他に重畳線を設定し、少なくとも１つの範囲を除く対象範囲を隣り合う対象範囲と重複するように設定すればよい。
【００７２】
本実施形態では、スルー画像から特定される全ての顔領域がそれぞれの対象範囲に含まれるように、該対象範囲を設定しているが、これに限定する必要はなく、例えばスルー画像から特定される顔領域の中には、焦点調節を行ってもピントが合わない顔領域があることから、スルー画像から特定される顔領域から、焦点調節を行ったときにピントが合う顔領域のみを使用した対象範囲の設定を行うようにすることも可能である。
【００７３】
また、この他に、予め被写体の顔データをデジタルカメラに登録できるようにしておき、スルー画像から検出された顔のうち、上記顔データと一致する顔のみを対象とした上で、本発明を実施することも可能である。
【００７４】
本実施形態では、スルー画像をＸ方向に関して複数分割することで対象範囲を設定する内容を示しているが、例えばスルー画像をＹ方向に複数分割することも可能である。しかしながら、Ｙ方向の分割数を多くすると、分割された対象範囲におけるＹ方向の画素数が少なくなることから、顔領域がＹ方向に複数並んでいる場合には、Ｙ方向に関する分割を行わないようにすることも可能である。また、仮に顔領域がＹ方向に複数並んでいる場合には、顔領域を統合するなどして、Ｙ方向に関する分割を行わないようにする。
【００７５】
本実施形態では、デジタルカメラを正位置（横向き）で撮影した場合、つまり取得されるスルー画像においてＸ方向が長手方向となるように撮影し、Ｘ方向に関して分割する場合について説明している。しかしながら、デジタルカメラを縦向き（正位置に対して撮影光軸を中心として９０°回転した向き）で撮影する場合もあることから、デジタルカメラにデジタルカメラの向きを検出するセンサなどを搭載しておき、デジタルカメラの撮影時に該デジタルカメラの向きを検出した上で、スルー画像を分割する方向を決定することも可能である。
【符号の説明】
【００７６】
１０…デジタルカメラ、１５…撮像光学系、２２…フォーカスレンズ、４０…画像処理回路、４１…画像生成部、４５…記憶媒体、５０…ＣＰＵ、５１…顔検出部、５２…範囲設定部、５３…ＡＥ処理部、５４…ＡＦ処理部、８１…領域統合部
【先行技術文献】
【特許文献】
【００７７】
【特許文献１】特開２００７−３３６４１１号公報
【図１】
2010178042.tif 000003
【図２】
2010178042.tif 000004
【図３】
2010178042.tif 000005
【図４】
2010178042.tif 000006
【図５】
2010178042.tif 000007
【図６】
2010178042.tif 000008
【図７】
2010178042.tif 000009
【図８】
2010178042.tif 000010