(57)【要約】      （修正有）【課題】各被写体の表情に基づいて適切な撮影開始基準を決定する。【解決手段】記憶部１１９のＲＡＭに格納された表情情報に含まれる表情に基づいて撮影シーンを決定する。決定した撮影シーンは記憶部１１９のＲＡＭに格納される。各被写体に対応する表情の評価値の各々のうち、ＣＰＵ１１２が任意に選択した１つの被写体（カレント被写体）に対応する評価値が、予め記憶部１１９に記憶された複数種類の閾値のうち決定されたシーンに対応するものとしてＣＰＵ１１２が選択・設定した基準値（笑顔閾値）を超えたか否かを判断する。超えた場合は、カレント被写体はシーンにあった表情の被写体と判断する。【選択図】図１
2010081562.tif 000002
【特許請求の範囲】
【請求項１】
撮像レンズを介して受光した被写体像を継続的に光電変換して得られた電気信号を順次画像データに変換して出力する撮像部と、
前記撮像部の出力した第１の画像データに基づいて、各被写体の表情を示す評価値を算出する第１評価値算出部と、
前記第１評価値算出部の算出した各被写体の評価値に基づいて撮影シーンを判断する撮影シーン判断部と、
前記撮像部の出力した第１の画像データ以降に出力された第２の画像データに基づいて、各被写体の表情を示す評価値を算出する第２評価値算出部と、
前記撮影シーン判断部の判断した撮影シーンに対応するシーン確定閾値を設定する閾値設定部と、
前記第２評価値算出部が算出した各被写体の評価値が、前記閾値設定部の設定したシーン確定閾値を上回ったか否かに応じ、前記各被写体が前記撮影シーンに適した状態である確定被写体であるか前記撮影シーンに適した状態でない未確定被写体であるかを判断する撮影状態確定判断部と、
を備える撮像装置。
【請求項２】
前記撮影状態確定判断部が前記各被写体が確定被写体であると判断したことに応じ、前記撮像部による本撮影を開始または許可する撮像制御部を備える請求項１に記載の撮像装置。
【請求項３】
前記撮影状態確定判断部は、前記未確定被写体の評価値が前記シーン確定閾値に達しないまま所定時間が経過した場合、前記未確定被写体を前記確定被写体と判断する請求項１または２に記載の撮像装置。
【請求項４】
前記撮影状態確定判断部は、前記未確定被写体の評価値が前記シーン確定閾値に達しないまま前記撮影シーン判断部の判断した撮影シーンに対応する所定時間が経過した場合、前記未確定被写体を前記確定被写体と判断する請求項３に記載の撮像装置。
【請求項５】
前記第２の画像データに基づいて前記確定被写体の位置または背景が変化したか否かを判断する変化判断部を備え、
前記撮影状態確定判断部は、前記撮像部による本撮像の前に前記変化判断部が前記確定被写体の位置または背景が変化したと判断したことに応じて前記確定被写体を未確定被写体と判断する請求項１〜４のいずれかに記載の撮像装置。
【請求項６】
前記確定被写体の表情を示す確定画像を所定の記憶媒体に保存する確定画像保存部と、
前記所定の記憶媒体に保存された確定画像を前記撮像部から順次出力された画像であるスルー画像に合成して所定の表示装置に出力する表示制御部と、
を備える請求項１〜５のいずれかに記載の撮像装置。
【請求項７】
撮影モードの設定を受け付けるモード設定部を備え、
前記閾値設定部は、前記撮影モード設定部の設定した撮影モードおよび前記撮影シーン判断部の判断した撮影シーンに対応したシーン確定閾値を設定する請求項１〜６のいずれかに記載の撮像装置。
【請求項８】
撮像レンズを介して受光した被写体像を継続的に光電変換して得られた電気信号を順次画像データに変換して出力する撮像部を備えた撮像装置が、
前記撮像部の出力した第１の画像データに基づいて、各被写体の表情を示す評価値を算出するステップと、
前記算出した各被写体の評価値に基づいて撮影シーンを判断するステップと、
前記撮像部の出力した第１の画像データ以降に出力された第２の画像データに基づいて、各被写体の表情を示す評価値を算出するステップと、
前記判断した撮影シーンに対応するシーン確定閾値を設定するステップと、
前記算出した各被写体の評価値が、前記閾値設定部の設定したシーン確定閾値を上回ったか否かに応じ、前記各被写体が前記撮影シーンに適した状態である確定被写体であるか前記撮影シーンに適した状態でない未確定被写体であるかを判断するステップと、
を実行する撮像方法。
【請求項９】
請求項８に記載の撮像方法を撮像装置に実行させるための撮像プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影状況を判断する撮像装置、方法およびプログラムに関する。
【背景技術】
【０００２】
特許文献１は、ＣＰＵは、撮影された動画の各コマ画像の被撮影者の顔画像を抽出して、各顔画像毎に笑顔評価、端正評価を行い、各コマ画像について、その画像中の各被撮影者の総合笑顔評価値及び総合端正評価値を算出する。また、ＣＰＵは、コマ画像のうちの一つを解析し、撮影した画像の場面を判断し、当該撮影がカジュアルな場面の撮影であると判断すると、優先評価値を笑顔評価値として設定し、フォーマルな場面の撮影であると判断すると、優先評価値を端正評価値として設定し、優先評価値の高い順に各コマ画像に順位を設定する。そして、順位に基づいて各コマ画像をモニタに表示させる。
【０００３】
特許文献２では、撮像によって得られた画像信号が記録媒体に記録されるまでの期間において、顔検出部は、その画像信号から人物の顔を検出し、表情評価部は、検出された顔の表情を評価して、例えば笑顔と通常の表情などの異なる表情の間において一方の表情にどれだけ近いかの度合いを示す表情評価値を算出する。報知制御部は、算出された表情評価値に応じた報知情報を生成して、例えばディスプレイやＬＥＤ発光部、音声出力部などを通じて、被撮影者に対して報知するように制御する。さらに、表情評価部は、表情評価値が所定のしきい値を超えた場合には、記録動作制御部に対して、画像信号を記録媒体に記録させるように要求する。
【０００４】
特許文献３では、複数人の被写体がいる場合、画像を複数回撮影し、各被写体の笑顔度の高い顔を抽出して、１枚の画像に合成する。
【０００５】
特許文献４では、カメラにより撮影された画像から人物の被写体の表情を表す形状を繰り返し抽出し、抽出された被写体の形状と所定の形状との一致度を算出して、算出された一致度が所定の値を越えたときに被写体を撮影する。
【０００６】
特許文献５は、抽出した顔画像に表情を形成する特徴点を設定し、設定されたこれらの特徴点の間隔や位置を検出することで、各顔画像の特徴量を算出する。例えば、画像中の人物の顔を構成する特定の部位を識別して顔の領域を割り出し、顔の領域の割り出し後に、人物の表情を形成する両眉， 両目， 口の各部を識別して、両眉， 両目， 口の各部及び周辺に特徴点を設定する。
【０００７】
特許文献６では、目が閉じていると判断された目領域を有する顔領域内部の属性を変更し、属性の変更された顔領域の映像信号を生成させ、これを記録用画像と合成してＬＣＤに表示させる。また、記録用画像の中から選択された所望の画像の「切り抜き顔領域」を目つぶりの検出された顔領域に貼り付けるとする。
【特許文献１】特開２００４−４６５９１号公報
【特許文献２】特開２００８−４２３１９号公報
【特許文献３】特開２００７−２９９２９７号公報
【特許文献４】特開２００４−２９４４９８号公報
【特許文献５】特開２００５−３１４２３号公報
【特許文献６】特開２００８−１３１０９４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
特許文献１では、単一の被写体の評価は可能であるが、複数の被写体の総合的評価はできない。
【０００９】
特許文献２では、所定数以上の被写体が笑顔になった瞬間に撮影を行うが、笑顔でない人物も含まれてしまう問題がある。
【００１０】
特許文献３では、撮影画像の顔部分を別途撮影された各人の笑顔の顔で置き換えるが、抽出した顔と体の合成などが精度よく行われない問題がある。
【００１１】
特許文献４では、被写体が所定の表情になったときに自動的に撮影するが、複数の被写体については言及がない。
【００１２】
特許文献５では、表情が撮影に適しているかを判定しない。
【００１３】
本発明は、各被写体の表情に基づいて適切な撮影開始基準を決定することを目的とする。
【課題を解決するための手段】
【００１４】
本発明に係る撮像装置は、撮像レンズを介して受光した被写体像を継続的に光電変換して得られた電気信号を順次画像データに変換して出力する撮像部と、撮像部の出力した第１の画像データに基づいて、各被写体の表情を示す評価値を算出する第１評価値算出部と、第１評価値算出部の算出した各被写体の評価値に基づいて撮影シーンを判断する撮影シーン判断部と、撮像部の出力した第１の画像データ以降に出力された第２の画像データに基づいて、各被写体の表情を示す評価値を算出する第２評価値算出部と、撮影シーン判断部の判断した撮影シーンに対応するシーン確定閾値を設定する閾値設定部と、第２評価値算出部が算出した各被写体の評価値が、閾値設定部の設定したシーン確定閾値を上回ったか否かに応じ、各被写体が撮影シーンに適した状態である確定被写体であるか撮影シーンに適した状態でない未確定被写体であるかを判断する撮影状態確定判断部と、を備える。
【００１５】
撮影状態確定判断部が各被写体が確定被写体であると判断したことに応じ、撮像部による本撮影を開始または許可する撮像制御部を備える。
【００１６】
撮影状態確定判断部は、未確定被写体の評価値がシーン確定閾値に達しないまま所定時間が経過した場合、未確定被写体を確定被写体と判断する。
【００１７】
撮影状態確定判断部は、未確定被写体の評価値がシーン確定閾値に達しないまま撮影シーン判断部の判断した撮影シーンに対応する所定時間が経過した場合、未確定被写体を確定被写体と判断する。
【００１８】
第２の画像データに基づいて確定被写体の位置または背景が変化したか否かを判断する変化判断部を備え、撮影状態確定判断部は、撮像部による本撮像の前に変化判断部が確定被写体の位置または背景が変化したと判断したことに応じて確定被写体を未確定被写体と判断する。
【００１９】
確定被写体の表情を示す確定画像を所定の記憶媒体に保存する確定画像保存部と、所定の記憶媒体に保存された確定画像を撮像部から順次出力された画像であるスルー画像に合成して所定の表示装置に出力する表示制御部と、を備える。
【００２０】
撮影モードの設定を受け付けるモード設定部を備え、閾値設定部は、撮影モード設定部の設定した撮影モードおよび撮影シーン判断部の判断した撮影シーンに対応したシーン確定閾値を設定する。
【００２１】
本発明に係る撮像方法は、撮像レンズを介して受光した被写体像を継続的に光電変換して得られた電気信号を順次画像データに変換して出力する撮像部を備えた撮像装置が、撮像部の出力した第１の画像データに基づいて、各被写体の表情を示す評価値を算出するステップと、算出した各被写体の評価値に基づいて撮影シーンを判断するステップと、撮像部の出力した第１の画像データ以降に出力された第２の画像データに基づいて、各被写体の表情を示す評価値を算出するステップと、判断した撮影シーンに対応するシーン確定閾値を設定するステップと、算出した各被写体の評価値が、閾値設定部の設定したシーン確定閾値を上回ったか否かに応じ、各被写体が撮影シーンに適した状態である確定被写体であるか撮影シーンに適した状態でない未確定被写体であるかを判断するステップと、を実行する。
【００２２】
この撮像方法を撮像装置に実行させるための撮像プログラムも本発明に含まれる。
【発明の効果】
【００２３】
この発明によると、各被写体の表情の評価値に基づいて撮影シーンを決定し、その後、その撮影シーンに対応した閾値を各被写体の評価値が上回っているか否かで各被写体が撮影に適した状態となったか否かを判断する。すなわち、被写体の表情を全体的に評価することで、これからどのような表情の画像を撮影しようとしているかの基準を適切に設定できる。
【発明を実施するための最良の形態】
【００２４】
＜第１実施形態＞
図１は本発明の好ましい実施形態に係るデジタルカメラ１０の機能ブロック図である。まず、同図のデジタルカメラ１０において、情報処理装置（ＣＰＵの他、ＣＰＵの情報処理に必要な周辺機器、例えばＲＯＭ、ＲＡＭ、Ｉ／Ｏなども含まれる。便宜上これらをまとめてＣＰＵと呼ぶ）１１２は、レリーズスイッチ、モードダイヤル等を含む操作部１１３の各種のボタンやキーからの入力に基づいてデジタルカメラ１０内の各回路を統括制御する。ＣＰＵ１１２の実行するプログラムは記憶部１１９のＲＯＭに記憶される。
【００２５】
撮像部１０２は、ズームレンズおよびフォーカスレンズを含む撮像レンズ、撮像レンズを駆動するモータ、ＣＰＵ１１２の指令に従ってモータを駆動するモータドライバ、撮像レンズの結像した被写体像を受光して光電変換し、アナログ画像信号として出力するＣＣＤやＣＭＯＳなどの固体撮像素子を含む。
【００２６】
いま、モードダイヤルによって静止画撮影モードが設定されると、ＣＰＵ１１２は、撮像部１０２から順次得られるコマ画像（スルー画）を表示部１１０に表示させ、撮影画角を確認可能にする。
【００２７】
撮像部１０２は、Ａ／Ｄコンバータ、ゲイン調整回路、画像信号処理回路、ホワイトバランス補正回路、ガンマ補正回路、ＹＣ処理回路、輝度・色差信号生成回路、シャープネス補正回路、コントラスト補正回路、撮影画像に対する輪郭補正を含む画像処理を行う輪郭処理部、画像のノイズ低減処理を行うノイズ低減処理部等を含む画像処理手段を含み、ＣＰＵ１１２からのコマンドに従って画像信号を処理し、デジタル画像データに変換する。
【００２８】
撮像部１０２から出力された画像データは、輝度信号（Ｙ信号）及び色差信号（Ｃｒ、Ｃｌ信号）に変換されるとともに、ガンマ補正等の所定の処理が施された後、記憶部１１９のＶＲＡＭに格納される。
【００２９】
一方、画像データは、ハイパスフィルタ（ＨＰＦ）１２５でＧ画素成分のみ抽出される。そして、積算部１２６で抽出されたＧ画素成分に積算処理が施されてＣＰＵ１１２に送られる。ＣＰＵ１１２は、積算部１２６から送られた１画面分の分割領域（例えば６４分割）の画像データの内、十字キーで任意に設定された被写体中心付近のエリア（例えば４エリア）の平均値を算出し、これをオートフォーカス（ＡＦ）評価値とする。ＡＦ評価値は、所定周期の経過毎に算出され、算出の度に記憶部１１９に更新記憶される。ＣＰＵ１１２は、ＡＦ評価値に従って被写体の合焦するレンズ位置を判定する。その判断方法は任意であるが、例えばＡＦ評価値が極大点の近傍に略到達しているか否かを判断し、極大点に略達している場合は合焦していると判断し、その他の場合は合焦していないと判断する（コントラストＡＦ）。あるいは、ＡＦ評価値が所定の閾値を超えていれば合焦していると判断することもできる。
【００３０】
撮影画像を表示部１１０にモニタ出力する場合、ＶＲＡＭからＹＣ信号が読み出され、ビデオエンコーダ１３４に送られる。ビデオエンコーダ１３４は、入力されたＹＣ信号を表示用の所定方式の信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換して表示部１１０に出力する。
【００３１】
所定のフレームレートで処理された各フレームのＹＣ信号は、ＶＲＡＭに順次書き込まれ、そのＹＣ信号から生成される映像信号が表示部１１０に供給されることにより、撮像中の映像がリアルタイムに表示部１１０に表示される。ユーザは、表示部１１０に表示される映像（スルー）によって撮影画角を確認できる。
【００３２】
ここで、レリーズスイッチが半押しされると、ＡＥ及びＡＦ処理が開始される。ＡＥ／ＡＦ処理が行われ、レリーズスイッチが全押しされることによって記録用の撮影動作がスタートする。レリーズスイッチの全押しに応動して取得された記録用の画像データは、画像記憶部１３２に格納される。動画の取込みの場合には、上記のような画像の取込みが連続的に行われると共に、各画像はフレーム画像（コマ画像）として動画を構成する。動画の取り込みは、レリーズスイッチの１回目の全押しで開始し、２回目の全押しで終了する。あるいは全押しが継続している間に限って動画の取り込みを行う。動画の取得に合わせて、マイク１７から集音された音も同期して取り込むことができる。
【００３３】
画像記憶部１３２に格納されたＹ／Ｃ信号は、ＣＰＵ１１２によって所定のフォーマット（例えば静止画ならばExif（Exchangeable Image File Format）、動画ならばＭＰＥＧ４）に従って圧縮された後、外部記録媒体にファイルとして記録される。画像はExifファイルのデータ部分に記録される。ＣＰＵ１１２は上記Exifファイルのヘッダ部分の所定のタグ（Imagedescriptionタグなど）に撮影日時情報などを記録する。記録された画像は、通信インターフェース７６を介して接続されたパソコン２００ａやプリンタ２００ｂやＰＤＡなどの各種電子機器２００に送信することもできる。
【００３４】
プリンタ２００ｂは、カメラ１０やパソコン２００ａから受信した静止画像を普通紙や印画紙などの紙媒体で構成される台紙に所定の配置でプリントする。所定の配置で配列された静止画像は、アドビシステムズ社の「ＰＤＦ」のような電子的媒体としてディスプレイや記録メディアやインターネット経由で接続されたパソコンなどに出力することもできる。要するに、作成された画像プリントの出力先は、特定のものに限定されない。本願明細書では、所望の画像が所望の位置に配置されうる電子的媒体の作成フォームも台紙と呼ぶ。
【００３５】
モードダイヤルによって動画撮影モードが設定されたときには、レリーズスイッチの全押し操作に連動して動画記録動作がスタートし、もう一度レリーズスイッチを押下すると動画記録動作が停止する。レリーズスイッチを押下継続している期間、録画動作を行い、押下解除によって録画を停止するようにしてもよい。動画データは、例えばＭＰＥＧ４形式によって画像記憶部１３２に記憶される。
【００３６】
モードダイヤルにより再生モードが選択されると、画像記憶部に記憶されている最終の画像ファイル（最後に記録されたファイル）の圧縮データが読み出される。この読み出された画像圧縮データは、ＣＰＵ１１２によって非圧縮のＹＣ信号に伸長され、ビデオエンコーダ１３４に加えられる。ビデオエンコーダ１３４は、入力するＹＣ信号からＮＴＳＣ方式のＲＧＢカラー複合映像信号を作成し、これを表示部１１０に出力する。これにより、表示部１１０に画像が表示される。
【００３７】
表示部１１０は、カメラ１０に内蔵されたＬＣＤ、ファインダー又は映像出力端子等に接続された外部の表示装置に相当する。ビデオエンコーダ１３４は、ＯＳＤ信号発生回路１３５を含み、ＯＳＤ信号発生回路１３５はＣＰＵ１１２からの指令に応じてシャッター速度や絞り値、撮影可能枚数、撮影日時、警告指示等の文字及びアイコン等の記号を表示するための信号を発生させる。このＯＳＤ信号発生回路１３５から出力される信号は、必要に応じてビデオエンコーダ１３４が画像信号に混合して、ＬＣＤ１１４に供給する。これにより、スルー画像や再生画像に文字やアイコン等その他の画像が合成された合成画像が表示される。
【００３８】
画像記憶部１３２は、撮影で得た画像データ（静止画、動画）を保持する手段であり、例えばスマートメディアと呼ばれるメモリカードが使用される。記録メディアの形態はこれに限定されず、ＰＣカード、コンパクトフラッシュ（登録商標）、磁気ディスク、光ディスク、光磁気ディスク、メモリスティックなどでもよく、電子的、磁気的、もしくは光学的、又はこれらの組み合わせによる方式などに従って読み書き可能な媒体を用いることができる。異種・同種の記録メディアを問わず、複数の媒体を装着可能な構成にしてもよい。また、画像ファイルを保存する手段は、カメラ本体に着脱可能なリムーバブルメディアに限らず、カメラに内蔵された記録媒体（内蔵メモリ）であってもよい。
【００３９】
ＣＰＵ１１２は、カメラ１０の各回路を統括制御する制御回路であり、レリーズスイッチ、十字キー、電源スイッチ、モードダイヤル、情報位置指定キーあるいは図示しないストロボボタン、ズームキー、メニュー／実行ボタンその他を含む操作部１１３から受信する信号に基づき、対応する回路の動作を制御するとともに、表示部１１０における表示制御、ストロボ発光制御、ＡＦ補助光の発光制御、オートフォーカス（ＡＦ）制御及び自動露出（ＡＥ）制御等を行う。
【００４０】
カメラ１０の電源が電源スイッチでオンされる度に、カメラボディ内部に装着される電池からなる図示しない主要電源から、デジタルカメラ１０の各回路に電源が供給される。
【００４１】
通信インターフェース７６は、パソコンンやプリンタなどの各種情報処理機器と接続可能であり、ＣＰＵ１１２からのコマンドに従い、データの送受信を行う。
【００４２】
動き検出回路２１は、加速度センサ、ポテンショメータ、重力サンサ、傾斜センサ、姿勢センサ、電子コンパス等からなる。具体的には、動き検出回路２１は、カメラ１００の左右の動き方向及びその動作量を示す左右動き情報を出力する左右動き検出部、カメラ１００の上下の動き方向及びその動作量を示す上下動き情報を出力する上下動き検出部、カメラ１００の筐体の水平方向に対する傾き方向及びその傾き量を示す傾き動き情報を出力する傾き動き検出部を備える。動き情報は、左右動き情報、上下動き情報、および傾き動き情報ならびに各動きの検知が開始した時刻、各動きの検知が終了した時刻、各動きの検知が持続した時刻を含む。時刻情報はＲＴＣ１５が出力したものを用いる。
【００４３】
測距部８１は、例えば、撮像部１０２の撮影範囲にある被写体に対して発光部から光を発し、被写体に反射して戻ってきた光を受光し、発光部と受光部のなす角から被写体までの距離を算出する三角測距センサを採用できる。あるいはＴＯＦ（タイムオブフライト）原理を応用したセンサや、複眼カメラの距離画像（３Ｄ画像）を利用するなど、被写体の測距を行う手段であれば各種の公知技術を採用できる。
【００４４】
表示部１１０にはタッチパネル１１４が積層されている。ユーザが指やペンなどで表示部１１０の対応部分を押下すると、その押下位置を示す情報がＣＰＵ１１２に出力される。
【００４５】
ＣＰＵ１１２には、音声処理回路８４を介してスピーカ８５が接続されている。音声処理回路８４は、ＣＰＵ１１２から送られた報知音データ（シャッタ音、警告音など）に基づき、スピーカ８５を駆動させることで、報知音や、動画とともに記録された音声を出力する。
【００４６】
マイク１７から取得されたアナログ音声信号は、動画撮影モードの場合、音声処理回路８４によって増幅後デジタルデータに変換されるとともに、所定の圧縮記録形式（ＭＰＥＧ４など）で圧縮されるなどのデータ処理がなされ、取得した画像とともに画像記憶部１３２に記憶される。静止画撮影モードであっても、本撮影指示前後の音声を記録することは可能である。また、画像記憶部１３２に記憶された音声の他、記憶部１１９に予め記憶された操作音、シャッタ音、ＡＦの合焦音などの各種報知音データは、音声処理回路８４によってデコードやアナログ音声信号変換や増幅などのデータ処理がなされた後に、スピーカ８５に出力される。スピーカ８５は、音声処理回路８４から出力されたアナログ音声信号に従って音声を出力する。
【００４７】
ＲＴＣ（リアルタイムクロック）１５は、現在日時情報を出力する。この現在時刻情報は、撮像部１０２による記録用画像の撮影日時情報として、画像とともに記録することができる。
【００４８】
ＧＰＳ受信機１２０は、ＧＰＳ衛星からの電波を受信して軌道からの距離を測定することにより、カメラ１０の現在位置情報を得る。この現在位置情報は、撮像部１０２による記録用画像の撮影位置情報として、画像とともに（例えばメタ情報やヘッダ情報として）画像記憶部１３２に記憶することができる。
【００４９】
カメラ筐体裏面には、マイク１７が設置されており、これらの各種装置は、表示部１１０の周辺に設けられている。
【００５０】
画像解析部１４５は、撮像部１０２から出力された画像あるいは画像記憶部１３２の画像を解析し、その結果に応じて、表情情報、構図情報、被写体情報、画質情報などを作成し、出力する。
【００５１】
例えば、表情情報は、怒り、嫌悪、 恐れ、悲しみ（哀しみ）、幸福（笑い）、驚き、無表情（真面目）といった個々の被写体の表情を判別し、判別された各被写体の表情を示す情報である。
【００５２】
構図情報は、人物の有無、主要被写体（典型的には合焦被写体のことを指すが、顔検出のあった被写体でも可）の位置を含む。被写体情報は、顔領域の位置、被写体サイズ、人物名、被写体の動きの有無、その動き方向ならびにその動き速度、などを含む。なお、構図解析、被写体抽出、顔検出、画質解析については、各種の公知技術を用いればよい（例えば、本出願人による特開２００７−９７０９０号公報、特開２００５−３５４６０６号公報）。これらの情報は、画像の付帯情報として記録してもよい。
【００５３】
画質情報は、ボケ・ブレの有無や、目瞑りの有無などを示す画像情報を含む。ブレの検出については、従来の手ブレ検出と同様、動き検出回路２１の検出した加速度ベクトルのサイズが所定の閾値を超えた場合に手ブレありと判断する。ボケの検出については、例えばエッジ検出に基づいて行うことができる（例えば、本出願人による特開２００５−１２２７２１号公報）。目瞑りの有無の判定についても公知技術を用いることができる（例えば、本出願人による特開２００７−４９６３１号公報）。
【００５４】
なお、デジタルカメラ１０とは、要するに被写体像を画像データとして取得可能な機器であれば何でもよく、カメラ付き携帯電話、カメラ付きパソコン、デジタルビデオカメラ、デジタルスチルカメラなども含みうる。
【００５５】
記憶部１３２には、画像データに合成される文字情報やテンプレートデータが格納されており、画像処理部１４４は、ＣＰＵ１１２の指示あるいは操作部１１３からの選択操作に応じて所望の画像に所望のデータを合成する。
【００５６】
図２は撮影処理のフローチャートである。この処理は撮影モードの設定に応じて開始する。あるいは、撮影準備動作の指示（シャッターボタンの半押し）が操作部１１３に入力されたことに応じて開始してもよい。この処理をＣＰＵ１１２に実行させるプログラムは記憶部１１９に記憶されている。なお、この「ＣＰＵ１１２」とは、カメラ１０そのものに内蔵されているものでなく、別の電子機器、例えばパソコン２００ａの内蔵するものも含みうる。つまり、本処理の実行主体は、パソコン２００ａのＣＰＵであり、その制御対象がパソコン２００ａとは別体のカメラ１０でも可能である。
【００５７】
なお、本処理はこれから撮影しようとするシーンを決める処理（Ｓ３）を含むため、本撮像のタイミングに近ければ近いほどよいから、本処理は本撮像の直前、例えばシャッタボタンの半押し時に開始するとよい。
【００５８】
Ｓ１では、スルー画の取得を開始する。スルー画は所定の周期ごとに定期的に取得される。
【００５９】
Ｓ２では、画像解析部１４５は、取得された直近のスルー画を解析して、スルー画に含まれる各被写体に対応する表情情報を作成し、記憶部１１９のＲＡＭに出力する。被写体の表情の判別は特許文献２や５のようにしてできる。
【００６０】
Ｓ３では、記憶部１１９のＲＡＭに格納された表情情報に含まれる表情に基づいて撮影シーンを決定する。例えば、各被写体の表情を様々な種類シーンと比例する数値（数値が大きくなればなるほど笑った顔から怒った顔に近づくなど）に置き換え、これらの数値の平均値に対応するシーンを決める。あるいは、各被写体の笑顔の表情が多数派であれば笑顔シーン、真面目な顔が多数派であれば真面目シーン、怒った顔の表情が多数派であれば怒り顔シーン、哀しい顔が多数派であれば哀しいシーンとする。決定した撮影シーンは記憶部１１９のＲＡＭに格納される。
【００６１】
Ｓ４では、Ｓ３で決定したシーンが笑顔シーンであるか否かを判断する。Ｙｅｓの場合はＳ５、Ｎｏの場合は後述の真面目シーンの撮影サブルーチンに進む。
【００６２】
Ｓ５では、画像解析部１４５を制御して、Ｓ３以降に取得された直近のスルー画を解析し、スルー画に含まれる各被写体に対応する表情情報を作成し、記憶部１１９のＲＡＭに出力する。また、ＲＡＭに格納された各被写体に対応する表情情報に基づいて、各被写体の表情の笑顔の度合いを示す笑顔度評価値を算出し、記憶部１１９のＲＡＭに格納する。これは例えば、特許文献２と同様、ある被写体の表情が笑顔に近いか、あるいは笑顔以外の表情（無表情、怒った表情、哀しい表情、驚いた表情、嫌悪を示す表情）に近いかを数値化して、その被写体の笑顔度評価値とする。
【００６３】
そして、各被写体に対応する笑顔度評価値の各々のうち、ＣＰＵ１１２が任意に選択した１つの被写体（カレント被写体）に対応する笑顔度評価値が、予め記憶部１１９に記憶された複数種類の閾値のうちＳ４で決定された笑顔シーンに対応するものとしてＣＰＵ１１２が選択・設定した基準値（笑顔閾値）を超えたか否かを判断する。例えばスルー画の被写体のうち最も左上角にあるものから最も右下角にあるものにかけて順に識別情報を付与し、その識別情報の順序に沿って１つずつカレント被写体を選択する。カレント被写体の笑顔度評価値＞笑顔閾値の場合は、カレント被写体は笑顔被写体と判断してＳ９に進み、笑顔度評価値≦笑顔閾値の場合は、カレント被写体は非笑顔被写体と判断してＳ６に進む。
【００６４】
Ｓ６では、カレント被写体の位置が変化したか、あるいは背景が変化（撮影者自身が動いて背景が変わる場合も含む。以下同様）したかを判断する。これは、例えば、取得した直近のスルー画で検出されたカレント被写体の存在領域を記憶しておき、現在のスルー画内から上記存在領域に相当する領域内の画像を抽出して、カレント被写体の画像との差分情報を作成し、差分情報が０（色データなし）となれば、カレント被写体の位置が変化していないと判断する。逆に、差分情報が０でなければ、カレント被写体の位置が変化したと判断する。
【００６５】
あるいは、前回取得したスルー画で検出された全被写体の存在領域以外の領域（背景領域）を記憶しておき、現在のスルー画内から上記背景領域に相当する領域内の画像を抽出して、前回取得したスルー画の背景領域との差分情報を作成し、差分情報が０（色データなし）となれば、背景が変化していないと判断する。逆に、差分情報が０でなければ、背景が変化したと判断する。
【００６６】
あるいは、被写体の位置変化や背景の変化は画像情報のみで判断する必要はなく、測距部８１が測距した被写体までの距離が変化すれば被写体の位置が変化したと判断したり、ＧＰＳ受信機１２０の現在位置情報や動き検出回路２１の備える電子コンパスの出力する方位情報や傾き検出回路の検出するカメラ１０のパン／チルト方向が変化すれば背景が変化したと判断することもできる。
【００６７】
被写体の位置が変化したかあるいは背景が変化したと判断した場合はＳ７、両者とも変化していないと判断した場合はＳ８に進む。なお、「変化」とは実質的な変化を指し、所定の誤差範囲内にある変化は変化と判断しないものとする。
【００６８】
Ｓ７では、ＲＡＭの全ての被写体の笑顔表情情報、笑顔表情評価値をクリアし、全被写体は非笑顔被写体と判断する。そして、Ｓ５に戻る。あるいは、背景が変化した場合は全ての被写体の笑顔表情情報、笑顔表情評価値をクリアし、被写体の位置が変化した場合はその位置の変化した被写体のみの笑顔表情情報、笑顔表情評価値をクリアし、その被写体は非笑顔被写体と判断してもよい。こうすることで、位置や背景が大きく変わる前の古い確定画像（後述）が利用されるのを防ぐ。
【００６９】
Ｓ８では、Ｓ５でカレント被写体の笑顔表情評価値が笑顔閾値を下回った（非笑顔被写体）と判定されてから、あるいはＳ３でシーンが判別されてから所定の表情待機時間（例えば５秒間）が経過したか否かを判断する。Ｙｅｓの場合はカレント被写体は笑顔被写体と判断してＳ９に進み、Ｎｏの場合はＳ５に戻る。所定の表情待機時間は、Ｓ４で判定したシーンに対応した長さでもよい。
【００７０】
Ｓ９では、カレント被写体の顔画像を最新のスルー画から抽出し、記憶部１１９にカレント被写体の識別情報を対応づけた確定顔画像として保存する。なお顔画像の抽出は公知技術で行うことができる。カレント被写体が笑顔被写体であれば（Ｓ５でＹｅｓ）、確定顔画像は笑顔の表情の顔画像となる。カレント被写体が笑顔被写体でなければ（Ｓ５でＮｏ）、確定顔画像は笑顔以外の表情の顔画像となる。
【００７１】
確定顔画像が保存された以後、スルー画像の出力にかかわらず、その確定顔画像の表示をロックする。すなわち、ＣＰＵ１１２は、以後順次入力される新たなスルー画に対して、確定顔画像を合成するようビデオエンコーダ１３４に指示する。新たなスルー画への確定顔画像の合成位置は、確定顔画像が抽出されたスルー画内での座標と同じ座標とする。
【００７２】
Ｓ１０では、カレント被写体を含む全ての被写体について確定顔画像の保存が終了したか否かを判断する。Ｙｅｓの場合はＳ１１、Ｎｏの場合はＳ１２に進む。
【００７３】
Ｓ１１では、本撮影（記録用の画像の取得）を行うよう撮像部１０２を制御する。これは、直接的に撮影開始を指示することでもよいが、シャッターチャンスが到来した旨を表示部１１０に表示したり「シャッターチャンスです」などといったメッセージをスピーカ８５で拡声してユーザに好適なシャッターチャンスが到来した旨を通知した上、操作部１１３のシャッタボタンの押下による撮影指示を許容して撮影を開始することでもよい。
【００７４】
撮像部１０２の制御による本撮影で取得された記録用画像（静止画でも動画でもよい）は、画像処理部１４４で各種の処理がされた後、画像記憶部１３２に圧縮記憶される。もし、笑顔閾値に達していない顔領域に対応する被写体が記録用画像に含まれていても、笑顔閾値に達した当該被写体の確定顔画像が保存されていれば、その確定顔画像で記録用画像の当該被写体を置換して補正してもよい。これは、特許文献６のような公知の顔画像置換・補正技術と同様である。
【００７５】
Ｓ１２では、シーン判別（Ｓ３）されてからこれまでにカレント被写体となったことのない被写体から任意に１つの被写体を選択して、これを新たなカレント被写体とし、Ｓ５以降の処理を続行する。なお、Ｓ１２でカレント被写体を１つずつ切り替えるのではなく、複数の被写体の全てがカレント被写体であるとして、それらのカレント被写体全てについて並列してＳ５〜Ｓ１１を行ってもよい。この場合Ｓ１２は必要ない。Ｓ５〜Ｓ１０の処理は、新たなスルー画が供給されるごとに繰り返されてもよいし、所定のスルー画のコマ間隔あるいは時間間隔ごとに繰り返してもよい。
【００７６】
図３は、Ｓ４でＮｏと判定された場合に進む真面目シーンの撮影サブルーチンである。
【００７７】
Ｓ２４では、Ｓ３で決定したシーンが真面目シーンであるか否かを判断する。Ｙｅｓの場合はＳ２５、Ｎｏの場合は後述のサブルーチンに進む。
【００７８】
Ｓ２５では、画像解析部１４５を制御して、Ｓ３以降に取得された直近のスルー画を解析し、スルー画に含まれる各被写体に対応する表情情報を作成し、記憶部１１９のＲＡＭに出力する。そして、ＲＡＭに格納された各被写体に対応する表情情報に基づいて、各被写体の表情の真面目さの度合いを示す真面目度評価値を算出し、記憶部１１９のＲＡＭに格納する。これは例えば、特許文献２と同様、ある被写体の表情が無表情に近いか、あるいは無表情以外の表情（笑顔、怒った表情、哀しい表情、驚いた表情、嫌悪を示す表情）に近いかを数値化して、その被写体の真面目度評価値とする。
【００７９】
そして、各被写体に対応する真面目度評価値の各々のうち、ＣＰＵ１１２が任意に選択した１つの被写体（カレント被写体）に対応する真面目度評価値が、予め記憶部１１９に記憶された複数種類の閾値のうちＳ２４で決定された真面目シーンに対応するものとしてＣＰＵ１１２が選択・設定した基準値（真面目顔閾値）を超えたか否かを判断する。例えばスルー画の被写体のうち最も左上角にあるものから最も右下角にあるものにかけて順に識別情報を付与し、その識別情報の順序に沿って１つずつカレント被写体を選択する。カレント被写体の真面目度評価値＞真面目顔閾値となった場合は、カレント被写体は真面目顔被写体と判断してＳ２９に進み、それ以外の場合はカレント被写体は非真面目顔被写体と判断してＳ２６に進む。
【００８０】
Ｓ２６では、カレント被写体の位置が変化したか、あるいは背景が変化したかを判断する。これは、上述のＳ６と同様にできる。
【００８１】
被写体の位置が変化したかあるいは背景が変化したと判断した場合はＳ２７、両者とも変化していないと判断した場合はＳ２８に進む。
【００８２】
Ｓ２７では、Ｓ７と同様、ＲＡＭの全てのあるいは一部の被写体の表情情報、真面目顔表情評価値をクリアする。そして、Ｓ５に戻る。
【００８３】
Ｓ２８では、Ｓ２５でカレント被写体の真面目顔表情評価値が真面目顔閾値を下回ったと判定されてから、あるいはＳ３でシーンが判別されてから所定の表情待機時間（例えば５秒間）が経過したか否かを判断する。Ｙｅｓの場合はカレント被写体は真面目顔被写体と判断してＳ２９に進み、Ｎｏの場合はＳ２５に戻る。所定の表情待機時間は、Ｓ２４で判定したシーンに対応した長さでもよい。例えば、真面目な表情の方が自然な笑顔よりも作りやすいから、真面目顔のシーンに対応する表情待機時間は５秒、笑顔のシーンに対応する表情待機時間は８秒とする。
【００８４】
Ｓ２９では、カレント被写体の顔画像を最新のスルー画から抽出し、記憶部１１９にカレント被写体の識別情報を対応づけた確定顔画像として保存する。なお顔画像の抽出は公知技術で行うことができる。カレント被写体が真面目顔被写体であれば、確定顔画像は真面目な表情の顔画像となる。カレント被写体が真面目顔被写体でなければ、確定顔画像は無表情以外の表情の顔画像となる。
【００８５】
Ｓ３０では、カレント被写体を含む全ての被写体について確定顔画像の保存が終了したか否かを判断する。Ｙｅｓの場合はＳ３１、Ｎｏの場合はＳ３２に進む。
【００８６】
Ｓ３１では、Ｓ１１と同様本撮影を行う。これは、自動的に撮影を開始することでもよいが、シャッタボタンの押下による撮影指示を許容して撮影を開始することでもよい。
【００８７】
Ｓ３２では、シーン判別（Ｓ３）されてからこれまでにカレント被写体となったことのない被写体から任意に１つの被写体を選択して、これを新たなカレント被写体とし、Ｓ２５以降の処理を続行する。なお、Ｓ３２でカレント被写体を１つずつ切り替えるのではなく、複数の被写体の全てがカレント被写体であるとして、それらのカレント被写体全てについて並列してＳ２５〜Ｓ３１を行ってもよい。この場合Ｓ３２は必要ない。
【００８８】
Ｓ２４でＮｏと判定されてから実行されるサブルーチンは、笑顔と真面目顔以外の表情、例えば怒った顔や哀しい顔などについて、Ｓ５〜Ｓ１２と同様の処理を行う。すなわち、Ｓ５相当の処理では各シーンに対応した閾値を用意しておく。ただし、笑顔と真面目顔以外の表情について、確定顔領域を保存する必要がない場合、このサブルーチンは省略することもできる。要は、Ｓ５〜Ｓ１２は各シーンと表情に応じた閾値を用いれば、どのようなシーンにでも適用できるサブルーチンである。
【００８９】
なお、Ｓ５、Ｓ２５の評価値閾値、あるいはＳ８、Ｓ２８の時間閾値は撮影モードに応じて変えてもよい。例えば、Ｓ５、Ｓ２５において、操作部１１３から室内撮影モードやポートレート撮影モードが設定された場合は、ＣＰＵ１１２はＳ５あるいはＳ２５で使用する評価値閾値をそれぞれＶ１−１、Ｖ１−２とし、操作部１１３から屋外撮影に関係する撮影モード、例えばスポーツモードが設定された場合は、評価値閾値Ｖ１−１よりも小さい閾値Ｖ２−１、評価値閾値Ｖ１−２よりも小さい閾値Ｖ２−２とする。評価値閾値Ｖ１−１〜Ｖ２−２は記憶部１１９に記憶されているが、ＣＰＵ１１２はこの中から撮影モードに応じた閾値を選択する。こうすれば、屋内撮影の場合は、撮影に適した表情が整うのをより厳しめに待つことができる。
【００９０】
あるいは、Ｓ８、Ｓ２８において、操作部１１３から室内撮影モードやポートレート撮影モードが設定された場合は、ＣＰＵ１１２はＳ８、Ｓ２８においてそれぞれ時間閾値Ｔ１−１、Ｔ１−２とし、操作部１１３から屋外撮影に関係する撮影モード、例えばスポーツモードが設定された場合は、ＣＰＵ１１２はＳ８、Ｓ２８においてそれぞれ時間閾値Ｔ１−１よりも小さい閾値Ｔ２−１、時間閾値Ｔ１−２よりも小さい閾値Ｔ２−２とする。こうすれば、屋内撮影の場合は、撮影に適した表情が整うのを待つ時間を長めにできる。
【００９１】
例えば、図４のような３人の被写体ＳＢ１、ＳＢ２、ＳＢ３を含む撮影シーンからは、図５のようなスルー画が得られ、また、図６に示すように、被写体ＳＢ１、ＳＢ２、ＳＢ３の顔領域Ｆ１、Ｆ２、Ｆ３に基づいて、各被写体ＳＢ１、ＳＢ２、ＳＢ３に対応する笑顔度評価値Ｖ（ＳＢ１）、Ｖ（ＳＢ２）、Ｖ（ＳＢ３）が算出される。認識された顔領域の周囲を縁取った映像をＯＳＤ信号発生回路１３５で生成して表示部１１０に表示させてもよい。
【００９２】
上記の処理では、カレント被写体がＳＢ１であり、Ｖ（ＳＢ１）＞笑顔閾値であればＳ９に進み、それ以外の場合はＳ６に進む。あるいは、カレント被写体がＳＢ２であり、Ｖ（ＳＢ２）＞笑顔閾値であればＳ９に進み、それ以外の場合はＳ６に進む。あるいは、カレント被写体がＳＢ３であり、Ｖ（ＳＢ３）＞笑顔閾値であればＳ９に進み、それ以外の場合はＳ６に進む。
【００９３】
図６では被写体ＳＢ１とＳＢ３が笑顔被写体である。ＳＢ２は笑顔被写体ではないが、ＳＢ１〜ＳＢ３の全てについて確定顔画像が記憶部１１９に確保される。
【００９４】
図７のように、笑顔被写体の顔領域の縁に所定の色を着色した映像をＯＳＤ信号発生回路１３５で生成して表示部１１０に表示させて、確定顔画像の保存が完了した旨をユーザに通知してもよい。
【００９５】
全ての被写体について確定顔画像が保存された後は、各被写体の顔領域が確定顔画像のままロックされる。すなわち、全ての被写体について確定顔画像が保存された後に、被写体の表情が確定顔画像の保存時と異なってしまっても、それは表示部１１０に表示されない。
【００９６】
例えば、図４のように被写体ＳＢ１は笑顔であり、その確定顔画像は笑顔の顔画像として保存されたが、それ以後、何らかの理由で図８のように被写体ＳＢ１の笑顔がくずれ、無表情になったとする。この場合でも、図９に示すように、以後のスルー画像の被写体ＳＢ１の顔領域には、保存された被写体ＳＢ１の笑顔の確定顔画像を合成して、表情は笑顔の確定画像のままで固定させる。また、枠Ｆ１の着色も継続しておく。
【００９７】
また、確定顔画像が未保存の被写体について、表情変化待機時間経過前に、各シーンに対応する基準値を超えれば、その被写体の顔領域も確定顔画像として保存され、以後のスルー画では確定顔画像が固定される。
【００９８】
さらに、図４のシーンから図８のシーンに移行し、被写体ＳＢ１の表情は笑顔から無表情になっても、図９のようにスルー画にＳＢ１の確定顔画像を合成して表示し、ＳＢ１の表情は確定顔画像に固定されたままにする。その後さらに、図８のシーンから図１０のようなシーンに遷移し、確定顔画像が未保存の被写体ＳＢ２について、表情変化待機時間経過前に被写体ＳＢ２が笑顔になれば、被写体ＳＢ２の顔領域は確定顔画像として保存され、また、図１１のようなスルー画が表示される。以後、表示部１１０でのＳＢ２の確定顔画像が固定される。被写体ＳＢ１・ＳＢ３については笑顔の確定顔画像が保存された後、ＳＢ１ついては笑顔が無表情に変わってもそれは表示されない。
【００９９】
また図１２のように、被写体ＳＢ２については笑顔の確定顔画像が保存されないまま一定時間が経過し、被写体ＳＢ２は無表情のままであった場合、図１３のように被写体ＳＢ２の確定顔画像は無表情の顔領域とする。
【０１００】
こうすることで、一旦シーンに適した被写体の表情が揃った後で被写体の表情が変わったことによる混乱を撮影者に与えずに済み、撮影者はシーンに適した表情になったと考えてシャッターボタンを押し、撮影を実行できる。
【０１０１】
確定顔画像は顔領域のみを含むのではなく、顔とつながる胴体部分を含んでもよい。例えば、撮影シーンは真面目顔を要求する集合写真であるとし、図１４の画像Ｉでは、４人の人物被写体が存在するが、このうちある１人の被写体の表情評価値が当該撮影シーンに対応する基準値を超えたとする。この基準値を超えた被写体の顔領域と所定の位置関係にある領域、例えば顔領域を中心に上下左右斜めに３×４倍に顔領域を拡大した領域を確定被写体領域Ｘとし、その確定被写体領域Ｘ内の画像を確定顔画像の代替物（確定領域）として保存する。その確定領域の保存以降、確定被写体領域Ｘ内の被写体が表情を変えても、位置や背景が変化しない限り保存した確定領域を表示したままにする。このように顔領域よりも大きな確定領域を保存しても、集合写真で背景や人物位置は一旦決まったものから大きく変化しない限り、確定領域を表示したままにしても周囲との違和感は小さい。  
【０１０２】
＜第２実施形態＞
第１実施形態では、全ての被写体に対応する確定顔画像（ないしその代替物。以下同様）の保存後は、当該被写体の表情が変わっても保存した確定顔画像をそのまま表示していた。しかし、被写体の位置が大きく変化した場合は、被写体が別の位置にいる以上、同じ位置に確定顔画像そのまま表示し続ける意味がなくなる。
【０１０３】
そこで、図２のフローチャートに次のような位置変化判定処理を加える。すなわち、図１５に示すように、Ｓ９において確定顔画像の保存がされた場合であっても、Ｓ１０に進む前に、Ｓ６と同様の判断、すなわち被写体の位置変化があったか否かを判断し（Ｓ９’）、位置変化がないと判断されればＳ１０に進み、位置変化があったと判断されれば、記憶部１１９に保存されたその被写体の確定顔画像を破棄（合わせてその被写体以外の確定顔画像を破棄してもよい）し、確定画像の合成を取り消して、Ｓ５に戻り、スルー画を表示する。この追加の処理はＳ３０とＳ３１の間にも付け加えることができ、さらに図示は省略するが笑顔や真面目顔以外のサブルーチンにも付け加えることができる。
【０１０４】
図１６のように、確定顔画像が未保存の被写体ＳＢ１・２・３について、表情変化待機時間経過前に被写体ＳＢ１・３が笑顔になれば、被写体ＳＢ１・３の顔領域は確定顔画像として保存され、図１７のように以後のスルー画では確定顔画像が合成される。その後、例えば図１８のように確定顔画像の保存された被写体ＳＢ２の位置が変化した場合、図１９のように被写体ＳＢ１・３の確定顔画像は破棄し、確定顔画像の周囲の枠も消去して、スルー画をそのまま表示する。
【０１０５】
また、Ｓ９’では、被写体の位置変化でなく背景が変化したか否かを判断してもよい。背景が変化した場合はＳ６に戻り、変化していない場合はＳ１０に進む。これは、屋外撮影のように撮影位置や背景が変化する可能性が高い場合に有効である。この追加の処理はＳ３０とＳ３１の間、笑顔や真面目顔以外のサブルーチンにも付け加えることができる。
【図面の簡単な説明】
【０１０６】
【図１】デジタルカメラの機能ブロック図
【図２】撮影処理のフローチャート
【図３】撮影サブルーチンのフローチャート
【図４】撮影シーンの一例を示す図
【図５】スルー画の一例を示す図
【図６】認識された顔領域の周囲を示す映像の一例を示す図
【図７】笑顔被写体の顔領域を示す映像の一例を示す図
【図８】確定顔画像の保存された被写体の表情が変わった様子を示す図
【図９】確定顔画像の合成されたスルー画像の一例を示す図
【図１０】撮影シーンの他の一例を示す図
【図１１】確定顔画像の合成されたスルー画像の他の一例を示す図
【図１２】撮影シーンの他の一例を示す図
【図１３】確定顔画像の合成されたスルー画像の他の一例を示す図
【図１４】確定領域の一例を示す図
【図１５】位置変化判定処理のフローチャート
【図１６】撮影シーンの他の一例を示す図
【図１７】確定顔画像の合成されたスルー画像の他の一例を示す図
【図１８】被写体位置の変化した撮影シーンの他の一例を示す図
【図１９】確定顔画像の合成を取り消したスルー画像の一例を示す図
【符号の説明】
【０１０７】
１０：カメラ、１１２：ＣＰＵ、２００：電子機器
【図１】
2010081562.tif 000003
【図２】
2010081562.tif 000004
【図３】
2010081562.tif 000005
【図４】
2010081562.tif 000006
【図５】
2010081562.tif 000007
【図６】
2010081562.tif 000008
【図７】
2010081562.tif 000009
【図８】
2010081562.tif 000010
【図９】
2010081562.tif 000011
【図１０】
2010081562.tif 000012
【図１１】
2010081562.tif 000013
【図１２】
2010081562.tif 000014
【図１３】
2010081562.tif 000015
【図１４】
2010081562.tif 000016
【図１５】
2010081562.tif 000017
【図１６】
2010081562.tif 000018
【図１７】
2010081562.tif 000019
【図１８】
2010081562.tif 000020
【図１９】
2010081562.tif 000021