(57)【要約】【課題】撮影対象グループ以外の人物が撮影範囲内に存在する場合に連続撮影に切り替え、連続撮影によって得られた複数の画像を用いて、ユーザが期待した写真を生成する仕組みを提供すること【解決手段】顔認識をすることが可能な撮影装置であって、顔認識によって得られた顔画像が画像処理対象画像か否かを判定する画像判定手段と、前記画像判定手段で画像処理対象画像の顔画像と判定された場合に、所定の撮影モードから連続撮影モードに切り換える連続撮影切換手段と、前記連続撮影モードにより、所定数の連続撮影する連続撮影手段と、前記連続撮影手段によって得られた複数の画像から、前記画像判定手段で画像処理対象画像と判定された顔画像に対応する領域の画像を削除するべく、当該領域により得られた画像を用いて合成画像を生成する画像生成手段とを備えることを特徴とする。【選択図】図５
2013135459.tif 000002
【特許請求の範囲】
【請求項１】
顔認識をすることが可能な撮影装置であって、
顔認識によって得られた顔画像が画像処理対象画像か否かを判定する画像判定手段と、
前記画像判定手段で画像処理対象画像の顔画像と判定された場合に、所定の撮影モードから連続撮影モードに切り換える連続撮影切換手段と、
前記連続撮影モードにより、所定数の連続撮影する連続撮影手段と、
前記連続撮影手段によって得られた複数の画像から、前記画像判定手段で画像処理対象画像と判定された顔画像に対応する領域の画像を削除するべく、当該領域により得られた画像を用いて合成画像を生成する画像生成手段と
を備えることを特徴とする撮影装置。
【請求項２】
ユーザの顔画像を登録する顔画像登録手段を更に備え、
前記画像判定手段は、前記顔画像登録手段で登録した顔画像と、前記顔認識によって得られた顔画像が一致するか否かを判定することを特徴とする請求項１に記載の撮影装置。
【請求項３】
前記複数の画像のうち元画像となる第１の画像から画像処理対象画像と判定された顔画像に対応する領域を取得する領域取得手段と、
前記領域取得手段で取得した領域に従って、第２の画像から画像を取得する画像取得手段とを更に備え、
前記画像生成手段は、前記領域取得手段で取得した領域に従って、前記画像取得手段で取得した画像を前記第１の画像に合成することを特徴とする請求項１又は２に記載の撮影装置。
【請求項４】
前記画像判定手段は、前記第２の画像から顔認識によって得られた顔画像が画像処理対象画像か否かを判定し、
前記画像生成手段は、前記領域取得手段で取得した第１の画像の領域と、前記画像判定手段で判定された画像処理対象画像の顔画像に対応する第２の画像の領域とを比較し、前記第１の画像の領域で、前記第２の画像の領域が重複しない領域を特定し、当該特定された重複しない領域の画像を前記第２の画像から取得して、前記重複しない領域に従って、前記第２の画像から取得した画像を前記第１の画像に合成することを特徴とする請求項３に記載の撮影装置。
【請求項５】
前記画像生成手段で生成された合成画像を表示する表示手段を備え、
前記表示手段は、前記合成した画像の領域を識別可能に表示することを特徴とする請求項１乃至４のいずれか１項に記載の撮影装置。
【請求項６】
顔認識することが可能な撮影装置の制御方法であって、
前記撮影装置が、
顔認識によって得られた顔画像が画像処理対象画像か否かを判定する画像判定ステップと、
前記画像判定ステップで画像処理対象画像の顔画像と判定された場合に、所定の撮影モードから連続撮影モードに切り換える連続撮影切換ステップと、
前記連続撮影モードにより、所定数の連続撮影する連続撮影ステップと、
前記連続撮影ステップによって得られた複数の画像から、前記画像判定ステップで画像処理対象画像と判定された顔画像に対応する領域の画像を削除するべく、当該領域により得られた画像を用いて合成画像を生成する画像生成ステップと
を実行することを特徴とする制御方法。
【請求項７】
顔認識することが可能な撮影装置のプログラムであって、
前記撮影装置を、
顔認識によって得られた顔画像が画像処理対象画像か否かを判定する画像判定手段と、
前記画像判定手段で画像処理対象画像の顔画像と判定された場合に、所定の撮影モードから連続撮影モードに切り換える連続撮影切換手段と、
前記連続撮影モードにより、所定数の連続撮影する連続撮影手段と、
前記連続撮影手段によって得られた複数の画像から、前記画像判定手段で画像処理対象画像と判定された顔画像に対応する領域の画像を削除するべく、当該領域により得られた画像を用いて合成画像を生成する画像生成手段
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
合成画像を生成する撮影装置とその制御方法及びプログラムに関する。
【背景技術】
【０００２】
デジタルカメラや携帯電話などのカメラ機能を有した画像撮影装置において、撮影者の期待した写真を得るために様々な方法が開示されている。
【０００３】
例えば、集合写真について、被写体である人物全員がよい表情の写真を撮るための方法が特許文献１に開示されている。
【０００４】
特許文献１には、被写体の「顔」の数を検出し、検出された顔の数に応じて単写モードと連写モードを切り替え、また検出された「顔」の数に応じて連写する枚数を切り替え、集合写真において失敗写真が撮影される確率を低くする仕組みが開示されている。
【０００５】
これによって、撮影者の期待した写真を得ることが可能となっている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−２３６４８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、期待した写真が得られないというケースとしては、特許文献１のようなケースの他、撮影対象としたくない人物が撮影画像に写り込むことで、期待した写真が得られないというケースもある。
【０００８】
上記のケースに対応する場合には、該当人物が撮影範囲から移動して出ていくのを待ち、撮影範囲内に撮影対象としたい人物、または風景のみとなったタイミングを見計らってシャッターを押す必要があるなど、撮影対象としたい人物・風景のみの画像を撮るために、時間と手間がかかってしまっている。
【０００９】
そこで、本発明は、撮影対象グループ以外の人物が撮影範囲内に存在する場合に連続撮影に切り替え、連続撮影によって得られた複数の画像を用いて、ユーザが期待した写真を生成する仕組みを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の目的を達成するために、本発明は、顔認識をすることが可能な撮影装置であって、顔認識によって得られた顔画像が画像処理対象画像か否かを判定する画像判定手段と、前記画像判定手段で画像処理対象画像の顔画像と判定された場合に、所定の撮影モードから連続撮影モードに切り換える連続撮影切換手段と、前記連続撮影モードにより、所定数の連続撮影する連続撮影手段と、前記連続撮影手段によって得られた複数の画像から、前記画像判定手段で画像処理対象画像と判定された顔画像に対応する領域の画像を削除するべく、当該領域により得られた画像を用いて合成画像を生成する画像生成手段とを備えることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、撮影対象グループ以外の人物が撮影範囲内に存在する場合に連続撮影に切り替え、連続撮影によって得られた複数の画像を用いて、ユーザが期待した写真を生成することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態に係る撮影装置１００の概要構成の一例を示す模式図である。
【図２】撮影装置１００の機能構成の一例を示す模式図ある。
【図３】本発明の実施形態における全体のフローチャートである。
【図４】撮影対象を登録する処理のフローチャートである。
【図５】登録外メンバー除去の処理を示すフローチャートである。
【図６】画像加工処理のフローチャートである。
【図７】ユーザ管理テーブルの一例を示す図である。
【図８】グループ管理テーブルの一例を示す図である。
【図９】管理者テーブルの一例を示す図である。
【図１０】撮影対象ユーザを登録する際の画面イメージである。
【図１１】撮影対象外顔画像に対する画像加工処理を示すイメージ図である。
【図１２】画像加工処理の結果画像を表示する際の確認画面のイメージ図である。
【発明を実施するための形態】
【００１３】
まず、本発明の実施形態に係る顔認識をすることが可能な撮影装置１００の概要構成について説明する。図１は、本発明の実施形態に係る撮影装置１００の概要構成の一例を示す模式図である。
【００１４】
図１において、撮影装置１００は、いわゆるデジタルカメラ等から成り、撮影用のレンズ１０１、撮像素子（以下、「ＣＣＤ」と称する）１０２、アナログ−デジタルコンバータ（以下、「ＡＤＣ」と称する）１０３、画像処理部１０４、コントローラ１１０、バッファメモリ１１１、フラッシュＲＯＭ１１２（記憶手段）、インターフェース回路（以下、「Ｉ／Ｆ回路」と称する）１１３、カードホルダ１１４、メモリーカード１１５（記憶手段）、ディスプレイドライバ１１６、ＵＳＢドライバ１１８、および操作部１２０を備える。
【００１５】
撮影装置１００は、撮影ボタン１２３（シャッターボタン）の押下に応じて、画像を生成するものである。なお、本実施形態では、撮影ボタン１２３（シャッターボタン）の押下に従って撮影するように構成するが、撮影ボタン１２３（シャッターボタン）がなく、タッチパネル上で、ユーザから撮影指示がされた場合に撮影するようにすることも可能である。
【００１６】
レンズ１０１は、対物レンズ、ズームレンズ、およびフォーカスレンズなどで構成される。ズームレンズおよびフォーカスレンズについては、不図示の駆動機構により光軸方向へ駆動される。ＣＣＤ１０２は、レンズ１０１を介して入射される光学画像を結像し、電気信号（アナログ信号）に変換して出力するＣＣＤイメージセンサで構成される。ＡＤＣ１０３は、ＣＣＤ１０２から出力される電気信号（アナログ信号）をデジタル信号に変換する機能を有する。
【００１７】
画像処理部１０４は、前処理部１０５、ＹＣ処理部１０６、電子ズーム処理部１０７、圧縮部１０８、および伸長部１０９を備え、ＡＤＣ１０３から出力されるデジタル信号から画像データを生成し、各種画像処理を行う機能を有する。
【００１８】
前処理部１０５は、入力される画像データに基づく画像のホワイトバランスを調整するホワイトバランス処理や画像のガンマ補正処理を行う機能を有する。ホワイトバランス処理は、画像の色合いを、実物の色合いに近くなるように調整したり、光源（蛍光灯や太陽光など）に合った適正な色に調整したりする処理である。ガンマ補正処理は、画像のコントラストを調整する処理である。なお、前処理部１０５は、ホワイトバランス処理およびガンマ補正処理以外の画像処理を実行することも可能である。
【００１９】
ＹＣ処理部１０６は、入力される画像データに基づく画像を、輝度情報「Ｙ」と、輝度信号と青色の色差情報「Ｃｂ」と、輝度信号と赤色の色差情報「Ｃｒ」とに分離する機能を有する。電子ズーム処理部１０７は、画像の一部（例えば中央部）を所定の大きさでトリミングし、トリミングした画像を信号処理で元画像の大きさに拡大する機能を有する。電子ズーム処理部１０７は、例えば、撮影された１６００×１２００ドットの画像から中央の１０２４×７６８ドットの画像を切り出し、データ補間を行いながら１６００×１２００ドットのサイズに拡大することができる。
【００２０】
圧縮部１０８は、画像データをＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）方式などの圧縮形式によって圧縮する機能を有する。伸長部１０９は、圧縮されている画像データを伸長する機能を有する。例えば、画像データをＪＰＥＧ方式で圧縮する場合、まず、画像データの高周波成分と低周波成分の割合を数値化する離散コサイン変換処理が行われる（ＤＣＴ処理）。次に、画像の階調やグラデーションを表現する段階を数値（量子化ビット数）で表現する量子化処理が行われる。最後に、ハフマン符号化処理で画像データが圧縮される。具体的には、画像データの信号文字列が一定のビット毎に区切られ、出現頻度が高い文字列に対してより短い符号が与えてられてゆく。なお、圧縮処理を行わないで画像データを記録する方式の場合は、圧縮部１０８および伸長部１０９を省略することができる。また、画像データの圧縮形式は、ＪＰＥＧ方式に限らず、ＧＩＦ（Ｇｒａｐｈｉｃａｌ  Ｉｎｔｅｒｃｈａｎｇｅ  Ｆｏｒｍａｔ）形式などであっても、同様に処理を行うことができる。
【００２１】
コントローラ１１０は、画像処理部１０４、バッファメモリ１１１、フラッシュＲＯＭ１１２、Ｉ／Ｆ回路１１３、ディスプレイドライバ１１６、ＵＳＢドライバ１１８、および操作部１２０に接続されている。また、コントローラ１１０は、機能的な構成として、操作部１２０からの入力信号に応じて各部を動作制御するための制御信号を出力する制御部（不図示）と、ユーザに関する認証を行う認証部（不図示）とを備える。
【００２２】
バッファメモリ１１１には、画像処理部１０４において画像処理が行われる際に、一時的に画像データが保存される。フラッシュＲＯＭ１１２には、撮影装置１００の各種設定情報が保存される。Ｉ／Ｆ回路１１３は、コントローラ１１０から出力される画像データを、メモリーカード１１５に記録可能なデータ形式に変換する。また、Ｉ／Ｆ回路１１３は、メモリーカード１１５から読み出された画像データ等を、コントローラ１１０で処理可能なデータ形式に変換する。
【００２３】
カードホルダ１１４は、記憶媒体であるメモリーカード１１５を撮影装置１００に着脱可能にする機構を備えると共に、メモリーカード１１５との間でデータ通信が可能な電気接点を備える。また、カードホルダ１１４は、撮影装置１００で利用される記憶媒体の種類に応じた構造を有する。メモリーカード１１５は、フラッシュメモリなどの半導体記憶素子を内蔵し、カードホルダ１１４に着脱可能なカード型の記憶媒体である。メモリーカード１１５には、撮影装置１００で撮影された画像データを記録することができる。尚、本実施例では撮影装置１００のみの構成として説明をするが、撮影装置１００と通信可能な情報処理装置等に備えられた記憶手段をメモリーカード１１５の代わりとしてもよい。撮影装置１００と情報処理装置との通信方法は特に問わない。有線でも無線でもよい。この場合、撮影装置１００が通信インターフェースコントローラを備え、通信インターフェースコントローラを通じて情報処理装置と通信する。
【００２４】
ディスプレイドライバ１１６は、コントローラ１１０から出力される画像データを液晶ディスプレイ１１７で表示可能な信号に変換する。具体的には、ディスプレイドライバ１１６は、コントローラ１１０から出力されるデジタルの画像データをアナログ画像信号に変換する処理を行い、次に画像サイズを液晶ディスプレイ１１７の表示可能エリアのサイズに適したサイズに変換する処理を行う。
【００２５】
操作部１２０は、電源スイッチ１２１、モードダイヤル１２２、撮影ボタン１２３（シャッターボタン）、カーソルキー１２４、ズームボタン１２５、および閲覧（再生）ボタン１２６を備え、ユーザからの操作入力を受け付けて、操作内容に応じた信号をコントローラ１１０に出力する。なお、操作部１２０には、図示の操作ボタン以外の操作ボタン類も含まれるが、それらの説明は省略する。
【００２６】
モードダイヤル１２２は、撮影動作のモードを切り替えるための回転可能なダイヤルである。ユーザはモードダイヤル１２２を回転操作することで、メモリーカード１１５に保存された画像データに対してアクセス制限を行うことが可能な管理者モードや管理者モード以外の撮影動作モードを含む複数の撮影動作モードを選択することが可能である。
【００２７】
管理者モード以外の撮影動作モードとは、例えば、予め撮影装置１００が保持している撮影設定（ホワイトバランスやシャッタースピード等）をユーザに選択しやすく表したＡｕｔｏモードや夜景モード、或いはユーザが任意に撮影設定を設定することができるマニュアルモードなどである。
【００２８】
閲覧ボタン１２６は、撮影した画像データを閲覧する閲覧モード（画像再生モード）に切り替えるためのボタンである。閲覧ボタン１２６が押下されると、撮影モードから閲覧モードに移行する。なお、閲覧モードへの切替方法については、閲覧ボタン１２６の押下に限定されず、液晶ディスプレイ１１７上のタッチパネル（不図示）などによる移行方法であってもよい。
【００２９】
閲覧モードでは、コントローラ１１０が、Ｉ／Ｆ回路１１３を介して、カードホルダ１１４に装着されているメモリーカード１１５から設定情報と画像データを読み出す。設定情報は、現在装着されているメモリーカード１１５に記録されている画像の枚数および記録されている画像データの容量などである。読み出される画像データは、例えば、画像１枚分の画像データまたはサムネイルデータである。なお、メモリーカード１１５から読み出される画像データは、上述したように所定の圧縮形式で圧縮されている。
【００３０】
メモリーカード１１５から読み出された画像データは、Ｉ／Ｆ回路１１３およびコントローラ１１０を介して、ディスプレイドライバ１１６へ入力される。ディスプレイドライバ１１６は、入力された画像データを液晶ディスプレイ１１７に表示させる。
【００３１】
カーソルキー１２４は、ユーザが撮影装置に対する所定の指示や機能選択を行うためのキーである。ユーザは、カーソルキー１２４により、撮影装置１００に対する各種設定情報やユーザ認証情報などの操作入力を行うことができる。また、カーソルキー１２４により、液晶ディスプレイ１１７にメニュー画面を表示させたり、撮影装置１００が有する所定の機能を選択させたりすることができる。
【００３２】
次に、撮影装置１００の機能構成の一例について説明する。図２は、図１に示す撮影装置１００の機能構成の一例を示す模式図ある。
【００３３】
画像再生部２０１は、デジタルカメラに保存している画像を、デジタルカメラの画面に再生する。撮影対象登録モードでは、撮影後の画像を再生し、撮影対象グループの確認メッセージを表示する機能部である。また、登録外メンバー除去撮影モードでは、撮影後、画像加工部２０４で加工した画像を表示し、保存の確認メッセージと連続撮影した他画像（画像加工前の連続画像）を表示する機能部である。
【００３４】
顔認証部２０２は、画像から人の顔を認証（認識）し識別する機能部である。
【００３５】
撮影対象グループ登録部２０３は、撮影対象登録モードで保存した画像に対して、顔認証部２０２で顔認証を行い、各顔認証情報をユーザ管理テーブル（図７）に登録する。また、撮影対象登録モードで保存した複数の顔認証情報を同一グループとし、撮影対象フラグ８０１をＯＮにしてグループ管理テーブル（図８）にデータを登録する機能部である。
【００３６】
画像加工部２０４は、登録外メンバー除去撮影モードでの撮影において、連続撮影した画像の中から、グループ管理テーブル（図８）の撮影対象フラグ８０１がＯＦＦとなっている顔画像或いは、登録されていないユーザの顔画像を加工用画像データより除去する機能部である。
【００３７】
撮影部２０５は、デジタルカメラから画像を撮影する機能部である。起動部２０６は、デジタルカメラを起動する機能部である。終了部２０７は、デジタルカメラを終了する機能部である。
【００３８】
テーブル記憶部２０８は、管理者情報を管理者テーブル（図９）に登録する機能部である。画像データ記憶部２０９は、通常モードや撮影対象登録モード、登録外メンバー除去撮影モードで撮影した画像を登録する機能部である。
【００３９】
次に、本実施形態における全体の処理ついて、図３のフローチャートを用いて説明する。
【００４０】
図３は本発明の実施形態における全体のフローチャートである。なお、各ステップはコントローラ１１０が実行する。なお、自分撮りやセルフタイマーを用いて撮影したいユーザが決まっており、そのユーザが写っている画像を得たい場合に、当該機能を用いることが望ましい。
【００４１】
ステップＳ３０１では、撮影装置１００を起動する。
【００４２】
ステップＳ３０２では、管理者情報が登録されているか確認する。管理者情報が登録されていない場合、Ｓ３０３で管理者登録を行う。
【００４３】
ステップＳ３０３では、管理者登録処理を行う。管理者登録では顔情報を登録し、図５の登録外メンバー除去処理で利用する。
【００４４】
ステップＳ３０４では、現時点のデジタルカメラ起動において、管理者モードを選択かの確認を行う。管理者モードの場合、ステップＳ３０５に進む。管理者モード以外の場合、ステップＳ３１３に進む。
【００４５】
ステップＳ３０５では、管理者モードの認証を行う為、認証画面を表示する。
【００４６】
ステップＳ３０６では、管理者認証処理を行う。認証画面でパスワードを認証できた場合、ステップＳ３０７に進む。認証できなかった場合、ステップＳ３１３に進む。
【００４７】
ステップＳ３０７では、管理者メニュー画面を表示する。
【００４８】
ステップＳ３０８では、ユーザからの操作を検知する。ステップＳ３０９でユーザ操作にて撮影対象登録モードを選択した場合はＳ３１０に、選択しなかった場合はＳ３１１に進む。
【００４９】
ステップＳ３１０では、撮影対象登録処理を行う。撮影対象登録処理の詳細は、図４にて後述する。
【００５０】
ステップＳ３１１では、管理者画面にて手動で撮影対象を登録する。図８のグループ管理テーブルの情報を表示し、撮影対象とする該当グループの撮影対象フラグ８０１を０Ｎにする。
【００５１】
ステップＳ３１２では、撮影装置１００の終了を判断する。終了の場合はＳ３１７に、そうでない場合は管理者モードを終了し、Ｓ３１３に進む。
【００５２】
ステップＳ３１３では、ユーザからの操作を検知する。ステップＳ３１４でユーザ操作にて登録外メンバー除去撮影モードを選択した場合はＳ３１５に、選択しなかった場合はＳ３１６に進む。
【００５３】
ステップＳ３１５では、登録外メンバー除去処理を行う。登録外メンバー除去処理の詳細は、図５にて後述する。
【００５４】
ステップＳ３１６では、登録外メンバー除去撮影の一連の処理を終了するか確認する。終了する場合はＳ３１７に、終了しない場合はＳ３１３に進む。
【００５５】
ステップＳ３１７では、撮影装置であるデジタルカメラの起動を終了する。
【００５６】
次に、撮影対象を手動で登録するのではなく、顔認証（顔認識）機能を利用して撮影対象を登録する機能について図４のフローチャートを用いて説明する。
【００５７】
図４は、ステップＳ３０１の撮影対象を登録する機能（撮影対象登録モード）における処理のフローチャートである。なお、各ステップはコントローラ１１０が実行する。
【００５８】
ステップＳ４０１では、ユーザ操作により画像を撮影する。撮影した画像をバッファメモリ１１１又はメモリーカード１１５に記憶する。
【００５９】
ステップＳ４０２では、撮影した画像にある人物の顔を特定する。特定された顔の画像を用いて、特定された顔の画像データから特徴を抽出する。具体的には、撮影した顔の画像から、傾きや位置を検出して補正し、特徴点（眼の中心、唇の端など）の位置や点同士の距離などを計測する。この計測によって得られた特徴データは、あらかじめ保存されたデータと照合することで個人を特定することが可能である。
【００６０】
ステップＳ４０３では、撮影した画像及び顔認証（顔認識）結果を撮影対象登録モードの確認画面１０００（図１０参照）を表示する。撮影対象登録モードの確認画面１０００では、確認メッセージ１００１および、ＹＥＳボタン１００２、ＮＯボタン１００３を表示し、顔認証（顔認識）結果１００４をユーザに示す。
【００６１】
ステップＳ４０４では、ＹＥＳボタン１００２が押下されたかを判断する。押下された場合はＳ４０５に進む。ＮＯボタン１００３が押下された場合は、撮影対象登録モードを終了する。
【００６２】
ステップＳ４０５では、撮影された顔画像をすべてユーザ管理テーブル７００に登録する。既に顔認証（顔認識）の結果既に登録されている場合は、同一顔データを更新する。登録の際には、顔画像と特徴データを登録するが、ユーザ名など付随するデータも共に登録することが可能である。言い換えるとステップＳ４０５は、ユーザの顔画像を登録する処理である（顔画像登録）。
【００６３】
ステップＳ４０６では、撮影された顔画像をひとつのグループにして図８のグループ管理テーブルに新規登録する。その際、撮影対象フラグ８０１はＯＮにして登録する。
【００６４】
次に、登録外メンバー除去機能について図５のフローチャートを用いて説明する。
【００６５】
図５は、ステップＳ３１５の登録外メンバー除去の処理を示すフローチャートである。なお、各ステップはコントローラ１１０が実行する。
【００６６】
ステップＳ５０１では、シャッターボタンの押下状態を検知する。シャッターボタン押下状態が全押し状態の場合、Ｓ５０２に進む。それ以外の場合は、Ｓ５０１に進む。なお、シャッターボタン押下状態は、全押しでなくてもよく、半押し時に後述の顔画像を検知して、全押し時に連続撮影するようにすることも可能である。半押しから全押しに移行する場合には、連続撮影する旨を通知（音声、フレーム内メッセージ）した後、全押しさせる構成であってもよい。
【００６７】
また、セルフタイマーでシャッターが動作される場合に、ステップＳ５０２に進んでもよい。
【００６８】
ステップＳ５０２では、現時点のフレーム内に入っている顔画像を検知する。
【００６９】
ステップＳ５０３では、フレーム内の顔画像において、図８のグループ管理テーブルの撮影対象フラグ８０１がＯＦＦである画像が存在するかを判断する。存在する場合は、Ｓ５０４に進む。存在しない場合は、Ｓ５０７に進む。つまり、検知した顔画像にＯＮであるグループ外の顔があるか否かを判定する。なお、登録されていない顔画像があった場合にも、ステップＳ５０３へ処理を移す。グループ管理テーブルの撮影対象フラグ８０１がＯＮの顔画像のみが存在する場合には、連続撮影に移行せず、予め設定されている撮影（単写）での撮影としてステップＳ５０７へ処理を移す。言い換えると、ステップＳ５０３は、顔認識によって得られた顔画像が画像処理対象画像か否かを判定する処理である（画像判定）。より詳細には、顔画像登録した顔画像と、顔認識によって得られた顔画像が一致するか否かを判定する。
【００７０】
ステップＳ５０４では、検知した顔画像にＯＮであるグループ外の顔が入っているため、連続撮影に切替（例えば、連写モードに切り替える）。シャッターボタンの押下状態が全押し状態の間、連続撮影を継続する。連続撮影する撮影回数は、予め設定されている回数分連写するものとするが、ＯＮであるグループ外の顔の数に従って、顔の数に従って回数も変更してもよい。言い換えると、ステップＳ５０４は、画像処理対象画像の顔画像と判定された場合に、所定の撮影モード（例えば、単写モード）から連続撮影モードに切り換える処理である（連続撮影切換）。また、連続撮影モードにより、所定数の連続撮影する処理である（連続撮影）。
【００７１】
ステップＳ５０５では、シャッターボタンを離す操作を検知する。シャッターボタン離し操作検知により、連続撮影を終了する。なお、シャッターボタンを離す操作を検知した場合であっても所定回数撮影（連続撮影）していない場合には、所定回数の撮影を行うものとする。
【００７２】
ステップＳ５０６では、画像加工処理を行う。画像加工処理については図６で後述する。言い換えると、ステップＳ５０６は、連続撮影によって得られた複数の画像から、画像処理対象画像と判定された顔画像に対応する領域の画像を削除するべく、当該領域により得られた画像を用いて合成画像を生成する処理である（画像生成）。
【００７３】
ステップＳ５０７では、Ｓ５０６の画像加工処理の結果画像を取得し、確認画面（図１２参照）を表示する。図１２の確認画面は、合成箇所を示すマーキング１２０１及び、保存確認メッセージ１２０２、ＯＫボタン１２０３、キャンセルボタン１２０４、連続撮影のリスト画像１２０５を表示する。すなわち、生成された合成画像を表示する処理である。また、１２０１のように合成した画像の領域の箇所を識別可能に表示する。
【００７４】
初期表示ではＳ５０６の画像加工処理が加工した画像を選択画像表示部に表示する。その際、合成元領域をマーキングし対象領域が分かるようにする。連続撮影のリスト画像１２０５では、Ｓ５０６の画像加工処理で加工した画像をフラッシュバック（データを時間軸に沿って表示する形式）などで表示する。Ｓ５０６の画像加工処理で合成しきれなかった箇所がある場合は、その該当箇所をマーキング（１２０６）し、その旨が分かるメッセージを表示する。Ｓ５０６の画像加工処理で加工した画像ではなく、未加工の画像を保存した場合は、連続撮影のリスト画像１２０５で他の画像をタッチパネルで選択し、選択画像表示部に表示する。その場合、Ｓ５０６の画像加工処理での加工画像をフラッシュバック（１２０８）、選択画像を太枠（１２０９）などで表示する。
【００７５】
ステップＳ５０８では、ＯＫボタン１２０３が押下されたかを検知する。押下された場合にＳ５０９へ、それ以外の場合はＳ５１０に進む。
【００７６】
ステップＳ５０９では、ＯＫボタン１２０３が押下された時点の確認画面（図７の上部）に表示している画像をメモリーカード１１５に記憶する。なお、加工画像と未加工の画像の両方を保存、未加工の画像のみ保存、加工画像のみ保存など、メモリーカード１１５に記憶する画像は、図１２で選択した画像によって変わる。
【００７７】
ステップＳ５１０では、キャンセルボタン１２０４が押下されたかを検知する。押下された場合、Ｓ５０１に進む。押下されていない場合、Ｓ５０７に進み保存確認画面を表示する。
【００７８】
次に、ステップＳ５０６の画像加工処理のフローチャートについて図６を用いて説明する。
【００７９】
図６は、画像加工処理のフローチャートである。なお、各ステップはコントローラ１１０が実行する。
【００８０】
ステップＳ６０１では、連続撮影によって得られた画像のうち、最初の画像（Ａ）を加工対象の画像とする為、コピー保存する。（コピーＡとして保存する。）
【００８１】
ステップＳ６０２では、最初の画像（Ａ）において、撮影対象外顔画像に対する四隅座標（Ａ１〜Ａｎ）を取得する。具体的には、撮影対象画像を検知した後、その対象外顔画像に対する人体の領域を枠で囲み、その四隅座標を取得する（図１１の１１０１参照）。言い換えるとステップＳ６０２は、連続撮影した複数の画像のうち元画像となる第１の画像から画像処理対象画像と判定された顔画像に対応する領域を取得する処理である（領域取得）。
【００８２】
ステップＳ６０３では、各撮影対象外顔画像に対する四隅画像を、合成用座標変数と確認用座標変数に格納する。具体的には、撮影対象外顔画像に対する領域枠（Ａ１）に対する四隅座標を変数配列Ａ１［０］、Ａ１［１］、Ａ１［２］、Ａ１［３］に記憶する。
【００８３】
ステップＳ６０４では、連続画像の次画像を取得する。ステップＳ６０５では、次画像内の顔画像を検知する。
【００８４】
ステップＳ６０６では、顔画像検知結果、撮影対象フラグ：ＯＦＦ「０」のグループの顔が存在する場合はＳ６０７に、存在しない場合はＳ６０９に進む。また、撮影対象フラグ：ＯＮ「１」のグループの顔が存在する場合は、ステップＳ６１２に処理を移す。なお、ＯＦＦのグループ以外に、グループに含まれない顔画像が認識された場合にも、ステップＳ６０７へ処理を移す。つまり、画像に残したいユーザ以外のユーザは、後述の合成処理により、消去する処理である。言い換えると、ステップＳ６０６は、第２の画像から顔認識によって得られた顔画像が画像処理対象画像か否かを判定する処理である。
【００８５】
また、ステップＳ６０６〜ステップＳ６１１の処理は、画像で検知した顔画像全てに対して繰り返し処理がされるものとする。全ての顔画像に対して処理をした場合に、ステップＳ６１２の処理に移るものとする。すなわち、取得した第１の画像の領域と、画像処理対象画像の顔画像に対応する第２の画像の領域とを比較し、第１の画像の領域で、第２の画像の領域が重複しない領域を特定し、当該特定された重複しない領域の画像を第２の画像から取得して、重複しない領域に従って、第２の画像から取得した画像を第１の画像に合成する処理である。
【００８６】
また、本実施形態では顔の箇所を合成するように説明するが、顔を検知した場合に、その顔に対応する体の部分を推測して人全体を合成するようにすることも可能である。この場合、操作者に顔以外に消したい箇所を指定させるようにすることも可能である。
【００８７】
ステップＳ６０７では、次画像内の撮影対象外顔画像毎に四隅座標（Ｂ１〜Ｂｎ）を取得する（図１１の１１０２参照）。
【００８８】
ステップＳ６０８では、撮影対象外顔画像毎に、合成用座標変数を取得し、当該合成用座標変数とＳ６０７で取得した四隅座標を比較し、領域重複状態を確認する（図１１の１１０２参照）。
【００８９】
ステップＳ６０９では、Ｓ６０８で確認した未重複領域に対し、次画像（Ｂ）から同未重複領域の画像を切り取り（取得し）、加工用画像データ（コピーＡ）に張り付ける（図１１の１１０３参照）。すなわち、第１の画像から取得した領域に従って、第２の画像から画像を取得する処理である（画像取得）。また、第２の画像から取得した画像を領域に従って、第１の画像に合成する処理である。
【００９０】
ステップＳ６１０では、Ｓ６０９で画像加工した加工用画像データ（コピーＡ）を上書き保存する。
【００９１】
ステップＳ６１１では、加工後データ（コピーＡ）の撮影対象外顔画像の四隅座標を取得し、合成用座標変数（Ａ１〜Ａｎ）に上書き保存する。
【００９２】
ステップＳ６１２では、連続画像の続きがあるか確認する。続きがある場合はＳ６０４に進む。
【００９３】
続きが無い場合は画像加工処理を終了する。なお、連続画像の続きがある場合であっても、ステップＳ６０２で取得した四隅座標内の画像の全てに貼付が完了している場合には、処理を終了とすることも可能である。
【００９４】
図７は、フラッシュＲＯＭ１１２に記憶されているユーザ管理テーブルの一例を示す図である。
【００９５】
ユーザ管理テーブルには、顔認証Ｎｏと、ユーザ名称と、ユーザ管理グループと登録日が登録されている。撮影対象登録モード（ステップＳ３１０、ステップＳ３１１）で登録され、顔認証（顔認識）に用いる画像と、顔認識した画像の書誌情報を登録したテーブルである。なお、顔認証（顔認識）は、顔認識機能により、顔が認識される処理である。
【００９６】
顔認証ＮＯは、撮影装置が自動で付与する情報で、ユーザ名称は、操作者が任意に入力した情報である。また、ユーザ管理グループは、操作者が作成されたグループのグループＮｏが登録される。なおグループＮｏは、図８のグループ管理テーブルで管理されている。また、登録日は、ユーザが登録された日が登録されている。また、ステップＳ４０２で上述したように、顔の特徴情報も対応付けて保持するようにする。これにより、撮影した画像から顔認識して、顔認識した画像の顔認証することが可能となる。
【００９７】
図８は、フラッシュＲＯＭ１１２に記憶されているグループ管理テーブルの一例を示す図である。
【００９８】
グループ管理テーブルには、グループＮｏとグループ名称と撮影対象フラグ８０１と、登録日が登録されている。グループＮｏは、撮影装置が自動で付与する情報で、グループ名称は操作者が任意に入力した情報である。また撮影対象フラグは、ステップＳ４０６でＯＮとなる情報である。なお、撮影対象フラグは初めはＯＦＦとなっている。また、撮影終了した場合にＯＦＦとなる。
【００９９】
ＯＮの場合は、フラグを「１」として、記憶され、ＯＦＦの場合はフラグを「２」として記憶する。フラグ「１」となったユーザについては、画像から消去されないようになる。
【０１００】
図９は、フラッシュＲＯＭ１１２に記憶されている管理者テーブルの一例を示す図である。
【０１０１】
管理者テーブルは、顔認証Ｎｏと管理者名称とパスワードと登録日を有している。この管理者テーブルは、ステップＳ３０５で受け付けたパスワードを比較して認証を判断するためのテーブルである。
【０１０２】
なお、本実施形態は、図７〜図９のテーブルは、フラッシュＲＯＭ１１２に記憶されるように構成したが、サーバに記憶させ、撮影装置１００と通信を行って利用することも可能である。
【０１０３】
図１０は、撮影装置１００の液晶ディスプレイ１１７に表示される、撮影対象ユーザを登録する際の画面イメージである。ステップＳ４０３で表示する画面例であり、撮影対象登録モードの確認画面１０００では、確認メッセージ１００１および、ＹＥＳボタン１００２、ＮＯボタン１００３を表示し、顔認証（顔認識）結果１００４が表示されている。
【０１０４】
図１１は、撮影対象外顔画像に対する画像加工処理を示すイメージ図である。
【０１０５】
１１０１は、連続撮影の最初の画像（「エ」が「撮影対象」フラグ：ＯＦＦのグループである場合の例であり、例えば、以下の処理となる。
【０１０６】
「エ」（Ａ１とする）の四隅座標を取得し、合成用座標変数と確認用座標変数に登録する。１１０１の例では、Ａ１［０］（３００，２８０）、Ａ１［１］（３８０，２８０）、Ａ１［２］（３８０，２００）、Ａ２［３］（３００，２００）となる。なお、撮影対象外が複数ある場合は、Ａ２、Ａ３、・・・、Ａｎと変数を構える。
【０１０７】
１１０２は、連続撮影の次画像の処理を示すイメージ図である。例えば、以下の処理となる。
【０１０８】
「エ」（Ｂ１とする）の四隅座標を取得する。１１０２の例では、Ｂ１［０］（３２０，３００）、Ｂ１［１］（４００，３００）、Ｂ１［２］（４００，２２０）、Ｂ１［３］（３２０，２２０）となる。
【０１０９】
合成用座標変数（Ａ１［０］〜Ａ１［３］）と重複しない座標が存在する場合、未重複領域の画像を切り取る。１１０２の例では、網掛け部１１１０が未重複領域の画像となる。
【０１１０】
１１０３は、加工用画像（コピーＡ）に未重複領域の画像を張り付けする処理を示すイメージ図である。
【０１１１】
加工用画像データ（コピーＡ）に１１０２で取得した未重複領域の画像を貼付先１１１１に貼り付け、上書き保存する。
【０１１２】
上書き後、再度撮影対象外の四隅座標を取得し、合成用座標変数に上書きする。１１０３の例では、Ａ１［０］（３２０，２８０）、Ａ１［１］（３８０，２８０）、Ａ１［２］（３８０，２２０）、Ａ１［３］（３２０，２２０）となる。これを全ての画像で行うことにより、「エ」のユーザが画像から消え、例えば背景（風景）となる画像で貼り付けられた画像が得られる。
【０１１３】
図１２は、画像加工処理の結果画像を表示する際の確認画面のイメージ図である。
【０１１４】
図１２は、登録外メンバー除外撮影モードの確認画面であり、合成完了した画像が上部に表示される。その際、合成元領域の座標に従ってマーキングして表示する（１２０１）。例えば、図１１の１１０１で取得した四隅座標を記憶しておき、この座標に従って点線矩形を表示する。また、下部に加工前画像も確認・保存可能にする為、リスト表示する（１２０５）。保存を可能にするため、１２０２を表示し、ＯＫボタン１２０３とキャンセルボタン１２０４を配置している。ＯＫボタン１２０３を押下されると合成された画像がメモリーカード１１５に保存する。
【０１１５】
１２０２は、未合成箇所がある場合の確認画面であり、合成しきれなかった箇所はマーキングし（１２０６）、その旨が分かるメッセージを表示する（１２０７）。
【０１１６】
１２０３は、未加工の連続画像を選択した場合の確認画面であり、リスト表示で選択された未加工の画像１２０９が上部に表示され、加工された合成画像もリスト表示される（１２０８）。
【０１１７】
以上説明したように、本実施形態によれば、撮影対象グループ以外の人物が撮影範囲内に存在する場合に連続撮影に切り替え、連続撮影によって得られた複数の画像を用いて、ユーザが期待した写真を生成することができる。
【０１１８】
特に、セルフタイマーを用いて撮影を行った場合に、撮影時に関係ないユーザが写りこんでしまった場合に、当該ユーザを画像から簡単に削除できる。
【０１１９】
なお、上述した各種データの構成及びその内容はこれに限定されるものではなく、用途や目的に応じて、様々な構成や内容で構成されることは言うまでもない。
【０１２０】
以上、一実施形態について示したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【０１２１】
また、本発明におけるプログラムは、図３〜図６に示すフローチャートの処理方法をコンピュータが実行可能なプログラムであり、本発明の記憶媒体は図３〜図６の処理方法をコンピュータが実行可能なプログラムが記憶されている。なお、本発明におけるプログラムは図３〜図６の各装置の処理方法ごとのプログラムであってもよい。
【０１２２】
以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。
【０１２３】
この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記憶した記録媒体は本発明を構成することになる。
【０１２４】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク、ソリッドステートドライブ等を用いることができる。
【０１２５】
また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１２６】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１２７】
また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。
【０１２８】
さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。
【０１２９】
なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。
【符号の説明】
【０１３０】
１００  撮影装置
２０１  画像再生部
２０２  顔認証部
２０３  撮影対象グループ登録部
２０４  画像加工部
２０５  撮影部
２０６  起動部
２０７  終了部
２０８  テーブル記憶部
２０９  画像データ記憶部
【図１】
2013135459.tif 000003
【図２】
2013135459.tif 000004
【図３】
2013135459.tif 000005
【図４】
2013135459.tif 000006
【図５】
2013135459.tif 000007
【図６】
2013135459.tif 000008
【図７】
2013135459.tif 000009
【図８】
2013135459.tif 000010
【図９】
2013135459.tif 000011
【図１０】
2013135459.tif 000012
【図１１】
2013135459.tif 000013
【図１２】
2013135459.tif 000014