(57)【要約】【課題】集合写真等において、本来被写体として撮影されるべき人物が一緒に写らない場合に、当該人物についての情報がユーザーに報知されていない。【解決手段】撮影対象となる人物の顔画像の特徴量を含む顔情報１５ａを記憶部１５に登録する人物登録部１６を有する。そして、被写体の撮影を行う撮影部１７と、被写体の画像から人物の顔領域を検出する顔領域検出部１８と、顔領域から特徴量を検出する顔特徴検出部１９と、を有する。そして、検出された特徴量と登録されている顔情報１５ａの特徴量とを照合することにより、被写体の画像に含まれる人物と撮影対象となる人物とを照合する人物照合部２０と、この照合結果に基づいて、撮影対象となる人物が被写体の画像に含まれていないときに報知する報知部２１と、を有する。【選択図】図１
2011166566.tif 000002
【特許請求の範囲】
【請求項１】
撮影対象となる人物の顔画像の特徴量を含む顔情報を記憶部に登録する人物登録部と、
被写体の撮影を行う撮影部と、
前記撮影部により撮影された前記被写体の画像から人物の顔領域を検出する顔領域検出部と、
前記検出された顔領域から特徴量を検出する顔特徴検出部と、
前記顔特徴検出部により検出された特徴量と前記記憶部に登録されている顔情報の特徴量とを照合することにより、前記被写体の画像に含まれる人物と前記撮影対象となる人物とを照合する人物照合部と、
前記人物照合部の照合結果に基づいて、前記撮影対象となる人物が前記被写体の画像に含まれていないときに報知する報知部と、を有することを特徴とする撮影装置。
【請求項２】
前記報知部は、前記人物照合部の照合結果に基づいて、前記撮影対象となる人物以外の人物が前記被写体の画像に含まれているときに報知することを特徴とする請求項１に記載の撮影装置。
【請求項３】
前記人物登録部は、前記人物照合部の照合結果に基づいて、前記撮影対象となる人物以外の人物が前記被写体の画像に含まれているときに、前記撮影対象となる人物以外の人物についての前記顔情報を記憶部に登録することを特徴とする請求項１又は２に記載の撮影装置。
【請求項４】
撮影対象となる人物の顔画像の特徴量を含む顔情報を登録する人物登録工程と、
被写体の撮影を行う撮影工程と、
前記撮影工程において撮影された前記被写体の画像から人物の顔領域を検出する顔領域検出工程と、
前記検出された顔領域から特徴量を検出する顔特徴検出工程と、
前記顔特徴検出工程において検出された特徴量と前記登録されている顔情報の特徴量とを照合することにより、前記被写体の画像に含まれる人物と前記撮影対象となる人物とを照合する人物照合工程と、
前記人物照合工程における照合結果に基づいて、前記撮影対象となる人物が前記被写体の画像に含まれていないときに報知する報知工程と、を有することを特徴とする撮影方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影装置及び撮影方法に関する。
【背景技術】
【０００２】
従来、例えば集合写真のように複数の人物を撮影する際、顔認識技術を利用して撮影を行う撮影装置が知られている。例えば、特許文献１では、複数の被写体の顔画像を登録しておき、撮影した顔画像と比較照合することにより、照合された顔画像の数に応じて、被写体の撮像に関連する処理を実行するようにしている。また、特許文献２では、セルフタイマーなどを利用した自動撮影において、予め入力された被写体の人数と検出された顔領域の配置等に基づいて、集合写真における撮影範囲を的確に報知するようにしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２４５００７号公報
【特許文献２】特開２００８−１３４４５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１及び特許文献２に記載されているような撮影装置の場合、集合写真等において、被写体の人数に基づいてユーザーに情報を報知できるものの、本来被写体として撮影されるべき人物が一緒に写らない場合に、当該人物についての情報をユーザーに報知することに関しては記載されていない。
【課題を解決するための手段】
【０００５】
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。
【０００６】
［適用例１］撮影対象となる人物の顔画像の特徴量を含む顔情報を記憶部に登録する人物登録部と、被写体の撮影を行う撮影部と、前記撮影部により撮影された前記被写体の画像から人物の顔領域を検出する顔領域検出部と、前記検出された顔領域から特徴量を検出する顔特徴検出部と、前記顔特徴検出部により検出された特徴量と前記記憶部に登録されている顔情報の特徴量とを照合することにより、前記被写体の画像に含まれる人物と前記撮影対象となる人物とを照合する人物照合部と、前記人物照合部の照合結果に基づいて、前記撮影対象となる人物が前記被写体の画像に含まれていないときに報知する報知部と、を有することを特徴とする撮影装置。
【０００７】
上記した撮影装置によれば、人物登録部が、撮影対象となる人物の顔画像の特徴量を含む顔情報を登録する。そして、人物照合部が、撮影された被写体の画像から検出された顔領域の特徴量と、登録された顔情報の特徴量とを照合する。その結果に基づいて、報知部が、撮影対象となる人物が被写体の画像に含まれていないときに報知する。
登録されている撮影対象となる人物は、本来ならば被写体の画像に含まれるべき人物であり、当該人物が被写体に含まれないときに報知することにより、例えば集合写真等の場合、撮影対象となる人物全員が写真に写っているのか否かを、撮影の際に確認することができる。これにより、撮影対象となる人物が集合写真等から洩れてしまうのを防ぐことができる。
【０００８】
［適用例２］前記報知部は、前記人物照合部の照合結果に基づいて、前記撮影対象となる人物以外の人物が前記被写体の画像に含まれているときに報知することを特徴とする上記撮影装置。
【０００９】
上記した撮影装置によれば、撮影対象となる人物以外の人物が被写体の画像に含まれているときに報知することにより、関係者以外が集合写真等に写ってしまうのを防ぐことができる。
【００１０】
［適用例３］前記人物登録部は、前記人物照合部の照合結果に基づいて、前記撮影対象となる人物以外の人物が前記被写体の画像に含まれているときに、前記撮影対象となる人物以外の人物についての前記顔情報を記憶部に登録することを特徴とする上記撮影装置。
【００１１】
上記した撮影装置によれば、撮影対象となる人物以外の人物についての顔情報を登録することにより、例えば、撮影対象となる人物が未登録の状態において撮影対象として人物を新規登録したり、あるいは、当初は撮影対象でない人物を撮影対象として追加登録したりすることができ、ユーザーに掛かる負荷を軽減して撮影対象となる人物を登録することができる。
【００１２】
［適用例４］撮影対象となる人物の顔画像の特徴量を含む顔情報を登録する人物登録工程と、被写体の撮影を行う撮影工程と、前記撮影工程において撮影された前記被写体の画像から人物の顔領域を検出する顔領域検出工程と、前記検出された顔領域から特徴量を検出する顔特徴検出工程と、前記顔特徴検出工程において検出された特徴量と前記登録されている顔情報の特徴量とを照合することにより、前記被写体の画像に含まれる人物と前記撮影対象となる人物とを照合する人物照合工程と、前記人物照合工程における照合結果に基づいて、前記撮影対象となる人物が前記被写体の画像に含まれていないときに報知する報知工程と、を有することを特徴とする撮影方法。
【００１３】
上記した撮影方法によれば、人物登録工程において、撮影対象となる人物の顔画像の特徴量を含む顔情報を登録する。そして、人物照合工程において、撮影された被写体の画像から検出された顔領域の特徴量と、登録された顔情報の特徴量とを照合する。その結果に基づいて、報知工程において、撮影対象となる人物が被写体の画像に含まれていないときに報知する。
登録されている撮影対象となる人物は、本来ならば被写体の画像に含まれるべき人物であり、当該人物が被写体に含まれないときに報知することにより、例えば集合写真等の場合、撮影対象となる人物全員が写真に写っているのか否かを、撮影の際に確認することができる。これにより、撮影対象となる人物が集合写真等から洩れてしまうのを防ぐことができる。
【図面の簡単な説明】
【００１４】
【図１】撮影装置の機能構成を示すブロック図。
【図２】撮影対象となる人物を登録する動作を示すフローチャート。
【図３】撮影された人物を照合する動作を示すフローチャート。
【図４】登録する人物の画像の例を示す図。
【図５】集合写真として撮影された被写体の撮影画像の例を示す図。
【発明を実施するための形態】
【００１５】
以下、本実施形態に係る撮影装置について、図面を参照して説明する。
【００１６】
＜撮影装置の構成＞
最初に、本実施形態に係る撮影装置の構成について説明する。
図１は、本実施形態に係る撮影装置１の機能構成を示すブロック図である。この撮影装置は、被写体を撮影するために用いる例えばデジタルカメラである。本実施形態では、撮影装置１が撮影する被写体として、複数の人物が撮影される集合写真等を例にして説明する。
【００１７】
撮影装置１は、ＣＰＵ１１、内部メモリー１２、操作部１３、表示部１４、記憶部１５、人物登録部１６、撮影部１７、顔領域検出部１８、顔特徴検出部１９、人物照合部２０、報知部２１等を備えている。
【００１８】
ＣＰＵ（Central Processing Unit）１１は、上記の各部を制御して、内部メモリー１２に格納されているプログラムに応じて各種の処理を実行する。内部メモリー１２は、ＣＰＵ１１が実行する各種プログラムや各種データを格納するＲＯＭ（Read Only Memory）、及びＣＰＵ１１が実行対象とするプログラムやデータを一時的に格納するＲＡＭ（Random Access Memory）によって構成されている。
【００１９】
操作部１３は、ボタンやタッチパネル等により構成され、ユーザーからの指示を取得する機能を有している。表示部１４は、例えば液晶ディスプレイ等により構成され、画像、各種設定情報及びユーザーへのメッセージ等を表示する。
【００２０】
記憶部１５は、例えば、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）やフラッシュメモリーのような不揮発性メモリーにより構成される。記憶部１５には、顔情報１５ａ等が記憶されている。この顔情報１５ａは、集合写真等を撮影する際に前もって登録された、撮影対象となる複数の人物の顔画像の特徴量及び名前等を含む情報である。
【００２１】
人物登録部１６は、撮影対象となる複数の人物の顔画像の特徴量及び名前等を含む顔情報１５ａを生成し、記憶部１５に登録する。ここで、撮影対象となる複数の人物の顔画像は、操作部１３を介してユーザーから指定された顔画像であり、集合写真等に一緒に収める予定となる人物の顔画像である。ここで、ユーザーが指定する複数の人物の顔画像及び名前等の情報は、記憶部１５から取得するようにしても良い。また、図示しない通信インターフェースを介して記録メディア等から取得するようにしても良い。
なお、人物の顔画像の特徴量は、後述する顔領域検出部１８により検出された顔領域から、後述する顔特徴検出部１９により検出された特徴量である。
【００２２】
撮影部１７は、撮影を行う機構部分であり、図示しないシャッター、レンズ、光学素子等からなり、集合写真等を撮影した際に複数の人物を含む被写体の画像を生成する。
【００２３】
顔領域検出部１８は、撮影部１７により撮影された被写体の画像に含まれる全ての顔領域を検出する。また、記憶部１５の顔情報１５ａに登録された顔画像からも顔領域を検出する。本実施形態では、例えば、テンプレートを利用したパターンマッチングによる方法（特開２００６−２７９４６０号公報参照）等の公知の検出方法を用いて顔領域を検出する。
【００２４】
顔特徴検出部１９は、顔領域検出部１８により検出された顔領域から顔の特徴量を検出する。この特徴量は、顔領域の人物の顔認識を行うために用いられる。ここでは、顔領域から顔、目及び口の器官輪郭と、それらの顔領域における相対位置を検出する。本実施形態では、上記した顔領域の検出と同様に、例えば、テンプレートを利用したパターンマッチングによる方法等の公知の検出方法を用いて顔器官を検出する。
【００２５】
人物照合部２０は、撮影部１７により撮影された被写体の画像に含まれる全ての顔領域について検出された特徴量と、記憶部１５の顔情報１５ａに登録されている複数の人物の顔画像の特徴量とを照合する。これにより、集合写真等を撮影した際に被写体となった複数の人物全員と、記憶部１５の顔情報１５ａに登録された複数の人物全員とが互いに照合されることになる。
【００２６】
報知部２１は、人物照合部２０における照合結果に基づいて、記憶部１５の顔情報１５ａに登録されている人物の中に、撮影された被写体の画像に存在しない人物がいた場合、当該存在しない人物の名前等の情報とともに、集合写真等に写っていない旨のメッセージを、表示部１４に表示してユーザーに報知する。また、逆に、記憶部１５の顔情報１５ａに登録されていない人物が撮影された被写体の画像に存在した場合についても、当該登録されていない人物について被写体の画像に明示するとともに、登録されていない人物が集合写真等に写っている旨のメッセージを表示部１４に表示してユーザーに報知する。
【００２７】
＜撮影装置の動作＞
次に、本実施形態に係る撮影装置の動作について説明する。
最初に、撮影対象となる人物の顔情報１５ａを生成して、記憶部１５に登録する動作について説明する。図２は、撮影対象となる人物を登録する動作を示すフローチャートである。
【００２８】
撮影装置１は、集合写真等に一緒に収める対象となる人物の画像の１枚を取得する（ステップＳ１１０）。図４は、登録する人物の画像の例を示す図である。同図では登録する人物Ａ〜Ｅの５人の画像を示しており、ステップＳ１１０ではこれらの画像の中から１枚の画像を取得する。
【００２９】
次に、撮影装置１は、顔領域検出部１８により、ステップＳ１１０において取得した画像に含まれる顔領域を検出する（ステップＳ１２０）。そして、撮影装置１は、顔特徴検出部１９により、検出された顔領域から顔の特徴量を検出する（ステップＳ１３０）。
【００３０】
次に、撮影装置１は、人物登録部１６により、ステップＳ１３０において検出された顔の特徴量及び当該人物の名前等を含む顔情報１５ａを生成して記憶部１５に登録する（ステップＳ１４０）。
【００３１】
次に、撮影装置１は、次に登録する対象の人物がいるか否かを判定する（ステップＳ１５０）。登録する人物がいる場合（ステップＳ１５０：Ｙｅｓ）は、ステップＳ１１０に戻り、ステップＳ１１０〜Ｓ１４０における顔情報１５ａを生成して記憶する処理を、登録する人物がなくなるまで繰り返す。
他方、登録する人物がいない場合（ステップＳ１５０：Ｎｏ）は、図２のフローチャートの動作を終了する。
【００３２】
図４の例では、人物Ａ〜Ｅの５人について、各人物の顔の特徴量と名前等を含む顔情報１５ａが記憶部１５に登録される。なお、図４では１枚の画像に一人の人物の顔が含まれているが、１枚の画像に複数の人物の顔が含まれていても良い。この場合、上記のステップＳ１２０〜Ｓ１４０において、複数の人物の顔領域を検出し、各顔領域から特徴量を検出して各特徴量及び各人物の名前を含む顔情報１５ａを生成して登録する。
【００３３】
次に、被写体として撮影された人物を照合する動作について説明する。図３は、撮影された人物を照合する動作を示すフローチャートである。
【００３４】
撮影装置１は、撮影部１７により、被写体を撮影する（ステップＳ２１０）。図５は、集合写真として撮影された被写体の撮影画像Ｐ１の例を示す図である。撮影画像Ｐ１には、人物Ａ〜Ｄ及び人物Ｗが写っている。
【００３５】
次に、撮影装置１は、顔領域検出部１８により、ステップＳ２１０における撮影画像Ｐ１に含まれる全ての顔領域を検出する（ステップＳ２２０）。そして、撮影装置１は、顔特徴検出部１９により、検出された各顔領域から顔の特徴量を検出する（ステップＳ２３０）。
【００３６】
次に、撮影装置１は、人物照合部２０により、ステップＳ２３０において検出された各顔領域の特徴量と、記憶部１５の顔情報１５ａに登録されている各人物の顔画像の特徴量とを照合する（ステップＳ２４０）。図４及び図５の例では、撮影対象として登録された人物Ｅが撮影画像Ｐ１に存在していない。逆に、撮影対象として登録されていない人物Ｗが撮影画像Ｐ１に存在している。
【００３７】
次に、撮影装置１は、顔情報１５ａに登録されている人物全員が撮影画像Ｐ１に存在しているか否かを判定する（ステップＳ２５０）。登録されている人物全員が撮影画像Ｐ１に存在している場合（ステップＳ２５０：Ｙｅｓ）は、ステップＳ２７０の判定へ進む。
他方、登録されている人物の内一人でも撮影画像Ｐ１に存在していない場合（ステップＳ２５０：Ｎｏ）は、報知部２１により、登録人物が撮影画像Ｐ１に写っていない旨のメッセージを、当該登録人物の名前等の情報とともに表示部１４に表示する（ステップＳ２６０）。図５の例では、撮影対象となる人物Ｅが撮影画像Ｐ１に存在していないことから、人物Ｅが集合写真等に写っていない旨のメッセージを、人物Ｅの名前等とともに表示する。そして、ステップＳ２７０の判定へ進む。
【００３８】
ステップＳ２７０では、撮影装置１は、顔情報１５ａに登録されている人物のみが撮影画像Ｐ１に存在しているか否かを判定する。登録されている人物のみが撮影画像Ｐ１に存在している場合（ステップＳ２７０：Ｙｅｓ）は、図３のフローチャートの動作を終了する。
他方、登録されていない人物が撮影画像Ｐ１に存在している場合（ステップＳ２７０：Ｎｏ）は、当該未登録の人物をユーザーが識別できるように、例えば、撮影画像Ｐ１における未登録の人物の顔画像にマークを表示する等して明示する（ステップＳ２８０）。図５の例では、未登録の人物Ｗが撮影画像Ｐ１に写っていることから、例えば撮影画像Ｐ１に写っている人物Ｗの顔にマークを表示する。そして、ステップＳ２９０へ進む。
【００３９】
ステップＳ２９０では、撮影装置１は、ステップＳ２８０においてユーザーに明示した登録されていない人物を、撮影対象となる人物として登録するか否かを、操作部１３を介してユーザーから受け付ける。撮影対象となる人物として登録する場合（ステップＳ２９０：Ｙｅｓ）は、図２に示すフローチャートのＳ１１０〜Ｓ１４０と同様に、当該人物の顔画像の特徴量及び名前等を含む顔情報１５ａを生成し、記憶部１５に登録する（ステップＳ３００）。図５の例では、未登録の人物Ｗが撮影対象となる人物として追加登録されることになる。そして、図３のフローチャートの動作を終了する。
他方、撮影対象となる人物として登録しない場合（ステップＳ２９０：Ｎｏ）は、図３のフローチャートの動作を終了する。
【００４０】
なお、人物登録工程は、図２のステップＳ１４０に相当する。また、撮影工程は、図３のステップＳ２１０に相当する。また、顔領域検出工程は、図２のステップＳ１２０及び図３のステップＳ２２０に相当する。また、顔特徴検出工程は、図２のステップＳ１３０及び図３のステップＳ２３０に相当する。また、人物照合工程は、図３のステップＳ２４０に相当する。また、報知工程は、図３のステップＳ２６０及びＳ２８０に相当する。
【００４１】
上述した実施形態では、撮影対象となる人物の顔情報１５ａを予め登録しておく。そして、集合写真等を撮影した際に、撮影画像から検出した各人物の顔領域の特徴量と、登録されている撮影対象となる人物の顔情報１５ａとを照合する。この照合の結果、撮影対象となる人物が集合写真等に写っていない場合、当該写っていない人物の名前等の情報をメッセージとともにユーザーに報知する。これにより、集合写真等に一緒に納まる予定の人物が撮影から洩れている場合、当該人物の名前等をユーザーに知らせることができる。ユーザーは、洩れている人物の名前等に基づいて、容易に対応することができる。
【００４２】
また、撮影対象となっていない人物が集合写真等に写っている場合は、当該撮影対象となっていない人物を撮影画像において明示し、メッセージとともにユーザーに報知する。これにより、撮影対象となっていない人物が集合写真等に一緒に入ってしまうのを防ぐことができる。ここで、撮影対象となっていない人物を撮影対象にしたい場合には、その場で撮影対象として登録することができ、ユーザーの負荷を軽減することができる。
【００４３】
（変形例１）
上述した実施形態では、登録されている人物が撮影画像に存在しなかった場合、報知部２１により、当該人物の名前等をメッセージとともに表示部１４に表示する。しかし、名前及びメッセージの表示に限られず、例えば、顔情報１５ａに含まれる人物の名前に基づいて、音声により当該人物の名前を出力して呼び出すようにしても良い。また、当該人物の顔画像を表示部１４に表示するようにしても良い。
集合写真等を撮影する際に、ユーザーは、音声の呼び出しにより、撮影画像に写っていない人物を容易に把握することができ、また、顔画像の表示により、例えば名前と顔の一致しない人物でも当該人物を正しく把握して探すことができる。
【００４４】
（変形例２）
上述した実施形態では、撮影部１７により撮影された被写体の画像に基づいて人物の照合を行っている。しかし、このときの撮影部１７における撮影は、シャッターが全押しの状態ではなく半押しの状態であっても良い。シャッターが半押しの状態で人物の照合を可能にすることにより、実際に集合写真等の撮影を行う前に人物の照合を行うことができ、より効率的に撮影操作を行うことができる。
【００４５】
（変形例３）
上述した実施形態では、撮影対象となる複数の人物の顔画像の特徴量及び名前等を顔情報１５ａに登録しているが、複数のグループに分けて、撮影対象となる複数の人物の顔情報１５ａを登録するようにしても良い。例えば、集合写真Ａの対象となる複数の人物のグループ、集合写真Ｂの対象となる複数の人物のグループといったように、顔情報１５ａの登録内容をグループ分けして用いるようにする。
【符号の説明】
【００４６】
１…撮影装置、１１…ＣＰＵ、１２…内部メモリー、１３…操作部、１４…表示部、１５…記憶部、１５ａ…顔情報、１６…人物登録部、１７…撮影部、１８…顔領域検出部、１９…顔特徴検出部、２０…人物照合部、２１…報知部。
【図１】
2011166566.tif 000003
【図２】
2011166566.tif 000004
【図３】
2011166566.tif 000005
【図４】
2011166566.tif 000006
【図５】
2011166566.tif 000007