(57)【要約】【課題】撮像画像だけでは顔認識されなかった顔領域を、他の画像における顔認識情報に基づいて通知することが可能な情報処理装置及び記録媒体を提供する。【解決手段】撮像画像から顔領域を認識する認識部と、前記認識部により認識された顔領域を示す顔認識情報を記憶部に記憶させる記憶制御部と、外部からの指示に応じて撮像部により撮像された現在撮像画像において、前記記憶部に記憶された他の撮像画像の顔認識情報が示す第１の顔領域に対応する領域のうち、前記現在撮像画像から前記認識部が認識した第２の顔領域に含まれない領域を、顔領域候補として示す表示を、前記第２の顔領域を示す表示とは識別可能に表示部に重畳表示する表示制御部と、を備える、情報処理装置。【選択図】図１
2014123261.tif 000002
【特許請求の範囲】
【請求項１】
撮像画像から顔領域を認識する認識部と、
前記認識部により認識された顔領域を示す顔認識情報を記憶部に記憶させる記憶制御部と、
外部からの指示に応じて撮像部により撮像された現在撮像画像において、前記記憶部に記憶された他の撮像画像の顔認識情報が示す第１の顔領域に対応する領域のうち、前記現在撮像画像から前記認識部が認識した第２の顔領域に含まれない領域を、顔領域候補として示す表示を、前記第２の顔領域を示す表示とは識別可能に表示部に重畳表示する表示制御部と、
を備える、情報処理装置。
【請求項２】
前記情報処理装置は、前記顔領域候補の領域を編集する編集部をさらに備える、請求項１に記載の情報処理装置。
【請求項３】
前記記憶制御部は、前記撮像画像を記憶部に記憶させ、
前記編集部は、前記顔領域候補の領域に、前記現在撮像画像が撮像されるよりも前の時刻に撮像され前記記憶部に記憶された撮像画像の前記顔領域候補に対応する領域を合成する、請求項２に記載の情報処理装置。
【請求項４】
前記記憶制御部は、前記撮像画像を記憶部に記憶させ、
前記編集部は、前記顔領域候補の領域に、前記現在撮像画像が撮像された後の時刻に撮像され前記記憶部に記憶された撮像画像の前記顔領域候補に対応する領域を合成する、請求項２に記載の情報処理装置。
【請求項５】
前記表示制御部は、候補画像を前記表示部に重畳表示し、
前記編集部は、前記現在撮像画像のうち前記顔領域候補の領域に、外部からの指示に応じて前記候補画像を合成する、請求項２に記載の情報処理装置。
【請求項６】
前記編集部は、前記現在撮像画像のうち前記第１の顔領域に対応する領域を編集する、請求項２に記載の情報処理装置。
【請求項７】
前記表示制御部は、外部からの指示の前に前記撮像部により撮像され前記表示部に実時間で表示される現在撮像画像に、前記顔領域候補を示す表示を重畳表示する、請求項１に記載の情報処理装置。
【請求項８】
前記他の撮像画像の顔認識情報は、前記現在撮像画像が撮像されるよりも前の時刻に撮像された撮像画像の顔認識情報である、請求項１に記載の情報処理装置。
【請求項９】
前記他の撮像画像の顔認識情報は、前記現在撮像画像が撮像された後の時刻に撮像された撮像画像の顔認識情報である、請求項１に記載の情報処理装置。
【請求項１０】
前記表示制御部は、前記現在撮像画像が撮像された時刻と前記他の撮像画像が撮像された時刻との差分が第１の閾値以下である場合に、前記顔領域候補を示す表示を前記表示部に重畳表示する、請求項１に記載の情報処理装置。
【請求項１１】
前記表示制御部は、前記現在撮像画像が撮像された時刻と前記他の撮像画像が撮像された時刻との差分が第２の閾値以下であって、前記第１の顔領域と前記第２の顔領域とが一致した数が第３の閾値以上である場合に、前記顔領域候補を示す表示を前記表示部に重畳表示する、請求項１に記載の情報処理装置。
【請求項１２】
前記情報処理装置は、前記撮像部を制御する撮像制御部をさらに備え、
前記認識部は、前記撮像画像から笑顔領域を認識し、
前記記憶制御部は、前記認識部により認識された笑顔領域の画像を前記記憶部に記憶させ、
前記撮像制御部は、前記第２の顔領域および前記顔領域候補の領域のすべてに対応する笑顔領域の画像が前記記憶部に記憶されるまで前記撮像部に撮像を繰り返させ、
前記編集部は、前記第２の顔領域および前記顔領域候補に、前記記憶部に記憶された笑顔領域の画像を合成する、請求項２に記載の情報処理装置。
【請求項１３】
前記認識部は、前記撮像画像から笑顔領域を認識し、
前記表示制御部は、前記現在撮像画像において、前記第２の顔領域および前記顔領域候補の領域のうち、前記現在撮像画像から前記認識部が認識した笑顔領域に含まれない領域を、非笑顔領域として示す表示を前記表示部に重畳表示する、請求項１に記載の情報処理装置。
【請求項１４】
前記編集部は、前記顔領域候補の領域に、前記現在撮像画像が撮像された撮像部と異なる撮像部により撮像された撮像画像の前記顔領域候補に対応する領域を合成する、
請求項２に記載の情報処理装置。
【請求項１５】
コンピュータに、
撮像画像から顔領域を認識するステップと、
認識された顔領域を示す顔認識情報を記憶部に記憶させるステップと、
外部からの指示に応じて撮像部により撮像された現在撮像画像において、前記記憶部に記憶された他の撮像画像の顔認識情報が示す第１の顔領域に対応する領域のうち、前記現在撮像画像から認識した第２の顔領域に含まれない領域を、顔領域候補として示す表示を、前記第２の顔領域を示す表示とは識別可能に表示部に重畳表示するステップと、
を実行させるためのプログラムが記録された記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置及び記録媒体に関する。
【背景技術】
【０００２】
一般的に、集合写真等の複数人を被写体とする場合、できるだけ多くの人が良い表情をした画像が撮像されることが望まれる。このため、例えば、笑顔の検出やまばたきの検出を行うことで、皆が笑顔になったことをシャッタタイミングとして通知する技術や、撮像後、良い表情ではない顔領域を他の画像で補正する撮像装置が開発されている。
【０００３】
例えば、下記特許文献１では、撮像画像のうち顔領域として認識されたものの、笑顔でないまたは視線が逸れている顔領域を、他の画像における笑顔であり視線が正面を向いた顔領域に置き換えて合成する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１９８０６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、上記特許文献１に開示された技術は、顔認識された領域についてのみ処理するものであって、横向きの顔等の顔認識されなかった領域については、何ら処理を行うものではなかった。
【０００６】
そこで、本開示では、撮像画像だけでは顔認識されなかった顔領域を、他の画像における顔認識情報に基づいて通知することが可能な、新規かつ改良された情報処理装置及び記録媒体を提案する。
【課題を解決するための手段】
【０００７】
本開示によれば、撮像画像から顔領域を認識する認識部と、前記認識部により認識された顔領域を示す顔認識情報を記憶部に記憶させる記憶制御部と、外部からの指示に応じて撮像部により撮像された現在撮像画像において、前記記憶部に記憶された他の撮像画像の顔認識情報が示す第１の顔領域に対応する領域のうち、前記現在撮像画像から前記認識部が認識した第２の顔領域に含まれない領域を、顔領域候補として示す表示を、前記第２の顔領域を示す表示とは識別可能に表示部に重畳表示する表示制御部と、を備える、情報処理装置が提供される。
【０００８】
また、本開示によれば、コンピュータに、撮像画像から顔領域を認識するステップと、認識された顔領域を示す顔認識情報を記憶部に記憶させるステップと、外部からの指示に応じて撮像部により撮像された現在撮像画像において、前記記憶部に記憶された他の撮像画像の顔認識情報が示す第１の顔領域に対応する領域のうち、前記現在撮像画像から認識した第２の顔領域に含まれない領域を、顔領域候補として示す表示を、前記第２の顔領域を示す表示とは識別可能に表示部に重畳表示するステップと、を実行させるためのプログラムが記録された記録媒体が提供される。
【発明の効果】
【０００９】
以上説明したように本開示によれば、撮像画像だけでは顔認識されなかった顔領域を、他の画像における顔認識情報に基づいて通知することが可能である。
【図面の簡単な説明】
【００１０】
【図１】本開示の一実施形態に係る画像処理部の概要を示す説明図である。
【図２】第１の実施形態に係るカメラの構成を示すブロック図である。
【図３】第１の実施形態に係る画像処理部の動作を示すフローチャートである。
【図４】第１の実施形態に係る表示制御部による関連付け処理を説明するための説明図である。
【図５】第１の実施形態に係る表示制御部による第２のアルゴリズムによる関連付け処理を説明するための説明図である。
【図６】変形例１に係る画像処理部の動作を示すフローチャートである。
【図７】変形例２に係る画像処理部の動作を示すフローチャートである。
【図８】第２の実施形態に係る画像処理部の動作を示すフローチャートである。
【図９Ａ】変形例３に係る画像処理部の動作を示すフローチャートである。
【図９Ｂ】変形例３に係る画像処理部の動作を示すフローチャートである。
【図１０】第３の実施形態に係る画像処理部の概要を示す説明図である。
【図１１】第３の実施形態に係る画像処理部による合成処理を説明するための説明図である。
【発明を実施するための形態】
【００１１】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１２】
なお、説明は以下の順序で行うものとする。
１．本開示の一実施形態に係る情報処理装置の概要
２．実施形態
２−１．第１の実施形態
２−１−１．構成
２−１−２．動作処理
２−１−３．変形例１
２−１−４．変形例２
２−２．第２の実施形態
２−２−１．動作処理
２−２−２．変形例３
２−３．第３の実施形態
３．まとめ
【００１３】
＜＜１．本開示の一実施形態に係る情報処理装置の概要＞＞
本開示は、一例として「２−１．第１の実施形態」〜「２−３．第３の実施形態」において詳細に説明するように、多様な形態で実施され得る。また、本実施形態に係る情報処理装置（画像処理部１）は、
Ａ．撮像画像から顔領域を認識する認識部（１１）と、
Ｂ．前記認識部により認識された顔領域を示す顔認識情報を記憶部（２）に記憶させる記憶制御部（１３）と、
Ｃ．外部からの指示に応じて撮像部（４）により撮像された現在撮像画像において、前記記憶部に記憶された他の撮像画像の顔認識情報が示す第１の顔領域に対応する領域のうち、前記現在撮像画像から前記認識部が認識した第２の顔領域に含まれない領域を、顔領域候補として示す表示を、前記第２の顔領域を示す表示とは識別可能に表示部（３）に重畳表示する表示制御部（１４）と、
を備える。
【００１４】
本開示の一実施形態に係る画像処理部は、外部からの指示に応じて撮像部により撮像された現在撮像画像からは顔認識できないものの、顔領域が存在すると判定した領域を、顔領域候補として顔認識できた領域とは識別可能に表示部に表示させる。なお、本明細書においては、撮像素子が受光することを撮像と称する。例えば、画像処理部は、設置型カメラ、ユーザに把持される把持型カメラ、ユーザや動物、車両等に装着されるウェアラブルカメラ等に含まれる。
【００１５】
そのために、認識部は、まず、常時または所定のタイミングで撮像された画像（他の撮像画像）について顔認識し、顔認識情報を出力する。顔認識情報とは、認識した顔領域の位置、範囲、撮像された時刻、または笑顔の度合などを示す情報を含む情報である。
【００１６】
そして、記憶制御部は、認識部から出力された顔認識情報を累積的に記憶部に記憶させる。このように、記憶制御部は、撮像画像と比較してデータ量が少ない顔認識情報を記憶させることで、撮像画像を記憶させる場合よりも、使用する記憶部の記憶容量を削減することができる。
【００１７】
次いで、認識部は、撮像部がシャッターボタンの押下や、通信を介した撮像指示などの外部からの指示に応じて撮像した撮像画像（現在撮像画像）について、顔認識を行う。
【００１８】
そして、表示制御部は、現在撮像画像と累積された顔認識情報とを関連付けることで、現在撮像画像における顔領域候補を判定する。より詳しくは、表示制御部は、顔認識情報が示す顔領域を、現在撮像画像のうち顔認識できなかった領域に関連付けることで、顔領域候補を判定する。即ち、表示制御部は、他の撮像画像では認識された顔領域（第１の顔領域）に対応する現在撮像画像の領域のうち、現在撮像画像から顔認識できた領域（第２の顔領域）に含まれない領域を、顔領域候補として判定する。例えば、表示制御部は、現在撮像画像を取得する直前まで正面を向いていたために顔認識できていたものの、現在撮像画像取得時に横を向いてしまったために顔認識できなかった被写体の顔領域を、顔領域候補として判定する。以下では、このような表示制御部による顔領域候補の判定処理を、関連付け処理とも称する。
【００１９】
その後、表示制御部は、判定した顔領域候補を示す表示を、顔認識できた領域を示す表示とは識別可能に、現在撮像画像に重畳して表示部に表示させることで、ユーザに通知する。
【００２０】
このように、画像処理部は、現在撮像画像のみからでは、被写体が横を向いているなどにより顔認識できなかった顔領域を、他の画像における顔認識情報を用いて顔領域候補として判定し、ユーザに通知することができる。このため、画像処理部は、ユーザに対し、顔認識できなかった被写体の存在を明確に知らせて、被写体への注意喚起および再度の現在撮像画像の取得を促すことができる。
【００２１】
ここで、このような画像処理部による顔領域候補を示す表示の重畳動作の概要について、図１を参照して具体的に説明する。図１は、本開示の一実施形態に係る画像処理部の概要を示す説明図である。図１に示すように、画像処理部１は、現在撮像画像３１について関連付け処理を行い、関連付け処理後の現在撮像画像３２を表示部に表示させる。
【００２２】
より詳しくは、まず、画像処理部１は、現在撮像画像３１から、正面を向いている被写体９２、９３、および９５を顔認識することができる。このため、画像処理部１は、画像３１に示すように、現在撮像画像３１から顔認識できた領域を示す表示である認識済インジケータ７を、被写体９２、９３、および９５それぞれの顔領域に重畳表示する。
【００２３】
一方で、画像処理部１は、現在撮像画像３１において正面を向いていない被写体９１および９４を顔認識することができない。そこで、画像処理部１は、予め累積された顔認識情報を用いて上述した関連付け処理を行うことで、被写体９１および９２の顔領域を顔領域候補として判定することが可能である。その後、画像処理部１は、現在撮像画像３２に示すように、顔領域候補を示す表示である仮認識インジケータ８を、被写体９１および９２それぞれの顔領域に重畳表示する。なお、図１に示すように、仮認識インジケータ８は、認識済インジケータ７と識別可能に表示される。
【００２４】
以上、本開示の一実施形態に係る画像処理部の概要について説明した。
【００２５】
＜＜２．実施形態＞＞
＜２−１．第１の実施形態＞
［２−１−１．構成］
まず、図２を参照して、第１の実施形態に係る画像処理部１を含むカメラの構成について説明する。なお、図２は、第１の実施形態に係るカメラ１００の構成を示すブロック図である。図２に示すように、カメラ１００は、画像処理部１、記憶部２、表示部３、撮像部４、操作部５、および通信部６を有する。また、カメラ１００の各構成要素は、それぞれバス９を介して接続される。以下、カメラ１００の各構成要素について詳細に説明する。
【００２６】
（通信部）
通信部６は、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）や電話回線などの有線／無線のネットワークによる通信を行うためのモジュールであり、外部からの指示を受け付ける機能を有する。具体的には、通信部６は、他の情報処理装置から送信された撮像指示、および画像の合成指示などを受け付ける。他にも、通信部６は、画像処理部１により処理された画像を他の情報処理装置に送信してもよい。
【００２７】
（操作部）
操作部５は、外部からの指示を受け付ける機能を有する。具体的には、操作部５は、ユーザによる撮像指示、および合成指示などの入力操作を受け付ける。例えば、操作部５は、シャッターボタンや、表示部３と一体的に形成されるタッチパネルにより実現される。
【００２８】
（撮像部）
撮像部４は、撮像素子、撮像レンズを含む撮像光学系、および撮像画像信号処理部を含み、デジタル信号とされた撮像画像のデータを出力する。撮像部４は、操作部５や通信部６により受け付けた撮像指示、または撮像制御部１５による制御に応じて、撮像を行う。なお、撮像素子は、例えばＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）イメージャやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージャにより実現される。
【００２９】
（表示部）
表示部３は、表示制御部１４による制御に基づき、外部からの撮像指示に応じて撮像部４で撮像された現在撮像画像を表示する。他にも、表示部３は、外部からの撮像指示を受け付けることなく継続的に撮像部４で撮像している画像を、実時間で表示する。このように、撮像部４で撮像され、リアルタイムで表示される画像を、以下ではスルー画像とも称する。また、表示部３は、例えばＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）またはＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ−Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）などにより実現される。
【００３０】
（記憶部）
記憶部２は、撮像部４により撮像された画像、および認識部１１から出力された顔認識情報を記憶する。また、記憶部２は、例えばカード型メモリなどのフラッシュメモリや、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）などの記録媒体により実現される。
【００３１】
（画像処理部）
画像処理部１は、現在撮像画像に対して顔領域候補の判定処理を行い、判定した顔領域候補を示す仮認識インジケータ８を、現在撮像画像に重畳させる機能を有する。また、画像処理部１は、図２に示すように、認識部１１、編集部１２、記憶制御部１３、表示制御部１４、および撮像制御部１５として機能する。
【００３２】
・認識部１１
認識部１１は、撮像画像に写る被写体の顔領域を認識する。具体的には、認識部１１は、笑顔の顔領域である笑顔領域や、正面を向いた顔領域である正面顔領域を認識する。さらに、認識部１１は、顔領域の笑顔の度合を示す笑顔度や、顔の角度と撮像部４の光軸との一致度を示す正面度を認識することもできる。そして、認識部１１は、これらの認識結果を顔認識情報として出力する。
【００３３】
・記憶制御部１３
記憶制御部１３は、現在撮像画像、および認識部１１から出力された顔認識情報を記憶部２に記憶させる。また、記憶制御部１３は、後述の表示制御部１４から出力される関連付けデータを記憶部２に記憶させる。ここで、記憶制御部１３は、現在撮像画像および関連付けデータを、現在撮像画像が撮像された時刻に対応付けて記憶する。また、記憶制御部１３は、顔認識情報を、認識部１１がその顔認識情報を認識した画像の撮像時刻に対応付けて記憶する。また、記憶制御部１３は、撮像部４により撮像された画像であって、編集部１２による処理に用いられる画像を、当該画像が撮像された時刻に対応付けて記憶部２に記憶させてもよい。なお、以下では、記憶制御部１３が記憶部２に記憶させることを、記憶制御部１３が記録するとも称する。
【００３４】
・表示制御部１４
表示制御部１４は、上述した関連付け処理により、現在撮像画像における顔領域候補を、累積された顔認識情報に基づいて判定する。このとき、表示制御部１４は、関連付け処理結果である、顔領域候補の位置および範囲を示す関連付けデータを出力する。また、表示制御部１４は、顔領域候補を示す仮認識インジケータ８を、認識部１１により顔認識された領域を示す認識済インジケータ７とは識別可能に、現在撮像画像に重畳して表示部３に表示させる。なお、以下では、表示制御部１４が表示部３に表示させることを、表示制御部１４が表示するとも称する。
【００３５】
・編集部１２
編集部１２は、現在撮像画像における顔領域候補の領域を編集する。例えば編集部１２は、現在撮像画像の顔領域候補の領域を、現在撮像画像が撮像される前または後の時刻に撮像され記録された他の撮像画像における顔領域候補に対応する領域に置き換えるよう編集する。また、編集部１２は、現在撮像画像のうち認識部１１により顔認識された領域を編集してもよい。
【００３６】
・撮像制御部１５
撮像制御部１５は、撮像画像を取得するよう撮像部４を制御する機能を有する。例えば、撮像制御部１５は、操作部５または通信部６により受け付けた撮像指示に応じて撮像部４を制御し、現在撮像画像を取得する。また、撮像制御部１５は、撮像指示が無くとも、継続的に撮像を行うよう撮像部４を制御し、スルー画像を取得し得る。さらに、撮像制御部１５は、編集部１２による編集処理に用いられる撮像画像を、撮像部４に撮像させてもよい。
【００３７】
（補足）
上述した画像処理部１、記憶部２、表示部３、撮像部４、および操作部５は、それぞれが通信部６を有する別箇の情報処理装置を形成していてもよい。この場合、画像処理部１は、有線または無線ネットワークを介して記憶部２、表示部３、撮像部４、および操作部５を制御して、関連付け処理、および仮認識インジケータ８の重畳表示を行ってもよい。
【００３８】
以上、本開示の一実施形態に係るカメラ１００、および画像処理部の各構成について説明した。
【００３９】
［２−１−２．動作処理］
続いて、画像処理部１の動作を、図３〜図４を参照して説明する。図３は、第１の実施形態に係る画像処理部１の動作を示すフローチャートである。図３に示すように、まず、ステップＳ１０４で、認識部１１は、スルー画像から顔認識を行い、顔認識情報を出力する。次いで、ステップＳ１０８で、記憶制御部１３は、認識部１１から出力された顔認識情報を記録する。そして、ステップＳ１１２で、撮像制御部１５は、操作部５または通信部６により撮像指示を受け付けられたか否かを判定する。
【００４０】
撮像指示を受け付けていない場合（Ｓ１１２／Ｎｏ）、処理は再度ステップＳ１０４に戻る。これにより、ステップＳ１０４〜Ｓ１１２が繰り返されるので、記憶制御部１３は、顔認識情報を累積的に記録する。なお、記憶制御部１３は、撮像画像と比較してデータ量が少ない顔認識情報を記録するため、撮像画像を記憶させる場合よりも、使用する記憶部２の記憶容量を削減することができる。
【００４１】
ここで、画像処理部１は、撮像指示を受け付けて後述のステップＳ１１６以降の処理を終了した後にも、ステップＳ１０４〜Ｓ１１２を繰り返して、顔認識情報を累積的に記録するものとする。これにより、画像処理部１は、撮像指示があった場合にも、途切れることなく顔認識情報を記録することができる。また、画像処理部１は、記録された顔認識情報に基づいて、撮像時とは異なるアルゴリズムの関連付け処理を後日改めて行うこともできる。
【００４２】
一方で、撮像指示を受け付けた場合（Ｓ１１２／Ｙｅｓ）、ステップＳ１１６で、撮像制御部１５は撮像部４に撮像させ、記憶制御部１３は撮像された現在撮像画像を記録する。次いで、ステップＳ１２０で、認識部１１は、現在撮像画像から顔認識し、顔認識情報を出力する。そして、ステップＳ１２４で、記憶制御部１３は、認識部１１から出力された顔認識情報を記録する。
【００４３】
続いて、ステップＳ１２８で、表示制御部１４は、現在撮像画像と累積された顔認識情報との関連付け処理を行う。なお、この関連付け処理に用いられる顔認識情報は、現在撮像画像が撮像された前の時刻に、ステップＳ１０４〜Ｓ１０８において累積された顔認識情報である。関連付け処理の具体的な処理内容については後述する。
【００４４】
次に、ステップＳ１３２で、表示制御部１４は、関連付け処理結果である、顔領域候補の位置および範囲を示す関連付けデータに基づいて、現在撮像画像の顔領域候補に仮認識インジケータ８を重畳して表示する。また、表示制御部１４は、上記ステップＳ１２４において記録された、現在撮像画像の顔認識情報に基づいて、現在撮像画像に認識済インジケータ７を重畳して表示する。このため、表示制御部１４は、ユーザに対し、顔認識できなかった被写体の存在を明確に知らせて、被写体への注意喚起および再度の撮像を促すことができる。
【００４５】
最後に、ステップＳ１３６で、記憶制御部１３は、関連付けデータを記録する。このため、画像処理部１は、例えば後日、現在撮像画像と同時刻に記録された関連付けデータに基づいて、仮認識インジケータ８を重畳表示することができる。同様に、画像処理部１は、現在撮像時刻と同時刻に記録された顔認識情報に基づいて、認識済インジケータ７を重畳表示することができる。
【００４６】
以下、ステップＳ１２８における関連付け処理について、図４を参照して具体的に説明する。
【００４７】
図４は、第１の実施形態に係る表示制御部１４による関連付け処理を説明するための説明図である。図４に示すように、図４に示すように、表示制御部１４は、画像３３、３４、３５、３６、および３７について、顔認識情報に基づいて認識済インジケータ７を重畳表示し得る。
【００４８】
表示制御部１４による関連付け処理には多様なアルゴリズムを適用し得る。そこで、本明細書においては、２つのアルゴリズムの例を説明する。これらのアルゴリズムは、現在撮像画像が撮像された時刻と近い時刻に取得された顔認識情報で認識された被写体は、継続して同一箇所に存在するものとして関連付け処理を行うものである。その他にも、例えば、表示制御部１４は、同一被写体を示す顔領域の移動状態を記録し、移動を予測することで、その被写体が顔認識されなかったときの顔領域の位置を推定してもよい。
【００４９】
（第１のアルゴリズムによる関連付け処理）
表示制御部１４は、現在撮像画像が撮像された時刻と顔認識情報が取得された時刻との差分が第１の閾値以下である場合に関連付け処理を行い、仮認識インジケータ８を重畳表示する。表示制御部１４は、累積された顔認識情報を用いるため、画像を累積させて関連付け処理の際に顔認識を行う比較例と比較して、関連付け処理にかかる時間が少ない。
【００５０】
以下、第１のアルゴリズムによる関連付け処理の流れについて説明する。
【００５１】
まず、表示制御部１４は、現在撮像画像が撮像された時刻の前に撮像された画像であって、撮像時刻の差が第１の閾値以下である画像の顔認識情報を選択する。そして、表示制御部１４は、現在撮像画像と選択された顔認識情報との関連付け処理を行い、顔領域候補を判定する。つまり、表示制御部１４は、現在撮像画像の撮像時刻直前の顔認識情報が示す顔認識された人物が、撮像時刻においても同一箇所に存在するものとして、当該人物の顔領域に対応する領域を、顔領域候補として判定する。その後、表示制御部１４は、顔領域候補に仮認識インジケータ８を重畳表示する。
【００５２】
続いて、画像３４を現在撮像画像として、具体的な適用例を説明する。このとき、現在撮像画像３４は画像データが記録されており、画像３３、３５、３６、３７については顔認識情報のみが記録されているものとする。
【００５３】
まず、表示制御部１４は、画像３４が撮像される前に撮像された画像であって、撮像時刻の差が第１の閾値以下である画像の顔認識情報として、画像３３の顔認識情報を選択する。そして、表示制御部１４は、選択された顔認識情報が示す被写体９１、９２、９４、および９５の顔領域のうち、画像３４から顔認識された被写体９２、９４、９５の顔領域に含まれない、被写体９１の顔領域に対応する領域を、顔領域候補として判定する。その後、表示制御部１４は、画像３４−１に示したように、被写体９１の顔領域に対応する領域に仮認識インジケータ８Ａを重畳表示する。
【００５４】
以上、第１のアルゴリズムによる関連付け処理について説明した。
【００５５】
（第２のアルゴリズムによる関連付け処理）
表示制御部１４は、次の２つの条件を満たす場合に関連付け処理を行い、仮認識インジケータ８を重畳表示する。
【００５６】
第１の条件は、現在撮像画像が撮像された時刻と顔認識情報が取得された時刻との差分が第２の閾値以下であることである。ここで、第２の閾値は、第１のアルゴリズムにおける第１の閾値よりも大きいものとする。そして、第１の条件を、当該差分が第１の閾値よりも大きく、第２の閾値以下であることとしてもよい。このため、表示制御部１４は、第１のアルゴリズムでは選択されなかった、より撮像時刻がずれた顔認識情報を用いて、関連付け処理を行うことができる。しかし、撮像時刻が大きくずれている場合には、被写体が移動して同一箇所に存在していないことが考えられる。そこで、本アルゴリズムにおいては、以下の第２の条件を設ける。
【００５７】
第２の条件は、選択された顔認識情報が示す顔領域に対応する領域と現在撮像画像から顔認識できた領域とが一致した数が第３の閾値以上であることである。つまり、表示制御部１４は、顔認識された被写体の一致数が第３の閾値以上であれば、第１の閾値以上時間が経っていても、関連付け処理を行う。
【００５８】
例えば、集合写真等を撮像する際には、被写体は静止しているので、その多くは継続して顔認識される。よって、顔認識される被写体の一致数は多いものと考えられる。そこで、表示制御部１４は、顔認識される被写体の一致数が第３の閾値以上であれば、第１の閾値以上時間が経っていても被写体の移動はないものとして、関連付け処理を行う。このように、表示制御部１４は、第２の条件により、被写体の移動可能性を加味して顔領域候補を判定することができる。
【００５９】
以下、図５を参照し、第２のアルゴリズムによる関連付け処理の流れについて説明する。
【００６０】
図５は、第１の実施形態に係る表示制御部１４による第２のアルゴリズムによる関連付け処理を説明するための説明図である。図５に示すように、まず、ステップＳ１２８−１で、表示制御部１４は、顔認識情報が示す撮像時刻、即ち顔認識情報を認識した画像の撮像時刻と、現在撮像画像が撮像された時刻との差分を算出する。
【００６１】
次に、ステップＳ１２８−２で、表示制御部１４は、第１の条件として上述したように、算出した差分が第２の閾値以下であるか否かを判定する。このとき、表示制御部１４は、上述したように、算出した差分が第１の閾値よりも大きく、且つ第２の閾値以下であるか否かを、判定してもよい。
【００６２】
次いで、差分が第２の閾値以下である場合（Ｓ１２８−２／Ｙｅｓ）、ステップＳ１２８−３で、表示制御部１４は、顔認識情報が示す顔領域に対応する領域と現在撮像画像から顔認識できた領域とが一致する数を算出する。
【００６３】
次に、ステップＳ１２８−４で、表示制御部１４は、第２の条件として上述したように、算出した一致数が第３の閾値以上であるか否かを判定する。
【００６４】
そして、一致数が第３の閾値以上である場合（Ｓ１２８−４／Ｙｅｓ）、表示制御部１４は、ステップＳ１２８−５で、顔認識情報が示す顔領域に対応する現在撮像画像の領域のうち、現在撮像画像から顔認識できなかった領域を、顔領域候補として判定する。
【００６５】
表示制御部１４は、このようにして顔領域候補として判定した領域に、上記説明したようにステップＳ１３２で、仮認識インジケータ８を重畳表示する。
【００６６】
なお、現在撮像画像が撮像された時刻と顔認識情報が示す時刻との差分が第２の閾値より大きい場合（Ｓ１２８−２／Ｎｏ）、表示制御部１４は、顔領域候補を判定せず、仮認識インジケータ８を重畳表示しない。また、顔認識情報が示す顔領域に対応する領域と現在撮像画像から顔認識できた領域とが一致する数が第３の閾値より小さい場合（Ｓ１２８−４／Ｎｏ）、表示制御部１４は、顔領域候補を判定せず、仮認識インジケータ８を重畳表示しない。
【００６７】
以上説明した第２のアルゴリズムについて、画像３５を現在撮像画像として具体的な適用例を説明する。このとき、現在撮像画像３５は画像データが記録されており、画像３３、３４、３６、３７については顔認識情報のみが記録されている。
【００６８】
まず、表示制御部１４が、画像３３の顔認識情報が示す撮像時刻と画像３５の撮影時刻との差分は第１の閾値よりも大きく第２の閾値以下である、と判定したものとする。ここで、画像３３の顔認識情報が示す被写体９１、９２、９４、および９５の顔領域と、画像３５から顔認識された被写体９１、９２、９５の顔領域との一致数は３であり、この値は第３の閾値以上であるものとする。この場合、表示制御部１４は、選択された顔認識情報が示す被写体９１、９２、９４、および９５の顔領域のうち、画像３５から顔認識された被写体９１、９２、９５の顔領域に含まれない、被写体９４の顔領域に対応する領域を、顔領域候補として判定する。そして、表示制御部１４は、画像３５−１に示したように、被写体９４の顔領域に対応する領域に仮認識インジケータ８Ｂを重畳表示する。
【００６９】
以上、第２のアルゴリズムによる関連付け処理について説明した。
【００７０】
（補足）
上記では、表示制御部１４は、現在撮像画像が撮像されるよりも前の時刻に、ステップＳ１０４〜Ｓ１０８において撮像された画像の顔認識情報を用いて、関連付け処理を行っているが、本開示は係る例に限定されない。例えば、表示制御部１４は、現在撮像画像が撮像されるよりも後の時刻に撮像された画像の顔認識情報を用いて、関連付け処理を行ってもよい。
【００７１】
より具体的には、現在撮像画像の撮像後である上記ステップＳ１２４の後に、上記ステップＳ１０４〜Ｓ１０８を繰り返し、その後ステップＳ１２８において、表示制御部１４は、このとき累積された顔認識情報を用いて関連付け処理を行ってもよい。表示制御部１４は、現在撮像画像の撮像より前後両方の顔認識情報を用いて関連付け処理を行ってもよいし、どちらか一方のみを用いて関連付け処理を行ってもよい。
【００７２】
以下では、第１のアルゴリズムによる関連付け処理を、現在撮像画像が撮像されるよりも後の時刻に撮像された画像の顔認識情報を用いて行う例を、画像３６を現在撮像画像として具体的に説明する。このとき、現在撮像画像３６は画像データが記録されており、画像３３、３４、３５、３７については顔認識情報のみが記録されているものとする。
【００７３】
まず、表示制御部１４は、画像３６が撮像された後に撮像された画像であって、撮像時刻の差が第１の閾値以下である画像の顔認識情報として、画像３７の顔認識情報を選択する。次に、表示制御部１４は、選択された画像３７の顔認識情報が示す被写体９１、９２、９４、９５の顔領域のうち、画像３６から顔認識された被写体９１、９２、９５の顔領域に含まれない、被写体９４の顔領域に対応する領域を、顔領域候補として判定する。そして、表示制御部１４は、画像３６に対して、被写体９４の顔領域に対応する領域に仮認識インジケータ８を重畳表示する。
【００７４】
表示制御部１４は、一例として上記説明したアルゴリズムによる関連付け処理を行うことで、被写体９１、９２、９３、９４、９５に、認識済インジケータ７または仮認識インジケータ８を重畳表示する。
【００７５】
以上、第１の実施形態に係る画像処理部１の動作処理について説明した。
【００７６】
［２−１−３．変形例１］
続いて、第１の実施形態の変形例について説明する。本変形例に係る画像処理部１は、撮像指示によらず表示部３がスルー画像を表示する際に、仮認識インジケータ８を表示する形態である。以下、画像処理部１の動作を、図６を参照して説明する。
【００７７】
図６は、変形例１に係る画像処理部１の動作を示すフローチャートである。図６に示すように、まず、ステップＳ２０４で、認識部１１は、スルー画像から顔認識を行い、顔認識情報を出力する。次いで、ステップＳ２０８で、記憶制御部１３は、認識部１１から出力された顔認識情報を記録する。
【００７８】
そして、ステップＳ２１２で、表示制御部１４は、スルー画像と累積された顔認識情報との関連付け処理を行う。ここでの関連付け処理は、図４を参照して上記説明した通りである。その後、ステップＳ２１６で、表示制御部１４は、上記ステップＳ２１２において得られた関連付けデータに基づいて、スルー画像の顔領域候補に仮認識インジケータ８を重畳して表示する。これにより、表示制御部１４は、ユーザが撮像指示を出す前に、ユーザに顔認識できない被写体の存在を明確に知らせて、被写体への注意喚起を促すことができる。
【００７９】
その後、ステップＳ２２０で、撮像制御部１５は、操作部５または通信部６が撮像指示を受け付けた否かを判定する。撮像指示を受け付けていない場合（Ｓ２２０／Ｎｏ）、処理は再度ステップＳ２０４に戻る。一方で、撮像指示を受け付けた場合（Ｓ２２０／Ｙｅｓ）、ステップＳ２２４で、撮像制御部１５は撮像部４に撮像させ、記憶制御部１３は撮像された現在撮像画像を記録する。次いで、ステップＳ２２８で、認識部１１は、現在撮像画像から顔認識を行い、顔認識情報を出力する。最後に、ステップＳ２３２で、記憶制御部１３は、認識部１１より出力された顔認識情報を記録する。
【００８０】
以上、変形例１に係る画像処理部１の動作処理について説明した。
【００８１】
［２−１−４．変形例２］
続いて、第１の実施形態のさらなる変形例について説明する。本変形例に係る画像処理部１は、撮像指示に応じた新たな撮像を行わず、撮像指示があったタイミングにおけるスルー画像を現在撮像画像として、すでに行った関連付け処理による関連付けデータと共に記録する。以下、画像処理部１の動作を、図７を参照して説明する。
【００８２】
図７は、変形例２に係る画像処理部１の動作を示すフローチャートである。図７に示したように、ステップＳ３０４〜Ｓ３２０で、画像処理部１は、上記説明したステップＳ２０４〜Ｓ２２０と同様に動作する。
【００８３】
続いて、ステップＳ３２４で、記憶制御部１３は、直前のスルー画像を記録する。そして、ステップＳ３２８で、記憶制御部１３は、直前のステップＳ３１２における関連付け処理の結果である関連付けデータを、直前のスルー画像と対応付けて記録する。
【００８４】
このように、画像処理部１は、撮像指示の際に、撮像および関連付け処理を重複して行うことがない。
【００８５】
以上、変形例２に係る画像処理部１の動作処理について説明した。
【００８６】
＜２−２．第２の実施形態＞
本実施形態に係る画像処理部１は、現在撮像画像において顔認識できた領域、および顔領域候補の領域に対して、他の画像の対応する領域を置き換えて合成する。本実施形態の構成は、第１の実施形態において説明した通りであるので、ここでの詳細な説明は省略する。以下、画像処理部１の動作について図８を参照して説明する。
【００８７】
［２−２−１．動作処理］
図８は、第２の実施形態に係る画像処理部１の動作を示すフローチャートである。図８に示すように、まず、ステップＳ４０４で、認識部１１は、スルー画像から顔認識を行い、顔認識情報を出力する。ここで、上述したように、顔認識情報には、認識された顔領域の笑顔の度合を示す笑顔度が含まれる。次いで、ステップＳ４０８で、記憶制御部１３は、認識部１１から出力された顔認識情報を記録する。
【００８８】
そして、ステップＳ４１２で、表示制御部１４は、スルー画像と累積された顔認識情報との関連付け処理を行う。ここでの関連付け処理は、図４を参照して上記説明した通りである。
【００８９】
その後、ステップＳ４１６で、記憶制御部１３は、スルー画像において顔認識された領域であって、笑顔度が所定の閾値よりも高い画像を、笑顔領域の画像としてその位置および範囲と共に記録する。
【００９０】
次いで、ステップＳ４２０で、表示制御部１４は、笑顔領域の画像が未だ記録されていない顔領域であることを示す笑顔未取得インジケータ、および該当する顔領域の数を示す笑顔未取得人数の表示を行う。より詳しくは、表示制御部１４は、スルー画像において顔認識された領域または顔領域候補であって、笑顔領域の画像が記録されていない領域に、笑顔未取得インジケータを重畳表示する。それと共に、表示制御部１４は、スルー画像において顔認識された領域または顔領域候補のうち、笑顔領域の画像が記録されていない領域の数を、笑顔未取得人数として表示する。このため、表示制御部１４は、後何人が笑顔になれば、皆が笑顔の画像を撮像されるかを、ユーザに通知することができる。
【００９１】
そして、ステップＳ４２４で、記憶制御部１３は、認識した顔領域、および顔領域候補の全ての顔領域について、笑顔領域の画像が記録されたか否かを判定し、撮像制御部１５は、操作部５または通信部６が撮像指示を受け付けた否かを判定する。
【００９２】
全ての顔領域について笑顔領域の画像が記録されておらず、且つ撮像指示を受け付けていない場合（Ｓ４２４／Ｎｏ）、処理は再度ステップＳ４０４に戻る。これにより、記憶制御部１３は、笑顔領域の画像を累積的に記録することができる。さらに、撮像制御部１５は、認識した顔領域、および顔領域候補の領域のすべてに対応する笑顔領域の画像が記録されるまで、撮像部４に撮像を繰り返させることもできる。なお、記憶制御部１３は、同一の顔領域についてさらに笑顔度の高い笑顔領域が認識された際には、すでに記録された笑顔領域の画像を更新する。また、記憶制御部１３は、記録してから所定時間経過した場合や、ステップＳ４１２における関連付け処理により、被写体の移動を検知した場合に、記憶部２から顔画像を削除してもよい。これにより、記憶部２の記憶容量を削減することができる。
【００９３】
一方で、全ての顔領域について笑顔領域の画像が記録された場合、または撮像指示を受け付けた場合（Ｓ４２４／Ｙｅｓ）、ステップＳ４２８で、編集部１２は、スルー画像を現在撮像画像として、笑顔領域の画像を合成して出力する。より詳しくは、編集部１２は、現在撮像画像において顔認識された領域、および顔領域候補の領域について、当該領域に対応する笑顔領域の画像を合成する。このため、例えば画像処理部１は、現在撮像画像において顔認識された被写体、およびそのとき偶然顔認識されなかった被写体の全て、または多くが笑顔である合成画像を、自動的に生成することができる。
【００９４】
その後、ステップＳ４３２で、記憶制御部１３は、編集部１２により出力された合成画像を記録する。
【００９５】
このように、画像処理部１は、現在撮像画像のうち良い表情ではない顔領域を他の良い表情の画像で置き換えて合成するような場合には、認識できた顔領域だけでなく、顔領域候補を置き換えの対象とすることができる。
【００９６】
以上、第２の実施形態に係る画像処理部１の動作処理について説明した。
【００９７】
［２−２−２．変形例３］
続いて、第２の実施形態の変形例について説明する。本変形例に係る画像処理部１は、顔認識できた領域、および顔領域候補の領域に対して、対応する笑顔領域の画像を合成可否の選択可能な候補画像として表示し、ユーザ操作に基づいて合成する。以下、画像処理部１の動作を、図９Ａおよび図９Ｂを参照して説明する。
【００９８】
図９Ａおよび図９Ｂは、変形例３に係る画像処理部１の動作を示すフローチャートである。図９Ａに示すように、ステップＳ５０４〜Ｓ５２０で、画像処理部１は、上記説明したステップＳ２０４〜Ｓ２２０と同様に動作する。
【００９９】
次に、ステップＳ５２４〜Ｓ５３６で、画像処理部１は、上記説明したステップＳ１１６〜１２８と同様に動作する。そして、ステップＳ５４０で、記憶制御部１３は、関連付けデータを現在撮像画像と対応付けて記録する。
【０１００】
その後、図９Ｂに示すように、ステップＳ５４４で、認識部１１は、スルー画像から顔認識を行い、顔認識情報を出力する。次いで、ステップＳ５４８で、記憶制御部１３は、認識部１１から出力された顔認識情報を記録する。
【０１０１】
そして、ステップＳ５５２で、記憶制御部１３は、スルー画像において顔認識された領域であって、笑顔の度合が所定の閾値よりも高い画像を、笑顔領域の画像としてその位置および範囲と共に記録する。
【０１０２】
その後、ステップＳ５５６で、記憶制御部１３は、ステップＳ５４４〜Ｓ５５２を所定回数繰り返したか否かを判定する。所定回数繰り返していない場合（Ｓ５５６／Ｎｏ）、処理は再度ステップＳ５４４に戻る。
【０１０３】
一方で、所定回数繰り返していた場合（Ｓ５５６／Ｙｅｓ）、ステップＳ５６０で、表示制御部１４は、非笑顔領域であることを示す非笑顔インジケータを、現在撮像画像に重畳表示する。より詳しくは、表示制御部１４は、ステップＳ５３６において出力された関連付けデータに基づいて、現在撮像画像において顔認識できた領域および顔領域候補の領域のうち、笑顔領域に含まれない非笑顔領域に、非笑顔インジケータを重畳表示する。
【０１０４】
次いで、ステップＳ５６４で、表示制御部１４は、ステップＳ５４４〜Ｓ５５２において累積された笑顔領域の画像であって、現在撮像画像における非笑顔領域に対応する顔画像を、候補画像として重畳表示する。このため、ユーザは、候補画像の中から合成する顔画像を選択することができる。ここで、顔領域候補は、そもそも顔認識されていないため、笑顔であるか否かも認識されておらず、非笑顔領域に含まれる。これに関し、ユーザが現在撮像画像を視認して顔領域候補は笑顔であると考える場合には、合成せずに元の顔領域のままの自然な状態を維持することもできる。
【０１０５】
そして、ステップＳ５６８で、編集部１２は、現在撮像画像に、ユーザ選択により選択された候補画像を合成し、合成画像を出力する。最後に、ステップＳ５７２で、記憶制御部１３は、編集部１２により出力された合成画像を記録する。
【０１０６】
以上、変形例３に係る画像処理部１の動作処理について説明した。
【０１０７】
＜２−３．第３の実施形態＞
続いて、第３の実施形態について説明する。本実施形態に係る画像処理部１は、ネットワーク上のサーバに設置され、複数の撮像装置により撮像された画像を合成する。より詳しくは、編集部１２は、現在撮像画像の顔領域候補の領域に、現在撮像画像が撮像された撮像装置と異なる撮像装置により撮像された画像の、顔領域候補に対応する領域を合成する。以下、本実施形態に係る画像処理部１による動作の概要を、図１０〜１１を参照して説明する。
【０１０８】
図１０は、第３の実施形態に係る画像処理部１の概要を示す説明図である。図１０に示すように、設置型カメラ１０８Ａ〜Ｄが、屋外の至る所に定点設置されている。以下、設置型カメラ１０８Ａ〜Ｄを個別に説明する必要が無い場合、設置型カメラ１０８と総称する。本実施形態においては、図１０に示す屋外の他、屋内にも多数の設置型カメラ１０８が配置されている状況を想定する。そして、画像処理部１を有するサーバ２００は、設置型カメラ１０８やユーザに携帯され使用されるカメラにより撮像された画像を用いて、顔認識処理、関連付け処理、および各種インジケータの重畳を行う。
【０１０９】
図１０に示すユーザ９８は、被写体９６、９７をカメラ１０４で撮像している。サーバ２００は、カメラ１０４、および設置型カメラ１０８と無線通信を介して接続している。カメラ１０４、および設置型カメラ１０８は、図２を参照して上記説明したカメラ１００から、画像処理部１を削除した構成を有する。
【０１１０】
まず、カメラ１０４、および設置型カメラ１０８は撮像した画像をサーバ２００に送信する。そして、サーバ２００は、カメラ１０４から受信した画像の顔認識処理、顔認識情報の記録、関連付け処理を行い、カメラ１０４の表示部に仮認識インジケータ８を重畳した画像を表示させる。なお、カメラ１０４、および設置型カメラ１０８は、現在位置を示す位置情報を画像と共にサーバ２００に送信しているものとする。
【０１１１】
図１０に示すように、被写体９６は、カメラ１０４の方向を向いているものの、被写体９７はカメラ１０４の方向ではなく設置型カメラ１０８Ａの方向を向いている。よって、被写体９６は顔認識されるものの、被写体９７は顔認識されない。このため、スルー画像には、被写体９６に認識済インジケータ７が、被写体９７に仮認識インジケータ８が、それぞれ重畳されている。
【０１１２】
このとき、ユーザ９８による撮像指示により現在撮像画像が撮像された場合の、サーバ２００の有する画像処理部１の動作について、図１１を参照して説明する。
【０１１３】
図１１は、第３の実施形態に係る画像処理部１による合成処理を説明するための説明図である。図１１に示すように、サーバ２００は、画像処理部１および通信部６を有している。
【０１１４】
ユーザ９８による撮像指示により現在撮像画像が撮像されると、カメラ１０４は現在撮像画像３８をサーバ２００に送信する。なお、現在撮像画像３８では、被写体９６は顔認識されているが、被写体９７は顔認識されていない。一方で、サーバ２００は、被写体９７の位置付近に設置された設置型カメラ１０８であって、被写体９７が正面を向いている設置型カメラ１０８Ａにより撮像された、画像３９を受信する。なお、画像３９には、被写体９７は顔認識されている。そこで、編集部１２は、現在撮像画像３８の顔領域候補である被写体９７の顔領域に、画像３９から顔認識された被写体９７の顔画像を合成し、合成画像３８−１を生成する。
【０１１５】
このように、画像処理部１は、異なる撮像装置から得られた画像に基づいて、現在撮像画像の顔領域候補に対して合成処理を行うことができる。
【０１１６】
以上、第３の実施形態に係る画像処理部１の動作処理について説明した。
【０１１７】
＜＜３．まとめ＞＞
以上説明したように、本開示に係る画像処理部１は、撮像指示に応じて撮像された現在撮像画像からは顔認識できなかった顔領域を、顔認識できた領域とは識別可能に、顔領域候補としてユーザに提示することができる。そして、画像処理部１は、顔領域候補に対して、他の画像の対応する顔画像を合成することもできる。さらに、画像処理部１は、顔認識された領域に対しても、他の画像の対応する顔画像を合成することができる。また、画像処理部１により継続的に蓄積された顔認識情報は、撮像時刻と対応付けられて記録されているため、画像処理部１は後日さらに顔領域候補の推定精度の高いアルゴリズムによる関連付け処理を適用することもできる。
【０１１８】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１１９】
例えば、情報処理装置に内蔵されるＣＰＵ、ＲＯＭ及びＲＡＭ等のハードウェアに、上記画像処理部１の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記録させた記録媒体も提供される。
【０１２０】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
撮像画像から顔領域を認識する認識部と、
前記認識部により認識された顔領域を示す顔認識情報を記憶部に記憶させる記憶制御部と、
外部からの指示に応じて撮像部により撮像された現在撮像画像において、前記記憶部に記憶された他の撮像画像の顔認識情報が示す第１の顔領域に対応する領域のうち、前記現在撮像画像から前記認識部が認識した第２の顔領域に含まれない領域を、顔領域候補として示す表示を、前記第２の顔領域を示す表示とは識別可能に表示部に重畳表示する表示制御部と、
を備える、情報処理装置。
（２）
前記情報処理装置は、前記顔領域候補の領域を編集する編集部をさらに備える、前記（１）に記載の情報処理装置。
（３）
前記記憶制御部は、前記撮像画像を記憶部に記憶させ、
前記編集部は、前記顔領域候補の領域に、前記現在撮像画像が撮像されるよりも前の時刻に撮像され前記記憶部に記憶された撮像画像の前記顔領域候補に対応する領域を合成する、前記（２）に記載の情報処理装置。
（４）
前記記憶制御部は、前記撮像画像を記憶部に記憶させ、
前記編集部は、前記顔領域候補の領域に、前記現在撮像画像が撮像された後の時刻に撮像され前記記憶部に記憶された撮像画像の前記顔領域候補に対応する領域を合成する、前記（２）に記載の情報処理装置。
（５）
前記表示制御部は、候補画像を前記表示部に重畳表示し、
前記編集部は、前記現在撮像画像のうち前記顔領域候補の領域に、外部からの指示に応じて前記候補画像を合成する、前記（２）〜（４）のいずれか一項に記載の情報処理装置。
（６）
前記編集部は、前記現在撮像画像のうち前記第１の顔領域に対応する領域を編集する、前記（２）〜（５）のいずれか一項に記載の情報処理装置。
（７）
前記表示制御部は、外部からの指示の前に前記撮像部により撮像され前記表示部に実時間で表示される現在撮像画像に、前記顔領域候補を示す表示を重畳表示する、前記（１）〜（６）のいずれか一項に記載の情報処理装置。
（８）
前記他の撮像画像の顔認識情報は、前記現在撮像画像が撮像されるよりも前の時刻に撮像された撮像画像の顔認識情報である、前記（１）〜（７）のいずれか一項に記載の情報処理装置。
（９）
前記他の撮像画像の顔認識情報は、前記現在撮像画像が撮像された後の時刻に撮像された撮像画像の顔認識情報である、前記（１）〜（７）のいずれか一項に記載の情報処理装置。
（１０）
前記表示制御部は、前記現在撮像画像が撮像された時刻と前記他の撮像画像が撮像された時刻との差分が第１の閾値以下である場合に、前記顔領域候補を示す表示を前記表示部に重畳表示する、前記（１）〜（９）のいずれか一項に記載の情報処理装置。
（１１）
前記表示制御部は、前記現在撮像画像が撮像された時刻と前記他の撮像画像が撮像された時刻との差分が第２の閾値以下であって、前記第１の顔領域と前記第２の顔領域とが一致した数が第３の閾値以上である場合に、前記顔領域候補を示す表示を前記表示部に重畳表示する、前記（１）〜（１０）のいずれか一項に記載の情報処理装置。
（１２）
前記情報処理装置は、前記撮像部を制御する撮像制御部をさらに備え、
前記認識部は、前記撮像画像から笑顔領域を認識し、
前記記憶制御部は、前記認識部により認識された笑顔領域の画像を前記記憶部に記憶させ、
前記撮像制御部は、前記第２の顔領域および前記顔領域候補の領域のすべてに対応する笑顔領域の画像が前記記憶部に記憶されるまで前記撮像部に撮像を繰り返させ、
前記編集部は、前記第２の顔領域および前記顔領域候補に、前記記憶部に記憶された笑顔領域の画像を合成する、前記（２）〜（６）のいずれか一項に記載の情報処理装置。
（１３）
前記認識部は、前記撮像画像から笑顔領域を認識し、
前記表示制御部は、前記現在撮像画像において、前記第２の顔領域および前記顔領域候補の領域のうち、前記現在撮像画像から前記認識部が認識した笑顔領域に含まれない領域を、非笑顔領域として示す表示を前記表示部に重畳表示する、前記（１）〜（１２）のいずれか一項に記載の情報処理装置。
（１４）
前記編集部は、前記顔領域候補の領域に、前記現在撮像画像が撮像された撮像部と異なる撮像部により撮像された撮像画像の前記顔領域候補に対応する領域を合成する、
前記（２）〜（６）のいずれか一項に記載の情報処理装置。
（１５）
コンピュータに、
撮像画像から顔領域を認識するステップと、
認識された顔領域を示す顔認識情報を記憶部に記憶させるステップと、
外部からの指示に応じて撮像部により撮像された現在撮像画像において、前記記憶部に記憶された他の撮像画像の顔認識情報が示す第１の顔領域に対応する領域のうち、前記現在撮像画像から認識した第２の顔領域に含まれない領域を、顔領域候補として示す表示を、前記第２の顔領域を示す表示とは識別可能に表示部に重畳表示するステップと、
を実行させるためのプログラムが記録された記録媒体。
【符号の説明】
【０１２１】
１    画像処理部
１００、１０４  カメラ
１０８  設置型カメラ
１１  認識部
１２  編集部
１３  記憶制御部
１４  表示制御部
１５  撮像制御部
２    記憶部
２００  サーバ
３    表示部
４    撮像部
５    操作部
６    通信部
７    認識済インジケータ
８    仮認識インジケータ
９    バス
３１、３２、３３、３４、３５、３６、３７、３８、３８−１、３９  画像
９１、９２、９３、９４、９５、９６、９７  被写体
９８    ユーザ
【図１】
2014123261.tif 000003
【図２】
2014123261.tif 000004
【図３】
2014123261.tif 000005
【図４】
2014123261.tif 000006
【図５】
2014123261.tif 000007
【図６】
2014123261.tif 000008
【図７】
2014123261.tif 000009
【図８】
2014123261.tif 000010
【図９Ａ】
2014123261.tif 000011
【図９Ｂ】
2014123261.tif 000012
【図１０】
2014123261.tif 000013
【図１１】
2014123261.tif 000014