(57)【要約】【課題】画像から短時間かつ正確に被写体を抽出して認識可能にすることを課題とする。【解決手段】画像処理装置（４０）は、撮影画像から被写体を検出して特徴情報を抽出し、特徴情報が抽出された被写体の個体を認識し、その特徴情報をデータベースに登録する。ここで、画像処理装置（４０）は、抽出された特徴情報を一次記憶（４６）し、被写体が画像から消失した後に検出された被写体から抽出された特徴情報と、一次記憶されている特徴情報とを照合して、画像から消失した後に検出された被写体が一次記憶された特徴情報の被写体かの確認を行い、画像から消失した後に検出された被写体が一次記憶された特徴情報の被写体であり、特徴情報が抽出された被写体と一次記憶した特徴情報の被写体とを撮影した際の画角が異なる場合に、被写体の特徴情報をデータベースに登録する。【選択図】図１
2019185541.tif 000002
【特許請求の範囲】
【請求項１】
撮影された画像から被写体を検出する検出手段と、
前記検出された被写体から特徴情報を抽出する抽出手段と、
前記特徴情報を基に前記被写体の個体を認識する認識手段と、
前記特徴情報をデータベースに登録する登録手段と、
前記特徴情報を一次記憶する記憶手段と、を有し、
前記認識手段は、前記被写体が画像から消失した後に検出された被写体から抽出された特徴情報と、前記一次記憶されている特徴情報とを照合して、前記画像から消失した後に検出された被写体が前記一次記憶された特徴情報の被写体かどうかの確認を行い、
前記登録手段は、前記画像から消失した後に検出された被写体が前記一次記憶された特徴情報の被写体であると前記認識手段により確認され、前記一次記憶された特徴情報の被写体が撮影された際の画角と、前記画像から消失した後に検出された被写体が撮影された際の画角とが異なる場合に、前記被写体の特徴情報を前記データベースに登録する
ことを特徴とする画像処理装置。
【請求項２】
前記記憶手段は、前記被写体から抽出された特徴情報が前記データベースに登録されていない場合に前記一次記憶を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記検出手段は、前記検出した被写体に識別情報を付け、
前記認識手段は、前記画像から消失する前の前記被写体の識別情報と、前記画像から消失した後に検出された被写体の識別情報とが異なる場合に、前記照合と前記確認を行うことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記認識手段は、前記被写体が画像から消失した後に、画角が移動されて撮影された画像から前記検出された被写体の特徴情報と、前記一次記憶されている特徴情報とを照合して、前記確認を行うことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記画角の移動は、撮像装置を水平方向と垂直方向の少なくともいずれかの方向に動かすことによる移動を含むことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記認識手段は、前記被写体が画像から消失した後に、画角が変更されて撮影された画像から検出された被写体の特徴情報と、前記一次記憶されている特徴情報とを照合して、前記確認を行うことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
前記画角の変更は、撮像装置のズーム操作による変更を含むことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記画角の変更は、被写体に対して撮像装置を遠近方向に移動させる操作による変更を含むことを特徴とする請求項６または７に記載の画像処理装置。
【請求項９】
前記登録手段は、前記画像から消失した後に検出された被写体が撮影された際の画角と、前記一次記憶された特徴情報の被写体が撮影された際の画角との差が所定差以上で、かつ所定の範囲内である場合に、前記登録を行うことを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記認識手段は、前記画像から消失した後に被写体が検出されるまでの時間が、所定の時間範囲内である場合に、前記照合と確認を行うことを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記登録手段は、前記画像から消失した後に検出された被写体から抽出された特徴情報と、一次記憶された前記特徴情報とのうち、信頼度の高い方の特徴情報を前記登録することを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記登録手段は、前記信頼度を、前記画像の中の被写体の大きさと、前記被写体が正面を向いている度合いと、前記被写体に含まれる器官の検出結果との、少なくともいずれかに基づいて決定することを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
画像処理装置が実行する画像処理方法であって、
撮影された画像から被写体を検出する検出工程と、
前記検出された被写体から特徴情報を抽出する抽出工程と、
前記特徴情報を基に前記被写体の個体を認識する認識工程と、
前記特徴情報をデータベースに登録する登録工程と、
前記特徴情報を一次記憶する記憶工程と、を有し、
前記認識工程では、前記被写体が画像から消失した後に検出された被写体から抽出された特徴情報と、前記一次記憶されている特徴情報とを照合して、前記画像から消失した後に検出された被写体が前記一次記憶された特徴情報の被写体かどうかの確認を行い、
前記登録工程は、前記画像から消失した後に検出された被写体が前記一次記憶された特徴情報の被写体であると前記認識工程により確認され、前記一次記憶された特徴情報の被写体が撮影された際の画角と、前記画像から消失した後に検出された被写体が撮影された際の画角とが異なる場合に、前記被写体の特徴情報を前記データベースに登録する
ことを特徴とする画像処理方法。
【請求項１４】
コンピュータを、請求項１から１２のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像された画像から被写体を検出、識別する技術に関する。
【背景技術】
【０００２】
近年のデジタルカメラは、撮像素子から得られた画像データから被写体の検出及び追尾を行い、その被写体に対してピント、明るさ、色を好適な状態に合わせて撮影する機能を備えていることが一般的になっている。また、検出した被写体の中から個体を特定する方法として認識技術がある。特定の固体の認識は、検出した被写体各々が有する特徴情報を抽出し、その抽出した特徴情報と、予め用意された参照用の特徴情報とを比較し、それらが一致するかどうかの照合を行うことによって行われる。参照用の特徴情報は、一例として、認識対象として想定される被写体を事前にカメラにより撮影して特徴情報を抽出し、その特徴情報を不揮発性メモリ等に記憶（つまり登録）しておくことなどによって用意される。しかしながらこの場合、参照用の特徴情報を事前に用意して登録しておくという煩雑な作業が必要になる。また、認識対象として想定される被写体自体、あるいはその特徴情報を事前に用意できないというケースもある。
【０００３】
これに対し、特許文献１には、事前の登録作業を略々不要にする技術が開示されている。特許文献１に記載の技術では、撮影画像から検出した被写体の特徴情報を辞書データと比較した結果、未登録被写体かつ重要被写体条件を満たしていれば、一旦、仮辞書データとして記憶する。重要被写体と判定される条件としては、被写体を追跡した時間長や、主要な被写体として選択した回数などが用いられている。そして、その後の撮影行為で取得した撮影画像から検出した被写体の特徴情報が仮辞書データに記憶した特徴情報と一致した場合、その被写体の特徴情報が辞書データに本登録される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−４４５２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
前述したように、特許文献１に記載の技術では、被写体を追跡した時間長や主要な被写体の選択回数が、重要被写体か否かを判定する条件となされている。しかしながら、撮影画像内に例えば複数の被写体が存在するケースや、画像内から重要被写体が消失したり他の被写体等により遮られたりするケースでは、そもそも撮影者の意図した被写体が重要被写体として判定されなくなる場合が多い。このため、特許文献１の技術は、追跡時間長や主要な被写体として選択された回数に基づいた重要被写体判定が成功する頻度が低いという問題がある。
【０００６】
そこで、本発明は、撮像された画像から短時間かつ正確に被写体を抽出して認識可能にすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、撮影された画像から被写体を検出する検出手段と、前記検出された被写体から特徴情報を抽出する抽出手段と、前記特徴情報を基に前記被写体の個体を認識する認識手段と、前記特徴情報をデータベースに登録する登録手段と、前記特徴情報を一次記憶する記憶手段と、を有し、前記認識手段は、前記被写体が画像から消失した後に検出された被写体から抽出された特徴情報と、前記一次記憶されている特徴情報とを照合して、前記画像から消失した後に検出された被写体が前記一次記憶された特徴情報の被写体かどうかの確認を行い、前記登録手段は、前記画像から消失した後に検出された被写体が前記一次記憶された特徴情報の被写体であると前記認識手段により確認され、前記一次記憶された特徴情報の被写体が撮影された際の画角と、前記画像から消失した後に検出された被写体が撮影された際の画角とが異なる場合に、前記被写体の特徴情報を前記データベースに登録することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、撮像された画像から短時間かつ正確に被写体を抽出して認識可能となる。
【図面の簡単な説明】
【０００９】
【図１】画像処理装置の一例であるデジタルカメラの構成例を示す図である。
【図２】デジタルカメラの概略的な外観図である。
【図３】事前登録の説明に用いる図である。
【図４】パンニング時の自動登録の説明図である。
【図５】ズーミング時の自動登録の説明図である。
【図６】顔ＩＤ発番の説明図である。
【図７】顔検出結果の管理テーブルの一例を示す図である。
【図８】辞書データベースの説明図である。
【図９】一次記憶の説明図である。
【図１０】カメラにおける処理の流れを示すフローチャートである。
【図１１】顔ＩＤ発番処理のフローチャートである。
【図１２】認識状況判定処理のフローチャートである。
【図１３】認識処理および重要被写体登録処理のフローチャートである。
【図１４】信頼性の説明図である。
【発明を実施するための形態】
【００１０】
以下に、本発明の好ましい実施形態を、添付の図面に基づいて詳細に説明する。
図１は、本実施形態の画像処理装置の一適用例である撮像装置（デジタルカメラ、以下、カメラ１００とする。）の概略的な構成を示した図である。
レンズ１０は外光を集光して光学像を撮像部２０に結像させる。
メカ駆動回路１６は、レンズ１０を光軸方向に沿って駆動することで焦点調節や画角調節（ズーム動作）を行う。またメカ駆動回路１６は、カメラブレに応じてレンズを光軸方向以外にも駆動することで手ぶれ補正を行うことも可能である。なお、手ぶれ補正は撮像部２０を動かすことでも同様に実現可能である。手ぶれ補正を行う場合、システム制御部４２は、例えば図示しない加速度センサや角速度センサ等の検出出力を基にカメラ１００のぶれを検出し、そのカメラ１００のぶれを相殺するような公知の補正制御を行う。
【００１１】
絞り１３は口径を変化させる。ＮＤフィルター１４は光透過量を調節する。メカシャッター１２は全閉により遮光する。これら絞り１３、ＮＤフィルター１４、メカシャッター１２は光量調節機構として設けられており、用途に応じて使い分けられ、レンズ１０を通過した光の光量を調節する。
発光制御回路３２は、システム制御部４２による制御の下、ストロボユニット３０の発光駆動および発光の制御を行う。
【００１２】
レンズ１０、光量調節機構（１２，１３，１４）を通過した光は、撮像部２０により受光される。撮像部２０は、撮像駆動回路２２からの駆動指示により動作し、受光素子への露光、露光時間の調節、露光した撮像信号の読み出し、読み出した撮像信号の増幅または減衰、撮像信号のＡ／Ｄ変換などを行う。撮像部２０から出力された画像データは、画像処理回路４０に入力されるか、あるいはＲＡＭ４６に一時的に記憶される。
【００１３】
画像処理回路４０は、撮像部２０から直接入力された画像データ、あるいはＲＡＭ４６を経由して入力された画像データに対し、画像処理や画像解析など様々な処理を行う。撮影時の露出合わせ（ＡＥ：Auto Exposure）やピント合わせ（ＡＦ：Auto Focus）の際には、画像処理回路４０は、撮像部２０から順次出力される画像データから輝度成分や周波数成分を抽出してシステム制御部４２に出力する。システム制御部４２は、画像処理回路４０からの輝度成分や周波数成分を評価値として用い、メカ駆動回路１６や撮像駆動回路２２を介してＡＥ，ＡＦ動作を制御する。
【００１４】
また画像処理回路４０は、撮像部２０から取得した画像データを現像処理して画質を調節することができ、色合い、階調、明るさ、などを適切に設定して鑑賞に適した写真の画像データを生成する。画像処理回路４０は、入力された画像の一部の切り出しや、画像の回転、画像の合成などの、各種画像処理を行うこともできる。また画像処理回路４０では、入力された画像内から人物の顔などの被写体領域を検出することができ、画像内における人物の顔の位置、大きさ、傾き、顔の確からしさ情報などを得ることができる。さらに画像処理回路４０は、検出した人物の顔の特徴情報を抽出し、特定の個人であるかどうか認識することができる。このような認識を行う場合、画像処理回路４０は、予めＲＯＭ４８に記憶されている個人の特徴情報を読み出し、画像から抽出した人物の顔の特徴情報と比較することで、登録済みの個人と一致するか否かの一致判定処理を行う。また、画像処理回路４０は、人物の顔の特徴の詳細な解析を行うことができ、例えばその人物の眼の特徴を解析して、その視線方向を検出するような視線検出処理も行うことができる。
【００１５】
表示装置５０は、液晶デバイス（ＬＣＤ）などからなり、例えば画像処理回路４０で現像処理された画像を表示したり、文字やアイコンを表示したりすることができる。文字やアイコンの表示により、カメラ１００のユーザ（使用者）に対して、各種情報の伝達が可能となる。
操作部４４は、カメラ１００のユーザにより操作され、このユーザ操作情報がシステム制御部４２に入力される。システム制御部４２は、操作部４４からのユーザ操作情報に基づいて、例えばカメラ１００の各部への電源投入、撮影モード切り替え、各種設定、撮影の実行、画像の再生など、カメラ１００の各部の動作や信号処理を制御する。
【００１６】
外部メモリＩ／Ｆ５２は、不図示のメモリソケット等を介して外部メモリ９０が挿入され、その外部メモリ９０とカメラ１００とを接続する。カメラ１００は、外部メモリＩ／Ｆ５２を介して外部メモリ９０と接続することにより、画像の授受やプログラムの取得等を行うことができる。
外部機器Ｉ／Ｆ５４は、不図示の接続コネクタや無線通信等を介して外部機器９２とカメラ１００とを接続する。カメラ１００は、外部機器Ｉ／Ｆ５４を介して外部機器９２と接続することにより、画像の授受や互いの機器を動作させるコマンド情報などのやり取り、プログラムの取得等を行うことができる。
【００１７】
ＲＯＭ４８は書き換え可能な不揮発性メモリであり、カメラ１００の各種設定値やプログラムを格納している。ＲＡＭ４６は、撮像部２０にて撮像された画像データ、画像処理回路４０による処理途中や処理後の画像データの一時記憶等を行う。また、ＲＡＭ４６には、ＲＯＭ４８から読み出されたプログラムが展開される。
システム制御部４２は、ＲＯＭ４８から読み出されてＲＡＭ４６に展開されたプログラムを実行し、カメラ１００の前述した各部の制御や各種演算等を行う。
【００１８】
図２（ａ）と図２（ｂ）は、本実施形態のカメラ１００の概略的な外観図である。図２（ａ）はカメラ前面側を示し、図２（ｂ）はカメラ背面側を示している。図２（ａ）に示すように、カメラ前面側にはレンズ１０が配置されており、これによりカメラ１００は被写体像を撮像することができる。またカメラ前面側にはストロボユニット３０が配置されており、カメラ１００は、主被写体が暗い場合にストロボユニット３０を発光させることで十分な光量を得ることができ、暗い中でも速いシャッター速度を保ち、好適な画像を得ることができる。またカメラ１００には、図１に示した操作部４４における各操作部材２００，２０２，２１０，２２０，２２２，２２４，２２６，２２８が配されている。個々の説明は省略するが、各操作部材は、操作ボタンや操作スイッチ、操作レバー等からなり、例えばカメラの電源投入、撮影モード切り替え、各種設定、撮影の実行、画像の再生などのユーザ操作時に使用される。一例として、操作部材２００は電源ボタン、操作部材２０２はシャッターボタンである。その他、操作部材には、表示装置５０のＬＣＤ画面上に配されたタッチパネルが含まれていてもよい。
【００１９】
ここで、本実施形態のカメラ１００は、撮像部２０から得られた画像データを基に被写体を検出して追尾等を行い、その被写体に対してピント、明るさ、色を好適な状態に合わせて撮影する機能を有している。検出対象の被写体としては、一例として、人物の顔や人体、犬猫などの特定の動物などを挙げることができる。また、本実施形態のカメラ１００は、それら検出した被写体の中から個体を認識して特定可能となされている。すなわち、本実施形態のカメラ１００では、検出した被写体が有する特徴情報を抽出し、辞書データベースに登録されている特徴情報と比較・照合することにより個体の識別を行うことができる。
【００２０】
認識対象となる被写体の特徴情報を用意しておく手法としては、一例として、図３に示すような手法が知られている。図３には、人物Ａを認識対象である重要被写体として想定した例を挙げている。この例の場合、カメラ３１３の撮影画像から人物Ａの被写体領域３１５を検出し、その被写体領域３１５から特徴情報を抽出し、その特徴情報を人物Ａと関連付けて辞書データベース３３０に登録するような登録処理３１０が行われる。その後、例えばカメラ３５３によって、人物Ａ、人物Ｂ、人物Ｃ等が撮影された場合、その撮影画像からそれぞれ人物Ａの被写体領域３５５、人物Ｂの被写体領域３５７、人物Ｃの被写体領域３５９を検出してそれぞれ特徴情報を抽出する。そして、被写体領域３５５，３５７，３５９からそれぞれ抽出された特徴情報と、辞書データベース３３０の登録済みの特徴情報との一致判定を行うことにより、重要被写体である人物Ａが写っているかどうかの認識処理３５０が行われる。なお、登録処理３１０に用いられるカメラ３１３とその後の認識処理３５０とで用いられるカメラ３５３とは同じカメラであってもよいし、それぞれ別のカメラであってもよい。また、撮影画像から被写体を検出して特徴情報を抽出し、その特徴情報を辞書データベース３３０に登録するまでの処理は、カメラ以外の画像処理装置等により行われてもよい。また、カメラ３５３が認識処理３５０に用いる辞書データベース３３０は、例えば着脱可能な記憶媒体を経由、あるいはネットワーク等を経由して取得されてもよい。また、辞書データベース３３０は、カメラのＲＯＭ４８内に設定されていても良いし、外部メモリ９０内に設定されていても、あるいは、外部機器としての外部記憶装置に設定されていてもよい。
【００２１】
このように、認識対象となる被写体の特徴情報をどのように用意しておくかについては様々な方式があるが、本実施形態では、カメラ１００が撮影画像から被写体を検出して特徴情報を抽出し、辞書データベースに登録する場合を例に挙げて説明する。
詳細は後述するが、本実施形態のカメラ１００は、撮影画像から被写体を検出し、その検出被写体が撮影者にとって重要な被写体である場合に、その重要被写体から抽出した特徴情報を辞書データベースに自動的に登録する機能を備えている。
【００２２】
以下、図４（ａ）および図４（ｂ）と図５（ａ）および図５（ｂ）とを用いて、被写体が撮影者にとって重要な被写体であるか否かの判定と、重要であると判定された被写体の特徴情報を辞書データベースに自動登録する処理の概要を説明する。
図４（ａ）と図４（ｂ）は、撮影者によるカメラ１００の画角操作の一例として、カメラ１００をパンニングして画角を移動させるような画角操作が行われたケースを挙げた説明図である。
【００２３】
図４（ａ）は、カメラ１００による撮影時の画角４０１の中に、ある人物が被写体４０３として写っている例を示している。被写体４０３は、例えば画角４０１の中央付近に位置しており、また画角４０１内において顔が占める大きさが一定以上となっていて、その顔がカメラ１００に対して正面を向いているとする。この場合、被写体４０３の人物は、撮影者（ユーザ）が撮影対象として決めている人物である可能性が高く、したがってその被写体４０３は重要被写体である可能性が高いと考えられる。なお、人物の被写体４０３が画角４０１の中央付近に位置し、また画角４０１内において顔が占める大きさが一定以上で、かつ顔がカメラ１００に対して正面を向いているかどうかの度合いは、公知の顔検出および認識技術等により算出可能である。
【００２４】
辞書データベース４１５は、大容量の記憶媒体を有し、認識対象となる個人の特徴情報群、つまり撮影者にとって重要な被写体の複数の特徴情報を登録可能となされている。なお、辞書データベース４１５には、認識対象となる一人の人物の特徴情報群だけでなく、それぞれが認識対象となる複数の個人の特徴情報群が記憶されていてもよい。本実施形態の場合、例えば被写体４０３が撮影者にとって重要な被写体であれば、辞書データベース４１５には、その被写体４０３の特徴情報が、被写体４０３に関連した情報と紐付けられて登録される。
【００２５】
ここで本実施形態の場合、同じ被写体４０３の同じ特徴情報が重複登録されるのを避けるために、カメラ１００は、先ず、被写体４０３の特徴情報と辞書データベース４１５に登録済みの特徴情報とを用い、重複確認のための認識処理４１３を行う。認識処理４１３において認識非成立であった場合、つまり辞書データベース４１５に登録されていないことが確認された場合、カメラ１００は、被写体４０３の特徴情報を一次記憶メモリ４１９（例えばＲＡＭ４６）に一次記憶させる仮登録処理を行う。また、カメラ１００は、被写体４０３の特徴情報の仮登録と共に、その被写体４０３を撮影した時の画角情報についても一次記憶メモリ４１９に記憶させる。このように、仮登録処理の目的には、後述する本登録の自動化実現と共に、被写体４０３が重要被写体であるか否かが未だ判らない状況において、重複登録によって辞書データベース４１５の有限な容量が無駄に消費されてしまうのを避けることも含まれる。
【００２６】
図４（ｂ）は、被写体４０３が画角４０１から消失する方向（フレームアウト方向４０５とする）に移動した場合に、撮影者がカメラ１００を水平方向にパンニング操作４０９して画角を移動させて被写体を再び画角内に収めるようにした様子を示している。図４（ｂ）に示した被写体４０７は、被写体４０３がフレームアウト方向４０５に移動した後の被写体を表している。ここで、移動した被写体４０７が撮影者にとって重要な被写体であった場合、撮影者は、被写体４０７を画角内に収めるようにカメラ１００の向きを変えることで画角を移動させるような画角操作を行うことが想定される。
【００２７】
図４（ｂ）に示した画角４１１は、撮影者がカメラ１００を水平方向にパンニング操作４０９するような画角操作を行うことにより、被写体４０７を再び画角内に収めた様子を表している。図４（ｂ）のように、被写体４０７が画角４０１内から一時的に消失した後、パンニング操作４０９により画角を移動させる画角操作が行われた後に再び検出された被写体４０７は、撮影者にとって重要な被写体である可能性がさらに高まったと考えられる。たたしこの時点でも、被写体４０７が重要被写体であるかどうかは未だ確定していない。
【００２８】
このため、カメラ１００は、撮影者による画角移動の操作が行われた後の画角４１１で取得された撮影画像から被写体４０７が再検出された場合、その被写体４０７が撮影者にとって重要な被写体かどうかを確認するための認識処理４３３を行う。カメラ１００は、認識処理４３３において、先ず、再検出された被写体４０７の撮影時の画角情報と、一次記憶メモリ４３９（ＲＡＭ４６）に仮登録されている被写体４０３の撮影時の画角情報とから、画角を移動させる操作が行われたか否か判定する。また、カメラ１００は、画角を移動させる画角操作が行われたと判定し、その画角移動後に被写体４０７を検出した場合、その被写体４０７の特徴情報を抽出する。さらに、カメラ１００は、画角移動後に検出された被写体４０７から抽出した特徴情報と、一次記憶メモリ４３９に仮登録されている被写体４０３の特徴情報とを比較し、それら被写体４０７と被写体４０３が同一かどうかを確認する認識処理４３３を行う。そして、認識処理４３３で認識成立となった場合、つまり再検出された被写体４０７が一次記憶メモリ４３９に仮登録されていた場合、カメラ１００は、その被写体４０７を重要被写体と判定する。その後、カメラ１００は、被写体４０７の特徴情報もしくは被写体４０３の一次記憶されている特徴情報と、それら被写体４０７もしくは４０３の関連情報とを紐付けて、辞書データベース４３５に本登録する。詳細については後述するが、本実施形態の場合、特徴情報が有する信頼度に基づいて、それら被写体４０７の特徴情報と被写体４０３の特徴情報のいずれを辞書データベース４３５に本登録するかを決定する。
【００２９】
このように、本実施形態のカメラ１００は、仮登録された被写体が消失等した後、被写体が再検出された際に、被写体の特徴情報と共に画角情報をも合わせた認識処理を行うことにより、重要被写体かどうかの確認を行う。これにより、本実施形態のカメラ１００は、撮影者が意図して被写体を写そうとしていることを高い確率で推測でき、その重要な被写体の特徴情報を辞書データベースに自動登録することができる。
【００３０】
なお、画角移動の操作による画角の移動量や移動速度が非常に大きい場合には、被写体４０７が重要な被写体である可能性が低いと考えることもでき、この場合には確認のための認識処理４３３を行わないようにしてもよい。また、ここでは画角を移動させる画角操作の例として、カメラ１００の向きを水平方向（左右方向）に動かすパンニング操作に挙げたが、画角移動の操作はこの例には限定されない。画角移動の操作は、例えばカメラ１００の向きを垂直方向（上下方向）に動かすチルティング操作であってもよい。また、画角移動の操作は、カメラ１００をレンズ１０光軸に対して回転させるロール方向等の操作であってもよい。またそれらパンニング、チルティング、ロールが組み合わされた操作であってもよい。カメラ１００に対してパンニング、チルティング、ロール等の操作が行われたかどうかについては、例えば公知の加速度センサや角速度センサ、方位センサ等の出力に基づく検出技術により判定可能である。すなわちカメラ１００は、加速度センサや角速度センサ、方位センサ等の出力を基に、撮影前後のカメラの移動方向と移動量を算出し、それらの情報を基に、画角を移動させる操作が行われたかどうかを判定できる。その他にも、撮影画像から公知の動きベクトル検出を行う技術を用いても判定可能である。
【００３１】
図５（ａ）と図５（ｂ）は、撮影者によるカメラ１００の画角操作の一例として、カメラのズーム操作により画角を変更する操作、あるいはカメラを被写体に対して遠近方向に移動させることにより画角を変更する操作が行われた場合を挙げた説明図である。
【００３２】
図５（ａ）は、図４（ａ）と同様に示した図であり、撮影時の画角５０１の中に、人物が被写体５０３として写っている例を示している。被写体５０３は、前述の被写体４０３と同様に、画面中央付近に位置し、画角内で顔が占める大きさが一定以上で、顔がカメラ１００に対して正面を向いているとする。この図５（ａ）の例の場合も図４（ａ）と同様に、被写体５０３は重要被写体である可能性が高いと考えられる。この場合も前述同様に、カメラ１００は、被写体５０３の特徴情報と辞書データベース５１５に登録済みの特徴情報とを用いて重複確認のための認識処理５１３を行い、重複しない場合には被写体５０３の特徴情報を一次記憶メモリ５１９に記憶する仮登録を行う。また、カメラ１００は、被写体５０３の特徴情報の仮登録と共に、その被写体５０３を撮影した時の画角情報についても一次記憶メモリ５１９に記憶させる。
【００３３】
図５（ｂ）は、図４（ｂ）の例と同様に、被写体５０３の人物が画角５０１から消失するフレームアウト方向５０５に移動した様子を表しており、被写体５０７はフレームアウト方向５０５に移動した後の被写体を表している。また画角５１１は、被写体５０７のフレームアウト後に、ワイド（Wide）方向にズーム操作がなされて広くなされた画角、あるいは撮影者がカメラを被写体から遠ざけることで、被写体５０７が収まるようになされた画角を表している。言い換えると、画角５１１は、画角５０１に対してより広い範囲を写すことができる画角である。図５（ｂ）に示すように、被写体５０７がフレームアウトした後、ズーム操作やカメラの移動などで画角を変更する操作がなされた後に、再び検出された被写体５０７は、撮影者にとって重要な被写体である可能性がさらに高まったと考えられる。ただしこの時点でも、被写体５０３が重要被写体であるかどうかは未だ確定していない。
【００３４】
このため、カメラ１００は、撮影者により画角を変更する画角操作が行われた後の画角５１１で取得された撮影画像から被写体５０７が再検出された場合、それが撮影者にとって重要な被写体かどうかを確認するための認識処理５３３を行う。この認識処理５３３において、カメラ１００は、先ず、再検出された被写体５０７の撮影時の画角情報と、一次記憶メモリ５３９に仮登録されている被写体５０３の撮影時の画角情報とから、画角を変更する操作が行われたか否か判定する。また、カメラ１００は、画角を変更する画角操作が行われたと判定し、その画角変更後に被写体５０７を検出した場合、その被写体５０７の特徴情報を抽出する。さらに、カメラ１００は、画角変更後に検出された被写体５０７から抽出した特徴情報と、一次記憶メモリ５３９に仮登録されている被写体５０３の特徴情報とを比較し、それら被写体５０７と被写体５０３が同一かどうかを確認する認識処理５３３を行う。そして、認識処理５３３で認識成立となった場合、つまり再検出された被写体５０７が一次記憶メモリ５３９に仮登録されていた場合、カメラ１００は、その被写体５０７を重要被写体と判定する。その後、カメラ１００は、被写体５０７もしくは被写体５０３の特徴情報と、当該被写体５０７もしくは被写体５０３の関連情報とを紐付けて、辞書データベース５３５に本登録する。この例の場合も、後述するように、特徴情報が有する信頼度に基づいて、それら被写体５０７の特徴情報と被写体５０３の特徴情報のいずれを辞書データベース５３５に本登録するかを決定する。
【００３５】
図５（ａ）および図５（ｂ）の例も前述同様に、カメラ１００は、仮登録された被写体の消失等の後、再検出され被写体の特徴情報と共に画角情報をも用いた認識処理を行うことにより、重要被写体かどうかの確認を行う。これにより、カメラ１００は、撮影者が意図して被写体を写そうとしていることを高い確率で推測でき、その被写体の特徴情報を辞書データベースに自動登録することができる。
【００３６】
なお、画角変更の操作による画角の変更量や変更の速度が非常に大きい場合には、被写体５０７が重要な被写体である可能性が低いと考えることもでき、この場合には確認のための認識処理５３３を行わないようにしてもよい。また、ズーム操作によって画角を変更するような画角操作が行われたかどうかは、レンズ１０を駆動するメカ駆動回路１６の制御情報を基に判定可能である。すなわちカメラ１００は、例えばシステム制御部４２がメカ駆動回路１６を制御してレンズ１０の焦点距離（ズーム倍率）を変化させた際の制御値を基に、撮影者がカメラ１００の画角を意図的に変化させる画角操作を行ったかどうかを判定できる。また、カメラを被写体に対して遠近方向に移動させることで画角を変更する操作が行われたかどうかは、例えば公知の加速度センサや角速度センサ、方位センサ等の出力に基づく検出技術により判定可能である。すなわちカメラ１００は、例えば加速度センサや角速度センサ、方位センサ等の出力を基に、撮影前後のカメラの移動方向と移動量を算出し、それら移動方向と移動量を基にカメラを遠近方向に移動させる画角変更の操作が行われたかどうかを判定できる。その他にも、撮影画像から公知の動きベクトル検出を行う技術を用いても判定可能である。
【００３７】
また、前述の例では、画角を移動させる画角操作の例と、画角によって写る範囲を変更する画角操作の例を別々に説明したが、これら画角移動と画角変更の各画角操作が組み合わされて略々同時に行われた場合にも本実施形態は適用可能である。
【００３８】
ここで、前述の図４（ａ）および図４（ｂ）、図５（ａ）および図５（ｂ）で説明したような処理を実現するためには被写体の特徴情報の抽出および認識処理が必要であるが、その前に、先ず撮影画像内から被写体を検出する必要がある。また、撮影画像内には複数の被写体が存在するケース、被写体同士が交差するケース、被写体が消失／復帰するケースなど、多くのケースが生ずることが想定されるため、効率的に認識処理の実施とその認識処理結果の管理を行う必要がある。
【００３９】
図６（ａ）〜図６（ｃ）は、撮影により取得された画像内から検出した被写体に識別情報（顔ＩＤとする）を割り振る発番処理を行うことで、複数の被写体を管理している様子を示している。各画像には時系列順にフレーム番号ｎ，ｎ＋１，ｎ＋２，・・・が付けられているとする。
図６（ａ）は、フレーム番号ｎの画像６００から３人の被写体が検出できているケースを表しており、カメラ１００は、これら３人の被写体に対してそれぞれ顔ＩＤ（ＩＤ０，ＩＤ１，ＩＤ２）を発番（割り振り）し、それら顔ＩＤによって各被写体を管理する。また、図６（ａ）の例ではフレーム番号ｎ＋１の画像６０１とフレーム番号ｎ＋２の画像６０２の間で被写体の移動があったとする。この場合、カメラ１００は、前フレームと現フレーム間で各被写体の相対的な位置関係の変化や各被写体のサイズ関係の変化に基づいて、移動前後の被写体が同一の被写体（同一人物）であるかの判定を行い、同一の被写体である場合には同じ顔ＩＤを発番する。例えば、フレーム番号ｎ＋１の時点において、顔ＩＤ２の人物の特徴情報が辞書データベースに格納してある特徴情報と一致した場合、カメラ１００は、顔ＩＤ２の人物を登録済みの特定の個人として認識する。その後、顔ＩＤ２の人物が特定の個人でありつづける状態を保つには、継続的に認識処理を行い続ける必要があるが、顔ＩＤを発番して管理しておくことでその必要性はなくなる。このようにフレーム番号ｎ＋１の画像６０２の時点で確定した認識結果と顔ＩＤ２を紐づけて管理していれば、フレーム番号ｎ＋３の画像６０３の時点であっても、顔ＩＤ２の人物は過去に認識された人物であることが分かる。
【００４０】
図６（ｂ）は、フレーム番号ｎの画像６３０から２人の人物（顔ＩＤ３と顔ＩＤ４）が検出できている状態を表しており、その後、フレーム番号ｎ＋１の画像６３１からフレーム番号ｎ＋２の画像６３２の間に２人の人物が交差したケースを示している。顔ＩＤ３と顔ＩＤ４の人物が互いに近寄り交差した瞬間、手前側の被写体は継続して検出できるが、後ろ側の被写体は手前側の被写体により遮られることになる。図６（ｂ）の例では、顔ＩＤ３の人物が手前側であり、顔ＩＤ４の人物が後ろ側であるとする。この場合、手前側の顔ＩＤ３の人物は遮られずに検出できるため、顔ＩＤ３を保つことができるが、後ろ側の顔ＩＤ４の人物は遮られたことでＩＤの連続性が失わるため、遮られた後に検出された人物には別の顔ＩＤ５を発番する。なお、遮られる時間が短くかつ、遮られた後に再出現した場所が近いなど、所定の条件が満たされる場合には顔ＩＤ４を継続することも可能ではあるが、フレーム番号ｎ＋２の画像６３２のように別の顔ＩＤを発番するケースもある。この場合、同一人物であっても別の顔ＩＤを発番するため、別の人物として扱われる。
【００４１】
図６（ｃ）は、フレーム番号ｎの画像６５０から１人の人物（顔ＩＤ６）が検出できている状態を表しておる。そして、その後、フレーム番号ｎ＋１の画像６５１で顔ＩＤ６の人物が画角内からフレームアウトし、さらにその後のフレーム番号ｎ＋２の画像６５２で再出現したケースを示している。フレーム番号ｎ＋１の画像６５１で顔ＩＤ６が発番された人物は、その後、フレーム番号ｎ＋２の画像６５２でフレームインしてきた際には顔ＩＤ７が発番される。この図６（ｃ）のようにフレームアウト後にフレームインとなった場合、顔ＩＤ６の人物が再出現したケースと、別の人物が出現したケースの両方が考えられため、新しい顔ＩＤ７の発番は正しい場合と誤りの場合がある。
【００４２】
図６（ａ）〜図６（ｃ）に示したように顔ＩＤを発番することで、各個人の情報管理を実現しやすくなると言うメリットがある。
しかしながら、図６（ａ）、図６（ｂ）、図６（ｃ）のいずれのケースにおいても、顔ＩＤの発番は万能では無く、同一人物であっても異なる顔ＩＤを発番するケースが発生し得る。
【００４３】
図７は、画像内から検出した被写体における関連情報の管理テーブルを示しており、カメラ１００は、この管理テーブルを内部で保持している。管理テーブルには、被写体の関連情報を格納する領域として、顔ＩＤ情報欄７０３、サイズ情報欄７０５、位置情報欄７０７、個人認識情報欄７０９、優先順情報欄７０１が用意されている。顔ＩＤ情報欄７０３には前述した顔ＩＤが格納される。サイズ情報欄７０５には、それぞれの被写体の大きさをピクセル数で表すサイズ情報が格納される。位置情報欄７０７には、画像内における各被写体の位置を表す座標情報が格納される。個人認識情報欄７０９には被写体の人物の各個人の認識情報が格納される。優先順情報欄７０１には、それぞれ顔ＩＤの被写体の重要度を表す情報が格納される。管理テーブルでは、優先順情報欄７０１における重要度の順にソートすることで、重要度の順の行７３０，７３１，７３２，７３３，・・・に分けて、顔ＩＤに対応した被写体のサイズ情報、位置情報、個人認識情報を管理可能となされている。重要度は、例えば撮影者の意図と一致していることが最も望ましく高い重要度となされ、その撮影者の意図については、被写体のサイズ、位置、個人認識の成否などの要素に基づいて設定することができる。なお、管理テーブルで管理される情報のうち、顔ＩＤ、サイズ情報、位置情報は、画像内における被写体の存在を表す情報であり、例えばＡＦ時のピント合わせやＡＥ時の露出合わせの制御に用いられる。また、個人認識情報は、辞書データベースの情報を用いた認識処理を行った結果、認識が成立して特定できた個人を示す情報であり、顔ＩＤと共に管理テーブルにより管理される。このため、管理テーブル上で、どの被写体が、認識が成立したのか、あるいは認識が成立していないのかを、容易に知ることが可能となる。
【００４４】
図８は、辞書データベース内の構造例を示した概念図である。
図８において、辞書データベース８０１は、例えば電源供給が停止されても記憶を続ける不揮発性メモリが記憶媒体として用いられ、図１のカメラ１００の例ではＲＯＭ４８内に辞書データベース用の領域が用意されている。なお、辞書データベース８０１は、外部メモリ９０内に実体を持つ構成であってもよい。
【００４５】
辞書データベース８０１には、管理情報８０３が格納されている。管理情報８０３には、登録されている被写体の数（人数）やそれらの格納場所、被写体ごとに登録された特徴情報の数やそれらの格納場所など、全体の構成を示す情報が格納されている。また、管理情報８０３には、概念として、その下にツリー状に各個人情報８１１，８２１，８３１，・・・が格納され、さらにその下に各特徴情報８１３，８１５，８１７，・・・，８２３，８２５，・・・，８３３，８３５，・・・が格納されている。
【００４６】
これらの個人情報には、それぞれの個人情報の内容情報８６１として、名前情報８６３、誕生日情報８６５、グループ情報８６７、その他情報８６９等の任意の情報を格納可能となっている。個人情報の用途としては、例えば、辞書データベースに登録されている人物を優先的にＡＦの対象としたり、その個人に最適な撮影パラメータを適用したり、例えば個人Ａと個人ＢでＡＦ対象とする優先度に差を付けたりすることなどが挙げられる。その他にも、個人情報の用途としては、例えば、個人情報に基づいて様々な撮影アプリケーションを作成したり、撮影画像を閲覧する際に個人の名前を検索キーとして画像を絞り込んだりする再生機能のアプリケーションを作成したりすることなども挙げられる。
【００４７】
また各特徴情報には、特徴情報の内容情報８８１として、被写体の実際の特徴情報８３３、特徴情報の生成に使用した画像情報８８５、特徴情報が生成された画像の撮影時刻等の情報８８７、その他情報８８９等の任意の情報を格納可能となっている。個人認識の照合アルゴリズムによっては、同一人物を異なる条件で撮影して登録したほうが認識の性能が向上するものがあるため、１人当たり複数の特徴情報の登録が可能な構成となっている。また、特徴情報を生成した際に使用した画像情報８８５を格納しておくことで、登録した特徴情報をユーザが視覚的に確認することが可能となる。また、人物の特徴情報は、該当人物の成長、加齢などによって変化していくため、定期的に更新される。このため、特徴情報生成に用いた画像がいつ得られたのかを表す情報８８７を格納しておくことにより、更新の目安とすることができる。
【００４８】
図９は、前述した一次記憶メモリ内の構造の一例を示した概念図である。一次記憶メモリ９０１は、例えば装置への電源供給に依存する揮発性メモリを媒体としており、本実施形態の場合は図１のＲＡＭ４６に相当する。
図９に示すように、一次記憶メモリ９０１には、管理情報９０３が格納される。一次記憶メモリ９０１における管理情報９０３には、一次記憶されている特徴情報の数とそれらの格納場所の情報が格納されており、概念として、その下にツリー状に各特徴情報９１１，９１３，９１５，９１７，・・・が格納される。
【００４９】
一次記憶メモリ９０１の特徴情報には、特徴情報の内容情報９３１として、実際の特徴情報９３３、顔ＩＤ９３２、特徴情報の生成時に使用した画像情報９３５、特徴情報の生成に用いた画像の撮影時点の画角情報９３７と時刻情報９３９などが格納される。画角情報としては、レンズ１０のズーム位置のようにメカ機構から得られる情報、電子ズームやアスペクト設定のように電子的な切り出しにより得られる情報、加速度センサなどの出力を基にパンニングの変化を相対的に表現した情報などを格納可能となっている。
【００５０】
図１０、図１１、図１２、図１３には、本実施形態のカメラ１００のシステム起動、撮影画像からの被写体の検出、認識状況の判定、認識処理から登録までの各処理のフローチャートを示す。これら各フローチャートの処理は、ハードウェア構成により実行されてもよいし、ＣＰＵ等が実行するプログラムに基づくソフトウェア構成により実現されてもよく、一部がハードウェア構成で残りがソフトウェア構成により実現されてもよい。ＣＰＵ等が実行するプログラムは、例えばＲＯＭ４８等に格納されていてもよいし、外部メモリ９０等の記録媒体から取得されてもよく、或いは不図示のネットワーク等を介して取得されてもよい。以下の説明では、各処理のステップＳ１０１〜ステップＳ４６５をＳ１０１〜Ｓ４６５と略記する。
【００５１】
図１０は、本実施形態のカメラ１００におけるシステム起動後の全体の処理の流れを示したフローチャートである。
カメラ１００は、電源ボタン（２００）が押下されて主電源がオンされると、Ｓ１０１において図１０のフローチャートの処理を開始する。そして、Ｓ１０３において、カメラ１００ではシステム起動処理が行われる。ここでは、カメラシステムが動作するに必要なＣＰＵやＬＳＩ等への電源供給、クロック供給をはじめ、メモリやＯＳの初期化など、基本システムの起動が行われる。
【００５２】
次にＳ１０５において、システム制御部４２は、撮像部２０内のＣＣＤやＣＭＯＳ等の撮像素子の起動、メカ駆動回路１６を介してレンズ１０のフォーカスレンズやズームレンズ等の鏡筒系デバイスの起動を行う。これにより、メカシャッター１２や絞り１３が動作し、撮像部２０の撮像素子に外光が導かれる。また、システム制御部４２は、撮像駆動回路２２を介して撮像部２０の撮像素子や増幅器、Ａ／Ｄ変換器等の撮像系デバイスの駆動を開始する。
【００５３】
そしてこの状態で、システム制御部４２は、Ｓ１１３においてＡＥ駆動を開始し、Ｓ１１１においてＡＦ駆動を開始して、撮影対象に対して適切な明るさ、ピントになるように制御し続けていく。このときＳ２０１において、システム制御部４２は、画像処理回路４０による被写体の検出および認識処理も合わせて開始させる。また、システム制御部４２は、画像処理回路４０にて検出された被写体情報をＡＦやＡＥに利用することで、被写体のピントや明るさをより適切になるように調節することができる。またこれと同時期に、画像処理回路４０では、表示装置５０に出力するライブ画像の現像処理も開始され、これにより撮影者はライブビュー映像を表示装置５０の画面上で確認することが可能となる。これはすなわちファインダー用途としての要件を満たした状態であり、撮影者は撮影対象を捕えて画角調節などのフレーミング作業を行うことができる。
【００５４】
次にＳ１２１において、システム制御部４２は、撮影者によって操作部４４のシャッターボタン（２０２）のいわゆる半押し操作（ＳＷ１がオン）がなされたか否かを判定する。システム制御部４２は、ＳＷ１がオンされていない（オフ）の場合にはＳ１１１、Ｓ１１３、Ｓ２０１に処理を戻し、ＳＷ１がオンされた場合にはＳ１２３においてＡＦに適した露出にするためのＡＦ用のＡＥ制御を行う。そして、システム制御部４２は、ＡＦに適した露出になされた後に、Ｓ１２５において、例えば静止画用のいわゆるワンショットＡＦ（One Shot AF）制御を行う。
【００５５】
次に、ＳＷ１のオンによる撮影準備が終わった後、システム制御部４２は、Ｓ１３１において、シャッターボタンのいわゆる全押し（ＳＷ２がオン）がなされたか否かを判定する。システム制御部４２は、ＳＷ２がオンされず、ＳＷ１もオフである場合にはＳ１１１、Ｓ１１３、Ｓ２０１に処理を戻し、ＳＷ２がオンされた場合にはＳ１５１において、カメラ１００による静止画撮影を実行させる。
【００５６】
図１１、図１２、図１３は、図１０のＳ２０１における被写体の検出および認識処理の動作の詳細を示すフローチャートである。
図１１は、図６（ａ）〜図６（ｃ）で説明した顔ＩＤの発番処理の流れを示したフローチャートである。システム制御部４２は、カメラにおける顔検出および顔認識機能が有効に設定されている状態で画像が撮影されると、Ｓ２０１において、画像処理回路４０に対し図１１のフローチャートに示す顔ＩＤ発番処理を開始させる。
【００５７】
顔ＩＤ発番処理を開始すると、画像処理回路４０は、先ずＳ２０３において、撮像素子の駆動周期で生成された画像を入力として顔検出を行う。画像処理回路４０は、一度の顔検出処理により画像内から複数の顔を検出することが可能となっている。そして、画像処理回路４０は、以降の顔ＩＤ発番処理を、Ｓ２０３で検出した顔数の回数だけ繰り返す。このため、Ｓ２０５において、画像処理回路４０は、検出した顔数と発番した顔ＩＤの数ｃｏｕｎｔとを比較し、発番した顔ＩＤの数ｃｏｕｎｔが検出した顔数未満であるか否かを判定する。そして、画像処理回路４０は、発番した顔ＩＤの数ｃｏｕｎｔが検出した顔数未満である場合にはＳ２０７に処理を進め、発番した顔ＩＤの数ｃｏｕｎｔが検出した顔数以上になった場合にはＳ２１５に処理を進める。
【００５８】
Ｓ２０７に進むと、画像処理回路４０は、前回の顔検出結果ｏｌｄと今回の顔検出結果の対象顔とを比較し、前回の顔位置及び顔サイズ情報を用いて、それらの連続性の評価を行う。そして、画像処理回路４０は、Ｓ２０９において、今回の顔検出結果の対象顔が前回の顔検出結果ｏｌｄにおける顔であるか、あるいは、今回新たに見つかった顔であるかを判定する。画像処理回路４０は、Ｓ２０９において新たに見つかった新規顔であると判定した場合にはＳ２１１に処理を進め、新規顔でない既知顔が引き続き見つかったと判定した場合にはＳ２１３に処理を進める。
【００５９】
Ｓ２１１に進むと、画像処理回路４０は、新規顔に対して新しい顔ＩＤを発番した後、数ｃｏｕｎｔの値をインクリメントしてＳ２０３に処理を戻す。ここで発番した顔ＩＤは、図７に示した管理テーブルの顔ＩＤ情報欄７０３に格納される。一方、Ｓ２１３に進んだ場合、画像処理回路４０は、前回の顔検出で発番された顔ＩＤを継続させて、数ｃｏｕｎｔの値をインクリメントしてＳ２０３に処理を戻す。
前述の処理が各検出顔について繰り返され、発番した顔ＩＤの値ｃｏｕｎｔが検出した顔数以上になったことでＳ２０３からＳ２１５に進むと、画像処理回路４０は、次の顔検出のために、顔検出結果ｏｌｄに今回の顔検出結果を保存する。その後、顔ＩＤ発番処理は一旦終了し、次の撮影画像について顔検出と顔ＩＤ発番が行われる際には再び図１１のフローチャートの処理が開始される。
【００６０】
図１２は、検出された顔に対して認識処理を行うべきか否かを判定する認識状況判定処理の流れを示したフローチャートである。システム制御部４２は、カメラにおける顔検出および顔認識機能が有効に設定されている状態で画像が撮影されると、Ｓ３０１において、画像処理回路４０に対し図１２のフローチャートに示す認識状況判定処理を開始させる。
【００６１】
前述の顔ＩＤ発番処理と同様に、認識状況判定処理においても、複数の顔が検出されている場合には、それら検出された顔数の回数だけ処理が繰り返される。このため、認識状況判定処理を開始すると、画像処理回路４０は、先ずＳ３０３において、前述のＳ２０５と同様に、検出した顔数と発番した顔ＩＤの数ｃｏｕｎｔとを比較し、発番した顔ＩＤの数ｃｏｕｎｔが検出した顔数未満であるか否かを判定する。そして、画像処理回路４０は、発番した顔ＩＤの数ｃｏｕｎｔが検出した顔数未満である場合にはＳ３０５に処理を進める。
【００６２】
Ｓ３０５に進むと、画像処理回路４０は、図７に示した管理テーブルと顔ＩＤとを基に、検出された顔が、新規に見つかった顔であるか、または既に見つかっている既知の顔であるかどうかを判定する。そして、新規顔と判定した場合、画像処理回路４０は、Ｓ３０７において、その新規顔に関しては認識処理が未だ行われていないものとして扱い、後述する図１３の認識処理の対象とした後、数ｃｏｕｎｔの値をインクリメントしてＳ３０３に処理を戻す。一方、既知の顔と判定した場合、画像処理回路４０は、Ｓ３０９において、既知の顔に関しては認識処理が既に実施されているものとして扱うようにし、Ｓ３１１に処理を進める。
【００６３】
ここで、既知の顔の場合、認識処理をやり直したほうが良い場合があるため、Ｓ３１１に進むと、画像処理回路４０は、既知の顔について認識処理をやり直したほうが良いかどうかを判定する再実施判定処理を行う。例えば、前述した図６（ｂ）のケースのように、人物同士が接近して交差した場合など、発番した顔ＩＤに誤りが生じる懸念があり、顔ＩＤに誤りがあると、それに関連して管理されている認識情報も誤りを持つこととなる。このため、画像処理回路４０は、人物同士の接近や交差が発生した場合、Ｓ３１１において、顔ＩＤとしては既知の人物であっても、その既知の顔について認識処理をやり直したほうが良いと判定し、Ｓ３１３に処理を進める。
【００６４】
Ｓ３１３に進むと、画像処理回路４０は、その既知の顔について、後述する図１３の認識処理を再実施する対象とし、その後、数ｃｏｕｎｔの値をインクリメントしてＳ３０３に処理を戻す。
一方、Ｓ３１１において、認識処理を再実施する対象としないと判定した場合、画像処理回路４０は、数ｃｏｕｎｔの値をインクリメントしてＳ３０３に処理を戻す。
そして、発番した顔ＩＤの数ｃｏｕｎｔが検出した顔数以上になった場合、画像処理回路４０は図１２の認識状況判定処理を一旦終了させ、次の撮影画像について認識状況判定が行われる際には再び図１２のフローチャートの処理が開始される。
【００６５】
図１３は、図１２のフローチャートにおいて認識処理の対象となされた顔に対する認識処理と、一次記憶メモリに仮登録された情報を用いた重要被写体登録処理の流れを示すフローチャートである。システム制御部４２は、カメラにおける顔検出および顔認識機能が有効に設定されていて、認識処理の対象が存在する場合、Ｓ４０１とＳ４５１において、画像処理回路４０に対し図１３のフローチャートに示す認識処理と重要被写体登録処理を開始させる。これら認識処理と重要被写体登録処理は並行して行われる。
【００６６】
認識処理のフローチャートから説明する。
Ｓ４０３において、画像処理回路４０は、検出した顔ごとに特徴情報の生成を行う。特徴情報の生成処理は、顔検出、目鼻口といった器官の検出、器官に基づいた特徴情報の生成というステップで行われる。たたし、途中の検出精度が低い場合には特徴情報が生成できないか、精度の低い特徴情報しか生成できないことになる。また、重複登録によって辞書データベースの容量が無駄に消費されてしまうのを避けることが望ましい。
【００６７】
このため、Ｓ４０５において、画像処理回路４０は、生成した特徴情報について、辞書データベースに登録済みの特徴情報と比較することによる照合を行う。例えば前述の図８に示したように、辞書データベースには複数人、かつ１人当たり複数の特徴情報が格納可能であるため、画像処理回路４０は、Ｓ４０５において、それら複数の情報との照合を順次行う。
【００６８】
画像処理回路４０は、照合した結果を類似度として数値で表し、Ｓ４０７において、その類似度が所定の閾値を超える場合には認識成立と判定する。そして、Ｓ４０７において認識成立と判定した場合、画像処理回路４０は、Ｓ４０９において、認識結果を確定する。また、画像処理回路４０は、認識成立した人物が複数存在する場合には最も類似度の高い人物を採用する。
【００６９】
一方、Ｓ４０７において類似度が閾値以下と判定した場合、すなわち辞書データベースに登録されている何れの情報とも照合が成立しなかった場合、画像処理回路４０は、認識非成立と判定して、Ｓ４１１に処理を進める。そして、Ｓ４１１において、画像処理回路４０は、認識対象となった顔の特徴情報を、一次記憶メモリ（ＲＡＭ４６）に仮登録する。またこのとき、画像処理回路４０は、特徴情報と共に、顔ＩＤ、特徴情報を生成した元画像を撮影した際の画角情報、及び時刻情報とについても仮登録しておく。
そして、これらＳ４０９、Ｓ４１３の後、画像処理回路４０は図１３の認識処理を一旦終了させ、次の撮影画像について認識処理が行われる際には再び図１３の認識処理が開始される。
【００７０】
次に重要被写体登録処理のフローチャートについて説明する。重要被写体登録処理は、一次記憶メモリに仮登録された特徴情報が重要被写体の特徴情報であるかどうかを判定し、重要被写体である場合には辞書データベースに本登録を行う処理である。
画像処理回路４０は、先ずＳ４５３において被写体から特徴情報を生成する。Ｓ４５３では、特徴情報と共に、顔ＩＤの発番、特徴情報を生成した元画像を撮影した際の画角情報、及び時刻情報の取得も行われる。
【００７１】
次に、画像処理回路４０は、Ｓ４５３で生成した各情報と、前述した認識処理で生成して一次記憶メモリに仮登録している各情報とを用いて、Ｓ４５５、Ｓ４５７，Ｓ４５９，Ｓ４６１，Ｓ４６３の各比較処理に基づく判定処理を順次行う。
【００７２】
Ｓ４５５において、画像処理回路４０は、Ｓ４５３で発番した顔ＩＤと、仮登録された顔ＩＤを比較する。例えば図６（ｂ）、図６（ｃ）に示したように遮りやフレームアウトによって一旦顔が消失し、再び出現した場合、消失する前後で別の顔ＩＤが発番されていることになる。したがって、この顔ＩＤの発番の仕組みを利用し、顔ＩＤが同一であれば同一人物として、この重要被写体判定から除外する。すなわち画像処理回路４０は、顔ＩＤが異なる場合にはＳ４５７に処理を進め、顔ＩＤが同一である場合には重要被写体登録処理を終了する。
【００７３】
Ｓ４５７に進むと、画像処理回路４０は、Ｓ４５３で取得した画角情報と、仮登録されている画角情報とを比較し、それら画角情報の差を用いた判定処理を行う。ここで、画角情報の差が所定差未満である場合、Ｓ４５３で特徴情報を生成した顔の人物は、前述した画角の移動や画角の変更等の画角操作が行われていないのに、画角内に侵入してきた新たな人物であると推測される。このため、画像処理回路４０は、Ｓ４５７において画角情報の差が所定差未満であると判定した場合には、重要被写体判定から除外する。一方、Ｓ４５５で異なる顔ＩＤと判定され、かつＳ４５７で画角情報の差が所定差以上で、かつ所定の範囲内であると判定された場合には、画角操作を行うことで対象の人物を画角内に収めようとした可能性が高いと判断できる。このため、画像処理回路４０は、Ｓ４５７において、画角情報の差が所定差以上でかつ所定の範囲内であると判定した場合には、次の時間差判定処理に進む。すなわち画像処理回路４０は、Ｓ４５７で画角情報に差がないと判定した場合には重要被写体登録処理を終了し、一方、画角情報に差がある場合にはＳ４５９に処理を進める。
【００７４】
Ｓ４５９に進むと、画像処理回路４０は、Ｓ４５３で取得した時刻情報と、仮登録されている時刻情報とを比較し、それら時刻情報の差を用いた判定処理を行う。Ｓ４５５の判定処理とＳ４５７の判定処理を通過してＳ４５９に進んだ場合であっても、一次記憶メモリに仮登録してから長時間が経過している場合には、撮影者が被写体を探そうとする行為を行っていない可能性が高いと考えられる。このため、画像処理回路４０は、Ｓ４５９において、それら時刻情報の時間差が所定時間範囲外であると判定した場合には重要被写体登録処理を終了する。一方、画像処理回路４０は、Ｓ４５９において、時刻情報の時間差が所定時間範囲内であると判定した場合にはＳ４６１に処理を進める。
【００７５】
Ｓ４６１に進むと、画像処理回路４０は、Ｓ４５３で生成した特徴情報と、仮登録されている特徴情報との照合を行い、認識が成立するかどうかを判定する。そして、画像処理回路４０は、認識が成立しない場合には重要被写体登録処理を終了し、一方、認識が成立した場合にＳ４６３に処理を進める。
【００７６】
Ｓ４６３に進むと、画像処理回路４０は、特徴情報に対する信頼度判定を行い、その判定結果を基に辞書データベースへの本登録処理を行う。すなわち、登録可能な特徴情報は、最新のものと、過去に一次記憶メモリに仮登録したものとがあるため、画像処理回路４０は、それら両者を比較してより信頼度が高いものを本登録する。
【００７７】
図１４（ａ）〜図１４（ｃ）は、条件によって信頼度に差が出る傾向について説明するための図である。図１４（ａ）は、画像内において被写体Ａと被写体Ｂの顔の大きさが異なっている例を示しており、顔の大きさが大きいほど信頼度（信頼性）が高く、小さいほど信頼性が低いことを示している。図１４（ｂ）は、画像内において被写体Ａと被写体Ｂの顔の向きが異なる例を示しており、被写体の顔が正面を向く度合いが高いほど信頼性が高く、横を向くほど信頼性が低いことを示している。図１４（ｃ）は、画像内において被写体Ａと被写体Ｂの顔の目鼻口の器官が遮られているかどかの例を示しており、目鼻口の器官が遮られていないほど信頼性が高く、目鼻口のいずれかの器官が遮られているほど信頼性が低いことを示している。例えば前述の図４に示したパンニングのケースでは、パンニングの前後で被写体自体には大きな差が無いため、より新しい被写体であるパンニング後に生成できた特徴情報を登録に用いたほうがよいことが想定される。また例えば前述の図５に示したズーム操作のケースでは、ズーム操作の前後で被写体の大きさに差があり、より被写体が大きいズーム操作前の方が、特徴情報の信頼性が高く登録に適している。本実施形態の画像処理回路４０では、これらのようにして信頼度を決定し、その信頼度の高い被写体の特徴情報を辞書データベースに本登録する。
【００７８】
以上説明したように、本実施形態においては、撮影者が被写体を画角内に捕え続けようとする操作に基づいて重要被写体の判定を行うようになされている。このため、本実施形態によれば、画面内に複数の被写体が存在しているケースや、被写体の遮りや消失が発生するケースのような厳しい条件下においても、短時間かつ確実性の高い重要被写体抽出を行うことができる。すなわち、本実施形態によれば、被写体が重要であるか否かを、撮影者による画角操作に基づいて判定することにより、的確に重要被写体を抽出して、自動的に登録することが可能となる。
【００７９】
なお前述の説明では、画像処理回路４０において被写体の検出および認識処理が行われる例を挙げたが、これらの処理はシステム制御部４２が本実施形態に係るプログラムを実行することにより実現されてもよい。また、一部が画像処理回路４０により実行され、残りがプログラムを基にシステム制御部４２により実行されてもよい。
【００８０】
また前述した実施形態では、画像処理装置の適用例としてデジタルカメラ等を挙げたが、この例には限定されず他の撮像装置にも適用可能である。例えば、デジタルカメラだけでなく、カメラ機能を備えたスマートフォンやタブレット端末などの各種携帯端末、各種の監視カメラ、工業用カメラ、車載カメラ、医療用カメラなどにも本実施形態は適用可能である。
【００８１】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。
【符号の説明】
【００８２】
１０：レンズ、２０：撮像部、４０：画像処理部、４２：システム制御部、４４：操作部、４６：ＲＡＭ、４８：ＲＯＭ、５０：表示装置
【図１】
2019185541.tif 000003
【図２】
2019185541.tif 000004
【図３】
2019185541.tif 000005
【図４】
2019185541.tif 000006
【図５】
2019185541.tif 000007
【図６】
2019185541.tif 000008
【図７】
2019185541.tif 000009
【図８】
2019185541.tif 000010
【図９】
2019185541.tif 000011
【図１０】
2019185541.tif 000012
【図１１】
2019185541.tif 000013
【図１２】
2019185541.tif 000014
【図１３】
2019185541.tif 000015
【図１４】
2019185541.tif 000016