(57)【特許請求の範囲】
【請求項１】
被写体の光学像を撮像して撮像画像を取得する撮像手段と、
撮像画像において人物の顔を検出する検出手段と、
前記検出手段による人物の顔の検出よりも長い処理時間をかけて、記憶部から取得した、個人の顔の特徴に関する特徴情報を用いて、前記検出手段が検出した人物の顔について個人を認識する主認識手段と、
第１撮像画像において検出された人物の顔それぞれに識別情報を付与する第１付与手段と、
時間的に前後して取得された２つの撮像画像において、後に取得された撮像画像において検出された人物の顔のうち、先に取得された撮像画像において識別情報を付与された人物の顔のいずれかの顔と位置の差分が閾値以下あること、および、大きさの差分が閾値以下であることの少なくともいずれかを満たす人物の顔に、前記いずれかの顔に付与されている識別情報を付与する第２付与手段と、
前記第１撮像画像において検出された人物の顔に対する前記主認識手段の処理完了後に取得された第２撮像画像において検出された人物の顔に対する前記主認識手段の処理が行われている間は、時間的に連続して取得される撮像画像に対して前記第２付与手段による識別情報の付与を繰り返し行うことで、前記第２撮像画像より後に取得された第３撮像画像において検出された人物の顔のうち前記第１撮像画像において前記主認識手段が認識した個人と同一の識別情報が付与されている顔を、前記第１撮像画像において前記主認識手段が認識した個人として認識する補助認識手段と、
を備えることを特徴する撮像装置。
【請求項２】
前記第２付与手段は、前記先に取得された撮像画像において検出された人物の顔の数が多いほど前記閾値を小さくすることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第２付与手段は、前記後に取得された撮像画像において検出された人物の顔の数が多いほど前記閾値を小さくすることを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記第３撮像画像において検出された人物の顔全てについて前記補助認識手段により個人が認識された場合に、前記主認識手段による認識処理の実行を禁止する禁止手段を更に備えることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記第３撮像画像において前記補助認識手段が認識した個人に基づいて、前記撮像手段が撮像画像の取得時に用いる撮影条件を設定する設定手段を更に備えることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
撮像手段が、被写体の光学像を撮像して撮像画像を取得する撮像工程と、
検出手段が、撮像画像において人物の顔を検出する検出工程と、
主認識手段が、前記検出工程よりも長い処理時間をかけて、記憶部から取得した、個人の顔の特徴に関する特徴情報を用いて、前記検出工程で検出された人物の顔について個人を認識する主認識工程と、
第１付与手段が、第１撮像画像において検出された人物の顔それぞれに識別情報を付与する第１付与工程と、
第２付与手段が、時間的に前後して取得された２つの撮像画像において、後に取得された撮像画像において検出された人物の顔のうち、先に取得された撮像画像において識別情報を付与された人物の顔のいずれかの顔と位置の差分が閾値以下あること、および、大きさの差分が閾値以下であることの少なくともいずれかを満たす人物の顔に、前記いずれかの顔に付与されている識別情報を付与する第２付与工程と、
補助認識手段が、前記第１撮像画像において検出された人物の顔に対する前記主認識工程の完了後に取得された第２撮像画像において検出された人物の顔に対する前記主認識工程が行われている間は、時間的に連続して取得される撮像画像に対して前記第２付与手段による識別情報の付与を繰り返し行うことで、前記第２撮像画像より後に取得された第３撮像画像において検出された人物の顔のうち前記第１撮像画像において前記主認識工程により認識された個人と同一の識別情報が付与されている顔を、前記第１撮像画像において前記主認識工程により認識された個人として認識する補助認識工程と、
を備えることを特徴する撮像方法。
【請求項７】
コンピュータを、
被写体の光学像を撮像して撮像画像を取得する撮像手段、
撮像画像において人物の顔を検出する検出手段、
前記検出手段による人物の顔の検出よりも長い処理時間をかけて、記憶部から取得した、個人の顔の特徴に関する特徴情報を用いて、前記検出手段が検出した人物の顔について個人を認識する主認識手段、
第１撮像画像において検出された人物の顔それぞれに識別情報を付与する第１付与手段、
時間的に前後して取得された２つの撮像画像において、後に取得された撮像画像において検出された人物の顔のうち、先に取得された撮像画像において識別情報を付与された人物の顔のいずれかの顔と位置の差分が閾値以下あること、および、大きさの差分が閾値以下であることの少なくともいずれかを満たす人物の顔に、前記いずれかの顔に付与されている識別情報を付与する第２付与手段、および、
前記第１撮像画像において検出された人物の顔に対する前記主認識手段の処理完了後に取得された第２撮像画像において検出された人物の顔に対する前記主認識手段の処理が行われている間は、時間的に連続して取得される撮像画像に対して前記第２付与手段による識別情報の付与を繰り返し行うことで、前記第２撮像画像より後に取得された第３撮像画像において検出された人物の顔のうち前記第１撮像画像において前記主認識手段が認識した個人と同一の識別情報が付与されている顔を、前記第１撮像画像において前記主認識手段が認識した個人として認識する補助認識手段、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人物の顔の検出及び認識を行う撮像装置、撮像方法、及びプログラムに関する。
【背景技術】
【０００２】
現在、動画像中の人物から特定の個人を認識する技術が知られている（特許文献１及び特許文献２参照）。特許文献１によれば、防犯カメラを駅の自動券売機に設置して被写体認識（特定の個人の認識）を行うことにより、セキュリティー上好ましくない人物の乗車を防ぐことができる。また、特許文献２によれば、ロボットなどに被写体認識機能を搭載することにより、エンターテイメント性の向上が図られている。
【０００３】
ところで、被写体認識を行うためには一般的に、予め登録されている多くの被写体(人物の顔)と、撮影された画像中に検出された被写体（人物の顔）との比較を行う必要がある。そのため、被写体認識を行うためには、比較的高い処理能力が必要である。従って、特許文献１及び特許文献２に開示されるように動画像においてリアルタイムに被写体認識を行うためには、防犯カメラなどの撮像装置は、豊富な演算リソースを備えている必要がある。
【特許文献１】特開２００３―１８７３５２号公報
【特許文献２】特開２００３―２７１９５８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、撮像装置に豊富な演算リソースを搭載すると、コストの上昇、消費電力の増大、撮像装置の大型化など、種々の問題が発生する。このような問題は、デジタルカメラなどの、小型化が望まれる撮像装置においては、特に重大である。仮に、限られた演算リソースしか備えない撮像装置に被写体認識を行わせると、画像の取得から認識処理の完了までに比較的長い時間を要する。従って、特定の個人をリアルタイムに追跡することができず、実用的ではない。
【０００５】
本発明はこのような状況に鑑みてなされたものであり、撮像装置における処理負荷の上昇を抑制しつつ、被写体認識の処理を高速に実行可能にする技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、第１の本発明は、被写体の光学像を撮像して撮像画像を取得する撮像手段と、撮像画像において人物の顔を検出する検出手段と、前記検出手段による人物の顔の検出よりも長い処理時間をかけて、記憶部から取得した、個人の顔の特徴に関する特徴情報を用いて、前記検出手段が検出した人物の顔について個人を認識する主認識手段と、第１撮像画像において検出された人物の顔それぞれに識別情報を付与する第１付与手段と、時間的に前後して取得された２つの撮像画像において、後に取得された撮像画像において検出された人物の顔のうち、先に取得された撮像画像において識別情報を付与された人物の顔のいずれかの顔と位置の差分が閾値以下あること、および、大きさの差分が閾値以下であることの少なくともいずれかを満たす人物の顔に、前記いずれかの顔に付与されている識別情報を付与する第２付与手段と、前記第１撮像画像において検出された人物の顔に対する前記主認識手段の処理完了後に取得された第２撮像画像において検出された人物の顔に対する前記主認識手段の処理が行われている間は、時間的に連続して取得される撮像画像に対して前記第２付与手段による識別情報の付与を繰り返し行うことで、前記第２撮像画像より後に取得された第３撮像画像において検出された人物の顔のうち前記第１撮像画像において前記主認識手段が認識した個人と同一の識別情報が付与されている顔を、前記第１撮像画像において前記主認識手段が認識した個人として認識する補助認識手段と、を備えることを特徴とする撮像装置を提供する。
【０００７】
また、第２の本発明は、撮像手段が、被写体の光学像を撮像して撮像画像を取得する撮像工程と、検出手段が、撮像画像において人物の顔を検出する検出工程と、主認識手段が、前記検出工程よりも長い処理時間をかけて、記憶部から取得した、個人の顔の特徴に関する特徴情報を用いて、前記検出工程で検出された人物の顔について個人を認識する主認識工程と、第１付与手段が、第１撮像画像において検出された人物の顔それぞれに識別情報を付与する第１付与工程と、第２付与手段が、時間的に前後して取得された２つの撮像画像において、後に取得された撮像画像において検出された人物の顔のうち、先に取得された撮像画像において識別情報を付与された人物の顔のいずれかの顔と位置の差分が閾値以下あること、および、大きさの差分が閾値以下であることの少なくともいずれかを満たす人物の顔に、前記いずれかの顔に付与されている識別情報を付与する第２付与工程と、補助認識手段が、前記第１撮像画像において検出された人物の顔に対する前記主認識工程の完了後に取得された第２撮像画像において検出された人物の顔に対する前記主認識工程が行われている間は、時間的に連続して取得される撮像画像に対して前記第２付与手段による識別情報の付与を繰り返し行うことで、前記第２撮像画像より後に取得された第３撮像画像において検出された人物の顔のうち前記第１撮像画像において前記主認識工程により認識された個人と同一の識別情報が付与されている顔を、前記第１撮像画像において前記主認識工程により認識された個人として認識する補助認識工程と、を備えることを特徴とする撮像方法を提供する。
【０００８】
また、第３の本発明は、コンピュータを、被写体の光学像を撮像して撮像画像を取得する撮像手段、撮像画像において人物の顔を検出する検出手段、前記検出手段による人物の顔の検出よりも長い処理時間をかけて、記憶部から取得した、個人の顔の特徴に関する特徴情報を用いて、前記検出手段が検出した人物の顔について個人を認識する主認識手段、第１撮像画像において検出された人物の顔それぞれに識別情報を付与する第１付与手段、時間的に前後して取得された２つの撮像画像において、後に取得された撮像画像において検出された人物の顔のうち、先に取得された撮像画像において識別情報を付与された人物の顔のいずれかの顔と位置の差分が閾値以下あること、および、大きさの差分が閾値以下であることの少なくともいずれかを満たす人物の顔に、前記いずれかの顔に付与されている識別情報を付与する第２付与手段、および、前記第１撮像画像において検出された人物の顔に対する前記主認識手段の処理完了後に取得された第２撮像画像において検出された人物の顔に対する前記主認識手段の処理が行われている間は、時間的に連続して取得される撮像画像に対して前記第２付与手段による識別情報の付与を繰り返し行うことで、前記第２撮像画像より後に取得された第３撮像画像において検出された人物の顔のうち前記第１撮像画像において前記主認識手段が認識した個人と同一の識別情報が付与されている顔を、前記第１撮像画像において前記主認識手段が認識した個人として認識する補助認識手段、として機能させるためのプログラムを提供する。
【０００９】
なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための最良の形態における記載によって更に明らかになるものである。
【発明の効果】
【００１０】
以上の構成により、本発明によれば、撮像装置における処理負荷の上昇を抑制しつつ、被写体認識の処理を高速に実行することが可能となる。
【発明を実施するための最良の形態】
【００１１】
以下、添付図面を参照して、本発明の実施形態を説明する。以下で説明される個別の実施形態は、本発明の上位概念から下位概念までの種々の概念を理解するために役立つであろう。
【００１２】
なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。
【００１３】
［第１の実施形態］
＜撮像装置の構成＞
本発明の撮像装置をデジタルカメラに適用した実施形態について説明する。
【００１４】
図１は、第１の実施形態に係るデジタルカメラ１００の機能構成を示すブロック図である。
【００１５】
１０１は、ズームレンズ、フォーカスレンズ、及び絞りを含む光学系であり、１０２はメカニカルシャッタであり、１０３は撮像素子であり、１０４は、アナログ信号処理を行うＣＤＳ回路である。１０５は、アナログ信号をデジタル信号に変換するＡ／Ｄ変換器であり、１０６は、撮像素子１０３、ＣＤＳ回路１０４、及びＡ／Ｄ変換器１０５を動作させる信号を発生するタイミング信号発生回路である。
【００１６】
１０７は、光学系１０１、メカニカルシャッタ１０２、及び撮像素子１０３を駆動させる駆動回路であり、１０８は、撮影した画像データに必要な信号処理を施す信号処理回路である。信号処理回路１０８は、顔認識回路１２２及び顔検出回路１２６を備える。
【００１７】
顔検出回路１２６は、Ａ／Ｄ変換器１０５が出力したデジタル信号（即ち、画像データ）が表す撮像画像において、人物の顔を検出する。顔認識回路１２２は、顔検出回路１２６が検出した人物の顔について、認識処理（個人を認識する処理）を行う。なお、顔検出処理に要する時間を短縮するために、顔検出回路１２６は、信号処理回路１０８により小さくリサイズされた画像データが表す撮像画像において人物の顔を検出してもよい。
【００１８】
なお、本実施形態における顔検出には、公知の顔検出技術を利用できる。
【００１９】
公知の顔検出技術としては、ニューラルネットワークなどを利用した学習に基づく手法、テンプレートマッチングを用いて目、鼻、口等の形状に特徴のある部位を画像から探し出し、類似度が高ければ顔とみなす手法などがある。また、他にも、肌の色や目の形といった画像特徴量を検出し、統計的解析を用いた手法等、多数提案されている。一般的にはこれらの手法を複数組み合わせ、顔検出の精度を向上させている。
【００２０】
具体的な例としては特開２００２−２５１３８０号公報に記載のウェーブレット変換と画像特徴量を利用して顔検出する方法などが挙げられる。
【００２１】
また、本実施形態における顔認識にも、公知の顔認識技術を利用できる。例えば、顔認識回路１２２は、ＲＯＭ１１５などの記憶部から個人の顔の特徴に関する特徴情報を取得し、顔検出回路１２６が検出した人物の顔の特徴情報と比較することにより、顔認識処理を行うことができる。
【００２２】
１０９は、信号処理回路１０８によって信号処理された画像データや、顔認識回路１２２及び顔検出回路１２６による顔認識処理及び顔検出処理の結果などを記憶する画像メモリである。１１０は、デジタルカメラ１００から取り外し可能なメモリカードなどの記録媒体であり、１１１は、信号処理回路１０８によって信号処理された画像データを記録媒体１１０に記録する記録回路である。
【００２３】
１１２は、画像データを表示する液晶ディスプレイなどの画像表示装置であり、１１３は、信号処理回路１０８によって信号処理された画像データを画像表示装置１１２に表示する表示回路である。１１４は、デジタルカメラ１００全体を制御するシステム制御部である。１１５は、システム制御部１１４が実行するプログラム、プログラムを実行する際に使用されるパラメータやテーブル等の制御データ、及び、キズアドレス等の補正データを記憶する不揮発性メモリ（ＲＯＭ）である。
【００２４】
１１６は、ＲＯＭ１１５に記憶されたプログラム、制御データ、及び補正データを一時的に記憶し、システム制御部１１４がプログラムを実行する際にワークエリアとして使用する揮発性メモリ（ＲＡＭ）である。１１７はストロボである。
【００２５】
システム制御部１１４は、顔認識回路１２２の動作を制御する顔認識動作制御部１２３を備える。また、光学系１０１は、手ぶれ補正を行うＩＳ（Ｉｍａｇｅ  Ｓｔａｂｉｌｉｚｅｒ）レンズを備える。１２４は振動ジャイロなどを含む振れ検出部であり、デジタルカメラ１００の振れを検出することができる。駆動回路１０７は、振れ検出部１２４から与えられる情報に基づいてＩＳレンズを駆動することにより、手ぶれ補正を行う。
【００２６】
１１８は操作部であり、ユーザが撮影条件の設定や撮影モードなどの選択を行うために使用される。１２１はメインスイッチ（メインＳＷ）であり、デジタルカメラ１００に電源を投入するためのスイッチである。１１９はシャッターボタン（不図示）が半押しの状態になるとＯＮとなるスイッチ（ＳＷ１）であり、ＳＷ１  １１９がＯＮになると、システム制御部１１４は撮影のスタンバイ動作を行う。１２０はシャッターボタン（不図示）が全押しの状態になるとＯＮになるスイッチ（ＳＷ２）である。ＳＷ２  １２０がＯＮになると、システム制御部１１４は、Ａ／Ｄ変換器１０５が出力する画像データを信号処理回路１０８などによる処理を経て記録媒体１１０に記録する、撮影動作を行う。
【００２７】
１２５はズームキーであり、ユーザが光学系１０１のズームを制御するために使用される。
【００２８】
以下、上述のように構成されたデジタルカメラ１００を用いて、メカニカルシャッタ１０２を使用した撮影動作について説明する。撮影動作に先立ち、システム制御部１１４の動作開始時（例えば、デジタルカメラ１００の電源投入時等）に、システム制御部１１４は、ＲＯＭ１１５から必要なプログラム、制御データ、及び補正データをＲＡＭ１１６に転送して記憶させる。また、これらのプログラムやデータに加えて、システム制御部１１４は必要に応じて、追加のプログラムやデータをＲＯＭ１１５からＲＡＭ１１６に転送して記憶させることもできる。また、システム制御部１１４が直接ＲＯＭ１１５内のデータを読み出して使用してもよい。
【００２９】
まず、光学系１０１は、システム制御部１１４からの制御信号により、絞りとレンズを駆動して、適切な明るさに設定された被写体の光学像を撮像素子１０３上に結像させる。次に、メカニカルシャッタ１０２は、システム制御部１１４からの制御信号により、露光時間が適切になるように、撮像素子１０３の動作に合わせて撮像素子１０３を遮光するように駆動される。この時、撮像素子１０３が電子シャッタ機能を有する場合は、メカニカルシャッタ１０２と併用して、露光時間を調整してもよい。
【００３０】
撮像素子１０３は、システム制御部１１４により制御されるタイミング信号発生回路１０６が発生する動作パルスを基にした駆動パルスにより駆動される。撮像素子１０３は、被写体の光学像を光電変換により電気信号に変換し、アナログ画像信号として出力する。撮像素子１０３から出力されたアナログ画像信号は、システム制御部１１４により制御されるタイミング信号発生回路１０６が発生する動作パルスにより、ＣＤＳ回路１０４でクロック同期性ノイズが除去される。そして、Ａ／Ｄ変換器１０５でデジタル画像信号（即ち、画像データ）に変換される。
【００３１】
次に、システム制御部１１４により制御される信号処理回路１０８は、画像データに対して、色変換処理、ホワイトバランス処理、ガンマ補正処理、解像度変換処理、画像圧縮処理等を行う。画像メモリ１０９は、信号処理回路１０８で処理中の画像データを一時的に記憶したり、信号処理された画像データを記憶したり、顔認識処理の結果を一時的に記憶したりするために用いられる。
【００３２】
信号処理回路１０８で信号処理された画像データや画像メモリ１０９に記憶されている画像データは、記録回路１１１において記録媒体１１０に適したデータ（例えば階層構造を持つファイルシステムのデータ）に変換されて記録媒体１１０に記録される。また、画像データは、信号処理回路１０８で解像度変換処理を施された後、表示回路１１３において画像表示装置１１２に適した信号（例えばＮＴＳＣ又はＰＡＬ方式のアナログ信号等）に変換されて画像表示装置１１２に表示される。
【００３３】
ここで、システム制御部１１４は、制御信号を用いて、信号処理回路１０８に対し、Ａ／Ｄ変換器１０５が出力した画像データに信号処理を施さずそのまま画像メモリ１０９や記録回路１１１に出力するように指示することもできる。また、信号処理回路１０８は、システム制御部１１４から要求があった場合に、信号処理の過程で生じた画像データの情報（例えば、画像の空間周波数、指定領域の平均値、圧縮画像のデータ量等の情報）をシステム制御部１１４に出力する。或いは、信号処理回路１０８は、これらの情報から抽出された情報をシステム制御部１１４に出力する。更に、記録回路１１１は、システム制御部１１４から要求があった場合に、記録媒体１１０の種類や空き容量等の情報をシステム制御部１１４に出力する。
【００３４】
続いて、記録媒体１１０に記録されている画像データの再生動作について説明する。システム制御部１１４からの制御信号により、記録回路１１１は、記録媒体１１０から画像データを読み出す。画像データが圧縮されている場合には、システム制御部１１４からの制御信号により、信号処理回路１０８は、画像伸長処理を行い、画像メモリ１０９に記憶する。画像メモリ１０９に記憶されている画像データは、信号処理回路１０８で解像度変換処理を施された後、表示回路１１３において画像表示装置１１２に適した信号に変換され、画像表示装置１１２に表示される。
【００３５】
＜顔検出処理及び顔認識処理＞
図２は、デジタルカメラ１００を用いた撮影処理の流れを示すフローチャートである。本フローチャートの処理は、デジタルカメラ１００に電源が投入されており、且つ、デジタルカメラ１００が顔認識処理を行うように操作部１１８等を介して設定されている場合に実行される。また、図示しないが、図２のフローチャートの処理が実行されている間、光学系１０１からＡ／Ｄ変換器１０５、及び信号処理回路１０８は、継続的に被写体の光学像を撮像して画像データを生成する。以下の各ステップで使用される画像データは、このようにして生成された画像データである。
【００３６】
Ｓ２０１で、顔検出回路１２６は、Ａ／Ｄ変換器１０５が出力した画像データが表す撮像画像において人物の顔を検出する（顔検出処理）。顔検出回路１２６は、検出された顔の顔情報を画像メモリ１０９に一時的に保存する。顔情報は、撮像画像における、顔の位置及び大きさのうちの少なくとも一方を含む。なお、顔が１つも検出されなかった場合は、その旨を示す情報が画像メモリ１０９に保存される。
【００３７】
Ｓ２０２で、システム制御部１１４は、顔検出回路１２６が検出した人物の顔について個人を認識する処理（顔認識処理）を顔認識回路１２２が実行中であるか否かを判定する。この判定は、システム制御部１１４が顔認識動作制御部１２３に顔認識回路１２２の状態を問い合わせることにより行われる。
【００３８】
顔認識回路１２２が顔認識処理を実行中であるということは、以前に開始した顔認識処理が未だ完了していないということを意味する。演算リソースが比較的限られている装置においては、顔認識処理は顔検出処理に比べて長い処理時間を要するので、顔検出処理が行われる度に顔認識処理を行うことはできない。そのため、Ｓ２０２における判定が必要となる。
【００３９】
Ｓ２０２において、顔認識回路１２２が顔認識処理を実行中であればＳ２０４に進み、そうでなければＳ２０３に進む。
【００４０】
Ｓ２０３では、顔認識動作制御部１２３は、顔認識回路１２２にＳ２０１で検出された顔に対する顔認識処理を開始させる。顔認識処理では、例えば、Ｓ２０１にて検出された顔に、ＲＯＭ１１５に予め登録された人物が含まれているか否かが判定される。また、Ｓ２０３では、顔検出回路１２６は、顔認識動作制御部１２３の制御に従い、Ｓ２０１で検出された顔（顔認識処理の対象の顔）それぞれに識別情報を付与する（第１付与手段）。ここで、識別情報は、個人を特定するものではないが、あるタイミングで検出された顔と他のタイミングで検出された顔とが同一であるか否かを示すものである。次いで、Ｓ２０４に進む。
【００４１】
Ｓ２０４では、顔検出回路１２６が、比較処理を行う。比較処理の詳細は図３を参照して後述するが、簡単に説明すると、顔検出回路１２６は、Ｓ２０１で検出された顔と、以前に検出された顔とを比較し、２つのタイミングで検出された顔が同一の人物であるか否かを判定する。
【００４２】
より具体的には、所定のタイミングで取得された第１撮像画像において顔検出処理が行われ、併せて顔認識処理が行われたものとする。そして、顔検出回路１２６は、第１撮像画像において検出された顔の中から、顔認識回路１２２の処理完了後に取得された第２撮像画像において検出された顔のいずれかと予め定められた第１の関係を満たす顔を検索する（第１検索手段）。顔検出回路１２６は、検索の結果発見された顔に対応する第２撮像画像中の顔を、第１撮像画像において顔認識回路１２２（主認識手段）がこの発見された顔について認識した個人として認識する（補助認識手段）。
【００４３】
即ち、第１撮像画像及び第２撮像画像において予め定められた第１の関係を満たす顔については、処理時間の長い顔認識回路１２２による顔認識処理を行わなくても、顔検出回路１２６が、以前の顔認識処理の結果に基づいて個人を認識することができる。
【００４４】
Ｓ２０５で、システム制御部１１４は表示回路１１３を制御し、顔認識回路１２２で認識された個人、或いはＳ２０４における比較処理の結果として認識された個人に関する情報を、画像表示装置１１２に表示させる。個人に関する情報とは、例えば、特定の個人の名前などの情報であり、ＲＯＭ１１５に、顔の特徴を示す特徴情報と共に格納されている。
【００４５】
Ｓ２０６で、システム制御部１１４は、ＳＷ１  １１９がＯＮであるか否かを判定する。ＯＮであればＳ２０７に進み、そうでなければＳ２０１に戻る。
【００４６】
Ｓ２０７で、システム制御部１１４は、駆動回路１０７や信号処理回路１０８などを用いて、ＡＦ処理やＡＥ処理などの撮影のスタンバイ動作を行う。具体的には、信号処理回路１０８が、Ａ／Ｄ変換器１０５が出力する画像データから被写体輝度を算出する。次いで、算出結果に基づいて、駆動回路１０７が、光学系１０１の絞りやメカニカルシャッタ１０２などを制御することにより、露光時間を調整する。また、信号処理回路１０８が、Ａ／Ｄ変換器１０５が出力する画像データから被写体の焦点を検出し、検出結果に基づいて駆動回路１０７が光学系１０１のズームレンズを駆動する。
【００４７】
ここで、顔認識処理や比較処理により認識された個人の情報に基づいてＡＦ処理やＡＥ処理が行われてもよい。例えば、撮影者の家族が被写体に含まれる場合、駆動回路１０７は、他の人物に優先して、家族に対する焦点や露出が適切になるように光学系１０１などを駆動する。従って、システム制御部１１４は、補助認識手段としての顔検出回路１２６が認識した個人に基づいて、撮像時（撮像画像の取得時）の撮影条件を設定することができる。
【００４８】
Ｓ２０８で、システム制御部１１４は、ＳＷ２  １２０がＯＮであるか否かを判定する。ＯＮであればＳ２１０に進み、そうでなければＳ２０９に進む。
【００４９】
Ｓ２０９では、システム制御部１１４は、ＳＷ１  １１９がＯＮのままであるか否かを判定する。ＯＮのままであればＳ２０８に戻り、ＯＮでなければＳ２０１に戻る。
【００５０】
Ｓ２１０では、システム制御部１１４は、撮影動作を行い、Ｓ２０９に戻る。
【００５１】
以上の各ステップで説明したように、顔検出処理、顔認識処理、及び比較処理が行われ、これらの各処理の結果に基づいて画像表示装置１１２に対する表示処理や、撮影動作などが行われる。
【００５２】
＜比較処理の詳細＞
次に、図３を参照して、図２のＳ２０４における比較処理の詳細な流れを説明する。本フローチャートでは、Ｓ２０１で顔検出回路１２６が顔検出処理を行ったタイミングを、時刻ｔ＝ｎとする。そして、顔検出回路１２６は、検出された顔を、前回のタイミング（ｔ＝ｎ−ｋ）で検出された顔と比較し、同一であるか否かを判定する。ここで、ｋは顔検出処理を行う間隔である。
【００５３】
図４のタイミングチャートは、Ａ．Ｓ２０１での顔検出処理、Ｂ．Ｓ２０３での顔認識処理、Ｃ．Ｓ２０４での比較処理の時間関係を表している。
【００５４】
また、図５は、時刻ｔ＝ｎ−ｋ、及びｔ＝ｎにおいて撮像画像中で検出された顔を示す図である。時刻ｔ＝ｎ−ｋにおいて検出された３つの顔には、識別情報として、「Ａ」、「Ｂ」、及び「Ｃ」が付与されている。
【００５５】
まず、図３のＳ３０１で、顔検出回路１２６は、ｔ＝ｎで検出された顔のうち１つの顔Ｃｎを選択する。
【００５６】
Ｓ３０２で、顔検出回路１２６は、ｔ＝ｎ−ｋで検出された顔のうち１つの顔Ｃｎ−ｋを選択する。
【００５７】
Ｓ３０３で、顔検出回路１２６は、顔Ｃｎの位置（顔の中心座標）と顔Ｃｎ−ｋの位置を比較する。顔Ｃｎの位置が（ｘｄ，ｙｄ）、顔Ｃｎ−ｋの位置が（ｘａ，ｙａ）であったとする。その差分ΔＸ＝｜ｘｄ−ｘａ｜、ΔＹ＝｜ｙｄ−ｙａ｜がそれぞれ予め定められた閾値以下（ＴｈＸ，ＴｈＹ以下）であった場合（ΔＸ≦ＴｈＸ、ΔＹ≦ＴｈＹ）、Ｓ３０４へと進む。そうでなかった場合はＳ３０６へと進む。
【００５８】
Ｓ３０４では、顔検出回路１２６は、顔Ｃｎの大きさと顔Ｃｎ−ｋの大きさとを比較する。顔Ｃｎの大きさがＦｄであり、顔Ｃｎ−ｋの大きさがＦａであったとすると、その２つの差分（ΔＦ＝｜Ｆｄ−Ｆａ｜）が予め定められた閾値以下であった場合（ΔＦ≦ＴｈＦ）、Ｓ３０５へ進む。そうでなかった場合はＳ３０６へ進む。
【００５９】
Ｓ３０５で、顔検出回路１２６は、顔Ｃｎと顔Ｃｎ−ｋは、位置及び大きさが近いので、同一人物であると判断し、顔Ｃｎに顔Ｃｎ−ｋと同一の識別情報を付与する（第２付与制御手段）。次いで、Ｓ３０８に進む。
【００６０】
一方、Ｓ３０６では、顔検出回路１２６は、顔Ｃｎと顔Ｃｎ−ｋは別人であると判断し、Ｓ３０７に進む。
【００６１】
Ｓ３０７で、顔検出回路１２６は、ｔ＝ｎ−ｋで検出された顔がすべて顔Ｃｎ−ｋとして選択されたか判断を行う。全て選択されていればＳ３０８へ進み、そうでない場合はＳ３０２へ進む。Ｓ３０５ではなくＳ３０７からＳ３０８へ進んだということは、ｔ＝ｎ−ｋにおいて顔Ｃｎと同一の人物と判断される顔が発見されなかったということを意味する。この場合、顔Ｃｎには識別情報は付与されない。また、ｔ＝ｎ−ｋにおいて識別情報が付与されていない顔については、比較対象の顔Ｃｎ−ｋとして選択しないように顔検出回路１２６を構成してもよい。
【００６２】
Ｓ３０８で、顔検出回路１２６は、ｔ＝ｎで検出された顔がすべて顔Ｃｎとして選択されたか否かを判定する。全て選択されていればＳ２０５へ進む。そうでない場合は、Ｓ３０１へ戻り、ｔ＝ｎで検出された他の顔について同様の処理を繰り返す。図５の例では、ｔ−ｎで検出された３つの顔がＣｎとして選択され、それぞれｔ＝ｎ−ｋで検出された３つの顔と比較される。
【００６３】
これらの処理を所定のタイミング（時間間隔ｋ）で繰り返すことにより、同一人物を時間間隔ｋで追尾することができる。
【００６４】
これらの一連の流れを時系列に表したのが図４である。Ｓ２０１で得られた顔検出結果：Ｆ（ｎ−ｋ）を元に顔認識処理：Ａ（ｎ）が行われる。顔認識処理中も、時間間隔ｋで顔検出処理が行われる。また、比較処理も行われる。この比較処理によってＦ（ｎ−ｋ）で検出された顔と同一人物であると判定された顔については、Ａ（ｎ）の結果が得られるｔ＝ｎ＋９ｋまで、前回の顔認識処理：Ａ（ｎ−９ｋ）の結果が割り当てられる。
【００６５】
これにより、顔認識回路１２２により顔認識中も、顔検出回路１２６による顔認識（補助認識）が行われ、検出された顔の個人が特定される。また、Ａ（ｎ）の結果が得られた後に検出された顔についても、Ａ（ｎ＋９ｋ）の処理中も、Ａ（ｎ）の結果に基づき、個人の認識が可能である。
【００６６】
以上の処理を整理して説明すると、以下のようになる。但し、本願発明の範囲は、以下の説明に限定される訳ではない。
【００６７】
時間的に連続して取得された２つの撮像画像（例えば、時刻ｔ＝ｎ−ｋに取得された撮像画像（先に取得された撮像画像）と、この次のタイミング（時刻ｔ＝ｎ）に生成された撮像画像（後に取得された撮像画像））を考える。顔検出回路１２６は、先に取得された撮像画像において検出された人物の顔の中から、後に取得された撮像画像において検出された人物の顔のいずれかと予め定められた第２の関係を満たす人物の顔を検索する（第２検索手段）。顔検出回路１２６は、例えば、先に取得された撮像画像において検出された顔の中から、後に取得された撮像画像において検出された顔のいずれかの顔情報との差が閾値以下である顔情報を持つ顔を、予め定められた第２の関係を満たす顔として検索する。顔情報は、撮像画像における、顔の位置及び大きさのうちの少なくとも一方を含むことができる。
【００６８】
顔検出回路１２６は、先に取得された撮像画像において発見された人物の顔に対応する、後に取得された撮像画像中の人物の顔に、この発見された人物の顔に付与されている識別情報を付与する（第２付与手段）。
【００６９】
顔検出回路１２６は、第１撮像画像において検出された人物の顔の中から、第１撮像画像に関する顔認識回路１２２の処理完了後に取得された第２撮像画像において検出された顔のいずれかと予め定められた第１の関係を満たす顔を検索する（第１検索手段）。顔検出回路１２６は、第１撮像画像において発見された顔に対応する、第２撮像画像中の顔を、第１撮像画像で顔認識回路１２２（主認識手段）がこの発見された顔について認識した個人として認識する（補助認識手段）。
【００７０】
ここで、予め定められた第１の関係を満たす顔は、次のように検索される。第１撮像画像の取得後、第２撮像画像に到るまで、時間的に連続して取得された２つの撮像画像について、上述の第２検索手段による検索と第２付与手段による付与とが繰り返される。その結果として第２撮像画像における顔に付与された識別情報と同一の識別情報が付与されている、第１撮像画像における顔が、予め定められた第１の関係を満たす顔である。
【００７１】
また、顔検出回路１２６は、先に取得された撮像画像、或いは後に取得された撮像画像において検出された顔の数が多いほど、上述の予め定められた閾値（ＴｈＦ）を小さくしてもよい。多くの顔が密集しているほど閾値が小さくなるので、誤って他人の顔が同一人物の顔として検出される可能性が抑制される。
【００７２】
また、図４の例では、顔認識回路１２２による顔認識処理が完了すると、次の顔認識処理が開始している。しかし、顔検出回路１２６が、検出された顔全てについて比較処理の結果として個人を認識できた場合、システム制御部１１４は、顔認識回路１２２による認識処理の実行を禁止してもよい。これにより、消費電力の節約が期待される。
【００７３】
以上説明したように、本実施形態によれば、顔認識回路１２２による顔認識処理中に、顔検出回路１２６は、検出した顔が、顔認識回路１２２による前回の認識対象の顔と予め定められた第１の関係を満たすか否かを判定する。予め定められた第１の関係を満たす場合、顔検出回路１２６は、検出した顔を、顔認識回路１２２による前回の顔認識処理により認識された個人として認識する。
【００７４】
これにより、撮像装置における処理負荷の上昇を抑制しつつ、被写体認識の処理を高速に実行することが可能となる。即ち、デジタルカメラ１００のような演算リソースの比較的限られた小型の装置においても、検出された顔の個人を実用的な頻度で認識することができるようになる。
【００７５】
［その他の実施形態］
上述した各実施形態の機能を実現するためには、各機能を具現化したソフトウェアのプログラムコードを記録した記録媒体をシステム或は装置に提供してもよい。そして、そのシステム或は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによって、上述した各実施形態の機能が実現される。この場合、記録媒体から読み出されたプログラムコード自体が上述した各実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。このようなプログラムコードを供給するための記録媒体としては、例えば、フロッピィ（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスクなどを用いることができる。或いは、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることもできる。
【００７６】
また、上述した各実施形態の機能を実現するための構成は、コンピュータが読み出したプログラムコードを実行することだけには限られない。そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって上述した各実施形態の機能が実現される場合も含まれている。
【００７７】
更に、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれてもよい。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって上述した各実施形態の機能が実現される場合も含むものである。
【図面の簡単な説明】
【００７８】
【図１】第１の実施形態に係るデジタルカメラの機能構成を示すブロック図である。
【図２】第１の実施形態に係るデジタルカメラを用いた撮影処理の流れを示すフローチャートである。
【図３】図２のＳ２０４における比較処理の詳細な流れを示すフローチャートである。
【図４】Ａ．Ｓ２０１での顔検出処理、Ｂ．Ｓ２０３での顔認識処理、Ｃ．Ｓ２０４での比較処理の時間関係を表すタイミングチャートである。
【図５】時刻ｔ＝ｎ−ｋ、及びｔ＝ｎにおいて撮像画像中で検出された顔を示す図である。
【図１】
0005016999.tif 000002
【図２】
0005016999.tif 000003
【図３】
0005016999.tif 000004
【図４】
0005016999.tif 000005
【図５】
0005016999.tif 000006