(57)【要約】【課題】顔認識の対象となる人物がフレーム内の画像に全く写っていない場合等でも、顔認識を継続して行うことができる画像処理装置、撮像装置、顔画像認識方法及びプログラムを提供する。【解決手段】撮像装置のフレーム内画像を取得するフレーム内画像取得手段と、予め登録された、顔認識の対象となる対象人物の顔画像と、対象人物の顔画像に紐付けられた関連人物の顔画像とに基づいて、フレーム内画像に対して対象人物の顔画像及び関連人物の顔画像の認識を行う顔画像認識手段と、対象人物の顔画像の認識ができず、関連人物の顔画像の認識ができた場合に、対象人物の顔画像の認識を所定時間継続するように、顔画像認識手段を制御する制御手段と、を有する。【選択図】図５
2012075020.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置のフレーム内画像を取得するフレーム内画像取得手段と、
予め登録された、顔認識の対象となる対象人物の顔画像と、前記対象人物の顔画像に紐付けられた関連人物の顔画像とに基づいて、前記フレーム内画像に対して前記対象人物の顔画像及び前記関連人物の顔画像の認識を行う顔画像認識手段と、
前記対象人物の顔画像の認識ができず、前記関連人物の顔画像の認識ができた場合に、前記対象人物の顔画像の認識を所定時間継続するように、前記顔画像認識手段を制御する制御手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記制御手段は、
前記対象人物の顔画像の認識ができず、前記関連人物の顔画像の認識ができた場合に、認識できた前記関連人物の顔画像をユーザに通知するように、所定の通知手段を制御することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記制御手段は、
前記対象人物の顔画像の認識を所定時間継続しても、前記対象人物の顔画像の認識ができなかった場合に、前記対象人物の顔画像が認識できなかった旨をユーザに通知するように、所定の通知手段を制御することを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記制御手段は、
前記対象人物の顔画像の認識を所定時間継続しても、前記対象人物の顔画像の認識ができなかった後で、前記フレーム内画像の変更があった場合には、変更後のフレーム内画像に対して、前記対象人物の顔画像及び前記関連人物の顔画像の認識を行うように、前記顔画像認識手段を制御することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記制御手段は、
前記変更後のフレーム内画像に対して前記対象人物の顔画像及び前記関連人物の顔画像の認識が行われる場合、変更前のフレーム内画像で認識できた関連人物の顔画像を認識の対象から除外して顔画像の認識を行うように、前記顔画像認識手段を制御することを特徴とする請求項４記載の画像処理装置。
【請求項６】
前記制御手段は、
ユーザにより指定された前記対象人物の顔画像を基に、所定の写真データの中から、前記対象人物の顔画像と少なくとも一人の前記関連人物の顔画像とを含む写真データを検索し、
検索した前記写真データに含まれる全ての前記関連人物の顔画像の認識を行うように、前記顔画像認識手段を制御し、
認識された前記関連人物の顔画像を、前記ユーザにより指定された前記対象人物の顔画像に紐付けて所定の記憶手段に登録することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
請求項１から６のいずれか１項に記載の画像処理装置を備えたことを特徴とする撮像装置。
【請求項８】
撮像装置のフレーム内画像を取得するステップと、
予め登録された、顔認識の対象となる対象人物の顔画像と、前記対象人物の顔画像に紐付けられた関連人物の顔画像とに基づいて、前記フレーム内画像に対して前記対象人物の顔画像及び前記関連人物の顔画像の認識を行うステップと、
前記対象人物の顔画像の認識ができず、前記関連人物の顔画像の認識ができた場合に、前記対象人物の顔画像の認識を所定時間継続するステップと、
を有することを特徴とする顔画像認識方法。
【請求項９】
撮像装置のフレーム内画像を取得する処理と、
予め登録された、顔認識の対象となる対象人物の顔画像と、前記対象人物の顔画像に紐付けられた関連人物の顔画像とに基づいて、前記フレーム内画像に対して前記対象人物の顔画像及び前記関連人物の顔画像の認識を行う処理と、
前記対象人物の顔画像の認識ができず、前記関連人物の顔画像の認識ができた場合に、前記対象人物の顔画像の認識を所定時間継続する処理と、
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フレーム内の画像において特定の人物の顔画像を認識する画像処理装置、撮像装置、顔画像認識方法及びプログラムに関する。
【背景技術】
【０００２】
例えばデジタルスチルカメラ等の撮像装置では、フレーム内の画像において特定の人物Ａ（顔認識の対象となる人物）の顔画像を認識する場合、その人物Ａの正面向きの顔画像から特徴点（例えば目、鼻、口等）を抽出することで人物Ａの顔として認識しているが、人物Ａが正面を向いていない場合には特徴点が抽出できず、顔認識が行えないという問題がある。
【０００３】
この問題を解決する技術として、人物Ａが正面を向いていない場合における顔認識の方法が、例えば特許文献１、２に開示されている。特許文献１には、髪領域と肌領域の色の比率から人物Ａの顔が横向き又は後ろ向きであると判断し、そのまま人物Ａの顔として認識を継続する方法が開示されている。また、特許文献２には、顔領域や胴体領域の動きを基に現在の顔領域の場所を推定し、そのまま人物Ａの顔として認識を継続する方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２６３４２４号公報
【特許文献２】特開２００９−８１７１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１及び２の技術はいずれも、フレーム内の画像に、人物Ａの身体の一部（例えば、横向き又は後ろ向きの顔、頭髪、胴体等）が写っている必要がある。よって、これらの技術では、フレーム内の画像において、人物Ａの身体が全く写っていない場合や、写っている人物Ａの身体の一部が顔認識を行えないものである場合には、顔認識は継続されず、顔認識が中止されてしまうという問題がある。
【０００６】
本発明は、上記問題に鑑みてなされたものであり、フレーム内の画像において、顔認識の対象となる人物が全く写っていない場合や、写っている人物の身体の一部が顔認識を行えないものである場合でも、顔認識を継続して行うことができる画像処理装置、撮像装置、顔画像認識方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
かかる目的を達成するために、本発明の画像処理装置は、撮像装置のフレーム内画像を取得するフレーム内画像取得手段と、予め登録された、顔認識の対象となる対象人物の顔画像と、対象人物の顔画像に紐付けられた関連人物の顔画像とに基づいて、フレーム内画像に対して対象人物の顔画像及び関連人物の顔画像の認識を行う顔画像認識手段と、対象人物の顔画像の認識ができず、関連人物の顔画像の認識ができた場合に、対象人物の顔画像の認識を所定時間継続するように、顔画像認識手段を制御する制御手段と、を有することを特徴とする。
【０００８】
本発明の撮像装置は、上記本発明の画像処理装置を備えたことを特徴とする。
【０００９】
本発明の顔画像認識方法は、撮像装置のフレーム内画像を取得するステップと、予め登録された、顔認識の対象となる対象人物の顔画像と、対象人物の顔画像に紐付けられた関連人物の顔画像とに基づいて、フレーム内画像に対して対象人物の顔画像及び関連人物の顔画像の認識を行うステップと、対象人物の顔画像の認識ができず、関連人物の顔画像の認識ができた場合に、対象人物の顔画像の認識を所定時間継続するステップと、を有することを特徴とする。
【００１０】
本発明のプログラムは、撮像装置のフレーム内画像を取得する処理と、予め登録された、顔認識の対象となる対象人物の顔画像と、対象人物の顔画像に紐付けられた関連人物の顔画像とに基づいて、フレーム内画像に対して対象人物の顔画像及び関連人物の顔画像の認識を行う処理と、対象人物の顔画像の認識ができず、関連人物の顔画像の認識ができた場合に、対象人物の顔画像の認識を所定時間継続する処理と、をコンピュータに実行させることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、フレーム内の画像において、顔認識の対象となる人物が全く写っていない場合や、写っている人物の身体の一部が顔認識を行えないものである場合でも、顔認識を継続して行うことが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態に係る撮像装置の構成例を示すブロック図である。
【図２】本発明の一実施形態に係る撮像装置の準備動作１の動作例を示すフローチャートである。
【図３】本発明の一実施形態に係る撮像装置の準備動作２の動作例を示すフローチャートである。
【図４】本発明の一実施形態に係る撮像装置の顔認識動作の動作例を示すフローチャートである。
【図５】本発明の一実施形態に係る画像処理装置の構成例を示すブロック図である。
【発明を実施するための形態】
【００１３】
以下、本発明を実施するための形態（実施形態）について添付図面を参照して詳細に説明する。
【００１４】
図１は、本発明の撮像装置の一実施形態としてのデジタルスチルカメラ（以下、カメラという）の構成例を示す図である。図１に示すように、本実施形態のカメラは、光学系１、撮像素子２、ＡＦＥ（Analog Front End）３、メモリ４、液晶パネル５、画像処理部６、入力部７を有する。画像処理部６は、本発明の画像処理装置の一実施形態である。
【００１５】
光学系１は、撮影レンズ等を含み、入射する被写体の像を撮像素子２に結像する。撮像素子２は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary MOC）から構成され、光学系１により結像された像を、光電変換によりアナログ信号に変える。ＡＦＥ３は、撮像素子２により変換されたアナログ信号を、Ａ／Ｄ変換によりデジタル信号に変え、画像データとして画像処理部６に出力する。画像処理部６は、ＡＦＥ３から入力された画像データを、フレーム内画像として液晶パネル５（ファインダを兼ねる）に出力する。これにより、撮影者は、フレーム内画像を視認することができる。また、画像処理部６は、予め登録された顔画像データを基に、液晶パネル５に表示されるフレーム内画像において、顔認識を行う機能を有する。この顔認識機能は従来一般的に知られている技術を適用できるので、ここでの説明は省略する。メモリ４は、カメラに内蔵される又はカメラに着脱可能な記憶媒体であり、過去に撮影された写真データ（フレーム内画像を取得した静止画像データ）や、顔認識の際に用いるための顔画像データ等を記憶する。液晶パネル５は、画像処理部６にて出力されるフレーム内画像、画像処理部６にてメモリ４から読み出され、出力される写真データや顔画像データを表示する。これにより、撮影者は、フレーム内画像、写真データ、顔画像データを視認することができる。入力部６は、撮影者による各種操作（指示）の入力を受け付けるためのボタンやキーなどである。なお、入力部７は、液晶パネル５から独立して設けられてもよいし、あるいは、タッチパネルのように液晶パネル５と一緒に設けられてもよい。また、図１には示していないが、カメラには、時間を計測するタイマ部（時計部）も備えられる。
【００１６】
次に、本実施形態のカメラにおける動作について、図２〜図４を用いて説明する。本実施形態のカメラでは、顔認識の実行（図４）の前に、事前の準備動作（図２、図３）が必要となる。
【００１７】
まず、図２を用いて準備動作１について説明する。準備動作１は、ユーザ（カメラを使用する人）が、顔認識の対象となる人物（以下、対象人物という）の顔画像をカメラに登録するときの動作である。
【００１８】
まず、入力部７は、所定の写真データにおいて、対象人物Ａの顔画像の指定を受け付ける（Ｓ１）。ここでいう写真データは、例えば、メモリ４に記憶されている過去に撮影された写真データの中からユーザが選択したものであってもよいし、あるいは、ユーザが対象人物Ａを実際に撮影した直後の写真データであってもよい。いずれにせよ、この写真データは液晶パネル５に表示され、ユーザは、表示された写真データに写っている対象人物Ａの画像から、顔の部分の画像（顔画像の領域）を指定する。指定の方法としては、例えば、カメラに搭載されているマーク付け機能（公知の技術）を用いることで、顔画像にマークを付けるなどの方法がある。
【００１９】
次に、入力部７は、後述する図４における顔認識の実行の際に、所定のフレーム内画像において、Ｓ１で指定した対象人物Ａの顔画像の認識を継続（続行）して行う時間（以下、認識継続時間という）の指定を受け付ける。この認識継続時間は、例えば数秒単位が好ましい。また、認識継続時間は、デフォルトの値（例えば３秒）がメモリ４に設定されており、ユーザは、このＳ２において、デフォルトの値を使用するか、あるいは、所望の値（例えば５秒）に変更するかを指定する。
【００２０】
なお、上記Ｓ１における顔画像の指定及びＳ２における認識継続時間の指定の際には、それらの指定の受け付けをガイドする画面やメッセージが液晶パネル５に表示される。ユーザは、その画面やメッセージを見ながら入力部７を操作することで、所望の指定を入力する。
【００２１】
次に、画像処理部６は、Ｓ１で指定された対象人物Ａの顔画像と、Ｓ２で指定された認識継続時間とを紐付けるとともに、所定のＩＤ（識別情報）を割り当てて、メモリ４に記憶させる（Ｓ３）。メモリ４への記憶が完了したら、対象人物の顔画像の登録が完了した旨のメッセージを、液晶パネル５に表示したり、あるいは、図示しないスピーカから音声出力したりしてもよい（表示及び音声出力の両方でもよい）。
【００２２】
以上のようにして、準備動作１としての、対象人物の顔画像の登録が終了する。なお、ユーザが、上記Ｓ１〜Ｓ３を繰り返すことで、異なる複数の対象人物の顔画像を登録することもできる。
【００２３】
次に、図３を用いて準備動作２について説明する。準備動作２は、ユーザが、準備動作１で登録した対象人物に関連する人物（対象人物と一緒の写真に写ったことのある人物で、対象人物とは別の人物。以下、関連人物という）の顔画像をカメラに登録するときの動作である。
【００２４】
まず、入力部７は、先に登録された対象人物の顔画像の中から、ユーザが所望する対象人物の顔画像の指定を受け付ける（Ｓ１１）。例えば、入力部７が、ユーザから関連人物の登録の指示を受け付けると、画像処理部６は、予め登録されている対象人物の顔画像の一覧をメモリ４から読み出し、液晶パネル５に表示させる。ユーザは、その一覧を見て、所望の対象人物の顔画像を指定（選択）する。すなわち、ここでいう顔画像の指定とは、準備動作１のＳ１における「写真データに写っている画像（対象人物の身体の画像）の中から顔画像の領域を指定すること」ではなく、「予め登録された顔画像の一覧の中から所望の顔画像自体を指定すること」を意味する。なお、ここでは、ユーザにより、対象人物Ａの顔画像が指定されたとする。
【００２５】
次に、画像処理部６は、所定の写真データの中から、Ｓ１１にて指定された対象人物Ａの顔画像と、少なくとも一人の関連人物の顔画像とを含むものを検索する（Ｓ１２）。ここでいう所定の写真データは、例えば、メモリ４に記憶されている過去に撮影された写真データが挙げられる。よって、例えばメモリ４に１００枚の写真データが記憶されている場合、画像処理部６は、それら１００枚の写真データの中から、対象人物Ａの顔画像と、少なくとも一人の関連人物の顔画像とを含む写真データを全て検索する。
【００２６】
なお、Ｓ２における検索のときに、関連人物の顔画像が含まれてはいるものの、その顔画像が対象人物Ａの顔画像の周囲（予め設定された範囲内）に存在していない写真データについては除外するようにしてもよい。言い換えれば、関連人物の顔画像が対象人物Ａの顔画像の近傍に位置している写真データだけを、最終的な検索結果とするということである。このようにする理由としては、対象人物Ａの近傍に位置して撮影されている人物は、対象人物Ａとの関連性が高いと推測されるためである。
【００２７】
また、メモリ４に記憶されている写真データが複数あり、かつ、Ｓ２における検索のときに複数の写真データが検索された場合には、撮影日時が最新の写真データ１枚を最終的な検索結果としてもよい。このようにする理由としては、対象人物Ａと一緒に最近撮影されている人物は、対象人物Ａとの関連性が高いと推測されるためである。
【００２８】
次に、画像処理部６は、検索した写真データに含まれる全ての関連人物の顔画像を認識する（Ｓ１３）。ここでは、例として、３人の関連人物Ｂ、Ｃ、Ｄの顔画像が認識されたとする。
【００２９】
次に、画像処理部６は、認識した関連人物Ｂ、Ｃ、Ｄの顔画像のそれぞれに対して、対象人物Ａの顔画像に割り当てられたＩＤを紐付けるとともに、所定のＩＤ（識別情報）を割り当てて、メモリ４に記憶させる（Ｓ１４）。メモリ４への記憶が完了したら、関連人物の顔画像の登録が完了した旨のメッセージを、液晶パネル５に表示したり、あるいは、図示しないスピーカから音声出力したりしてもよい（表示及び音声出力の両方でもよい）。
【００３０】
以上のようにして、準備動作２としての、関連人物の顔画像の登録が終了する。なお、図３の説明では、カメラ（画像処理部６）が動的に、関連人物の顔画像を含む写真データを検索し、関連人物の顔画像を認識する例としたが、関連人物の顔画像の登録は、これに限定されない。例えば、ユーザが、対象人物の関連人物を把握又は推測できている場合には、ユーザが手動で、関連人物の顔画像の登録を行うことができる。その場合、図３において、Ｓ１１の後、Ｓ１２、Ｓ１３の代わりに、図２のＳ１と同様にして関連人物の顔画像の指定がユーザによって行われ、最後にＳ１４が行われる。
【００３１】
また、上記図３の説明では、Ｓ１４において、関連人物Ｂ、Ｃ、Ｄの顔画像に対して、対象人物Ａの顔画像に割り当てられたＩＤを紐付けるようにしたが、関連人物Ｂ、Ｃ、Ｄの顔画像を、対象人物Ａの顔画像に直接紐付けるようにしてもよい。すなわち、準備動作１で登録されたＩＤ、対象人物Ａの顔画像、認識継続時間に加えて、関連人物Ｂ、Ｃ、Ｄの顔画像が紐付けられて登録されるようにしてもよい。
【００３２】
次に、顔認識の実行動作について、図４を用いて説明する。ここでは、ユーザ（撮影者）が、複数の人物に対してカメラを構え、静止画を撮影しようとする場合において、対象人物Ａの顔画像を認識させる例とする。対象人物Ａの顔画像は、上記準備動作１にて予め登録されており、また、その対象人物Ａに関連する関連人物Ｂ、Ｃ、Ｄの顔画像も、上記準備動作２にて予め登録されているとする。
【００３３】
ユーザは、カメラを構える前に、図３のＳ１１と同様にして、認識させたい顔画像の選択（指定）を入力部７にて行う。ここでは、対象人物Ａの顔画像が選択されたとする。この選択により、対象人物Ａの顔画像に紐付けられた関連人物Ｂ、Ｃ、Ｄの顔画像も認識の対象となる。
【００３４】
ユーザが、複数の人物がいる場所に対してカメラを構えると、画像処理部６は、液晶パネル５にフレーム内画像の表示を行わせる（Ｓ２１）。これにより、ユーザは、撮影しようとする画像（カメラを構えた先にある画像）を視認できる。このとき、ユーザは、カメラを動かさないようにする。
【００３５】
画像処理部６は、液晶パネル５に表示されたフレーム内画像において、対象人物Ａの顔画像及び関連人物Ｂ、Ｃ、Ｄの顔画像の認識を開始する（Ｓ２２）。この顔認識は、メモリ４に登録されている対象人物Ａ、関連人物Ｂ、Ｃ、Ｄの顔画像を基に、公知の顔認識技術を用いて行われる。
【００３６】
Ｓ２２の後で、対象人物Ａの顔画像を認識できた場合（Ｓ２３／ＹＥＳ）、画像処理部６は、その旨のユーザへの通知を、液晶パネル５及び図示しないスピーカの少なくとも一方に行わせる（Ｓ３２）。すなわち、対象人物Ａの顔画像が認識できた旨を示す画面表示及び音声出力の少なくとも一方が行われることになる。また、このとき、画像処理部６は、認識できた対象人物Ａの顔画像の位置をユーザが視認できるような表示（例えば、対象人物Ａの顔画像にマークを被せる表示等）を、液晶パネル５に行わせるようにしてもよい。なお、画像処理部６が対象人物Ａの顔画像を認識できた場合とは、対象人物Ａの顔画像（又は身体の一部の画像）がフレーム内画像に写っている場合である。
【００３７】
Ｓ２２の後で、対象人物Ａの顔画像及び関連人物Ｂ、Ｃ、Ｄの顔画像のいずれも認識できない場合（Ｓ２３／ＮＯ、Ｓ２４／ＮＯ）、画像処理部６は、その旨のユーザへの通知を、液晶パネル５及び図示しないスピーカの少なくとも一方に行わせる（Ｓ２９）。すなわち、対象人物Ａの顔画像及び関連人物Ｂ、Ｃ、Ｄの顔画像のいずれも認識できない旨を示す画面表示及び音声出力の少なくとも一方が行われることになる。Ｓ２９以降については後述する。なお、画像処理部６が対象人物Ａの顔画像及び関連人物Ｂ、Ｃ、Ｄの顔画像のいずれも認識できない場合とは、対象人物Ａ及び関連人物Ｂ、Ｃ、Ｄの全員が、フレーム外に存在していたり、又は、物や人などの背後に隠れていたりして、フレーム内画像に全く写っていない場合、あるいは、フレーム内画像に身体の一部は写っているものの、例えば上記特許文献１、２等の公知の技術を用いても対象人物Ａあるいは関連人物Ｂ、Ｃ、Ｄの顔として認識されない場合である。
【００３８】
Ｓ２２の後で、対象人物Ａの顔画像は認識できないが、関連人物Ｂ、Ｃ、Ｄの顔画像のいずれかが認識できた場合（Ｓ２３／ＮＯ、Ｓ２４／ＹＥＳ）、画像処理部６は、その旨のユーザへの通知を、液晶パネル５及び図示しないスピーカの少なくとも一方に行わせる（Ｓ２５）。すなわち、関連人物Ｂ、Ｃ、Ｄの顔画像のうちどの顔画像が認識できたかを示すとともに、対象人物Ａの顔画像の認識を継続する旨を示す画面表示及び音声出力の少なくとも一方が行われることになる。なお、画像処理部６が対象人物Ａの顔画像は認識できないが、関連人物Ｂ、Ｃ、Ｄの顔画像のいずれかが認識できた場合とは、関連人物Ｂ、Ｃ、Ｄのいずれかの顔画像（又は身体の一部の画像）がフレーム内画像に写っていて関連人物Ｂ、Ｃ、Ｄのいずれかの顔認識ができているものの、対象人物Ａが、フレーム外に存在していたり、あるいは、物や人などの背後に隠れていたりして、フレーム内画像に全く写っていない場合、あるいは、フレーム内画像に対象人物Ａの身体の一部が写っているものの、例えば上記特許文献１、２等の公知の技術を用いても対象人物Ａの顔として認識されない場合である。
【００３９】
Ｓ２５の後、画像処理部６は、液晶パネル５に表示されたフレーム内画像において、対象人物Ａの顔画像の認識を継続する（Ｓ２６）。すなわち、従来では、対象人物Ａがフレーム内画像に全く写っていない場合、又は、その顔画像が認識できなかった時点で（Ｓ２３／ＮＯ）、対象人物Ａの顔画像の認識は中止されていたが、本実施形態では、関連人物Ｂ、Ｃ、Ｄのいずれかの顔認識ができていれば（Ｓ２３／ＮＯ、Ｓ２４／ＹＥＳ）、対象人物Ａの顔画像の認識は中止されずに、継続されることになる。
【００４０】
Ｓ２６の後、対象人物Ａの顔画像が認識できた場合（Ｓ２７／ＹＥＳ）、画像処理部６は、上述したＳ３２の動作を行う（説明は省略する）。なお、画像処理部６が対象人物Ａの顔画像が認識できた場合とは、フレーム外に存在していたり、あるいは、物や人などの背後に隠れていたりしていた対象人物Ａが移動するなどして、対象人物Ａの顔画像（又は身体の一部の画像）がフレーム内画像に写り、対象人物Ａの顔として認識された場合である。
【００４１】
Ｓ２６の後、対象人物Ａの顔画像が認識できない場合（Ｓ２７／ＮＯ）、画像処理部６は、予め指定された認識継続時間が経過するまで、対象人物Ａの顔画像の認識を継続する（Ｓ２８／ＮＯ）。認識継続時間が経過したかどうかは、図示しないタイマ部の計時結果を基に、画像処理部６が判断する。
【００４２】
認識継続時間が経過した場合（Ｓ２８／ＹＥＳ）、画像処理部６は、上述したＳ２９の動作を行う（説明は省略する）。
【００４３】
次に、画像処理部６は、対象人物Ａの顔画像に紐付けられた全ての関連人物Ｂ、Ｃ、Ｄの顔認識ができたかどうかを判断する（Ｓ３０）。例えば、Ｓ２４／ＹＥＳの場合にて関連人物Ｂの顔認識ができたとすると、関連人物Ｃ、Ｄについては顔認識ができなかったので（Ｓ３０／ＮＯ）、Ｓ３１へ移行することになる。
【００４４】
次に、画像処理部６は、現在液晶パネル５に表示中のフレーム内画像が変更されたかどうかを判断する（Ｓ３１）。フレーム内画像の変更は、ユーザが、これまでに構えていたカメラを移動させ、別の場所に対してカメラを構えることで行われる。すなわち、ユーザは、現在表示中のフレーム内画像における対象人物Ａの顔画像の認識が失敗したことから、現在の位置からカメラを移動させ、別の場所に対してカメラを構え、別のフレーム内画像の表示を試みることになる。
【００４５】
画像処理部６は、フレーム内画像の変更を検出すると（Ｓ３１／ＹＥＳ）、再びＳ２１から動作を開始する。ただし、この場合、Ｓ２２にて認識対象となる関連人物の顔画像は、変更前のフレーム内画像において既に認識された顔画像が除外される。例えば、変更前のフレーム内画像において関連人物Ｂの顔認識が行われたとすると（Ｓ２４／ＹＥＳ）、変更後のフレーム内画像（新たに表示されたフレーム内画像）においては、関連人物Ｃ、Ｄの顔画像が認識の対象となる。なお、上記説明では、対象人物Ａの顔認識が失敗した後に再度画像処理部６が顔認識を開始する契機として、「ユーザが、カメラを別の場所に移動させて、カメラを構えて別のフレーム内画像の表示を試み、画像処理部６がフレーム内画像の変更を検出したとき」を例としたが、これに限定されない。例えば、カメラの移動中、フレーム内画像のズームイン時、フレーム内画像のズームアウト時、のいずれかを契機として顔認識が行われるようにしてもよい。
【００４６】
Ｓ３１にて、フレーム内画像の変更が一定時間検出されなかった場合（Ｓ３１／ＮＯ）、図４に示す一連の動作は終了される。また、Ｓ３０にて、フレーム内画像の変更に伴って、関連人物Ｂ、Ｃ、Ｄの顔画像の全てを認識できたものの、いずれのフレーム内画像においても対象人物Ａの顔画像が認識できなかった場合（Ｓ３０／ＹＥＳ）、図４に示す一連の動作は終了される。また、図示はしていないが、Ｓ２１〜Ｓ３１のいずれかの段階で、入力部７が、ユーザから顔認識の実行終了の指示を受け付けた場合、図４に示す一連の動作は終了される。
【００４７】
なお、図４の例では、全ての関連人物の顔認識ができなかった場合（Ｓ３０／ＮＯ）、フレーム内画像の変更後に（Ｓ３１／ＹＥＳ）、対象人物Ａ及び残りの関連人物の顔画像の認識を開始するようにしたが、フレーム内画像の変更が無くても、対象人物Ａ及び残りの関連人物の顔画像の認識を開始するようにしてもよい。
【００４８】
以上説明したように、本実施形態の撮像装置によれば、予め対象人物の顔画像と関連人物の顔画像とを紐付けておき、所定のフレーム内画像において、対象人物が全く写っていないために、あるいは、対象人物の身体の一部が写っているものの、その身体の一部が顔認識を行えないものであるために、対象人物の顔画像が認識できなくても、関連人物の顔画像が認識できていれば、対象人物の顔画像の認識を中止することなく、継続することができる。
【００４９】
また、図４の説明では、本実施形態のカメラによる静止画像の撮影を例に説明したが、動画像の撮影についても同様に適用できる。
【００５０】
以上、本発明の実施形態について説明したが、上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲において種々の変形が可能である。以下、変形例について説明する。
【００５１】
〔変形例１〕
上述した実施形態では、本発明の画像処理装置の一実施形態である画像処理部６を、本発明の撮像装置の一実施形態であるカメラ（デジタルスチルカメラ）に搭載した例について説明したが、画像処理部６は、カメラ以外の情報処理装置に搭載されてもよいし、あるいは、情報処理装置に搭載されることなく単体で用いられてもよい。ここで、画像処理部６がＰＣ（Personal Computer）に搭載された例について図５を用いて説明する。
【００５２】
図５に示すように、撮像装置１０とＰＣ２０は、有線又は無線で接続されており、データの送受信が可能となっている。撮像装置１０は、例えば、デジタルスチルカメラでもよいし、遠隔地に配置されたビデオカメラであってもよい（フレーム内画像の撮像が可能な一般的な撮像装置であればよい）。ＰＣ２０には、記憶装置２１、表示装置２２、入力装置２３の他に、本実施形態の画像処理部６が内蔵されている。記憶装置２１は、例えばＨＤＤ（Hard Disk Drive）等の不揮発性メモリであり、図１に示すメモリ４に相当する。表示装置２２は、ディスプレイであり、図１に示す液晶パネル５に相当する。入力装置２３は、例えばキーボードやマウス等のデバイスであり、図１に示す入力部７に相当する。なお、図５には図示していないが、画像処理部６と、記憶装置２１、表示装置２２、入力装置２３とはそれぞれバス等によって電気的に接続されており、互いにデータの送受信が可能となっている。また、図５において、記憶装置２１は、ＰＣ２０に内蔵としたが、ＰＣ２０の外部に設けられてもよい（例えば、ネットワーク上のサーバ等）。
【００５３】
図５に示す画像処理部６は、フレーム内画像取得手段６１、顔画像認識手段６２、制御手段６３を有する。これらの手段により、上述した図４の顔認識の実行が行われる。このときの動作例を以下に説明する。
【００５４】
まず、フレーム内画像取得手段６１は、撮像装置１０から所定のインターフェースを介してＰＣ２０に出力されたフレーム内画像を、画像処理部６に取り込む。このフレーム内画像は、表示装置２２により、画面表示される（Ｓ２１）。
【００５５】
次に、顔画像認識手段６２は、記憶装置２１に予め登録されている、対象人物の顔画像と、それに紐付けられた関連人物の顔画像とに基づいて、フレーム内画像に対して対象人物及び関連人物の顔画像の認識を開始する（Ｓ２２）。なお、記憶装置２１への各顔画像の登録は、例えば図２、図３で説明した各準備動作をＰＣ２０上で行うことができる。特に、図３に示す準備動作２については、制御手段６３が行うようにしてもよい。すなわち、制御手段６３は、ユーザにより指定された対象人物の顔画像を基に、所定の写真データ（例えば記憶装置２１に予め記憶されているもの）の中から、対象人物の顔画像と少なくとも一人の関連人物の顔画像とを含む写真データを検索する（図３のＳ１１、Ｓ１２）。次に、制御手段６３は、検索した写真データに含まれる全ての関連人物の顔画像の認識を行うように顔画像認識手段を制御する（図３のＳ１３）。次に、制御手段６３は、認識された関連人物の顔画像を、ユーザにより指定された対象人物の顔画像に紐付けて所定の記憶手段（例えば記憶装置２１）に登録する（図３のＳ１４）。
【００５６】
Ｓ２２の顔画像の認識開始後、対象人物の顔画像が認識できないが（Ｓ２３／ＮＯ）、関連人物の顔画像が認識できた場合（Ｓ２４／ＹＥＳ）、制御手段６３は、認識できた関連人物の顔画像をユーザに通知するように、所定の通知手段（例えば表示装置２２）を制御する（Ｓ２５）。次に、制御手段６３は、対象人物の顔画像の認識を所定時間（例えば、上述した認識継続時間）継続するように、顔画像認識手段６２を制御する（Ｓ２６、Ｓ２７／ＮＯ、Ｓ２８／ＮＯ）。制御手段６３は、対象人物の顔画像の認識を所定時間継続しても、対象人物の顔画像の認識ができなかった場合（Ｓ２８／ＹＥＳ）、対象人物の顔画像が認識できなかった旨をユーザに通知するように、所定の通知手段（例えば表示装置２２）を制御する（Ｓ２９）。
【００５７】
次に、制御手段６３は、全ての関連人物の顔画像を認識したかどうかを判断する（Ｓ３０）。まだ検索していない関連人物の顔画像がある場合で（Ｓ３０／ＮＯ）、フレーム内画像の変更があった場合、すなわち撮像装置１０から新たなフレーム内画像が送られてきた場合には（Ｓ３１／ＹＥＳ）、新たなフレーム内画像（変更後のフレーム内画像）に対して、対象人物の顔画像及び関連人物の顔画像の認識を行うように、顔画像認識手段６２を制御する。但しこのとき、制御手段６３は、新たなフレーム内画像に対し、変更前のフレーム内画像で認識できた関連人物の顔画像を認識の対象から除外して顔画像の認識を行うように制御する。これにより、新たなフレーム内画像が表示装置２２に表示され（Ｓ２１）、顔画像認識手段６２は、新たなフレーム内画像に対して、対象人物の顔画像及び未認識である関連人物の顔画像の認識を開始する（Ｓ２２）。
【００５８】
〔変形例２〕
例えば、上述した実施形態における動作は、ハードウェア、または、ソフトウェア、あるいは、両者の複合構成によって実行することも可能である。ソフトウェアによる処理を実行する場合には、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれているコンピュータ内のメモリにインストールして実行させてもよい。あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させてもよい。そのようなプログラムは、例えば、記録媒体としてのハードディスクやＲＯＭ（Read Only Memory）に予め記録しておくことが可能である。あるいは、プログラムは、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＭＯ（Magneto Optical）ディスク、ＤＶＤ（Digital Versatile Disc）、ＵＳＢ（Universal Serial Bus）メモリ、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的、あるいは、永続的に格納（記録）しておくことが可能である。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することが可能である。
【００５９】
なお、上記プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送してもよい。または、ＬＡＮ（Local Area Network）、インターネットといったネットワークを介して、コンピュータに有線で転送してもよい。コンピュータでは、転送されてきたプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることが可能である。
【００６０】
また、上述した実施形態における動作は、上述したように時系列的に実行されるのみならず、処理を実行する装置の処理能力、あるいは、必要に応じて並列的にあるいは個別に実行するように構築することも可能である。
【符号の説明】
【００６１】
１    光学系
２    撮像素子
３    ＡＦＥ
４    メモリ
５    液晶パネル
６    画像処理部
７    入力部
１０    撮像装置
２０    ＰＣ
２１    記憶装置
２２    表示装置
２３    入力装置
６１    フレーム内画像取得手段
６２    顔画像認識手段
６３    制御手段
【図１】
2012075020.tif 000003
【図２】
2012075020.tif 000004
【図３】
2012075020.tif 000005
【図４】
2012075020.tif 000006
【図５】
2012075020.tif 000007