(57)【要約】【課題】本発明は、被写体の識別精度が向上する画像処理装置及びそれを備えた撮像装置並びにプログラムを提供することを目的とする。【解決手段】撮像部によって撮像されたスルー画像に含まれる被写体の識別レベルを判定する判定部と、判定部によって識別レベルが所定基準を満たしていると判定された場合、被写体を識別するための識別情報と撮像部によって撮像された被写体を含む撮像画像とを関連付ける関連付け部とを備える画像処理装置。【選択図】図２
2016019118.tif 000002
【特許請求の範囲】
【請求項１】
撮像部によって撮像されたスルー画像に含まれる被写体の識別レベルを判定する判定部と、
前記判定部によって前記識別レベルが所定基準を満たしていると判定された場合、前記被写体を識別するための識別情報と前記撮像部によって撮像された前記被写体を含む撮像画像とを関連付ける関連付け部とを備える
ことを特徴とする画像処理装置。
【請求項２】
前記関連付け部は、前記撮像画像に基づく画像ファイルのヘッダ部分に前記識別情報を記憶させる
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記判定部は、前記被写体の顔が正面顔として識別される識別レベルを判定する
ことを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記判定部は、前記被写体を追尾しながら、少なくとも前記被写体の一部の対象部位を検出する検出部と、前記検出部によって検出された前記対象部位が対象として識別される識別レベルを判定する対象部位判定部とを含む
ことを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項５】
前記検出部は、前記対象部位として人物の顔を検出し、
前記対象部位判定部は、前記検出部によって検出された顔が前記対象の正面顔として識別される識別レベルを判定し、
前記関連付け部は、前記検出部によって検出された顔の画像データを前記識別情報として関連付ける
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記判定部は、前記識別レベルが過去最高レベルである場合に前記所定基準を満たしていると判定し、
前記関連付け部は、前記撮像画像に含まれる前記被写体と前記識別情報とを関連付ける
ことを特徴とする請求項１から請求項５のいずれか一項に記載の画像処理装置。
【請求項７】
前記検出部は、前記人物の顔とともに、前記人物の頭髪の色、前記人物の服装の色、前記人物の服装の柄及び前記スルー画像内における前記人物の位置の少なくともいずれか１つを付加情報として検出し、
前記関連付け部は、検出された人物の顔が前記対象部位判定部によって前記正面顔でないと判定された場合、前記対象部位判定部によって前記付加情報に基づいて特定人物を推定できる場合には、前記特定人物の正面顔の画像データを前記識別情報として関連付ける
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記被写体がフレームアウトするまでに、前記被写体の識別レベルを過去最高であると前記判定部によって判定されると、記憶している識別レベルを更新する識別レベル記憶部をさらに有する
ことを特徴とする請求項１から請求項７のいずれか一項に記載の画像処理装置。
【請求項９】
連続して撮像された一連の撮像画像に写る被写体の識別レベルを判定する判定部と、
前記判定部によって前記識別レベルが所定基準を満たしていると判定された場合、前記被写体を識別するための識別情報と、前記一連の撮像画像のうちから選択された撮像画像とを関連付ける関連付け部とを備える
ことを特徴とする画像処理装置。
【請求項１０】
請求項１から請求項９のいずれか一項に記載の画像処理装置を備えている
ことを特徴とする撮像装置。
【請求項１１】
被写体を撮像し、画像データを出力する撮像部と、
前記撮像部による前記被写体の撮像を行うための入力部と、
前記入力部による入力の前に、もしくは前記入力部による入力によって前記撮像部による撮像が行われた後に、前記撮像部によって出力された画像データに基づくライブビュー画像を表示する表示部と、
前記入力部による入力に基づいて撮像された前記被写体を含む画像と、前記被写体を含む前記ライブビュー画像とを関連付ける関連付け部とを備える
ことを特徴とする撮像装置。
【請求項１２】
前記被写体を識別する識別部とを備え、
前記関連付け部によって関連付けられる前記被写体を含む前記ライブビュー画像は、前記識別部によって前記被写体を識別することが可能な画像である
ことを特徴とする請求項１１に記載の撮像装置。
【請求項１３】
前記表示部は、前記識別部によって識別された前記被写体を含む前記ライブビュー画像と、前記入力部による入力に基づいて撮像された前記被写体を含む画像とが前記関連付け部によって関連付けられたことを示す表示を行う
ことを特徴とする請求項１２に記載の撮像装置。
【請求項１４】
前記関連付け部は、前記ライブビュー画像に含まれる前記被写体の一部の領域と前記入力部による入力に基づいて撮像された前記被写体を含む画像とを関連付ける
ことを特徴とする請求項１１から請求項１３のいずれか一項に記載の撮像装置。
【請求項１５】
前記被写体の一部の領域は、前記被写体の顔である
ことを特徴とする請求項１４に記載の撮像装置。
【請求項１６】
被写体を撮像し、画像データを出力する撮像部と、
前記撮像部による前記被写体の撮像を行うための入力部と、
前記入力部による入力の前に、もしくは前記入力部による入力によって前記撮像部による撮像が行われた後に、前記撮像部によって出力された画像データに基づくライブビュー画像を表示する表示部と、
前記入力部による入力に基づいて撮像された前記被写体を含む画像と、前記ライブビュー画像に含まれる前記被写体を示す情報とを関連付ける関連付け部とを備える
ことを特徴とする撮像装置。
【請求項１７】
スルー画像に写る被写体の識別レベルを判定部に判定させる処理と、
前記判定部によって前記識別レベルが所定基準を満たしていると判定された場合、前記被写体を識別するための識別情報と前記被写体が撮像された撮像画像とを関連付け部に関連付けさせる処理とをコンピュータに実行させる
ことを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及びそれを備えた撮像装置並びに画像処理プログラムに関する。
【背景技術】
【０００２】
近年、撮像範囲に写っている人物の顔を検出したり、人物の個人認識をできたりするデジタルカメラが知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−７２７７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
例えば被写体を識別する識別器の精度が十分でなく被写体の識別を行うことができない場合があった。
【０００５】
本発明の目的は、被写体の識別精度が向上する画像処理装置及びそれを備えた撮像装置並びに画像処理プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明の一態様による画像処理装置は、撮像部によって撮像されたスルー画像に含まれる被写体の識別レベルを判定する判定部と、判定部によって識別レベルが所定基準を満たしていると判定された場合、被写体を識別するための識別情報と撮像部によって撮像された被写体を含む撮像画像とを関連付ける関連付け部とを備えることを特徴とする。
また、上記目的を達成するために、本発明の一態様による画像処理装置は、連続して撮像された一連の撮像画像に写る被写体の識別レベルを判定する判定部と、判定部によって識別レベルが所定基準を満たしていると判定された場合、被写体を識別するための識別情報と、一連の撮像画像のうちから選択された撮像画像とを関連付ける関連付け部とを備えることを特徴とする。
また、上記目的を達成するために、本発明の一態様による撮像装置は、被写体を撮像し、画像データを出力する撮像部と、撮像部によって出力された画像データに基づくライブビュー画像を表示する表示部と、撮像部による被写体の撮像を行うための入力部と、入力部による入力に基づいて撮像された被写体を含む画像と、被写体を含むライブビュー画像とを関連付ける関連付け部とを備えることを特徴とする。
また、上記目的を達成するために、本発明の一態様による画像処理プログラムは、スルー画像に写る被写体の識別レベルを判定部に判定させる処理と、判定部によって識別レベルが所定基準を満たしていると判定された場合、被写体を識別するための識別情報と被写体が撮像された撮像画像とを関連付け部に関連付けさせる処理とをコンピュータに実行させることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、被写体の識別精度が向上する。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態による撮像装置としてのカメラ１０のシステム構成図である。
【図２】本発明の一実施形態による撮像装置としてのカメラ１０に備えられた判定部４４の機能ブロック図である。
【図３】本発明の一実施形態による画像処理装置及びそれを備えた撮像装置の動作の流れの一例を示すフローチャートである。
【図４】本発明の一実施形態による画像処理装置及びそれを備えた撮像装置の動作のうちのスコア判定処理の流れの一例を示すフローチャートである。
【図５】本発明の一実施形態による画像処理装置及びそれを備えた撮像装置の動作のうちの対象部位関連付け処理の流れの一例を示すフローチャートである。
【図６】本発明の一実施形態による画像処理装置及びそれを備えた撮像装置の動作を模式的に示す図（その１）である。
【図７】本発明の一実施形態による画像処理装置及びそれを備えた撮像装置の動作を模式的に示す図（その２）である。
【図８】本発明の一実施形態による画像処理装置及びそれを備えた撮像装置の動作を模式的に示す図（その３）である。
【図９】本発明の一実施形態による画像処理装置及びそれを備えた撮像装置の動作を模式的に示す図（その４）である。
【図１０】本発明の一実施形態の変形例による画像処理装置及びそれを備えた撮像装置の動作のうち、スコア判定処理の流れの一例を示すフローチャートである。
【図１１】本発明の一実施形態の変形例におけるスルー画像に基づくスコア判定処理のうちの付加情報関連処理の流れの一例を示すフローチャートである。
【図１２】本発明の一実施形態の変形例による画像処理装置及びそれを備えた撮像装置の動作のうち、対象部位関連付け処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【０００９】
本発明の一実施形態による画像処理装置及びそれを備えた撮像装置並びにプログラムについて図１から図１０を用いて説明する。本実施形態では、撮像装置としてカメラを例にとって説明する。本実施形態による撮像装置は、カメラに限られず、撮像素子を備えていれば例えば携帯電話機やスマートフォン、あるいはノートブック型パーソナルコンピュータなどの携帯型電子機器であってもよい。
まず、本実施形態によるカメラ１０の概略構成について図１及び図２を用いて説明する。詳細は後述するが、本実施形態による画像処理装置、それを備えた撮像装置及びプログラムは、スルー画像に写る被写体を追尾しながら、識別レベルが最高レベルであると判定した被写体の識別情報を、当該被写体が撮像された撮像画像に基づく画像ファイルと関連付けて記憶するように構成されている。
【００１０】
図１は、本実施形態による撮像装置としてのカメラ１０のシステム構成図である。図１に示すように、カメラ１０は、システム制御部１１と、システムメモリ１２と、光学系２０と、撮像素子（撮像部）３１と、アナログ／デジタル（以下、「Ａ／Ｄ」と略記する）変換器３２と、内部メモリ３３と、画像処理部（画像処理装置）３４と、表示制御部３６と、表示部３７と、記録媒体インタフェース３８（以下、インタフェースを「ＩＦ」と略記する）と、操作部材３９と、レンズ制御部４１と、露光制御部４２と、判定部４４と、記録媒体５０とを有している。システム制御部１１、Ａ／Ｄ変換器３２、内部メモリ３３、画像処理部３４、表示制御部３６、記録媒体ＩＦ３８及び判定部４４は、バスライン４０にそれぞれ接続されている。所定の制御信号や所定の画像データなどは、バスライン４０を介してシステム制御部１１、Ａ／Ｄ変換器３２、内部メモリ３３、画像処理部３４、表示制御部３６、記録媒体ＩＦ３８及び判定部４４間を送受信されるようになっている。
【００１１】
システム制御部１１は、カメラ１０を構成する各要素を直接的または間接的に制御する。システム制御部１１は、システムメモリ１２と通信する。システムメモリ１２は、電気的に消去・記録可能な不揮発性メモリである。システムメモリ１２は、例えばElectrically Erasable Programmable Read-Only Memory（ＥＥＰＲＯＭ（登録商標））等により構成される。システムメモリ１２は、カメラ１０の動作時に必要な定数、変数、設定値、プログラム等がカメラ１０の非動作時にも失われないように記録している。
【００１２】
光学系２０は、ズームレンズ、フォーカスレンズ及び手振れ補正レンズ等を含むレンズ群２１と、シャッタ２２とを有している。被写体像は、図中に破線矢印で示す光軸に沿って光学系２０に入射し、レンズ群２１及びシャッタ２２を介して、撮像素子３１の結像面に結像する。
【００１３】
撮像素子３１は、光学系２０を透過して入射する被写体像である光学像を光電変換する素子である。撮像素子３１として、例えば、ＣＣＤ（Charge Coupled Device）センサ、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサが用いられる。撮像素子３１で光電変換された被写体像は、Ａ／Ｄ変換器３２でアナログ信号からデジタル信号に変換される。
【００１４】
デジタル信号に変換された被写体像は、画像データとして順次処理される。Ａ／Ｄ変換器３２によりデジタル信号に変換された画像データは、一旦内部メモリ３３に記憶される。内部メモリ３３は、高速で読み書きのできるランダムアクセスメモリである。内部メモリ３３として、例えばＤＲＡＭ（Dynamic Random Access Memory）、ＳＲＡＭ（Static Random Access Memory）などが用いられる。内部メモリ３３は、連写撮影や動画撮影において高速に連続して画像データが生成される場合に、画像処理の順番を待つバッファメモリとしての役割を担う。
【００１５】
内部メモリ３３は、画像処理や圧縮処理を実行するワークメモリとしての役割を担う。また、内部メモリ３３は、ワークメモリとしてのみでなく、目的に即して加工処理された画像データを一時的に保管する役割も担う。さらに、内部メモリ３３において、システムメモリ１２に記録されている定数、変数、設定値、プログラム等が適宜展開されて、カメラ１０の制御に利用される。したがって、内部メモリ３３は、画像処理部３４の役割を担うに相当する十分なメモリ容量を備える。システム制御部１１は、メモリ制御部としての役割を担い、いかなる作業にどれくらいのメモリ容量を内部メモリ３３に割り当てるかを制御する。
【００１６】
画像処理部３４は、設定されている撮影モード、ユーザからの指示に則して、画像データを特定の画像フォーマットに従った画像ファイルに変換する。例えば、静止画像としてＪＰＥＧ（Joint Photographic Experts Group）ファイルを生成する場合、色変換処理、ガンマ処理、ホワイトバランス処理等の画像処理を行った後に適応離散コサイン変換等を施して圧縮処理を行う。また、動画像としてＭＰＥＧ（Moving Picture Experts Group）ファイルを生成する場合、所定の画素数に縮小されて生成された連続する静止画としてのフレーム画像に対して、フレーム内符号化、フレーム間符号化を施して圧縮処理を行う。
【００１７】
画像処理部３４によって処理された静止画像ファイル及び動画像ファイルは、内部メモリ３３から記録媒体ＩＦ３８を介して、記録媒体５０に記録される。記録媒体５０は、フラッシュメモリ等により構成される。記録媒体５０は、カメラ１０に対して着脱可能な不揮発性メモリである。ただし、記録媒体５０は、着脱式に限らず、カメラ１０に内蔵される例えばＳＳＤ（Solid State Drive）などの記録媒体であってもよい。記録媒体５０がカメラ１０に内蔵されている場合には、記録媒体５０に記録された静止画像ファイルや動画像ファイルは、有線（例えば、ＵＳＢ（Universal Serial Bus））や無線（例えば、無線ＬＡＮ（Local Area Network））により外部へ出力される。
【００１８】
画像処理部３４は、半透過処理、合成処理、クロップ処理、マッチング処理等の、画像処理全般に関わる処理を実行する。また、画像処理部３４は、記録用に処理する画像データに並行して、あるいは先行して、表示用画像データを生成する。通常の表示用画像データは、撮像素子から送られてくる画像データをコピーして間引き処理された、画素数の少ない画像データである。
詳細は後述するが、画像処理部３４は、検出した被写体の識別情報を画像ファイルと関連付ける関連付け部として役割を担うようになっている。
【００１９】
表示部３７は、例えば液晶表示パネルを備えた液晶ディスプレイユニットである。表示部３７は、表示制御部３６が出力するＲＧＢ（Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ）信号及び輝度調整信号を受信し、受信したＲＧＢ信号及び輝度調整信号から表示用画像データを生成する。
【００２０】
記録の有無に関わらず、画像処理部３４が撮像素子３１の出力に従って逐次表示用画像データを生成して表示部３７へ出力すれば、スルー画（詳細は後述する）としてのライブビュー表示が実現される。これにより、表示部３７は、静止画および動画撮影後の再生表示、撮影前および動画撮影中のライブビュー表示を実現することができる。
【００２１】
また、表示制御部３６は、表示する画像データに付随する情報、および、システムメモリ１２に記録されたメニュー画面等も、表示部３７に単独で、あるいは表示画像に重畳して表示させることもできる。
【００２２】
詳細は図２を用いて後述するが、判定部４４は、スルー画像に写る被写体を追尾しながら、検出した被写体が所望の対象として検出される識別レベルを判定するようになっている。
【００２３】
操作部材３９（入力部）は、使用者からの操作を受け付けるようになっている。システム制御部１１は、操作部材３９（入力部）が使用者に操作（入力）されたことを検知し、操作に応じた動作を実行する。また、操作部材３９は、レリーズスイッチ３９ａと、スルー画像スイッチ３９ｂとを有している。使用者は、レリーズスイッチ３９ａを操作することにより、システム制御部１１に撮影準備動作および撮影動作を実行させ撮像画像の取得動作に移行する。なお、スルー画像スイッチ３９ｂについては後述する。レリーズスイッチ３９ａが半押しされると、例えばオートフォーカスを行い、レリーズスイッチ３９ａが完全に押下されると撮像される。なお、半押し状態とは、レリーズスイッチ３９ａが通常ストロークの半分程度まで押し下げられた状態をいう。なお、本実施例ではレリーズスイッチ３９ａが完全に押下されると撮像される例で説明をするがそれに限らない。たとえば、使用者の声の入力に基づき撮像を行ってよい。取得された使用者の音声を解析し、解析された音声が撮像の指示を示す音声の場合（たとえば「撮影してください等」）に撮像を行ってもよい。
【００２４】
レンズ群２１に含まれるズームレンズ、フォーカスレンズ及び手振れ補正レンズはレンズ制御部４１により制御される。ズームレンズ、フォーカスレンズ及び手振れ補正レンズは、被写体像の画角を変更し、被写体像の特定領域を撮像素子３１の受光面上で合焦させ、手ぶれを打ち消して撮像素子３１の受光面上で安定した結像状態を維持する。シャッタ２２は露光制御部４２により制御される。シャッタ２２は、設定された絞り値およびシャッタ速度を実現する。絞り値、シャッタ速度及びＩＳＯ（International Organization for Standardization）感度を含む露出値は、予備取得された画像データの輝度分布と予め設定されたプログラム線図とにより、システム制御部１１により算出される。
【００２５】
次に、判定部４４の概略構成について図２を用いて説明する。図２は、判定部４４の機能ブロック図である。図２には、判定部４４とともに本実施形態による画像処理装置を構成する画像処理部３４が図示されている。また、図２には、スルー画像などが記憶される内部メモリ３３も図示されている。判定部４４は、被写体が撮像範囲にフレームインしてからフレームアウトするまでに取得されたスルー画像に写る被写体の識別レベルを判定するようになっている。
【００２６】
ここで、スルー画像について説明する。スルー画像とは、特に限定されるものではないが、例えば、スルー画像スイッチ３９ｂを押下することによって撮像される画像であってもよい。もしくは、スルー画像とは、システム制御部１１による撮像指示前に取得するモニタに表示するための画像であってもよい。もしくは、スルー画像とは、特別な処理がない限り記録媒体５０に記憶せず、内部メモリ３３のみに記憶される画像であってもよい。もしくは、スルー画像とは、レリーズスイッチ３９ａを押下することにより撮像される撮像画像とは異なる画像であってもよい。なお、本実施例では、カメラ１０のスルー画像として説明するがこれに限らず、携帯電話等の場合では、カメラを起動するためのアプリ等の選択に基づいてカメラモードに切り替わった場合に撮像される画像をスルー画像としてもよい。
カメラ１０は、システム制御部１１からの指示に基づいて、撮像素子３１がスルー画像用の駆動制御を開始し、スルー画像の画像データを取得するようになっている。カメラ１０は、スルー画像用の駆動制御を開始したら、スルー画像スイッチ３９ｂの押下に基づくスルー画像の取得と、表示部３７の表示画面での当該スルー画像の表示を繰り返すように構成されている。スルー画像の画像データは、システム制御部１１の指示に基づいて、内部メモリ３３に蓄積される。例えば、３０フレーム／毎秒のフレームレートで取得されるスルー画像のうち、直近の所定フレーム数（例えば３フレーム分）のスルー画像のデータが内部メモリ３３に上書き保存される。
【００２７】
図２に示すように、判定部４４は、検出部４４ａと、対象部位判定部４４ｂと、記憶部（識別レベル記憶部の一例）４４ｃと、レベル比較部４４ｄと、識別関連情報生成部４４ｅと、動体検出部４４ｆと、バスライン４４ｇとを有している。検出部４４ａ、対象部位判定部４４ｂ、記憶部４４ｃ、レベル比較部４４ｄ、識別関連情報生成部４４ｅ及び動体検出部４４ｆは、バスライン４４ｇにそれぞれ接続されている。所定の制御信号やスルー画像などは、バスライン４４ｇを介して検出部４４ａ、対象部位判定部４４ｂ、記憶部４４ｃ、レベル比較部４４ｄ、識別関連情報生成部４４ｅ及び動体検出部４４ｆ間を送受信されるようになっている。
【００２８】
検出部４４ａは、スルー画像に写る被写体の識別レベルを判定するようになっている。より具体的には、検出部４４ａは、スルー画像に写る被写体の少なくとも一部の対象部位を検出するようになっている。本実施形態では、検出部４４ａは、被写体として例えば人物を検出し、対象部位として当該人物の一部である顔を検出する。検出部４４ａは、検出した対象部位の画像データを対象部位判定部４４ｂ及び動体検出部４４ｆに送信する。
【００２９】
対象部位判定部４４ｂは、検出部４４ａから送信された対象部位の画像データを取得する。対象部位判定部４４ｂは、検出部４４ａによって検出された対象部位が所望の対象として識別されているのかの識別レベルを判定するようになっている。当該所望の対象とは、対象部位判定部４４ｂにおいて予め設定されている検出対象をいう。後述する記憶部４４ｃには、所望の対象から抽出し、送信された対象部位の識別レベルの判定に用いる判定用パラメータが記憶されている。本実施形態では、記憶部４４ｃには、所望の対象として人物の正面顔の画像データから抽出された判定用パラメータが記憶されている。判定用パラメータは正面顔を示すパラメータである。判定用パラメータ及び後述する比較用パラメータは、例えば、輝度情報やエッジ情報、これらの情報に関する統計学的データ、対象部位検出のために特徴を際立たせるアルゴリズムにおける設定要素、などから構成される。
【００３０】
対象部位判定部４４ｂは、検出部４４ａから対象部位の画像データが送信されると、判定用パラメータと比較するための比較用パラメータを対象部位から抽出する。対象部位判定部４４ｂは、所望の対象に基づく判定用パラメータを記憶部４４ｃから読み出し、両パラメータを比較して一致度を判定する。記憶部４４ｃには、一致度が高い程値が高くなるスコアが記憶されている。対象部位判定部４４ｂは、当該スコアの値に基づいて識別レベルを判定する。対象部位判定部４４ｂは、両パラメータの比較結果に基づく識別レベルを後述するレベル比較部４４ｄに送信する。
【００３１】
上述のとおり、記憶部４４ｃは、対象部位の識別レベルの判定に用いる判定用パラメータと、識別レベルの判定に用いるスコアとを記憶している。記憶部４４ｃは、被写体がフレームインしてからフレームアウトするまでの間で、レベル比較部４４ｄが被写体の識別レベルを過去最高であると判定するたびに、記憶している識別レベルを更新するようになっている。最新の識別レベルが過去最高レベルである場合に、識別関連情報生成部４４ｅが最高の識別レベルを含む識別関連情報を生成して記憶部４４ｃに送信するようになっている（詳細は後述する）。このため、記憶部４４ｃには、過去最高の識別レベルが常に記憶される。取得したスルー画像や撮像画像から検出される対象部位の数は、新たに被写体がフレームインしたり追尾中の被写体がフレームアウトしたりすることにより変化する場合がある。このため、判定部４４は、取得したスルー画像や撮像画像から対象部位の検出、識別レベル判定及び最高レベル判定後の識別関連情報の記憶数を記憶部４４ｃに記憶するようになっている。
【００３２】
レベル比較部４４ｄは、検出部４４ａが検出した被写体の識別レベルが所定基準を満たしているか判定するようになっている。本実施形態では、識別レベルが過去最高レベルである場合に所定基準を満たしている判定される。なお、所定基準を満たす条件は、これに限られず、例えば識別レベルが所定レベル以上の場合に所定基準が満たされていると判定されるようになっていてもよい。もしくは、記憶部４４ｃに記憶されている識別レベルの方が新たに取得された識別レベルよりも値が大きい場合でも、記憶部４４ｃに記憶されている識別レベルが記憶された時間から所定時間以上経過している場合には、記憶部４４ｃに記憶されている識別レベルに対して識別レベルが小さくなるような重みづけを行い、重みづけを行った識別レベルと新たに取得された識別レベルとを比較し、新たに取得された識別レベルの方が値が大きい場合は、所定基準を満たすと判定してもよい。このような所定基準を設定することにより、新しい画像が記憶されやすくなる効果を奏する。
レベル比較部４４ｄは、対象部位判定部４４ｂから送信された最新の識別レベルを受信すると、記憶部４４ｃに記憶されている識別関連情報に含まれる識別レベルである記憶識別レベルを読み出し、両識別レベルを比較するようになっている。最新の識別レベルは、対象部位判定部４４ｂが直近に判定した対象部位の識別レベルである。レベル比較部４４ｄは、最新識別レベルが記憶識別レベルよりも高いと判定すると、最新識別レベルが過去最高の識別レベルであると判定する。一方、レベル比較部４４ｄは、最新識別レベルが記憶識別レベルよりも低いか同じであると判定すると、記憶部４４ｃに現時点で記憶されている識別レベルが過去最高の識別レベルであると判定する。レベル比較部４４ｄは、判定結果を識別関連情報生成部４４ｅに送信する。
【００３３】
識別関連情報生成部４４ｅは、最新識別レベルが過去最高のレベルであることを示す情報をレベル比較部４４ｄから受信すると、最新識別レベルと判定された対象部位の画像データと、当該識別レベル（例えばスコアの値）とを対応付けた識別関連情報を生成する。識別関連情報生成部４４ｅは、生成した識別関連情報を記憶部４４ｃに送信する。識別関連情報生成部４４ｅは、生成した識別関連情報を、当該識別関連情報に含まれる最新識別レベルと比較された過去最高の識別レベルを含む識別関連情報に対応付けて記憶部４４ｃに送信する。
【００３４】
動体検出部４４ｆは、取得したスルー画像と、記憶部４４ｃに記憶された識別関連情報に含まれる画像データとから被写体が移動した方向を検出し、被写体の動きを追尾するようになっている。具体的には、動体検出部４４ｆは、スルー画像を走査して、記憶部４４ｃから取得した識別関連情報に含まれる画像データと同一または所定の一致度を有する画像データが当該スルー画像に含まれているか否かを判定しながら被写体の動きを追尾する。詳細は後述するが、動体検出部４４ｆは、スコア関連処理において最高スコアの更新がなされなかった識別関連情報を記憶部４４ｃから取得して、被写体を追尾中であるか否かを判定するようになっている。また、動体検出部４４ｆは、被写体を追尾中でない（非追尾中）と判定した画像データを含む識別関連情報に、非追尾中という判定結果を対応付けてシステム制御部１１に送信する。
【００３５】
画像処理部３４は、関連付け部としての役割を担うようになっている。関連付け部は、識別レベルが最高レベルの被写体の識別情報を、当該被写体が撮像された撮像画像に基づく画像ファイルと関連付けて記憶するようになっている。被写体の識別情報は例えば被写体の画像データである。より具体的には、被写体の識別情報は、被写体の少なくとも一部である対象部位の画像データである。本実施形態では、被写体は人物であり、対象部位は人物の顔である。このため、被写体の識別情報は、人物の顔の画像データである。なお、以下では対象部位を人物の顔で説明をするが、対象部位は人物の顔に限らず、手や足、顔の一部（目、鼻、口）でもよい。もちろん、その場合の被写体の識別情報は、手や足、顔の一部（目、鼻、口）の画像データとなる。また、複数の対象部位を検出してもよく、複数の対象部位に対応した、複数の被写体の識別情報を当該被写体が撮像された撮像画像に基づく画像ファイルと関連付けて記憶してもよい。
画像処理部３４は、最新に撮像された撮像画像の画像データに基づく画像ファイルを内部メモリ３３から読み出し、当該画像ファイルに被写体の識別情報を関連付けるようになっている。記憶部４４ｃは、最高識別レベルの被写体の識別情報を記憶している。このため、画像処理部３４は、現時点で最高の識別レベルの被写体の識別情報を画像ファイルと関連付けることができる。
【００３６】
画像ファイルのファイルフォーマットが例えばＥｘｉｆ（Exchangeable image file format）の場合、画像ファイルのヘッダ部分に当該識別情報が記憶される。
画像処理部３４は、被写体の識別情報を関連付けて記憶した画像ファイルを内部メモリ３３又は記録媒体５０に送信するようになっている。
【００３７】
次に、本実施形態による画像処理装置及びそれを備えた撮像装置の動作について、図１及び図２を参照しつつ図３から図９を用いて説明する。図３は、カメラ１０において実行されるスルー画像から検出された対象部位のスコア判定処理（以下、「スコア判定処理」または「スルー画像に基づくスコア判定処理」と称する場合がある）の流れの一例を示すフローチャートである。本実施形態では、カメラ１０に備えられたシステム制御部１１の制御の下に、システム制御部１１、判定部４４、画像処理部３４及び内部メモリ３３のいずれかが図３に示すスコア判定処理の各ステップを実行するようになっている。また、本実施形態におけるスコア判定処理は、例えばカメラ１０の使用者が本スコア判定処理の実行を選択することにより開始し、本スコア判定処理の実行を非選択とすることにより終了する。
【００３８】
本実施形態では、カメラ１０の使用者がスルー画像に基づくスコア判定処理の実行を選択し、かつスルー画像スイッチ３９ｂの押下を契機に図３に示すスコア判定処理が開始される。スコア判定処理が開始すると、まず、ステップＳ１において、スルー画像が内部メモリ３３から読み出され、ステップＳ３に移行する。
具体的にステップＳ１では、システム制御部１１は、操作部材３９からスルー画像スイッチ３９ｂの押下を示す検出信号を受信したと判定したら、内部メモリ３３に記憶されているスルー画像のうちの最先に記憶されたスルー画像の読み出しを判定部４４に指示する。システム制御部１１の指示に基づいて、検出部４４ａは内部メモリ３３から最先に記憶されたスルー画像を読み出す。
システム制御部１１は、内部メモリ３３からスルー画像を読み出したことを示す情報を検出部４４ａから受信すると、次のステップＳ３の処理に進む。
【００３９】
本実施形態では、スルー画像スイッチ３９ｂの押下を契機として、同一のスルー画像が１枚取得されて内部メモリ３３に記憶されるようになっているが、これに限られない。スルー画像スイッチ３９ｂの押下に基づいて、同一のスルー画像が２枚以上内部メモリ３３に記憶されてもよい。これにより、カメラ１０に何らかの不具合が生じて内部メモリ３３に記憶された一のスルー画像が消去されてしまっても残りのスルー画像をバックアップ画像として用いることができる。
【００４０】
ステップＳ３では、対象部位の検出処理が実行され、ステップＳ５に移行する。具体的にステップＳ３では、検出部４４ａは、所定大きさの検出領域をステップＳ１において内部メモリ３３から読み出したスルー画像において例えば１画素ずつ右方又は下方にずらして当該スルー画像を走査する。検出部４４ａは、当該検出領域において対象部位を検出したら、検出した対象部位の画像データを対象部位判定部４４ｂに送信する。また、検出部４４ａは、対象部位の画像データを対象部位判定部４４ｂに送信する際に、当該画像データに検出順に連番を付す。
検出部４４ａは、対象部位判定部４４ｂにおいて用いられるのと同様の判定用パラメータに基づいて対象部位を検出する。対象部位判定部４４ｂにおいて用いられるのと同様の判定用パラメータを用いることにより、検出部４４ａにおける対象部位の検出と、対象部位判定部４４ｂでの識別レベルの判定との間で矛盾が生じるのを防止できる。また、識別レベルを最低レベルに設定することにより、スルー画像内で対象部位の可能性のある多くの被写体を検出できる。また、検出領域の大きさを変更して対象部位を検出してもよい。
システム制御部１１は、内部メモリ３３から読み出したスルー画像の走査を終了したことを示す情報を検出部４４ａから受信すると、次のステップＳ５の処理に進む。
【００４１】
ステップＳ５では、対象部位のスコア判定が実行され、ステップＳ７に移行する。具体的にステップＳ５では、対象部位判定部４４ｂは、検出部４４ａから送信された対象部位の画像データから順次（例えば画像データに付された番号順に）、比較用パラメータを抽出する。対象部位判定部４４ｂは、抽出した当該比較用パラメータと、記憶部４４ｃから読み出した判定用パラメータとを比較して対象部位の識別レベルを判定する。対象部位判定部４４ｂは、記憶部４４ｃから読み出した識別レベルの判定用スコアを参照し、判定用パラメータと比較用パラメータとの比較結果から識別レベルを示すスコアの値を求める。対象部位判定部４４ｂは、識別レベルを判定した画像データ及び比較用パラメータと、取得したスコアの値とを関連づけたスコア情報をレベル比較部４４ｄに送信する。
システム制御部１１は、レベル比較部４４ｄへのスコア情報の送信が完了したことを示す情報を対象部位判定部４４ｂから受信すると、次のステップＳ７に進む。
【００４２】
ステップＳ７では、今回のスコアの値が現時点での最高スコアの値よりも高いか否かが判定され、今回のスコアの値の方が高いと判定されたら（Ｙｅｓ）ステップＳ９に移行し、今回のスコアの値の方が低いと判定されたら（Ｎｏ）ステップＳ９を実行せずにステップＳ１１に移行する。具体的にステップＳ７では、レベル比較部４４ｄは、対象部位判定部４４ｂから送信された最新の識別レベルを示すスコア（今回のスコア）の値を含むスコア情報を受信し、かつシステム制御部１１から最高スコアの読み出しの指示を受けると、記憶部４４ｃに記憶されている全ての識別関連情報を読み出す。記憶部４４ｃは、過去最高スコアの値のみを記憶するようになっているので、記憶部４４ｃから読み出た識別関連情報に含まれるスコアの値は現時点での最高スコアの値である。
【００４３】
レベル比較部４４ｄは、取得した識別関連情報に含まれる画像データから比較パラメータを抽出する。レベル比較部４４ｄは、取得した全ての識別関連情報から比較パラメータを抽出する。レベル比較部４４ｄは、スコア情報に含まれ比較パラメータと最も一致する比較パラメータが抽出された識別関連情報を選択する。レベル比較部４４ｄは、選択した識別関連情報に含まれる過去最高の識別レベルのスコアの値と、対象部位判定部４４ｂから送信されたスコアの値とを比較し、今回のスコアが最高スコアと判定した場合に判定結果情報を識別関連情報生成部４４ｅに送信する。当該判定結果情報には、両スコアの値の比較結果と、比較対象となったスコア情報及び識別関連情報とが含まれる。レベル比較部４４ｄは、対象部位判定部４４ｂから送信された全てのスコア情報について当該処理を実行する。
【００４４】
システム制御部１１は、判定結果情報を識別関連情報生成部４４ｅに送信したこと示す情報をレベル比較部４４ｄから受信すると、次のステップＳ９の処理に進む。一方、システム制御部１１は、判定結果情報を識別関連情報生成部４４ｅに送信しなかったことを示す情報をレベル比較部４４ｄから受信すると、ステップＳ９の処理を実行せずにステップＳ１１の処理に進む。
【００４５】
ステップＳ９では、最高スコアの値及び識別関連情報が更新され、ステップＳ１１に移行する。具体的にステップＳ９では、識別関連情報生成部４４ｅは、システム制御部１１の指示に基づいて、レベル比較部４４ｄから送信された判定結果情報に含まれる、最高の識別レベルと判定された対象部位の画像データと、識別レベルを示すスコアの値とを対応付けた識別関連情報を最新の識別関連情報として生成する。識別関連情報生成部４４ｅは、生成した最新の識別関連情報を、当該最新の識別関連情報の元になった判定結果情報に含まれていた識別関連情報に対応付けて記憶部４４ｃに送信する。記憶部４４ｃは、当該最新の識別関連情報に対応付けられた識別関連情報と同一であって所定の記憶領域にすでに記憶されている識別関連情報に、受信した当該最近の識別関連情報を上書きして更新する。識別関連情報生成部４４ｅ及び記憶部４４ｃは、レベル比較部４４ｄから送信された全ての判定結果情報について当該処理を実行する。
システム制御部１１は、識別関連情報の更新が終了したことを示す情報を記憶部４４ｃから受信すると、次のステップＳ１１の処理に進む。
【００４６】
ステップＳ１１では、被写体の追尾処理が実行され、ステップＳ１の処理に戻る。ステップＳ１１における被写体の追尾の対象は、記憶部４４ｃに記憶され、ステップＳ９において最高スコアの更新が行われなかった識別関連情報（以下、「追尾対象情報」と称する場合がある）に含まれる画像データ（以下、「追尾対象画像データ」と称する場合がある）である。ステップＳ９において最高スコアの更新が行われた識別関連情報に含まれる画像データは、記憶部４４ｃに記憶されていた識別関連情報に含まれる画像データとの対比によって実質的に動体検出がなされている。このため、ステップＳ９において最高スコアの更新が行われた識別関連情報に含まれる画像データは、ステップＳ１１における被写体追尾の対象とならない。
【００４７】
具体的にステップＳ１１では、動体検出部４４ｆは、対象部位から被写体の動きを検出する動体検出により被写体を追尾する。動体検出部４４ｆは、追尾対象情報を記憶部４４ｃから読み出し、追尾対象情報に含まれる追尾対象画像データと、ステップＳ１で内部メモリ３３から読み出されたスルー画像とを比較し、被写体を追尾中であるか否かを判定する。したがって、ステップＳ１で読み出されたスルー画像がスコア判定処理の開始後の最初のスルー画像である場合には、識別関連情報が記憶部４４ｃに記憶されておらず、被写体を追尾できないので、スコア判定処理を終了しステップＳ１３（図３参照）に移行する。一方、動体検出部４４ｆは、ステップＳ１で内部メモリ３３から読み出されたスルー画像が２枚目以降のスルー画像であり、追尾対象情報が記憶部４４ｃに記憶されている場合には、当該追尾対象情報に含まれる追尾対象画像データを用いて被写体を追尾しているか否かを判定する。動体検出部４４ｆは、追尾対象画像データに対応する画像データがスルー画像に存在すると判断すると、追尾対象部位の被写体を追尾中であると判定し、判定結果をシステム制御部１１に送信する。一方、動体検出部４４ｆは、追尾対象部位の画像データに対応する画像データが当該スルー画像に存在しないと判断すると、追尾対象部位の被写体を追尾中でない（非追尾中）と判定し、判定結果をシステム制御部１１に送信する。
当該判定結果を受信したシステム制御部１１は、非追尾中と判定された画像データに対応する被写体はフレームアウトしたと判定し、当該画像データを含む識別関連情報を記憶部４４ｃから消去する。システム制御部１１は、動体検出部４４ｆから判定結果の送信終了の情報を受信し、かつ非追尾中と判定された画像データを含む識別関連情報の全てを記憶部４４ｃから消去したら、ステップＳ１の処理に戻る。
カメラ１０は、カメラ１０の使用者がスコア判定処理を非実行とするか、レリーズスイッチ３９ａが押下されるまでステップＳ１からステップＳ１１の処理を繰り返し実行する。
【００４８】
図４は、カメラ１０において実行される撮像画像に対象部位を関連付ける対象部位関連付け処理の流れの一例を示すフローチャートである。本実施形態では、カメラ１０に備えられたシステム制御部１１の制御の下に、システム制御部１１、判定部４４、画像処理部３４及び内部メモリ３３のいずれかが図４に示す対象部位関連付け処理の各ステップを実行するようになっている。図４に示す対象部位関連付け処理は、カメラ１０の使用者がレリーズスイッチ３９ａを押下したことを契機に開始される。
【００４９】
図４に示すように、レリーズスイッチ３９ａの押下を契機に対象部位関連付け処理が開始すると、まず、ステップＳ３１において、システム制御部１１は、スルー画像に基づくスコア判定処理、すなわち図３に示す処理が実行中であるか否かを判定し、スコア判定処理が実行中であると判定するとステップＳ３３に移行し、当該判定処理を実行中でないと判定するとステップＳ３３を実行せずにステップＳ３５に移行する。
【００５０】
ステップＳ３３では、システム制御部１１は、スルー画像に基づくスコア判定処理を中断してステップＳ３５に移行する。なお、図３に示すスコア判定処理は、即時中断するのではなく、内部メモリ３３に記憶されている全てのスルー画像に対するスコア判定処理が終了した時点で中断されてもよい。
【００５１】
ステップＳ３５では、撮像画像が内部メモリ３３から読み出され、ステップＳ３７に移行する。具体的にステップＳ３５では、システム制御部１１は、操作部材３９からレリーズスイッチ３９ａの押下により取得され、内部メモリ３３に記憶されている撮像画像の読み出しを判定部４４に指示する。システム制御部１１の指示に基づいて、検出部４４ａは内部メモリ３３から撮像画像を読み出す。
システム制御部１１は、内部メモリ３３から撮像画像を読み出したことを示す情報を検出部４４ａから受信すると、次のステップＳ３７の処理に進む。
【００５２】
ステップＳ３７では、対象部位の検出処理が実行され、ステップＳ４１に移行する。ステップＳ３７における処理は、処理対象がスルー画像ではなく撮像画像である点を除いて、ステップＳ３における処理と同様であるため、説明は省略する。
【００５３】
ステップＳ３９では、対象部位のスコア判定が実行され、ステップＳ４１に移行する。ステップＳ３９における処理は、処理対象がスルー画像ではなく撮像画像である点を除いて、ステップＳ５における処理と同様であるため、説明は省略する。
【００５４】
ステップＳ４１では、今回のスコアの値が現時点での最高スコアの値よりも高いか否かが判定され、今回のスコアの値の方が高いと判定されたら（Ｙｅｓ）ステップＳ４３に移行し、今回のスコアの値の方が低いと判定されたら（Ｎｏ）ステップＳ４３を実行せずにステップＳ４５に移行する。ステップＳ４１における処理は、処理対象がスルー画像ではなく撮像画像である点を除いて、ステップＳ７における処理と同様であるため、説明は省略する。
【００５５】
ステップＳ４３では、最高スコアの値及び識別関連情報が更新され、ステップＳ４５に移行する。ステップＳ４３における処理は、処理対象がスルー画像ではなく撮像画像である点を除いて、ステップＳ９における処理と同様であるため、説明は省略する。
【００５６】
ステップＳ４５では、被写体の追尾処理が実行され、ステップＳ４７に移行する。ステップＳ４５における処理は、処理対象がスルー画像ではなく撮像画像である点及び次の処理が元（本例では、ステップＳ３１）に戻らない点を除いて、ステップＳ１１における処理と同様であるため、説明は省略する。
【００５７】
ステップＳ４７では、関連付け処理が実行される。ここで、関連付け処理について図５を用いて説明する。図５は、関連付け処理の流れの一例を示すフローチャートである。
関連付け処理が開始されると、まず、初期設定が実行され（ステップＳ５１）、ステップＳ５３に移行する。具体的にステップＳ５１では、システム制御部１１は、識別関連情報処理数ｘとして初期値「１」を所定の記憶領域（例えばシステムメモリ１２）に記憶する。識別関連情報処理数は、記憶部４４ｃに記憶されている識別関連情報のうち、何個目の識別関連情報に対して関連付け処理（ステップＳ４７）を実行しているのかを判断するために設定される。
システム制御部１１は、識別関連情報処理数ｘの初期設定が終了したらステップＳ５３の処理に進む。
【００５８】
ステップＳ５３では、最高スコアが閾値以上か否かが判定され、最高スコアが閾値以上であると判定されると（Ｙｅｓ）ステップＳ５５に移行し、最高スコアが閾値より低いと判定されると（Ｎｏ）ステップＳ５５を実行せずにステップＳ５７に移行する。具体的にステップＳ５３では、システム制御部１１は、記憶部４４ｃに記憶されている現在のスコアの値、すなわち現時点での最高の識別レベルのスコアの値を読み出し、読み出したスコアの値と所定の閾値とを比較する。システム制御部１１は、複数の識別関連情報が記憶部４４ｃに記憶されている場合には、最高スコアが閾値以上か否かを判定していない１つの識別関連情報に含まれる識別レベルを読み出す。なお、所定の閾値は例えばシステムメモリ１２に記憶されている。
【００５９】
ステップＳ５５では、被写体の識別情報が画像ファイルに関連付けられてステップＳ５７に移行する。具体的にステップＳ５５では、画像処理部３４は、システム制御部１１の指示に基づいて、以下の処理を実行する。
まず、画像処理部３４は、システム制御部１１からステップＳ５３において最高スコアが閾値以上か否かを判定した識別関連情報を受信する。次に、画像処理部３４は、画像ファイルを内部メモリ３３から読み出す。次に、画像処理部３４は、受信した識別関連情報に含まれた対象部位の画像データを識別情報として当該画像ファイルに関連付けて例えば当該画像ファイルのヘッダ部分に記憶する。画像処理部３４は、識別情報を記憶した画像ファイルを内部メモリ３３又は記録媒体５０に送信する。
【００６０】
システム制御部１１は、画像ファイルを内部メモリ３３又は記録媒体５０に送信したことを示す情報を受信すると、ステップＳ５７の処理に進む。
【００６１】
ステップＳ５７では、識別関連情報処理数ｘが「１」増加されてステップＳ５９に移行する。具体的にステップＳ５７では、システム制御部１１は、現在の識別関連情報処理数ｘを「１」増加した値を所定の記憶領域に記憶する。
システム制御部１１は、識別関連情報処理数ｘを「１」増加したらステップＳ５９の処理に進む。
【００６２】
ステップＳ５９では、識別関連情報処理数ｘが記憶部４４ｃに記憶された識別関連情報の個数ｎより大きいか否かが判定され、識別関連情報処理数ｘが個数ｎより大きいと判定されたら（Ｙｅｓ）ステップＳ４９に移行し（図４参照）、識別関連情報処理数ｘが個数ｎ以下であると判定されたら（Ｎｏ）ステップＳ５１に戻る。具体的にステップＳ５９では、システム制御部１１は、現時点での識別関連情報処理数ｘと、記憶部４４ｃから取得した識別関連情報の個数ｎとを比較する。
システム制御部１１は、識別関連情報処理数ｘが個数ｎよりも大きいと判定したら、ステップＳ４９の処理に進み、識別関連情報処理数ｘが個数ｎ以下であると判定したら、ステップＳ５１の処理に戻る。識別関連情報処理数ｘが個数ｎよりも大きい場合には、記憶部４４ｃには閾値と比較されていない最高スコアは存在していないため、関連付け処理（ステップＳ４７）は終了し、ステップＳ４９に進む。一方、識別関連情報処理数ｘが個数ｎ以下の場合には、記憶部４４ｃには閾値と比較されていない識別関連情報が存在するため、関連付け処理（ステップＳ４７）は継続される。
【００６３】
図４に戻って、ステップＳ４９では、スコア判定処理の中断が解除され、スルー画像の取得が再開され、図３に示すスコア判定処理が再開される。再開されるスコア判定処理では、レリーズスイッチ３９ａの押下後に内部メモリ３３に最先に記憶されたスルー画像から順次読み出される。
【００６４】
次に、本実施形態による画像処理装置及びそれを備えた撮像装置の動作を、人物を被写体とし人物の顔を対象部位とする例について、図１から図５を参照しつつ、図６から図９を用いて説明する。
図６から図９は、表示部３７の表示画面３７ａに表示されたスルー画像及び撮像画像から対象部位として人物の顔を検出する状態を模式的に示している。図６から図９において、図中左側には、時刻を表す「ｔ＝０」から「ｔ＝１１」の文字が図示されている。なお、図６から図９に亘って、図中上から下に向かって時の経過が表されている。
【００６５】
図６から図９の図中の「ｔ＝０」など文字の右隣の「ＬＶ画像」欄には、表示部３７の表示画面３７ａが図示されている。図６から図９の図中の表示画面３７ａの右隣には、「獲得された顔」、「スコア」及び「保存された顔」がこの順に図示されている。「獲得された顔」は、検出部４４ａが各スルー画像及び撮像画像から検出した対象部位としての人物の顔を示している。「スコア」は、対象部位判定部４４ｂが判定した識別レベルのスコアの値を示している。「保存された顔」は、識別関連情報に含まれて記憶部４４ｃに記憶された顔の画像データの元となった顔画像を示している。
【００６６】
図６の図中上段に示すように、時刻「ｔ＝０」においてスルー画像スイッチ３９ｂの押下が検出され、スルー画像に基づくスコア判定処理が開始されると、内部メモリ３３に最先に記憶されたスルー画像が読み出され（ステップＳ１）、人物の顔、すなわち対象部位の検出が開始される（ステップＳ３）。図６の図中上段に示すように、検出領域６０で表示画面３７ａを走査して人物の顔が検出（本例では１つのみ）されると、スコア判定が開始される（ステップＳ５）。スコア判定において、「獲得された顔」、すなわち検出した顔６２について例えばスコア「６０」と判定される（ステップＳ５）。
時刻「ｔ＝０」の時点では、スコアは保存されていないので、今回のスコアは最高スコアと判定される（ステップＳ７のＹｅｓ）。これにより、「獲得された顔」欄から「保存された顔」欄に向かう図中横向き矢印で示すように、時刻「ｔ＝０」で検出された顔の画像データ６４とスコア「６０」とを含む識別関連情報が記憶部４４ｃに記憶される。これにより、記憶部４４ｃに記憶された最高スコア及び識別関連情報が更新される（ステップＳ９）。
【００６７】
今回読み出されたスルー画像はスルー画像スイッチ３９ｂの押下に基づいて内部メモリ３３に記憶された最先のスルー画像であるため、記憶部４４ｃに記憶された識別関連情報に含まれる画像データ６４に対応する対象部位は被写体の追尾対象として処理され（ステップＳ１１）、ステップＳ１の処理に戻る。
【００６８】
図６の図中中段に示すように、時刻「ｔ＝１」において、内部メモリ３３に記憶された２枚目のスルー画像が読み出されると（ステップＳ１）、人物の顔、すなわち対象部位の検出が開始される（ステップＳ３）。図６の図中中段に示すように、検出領域６０で表示画面３７ａを走査して人物の顔が検出（本例では１つのみ）され、スコア判定が開始される（ステップＳ５）。スコア判定において、「獲得された顔」欄に示す検出した顔６２について識別レベルが判定される（ステップＳ５）。時刻「ｔ＝１」における人物の顔の向きは、時刻「ｔ＝０」における人物の顔の向きよりも上向きとなっているため、「スコア」欄に示すように、検出した顔６２のスコアは前回よりも低い例えば「５０」と判定される。
【００６９】
スコア判定が終了すると、今回のスコアが最高スコアより高いか否かが判定される（ステップＳ７）。今回（時刻「ｔ＝１」の時点）のスコア「５０」は、現時点での最高スコア「６０」よりも低いので（ステップＳ７のＮｏ）、図６の図中上段から中断に向かって下向き矢印で示すように、識別情報（画像データ６４）等の更新処理はなされずにステップＳ３７に移行する。
【００７０】
次に、被写体の追尾処理が実行される（ステップＳ１１）。ステップＳ７において、今回読み出されたスルー画像から検出した対象部位の画像データのスコアと、時刻「ｔ＝０」において読み出されたスルー画像から検出した対象部位の画像データのスコアとが比較されている。これにより、被写体が追尾されていると判断され、ステップＳ１の処理に戻る。
【００７１】
図６の図中下段に示すように、時刻「ｔ＝２」において、内部メモリ３３に記憶された３枚目のスルー画像が読み出されると（ステップＳ１）、人物の顔、すなわち対象部位の検出が開始される（ステップＳ３）。ステップＳ３では、図６の図中下段における「ＬＶ画像」欄に示す表示画面３７ａの検出領域６０において人物の顔が検出されスコア判定が開始される（ステップＳ５）。
スコア判定において、「獲得された顔」欄に示す検出した顔６２について識別レベルが判定される（ステップＳ５）。時刻「ｔ＝３」における人物の顔の向きは、時刻「ｔ＝０」における人物の顔の向きよりも正面を向いているため、「スコア」欄に示すように、検出した顔６２のスコアは現時点での最高スコア「６０」よりも高い例えば「８０」と判定される。
【００７２】
次に、今回のスコアが最高スコアより高いか否かが判定される（ステップＳ７）。今回（時刻「ｔ＝２」の時点）のスコア「８０」は、現時点での最高スコア「６０」よりも高いと判定され（ステップＳ７のＹｅｓ）、「獲得された顔」欄から「保存された顔」欄に向かう図６中横向き矢印で示すように、時刻「ｔ＝２」で読み出されたスルー画像より検出された顔の画像データ６４とスコア「８０」とを含む識別関連情報が記憶部４４ｃに記憶され、最高スコア及び識別関連情報が更新される（ステップＳ９）。
【００７３】
最高スコア及び識別関連情報が更新されたことにより、被写体が追尾されていると判断され（ステップＳ１１、ステップＳ１の処理に戻る。
【００７４】
図７の図中上段に示す時刻「ｔ＝３」では、「スコア」欄に示すように、人物の顔の識別レベルのスコアが「７５」であって、現時点での最高スコア「８０」よりも低い。このため、時刻「ｔ＝３」における処理は、時刻「ｔ＝１」における処理と同様となるため、説明は省略する。
【００７５】
図７の図中中段に示す時刻「ｔ＝４」において、内部メモリ３３に記憶された５枚目のスルー画像が読み出されると（ステップＳ１）、人物の顔、すなわち対象部位の検出が開始される（ステップＳ３）。時刻「ｔ＝４」では、人物の顔が横向きであるため、人物の顔は検出されず、スコア判定（ステップＳ５）に移行する。なお、図７並びに後述する図８及び図９では、ステップＳ９又はステップＳ１９において人物の顔が検出されなかったことは、「獲得された顔」欄を空欄とすることによって表される。
【００７６】
今回取得されたスルー画像から対象部位は検出されていないので、スコア判定（ステップＳ５）及びスコアの比較処理（ステップＳ７）は実行されず、被写体の追尾処理が実行される（ステップＳ１１）。最高スコアの更新がなされていないため、動体検出部４４ｆは、記憶部４４ｃから識別関連情報を取得し、当該識別関連情報に含まれた画像データ６４（追尾対象画像データ）が今回（時刻「ｔ＝４」）読み出されたスルー画像に含まれているか否かを判定する。動体検出部４４ｆは、スルー画像を走査し、例えば図７の図中中段の「ＬＶ画像」欄に示す表示画面３７ａの検出領域６０における画像データが追尾対象画像データと所定の一致度を有すると判断し、被写体を追尾中と判定する。動体検出部４４ｆは、被写体を追尾中であるという判定結果をシステム制御部１１に送信する。システム制御部１１は、当該判定結果を受信すると、被写体を追尾中であると判断し、記憶部４４ｃに記憶された識別関連情報を消去せずに、ステップＳ１の処理に戻る。
【００７７】
図７の図中下段に示す時刻「ｔ＝５」では、「獲得された顔」欄に示すように、ステップＳ９において人物の顔が検出されていないものの、被写体は追尾中と判定される。このため、時刻「ｔ＝５」における処理は、時刻「ｔ＝４」における処理と同様となるため、説明は省略する。
【００７８】
図８の図中上段に示す時刻「ｔ＝６」において、スルー画像に基づくスコア判定処理が開始してから初めてのレリーズスイッチ３９ａの押下が検出されると、スルー画像に基づくスコア判定処理が実行中であると判定され（ステップＳ３１のＹｅｓ）、スルー画像に基づくスコア判定処理が中断される（ステップＳ３３）。次に、レリーズスイッチ３９ａのこの押下によって取得され記憶された撮像画像が内部メモリ３３から読み出され（ステップＳ３５）、読み出された撮像画像から人物の顔、すなわち対象部位の検出が実行される（ステップＳ３７）。時刻「ｔ＝６」では、人物の顔がほぼ横向きであるため、ステップＳ３７において人物の顔が検出されず、スコア判定に移行する（ステップＳ３９）。
【００７９】
今回取得された撮像画像から対象部位は検出されていないので、スコア判定（ステップＳ３９）及びスコアの比較処理（ステップＳ４１）は実行されず、被写体の追尾処理が実行される（ステップＳ４５）。最高スコアの更新がなされていないため、動体検出部４４ｆは、記憶部４４ｃから識別関連情報を取得し、当該識別関連情報に含まれた画像データ６４（追尾対象画像データ）が今回（時刻「ｔ＝６」）読み出された撮像画像に含まれているか否かを判定する。今回実行される被写体の追尾処理は、スルー画像が撮像画像に代わっただけで、時刻「ｔ＝４」において実行された追尾処理と同様なので、説明は省略する。
【００８０】
被写体の追尾処理に続いて関連付け処理が実行される（ステップＳ４７）。関連付け処理において、識別関連情報処理数ｘの初期設定（ｘ＝１）がなされ（ステップＳ５１）、現時点での最高スコアが「８０」であって閾値（本例では「６０」とする）以上であると判定され（ステップＳ５３のＹｅｓ）、人物の顔の画像データが識別情報として画像ファイルに関連付けられる。具体的には、図８の図中上段の「保存された顔」欄に示す画像データ６４が、同段の「ＬＶ画像」欄の表示画面３７ａに表示された画像データに基づく画像ファイルの例えばヘッダ部分に記憶される。
【００８１】
ステップＳ５５に続いて、識別関連情報処理数ｘが「１」増加され（ステップＳ５７）、識別関連情報処理数ｘ（＝２）が記憶部４４ｃに記憶された識別関連情報の個数ｎ（＝１）より大きいため（ステップＳ５９のＹｅｓ）、ステップＳ４９の処理に移行し、スルー画像から検出した対象部位の識別レベルの判定処理を再開する。
【００８２】
図８の図中中段及び下段に示す時刻「ｔ＝７」及び「ｔ＝８」では、「獲得された顔」欄に示すように、ステップＳ９において人物の顔が検出されていない。このため、時刻「ｔ＝７」及び「ｔ＝８」におけるそれぞれ処理は、時刻「ｔ＝４」における処理と同様となるため、説明は省略する。
【００８３】
図９の図中上段に示す時刻「ｔ＝９」では、「獲得された顔」欄に示すように、２回目のレリーズスイッチ３９ａの押下を検出した後のステップＳ３７において人物の顔が検出されていない。このため、時刻「ｔ＝９」における時刻「ｔ＝９」で取得した撮像画像に対するそれぞれの処理は、時刻「ｔ＝６」における時刻「ｔ＝６」で取得した撮像画像に対して実行した処理と同様であるため、説明は省略する。
【００８４】
図９の図中中段に示す時刻「ｔ＝１０」では、「獲得された顔」欄に示すように、ステップＳ３において人物の顔が検出されていない。このため、時刻「ｔ＝１０」における処理は、時刻「ｔ＝４」における処理と同様となるため、説明は省略する。
【００８５】
図９の図中下段に示すように、時刻「ｔ＝１１」において、内部メモリ３３から読み出されたスルー画像に写る人物の顔の向きは、時刻「ｔ＝２」における人物の顔の向きよりも正面を向いているため、スコア判定（ステップＳ５）において、「スコア」欄に示すように、検出した顔６２のスコアは現時点での最高スコア「８０」よりも高い例えば「８５」と判定される。
今回（時刻「ｔ＝１１」の時点）のスコア「８５」は、現時点での最高スコア「８０」よりも高いと判定され（ステップＳ７のＹｅｓ）、「獲得された顔」欄から「保存された顔」欄に向かう図９中横向き矢印で示すように、時刻「ｔ＝１１」で検出された顔の画像データ６４とスコア「８５」とを含む識別関連情報が記憶部４４ｃに記憶され、最高スコア及び識別関連情報が更新される（ステップＳ９）。また、最高スコア及び識別関連情報の更新がなされたことにより被写体が追尾されていると判定され（ステップＳ１１）、ステップＳ１の処理に戻る。
【００８６】
以上説明したように、本実施形態による画像処理装置及びそれを備えた撮像装置は、スルー画像に写る被写体の識別レベルを判定する判定部４４と、当該識別レベルが所定基準を満たしている被写体の識別情報を、当該被写体が撮像された撮像画像に基づく画像ファイルと関連付ける関連付け部として機能する画像処理部３４とを有している。
このため、本実施形態による画像処理装置及びそれを備えた撮像装置は、画像ファイルの元となる撮像画像に見え難い態様で写っている被写体を特定できる。
【００８７】
本実施形態による画像処理装置及びそれを備えた撮像装置は、識別レベルのより高い被写体の識別情報を画像ファイルに対応付けてタグ情報として記憶することができる。これにより、本実施形態による画像処理装置及びそれを備えた撮像装置は、当該撮像画像に基づく画像ファイルに記憶された識別情報に基づいて、撮像画像に写っている被写体を認識することができる。本実施形態による画像処理装置及びそれを備えた撮像装置によれば、スルー画像ではなく実際に撮像されて内部メモリ３３又は記録媒体５０に記憶された撮像画像に被写体が認識しにくい状態で写っていたとしても、画像ファイルに関連付けられた識別情報に基づいて被写体を認識できる。これにより、本実施形態による画像処理装置及びそれを備えた撮像装置は、被写体の識別精度を向上できる。
【００８８】
例えば、撮像画像に写る人物は横顔を向いており、当該撮像画像から人物の顔は検出し難い場合がある。しかしながら、本実施形態では、レリーズスイッチ３９ａの押下よりも前に取得したスルー画像から検出した当該人物の正面顔に近い画像データを当該人物の識別情報として画像ファイルに関連付けることができる。このため、本実施形態による画像処理装置及びそれを備えた撮像装置は、撮像画像において人物が特定され難い場合であっても、画像ファイルに関連付けられた識別情報によって当該人物を特定することができる。これにより、本実施形態による画像処理装置及びそれを備えた撮像装置は、被写体の識別精度の向上を図ることができる。
【００８９】
スルー画像は、画素データが間引かれているため、本撮影で撮影された撮像画像の画像データと比較してデータ量が少ない。対象部位は、データ量が少ないスルー画像の一部分であるため、さらにデータ量は少なくなる。このため、画像ファイルのデータ量は、被写体の識別情報が記憶されても極端に増加しない。これにより、本実施形態による画像処理装置及びそれを備えた撮像装置は、内部メモリや記録媒体に負荷をかけずに被写体の識別精度を向上できる。
【００９０】
また、本実施形態では、レリーズスイッチ３９ａの押下が検出される前にスルー画像から対象部位を検出し識別レベルを判定する（ステップＳ３３の前のステップＳ１からステップＳ１１の流れ）とともに、レリーズスイッチ３９ａの押下が検出された後もスルー画像を取得し、取得したスルー画像から検出された対象部位の識別レベルを判定する（ステップＳ４９の後のステップＳ１からステップＳ１１の流れ）ようになっている。このように、本実施形態による画像処理装置及びそれを備えた撮像装置は、被写体がフレームインしてからフレームアウトするまでであれば、レリーズスイッチ３９ａの押下の前後に取得されるスルー画像から対象部位を検出できる。
【００９１】
次に、本実施形態の変形例による画像処理装置及びそれを備えた撮像装置について、図１及び図２を参照しつつ図１０を用いて説明する。本変形例では、検出部４４ａは、対象部位としての人物の顔とともに、当該人物の頭髪の色、当該人物の服装の色、当該人物の服装の柄及びスルー画像や撮像画像内における当該人物の位置の少なくともいずれか１つを付加情報として検出するようになっている。さらに、対象部位判定部４４ｂは、検出した人物の顔が正面顔でなく当該顔を検出できないと判定すると、検出した付加情報に基づいて特定人物を推定できる場合には、当該特定人物の正面顔又は正面顔に近い画像データを識別情報として画像ファイルに関連付けるようになっている。
【００９２】
図１０は、本変形例による画像処理装置及びそれを備えた撮像装置の動作の一例を示すフローチャートである。以下、図３に示す画像処理装置及びそれを備えた撮像装置の動作におけるフローチャートと同様の処理については説明を省略し、異なる点を説明する。
図１０に示すように、本変形例による画像処理装置及びそれを備えた撮像装置におけるスコア判定処理のステップＳ１０１、ステップＳ１０３及びステップＳ１０５からステップＳ１１３までの処理は、ステップＳ１０３において対象部位を検出したか否かの判断が実行される点を除いて、図３に示すステップＳ１からステップＳ１１までの処理と同様である。
【００９３】
ステップＳ１０１の次のステップＳ１０３では、対象部位を検出したか否かを判定し、対象部位を検出したと判定したら（Ｙｅｓ）ステップＳ１０５に移行し、対象部位を検出していないと判定したら（Ｎｏ）、ステップＳ１０７に移行する。具体的にステップＳ１０１では、検出部４４ａは、対象部位としての人物の顔とともに、当該人物の頭髪の色などの付加情報も検出する。
【００９４】
ステップＳ１０７では、付加情報関連処理が実行され、付加情報関連処理が終了したらステップＳ１３１に移行する。図１１は付加情報関連処理の流れの一例を示すフローチャートである。
付加情報関連処理が開始されるとまず、ステップＳ１３１において、付加情報が取得され、ステップＳ１３３に移行する。具体的にステップＳ１３１では、対象部位判定部４４ｂは、システム制御部１１の指示に基づいて、対象検出部位としての人物の顔とともに、検出していた当該人物の髪の毛の色などの付加情報も取得する。当該付加情報は、例えば記憶部４４ｃに記憶されている。
システム制御部１１は、付加情報を取得したことを示す情報を対象部位判定部４４ｂから受信すると、次のステップＳ１３３に進む。
【００９５】
ステップＳ１３３では、初期設定が実行され、ステップＳ１３５に移行する。具体的にステップＳ１３３では、システム制御部１１は、付加情報処理数ｙとして初期値「１」を所定の所定の記憶領域（例えばシステムメモリ１２）に記憶する。付加情報処理数は、ステップＳ１３１で取得された付加情報の総数を最大値とし、取得した付加情報に基づいて人物を特定できるか否かの処理の実行回数である。
【００９６】
ステップＳ１３５では、付加情報に基づいて人物を特定できるか否かを判定し、人物を特定できると判定したら（Ｙｅｓ）ステップＳ１３７に移行し、人物を特定できないと判定したら（Ｎｏ）、ステップＳ１３７を実行せずにステップＳ１３９に移行する。具体的にステップＳ１３５では、システム制御部１１の指示に基づいて、対象部位判定部４４ｂは、以下の動作を実行する。
検出部４４ａは、今回読み出したスルー画像よりも前に取得した数フレームのスルー画像において人物の顔を検出できたスルー画像を選択する。次に、対象部位判定部４４ｂは、ステップＳ１３１で取得した付加情報と、記憶部４４ｃから読み出した付加情報とを比較する。対象部位判定部４４ｂは、両付加情報の一致度が所定の閾値以上であると判断すると、記憶部４４ｃから読み出したスルー画像にステップＳ１０３において検出できなかった人物の顔が写っていると判定する。対象部位判定部４４ｂは、内部メモリ３３から読み出したスルー画像に写り、かつ比較した付加情報の画像の近傍の人物の顔を対象部位として特定する。
システム制御部１１は、人物を特定したことを示す情報を対象部位判定部４４ｂから受信すると、次のステップＳ１３７の処理に進む。
【００９７】
ステップＳ１３７では、特定人物の顔画像及びスコアを取得し、ステップＳ１３９に移行する。具体的にステップＳ１３７では、対象部位判定部４４ｂは、システム制御部１１の制御に基づいて、ステップＳ１３５で特定された特定人物の正面顔又は最高スコアの顔画像を取得する。対象部位判定部４４ｂは、取得したスコアをレベル比較部４４ｄに送信する。
システム制御部１１は、取得したスコアをレベル比較部４４ｄに送信したことを示す情報を対象部位判定部４４ｂから受信すると、次のステップＳ１３９に進む。
【００９８】
ステップＳ３９では、付加情報処理数ｙを「１」増加してステップＳ１４１に移行する。具体的にステップＳ１２５では、システム制御部１１は、現在の付加情報処理数ｙを「１」増加した値を所定の記憶領域に記憶する。
システム制御部１１は、付加情報処理数ｙを「１」増加したらステップＳ１４１の処理に進む。
【００９９】
ステップＳ１４１では、付加情報処理数ｙが取得された付加情報の総数ｍより大きいか否かを判定し、付加情報処理数ｙが総数ｍより大きいと判定したら（Ｙｅｓ）ステップＳ１１３（図１０参照）に移行し、付加情報処理数ｙが総数ｍ以下であると判定したら（Ｎｏ）ステップＳ１３５に移行する。具体的にステップＳ１４１では、システム制御部１１は、現時点での付加情報処理数ｙと、ステップＳ１３１で取得された付加情報の総数ｍとを比較する。
システム制御部１１は、付加情報処理数ｙが総数ｍよりも大きいと判定したら、ステップＳ１０３（図１０参照）に移行し、付加情報処理数ｙが総数ｍ以下であると判定したら、ステップＳ１３５に移行する。付加情報処理数ｙが総数ｍよりも大きい場合には、付加情報に基づく人物特定の判定（ステップＳ１３５）がなされていない付加情報は存在していないため、付加情報に基づく人物特定の判定処理を終了し、ステップＳ１１３の処理に進む。一方、付加情報処理数ｙが総数ｍ以下の場合には、付加情報に基づく人物特定の判定（ステップＳ１３９）がなされていない付加情報が存在するため、付加情報に基づく人物特定の判定処理は継続される。
【０１００】
図１２は、本変形例における撮像装置において実行される撮像画像に対象部位を関連付ける対象部位関連付け処理の流れの一例を示すフローチャートである。
図１２に示すように、本変形例における対象部位関連付け処理でのステップＳ１５１からステップＳ１５９及びステップＳ１６３からステップＳ１７１までの処理は、ステップＳ１５７において対象部位を検出したか否かの判断が実行される点を除いて、図４に示す対象部位関連付け処理でのステップＳ３１からステップＳ４９までの処理と同様である。ステップＳ１６１の処理は、処理対象がスルー画像ではなく撮像画像である点を除いて、図１０に示すステップＳ１０７、すなわち図１１に示すステップＳ１３１からステップＳ１４１と同様である。
【０１０１】
以上説明したように、本変形例による画像処理装置及びそれを備えた撮像装置は、対象部位自体を検出できなくても、対象部位の周辺の情報などの付加情報を利用して対象部位を特定できる場合がある。
【０１０２】
次に、本実施形態の他の変形例による画像処理装置及びそれを備えた撮像装置について説明する。本変形例による画像処理装置及びそれを備えた撮像装置は、スルー画像に代えて、連続して撮像された一連の撮像画像（いわゆる連写された撮像画像）を用いる点に特徴を有している。本変形例による画像処理装置及びそれを備えた撮像装置は、例えば内部メモリ３３又は記録媒体５０に記憶され、連続して撮像された一連の撮像画像に写る被写体を検出して識別レベルを判定する判定部と、当該識別レベルが所定の基準を満たしていると当該判定部によって判定された被写体の識別情報を、当該一連の撮像画像のうちから選択された撮像画像に基づく画像ファイルと関連付ける関連付け部とを有している。すなわち、本変形例では、図２に示す判定部４４が連続して撮像された一連の撮像画像に写る被写体を検出して識別レベルを判定する。また、図２に示す画像処理部３４が当該一連の撮像画像のうちから選択された撮像画像に基づく画像ファイルにと関連付ける関連付け部としての役割を担う。
【０１０３】
本発明は、コンピュータプログラムとして具体化することができる。例えば、コンピュータを、判定部４４の各部（検出部４４ａ、対象部位判定部４４ｂ、記憶部４４ｃ、レベル比較部４４ｄ、識別関連情報生成部４４ｅ、動体検出部４４ｆ）及び関連付け部としての画像処理部３４として機能させる画像処理プログラムとして実現することもできる。したがって、本発明の一部または全ては、ハードウェアまたはソフトウェア（ファームウェア、常駐ソフトウェア、マイクロコード、ステートマシン、ゲートアレイ等を含む）に組み入れることができる。さらに、本発明は、コンピュータによって使用可能な、またはコンピュータ可読の記憶媒体上のコンピュータプログラム製品の形態をとることができ、この媒体には、コンピュータによって使用可能な、またはコンピュータ可読のプログラムコードが組み入れられる。本明細書のコンテキストでは、コンピュータによって使用可能な、またはコンピュータ可読の媒体は、命令実行システム、装置若しくはデバイスによって、またはそれらとともに使用されるプログラムを、収録する、記憶する、通信する、伝搬する、または搬送することのできる、任意の媒体とすることができる。
【０１０４】
本発明は、上記実施形態に限らず、種々の変形が可能である。
上記実施形態及び変形例では、画像ファイルと関連付ける識別情報は画像データであるが、本発明はこれに限られない。例えば、画像処理装置及びそれを備えた撮像装置は、撮像画像の顔が設定上の最高レベルまたは設定した閾値以上の場合は、対象部位の画像データを画像ファイルと関連付けて保存せず、顔の特徴点（例えば目鼻口などのパーツ）の座標やパラメータのみを関連付けて保存するように構成されていてもよい。
【０１０５】
また、画像処理装置及びそれを備えた撮像装置は、検出した顔が正面向きでなく、首を傾げているために傾いていたり、人物が俯いたり上を見たりして顔が回転したりしていることを認識できる場合には、顔の傾き情報や回転情報も追加して画像ファイルと関連付けるように構成されていてもよい。また、画像処理装置及びそれを備えた撮像装置は、当該傾き情報や回転情報に基づいて、検出した顔が正面顔になるように補正して、補正後の顔画像を画像ファイルと関連付けて保存するように構成されていてもよい。
【０１０６】
また、画像処理装置及びそれを備えた撮像装置は、画像ファイルと関連付ける識別情報として顔の画像データ自体でなく、特徴点抽出した結果をそのアルゴリズム名称または識別子とともに画像ファイルと関連付けて保存してもよい。
【０１０７】
また、上記実施の形態では、被写体の識別情報を撮像画像の画像ファイルに関連付けているが本発明はこれに限られない。例えば、画像処理装置及びそれを備えた撮像装置は、被写体の識別情報を、撮像画像に写る当該被写体に対応付けて画像ファイルと関連付けてもよい。
例えば、画像処理部３４は、記憶部４４ｃから読み出した識別関連情報に含まれる対象部位の画像データから抽出した比較用パラメータと、内部メモリ３３から読み出した撮像画像において検出された全ての対象部位の画像データから抽出した比較用パラメータとを比較する。画像処理部３４は、撮像画像に写され、両比較用パラメータが最も一致する対象部位を含む被写体に識別情報を対応付けて画像ファイルと関連付けてもよい。画像処理部３４は、この関連付け処理を例えば図５に示すステップＳ５５で実行する。
【０１０８】
このように、被写体の識別情報を撮像画像に写る被写体に関連付けることにより、被写体個々の識別精度の向上を図ることができる。
【０１０９】
また、上記実施形態では、図６から図９を用いて説明したように、レリーズスイッチ３９ａの押下に基づく撮像画像の取得毎に、被写体の識別情報と撮像画像との関連付け処理を実行しているが、本発明はこれに限られない。画像処理装置及びそれを備えた撮像装置は、例えば一連の撮像を終了したら、この一連の撮像によって記憶部４４ｃに記憶した最高スコアの対象部位を、この一連の撮像によって撮像した撮像画像に関連付けてもよい。図６から図９を例にすると、時刻「ｔ＝６」及び時刻「ｔ＝９」において撮像した時点での最高スコアは時刻「ｔ＝２」で取得した「８０」であるが、一連の撮像の終了後に、時刻「ｔ＝６」及び時刻「ｔ＝９」において撮像した撮像画像に関連付けられる被写体の識別情報は、時刻「ｔ＝１１」において取得された最高スコア「８５」を含む識別情報となる。すなわち、撮像画像を撮像したよりも後に取得された対象部位の画像データを含む識別関連情報も撮像画像に関連付けられることがある。ここで、一連の撮像としては例えば、対象部位の追尾を開始してから追尾できなくなるまででの撮像、被写体がフレームインしてからフレームアウトするまでの撮像、あるいは所定の時間内（例えば、２０秒間、６０秒間など）の撮像などが挙げられる。
【０１１０】
また、本実施形態による画像処理装置及びそれを備えた撮像装置は、被写体がフレームアウトした時点で、識別レベルを示すスコアが所定の閾値に達していなかった場合、まず過去の撮影履歴を検索する。次に、画像処理装置及びそれを備えた撮像装置は、現時点から撮影時刻が近い等の情報に基づき、同じ顔が発見できそうな場合は撮影画像と関連付けられた顔情報（識別情報）を検索し、撮像画像内での人物の位置、人物の頭髪の色、人物の服装の色又は模様や柄を比較し、一致する顔を同一人物と判断する。こうして判断した顔を付加情報とともに画像ファイルと関連付けて保存してもよい。
【０１１１】
さらに、上述の方法でも識別レベルを示すスコアが閾値に達する顔が得られない場合は、レリーズスイッチの押下の一定時間経過後に、レリーズ時刻の後に撮影された履歴を見て、上述の処理と同様の処理を実行してもよい。これにより、正面顔を獲得する可能性を向上させることができる。
【０１１２】
夜景を背景に人物を撮影する場合、スルー画像は、実際に撮像された撮像画像と比較して、露出補正などの処理によって人物の顔が明るく映し出される。そこで、本実施形態による画像処理装置及びそれを備えた撮像装置では、スルー画像における相対的に明瞭な人物の顔の画像を一時的に保存しておき、実際の撮像画像に基づく画像ファイルに、当該顔の画像を関連付けることができる。これにより、本実施形態によれば、夜景を背景とする撮像画像において認識し難い人物を、画像ファイルと関連付けた情報に基づいて特定できるため、被写体の検出精度が向上する。
【０１１３】
また、人物の顔検出に加えて、感情検出（表情検出）を行う場合、六感情（喜、怒、哀、楽、愛、憎）及び無感情のうち、無感情が人物の顔として最も検出し易い。このため、感情検出を実行する場合、「無感情」は、六感情と比較して識別レベルの高い状態に関連付けられる。したがって、検出された顔が「無感情」に一致するほど識別レベル、すなわちスコアが高くなる。本実施形態による画像処理装置及びそれを備えた撮像装置が感情検出を実行可能に構成されている場合には、六感情の顔画像の画像データと比較して、「無感情」及び「無感情」に近い表情の顔画像の画像データが識別情報として画像ファイルに多数関連付けて記憶される。
【０１１４】
感情を検出する方法としては、例えば笑顔検出で笑顔度が高い場合には、被写体が喜んでいる状態（「喜」）または楽しい状態（「楽」）であると検出し、撮影している撮影者の生体（心拍数や体温）を生体センサで検出し、心拍数が高い場合には怒っている状態（「怒」）や憎んでいる状態（「憎」）、心拍数が低い場合には哀しい状態（「哀」）であると検出する方法がある。当該生体センサは、例えば撮像装置のグリップ部の内部に備えられており、当該グリップ部を掴んでいる撮影者の手を通して検出することができる。
【０１１５】
上記実施形態では、被写体として人物を例にとり、対象部位として人物の顔を例にとって説明したが、本発明はこれに限られない。被写体は人間以外の動物や風景など、対象部位は人物の顔以外の部分、人間以外の動物の顔や体、建築物、山などの自然物等であってもよい。例えば、象の場合には顔及び当該顔から伸びる長い鼻の形状など、キリンの場合には動体から伸びる長い首及びその先端の顔の形状など、建築物（例えば歴史的建築物）や自然物（例えば富士山などの名所）では、雑誌や絵葉書などに一般に用いられる方向からのシルエットなど、特徴的部分を判定用パラメータとして記憶部４４ｃに記憶しておき、スルー画像や撮像画像から検出された対象部位と比較し、当該対象部位の識別レベルを判定するようにしてもよい。
【０１１６】
例えば、全景の写る広角画像に基づく画像ファイルに、当該広角画像に写る個々の被写体（例えば、花などの自然物、あるいは歴史的建築物など）の望遠画像を埋め込むことにより、当該広角画像では視認し難い被写体を画像データ上では識別することができる。また、当該望遠画像をスルー画像から取得することにより、画像データの増加を抑制しつつ画像ファイルに被写体の識別情報を埋め込むことができる。
【０１１７】
上記実施形態及び変形例では、取得したスルー画像を内部メモリ３３に記憶するようになっているが、本発明はこれに限られない。例えば、本発明は、取得したスルー画像を外部メモリ（記録用のメモリ）に記憶するようになっていてもよい。例えば、スルー画像は、撮像装置に設けられた通信部を介して外部メモリに送信され、当該外部メモリに記憶される。また、当該外部メモリには、スルー画像から検出された対象部位（例えば人物の顔）や識別レベルが記憶される。撮像装置は、外部メモリに記憶された被写体の対象部位（例えば人物の顔）の画像データが撮像装置に読み出され、読み出した画像データをレリーズスイッチの押下による本撮影で撮像された撮像画像と関連付け、画像データが関連付けられた撮像画像を撮像装置に設けられたメモリ（例えば内部メモリ）に保存するように構成されていてもよい。
【０１１８】
本発明は、以下のような用途がある。
例えば、画像ファイルと関連付けられた識別情報を利用して、記録媒体５０内で画像ファイルを整理（例えば人物別に整理）したり、他の装置（例えばパーソナルコンピュータ）の記憶部内で画像ファイルを整理したり（例えば人物別に整理する）ことができる。
また、例えば、画像ファイルと関連付けられた識別情報を利用して、表示部３７にサムネイル形式で各人物の写っている一覧表示ができる。
また、例えば、画像ファイルと関連付けられた識別情報を利用して、当該識別情報で特定される人物に画像ファイルを送信できる。
【符号の説明】
【０１１９】
１０  カメラ、１１  システム制御部、１２  システムメモリ、２０  光学系、２１  レンズ群、２２  シャッタ、３１  撮像素子、３２  Ａ／Ｄ変換器、３３  内部メモリ、３４  画像処理部、３６  表示制御部、３７  表示部、３７ａ  表示画面、３８  記録媒体ＩＦ、３９  操作部材、３９ａ  レリーズスイッチ、４０、４４ｇ  バスライン、４１  レンズ制御部、４２  露光制御部、４４  検出部、４４ａ  検出部、４４ｂ  対象部位判定部、４４ｃ  記憶部、４４ｄ  レベル比較部、４４ｅ  識別関連情報生成部、４４ｆ  動体検出部、５０  記録媒体、６０  検出領域、６２  検出した顔、６４  画像データ
【図１】
2016019118.tif 000003
【図２】
2016019118.tif 000004
【図３】
2016019118.tif 000005
【図４】
2016019118.tif 000006
【図５】
2016019118.tif 000007
【図６】
2016019118.tif 000008
【図７】
2016019118.tif 000009
【図８】
2016019118.tif 000010
【図９】
2016019118.tif 000011
【図１０】
2016019118.tif 000012
【図１１】
2016019118.tif 000013
【図１２】
2016019118.tif 000014