(57)【要約】【課題】  撮影した画像から特定の被写体を認識する場合に、認識率の向上を図ると共に、効率的に認識を行うこと。【解決手段】  被写体を特定するための特徴の情報と、当該情報の有効期限とを関連づけて記憶し（Ｓ１０３）、画像データから特徴を抽出し、抽出した特徴と、記憶した特徴の情報の内、有効期限内の特徴の情報とを照合して、被写体を認識する（Ｓ１１３）。【選択図】  図２
2007080184.tif 000002
【特許請求の範囲】
【請求項１】
被写体を特定するための特徴の情報と、当該情報の有効期限とを関連づけて記憶する記憶手段と、
画像データから特徴を抽出する抽出手段と、
前記抽出手段により抽出された特徴と、前記記憶手段に記憶された特徴の情報の内、前記有効期限内の特徴の情報とを照合して、被写体を認識する照合手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記記憶手段に記憶された特徴の情報の前記有効期限が過ぎたかどうかを判断する判断手段と、
前記有効期限が過ぎた特徴の情報を、前記記憶手段から削除する削除手段と
を更に有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記記憶手段に記憶された特徴の情報の前記有効期限が過ぎたかどうかを判断する判断手段と、
前記有効期限が過ぎた特徴の情報について、有効期限切れの警告を行う警告手段と
を更に有することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記特徴は、長期的特徴と短期的特徴とを含み、前記記憶手段は、前記長期的特徴と短期的特徴とを分類して記憶することを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
【請求項５】
前記記憶手段は、前記特徴が短期的特徴である場合に、当該特徴の情報と有効期限とを関連づけて記憶することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記照合手段は、前記抽出手段により抽出された特徴と前記長期的特徴との照合を優先的に行い、前記長期的特徴により被写体の認識ができなかった場合に、前記短期的特徴との照合を行うことを特徴とする請求項４または５に記載の画像処理装置。
【請求項７】
被写体からの光を光電変換して電気的な画像データを出力する撮像手段と、
前記照合手段による被写体の特定結果に基づいて、前記撮像手段で用いる撮影条件を制御する撮影条件制御手段と
を更に有することを特徴とする請求項１乃至６のいずれかに記載の画像処理装置。
【請求項８】
被写体を特定するための特徴の情報と、当該情報の有効期限とを関連づけて記憶する記憶工程と、
画像データから特徴を抽出する抽出工程と、
前記抽出工程で抽出された特徴と、前記記憶工程で記憶された特徴の情報の内、前記有効期限内の特徴の情報とを照合して、被写体を認識する照合工程と
を有することを特徴とする画像処理方法。
【請求項９】
前記記憶工程で記憶された特徴の情報の前記有効期限が過ぎたかどうかを判断する判断工程と、
前記有効期限が過ぎた特徴の情報を削除する削除工程と
を更に有することを特徴とする請求項８に記載の画像処理方法。
【請求項１０】
前記記憶工程で記憶された特徴の情報の前記有効期限が過ぎたかどうかを判断する判断工程と、
前記有効期限が過ぎた特徴の情報について、有効期限切れの警告を行う警告工程と
を更に有することを特徴とする請求項８に記載の画像処理方法。
【請求項１１】
前記特徴は、長期的特徴と短期的特徴とを含み、前記記憶工程では、前記長期的特徴と短期的特徴とを分類して記憶することを特徴とする請求項８乃至１０のいずれかに記載の画像処理方法。
【請求項１２】
前記記憶工程では、前記特徴が短期的特徴である場合に、当該特徴の情報と有効期限とを関連づけて記憶することを特徴とする請求項１１に記載の画像処理方法。
【請求項１３】
前記照合工程では、前記抽出工程で抽出された特徴と前記長期的特徴との照合を優先的に行い、前記長期的特徴により被写体の認識ができなかった場合に、前記短期的特徴との照合を行うことを特徴とする請求項１１または１２に記載の画像処理方法。
【請求項１４】
被写体からの光を光電変換して電気的な画像データを出力する撮像工程と、
前記照合工程による被写体の特定結果に基づいて、前記撮像工程における撮影条件を制御する撮影条件制御工程と
を更に有することを特徴とする請求項８乃至１３のいずれかに記載の画像処理方法。
【請求項１５】
請求項８乃至１４のいずれかに記載の画像処理方法を実現するためのプログラムコードを有することを特徴とする情報処理装置が実行可能なプログラム。
【請求項１６】
請求項１５に記載のプログラムを記憶したことを特徴とする情報処理装置が読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び方法に関し、更に詳しくは、撮影して得られた画像内の被写体を特定する画像処理装置及び方法に関するものである。
【背景技術】
【０００２】
従来から、顔の一般的な特徴情報をメモリなどに予め登録しておき、この特徴情報を用いて撮影画像から人の顔を抽出する技術が知られている（例えば、特許文献１参照）。特許文献１に記載された抽出方法では、パターンマッチング等を用いて撮影画像の中から特定の被写体を検出するが、このパターンマッチングのベースとなるデータを更新することが可能である。
【０００３】
特許文献１の人の顔認識では、撮影画像から一般的に人の顔の抽出するものであるが、さらに一歩踏み込んで、抽出した顔から特定個人を認識する技術も提案されている。特定個人を認識する技術としては、例えば、特許文献２に記載されたものがある。特許文献２では、認識対象の特定個人の撮影画像から、その人物に固有の特徴を抽出して特徴情報として予め登録しておき、その登録した特徴情報を撮影画像から抽出した被写体の特徴と照合して、個人の識別を行う。
【０００４】
特許文献２においては、登録された人物などの被写体の特徴の追加登録、未登録の被写体の特徴の新規登録、登録データの削除等が任意にできるように構成されている。また、特徴として、顔、目、瞳、眉、口、鼻のほかに、眼鏡や着衣等を登録することができ、これにより識別率の向上を図ることが提案されている。更に、特徴が登録された被写体が検出された場合には、抽出された被写体に応じて、撮影時のさまざまな設定（画角、ＡＦ、ＡＥ、ストロボ）を行って撮影したり、画像処理の変更などを行うことが記載されている。
【０００５】
更に、撮影画像から抽出した特定個人の髪型や衣服などの情報を累積して学習させ、特定個人の抽出精度を向上させることも提案されている（特許文献３）。
【０００６】
【特許文献１】特開平１１−１７５７３０号公報
【特許文献２】特開２００４−３２０２８７号公報
【特許文献３】特開２００１−０８４２７４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献２及び３に記載されているように、同一人物の複数の特徴を登録することにより、特定人物の認識率は向上するが、複数登録された特徴を撮影画像からすべて抽出して、登録データと照合すると、画像処理に時間がかかってしまう。また、眼鏡や着衣、また髪型といった特徴は、顔、瞳、口、鼻といったような時間的に変化の少ない情報と異なり、短時間で変化するものであるため、撮影時間や、撮影日が異なる場合には、特徴として使えない場合があるといった欠点があった。そのような短時間で変化する情報を用いて照合を行った場合には、結果的に画像処理に無駄な時間をかけてしまったり、誤認識を招いてしまうことがあった。
【０００８】
本発明は上記問題点を鑑みてなされたものであり、撮影した画像から特定の被写体を認識する場合に、認識率の向上を図ると共に、効率的に認識を行えるようにすることを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の画像処理装置は、被写体を特定するための特徴の情報と、当該情報の有効期限とを関連づけて記憶する記憶手段と、画像データから特徴を抽出する抽出手段と、前記抽出手段により抽出された特徴と、前記記憶手段に記憶された特徴の情報の内、前記有効期限内の特徴の情報とを照合して、被写体を認識する照合手段とを有する。
【００１０】
また、本発明の画像処理方法は、被写体を特定するための特徴の情報と、当該情報の有効期限とを関連づけて記憶する記憶工程と、画像データから特徴を抽出する抽出工程と、前記抽出工程で抽出された特徴と、前記記憶工程で記憶された特徴の情報の内、前記有効期限内の特徴の情報とを照合して、被写体を認識する照合工程とを有する。
【発明の効果】
【００１１】
本発明によれば、撮影した画像から特定の被写体を認識する場合に、認識率の向上を図ると共に、効率的に認識を行うことが可能になる。
【発明を実施するための最良の形態】
【００１２】
以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。
【００１３】
図１は、本実施の形態における、撮像装置の主要な構成要素を示すブロック図である。撮像装置としては、デジタルカメラ、デジタルビデオカメラ、カメラ付き携帯端末（カメラ付き携帯電話を含む）があり、被写体光学像を変換して電気的な画像信号を出力可能なものであれば、どのようなものであってもよい。なお、本実施の形態では、撮像装置がデジタルカメラである場合について説明する。
【００１４】
本実施の形態における撮像装置は、被写体認識機能（画像の中から特定の人物や物を識別する機能）を有し、被写体認識機能を実現するための画像処理装置を内包する。
【００１５】
＜撮像装置の構成＞
図１において、１は装置全体の制御を司るＣＰＵ、２はＣＰＵ１の処理手順（プログラム）や各種データを記憶しているＲＯＭ、３はＣＰＵ１のワークエリアとして使用するＲＡＭであって、撮像画像はここに一旦格納される。４は着脱自在な記憶媒体であるメモリカード、５はメモリカード４を電気的に撮像装置に接続するためのメモリスロットである。６はシャッターボタンなどの操作ボタンを有する操作部である。シャッターボタンは、スイッチがＯＦＦする開放状態、スイッチＳＷ１がＯＮする半押し状態、スイッチＳＷ１およびＳＷ２がＯＮする全押し状態の３つの状態を持つように構成されている。また、操作部６としては、シャッターボタンの他に、例えば、表示部１３に表示されたメニューの項目選択に用いる上下左右の方向キー（または十字キー）や、選択状態を決定する決定キー等を含む。
【００１６】
７はズームレンズやフォーカスレンズを含む光学レンズ群、８は光学レンズ群７のフォーカスレンズやズームレンズを駆動してフォーカシングやズームの制御を行うためのドライバ、９は絞り、１０は絞り９のドライバである。１１は光学レンズ群７、絞り９を介して結像した光学像を電気信号に変換する光電変換機能を有するＣＣＤやＣＭＯＳセンサ等の撮像素子である。
【００１７】
１２は各種画像処理を行う画像処理部である。ここで行われる画像処理としては、オプティカルブラック除去処理、ホワイトバランス処理、圧縮符号化、復号処理等が含まれる。１３は表示部であって、撮像画像の表示や、各種メニューの表示を行う。１４は記録部であって、抽出された特徴のデータ登録や、カメラの調整データなどを記憶する不揮発性のメモリである。１５は特徴検出部であって、画像処理部１２から出力された画像信号の中から人物の特徴を抽出し、また、登録された特徴データとの照合を行う。ＣＰＵ１は、ＲＯＭ２に記憶されたプログラムに従って、特徴検出部１５によって抽出された特徴と、記録部１４に記憶された特徴データに基づいて、被写体認識機能を実行する画像処理装置としての機能を実現する。
【００１８】
＜撮像処理＞
図２は、本実施の形態における特徴抽出機能を用いた撮像処理の流れを示したフローチャートである。
【００１９】
まず、表示部１３に表示されたメニューの選択状態をチェックし（ステップＳ１０１）、撮影モードに設定されていればステップＳ１０２へ、特徴登録モードに設定されていればステップＳ１０３へ進む。なお、ステップＳ１０３で行われる特徴登録処理の詳細については、図３及び図４を参照して後述する。また、撮影モード及び特徴登録モード以外（たとえば、再生モードなど）の設定であれば、ステップＳ１０４に進んで対応する処理を行い、ステップＳ１０１に戻る。
【００２０】
撮影モードの場合、ステップＳ１０２において、シャッターボタンの半押し状態でＯＮするスイッチＳＷ１の状態を確認し、ＯＮであればステップＳ１０５に進み、ＯＦＦであればステップＳ１０１に戻る。ステップＳ１０５では、撮像素子１１により撮像を行い、得られた撮影画像に基づいて測光処理を行う（ステップＳ１０６）。更に、測光処理で得られた測光値に基づいてシャッタスピードＴｖおよび絞り値Ａｖの設定し（ステップＳ１０７）、次回の撮像時に適正露出が得られるようにする。
【００２１】
次に、ステップＳ１０８で焦点検出処理を行う。デジタルカメラにおいては、一般的に撮影画像の高周波成分を抽出して、画像のコントラストが、最大になるように、撮影レンズを適宜駆動する（ステップＳ１０９）。なお、焦点検出処理はこの方法に限るものではなく、公知の他の方法を用いてもよい。レンズの駆動後に合焦判定を行い、非合焦であれば（ステップＳ１１０でＮＯ）、ステップＳ１０１に戻って、再度同じシーケンスを繰り返す。合焦していれば（ステップＳ１１０でＹＥＳ）、ステップＳ１１１に進んで撮影レンズの駆動を停止し、フォーカスロックする。
【００２２】
次に、ステップＳ１１２において、撮影画像から特徴抽出を行うか否かのユーザー設定情報を確認し、行う設定であればステップＳ１１３に進み、行わない設定であればステップＳ１１５に進む。ステップＳ１１３では、得られた画像から、特徴の抽出および抽出した特徴と、記録部１４に保持された特徴データとの照合を行い、ステップＳ１１４では、登録された個人情報に応じて撮影条件を設定する。なお、ステップＳ１１３で行われる特徴抽出及び照合処理については、図９及び図１０を参照して後述する。また、ステップＳ１１４における、検出された個人情報に応じて、撮影条件（画角、測距点選択、露出、赤目緩和など）をカスタマイズする処理は、特許文献１などにも記載されている処理であるので、ここでは詳細説明は省略する。
【００２３】
次に、ステップＳ１１５において、シャッターボタンの全押し状態でＯＮするスイッチＳＷ２の状態を確認する。ＳＷ２がＯＦＦであればステップＳ１０２に戻り、ＯＮしていれば、ステップＳ１１６に進む。
【００２４】
ステップＳ１１６では、本撮影を行い、得られた撮影画像に対して画像処理部１２により所定の画像処理を行ってから（ステップＳ１１７）、メモリスロット５に接続されたメモリカード４に画像を記録して（ステップＳ１１８）、撮影動作を終了する。
【００２５】
＜特徴登録処理＞
図３及び図４は、図２のステップＳ１０３で行われる特徴登録処理の詳細を説明するフローチャートである。以下、図３及び図４を参照して、特徴登録処理について説明する。
【００２６】
表示部１３に表示されたメニュー上で操作部６の方向キーを操作するなどして特徴登録モードが選択されると、メモリカード４に記録された画像が表示部１３に表示される。そして、表示された画像の中から、特徴を抽出して登録したい画像を選択する（ステップＳ２０１）。ここでは、表示部１３に選択候補画像をサムネール表示し、操作部６の方向キーを用いて選択したり、あるいは、方向キーを操作して表示部１３に全画面表示された画像を１枚ずつ送りながら、所望の画像を選択することができる。そして、選択された画像を表示部１３に表示する（ステップＳ２０２）。なお、ステップＳ２０１でメモリカード４に記録された画像から登録したい画像を選択する代わりに、その場で特徴を登録したい被写体を撮像してもよい。その場で被写体の撮影を行えば、その被写体の最新の特徴を備えた画像を得ることができる。図５は、選択された画像の表示例を示す図である。本実施の形態においては、特徴抽出を自動で行うか、あるいは手動で行うか選択することが可能であり、図５に示すように、自動抽出を選択するための自動ボタン２１と、手動抽出を選択するための手動ボタン２２を画像と共に表示する。ステップＳ２０３では、自動ボタン２１と手動ボタン２２のどちらが選択されたかを判断し、自動抽出であればステップＳ２０４に進み、手動抽出であれば図４のステップＳ２２０に進む。
【００２７】
まず、自動抽出が選択された場合について説明する。
【００２８】
ステップＳ２０４では、図２のステップＳ１１３で行われる処理と同様の特徴抽出／照合処理を行う。ここで行われる処理は、図９及び図１０を参照して詳細に後述するが、以下に簡単に説明する。まず、ステップＳ２０２で選択された画像から、公知の方法により特徴（例えば顔であれば、目、鼻、眉、耳、口、髪型、眼鏡等）を抽出する。次に、抽出された特徴の内、短期的には変化しにくい固有の特徴（上記特徴の例では、目、鼻、眉、耳、口等。以下、「長期的特徴」と呼ぶ。）と、記録部１４に記憶されている特徴データとを順次照合し、抽出された被写体を特定する。
【００２９】
図７は、ステップＳ２０４で用いられる記録部１４に保持されている特徴データの一例を示す図であり、被写体が人物である場合を示している。図７に示す例では、Ａさん、Ｂさん、Ｃさんの３人がすでに登録されており、ここでは、ＡさんとＣさんは長期的特徴のみが、Ｂさんは長期的特徴と、短期的に変化する可能性がある特徴（以下、「短期的特徴」と呼ぶ。）の両方が登録されている。
【００３０】
次に、ステップＳ２０４で抽出された特徴を、照合の結果に基づいて表示部１３上に表示する（ステップＳ２０５）。、図６（ａ）は、ステップＳ２０５における表示部１３への表示例を示す図である。図６（ａ）に示すように、自動登録時に表示部１３に表示される画面において、５０１、５０２、５０３、５０４、５０５は、自動抽出された特徴を示している。これらの特徴の内、実線枠で示された目５０１、５０２、及び鼻５０３は、記録部１４に特徴データとして登録済みの特徴を示し、破線枠で示された髪５０４及び口５０５は未登録の特徴を示している。また、画面の邪魔にならない位置に、ステップＳ２０４で特定された被写体の登録ＩＤ及び、情報があれば被写体の名称を表示する。なお、ステップＳ２０４で、登録済みの被写体のいずれとも一致しない、つまり、新しい被写体であると判断された場合には、全ての特徴が破線枠で表示され。更に、登録ＩＤとしては、例えば、「＊＊＊」や、「未登録」、または、まだ使用されていない登録ＩＤ番号を自動的に割り当てて表示する。
【００３１】
ステップＳ２０６において、登録ＩＤが表示されたもので良いかどうかをユーザーに判断させ、ユーザーが適切でないと判断し、別の登録ＩＤが選択された場合には、その選択内容を受け付け（ステップＳ２０７）、ステップＳ２０６に戻る。
【００３２】
表示した登録ＩＤが変更されなかった場合にはステップＳ２０８に進み、表示部１３上に破線枠で示された未登録の特徴の内、操作部６の方向キー等の操作により、新たに登録する特徴を選択する。選択方法としては、例えば、上下方向キーまたは左右方向キーを押下する毎に、未登録の特徴を順に選択するようにすることが考えられるが、他の方法であってもよい。図６（ａ）に示す例では、髪５０４が選択された場合を示しており、選択されていることがユーザーに分かるように破線枠を点滅表示する。なお、表示形態に関しては、上記に限るものではなく、表示色を変えて区別するなど、別の表示形態であってももちろん構わない。
【００３３】
ステップＳ２０８で新たに登録する特徴の選択が完了すると、登録したい特徴が、長期的特徴か短期的特徴かをユーザーに選択させる（ステップＳ２０９）。その結果、長期的特徴が選択されればステップＳ２１２に、短期的特徴が選択されればステップＳ２１０に進む。
【００３４】
短期的特徴の場合、選択した特徴の有効期限を設定し（ステップＳ２１０）、更に、有効期限が過ぎた後に、自動消去を行うか否かの設定を行う（ステップＳ２１１）。
【００３５】
なお、自動消去のタイミングとしては、例えば、カメラの電源がオンされた時に日付をチェックして、消去したり、カメラが起動してれば、日付の切り替わりごとに割り込みを発生して、消去したりしてもよい。もちろん、自動消去のタイミングは上述に限定されるものではない。また、ステップＳ２１１において、後日使用する可能性のあるものは自動消去を設定しないことも可能であり、その場合、その特徴を消去せずに再度使用することができる。ただし、この場合は、有効期限が過ぎた時に登録画面で有効期限が切れた特徴を表示し、有効期限を再設定するか削除するかをユーザーが選択できるようにするとよい。また、有効期限が切れた短期的特徴に関しても、警告表示を出すなどして、ユーザーに告知するように構成してもよい。
【００３６】
ステップＳ２１１を終えると、ステップＳ２１２に進む。
【００３７】
ステップＳ２１２では、指定された登録ＩＤの指定された特徴のカテゴリ（長期的特徴／短期的特徴）のフォルダに、ステップＳ２０８で選択された特徴を登録する。登録時にはファイル名（図６（ａ）に示す例では、例えば「髪」）を生成して、記録部１４に記憶させる。ファイル名は、自動生成してもよいし、ユーザーが任意に入力してもよい。また、ステップＳ２０９で短期的特徴が選択されている場合には、ステップＳ２１０で設定された有効期限と、ステップＳ２１１で設定された自動消去設定の有無を合わせて登録する。
【００３８】
登録処理が完了すると、登録した特徴の表示を登録済み（図６（ａ）に示す例では実線枠）に変更して（ステップＳ２１３）、ステップＳ２１４に進み、追加登録を行うかどうかを判断する。ここでは、例えば、未登録の特徴があるかどうかを判断したり、「追加登録を続けますか？」等のメッセージを表示して、ユーザーに選択させるようにする。勿論、他の方法であっても構わない。追加があればステップＳ２０６に戻って上記処理を繰り返し、登録処理を終了していれば、特徴登録処理ルーチン（ステップＳ１０３）を終了する。
【００３９】
次に、手動抽出処理について説明する。
【００４０】
ステップＳ２０３で手動抽出が選択されると、図４のステップＳ２２０に進み、選択された画像を表示した画面上に、特徴抽出枠を表示する。この表示は、図６（ａ）で説明した未登録の選択中の表示枠と同様な表示でよい。また、色を変えたりして、よりわかりやすい表示にしてもよい。そして、選択された画像内で、抽出したい特徴の大きさに応じて特徴抽出枠の大きさ及び位置を指定する（ステップＳ２２１）。ここでは、大きさを指定する場合には、例えば操作部６の方向キーを用いて、上を押すと枠の高さを広げ、下を押すと枠の高さ狭くし、右を押すと枠の幅を広げ、左を押すと枠の幅を狭めるようにすればよい。また、高さを指定する場合には、例えば操作部６の方向キーにより指示された方向に枠を移動するようにすればよい。
【００４１】
特徴抽出枠の大きさ及び位置が確定したら、公知の方法によりその枠内の特徴抽出を行い（ステップＳ２２２）、特徴の抽出が完了したら、特徴の表示を行う（ステップＳ２２３）。
【００４２】
図６（ｂ）は、ステップＳ２２３における表示部１３への表示例を示す図である。図６（ｂ）に表示される画面において、６０１、６０２、６０３は後述する登録処理によりすでに登録済みの特徴を、また、６０４は、ステップＳ２２１で指定された特徴抽出枠を示している。図６（ｂ）に示す例では、登録済みの特徴の枠は実線で示し、これから登録を行う特徴抽出枠６０４は点線で表示すと共に、選択されていることがユーザーに分かるように点滅表示する。なお、表示形態に関しては、上記に限るものではなく、表示色を変えて区別するなど、別の表示形態であってももちろん構わない。
【００４３】
次に、新たに登録する特徴を登録する先の登録ＩＤを選択する。ここで、特徴抽出及びその登録がすでに行わている場合（つまり、当該ループを実行するのが２回目以降の場合）、前回登録した時の登録ＩＤが画面の邪魔にならない位置に表示されている。この登録ＩＤで良ければ（ステップＳ２２４でＹＥＳ）、ステップＳ２２６に進む。一方、当該ループを初めて実行する場合には、登録ＩＤが決まっていない。その場合には、ステップＳ２２４でＮＯとなり、ステップＳ２２５に進んで登録ＩＤを選択してから、ステップＳ２２６に進む。
【００４４】
ステップＳ２２６〜ステップＳ２２９の各処理は、ステップＳ２０９〜Ｓ２１２の各処理と同様なので、ここでは説明を省略する。
【００４５】
登録が終了すると、ステップＳ２３０において、登録した特徴を示す枠の表示を登録済みを示す表示（図６（ｂ）に示す例では実線枠）に変更する。そして、ステップＳ２３１において、特徴の追加登録を続けるかどうかを判断する。ここでは例えば、「追加登録を続けますか？」等のメッセージを表示して、ユーザーに選択させるようにする。勿論、他の方法であっても構わない。続ける場合にはステップＳ２２０に戻って新たな抽出枠を表示し、追加登録を続けるのでなければ、特徴登録処理を終了する。
【００４６】
以上の処理により、特徴登録処理が終了する。
【００４７】
図８は、図７に示す状態であった特徴データに、Ａさんの長期的特徴として「口」の特徴と、短期的特徴として「髪」「イヤリング」の特徴を追加した例を示している。なお、自動抽出と手動抽出はステップＳ２０２で選択された画像に対して一方だけではなく、両方を順番に、または交互に行うようにしてもよい。
【００４８】
なお、上記例では、短期的特徴として、髪やアクセサリの特徴を示したが、本発明はこれに限るものではなく、他に、眼鏡や服装など、短期的に変化する特徴であればよく、種々のものが考えられる。
【００４９】
＜特徴抽出／照合処理＞
図９及び図１０は、図２のステップＳ１１３及び図３のステップＳ２０４で行われる特徴抽出／照合処理を詳細に説明したフローチャートである。以下、図９を参照して、特徴抽出／照合処理について説明する。
【００５０】
まず、図２のステップＳ１０５で取得された画像または図３のステップＳ２０２で選択された画像に対して特徴抽出を行う（ステップＳ３０１）。なお、ここで行う特徴抽出の方法は、公知の方法でよい。次に、抽出した特徴と、図８に示すような特徴データとの照合と行うために、登録ＩＤの初期値の設定を行う（ステップＳ３０２）。本実施の形態では登録ＩＤを変数Ｍで表し、ステップＳ３０２ではＭ＝１に初期値を設定する。
【００５１】
次に、登録ＩＤ内のファイル検索を行うため、サブフォルダの指定とファイル番号の指定を行う（ステップＳ３０３）。本実施の形態ではサブフォルダを変数ｍ、ファイルを変数ｎで指定する。なお、サブフォルダは、長期的特徴または短期的特徴を示すフォルダを示し、変数ｍは１または２の値を取る。また、ファイルは各サブフォルダに分類された特徴の情報を示す。なお、登録ＩＤ、サブフォルダ、ファイルの指定方法は上述した方法に限定されるものではない。ステップＳ３０３では、ｍおよびｎは初期値ｍ＝ｎ＝１に設定される。
【００５２】
次に、変数ｍ＝１により指定されるサブフォルダ（図８に示す特徴データの例では、長期的特徴のサブフォルダ）から、変数ｎにより指定されるファイルを読み込み、抽出された特徴との照合を行う（ステップＳ３０４）。このファイル照合については、図１０を参照して後述するが、変数Ｍにより指定される登録ＩＤ内のｍ＝１、すなわち長期的特徴のサブフォルダ内の有効なファイル全てと照合されるまで継続される。全てのファイルとの照合が終了するとステップＳ３０５に進む。ただし、図３のステップＳ２０４からこの特徴抽出／照合処理が行われた場合には、短期的特徴のサブフォルダとの照合を行わないので、ステップＳ３０５〜Ｓ３０６の処理はとばしてステップＳ３０７に進む。
【００５３】
ステップＳ３０５では、長期的特徴のサブフォルダの全てのファイルとの照合が完了したので、サブフォルダ指定変数ｍを２、すなわち短期的特徴のサブフォルダに指定を変更すると共に、ファイルを指定する変数ｎを１に初期設定する。そして、ステップＳ３０６において、ステップＳ３０５で指定された短期的サブフォルダ内の有効ファイルを順次照合していく。ステップＳ３０６においても、図１０に示す手順で照合を行い、短期的特徴のサブフォルダ内の有効なファイル全てと照合されるまで継続する。全てのファイルとの照合が終了するとステップＳ３０７に進んで照合結果をＲＡＭ３に記憶する。
【００５４】
次に、登録ＩＤを指定する変数Ｍをインクリメントし（ステップＳ３０８）、指定変数Ｍが登録ＩＤの数を超えているか、即ち、全ての登録ＩＤについて照合が完了したかどうかを判定する（ステップＳ３０９）。完了していなければ（ステップＳ３０９でＮＯ）ステップＳ３０３に戻って、次の登録ＩＤのファイルとの照合を行う。このようにして登録ＩＤのファイルを順次照合していく。全ての登録ＩＤのファイルの照合が完了すると、ステップＳ３１０でステップＳ３０７で記憶した照合結果を基にして被写体を特定し、特徴抽出／照合サブルーチン（ステップＳ１１３、Ｓ２０４）を終了する。
【００５５】
なお、ステップＳ３０７で記憶された照合結果は、ステップＳ１１４において撮影条件設定などのために使用され、ＳＷ２が、押された場合の本撮影に反映される。
【００５６】
登録された被写体が特定できる
次に、図９のステップＳ３０４及びステップＳ３０６で行われるファイル照合処理について、図１０を参照して説明する。
【００５７】
まず、変数Ｍにより指定された登録ＩＤについて、変数ｍにより指定されたサブフォルダ内の、変数ｎにより指定されたファイルの読み込みを行う（ステップＳ４０１）。次に、読み込んだファイルの有効期限の判定を行う（ステップＳ４０２）。ここでは、ファイルに有効期限が保持されていれば、その有効期限に基づいて判定を行い、保持されていなければ、有効期限内であると判断する。有効期限を過ぎている場合には、読み込んだファイルとの照合は行わずにステップＳ４０５に進む。
【００５８】
有効期限内であれば、抽出された特徴と読み込んだファイルの特徴情報との照合を行い（ステップＳ４０３）、照合結果（一致度）の判定を行う（ステップＳ４０４）。抽出された特徴と読み込んだファイルの特徴情報との一致度が不十分であれば、ステップＳ４０５に進み、一致度が十分であり、被写体の特定が可能であれば、図９のステップＳ３０７に進む。つまり、ｍ＝１のサブフォルダ（長期的特徴のサブフォルダ）のファイルとの照合だけで、十分な精度で被写体の特定ができた場合には、ステップＳ３０５及びＳ３０６を行わない。即ち、ｍ＝２のサブフォルダ（短期的特徴のサブフォルダ）に登録されたファイルとの照合を行わないので、被写体の認識精度を保ちつつ、効率的に被写体の認識を行うことができる。
【００５９】
ステップＳ４０５では、変数ｍにより指定されたサブフォルダ内のファイルの照合がすべて完了したかを判定し、すべて完了していれば、このサブルーチンを終了する。即ち、ｍ＝１の場合には、図９のステップＳ３０５に進み、ｍ＝２の場合にはステップＳ３０７に進む。一方、全てのファイルの照合が完了していなければ、ステップＳ４０６で変数ｎをインクリメントしてからステップＳ４０１に戻り、次のファイルの照合を続ける。
【００６０】
このように、ファイル照合処理では、被写体が特定できるか、或いは、サブフォルダ内の全てのファイルとの照合が終了するまで、抽出された特徴の照合を続ける。
【００６１】
以上説明したように本実施の形態によれば、登録する特徴として、短期的には変化しにくい長期的特徴と、短期的に変化する可能性が高い短期的特徴とを区別して登録し、短期的特徴については各特徴について有効期限を設定する。これにより、特徴を登録してから、撮影した被写体の認識を実行するまでの時間が短い場合には、短期的特徴を利用することで被写体の認識率を向上させることができる。更に、特徴を登録してから、撮影した被写体の認識を実行するまでの時間が長い場合には、変化している可能性が高い短期的特徴を利用しないようにすることで、認識率を向上し、処理速度の低下を防止することが可能となる。
【００６２】
なお、上記実施の形態では、長期的特徴と短期的特徴とを異なるサブフォルダとして登録し、長期的特徴を優先的に照合する場合について説明したが、長期的特徴と短期的特徴とに分類しなくてもよい。その場合であっても、短期的な特徴には特徴の有効期限が設定されているので、図１０のステップＳ４０２における有効期限の判定により、有効期限の切れた特徴との照合は行われない。従って、認識率の向上を図ることができると共に、長期的特徴と短期的特徴と分類した場合よりは被写体の認識速度は低下するものの、登録された全ての特徴と照合する場合と比較して、効率的に認識を行うことが可能となる。
【００６３】
＜他の実施形態＞
なお、本発明は、複数の機器（例えばホストコンピュータ、インターフェイス機器、カメラヘッドなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、デジタルスチルカメラ、デジタルビデオカメラなど）に適用してもよい。
【００６４】
また、本発明の目的は、以下の様にして達成することも可能である。まず、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００６５】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、以下のようにして達成することも可能である。即ち、読み出したプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合である。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。また、ＬＡＮ（ローカル・エリア・ネットワーク）やＷＡＮ（ワイド・エリア・ネットワーク）などのコンピュータネットワークを、プログラムコードを供給するために用いることができる。
【図面の簡単な説明】
【００６６】
【図１】本発明の実施の形態における撮像装置の主要な構成要素を示すブロック図である。
【図２】本発明の実施の形態における撮影処理を示すフローチャートである。
【図３】本発明の実施の形態における特徴登録処理を示すフローチャートである。
【図４】本発明の実施の形態における特徴登録処理を示すフローチャートである。
【図５】本発明の実施の形態における特徴登録処理時の選択画像の表示例を示す図である。
【図６】本発明の実施の形態における特徴登録処理時の特徴抽出結果の表示例を示す図である。
【図７】本発明の実施の形態における特徴データの一例を示す図である。
【図８】本発明の実施の形態における図７に示す特徴データに特徴を追加登録した後の特徴データの一例を示す図である。
【図９】本発明の実施の形態における特徴抽出／照合処理を示すフローチャートである。
【図１０】本発明の実施の形態におけるファイル照合処理を示すフローチャートである。
【符号の説明】
【００６７】
１  ＣＰＵ
２  ＲＯＭ
３  ＲＡＭ
４  メモリカード
５  メモリカードスロット
６  操作部
７  光学レンズ群
８  光学レンズ群駆動用ドライバ
９  絞り
１０  絞り駆動用ドライバ
１１  撮像素子
１２  画像処理部
１３  表示部
１４  記録部
１５  特徴検出部
【図１】
2007080184.tif 000003
【図２】
2007080184.tif 000004
【図３】
2007080184.tif 000005
【図４】
2007080184.tif 000006
【図５】
2007080184.tif 000007
【図６】
2007080184.tif 000008
【図７】
2007080184.tif 000009
【図８】
2007080184.tif 000010
【図９】
2007080184.tif 000011
【図１０】
2007080184.tif 000012