(57)【要約】 【課題】  繁雑な画像の分類作業を行うことなく、ユーザが望む画像の検索を容易に行うことができる画像処理装置、画像処理方法及びそのプログラムを実現する。【解決手段】  検索情報として認識名称が入力されると、認識名称に対応する画像認識登録情報と、メモリ・カードに記録されている撮影画像を比較していき検索対象である画像を検索する。  画像認識登録情報と撮影画像との比較の仕方は、１つの撮影画像を特定し、特定された撮影画像の中から部分的に画像を抽出する。この抽出された画像に映し出されている対象物の位置、位置関係等を数値化して数値データを算出する。そして、算出された数値データと画像認識登録情報を比較する。この比較は、すべての部分画像に対して行われ、また、メモリ・カードに記録されているすべての撮影画像に対しても行われる。【選択図】  図８ 
2005080216.tif 000002
【特許請求の範囲】
【請求項１】
任意名称と任意画像情報とを関連付けて登録する登録手段と、
前記登録手段により登録された任意名称を検索条件として指示する第１の指示手段と、
前記第１の指示手段により指示された任意名称と関連付けられて登録されている任意画像情報を用いて、記録手段に記録されている画像の中から合致する画像を検索する第１の検索手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記第１の検索手段により画像を検索した場合には、
前記第１の検索手段により検索された画像と、前記第１の指示手段により指示された任意名称とを関連付けて記録する関連記録制御手段を備えることを特徴とする請求項１記載の画像処理装置。
【請求項３】
任意名称と任意画像情報とを関連付けて登録する登録手段と、
画像を取得する取得手段と、
前記登録手段により登録した任意画像情報と前記取得手段により取得した画像とが合致するか否かを判断する判断手段と、
前記判断手段により合致すると判断された任意画像情報に関連付けて前記登録手段により登録した任意名称と、前記取得手段により取得された画像とを関連付けて記録する関連記録制御手段と、
を備えることを特徴とする画像処理装置。
【請求項４】
被写体を撮像する撮像手段を備えた画像処理装置において、
前記判断手段は、
前記撮像手段による撮影が終了した後に、
前記登録手段により登録した任意画像情報と前記取得手段により取得した画像とが合致するか否かを判断することを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記判断手段は、
前記画像処理装置の電源オフ時に、
前記登録手段により登録した任意画像情報と前記取得手段により取得した画像とが合致するか否かを判断することを特徴とする請求項３記載の画像処理装置。
【請求項６】
前記取得手段は、
記録手段に記録されている画像の中から取得することを特徴とする請求項３乃至５の何れかに記載の画像処理装置。
【請求項７】
前記撮像手段により撮像された画像を記録手段に記録する記録制御手段を備え、
前記取得手段は、
前記撮像手段により撮像された画像であり、かつ、前記記録制御手段によって前記記録手段に記録されていない画像を取得することを特徴とする請求項３又は４に記載の画像処理装置。
【請求項８】
前記登録手段により登録された任意名称を検索条件として指示する第２の指示手段と、
前記第２の指示手段により検索条件として任意名称が指示された場合には、
前記関連記録制御手段により画像に関連付けられて記録された任意名称と、前記第２の指示手段により指示された任意名称とを比較し、一致する画像を検索する第２の検索手段と、
を備えることを特徴とする請求項２乃至７の何れかに記載の画像処理装置。
【請求項９】
前記任意画像情報は、
登録の対象となる画像の指定範囲内の画像から抽出された情報であることを特徴とする請求項１乃至８の何れかに記載の画像処理装置。
【請求項１０】
前記任意画像情報は、
前記抽出された情報から算出された情報であることを特徴とする請求項９記載の画像処理装置。
【請求項１１】
前記指定範囲は、
登録の対象となる画像が撮影されるときにフォーカスされた位置によって定まることを特徴とする請求項９又は１０に記載の画像処理装置。
【請求項１２】
前記指定範囲は、
登録の対象となる画像のフォーカス距離情報によって定まることを特徴とする請求項９乃至１１の何れかに記載の画像処理装置。
【請求項１３】
前記指定範囲は、
予め設定された画像の中央の部分であることを特徴とする請求項９又は１０に記載の画像処理装置。
【請求項１４】
前記指定範囲は、
ユーザによってその位置、大きさ、形を設定することができることを特徴とする請求項７乃至１１の何れかに記載の画像処理装置。
【請求項１５】
任意名称と任意画像情報とを関連付けて登録する処理と、
この処理により登録された任意名称を検索条件として指示する処理と、
この処理により指示された任意名称と関連付けられて登録されている任意画像情報を用いて、記録媒体に記録されている画像の中から合致する画像を処理する処理と、
を含みコンピュータで画像の検索を実行することを特徴とするプログラム。
【請求項１６】
任意名称と任意画像情報とを関連付けて登録する登録処理と、
画像を取得する取得処理と、
前記登録処理により登録した任意画像情報と前記取得処理により取得した画像とが合致するか否かを判断する処理と、
この処理により合致すると判断された任意画像情報に関連付けて前記登録処理により登録した任意名称と、前記取得処理により取得された画像とを関連付けて記録する処理と、
を含みコンピュータで画像の処理を実行することを特徴とするプログラム。
【請求項１７】
任意名称と任意画像情報とを関連付けて登録するステップと、
このステップにより登録された任意名称を検索条件として指示するステップと、
このステップにより指示された任意名称と関連付けられて登録されている任意画像情報を用いて、記録媒体に記録されている画像の中から合致する画像を検索するステップと、
を含むことを特徴とする画像処理方法。
【請求項１８】
任意名称と任意画像情報とを関連付けて登録する登録ステップと、
画像を取得する取得ステップと、
前記登録ステップにより登録した任意画像情報と前記取得ステップにより取得した画像とが合致するか否かを判断するステップと、
このステップにより合致すると判断された任意画像情報に関連付けて前記登録ステップにより登録した任意名称と、前記取得ステップにより取得された画像とを関連付けて記録するステップと、
を含み、コンピュータを用いて画像の検索を行うことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に係り、詳しくは、予め任意に設定した画像情報からそれに関連する画像を検索することのできる画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来のデジタルカメラにおいて、撮影記録した過去の画像のうちユーザが望む画像を見たい場合には、デジタルカメラのディスプレーにおいて日付、撮影時刻順に表示される複数のサムネイル画像を見ながら、ユーザが逐次探していた。
【０００３】
また、下記特許公開公報には、記録した画像を分類する発明が開示されている。詳しくは、予め分類表を作成しておき、記録時に画像を分類して記憶し、分類毎に再生することにより、記録した画像の中からユーザが望む画像を容易に探すことができるというものである。
【０００４】
【特許文献１】公開特許公報  特開平５−３４４４６０（段落「００３９」および段落「００４６」参照）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来のデジタルカメラにあっては、ユーザはデジタルカメラのディスプレーに日付順、撮影時刻順に表示される複数のサムネイル画像を見ながら逐次探すしかないため、メモリの大容量化に伴う記録画像の増大に伴い、不便になり、時間と手間がかかるという問題点があった。
また、特許文献に記載された発明によれば、画像を分類して記録するので、画像検索の点では便利になったが、分類コードを撮影画像に付与するという作業が大変であり、非常に手間がかかるという問題点があった
【０００６】
そこで本発明は、かかる従来の問題点に鑑みてなされたものであり、繁雑な画像の分類作業を行うことなく、ユーザが望む画像の検索を容易にする画像処理装置、画像処理方法及びそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的達成のため、請求項１記載の発明による画像処理装置は、任意名称と任意画像情報とを関連付けて登録する登録手段と、
前記登録手段により登録された任意名称を検索条件として指示する第１の指示手段と、
前記第１の指示手段により指示された任意名称と関連付けられて登録されている任意画像情報を用いて、記録手段に記録されている画像の中から合致する画像を検索する第１の検索手段と、
を備えることを特徴とする。
また、請求項２に記載されているように、前記第１の検索手段により画像を検索した場合には、
前記第１の検索手段により検索された画像と、前記第１の指示手段により指示された任意名称とを関連付けて記録する関連記録制御手段を備えるようにしてもよい。
【０００８】
請求項３記載の発明による画像処理装置は、任意名称と任意画像情報とを関連付けて登録する登録手段と、
画像を取得する取得手段と、
前記登録手段により登録した任意画像情報と前記取得手段により取得した画像とが合致するか否かを判断する判断手段と、
前記判断手段により合致すると判断された任意画像情報に関連付けて前記登録手段により登録した任意名称と、前記取得手段により取得された画像とを関連付けて記録する関連記録制御手段と、
を備えることを特徴とする。
また、請求項４に記載されているように、被写体を撮像する撮像手段を備えた画像処理装置において、
前記判断手段は、
前記撮像手段による撮影が終了した後に、
前記登録手段により登録した任意画像情報と前記取得手段により取得した画像とが合致するか否かを判断するようにしてもよい。
【０００９】
また、請求項５に記載されているように、前記判断手段は、
前記画像処理装置の電源オフ時に、
前記登録手段により登録した任意画像情報と前記取得手段により取得した画像とが合致するか否かを判断するようにしてもよい。
また、請求項６に記載されているように、前記取得手段は、
記録手段に記録されている画像の中から取得するようにしてもよい。
また、請求項７に記載されているように、前記撮像手段により撮像された画像を記録手段に記録する記録制御手段を備え、
前記取得手段は、
前記撮像手段により撮像された画像であり、かつ、前記記録制御手段によって前記記録手段に記録されていない画像を取得するようにしてもよい。
【００１０】
また、例えば、請求項８に記載されているように、前記登録手段により登録された任意名称を検索条件として指示する第２の指示手段と、
前記第２の指示手段により検索条件として任意名称が指示された場合には、
前記関連記録制御手段により画像に関連付けられて記録された任意名称と、前記第２の指示手段により指示された任意名称とを比較し、一致する画像を検索する第２の検索手段と、
を備えるようにしてもよい。
【００１１】
また、例えば、請求項９に記載されているように、前記任意画像情報は、
登録の対象となる画像の指定範囲内の画像から抽出された情報であるようにしてもよい。
また、請求項１０に記載されているように、前記任意画像情報は、
前記抽出された情報から算出された情報であるようにしてもよい。
また、請求項１１に記載されているように、前記指定範囲は、
登録の対象となる画像が撮影されるときにフォーカスされた位置によって定まるようにしてもよい。
【００１２】
また、請求項１２に記載されているように、前記指定範囲は、
登録の対象となる画像のフォーカス距離情報によって定まるようにしてもよい。
また、請求項１３に記載されているように、前記指定範囲は、
予め設定された画像の中央の部分であるようにしてもよい。
また、請求項１４に記載されているように、前記指定範囲は、
ユーザによってその位置、大きさ、形を設定することができるようにしてもよい。
【００１３】
請求項１５記載の発明によるプログラムは、任意名称と任意画像情報とを関連付けて登録する処理と、
この処理により登録された任意名称を検索条件として指示する処理と、
この処理により指示された任意名称と関連付けられて登録されている任意画像情報を用いて、記録媒体に記録されている画像の中から合致する画像を検索する処理と、
を含みコンピュータで画像の検索を実行することを特徴とする。
請求項１６記載の発明によるプログラムは、任意名称と任意画像情報とを関連付けて登録する登録処理と、
画像を取得する取得処理と、
前記登録処理により登録した任意画像情報と前記取得処理により取得した画像とが合致するか否かを判断する処理と、
この処理により合致すると判断された任意画像情報に関連付けて前記登録処理により登録した任意名称と、前記取得処理により取得された画像とを関連付けて記録する処理と、
を含みコンピュータで画像の処理を実行することを特徴とする。
【００１４】
請求項１７記載の発明による画像処理方法は、任意名称と任意画像情報とを関連付けて登録するステップと、
このステップにより登録された任意名称を検索条件として指示するステップと、
このステップにより指示された任意名称と関連付けられて登録されている任意画像情報を用いて、記録媒体に記録されている画像の中から合致する画像を検索するステップと、
を含むことを特徴とする。
請求項１８記載の発明による画像処理方法は、任意名称と任意画像情報とを関連付けて登録する登録ステップと、
画像を取得する取得ステップと、
前記登録ステップにより登録した任意画像情報と前記取得ステップにより取得した画像とが合致するか否かを判断するステップと、
このステップにより合致すると判断された任意画像情報に関連付けて前記登録ステップにより登録した任意名称と、前記取得ステップにより取得された画像とを関連付けて記録するステップと、
を含み、コンピュータを用いて画像の検索を行うことを特徴とする。
【発明の効果】
【００１５】
請求項１記載の発明による画像処理装置によれば、ユーザが検索したいポイントとなる画像情報とユーザが入力した名前を任意画像情報及び任意名称として関連付けて登録し、検索情報として入力された任意名称に対応する任意画像情報を用いて撮影画像をすべて検索するので、画像の撮影終了毎に撮影画像の名前、撮影場所等のキーワード等をいちいち入力しなくても容易にユーザが所望する画像を検索することができる。
また、静止画ファイル毎にキーワード等を入力しなくてすむので、ユーザの手間、労力を大幅に軽減することができる。
請求項２記載の発明による画像処理装置によれば、検索された画像は、検索情報として入力された任意名称と関連付けて記録し、２度目以降の検索は、任意画像情報を用いて再び検索することはないので、迅速に所望の画像を検索することができる。
また、ユーザが画像毎に分類作業を行わなくても自動的に検索した画像は分類されるので、手間と労力を大幅に軽減することができる。
【００１６】
請求項３記載の発明による画像処理装置によれば、ユーザが画像毎に分類作業を行わなくても、画像認識情報を用いて画像を検索し、検索した画像を自動的に分類してくれるので、ユーザの手間と労力を大幅に軽減することができる。
請求項４記載の発明による画像処理装置によれば、撮影終了後に画像を自動的に分類してくれるので、ユーザの手間と労力を大幅に軽減することができる。
請求項５記載の発明による画像処理装置によれば、画像処理装置の電源をＯＦＦしたときに画像を自動的に分類するので、ユーザの手間と労力を大幅に軽減することができる。
【００１７】
請求項６記載の発明による画像処理装置によれば、記録手段に記録した画像を自動的に分類してくれるので、ユーザの手間と労力を大幅に軽減することができる。
請求項７記載の発明による画像処理装置によれば、撮像手段により撮像された画像であり、かつ、記録手段に記録されていない画像を撮影毎に自動的に分類してくれるので、ユーザの手間と労力を大幅に軽減することができる。
請求項８記載の発明による画像処理装置によれば、任意画像情報を用いて画像を検索せずに、検索条件として指示された任意名称と一致する認識名称と関連付けられた画像を検索するので、迅速に所望の画像を検索することができる。
【００１８】
請求項９記載の発明による画像処理装置によれば、任意画像情報は、撮影画像の指定範囲内の画像から抽出された情報なので、ユーザが検索したいポイントとなる画像情報のみを設定することができる。
請求項１０記載の発明による画像処理装置によれば、任意画像情報は、抽出された情報からさらに算出した情報なので、画像処理が楽になり、処理速度が速くなり、かつ、メモリの容量が
少なくなる。
請求項１１記載の発明による画像処理装置によれば、指定範囲は、フォーカスを行った位置、または、その位置の周りの範囲なので、焦点を合わせる位置、つまり、ユーザのもっとも撮影したいメインとなる画像情報、被写体だけを指定範囲の画像とすることができる。
また、指定範囲は、フォーカスを行った位置によって自動的に定められるのでユーザの手間と労力を省くことができる。
請求項１２記載の発明による画像処理装置によれば、指定範囲は、フォーカス距離情報、または、フォーカス距離情報及びフォーカスを行った位置によって定められるので、メインとなる画像情報、被写体を指定範囲内におさめることができる。
また、指定範囲は自動的に定められるので、ユーザの手間と労力を省くことができる。
【００１９】
請求項１３記載の発明によれば、予め定められた画面の中央の部分が指定範囲となるので、フォーカスを行った位置、フォーカス距離情報などを用いなくても、メインとなる画像情報、被写体だけを指定範囲の画像とすることができる。
また、どの撮影した画像に対しても一義的に定めることができ、指定範囲を定める処理速度が速くなり、かつ、ユーザの手間と労力を省くことができる。
請求項１４記載の発明による画像処理装置によれば、指定範囲の位置、大きさ、形をユーザが調整することができるので、ユーザが真に任意画像情報として登録したい部分の画像だけを設定することができる。
【００２０】
請求項１５又は１６記載の発明によるプログラムによれば、既存のデジタルカメラ、パソコン等を用いることにより、本発明の画像検索を行うことができる。
請求項１７又は請求項１８記載の発明による画像処理方法によれば、既存のデジタルカメラ、パソコン等を用いることにより、本発明の画像検索を行うことができる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の実施の形態を、デジタルカメラに適用した一例として図面を参照して説明する。
【００２２】
[実施の形態]
Ａ．デジタルカメラ１の概略構成について
図１は、デジタルカメラ１の概略構成を示すブロック図である。図１のデジタルカメラ１は、レンズ２、ＣＣＤ３、ユニット回路４、ＴＧ（timing Generator）５、ＣＰＵ６、ＤＲＡＭ７、ＲＯＭ８、ＲＡＭ９、画像表示部１０、キー入力部１１、カードＩ／Ｆ１２、モータ駆動ブロック１４を備えており、カードＩ／Ｆ１２には、図示しないカメラ本体のカードスロットに着脱自在に装着されたメモリ・カード１３が接続されている。
【００２３】
レンズ２は図示しないフォーカスレンズ及びズームレンズから構成されているものである。また、モータ駆動ブロック１４はフォーカスレンズ、ズームレンズを光軸方向に駆動するフォーカスモータ及びズームモータと、ＣＰＵ６から送られる制御信号に従いフォーカスモータ及びズームモータをそれぞれ駆動するモータドライバとから構成されている（図示略）。
【００２４】
ＣＣＤ３はレンズ２を介して投影された被写体を光電変換し撮像信号としてユニット回路４に出力する。
また、ＣＣＤ３は、ＴＧ５によって生成された所定周波数のタイミング信号によって駆動される。ＴＧ５にはユニット回路４が接続されている。ユニット回路４は、ＣＣＤ３から出力される撮像信号を相関二重サンプリングして保持するＣＤＳ（Correlated Double Sampling）回路、その撮像信号を増幅するゲイン調整アンプ（ＡＧＣ）、増幅後の撮像信号をデジタル信号に変換するＡ／Ｄ変換器（ＡＤ）等から構成されており、ＣＣＤ３の出力信号はユニット回路４を経てデジタル信号としてＣＰＵ６に送られる。
【００２５】
画像表示部１０はカラーＬＣＤとその駆動回路とを含み、撮影待機状態にあるときにはＣＣＤ３によって撮像された被写体画像をスルー画像として表示し、記録画像の再生時には保存用メモリ・カード１３から読み出され伸張された記録画像（静止画又は動画）を表示する。キー入力部１１はシャッターボタン（全押し、半押し）、実行キー、キャンセルキー、電源キー、ＭＥＮＵキー、「↑」、「↓」、「→」、「←」ボタン等の複数の操作キーを含み、ユーザによるキー操作に応じたキー入力信号をＣＰＵ６に出力する。
【００２６】
ＤＲＡＭ７はＣＣＤ３により撮像された後、デジタル化された被写体の画像データを一時記憶するバッファメモリとして使用されるとともに、ＣＰＵ６のワーキングメモリとしても使用される。
ＲＯＭ８、ＲＡＭ９にはＣＰＵ６による各部の制御に必要な制御プログラム及び必要なデータが格納されている。
【００２７】
ＡＦ処理においては、ユーザがキー入力部１１のシャッターボタンを操作すると、それに応じたキー入力信号をＣＰＵ６に出力する。そして、ＣＰＵ６はその信号を受け取ると、モータ駆動ブロック１４に制御信号を送り、モータ駆動ブロック１４はその制御信号に従って、フォーカスレンズを可動範囲内でレンズ端からレンズ端まで動かす。
ＣＣＤ３はレンズ２を介して投影された被写体を光電変換し撮像信号としてユニット回路４に出力し、ユニット回路４はＣＰＵ６にデジタル信号を送る。そして、ＣＰＵ６はユニット回路４から送られてくるデジタル信号に含まれる高周波成分を抽出し、その高周波成分を解釈して、モータ駆動ブロック１４に制御信号を送る。そして、モータ駆動ブロック１４はその制御信号に従い、フォーカスレンズを動かす。
【００２８】
以下、本実施の形態におけるデジタルカメラ１の特徴となるそれぞれの構成の機能について説明する。
Ｂ．静止画撮影について
静止画撮影とは、ユーザが撮影したい画像をメモリ・カード１３に記録することである。メモリ・カード１３には撮影した画像が静止画ファイルとして記録される。
ＣＰＵ６は、レンズ２（フォーカスレンズ、ズームレンズ）を介して撮像されＤＲＡＭ１０に記憶されている画像データに基づき静止画ファイルを生成し、メモリ・カード１３に記録するとともに、フォーカス位置、フォーカス距離の情報、撮影時刻等も付随するデータとして一緒に記録する。この機能は、本発明の記録制御手段に相当する。
【００２９】
フォーカス位置とは、画像内において焦点（ピント）を合わせた任意の位置であり、静止画撮影時にユーザがピントを合わせる位置として撮影前に手動操作により指定した位置、若しくは所定の条件（一番手前の被写体等）に基づきピントを合わせる位置として自動的に決定された位置である。フォーカス距離とは、撮影時のフォーカスレンズの位置によって定められる。
なお、位相差方式の場合は、測距センサの出力からフォーカス距離を得ることになり、アクティブ方式の場合には、それによって得られた距離をそのままフォーカス距離として採用する。アクティブ方式とは、音波や赤外線などを発光して、その反射を受け取るまでの時間により、被写体までの距離を測ることをいう。
【００３０】
Ｃ．画像認識情報の登録について
画像認識情報の登録では、画像を検索するためのポイントとなる画像を抽出し、この抽出された画像の対象物を認識して、それぞれの対象物の位置、及び位置関係等を数値化し、この数値データを画像認識情報として登録するものである。
ユーザは、画像認識情報として登録したい画像を含む撮影画像をキー入力部１１の操作によりメモリ・カード１３に記録されている画像の中から特定する。
そして、ＣＰＵ６は、キー入力部１１から出力される入力信号に従って、メモリ・カード１３に記録されている静止画ファイルの撮影画像を特定し、画像表示部１０に表示させる。このとき、ＣＰＵ６は特定した静止画ファイルの付随するデータに記録されているフォーカス位置情報、フォーカス距離情報に基づいて、認識指定範囲枠というものを表示させる。
なお、ＣＰＵ６は、キー入力部１１による入力信号がある場合には、入力信号に従って認識指定範囲の枠を調整する。
【００３１】
そして、ＣＰＵ６は、認識指定範囲枠内の画像を抽出し、この画像に映し出されている対象物をそれぞれ認識し、それぞれの対象物の位置及び位置関係等を数値化し、数値データを算出する。
そして、この算出された数値データを画像認識情報として登録する。このとき、ユーザがキー入力部１１を操作し、名前（名称、分類名、タイトル名）を入力する。ＣＰＵ６は、この入力された名前を認識名称として画像認識情報と関連付けてＲＡＭ９に登録する。この機能は、本発明の登録手段に相当する。
【００３２】
Ｄ．画像検索について
画像検索とは、ユーザが検索したい画像を上記した画像認識登録情報に基づいて、メモリ・カード１３に記録されている静止画ファイル（動画ファイルでもよい）の中から検索することである。
ユーザのキー入力部１１の操作により、検索情報が入力されると、ＣＰＵ６は、入力された検索情報が登録された認識名称と同一であるか否かを判断し、同一であると判断すると認識名称が検索情報として入力されたことを認識し、ＲＡＭ８、ＲＯＭ９から次の動作のプログラムを読み出す。この機能は、第１の指示手段に相当する。
そして、ＣＰＵ６は認識名称が検索情報として入力されたことを認識すると、ＣＰＵ６は、ＲＯＭ８、ＲＡＭ９に記録されているプログラムに従って、認識名称に関連付けられてＲＡＭ９上に記録されている画像認識登録情報を含む画像をメモリ・カード１３に記録されている静止画ファイルの中から検索する。この機能は、第１の検索手段に相当する。
このとき、ＣＰＵ６の検索の方法としては、メモリ・カード１３に記録されている１つの静止画ファイルを特定し、特定された静止画ファイルの撮影画像を部分的に抽出し、この抽出した画像を認識し、その画像に映し出されているそれぞれの対象物の位置関係等を数値化し数値データを算出する。そして画像認識登録情報の数値データと算出された数値データとを比較し、検索対象の画像であるか否かを判断する。この動作を、メモリ・カード１３に記録されているすべての静止画ファイルに対して行う。
【００３３】
Ｅ．その他
画像を検索した場合には、ＣＰＵ６は、検索した画像と、この画像を検索した画像認識登録情報に関連付けられて登録されている認識名称と同一または関連する名前と、を関連付けて記録する。具体的には、検索した画像の静止画ファイルの付随するデータに、この認識名称と同一または関連する名前を記録する。この機能は、本発明の関連記録制御手段に相当する。
【００３４】
以上の構成からなるデジタルカメラ１における動作を説明する。
Ｆ．静止画撮影モードについて
図２は静止画撮影モードの動作を示すフローチャートである。
ユーザによってキー入力部１１の操作がされ、静止画撮影モードに設定されると、ステップＳ１で、ＣＣＤ３による撮影を開始して被写体のスルー画像を画像表示部１０に表示させる。
次いで、ステップＳ２に進み、シャッターボタンが半押しされたか否かを判別し、シャッターボタンが半押しされた場合には、ステップＳ３に進みＡＦ処理を行う。一方、シャッターボタンが半押しされていない場合には、ステップＳ２に留まりスルー画像の表示を継続する。
【００３５】
ステップＳ３のＡＦ処理においては、コントラスト検出方式を行うようにしてもよいし、アクティブ方式、位相差方式を行うようにしてもよい。ここでコントラスト検出方式とは、フォーカスレンズを端から端まで動かし、そのときのＣＣＤのコントラストを電気信号に変換し、その波形を解釈して、つまり、高周波成分が最も大きくなるレンズの位置にレンズを合わせてピントを合わせるというものであり、アクティブ方式とは、音波や赤外線などを発光して、その反射を受け取るまでの時間により、被写体までの距離を測ることをいい、位相差式とは、輝度信号の横ずれから、三角測量によって被写体までの距離を測ることをいう。なお、ＡＦ処理を手動よって行うようにしてもよい。
本実施の形態でのデジタルカメラ１はコントラスト検出方式を採用する。
また、ＣＰＵ６は、フォーカスを行ったときに、画像のどの位置に対してフォーカスを行ったかを示す位置情報と、距離情報とをＤＲＡＭ７に記憶する。この距離情報は、フォーカスレンズの位置によって算出される。
【００３６】
次いでステップＳ４に進み、オートフォーカスをしたフォーカスレンズを介して、ＣＣＤ３により撮像された画像をスルー画像として表示させる。
次いで、ステップＳ５に進み、シャッターボタンが全押しされたか否かを判別し、全押しされた場合にはステップＳ６に進み静止画撮影処理を行う。ここで、ＣＣＤ３に比較的長い出力撮像タイミングで１画面中の偶数ラインの画素信号と、奇数ラインの画素信号とを順に出力し、全面素分のデータをバッファメモリ（ＤＲＡＭ７）に取り込み、取り込んだ画像データを圧縮する処理を開始する。そして、ステップＳ７でそれが完了と判断したら、ステップＳ８に進み、圧縮した画像データ及び付随するデータに基づき、図３に示すような静止画ファイルを生成し、メモリ・カード１３に記録する。
【００３７】
ここで、付随するデータとは、オートフォーカスを行ったフォーカス位置情報、フォーカス距離情報、撮影時刻（日付、時刻）等であり、いずれもシャッターが全押しされたときのものを記録する、また、サムネイル画像も一緒に記録される。
なお、メモリ・カード１３に静止画ファイルを記録するときに、ユーザのキー入力部１１の操作によって撮影した場所、撮影の対象物、グループ名、イベント名等、例えば、「伊豆」、「湘南」、「花」、「動物」、「テニスサークル」、「バーベキュー」等のタイトル名が入力された場合には、この入力されたタイトル名を付随するデータとして一緒に記録するようにしてもよい。
ステップＳ７で静止画撮影処理が完了していないと判断した場合には、完了するまでステップＳ７に留まる。
一方、ステップＳ５でシャッターが全押しされていない場合には、ステップＳ５に留まり、スルー画像の表示を継続する。
このようにして、本実施の形態におけるデジタルカメラ１によって静止画撮影は行われる。
【００３８】
Ｇ．画像認識登録モードについて
図４は画像認識登録モードの動作を示すフローチャートである。
図５は、選択された撮影画像及びこの画像の認識指定範囲枠を示す図である。
図６は、認識指定範囲枠の大きさとフォーカス距離情報のとの関係を示した図である。
【００３９】
まず、ユーザによってキー入力部１１が操作され画像認識登録モードに設定されると、図４のステップＳ１１で、撮影時刻が一番新しい撮影画像が画像表示部１０に表示される。そして、ユーザがキー入力部１１を操作することにより、次に撮影時刻が新しい撮影画像が画像表示部１０に表示される。このようにして、ユーザがキー入力部１１を操作する度に、画像表示部１０に表示される画像が切り替わる。つまり、ステップＳ１１では、撮影画像が画像表示部１０にスクロール表示される。
このようにして、ユーザはキー入力部１１の操作により画像認識情報として登録したい画像を探していく。
なお、撮影画像のサムネイル画像を画像表示部１０に所定枚数ごとに一覧表示させるようにしてもよい。また、撮影画像を表示させないで、キーワード、例えば、「伊豆」、「バーベキュー」、「撮影を行った日付、時刻等の撮影時刻」等を入力することにより、入力したキーワードと付随するデータに記録されたキーワードとを比較することで、入力したキーワードに対応する撮影画像を表示させるようにしてもよい。
【００４０】
そして、ステップＳ１２に進み、ユーザによって撮影画像の選択があったか否かを判別し、画像の選択があった場合はステップＳ１３に進む。一方、画像の選択がない場合には選択があるまでステップＳ１２に留まる。ここで撮影画像の選択とは、上述した静止画撮影モードで撮影され、メモリ・カード１３に記録された静止画像の中から、ユーザが画像認識登録をしたい画像を選択することである。この選択はユーザがキー入力部１１を操作することにより、所望の画像を選択することができる。
【００４１】
具体的には、ステップＳ１１の撮影画像の表示で、ユーザがキー入力部１１を操作することにより、画像表示部１０に表示される画像を順次切り替えていき、画像認識情報として登録したい画像を探していく。そして、登録したい画像が画像表示部１０に表示されたときに、キー入力部１１の実行キーを押す。
そして、実行キーが押された場合は、ステップＳ１２で撮影画像の選択があると判断する。
なお、ステップＳ１１でサムネイル画像の一覧表示がされている場合は、ユーザのキー入力部１１の操作により、画像認識情報として登録したい画像のサムネイル画像にカーソルを合わし実行キーを押すことにより、撮影画像の選択を行うことができる。
【００４２】
次いで、ステップＳ１３に進むと、選択された撮影画像に認識指定範囲枠というものが画像表示部１０に表示される。
なお、ステップＳ１１でサムネイル画像の一覧表示をさせて、ステップＳ１２で画像認識情報として登録したい画像のサムネイル画像を選択した場合には、ステップＳ１３で、選択されたサムネイル画像に対応する撮影画像と共に認識指定範囲枠が表示される。
この認識指定範囲枠内にある画像の数値データが画像認識情報として登録され、この数値データを用いて画像を検索するので、撮影終了後に（静止画ファイル毎に）ユーザがいちいちキーワードを入力しなくても、または、キーワードを入力する量が減るので、ユーザの負担、労力を軽減することが可能となる。画像検索については、後で説明する。
具体的には、図５に示すように選択された撮影画像が表示される。図５の画像２０は選択された撮影画像を示すものであり、枠３０は認識指定範囲枠を示すものである。
【００４３】
また、この認識指定範囲枠の撮影画像における位置、大きさは、付随するデータに基づいて定められる。
具体的にいうと、認識指定範囲枠の位置は、メモリ・カード１３に記録された付随するデータのフォーカス位置情報に基づいて認識指定範囲枠の位置を定める。つまり、撮影時にフォーカスを行った位置がこの認識指定範囲枠の中心となる。
また、認識指定範囲枠の大きさは、メモリ・カード１３に記録された静止画ファイルの付随するデータのフォーカス距離情報に基づいて認識指定範囲枠の大きさを定める。つまり、撮影時のフォーカスレンズの位置によって認識指定範囲枠の大きさが定まる。
【００４４】
図６を見ると明らかなように、フォーカス距離情報が大きくなるにつれて、認識指定範囲枠の大きさは小さくなり、距離情報が小さくなるにつれて、認識指定範囲枠は大きくなる。また、ここでは認識指定範囲枠は四角形としているが、円形、楕円形等の形状でもよい。
なお、フォーカス位置情報及び距離情報に基づいて認識指定範囲枠を定めているが、フォーカス位置情報のみによって、認識指定範囲枠を定めてもよい。つまり、フォーカスを行った位置の画像のみ、又はその周辺の画像を認識することとなる。
また、フォーカス距離情報のみによって、認識指定範囲枠を定めるようにしてもよい。この場合は、一義的に予め定められた位置が認識指定範囲枠の中心となり、認識指定範囲枠の大きさは、フォーカス距離情報によって定められることとなる。
さらに、フォーカス位置情報、フォーカス距離情報にかかわらず、予め決められた画像内の所定位置（例えば中央部分）に所定の大きさで認識指定範囲枠が表示されるようにしても良い。この場合には、一義的に認識指定範囲枠は定められることとなる。
【００４５】
ユーザは画像表示部１０に表示された撮影画像と共に表わされている認識指定範囲枠の位置、大きさ、形などが好かったら、キー入力部１１の実行キーを押す。
次いで、ステップＳ１４に進み、ユーザがこの認識指定範囲枠でＯＫとの実行キーを押したか否かを判断し、ＯＫと判断した場合はステップＳ１７に進む。
一方、ステップＳ１４でＯＫでないと判断した場合（ユーザが実行キーを押していない場合）には、ステップＳ１５に進む。
ステップＳ１５に進むと、ユーザによって認識指定範囲枠の調整操作があるか否かを判断する。この調整操作があるか否かの判断は、ＣＰＵ６がキー入力部１１からの入力信号があるか否かを判断する。調整操作があった場合にはステップＳ１６に進む。一方、調整操作がない場合にはステップＳ１４に戻り、上記した動作を繰り返す。
【００４６】
ステップＳ１６に進むと、認識指定範囲枠の微調整を行う。この微調整はユーザがキー入力部１１を操作することにより、ＣＰＵ６がその操作信号を認識して、その信号に対応した認識指定範囲枠の位置、大きさ、形の微調整を行う。
次いで、ステップＳ１６で認識指定範囲枠の微調整を行うとステップＳ１４に戻り、この認識指定範囲枠でＯＫか否か（実行キーが押されたか否か）を判断し、ＯＫでないと判断すると上記した動作を繰り返す。
なお、ここでは、ステップＳ１４で実行キーを押すと（表示された認識指定範囲枠でＯＫ）、ステップ１７に進み、名前の入力を行うようにしたが、ステップＳ１２でユーザによって撮影画像の選択があった場合には、直にステップＳ１７に進むようにしてもよい。もともと、ユーザはメインとなる被写体に焦点を合わせることから、フォーカス位置情報等により、認識指定範囲枠を自動的に定めてもよく、これにより、ユーザの手間を軽減することが可能となる。
【００４７】
ステップＳ１４で「ＯＫ」と判断すると、ステップＳ１７に進み、ユーザはキー入力部１１の操作により認識指定範囲枠内の画像の名前を入力する。
ここで、名前の入力方法としては、キー入力部１１のＭＥＮＵキーを押すことにより、平仮名、英文字、数字等の入力する文字のモードが切り替わる。また、「↓」ボタンを操作していくと、例えば、平仮名モードの場合は、「あ、い、う、・・・・、を、ん」、英文字モードの場合は、「Ａ、Ｂ、Ｃ、・・・、Ｙ、Ｚ、ａ、ｂ、・・・、ｙ、ｚ」というように文字が順次切り替わり、これとは逆に「↑」ボタンを押すと「↓」ボタンの操作とは逆の順番で文字が順次切り替わる。
【００４８】
また、「→」ボタンを操作すると、入力する文字のスペースが右に移り、これとは逆に「←」ボタンを操作すると、入力する文字のスペースが左に移る。また、シャッターボタンを押すと、文字の変換を行う。例えば、「まりこ」と入力し、シャッターボタンを押していくと、「麻利子」、「満里子」、「真理子」と切り替わり、「ＭＡＲＩＫＯ」と入力し、シャッターボタンを押していくと、「Ｍａｒｉｋｏ」、「ｍａｒｉｋｏ」と切り替わる。そして、ユーザが名前を入力し、実行キーを押すことにより名前の入力が終了する。
ここでは、ユーザが名前を「真理子」と入力し、実行キーを押したとものとする。
なお、パソコンとデジタルカメラ１を通信でつなぐことにより、パソコンで名前の入力を行うようにしてもよいし、デジタルカメラ１とキーボードをつなぐことにより、キーボードで名前の入力を行うようにしてもよい。これにより、簡易に名前の入力を行うことが可能となる。
【００４９】
名前の入力が終わると（実行キーが押されると）、ステップＳ１８に進み、認識指定範囲枠内の画像を画像認識情報として、入力された名前を認識名称として登録し、メモリ・カード１３又はＲＡＭ９に記録する。以下、この登録された画像認識情報を画像認識登録情報といい、登録した名前を、認識名称という。
このとき、画像認識登録情報と認識名称とは関連付けて登録される。
このようにして、画像認識情報及び認識名称は登録される。また、画像認識登録情報及び認識名称は１つに限らず、ユーザが登録したいと思う画像があれば、幾つでも画像認識情報及び認識名称も登録することができる。
【００５０】
ここで、認識指定範囲枠内の画像を画像認識情報として登録するときには、認識指定範囲枠内の画像から輪郭抽出によって得られたデータを記録する。この輪郭抽出は、登録の対象物が何であるかを認識する。例えば、人の顔であれば、肌の色、髪の毛の色を認識し、目の位置、鼻の位置、口の位置を認識し、それらの位置関係を数値化して数値データを算出することである。なお、この方法は、既に著名な方法が複数あるので、ここでは詳細に説明しない。
なお、指定範囲枠の画像を認識せずに、画像データの形態で記録するようにしてもよい。
【００５１】
Ｈ．画像検索モードについて
図７、８は画像検索モードの動作を示すフローチャートである。
画像検索モードとは、付随するデータに記録されたキーワード及び登録された画像認識登録情報に基づいて、所望の画像を検索することである。なお、本実施の形態のデジタルカメラ１においては、ユーザが静止画ファイル毎にキーワードをいちいち記録しなくても、画像認識登録情報に基づいて画像の検索を行うことができるので、キーワードをユーザがいちいち静止画ファイル毎に入力しなくてもすみ、ユーザの手間と労力を軽減することが可能となる。
ユーザのキー入力部１１の操作によって、画像検索モードに設定されると、ステップＳ２１で、ユーザにより検索情報の入力がされたか否かを判断する。
この検索情報の入力方法は、認識名称を入力するときの要領で行う。つまり、ＭＥＮＵキーを操作して文字モードを選択し、「↓」、「↑」ボタン等の操作により文字を入力する。そして、ユーザは検索情報の入力が終わると実行キーを押す。
【００５２】
検索情報とは、認識名称及びキーワードがある。
キーワードとは、上述したように、静止画ファイルの中の付随するデータの中に記録されている、撮影と共に自動的に記録された撮影時刻、ユーザによって入力された撮影場所、グループ名、イベント名、例えば、「２００３年２月１０日１３時２０分」、「８月」、「夏」、「伊豆」、「湘南」、「バーベキュー」等のタイトル名であり、認識名称とは、画像認識情報を登録するときに関連付けられて登録された名前である。ここでは、ユーザが検索情報として、例えば、「８月、真理子」と入力したものとする。そして、ユーザは入力した検索情報でよいと判断したら実行キーを押す。なお、検索情報は複数入力することが可能である。
【００５３】
ステップＳ２１で検索情報の入力があると（実行キーが押されたと）判断すると、ステップＳ２２に進み検索を開始する。
一方、ステップＳ２１で検索情報の入力がないと判断した場合には、ステップＳ２１に留まる。
【００５４】
次いで、ステップＳ２２に進むと、入力された検索情報とメモリ・カード１３に記録されているすべての静止画ファイルの付随するデータとを比較する。
具体的には、例えば、検索情報として入力された「８月」、「真理子」と静止画ファイルの付随するデータとを比較し、ステップＳ２３で一致するかどうかを判断する。このとき、一致の判断としては、「８月」、「真理子」の何れかを含めば一致と判断する。ここでは、「８月」で一致したものとする。この比較、一致の判断は、メモリ・カード１３に記録されているすべての静止画ファイルの付随するデータに対して行う。
【００５５】
ステップＳ２３で、検索情報と一致する付随するデータがあると判断した場合は、ステップＳ２４に進み、一致すると判断した付随するデータに対応する静止画ファイルの名前をＤＲＡＭ７の記憶領域Ａに記憶する。そして、ステップＳ２５に進む。
一方、ステップＳ２３で、検索情報と一致する付随するデータがないと判断した場合は、そのままステップＳ２５に進む。
ステップＳ２５に進んで、入力された検索情報と認識名称とを比較する。つまり、「８月」、「真理子」と登録されている認識名称とを比較する。
次いで、ステップＳ２６に進んで、入力された検索情報と認識名称とが一致するか否かを判断する。この場合も、入力された検索情報の何れかと一致すれば一致すると判断する。ここでは、「真理子」は認識名称として登録され、検索情報として「真理子」と入力されているので、「真理子」で一致する。したがって、ステップＳ２６では、一致すると判断し、図８のステップ３１に進む。
一方、ステップＳ２６で一致していないと判断した場合は、ステップＳ２７に進む。
【００５６】
ステップＳ２６で、入力された検索情報と認識名称とが一致していると判断すると、図８のステップＳ３１に進み、記憶領域Ａに記憶されている名前に対応する静止画ファイルを特定する静止画ファイルの対象から除外する。
次いで、ステップＳ３２に進み、除外された静止画ファイル以外のメモリ・カード１３に記録されている静止画ファイルの中から１つの静止画ファイルを特定する。例えば、図９に示す撮影画像を含む静止画ファイルを特定したとする。
次いで、ステップＳ３３に進み、特定した静止画ファイルの撮影画像を取得してステップＳ３４に進む。
ステップＳ３４に進むと取得した撮影画像の中から部分的に画像を抽出する。例えば、図９でいうと、四角く囲まれた画像４０が抽出される画像である。
【００５７】
次いで、ステップＳ３５に進むと、抽出した画像から上述したように、輪郭抽出を行い、数値データを算出する。
ステップＳ３６に進んで、算出された数値データと、入力された検索情報の中で一致すると判断された認識名称に関連付けられて登録されている画像認識登録情報の数値データとを比較する。つまり、認識名称「真理子」に関連付けられて登録されている画像認識登録情報の数値データと算出された数値データとを比較する。
なお、画像認識登録情報を認識指定範囲枠の画像の形態で記録している場合には、取得した撮影画像の抽出部分の画像の形態と画像認識登録情報の形態とを比較することになる。
【００５８】
次いで、ステップＳ３７に進み、一致するか否かを判断する。一致すると判断すると、ステップＳ３９に進み、一致していないと判断すると、ステップＳ３８に進む。
認識名称として、「真理子」と入力し、取得した撮影画像も「真理子」を含む画像（図９の撮影画像）ではあるが、画像認識登録情報の数値データと算出した数値データは異なる（図５の画像３０を参照）のでここでは、一致ではないと判断される。
ここで、画像認識登録情報の数値データ及び算出された数値データは、人の顔であれば、肌の色、髪の毛の色を認識し、目の位置、鼻の位置、口の位置を認識し、それらの位置関係を数値化して算出するので、認識指定範囲枠内の画像に映し出されている被写体の大きさと、撮影画像から部分的に抽出された画像に映し出されている被写体の大きさとが異なったものでも、被写体が同一（認識指定範囲枠内の画像に写し出されている対象物と、部分的に抽出した画像に映し出されている対象物が同一）であれば一致すると判断される。
つまり、「真理子」の顔を画像認識情報として登録しておけば、撮影画像に移っている真理子の大きさにかかわらず、真理子が写っている撮影画像をすべて検索することが可能となる。
【００５９】
ステップＳ３７で一致していないと判断されると、ステップＳ３８に進み、取得した撮影画像のすべての部分と比較したか否かを判断する。すべての部分と比較していないと判断するとステップＳ３４に戻り、撮影画像の中から比較していない部分の画像を抽出して、上記した動作を繰り返す。これにより、撮影画像のすべての部分に対して比較を行うので、結果的に図９の撮影画像は、「真理子」の画像であると判断される。
【００６０】
ここで、画像認識登録情報に基づいて、画像認識登録情報を用いて画像を検索するので、撮影終了毎（静止画ファイル毎）にユーザがいちいちキーワードを入力しなくても、所望の画像を検索することが可能となる。
一方、ステップＳ３８ですべての撮影画像のすべての部分と比較したと判断した場合は、ステップＳ４０に進む。
【００６１】
なお、取得した撮影画像と画像認識情報とを比較する場合においては、取得した撮影画像に対応する付随するデータに記録されているフォーカス位置情報及びフォーカス距離情報に基づいて画像を抽出する範囲を特定し、この特定された画像から算出した数値データのみと画像認識登録情報とを比較するようにしてもよい。
また、フォーカス位置情報のみ、又は、フォーカス距離情報のみに基づいて抽出した画像、あるいは予め定められた中央の部分の画像のみを抽出し、この部分の画像の数値データのみと画像認識登録情報とを比較するようにしてもよい。つまり、それ以外の部分の撮影画像とは比較しないこととなる。これにより迅速に画像検索を行うことが可能となる。
【００６２】
さらに、取得した撮影画像のすべての部分に対して、画像認識登録情報と比較する場合には、フォーカス位置情報及びフォーカス距離情報等（フォーカス位置情報のみ等）に基づいて、撮影画像の中から部分的に抽出し、一致していない場合だけ、他の部分に対しても比較するようにしてもよい。
【００６３】
ステップＳ３７で一致すると判断した場合はステップＳ３９に進み、一致すると判断された静止画ファイル名をＤＲＡＭ７の記憶領域Ａに記憶する。次いで、ステップＳ４０に進む。
ステップＳ３９に進むと、メモリ・カード１３に記録してある静止画ファイルの中で特定されていない静止画ファイルがあるか否かを判断し（ただし、ステップＳ３１で除外された静止画ファイルは判断の対象に含まれない）、あると判断した場合は、ステップＳ３２に戻り、特定していない静止画ファイルを特定し、上記した動作を繰り返す。
一方、特定していない静止画ファイルはないと判断すると、図７のステップＳ２７に進む。
【００６４】
次いで、図７のステップＳ２７に進んで、検索した画像があるか否か、つまり、ＤＲＡＭ７の記憶領域Ａに静止画ファイル名が記憶されているか否かを判断し、記憶されている場合には、ステップＳ２８に進み、記憶されている静止画ファイル名に対応する撮影画像を画像表示部１０に表示させる。つまり、検索条件にヒットした撮影画像を画像表示部１０に表示する。
ここで、検索画像が複数ある場合には、検索された撮影画像の中で一番撮影時刻が新しいものを画像表示部１０に表示させ、ユーザがキー入力部１１を操作することにより、表示させる画像が切り替わるようにスクロール表示させてもよいし、検索条件にヒットした画像のサムネイル画像を一覧表示させるようにしてもよい。
【００６５】
一方、ステップＳ２７で検索画像がないと判断した場合、つまり、ＤＲＡＭ７の記憶領域Ａに静止画ファイル名が記憶されていないと判断した場合は、ステップＳ２１に戻り、新たな検索情報の入力があるか否かを判断する。ここで、検索情報にヒットした画像がない場合には、画像表示部１０に、「検索情報にヒットする画像はありません。」などの表示を行うようにしてもよい。
なお、ここでは、複数入力された検索情報のうち１つでも該当する撮影画像を検索結果として画像表示部１０に表示させるようにしたが、入力された検索情報のすべてに該当する撮影画像を検索結果として画像表示部１０に表示させるようにしてもよい。これにより、的確にユーザが所望する撮影画像のみを検索することも可能となる。
つまり、「８月」、「真理子」という検索情報のすべてを含む静止画ファイルのみが画像表示部１０に表示されることになる。
【００６６】
以上のように、第1の実施の形態においては、撮影した画像（例えば、真理子の写真）の一部分（真理子の顔の部分）の画像を画像認識情報として数値化して登録するので、この一部分の画像（真理子の顔）を含む撮影画像をすべて検索することができる。つまり、真理子の顔を画像認識登録情報として登録しておけば、真理子が写っている撮影画像がすべて検索することができる。また、ポイントとなる画像を画像認識情報として登録すればよいので、撮影した画像毎にキーワードを入力する必要もなく、手間もかからない。
また、画像認識情報は認識指定範囲枠に基づいて定められるので、ユーザが検索したいポイントとなる画像のみを設定することができる。
【００６７】
さらに、認識指定範囲枠は、撮影画像のフォーカス位置、フォーカス距離によって一律に定められるので、手間をかけることなく、画像認識情報を登録することができる。また、認識指定範囲枠をユーザが調整することができるので、真に画像認識情報として登録したい部分のみを設定することができる。
さらに、認識指定範囲枠の調整を行うことができないように設定すれば、登録したい撮影画像を選択するだけで、画像認識情報を登録することができる。
【００６８】
なお、認識名称で撮影画像を検索した場合には、検索した撮影画像と認識名称とを関連付けて記録するようにしてもよい。具体的には、検索した撮影画像の付随するデータに該検索情報となった認識名称と同一または関連する名前を記録するようにする。これにより、２度目以降の検索は、画像認識登録情報を用いて画像を検索することなく、所望の画像を迅速、的確に検索することができる。
【００６９】
［変形例］
次に、変形例の実施の形態について述べる。
上記実施の形態では、画像検索モードにおいて、ユーザにより検索条件が入力されると画像認識情報を用いて画像の検索を行うというものであるが、本変形例では、撮影が終了した時点で撮影画像がどの画像認識登録情報に属するかを予め判断し分類するので、画像検索モードでは、その判断結果（分類）を活用して所望の画像をすばやく検索するというものである。
本変形例も、図１に示したものと同様のデジタルカメラ１を用いるが、各構成の機能が多少異なる。
以下、変形例のデジタルカメラ１の各構成の機能を説明する。なお、第１の実施の形態と同様の構成の機能は、説明を省く。
【００７０】
Ｉ．静止画撮影終了後について
ＣＰＵ６は、静止画撮影処理が終了したと判断すると、登録されている（ＲＡＭ９に記録されている）画像認識情報と静止画撮影処理により得られた静止画像（ＤＲＡＭ７に記憶されている撮影画像）とが合致するか否かを判断する。つまり、静止画撮影処理により得られた静止画像がどの画像認識登録情報を有する画像であるかを判断する。この機能は、判断手段に相当する。
このとき、ＣＰＵ６の判断方法としては、まず、登録されている画像認識情報の中から１つの画像認識登録情報を特定する。そして、静止画撮影処理により得られた静止画像（ＤＲＡＭ７に記憶されている撮影画像）から部分的に画像を抽出する。そして、この抽出した画像を認識し、その画像に映し出されているそれぞれの対象物の位置関係等を数値化し数値データを算出する。そして取得した画像認識登録情報と算出した数値データとを比較し、一致するか否かを判断する。つまり、静止画像がこの取得した画像認識登録情報に属するか否かを判断する。この動作を、すべての画像認識登録情報に対して行う。
【００７１】
そして、ＣＰＵ６は静止画撮影処理によって得られた静止画像（ＤＲＡＭ７に記憶されている）が、属すると判断された画像認識登録情報に関連付けられて記録されている認識名称を取得し、静止画撮影処理によって得られた静止画像とこの取得した認識名称とを関連付けて記録する。この機能は、本発明の関連記録制御手段に相当する。
そして、ＣＰＵ６は、静止画撮影処理によって得られた静止画データ、付随するデータに基づいて静止画ファイルを生成し、メモリ・カード１３に記録する。付随するデータには、取得した認識名称と同一または関連する名前が記録されている。
【００７２】
Ｊ．画像検索について
ユーザのキー入力部１１の操作により画像検索モードに設定され、ユーザが検索情報として認識名称を入力すると、ＣＰＵ６は検索情報が入力されたことを認識し、ＲＯＭ８、ＲＡＭ９から次の動作のプログラムを読み出す。この機能は、本発明の第２の指示手段に相当する。
そして、メモリ・カード１３に記録されている静止画ファイルの付随するデータと入力された検索情報とを比較し、検索情報と同一又は類似する名前が記録されている付随するデータを有する静止画ファイルを検索する。この機能は、第２の検索手段に相当する。
【００７３】
以上の構成の機能を含むデジタルカメラ１における動作を説明する。
Ｋ．撮影終了後のデジタルカメラ１の動作について
以下、撮影終了後のデジタルカメラ１の動作について図１０のフローチャートを用いて説明する。
静止画撮影モード、画像認識登録モードは第１の実施の形態と、ほぼ同じなのでここでは説明を省略する（図２、図４参照）。
まず、静止画撮影が終了すると、図１０のステップ５１に進む。静止画撮影終了とは、静止画ファイルを生成してメモリ・カード１３に記録した後でもよいが、ここでは、静止画ファイルをメモリ・カード１３に記録する前、すなわち、図２のステップＳ７で完了すると、図８のステップＳ５１に進む。
ステップＳ５１では、登録された画像認識情報の中から１つの画像認識登録情報を特定する。
【００７４】
次いで、ステップＳ５２に進んで、撮影が終わった画像（ＤＲＡＭ７に記憶している画像）から部分的に画像を抽出する。
次いで、ステップＳ５３に進んで、輪郭抽出方法により、抽出した部分の画像に基づいて、数値データを算出する。
次いで、ステップＳ５４に進んで、この算出された数値データ（撮影した画像の一部分の画像の数値データ）と特定された画像認識登録情報との数値データを比較する。
【００７５】
次いで、ステップＳ５５で、一致するか否かを判断し、一致していない場合はステップＳ５６に進み、撮影画像（ＤＲＡＭ７に記憶している画像）のすべての部分の画像の数値データと画像認識登録情報の数値データとを比較したか否かを判断する。ステップＳ５６で撮影画像のすべての部分の画像の数値データと比較していないと判断すると、ステップＳ５２に戻り撮影画像の抽出していない部分の画像を抽出して、上記した動作を繰り返す。ステップＳ５６で撮影画像のすべての部分の画像の数値データと比較したと判断するとステップＳ５８に進む。
【００７６】
なお、取得した画像認識登録情報と撮影画像とを比較する場合においては、撮影画像のフォーカス位置情報及びフォーカス距離情報に基づいて画像を抽出する範囲を特定し、この特定された画像から算出した数値データのみと特定した画像認識登録情報とを比較するようにしてもよい。
また、フォーカス位置情報のみに基づいて画像を抽出する範囲を特定してもよい。さらに、フォーカス距離情報のみ、あるいは、予め定められた中央の部分の画像のみを抽出するようにしてもよい。つまり、それ以外の部分の画像とは比較しないことになる。これにより、迅速に比較、一致の判断を行うことができる。
さらに、撮影画像のすべての部分に対して、特定した画像認識登録情報と比較する場合には、フォーカス位置情報及びフォーカス距離情報等（フォーカス位置情報のみ等）に基づいて、撮影画像の中から部分的に抽出し、一致していない場合だけ、他の部分に対しても比較するようにしてもよい。
【００７７】
一方、ステップＳ５５で、一致したと判断するとステップＳ５７に進み、特定した画像認識登録情報と関連付けて記録している認識名称をＤＲＡＭ７の記憶領域Ｂに記憶する。
次いで、ステップＳ５８に進むと、特定していない画像認識登録情報があるか否かを判断する。特定していない画像認識登録情報があると判断すると、ステップＳ５１に戻り、特定していない画像認識登録情報を新たに特定し、上記した動作を繰り返す。
一方、特定していない画像認識登録情報がないと判断するとステップＳ５９に進む。
【００７８】
ステップ５９に進むと、撮影した画像の画像データ及び付随するデータに基づいて、図３に示すような静止画ファイルを生成する。
付随するデータには、フォーカス位置情報、フォーカス距離情報、撮影時刻及びＤＲＡＭ７の記憶領域Ｂに記憶された認識名称と同一又は関連する名前が記録される。また、ユーザのキー入力部１１の操作により、撮影場所、「イベント名」等が入力された場合も、付随するデータに記録される。
ここで、記憶領域Ｂには複数の認識名称が記憶される場合もある。例えば、真理子の顔画像を画像認識登録情報として認識名称「真理子」、ママの顔画像を画像認識登録情報として認識名称「ママ」として登録していた場合には、真理子とママの両方が写っている画像などは、「真理子」、「ママ」の２つの認識名称が記録領域Ｂに記憶されることになる。
【００７９】
なお、撮影終了後に撮影画像を用いてどの画像認識登録情報に属するのか判断するようにしているが、デジタルカメラ１の電源をＯＦＦしたとき、あるいはユーザが上記した動作の開始をキー操作により指示したときにメモリ・カード１３に記録している全ての静止画ファイル（既に上記した動作を実行した静止画ファイルは除外するようにしてもよい）に対して上記した動作を行うようにしてもよい。この場合も勿論、メモリ・カード１３に記録されているある特定の静止画ファイルがある特定の画像認識登録情報に属すると判断されたときには、この静止画ファイルと、画像認識登録情報に関連付けて記録されている認識名称と、が関連付けて記録される。つまり、静止画ファイルの付随するデータに認識名称と同一又は関連する名前が記録される。
これにより、撮影が終了しても、直に次の撮影を行うことが可能となる。また、この場合には、撮影の終了時点で、直に静止画ファイルが作成され、メモリ・カード１３に記録される。
【００８０】
Ｌ．次に、画像検索モードについて簡略に説明する。
画像検索モードにおいては、撮影終了後に行った画像認識登録情報との対比の結果を有効活用することにより、画像認識登録情報を用いて画像を検索する必要が無くなる。
ユーザが所望の画像を検索したい場合、例えば、「真理子」の画像を検索したい場合には、キー入力部１１の操作により画像検索モードに設定する。
そして、検索情報、例えば、認識名称として登録されている「真理子」を入力する。そして、入力された検索情報と、静止画ファイルの付随するデータとを比較していき（付随するデータに真理子という名前があるか否か）、一致する付随するデータを有する静止画ファイルの撮影画像を画像表示部１０に表示させる。つまり、真理子を含む画像が表示される。撮影終了直後に行った画像認識登録情報との対比の結果を活用することにより、検索モードで画像認識登録情報を用いて検索する必要がなくなる。
画像表示部１０に表示させる方法としては、上述したように、スクロール表示、サムネイル画像の一覧表示などがある。
【００８１】
このようにして、本変形例では、撮影終了後に撮影した画像と画像認識登録情報とが比較され、撮影した画像は、どの画像認識登録情報に属するのかが判断される。そして、撮影した画像が属すると判断された画像認識登録情報に関連付けて記録されている認識名称は一時記憶され、撮影した画像データ等に基づいて静止画ファイルを生成する際に、静止画ファイルの付随するデータに記録される。
次に、画像の画像検索モードにおいては、認識名称を入力すると、入力された認識名称と静止画ファイルの付随するデータとを比較して所望の画像を検索する。
【００８２】
以上のように、本変形例では、撮影終了後に撮影した画像と画像認識登録情報とを比較していき、撮影画像がどの画像認識登録情報に属するのかを検索し、その結果を記録しておくので、画像検索モードにおいて、ユーザは迅速に所望の画像を検索することができる。
また、属すると判断された画像認識登録情報に関連付けられて記録されている認識名称と、撮影した静止画ファイルを関連付けて記録するので、撮影終了後にいちいち分類作業を行わなくてすみ、ユーザの手間が省ける。
【００８３】
本発明の画像処理装置は、静止画ファイルに限定されるものではなく、動画ファイルのサムネイル画像のポイントとなる部分の画像を画像認識情報として登録しておけば、画像認識登録情報を含むサムネイル画像を検索することにより所望の動画ファイルを検索することも可能である。
また、動画ファイルのサムネイル画像に限定せずに、動画ファイルの１フレームの画像データのポイントとなる部分の画像を画像認識登録情報として登録するようにしてもよい。これにより、検索したい画像を含む動画ファイルを検索することができる。
【００８４】
また、認識名称と同一又は関連する名前のフォルダを作成しておき、認識名称と関連付けられて記録された静止画ファイルは、すべてこの認識名称と同一又は関連する名前のフォルダに移動させるようにしてもよい。
つまり、真理子の顔データを画像認識情報、真理子を認識名称として登録した場合には、「真理子」というフォルダを作成しておき、真理子の顔データを用いて検索された画像の静止画ファイルはすべて、「真理子」というフォルダに移動される。
これにより、「真理子」というフォルダを開けば、検索した真理子を含む画像をすばやく見ることができる。
このフォルダは、認識名称と画像認識情報とを登録するときに、又は、画像が検索されたときに、自動的に作成させるようにしてもよい。また、手動で作成するようにしてもよい。
さらに、本発明の画像処理装置は、上記実施の形態に限定されるものではなく、撮影機能を有した携帯電話、時計、静止画撮像機能付きムービーカメラ、ビデオカメラ、あるいは撮影機能を有しないパソコン、ＰＤＡ、等でもよく、要は撮影した画像を読み取る機能を備えた機器、あるいは画像を記録する機能を備えた機器であれば何でもよい。
【図面の簡単な説明】
【００８５】
【図１】本発明の実施の形態のデジタルカメラのブロック図である。
【図２】静止画撮影モードの動作を示すフローチャートである。
【図３】静止画ファイルの構成を示す図である。
【図４】画像認識登録モードの動作を示す図である。
【図５】撮影画像及びこの画像の認識指定範囲枠を示す図である。
【図６】認識指定範囲枠の大きさとフォーカス距離情報のとの関係を示す図である。
【図７】画像検索モードの動作を示す図である。
【図８】画像検索モードの動作を示す図である。
【図９】撮影した画像を示す図である。
【図１０】撮影終了後のデジタルカメラ１の動作を示す図である。
【符号の説明】
【００８６】
１      デジタルカメラ
２      レンズ
３      ＣＣＤ
４      ユニット回路
５      ＴＧ
６      ＣＰＵ
７      ＤＲＡＭ
８      ＲＯＭ
９      ＲＡＭ
１０    画像表示部
１１    キー入力部
１２    カードＩ／Ｆ
１３    メモリ・カード
１４    モータ駆動ブロック
【図１】
2005080216.tif 000003
【図２】
2005080216.tif 000004
【図３】
2005080216.tif 000005
【図４】
2005080216.tif 000006
【図５】
2005080216.tif 000007
【図６】
2005080216.tif 000008
【図７】
2005080216.tif 000009
【図８】
2005080216.tif 000010
【図９】
2005080216.tif 000011
【図１０】
2005080216.tif 000012