(57)【要約】【課題】本発明の画像検索装置は、画像を分類する際に、画像中のオブジェクトの検出を行うことにより、画像にキーワードを付加する作業を効率化することを目的とする。【解決手段】本発明の画像検索装置は、分類および検索対象となる画像をキーワードとともにデータベースに保存する画像記憶手段と、入力された画像中の所定のオブジェクトを認識するオブジェクト認識手段と、前記オブジェクト認識手段によりオブジェクトが認識された場合に、該オブジェクトに関連するキーワードを提示するキーワード提示手段と、前記キーワード提示手段により提示されたキーワードの確認、追加、または修正を行うためのオブジェクト情報入力手段とを具備する。【選択図】  図１
2004234228.tif 000002
【特許請求の範囲】
【請求項１】
画像中のオブジェクトを検出してキーワードを付与し、画像の分類と検索を行う画像検索装置であって、
分類および検索対象となる画像をキーワードとともにデータベースに保存する画像記憶手段と、
入力された画像中の所定のオブジェクトを認識するオブジェクト認識手段と、
前記オブジェクト認識手段によりオブジェクトが認識された場合に、該オブジェクトに関連するキーワードを提示するキーワード提示手段と、
前記キーワード提示手段により提示されたキーワードの確認、追加、または修正を行うためのオブジェクト情報入力手段と、
を具備することを特徴とする画像検索装置。
【請求項２】
前記オブジェクト認識手段は、
人物が画像に含まれているかどうかを判断する条件を規定するための人物検出条件入力手段と、
画像中の顔画像の検出を行う顔画像検出手段と、
前記顔画像検出手段により顔画像が検出された場合に、該顔画像を基に、前記データベースを参照して、類似する顔画像を検出する顔画像類似度判定手段と、
を具備することを特徴とする請求項１に記載の画像検索装置。
【請求項３】
前記オブジェクト情報入力手段は、
人物情報の確認、追加、または修正を行うための人物情報入力手段であること
を特徴とする請求項１または請求項２に記載の画像検索装置。
【請求項４】
前記人物を検出する際には、さらに、画像中の肌色領域を検出するための肌色領域検出手段を使用すること
を特徴とする請求項２に記載の画像検索装置。
【請求項５】
前記顔画像類似度判定手段により類似する顔画像が検出されない場合には、直近に入力された画像に付与されたキーワードを提示する手段を具備することを特徴とする請求項２に記載の画像検索装置。
【請求項６】
前記キーワードが、階層構造を持つキーワードから構成される検索テンプレートに従い付与されること
を特徴とする請求項１から５のいずれかに記載の画像検索装置。
【請求項７】
画像中のオブジェクトを検出してキーワードを付与し、画像の分類と検索を行う画像検索装置におけるキーワード付与方法であって、
分類および検索対象となる画像をキーワードとともにデータベースに保存する画像記憶手順と、
入力された画像中の所定のオブジェクトを認識するオブジェクト認識手順と、
前記オブジェクト認識手順によりオブジェクトが認識された場合に、該オブジェクトに関連するキーワードを提示するキーワード提示手順と、
前記キーワード提示手順により提示されたキーワードの確認、追加、または修正を行うためのオブジェクト情報入力手順と
を含むことを特徴とする画像検索装置におけるキーワード付与方法。
【請求項８】
画像中のオブジェクトを検出してキーワードを付与し、画像の分類と検索を行う画像検索装置内のコンピュータに、
分類および検索対象となる画像をキーワードとともにデータベースに保存する画像記憶手順と、
入力された画像中の所定のオブジェクトを認識するオブジェクト認識手順と、
前記オブジェクト認識手順によりオブジェクトが認識された場合に、該オブジェクトに関連するキーワードを提示するキーワード提示手順と、
前記キーワード提示手順により提示されたキーワードの確認、追加、または修正を行うためのオブジェクト情報入力手順と
を実行させるためのプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、デジタル画像の分類と検索を行う画像検索装置、画像検索装置におけるキーワード付与方法、及びプログラムに関し、特に、画像の検索・分類において、画像中のオブジェクト（例えば、人物検出）を行いキーワードを付与することにより、画像にキーワードを付与する作業を効率化する、画像検索装置、画像検索装置におけるキーワード付与方法、及びプログラムに関する。
【０００２】
【従来の技術】
近時、デジタルカメラが普及し、撮影したデジタル画像（単に「画像」ともいう）をＰＣ（パーソナルコンピュータ）等に保存しておき、後日、ＰＣ画面上に表示させるなどして、鑑賞することも多くなってきた。また、保存した画像を取り出し、ＰＣ画面上で画像を編集し、電子アルバムなどを作成することも多くなってきた。
【０００３】
このような場合に、ＰＣ等に保存されたデジタル画像を検索して多数の画像の中から所望の画像を取り出すことが必要になるが、このような検索を効率的に行うには、登録する画像に何らかの検索用のキーワードを付与しておくことが必要になる。
また、一般的に、ユーザがデジタルカメラなどで写真を撮る場合は、家族などの人物を中心にして撮影する場合が多いが、このような場合に、撮影された人物（オブジェクト）を特定できるキーワードを付与して画像を保存しておくと便利なことが多い。
しかしながら、このキーワードの付与と分類を適切に行い、後で検索を効率的に行えるようにするには、かなりの熟練と経験を必要とし、一般のユーザにとってはなかなか困難な作業となり、また煩雑であった。
【０００４】
このような問題に対処するための、画像の登録と検索に関する幾つかの先行技術が開示されており、例えば、以下に示すものがある。
（１）予め検索対象となる画像に外部情報（撮影場所や撮影日時、撮影内容）を付与し、この外部情報を検索に使用する。
（２）また、画像自身の特徴量を使う製品も市販されている。例えば、画像特徴量（色や形状）で対象画像を３次元空間上に配置し、ユーザの画像検索を効率的に行わせる装置が市販されている。
【０００５】
（３）また、例えば、特許文献１「画像の階層的分類方法、および画像の分類・検索装置、およびこの方法を実行するプログラムを記録した記録媒休」に開示された先行技術がある。
特許文献１で開示された発明は、予め作成した画像辞書を用いながら、インタラクティブ、階層的に画像の分類、検索を行う技術である。この発明においては、ナビゲーションの途中の画像集合に対し、領域色、直線、オブジェクト、画像辞書という大分類観点がシステムから利用者に提示される。利用者が画像辞書を選択すると、システムは「人の顔」、「空」、「屋根」といった分類観点を提示する。利用者が「人の顔」を選択すると、システムは人物画の集合を提示し、同様にその画像集合に対し、領域色、直線、オブジェクト、画像辞書という小分類観点が利用者に提示され、分類観点の選択による分類が階層的に行われる。このナビゲーションの履歴は、画像ＤＢの分類に有効なので、システムに分類木情報として蓄積される。蓄積された分類木の全体像をキーワードや合成画、サンプル画像を用いて閲覧することで、画像ＤＢが概観できる。
【０００６】
（４）また、例えば、特許文献２「顔画像類型検索処理方法」に開示された先行技術がある。
特許文献２で開示された発明は、対象物から顔領域の特徴を効率良く記述したデータとして高精度で高速に抽出できる簡便な顔画像類型検索処理方法を提供することを目的とする。そして、顔領域モザイク特徴抽出部により、顔領域を含む濃淡画像をモザイク化し、このモザイクパタンが顔領域の内部と外部とで異なることを利用して顔領域を顔領域モザイク特徴データとして抽出する。次に、顔画像類型検索部により、その顔領域モザイク特徴データを用いて類型分類のクラス名の検索を行う。以上により、顔領域の抽出に当たって、対象物のエッジ部分に着目するのではなく、対象物領域の濃度パタンに着目することにより、高精度で高速な顔領域に抽出・検索さらには検索のための類型分類のクラス分けを可能にする。
【０００７】
（５）また、例えば、特許文献３「検索用のキーワードの決定方法及び装置、文書検索装置、記録媒体」に開示された先行技術がある。
特許文献３で開示された発明は、相互に関連する複数のキーワードによるシソーラス検索が可能な文書検索装置において、真に必要なキーワードのみを特定できるようにすることを目的とする。そして、キーワード決定装置において、入力キーワードに追加すべきキーワード候補をシソーラス辞書から索出するとともに、そのキーワード候補の解説文書を解説文書ファイルから索出する。そして、解説文書等に入力キーワードやキーワード候補との関連度合いに応じたスコアを付与し、これらを表示装置へ表示させて、操作者に当該キーワード候補の追加可否判断を促す。操作者からの判断結果を解読し、そのキーワード候補が追加不要であれば、入力キーワードのみを検索用のキーワードとする。一方、キーワード候補の追加が必要である場合は、そのキーワード候補を検索用のキーワードに追加する。
【０００８】
【特許文献１】
特開２００１−１６００５７号公報
【特許文献２】
特開平８−２２１５４７号公報
【特許文献３】
特開平１０−３０７８４９号公報
【０００９】
【発明が解決しようとする課題】
しかしながら、上述した従来の方法には、以下のような問題点がある。
（１）の項で説明した、画像に外部情報を付与する方法では、全ての画像に外部情報を適切に付与する必要がある。しかしながら、多様性を持った検索ができるように画像に外部情報（キーワード）を付与することは、著しく手間がかかる作業となり、現実的とは言えない。
（２）の項で説明した、画像自身の特徴量を使う方法では、同じ特徴量を持つ複数の画像を一定の法則にしたがって画面上に表示させ、その中から所望の画像を抽出しようとするものである。従って、画像内のオブジェクト（例えば、人物）を検出してキーワードの付与を効率化しようとする本発明とは、発明の目的と用途が異なるものである。
（３）の項で説明した、特許文献１に開示された方法では、予め作成した画像辞書を用いながら、インタラクティブ、階層的に画像の分類、検索を行う技術であり、画像内のオブジェクト（例えば、人物）を検出してキーワードの付与を効率化しようとする本発明とは、発明の目的と構成が異なるものである。
（４）の項で説明した、特許文献２に開示された方法では、顔画像をモザイク化（濃淡化）して類型分類のクラス分けを行おうとするものであり、画像内のオブジェクト（例えば、人物）を検出してキーワードの付与を効率化しようとする本発明とは、発明の目的と用途が異なるものである。
（５）の項で説明した、特許文献３に開示された方法は、入力キーワードに追加すべきキーワード候補をシソーラス辞書から選定するためのものであり、画像内のオブジェクト（例えば、人物）を検出してキーワードの付与を効率化しようとする本発明とは、発明の目的と構成が異なるものである。
【００１０】
本発明はこのような問題を解決するためになされたものである。本発明は、画像を分類する際に、画像中のオブジェクト（例えば、人物）の検出を行うと共に、予め検索用のテンプレートを用意しておき、画像にキーワードを付加する作業を効率化し、また、画像の検索の際には、オブジェクトを中心とした検索を容易に行うことのできる、画像検索装置、画像検索装置におけるキーワード付与方法、及びプログラムを提供することを目的とする。
【００１１】
【課題を解決するための手段】
本発明は上記課題を解決するためになされたものであり、本発明の画像検索装置は、画像中のオブジェクトを検出してキーワードを付与し、画像の分類と検索を行う画像検索装置であって、分類および検索対象となる画像をキーワードとともにデータベースに保存する画像記憶手段と、入力された画像中の所定のオブジェクトを認識するオブジェクト認識手段と、前記オブジェクト認識手段によりオブジェクトが認識された場合に、該オブジェクトに関連するキーワードを提示するキーワード提示手段と、前記キーワード提示手段により提示されたキーワードの確認、追加、または修正を行うためのオブジェクト情報入力手段と、を具備することを特徴とする。
このような構成であれば、画像記憶手段により、分類および検索対象となる画像をキーワードとともにデータベースに保存しておく。そして、オブジェクト認識手段により、新たに入力された画像中の所定のオブジェクト（例えば、人物や車）の認識（検出）を行う。そして、オブジェクト認識手段により、所定のオブジェクトが検出された場合は、キーワード提示手段により、該オブジェクトに関連するキーワードをユーザに提示する。また、提示されたキーワードの確認、追加、または修正をユーザが行うためのオブジェクト情報入力手段を設ける。
これにより、画像の検索・分類装置において、入力された画像中のオブジェクトの検出を行うことにより、画像にキーワードを付加する作業を効率化できる。また、画像内のオブジェクトに関するキーワードを付与するので、大量の画像から特定のオブジェクトが写っている画像を、的確、かつ効率的に検索することができる。
【００１２】
また、本発明の画像検索装置は、前記オブジェクト認識手段は、人物が画像に含まれているかどうかを判断する条件を規定するための人物検出条件入力手段と、画像中の顔画像の検出を行う顔画像検出手段と、前記顔画像検出手段により顔画像が検出された場合に、該顔画像を基に、前記データベースを参照して、類似する顔画像を検出する顔画像類似度判定手段と、を具備することを特徴とする。
このような構成であれば、認識（検出）対象となるオブジェクトを人物とし、人物検出条件入力手段により、人物が画像に含まれているかどうかを判断する条件（例えば、肌色領域検出を行うなど）を規定する。そして、顔画像検出手段により、新たに入力された画像中の顔画像の検出を行う。また、顔画像検出手段により顔画像が検出された場合は、該顔画像を基に、画像類似度判定手段により、データベースを参照して類似する顔画像を検出する。そして、類似する顔画像が検出された場合は、キーワード提示手段により、該顔画像に関連するキーワードをユーザに提示し、キーワードの確認、追加、または修正をユーザに行わせる。
これにより、画像の検索・分類装置において、入力された画像中の人物の検出を行うことにより、画像にキーワードを付加する作業を効率化できる。また、画像内の人物に関するキーワードを付与するので、大量の画像から特定の人物が写っている画像を、的確、かつ効率的に検索することができる。
【００１３】
また、本発明の画像検索装置は、前記オブジェクト情報入力手段は、人物情報の確認、追加、または修正を行うための人物情報入力手段であることを特徴とする
このような構成であれば、認識（検出）対象となるオブジェクトを人物とし、画像中に人物が検出された場合には、検出された人物についてのキーワード（人物情報）の確認、または該人物についてのキーワードを入力させる。
これにより、入力された画像中の人物の検出を行い、画像内の人物に関するキーワード（人物情報）を付与するので、的確にキーワードを付与することができる。
【００１４】
また、本発明の画像検索装置は、前記人物を検出する際には、さらに、画像中の肌色領域を検出するための肌色領域検出手段を使用することを特徴とする。
このような構成であれば、顔画像検出手段により人物を検出する機能に加えて、さらに、肌色領域検出手段により人物を検出する。
これにより、画像中の人物検出をより確実かつ効果的に行うことができる。
【００１５】
また、本発明の画像検索装置は、前記顔画像類似度判定手段により類似する顔画像が検出されない場合には、直近に入力された画像に付与されたキーワードを提示する手段を具備することを特徴とする。
このような構成であれば、顔画像類似度判定手段により類似する顔画像が検出されない場合には、例えば、同じ種類（同じ主題）による同一人物の画像が入力される可能性が高いので、直近に入力された画像に付与されたキーワードを提示する。
これにより、類似する顔画像が検出されなかった場合にも、キーワードを効果に付与することができる場合が多くなる
【００１６】
また、本発明の画像検索装置は、前記キーワードが、階層構造を持つキーワードから構成される検索テンプレートに従い付与されることを特徴とする。
このような構成であれば、予め階層構造を持つキーワードから構成される検索テンプレートを用意し、この検索テンプレートに含まれるキーワードをユーザに提示して、キーワードの付与を促す。
これにより、テンプレートを利用して、簡便な操作でキーワードを付与することができる。また、検索テンプレートは、キーワードを階層的に配置したカテゴリに基づいて構成されるので、効率的な画像の分類と検索が可能となる。また、例えば、予め用意されかつ修正可能な、人物関係を記述した検索テンプレートを使用することができるので、人物情報を基にして容易に画像検索を行うことができるようになる。
【００１７】
また、本発明の画像検索装置におけるキーワード付与方法は、画像中のオブジェクトを検出してキーワードを付与し、画像の分類と検索を行う画像検索装置におけるキーワード付与方法であって、分類および検索対象となる画像をキーワードとともにデータベースに保存する画像記憶手順と、入力された画像中の所定のオブジェクトを認識するオブジェクト認識手順と、前記オブジェクト認識手順によりオブジェクトが認識された場合に、該オブジェクトに関連するキーワードを提示するキーワード提示手順と、前記キーワード提示手順により提示されたキーワードの確認、追加、または修正を行うためのオブジェクト情報入力手順とを含むことを特徴とする。
このような手順であれば、画像記憶手順により、分類および検索対象となる画像をキーワードとともにデータベースに保存しておく。そして、オブジェクト認識手順により、新たに入力された画像中の所定のオブジェクト（例えば、人物や車）の認識（検出）を行う。そして、オブジェクト認識手順により、所定のオブジェクトが検出された場合は、キーワード提示手順により、該オブジェクトに関連するキーワードをユーザに提示する。また、オブジェクト情報入力手順により、提示されたキーワードの確認、追加、または修正をユーザが行う。
これにより、画像の検索・分類装置において、入力された画像中のオブジェクトの検出を行うことにより、画像にキーワードを付加する作業を効率化できる。また、画像内のオブジェクトに関するキーワードを付与するので、大量の画像から特定のオブジェクトが写っている画像を、的確、かつ効率的に検索することができる。
【００１８】
また、本発明のコンピュータプログラムは、画像中のオブジェクトを検出してキーワードを付与し、画像の分類と検索を行う画像検索装置内のコンピュータに、分類および検索対象となる画像をキーワードとともにデータベースに保存する画像記憶手順と、入力された画像中の所定のオブジェクトを認識するオブジェクト認識手順と、前記オブジェクト認識手順によりオブジェクトが認識された場合に、該オブジェクトに関連するキーワードを提示するキーワード提示手順と、前記キーワード提示手順により提示されたキーワードの確認、追加、または修正を行うためのオブジェクト情報入力手順とを実行させるためのプログラムである。
【００１９】
【発明の実施の形態】
次に本発明の実施の形態例について図面を参照して説明する。
【００２０】
［本発明の画像検索装置における基本概念］
本発明の画像検索装置においては、画像中のオブジェクト（例えば、人物）の検出を行うとともに、予めキーワード用のテンプレートを用意しておき、オブジェクトが検出された画像にキーワードを与える作業を容易にする。これにより、キーワードによる検索を効果的に行えるようにしている。
そして、使用するキーワードには、以下の性質を持たせるようにしている。
（１）画像中のオブジェクト（例えば、人物）を検出することを契機として、画像にオブジェクトを特定するためのキーワードを付与する。この場合、予め用意したキーワードを提示し、当該画像がどのカテゴリ（分類）に属するかを、システム側からユーザに問い合わせるようにし、ユーザは提示されたカテゴリから合致する項目があれば、そのキーワードを選択するようにしている。
（２）このキーワードは人物を含む画像を検索するために用いるが、キーワードは階層的に設定することができる。例えば、オブジェクトが人物である場合は、「家族」、「親戚」などが上位のキーワードになるが、さらに「長男」「長女」「母方」などのキーワードを下位のキーワードとすることができる。
（３）また、階層化された基本的なキーワードの構成は、検索テンプレートとして、予め用意されているものとして、かつ修正可能（キーワードの追加など）なものである。
本発明の画像検索装置は、このようにして、画像へのキーワードの付与を簡略化できるようにしたものである。
【００２１】
［本発明の画像検索装置の具体的な構成］
図１は、本発明の画像検索装置が備える手段の構成例を示すブロック図であり、本発明に直接関係するものを示したものである。図１に示す画像検索装置に設けられた各手段は、以下に示す機能を有する。
【００２２】
（１）画像入力検出手段１０１
画像検索装置１００に、新たに画像の格納が行われたことを検出するための手段である。
（２）画像読取手段１０２
画像を構成する画素ごとの値（例えばＲＧＢ値など）を読み出すための手段である。
（３）静止画生成手段１０３
画像が動画の場合に、動画像から静止画を生成するための手段である。
（４）オブジェクト認識手段１０４
画像を解析し、所定のオブジェクトが含まれているかどうかを検出するための手段である。具体的な例として、オブジェクトが「人物」である場合の例について後述する。
（５）キーワード提示手段１０５
オブジェクトが検出された場合に、データベース１２０を参照し、このオブジェクトに関連するキーワードを抽出してユーザに提示するための手段である。具体的な例として、オブジェクトが「人物」である場合の例について後述する。
（６）オブジェクト情報入力手段１０６
提示されたキーワードから、ユーザがオブジェクト情報を選択する、あるいは新たにキーワードを入力・更新するための手段である。具体的な例として、オブジェクトが「人物」である場合の例について後述する。
（７）検索条件入力手段１０７
検索する画像の検索条件を入力する。例えば、検索するオブジェクトが人物の場合は、「家族」、「友人」を選ぶなどの検索条件（キーワード）を入力する。
（８）表示手段１０８
検索結果を表示するための手段である。
（９）印刷手段１０９
検索結果を印刷するための手段である。
なお、データベース（画像記憶手段）１２０には、キーワードを付与するための検索テンプレート１２１と、このキーワード（検索テンプレート）に関連づけられた動画１２２および静止画１２３のデータが記憶される。
【００２３】
次に、本発明の画像検索装置について、検出対象のオブジェクトが「人物」である場合を例にとり、より具体的に説明する。
【００２４】
図２は、図１に示す画像検索装置において、検出対象となるオブジェクトが「人物」の場合の手段の構成例を示すブロック図である。図１中のオブジェクト認識手段１０４が、図２中の、人物検出条件入力手段１１１、顔画像検出手段１１２、肌色領域検出手段１１３、及び顔画像類似度判定手段１１４となる。また、図１中のオブジェクト情報入力手段１０６が、図２中の人物情報入力手段１１５となる。その他の手段については、図１と図２において共通である。
以下、図２中の各手段について説明する。なお、図１と共通の部分については、説明を省略する。
（１）人物検出条件入力手段１１１
人物が画像に含まれているかを判断する条件を規定するための手段である。顔画像の検出だけではなく、肌色領域の検出も行って人物が含まれているかどうかの判定を行うなどの条件を入力する。
（２）顔画像検出手段１１２
画像を解析し、顔画像が含まれているかどうかを検出するための手段である。顔画像の検出方法には、予め顔画像のパターンを学習させておく方法や、画像パターンの周波数解析を行う方法など種々の方法があるが、いずれの方法を使用してもよい。また、特許文献２に開示された方法を使用することもできる。なお、この顔画像検出手段１１２は、次に説明する肌色領域検出手段１１３を併用し、人物検出を行うこともできる。
【００２５】
（３）肌色領域検出手段１１３
人物の検出には、顔画像の検出以外に、エッジ情報、テンプレートを使うなど様々な方法が考えられるが、ここでは、肌色領域を使う。この、肌色領域検出手段１１３は、読み取った画素の値が肌色の範囲にあるかどうかを判定するための手段である。この肌色領域の検出には、例えば、文献「背景と顔の方向に依存しない顔の検出と顔方向の推定、荒木、島田、白井、信学技法ＰＲＭＵ２００１−２１７  ｐｐ．８７−９４（２００２−０１）」に記載された方法を使用することができる。
この文献中の２．１項に記載されているように、肌色の範囲については、以下の式に従うことで検出することができる。
０．３３３＜ｒ＜０．６６４，  ｒ＞ｇ
０．２４６＜ｇ＜０．３９８，  ｇ≧０．５−０．５ｒ
ここで、ｒ＝Ｒ／（Ｒ＋Ｇ＋Ｂ），ｇ＝Ｇ／（Ｒ＋Ｇ＋Ｂ）であり、Ｒ，Ｇ，Ｂはそれぞれ当該画素のＲＧＢ値である。
【００２６】
（４）顔画像類似度判定手段１１４
検出した顔画像と類似の顔画像が格納されているかどうかを、データベース１２０を参照して、チェックするための手段である。この類似度の判定には、例えば、特許文献２で開示された、顔画像をモザイク化して類型分類のクラス分けを行う手法などが利用できる。
（５）人物情報入力手段１１５
画像検索装置１００から提示されたキーワード情報から、ユーザが人物情報を選択する、あるいは新たにキーワードを入力・更新するための手段である。
【００２７】
図３は、人物情報の入力を促す画面の例を示す図であり、画像検索装置１００に新たな画像が格納されると、画像検索装置１００では画像内の人物の検出を試み、人物が検出されると、図３に例示する表示形式で、ユーザに人物情報の入力を促す。
【００２８】
この場合、人物情報の提示には種々の方法を使用することができるが、例えば、ユーザに提示されるキーワードの情報は、ユーザの利便性を増すために次の優先度で行うことができる。
・既に格納されている顔画像と一致あるいは極めて近いと判断した場合、この人物の情報を表示し、確認を促す。
・最も近い時期に入力した画像に含まれる人物の情報、更新した人物情報、あるいはキーワードを表示する。これは、家族の写真（例えば、入学式や運動会の写真）などの場合にように、同じ人物の画像が連続して入力される可能性が高いためである。
【００２９】
図４は、キーワードとなる人物情報の提示方法の第１の例を示す図である。図４に例示するように、人物情報には予め「長男」、「家族」、「親戚」、「友人」のなどのキーワードが登録されており、これらのキーワードを優先度を考慮して全て配置し提示している例である。ユーザは、該当する項目があれば、それを選択する。また、該当する項目がない場合は、「新しく人物情報を作成する」や「新しく人物カテゴリを作成する」などの項目を選択し、新たな項目を追加することができる。
【００３０】
図５は、キーワードとなる人物情報の提示方法の第２の例を示す図である。図５は、最も優先度が高いキーワード（長男）が配置されている例であり、長男の画像でない場合は、プルダウンメニューから該当するキーワードを選択する。
【００３１】
図６は、データベース１２０に記録されるレコードの例を示す図である。データベース１２０に記録されるキーワードは、上位のキーワード１と下位のキーワード２の２層構造となっている。例えば、上位のキーワード１が「家族」であり、下位のキーワード２が「次男」であり、氏名が「次郎」であり、生年月日が「２００３年１月１日」であり、保存された画像が画像１、画像２、画像３の三つであることを示している。
【００３２】
図７は、人間関係を示すために使用される検索テンプレートの例を示す図であり、この検索テンプレートは予めデータベース１２０中に用意されている。そして、図６に示すレコードを追加する場合、即ち「次男」に関する画像を格納する場合には、上位のキーワード「家族」の下に、下位のキーワード「次男」を作成する必要があり、この操作は、図３、図４、及び図５に例示した画面上での操作により行われる。
【００３３】
次に、本発明の画像検索装置における処理手順について、フローチャートを参照して説明する。
【００３４】
図８は、本発明の画像検索装置における人物検出とキーワード付与の処理手順を示す図であり、画像中の人物の検出と、キーワードの登録についての処理手順を示すフローチャートである。以下、図８を参照して、その処理手順について説明する。
（１）ステップＳ１：画像入力検出手段１０１により、新たな画像の入力を検出する。
（２）ステップＳ２：顔画像検出手段１１２により入力された画像から顔画像の検出を試みる。画像データは画像読取手段１０２により読み取る。また、動画像が入力された場合には、静止画生成手段１０３により、所定のルール、例えば一定時間ごとに静止画を生成して、以降の処理を行う。
（３）ステップＳ３：顔画像を検出したかどうかをチェックする。
（４）ステップＳ４：顔画像類似度判定手段１１４により既に登録されている類似する顔画像が、データベース１２０中にあるかどうかをチェックする。
（５）ステップＳ５：データベース１２０から、類似した顔画像に対応した人物情報を選択する。
（６）ステップＳ６：既存のキーワードがなければ、新たに人物を示すキーワードを作成する。
（７）ステップＳ７：選択した人物情報を表示手段１０８により表示し、人物情報の選択（キーワードの選択）と必要な情報の入力を促す。
（８）ステップＳ８：人物情報を格納しているデータベース１２０を更新する。
（９）ステップＳ９：ステップＳ３において、顔画像が検出されなかった場合は、ステップＳ９に移行し、肌色領域検出手段１１３により、入力された画像から肌色領域を検出する。
（１０）ステップＳ１０：肌色領域が存在したかどうかをチェックする。
（１１）ステップＳ１１：ステップＳ１０において、肌色領域が検出されなかった場合は、直近に入力・更新された人物情報を選択する。
【００３５】
また、図９は、検索を行う場合の処理手順を示すフローチャートである。
（１）ステップＳ２１：検索条件入力手段１０７により検索条件を入力する。例えば、以下に示すような検索条件を入力する。
・次郎についての、データベース１２０に格納されている全ての写真
・サークルの友人の全てについての、撮影年２００３年の写真
（２）ステップＳ２２：指定された検索条件に応じてキーワードを設定して、データベース１２０をアクセスする。
（３）ステップＳ２３：検索条件に当てはまる全ての画像を選択する。
（４）ステップＳ２４：選択した画像を表示手段１０８により表示、または印刷手段１０９により印刷する。
以上説明した処理手順により画像へのキーワードの登録と、検索を行うことができる。
【００３６】
また、図１０は、画像検索装置の構成例を示すブロック図であり、検出対象となるオブジェクトが人物の場合の例であり、本発明に直接関係する部分についてのみ示したものである。図１０において、１００は画像検索装置、１はインターネット網などの通信ネットワーク、１３１は画像検索装置と通信ネットワーク１とを接続する通信用インタフェース、１３２は画像検索装置の全体を統括制御する制御部、１４０は処理プログラム部を示している。なお、画像検索装置１００には、ＰＣ（パーソナルコンピュータ）を使用してもよい。
【００３７】
また、処理プログラム部１４０には、以下の処理部が含まれる。
・画像入力検出処理部１４１
画像検索装置１００に、新たに画像の格納が行われたことを検出するための処理部である。
・画像読取処理部１４２
画像を構成する画素ごとの値（例えばＲＧＢ値など）を読み出すための処理部である。
・静止画生成処理部１４３
画像が動画の場合に、動画像から静止画を生成するための処理部である。
・人物検出条件入力処理部１４４
人物が画像に含まれているかを判断する条件を規定するための処理部である。顔画像の検出だけではなく、肌色領域の検出も行って人物が含まれているかどうかの判定を行うなどの条件を入力する。
・顔画像検出処理部１４５
画像を解析し、顔画像が含まれているかどうかを検出するための処理部である。顔画像の検出方法には、予め顔画像のパターンを学習させておく方法や、画像パターンの周波数解析を行う方法など種々の方法があるが、いずれの方法を使用してもよい。また、特許文献２に開示された方法を使用することもできる。なお、この顔画像検出処理部１４５は、次に説明する肌色領域検出処理部１４６と併用し、人物検出を行うこともできる。
【００３８】
・肌色領域検出処理部１４６
読み取った画素の値が肌色の範囲にあるかどうかを判定するための処理部である。この肌色領域の検出には、例えば、文献「背景と顔の方向に依存しない顔の検出と顔方向の推定、荒木、島田、白井、信学技法ＰＲＭＵ２００１−２１７  ｐｐ．８７−９４・２００２−０１）」に記載された方法を使用することができる。
【００３９】
・顔画像類似度判定処理部１４７
検出した顔画像と類似の顔画像が格納されているかどうかを、データベース１２０を参照してチェックするための処理部である。この類似度の判定には、例えば、特許文献２で開示された顔画像をモザイク化して類型分類のクラス分けを行う手法などが利用できる。
・キーワード提示処理部１４８
オブジェクトが検出された場合に、データベース１２０を参照し、このオブジェクトに関連するキーワードを抽出してユーザに提示するための処理部である。
・人物情報入力処理部１４９
画像検索装置１００から提示されたキーワード情報から、ユーザが人物情報を選択する、あるいは新たにキーワードを入力・更新するための処理部である（図３及び図４参照）。
・検索条件入力処理部１５０
検索する画像の検索条件を入力するための処理部である。例えば、「家族」、「友人」を選ぶなどの検索条件（キーワード）を入力する。
・表示処理部１５１
検索結果を表示するための処理部である。
・印刷処理部１５２
検索結果を印刷するための処理部である。
【００４０】
また、データベース（画像記憶手段）１２０には、画像にキーワードを付与するための検索テンプレート１２１と、このキーワード（検索テンプレート）に関連づけられた動画１２２および静止画１２３のデータが記憶される（図６参照）。
【００４１】
なお、この処理プログラム部１４０は専用のハードウエアにより実現されるものであってもよく、またこの処理プログラム部１４０はメモリおよびＣＰＵ（中央処理装置）等の汎用の情報処理装置により構成され、この処理部の機能を実現するためのプログラム（図示せず）をメモリにロードして実行することによりその機能を実現させるものであってもよい。また、この画像検索装置１００には、周辺機器として入力装置、表示装置、印刷装置等（いずれも図示せず）が接続されているものとする。ここで、入力装置としては、キーボード、マウス等の入力デバイスのことをいう。表示装置とは、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）や液晶表示装置等のことをいう。印刷装置とは、レーザープリンタ、インクジェットプリンタ等のことをいう。
【００４２】
また、図１０に示す画像検索装置１００の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより本発明の画像検索装置１００に必要な処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）を含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの（伝送媒体ないしは伝送波）、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。
また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００４３】
なお、以上説明した本発明の画像検索装置では、画像内の分類対象となるオブジェクトを顔画像（人物）としてキーワードを付与した例を示しているが、これに限らず、車、動物などを分類対象となるオブジェクトとして検出し、キーワードを付与する構成とすることもできる。
【００４４】
以上、本発明の実施の形態について説明したが、本発明の画像検索装置は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【図面の簡単な説明】
【図１】本発明の画像検索装置が備える手段の構成例を示すブロック図。
【図２】オブジェクトが人物の場合の手段の構成例を示すブロック図。
【図３】人物情報の入力を促す画面の例を示す図。
【図４】キーワードとなる人物情報の提示方法の第１の例を示す図。
【図５】キーワードとなる人物情報の提示方法の第２の例を示す図
【図６】データベースに記録されるレコードの例を示す図。
【図７】人間関係を示す検索テンプレートの例を示す図。
【図８】人物検出とキーワード付与の処理手順を示すフローチャート。
【図９】検索を行う場合の処理手順を示すフローチャート。
【図１０】画像検索装置の構成例を示すブロック図。
【符号の説明】
１００  画像検索装置、１０１  画像入力検出手段、１０２  画像読取手段
１０３  静止画生成手段、１０４  オブジェクト認識手段
１０５  キーワード提示手段、１０６  オブジェクト情報入力手段
１０７  検索条件入力手段、１０８  表示手段、１０９  印刷手段
１１１  人物検出条件入力手段、１１２  顔画像検出手段
１１３  肌色領域検出手段、１１４  顔画像類似度判定手段
１１５  人物情報入力手段、１２０  データベース、１２１  検索テンプレート
１２２  動画、１２３  静止画
【図１】
2004234228.tif 000003
【図２】
2004234228.tif 000004
【図３】
2004234228.tif 000005
【図４】
2004234228.tif 000006
【図５】
2004234228.tif 000007
【図６】
2004234228.tif 000008
【図７】
2004234228.tif 000009
【図８】
2004234228.tif 000010
【図９】
2004234228.tif 000011
【図１０】
2004234228.tif 000012