(57)【要約】【課題】  キーワードの正確性が判別できるようにキーワードを付与することを課題とする。【解決手段】  インデクスファイルＩＤに、キーワードとともにそのキーワードに対応するオブジェクトを認識したオブジェクト認識プログラムＰ３のバージョン情報を記述する。キーワード更新部Ｐ１ｅがインデクスファイルＩＤに記述された各キーワードのバージョン情報と、使用可能なオブジェクト認識プログラムＰ３のバージョン情報とを比較し、後者のものが前者のものよりも新しいかどうかを判定する。そして、使用可能なオブジェクト認識プログラムＰ３のバージョン情報よりもインデクスファイルＩＤに記述された各キーワードのバージョン情報の方が古い画像データについては、使用可能なオブジェクト認識プログラムＰ３にてオブジェクト認識を行い、同オブジェクトに対応するキーワードをインデクスファイルＩＤに上書きする。【選択図】  図６
2007280106.tif 000002
【特許請求の範囲】
【請求項１】
画像データを取得する画像データ取得手段と、
上記画像データが示す画像からオブジェクトを認識するオブジェクト認識手段と、
認識されたオブジェクトに対応するキーワードを当該画像データに対応づけて記憶するキーワード付与手段と、
上記キーワードの固有情報を同キーワードに対応づけて記憶する固有情報付与手段とを具備することを特徴とする画像キーワード付与装置。
【請求項２】
上記画像データに対応づけられた上記キーワードに対応する上記固有情報が所定の要件を満足しない場合に、
使用可能な上記オブジェクト認識手段によって、上記画像データが示す画像からオブジェクトを認識し、
上記キーワード付与手段にて当該オブジェクトに対応する上記キーワードを当該画像データに対応づけて更新記憶させ、
上記固有情報付与手段によって、更新記憶させた当該キーワードの上記固有情報を当該キーワードに対応づけて記憶させるキーワード更新手段とを具備することを特徴とする請求項１に記載の画像キーワード付与装置。
【請求項３】
上記キーワード更新手段は、
上記画像データに対応づけられた上記キーワードに対応する上記固有情報が所定の要件を満足せず、かつ、ユーザーによる更新指示を受け付けた場合に、
上記キーワードおよび上記固有情報を更新記憶させることを特徴とする請求項２に記載の画像キーワード付与装置。
【請求項４】
上記固有情報は、
上記キーワードに対応するオブジェクトを認識した上記オブジェクト認識手段の新しさを示す情報であることを特徴とする請求項１から請求項３のいずれかに記載の画像キーワード付与装置。
【請求項５】
上記キーワード更新手段は、
使用可能な上記オブジェクト認識手段の新しさを示す情報を取得するとともに、
使用可能な上記オブジェクト認識手段の新しさが、上記固有情報が示す上記キーワードに対応するオブジェクトを認識した上記オブジェクト認識手段の新しさよりも新しい場合に、上記キーワードおよび上記固有情報を更新記憶させることを具備することを特徴とする請求項４に記載の画像キーワード付与装置。
【請求項６】
上記固有情報は、
上記キーワードを付与した上記オブジェクト認識手段の機器情報であることを特徴とする請求項１から請求項５のいずれかに記載の画像キーワード付与装置。
【請求項７】
上記キーワード更新手段は、
使用可能な上記オブジェクト認識手段の機器情報と、
上記機器情報と上記オブジェクト認識手段の優劣を規定した機器データベースとを取得するとともに、
使用可能な上記オブジェクト認識手段の上記機器情報が、上記固有情報が示す上記キーワードに対応するオブジェクトを認識した上記オブジェクト認識手段の上記機器情報よりも優れると上記機器データベースが規定する場合に、上記キーワードおよび上記固有情報を更新記憶させることを特徴とする請求項６に記載の画像キーワード付与装置。
【請求項８】
上記機器データベースにおいては上記キーワードのカテゴリーごとに異なる上記オブジェクト認識手段の優劣が規定されているとともに、
上記キーワード更新手段は、
使用可能な上記オブジェクト認識手段の機器情報と、
上記機器情報と上記オブジェクト認識手段の優劣を規定した機器データベースとを取得するとともに、
使用可能な上記オブジェクト認識手段の上記機器情報が、上記固有情報が示す上記キーワードに対応するオブジェクトを認識した上記オブジェクト認識手段の上記機器情報よりも優れると当該キーワードのカテゴリーについて上記機器データベースが規定する場合に、上記キーワードおよび上記固有情報を更新記憶させることを特徴とする請求項７に記載の画像キーワード付与装置。
【請求項９】
画像データを取得する画像データ取得し、
上記画像データが示す画像からオブジェクトを認識し、
そのオブジェクトに対応するキーワードを当該画像データに対応づけて記憶させ、
上記キーワードの固有情報を同キーワードに対応づけて記憶させることを特徴とする画像キーワード付与方法。
【請求項１０】
画像データを取得する画像データ取得機能と、
上記画像データが示す画像からオブジェクトを認識するオブジェクト認識機能と、
認識されたオブジェクトに対応するキーワードを当該画像データに対応づけて記憶するキーワード付与機能と、
上記キーワードの固有情報を同キーワードに対応づけて記憶する固有情報付与機能とをコンピュータに実行させることを特徴とする画像キーワード付与プログラム。
【請求項１１】
画像データを取得する画像データ取得手段と、
上記画像データが示す画像からオブジェクトを認識するオブジェクト認識手段と、
認識されたオブジェクトに対応するキーワードを当該画像データに対応づけて記憶するキーワード付与手段と、
上記キーワードの固有情報を同キーワードに対応づけて記憶する固有情報付与手段とを具備することを特徴とする画像キーワード付与装置と、
上記キーワードに基づいて上記画像データの検索を行う画像検索手段を具備することを特徴とする画像管理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像データに対するキーワードの付与に関する。
【背景技術】
【０００２】
従来、画像データに対してキーワードを付与し、そのキーワードを検索のキーとして検索を行ったり、分類を行ったりすることが行われていた。また、ユーザーが各画像データについてキーワードを指定することは煩雑であるため、オブジェクト認識技術を利用することにより画像データに含まれるオブジェクトに対応するキーワードを自動付与することも行われている（例えば、特許文献１、参照。）。
このような技術によれば、画像データについてキーワードを容易に付与することができ、大量の画像データの管理を容易なものとすることが可能であった。
【特許文献１】特開２００４−２３４２２８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上述したオブジェクト認識技術は技術的に難易度の高い技術であるため、現在においてもその認識精度が不十分である。そのため、オブジェクト認識の精度を向上させるためのバージョンアップが、年々行われている。各ユーザーにおいても、新たなオブジェクト認識技術が順次コンピュータに導入され、使用可能となっている。しかしながら、すでに画像データのデータベースが存在していれば新たにデータベースを作成する必要性がなく、古いオブジェクト認識技術によって付与された精度の低いキーワードで構成されたデータベースがそのまま使用されることがあった。従って、せっかく最新のオブジェクト認識技術を導入したにもかかわらず、精度の低いデータベースが存在しつづけるという問題があった。また、古いオブジェクト認識技術によって付与されたキーワードの更新を行おうとしても、そのキーワードがどのオブジェクト認識技術によって付与されたものかを判断することができず、全ての画像データについてキーワードを更新させなければならないという問題もあった。
この発明は、上記課題にかんがみてなされたものであり、キーワードの正確性が判別できるようにキーワードを付与することを目的とする。
【課題を解決するための手段】
【０００４】
こうした目的を達成するため、まず画像データ取得手段が画像データを取得する。オブジェクト認識手段は、上記画像データが示す画像からオブジェクトを認識する。すなわち、上記画像データにおいてどのようなオブジェクトが含まれているかを認識する。そして、キーワード付与手段は、認識されたオブジェクトに対応するキーワードを上記画像データに対応づけて記憶する。従って、ユーザーが各画像データについてキーワードを付与しなくても、各画像データに相応しいキーワードを付与することができる。
【０００５】
さらに、固有情報付与手段が備えられ、同固有情報付与手段が上記キーワードの固有情報を同キーワードに対応づけて記憶する。すなわち、上記画像データには上記キーワードと上記固有情報とが対応づけて記憶される。これにより、上記画像データの上記キーワードを識別することができるとともに、そのキーワードがどのようなものであるかを上記固有情報に基づいて特定することができる。従って、上記固有情報に基づいて上記キーワードのよしあしを判断することも可能となり、同キーワードの更新の必要性等を認識することができる。
【０００６】
上記画像データに上記キーワードと上記固有情報とを対応づけて記憶するにあたっては、複数の上記画像データのファイル名等とそれらに対応する上記キーワードと上記固有情報とがリスト化されたインデクスファイルによって記憶してもよい。例えば、テキストファイルによって各情報を記述してもよく、ＸＭＬ形式やＨＴＭＬ形式で記述することにより汎用性が高いものとすることができる。むろん、各画像データのヘッダ等に上記キーワードと上記固有情報を記述してもよく、この場合も上記画像データと上記キーワードと上記固有情報との対応関係を特定することができる。
【０００７】
上記オブジェクト認識手段がオブジェクトを認識する際に利用するオブジェクト認識技術は特に限定されるものではない。すなわち、本発明は不特定のオブジェクト認識技術によって上記キーワードが付与されることを想定したものであり、オブジェクト認識技術はどのようなものであってもよい。例えば、オブジェクトの標準パターンとの相関に基づいて判断するパターンマッチング法や、画像データから抽出した特徴量を統計的に解析することにより判別する統計的識別法等、種々の手法が適用され得るし、これらの手法に適用される多数のパラメータ等もバージョンアップ等によって無数に変動し得る。
【０００８】
また、上記キーワードがあまり良好なものでない場合、同キーワードを新たに付与することが望ましい。キーワード更新手段にて上記画像データに対応づけられた上記キーワードに対応する上記固有情報が所定の要件を満足すかどうかを判断し、同要件を満足しない場合には、使用可能な上記オブジェクト認識手段によって、上記記画像データが示す画像からオブジェクトを認識する。そして、そのオブジェクトに対応する上記キーワードを当該画像データに対応づけて更新記憶させる。これにより、良好でない上記キーワードを上記キーワード付与手段にて再度付与させることができる。上記オブジェクト認識手段がバージョンアップ等している場合には、より精度の高いキーワードを上記画像データに付与させることができる。また、新たに付与する上記キーワードについても、上記固有情報付与手段が上記固有情報を当該キーワードに対応づけて記憶させる。これにより、新たに付与された上記キーワードについての上記固有情報を得ることができ、当該新たなキーワードのよしあしを判断することができる。
【０００９】
上記画像データに対応づけられた上記キーワードに対応する上記固有情報が所定の要件を満足せず、さらにユーザーによる更新指示を受け付けた場合に上記キーワード更新手段が上記キーワードおよび上記固有情報を更新記憶させれば、ユーザーの意向にしたがって上記キーワードを更新記憶させることができる。例えば、ユーザーが現行のインデクスファイルを使い慣れている場合には、現行のインデクスファイルを存続させることができる。
【００１０】
上記固有情報は、対応する上記キーワードがどのようなものであるかを示す情報であればよく、その一例として、上記固有情報として上記キーワードに対応するオブジェクトを認識した上記オブジェクト認識手段の新しさを示す情報を記憶してもよい。これにより、上記キーワードに対応するオブジェクトを認識した上記オブジェクト認識手段が新しいものであるか古いものであるかを特定することができ、上記キーワードの正確性を推測することができる。すなわち、上記オブジェクト認識手段のバージョンが新しいものであれば新しいオブジェクト認識技術が採用されている可能性が高く、それにより付与された上記キーワードが正確であると推測できる。
【００１１】
上記固有情報が上記オブジェクト認識手段の新しさを示す場合、それよりも新しい上記オブジェクト認識手段が使用可能であるかどうかを判断する。すなわち、上記キーワード更新手段が使用可能な上記オブジェクト認識手段の新しさを示す情報を取得し、上記キーワードに対応付けられた上記固有情報が示す新しさと比較する。そして、使用可能な上記オブジェクト認識手段が、上記固有情報が示す上記キーワードに対応するオブジェクトを認識した上記オブジェクト認識手段よりも新しい場合に、上記キーワードおよび上記固有情報を更新記憶させる。
【００１２】
上記固有情報の別の一例として、上記固有情報として上記キーワードに対応するオブジェクトを認識した上記オブジェクト認識手段の機器情報を示す情報を記憶してもよい。これにより、上記キーワードに対応するオブジェクトを認識した上記オブジェクト認識手段がどのような特性を持つものであるかを特定することができ、上記キーワードの正確性を推測することができる。例えば、上記オブジェクト認識手段の製造元が上記機器情報に基づいて特定できれば、製造元に応じて当該キーワードの正確性を予測することも可能となる。また、上記オブジェクト認識手段が採用するオブジェクト認識技術の手法が上記機器情報に基づいて特定できれば、そのオブジェクト認識技術の高度性に応じて当該キーワードの正確性を予測することができる。なお、上記機器情報はハードウェア情報に限られず、ソフトウェア情報も含む概念である。
【００１３】
上記機器情報が上記固有情報として記憶される場合、予め上記機器情報と上記オブジェクト認識手段の優劣を規定した機器データベースを用意しておくことにより、上記機器情報に基づいて上記オブジェクト認識手段の優劣を判断することができる。上記機器データベースを参照することにより、使用可能な上記オブジェクト認識手段の上記機器情報が、上記固有情報が示す上記キーワードに対応するオブジェクトを認識した上記オブジェクト認識手段の上記機器情報よりも優れているかどうかを判断することができる。そして、使用可能な上記オブジェクト認識手段の上記機器情報の方が優れている場合に上記キーワードと上記固有情報を更新記憶させることにより、上記キーワードの正確性を向上させることができる。
【００１４】
さらに、上記キーワードのカテゴリーによって上記オブジェクト認識手段の優劣を異ならせてもよい。上記オブジェクト認識手段が採用するオブジェクト認識技術においては、オブジェクトのカテゴリーごとに正確に判別できたり、正確に判別できなかったりする場合がある。オブジェクト認識技術において使用される各パラメータがあるオブジェクトを判別するために最適化されており、他のオブジェクトの判別には不向きである場合があるからである。例えば、顔認識に優れた上記オブジェクト認識手段が顔以外のオブジェクトについて認識精度が劣る場合がある。この場合、顔に関するカテゴリーにおいては当該オブジェクト認識手段が優れると規定され、それ以外のカテゴリーにおいては当該オブジェクト認識手段が劣ると規定される。上記キーワード更新手段においては、上記キーワードのカテゴリーについて上記機器情報の優劣に基づいて判定を行うことにより、当該カテゴリーを得意とする上記オブジェクト認識手段によって上記キーワードを更新させることが可能となる。
【００１５】
むろん、以上の発明は、装置のみならず、請求項９のような画像キーワード付与方法によって実現することも可能であるし、請求項１０のように上記方法に従った処理を実行する画像キーワード付与プログラムによって実現することも可能である。また、本発明にかかる装置、方法、プログラムは単独で実施される場合もあるし、ある機器に組み込まれた状態で他の装置、方法、プログラムとともに実施されることもあるなど、発明の思想としてはこれに限らず、各種の態様を含むものであり、適宜、変更可能である。例えば、請求項１１のように、上記画像キーワード付与装置の各発明特定事項を組み込んだ画像管理装置においても本願発明が実現できることはいうまでもない。上記画像管理装置においては、画像検索手段が備えられ、同画像検索手段にて上記キーワードに基づく上記画像データの検索が行われる。
【００１６】
さらに、本発明のプログラムを記録した記録媒体として提供することも可能である。このプログラムの記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。また、一次複製品、二次複製品などの複製段階については全く問う余地無く同等である。さらに、一部がソフトウェアであって、一部がハードウェアで実現されている場合においても発明の思想において全く異なるものではなく、一部を記録媒体上に記憶しておいて必要に応じて適宜読み込まれるような形態のものとしてあってもよい。また、必ずしも全部の機能を単独のプログラムで実現するのではなく、複数のプログラムにて実現させるようなものであってもよい。この場合、各機能を複数のコンピュータに実現させるものであればよい。
【発明を実施するための最良の形態】
【００１７】
ここでは、下記の順序に従って本発明の実施形態について説明する。
（１）コンピュータの構成：
（２）画像ＤＢ更新処理：
（３）画像データ検索処理：
（４）キーワード更新処理：
（５）第２の実施形態： 
（６）まとめ：
【００１８】
（１）コンピュータの構成：
図１は、本発明の画像キーワード付与装置および画像管理装置としてのコンピュータの概略構成を示している。同図において、コンピュータ１０には、内部バス１０ａによって接続されたＣＰＵ１１とＲＡＭ１２とＨＤＤ１３とＵＳＢインターフェイス（Ｉ／Ｆ）１４と入力機器インターフェイス（Ｉ／Ｆ）１５とビデオインターフェイス（Ｉ／Ｆ）１６とが備えられており、ＨＤＤ１３には各種プログラムデータ１３ａと画像データベース（画像ＤＢ）１３ｂとテンプレートデータ１３ｃが記憶されている。ＣＰＵ１１は、このプログラムデータ１３ａを読み出して、同プログラムデータ１３ａに基づいた処理をＲＡＭ１２をワークエリアとして利用しながら実行する。ＵＳＢＩ／Ｆ１４にはプリンタ２０とデジタルスチルカメラ３０が接続されており、入力機器インターフェイス１５にはマウス４０およびキーボード５０が接続されている。さらに、ビデオＩ／Ｆ１６にはディスプレイ６０が接続されている。デジタルスチルカメラ３０のメモリカードに格納された多数の画像データ３０ａ，３０ａ，３０ａ・・・がＨＤＤ１３に転送される。
【００１９】
図２は、コンピュータ１０にて実行されるプログラムのソフトウェア構成を示している。同図において、オペレーティングシステム（Ｏ／Ｓ）が実行されており、同Ｏ／Ｓ上のアプリケーションプログラムとして、キーワード付与プログラムＰ１と画像検索プログラムＰ２とオブジェクト認識プログラムＰ３とが実行されている。Ｏ／Ｓが提供するインターフェイス機能によってこれらのプログラムを相互にデータやコマンドを授受することが可能となっている。キーワード付与プログラムＰ１は画像データ取得部Ｐ１ａとインデクスファイル記述部Ｐ１ｂと固有情報付与部Ｐ１ｃとデータベース更新部Ｐ１ｄとキーワード更新部Ｐ１ｅとから構成されている。
【００２０】
画像データ取得部Ｐ１ａは画像データ３０ａ，３０ａ，３０ａ・・・をデジタルスチルカメラ３０等から取得するとともに、この画像データ３０ａ，３０ａ，３０ａ・・・のファイル名を取得する。インデクスファイル記述部Ｐ１ｂは画像データ３０ａ，３０ａ，３０ａ・・・をオブジェクト認識プログラムＰ３に受け渡すとともに、オブジェクト認識プログラムＰ３から各画像データ３０ａ，３０ａ，３０ａ・・・のキーワードを受け付ける。インデクスファイル記述部Ｐ１ｂは、各画像データ３０ａ，３０ａ，３０ａ・・・のファイル名とオブジェクト認識プログラムＰ３から受け付けたキーワードをそれぞれ対応づけてインデクスファイルＩＤに記述する。
【００２１】
固有情報付与部Ｐ１ｃはキーワード付与プログラムＰ１のバージョン情報を取得し、インデクスファイルＩＤに記述された各画像データ３０ａ，３０ａ，３０ａ・・・のキーワードに当該バージョン情報を対応づけて記述する。データベース更新部Ｐ１ｄは、ＨＤＤ１２においてインデクスファイルＩＤが格納されたフォルダに各画像データ３０ａ，３０ａ，３０ａ・・・を一緒に格納することにより画像ＤＢ１３ｂを更新する。
【００２２】
キーワード更新部Ｐ１ｅは、オブジェクト認識プログラムＰ３のバージョン情報を問い合わせ、その返答を受け付ける。また、キーワード更新部Ｐ１ｅは、画像ＤＢ１３ｂに格納されたインデクスファイルＩＤを取得し、各画像データ３０ａ，３０ａ，３０ａ・・・のキーワードに対応づけて記述されたバージョン情報を取得する。そして、オブジェクト認識プログラムＰ３のバージョン情報の方がインデクスファイルＩＤに記述されたバージョン情報よりも新しい場合には、同バージョン情報が対応づけられた画像データ３０ａ，３０ａ，３０ａ・・・をオブジェクト認識プログラムＰ３に受け渡すとともに、オブジェクト認識プログラムＰ３から画像データ３０ａ，３０ａ，３０ａ・・・のキーワードを受け付ける。そして、受け付けられたキーワードをインデクスファイルＩＤに上書きする。固有情報付与部Ｐ１ｃは上書きした各キーワードについて、キーワード更新部Ｐ１ｅが受け付けたオブジェクト認識プログラムＰ３のバージョン情報を上書きする。
【００２３】
画像検索プログラムＰ２は、インデクスファイル取得部Ｐ２ａと検索部Ｐ２ｂと出力部Ｐ２ｃとから構成されている。インデクスファイル取得部Ｐ２ａは、ＨＤＤ１３の画像ＤＢ１３ｂに格納されたインデクスファイルＩＤを取得する。検索部Ｐ２ｂは、ディスプレイ６０に所定のＵＩ画面を表示させ、マウス４０とキーボード５０からユーザーが指定したキーワードを受け付ける。そして、インデックスファイルＩＤに記述されたキーワードがユーザーによって指定されたキーワードと一致する画像データ３０ａ，３０ａ，３０ａ・・・のファイル名を抽出する。出力部Ｐ２ｃは抽出されたファイル名を一覧化したＵＩ画面をディスプレイ６０に出力する。
【００２４】
オブジェクト認識プログラムＰ３は、キーワード付与プログラムＰ１から画像データ３０ａ，３０ａ，３０ａ・・・を取得するとともに、同画像データ３０ａ，３０ａ，３０ａ・・・とテンプレートデータ１３ｃに格納された各テンプレートとを比較する。そして、各画像データ３０ａ，３０ａ，３０ａ・・・と最もマッチングするテンプレートをそれぞれ検出するとともに、同テンプレートに対応するキーワードを取得する。なお、テンプレートデータ１３ｃには複数のテンプレートと、各テンプレートに対応するキーワードとが対応づけて記憶されたデータベースである。各テンプレートは例えば人物の顔等のオブジェクトに相当しており、オブジェクト認識プログラムＰ３は画像データ３０ａ，３０ａ，３０ａ・・・にてテンプレートとマッチングする領域をオブジェクトとして認識する。本実施形態においては、オブジェクト認識プログラムＰ３がテンプレートマッチングによってオブジェクトを認識するものとしたが本手法に限定されるものではない。なお、オブジェクト認識プログラムＰ３は予めインストールを行うことにより使用可能となっている。
【００２５】
（２）画像ＤＢ更新処理：
図３は、画像ＤＢ更新処理の流れを示している。ステップＳ１００においては、ＵＳＢＩ／Ｆ１４を介してデジタルスチルカメラ３０が接続され、同デジタルスチルカメラ３０のメモリカードに格納された画像データ３０ａ，３０ａ，３０ａ・・・が取得可能な状態となる。デジタルスチルカメラ３０が接続されると、キーワード付与プログラムＰ１が起動し、ステップＳ１１０にて画像データ取得部Ｐ１ａが画像データ３０ａ，３０ａ，３０ａ・・・をデジタルスチルカメラ３０から取得する。なお、本実施形態においてはデジタルスチルカメラ３０から画像データを取り込む際の処理の流れを一例として示すが、他の画像入力機器やインターネットや記憶媒体等を介して画像データが入力される際に画像ＤＢを更新／作成してもよい。
【００２６】
ステップＳ１２０においては、画像データ取得部Ｐ１ａが画像データ３０ａ，３０ａ，３０ａ・・・のヘッダ等を解析し、同画像データ３０ａ，３０ａ，３０ａ・・・のファイル名を取得する。ステップＳ１３０においてはインデクスファイル記述部Ｐ１ｂがＯ／Ｓを介してオブジェクト認識プログラムＰ３を起動させるとともに、同オブジェクト認識プログラムＰ３に各画像データ３０ａ，３０ａ，３０ａ・・・を受け渡す。ステップＳ１４０においては、オブジェクト認識プログラムＰ３における画像認識の結果として各画像データ３０ａ，３０ａ，３０ａ・・・のキーワードを受け付ける。オブジェクト認識プログラムＰ３においては各キーワードに対応したテンプレートを各画像データ３０ａ，３０ａ，３０ａ・・・とマッチングさせ、マッチングしたキーワードを各画像データ３０ａ，３０ａ，３０ａ・・・に対応づけて返答する。
【００２７】
ステップＳ１５０においては、インデクスファイル記述部Ｐ１ｂが、ステップＳ１２０にて取得した各画像データ３０ａ，３０ａ，３０ａ・・・のファイル名と、ステップＳ１４０にて返答された各画像データ３０ａ，３０ａ，３０ａ・・・のキーワードを対応づけてインデクスファイルＩＤに記述する。なお、本実施形態においてインデクスファイルＩＤはＸＭＬ形式とされており、ファイル名とキーワードがテキストとして記述されている。なお、インデクスファイルＩＤが作成されていない場合には、インデクスファイルを新たに作成し、ファイル名とキーワード等の記述を行う。
【００２８】
図４は、インデクスファイルＩＤの記述内容を示している。同図において、各画像データ３０ａ，３０ａ，３０ａ・・・について固有のｄａｔａＩＤが付与されており、その下位にファイル名とキーワードとが対応づけられて記述されている。これにより、インデクスファイルＩＤを読み込めば各画像データ３０ａ，３０ａ，３０ａ・・・とキーワードとの対応関係を特定することが可能となる。ステップＳ１６０においては、固有情報付与部Ｐ１ｃがステップＳ１４０においてキーワードを返答したオブジェクト認識プログラムＰ３に対してバージョン情報を問い合わせる。ステップＳ１７０においては、オブジェクト認識プログラムＰ３から返答されたバージョン情報をインデクスファイルＩＤに記述する。図４においては、各画像データ３０ａ，３０ａ，３０ａ・・・についてバージョン情報が対応づけて記述されている。なお、同図の例ではすべての画像データ３０ａ，３０ａ，３０ａ・・・について同一のオブジェクト認識プログラムＰ３にてキーワードに対応するオブジェクトが認識されており、同一のバージョン情報（１．０２）が記述されている。
【００２９】
以上のように記述されたインデクスファイルＩＤにおいては、各画像データ３０ａ，３０ａ，３０ａ・・・を識別するためのｄａｔａＩＤやファイル名に対してキーワードとバージョン情報を対応づけて記憶しておくことができる。従って、各キーワードに対応するオブジェクトがオブジェクト認識プログラムＰ３のどのバージョンによって認識されたかを読み取ることが可能となる。一般的には、バージョンが新しいほどオブジェクト認識プログラムＰ３における認識精度が向上するため、各キーワードのよしあしを間接的に判断することが可能となる。なお、ユーザーが実際に画像データの内容を確認し、キーワードをマニュアル入力することができるようにしてもよい。この場合は、バージョン情報としてマニュアル入力である旨の記述をしておく。
【００３０】
ステップＳ１８０においては、データベース更新部Ｐ１ｄがＨＤＤ１２においてインデクスファイルＩＤが格納されたフォルダに各画像データ３０ａ，３０ａ，３０ａ・・・を一緒に格納する。これにより、画像ＤＢ１３ｂに画像データが追加され、インデクスファイルＩＤと画像データ３０ａ，３０ａ，３０ａ・・・が対応づけて管理されることとなる。画像ＤＢ１３ｂが予め作成されていない場合には、データベース更新部Ｐ１ｄが新たなフォルダを作成し、同フォルダにインデクスファイルＩＤと画像データ３０ａ，３０ａ，３０ａ・・・を一緒に格納することにより、画像ＤＢ１３ｂを新規に作成する。
【００３１】
なお、本実施形態においては同時に取り込んだ画像データ３０ａ，３０ａ，３０ａ・・・とインデクスファイルＩＤを同一フォルダに格納するが、本発明において画像ＤＢ１３ｂのフォルダ構造は特に限定されるものではない。インデクスファイルＩＤは、キーワード付与プログラムＰ１と画像検索プログラムＰ２が管理可能なフォルダに記憶されればよく、画像データと別のフォルダに格納されてもよい。また、各画像データが同一のフォルダに格納される必要もなく、ユーザーの指定や取り込み時期やキーワード等に応じて異なるフォルダに振り分けてもよい。その場合、各画像データの格納場所もインデクスファイルＩＤに対応づけて記述すれば、容易に所望の画像データを検索することができる。
【００３２】
（３）画像検索処理：
図５は、画像検索処理の流れを示している。ステップＳ２００においては、画像検索プログラムＰ２の出力部Ｐ２ｃが所定のＵＩ画面をディスプレイ６０に表示させ、マウス４０とキーボード５０を介してユーザーから検索キーワードの入力を受け付ける。ステップＳ２１０においては、インデクスファイル取得部Ｐ２ａがインデクスファイルＩＤを取得する。そして、ステップＳ２２０においては、指定されたキーワードが対応づけられて記述されている画像データをインデクスファイルＩＤにおいて検索し、そのファイル名を抽出する。そして、ステップＳ２３０においては、出力部Ｐ２ｃが抽出したファイル名を一覧化したＵＩ画面を生成し、ディスプレイ６０にて表示させる。
【００３３】
（４）キーワード更新処理：
図６は、キーワード更新処理の流れを示している。キーワード更新処理は、キーワード更新部Ｐ１ｅが定期的に実行してもよいし、オブジェクト認識プログラムＰ３が新たにインストールされたりバージョンアップされた際に実行してもよいし、ユーザーが任意のタイミングで実行してもよいし、画像検索処理を行う際に実行してもよい。なお、本実施形態においては、キーワード更新処理を行う段階でオブジェクト認識プログラムＰ３がバージョンアップされているものとし、その後ユーザーがキーワード更新処理の実行させたものとして説明する。従って、本実施形態において使用可能なオブジェクト認識プログラムＰ３はバージョンアップ後のものである。ステップＳ３００においては、キーワード更新部Ｐ１ｅがＯ／Ｓを介してオブジェクト認識プログラムＰ３にバージョン情報の問い合わせを行い、その返答を受け付ける。ステップＳ３１０においては、画像ＤＢ１３ｂに記憶されたインデクスファイルＩＤを取得する。
【００３４】
ステップＳ３２０においてはキーワード更新部Ｐ１ｅがインデクスファイルＩＤに記述された各キーワードのバージョン情報と、ステップＳ３００にて取得した使用可能なオブジェクト認識プログラムＰ３のバージョン情報とを比較し、後者のものが前者のものよりも新しいかどうかを判定する。そして、ステップＳ３３０では、ステップＳ３００にて取得した使用可能なオブジェクト認識プログラムＰ３のバージョン情報よりもインデクスファイルＩＤに記述された各キーワードのバージョン情報の方が古いものをリストアップする。
【００３５】
図７は、インデクスファイルＩＤの記述内容の一例を示している。同図の例では、インデクスファイルＩＤにおいて異なるバージョン情報が対応づけられた画像データが混在していることが示されている。上述したとおりオブジェクト認識プログラムＰ３はバージョンアップをしており、同バージョンアップ前に取り込んだ画像データのキーワードには古いバージョンのバージョン情報（１．０２）が対応づけられており、同バージョンアップ後に取り込んだ画像データのキーワードには新しいバージョン情報（１．１２）が対応づけられている。バージョン情報はバージョン番号を意味し、通常、バージョン番号の数値が大きいほどオブジェクト認識プログラムＰ３のバージョンが新しいことを意味する。ステップＳ３００においては現行の新しいバージョン情報（１．１２）が取得されているため、ここではそれよりも古いバージョン情報（１．０２）が対応づけられた画像データがリストアップされることとなる。ステップＳ３４０では所定のＵＩ画面をディスプレイ６０にて表示させる。なお、キーワードをユーザーがマニュアル入力した旨のバージョン情報が記述された場合には、そのバージョン情報はいかなるバージョン情報よりも新しいとして取り扱うものとする。ユーザーがマニュアル入力したものは極めて正確であるため、そのキーワードの更新を行う必要性がないからである。
【００３６】
図８は、ステップＳ３４０にて表示されるＵＩ画面を示している。同図において、ステップＳ３３０にてリストアップされた画像データのファイル名と現行のキーワードとサムネイル表示が一覧化されている。そして、各画像データに対してキーワードの更新を許可するためのチェックボックスが設けられており、同チェックボックスにチェックを入れ、実行ボタンをクリックすることにより、チェックされた画像データのキーワード更新を許可することができる。例えば、ユーザーが現行のキーワードに満足している場合には、キーワード更新許可がチェックされないこととなる。
【００３７】
ステップＳ３５０においては、キーワード更新部Ｐ１ｅが、キーワード更新が許可された画像データを画像ＤＢ１３ｂから取得するとともに、これらの画像データをステップＳ１３０と同様にオブジェクト認識プログラムＰ３に各画像データ３０ａ，３０ａ，３０ａ・・・を受け渡す。ステップＳ３６０においては、ステップＳ１４０と同様にオブジェクト認識プログラムＰ３における画像認識の結果として各画像データのキーワードを受け付ける。ステップＳ３７０においては、返答された各画像データのキーワードをインデックスファイルＩＤの各画像データのキーワードに上書きする。
【００３８】
これにより、古いバージョン情報（１．０２）のオブジェクト認識プログラムＰ３によって認識されたオブジェクトに対応するキーワードであってユーザーが更新を許可したものを、使用可能な新しいバージョン情報（１．１２）のオブジェクト認識プログラムＰ３によって認識されたオブジェクトに対応するキーワードに更新記憶させることができる。オブジェクト認識プログラムＰ３のバージョンアップによってオブジェクト認識精度が向上すると考えることができ、キーワードが正確にすることができる。また、古いバージョン情報（１．０２）のオブジェクト認識プログラムＰ３によってオブジェクトが認識された画像データについてのみオブジェクト認識プログラムＰ３によってオブジェクト認識させることができるため、演算処理量を抑制することができる。
【００３９】
インデクスファイルＩＤに記述されたキーワードの精度が向上するため、今後実行される画像検索処理における検索精度も向上させることができる。ステップＳ３８０においては、キーワードを更新した画像データについてのバージョン情報を、ステップＳ３６０にて当該キーワードに対応するオブジェクトを認識したオブジェクト認識プログラムＰ３の新しいバージョン情報（１．１２）に更新する。これにより、キーワードを更新した画像データについても適正なバージョン情報を記述しておくことが可能となり、今後の実行されるキーワード更新処理にて利用することが可能となる。
【００４０】
（５）第２の実施形態：
図９は、第２の実施形態にかかる画像キーワード付与装置および画像管理装置としてのコンピュータの概略構成を示している。同図において、コンピュータ１１０は前実施形態とほぼ同様の構成とされているが、ＨＤＤ１１３において機器データベース（ＤＢ）１１３ｄが記憶されている点と、ＬＡＮインターフェイス（Ｉ／Ｆ）１１７およびＷＡＮインターフェイス（Ｉ／Ｆ）１８０を経由して外部のインターネット１９０に接続できる点において相違している。画像ＤＢ更新処理と画像データ検索処理については前実施形態とほぼ同様であるため説明は省略する。
【００４１】
図１０は、本実施形態において行われるキーワード更新処理の流れを示している。ステップＳ１３００においては、キーワード更新部Ｐ１ｅがＯ／Ｓを介してオブジェクト認識プログラムＰ３に機器情報およびバージョン情報の問い合わせを行い、その返答を受け付ける。本実施形態においては、機器情報としてオブジェクト認識プログラムＰ３の機器コードが取得される。機器コードはオブジェクト認識プログラムＰ３の各提供元が付与する固有の番号であり、同機器コードに基づいて提供元や製品名等を特定することが可能となっている。ステップＳ１３１０においては、画像ＤＢ１１３ｂに記憶されたインデクスファイルＩＤを取得する。
【００４２】
図１１は、本実施形態において作成されるインデクスファイルＩＤの一例を示している。同図において、各画像データについてキーワードとバージョン情報と機器コード（ＡＢＣやＥＦＧ）が記述されている。すなわち、前実施形態とほぼ同様に実行される画像ＤＢ更新処理において、固有情報付与部Ｐ１ｃがオブジェクト認識プログラムＰ３に対してバージョン情報とともに機器コードを問い合わせ、返答されたバージョン情報と機器コードをインデクスファイルＩＤに併記する。このようにすることにより、バージョン情報と機器コードとがキーワードに対応づけられたインデクスファイルＩＤを作成することができる。ステップＳ１３２０においては、ＬＡＮＩ／Ｆ１１７およびＷＡＮＩ／Ｆ１８０を経由してインターネット１９０上の機器データベース提供サーバにアクセスする。そして、同機器データベース提供サーバにて提供されている最新の機器ＤＢ１１３ｄをダウンロードし、ＨＤＤ１１３に記憶する。ステップＳ１３３０においてはダウンロードした機器ＤＢ１１３ｄをＨＤＤ１１３から取得する。
【００４３】
図１２は、機器ＤＢ１１３ｄの一例を示している。同図において、各キーワードが属するカテゴリーが定義されており、カテゴリーごとにオブジェクト認識プログラムＰ３のオブジェクト認識精度がランクづけされている。ここでは各オブジェクト認識プログラムＰ３が機器コードとバージョン情報によって識別されている。例えば、あるオブジェクト認識プログラムＰ３のあるバージョンは顔認識に重点をおいて各パラメータのセッティングがなされており、顔認識については認識精度が優れているが、他のオブジェクトについては認識精度が劣る場合がある。このようなオブジェクト認識プログラムＰ３については、顔のカテゴリーについては高いランクが付けられ、他のオブジェクトについては低いランクが付けられている。例えば、図１２において機器コードＨＩＪのオブジェクト認識プログラムＰ３はいずれのバージョンにおいても動物の認識精度が高く、人物の顔の認識精度が低いことがわかる。機器コードはオブジェクト認識プログラムＰ３固有の番号であるため、機器ＤＢ１１３ｄにおいて機器コードとバージョン情報を使用することにより、オブジェクト認識プログラムＰ３を一意に特定することができる。機器コードとバージョン情報によれば、オブジェクト認識プログラムＰ３の提供元と製品名とバージョンを特定することができ、製品名やバージョンごとの認識特性に応じたランクづけをカテゴリーごとに行うことができる。
【００４４】
ステップＳ１３４０においては、インデクスファイルＩＤに記述された各画像データに対応するキーワードのカテゴリーを機器ＤＢ１１３ｄにて特定する。例えば、画像データ“ａｃｂｄ．ｊｐｇ”に対応づけられたキーワードは“太郎の顔”であるため、そのカテゴリーが“人物の顔”と特定される。次に、機器ＤＢ１１３ｄを参照して当該カテゴリーのランク順位を取得する。そして、当該カテゴリーのランク順位において、当該キーワードに対応づけて記述されたバージョン情報と機器コードに対応するランクと、ステップＳ１３００にて取得した使用可能なオブジェクト認識プログラムＰ３のバージョン情報と機器コードに対応するランクのどちらが高いかを判定する。すなわち、当該キーワードのカテゴリーにおいて、当該キーワードに対応するオブジェクトを認識したオブジェクト認識プログラムＰ３と、現在使用可能なオブジェクト認識プログラムＰ３のどちらの認識精度が優れているかを画像データごとに判定していく。ステップＳ１３５０では、現在使用可能なオブジェクト認識プログラムＰ３の方が、認識精度が優れていると判定された画像データをリストアップする。
【００４５】
ステップＳ１３６０においては、リストアップされた画像データを画像ＤＢ１３ｂから取得するとともに、これらの画像データをオブジェクト認識プログラムＰ３に受け渡す。ステップＳ１３７０においては、オブジェクト認識プログラムＰ３における画像認識の結果として各画像データのキーワードを受け付ける。ステップＳ１３８０においては、ステップＳ１３７０にてオブジェクト認識プログラムＰ３から返答された各画像データのキーワードと、現在インデクスファイルＩＤに記述されているキーワードとを対比させて表示するＵＩ画面を生成し、ディスプレイ１６０に出力させる。
【００４６】
図１３は、ステップＳ１３８０にて表示させるＵＩ画面の一例を示している。同図において、各画像データのサムネイルとファイル名とともに、ステップＳ１３７０にてオブジェクト認識プログラムＰ３から返答された各画像データのキーワードと現在インデクスファイルＩＤに記述されているキーワードを対比して示している。そして、新しいキーワードへの更新を許可するためのチェックボックスが設けられており、ユーザーがチェックすることが可能となっている。ステップＳ１３９０においては、ステップＳ１３７０にてオブジェクト認識プログラムＰ３から返答されたキーワードが選択された画像データについて、そのキーワードで元のキーワードを上書きする。
【００４７】
このように、双方のオブジェクト認識プログラムＰ３にて認識したキーワードをユーザーに選択させれば、ユーザーが好ましいキーワードを選択することができる。どのオブジェクト認識プログラムＰ３がどのカテゴリーのオブジェクト認識を得意としているかを一般のユーザーが判断することは難しいが、機器ＤＢ１１３ｄによれば各カテゴリーについて適切なオブジェクト認識プログラムＰ３によるキーワードを付与することができる。オブジェクト認識プログラムＰ３は、年々新たなものが開発される質のものであるが、機器ＤＢ１１３ｄをインターネットから取得することにより、最新のランクづけによって判定を行うことができる。排他的なインストールを要求しない場合、オブジェクト認識プログラムＰ３は単一のコンピュータに複数インストールされている場合もある。この場合、使用可能な複数のオブジェクト認識プログラムＰ３のうち最もバージョンが新しかったり、認識精度のランクが高いものと比較を行うようにすればよい。
【００４８】
（６）まとめ：
インデクスファイルＩＤに、キーワードとともにそのキーワードに対応するオブジェクトを認識したオブジェクト認識プログラムＰ３のバージョン情報を記述する。キーワード更新部Ｐ１ｅがインデクスファイルＩＤに記述された各キーワードのバージョン情報と、使用可能なオブジェクト認識プログラムＰ３のバージョン情報とを比較し、後者のものが前者のものよりも新しいかどうかを判定する。そして、使用可能なオブジェクト認識プログラムＰ３のバージョン情報よりもインデクスファイルＩＤに記述された各キーワードのバージョン情報の方が古い画像データについては、使用可能なオブジェクト認識プログラムＰ３にてオブジェクト認識を行い、同オブジェクトに対応するキーワードをインデクスファイルＩＤに上書きする。
【図面の簡単な説明】
【００４９】
【図１】コンピュータのハードウェア構成図である。
【図２】プログラムのソフトウェア構成図である。
【図３】画像ＤＢ更新処理の流れを示すフローチャートである。
【図４】インデクスファイルＩＤを示す図である。
【図５】画像検索処理の流れを示すフローチャートである。
【図６】キーワード更新処理の流れを示すフローチャートである。
【図７】インデクスファイルＩＤを示す図である。
【図８】ＵＩ画面の一例を示す図である。
【図９】第２の実施形態のコンピュータのハードウェア構成図である。
【図１０】第２の実施形態のキーワード更新処理の流れを示すフローチャートである。
【図１１】第２の実施形態のインデクスファイルＩＤを示す図である。
【図１２】機器ＤＢを示す表である。
【図１３】ＵＩ画面の一例を示す図である。
【符号の説明】
【００５０】
１０，１１０…コンピュータ，１０ａ，１１０ａ…バス，１１，１１１…ＣＰＵ，１２，１１２…ＲＡＭ，１３，１１３…ＨＤＤ，１３ａ，１１３ａ…プログラムデータ，１３ｂ，１１３ｂ…画像ＤＢ，１３ｃ，１１３ｃ…テンプレートデータ，１１３ｄ…機器ＤＢ，１４，１１４…ＵＳＢＩ／Ｆ，１５，１１５…入力機器Ｉ／Ｆ，１６，１１６…ビデオＩ／Ｆ，１１７…ＬＡＮＩ／Ｆ，４０，１４０…マウス，５０，１５０…キーボード，６０，１６０…ディスプレイ，Ｐ１…キーワード付与プログラム，Ｐ１ａ…画像データ取得部，Ｐ１ｂ…インデクスファイル記述部，Ｐ１ｃ…固有情報付与部，Ｐ１ｄ…データベース更新部，Ｐ１ｅ…キーワード更新部，Ｐ２…画像検索プログラム，Ｐ２ａ…インデクスファイル取得部，Ｐ２ｂ…検索部，Ｐ２ｃ…出力部，Ｐ３…オブジェクト認識プログラム
【図１】
2007280106.tif 000003
【図２】
2007280106.tif 000004
【図３】
2007280106.tif 000005
【図４】
2007280106.tif 000006
【図５】
2007280106.tif 000007
【図６】
2007280106.tif 000008
【図７】
2007280106.tif 000009
【図８】
2007280106.tif 000010
【図９】
2007280106.tif 000011
【図１０】
2007280106.tif 000012
【図１１】
2007280106.tif 000013
【図１２】
2007280106.tif 000014
【図１３】
2007280106.tif 000015