(57)【要約】【課題】メタデータ付与の処理時間を短縮する。【解決手段】サーバ１１に対してテキストデータとともに画像が入力されると、領域抽出部３６は、特徴量ＤＢ４３に格納されている特徴量一覧テーブルのいずれかのカテゴリに属す領域を抽出するとともに、抽出した特徴量のカテゴリを判定する。特徴量取得部３７は、領域抽出部３６で抽出された領域の特徴量を取得する。キーワード抽出部３８は、テキストデータの中から、領域抽出部３６で抽出された領域に係るカテゴリのキーワードを抽出する。キーワード選定部３９は、テキストＤＢ４２及び特徴量ＤＢ４３にアクセスして、キーワード抽出部３８で抽出されたキーワードに対応する特徴量だけを参照しながらキーワードを選定する。メタデータ付与部４０は、選定されたキーワードをメタデータとして画像に付与する。【選択図】図１０
2009217742.tif 000002
【特許請求の範囲】
【請求項１】
画像とともに入力されたテキストデータに基づいて前記画像にメタデータを付与するメタデータ付与装置において、
前記画像の中から所定のカテゴリに属す領域を抽出するとともに、抽出された領域が属すカテゴリを判定する領域抽出部と、
前記テキストデータの中から、前記領域抽出部で判定されたカテゴリのキーワードだけを抽出するキーワード抽出部と、
画像の特徴量とキーワードとを関連付けて記憶したデータベースを参照して、前記キーワード抽出部で抽出されたキーワードと関連付けられた特徴量の中で、前記領域抽出部で抽出された領域の特徴量と最も類似する特徴量に関連付けられたキーワードを、前記画像に付与するメタデータとして選定するキーワード選定部とを備えたことを特徴とするメタデータ付与装置。
【請求項２】
画像とともに入力されたテキストデータに基づいて前記画像にメタデータを付与するメタデータ付与方法において、
領域抽出部で、前記画像の中から所定のカテゴリに属す領域を抽出するとともに、抽出された領域が属すカテゴリを判定する領域抽出ステップと、
キーワード抽出部で、前記テキストデータの中から、前記領域抽出ステップで判定されたカテゴリのキーワードだけを抽出するキーワード抽出ステップと、
画像の特徴量とキーワードとを関連付けて記憶したデータベースを参照して、前記キーワード抽出ステップで抽出されたキーワードと関連付けられた特徴量の中で、前記領域抽出ステップで抽出された領域の特徴量と最も類似する特徴量に関連付けられたキーワードを、前記画像に付与するメタデータとしてキーワード選定部で選定するキーワード選定ステップとを備えたことを特徴とするメタデータ付与方法。
【請求項３】
画像とともに入力されたテキストデータに基づいて前記画像にメタデータを付与するメタデータ付与装置のコンピュータに、
前記画像の中から所定のカテゴリに属す領域を抽出するとともに、抽出された領域が属すカテゴリを判定する領域抽出ステップと、
前記テキストデータの中から、前記領域抽出ステップで判定されたカテゴリのキーワードだけを抽出するキーワード抽出ステップと、
画像の特徴量とキーワードとを関連付けて記憶したデータベースを参照して、前記キーワード抽出ステップで抽出されたキーワードと関連付けられた特徴量の中で、前記領域抽出ステップで抽出された領域の特徴量と最も類似する特徴量に関連付けられたキーワードを、前記画像に付与するメタデータとして選定するキーワード選定ステップとを実行させるためのメタデータ付与プログラム。
【請求項４】
画像とともに入力されたテキストデータに基づいて前記画像にメタデータを付与するメタデータ付与装置において、
前記画像の中から顔領域を抽出する領域抽出部と、
前記テキストデータの中から人名に係るキーワードを抽出するキーワード抽出部と、
画像の特徴量と人名に係るキーワードとを関連付けて記憶したデータベースを参照して、前記キーワード抽出部で抽出されたキーワードと関連付けられた特徴量の中で、前記領域抽出部で抽出された顔領域の特徴量と最も類似する特徴量に関連付けられたキーワードを、前記画像に付与するメタデータとして選定するキーワード選定部とを備えたことを特徴とするメタデータ付与装置。
【請求項５】
画像とともに入力されたテキストデータに基づいて前記画像にメタデータを付与するメタデータ付与方法において、
領域抽出部で、前記画像の中から顔領域を抽出する領域抽出ステップと、
キーワード抽出部で、前記テキストデータの中から人名に係るキーワードを抽出するキーワード抽出ステップと、
画像の特徴量と人名に係るキーワードとを関連付けて記憶したデータベースを参照して、前記キーワード抽出ステップで抽出されたキーワードと関連付けられた特徴量の中で、前記領域抽出ステップで抽出された顔領域の特徴量と最も類似する特徴量に関連付けられたキーワードを、前記画像に付与するメタデータとしてキーワード選定部で選定するキーワード選定ステップとを備えたことを特徴とするメタデータ付与方法。
【請求項６】
画像とともに入力されたテキストデータに基づいて前記画像にメタデータを付与するメタデータ付与装置のコンピュータに、
前記画像の中から顔領域を抽出する領域抽出ステップと、
前記テキストデータの中から人名に係るキーワードを抽出するキーワード抽出ステップと、
画像の特徴量と人名に係るキーワードとを関連付けて記憶したデータベースを参照して、前記キーワード抽出ステップで抽出されたキーワードと関連付けられた特徴量の中で、前記領域抽出ステップで抽出された顔領域の特徴量と最も類似する特徴量に関連付けられたキーワードを、前記画像に付与するメタデータとして選定するキーワード選定ステップとを実行させるためのメタデータ付与プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像にメタデータを付与するメタデータ付与方法及び装置、並びにメタデータ付与プログラムに関する。
【背景技術】
【０００２】
最近、携帯電話やパーソナルコンピュータなどの情報端末機器の普及によって、画像を大量且つ容易に得ることが可能になってきた。これに伴い、不特定多数のユーザが画像を自由に登録・検索することができ、ユーザ同士で情報を共有するという新しい概念（いわゆるＷｅｂ２．０）が生まれており、フリッカー（flickr、登録商標）と呼ばれるユーザ参加型の画像共有サービスや、はてなブックマーク、ウィキペディアといったフリー百科事典が既に実用化されている。
【０００３】
上記のように画像を登録・検索するシステムでは、膨大な画像の中から、ユーザが所望する画像を効率的に検索するために、単語（タグ、付帯情報）をメタデータとして画像に付与している。このようなシステムは、フォークソノミー（folksonomy）と呼ばれている。
【０００４】
ところで、画像を検索する際には、それぞれの画像に的確且つ十分な数のメタデータが付与されているか否かというメタデータの質が検索結果を左右する重要な要素となるが、メタデータの質を高めるためには、画像を登録するユーザと検索するユーザとの間でイメージの齟齬を埋め、画像を登録するユーザが語彙を増やして、より柔軟な発想をしなければならない。このため、メタデータの付与を行う技術が種々提案されている（例えば、特許文献１〜３参照）。
【０００５】
特許文献１に記載の発明では、画像を説明するテキストデータから抽出したキーワードの中から画像との適合度が高いキーワードを選定し、選定したキーワードをメタデータとして画像に付与している。
【０００６】
特許文献２に記載の発明では、画像の特徴量とキーワードとが関連付けられて登録されているデータベースを参照することで、画像から抽出された特徴量に対応するキーワードを検索し、検索されたキーワードをメタデータとして画像に付与している。
【０００７】
特許文献３に記載の発明では、画像から抽出された特徴量に基づいて、類似する画像をデータベースから検索し、検索された画像に付されたキーワードと同一のキーワードを画像に付与している。
【特許文献１】特開２００３−２２８５６９号公報
【特許文献２】特開平１０−３２６２７８号公報
【特許文献３】特開２００４−２３４２２８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１に記載の発明では、抽出されたキーワードの個数が多くなればなるほど、重要なキーワードを選定することが難しくなるとともに、キーワードの選定処理に時間が掛かる。
【０００９】
特許文献２、３に記載の発明では、データベースに登録されているデータ量が多ければ質の高いメタデータが付与されるが、データ量が多くなればなるほど、キーワードの検索処理に時間が掛かる。
【００１０】
本発明は、上記課題を鑑みてなされたものであり、処理時間を短縮したメタデータ付与方法及び装置、並びにメタデータ付与プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明のメタデータ付与装置は、画像とともに入力されたテキストデータに基づいて前記画像にメタデータを付与するメタデータ付与装置であって、前記画像の中から所定のカテゴリに属す領域を抽出するとともに、抽出された領域が属すカテゴリを判定する領域抽出部と、前記テキストデータの中から、前記領域抽出部で判定されたカテゴリのキーワードだけを抽出するキーワード抽出部と、画像の特徴量とキーワードとを関連付けて記憶したデータベースを参照して、前記キーワード抽出部で抽出されたキーワードと関連付けられた特徴量の中で、前記領域抽出部で抽出された領域の特徴量と最も類似する特徴量に関連付けられたキーワードを、前記画像に付与するメタデータとして選定するキーワード選定部とを備えている。
【００１２】
本発明のメタデータ付与方法は、画像とともに入力されたテキストデータに基づいて前記画像にメタデータを付与するメタデータ付与方法であって、領域抽出部で、前記画像の中から所定のカテゴリに属す領域を抽出するとともに、抽出された領域が属すカテゴリを判定する領域抽出ステップと、キーワード抽出部で、前記テキストデータの中から、前記領域抽出ステップで判定されたカテゴリのキーワードだけを抽出するキーワード抽出ステップと、画像の特徴量とキーワードとを関連付けて記憶したデータベースを参照して、前記キーワード抽出ステップで抽出されたキーワードと関連付けられた特徴量の中で、前記領域抽出ステップで抽出された領域の特徴量と最も類似する特徴量に関連付けられたキーワードを、前記画像に付与するメタデータとしてキーワード選定部で選定するキーワード選定ステップとを備えている。
【００１３】
本発明のメタデータ付与プログラムは、画像とともに入力されたテキストデータに基づいて前記画像にメタデータを付与するメタデータ付与装置のコンピュータに、前記画像の中から所定のカテゴリに属す領域を抽出するとともに、抽出された領域が属すカテゴリを判定する領域抽出ステップと、前記テキストデータの中から、前記領域抽出ステップで判定されたカテゴリのキーワードだけを抽出するキーワード抽出ステップと、画像の特徴量とキーワードとを関連付けて記憶したデータベースを参照して、前記キーワード抽出ステップで抽出されたキーワードと関連付けられた特徴量の中で、前記領域抽出ステップで抽出された領域の特徴量と最も類似する特徴量に関連付けられたキーワードを、前記画像に付与するメタデータとして選定するキーワード選定ステップとを実行させるためのものである。
【００１４】
本発明の別のメタデータ付与装置は、画像とともに入力されたテキストデータに基づいて前記画像にメタデータを付与するメタデータ付与装置であって、前記画像の中から顔領域を抽出する領域抽出部と、前記テキストデータの中から人名に係るキーワードを抽出するキーワード抽出部と、画像の特徴量と人名に係るキーワードとを関連付けて記憶したデータベースを参照して、前記キーワード抽出部で抽出されたキーワードと関連付けられた特徴量の中で、前記領域抽出部で抽出された顔領域の特徴量と最も類似する特徴量に関連付けられたキーワードを、前記画像に付与するメタデータとして選定するキーワード選定部とを備えている。
【００１５】
本発明の別のメタデータ付与方法は、画像とともに入力されたテキストデータに基づいて前記画像にメタデータを付与するメタデータ付与方法であって、領域抽出部で、前記画像の中から顔領域を抽出する領域抽出ステップと、キーワード抽出部で、前記テキストデータの中から人名に係るキーワードを抽出するキーワード抽出ステップと、画像の特徴量と人名に係るキーワードとを関連付けて記憶したデータベースを参照して、前記キーワード抽出ステップで抽出されたキーワードと関連付けられた特徴量の中で、前記領域抽出ステップで抽出された顔領域の特徴量と最も類似する特徴量に関連付けられたキーワードを、前記画像に付与するメタデータとしてキーワード選定部で選定するキーワード選定ステップとを備えている。
【００１６】
本発明の別のメタデータ付与プログラムは、画像とともに入力されたテキストデータに基づいて前記画像にメタデータを付与するメタデータ付与装置のコンピュータに、前記画像の中から顔領域を抽出する領域抽出ステップと、前記テキストデータの中から人名に係るキーワードを抽出するキーワード抽出ステップと、画像の特徴量と人名に係るキーワードとを関連付けて記憶したデータベースを参照して、前記キーワード抽出ステップで抽出されたキーワードと関連付けられた特徴量の中で、前記領域抽出ステップで抽出された顔領域の特徴量と最も類似する特徴量に関連付けられたキーワードを、前記画像に付与するメタデータとして選定するキーワード選定ステップとを実行させるためのものである。
【発明の効果】
【００１７】
本発明のメタデータ付与方法及び装置、並びにメタデータ付与プログラムによれば、キーワードを選定する際に参照するデータの数を限定したから、キーワードを選定する処理時間を短縮することができる。
【発明を実施するための最良の形態】
【００１８】
図１において、メタデータ付与装置は、メタデータ付与プログラム４１（図３参照）のインストールによってサーバ１１に構築される形式で実現される。メタデータ付与装置は、画像とともに入力されたテキストデータから抽出されたキーワードを、画像の特徴量に基づいて選定し、選定されたキーワードをメタデータとして画像に付与する。本実施形態では、画像５０（図８参照）とともにテキストデータ「人気アイドルの○本Ａ美（１９）と△原Ｂ子（１８）が、初のコラボ写真集を発売することになった。撮影は、宮本Ｋ太郎氏（２６）のもと順調に進んでいる。」が入力された場合を説明する。
【００１９】
サーバ１１は、インターネット１２を媒介して接続されたクライアント端末１３とともに、ネットワークシステム１４を構成する。クライアント端末１３は、例えば周知のパーソナルコンピュータやワークステーションであり、各種操作画面などを表示するモニタ１５と、操作信号を出力するマウス１６及びキーボード１７からなる操作部１８とを備えている。操作部１８は、テキストデータをサーバ１１に入力するときに操作される。
【００２０】
クライアント端末１３には、デジタルカメラ１９で撮影して得られた画像や、メモリカードやＣＤ−Ｒなどの記録媒体２０に記録された画像が送信され、あるいは、インターネット１２を経由して画像が転送される。
【００２１】
デジタルカメラ１９は、例えば、ＩＥＥＥ１３９４、ＵＳＢ（Universal Serial Bus）などに準拠した通信ケーブルや、無線ＬＡＮなどによりクライアント端末１３に接続され、クライアント端末１３とのデータの相互通信が可能となっている。また、記録媒体２０も同様に、専用のドライバを介してクライアント端末１３とのデータの遣り取りが可能となっている。
【００２２】
図２に示すように、クライアント端末１３を構成するＣＰＵ２１は、操作部１８から入力される操作信号などに従ってクライアント端末１３全体を統括的に制御する。ＣＰＵ２１には、操作部１８の他に、データバス２２を介して、ＲＡＭ２３、ハードディスクドライブ（ＨＤＤ）２４、通信インターフェース（通信Ｉ／Ｆ）２５、及びモニタ１５が接続されている。
【００２３】
ＲＡＭ２３は、ＣＰＵ２１が処理を実行するための作業用メモリである。ＨＤＤ２４には、クライアント端末１３を動作させるための各種プログラムやデータが記憶されている他に、デジタルカメラ１９、記録媒体２０、あるいは、インターネット１２から取り込まれた画像データが記憶される。ＣＰＵ２１は、ＨＤＤ２４からプログラムを読み出してＲＡＭ２３に展開し、読み出したプログラムを逐次処理する。
【００２４】
通信Ｉ／Ｆ２５は、例えばモデムやルータであり、インターネット１２に適合した通信プロトコルの制御を行い、インターネット１２を経由したデータの遣り取りを媒介する。また、通信Ｉ／Ｆ２５は、デジタルカメラ１９や記録媒体２０などの外部機器とのデータ通信も行う。
【００２５】
図３に示すように、サーバ１１を構成するＣＰＵ３１は、インターネット１２を経由してクライアント端末１３から入力される操作信号に従ってサーバ１１全体を統括的に制御する。ＣＰＵ３１には、データバス３２を介して、ＲＡＭ３３、ハードディスクドライブ（ＨＤＤ）３４、通信インターフェース（通信Ｉ／Ｆ）３５、領域抽出部３６、特徴量取得部３７、キーワード抽出部３８、キーワード選定部３９、及びメタデータ付与部４０が接続されている。
【００２６】
ＲＡＭ３３は、ＣＰＵ３１が処理を実行するための作業用メモリである。ＨＤＤ３４には、サーバ１１を動作させるための各種プログラムやデータが記憶されている。また、ＨＤＤ３４には、メタデータ付与プログラム４１が記憶されている。ＣＰＵ３１は、ＨＤＤ３４からプログラムを読み出してＲＡＭ３３に展開し、読み出したプログラムを逐次処理する。
【００２７】
ＨＤＤ３４には、テキストデータベース（テキストＤＢ）４２と、特徴量データベース（特徴量ＤＢ）４３とが設けられている。テキストＤＢ４２には、図４に示す人名一覧テーブル４４、図５に示す車名一覧テーブル４５、及び図６に示す柑橘類名一覧テーブル４６など、様々なカテゴリに係る用語一覧テーブルが格納されている。他のカテゴリとしては、花、化粧品などが挙げられる。
【００２８】
図４に示す人名一覧テーブル４４は、人名の登録時に自動的に付されるＩＤ（登録順に付した通し番号）を見出しとして、人名「○本Ａ美」、「△原Ｂ子」、「宮本Ｋ太郎」、「Ｋ森◎憲」、「Ｉ嶋一蔵」、「寺×素」、「○田Ｋ美子」、「薪◎Ｙ浩」、「×貝Ｙ○」などを記憶している。
【００２９】
図５に示す車名一覧テーブル４５は、車名の登録時に自動的に付されるＩＤ（登録順に付した通し番号）を見出しとして、車名「カローヲ」、「スカイヲイン」、「マコード」、「ファミリマ」、「パヅェロ」、「スバノレ３６０」、「エノレフ」、「シビッワ」、「ピアッシァ」などを記憶している。
【００３０】
図６に示す柑橘類名一覧テーブル４６は、柑橘類名の登録時に自動的に付されるＩＤ（登録時に付した通し番号）を見出しとして、柑橘類名「温州蜜柑」、「椪柑」、「不知火」、「はるみ」、「夏蜜柑」、「晩白柚」、「柚子」、「八朔」、「清見」などを記憶している。
【００３１】
他のカテゴリに係る用語一覧テーブルについても、人名一覧テーブル４４、車名一覧テーブル４５、及び柑橘類名一覧テーブル４６と同様、該当するカテゴリに関連する用語を、用語ＩＤを見出しとして記憶している。用語は、どのような言葉でもよく、形容詞や副詞などの品詞、あるいは「世界は、一つずつ変えることができる。」といった文章であってもよい。なお、各用語一覧テーブルの用語ＩＤは、管理上付されたものにすぎず、相互の用語ＩＤに依存関係はない。また、カテゴリ毎に用語が管理されていれば、各用語一覧テーブルを統合して一つの用語一覧テーブルとしてもよい。また、同一の用語が複数の用語一覧テーブルに記憶されていてもよい。
【００３２】
特徴量ＤＢ４３には、図７に示す人物特徴量一覧テーブル４９、車特徴量一覧テーブル（図示量略）、柑橘類特徴量一覧テーブル（図示省略）など、様々なカテゴリに係る特徴量一覧テーブルが格納されている。特徴量ＤＢ４３に格納されている特徴量一覧テーブルは、それぞれ、テキストＤＢ４２に格納されている用語一覧テーブルに一対一で対応している。なお、カテゴリ毎に特徴量が管理されていれば、各特徴量一覧テーブルを統合して一つの特徴量一覧テーブルとしてもよい。また、用語一覧テーブルと特徴量一覧テーブルとが一対一で対応するように管理されていれば、テキストＤＢ４２と特徴量ＤＢ４３とを統合して一つのデータベースとしてもよい。
【００３３】
図７に示す人物特徴量一覧テーブル４９は、人名一覧テーブル４４（図４参照）の用語ＩＤを見出しとして、「○本Ａ美」の画像に係る特徴量、「△原Ｂ子」の画像に係る特徴量、「宮本Ｋ太郎」の画像に係る特徴量、「Ｋ森◎憲」の画像に係る特徴量などを記憶している。なお、図７では、特徴量を、便宜上イラストで表現しているが、実際には、特徴量は数値化されたデータである。
【００３４】
同様に、車特徴量一覧テーブルは、車名一覧テーブル４５（図５参照）の用語ＩＤを見出しとして、「カローヲ」の画像、「スカイヲイン」の画像、「マコード」の画像などを記憶している。また、柑橘類特徴量一覧テーブルは、柑橘類特徴量一覧テーブル４６（図６参照）の用語ＩＤを見出しとして、「温州蜜柑」の画像、「椪柑」の画像、「不知火」の画像などを記憶している。他のカテゴリに係る特徴量一覧テーブルについても、人物特徴量一覧テーブル４９、車特徴量一覧テーブル、及び柑橘類特徴量一覧テーブルと同様、該当するカテゴリに係る用語一覧テーブルの用語ＩＤを見出しとして、特徴量を表す画像を記憶している。なお、カテゴリ毎に画像が管理されていれば、各特徴量一覧テーブルを統合してひとつの特徴量一覧テーブルとしてもよい。
【００３５】
図３に戻って、通信Ｉ／Ｆ３５は、例えばモデムやルータであり、インターネット１２に適合した通信プロトコルの制御を行い、インターネット１２を経由したデータの遣り取りを媒介する。通信Ｉ／Ｆ３５は、画像とともにテキストデータが入力される入力部として機能する。通信Ｉ／Ｆ３５を媒介して入力された画像及びテキストデータは、ＲＡＭ３３に一時的に記憶される。
【００３６】
領域抽出部３６は、サーバ１１に入力された画像を解析して、特徴量ＤＢ４３に格納されている特徴量一覧テーブルのいずれかのカテゴリに属す領域を抽出するとともに、抽出された領域が属すカテゴリを判定する。例えば、図８に示す画像５０からは、顔領域５１、５２が抽出されるとともに、抽出された顔領域５１、５２が人物のカテゴリに属すと判定される。領域の抽出には、例えば、特許文献２、３で開示されている、輪郭抽出した形状に対してフーリエ級数展開などの手法を用いて数値化する方法、基本パターンの周期性及びその方向に基づく方法、色相・明度・彩度に基づく方法などを利用する。なお、詳しい説明は、特許文献２、３などを参照されたい。
【００３７】
特徴量取得部３７は、領域抽出部３６で抽出された領域の特徴量を取得する。特徴量の取得には、例えば、特開平０８−２２１５４７号公報で開示されている、モザイク化してから類型分類のクラス分けを行う方法、特開２００３−１７８３０４号公報で開示されている、領域から抽出したパーツに基づくヒストグラムを特徴量とする方法などを利用する。なお、詳しい説明は、特開平０８−２２１５４７号公報、特開２００３−１７８３０４号公報などを参照されたい。
【００３８】
キーワード抽出部３８は、画像とともにサーバ１１に入力されたテキストデータを解析して、領域抽出部３６で抽出された領域が属すカテゴリのキーワードだけを抽出する。具体的には、人物に関するカテゴリのキーワードだけを抽出する場合、テキストデータが「○本Ａ美」、「△原Ｂ子」などの人名を表す名詞であれば、キーワード抽出部３８は、テキストデータ自体をキーワードとする。また、テキストデータが「人気アイドルの○本Ａ美（１９）と△原Ｂ子（１８）が、初のコラボ写真集を発売することになった。撮影は、宮本Ｋ太郎氏（２６）のもと順調に進んでいる。」である場合、キーワード抽出部３８は、文章の文法的な構造を解析する構文解析をテキストデータに対して施す。そして、これらの解析結果に基づいて、テキストデータからキーワードを抽出する。この場合、「○本Ａ美」、「△原Ｂ子」及び「宮本Ｋ太郎」が抽出される。形態素解析を用いることで、人名を抽出する場合には、その処理時間の短縮が期待できる。なお、形態素解析の具体的な方法は、特許文献１などを参照されたい。また、キーワードを抽出することができるのであれば、形態素解析を用いることに限定されるものではない。
【００３９】
キーワード選定部３９は、画像の特徴量に基づいて、キーワード抽出部３８で抽出されたキーワードの中から、画像にメタデータとして付与するキーワードを選定する。具体的には、キーワード選定部３９は、領域抽出部３６で抽出された領域が属すカテゴリの特徴量一覧テーブル及び用語一覧テーブルを参照して、キーワード抽出部３８で抽出されたキーワードの中から、特徴量取得部３７で取得された特徴量に対応するキーワードを選定する。
【００４０】
例えば、領域抽出部３６で、顔領域５１、５２（図８参照）が抽出されるとともにカテゴリが「人物」であると判定され、且つ、キーワード抽出部３８で「○本Ａ美」、「△原Ｂ子」及び「宮本Ｋ太郎」が抽出されている場合、キーワード選定部３９は、人物特徴量一覧テーブル４９（図７参照）及び人名一覧テーブル４４（図４参照）を参照して、顔領域５１、５２の特徴量のそれぞれについて、「○本Ａ美」に係る用語ＩＤ「０００１」の特徴量、「△原Ｂ子」に係る用語ＩＤ「０００２」の特徴量、「宮本Ｋ太郎」に係る用語ＩＤ「０００３」の特徴量のいずれに最も類似するかを判定する。そして、判定された特徴量の用語ＩＤの人名を、その特徴量に対応するキーワードとして選定する。
【００４１】
図９に示すように、顔領域５１の特徴量に対して用語ＩＤ「０００２」の特徴量が最も類似していると判定された場合、キーワード選定部３９は、顔領域５１に対応するキーワードとして、用語ＩＤ「０００２」の「△原Ｂ子」（図４参照）を選定する。同様に、顔領域５２の特徴量に対して用語ＩＤ「０００１」の特徴量と最も類似していると判定された場合、キーワード選定部３９は、顔領域５２に対応するキーワードとして、用語ＩＤ「０００１」の「○本Ａ美」（図４参照）を選定する。
【００４２】
メタデータ付与部４０は、キーワード選定部３９で選定されたキーワードをメタデータとして画像に付与する。このとき、キーワードは、領域抽出部３６で抽出された領域に関連付けて付与される。例えば、画像５０（図８参照）から顔領域５１、５２が抽出され、且つ、顔領域５１に対応するキーワードとして「△原Ｂ子」が選定されているとともに、顔領域５２に対応するキーワードとして「○本Ａ美」が選定されている場合、メタデータ付与部４０は、顔領域５１にキーワード「△原Ｂ子」を関連付けるとともに、顔領域５２にキーワード「○本Ａ美」を関連付けるように、キーワード「○本Ａ美」及び「△原Ｂ子」をメタデータとして画像５０に付与する。
【００４３】
次に、上記構成のサーバ１１（図１及び図３参照）がメタデータ付与装置として機能したときのメタデータ付与の処理手順について、図１０のフローチャートを参照しながら説明する。ユーザは、クライアント端末１３の操作部１８を操作して、サーバ１１に対して、テキストデータとともに画像を入力する。サーバ１１に入力されたテキストデータ及び画像は、ＲＡＭ３３に記憶される。
【００４４】
サーバ１１に入力された画像は、ＲＡＭ３３から領域抽出部３６に読み出される。領域抽出部３６では、画像が解析されて、特徴量ＤＢ４３に格納されている特徴量一覧テーブルのいずれかのカテゴリに属す領域が抽出されるとともに、抽出された領域が属すカテゴリが判定される。抽出された領域は、カテゴリの判定結果とともにＲＡＭ３３に記憶される。
【００４５】
領域抽出部３６で抽出された領域は、ＲＡＭ３３から特徴量取得部３７に読み出される。特徴量取得部３７では、領域抽出部３６で抽出された領域の特徴量が取得される。取得された特徴量は、ＲＡＭ３３に記憶される。
【００４６】
一方、サーバ１１に入力されたテキストデータは、領域抽出部３６による領域に係るカテゴリの判定結果とともにＲＡＭ３３からキーワード抽出部３８に読み出される。キーワード抽出部３８では、テキストデータが解析されて、領域に係るカテゴリのキーワードが抽出される。抽出されたキーワードは、ＲＡＭ３３に記憶される。
【００４７】
領域抽出部３６で抽出された領域、特徴量取得部３７で取得された特徴量、及びキーワード抽出部３８で抽出されたキーワードは、ＲＡＭ３３からキーワード選定部３９に読み出される。キーワード選定部３９では、テキストＤＢ４２及び特徴量ＤＢ４３にアクセスされ、キーワード抽出部３８で抽出されたキーワードに対応する特徴量だけが参照されながら、キーワードが選定される。選定されたキーワードは、ＲＡＭ３３に記憶される。
【００４８】
キーワード選定部３９で選定されたキーワードは、ＲＡＭ３３からメタデータ付与部４０に読み出される。メタデータ付与部４０では、画像に対し、キーワードがメタデータとして付与される。メタデータが付与された画像は、ＲＡＭ３３に記憶される。
【００４９】
メタデータが付与された画像は、ＲＡＭ３３から通信Ｉ／Ｆ３５に読み出され、サーバ１１から出力される。サーバ１１から出力された画像は、クライアント端末１３に送信される。
【００５０】
以上説明したように、テキストデータの中からキーワードを抽出する際に、画像の特徴量に係るカテゴリだけに絞り込んでキーワードを抽出するようにしたから、抽出したキーワードの中からメタデータとなるキーワードを選定する処理時間が短縮されるとともに、質の高いキーワードを選定することが可能になる。
【００５１】
また、キーワード選定部３９が、キーワードと関連付けられた特徴量が記憶された特徴量ＤＢ４３にアクセスして、特徴量取得部３７で取得された特徴量に基づいてキーワードを選定する際に、特徴量ＤＢ４３に複数記憶された特徴量のほんのわずかである、キーワード抽出部３８で抽出されたキーワードに対応する特徴量だけを参照するようにしたから、キーワードを選定する処理時間が短縮される。
【００５２】
なお、上記実施形態では、領域抽出部３６は、様々なカテゴリ（人物、車、柑橘類など）に係る領域を抽出し、キーワード選定部３９は、領域抽出部３６で抽出された領域の特徴量に基づいて、様々なカテゴリのキーワードを、画像に付与するメタデータとして選定する場合を例に説明したが、これに限定されるのではない。例えば、領域抽出部３６は、人物の顔に係る顔領域だけを抽出し、キーワード選定部３９は、領域抽出部３６で抽出された顔領域の特徴量に基づいて、人名に係るキーワードだけを、画像に付与するメタデータとして選定することとしてもよい。また、特定のカテゴリは、「人物」であることに限られず、「車」、「柑橘類」、その他のカテゴリであってもよい。
【００５３】
また、上記実施形態では、インターネット１２に接続されたサーバ１１にメタデータ付与装置が構築され、万人がアクセス可能である場合を例に説明したが、これに限定されるものではない。例えば、個人が使用するパーソナルコンピュータにメタデータ付与装置が構築されるようにしてもよい。
【００５４】
また、上記実施形態で示したメタデータ付与装置は一例にすぎず、本発明の趣旨を逸脱しなければ、如何様な態様にも適宜変更することができる。
【図面の簡単な説明】
【００５５】
【図１】ネットワークシステムの構成を示す概略図である。
【図２】クライアント端末の内部構成を示すブロック図である。
【図３】サーバの内部構成を示すブロック図である。
【図４】人名一覧テーブルの構成を示す説明図である。
【図５】車名一覧テーブルの構成を示す説明図である。
【図６】柑橘類名一覧テーブルの構成を示す説明図である。
【図７】人物特徴量一覧テーブルの構成を示す説明図である。
【図８】領域の抽出を説明する画像図である。
【図９】特徴量の類似判定を説明する図である。
【図１０】メタデータ付与の処理手順を説明するフローチャートである。
【符号の説明】
【００５６】
１１  サーバ（メタデータ付与装置）
３６  領域抽出部
３８  キーワード抽出部
３９  キーワード選定部
４１  メタデータ付与プログラム
４２  テキストデータベース（テキストＤＢ）
４３  特徴量データベース（特徴量ＤＢ）
【図１】
2009217742.tif 000003
【図２】
2009217742.tif 000004
【図３】
2009217742.tif 000005
【図４】
2009217742.tif 000006
【図５】
2009217742.tif 000007
【図６】
2009217742.tif 000008
【図７】
2009217742.tif 000009
【図８】
2009217742.tif 000010
【図９】
2009217742.tif 000011
【図１０】
2009217742.tif 000012