(57)【要約】【課題】画像に対して、その画像に適した文章を関連付けることができる情報処理装置およびプログラムを提供する。【解決手段】画像記憶部１０は画像データを記憶する。単語記憶部１１は単語を記憶する。文章記憶部１２は文章を記憶する。キーワード付与部３は、画像データと単語とを関連付ける処理を実行する。単語付与部４は、文章と単語とを関連付ける処理を実行する。照合部５は、画像データに関連付けられた単語と、文章に関連付けられた単語とを照合する。文章選択部６は、照合部５による照合の結果に応じて、画像データと文章とを関連付ける処理を実行する。【選択図】図１
2009032154.tif 000002
【特許請求の範囲】
【請求項１】
画像データを記憶する画像記憶手段と、
単語を記憶する単語記憶手段と、
文章を記憶する文章記憶手段と、
前記画像データと前記単語とを関連付ける処理を実行する第１の処理手段と、
前記文章と前記単語とを関連付ける処理を実行する第２の処理手段と、
前記画像データに関連付けられた前記単語と、前記文章に関連付けられた前記単語とを照合する照合手段と、
前記照合手段による照合の結果に応じて、前記画像データと前記文章とを関連付ける処理を実行する第３の処理手段と、
を備えたことを特徴とする情報処理装置。
【請求項２】
前記画像データに関連付けられた前記単語と、前記文章に関連付けられた前記単語とが一致すると前記照合手段によって判定された場合に、前記第３の処理手段は、一致した前記単語に関連付けられている前記画像データと前記文章とを関連付ける処理を実行することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記第１の処理手段は、前記画像データと、１以上の前記単語を含む単語集合とを関連付ける処理を実行し、
前記第２の処理手段は、前記文章と、１以上の前記単語を含む単語集合とを関連付ける処理を実行し、
前記照合手段は、前記画像データに関連付けられた前記単語集合と、前記文章に関連付けられた前記単語集合とを照合する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記第２の処理手段は、前記文章と前記単語と当該単語の前記文章中の出現頻度とを関連付ける処理を実行し、
前記第３の処理手段は、前記照合手段による照合の結果と前記単語の前記文章中の出願頻度とに応じて、前記画像データと前記文章とを関連付ける処理を実行する
ことを特徴とする請求項１〜請求項３のいずれかに記載の情報処理装置。
【請求項５】
前記単語記憶手段は、前記画像データの付帯情報と前記単語とを関連付けて記憶し、
前記第１の処理手段は、関連付けの対象となる前記画像データの前記付帯情報に関連付けられている前記単語と、前記関連付けの対象となる前記画像データとを関連付ける処理を実行する
ことを特徴とする請求項１〜請求項４のいずれかに記載の情報処理装置。
【請求項６】
前記付帯情報は、時間情報、場所情報、およびシーンプログラム情報の少なくともいずれかを含むことを特徴とする請求項５に記載の情報処理装置。
【請求項７】
請求項１〜請求項６のいずれかに記載の情報処理装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データに対して情報を関連付ける処理を実行する情報処理装置に関する。また、本発明は、本情報処理装置としてコンピュータを機能させるためのプログラムにも関する。
【背景技術】
【０００２】
画像の特徴量を求め、その特徴量に応じたキーワードを画像に付与する方法がある。例えば、複数のキーワードに関連した画像を予め用意し（キーワード１個に対して画像１００個ぐらい）、個々の画像における色の分布と形状の特徴量とを多次元ベクトル化し、クラスタリングを行う方法である。この方法では、キーワード付与の対象となる画像に対して上記と同様にその特徴量を多次元ベクトル化し、どのクラスに分類されるのかを求める。
【０００３】
最近では、キーワードの増加に対応するために、以下のような方法が研究されている（例えば非特許文献１，２参照）。最近のWebページの画像検索においては、画像を利用しているHTMLテキストの内容と画像とが関連するとみなしてキーワードからHTMLファイルを検索し、そのHTMLファイルの解析により画像のURLを検索する。また、検索された画像の特徴量（色・テクスチャ・形状）とクラスタの大きさ（類似している画像の数）に鑑み、自動的に学習画像を生成し、特徴量の類似度に基づいて分類対象のテスト画像を分類し、キーワードの付与を行う。
【非特許文献１】柳井啓司、「実世界画像自動分類のためのWeb画像マイニング」、人工知能学会全国大会（第１７回）、２００３年、１Ｆ１−０６
【非特許文献２】柳井啓司、「確率的Web画像収集」、人工知能学会論文誌、２２巻１号Ｂ（２００７年）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記のように、画像と単語（キーワード）の関連付けは実現されていたが、画像と文章の関連付けはこれまで実現されていなかった。
【０００５】
本発明は、上述した課題に鑑みてなされたものであって、画像に対して、その画像に適した文章を関連付けることができる情報処理装置およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、上記の課題を解決するためになされたもので、画像データを記憶する画像記憶手段と、単語を記憶する単語記憶手段と、文章を記憶する文章記憶手段と、前記画像データと前記単語とを関連付ける処理を実行する第１の処理手段と、前記文章と前記単語とを関連付ける処理を実行する第２の処理手段と、前記画像データに関連付けられた前記単語と、前記文章に関連付けられた前記単語とを照合する照合手段と、前記照合手段による照合の結果に応じて、前記画像データと前記文章とを関連付ける処理を実行する第３の処理手段とを備えたことを特徴とする情報処理装置である。
【０００７】
また、本発明の情報処理装置において、前記画像データに関連付けられた前記単語と、前記文章に関連付けられた前記単語とが一致すると前記照合手段によって判定された場合に、前記第３の処理手段は、一致した前記単語に関連付けられている前記画像データと前記文章とを関連付ける処理を実行することを特徴とする。
【０００８】
また、本発明の情報処理装置において、前記第１の処理手段は、前記画像データと、１以上の前記単語を含む単語集合とを関連付ける処理を実行し、前記第２の処理手段は、前記文章と、１以上の前記単語を含む単語集合とを関連付ける処理を実行し、前記照合手段は、前記画像データに関連付けられた前記単語集合と、前記文章に関連付けられた前記単語集合とを照合することを特徴とする。
【０００９】
また、本発明の情報処理装置において、前記第２の処理手段は、前記文章と前記単語と当該単語の前記文章中の出現頻度とを関連付ける処理を実行し、前記第３の処理手段は、前記照合手段による照合の結果と前記単語の前記文章中の出願頻度とに応じて、前記画像データと前記文章とを関連付ける処理を実行することを特徴とする。
【００１０】
また、本発明の情報処理装置において、前記単語記憶手段は、前記画像データの付帯情報と前記単語とを関連付けて記憶し、前記第１の処理手段は、関連付けの対象となる前記画像データの前記付帯情報に関連付けられている前記単語と、前記関連付けの対象となる前記画像データとを関連付ける処理を実行することを特徴とする。
【００１１】
また、本発明の情報処理装置において、前記付帯情報は、時間情報、場所情報、およびシーンプログラム情報の少なくともいずれかを含むことを特徴とする。
【００１２】
また、本発明は、上記の情報処理装置としてコンピュータを機能させるためのプログラムである。
【発明の効果】
【００１３】
本発明によれば、画像データと単語の関連付けおよび文章と単語の関連付けを行い、単語同士を照合した結果に基づいて、画像に対して、その画像に適した文章を関連付けることができる。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照し、本発明の実施形態を説明する。図１は、本発明の一実施形態による情報処理装置の構成を示している。図１において、記憶部１は各種情報やデータを記憶する。本実施形態による記憶部１は、画像データを記憶する画像記憶部１０と、単語（後述する単語辞書や類義語辞書を含む）を記憶する単語記憶部１１と、文章を記憶する文章記憶部１２とを備えている。
【００１５】
画像データの取得方法はどのような方法でもよい。例えば、この情報処理装置をカメラ内に設け、カメラの撮像部によって生成された画像データを取得するようにしてもよいし、通信によって、あるいは記録媒体を介して外部から画像データを取得するようにしてもよい。また、画像データには、撮影日時や撮影場所の情報、および撮影に用いられたシーンプログラムの情報を含む付帯情報が関連付けられており、この付帯情報も画像データと共に画像記憶部１０に格納されている。
【００１６】
画像情報取得部２は、画像データに関する様々な情報を取得する。この画像情報取得部２は、被写体認識部２０と画像特徴量算出部２１と付帯情報取得部２２とを備えている。被写体認識部２０は、画像に人が含まれるか否かを判定し、画像に人が含まれている場合には画像に含まれる人の数を判定する。被写体認識部２０が判定した結果は、画像特徴量として用いることが可能である。画像特徴量算出部２１は画像データの特徴量を算出する。付帯情報取得部２２は、画像データに関連付けられている付帯情報を取得する。
【００１７】
キーワード付与部３は、文章との関連付けの対象となる画像データ（以下、入力画像とする）とキーワード（単語）とを関連付ける処理を実行し、画像データに対してキーワードを付与する。単語付与部４は、文章と単語とを関連付ける処理を実行する。照合部５は、入力画像に関連付けられたキーワードと、文章に関連付けられた単語とを照合する処理を実行する。文章選択部６は、照合部５による照合の結果に応じて、入力画像に適した文章を選択し、入力画像と文章とを関連付ける処理を実行する。
【００１８】
次に、本実施形態による情報処理装置の動作を説明する。以下では４つの動作例を説明する。
【００１９】
（第１の動作例）
まず、第１の動作例を説明する。図２は第１の動作例の処理手順を示している。まず、画像に適合すると思われる単語の収集により用意した単語辞書に含まれる単語を検索のキーワード群として、前述した非特許文献１，２と同様の方法により画像のWeb検索を実行して画像データを収集し、画像母集団として画像記憶部１０に格納する。画像データの収集に関しては、情報処理装置自体がネットワークに接続してWeb検索を実行してもよいし、他の装置（PC等）がWeb検索により収集した画像データを、通信によって、あるいは記録媒体を介して情報処理装置に入力してもよい。いずれにしても、画像母集団内の画像データは、単語記憶部１１に格納されている単語と関連付けがなされた状態で画像記憶部１０に格納されている。
【００２０】
画像特徴量算出部２１は、画像母集団から選択した学習画像の特徴量を算出し、特徴量データを生成する（ステップＳ１００）。この特徴量は、色、テクスチャ、形状等のデータからなる多次元ベクトルとして表現される。特徴量データも単語と関連付けられた状態となっており、このことから、入力画像Ｉｊのキーワード候補となる単語に対して、画像特徴量のクラスタが定義された状態となる。また、特徴量を算出した学習画像は表示用の画像として画像記憶部１０に保存される。
【００２１】
上記の特徴量データを生成するまでの処理は、入力画像Ｉｊに対する文章との関連付けに必要な準備段階の処理であり、情報処理装置がこの処理を行って特徴量データを生成してもよいし、他の装置がこの処理を行うことにより生成した特徴量データを通信等により情報処理装置に入力してもよい。続いて、画像特徴量算出部２１は、文章との関連付けの対象となる入力画像Ｉｊを画像記憶部１０から読み出してその特徴量を算出し、上記と同様の特徴量データを生成する（ステップＳ１１０）。
【００２２】
キーワード付与部３は、画像特徴量算出部２１から特徴量データを受け取り、入力画像Ｉｊの特徴量データと学習画像の特徴量データとの適合度を算出する。この適合度は、例えば多次元ベクトル同士のユークリッド距離である。キーワード付与部３は、適合度が高い方から順に所定個数の特徴量データを選択し、その特徴量データに関連付けられている単語を単語記憶部１１から読み出し、入力画像ＩｊのキーワードＫＷｉｊ（ｉ＝｛１，・・・，Ｎｊ｝）として単語記憶部１１に格納する。これによって、入力画像Ｉｊに対してＮｊ個のキーワードが関連付けられたことになる。これらのキーワードは、適合度Ｓ（ｉ，ｊ）が高い順に整列されているものとする。すなわち、Ｓ（１，ｊ）＞Ｓ（２，ｊ）＞・・・＞Ｓ（Ｎｊ，ｊ）である。また、キーワード付与部３は各キーワードＫＷｉｊの適合度Ｓ（ｉ，ｊ）を記憶部１に格納する（ステップＳ１２０）。
【００２３】
一方、単語付与部４は文章記憶部１２から文章を読み出し、文章の形態素解析（構造分析）により自立語を生成する（ステップＳ１３０）。形態素解析については、例えばhttp://www.unixuser.org/~euske/doc/nlpintro/index.htmlに記載されている。続いて、単語付与部４は単語記憶部１１から単語辞書を読み出し、単語辞書に登録されている単語を上記の自立語と照合する。単語付与部４は、照合の結果、両者が一致した回数を単語毎にカウントし、各単語の文章中の出現頻度を算出する（ステップＳ１４０）。ステップＳ１４０の処理は、Ｔ個の文章ＴＸｔ（ｔ＝｛１，２，・・・，Ｔ｝）のそれぞれについて実行される。図３は、単語付与部４によって生成された単語の出現頻度を示すデータの内容の一例を示している。図３（ａ）は、ある文章中の単語の出現頻度を示しており、図３（ｂ）は、その文章とは別の文章中の単語の出現頻度を示している。
【００２４】
本実施形態では、単語辞書の他に類義語辞書が用意されている。図４は類義語辞書の内容の一例を示している。キーワード４００に対して、類義語４１０が関連付けられている。単語付与部４は、出現頻度を算出した全単語に対して、この類義語辞書を利用して、類義語同士となる単語をまとめる処理を実行し、Ｋ個の単語グループＷＧｋ（ｋ＝｛１，２，・・・，Ｋ｝）を生成する（ステップＳ１５０）。この単語グループＷＧｋは全ての文章ＴＸｔについて共通で利用される。
【００２５】
また、単語付与部４は、各単語グループＷＧｋについて、それを構成する単語の出現頻度Ｆｋｔ（ＷＧｋ，ＴＸｔ）を各文章ＴＸｔについて算出する（ステップＳ１６０）。この出現頻度Ｆｋｔ（ＷＧｋ，ＴＸｔ）は、単語グループＷＧｋを構成する各単語についてステップＳ１４０で算出した文章ＴＸｔ中の出現頻度の合計である。単語グループの個数がＫ、文章の個数がＴであるため、出現頻度Ｆｋｔ（ＷＧｋ，ＴＸｔ）のデータの個数はＫ×Ｔである。図５は、単語付与部４によって生成された単語グループの出現頻度データの内容の一例を示している。図５（ａ）は、ある文章中の単語グループの出現頻度を示しており、図５（ｂ）は、その文章とは別の文章中の単語グループの出現頻度を示している。
【００２６】
続いて、照合部５は、キーワード付与部３から出力される入力画像ＩｊのキーワードＫＷｉｊと、単語付与部４から出力される単語グループＷＧｋ内の単語とを照合する。また、文章選択部６は、照合部５による照合の結果に基づいて、入力画像Ｉｊに適合する文章を検索する（ステップＳ１７０）。
【００２７】
図６はステップＳ１７０の処理の詳細を示している。照合部５は、キーワードＫＷｉｊのインデックスを示す変数ｉと単語グループＷＧｋのインデックスを示すｋの値をそれぞれ１に初期化する（ステップＳ１７０ａ，Ｓ１７０ｂ）。また、照合部５は、入力画像Ｉｊに対する文章ＴＸｔの関連度ＲＴｊｔ（ＴＸｔ）の値を０に初期化する（ステップＳ１７０ｃ）。
【００２８】
続いて、照合部５は入力画像ＩｊのキーワードＫＷｉｊを単語グループＷＧｋ内の各単語と順に照合し、キーワードＫＷｉｊが単語グループＷＧｋに含まれるか否かを判定する（ステップＳ１７０ｄ）。キーワードＫＷｉｊと単語グループＷＧｋ内のいずれかの単語が一致した場合には、キーワードＫＷｉｊは単語グループＷＧｋに含まれると判定され、処理がステップＳ１７０ｅに進む。また、キーワードＫＷｉｊが単語グループＷＧｋ内のどの単語とも一致しなかった場合には、キーワードＫＷｉｊは単語グループＷＧｋに含まれないと判定され、処理がステップＳ１７０ｇに進む。
【００２９】
ステップＳ１７０ｅでは、照合部５は、単語グループＷＧｋの出現頻度Ｆｋｔ（ＷＧｋ，ＴＸｔ）の値が大きいものから順に文章ＴＸｔを選択する（ステップＳ１７０ｅ）。続いて、照合部５は、記憶部１からキーワードＫＷｉｊの適合度Ｓ（ｉ，ｊ）を読み出し、入力画像Ｉｊに対する文章ＴＸｔの関連度ＲＴｊｔ（ＴＸｔ）に対して、その文章ＴＸｔについての出現頻度Ｆｋｔ（ＷＧｋ，ＴＸｔ）と適合度Ｓ（ｉ，ｊ）の積を加算する（ステップＳ１７０ｆ）。ステップＳ１７０ｆの処理は、ステップＳ１７０ｅで選択された文章ＴＸｔの関連度ＲＴｊｔ（ＴＸｔ）についてのみ実行される。
【００３０】
続いて、照合部５は変数ｋの値に１を加算し（ステップＳ１７０ｇ）、変数ｋの値が単語グループＷＧｋの個数Ｋを超えたか否かを判定する（ステップＳ１７０ｈ）。変数ｋの値がＫを超えていない場合には、処理がステップＳ１７０ｄに戻る。また、変数ｋの値がＫを超えた場合には、照合部５は変数ｉの値に１を加算し（ステップＳ１７０ｉ）、変数ｉの値が入力画像ＩｊのキーワードＫＷｉｊの個数Ｎｊを超えたか否かを判定する（ステップＳ１７０ｊ）。変数ｉの値がＮｊを超えていない場合には、処理がステップＳ１７０ｄに戻る。また、変数ｉの値がＮｊを超えた場合には、処理がステップＳ１７０ｋに進む。
【００３１】
ステップＳ１７０ｋでは、文章選択部６は、入力画像Ｉｊに関連するキーワードＫＷｉｊに対する文章ＴＸｔの関連度ＲＴｊｔ（ＴＸｔ）を照合部５から受け取り、関連度ＲＴｊｔ（ＴＸＴ）が高い方から順に所定個数の文章ＴＸｔを選択する（ステップＳ１７０ｋ）。ステップＳ１７０ｆの処理内容から、入力画像Ｉｊに対する適合度Ｓ（ｉ，ｊ）の高いキーワードＫＷｉｊと類似する単語を含む文章ほど関連度ＲＴｊｔ（ＴＸｔ）の値が大きくなる。また、キーワードＫＷｉｊと一致する単語を含む単語グループＷＧｋの出現頻度が高い文章ほど関連度Ｒｊｔ（ＴＸｔ）の値が大きくなる。したがって、関連度ＲＴｊｔ（ＴＸｔ）の高い文章を選択することによって、入力画像Ｉｊに適した文章を選択することができる。
【００３２】
続いて、文章選択部６は、選択した文章ＴＸｔを入力画像Ｉｊと関連付けて文章記憶部１２に格納する（ステップＳ１７０ｌ）。例えば、文章選択部６は、選択した文章ＴＸｔそのもののデータ、あるいは文章ＴＸｔの識別データ（文章ファイル名、タイトル名、作者等）と入力画像Ｉｊの識別データ（画像ファイル名等）とを関連付けて文章記憶部１２に格納する。
【００３３】
上記の処理によって、入力画像Ｉｊに対して、入力画像Ｉｊに適した文章を関連付けることができる。また、入力画像ＩｊのキーワードＫＷｉｊの適合度Ｓ（ｉ，ｊ）や、文章ＴＸｔに関連付けられた単語グループＷＧｋの文章中の出現頻度Ｆｋｔ（ＷＧｋ，ＴＸｔ）を考慮して文章ＴＸｔの選択を行うことによって、入力画像Ｉｊに対する文章ＴＸｔの関連付けの精度をより高めることができる。なお、上記ではＮｊ個のキーワードＫＷｉｊの全てについて処理を繰り返し行っているが、適合度Ｓ（ｉ，ｊ）が上位のものについてのみ処理を行うようにしてもよい。
【００３４】
（第２の動作例）
次に、第２の動作例を説明する。第２の動作例では、画像の付帯情報を利用して、入力画像Ｉｊに対してキーワードを関連付ける。このため、単語記憶部１１には、予め用意された付帯情報と単語とを関連付けた情報が格納されている。図７はこの情報の内容の一例を示している。図７（ａ）では、撮影を行った日付に関する情報７００と単語７１０とが関連付けられている。例えば、撮影を行った日付が４月である場合には、「早春」、「桜」、「桃」等の単語が入力画像Ｉｊのキーワードとなる。図７（ｂ）では、撮影を行った時間に関する情報７２０と単語７３０とが関連付けられている。例えば、撮影を行った時間が朝である場合には、「朝焼け」、「曙」、「ご来光」等の単語が入力画像Ｉｊのキーワードとなる。
【００３５】
図７（ｃ）では、撮影を行った場所に関する位置情報７４０と単語７５０とが関連付けられている。撮影場所の情報はＧＰＳで取得することが可能である。例えば、撮影を行った場所が六本木（六本木に相当する緯度・経度でもよい）である場合には、「首都高」、「ヒルズ」、「外国人」等の単語が入力画像Ｉｊのキーワードとなる。図７（ｄ）では、撮影モードを示すシーンプログラムに関する情報７６０と単語７７０とが関連付けられている。例えば、撮影時に用いられたシーンプログラムが「風景」である場合には、「山」、「森」、「海」が入力画像Ｉｊのキーワードとなる。
【００３６】
図８は第２の動作例の処理手順を示している。付帯情報取得部２２は、入力画像Ｉｊに関連付けられている付帯情報を画像記憶部１０から読み出し、キーワード付与部３へ出力する（ステップＳ２００）。キーワード付与部３は、付帯情報と単語とが関連付けられた情報を単語記憶部１１から読み出し、付帯情報取得部２２から受け取った付帯情報に対応した単語をキーワードとして抽出し、入力画像ＩｊのキーワードＫＷｉｊ（ｉ＝｛１，・・・，Ｎｊ｝）として単語記憶部１１に格納する（ステップＳ２１０）。
【００３７】
一方、単語付与部４は文章記憶部１２から文章を読み出し、文章の形態素解析（構造分析）により自立語を生成する（ステップＳ２２０）。続いて、単語付与部４は単語記憶部１１から単語辞書を読み出し、単語辞書に登録されている単語を上記の自立語と照合する。単語付与部４は、照合の結果、両者が一致した回数を単語毎にカウントし、各単語の文章中の出現頻度を算出する（ステップＳ２３０）。ステップＳ２３０の処理は、Ｔ個の文章ＴＸｔ（ｔ＝｛１，２，・・・，Ｔ｝）のそれぞれについて実行される。
【００３８】
続いて、単語付与部４は、出現頻度を算出した全単語に対して、この類義語辞書を利用して、類義語同士となる単語をまとめる処理を実行し、Ｋ個の単語グループＷＧｋ（ｋ＝｛１，２，・・・，Ｋ｝）を生成する（ステップＳ２４０）。この単語グループＷＧｋは全ての文章ＴＸｔについて共通で利用される。また、単語付与部４は、各単語グループＷＧｋについて、それを構成する単語の出現頻度Ｆｋｔ（ＷＧｋ，ＴＸｔ）を各文章ＴＸｔについて算出する（ステップＳ２５０）。この出現頻度Ｆｋｔ（ＷＧｋ，ＴＸｔ）は、単語グループＷＧｋを構成する各単語についてステップＳ２３０で算出した文章ＴＸｔ中の出現頻度の合計である。
【００３９】
続いて、照合部５は、キーワード付与部３から出力される入力画像ＩｊのキーワードＫＷｉｊと、単語付与部４から出力される単語グループＷＧｋ内の単語とを照合する。また、文章選択部６は、照合部５による照合の結果に基づいて、入力画像Ｉｊに適合する文章を検索する（ステップＳ２６０）。
【００４０】
図９はステップＳ２６０の処理の詳細を示している。照合部５は、キーワードＫＷｉｊのインデックスを示す変数ｉと単語グループＷＧｋのインデックスを示すｋの値をそれぞれ１に初期化する（ステップＳ２６０ａ，Ｓ２６０ｂ）。また、照合部５は、入力画像Ｉｊに対する文章ＴＸｔの関連度ＲＴｊｔ（ＴＸｔ）の値を０に初期化する（ステップＳ２６０ｃ）。
【００４１】
続いて、照合部５は入力画像ＩｊのキーワードＫＷｉｊを単語グループＷＧｋ内の各単語と順に照合し、キーワードＫＷｉｊが単語グループＷＧｋに含まれるか否かを判定する（ステップＳ２６０ｄ）。キーワードＫＷｉｊと単語グループＷＧｋ内のいずれかの単語が一致した場合には、キーワードＫＷｉｊは単語グループＷＧｋに含まれると判定され、処理がステップＳ２６０ｅに進む。また、キーワードＫＷｉｊが単語グループＷＧｋ内のどの単語とも一致しなかった場合には、キーワードＫＷｉｊは単語グループＷＧｋに含まれないと判定され、処理がステップＳ２６０ｇに進む。
【００４２】
ステップＳ２６０ｅでは、照合部５は、単語グループＷＧｋの出現頻度Ｆｋｔ（ＷＧｋ，ＴＸｔ）の値が大きいものから順に文章ＴＸｔを選択する。照合部５はこれを繰り返し、所定個数の文章ＴＸｔを選択する（ステップＳ２６０ｅ）。続いて、照合部５は、入力画像Ｉｊに対する文章ＴＸｔの関連度ＲＴｊｔ（ＴＸｔ）に対して、その文章ＴＸｔについての出現頻度Ｆｋｔ（ＷＧｋ，ＴＸｔ）を加算する（ステップＳ２６０ｆ）。ステップＳ２６０ｆの処理は、ステップＳ２６０ｅで選択された文章ＴＸｔの関連度ＲＴｊｔ（ＴＸｔ）についてのみ実行される。
【００４３】
続いて、照合部５は変数ｋの値に１を加算し（ステップＳ２６０ｇ）、変数ｋの値が単語グループＷＧｋの個数Ｋを超えたか否かを判定する（ステップＳ２６０ｈ）。変数ｋの値がＫを超えていない場合には、処理がステップＳ２６０ｄに戻る。また、変数ｋの値がＫを超えた場合には、照合部５は変数ｉの値に１を加算し（ステップＳ２６０ｉ）、変数ｉの値が入力画像ＩｊのキーワードＫＷｉｊの個数Ｎｊを超えたか否かを判定する（ステップＳ２６０ｊ）。変数ｉの値がＮｊを超えていない場合には、処理がステップＳ２６０ｄに戻る。また、変数ｉの値がＮｊを超えた場合には、処理がステップＳ２６０ｋに進む。
【００４４】
ステップＳ２６０ｋでは、文章選択部６は、入力画像Ｉｊに関連するキーワードＫＷｉｊに対する文章ＴＸｔの関連度ＲＴｊｔ（ＴＸｔ）を照合部５から受け取り、関連度ＲＴｊｔ（ＴＸＴ）が高い方から順に所定個数の文章ＴＸｔを選択する（ステップＳ２６０ｋ）。ステップＳ２６０ｆの処理内容から、キーワードＫＷｉｊと類似する単語を含む単語グループＷＧｋの出現頻度が高い文章ほど関連度Ｒｊｔ（ＴＸｔ）の値が大きくなる。したがって、関連度ＲＴｊｔ（ＴＸｔ）の高い文章を選択することによって、入力画像Ｉｊに適した文章を選択することができる。続いて、文章選択部６は、選択した文章ＴＸｔを入力画像Ｉｊと関連付けて文章記憶部１２に格納する（ステップＳ２６０ｌ）。
【００４５】
上記の処理によって、入力画像Ｉｊに対して、入力画像Ｉｊに適した文章を関連付けることができる。また、文章ＴＸｔに関連付けられた単語グループＷＧｋの文章中の出現頻度Ｆｋｔ（ＷＧｋ，ＴＸｔ）を考慮して文章ＴＸｔの選択を行うことによって、入力画像Ｉｊに対する文章ＴＸｔの関連付けの精度をより高めることができる。なお、上記の処理では、キーワードＫＷｉｊの適合度は考慮していないが、例えば、付帯情報のうち、時間や場所に関する情報を重要視するなど、付帯情報の種類に応じた重み付けを行ってもよい。
【００４６】
（第３の動作例）
次に、第３の動作例を説明する。第３の動作例では、入力画像Ｉｊに関連付けられたキーワードを集合として扱い、そのキーワード集合を最も良く近似する単語の集合を有している文章を入力画像Ｉｊに関連付ける。このため、ラフ集合の手法を用いて集合の適合度を算出する。ラフ集合については、例えばhttp://www.jat.org/jtt/ComputationalLiterature.html、http://en.wikipedia.org/wiki/Rough_set、および文献（森典彦、田中英夫、井上勝雄、「ラフ集合と感性」、海文堂出版、２００４年４月）に記載されている。
【００４７】
まず、ラフ集合における上近似と下近似を説明する。図１０は上近似と下近似の概念を示しており、集合Ａに対して、集合Ａに含まれる下近似（_Ａ）と、集合Ａを含む上近似（＾Ａ）とが定義される。より具体的には以下のようになる（図１１参照）。要素Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈ，Ｉ，Ｊ，Ｋ，Ｌがあり、表現しようとする集合＠（図１１（ａ））が要素Ｄ，Ｅ，Ｈ，Ｉ，Ｊ，Ｋ，Ｌからなるものとする。また、集合＠を表すために以下の３つの集合Ｐ，Ｑ，Ｒがあるものとする。
集合Ｐ：｛Ａ，Ｂ，Ｊ，Ｋ｝（図１１（ｂ））
集合Ｑ：｛Ｃ，Ｈ，Ｉ｝（図１１（ｃ））
集合Ｒ：｛Ｄ，Ｅ，Ｋ，Ｌ｝（図１１（ｄ））
【００４８】
集合＠の下近似_＠は以下の全ての条件を満たす。なお、∧は積集合を表し、∨は和集合を表す。
（１）下近似_＠の全ての要素∈＠である。
（２）下近似_＠は集合Ｐ，Ｑ，Ｒの論理演算で表現できる。すなわち、下近似_＠は、φ（空集合）、Ｐ、Ｑ、Ｒ、Ｐ∧Ｑ、Ｐ∧Ｒ、Ｑ∧Ｒ、Ｐ∨Ｑ、Ｐ∨Ｒ、Ｑ∨Ｒ、Ｐ∧Ｑ∧Ｒ、ｎｏｔ（Ｐ）∧Ｑ等のいずれかである。
（３）要素数が最大である。
これらの条件を満たすのは集合Ｒである（図１１（ｅ））。
【００４９】
また、集合＠の上近似＾＠は以下の全ての条件を満たす。
（１）集合＠の全ての要素∈＾＠である。
（２）上近似＾＠は集合Ｐ，Ｑ，Ｒの論理演算で表現できる。すなわち、上近似＾＠は、φ（空集合）、Ｐ、Ｑ、Ｒ、Ｐ∧Ｑ、Ｐ∧Ｒ、Ｑ∧Ｒ、Ｐ∨Ｑ、Ｐ∨Ｒ、Ｑ∨Ｒ、Ｐ∧Ｑ∧Ｒ、ｎｏｔ（Ｐ）∧Ｑ等のいずれかである。
（３）要素数が最小である。
これらの条件を満たすのは集合Ｐ∨Ｑ∨Ｒである（図１１（ｅ））。
【００５０】
以下、第３の動作例の手順を説明する。図１２は第３の動作例の処理手順を示している。画像特徴量算出部２１は、画像母集団から選択した学習画像の特徴量を算出し、特徴量データを生成する（ステップＳ３００）。また、特徴量を算出した学習画像は表示用の画像として画像記憶部１０に保存される。続いて、画像特徴量算出部２１は、文章との関連付けの対象となる入力画像Ｉｊを画像記憶部１０から読み出してその特徴量を算出し、特徴量データを生成する（ステップＳ３１０）。
【００５１】
続いて、キーワード付与部３は、画像特徴量算出部２１から特徴量データを受け取り、入力画像Ｉｊの特徴量データと学習画像の特徴量データとの適合度を算出する。キーワード付与部３は、適合度が高い方から順に所定個数の特徴量データを選択し、その特徴量データに関連付けられている単語を単語記憶部１１から読み出し、入力画像ＩｊのキーワードＫＷｉｊ（ｉ＝｛１，・・・，Ｎｊ｝）として単語記憶部１１に格納する。また、キーワード付与部３は各キーワードＫＷｉｊの適合度Ｓ（ｉ，ｊ）を記憶部１に格納する（ステップＳ３２０）。
【００５２】
一方、単語付与部４は文章記憶部１２から文章を読み出し、文章の形態素解析（構造分析）により自立語を生成する（ステップＳ３３０）。続いて、単語付与部４は単語記憶部１１から単語辞書を読み出し、単語辞書に登録されている単語を上記の自立語と照合する。単語付与部４は、照合の結果、両者が一致した回数を単語毎にカウントし、各単語の文章中の出現頻度Ｆｋｔ（ＴＸｔ）を算出する（ステップＳ３４０）。ステップＳ３４０の処理は、Ｔ個の文章ＴＸｔ（ｔ＝｛１，２，・・・，Ｔ｝）のそれぞれについて実行される。
【００５３】
続いて、照合部５は、キーワード付与部３から出力される入力画像ＩｊのキーワードＫＷｉｊで構成されるキーワード集合と、単語付与部４から出力される単語で構成されるキーワード集合とを照合する。また、文章選択部６は、照合部５による照合の結果に基づいて、入力画像Ｉｊに適合する文章を検索する（ステップＳ３５０）。
【００５４】
図１３はステップＳ３５０の処理の詳細を示している。まず、照合部５は処理条件を設定する（ステップＳ３５０ａ）。より具体的には、ステップＳ３５０ａでは、キーワード適合度Ｓ（ｉ，ｊ）の閾値ＴＨ、単語の出現頻度の閾値ＴＨｔｘｔ、最適文章候補の合計個数の上限ＴＸｍａｘ、上近似精度の閾値Ｔｈｕａ、および下近似精度の閾値ＴＨｌａが設定される。
【００５５】
続いて、照合部５は、キーワード付与部３から出力されたキーワードＫＷｉｊの中から、入力画像Ｉｊに対する適合度Ｓ（ｉ，ｊ）が閾値ＴＨを超えるものを選択し、入力画像Ｉｊのキーワード集合ＫＷｊ（ＴＨ）を生成する（ステップＳ３５０ｂ）。また、照合部５は、単語付与部４から出力された単語の中から、単語の出現頻度が閾値ＴＨｔｘｔを超えるものを選択し、キーワード集合ＫＷ_ＴＸ（ＴＨｔｘｔ，ＴＸｔ）を生成する（ステップＳ３５０ｃ）。この処理はＴ個の文章ＴＸｔのそれぞれについて実行され、Ｔ個のキーワード集合ＫＷ_ＴＸ（ＴＨｔｘｔ，ＴＸｔ）が生成される。
【００５６】
図１４は、ステップＳ３５０ｃの処理内容を示している。図１４（ａ）は、ある文章（文章ＴＸａとする）中の単語の出現頻度を示しており、その出現頻度が閾値ＴＨｔｘｔを超える単語で構成される集合がキーワード集合ＫＷ_ＴＸ（ＴＨｔｘｔ，ＴＸａ）の要素となる。図１４（ｂ）は、別の文章（文章ＴＸｂとする）中の単語の出現頻度を示しており、その出現頻度が閾値ＴＨｔｘｔを超える単語で構成される集合がキーワード集合ＫＷ_ＴＸ（ＴＨｔｘｔ，ＴＸｂ）の要素となる。
【００５７】
ステップＳ３５０ｂ，Ｓ３５０ｃの処理に続いて、照合部５は、キーワード集合ＫＷｊ（ＴＨ）とキーワード集合ＫＷ_ＴＸ（ＴＨｔｘｔ，ＴＸｔ）を照合し、キーワード集合ＫＷｊ（ＴＨ）（図１１の集合＠に対応）に対する、キーワード集合ＫＷ_ＴＸ（ＴＨｔｘｔ，ＴＸｔ）（図１１の集合Ａ，Ｂ，・・，Ｌのそれぞれに対応）で構成される近似集合（下近似_ＫＷｊ（ＴＨｔｘｔ）および上近似＾ＫＷｊ（ＴＨｔｘｔ））を算出する（ステップＳ３５０ｄ）。
【００５８】
キーワード集合ＫＷｊ（ＴＨ）の下近似_ＫＷｊ（ＴＨｔｘｔ）は、以下の全ての条件を満たす集合として定義される。
（１）下近似_ＫＷｊ（ＴＨｔｘｔ）の全ての要素がキーワード集合ＫＷｊ（ＴＨ）に含まれる。
（２）_ＫＷｊ（ＴＨｔｘｔ）＝ＫＷ_ＴＸ（ＴＨｔｘｔ，ｔ１）∨ＫＷ_ＴＸ（ＴＨｔｘｔ，ｔ２）∨・・・∨ＫＷ_ＴＸ（ＴＨｔｘｔ，ｔｎ）。ただし、ｔｎ≦ＴＸｍａｘである。
（３）下近似_ＫＷｊ（ＴＨｔｘｔ）の要素数が最大である。
【００５９】
なお、上記の（２）は、下近似_ＫＷｊ（ＴＨｔｘｔ）が、キーワード集合ＫＷ_ＴＸ（ＴＨｔｘｔ，ＴＸｔ）の和集合で表されることを定義している。
【００６０】
また、キーワード集合ＫＷｊ（ＴＨ）の上近似＾ＫＷｊ（ＴＨｔｘｔ）は、以下の全ての条件を満たす集合として定義される。
（１）キーワード集合ＫＷｊ（ＴＨ）の全ての要素が上近似＾ＫＷｊ（ＴＨｔｘｔ）に含まれる。
（２）＾ＫＷｊ（ＴＨｔｘｔ）＝ＫＷ_ＴＸ（ＴＨｔｘｔ，ｔ１）∨ＫＷ_ＴＸ（ＴＨｔｘｔ，ｔ２）∨・・・∨ＫＷ_ＴＸ（ＴＨｔｘｔ，ｔｎ）。ただし、ｔｎ≦ＴＸｍａｘである。
（３）上近似＾ＫＷｊ（ＴＨｔｘｔ）の要素数が最小である。
【００６１】
ステップＳ３５０ｄの処理に続いて、照合部５は、キーワード集合ＫＷｊ（ＴＨ）の要素数と上近似＾ＫＷｊ（ＴＨｔｘｔ）の要素数の比が以下の式を満たすか否かを判定することにより、上近似精度を判定する（ステップＳ３５０ｅ）。なお、以下の式において、ｃａｒｄは要素数を表す。
ｃａｒｄ（ＫＷｊ（ＴＨ））／ｃａｒｄ（＾ＫＷｊ（ＴＨｔｘｔ））＞ＴＨｕａ
【００６２】
要素数の比が閾値ＴＨｕａ以下であった場合、照合部５は、上近似精度が悪いと判定する。この場合には照合部５は閾値ＴＨ，ＴＨｔｘｔを再度別の値に設定し（ステップＳ３５０ｆ）、ステップＳ３５０ｂ，Ｓ３５０ｃの処理に戻る。また、要素数の比が閾値ＴＨｕａを超えた場合、照合部５は、上近似精度が良いと判定する。この場合には、照合部５は下近似_ＫＷｊ（ＴＨｔｘｔ）が空集合であるか否かを判定する（ステップＳ３５０ｇ）。
【００６３】
下近似_ＫＷｊ（ＴＨｔｘｔ）が空集合であった場合、照合部５は上近似＾ＫＷｊ（ＴＨｔｘｔ）およびキーワード集合ＫＷ_ＴＸ（ＴＨｔｘｔ，ＴＸｔ）の情報を文章選択部６へ出力する。文章選択部６は、上近似＾ＫＷｊ（ＴＨｔｘｔ）を構成するキーワード集合ＫＷ_ＴＸ（ＴＨｔｘｔ，ＴＸｔ）に関連付けられている文章ＴＸｔを選択する（ステップＳ３５０ｈ）。
【００６４】
また、下近似_ＫＷｊ（ＴＨｔｘｔ）が空集合でなかった場合、照合部５は、キーワード集合ＫＷｊ（ＴＨ）の要素数と下近似_ＫＷｊ（ＴＨｔｘｔ）の要素数の比が以下の式を満たすか否かを判定することにより、下近似精度を判定する（ステップＳ３５０ｉ）。
ｃａｒｄ（_ＫＷｊ（ＴＨｔｘｔ））／ｃａｒｄ（ＫＷｊ（ＴＨ））＞ＴＨｌａ
【００６５】
要素数の比が閾値ＴＨｌａ以下であった場合、照合部５は、下近似精度が悪いと判定し、処理がステップＳ３５０ｈに進む。また、要素数の比が閾値ＴＨｌａを超えた場合、照合部５は、下近似精度が良いと判定し、上近似＾ＫＷｊ（ＴＨｔｘｔ）、下近似_ＫＷｊ（ＴＨｔｘｔ）、およびキーワード集合ＫＷ_ＴＸ（ＴＨｔｘｔ，ＴＸｔ）の情報を文章選択部６へ出力する。文章選択部６は、下近似_ＫＷｊ（ＴＨｔｘｔ）を構成するキーワード集合ＫＷ_ＴＸ（ＴＨｔｘｔ，ＴＸｔ）に関連付けられている文章ＴＸｔと、上近似＾ＫＷｊ（ＴＨｔｘｔ）を構成するキーワード集合ＫＷ_ＴＸ（ＴＨｔｘｔ，ＴＸｔ）に関連付けられている文章ＴＸｔとを選択する（ステップＳ３５０ｊ）。ステップＳ３５０ｈおよびステップＳ３５０ｊの処理に続いて、文章選択部６は、選択した文章ＴＸｔを入力画像Ｉｊと関連付けて文章記憶部１２に格納する（ステップＳ３５０ｋ）。
【００６６】
上記の処理によって、入力画像Ｉｊに対して、入力画像Ｉｊに適した文章を関連付けることができる。また、入力画像ＩｊのキーワードＫＷｉｊの適合度Ｓ（ｉ，ｊ）や、文章ＴＸｔに関連付けられた単語の文章中の出現頻度Ｆｋｔ（ＴＸｔ）を考慮して文章ＴＸｔの選択を行うことによって、入力画像Ｉｊに対する文章ＴＸｔの関連付けの精度をより高めることができる。なお、ステップＳ３５０ｊでは、上近似＾ＫＷｊ（ＴＨｔｘｔ）に対応する文章ＴＸｔと下近似_ＫＷｊ（ＴＨｔｘｔ）に対応する文章ＴＸｔとの両方を選択しているが、下近似_ＫＷｊ（ＴＨｔｘｔ）に対応する文章ＴＸｔのみを選択するようにしてもよい。また、ステップＳ３５０ｂにおいて、入力画像Ｉｊに対するキーワードＫＷｉｊの適合度Ｓ（ｉ，ｊ）の代わりにコスト関数を用いてもよい。
【００６７】
（第４の動作例）
次に、第４の動作例を説明する。第４の動作例では、第２の動作例と同様に画像の付帯情報を利用して、入力画像Ｉｊに対してキーワードを関連付ける。また、第３の動作例と同様に入力画像Ｉｊに関連付けられたキーワードを集合として扱い、そのキーワード集合を最も良く近似する単語の集合を有している文章を入力画像Ｉｊに関連付ける。
【００６８】
図１５は第４の動作例の処理手順を示している。付帯情報取得部２２は、入力画像Ｉｊに関連付けられている付帯情報を画像記憶部１０から読み出し、キーワード付与部３へ出力する（ステップＳ４００）。キーワード付与部３は、付帯情報と単語とが関連付けられた情報を単語記憶部１１から読み出し、付帯情報取得部２２から受け取った付帯情報に対応した単語をキーワードとして抽出し、入力画像Ｉｊのキーワード集合ＫＷｊとして単語記憶部１１に格納する（ステップＳ４１０）。
【００６９】
一方、単語付与部４は文章記憶部１２から文章を読み出し、文章の形態素解析（構造分析）により自立語を生成する（ステップＳ４２０）。続いて、単語付与部４は単語記憶部１１から単語辞書を読み出し、単語辞書に登録されている単語を上記の自立語と照合する。単語付与部４は、照合の結果、両者が一致した回数を単語毎にカウントし、各単語の文章中の出現頻度Ｆｋｔ（ＴＸｔ）を算出する（ステップＳ４３０）。ステップＳ４３０の処理は、Ｔ個の文章ＴＸｔ（ｔ＝｛１，２，・・・，Ｔ｝）のそれぞれについて実行される。
【００７０】
続いて、照合部５は、キーワード付与部３から出力される入力画像Ｉｊのキーワードキーワード集合ＫＷｊと、単語付与部４から出力される単語で構成されるキーワード集合とを照合する。また、文章選択部６は、照合部５による照合の結果に基づいて、入力画像Ｉｊに適合する文章を検索する（ステップＳ４４０）。
【００７１】
図１６はステップＳ４４０の処理の詳細を示している。まず、照合部５は処理条件を設定する（ステップＳ４４０ａ）。より具体的には、ステップＳ４４０ａでは、単語の出現頻度の閾値ＴＨｔｘｔ、最適文章候補の合計個数の上限ＴＸｍａｘ、上近似精度の閾値Ｔｈｕａ、および下近似精度の閾値ＴＨｌａが設定される。
【００７２】
続いて、照合部５は、単語付与部４から出力された単語の中から、単語の出現頻度が閾値ＴＨｔｘｔを超えるものを選択し、キーワード集合ＫＷ_ＴＸ（ＴＨｔｘｔ，ＴＸｔ）を生成する（ステップＳ４４０ｂ）。この処理はＴ個の文章ＴＸｔのそれぞれについて実行され、Ｔ個のキーワード集合ＫＷ_ＴＸ（ＴＨｔｘｔ，ＴＸｔ）が生成される。
【００７３】
続いて、照合部５は、キーワード集合ＫＷｊ（ＴＨ）とキーワード集合ＫＷ_ＴＸ（ＴＨｔｘｔ，ＴＸｔ）を照合し、キーワード集合ＫＷｊ（ＴＨ）に対する、キーワード集合ＫＷ_ＴＸ（ＴＨｔｘｔ，ＴＸｔ）で構成される近似集合（下近似_ＫＷｊ（ＴＨｔｘｔ）および上近似＾ＫＷｊ（ＴＨｔｘｔ））を算出する（ステップＳ４４０ｃ）。近似集合の算出方法は第３の動作例と同様である。
【００７４】
続いて、照合部５は第３の動作例と同様の方法により上近似精度を判定する（ステップＳ４４０ｄ）。上近似精度が悪いと判定した場合には、照合部５は閾値ＴＨｔｘｔを再度別の値に設定し（ステップＳ４４０ｅ）、ステップＳ４４０ｂの処理に戻る。また、上近似精度が良いと判定した場合には、照合部５は下近似_ＫＷｊ（ＴＨｔｘｔ）が空集合であるか否かを判定する（ステップＳ４４０ｆ）。
【００７５】
下近似_ＫＷｊ（ＴＨｔｘｔ）が空集合であった場合、照合部５は上近似＾ＫＷｊ（ＴＨｔｘｔ）およびキーワード集合ＫＷ_ＴＸ（ＴＨｔｘｔ，ＴＸｔ）の情報を文章選択部６へ出力する。文章選択部６は、上近似＾ＫＷｊ（ＴＨｔｘｔ）を構成するキーワード集合ＫＷ_ＴＸ（ＴＨｔｘｔ，ＴＸｔ）に関連付けられている文章ＴＸｔを選択する（ステップＳ４４０ｇ）。
【００７６】
また、下近似_ＫＷｊ（ＴＨｔｘｔ）が空集合でなかった場合、照合部５は第３の動作例と同様の方法により下近似精度を判定する（ステップＳ４４０ｈ）。下近似精度が悪いと判定した場合には、処理がステップＳ４４０ｇに進む。また、下近似精度が良いと判定した場合には、照合部５は、上近似＾ＫＷｊ（ＴＨｔｘｔ）、下近似_ＫＷｊ（ＴＨｔｘｔ）、およびキーワード集合ＫＷ_ＴＸ（ＴＨｔｘｔ，ＴＸｔ）の情報を文章選択部６へ出力する。文章選択部６は、下近似_ＫＷｊ（ＴＨｔｘｔ）を構成するキーワード集合ＫＷ_ＴＸ（ＴＨｔｘｔ，ＴＸｔ）に関連付けられている文章ＴＸｔと、上近似＾ＫＷｊ（ＴＨｔｘｔ）を構成するキーワード集合ＫＷ_ＴＸ（ＴＨｔｘｔ，ＴＸｔ）に関連付けられている文章ＴＸｔとを選択する（ステップＳ４４０ｉ）。ステップＳ４４０ｇおよびステップＳ４４０ｉの処理に続いて、文章選択部６は、選択した文章ＴＸｔを入力画像Ｉｊと関連付けて文章記憶部１２に格納する（ステップＳ４４０ｊ）。
【００７７】
上記の処理によって、入力画像Ｉｊに対して、入力画像Ｉｊに適した文章を関連付けることができる。また、文章ＴＸｔに関連付けられた単語の文章中の出現頻度Ｆｋｔ（ＴＸｔ）を考慮して文章ＴＸｔの選択を行うことによって、入力画像Ｉｊに対する文章ＴＸｔの関連付けの精度をより高めることができる。なお、ステップＳ４４０ｈでは、上近似＾ＫＷｊ（ＴＨｔｘｔ）に対応する文章ＴＸｔと下近似_ＫＷｊ（ＴＨｔｘｔ）に対応する文章ＴＸｔとの両方を選択しているが、下近似_ＫＷｊ（ＴＨｔｘｔ）に対応する文章ＴＸｔのみを選択するようにしてもよい。
【００７８】
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【図面の簡単な説明】
【００７９】
【図１】本発明の一実施形態による情報処理装置の構成を示すブロック図である。
【図２】本発明の一実施形態による情報処理装置の動作（第１の動作例）の手順を示すフローチャートである。
【図３】本発明の一実施形態における単語の文章中の出現頻度を示す参考図である。
【図４】本発明の一実施形態における類義語辞書の内容を示す参考図である。
【図５】本発明の一実施形態における単語グループの文章中の出現頻度を示す参考図である。
【図６】本発明の一実施形態による情報処理装置の動作（第１の動作例）の手順を示すフローチャートである。
【図７】本発明の一実施形態における画像の付帯情報と単語とが関連付けられた情報の内容を示す参考図である。
【図８】本発明の一実施形態による情報処理装置の動作（第２の動作例）の手順を示すフローチャートである。
【図９】本発明の一実施形態による情報処理装置の動作（第２の動作例）の手順を示すフローチャートである。
【図１０】本発明の一実施形態に用いるラフ集合における上近似と下近似の概念を示す参考図である。
【図１１】本発明の一実施形態に用いるラフ集合における上近似と下近似を説明するための参考図である。
【図１２】本発明の一実施形態による情報処理装置の動作（第３の動作例）の手順を示すフローチャートである。
【図１３】本発明の一実施形態による情報処理装置の動作（第３の動作例）の手順を示すフローチャートである。
【図１４】本発明の一実施形態における単語の文章中の出現頻度を示す参考図である。
【図１５】本発明の一実施形態による情報処理装置の動作（第４の動作例）の手順を示すフローチャートである。
【図１６】本発明の一実施形態による情報処理装置の動作（第４の動作例）の手順を示すフローチャートである。
【符号の説明】
【００８０】
１・・・記憶部、２・・・画像情報取得部、３・・・キーワード付与部（第１の処理手段）、４・・・単語付与部（第２の処理手段）、５・・・照合部（照合手段）、６・・・文章選択部（第３の処理手段）、１０・・・画像記憶部（画像記憶手段）、１１・・・単語記憶部（単語記憶手段）、１２・・・文章記憶部（文章記憶手段）、２０・・・被写体認識部、２１・・・画像特徴量算出部、２２・・・付帯情報取得部
【図１】
2009032154.tif 000003
【図２】
2009032154.tif 000004
【図３】
2009032154.tif 000005
【図４】
2009032154.tif 000006
【図５】
2009032154.tif 000007
【図６】
2009032154.tif 000008
【図７】
2009032154.tif 000009
【図８】
2009032154.tif 000010
【図９】
2009032154.tif 000011
【図１０】
2009032154.tif 000012
【図１１】
2009032154.tif 000013
【図１２】
2009032154.tif 000014
【図１３】
2009032154.tif 000015
【図１４】
2009032154.tif 000016
【図１５】
2009032154.tif 000017
【図１６】
2009032154.tif 000018