(57)【要約】【課題】文章に含まれる時刻および位置のキーワードに基づいて、ユーザが過去に撮像した複数の撮像画像の中から、ユーザが想起しているイメージに最も適切な撮像画像を抽出する。【解決手段】本発明に係る画像処理装置は、撮像時刻に対応づけて、ユーザが所有する撮像画像を格納する画像格納部と、入力された文章から時刻を示すキーワードを抽出する時刻キーワード抽出部と、時刻に対応づけて、当該時刻を示すキーワードを格納する時刻キーワード格納部と、時刻キーワード抽出部が抽出したキーワードに対応づけられて時刻キーワード格納部が格納している時刻を抽出する時刻抽出部と、時刻抽出部が抽出した時刻に対応づけて画像格納部が格納している撮像画像を抽出する画像抽出部と、画像抽出部が抽出した撮像画像を、入力された文章とともに出力する画像出力部とを備える。【選択図】図１
2007141070.tif 000002
【特許請求の範囲】
【請求項１】
撮像時刻に対応づけて、ユーザが所有する撮像画像を格納する画像格納部と、
入力された文章から時刻を示すキーワードを抽出する時刻キーワード抽出部と、
時刻に対応づけて、当該時刻を示すキーワードを格納する時刻キーワード格納部と、
前記時刻キーワード抽出部が抽出したキーワードに対応づけられて前記時刻キーワード格納部が格納している時刻を抽出する時刻抽出部と、
前記時刻抽出部が抽出した時刻に対応づけて前記画像格納部が格納している撮像画像を抽出する画像抽出部と、
前記画像抽出部が抽出した撮像画像を、入力された文章とともに出力する画像出力部と
を備える画像処理装置。
【請求項２】
前記画像抽出部が抽出した複数の撮像画像を、撮像画像が撮像された撮像時刻を含む予め定められた期間ごとに、複数のグループに分類する画像分類部と、
前記画像分類部が分類した複数のグループのうちで、分類された撮像画像の数が最も多いグループから撮像画像を選択する画像選択部と
を更に備え、
前記画像出力部は、前記画像選択部が選択した撮像画像を、入力された文章とともに出力する
請求項１に記載の画像処理装置。
【請求項３】
前記画像分類部は、前記画像抽出部が抽出した複数の撮像画像を、撮像画像が撮像された季節ごとに複数のグループに分類し、
前記画像選択部は、前記画像分類部が季節ごとに分類した複数のグループのうちで、分類された撮像画像の数が最も多いグループから撮像画像を選択する
請求項２に記載の画像処理装置。
【請求項４】
前記画像格納部は、画像が撮像された撮像位置にさらに対応づけてユーザが所有する撮像画像を格納し、
前記画像分類部は、前記画像抽出部が抽出した複数の撮像画像を、撮像画像が撮像された撮像位置ごとに複数のグループに分類し、
前記画像選択部は、前記画像分類部が撮像位置ごとに分類した複数のグループのうちで、分類された撮像画像の数が最も多いグループから撮像画像を選択する
請求項２に記載の画像処理装置。
【請求項５】
前記画像分類部は、前記画像抽出部が抽出した複数の撮像画像を、撮像画像に含まれるオブジェクトごとに複数のグループに分類し、
前記画像選択部は、前記画像分類部が撮像画像に含まれるオブジェクトごとに分類した複数のグループのうちで、分類された撮像画像の数が最も多いグループから撮像画像を選択する
請求項２に記載の画像処理装置。
【請求項６】
入力された文章から位置を示すキーワードを抽出する位置キーワード抽出部と、
位置に対応づけて、当該位置を示すキーワードを格納している位置キーワード格納部と、
前記位置キーワード抽出部が抽出したキーワードに対応づけられて前記位置キーワード格納部が格納している位置を抽出する位置抽出部と
をさらに備え、
前記画像選択部は、前記画像分類部が分類した複数のグループのうちで、前記位置抽出部が抽出した位置に最も近い撮像位置で撮像された撮像画像を選択する
請求項２に記載の画像処理装置。
【請求項７】
前記画像選択部は、前記画像分類部が分類した複数のグループのうちで、分類された撮像画像の数が最も多いグループから、文章が入力された時刻に最も近い撮像時刻に撮像された撮像画像を選択する
請求項２に記載の画像処理装置。
【請求項８】
撮像時刻に対応づけて、ユーザが所有する撮像画像を画像格納部に格納する画像格納段階と、
入力された文章から時刻を示すキーワードを抽出する時刻キーワード抽出段階と、
時刻に対応づけて、当該時刻を示すキーワードを時刻キーワード格納部に格納する時刻キーワード格納段階と、
前記時刻キーワード抽出段階が抽出したキーワードに対応づけられて前記時刻キーワード格納部が格納している時刻を抽出する時刻抽出段階と、
前記時刻抽出段階が抽出した時刻に対応づけて前記画像格納部が格納している撮像画像を抽出する画像抽出段階と、
前記画像抽出段階が抽出した撮像画像を、入力された文章とともに出力する画像出力段階と
を備える画像処理方法。
【請求項９】
画像を文章と共に出力する画像処理装置用の画像処理プログラムであって、前記画像処理装置を、
撮像時刻に対応づけて、ユーザが所有する撮像画像を格納する画像格納部と、
入力された文章から時刻を示すキーワードを抽出する時刻キーワード抽出部と、
時刻に対応づけて、当該時刻を示すキーワードを格納する時刻キーワード格納部と、
前記時刻キーワード抽出部が抽出したキーワードに対応づけられて前記時刻キーワード格納部が格納している時刻を抽出する時刻抽出部と、
前記時刻抽出部が抽出した時刻に対応づけて前記画像格納部が格納している撮像画像を抽出する画像抽出部と、
前記画像抽出部が抽出した撮像画像を、入力された文章とともに出力する画像出力部
として機能させる画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、および画像処理プログラムに関する。特に、本発明は、撮像画像を入力された文章と共に出力する画像処理装置、画像処理方法、および画像処理プログラムに関する。
【背景技術】
【０００２】
文書の文字列に適合した画像を容易に選択することを目的とした文書作成装置が提案されている（例えば、特許文献１参照。）。特許文献１に記載の発明では、画像を挿入した文章を作成する場合に、まず、使用者が入力した文字列の属性を決定する。そして、予め文字列の属性に対応付けられた画像の中から、使用者が入力した文字列の属性と一致する複数の画像を抽出する。続いて、抽出した複数の画像を一覧表示してユーザにユーザが使用を所望する画像を選択させる。
【特許文献１】特開２０００−１７２６８８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
特許文献１に記載の発明においては、文章に含まれる文字列の属性に基づいて画像を抽出するので、文章及び文字列に対応した複数の画像を抽出できる。しかしながら、特許文献１に記載の発明では、文字列の属性に予め対応づけられている画像は、ユーザの個性が反映された画像ではないため、ユーザが真に表示を欲する画像を、適切に抽出することができない場合がある。
【０００４】
そこで本発明は、上記課題を解決することができる画像処理装置、画像処理方法、および画像処理プログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明の第１の形態においては、画像処理装置であって、撮像時刻に対応づけて、ユーザが所有する撮像画像を格納する画像格納部と、入力された文章から時刻を示すキーワードを抽出する時刻キーワード抽出部と、時刻に対応づけて、当該時刻を示すキーワードを格納する時刻キーワード格納部と、時刻キーワード抽出部が抽出したキーワードに対応づけられて時刻キーワード格納部が格納している時刻を抽出する時刻抽出部と、時刻抽出部が抽出した時刻に対応づけて画像格納部が格納している撮像画像を抽出する画像抽出部と、画像抽出部が抽出した撮像画像を、入力された文章とともに出力する画像出力部とを備える。
【０００６】
また、画像抽出部が抽出した複数の撮像画像を、撮像画像が撮像された撮像時刻を含む予め定められた期間ごとに、複数のグループに分類する画像分類部と、画像分類部が分類した複数のグループのうちで、分類された撮像画像の数が最も多いグループから撮像画像を選択する画像選択部とを更に備え、画像出力部は、画像選択部が選択した撮像画像を、入力された文章とともに出力してもよい。更に、画像分類部は、画像抽出部が抽出した複数の撮像画像を、撮像画像が撮像された季節ごとに複数のグループに分類し、画像選択部は、画像分類部が季節ごとに分類した複数のグループのうちで、分類された撮像画像の数が最も多いグループから撮像画像を選択してもよい。
【０００７】
更に、画像格納部は、画像が撮像された撮像位置にさらに対応づけてユーザが所有する撮像画像を格納し、画像分類部は、画像抽出部が抽出した複数の撮像画像を、撮像画像が撮像された撮像位置ごとに複数のグループに分類し、画像選択部は、画像分類部が撮像位置ごとに分類した複数のグループのうちで、分類された撮像画像の数が最も多いグループから撮像画像を選択してもよい。そして、画像分類部は、画像抽出部が抽出した複数の撮像画像を、撮像画像に含まれるオブジェクトごとに複数のグループに分類し、画像選択部は、画像分類部が撮像画像に含まれるオブジェクトごとに分類した複数のグループのうちで、分類された撮像画像の数が最も多いグループから撮像画像を選択してもよい。
【０００８】
また、入力された文章から位置を示すキーワードを抽出する位置キーワード抽出部と、位置に対応づけて、当該位置を示すキーワードを格納している位置キーワード格納部と、位置キーワード抽出部が抽出したキーワードに対応づけられて位置キーワード格納部が格納している位置を抽出する位置抽出部とをさらに備え、画像選択部は、画像分類部が分類した複数のグループのうちで、位置抽出部が抽出した位置に最も近い撮像位置で撮像された撮像画像を選択してもよい。そして、画像選択部は、画像分類部が分類した複数のグループのうちで、分類された撮像画像の数が最も多いグループから、文章が入力された時刻に最も近い撮像時刻に撮像された撮像画像を選択してもよい。
【０００９】
また、本発明の第２の形態においては、画像処理方法であって、撮像時刻に対応づけて、ユーザが所有する撮像画像を画像格納部に格納する画像格納段階と、入力された文章から時刻を示すキーワードを抽出する時刻キーワード抽出段階と、時刻に対応づけて、当該時刻を示すキーワードを時刻キーワード格納部に格納する時刻キーワード格納段階と、時刻キーワード抽出段階が抽出したキーワードに対応づけられて時刻キーワード格納部が格納している時刻を抽出する時刻抽出段階と、時刻抽出段階が抽出した時刻に対応づけて画像格納部が格納している撮像画像を抽出する画像抽出段階と、画像抽出段階が抽出した撮像画像を、入力された文章とともに出力する画像出力段階とを備える。
【００１０】
また、本発明の第３の形態においては、画像を文章と共に出力する画像処理装置用の画像処理プログラムであって、画像処理装置を、撮像時刻に対応づけて、ユーザが所有する撮像画像を格納する画像格納部と、入力された文章から時刻を示すキーワードを抽出する時刻キーワード抽出部と、時刻に対応づけて、当該時刻を示すキーワードを格納する時刻キーワード格納部と、時刻キーワード抽出部が抽出したキーワードに対応づけられて時刻キーワード格納部が格納している時刻を抽出する時刻抽出部と、時刻抽出部が抽出した時刻に対応づけて画像格納部が格納している撮像画像を抽出する画像抽出部と、画像抽出部が抽出した撮像画像を、入力された文章とともに出力する画像出力部として機能させる。
【００１１】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【発明の効果】
【００１２】
本発明によれば、ユーザが入力した文章に含まれる時刻を示すキーワードを抽出して、抽出した時刻を示すキーワードに対応づけられている時刻を抽出する。そして、ユーザが過去に撮像した複数の撮像画像の中から、抽出した時刻に対応づけられている撮像画像を抽出できるので、ユーザが実際に想起しているイメージに最も適切な撮像画像を抽出することができる。
【発明を実施するための最良の形態】
【００１３】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１４】
図１は、本発明の一実施形態に係る画像処理装置１０の機能構成の一例を示す。画像処理装置１０は、文章入力部１００、画像入力部１０２、位置キーワード格納部１１０、時刻キーワード抽出部１２０、時刻抽出部１２２、時刻キーワード格納部１２４、位置抽出部１４０、画像抽出部１５０、画像格納部１６０、画像分類部１７０、画像選択部１７２、および画像出力部１８０を備える。本実施形態に係る画像処理装置１０は、ユーザが入力した文章に含まれる時刻を示すキーワードを抽出して、抽出した時刻を示すキーワードに対応づけられている時刻を抽出する。そして、ユーザが過去に撮像した複数の撮像画像の中から、抽出した時刻に対応づけられている撮像画像を抽出して、ユーザが実際に想起しているイメージに最も適切な撮像画像を抽出することを目的とする。
【００１５】
文章入力部１００は、画像処理装置１０に文章を入力する。文章入力部１００は、入力した文章を時刻キーワード抽出部１２０および位置キーワード抽出部１３０に供給する。更に、文章入力部１００は、入力した文章を、画像出力部１８０に供給する。画像入力部１０２は、画像処理装置１０に画像を入力する。画像入力部１０２は、入力した画像を画像格納部１６０に供給する。画像格納部１６０は、撮像時刻に対応づけて、ユーザが所有する撮像画像を格納する。また、画像格納部１６０は、画像が撮像された撮像位置に更に対応づけてユーザが所有する撮像画像を格納してもよい。そして、画像格納部１６０は、撮像画像に含まれるオブジェクトに更に対応づけて撮像画像を格納してもよい。画像格納部１６０が格納する画像は、ユーザが過去に撮像した画像、インターネット等のネットワークを介して画像入力部１０２が受け取った画像、および撮像画像に対して画像処理を施した画像等であってよい。更に、画像格納部１６０は、画像の内容を示すキーワードに対応づけて撮像画像を格納してもよい。画像の内容を示すキーワードは、画像に含まれるオブジェクトのオブジェクト名を表すキーワード、画像に含まれる背景を表すキーワード、および画像に付帯されている画像撮像時の撮像条件に基づいて決定されるキーワード等であってよい。画像格納部１６０は格納している画像を、画像抽出部１５０の制御に基づいて、画像抽出部１５０に供給する。
【００１６】
時刻キーワード抽出部１２０は、文章入力部１００から受け取った文章から時刻を示すキーワードを抽出する。時刻を示すキーワードは、画像の撮像年月日、時・分、所定の期間（朝、昼、夜、および夏休み等）、季節、過去の概念を表す単語（昨日、先月、去年、および一昨年等）であってよい。時刻キーワード抽出部１２０は抽出した時刻を示すキーワードを、時刻抽出部１２２に供給する。時刻キーワード格納部１２４は、時刻に対応づけて当該時刻を示すキーワードを格納する。なお、時刻キーワード格納部１２４が格納する時刻は、過去の時刻を含んでいてよく、また、当該時刻を含む所定の時間間隔を有していてもよい。時刻キーワード格納部１２４は、時刻抽出部１２２の制御に基づいて、時刻抽出部１２２に時刻を示すキーワードを供給する。
【００１７】
また、画像処理装置１０は、ユーザが文章を入力した時刻を検出する時刻検出部を更に備えてよい。また、画像処理装置１０は、時刻キーワード格納部１２４が時刻を示すキーワードに対応づけて格納している時刻を、時刻検出部が検出した時刻に基づいて更新する、時刻更新部を更に備えてもよい。具体的には、時刻更新部は、時刻検出部が検出した文章が入力された時刻を受け取り、時刻キーワード格納部１２４が時刻を示すキーワードに対応づけて格納している、時刻に関する情報を更新する。例えば、時刻更新部は、時刻を示すキーワードが「昨日」である場合には、「昨日」というキーワードに対応づけて格納されている年月日および時・分を、文章が入力された年月日および時・分から算出した「昨日」に対応する年月日および時・分に更新する。そして、時刻更新部は、更新した時刻を、時刻を示すキーワードに対応づけて時刻キーワード格納部１２４に格納する。
【００１８】
時刻抽出部１２２は、時刻キーワード抽出部１２０が抽出したキーワードに対応づけて時刻キーワード格納部１２４が格納している時刻を抽出する。具体的には、時刻キーワード抽出部１２０が抽出した、時刻を示すキーワードと同一のキーワードに対応づけて時刻キーワード格納部１２４が格納している時刻を抽出する。時刻抽出部１２２は抽出した時刻を、画像抽出部１５０および画像選択部１７２に供給する。位置キーワード抽出部１３０は、文章入力部１００から受け取った文章から位置を示すキーワードを抽出する。位置を示すキーワードは、撮像位置の国名、地域名、地名、都市名、およびランドマーク名等であってよい。位置キーワード抽出部１３０は、抽出した位置を示すキーワードを、位置抽出部１４０に供給する。位置キーワード格納部１１０は、位置に対応づけて、当該位置を示すキーワードを格納している。位置キーワード格納部１１０は、位置の緯度経度に対応づけて位置を示すキーワードを格納してよい。位置キーワード格納部１１０は、位置抽出部１４０の制御に基づいて、位置抽出部１４０に位置を示すキーワードを供給する。
【００１９】
位置抽出部１４０は、位置キーワード抽出部１３０が抽出したキーワードに対応付けられた位置キーワード格納部１１０が格納している位置を抽出する。具体的には、位置抽出部１４０は、位置キーワード抽出部１３０から受け取ったキーワードと位置キーワード格納部１１０が格納しているキーワードとを比較して、位置キーワード抽出部１３０から受け取ったキーワードと同一のキーワードに対応づけて位置キーワード格納部１１０が格納している位置を抽出する。位置抽出部１４０は、抽出した位置を画像抽出部１５０に供給する。
【００２０】
画像抽出部１５０は、時刻抽出部１２２が抽出した時刻に対応づけて、画像格納部１６０が格納している撮像画像を抽出する。画像抽出部１５０は、時刻に対応づけて画像格納部１６０から抽出した画像が一つだけの場合には、抽出した当該画像を画像出力部１８０に供給してよい。また、画像抽出部１５０は、時刻に対応づけて画像格納部１６０から抽出した画像が複数の場合には、抽出した複数の画像を画像分類部１７０に供給してよい。なお、画像抽出部１５０は、時刻に対応づけて画像格納部１６０から抽出した画像が複数の場合であっても、抽出した複数の画像を画像出力部１８０に供給してもよい。
【００２１】
画像分類部１７０は、画像抽出部１５０から受け取った複数の撮像画像を、撮像画像が撮像された撮像時刻を含む予め定められた期間ごとに、複数のグループに分類する。具体的には、画像分類部１７０は、画像抽出部１５０が抽出した複数の撮像画像を、撮像画像が撮像された季節ごとに複数のグループに分類してよい。また、画像分類部１７０は、画像が撮像された年ごと、朝・昼・夕・夜の区切りごと、および時・分で特定される期間ごとに、複数の撮像画像を複数のグループに分類してよい。また、画像分類部１７０は、画像抽出部１５０が抽出した複数の画像を、撮像画像が撮像された撮像位置ごとに複数のグループに分類してもよい。例えば、画像分類部１７０は、撮像画像に付帯されている撮像位置の情報を読み取って、撮像画像を、国、地域、地方、都市、ランドマーク、および店等ごとにグループに分類してもよい。更に、画像分類部１７０は、画像抽出部１５０が抽出した複数の撮像画像を、撮像画像に含まれるオブジェクトごとに複数のグループに分類してもよい。
【００２２】
具体的には、画像分類部１７０は、撮像画像に含まれるオブジェクトをマッチングにより抽出して、抽出したオブジェクトの種類ごとに、複数の撮像画像を複数のグループに分類する。また、画像分類部１７０は、撮像画像の明度、彩度、および空間周波数成分を分析して、複数の撮像画像を複数のグループに分類してもよい。例えば、画像分類部１７０は、撮像画像の明度を解析して、予め定められた基準値以上の明度を示す撮像画像と、予め定められた基準値未満の明度を示す撮像画像のグループに分類してもよい。これにより、画像分類部１７０は、昼間に撮像された撮像画像のグループと夜間に撮像された撮像画像のグループとに、複数の撮像画像を分類できる。また、画像分類部１７０は、撮像画像の中心から予め定められた範囲内に含まれるオブジェクトを抽出して、抽出したオブジェクトごとに複数の画像を複数のグループに分類してもよい。これにより、画像分類部１７０は、ユーザの関心が高いオブジェクトごとに、複数の撮像画像を複数のグループに分類できる。画像分類部１７０は、分類した複数のグループを画像選択部１７２に供給する。
【００２３】
画像選択部１７２は、画像分類部１７０が分類した複数のグループのうちで、分類された撮像画像の数が最も多いグループから画像を選択する。具体的には、画像選択部１７２は、画像分類部１７０が季節ごとに分類した複数のグループのうちで、分類された撮像画像の数が最も多いグループから撮像画像を選択してもよい。また、画像選択部１７２は、画像分類部１７０が撮像位置ごとに分類した複数のグループのうちで、分類された撮像画像の数が最も多いグループから画像を選択してもよい。更に、画像選択部１７２は、画像分類部１７０が撮像画像に含まれるオブジェクトごとに分類した複数のグループのうちで、分類された撮像画像の数が最も多いグループから画像を選択してもよい。
【００２４】
また、画像選択部１７２は、画像分類部１７０が分類した複数のグループのうちで、位置抽出部１４０から受け取った位置に最も近い撮像位置で撮像された撮像画像を選択してもよい。具体的には、ユーザが入力した文章に含まれる位置を示すキーワードに対応づけて位置キーワード格納部１１０が格納している、位置抽出部１４０が抽出した位置と、画像分類部１７０が分類したグループに含まれる撮像画像に付帯されている撮像位置の情報とを比較して、グループに含まれる複数の撮像画像の中から、位置抽出部１４０が抽出した位置に最も近い位置で撮像された画像を、画像選択部１７２は選択する。
【００２５】
更に、画像選択部１７２は、画像分類部１７０が分類した複数のグループのうちで、分類された撮像画像の数が最も多いグループから、文章が入力された時刻に最も近い撮像時刻に撮像された撮像画像を選択してもよい。具体的には、画像処理装置１０はユーザが文章を入力した時刻を検出する、時刻検出部を更に備えてよい。そして、時刻検出部はユーザが文章を入力した時刻を検出して、検出した時刻を画像選択部１７２に供給する。続いて、画像選択部１７２は、画像分類部１７０が分類した撮像画像の数が最も多いグループから、ユーザが文章を入力した時刻に最も近い撮像時刻において撮像された画像を選択してもよい。画像選択部１７２は、選択した画像を画像出力部１８０に供給する。
【００２６】
画像分類部１７０が分類したグループに含まれる撮像画像の数が多いほど、当該グループにユーザの関心が高い撮像画像がより多く含まれ得る。したがって、本実施形態に係る画像選択部１７２は、ユーザの関心が高い撮像画像を含むグループから撮像画像を選択できるので、本実施形態に係る画像処理装置１０は、ユーザが文章を入力しているときにユーザが想起しているイメージに適した画像を的確に選択できる。
【００２７】
画像出力部１８０は、画像抽出部１５０が抽出した撮像画像を、文章入力部１００から受け取った文章と共に出力する。また、画像出力部１８０は、画像選択部１７２から受け取った撮像画像を、文章入力部１００から受け取った文章と共に出力する。具体的には、画像出力部１８０は、インターネット上のウェブサイトにおいてウェブページのＵＲＬとともに文章等を記録する、ブログ等においてユーザが文章を入力した場合に、ユーザが入力した文章に含まれるキーワードを用いて上記説明で選択された画像を文章と共に出力する。
【００２８】
本実施形態に係る画像処理装置１０によれば、ユーザが入力した文章に含まれる時刻を示すキーワードおよび位置を示すキーワードを抽出する。続いて、抽出した時刻を示すキーワードに対応づけられている時刻、および抽出した位置を示すキーワードに対応づけられている位置を抽出する。そして、ユーザが過去に撮像した複数の撮像画像の中から、抽出した時刻および抽出した位置に対応づけられている撮像画像を抽出して出力できるので、ユーザが文章を入力しているときに想起しているイメージに最も適切な撮像画像を出力することができる。
【００２９】
図２は、本実施形態に係る時刻キーワード格納部１２４の一例を示す。時刻キーワード格納部１２４は、時刻に対応づけて時刻を示すキーワードを格納する。時刻を示すキーワードは、年月日、時・分、所定の期間（朝、昼、夜、および夏休み等）、季節（春夏秋冬等）、および文章が入力された時刻を基準点とする、所定の過去を示す単語（去年、先月、および昨日等）等であってよい。なお、時刻は年月日を含む時刻であってよい。
【００３０】
図３は、本実施形態に係る画像格納部１６０の一例を示す。画像格納部１６０は、撮像時刻および撮像位置に対応づけてユーザが所有する撮像画像を格納する。なお、撮像画像には付帯情報が付与されていてよく、付帯情報は、例えば、当該画像の撮像日時、撮像場所、撮像モード（接写モード、ポートレートモード、および夜景モード等）、および撮像条件（明度、彩度、および合焦距離等）等であってよい。また、撮像位置は、画像が撮像された位置の緯度経度を示す情報であってよい。
【００３１】
図４は、本実施形態に係る位置キーワード格納部１１０の一例を示す。位置キーワード格納部１１０は、位置に対応づけて、当該位置を示すキーワードを格納する。位置キーワード格納部１１０は、位置を示すキーワードを、位置を示す緯度および経度に対応づけて格納してよい。具体的には、位置キーワード格納部１１０は、緯度および経度に対応づけて、位置を示すキーワードである、国名および地域名、並びに山、湖、および湿原等の地名、並びに都市名、ランドマーク名、および店名等を格納してよい。例えば、位置キーワード格納部１１０は、位置キーワードである「新宿」に対応づけて新宿の位置を示す緯度経度を格納してよい。また、位置キーワードが所定の地域等を示すキーワードである場合には、位置キーワード格納部１１０は、当該位置キーワードに対応づけて、所定の地域の範囲を示す、複数の緯度経度を格納してもよい。
【００３２】
図５は、本実施形態に係る画像処理装置１０の機能構成の一例を示す。画像処理装置１０は、文章格納部２００、文章キーワード頻度算出部２０２、表現態様重み格納部２０４、文章キーワード重み決定部２０６、文章キーワード重み格納部２０８、画像キーワード抽出部２１０、重み算出部２２０、画像キーワード重み格納部２３０、組み合わせ重み格納部２４０、画像重み決定部２５０、頻度算出部２５２、頻度重み決定部２５４、位置重み決定部２５６、大きさ重み決定部２５８、キーワード生成部２６０、キーワード付与部２６２、オブジェクト抽出部２７０、オブジェクト名付与部２７２、およびトリミング部２８０を更に備えてよい。
【００３３】
画像格納部１６０は、画像の内容を示すキーワードに対応づけて画像を格納する。画像格納部１６０は格納している画像を、画像抽出部１５０、キーワード生成部２６０、オブジェクト抽出部２７０、および画像重み決定部２５０供給する。また、画像格納部１６０は格納しているキーワードを、画像キーワード重み格納部２３０および組み合わせ重み格納部２４０に供給する。キーワード生成部２６０は、画像格納部１６０に格納されている画像の付帯情報に基づいて画像の内容を示すキーワードを生成する。具体的には、キーワード生成部２６０は、画像格納部１６０が格納している画像に付帯されている付帯情報を抽出する。例えば、夜景モードで撮像された画像に対しては、キーワード生成部２６０は当該画像に対して「夜」をキーワードとして生成する。また、キーワード生成部２６０は、画像の撮像日時から画像が撮像された年、または月、若しくは日をキーワードとして生成してよい。また、キーワード生成部２６０は、画像の撮像日時から、当該画像が撮像された季節をキーワードとして生成してもよい。例えば、キーワード生成部２６０は、３月から４月に撮像された画像には「春」を、６月から８月に撮像された画像には「夏」を、９月から１１月に撮像された画像には「秋」を、そして１２月から２月に撮像された画像には「冬」をそれぞれキーワードとして生成してよい。
【００３４】
また、キーワード生成部２６０は、撮像時刻に基づいて「朝」、「昼」、「夕方」、および「夜」等のキーワードを生成してもよい。更に、キーワード生成部２６０は、撮像場所に基づいて、画像に対して当該画像が撮像された地域名、地名、および都市名等をキーワードとして生成してもよい。そして、キーワード生成部２６０は、撮像条件に基づいて、例えば、明度が高い場合には「明るい」等を、彩度が高い場合には「鮮やか」又は「派手」等をキーワードとして生成してもよい。キーワード生成部２６０は、生成したキーワードをキーワード付与部２６２に供給する。キーワード付与部２６２は、キーワード生成部２６０が生成したキーワードを、画像に対応づけて画像格納部１６０に格納する。キーワード付与部２６２は、画像に複数のキーワードを対応づけて、画像格納部１６０に複数のキーワードを画像に対応づけて格納してもよい。
【００３５】
オブジェクト抽出部２７０は、画像格納部１６０が格納している画像に含まれるオブジェクトを抽出する。例えば、オブジェクト抽出部２７０は、エッジ検出等の画像処理を用いてオブジェクトを抽出する。また、オブジェクト抽出部２７０は、画像の空間周波数成分が予め定められた周波数よりも大きい領域と、当該領域を除く領域とに分けてオブジェクトおよび背景を抽出してもよい。オブジェクト抽出部２７０は、抽出したオブジェクトをオブジェクト名付与部２７２に供給する。オブジェクト名付与部２７２は、オブジェクト抽出部２７０が抽出したオブジェクトのオブジェクト名を、画像の内容を示すキーワードとして画像に対応付ける。そして、オブジェクト名付与部２７２は、画像に対応付けたキーワードを画像格納部１６０に格納させる。
【００３６】
例えば、オブジェクト名付与部２７２は、テンプレート画像に対応づけてオブジェクト名を格納するオブジェクトテンプレートデータベースを有していてもよい。オブジェクト名付与部２７２は、オブジェクト抽出部２７０から受け取ったオブジェクトとオブジェクトテンプレートデータベースが格納するテンプレート画像とをマッチングして、マッチしたテンプレート画像に対応づけてオブジェクトテンプレートデータベースが格納しているオブジェクト名を、画像の内容を示すキーワードとして画像に対応付けてよい。例えば、画像に含まれるオブジェクトが猫であることがテンプレート画像とのマッチングにより判明した場合には、オブジェクト名付与部２７２は、「猫」を画像の内容を示すキーワードとして画像に対応付けてよい。また、オブジェクト名付与部２７２は、ユーザが入力したキーワードを、画像に対応づけて画像格納部１６０に格納してもよい。
【００３７】
文章格納部２００は、複数の文章を予め格納している。具体的には、ユーザが過去に作成した複数の文章を格納する。文章格納部２００は、文章を文章キーワード頻度算出部２０２および表現態様重み格納部２０４に供給する。文章キーワード頻度算出部２０２は、文章格納部２００から受け取った複数の文章に含まれるキーワードごとに、当該キーワードの数を算出する。例えば、文章キーワード頻度算出部２０２は、キーワードが「Ａ」である場合には、複数の文章に含まれる「Ａ」というキーワードの数を算出する。文章キーワード頻度算出部２０２は、算出したキーワードごとのキーワードの数を、文章キーワード重み決定部２０６に供給する。なお、文章キーワード頻度算出部２０２が算出する場合のキーワードは、形態素解析等の自然言語処理を用いてキーワードを抽出して、抽出したキーワードごとにキーワードが文章中に出現する回数を算出してよい。
【００３８】
表現態様重み格納部２０４は、文字の書体又は文字のサイズに対応づけて、文字の書体の重み又は文字サイズの重みを格納する。具体的には、表現態様重み格納部２０４は、明朝体、ゴシック体、および行書体等の書体ごとに対応付けられた重みを格納する。また、表現態様重み格納部２０４は、文字のサイズ、斜体であるか否か、および太字であるか否か等の文字の表現態様ごとに対応付けられた重みを格納する。ユーザが文字に対して文字の書体又はサイズ等を変更している場合には、ユーザは、当該文字を他の文字と比較してより強調して表示したいと考えている場合が多い。したがって、例えば、表現態様重み格納部２０４は、文字のサイズが大きい場合には、文字のサイズがより小さい文字のサイズよりも、大きな重みを格納してよい。表現態様重み格納部２０４は、所定のキーワードの書体又はサイズに対応づけて格納している重みを、文章キーワード重み決定部２０６に供給する。
【００３９】
文章キーワード重み決定部２０６は、文章キーワード頻度算出部２０２から受け取ったキーワードごとに、キーワードの数がより多いキーワードにより大きい重みを対応づける。また、文章キーワード重み決定部２０６は、文章格納部２００が格納している文章に含まれる所定のキーワードの書体又は文字サイズに対応づけて表現態様重み格納部２０４が格納している重みがより大きい場合に、より大きい重みを所定のキーワードに対応付ける。例えば、文章キーワード重み決定部２０６は、文章キーワード頻度算出部２０２が算出したキーワードの重みと、当該キーワードの書体およびサイズに対応づけて表現態様重み格納部２０４が格納している重みとを加算して、当該キーワードの重みを算出してもよい。また、文章キーワード重み決定部２０６は、キーワードの重みに、当該キーワードの書体等に対応づけて表現態様重み格納部２０４が格納している重みを係数として乗じて、当該キーワードの重みを算出してもよい。文章キーワード重み決定部２０６は、キーワードに対応づけて決定した重みを文章キーワード重み格納部２０８に供給する。文章キーワード重み格納部２０８は、文章格納部２００が格納している文章に含まれるキーワードに対応づけてキーワードの重みを格納する。具体的には、文章キーワード重み格納部２０８は、文章キーワード重み決定部２０６が決定したキーワードごとの重みを受け取って格納する。文章キーワード重み格納部２０８は、画像選択部１７２にキーワードに対応づけて格納している重みを供給する。
【００４０】
これにより、文章キーワード重み決定部２０６は、ユーザが入力することが多いキーワードに、ユーザが入力することが少ないキーワードに比べてより大きな重みを対応付けることができるので、本実施形態に係る画像処理装置１０は、文章に含まれるキーワードに対応付けられた重みを参照することで、ユーザの関心が高く、ユーザが想起することの多いキーワードを的確に把握できる。また、文章キーワード重み決定部２０６は、ユーザが所定のキーワードに設定した文字の書体又はサイズ等に基づいて、所定のキーワードに重み付けできるので、ユーザが文章を入力している時の関心に応じて、適切な重みを文章に含まれるキーワードに対応付けることもできる。
【００４１】
画像キーワード重み格納部２３０は、画像格納部１６０が格納しているキーワードに対応づけて、キーワードの重みを格納する。また、画像キーワード重み格納部２３０は、画像重み決定部２５０の制御に基づいて、キーワードの重みを格納してもよい。画像キーワード重み格納部２３０は、キーワードの重みを重み算出部２２０に供給する。組み合わせ重み格納部２４０は、画像の内容を示す複数のキーワードの組み合わせに対応づけて、複数のキーワードの組み合わせの重みを格納する。組み合わせ重み格納部２４０は、複数のキーワードの組み合わせの重みを重み算出部２２０に供給する。画像重み決定部２５０は、画像格納部１６０から受け取った複数の画像に対応付けられたキーワードのそれぞれについて重みを算出して、算出した重みを画像のキーワードに対応づけて画像キーワード重み格納部２３０に格納させる。具体的には、画像重み決定部２５０は、頻度算出部２５２、頻度重み決定部２５４、位置重み決定部２５６、および大きさ重み決定部２５８を有する。
【００４２】
頻度算出部２５２は、画像格納部１６０が格納している複数の画像において、画像の内容を示すキーワードであるオブジェクト名のオブジェクトごとに、当該オブジェクトが含まれる画像の数を算出する。また、頻度算出部２５２は、画像格納部１６０が格納している複数の画像のそれぞれに対応づけられているキーワードについて、画像格納部１６０が格納している複数の画像に対応づけられている当該キーワードの数を、キーワードごとに算出してもよい。頻度算出部２５２は、算出したオブジェクトごとの当該オブジェクトが含まれる画像の数、および画像に対応づけられているキーワードごとの当該キーワードが複数の画像に含まれる数を、頻度重み決定部２５４に供給する。頻度重み決定部２５４は、頻度算出部２５２がオブジェクトごとに算出した画像の数がより多いオブジェクト名であるキーワードに対応づけて、より大きい重みを画像キーワード重み格納部２３０に格納させる。また、頻度重み決定部２５４は、頻度算出部２５２がキーワードごとに算出した当該キーワードが複数の画像に含まれる数がより多いキーワードに対応づけて、より大きい重みを画像キーワード重み格納部２３０に格納させてもよい。
【００４３】
これにより、ユーザが所定のオブジェクトの画像をより多く撮像している場合に、頻度重み決定部２５４は、当該オブジェクトを含む画像に対してより大きな重みをつけることができるので、ユーザの関心が高いオブジェクトを含む画像に、ユーザの関心が低いオブジェクトを含む画像よりもより大きな重みをつけることができる。
【００４４】
位置重み決定部２５６は、画像格納部１６０が格納している画像の中心位置からより近いオブジェクトのオブジェクト名であるキーワードに対応づけて、より大きい重みを画像キーワード重み格納部２３０に格納させる。例えば、位置重み決定部２５６は、画像に含まれるオブジェクトが画像に対して占める位置を算出する。続いて、位置重み決定部２５６は、画像の中心位置からオブジェクトへの距離を算出する。そして、位置重み決定部２５６は、画像の中心位置からオブジェクトへの距離に対応づけて、距離がより近い場合により大きな重みを当該オブジェクトのオブジェクト名であるキーワードに対応づける。ここで、ユーザが画像を撮像する場合には、画像の中心位置に近い領域にユーザが撮像を所望するオブジェクトが含まれる場合が多い。したがって、本実施形態に係る画像処理装置１０は、位置重み決定部２５６を備えるので、ユーザの関心が高いオブジェクトを含む画像に対して、ユーザの関心が低いオブジェクトを含む画像よりも、より大きな重みを重み付けることができる。
【００４５】
大きさ重み決定部２５８は、画像格納部１６０が格納している画像に対する大きさがより大きいオブジェクトのオブジェクト名であるキーワードに対応づけて、より大きい重みを画像キーワード重み格納部２３０に格納させる。例えば、大きさ重み決定部２５８は、画像の撮像領域の面積と画像に含まれるオブジェクトの面積とを算出する。続いて、大きさ重み決定部２５８は、オブジェクトの面積が画像に占める割合を算出する。そして、大きさ重み決定部２５８は、オブジェクトの面積が画像に占める割合に対応づけて、当該割合がより大きい場合により大きな重みを当該オブジェクトのオブジェクト名であるキーワードに対応付けてよい。
【００４６】
画像キーワード抽出部２１０は、ユーザが新たに入力した文章から画像格納部１６０が格納しているキーワードを抽出する。具体的には、画像キーワード抽出部２１０は、文章入力部１００から受け取った文章を自然言語処理等の処理方法を用いて、文章から画像格納部１６０が格納しているキーワードを抽出する。画像キーワード抽出部２１０は、抽出したキーワードを画像抽出部１５０に供給する。画像抽出部１５０は、画像キーワード抽出部２１０が抽出した少なくとも一つのキーワードに対応づけて画像格納部１６０が格納している画像を抽出する。具体的には、画像抽出部１５０は、入力された文章に含まれるキーワードの少なくとも一つと同一のキーワードが対応づけられている画像を、画像格納部１６０から抽出する。画像抽出部１５０は抽出した画像を画像選択部１７２に供給する。また、画像抽出部１５０は、抽出した画像に対応づけて画像格納部１６０が格納しているキーワードを重み算出部２２０に供給する。
【００４７】
重み算出部２２０は、画像抽出部１５０から受け取った画像に対応づけて画像格納部１６０が格納しているキーワードであって、画像キーワード抽出部２１０が抽出したキーワードと同一のキーワードに対応づけて画像キーワード重み格納部２３０が格納しているキーワードの重みを抽出する。そして、重み算出部２２０は、抽出したキーワードの重みを、画像ごとに合計して合計値を算出する。また、重み算出部２２０は、画像抽出部１５０から受け取った画像に対応づけて画像格納部１６０が格納している複数のキーワードであって、画像キーワード抽出部２１０が抽出したキーワードと同一のキーワードに対応づけて組み合わせ重み格納部２４０が格納している複数のキーワードの組み合わせの重みを抽出する。そして、重み算出部２２０は、抽出した複数のキーワードの組み合わせの重みを、画像ごとに合計して合計値を算出する。更に、重み算出部２２０は、画像抽出部１５０から受け取った画像に対応づけて画像格納部１６０が格納しているキーワードであって、画像キーワード抽出部２１０が抽出したキーワードと同一のキーワードに対応づけて文章キーワード重み格納部２０８が格納しているキーワードの重みの合計値を算出してもよい。重み算出部２２０は、算出した画像ごとの重みを画像選択部１７２に供給する。
【００４８】
画像選択部１７２は、画像分類部１７０から受け取ったグループから複数の撮像画像を選択した場合に、重み算出部２２０から受け取った重みの合計値が大きい画像から予め定められた数の画像を、画像抽出部１５０から受け取った画像から選択する。また、画像選択部１７２は、重み算出部２２０から受け取った重みの合計値が予め定められた値より大きい画像を、画像抽出部１５０から受け取った画像から選択してもよい。更に、画像選択部１７２は、重み算出部２２０から受け取った重みの合計値が最大の画像を、画像抽出部１５０から受け取った画像から選択してもよい。そして、画像選択部１７２は、重み算出部２２０から受け取ったキーワードの重みの合計値が同じ画像が複数ある場合には、重み算出部２２０が算出した複数のキーワードの組み合わせの重みの合計値がより大きい画像を、画像抽出部１５０から受け取った画像から選択してもよい。また、画像選択部１７２は、重み算出部２２０から受け取ったキーワードの重みの合計値が同じ画像が複数ある場合には、重み算出部２２０が算出した文章キーワード重み格納部２０８が格納しているキーワードの重みの合計値がより大きい画像を、画像抽出部１５０から受け取った画像から選択してもよい。画像選択部１７２は、選択した画像をトリミング部２８０および画像出力部１８０に供給する。
【００４９】
トリミング部２８０は、オブジェクト名付与部２７２が画像に付与したキーワードに対応するオブジェクトを含むように、画像選択部１７２から受け取った画像をトリミングする。例えば、トリミング部２８０は、画像に含まれるオブジェクトに対応づけて画像に付帯されている当該オブジェクトの位置情報を用いてトリミングしてよい。また、トリミング部２８０は、パターンマッチング等の画像処理により、オブジェクト名付与部２７２が画像に付与したキーワードに対応するオブジェクトを含むように、画像に含まれるオブジェクトをトリミングしてもよい。更に、トリミング部２８０は、画像に含まれるオブジェクトを拡大および縮小してもよい。トリミング部２８０は、トリミングした画像を画像出力部１８０に供給する。画像出力部１８０は、トリミング部２８０から受け取ったトリミングした画像を入力された文章とともに出力してもよい。
【００５０】
本実施形態に係る画像処理装置１０によれば、画像選択部１７２が複数の画像を選択した場合に、入力された文章に含まれるキーワードであって、画像に対応付けられたキーワードの重みおよび画像に対応付けられた複数のキーワードの組み合わせの重みの合計値を算出する。そして、画像選択部１７２は、キーワードの重みの合計値が最大の画像、またはキーワードの重みの合計値が同一の画像が複数ある場合には、複数のキーワードの組み合わせの重みの合計値が最大の画像を選択することができる。これにより、画像処理装置１０は、画像選択部１７２が複数の画像を選択した場合であっても、ユーザが入力した文章の内容に適した画像であって、ユーザが想起したイメージに最も適した画像を自動的に選択して、文章と共に選択した画像を表示することができる。
【００５１】
図６は、本実施形態に係る画像格納部１６０のデータ構造の一例を示す。画像格納部１６０は、画像の内容を示すキーワードを更に対応づけて画像を格納する。画像格納部１６０が格納する画像は、ユーザが過去に撮像した画像、インターネット等のネットワークから受け取った画像、およびユーザが作成した画像等であってよい。そして、画像格納部１６０は、キーワード付与部２６２およびオブジェクト名付与部２７２から受け取った少なくとも一つの画像の内容を示すキーワードに対応づけて画像を格納する。更に、画像格納部１６０は、ユーザが画像に対応づけて入力した画像の内容を示すキーワードを、画像に対応づけて格納してもよい。なお、画像に対応づけて画像格納部１６０が格納するキーワードは複数であってよい。
【００５２】
具体的には、画像格納部１６０は、画像ごとに、画像の内容を示すキーワードを少なくとも一つ画像に対応づけて格納している。例えば、画像格納部１６０は、画像３００にキーワードＡ、キーワードＢ、およびキーワードＤを対応づけて格納している。また、画像３１０にキーワードＢ、キーワードＣ、およびキーワードＤを対応づけて格納している。更に、画像格納部１６０は、画像３２０にキーワードＡ、キーワードＣ、およびキーワードＦを、画像３３０にキーワードＧ、キーワードＩ、およびキーワードＫ等を対応づけて格納している。
【００５３】
図７は、本実施形態に係る画像キーワード重み格納部２３０のデータ構造の一例を示す。画像キーワード重み格納部２３０は、画像格納部１６０が格納しているキーワードに対応づけてキーワードの重みを格納する。具体的には、画像キーワード重み格納部２３０は、画像重み決定部２５０から受け取ったキーワードの重みを、キーワードに対応づけて格納する。例えば、画像キーワード重み格納部２３０は、キーワードＡに重み「３」を対応づけて格納している。また、画像キーワード重み格納部２３０は、キーワードＢに重み「２」を対応づけて格納している。そして、画像キーワード重み格納部２３０は、キーワードＣに重み「１」を対応づけて格納している。更に、画像キーワード重み格納部２３０は、キーワードＤに重み「４」を対応づけて格納している。
【００５４】
重み算出部２２０は、画像に対応付けられたキーワードの重みを、画像キーワード重み格納部２３０から抽出する。そして、重み算出部２２０は、当該画像に対応付けられたキーワードの重みの合計値を算出する。例えば、画像キーワード抽出部２１０が文章入力部１００から入力された文章から抽出したキーワードが、キーワード「Ａ」およびキーワード「Ｄ」であった場合を考える。係る場合において、画像抽出部１５０は、キーワード「Ａ」又はキーワード「Ｄ」の少なくとも一方が対応づけられている画像を、画像格納部１６０から抽出する。すなわち、画像抽出部１５０は、図６の上記説明における画像格納部１６０から、キーワード「Ａ」又はキーワード「Ｄ」の少なくともいずれか一方が対応づけられている画像３００、画像３１０、および画像３２０を抽出する。
【００５５】
そして、重み算出部２２０は、画像３００、画像３１０、および画像３２０のそれぞれに対応づけられているキーワード「Ａ」の重みとキーワード「Ｄ」の重みとの合計値を画像ごとに算出する。例えば、画像３００には、キーワード「Ａ」、キーワード「Ｂ」、およびキーワード「Ｄ」が対応づけられている。この場合において、画像３００に対応づけられているキーワードの中で画像キーワード抽出部２１０が抽出したキーワードと同一のキーワードは、キーワード「Ａ」およびキーワード「Ｄ」であるとする。係る場合に重み算出部２２０は、画像３００の重みをキーワード「Ａ」の重みとキーワード「Ｄ」の重みとの合計値である「７」と算出する。同様に重み算出部２２０は、画像３１０の重みの合計値を「２」と算出する。また、重み算出部２２０は、画像３２０の重みの合計値を「３」と算出する。
【００５６】
続いて、画像選択部１７２は、重み算出部２２０が算出した画像ごとの重みの合計値を比較して、重みの合計値が最大の画像を選択する。上記した図６および図７の説明においては、重みの合計値が最大である画像３００を画像選択部１７２は選択する。そして、画像出力部１８０は、画像選択部１７２が選択した画像３００を、ユーザが入力した文章とともに表示する。なお、画像選択部１７２は、重み算出部２２０が算出した重みの合計値が大きい画像から予め定められた数の画像を選択してもよい。具体的には、画像選択部１７２は、重み算出部２２０が算出した重みの合計値の降順に対応づけて複数の画像を整列して、予め定められた数の画像を重みの合計値が最大の画像から順に選択してもよい。また、画像選択部１７２は、重み算出部２２０が算出した重みの合計値が予め定められた値より大きい画像を選択してもよい。係る場合において、画像選択部１７２が選択する画像は複数あってもよい。
【００５７】
本実施形態に係る画像処理装置１０によれば、画像選択部１７２が複数の画像を選択した場合に、ユーザが入力した文章に含まれるキーワードの少なくとも一つと同一のキーワードに対応づけられている画像を抽出して、画像に対応づけられているキーワードの重みを画像ごとに算出する。そして、画像ごとに算出したキーワードの重みの合計値を比較して画像を自動的に選択できるので、画像選択部１７２が複数の画像を選択した場合であっても、ユーザが想起した画像を適切に選択して、ユーザが入力した文章と共に表示することができる。例えば、本実施形態に係る画像処理装置１０によれば、ブログ等においてユーザが入力した文章に含まれるキーワードの重みに基づいて、ユーザが想起している画像を自動的に選択して、文章と共に表示することができる。
【００５８】
図８は、本実施形態に係る組み合わせ重み格納部２４０のデータ構造の一例を示す。組み合わせ重み格納部２４０は、画像の内容を示す複数のキーワードの組み合わせに対応づけて、複数のキーワードの組み合わせの重みを格納する。具体的には、組み合わせ重み格納部２４０は、画像に対応づけられている複数のキーワードのキーワード間の関連に基づいて重みを格納している。より具体的には、画像格納部１６０が格納している複数の画像のうちで、画像に対応づけられている複数のキーワードの組み合わせの数がより多い場合に、当該複数のキーワードの組み合わせにより大きい重みを対応づけて格納する。例えば、ユーザが冬山の画像を頻繁に撮像して、撮像した冬山の複数の画像を画像格納部１６０に格納している場合を考える。係る場合には、画像格納部１６０は「冬」および「山」のキーワードに対応付けられた冬山の画像を、「冬」および「山」のキーワードを除くキーワードに対応付けられた画像よりも多く格納しているので、「冬」および「山」のキーワード間の関連が高いとして、「冬」および「山」のキーワードの組み合わせにより大きい重みを対応づけて格納してよい。
【００５９】
例えば、組み合わせ重み格納部２４０は、キーワード「Ａ」とキーワード「Ｂ」の組み合わせに重み「４」を対応づけて格納している。また、組み合わせ重み格納部２４０は、キーワード「Ａ」とキーワード「Ｄ」の組み合わせに重み「３」を対応づけて格納している。同様に、組み合わせ重み格納部２４０は、キーワード「Ａ」とキーワード「Ｆ」の組み合わせに重み「２」を、キーワード「Ｂ」とキーワード「Ｄ」の組み合わせに重み「５」を、およびキーワード「Ｄ」とキーワード「Ｆ」の組み合わせに重み「１」を対応づけて格納している。なお、組み合わせ重み格納部２４０は、二つのキーワードの組み合わせに限らず、少なくとも二つ以上の複数のキーワードの組み合わせに対応づけて重みを格納してよい。また、画像処理装置１０は、複数のキーワード間の組み合わせの重みを決定する組み合わせ重み決定部を更に備えていてもよい。組み合わせ重み決定部は、画像に対応付けられた複数のキーワードの組み合わせの数を算出して、複数のキーワードの組み合わせの数がより多い組み合わせに、複数のキーワードの組み合わせの数がより少ない組み合わせよりも大きい重みを対応づけてよい。
【００６０】
図９は、本実施形態に係る画像処理装置１０のハードウェア構成の一例を示す。本実施形態に係る画像処理装置１０は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示装置１５８０を有するＣＰＵ周辺部と、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する入出力部と、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有するレガシー入出力部とを備える。
【００６１】
ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０及びＲＡＭ１５２０に格納されたプログラムに基づいて動作して、各部を制御する。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得して、表示装置１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
【００６２】
入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置である通信インターフェイス１５３０、ハードディスクドライブ１５４０、ＣＤ−ＲＯＭドライブ１５６０を接続する。通信インターフェイス１５３０は、ネットワークを介して他の装置と通信する。ハードディスクドライブ１５４０は、画像処理装置１０内のＣＰＵ１５０５が使用するプログラム及びデータを格納する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラム又はデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。
【００６３】
また、入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、画像処理装置１０が起動時に実行するブート・プログラム、画像処理装置１０のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラム又はデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
【００６４】
ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供される画像処理プログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。画像処理プログラムは、記録媒体から読み出され、ＲＡＭ１５２０を介して画像処理装置１０内のハードディスクドライブ１５４０にインストールされ、ＣＰＵ１５０５において実行される。画像処理装置１０にインストールされて実行される画像処理プログラムは、ＣＰＵ１５０５等に働きかけて、画像処理装置１０を、図１から図８にかけて説明した文章入力部１００、画像入力部１０２、位置キーワード格納部１１０、時刻キーワード抽出部１２０、時刻抽出部１２２、時刻キーワード格納部１２４、位置抽出部１４０、画像抽出部１５０、画像格納部１６０、画像分類部１７０、画像選択部１７２、画像出力部１８０、文章格納部２００、文章キーワード頻度算出部２０２、表現態様重み格納部２０４、文章キーワード重み決定部２０６、文章キーワード重み格納部２０８、画像キーワード抽出部２１０、重み算出部２２０、画像キーワード重み格納部２３０、組み合わせ重み格納部２４０、画像重み決定部２５０、頻度算出部２５２、頻度重み決定部２５４、位置重み決定部２５６、大きさ重み決定部２５８、キーワード生成部２６０、キーワード付与部２６２、オブジェクト抽出部２７０、オブジェクト名付与部２７２、およびトリミング部２８０として機能させる。
【００６５】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加え得ることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【図面の簡単な説明】
【００６６】
【図１】画像処理装置１０の機能構成を示すブロック図である。
【図２】時刻キーワード格納部１２４を示す図である。
【図３】画像格納部１６０を示す図である。
【図４】位置キーワード格納部１１０を示す図である。
【図５】画像処理装置１０の機能構成を示すブロック図である。
【図６】画像格納部１６０を示す図である。
【図７】画像キーワード重み格納部２３０を示す図である。
【図８】組み合わせ重み格納部２４０を示す図である。
【図９】画像処理装置１０のハードウェア構成を示すブロック図である。
【符号の説明】
【００６７】
１０  画像処理装置
１００  文章入力部
１０２  画像入力部
１１０  位置キーワード格納部
１２０  時刻キーワード抽出部
１２２  時刻抽出部
１２４  時刻キーワード格納部
１４０  位置抽出部
１５０  画像抽出部
１６０  画像格納部
１７０  画像分類部
１７２  画像選択部
１８０  画像出力部
２００  文章格納部
２０２  文章キーワード頻度算出部
２０４  表現態様重み格納部
２０６  文章キーワード重み決定部
２０８  文章キーワード重み格納部
２１０  画像キーワード抽出部
２２０  重み算出部
２３０  画像キーワード重み格納部
２４０  組み合わせ重み格納部
２５０  画像重み決定部
２５２  頻度算出部
２５４  頻度重み決定部
２５６  位置重み決定部
２５８  大きさ重み決定部
２６０  キーワード生成部
２６２  キーワード付与部
２７０  オブジェクト抽出部
２７２  オブジェクト名付与部
２８０  トリミング部
３００、３１０、３２０、３３０  画像
１５０５  ＣＰＵ
１５１０  ＲＯＭ
１５２０  ＲＡＭ
１５３０  通信インターフェイス
１５４０  ハードディスクドライブ
１５５０  フレキシブルディスク・ドライブ
１５６０  ＣＤ−ＲＯＭドライブ
１５７０  入出力チップ
１５７５  グラフィック・コントローラ
１５８０  表示装置
１５８２  ホスト・コントローラ
１５８４  入出力コントローラ
１５９０  フレキシブルディスク
１５９５  ＣＤ−ＲＯＭ
【図１】
2007141070.tif 000003
【図２】
2007141070.tif 000004
【図３】
2007141070.tif 000005
【図４】
2007141070.tif 000006
【図５】
2007141070.tif 000007
【図６】
2007141070.tif 000008
【図７】
2007141070.tif 000009
【図８】
2007141070.tif 000010
【図９】
2007141070.tif 000011