(57)【要約】  大量に蓄積された画像コンテンツの中からユーザが補間したい画像を比較的容易に出力することができる画像検索装置を提供する。  画像間の関連度を記憶している関連度データベース（１０２）と、第一画像と第二画像とが入力される入力部（１０３）と、第一画像の第一撮影位置と第二画像の第二撮影位置とが含まれる補間範囲を算出する補間範囲算出部（１０４）と、補間範囲に属する画像と第一画像との関連度と、補間範囲に属する画像と第二画像との関連度と、に基づき、補間画像の撮像内容を推定する撮像内容推定部（１０７）と、撮像内容を用いて、候補画像の中から補間画像を取得する補間画像取得部（１０８）と、補間画像を出力する出力部（１０９）とを備える。
2010013424.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像の中から検索した画像を出力する画像検索装置であって、
画像間の関連度合いを示す関連度を記憶している関連度データベースと、
第一情報を含む第一画像と第二情報を含む第二画像とが入力される入力部と、
前記第一情報から得られる前記第一画像の第一撮影位置と、前記第二情報から得られる前記第二画像の第二撮影位置と、が含まれる場所の範囲を補間範囲として算出する補間範囲算出部と、
前記関連度データベースに記憶された関連度であって、前記複数の画像のうち前記補間範囲算出部により算出された補間範囲に属する画像と前記第一画像との関連度と、前記複数の画像のうち前記補間範囲算出部により算出された補間範囲に属する画像と前記第二画像との関連度と、に基づき、前記第一撮影位置と前記第二撮影位置との間を補間する画像である補間画像の撮像内容を推定する撮像内容推定部と、
前記撮像内容推定部により推定された撮像内容を用いて、前記複数の画像の中から前記補間画像を取得する補間画像取得部と、
前記補間画像取得部により取得された補間画像を出力する出力部と、を備える、
画像検索装置。
【請求項２】
さらに、
前記複数の画像の中から、前記第一画像に類似する画像と前記第二画像に類似する画像とを含む類似画像群を検出する類似画像群検出部と、
前記類似画像群検出部により検出された類似画像群の中から、撮影位置が前記補間範囲算出部により算出された補間範囲に属する画像である候補画像を取得する補間画像候補取得部と、を備え、
前記撮像内容推定部は、前記補間画像候補取得部により取得された候補画像と前記第一画像との関連度と、前記補間画像候補取得部により取得された候補画像と前記第二画像との関連度と、に基づき、前記補間画像の撮像内容を推定し、
前記補間画像取得部は、前記補間画像候補取得部により取得された候補画像の中から、前記補間画像を取得する、
請求項１に記載の画像検索装置。
【請求項３】
前記関連度データベースに記憶される前記関連度は、被写体に関する単語を示す被写体情報間の関連度であり、
前記撮像内容推定部で推定される前記補間画像の撮像内容は、前記関連度データベースに記憶された、前記候補画像から得られる被写体情報と、前記第一情報及び前記第二情報のそれぞれから得られる被写体情報と、の関連度が、所定関連度以上となる前記候補画像の被写体情報であり、
前記補間画像取得部は、前記撮像内容推定部により推定された撮像内容と一致する撮像内容を有する前記候補画像を前記補間画像として取得する、
請求項２に記載の画像検索装置。
【請求項４】
前記補間範囲算出部で算出される前記補間範囲は、前記第一情報から得られる前記第一画像の撮影日時と、前記第二情報から得られる前記第二画像の撮影日時と、の差分時間が大きいほど場所の範囲が広くなる、
請求項１〜３のいずれか１項に記載の画像検索装置。
【請求項５】
前記類似画像群検出部は、
前記第一撮影位置に対して所定距離以内の撮影位置において撮影される画像であって、前記第一情報から得られる前記第一画像の撮影時刻に対して所定時間以内の時刻に撮影された画像と、
前記第二撮影位置に対して所定距離以内の撮影位置において撮影される画像であって、前記第二情報から得られる前記第二画像の撮影時刻に対して所定時間以内の時刻に撮影された画像と、を含む画像群を前記類似画像群として検出する、
請求項２〜４のいずれか１項に記載の画像検索装置。
【請求項６】
前記類似画像群検出部は、前記第一情報から得られる前記第一画像の撮影時刻に対する時刻の差分値と、前記第二情報から得られる前記第二画像の撮影時刻に対する時刻の差分値と、の和が所定値以内の撮影時刻に撮影された画像であって、前記第一撮影位置及び前記第二撮影位置に対して所定距離以内の撮影位置において撮影された画像を含む画像群を類似画像群として検出する、
請求項２〜４のいずれか１項に記載の画像検索装置。
【請求項７】
前記類似画像群検出部は、
前記第一撮影位置に対して所定距離以内の撮影位置において撮影された画像であって、前記第一情報から得られる前記第一画像の撮影年に対して所定年以内の年に撮影された画像と、
前記第二撮影位置に対して所定距離以内の撮影位置において撮影された画像であって、前記第二情報から得られる前記第二画像の撮影年に対して所定年以内の年に撮影された画像と、を含む画像群を前記類似画像群として検出する、
請求項２〜４のいずれか１項に記載の画像検索装置。
【請求項８】
前記類似画像群検出部は、
前記第一撮影位置に対して所定距離以内の撮影位置において撮影された画像であって、前記第一情報から得られる前記第一画像の撮影月に対して所定月以内の月に撮影された画像と、
前記第二撮影位置に対して所定距離以内の撮影位置において撮影された画像であって、前記第二情報から得られる前記第二画像の撮影月に対して所定月以内の月に撮影された画像と、を含む画像群を前記類似画像群として検出する、
請求項２〜４のいずれか１項に記載の画像検索装置。
【請求項９】
さらに、
前記第一情報から得られる前記第一画像の撮影条件と前記第二情報から得られる前記第二画像の撮影条件とに基づき、前記補間画像取得部により取得される補間画像を修正する補間画像修正部と、を備え、
前記出力部は、前記補間画像修正部により修正された補間画像を出力する、
請求項１〜８のいずれか１項に記載の画像検索装置。
【請求項１０】
さらに、
前記補間画像取得部により取得された補間画像において、同一の被写体が撮影された同一被写体画像が複数ある場合、前記同一被写体画像の中から少なくとも互いに画角の異なる画像を前記補間画像として取得する異画角画像取得部を備え、
前記出力部は、前記異画角画像取得部により取得された補間画像を出力する、
請求項１〜９のいずれか１項に記載の画像検索装置。
【請求項１１】
前記関連度データベースは、所定範囲の場所を示す領域毎に前記関連度を記憶しており、
前記撮像内容推定部は、前記第一撮影位置が含まれる前記領域に対応する、前記候補画像と前記第一画像との関連度と、前記第二撮影位置が含まれる前記領域に対応する、前記候補画像と前記第二画像との関連度と、に基づき前記補間画像の撮像内容を推定する、
請求項２〜１０のいずれか１項に記載の画像検索装置。
【請求項１２】
前記関連度データベースは、画像が撮影された際の撮影者の行動を示す単語である行動情報と撮影時刻及び撮影位置との前記関連度を記憶しており、
前記撮像内容推定部は、前記関連度データベースに記憶された、前記第一情報から得られる前記第一画像の行動情報、撮影時刻及び撮影位置に対応する関連度と、前記第二画像の行動情報、撮影時刻及び撮影位置に対応する関連度と、から算出される前記補間範囲に属する画像の行動情報毎の関連度合いを示す値が所定閾値以上の場合に、前記行動情報を前記撮像内容として推定し、
前記補間画像取得部は、前記撮像内容推定部により推定された撮像内容と撮像内容が一致する前記候補画像を前記補間画像として取得する、
請求項２に記載の画像検索装置。
【請求項１３】
コンピュータが、複数の画像の中から検索した画像を出力する画像検索方法であって、
第一情報を含む第一画像と第二情報を含む第二画像とが入力される入力ステップと、
前記第一情報から得られる前記第一画像の第一撮影位置と、前記第二情報から得られる前記第二画像の第二撮影位置と、が含まれる場所の範囲を補間範囲として算出する補間範囲算出ステップと、
関連度データベースに記憶された、画像間の関連度合いを示す関連度であって、前記複数の画像のうち前記補間範囲算出ステップにおいて算出された補間範囲に属する画像と前記第一画像との関連度と、前記複数の画像のうち前記補間範囲算出ステップにおいて算出された補間範囲に属する画像と前記第二画像との関連度と、に基づき、前記第一撮影位置と前記第二撮影位置との間を補間する画像である補間画像の撮像内容を推定する撮像内容推定ステップと、
前記撮像内容推定ステップにおいて推定された撮像内容を用いて、前記複数の画像の中から前記補間画像を取得する補間画像取得ステップと、
前記補間画像取得ステップにおいて取得された補間画像を出力する出力ステップと、を含む、
画像検索方法。
【請求項１４】
複数の画像の中から検索した画像を出力するプログラムであって、
第一情報を含む第一画像と第二情報を含む第二画像とが入力される入力ステップと、
前記第一情報から得られる前記第一画像の第一撮影位置と、前記第二情報から得られる前記第二画像の第二撮影位置と、が含まれる場所の範囲を補間範囲として算出する補間範囲算出ステップと、
関連度データベースに記憶された、画像間の関連度合いを示す関連度であって、前記複数の画像のうち前記補間範囲算出ステップにおいて算出された補間範囲に属する画像と前記第一画像との関連度と、前記複数の画像のうち前記補間範囲算出ステップにおいて算出された補間範囲に属する画像と前記第二画像との関連度と、に基づき、前記第一撮影位置と前記第二撮影位置との間を補間する画像である補間画像の撮像内容を推定する撮像内容推定ステップと、
前記撮像内容推定ステップにおいて推定された撮像内容を用いて、前記複数の画像の中から前記補間画像を取得する補間画像取得ステップと、
前記補間画像取得ステップにおいて取得された補間画像を出力する出力ステップと、をコンピュータに実行させる、
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、大量に格納された画像コンテンツの中からユーザが撮影した画像コンテンツの撮影位置間を補間するための画像コンテンツを出力する画像検索装置及び画像検索方法に関する。
【背景技術】
【０００２】
旅行に行ったときに、ユーザが写真撮影に集中しすぎて、旅行そのものを十分に楽しめないということがある。一方、ユーザが観光地へ旅行に行った場合、多くの旅行者が似たような場所の似たような風景を撮影していることが多い。実際にインターネット上で提供されている写真共有サービスでは、自分が撮影した写真とほとんど同じ構図の写真が見つかることが多い。そこで、自分が撮影した写真に対して写真共有サービスの写真を補間することにより、思い出のアルバムを簡便に作成できれば、ユーザは全ての写真を撮影しなくても旅行の思い出を記録しておくことができる。【０００３】
ユーザが思い出のアルバムを作成する際、写真共有サービスを用いて補間したい写真を検索するためには、ユーザは自らキーワードを入力して検索を行う必要がある。画像コンテンツの特徴は、動画コンテンツ或いは音楽コンテンツとは異なり、コンテンツ数が一覧できないほど多く存在することである。例えば、代表的ないくつかの写真共有サービスでは、ユーザが「沖縄」というキーワードのみを入力して検索を行った場合、１０万枚以上の写真が検索される。このような大量の写真の中から、ユーザが思い出として記録したい写真だけを選ぶためには、ユーザは、写真をモニタ等において一覧可能な数まで絞り込む必要がある。すなわち、ユーザは写真を絞り込むために複数のキーワードを組み合わせて入力する必要がある。このような入力作業、選択作業などを個々の思い出に対して行うことは、ユーザにとって非常に操作負担が大きな作業となる。【０００４】
このような問題に対し、予めサーバに蓄積された観光地の写真を用いて、ユーザが簡便に思い出のアルバムを作成するための方法が提案されている（例えば、特許文献１参照）。特許文献１に記載の方法では、観光地の各写真撮影スポットに設置されたタグリーダを用いて、ユーザは、予めサーバに蓄積された当該ポイントの高品質な写真を読み取る。その結果、ユーザは、自ら全ての写真を撮影すること無く、思い出のアルバムを簡便に作成できることができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−２１３２１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、ユーザが同じ地点から写真を撮る場合であっても、人によって撮像内容が異なることが多い。そのため、特許文献１に記載の方法では、ユーザがアルバムの中に記録したくない撮像内容の写真がアルバムに追加されてしまうという課題がある。例えば、京都の清水寺において、ユーザが同じ地点から写真を撮影する場合、前景の寺に着目した写真と、背景の山に着目した写真とは、撮像内容が異なる。また、寺とは逆方向の道路、上方向の空など、ユーザが写真を撮影する方向（撮影方向）によっても、撮像内容が異なる写真となる。さらに、撮影方向だけではなく、撮影時間帯、撮影時期などの違いによっても、撮像内容は、大きく異なる。このような撮像内容が異なる写真が一度にアルバムに追加された場合、ユーザがアルバムに追加したい撮像内容とは異なる撮像内容の写真が大量にアルバムに追加されてしまうことになる。その結果、ユーザは追加された写真を削除する作業が必要となるため、ユーザの操作負担が大きくなる。【０００７】
そこで、本発明は、上記課題を解決するものであって、大量に格納された画像コンテンツの中から、ユーザが補間したい画像を比較的容易に出力することができる画像検索装置及び画像検索方法を提供する。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、本発明に係る画像検索装置は、複数の画像の中から検索した画像を出力する画像検索装置であって、画像間の関連度合いを示す関連度を記憶している関連度データベースと、第一情報を含む第一画像と第二情報を含む第二画像とが入力される入力部と、前記第一情報から得られる前記第一画像の第一撮影位置と、前記第二情報から得られる前記第二画像の第二撮影位置と、が含まれる場所の範囲を補間範囲として算出する補間範囲算出部と、前記関連度データベースに記憶された関連度であって、前記複数の画像のうち前記補間範囲算出部により算出された補間範囲に属する画像と前記第一画像との関連度と、前記複数の画像のうち前記補間範囲算出部により算出された補間範囲に属する画像と前記第二画像との関連度と、に基づき、前記第一撮影位置と前記第二撮影位置との間を補間する画像である補間画像の撮像内容を推定する撮像内容推定部と、前記撮像内容推定部により推定された撮像内容を用いて、前記複数の画像の中から前記補間画像を取得する補間画像取得部と、前記補間画像取得部により取得された補間画像を出力する出力部と、を備える。【０００９】
これにより、入力された複数の画像と撮影位置が近似するとともに、撮像内容の関連度合いが高い画像を取得することができるので、入力された画像の撮影位置間を補間する画像を比較的容易に出力することが可能となる。例えば、ユーザは、自分が撮影した画像間に体験したできごとの画像を、他人が撮影した画像を用いて、比較的容易に補間することが可能となる。【００１０】
さらに、タグリーダ等の特別なインフラを構築すること無く、ユーザは画像を補間することが可能となる。
【発明の効果】
【００１１】
本発明によると、大量に格納された画像コンテンツの中からユーザが補間したい画像を比較的容易に出力することができる。
【図面の簡単な説明】
【００１２】
【図１】図１は、本発明の実施の形態１に係る画像検索装置の特徴的な機能構成を示すブロック図である。
【図２】図２は、画像コンテンツ及びコンテンツ付属情報の一例を示す図である。
【図３】図３は、画像データベースの一例を示す図である。
【図４】図４は、関連度データベースの一例を示す図である。
【図５】図５は、階層化された領域を示す概念図である。
【図６】図６は、入力部の画面例を示す図である。
【図７】図７は、補間範囲の一例を示す図である。
【図８】図８は、候補画像の一例を示す図である。
【図９】図９は、補間画像の一例を示す図である。
【図１０】図１０は、本発明の実施の形態１に係る画像検索装置が実行する全体的な処理の流れを示すフローチャートである。
【図１１】図１１は、図１０に示す類似ユーザの判定に関わるステップの詳細な処理の流れを示すフローチャートである。
【図１２】図１２は、図１０に示す撮像内容推定に関わるステップの詳細な処理の流れを示すフローチャートである。
【図１３】図１３は、関連度データベースの一例を示す図である。
【図１４】図１４は、出力部により出力媒体へ出力された画面の一例を示す図である。
【図１５】図１５は、出力部により出力媒体へ出力された画面の一例を示す図である。
【図１６】図１６は、本発明の実施の形態２に係る画像検索装置の特徴的な機能構成を示すブロック図である。
【図１７】図１７は、関連度データベースの一例を示す図である。
【図１８】図１８は、本発明の実施の形態２に係る画像検索装置が実行する全体的な処理の流れを示すフローチャートである。
【図１９】図１９は、図１８に示す撮像内容の推定に関わるステップの詳細な処理の流れを示すフローチャートである。
【図２０】図２０は、ユーザが撮影した画像コンテンツの一例を示す図である。
【図２１】図２１は、関連度データベースと撮影画像の関係を示す図である。
【図２２】図２２は、本発明の実施の形態３に係る画像検索装置の特徴的な機能構成を示すブロック図である。
【図２３】図２３は、本発明の実施の形態３に係る画像検索装置が実行する全体的な処理の流れを示すフローチャートである。
【図２４】図２４は、図２３に示す補間画像の修正に関わるステップの詳細な処理の流れを示すフローチャートである。
【図２５】図２５は、補間画像修正部の有無による補間画像出力例の比較図である。
【図２６】図２６は、本発明の実施の形態４に係る画像検索装置の特徴的な機能構成を示すブロック図である。
【図２７】図２７は、本発明の実施の形態４に係る画像検索装置の全体的な処理の流れを示すフローチャートである。
【図２８】図２８は、図２７に示す異画角画像の取得に関わるステップの詳細な処理の流れを示すフローチャートである。
【図２９】図２９は、異画角画像取得部の有無による補間画像出力例の比較図である。
【発明を実施するための形態】
【００１３】
以下、本発明に係る画像検索装置について、図面を用いて詳細に説明する。なお、説明の簡単のため、以下の実施の形態では、ユーザが京都に旅行したときに撮影した画像に対して、データベースに蓄積された画像を補間することにより、思い出のアルバムを作成する例を用いて説明する。
【００１４】
（実施の形態１）
図１は、本発明の実施の形態１に係る画像検索装置１００の特徴的な機能構成を示すブロック図である。図１に示すように、画像検索装置１００は、複数の画像の中から検索した画像を出力する装置である。画像検索装置１００は、画像データベース１０１、関連度データベース１０２、入力部１０３、補間範囲算出部１０４、類似ユーザ判定部１０５、補間画像候補取得部１０６、撮像内容推定部１０７、補間画像取得部１０８、及び出力部１０９を備える。
【００１５】
以下、図１に示した、画像検索装置１００の各構成要素の詳細について順に説明する。
【００１６】
画像データベース１０１は、検索対象となる画像コンテンツ２０と、その画像コンテンツ２０に対応するコンテンツ付属情報２１とを記憶しているデータベースである。ここで、画像コンテンツ２０とは、電子媒体に格納された画像を示す。また、コンテンツ付属情報２１とは、画像コンテンツ２０の内容を示す情報である。具体的には、例えば、コンテンツ付属情報２１は、画像撮影時に画像コンテンツ２０へ付加される、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ  ｉｍａｇｅ  ｆｉｌｅ  ｆｏｒｍａｔ）情報（撮影日時、緯度・経度情報など）、及びユーザが撮影後に画像コンテンツ２０へ付加したタグ等の画像情報である。
【００１７】
図２は、画像データベース１０１に記憶されている、画像コンテンツ２０及びコンテンツ付属情報２１の一例を示す図である。図２に示すように、画像データベース１０１は、画像コンテンツ２０に加え、ユーザＩＤ２２、画像ＩＤ２３、画像アドレス２４、撮影日時２５、撮影位置２６、タグ２７、被写体距離２８を含むコンテンツ付属情報２１を記憶している。
【００１８】
ユーザＩＤ２２は、画像コンテンツ２０を撮影したユーザを識別するための情報を示す。画像ＩＤ２３は、画像コンテンツ２０を識別するための情報を示す。画像アドレス２４は、画像コンテンツ２０が保存されている場所の情報を示す。撮影日時２５は、画像コンテンツ２０が撮影された日時を示す。撮影位置２６は、画像コンテンツ２０が撮影された位置を示す。なお、画像コンテンツ２０が撮影された位置は、緯度及び経度により特定される。被写体距離２８は、画像コンテンツ２０が撮影されたときの被写体までの距離を示す。
【００１９】
タグ２７は、画像コンテンツ２０の内容を示す単語（キーワード）を示す。例えば、ユーザは、画像撮影後にタグ２７を手入力する。また、画像検索装置１００は、撮影位置２６に含まれる緯度及び経度の情報に基づいて取得される地域名或いは建物名を、タグ２７として自動的に付加してもよい。また、画像検索装置１００は、撮影日時２５と撮影位置２６と天気データベースとを用いて、天気及び気温の情報をタグ２７として自動的に付加してもよい。また、画像検索装置１００は、画像コンテンツ２０の画素値から得られる画像代表色を、タグ２７として自動的に付加してもよい。また、画像検索装置１００は、画像コンテンツ２０において人物検出を行うことにより検出された人数等の情報を、タグ２７として自動的に付加してもよい。
【００２０】
図３は、画像データベース１０１の一例を示す図である。図３に示すように、画像データベース１０１では、図２に示した各コンテンツ付属情報２１が検索容易となるようにリスト化されている。
【００２１】
なお、本実施の形態では、画像データベース１０１が画像検索装置１００に備えられる事例について説明するが、本発明が適用される画像検索装置は、このような画像検索装置に限定されるものではない。例えば、画像データベース１０１は、画像検索装置とネットワークを介して接続されたサーバ上に備えられてもよい。
【００２２】
また、コンテンツ付属情報２１は、画像コンテンツ２０内に含まれてもよい。
【００２３】
ここで、図１に示した画像検索装置１００の各構成要素の説明に戻る。
【００２４】
関連度データベース１０２は、画像コンテンツ２０間の関連度合いを示す関連度を記憶している。具体的には、画像コンテンツ２０の被写体情報間の関連度を記憶している。ここで、被写体情報とは、ユーザが撮影した画像コンテンツ２０における被写体を表す単語の情報である。具体的には、被写体情報は、例えば、タグ２７に設定された被写体の名称、被写体が存在する地域の名称、被写体の数、被写体の色などである。
【００２５】
また、関連度データベース１０２は、被写体情報の関連度を、領域単位で記憶している。具体的には、関連度データベース１０２は、領域毎に、当該領域に属する画像コンテンツ２０のタグ２７間の関連度を記憶している。ここで、領域とは、都道府県、市町村、５０ｋｍ四方などに基づいて分割された場所を示す。
【００２６】
また、関連度は、例えば「ドキュメント中に出現する単語間の関連性に基づく連想検索のためのメタデータ空間生成方式」（本間秀典ら、第１６回データ工学ワークショップ（ＤＥＷＳ２００５）、６Ａ−ｏ２、電子情報通信学会、２００５）（非特許文献１）に記載の方法等を利用して算出される。
【００２７】
図４は、京都市東山区及び左京区周辺の領域の関連度データベース１０２の一例を示す図である。図４に示す関連度データベース１０２では、行方向と列方向とが交差する位置に、行方向のタグ２７と列方向のタグ２７との関連度が記憶されている。この関連度は、各領域に属する画像コンテンツ２０のタグ２７間の共起に基づいて算出される。
【００２８】
ここで、画像コンテンツ２０が領域に属するか否かは、当該画像コンテンツ２０の撮影位置２６に基づいて判断される。
【００２９】
なお、関連度データベース１０２における領域は、複数に階層化されてもよい。例えば、関連度データベース１０２は、同じ地点に対して小領域、中領域、及び大領域の３段階の領域を用いてタグ２７の関連度を記憶していてもよい。
【００３０】
図５は、階層化された領域を示す概念図である。図５に示すように、関連度データベース１０２は、京都府に属する画像コンテンツ２０のタグ２７間の関連度を、都道府県単位の領域を示す大領域５０に対応する関連度として記憶してもよい。また、関連度データベース１０２は、京都市に属する画像コンテンツ２０のタグ２７間の関連度を、市町村単位の領域を示す中領域５１に対応する関連度として記憶してもよい。また、関連度データベース１０２は、下京区等に属する画像コンテンツ２０のタグ２７間の関連度を、区単位の領域を示す小領域５２に対応する関連度として記憶してもよい。このように、関連度データベース１０２において関連度を記憶する領域を階層化することにより、後述する撮像内容推定部１０７は、ユーザが画像を補間したい領域に応じて、関連度データベース１０２において関連度を取得する領域を選択することができる。その結果、撮像内容推定部１０７は、ユーザが補間したい画像の撮像内容を、正確に推定することが可能となる。
【００３１】
入力部１０３には、ユーザが撮影した画像コンテンツ２０及びその画像ＩＤ２３、並びにそれらの画像コンテンツ２０の中から、ユーザが画像が撮影された位置間の補間を行いたい複数の補間対象画像及び補間対象画像に関する情報（画像ＩＤ２３等）が入力される。そして、入力部１０３は、入力された補間対象画像の画像ＩＤ２３を、補間範囲算出部１０４及び類似ユーザ判定部１０５に通知する。
【００３２】
図６は、入力部１０３の画面例を示す図である。図６に示すように、ユーザは、自分が撮影した画像コンテンツ２０の中から、画像が撮影された位置間の補間を行いたい画像コンテンツ２０（補間対象画像）を複数枚選択する。この例では、ユーザは、京都で撮影された６枚の画像コンテンツ２０の内、補間対象画像（清水寺）６０と補間対象画像（銀閣寺）６１の画像コンテンツ２０を選択している。すなわち、入力部１０３は、ユーザから清水寺と銀閣寺との間の場所の画像を補間する要求を受付けたことになる。
【００３３】
補間範囲算出部１０４は、画像データベース１０１を参照することにより、入力部１０３に入力された画像ＩＤ２３に対応する撮影位置２６及び撮影日時２５を取得する。そして、補間範囲算出部１０４は、取得した撮影位置２６及び撮影日時２５を用いて、補間対象となる場所の範囲を示す補間範囲７２を算出する。つまり、補間範囲算出部１０４は、補間対象画像の撮影位置２６が含まれる場所の範囲を補間範囲として算出する。そして、補間範囲算出部１０４は、補間対象画像の撮影日時２５の経過時間が大きいほど場所の範囲が広くなるように前記補間範囲を算出する。さらに、補間範囲算出部１０４は、算出した補間範囲７２を補間画像候補取得部１０６へ通知する。具体的な補間範囲算出方法については後述する。
【００３４】
図７は、補間対象画像（清水寺）６０と補間対象画像（銀閣寺）６１とに基づいて算出される補間範囲７２の一例を示す図である。図７に示すように、補間範囲７２を矩形で算出する場合は、補間範囲算出部１０４は、矩形の対角点の緯度及び経度を範囲情報７０及び範囲情報７１として算出する。
【００３５】
類似ユーザ判定部１０５は、類似画像群検出部の一例であり、補間対象画像に類似する画像を含む類似画像群を検出する。すなわち、類似ユーザ判定部１０５は、画像データベース１０１を参照することにより、入力部１０３から受け取った画像ＩＤ２３が示す画像コンテンツ２０と類似する画像群を検出する。具体的には、類似ユーザ判定部１０５は、画像データベース１０１に登録されている自分と異なるユーザが、複数の補間対象画像と類似した画像群を有するユーザ（類似ユーザ）であるか否かを判定する。そして、類似ユーザ判定部１０５は、類似ユーザであると判定した場合、ユーザＩＤ２２を補間画像候補取得部１０６へ通知する。つまり、類似ユーザ判定部１０５は、複数の補間対象画像に類似する画像群（類似画像群）をユーザ毎に検出する。ここで、画像群とは、複数の画像コンテンツ２０の集合体を意味する。なお、具体的な類似判定方法については後述する。
【００３６】
補間画像候補取得部１０６は、補間範囲算出部１０４により算出された補間範囲７２と、類似ユーザ判定部１０５により取得された類似ユーザのユーザＩＤ２２と、を用いて、画像データベース１０１から、補間範囲７２に属する類似ユーザの画像コンテンツ２０を候補画像として取得する。そして、補間画像候補取得部１０６は、取得した候補画像を示す画像ＩＤ２３を撮像内容推定部１０７へ通知する。つまり、補間画像候補取得部１０６は、類似画像群の中から、補間範囲算出部１０４により算出される補間範囲７２に属する候補画像を取得する。具体的には、補間画像候補取得部１０６は、画像データベース１０１を参照することにより、候補画像として取得する。この候補画像は、撮影位置２６（緯度及び経度）が補間範囲７２内であり、かつ、ユーザＩＤ２２が類似ユーザのユーザＩＤ２２と合致する画像コンテンツ２０である。
【００３７】
図８は、補間画像候補取得部１０６により取得された候補画像の一例を示す図である。図８に示すように、補間画像候補取得部１０６は、撮影位置２６が補間範囲７２に属する画像コンテンツ２０の中から、類似ユーザが撮影した画像コンテンツ２０を取得する。この際、画像コンテンツ２０は複数のタグ２７を有するので、補間画像候補取得部１０６により取得された候補画像が同じ地点で撮られた画像コンテンツ２０であっても、タグ２７が全て一致するとは限らない。
【００３８】
撮像内容推定部１０７は、関連度データベース１０２に記憶される、補間画像候補取得部１０６により取得される候補画像と補間対象画像との関連度に基づき、補間対象画像の撮影位置間を補間する画像である補間画像の撮像内容を推定する。具体的には、撮像内容推定部１０７は、候補画像の被写体情報と補間対象画像の被写体情報との関連度を、関連度データベース１０２を参照することにより取得する。そして、撮像内容推定部１０７は、取得した関連度が予め定められた閾値より高い候補画像の被写体情報を、補間画像の撮像内容として推定する。そして、撮像内容推定部１０７は、推定した撮像内容及び候補画像の画像ＩＤ２３を補間画像取得部１０８へ通知する。なお、具体的な撮像内容推定方法に関しては後述する。
【００３９】
補間画像取得部１０８は、撮像内容推定部１０７により推定される撮像内容を用いて、補間画像候補取得部１０６により取得される候補画像の中から、補間画像を取得する。すなわち、補間画像取得部１０８は、撮像内容推定部１０７により推定される撮像内容と撮像内容が一致する候補画像を補間画像として取得する。具体的には、補間画像取得部１０８は、画像データベース１０１を参照することにより、補間画像を取得する。この補間画像は、候補画像の画像ＩＤ２３により特定される画像コンテンツ２０の内、撮像内容推定部１０７により推定された撮像内容がタグ２７に含まれる画像コンテンツ２０である。
【００４０】
なお、撮像内容が一致するとは、撮像内容を示す単語が厳密に一致する場合だけではなく、実質的に一致する場合も含む。例えば、補間画像取得部１０８は、実質的に同義の単語が登録された類義語辞書などを参照することにより、撮像内容推定部１０７により推定される撮像内容と同義であると判定された単語がタグ２７に設定された候補画像を補間画像として取得してもよい。
【００４１】
図９は、補間画像取得部１０８により取得された補間画像の一例を示す図である。図９では、撮像内容推定部１０７により「庭園」、「枯山水」及び「白川」が撮像内容として推定されている。そして、補間画像取得部１０８は、それらの推定された撮像内容のタグ２７を持つ、補間画像（庭園）９０、補間画像（枯山水）９１、及び補間画像（白川）９２をそれぞれ取得している。このように、補間画像取得部１０８は、補間対象画像（清水寺）６０と補間対象画像（銀閣寺）６１との撮影位置間を補間する補間画像として、補間対象画像と関連度が高い画像コンテンツ２０を取得する。
【００４２】
出力部１０９は、補間画像取得部１０８により取得された画像コンテンツ２０を出力媒体へ出力する。出力媒体は、例えば液晶ディスプレイ、テレビなどのモニタである。
【００４３】
次に、以上のように構成された画像検索装置１００の動作について説明する。
【００４４】
図１０は、画像検索装置１００が実行する全体的な処理の流れを示すフローチャートである。
【００４５】
まず、入力部１０３は、ユーザが撮影した画像コンテンツ２０の画像ＩＤ２３、及びそれらの画像ＩＤ２３の中からユーザが補間を行いたい複数の補間対象画像の画像ＩＤ２３を受け取る。そして、入力部１０３は、受け取った補間対象画像の画像ＩＤ２３を補間範囲算出部１０４及び類似ユーザ判定部１０５に通知する（ステップＳ１０１）。
【００４６】
次に、補間範囲算出部１０４は、入力部１０３から通知された補間対象画像の画像ＩＤ２３に対応する撮影位置２６及び撮影日時２５を、画像データベース１０１から取得する。そして、補間範囲算出部１０４は、取得した撮影位置２６及び撮影日時２５を用いて、補間対象となる場所の範囲を示す補間範囲を算出する。さらに、補間範囲算出部１０４は、算出した補間範囲を、補間画像候補取得部１０６へ通知する（ステップＳ１０２）。
【００４７】
具体的には、例えば補間範囲算出部１０４は、補間対象画像の撮影位置２６（緯度、経度）の重心を中心とし、かつ、補間対象画像の撮影日時２５から得られる経過時間に比例した距離を半径とする範囲を補間範囲として算出する。ここで、経過時間は、補間対象画像の撮影日時２５の差分である。なお、補間対象画像が３以上ある場合、経過時間は、補間対象画像の撮影日時２５の内、最も古い撮影日時２５と最も新しい撮影日時２５との差分とする。
【００４８】
また、補間範囲算出部１０４は、予め設定された複数の範囲の中から、補間対象画像の撮影位置２６（緯度、経度）が含まれる範囲を補間範囲として選択してもよい。この場合、補間範囲算出部１０４は、補間対象画像の経過時間に応じて、選択した範囲に隣接する範囲を補間範囲に加えてもよい。
【００４９】
また、補間対象画像の撮影日時２５から得られる経過時間が所定の閾値以上の場合は、補間範囲算出部１０４は、ユーザが補間範囲を指定できるようにするために、図５に示すような領域をユーザに提示してもよい。これにより、補間範囲算出部１０４は、補間範囲が大きくなりすぎること及び補間範囲の算出間違いを防ぐことができる。
【００５０】
次に、類似ユーザ判定部１０５は、画像データベース１０１を参照することにより、入力部１０３から通知された画像ＩＤ２３に対応する画像コンテンツ２０と、類似する画像群を有するユーザ（類似ユーザ）を検出する（ステップＳ１０３）。
【００５１】
図１１は、図１０に示す類似ユーザの判定に関わるステップ（ステップＳ１０３）の詳細な処理の流れを示すフローチャートである。以下、図１１を用いて、類似ユーザ判定部１０５による類似ユーザの判定処理について説明する。
【００５２】
まず初めに、類似ユーザ判定部１０５は、入力部１０３に入力された全ての補間対象画像（以下、画像群Ａ）を取得する（ステップＳ２０１）。
【００５３】
次に、類似ユーザ判定部１０５は、画像データベース１０１を参照することにより、ステップＳ２０１において取得された画像群Ａの撮影位置２６と一致する画像コンテンツ２０を持つユーザを取得する。そして、類似ユーザ判定部１０５は、取得したユーザが登録されたユーザリストを作成する（ステップＳ２０２）。ここで、撮影位置の一致とは、撮影位置間の距離が所定の閾値以下の場合をいう。具体的には、例えば、２枚の画像の撮影位置間の距離が１ｋｍ以下の場合、２枚の画像の撮影位置は一致する。ここで、距離は、緯度及び経度の差分として扱ってもよい。例えば、２枚の画像の撮影位置の緯度及び経度の差分が、それぞれ０．３度以内である場合、２枚の画像の撮影位置は一致するとしてもよい。
【００５４】
次に、類似ユーザ判定部１０５は、ステップＳ２０２において作成されたユーザリストから１人のユーザ（他人）を選択し、選択したユーザの画像コンテンツ２０（以下、画像群Ｂ）を取得する（ステップＳ２０３）。
【００５５】
次に、類似ユーザ判定部１０５は、ステップＳ２０１において取得された画像群Ａの画像コンテンツ２０と、当該画像と撮影位置２６が一致する画像群Ｂの画像コンテンツ２０との撮影時刻の差分（時刻差分値）の和を算出する（ステップＳ２０４）。ここで、時刻差分値とは、画像が撮影された時刻（時、分及び秒）の差分を意味する。つまり、時刻差分値は、画像が撮影された年月日を考慮すること無く算出される。
【００５６】
次に、類似ユーザ判定部１０５は、ステップＳ２０４において算出された時刻差分値の和が閾値以内であるか否かを判定する（ステップＳ２０５）。なお、閾値は、例えば３０分等と予め定められる。
【００５７】
ここで、時刻差分値の和が閾値以内である場合（ステップＳ２０５のＹｅｓ）、類似ユーザ判定部１０５は、ステップＳ２０３において選択されたユーザに対応するユーザＩＤを取得する。そして、類似ユーザ判定部１０５は、取得されたユーザＩＤを、類似ユーザとして類似ユーザリストに登録する（ステップＳ２０６）。一方、時刻差分値が閾値より大きい場合（ステップＳ２０５のＮｏ）、ステップＳ２０７の処理に進む。
【００５８】
次に、類似ユーザ判定部１０５は、ステップＳ２０２において取得されたユーザリストから全てのユーザが選択されたか否かを判定する（ステップＳ２０７）。ここで全てのユーザが選択されている場合は、図１０に示すステップＳ１０４の処理に進む。一方、全てのユーザが選択されていない場合は、類似ユーザ判定部１０５は、ステップＳ２０３〜Ｓ２０６までの処理を繰り返す。
【００５９】
以上、ステップＳ２０１〜Ｓ２０７の処理が実行されることにより、類似ユーザ判定部１０５は、補間対象画像の撮影日時及び撮影位置が一致する画像コンテンツ２０を含む画像群を類似画像群として取得することができる。つまり、補間対象画像が撮影された場所及び時間帯がほぼ一致する画像を撮影したユーザ（類似ユーザ）を取得することができる。すなわち、類似ユーザ判定部１０５は、ユーザ（本人）が補間したいと考えている被写体が撮影されている膨大な数の画像の中から、ユーザ（本人）と同じような撮影パタンを行ったユーザ（他人）の画像群のみを検出することができる。
【００６０】
なお、類似ユーザ判定部１０５が撮影時刻を用いて類似ユーザを判断することは、時刻と相関のあるユーザ（本人）の行動と類似した行動をしたユーザ（他人）を取得する場合に、高い効果を示す。例えば図６の補間対象画像（清水寺）６０の撮影時刻が午前１１時であり、かつ、補間対象画像（銀閣寺）６１の撮影時刻が１４時である場合、それぞれの補間対象画像が撮影された時刻はランチの時間帯を挟む。したがって、ユーザ（本人）は、補間対象画像（清水寺）６０を撮影した後、補間対象画像（銀閣寺）６１を撮影する前に、ランチを食べた可能性が高い。一方、類似ユーザ（他人）は、同時間帯の画像を有するので、ランチに関する画像を有する可能性が高い。つまり、類似ユーザ判定部１０５は、ユーザ（本人）が補間したい画像である可能性が高いランチに関する画像を多く取得することができる。
【００６１】
なお、ステップＳ２０４において、類似ユーザ判定部１０５は、ステップＳ２０１において取得された画像群Ａの画像と、当該画像と撮影位置２６が一致する画像群Ｂの画像と、の撮影年の差分を算出してもよい。これにより、年単位で撮像内容が大きく異なる被写体の画像をユーザが補間したい場合に、類似ユーザ判定部１０５は、ユーザが補間したい画像を効率的に取得することが可能になる。
【００６２】
また、ステップＳ２０４において、類似ユーザ判定部１０５は、ステップＳ２０１において取得された画像群Ａの画像と、当該画像と撮影位置２６が略一致する画像群Ｂの画像と、の撮影月の差分を算出してもよい。これにより、月単位で撮像内容が大きく異なる被写体の画像を補間したい場合に、類似ユーザ判定部１０５は、類似ユーザが補間したい画像を効率的に取得することが可能になる。
【００６３】
また、ステップＳ２０４において、類似ユーザ判定部１０５は、ステップＳ２０１において取得された画像群Ａの全ての画像と、ステップＳ２０３において選択された画像群Ｂの画像と、の撮影時刻の差分を算出してもよい。これにより、類似ユーザ判定部１０５は、同じ撮影位置をユーザ（本人）と異なる順序により撮影したユーザ（他人）の画像も取得することが可能となる。すなわち、撮影順序に影響の無い行動について、画像の補間をしたい場合であっても、類似ユーザ判定部１０５は、ユーザが補間したい画像を効率的に取得することが可能になる。
【００６４】
ここで、図１０の説明に戻る。
【００６５】
次に、類似ユーザ判定部１０５は、類似ユーザリストに類似ユーザが登録されているか否かを判定する（ステップＳ１０４）。ここで、類似ユーザが登録されていない場合（類似ユーザ無しの場合）（ステップＳ１０４のＮｏ）、ステップＳ１０８の処理に進む。
【００６６】
一方、類似ユーザが登録されている場合（類似ユーザ有りの場合）（ステップＳ１０４のＹｅｓ）、類似ユーザ判定部１０５は、類似ユーザとして登録されたユーザＩＤ２２を補間画像候補取得部１０６へ通知する。さらに、補間画像候補取得部１０６は、画像データベース１０１を参照することにより、画像コンテンツ２０（候補画像）を取得する。この画像コンテンツ２０は、撮影位置が補間範囲算出部１０４から受け取った補間範囲に属し、かつ、類似ユーザ判定部１０５から通知された類似ユーザのユーザＩＤとユーザＩＤが一致するコンテンツである。さらに、補間画像候補取得部１０６は、取得した候補画像の画像ＩＤ２３を撮像内容推定部１０７へ通知する（ステップＳ１０５）。
【００６７】
次に、撮像内容推定部１０７は、補間画像候補取得部１０６から通知された画像ＩＤ２３と、関連度データベース１０２とに基づいて、ユーザが着目した撮像内容を推定する。そして、撮像内容推定部１０７は、推定した撮像内容及び候補画像の画像ＩＤを補間画像取得部１０８へ通知する（ステップＳ１０６）。補間画像候補取得部１０６により取得された候補画像は、補間対象画像と撮影場所及び撮影時刻のパタンは類似しているが、撮像内容が類似しているとは限らない。そこで、撮像内容推定部１０７では、候補画像の中から、補間を行うユーザの撮像内容に近い画像を絞り込む処理を行う。
【００６８】
図１２は、図１０に示す撮像内容推定に関わるステップ（ステップＳ１０６）の詳細な処理の流れを示すフローチャートである。以下、図１２を用いて撮像内容推定部１０７による撮像内容の推定の処理について説明する。ここでは、「撮像内容」は画像コンテンツ２０に付けられたタグ２７と定義する。そして、撮像内容推定部１０７は、ユーザの撮像内容に近いタグ２７の推定を行う。
【００６９】
まず初めに、撮像内容推定部１０７は、入力部１０３に入力された補間対象画像に付属するタグ２７を、画像データベース１０１から取得する（ステップＳ３０１）。以下、ステップＳ３０１において取得されたタグをタグ群Ａと呼ぶ。
【００７０】
次に、撮像内容推定部１０７は、補間画像候補取得部１０６により取得された全ての候補画像のタグ２７を、画像データベース１０１から取得する（ステップＳ３０２）。
【００７１】
次に、撮像内容推定部１０７は、ステップＳ３０２において取得された候補画像のタグ２７から１つのタグ２７を選択する（ステップＳ３０３）。以下、ステップＳ３０３において選択されたタグ２７をタグＢと呼ぶ。
【００７２】
次に、撮像内容推定部１０７は、ステップＳ３０１において取得されたタグ群Ａに対するタグＢの関連度を算出する（ステップＳ３０４）。ここで、撮像内容推定部１０７は、タグ群Ａの撮影位置２６が属する領域の関連度データベース１０２を参照することにより、タグ群Ａに含まれるタグ２７に対するタグＢの関連度をそれぞれ取得する。そして、撮像内容推定部１０７は、取得した関連度を総加算することにより、タグ群Ａに対するタグＢの関連度を算出する。
【００７３】
図１３は、候補画像のタグ（「平安神宮」、「鳥居」及び「庭園」（各タグＢ））と、補間対象画像１３１のタグ２７である補間対象画像タグ１３２（「銀閣寺」、「庭園」及び「枯山水」（タグ群Ａ））との関連度が記憶された関連度データベース１０２の一例を示す図である。図１３において、「平安神宮」の関連度は、「銀閣寺」、「庭園」、「枯山水」等との関連度（破線領域１３０）を加算することにより、算出することができる。図１３に示す例では、「平安神宮」の関連度は、０．０＋０．３＋０．１＝０．４となる。同様に「鳥居」の関連度は０．５、「庭園」の関連度は２．５となる。
【００７４】
次に、撮像内容推定部１０７は、ステップＳ３０４において算出された関連度をタグＢとともに、タグ−関連度リストに格納する（ステップＳ３０５）。
【００７５】
次に、撮像内容推定部１０７は、ステップＳ３０２において取得された候補画像のタグ２７の全てのタグ２７が選択されたか否かを判定する（ステップＳ３０６）。
【００７６】
ここで、全てのタグ２７が選択されている場合（ステップＳ３０６のＹｅｓ）、撮像内容推定部１０７は、タグ−関連度リストの中から関連度が上位のタグを、ユーザが補間したい撮像内容として推定する（ステップＳ３０７）。例えば、図１３に示す例では、撮像内容推定部１０７は、関連度が閾値「１」より大きいタグ「庭園」を、ユーザが補間したい撮像内容として推定する。
【００７７】
一方、全てのタグが選択されていない場合（ステップＳ３０６のＮｏ）、撮像内容推定部１０７は、ステップＳ３０３〜Ｓ３０６の処理を繰り返す。
【００７８】
以上、ステップＳ３０１〜Ｓ３０７の処理が実行されることにより、撮像内容推定部１０７は、補間画像候補取得部１０６により取得された候補画像の中から、ユーザの撮影内容と関連の高いタグ２７を補間画像の撮像内容として抽出することができる。
【００７９】
ここで、図１０の説明に戻る。
【００８０】
次に、補間画像取得部１０８は、撮像内容推定部１０７から通知された撮像内容及び候補画像の画像ＩＤ２３から、撮像内容に該当する候補画像を補間画像として取得し、出力部１０９に通知する（ステップＳ１０７）。
【００８１】
最後に、出力部１０９は、補間画像取得部１０８により取得された補間画像を出力媒体へ出力する（ステップＳ１０８）。
【００８２】
図１４及び図１５は、出力部１０９により出力媒体へ出力された画面の一例を示す図である。図１４に示すように、出力部１０９は、補間画像を地図上などに一覧表示してもよい。また、図１５に示すように、出力部１０９は、補間画像を撮影位置の近い順にスライドショー形式で表示してもよい。
【００８３】
以上、ステップＳ１０１〜ステップＳ１０８の処理が実行されることにより、画像検索装置１００は、補間画像の撮像内容を推定することができるため、大量に格納された画像の中から、自分と類似した撮影を行うユーザの画像を補間画像として取得することができる。
【００８４】
なお、画像データベース１０１は、ユーザが自ら撮影した画像だけを格納してもよい。この場合、ユーザは、同じ地域で撮影した画像であれば、自分が撮影した画像だけを用いて簡単に思い出のアルバムを作成することができる。
【００８５】
（実施の形態２）
次に、本発明の実施の形態２に係る画像検索装置２００について説明する。
【００８６】
本実施の形態の画像検索装置２００は、ユーザの旅行中の行動に関する情報である行動情報を撮像内容として推定する点に特徴を有する。ここで行動情報とは、具体的には、「食べる」、「遊ぶ」、「見る」、「泊まる」など、旅行中のユーザの行動を表す単語（キーワード）である。また、行動情報は、例えば、コンテンツ付属情報２１のタグ２７の一部である行動タグに設定される。
【００８７】
上述の実施の形態１の画像検索装置１００は、ユーザが旅行中に訪れた場所、建物等の名称等である被写体情報を用いて撮像内容を推定することにより、類似ユーザが撮影した画像の中から補間画像を選択した。しかし、画像検索装置１００は、被写体情報を撮像内容として推定するため、補間画像を取得する際にユーザの行動情報を特定することはできない。例えば「南禅寺」という被写体情報が推定された場合、ユーザが南禅寺で食事をしたときの画像なのか、観光したときの画像なのか、又は宿泊したときの画像なのかを分別することはできない。ユーザの撮影した画像から、補間画像の行動情報を推定できれば、画像検索装置は、類似ユーザが撮影した画像の中からユーザの旅行中の行動に沿った補間画像を選択することができる。その結果、画像検索装置はユーザが補間したい画像を効率よくユーザに提示することができるので、ユーザの利便性が向上する。
【００８８】
そこで本実施の形態における画像検索装置２００は、ユーザが撮影した画像の行動タグ、撮影時刻及び撮影位置を用いて、補間画像の行動情報を撮像内容として推定する。
【００８９】
以下、初めに図１６を参照しながら、画像検索装置２００の各構成要素について順に説明する。
【００９０】
図１６は、本発明の実施の形態２に係る画像検索装置２００の特徴的な機能構成を示すブロック図である。図１６において、図１に示す画像検索装置１００と同じ機能を備える構成要素については同じ符号を付し、説明を省略する。図１６に示す画像検索装置２００が図１に示す画像検索装置１００と相違する点の一つ目は、関連度データベース２０１が、領域毎に撮影時間帯と補間対象画像の行動情報との関連度を記憶している点である。また、相違する点の二つ目は、撮像内容推定部２０２が、候補画像の中から補間画像の行動情報を撮像内容として推定する点である。
【００９１】
図１７は、関連度データベース２０１の一例を示す図である。関連度データベース２０１は、領域毎に、当該領域に属する画像コンテンツ２０の行動タグと撮影時間帯との関連度を記憶している。
【００９２】
ユーザは、例えば画像データベース１０１に画像コンテンツ２０をアップロードする際に、「食べる」、「見る」、「遊ぶ」、「泊まる」など、予め設定された行動情報を行動タグに設定する。そして、関連度は、このように設定された行動タグの出現頻度を撮影時間帯毎に正規化することにより算出される。図１７の例では、領域「エリア１」において、撮影時間帯「９：００−１１：００」と行動情報「見る」とに対応する関連度は、「０．８」である。この「０．８」という値は、撮影位置がエリア１に属し、かつ、撮影時刻が９時から１１時までの間である画像コンテンツ２０が１０００枚ある場合、その１０００枚の画像コンテンツ２０の内「見る」という行動情報が行動タグに設定された画像コンテンツ２０が８００枚あることを示す。また、関連度データベース２０１は、一般的な連想辞書を用い、予めユーザが設定したタグ２７と行動情報との関連度を別テーブルとして保持しておいてもよい。そして、関連度データベース２０１は、画像コンテンツ２０に付属したタグ２７と行動タグとの関連度の平均値を記憶していてもよい。
【００９３】
撮像内容推定部２０２は、補間画像候補取得部１０６により取得された候補画像の行動タグから、補間画像の行動情報を撮像内容として推定する。具体的な撮像内容の推定方法は後述する。
【００９４】
次に、図１８のフローチャートを参照しながら、図１６に示される画像検索装置２００において行われる全体的な処理の流れを説明する。
【００９５】
図１８は、画像検索装置２００が実行する全体的な処理の流れを示すフローチャートである。なお、図１８において、図１０に示される、実施の形態１の画像検索装置１００の処理と同じ処理が実行されるステップについては同じ符号を付し、説明を省略する。
【００９６】
本実施の形態の画像検索装置２００では、行動情報に関する関連度が記憶された関連度データベース２０１を用いて撮像内容を推定する処理が、実施の形態１の画像検索装置１００における処理と異なっている。しかし、その他の処理は実施の形態１の画像検索装置１００の処理と同じである。具体的には、図１８において、画像検索装置３００が実行する、ステップＳ１０１〜Ｓ１０５、及びステップＳ１０７〜Ｓ１０８の処理は、図１０に示す実施の形態１の画像検索装置１００の処理と同じため、説明を省略する。
【００９７】
撮像内容推定部２０２は、入力部１０３から通知された、ユーザが撮影した画像コンテンツ２０の画像ＩＤ２３と、関連度データベース２０１を用いて、ユーザが撮影した画像コンテンツ２０と関連の高い行動情報を撮像内容として推定する（ステップＳ４０１）。
【００９８】
図１９は、図１８に示す撮像内容の推定に関わるステップ（ステップＳ４０１）の詳細な処理の流れを示すフローチャートである。以下、図１９を用いて、ステップＳ４０１において撮像内容推定部２０２が実行する処理の詳細を説明する。
【００９９】
まず初めに、撮像内容推定部２０２は、入力部１０３から通知された、ユーザが撮影した画像コンテンツ２０の画像ＩＤ２３を取得する（ステップＳ５０１）。
【０１００】
次に、撮像内容推定部２０２は、ステップＳ５０１において取得された画像ＩＤ２３から、画像データベース１０１を参照することにより、行動タグを取得する。そして、撮像内容推定部２０２は、取得した行動タグから、ユーザの行動嗜好ベクトルを算出する（ステップＳ５０２）。ここで行動嗜好ベクトルとは、各行動情報に対するユーザの嗜好を値として表したベクトルである。具体的な行動嗜好ベクトルの算出方法を、図２０及び図２１を用いて説明する。
【０１０１】
図２０は、実施の形態１と同じく、ユーザが京都で撮影した画像コンテンツ２０の一例を示す図である。図２０に示すように、各画像コンテンツ２０には撮影時刻タグ２７及び行動タグが付与されている。具体的には、例えば、補間対象画像（清水寺）６０には、行動タグに「見る」、タグ２７に「清水寺」及び「舞台」、並びに撮影時刻に「１１：００」が予め設定されている。
【０１０２】
行動嗜好ベクトルは、行動タグに設定される行動情報の種別数の次元を持つベクトルである。また、行動嗜好ベクトルの行動情報の種別毎のベクトル値は、各撮影画像の撮影位置及び撮影時刻に対応する、関連度データベース２０１の関連度の逆数を、加算平均することにより算出される。また、ベクトル値の初期値は１として、ベクトル値が算出される。
【０１０３】
図２１は、撮影画像１００１が撮影された領域の関連度データベース２０１の一部を示す図である。図２１を用いて撮影画像１００１に対するベクトル値を算出する一例を示す。図２１に示すように、図２０に示された撮影画像１００１が撮影された撮影位置及び撮影時刻に対応する関連度は「０．８」である。よって、関連度の逆数は、１÷０．８＝１．２５となる。よって、この時点での行動嗜好ベクトルは、（食べる，見る，遊ぶ，泊まる）＝（１，１．２５，１，１）となる。この処理を、図２０に示された撮影画像全てに対して行うことにより、ユーザの行動嗜好性を示す行動嗜好ベクトルが算出される。
【０１０４】
ここで、図１９の説明に戻る。
【０１０５】
次に、撮像内容推定部２０２は、ステップＳ５０２において算出された行動嗜好ベクトルに、補間対象画像に対応する関連度を加算する（ステップＳ５０３）。
【０１０６】
次に、撮像内容推定部２０２は、ステップＳ５０３において算出された行動嗜好ベクトルの中から、ベクトル値が閾値以上の行動情報を撮像内容として推定する（ステップＳ５０４）。ここで、閾値は、予め設計者が所定値を設定すればよい。また、例えば、撮像内容推定部２０２は、上位２つの行動情報を撮像内容として推定してもよい。
【０１０７】
以上、ステップＳ５０１〜Ｓ５０４の処理が実行されることにより、補間画像候補取得部１０６により取得された候補画像の中から、ユーザの撮影時の行動と関連の高い行動情報だけを撮像内容として推定することができる。
【０１０８】
以上、ステップＳ１０１〜Ｓ１０５、ステップＳ４０１、及びステップＳ１０７〜Ｓ１０８の処理が実行されることにより、ユーザは補間画像を行動情報単位で取得することができる。そのため、画像検索装置２００は、ユーザの行動に沿わない画像の提示を減らすことができるので、ユーザの操作の利便性を向上させることができる。
【０１０９】
（実施の形態３）
次に、本発明の実施の形態３に係る画像検索装置３００について説明する。
【０１１０】
本実施の形態の画像検索装置３００は、ユーザが嗜好する撮影条件に合致する画像となるように補間画像を修正する点に特徴を有する。ここで、撮影条件とは、色情報（ＲＧＢ比率）、絞り、被写体距離、解像度、Ｆ値、シャッタースピードなどのＥｘｉｆ情報を示す。
【０１１１】
上述の実施の形態１及び２の画像検索装置１００及び２００では、出力部１０９は、画像データベース１０１に蓄積された画像コンテンツ２０を修正すること無く、補間画像として出力していた。しかし、画像検索装置が、補間対象画像の撮影条件と異なる撮影条件により撮影された画像コンテンツ２０を補間画像として出力した場合、補間対象画像と補間画像との統一感が損なわれる可能性がある。
【０１１２】
そこで本実施の形態における画像検索装置３００は、入力部１０３に入力された画像の撮影条件に基づいて補間画像を修正する。
【０１１３】
以下、初めに図２２を参照しながら、画像検索装置３００の各構成要素について順に説明する。
【０１１４】
図２２は、本発明の実施の形態３に係る画像検索装置３００の特徴的な機能構成を示すブロック図である。図２２において、図１に示す画像検索装置１００と同じ機能を備える構成要素については同じ符号を付し、説明を省略する。図２２に示す画像検索装置３００は、入力部１０３に入力された画像の撮影条件に基づき補間画像を修正する補間画像修正部３０１を備える点が、図１に示す画像検索装置１００と相違する。
【０１１５】
補間画像修正部３０１は、入力部１０３から通知された画像ＩＤ２３に対応するコンテンツ付属情報２１を用いて、ユーザが嗜好する撮影条件を算出する。さらに、補間画像修正部３０１は、算出した撮影条件に基づいて補間画像を修正する。つまり、補間画像修正部３０１は、撮影条件決定部の一例であり、入力部１０３に入力された補間対象画像の撮影条件に基づき、前記補間画像を修正するための撮影条件を決定する。また、補間画像修正部３０１は、決定した撮影条件を用いて撮影された画像となるように、補間画像取得部１０８により取得される補間画像を修正する。具体的な補間画像の修正方法は後述する。
【０１１６】
次に、図２３のフローチャートを参照しながら、図２２に示される画像検索装置３００において行われる全体的な処理の流れを説明する。
【０１１７】
図２３は、画像検索装置３００が実行する全体的な処理の流れを示すフローチャートである。なお、図２３において、図１０に示される、実施の形態１の画像検索装置１００の処理と同じ処理が実行されるステップについては同じ符号を付し、説明を省略する。
【０１１８】
本実施の形態の画像検索装置３００では、入力部１０３に入力された画像の撮影条件に基づき補間画像を修正する処理が、実施の形態１の画像検索装置１００の処理と異なっている。しかし、その他の処理は実施の形態１の画像検索装置１００の処理と同じである。具体的には、図２３において、画像検索装置３００が実行するステップＳ１０１〜Ｓ１０８の処理は、図１０に示す実施の形態１の画像検索装置１００の処理と同じため、説明を省略する。
【０１１９】
補間画像修正部３０１は、入力部１０３に入力された画像コンテンツ２０の撮影条件に基づいて補間画像を修正する（ステップＳ６０１）。
【０１２０】
図２４は、図２３に示す補間画像の修正に関わるステップ（ステップＳ６０１）の詳細な処理の流れを示すフローチャートである。以下、図２４を用いて、ステップＳ６０１において補間画像修正部３０１が実行する処理の詳細を説明する。
【０１２１】
まず初めに、補間画像修正部３０１は、画像データベース１０１を参照することにより、入力部１０３に入力された画像ＩＤ２３に対応する、コンテンツ付属情報２１に含まれる撮影条件を取得する（ステップＳ７０１）。
【０１２２】
次に、補間画像修正部３０１は、ステップＳ７０１において取得された撮影条件から、ユーザが嗜好する撮影条件を算出する（ステップＳ７０２）。具体的には、補間画像修正部３０１は、各撮像条件の平均値を求める。
【０１２３】
次に、補間画像修正部３０１は、補間画像取得部１０８により取得された補間画像の中から１枚の補間画像を選択する（ステップＳ７０３）。
【０１２４】
次に、補間画像修正部３０１は、ステップＳ７０３において選択された補間画像の修正を行う（ステップＳ７０４）。具体的には、補間画像修正部３０１は、ステップＳ７０３において選択された補間画像の画素値を、ステップＳ７０２において算出された撮影条件の画素値に変換する。例えば、補間画像修正部３０１は、補間画像のＲＧＢ値が、入力部１０３に入力された画像コンテンツ２０のＲＧＢ比率の平均値となるように補間画像を修正する。また、例えば、補間画像修正部３０１は、補間画像の解像度が、入力部１０３に入力された画像コンテンツ２０の解像度の平均値となるように補間画像を修正する。これにより、図２５に示すように、画像検索装置３００は、ユーザが撮影したときの撮影条件に合った補間画像を出力することが可能になる。
【０１２５】
次に、補間画像修正部３０１は、補間画像取得部１０８により取得された補間画像が全て選択されたか否かを判定する（ステップＳ７０５）。ここで、全て選択されていない場合は（ステップＳ７０５のＮｏ）、補間画像取得部１０８はステップＳ７０３及びステップＳ７０４の処理を繰り返す。一方、全て選択された場合は（ステップＳ７０５のＹｅｓ）、ステップＳ１０８の処理へ進む。
【０１２６】
以上、ステップＳ７０１〜Ｓ７０５の処理が実行されることにより、補間画像修正部３０１は、補間画像取得部１０８により取得された補間画像をユーザの撮影した画像の撮影条件に合わせて修正することができる。
【０１２７】
以上、ステップＳ１０１〜Ｓ１０８及びステップＳ６０１の処理が実行されることにより、画像検索装置３００は、補間対象画像と同様の撮影条件により撮影された画像を補間画像として出力することができる。そのため、ユーザは、全体として統一感のあるアルバム（画像群）を作成することができる。
【０１２８】
（実施の形態４）
次に、本発明の実施の形態４に係る画像検索装置４００について説明する。
【０１２９】
本実施の形態の画像検索装置４００は、補間画像の中から、同一の被写体に対して互いに異なる画角の画像を取得する点に特徴を有する。
【０１３０】
上述の実施の形態１及び２の画像検索装置１００及び２００では、タグを用いて補間画像が取得されるため、同じ画角の画像が複数枚提示される可能性がある。
【０１３１】
そこで本実施の形態における画像検索装置４００は、ユーザが撮影した画像コンテンツ２０のコンテンツ付属情報２１から被写体の画角を算出する。そして、画像検索装置４００は、算出した画角と異なる画角の補間画像だけを選択する。
【０１３２】
以下、初めに図２６を参照しながら、画像検索装置３００の各構成要素について順に説明する。
【０１３３】
図２６は、本発明の実施の形態４に係る画像検索装置４００の特徴的な機能構成を示すブロック図である。図２６において、図１に示す画像検索装置１００と同じ機能を備える構成要素については同じ符号を付し、説明を省略する。図２６に示す画像検索装置４００は、補間画像の中から、同一の被写体に対して互いに異なる画角の補間画像を取得する異画角画像取得部４０１を備える点が、図１に示す画像検索装置１００と相違する。
【０１３４】
異画角画像取得部４０１は、補間画像取得部１０８により取得された補間画像において、同一の被写体が撮影された同一被写体画像が複数ある場合、同一被写体画像の中から少なくとも互いに画角が異なる補間画像を取得する。具体的な補間画像の取得方法は後述する。
【０１３５】
次に、図２７のフローチャートを参照しながら、図２６に示される画像検索装置４００において行われる全体的な処理の流れを説明する。
【０１３６】
図２７は、画像検索装置４００が実行する全体的な処理の流れを示すフローチャートである。なお、図２７において、図１０に示される、実施の形態１の画像検索装置１００の処理と同じ処理が実行されるステップについては同じ符号を付し、説明を省略する。
【０１３７】
本実施の形態の画像検索装置４００では、補間画像取得部１０８により取得された補間画像から、同一被写体に対して画角が異なる補間画像を取得する処理が実施の形態１の画像検索装置１００の処理と異なっている。しかし、その他の処理は実施の形態１の画像検索装置１００の処理と同じである。具体的には、図２７において、画像検索装置４００が実行するステップＳ１０１〜Ｓ１０８の処理は、図１０に示す実施の形態１の画像検索装置１００の処理と同じため、説明を省略する。
【０１３８】
異画角画像取得部４０１は、補間画像取得部１０８により取得された補間画像において、同一被写体画像が複数ある場合、同一被写体画像の中から少なくとも互いに画角が異なる補間画像を取得する（ステップＳ８０１）。
【０１３９】
図２８は、図２７に示す異画角画像の取得に関わるステップ（ステップＳ８０１）の詳細な処理の流れを示すフローチャートである。以下、図２８を用いて、ステップＳ８０１において異画角画像取得部４０１が実行する処理の詳細を説明する。
【０１４０】
まず初めに、異画角画像取得部４０１は、補間画像取得部１０８により取得された補間画像の中から１枚の補間画像を選択する（ステップＳ９０１）。以下、ステップＳ９０１において選択された画像を選択画像と呼ぶ。
【０１４１】
次に、異画角画像取得部４０１は、選択画像の画角情報を抽出する（ステップＳ９０２）。画角情報とは、被写体距離、撮影位置などの画像の画角に関連する画像パラメータを示す。
【０１４２】
次に、異画角画像取得部４０１は、選択画像に付属するタグ２７を取得する（ステップＳ９０３）。
【０１４３】
次に、異画角画像取得部４０１は、ステップＳ９０３において取得されたタグ２７を用いて、補間画像取得部１０８により取得された補間画像の中からタグが類似する類似画像を取得する。具体的には、例えば、異画角画像取得部４０１は、ステップＳ９０３において取得されたタグ２７の内、補間画像において最も出現頻度の低いタグ２７と、タグ２７が一致する補間画像を類似画像として選択する。ここで取得された類似画像と選択画像とは、タグ２７が同一であることから、被写体が同一である画像として扱うことができる。
【０１４４】
次に、異画角画像取得部４０１は、類似画像の中から、画角の異なる画像（異画角画像）を選択する（ステップＳ９０５）。画角の算出は、撮影位置２６又は被写体距離２８を用いて行う。前述のとおり、選択画像と類似画像とは、被写体が同一である。よって、選択画像と類似画像との撮影位置２６が異なる場合は、選択画像と類似画像とは、異なる画角の同一被写体画像になる。撮影位置２６が異なるか否かは、選択画像及び類似画像のそれぞれの撮影位置間の距離が閾値を超えるか否かにより判定すればよい。ここで、閾値は設計者が予め決めておけばよい。また、撮影位置２６と同様に、被写体距離２８が異なる場合は、選択画像と類似画像とは異なる画角の画像となる。被写体距離２８が異なるか否かは、選択画像及び類似画像の被写体距離２８の差分値が閾値を超えるか否かにより判定すればよい。
【０１４５】
次に、異画角画像取得部４０１は、補間画像取得部１０８により取得された補間画像を全て選択したか否かを判定する（ステップＳ９０６）。ここで、全て選択されていない場合は（ステップＳ９０６のＮｏ）、異画角画像取得部４０１は、ステップＳ９０１〜Ｓ９０５の処理を繰り返す。一方、全て選択された場合は（ステップＳ９０６のＹｅｓ）、ステップＳ１０８の処理へ進む。
【０１４６】
以上、ステップＳ９０１〜Ｓ９０６の処理が実行されることにより、異画角画像取得部４０１は、補間画像取得部１０８により取得された補間画像の中から、図２９に示すように、同一被写体に対して画角の異なる画像だけを取得することができる。
【０１４７】
以上、ステップＳ１０１〜Ｓ１０８、及びステップＳ８０１の処理が実行されることにより、画像検索装置４００は、同一被写体に対して画角が異なる画像を出力することが可能となる。そのため、ユーザは、同じような画像をアルバムに追加することを防ぐことができる。
【０１４８】
以上、本発明に係る画像検索装置について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、異なる実施の形態における構成要素を組み合わせて構築される形態なども、本発明の範囲内に含まれる。
【０１４９】
なお、本発明は、このような画像検索装置の特徴的な構成要素が行う処理を実行する画像検索方法として実現したり、その方法をコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等の記録媒体、インターネット等の伝送媒体を介して配信することができる。
【０１５０】
また、上記実施の形態に係る画像検索装置１００、２００、３００及び４００は、典型的には、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、及びＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、通信インタフェース等を備えるコンピュータによって実現される。このようなコンピュータにおいて、ＣＰＵは、ＲＡＭを作業領域として使用しながら、画像検索装置の特徴的な構成要素が行う処理を実行するためのプログラムを実行する。その結果、コンピュータは、画像検索装置が備える各構成要素が行う処理を実行することができる。なお、ＣＰＵによって実行されるプログラムは、ＣＤ−ＲＯＭ装置又は通信インタフェース等を介して読み取られたプログラム、又はＲＯＭに格納されたプログラムであればよい。
【０１５１】
上述した本発明は、大量に格納された画像コンテンツの中からユーザが補間したい画像を比較的容易に出力することができる画像検索装置等として利用できる。
【０１５２】
例えば、Ｗｅｂ上等で画像データが大量に記憶されたデータベースからユーザが補間したい画像を検索して思い出アルバムを自動的に作成する装置として、利用できる。
【０１５３】
また、従来の方法では、全ての観光地の写真撮影スポットにタグリーダが設置されなくてはならないため、比較的大きなインフラコストが必要になるという課題がある。例えば京都、沖縄などのように、撮影する地点が複数存在する観光地の場合は、その地点毎にタグリーダを設置するコストが必要となる。また、設置された複数のタグリーダをメンテナンスするコストも必要となる。
【０１５４】
これに対して、上記実施の形態に記載の本発明では、特別なインフラを用意すること無いという効果も奏する。
【産業上の利用可能性】
【０１５５】
本発明は、大量に格納された画像コンテンツの中からユーザが撮影した画像コンテンツの撮影位置間を補間するための画像コンテンツを出力する画像検索装置として、利用可能である。
【符号の説明】
【０１５６】
２０  画像コンテンツ
２１  コンテンツ付属情報
２２  ユーザＩＤ
２３  画像ＩＤ
２４  画像アドレス
２５  撮影日時
２６  撮影位置
２７  タグ
２８  被写体距離
５０  大領域
５１  中領域
５２  小領域
６０  補間対象画像（清水寺）
６１  補間対象画像（銀閣寺）
７０、７１  範囲情報
７２  補間範囲
９０  補間画像（庭園）
９１  補間画像（枯山水）
９２  補間画像（白川）
１００、２００、３００、４００  画像検索装置
１０１  画像データベース
１０２、２０１  関連度データベース
１０３  入力部
１０４  補間範囲算出部
１０５  類似ユーザ判定部
１０６  補間画像候補取得部
１０７、２０２  撮像内容推定部
１０８  補間画像取得部
１０９  出力部
１３０  破線領域
１３１  補間対象画像
１３２  補間対象画像タグ
３０１  補間画像修正部
４０１  異画角画像取得部
１００１  撮影画像
【図１】
2010013424.tif 000003
【図２】
2010013424.tif 000004
【図３】
2010013424.tif 000005
【図４】
2010013424.tif 000006
【図５】
2010013424.tif 000007
【図６】
2010013424.tif 000008
【図７】
2010013424.tif 000009
【図８】
2010013424.tif 000010
【図９】
2010013424.tif 000011
【図１０】
2010013424.tif 000012
【図１１】
2010013424.tif 000013
【図１２】
2010013424.tif 000014
【図１３】
2010013424.tif 000015
【図１４】
2010013424.tif 000016
【図１５】
2010013424.tif 000017
【図１６】
2010013424.tif 000018
【図１７】
2010013424.tif 000019
【図１８】
2010013424.tif 000020
【図１９】
2010013424.tif 000021
【図２０】
2010013424.tif 000022
【図２１】
2010013424.tif 000023
【図２２】
2010013424.tif 000024
【図２３】
2010013424.tif 000025
【図２４】
2010013424.tif 000026
【図２５】
2010013424.tif 000027
【図２６】
2010013424.tif 000028
【図２７】
2010013424.tif 000029
【図２８】
2010013424.tif 000030
【図２９】
2010013424.tif 000031
【手続補正書】
【提出日】平成21年10月7日(2009.10.7)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、大量に格納された画像コンテンツの中からユーザが撮影した画像コンテンツの撮影位置間を補間するための画像コンテンツを出力する画像検索装置及び画像検索方法に関する。
【背景技術】
【０００２】
旅行に行ったときに、ユーザが写真撮影に集中しすぎて、旅行そのものを十分に楽しめないということがある。一方、ユーザが観光地へ旅行に行った場合、多くの旅行者が似たような場所の似たような風景を撮影していることが多い。実際にインターネット上で提供されている写真共有サービスでは、自分が撮影した写真とほとんど同じ構図の写真が見つかることが多い。そこで、自分が撮影した写真に対して写真共有サービスの写真を補間することにより、思い出のアルバムを簡便に作成できれば、ユーザは全ての写真を撮影しなくても旅行の思い出を記録しておくことができる。
【０００３】
ユーザが思い出のアルバムを作成する際、写真共有サービスを用いて補間したい写真を検索するためには、ユーザは自らキーワードを入力して検索を行う必要がある。画像コンテンツの特徴は、動画コンテンツ或いは音楽コンテンツとは異なり、コンテンツ数が一覧できないほど多く存在することである。例えば、代表的ないくつかの写真共有サービスでは、ユーザが「沖縄」というキーワードのみを入力して検索を行った場合、１０万枚以上の写真が検索される。このような大量の写真の中から、ユーザが思い出として記録したい写真だけを選ぶためには、ユーザは、写真をモニタ等において一覧可能な数まで絞り込む必要がある。すなわち、ユーザは写真を絞り込むために複数のキーワードを組み合わせて入力する必要がある。このような入力作業、選択作業などを個々の思い出に対して行うことは、ユーザにとって非常に操作負担が大きな作業となる。
【０００４】
このような問題に対し、予めサーバに蓄積された観光地の写真を用いて、ユーザが簡便に思い出のアルバムを作成するための方法が提案されている（例えば、特許文献１参照）。特許文献１に記載の方法では、観光地の各写真撮影スポットに設置されたタグリーダを用いて、ユーザは、予めサーバに蓄積された当該ポイントの高品質な写真を読み取る。その結果、ユーザは、自ら全ての写真を撮影すること無く、思い出のアルバムを簡便に作成することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−２１３２１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、ユーザが同じ地点から写真を撮る場合であっても、人によって撮像内容が異なることが多い。そのため、特許文献１に記載の方法では、ユーザがアルバムの中に記録したくない撮像内容の写真がアルバムに追加されてしまうという課題がある。例えば、京都の清水寺において、ユーザが同じ地点から写真を撮影する場合、前景の寺に着目した写真と、背景の山に着目した写真とは、撮像内容が異なる。また、寺とは逆方向の道路、上方向の空など、ユーザが写真を撮影する方向（撮影方向）によっても、撮像内容が異なる写真となる。さらに、撮影方向だけではなく、撮影時間帯、撮影時期などの違いによっても、撮像内容は、大きく異なる。このような撮像内容が異なる写真が一度にアルバムに追加された場合、ユーザがアルバムに追加したい撮像内容とは異なる撮像内容の写真が大量にアルバムに追加されてしまうことになる。その結果、ユーザは追加された写真を削除する作業が必要となるため、ユーザの操作負担が大きくなる。
【０００７】
そこで、本発明は、上記課題を解決するものであって、大量に格納された画像コンテンツの中から、ユーザが補間したい画像を比較的容易に出力することができる画像検索装置及び画像検索方法を提供する。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、本発明に係る画像検索装置は、複数の画像の中から検索した画像を出力する画像検索装置であって、画像間の関連度合いを示す関連度を記憶している関連度データベースと、第一情報を含む第一画像と第二情報を含む第二画像とが入力される入力部と、前記第一情報から得られる前記第一画像の第一撮影位置と、前記第二情報から得られる前記第二画像の第二撮影位置と、が含まれる場所の範囲を補間範囲として算出する補間範囲算出部と、前記関連度データベースに記憶された関連度であって、前記複数の画像のうち前記補間範囲算出部により算出された補間範囲に属する画像と前記第一画像との関連度と、前記複数の画像のうち前記補間範囲算出部により算出された補間範囲に属する画像と前記第二画像との関連度と、に基づき、前記第一撮影位置と前記第二撮影位置との間を補間する画像である補間画像の撮像内容を推定する撮像内容推定部と、前記撮像内容推定部により推定された撮像内容を用いて、前記複数の画像の中から前記補間画像を取得する補間画像取得部と、前記補間画像取得部により取得された補間画像を出力する出力部と、を備える。
【０００９】
これにより、入力された複数の画像と撮影位置が近似するとともに、撮像内容の関連度合いが高い画像を取得することができるので、入力された画像の撮影位置間を補間する画像を比較的容易に出力することが可能となる。例えば、ユーザは、自分が撮影した画像間に体験したできごとの画像を、他人が撮影した画像を用いて、比較的容易に補間することが可能となる。
【００１０】
さらに、タグリーダ等の特別なインフラを構築すること無く、ユーザは画像を補間することが可能となる。
【発明の効果】
【００１１】
本発明によると、大量に格納された画像コンテンツの中からユーザが補間したい画像を比較的容易に出力することができる。
【図面の簡単な説明】
【００１２】
【図１】図１は、本発明の実施の形態１に係る画像検索装置の特徴的な機能構成を示すブロック図である。
【図２】図２は、画像コンテンツ及びコンテンツ付属情報の一例を示す図である。
【図３】図３は、画像データベースの一例を示す図である。
【図４】図４は、関連度データベースの一例を示す図である。
【図５】図５は、階層化された領域を示す概念図である。
【図６】図６は、入力部の画面例を示す図である。
【図７】図７は、補間範囲の一例を示す図である。
【図８】図８は、候補画像の一例を示す図である。
【図９】図９は、補間画像の一例を示す図である。
【図１０】図１０は、本発明の実施の形態１に係る画像検索装置が実行する全体的な処理の流れを示すフローチャートである。
【図１１】図１１は、図１０に示す類似ユーザの判定に関わるステップの詳細な処理の流れを示すフローチャートである。
【図１２】図１２は、図１０に示す撮像内容推定に関わるステップの詳細な処理の流れを示すフローチャートである。
【図１３】図１３は、関連度データベースの一例を示す図である。
【図１４】図１４は、出力部により出力媒体へ出力された画面の一例を示す図である。
【図１５】図１５は、出力部により出力媒体へ出力された画面の一例を示す図である。
【図１６】図１６は、本発明の実施の形態２に係る画像検索装置の特徴的な機能構成を示すブロック図である。
【図１７】図１７は、関連度データベースの一例を示す図である。
【図１８】図１８は、本発明の実施の形態２に係る画像検索装置が実行する全体的な処理の流れを示すフローチャートである。
【図１９】図１９は、図１８に示す撮像内容の推定に関わるステップの詳細な処理の流れを示すフローチャートである。
【図２０】図２０は、ユーザが撮影した画像コンテンツの一例を示す図である。
【図２１】図２１は、関連度データベースと撮影画像の関係を示す図である。
【図２２】図２２は、本発明の実施の形態３に係る画像検索装置の特徴的な機能構成を示すブロック図である。
【図２３】図２３は、本発明の実施の形態３に係る画像検索装置が実行する全体的な処理の流れを示すフローチャートである。
【図２４】図２４は、図２３に示す補間画像の修正に関わるステップの詳細な処理の流れを示すフローチャートである。
【図２５】図２５は、補間画像修正部の有無による補間画像出力例の比較図である。
【図２６】図２６は、本発明の実施の形態４に係る画像検索装置の特徴的な機能構成を示すブロック図である。
【図２７】図２７は、本発明の実施の形態４に係る画像検索装置の全体的な処理の流れを示すフローチャートである。
【図２８】図２８は、図２７に示す異画角画像の取得に関わるステップの詳細な処理の流れを示すフローチャートである。
【図２９】図２９は、異画角画像取得部の有無による補間画像出力例の比較図である。
【発明を実施するための形態】
【００１３】
以下、本発明に係る画像検索装置について、図面を用いて詳細に説明する。なお、説明の簡単のため、以下の実施の形態では、ユーザが京都に旅行したときに撮影した画像に対して、データベースに蓄積された画像を補間することにより、思い出のアルバムを作成する例を用いて説明する。
【００１４】
（実施の形態１）
図１は、本発明の実施の形態１に係る画像検索装置１００の特徴的な機能構成を示すブロック図である。図１に示すように、画像検索装置１００は、複数の画像の中から検索した画像を出力する装置である。画像検索装置１００は、画像データベース１０１、関連度データベース１０２、入力部１０３、補間範囲算出部１０４、類似ユーザ判定部１０５、補間画像候補取得部１０６、撮像内容推定部１０７、補間画像取得部１０８、及び出力部１０９を備える。
【００１５】
以下、図１に示した、画像検索装置１００の各構成要素の詳細について順に説明する。
【００１６】
画像データベース１０１は、検索対象となる画像コンテンツ２０と、その画像コンテンツ２０に対応するコンテンツ付属情報２１とを記憶しているデータベースである。ここで、画像コンテンツ２０とは、電子媒体に格納された画像を示す。また、コンテンツ付属情報２１とは、画像コンテンツ２０の内容を示す情報である。具体的には、例えば、コンテンツ付属情報２１は、画像撮影時に画像コンテンツ２０へ付加される、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ  ｉｍａｇｅ  ｆｉｌｅ  ｆｏｒｍａｔ）情報（撮影日時、緯度・経度情報など）、及びユーザが撮影後に画像コンテンツ２０へ付加したタグ等の画像情報である。
【００１７】
図２は、画像データベース１０１に記憶されている、画像コンテンツ２０及びコンテンツ付属情報２１の一例を示す図である。図２に示すように、画像データベース１０１は、画像コンテンツ２０に加え、ユーザＩＤ２２、画像ＩＤ２３、画像アドレス２４、撮影日時２５、撮影位置２６、タグ２７、被写体距離２８を含むコンテンツ付属情報２１を記憶している。
【００１８】
ユーザＩＤ２２は、画像コンテンツ２０を撮影したユーザを識別するための情報を示す。画像ＩＤ２３は、画像コンテンツ２０を識別するための情報を示す。画像アドレス２４は、画像コンテンツ２０が保存されている場所の情報を示す。撮影日時２５は、画像コンテンツ２０が撮影された日時を示す。撮影位置２６は、画像コンテンツ２０が撮影された位置を示す。なお、画像コンテンツ２０が撮影された位置は、緯度及び経度により特定される。被写体距離２８は、画像コンテンツ２０が撮影されたときの被写体までの距離を示す。
【００１９】
タグ２７は、画像コンテンツ２０の内容を示す単語（キーワード）を示す。例えば、ユーザは、画像撮影後にタグ２７を手入力する。また、画像検索装置１００は、撮影位置２６に含まれる緯度及び経度の情報に基づいて取得される地域名或いは建物名を、タグ２７として自動的に付加してもよい。また、画像検索装置１００は、撮影日時２５と撮影位置２６と天気データベースとを用いて、天気及び気温の情報をタグ２７として自動的に付加してもよい。また、画像検索装置１００は、画像コンテンツ２０の画素値から得られる画像代表色を、タグ２７として自動的に付加してもよい。また、画像検索装置１００は、画像コンテンツ２０において人物検出を行うことにより検出された人数等の情報を、タグ２７として自動的に付加してもよい。
【００２０】
図３は、画像データベース１０１の一例を示す図である。図３に示すように、画像データベース１０１では、図２に示した各コンテンツ付属情報２１が検索容易となるようにリスト化されている。
【００２１】
なお、本実施の形態では、画像データベース１０１が画像検索装置１００に備えられる事例について説明するが、本発明が適用される画像検索装置は、このような画像検索装置に限定されるものではない。例えば、画像データベース１０１は、画像検索装置とネットワークを介して接続されたサーバ上に備えられてもよい。
【００２２】
また、コンテンツ付属情報２１は、画像コンテンツ２０内に含まれてもよい。
【００２３】
ここで、図１に示した画像検索装置１００の各構成要素の説明に戻る。
【００２４】
関連度データベース１０２は、画像コンテンツ２０間の関連度合いを示す関連度を記憶している。具体的には、画像コンテンツ２０の被写体情報間の関連度を記憶している。ここで、被写体情報とは、ユーザが撮影した画像コンテンツ２０における被写体を表す単語の情報である。具体的には、被写体情報は、例えば、タグ２７に設定された被写体の名称、被写体が存在する地域の名称、被写体の数、被写体の色などである。
【００２５】
また、関連度データベース１０２は、被写体情報の関連度を、領域単位で記憶している。具体的には、関連度データベース１０２は、領域毎に、当該領域に属する画像コンテンツ２０のタグ２７間の関連度を記憶している。ここで、領域とは、都道府県、市町村、５０ｋｍ四方などに基づいて分割された場所を示す。
【００２６】
また、関連度は、例えば「ドキュメント中に出現する単語間の関連性に基づく連想検索のためのメタデータ空間生成方式」（本間秀典ら、第１６回データ工学ワークショップ（ＤＥＷＳ２００５）、６Ａ−ｏ２、電子情報通信学会、２００５）（非特許文献１）に記載の方法等を利用して算出される。
【００２７】
図４は、京都市東山区及び左京区周辺の領域の関連度データベース１０２の一例を示す図である。図４に示す関連度データベース１０２では、行方向と列方向とが交差する位置に、行方向のタグ２７と列方向のタグ２７との関連度が記憶されている。この関連度は、各領域に属する画像コンテンツ２０のタグ２７間の共起に基づいて算出される。
【００２８】
ここで、画像コンテンツ２０が領域に属するか否かは、当該画像コンテンツ２０の撮影位置２６に基づいて判断される。
【００２９】
なお、関連度データベース１０２における領域は、複数に階層化されてもよい。例えば、関連度データベース１０２は、同じ地点に対して小領域、中領域、及び大領域の３段階の領域を用いてタグ２７の関連度を記憶していてもよい。
【００３０】
図５は、階層化された領域を示す概念図である。図５に示すように、関連度データベース１０２は、京都府に属する画像コンテンツ２０のタグ２７間の関連度を、都道府県単位の領域を示す大領域５０に対応する関連度として記憶してもよい。また、関連度データベース１０２は、京都市に属する画像コンテンツ２０のタグ２７間の関連度を、市町村単位の領域を示す中領域５１に対応する関連度として記憶してもよい。また、関連度データベース１０２は、下京区等に属する画像コンテンツ２０のタグ２７間の関連度を、区単位の領域を示す小領域５２に対応する関連度として記憶してもよい。このように、関連度データベース１０２において関連度を記憶する領域を階層化することにより、後述する撮像内容推定部１０７は、ユーザが画像を補間したい領域に応じて、関連度データベース１０２において関連度を取得する領域を選択することができる。その結果、撮像内容推定部１０７は、ユーザが補間したい画像の撮像内容を、正確に推定することが可能となる。
【００３１】
入力部１０３には、ユーザが撮影した画像コンテンツ２０及びその画像ＩＤ２３、並びにそれらの画像コンテンツ２０の中から、ユーザが画像が撮影された位置間の補間を行いたい複数の補間対象画像及び補間対象画像に関する情報（画像ＩＤ２３等）が入力される。そして、入力部１０３は、入力された補間対象画像の画像ＩＤ２３を、補間範囲算出部１０４及び類似ユーザ判定部１０５に通知する。
【００３２】
図６は、入力部１０３の画面例を示す図である。図６に示すように、ユーザは、自分が撮影した画像コンテンツ２０の中から、画像が撮影された位置間の補間を行いたい画像コンテンツ２０（補間対象画像）を複数枚選択する。この例では、ユーザは、京都で撮影された６枚の画像コンテンツ２０の内、補間対象画像（清水寺）６０と補間対象画像（銀閣寺）６１の画像コンテンツ２０を選択している。すなわち、入力部１０３は、ユーザから清水寺と銀閣寺との間の場所の画像を補間する要求を受付けたことになる。
【００３３】
補間範囲算出部１０４は、画像データベース１０１を参照することにより、入力部１０３に入力された画像ＩＤ２３に対応する撮影位置２６及び撮影日時２５を取得する。そして、補間範囲算出部１０４は、取得した撮影位置２６及び撮影日時２５を用いて、補間対象となる場所の範囲を示す補間範囲７２を算出する。つまり、補間範囲算出部１０４は、補間対象画像の撮影位置２６が含まれる場所の範囲を補間範囲として算出する。そして、補間範囲算出部１０４は、補間対象画像の撮影日時２５の経過時間が大きいほど場所の範囲が広くなるように前記補間範囲を算出する。さらに、補間範囲算出部１０４は、算出した補間範囲７２を補間画像候補取得部１０６へ通知する。具体的な補間範囲算出方法については後述する。
【００３４】
図７は、補間対象画像（清水寺）６０と補間対象画像（銀閣寺）６１とに基づいて算出される補間範囲７２の一例を示す図である。図７に示すように、補間範囲７２を矩形で算出する場合は、補間範囲算出部１０４は、矩形の対角点の緯度及び経度を範囲情報７０及び範囲情報７１として算出する。
【００３５】
類似ユーザ判定部１０５は、類似画像群検出部の一例であり、補間対象画像に類似する画像を含む類似画像群を検出する。すなわち、類似ユーザ判定部１０５は、画像データベース１０１を参照することにより、入力部１０３から受け取った画像ＩＤ２３が示す画像コンテンツ２０と類似する画像群を検出する。具体的には、類似ユーザ判定部１０５は、画像データベース１０１に登録されている自分と異なるユーザが、複数の補間対象画像と類似した画像群を有するユーザ（類似ユーザ）であるか否かを判定する。そして、類似ユーザ判定部１０５は、類似ユーザであると判定した場合、ユーザＩＤ２２を補間画像候補取得部１０６へ通知する。つまり、類似ユーザ判定部１０５は、複数の補間対象画像に類似する画像群（類似画像群）をユーザ毎に検出する。ここで、画像群とは、複数の画像コンテンツ２０の集合体を意味する。なお、具体的な類似判定方法については後述する。
【００３６】
補間画像候補取得部１０６は、補間範囲算出部１０４により算出された補間範囲７２と、類似ユーザ判定部１０５により取得された類似ユーザのユーザＩＤ２２と、を用いて、画像データベース１０１から、補間範囲７２に属する類似ユーザの画像コンテンツ２０を候補画像として取得する。そして、補間画像候補取得部１０６は、取得した候補画像を示す画像ＩＤ２３を撮像内容推定部１０７へ通知する。つまり、補間画像候補取得部１０６は、類似画像群の中から、補間範囲算出部１０４により算出される補間範囲７２に属する候補画像を取得する。具体的には、補間画像候補取得部１０６は、画像データベース１０１を参照することにより、候補画像として取得する。この候補画像は、撮影位置２６（緯度及び経度）が補間範囲７２内であり、かつ、ユーザＩＤ２２が類似ユーザのユーザＩＤ２２と合致する画像コンテンツ２０である。
【００３７】
図８は、補間画像候補取得部１０６により取得された候補画像の一例を示す図である。図８に示すように、補間画像候補取得部１０６は、撮影位置２６が補間範囲７２に属する画像コンテンツ２０の中から、類似ユーザが撮影した画像コンテンツ２０を取得する。この際、画像コンテンツ２０は複数のタグ２７を有するので、補間画像候補取得部１０６により取得された候補画像が同じ地点で撮られた画像コンテンツ２０であっても、タグ２７が全て一致するとは限らない。
【００３８】
撮像内容推定部１０７は、関連度データベース１０２に記憶される、補間画像候補取得部１０６により取得される候補画像と補間対象画像との関連度に基づき、補間対象画像の撮影位置間を補間する画像である補間画像の撮像内容を推定する。具体的には、撮像内容推定部１０７は、候補画像の被写体情報と補間対象画像の被写体情報との関連度を、関連度データベース１０２を参照することにより取得する。そして、撮像内容推定部１０７は、取得した関連度が予め定められた閾値より高い候補画像の被写体情報を、補間画像の撮像内容として推定する。そして、撮像内容推定部１０７は、推定した撮像内容及び候補画像の画像ＩＤ２３を補間画像取得部１０８へ通知する。なお、具体的な撮像内容推定方法に関しては後述する。
【００３９】
補間画像取得部１０８は、撮像内容推定部１０７により推定される撮像内容を用いて、補間画像候補取得部１０６により取得される候補画像の中から、補間画像を取得する。すなわち、補間画像取得部１０８は、撮像内容推定部１０７により推定される撮像内容と撮像内容が一致する候補画像を補間画像として取得する。具体的には、補間画像取得部１０８は、画像データベース１０１を参照することにより、補間画像を取得する。この補間画像は、候補画像の画像ＩＤ２３により特定される画像コンテンツ２０の内、撮像内容推定部１０７により推定された撮像内容がタグ２７に含まれる画像コンテンツ２０である。
【００４０】
なお、撮像内容が一致するとは、撮像内容を示す単語が厳密に一致する場合だけではなく、実質的に一致する場合も含む。例えば、補間画像取得部１０８は、実質的に同義の単語が登録された類義語辞書などを参照することにより、撮像内容推定部１０７により推定される撮像内容と同義であると判定された単語がタグ２７に設定された候補画像を補間画像として取得してもよい。
【００４１】
図９は、補間画像取得部１０８により取得された補間画像の一例を示す図である。図９では、撮像内容推定部１０７により「庭園」、「枯山水」及び「白川」が撮像内容として推定されている。そして、補間画像取得部１０８は、それらの推定された撮像内容のタグ２７を持つ、補間画像（庭園）９０、補間画像（枯山水）９１、及び補間画像（白川）９２をそれぞれ取得している。このように、補間画像取得部１０８は、補間対象画像（清水寺）６０と補間対象画像（銀閣寺）６１との撮影位置間を補間する補間画像として、補間対象画像と関連度が高い画像コンテンツ２０を取得する。
【００４２】
出力部１０９は、補間画像取得部１０８により取得された画像コンテンツ２０を出力媒体へ出力する。出力媒体は、例えば液晶ディスプレイ、テレビなどのモニタである。
【００４３】
次に、以上のように構成された画像検索装置１００の動作について説明する。
【００４４】
図１０は、画像検索装置１００が実行する全体的な処理の流れを示すフローチャートである。
【００４５】
まず、入力部１０３は、ユーザが撮影した画像コンテンツ２０の画像ＩＤ２３、及びそれらの画像ＩＤ２３の中からユーザが補間を行いたい複数の補間対象画像の画像ＩＤ２３を受け取る。そして、入力部１０３は、受け取った補間対象画像の画像ＩＤ２３を補間範囲算出部１０４及び類似ユーザ判定部１０５に通知する（ステップＳ１０１）。
【００４６】
次に、補間範囲算出部１０４は、入力部１０３から通知された補間対象画像の画像ＩＤ２３に対応する撮影位置２６及び撮影日時２５を、画像データベース１０１から取得する。そして、補間範囲算出部１０４は、取得した撮影位置２６及び撮影日時２５を用いて、補間対象となる場所の範囲を示す補間範囲を算出する。さらに、補間範囲算出部１０４は、算出した補間範囲を、補間画像候補取得部１０６へ通知する（ステップＳ１０２）。
【００４７】
具体的には、例えば補間範囲算出部１０４は、補間対象画像の撮影位置２６（緯度、経度）の重心を中心とし、かつ、補間対象画像の撮影日時２５から得られる経過時間に比例した距離を半径とする範囲を補間範囲として算出する。ここで、経過時間は、補間対象画像の撮影日時２５の差分である。なお、補間対象画像が３以上ある場合、経過時間は、補間対象画像の撮影日時２５の内、最も古い撮影日時２５と最も新しい撮影日時２５との差分とする。
【００４８】
また、補間範囲算出部１０４は、予め設定された複数の範囲の中から、補間対象画像の撮影位置２６（緯度、経度）が含まれる範囲を補間範囲として選択してもよい。この場合、補間範囲算出部１０４は、補間対象画像の経過時間に応じて、選択した範囲に隣接する範囲を補間範囲に加えてもよい。
【００４９】
また、補間対象画像の撮影日時２５から得られる経過時間が所定の閾値以上の場合は、補間範囲算出部１０４は、ユーザが補間範囲を指定できるようにするために、図５に示すような領域をユーザに提示してもよい。これにより、補間範囲算出部１０４は、補間範囲が大きくなりすぎること及び補間範囲の算出間違いを防ぐことができる。
【００５０】
次に、類似ユーザ判定部１０５は、画像データベース１０１を参照することにより、入力部１０３から通知された画像ＩＤ２３に対応する画像コンテンツ２０と、類似する画像群を有するユーザ（類似ユーザ）を検出する（ステップＳ１０３）。
【００５１】
図１１は、図１０に示す類似ユーザの判定に関わるステップ（ステップＳ１０３）の詳細な処理の流れを示すフローチャートである。以下、図１１を用いて、類似ユーザ判定部１０５による類似ユーザの判定処理について説明する。
【００５２】
まず初めに、類似ユーザ判定部１０５は、入力部１０３に入力された全ての補間対象画像（以下、画像群Ａ）を取得する（ステップＳ２０１）。
【００５３】
次に、類似ユーザ判定部１０５は、画像データベース１０１を参照することにより、ステップＳ２０１において取得された画像群Ａの撮影位置２６と一致する画像コンテンツ２０を持つユーザを取得する。そして、類似ユーザ判定部１０５は、取得したユーザが登録されたユーザリストを作成する（ステップＳ２０２）。ここで、撮影位置の一致とは、撮影位置間の距離が所定の閾値以下の場合をいう。具体的には、例えば、２枚の画像の撮影位置間の距離が１ｋｍ以下の場合、２枚の画像の撮影位置は一致する。ここで、距離は、緯度及び経度の差分として扱ってもよい。例えば、２枚の画像の撮影位置の緯度及び経度の差分が、それぞれ０．３度以内である場合、２枚の画像の撮影位置は一致するとしてもよい。
【００５４】
次に、類似ユーザ判定部１０５は、ステップＳ２０２において作成されたユーザリストから１人のユーザ（他人）を選択し、選択したユーザの画像コンテンツ２０（以下、画像群Ｂ）を取得する（ステップＳ２０３）。
【００５５】
次に、類似ユーザ判定部１０５は、ステップＳ２０１において取得された画像群Ａの画像コンテンツ２０と、当該画像と撮影位置２６が一致する画像群Ｂの画像コンテンツ２０との撮影時刻の差分（時刻差分値）の和を算出する（ステップＳ２０４）。ここで、時刻差分値とは、画像が撮影された時刻（時、分及び秒）の差分を意味する。つまり、時刻差分値は、画像が撮影された年月日を考慮すること無く算出される。
【００５６】
次に、類似ユーザ判定部１０５は、ステップＳ２０４において算出された時刻差分値の和が閾値以内であるか否かを判定する（ステップＳ２０５）。なお、閾値は、例えば３０分等と予め定められる。
【００５７】
ここで、時刻差分値の和が閾値以内である場合（ステップＳ２０５のＹｅｓ）、類似ユーザ判定部１０５は、ステップＳ２０３において選択されたユーザに対応するユーザＩＤを取得する。そして、類似ユーザ判定部１０５は、取得されたユーザＩＤを、類似ユーザとして類似ユーザリストに登録する（ステップＳ２０６）。一方、時刻差分値が閾値より大きい場合（ステップＳ２０５のＮｏ）、ステップＳ２０７の処理に進む。
【００５８】
次に、類似ユーザ判定部１０５は、ステップＳ２０２において取得されたユーザリストから全てのユーザが選択されたか否かを判定する（ステップＳ２０７）。ここで全てのユーザが選択されている場合は、図１０に示すステップＳ１０４の処理に進む。一方、全てのユーザが選択されていない場合は、類似ユーザ判定部１０５は、ステップＳ２０３〜Ｓ２０６までの処理を繰り返す。
【００５９】
以上、ステップＳ２０１〜Ｓ２０７の処理が実行されることにより、類似ユーザ判定部１０５は、補間対象画像の撮影日時及び撮影位置が一致する画像コンテンツ２０を含む画像群を類似画像群として取得することができる。つまり、補間対象画像が撮影された場所及び時間帯がほぼ一致する画像を撮影したユーザ（類似ユーザ）を取得することができる。すなわち、類似ユーザ判定部１０５は、ユーザ（本人）が補間したいと考えている被写体が撮影されている膨大な数の画像の中から、ユーザ（本人）と同じような撮影パタンを行ったユーザ（他人）の画像群のみを検出することができる。
【００６０】
なお、類似ユーザ判定部１０５が撮影時刻を用いて類似ユーザを判断することは、時刻と相関のあるユーザ（本人）の行動と類似した行動をしたユーザ（他人）を取得する場合に、高い効果を示す。例えば図６の補間対象画像（清水寺）６０の撮影時刻が午前１１時であり、かつ、補間対象画像（銀閣寺）６１の撮影時刻が１４時である場合、それぞれの補間対象画像が撮影された時刻はランチの時間帯を挟む。したがって、ユーザ（本人）は、補間対象画像（清水寺）６０を撮影した後、補間対象画像（銀閣寺）６１を撮影する前に、ランチを食べた可能性が高い。一方、類似ユーザ（他人）は、同時間帯の画像を有するので、ランチに関する画像を有する可能性が高い。つまり、類似ユーザ判定部１０５は、ユーザ（本人）が補間したい画像である可能性が高いランチに関する画像を多く取得することができる。
【００６１】
なお、ステップＳ２０４において、類似ユーザ判定部１０５は、ステップＳ２０１において取得された画像群Ａの画像と、当該画像と撮影位置２６が一致する画像群Ｂの画像と、の撮影年の差分を算出してもよい。これにより、年単位で撮像内容が大きく異なる被写体の画像をユーザが補間したい場合に、類似ユーザ判定部１０５は、ユーザが補間したい画像を効率的に取得することが可能になる。
【００６２】
また、ステップＳ２０４において、類似ユーザ判定部１０５は、ステップＳ２０１において取得された画像群Ａの画像と、当該画像と撮影位置２６が略一致する画像群Ｂの画像と、の撮影月の差分を算出してもよい。これにより、月単位で撮像内容が大きく異なる被写体の画像を補間したい場合に、類似ユーザ判定部１０５は、類似ユーザが補間したい画像を効率的に取得することが可能になる。
【００６３】
また、ステップＳ２０４において、類似ユーザ判定部１０５は、ステップＳ２０１において取得された画像群Ａの全ての画像と、ステップＳ２０３において選択された画像群Ｂの画像と、の撮影時刻の差分を算出してもよい。これにより、類似ユーザ判定部１０５は、同じ撮影位置をユーザ（本人）と異なる順序により撮影したユーザ（他人）の画像も取得することが可能となる。すなわち、撮影順序に影響の無い行動について、画像の補間をしたい場合であっても、類似ユーザ判定部１０５は、ユーザが補間したい画像を効率的に取得することが可能になる。
【００６４】
ここで、図１０の説明に戻る。
【００６５】
次に、類似ユーザ判定部１０５は、類似ユーザリストに類似ユーザが登録されているか否かを判定する（ステップＳ１０４）。ここで、類似ユーザが登録されていない場合（類似ユーザ無しの場合）（ステップＳ１０４のＮｏ）、ステップＳ１０８の処理に進む。
【００６６】
一方、類似ユーザが登録されている場合（類似ユーザ有りの場合）（ステップＳ１０４のＹｅｓ）、類似ユーザ判定部１０５は、類似ユーザとして登録されたユーザＩＤ２２を補間画像候補取得部１０６へ通知する。さらに、補間画像候補取得部１０６は、画像データベース１０１を参照することにより、画像コンテンツ２０（候補画像）を取得する。この画像コンテンツ２０は、撮影位置が補間範囲算出部１０４から受け取った補間範囲に属し、かつ、類似ユーザ判定部１０５から通知された類似ユーザのユーザＩＤとユーザＩＤが一致するコンテンツである。さらに、補間画像候補取得部１０６は、取得した候補画像の画像ＩＤ２３を撮像内容推定部１０７へ通知する（ステップＳ１０５）。
【００６７】
次に、撮像内容推定部１０７は、補間画像候補取得部１０６から通知された画像ＩＤ２３と、関連度データベース１０２とに基づいて、ユーザが着目した撮像内容を推定する。そして、撮像内容推定部１０７は、推定した撮像内容及び候補画像の画像ＩＤを補間画像取得部１０８へ通知する（ステップＳ１０６）。補間画像候補取得部１０６により取得された候補画像は、補間対象画像と撮影場所及び撮影時刻のパタンは類似しているが、撮像内容が類似しているとは限らない。そこで、撮像内容推定部１０７では、候補画像の中から、補間を行うユーザの撮像内容に近い画像を絞り込む処理を行う。
【００６８】
図１２は、図１０に示す撮像内容推定に関わるステップ（ステップＳ１０６）の詳細な処理の流れを示すフローチャートである。以下、図１２を用いて撮像内容推定部１０７による撮像内容の推定の処理について説明する。ここでは、「撮像内容」は画像コンテンツ２０に付けられたタグ２７と定義する。そして、撮像内容推定部１０７は、ユーザの撮像内容に近いタグ２７の推定を行う。
【００６９】
まず初めに、撮像内容推定部１０７は、入力部１０３に入力された補間対象画像に付属するタグ２７を、画像データベース１０１から取得する（ステップＳ３０１）。以下、ステップＳ３０１において取得されたタグをタグ群Ａと呼ぶ。
【００７０】
次に、撮像内容推定部１０７は、補間画像候補取得部１０６により取得された全ての候補画像のタグ２７を、画像データベース１０１から取得する（ステップＳ３０２）。
【００７１】
次に、撮像内容推定部１０７は、ステップＳ３０２において取得された候補画像のタグ２７から１つのタグ２７を選択する（ステップＳ３０３）。以下、ステップＳ３０３において選択されたタグ２７をタグＢと呼ぶ。
【００７２】
次に、撮像内容推定部１０７は、ステップＳ３０１において取得されたタグ群Ａに対するタグＢの関連度を算出する（ステップＳ３０４）。ここで、撮像内容推定部１０７は、タグ群Ａの撮影位置２６が属する領域の関連度データベース１０２を参照することにより、タグ群Ａに含まれるタグ２７に対するタグＢの関連度をそれぞれ取得する。そして、撮像内容推定部１０７は、取得した関連度を総加算することにより、タグ群Ａに対するタグＢの関連度を算出する。
【００７３】
図１３は、候補画像のタグ（「平安神宮」、「鳥居」及び「庭園」（各タグＢ））と、補間対象画像１３１のタグ２７である補間対象画像タグ１３２（「銀閣寺」、「庭園」及び「枯山水」（タグ群Ａ））との関連度が記憶された関連度データベース１０２の一例を示す図である。図１３において、「平安神宮」の関連度は、「銀閣寺」、「庭園」、「枯山水」等との関連度（破線領域１３０）を加算することにより、算出することができる。図１３に示す例では、「平安神宮」の関連度は、０．０＋０．３＋０．１＝０．４となる。同様に「鳥居」の関連度は０．５、「庭園」の関連度は２．５となる。
【００７４】
次に、撮像内容推定部１０７は、ステップＳ３０４において算出された関連度をタグＢとともに、タグ−関連度リストに格納する（ステップＳ３０５）。
【００７５】
次に、撮像内容推定部１０７は、ステップＳ３０２において取得された候補画像のタグ２７の全てのタグ２７が選択されたか否かを判定する（ステップＳ３０６）。
【００７６】
ここで、全てのタグ２７が選択されている場合（ステップＳ３０６のＹｅｓ）、撮像内容推定部１０７は、タグ−関連度リストの中から関連度が上位のタグを、ユーザが補間したい撮像内容として推定する（ステップＳ３０７）。例えば、図１３に示す例では、撮像内容推定部１０７は、関連度が閾値「１」より大きいタグ「庭園」を、ユーザが補間したい撮像内容として推定する。
【００７７】
一方、全てのタグが選択されていない場合（ステップＳ３０６のＮｏ）、撮像内容推定部１０７は、ステップＳ３０３〜Ｓ３０６の処理を繰り返す。
【００７８】
以上、ステップＳ３０１〜Ｓ３０７の処理が実行されることにより、撮像内容推定部１０７は、補間画像候補取得部１０６により取得された候補画像の中から、ユーザの撮影内容と関連の高いタグ２７を補間画像の撮像内容として抽出することができる。
【００７９】
ここで、図１０の説明に戻る。
【００８０】
次に、補間画像取得部１０８は、撮像内容推定部１０７から通知された撮像内容及び候補画像の画像ＩＤ２３から、撮像内容に該当する候補画像を補間画像として取得し、出力部１０９に通知する（ステップＳ１０７）。
【００８１】
最後に、出力部１０９は、補間画像取得部１０８により取得された補間画像を出力媒体へ出力する（ステップＳ１０８）。
【００８２】
図１４及び図１５は、出力部１０９により出力媒体へ出力された画面の一例を示す図である。図１４に示すように、出力部１０９は、補間画像を地図上などに一覧表示してもよい。また、図１５に示すように、出力部１０９は、補間画像を撮影位置の近い順にスライドショー形式で表示してもよい。
【００８３】
以上、ステップＳ１０１〜Ｓ１０８の処理が実行されることにより、画像検索装置１００は、補間画像の撮像内容を推定することができるため、大量に格納された画像の中から、自分と類似した撮影を行うユーザの画像を補間画像として取得することができる。
【００８４】
なお、画像データベース１０１は、ユーザが自ら撮影した画像だけを格納してもよい。この場合、ユーザは、同じ地域で撮影した画像であれば、自分が撮影した画像だけを用いて簡単に思い出のアルバムを作成することができる。
【００８５】
（実施の形態２）
次に、本発明の実施の形態２に係る画像検索装置２００について説明する。
【００８６】
本実施の形態の画像検索装置２００は、ユーザの旅行中の行動に関する情報である行動情報を撮像内容として推定する点に特徴を有する。ここで行動情報とは、具体的には、「食べる」、「遊ぶ」、「見る」、「泊まる」など、旅行中のユーザの行動を表す単語（キーワード）である。また、行動情報は、例えば、コンテンツ付属情報２１のタグ２７の一部である行動タグに設定される。
【００８７】
上述の実施の形態１の画像検索装置１００は、ユーザが旅行中に訪れた場所、建物等の名称等である被写体情報を用いて撮像内容を推定することにより、類似ユーザが撮影した画像の中から補間画像を選択した。しかし、画像検索装置１００は、被写体情報を撮像内容として推定するため、補間画像を取得する際にユーザの行動情報を特定することはできない。例えば「南禅寺」という被写体情報が推定された場合、ユーザが南禅寺で食事をしたときの画像なのか、観光したときの画像なのか、又は宿泊したときの画像なのかを分別することはできない。ユーザの撮影した画像から、補間画像の行動情報を推定できれば、画像検索装置は、類似ユーザが撮影した画像の中からユーザの旅行中の行動に沿った補間画像を選択することができる。その結果、画像検索装置はユーザが補間したい画像を効率よくユーザに提示することができるので、ユーザの利便性が向上する。
【００８８】
そこで本実施の形態における画像検索装置２００は、ユーザが撮影した画像の行動タグ、撮影時刻及び撮影位置を用いて、補間画像の行動情報を撮像内容として推定する。
【００８９】
以下、初めに図１６を参照しながら、画像検索装置２００の各構成要素について順に説明する。
【００９０】
図１６は、本発明の実施の形態２に係る画像検索装置２００の特徴的な機能構成を示すブロック図である。図１６において、図１に示す画像検索装置１００と同じ機能を備える構成要素については同じ符号を付し、説明を省略する。図１６に示す画像検索装置２００が図１に示す画像検索装置１００と相違する点の一つ目は、関連度データベース２０１が、領域毎に撮影時間帯と補間対象画像の行動情報との関連度を記憶している点である。また、相違する点の二つ目は、撮像内容推定部２０２が、候補画像の中から補間画像の行動情報を撮像内容として推定する点である。
【００９１】
図１７は、関連度データベース２０１の一例を示す図である。関連度データベース２０１は、領域毎に、当該領域に属する画像コンテンツ２０の行動タグと撮影時間帯との関連度を記憶している。
【００９２】
ユーザは、例えば画像データベース１０１に画像コンテンツ２０をアップロードする際に、「食べる」、「見る」、「遊ぶ」、「泊まる」など、予め設定された行動情報を行動タグに設定する。そして、関連度は、このように設定された行動タグの出現頻度を撮影時間帯毎に正規化することにより算出される。図１７の例では、領域「エリア１」において、撮影時間帯「９：００−１１：００」と行動情報「見る」とに対応する関連度は、「０．８」である。この「０．８」という値は、撮影位置がエリア１に属し、かつ、撮影時刻が９時から１１時までの間である画像コンテンツ２０が１０００枚ある場合、その１０００枚の画像コンテンツ２０の内「見る」という行動情報が行動タグに設定された画像コンテンツ２０が８００枚あることを示す。また、関連度データベース２０１は、一般的な連想辞書を用い、予めユーザが設定したタグ２７と行動情報との関連度を別テーブルとして保持しておいてもよい。そして、関連度データベース２０１は、画像コンテンツ２０に付属したタグ２７と行動タグとの関連度の平均値を記憶していてもよい。
【００９３】
撮像内容推定部２０２は、補間画像候補取得部１０６により取得された候補画像の行動タグから、補間画像の行動情報を撮像内容として推定する。具体的な撮像内容の推定方法は後述する。
【００９４】
次に、図１８のフローチャートを参照しながら、図１６に示される画像検索装置２００において行われる全体的な処理の流れを説明する。
【００９５】
図１８は、画像検索装置２００が実行する全体的な処理の流れを示すフローチャートである。なお、図１８において、図１０に示される、実施の形態１の画像検索装置１００の処理と同じ処理が実行されるステップについては同じ符号を付し、説明を省略する。
【００９６】
本実施の形態の画像検索装置２００では、行動情報に関する関連度が記憶された関連度データベース２０１を用いて撮像内容を推定する処理が、実施の形態１の画像検索装置１００における処理と異なっている。しかし、その他の処理は実施の形態１の画像検索装置１００の処理と同じである。具体的には、図１８において、画像検索装置３００が実行する、ステップＳ１０１〜Ｓ１０５、及びステップＳ１０７〜Ｓ１０８の処理は、図１０に示す実施の形態１の画像検索装置１００の処理と同じため、説明を省略する。
【００９７】
撮像内容推定部２０２は、入力部１０３から通知された、ユーザが撮影した画像コンテンツ２０の画像ＩＤ２３と、関連度データベース２０１を用いて、ユーザが撮影した画像コンテンツ２０と関連の高い行動情報を撮像内容として推定する（ステップＳ４０１）。
【００９８】
図１９は、図１８に示す撮像内容の推定に関わるステップ（ステップＳ４０１）の詳細な処理の流れを示すフローチャートである。以下、図１９を用いて、ステップＳ４０１において撮像内容推定部２０２が実行する処理の詳細を説明する。
【００９９】
まず初めに、撮像内容推定部２０２は、入力部１０３から通知された、ユーザが撮影した画像コンテンツ２０の画像ＩＤ２３を取得する（ステップＳ５０１）。
【０１００】
次に、撮像内容推定部２０２は、ステップＳ５０１において取得された画像ＩＤ２３から、画像データベース１０１を参照することにより、行動タグを取得する。そして、撮像内容推定部２０２は、取得した行動タグから、ユーザの行動嗜好ベクトルを算出する（ステップＳ５０２）。ここで行動嗜好ベクトルとは、各行動情報に対するユーザの嗜好を値として表したベクトルである。具体的な行動嗜好ベクトルの算出方法を、図２０及び図２１を用いて説明する。
【０１０１】
図２０は、実施の形態１と同じく、ユーザが京都で撮影した画像コンテンツ２０の一例を示す図である。図２０に示すように、各画像コンテンツ２０には撮影時刻タグ２７及び行動タグが付与されている。具体的には、例えば、補間対象画像（清水寺）６０には、行動タグに「見る」、タグ２７に「清水寺」及び「舞台」、並びに撮影時刻に「１１：００」が予め設定されている。
【０１０２】
行動嗜好ベクトルは、行動タグに設定される行動情報の種別数の次元を持つベクトルである。また、行動嗜好ベクトルの行動情報の種別毎のベクトル値は、各撮影画像の撮影位置及び撮影時刻に対応する、関連度データベース２０１の関連度の逆数を、加算平均することにより算出される。また、ベクトル値の初期値は１として、ベクトル値が算出される。
【０１０３】
図２１は、撮影画像１００１が撮影された領域の関連度データベース２０１の一部を示す図である。図２１を用いて撮影画像１００１に対するベクトル値を算出する一例を示す。図２１に示すように、図２０に示された撮影画像１００１が撮影された撮影位置及び撮影時刻に対応する関連度は「０．８」である。よって、関連度の逆数は、１÷０．８＝１．２５となる。よって、この時点での行動嗜好ベクトルは、（食べる，見る，遊ぶ，泊まる）＝（１，１．２５，１，１）となる。この処理を、図２０に示された撮影画像全てに対して行うことにより、ユーザの行動嗜好性を示す行動嗜好ベクトルが算出される。
【０１０４】
ここで、図１９の説明に戻る。
【０１０５】
次に、撮像内容推定部２０２は、ステップＳ５０２において算出された行動嗜好ベクトルに、補間対象画像に対応する関連度を加算する（ステップＳ５０３）。
【０１０６】
次に、撮像内容推定部２０２は、ステップＳ５０３において算出された行動嗜好ベクトルの中から、ベクトル値が閾値以上の行動情報を撮像内容として推定する（ステップＳ５０４）。ここで、閾値は、予め設計者が所定値を設定すればよい。また、例えば、撮像内容推定部２０２は、上位２つの行動情報を撮像内容として推定してもよい。
【０１０７】
以上、ステップＳ５０１〜Ｓ５０４の処理が実行されることにより、補間画像候補取得部１０６により取得された候補画像の中から、ユーザの撮影時の行動と関連の高い行動情報だけを撮像内容として推定することができる。
【０１０８】
以上、ステップＳ１０１〜Ｓ１０５、ステップＳ４０１、及びステップＳ１０７〜Ｓ１０８の処理が実行されることにより、ユーザは補間画像を行動情報単位で取得することができる。そのため、画像検索装置２００は、ユーザの行動に沿わない画像の提示を減らすことができるので、ユーザの操作の利便性を向上させることができる。
【０１０９】
（実施の形態３）
次に、本発明の実施の形態３に係る画像検索装置３００について説明する。
【０１１０】
本実施の形態の画像検索装置３００は、ユーザが嗜好する撮影条件に合致する画像となるように補間画像を修正する点に特徴を有する。ここで、撮影条件とは、色情報（ＲＧＢ比率）、絞り、被写体距離、解像度、Ｆ値、シャッタースピードなどのＥｘｉｆ情報を示す。
【０１１１】
上述の実施の形態１及び２の画像検索装置１００及び２００では、出力部１０９は、画像データベース１０１に蓄積された画像コンテンツ２０を修正すること無く、補間画像として出力していた。しかし、画像検索装置が、補間対象画像の撮影条件と異なる撮影条件により撮影された画像コンテンツ２０を補間画像として出力した場合、補間対象画像と補間画像との統一感が損なわれる可能性がある。
【０１１２】
そこで本実施の形態における画像検索装置３００は、入力部１０３に入力された画像の撮影条件に基づいて補間画像を修正する。
【０１１３】
以下、初めに図２２を参照しながら、画像検索装置３００の各構成要素について順に説明する。
【０１１４】
図２２は、本発明の実施の形態３に係る画像検索装置３００の特徴的な機能構成を示すブロック図である。図２２において、図１に示す画像検索装置１００と同じ機能を備える構成要素については同じ符号を付し、説明を省略する。図２２に示す画像検索装置３００は、入力部１０３に入力された画像の撮影条件に基づき補間画像を修正する補間画像修正部３０１を備える点が、図１に示す画像検索装置１００と相違する。
【０１１５】
補間画像修正部３０１は、入力部１０３から通知された画像ＩＤ２３に対応するコンテンツ付属情報２１を用いて、ユーザが嗜好する撮影条件を算出する。さらに、補間画像修正部３０１は、算出した撮影条件に基づいて補間画像を修正する。つまり、補間画像修正部３０１は、撮影条件決定部の一例であり、入力部１０３に入力された補間対象画像の撮影条件に基づき、前記補間画像を修正するための撮影条件を決定する。また、補間画像修正部３０１は、決定した撮影条件を用いて撮影された画像となるように、補間画像取得部１０８により取得される補間画像を修正する。具体的な補間画像の修正方法は後述する。
【０１１６】
次に、図２３のフローチャートを参照しながら、図２２に示される画像検索装置３００において行われる全体的な処理の流れを説明する。
【０１１７】
図２３は、画像検索装置３００が実行する全体的な処理の流れを示すフローチャートである。なお、図２３において、図１０に示される、実施の形態１の画像検索装置１００の処理と同じ処理が実行されるステップについては同じ符号を付し、説明を省略する。
【０１１８】
本実施の形態の画像検索装置３００では、入力部１０３に入力された画像の撮影条件に基づき補間画像を修正する処理が、実施の形態１の画像検索装置１００の処理と異なっている。しかし、その他の処理は実施の形態１の画像検索装置１００の処理と同じである。具体的には、図２３において、画像検索装置３００が実行するステップＳ１０１〜Ｓ１０８の処理は、図１０に示す実施の形態１の画像検索装置１００の処理と同じため、説明を省略する。
【０１１９】
補間画像修正部３０１は、入力部１０３に入力された画像コンテンツ２０の撮影条件に基づいて補間画像を修正する（ステップＳ６０１）。
【０１２０】
図２４は、図２３に示す補間画像の修正に関わるステップ（ステップＳ６０１）の詳細な処理の流れを示すフローチャートである。以下、図２４を用いて、ステップＳ６０１において補間画像修正部３０１が実行する処理の詳細を説明する。
【０１２１】
まず初めに、補間画像修正部３０１は、画像データベース１０１を参照することにより、入力部１０３に入力された画像ＩＤ２３に対応する、コンテンツ付属情報２１に含まれる撮影条件を取得する（ステップＳ７０１）。
【０１２２】
次に、補間画像修正部３０１は、ステップＳ７０１において取得された撮影条件から、ユーザが嗜好する撮影条件を算出する（ステップＳ７０２）。具体的には、補間画像修正部３０１は、各撮像条件の平均値を求める。
【０１２３】
次に、補間画像修正部３０１は、補間画像取得部１０８により取得された補間画像の中から１枚の補間画像を選択する（ステップＳ７０３）。
【０１２４】
次に、補間画像修正部３０１は、ステップＳ７０３において選択された補間画像の修正を行う（ステップＳ７０４）。具体的には、補間画像修正部３０１は、ステップＳ７０３において選択された補間画像の画素値を、ステップＳ７０２において算出された撮影条件の画素値に変換する。例えば、補間画像修正部３０１は、補間画像のＲＧＢ値が、入力部１０３に入力された画像コンテンツ２０のＲＧＢ比率の平均値となるように補間画像を修正する。また、例えば、補間画像修正部３０１は、補間画像の解像度が、入力部１０３に入力された画像コンテンツ２０の解像度の平均値となるように補間画像を修正する。これにより、図２５に示すように、画像検索装置３００は、ユーザが撮影したときの撮影条件に合った補間画像を出力することが可能になる。
【０１２５】
次に、補間画像修正部３０１は、補間画像取得部１０８により取得された補間画像が全て選択されたか否かを判定する（ステップＳ７０５）。ここで、全て選択されていない場合は（ステップＳ７０５のＮｏ）、補間画像取得部１０８はステップＳ７０３及びステップＳ７０４の処理を繰り返す。一方、全て選択された場合は（ステップＳ７０５のＹｅｓ）、ステップＳ１０８の処理へ進む。
【０１２６】
以上、ステップＳ７０１〜Ｓ７０５の処理が実行されることにより、補間画像修正部３０１は、補間画像取得部１０８により取得された補間画像をユーザの撮影した画像の撮影条件に合わせて修正することができる。
【０１２７】
以上、ステップＳ１０１〜Ｓ１０８及びステップＳ６０１の処理が実行されることにより、画像検索装置３００は、補間対象画像と同様の撮影条件により撮影された画像を補間画像として出力することができる。そのため、ユーザは、全体として統一感のあるアルバム（画像群）を作成することができる。
【０１２８】
（実施の形態４）
次に、本発明の実施の形態４に係る画像検索装置４００について説明する。
【０１２９】
本実施の形態の画像検索装置４００は、補間画像の中から、同一の被写体に対して互いに異なる画角の画像を取得する点に特徴を有する。
【０１３０】
上述の実施の形態１及び２の画像検索装置１００及び２００では、タグを用いて補間画像が取得されるため、同じ画角の画像が複数枚提示される可能性がある。
【０１３１】
そこで本実施の形態における画像検索装置４００は、ユーザが撮影した画像コンテンツ２０のコンテンツ付属情報２１から被写体の画角を算出する。そして、画像検索装置４００は、算出した画角と異なる画角の補間画像だけを選択する。
【０１３２】
以下、初めに図２６を参照しながら、画像検索装置３００の各構成要素について順に説明する。
【０１３３】
図２６は、本発明の実施の形態４に係る画像検索装置４００の特徴的な機能構成を示すブロック図である。図２６において、図１に示す画像検索装置１００と同じ機能を備える構成要素については同じ符号を付し、説明を省略する。図２６に示す画像検索装置４００は、補間画像の中から、同一の被写体に対して互いに異なる画角の補間画像を取得する異画角画像取得部４０１を備える点が、図１に示す画像検索装置１００と相違する。
【０１３４】
異画角画像取得部４０１は、補間画像取得部１０８により取得された補間画像において、同一の被写体が撮影された同一被写体画像が複数ある場合、同一被写体画像の中から少なくとも互いに画角が異なる補間画像を取得する。具体的な補間画像の取得方法は後述する。
【０１３５】
次に、図２７のフローチャートを参照しながら、図２６に示される画像検索装置４００において行われる全体的な処理の流れを説明する。
【０１３６】
図２７は、画像検索装置４００が実行する全体的な処理の流れを示すフローチャートである。なお、図２７において、図１０に示される、実施の形態１の画像検索装置１００の処理と同じ処理が実行されるステップについては同じ符号を付し、説明を省略する。
【０１３７】
本実施の形態の画像検索装置４００では、補間画像取得部１０８により取得された補間画像から、同一被写体に対して画角が異なる補間画像を取得する処理が実施の形態１の画像検索装置１００の処理と異なっている。しかし、その他の処理は実施の形態１の画像検索装置１００の処理と同じである。具体的には、図２７において、画像検索装置４００が実行するステップＳ１０１〜Ｓ１０８の処理は、図１０に示す実施の形態１の画像検索装置１００の処理と同じため、説明を省略する。
【０１３８】
異画角画像取得部４０１は、補間画像取得部１０８により取得された補間画像において、同一被写体画像が複数ある場合、同一被写体画像の中から少なくとも互いに画角が異なる補間画像を取得する（ステップＳ８０１）。
【０１３９】
図２８は、図２７に示す異画角画像の取得に関わるステップ（ステップＳ８０１）の詳細な処理の流れを示すフローチャートである。以下、図２８を用いて、ステップＳ８０１において異画角画像取得部４０１が実行する処理の詳細を説明する。
【０１４０】
まず初めに、異画角画像取得部４０１は、補間画像取得部１０８により取得された補間画像の中から１枚の補間画像を選択する（ステップＳ９０１）。以下、ステップＳ９０１において選択された画像を選択画像と呼ぶ。
【０１４１】
次に、異画角画像取得部４０１は、選択画像の画角情報を抽出する（ステップＳ９０２）。画角情報とは、被写体距離、撮影位置などの画像の画角に関連する画像パラメータを示す。
【０１４２】
次に、異画角画像取得部４０１は、選択画像に付属するタグ２７を取得する（ステップＳ９０３）。
【０１４３】
次に、異画角画像取得部４０１は、ステップＳ９０３において取得されたタグ２７を用いて、補間画像取得部１０８により取得された補間画像の中からタグが類似する類似画像を取得する。具体的には、例えば、異画角画像取得部４０１は、ステップＳ９０３において取得されたタグ２７の内、補間画像において最も出現頻度の低いタグ２７と、タグ２７が一致する補間画像を類似画像として選択する。ここで取得された類似画像と選択画像とは、タグ２７が同一であることから、被写体が同一である画像として扱うことができる。
【０１４４】
次に、異画角画像取得部４０１は、類似画像の中から、画角の異なる画像（異画角画像）を選択する（ステップＳ９０５）。画角の算出は、撮影位置２６又は被写体距離２８を用いて行う。前述のとおり、選択画像と類似画像とは、被写体が同一である。よって、選択画像と類似画像との撮影位置２６が異なる場合は、選択画像と類似画像とは、異なる画角の同一被写体画像になる。撮影位置２６が異なるか否かは、選択画像及び類似画像のそれぞれの撮影位置間の距離が閾値を超えるか否かにより判定すればよい。ここで、閾値は設計者が予め決めておけばよい。また、撮影位置２６と同様に、被写体距離２８が異なる場合は、選択画像と類似画像とは異なる画角の画像となる。被写体距離２８が異なるか否かは、選択画像及び類似画像の被写体距離２８の差分値が閾値を超えるか否かにより判定すればよい。
【０１４５】
次に、異画角画像取得部４０１は、補間画像取得部１０８により取得された補間画像を全て選択したか否かを判定する（ステップＳ９０６）。ここで、全て選択されていない場合は（ステップＳ９０６のＮｏ）、異画角画像取得部４０１は、ステップＳ９０１〜Ｓ９０５の処理を繰り返す。一方、全て選択された場合は（ステップＳ９０６のＹｅｓ）、ステップＳ１０８の処理へ進む。
【０１４６】
以上、ステップＳ９０１〜Ｓ９０６の処理が実行されることにより、異画角画像取得部４０１は、補間画像取得部１０８により取得された補間画像の中から、図２９に示すように、同一被写体に対して画角の異なる画像だけを取得することができる。
【０１４７】
以上、ステップＳ１０１〜Ｓ１０８、及びステップＳ８０１の処理が実行されることにより、画像検索装置４００は、同一被写体に対して画角が異なる画像を出力することが可能となる。そのため、ユーザは、同じような画像をアルバムに追加することを防ぐことができる。
【０１４８】
以上、本発明に係る画像検索装置について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、異なる実施の形態における構成要素を組み合わせて構築される形態なども、本発明の範囲内に含まれる。
【０１４９】
なお、本発明は、このような画像検索装置の特徴的な構成要素が行う処理を実行する画像検索方法として実現したり、その方法をコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等の記録媒体、インターネット等の伝送媒体を介して配信することができる。
【０１５０】
また、上記実施の形態に係る画像検索装置１００、２００、３００及び４００は、典型的には、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、及びＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、通信インタフェース等を備えるコンピュータによって実現される。このようなコンピュータにおいて、ＣＰＵは、ＲＡＭを作業領域として使用しながら、画像検索装置の特徴的な構成要素が行う処理を実行するためのプログラムを実行する。その結果、コンピュータは、画像検索装置が備える各構成要素が行う処理を実行することができる。なお、ＣＰＵによって実行されるプログラムは、ＣＤ−ＲＯＭ装置又は通信インタフェース等を介して読み取られたプログラム、又はＲＯＭに格納されたプログラムであればよい。
【０１５１】
上述した本発明は、大量に格納された画像コンテンツの中からユーザが補間したい画像を比較的容易に出力することができる画像検索装置等として利用できる。
【０１５２】
例えば、Ｗｅｂ上等で画像データが大量に記憶されたデータベースからユーザが補間したい画像を検索して思い出アルバムを自動的に作成する装置として、利用できる。
【０１５３】
また、従来の方法では、全ての観光地の写真撮影スポットにタグリーダが設置されなくてはならないため、比較的大きなインフラコストが必要になるという課題がある。例えば京都、沖縄などのように、撮影する地点が複数存在する観光地の場合は、その地点毎にタグリーダを設置するコストが必要となる。また、設置された複数のタグリーダをメンテナンスするコストも必要となる。
【０１５４】
これに対して、上記実施の形態に記載の本発明では、特別なインフラを用意すること無いという効果も奏する。
【産業上の利用可能性】
【０１５５】
本発明は、大量に格納された画像コンテンツの中からユーザが撮影した画像コンテンツの撮影位置間を補間するための画像コンテンツを出力する画像検索装置として、利用可能である。
【符号の説明】
【０１５６】
２０  画像コンテンツ
２１  コンテンツ付属情報
２２  ユーザＩＤ
２３  画像ＩＤ
２４  画像アドレス
２５  撮影日時
２６  撮影位置
２７  タグ
２８  被写体距離
５０  大領域
５１  中領域
５２  小領域
６０  補間対象画像（清水寺）
６１  補間対象画像（銀閣寺）
７０、７１  範囲情報
７２  補間範囲
９０  補間画像（庭園）
９１  補間画像（枯山水）
９２  補間画像（白川）
１００、２００、３００、４００  画像検索装置
１０１  画像データベース
１０２、２０１  関連度データベース
１０３  入力部
１０４  補間範囲算出部
１０５  類似ユーザ判定部
１０６  補間画像候補取得部
１０７、２０２  撮像内容推定部
１０８  補間画像取得部
１０９  出力部
１３０  破線領域
１３１  補間対象画像
１３２  補間対象画像タグ
３０１  補間画像修正部
４０１  異画角画像取得部
１００１  撮影画像
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の画像の中から検索した画像を出力する画像検索装置であって、
画像間の関連度合いを示す関連度を記憶している関連度データベースと、
第一情報を含む第一画像と第二情報を含む第二画像とが入力される入力部と、
前記第一情報から得られる前記第一画像の第一撮影位置と、前記第二情報から得られる前記第二画像の第二撮影位置と、が含まれる場所の範囲を補間範囲として算出する補間範囲算出部と、
前記関連度データベースに記憶された関連度であって、前記複数の画像のうち前記補間範囲算出部により算出された補間範囲に属する画像と前記第一画像との関連度と、前記複数の画像のうち前記補間範囲算出部により算出された補間範囲に属する画像と前記第二画像との関連度と、に基づき、前記第一撮影位置と前記第二撮影位置との間を補間する画像である補間画像の撮像内容を推定する撮像内容推定部と、
前記撮像内容推定部により推定された撮像内容を用いて、前記複数の画像の中から前記補間画像を取得する補間画像取得部と、
前記補間画像取得部により取得された補間画像を出力する出力部と、を備える、
画像検索装置。
【請求項２】
さらに、
前記複数の画像の中から、前記第一画像に類似する画像と前記第二画像に類似する画像とを含む類似画像群を検出する類似画像群検出部と、
前記類似画像群検出部により検出された類似画像群の中から、撮影位置が前記補間範囲算出部により算出された補間範囲に属する画像である候補画像を取得する補間画像候補取得部と、を備え、
前記撮像内容推定部は、前記補間画像候補取得部により取得された候補画像と前記第一画像との関連度と、前記補間画像候補取得部により取得された候補画像と前記第二画像との関連度と、に基づき、前記補間画像の撮像内容を推定し、
前記補間画像取得部は、前記補間画像候補取得部により取得された候補画像の中から、前記補間画像を取得する、
請求項１に記載の画像検索装置。
【請求項３】
前記関連度データベースに記憶される前記関連度は、被写体に関する単語を示す被写体情報間の関連度であり、
前記撮像内容推定部で推定される前記補間画像の撮像内容は、前記関連度データベースに記憶された、前記候補画像から得られる被写体情報と、前記第一情報及び前記第二情報のそれぞれから得られる被写体情報と、の関連度が、所定関連度以上となる前記候補画像の被写体情報であり、
前記補間画像取得部は、前記撮像内容推定部により推定された撮像内容と一致する撮像内容を有する前記候補画像を前記補間画像として取得する、
請求項２に記載の画像検索装置。
【請求項４】
前記補間範囲算出部で算出される前記補間範囲は、前記第一情報から得られる前記第一画像の撮影日時と、前記第二情報から得られる前記第二画像の撮影日時と、の差分時間が大きいほど場所の範囲が広くなる、
請求項１〜３のいずれか１項に記載の画像検索装置。
【請求項５】
前記類似画像群検出部は、
前記第一撮影位置に対して所定距離以内の撮影位置において撮影される画像であって、前記第一情報から得られる前記第一画像の撮影時刻に対して所定時間以内の時刻に撮影された画像と、
前記第二撮影位置に対して所定距離以内の撮影位置において撮影される画像であって、前記第二情報から得られる前記第二画像の撮影時刻に対して所定時間以内の時刻に撮影された画像と、を含む画像群を前記類似画像群として検出する、
請求項２〜４のいずれか１項に記載の画像検索装置。
【請求項６】
前記類似画像群検出部は、前記第一情報から得られる前記第一画像の撮影時刻に対する時刻の差分値と、前記第二情報から得られる前記第二画像の撮影時刻に対する時刻の差分値と、の和が所定値以内の撮影時刻に撮影された画像であって、前記第一撮影位置及び前記第二撮影位置に対して所定距離以内の撮影位置において撮影された画像を含む画像群を類似画像群として検出する、
請求項２〜４のいずれか１項に記載の画像検索装置。
【請求項７】
前記類似画像群検出部は、
前記第一撮影位置に対して所定距離以内の撮影位置において撮影された画像であって、前記第一情報から得られる前記第一画像の撮影年に対して所定年以内の年に撮影された画像と、
前記第二撮影位置に対して所定距離以内の撮影位置において撮影された画像であって、前記第二情報から得られる前記第二画像の撮影年に対して所定年以内の年に撮影された画像と、を含む画像群を前記類似画像群として検出する、
請求項２〜４のいずれか１項に記載の画像検索装置。
【請求項８】
前記類似画像群検出部は、
前記第一撮影位置に対して所定距離以内の撮影位置において撮影された画像であって、前記第一情報から得られる前記第一画像の撮影月に対して所定月以内の月に撮影された画像と、
前記第二撮影位置に対して所定距離以内の撮影位置において撮影された画像であって、前記第二情報から得られる前記第二画像の撮影月に対して所定月以内の月に撮影された画像と、を含む画像群を前記類似画像群として検出する、
請求項２〜４のいずれか１項に記載の画像検索装置。
【請求項９】
さらに、
前記第一情報から得られる前記第一画像の撮影条件と前記第二情報から得られる前記第二画像の撮影条件とに基づき、前記補間画像取得部により取得される補間画像を修正する補間画像修正部と、を備え、
前記出力部は、前記補間画像修正部により修正された補間画像を出力する、
請求項１〜８のいずれか１項に記載の画像検索装置。
【請求項１０】
さらに、
前記補間画像取得部により取得された補間画像において、同一の被写体が撮影された同一被写体画像が複数ある場合、前記同一被写体画像の中から少なくとも互いに画角の異なる画像を前記補間画像として取得する異画角画像取得部を備え、
前記出力部は、前記異画角画像取得部により取得された補間画像を出力する、
請求項１〜９のいずれか１項に記載の画像検索装置。
【請求項１１】
前記関連度データベースは、所定範囲の場所を示す領域毎に前記関連度を記憶しており、
前記撮像内容推定部は、前記第一撮影位置が含まれる前記領域に対応する、前記候補画像と前記第一画像との関連度と、前記第二撮影位置が含まれる前記領域に対応する、前記候補画像と前記第二画像との関連度と、に基づき前記補間画像の撮像内容を推定する、
請求項２〜１０のいずれか１項に記載の画像検索装置。
【請求項１２】
前記関連度データベースは、画像が撮影された際の撮影者の行動を示す単語である行動情報と撮影時刻及び撮影位置との前記関連度を記憶しており、
前記撮像内容推定部は、前記関連度データベースに記憶された、前記第一情報から得られる前記第一画像の行動情報、撮影時刻及び撮影位置に対応する関連度と、前記第二画像の行動情報、撮影時刻及び撮影位置に対応する関連度と、から算出される前記補間範囲に属する画像の行動情報毎の関連度合いを示す値が所定閾値以上の場合に、前記行動情報を前記撮像内容として推定し、
前記補間画像取得部は、前記撮像内容推定部により推定された撮像内容と撮像内容が一致する前記候補画像を前記補間画像として取得する、
請求項２に記載の画像検索装置。
【請求項１３】
コンピュータが、複数の画像の中から検索した画像を出力する画像検索方法であって、
第一情報を含む第一画像と第二情報を含む第二画像とが入力される入力ステップと、
前記第一情報から得られる前記第一画像の第一撮影位置と、前記第二情報から得られる前記第二画像の第二撮影位置と、が含まれる場所の範囲を補間範囲として算出する補間範囲算出ステップと、
関連度データベースに記憶された、画像間の関連度合いを示す関連度であって、前記複数の画像のうち前記補間範囲算出ステップにおいて算出された補間範囲に属する画像と前記第一画像との関連度と、前記複数の画像のうち前記補間範囲算出ステップにおいて算出された補間範囲に属する画像と前記第二画像との関連度と、に基づき、前記第一撮影位置と前記第二撮影位置との間を補間する画像である補間画像の撮像内容を推定する撮像内容推定ステップと、
前記撮像内容推定ステップにおいて推定された撮像内容を用いて、前記複数の画像の中から前記補間画像を取得する補間画像取得ステップと、
前記補間画像取得ステップにおいて取得された補間画像を出力する出力ステップと、を含む、
画像検索方法。
【請求項１４】
複数の画像の中から検索した画像を出力するプログラムであって、
第一情報を含む第一画像と第二情報を含む第二画像とが入力される入力ステップと、
前記第一情報から得られる前記第一画像の第一撮影位置と、前記第二情報から得られる前記第二画像の第二撮影位置と、が含まれる場所の範囲を補間範囲として算出する補間範囲算出ステップと、
関連度データベースに記憶された、画像間の関連度合いを示す関連度であって、前記複数の画像のうち前記補間範囲算出ステップにおいて算出された補間範囲に属する画像と前記第一画像との関連度と、前記複数の画像のうち前記補間範囲算出ステップにおいて算出された補間範囲に属する画像と前記第二画像との関連度と、に基づき、前記第一撮影位置と前記第二撮影位置との間を補間する画像である補間画像の撮像内容を推定する撮像内容推定ステップと、
前記撮像内容推定ステップにおいて推定された撮像内容を用いて、前記複数の画像の中から前記補間画像を取得する補間画像取得ステップと、
前記補間画像取得ステップにおいて取得された補間画像を出力する出力ステップと、をコンピュータに実行させる、
プログラム。
【請求項１５】
複数の画像の中から検索する画像を推定する画像推定装置であって、
画像間の関連度合いを示す関連度を記憶している関連度データベースと、
第一画像の第一撮影位置と、第二画像の第二撮影位置と、が含まれる場所の範囲を補間範囲として算出する補間範囲算出部と、
前記関連度データベースに記憶される関連度であって、前記複数の画像のうち前記補間範囲算出部により算出された補間範囲に属する画像と前記第一画像との関連度と、前記複数の画像のうち前記補間範囲算出部により算出された補間範囲に属する画像と前記第二画像との関連度と、に基づき、前記第一撮影位置と前記第二撮影位置との間を補間する画像である補間画像の撮像内容を推定する撮像内容推定部と、を備える、
画像推定装置。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2010013424.tif 000032
【図２】
2010013424.tif 000033
【図３】
2010013424.tif 000034
【図４】
2010013424.tif 000035
【図５】
2010013424.tif 000036
【図６】
2010013424.tif 000037
【図７】
2010013424.tif 000038
【図８】
2010013424.tif 000039
【図９】
2010013424.tif 000040
【図１０】
2010013424.tif 000041
【図１１】
2010013424.tif 000042
【図１２】
2010013424.tif 000043
【図１３】
2010013424.tif 000044
【図１４】
2010013424.tif 000045
【図１５】
2010013424.tif 000046
【図１６】
2010013424.tif 000047
【図１７】
2010013424.tif 000048
【図１８】
2010013424.tif 000049
【図１９】
2010013424.tif 000050
【図２０】
2010013424.tif 000051
【図２１】
2010013424.tif 000052
【図２２】
2010013424.tif 000053
【図２３】
2010013424.tif 000054
【図２４】
2010013424.tif 000055
【図２５】
2010013424.tif 000056
【図２６】
2010013424.tif 000057
【図２７】
2010013424.tif 000058
【図２８】
2010013424.tif 000059
【図２９】
2010013424.tif 000060
【国際調査報告】
2010013424.tif 000061
2010013424.tif 000062