(57)【要約】  大量に蓄積された画像の中からユーザが補間したい画像を比較的容易に検索することができる画像検索装置を提供する。  第一補間対象画像が撮影された位置である第一撮影位置と第二補間対象画像が撮影された位置である第二撮影位置とが含まれる場所の範囲を補間範囲として算出する補間範囲算出部（１０３）と、補間範囲内に撮影位置が含まれる画像を候補画像として、複数の画像の中から取得する補間画像候補取得部（１０４）と、第一撮影位置及び前記第二撮影位置の間の移動速度が大きいほど画像が撮影されたときの撮像装置と被写体との距離である被写体距離が大きい画像を、候補画像の中から選択する補間画像選択部（１０６）と、を備える。
2010070804.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも２つの補間対象画像のそれぞれが撮影された位置の間を補間するための補間画像を複数の画像の中から検索する画像検索装置であって、
第一補間対象画像が撮影された位置である第一撮影位置と第二補間対象画像が撮影された位置である第二撮影位置とが含まれる地理的場所の範囲を補間範囲として算出する補間範囲算出部と、
前記補間範囲算出部により算出された補間範囲内に撮影位置が含まれる画像を候補画像として、画像データベースに格納された前記複数の画像の中から取得する補間画像候補取得部と、
前記第一撮影位置及び前記第二撮影位置の間の移動速度が大きいほど、画像が撮影されたときの撮像装置と被写体との距離である被写体距離が大きい画像を前記候補画像の中から選択する補間画像選択部と、
を備える画像検索装置。
【請求項２】
さらに、前記第一撮影位置と前記第二撮影位置との距離と、前記第一補間対象画像が撮影された日時と前記第二補間対象画像が撮影された日時との差分時間と、を用いて、前記第一撮影位置及び前記第二撮影位置の間の移動速度を算出する移動速度算出部を備え、
前記補間画像選択部は、前記移動速度算出部により算出された移動速度が大きいほど、被写体距離が大きい画像を選択する、
請求項１に記載の画像検索装置。
【請求項３】
さらに、前記補間画像選択部により選択された補間画像と前記第一補間対象画像との関連度である第一関連度と、前記補間画像選択部により選択された補間画像と前記第二補間対象画像との関連度である第二関連度と、を取得し、取得した第一関連度及び第二関連度が示す関連性の高さが所定閾値以上となる前記補間画像を抽出する関連画像抽出部を備え、
前記関連度は、画像に付属する情報である付属情報間の関連性の高さを示す、
請求項１に記載の画像検索装置。
【請求項４】
さらに、被写体に関するキーワード間の関連度を記憶している関連度データベースを備え、
前記関連画像抽出部は、前記関連度データベースを参照することにより、前記補間画像から得られる被写体に関するキーワードと前記第一補間対象画像から得られる被写体に関するキーワードとの関連度を前記第一関連度として取得し、前記補間画像から得られる被写体に関するキーワードと前記第二補間対象画像から得られる被写体に関するキーワードとの関連度を前記第二関連度として取得する、
請求項３に記載の画像検索装置。
【請求項５】
前記関連度データベースは、所定範囲の場所を示す領域毎に前記関連度を記憶しており、
前記関連画像抽出部は、前記第一補間対象画像の撮影位置が含まれる領域に対応する関連度を前記第一関連度として取得し、前記第二補間対象画像の撮影位置が含まれる領域に対応する関連度を前記第二関連度として取得する、
請求項４に記載の画像検索装置。
【請求項６】
前記関連画像抽出部は、前記補間画像が撮影されたときの撮影条件と前記第一補間対象画像が撮影されたときの撮影条件との関連度を前記第一関連度として取得し、前記補間画像が撮影されたときの撮影条件と前記第二補間対象画像が撮影されたときの撮影条件との関連度を前記第二関連度として取得する、
請求項３に記載の画像検索装置。
【請求項７】
前記補間画像選択部は、前記第一撮影位置及び前記第二撮影位置の間の移動速度が予め定められた第一閾値より大きい場合、被写体距離が予め定められた第二閾値以上の前記候補画像を補間画像として選択する、
請求項１に記載の画像検索装置。
【請求項８】
前記補間範囲算出部は、前記第一補間対象画像が撮影された日時と前記第二補間対象画像が撮影された日時との差分時間が大きいほど場所の範囲が広くなるように、前記補間範囲を算出する、
請求項１に記載の画像検索装置。
【請求項９】
少なくとも２つの補間対象画像のそれぞれが撮影された位置の間を補間するための補間画像を複数の画像の中からコンピュータが検索する画像検索方法であって、
第一補間対象画像が撮影された位置である第一撮影位置と第二補間対象画像が撮影された位置である第二撮影位置とが含まれる地理的場所の範囲を補間範囲として算出する補間範囲算出ステップと、
前記補間範囲算出ステップにおいて算出された補間範囲内に撮影位置が含まれる画像を候補画像として、画像データベースに格納された前記複数の画像の中から取得する補間画像候補取得ステップと、
前記第一撮影位置及び前記第二撮影位置の間の移動速度が大きいほど、画像が撮影されたときの撮像装置と被写体との距離である被写体距離が大きい画像を前記候補画像の中から選択する補間画像選択ステップと、
を含む画像検索方法。
【請求項１０】
少なくとも２つの補間対象画像のそれぞれが撮影された位置の間を補間するための補間画像を複数の画像の中から検索するプログラムであって、
第一補間対象画像が撮影された位置である第一撮影位置と第二補間対象画像が撮影された位置である第二撮影位置とが含まれる地理的場所の範囲を補間範囲として算出する補間範囲算出ステップと、
前記補間範囲算出ステップにおいて算出された補間範囲内に撮影位置が含まれる画像を候補画像として、画像データベースに格納された前記複数の画像の中から取得する補間画像候補取得ステップと、
前記第一撮影位置及び前記第二撮影位置の間の移動速度が大きいほど、画像が撮影されたときの撮像装置と被写体との距離である被写体距離が大きい画像を前記候補画像の中から選択する補間画像選択ステップと、
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、大量に格納された画像コンテンツの中からユーザが撮影した画像コンテンツの撮影位置間を補間するための画像コンテンツを検索する画像検索装置及び画像検索方法に関する。
【背景技術】
【０００２】
旅行に行ったときに、ユーザが写真撮影に集中しすぎて、旅行そのものを十分に楽しめないということがある。一方、ユーザが観光地へ旅行に行った場合、多くの旅行者が似たような場所の似たような風景を撮影していることが多い。実際にインターネット上において提供されている写真共有サービスでは、自分が撮影した写真とほとんど同じ構図の写真が見つかることが多い。そこで、自分が撮影した写真に対して写真共有サービスの写真を補間することにより、思い出のアルバムを簡便に作成できれば、ユーザは全ての写真を撮影しなくても旅行の思い出を記録しておくことができる。【０００３】
ユーザが思い出のアルバムを作成する際、写真共有サービスを用いて補間したい写真を検索するためには、ユーザは自らキーワードを入力して検索を行う必要がある。画像コンテンツの特徴は、動画コンテンツ或いは音楽コンテンツとは異なり、コンテンツ数が一覧できないほど多く存在することである。例えば、代表的ないくつかの写真共有サービスでは、ユーザが「沖縄」というキーワードのみを入力して検索を行った場合、１０万枚以上の写真が検索される。このような大量の写真の中から、ユーザが思い出として記録したい写真だけを選ぶためには、ユーザは、写真をモニタ等において一覧可能な数まで絞り込む必要がある。すなわち、ユーザは写真を絞り込むために複数のキーワードを組み合わせて入力する必要がある。このような入力作業、選択作業などを個々の思い出に対して行うことは、ユーザにとって非常に操作負担が大きな作業となる。【０００４】
このような問題に対し、予めサーバに蓄積された観光地の写真を用いて、ユーザが簡便に思い出のアルバムを作成するための方法が提案されている（例えば、特許文献１参照）。特許文献１に記載の方法では、観光地の各写真撮影スポットに設置されたタグリーダを用いて、ユーザは、予めサーバに蓄積された当該ポイントの高品質な写真を読み取る。その結果、ユーザは、自ら全ての写真を撮影すること無く、思い出のアルバムを簡便に作成することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−２１３２１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、ユーザが歩行以外の手段を用いて移動中の場合は、写真撮影スポットに立ち寄って補間する写真を取得できない。そのため、特許文献１に記載の方法では、ユーザは、移動中に見た風景が撮影された写真の中からアルバムに記録したい撮像内容の写真をアルバムに追加することができないという課題がある。【０００７】
例えば、従来手法ではユーザが電車で移動をしている時に窓から見た風景写真をユーザは取得することはできない。また、ユーザが自動車又は自転車で移動する際も、ユーザは、一度自動車又は自転車から降車してから写真スポットに立ち寄る必要が生じる。そのため、従来手法では、写真を取得するためにユーザに与える負荷が高くなってしまう。【０００８】
そこで、本発明は、上記課題を解決するものであって、大量に格納された画像コンテンツの中から、ユーザが撮影スポットに立ち寄ることなく、ユーザが選択した画像コンテンツの撮影位置間を補間したい画像を比較的容易に検索することができる画像検索装置及び画像検索方法を提供する。
【課題を解決するための手段】
【０００９】
上記の課題を解決するために、本発明の一態様に係る画像検索装置は、少なくとも２つの補間対象画像のそれぞれが撮影された位置の間を補間するための補間画像を複数の画像の中から検索する画像検索装置であって、第一補間対象画像が撮影された位置である第一撮影位置と第二補間対象画像が撮影された位置である第二撮影位置とが含まれる地理的場所の範囲を補間範囲として算出する補間範囲算出部と、前記補間範囲算出部により算出された補間範囲内に撮影位置が含まれる画像を候補画像として、画像データベースに格納された前記複数の画像の中から取得する補間画像候補取得部と、前記第一撮影位置及び前記第二撮影位置の間の移動速度が大きいほど、画像が撮影されたときの撮像装置と被写体との距離である被写体距離が大きい画像を前記候補画像の中から選択する補間画像選択部と、を備える。【００１０】
これにより、複数の画像の中からユーザが選択した画像の撮影位置間を補間したい画像を、ユーザが撮影スポットに立ち寄ることなく、比較的容易に検索することが可能となる。また、ユーザの移動速度に応じて必要な画像のみを取得することができるので、ユーザに適した補間画像を検索することが可能となる。例えば、この画像検索装置によって検索された補間画像が出力されれば、ユーザは、自分が撮影した二つの画像が撮影された期間内に体験したできごとが撮影された画像を、他人が撮影した画像を用いて、比較的容易に補間することが可能となる。【００１１】
さらに、この画像検索装置によって検索された補間画像が出力されれば、タグリーダ等の特別なインフラを構築すること無く、ユーザは補間画像を取得することが可能となる。
【発明の効果】
【００１２】
本発明によると、大量に格納された画像コンテンツの中から、ユーザが撮影スポットに立ち寄ることなく、ユーザが撮影した画像コンテンツの撮影位置間を補間するための画像を比較的容易に検索することができる。
【図面の簡単な説明】
【００１３】
【図１】図１は、本発明の実施の形態１に係る画像検索装置の特徴的な機能構成を示すブロック図である。
【図２】図２は、画像コンテンツ及びコンテンツ付属情報の一例を示す図である。
【図３】図３は、画像データベースの一例を示す図である。
【図４】図４は、入力部の画面例を示す図である。
【図５】図５は、補間範囲の一例を示す図である。
【図６】図６は、本発明の実施の形態１に係る画像検索装置が実行する全体的な処理の流れを示すフローチャートである。
【図７】図７は、図６のステップＳ１０５の詳細な処理の流れを示すフローチャートである。
【図８】図８は、補間画像選択部の処理結果の一例を示す図である。
【図９】図９は、出力部により出力媒体へ出力された画面の一例を示す図である。
【図１０】図１０は、出力部により出力媒体へ出力された画面の一例を示す図である。
【図１１】図１１は、本発明の実施の形態２に係る画像検索装置の特徴的な機能構成を示すブロック図である。
【図１２】図１２は、関連度データベースの一例を示す図である。
【図１３】図１３は、階層化された領域を示す概念図である。
【図１４】図１４は、本発明の実施の形態２に係る画像検索装置が実行する処理の全体的な流れを示すフローチャートである。
【図１５】図１５は、図１４のステップＳ３０１の詳細な処理の流れを示すフローチャートである。
【図１６】図１６は、関連度データベースの一例を示す図である。
【図１７】図１７は、図１４のステップＳ３０１の他の詳細な処理の流れを示すフローチャートである。
【図１８】図１８は、被写体距離データベースの一例を示す図である。
【図１９】図１９は、コンピュータのハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【００１４】
以下、本発明の一態様に係る画像検索装置について、図面を用いて詳細に説明する。なお、説明を簡単にするため、以下の実施の形態では、ユーザが京都に旅行したときに撮影した画像に対して、データベースに蓄積された画像を補間することにより、思い出のアルバムを作成する例を用いて説明する。
【００１５】
（実施の形態１）
図１は、本発明の実施の形態１に係る画像検索装置１００の特徴的な機能構成を示すブロック図である。図１に示すように、画像検索装置１００は、複数の画像の中から補間画像を検索する装置である。ここで、補間画像とは、二つの画像のそれぞれの撮影位置の間を補間するための画像である。具体的には、補間画像とは、二つの画像のそれぞれの撮影位置の間の位置において撮影された画像である。画像検索装置１００は、画像データベース１０１、入力部１０２、補間範囲算出部１０３、補間画像候補取得部１０４、移動速度算出部１０５、補間画像選択部１０６、及び出力部１０７を備える。
【００１６】
以下、図１に示した、画像検索装置１００の各構成要素の詳細について順に説明する。
【００１７】
画像データベース１０１は、例えばハードディスク、メモリ等からなる記憶装置である。画像データベース１０１は、検索対象となる画像コンテンツ２０と、その画像コンテンツ２０に対応するコンテンツ付属情報２１とを記憶しているデータベースである。ここで、画像コンテンツ２０とは、電子媒体に格納された画像を示す。また、コンテンツ付属情報２１とは、画像コンテンツ２０の内容を示す情報である。具体的には、例えば、コンテンツ付属情報２１は、画像撮影時に画像コンテンツ２０へ付加される、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ  ｉｍａｇｅ  ｆｉｌｅ  ｆｏｒｍａｔ）情報（撮影日時、緯度・経度情報など）、及びユーザが撮影後に画像コンテンツ２０へ付加したタグ等の画像情報である。
【００１８】
図２は、画像データベース１０１に記憶されている、画像コンテンツ２０及びコンテンツ付属情報２１の一例を示す図である。図２に示すように、画像データベース１０１は、画像コンテンツ２０に加え、ユーザＩＤ２２、画像ＩＤ２３、画像アドレス２４、撮影日時２５、撮影位置２６、タグ２７、被写体距離２８を含むコンテンツ付属情報２１を記憶している。
【００１９】
ユーザＩＤ２２は、画像コンテンツ２０を撮影したユーザを識別するための情報を示す。画像ＩＤ２３は、画像コンテンツ２０を識別するための情報を示す。画像アドレス２４は、画像コンテンツ２０が保存されている場所の情報を示す。撮影日時２５は、画像コンテンツ２０が撮影された日時を示す。撮影位置２６は、画像コンテンツ２０が撮影された位置を示す。なお、画像コンテンツ２０が撮影された位置は、緯度及び経度により特定される。
【００２０】
被写体距離２８は、画像コンテンツ２０が撮影されたときの被写体までの距離を示す。被写体距離２８は撮影時に自動的にＥｘｉｆ情報として画像に付与される。なお、被写体距離２８が画像に自動的に付与されない場合は、次式を用いて算出された被写体距離ａがコンテンツ付属情報２１に含まれてもよい。
【００２１】
【数１】
2010070804.tif 000003
【００２２】
ここで、ａは被写体距離、ｆは焦点距離、Ｍは撮影倍率である。すなわち、画像データベース１０１に記憶された画像コンテンツの内、被写体距離がＥｘｉｆ情報として付与されていない画像コンテンツに対しては、各画像コンテンツに付与されたＥｘｉｆ情報に含まれる撮影倍率及び焦点距離を式（１）に代入することにより得られる被写体距離ａが、画像データベース１０１に記憶されてもよい。
【００２３】
タグ２７は、画像コンテンツ２０の内容を示す単語（キーワード）を示す。例えば、ユーザは、画像撮影後にタグ２７を手入力する。また、画像検索装置１００は、撮影位置２６に含まれる緯度及び経度の情報に基づいて取得される地域名或いは建物名を、タグ２７として自動的に付加してもよい。また、画像検索装置１００は、撮影日時２５と撮影位置２６と天気データベースとを用いて、天気及び気温の情報をタグ２７として自動的に付加してもよい。また、画像検索装置１００は、画像コンテンツ２０の画素値から得られる画像代表色を、タグ２７として自動的に付加してもよい。また、画像検索装置１００は、画像コンテンツ２０において人物検出を行うことにより検出された人数等の情報を、タグ２７として自動的に付加してもよい。
【００２４】
図３は、画像データベース１０１の一例を示す図である。図３に示すように、画像データベース１０１では、図２に示した各コンテンツ付属情報２１が検索容易となるようにリスト化されている。
【００２５】
なお、本実施の形態では、画像データベース１０１が画像検索装置１００に備えられる事例について説明するが、本発明が適用される画像検索装置は、このような画像検索装置に限定されるものではない。例えば、画像データベース１０１は、画像検索装置とネットワークを介して接続されたサーバ上に備えられてもよい。
【００２６】
また、コンテンツ付属情報２１は、画像コンテンツ２０内に含まれてもよい。
【００２７】
また、画像データベース１０１は、画像間におけるユーザの移動速度をコンテンツ付属情報２１として格納してもよい。移動速度とは、二つの補間対象画像の撮影位置間の距離を、その二つの補間対象画像の撮影時刻の差分時間で除することにより算出される値である。例えば、画像コンテンツ２０の移動速度は、画像コンテンツ２０の次に撮影された画像コンテンツとの撮影位置間の距離を撮影時刻の差分時間で除することにより算出される。そして、算出された移動速度がコンテンツ付属情報２１として記憶される。このように画像間の移動速度は画像データベース１０１に格納されてもよい。また、後述するように、ユーザからの入力を受け付ける度に移動速度算出部１０５が移動速度を算出してもよい。
【００２８】
ここで、図１に示した画像検索装置１００の各構成要素の説明に戻る。
【００２９】
入力部１０２は、例えば、キーボード、マウス等からユーザにより入力された情報をメモリ等に取得する。具体的には、入力部１０２は、ユーザが撮影した画像コンテンツ２０及びその画像ＩＤ２３、並びにそれらの画像コンテンツ２０の中から、ユーザが画像が撮影された位置間の補間を行いたい複数の補間対象画像及び補間対象画像に関する情報（画像ＩＤ２３等）を取得する。そして、入力部１０２は、取得した補間対象画像の画像ＩＤ２３を、補間範囲算出部１０３及び移動速度算出部１０５に通知する。
【００３０】
図４は、入力部１０２の画面例を示す図である。図４に示すように、ユーザは、自分が撮影した画像コンテンツ２０の中から、画像が撮影された位置間の補間を行いたい画像コンテンツ２０（補間対象画像）を複数枚選択する。この例では、ユーザは、京都で撮影された６枚の画像コンテンツ２０の内、第一補間対象画像（清水寺）４０と第二補間対象画像（銀閣寺）４１とを選択している。すなわち、入力部１０２は、ユーザから清水寺と銀閣寺との間の場所の画像を補間する要求を受付けたことになる。
【００３１】
なお、補間対象画像は、必ずしもユーザによって直接選択される必要はない。例えば、画像検索装置は、ユーザの嗜好等に基づいて補間対象画像を推定してもよい。また、例えば、ユーザが観光した場所を入力することにより、画像検索装置は、入力された場所の情報を用いて補間対象画像を選択してもよい。
【００３２】
補間範囲算出部１０３は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、プログラムを格納しているメモリ等からなる。補間範囲算出部１０３は、画像データベース１０１を参照することにより、入力部１０２により取得された画像ＩＤ２３に対応する撮影位置２６及び撮影日時２５を取得する。そして、補間範囲算出部１０３は、取得した撮影位置２６及び撮影日時２５を用いて、補間対象となる場所の範囲を示す補間範囲５２を算出する。つまり、補間範囲算出部１０３は、補間対象画像の撮影位置２６が含まれる場所の範囲を補間範囲として算出する。そして、補間範囲算出部１０３は、補間対象画像の撮影日時２５の経過時間が大きいほど場所の範囲が広くなるように前記補間範囲を算出する。さらに、補間範囲算出部１０３は、算出した補間範囲５２を補間画像選択部１０６へ通知する。具体的な補間範囲算出方法については後述する。
【００３３】
図５は、第一補間対象画像（清水寺）４０と第二補間対象画像（銀閣寺）４１とに基づいて算出される補間範囲５２の一例を示す図である。図５に示すように、矩形の補間範囲５２を算出する場合は、補間範囲算出部１０３は、矩形の対角点の緯度及び経度を範囲情報５０及び範囲情報５１として算出する。
【００３４】
補間画像候補取得部１０４は、例えば、ＣＰＵ、プログラムを格納しているメモリ等からなる。補間画像候補取得部１０４は、補間範囲算出部１０３により算出された補間範囲内において撮影された画像群を検出する。具体的には、補間画像候補取得部１０４は、画像データベース１０１を参照することにより、補間範囲算出部１０３により算出された緯度、経度情報に含まれる画像群の画像ＩＤを取得する。そして、補間画像候補取得部１０４は、取得した画像ＩＤを補間画像選択部１０６へ通知する。
【００３５】
移動速度算出部１０５は、例えば、ＣＰＵ、プログラムを格納しているメモリ等からなる。移動速度算出部１０５は、入力部１０２から取得した補間対象画像間におけるユーザの移動速度を算出する。具体的には、移動速度算出部１０５は、補間対象画像の撮影位置２６間の直線距離を算出する。さらに、移動速度算出部１０５は、補間対象画像の撮影日時２５の差分から時間を算出する。そして、移動速度算出部１０５は、算出された距離を時間で除することにより移動速度を算出する。また、移動速度算出部１０５は、補間対象画像間の撮影位置情報と算出した移動速度情報とを補間画像選択部１０６へ通知する。ここで移動速度とは、補間対象画像を同一ユーザが撮影した場合には、一方の補間対象画像の撮影位置から他方の補間対象画像の撮影位置へ当該ユーザが移動した速度である。具体的には、移動速度は、二つの補間対象画像の撮影位置間の距離を、その二つの補間対象画像の撮影時刻の差分時間で除することにより算出される値である。
【００３６】
補間画像選択部１０６は、例えば、ＣＰＵ、プログラムを格納しているメモリ等からなる。補間画像選択部１０６は、補間画像候補取得部１０４から取得した画像ＩＤと移動速度算出部１０５から取得した撮影位置情報及び移動速度情報と画像データベース１０１を用いて、補間画像候補取得部１０４から取得した画像群の中からユーザの移動速度に応じて必要な画像だけを選択する。つまり、補間画像選択部１０６は、移動速度算出部１０５により算出された移動速度が大きいほど被写体距離が大きい画像だけが選択されるように、補間画像候補取得部１０４により取得された候補画像の中から補間画像を選択する。具体的には、補間画像選択部１０６は、移動速度が予め定められた閾値以下の場合には補間画像候補取得部１０４から取得した画像群を全て選択する。一方、補間画像選択部１０６は、移動速度が予め定められた閾値より大きい場合には、補間画像候補取得部１０４から取得した画像群の中から被写体距離が予め定められた閾値以上の写真（遠景写真）だけを取得する。そして、補間画像選択部１０６は、選択した画像の画像ＩＤを出力部１０７に通知する。なお、補間画像選択部１０６は、入力部１０２から取得した補間対象画像間におけるユーザの移動速度を、画像データベース１０１から取得してもよい。また、具体的な補間画像選択方法に関しては後述する。
【００３７】
以下に、補間画像選択部１０６が、移動速度が大きいほど被写体距離が大きい画像を選択する理由について述べる。撮影者の移動速度が比較的遅い場合（歩行など）、撮影者は近距離の被写体、遠距離の被写体の両方を鑑賞することができる。そのため、被写体距離が小さい画像である近景画像と被写体距離が大きい画像である遠景画像との両方の画像が撮影者の経験と合致し、補間画像となり得る。一方、移動速度が比較的速い場合（自動車、電車など）には、撮影者は近距離にある被写体をじっくりと鑑賞することはできない。従って、移動速度が速い場合には、近景画像はユーザが補間したい画像に合致しない。そのため、補間画像選択部１０６は、移動速度が遅い場合には遠景画像及び近景画像の両方の画像を選択し、移動速度が速い場合には遠景画像だけを選択する。その結果、画像検索装置１００は、ユーザが補間したい画像に合致した画像だけを検索することが可能になる。
【００３８】
出力部１０７は、補間画像選択部１０６により取得された画像コンテンツ２０を出力媒体へ出力する。出力媒体は、例えば液晶ディスプレイ、テレビなどのモニタである。
【００３９】
次に、以上のように構成された画像検索装置１００の動作について説明する。
【００４０】
図６は、画像検索装置１００が実行する処理の全体的な流れを示すフローチャートである。
【００４１】
まず、入力部１０２は、ユーザが撮影した画像コンテンツ２０の画像ＩＤ２３、及びそれらの画像ＩＤ２３の中からユーザが補間を行いたい複数の補間対象画像の画像ＩＤ２３を受け取る。そして、入力部１０２は、受け取った補間対象画像の画像ＩＤ２３を補間範囲算出部１０３及び補間画像候補取得部１０４に通知する（ステップＳ１０１）。
【００４２】
次に、補間範囲算出部１０３は、入力部１０２から通知された補間対象画像の画像ＩＤ２３に対応する撮影位置２６及び撮影日時２５を、画像データベース１０１から取得する。そして、補間範囲算出部１０３は、取得した撮影位置２６及び撮影日時２５を用いて、補間対象となる場所の範囲を示す補間範囲を算出する。さらに、補間範囲算出部１０３は、算出した補間範囲を、補間画像候補取得部１０４へ通知する（ステップＳ１０２）。
【００４３】
具体的には、例えば補間範囲算出部１０３は、補間対象画像の撮影位置２６（緯度、経度）の重心を中心とし、かつ、補間対象画像の撮影日時２５から得られる経過時間に比例した距離を半径とする範囲を補間範囲として算出する。ここで、経過時間は、補間対象画像の撮影日時２５の差分である。なお、補間対象画像が３以上ある場合、経過時間は、補間対象画像の撮影日時２５の内、最も古い撮影日時２５と最も新しい撮影日時２５との差分とする。
【００４４】
また、補間範囲算出部１０３は、予め設定された複数の範囲の中から、補間対象画像の撮影位置２６（緯度、経度）が含まれる範囲を補間範囲として選択してもよい。この場合、補間範囲算出部１０３は、補間対象画像の経過時間に応じて、選択した範囲に隣接する範囲を補間範囲に加えてもよい。
【００４５】
また、補間対象画像の撮影日時２５から得られる経過時間が所定の閾値以上の場合は、補間範囲算出部１０３は、ユーザが補間範囲を指定できるようにするために、図５に示すような領域をユーザに提示してもよい。これにより、補間範囲算出部１０３は、補間範囲が大きくなりすぎること及び補間範囲の算出間違いを防ぐことができる。
【００４６】
次に、補間画像候補取得部１０４は、補間範囲算出部１０３により算出された補間範囲に含まれる画像群を検出し、補間画像選択部１０６へ通知する（ステップＳ１０３）。具体的には、画像データベース１０１を参照することにより、補間範囲算出部１０３により算出された緯度、経度情報に含まれる画像群の画像ＩＤを取得する。
【００４７】
次に、移動速度算出部１０５は、入力部１０２から取得した各補間対象画像の撮影日時２５と撮影位置２６とを用いて、各補間対象画像間におけるユーザの移動速度を算出し、補間対象画像の撮影位置情報と算出した速度情報を補間画像選択部１０６へ通知する（ステップＳ１０４）。
【００４８】
具体的には、例えば、移動速度算出部１０５は、図４の第一補間対象画像（清水寺）４０及び第二補間対象画像（銀閣寺）４１の撮影位置の差分から撮影位置間の距離ｘを算出する。一方、移動速度算出部１０５は、撮影時間の差分から時間ｔを算出する。そして、移動速度算出部１０５は、距離ｘを時間ｔで除することにより移動速度を算出する。
【００４９】
なお、移動速度算出部１０５は、別途用意された地図データベースを用い、撮影位置間を結ぶルート検索を行い、検索されたルートに沿った距離ｘを算出してもよい。これにより、移動速度算出部１０５は、撮影位置間の距離をより正確に算出することができる。そのため、移動速度算出部１０５は、移動速度の算出精度を高めることができ、移動速度の誤算出により不必要な補間画像をユーザに提示することを防ぐことができる。
【００５０】
次に、補間画像選択部１０６は、移動速度算出部１０５から通知された補間対象画像の撮影位置情報と速度情報から、移動速度に適合した候補画像を補間画像として選択し、出力部１０７に通知する（ステップＳ１０５）。
【００５１】
最後に、出力部１０７は、補間画像選択部１０６により取得された補間画像を出力媒体へ出力する（ステップＳ１０６）。
【００５２】
図７は、補間画像選択部１０６による補間画像選択の処理（図６のステップＳ１０５）の詳細な処理の流れを示すフローチャートである。以下、図７を用いて移動速度に適合した画像選択方法について説明する。
【００５３】
まず、補間画像選択部１０６は、補間画像候補取得部１０４から候補画像の画像ＩＤを取得する（ステップＳ２０１）。
【００５４】
次に、補間画像選択部１０６は、移動速度算出部１０５からユーザの移動速度を取得する（ステップＳ２０２）。
【００５５】
次に、補間画像選択部１０６は、移動速度が予め定められた閾値より大きいか否かを判別する（ステップＳ２０３）。ここで、移動速度が閾値より大きい場合は（ステップＳ２０３のＹｅｓ）、ステップＳ２０４に進む。一方、移動速度が閾値以下の場合は（ステップＳ２０３のＮｏ）、ステップＳ２０５に進む。なお、移動速度の閾値には、例えば標準的な人の限界歩行速度（約１２ｋｍ／時）が用いられればよい。これにより、補間画像選択部１０６は、ユーザが補間対象画像の撮影位置間を歩いて移動しているか否かを判断することができる。
【００５６】
次に、補間画像選択部１０６は、ステップＳ２０１において取得した候補画像の中から補間画像として被写体距離が閾値以上の画像のみを選択する（ステップＳ２０４）。被写体距離の閾値には、例えば設計者により「１０ｍ」と設定されればよい。前述のように、移動速度が速い場合（自動車、電車など）には、撮影者は近距離にある被写体をじっくりと鑑賞することはできない。従って、移動速度が速い場合には、近景画像はユーザが補間したい画像に合致しない。そのため、補間画像選択部１０６は、移動速度が速い場合には遠景画像だけを補間画像として選択することにより、ユーザが補間したい画像に合致した画像だけを選択することが可能になる。
【００５７】
次に、補間画像選択部１０６は、ステップＳ２０１において取得した全ての候補画像を補間画像として選択する（ステップＳ２０５）。撮影者の移動速度が遅い場合（歩行など）、撮影者は近距離の被写体、遠距離の被写体の両方を鑑賞することができる。そのため、近景画像と遠景画像の両方の画像が撮影者の経験と合致し、補間画像となり得る。よって、移動速度が遅い場合には、補間画像選択部１０６は、遠景画像及び近景画像の両方の画像を選択することにより、ユーザが補間したい画像に合致した画像を選択することが可能になる。
【００５８】
図８は、ステップＳ２０１〜Ｓ２０５の処理により、移動速度に応じて異なる補間画像が選択される、補間画像選択部１０６の処理結果の一例を示す図である。前提条件として、ユーザが図４に示す第一補間対象画像（清水寺）４０、及び第二補間対象画像（銀閣寺）４１を選択し、補間範囲が図５に示す補間範囲５２であるとする。そして、画像データベース１０１に存在する画像のうち撮影位置が補間範囲５２に含まれる画像が候補画像８０であるとする。この時、ステップＳ２０３において第一補間対象画像（清水寺）４０、及び第二補間対象画像（銀閣寺）４１の撮影時刻から算出したユーザの移動速度が閾値（１２ｋｍ／ｈ）以下の場合、補間画像（低速移動時）８１は全ての候補画像が選択される。すなわち、移動速度が「３ｋｍ／ｈ」である場合、補間画像選択部１０６は、補間画像（低速移動時）８１を選択する。一方、移動速度が閾値（１２ｋｍ／ｈ）以上の場合、補間画像（高速移動時）８２は候補画像の中から被写体距離が閾値（２０ｍ）以上の画像のみが選択される。すなわち、移動速度が「３０ｋｍ／ｈ」である場合、補間画像選択部１０６は、補間画像（高速移動時）８２を選択する。
【００５９】
以上のステップＳ２０１〜Ｓ２０５の処理が実行されることにより、補間画像選択部１０６はユーザの移動速度に適合した画像のみを補間画像として選択することができる。
【００６０】
図９及び図１０は、出力部１０７により出力媒体へ出力された画面の一例を示す図である。図９に示すように、出力部１０７は、補間画像を地図上などに一覧表示してもよい。また、図１０に示すように、出力部１０７は、補間画像を撮影位置の近い順にスライドショー形式で表示してもよい。
【００６１】
以上、図６に示すステップＳ１０１〜ステップＳ１０６の処理が実行されることにより、画像検索装置１００は、補間画像の撮像内容を推定することができるため、大量に格納された画像の中から、自分と類似した撮影を行うユーザの画像を補間画像として取得することができる。
【００６２】
すなわち、本実施の形態に係る画像検索装置１００は、画像データベース１０１に格納された画像の中から、補間画像を選択することが可能となるので、ユーザは撮影スポットに立ち寄ることなく、補間画像を取得することが可能となる。また、画像検索装置１００は、画像の撮影位置間の移動速度が大きいほど被写体距離が大きい画像を選択することができるので、ユーザが補間したい画像を効率的に検索することが可能となる。
【００６３】
（実施の形態２）
次に、本発明の実施の形態２に係る画像検索装置２００について説明する。
【００６４】
本実施の形態の画像検索装置２００は、候補画像の中からユーザの撮影嗜好に関連性の高い画像を抽出して提示する点に特徴を有する。ここで、撮影嗜好とは、撮影する被写体の好みや、画像の色、画角等の画質の好みを示す。
【００６５】
上述の実施の形態１に係る画像検索装置１００は、撮影位置が補間範囲に含まれる画像の中からユーザの移動速度に適合した画像を取得し、取得した全ての画像を補間画像として選択した。しかし、この方法では提示対象となる補間画像が提示許容枚数を超えてしまった場合、画像検索装置１００は、提示対象の補間画像の中からユーザの撮影嗜好に、より適合した補間画像を提示できない可能性が生じてしまう。例えば、ユーザが「庭」をテーマにした写真を多く撮影するユーザである場合を考える。補間画像として被写体が「庭」の画像と「建物」の画像があり、画像検索装置がどちらか一方しか提示できない場合、画像検索装置は、ユーザの嗜好が分からなければ「庭」の画像を提示できるとは限らない。そこで、画像検索装置は、ユーザが撮影した画像からユーザの撮影嗜好が分かれば、提示対象の補間画像の中からユーザの撮影嗜好と関連性の高い画像を優先的に提示することができ、ユーザの利便性を向上させることができる。
【００６６】
そこで本実施の形態における画像検索装置２００は、ユーザの撮影した画像のタグ、撮影時間、撮影位置などを用いてユーザの撮影嗜好と関連性の高い画像を抽出する。なお、本実施例では、実施の形態１と同じく、撮影者が京都旅行において撮影した画像に対して、サーバ上に蓄積された画像を補間し、思い出となるアルバムを作成する例を用いて説明する。
【００６７】
以下、初めに図１１を参照しながら、画像検索装置の各構成について順に説明する。
【００６８】
（実施の形態２の各構成の説明）
図１１は、本発明の実施の形態２に係る画像検索装置２００の特徴的な機能構成を示すブロック図である。図１１において、図１と同じ構成要素については同じ符号を付し、説明を省略する。図１１に示す画像検索装置２００が図１に示す画像検索装置１００と相違する点は、画像データベース１０１に登録されている画像コンテンツのコンテンツ付属情報間の関連性の高さを示す関連度を記憶している関連度データベース２０１と、補間画像選択部１０６により選択された補間画像の中からユーザの撮影嗜好と関連性の高い画像を抽出する関連画像抽出部２０２を有する点である。
【００６９】
関連度データベース２０１は、例えばハードディスク、メモリ等からなる記憶装置である。関連度データベース２０１は、画像コンテンツ２０間の関連性の高さを示す関連度を記憶している。具体的には、画像コンテンツ２０の被写体情報間の関連度を記憶している。ここで、被写体情報とは、ユーザが撮影した画像コンテンツ２０における被写体を表す単語（キーワード）の情報である。具体的には、被写体情報は、例えば、タグ２７に設定された被写体の名称、被写体が存在する地域の名称、被写体の数、被写体の色などである。
【００７０】
また、関連度データベース２０１は、被写体情報の関連度を、領域単位で記憶している。具体的には、関連度データベース２０１は、領域毎に、当該領域に属する画像コンテンツ２０のタグ２７間の関連度を記憶している。ここで、領域とは、都道府県、市町村、５０ｋｍ四方などに基づいて分割された場所を示す。
【００７１】
また、関連度は、例えば「ドキュメント中に出現する単語間の関連性に基づく連想検索のためのメタデータ空間生成方式」（非特許文献１：本間秀典ら、第１６回データ工学ワークショップ（ＤＥＷＳ２００５）、６Ａ−ｏ２、電子情報通信学会、２００５）に記載の方法等を利用して算出される。
【００７２】
図１２は、京都市東山区及び左京区周辺の領域の関連度データベース２０１の一例を示す図である。図１２に示す関連度データベース２０１では、行方向と列方向とが交差する位置に、行方向のタグ２７と列方向のタグ２７との関連度が記憶されている。この関連度は、各領域に属する画像コンテンツ２０のタグ２７間の共起に基づいて算出される。
【００７３】
ここで、画像コンテンツ２０が領域に属するか否かは、当該画像コンテンツ２０の撮影位置２６に基づいて判断される。
【００７４】
なお、関連度データベース２０１における領域は、複数に階層化されてもよい。例えば、関連度データベース２０１は、同じ地点に対して小領域、中領域、及び大領域の３段階の領域を用いてタグ２７の関連度を記憶していてもよい。
【００７５】
図１３は、階層化された領域を示す概念図である。図１３に示すように、関連度データベース２０１は、京都府に属する画像コンテンツ２０のタグ２７間の関連度を、都道府県単位の領域を示す大領域１３０に対応する関連度として記憶してもよい。また、関連度データベース２０１は、京都市に属する画像コンテンツ２０のタグ２７間の関連度を、市町村単位の領域を示す中領域１３１に対応する関連度として記憶してもよい。また、関連度データベース２０１は、下京区等に属する画像コンテンツ２０のタグ２７間の関連度を、区単位の領域を示す小領域１３２に対応する関連度として記憶してもよい。このように、関連度データベース２０１において関連度を記憶する領域を階層化することにより、後述する関連画像抽出部２０２は、ユーザが画像を補間したい領域に応じて、関連度データベース２０１において関連度を取得する領域を選択することができる。その結果、関連画像抽出部２０２は、ユーザが補間したい画像の撮像内容を、正確に推定することが可能となる。
【００７６】
関連画像抽出部２０２は、例えば、ＣＰＵ、プログラムを格納しているメモリ等からなる。関連画像抽出部２０２は、画像データベース１０１と関連度データベース２０１を用いて、補間画像選択部１０６から取得した補間画像の中からユーザの撮影画像と関連性の高い関連画像を抽出し、抽出した画像の画像ＩＤを出力部１０７に通知する。なお、具体的な関連画像抽出方法に関しては後述する。
【００７７】
関連画像とは、ユーザが撮影した画像に付与された画像情報と関連性の高い画像と定義する。例えば、ユーザが撮影した画像に付与したタグと関連性の高いタグを持つ画像はその一例である。画像に付与されたタグは被写体や被写体についての印象を示す情報である。これらの被写体に関する情報が合致する画像は、ユーザの嗜好と関連性の高い画像であると言える。
【００７８】
また、ユーザが撮影した画像の撮影条件（撮影時間、色情報（ホワイトバランス、ＲＧＢ比率）、絞り、被写体距離、解像度、Ｆ値、シャッタースピードなどの画像情報）と関連性の高い画像も関連画像に含まれる。タグと同様に、撮影条件にはユーザの嗜好が反映されている。そのため、撮影条件が合致する画像は、ユーザの嗜好と関連性の高い画像であると言える。
【００７９】
次に、図１４のフローチャートを参照しながら、図１１に示される画像検索装置２００において行われる全体的な処理の流れを説明する。
【００８０】
図１４は、画像検索装置２００が実行する処理の全体的な流れを示すフローチャートである。なお、図１４において、図６に示される、実施の形態１の画像検索装置１００の処理と同じ処理が実行されるステップについては同じ符号を付している。
【００８１】
本実施の形態の画像検索装置２００では、画像データベース１０１に登録された画像が持つタグ間の関連度が記憶された関連度データベース２０１を用いてユーザが撮影した画像と関連性の高い画像を抽出する処理が、実施の形態１の画像検索装置１００における処理と異なっている。しかし、その他の処理は実施の形態１の画像検索装置１００の処理と同じである。具体的には、図１４において、画像検索装置２００が実行する、ステップＳ１０１〜Ｓ１０６の処理は、図６に示す実施の形態１の画像検索装置１００の処理と同じため、説明を省略する。
【００８２】
関連画像抽出部２０２は、画像データベース１０１と、関連度データベース２０１を用いて、補間画像選択部１０６から通知された補間画像の中からユーザの撮影嗜好に関連性の高い画像を抽出する（ステップＳ３０１）。
【００８３】
図１５は、関連画像抽出部２０２による画像抽出の処理（図１４のステップＳ３０１）の詳細な処理の流れを示すフローチャートである。以下、図１５を用いてユーザの撮影嗜好と関連性の高い画像を抽出する画像抽出方法について説明する。
【００８４】
まず初めに、関連画像抽出部２０２は、画像データベース１０１からステップＳ１０１において取得された補間対象画像（以下、ユーザが撮影した画像又はユーザ撮影画像ともいう。）に付与された全てのタグを取得する（ステップＳ４０１）。以下、ステップＳ４０１において取得されたタグをタグ集合Ａと呼ぶ。
【００８５】
次に、関連画像抽出部２０２は、補間画像選択部１０６から補間画像の画像ＩＤを取得する（ステップＳ４０２）。
【００８６】
次に、関連画像抽出部２０２は、ステップＳ４０２において取得した補間画像の画像ＩＤの中から１つの画像ＩＤを選択する（ステップＳ４０３）。つまり、関連画像抽出部２０２は、補間画像を１枚選択する。
【００８７】
次に、関連画像抽出部２０２は、ステップＳ４０３において取得した画像ＩＤに対応するタグを画像データベース１０１から取得する（ステップＳ４０４）。以下、ステップＳ４０４において取得されたタグをタグ集合Ｂと呼ぶ。
【００８８】
次に、関連画像抽出部２０２は、ステップＳ４０１において取得されたタグ集合ＡとステップＳ４０４において取得されたタグ集合Ｂの関連度を算出する（ステップＳ４０５）。ここで、関連画像抽出部２０２は、タグ集合Ａの撮影位置２６が属する領域の関連度データベース２０１を参照することにより、タグ集合Ａに含まれるタグ２７に対するタグ集合Ｂの関連度をそれぞれ取得する。そして、関連画像抽出部２０２は、取得したタグ間の関連度を総加算することにより、タグ集合Ａとタグ集合Ｂの関連度を算出する。タグ集合Ａはユーザが自ら撮影した画像に付与したタグであり、これらのタグにはユーザの画像に対する嗜好や写真に対する観点が反映されている。一方、タグ集合Ｂはユーザ以外の人が撮影した画像に対してユーザ以外の人が付与したタグであり、これらのタグにはユーザ以外の人の嗜好や観点が反映されている。すなわち、タグ集合Ａと関連度が大きいタグ集合Ｂを含む画像は、ユーザの嗜好と関連性の高い画像だと言える。
【００８９】
図１６は、ステップＳ４０３において選択された補間画像タグ１６０（「平安神宮」、「鳥居」及び「赤」（タグ集合Ｂ））と、ステップＳ４０１において取得された撮影画像タグ１６１（「銀閣寺」、「庭園」及び「清水寺」（タグ集合Ａ））との関連度が記憶された関連度データベース２０１の一例を示す図である。以下、図１６を用いてステップＳ４０５において関連画像抽出部２０２が補間画像とユーザ撮影画像との関連度を算出する一例について説明する。
【００９０】
図１６において、タグ集合Ｂの「平安神宮」とタグ集合Ａ（「銀閣寺」、「庭園」、「清水寺」）の関連度は、「平安神宮」とタグ集合Ａの各タグとの関連度（斜線領域１３３）を加算することにより、算出することができる。図１６に示す例では、「平安神宮」とタグ集合Ａとの関連度は、０．０＋０．３＋０．１＝０．４となる。同様に「鳥居」とタグ集合Ａの関連度は０．５、「赤」とタグ集合Ａの関連度は０．５となる。ここで、各々算出した関連度を加算すると０．４＋０．５＋０．５＝１．４となり、この値が画像（ステップＳ４０３において選択された補間画像）とステップＳ１０１において取得された補間対象画像の関連度の値となる。このように、ユーザ撮影画像と補間画像との関連度は、関連画像抽出部２０２が関連度データベース２０１を参照することにより得られる、両画像に付与されたタグ同士の関連度を全て足し合わせることにより算出される。
【００９１】
次に、関連画像抽出部２０２は、ステップＳ４０５において算出された関連度をステップＳ４０３において選択された補間画像の画像ＩＤとともに、画像ＩＤ−関連度リストに格納する（ステップＳ４０６）。
【００９２】
次に、関連画像抽出部２０２は、ステップＳ４０２において取得された補間画像がステップＳ４０３において全て選択されたか否かを判定する（ステップＳ４０７）。
【００９３】
ここで、全ての補間画像が選択されている場合（ステップＳ４０７のＹｅｓ）、関連画像抽出部２０２は、補間画像−関連度リストの中から関連度が上位の画像を出力可能枚数に至るまで抽出する（ステップＳ４０８）。つまり、関連画像抽出部２０２は、補間画像−関連度リストにおいて関連度が大きな順から補間画像を並べた場合に、出力可能枚数と同一の順番に現れる補間画像の関連度以上となる補間画像を抽出する。ここで、出力可能枚数とは、出力媒体の記憶容量、表示領域等により定まる、出力部１０７が出力可能な画像の枚数である。
【００９４】
一方、全ての補間画像が選択されていない場合（ステップＳ４０７のＮｏ）、関連画像抽出部２０２は、ステップＳ４０３〜Ｓ４０６の処理を繰り返す。
【００９５】
以上、ステップＳ４０１〜Ｓ４０８の処理が実行されることにより、関連画像抽出部２０２は、補間画像選択部１０６により取得された補間画像の中から、ユーザの撮影嗜好と関連性の高い補間画像を抽出することができる。
【００９６】
以上、ステップＳ１０１〜ステップＳ１０６、ステップＳ３０１の処理が実行されることにより、画像検索装置２００は、補間画像選択部１０６により選択された補間画像の枚数が提示可能な枚数を超えた場合においても、ユーザの撮影嗜好と関連性の高い画像を優先的に提示することができる。
【００９７】
すなわち、本実施の形態に係る画像検索装置２００は、被写体情報間の関連度が格納された関連度データベースを参照することにより、補間対象画像と被写体の関連性が高い補間画像を抽出することができるので、ユーザが補間したい画像をさらに効率的に検索することが可能となる。さらに、画像検索装置２００は、領域ごとに関連度が記憶された関連度データベースを参照することにより、補間対象画像の撮影位置に応じた関連度を取得することができるので、ユーザが補間したい画像をさらに効率的に検索することが可能となる。
【００９８】
なお、ステップＳ３０１において、関連画像抽出部２０２は、画像データベース１０１を用いて、補間画像選択部１０６から通知された補間画像の中からユーザが撮影した画像（入力部１０２により取得された画像）の撮影条件と関連性（以下、類似度ともいう。）の高い画像を抽出してもよい。ユーザの撮影嗜好には、被写体以外に撮影条件も反映される。ここで、撮影条件とは、色情報（ホワイトバランス、ＲＧＢ比率）、絞り、被写体距離、解像度、Ｆ値、シャッタースピードなどの撮影時に画像に自動的に付与される撮影パラメータを示す。
【００９９】
図１７は、関連画像抽出部２０２による、ユーザが撮影した画像の撮影条件と類似度の高い画像を抽出する処理の流れを示すフローチャートである。以下、図１７を用いてユーザの撮影条件と関連性の高い画像を抽出する画像抽出方法について説明する。
【０１００】
まず初めに、関連画像抽出部２０２は、画像データベース１０１を参照することにより、ユーザが撮影した画像（ステップＳ１０１において取得された画像）に付与されている撮影パラメータを取得する（ステップＳ５０１）。撮影パラメータとは、色情報（ホワイトバランス、ＲＧＢ比率）、絞り、被写体距離、解像度、Ｆ値、シャッタースピード等、各画像に対して撮影時に自動的に付加される情報のことである。
【０１０１】
次に、関連画像抽出部２０２は、ステップＳ５０１において取得した撮影パラメータの代表値（Ｐ１）をそれぞれ算出する（ステップＳ５０２）。代表値とは、各パラメータにおける全画像の平均値や中央値又は最頻値である。
【０１０２】
次に、関連画像抽出部２０２は、補間画像選択部１０６により選択された補間画像を取得する（ステップＳ５０３）。
【０１０３】
次に、関連画像抽出部２０２は、ステップＳ５０３において取得した補間画像の中から１枚の画像を選択する（ステップＳ５０４）。
【０１０４】
次に、関連画像抽出部２０２は、画像データベース１０１を参照することにより、ステップＳ５０４において取得した補間画像の撮影パラメータ（Ｐ２）を取得する（ステップＳ５０５）。
【０１０５】
次に、関連画像抽出部２０２は、ステップＳ５０２において算出した撮影パラメータの代表値（Ｐ１）と、ステップＳ５０５から取得した撮影パラメータ（Ｐ２）を用いて、ユーザ撮影画像の撮影パラメータと選択した補間画像との類似度ｅを算出する（ステップＳ５０６）。類似度ｅは、例えば、下式（２）を用いて算出することができる。
【０１０６】
【数２】
2010070804.tif 000004
【０１０７】
ここで、ｎは比較する撮影パラメータの種類数、Ｐ１ｉはＰ１のｉ番目の撮影パラメータ、Ｐ２ｉはＰ２のｉ番目の撮影パラメータを示す。式（２）から明らかなように、Ｐ１、Ｐ２の各パラメータの差分値をＰ１のパラメータ値を用いて正規化された値の総和が類似度ｅとして算出される。したがって、類似度ｅの値が０に近いほど、ユーザ撮影画像とステップＳ５０４において選択された補間画像との撮影パラメータが類似しているということになる。すなわち、類似度ｅの値が０に近いほど、ステップＳ１０１において取得された画像とステップＳ５０４において選択された補間画像との撮影条件の関連性が高い。
【０１０８】
次に、関連画像抽出部２０２は、ステップＳ５０４において選択された補間画像とステップＳ５０６において算出した類似度との組み合わせをリスト化して記憶する（ステップＳ５０７）。
【０１０９】
次に、関連画像抽出部２０２は、ステップＳ５０３において取得した補間画像に対して、ステップＳ５０４において全て選択したか否かを判定する（ステップＳ５０８）。画像検索装置２００は、全て選択した場合（ステップＳ５０８のＹｅｓ）、ステップＳ５０９へ進み、全て選択していない場合（ステップＳ５０８のＮｏ）、ステップＳ５０４へ進む。
【０１１０】
次に、関連画像抽出部２０２は、ステップＳ５０７において記憶された補間画像と類似度とのリストを参照することにより、類似度の高い画像を出力可能枚数分抽出する（ステップＳ５０９）。
【０１１１】
以上のステップＳ５０１〜５０９の処理が実行されることにより、関連画像抽出部２０２は、補間画像選択部１０６により取得された補間画像の中から、ユーザの撮影条件と関連性の高い補間画像を抽出することができる。
【０１１２】
すなわち、画像検索装置２００は、補間対象画像と撮影条件の関連性が高い補間画像を抽出することができるので、ユーザが補間したい画像をさらに効率的に検索することが可能となる。
【０１１３】
以上、本発明の一態様に係る画像検索装置について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、異なる実施の形態における構成要素を組み合わせて構築される形態なども、本発明の範囲内に含まれる。
【０１１４】
例えば、上記実施の形態では、画像検索装置１００、２００は、画像データベース１０１、入力部１０２、移動速度算出部１０５、及び出力部１０７などを備えていたが、これらを必ずしも備えていなくてもよい。
【０１１５】
その場合、補間範囲算出部１０３は、外部の装置等からネットワーク等を介して、複数の補間対象画像（第一画像及び第二画像を含む。）と、各補間対象画像に関する情報（第一情報及び第二情報を含む。）とを取得すればよい。また、補間画像候補取得部１０４及び補間画像選択部１０６は、ネットワーク等を介して、サーバ等が備える画像データベースを参照すればよい。さらに、補間画像選択部１０６は、各補間対象画像の撮影位置間の移動速度を、画像データベース、あるいは各補間対象画像に関する情報等から取得すればよい。これにより、画像検索装置は、移動速度算出部１０５等を備えなくとも、複数の画像の中からユーザが選択した画像の撮影位置間を補間したい画像を、ユーザが撮影スポットに立ち寄ることなく、比較的容易に検索することが可能となる。
【０１１６】
また、上記実施の形態に係る画像検索装置は、移動速度を予め定められた閾値と比較することにより被写体距離の閾値を決定していたが、本発明に係る画像検索装置はこのような画像検索装置に限定されるものではない。例えば、本発明の一態様に係る画像検索装置は、移動速度と被写体距離との関係が格納されたテーブルを記憶している被写体距離データベースを参照することにより、被写体距離の閾値を決定しても良い。
【０１１７】
図１８は、被写体距離データベースの一例を示す図である。図１８に示すように、被写体距離データベースには、移動速度に対する被写体距離の閾値が格納されている。例えば、移動速度が「２０ｋｍ／ｈ」である場合、画像検索装置は、被写体距離が「１０ｍ」以上の画像を補間画像として選択する。ここで、被写体距離データベースに同一の移動速度が存在しない場合には、画像検索装置は、被写体距離データベースに格納されている最も近い値の移動速度に対する被写体距離の閾値を利用すれば良い。なお、本発明の一態様に係る画像検索装置は、被写体距離データベースの代わりに、移動速度と被写体距離との関係が示された数式を利用して被写体距離の閾値を決定しても良い。
【０１１８】
また、上記実施の形態２に係る画像検索装置は、補間画像選択部が選択した補間画像の中から関連画像抽出部が画像を抽出していたが、本発明に係る画像検索装置はこのような画像検索装置に限定されるものではない。例えば、本発明の一態様に係る画像検索装置において、関連画像抽出部は、候補画像の中から画像を抽出しても良い。そして、補間画像選択部は、関連画像抽出部により抽出された画像の中から補間画像を選択しても良い。
【０１１９】
また、上記実施の形態において、被写体距離はコンテンツ付属情報２１に含まれていたが、補間画像選択部１０６が式（１）を用いて被写体距離を算出しても良い。
【０１２０】
なお、本発明は、このような画像検索装置の特徴的な構成要素が行う処理を実行する画像検索方法として実現したり、その方法を図１９に示すようなコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体、インターネット等の伝送媒体を介して配信することができる。
【０１２１】
図１９は、コンピュータのハードウェア構成の一例を示す図である。複数の画像の中から補間画像を検索するためのプログラムは、例えば、コンピュータが読取可能な媒体であるＣＤ−ＲＯＭ５１５に記憶され、ＣＤ−ＲＯＭ装置５１４を介して読み出される。また例えば、複数の画像の中から補間画像を検索するためのプログラムは、有線若しくは無線ネットワーク、又は放送などを介して伝送される。
【０１２２】
コンピュータ５００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）５０１、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）５０２、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）５０３、ハードディスク５０４、通信インタフェース５０５等を備える。
【０１２３】
ＣＰＵ５０１は、ＣＤ−ＲＯＭ装置５１４を介して読み出されたプログラム、又は通信インタフェース５０５を介して受信したプログラムを実行する。具体的には、ＣＰＵ５０１は、ＣＤ−ＲＯＭ装置５１４を介して読み出されたプログラム、又は通信インタフェース５０５を介して受信したプログラムをＲＡＭ５０３に展開する。そして、ＣＰＵ５０１は、ＲＡＭ５０３に展開されたプログラム中のコード化された各命令を実行する。
【０１２４】
ＲＯＭ５０２は、コンピュータ５００の動作に必要なプログラム及びデータを記憶する読み出し専用メモリである。ＲＡＭ５０３は、ＣＰＵ５０１がプログラムを実行するときにワークエリアとして使用される。具体的には、ＲＡＭ５０３は、例えば、プログラム実行時のパラメータなどのデータを一時的に記憶する。ハードディスク５０４は、プログラム、データなどを記憶する。
【０１２５】
通信インタフェース５０５は、ネットワークを介して他のコンピュータとの通信を行なう。バス５０６は、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ハードディスク５０４、通信インタフェース５０５、ディスプレイ５１１、キーボード５１２、マウス５１３及びＣＤ−ＲＯＭ装置５１４を相互に接続する。
【０１２６】
上述したように本発明の一態様に係る画像検索装置は、大量に格納された画像コンテンツの中からユーザが補間したい画像を比較的容易に検索することができる画像検索装置として利用できる。
【０１２７】
例えば、本発明の一態様に係る画像検索装置は、Ｗｅｂ上等において画像データが大量に記憶されたデータベースからユーザが補間したい画像を検索して思い出アルバムを自動的に作成する装置として、利用できる。
【０１２８】
また、従来の方法では、全ての観光地の写真撮影スポットにタグリーダが設置されなくてはならないため、比較的大きなインフラコストが必要になるという課題がある。例えば京都、沖縄などのように、撮影する地点が複数存在する観光地の場合は、その地点毎にタグリーダを設置するコストが必要となる。また、設置された複数のタグリーダをメンテナンスするコストも必要となる。
【０１２９】
これに対して、上記実施の形態に記載の画像検索装置が用いられれば、特別なインフラを用意することが無いという効果も奏する。
【産業上の利用可能性】
【０１３０】
本発明は、大量に格納された画像コンテンツの中からユーザが撮影した画像コンテンツの撮影位置間を補間するための画像コンテンツを検索する画像検索装置として利用可能である。
【符号の説明】
【０１３１】
２０  画像コンテンツ
２１  コンテンツ付属情報
２２  ユーザＩＤ
２３  画像ＩＤ
２４  画像アドレス
２５  撮影日時
２６  撮影位置
２７  タグ
２８  被写体距離
４０  第一補間対象画像（清水寺）
４１  第二補間対象画像（銀閣寺）
５０  範囲情報
５１  範囲情報
５２  補間範囲
８０  候補画像
８１  補間画像（低速移動時）
８２  補間画像（高速移動時）
１００、２００  画像検索装置
１０１  画像データベース
１０２  入力部
１０３  補間範囲算出部
１０４  補間画像候補取得部
１０５  移動速度算出部
１０６  補間画像選択部
１０７  出力部
１３０  大領域
１３１  中領域
１３２  小領域
１３３  斜線領域
１６０  補間画像タグ
１６１  撮影画像タグ
２０１  関連度データベース
２０２  関連画像抽出部
【図１】
2010070804.tif 000005
【図２】
2010070804.tif 000006
【図３】
2010070804.tif 000007
【図４】
2010070804.tif 000008
【図５】
2010070804.tif 000009
【図６】
2010070804.tif 000010
【図７】
2010070804.tif 000011
【図８】
2010070804.tif 000012
【図９】
2010070804.tif 000013
【図１０】
2010070804.tif 000014
【図１１】
2010070804.tif 000015
【図１２】
2010070804.tif 000016
【図１３】
2010070804.tif 000017
【図１４】
2010070804.tif 000018
【図１５】
2010070804.tif 000019
【図１６】
2010070804.tif 000020
【図１７】
2010070804.tif 000021
【図１８】
2010070804.tif 000022
【図１９】
2010070804.tif 000023
【手続補正書】
【提出日】平成22年1月22日(2010.1.22)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、大量に格納された画像コンテンツの中からユーザが撮影した画像コンテンツの撮影位置間を補間するための画像コンテンツを検索する画像検索装置及び画像検索方法に関する。
【背景技術】
【０００２】
旅行に行ったときに、ユーザが写真撮影に集中しすぎて、旅行そのものを十分に楽しめないということがある。一方、ユーザが観光地へ旅行に行った場合、多くの旅行者が似たような場所の似たような風景を撮影していることが多い。実際にインターネット上において提供されている写真共有サービスでは、自分が撮影した写真とほとんど同じ構図の写真が見つかることが多い。そこで、自分が撮影した写真に対して写真共有サービスの写真を補間することにより、思い出のアルバムを簡便に作成できれば、ユーザは全ての写真を撮影しなくても旅行の思い出を記録しておくことができる。
【０００３】
ユーザが思い出のアルバムを作成する際、写真共有サービスを用いて補間したい写真を検索するためには、ユーザは自らキーワードを入力して検索を行う必要がある。画像コンテンツの特徴は、動画コンテンツ或いは音楽コンテンツとは異なり、コンテンツ数が一覧できないほど多く存在することである。例えば、代表的ないくつかの写真共有サービスでは、ユーザが「沖縄」というキーワードのみを入力して検索を行った場合、１０万枚以上の写真が検索される。このような大量の写真の中から、ユーザが思い出として記録したい写真だけを選ぶためには、ユーザは、写真をモニタ等において一覧可能な数まで絞り込む必要がある。すなわち、ユーザは写真を絞り込むために複数のキーワードを組み合わせて入力する必要がある。このような入力作業、選択作業などを個々の思い出に対して行うことは、ユーザにとって非常に操作負担が大きな作業となる。
【０００４】
このような問題に対し、予めサーバに蓄積された観光地の写真を用いて、ユーザが簡便に思い出のアルバムを作成するための方法が提案されている（例えば、特許文献１参照）。特許文献１に記載の方法では、観光地の各写真撮影スポットに設置されたタグリーダを用いて、ユーザは、予めサーバに蓄積された当該ポイントの高品質な写真を読み取る。その結果、ユーザは、自ら全ての写真を撮影すること無く、思い出のアルバムを簡便に作成することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−２１３２１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、ユーザが歩行以外の手段を用いて移動中の場合は、写真撮影スポットに立ち寄って補間する写真を取得できない。そのため、特許文献１に記載の方法では、ユーザは、移動中に見た風景が撮影された写真の中からアルバムに記録したい撮像内容の写真をアルバムに追加することができないという課題がある。
【０００７】
例えば、従来手法ではユーザが電車で移動をしている時に窓から見た風景写真をユーザは取得することはできない。また、ユーザが自動車又は自転車で移動する際も、ユーザは、一度自動車又は自転車から降車してから写真スポットに立ち寄る必要が生じる。そのため、従来手法では、写真を取得するためにユーザに与える負荷が高くなってしまう。
【０００８】
そこで、本発明は、上記課題を解決するものであって、大量に格納された画像コンテンツの中から、ユーザが撮影スポットに立ち寄ることなく、ユーザが選択した画像コンテンツの撮影位置間を補間したい画像を比較的容易に検索することができる画像検索装置及び画像検索方法を提供する。
【課題を解決するための手段】
【０００９】
上記の課題を解決するために、本発明の一態様に係る画像検索装置は、少なくとも２つの補間対象画像のそれぞれが撮影された位置の間を補間するための補間画像を複数の画像の中から検索する画像検索装置であって、第一補間対象画像が撮影された位置である第一撮影位置と第二補間対象画像が撮影された位置である第二撮影位置とが含まれる地理的場所の範囲を補間範囲として算出する補間範囲算出部と、前記補間範囲算出部により算出された補間範囲内に撮影位置が含まれる画像を候補画像として、画像データベースに格納された前記複数の画像の中から取得する補間画像候補取得部と、前記第一撮影位置及び前記第二撮影位置の間の移動速度が大きいほど、画像が撮影されたときの撮像装置と被写体との距離である被写体距離が大きい画像を前記候補画像の中から選択する補間画像選択部と、を備える。
【００１０】
これにより、複数の画像の中からユーザが選択した画像の撮影位置間を補間したい画像を、ユーザが撮影スポットに立ち寄ることなく、比較的容易に検索することが可能となる。また、ユーザの移動速度に応じて必要な画像のみを取得することができるので、ユーザに適した補間画像を検索することが可能となる。例えば、この画像検索装置によって検索された補間画像が出力されれば、ユーザは、自分が撮影した二つの画像が撮影された期間内に体験したできごとが撮影された画像を、他人が撮影した画像を用いて、比較的容易に補間することが可能となる。
【００１１】
さらに、この画像検索装置によって検索された補間画像が出力されれば、タグリーダ等の特別なインフラを構築すること無く、ユーザは補間画像を取得することが可能となる。
【発明の効果】
【００１２】
本発明によると、大量に格納された画像コンテンツの中から、ユーザが撮影スポットに立ち寄ることなく、ユーザが撮影した画像コンテンツの撮影位置間を補間するための画像を比較的容易に検索することができる。
【図面の簡単な説明】
【００１３】
【図１】図１は、本発明の実施の形態１に係る画像検索装置の特徴的な機能構成を示すブロック図である。
【図２】図２は、画像コンテンツ及びコンテンツ付属情報の一例を示す図である。
【図３】図３は、画像データベースの一例を示す図である。
【図４】図４は、入力部の画面例を示す図である。
【図５】図５は、補間範囲の一例を示す図である。
【図６】図６は、本発明の実施の形態１に係る画像検索装置が実行する全体的な処理の流れを示すフローチャートである。
【図７】図７は、図６のステップＳ１０５の詳細な処理の流れを示すフローチャートである。
【図８】図８は、補間画像選択部の処理結果の一例を示す図である。
【図９】図９は、出力部により出力媒体へ出力された画面の一例を示す図である。
【図１０】図１０は、出力部により出力媒体へ出力された画面の一例を示す図である。
【図１１】図１１は、本発明の実施の形態２に係る画像検索装置の特徴的な機能構成を示すブロック図である。
【図１２】図１２は、関連度データベースの一例を示す図である。
【図１３】図１３は、階層化された領域を示す概念図である。
【図１４】図１４は、本発明の実施の形態２に係る画像検索装置が実行する処理の全体的な流れを示すフローチャートである。
【図１５】図１５は、図１４のステップＳ３０１の詳細な処理の流れを示すフローチャートである。
【図１６】図１６は、関連度データベースの一例を示す図である。
【図１７】図１７は、図１４のステップＳ３０１の他の詳細な処理の流れを示すフローチャートである。
【図１８】図１８は、被写体距離データベースの一例を示す図である。
【図１９】図１９は、コンピュータのハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【００１４】
以下、本発明の一態様に係る画像検索装置について、図面を用いて詳細に説明する。なお、説明を簡単にするため、以下の実施の形態では、ユーザが京都に旅行したときに撮影した画像に対して、データベースに蓄積された画像を補間することにより、思い出のアルバムを作成する例を用いて説明する。
【００１５】
（実施の形態１）
図１は、本発明の実施の形態１に係る画像検索装置１００の特徴的な機能構成を示すブロック図である。図１に示すように、画像検索装置１００は、複数の画像の中から補間画像を検索する装置である。ここで、補間画像とは、二つの画像のそれぞれの撮影位置の間を補間するための画像である。具体的には、補間画像とは、二つの画像のそれぞれの撮影位置の間の位置において撮影された画像である。画像検索装置１００は、画像データベース１０１、入力部１０２、補間範囲算出部１０３、補間画像候補取得部１０４、移動速度算出部１０５、補間画像選択部１０６、及び出力部１０７を備える。
【００１６】
以下、図１に示した、画像検索装置１００の各構成要素の詳細について順に説明する。
【００１７】
画像データベース１０１は、例えばハードディスク、メモリ等からなる記憶装置である。画像データベース１０１は、検索対象となる画像コンテンツ２０と、その画像コンテンツ２０に対応するコンテンツ付属情報２１とを記憶しているデータベースである。ここで、画像コンテンツ２０とは、電子媒体に格納された画像を示す。また、コンテンツ付属情報２１とは、画像コンテンツ２０の内容を示す情報である。具体的には、例えば、コンテンツ付属情報２１は、画像撮影時に画像コンテンツ２０へ付加される、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ  ｉｍａｇｅ  ｆｉｌｅ  ｆｏｒｍａｔ）情報（撮影日時、緯度・経度情報など）、及びユーザが撮影後に画像コンテンツ２０へ付加したタグ等の画像情報である。
【００１８】
図２は、画像データベース１０１に記憶されている、画像コンテンツ２０及びコンテンツ付属情報２１の一例を示す図である。図２に示すように、画像データベース１０１は、画像コンテンツ２０に加え、ユーザＩＤ２２、画像ＩＤ２３、画像アドレス２４、撮影日時２５、撮影位置２６、タグ２７、被写体距離２８を含むコンテンツ付属情報２１を記憶している。
【００１９】
ユーザＩＤ２２は、画像コンテンツ２０を撮影したユーザを識別するための情報を示す。画像ＩＤ２３は、画像コンテンツ２０を識別するための情報を示す。画像アドレス２４は、画像コンテンツ２０が保存されている場所の情報を示す。撮影日時２５は、画像コンテンツ２０が撮影された日時を示す。撮影位置２６は、画像コンテンツ２０が撮影された位置を示す。なお、画像コンテンツ２０が撮影された位置は、緯度及び経度により特定される。
【００２０】
被写体距離２８は、画像コンテンツ２０が撮影されたときの被写体までの距離を示す。被写体距離２８は撮影時に自動的にＥｘｉｆ情報として画像に付与される。なお、被写体距離２８が画像に自動的に付与されない場合は、次式を用いて算出された被写体距離ａがコンテンツ付属情報２１に含まれてもよい。
【００２１】
【数１】
2010070804.tif 000024
【００２２】
ここで、ａは被写体距離、ｆは焦点距離、Ｍは撮影倍率である。すなわち、画像データベース１０１に記憶された画像コンテンツの内、被写体距離がＥｘｉｆ情報として付与されていない画像コンテンツに対しては、各画像コンテンツに付与されたＥｘｉｆ情報に含まれる撮影倍率及び焦点距離を式（１）に代入することにより得られる被写体距離ａが、画像データベース１０１に記憶されてもよい。
【００２３】
タグ２７は、画像コンテンツ２０の内容を示す単語（キーワード）を示す。例えば、ユーザは、画像撮影後にタグ２７を手入力する。また、画像検索装置１００は、撮影位置２６に含まれる緯度及び経度の情報に基づいて取得される地域名或いは建物名を、タグ２７として自動的に付加してもよい。また、画像検索装置１００は、撮影日時２５と撮影位置２６と天気データベースとを用いて、天気及び気温の情報をタグ２７として自動的に付加してもよい。また、画像検索装置１００は、画像コンテンツ２０の画素値から得られる画像代表色を、タグ２７として自動的に付加してもよい。また、画像検索装置１００は、画像コンテンツ２０において人物検出を行うことにより検出された人数等の情報を、タグ２７として自動的に付加してもよい。
【００２４】
図３は、画像データベース１０１の一例を示す図である。図３に示すように、画像データベース１０１では、図２に示した各コンテンツ付属情報２１が検索容易となるようにリスト化されている。
【００２５】
なお、本実施の形態では、画像データベース１０１が画像検索装置１００に備えられる事例について説明するが、本発明が適用される画像検索装置は、このような画像検索装置に限定されるものではない。例えば、画像データベース１０１は、画像検索装置とネットワークを介して接続されたサーバ上に備えられてもよい。
【００２６】
また、コンテンツ付属情報２１は、画像コンテンツ２０内に含まれてもよい。
【００２７】
また、画像データベース１０１は、画像間におけるユーザの移動速度をコンテンツ付属情報２１として格納してもよい。移動速度とは、二つの補間対象画像の撮影位置間の距離を、その二つの補間対象画像の撮影時刻の差分時間で除することにより算出される値である。例えば、画像コンテンツ２０の移動速度は、画像コンテンツ２０の次に撮影された画像コンテンツとの撮影位置間の距離を撮影時刻の差分時間で除することにより算出される。そして、算出された移動速度がコンテンツ付属情報２１として記憶される。このように画像間の移動速度は画像データベース１０１に格納されてもよい。また、後述するように、ユーザからの入力を受け付ける度に移動速度算出部１０５が移動速度を算出してもよい。
【００２８】
ここで、図１に示した画像検索装置１００の各構成要素の説明に戻る。
【００２９】
入力部１０２は、例えば、キーボード、マウス等からユーザにより入力された情報をメモリ等に取得する。具体的には、入力部１０２は、ユーザが撮影した画像コンテンツ２０及びその画像ＩＤ２３、並びにそれらの画像コンテンツ２０の中から、ユーザが画像が撮影された位置間の補間を行いたい複数の補間対象画像及び補間対象画像に関する情報（画像ＩＤ２３等）を取得する。そして、入力部１０２は、取得した補間対象画像の画像ＩＤ２３を、補間範囲算出部１０３及び移動速度算出部１０５に通知する。
【００３０】
図４は、入力部１０２の画面例を示す図である。図４に示すように、ユーザは、自分が撮影した画像コンテンツ２０の中から、画像が撮影された位置間の補間を行いたい画像コンテンツ２０（補間対象画像）を複数枚選択する。この例では、ユーザは、京都で撮影された６枚の画像コンテンツ２０の内、第一補間対象画像（清水寺）４０と第二補間対象画像（銀閣寺）４１とを選択している。すなわち、入力部１０２は、ユーザから清水寺と銀閣寺との間の場所の画像を補間する要求を受付けたことになる。
【００３１】
なお、補間対象画像は、必ずしもユーザによって直接選択される必要はない。例えば、画像検索装置は、ユーザの嗜好等に基づいて補間対象画像を推定してもよい。また、例えば、ユーザが観光した場所を入力することにより、画像検索装置は、入力された場所の情報を用いて補間対象画像を選択してもよい。
【００３２】
補間範囲算出部１０３は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、プログラムを格納しているメモリ等からなる。補間範囲算出部１０３は、画像データベース１０１を参照することにより、入力部１０２により取得された画像ＩＤ２３に対応する撮影位置２６及び撮影日時２５を取得する。そして、補間範囲算出部１０３は、取得した撮影位置２６及び撮影日時２５を用いて、補間対象となる場所の範囲を示す補間範囲５２を算出する。つまり、補間範囲算出部１０３は、補間対象画像の撮影位置２６が含まれる場所の範囲を補間範囲として算出する。そして、補間範囲算出部１０３は、補間対象画像の撮影日時２５の経過時間が大きいほど場所の範囲が広くなるように前記補間範囲を算出する。さらに、補間範囲算出部１０３は、算出した補間範囲５２を補間画像選択部１０６へ通知する。具体的な補間範囲算出方法については後述する。
【００３３】
図５は、第一補間対象画像（清水寺）４０と第二補間対象画像（銀閣寺）４１とに基づいて算出される補間範囲５２の一例を示す図である。図５に示すように、矩形の補間範囲５２を算出する場合は、補間範囲算出部１０３は、矩形の対角点の緯度及び経度を範囲情報５０及び範囲情報５１として算出する。
【００３４】
補間画像候補取得部１０４は、例えば、ＣＰＵ、プログラムを格納しているメモリ等からなる。補間画像候補取得部１０４は、補間範囲算出部１０３により算出された補間範囲内において撮影された画像群を検出する。具体的には、補間画像候補取得部１０４は、画像データベース１０１を参照することにより、補間範囲算出部１０３により算出された緯度、経度情報に含まれる画像群の画像ＩＤを取得する。そして、補間画像候補取得部１０４は、取得した画像ＩＤを補間画像選択部１０６へ通知する。
【００３５】
移動速度算出部１０５は、例えば、ＣＰＵ、プログラムを格納しているメモリ等からなる。移動速度算出部１０５は、入力部１０２から取得した補間対象画像間におけるユーザの移動速度を算出する。具体的には、移動速度算出部１０５は、補間対象画像の撮影位置２６間の直線距離を算出する。さらに、移動速度算出部１０５は、補間対象画像の撮影日時２５の差分から時間を算出する。そして、移動速度算出部１０５は、算出された距離を時間で除することにより移動速度を算出する。また、移動速度算出部１０５は、補間対象画像間の撮影位置情報と算出した移動速度情報とを補間画像選択部１０６へ通知する。ここで移動速度とは、補間対象画像を同一ユーザが撮影した場合には、一方の補間対象画像の撮影位置から他方の補間対象画像の撮影位置へ当該ユーザが移動した速度である。具体的には、移動速度は、二つの補間対象画像の撮影位置間の距離を、その二つの補間対象画像の撮影時刻の差分時間で除することにより算出される値である。
【００３６】
補間画像選択部１０６は、例えば、ＣＰＵ、プログラムを格納しているメモリ等からなる。補間画像選択部１０６は、補間画像候補取得部１０４から取得した画像ＩＤと移動速度算出部１０５から取得した撮影位置情報及び移動速度情報と画像データベース１０１を用いて、補間画像候補取得部１０４から取得した画像群の中からユーザの移動速度に応じて必要な画像だけを選択する。つまり、補間画像選択部１０６は、移動速度算出部１０５により算出された移動速度が大きいほど被写体距離が大きい画像だけが選択されるように、補間画像候補取得部１０４により取得された候補画像の中から補間画像を選択する。具体的には、補間画像選択部１０６は、移動速度が予め定められた閾値以下の場合には補間画像候補取得部１０４から取得した画像群を全て選択する。一方、補間画像選択部１０６は、移動速度が予め定められた閾値より大きい場合には、補間画像候補取得部１０４から取得した画像群の中から被写体距離が予め定められた閾値以上の写真（遠景写真）だけを取得する。そして、補間画像選択部１０６は、選択した画像の画像ＩＤを出力部１０７に通知する。なお、補間画像選択部１０６は、入力部１０２から取得した補間対象画像間におけるユーザの移動速度を、画像データベース１０１から取得してもよい。また、具体的な補間画像選択方法に関しては後述する。
【００３７】
以下に、補間画像選択部１０６が、移動速度が大きいほど被写体距離が大きい画像を選択する理由について述べる。撮影者の移動速度が比較的遅い場合（歩行など）、撮影者は近距離の被写体、遠距離の被写体の両方を鑑賞することができる。そのため、被写体距離が小さい画像である近景画像と被写体距離が大きい画像である遠景画像との両方の画像が撮影者の経験と合致し、補間画像となり得る。一方、移動速度が比較的速い場合（自動車、電車など）には、撮影者は近距離にある被写体をじっくりと鑑賞することはできない。従って、移動速度が速い場合には、近景画像はユーザが補間したい画像に合致しない。そのため、補間画像選択部１０６は、移動速度が遅い場合には遠景画像及び近景画像の両方の画像を選択し、移動速度が速い場合には遠景画像だけを選択する。その結果、画像検索装置１００は、ユーザが補間したい画像に合致した画像だけを検索することが可能になる。
【００３８】
出力部１０７は、補間画像選択部１０６により取得された画像コンテンツ２０を出力媒体へ出力する。出力媒体は、例えば液晶ディスプレイ、テレビなどのモニタである。
【００３９】
次に、以上のように構成された画像検索装置１００の動作について説明する。
【００４０】
図６は、画像検索装置１００が実行する処理の全体的な流れを示すフローチャートである。
【００４１】
まず、入力部１０２は、ユーザが撮影した画像コンテンツ２０の画像ＩＤ２３、及びそれらの画像ＩＤ２３の中からユーザが補間を行いたい複数の補間対象画像の画像ＩＤ２３を受け取る。そして、入力部１０２は、受け取った補間対象画像の画像ＩＤ２３を補間範囲算出部１０３及び補間画像候補取得部１０４に通知する（ステップＳ１０１）。
【００４２】
次に、補間範囲算出部１０３は、入力部１０２から通知された補間対象画像の画像ＩＤ２３に対応する撮影位置２６及び撮影日時２５を、画像データベース１０１から取得する。そして、補間範囲算出部１０３は、取得した撮影位置２６及び撮影日時２５を用いて、補間対象となる場所の範囲を示す補間範囲を算出する。さらに、補間範囲算出部１０３は、算出した補間範囲を、補間画像候補取得部１０４へ通知する（ステップＳ１０２）。
【００４３】
具体的には、例えば補間範囲算出部１０３は、補間対象画像の撮影位置２６（緯度、経度）の重心を中心とし、かつ、補間対象画像の撮影日時２５から得られる経過時間に比例した距離を半径とする範囲を補間範囲として算出する。ここで、経過時間は、補間対象画像の撮影日時２５の差分である。なお、補間対象画像が３以上ある場合、経過時間は、補間対象画像の撮影日時２５の内、最も古い撮影日時２５と最も新しい撮影日時２５との差分とする。
【００４４】
また、補間範囲算出部１０３は、予め設定された複数の範囲の中から、補間対象画像の撮影位置２６（緯度、経度）が含まれる範囲を補間範囲として選択してもよい。この場合、補間範囲算出部１０３は、補間対象画像の経過時間に応じて、選択した範囲に隣接する範囲を補間範囲に加えてもよい。
【００４５】
また、補間対象画像の撮影日時２５から得られる経過時間が所定の閾値以上の場合は、補間範囲算出部１０３は、ユーザが補間範囲を指定できるようにするために、図５に示すような領域をユーザに提示してもよい。これにより、補間範囲算出部１０３は、補間範囲が大きくなりすぎること及び補間範囲の算出間違いを防ぐことができる。
【００４６】
次に、補間画像候補取得部１０４は、補間範囲算出部１０３により算出された補間範囲に含まれる画像群を検出し、補間画像選択部１０６へ通知する（ステップＳ１０３）。具体的には、画像データベース１０１を参照することにより、補間範囲算出部１０３により算出された緯度、経度情報に含まれる画像群の画像ＩＤを取得する。
【００４７】
次に、移動速度算出部１０５は、入力部１０２から取得した各補間対象画像の撮影日時２５と撮影位置２６とを用いて、各補間対象画像間におけるユーザの移動速度を算出し、補間対象画像の撮影位置情報と算出した速度情報を補間画像選択部１０６へ通知する（ステップＳ１０４）。
【００４８】
具体的には、例えば、移動速度算出部１０５は、図４の第一補間対象画像（清水寺）４０及び第二補間対象画像（銀閣寺）４１の撮影位置の差分から撮影位置間の距離ｘを算出する。一方、移動速度算出部１０５は、撮影時間の差分から時間ｔを算出する。そして、移動速度算出部１０５は、距離ｘを時間ｔで除することにより移動速度を算出する。
【００４９】
なお、移動速度算出部１０５は、別途用意された地図データベースを用い、撮影位置間を結ぶルート検索を行い、検索されたルートに沿った距離ｘを算出してもよい。これにより、移動速度算出部１０５は、撮影位置間の距離をより正確に算出することができる。そのため、移動速度算出部１０５は、移動速度の算出精度を高めることができ、移動速度の誤算出により不必要な補間画像をユーザに提示することを防ぐことができる。
【００５０】
次に、補間画像選択部１０６は、移動速度算出部１０５から通知された補間対象画像の撮影位置情報と速度情報から、移動速度に適合した候補画像を補間画像として選択し、出力部１０７に通知する（ステップＳ１０５）。
【００５１】
最後に、出力部１０７は、補間画像選択部１０６により取得された補間画像を出力媒体へ出力する（ステップＳ１０６）。
【００５２】
図７は、補間画像選択部１０６による補間画像選択の処理（図６のステップＳ１０５）の詳細な処理の流れを示すフローチャートである。以下、図７を用いて移動速度に適合した画像選択方法について説明する。
【００５３】
まず、補間画像選択部１０６は、補間画像候補取得部１０４から候補画像の画像ＩＤを取得する（ステップＳ２０１）。
【００５４】
次に、補間画像選択部１０６は、移動速度算出部１０５からユーザの移動速度を取得する（ステップＳ２０２）。
【００５５】
次に、補間画像選択部１０６は、移動速度が予め定められた閾値より大きいか否かを判別する（ステップＳ２０３）。ここで、移動速度が閾値より大きい場合は（ステップＳ２０３のＹｅｓ）、ステップＳ２０４に進む。一方、移動速度が閾値以下の場合は（ステップＳ２０３のＮｏ）、ステップＳ２０５に進む。なお、移動速度の閾値には、例えば標準的な人の限界歩行速度（約１２ｋｍ／時）が用いられればよい。これにより、補間画像選択部１０６は、ユーザが補間対象画像の撮影位置間を歩いて移動しているか否かを判断することができる。
【００５６】
次に、補間画像選択部１０６は、ステップＳ２０１において取得した候補画像の中から補間画像として被写体距離が閾値以上の画像のみを選択する（ステップＳ２０４）。被写体距離の閾値には、例えば設計者により「１０ｍ」と設定されればよい。前述のように、移動速度が速い場合（自動車、電車など）には、撮影者は近距離にある被写体をじっくりと鑑賞することはできない。従って、移動速度が速い場合には、近景画像はユーザが補間したい画像に合致しない。そのため、補間画像選択部１０６は、移動速度が速い場合には遠景画像だけを補間画像として選択することにより、ユーザが補間したい画像に合致した画像だけを選択することが可能になる。
【００５７】
次に、補間画像選択部１０６は、ステップＳ２０１において取得した全ての候補画像を補間画像として選択する（ステップＳ２０５）。撮影者の移動速度が遅い場合（歩行など）、撮影者は近距離の被写体、遠距離の被写体の両方を鑑賞することができる。そのため、近景画像と遠景画像の両方の画像が撮影者の経験と合致し、補間画像となり得る。よって、移動速度が遅い場合には、補間画像選択部１０６は、遠景画像及び近景画像の両方の画像を選択することにより、ユーザが補間したい画像に合致した画像を選択することが可能になる。
【００５８】
図８は、ステップＳ２０１〜Ｓ２０５の処理により、移動速度に応じて異なる補間画像が選択される、補間画像選択部１０６の処理結果の一例を示す図である。前提条件として、ユーザが図４に示す第一補間対象画像（清水寺）４０、及び第二補間対象画像（銀閣寺）４１を選択し、補間範囲が図５に示す補間範囲５２であるとする。そして、画像データベース１０１に存在する画像のうち撮影位置が補間範囲５２に含まれる画像が候補画像８０であるとする。この時、ステップＳ２０３において第一補間対象画像（清水寺）４０、及び第二補間対象画像（銀閣寺）４１の撮影時刻から算出したユーザの移動速度が閾値（１２ｋｍ／ｈ）以下の場合、補間画像（低速移動時）８１は全ての候補画像が選択される。すなわち、移動速度が「３ｋｍ／ｈ」である場合、補間画像選択部１０６は、補間画像（低速移動時）８１を選択する。一方、移動速度が閾値（１２ｋｍ／ｈ）以上の場合、補間画像（高速移動時）８２は候補画像の中から被写体距離が閾値（２０ｍ）以上の画像のみが選択される。すなわち、移動速度が「３０ｋｍ／ｈ」である場合、補間画像選択部１０６は、補間画像（高速移動時）８２を選択する。
【００５９】
以上のステップＳ２０１〜Ｓ２０５の処理が実行されることにより、補間画像選択部１０６はユーザの移動速度に適合した画像のみを補間画像として選択することができる。
【００６０】
図９及び図１０は、出力部１０７により出力媒体へ出力された画面の一例を示す図である。図９に示すように、出力部１０７は、補間画像を地図上などに一覧表示してもよい。また、図１０に示すように、出力部１０７は、補間画像を撮影位置の近い順にスライドショー形式で表示してもよい。
【００６１】
以上、図６に示すステップＳ１０１〜ステップＳ１０６の処理が実行されることにより、画像検索装置１００は、補間画像の撮像内容を推定することができるため、大量に格納された画像の中から、自分と類似した撮影を行うユーザの画像を補間画像として取得することができる。
【００６２】
すなわち、本実施の形態に係る画像検索装置１００は、画像データベース１０１に格納された画像の中から、補間画像を選択することが可能となるので、ユーザは撮影スポットに立ち寄ることなく、補間画像を取得することが可能となる。また、画像検索装置１００は、画像の撮影位置間の移動速度が大きいほど被写体距離が大きい画像を選択することができるので、ユーザが補間したい画像を効率的に検索することが可能となる。
【００６３】
（実施の形態２）
次に、本発明の実施の形態２に係る画像検索装置２００について説明する。
【００６４】
本実施の形態の画像検索装置２００は、候補画像の中からユーザの撮影嗜好に関連性の高い画像を抽出して提示する点に特徴を有する。ここで、撮影嗜好とは、撮影する被写体の好みや、画像の色、画角等の画質の好みを示す。
【００６５】
上述の実施の形態１に係る画像検索装置１００は、撮影位置が補間範囲に含まれる画像の中からユーザの移動速度に適合した画像を取得し、取得した全ての画像を補間画像として選択した。しかし、この方法では提示対象となる補間画像が提示許容枚数を超えてしまった場合、画像検索装置１００は、提示対象の補間画像の中からユーザの撮影嗜好に、より適合した補間画像を提示できない可能性が生じてしまう。例えば、ユーザが「庭」をテーマにした写真を多く撮影するユーザである場合を考える。補間画像として被写体が「庭」の画像と「建物」の画像があり、画像検索装置がどちらか一方しか提示できない場合、画像検索装置は、ユーザの嗜好が分からなければ「庭」の画像を提示できるとは限らない。そこで、画像検索装置は、ユーザが撮影した画像からユーザの撮影嗜好が分かれば、提示対象の補間画像の中からユーザの撮影嗜好と関連性の高い画像を優先的に提示することができ、ユーザの利便性を向上させることができる。
【００６６】
そこで本実施の形態における画像検索装置２００は、ユーザの撮影した画像のタグ、撮影時間、撮影位置などを用いてユーザの撮影嗜好と関連性の高い画像を抽出する。なお、本実施例では、実施の形態１と同じく、撮影者が京都旅行において撮影した画像に対して、サーバ上に蓄積された画像を補間し、思い出となるアルバムを作成する例を用いて説明する。
【００６７】
以下、初めに図１１を参照しながら、画像検索装置の各構成について順に説明する。
【００６８】
（実施の形態２の各構成の説明）
図１１は、本発明の実施の形態２に係る画像検索装置２００の特徴的な機能構成を示すブロック図である。図１１において、図１と同じ構成要素については同じ符号を付し、説明を省略する。図１１に示す画像検索装置２００が図１に示す画像検索装置１００と相違する点は、画像データベース１０１に登録されている画像コンテンツのコンテンツ付属情報間の関連性の高さを示す関連度を記憶している関連度データベース２０１と、補間画像選択部１０６により選択された補間画像の中からユーザの撮影嗜好と関連性の高い画像を抽出する関連画像抽出部２０２を有する点である。
【００６９】
関連度データベース２０１は、例えばハードディスク、メモリ等からなる記憶装置である。関連度データベース２０１は、画像コンテンツ２０間の関連性の高さを示す関連度を記憶している。具体的には、画像コンテンツ２０の被写体情報間の関連度を記憶している。ここで、被写体情報とは、ユーザが撮影した画像コンテンツ２０における被写体を表す単語（キーワード）の情報である。具体的には、被写体情報は、例えば、タグ２７に設定された被写体の名称、被写体が存在する地域の名称、被写体の数、被写体の色などである。
【００７０】
また、関連度データベース２０１は、被写体情報の関連度を、領域単位で記憶している。具体的には、関連度データベース２０１は、領域毎に、当該領域に属する画像コンテンツ２０のタグ２７間の関連度を記憶している。ここで、領域とは、都道府県、市町村、５０ｋｍ四方などに基づいて分割された場所を示す。
【００７１】
また、関連度は、例えば「ドキュメント中に出現する単語間の関連性に基づく連想検索のためのメタデータ空間生成方式」（非特許文献１：本間秀典ら、第１６回データ工学ワークショップ（ＤＥＷＳ２００５）、６Ａ−ｏ２、電子情報通信学会、２００５）に記載の方法等を利用して算出される。
【００７２】
図１２は、京都市東山区及び左京区周辺の領域の関連度データベース２０１の一例を示す図である。図１２に示す関連度データベース２０１では、行方向と列方向とが交差する位置に、行方向のタグ２７と列方向のタグ２７との関連度が記憶されている。この関連度は、各領域に属する画像コンテンツ２０のタグ２７間の共起に基づいて算出される。
【００７３】
ここで、画像コンテンツ２０が領域に属するか否かは、当該画像コンテンツ２０の撮影位置２６に基づいて判断される。
【００７４】
なお、関連度データベース２０１における領域は、複数に階層化されてもよい。例えば、関連度データベース２０１は、同じ地点に対して小領域、中領域、及び大領域の３段階の領域を用いてタグ２７の関連度を記憶していてもよい。
【００７５】
図１３は、階層化された領域を示す概念図である。図１３に示すように、関連度データベース２０１は、京都府に属する画像コンテンツ２０のタグ２７間の関連度を、都道府県単位の領域を示す大領域１３０に対応する関連度として記憶してもよい。また、関連度データベース２０１は、京都市に属する画像コンテンツ２０のタグ２７間の関連度を、市町村単位の領域を示す中領域１３１に対応する関連度として記憶してもよい。また、関連度データベース２０１は、下京区等に属する画像コンテンツ２０のタグ２７間の関連度を、区単位の領域を示す小領域１３２に対応する関連度として記憶してもよい。このように、関連度データベース２０１において関連度を記憶する領域を階層化することにより、後述する関連画像抽出部２０２は、ユーザが画像を補間したい領域に応じて、関連度データベース２０１において関連度を取得する領域を選択することができる。その結果、関連画像抽出部２０２は、ユーザが補間したい画像の撮像内容を、正確に推定することが可能となる。
【００７６】
関連画像抽出部２０２は、例えば、ＣＰＵ、プログラムを格納しているメモリ等からなる。関連画像抽出部２０２は、画像データベース１０１と関連度データベース２０１を用いて、補間画像選択部１０６から取得した補間画像の中からユーザの撮影画像と関連性の高い関連画像を抽出し、抽出した画像の画像ＩＤを出力部１０７に通知する。なお、具体的な関連画像抽出方法に関しては後述する。
【００７７】
関連画像とは、ユーザが撮影した画像に付与された画像情報と関連性の高い画像と定義する。例えば、ユーザが撮影した画像に付与したタグと関連性の高いタグを持つ画像はその一例である。画像に付与されたタグは被写体や被写体についての印象を示す情報である。これらの被写体に関する情報が合致する画像は、ユーザの嗜好と関連性の高い画像であると言える。
【００７８】
また、ユーザが撮影した画像の撮影条件（撮影時間、色情報（ホワイトバランス、ＲＧＢ比率）、絞り、被写体距離、解像度、Ｆ値、シャッタースピードなどの画像情報）と関連性の高い画像も関連画像に含まれる。タグと同様に、撮影条件にはユーザの嗜好が反映されている。そのため、撮影条件が合致する画像は、ユーザの嗜好と関連性の高い画像であると言える。
【００７９】
次に、図１４のフローチャートを参照しながら、図１１に示される画像検索装置２００において行われる全体的な処理の流れを説明する。
【００８０】
図１４は、画像検索装置２００が実行する処理の全体的な流れを示すフローチャートである。なお、図１４において、図６に示される、実施の形態１の画像検索装置１００の処理と同じ処理が実行されるステップについては同じ符号を付している。
【００８１】
本実施の形態の画像検索装置２００では、画像データベース１０１に登録された画像が持つタグ間の関連度が記憶された関連度データベース２０１を用いてユーザが撮影した画像と関連性の高い画像を抽出する処理が、実施の形態１の画像検索装置１００における処理と異なっている。しかし、その他の処理は実施の形態１の画像検索装置１００の処理と同じである。具体的には、図１４において、画像検索装置２００が実行する、ステップＳ１０１〜Ｓ１０６の処理は、図６に示す実施の形態１の画像検索装置１００の処理と同じため、説明を省略する。
【００８２】
関連画像抽出部２０２は、画像データベース１０１と、関連度データベース２０１を用いて、補間画像選択部１０６から通知された補間画像の中からユーザの撮影嗜好に関連性の高い画像を抽出する（ステップＳ３０１）。
【００８３】
図１５は、関連画像抽出部２０２による画像抽出の処理（図１４のステップＳ３０１）の詳細な処理の流れを示すフローチャートである。以下、図１５を用いてユーザの撮影嗜好と関連性の高い画像を抽出する画像抽出方法について説明する。
【００８４】
まず初めに、関連画像抽出部２０２は、画像データベース１０１からステップＳ１０１において取得された補間対象画像（以下、ユーザが撮影した画像又はユーザ撮影画像ともいう。）に付与された全てのタグを取得する（ステップＳ４０１）。以下、ステップＳ４０１において取得されたタグをタグ集合Ａと呼ぶ。
【００８５】
次に、関連画像抽出部２０２は、補間画像選択部１０６から補間画像の画像ＩＤを取得する（ステップＳ４０２）。
【００８６】
次に、関連画像抽出部２０２は、ステップＳ４０２において取得した補間画像の画像ＩＤの中から１つの画像ＩＤを選択する（ステップＳ４０３）。つまり、関連画像抽出部２０２は、補間画像を１枚選択する。
【００８７】
次に、関連画像抽出部２０２は、ステップＳ４０３において取得した画像ＩＤに対応するタグを画像データベース１０１から取得する（ステップＳ４０４）。以下、ステップＳ４０４において取得されたタグをタグ集合Ｂと呼ぶ。
【００８８】
次に、関連画像抽出部２０２は、ステップＳ４０１において取得されたタグ集合ＡとステップＳ４０４において取得されたタグ集合Ｂの関連度を算出する（ステップＳ４０５）。ここで、関連画像抽出部２０２は、タグ集合Ａの撮影位置２６が属する領域の関連度データベース２０１を参照することにより、タグ集合Ａに含まれるタグ２７に対するタグ集合Ｂの関連度をそれぞれ取得する。そして、関連画像抽出部２０２は、取得したタグ間の関連度を総加算することにより、タグ集合Ａとタグ集合Ｂの関連度を算出する。タグ集合Ａはユーザが自ら撮影した画像に付与したタグであり、これらのタグにはユーザの画像に対する嗜好や写真に対する観点が反映されている。一方、タグ集合Ｂはユーザ以外の人が撮影した画像に対してユーザ以外の人が付与したタグであり、これらのタグにはユーザ以外の人の嗜好や観点が反映されている。すなわち、タグ集合Ａと関連度が大きいタグ集合Ｂを含む画像は、ユーザの嗜好と関連性の高い画像だと言える。
【００８９】
図１６は、ステップＳ４０３において選択された補間画像タグ１６０（「平安神宮」、「鳥居」及び「赤」（タグ集合Ｂ））と、ステップＳ４０１において取得された撮影画像タグ１６１（「銀閣寺」、「庭園」及び「清水寺」（タグ集合Ａ））との関連度が記憶された関連度データベース２０１の一例を示す図である。以下、図１６を用いてステップＳ４０５において関連画像抽出部２０２が補間画像とユーザ撮影画像との関連度を算出する一例について説明する。
【００９０】
図１６において、タグ集合Ｂの「平安神宮」とタグ集合Ａ（「銀閣寺」、「庭園」、「清水寺」）の関連度は、「平安神宮」とタグ集合Ａの各タグとの関連度（斜線領域１３３）を加算することにより、算出することができる。図１６に示す例では、「平安神宮」とタグ集合Ａとの関連度は、０．０＋０．３＋０．１＝０．４となる。同様に「鳥居」とタグ集合Ａの関連度は０．５、「赤」とタグ集合Ａの関連度は０．５となる。ここで、各々算出した関連度を加算すると０．４＋０．５＋０．５＝１．４となり、この値が画像（ステップＳ４０３において選択された補間画像）とステップＳ１０１において取得された補間対象画像の関連度の値となる。このように、ユーザ撮影画像と補間画像との関連度は、関連画像抽出部２０２が関連度データベース２０１を参照することにより得られる、両画像に付与されたタグ同士の関連度を全て足し合わせることにより算出される。
【００９１】
次に、関連画像抽出部２０２は、ステップＳ４０５において算出された関連度をステップＳ４０３において選択された補間画像の画像ＩＤとともに、画像ＩＤ−関連度リストに格納する（ステップＳ４０６）。
【００９２】
次に、関連画像抽出部２０２は、ステップＳ４０２において取得された補間画像がステップＳ４０３において全て選択されたか否かを判定する（ステップＳ４０７）。
【００９３】
ここで、全ての補間画像が選択されている場合（ステップＳ４０７のＹｅｓ）、関連画像抽出部２０２は、補間画像−関連度リストの中から関連度が上位の画像を出力可能枚数に至るまで抽出する（ステップＳ４０８）。つまり、関連画像抽出部２０２は、補間画像−関連度リストにおいて関連度が大きな順から補間画像を並べた場合に、出力可能枚数と同一の順番に現れる補間画像の関連度以上となる補間画像を抽出する。ここで、出力可能枚数とは、出力媒体の記憶容量、表示領域等により定まる、出力部１０７が出力可能な画像の枚数である。
【００９４】
一方、全ての補間画像が選択されていない場合（ステップＳ４０７のＮｏ）、関連画像抽出部２０２は、ステップＳ４０３〜Ｓ４０６の処理を繰り返す。
【００９５】
以上、ステップＳ４０１〜Ｓ４０８の処理が実行されることにより、関連画像抽出部２０２は、補間画像選択部１０６により取得された補間画像の中から、ユーザの撮影嗜好と関連性の高い補間画像を抽出することができる。
【００９６】
以上、ステップＳ１０１〜ステップＳ１０６、ステップＳ３０１の処理が実行されることにより、画像検索装置２００は、補間画像選択部１０６により選択された補間画像の枚数が提示可能な枚数を超えた場合においても、ユーザの撮影嗜好と関連性の高い画像を優先的に提示することができる。
【００９７】
すなわち、本実施の形態に係る画像検索装置２００は、被写体情報間の関連度が格納された関連度データベースを参照することにより、補間対象画像と被写体の関連性が高い補間画像を抽出することができるので、ユーザが補間したい画像をさらに効率的に検索することが可能となる。さらに、画像検索装置２００は、領域ごとに関連度が記憶された関連度データベースを参照することにより、補間対象画像の撮影位置に応じた関連度を取得することができるので、ユーザが補間したい画像をさらに効率的に検索することが可能となる。
【００９８】
なお、ステップＳ３０１において、関連画像抽出部２０２は、画像データベース１０１を用いて、補間画像選択部１０６から通知された補間画像の中からユーザが撮影した画像（入力部１０２により取得された画像）の撮影条件と関連性（以下、類似度ともいう。）の高い画像を抽出してもよい。ユーザの撮影嗜好には、被写体以外に撮影条件も反映される。ここで、撮影条件とは、色情報（ホワイトバランス、ＲＧＢ比率）、絞り、被写体距離、解像度、Ｆ値、シャッタースピードなどの撮影時に画像に自動的に付与される撮影パラメータを示す。
【００９９】
図１７は、関連画像抽出部２０２による、ユーザが撮影した画像の撮影条件と類似度の高い画像を抽出する処理の流れを示すフローチャートである。以下、図１７を用いてユーザの撮影条件と関連性の高い画像を抽出する画像抽出方法について説明する。
【０１００】
まず初めに、関連画像抽出部２０２は、画像データベース１０１を参照することにより、ユーザが撮影した画像（ステップＳ１０１において取得された画像）に付与されている撮影パラメータを取得する（ステップＳ５０１）。撮影パラメータとは、色情報（ホワイトバランス、ＲＧＢ比率）、絞り、被写体距離、解像度、Ｆ値、シャッタースピード等、各画像に対して撮影時に自動的に付加される情報のことである。
【０１０１】
次に、関連画像抽出部２０２は、ステップＳ５０１において取得した撮影パラメータの代表値（Ｐ１）をそれぞれ算出する（ステップＳ５０２）。代表値とは、各パラメータにおける全画像の平均値や中央値又は最頻値である。
【０１０２】
次に、関連画像抽出部２０２は、補間画像選択部１０６により選択された補間画像を取得する（ステップＳ５０３）。
【０１０３】
次に、関連画像抽出部２０２は、ステップＳ５０３において取得した補間画像の中から１枚の画像を選択する（ステップＳ５０４）。
【０１０４】
次に、関連画像抽出部２０２は、画像データベース１０１を参照することにより、ステップＳ５０４において取得した補間画像の撮影パラメータ（Ｐ２）を取得する（ステップＳ５０５）。
【０１０５】
次に、関連画像抽出部２０２は、ステップＳ５０２において算出した撮影パラメータの代表値（Ｐ１）と、ステップＳ５０５から取得した撮影パラメータ（Ｐ２）を用いて、ユーザ撮影画像の撮影パラメータと選択した補間画像との類似度ｅを算出する（ステップＳ５０６）。類似度ｅは、例えば、下式（２）を用いて算出することができる。
【０１０６】
【数２】
2010070804.tif 000025
【０１０７】
ここで、ｎは比較する撮影パラメータの種類数、Ｐ１ｉはＰ１のｉ番目の撮影パラメータ、Ｐ２ｉはＰ２のｉ番目の撮影パラメータを示す。式（２）から明らかなように、Ｐ１、Ｐ２の各パラメータの差分値をＰ１のパラメータ値を用いて正規化された値の総和が類似度ｅとして算出される。したがって、類似度ｅの値が０に近いほど、ユーザ撮影画像とステップＳ５０４において選択された補間画像との撮影パラメータが類似しているということになる。すなわち、類似度ｅの値が０に近いほど、ステップＳ１０１において取得された画像とステップＳ５０４において選択された補間画像との撮影条件の関連性が高い。
【０１０８】
次に、関連画像抽出部２０２は、ステップＳ５０４において選択された補間画像とステップＳ５０６において算出した類似度との組み合わせをリスト化して記憶する（ステップＳ５０７）。
【０１０９】
次に、関連画像抽出部２０２は、ステップＳ５０３において取得した補間画像に対して、ステップＳ５０４において全て選択したか否かを判定する（ステップＳ５０８）。画像検索装置２００は、全て選択した場合（ステップＳ５０８のＹｅｓ）、ステップＳ５０９へ進み、全て選択していない場合（ステップＳ５０８のＮｏ）、ステップＳ５０４へ進む。
【０１１０】
次に、関連画像抽出部２０２は、ステップＳ５０７において記憶された補間画像と類似度とのリストを参照することにより、類似度の高い画像を出力可能枚数分抽出する（ステップＳ５０９）。
【０１１１】
以上のステップＳ５０１〜５０９の処理が実行されることにより、関連画像抽出部２０２は、補間画像選択部１０６により取得された補間画像の中から、ユーザの撮影条件と関連性の高い補間画像を抽出することができる。
【０１１２】
すなわち、画像検索装置２００は、補間対象画像と撮影条件の関連性が高い補間画像を抽出することができるので、ユーザが補間したい画像をさらに効率的に検索することが可能となる。
【０１１３】
以上、本発明の一態様に係る画像検索装置について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、異なる実施の形態における構成要素を組み合わせて構築される形態なども、本発明の範囲内に含まれる。
【０１１４】
例えば、上記実施の形態では、画像検索装置１００、２００は、画像データベース１０１、入力部１０２、移動速度算出部１０５、及び出力部１０７などを備えていたが、これらを必ずしも備えていなくてもよい。
【０１１５】
その場合、補間範囲算出部１０３は、外部の装置等からネットワーク等を介して、複数の補間対象画像（第一画像及び第二画像を含む。）と、各補間対象画像に関する情報（第一情報及び第二情報を含む。）とを取得すればよい。また、補間画像候補取得部１０４及び補間画像選択部１０６は、ネットワーク等を介して、サーバ等が備える画像データベースを参照すればよい。さらに、補間画像選択部１０６は、各補間対象画像の撮影位置間の移動速度を、画像データベース、あるいは各補間対象画像に関する情報等から取得すればよい。これにより、画像検索装置は、移動速度算出部１０５等を備えなくとも、複数の画像の中からユーザが選択した画像の撮影位置間を補間したい画像を、ユーザが撮影スポットに立ち寄ることなく、比較的容易に検索することが可能となる。
【０１１６】
また、上記実施の形態に係る画像検索装置は、移動速度を予め定められた閾値と比較することにより被写体距離の閾値を決定していたが、本発明に係る画像検索装置はこのような画像検索装置に限定されるものではない。例えば、本発明の一態様に係る画像検索装置は、移動速度と被写体距離との関係が格納されたテーブルを記憶している被写体距離データベースを参照することにより、被写体距離の閾値を決定しても良い。
【０１１７】
図１８は、被写体距離データベースの一例を示す図である。図１８に示すように、被写体距離データベースには、移動速度に対する被写体距離の閾値が格納されている。例えば、移動速度が「２０ｋｍ／ｈ」である場合、画像検索装置は、被写体距離が「１０ｍ」以上の画像を補間画像として選択する。ここで、被写体距離データベースに同一の移動速度が存在しない場合には、画像検索装置は、被写体距離データベースに格納されている最も近い値の移動速度に対する被写体距離の閾値を利用すれば良い。なお、本発明の一態様に係る画像検索装置は、被写体距離データベースの代わりに、移動速度と被写体距離との関係が示された数式を利用して被写体距離の閾値を決定しても良い。
【０１１８】
また、上記実施の形態２に係る画像検索装置は、補間画像選択部が選択した補間画像の中から関連画像抽出部が画像を抽出していたが、本発明に係る画像検索装置はこのような画像検索装置に限定されるものではない。例えば、本発明の一態様に係る画像検索装置において、関連画像抽出部は、候補画像の中から画像を抽出しても良い。そして、補間画像選択部は、関連画像抽出部により抽出された画像の中から補間画像を選択しても良い。
【０１１９】
また、上記実施の形態において、被写体距離はコンテンツ付属情報２１に含まれていたが、補間画像選択部１０６が式（１）を用いて被写体距離を算出しても良い。
【０１２０】
なお、本発明は、このような画像検索装置の特徴的な構成要素が行う処理を実行する画像検索方法として実現したり、その方法を図１９に示すようなコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体、インターネット等の伝送媒体を介して配信することができる。
【０１２１】
図１９は、コンピュータのハードウェア構成の一例を示す図である。複数の画像の中から補間画像を検索するためのプログラムは、例えば、コンピュータが読取可能な媒体であるＣＤ−ＲＯＭ５１５に記憶され、ＣＤ−ＲＯＭ装置５１４を介して読み出される。また例えば、複数の画像の中から補間画像を検索するためのプログラムは、有線若しくは無線ネットワーク、又は放送などを介して伝送される。
【０１２２】
コンピュータ５００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）５０１、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）５０２、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）５０３、ハードディスク５０４、通信インタフェース５０５等を備える。
【０１２３】
ＣＰＵ５０１は、ＣＤ−ＲＯＭ装置５１４を介して読み出されたプログラム、又は通信インタフェース５０５を介して受信したプログラムを実行する。具体的には、ＣＰＵ５０１は、ＣＤ−ＲＯＭ装置５１４を介して読み出されたプログラム、又は通信インタフェース５０５を介して受信したプログラムをＲＡＭ５０３に展開する。そして、ＣＰＵ５０１は、ＲＡＭ５０３に展開されたプログラム中のコード化された各命令を実行する。
【０１２４】
ＲＯＭ５０２は、コンピュータ５００の動作に必要なプログラム及びデータを記憶する読み出し専用メモリである。ＲＡＭ５０３は、ＣＰＵ５０１がプログラムを実行するときにワークエリアとして使用される。具体的には、ＲＡＭ５０３は、例えば、プログラム実行時のパラメータなどのデータを一時的に記憶する。ハードディスク５０４は、プログラム、データなどを記憶する。
【０１２５】
通信インタフェース５０５は、ネットワークを介して他のコンピュータとの通信を行なう。バス５０６は、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ハードディスク５０４、通信インタフェース５０５、ディスプレイ５１１、キーボード５１２、マウス５１３及びＣＤ−ＲＯＭ装置５１４を相互に接続する。
【０１２６】
上述したように本発明の一態様に係る画像検索装置は、大量に格納された画像コンテンツの中からユーザが補間したい画像を比較的容易に検索することができる画像検索装置として利用できる。
【０１２７】
例えば、本発明の一態様に係る画像検索装置は、Ｗｅｂ上等において画像データが大量に記憶されたデータベースからユーザが補間したい画像を検索して思い出アルバムを自動的に作成する装置として、利用できる。
【０１２８】
また、従来の方法では、全ての観光地の写真撮影スポットにタグリーダが設置されなくてはならないため、比較的大きなインフラコストが必要になるという課題がある。例えば京都、沖縄などのように、撮影する地点が複数存在する観光地の場合は、その地点毎にタグリーダを設置するコストが必要となる。また、設置された複数のタグリーダをメンテナンスするコストも必要となる。
【０１２９】
これに対して、上記実施の形態に記載の画像検索装置が用いられれば、特別なインフラを用意することが無いという効果も奏する。
【産業上の利用可能性】
【０１３０】
本発明は、大量に格納された画像コンテンツの中からユーザが撮影した画像コンテンツの撮影位置間を補間するための画像コンテンツを検索する画像検索装置として利用可能である。
【符号の説明】
【０１３１】
２０  画像コンテンツ
２１  コンテンツ付属情報
２２  ユーザＩＤ
２３  画像ＩＤ
２４  画像アドレス
２５  撮影日時
２６  撮影位置
２７  タグ
２８  被写体距離
４０  第一補間対象画像（清水寺）
４１  第二補間対象画像（銀閣寺）
５０  範囲情報
５１  範囲情報
５２  補間範囲
８０  候補画像
８１  補間画像（低速移動時）
８２  補間画像（高速移動時）
１００、２００  画像検索装置
１０１  画像データベース
１０２  入力部
１０３  補間範囲算出部
１０４  補間画像候補取得部
１０５  移動速度算出部
１０６  補間画像選択部
１０７  出力部
１３０  大領域
１３１  中領域
１３２  小領域
１３３  斜線領域
１６０  補間画像タグ
１６１  撮影画像タグ
２０１  関連度データベース
２０２  関連画像抽出部
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
少なくとも２つの補間対象画像のそれぞれが撮影された位置の間を補間するための補間画像を複数の画像の中から検索する画像検索装置であって、
第一補間対象画像が撮影された位置である第一撮影位置と第二補間対象画像が撮影された位置である第二撮影位置とが含まれる地理的場所の範囲を補間範囲として算出する補間範囲算出部と、
前記補間範囲算出部により算出された補間範囲内に撮影位置が含まれる画像を候補画像として、画像データベースに格納された前記複数の画像の中から取得する補間画像候補取得部と、
前記第一撮影位置及び前記第二撮影位置の間の移動速度が大きいほど、画像が撮影されたときの撮像装置と被写体との距離である被写体距離が大きい画像を前記候補画像の中から選択する補間画像選択部と、
を備える画像検索装置。
【請求項２】
さらに、前記第一撮影位置と前記第二撮影位置との距離と、前記第一補間対象画像が撮影された日時と前記第二補間対象画像が撮影された日時との差分時間と、を用いて、前記第一撮影位置及び前記第二撮影位置の間の移動速度を算出する移動速度算出部を備え、
前記補間画像選択部は、前記移動速度算出部により算出された移動速度が大きいほど、被写体距離が大きい画像を選択する、
請求項１に記載の画像検索装置。
【請求項３】
さらに、前記補間画像選択部により選択された補間画像と前記第一補間対象画像との関連度である第一関連度と、前記補間画像選択部により選択された補間画像と前記第二補間対象画像との関連度である第二関連度と、を取得し、取得した第一関連度及び第二関連度が示す関連性の高さが所定閾値以上となる前記補間画像を抽出する関連画像抽出部を備え、
前記関連度は、画像に付属する情報である付属情報間の関連性の高さを示す、
請求項１に記載の画像検索装置。
【請求項４】
さらに、被写体に関するキーワード間の関連度を記憶している関連度データベースを備え、
前記関連画像抽出部は、前記関連度データベースを参照することにより、前記補間画像から得られる被写体に関するキーワードと前記第一補間対象画像から得られる被写体に関するキーワードとの関連度を前記第一関連度として取得し、前記補間画像から得られる被写体に関するキーワードと前記第二補間対象画像から得られる被写体に関するキーワードとの関連度を前記第二関連度として取得する、
請求項３に記載の画像検索装置。
【請求項５】
前記関連度データベースは、所定範囲の場所を示す領域毎に前記関連度を記憶しており、
前記関連画像抽出部は、前記第一補間対象画像の撮影位置が含まれる領域に対応する関連度を前記第一関連度として取得し、前記第二補間対象画像の撮影位置が含まれる領域に対応する関連度を前記第二関連度として取得する、
請求項４に記載の画像検索装置。
【請求項６】
前記関連画像抽出部は、前記補間画像が撮影されたときの撮影条件と前記第一補間対象画像が撮影されたときの撮影条件との関連度を前記第一関連度として取得し、前記補間画像が撮影されたときの撮影条件と前記第二補間対象画像が撮影されたときの撮影条件との関連度を前記第二関連度として取得する、
請求項３に記載の画像検索装置。
【請求項７】
前記補間画像選択部は、前記第一撮影位置及び前記第二撮影位置の間の移動速度が予め定められた第一閾値より大きい場合、被写体距離が予め定められた第二閾値以上の前記候補画像を補間画像として選択する、
請求項１に記載の画像検索装置。
【請求項８】
前記補間範囲算出部は、前記第一補間対象画像が撮影された日時と前記第二補間対象画像が撮影された日時との差分時間が大きいほど場所の範囲が広くなるように、前記補間範囲を算出する、
請求項１に記載の画像検索装置。
【請求項９】
少なくとも２つの補間対象画像のそれぞれが撮影された位置の間を補間するための補間画像を複数の画像の中からコンピュータが検索する画像検索方法であって、
第一補間対象画像が撮影された位置である第一撮影位置と第二補間対象画像が撮影された位置である第二撮影位置とが含まれる地理的場所の範囲を補間範囲として算出する補間範囲算出ステップと、
前記補間範囲算出ステップにおいて算出された補間範囲内に撮影位置が含まれる画像を候補画像として、画像データベースに格納された前記複数の画像の中から取得する補間画像候補取得ステップと、
前記第一撮影位置及び前記第二撮影位置の間の移動速度が大きいほど、画像が撮影されたときの撮像装置と被写体との距離である被写体距離が大きい画像を前記候補画像の中から選択する補間画像選択ステップと、
を含む画像検索方法。
【請求項１０】
少なくとも２つの補間対象画像のそれぞれが撮影された位置の間を補間するための補間画像を複数の画像の中から検索するプログラムであって、
第一補間対象画像が撮影された位置である第一撮影位置と第二補間対象画像が撮影された位置である第二撮影位置とが含まれる地理的場所の範囲を補間範囲として算出する補間範囲算出ステップと、
前記補間範囲算出ステップにおいて算出された補間範囲内に撮影位置が含まれる画像を候補画像として、画像データベースに格納された前記複数の画像の中から取得する補間画像候補取得ステップと、
前記第一撮影位置及び前記第二撮影位置の間の移動速度が大きいほど、画像が撮影されたときの撮像装置と被写体との距離である被写体距離が大きい画像を前記候補画像の中から選択する補間画像選択ステップと、
をコンピュータに実行させるプログラム。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2010070804.tif 000026
【図２】
2010070804.tif 000027
【図３】
2010070804.tif 000028
【図４】
2010070804.tif 000029
【図５】
2010070804.tif 000030
【図６】
2010070804.tif 000031
【図７】
2010070804.tif 000032
【図８】
2010070804.tif 000033
【図９】
2010070804.tif 000034
【図１０】
2010070804.tif 000035
【図１１】
2010070804.tif 000036
【図１２】
2010070804.tif 000037
【図１３】
2010070804.tif 000038
【図１４】
2010070804.tif 000039
【図１５】
2010070804.tif 000040
【図１６】
2010070804.tif 000041
【図１７】
2010070804.tif 000042
【図１８】
2010070804.tif 000043
【図１９】
2010070804.tif 000044
【手続補正書】
【提出日】平成22年4月28日(2010.4.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
少なくとも２つの補間対象画像のそれぞれが撮影された位置の間を補間するための補間画像を複数の画像の中から検索する画像検索装置であって、
第一補間対象画像が撮影された位置である第一撮影位置と第二補間対象画像が撮影された位置である第二撮影位置とを基準に、第一補間対象画像が撮影された第一時刻と第二補間対象画像が撮影された第二時刻との差分時間である経過時間から算出される距離に応じて、補間範囲を決定する補間範囲算出部と、
前記補間範囲算出部により決定された補間範囲内に撮影位置が含まれる画像を候補画像として、画像データベースに格納された前記複数の画像の中から取得する補間画像候補取得部と、
前記第一撮影位置と前記第二撮影位置との距離と、前記第一補間対象画像が撮影された日時と前記経過時間と、を用いて、前記第一撮影位置及び前記第二撮影位置の間の移動速度を算出する移動速度算出部と、
前記移動速度算出部により算出された移動速度が大きいほど、画像が撮影されたときの撮像装置と被写体との距離である被写体距離が大きい画像を前記候補画像の中から選択する補間画像選択部と、
を備える画像検索装置。
【請求項２】
さらに、前記補間画像選択部により選択された補間画像と前記第一補間対象画像との関連度合いを示す第一関連度の値と、前記補間画像選択部により選択された補間画像と前記第二補間対象画像との関連度合いを示す第二関連度の値と、が所定閾値を満たす前記補間画像を抽出する関連画像抽出部を備える、
請求項１に記載の画像検索装置。
【請求項３】
さらに、第一被写体を表すキーワードと第二被写体を表すキーワードとの間の関連度合いを示す関連度を記憶している関連度データベースを備え、
前記関連画像抽出部は、前記関連度データベースを参照することにより、前記補間画像から得られる被写体に関するキーワードと前記第一補間対象画像から得られる被写体に関するキーワードとの関連度を前記第一関連度として取得し、前記補間画像から得られる被写体に関するキーワードと前記第二補間対象画像から得られる被写体に関するキーワードとの関連度を前記第二関連度として取得する、
請求項２に記載の画像検索装置。
【請求項４】
前記関連度データベースは、所定範囲の場所を示す領域毎に前記関連度を記憶しており、
前記関連画像抽出部は、前記第一補間対象画像の撮影位置が含まれる領域に対応する関連度を前記第一関連度として取得し、前記第二補間対象画像の撮影位置が含まれる領域に対応する関連度を前記第二関連度として取得する、
請求項３に記載の画像検索装置。
【請求項５】
前記関連画像抽出部は、前記画像データベースに記憶された前記複数の画像と共に記憶されている撮影条件を示すパラメータを参照することにより、前記補間画像が撮影されたときの撮影条件と前記第一補間対象画像が撮影されたときの撮影条件との類似度合いを示す関連度を前記第一関連度として取得し、前記補間画像が撮影されたときの撮影条件と前記第二補間対象画像が撮影されたときの撮影条件との類似度合いを示す関連度を前記第二関連度として取得する、
請求項２に記載の画像検索装置。
【請求項６】
前記補間画像選択部は、前記第一撮影位置及び前記第二撮影位置の間の移動速度が予め定められた第一閾値より大きい場合、被写体距離が予め定められた第二閾値以上の前記候補画像を補間画像として選択する、
請求項１に記載の画像検索装置。
【請求項７】
前記補間範囲算出部は、前記第一撮影位置と前記第二撮影位置との重心を基準に、前記経過時間に応じた距離を半径として、前記補間範囲を決定する、
請求項１に記載の画像検索装置。
【請求項８】
前記補間範囲算出部は、予め設定された複数の範囲の中から、前記第一撮影位置と前記第二撮影位置とが含まれる範囲を、前記補間範囲として決定する、
請求項１に記載の画像検索装置。
【請求項９】
少なくとも２つの補間対象画像のそれぞれが撮影された位置の間を補間するための補間画像を複数の画像の中からコンピュータが検索する画像検索方法であって、
第一補間対象画像が撮影された位置である第一撮影位置と第二補間対象画像が撮影された位置である第二撮影位置とを基準に、第一補間対象画像が撮影された第一時刻と第二補間対象画像が撮影された第二時刻との差分時間である経過時間から算出される距離に応じて、補間範囲を決定する補間範囲算出ステップと、
前記補間範囲算出ステップにおいて決定された補間範囲内に撮影位置が含まれる画像を候補画像として、画像データベースに格納された前記複数の画像の中から取得する補間画像候補取得ステップと、
前記第一撮影位置と前記第二撮影位置との距離と、前記第一補間対象画像が撮影された日時と前記経過時間と、を用いて、前記第一撮影位置及び前記第二撮影位置の間の移動速度を算出する移動速度算出ステップと、
前記移動速度算出ステップにおいて算出された移動速度が大きいほど、画像が撮影されたときの撮像装置と被写体との距離である被写体距離が大きい画像を前記候補画像の中から選択する補間画像選択ステップと、
を含む画像検索方法。
【請求項１０】
少なくとも２つの補間対象画像のそれぞれが撮影された位置の間を補間するための補間画像を複数の画像の中から検索するプログラムであって、
第一補間対象画像が撮影された位置である第一撮影位置と第二補間対象画像が撮影された位置である第二撮影位置とを基準に、第一補間対象画像が撮影された第一時刻と第二補間対象画像が撮影された第二時刻との差分時間である経過時間から算出される距離に応じて、補間範囲を決定する補間範囲算出ステップと、
前記補間範囲算出ステップにおいて決定された補間範囲内に撮影位置が含まれる画像を候補画像として、画像データベースに格納された前記複数の画像の中から取得する補間画像候補取得ステップと、
前記第一撮影位置と前記第二撮影位置との距離と、前記第一補間対象画像が撮影された日時と前記経過時間と、を用いて、前記第一撮影位置及び前記第二撮影位置の間の移動速度を算出する移動速度算出ステップと、
前記移動速度算出ステップにおいて算出された移動速度が大きいほど、画像が撮影されたときの撮像装置と被写体との距離である被写体距離が大きい画像を前記候補画像の中から選択する補間画像選択ステップと、
をコンピュータに実行させるプログラム。
【国際調査報告】
2010070804.tif 000045
2010070804.tif 000046
2010070804.tif 000047
2010070804.tif 000048