(57)【要約】【課題】時期によって外観が変化する物を検索の対象とした場合に、その変化する外観に応じた結果が得られるようにすること。【解決手段】要求部１０１は、検索したい対象を示す画像（対象画像）が指定された場合に、その対象画像に基づく検索を情報処理装置２０に要求する。第１抽出部２０１は、時期に応じて外観が変化する物の複数の時期における外観をそれぞれ表した画像群から、対象画像に類似する第１画像を抽出する。第２抽出部２０２は、抽出された第１画像により表される対象物の現在の時期における外観を表す第２画像を画像群から抽出する。出力部２０３は、抽出された第２画像を、上述した検索の結果として出力する。表示部１０２は、要求部１０１による要求に対する応答として情報処理装置２０から出力された検索の結果を表示する。【選択図】図４
2014211741.tif 000002
【特許請求の範囲】
【請求項１】
検索したい対象を示す対象情報が指定された場合に、時期に応じて外観が変化する物の複数の時期における外観をそれぞれ表した画像群から、前記対象情報により表される前記物の、現時点を含む時期における外観を表す現時点画像を抽出する抽出手段と、
前記抽出手段により抽出された現時点画像を、前記検索の結果として出力する出力手段と
を備えることを特徴とする情報処理装置。
【請求項２】
前記抽出手段は、検索したい対象を示す対象画像が指定された場合に前記画像群から当該対象画像に類似する第１画像を抽出する第１抽出手段と、前記第１抽出手段により抽出された第１画像により表される前記物の、現時点を含む時期における外観を表す第２画像を、前記現時点画像として前記画像群から抽出する第２抽出手段とを備え、
前記出力手段は、前記第２抽出手段により抽出された第２画像を、前記現時点画像として出力する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記物の外観を表す画像には、当該物に関連する関連情報が対応付けられており、
前記出力手段は、抽出された前記第２画像を、当該第２画像に対応付けられている前記関連情報とともに出力する
ことを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記関連情報は、前記複数の時期のそれぞれに応じた内容の情報であり、
前記出力手段は、抽出された前記第２画像を、当該第２画像に対応付けられており、且つ、前記物が当該第２画像により表される外観となる時期に応じた内容の前記関連情報とともに出力する
ことを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記関連情報は、前記物についての説明を示す説明情報、または、時期に応じて前記物の所在する場所が変化する場合に前記複数の時期において当該物がそれぞれ所在する場所を示す場所情報である
ことを特徴とする請求項３または４に記載の情報処理装置。
【請求項６】
前記第２抽出手段は、時期が指定された場合に、抽出された前記第１画像により外観が表される前記物の指定された当該時期の外観を表す第３画像を前記画像群から抽出し、
前記出力手段は、前記第２抽出手段により抽出された第３画像を、前記検索の結果として出力する
ことを特徴とする請求項２乃至５のいずれか１項に記載の情報処理装置。
【請求項７】
前記出力手段は、所定の条件が満たされる場合には、抽出された前記第１画像または抽出された第２画像が表す対象物の特定の外観を示す画像を出力する
ことを特徴とする請求項２乃至６のいずれか１項に記載の情報処理装置。
【請求項８】
前記出力手段は、或る物が或るユーザによって初めて検索された場合に満たされる条件を前記所定の条件として用いる
ことを特徴とする請求項７に記載の情報処理装置。
【請求項９】
情報処理装置が、検索したい対象が指定された場合に、時期に応じて外観が変化する物の複数の時期における外観をそれぞれ表した画像群から、前記対象に類似する前記物の、現時点を含む時期における外観を表す現時点画像を抽出する抽出ステップと、
前記情報処理装置が、前記抽出ステップにおいて抽出された現時点画像を、前記検索の結果として出力する出力ステップと
を備えることを特徴とする画像検索方法。
【請求項１０】
コンピュータに、
検索したい対象が指定された場合に、時期に応じて外観が変化する物の複数の時期における外観をそれぞれ表した画像群から、前記対象に類似する前記物の、現時点を含む時期における外観を表す現時点画像を抽出する抽出ステップと、
前記抽出ステップにおいて抽出された現時点画像を、前記検索の結果として出力する出力ステップと
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を検索するための技術に関する。
【背景技術】
【０００２】
画像を検索するための技術がある。特許文献１には、画像ごとの配色、輪郭線、模様やパターン等の特徴を比較することで、指定された画像に類似する画像を検索する技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−２０３７７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、検索する対象には、時期によって外観（形状や様子など）が変化する物がある。そのような物の画像を検索する場合に、例えば検索時に指定する画像が同じだからといって、検索結果として得られる画像が常に同じでは面白みがない。
そこで、本発明は、時期によって外観が変化する物を検索の対象とした場合に、その変化する外観に応じた結果が得られるようにすることを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、本発明は、検索したい対象を示す対象情報が指定された場合に、時期に応じて外観が変化する物の複数の時期における外観をそれぞれ表した画像群から、前記対象情報により表される前記物の、現時点を含む時期における外観を表す現時点画像を抽出する抽出手段と、前記抽出手段により抽出された現時点画像を、前記検索の結果として出力する出力手段とを備えることを特徴とする情報処理装置を提供する。
【０００６】
また前記抽出手段は、検索したい対象を示す対象画像が指定された場合に前記画像群から当該対象画像に類似する第１画像を抽出する第１抽出手段と、前記第１抽出手段により抽出された第１画像により表される前記物の、現時点を含む時期における外観を表す第２画像を、前記現時点画像として前記画像群から抽出する第２抽出手段とを備え、前記出力手段は、前記第２抽出手段により抽出された第２画像を、前記現時点画像として出力してもよい。
さらに、前記物の外観を表す画像には、当該物に関連する関連情報が対応付けられており、前記出力手段は、抽出された前記第２画像を、当該第２画像に対応付けられている前記関連情報とともに出力してもよい。
また、前記関連情報は、前記複数の時期のそれぞれに応じた内容の情報であり、前記出力手段は、抽出された前記第２画像を、当該第２画像に対応付けられており、且つ、前記物が当該第２画像により表される外観となる時期に応じた内容の前記関連情報とともに出力してもよい。
【０００７】
また、前記関連情報は、前記物についての説明を示す説明情報、または、時期に応じて前記物の所在する場所が変化する場合に前記複数の時期において当該物がそれぞれ所在する場所を示す場所情報であってもよい。
さらに、前記第２抽出手段は、時期が指定された場合に、抽出された前記第１画像により外観が表される前記物の指定された当該時期の外観を表す第３画像を前記画像群から抽出し、前記出力手段は、前記第２抽出手段により抽出された第３画像を、前記検索の結果として出力してもよい。
【０００８】
また、前記出力手段は、所定の条件が満たされる場合には、抽出された前記第１画像または抽出された第２画像が表す対象物の特定の外観を示す画像を出力してもよい。
さらに、前記出力手段は、或る物が或るユーザによって初めて検索された場合に満たされる条件を前記所定の条件として用いてもよい。
【０００９】
本発明は、情報処理装置が、検索したい対象が指定された場合に、時期に応じて外観が変化する物の複数の時期における外観をそれぞれ表した画像群から、前記対象に類似する前記物の、現時点を含む時期における外観を表す現時点画像を抽出する抽出ステップと、前記情報処理装置が、前記抽出ステップにおいて抽出された現時点画像を、前記検索の結果として出力する出力ステップとを備えることを特徴とする画像検索方法を提供する。
【００１０】
本発明は、コンピュータに、検索したい対象が指定された場合に、時期に応じて外観が変化する物の複数の時期における外観をそれぞれ表した画像群から、前記対象に類似する前記物の、現時点を含む時期における外観を表す現時点画像を抽出する抽出ステップと、前記抽出ステップにおいて抽出された現時点画像を、前記検索の結果として出力する出力ステップとを実行させるためのプログラムを提供する。
【発明の効果】
【００１１】
本発明によれば、時期によって外観が変化する物を検索の対象とした場合に、その変化する外観に応じた結果が得られるようにすることができる。
【図面の簡単な説明】
【００１２】
【図１】第１実施形態に係る画像検索システムの全体構成の一例を示す図。
【図２】ユーザ端末のハードウェア構成を示す図。
【図３】情報処理装置のハードウェア構成を示す図。
【図４】画像検索システムが備える各装置が実現する機能構成の一例を示す図。
【図５】対象画像を指定する操作を説明するための図。
【図６】対象物テーブルの一例を示す図。
【図７】表示された第２画像の一例を示す図。
【図８】検索処理における各装置の動作の一例を示すシーケンス図。
【図９】対象物テーブルの一例を示す図。
【図１０】表示された関連情報の一例を示す図。
【図１１】対象物テーブルの他の一例を示す図。
【図１２】表示された第１画像の一例を示す図。
【図１３】変形例に係る画像検索システムの全体構成の一例を示す図。
【図１４】表示面に表示される画像の移り変わりの一例を示す図。
【図１５】変形例における機能構成の一例を示す図。
【図１６】変形例における機能構成の他の一例を示す図。
【発明を実施するための形態】
【００１３】
［１］第１実施形態
［１−１］全体構成
図１は、第１実施形態に係る画像検索システムの全体構成の一例を示す図である。図１では、ネットワーク２と、ユーザ端末１０と、情報処理装置２０とを備える画像検索システム１が示されている。
画像検索システム１は、例えばユーザが検索したい対象を示す画像（以下「対象画像」という）を指定した場合に、その対象画像に基づいた検索を行ってその結果（以下「検索結果」という）をユーザに提供するシステムである。
【００１４】
画像検索システム１においては、例えば、動物、昆虫及び植物等の生物や、建物、乗り物及び道具等の人工物、山、川及び海等の自然物などの様々な物が検索の対象となり得る。以下では、画像検索システム１において検索の対象となり得るこれらの物を「対象物」という。
ネットワーク２は、移動体通信網及びインターネット等を含み、装置間のデータのやり取りを仲介するシステムである。ネットワーク２には、情報処理装置２０が接続されており、ユーザ端末１０及び情報処理装置２０の間で行われるデータのやり取りを仲介する。
【００１５】
ユーザ端末１０は、ＣＰＵ（Central Processing Unit）を備え、画像データなどの情報を処理する装置である。ユーザ端末１０は、例えば、携帯電話やスマートフォン、タブレット端末などであり、ユーザによって操作される。ユーザ端末１０は、無線通信（移動体通信や無線ＬＡＮ（Local Area Network）の規格に準拠した無線通信など）を行う機能を備え、ネットワーク２を介して情報処理装置２０とデータをやり取りする。ユーザ端末１０は、例えば、ユーザの操作により画像が指定されると、指定された画像に基づいた検索を情報処理装置２０に要求する。
【００１６】
情報処理装置２０は、ＣＰＵを備え、画像データなどの情報を処理し、画像を検索するサービスをユーザに提供する装置である。情報処理装置２０は、ユーザ端末１０からの要求に応答して、指定された画像に基づいて対象物の関連情報を表した画像を抽出し、抽出した画像を検索結果としてユーザ端末１０に対して出力する。こうして出力された画像をユーザ端末１０が表示することで、ユーザに画像の検索結果が提供される。
【００１７】
［１−２］ハードウェア構成
図２は、ユーザ端末１０のハードウェア構成を示す図である。ユーザ端末１０は、制御装置１１と、記憶装置１２と、通信装置１３と、操作装置１４と、モニター１５と、音声入出力装置１６とを備えるコンピュータである。制御装置１１は、ＣＰＵ、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びリアルタイムクロックを備えている。ＣＰＵは、ＲＡＭをワークエリアとして用いてＲＯＭや記憶装置１２に記憶されたプログラムを実行することによって各装置の動作を制御する。リアルタイムクロックは、現在の日時を算出する機能を有している。記憶装置１２は、フラッシュメモリやハードディスク等を備え、制御装置１１が制御に用いるデータやプログラムなどを記憶している。
【００１８】
通信装置１３は、移動体通信または無線ＬＡＮの規格に準拠した無線通信を行うための通信回路を備え、ネットワーク２を介した無線通信を行う。通信装置１３は、無線通信を行って受信した受信データを制御装置１１に供給する。操作装置１４は、表示面に重ねて設けられたタッチセンサやボタン等の入力手段を備え、ユーザの操作を受け付けてその操作の内容を示す操作データを制御装置１１に供給する。制御装置１１は、供給された操作データに応じた処理を行う。モニター１５は、表示面を備え、制御装置１１により制御されて、その表示面に画像を表示する表示手段である。音声入出力装置１６は、スピーカ、マイクロフォン及び音声処理回路等を有し、制御装置１１の制御によりスピーカから音を出力し、マイクロフォンから入力される音を示す入力音データを制御装置１１に供給する。
【００１９】
図３は、情報処理装置２０のハードウェア構成を示す図である。情報処理装置２０は、制御装置１１及び記憶装置１２と同様の機能を有する制御装置２１及び記憶装置２２を備える。また、情報処理装置２０は、有線通信を行うための通信回路を有し、ネットワーク２を介した有線通信を行う通信装置２３を備える。通信装置２３は、有線通信を行って受信した受信データを制御装置２１に供給する。
【００２０】
［１−３］機能構成
画像検索システム１は、以上のハードウェア構成に基づき、例えばユーザによって対象画像（検索したい対象を示す画像）が指定された場合に、その対象画像に基づいた検索に関する処理（以下「検索処理」という）を行う。ユーザ端末１０及び情報処理装置２０がそれぞれ備える記憶装置には、検索処理を行うためのプログラムがそれぞれ記憶されている。各装置の制御装置がそれらのプログラムを各々実行して各装置のハードウェアを制御することで、以下に述べる機能が実現される。
図４は、画像検索システム１が備える各装置が実現する機能構成の一例を示す図である。ユーザ端末１０は、要求部１０１と、表示部１０２とを備え、情報処理装置２０は、第１抽出部２０１と、第２抽出部２０２と、出力部２０３とを備える。
【００２１】
［１−３−１］要求部１０１
要求部１０１は、対象画像（検索したい対象を示す画像）が指定された場合に、その対象画像に基づく検索とその検索結果の出力とを情報処理装置２０に要求する要求手段である。要求部１０１は、制御装置１１、通信装置１３及び操作装置１４が協働して実現する機能である。例えばモニター１５に画像が表示されているときに、ユーザがその画像を対象画像として指定する操作を行う。
【００２２】
図５は、対象画像を指定する操作を説明するための図である。図５では、モニター１５の表示面１５１が示されている。表示面１５１には、以降の説明を分かりやすくするため、現在の日付（この例では１月１５日）が表示されている。図５（ａ）では、表示面１５１に、「対象画像を開く」という文字列と、「画像ビューアから開く」及び「ブラウザから開く」という文字列をそれぞれ含むボタンの画像Ｂ１及びＢ２とがそれぞれ表示されている。ユーザが画像Ｂ１を選択すると画像ビューアが表示され、表示された画像群からユーザが画像を選択すると、例えば表示面１５１には図５（ｂ）に示す画像が表示される。図５（ｂ）では、表示面１５１に、「検索しますか？」という文字列と、「はい」及び「いいえ」という文字列をそれぞれ含むボタンの画像Ｂ３及びＢ４と、カブトムシ（詳細にはヤマトカブト）の成虫を示す対象画像Ａ１とがそれぞれ表示されている。
【００２３】
ユーザが画像Ｂ３を選択する操作を行うと、操作装置１４は、対象画像Ａ１が指定されたことを示す操作データを制御装置１１に供給する。以下では、対象画像を指定する操作（図５の例では対象画像を開いて選択する操作）のことを「指定操作」という。制御装置１１は、供給された操作データが示す対象画像Ａ１の画像データと、対象画像Ａ１に基づく検索及びその検索結果の出力を要求することを示す要求データとを、通信装置１３を介して情報処理装置２０に送信する。要求部１０１は、このようにして上述した要求を実行する。
【００２４】
［１−３−２］第１抽出部２０１
第１抽出部２０１は、検索したい対象を示す対象画像が指定された場合に、時期に応じて外観が変化する物（上述した対象物）の複数の時期における外観をそれぞれ表した画像群から、対象画像に類似する画像（以下「第１画像」という）を抽出する第１抽出手段である。以下では、画像群に含まれる各画像（つまり対象物の外観をそれぞれ表す画像）のことを「外観画像」という。第１抽出部２０１は、制御装置２１、記憶装置２２及び通信装置２３が協働して実現する機能である。記憶装置２２には、画像群に含まれる各外観画像を示す複数の画像データと、各々の外観画像が示す対象物の名称と、各々の外観画像が示す外観の対象物が見られる時期とをそれぞれ対応付けた対象物テーブルが記憶されている。
【００２５】
図６は、対象物テーブルの一例を示す図である。図６の例では、「ヤマトカブト」という対象物の名称に、「１０月〜３月」、「４月〜６月」及び「７月〜９月」という時期と、ヤマトカブトの幼虫の外観画像Ｃ１１、さなぎの外観画像Ｃ１２及び成虫の外観画像Ｃ１３とがそれぞれ対応付けられている。外観画像Ｃ１１、Ｃ１２及びＣ１３は、共通する対象物（ヤマトカブト）の複数の時期における外観をそれぞれ表した複数の外観画像Ｃ１０である。この例で示したヤマトカブトは、時期に応じて幼虫、さなぎ及び成虫と外観が変化する対象物である。
【００２６】
また、図６の例では、ヤマトカブトの他にも、「ヘラクレスオオカブト」の複数の時期における外観をそれぞれ表した図示せぬ外観画像Ｃ２１、Ｃ２２及びＣ２３を含む複数の外観画像Ｃ２０と、「アトラスオオカブト」の複数の時期における外観をそれぞれ表した図示せぬ外観画像Ｃ３１、Ｃ３２及びＣ３３を含む複数の外観画像Ｃ３０とが示されている。対象物テーブルには、これらのような複数の外観画像が他にも含まれている。図６に示すＣ１は、これらの複数の外観画像を含む画像群である。つまり、Ｃ１は、時期に応じて外観が変化する対象物（図６の例ではヤマトカブトやヘラクレスオオカブトなど）の複数の時期における外観をそれぞれ表した画像群である。
【００２７】
記憶装置２２には、対象物テーブルに含まれている各画像データに対応付けて、それらの画像データが示す外観画像の配色、輪郭線、模様やパターン等の特徴を表す値（以下「特徴量」という）が記憶されている。記憶装置２２により記憶されているこれらの特徴量を、以下では「記憶特徴量」という。制御装置２１には、通信装置２３を介してユーザ端末１０からの画像データ及び要求データが供給される。制御装置２１は、供給された画像データが示す画像（すなわち対象画像）の特徴量を算出する。こうして算出された特徴量を、以下では「対象特徴量」という。
【００２８】
制御装置２１は、記憶特徴量と対象特徴量との差が閾値未満である場合に、その記憶特徴量に対応付けられている画像データが示す画像（つまり外観画像）と、供給された画像データが示す画像（つまり対象画像）とが類似していると判断する。つまり、制御装置２１は、記憶されている記憶特徴量から、対象特徴量との差が閾値未満であるものを特定し、特定した記憶特徴量が対応付けられている画像データが示す外観画像を第１画像として抽出する。制御装置２１は、例えば、図５に示す対象画像Ａ１、すなわちカブトヤマトの成虫を示す画像が対象画像である場合には、同じくカブトヤマトの成虫を示す外観画像Ｃ１３を第１画像として抽出する。第１抽出部２０１は、このようにして抽出した第１画像を第２抽出部２０２に供給する。また、第１抽出部２０１は、画像データ及び要求データを送信してきた外部装置（この例ではユーザ端末１０）のアクセス先（例えばＩＰアドレス）を出力部２０３に通知する。
【００２９】
なお、第１抽出部２０１は、記憶特徴量を記憶していなくてもよい。その場合、第１抽出部２０１は、ユーザ端末１０から画像データ及び要求データが送信されてくる度に、対象物テーブルに含まれる画像データが示す外観画像の特徴量を算出し、前述した算出特徴量と比較して第１画像を抽出する。また、第１抽出部２０１は、上述した特徴量を用いる方法に限らず、他の方法を用いて画像同士の類似を判断してもよい。要するに、第１抽出部２０１は、対象画像が示す対象（図５の例ではヤマトカブトの成虫）と同じ対象物の同じ外観を表した外観画像（図６の例では外観画像Ｃ１３）がその対象画像に類似していると判断される方法を用いて画像同士の類似を判断すればよい。ここでいう同じ外観とは、例えばヤマトカブトの成虫同士であれば、それらは同じ外観をしているということを意味する。
【００３０】
［１−３−３］第２抽出部２０２
第２抽出部２０２は、第１抽出部２０１により抽出された第１画像により表される対象物の現在の時期における外観を表す外観画像（以下「第２画像」という）を、前述した画像群から抽出する第２抽出手段である。第２抽出部２０２は、制御装置２１、記憶装置２２及び通信装置２３が協働して実現する機能である。記憶装置２２には、図６に示したような対象物テーブルが記憶されている。制御装置２１は、この対象物テーブルにおいて、第１抽出部２０１から供給された第１画像に対応付けられている対象物を特定する。例えば図６に示す外観画像Ｃ１３が第１画像として供給された場合には、制御装置２１は、「ヤマトカブト」を対象物として特定する。制御装置２１は、特定した対象物に対応付けられている全ての外観画像から、現在の「時期」に対応付けられているものを、第２画像として抽出する。具体的には、制御装置２１は、例えば現在の日付が図６の例で述べたように１月１５日であれば、その日付を含む「１０月〜３月」という時期に対応付けられている外観画像Ｃ１１を第２画像として抽出する。第２抽出部２０２は、このようにして抽出した第２画像を出力部２０３に供給する。
【００３１】
［１−３−４］出力部２０３
出力部２０３は、第２抽出部２０２により抽出された第２画像を、上述した検索結果（対象画像に基づいた検索の結果）として出力する出力手段である。出力部２０３は、制御装置２１及び通信装置２３が協働して実現する機能である。本実施形態では、制御装置２１は、第２抽出部２０２から供給された第２画像を示す画像データを、対象物テーブルにおいてその第２画像が対応付けられている対象物の名称を示す文字列データとともに、第１抽出部２０１から通知されたアクセス先に送信する。このようにして、出力部２０３は、第２抽出部２０２により抽出された第２画像を検索結果として（この例ではユーザ端末１０に）出力する。
【００３２】
［１−３−５］表示部１０２
表示部１０２は、要求部１０１による要求に対する応答として情報処理装置２０から出力された検索結果を表示する表示手段である。表示部１０２は、制御装置１１、通信装置１３及びモニター１５が協働して実現する機能である。制御装置１１には、情報処理装置２０から送信されてきた画像データ及び文字列データが通信装置１３を介して供給される。制御装置１１は、供給された画像データが示す第２画像及び文字列データが示す文字列をモニター１５に表示させる。
【００３３】
図７は、表示された第２画像の一例を示す図である。図７では、モニター１５の表示面１５１に、「検索結果」及び「ヤマトカブト」という文字列と、図６に示す対象物テーブルに含まれていた外観画像Ｃ１１とが表示されているようすが示されている。この外観画像Ｃ１１は、第２抽出部２０２により第２画像として抽出された外観画像であり、情報処理装置２０から検索結果として出力された外観画像である。また、表示面１５１には、図６の例と同様に１月１５日という日付が表示されている。つまり、図７では、１０月〜３月の時期に検索が行われた例が表されている。このようにして、表示部１０２は、情報処理装置２０から出力された検索結果を表示する。
【００３４】
［１−４］動作
画像検索システム１は、以上の構成に基づき上述した検索処理（対象画像に基づいた検索の処理）を行う。以下では、検索処理において画像検索システム１が備える各装置が行う動作について説明する。
図８は、検索処理における各装置の動作の一例を示すシーケンス図である。検索処理は、例えばユーザがユーザ端末１０を用いて上述した指定操作（対象画像を指定する操作）を行うことを契機に開始される。
【００３５】
まず、ユーザ端末１０が、ユーザによる指定操作を受け付け（ステップＳ１１）、その指定操作により指定された対象画像の画像データと、その対象画像に基づく検索とその検索結果の出力とを要求する要求データとを情報処理装置２０に送信する（ステップＳ１２）。ステップＳ１１及びＳ１２は要求部１０１が行う動作である。情報処理装置２０は、ステップＳ１２において画像データ及び要求データを受信すると、上述した画像群から第１画像（受信した画像データが示す対象画像に類似する外観画像）を抽出する（ステップＳ１３）。
【００３６】
次に、情報処理装置２０は、画像群から第２画像（抽出した第１画像により外観が表される対象物の現時点を含む時期の外観を表す外観画像）を抽出する（ステップＳ１４）。ステップＳ１３及びＳ１４は、第１抽出部２０１及び第２抽出部２０２がそれぞれ行う動作である。続いて、情報処理装置２０は、抽出した第２画像を検索結果としてユーザ端末１０に対して出力する（ステップＳ１５）。ステップＳ１５は出力部２０３が行う動作である。ユーザ端末１０は、ステップＳ１５において受信した検索結果を表示面に表示する（ステップＳ１６）。ステップＳ１６は表示部１０２が行う動作である。
【００３７】
［１−５］発明の効果
本実施形態では、例えば「ヤマトカブト」を対象として画像の検索が行われた場合に、検索する時期によって異なる外観の検索結果（上記例では外観画像Ｃ１１、Ｃ１２及びＣ１３のいずれか）が得られることになる。つまり、本実施形態によれば、ヤマトカブトのような時期によって外観が変化する物を検索の対象とした場合に、その変化する外観に応じた結果が得られるようにすることができる。
【００３８】
また、本実施形態では、検索の対象が例えば昆虫であれば、成虫の画像が指定された場合であっても、現在の時期によっては、幼虫の外観画像やさなぎの外観画像などが表示されることになる。これにより、ユーザは、検索した昆虫が現在どのような外観をしているかということを知ることができる。また、ユーザは、検索した昆虫の実物を屋外等で実際に探したい場合に、検索結果が示す外観の昆虫をそのまま探せばよく、その昆虫の名前を調べたり現在の時期の外観を調べたりする必要がない。つまり、本実施形態によれば、指定された対象を検索した場合に、その対象を実際に探すためにそのままで利用可能な結果を出力することができる。その結果、本実施形態によれば、単に対象画像に類似する外観画像が検索結果として出力される場合に比べて、検索した対象物の実物を探すときの手間を省くことができ、また、ユーザが対象物の現在の時期における外観を知ることで対象物に対する理解を深めることができる。
【００３９】
［２］第２実施形態
本発明の第２実施形態について、以下、第１実施形態と異なる点を中心に説明する。第１実施形態では、検索結果として第２画像だけが出力されたが、第２実施形態では、第２画像に加え、対象物に関連する情報（以下「関連情報」という）が出力される。関連情報は、例えばその対象物についての説明を示す情報（以下「説明情報」という）である。説明情報は、対象物の外観や生態、能力などを文章や画像を用いて説明した情報である。他にも、例えば昆虫のように時期に応じて対象物の所在する場所が変化する場合には、複数の時期においてその対象物がそれぞれ所在する場所を示す情報（以下「場所情報」という）も、関連情報となる。つまり、場所情報は、複数の時期のそれぞれに応じた内容の情報である。以下ではまず、場所情報が関連情報である場合を例に挙げて説明する。
【００４０】
［２−１］機能構成
本実施形態では、対象物の外観を表す外観画像（例えば図６に示す外観画像Ｃ１１やＣ１２など）には、その対象物（外観画像Ｃ１１やＣ１２の場合はヤマトカブト）に関連する関連情報が対応付けられている。記憶装置２２には、例えば図６に示す各外観画像に関連情報が対応付けられた対象物テーブルが記憶されている。
図９は、対象物テーブルの一例を示す図である。図９の例では、図６に示す画像群が示されており、そのうちの外観画像Ｃ１１、Ｃ１２及びＣ１３にそれぞれ対応付けられた関連情報Ｄ１１、Ｄ１２及びＤ１３が示されている。
【００４１】
関連情報Ｄ１１、Ｄ１２及びＤ１３は、対象物であるヤマトカブトが、外観画像Ｃ１１、Ｃ１２及びＣ１３に対応する時期（「１０月〜３月」、「４月〜６月」及び「７月〜９月」）に所在する場所を示した場所情報である。関連情報Ｄ１１は、外観画像Ｃ１１に示す外観のヤマトカブトが、地表から５〜２０ｃｍの深さの地中に所在することを示している。また、関連情報Ｄ１２は、外観画像Ｃ１２に示す外観のヤマトカブトが、地表から５〜１５ｃｍの深さの地中に所在することを示し、関連情報Ｄ１３は、外観画像Ｃ１３に示す外観のヤマトカブトが、木の幹に所在することを示している。関連情報Ｄ１１及びＤ１２は、文字列を含む画像により前述した場所を示しており、関連情報Ｄ１３は、画像だけで前述した場所を示している。また、これらの関連情報は、いずれも、対象物の外観も示している。
【００４２】
情報処理装置２０の出力部２０３は、第２抽出部２０２から第２画像が供給されると、供給された第２画像に対象物テーブルにおいて対応付けられている関連情報を読み出して、その第２画像とともに出力する。このようにして、出力部２０３は、抽出された第２画像を、その第２画像に対応付けられている関連情報とともに出力する。第２画像は、複数の時期における対象物の外観を表す外観画像である。また、関連情報は、本実施形態では、複数の時期のそれぞれに応じた内容の情報、すなわち場所情報である。そのため、出力部２０３は、本実施形態においては、抽出された前記第２画像を、その第２画像に対応付けられており、且つ、対象物がその第２画像により表される外観となる時期に応じた内容の関連情報とともに出力することになる。
【００４３】
ユーザ端末１０の表示部１０２は、情報処理装置２０から出力された関連情報を表示する。
図１０は、表示された関連情報の一例を示す図である。図１０では、「４月１５日」という日付が表示されている表示面１５１の検索の前後における表示の状態がそれぞれ示されている。図１０（ａ）では、図５（ｂ）に示したものと同じ対象画像Ａ１（ヤマトカブトの成虫）が選択されるときの表示の状態が示されている。図１０（ｂ）では、対象画像Ａ１に基づく検索結果として、外観画像Ｃ１２（ヤマトカブトのさなぎ）が表示されている表示面１５１が示されている。このように、図１０では、表示されている日付である４月１５日、すなわち４月〜６月の時期に検索が行われた例が示されている。
【００４４】
表示面１５１には、「関連情報へ」という文字列を含むボタンの画像Ｂ１１が表示されている。ユーザがこの画像Ｂ１１を選択する操作を行うと、表示部１０２は、図１０（ｃ）に示すように、関連情報Ｄ１２を表示する。図１０（ｃ）では、表示面１５１に「外観の画像へ」という文字列を含むボタンの画像Ｂ１２が表示されており、ユーザがこの画像Ｂ１１を選択する操作を行うと図１０（ｂ）に示す表示に戻るようになっている。このようにして、表示部１０２は、情報処理装置２０から出力された検索結果を表示する。
【００４５】
［２−２］発明の効果
本実施形態では、ユーザが対象画像を指定した場合に、その対象画像が示す対象が現在所在する場所を表す情報（場所情報）が検索結果として表示されることになる。例えば対象が昆虫であれば、現在の時期によって、その昆虫が土の中にいるのか、木の上にいるのかを表した画像などが表示されることになる。これにより、ユーザは、検索した昆虫が現在どのような場所に所在しているかということを知ることができる。また、ユーザは、検索した昆虫の実物を屋外等で実際に探したい場合に、検索結果が示す場所に当たりを付けて探せばよい。つまり、本実施形態においても、第１実施形態と同様に、指定された対象を検索した場合に、その対象を実際に探すためにそのままで利用可能な結果を出力することができる。また、検索した対象物の実物を探すときの手間を省くことができ、ユーザの対象物に対する理解を深めることができるという点も同様である。
【００４６】
［２−３］その他の例
関連情報は、以上で述べたもの以外のも、様々な内容の情報であってもよい。
図１１は、対象物テーブルの他の一例を示す図である。図１１の例では、「ツバメ」という対象物に、「第１の関連情報」及び「第２の関連情報」という２つの関連情報が対応付けられた例が示されている。具体的には、「３月〜4月、９月〜１０月」、「５月〜８月」及び「１１月〜２月」という時期に、「本州、四国、九州」、「北海道」及び「東南アジア」という文字列である第１の関連情報Ｄ２１、Ｄ２２及びＤ２３と、第１の関連情報に示される地域を表した地図の画像である第２の関連情報Ｄ３１、Ｄ３２及びＤ３３とがそれぞれ対応付けられている。
【００４７】
第１の関連情報は、文字列だけでツバメが所在する場所を示しており、第２の関連情報は、ツバメの外観を示さず、所在する場所だけを示す画像である。図９及び図１１に示すように、場所情報は、複数の時期においてその対象物がそれぞれ所在する場所を何らかの方法で示す情報であればよく、また、関連情報は、対象物自体の外観を示していなくても、対象物に関連する情報であればよい。
【００４８】
なお、図１１では、各時期のツバメの外観を表す外観画像として、例えば、「３月〜4月、９月〜１０月」の時期には渡りをしている（すなわち飛んでいる）ツバメを表す外観画像Ｃ２１が対応付けられ、「５月〜８月」の時期には子育てをしているツバメ（親ツバメが小ツバメに餌をあげているようす）を表す外観画像Ｃ２２が対応付けられている。また、「１１月〜２月」の時期には、南国の木の枝にとまったツバメを表す外観画像Ｃ２３が対応付けられている。このように、対象物の複数の時期における外観をそれぞれ表した画像群には、対象物が静止した状態での外観だけでなく、動いている状態での外観や、他の物とともにいるときの外観などを表した外観画像が含まれていてもよい。この場合、それらの外観を表す外観画像が対応付けられている時期に、いつでもそれらの外観の対象物が見られるわけではないが、それらの外観の対象物が見られることがあり、且つ、特にその時期の対象物の特徴を表した外観となっていればよい。
【００４９】
関連情報は、他にも、例えば対象物について説明がされているサイトのＵＲＬ（Uniform Resource Locator）であってもよい。また、関連情報は、対象物が生物である場合に、その生物が食する食物を表す情報であってもよいし、その生物の天敵を表す情報であってもよい。この場合、関連情報は、全ての時期を通じて同じ内容の情報であってもよい。また、関連情報は、例えば対象物が山や湖などの移動しない物である場合、その対象物への経路や移動手段などの情報であってもよい。また、関連情報は、対象物の外観を表す外観画像とは異なる時期に対応付けられていてもよい。例えば、図１１の例において、外観画像Ｃ２１、Ｃ２２及びＣ２３は、図１１に示す時期とは異なる「２月〜５月、８月〜１１月」、「６月〜７月」及び「１２月〜１月」という時期にそれぞれ対応付けられ、第１及び第２の関連情報は図１１に示す時期に対応付けられるという具合である。
【００５０】
［３］第３実施形態
本発明の第３実施形態について、以下、第１及び第２実施形態と異なる点を中心に説明する。上述した各実施形態では、第２画像が検索結果として出力されたが、第３実施形態では、第２画像だけでなく、場合によっては他の画像が検索結果として出力される。以下では、例えば第１画像が検索結果として出力される場合について説明する。
【００５１】
［３−１］機能構成
第１画像が検索結果として表示される場合、各機能は次のように動作する。
出力部２０３は、所定の条件が満たされる場合には、第１抽出部２０１により抽出された第１画像を出力する。出力部２０３は、例えば、或る物が或るユーザによって初めて検索された場合に満たされる条件を所定の条件として用いる。この場合、出力部２０３は、第２画像を出力するときに、その第２画像に対象物テーブルにおいて対応付けられている対象物と、第２画像を出力するアクセス先とを対応付けて記憶しておく。出力部２０３は、過去に同じ組み合わせの対象物及びアクセス先が記憶されていれば、所定の条件が満たされないと判断し、記憶されていなければ、所定の条件が満たされたと判断する。表示部１０２は、こうして情報処理装置２０から出力された第１画像を表示する。
【００５２】
図１２は、表示された第１画像の一例を示す図である。図１２では、「１月１０日」という日付が表示されている表示面１５１が示されている。図１２（ａ）では、対象画像Ａ１（ヤマトカブトの成虫を示す画像）が選択されるときの表示の状態が示されている。図１２（ｂ）では、対象画像Ａ１に基づく検索結果として、外観画像Ｃ１３（ヤマトカブトの成虫）が表示されている表示面１５１が示されている。このように、図１２では、１月１０日、すなわち１０月〜３月の時期に検索が行われれているが、ユーザ端末１０においてヤマトカブトを対象とする対象画像に基づく検索が行われたのが初めてであったため、図７に示すようなヤマトカブトの幼虫の外観画像ではなく、対象画像が示す対象と同じヤマトカブトの成虫の外観画像Ｃ１３が表示されている。
【００５３】
なお、上記の例では、第２画像は表示されないようになっている。そのために、例えば、出力部２０３が、第１画像を出力する場合には第２画像を出力しないようにしてもよいし、出力部２０３が第１及び第２画像の両方を出力して、表示部１０２が第１画像だけを表示するようにしてもよい。また、表示部１０２が、第１画像を表示して、ユーザの操作に応じて第２画像も表示するようにしてもよい。いずれの場合も、少なくとも第１画像が出力されて表示されるようになっていればよい。
【００５４】
［３−２］発明の効果
本実施形態では、ユーザが或る対象を初めて検索する場合には、現在の時期にかかわらず、指定した対象画像に類似する第１画像が表示されることになる。これにより、ユーザは、第１画像により表された対象物の外観から、検索した対象の外観を検索前に比べてより詳しく知ることができる。つまり、ユーザは、検索した対象がどのような見た目（外観）をしたものであるのかという点での理解を深めることができる。また、本実施形態では、ユーザがその対象を２回目以降に検索する場合には、その時期に見ることができる対象物の外観を知ることができる。これにより、ユーザが検索した対象の実物を実際に探したい場合に、検索結果がそのまま利用できるようにして、ユーザの手間を省くことができる。
【００５５】
［３−３］その他の例
なお、本実施形態で出力される画像は第１画像に限らない。例えば、或る対象物を表す第２画像が抽出された場合に、その対象物の特定の外観を表す外観画像（以下「特定画像」という）が出力されてもよい。この場合、出力部２０３が、所定の条件が満たされる場合には、第２画像により表される対象物の特定の外観を表す特定画像を出力する。例えば、成虫のヤマトカブトを表す外観画像が特定画像として定めているものとする。その場合に、対象画像がヤマトカブトの幼虫またはさなぎを示す画像であり、且つ、１０月から６月までの時期（幼虫及びさなぎの時期）に検索が行われた場合であっても、出力部２０３は、ヤマトカブトの成虫の外観画像を特定画像として出力する。その対象物の外観の中で最も一般的に知られているであろうものを特定画像として定めておくことで、特定画像を出力しない場合に比べて、ユーザが、検索した対象の理解をより深めることができる。
【００５６】
また、出力部２０３は、上記の条件（或る物が或るユーザによって初めて検索された場合に満たされる条件）以外のものを所定の条件として用いてもよい。例えば、出力部２０３は、或る物が或るユーザによって検索された回数が２回（他の回数でもよい）以下である場合に満たされる条件を用いてもよい。また、出力部２０３は、或る物が或るユーザによって前回検索されてから経過した時間が決められた長さ（例えば１ヶ月）以内である場合に満たされる条件を用いてもよい。要するに、出力部２０３は、どのような条件を所定の条件として用いてもよい。その中でも、例えば、ユーザに第１画像や特定画像を表示して対象物の理解を深めさせたいと考えられるときに満たされる条件が所定の条件として用いられることが望ましい。
［４］変形例
上述した各実施形態は、それぞれ本発明の実施の一例に過ぎず、以下のように変形させてもよい。また、上述した各実施形態及び以下に示す各変形例は、必要に応じて組み合わせて実施してもよい。
【００５７】
［４−１］対象物
画像検索システム１においては、様々な対象物を検索することができる。例えば対象物が山や湖である場合、それら自体は時期によって形が変わるわけではないが、紅葉や冠雪、結氷などでその１年の間にも外観が変化する。また、鳥や獣などの動物は、ある程度成長すると体の大きさは変わらなくなるが、夏毛や冬毛などによって１年の間にも外観が変化する場合がある。
【００５８】
また、対象物は、例えば或る商品のシリーズ（携帯電話の機種や車の車種など）であってもよい。例えば外観を新しくした商品を１年間に複数回発売するシリーズであれば、時期に応じて外観が変化する物として捉えられる。この場合、画像群には、例えば、過去の１年間に発売されたそのシリーズの商品の外観をそれぞれ表す外観画像が含まれていればよい。また、過去の複数年に渡って発売されたそのシリーズの商品の外観をそれぞれ表す外観画像が含まれていてもよく、その場合には、検索結果として、複数の種類の外観画像（例えば、１年前と３年前のそのシリーズの商品の外観画像）が出力される。
【００５９】
また、対象物は、人間であってもよい。例えば、或る人物の小さい頃から大人になるまでの写真を撮影された時期に対応付けたものを画像群として記憶させておくことで、検索結果として、過去の様々な年齢において現在の時期に撮影されたその人物の写真が出力されることになる。例えば、春に検索を行うと、入学式の写真や卒業式の写真、花見の写真などが検索結果として出力される。なお、対象物が人間である場合に、例えば国や地域毎の人たちの写真を画像群として記憶させておいてもよい。その場合、検索の対象を例えば「イギリス人」と指定することで、イギリス人の現在の時期における服装や、現在の時期に行われるイベントの様子などを表す画像が検索結果として出力される。
【００６０】
上述した対象物は、いずれも、時期に応じて外観が変化する物であるから、これらの対象物の複数の時期における外観をそれぞれ表した画像群から第１画像及び第２画像を抽出することで、各実施形態と同様の検索を行うことができる。要するに、画像検索システム１においては、時期に応じて外観が変化する物であれば、どのような物であっても検索の対象とすることができる。
【００６１】
［４−２］時期
画像検索システム１においては、対象物の様々な時期の外観を表す第２画像を出力することができる。例えば、図６等の例では、幼虫、さなぎ及び成虫の時期が用いられていたが、これらに加え卵の時期が用いられていてもよく、また、幼虫の時期を１齢から３齢までの３つの時期にさらに細かく分けてもよい。また、時期の開始から終了までを表す場合に、図６等の例に示すように月で表すだけでなく、季節や週、日、時間などで時期を表してもよい。他にも、例えば「梅雨の時期」と表しておき、その年の梅雨入りから梅雨明けまでを表すものとしてもよい。その場合、梅雨入り及び梅雨明けを示す情報を外部装置から取得することで、現在が梅雨の時期か否かを判断する。要するに、或る時間の長さをもった期間が表されており、且つ、現在がその時期であるか否かを判断することが可能であれば、どのようにして時期が表されていてもよい。
【００６２】
［４−３］場所情報
画像検索システム１においては、様々な場所情報を関連情報として出力することができる。場所情報は、対象物がカツオやマグロのような回遊魚であれば、時期に応じて回遊している場所を示す情報となり、対象物がリスや熊のように冬眠する動物であれば、地上で活動している場所と冬眠している場所とを示す情報となる。他にも、画像検索システム１においては、例えば遊牧民やエスキモーなどを検索の対象とすることもでき、その場合、時期に応じてそれらの者達が暮らす場所を示す情報が場所情報となる。
【００６３】
［４−４］時期及び外観画像の対応
外観画像は、図６等の例では、或る時期に対して１つだけ対応付けられていたが、複数が対応付けられていてもよい。例えば、対象物がヤマトカブトで時期が７月〜９月であれば、ヤマトカブトの成虫を腹側から見た画像と背中側から見た画像、斜視した画像という３つの外観画像を対応付けてもよい。このように複数の外観画像を対応付けておくことにより、対象画像が示す対象がどのような方向から見たものであっても、外観画像を１つだけ対応付けている場合に比べて、その対象を表す第２画像が出力されやすいようにすることができる。
【００６４】
［４−５］画像群の記憶場所
画像群は、上記の各実施形態では、情報処理装置２０が記憶していたが、これに限らず、他の装置が記憶していてもよい。
図１３は、本変形例に係る画像検索システムの全体構成の一例を示す図である。図１３では、図１に示す各装置の他に、画像ＤＢ（DataBase：データベース）装置３０を備える画像検索システム１ａが示されている。画像ＤＢ装置３０は、上述した対象物テーブルを記憶している装置である。対象物テーブルは、画像群を格納するデータベースとして機能する。
【００６５】
画像ＤＢ装置３０は、ネットワーク２に接続されており、ネットワーク２を介して情報処理装置２０とデータをやり取りする。情報処理装置２０は、自装置に記憶している対象物テーブルを参照する代わりに、画像ＤＢ装置３０にアクセスして対象物テーブルを参照することで、各実施形態で述べたような動作を行う。このような全体構成であっても、第１抽出部２０１は画像群から第１画像を抽出し、第２抽出部２０２は画像群から第２画像を抽出することになる。なお、画像ＤＢ装置３０は、複数であってもよい。例えば、画像検索システムに対象物のカテゴリ（動物や昆虫、自然物、人工物など）ごとに記憶する画像群が異なる複数の画像ＤＢ装置が備えられているという具合である。
【００６６】
［４−６］時期の指定
画像検索システム１においては、対象物の現在の時期における外観を表す外観画像（つまり第２画像）に限らず、他の時期における外観を表す外観画像が出力されてもよい。
本実施形態では、ユーザ端末１０の表示面１５１に検索結果が表示された状態で、ユーザの操作により、時期を指定することができるようになっている。この操作を以下では「時期指定操作」という。要求部１０１は、時期指定操作が行われると、指定された時期に基づく検索結果の出力を情報処理装置２０に要求する。
【００６７】
第２抽出部２０２は、要求部１０１からの要求があった場合、すなわち時期が指定された場合に、第１抽出部２０１により抽出された第１画像により表される対象物の指定された時期の外観を表す画像（以下「第３画像」という）を画像群から抽出する。出力部２０３は、第２抽出部２０２により抽出された第３画像を、検索結果として出力する。表示部１０２は、こうして情報処理装置２０から出力された第３画像を表示する。以下、図１４を参照して、時期指定操作から第３画像が表示されるまでの表示面１５１の移り変わりについて説明する。
【００６８】
図１４は、表示面１５１に表示される画像の移り変わりの一例を示す図である。図１４（ａ）では、「４月１５日」という日付が表示された表示面１５１が示されている。この表示面１５１には、ヤマトカブトのさなぎを表す外観画像Ｃ１２が示されている。また、表示面１５１には、長方形の画像Ｂ２１が表示されている。画像Ｂ２１は、長辺に沿った方向における位置が、時間軸上の位置を表しており、その中心が「現在」、端部がそれぞれ「３月先」及び「３月前」を表している。画像Ｂ２１には、時間軸上の位置を表す画像Ｂ２２が表示されており、ユーザの操作により長辺に沿った方向に移動するようになっている。
【００６９】
図１４（ｂ）では、ユーザの操作により画像Ｂ２２が「３月先」の位置に移動させられた状態が示されている。この場合、「４月１５日」の「３月先」の７月１５日を含む時期が指定されたことになる。要求部１０１は、「７月１５日」という日付を示す日付データを、画像データ及び要求データとともに情報処理装置２０に送信する。情報処理装置２０の第２抽出部２０２は、この日付データが示す日付を含む時期を特定し、特定した時期の外観を表す外観画像を第３画像として抽出する。この例では、ヤマトカブトの成虫を表す外観画像Ｃ１３が検索結果として表示されている。図１４（ｃ）では、ユーザの操作により画像Ｂ２２が「３月前」の位置に移動させられた状態が示されており、「４月１５日」の「３月前」の１月１５日を含む時期が指定されたことになるため、ヤマトカブトの幼虫を表す外観画像Ｃ１１が検索結果として表示されている。
【００７０】
なお、時期指定操作は、第２画像の出力後だけでなく、対象画像を指定するときに合わせて指定できるようになっていてもよい。その場合、例えば情報処理装置２０が第２画像と第３画像の両方を出力し、ユーザ端末１０がそれらの画像を切り替えながら表示するという具合である。また、図１４の例のように画像を移動させるのではなく、例えば数値や文字列を入力することで時期が指定されてもよい。
【００７１】
本変形例では、ユーザが時期を指定した場合に、その対象画像が示す対象の指定した時期における外観を表す外観画像が検索結果として表示されることになる。これにより、ユーザは、検索した対象物の外観がどのように変化してきて、これから変化していくのかということを容易に知ることができる。また、ユーザの対象物に対する理解を深めることもできる。
【００７２】
［４−７］画像以外の情報で対象を指定
画像検索システムにおいては、上述した各実施形態では、検索したい対象を示す画像を用いて検索が行われたが、これに限らず、例えば検索したい対象を示す文字列（以下「対象文字列」という）などが用いられてもよい。この場合、ユーザ端末１０の要求部１０１は、ユーザの操作等により対象文字列（例えば「ヤマトカブト」という文字列）が指定された場合に、その対象文字列に基づく検索とその検索結果の出力とを情報処理装置２０に要求する。
【００７３】
情報処理装置１０の第１抽出部２０１は、対象文字列が指定された場合に、上記の画像群から、対象文字列が表す物を示す画像を第１画像として抽出する。以下、第２抽出部２０２及び出力部２０３が上述した動作を行うことで、検索結果が出力される。なお、画像検索システムにおいては、対象画像や対象文字列の他に、検索したい対象を示す音声や記号などが用いられてもよい。これらの場合、例えば第１抽出部２０１が、それらの音声や記号が示す対象の物を特定できるようになっていればよい。要するに、第１抽出部２０１は、検索したい対象を示す情報（以下「対象情報」という）が指定された場合に、画像群からその対象情報により示される物を表した第１画像を抽出するものであればよい。
【００７４】
［４−８］第１画像の不抽出
情報処理装置は、上述した各実施形態では、第１画像を抽出したが、これを抽出しなくてもよい。
図１５は、本変形例における機能構成の一例を示す図である。図１５では、図４に示す第１抽出部２０１及び第２抽出部２０２の代わりに抽出部２０４を備える情報処理装置１０ａが示されている。抽出部２０４は、ユーザ端末１０からの画像データ及び要求データが供給されると、供給された画像データが示す外観画像（すなわち対象画像）の特徴量から、対象画像が示す物を特定する。
【００７５】
抽出部２０４は、特定した物の現在の時期における外観を表す外観画像を画像群から抽出する。こうして抽出される外観画像を「現時点画像」という。現時点画像は、第２抽出部２０２が抽出する第２画像に相当するものである。出力部２０３は、抽出部２０４により抽出された現時点画像を、検索結果として出力する。なお、図１５の例において、前述した対象情報が用いられた場合、抽出部２０４は、対象情報が指定された場合に、画像群から、その対象情報により表される物の、現時点を含む時期における外観を表す現時点画像を抽出することになる。この場合、図８に示す検索処理では、情報処理装置２０が、ステップＳ１３（第１画像の抽出）及びステップＳ１４（第２画像の抽出）の代わりのステップにおいて現時点画像を抽出する動作を行い、抽出した現時点画像を検索結果としてユーザ端末１０に対して出力する（ステップＳ１５）。
【００７６】
なお、第１及び第２画像を抽出する構成は、抽出部２０４が第１抽出部２０１及び第２抽出部２０２を備える構成として表すことができる。
図１６は、本変形例における機能構成の他の一例を示す図である。図１６では、第１抽出部２０１及び第２抽出部２０２を備える抽出部２０４ｂと、その抽出部２０４ｂを備える情報処理装置１０ｂとが示されている。この場合、抽出部２０４ｂは、対象画像が指定された場合に画像群から対象画像に類似する第１画像を抽出する第１抽出部２０１と、第１抽出部２０１により抽出された第１画像により表される物の、現時点を含む時期における外観を表す第２画像を、現時点画像として画像群から抽出する第２抽出部２０２とを備える。出力部２０３は、第２抽出部２０２により抽出された第２画像を現時点画像として出力する。
【００７７】
［４−９］画像の出力先
出力部２０３は、上記の各実施形態では、第２画像をユーザ端末１０に対して出力したが、これに限らない。出力部２０３は、例えば、ユーザ端末１０に対応付けて登録されたメールアドレスに対して第２画像を出力したり、同じく登録されたＳＮＳ（Social Networking Service）のアカウントに対して投稿という形で出力したりしてもよい。また、出力部２０３は、ウェブサーバとしての機能を備える外部装置に対して第２画像を出力し、ユーザ端末１０がその外部装置のＵＲＬにアクセスして第２画像を参照するようにしてもよい。また、情報処理装置２０がユーザの身近に設置されている場合に、出力部２０３がディスプレイに対して第２画像を出力して、そのディスプレイに表示された第２画像をユーザが見るようにしてもよい。
【００７８】
［４−１０］発明のカテゴリ
本発明は、画像検索システムやユーザ端末、情報処理装置の他にも、ユーザ端末や情報処理装置が実施する処理を実現するための画像検索方法としても捉えられるものである。ここでいう処理とは、例えば、図８に示す検索処理である。また、本発明は、ユーザ端末や情報処理装置のようなコンピュータを、図４に示す手段として機能させるためのプログラムとしても捉えられるものである。このプログラムは、それを記憶させた光ディスク等の記録媒体の形態で提供されたり、インターネット等のネットワークを介して、コンピュータにダウンロードさせ、それをインストールして利用可能にするなどの形態でも提供されたりするものであってもよい。
【符号の説明】
【００７９】
１…画像検索システム、２…ネットワーク、１０…ユーザ端末、２０…情報処理装置、３０…画像ＤＢ装置、１１、２１…制御装置、１２、２２…記憶装置、１３、２３…通信装置、１４…操作装置、１５…モニター、１６…音声入出力装置、１０１…要求部、１０２…表示部、２０１…第１抽出部、２０２…第２抽出部、２０３…出力部、２０４…抽出部
【図１】
2014211741.tif 000003
【図２】
2014211741.tif 000004
【図３】
2014211741.tif 000005
【図４】
2014211741.tif 000006
【図８】
2014211741.tif 000007
【図１３】
2014211741.tif 000008
【図１５】
2014211741.tif 000009
【図１６】
2014211741.tif 000010
【図５】
2014211741.tif 000011
【図６】
2014211741.tif 000012
【図７】
2014211741.tif 000013
【図９】
2014211741.tif 000014
【図１０】
2014211741.tif 000015
【図１１】
2014211741.tif 000016
【図１２】
2014211741.tif 000017
【図１４】
2014211741.tif 000018