(57)【要約】  反復構造抽出装置は、１つ又は複数の地点で撮影され、かつ、各々異なる撮影時刻が付与された複数の画像の各々について画像特徴を抽出する画像特徴抽出部と、複数の画像の各々について、画像に付与された撮影時刻から予め定められた周期に基づいた時間特徴を抽出する時間特徴抽出部と、画像特徴抽出部によって複数の画像の各々について抽出された画像特徴、及び時間特徴抽出部によって複数の画像の各々について抽出された時間特徴に基づいて、時間特徴と画像特徴の成分との間で相互変換を行うための反復構造であって画像特徴の成分と時間特徴との間の周期的な変化の相関に基づいた反復構造を学習する反復構造抽出部と、を含む。
2017010514.tif 000002
【特許請求の範囲】
【請求項１】
１つ又は複数の地点で撮影され、かつ、各々異なる撮影時刻が付与された複数の画像の各々について、画像特徴を抽出する画像特徴抽出部と、
前記複数の画像の各々について、前記画像に付与された撮影時刻から、予め定められた周期に基づいた時間特徴を抽出する時間特徴抽出部と、
前記画像特徴抽出部によって前記複数の画像の各々について抽出された画像特徴、及び前記時間特徴抽出部によって前記複数の画像の各々について抽出された時間特徴に基づいて、前記時間特徴と前記画像特徴の成分との間で相互変換を行うための反復構造であって、かつ、前記画像特徴の成分と前記時間特徴との間の周期的な変化の相関に基づいた前記反復構造を学習する反復構造抽出部と、
を含む反復構造抽出装置。
【請求項２】
前記時間特徴抽出部は、前記画像に付与された撮影時刻から、複数の異なる前記周期に基づいた複数の変数を含む前記時間特徴を抽出し、
前記反復構造抽出部は、前記画像特徴抽出部によって前記複数の画像の各々について抽出された画像特徴、及び前記時間特徴抽出部によって前記複数の画像の各々について抽出された時間特徴に基づいて、前記時間特徴の前記複数の変数から選択された変数と前記画像特徴の成分との間で相互変換を行うための前記反復構造であって、かつ、前記画像特徴の成分と前記時間特徴の前記選択された変数との間の周期的な変化の相関に基づいた前記反復構造を学習する、
請求項１記載の反復構造抽出装置。
【請求項３】
前記反復構造抽出部は、同一の前記地点において撮影された前記画像から抽出された前記画像特徴と、同一の前記地点において撮影された前記画像に付与された撮影時刻から抽出された前記時間特徴とに基づいて、前記反復構造を前記地点ごとに学習する、
請求項１記載の反復構造抽出装置。
【請求項４】
前記反復構造抽出部は、複数の前記地点において撮影された前記画像から抽出された前記画像特徴と、複数の前記地点において撮影された前記画像に付与された撮影時刻から抽出された前記時間特徴と、前記地点及び撮影方角を表す特徴量とに基づいて、前記反復構造を学習し、
前記反復構造は、前記画像特徴と前記時間特徴と前記特徴量との間で相互変換を行う、
請求項１記載の反復構造抽出装置。
【請求項５】
１つ又は複数の地点で撮影され、かつ、各々異なる撮影時刻が付与された複数の画像の各々について抽出された画像特徴を記憶する特徴記憶部と、
入力された時刻から、予め定められた周期に基づいた時間特徴を抽出する時間特徴抽出部と、
前記複数の画像の撮影時刻から抽出された時間特徴と前記画像特徴の成分との間で相互変換を行うための反復構造であって、かつ、前記画像特徴の成分と前記時間特徴との間の周期的な変化の相関に基づいて予め学習された前記反復構造と、前記時間特徴抽出部によって抽出された時間特徴とに基づいて、前記入力された時刻において撮影される画像の画像特徴を推定する画像特徴推定部と、
前記画像特徴推定部によって推定された画像特徴と、前記特徴記憶部に記憶された前記複数の画像の各々についての画像特徴とに基づいて、前記画像特徴推定部によって推定された画像特徴に類似する画像特徴を有する画像を検索する類似特徴画像検索部と、
を含む画像検索装置。
【請求項６】
前記時間特徴抽出部は、入力された時刻から、複数の異なる前記周期に基づいた複数の変数を含む前記時間特徴を抽出し、
前記画像特徴推定部は、前記時間特徴の前記複数の変数から選択された変数と前記画像特徴の成分との間で相互変換を行うための前記反復構造であって、かつ、前記画像特徴の成分と前記時間特徴の前記選択された変数との間の周期的な変化の相関に基づいて予め学習された前記反復構造と、前記時間特徴抽出部によって抽出された時間特徴とに基づいて、前記入力された時刻において撮影される画像の画像特徴を推定する、
請求項５記載の画像検索装置。
【請求項７】
入力された画像から、画像特徴を抽出する画像特徴抽出部と、
１つ又は複数の地点で撮影された複数の画像の撮影時刻から抽出された時間特徴であって予め定められた周期に基づいた時間特徴と前記複数の画像から抽出された画像特徴の成分との間で相互変換を行うための反復構造であって、かつ、前記画像特徴の成分と前記時間特徴との間の周期的な変化の相関に基づいて予め学習された前記反復構造と、前記画像特徴抽出部によって抽出された画像特徴とに基づいて、前記入力された画像が撮影された撮影時刻を推定する撮影時刻推定部と、
を含む撮影時刻推定装置。
【請求項８】
前記撮影時刻推定部は、複数の異なる前記周期に基づいた複数の変数を含む前記時間特徴から選択された変数と前記複数の画像から抽出された画像特徴の成分との間で相互変換を行うための前記反復構造であって、かつ、前記画像特徴の成分と前記時間特徴の前記選択された変数との間の周期的な変化の相関に基づいて予め学習された前記反復構造と、前記画像特徴抽出部によって抽出された画像特徴とに基づいて、前記入力された画像が撮影された撮影時刻を推定する、
請求項７記載の撮影時刻推定装置。
【請求項９】
画像特徴抽出部と、時間特徴抽出部と、反復構造抽出部とを含む反復構造抽出装置における反復構造抽出方法であって、
前記画像特徴抽出部が、１つ又は複数の地点で撮影され、かつ、各々異なる撮影時刻が付与された複数の画像の各々について、画像特徴を抽出し、
前記時間特徴抽出部が、前記複数の画像の各々について、前記画像に付与された撮影時刻から、予め定められた周期に基づいた時間特徴を抽出し、
前記反復構造抽出部が、前記画像特徴抽出部によって前記複数の画像の各々について抽出された画像特徴、及び前記時間特徴抽出部によって前記複数の画像の各々について抽出された時間特徴に基づいて、前記時間特徴と前記画像特徴の成分との間で相互変換を行うための反復構造であって、かつ、前記画像特徴の成分と前記時間特徴との間の周期的な変化の相関に基づいた前記反復構造を学習する、
反復構造抽出方法。
【請求項１０】
前記反復構造抽出部は、同一の前記地点において撮影された前記画像から抽出された前記画像特徴と、同一の前記地点において撮影された前記画像に付与された撮影時刻から抽出された前記時間特徴とに基づいて、前記反復構造を前記地点ごとに学習する、
請求項９記載の反復構造抽出方法。
【請求項１１】
前記反復構造抽出部は、複数の前記地点において撮影された前記画像から抽出された前記画像特徴と、複数の前記地点において撮影された前記画像に付与された撮影時刻から抽出された前記時間特徴と、前記地点及び撮影方角を表す特徴量とに基づいて、前記反復構造を学習し、
前記反復構造は、前記画像特徴と前記時間特徴と前記特徴量との間で相互変換を行う、
請求項９記載の反復構造抽出方法。
【請求項１２】
１つ又は複数の地点で撮影され、かつ、各々異なる撮影時刻が付与された複数の画像の各々について抽出された画像特徴を記憶する特徴記憶部と、時間特徴抽出部と、画像特徴推定部と、類似特徴画像検索部とを含む画像検索装置における画像検索方法であって、
前記時間特徴抽出部は、入力された時刻から、予め定められた周期に基づいた時間特徴を抽出し、
前記画像特徴推定部は、前記複数の画像の撮影時刻から抽出された時間特徴と前記画像特徴の成分との間で相互変換を行うための反復構造であって、かつ、前記画像特徴の成分と前記時間特徴との間の周期的な変化の相関に基づいて予め学習された前記反復構造と、前記時間特徴抽出部によって抽出された時間特徴とに基づいて、前記入力された時刻において撮影される画像の画像特徴を推定し、
前記類似特徴画像検索部は、前記画像特徴推定部によって推定された画像特徴と、前記特徴記憶部に記憶された前記複数の画像の各々についての画像特徴とに基づいて、前記画像特徴推定部によって推定された画像特徴に類似する画像特徴を有する画像を検索する、
画像検索方法。
【請求項１３】
画像特徴抽出部と、撮影時刻推定部とを含む撮影時刻推定装置における撮影時刻推定方法であって、
前記画像特徴抽出部が、入力された画像から、画像特徴を抽出し、
前記撮影時刻推定部が、１つ又は複数の地点で撮影された複数の画像の撮影時刻から抽出された時間特徴であって予め定められた周期に基づいた時間特徴と前記複数の画像から抽出された画像特徴の成分との間で相互変換を行うための反復構造であって、かつ、前記画像特徴の成分と前記時間特徴との間の周期的な変化の相関に基づいて予め学習された前記反復構造と、前記画像特徴抽出部によって抽出された画像特徴とに基づいて、前記入力された画像が撮影された撮影時刻を推定する、
撮影時刻推定方法。
【請求項１４】
コンピュータを、請求項１記載の反復構造抽出装置、請求項５記載の画像検索装置、又は請求項７記載の撮影時刻推定装置を構成する各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像検索装置及び方法、撮影時刻推定装置及び方法、反復構造抽出装置及び方法、並びにプログラムに関する。
本願は、２０１５年７月１５日に、日本に出願された特願２０１５−１４１６２９号に基づき優先権を主張し、その内容をここに援用する。
【背景技術】
【０００２】
Facebook（登録商標）やInstagram（登録商標）、Flickr（登録商標）といった、画像共有機能を有するソーシャルメディアの隆盛により、web上には膨大な画像が存在するようになった。さらにこれらのソーシャルメディアを通じて投稿された画像には、撮影時刻や撮影位置などの補助情報が付随しており、種々の情報に基づいて画像を検索できるようになってきている。たとえばGoogle Map（登録商標）には、実際にその地点で撮影された画像を地図上に並べてみせる機能が実装されている。【０００３】
ただし消費者のデバイスから発信される情報であるため、時計がずれていたりGPSの精度が低かったりすることによって誤った補助情報が付随してしまっている画像や、プライバシーを守るためにそうした補助情報を非公開として投稿されている画像が大半を占めている。そこで、それらの情報と画像の内容の関係を学習することで画像を検索できるようにする方法が多く提案されている。たとえば非特許文献１では、入力画像に類似した撮影位置情報付き画像を検索し、その後それぞれの撮影位置に基づいて検索順位を更新することで、検索上位に付随する撮影位置情報から入力画像の撮影位置を推定する方法を提案している。【０００４】
しかしながら、時間情報について同様に画像を検索可能にするシステムや、補助情報としての撮影時刻の欠陥の解決、言い換えれば画像が撮影されない時間帯を多く含むような画像群においても、やはり画像を検索可能にする方法の提案などについては、未だほとんど未着手である。従来のわずかな試みでは、時間に対する画像の複雑な変化を簡略化するために、前もって注目する時間の長さを限定している。非特許文献２では米国の独立記念日のように１日の中で朝から夜までのイベントが共通しやすい日について、時間の経過に応じて代表的な画像の遷移をグラフ構造で表現する方法を提案している。非特許文献３では、数年以上の長い期間で徐々に変化する町並みの様子を時間付き３次元モデルとして表現する方法を提案している。非特許文献４では数ヶ月から数年という中長期の変化で町並みや自然の移り変わりをモデル化しているが、１日の変化などの短周期での変化を破棄し、複雑な変化を簡略しているという意味では同様の技術とみなせる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】X. Li, M. Larson, and A. Hanjalic. Geo-visual Ranking for Location Prediction of Social Images. In ICMR, 2013.
【非特許文献２】G. Kim, L. Sigal, and E. P. Xing. Joint Summarization of Large-scale Collections of Web Images and Videos for Storyline Reconstruction. In CVPR, 2014.
【非特許文献３】G. Schindler, F. Dellaert, and S. B. Kang. Inferring Temporal Order of Images From 3D Structure. In CVPR, 2007.
【非特許文献４】R. Martin-Brualla, D. Gallup, and S. M. Seitz. Time-lapse Mining from Internet Photos. In SIGGRAPH, 2015.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記の方法では、画像が変化する時間の長さを限定しているため、各地点の画像の多様な時間の長さにおける変化に対応できない、という問題点があった。【０００７】
本発明は、上記の問題点に鑑みてなされたものであり、特定の地点で収集された画像群に対して、画像の様々な時間の長さに基づく変化をとらえ、任意の時刻について画像を検索することができる画像検索装置、方法、及びプログラムを提供することを目的とする。【０００８】
また、特定の地点で収集された画像群に対して、画像の様々な時間の長さに基づく変化をとらえ、画像が撮影された時刻を推定することができる撮影時刻推定装置、方法、及びプログラムを提供することを目的とする。【０００９】
また、特定の地点で収集された画像群に対して、画像の様々な時間の長さに基づく変化をとらえ、任意の時刻について画像を検索するための反復構造を学習することができる反復構造抽出装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の第１の実施態様は、１つ又は複数の地点で撮影され、かつ、各々異なる撮影時刻が付与された複数の画像の各々について、画像特徴を抽出する画像特徴抽出部と、前記複数の画像の各々について、前記画像に付与された撮影時刻から、予め定められた周期に基づいた時間特徴を抽出する時間特徴抽出部と、前記画像特徴抽出部によって前記複数の画像の各々について抽出された画像特徴、及び前記時間特徴抽出部によって前記複数の画像の各々について抽出された時間特徴に基づいて、前記時間特徴と前記画像特徴の成分との間で相互変換を行うための反復構造であって、かつ、前記画像特徴の成分と前記時間特徴との間の周期的な変化の相関に基づいた前記反復構造を学習する反復構造抽出部と、を含む反復構造抽出装置である。【００１１】
本発明の第２の実施態様は、上記第１の実施態様の反復構造抽出装置において、前記時間特徴抽出部は、前記画像に付与された撮影時刻から、複数の異なる前記周期に基づいた複数の変数を含む前記時間特徴を抽出し、前記反復構造抽出部は、前記画像特徴抽出部によって前記複数の画像の各々について抽出された画像特徴、及び前記時間特徴抽出部によって前記複数の画像の各々について抽出された時間特徴に基づいて、前記時間特徴の前記複数の変数から選択された変数と前記画像特徴の成分との間で相互変換を行うための前記反復構造であって、かつ、前記画像特徴の成分と前記時間特徴の前記選択された変数との間の周期的な変化の相関に基づいた前記反復構造を学習する。【００１２】
本発明の第３の実施態様は、上記第１又は第２の実施態様の反復構造抽出装置において、前記反復構造抽出部は、同一の前記地点において撮影された前記画像から抽出された前記画像特徴と、同一の前記地点において撮影された前記画像に付与された撮影時刻から抽出された前記時間特徴とに基づいて、前記反復構造を前記地点ごとに学習する。【００１３】
本発明の第４の実施態様は、上記第１又は第２の実施態様の反復構造抽出装置において、前記反復構造抽出部は、複数の前記地点において撮影された前記画像から抽出された前記画像特徴と、複数の前記地点において撮影された前記画像に付与された撮影時刻から抽出された前記時間特徴と、前記地点及び撮影方角を表す特徴量とに基づいて、前記反復構造を学習し、前記反復構造は、前記画像特徴と前記時間特徴と前記特徴量との間で相互変換を行う。【００１４】
本発明の第５の実施態様は、１つ又は複数の地点で撮影され、かつ、各々異なる撮影時刻が付与された複数の画像の各々について抽出された画像特徴を記憶する特徴記憶部と、入力された時刻から、予め定められた周期に基づいた時間特徴を抽出する時間特徴抽出部と、前記複数の画像の撮影時刻から抽出された時間特徴と前記画像特徴の成分との間で相互変換を行うための反復構造であって、かつ、前記画像特徴の成分と前記時間特徴との間の周期的な変化の相関に基づいて予め学習された前記反復構造と、前記時間特徴抽出部によって抽出された時間特徴とに基づいて、前記入力された時刻において撮影される画像の画像特徴を推定する画像特徴推定部と、前記画像特徴推定部によって推定された画像特徴と、前記特徴記憶部に記憶された前記複数の画像の各々についての画像特徴とに基づいて、前記画像特徴推定部によって推定された画像特徴に類似する画像特徴を有する画像を検索する類似特徴画像検索部と、を含む画像検索装置である。【００１５】
本発明の第６の実施態様は、第５の実施態様の画像検索装置において、前記時間特徴抽出部は、入力された時刻から、複数の異なる前記周期に基づいた複数の変数を含む前記時間特徴を抽出し、前記画像特徴推定部は、前記時間特徴の前記複数の変数から選択された変数と前記画像特徴の成分との間で相互変換を行うための前記反復構造であって、かつ、前記画像特徴の成分と前記時間特徴の前記選択された変数との間の周期的な変化の相関に基づいて予め学習された前記反復構造と、前記時間特徴抽出部によって抽出された時間特徴とに基づいて、前記入力された時刻において撮影される画像の画像特徴を推定する。【００１６】
本発明の第７の実施態様は、入力された画像から、画像特徴を抽出する画像特徴抽出部と、１つ又は複数の地点で撮影された複数の画像の撮影時刻から抽出された時間特徴であって予め定められた周期に基づいた時間特徴と前記複数の画像から抽出された画像特徴の成分との間で相互変換を行うための反復構造であって、かつ、前記画像特徴の成分と前記時間特徴との間の周期的な変化の相関に基づいて予め学習された前記反復構造と、前記画像特徴抽出部によって抽出された画像特徴とに基づいて、前記入力された画像が撮影された撮影時刻を推定する撮影時刻推定部と、を含む撮影時刻推定装置である。【００１７】
本発明の第８の実施態様は、上記第７の実施態様における撮影時刻推定装置において、前記撮影時刻推定部は、複数の異なる前記周期に基づいた複数の変数を含む前記時間特徴から選択された変数と前記複数の画像から抽出された画像特徴の成分との間で相互変換を行うための前記反復構造であって、かつ、前記画像特徴の成分と前記時間特徴の前記選択された変数との間の周期的な変化の相関に基づいて予め学習された前記反復構造と、前記画像特徴抽出部によって抽出された画像特徴とに基づいて、前記入力された画像が撮影された撮影時刻を推定する。【００１８】
本発明の第９の実施態様は、画像特徴抽出部と、時間特徴抽出部と、反復構造抽出部とを含む反復構造抽出装置における反復構造抽出方法であって、前記画像特徴抽出部が、１つ又は複数の地点で撮影され、かつ、各々異なる撮影時刻が付与された複数の画像の各々について、画像特徴を抽出し、前記時間特徴抽出部が、前記複数の画像の各々について、前記画像に付与された撮影時刻から、予め定められた周期に基づいた時間特徴を抽出し、前記反復構造抽出部が、前記画像特徴抽出部によって前記複数の画像の各々について抽出された画像特徴、及び前記時間特徴抽出部によって前記複数の画像の各々について抽出された時間特徴に基づいて、前記時間特徴と前記画像特徴の成分との間で相互変換を行うための反復構造であって、かつ、前記画像特徴の成分と前記時間特徴との間の周期的な変化の相関に基づいた前記反復構造を学習する、反復構造抽出方法である。【００１９】
本発明の第１０の実施態様は、上記第９の実施態様の反復構造抽出方法において、前記反復構造抽出部は、同一の前記地点において撮影された前記画像から抽出された前記画像特徴と、同一の前記地点において撮影された前記画像に付与された撮影時刻から抽出された前記時間特徴とに基づいて、前記反復構造を前記地点ごとに学習する。【００２０】
本発明の第１１の実施態様は、上記第９の実施態様の反復構造抽出方法において、前記反復構造抽出部は、複数の前記地点において撮影された前記画像から抽出された前記画像特徴と、複数の前記地点において撮影された前記画像に付与された撮影時刻から抽出された前記時間特徴と、前記地点及び撮影方角を表す特徴量とに基づいて、前記反復構造を学習し、前記反復構造は、前記画像特徴と前記時間特徴と前記特徴量との間で相互変換を行う。【００２１】
本発明の第１２の実施態様は、１つ又は複数の地点で撮影され、かつ、各々異なる撮影時刻が付与された複数の画像の各々について抽出された画像特徴を記憶する特徴記憶部と、時間特徴抽出部と、画像特徴推定部と、類似特徴画像検索部とを含む画像検索装置における画像検索方法であって、前記時間特徴抽出部は、入力された時刻から、予め定められた周期に基づいた時間特徴を抽出し、前記画像特徴推定部は、前記複数の画像の撮影時刻から抽出された時間特徴と前記画像特徴の成分との間で相互変換を行うための反復構造であって、かつ、前記画像特徴の成分と前記時間特徴との間の周期的な変化の相関に基づいて予め学習された前記反復構造と、前記時間特徴抽出部によって抽出された時間特徴とに基づいて、前記入力された時刻において撮影される画像の画像特徴を推定し、前記類似特徴画像検索部は、前記画像特徴推定部によって推定された画像特徴と、前記特徴記憶部に記憶された前記複数の画像の各々についての画像特徴とに基づいて、前記画像特徴推定部によって推定された画像特徴に類似する画像特徴を有する画像を検索する、画像検索方である。【００２２】
本発明の第１３の実施態様は、画像特徴抽出部と、撮影時刻推定部とを含む撮影時刻推定装置における撮影時刻推定方法であって、前記画像特徴抽出部が、入力された画像から、画像特徴を抽出し、前記撮影時刻推定部が、１つ又は複数の地点で撮影された複数の画像の撮影時刻から抽出された時間特徴であって予め定められた周期に基づいた時間特徴と前記複数の画像から抽出された画像特徴の成分との間で相互変換を行うための反復構造であって、かつ、前記画像特徴の成分と前記時間特徴との間の周期的な変化の相関に基づいて予め学習された前記反復構造と、前記画像特徴抽出部によって抽出された画像特徴とに基づいて、前記入力された画像が撮影された撮影時刻を推定する、撮影時刻推定方法である。【００２３】
本発明の第１４の実施態様は、上記第１から第４の実施態様のいずれかの反復構造抽出装置、上記第５又は第６の実施態様の画像検索装置、あるいは上記第７又は第８の実施態様の撮影時刻推定装置を構成する各部として機能させるためのプログラムである。
【発明の効果】
【００２４】
以上説明したように、本発明の画像検索装置、方法、及びプログラムによれば、時間特徴と画像特徴の成分との間で相互変換を行うための反復構造であって、かつ、画像特徴の成分と時間特徴との間の周期的な変化の相関に基づいて予め学習された反復構造に基づいて、入力された時刻において撮影される画像の画像特徴を推定し、推定された画像特徴に類似する画像特徴を有する画像を検索することにより、特定の地点で収集された画像群に対して、画像の様々な時間の長さに基づく変化をとらえ、任意の時刻について画像を検索することができる。【００２５】
また、本発明の撮影時刻推定装置、方法、及びプログラムによれば、時間特徴と画像特徴の成分との間で相互変換を行うための反復構造であって、かつ、画像特徴の成分と時間特徴との間の周期的な変化の相関に基づいて予め学習された反復構造に基づいて、入力された画像が撮影された撮影時刻を推定することにより、特定の地点で収集された画像群に対して、画像の様々な時間の長さに基づく変化をとらえ、画像が撮影された時刻を推定することができる。【００２６】
また、本発明の反復構造抽出装置、方法、及びプログラムによれば、特定の地点で撮影され、かつ、各々異なる撮影時刻が付与された複数の画像の各々について、画像特徴及び時間特徴を抽出し、時間特徴と画像特徴の成分との間で相互変換を行うための反復構造であって、かつ、画像特徴の成分と時間特徴との間の周期的な変化の相関に基づいて反復構造を学習することにより、特定の地点で収集された画像群に対して、画像の様々な時間の長さに基づく変化をとらえ、任意の時刻について画像を検索するための反復構造を学習することができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の実施の形態における反復構造抽出装置のブロック図である。
【図２】本発明の実施の形態における画像検索装置のブロック図である。
【図３】本発明の実施の形態における撮影時刻推定装置のブロック図である。
【図４】本発明の実施の形態における反復構造抽出装置の反復構造抽出処理ルーチンを示すフローチャートである。
【図５】本発明の実施の形態における画像検索装置の画像検索処理ルーチンを示すフローチャートである。
【図６】本発明の実施の形態における撮影時刻推定装置の撮影時刻推定処理ルーチンを示すフローチャートである。
【図７】反復構造抽出装置による実験結果を示す図である。
【図８Ａ】単純な検索による実験結果を示す図である。
【図８Ｂ】画像検索装置による実験結果を示す図である。
【発明を実施するための形態】
【００２８】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００２９】
＜本発明の実施の形態の概要＞
本発明の実施の形態は、ある特定の地点において、時間の経過による画像の変化を自動的に把握する方法に関するものである。この方法により、任意の時刻、とくに画像の存在しない過去、または未来における画像の推定が可能になる。
【００３０】
本発明の実施の形態では、特定の地点で収集された画像群に対して、画像の様々な時間の長さに基づく変化をとらえ、任意の時刻について画像を検索する。
【００３１】
特に反復して起こる画像の変化、例えば１日の周期で昼夜に併せて発生する画像の変化などを、予め１日という時間の長さを指定せずとも自動的に抽出し、利用する。反復構造を利用することで、特定の時間にしか撮影された画像が存在しない地点においても、他の時間に撮影された別の画像を再利用して、例えば「ある年月日の夜」の画像を検索しようとした際に「別の年月日の夜」の画像をもっともらしい画像として出力することができる。
【００３２】
＜本発明の実施の形態に係る反復構造抽出装置の構成＞
次に、本発明の実施の形態に係る反復構造抽出装置の構成について説明する。図１に示すように、本発明の実施の形態に係る反復構造抽出装置１０は、ＣＰＵと、ＲＡＭと、後述する反復構造抽出処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この反復構造抽出装置１０は、機能的には図１に示すように、入力部２０と、演算部３０とを備えている。
【００３３】
入力部２０は、特定の地点で撮影され、かつ、各々異なる撮影時刻が付与された複数の撮影時刻つき画像を受け付ける。
【００３４】
演算部３０は、撮影時刻つき画像記憶部３２、画像特徴抽出部３４、時間特徴抽出部３６、反復構造抽出部３８、特徴記憶部４０、及び反復構造記憶部４２を備えている。
【００３５】
撮影時刻つき画像記憶部３２は、入力部２０により受け付けた、特定の地点で撮影され、かつ、複数の撮影時刻つき画像を記憶する。
【００３６】
画像特徴抽出部３４は、撮影時刻つき画像記憶部３２に記憶された複数の撮影時刻つき画像から得られる画像データのみを入力とし、画像の時間変化を捉えるための特徴量である画像特徴を画像データごとに抽出し、これらの画像特徴を出力とする。
【００３７】
画像特徴を抽出する方法は特に限定されるものではないが、本実施形態においては、非特許文献４及び５に示す方法を採用する。
【００３８】
［非特許文献４］：Y. Jia, E. Shelhamer, J. Donahue, S. Karayev, J. Long, R. Girshick, S. Guadarrama, and T. Darrell. Caffe: Convolutional architecture for fast feature embedding. arXiv preprint arXiv:1408.5093, 2014.
【００３９】
［非特許文献５］：K. E. van de Sande, T. Gevers, and C. G. Snoek. Evaluating Color Descriptors for Object and Scene Recognition. TPAMI, 32(9):1582-1596, 2010.
【００４０】
時間特徴抽出部３６は、撮影時刻つき画像記憶部３２に記憶された複数の撮影時刻つき画像から得られる時刻データのみを入力とし、時間の経過に伴ってある周期で変動する複数種類の変数の値を並べて時間特徴
【００４１】
【数１】
2017010514.tif 000003
【００４２】
とし、この時間特徴を時刻データごとに抽出し、出力する。ある周期で変動する変数の計算方法は特に限定されるものではないが、本実施形態においては、ｎ次のフーリエ級数を利用して時間特徴ｔｎ（θ）を計算する。
【００４３】
【数２】
2017010514.tif 000004
【００４４】
ただし、θはベクトル（θ１，θ２，…，θｃ）である。ベクトルθのｃ番目の要素θｃは、周期Ｔｃを利用して
【００４５】
【数３】
2017010514.tif 000005
【００４６】
と計算される。ｔは周期を伴わずに一様に増加する時刻であり、時刻データとして与えられる。（ｔ ｍｏｄ Ｔｃ）は、ｔをＴｃで除算したときの剰余を表す。
【００４７】
反復構造抽出部３８は、画像特徴抽出部３４により抽出された画像特徴、及び時間特徴抽出部３６により抽出された時間特徴を入力として、時間特徴の複数種類の変数から選択された変数と画像特徴の成分との間で相互変換を行うための反復構造であって、かつ、画像特徴の成分と時間特徴の選択された変数との間の周期的な変化の相関に基づいた反復構造のモデルを学習する。モデルの学習方法は特に限定されるものではないが、本実施形態においては、反復構造抽出部３８は、画像変化周期抽出部５０と画像特徴学習部５２とを用いてモデルの学習を行う。画像変化周期抽出部５０が、複数の撮影時刻つき画像から抽出された画像特徴と時間特徴から、特徴間の相関が最大化されるように時間特徴の重みベクトルを学習して、時間特徴の変数選択を行うことにより、画像の周期的な変化を抽出する。画像特徴学習部５２が、複数の撮影時刻つき画像から抽出された画像特徴と時間特徴から、特徴間の相関が最大化されるように部分空間を学習することで、時間特徴の選択された変数を説明変数として画像特徴の成分へ回帰させる。反復構造抽出部３８は、画像変化周期抽出部５０及び画像特徴学習部５２の２つの処理を交互に繰り返すことで反復構造のモデルを学習する。
【００４８】
ここで、反復構造を学習する原理について説明する。
【００４９】
撮影時刻つき画像ごとに抽出された画像特徴を表すベクトルを各列にもつ行列を
【００５０】
【数４】
2017010514.tif 000006
【００５１】
、撮影時刻つき画像ごとに抽出された時間特徴を表すベクトルを各列にもつ行列を
【００５２】
【数５】
2017010514.tif 000007
【００５３】
とする。画像変化周期抽出部５０で学習される、時間特徴の変数選択を行う重みベクトルを
【００５４】
【数６】
2017010514.tif 000008
【００５５】
、画像特徴学習部５２で学習される、画像特徴の部分空間を
【００５６】
【数７】
2017010514.tif 000009
【００５７】
とすると、画像変化周期抽出部５０及び画像特徴学習部５２の２つの処理はどちらも以下の（１）式の目的関数を最適化する最適化問題を解いていることに該当し、これはｌ１ノルム正則化つき偏最小二乗法に相当する。
【００５８】
【数８】
2017010514.tif 000010
【００５９】
ただし、Ｃｏｖは２つの変量の相関を計算する関数であり、τはｌ１ノルム正則化の強さを表すハイパーパラメータである。
【００６０】
【数９】
2017010514.tif 000011
【００６１】
は画像特徴の主たる成分である。
【００６２】
【数１０】
2017010514.tif 000012
【００６３】
は時間特徴の主たる成分である。
【００６４】
【数１１】
2017010514.tif 000013
【００６５】
そのものは、予め過完備に用意された周期的な関数群に対し、どの周期が画像特徴の主たる成分の変化に最も近い周期で追従されるべきものかを示すベクトルである。
【００６６】
【数１２】
2017010514.tif 000014
【００６７】
は相関が強い順に複数獲得でき、反復構造抽出部３８は複数次元の部分空間を学習できる。
【００６８】
特徴記憶部４０は、画像特徴抽出部３４によって複数の撮影時刻つき画像から抽出された画像特徴、及び時間特徴抽出部３６によって複数の撮影時刻つき画像から抽出された時間特徴を記憶する。
【００６９】
反復構造記憶部４２は、反復構造抽出部３８によって学習された反復構造を記憶する。具体的には、反復構造記憶部４２は、反復構造抽出部３８によって学習された
【００７０】
【数１３】
2017010514.tif 000015
【００７１】
を記憶する。
【００７２】
＜本発明の実施の形態に係る画像検索装置の構成＞
次に、本発明の実施の形態に係る画像検索装置の構成について説明する。図２に示すように、本発明の実施の形態に係る画像検索装置６０は、ＣＰＵと、ＲＡＭと、後述する画像検索処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この画像検索装置６０は、機能的には図２に示すように、入力部７０と、演算部８０と、出力部９４とを備えている。
【００７３】
入力部７０は、時刻の入力を受け付ける。
【００７４】
演算部８０は、時間特徴抽出部８２、反復構造記憶部８４、特徴記憶部８６、画像特徴推定部８８、撮影時刻つき画像記憶部９０、及び類似特徴画像検索部９２を備えている。
【００７５】
時間特徴抽出部８２は、入力部７０により受け付けた時刻から、時間特徴抽出部３６と同様に、時間特徴を抽出し、出力する。
【００７６】
反復構造記憶部８４は、反復構造抽出装置１０の反復構造記憶部４２と同じ反復構造を記憶する。
【００７７】
特徴記憶部８６は、反復構造抽出装置１０の特徴記憶部４０と同じ、複数の撮影時刻つき画像の各々から抽出された画像特徴及び時間特徴を記憶する。
【００７８】
画像特徴推定部８８は、反復構造記憶部８４に記憶された反復構造と、時間特徴抽出部８２によって抽出された時間特徴と、特徴記憶部８６に記憶された画像特徴及び時間特徴とに基づいて、入力された時刻において撮影される画像の画像特徴を推定し、推定された画像特徴を出力する。画像特徴の推定方法は特に限定されるものではないが、本実施形態においては、画像特徴推定部８８は、入力時刻から計算された時間特徴について反復構造から得られる部分空間上での座標を求め、同部分空間内で時間特徴が近傍に位置する撮影時刻つき画像を検索し、それらの画像特徴の平均をもって入力時刻の画像から抽出される画像特徴を推定する。なお、他の推定方法により、入力時刻の画像から抽出される画像特徴を推定してもよい。例えば、画像特徴推定部８８は、特徴記憶部８６に記憶された時間特徴を用いずに、反復構造記憶部８４に記憶された反復構造と、時間特徴抽出部８２によって抽出された時間特徴と、特徴記憶部８６に記憶された画像特徴とに基づいて、入力された時刻において撮影される画像の画像特徴を推定するようにしてもよい。この場合には、画像特徴推定部８８は、特徴記憶部８６に記憶された時間特徴を用いずに入力時刻の画像から抽出される画像特徴を推定できる推定方法を用いればよい。
【００７９】
類似特徴画像検索部９２は、特徴記憶部８６に記憶された画像特徴に基づいて、画像特徴推定部８８によって入力時刻に対して推定された画像特徴に近い画像特徴をもつ画像を、複数の撮影時刻つき画像から検索し、検索された画像のデータを、撮影時刻つき画像記憶部９０から取得し、取得された画像を出力画像として出力する。
【００８０】
＜本発明の実施の形態に係る撮影時刻推定装置の構成＞
次に、本発明の実施の形態に係る撮影時刻推定装置の構成について説明する。図３に示すように、本発明の実施の形態に係る撮影時刻推定装置１００は、ＣＰＵと、ＲＡＭと、後述する撮影時刻推定処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この撮影時刻推定装置１００は、機能的には図３に示すように、入力部１１０と、演算部１２０と、出力部１３０とを備えている。
【００８１】
入力部１１０は、撮影時刻が不明な、特定の地点で撮影された画像の入力を受け付ける。ここで、特定の地点とは、反復構造抽出装置１０で入力された撮影時刻つき画像の特定の地点と同一である。
【００８２】
演算部１２０は、画像特徴抽出部１２２、反復構造記憶部１２４、特徴記憶部１２６、及び撮影時刻推定部１２８を備えている。
【００８３】
画像特徴抽出部１２２は、入力部１１０により受け付けた画像から、画像特徴抽出部３４と同様に、画像特徴を抽出し、出力する。
【００８４】
反復構造記憶部１２４は、反復構造抽出装置１０の反復構造記憶部４２と同じ反復構造を記憶する。
【００８５】
特徴記憶部１２６は、反復構造抽出装置１０の特徴記憶部４０と同じ、複数の撮影時刻つき画像の各々から抽出された画像特徴を記憶する。
【００８６】
撮影時刻推定部１２８は、反復構造記憶部１２４に記憶された反復構造と、特徴記憶部１２６に記憶された画像特徴とに基づいて、反復構造を利用して、入力された画像の撮影時刻を推定し、出力する。推定方法は特に限定されるものではないが、本実施形態では、撮影時刻推定部１２８は、画像特徴と時間特徴の相関を最大化する部分空間を利用し、部分空間中で、入力画像の画像特徴と近傍に位置する撮影時刻つき画像を検索し、最近傍の画像の撮影時刻、または複数の近傍の画像の撮影時刻を用いて、入力画像の撮影時刻を推定する。なお、他の推定方法により、入力画像の撮影時刻を推定するようにしてもよい。例えば、撮影時刻推定部１２８は、特徴記憶部１２６に記憶された画像特徴を用いずに、反復構造記憶部１２４に記憶された反復構造と、画像特徴抽出部１２２によって抽出された画像特徴とに基づいて、入力画像の撮影時刻を推定するようにしてもよい。この場合には、撮影時刻推定部１２８は、特徴記憶部１２６に記憶された画像特徴を用いずに入力画像の撮影時刻を推定できる推定方法を用いればよい。
【００８７】
＜本発明の実施の形態に係る反復構造抽出装置の作用＞
次に、本発明の実施の形態に係る反復構造抽出装置１０の作用について説明する。反復構造抽出装置１０は、特定の地点で撮影され、かつ、各々異なる撮影時刻が付与された複数の撮影時刻つき画像を受け付けると、撮影時刻つき画像記憶部３２に格納する。そして、反復構造抽出装置１０は、図４に示す反復構造抽出処理ルーチンを実行する。
【００８８】
まず、ステップＳ１００では、画像特徴抽出部３４は、複数の撮影時刻つき画像の各々について、当該撮影時刻つき画像の画像データから、画像特徴を抽出し、特徴記憶部４０に格納する。
【００８９】
そして、ステップＳ１０２では、時間特徴抽出部３６は、複数の撮影時刻つき画像の各々について、当該撮影時刻つき画像の時刻データから、時間特徴を抽出し、特徴記憶部４０に格納する。
【００９０】
ステップＳ１０４では、画像変化周期抽出部５０は、上記ステップＳ１００で抽出された画像特徴と、上記ステップＳ１０２で抽出された時間特徴と、画像特徴の部分空間
【００９１】
【数１４】
2017010514.tif 000016
【００９２】
の初期値又は前回値とに基づいて、学習を行う。具体的には、画像変化周期抽出部５０は、画像特徴の部分空間
【００９３】
【数１５】
2017010514.tif 000017
【００９４】
の初期値又は前回値に固定した場合に、上記（１）式の目的関数を最適化するように、時間特徴の重みベクトル
【００９５】
【数１６】
2017010514.tif 000018
【００９６】
を学習する。
【００９７】
ステップＳ１０６では、画像特徴学習部５２は、上記ステップＳ１００で抽出された画像特徴と、上記ステップＳ１０２で抽出された時間特徴と、時間特徴の重みベクトル
【００９８】
【数１７】
2017010514.tif 000019
【００９９】
の初期値又は前回値とに基づいて、学習を行う。具体的には、画像特徴学習部５２は、時間特徴の重みベクトル
【０１００】
【数１８】
2017010514.tif 000020
【０１０１】
の初期値又は前回値に固定した場合に、上記（１）式の目的関数を最適化するように、画像特徴の部分空間
【０１０２】
【数１９】
2017010514.tif 000021
【０１０３】
を学習する。
【０１０４】
ステップＳ１０８では、反復構造抽出部３８は予め定められた繰り返し終了条件を満たすか否かを判定する。繰り返し終了条件を満たさない場合には、反復構造抽出部３８はステップＳ１０４へ戻る。一方、繰り返し終了条件を満たす場合には、反復構造抽出部３８は、ステップＳ１１０へ移行し、上記ステップＳ１０４、Ｓ１０６で最終的に学習された
【０１０５】
【数２０】
2017010514.tif 000022
【０１０６】
を、反復構造記憶部４２に格納して、反復構造抽出処理ルーチンを終了する。
【０１０７】
＜本発明の実施の形態に係る画像検索装置の作用＞
次に、本発明の実施の形態に係る画像検索装置６０の作用について説明する。画像検索装置６０は、時刻の入力を受け付けると、図５に示す画像検索処理ルーチンを実行する。
【０１０８】
まず、ステップＳ１２０では、時間特徴抽出部８２は、入力された時刻から、時間特徴を抽出する。
【０１０９】
そして、ステップＳ１２２では、画像特徴推定部８８は、反復構造記憶部８４に記憶された反復構造に基づいて、上記ステップＳ１２０で抽出された時間特徴に対応する、部分空間での座標を求め、特徴記憶部８６に記憶された時間特徴に基づいて、上記ステップＳ１２０で抽出された時間特徴と近い画像を検索する。
【０１１０】
ステップＳ１２４において、画像特徴推定部８８は、特徴記憶部８６に記憶された画像特徴と、上記ステップＳ１２２で検索された画像とに基づいて、入力された時刻における画像特徴を推定する。
【０１１１】
そして、ステップＳ１２６において、類似特徴画像検索部９２は、特徴記憶部８６に記憶された画像特徴と、撮影時刻つき画像記憶部９０に記憶されている画像とに基づいて、上記ステップＳ１２４で推定された画像特徴に近い画像を検索する。
【０１１２】
ステップＳ１２８では、上記ステップＳ１２６で検索された画像を、出力部９４により出力して、画像検索処理ルーチンを終了する。
【０１１３】
＜本発明の実施の形態に係る撮影時刻推定装置の作用＞
次に、本発明の実施の形態に係る撮影時刻推定装置１００の作用について説明する。撮影時刻推定装置１００は、撮影時刻が不明な、特定の場所で撮影した画像の入力を受け付けると、図６に示す撮影時刻推定処理ルーチンを実行する。
【０１１４】
まず、ステップＳ１３０では、画像特徴抽出部１２２は、入力された画像から、画像特徴を抽出する。
【０１１５】
そして、ステップＳ１３２では、撮影時刻推定部１２８は、反復構造記憶部８４に記憶された反復構造に基づいて、上記ステップＳ１３０で抽出された画像特徴に対応する、部分空間での座標を求め、特徴記憶部８６に記憶された画像特徴に基づいて、上記ステップＳ１３０で抽出された画像特徴と近い画像を検索する。
【０１１６】
ステップＳ１３４において、撮影時刻推定部１２８は、上記ステップＳ１３２で検索された画像の撮影時刻に基づいて、入力された画像における撮影時刻を推定し、出力部１３０により出力して、撮影時刻推定処理ルーチンを終了する。
【０１１７】
＜変形例＞
上述した実施の形態における反復構造抽出装置１０は、特定の地点で撮影され、かつ各々異なる時刻に撮影された複数の画像を学習の対象としていた。しかし、学習の対象とする画像を撮影した地点は、特定の一つの地点だけでなく、複数の地点であってもよい。また、各地点において画像が撮影される方角は異なっていてもよい。反復構造抽出装置１０が複数の地点で任意の期間内に撮影された複数の画像を学習の対象とする場合、学習の際に用いる式（１）に代えて、式（２）が用いられる。
【０１１８】
【数２１】
2017010514.tif 000023
【０１１９】
式（２）において、Ｎｄは入力する画像の数である。ベクトルｘｎ，ｙｎは、各撮影時刻つき画像から抽出される画像特徴及び時間特徴を示す列ベクトルである。ｄｉａｇ（Ａ）は、行列Ａの対角要素を得る関数である。ｔｒ（Ａ）は、行列Ａの対角要素の総和を算出する関数である。行列Ｘ，Ｙは、ベクトルｘｎ，ｙｎを各列にもつ行列である。射影行列Ｕ，Ｖは、ベクトルｕｒ，ｖｒそれぞれを各行にもつ行列である。また、演算子「○」は、行列に対するアダマール積を表す。行列Ｓは、ベクトルｓｎを各行にもつ行列である。
【０１２０】
【数２２】
2017010514.tif 000024
【０１２１】
は、ｎ番目の画像から抽出した画像特徴をｄｒ本の射影軸で構成される射影行列Ｕで投影して得られるｄｒ次元のベクトルである。
【０１２２】
【数２３】
2017010514.tif 000025
【０１２３】
は、ｎ番目の画像から抽出した時間特徴をｄｒ本の射影軸で構成される射影行列Ｖで投影して得られるｄｒ次元のベクトルである。
【０１２４】
【数２４】
2017010514.tif 000026
【０１２５】
ベクトルｓｎは、式（３）に示すように、例えば画像が撮影された地点と方角とから確定的に定まるベクトルａｎと、地点及び方角それぞれの相関関係を表す行列Ｗとの積により得られる行ベクトルである。ベクトルａｎは、画像が撮影された地点と方角とを表す特徴量である。ベクトルｓｎの各要素の値は、０から１までの値をとる。ベクトルｓｎは、画像が撮影された地点の数と同じ次元数をもつベクトルｌｎと、画像を撮影した際の方角の数と同じ次元数をもつベクトルｐｎとの転置行列積によって得られる。なお、画像を撮影した際の方角が各地点において１つに定まる場合、ベクトルａｎは、（地点数）×（方角数）の要素のうち１つの要素のみが１になるベクトルになる。
【０１２６】
画像が撮影された際の方角は、撮影時刻つき画像に付加されているメタ情報から得てもよいし、同一地点において撮影された撮影時刻つき画像に対するｋ−ｍｅａｎｓクラスタリングにより得てもよい。各撮影時刻つき画像を撮影した地点及び方角の相関関係を表す行列Ｗは、射影行列Ｕ，Ｖと同様に式（２）の目的関数の最適化によって得られる行列である。
【０１２７】
目的関数の式（２）を最適化する際には、行列Ｕ，Ｖ，Ｗのうち２つの行列を初期値又は前回値に固定して他の１つの行列を更新する処理が、行列Ｕ，Ｖ，Ｗそれぞれに対して順に繰り返される。この繰り返しは、予め定められた終了条件が満たされるまで継続される。終了条件には、例えば更新により生じる行列Ｕ，Ｖ，Ｗの変化量が予め定められた閾値より小さいという条件が用いられる。変化量が閾値未満になると、繰り返しが終了する。
【０１２８】
反復構造抽出装置１０は、式（２）を目的関数とした最適化による学習を行うことにより、撮影地点及び方角を表す特徴量と複数の地点で撮影されたＮｄ枚の画像それぞれから抽出された画像特徴と時間特徴との間で相互変換を行うための反復構造であって周期的な変化の相関に基づいた反復構造を得ることができる。反復構造は、行列Ｕ，Ｖ，Ｗとして得られる。
【０１２９】
式（２）に基づいて得られる反復構造を用いることにより、画像検索装置６０及び撮影時刻推定装置１００も同様に、複数の地点で撮影された撮影時刻つき画像を対象にした処理を行うことができる。
【０１３０】
＜実験例＞
上述した実施形態を検証するために、画像共有サイトのFlickr（登録商標）からFlickr（登録商標）ＡＰＩを利用して取得した清水寺大舞台の撮影時刻つき画像をデータとして用いる実験を行った。２０１４年までに撮影された清水寺の画像を取得し、類似した構図で撮影された大舞台の画像で、主観的判断において撮影時刻が正しいと判断されるものを、手作業で抽出し、計５７０枚の２００２年〜２０１４年の清水寺画像を取得した。
【０１３１】
モデル学習では、５分割交差検定を用いた。
【０１３２】
図７に反復構造抽出装置１０において抽出された反復構造を示す。画像の散布図は横が画像特徴の主たる成分、縦が撮影時刻であり、上側に行くほど新しい画像であることを意味する。棒グラフは、１時間〜２４時間、１日〜３６５日、２年〜４年、そして元の１次元で表現される時間変数にこの画像特徴の主たる成分が関係する強さ、すなわち相関の絶対値をプロットしたものである。この散布図では２４時間周期の変化に当たる昼夜の変化を反復構造として抽出できている様子が見て取れる。
【０１３３】
次に、反復構造抽出装置１０によって抽出された１日及び１年の周期のみを持つ時間特徴について、２００９年から２０１０年までのある１２日の朝、昼、夜を入力時刻としたときに、最終的に画像検索装置６０で出力される画像の例を図８Ｂに示す。方法の比較対象として、図８Ａは、入力時刻に最も近い撮影時刻の画像を検索した場合の例を示している。単純に入力時刻に対して１次元の時間空間上で最も近い時刻に撮影された画像を表示すると、１日の変化をうまく出力できないのに対し、本実施形態の手法では異なる年月日の画像をうまく検索することで、もっともらしい画像を出力できている様子がみてとれる。
【０１３４】
以上説明したように、本発明の実施の形態に係る反復構造抽出装置によれば、１つ又は複数の地点で撮影され、かつ、各々異なる撮影時刻が付与された複数の画像の各々について、画像特徴及び時間特徴を抽出し、時間特徴の選択された変数と画像特徴の成分との間で相互変換を行うための反復構造であって、かつ、画像特徴の成分と時間特徴の選択された変数との間の周期的な変化の相関に基づいて反復構造を学習することにより、１つ又は複数の地点で収集された画像群に対して、画像の様々な時間の長さに基づく変化をとらえ、任意の時刻について画像を検索するための反復構造を学習することができる。
【０１３５】
また、本発明の実施の形態に係る画像検索装置によれば、時間特徴の選択された変数と画像特徴の成分との間で相互変換を行うための反復構造であって、かつ、画像特徴の成分と時間特徴の選択された変数との間の周期的な変化の相関に基づいて予め学習された反復構造に基づいて、入力された時刻において撮影される画像の画像特徴を推定し、推定された画像特徴に類似する画像特徴を有する画像を検索することにより、１つ又は複数の地点で収集された画像群に対して、画像の様々な時間の長さに基づく変化をとらえ、任意の時刻について画像を検索することができる。
【０１３６】
また、本発明の実施の形態に係る撮影時刻推定装置によれば、時間特徴の選択された変数と画像特徴の成分との間で相互変換を行うための反復構造であって、かつ、画像特徴の成分と時間特徴の選択された変数との間の周期的な変化の相関に基づいて予め学習された反復構造に基づいて、入力された画像が撮影された撮影時刻を推定することにより、１つ又は複数の地点で収集された画像群に対して、画像の様々な時間の長さに基づく変化をとらえ、画像が撮影された時刻を推定することができる。
【０１３７】
また、本発明の実施の形態では、特に時間的に反復して見られる画像変化に注目し、任意の周期によって画像特徴の成分が変化する反復構造を抽出し、抽出された反復構造に基づいて、画像の変化の周期を時間的にうまく表現できる時間特徴の変数を選択し、画像特徴の成分と時間特徴の変数との関係を学習することにより、所望の時刻の画像特徴を推定でき、推定された画像特徴に基づいて既知の画像を検索し、所望の時刻の画像を表示できる。
【０１３８】
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【０１３９】
例えば、上記の実施の形態で、反復構造抽出装置、画像検索装置、及び撮影時刻推定装置を別々の装置として構成する場合を例に説明したが、反復構造抽出装置と、画像検索装置又は撮影時刻推定装置とを一つの装置で構成してもよい。
【０１４０】
また、反復構造として、時間特徴の選択された変数を説明変数として画像特徴の成分へ回帰させるものを用いる場合を例に説明したが、これに限定されるものではない。時間特徴の選択された変数と画像特徴の成分との間で相互変換が可能な他の写像であってもよい。
【０１４１】
また、画像特徴の成分と時間特徴の選択された変数との間の周期的な変化の相関を最大化するように反復構造を抽出する場合を例に説明したが、これに限定されるものではなく、相関の最大化をとらずに反復構造を抽出するようにしてもよい。
【０１４２】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な非一時的な記録媒体に格納して提供することも可能であるし、ネットワークを介して提供することも可能である。
【産業上の利用可能性】
【０１４３】
１つ又は複数の地点で収集された画像群に対して、画像の様々な時間の長さに基づく変化をとらえ、画像を検索するための反復構造を学習したり、任意の時刻についての画像を検索したり、画像が撮影された時刻を推定したりすることが不可欠な用途にも適用できる。
【符号の説明】
【０１４４】
１０  反復構造抽出装置
２０、７０、１１０  入力部
３０、８０、１２０  演算部
３２、９０  撮影時刻つき画像記憶部
３４、１２２  画像特徴抽出部
３６、８２  時間特徴抽出部
３８  反復構造抽出部
４０、８６、１２６  特徴記憶部
４２、８４、１２４  反復構造記憶部
５０  画像変化周期抽出部
５２  画像特徴学習部
６０画像検索装置
８８画像特徴推定部
９２類似特徴画像検索部
９４、１３０  出力部
１００  撮影時刻推定装置
１２８  撮影時刻推定部
【図１】
2017010514.tif 000027
【図２】
2017010514.tif 000028
【図３】
2017010514.tif 000029
【図４】
2017010514.tif 000030
【図５】
2017010514.tif 000031
【図６】
2017010514.tif 000032
【図７】
2017010514.tif 000033
【図８Ａ】
2017010514.tif 000034
【図８Ｂ】
2017010514.tif 000035
【国際調査報告】
2017010514.tif 000036
2017010514.tif 000037
2017010514.tif 000038
2017010514.tif 000039