(57)【要約】【課題】画像に含まれる建物や風景等の被写体を効率よく推定する。【解決手段】パソコン１から画像サーバ２に保管された画像データにより表される画像に含まれる被写体の推定指示を行う。画像サーバ２の被写体推定装置４の記憶部４２には、撮影場所、年代および撮影方向と構造物を表す構造物画像データとを対応付けたデータベースが保管され、画像データに付与された位置データおよび日時データを参照して、データベースから位置データにより表される撮影場所、撮影方向および日時データにより表される撮影日時に関連する関連構造物画像データを抽出する。そして、抽出した関連構造物画像データと画像データとの相関値を求め、最も相関値が大きい関連構造物画像データにより表される画像に含まれる構造物を、画像データにより表される画像に含まれる被写体と推定する。【選択図】          図１
2004214760.tif 000002
【特許請求の範囲】
【請求項１】
画像データに付与された撮影場所を表す撮影場所情報を参照して前記画像データの撮影場所を特定し、
複数の構造物についての構造物画像から、該特定した撮影場所に関連する１以上の関連構造物画像を抽出し、
該関連構造物画像と前記画像データにより表される画像との相関値を算出し、
該相関値が最も大きい関連構造物画像に含まれる構造物を前記画像データにより表される画像に含まれる被写体と推定することを特徴とする被写体推定方法。
【請求項２】
前記画像データに撮影日時を表す撮影日時情報が付与されてなり、さらに年代に応じた前記構造物画像が用意されている場合、前記撮影日時情報をも参照して前記関連構造物画像を抽出することを特徴とする請求項１記載の被写体推定方法。
【請求項３】
前記撮影場所情報が撮影方向を表す方向情報を含む場合、該方向情報をも参照して前記関連構造物画像を抽出することを特徴とする請求項１または２記載の被写体推定方法。
【請求項４】
画像データに付与された撮影場所を表す撮影場所情報を参照して前記画像データの撮影場所を特定する特定手段と、
複数の構造物についての構造物画像から、該特定した撮影場所に関連する１以上の関連構造物画像を抽出する抽出手段と、
該関連構造物画像と前記画像データにより表される画像との相関値を算出し、該相関値が最も大きい関連構造物画像に含まれる構造物を前記画像データにより表される画像に含まれる被写体と推定する推定手段とを備えたことを特徴とする被写体推定装置。
【請求項５】
前記画像データに撮影日時を表す撮影日時情報が付与されてなり、さらに年代に応じた前記構造物画像が用意されている場合、前記抽出手段は、前記撮影日時情報をも参照して前記関連構造物画像を抽出する手段であることを特徴とする請求項４記載の被写体推定装置。
【請求項６】
前記撮影場所情報が撮影方向を表す方向情報を含む場合、前記抽出手段は、該方向情報をも参照して前記関連構造物画像を抽出する手段であることを特徴とする請求項４または５記載の被写体推定装置。
【請求項７】
画像データに付与された撮影場所を表す撮影場所情報を参照して前記画像データの撮影場所を特定する手順と、
複数の構造物についての構造物画像から、該特定した撮影場所に関連する１以上の関連構造物画像を抽出する手順と、
該関連構造物画像と前記画像データにより表される画像との相関値を算出する手順と、
該相関値が最も大きい関連構造物画像に含まれる構造物を前記画像データにより表される画像に含まれる被写体と推定する手順とを有することを特徴とする被写体推定方法をコンピュータに実行させるためのプログラム。
【請求項８】
前記画像データに撮影日時を表す撮影日時情報が付与されてなり、さらに年代に応じた前記構造物画像が用意されている場合、前記抽出する手順は、前記撮影日時情報をも参照して前記関連構造物画像を抽出する手順であることを特徴とする請求項７記載のプログラム。
【請求項９】
前記撮影場所情報が撮影方向を表す方向情報を含む場合、前記抽出する手順は、該方向情報をも参照して前記関連構造物画像を抽出する手順であることを特徴とする請求項７または８記載のプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像に含まれる建物、風景等の構造物の被写体を推定する被写体推定方法および装置並びに被写体推定方法をコンピュータに実行させるためのプログラムに関するものである。
【０００２】
【従来の技術】
ネガフイルムに記録された画像を読み取ることにより取得された画像データあるいはデジタルカメラにより取得された画像データを整理して保管することが行われているが、画像データが増えるほど画像データの整理は面倒な作業となる。とくにデジタルカメラの場合はフイルム料金がかからないため、大量の画像データが取得されることが多く、その結果、画像データの整理が非常に面倒なものとなる。このため、画像データが記録されたメディア毎あるいは画像データを得たフイルム毎に画像データを分類する方法や、年、月、日毎の階層フォルダに画像データを分類する方法等、画像データを自動的に分類する種々の方法が提案されている。とくに、撮影により取得した画像データに、撮影日時を表す撮影日時情報および撮影場所を表す撮影場所情報を関連付け、撮影日時情報および撮影場所情報に基づいて画像データを分類する方法が提案されている（特許文献１参照）。このような画像データを自動的に分類する方法を用いることにより、ユーザは画像データを効率よく整理することができる。
【０００３】
ところで、画像データを分類する場合に、画像データにより表される画像に含まれる建物や風景等の被写体が分かれば、画像に含まれる被写体に応じて画像データを分類することができる。このため、撮影場所情報に基づいて観光地を特定し、その観光地にある山や湖の画像を参照画像として検索し、参照画像をその観光地において取得した画像と合成して印刷する方法が提案されている（特許文献２の段落００９９参照）。この方法によれば、合成された画像を一見すればどの観光地において取得したものであるかが分かるため、画像を整理しやすくすることができる。
【０００４】
【特許文献１】
特開２００１−２２８５２８号公報
【０００５】
【特許文献２】
特開２００１−３６８４２号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、上記特許文献２に記載された方法では、予め定められた観光地の参照画像を取得した画像と合成しているものであるため、取得した画像に含まれない建物や風景等の構造物も取得した画像と合成されてしまうおそれがある。
【０００７】
一方、建物や風景等の複数の構造物画像と画像データにより表される画像との相関値を求めて、相関値が最も大きい構造物画像に含まれる構造物を、画像データにより表される画像に含まれる被写体であると推定すれば、取得した画像に含まれる構造物のみを取得した画像と関連付けることができる。しかしながら、建物や風景等の構造物の数は膨大であるため、全ての構造物画像について画像データにより表される画像との相関値を算出したのでは、被写体の推定に長時間を要する。
【０００８】
本発明は上記事情に鑑みなされたものであり、画像に含まれる被写体を効率よく推定することを目的とする。
【０００９】
【課題を解決するための手段】
本発明による被写体推定方法は、画像データに付与された撮影場所を表す撮影場所情報を参照して前記画像データの撮影場所を特定し、
複数の構造物についての構造物画像から、該特定した撮影場所に関連する１以上の関連構造物画像を抽出し、
該関連構造物画像と前記画像データにより表される画像との相関値を算出し、該相関値が最も大きい関連構造物画像に含まれる構造物を前記画像データにより表される画像に含まれる被写体と推定することを特徴とするものである。
【００１０】
「撮影場所情報」は、撮影場所を表すことができれば、経度、緯度、住所、地域名等、いかなる情報をも用いることができる。例えば、撮像装置がＧＰＳ衛星からの位置データを受信する機能を有する撮像装置により取得された場合には、ＧＰＳ衛星から受信した位置データを撮影場所情報として用いることができる。また、撮像装置が携帯電話通信網と通信を行う機能を有する場合には、携帯電話通信網の基地局の位置に基づいて通信中の撮像装置の位置を推定することができ、このように推定された位置を表す情報を撮影場所情報として用いることができる。
【００１１】
「特定した撮影場所に関連する関連構造物画像」とは、ある場所にのみ固定的に存在する建物や風景等の画像のことをいう。具体的には、特定した撮影場所が東京の芝周辺である場合には、東京タワーや増上寺の画像を特定した撮影場所に関連する関連構造物画像として用いることができる。
【００１２】
なお、構造物は時代とともに変動し、ある年代においてはなかった構造物がその後建造されたり、ある年代において建造された構造物がその後建て直されたりする場合がある。また、ある場所の風景についても樹木の成長等により年代によって景観が代わる場合がある。このため、前記画像データに撮影日時を表す撮影日時情報が付与されてなり、さらに年代に応じた前記構造物画像が用意されている場合、前記撮影日時情報をも参照して前記関連構造物画像を抽出するようにしてもよい。
【００１３】
また、本発明による被写体推定方法においては、前記撮影場所情報が撮影方向を表す方向情報を含む場合、該方向情報をも参照して前記関連構造物画像を抽出するようにしてもよい。
【００１４】
本発明による被写体推定装置は、画像データに付与された撮影場所を表す撮影場所情報を参照して前記画像データの撮影場所を特定する特定手段と、
複数の構造物についての構造物画像から、該特定した撮影場所に関連する１以上の関連構造物画像を抽出する抽出手段と、
該関連構造物画像と前記画像データにより表される画像との相関値を算出し、該相関値が最も大きい関連構造物画像に含まれる構造物を前記画像データにより表される画像に含まれる被写体と推定する推定手段とを備えたことを特徴とするものである。
【００１５】
なお、本発明による被写体推定装置においては、前記画像データに撮影日時を表す撮影日時情報が付与されてなり、さらに年代に応じた前記構造物画像が用意されている場合、前記抽出手段を、前記撮影日時情報をも参照して前記関連構造物画像を抽出する手段としてもよい。
【００１６】
また、本発明による被写体推定装置においては、前記撮影場所情報が撮影方向を表す方向情報を含む場合、前記抽出手段を、該方向情報をも参照して前記関連構造物画像を抽出する手段としてもよい。
【００１７】
なお、本発明による被写体推定方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【００１８】
【発明の効果】
本発明によれば、画像データに付与された撮影場所を表す撮影場所情報が参照されて画像データの撮影場所が特定され、さらに、特定された撮影場所に関連する１以上の関連構造物画像が複数の構造物画像から抽出される。そして、関連構造物画像と画像データにより表される画像との相関値が算出され、相関値が最も大きい関連構造物画像に含まれる構造物が画像データにより表される画像に含まれる被写体と推定される。このように本発明においては、画像データの撮影場所に関連する関連構造物画像のみとの相関値を算出して画像データにより表される画像に含まれる被写体を特定するようにしたため、膨大の数の構造物画像の全てと画像データにより表される画像との相関値を算出する必要がなくなり、これにより画像に含まれる被写体を効率よく推定することができる。
【００１９】
また、年代に応じて構造物は建て直されたり、新たな構造物が建造されたり、風景の景観が変わることもあるため、画像データに付与された撮影日時を表す撮影日時情報をも参照して関連構造物画像を抽出することにより、年代に応じた関連構造物画像を用いてより正確に画像データにより表される画像に含まれる被写体を推定することができる。
【００２０】
また、撮影方向を表す方向情報をも参照して関連構造物画像を抽出することにより、画像データにより表される画像との相関値を算出する関連構造物画像を少なくすることができるため、画像に含まれる被写体をより効率よく推定することができる。
【００２１】
【発明の実施の形態】
以下図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態による被写体推定装置を適用した画像保管システムの構成を示す概略ブロック図である。図１に示すように、本実施形態による画像保管システムは、複数のパソコン１と、画像データを保管する画像サーバ２とがインターネット等のネットワーク３を介して接続され、パソコン１からの指示により、画像サーバ２において画像データにより表される画像に含まれる被写体を推定するものである。
【００２２】
パソコン１は、種々の表示を行うモニタ１１と、キーボードおよびマウスからなる入力手段１２と、パソコン本体１３とを備える。パソコン本体１３は、ネットワーク３に接続するための通信インターフェース、ＣＰＵ、ハードディスクおよびメモリ等を備える。
【００２３】
画像サーバ２は、ネットワークに接続するための通信インターフェース２１と、複数の画像データを保存するハードディスク等の大容量記憶部２２と、本実施形態による被写体推定装置４とを備える。なお、大容量記憶部２２には、パソコン１のユーザがデジタルカメラにより取得した画像データが保管される。なお、画像データはユーザ毎のフォルダに分類されて保管される。
【００２４】
本実施形態においては、パソコン１のユーザが所持するデジタルカメラ１５がＧＰＳ衛星１６からの位置データを受信する機能を有している。ここで、位置データは、撮影場所の緯度、経度、標高およびデジタルカメラ１５の撮影方向の情報を表すものであるが、本実施形態においては、緯度、経度および撮影方向のみを用いる。なお、撮影方向の情報は東西南北により表される。そして、デジタルカメラ１５により取得された画像データには、撮影場所を表す位置データおよび撮影日時を表す日時データが付与される。具体的には、位置データにより表される撮影場所の緯度、経度および撮影方向並びに日時データにより表される撮影日時が画像データのタグ情報に記述されることにより、位置データおよび日時データが画像データに付与される。なお、位置データおよび日時データを画像データとは別ファイルとして画像データと関連付けることにより、位置データおよび日時データを画像データに付与してもよい。
【００２５】
被写体推定装置４は、被写体推定の対象となる対象画像データＳ１に付与された位置データおよび日時データを参照して、対象画像データＳ１の撮影場所、撮影日時および撮影方向を特定する特定部４１と、撮影場所、年代および撮影方向と構造物の画像を表す構造物画像データＳＴとを対応付けたデータベースＤＢ１を記憶するハードディスク等の記憶部４２と、特定部４１が特定した対象画像データＳ１の撮影場所、撮影日時および撮影方向に関連する１以上の関連構造物画像データＳＴ１を記憶部４２から抽出する抽出部４３と、対象画像データＳ１により表される対象画像に含まれる被写体を推定する推定部４４とを備える。
【００２６】
図２はデータベースＤＢ１の構成を示す図である。図２に示すように、データベースＤＢ１は、撮影場所、年代および撮影方向の順に関連構造物画像データＳＴ１を絞り込めるように、撮影場所の下層に年代が、年代の下層に撮影方向が記述され、撮影方向と構造物画像データＳＴとが直接対応付けられている。なお、撮影場所が「芝周辺」のように大まかな場合には撮影方向の記述は含まれない。また、構造物画像データＳＴは構造物名とも対応付けられている。
【００２７】
例えば、データベースＤＢ１において、場所が「芝周辺」である場合、「芝周辺」の下層に「〜１９５７」および「１９５８〜」の年代が記述されている。なお、「芝周辺」は撮影方向が特定できないため撮影方向の欄は空欄となっている。「〜１９５７」の下層には「増上寺」および「芝公園」の構造物名および構造物画像データＳＴが記述されている。また、東京タワーの建造年は１９５８年であるため、「１９５８〜」の下層には「増上寺」および「芝公園」に加えて「東京タワー」の構造物名および構造物画像データＳＴが記述されている。
【００２８】
また、場所が「新宿駅西口」である場合、「新宿駅西口」の下層に「〜１９９１」および「１９９２〜」の年代が記述されている。「〜１９９１」の下層には「北西」の撮影方向が記述され、「北西」の撮影方向の下層には「△△ビル」および「□□ビル」の構造物名および構造物画像データＳＴが記述されている。一方、都庁が新宿に移転したのは１９９２年であるため、「１９９２〜」の下層には「西」および「北西」の撮影方向が記述され、「西」の撮影方向の下層には「都庁」の構造物名および構造物画像データＳＴが記述されている。また、「□□ビル」が取り壊されたため、「北西」の撮影方向の下層には「△△ビル」のみの構造物名および構造物画像データＳＴが記述されている。
【００２９】
ここで、対象画像データＳ１に付与された位置データおよび日時データにより表される撮影場所、撮影日時および撮影方向がそれぞれ、芝周辺、２００２年１１月２７日および北である場合、抽出部４３はデータベースＤＢ１から増上寺、芝公園および東京タワーの構造物画像データＳＴを関連構造物画像画像データＳＴ１として抽出する。この場合、データベースＤＢ１においては撮影方向の欄は空欄となっているため、撮影方向は関連構造物画像データＳＴ１の抽出には使用されない。
【００３０】
また、対象画像データＳ１に付与された位置データおよび日時データにより表される撮影場所、撮影日時および撮影方向がそれぞれ、新宿駅西口、２００２年１２月２日および西である場合、抽出部４３はデータベースＤＢ１から都庁の構造物画像データＳＴを関連構造物画像画像データＳＴ１として抽出する。
【００３１】
推定部４４は、抽出部４３が抽出した全ての関連構造物画像データＳＴ１と対象画像データＳ１との相関値を算出して最も相関値が高い関連構造物画像データＳＴ２を求め、関連構造物画像データＳＴ２により表される画像に含まれる構造物を対象画像データＳ１により表される対象画像に含まれる被写体と推定して、被写体名を対象画像データＳ１と関連付ける。具体的には、被写体名が対象画像データＳ１のタグ情報に記述されることにより、被写体名と対象画像データＳ１とが関連付けられる。
【００３２】
なお、抽出部４３が抽出した関連構造物画像データＳＴ１が１つのみである場合には、その関連構造物画像データＳＴ１により表される画像に含まれる構造物を対象画像データＳ１により表される対象画像に含まれる被写体と推定する。
【００３３】
ここで、対象画像に含まれる構造物の大きさは、撮影時におけるズームの程度により異なる。このため、関連構造物画像データＳＴ１のサイズを種々変更して相関値を算出することが好ましい。
【００３４】
次いで、本実施形態において行われる処理について説明する。図３は、本実施形態において行われる処理を示すフローチャートである。まず、パソコン１からの指示により、特定部４１が大容量記憶部２２から被写体推定の対象となる対象画像データＳ１を読み出し（ステップＳ１）、対象画像データＳ１に付与されている位置データおよび日時データを参照して、対象画像データＳ１の撮影場所、撮影日時および撮影方向を特定する（ステップＳ２）。
【００３５】
続いて、抽出部４３が、記憶部４２に記憶されたデータベースＤＢ１から対象画像データＳ１の撮影場所、撮影日時および撮影方向に関連する１以上の関連構造物画像データＳＴ１を抽出する（ステップＳ３）。そして、推定部４４が全ての関連構造物画像データＳＴ１と対象画像データＳ１との相関値を算出し（ステップＳ４）、相関値が最も大きかった関連構造物画像データＳＴ２を決定する（ステップＳ５）。そして、関連構造物画像データＳＴ２により表される構造物を対象画像データＳ１により表される対象画像に含まれる被写体と推定して、被写体名を対象画像データＳ１と関連付け（ステップＳ６）、処理を終了する。
【００３６】
このように、本実施形態は、対象画像データＳ１に付与された位置データを参照して対象画像データＳ１の撮影場所を特定し、さらに、特定した撮影場所に関連する関連構造物画像データＳＴ１をデータベースＤＢ１から抽出し、抽出した関連構造物画像データＳＴ１と対象画像データＳ１との相関値を算出し、相関値が最も大きい関連構造物画像データＳＴ２により表される画像に含まれる構造物を対象画像データＳ１により表される対象画像に含まれる被写体と推定して、これを対象画像データＳ１と関連付けるようにしたものである。このため、膨大の数の構造物画像データＳＴと対象画像データＳ１との相関値を求める必要がなくなり、これにより、対象画像に含まれる被写体を効率よく推定することができる。
【００３７】
また、年代に応じて構造物は建て直されたり、新たな構造物が建造されたり、景色の景観が変わることもあるため、対象画像データＳ１に付与された日時データをも参照して関連構造物画像データＳＴ１をデータベースＤＢ１から抽出することにより、対象画像データＳ１を取得した年代に応じた関連構造物画像データＳＴ１を用いて対象画像に含まれる被写体をより正確に推定することができる。
【００３８】
また、デジタルカメラ１５の撮影方向をも参照して関連構造物画像データＳＴ１をデータベースＤＢ１から抽出しているため、対象画像データＳ１との相関値を求める関連構造物画像データＳＴ１を絞り込むことができ、これにより、より効率よく対象画像に含まれる被写体を推定することができる。
【００３９】
なお、上記実施形態においては、撮影場所に加えて、撮影日時および撮影方向をも参照して関連構造物画像データＳＴ１をデータベースＤＢ１から抽出しているが、撮影場所と撮影日時および撮影方向のいずれか一方のみとを参照して関連構造物画像データＳＴ１をデータベースＤＢ１から抽出してもよく、撮影場所にのみを参照して関連構造物画像データＳＴ１をデータベースＤＢ１から抽出してもよい。
【００４０】
また、上記実施形態においては、画像サーバ２に本実施形態による被写体推定装置４を設けているが、パソコン１に被写体推定装置４の機能を実施するためのアプリケーションおよびデータベースＤＢ１を保存して、パソコン１内において対象画像に含まれる被写体を推定してもよい。
【図面の簡単な説明】
【図１】本発明の実施形態による被写体推定装置を適用した画像保管システムの構成を示す概略ブロック図
【図２】データベースの構成を示す図
【図３】本実施形態において行われる処理を示すフローチャート
【符号の説明】
１    パソコン
２    画像サーバ
３    ネットワーク
４    被写体推定装置
１１    モニタ
１２    入力手段
１３    パソコン本体
２１    通信インターフェース
２２    大容量記憶部
４１    特定部
４２    記憶部
４３    抽出部
４４    推定部
【図１】
2004214760.tif 000003
【図２】
2004214760.tif 000004
【図３】
2004214760.tif 000005