(57)【要約】【課題】照合の精度が悪い場合でも正確な情報を得ることができる建築物関連情報提供システムを提供する。【解決手段】カメラ付携帯端末３００の複数画像取得手段２０２により撮影した複数の画像を、一括画像送信型情報提供依頼送信手段２０３によって、一括してネットワーク１０１経由で、情報提供サーバー５００に送信し、複数画像受信手段２１１により受信した前記一括画像を、複数画像合致度算出手段２１２によって、分解して複数の画像の各々の特徴量を抽出し、その各々の特徴量と、複数画像型建築物関連情報データベース２１５に格納された各建築物の全ての領域の画像の特徴量との合致度を算出し、複数画像総合評価手段２１３によって、前記合致度を総合して、各建築物の評価値を算出し、提供情報送信手段１１４によって、前記評価値の高い建築物の関連情報をカメラ付携帯端末３００に送信する。【選択図】図１
2010045644.tif 000002
【特許請求の範囲】
【請求項１】
建築物を撮影した画像から、該建築物に関連した情報を提供する、カメラ付携帯端末および情報提供サーバーを備えた建築物関連情報提供システムであって、
前記カメラ付携帯端末は、
建物の複数の領域をカメラで別々に撮影する複数画像取得手段と、
前記撮影された複数の画像を一括してネットワーク経由で前記情報提供サーバーに送信し、その建物に関連する情報の提供を依頼する一括画像送信型情報提供依頼送信手段と、
前記依頼の結果として前記情報提供サーバーからネットワーク経由で送られてきた建物に関連した情報を受信する情報受信手段と、
前記受信した情報を表示する情報表示手段とを有し、
前記情報提供サーバーは、
外界に存在する建築物の集合の各々について、複数の領域の画像の特徴量および該当する建築物の関連情報を関連付けて蓄積する複数画像型建築物関連情報データベースと、
前記カメラ付携帯端末からネットワーク経由で一括して送信されてきた複数の画像を受信する複数画像受信手段と、
前記受信された複数の画像の各々の特徴量を抽出し、その各々の特徴量と前記複数画像型建築物関連情報データベースに格納された各建築物の全ての領域の画像の特徴量との合致度を算出する複数画像合致度算出手段と、
前記算出された各々の建築物に対応する複数の領域の画像についての前記合致度を総合して、各建築物の評価値を算出する複数画像総合評価手段と、
前記複数画像総合評価手段により相対的に高い評価値が付与された建築物の関連情報をネットワーク経由で前記カメラ付携帯端末に送信する提供情報送信手段とを有することを特徴とする建築物関連情報提供システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、外界の建築物の画像の情報に基づいて、外界建築物に関する情報をリアルタイムで提供するシステムに係り、店舗に関する案内や、店舗周辺の地図情報を提供することで現在のオペレータがいる位置の案内などを可能とするものであり、特に建物の看板の画像を扱う建築物関連情報提供システムに関するものである。
【背景技術】
【０００２】
従来、カメラ付携帯電話で撮像した物体の画像を対象に、既存のデータベースに蓄積された認識対象物の画像の特徴量と照合し、その結果に基づいて関連情報を表示するもしくは情報の所在を提示するシステム／サービスが提案されてきた。これらには、例えば非特許文献１に記載の「みるら」のようなサービスがある。画像間の特徴量の照合方式には様々なものがあり、その中には建物の看板の画像を認識する技術も提案されている（非特許文献２）。
【０００３】
このようなシステムの概要的な動作を図面により説明する。  
【０００４】
図６は従来技術のシステムのブロック図である。図６のシステムは、カメラ付携帯端末３０と情報提供サーバー５０を備え、これらの間ではネットワーク１０１を介して情報の授受が行われる。情報提供サーバー５０の建築物関連情報データベース１１５の各レコードには、前もって対象とする各建築物の画像特徴量と関連情報が格納されている必要がある。建築物の画像特徴量とは、建築物を特定するための建築物の特定領域の画像から抽出した特徴量であり、特定領域とは本例では建物の看板の領域とする。
【０００５】
図７が建築物関連情報データベース１１５の内容の例である。この中で建築物番号が１のレコードの外観の模式図を示したのが図８であり、中央の建築物２０が該当する「神奈川第九ビル」である。この建築物２０には３つの看板２１〜２３が設置されており、登録されているのは「神奈川第九ビル」の看板を前もって撮影した図９の画像から抽出した特徴量とする。
【０００６】
特徴量は一般に図７にあるようなベクトルで表され、これを特徴ベクトルと呼ぶ。建築物関連情報データベース１１５にはこの他に各建築物の関連情報が記録されており、本例では建築物を中心とする周辺地図がＷｅｂ上に置かれたアドレスを表すＵＲＬが記録されている。
【０００７】
次に、実際にカメラ付携帯端末３０を用いて関連情報を取得し表示する処理の流れを説明する。操作者はカメラ付携帯端末３０の画像取得手段１０２を用いて被写体１０を撮影する。その画像の例を図１０（ａ）とする。次に、カメラ付携帯端末３０は情報提供依頼送信手段１０３を用いて前記撮影された画像をネットワーク１０１経由で情報提供サーバー５０の中の画像受信手段１１１に送る。画像受信手段１１１に送られた画像はその後画像合致度算出手段１１２にて画像特徴量が抽出され、その特徴量は建築物関連情報データベース１１５中の各レコードの画像特徴量と照合される。
【０００８】
すべてのレコードの合致度が評価手段１１３に送られ、そこでもっとも合致度の高いレコードが選ばれ、そのレコードの情報が提供情報送信手段１１４に送られ、ここで建築物関連情報データベース１１５中の該当するレコードの関連情報（本例では地図のＵＲＬ）を提供情報送信手段１１４が検索し、それがネットワーク１０１経由でカメラ付携帯端末３０の情報受信手段１０４に送られる。その後、このＵＲＬは情報表示手段１０５に送られ、情報表示手段１０５はこのＵＲＬでＷｅｂにアクセスし、得られた地図の画像を表示する（例を図１１に示す）。
【０００９】
また、携帯端末に搭載のＧＰＳ機能を利用して地図情報と連動させて現在位置や目的地までの道順等をナビゲーションする技術も発明されている。例としては、屋外での業務のための発明があり（特許文献１）、これは携帯端末に地図情報のデータベース機能とＧＰＳを搭載し、ＧＰＳで取得した位置情報に基づいて周辺地図上に現在位置を表示して目的地までの道筋を表示することができる。
【非特許文献１】“特徴量抽出技術（みるら）”、２００８年４月１５日検索、インターネットＵＲＬ＜ｈｔｔｐ：／／ｃａｐｇ．ｃ４ｔ．ｊｐ／ｐｒｏｄｕｃｔｓ／ｃａｓｅ／ｍｉｌｕｌａ／ｉｎｄｅｘ．ｈｔｍｌ＞
【非特許文献２】山口高康、高畑実、本郷節之、“モバイルカメラでの看板の撮影をトリガにした情報検索”、信学技報、電子情報通信学会技術研究報告（ＰＲＭＵ）、２００３年１２月１１日、Ｖｏｌ．１０３，Ｎｏ．５１５  ｐｐ．１９−２４
【特許文献１】特開平７−２８８８４号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
上述の従来手法には以下のような課題があった。  
【００１１】
ＧＰＳ・位置情報サービスおよびＥＺナビウォーク等では、ＧＰＳが正常に機能することがサービスの前提となっているが、ＧＰＳはどのような場所でも正常に機能する保障はなく、たとえば高いビルの近辺では位置情報を計測できないことがあることが知られている。
【００１２】
また、非特許文献１の「みるら」で実現されているサービスは、カメラ付携帯端末から送られてきた画像の特徴量を、データベースに格納された認識対象物の画像の特徴量と照合し、合致度のもっとも高い認識対象物を選んでそれに結び付けられたデータベース上の情報を端末に送る形態である。このような形態のシステムにおいては、画像間の照合の精度が問題となる。画像間の照合技術はどのようなものであってもある程度の割合の誤りは避けられず、その場合には携帯端末には認識失敗の通知か、もしくは正解とは異なる認識対象物の関連情報が提供されてしまう。このような認識の失敗の原因としては、携帯端末による撮影の際の手ぶれやボケ、携帯端末で撮影された画像中における対象物の位置や大きさが想定の範囲内から大きく外れてしまう場合、対象物に影がかかる場合など、さまざまな要因がある。
【００１３】
図１０の（ｂ）はその一例であり、これは携帯端末で撮影された画像中における対象物の大きさが想定よりも小さい例である。このような場合、たとえば画像特徴量が正しいカテゴリである「神奈川第九ビル」よりも他のカテゴリ（例えば「ＤＦＦビル」）に偶然近くなることが生じやすく、そのような場合には、評価手段１１３の判断において合致度のもっとも高い第１の候補が「ＤＦＦビル」、次に合致度の高い第２の候補が「神奈川第九ビル」となり、誤って「ＤＦＦビル」の情報がカメラ付携帯端末３０に送られてしまうことになる。
【００１４】
本発明は上記課題を解決するものであり、その目的は、照合の精度が悪い場合でも正確な情報を得ることができる建築物関連情報提供システムを提供することにある。
【課題を解決するための手段】
【００１５】
本発明は、建築物を撮影した画像から、該建築物に関連した情報を提供する、カメラ付携帯端末および情報提供サーバーを備えた建築物関連情報提供システムであって、
前記カメラ付携帯端末は、建物の複数の領域をカメラで別々に撮影する複数画像取得手段と、前記撮影された複数の画像を一括してネットワーク経由で前記情報提供サーバーに送信し、その建物に関連する情報の提供を依頼する一括画像送信型情報提供依頼送信手段と、前記依頼の結果として前記情報提供サーバーからネットワーク経由で送られてきた建物に関連した情報を受信する情報受信手段と、前記受信した情報を表示する情報表示手段とを有し、
前記情報提供サーバーは、外界に存在する建築物の集合の各々について、複数の領域の画像の特徴量および該当する建築物の関連情報を関連付けて蓄積する複数画像型建築物関連情報データベースと、前記カメラ付携帯端末からネットワーク経由で一括して送信されてきた複数の画像を受信する複数画像受信手段と、前記受信された複数の画像の各々の特徴量を抽出し、その各々の特徴量と前記複数画像型建築物関連情報データベースに格納された各建築物の全ての領域の画像の特徴量との合致度を算出する複数画像合致度算出手段と、前記算出された各々の建築物に対応する複数の領域の画像についての前記合致度を総合して、各建築物の評価値を算出する複数画像総合評価手段と、前記複数画像総合評価手段により相対的に高い評価値が付与された建築物の関連情報をネットワーク経由で前記カメラ付携帯端末に送信する提供情報送信手段とを有することを特徴としている。
【発明の効果】
【００１６】
本発明によれば、建築物の１つづつの領域の画像の照合に失敗した場合でも、複数の領域の画像の照合結果を総合することで正しい結果を得ることが可能となり、情報提供の誤りの少ないサービスを提供することが可能となる。
【発明を実施するための最良の形態】
【００１７】
以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施形態例に限定されるものではない。
【００１８】
図１は本発明の建築物関連情報提供システムの一実施形態例の構成を示すブロック図である。図１において図６と同一部分は同一符号をもって示している。
【００１９】
本実施形態例のシステムは、カメラ付携帯端末３００と情報提供サーバー５００を備え、これらの間ではネットワーク１０１を介して情報の授受が行われる。
【００２０】
カメラ付携帯端末３００は、被写体１０の建物の複数の領域をカメラで別々に撮影する複数画像取得手段２０２と、前記撮影された複数の画像を一括してネットワーク１０１を介して情報提供サーバー５００に送信してその建物に関連する情報の提供を依頼する一括画像送信型情報提供依頼送信手段２０３と、前記依頼の結果としてネットワーク１０１を介して情報提供サーバー５００から送られてきた建物に関連した情報を受信する情報受信手段１０４と、前記受信した情報を表示する情報表示手段１０５とを有している。
【００２１】
情報提供サーバー５００は、外界に存在する建築物の集合の各々について、複数の領域の画像の特徴量および該当する建築物の関連情報を関連付けて蓄積する複数画像型建築物関連情報データベース２１５と、前記カメラ付携帯端末３００からネットワーク１０１を介して一括して送信されてきた複数の画像を受信する複数画像受信手段２１１と、前記受信された複数の画像の各々の特徴量を抽出し、その各々の特徴量と前記複数画像型建築物関連情報データベース２１５に格納された各建築物の全ての領域の画像の特徴量との合致度を算出する複数画像合致度算出手段２１２と、前記算出された各々の建築物に対応する複数の領域の画像についての前記合致度を総合して、各建築物の評価値を算出する複数画像総合評価手段２１３と、前記複数画像総合評価手段２１３により相対的に高い評価値が付与された建築物の関連情報をネットワーク１０１を介して前記カメラ付携帯端末３００に送信する提供情報送信手段１１４とを有する。
【００２２】
尚情報提供サーバー５００の前記各手段の機能は、例えばコンピュータによって達成される。
【００２３】
情報提供サーバー５００の複数画像型建築物関連情報データベース２１５は従来技術の図６で述べた建築物関連情報データベース１１５に対応している。異なるのは、各建築物について複数の領域（本実施例では看板）の画像特徴量の登録を各レコードに許容している点である。図２に複数画像型建築物関連情報データベース２１５の内容の一例を示す。図２の例では、各レコードは画像特徴量格納エリアに複数の画像特徴量を登録できるようになっており、２つのレコードはいずれも３個の画像特徴量を登録している。
【００２４】
ここで、たとえば、建築物番号が１のレコードの「神奈川第九ビル」の外観の模式図を示した図８（図中、中央の建築物２０が該当する「神奈川第九ビル」である）を例にとって説明する。この建築物２０には３つの看板２１〜２３が設置されており、登録されているのは図３に示す、３枚の看板を前もって撮影した画像７１〜７３から抽出した特徴量とする。個別の特徴量は従来技術の図７と同様にベクトルで表し、特徴ベクトルと呼ぶ。ここで、図３の画像７１から抽出した画像特徴量が「神奈川第九ビル」のレコードの第１画像特徴量に、画像７２から抽出した画像特徴量が「神奈川第九ビル」のレコードの第２画像特徴量に、画像７３から抽出した画像特徴量が「神奈川第九ビル」のレコードの第３画像特徴量に各々記録されたとする。
【００２５】
また複数画像型建築物関連情報データベース２１５には、従来技術の図６の建築物関連情報データベース１１５と同様に各建築物の関連情報が記録されており、本実施例では建築物を中心とする周辺地図がＷｅｂ上に置かれたアドレスを表すＵＲＬが記録されている。
【００２６】
次に、図４に示すフローチャートを参照しながら、実際にカメラ付携帯端末３００を用いて関連情報を取得し表示する処理の流れを説明する。まずステップＳ１において、操作者はカメラ付携帯端末３００の複数画像取得手段２０２を用いて被写体１０を撮影する。
【００２７】
ここでは「神奈川第九ビル」（図８の建築物２０）の３枚の看板２１〜２３を撮影し、その撮影結果例の３枚の画像を図５に記す。次にステップＳ２において、図５の３枚の画像９１〜９３は一括画像送信型情報提供依頼送信手段２０３に送られ、ここでひとつにまとめられる。そして、ひとつにまとめた複数の画像を一括してネットワーク１０１経由で情報提供サーバー５００の中の複数画像受信手段２１１に送る（ステップＳ３）。
【００２８】
次にステップＳ４において、複数画像受信手段２１１が前記一括画像を受信し、ステップＳ５において、複数画像合致度算出手段２１２が個々の画像に分解する。
【００２９】
次にステップＳ６において、複数画像合致度算出手段２１２により前記個々の画像の画像特徴量が抽出され、その特徴量は複数画像型建築物関連情報データベース２１５中の各レコードの全ての画像特徴量と照合され、その結果はすべて複数画像総合型評価手段２１３に送られる（ステップＳ７）。
【００３０】
複数画像総合型評価手段２１３では、ステップＳ８において以下の処理が行われる。
【００３１】
まず複数画像型建築物関連情報データベース２１５には、建築物名として「神奈川第九ビル」、「ＤＦＦビル」、「ＡＢＣビル」、「ＭＭＮビル」等が記録されており、例えば、図５の画像９１との照合の結果、第１の建築物の候補が「ＤＦＦビル」（第２画像特徴量）、第２の候補が「神奈川第九ビル」（第１画像特徴量）であったとする。同様に、画像９２との照合の結果、第１の建築物の候補が「ＡＢＣビル」（第１画像特徴量）、第２の候補が「神奈川第九ビル」（第３画像特徴量）であったとする。同様に、画像９３との照合の結果、第１の建築物の候補が「ＭＭＮビル」（第３画像特徴量）、第２の候補が「神奈川第九ビル」（第２画像特徴量）であったとする。
【００３２】
複数画像総合型評価手段２１３はこれらの結果に含まれる建築物の候補を１つの集合にまとめる。上記の例では、{「ＤＦＦビル」、「神奈川第九ビル」、「ＡＢＣビル」、「神奈川第九ビル」、「ＭＭＮビル」、「神奈川第九ビル」}となる。そして、この集合に含まれる各候補の各々の個数（評価値）を算出し（この場合には「神奈川第九ビル」が３個、「ＤＦＦビル」と「ＡＢＣビル」と「ＭＭＮビル」が各々１個づつ）、もっとも含まれる個数が大きい候補を処理結果（相対的に高い評価値が付与された建築物）として選んで提供情報送信手段１１４に送る。
【００３３】
次にステップＳ９において、提供情報送信手段１１４は、建築物関連情報データベース２１５中の該当するレコードの関連情報（本例では地図のＵＲＬ）を検索し、それをネットワーク１０１経由でカメラ付携帯端末３００の情報受信手段１０４に送る。
【００３４】
次にステップＳ１０において情報受信手段１０４は、前記ＵＲＬを受信し情報表示手段１０５に送る。次にステップＳ１１において情報表示手段１０５は、前記ＵＲＬでＷｅｂにアクセスし、従来技術の説明と同様に得られた地図の画像を、例えば図１１に示すように表示する。
【００３５】
なお、上記例では３個含まれる「神奈川第九ビル」が正しく選ばれる。本例ではカメラ付携帯端末３００は３枚の画像を撮影したが、２枚であっても処理が行えることは明らかである。
【図面の簡単な説明】
【００３６】
【図１】本発明の一実施形態例による建築物関連情報提供システムの構成を示すブロック図である。
【図２】本発明の一実施形態例における複数画像型建築物関連情報データベースの構成例を示す説明図である。
【図３】本発明の一実施形態例における複数画像型建築物関連情報データベースに登録される画像であって、被写体である建築物の３枚の看板を撮影した画像の例を示す説明図である。
【図４】本発明の一実施形態例における図１のシステムの処理の流れを示すフローチャートである。
【図５】本発明の一実施形態例における複数画像取得手段によって、被写体である建築物の３枚の看板を撮影した画像の例を示す説明図である。
【図６】従来のシステム構成を示すブロック図である。
【図７】従来の図６のシステムにおける建築物関連情報データベースの構成例を示す説明図である。
【図８】撮影対象の被写体の例を示す模式図である。
【図９】被写体の特定領域を撮影した画像の説明図である。
【図１０】被写体の特定領域を撮影した画像の例を示す説明図である。
【図１１】建築物の関連情報の一例としての建築物の地図の説明図である。
【符号の説明】
【００３７】
１０…被写体、２０…被写体である建築物、２１〜２３…被写体である建築物の看板、７１〜７３…被写体である建築物の看板を撮影した登録用の画像、９１〜９３…被写体である建築物の看板を撮影した画像、１０１…ネットワーク、１０４…情報受信手段、１０５…情報表示手段、１１４…提供情報送信手段、２０２…複数画像取得手段、２０３…一括画像送信型情報提供依頼送信手段、２１１…複数画像受信手段、２１２…複数画像合致度算出手段、２１３…複数画像総合評価手段、２１５…複数画像型建築物関連情報データベース、３００…カメラ付携帯端末、５００…情報提供サーバー。
【図１】
2010045644.tif 000003
【図２】
2010045644.tif 000004
【図３】
2010045644.tif 000005
【図４】
2010045644.tif 000006
【図５】
2010045644.tif 000007
【図６】
2010045644.tif 000008
【図７】
2010045644.tif 000009
【図８】
2010045644.tif 000010
【図９】
2010045644.tif 000011
【図１０】
2010045644.tif 000012
【図１１】
2010045644.tif 000013