(57)【要約】【課題】看板にかかった影などの雑音の影響を受けにくい認識を行うことができる建築物関連情報提供装置を提供する。【解決手段】カメラ付携帯端末３０の画像取得手段１０２により撮影した画像を、情報提供依頼送信手段１０３によってネットワーク１０１経由で、情報提供サーバー５００に送信し、画像受信手段１１１により受信した前記画像の中から文字列領域の画像を文字列領域抽出手段１１６によって抽出し、画像合致度算出手段１１２によって、前記抽出された画像の特徴量を抽出し、その特徴量と、建築物関連情報データベース２１５に格納された各建築物の部分領域の画像の特徴量との合致度を算出し、評価手段１１３によって、前記合致度を各建築物の評価値とし、提供情報送信手段１１４によって、前記評価値の高い建築物の関連情報をカメラ付携帯端末３０に送信する。【選択図】図１
2010272054.tif 000002
【特許請求の範囲】
【請求項１】
カメラ付携帯端末により撮影された建築物の画像から、該建築物に関連した情報を提供する建築物関連情報提供装置であって、
外界に存在する建築物の集合の各々について、建築物の特定の領域の画像から文字列領域を抽出した部分領域の画像の特徴量、および該当する建築物の関連情報を関連付けて蓄積する建築物関連情報データベースと、
前記カメラ付携帯端末から送信された画像を受信する画像受信手段と、
前記画像受信手段により受信された画像の中から、文字列領域の画像を抽出する文字列領域画像抽出手段と、
前記文字列領域画像抽出手段により抽出された画像の特徴量を抽出し、その特徴量と前記建築物関連情報データベースに格納された各建築物の部分領域の画像の特徴量との合致度を算出する画像合致度算出手段と、
前記画像合致度算出手段により算出された合致度を各建築物の評価値とする評価手段と、
前記評価手段により相対的に高い評価値が付与された建築物の関連情報を前記カメラ付携帯端末に送信する提供情報送信手段と、を有することを特徴とする建築物関連情報提供装置。
【請求項２】
請求項１に記載の建築物関連情報提供装置において、前記建築物の関連情報は、テキスト又は画像、映像、音声、周辺地図における該建築物の位置、乃至はこれらの組み合わせであることを特徴とする建築物関連情報提供装置。
【請求項３】
外界に存在する建築物の集合の各々について、建築物の特定の領域の画像から文字列領域を抽出した部分領域の画像の特徴量、および該当する建築物の関連情報を関連付けて蓄積する建築物関連情報データベースを備えた建築物関連情報提供装置が、カメラ付携帯端末により撮影された建築物の画像から、該建築物に関連した情報を提供する建築物関連情報提供方法であって、
画像受信手段が、前記カメラ付携帯端末から送信された画像を受信する画像受信ステップと、
文字列領域画像抽出手段が、前記画像受信手段により受信された画像の中から、文字列領域の画像を抽出する文字列領域画像抽出ステップと、
画像合致度算出手段が、前記文字列領域画像抽出手段により抽出された画像の特徴量を抽出し、その特徴量と前記建築物関連情報データベースに格納された各建築物の部分領域の画像の特徴量との合致度を算出する画像合致度算出ステップと、
評価手段が、前記画像合致度算出手段により算出された合致度を各建築物の評価値とする評価ステップと、
提供情報送信手段が、前記評価手段により相対的に高い評価値が付与された建築物の関連情報を前記カメラ付携帯端末に送信する提供情報送信ステップと、を有することを特徴とする建築物関連情報提供方法。
【請求項４】
コンピュータを請求項１又は２に記載の各手段として機能させる建築物関連情報提供プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、外界の建築物の画像の情報に基づいて、外界建築物に関する情報をリアルタイムで提供するシステムに関するものであり、店舗に関する案内や、店舗周辺の地図情報を提供することで現在のオペレータがいる位置の案内などを可能とするものであって、特に建築物の看板の画像を扱う建築物関連情報提供装置、方法、プログラムに関する。
【背景技術】
【０００２】
従来、カメラ付携帯電話で撮像した物体の画像を対象に、既存のデータベースに蓄積された認識対象物の画像の特徴量と照合し、その結果に基づいて関連情報を表示するもしくは情報の所在を提示するシステム／サービスが提案されてきた。これらには、例えば非特許文献１に記載の「みるら」のようなサービスや、非特許文献２に記載の「ｓｙｎｃＲ」のようなサービスがある。画像間の特徴量の照合方式には様々なものがあり、その中には建築物の看板の画像を認識する技術も提案されている（非特許文献３参照）。
【０００３】
このようなシステムの概要的な動作を図面により説明する。図６は従来技術のシステムのブロック図である。図６のシステムは、カメラ付携帯端末３０と情報提供サーバー５０を備え、これらの間でネットワーク１０１を介して情報の授受が行なわれる。
【０００４】
情報提供サーバー５０の建築物関連情報データベース１１５の各レコードには、前もって対象とする各建築物の画像特徴量と関連情報が格納されている必要がある。建築物の画像特徴量とは、建築物を特定するための建築物の特定領域の画像から抽出した特徴量であり、特定領域とは本例では建築物の看板の領域である。図７が建築物関連情報データベース１１５の内容の例である。この中で建築物番号が１のレコードの外観の模式図を示したのが図８であり、中央の建築物２０が該当する「神奈川第九ビル」である。
【０００５】
この建築物２０には１つの看板２１が設置されており、登録されているのはこの「横須賀商会」の看板２１を前もって撮影した図９の画像から抽出した特徴量とする。特徴量は一般に図７にあるようなベクトルで表され、これを特徴ベクトルと呼ぶ。建築物関連情報データベース１１５にはこの他に各建築物の関連情報が記録されており、本例では建築物を中心とする周辺地図がＷｅｂ上に置かれたアドレスを表すＵＲＬが記録されている。
【０００６】
次に、実際にカメラ付携帯端末３０を用いて関連情報を取得し表示する処理の流れを説明する。操作者はカメラ付携帯端末３０の画像取得手段１０２を用いて被写体１０を撮影する。その画像の例を図１０（ａ）とする。次に、カメラ付携帯端末３０は情報提供依頼送信手段１０３を用いて撮影された画像をネットワーク１０１経由で情報提供サーバー５０の中の画像受信手段１１１に送る。画像受信手段１１１に送られた画像はその後画像合致度算出手段１１２にて画像特徴量が抽出され、その特徴量は建築物関連情報データベース１１５中の各レコードの画像特徴量と照合される。
【０００７】
すべてのレコードの合致度が評価手段１１３に送られ、そこでもっとも合致度の高いレコードが選ばれ、そのレコードの情報が提供情報送信手段１１４に送られ、ここで建築物関連情報データベース１１５中の該当するレコードの関連情報（本例では地図のＵＲＬ）を提供情報送信手段１１４が検索し、それがネットワーク１０１経由でカメラ付携帯端末３０の情報受信手段１０４に送られる。その後、このＵＲＬは情報表示手段１０５に送られ、情報表示手段１０５はこのＵＲＬでＷｅｂにアクセスし、得られた地図の画像を表示する（例を図１１に示す）。
【０００８】
また、携帯電話に搭載のＧＰＳ機能を利用して地図情報と連動させて現在位置や目的地までの道順等をナビゲーションするサービスも様々に実装されている。これらのサービスには、ＧＰＳ・位置情報サービスやＥＺナビウォーク等があり、前者は携帯電話内蔵のＧＰＳ機能で取得した位置情報に基づいて、周辺地図上に現在位置を表示して目的地までのルートを提供したり、その周辺の店舗情報等を提示することができる。一方後者は、ＧＰＳ機能に加えコンパスも搭載し、現在位置と進む方向を液晶モニタに表示するサービスである。
【０００９】
尚、本発明で利用する文字列の領域を抽出する方法は、例えば非特許文献４に記載されている。
【先行技術文献】
【非特許文献】
【００１０】
【非特許文献１】“特徴量抽出技術（みるら）”、２００９年５月１日検索、インターネットＵＲＬ＜ｈｔｔｐ：／／ｃａｐｇ．ｓｂｉｎｓ．ｃｏ．ｊｐ／ｐｒｏｄｕｃｔｓ／ｃａｓｅ／ｍｉｌｕｌａ／ｉｎｄｅｘ．ｈｔｍｌ＞
【非特許文献２】“ＳｙｎｃＲ  ｂｙ  オリンパス−クロスメディアを実現する画像”、２００９年５月１日検索、インターネットＵＲＬ＜ｈｔｔｐ：／／ｗｗｗ．ｓｙｎｃｒ．ｊｐ／ｏｕｔｌｉｎｅ４．ｈｔｍｌ＞
【非特許文献３】山口高康、高畑実、本郷節之、“モバイルカメラでの看板の撮影をトリガにした情報検索（エンタティメントのためのパターン認識・メディア理解）”、信学技報、電子情報通信学会技術研究報告（ＰＲＭＵ）、２００３年１２月１１日、Ｖｏｌ．１０３，Ｎｏ．５１５  ｐｐ．１９−２４
【非特許文献４】“Ｔｅｘｔ  Ｌｏｃａｔｉｎｇ  ａｎｄ  ｖｅｒｉｆｉｃａｔｉｏｎ  Ａｌｇｏｒｉｔｈｍ  ｆｏｒ  Ｓｃｅｎｅ  Ｉｍａｇｅｓ  Ｂａｓｅｄ  ｏｎ  Ｇｒａｙ−Ｓｃａｌｅ  Ｃｏｎｎｅｃｔｅｄ  Ｃｏｍｐｏｎｅｎｔ  Ａｎａｌｙｓｉｓ”，画像電子学会誌  ２００７年７月  Ｖｏｌ．３６，Ｎｏ．４，ｐｐ５０９−５１９
【発明の概要】
【発明が解決しようとする課題】
【００１１】
上述の従来手法には以下のような課題があった。  
【００１２】
ＧＰＳ・位置情報サービスおよびＥＺナビウォーク等では、ＧＰＳが正常に機能することがサービスの前提となっているが、ＧＰＳはどのような場所でも正常に機能する保障はなく、たとえば高いビルの近辺では位置情報を計測できないことがあることが知られている。
【００１３】
また、非特許文献１の「みるら」および非特許文献２の「ＳｙｎｃＲ」で実現されているサービスでは、カメラ付携帯端末から送られてきた画像の特徴量を、データベースに格納された認識対象物の画像の特徴量と照合し、合致度のもっとも高い認識対象物を選んでそれに結び付けられたデータベース上の情報を端末に送る形態である。このような形態のシステムにおいては、画像間の照合の精度が問題となる。画像間の照合技術はどのようなものであってもある程度の割合の誤りは避けられず、その場合には携帯端末には認識失敗の通知か、もしくは正解とは異なる認識対象物の関連情報が提供されてしまう。このような認識の失敗の原因としては、携帯端末による撮影の際の手ぶれやボケ、携帯端末で撮影された画像中における対象物の位置や大きさが想定の範囲内から大きく外れてしまう場合、対象物に影がかかる場合など、さまざまな要因がある。
【００１４】
図１０（ｂ）はその一例であり、これは情報提供を依頼するために携帯端末で撮影した時に看板の下部に他の建築物の影がかかった画像であり、図６の建築物関連情報データベース１１５に画像特徴量を登録するのに用いた図９の画像と比較すると、この細い影が大きく異なる。このような場合、たとえば画像特徴量が正しいカテゴリである図７の「神奈川第九ビル」よりも他のカテゴリ（例えば「ＤＦＦビル」）に偶然近くなることが生じやすく、そのような場合には、評価手段１１３の処理結果において第１の候補が「ＤＦＦビル」、第２の候補が「神奈川第九ビル」となり、誤って「ＤＦＦビル」の情報がカメラ付携帯端末３０に送られてしまうことになる。
【００１５】
本発明は上記課題を解決するものであり、その目的は、看板にかかった影などの雑音の影響を受けにくい認識を行うことができる建築物関連情報提供装置、方法、プログラムを提供することにある。
【課題を解決するための手段】
【００１６】
上記課題を解決するための本発明の建築物関連情報提供装置は、カメラ付携帯端末により撮影された建築物の画像から、該建築物に関連した情報を提供する建築物関連情報提供装置であって、外界に存在する建築物の集合の各々について、建築物の特定の領域の画像から文字列領域を抽出した部分領域の画像の特徴量、および該当する建築物の関連情報を関連付けて蓄積する建築物関連情報データベースと、前記カメラ付携帯端末から送信された画像を受信する画像受信手段と、前記画像受信手段により受信された画像の中から、文字列領域の画像を抽出する文字列領域画像抽出手段と、前記文字列領域画像抽出手段により抽出された画像の特徴量を抽出し、その特徴量と前記建築物関連情報データベースに格納された各建築物の部分領域の画像の特徴量との合致度を算出する画像合致度算出手段と、前記画像合致度算出手段により算出された合致度を各建築物の評価値とする評価手段と、前記評価手段により相対的に高い評価値が付与された建築物の関連情報を前記カメラ付携帯端末に送信する提供情報送信手段と、を有することを特徴としている。
【発明の効果】
【００１７】
本発明によれば、建築物の看板の画像の照合を行うにあたって、画像間の照合の対象を看板の中の文字列領域に限定することで、看板にかかった影などの雑音の影響を受けにくい認識を行うことが可能となり、情報提供の誤りの少ないサービスを提供することが可能となる。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施形態例による建築物関連情報提供システムの構成を示すブロック図である。
【図２】本発明の一実施形態例の建築物関連情報データベースにおける建築物の特徴量を算出するための画像の加工例を示す説明図である。
【図３】本発明の一実施形態例における建築物関連情報データベースの構成例を示す説明図である。
【図４】本発明の一実施形態例による建築物関連情報提供方法の処理の流れを示すフローチャートである。
【図５】建築物の関連情報を得るために撮影した建築物の看板の画像に対して本発明を適用して文字列の領域を抽出し切り出した様子を示した説明図である。
【図６】従来のシステム構成を示すブロック図である。
【図７】従来の図６のシステムにおける建築物関連情報データベースの構成例を示す説明図である。
【図８】撮影対象の被写体の例を示す模式図である。
【図９】被写体の看板を撮影した画像の例を示す説明図である。
【図１０】被写体の看板を撮影した画像の例を示す説明図である。
【図１１】建築物の関連情報の一例である建築物の地図の説明図である。
【発明を実施するための形態】
【００１９】
以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施形態例に限定されるものではない。図１は本発明を適用した建築物関連情報提供システムの一実施形態例の構成を示すブロック図である。図１において図６と同一部分は同一符号をもって示している。
【００２０】
本実施形態例のシステムは、カメラ付携帯端末３０と情報提供サーバー５００を備え、これらの間ではネットワーク１０１を介して情報の授受が行われる。
【００２１】
カメラ付携帯端末３０は、被写体１０の建築物の特定の領域（例えば看板）をカメラで撮影する画像取得手段１０２と、前記撮影された画像をネットワーク１０１を介して情報提供サーバー５００に送信してその建築物に関連する情報の提供を依頼する情報提供依頼送信手段１０３と、前記依頼の結果としてネットワーク１０１を介して情報提供サーバー５００から送られてきた建築物に関連した情報を受信する情報受信手段１０４と、前記受信した情報を表示する情報表示手段１０５とを有している。
【００２２】
情報提供サーバー５００は、外界に存在する建築物の集合の各々について、建築物の特定の領域（例えば看板）の画像から文字列領域を抽出した部分領域の画像の特徴量および該当する建築物の関連情報を関連付けて蓄積する建築物関連情報データベース２１５と、前記カメラ付携帯端末３０からネットワーク１０１を介して送信されてきた画像を受信する画像受信手段１１１と、前記画像受信手段１１１により受信された画像の中から、文字列領域の画像を抽出する文字列領域画像抽出手段１１６と、前記文字列領域画像抽出手段１１６により抽出された画像の特徴量を抽出し、その特徴量と前記建築物関連情報データベース２１５に格納された各建築物の部分領域の画像の特徴量との合致度を算出する画像合致度算出手段１１２と、前記画像合致度算出手段１１２により算出された合致度を各建築物の評価値とする評価手段１１３と、前記評価手段１１３により相対的に高い評価値が付与された建築物の関連情報を、ネットワーク１０１を介して前記カメラ付携帯端末３０に送信する提供情報送信手段１１４とを有する。
【００２３】
尚情報提供サーバー５００の前記各手段の機能は、例えばコンピュータによって達成される。
【００２４】
情報提供サーバー５００の建築物関連情報データベース２１５は従来技術の図６で述べた建築物関連情報データベース１１５に対応している。異なるのは、下記の点である。
【００２５】
各建築物についての看板の画像の特徴量を作成する際に、従来技術の図６の建築物関連情報データベース１１５の場合には、図９に例を示す看板を撮影した画像の全体から特徴量を算出しているのに対して、本実施例の建築物関連情報データベース２１５では、図２（ａ）の点線の領域のように、看板を撮影した画像から、例えば文字列領域画像抽出手段１１６によって文字列の領域を抽出し、その部分の画像を図２（ｂ）のように切り出してその画像から特徴量を算出したものを前もって建築物関連情報データベース２１５に格納している。その他は建築物関連情報データベース１１５と同一である。すなわち、建築物関連情報データベース２１５には、図３に示すように、前記建築物関連情報データベース１１５と同様に各建築物の関連情報が記録されており、本実施例では建築物を中心とする周辺地図がＷｅｂ上に置かれたアドレスを表すＵＲＬが記録されている。
【００２６】
尚、建築物関連情報データベース２１５に格納される建築物の関連情報は、テキスト又は画像、映像、音声、周辺地図における該建築物の位置、乃至はこれらの組み合わせである。
【００２７】
次に、図４に示すフローチャートを参照しながら、実際にカメラ付携帯端末３０を用いて関連情報を取得し表示する処理の流れを説明する。まず操作者はカメラ付携帯端末３０の画像取得手段１０２を用いて被写体１０を撮影する（ステップＳ１）。ここでは従来技術の説明と同様に「神奈川第九ビル」の看板を撮影し、図１０（ｂ）の画像が撮影されたとする。次に、この画像は情報提供依頼送信手段１０３に送られ、ネットワーク１０１経由で情報提供サーバー５００の中の画像受信手段１１１に送られる（ステップＳ２）。
【００２８】
画像受信手段１１１に送られ、受信された（ステップＳ３）画像は、まず文字列領域画像抽出手段１１６にて文字列領域の画像が図５（ａ）の点線の領域のように抽出され、その領域の画像が図５（ｂ）のように切り出される（ステップＳ４）。このように切り出された文字列の領域には、画像の下部にかかった影は入っていない。文字列の領域を抽出する具体的な方法は既に提案されている方法（例えば非特許文献４に記載の方法）を適用することができる。
【００２９】
次に、文字列の領域の画像は画像合致度算出手段１１２にて画像特徴量が抽出され（ステップＳ５）、その特徴量を建築物関連情報データベース２１５中の各レコードの画像特徴量と照合し、画像間の類似度の尺度である合致度が算出される（ステップＳ６）。
【００３０】
この処理において、従来技術の場合には、建築物関連情報データベース１１５における該当する建築物の特徴量を算出するために用いた図９の画像と、認識対象である図１０（ｂ）の画像との間に、図１０（ｂ）の画像の下部に存在する影に起因する画像間の相違があるため、画像の合致度が低くなり、認識誤りとなりやすい。
【００３１】
これに対して実施例の技術では、画像合致度算出手段１１２で対象とする切り出された図５（ｂ）の画像には影が入っていないため、建築物関連情報データベース２１５における該当する建築物の特徴量を算出するために用いた図２（ｂ）の画像に近く、このため画像の合致度が高くなり、認識誤りとなりにくい。このように、本実施例では画像合致度算出手段１１２で比較する画像の領域が従来技術の場合よりも狭いため、影などの影響を受けにくいといえる。この合致度の算出をすべてのレコードについて行い、全レコードについての合致度を評価手段１１３に送る。
【００３２】
評価手段１１３では合致度のもっとも高いレコードを選び、この結果を提供情報送信手段１１４に送る（ステップＳ７）。
【００３３】
以上の処理により、提供情報送信手段１１４は、評価手段１１３から、「神奈川第九ビル」という正しい結果を受け取ったことになる。
【００３４】
そして、提供情報送信手段１１４は建築物関連情報データベース２１５中の該当するレコードの関連情報（本例では地図のＵＲＬ）を検索し、それがネットワーク１０１経由でカメラ付携帯端末３０の情報受信手段１０４に送られる（ステップＳ８）。
【００３５】
次に情報受信手段１０４によって前記関連情報が受信され（ステップＳ９）、前記ＵＲＬは情報表示手段１０５に送られ、情報表示手段１０５はこのＵＲＬでＷｅｂにアクセスし、従来技術の説明と同様に得られた地図の画像を表示する（ステップＳ１０）。
【００３６】
尚、前記画像合致度算出手段１１２により抽出された画像の特徴量は、例えばメモリに格納して利用するものであっても良い。
【００３７】
また、前記建築物の関連情報は、テキスト又は画像、映像、音声、周辺地図における該建築物の位置、乃至はこれらの組み合わせである。
【００３８】
また、本実施形態の建築物関連情報提供装置における各手段の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、本実施形態の建築物関連情報提供方法における手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えばＦＤ（Ｆｌｏｐｐｙ（登録商標）  Ｄｉｓｋ）や、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ  ｄｉｓｋ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、メモリカード、ＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ）−ＲＯＭ、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＨＤＤ、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。
【符号の説明】
【００３９】
１０…被写体
２０…建築物
２１…看板
３０…カメラ付携帯端末
１０１…ネットワーク
１０２…画像取得手段
１０３…情報提供依頼送信手段
１０４…情報受信手段
１０５…情報表示手段
１１１…画像受信手段
１１２…画像合致度算出手段
１１３…評価手段
１１４…提供情報送信手段
１１５…従来技術における建築物関連情報データベース
１１６…文字列領域画像抽出手段
２１５…本発明の実施例における建築物関連情報データベース
【図１】
2010272054.tif 000003
【図２】
2010272054.tif 000004
【図３】
2010272054.tif 000005
【図４】
2010272054.tif 000006
【図５】
2010272054.tif 000007
【図６】
2010272054.tif 000008
【図７】
2010272054.tif 000009
【図８】
2010272054.tif 000010
【図９】
2010272054.tif 000011
【図１０】
2010272054.tif 000012
【図１１】
2010272054.tif 000013