(57)【要約】【課題】携帯端末において簡単に情報提供が受けられるようにする。【解決手段】携帯端末１０１のユーザが、撮像手段２０１を用いて、人または装置により識別可能なように人為的に定められ、且つ検索キーとして定義されたパターンを含む部分を撮影すると、その部分の画像情報が当該撮像手段２０１により取得される。画像認識手段２０２は、この画像情報の認識処理を行って上記パターンを認識する。認識結果は情報検索要求に付加されて認識情報送信手段２０３により検索サーバ１０２に送信される、検索サーバ１０２内の情報検索手段２０５は、この認識結果に基づき、提供する情報を検索する。検索された情報は、情報送信手段２０７により携帯端末１０１に送信され、情報表示手段２０４により表示される。【選択図】    図１
2004234465.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮影して画像情報を取得する撮像手段を有する携帯端末からの情報検索要求に応じて情報を提供する検索サーバであって、
前記携帯端末の撮像手段で撮影されることにより取得された、人または装置により識別可能なように人為的に定められ、且つ検索キーとして定義されたパターンを含む部分の画像情報に対する画像認識結果が付加された情報検索要求を当該携帯端末から受けた場合、前記認識結果に基づいて、提供する情報を検索する情報検索手段と、
前記情報検索手段により検索された情報を前記携帯端末に送信する情報送信手段と
を具備することを特徴とする検索サーバ。
【請求項２】
被写体を撮影して画像情報を取得する撮像手段を有する携帯端末からの情報検索要求に応じて情報を提供する検索サーバであって、
前記携帯端末の撮像手段で撮影されることにより取得された、人または装置により識別可能なように人為的に定められ、且つ検索キーとして定義されたパターンを含む部分の画像情報が付加された情報検索要求を当該携帯端末から受けた場合、当該画像情報に含まれている前記パターンを認識する画像認識手段と、
前記画像認識手段の画像認識結果に基づいて、提供する情報を検索する情報検索手段と、
前記情報検索手段により検索された情報を前記携帯端末に送信する情報送信手段と
を具備することを特徴とする検索サーバ。
【請求項３】
前記情報検索手段により検索された情報を前記携帯端末の表示画面を介して当該端末のユーザに提供するのに適した情報に加工する情報加工手段を更に具備することを特徴とする請求項１または請求項２記載の検索サーバ。
【請求項４】
前記情報検索要求には、前記携帯端末の表示仕様に関する情報が付加情報として付加されており、前記情報加工手段は、前記情報検索手段により検索された情報を前記付加情報に応じて加工することを特徴とする請求項３記載の検索サーバ。
【請求項５】
前記情報検索要求には、前記携帯端末の位置情報または前記携帯端末のユーザの個人情報が付加情報として付加されており、前記情報検索手段は、前記認識結果及び前記付加情報に基づいて前記認識結果に対応し且つ前記付加情報で示される前記携帯端末の位置または前記ユーザの個人情報に関係する情報を検索することを特徴とする請求項３記載の検索サーバ。
【請求項６】
前記情報検索手段による前記画像認識結果に基づく情報検索に失敗した場合に、予め登録されているデータベースをもとに当該認識結果を当該認識結果に類似した情報に修正する認識結果修正手段を更に具備し、
前記情報検索手段は前記認識結果修正手段による修正後の認識結果に基づいて、提供する情報を再度検索することを特徴とする請求項１記載の検索サーバ。
【請求項７】
被写体を撮影して画像情報を取得する撮像手段を有する携帯端末において、
前記撮像手段で撮影されることにより取得された、人または装置により識別可能なように人為的に定められ、且つ検索キーとして定義されたパターンを含む部分の画像情報を対象に、当該画像情報に含まれている前記パターンを認識する画像認識手段と、
前記画像認識手段による画像認識結果が付加された情報検索要求を検索サーバに送信する認識情報送信手段と、
前記検索サーバに送信された前記情報検索要求に付加されている前記画像認識結果に基づく当該検索サーバによる情報検索で検索された情報が当該検索サーバから前記携帯端末に送信された場合、当該検索された情報を表示する情報表示手段と
を具備することを特徴とする携帯端末。
【請求項８】
前記画像認識手段は、少なくとも文字認識、バーコード認識、図形認識のいずれかを行うことを特徴とする請求項７記載の携帯端末。
【請求項９】
前記認識情報送信手段は、前記画像認識手段による画像認識結果に、複数の検索サーバの各々を識別するための識別マークの１つを示す情報が含まれている場合、前記複数の検索サーバのうち当該情報に対応する検索サーバに前記画像認識結果が付加された前記情報検索要求を送信することを特徴とする請求項７記載の携帯端末。
【請求項１０】
被写体を撮影して画像情報を取得する撮像手段を有する携帯端末と、前記携帯端末からの情報検索要求に応じて情報を提供する検索サーバとを備えた情報提供システムであって、
前記携帯端末は、
前記撮像手段で撮影されることにより取得された、人または装置により識別可能なように人為的に定められ、且つ検索キーとして定義されたパターンを含む部分の画像情報を対象に、当該画像情報に含まれている前記パターンを認識する画像認識手段と、
前記画像認識手段による画像認識結果が付加された情報検索要求を検索サーバに送信する認識情報送信手段と、
前記認識情報送信手段により前記検索サーバに送信された前記情報検索要求に付加されている前記画像認識結果に基づく当該検索サーバによる情報検索で検索された情報が当該検索サーバから前記携帯端末に送信された場合、当該検索された情報を表示する情報表示手段とを備え、
前記検索サーバは、
前記携帯端末の前記認識情報送信手段から送信された情報検索要求に付加されている前記認識結果に基づいて、提供する情報を検索する情報検索手段と、
前記情報検索手段により検索された情報を前記携帯端末に送信する情報送信手段とを備えている
ことを特徴とする情報提供システム。
【請求項１１】
前記画像認識手段における画像認識で用いられる情報を更新する認識情報更新手段を含む認識情報更新サーバを更に備えていることを特徴とする請求項１０記載の情報提供システム。
【請求項１２】
被写体を撮影して画像情報を取得する撮像手段を有する携帯端末と、前記携帯端末からの情報検索要求に応じて情報を提供する検索サーバとを備えた情報提供システムであって、
前記携帯端末は、
前記撮像手段で撮影されることにより取得された、人または装置により識別可能なように人為的に定められ、且つ検索キーとして定義されたパターンを含む部分の画像情報が付加された情報検索要求を検索サーバに送信する画像情報送信手段と、
前記画像情報送信手段により前記検索サーバに送信された前記情報検索要求に付加されている前記画像情報を利用した当該検索サーバによる情報検索で検索された情報が当該検索サーバから前記携帯端末に送信された場合、当該検索された情報を表示する情報表示手段とを備え、
前記検索サーバは、
前記携帯端末の前記画像情報送信手段から送信された情報検索要求に付加されている前記画像情報を対象に、当該画像情報に含まれている前記パターンを認識する画像認識手段と、
前記画像認識手段による画像認識結果に基づいて、提供する情報を検索する情報検索手段と、
前記情報検索手段により検索された情報を前記携帯端末に送信する情報送信手段とを備えている
ことを特徴とする情報提供システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、撮像手段を有する携帯端末が当該撮像手段により取得される画像を利用して情報を取得するのに好適な検索サーバ、携帯端末及び情報提供システムに関する。
【０００２】
【従来の技術】
最近、携帯電話機やＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）に代表される携帯端末の普及に伴い、ユーザがインターネット等の通信により様々な情報（ここでの情報とはサービスを含むものとする）を得る機会が多くなってきている。そのような情報をユーザにアピールする手段の１つにメールによるものがある。しかし、不特定多数にメールを送付することは、必要のないユーザにとっては不快であり、さらに通信トラフィックを増大させる原因となるため、社会問題になっている。
【０００３】
また、印刷された広告にＵＲＬ（Ｕｎｉｆｏｒｍ  Ｒｅｓｏｕｒｃｅ  Ｌｏｃａｔｏｒ）に代表されるウェブ（Ｗｅｂ）アドレス等を記載し、このアドレスにユーザがアクセスすることを促す手法も知られている。しかし、この手法では、ユーザはアドレス等をいちいち入力する必要がある。通常、携帯端末は入力機能が簡素化されていることが多いため、簡単に入力することは難しい。このため、ユーザが携帯端末から情報にアクセスしにくい原因となっている。
【０００４】
また、最近は、携帯端末からのアドレス等の入力を不要とした情報提供システムも提案されている（例えば、特許文献１参照）。このシステム（以下、先行技術と称する）では、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ：全地球測位システム）受信機とデジタルカメラ（撮像手段）を搭載した携帯端末（クライアント装置）が利用される。カメラは、屋外を移動中のユーザが情報を得たいと欲する対象物を含む風景物を当該ユーザの操作で撮影するのに用いられる。このカメラでの撮影により取得された風景物の画像情報（風景情報）は、ＧＰＳ受信機により取得された位置情報と共に所定の情報提供サーバ（センターシステム）に送出される。情報提供サーバは、風景情報及び位置情報と蓄積された映像情報とをもとに、風景情報の示す風景物の中の対象物を特定し、その対象物に関する情報を、当該風景情報の送出元の携帯端末に送信する。これにより携帯端末のユーザは、自身の視野内にある対象物に関する情報をアドレス等の入力操作を行うことなく取得できる。
【０００５】
【特許文献１】
特開２００２−１０８８７３号公報（段落００２７）
【０００６】
【発明が解決しようとする課題】
上記したように先行技術においては、ユーザが屋外を移動中に情報を得たいと欲する対象物を見つけた場合に、その対象物に関する情報を取得するには、次の操作を行うだけでよい。つまりユーザは、対象物を含む風景物を携帯端末に搭載されたカメラで撮影し、取得された画像情報とＧＰＳ受信機により取得され位置情報を情報提供サーバ（センターシステム）に送出するための操作を行うだけでよい。
【０００７】
しかし、上記先行技術では、ユーザが取得できる情報は、ユーザの視野内に入っている風景物に含まれる対象物に限られる。つまり上記先行技術では、ユーザの視野内に入らない対象物、例えばユーザから遠隔の地にある対象物の情報を取得することはできない。また、上記先行技術では、対象物が複数の店舗を含むビルの場合、ビル自体の情報を必要とするのか、ビル内の特定の店舗の情報を必要とするのか情報提供サーバ側では識別できない。このため、情報提供サーバと携帯端末との間で、ユーザが必要とする情報を特定するための手順を必要とする。
【０００８】
本発明は上記事情を考慮してなされたものでその目的は、人または装置により識別可能なように人為的に定められ、且つ検索キーとして定義されたパターンを含む部分を携帯端末に搭載された撮像手段を用いてユーザが撮影することにより、当該撮像手段により取得される画像に含まれる上記パターンに関係する情報をユーザが得られるようにすることにある。
【０００９】
【課題を解決するための手段】
本発明の１つの観点によれば、被写体を撮影して画像情報を取得する撮像手段を有する携帯端末からの情報検索要求に応じて情報を提供する検索サーバが提供される。この検索サーバは、上記携帯端末の撮像手段で撮影されることにより取得された、人または装置により識別可能なように人為的に定められ、且つ検索キーとして定義されたパターンを含む部分の画像情報に対する画像認識結果が付加された情報検索要求を当該携帯端末から受けた場合、上記認識結果に基づいて、提供する情報を検索する情報検索手段と、この情報検索手段により検索された情報を上記携帯端末に送信する情報送信手段とを備えている。
【００１０】
このような構成の検索サーバにおいては、携帯端末から画像認識結果が付加された情報検索要求を受け取ると、当該認識結果に基づいて、当該認識結果に対応する情報が提供する情報として検索され、検索要求元の携帯端末に返される。したがって携帯端末のユーザは、印刷物等に、自身が欲しい情報の検索キーとなるパターン（例えば、文字、バーコード、或いはロゴ、トレードマーク等の図形）を発見した場合に、当該パターンを含む部分を携帯端末に搭載された撮像手段で撮影し、その撮影の結果、当該撮像手段により取得された画像情報の認識処理を当該携帯端末で行わせて、その認識結果が付加された情報検索要求を当該検索サーバに送信させるだけで、その認識結果に対応する情報、つまり自身が欲しい情報を検索サーバから例えば携帯端末の表示画面を介して受け取ることができる。つまりユーザは、煩わしい手入力すること無しで簡単に情報を入手することが可能となる。
【００１１】
ここで、上記検索サーバに、上記情報検索手段により検索された情報を上記携帯端末の表示画面を介して当該端末のユーザに提供するのに適した情報に加工する情報加工手段を追加するならば、よりユーザにとって見やすい情報を提供できる。そのためには、上記携帯端末から検索サーバに送信される情報検索要求に、当該携帯端末の表示仕様に関する情報が付加情報として付加されていると良い。
【００１２】
また、上記携帯端末から検索サーバに送信される情報検索要求に、当該携帯端末の位置情報または当該携帯端末のユーザの個人情報が付加情報として付加される構成であれば、上記情報検索手段が、上記認識結果及び付加情報に基づいて当該認識結果に対応し且つ当該付加情報で示される携帯端末の位置またはユーザの個人情報に関係する情報を検索する構成とすると良い。このようにすると、検査サーバはよりユーザに適した情報を提供することができる。
【００１３】
また、携帯端末に搭載された撮像手段により取得された画像情報に含まれる上記パターンの認識を検索サーバ側で行う構成とするならば、携帯端末での負荷を軽減できる。
【００１４】
なお、本発明は、撮像手段を搭載し、当該撮像手段で撮影されることにより取得された、人または装置により識別可能なように人為的に定められ、且つ検索キーとして定義されたパターンを含む部分の画像情報に対する画像認識結果が付加された情報検索要求を、上記構成の検索サーバに送信する携帯端末に係る発明としても成立する。また本発明は、上記構成の携帯端末及び検索サーバを備えた情報提供システムに係る発明としても成立する。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態につき図面を参照して説明する。
［第１の実施形態］
図１は本発明の第１の実施形態に係る情報提供システムの構成を示すブロック図である。
【００１６】
図１において、携帯端末１０１は、有線または無線により検索サーバ１０２と接続される。携帯端末１０１は携帯電話機、或いはＰＤＡ等の可搬型の電子機器（クライアント機器）である。携帯端末１０１は、撮像手段２０１と、画像認識手段２０２と、認識情報送信手段２０３と、情報表示手段２０４とから構成される。検索サーバ１０２は、情報検索手段２０５と、情報加工手段２０６と、情報送信手段２０７とから構成される計算機（サーバ計算機）である。
【００１７】
撮像手段２０１は、被写体を撮影してデジタルの画像情報を取得する。ここでは撮像手段２０１は、印刷物から、人または装置により識別可能なように人為的に定められ、且つ検索キーとして定義されたパターン（例えば、文字、バーコードまたは図形）を含む印刷部分を撮影するに用いられる。撮像手段２０１は、例えばデジタルカメラである。
【００１８】
図２乃至図４は、撮像手段２０１による撮影の対象となる印刷物の一例を示す。図２は印刷物に印刷された上記パターンがロゴ２１の例を、図３は上記パターンがトレードマーク３１の例を、そして図４は上記パターンが文字（文字列）４１の例を示す。図２、図３及び図４の例の場合、ユーザは、それぞれ破線２２、３２及び４２で囲まれた部分（破線枠内の部分）を含む領域を撮影する。この破線２２、３２及び４２も印刷されており、ユーザが撮影する際の指標、更にはパターン切り出しのための指標としても利用できる。なお、破線２２、３２及び４２は必ずしも必要ない。また、ユーザが撮影する際の指標として、破線の枠に代えて、撮影すべきパターン（文字、バーコードまたは図形）の色を他の部分と変えるようにしても良い。
【００１９】
画像認識手段２０２は、撮像手段２０１によって取得された画像情報に含まれている上記パターンを認識するための画像認識処理を行う。即ち画像認識手段２０２は、撮像手段２０１によって取得された画像情報を２値のデータ（２値画像）に変換して、認識すべき箇所を特定する。次に画像認識手段２０２は、特定された箇所のパターンが、文字、バーコードまたは図形（例えば、ロゴもしくはトレードマーク等の標識）のいずれであるか判別し、その判別結果に応じて文字認識処理、バーコード認識処理または画像情報圧縮処理を行う。
【００２０】
図５は画像認識手段２０２の処理手順を示すフローチャートである。この図５のフローチャートを参照して、画像認識手段２０２による画像認識処理を説明する。
【００２１】
画像認識手段２０２はまず、撮像手段２０１により取得された画像情報が正しい領域を撮影することにより得られたものであるかを判定するために、背景領域が単色であるか判定する（ステップＳ１）。この判定は例えば次のように行われる。まず、入力画像のヒストグラム及び色の鮮やかさの指標である彩度のヒストグラムから、予め設定されている閾値以上を示すピークとなる値が求められる。ピーク数が複数ある場合、背景領域が単色（つまり一様）でないと判定される。単色でない場合、画像認識手段２０２は情報表示手段２０４を介してユーザに再度画像の撮り直しを要求する。
【００２２】
次に画像認識手段２０２は、取得された画像情報の示す画像がカラー画像であるか判定する（ステップＳ２）。この判定のためには、例えばＲＧＢ値を彩度に変換し、その値と予め設定されている閾値とを比較すれば良い。カラー画像でない場合、画像認識手段２０２は画像の２値化処理を行う（ステップＳ３）。これに対し、カラー画像である場合には、画像認識手段２０２は、色を識別して２値化処理（カラー２値化処理）を行う（ステップＳ４）。色を識別するためには、例えば、各画素の色相を計算し、ヒストグラムを計測することにより、パターン（文字、ロゴ、トレードマーク等）と下地の色（背景色）を推定すれば良い。
【００２３】
画像認識手段２０２は、２値化処理（ステップＳ３またはＳ４）を終了すると、形状特徴量を抽出する（ステップＳ５）。形状特徴量の例としては、パターンのサイズ、或いは画素分布状態などが知られている。パターンのサイズは、例えば、２値画像に対してラベリング処理を行い、当該パターンの外接矩形を求めることで計測可能である。また、画素分布状態の情報は射影処理を行うことで取得可能である。
【００２４】
画像認識手段２０２は、抽出された形状特徴量をもとに、撮像手段２０１によりら取得された画像がバーコードであるか判定する（ステップＳ６）。バーコードと判定された場合、画像認識手段２０２は２値画像を対象にバーコード認識処理を行い、その結果として例えば英数字列（英数字の文字コード列）を得る（ステップＳ７）。
【００２５】
一方、バーコードではない場合、画像認識手段２０２は２値画像を対象に文字認識処理を行う（ステップＳ８）。画像認識手段２０２は、文字認識処理によって得られる各々の文字に対する類似度の平均が予め定められた一定以上の値（閾値）を満たしている場合（ステップＳ９）、文字であると判定して、対応する文字コードを出力する。これに対し、類似度が一定以上の値を満たしていない場合（ステップ９）、画像認識手段２０２はロゴやトレードマークといった図形（標識）であると判定する。この場合、画像認識手段２０２は、検索サーバ１０２に対し、図形と判定された２値画像情報を一種の画像認識結果として認識情報送信手段２０３により送信させる。その際、画像認識手段２０２は、送信データ量の削減のために画像情報圧縮を行う（ステップＳ１０）。
【００２６】
以上の結果、撮像手段２０１により取得された画像情報がバーコードを含むならば英数字列を表す文字コード列が、文字（文字列）を含むならば対応する文字コード（文字コード列）が、トレードマークやロゴといった図形を含むならば圧縮画像情報が、画像認識結果として画像認識手段２０２から認識情報送信手段２０３に出力される。
【００２７】
なお、２値画像を対象とする文字認識処理（ステップＳ８）の結果、ロゴやトレードマークといった図形であると判定された場合（ステップＳ９）、画像情報を圧縮する処理（ステップＳ１０）に代えて、図形認識処理を行うようにしても良い。図６は、この図形認識処理を含む画像認識手段２０２の処理手順を示すフローチャートであり、図５のフローチャートと同一部分には同一符号を付してある。
【００２８】
図６のフローチャートの特徴は、２値画像を対象とする文字認識処理（ステップＳ８）の結果、次のステップＳ９において、ロゴやトレードマークといった図形であると判定された場合の処理にある。この場合、画像認識手段２０２は、図６のフローチャートとは異なり、図形認識処理を行う（ステップＳ１１）。即ち画像認識手段２０２は、文字認識処理（ステップＳ８）で用いられた２値画像と予め登録されている図形データベースとのパターンマッチング処理を行い、マッチングのとれた図形（標識）に対応付けられているコードを出力する。
【００２９】
図７は、撮像手段２０１によって撮影される印刷物の他の例を示す。図７は、ロゴ７１と識別マーク７２とが混在している例である。この識別マーク７２は、図１の情報提供システムに対応した印刷パターンであると予め定義されているものとする。この識別マーク７２の意味をユーザに周知させることにより、当該マーク７２に近傍に印刷されているパターンが情報提供システム（内の検索サーバ１０２）によって提供される情報（ここでの情報とはサービスを含むものとする）の検索キーとなり得ることをユーザに理解させることができ、より見やすい印刷物をユーザに提供できる。また、情報提供システムが、図１とは異なって複数の検索サーバ１０２で運用される場合、検索サーバ１０２毎に識別マークを用意するならば、携帯端末１０１内の画像認識手段２０２によって認識される識別マークの種別に応じて認識情報送信手段２０３が送信する認識結果の送信先を決定することも可能となる。特に主たる画像認識処理を検索サーバ１０２側で行うシステムとする場合、携帯端末１０１側では識別マークのみを認識して、画像情報（例えば圧縮された画像情報）を対応する検索サーバ１０２に送信すれば良い。この場合、上記第１の実施形態と比べて携帯端末１０１での処理の負荷を軽減できる。また、携帯端末１０１の画像認識手段２０２にて図６のフローチャートに示すような画像認識処理を行う場合には、ロゴ７１と識別マーク７２とに画像を分割することで、別々に識別をすることが可能となる。
【００３０】
さて、画像認識手段２０２の画像認識結果は認識情報送信手段２０３に出力される。認識情報送信手段２０３は、画像認識手段２０２の画像認識結果を受け取ると、当該画像認識結果が付加された情報検索要求を検索サーバ１０２へ送信する。携帯端末１０１内の認識情報送信手段２０３から検索サーバ１０２への情報検索要求の送信経路としては、有線ＬＡＮ、無線ＬＡＮ、または携帯電話回線等がある。また、画像認識結果に、図７を参照して説明した検索サーバ１０２に対応する識別マークの認識結果が含まれている場合、当該認識結果により特定される検索サーバ１０２へ情報検索要求が送信される。この際、画像認識結果以外の付加情報も送信することが可能である。付加情報には、例えば、携帯端末１０１の位置情報、携帯端末１０１の画面サイズや表示可能なカラー数などの、当該携帯端末１０１の仕様に関する当該携帯端末１０１に固有の情報（例えば表示能力、つまりディスプレイの仕様に関する情報）、或いは携帯端末１０１のユーザの個人情報が適用可能である。携帯端末１０１の位置情報には、当該携帯端末１０１にＧＰＳ受信機が搭載されているならば、当該ＧＰＳ受信機により取得される位置情報を利用すれば良い。
【００３１】
検索サーバ１０２内の情報検索手段２０５は、携帯端末１０１内の認識情報送信手段２０３から送信された情報検索要求を受け取ると、当該要求に付加されている画像認識結果を利用して、当該認識結果に対応する情報を検索する。即ち情報検索手段２０５は、バーコードの認識結果である場合、認識された英数字列と予め対応付けられている情報を図示せぬ情報データベースから検索する。
【００３２】
情報検索手段２０５には図形認識機能が付加されている。そのため情報検索手段２０５は、トレードマークやロゴといった図形の認識結果、つまり図形を含む圧縮画像の場合、当該圧縮画像を伸張して予め登録されている図形データベースとのパターンマッチング処理を行うことで当該図形を認識（特定）する。情報検索手段２０５は、認識された図形（トレードマーク、或いはロゴ）と予め対応付けられている情報を情報データベースから検索する。なお、図形データベースによっては、圧縮画像のままでパターンマッチング処理を行うことも可能である。
【００３３】
また情報検索手段２０５は、文字（文字列）の認識結果の場合、認識された文字（文字列）と予め対応付けられている情報を情報データベースから検索する。また、認識された文字列がＷｅｂアドレスの場合、情報検索手段２０５は当該Ｗｅｂアドレスを用いてインターネットにアクセスし、そのアドレスで示されるロケーションに格納されている情報を取得する。この情報検索手段２０５によるＷｅｂアドレスを用いた情報取得も、Ｗｅｂアドレスを検索キーとする一種の情報検索とみなすことができる。また、図６のフローチャートの例のように、既に携帯端末１０１内の画像認識手段２０２において図形に対するパターンマッチングが行われている場合、情報検索手段２０５は次のように動作する。まず、情報検索手段２０５は、携帯端末１０１内の認識情報送信手段２０３から、画像認識結果として、認識された図形を示すコードを受け取る。そこで情報検索手段２０５は、受け取った認識結果、つまり認識された図形を示すコードと対応付けられている情報と予め対応付けられている情報を情報データベースから検索する。
【００３４】
ここで、情報検索手段２０５の具体例を、企業が広告のために利用する場合で説明する。まず、検索サーバ１０２の情報データベースには、広告したい情報が、検索キーとなる文字列、バーコードの示す英数字列、或いはトレードマークやロゴ等の図形（標識）と対応付けて予め登録されている。また、電車の吊り広告、更には新聞、雑誌の広告の一部には、上記検索キーに対応するパターン、例えば図２に示すロゴ２１、図３に示すトレードマーク３１、図４に示す文字列４１（ここではＷｅｂアドレス）または図示せぬバーコードが印刷される。
【００３５】
広告に興味を持ったユーザは、当該広告に含まれている、検索キーとなるパターン（ロゴ２１、トレードマーク３１、文字列４１またはバーコード）が印刷されている部分を携帯端末１０１の撮像手段２０１で撮影する。この場合、撮像手段２０１により取得される画像情報を対象とする画像認識処理が画像認識手段２０２により行われ、その画像認識結果が付加された情報検索要求が検索サーバ１０２に送信される。この画像認識結果が検索サーバ１０２に予め登録されていた検索キーと一致した場合、検索サーバ１０２は、当該検索キーと対応付けられている情報を携帯端末１０１を介してユーザに提供することができる。
【００３６】
さて、携帯端末１０１から検索サーバ１０２に送信される情報検索要求に画像認識結果だけでなく、携帯端末１０１の位置情報が付加されている場合、検索サーバ１０２は、例えば企業がチェーン展開している最も近い店舗を携帯端末１０１を介して地図によってユーザに示すことも可能となる。また、ユーザの個人情報が携帯端末１０１に登録されていて、当該個人情報が画像認識結果と共に情報検索要求に付加されて携帯端末１０１から検索サーバ１０２に送信された場合、ユーザの好みに合った検索フィルタリングも可能となる。また、検索サーバ１０２にユーザ毎に検索履歴を残すことで、個人の好みにより適合する検索システムを構築できる。
【００３７】
検索サーバ１０２内の情報検索手段２０５は、携帯端末１０１から送信された画像認識結果をもとに情報を検索（取得）すると、その情報を情報加工手段２０６に渡す。情報加工手段２０６は、情報検索手段２０５から渡された情報を、携帯端末１０１にてユーザが見やすく或いは使いやすくなるように加工する。この加工のために、携帯端末１０１内の認識情報送信手段２０３から画像認識結果と共に送信される付加情報が利用される。つまり、情報加工手段２０６での情報加工処理は、認識情報送信手段２０３から付加情報が送信されることを前提として行われる。付加情報に、例えば携帯端末１０１の画面サイズ、更には表示可能なカラー数の情報が含まれているものとする。この場合、情報加工手段２０６は、検索サーバ１０２から当該携帯端末１０１に送信される検索結果の画像情報のサイズを、拡大縮小処理またはフォントサイズの調整により当該携帯端末１０１の画面サイズに合わせ、更に表示可能なカラー数に合わせて画像を例えば減色する。また、付加情報にユーザの好みの表示方法を示す情報が含まれている場合、それに合わせることも可能である。
【００３８】
検索サーバ１０２内の情報加工手段２０６により加工された検索結果の情報は当該検索サーバ１０２内の情報送信手段２０７に渡される。情報送信手段２０７は、この検索結果の情報を携帯端末１０１に送信する。この情報送信手段２０７から携帯端末１０１への検索結果の情報の送信経路としては、携帯端末１０１内の認識情報送信手段２０３から検索サーバ１０２への情報検索要求の送信経路と同様に、有線ＬＡＮ、無線ＬＡＮ、または携帯電話回線等がある。
【００３９】
携帯端末１０１内の情報表示手段２０４は、検索サーバ１０２内の情報送信手段２０７から送信された情報を表示し、ユーザに提示する。情報表示手段２０４は、液晶ディスプレイに代表されるフラットパネルディスプレイである。
【００４０】
このように、図１の情報提供システムにおいて、ユーザは、広告等の印刷物上に、自身が欲しい情報の検索キーとなるパターン、例えば、文字、バーコードまたは図形（ロゴ、トレードマーク等）を発見すると、携帯端末１０１に搭載された撮像手段２０１で、当該文字、バーコードまたは図形（ロゴ、トレードマーク等）を含む印刷部分を撮影する。これにより、検索キーとなる文字、バーコードまたは図形を含む印刷部分の画像情報が取得され、当該画像情報を対象として画像認識手段２０２により画像認識処理が行われる。この画像認識処理での認識結果（が付加された情報検索要求）を携帯端末１０１（内の認識情報送信手段２０３）から検索サーバ１０２に送ると、当該検索サーバ１０２側では認識結果に基づく情報検索が行われる。検索された情報は、携帯端末１０１のユーザが見やすく或いは使い易くなるように情報加工手段２０６で加工され、携帯端末１０１の表示画面を通してユーザに提供される。よって、ユーザは煩わしい手入力すること無しで簡単に情報を入手することが可能となり、情報提供側も最適で高品位な情報を送信することが可能となる。なお、携帯端末１０１において、画像認識手段２０２による画像認識処理を行わせ、その認識結果を検索サーバ１０２に送信させるためには、ユーザの操作（例えばメニュー選択操作）で携帯端末１０１を予め情報提供要求モードに設定し、この状態で撮像手段２０１を操作して検索キーとなるパターンを含む印刷部分を撮影するか、或いは、撮影後に情報提供要求モードに設定すれば良い。
【００４１】
［第２の実施形態］
図８は本発明の第２の実施形態に係る情報提供システムの構成を示すブロック図である。なお、図１と同一部分には同一符号を付して詳細な説明を省略する。
【００４２】
図８のシステムの特徴は、図１中の検索サーバ１０２に相当する検索サーバ３０２に、認識結果修正手段２１０が設けられている点である。認識結果修正手段２１０は、携帯端末１０１から送られた認識結果を図示せぬデータベースと比較することによって修正する機能を有する。
【００４３】
以下、認識結果修正手段２１０の具体的な処理内容について説明する。まず、情報検索手段２０５での情報検索のための検索キーとして用いられる認識結果が文字（文字列）で且つＷｅｂアドレスであるものとする。この認識結果（Ｗｅｂアドレス）が必ずしも正しいとは限らない。つまり、携帯端末１０１内の画像認識手段２０２における画像認識処理（文字認識処理）で誤認識が発生した場合、、誤った文字認識結果である、実際には存在しないＷｅｂアドレスが検索サーバ３０２に送信される可能性がある。その場合、情報検索手段２０５ではそのアドレスのサイトから情報を取得することができない。その結果、ユーザは検索サーバ１０２から携帯端末１０１の表示画面を介して検索不可能の情報を受け取ることになり、例えば再度画像（文字）認識させ送信させる操作を行わなければならない。認識結果修正手段２１０は、このような不具合を解決するために設けられている。
【００４４】
今、携帯端末１０１から検索サーバ１０２に送られた認識結果の示すＷｅｂアドレスを用いたインターネットアクセスで、情報が取得できないものとする。つまり、携帯端末１０１から送られた認識結果を検索キーとする情報検索で、当該検索キーが存在しないために情報が検索できないものとする。この場合、情報検索手段２０５から認識結果修正手段２１０に情報検索に失敗した検索キーとしての認識結果情報（ここではＷｅｂアドレス）が渡される。認識結果修正手段２１０は、この認識結果情報、つまりＷｅｂアドレスを、予め登録されているデータベースと比較することによって最も類似したＷｅｂアドレスを検索する。そして認識結果修正手段２１０は、認識結果情報を、この最も類似したＷｅｂアドレスに自動修正して、情報検索手段２０５へ返す。情報検索手段２０５は、修正された認識結果情報を用いて再度の情報検索を行う。これにより、ユーザが携帯端末１０１に対して画像を再認識させてその認識結果を検索サーバ３０２へ再送させる操作をしなくて済むことから、通信コスト及び情報取得に要する時間を低減できる。また、認識結果修正手段２１０により検索された類似のＷｅｂアドレスの候補を携帯端末１０１に送信して、ユーザに選択させるようにしても良い。
【００４５】
［第３の実施形態］
図９は本発明の第３の実施形態に係る情報提供システムの構成を示すブロック図である。なお、図１と同一部分には同一符号を付して詳細な説明を省略する。
【００４６】
図９のシステムの第１の特徴は、図１中の携帯端末１０１に相当する携帯端末４０１に画像認識手段２０２が設けられておらず、代わり画像情報送信手段２２０が設けられている点である。図９のシステムの第２の特徴は、図１中の検索サーバ１０２に相当する検索サーバ４０２に、図１中の携帯端末１０１が有していた画像認識手段２０２に相当する画像認識手段２２２が設けられている点である。この画像認識手段２２２の処理機能自体は図１中の画像認識手段２０２と同様である。
【００４７】
図９のシステムにおいて、携帯端末４０１内の画像情報送信手段２２０は、撮像手段２０１によって取得された画像情報を情報検索要求に付加して検索サーバ４０２へ送信する。ここで画像情報送信手段２２０は、画像情報をそのまま送信しても良いし、通信コスト削減のために当該画像情報を圧縮して送信しても良い。このように図９のシステムでは、携帯端末４０１側では画像認識処理が行われない。この画像認識処理は、検索サーバ４０２内の画像認識手段２２２に委ねられる。画像認識手段２２２における画像認識処理には、図１中の画像認識手段２０２における画像認識処理と同様に、例えば図５のフローチャートに示す手順が適用される。画像認識手段２２２での画像認識結果は、同じ検索サーバ４０２内の情報検索手段２０５に渡される。情報検索手段２０５は、この認識結果を検索キーとする情報検索を行う。
【００４８】
このように、図９のシステムでは、携帯端末４０１に搭載された撮像手段２０１により取得された画像の認識処理が、携帯端末４０１側ではなくて検索サーバ４０２側で行われる。したがって、携帯端末４０１が、携帯電話機などに代表される演算処理能力が高くない端末である場合、検索サーバ４０２側で画像認識処理を行うことで、携帯端末４０１の負荷を低減することができる。
【００４９】
［第４の実施形態］
図１０は本発明の第４の実施形態に係る情報提供システムの構成を示すブロック図である。なお、図１と同一部分には同一符号を付して詳細な説明を省略する。
【００５０】
図１０のシステムの特徴は、図１中の携帯端末１０１及び検索サーバ１０２に加えて、認識情報更新サーバ１０３が設けられている点である。認識情報更新サーバ１０３は、認識情報更新手段２３０から構成される。認識情報更新手段２３０は、携帯端末１０１内の画像認識手段２０２に保存されている、当該画像認識手段２０２において画像情報を認識する際に用いられる情報（認識情報）、例えば文字認識処理や図形認識処理などを実行させるためのプログラム（ソフトウェア）、更には認識辞書といった情報を更新する。この認識情報の更新処理は、例えば認識情報更新手段２３０から携帯端末１０１内の画像認識手段２０２に対する有線または無線を用いた通信により行われる。これにより、画像認識手段２０２における図形認識処理で用いられる新たなパターンを追加したり、図形に対応付けられているコードを変更することが可能となる。また、図７中の識別マーク７２に相当する、検索サーバを特定するために用いられる識別マークや当該識別マークに関連付けられているデータを追加または修正することで、検索サーバの追加や変更が可能となる。
【００５１】
なお、本発明は、上記各実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【００５２】
【発明の効果】
以上詳述したように本発明によれば、携帯端末のユーザは、印刷物等で、自身が欲しい情報の検索キーとなるパターン（例えば、文字、バーコード、或いはロゴ、トレードマーク等の図形）を発見した場合、当該パターンを含む部分を携帯端末に搭載された撮像手段で撮影し、当該撮像手段により取得された画像情報に対する認識結果、または当該画像情報が付加された情報検索要求を当該検索サーバに送信させるだけで、そのパターンに対応する情報、つまり自身が欲しい情報を検索サーバから例えば携帯端末の表示画面を介して受け取ることができる。つまりユーザは、携帯端末に搭載された撮像手段を利用して、煩わしい手入力すること無しで簡単に情報を入手することが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る情報提供システムの構成を示すブロック図。
【図２】図１中の撮像手段２０１による撮影の対象となる印刷物の一例を示す図。
【図３】図１中の撮像手段２０１による撮影の対象となる印刷物の他の例を示す図。
【図４】図１中の撮像手段２０１による撮影の対象となる印刷物の更に他の例を示す図。
【図５】図１中の画像認識手段２０２の処理手順を示すフローチャート。
【図６】図１中の画像認識手段２０２の処理手順の変形例を示すフローチャート。
【図７】図１中の撮像手段２０１による撮影の対象となる印刷物の更に他の例を示す図。
【図８】本発明の第２の実施形態に係る情報提供システムの構成を示すブロック図。
【図９】本発明の第３の実施形態に係る情報提供システムの構成を示すブロック図。
【図１０】本発明の第４の実施形態に係る情報提供システムの構成を示すブロック図。
【符号の説明】
１０１，４０１…携帯端末、１０２，３０２，４０２…検索サーバ、１０３…認識情報更新サーバ、２０１…撮像手段、２０２，２２２…画像認識手段、２０３…認識情報送信手段、２０４…情報表示手段、２０５…情報検索手段、２０６…情報加工手段、２０７…情報送信手段、２１０…認識結果修正手段、２２０…画像情報送信手段、２３０…認識情報更新手段。
【図１】
2004234465.tif 000003
【図２】
2004234465.tif 000004
【図３】
2004234465.tif 000005
【図４】
2004234465.tif 000006
【図５】
2004234465.tif 000007
【図６】
2004234465.tif 000008
【図７】
2004234465.tif 000009
【図８】
2004234465.tif 000010
【図９】
2004234465.tif 000011
【図１０】
2004234465.tif 000012