(57)【要約】【課題】  写真撮影等で得られる画像データを用いて、当該画像データを関連する情報を提供すること。【解決手段】  画像データとその画像データと関連する複数の言語の関連データを画像データベースに登録しておく。そして、管理サーバは、検索に用いる画像データである基準画像データと、言語情報を含む検索情報を受信すると、基準画像データと類似する画像データベースに登録されている画像データを検索し、類似画像データに関連付けられている関連データのうち、検索情報に含まれる言語情報で特定される関連データを取得する。そして、その関連データを、携帯情報端末に送信する。【選択図】  図７
2014086040.tif 000002
【特許請求の範囲】
【請求項１】
携帯情報端末と通信可能に接続される情報処理装置であって、
画像データと、複数の言語の当該画像データの関連情報を対応付けて記憶する記憶手段と、
前記携帯情報端末から、前記記憶手段に記憶されている画像データの検索に用いる基準画像データと、表示言語情報とを受信する受信手段と、
前記受信手段で受信した基準画像データを用いた検索処理を行うこと、前記基準画像データと類似する画像データが、前記記憶手段に記憶されているかを判定する判定手段と、
前記判定手段で前記基準画像データと類似する画像データが記憶されていると判定される場合に、前記記憶手段に記憶されている、当該類似する画像データの関連情報のうち、前記表示言語情報で特定される言語の関連情報を取得する取得手段と、
前記前記取得手段で取得した前記関連情報を、前記携帯情報端末に対して送信する第１の送信手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
前記判定手段で、前記基準画像データと類似する画像データが、前記記憶手段に記憶されていないと判定した場合に、前記基準画像データに対して文字認識処理を行う文字認識手段と、
前記文字認識手段による文字認識処理が行われることで生成されるテキスト情報を前記携帯情報端末に送信する第２の送信手段と
を更に備えることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記受信手段はさらに、前記携帯情報端末の位置情報を取得し、
前記文字認識手段による文字認識処理の結果生成される文字認識結果テキスト情報を、前記位置情報により特定される地域で使用される言語に翻訳する翻訳手段と
を更に備えることを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記記憶手段には、前記画像データの特徴量データが記憶されており、
前記受信手段で受信した基準画像データの特徴量データを算出する算出手段と更に備え、
前記判定手段は、特徴量データを用いて、前記基準画像データと類似する画像データが、前記記憶手段に記憶されているかを判定すること
を特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
【請求項５】
前記記憶手段に記憶されている画像データが前記基準画像データと類似するか否かの判定に用いる類似度を設定する設定手段を更に備え、
前記判定手段は、前記基準画像データとの類似度が、前記設定手段で設定された類似度以上である画像データの有無により、前記記憶手段に、前記基準画像データと類似する画像データが記憶されているかを判定すること
を特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
【請求項６】
前記記憶手段に、前記基準画像データと類似する画像データが複数ある場合には、前記第１の送信手段は、前記基準画像データと最も類似する画像データの関連情報を前記携帯情報端末に送信すること
を特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
【請求項７】
前記第１の送信手段は更に、前記基準画像データと最も類似する画像データ以外の関連情報を取得させるための情報を前記携帯情報端末に送信すること
を特徴と請求項６に記載の情報処理装置。
【請求項８】
画像データと、複数の言語の当該画像データの関連情報を対応付けて記憶する記憶手段を備え、携帯情報端末と通信可能に接続される情報処理装置によって行われる情報処理方法であって、
前記携帯情報端末から、前記記憶手段に記憶されている画像データの検索に用いる基準画像データと、表示言語情報とを受信する受信工程と、
前記受信工程で受信した基準画像データを用いた検索処理を行うこと、前記基準画像データと類似する画像データが、前記記憶手段に記憶されているかを判定する判定工程と、
前記判定工程で前記基準画像データと類似する画像データが記憶されていると判定される場合に、前記記憶手段に記憶されている、当該類似する画像データの関連情報のうち、前記表示言語情報で特定される言語の関連情報を取得する取得工程と、
前記前記取得手段で取得した前記関連情報を、前記携帯情報端末に対して送信する第１の送信工程と、
を備えることを特徴とする情報処理方法。
【請求項９】
画像データと、複数の言語の当該画像データの関連情報を対応付けて記憶する記憶手段を備え、携帯情報端末と通信可能に接続される情報処理装置を
前記携帯情報端末から、前記記憶手段に記憶されている画像データの検索に用いる基準画像データと、表示言語情報とを受信する受信手段と、
前記受信手段で受信した基準画像データを用いた検索処理を行うこと、前記基準画像データと類似する画像データが、前記記憶手段に記憶されているかを判定する判定手段と、
前記判定手段で前記基準画像データと類似する画像データが記憶されていると判定される場合に、前記記憶手段に記憶されている、当該類似する画像データの関連情報のうち、前記表示言語情報で特定される言語の関連情報を取得する取得手段と、
前記前記取得手段で取得した前記関連情報を、前記携帯情報端末に対して送信する第１の送信手段
として機能させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データに関連した情報を提供する技術に関する。
【背景技術】
【０００２】
従来より、ある画像データと類似する画像データを画像データベースから検索する、類似画像検索技術が知られている。この画像検索技術では、基準となる画像の特徴量と、画像データベースに登録されている画像データの特徴量とを比較し、画像データ同士が類似しているか否かの判定を行っている。
【０００３】
類似画像検索技術として、例えば、特許文献１には画像に特徴量による類似度と、画像データをＯＣＲ処理して得られるテキストデータを使用した検索処理とを併用することで、類似画像検索の精度を高める技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−７４１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
例えば、外国に旅行した際に、飲食店などの店頭で、飲食店であることは認識しているが、提供している料理やその価格帯かがわからないケースなどがある。国内であれば、看板等の記載されている店名等をキーワードとしてインターネット検索を行い、その飲食店の情報を得ることも容易に行うことが出来るが、外国では普段目にしない文字で店名が看板に記載されている場合などもあるので、検索等を行うことは容易ではない。
【０００６】
そこで、前記の類似画像検索技術を用いて、例えば、店頭の看板（ロゴ等を含む）等の撮影画像データを管理サーバに送信すると、管理サーバで管理されているその店頭の看板の画像データと関連付けられているメニューやクーポンといった関連情報をユーザの母国語で得られれば、そのような不便さは多少解消される。
【０００７】
さらには、送信した画像データに関連付けられている関連画像データがなければ、その看板画像データから得られる情報、例えば、看板に記載の店名等の情報を旅行者の母国語で得ることが出来れば、旅行者にとっては有益なものである。
【０００８】
そこで、本発明は、画像データをキーとして検索を行うことで、その画像データに関連付けられている情報を提供することを可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記した目的を達成するために、本発明の情報処理装置は、携帯情報端末と通信可能に接続される情報処理装置であって、画像データと、複数の言語の当該画像データの関連情報を対応付けて記憶する記憶手段と、前記携帯情報端末から、前記記憶手段に記憶されている画像データの検索に用いる基準画像データと、表示言語情報とを受信する受信手段と、前記受信手段で受信した基準画像データを用いた検索処理を行うこと、前記基準画像データと類似する画像データが、前記記憶手段に記憶されているかを判定する判定手段と、前記判定手段で前記基準画像データと類似する画像データが記憶されていると判定される場合に、前記記憶手段に記憶されている、当該類似する画像データの関連情報のうち、前記表示言語情報で特定される言語の関連情報を取得する取得手段と、前記前記取得手段で取得した前記関連情報を、前記携帯情報端末に対して送信する第１の送信手段と、を備えることを特徴とする。
【００１０】
上記した目的を達成するために、本発明の情報処理方法は、画像データと、複数の言語の当該画像データの関連情報を対応付けて記憶する記憶手段を備え、携帯情報端末と通信可能に接続される情報処理装置によって行われる情報処理方法であって、前記携帯情報端末から、前記記憶手段に記憶されている画像データの検索に用いる基準画像データと、表示言語情報とを受信する受信工程と、前記受信工程で受信した基準画像データを用いた検索処理を行うこと、前記基準画像データと類似する画像データが、前記記憶手段に記憶されているかを判定する判定工程と、前記判定工程で前記基準画像データと類似する画像データが記憶されていると判定される場合に、前記記憶手段に記憶されている、当該類似する画像データの関連情報のうち、前記表示言語情報で特定される言語の関連情報を取得する取得工程と、前記前記取得手段で取得した前記関連情報を、前記携帯情報端末に対して送信する第１の送信工程と、を備えることを特徴とする。
【００１１】
上記した目的を達成するために、本発明のコンピュータプログラムは、画像データと、複数の言語の当該画像データの関連情報を対応付けて記憶する記憶手段を備え、携帯情報端末と通信可能に接続される情報処理装置を、前記携帯情報端末から、前記記憶手段に記憶されている画像データの検索に用いる基準画像データと、表示言語情報とを受信する受信手段と、前記受信手段で受信した基準画像データを用いた検索処理を行うこと、前記基準画像データと類似する画像データが、前記記憶手段に記憶されているかを判定する判定手段と、前記判定手段で前記基準画像データと類似する画像データが記憶されていると判定される場合に、前記記憶手段に記憶されている、当該類似する画像データの関連情報のうち、前記表示言語情報で特定される言語の関連情報を取得する取得手段と、前記前記取得手段で取得した前記関連情報を、前記携帯情報端末に対して送信する第１の送信手段として機能させることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、画像データをキーとして検索を行うことで、その画像データに関連付けられている情報を提供すること可能となる。
【図面の簡単な説明】
【００１３】
【図１】本発明の情報処理システムのシステム構成の一例を示す図である。
【図２】管理サーバ１０１のハードウェア構成の一例を示す図である。
【図３】携帯情報端末１０２のハードウェア構成の一例を示す図である。
【図４】管理サーバ１０１及び携帯情報端末１０２の機能構成の一例を示す図である。
【図５】管理サーバ１０１のＣＰＵ２０１によって行われる初期設定処理の一例を示すフローチャートである。
【図６】携帯情報端末１０２のＣＰＵ３０１によって行われる関連情報取得要求処理の一例を示すフローチャートである。
【図７】管理サーバ１０１のＣＰＵ２０１によって行われる画像検索・関連情報取得処理の一例を示す図である。
【図８】管理サーバ１０１のＣＰＵ２０１及び携帯情報端末１０２のＣＰＵ３０１によって行われる関連情報閲覧処理の一例を示す図である。
【図９】検索結果表示画面９００の構成の一例を示す図である。
【図１０】図４の画像ＤＢ（データベース）４０９のデータ構成の一例を示す図である。
【発明を実施するための形態】
【００１４】
以下、図面を参照して、本発明の実施の形態の一例について説明する。
【００１５】
図１は、本発明の情報処理システムのシステム構成の一例を示す図である。図１に示す通り、本発明の情報処理システムは、管理サーバ１０１、複数台の携帯情報端末１０２、通信ネットワーク１０３等を備えて構成されている。
【００１６】
管理サーバ１０１は、画像データに関連情報を対応付けてデータテーブルで記憶管理しており、携帯情報端末１０２から送信される、画像データの関連情報取得要求に応じて、携帯情報端末１０２から送信された画像データと類似のデータテーブルで記憶管理している画像データを検索し、類似した画像データの関連情報として登録されている情報を携帯情報端末１０２に送信する機能を有している。その時、携帯情報端末１０２での言語設定に合わせた形で、関連情報を提供する。すなわち、携帯情報端末１０２の言語設定が英語であれば英語の関連情報を、日本語であれば日本語の関連情報を携帯情報端末に送信する。
【００１７】
また、携帯情報端末１０２から送信される画像データに対して文字認識処理を行い、その結果得られたテキスト情報を携帯情報端末の言語設定で選択されている言語に翻訳する機能を有している。その結果得られるテキスト情報を、携帯情報端末１０２に対して送信する。
【００１８】
携帯情報端末１０２は、カメラ機能を有しており、カメラを用いて被写体を撮影することで、画像データを生成することが可能である。また、カメラで撮影される等により得られる画像データを管理サーバ１０１に送信することで、管理サーバ１０２に対して画像データの関連情報の取得要求を行う装置である。例えば、スマートフォンやタブレット端末等である。
【００１９】
通信ネットワーク１０３は、管理サーバ１０１と携帯情報端末１０２とを通信可能に接続するためのインターネット等のネットワークである。接続形態は、有線／無線を問わない。
【００２０】
以上が、本発明の情報処理システムのシステム構成の一例の説明である。
【００２１】
次に、図２を参照して、図１の管理サーバ１０１に適用可能な情報処理装置のハードウェア構成の一例について説明する。
【００２２】
図２において、２０１はＣＰＵで、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ２０３あるいは外部メモリ２１１には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Basic Input / Output System）やオペレーティングシステムプログラム（以下、ＯＳ）や、管理サーバ１０１が実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。
【００２３】
２０２はＲＡＭで、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０３あるいは外部メモリ２１１からＲＡＭ２０２にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。
【００２４】
また、２０５は入力コントローラで、キーボードやポインティングデバイス等の入力装置２０９からの入力を制御する。２０６はビデオコントローラで、ディスプレイ装置２１０等の表示器への表示を制御する。これらは必要に応じて操作者が使用するものである。
【００２５】
２０７はメモリコントローラで、ブートプログラム，各種のアプリケーション，フォントデータ，ユーザファイル，編集ファイル，各種データ等を記憶するハードディスク（ＨＤ）や、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ２１１へのアクセスを制御する。
【００２６】
２０８は通信Ｉ／Ｆ（インタフェース）コントローラで、ネットワーク（例えば、図１に示したＬＡＮ１０７）を介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。
【００２７】
なお、ＣＰＵ２０１は、例えばＲＡＭ２０２内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ装置２１０上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ装置２１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。
【００２８】
ＣＰＵ２０１を、後述する図４に示す各手段として機能させるためのプログラムは外部メモリ２１１に記録されている。そして、ＣＰＵ３０１は、必要に応じてＲＡＭ２０２にロードし、当該プログラムを実行する。ＣＰＵ２０１は、当該プログラムに従った制御を実行することで、後述するフローチャートに示す各ステップの処理を実行する。さらに、上記プログラムの実行時に用いられる定義ファイル及び各種情報テーブル等も、外部メモリ２１１に格納されており、これらについての詳細な説明も後述する。
【００２９】
次に、図３を参照して、図１の携帯情報端末１０２のハードウェア構成の一例について説明する。
【００３０】
図３において、３０１はＣＰＵで、システムバス３１０に接続される後述する各種のデバイスを統括的に制御する。ＲＯＭ３０３や外部メモリ３０９には、ＣＰＵ３０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ／Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）やオペレーティングシステム（ＯＳ）や、携帯情報端末１０２が実行する機能を実現するために必要な各種プログラムやデータ等が記憶されている。
【００３１】
３０２はＲＡＭで、ＣＰＵ３０１の主メモリ、ワークエリア等として機能する。ＣＰＵ３０１は、後述する各種の処理の実行に際して必要なプログラム等をＲＯＭ３０３や外部メモリ３０９からＲＡＭ３０２にロードして、ロードしたプログラムを実行することで、各種の動作を実現する。
【００３２】
撮影部３０４は、撮影レンズ、撮像素子、撮像素子で得られた画像信号を所定の形式に変換する回路等からなる。通信部３０５は、通信ネットワーク（例えば、図１の通信ネットワーク１０３）を介して管理サーバ１０１等の外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。
【００３３】
表示部３０６は、液晶ディスプレイ等からなり、ＣＰＵ３０１が、例えばＲＡＭ３０２内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、表示部３０６への表示を可能としている。
【００３４】
操作部３０７はＣＰＵ３０１に対して各種の指示を入力するためのものであり、各種のボタンや表示部３０６に貼られているタッチパネルシートからなる。表示部３０６に表示されているシステムの操作画面に対する押下指示を受け付けると、押されるとその位置情報を操作部３０７はＣＰＵ３０１に伝える。
【００３５】
音声入力部３０８は、マイク等から構成され、入力された音声を音声信号に変換する。外部メモリ３０９は、携帯情報端末１０２が後述するフローチャート示す各ステップの処理を実行するためのプログラムやデータを記憶する記憶装置である。
【００３６】
ＣＰＵ３０１を、後述する図４に示す各手段として機能させるためのプログラムは外部メモリ３０９に記録されている。そして、ＣＰＵ３０１は、必要に応じてＲＡＭ３０２にロードし、当該プログラムを実行する。ＣＰＵ３０１は、プログラムに従った制御を実行することで、後述するフローチャートに示す各ステップの処理を実行することになる。さらに、上記プログラムの実行時に用いられる定義ファイル及び各種情報テーブル等も、外部メモリ３０９に格納されている。
【００３７】
以上が、図１の携帯情報端末１０２のハードウェア構成の一例の説明である。
【００３８】
次に、図４を参照して、管理サーバ１０１及び携帯情報端末１０２の機能構成について説明する。図４に示す通り、管理サーバ１０１は、設定保存手段４０１、送受信手段４０２、特徴量抽出手段４０３、画像検索手段４０４、ＯＣＲ手段４０５、翻訳手段４０６等を備えている。また、携帯情報端末１０２は、設定保存手段４１１、位置情報取得手段４１２、情報表示手段４１３、送受信手段４１４、撮影手段４１５等を備えている。
【００３９】
まず、管理サーバ１０１が備える各手段について説明する。設定保存手段４０１は、画像検索手段４０４が、画像データベース４０９に登録されている画像データのうち、送受信手段４０２で携帯情報端末１０２から受信した画像データと類似する画像データを検索する際に、類似画像と判定する設定値や、送受信手段４０２で受信した画像データに対するＯＣＲ処理をどの言語のＯＣＲ辞書を用いて行うかといった設定情報を保存する機能部である。
【００４０】
送受信手段４０２は、携帯情報端末１０２とのデータ通信を行うために機能部である。例えば、携帯情報端末１０２から送信される画像データや、画像データベース４０９に登録されている画像データの関連情報取得要求を受信したり、携帯情報端末１０２に対して、画像データの関連情報や、画像データに対するＯＣＲ処理や、ＯＣＲ処理の結果得られるテキスト情報に対する翻訳処理等を行うことにより得られる翻訳語のテキスト情報を、携帯情報端末１０２に対して送信したりする。
【００４１】
特徴量抽出手段４０３は、送受信手段４０２が携帯情報端末１０２から受信した画像データの特徴量を抽出する機能部である。画像検索手段４０４は、前記送受信手段４０２で受信した画像データと類似する、画像データベース４０９に登録されている画像データを検索する検索し、その関連情報を取得する機能部である。
【００４２】
ＯＣＲ手段４０５は、送受信手段４０２で受信した画像データに対して文字認識処理（ＯＣＲ処理）を実行し、テキストデータを生成する機能部である。翻訳手段４０６は、ＯＣＲ手段４０５により得られたテキストデータを他の言語に翻訳する機能部である。翻訳手段４０６は、翻訳処理を行う際には翻訳辞書ＤＢ４０７に登録されている情報を用いて、翻訳処理を行う。
【００４３】
次に、携帯情報端末１０２が備える各手段について説明する。設定保存手段４１１は、ＯＳの言語設定等の設定情報を保存する機能部である。位置情報取得部４１２は、携帯情報端末１０２が存在する位置を示す位置情報を取得する機能部である。例えばＧＰＳ機能等によって実現される。
【００４４】
情報表示手段４１３は、各種の情報を表示部に表示する機能部である。例えば、管理サーバ１０１から送信された画像データの関連情報を表示部に表示する。撮影手段４１４は、撮影部３０４を用いて、被写体を撮影し、画像データを生成する機能部である。
【００４５】
送受信部４１５は、通信部３０５を用いて管理サーバ１０１と各種のデータの送受信を行う機能部である。例えば、画像データの関連情報の取得要求を行う際に、画像データ、ＯＳの言語情報や携帯情報端末１０２の位置情報を管理サーバ１０１に送信したり、管理サーバ１０１から送信された画像データの関連情報を取得したりする。
【００４６】
以上が、管理サーバ１０１及び携帯情報端末１０２の機能構成の説明である。
【００４７】
次に、図５を参照して、管理サーバ１０１のＣＰＵ２０１によって行わる初期設定処理の一例について説明する。この処理は、管理サーバ１０１のＣＰＵ２０１を設定保存手段として機能させるためのプログラムによる制御に基づき行われる。
【００４８】
管理サーバ１０１のＣＰＵ２０１は、システム管理者の操作指示により入力される、画像データに対するＯＣＲ処理を行う際に用いる辞書（ＯＣＲ辞書）の優先度の、ＯＣＲ処理の結果得られたテキスト情報の翻訳処理を行う際に用いる辞書（翻訳辞書）の優先度、検索の基準となる画像データと、画像データベース中の画像データがどれぐらい類似している場合に、画像検索手段４０５に類似画像と判定させるかの設定値の入力を受け付ける。
【００４９】
例えば、ＯＣＲ辞書の優先度としては、携帯情報端末１０２の位置情報取得手段４１２で取得した位置情報が示す国・地域で使用されている言語の辞書を、最優先の辞書として設定し、特定の言語（例えば、英語、日本語、中国語）の優先度をさらに設定する。翻訳辞書の優先度としては、携帯情報端末１０２のＯＳの言語設定で選択されている言語に翻訳するための辞書を、最優先の辞書として設定し、特定の言語（例えば、英語、日本語、中国語）の優先度をさらに設定する。
【００５０】
また、類似度の設定値としては０％〜１００％の値を設定することが可能であり、この値が大きいほど、管理サーバ１０１のＣＰＵ２０１は、基準画像データと類似する画像データのみを、類似画像と判断することになる。
【００５１】
その後、ステップＳ５０１からステップＳ５０３の処理終了後、管理サーバ１０１のＣＰＵ２０１は、それらステップで入力を受け付けた各種の設定情報を外部メモリ２１１に記憶する（ステップＳ５０４）。
【００５２】
以上が、管理サーバ１０１のＣＰＵ２０１によって行わる初期設定処理の一例の説明である。
【００５３】
次に、図６を参照して、携帯情報端末１０２のＣＰＵ３０１によって行われる関連情報取得要求処理の一例について説明する。
【００５４】
携帯情報端末１０２のＣＰＵ３０１は、撮影部３０５を用いて被写体（例えば店舗の看板）の写真撮影を行い、画像データを生成する（ステップＳ６０１）。また、ＯＳの言語設定で選択されている言語情報を取得する（ステップＳ６０２）。
【００５５】
そして、携帯情報端末１０２のＣＰＵ３０１は、当該携帯情報端末１０２の位置情報を取得可能であるかを判定し（ステップＳ６０３）、取得可能である（ＹＥＳ）と判定した場合には、処理をステップＳ６０４に進め、位置情報を取得し、ステップＳ６０１で得られた画像データ、ステップＳ６０２で取得した言語情報、ステップＳ６０４で取得した位置情報を用いて検索情報を作成する（ステップＳ６０５）。一方、ステップＳ６０４の判定処理で位置情報の取得が可能ではない（ＮＯ）と判定した場合には、携帯情報端末１０２のＣＰＵ３０１は、処理をステップＳ６０６に進め、ステップＳ６０１で得られた画像データ、ステップＳ６０２で取得した言語情報を用いて検索情報を作成する。この時、事前に取得していた位置情報がある場合には、その位置情報を用いて検索情報を作成するようにしても構わない。
【００５６】
携帯情報端末１０２のＣＰＵ３０１は、ステップＳ６０５、または、ステップＳ６０６の処理が終了後、作成した検索情報を管理サーバ１０１に対して送信する（ステップＳ６０７）。
【００５７】
以上が、携帯情報端末１０２のＣＰＵ３０１によって行われる関連情報取得要求処理の一例の説明である。
【００５８】
次に、図７を参照して、管理サーバ１０１のＣＰＵ２０１によって行われる画像検索・関連情報取得処理の一例について説明する。
【００５９】
管理サーバ１０１のＣＰＵ２０１は、携帯情報端末１０２より送信された検索情報を受信し、ＲＡＭ２０２（または外部メモリ２１１）に記憶する（ステップＳ７０１）。その後、受信した検索情報に含まれる画像データの特徴量を抽出する（ステップＳ７０２）。特徴量は、画像データの輝度や色成分、輪郭などの情報を、数値などの比較可能なデータに置き換えたものである。その後、管理サーバ１０１のＣＰＵ２０１は、画像データベース４０９に登録されている画像データのうち、ステップＳ７０１で受信した画像データ（基準画像データ）と類似する画像データの検索処理を行う（ステップＳ７０３）。この時、ステップＳ７０２で抽出した特徴量を用いて画像データの検索処理を行う。
【００６０】
ここで、図１０を参照して、図４に示した、画像ＤＢ（データベース）４０９のデータ構成の一例について説明する。この画像ＤＢ４０９は、例えば、管理サーバ１０１の外部メモリ２１１に記憶されている。
【００６１】
図１０に示す通り、画像ＤＢ４０９はＩＤ１００１、画像１００２、特徴量１００３、関連情報１００４等のデータ項目を備えて構成されている。
【００６２】
ＩＤ１００１は、画像ＤＢ４０９に登録されている画像データを一意に識別するために用いられる識別情報が登録されるデータ項目である。画像１００２は、画像が登録されるデータ項目である。特徴量１００３は、画像１００２に登録されている画像の特徴量が登録されるデータ項目である。この特徴量は、類似画像検索の際に用いられる情報である。
【００６３】
関連情報１００４は、画像データに関連する情報が登録されるデータ項目である。本実施例では、画像データに関連する情報として、飲食店で提供される各国語（日本語、英語、中国語等）のメニューの画像データ（一部文字画像が含まれている）やメニューのテキストデータが登録されている。その他、図示していないが、画像データ１００２に登録されている画像データのサムネイル画像なども登録されている。
【００６４】
以上が、画像ＤＢ４０９のデータ構成の説明である。
【００６５】
図７の説明に戻る。管理サーバ１０１は、ステップＳ７０３での類似画像検索が終了後、その検索処理の結果、類似度が、類似と判断する基準となる類似度として設定された数値以上である画像データ（類似画像データ）が画像ＤＢ４０９に登録されているか否かを判定する（ステップＳ７０４）。
【００６６】
ステップＳ７０４の判定処理で、類似画像データが画像ＤＢ４０９に登録されている（ＹＥＳ）と判定した場合には、管理サーバ１０１のＣＰＵ２０１は処理をステップＳ７０５に進め、画像ＤＢ４０９に登録されている類似画像データのサムネイル画像を取得する。尚、尚、検索情報に含まれる画像データと類似する画像データが画像データベースに複数登録されている場合には、全ての類似画像データのサムネイル画像を取得する。
【００６７】
そして、検索情報に含まれる言語情報を取得し（ステップＳ７０６）、取得した言語情報に従って、類似画像データの関連情報を取得する（ステップＳ７０７）。尚、検索情報に含まれる画像データと類似する画像データが画像データベースに複数登録されている場合には、最も類似する画像データの関連情報を取得することになる。そして、類似画像のサムネイル画像、関連情報を表示させるための検索結果情報を作成する（ステップＳ７０８）。
【００６８】
一方、ステップＳ７０４の判定処理で、類似画像データが画像ＤＢ４０９に登録されていない（ＮＯ）と判定した場合には、管理サーバ１０１のＣＰＵ２０１は処理をステップＳ７０９に進め、検索情報に位置情報が含まれるかを判定する。
【００６９】
このステップＳ７０９判定処理で、位置情報が含まれる（ＹＥＳ）と判定した場合には、処理をステップＳ７１０に進め、位置情報に従って、ＯＣＲに使用するＯＣＲ辞書の言語を決定する。例えば、位置情報が日本国内を示す情報であれば、日本語のＯＣＲ辞書を、位置情報が韓国内を示す情報であれば韓国語のＯＣＲ辞書をＯＣＲに使用する辞書として決定する。一方、位置情報が含まれない（ＮＯ）と判定した場合には、予め設定された優先順位に従って、ＯＣＲに使用するＯＣＲ辞書の言語を決定する（ステップＳ７１１）。
【００７０】
ステップＳ７１０またはステップＳ７１１でＯＣＲ辞書の言語を決定した後に、管理サーバ１０１のＣＰＵ２０１は、決定したＯＣＲ辞書を用いて、検索情報に含まれる画像データに対するＯＣＲ処理を実行し（ステップＳ７１２）、ＯＣＲ結果テキストを取得する（ステップＳ７１３）。
【００７１】
その後、ステップＳ７１３で取得したＯＣＲ結果テキストを、検索情報に含まれる言語情報が示す言語に翻訳すべく、ＯＣＲ結果テキストに対して翻訳処理を実行する（ステップＳ７１４）。検索情報に含まれる言語情報は、携帯情報端末を使用するユーザが通常使用している母国語等の言語であることが高いため、本発明では、ユーザになるべくわかりやすい情報を提供するために、このような翻訳処理を行っている。そして翻訳結果テキストを生成する。
【００７２】
そして、ＯＣＲ結果テキストと、翻訳結果テキストを表示させるための検索結果情報を作成する。翻訳処理の結果は当然ＯＣＲ処理の結果得られるＯＲＣ結果テキストに左右されるため、翻訳結果が適切であるかをユーザに認識させるべく、ＯＣＲ結果テキストも含めた形で検索結果情報を作成している。
【００７３】
ステップＳ７０８、または、ステップＳ７１５の処理終了後、それらステップで作成した検索結果情報を、検索要求を行った携帯情報端末１０２に対して送信する（ステップＳ７１６）。
【００７４】
以上が、管理サーバ１０１のＣＰＵ２０１によって行われる管理サーバ１０１のＣＰＵ２０１によって行われる画像検索・関連情報取得処理の一例の説明である。
【００７５】
次に、図８を参照して、管理サーバ１０１のＣＰＵ２０１及び携帯情報端末１０２のＣＰＵ３０１によって行われる関連情報閲覧処理の一例について説明する。
【００７６】
携帯情報端末１０２のＣＰＵ３０１は、管理サーバ１０１から送信された検索結果情報を受信すると（ステップＳ８０１）、受信した検索結果情報を用いて、図９に示す検索結果表示画面９００を表示部３０６に表示する（ステップＳ８０２）。
【００７７】
ここで、図９を参照して、図８のステップＳ８０２で携帯情報端末１０２の表示部３０６に表示される検索結果表示画面９００の構成の一例について説明する。
【００７８】
サムネイル画像表示部９０１は、類似画像データのサムネイル画像が表示される表示部である。このサムネイル画像表示部に表示されているサムネイル画像には、関連情報を取得するためのリンク情報が設定されており、携帯情報端末１０２のＣＰＵ３０１は、サムネイル画像に対するタッチ指示を受け付けると、そのサムネイル画像が示す画像データ（類似画像）の関連情報の取得要求を、管理サーバ１０１に対して送信する。
【００７９】
関連情報（画像）表示部９０２は、管理サーバ１０１から受信した検索結果情報に含まれる関連情報（画像）が表示される表示部である。テキスト情報表示部９０３は、管理サーバ１０１から受信した検索結果情報に含まれる関連テキストや、ＯＣＲ結果テキスト、翻訳結果テキストが表示される表示部である。ユーザは、これら表示部に表示される情報を確認することで、自身が撮影した看板から特定される飲食店等の情報を確認することが出来る。また、テキスト情報表示部９０３に表示されているテキストを部分的に選択し、その情報を用いてのＷｅｂ検索を行うことが可能となっている。
【００８０】
以上が、検索結果表示画面９００の構成の一例の説明である。
【００８１】
図８の説明に戻る。携帯情報端末１０２のＣＰＵ３０１は、表示部３０６に検索結果画面９００を表示した後に、サムネイル画像表示部９０１に表示されているサムネイル画像に対するタッチ指示を受け付けると（ステップＳ８０３でＹＥＳ）、タッチ指示されたサムネイル画像から画像ＩＤを特定し（ステップＳ８０４）、その画像ＩＤとＯＳで表示言語として設定されている言語情報を管理サーバ１０１に対して送信する（ステップＳ８０５）。
【００８２】
管理サーバ１０１のＣＰＵ２０１は、携帯情報端末１０２から送信された画像ＩＤ、言語情報を受信すると（ステップＳ８０６）、受信した画像ＩＤで特定される画像データの関連情報のうち、受信した言語情報に対応した関連情報を画像ＤＢ４０９から取得する（ステップＳ８０７）。そして、取得した関連情報を、携帯情報端末に対して送信する（ステップＳ８０８）。
【００８３】
携帯情報端末１０２のＣＰＵ３０１は、管理サーバ１０１より送信された関連情報を受信すると（ステップＳ８０９）、その関連情報を用いて検索結果表示画面の表示を更新する（ステップＳ８１０）。その後、処理をステップＳ８０３に戻す。
【００８４】
携帯情報端末１０２のＣＰＵ３０１は、テキスト情報表示部９０３に表示されている検索結果文字列を用いてのＷｅｂ検索指示を受け付けると（ステップＳ８１１でＹＥＳ）、Ｗｅｂブラウザアプリケーションを起動し（ステップＳ８１２）、Ｗｅｂブラウザアプリケーションにより制御に従って、テキスト情報表示部９０３で選択された文字列を検索条件とした検索要求を、不図示の検索サーバに対して送信する（ステップＳ８１３）。そして、その検索結果を受信すると、ブラウザアプリケーションの表示画面に、検索の結果、検索サーバより得られた情報を表示する（ステップＳ８１４）。その後、処理をステップＳ８０３に進める。
【００８５】
また、携帯情報端末１０２のＣＰＵ３０１は、終了指示を受け付けた場合には（ステップＳ８１５でＹＥＳ）、本図に示す処理を終了する。それ以外の処理を受け付けた場合には（この場合、ステップＳ８１５でＮＯと判定する）、処理をステップＳ８１６に進め、その他指示された処理を実行し、ステップＳ８０３に処理を進める。
【００８６】
以上が、管理サーバ１０１のＣＰＵ２０１及び携帯情報端末１０２のＣＰＵ３０１によって行われる関連情報閲覧処理の一例の説明である。
【００８７】
以上説明したように、本発明によれば、撮影処理により生成される画像データを用いてその画像データと関連する情報を、当該撮影処理がされた装置の言語設定で表示言語等として設定されている言語で取得することが可能となる。これにより、例えば、飲食店の看板を写真撮影することで、その飲食店に関連する情報を容易に得ることが可能となるため、特に、海外等、他の言語を使用している地域であっても、自身が必要とする情報を容易に取得することが可能となる。
【００８８】
以上の説明では、飲食店の情報取得を例に説明したが、当然これ以外にも本発明を適用できることは言うまでもない。
【００８９】
以上、実施形態例を詳述したが、本発明は、方法、プログラムもしくは記録媒体等としての実施態様をとることが可能である。
【００９０】
また、本発明におけるプログラムは、各処理方法をコンピュータが実行可能（読み取り可能）なプログラムであり、本発明の記録媒体は、各処理方法をコンピュータが実行可能なプログラムが記憶されている。
【００９１】
なお、本発明におけるプログラムは、各装置の処理方法ごとのプログラムであってもよい。
【００９２】
以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読取り実行することによっても、本発明の目的が達成されることは言うまでもない。
【００９３】
この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記憶した記録媒体は本発明を構成することになる。
【００９４】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，ＤＶＤ−ＲＯＭ，磁気テープ，不揮発性のメモリカード，ＲＯＭ，ＥＥＰＲＯＭ，シリコンディスク等を用いることができる。
【００９５】
また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００９６】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００９７】
また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。
【００９８】
さらに、本発明を達成するためのプログラムをネットワーク上のサーバ，データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。
【００９９】
なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。
【符号の説明】
【０１００】
１０１  管理サーバ
１０２  携帯情報端末
１０３  通信ネットワーク
２０１  ＣＰＵ
２０２  ＲＡＭ
２０３  ＲＯＭ
２０４  システムバス
２０５  入力コントローラ
２０６  ビデオコントローラ
２０７  メモリコントローラ
２０８  通信インタフェース（Ｉ／Ｆ）コントローラ
２０９  入力装置
２１０  ディスプレイ装置
２１１  外部メモリ
３０１  ＣＰＵ
３０２  ＲＡＭ
３０３  ＲＯＭ
３０４  撮影部
３０５  通信部
３０６  表示部
３０７  操作部
３０８  音声入力部
３０９  外部記憶装置
３１０  システムバス
【図１】
2014086040.tif 000003
【図２】
2014086040.tif 000004
【図３】
2014086040.tif 000005
【図４】
2014086040.tif 000006
【図５】
2014086040.tif 000007
【図６】
2014086040.tif 000008
【図７】
2014086040.tif 000009
【図８】
2014086040.tif 000010
【図９】
2014086040.tif 000011
【図１０】
2014086040.tif 000012