(57)【要約】  撮影画像処理システム（１００）は、文字及び／又は画像を含む変換対象領域を撮影し、当該変換対象領域を含む撮影画像を表示部に表示する携帯端末（１）と、携帯端末（１）からの撮影画像を受信するサーバ（２）とを備え、サーバ（２）は、受信した撮影画像における変換対象領域の位置を特定するための特定方法を決定し、決定した特定方法を携帯端末（１）へ送信し、携帯端末（１）は、サーバ（２）から受信した特定方法に基づいて撮影画像内における変換対象領域の位置を特定し、撮影画像で特定された変換対象領域を所定の形式に変換し、変換した変換画像を表示部（１６）に表示する。
2012144124.tif 000002
【特許請求の範囲】
【請求項１】
文字及び／又は画像を含む変換対象領域を撮影し、当該変換対象領域を含む撮影画像を表示手段に表示する携帯端末と、
前記携帯端末からの前記撮影画像を受信するサーバとを備え、
前記サーバは、
前記受信した撮影画像における前記変換対象領域の位置を特定するための特定方法を決定し、
前記決定した特定方法を前記携帯端末へ送信し、
前記携帯端末は、
前記サーバから受信した前記特定方法に基づいて前記撮影画像内における前記変換対象領域の位置を特定し、
前記撮影画像で特定された前記変換対象領域を所定の形式に変換し、
前記変換した変換画像を前記表示手段に表示する
撮影画像処理システム。
【請求項２】
前記サーバは、前記特定方法として前記変換対象領域の特徴量の算出方法を決定し、
前記携帯端末は、前記特徴量の算出方法を使用して、前記撮影画像内における特徴量を算出し、当該算出結果に基づき、前記撮影画像内における前記変換対象領域の位置を特定する
請求項１に記載の撮影画像処理システム。
【請求項３】
前記撮影画像は、全体の一部の領域が撮影されたものであり、
前記携帯端末は、
前記全体領域の他の領域をさらに再撮影し、
当該再撮影した再撮影画像の前記文字情報の表示領域を特定する際に、前記一部の領域と同一の特定方法を用いる
請求項１又は２に記載の撮影画像処理システム。
【請求項４】
前記サーバは、
複数の前記全体領域のそれぞれについての複数の全体画像情報を予め記憶する記憶手段をさらに備え、
前記受信した撮影画像の特徴量を算出し、
前記記憶手段を参照し、前記算出した特徴量に基づいて前記複数の全体画像情報の中から前記撮影画像に対応する全体画像情報を選択し、
前記選択した全体画像情報に応じて特定方法を決定する
請求項１乃至３のいずれか１項に記載の撮影画像処理システム。
【請求項５】
前記サーバは、
前記記憶手段は、各全体画像情報に含まれる前記変換対象領域についての当該全体画像情報内の位置情報をさらに記憶し、
前記選択した全体画像情報と、当該全体画像情報に含まれる前記変換対象領域の前記位置情報とを前記決定した特定方法と共に前記携帯端末へ送信し、
前記携帯端末は、
前記特定方法に基づいて、前記サーバから受信した全体画像情報内に占める当該撮影画像の領域を特定し、
前記特定された撮影画像の領域に含まれる前記受信した位置情報を用いて、当該撮影画像内における前記変換対象領域の位置を特定する
請求項４に記載の撮影画像処理システム。
【請求項６】
携帯端末が、
文字及び／又は画像を含む変換対象領域を撮影し、
当該変換対象領域を含む撮影画像をサーバへ送信し、
前記サーバが、
前記受信した撮影画像における前記変換対象領域の位置を特定するための特定方法を決定し、
前記決定した特定方法を前記携帯端末へ送信し、
前記携帯端末が、
前記サーバから受信した前記特定方法に基づいて前記撮影画像内における前記変換対象領域の位置を特定し、
前記撮影画像で特定された前記変換対象領域を所定の形式に変換し、
前記変換した変換画像を前記表示手段に表示する
撮影画像処理方法。
【請求項７】
文字及び／又は画像を含む変換対象領域を撮影する撮影手段と、
当該変換対象領域を含む撮影画像をサーバへ送信する送信手段と、
前記撮影画像における前記変換対象領域の位置を特定するための特定方法を前記サーバから受信する受信手段と、
前記受信した前記特定方法に基づいて前記撮影画像内における前記変換対象領域の位置を特定する特定手段と、
前記撮影画像で特定された前記変換対象領域を所定の形式に変換する変換手段と、
前記変換した変換画像を表示する表示手段と、
を備える携帯端末。
【請求項８】
文字及び／又は画像を含む変換対象領域を撮影した携帯端末から、当該変換対象領域を含む撮影画像を受信する受信手段と、
前記受信した撮影画像における前記変換対象領域の位置を特定するための特定方法を決定する決定手段と、
前記携帯端末に対して、前記決定した特定方法に基づいて前記撮影画像内における前記変換対象領域の位置を特定させ、前記撮影画像で特定された前記変換対象領域を所定の形式に変換させ、前記変換した変換画像を表示手段に表示させるために、当該決定した特定方法を前記携帯端末へ送信する送信手段と、
を備える情報処理装置。
【請求項９】
文字及び／又は画像を含む変換対象領域を撮影する処理と、
当該変換対象領域を含む撮影画像をサーバへ送信する処理と、
前記撮影画像における前記変換対象領域の位置を特定するための特定方法を前記サーバから受信する処理と、
前記受信した前記特定方法に基づいて前記撮影画像内における前記変換対象領域の位置を特定する処理と、
前記撮影画像で特定された前記変換対象領域を所定の形式に変換する処理と、
前記変換した変換画像を表示手段に表示する処理と、
を携帯端末に実行させる制御プログラムが格納された非一時的なコンピュータ可読媒体。
【請求項１０】
文字及び／又は画像を含む変換対象領域を撮影した携帯端末から、当該変換対象領域を含む撮影画像を受信する処理と、
前記受信した撮影画像における前記変換対象領域の位置を特定するための特定方法を決定する処理と、
前記携帯端末に対して、前記決定した特定方法に基づいて前記撮影画像内における前記変換対象領域の位置を特定させ、前記撮影画像で特定された前記変換対象領域を所定の形式に変換させ、前記変換した変換画像を表示部に表示させるために、当該決定した特定方法を前記携帯端末へ送信する処理と、
をコンピュータに実行させる制御プログラムが格納された非一時的なコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像処理システム、撮影画像処理方法、携帯端末、情報処理装置及び制御プログラムに関し、特に、撮影機能を有する携帯端末等を用いて、文字情報を含む領域（看板や地図等）が撮影された撮影画像について、文字情報に翻訳等を施して当該携帯端末の表示部に表示するための撮影画像処理システム、撮影画像処理方法、携帯端末、情報処理装置及び制御プログラムに関する。
【背景技術】
【０００２】
近年、観光客の増加によってポスターや看板に多くの言語を並べて表示することが多くなっている。しかし、かえって分かりにくい表示になってしまうことがある。また、レストランなどのメニューに複数の言語を並べて表示することもある。この場合も、メニューの表示が複雑になることがある。さらに、多言語のメニューを用意したとしても対応できる言語数に限界があるため、ある人にとっては母国語のメニューが存在しないということがあった。【０００３】
また、近年、高機能なカメラ付き携帯電話、カメラ付きスマートフォン又はデジタルカメラ等が登場している。そのため、高機能な撮影機能が搭載された端末を日常的に携帯できるようになった。そこで、カメラからの入力画像を文字認識する技術や画像の特徴点を抽出する様々な画像処理技術が、日常的に利用しやすくなってきている。よって、国内外を問わず、携帯端末などによって撮影されたポスターや看板の撮影画像内の表記を母国語に翻訳できる機能が必要とされてきている。【０００４】
ここで、特許文献１には、カメラ付き携帯端末に関する技術が開示されている。特許文献１にかかる携帯端末は、カメラにより撮影された画像データから内部のＯＣＲ（Ｏｐｔｉｃａｌ  Ｃｈａｒａｃｔｅｒ  Ｒｅｃｏｇｎｉｔｉｏｎ）機能により文字列を抽出し、当該文字列を入力情報として翻訳した結果を表示する。そして、更に詳しい情報が必要な場合にはインターネットに接続して、文字列の追加情報を表示することを可能とする。【０００５】
また、特許文献２には、カメラ付き携帯情報端末の撮像機能によって文書の一部を撮影し、撮影された画像に含まれる文字列が文書中のどの場所に存在するかを特定し、その場所に関連付けられているＵＲＬ等のリンク情報を取得することが出来る文書リンク情報取得システムが開示されている。【０００６】
更に、特許文献３には、カメラを内蔵した携帯可能な情報端末で文書の一部をカメラで撮影した画像に含まれている文字列が文書中のどの場所に存在するかを特定し、その場所に関連付けられる情報を取得する文書情報検索システムが開示されている。また、特許文献３の発明の別の目的として、文字の場所を特定するためのデータの作成を自動化し、また文書に関連付けられる情報のデータの作成を簡素に行う、文書情報検索システムが開示されている。【０００７】
更に、特許文献４には、携帯情報端末で取得した文書の一部を含む画像データから文書全体の翻訳を得る方法として、撮像された文書の一部の画像データから着目単語パターンとその着目単語パターンの周辺の単語パターンを対象として文字認識処理を行い、着目単語パターンとその周辺の単語パターンの配置情報を抽出することにより文書全体を特定し、その翻訳文をサーバから取得することで翻訳を行うシステムが開示されている。【０００８】
また、特許文献５には、カメラ付き携帯端末によって撮影された建築物の画像から文字領域を抽出した部分領域の画像の特徴量を照合することによって撮影された建築物を影などの雑音の影響を受けにくくして特定する情報検索システムが開示されている。【０００９】
特許文献６には、画像から、エッジ特徴、輝度特性、モーメント特徴、周波数特性等の特徴量を抽出し、抽出した特徴量を用いて物体を抽出する画像処理装置に関する技術が開示されている。【００１０】
ところで、非特許文献１には、ＳＩＦＴ特徴量の算出方法に関する技術が開示されている。特許文献７には、文書画像特徴量の算出方法に関する技術が開示されている。また、特許文献８には、予め登録された画像の中から照合用に入力された画像に対応する画像を照合するための画像照合装置が開示されている。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００５−３１８２７号公報
【特許文献２】特開２００６−５３６２２号公報
【特許文献３】特開２００６−１４６６２７号公報
【特許文献４】特開２００６−０４８３２４号公報
【特許文献５】特開２０１０−２７２０５４号公報
【特許文献６】特開２００７−２７９９３０号公報
【特許文献７】国際公開第２００８／０６６１５２号
【特許文献８】国際公開第２０１０／０５３１０９号
【非特許文献】
【００１２】
【非特許文献１】D. G. Lowe, "Object Recognition from Local Scale-Invariant Features"Proc. of IEEE International Conference on Computer Vision (ICCV), pp.1150-1157, 1999
【発明の概要】
【発明が解決しようとする課題】
【００１３】
上述した特許文献１乃至６に開示された技術には、カメラ付き携帯端末を用いて、文字情報を含む領域（看板や地図等）が撮影された撮影画像について、撮影画像内の文字列を翻訳等して表示する際、携帯端末における処理負荷が高い場合があるという問題点がある。その理由は、撮影画像の状態が光の量・向き、カメラの撮影方向等の様々な要因により影響を受けるため、撮影画像内の文字情報の表示領域を特定するための最適な手法を一通りに定めることができないためである。例えば、携帯端末に特定の手法により撮影画像内の文字情報の表示領域を特定することができたとしても、別の時間帯に同一の対象物を撮影した場合には、光の状態等により当該手法が最適とは限らない（精度が悪い、処理時間がかかる等）。また、撮影する度に、複数の処理を比較して最適な処理を決定するには、携帯端末では処理負荷が高い。そのため、リアルタイムな表示が困難となる。【００１４】
まず、特許文献１では携帯端末内部のＯＣＲ機能を用いるため、携帯端末の処理性能と認識性能のトレードオフによりに認識できる文字数に制限が発生し、リアルタイムに文字を認識し画面上に表示することは困難である。つまり、携帯端末単体で撮影画像のＯＣＲ処理、翻訳処理及び翻訳結果の表示処理を行うことは、処理の負荷が大きい。【００１５】
また、特許文献２では文章の一部を撮影し、着目文字を指定した場合、着目文字をＯＣＲすると同時に周辺の文字パターンに関する配置情報を用いることによって情報データベースを検索する。しかし、観光地図のように文字パタンが密に存在しない場合や、様々な着色により文字周辺環境が異なる場合には、着目文字をＯＣＲすることが困難である。【００１６】
また、特許文献３も同様にファイルの文書中から抽出した文字列とその文字列にリンクした情報を示す関連情報を記憶させ、文字列の位置関係から関連情報を検索する文書情報検索システムでは写真やイラスト中に文字列が存在する場合には、文字列の周辺に注目文字列が存在しない可能性もあり、検索したい文字列に関連した情報を検索することが困難な場合があった。【００１７】
更に、特許文献４では、注目文字データ及びその周辺の文字データを文字認識し、文字データの配置を特徴量にして文書全体の翻訳文字データを配信するため、屋外の地図や案内板のような文字情報が多く含まれていないものや文字以外のイラストが挿入されている場合には使用できない。また、屋外で撮影された画像は、同一の対象物を撮影したとしても、外部環境（太陽光の量、向き）や撮影する方向等により画像の形状や色が異なるためである。【００１８】
また、特許文献５では建物の看板に書かれている文字情報の特徴から建物を特定することによって外界の影などの雑音に強くすることが書かれているが、看板内の一部の特徴量から看板全体を類推することは述べられていない。【００１９】
そして、特許文献６では、画像特徴量を用いて画像から物体を抽出できるが、外部環境により撮影画像の状態が変動した場合に、安定して画像特徴量を算出できる保証がない。屋外で撮影された画像は、外部環境等の画像の状態と携帯端末の性能により状態が変動するため、ある時点では最適な算出方法であったとしても、状態の変動により非効率な算出方法である場合があるためである。【００２０】
本発明は、上述した問題点を考慮してなされたものであり、文字等を含む領域を撮影された画像に所定の変換を行った画像を携帯端末により表示する際に、携帯端末の処理負荷を下げつつ、所定の変換後の画像をより早く表示させるための撮影画像処理システム、撮影画像処理方法、携帯端末、情報処理装置及び制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【００２１】
本発明の第１の態様にかかる撮影画像処理システムは、
文字及び／又は画像を含む変換対象領域を撮影し、当該変換対象領域を含む撮影画像を表示部に表示する携帯端末と、
前記携帯端末からの前記撮影画像を受信するサーバとを備え、
前記サーバは、
前記受信した撮影画像における前記変換対象領域の位置を特定するための特定方法を決定し、
前記決定した特定方法を前記携帯端末へ送信し、
前記携帯端末は、
前記サーバから受信した前記特定方法に基づいて前記撮影画像内における前記変換対象領域の位置を特定し、
前記撮影画像で特定された前記変換対象領域を所定の形式に変換し、
前記変換した変換画像を前記表示部に表示する。【００２２】
本発明の第２の態様にかかる撮影画像処理方法は、
携帯端末が、
文字及び／又は画像を含む変換対象領域を撮影し、
当該変換対象領域を含む撮影画像をサーバへ送信し、
前記サーバが、
前記受信した撮影画像における前記変換対象領域の位置を特定するための特定方法を決定し、
前記決定した特定方法を前記携帯端末へ送信し、
前記携帯端末が、
前記サーバから受信した前記特定方法に基づいて前記撮影画像内における前記変換対象領域の位置を特定し、
前記撮影画像で特定された前記変換対象領域を所定の形式に変換し、
前記変換した変換画像を前記表示部に表示する。【００２３】
本発明の第３の態様にかかる携帯端末は、
文字及び／又は画像を含む変換対象領域を撮影する撮影部と、
当該変換対象領域を含む撮影画像をサーバへ送信する送信部と、
前記撮影画像における前記変換対象領域の位置を特定するための特定方法を前記サーバから受信する受信部と、
前記受信した前記特定方法に基づいて前記撮影画像内における前記変換対象領域の位置を特定する特定部と、
前記撮影画像で特定された前記変換対象領域を所定の形式に変換する変換部と、
前記変換した変換画像を表示する表示部と、
を備える。【００２４】
本発明の第４の態様にかかる情報処理装置は、
文字及び／又は画像を含む変換対象領域を撮影した携帯端末から、当該変換対象領域を含む撮影画像を受信する受信部と、
前記受信した撮影画像における前記変換対象領域の位置を特定するための特定方法を決定する決定部と、
前記携帯端末に対して、前記決定した特定方法に基づいて前記撮影画像内における前記変換対象領域の位置を特定させ、前記撮影画像で特定された前記変換対象領域を所定の形式に変換させ、前記変換した変換画像を表示部に表示させるために、当該決定した特定方法を前記携帯端末へ送信する送信部と、
を備える。【００２５】
本発明の第５の態様にかかる制御プログラムは、
文字及び／又は画像を含む変換対象領域を撮影する処理と、
当該変換対象領域を含む撮影画像をサーバへ送信する処理と、
前記撮影画像における前記変換対象領域の位置を特定するための特定方法を前記サーバから受信する処理と、
前記受信した前記特定方法に基づいて前記撮影画像内における前記変換対象領域の位置を特定する処理と、
前記撮影画像で特定された前記変換対象領域を所定の形式に変換する処理と、
前記変換した変換画像を表示部に表示する処理と、
を携帯端末に実行させる。【００２６】
本発明の第６の態様にかかる制御プログラムは、
文字及び／又は画像を含む変換対象領域を撮影した携帯端末から、当該変換対象領域を含む撮影画像を受信する処理と、
前記受信した撮影画像における前記変換対象領域の位置を特定するための特定方法を決定する処理と、
前記携帯端末に対して、前記決定した特定方法に基づいて前記撮影画像内における前記変換対象領域の位置を特定させ、前記撮影画像で特定された前記変換対象領域を所定の形式に変換させ、前記変換した変換画像を表示部に表示させるために、当該決定した特定方法を前記携帯端末へ送信する処理と、
をコンピュータに実行させる。
【発明の効果】
【００２７】
本発明により、文字等を含む領域を撮影された画像に所定の変換を行った画像を携帯端末により表示する際に、携帯端末の処理負荷を下げつつ、所定の変換後の画像をより早く表示させるための撮影画像処理システム、撮影画像処理方法、携帯端末、情報処理装置及び制御プログラムを提供することができる。
【図面の簡単な説明】
【００２８】
【図１】本発明の実施の形態１にかかる撮影画像処理システムの構成を示すブロック図である。
【図２】本発明の実施の形態１にかかる撮影画像処理方法の流れを示すシーケンス図である。
【図３】本発明の実施の形態２にかかる撮影画像処理システムの構成を示すブロック図である。
【図４】本発明の実施の形態２にかかる撮影画像処理方法の流れを示すシーケンス図である。
【図５】本発明の実施の形態２にかかるサーバの処理の流れを示すフローチャートである。
【図６】本発明の実施の形態２にかかる携帯端末の処理の流れを示すフローチャートである。
【図７】本発明の実施の形態２にかかる部分翻訳の例を示す図である。
【発明を実施するための形態】
【００２９】
以下では、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。各図面において、同一要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略する。
【００３０】
＜発明の実施の形態１＞
図１は、本発明の実施の形態１にかかる撮影画像処理システム１００の構成を示すブロック図である。撮影画像処理システム１００は、携帯端末１とサーバ２とを備える。
【００３１】
携帯端末１は、撮影機能を有する携帯型の電子機器である。例えば、カメラ付き携帯電話、カメラ付きスマートフォン又はデジタルカメラ等である。携帯端末１は、撮影部１１と、送信部１２と、受信部１３と、特定部１４と、変換部１５と、表示部１６とを備える。撮影部１１は、所定の領域を撮影するカメラ等である。所定の領域は、文字及び／又は画像を含む変換対象領域である。また、所定の領域には、変換対象領域以外を含んでもよい。所定の領域は、例えば、看板や地図等であり、地名や説明文等の文字情報の他に図形、記号等の情報を含むものである。撮影部１１が撮影した撮影画像には、変換対象領域が含まれるものとする。
【００３２】
送信部１２は、変換対象領域を含む撮影画像をサーバ２へ送信する。受信部１３は、撮影画像における変換対象領域の位置を特定するための特定方法をサーバ２から受信する。特定方法には、例えば、撮影画像を解析することにより画像内の形状等を複数の属性に対応する数値等で表現した特徴量を算出する算出方法が挙げられる。特定方法は、このような算出方法の処理ロジックが実装されたプログラムモジュールであるか、算出方法の識別情報等である。尚、特定方法は、これに限定されない。
【００３３】
特定部１４は、受信した特定方法に基づいて撮影画像内における変換対象領域の位置を特定する。変換部１５は、撮影画像で特定された変換対象領域を所定の形式に変換する。例えば、変換対象領域に文字情報が含まれる場合、変換部１５は、当該文字情報を所定の言語に翻訳するか、翻訳済みの画像データを変換対象領域に置き換えた画像を生成する。表示部１６は、変換した変換画像を表示する画面等の表示装置である。
【００３４】
サーバ２は、携帯端末１と通信可能な情報処理装置である。サーバ２は、受信部２１と、決定部２２と、送信部２３とを備える。受信部２１は、携帯端末１から撮影画像を受信する。決定部２２は、受信した撮影画像における変換対象領域の位置を特定するための特定方法を決定する。決定部２２は、決定する際に、撮影画像の状態並びに携帯端末１の機能及び処理能力等に応じて最適な特定方法を選択するものとする。または、決定部２２は、撮影画像について複数の特定方法を試行した結果により当該撮影画像における最適な特定方法を決定してもよい。
【００３５】
送信部２３は、決定した特定方法を携帯端末１へ送信する。すなわち、送信部２３は、携帯端末１に対して、決定した特定方法に基づいて撮影画像内における変換対象領域の位置を特定させ、撮影画像で特定された変換対象領域を所定の形式に変換させ、変換した変換画像を表示部１６に表示させるために、当該決定した特定方法を携帯端末１へ送信するものといえる。
【００３６】
図２は、本発明の実施の形態１にかかる撮影画像処理方法の流れを示すシーケンス図である。まず、携帯端末１の撮影部１１は、変換対象領域を含む領域を撮影する（Ｓ１１）。次に、携帯端末１の送信部１２は、撮影画像をサーバ２へ送信する（Ｓ１２）。
【００３７】
続いて、サーバ２の受信部２１は、携帯端末１から撮影画像を受信する。そして、サーバ２の決定部２２は、撮影画像における変換対象領域の位置を特定するための特定方法を決定する（Ｓ１３）。その後、サーバ２の送信部２３は、決定した特定方法を携帯端末１へ送信する（Ｓ１４）。
【００３８】
そして、携帯端末１の受信部１３は、サーバ２から特定方法を受信する。続いて、携帯端末１の特定部１４は、受信した特定方法に基づき撮影画像内における変換対象領域の位置を特定する（Ｓ１５）。そして、携帯端末１の変換部１５は、特定された変換対象領域を変換する（Ｓ１６）。その後、携帯端末１の表示部１６は、変換画像を表示する（Ｓ１７）。
【００３９】
このように、本発明の実施の形態１により、文字等を含む領域を撮影された画像に所定の変換を行った画像を携帯端末により表示する際に、携帯端末の処理負荷を下げつつ、所定の変換後の画像をより早く表示させることができる。
【００４０】
課題で上述したように、携帯端末が単独で撮影画像内の変換対象領域を特定する特定方法を決定することは処理負荷が高い。よって、通常のカメラ付き携帯端末が、撮影後、変換画像を表示部１６に表示させるまでには、時間がかかり、リアルタイムな表示が困難となる。そこで、本発明の実施の形態１にかかる撮影画像処理システム１００では、携帯端末１に比べてリソースが豊富なサーバ２において、処理負荷の高い特定方法の決定処理を実行させることで、携帯端末１での処理負荷を下げ、変換画像の表示を高速化することができる。そのため、撮影から変換画像の表示をリアルタイムに実現できる。
【００４１】
＜発明の実施の形態２＞
図３は、本発明の実施の形態２にかかる撮影画像処理システム２００の構成を示すブロック図である。撮影画像処理システム２００は、上述した実施の形態１の一実施例であり、撮影画像内の文字情報を翻訳等するための情報を提供するための情報提供システムである。以下、実施の形態１と同等の構成については、適宜説明を省略する。
【００４２】
撮影画像処理システム２００は、カメラ付き携帯情報端末３と、情報提供サーバ４と、ネットワーク５とを備える。ネットワーク５は、カメラ付き携帯情報端末３と情報提供サーバ４とを接続する通信網である。ネットワーク５は、例えば、インターネット、イントラネット、公衆網、専用線及び移動体通信網等の通信ネットワークである。尚、カメラ付き携帯情報端末３と情報提供サーバ４とは、ネットワーク５を介さずに直接接続されても構わない。
【００４３】
カメラ付き携帯情報端末３は、携帯端末１の一実施例である。カメラ付き携帯情報端末３は、撮影部３１と、入力ＩＦ部３２と、位置情報取得部３３と、表示部３４と、通信部３５と、記憶部３６と、画像特徴算出部３７と、制御部３８とを備える。撮影部３１は、上述した撮影部１１と同等のものである。撮影部３１は、看板や地図等の全体領域のうち一部の領域を撮影する。看板や地図等には、店名、地名、説明文等の文字情報が表示された領域が含まれるものとする。そして、当該領域は、上述した変換対象領域の一例である。つまり、変換対象領域には、必ずしも文字情報が表示されていなくても構わない。
【００４４】
入力ＩＦ部３２は、カメラ付き携帯情報端末３の操作者から撮影画像の変換の指示を受け付けるインタフェースである。入力ＩＦ部３２は、カメラ付き携帯情報端末３の操作者から、変換対象の撮影画像の入力を受け付けるインタフェースである。入力ＩＦ部３２は、例えば、画面上に配置されたタッチセンサによる操作でも良いし、画面とは別の位置に配置されたスイッチでも構わない。
【００４５】
位置情報取得部３３は、カメラ付き携帯情報端末３の現在地の位置情報を取得する。位置情報取得部３３は、例えば、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）情報を取得する。
【００４６】
表示部３４は、上述した表示部１６と同等のものである。通信部３５は、ネットワーク５を介して情報提供サーバ４の通信部４１と通信を行う。通信部３５は、撮影部３１により撮影され、入力ＩＦ部３２により変換の指示がされた撮影画像、位置情報取得部３３により取得された位置情報等についてネットワーク５を介して通信部４１へ送信する。また、通信部３５は、ネットワーク５を介して、通信部４１から特定方法、後述する全体画像情報、変換画像等を受信する。また、通信部３５は、受信した情報を記憶部３６に格納する。尚、通信部３５と通信部４１との間の通信は、有線又は無線のいずれでも構わない。また、通信部３５と通信部４１との間の通信における通信プロトコルは、どのようなものを適用しても構わない。記憶部３６は、揮発性又は不揮発性の記憶装置である。記憶部３６は、例えば、メモリ等の一次記憶装置であるか、ハードディスク、フラッシュメモリ等であってもよい。
【００４７】
画像特徴算出部３７は、通信部３５により受信した特定方法を用いて撮影画像から画像特徴量を算出する。例えば、画像特徴算出部３７は、複数の特定方法の処理ロジックが予め実装され、情報提供サーバ４から複数の特定方法のいずれかの指定を受信した場合、指定された特定方法の処理ロジックにより画像特徴量を算出する。または、画像特徴算出部３７は、所定の処理ロジックが実装されたプログラムモジュールを外部から受信し、当該プログラムモジュールを実行することを可能としてもよい。その場合、画像特徴算出部３７は、情報提供サーバ４から決定された特定方法の処理ロジックが実装されたプログラムモジュールを受信することで、当該特定方法を用いることができる。尚、情報提供サーバ４から後述する全体画像データそのものを受信した場合、画像特徴算出部３７は、全体画像データから画像特徴量を算出する。
【００４８】
制御部３８は、カメラ付き携帯情報端末３の各種動作を制御する。制御部３８は、例えば、ＣＰＵ（Central Processing Unit）等である。特に、制御部３８は、記憶部３６から情報を読み出し、画像特徴算出部３７により算出された撮影画像の画像特徴量と、全体画像の画像特徴量とを照合し、撮像画像が全体画像内に含まれる領域を特定する。そして、制御部３８は、特定された領域に対する変換処理等を行う。制御部３８は、撮影画像や変換画像を表示部３４に表示させる。
【００４９】
情報提供サーバ４は、サーバ２の一実施例である。情報提供サーバ４は、通信部４１と、画像特徴算出部４２と、画像内最適画像特徴検出部４３と、制御部４４と、記憶部４５と、画像照合部４６と、情報ＤＢ（DataBase）４７とを備える。
【００５０】
通信部４１は、ネットワーク５を介してカメラ付き携帯情報端末３の通信部３５と通信を行う。通信部４１は、ネットワーク５を介して、通信部３５から撮影画像等を受信し、記憶部４５に格納する。また、通信部４１は、決定された特定方法等を、ネットワーク５を介して通信部３５へ送信する。
【００５１】
情報ＤＢ４７は、複数の全体領域のそれぞれについての複数の全体画像情報を予め記憶する記憶装置により実現されたデータベースである。複数の全体領域とは、例えば、複数の看板や地図等の全体を指す。各全体領域には、文字等の変換対象領域が含まれるものとする。また、全体領域には、文字等以外に図形、記号等の翻訳等が不要な情報も含まれているものとする。全体画像情報とは、看板等の全体の画像データであるか、当該画像データから所定の特定方法により算出された画像特徴量であるものとする。
【００５２】
また、情報ＤＢ４７は、各全体画像情報に含まれる変換対象領域についての当該全体画像情報内の位置情報をさらに記憶するものとする。位置情報とは、例えば、全体画像情報が地図を示す場合、地名等が表示された領域の地図内の座標等である。
【００５３】
画像特徴算出部４２は、通信部４１により受信した撮影画像から画像特徴量を算出する。画像特徴算出部４２による画像特徴量の算出方法には、非特許文献１にかかるＳＩＦＴ特徴量、特許文献７にかかる文書画像特徴量等がある。また、画像特徴算出部４２は、例えば、特許文献８に開示されているような既存の画像特徴量を利用してもかまわない。また、画像特徴算出部４２は、予め全体画像データから画像特徴量を算出しておき、情報ＤＢ４７に格納しておいてもよい。
【００５４】
画像照合部４６は、画像特徴算出部４２により算出された撮影画像の画像特徴量と、情報ＤＢ４７に格納された複数の全体画像情報の画像特徴量のそれぞれとを照合し、撮影画像が含まれる全体画像情報を選択する。
【００５５】
画像内最適画像特徴検出部４３は、画像照合部４６により選択された全体画像情報から、撮影画像における変換対象領域の位置を特定するための最適な特定方法を検出つまり決定する。ここで、特定方法は、画像データから文字情報が含まれた位置を特定する為に必要十分な画像特徴量の算出方法ということもできる。つまり、画像内最適画像特徴検出部４３は、撮影画像が全体画像内のどの位置を示すかを判別しやすい画像特徴量の演算方法を検索する。そして、画像内最適画像特徴検出部４３は、特定方法として変換対象領域の特徴量の算出方法を決定する。そのため、カメラ付き携帯情報端末３の制御部３８は、特徴量の算出方法を使用して、撮影画像内における特徴量を算出し、当該算出結果に基づき、撮影画像内における変換対象領域の位置を特定することとなる。
【００５６】
尚、画像内最適画像特徴検出部４３は、複数の特定方法により撮影画像や選択された全体画像データを解析し、照合の精度を比較することにより、最適な特定方法を決定してもよい。また、画像内最適画像特徴検出部４３は、選択された全体画像データの種別に応じて最適な特定方法を決定してもよい。例えば、全体画像データが、地図や案内板であるか、史跡の説明板であるか等の用途によって、画像特徴量の算出方法を予め対応付けておいても良い。また、撮影画像を解析し、光の量・向き、カメラの撮影方向等の様々な要因により状態に応じて最適な画像特徴量の算出方法を決定してもよい。画像によって画像全体から注目する場所を特定するのに最も演算量が少なくなる方法が異なるためである。
【００５７】
さらに、画像内最適画像特徴検出部４３は、カメラ付き携帯情報端末３の処理能力や実行可能な処理ロジックに応じて最適な特定方法を決定するとよい。これにより、カメラ付き携帯情報端末３の演算量の負荷を最小に抑えることができる。尚、画像内最適画像特徴検出部４３が決定した特定方法が、画像特徴算出部４２で用いられた特定方法と異なる場合、画像特徴算出部４２は、選択された選択された全体画像から決定された特定方法を用いて画像特徴量を算出するとよい。そして、通信部４１が通信部３５へ特定方法等を送信する際に、当該算出した画像特徴量を含めて送信するとよい。これにより、カメラ付き携帯情報端末３側での照合を効率化できる。
【００５８】
制御部４４は、情報提供サーバ４の各種動作を制御する。制御部４４は、例えば、ＣＰＵ等である。記憶部４５は、揮発性又は不揮発性の記憶装置である。記憶部３６は、例えば、メモリ等の一次記憶装置であるか、ハードディスク、フラッシュメモリ等であってもよい。
【００５９】
図４は、本発明の実施の形態２にかかる撮影画像処理方法の流れを示すシーケンス図である。まず、撮影部３１は、看板やポスターの全体又は一部を撮影する（Ｓ２１）。尚、以下では、説明の便宜上、看板やポスターの一部が撮影されたものとする。例えば、カメラ付き携帯情報端末３の操作者は、看板等の一部を撮影し、撮影画像を確認して文字情報部分の翻訳を入力ＩＦ部３２に対して指示する。入力ＩＦ部３２は、操作者からの指示に応じて、通信部３５により撮影画像を情報提供サーバ４へ送信する（Ｓ２２）。
【００６０】
通信部４１は、ネットワーク５を介してカメラ付き携帯情報端末３から撮影画像を受信する。そして、通信部４１は、撮影画像を記憶部４５へ格納する。続いて、画像特徴算出部４２、画像照合部４６及び画像内最適画像特徴検出部４３は、撮影画像が含まれる全体画像情報を選択し、選択された全体画像情報から特定方法を決定する（Ｓ２３）。
【００６１】
ここで、情報提供サーバ４の処理の詳細を、図５を用いて説明する。まず、画像特徴算出部４２は、撮影画像から画像特徴量を算出する（Ｓ３１）。次に、画像照合部４６は、情報ＤＢ４７内の各全体画像と撮影画像との画像特徴量を照合し、撮影画像が含まれる全体画像を選択する（Ｓ３２）。すなわち、画像照合部４６は、情報ＤＢ４７を参照し、画像特徴算出部４２により算出した撮影画像の画像特徴量に基づいて、複数の全体画像情報の中から撮影画像に対応する全体画像情報を選択する。そして、画像照合部４６は、選択された全体画像に対応付けられた各種情報を情報ＤＢ４７から読み出す（Ｓ３３）。このとき、画像照合部４６は、各種情報として、全体画像データそのものか全体画像の画像特徴量及び位置情報等を読み出す。続いて、画像内最適画像特徴検出部４３は、選択された全体画像に応じて特定方法を決定する（Ｓ３４）。
【００６２】
図４に戻って説明する。その後、通信部４１は、特定方法、全体画像情報、位置情報等をカメラ付き携帯情報端末３へ送信する（Ｓ２４）。つまり、通信部４１は、選択した全体画像情報と、当該全体画像情報に含まれる変換対象領域の位置情報とを、決定した特定方法と共にカメラ付き携帯情報端末３へ送信する。このとき、全体画像情報には、全体画像における当該決定した特定方法により算出された画像特徴量を含めるとよい。
【００６３】
通信部３５は、ネットワーク５を介して、通信部４１から特定方法、全体画像情報、位置情報等を受信する。このとき、通信部３５は、受信した特定方法、全体画像情報、位置情報等を記憶部３６に格納する。そして、画像特徴算出部３７及び制御部３８は、記憶部３６に格納された特定方法に基づいて、全体画像内に占める撮影画像の領域を特定する（Ｓ２５）。続いて、制御部３８は、特定された撮影画像の領域に含まれる位置情報を用いて変換対象領域の位置を特定する（Ｓ２６）。さらに、表示部３４は、変換対象領域に変換画像を上書きして表示する（Ｓ２７）。このように、位置情報を用いることで撮影画像内の解析処理を軽減できる。
【００６４】
図６は、本発明の実施の形態２にかかるカメラ付き携帯情報端末３の処理の流れを示すフローチャートである。まず、画像特徴算出部３７は、受信した特定方法を用いて撮影画像から画像特徴量を算出する（Ｓ４１）。次に、制御部３８は、全体画像と撮影画像との画像特徴量を照合し、全体画像内に占める撮影画像の領域を特定する（Ｓ４２）。そして、制御部３８は、特定された領域内に文字情報が存在するか否かを判定する（Ｓ４３）。特定された領域内に文字情報が存在すると判定した場合、制御部３８は、特定された領域に含まれる位置情報を用いて、変換対象領域の位置を特定する（Ｓ４４）。つまり、制御部３８は、全体画像内の変換対象領域と、全体画像内に占める撮影画像の領域の座標等から撮影画像内の変換対象領域の位置を特定することができる。このため、変換対象領域の位置を特定するための撮影画像自体の解析処理の負荷を軽減することができる。
【００６５】
その後、制御部３８は、変換対象領域の位置に変換画像を上書きする（Ｓ４５）。変換画像とは、例えば、情報提供サーバ４から変換対象領域内の文字列に対応する翻訳結果が表示された画像であるとよい。尚、上書きする代わりに、制御部３８は、変換対象領域に対してＯＣＲ等を行い、認識された文字列に対する翻訳等を行っても構わない。そして、表示部３４は、変換画像を表示する（Ｓ４６）。
【００６６】
また、ステップＳ４３において、特定された領域内に文字情報が存在すると判定した場合、制御部３８は、変換を行わずに、撮影画像を表示する（Ｓ４７）。尚、既に撮影画像が表示されている場合には、ステップＳ４７を実行しなくてもよい。
【００６７】
この後、操作者がカメラ付き携帯情報端末３を動かして、地図等の他の領域を撮影した場合、つまり、カメラ付き携帯情報端末３が同一の対象物の他の領域を再撮影した場合、カメラ付き携帯情報端末３は、情報提供サーバ４への再撮影画像を送信しない。そして、画像特徴算出部３７は、記憶部３６に格納されている以前に受信した特定方法を用いて再撮影画像の変換対象領域の位置を特定する。また、制御部３８は、記憶部３６に格納されている以前に受信した全体画像情報及び位置情報等を用いる。言い換えると、画像特徴算出部３７は、再撮影した再撮影画像の変換対象領域の位置を特定する際に、以前に一部の領域を撮影した際の撮影画像に用いたものと同一の特定方法を用いる。つまり、カメラの撮影位置を移動した際などにサーバに再問合せせずに、受信済みの特定方法を流用することで、２回目以降の撮影画像の処理を効率的に行うことができる。
【００６８】
これは、カメラ付き携帯情報端末３により再撮影される再撮影画像が、記憶部３６に格納された全体画像の範囲内である限り、情報提供サーバ４と新たに通信する必要は無く、カメラ付き携帯情報端末３の内部演算処理のみで表示されている画像に追従して文字情報を変換することを示す。
【００６９】
また、情報ＤＢ４７は、各全体画像情報に含まれる変換対象領域に対応する変換画像をさらに記憶しておくとよい。この場合、情報提供サーバ４は、選択した全体画像情報に含まれる変換対象領域に対応する変換画像を、決定した特定方法と共にカメラ付き携帯情報端末３へ送信する。そして、カメラ付き携帯情報端末３は、変換対象領域を所定の形式に変換する際に、サーバから受信した変換画像を用いる。これにより、カメラ付き携帯情報端末３内でのＯＣＲや変換等の処理負荷を軽減できる。
【００７０】
さらに、撮影対象の領域が観光案内地図であり、表記されている文字が、カメラ付き携帯情報端末３の操作者が通常使用する言語（第一言語）でない場合には、第一言語である文字情報に置換して表示することができる。この場合、情報ＤＢ４７は、変換画像を複数の言語種別ごとに記憶する。そして、カメラ付き携帯情報端末３は、操作者における言語種別を撮影画像に付加して情報提供サーバ４に対して送信する。その後、情報提供サーバ４は、情報ＤＢ４７を参照し、受信した言語種別に基づいて、特定した全体画像情報に含まれる変換対象領域に対応する変換画像を選択する。
【００７１】
また、文字情報の変換は、例えば日本語から英語への変換のみならず、難しい漢字で記載された看板を小学生が読む場合には、小学生が分かりやすい言葉に変換することも可能である。または、文字情報を写真やイラストといった画像に変換することや、動画像を表示することも可能である。この場合、情報ＤＢ４７は、変換画像を複数の年齢情報ごとに記憶する。そして、カメラ付き携帯情報端末３は、操作者における年齢情報を撮影画像に付加して情報提供サーバ４に対して送信する。その後、情報提供サーバ４は、情報ＤＢ４７を参照し、受信した年齢情報に基づいて、特定した全体画像情報に含まれる変換対象領域に対応する変換画像を選択する。
【００７２】
さらに、カメラ付き携帯情報端末３から情報提供サーバ４へ撮影画像を送信する際に、カメラ付き携帯情報端末３の現在位置を含めることが望ましい。この場合、情報ＤＢ４７は、複数の前記全体領域のそれぞれの所在地を示す所在地情報と各全体画像情報とを関連付けて記憶する。そして、カメラ付き携帯情報端末３は、当該携帯端末の所在地を示す所在地情報を位置情報取得部３３により取得する。そして、通信部３５は、取得した所在地情報を撮影画像に付加して情報提供サーバ４へ送信する。その後、情報提供サーバ４は、情報ＤＢ４７を参照し、算出した特徴量及び受信した所在地情報に基づいて撮影画像に対応する全体画像情報を選択する。これにより、画像照合部４６は、所在地情報により情報ＤＢ４７から読み出すデータを選択することが可能となる。そのため、情報提供サーバ４の内部で処理するデータ量を削減することができ、全体の処理時間を大幅に削減できる。
【００７３】
図７は、本発明の実施の形態２にかかる利用方法の一例として部分翻訳の例を示す図である。地図６は、世界地図を示し、各所に地名等の文字情報が表記されているものである。例えば、地図６の日本列島付近には"Ｊａｐａｎ"という英字の文字情報が表記されており、オーストラリア大陸付近には、"Ａｕｓｔｒａｌｉａ"という英字の文字情報が表記されていることを示す。情報ＤＢ４７には、地図６に対応する全体画像情報と、各文字情報の位置情報と、各文字情報の英語以外の言語での翻訳した文字情報である変換画像とが対応付けて予め格納されているものとする。
【００７４】
ここで、操作者は、カメラ付き携帯情報端末３により地図６のうち日本列島付近を撮影し、日本語での翻訳を指示したとする。この場合、撮影画像には、日本列島付近の形状と"日本"の表記が含まれていることとなる。そして、当該撮影画像を情報提供サーバ４へ送信する。
【００７５】
情報提供サーバ４の画像特徴算出部４２は、撮影画像の画像特徴量を算出し、画像照合部４６は、撮影画像が地図６の一部であることを検出する。つまり、全体画像情報として地図６を選択する。そして、画像照合部４６は、地図６の画像データ、画像特徴量、地図６内の各文字情報の位置情報（例えば、"Ｊａｐａｎ"や"Ａｕｓｔｒａｌｉａ"等が表記されている座標）及び日本語で翻訳された文字情報の画像（例えば、"日本"、"豪州"等が表記された画像）を情報ＤＢ４７から読み出す。併せて、画像内最適画像特徴検出部４３は、撮影画像の状態やカメラ付き携帯情報端末３の機能に応じて最適な特定方法すなわち世界地図の内部特徴を示す特徴量を算出する方法を決定する。そして、情報提供サーバ４は、情報ＤＢ４７から読み出した情報及び特定方法をカメラ付き携帯情報端末３へ送信する。
【００７６】
カメラ付き携帯情報端末３の通信部３５は、受信した各種情報を記憶部３６へ格納する。そして、画像特徴算出部３７は、特定方法により撮影画像が地図６のうち日本列島付近の位置であることを特定する。そして、制御部３８は、位置情報に基づき、地図６の日本列島付近には、"Ｊａｐａｎ"という文字情報が表記されていると判定する。そのため、撮影画像内の対応する位置に"Ｊａｐａｎ"という文字情報が表記されていることが認識できる。その後、制御部３８は、撮影画像内の"Ｊａｐａｎ"という文字情報が表記されている位置に、"日本"が表記された画像を上書きして変換画像を生成する。その後、表示部３４は、変換画像を図７に示すように表示する。
【００７７】
さらにこの後、操作者がカメラ付き携帯情報端末３を移動して地図６のうちオーストラリア大陸付近を撮影し、日本語での翻訳を指示したとする。この場合、カメラ付き携帯情報端末３は、情報提供サーバ４への撮影画像の送信をせず、画像特徴算出部３７は、オーストラリア大陸の形状や"Ａｕｓｔｒａｌｉａ"が表記された再撮影画像から画像特徴量を算出する。そして、制御部３８は、記憶部３６に格納済みの地図６の画像特徴量を用いて、地図６内の再撮影画像の領域を特定し、撮影画像内の"Ａｕｓｔｒａｌｉａ"という文字情報が表記されている位置に、"豪州"が表記された画像を上書きして変換画像を生成し、表示部３４に表示される。
【００７８】
そのため、カメラ付き携帯情報端末３は、再撮影時には、決められた特定方法により内部での処理のみで翻訳結果を表示できる。このとき、カメラ付き携帯情報端末３は、再撮影画像に対して、図４のステップＳ２５〜Ｓ２７の処理を行うだけで良いため、操作者には、およそリアルタイムで部分翻訳されているものと感じる。
【００７９】
＜その他の発明の実施の形態＞
上述したように本発明の実施の形態１及び２は、観光案内板や店舗のメニューなどを他国語に変換することや、読みやすいように加工して表示することができる。
【００８０】
また、本発明の実施の形態１及び２では、必ずしも、サーバから携帯端末へ決定した特定方法を送信しなくてもよい。例えば、サーバにおいて、決定した特定方法に基づいて前記撮影画像内における前記変換対象領域の位置を特定し、特定した位置情報を携帯端末へ送信してもよい。さらに、サーバにおいて、変換対象領域を所定の形式に変換し、変換画像を携帯端末へ送信してもよい。
【００８１】
また、本発明の他の態様にかかる情報提供方法は、検索もしくは翻訳したい文字情報が含まれた領域の一部または全体の画像を撮像することが可能な撮像手段と、前記撮像した画像を選択し処理を指示する入力手段と、前記撮像した画像や付随する情報を送受信する為の通信手段と、前記撮像した画像の画像特徴を算出する画像特徴算出手段と、前記撮像した画像から検索もしくは翻訳したい文字情報が含まれた領域全体の特徴量を含むデータ及び文字情報を保持する記憶手段と、前記画像特徴算出手段により算出された特徴量と前記記憶手段に保持された特徴量とを比較し、前記撮像した画像が前記記憶手段に保持された特徴量の中でどの位置を示すかを特定する制御手段と、前記制御手段により特定された位置に前記記憶手段に保持された文字情報が存在した時、前記撮影した画像または、前記撮影した画像に前記文字情報を重畳させた画像を表示する画像表示手段と、を具備したカメラ付き携帯端末手段と、前記カメラ付き携帯端末手段と前記撮像した画像データを受信し、前記検索もしくは翻訳したい文字情報が含まれた領域全体の特徴量を含むデータ及び文字情報を送信する通信手段と、前記通信手段で受信した、前記撮像した画像データの画像特徴を算出する画像特徴算出手段と、検索もしくは翻訳したい文字情報が含まれた領域全体の画像の特徴を予め登録している情報データベース手段と、前記画像特徴算出手段により算出された画像特徴と、前記情報データベース手段に登録されている画像特徴の一部もしくは全体を比較し、前記情報データベース中のどの画像を検索しているかを照合する画像照合手段と、前記画像照合手段の照合結果より、前記情報データベースに記憶してある、前記検索もしくは翻訳したい文字情報が含まれた領域全体の特徴量を含むデータ及び文字情報を取り出す制御手段と、を具備した情報提供サーバ手段と、前記カメラ付き携帯端末手段と前記情報提供サーバ手段とを接続するネットワーク手段とを具備する。
【００８２】
本発明によれば、設置済みの看板をカメラ付き携帯端末で撮影し、撮影した部分の画像データを、ネットワークを介して情報提供サーバに送信し、前記画像データと登録された情報データベース内の画像データとを照合し、情報データベース中の画像データを特定し、前記設置済みの看板内の文字情報が何処に書かれているかを特定する為の画像特徴抽出方法と、画像特徴情報と、特徴情報に合わせた文字情報とを、ネットワークを介してカメラ付き携帯端末に送信し、カメラ付き携帯端末内でカメラにて写されている画像データを前記画像特徴抽出方法により特徴抽出し、更にその画像特徴情報から、前記送信された画像特徴情報が看板内のどの位置を撮影しているかを特定し、画面に含まれる文字情報の文字位置を特定することによって、文字情報を撮影者が判読できる文字情報に変換し表示することが出来るようになる。
【００８３】
さらに、本発明は上述した実施の形態のみに限定されるものではなく、既に述べた本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。例えば、上述の実施の形態では、本発明をハードウェアの構成として説明したが、本発明は、これに限定されるものではない。本発明は、任意の処理を、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。
【００８４】
上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、ＤＶＤ（Digital Versatile Disc）、ＢＤ(Blu-ray(登録商標) Disc)、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【００８５】
上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
【００８６】
（付記１）  文字及び／又は画像を含む変換対象領域を撮影し、当該変換対象領域を含む撮影画像を表示部に表示する携帯端末と、
前記携帯端末からの前記撮影画像を受信するサーバとを備え、
前記サーバは、
前記受信した撮影画像における前記変換対象領域の位置を特定するための特定方法を決定し、
前記決定した特定方法を前記携帯端末へ送信し、
前記携帯端末は、
前記サーバから受信した前記特定方法に基づいて前記撮影画像内における前記変換対象領域の位置を特定し、
前記撮影画像で特定された前記変換対象領域を所定の形式に変換し、
前記変換した変換画像を前記表示部に表示する
撮影画像処理システム。
【００８７】
（付記２）  前記サーバは、前記特定方法として前記変換対象領域の特徴量の算出方法を決定し、
前記携帯端末は、前記特徴量の算出方法を使用して、前記撮影画像内における特徴量を算出し、当該算出結果に基づき、前記撮影画像内における前記変換対象領域の位置を特定する
付記１に記載の撮影画像処理システム。
【００８８】
（付記３）  前記撮影画像は、全体の一部の領域が撮影されたものであり、
前記携帯端末は、
前記全体領域の他の領域をさらに再撮影し、
当該再撮影した再撮影画像の前記変換対象領域の位置を特定する際に、前記一部の領域と同一の特定方法を用いる
付記１又は２に記載の撮影画像処理システム。
【００８９】
（付記４）  前記サーバは、
複数の前記全体領域のそれぞれについての複数の全体画像情報を予め記憶する記憶部をさらに備え、
前記受信した撮影画像の特徴量を算出し、
前記記憶部を参照し、前記算出した特徴量に基づいて前記複数の全体画像情報の中から前記撮影画像に対応する全体画像情報を選択し、
前記選択した全体画像情報に応じて特定方法を決定する
付記１乃至３のいずれか１項に記載の撮影画像処理システム。
【００９０】
（付記５）  前記サーバは、
前記記憶部は、各全体画像情報に含まれる前記変換対象領域についての当該全体画像情報内の位置情報をさらに記憶し、
前記選択した全体画像情報と、当該全体画像情報に含まれる前記変換対象領域の前記位置情報とを前記決定した特定方法と共に前記携帯端末へ送信し、
前記携帯端末は、
前記特定方法に基づいて、前記サーバから受信した全体画像情報内に占める当該撮影画像の領域を特定し、
前記特定された撮影画像の領域に含まれる前記受信した位置情報を用いて、当該撮影画像内における前記変換対象領域の位置を特定する
付記４に記載の撮影画像処理システム。
【００９１】
（付記６）  前記記憶部は、
複数の前記全体領域のそれぞれの所在地を示す所在地情報と各全体画像情報とを関連付けて記憶し、
前記携帯端末は、
当該携帯端末の所在地を示す所在地情報を取得し、
前記取得した所在地情報を前記撮影画像に付加して前記サーバへ送信し、
前記サーバは、
前記記憶部を参照し、前記算出した特徴量及び前記受信した所在地情報に基づいて前記撮影画像に対応する全体画像情報を選択する
付記４又は５に記載の撮影画像処理システム。
【００９２】
（付記７）  前記記憶部は、各全体画像情報に含まれる前記変換対象領域に対応する変換画像をさらに記憶し、
前記サーバは、
前記選択した全体画像情報に含まれる前記変換対象領域に対応する変換画像を前記決定した特定方法と共に前記携帯端末へ送信し、
前記携帯端末は、
前記変換対象領域を所定の形式に変換する際に、前記サーバから受信した前記変換画像を用いる
付記４乃至６のいずれか１項に記載の撮影画像処理システム。
【００９３】
（付記８）  前記記憶部は、
前記変換画像を複数の言語種別ごとに記憶し、
前記携帯端末は、
当該携帯端末の操作者における言語種別を前記撮影画像に付加して前記サーバに対して送信し、
前記サーバは、
前記記憶部を参照し、前記受信した言語種別に基づいて、前記特定した全体画像情報に含まれる前記変換対象領域に対応する変換画像を選択する
付記７に記載の撮影画像処理システム。
【００９４】
（付記９）  前記記憶部は、
前記変換画像を複数の年齢情報ごとに記憶し、
前記携帯端末は、
当該携帯端末の操作者における年齢情報を前記撮影画像に付加して前記サーバに対して送信し、
前記サーバは、
前記記憶部を参照し、前記受信した年齢情報に基づいて、前記特定した全体画像情報に含まれる前記変換対象領域に対応する変換画像を選択する
付記７に記載の撮影画像処理システム。
【００９５】
（付記１０）  携帯端末が、
文字及び／又は画像を含む変換対象領域を撮影し、
当該変換対象領域を含む撮影画像をサーバへ送信し、
前記サーバが、
前記受信した撮影画像における前記変換対象領域の位置を特定するための特定方法を決定し、
前記決定した特定方法を前記携帯端末へ送信し、
前記携帯端末が、
前記サーバから受信した前記特定方法に基づいて前記撮影画像内における前記変換対象領域の位置を特定し、
前記撮影画像で特定された前記変換対象領域を所定の形式に変換し、
前記変換した変換画像を前記表示部に表示する
撮影画像処理方法。
【００９６】
（付記１１）  文字及び／又は画像を含む変換対象領域を撮影する撮影部と、
当該変換対象領域を含む撮影画像をサーバへ送信する送信部と、
前記撮影画像における前記変換対象領域の位置を特定するための特定方法を前記サーバから受信する受信部と、
前記受信した前記特定方法に基づいて前記撮影画像内における前記変換対象領域の位置を特定する特定部と、
前記撮影画像で特定された前記変換対象領域を所定の形式に変換する変換部と、
前記変換した変換画像を表示する表示部と、
を備える携帯端末。
【００９７】
（付記１２）  文字及び／又は画像を含む変換対象領域を撮影した携帯端末から、当該変換対象領域を含む撮影画像を受信する受信部と、
前記受信した撮影画像における前記変換対象領域の位置を特定するための特定方法を決定する決定部と、
前記携帯端末に対して、前記決定した特定方法に基づいて前記撮影画像内における前記変換対象領域の位置を特定させ、前記撮影画像で特定された前記変換対象領域を所定の形式に変換させ、前記変換した変換画像を表示部に表示させるために、当該決定した特定方法を前記携帯端末へ送信する送信部と、
を備える情報処理装置。
【００９８】
（付記１３）  文字及び／又は画像を含む変換対象領域を撮影する処理と、
当該変換対象領域を含む撮影画像をサーバへ送信する処理と、
前記撮影画像における前記変換対象領域の位置を特定するための特定方法を前記サーバから受信する処理と、
前記受信した前記特定方法に基づいて前記撮影画像内における前記変換対象領域の位置を特定する処理と、
前記撮影画像で特定された前記変換対象領域を所定の形式に変換する処理と、
前記変換した変換画像を表示部に表示する処理と、
を携帯端末に実行させる制御プログラム。
【００９９】
（付記１４）  文字及び／又は画像を含む変換対象領域を撮影した携帯端末から、当該変換対象領域を含む撮影画像を受信する処理と、
前記受信した撮影画像における前記変換対象領域の位置を特定するための特定方法を決定する処理と、
前記携帯端末に対して、前記決定した特定方法に基づいて前記撮影画像内における前記変換対象領域の位置を特定させ、前記撮影画像で特定された前記変換対象領域を所定の形式に変換させ、前記変換した変換画像を表示部に表示させるために、当該決定した特定方法を前記携帯端末へ送信する処理と、
をコンピュータに実行させる制御プログラム。
【０１００】
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【０１０１】
この出願は、２０１１年４月１９日に出願された日本出願特願２０１１−０９３２３７を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【０１０２】
１００  撮影画像処理システム
１  携帯端末
１１  撮影部
１２  送信部
１３  受信部
１４  特定部
１５  変換部
１６  表示部
２  サーバ
２１  受信部
２２  決定部
２３  送信部
２００  撮影画像処理システム
３  カメラ付き携帯情報端末
３１  撮影部
３２  入力ＩＦ部
３３  位置情報取得部
３４  表示部
３５  通信部
３６  記憶部
３７  画像特徴算出部
３８  制御部
４  情報提供サーバ
４１  通信部
４２  画像特徴算出部
４３  画像内最適画像特徴検出部
４４  制御部
４５  記憶部
４６  画像照合部
４７  情報ＤＢ
５  ネットワーク
６  地図
【図１】
2012144124.tif 000003
【図２】
2012144124.tif 000004
【図３】
2012144124.tif 000005
【図４】
2012144124.tif 000006
【図５】
2012144124.tif 000007
【図６】
2012144124.tif 000008
【図７】
2012144124.tif 000009
【手続補正書】
【提出日】平成25年10月17日(2013.10.17)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
文字及び／又は画像を含む変換対象領域を撮影し、当該変換対象領域を含む撮影画像を表示手段に表示する携帯端末と、
前記携帯端末からの前記撮影画像を受信するサーバとを備え、
前記サーバは、
前記受信した撮影画像における前記変換対象領域の位置を特定するための特定方法を決定し、
前記決定した特定方法を前記携帯端末へ送信し、
前記携帯端末は、
前記サーバから受信した前記特定方法に基づいて前記撮影画像内における前記変換対象領域の位置を特定し、
前記撮影画像で特定された前記変換対象領域を所定の形式に変換し、
前記変換した変換画像を前記表示手段に表示する
撮影画像処理システム。
【請求項２】
前記サーバは、前記特定方法として前記変換対象領域の特徴量の算出方法を決定し、
前記携帯端末は、前記特徴量の算出方法を使用して、前記撮影画像内における特徴量を算出し、当該算出結果に基づき、前記撮影画像内における前記変換対象領域の位置を特定する
請求項１に記載の撮影画像処理システム。
【請求項３】
前記撮影画像は、全体の一部の領域が撮影されたものであり、
前記携帯端末は、
前記全体領域の他の領域をさらに再撮影し、
当該再撮影した再撮影画像の前記文字情報の表示領域を特定する際に、前記一部の領域と同一の特定方法を用いる
請求項１又は２に記載の撮影画像処理システム。
【請求項４】
前記サーバは、
複数の前記全体領域のそれぞれについての複数の全体画像情報を予め記憶する記憶手段をさらに備え、
前記受信した撮影画像の特徴量を算出し、
前記記憶手段を参照し、前記算出した特徴量に基づいて前記複数の全体画像情報の中から前記撮影画像に対応する全体画像情報を選択し、
前記選択した全体画像情報に応じて特定方法を決定する
請求項１乃至３のいずれか１項に記載の撮影画像処理システム。
【請求項５】
前記記憶手段は、各全体画像情報に含まれる前記変換対象領域についての当該全体画像情報内の位置情報をさらに記憶し、
前記サーバは、
前記選択した全体画像情報と、当該全体画像情報に含まれる前記変換対象領域の前記位置情報とを前記決定した特定方法と共に前記携帯端末へ送信し、
前記携帯端末は、
前記特定方法に基づいて、前記サーバから受信した全体画像情報内に占める当該撮影画像の領域を特定し、
前記特定された撮影画像の領域に含まれる前記受信した位置情報を用いて、当該撮影画像内における前記変換対象領域の位置を特定する
請求項４に記載の撮影画像処理システム。
【請求項６】
携帯端末が、
文字及び／又は画像を含む変換対象領域を撮影し、
当該変換対象領域を含む撮影画像をサーバへ送信し、
前記サーバが、
前記受信した撮影画像における前記変換対象領域の位置を特定するための特定方法を決定し、
前記決定した特定方法を前記携帯端末へ送信し、
前記携帯端末が、
前記サーバから受信した前記特定方法に基づいて前記撮影画像内における前記変換対象領域の位置を特定し、
前記撮影画像で特定された前記変換対象領域を所定の形式に変換し、
前記変換した変換画像を表示手段に表示する
撮影画像処理方法。
【請求項７】
文字及び／又は画像を含む変換対象領域を撮影する撮影手段と、
当該変換対象領域を含む撮影画像をサーバへ送信する送信手段と、
前記撮影画像における前記変換対象領域の位置を特定するための特定方法を前記サーバから受信する受信手段と、
前記受信した前記特定方法に基づいて前記撮影画像内における前記変換対象領域の位置を特定する特定手段と、
前記撮影画像で特定された前記変換対象領域を所定の形式に変換する変換手段と、
前記変換した変換画像を表示する表示手段と、
を備える携帯端末。
【請求項８】
文字及び／又は画像を含む変換対象領域を撮影した携帯端末から、当該変換対象領域を含む撮影画像を受信する受信手段と、
前記受信した撮影画像における前記変換対象領域の位置を特定するための特定方法を決定する決定手段と、
前記携帯端末に対して、前記決定した特定方法に基づいて前記撮影画像内における前記変換対象領域の位置を特定させ、前記撮影画像で特定された前記変換対象領域を所定の形式に変換させ、前記変換した変換画像を表示手段に表示させるために、当該決定した特定方法を前記携帯端末へ送信する送信手段と、
を備える情報処理装置。
【請求項９】
文字及び／又は画像を含む変換対象領域を撮影する処理と、
当該変換対象領域を含む撮影画像をサーバへ送信する処理と、
前記撮影画像における前記変換対象領域の位置を特定するための特定方法を前記サーバから受信する処理と、
前記受信した前記特定方法に基づいて前記撮影画像内における前記変換対象領域の位置を特定する処理と、
前記撮影画像で特定された前記変換対象領域を所定の形式に変換する処理と、
前記変換した変換画像を表示手段に表示する処理と、
を携帯端末に実行させる制御プログラム。
【請求項１０】
文字及び／又は画像を含む変換対象領域を撮影した携帯端末から、当該変換対象領域を含む撮影画像を受信する処理と、
前記受信した撮影画像における前記変換対象領域の位置を特定するための特定方法を決定する処理と、
前記携帯端末に対して、前記決定した特定方法に基づいて前記撮影画像内における前記変換対象領域の位置を特定させ、前記撮影画像で特定された前記変換対象領域を所定の形式に変換させ、前記変換した変換画像を表示部に表示させるために、当該決定した特定方法を前記携帯端末へ送信する処理と、
をコンピュータに実行させる制御プログラム。
【国際調査報告】
2012144124.tif 000010
2012144124.tif 000011