(57)【要約】【課題】文書上の各位置に関連付けられた情報のうち、特定の範囲に関連付けられた情報を表示する際の操作性を良くする。【解決手段】文書の撮影画像を解析して文書に埋め込まれた識別符号及び位置符号を取り出す画像解析部１１と、識別符号を復号して識別情報を取得する識別情報取得部１２と、位置符号を復号して位置情報を取得する位置情報取得部１３と、位置情報を補正して表示すべき画像の範囲を示す範囲情報を生成する範囲情報生成部１４と、文書に関連する関連画像の分類の選択内容を示す選択情報を取得する選択情報取得部１５と、識別情報と範囲情報と選択情報を送信して関連画像の特定の範囲の画像である表示画像を受信する通信制御部１７と、表示画像を表示する制御を行う表示制御部１６とを備える。【選択図】図６
2008092326.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像する撮像手段と、
画像を表示する表示手段と、
各位置に位置情報が埋め込まれた文書上の特定の箇所を前記撮像手段で撮像することにより得られた画像の中から、当該特定の箇所における当該位置情報を取得する取得手段と、
前記文書上の各位置に関連付けられた情報のうち、前記取得手段により取得された前記位置情報を用いて決定される特定の範囲に関連付けられた情報を前記表示手段が表示するよう制御する制御手段と
を備えたことを特徴とする携帯端末装置。
【請求項２】
前記取得手段により取得された前記位置情報と、前記撮像手段と前記表示手段の位置関係に関する情報とを用いて、前記特定の範囲を決定する決定手段を更に備えたことを特徴とする請求項１記載の携帯端末装置。
【請求項３】
前記制御手段は、前記特定の範囲に関連付けられた情報を、前記文書の当該特定の範囲内の部分の画像に重ねて前記表示手段が表示するよう制御することを特徴とする請求項１記載の携帯端末装置。
【請求項４】
前記制御手段は、前記特定の範囲に関連付けられた情報のうち、ユーザにより選択された分類に属する情報を前記表示手段が表示するよう制御することを特徴とする請求項１記載の携帯端末装置。
【請求項５】
各位置に位置情報が埋め込まれた文書上の特定の箇所を撮像するステップと、
撮像することにより得られた画像の中から前記特定の箇所における前記位置情報を取得するステップと、
取得された前記位置情報を用いて前記文書上の特定の範囲を決定するステップと、
前記文書上の各位置に関連付けられた情報のうち、前記特定の範囲に関連付けられた情報を表示するステップと
を含むことを特徴とする情報表示方法。
【請求項６】
コンピュータに、
各位置に位置情報が埋め込まれた文書上の特定の箇所を撮像手段で撮像することにより得られた画像の中から、当該特定の箇所における当該位置情報を取得する機能と、
前記文書上の各位置に関連付けられた情報のうち、取得された前記位置情報を用いて決定される特定の範囲に関連付けられた情報を表示手段に表示する機能と
を実現させるためのプログラム。
【請求項７】
取得された前記位置情報と、前記撮像手段と前記表示手段の位置関係に関する情報とを用いて、前記特定の範囲を決定する機能を前記コンピュータに更に実現させるための請求項６記載のプログラム。
【請求項８】
前記表示する機能では、前記特定の範囲に関連付けられた情報を、前記文書の当該特定の範囲内の部分の画像に重ねて表示することを特徴とする請求項６記載のプログラム。
【請求項９】
前記表示する機能では、前記特定の範囲内に関連付けられた情報のうち、ユーザにより選択された分類に属する情報を表示することを特徴とする請求項６記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯端末装置、情報表示方法、及びプログラムに関する。
【背景技術】
【０００２】
第１の画像情報を有する基体からコード化された埋め込みデータをキャプチャし、このコード化された埋め込みデータを復号化して、位置合わせ情報を展開し、この位置合わせ情報に基づいて第１の情報と位置合わせされた第２の情報をディスプレイする方法が、知られている(例えば、特許文献１参照)。
【０００３】
この特許文献１は、この方法を実現する第１のシステムとして、以下の構成を開示する。即ち、埋め込みデータを上に有する基体は、半透明のミラーの下に位置決めされる。基体からの画像は画像キャプチャデバイスによってキャプチャされる。画像キャプチャデバイスはキャプチャ画像をデコーダへ送り、デコーダは画像を復号化し、キャプチャ画像からコードを決定する。デコーダはコードを画像ジェネレータへ送る。画像ジェネレータはコードを処理し、これらのコードに基づいて画像情報を生成/検索し、この画像情報を半透明ミラーへ送る。半透明のミラーを見下ろすオブザーバは、基体からの画像上にオーバーレイされる、画像ジェネレータによって生成された画像を見る。
【０００４】
また、この方法を実現する第２のシステムとして、以下の構成を開示する。即ち、基体からの画像は、半透明のミラーから投影表面へ反射される。基体からの画像は、画像キャプチャデバイスによってもキャプチャされる。画像キャプチャデバイスは、この画像をデコーダへ転送し、デコーダは、画像を処理して、位置合わせ情報を復号化し、更なる情報を生成すべきか否かを判定する。その判定に基づいて、デコーダは信号を画像ジェネレータへパスして、画像ジェネレータが画像を生成するように仕向ける。画像ジェネレータが投影表面へ投影される画像を生成する。投影表面をビューするオブザーバは、画像ジェネレータによって生成された画像にオーバーレイされる基体からの画像を見る。
【０００５】
【特許文献１】特開２００１−３１２７３３号公報(図８、９)
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ここで、従来、文書の各位置に関連付けられた情報のうち、特定の範囲に関連付けられた情報を表示する場合に、文書を動かすことなくその特定の範囲を指定することはできなかった。従って、そのような情報を表示する際の操作性が良くないという課題があった。
【０００７】
本発明は、以上のような背景の下でなされたものであって、その目的は、文書上の各位置に関連付けられた情報のうち、特定の範囲に関連付けられた情報を表示する際の操作性を良くすることにある。
【課題を解決するための手段】
【０００８】
請求項１に記載の発明は、
被写体を撮像する撮像手段と、
画像を表示する表示手段と、
各位置に位置情報が埋め込まれた文書上の特定の箇所を前記撮像手段で撮像することにより得られた画像の中から、当該特定の箇所における当該位置情報を取得する取得手段と、
前記文書上の各位置に関連付けられた情報のうち、前記取得手段により取得された前記位置情報を用いて決定される特定の範囲に関連付けられた情報を前記表示手段が表示するよう制御する制御手段と
を備えたことを特徴とする携帯端末装置である。
請求項２に記載の発明は、
前記取得手段により取得された前記位置情報と、前記撮像手段と前記表示手段の位置関係に関する情報とを用いて、前記特定の範囲を決定する決定手段を更に備えたことを特徴とする請求項１記載の携帯端末装置である。
請求項３に記載の発明は、
前記制御手段は、前記特定の範囲に関連付けられた情報を、前記文書の当該特定の範囲内の部分の画像に重ねて前記表示手段が表示するよう制御することを特徴とする請求項１記載の携帯端末装置である。
請求項４に記載の発明は、
前記制御手段は、前記特定の範囲に関連付けられた情報のうち、ユーザにより選択された分類に属する情報を前記表示手段が表示するよう制御することを特徴とする請求項１記載の携帯端末装置である。
請求項５に記載の発明は、
各位置に位置情報が埋め込まれた文書上の特定の箇所を撮像するステップと、
撮像することにより得られた画像の中から前記特定の箇所における前記位置情報を取得するステップと、
取得された前記位置情報を用いて前記文書上の特定の範囲を決定するステップと、
前記文書上の各位置に関連付けられた情報のうち、前記特定の範囲に関連付けられた情報を表示するステップと
を含むことを特徴とする情報表示方法である。
請求項６に記載の発明は、
コンピュータに、
各位置に位置情報が埋め込まれた文書上の特定の箇所を撮像手段で撮像することにより得られた画像の中から、当該特定の箇所における当該位置情報を取得する機能と、
前記文書上の各位置に関連付けられた情報のうち、取得された前記位置情報を用いて決定される特定の範囲に関連付けられた情報を表示手段に表示する機能と
を実現させるためのプログラムである。
請求項７に記載の発明は、
取得された前記位置情報と、前記撮像手段と前記表示手段の位置関係に関する情報とを用いて、前記特定の範囲を決定する機能を前記コンピュータに更に実現させるための請求項６記載のプログラムである。
請求項８に記載の発明は、
前記表示する機能では、前記特定の範囲に関連付けられた情報を、前記文書の当該特定の範囲内の部分の画像に重ねて表示することを特徴とする請求項６記載のプログラムである。
請求項９に記載の発明は、
前記表示する機能では、前記特定の範囲内に関連付けられた情報のうち、ユーザにより選択された分類に属する情報を表示することを特徴とする請求項６記載のプログラムである。
【発明の効果】
【０００９】
請求項１の発明は、文書の各位置に関連付けられた情報のうち、特定の範囲に関連付けられた情報を表示する場合に、文書を動かすことなくその特定の範囲を指定することができるので、本構成を有していない場合に比較して、そのような情報を表示する際の操作性が良くなるという効果を有する。
請求項２の発明は、文書上の特定の箇所を撮像した際の特定の範囲を携帯端末装置の構造に応じて決定できるようになるという効果を有する。
請求項３の発明は、文書の特定の範囲内の部分の画像も重ねて表示できるので、表示された情報を元の文書との関連で把握できるようになるという効果を有する。
請求項４の発明は、複数種類の情報のうちユーザが希望する情報を表示できるようになるという効果を有する。
請求項５の発明は、文書の各位置に関連付けられた情報のうち、特定の範囲に関連付けられた情報を表示する場合に、撮像する箇所に関わらずその特定の範囲を決定することができるので、本構成を有していない場合に比較して、適切な範囲における情報を表示できるようになるという効果を有する。
請求項６の発明は、文書の各位置に関連付けられた情報のうち、特定の範囲に関連付けられた情報を表示する場合に、撮像する箇所に関わらずその特定の範囲を決定することができるので、本構成を有していない場合に比較して、適切な範囲における情報を表示できるようになるという効果を有する。
請求項７の発明は、文書上の特定の箇所を撮像した際の特定の範囲を携帯端末装置の構造に応じて決定できるようになるという効果を有する。
請求項８の発明は、文書の特定の範囲内の部分の画像も重ねて表示できるので、表示された情報を元の文書との関連で把握できるようになるという効果を有する。
請求項９の発明は、複数種類の情報のうちユーザが希望する情報を表示できるようになるという効果を有する。
【発明を実施するための最良の形態】
【００１０】
以下、添付図面を参照して、本発明を実施するための最良の形態(以下、「実施の形態」という)について詳細に説明する。
図１は、本実施の形態が適用されるコンピュータシステムの構成を示している。
図示するように、このコンピュータシステムは、携帯電話１０と、サーバ２０とが、基地局８０及びネットワーク９０を介して接続されている。
【００１１】
携帯電話１０は、一般的な携帯電話であり、一般ユーザが所持する。但し、本実施の形態において、携帯電話１０は、撮像機能を備えた所謂「カメラ付き携帯電話」であるものとする。また、音声により通信する機能の他に、サーバ２０との間でデータ通信を行うための機能を有するものとする。
サーバ２０は、パーソナルコンピュータやワークステーション、その他のコンピュータにて実現され、携帯電話１０向けのサービスを提供する企業等の管理センター等に設置される。
基地局８０は、携帯電話１０をネットワーク９０に接続させるための装置である。
ネットワーク９０は、サーバ２０と基地局８０との間に存在するネットワークである。尚、ネットワーク９０は、携帯電話１０用のパケット通信網と、インターネットとを含むが、図ではこれらを区別せずに示している。
【００１２】
次に、図１に示した携帯電話１０及びサーバ２０のハードウェア構成について、図２を参照して説明する。
図２(ａ)は、携帯電話１０のハードウェア構成の例を模式的に示した図である。
図示するように、携帯電話１０は、演算手段であるＣＰＵ(Central Processing Unit：中央処理装置)１０ａと、記憶手段であるメモリ１０ｂと、ＬＣＤ(Liquid Crystal Display)等のディスプレイを含む表示機構１０ｃと、操作キー等の入力デバイス１０ｄと、マイクロフォン等の音声入力機構１０ｅと、スピーカ等の音声出力機構１０ｆとを備える。また、被写体を撮像するカメラを含む撮像機構１０ｇを備える。更に、基地局８０を介して無線通信を行うための無線回路１０ｈ及びアンテナ１０ｉを備える。ここで、無線回路には、図示しないが、無線で送受信されるデジタルデータの信号処理を行なうベースバンドＬＳＩが含まれるものとする。
【００１３】
また、図２(ｂ)は、サーバ２０のハードウェア構成の例を模式的に示した図である。
図示するように、サーバ２０は、演算手段であるＣＰＵ２０ａと、記憶手段であるメインメモリ２０ｂ及び磁気ディスク装置(ＨＤＤ：Hard Disk Drive)２０ｃとを備える。ここで、ＣＰＵ２０ａは、ＯＳ(Operating System)やアプリケーション等の各種ソフトウェアを実行し、上述した各機能を実現する。また、メインメモリ２０ｂは、各種ソフトウェアやその実行に用いるデータ等を記憶する記憶領域であり、磁気ディスク装置２０ｃは、各種ソフトウェアに対する入力データや各種ソフトウェアからの出力データ等を記憶する記憶領域である。
更に、サーバ２０は、外部との通信を行うための通信Ｉ/Ｆ２０ｄと、ビデオメモリやディスプレイ等からなる表示機構２０ｅと、キーボードやマウス等の入力デバイス２０ｆとを備える。
【００１４】
ところで、本実施の形態では、まず、携帯電話１０のカメラを用いて文書上の特定の箇所を撮影する。そして、その特定の箇所に応じて決定された特定の範囲に関連する情報をサーバ２０から取得し、携帯電話１０のディスプレイに表示する。
ここで、撮影対象の文書は、紙等の媒体に画像が形成されたものであるが、関連する情報を特定できるようにその文書の識別情報を表すコード画像が埋め込まれている。また、撮影箇所を認識できるように、文書上の各位置を特定する位置情報を表すコード画像も埋め込まれている。
【００１５】
そこで、このコード画像について説明しておく。
図３は、コード画像の元となるコードパターンについて説明するための図である。
まず、コードパターンを構成するビットパターンについて説明する。
図３(ａ)に、ビットパターンの配置の一例を示す。
ビットパターンとは、情報埋め込みの最小単位である。ここでは、図３(ａ)に示すように、９箇所の中から選択した２箇所にビットを配置する。図では、黒の四角が、ビットが配置された位置を示し、斜線の四角が、ビットが配置されていない位置を示している。９箇所の中から２箇所を選択する組み合わせは、３６(＝９Ｃ２)通りある。従って、このような配置方法により、３６通り(約５．２ビット)の情報を表現することができる。
【００１６】
ところで、図３(ａ)に示した最小の四角は、６００ｄｐｉにおける２ドット×２ドットの大きさを有している。６００ｄｐｉにおける１ドットの大きさは０．０４２３ｍｍなので、この最小の四角の一辺は、８４．６μｍ(＝０．０４２３ｍｍ×２)である。コードパターンを構成するドットは、大きくなればなるほど目に付きやすくなるため、できるだけ小さいほうが好ましい。ところが、あまり小さくすると、プリンタで印刷できなくなってしまう。そこで、ドットの大きさとして、５０μｍより大きく１００μｍより小さい上記の値を採用している。これにより、プリンタで印刷可能な最適な大きさのドットを形成することができる。つまり、８４．６μｍ×８４．６μｍが、プリンタで安定的に形成可能な最小の大きさなのである。
尚、ドットをこのような大きさにすることで、１つのビットパターンの一辺は、約０．５ｍｍ(＝０．０４２３ｍｍ×２×６)となる。
【００１７】
また、このようなビットパターンから構成されるコードパターンについて説明する。
図３(ｂ)に、コードパターンの配置の一例を示す。
ここで、図３(ｂ)に示した最小の四角が、図３(ａ)に示したビットパターンに相当する。尚、図３(ａ)では、１つのビットパターンで３６通りの情報を表現できるものとして説明したが、このコードパターンにおいて、１つのビットパターンは、同期符号を除き、３２通り(５ビット)の情報を表現するものとする。
【００１８】
そして、識別情報を符号化した識別符号は、１６(＝４×４)個のビットパターンを使用して埋め込まれる。また、Ｘ方向の位置情報を符号化したＸ位置符号と、Ｙ方向の位置情報を符号化したＹ位置符号とは、それぞれ、４個のビットパターンを使用して埋め込まれる。更に、左上角部に、コードパターンの位置と回転を検出するための同期符号が、１つのビットパターンを使用して埋め込まれる。
尚、１つのコードパターンの大きさは、ビットパターンの５個分の幅に等しいため、約２．５ｍｍとなる。本実施の形態では、このように生成したコードパターンを画像化したコード画像を、用紙全面に配置する。
【００１９】
尚、識別情報及び位置情報の具体的な符号化方法については、ここでは述べなかったが、次のような方法で符号化を行う。
まず、識別情報の符号化には、ブロック符号化方式のＲＳ(リードソロモン)符号が使用される。図３で説明した通り、本実施の形態では、５ビットの情報を表現できるビットパターンを用いて情報を埋め込む。従って、情報の誤りも５ビット単位で発生するため、ブロック符号化方式で符号化効率が良いＲＳ符号を使用している。但し、符号化方式はＲＳ符号に限定するものでなく、その他の符号化方式、例えば、ＢＣＨ符号等を使用することもできる。
また、位置情報の符号化には、擬似乱数系列の一種であるＭ系列符号が使用される。ここで、Ｍ系列とは、Ｋ段の線形シフトレジスタで発生できる最大周期の系列であり、２Ｋ−１の系列長をもつ。このＭ系列から取り出した任意の連続したＫビットは、同じＭ系列中の他の位置に現れない性質を持つ。そこで、この性質を利用して位置情報を符号化する。
【００２０】
次に、本実施の形態における概要動作について説明する。
図４は、本実施の形態の概要動作を説明するための図である。
本実施の形態では、まず、ユーザが、携帯電話１０を用いて文書を撮影し、画像を得る(Ａ)。これにより、携帯電話１０は、撮影した画像に埋め込まれた識別符号及び位置符号を復号し、識別情報及び位置情報を得る(Ｂ)。また、このとき、携帯電話１０は、撮影した画像に関連する画像(以下、「関連画像」という)の分類を選択するための画面を表示し、ユーザが、画面上で分類を選択する(Ｃ)。
【００２１】
すると、情報はサーバ２０に送信される。ここで、サーバ２０には、撮影対象となった文書の電子データである文書画像と、この文書画像に関連する関連画像とが記憶されている。そこで、サーバ２０は、受信した情報に従い、文書画像と関連画像とをデータベースから検索する(Ｄ)。そして、検索された画像から携帯電話１０のディスプレイに対応する範囲の画像を切り出し、これを表示画像とする(Ｅ)。例えば、文書のある箇所を真上から撮影したとすると、そのときにディスプレイの真下に存在する範囲の画像を切り出して表示画像とする。
【００２２】
そして、サーバ２０は、携帯電話１０にこの表示画像を送信し、携帯電話１０では、この表示画像がディスプレイに表示される(Ｆ)。
尚、このＡからＦまでの処理は、携帯電話１０の移動に応じて繰り返される(Ｇ)。即ち、携帯電話１０が文書上を移動する間、一定の時間間隔で文書を撮影するよう自動制御される。或いは、携帯電話１０を移動させながらユーザが撮影の指示を行うことによって撮影するようにしてもよい。
【００２３】
このような概略動作により、携帯電話１０のディスプレイには、図５に示すような画像が表示される。尚、ここでは、撮影対象の文書として地図を例示する。
図５(ａ)は、撮影対象となっている地図の上に関連画像を合成して表示した例を示したものである。元の地図に関連画像を付加して表示することから、以下では、このような表示形態を「付加型」と称する。尚、図４は、元の文書の電子データである文書画像とその文書画像に関連する関連画像とを合わせて表示画像としているので、この「付加型」について説明したものである。
一方、図５(ｂ)は、撮影対象となっている地図は表示せず、関連画像のみを表示した例を示したものである。あたかも撮影対象となっている地図を透視してその裏に隠れている関連画像を表示しているように感じられることから、以下では、このような表示形態を「透視型」と称する。
【００２４】
次に、本実施の形態における携帯電話１０の機能構成について説明する。
図６は、携帯電話１０の機能構成を示したブロック図である。
図示するように、携帯電話１０は、画像解析部１１と、識別情報取得部１２と、位置情報取得部１３と、範囲情報生成部１４と、選択情報取得部１５と、表示制御部１６と、通信制御部１７とを備える。
【００２５】
画像解析部１１は、撮像機構１０ｇが撮影した画像を取得し、その画像を解析して識別符号及び位置符号を取り出す。
識別情報取得部１２は、画像解析部１１が取り出した識別符号を復号して識別情報を取得する。
位置情報取得部１３は、画像解析部１１が取り出した位置符号を復号して位置情報を取得する。
範囲情報生成部１４は、位置情報取得部１３が取得した位置情報を、表示機構１０ｃと撮像機構１０ｇの位置関係に基づいて補正し、撮影時に表示機構１０ｃに対応していた範囲を示す範囲情報を生成する。
選択情報取得部１５は、同じ文書画像に対して複数の分類に属する関連画像が存在する場合において、ユーザによる分類の選択に関する情報(以下、「選択情報」という)を取得する。
表示制御部１６は、表示機構１０ｃが関連画像等を表示する際の制御を行う。
通信制御部１７は、無線回路１０ｈがアンテナ１０ｉ、基地局８０、ネットワーク９０を介してサーバ２０と通信する際の制御を行う。
【００２６】
尚、これらの機能は、ソフトウェアとハードウェア資源とが協働することにより実現される。即ち、ＣＰＵ１０ａが、画像解析部１１、識別情報取得部１２、位置情報取得部１３、範囲情報生成部１４、選択情報取得部１５、表示制御部１６、通信制御部１７の各機能を実現するプログラムを、メモリ１０ｂから読み込むことにより、これらの機能を実現する。
【００２７】
次に、本実施の形態におけるサーバ２０の機能構成について説明する。
図７は、サーバ２０の機能構成を示したブロック図である。
図示するように、サーバ２０は、通信制御部２１と、検索部２２と、抽出部２３と、データベース２４とを備える。
通信制御部２１は、通信Ｉ/Ｆ２０ｄが基地局８０及びネットワーク９０を介して携帯電話１０と通信する際の制御を行う。
検索部２２は、通信制御部２１が受信した情報に基づいてデータベース２４を検索し、検索結果を通信制御部２１に返却する。
抽出部２３は、検索部２２による検索結果から特定の範囲を抽出する。
データベース２４は、文書画像と関連画像とを、文書の識別情報と、関連画像に関する分類とに基づいて検索可能なように記憶している。
【００２８】
尚、これらの機能は、ソフトウェアとハードウェア資源とが協働することにより実現される。即ち、ＣＰＵ２０ａが、通信制御部２１、検索部２２、抽出部２３の各機能を実現するプログラムを、例えば磁気ディスク装置２０ｃからメインメモリ２０ｂに読み込むことにより、これらの機能を実現する。
また、データベース２４は、例えば磁気ディスク装置２０ｃを用いて実現することができる。
【００２９】
以下、このデータベース２４の内容について具体的に説明する。尚、ここでも、文書として地図を例示する。
まず、データベース２４においては、地図を一意に識別する識別情報である地図ＩＤごとに、地図画像及び関連画像が記憶されている。図７では、地図ＩＤ「１００１」、「１００２」、…について、地図画像及び関連画像を例示している。
ここで、地図画像とは、撮影対象となっている地図を予め電子化した電子データである。
また、関連画像とは、この地図画像に含まれるのと全く同じ地域に関する他の情報を電子化した電子データである。
【００３０】
この関連画像としては、例えば、図７のデータベース２４内の左側に示すように、バス路線図、電車路線図、一般道路図、高速道路図等の画像がある。
ところで、これらの関連画像は、地図画像に関連する他の情報を予め画像データとして作成し記憶するものであるが、関連画像の記憶方法は必ずしもこれには限られない。
即ち、図７のデータベース２４内の右側に示すような記憶方法も考えられる。ここでは、地図画像に関連する他の情報を、画像データとしてではなく、座標値と施設名の対応情報として記憶している。この場合は、座標値で示される位置に対応する施設があることを示す画像データを必要に応じて作成することで、関連画像が動的に得られることになる。
【００３１】
次に、本実施の形態の動作について詳細に説明する。
図８は、本実施の形態における携帯電話１０とサーバ２０の動作を示したシーケンス図である。
携帯電話１０では、まず、撮像機構１０ｇが撮影した画像を、画像解析部１１が取得する(ステップ１０１)。そして、この取得した画像を解析する(ステップ１０２)。
【００３２】
ここで、画像解析部１１が行う処理には、次のようなものがある。
まず、取得した画像において、文書の画像(例えば、地図自体の画像)と、コード画像とを切り分ける処理がある。例えば、文書を印刷するのに用いていない色でコード画像を印刷しておけば、この色を検出することで切り分けを行うことは可能である。
或いは、撮像機構１０ｇにおけるイメージセンサとして、赤外光用のセンサを設けることも考えられる。この場合、文書は可視トナーで印刷し、コード画像は赤外領域に吸収波長を持つ不可視トナーで印刷する。そして、赤外ＬＥＤにより赤外光を照射し、その反射光を赤外光用のイメージセンサで受光することにより、文書の画像とコード画像を切り分けることができる。
【００３３】
次に、切り分けられたコード画像に含まれるノイズを除去するための処理がある。ここで、ノイズとしては、ＣＭＯＳ感度のばらつきや電子回路により発生するノイズ等がある。ノイズを除去するために如何なる処理を行うかは、撮像機構１０ｇの特性に応じて決定すべきである。例えば、ぼかし処理やアンシャープマスキング等の先鋭化処理を適用することができる。
【００３４】
その次に行う処理としては、画像からドットパターン(ドット画像の位置)を検出する処理がある。例えば、２値化処理によりドットパターン部と背景部とを切り分け、２値化された個々の画像位置からドットパターンを検出することができる。２値化画像にノイズ成分が多数含まれる場合は、例えば、２値化画像の面積や形状によりドットパターンの判定を行うフィルタ処理を組み合わせる必要がある。
また、検出したドットパターンを２次元配列上のデジタルデータに変換する。例えば、２次元配列上で、ドットがある位置を「１」、ドットがない位置を「０」というように変換する。
【００３５】
次いで、デジタルデータから、図３(ａ)に示した２つのドットの組み合わせからなるビットパターンを検出する処理がある。例えば、ビットパターンに対応するブロックの境界位置を２次元配列上で動かし、ブロック内に含まれるドットの数が２つになるような境界位置を検出することにより、ビットパターンを検出することができる。
このようにしてビットパターンが検出されると、ビットパターンの種類を参照することにより、同期符号を検出する。そして、同期符号からの位置関係に基づいて、識別符号及び位置符号を検出する。
【００３６】
その後、識別情報取得部１２は、識別符号を復号して識別情報を取得し、通信制御部１７に受け渡す(ステップ１０３)。尚、識別情報は、識別符号に対してＲＳ復号処理を施すことで得られる。
また、位置情報取得部１３は、位置符号を復号して位置情報を取得し、範囲情報生成部１４に受け渡す(ステップ１０４)。尚、位置情報は、読み出した部分系列の位置を、画像生成時に使用したＭ系列と比較することで得られる。
次に、範囲情報生成部１４は、ステップ１０４で取得した位置情報と、表示機構１０ｃと撮像機構１０ｇの位置関係に関する情報とに基づいて、携帯電話１０のディスプレイに表示すべき画像の範囲を求め、通信制御部１７に受け渡す(ステップ１０５)。尚、表示機構１０ｃと撮像機構１０ｇの位置関係に関する情報は、メモリ１０ｂに記憶されているものとする。
【００３７】
ここで、携帯電話１０のディスプレイに表示すべき画像の範囲の求め方について具体的に説明する。
図９(ａ)に、携帯電話１０を水平にして上部から見た状態を示している。
図示するように、例えば、カメラ１８のレンズの中心点を原点Ｏとし、ディスプレイ１９の横枠に平行な方向にＸ軸をとり、縦枠に平行な方向にＹ軸をとる。そして、ディスプレイ１９の左上角の点をＡ、右上角の点をＢ、左下角の点をＣ、右下角の点をＤとする。
一方、携帯電話１０で文書を撮影する際には、文書上に次のように座標を設定する。
即ち、携帯電話１０のカメラ１８による撮影範囲３８の中心点を原点Ｏ’とし、撮影範囲３８の横枠に平行な方向にＸ軸をとり、縦枠に平行な方向にＹ軸をとる。そして、この文書上の座標において、携帯電話１０における点Ａ、Ｂ、Ｃ、Ｄにそれぞれ対応する点Ａ’、Ｂ’、Ｃ’、Ｄ’を求める。そして、これらの点Ａ’、Ｂ’、Ｃ’、Ｄ’で囲まれた範囲を表示範囲３９とする。
【００３８】
再び図８に戻って本実施の形態の動作の説明を続ける。
識別情報取得部１２により識別情報が取得され、範囲情報生成部１４により範囲情報が生成されると、選択情報取得部１５が、表示制御部１６に対し、関連画像に関する分類を選択するための選択肢を表示するよう指示する。すると、表示制御部１６による制御の下、表示機構１０ｃが、関連画像に関する分類を選択するための選択肢を表示する(ステップ１０６)。
そこで、ユーザが、関連画像に関する特定の分類を選択すると、選択情報取得部１５は、その選択内容を示す選択情報を取得し、通信制御部１７に受け渡す(ステップ１０７)。尚、このとき、ユーザは、携帯電話１０で画像を表示する際の表示形態も指定する。そして、選択情報取得部１５は、この表示形態の指定も選択情報に含めて通信制御部１７に受け渡す。
これにより、通信制御部１７は、無線回路１０ｈを制御し、アンテナ１０ｉ、基地局８０、ネットワーク９０を介して、識別情報、範囲情報、選択情報をサーバ２０に送信する(ステップ１０８)。
【００３９】
これにより、サーバ２０では、通信Ｉ/Ｆ２０ｄが、識別情報、範囲情報、選択情報を受信し、通信制御部２１を介してこれらの情報を検索部２２に渡す(ステップ２０１)。
次に、検索部２２は、識別情報及び選択情報をキーにデータベース２４を検索し、関連画像を検索する(ステップ２０２)。即ち、識別情報に対応し、かつ、選択情報が示す分類に属する関連画像を特定する。例えば、ユーザが携帯電話１０を用いて地図ＩＤ「１００１」の地図を撮影し、表示したい関連画像として「バス路線図」を選択したとすると、地図ＩＤ「１００１」に対応付けられたバス路線図の画像を特定する。また、ユーザが携帯電話１０を用いて地図ＩＤ「１００２」の地図を撮影し、表示したい関連画像として「施設名」を選択したとすれば、地図ＩＤ「１００２」に対応付けられた施設の画像(「Ｃ銀行本店」、「△△デパート」等の場所を示した画像)を特定する。
【００４０】
次いで、検索部２２は、表示形態が「透視型」であるか「付加型」であるかを判定する(ステップ２０３)。
ここで、表示形態が「透視型」であると判定された場合は、検索された関連画像をそのまま抽出部２３に受け渡す。尚、このとき、抽出部２３には、通信制御部２１から渡された範囲情報も渡される。
一方、表示形態が「付加型」であると判定された場合は、識別情報をキーに再びデータベース２４を検索し、地図画像を検索する(ステップ２０４)。そして、ステップ２０２で検索した関連画像とこの地図画像とを合成し、この合成画像を抽出部２３に受け渡す(ステップ２０５)。尚、このとき、抽出部２３には、通信制御部２１から渡された範囲情報も渡される。
【００４１】
すると、抽出部２３は、検索部２２から渡された画像から、範囲情報が示す範囲を切り出す(ステップ２０６)。そして、抽出部２３は、これを携帯電話１０に表示すべき表示画像として検索部２２に返却し、検索部２２は、この表示画像を通信制御部２１に受け渡す。その後、通信制御部２１が、通信Ｉ/Ｆ２０ｄを介して表示画像を携帯電話１０に送信する(ステップ２０７)。
【００４２】
これにより、携帯電話１０では、アンテナ１０ｉ、無線回路１０ｈを介して、通信制御部１７が表示画像を取得する(ステップ１０９)。そして、表示画像は表示制御部１６に渡され、表示制御部１６による制御の下、表示機構１０ｃが、表示画像を表示する(ステップ１１０)。
【００４３】
以上、本実施の形態について述べてきた。
尚、本実施の形態では、文書から取得した位置情報に基づいて、表示すべき画像の範囲を示す範囲情報を生成する処理を、携帯電話１０内の範囲情報生成部１４で行う構成とした。しかしながら、範囲情報の生成は、サーバ２０にて行うことも可能である。その場合、携帯電話１０は、識別情報と、位置情報と、選択情報と、自身の機種を特定する情報とをサーバ２０に送る。ここで、サーバ２０の磁気ディスク装置２０ｃには、携帯電話１０の機種と、その構造に関する情報(特に、表示機構１０ｃと撮像機構１０ｇの位置関係)との対応関係が記憶されているものとする。これにより、サーバ２０は、情報を送信した携帯電話１０の構造に関する情報を取得し、この情報と位置情報とに基づき、切り出すべき画像の範囲を特定する。
【００４４】
また、本実施の形態では、文書画像と関連画像を合成した後に、合成画像から特定の範囲を切り出して表示画像を生成するようにしたが、必ずしもこのような順序で処理を行う必要はない。即ち、文書画像から特定の範囲を切り出すと共に、関連画像からも同じ範囲を切り出し、これらを合成して表示画像を生成するようにしてもよい。
【００４５】
ここで、本実施の形態に到った背景について簡単に説明しておく。
昨今、多くの携帯電話にはカメラが付属しており、このカメラは、写真の撮影だけでなく、バーコードやＱＲコード等の入力装置として利用されることも多くなっている。例えば、地図上にＱＲコードが印刷してあり、このコードを入力することで地図上の施設等の情報を入手することも可能となっている。
しかしながら、これらのコードは、地図上のある一地点の情報を表現しているに過ぎない。つまり、地図の特性を活かした２次元の情報は表現できていない。２次元の情報としては、例えば、２地点間を結ぶバス経路等があるが、このような情報は表現できていない。
そこで、本実施の形態では、連続的な情報の埋め込みが可能なコードを利用することで、連続的な２次元情報を表現することができるようにしたのである。
【００４６】
ところで、本実施の形態では、文書として地図を例示し、関連画像として、地図上に表示すると有効なバス路線図や施設名を例示した。しかしながら、本実施の形態は、他の文書に対しても応用可能である。
例えば、文書を、ある言語で書かれたテキスト文書とし、関連画像を、そのテキスト文書を他の言語に翻訳した結果とすることも可能である。
また、文書を図面とし、関連画像をその図面に対するコメントとすることも考えられる。
【００４７】
また、本実施の形態では、文書を撮影可能で、画像を表示可能で、かつ、文書上で簡単に移動できるデバイスとして、カメラ付き携帯電話を想定したが、同じように撮像機能と表示機能とを有するものであれば、如何なる携帯端末装置を利用してもよい。
更に、本実施の形態では、文書画像及び関連画像を企業等のサーバから取得する構成としたが、このような構成には限らない。例えば、サーバと同様の機能を、携帯電話と同じく一般ユーザが有するパーソナルコンピュータにて実現してもよい。或いは、携帯端末装置の記憶容量が許すのであれば、携帯端末装置が文書画像及び関連画像を記憶するようにしてもよい。
【００４８】
尚、本実施の形態を実現するプログラムは、通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。
【図面の簡単な説明】
【００４９】
【図１】本発明の実施の形態が適用されるコンピュータシステムの構成を示した図である。
【図２】本発明の実施の形態における携帯電話及びサーバのハードウェア構成を示した図である。
【図３】本発明の実施の形態で使用するコードパターンを説明するための図である。
【図４】本発明の実施の形態における概略動作を説明するための図である。
【図５】本発明の実施の形態において携帯電話に表示される画像の例を示した図である。
【図６】本発明の実施の形態における携帯電話の機能構成を示したブロック図である。
【図７】本発明の実施の形態におけるサーバの機能構成を示したブロック図である。
【図８】本発明の実施の形態における携帯電話及びサーバの動作を示したシーケンス図である。
【図９】本発明の実施の形態における範囲情報の生成処理について説明するための図である。
【符号の説明】
【００５０】
１０…携帯電話、２０…サーバ、８０…基地局、９０…ネットワーク
【図１】
2008092326.tif 000003
【図２】
2008092326.tif 000004
【図３】
2008092326.tif 000005
【図４】
2008092326.tif 000006
【図５】
2008092326.tif 000007
【図６】
2008092326.tif 000008
【図７】
2008092326.tif 000009
【図８】
2008092326.tif 000010
【図９】
2008092326.tif 000011