(57)【特許請求の範囲】
【請求項１】
通信端末装置と、前記通信端末装置との間でデータ通信が可能な情報処理装置とを備える情報処理システムにおいて、
前記通信端末装置は、画像データを入力する画像データ入力手段と、前記入力された画像データを前記情報処理装置に送信し、前記情報処理装置から送信された情報を受信する通信手段と、前記受信した情報を表示する表示手段と、を備え、
前記情報処理装置は、複数のネットワークアドレスを含む文字列データベースと、前記文字列データベースのネットワークアドレス同士の関連を記述する関連テーブルと、前記文字列データベースのネットワークアドレスにユーザがアクセスした履歴を蓄積する履歴テーブルと、前記通信端末装置から送信された画像データを受信する受信手段と、前記受信された画像データのパターンを認識し前記文字列データベースから複数のネットワークアドレスを抽出する画像認識手段と、前記画像認識手段により出力された複数のネットワークアドレスを前記通信端末装置に送信する送信手段と、前記通信端末装置から送られたネットワークアドレスをキーにしてネットワークから情報を取得する情報取得部と、を備え、
前記情報取得部によって取得されたネットワークからの情報を前記送信手段を経由して前記通信端末装置に送信するように構成された情報処理システムにおいて、
前記画像認識手段は、前記関連テーブル及び前記履歴テーブルを用いて、前記抽出した複数のネットワークアドレスの各々に対して、関連したネットワークアドレスであって且つユーザがアクセスした履歴のあるネットワークアドレスを添付情報として抽出し、前記送信手段は、該添付情報を、前記抽出した複数のネットワークアドレスの各々に添付して、前記通信端末装置に、送信することを特徴とする情報処理システム。
【請求項２】
前記通信端末装置は、前記情報処理装置から送信された複数のネットワークアドレスの１つを指示する指示手段をさらに備えることを特徴とする請求項１記載の情報処理システム。
【請求項３】
前記情報処理装置は、前記関連テーブルに新規情報を登録する登録手段と、前記登録に際してネットワークアドレス毎に課金する課金手段とをさらに備えることを特徴とする請求項１記載の情報処理システム。
【請求項４】
前記通信端末装置は、前記表示手段によって、前記ネットワークアドレスと前記添付情報とを関連づけて表示することを特徴とする請求項１記載の情報処理システム。
【請求項５】
前記通信端末装置は、前記入力された画像データに付属する付属情報を入力する付属情報入力手段を備え、前記入力された画像データ及び前記付属情報を前記情報処理装置に送信し、前記情報処理装置は、前記通信端末装置から送信される画像データ及び前記付属情報を受信し、前記付属情報を基に、前記受信された画像データを処理することを特徴とする請求項１記載の情報処理システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、携帯電話機、携帯情報端末・電子メール端末等の通信端末装置とパーソナルコンピュータ（ＰＣ）等の情報処理装置とを備える情報処理システムに関し、詳細には、通信端末装置で入力された画像データを情報処理装置に送信し、情報処理装置は、受信した画像データに基づく情報を通信端末装置に提示する情報処理システム及び通信端末装置に関する。
【０００２】
【従来の技術】
急速なインターネットの普及に伴って電子メールの利用が日常的になってきている。電子メールは人と人とのコミュニケーション手段に活用されるのが一般的であり、パーソナルコンピュータ（以下、パソコンという）やＰＤＡ（Personal Digital Assistants）などの情報端末だけでなく、携帯電話機やＰＨＳ（Personal Handy-Phone System）にもインターネットを介した電子メールの送受信機能を有するものが急増している。これらの電子メール送受信端末を使用することで、場所や時間にとらわれず、いつでもどこでも電子メールを送受信することが可能になっている。
【０００３】
一方、ＰＣを含む情報端末もインターネットの普及に対応し、アナログ電話回線などを通じてネットワークに接続するためのモデムポート部が搭載され、モデムポート部を使用して電子メールを送受信するための電子メール機能を有するのが通例である。
【０００４】
インターネットの普及に伴い、ユーザが、携帯端末でホームページなどの情報を閲覧する機会が増えている。現在、ＮＴＴドコモの携帯電話を用いたｉモード（登録商標）による閲覧が普及している。ｉモードによる各サイトへの接続は、携帯電話からパケット通信によりドコモｉモードセンターのホスト端末を経由し、専用線あるいは、インターネットで各情報サービス提供者やホームページサーバに接続するシステムを用いている。ユーザは、このｉモード情報システム網を用いて、携帯端末で、ホームページを閲覧したり、メッセージの送受信やメールの送受信を行っている。
【０００５】
ところで、ユーザがあるホームページを閲覧する場合のサイト指定方法は、
方法１．ｉＭｅｎｕ→メニューリスト選択→各種メニュー選択…いうようにメニューを何度も選択してから、所望のページにたどり着く方法、
方法２．受信したメールなどに書かれた“ｈｔｔｐ：／／”で始まる文字を選択して所望のページにたどり着く方法、
方法３．Ｉｎｔｅｒｎｅｔ接続用画面で“ｈｔｔｐ：／／”と１文字づつ入力して所望のページにたどり着く方法、などがある。
【０００６】
上記方法３．の１文字づつ入力する操作する方法は、ユーザにとって手間がかかり面倒であるため、以下のような文字列入力を簡略にする方法が採られている。
その一方法として、携帯端末から画像データを入力し、画像中の文字を認識させ、認識結果を利用する方法がある。文字認識は、携帯端末で、ローカルに行ってもよいが、比較的重い処理であるため、現状の携帯端末では、処理速度に関連があり、携帯端末で画像を入力し、入力画像を通信手段を用いてホスト端末に送信し、ホスト端末で、文字認識を行う技術が知られている。
【０００７】
例えば、特開平１０−１３４００４号公報に記載の画像データ処理システムは、携帯端末を用いて入力された画像データを他の情報処理装置に処理させるシステムであり、画像データを取り込む携帯端末と、その携帯端末によって取り込まれた画像データをホスト端末で受信し、画像データに含まれる文字を認識し、上記携帯端末側で指定されたサービスをその認識した文字に基づいて実行する。携帯端末は、画像データの認識処理を実行することなく所望のサービスを受けることができる。
【０００８】
【発明が解決しようとする課題】
しかしながらこのような従来の画像データ処理システムにあっては、以下のような問題点があった。
例えば、上記公報記載の装置では、ユーザが、画像で入力した文字列に関するサービスを得たい場合には、より精度の高い認識処理を情報処理装置に行わせるために、画像中の文字をペンでなぞり合成画像を作成するなどの方法で、カメラによって取り込まれた画像データに対する修正情報を付加する必要があった。
【０００９】
また、入力された画像の、認識させるべき箇所を特定するため、必要な箇所を囲んだり、不必要な箇所を消去するなどの修正を画像に対して行う必要があった。
また、これらの作業には、タッチパネルと手書きペンなどの装置を用いており、ペンを用いることで、ユーザは両手を用いて作業をせざるを得ず、不便であった。
また、情報処理装置が認識した結果をユーザが確認することなく、認識した文字に対するサービスが実行されるため、認識結果が誤っていた時の対応ができないという欠点があった。
【００１０】
さらに、バーコードのような文字以外のパターンは認識対象ではなく処理できないという問題点があった。
また、ＮＴＴドコモのｉモードで雑誌等に掲載されたＵＲＬ（Uniform Resource Locators）をｉモードで閲覧する場合、ユーザは、１文字づつテンキーを用いて長いＵＲＬを入力しなければならないという欠点があった。また、ｉモード対応以外のホームページは、正しく表示されないという欠点があった。
【００１１】
本発明は、このような課題に鑑みてなされたものであって、通信端末装置で入力した画像に対して合成画像を作成するなどの修正を行う必要がなく、利用者の側に立って使い勝手を向上させることができる情報処理システム及び通信端末装置を提供することを目的とする。
【００１２】
また、本発明は、画像中の認識対象範囲を簡単に特定することができ、認識結果の修正をテンキーで１文字づつ修正しなくても所望の認識結果を得ることができ、キーを押すという簡単な操作で、より高い精度の認識結果を得るとともに、片手だけで操作が可能な情報処理システム及び通信端末装置を提供することを目的とする。
【００１３】
【課題を解決するための手段】
本発明の情報処理システムは、通信端末装置と、前記通信端末装置との間でデータ通信が可能な情報処理装置とを備える情報処理システムにおいて、前記通信端末装置は、画像データを入力する画像データ入力手段と、前記入力された画像データを前記情報処理装置に送信するとともに、前記情報処理装置から送信された情報を受信する通信手段と、前記受信した情報を表示する表示手段と、前記表示された情報を確定する確定手段とを備え、前記情報処理装置は、前記通信端末装置から送信される画像データを受信する受信手段と、前記受信された画像データのパターン認識を行う画像認識手段と、前記画像認識手段により認識した認識結果情報を前記通信端末装置に送信する送信手段とを備えることを特徴としている。
【００１４】
また、前記通信端末装置は、前記画像認識手段による認識を指示する指示手段をさらに備えることを特徴とする。
また、前記通信端末装置は、前記確定手段により認識結果情報を確定すると、該確定された情報に基づく処理を実行する実行手段をさらに備えることを特徴とする。
【００１５】
また、前記画像認識手段は、文字列データベースと、前記文字列データベースのメンバー同士の関連を記述する関連テーブルと、前記文字列データベースのメンバーにユーザがアクセスした履歴を蓄積する履歴テーブルとを備え、前記文字列データベース、関連テーブル及び履歴テーブルを用いて入力された画像データのパターンを認識して文字列を出力するものであってもよい。
【００１６】
また、前記情報処理装置は、前記関連テーブルに新規情報を登録する登録手段と、前記登録に際してメンバー毎に課金する課金手段とをさらに備えることを特徴とする。
また、より好ましくは、前記送信手段は、前記画像認識結果に、前記関連テーブル及び又は前記履歴テーブルから生成される情報を添付して送信するものであってもよい。
また、より好ましくは、前記表示手段は、前記送信された画像認識結果と前記添付情報とを関連づけて表示するものであってもよい。
【００１７】
本発明の情報処理システムは、前記通信端末装置が、前記入力された画像データを表示する際の表示位置情報を入力する表示位置情報入力手段を備え、前記入力された画像データ及び前記表示位置情報を前記情報処理装置に送信し、前記情報処理装置は、前記通信端末装置から送信される画像データ及び前記表示位置情報を受信し、前記表示位置情報を基に、前記受信された画像データの認識対象の表示位置を特定してパターン認識を行うことを特徴としている。
【００１８】
本発明の情報処理システムは、前記通信端末装置が、前記入力された画像データに付属する付属情報を入力する付属情報入力手段を備え、前記入力された画像データ及び前記付属情報を前記情報処理装置に送信し、前記情報処理装置は、前記通信端末装置から送信される画像データ及び前記付属情報を受信し、前記付属情報を基に、前記受信された画像データを処理することを特徴としている。
【００１９】
本発明の通信端末装置は、画像データを入力する画像データ入力手段と、前記入力された画像データのパターン認識を行う画像認識手段と、前記画像認識手段により認識した認識結果情報を表示する表示手段と、前記認識結果情報を確定する確定手段とを備えることを特徴としている。
【００２０】
また、前記画像認識手段は、文字列データベースと、前記文字列データベースのメンバー同士の関連を記述する関連テーブルと、前記文字列データベースのメンバーにユーザがアクセスした履歴を蓄積する履歴テーブルとを備え、前記文字列データベース、関連テーブル及び履歴テーブルを用いて入力された画像データのパターンを認識して文字列を出力するものであってもよい。
【００２１】
【発明の実施の形態】
以下、添付図面を参照しながら本発明の好適な情報処理システム及び通信端末装置の実施の形態について詳細に説明する。
第１の実施の形態
図１は、本発明の第１の実施の形態の通信端末装置及び情報処理装置が適用される情報処理システムの構成を示す図である。本実施の形態の情報処理装置は、サーバコンピュータに接続されたパーソナルコンピュータ（パソコン）等のホスト端末、また通信端末装置は、ＰＤＡ等の携帯情報端末、携帯電話機／ＰＨＳの携帯端末に適用した例である。通信端末装置は、携帯できない大型の端末でもよい。
【００２２】
また、認識対象パターンが、文字パターンである例で説明するが、認識する対象画像は、バーコードのようなシンボルパターンでもよい。
図１において、１００はメール送受信装置である携帯端末（通信端末装置）、２００はパソコン等の情報処理装置からなるホスト端末、１５０は携帯端末１００とホスト端末２００とを接続する無線，ケーブルなどの通信経路、３００は一般公衆回線及びインターネット接続プロバイダを介してホスト端末２００に接続されるインターネット等のネットワーク、４００はネットワーク３００に接続される複数のサーバ端末であり、ネットワーク３００は、世界中に張り巡らされたアナログ及びデジタル回線網で、この回線を介して他の端末とメールの送受信を行う。
【００２３】
携帯端末１００は、ネットワーク３００に接続されたホスト端末２００とデータの送受信が可能であり、ホスト端末２００に文字認識処理を依頼し、認識結果文字列候補を得、さらに認識結果文字列候補からユーザが選択した文字列を再度ホスト端末２００に送信し、ホスト端末２００から、選択した文字列をキーにした新しい情報を受信し、表示部１０５に表示し、閲覧することができる。
【００２４】
ホスト端末２００は、ネットワーク３００に接続されており、携帯端末１００から送られてくるデータの処理を行ったり、処理したデータを携帯端末１００に送信したりする。また、ネットワーク３００を通じて他のサーバ端末４００とつながっており、他の端末とのデータの送受信が可能である。ホスト端末２００は、携帯端末１００とネットワーク３００につながるあらゆる端末４００とのデータのやりとりの仲介を行う。
【００２５】
ネットワーク３００は、各種サーバのコンピュータとホスト端末２００のローカルコンピュータの間を結ぶ、ＬＡＮ（Local Area Network），DialUp接続等によるデータ通信手段を総称する概念である。また、ネットワークのアクセス回線としては、ＦＴＴＨ（Fiber To The Home）、ＨＦＣ（Hybrid Fiber Coax：光同軸ケーブル）、及びＡＤＳＬ（Asymmetric Digital Subscriber Line）等の大容量回線、又はアナログモデムを利用した電話回線、ＰＨＳ，携帯電話等を利用したワイヤレス回線等が利用可能である。
【００２６】
サーバ端末４００は、各ユーザの管理処理等を実行するホストコンピュータなどから構成され、情報を蓄積するデータベースを備えている。サーバ端末４００は、端末からの要求（受信したメールの送信要求）に応じて受信メールを送信する制御を行う。
【００２７】
本実施の形態のシステム構成では、ホスト端末２００は、インターネット接続プロバイダを介して、一般公衆回線より、ネットワーク３００に接続が可能となっており、ホスト端末２００からの電子メールの送受信は、このネットワーク３００上に存在するサーバ端末４００を通じて、また、携帯端末１００は、無線通話（電話）用と同様の無線通信回線を利用し、キャリア会社（基地局）内のホストコンピュータを介して、ネットワーク３００に接続が可能となっており、携帯電話からの電子メールの送受信は、このネットワーク３００上に存在するサーバ端末４００を通じて処理される。
【００２８】
携帯端末１００は、ＰＤＡ等の携帯情報端末やＰＨＳ／携帯電話機であり、本装置全体を制御するＣＰＵからなる制御部１０１、制御プログラムや固定データ等を記憶するＲＯＭ１０２、ＣＰＵの作業用記憶領域であるＲＡＭ１０３、携帯端末１００に内蔵あるいは外部接続されたＣＣＤカメラなどの画像入力部１０４（画像データ入力手段）、ＬＣＤディスプレイ，ＰＤＰ，ＥＬ及び各ドライバ等で構成され、情報格納部１０６に格納された情報等を表示する表示部１０５（表示手段）、半導体メモリやハードディスクなどからなりデータを記憶する情報格納部１０６、送信する電子メールのメール文等のデータ入力や画像入力，処理決定，選択などの各種操作を行うための機能キー，操作キー等で構成される操作部１０７（確定手段，指示手段，表示位置情報入力手段，付属情報入力手段）、及びモデムポート部からなりサーバ端末４００に接続（コネクト）する通信部１０８（通信手段）を備えて構成される。
【００２９】
制御部１０１は、操作部であるスイッチの状態に基づいて、画像入力部を制御したり、通信部１０８によりデータを送受信したり、表示部１０５に表示される内容や、表示部１０５の状態を制御する。
ＲＯＭ１０２は、制御部１０１が動作する際に必要なプログラム、通信制御データ等の固定データを記憶する読出し専用の半導体メモリである。
【００３０】
ＲＡＭ１０３は、通信に関するデータや演算に使用するデータ及び演算結果等を一時的に記憶するいわゆるワーキングメモリとして使用される。携帯端末１００で処理されるプログラムは、このＲＡＭ１０３に展開されて実行される。また、ＲＡＭの一部は、電気的に書換可能な不揮発性メモリであるＥＥＰＲＯＭ（electrically erasable programmable ROM）からなり、ＥＥＰＲＯＭに書き込むプログラムを変えることによって、特に携帯端末１００における各種の仕様を変更することができる。すなわち、最近ではシステム開発のデバッグごとにマスクＲＯＭを変更する時間損失を回避するため、プログラムＲＯＭを不揮発性メモリ、例えばＥＰＲＯＭ，ＥＥＰＲＯＭとし、プログラム開発・修正時間の短縮の大幅な短縮を図っている。また、プログラムをダウンロードしてＥＥＰＲＯＭのプログラム内容を書き換えるようにすれば機能のアップグレードや機能の変更を容易に行うことが可能になる。
【００３１】
通信部１０８は、ｂｌｕｅｔｏｏｔｈ、赤外線通信などの無線で、あるいは有線でデータを送受信するもので、通信経路１５０を通りホスト端末２００とデータの受渡しを行う。
ホスト端末２００は、ノート型パソコンからなる情報処理装置であり、本装置全体を制御するＣＰＵからなる制御部２０１、制御プログラムや固定データ等を記憶するＲＯＭ２０２、ＣＰＵの作業用記憶領域であるＲＡＭ２０３、送信する電子メールのメール文等のデータ入力や各種機能の指示を行うためのキーボード及びマウス等のポインティングデバイス等で構成される入力部２０４、例えば１０２４×７６８ドットマトリクス表示が可能なＬＣＤディスプレイ及び各ドライバ等で構成され、受信した電子メールの内容等を表示する表示部２０５、ＨＤＤ等から構成される各種データベース及びメモリを備えデータを記録する情報格納部２０６、半導体メモリ，ハードディスクなどの磁気的記録媒体から構成され、携帯端末１００から画像データの形式で入力される可能性のある文字列を検索可能な形式で圧縮して格納する文字列データベース（ＤＢ）２０７、入力された画像中のパターンを認識して、文字コードを出力する認識部２０８（画像認識手段）、ネットワーク３００から取得したデータを変換する情報変換部２０９、入力された文字列と文字列ＤＢ２０７の内容を比較し、入力された文字列と最も近い文字列ＤＢ２０７の内容を出力する照合部２１０、入力された文字列に関する情報をネットワーク３００中のサーバ端末４００に要求し、新しい情報を取得する情報取得部２１１、文字列ＤＢ２０７のメンバーの関連を記述したテーブルを格納する文字列関連テーブル２１２、携帯端末１００から情報提示要求のあった内容の履歴を格納する履歴テーブル２１３、携帯端末１００の情報提示要求の履歴を蓄積する履歴格納部２１４、履歴テーブル２１３や文字列関連テーブル２１２を参照するテーブル参照部２１５、及びモデムポート部からなりインターネット接続プロバイダ４００に接続（コネクト）する通信部２１６（受信手段，送信手段）を備えて構成される。また、図示は省略するが、外部記録装置や各種機器を接続するためのインタフェースを備えている。
【００３２】
制御部２０１は、本体各部の制御、すなわち通信部２１６の通信処理、認識部２０８の認識処理、通信部２１６から得た情報や、認識部２０８の出力した認識結果を情報格納部２０６に格納する処理、照合部２１０で文字認識結果と文字列ＤＢ２０７の文字列を比較し、最も適当な文字列を結果として選択する処理、通信部２１６でネットワーク３００から取得したデータを情報変換部２０９で変換する処理等を行う。
【００３３】
ＲＡＭ２０３は、ＣＰＵの作業用記憶領域である。ホスト端末２００で処理されるプログラムは、このＲＡＭ２０３に展開されて実行される。
認識部２０８は、入力された画像中のパターンを認識して、文字コードを出力するプログラムであり、制御部２０１によりＲＡＭ２０３に呼び出され、起動される。
【００３４】
文字列関連テーブル２１２は、文字列ＤＢ２０７のメンバーの関連を記述したテーブルを格納している半導体メモリ、ハードディスクなどの磁気的記録媒体である。
履歴テーブル２１３は、携帯端末１００から情報提示要求のあった内容の履歴を格納している半導体メモリ、ハードディスクなどの磁気的記録媒体である。
履歴格納部２１４は、携帯端末１００の情報提示要求の履歴を蓄積するプログラムであり、制御部２０１によりＲＡＭ２０３に呼び出され、起動される。
【００３５】
テーブル参照部２１５は、履歴テーブル２１３や文字列関連テーブル２１２を参照するプログラムであり、制御部２０１によりＲＡＭ２０３に呼び出され、起動される。
照合部２１０は、入力された文字列と文字列ＤＢ２０７の内容を比較し、入力された文字列と最も近い文字列ＤＢ２０７の内容を出力するプログラムであり、制御部２０１によりＲＡＭ２０３に呼び出され、起動される。
【００３６】
上記文字列ＤＢ２０７、認識部２０８、文字列関連テーブル２１２、履歴テーブル２１３、履歴格納部２１４、テーブル参照部２１５、及び照合部２１０の一部又は全部は、情報格納部２０６に格納されていてもよいし、取り外し可能な磁気的記録媒体に格納されていてもよい。
【００３７】
また、ホスト端末２００が有するインタフェースは、ＰＣＭＣＩＡ（Personal Computer Memory Card Interface Association）規格として規定されるＰＣカードインタフェース部、ＳＤ（Secure Digital）メモリカード（登録商標）、コンパクトフラッシュカード（登録商標）等を接続するための挿入スロット及びコネクタからなるカード接続部である。
【００３８】
図２は、上記携帯端末１００の外観を示す正面図である。本実施の形態の携帯端末１００は、画像入力部１０４を備える多機能携帯電話機に適用した例である。
図２において、携帯端末１００本体１００ａは、無線通信を行うためのアンテナ１１、携帯端末本体１００ａに内蔵又は外付けされるカメラ，スキャナなどの画像入力装置１２（画像データ入力手段）、操作のためのガイダンスや受信情報，画像やテキスト情報などの情報を表示する表示部１３（表示手段）、カメラの入力を決定するシャッターボタンであるスイッチ１、上下左右の方向に選択対象を移動させるカーソルキーであるスイッチ２（指示手段，表示位置情報入力手段，付属情報入力手段）、及び動作決定を行う決定キーであるスイッチ３（確定手段）を備えて構成される。
【００３９】
スイッチ２は、表示画面にメニューが表示された場合に、上下左右の方向を押すことで、上下左右の方向に選択対象を移動させ、メニューアイコンの１つを選択することができる。
スイッチ３は、動作決定を行うスイッチであり、押すことでその時の命令を確定し実行することができる。スイッチ２，３は、既に携帯電話で実用化されているように、１つのキーで実現することも可能である。同様に、スイッチ１，２，３を１つのキーで実現することも設計により可能である。
【００４０】
上記は、画像入力装置１２に関連する多機能電話機の構成例であり、図示は省略しているが、携帯電話機本来の構成を有する。例えば、本体１００ａ上部には受話を行うための拡声用スピーカ、電源のＯＮ／ＯＦＦを行う電源キーが、また本体１００ａ中央部には各種機能を切り替えるためのモードキー、電話番号の入力等ダイヤルするためのダイヤルキー、また本体１００ａ下部には音声を入力するためのマイク、及び接続用コネクタ等を有する。
【００４１】
表示部１３は、ドットマトリクス構成のＬＣＤディスプレイ及び各ドライバ等で構成される。表示部１３には、ダイヤルキーから入力された番号や、非電話機能のための各種画面、電話機能の動作状態を示すアイコン等が表示される。また、待機時には時刻が表示され、個人情報やシステムの状態などを表示する。
【００４２】
図示しない電源キー、モードキー、スイッチ１，２，３、及びダイヤルキーは、いずれも手動で操作を行い、操作された内容を制御部１０１（図１）に情報として伝達する。
以下、上述のように構成された携帯端末１００及びホスト端末２００の動作を説明する。
【００４３】
図３は、携帯端末１００及びホスト端末２００間のデータ送受信、及び画像表示の全体動作を示すフローチャートであり、携帯端末１００において入力された画像をホスト端末２００に送って、所望のデータを携帯端末１００の表示部１０５に表示させる動作を示す。図中、Ｓはフローの各ステップを示す。
【００４４】
まず、ステップＳ１で携帯端末１００の画像入力部１０４を用いて画像データを入力し情報格納部１０６に格納する。本実施の形態では、カメラによる画像入力を例に採り説明しているが、画像入力は、スキャナなどにより紙面に手書きされた文字でも印刷された文字でもよい。また、文字の場合、「ｈｔｔｐ：／／ｗｗｗ．ａａａ」などのネットワークアドレスからダウンロードしたデータでもよいし、「温泉」などの単語文字列であってもよい。あるいは、バーコードなどの認識を必要とするパターンでもよい。
【００４５】
次いで、ステップＳ２で入力された画像を表示部１０５に表示し、入力された画像でよいかどうかを確認する。画像データ入力決定がなされなけれけば、ステップＳ１に戻って画像データ入力を続ける。スイッチ３などの動作決定操作により画像データ入力決定されたときは、ステップＳ３で入力確認された画像データを通信部１０８を用いてホスト端末２００に送信する。
【００４６】
ステップＳ４では、ホスト端末２００の通信部２１６が携帯端末１００から送信された画像データを受信する。次いで、ステップＳ５でホスト端末２００の認識部２０８は受信した画像データを認識し、ステップＳ６で照合部２１０は認識部２０８により出力された認識結果と文字列ＤＢ２０７の比較を行い、認識結果文字列と最もマッチする文字列ＤＢ２０７中の文字列を抽出し、複数の候補文字列を決定する。
【００４７】
ステップＳ７では、得られた候補文字列について、履歴テーブル２１３と文字列関連テーブル２１２を参照し、各テーブルから得られた情報を候補文字列に添付する。次いで、ステップＳ８で、得られた候補文字列と添付情報を通信部２１６により携帯端末１００に送信する。
ステップＳ９では、携帯端末１００の通信部１０８がホスト端末２００から送信された候補文字列と添付情報を受信し、ステップＳ１０で候補文字列と添付情報を表示部１０５に表示する。
【００４８】
ステップＳ１１では、ユーザが操作部１０７により表示された候補文字列と添付情報のうち、最適なテキスト文字列を選択し決定する。次いで、ステップＳ１２で決定した文字列を送信するかどうかを判別する。ユーザが操作部１０７により文字列送信を選択すると、ステップＳ１３で選択したテキスト文字列を、通信部１０８によりホスト端末２００に送信する。
上記ステップＳ１２でユーザが文字列送信を選択しない場合はそのまま処理を終了する。あるいは、ステップＳ１に戻ってもよい。
【００４９】
ステップＳ１４では、ホスト端末２００の通信部２１６が携帯端末１００から送信されたテキスト文字列を受信し、ステップＳ１５で携帯端末１００から受けとったテキスト文字列に関する履歴テーブル２１３のカウンタを更新する。この履歴テーブル２１３の更新処理については、図１３により後述する。
【００５０】
次いで、ステップＳ１６で情報取得部２１１は上記テキスト文字列をキーにしてネットワーク３００から情報を取得し、情報格納部２０６に格納する。
ステップＳ１７では、情報変換部２０９は上記ステップＳ１４で得た情報に、データ圧縮するなどの変換を加え、ステップＳ１８で変換された情報を通信部２１６により携帯端末１００に送信する。
【００５１】
ステップＳ１９では、携帯端末１００の通信部１０８が情報を受信し、情報格納部１０６に格納し、ステップＳ２０で受信した情報を表示部１０５に表示する。
次いで、ステップＳ２１で表示を終了するか否かを判別し、操作部１０７により終了が指示されなければステップＳ２０に戻って表示を続ける。操作部１０７により終了が指示されると、表示を終了して本フローを終える。
【００５２】
図４は、携帯端末１００の画像入力部１０４で画像データを入力し、所望の情報を携帯端末１００の表示部１０５に表示する処理を示すフローチャートである。
携帯端末１００の電源が入り、本システムの起動がユーザから命令され、本プログラムがスタートすると、ステップＳ１０１でカメラ画像を表示部１０５に表示し、ステップＳ１０２で操作部１０７のスイッチ１により、表示されている画像を取り込む。この画像取り込みは、スイッチ１のシャッタ操作により決定される。
【００５３】
次いで、ステップＳ１０３で表示部１０５は取り込み決定された画像とメニューを表示し、ステップＳ１０４で操作部１０７のスイッチ２、スイッチ３による取り込み画像が決定されたか否かを判別する。スイッチ２、スイッチ３の操作によりメニューの選択が行われ、画像の取り込みを行うかどうかが決定される。取り込み画像の決定がされなければ、ステップＳ３１に戻って取り込み画像の決定がされるまで上記処理を繰り返す。
【００５４】
図５は、表示画面の表示例を示す図であり、図５（Ａ）は、上記ステップＳ３１の画像取り込みが決定される前の表示画面の表示例を、図５（Ｂ）は、上記ステップＳ３３の画像取り込みが決定された後の表示画面の表示例を示す。図５（Ａ）に示す例では、表示部１３の表示画面に画像データ「ｈｔｔｐ：：／／ｗｗｗ．ａａ」が表示されており、図５（Ｂ）にはこの画像の取り込み決定がなされた表示画面を示す。図５（Ｂ）の画像取り込み画面では、画面上にソフトウェアキーによる「決定」「キャンセル」が表示される。この「キャンセル」を指定すれば、画像取り込みの決定が解除され、図５（Ａ）の表示画面に戻る。また、図５（Ｂ）の段階で、「決定」を指定すると、取り込み決定された画像を基に次のステップに移ることになる。
【００５５】
図４の処理フローに戻って、ステップＳ３５で携帯端末１００の操作部１０７のスイッチ２により画像データをホスト端末２００に送信することを確定し、画像データがホスト端末２００に送信される。画像データをホスト端末２００に送信することを確定することにより、ホスト端末２００への認識依頼が同時に行われる。この段階おける操作部１０７のスイッチ２操作は、後述する画像認識部２０８へ認識依頼を行う依頼手段としての機能を有する。
【００５６】
画像送信とホスト側の認識処理には時間がかかるため、ステップＳ３６で「情報処理中」の画面を表示する。図５（Ｃ）は、上記ステップＳ３６の画面表示例を示す。
ステップＳ３７では、携帯端末１００はホスト端末２００が処理を行った認識結果を受信し、ステップＳ３８で受信した認識結果と添付情報を表示部１０５に表示する。ステップＳ３９では、ユーザが操作部１０７のスイッチ２とスイッチ３を用いて最適な文字列を選択する。
【００５７】
図５（Ｄ）は、上記ステップＳ３８の表示部１０５の第１画面の表示例である。図５（Ｄ）では、選択された文字列「ｈｔｔｐ：：／／ｗｗｗ．ａａ」が反転表示されていることを示している。認識結果と添付情報の表示は、後述するように、第１画面から第３画面の３つの画面を用いて行われる。
【００５８】
図４の処理フローに戻って、ステップＳ４０で、操作部１０７のスイッチ２により上記ステップＳ３９で選択された文字列を確定し、ホスト端末２００に送信する。この段階における操作部１０７のスイッチ２操作は、画像認識部２０８による認識結果候補の送信文字列を受信して確定する確定手段としての機能を有する。
【００５９】
次いで、ステップＳ４２でホスト端末２００が送信してくる情報を取得し、ステップＳ４３で、ホスト端末２００から受信した情報を表示部１０５に表示する。上記ステップＳ４１のホスト端末２００からの情報取得処理には時間がかかるため、図５（Ｃ）に示すような「情報処理中」の画面を表示する。
【００６０】
以上のように、本情報処理システムの携帯端末１００は、画像データ入力指示手段、及び画像認識装置としてのホスト端末２００へ認識依頼を行う依頼手段としての機能を有するスイッチ１，２と、画像認識装置であるホスト端末２００からの認識結果候補の送信文字列を受信して確定する確定手段であるスイッチ３とを備え、制御部１０１が上述した処理フローを実行するので、画像データを入力して所望の情報を取得するまでの操作を、選択と決定の動作のみで行うことが可能である。
【００６１】
図６は、ホスト端末２００の画像認識部２０８が画像取得し、携帯端末１００に認識結果と添付情報を送信するまでの処理を示すフローチャートである。
まず、ステップＳ５１でホスト端末２００の通信部２１６により、携帯端末１００から画像データを受信し、ステップＳ５２で認識処理プログラムを起動する。
ステップＳ５３では、画像データを認識部２０８に入力し、ステップＳ５４で画像データからパターンマッチングする領域を抽出する。
【００６２】
図７は、パターンマッチング領域が抽出された結果の一例を示す図であり、図（Ａ）は、認識対象が文字パターンの場合を、図７（Ｂ）は、認識対象がバーコードのような規格に基づく画像パターンの場合を示す。図中、破線で囲んだ部分が抽出された領域を示している。後述するように、認識対象の領域は、携帯端末１００の画像入力部１０４が、対象領域を特定する手段を持っているため、容易に認識対象領域を抽出することができる。
【００６３】
図６の処理フローに戻って、ステップＳ５５でパターンマッチングを行い、ステップＳ５６でパターンマッチング結果を出力して認識処理を終了する。上記パターンマッチングは、既存の文字認識技術やパターンマッチング技術を用いればよい。
【００６４】
図８は、パターンマッチング処理の出力結果の一例を示す図である。
ステップＳ５７では、照合部２１０において、文字列ＤＢ２０７と上記ステップＳ５５のパターンマッチング出力結果の照合と選択を行う。照合処理は、例えば特開２０００−２８８４７８号公報にあるような照合処理技術を用いて実現が可能である。文字列ＤＢ２０７には、この情報処理システムが処理対象とする文字列が蓄積されている。
【００６５】
図９は、文字列ＤＢ２０７とパターンマッチング出力結果文字列の照合処理の一例を示す図である。
図９において、５０１は文字列ＤＢ２０７の蓄積データ、５０２はパターンマッチング出力結果文字列である。パターンマッチング出力結果文字列と文字列ＤＢ２０７のメンバーの照合を行い、パターンマッチング出力結果文字列に最も近いと思われる文字列ＤＢ２０７のメンバーを選択する。５０３は、上記照合処理で選択された文字列である。
【００６６】
図６の処理フローに戻って、ステップＳ５８で、上記照合処理により選ばれた最適文字列の上位数組が情報格納部２０６の中の出力バッファに出力される。次いで、ステップＳ５９で文字列関連テーブル２１２と履歴テーブル２１３を参照して添付情報を取得し、前記出力バッファに出力する。この添付情報取得処理の詳細については、図１４により後述する。
【００６７】
次いで、ステップＳ６０で前記出力バッファ中の最適文字列の上位数組と添付情報を携帯端末１００に送信して本フローの処理を終了する。
ここで、照合処理は、パターンマッチング処理における距離値を基に、ＤＢの文字列との適合度を計算し、ある閾値以上の文字列を選択する処理であり、例えは特開２０００−２８８４７８号公報にあるような照合処理技術を用いて実現が可能である。
【００６８】
図１０は、文字列関連テーブル２１２の一例を示す図であり、図１０（Ａ）は、各メンバーの文字列表記とインデックス番号を対にして記したインデックス番号参照テーブル６０１、図１０（Ｂ）は、各インデックス番号とそれに関連する関連メンバーのインデックス番号を対にして記した関連インデックス番号テーブル６０２である。
【００６９】
本実施の形態では、文字列文字列ＤＢ２０７に登録されている各メンバーについて、関連する他のメンバーがインデックス番号によって、対応付けられる構成になっている。図１０（Ａ）に示すように、各文字列表記にはインデックス番号「１」「２」…が付されており、このインデックス番号「１」「２」…は、図１０（Ｂ）に示すように、関連する他のメンバーである関連インデックス番号が格納される。例えば、文字列「ｈｔｔｐ：／／ｗｗｗ．０ａ」のインデックス番号は「１」であり、インデックス番号「１」の関連インデックス番号は「３」「５」である。したがって、上記文字列が指定されると、その文字列のインデックス番号「１」から関連インデックス番号「３」「５」と、該関連インデックス番号「３」「５」を持つ情報（ここでは文字列「ｈｔｔｐ：／／ｗｗｗ．ａａ」「ｈｔｔｐ：／／ｗｗｗ．ｃｃｃ」）を取り出すことができる。
【００７０】
図１１は、上記文字列関連テーブル２１２の参照処理を示すフローチャートである。
まず、ステップＳ６１で、参照したいターゲット文字を入力する。ここでは、参照したい文字列表記「ｈｔｔｐ：／／ｗｗｗ．０ａ」を入力する場合を例に採る。次いで、ステップＳ６２で、インデックス番号参照テーブル６０１から文字列表記のインデックス番号「１」を取得する。
【００７１】
ステップＳ６３では、取得したインデックス番号の文字列関連テーブル２１２の関連インデックス番号テーブル６０２を参照し、関連インデックス番号「３」「５」を取得する。次いで、ステップＳ６４で、取得した関連インデックス番号「３」と「５」のインデックス番号参照テーブル６０１を参照し、文字列表記「ｈｔｔｐ：／／ｗｗｗ．ａａａ」、「ｈｔｔｐ：／ｗｗｗ．ｃｃｃ」を取得して本フローを終了する。
【００７２】
図１２は、履歴テーブル２１３の一例を示す図である。
図１２に示すように、文字列文字列ＤＢ２０７に登録されている各メンバーについて、履歴テーブル２１３には２種類の履歴カウンタが設けてある。
履歴カウンタ７０１は、ユーザがアクセス要求した文字列表記のカウンタである。関連カウンタ７０２は、ユーザがアクセス要求した文字列表記に関連する文字列表記のすべてをインクリメントするカウンタである。
【００７３】
図１３は、履歴テーブル２１３の更新処理を示すフローチャートであり、前記図３のステップＳ１５の処理に対応する。
携帯端末１００から、情報取得要求の文字列表記「ｈｔｔｐ：／／ｗｗｗ．０ａ」を受信すると、本処理がスタートする。
【００７４】
まず、ステップＳ７１で、インデックス番号参照テーブル６０１からターゲット文字列のインデックス番号を取得する。ここでは、文字表記「ｈｔｔｐ：／／ｗｗｗ．０ａ」インデックス番号「１」を取得する場合を例に採る。
次いで、ステップＳ７２で履歴テーブル２１３のインデックス番号「１」の履歴カウンタ７０１をインクリメントし、ステップＳ７３で文字列関連テーブル２１２から、インデックス番号「１」の関連インデックス番号「３」「５」を取得する。
次いで、ステップＳ７４で履歴テーブル２１３のインデックス番号「３」「５」の関連カウンタをインクリメントして本フローを終了する。
【００７５】
図１４は、添付情報取得処理を示すフローチャートであり、前記図６のステップＳ５９の処理に対応する。
上述した照合処理から複数の結果文字列候補「ｈｔｔｐ：／／ｗｗｗ．０ａ」，「ｈｔｔｐ：／／ｗｗｗ．ａａ」，「ｈｔｔｐ：／／ｗｗｗ．ａｂ」，「ｈｔｔｐ：／／ｗｗｗ．０ａ」を得ると本処理がスタートする。
【００７６】
ステップＳ８１で、文字列候補が終わりか否かを判別し、文字列候補が全て処理を終っている場合には、本処理フローを終了する。
ステップＳ８２では、文字列候補Ｉ（Ｉは任意の文字列を示す変数）を入力する。ここでは、文字列候補の１つとして「ｈｔｔｐ：／／ｗｗｗ．０ａ」を入力する場合を例に採る。次いで、ステップＳ８３でインデックス番号参照テーブル６０１（図１０）を参照し、文字列「ｈｔｔｐ：／／ｗｗｗ．０ａ」のインデックス番号「１」を取得する。
【００７７】
ステップＳ８４では、上記ステップＳ８３で得たインデックス番号を基に、文字列関連テーブル２１２を参照し、関連インデックス番号「３」「５」を取得する。次いで、ステップＳ８５で、上記ステップＳ８４で得た関連インデックス番号を基に、履歴テーブル２１３の履歴カウンタ７０１及び関連カウンタ７０２（図１２）を参照する。図１２から、関連インデックス番号「３」の履歴カウンタ７０１のカウンタ値は「１」、関連インデックス番号「５」の履歴カウンタ７０１のカウンタ値は「０」である。
【００７８】
ステップＳ８６では、上記ステップＳ８５で得た関連インデックス番号を履歴カウンタ７０１の多い順にソートし、上位２組を得る。この例では、履歴カウンタ７０１でソートした結果は、「３」、「５」の順となる。
ステップＳ８７では、上記ステップＳ８５で得た関連インデックス番号を関連カウンタ７０２の多い順にソートし、上位２組を得る。この例では、関連カウンタでソートした結果は、「５」、「３」の順となる。
【００７９】
ステップＳ８８では、上記ステップＳ８６で得た上位２組の関連インデックス番号「３」、「５」について関連インデックス番号テーブル６０２を参照し、文字列表記「ｈｔｔｐ：／／ｗｗｗ．ａａａ」、「ｈｔｔｐ：／／ｗｗｗ．ｃｃｃ」を得る。
【００８０】
ステップＳ８９では、上記ステップＳ８７で得た上位２組の関連インデックス番号「５」、「３」について関連インデックス番号テーブル６０２を参照し、文字列表記「ｈｔｔｐ：／／ｗｗｗ．ｃｃｃ」、「ｈｔｔｐ：／／ｗｗｗ．ａａａ」を得る。
【００８１】
ステップＳ９０では、上記ステップＳ８８及びステップＳ８９で得たそれぞれ２つの文字列表記「ｈｔｔｐ：／／ｗｗｗ．ａａａ」、「ｈｔｔｐ＝／／ｗｗｗ．ｃｃｃ」と「ｈｔｔｐ：／／ｗｗｗ．ｃｃｃ」、「ｈｔｔｐ：／／ｗｗｗ．ａａａ」とを文字列候補「ｈｔｔｐ：／／ｗｗｗ．０ａ」に添付する。
本実施の形態では、上位２組で述べたが、上位何組でもよい。
【００８２】
図１５は、認識結果文字列候補と添付情報のデータ例を示す図である。
図１５において、８０１は、Ｎ位までの認識結果文字列候補である。８０２は、認識結果文字列候補１について、上記ステップＳ８８で得た添付情報である。８０３は、認識結果文字列候補１について、上記ステップＳ８９で得た添付情報である。同様に、８０４は、認識結果文字列候補２について、上記ステップＳ８８で得た添付情報である。８０５は、認識結果文字列候補２について、上記ステップＳ８９で得た添付情報である。以下同様に、認識結果文字列候補Ｎについて添付情報を添付している。
【００８３】
図１６は、携帯端末１００が認識結果文字列候補及び添付情報を受信し、表示部１３に表示した例を示す図である。
図１６では、図１５の認識結果文字列候補８０１、添付情報８０２及び添付情報８０３の情報を受信し、表示部１３に表示した例を示す。
最初は、図１６（Ｂ）に示すように認識結果文字列候補を表示している。
【００８４】
スイッチ２を用いて上下移動すると、認識結果文字列候補の表示が反転するなどして、選択できる。図１６（Ｂ）では、文字列「ｈｔｔｐ：：／／ｗｗｗ．ａａ」が反転表示されていることを示している。
１位の認識結果文字列候補が反転した状態で、スイッチ２を用いて左方向を指定すると、図１６（Ａ）に示すように１位の認識結果文字列候補の添付情報１を表示する。
【００８５】
同様に、図１６（Ｂ）に示す１位の認識結果文字列候補が反転した状態で、スイッチ２を用いて右方向を指定すると、図１６（Ｃ）に示すように１位の認識結果文字列候補の添付情報２を表示する。
このように、本実施の形態では、携帯端末１００が認識結果文字列候補及び添付情報を受信し、スイッチ２を用いて左方向を指定すると、認識結果文字列候補の、履歴情報を基にした添付情報１が一位から順に表示され、スイッチ２を用いて右方向を指定すると、認識結果文字列候補の、関連情報を基にした添付情報１が一位から順に表示される。
【００８６】
以上のように、本実施の形態の携帯端末１００は、制御部１０１、ＲＯＭ１０２、ＲＡＭ１０３、画像データを入力するカメラ等の画像入力部１０４、入力した情報及び受信した情報を表示する表示部１０５、送信する電子メールのメール文等のデータ入力や画像入力，処理決定，選択，確定などの各種操作を行うための機能キー，操作キー，スイッチ１〜３等で構成される操作部１０７、入力された画像データをホスト端末２００に送信するとともに、ホスト端末２００から送信された情報を受信する通信部１０８を備え、ホスト端末２００は、制御部２０１、ＲＯＭ２０２、ＲＡＭ２０３、携帯端末１００から画像データの形式で入力される可能性のある文字列を検索可能な形式で圧縮して格納する文字列ＤＢ２０７、入力された画像中のパターンを認識して、文字コードを出力する認識部２０８、文字列ＤＢ２０７のメンバーの関連を記述した文字列関連テーブル２１２、文字列ＤＢ２０７のメンバーにユーザがアクセスした履歴を蓄積する履歴テーブル２１３、携帯端末１００の情報提示要求の履歴を蓄積する履歴格納部２１４、履歴テーブル２１３や文字列関連テーブル２１２を参照するテーブル参照部２１５、及び通信部２１６を備え、ホスト端末２００は、送信された画像データを受信してパターン認識を行い、画像データの認識結果情報を携帯端末１００に送信し、携帯端末１００では、この認識結果情報を受信して確定するので、ユーザは携帯端末１００側で画像データの認識結果などの新しい情報を得ることができ、表示部１０５に表示された認識情報に対して適当な処理（例えば、ＵＲＬの指定とその接続処理）を効率的に行うことが可能となる。すなわち、ユーザは処理対象とする文字列のうち、履歴情報が高く、関連度の高い情報を得ることができ、所望の情報を得易くなる。
【００８７】
以上のように本実施の形態によれば、携帯端末１００で入力した画像をホスト端末２００で認識し、認識結果をキーに、ホームページなどの新たな情報を閲覧したいという場合に、携帯端末１００で入力した画像に対して修正を行って合成画像を作成する処理を行う必要がない。
【００８８】
また、画像中の認識対象範囲を簡単に特定することができる。
さらに、認識結果の修正をテンキーで１文字づつ訂正しなくても所望の認識結果を得ることができる。また、キーを押すという簡単な操作で、より高い精度の認識結果を得ることができ、片手だけで操作が可能である。
【００８９】
特に、本実施の形態では、ホスト端末２００が、認識対象の文字列を文字列ＤＢ２０７に登録し、文字列ＤＢ２０７に登録された文字列を認識結果として出力する照合部２１０と、文字列ＤＢ２０７に登録された文字列の関連や履歴テーブル２１３と、認識結果にこれらテーブル２１２，２１３の情報を添付して送信する通信部２１６とを備えているので、テーブル２１２，２１３及び照合部２１０を用いることで文字列ＤＢ２０７に登録された文字列が出力され易く、また認識率が向上するという利点がある。
【００９０】
さらに、本実施の形態では、ホスト端末２００が画像認識結果に文字列関連テーブル２１２及び履歴テーブル２１３から生成される情報を添付して送信し、携帯端末１００は、送信された画像認識結果と添付情報とを関連づけて表示部１０５に表示するようにしたので、画像データに関する新しい情報を得て表示することができ、この表示に対応する処理を効率的に行うことが可能となる。
第２の実施の形態
図１７は、本発明の第２の実施の形態の課金システムの構成を示す図である。本実施の形態の課金システムは、第１の実施の形態の情報処理装置であるホスト端末に適用した例である。本実施の形態の説明にあたり、図１と同一構成部分には同一符号を付して重複箇所の説明を省略する。
【００９１】
図１７において、１００はメール送受信装置である携帯端末、９００はパソコン等の情報処理装置からなるホスト端末、１５０は携帯端末１００とホスト端末９００とを接続する無線，ケーブルなどの通信経路、３００は一般公衆回線及びインターネット接続プロバイダを介してホスト端末９００に接続されるインターネット等のネットワーク、４００はネットワーク３００に接続される複数のサーバ端末である。
【００９２】
ホスト端末９００は、ネットワーク３００に接続されており、携帯端末１００から送られてくるデータの処理を行ったり、逆に処理したデータを携帯端末１００に送信したりする。また、ネットワーク３００を通じて他のサーバ端末４００とつながっており、他の端末とのデータの送受信が可能である。ホスト端末９００は、携帯端末１００とネットワーク３００につながるあらゆる端末４００とのデータのやりとりの仲介を行う。
【００９３】
ホスト端末９００は、図１のホスト端末２００に、新規情報を登録する新規情報登録部９０１（登録手段）が付加されて構成される。また、制御部２０１は、新規情報登録部９０１の新規登録情報を基に課金処理を実行する課金手段としての機能を有する。
【００９４】
新規情報登録部９０１は、外部装置などから、新規情報登録要求を受けると、メニューを起動し、必要事項を入力すると、文字列ＤＢ２０７、文字列関連テーブル２１２に情報を登録することができる。
以下、上述のように構成された課金システムの動作を説明する。携帯端末１００及びホスト端末９００の動作は、第１の実施の形態と同様であるため省略し、特徴部分である新規情報登録部９０１の動作について説明する。
【００９５】
図１８は、上記新規情報登録部９０１の処理を示すフローチャートである。
外部装置などから、新規情報登録要求を受けると、本新規情報登録処理がスタートする。
まず、ステップＳ９１でメニューが起動され、新規情報登録処理が選択可能になる。ステップＳ９２で入力処理をするか否かを判別し、入力処理をしない場合は本処理フローを終了する。ユーザの指示により入力処理をする場合には、ステップＳ９３で登録文字列を入力し、ステップＳ９４で登録内容のジャンル項目を選択する。
【００９６】
次いで、ステップＳ９５で登録内容の詳細を入力し、ステップＳ９６で、上記ステップＳ９３からステップＳ９５で入力された内容を表示する。
ステップＳ９７では、登録内容と登録について課金されることを承諾するか否かを判別する。課金されることを承諾しない場合には、ステップＳ９３に戻って入力ＯＫとなるまで上記処理を繰り返す。
課金されることが承諾された場合には、ステップＳ９８で登録内容に基づいて、文字列ＤＢ２０７と文字列関連テーブル２１２を更新してステップＳ９１に戻る。
【００９７】
ここで、上記ステップＳ９４で入力されたジャンル項目とステップＳ９５で入力された登録内容などの入力パラメータを基に、文字列関連テーブル２１２を作成する分類方法については、既存の技術で可能である。また、本実施の形態では、ジャンル項目や詳細内容を例にしたが、文字列関連テーブル２１２作成のための分類方法については限定しない。
【００９８】
以上のように、本実施の形態では、ホスト端末９００が、文字列ＤＢ２０７のメンバー同士の関連を記述した文字列関連テーブル２１２に新規情報を登録する新規情報登録部９０１を備え、該登録時に課金するように構成したので、該登録に対してメンバー毎に課金を行う課金システムとして使用することが可能である。
【００９９】
第３の実施の形態
図１９は、本発明の第３の実施の形態の携帯端末の画像入力部で画像データを入力し、所望の情報を携帯端末の表示部に表示する処理を示すフローチャートである。詳細には、本システムの情報処理装置が、前記図４のステップＳ３９で、携帯端末１００から選択された１文字列を受信してから、再び携帯端末１００に情報を送信するまでのフローを示す。
本実施の形態の情報処理システムの構成は、第１の実施の形態と同様であるため説明を省略する。
【０１００】
まず、ステップＳ１０１で携帯端末１００（図１）から文字列を取得し、ステップＳ１０２で情報取得部２１１により通信プロトコルを作成する。通信プロトコルは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）など、既存の技術で実現が可能である。
次いで、ステップＳ１０３で情報取得部２１１により、通信部２１６を通じてネットワーク３００上の情報を要求し、ステップＳ１０４で情報取得部２１１により、通信部２１６を通じてネットワーク３００上の情報を取得する。
【０１０１】
ステップＳ１０５では、上記ステップＳ１０４で得た情報を情報変換部２０９により変換する。情報変換部２０９により変換される内容は、例えば、取得した情報に携帯端末１００では表示不可能なサイズの画像データなどがあった場合、そのデータを圧縮あるいは削除するなどの加工を行う。あるいは、取得したデータがＸＭＬ（Extensible Markup Language）等のデータであった場合、携帯端末１００で表示可能なデータ形式に変換する。これにより、携帯端末１００で表示するデータ形式は、携帯端末１００独自のもの使用可能となる。また、青少年に害のあるデータを検出し、削除するといった変換も可能である。
【０１０２】
ステップＳ１０６で、情報変換部２０９により変換きれた情報を、携帯端末１００に送信する。
また、本システムの情報処理装置（ホスト端末２００）は、文字列ＤＢ２０７に蓄積された内容を認識結果として、出力するために、この内客は常に最新の内容でなくてはならない。このため、本システムの情報処理装置は、所持するデータベースの情報を随時最新の情報に更新する機能を有する。
【０１０３】
例えば、前記図４のステップＳ４０で、認識候補「ｈｔｔｐ：／／ｗｗｗ．ａａ」が確定されると、ホスト端末２００は、上記ステップＳ１０１で送信された確定情報「ｈｔｔｐ：／／ｗｗｗ．ａａ」を得る。この「ｈｔｔｐ：／／ｗｗｗ．ａａ」はＵＲＬであるため、ホスト端末２００は、ＵＲＬであればこのＵＲＬの情報を取得すると判断し、ステップＳ１０２でＴＣＰ／ＩＰなどの通信プロトコルを作成し、ステップＳ１０３でネットワーク３００に「ｈｔｔｐ：／／ｗｗｗ．ａａ」の情報取得を要求し、ステップＳ１０４で情報を取得する。
【０１０４】
次いで、ステップＳ１０６でホスト端末２００から携帯端末１００に情報が送信され、最終的に、ステップＳ１１２で、ホスト端末２００が送信してくる情報を取得し、ステップＳ１１３で、ホスト端末２００から受信した情報が携帯端末１００の表示部１０５に表示される。
このように、受信された認識候補を確定すれば、該確定情報が示す動作を起動することが可能になる。例えば、確定された情報がＵＲＬであれば、ＵＲＬの情報が取得表示される。
【０１０５】
図２０は、カメラのファインダ中の指標の一例を示す図であり、本システムの携帯端末の画像入力部を用いて、ユーザがターゲットとする画像をファインダでのぞいた時のファインダ中の指標の一例である。
図２０（Ａ）は、指標が破線である場合、図２０（Ｂ）は、指標が枠である場合、図２０（Ｃ）は、指標が網がけである場合をそれぞれ示す。
【０１０６】
ファインダの中に線などの入力位置の指標があり、その指標にターゲットを合わせるようにしてシャッタをきる。このようにすれば、ターゲットとなる物がほぼ指標の位置に存在するようになる。指標は、線でもよいし、枠でもよいし、→などの記号や絵などでもよい。
【０１０７】
図２１は、携帯端末１００の画像入力部１０４で作成され、ホスト端末２００に送信されるデータのフォーマットを示す図である。
図２１に示すように、送信データ１０００には、撮影された画像データ１００１に、座標データ１００２及び指標の種類を識別するデータ１００３が添付されている。
【０１０８】
上記フォーマットに従って、指標が、図２０（Ａ）の破線である場合は、破線の始点及び終点の座標と、指標の種類を識別する情報が入り、指標が、図２０（Ｂ）又は図２０（Ｃ）の枠又は網掛けである場合は、枠の左上右下の座標と指標の種類を識別する情報が入る。
このデータを受けとったホスト端末２００は、座標データと指標の種類を基に認識処理を行う。これにより、情報処理装置（ホスト端末２００）での認識処理の精度が高まる。
【０１０９】
第４の実施の形態
第４の実施の形態は、ホスト端末の文字列ＤＢ２０７に、文字列に付属する情報を付加する例である。本実施の形態のシステムの構成は、第１の実施の形態と同様であるため説明を省略する。
【０１１０】
図２２は、文字列ＤＢ２０７に認識対象文字列だけでなく、文字列に付属する情報を付加した例を示す図である。
図２２において、文字列ＤＢ２０７は、認識対象文字列１１０１にさらに、文字列に付属する付属情報１１０２を格納する。付属情報としては、認識対象文字列の内容を示す情報が格納される。
【０１１１】
前記図３のステップＳ７で、候補文字列を送信する時にこの付属情報をあわせて携帯端末１００に送信するようにすれば、ユーザは欲しい情報の内容を確認することができる。本来、所望していた文字列でなくても、「こっちの方がよい」と判断する材料にすることができる。
【０１１２】
図２３は、上記認識候補文字列１１０１と付属情報１１０２をあわせて表示した例を示す図である。
この場合、認識対象の文字列とその文字列の付属情報を、所有するデータベースに登録し、認識結果文字列と付属情報を併せて携帯端末１００に送信するようにしてもよい。
また、本システムの携帯端末１００で、送信された認識結果文字列と付属情報を併せて表示するようにしてもよい。
【０１１３】
第５の実施の形態
図２４は、第５の実施の形態の課金システムの構成を示す図である。図１と同一構成部分には同一符号を付して重複箇所の説明を省略する。
本実施の形態の課金システムは、携帯端末１２００が、図１の携帯端末１００の画像入力機能とホスト端末２００の画像認識機能を併せ持つものである。
【０１１４】
携帯端末１２００は、ＰＤＡ等の携帯情報端末やＰＨＳ／携帯電話機であり、本装置全体を制御するＣＰＵからなる制御部１２０１、制御プログラムや固定データ等を記憶するＲＯＭ１２０２、ＣＰＵの作業用記憶領域であるＲＡＭ１２０３を備えて構成される。ＲＯＭ１２０２及びＲＡＭ１２０３は、上記画像入力機能及び画像認識機能を実行できる制御プログラム、固定データ及び作業領域を有し、制御部１２０１は、スイッチ１，２，３（図２）の状態に基づいて、画像入力部１０４を制御したり、入力された画像データの認識制御、入力画像や認識結果，取得した文字列等を表示部１０５に表示する制御、通信部１０８により他の装置とデータを送受信する制御等を実行する。また、携帯端末１２００とホスト端末とを接続する無線，ケーブルなどの通信経路１５０（図１）は、不要になる。
本実施の形態では、ホスト端末との間で入力画像や文字列の送受信と、該送受信を行う際に必要な応答がなくなるため、入力画像に関する新しい情報を表示部１０５に表示する処理を、より一層迅速に行うことが可能となる。
【０１１５】
ここで、携帯性及び経済性の観点から、携帯端末１２００に搭載される、新しい情報を得るために必要な文字列ＤＢ２０７や文字列関連テーブル２１２は、前記各実施の形態で述べたホスト端末２００，９００に搭載されたものより簡易な構成としてもよい。この場合、まず自己の装置により認識処理等を行い、結果が満足できないときに、前記各実施の形態で説明した方法によりホスト端末に接続してもよく、この接続の可否をユーザに問うてもよい。この例について以下の実施の形態により説明する。
【０１１６】
第６の実施の形態
図２５は、第６の実施の形態の課金システムの構成を示す図である。図１、図１７及び図２４と同一構成部分には同一符号を付して重複箇所の説明を省略する。
携帯端末１３００は、本装置全体を制御するＣＰＵからなる制御部１３０１、画像入力機能及び画像認識機能を実行できる制御プログラム、固定データ及び作業領域を有するＲＯＭ１３０２，ＲＡＭ１３０３、文字列ＤＢ２０７Ａ及び文字列関連テーブル２１２Ａを備えて構成される。また、ホスト端末１４００は、本装置全体を制御するＣＰＵからなる制御部１４０１、制御プログラムや固定データ等を記憶するＲＯＭ１４０２、ＣＰＵの作業用記憶領域であるＲＡＭ１４０３、文字列ＤＢ２０７Ｂ及び文字列関連テーブル２１２Ｂを備えて構成される。
【０１１７】
制御部１３０１は、スイッチ１，２，３（図２）の状態に基づいて、画像入力部１０４を制御したり、入力された画像データの認識制御、入力画像や認識結果，取得した文字列等を表示部１０５に表示する制御、通信部１０８により他の装置とデータを送受信する制御等を実行する。
【０１１８】
本実施の形態の課金システムは、図１７で説明した第２の実施の形態の課金システムとシステム全体では同じ機能を行うが、認識処理は、携帯端末１３００側で行うため、ホスト端末１４００では、通信部２１６、ＲＡＭ１４０３、情報格納部２０６、新規情報登録部９０１、文字列ＤＢ２０７Ｂ及び文字列関連テーブル２１２Ｂを持ち、制御部１４０１は課金に関わる処理を行う。
文字列ＤＢ２０７Ｂと文字列関連テーブル２１２Ｂは、携帯端末１４００上にある文字列ＤＢ２０７Ａと文字列関連テーブル２１２Ａと同一の内容を持つ。
【０１１９】
ホスト端末１４００の新規情報登録部９０１により、これらが更新された場合、ホスト端末１４００の通信部２１６、及び、携帯端末１３００の通信部１０８を用いて、携帯端末１３００上の文字列ＤＢ２０７Ａと文字列関連テーブル２１２Ａも同時に更新される。したがって、文字列ＤＢ２０７Ａ，２０７Ｂと文字列関連テーブル２１２Ａ，２１２Ｂはホスト端末１４００のみに存在するような構成でもよい。
【０１２０】
また、文字列ＤＢ２０７Ａと文字列ＤＢ２０７Ｂ、文字列関連テーブル２１２Ａと文字列関連テーブル２１２Ｂのデータ格納形式は同一とし、データ内容には差異（例えば、文字列ＤＢ２０７Ｂ及び文字列関連テーブル２１２Ｂのデータ量を大きくする）を設ける態様でもよい。
【０１２１】
本実施の形態では、ホスト端末１４００の通信部２１６と携帯端末１３００の通信部１０８を用いてネットワーク３００を経由して画像や文字列のデータを送受信しているが、前記各実施の形態と同様に、通信経路１５０（図１）を用いてデータを送受信する態様でもよい。
以上の説明は本発明の好適な実施の形態の例証であり、本発明の範囲はこれに限定されることはない。
【０１２２】
なお、上記各実施の形態では、パソコン等の情報処理装置、携帯電話に適用した例であるが、データ送受信可能な装置であればどのような装置にも適用可能である。例えば、メール通信機能を備えたＰＤＡやＰＨＳ等の制御にも応用できる。また、通信端末装置であれば携帯端末には限定されない。また、画像データは、どのようなデータであってもよい。
【０１２３】
また、上記各実施の形態では、携帯端末、ホスト端末、情報処理装置、情報処理システム及び課金システムという名称を用いたが、これは説明の便宜上であり、ネットワークシステム、メール送受信装置、画像データ処理装置やデータ通信方法等でもよいことは勿論である。
また、上記通信端末装置及び情報処理装置を構成する各回路部、例えば記憶部や表示部の種類、数及び接続方法などは前述した実施の形態に限られない。
【０１２４】
また、上記実施の形態では、携帯電話と情報処理装置を有線により接続するようにしているが、どのような接続方法でもよく、例えば電波を用いた無線通信やＩｒＤＡ（Infrared Data Association），ＡＳＫ等に準拠して光通信であってもよい。
【０１２５】
また、以上説明した通信端末装置又は情報処理装置は、これら通信端末装置又は情報処理装置を機能させるためのプログラムでも実現される。このプログラムはコンピュータで読み取り可能な記録媒体に格納されている。本発明では、この記録媒体として、図１に示されている制御部１０１又は制御部２０１のメインメモリそのものがプログラムメディアであってもよいし、また外部記憶装置としてＣＤ−ＲＯＭドライブ等のプログラム読み取り装置が設けられ、そこに記録媒体を挿入することで読み取り可能なＣＤ−ＲＯＭ等のプログラムメディアであってもよい。いずれの場合でも、格納されているプログラムは制御部１０１又は制御部２０１のＣＰＵがアクセスして実行させる構成であってもよいし、あるいはいずれの場合もプログラムを読み出し、読み出されたプログラムは、図示されていないプログラム記憶エリアにダウンロードされて、そのプログラムが実行される方式であってもよい。このダウンロード用のプログラムは予め各装置に格納されているものとする。
【０１２６】
ここで、上記プログラムメディアは、通信端末装置又は情報処理装置と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等の磁気ディスクやＣＤ−ＲＯＭ、ＣＤ−Ｒ／ＲＷ、ＭＯ、ＭＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ等の光ディスクのディスク系、ＰＣカード、コンパクトフラッシュカード(登録商標)、スマートメディア(登録商標)、ＩＣカード、ＳＤカード(登録商標)、メモリースティック(登録商標)等のカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュＲＯＭ等による半導体メモリを含めた固定的にプログラムを担持する媒体であってもよい。
【０１２７】
さらに、インターネット接続プロバイダ又はサーバ端末４００等の外部の通信ネットワークとの接続が可能な通信接続手段を介して通信ネットワークからプログラムをダウンロードするように、流動的にプログラムを担持する媒体であってもよい。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用プログラムは予め格納しておくか、あるいは別な記録媒体からインストールされるものであってもよい。なお、記録媒体に格納されている内容としてはプログラムに限定されず、データであってもよい。
【０１２８】
【発明の効果】
以上、詳述したように、本発明によれば、通信端末装置で入力した画像を認識し、認識結果をキーに、ホームページなどの新たな情報を閲覧したいという場合に、通信端末装置で入力した画像に対して修正を行って合成画像を作成する処理を行う必要がない。
【０１２９】
また、画像中の認識対象範囲を簡単に特定することができる。
また、認識結果の修正をテンキーで１文字づつ修正しなくても所望の認識結果を得ることができる。また、キーを押すという簡単な操作で、より高い精度の認識結果を得ることができ、また、片手だけで操作が可能である。
【０１３０】
したがって、利用者の側に立って使い勝手を向上させることができる情報処理システム及び通信端末装置を実現することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の携帯端末及びホスト端末が適用される情報処理システムの構成を示す図である。
【図２】本実施の形態の携帯端末の外観を示す正面図である。
【図３】本実施の形態の携帯端末及びホスト端末間のデータ送受信、及び画像表示の全体動作を示すフローチャートである。
【図４】本実施の形態の携帯端末の画像入力部で画像データを入力し、所望の情報を携帯端末の表示部に表示する処理を示すフローチャートである。
【図５】本実施の形態の携帯端末の表示画面の表示例を示す図である。
【図６】本実施の形態のホスト端末の画像認識部が画像取得し、携帯端末に認識結果と添付情報を送信するまでの処理を示すフローチャートである。
【図７】本実施の形態の情報処理システムのパターンマッチング領域が抽出された結果の一例を示す図である。
【図８】本実施の形態の情報処理システムのパターンマッチング処理の出力結果の一例を示す図である。
【図９】本実施の形態の情報処理システムの文字列ＤＢとパターンマッチング出力結果文字列の照合処理の一例を示す図である。
【図１０】本実施の形態の情報処理システムの文字列関連テーブルの一例を示す図である。
【図１１】本実施の形態の情報処理システムの文字列関連テーブルの参照処理を示すフローチャートである。
【図１２】本実施の形態の情報処理システムの履歴テーブルの一例を示す図である。
【図１３】本実施の形態の情報処理システムの履歴テーブルの更新処理を示すフローチャートである。
【図１４】本実施の形態の情報処理システムの添付情報取得処理を示すフローチャートである。
【図１５】本実施の形態の情報処理システムの認識結果文字列候補と添付情報のデータ例を示す図である。
【図１６】本実施の形態の携帯端末が認識結果文字列候補及び添付情報を受信し、表示部に表示した例を示す図である。
【図１７】本発明の第２の実施の形態の課金システムの構成を示す図である。
【図１８】本実施の形態の情報処理システムの新規情報登録部の処理を示すフローチャートである。
【図１９】本発明の第３の実施の形態の携帯端末の画像入力部で画像データを入力し、所望の情報を携帯端末の表示部に表示する処理を示すフローチャートである。
【図２０】本実施の形態の情報処理システムのカメラのファインダ中の指標の一例を示す図である。
【図２１】本実施の形態の携帯端末の画像入力部で作成され、ホスト端末に送信されるデータのフォーマットを示す図である。
【図２２】本実施の形態の情報処理システムの文字列ＤＢに認識対象文字列だけでなく、文字列に付属する情報を付加した例を示す図である。
【図２３】本実施の形態の情報処理システムの認識候補文字列と付属情報をあわせて表示した例を示す図である。
【図２４】第５の実施の形態の課金システムの構成を示す図である。
【図２５】第６の実施の形態の課金システムの構成を示す図である。
【符号の説明】
１  スイッチ
２  スイッチ（指示手段，表示位置情報入力手段，付属情報入力手段）
３  スイッチ（確定手段）
１１  アンテナ
１２  画像入力装置（画像データ入力手段）
１３  表示部（表示手段）
１００，１２００，１３００  携帯端末（通信端末装置）
１０１，２０１  制御部
１０２，２０２  ＲＯＭ
１０３，２０３  ＲＡＭ
１０４  画像入力部（画像データ入力手段）
１０５，２０５  表示部（表示手段）
１０６  情報格納部
１０７  操作部（確定手段，指示手段，表示位置情報入力手段，付属情報入力手段）
１０８，２１６  通信部（通信手段）
１５０  通信経路
２００，９００  ホスト端末（情報処理装置）
２０４  入力部
２０６  情報格納部
２０７，２０７Ａ，２０７Ｂ  文字列データベース（ＤＢ）
２０８  認識部（画像認識手段）
２０９  情報変換部
２１０  照合部
２１１  情報取得部
２１２，２１２Ａ，２１２Ｂ  文字列関連テーブル
２１３  履歴テーブル
２１４  履歴格納部
２１５  テーブル参照部
３００  ネットワーク
４００  サーバ端末
９０１  新規情報登録部（登録手段）
１０００  送信データ
１００１  画像データ
１００２  座標データ
１００３  指標の種類を識別するデータ
１１０１  認識候補文字列
１１０２  付属情報
【図１】
0003936863.tif 000002
【図２】
0003936863.tif 000003
【図３】
0003936863.tif 000004
【図４】
0003936863.tif 000005
【図５】
0003936863.tif 000006
【図６】
0003936863.tif 000007
【図７】
0003936863.tif 000008
【図８】
0003936863.tif 000009
【図９】
0003936863.tif 000010
【図１０】
0003936863.tif 000011
【図１１】
0003936863.tif 000012
【図１２】
0003936863.tif 000013
【図１３】
0003936863.tif 000014
【図１４】
0003936863.tif 000015
【図１５】
0003936863.tif 000016
【図１６】
0003936863.tif 000017
【図１７】
0003936863.tif 000018
【図１８】
0003936863.tif 000019
【図１９】
0003936863.tif 000020
【図２０】
0003936863.tif 000021
【図２１】
0003936863.tif 000022
【図２２】
0003936863.tif 000023
【図２３】
0003936863.tif 000024
【図２４】
0003936863.tif 000025
【図２５】
0003936863.tif 000026