(57)【要約】【課題】文字認識処理が成功したか否かを利用者が判断できるようにする。【解決手段】情報入力部１１で取得された文字パターン列は電子データ送受信部１２により文字認識・データ加工装置２に送られ、文字認識部２２で文字認識される。文字認識された文字コード列は文字データ送受信部２１より携帯端末１に送信され、文字パターン列とともに情報表示部１３に表示される。利用者は情報表示部１３に表示された文字パターン列と文字コード列が同じであると判断すると、文字コード列に対してどのような処理を行うのか、その制御信号を情報入力部１１より入力する。すると文字認識・情報処理装置２のデータ加工部２３で文字コード列に対して制御信号で指定した処理が行われる。【選択図】      図１
2004178297.tif 000002
【特許請求の範囲】
【請求項１】
文字を含む画像データに対して文字認識処理を行うステップと、
文字認識処理により認識された文字コード列と、文字認識に使用した文字パターン列を関連付けて表示し、文字認識処理の結果が正しいかどうかを利用者に判定させるステップと、
文字認識処理の結果が正しい場合、表示されている前記文字コード列に対してどのように情報を加工するかをテキスト形式、あるいは選択形式、あるいは音声形式の制御信号として入力するステップと、
前記文字コード列を前記制御信号に基づき加工するステップを有する情報表示方法。
【請求項２】
文字を含む画像データに対して文字認識処理を行い、認識された文字コード列を文字認識・データ加工装置より受信するステップと、
文字認識処理により認識された文字コード列と、文字認識に使用した文字パターン列を関連付けて表示し、文字認識処理の結果が正しいかどうかを利用者に判定させるステップと、
文字認識処理の結果が正しい場合、表示されている前記文字コード列に対してどのように情報を加工するかをテキスト形式、あるいは選択形式、あるいは音声形式の制御信号として入力するステップと、
前記制御信号を前記文字認識・データ加工装置に送信するステップを有する情報表示方法。
【請求項３】
前記文字パターン列、前記文字コード列、および前記制御信号を通信ネットワークを介して前記文字認識・データ加工装置と送受信する、請求項２に記載の情報表示方法。
【請求項４】
前記文字コード列として情報記録媒体に記録された文字コード列を入力する、請求項２または３に記載の情報表示方法。
【請求項５】
文字を含む画像データに対して文字認識処理を行う文字認識手段と、
前記文字認識手段により認識された文字コード列と、文字認識に使用した文字パターン列を関連付けて表示し、文字認識処理の結果が正しいかどうかを利用者に判定させる情報表示手段と、
文字認識処理の結果が正しい場合、表示されている前記文字コード列に対してどのように情報を加工するかをテキスト形式、あるいは選択形式、あるいは音声形式の制御信号として入力する情報入力手段と、
前記制御信号を前記文字認識・データ加工装置に送信する送信手段を有する情報表示装置。
【請求項６】
文字を含む画像データに対して文字認識処理を行い、認識された文字コード列を文字認識・データ加工装置より受信する受信手段と、
文字認識処理により認識された文字コード列と、文字認識に使用した文字パターン列を関連付けて表示し、文字認識処理の結果が正しいかどうかを利用者に判定させる情報表示手段と、
文字認識処理の結果が正しい場合、表示されている前記文字コード列に対してどのように情報を加工するかをテキスト形式、あるいは選択形式、あるいは音声形式の制御信号として入力する情報入力手段と、
前記制御信号を前記文字認識・データ加工装置に送信する送信手段を有する情報表示装置。
【請求項７】
前記文字パターン列、前記文字コード列、および前記制御信号を通信ネットワークを介して前記文字認識・データ加工装置と送受信する電子データ送受信手段を有する、請求項６に記載の情報表示装置。
【請求項８】
前記文字コード列として情報記録媒体に記録された前記文字コード列を入力する手段を有する、請求項６または７に記載の情報表示装置。
【請求項９】
請求項１〜４のいずれかに記載の情報表示方法をコンピュータに実行させるためのプログラム。
【請求項１０】
請求項９に記載のプログラムを記録した、コンピュータで読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、文字を含む画像データに対して文字認識処理を行い、その結果を利用して所定のデータ加工処理を行い、その結果を表示する情報表示方法および装置に関する。
【０００２】
【従来の技術】
従来、文字認識処理を利用した技術として、景観中の文字をカメラで撮影し、撮影した画像中に含まれる文字を認識し、翻訳する機械翻訳カメラなどがある（非特許文献１）。
【０００３】
【非特許文献１】
渡部靖彦、外３名、「機械翻訳カメラ」、電子情報通信学会技術研究報告、社団法人電子情報通信学会、１９９７年３月、ＮＬＣ９６−６２、ｐ．４５−５２
【０００４】
【発明が解決しようとする課題】
しかしながら、それらは技術的な内容にとどまり、ユーザインタフェースなど実用上の問題については触れられていない。
【０００５】
例えば文字認識処理と、認識された文字コード列を検索キーとして使用した検索処理を組み合わせた場合、従来の技術では文字認識処理に失敗してしまった場合、誤認識された文字コード列を検索キーとして誤った検索情報しか得ることができないなど、実用上問題となる点がある。そして、誤認識してしまった場合にそれが誤認識であるか否かを機械的に判断することができないという問題がある。
【０００６】
本発明の目的は、文字認識処理が成功したか否かを利用者が判断することができる情報表示方法、装置、プログラム、および記録媒体を提供することにある。
【０００７】
【課題を解決するための手段】
本発明は、文字認識処理により認識された文字コード列と、文字認識に使用した文字パターン列を関連付けて表示することにより文字認識処理の結果が正しいかどうか利用者に判定させるようにしたものである。
【０００８】
そして、成功した場合のみ、認識した文字コード列を加工し、さらには文字コード列と、文字コード列を加工した結果を同時に表示することにより、翻訳、辞典検索、情報検索などのサービスの信頼度を高めることができる。
【０００９】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
【００１０】
図１は本発明の一実施形態のシステム構成図である。
【００１１】
本システムは携帯端末１と文字認識・データ加工装置２とネットワーク３で構成されている。
【００１２】
携帯端末１は携帯電話、ＰＤＡ  （Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔｓ）、ノートパソコン等で、情報を入力するための情報入力部１１と、通信ネットワーク３を介して文字認識・データ加工装置２との間で電子データの送受信を行うための電子データ送受信部１２と、情報を表示する情報表示部１３を有している。
【００１３】
文字認識・データ加工装置２は、ネットワーク３を介して携帯端末１との間で電子データの送受信を行うための電子データ送受信部２１と、電子データ送受信部２１で受信した、携帯端末１からの、文字パターン列に対して文字認識処理を行い、認識結果を電子データ送受信部２１を介して携帯端末１に返す文字認識部２２と、認識が成功した場合に、携帯端末１から受信した制御信号に基づきデータ加工処理を行い、その処理結果を電子データ送受信部２１を経て携帯端末１に送信する電子データ加工部２３と、課金額を算出する課金額算出部２４を有している。
【００１４】
次に、本実施形態の動作を図２のフローチャートによって説明する。
【００１５】
利用者は携帯端末１に付属の情報入力部１１を使用し、画像から情報を得たい範囲を含んだ文字パターン列を取得する（ステップ３１）。情報入力部１１としては、ディジタルスチルカメラやディジタルビデオカメラ、また、後述の文字コード列に対する処理内容を入力するための手段として、キーボード、タッチパネル、マウスなどのポインティングデバイスが含まれる。取得された文字パターン列は、電子データ送受信部１２より通信ネットワーク３を介して文字認識・データ加工装置２に送られる。文字認識・データ加工装置２で受信された文字パターンは電子データ送受信部２１で受信された後、文字認識部２２に送られ、文字認識処理が行われる（ステップ３２）。電子データ送受信部１２および電子データ送受信部２１は、携帯電話、ＰＨＳ、モデム、あるいは通信ネットワークに接続可能な情報読み取り装置、情報記録媒体などにより構成される。認識された文字コード列と、情報入力部１１により取得された文字パターン列は、携帯端末１の情報表示部１３により利用者に提示され（ステップ３３）、利用者は文字コード列と文字パターン列を比較することにより文字コード列が正しいか否かを判断する（ステップ３４）。情報表示部１３としては、画像表示が可能なディスプレイを使用する。図３は情報表示部１３における文字パターン列と文字コード列の表示例である。また、図４のように、文字パターン列と文字コード列を重ねて表示することにより、より詳細な識別を行うことができる。このとき、文字パターン列と文字コード列が同じであれば、情報入力部１１より、前記文字コード列に対してどのような処理を行うのを指定する、テキスト形式、あるいは選択形式、あるいは音声形式の制御信号を入力する（ステップ３５）。図３等の「操作部」はマウス等のポインティングデバイスで、選択形式の制御信号を入力することを示している。入力された制御信号、および前記文字コード列は文字認識・データ加工装置２の電子データ加工部２３に送られ、電子データ加工部２３は制御信号に基づき文字コードの情報を加工する（ステップ３６）。図５は情報表示部１３に表示された文字コードをどのように２次加工するかを選択する例で、この場合、和英辞書を使用して翻訳を行っている。この他、辞書や辞典を選択することで、例えば図６のように文字コード列の意味を調べることもできる。また、文字認識部２２において認識された文字コード列に対してどのような処理を加えるのかを事前に入力として与え、図７に示すように文字コード列、および文字パターン列、および電子データ加工部２３において処理された結果を同時に取得し、利用者に処理結果の信頼度を判断させることもできる。この場合の処理の流れを図８に示す。この場合、認識に失敗すればデータを再取得して（ステップ３９）処理を繰り返す。図９および図１０のように、情報表示部１３に表示された文字パターン列と文字コード列が異なる場合は、情報入力部１１から前記文字コード列が異なることを入力し、文字パターン列と文字コード列が一致するまで再取得した文字パターン列に対して文字認識処理を行う。電子データ加工部２３における処理が終了すると、課金算出部２４で課金額を算出し（ステップ３７）、電子データ送受信部２１より処理結果を携帯端末１に送信する（ステップ３８）。
【００１６】
図１２は本発明の第２の実施形態を示すブロック図である。
【００１７】
本実施形態では利用者の携帯端末１はタッチパネル、キーボード、マウスなどの情報入力部４１と、ディジタルスチルカメラ、ディジタルビデオカメラ、ディスプレイのような情報表示部４２と、文字認識処理、電子データ加工処理をそれぞれ行う文字認識部４３、電子データ加工部４４を備え、端末内で文字認識処理とデータ加工処理を行なうようにしたものである。
【００１８】
なお、ユーザの端末が文字認識部と電子データ加工部を備えておらず、通信ネットワークに接続する機能も備えていない場合は、文字認識・データ加工装置で得られた文字コード列をメモリカード、プロッピィディスク等の情報記録媒体に記録して、文字コード列をオフラインで端末に入力するようにしてもよい。
【００１９】
本発明は専用のハードウェアにより実現されるもの以外に、その機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するものであってもよい。コンピュータ読み取り可能な記録媒体とは、フロッピーディスク、光磁気ディスク、ＣＤ―ＲＯＭ  等の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置を指す。さらにコンピュータ読み取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間の間、動的にプログラムを保持するもの（伝送媒体もしくは伝送波）、その場合のサーバとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含まれる。
【００２０】
【発明の効果】
以上説明したように、本発明によれば、文字認識処理の結果が正しいかどうか利用者が判定できるため、情報処理の信頼度を高めることができる。
【図面の簡単な説明】
【図１】本発明の一実施形態のシステム構成図である。
【図２】図１のシステムにおける処理の流れを示すフローチャートである。
【図３】情報表示部の表示例を示す図である。
【図４】情報表示部の他の表示例を示す図である。
【図５】電子データ加工部における情報加工例（和英辞書）を示す図である。
【図６】電子データ加工部における他の情報加工例（辞書検索）を示す図である。
【図７】文字認識処理、データ加工処理を一括して行った場合の表示例を示す図である。
【図８】文字認識処理、データ加工処理を一括して行う場合の処理の流れを示すフローチャートである。
【図９】文字認識処理に失敗した場合の文字パターン列、文字コード列の表示例を示す図である。
【図１０】文字認識処理に失敗した場合の文字パターン列、文字コード列の他の表示例を示す図である。
【図１１】本発明の他の実施形態の構成図である。
【符号の説明】
１    携帯端末
２    文字認識・データ加工装置
３    通信ネットワーク
１１    情報入力部
１２    電子データ送受信部
１３    情報表示部
２１    電子データ送受信部
２２    文字認識部
２３    電子データ加工部
２４    課金額算出部
３１〜３９    ステップ
４１    情報入力部
４２    情報表示部
４３    文字認識部
４４    電子データ加工部
【図１】
2004178297.tif 000003
【図２】
2004178297.tif 000004
【図３】
2004178297.tif 000005
【図４】
2004178297.tif 000006
【図５】
2004178297.tif 000007
【図６】
2004178297.tif 000008
【図７】
2004178297.tif 000009
【図８】
2004178297.tif 000010
【図９】
2004178297.tif 000011
【図１０】
2004178297.tif 000012
【図１１】
2004178297.tif 000013