(57)【要約】【課題】画像をサーバに転送したりサーバから制御信号を受信することなく、携帯端末機器内で文字情報を認識できる携帯端末機器及びサービス利用システム並びにサービス利用方法の提供。【解決手段】撮像手段１と、取得した画像から文字情報を含む領域を抽出するレイアウト解析手段２と、文字情報を認識して文字コードに変換する文字認識手段３と、文字コードをサービスに適合した形式に整形する手段を含むサービス制御手段４と、レイアウト解析手段、文字認識、サービス制御手段での処理に際して参照される認識補助情報をサービス提供サーバ１０２からダウンロードし記憶する認識補助情報記憶手段５と、通信ネットワーク１０３に接続するネットワーク接続手段５とを備え、個々のサービスに特化した認識補助情報を使用して認識処理を行うことにより、小型かつ高速に動作するとともに高い認識精度を達成する。【選択図】図１
2004158912.tif 000002
【特許請求の範囲】
【請求項１】
画像を取得する撮像手段と、通信ネットワークに接続する接続手段とを備える携帯端末機器において、
前記撮像手段で取得した前記画像から文字情報を含む領域を抽出するレイアウト解析手段と、
抽出した前記文字情報を認識して文字コードに変換する文字認識手段と、
前記文字コードをサービスに適合した形式に整形すると共に前記サービスを実行するための制御を行うサービス制御手段と、
前記レイアウト解析手段、前記文字認識手段、又は前記サービス制御手段の実行に際して参照される認識補助情報を、前記サービスを提供するサーバからダウンロードする手段と、
前記ダウンロードした前記認識補助情報を記憶する手段と、を備えることを特徴とする携帯端末機器。
【請求項２】
前記携帯端末機器を、前記レイアウト解析手段、前記文字認識手段、又は前記サービス制御手段の少なくとも一の手段として機能させるプログラムをダウンロードする手段と、
前記ダウンロードした前記プログラムを記憶して実行する手段と、を備え、
前記プログラムを前記携帯端末機器で実行することにより、前記レイアウト解析手段、前記文字認識手段、又は前記サービス制御手段の少なくとも一の手段が実現されることを特徴とする請求項１に記載の携帯端末機器。
【請求項３】
前記携帯端末機器を前記サービス制御手段として機能させる、前記レイアウト解析手段及び前記文字認識手段で参照される情報を含むプログラムをダウンロードする手段と、
前記ダウンロードした前記プログラムを記憶して実行する手段と、を備え、
前記プログラムを前記携帯端末機器で実行することにより、前記サービス制御手段が実現されることを特徴とする請求項１に記載の携帯端末機器。
【請求項４】
前記認識補助情報は、レイアウト解析のためのパラメータ、文字情報を認識するための特定フォントの文字認識辞書、前記文字コードを整形するための文字列の書式を定義した書式情報のいずれかを含むことを特徴とする請求項１乃至３のいずれか一に記載の携帯端末機器。
【請求項５】
前記サービス制御手段に、前記記憶手段又は前記携帯端末機器に予め備える記憶手段に前記認識補助情報が記憶されているかを判定する手段を備え、
前記認識補助情報が記憶されていない場合に該認識補助情報のダウンロードが実行されることを特徴とする請求項１乃至４のいずれか一に記載の携帯端末機器。
【請求項６】
画像を取得する撮像手段と、通信ネットワークに接続する接続手段とを備える携帯端末機器と、サービスを提供するサーバとが通信ネットワークを介して接続されてなるサービス利用システムにおいて、
前記撮像手段で取得した前記画像から抽出した文字情報に対応する前記サービスを利用可能とする手段を実行するためのプログラム、又は、該サービスを利用するために参照される認識補助情報の少なくとも一方の一部又は全部を前記サーバからダウンロードする手段を備えることを特徴とするサービス利用システム。
【請求項７】
画像を取得する撮像手段と、通信ネットワークに接続する接続手段とを備える携帯端末機器と、サービスを提供するサーバとが通信ネットワークを介して接続されてなるサービス利用システムにおいて、
前記携帯端末機器には、
前記撮像手段で取得した前記画像から文字情報を含む領域を抽出するレイアウト解析手段と、
抽出した前記文字情報を認識して文字コードに変換する文字認識手段と、
前記文字コードをサービスに適合した形式に整形すると共に前記サービスを実行するための制御を行うサービス制御手段と、
前記レイアウト解析手段、前記文字認識手段、又は前記サービス制御手段の実行に際して参照される認識補助情報を、前記サービスを提供するサーバからダウンロードする手段と、
前記ダウンロードした前記認識補助情報を記憶する手段と、を備え、
前記サーバには、前記認識補助情報が前記サービス毎にダウンロード可能に記憶されることを特徴とするサービス利用システム。
【請求項８】
前記サーバに、携帯端末機器を、前記レイアウト解析手段、前記文字認識手段、又は前記サービス制御手段の少なくとも一の手段として機能させるプログラムがダウンロード可能に記憶され、
前記携帯端末機器では、前記ダウンロードした前記プログラムにより、前記レイアウト解析手段、前記文字認識手段、又は前記サービス制御手段の少なくとも一の手段が実現されることを特徴とする請求項７に記載のサービス利用システム。
【請求項９】
前記認識補助情報は、レイアウト解析のためのパラメータ、文字情報を認識するための特定フォントの文字認識辞書、前記文字コードを整形するための文字列の書式を定義した書式情報のいずれかを含むことを特徴とする請求項６乃至８のいずれか一に記載のサービス利用システム。
【請求項１０】
前記サービス制御手段に、前記記憶手段又は前記携帯端末機器に予め備える記憶手段に前記認識補助情報が記憶されているかを判定する手段を備え、
前記認識補助情報が記憶されていない場合に該認識補助情報のダウンロードが実行されることを特徴とする請求項６乃至９のいずれか一に記載のサービス利用システム。
【請求項１１】
画像を取得する撮像手段と、通信ネットワークに接続する接続手段とを備える携帯端末機器と、サービスを提供するサーバとが通信ネットワークを介して接続されてなるシステムを用いたサービス利用方法であって、
前記撮像手段で取得した前記画像から抽出した文字情報に対応する前記サービスを利用可能とする手段を実行するためのプログラム、又は、該サービスを利用するために参照される認識補助情報の少なくとも一方の一部又は全部を前記サーバからダウンロードして実行することを特徴とするサービス利用方法。
【請求項１２】
画像を取得する撮像手段と、通信ネットワークに接続する接続手段とを備える携帯端末機器と、サービスを提供するサーバとが通信ネットワークを介して接続されてなるシステムを用いたサービス利用方法であって、
個々の前記サービスごとに用意された、前記サービスの処理に際して参照される認識補助情報を前記サーバからダウンロードする処理と、
前記撮像手段で取得した画像を前記認識補助情報を参照してレイアウト解析するレイアウト解析処理と、
前記レイアウト解析で得られた前記文字情報を前記認識補助情報を参照して認識し、対応する文字コードを取得する文字認識処理と、
取得された前記文字コードを前記認識補助情報を参照して前記サービスに適合した形式の情報に整形し、前記整形した情報を前記サーバに送信し、該情報を基に提供される情報を前記サーバから受信するサービス制御処理と、
を備えることを特徴とするサービス利用方法。
【請求項１３】
前記サーバから、前記携帯端末機器を、前記レイアウト解析処理、前記文字認識処理、又は前記サービス制御処理の少なくとも一の処理を実行する手段として機能させるプログラムをダウンロードするステップを備え、
前記ダウンロードした前記プログラムにより、前記レイアウト解析処理、前記文字認識処理、又は前記サービス制御処理の少なくとも一の処理を前記携帯端末機器内で実現することを特徴とする請求項１２に記載のサービス利用方法。
【請求項１４】
前記認識補助情報は、レイアウト解析のためのパラメータ、文字情報を認識するための特定フォントの文字認識辞書、前記文字コードを整形するための文字列の書式を定義した書式情報のいずれかを含むことを特徴とする請求項１２又は１３に記載のサービス利用方法。
【請求項１５】
前記サービス制御処理において、前記携帯端末機器の記憶手段に前記認識補助情報が記憶されているかを判定する処理を行い、
前記認識補助情報が記憶されていない場合に該認識補助情報のダウンロードを実行することを特徴とする請求項１２乃至１４のいずれか一に記載のサービス利用方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、インターネットで提供されるサービスを利用する携帯端末機器及びサービス利用システム並びにサービス利用方法に関し、特に、カメラで撮影された画像等から文字情報を認識処理することによって情報検索などのサービスを実行することのできる携帯端末機器及びサービス利用システム並びにサービス利用方法に関する。
【０００２】
【従来の技術】
近年、カメラ機能を備えた携帯電話機やＰＤＡ等の携帯端末機器が普及しており、それに伴いカメラで撮影した画像を利用したサービスを提供するシステムが提案されている。例えば、従来の画像データ処理システムの一例として、特開平１０−１３４００４号公報に記載されているシステムがある。この従来の画像データ処理システムは、まず、携帯端末に内蔵されたカメラを用いて文字を含んだ画像データを撮影し、前記画像データをネットワークを介してホスト端末に転送する。ホスト端末は、受信した画像データに含まれる文字を認識し、その文字に所定の処理（情報検索、翻訳など）を施し、処理結果を前記携帯端末に送信し、携帯端末は、受信した処理結果を表示する。これによって、携帯端末を用いた翻訳や検索などにおけるユーザインタフェイスを向上させている。上記システムでは、画像処理や文字認識処理を携帯端末側ではなくホスト端末側で実行するため、携帯端末には大容量のメモリや高性能の演算装置を備える必要がないという特徴がある。
【０００３】
また、従来の通信システムの一例として、特開平１１−１８４９７３号公報に記載されているシステムもある。この従来の通信システムは、移動端末で文字認識した結果を中央制御装置へ送信し、中央制御装置はこの認識結果に基づいて端末に制御信号を送るものである。そして、適切なリジェクト率（文字認識候補が認識不能であることを示す識別子が発生する割合）で移動端末での文字認識が実行されるように、移動端末の認識不能判定部の判定状況に応じて、認識不能判定用閾値を中央制御装置の閾値入力部に変更することにより処理効率を向上させている。上記システムでは、中央制御装置は操作者のための表示手段と入力手段を備えており、操作者は表示された認識結果を見て、適切な制御信号を入力するように構成されている。
【０００４】
【特許文献１】
特開平１０−１３４００４号公報（第２−３頁、第１図）
【特許文献２】
特開平１１−１８４９７３号公報（第５−６頁、第１図）
【０００５】
【発明が解決しようとする課題】
しかしながら、従来の画像データ処理システムや通信システムでは以下に示す問題がある。
【０００６】
第１の問題点は、サーバに画像を送信するシステム（特開平１０−１３４００４号公報記載のシステム）の場合、カメラで撮影してから処理結果が得られるまでに多くの時間を要する点である。その理由は、カメラで撮影した画像をネットワークを介してホスト端末に転送するからであり、画像はデータ量が多いため、処理結果が得られるまでの待ち時間が長くなるという問題があった。
【０００７】
第２の問題点は、バーコードなど機械での読み取りを前提に設計された記号を読み取るのに比べて、文字認識は精度が劣るという点である。その理由は、文字は人間が読むことを前提に設計されているために、様々な書体が存在するなど曖昧性が高いためである。その一方、機械が読みやすい書体のみに対象を限定することは、システムの適用範囲が著しく狭くなるという問題があった。
【０００８】
第３の問題点は、柔軟性が非常に高いサービス利用システムを携帯端末に搭載するのは困難だという点である。その理由は、携帯端末のメモリは少なく、様々な要求を想定してそれらの全てを実現するような巨大なシステムを搭載できないからである。
【０００９】
第４の問題点は、中央制御装置から制御信号を送るシステム（特開平１１−１８４９７３号公報記載のシステム）の場合、制御信号を入力する操作者が必要な点である。その理由は、処理対象を限定していないため、認識してみないと適切な制御信号が分からないからである。
【００１０】
本発明は、上記問題点に鑑みてなされたものであって、その主たる目的は、画像をサーバに転送したりサーバから制御信号を受信することなく、携帯端末機器内で適切に文字情報を認識することができる小型かつ高速な携帯端末機器及びサービス利用システム並びにサービス利用方法を提供することである。
【００１１】
本発明の他の目的は、人間が読むことを前提に書かれた文字を認識するにもかかわらず、高い認識精度を達成することができる携帯端末機器及びサービス利用システム並びにサービス利用方法を提供することである。
【００１２】
本発明のさらに他の目的は、携帯端末機器に搭載可能でありながら柔軟性が高いサービス利用システム及びサービス利用方法を提供することである。
【００１３】
本発明のさらに他の目的は、システムの実行時にサーバの操作者を必要としない携帯端末機器及びサービス利用システム並びにサービス利用方法を提供することである。
【００１４】
【課題を解決するための手段】
上記目的を達成するため、本発明の携帯端末機器は、画像を取得する撮像手段と、通信ネットワークに接続する接続手段とを備える携帯端末機器において、前記撮像手段で取得した前記画像から文字情報を含む領域を抽出するレイアウト解析手段と、抽出した前記文字情報を認識して文字コードに変換する文字認識手段と、前記文字コードをサービスに適合した形式に整形すると共に前記サービスを実行するための制御を行うサービス制御手段と、前記レイアウト解析手段、前記文字認識手段、又は前記サービス制御手段の実行に際して参照される認識補助情報を、前記サービスを提供するサーバからダウンロードする手段と、前記ダウンロードした前記認識補助情報を記憶する手段と、を備えるものであり、個々のサービスに特化した認識補助情報を使用して認識処理を行うことにより、小型かつ高速に動作するとともに高い認識精度を達成する。また、個々のサービスに特化した認識補助情報をあらかじめ準備しているので、システムの実行時にサーバの操作者を必要としない。
【００１５】
また、本発明の携帯端末機器は、前記携帯端末機器を、前記レイアウト解析手段、前記文字認識手段、又は前記サービス制御手段の少なくとも一の手段として機能させるプログラムをダウンロードする手段と、前記ダウンロードした前記プログラムを記憶して実行する手段と、を備え、前記プログラムを前記携帯端末機器で実行することにより、前記レイアウト解析手段、前記文字認識手段、又は前記サービス制御手段の少なくとも一の手段が実現され、好ましくは、前記携帯端末機器を前記サービス制御手段として機能させる、前記レイアウト解析手段及び前記文字認識手段で参照される情報を含むプログラムをダウンロードする手段と、前記ダウンロードした前記プログラムを記憶して実行する手段と、を備え、前記プログラムを前記携帯端末機器で実行することにより、前記サービス制御手段が実現されるものであり、レイアウト解析の制御や書式への当てはめをダウンロードしたプログラムで実行することにより、柔軟性が高く様々な要求に対応することができる。
【００１６】
本発明においては、前記認識補助情報は、レイアウト解析のためのパラメータ、文字情報を認識するための特定フォントの文字認識辞書、前記文字コードを整形するための文字列の書式を定義した書式情報のいずれかを含むことが好ましい。
【００１７】
また、本発明においては、前記サービス制御手段に、前記記憶手段又は前記携帯端末機器に予め備える記憶手段に前記認識補助情報が記憶されているかを判定する手段を備え、前記認識補助情報が記憶されていない場合に該認識補助情報のダウンロードが実行される構成とすることができる。
【００１８】
また、本発明のシステムは、画像を取得する撮像手段と、通信ネットワークに接続する接続手段とを備える携帯端末機器と、サービスを提供するサーバとが通信ネットワークを介して接続されてなるサービス利用システムにおいて、前記撮像手段で取得した前記画像から抽出した文字情報に対応する前記サービスを利用可能とする手段を実行するためのプログラム、又は、該サービスを利用するために参照される認識補助情報の少なくとも一方の一部又は全部を前記サーバからダウンロードする手段を備えるものである。
【００１９】
また、本発明のシステムは、画像を取得する撮像手段と、通信ネットワークに接続する接続手段とを備える携帯端末機器と、サービスを提供するサーバとが通信ネットワークを介して接続されてなるサービス利用システムにおいて、前記携帯端末機器には、前記撮像手段で取得した前記画像から文字情報を含む領域を抽出するレイアウト解析手段と、抽出した前記文字情報を認識して文字コードに変換する文字認識手段と、前記文字コードをサービスに適合した形式に整形すると共に前記サービスを実行するための制御を行うサービス制御手段と、前記レイアウト解析手段、前記文字認識手段、又は前記サービス制御手段の実行に際して参照される認識補助情報を、前記サービスを提供するサーバからダウンロードする手段と、前記ダウンロードした前記認識補助情報を記憶する手段と、を備え、前記サーバには、前記認識補助情報が前記サービス毎にダウンロード可能に記憶されるものである。
【００２０】
また、本発明の方法は、画像を取得する撮像手段と、通信ネットワークに接続する接続手段とを備える携帯端末機器と、サービスを提供するサーバとが通信ネットワークを介して接続されてなるシステムを用いたサービス利用方法であって、前記撮像手段で取得した前記画像から抽出した文字情報に対応する前記サービスを利用可能とする手段を実行するためのプログラム、又は、該サービスを利用するために参照される認識補助情報の少なくとも一方の一部又は全部を前記サーバからダウンロードして実行するものである。
【００２１】
また、本発明の方法は、画像を取得する撮像手段と、通信ネットワークに接続する接続手段とを備える携帯端末機器と、サービスを提供するサーバとが通信ネットワークを介して接続されてなるシステムを用いたサービス利用方法であって、個々の前記サービスごとに用意された、前記サービスの処理に際して参照される認識補助情報を前記サーバからダウンロードする処理と、前記撮像手段で取得した画像を前記認識補助情報を参照してレイアウト解析するレイアウト解析処理と、前記レイアウト解析で得られた前記文字情報を前記認識補助情報を参照して認識し、対応する文字コードを取得する文字認識処理と、取得された前記文字コードを前記認識補助情報を参照して前記サービスに適合した形式の情報に整形し、前記整形した情報を前記サーバに送信し、該情報を基に提供される情報を前記サーバから受信するサービス制御処理と、を備えるものである。
【００２２】
【発明の実施の形態】
［実施形態１］
本発明の第１の実施形態について図１乃至図４を参照して詳細に説明する。図１は、第１の実施形態に係るカメラ画像を用いたサービス利用システムの構成を模式的に示す図であり、図２は、カメラ画像を用いたサービス利用手順を示すフローチャート図である。また、図３は、第１の実施形態に係る携帯端末機器の外観構成を模式的に示す図であり、図４は、認識補助情報の構成を示す図である。
【００２３】
図１を参照すると、本発明の第１の実施形態に係るサービス利用システムは、カメラで撮影した画像をデジタル情報として出力する撮像手段１と、撮影された画像の中から目的とする文字を探し出すレイアウト解析手段２と、個々の文字を認識する文字認識手段３と、サービスを提供するサーバと通信して文字認識の補助となる情報を取得したり、サービスに応じて文字認識結果の書式を加工してサーバに送信したりすることでシステム全体の動作を制御するサービス制御手段４と、レイアウト解析のためのパラメータ、特定フォントの文字認識辞書、文字列の書式を定義した書式情報など、各サービスに特化した情報（以下、認識補助情報と称する。）を蓄積する認識補助情報記憶手段５と、ネットワーク接続手段６とを備える携帯端末機器１０１と、サービスを提供しているサービス提供サーバ１０２とが通信ネットワーク１０３を介して接続されている。
【００２４】
なお、図では説明を容易にするために携帯端末機器１０１の各手段を別々に記載しているが、これらの手段は必ずしも分離している必要はなく、例えば、レイアウト解析手段２や文字認識手段３、サービス制御手段４が一体となった構成としてもよく、また、認識補助情報記憶手段５は、予め携帯端末機器１０１に備える記憶手段の一部を利用してもよい。また、ここでいうサービスとは、携帯端末機器１０１から送信された文字情報に対して、該文字情報に関連する情報を提供するサービス全般を指し、例えば、商品番号などの文字列を入力として、該文字列に対応する商品の値段などを出力するサービスなどを言うものとする。
【００２５】
撮像手段１は、デジタルカメラなどで知られるように、カメラによって撮影された対象をデジタル画像として出力するものである。なお、撮像手段１は、携帯端末機器１０１に一体的に構成されていてもよく、また、携帯端末機器１０１とは別に設けられ、有線、無線、赤外線等により画像情報を携帯端末機器１０１に送信する形態であってもよい。また、撮像手段１は動画を取得するものであってもよく、動画を基に生成したスチル画像を利用する構成としてもよい。
【００２６】
レイアウト解析手段２は、撮像手段１によって撮影された画像に対して、行画像の切り出し、文字画像の切り出しなどの処理を施し、１文字ずつの画像を出力する。その際に、認識補助情報記憶手段５に蓄積された解析のためのパラメータを利用する。
【００２７】
文字認識手段３は、レイアウト解析手段２によって切り出された１文字分の画像と文字認識辞書内のテンプレートとのマッチングを行い、最も形が似ているテンプレートの文字コードを出力する。その際に、認識補助情報記憶手段５に蓄積された文字認識辞書を利用する。
【００２８】
サービス制御手段４は、ネットワーク接続手段６を介してサービス提供サーバ１０２と通信を行うことにより認識補助情報を取得する。また、認識補助情報を取得したらレイアウト解析手段２と文字認識手段３に動作の開始を伝える。さらに、文字認識手段３の出力である文字コードを書式を整えてからネットワーク接続手段６を介してサービス提供サーバ１０２に送ることにより、例えば商品情報の検索などの様々なサービスを実行する。文字コードの書式を整える際には、認識補助情報記憶手段５に蓄積された書式情報を利用する。
【００２９】
認識補助情報記憶手段５は、レイアウト解析のためのパラメータや特定フォントの文字認識辞書や文字列の書式を定義した書式情報など、各サービスに特化した認識補助情報を蓄積する。なお、認識補助情報は上記に限定されず、画像から抽出した文字情報を用いたサービスを利用するために参照される情報であればよい。
【００３０】
ネットワーク接続手段６は、サービス提供サーバ１０２とインターネットなどの通信ネットワーク１０３を介して通信するための手段であり、通信ネットワーク１０３との接続方法は、有線、無線、赤外線等いずれの方法であってもよい。
【００３１】
次に、図１及び図２のフローチャート図を参照して本実施形態のカメラ画像を用いたサービス利用手順について詳細に説明する。
【００３２】
まず、携帯端末機器１０１におけるメニュー選択などによるユーザの指示によって、これからサービスを受けるサーバを選択する（図２のステップＡ１）。図１のサービス提供サーバ１０２はこのようにして選択されたサーバである。なお、ここではサーバを選択する構成としているが、１つのサーバが複数のサービスを提供していて、それらのサービスのうちのどれかを選択する構成としてもよい。また、サービス提供サーバ１０２は、本実施形態のサービスのみを提供するサーバとしてもよいし、他のサービス（携帯端末機器１０１で利用可能な一般的なサービス）も提供するサーバとしてもよい。
【００３３】
次に、サービス制御手段４はネットワーク接続手段６を用いて通信ネットワーク１０３を介してサービス提供サーバ１０２と接続し、認識補助情報のダウンロードを行い、認識補助情報記憶手段５に蓄積する（ステップＡ２）。認識補助情報のダウンロードに際して、ＩＤ、パスワード等によりユーザを認証してもよく、サービス提供サーバ１０２に記憶されている認識補助情報はその一部をダウンロードしても全部をダウンロードしてもよい。なお、サービス制御手段４に認識補助情報記憶手段５や携帯端末機器１０１の他の記憶手段に認識補助情報が記憶されているかを判定する機能を設け、過去にダウンロードした認識補助情報がキャッシュされているなどの理由により、既に該当する認識補助情報が認識補助情報記憶手段５に蓄積されている場合にはダウンロードは行わない構成とすることが好ましく、これにより無駄なダウンロードを防止し、処理の迅速化を図ることができる。
【００３４】
上記ステップＡ１〜Ａ２の準備段階の後、ユーザは文字列（通常、紙面に印刷されたものが用いられるが、物品に印刷されたものや刻印されたもの等、文字列として認識できるものであればよい。）を撮像手段１により撮影する（ステップＡ３）。撮影された画像は、予め認識補助情報記憶手段５に蓄積されたパラメータを用いてレイアウト解析手段２で行画像の切り出し、文字画像の切り出し等の解析処理が行われる（ステップＡ４）。そして、文字認識手段３は、予め認識補助情報記憶手段５に蓄積されたサービス固有の文字認識辞書とレイアウト解析手段２によって切り出された文字画像とを照合することにより文字情報として認識し、認識結果を文字コード列としてサービス制御手段４に渡す（ステップＡ５）。
【００３５】
サービス制御手段４は、文字認識手段３によって得られた文字コード列を予め認識補助情報記憶手段５に蓄積されたサービス固有の書式情報に当てはめた後、最終的な結果をサービス提供サーバ１０２へ送信する（ステップＡ６）。ここでいう書式情報とは、例えば「７桁の数字列」というように、文字列が満たすべき文法に関する情報である。
【００３６】
サービス提供サーバ１０２は、送られた文字コード列に対して予め定められた所定のサービスを施し、その結果をサービス制御手段４に返す（ステップＡ７）。サービスの結果の例としては、例えば、「商品番号に対応した商品情報」や「紙面に出てきた用語の解説」などがある。さらに、他の文字列に対してサービスを続行する場合は、ステップＡ１〜Ａ２を省略してステップＡ３へ戻る。
【００３７】
なお、本実施の形態では、サービス提供サーバ１０２にて認識補助情報の送信とサービスの実施の両方を実行しているが、それぞれを別のサーバで実行してもよい。そのようにすれば、認識処理とは無関係にＷｅｂなどを対象としてサービスを行っているサーバによってサービスの実施を行うことができる。
【００３８】
このように、本実施形態では、サービス毎に用意された認識補助情報を必要に応じてダウンロードしてレイアウト解析や文字認識等の処理を行うため、汎用に用意された認識システムに比べて非常に小型かつ高速に認識処理を実行できる。そのため、認識処理を携帯端末機器１０１内で実行することが可能となり、画像をサーバに転送しなくてすむため、特に何度も同じサービスを利用する場合にユーザの待ち時間を大幅に減少させることができる。また、本実施の形態では、サービス提供者が認識対象に合わせて認識補助情報を適切に準備できることから、汎用な認識システムに比べて大幅に認識精度を高めることができる。
【００３９】
次に、具体例を用いて本実施の形態の動作を説明する。図３に示すように、携帯端末機器１０１は液晶表示素子や有機ＥＬ発光素子等からなる表示手段２０１と操作ボタン、タッチパネル等の操作手段２０３とを備えており、表示手段２０１上には、例えばサービス選択メニュー２０２が表示されている。サービス選択メニュー２０２に表示された項目は、それぞれ個別のサービスを表しており、ユーザは操作手段２０３を使用して所望のサービスを選択する。携帯端末機器１０１内部では、それぞれのサービスに対応するサーバの情報（例えばＵＲＬ）が格納されている。なお、ここではサービスの一覧は既に携帯端末機器１０１内にあるものとしたが、ステップＡ１の前段階としてサービスの一覧をサーバからダウンロードしてもよい。
【００４０】
そして、サービスが選択されると、ネットワーク接続手段６はそれに対応するサーバに接続してサービス制御手段４はサーバから認識補助情報をダウンロードする（図２のステップＡ２）。商品情報のサービスに対応する認識補助情報の具体例を図４に示す。ここでは、タグによってデータの構造を記述する汎用的な表現（ＸＭＬ）を用いている。
【００４１】
レイアウト解析に関する認識補助情報３０１には、例えば、対象としている文字が白抜き文字であり、下線は書かれておらず、囲み枠があることが記述されている。これらの情報を利用して、図１におけるレイアウト解析手段２は、濃淡を反転する処理をしたり、囲み枠を除去する処理を行い、画像から文字列を抽出する。
【００４２】
文字認識に関する認識補助情報３０２には、例えば、文字認識辞書ファイルが存在するＵＲＬが記述されている。サービス制御手段４は、上述した判定手段を用いて指定された文字認識辞書が既に読み込まれてキャッシュに存在するかを確認し、存在しなければダウンロードする。文字認識手段３はダウンロードされた文字認識辞書を使用して文字認識を行う。なお、ここでは文字認識辞書を必ずダウンロードするとしているが、よく使われる書体の辞書については携帯端末機器１０１のＲＯＭ内に予め記憶しておくこともできる。この場合は、キャッシュに辞書が存在するのと同じ扱いとすれば動作に変更はなく、記憶しておいた書体の文字列を読み取る場合には辞書を取得する時間が節約できる。
【００４３】
書式に関する認識補助情報３０３は、紙面等に書かれた文字列の文法を記述するものであり、図４の例では「商品番号：」という文字列の後に０で始まらない７桁の数字が続くものとして記述されている。サービス制御手段４はこの書式に関する認識補助情報３０３を利用して、認識した多くの文字列の中から書式に一致するものだけを選択する。これによりユーザは認識したい文字列を含むように撮影すればよく、また認識候補の中から書式に合うものを優先的に選択すれば認識率の向上が期待できる。
【００４４】
［実施形態２］
次に、本発明の第２の実施形態に係る携帯端末機器及びサービス利用システム並びにサービス利用方法ついて、図５及び図６を参照して説明する。図５は、第２の実施形態に係るカメラ画像を用いたサービス利用システムの構成を模式的に示す図であり、図６は、カメラ画像を用いたサービス利用手順を示すフローチャート図である。
【００４５】
図５を参照すると、本発明の第２の実施形態に係る携帯端末機器１０１は、第１の実施形態で示した撮像手段１、レイアウト解析手段２、文字認識手段３、ネットワーク接続手段６に加えて、中間言語で表現されたプログラムを実行することのできるプログラム実行手段４０１と、個々のサービスに特化した認識を実現するプログラムをダウンロードして蓄積するためのプログラム記憶手段４０２と、ダウンロードした文字認識辞書を蓄積するための文字認識記憶手段４０３とを備える。
【００４６】
プログラム実行手段４０１は、携帯端末機器１０１に依存しない中間言語で表現されたプログラム（ＪＡＶＡ（登録商標）など）を実行することのできる環境を提供するものであり、既存の携帯端末機器（携帯電話機やＰＤＡ）の中には既に搭載しているものもある。
【００４７】
プログラム記憶手段４０２は、プログラム実行手段４０１によって実行するプログラムをネットワーク接続手段６を用いてダウンロードし蓄積する。本実施形態においては、個々のサービスに特化した認識を実現するプログラムをダウンロードする。このプログラムはプログラム実行手段４０１で実行されることによって、第１の実施形態におけるサービス制御手段４が実行していた処理を行う。レイアウト解析に関する認識補助情報と書式に関する認識補助情報は直接プログラムの一部として実現されるため、サービス制御手段４を用いる場合よりも柔軟な処理を行うことができる。
【００４８】
文字認識辞書記憶手段４０３は、個々のサービスに特化した文字認識辞書をネットワーク接続手段６を介してダウンロードし蓄積しておく。なお、プログラム記憶手段４０２及び文字認識辞書記憶手段４０３は独立した記憶手段としてもよく、携帯端末機器１０１に予め備える記憶手段の一部を用いてもよい。
【００４９】
次に、図５および図６のフローチャート図を参照して本実施の形態のカメラ画像を用いたサービス利用手順について説明する。
【００５０】
図６を参照すると、本実施の形態では、第１の実施の形態と同じステップＡ１によるサーバの選択が行われた後、認識制御プログラムと文字認識辞書がダウンロードされる（ステップＢ２）。そして、ユーザによるカメラ撮影が行われると（ステップＡ３）、認識制御プログラムはレイアウト解析手段２を随時呼び出しながら指定されたサービスに特化したレイアウト解析処理を行う（ステップＢ４）。具体的には、レイアウト解析手段２は、濃淡を反転する処理や囲み枠を除去する処理などを基本機能として提供しており、これらを自由に組み合わせてサービスに特化したレイアウト解析を実行する。
【００５１】
次に、文字認識手段３が文字認識辞書記憶手段４０３に蓄積された文字認識辞書を使用して文字認識を行い、その結果を認識制御プログラムを実行中のプログラム実行手段４０１に渡す（ステップＡ５）。認識制御プログラムは、サービスに特化した書式への当てはめを行った後、その結果をサービス提供サーバ１０２へ送信し（ステップＢ６）、サーバからの返答をユーザに提示する（ステップＢ７）。このようにすることにより、正規表現などの一定の書式にとらわれない柔軟な書式処理できるだけでなく、取得した情報をユーザに見やすく加工して提示することができる。
【００５２】
このように本実施の形態では、サービスに特化した処理を汎用のプログラムで実行するために、柔軟で適応範囲の広いサービスを提供できる。その一方、処理に時間のかかるレイアウト解析処理と文字認識処理は個々の携帯端末機器に最適化されたものが用意されているため、処理全体の速度低下はわずかである。なお、本実施形態では、携帯端末機器１０１に備える手段の内、第１の実施形態のサービス制御手段４をサーバからダウンロードしたプログラムにより実行する構成としたが、レイアウト解析手段２や文字認識手段３もサーバからダウンロードしたプログラムにより実行する構成としてもよい。また、レイアウト解析に関する認識補助情報と書式に関する認識補助情報は直接プログラムの一部として実現される構成としたが、これらの情報をプログラムとは別にサーバからダウンロードする構成としてもよい。
【００５３】
また、上記各実施形態では、携帯端末機器１０１に備えるカメラによって撮影した画像を用いた処理について説明したが、本発明は上記実施形態に限定されるものではなく、他の手段、例えば、他の携帯端末機器から受信した画像を基にサービスの提供を受ける構成も含まれる。また、本発明は、携帯端末機器のような大容量の記憶手段を備えることのできない機器で各種サービスの提供を受ける場合に、各種処理手段と該手段を利用する際に参照される情報とを適宜サーバからダウンロードして用いることによりサービスの利用を可能とする技術に関するものであり、画像から文字情報を抽出して該文字情報に関する情報の提供を受ける場合に限られない。
【００５４】
【発明の効果】
以上説明したように、本発明の携帯端末機器及びサービス利用システム並びにサービス利用方法によれば下記記載の効果を奏する。
【００５５】
本発明の第１の効果は、画像をサーバに転送することなく文字認識処理を携帯端末機器内で実行するため、ユーザの待ち時間を大幅に減少させることができるということである。その理由は、サービス毎に用意された認識補助情報を用いてレイアウト解析や文字認識を行うため、汎用な処理を行う認識システムに比べて非常に小型かつ高速に認識処理を実行できるからである。
【００５６】
本発明の第２の効果は、汎用な処理を行う認識システムに比べて大幅に認識精度を高めることができるということである。その理由は、サービス提供者が認識対象に合わせて認識補助情報を適切に準備できるからである。
【００５７】
本発明の第３の効果は、柔軟で適応範囲の広いサービスを提供することができるということである。その理由は、処理に時間のかかるレイアウト解析処理と文字認識処理は個々の携帯端末に最適化されたものを利用しつつも、それらの制御や書式への当てはめなどはサービスに特化したプログラムをダウンロードして実行するからである。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係るサービス利用システムの構成を示すブロック図である。
【図２】本発明の第１の実施形態に係るカメラ画像を用いたサービス利用手順を示すフローチャート図である。
【図３】本発明の第１の実施形態に係る携帯端末機器の外観構成を模式的に示す図であり、サーバの選択操作の例を具体的に示した図である。
【図４】認識補助情報の例を具体的に示した図である。
【図５】本発明の第２の実施形態に係るサービス利用システムの構成を示すブロック図である。
【図６】本発明の第２の実施形態に係るカメラ画像を用いたサービス利用手順を示すフローチャート図である。
【符号の説明】
１  撮像手段
２  レイアウト解析手段
３  文字認識手段
４  サービス制御手段
５  認識補助情報記憶手段
６  ネットワーク接続手段
１０１  携帯端末機器
１０２  サービス提供サーバ
１０３  通信ネットワーク
２０１  表示手段
２０２  サービス選択メニュー
２０３  操作手段
３０１  レイアウト解析に関する認識補助情報
３０２  文字認識に関する認識補助情報
３０３  書式に関する認識補助情報
４０１  プログラム実行手段
４０２  プログラム記憶手段
４０３  文字認識辞書記憶手段
【図１】
2004158912.tif 000003
【図２】
2004158912.tif 000004
【図３】
2004158912.tif 000005
【図４】
2004158912.tif 000006
【図５】
2004158912.tif 000007
【図６】
2004158912.tif 000008