(57)【要約】【課題】  携帯端末によるメールやインターネット接続、ＷＥＢ上での申込、登録等の入力を支援し、操作を簡便にすることを目的とする。【解決手段】  アプリケーションへの入力手段としてＯＣＲ入力を用い、起動しているアプリケーションに応じて文字種や文字行抽出用パラメータ等の文字認識に必要となるパラメータを利用者が意識することなく自動で設定する。これにより、入力（認識）したい項目を人手で選択する手間を省き かつ 高精度な文字認識処理の実現を可能とする。【選択図】図３
2005141520.tif 000002
【特許請求の範囲】
【請求項１】
画像を入力する画像入力部と、
前記入力された画像を表示する表示部と、
前記入力された画像に含まれる文字データを認識する文字認識部と、
前記各部を制御する制御部と
を有する携帯端末であって、
前記制御部は起動中のアプリケーションに応じて文字認識処理用パラメータを自動で設定することを特徴とする携帯端末。
【請求項２】
請求項１に記載の携帯端末であって、
前記制御部はＷＥＢサイトからダウンロードした入力フォームに基いて、文字認識用パラメータを自動で設定することを特徴とする携帯端末。
【請求項３】
請求項１または２に記載の携帯端末であって、
前記制御部はＷＥＢサイトからダウンロードした入力フォームに基いて、対象とする文字認識項目及び認識する順序を自動で設定することを特徴とする携帯端末。
【請求項４】
請求項１から３に記載の携帯端末であって、
位置情報を取得するＧＰＳをさらに有し、
前記制御部は前記ＧＰＳから得られる位置情報に基いて文字認識用パラメータを自動で設定することを特徴とする携帯端末。
【請求項５】
携帯端末に入力された画像データの文字認識用パラメータの設定方法であって、
アプリケーションを起動するステップと、
画像を入力するステップと、
前記アプリケーションの種別に応じて文字認識処理用パラメータを自動で設定するステップと、
からなることを特徴とするとを特徴とする携帯端末における文字認識用パラメータの設定方法。
【請求項６】
請求項５に記載の携帯端末における文字認識用パラメータの設定方法であって、
前記文字認識処理用パラメータを自動で設定するステップは、ＷＥＢサイトからダウンロードした入力フォームに基いて、文字認識用パラメータを自動で設定することを特徴とする携帯端末における文字認識用パラメータの設定方法。
【請求項７】
請求項５または６に記載の携帯端末における文字認識用パラメータの設定方法であって、
前記文字認識処理用パラメータを自動で設定するステップは、ＷＥＢサイトからダウンロードした入力フォームに基いて、対象とする文字認識項目及び認識する順序を自動で設定することを特徴とする携帯端末における文字認識用パラメータの設定方法。
【請求項８】
請求項５から７に記載の携帯端末における文字認識用パラメータの設定方法であって、
前記文字認識処理用パラメータを自動で設定するステップは、ＧＰＳにより位置情報を取得するステップをさらに有し、該ＧＰＳから得られる位置情報に基いて文字認識用パラメータを自動で設定することを特徴とする携帯端末における文字認識用パラメータの設定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像入力手段、具体的にはカメラを持った携帯端末または携帯電話等において、撮影した画像中の文字列を選択し文字認識する技術に関する。
【背景技術】
【０００２】
従来、カメラから撮影した電話番号、ＵＲＬ、メールアドレス等のイメージデータを文字認識して、認識結果を入力とすることで文字入力の支援を行い、操作を簡便にすることが提案されている（例えば、特許文献１等参照）。
【０００３】
また、インターネットに接続する際のＵＲＬ入力方法として、バーコードや二次元バーコード、ＯＣＲ等を用いる方法が提案されている（例えば、特許文献２等参照）。
【０００４】
【特許文献１】特開２００２−１５２６９６号公報（第３項〜第６項、第７図）
【０００５】
【特許文献２】特開２００３−１９８６７４号公報（第４項、第３図）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
前者のＯＣＲアプリケーションによる文字認識処理においては、例えば電話番号やＵＲＬ、メールアドレス等の入力したい項目を利用者が選択した後にカメラで撮影し、文字認識処理を実施する。しかし、認識対象を手入力で選択する必要があり、多数の認識対象から該当する認識対象を選択するには手間がかかるという問題がある。
【０００７】
また、後者においては、起動中のアプリケーションの情報、例えばＵＲＬをＯＣＲ入力する場合、認識する文字の種類は英字、数字、記号に限定されるが、これらの情報を文字認識処理に利用しないため、カメラ撮影環境や認識対象文字によっては認識精度に大きなばらつきが生じ、ＯＣＲ入力が全く機能しないことが考えられる。
【０００８】
また、現在ＷＥＢ上での申込や登録が可能となり、これらをサポートするＷＥＢサイトが増加している。しかし、申込や登録の入力フォームは複数の入力項目があるため、現状では携帯端末によるＯＣＲ入力をサポートするに至っておらず、全て手入力で行わざるを得ない状況である。
【０００９】
本発明は、かかる課題を解決するためになされたものであり、携帯端末によるメールやインターネット接続、ＷＥＢ上での申込、登録等の入力を支援し、操作を簡便にすることを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、画像を入力する画像入力部（又はカメラ、撮像部）と、この入力部によって入力した画像データを表示する表示部と、利用者がボタンなどの入力操作する操作部と、画像内の文字を認識する文字認識部と、全体を制御する制御部を備えた携帯情報端末あるいは携帯電話において、翻訳アプリ、ブラウザ等のアプリケーションへの入力手段としてＯＣＲ入力を利用し、起動しているアプリケーションに応じて文字種や文字行抽出用パラメータ等の文字認識に必要となるパラメータを利用者が意識することなく自動で設定する方法を提案する。
【発明の効果】
【００１１】
携帯端末によるメールやインターネット接続、ＷＥＢ上での申込、登録等の入力を支援し、操作を簡便にすることが可能となる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施形態を図１から図５を用いて説明する。
【００１３】
図１は本実施形態に係る画像入力手段をもつ携帯端末あるいは携帯電話１００（又は単に携帯端末、携帯装置とも言う）の概略を示す構成図である。
名刺や雑誌、あるいは看板などの文字認識対象の画像が画像入力部１１０から入力され、文字認識部１５０において行候補の抽出を行い、文字行の候補（画像）を表示部１２０に表示する。利用者が操作部１３０を操作することで抽出した文字行候補から認識対象となる文字行を選択し、選択した文字行を認識部１５０において文字認識する。
【００１４】
文字認識部１５０は、起動中のアプリケーションに応じて文字認識用のパラメータを設定する文字認識パラメータ設定部１５１、画像入力部１１０により得られたイメージデータに対して、認識対象となる文字行を抽出する文字行抽出部１５２、抽出した文字行データから文字らしい矩形に分割する文字切出し部１５３、切出した文字矩形に対して１文字単位の文字認識を実施し文字コードに変換する文字識別部１５４、文字識別結果を予め具備している単語辞書もしくは表記辞書と照合し、照合結果を文字認識結果とする知識照合部１５５から構成される。
【００１５】
また、本実施例ではＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）１６０を備えて自端末の位置情報を入手可能な構成としているが、本願発明上、必ずしも必須の要素ではない。
【００１６】
なお、文字認識部１５０、操作部１３０、画像入力部１１０、表示部１２０などの各部、各ユニットの制御は、ＣＰＵ、メモリ等から構成される制御部１４０によってその機能が制御される。尚、上述及び以下に説明する各部は、手段、機構、ユニットとも表現でき、基本的にソフトウェア又はハード、又はソフトウェアとハードとの結合によって処理、制御される機能である。なお、撮影、取得、入力などされた画像は、後述する文字認識に用いるように、制御部等のメモリ又は携帯端末に備わるメモリカードに記憶しておくような態様が望ましい。
【００１７】
図２は図１の携帯端末を使用した基本的な文字認識部１５０の文字行抽出から認識結果を得るまでの主な文字認識処理を説明する図である。以下に示す処理、制御は制御部、制御手段１４０によって主に行われるが説明を省略する。
利用者は、携帯情報端末あるいは携帯電話１００が具備するＣＣＤやイメージセンサ等の画像入力手段１１０を用いて、文字認識対象となる名刺や雑誌、あるいは看板などの画像を撮影し、取込んだディジタル画像２００に対して文字行抽出部１５２により文字行２１０を抽出し、表示部１２０に表示する。利用者は表示した文字行２１０から、認識対象文字行を操作部１３０で選択する。認識対象文字行２２０に対して、文字切出し部１５３では１文字毎に切り出し、文字識別部１５４では各文字の文字識別処理を実行し、文字認識ネットワーク２３０を生成する。文字認識ネットワーク２３０は、文字識別の候補文字をネットワーク表現しメモリに格納したものである。文字認識ネットワーク２３０には、間違った文字識別の候補文字（図面の「｜」「／」など）や、認識対象文字列の前後に不要な文字列（図面の「Ｔ」「ｅ」「直」など）が含まれる場合がある。そこで、文字認識ネットワーク２３０と、予め具備する表記辞書２４０との照合を知識照合部１５５で行い、表記と照合が一致した箇所の文字列を抽出することで、正しい認識結果２５０を簡単に、短時間な処理で得ることができる。
【００１８】
また図２は、表記辞書２４０として電話番号の複数の表記パターンを予め記憶しておく例を示し、この表記辞書と上記抽出した文字列とを照合し、そのうち１つの表記２４１と一致した電話番号部分のみを認識結果文字列２３１として抽出した例も示している。なお、上記では表記辞書を用いて説明したが、単語辞書を用いて照合処理を行うことも可能である。
【００１９】
そして最終的に認識できた認識結果２５０は携帯端末の制御部１４０等にあるメモリに記憶、そして表示部１２０に表示され、利用者がその後に操作する内容に併せて、文字のテキストベースによる編集が可能となる。
【００２０】
図３はアプリケーション起動から実行までの処理を説明する図である。
【００２１】
利用者は、携帯電話１００の表示部１２０に表示したアプリケーション３００を操作部１３０により選択、確定し、起動する（ステップＳ１００）。アプリケーションの例としては、メールアプリ、ブラウザ、翻訳アプリ、テキストエディタ等が挙げられる。
次に利用者は、入力モードを操作部１３０により選択する（ステップＳ２００）。入力モード３１０には、直接（手）入力、リストから選択、ＯＣＲ入力、バーコード入力、二次元バーコード入力、ＧＰＳ入力等が考えられる。入力項目は、メールアプリの場合はメールアドレスを、ブラウザの場合はＵＲＬを指すといったように、各アプリケーション実行時に入力が必要となるものである。
利用者が選択した入力モードに応じて画像入力の有無（ステップＳ３００）、ＧＰＳ入力の有無（ステップＳ７００）を制御部１４０が決定する。例えば、直接入力やリストから選択する場合は、利用者が入力項目を操作部１３０を使用し入力もしくは選択（ステップＳ９００）するため画像入力やＧＰＳ入力の必要はない。一方、ＯＣＲ入力やバーコード入力の場合は、イメージデータを入力補助に使用するため画像入力部１１０による画像入力（ステップＳ４００）が必要である。また、ＧＰＳ入力の場合はＧＰＳ１６０が必要となる。ＧＰＳ入力の場合は認識処理を行うことはなく、ＧＰＳ１６０から得られた位置情報を入力情報として利用し、入力項目に設定する（ステップＳ８００）。例えば、行き先案内を支援する路線案内アプリにおいて現在の駅名を入力項目に設定する場合、ＧＰＳ１６０から得られた所在地を基に自動で駅名を検索、設定するといったことが考えられる。
【００２２】
画像入力部１１０により得られたイメージデータに対して認識処理（ステップＳ５００）を行う。入力がＯＣＲ入力の場合は文字認識部１５０において文字認識処理を、バーコード入力の場合はバーコード認識処理を行う。認識結果を入力項目に設定する（ステップＳ６００）。もし、認識結果に誤りがあれば利用者が操作部１３０を使用し、修正する必要がある。また、画像入力部１１０を用いて再度認識させることも可能である。
【００２３】
入力項目の設定が終了すると、起動アプリケーションに応じた処理を実行する（ステップＳ１０００）。例えば、メールアプリの場合は画像入力手段１１０により入力したメールアドレスにメールを送信、電話帳にメールアドレスを登録するといったことが考えられる。また、翻訳アプリの場合は、認識した単語を翻訳し、結果を表示部１２０に表示することが考えられる。
【００２４】
図４は文字認識部１５０における文字認識パラメータ設定部１５１の処理を説明する図であり、携帯端末単独による文字認識パラメータ設定方法を説明する。
【００２５】
制御部１４０は、利用者が選択した入力モードがＯＣＲ入力か否かをチェックし（ステップＳ５０１）、ＯＣＲ入力でない場合は何もしない。ＯＣＲ入力の場合、アプリケーションに応じて文字認識用パラメータである文字行パラメータの設定（Ｓ５０２）、文字種パラメータの設定（Ｓ５０３）、知識辞書パラメータの設定（Ｓ５０４）を行う。
【００２６】
文字行パラメータとは、文字行抽出部１５２に使用するパラメータであり、抽出する文字行の最大幅／高さ、最小幅／高さ等のパラメータを指す。文字種パラメータとは、文字識別部１５３に使用するパラメータであり、数字、英字、漢字等の字種を指す。知識辞書パラメータとは、知識照合部１５４に使用するパラメータであり、英単語、ＵＲＬ等の単語辞書を指す。
【００２７】
例えば、起動中のアプリケーションが英単語翻訳アプリの場合、文字行抽出パラメータは短い文字行を抽出するのに最適な英単語抽出用パラメータに設定される。文字種パラメータは英単語に使用する英字と一部の記号の文字種に設定される。また、知識辞書パラメータは英単語用知識辞書に設定される。
【００２８】
このように「起動アプリケーション−文字認識パラメータテーブル」として、下記のようなテーブルを予め設定しておくことで、起動中のアプリケーションに応じた文字認識パラメータの自動設定が可能となる。
アプリケーション  ：英単語翻訳
文字行パラメータ  ：単語抽出用パラメータ（幅：ｘ、高さ：ｙ、ｅｔｃ）
文字種パラメータ  ：英字＋記号（「−」、「' 」、ｅｔｃ）
知識辞書パラメータ：英単語
また、ＧＰＳ１６０を併用することでも文字認識用パラメータの設定が可能である。例えば、海外で翻訳アプリを使用する場合において、ＧＰＳ１６０から得られた所在地に応じて、文字種パラメータを英語、フランス語、ドイツ語、中国語といったように自動で切り替えるとことが可能となる。さらに、翻訳アプリの翻訳言語も上記と同様にＧＰＳから得られた所在地に応じて切り替えることが可能となる。
【００２９】
上記で設定した文字認識用パラメータを基に、文字行抽出処理、文字切出し処理、文字識別処理、知識照合処理等の文字認識処理（ステップＳ５０５）を行う。
【００３０】
図５はＷＥＢを利用した文字認識パラメータ設定処理を説明する図であり、通信を介した文字認識パラメータ設定方法を説明する。
【００３１】
あるＷＥＢ上で公開しているプレゼント応募用紙欄（氏名欄、住所欄）の入力に携帯端末のＯＣＲ入力を使用する例を挙げて説明する。
【００３２】
利用者は、携帯電話１００の表示部１２０に表示したアプリケーション３００を操作部１３０により選択した後に、ブラウザを起動し（ステップＳ１０００）、指定のＷＥＢサイトにアクセスする（ステップＳ２０００）。アクセスしたＷＥＢサイト上で公開しているプレゼント応募用紙欄に入力する際に、前記で説明したように利用者が入力モード３１０を選択し、制御部１４０がＯＣＲ入力か否かをチェックする（ステップＳ３０００）。ＯＣＲ入力でない場合は、直接入力もしくはバーコード入力や二次元バーコード入力等の入力手段により入力する（ステップＳ４０００）。ＯＣＲ入力の場合は、応募用紙フォームをＷＥＢサイトからダウンロードする（ステップＳ５０００）。応募用紙フォームとは、何の項目をどの順番で入力するかの情報であり、例えば、１番目に氏名を、２番目に住所を入力するといった情報である。
【００３３】
次に、入力の必要がある項目が存在するか否かをチェックし（ステップＳ６０００）、入力項目の設定が必要であれば、その項目に該当する箇所を画像入力部１１０を用いてイメージデータを取得する（ステップＳ７０００）。得られたイメージデータに対して、文字認識部１５０により文字認識処理（ステップＳ８０００）を行う。この時、応募用紙フォームから認識する項目が既にわかっているため、この情報を基に文字認識パラメータ設定部１５１が文字認識用パラメータを設定する。例えば、応募用紙フォームから１番目に入力する項目は氏名であることがわかっているので、氏名認識用のパラメータを設定する。前記の携帯端末単独による文字認識パラメータ設定方法と異なるのは、文字認識パラメータを起動中のアプリケーションではなく、入力項目の属性に対応づけていることである。
【００３４】
このように「入力属性−文字認識パラメータテーブル」として、下記のようなテーブルを予め設定しておくことで、入力属性に応じた文字認識パラメータの自動設定が可能となる。
入力属性          ：氏名
文字行パラメータ  ：氏名抽出用パラメータ（幅：α、高さ：β、ｅｔｃ）
文字種パラメータ  ：漢字＋カタカナ＋ひらがな
知識辞書パラメータ：氏名
認識結果を入力項目に設定する（ステップＳ９０００）。もし、認識結果に誤りがあれば利用者が操作部１３０を使用し、修正する必要がある。また、画像入力部１１０を用いて再度認識させることも可能である。
【００３５】
前記処理を応募用紙フォームに記してある入力項目数だけ繰り返し、入力項目がなくなった時点で、全ての入力項目が設定済みである応募用紙を操作部１３０を使用して利用者がＷＥＢサイトに送信し（ステップＳ１００００）、応募を完了する。
【００３６】
以上のように、利用者が意識することなく、ＷＥＢサイトから得られる情報を基に文字認識パラメータを自動で設定するので、読み取りたい項目を手入力する必要はなく かつ 高精度な文字認識処理の実現が可能となり、入力操作を大幅にを簡便することが可能となる。
【図面の簡単な説明】
【００３７】
【図１】実施例としてのカメラ付き携帯電話の概略構成を示す説明図である。
【図２】携帯端末による文字認識処理のフローチャートである。
【図３】アプリケーション起動／実行までのフローチャートである。
【図４】文字認識パラメータ設定処理のフローチャートである。
【図５】ＷＥＢを利用した文字認識パラメータ設定処理のフローチャートである。
【符号の説明】
【００３８】
１００…携帯端末（携帯電話）、１１０…画像入力部、１２０…表示部、１３０…操作部、１４０…制御部、１５０…文字認識部、１５１…文字認識パラメータ設定部、１５２…文字行抽出部、１５３…文字切出し部、１５４…文字識別部、１５５…知識照合部、２００…入力画像、２１０…抽出文字行、２２０…認識対象文字行、２３０…文字認識ネットワーク、２３１…照合の対象となる文字行、２４０…表記辞書、２４１…照合の対象となる表記、２５０…認識結果、３００…アプリケーション選択画面、３１０…入力モード選択画面
【図１】
2005141520.tif 000003
【図２】
2005141520.tif 000004
【図３】
2005141520.tif 000005
【図４】
2005141520.tif 000006
【図５】
2005141520.tif 000007