(57)【要約】【課題】従来の携帯端末を用いた文字認識方法では、利用者が端末本体を手に取り、本体の位置や向きを調整することで認識対象が表示部のフレーム内に収まるように手作業で調整しなければならなかった。【解決手段】上記課題を解決するために、特に、画像を入力する画像入力部と、入力した画像データを表示する表示部と、利用者がボタン入力操作する操作部と、画像内の文字を認識する文字認識部と、全体を制御する制御部とを備えた携帯情報端末あるいは携帯電話において、撮影後に画像上の文字列画像あるいは文字行画像を抽出し、抽出した文字列画像あるいは文字行画像の中から利用者の操作によって認識対象となる文字列画像あるいは文字行画像を選択し、自動的に文字認識する文字認識方法を提供する。【選択図】  図１
2005018507.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮影又は取得又は入力する画像入力部と、前記画像入力部からの画像データを表示する表示部と、入力の操作が可能な操作部と、画像データに含まれる文字を認識する文字認識部と、前記各部を制御する制御部とを有する携帯情報端末において、
前記制御部は、前記画像入力部からの画像データのうち、文字列又は文字行又は単語を自動的に抽出し、前記表示部に画像データと共に抽出した画像内容を文字列又は文字行又は単語として表示し、前記操作部からの選択操作によって前記表示部に表示された特定の文字列又は文字行又は単語を認識することを特徴とする携帯情報端末。
【請求項２】
前記文字認識部は、複数の異なる表記情報を記憶する辞書を有し、
前記制御部は、抽出した文字列又は文字行のうち、前記辞書の表記情報と照合し、文字列又は文字行の特定の画像のみ認識することを特徴とする請求項１記載の携帯情報端末。
【請求項３】
前記制御部は、抽出すべき文字列又は文字行を、画像データに含まれる各文字の複数の外接矩形を求め、複数の外接矩形を連結して作成する融合処理を実行することを特徴とする請求項１又は２記載の携帯情報端末。
【請求項４】
前記表示部の表示する文字列又は文字行又は単語は、共に表示される画像データに対して枠で囲むように表示する又は強調表示することを特徴とする請求項１乃至３の何れかの項記載の携帯情報端末。
【請求項５】
画像を撮影又は取得又は入力する画像入力部と、前記画像入力部からの画像データを表示する表示部と、入力の操作が可能な操作部と、画像データに含まれる文字を認識する文字認識部と、前記各部を制御する制御部とを有する携帯情報端末において、
前記制御部は、前記表示部に表示された画像データと共にカーソルを表示し、前記操作部からの前記カーソルの操作及び選択によって指定された位置を含む或る特定領域の画像を抽出し、抽出した特定領域の画像内に含まれる文字列又は文字行又は単語を抽出して前記表示部に表示することを特徴とする携帯情報端末。
【請求項６】
画像を入力する入力部と、前記入力部によって入力した画像データを表示する表示部と、利用者の操作する操作部と、画像内の文字を認識する文字認識部と、前記各部を制御する制御部とを備えた携帯情報端末あるいは携帯電話において、
前記入力部による撮影後に画像上の文字列画像あるいは文字行画像を抽出し、抽出した文字列画像あるいは文字行画像の中から前記操作部の操作によって認識対象となる文字列画像あるいは文字行画像を選択し、選択した文字列画像内部あるいは文字行画像内部を文字認識することを特徴とする文字認識方法。
【請求項７】
請求項６記載の文字認識方法において、文字列画像内部あるいは文字行画像内部を前記文字認識部によって文字認識した後に、文字認識結果と表記辞書との照合によって認識対象文字列を抽出することを特徴とする文字認識方法。
【請求項８】
請求項６又は７記載の文字認識方法において、前記制御部は、文字列画像あるいは文字行画像の抽出後に、文字列画像あるいは文字行画像の中から単語を切り出し、切り出した単語の中から前記操作部の操作によって認識対象となる単語を選択し、選択した単語を文字認識することを特徴とする文字認識方法。
【請求項９】
請求項６乃至８記載の文字認識方法において、前記制御部は、文字列画像あるいは文字行画像を抽出し、予め文字列画像あるいは文字行画像内部の文字認識を前記文字認識部によって行い、前記操作部の操作によって選択した文字列画像あるいは文字行画像に対応する認識結果を最終結果とする文字認識方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像入力手段、具体的にはカメラを持った携帯情報端末または携帯電話等において、撮影した画像中の文字列を選択し文字認識する技術に関する。
【０００２】
【従来の技術】
携帯電話にカメラを備えたような特許文献１が提案されている。一般的にこの携帯情報端末を用いて、画像の文字認識をする際には、利用者が端末本体の位置や向きを手動で調整することで、表示部に表示された認識対象フレームの中に、認識対象が収まるように調整する必要がある。
【０００３】
【特許文献１】
特開２００３−１６９１８７号
【０００４】
【発明が解決しようとする課題】
このような従来の携帯端末を用いて文字認識などの複雑な処理をするには、利用者が端末本体を手に取り、本体の位置や向きを調整することで認識対象が表示部のフレーム内に収まるように利用者自らが微調整しなければならず、操作性の面で以下のような課題があった。
（１）この際、表示部の画面が小さいため、フレーム内の認識対象文字の判別が難しい。
（２）本体を認識対象に向けるために、本体の位置や向きを調整すると同時に、表示部の位置や向きも変わってしまうため表示部の表示が見づらい。
（３）本体を認識対象に向けるために、表示部が覗き込めなくなる角度に向けることができない。
（４）画像取得時のシャッターボタンの押下動作で、端末本体が振動し、認識対象がフレームから外れてしまう。
（５）画像取得時に認識対象を決めるため、画像取得後には認識対象を変更するなどの操作ができず、一度の画像取得で複数箇所の文字認識ができない。
などの問題があった。
【０００５】
そこで、本発明では、以上のような点に鑑みてなされたもので、上記課題の一部又は全部を解決すると共に、特に、携帯情報端末または携帯電話等を用いた文字認識において、画像取得後に利用者の操作によって認識対象となる文字列画像を任意に選択することで、容易に対象となる文字列画像を選択できる文字列選択方法、および選択された文字列画像を認識する文字認識方法を提供することを目的としている。
【０００６】
【課題を解決するための手段】
上記目的を達成するため、画像を入力する画像入力部（又はカメラ、撮像部）と、この入力部によって入力した画像データを表示する表示部と、利用者がボタンなどの入力操作する操作部と、画像内の文字を認識する文字認識部と、全体を制御する制御部を備えた携帯情報端末あるいは携帯電話において、撮影後に画像上の文字列画像あるいは文字行画像を抽出し、抽出した文字列画像あるいは文字行画像の中から利用者の操作によって或る範囲の認識対象となる文字列画像あるいは文字行画像を選択するのに好適な携帯端末、又は文字認識方法を提供する。
【０００７】
また、携帯情報端末あるいは携帯電話、そしてその端末を用いた文字認識方法において、文字列画像内部或いは文字行画像内部を文字認識した後に、文字認識結果と表記辞書との照合によって認識対象文字列を抽出する装置、又は方法を提供する。
【０００８】
また、文字列画像あるいは文字行画像の抽出後に、文字列画像あるいは文字行画像の中ら単語を切り出し、切り出した単語の中から利用者の操作によって認識対象となる単語を選択し、選択した単語を文字認識する装置、方法を提供する。
【０００９】
また、利用者に予め操作部によって画像のどの部分を認識して欲しいのかを選択させることで、その選択された画像の位置を基準に簡単に画像の文字認識を行う装置、また文字認識方法を提供する。
【００１０】
【発明の実施の形態】
以下、本発明の実施形態を図１から図１６を用いて説明する。
図１は、本実施形態に係る画像入力手段を持つ携帯情報端末あるいは携帯電話１００（又は単に形態端末、形態装置とも言う）の概略を示す構成図である。名刺や雑誌、あるいは看板などの文字認識対象の画像が、画像入力部１１０から入力され、文字認識部１５０において行候補の抽出を行い、文字行の候補（画像）を表示部１２０に表示する。利用者が操作部１３０を操作することで抽出した文字行候補から認識対象となる文字行を選択し、選択した文字行を認識部１５０において文字認識する。
【００１１】
操作部１３０は、利用者が一般的に電話をかけるときなどに使用されるものであるが、他に利用者が表示部１２０に表示された画像の認識を実行する時に押下する認識実行ボタン１３１、表示部に表示された画像の認識対象である上の行あるいは文字列を選択する上ボタン１３２、右の文字列を選択するときに使用する右ボタン１３３、下の行あるいは文字列を選択するときに使用する下ボタン１３４、左の文字列を選択するときに使用する左ボタン１３５も有している。
【００１２】
文字認識部１５０は、画像入力部１１０から入力されるディジタル画像を二値化する画像二値化部１５１、黒画素のつながった連結成分を抽出する連結成分抽出部１５２、連結成分同士を融合して文字行候補を抽出する文字行抽出部１５３、文字行画像から文字を切り出す文字切り出し部１５４、一文字ごとに分けられた文字パターンを文字コードに変換する文字識別部１５５、文字認識結果と予め具備している表記辞書との照合を行う表記辞書照合部１５６を有し、この文字認識部１５０、操作部１３０、画像入力部１１０、表示部１２０などの各部、各ユニットの制御は、ＣＰＵ、メモリ等から構成される制御部１４０によってその機能が制御される。尚、上述及び以下に説明する各部は、手段、機構、ユニットとも表現でき、基本的にソフトウェア又はハード、又はソフトウェアとハードとの結合によって処理、制御される機能である。なお、撮影、取得、入力などされた画像は、後述する文字認識に用いるように、制御部等のメモリ又は携帯端末に備わるメモリカードに記憶しておくような態様が望ましい。また、本例では横書きの画像を使用しているため、各箇所の例では文字行として説明するものの、表示画像に対して垂直方向の縦書き画像、即ち、文字列としても良いことは言うまでもない。
【００１３】
図２は、図１の携帯端末を使用した第１の実施形態の処理手順を説明する図である。以下に示す処理、制御は制御部、制御手段１４０によって主に行われるが説明を省略する。
【００１４】
利用者は、携帯情報端末あるいは携帯電話１００が具備するＣＣＤやイメージセンサ等の画像入力手段１１０を用いて、文字認識対象となる名刺や雑誌、あるいは看板などの画像を撮影し、装置内の一時記憶メモリ又は制御部１４０に具備されるメモリ上にディジタル画像として取込む（ステップ２０１）。この撮影し、取込んだディジタル画像を文字認識部１５０の画像二値化部１５１によって二値化し（ステップ２０２）、連結成分抽出部１５２によって二値化された成分のうち黒画素の連結成分を抽出する（ステップ２０３）。
【００１５】
この抽出した連結成分の外接矩形のサイズや、外接矩形間の距離の比較を文字行抽出部１５３によって実行し、取得した画像に含まれる文字行の抽出を行う（ステップ２０４）。後述するが、この抽出された文字行は、表示部１２０に利用者が理解できるように表示され、それを見た利用者が操作部１３０のボタン操作によって、画像内の文字認識対象となる文字行を選択する（ステップ２０５）。
【００１６】
ステップ２０６では、利用者が文字認識対象となる文字行を選択し終えた後、認識実行ボタン１３１を押下することで、認識対象となる文字行を決定し、次ステップへ移る。
このステップ２０６で選択した文字行内に対して、１文字毎の文字切り出しを実施し（ステップ２０７）、切り出された一つ一つの文字パターンに対して文字識別部１５５によって文字識別を行う（ステップ２０８）。そして文字識別の結果として予め具備している表記辞書との照合を表記辞書照合部１５６によって行い（ステップ２０９）、ステップ２１０で照合一致となった文字列を認識結果として出力し、文字認識処理を終了する。この文字認識結果は、表示部１２０に表示され、それを保存するなどの操作を操作部１３０によって実行することで、利用者は画像入力部１１０によって入力した画像の特定領域における一部分を文字認識した形態（文字コード）でアドレス帳などと結合させて保存できる。
【００１７】
図３は、図２の文字行抽出ステップ２０４で主要な働きを行う文字行抽出部１５３の詳細な処理手順を示す図である。
【００１８】
上述したように、ディジタル画像は二値化処理により特に黒画素の連結成分を抽出されるが、その抽出された画像、特に黒画素の状態を分析することで画像の横方向の投影分布を求める（ステップ３０１）。そして投影分布から文字行の縦方向の範囲、具体的にはある基準を基に縦方向の座標位置を求め（ステップ３０２）、この文字行の範囲内で、ステップ２０３で求めた連結成分の外接矩形のサイズや、外接矩形間の距離の比較、即ち連結成分を融合する処理を実行することで（ステップ３０３）、最終的な文字行座標を求めることができ（ステップ３０４）、上述した文字行検出する。
【００１９】
図４は、ステップ３０２において、画像情報として含まれる文字行の投影の算出を説明する原理図を示す。図示するように文字行抽出領域４００はステップ２０１で取得した文字認識対象画像の全面あるいは一部分であり、名刺を例示し名前、会社名、会社の住所、電話及びＦＡＸ番号、ｅーｍａｉｌアドレスの情報を含んでいる。
【００２０】
上述した入力された画像を図面の横方向に投影し、投影分布を求める。投影を求める方法としては、図示するように横方向の画素数を加算する方法が簡素で望ましい。あるいは、ステップ２０３で抽出した連結成分の外接矩形の横辺の長さの加算値を採ってもよい。座標軸４１２は横方向投影分布であり、座標軸４１１は領域の縦方向の座標軸に相当する。この投影分布の算出処理によって、非零値の範囲４１３〜４１８が文字行が存在する縦方向座標の範囲に相当するものであることが携帯端末において把握することができる。
【００２１】
図５は、ステップ３０３において連結成分を融合し、ステップ３０４によって文字行座標を計算する処理を説明する図である。
１行抽出領域５００は、ステップ３０２において計算した文字行範囲の１つであり、具体的に図４の文字行範囲４１６の電話番号の項目を例示している。この１行抽出領域５００は、連結成分の複数の外接矩形５０１が含まれ、これら複数の外接矩形は、文字成分の外接矩形となる。そして次にこれらの外接矩形のサイズや、外接矩形間の距離を比較して、サイズが同様であるものや、距離が近い矩形を横方向に融合する。この連結成分の外接矩形５０１の融合によって、文字行左上座標５１１および文字行右下座標５１２を算出し、最終的なステップ３０４で説明した文字行５１０が生成される。
【００２２】
図６は、文字行抽出結果を説明する図である。文字行抽出領域６００は、図４の当初の画像を上述した特に図３のステップによって認識し、得られた文字行（画像）に展開したものを示し、図示するように６個の文字行６０１〜６０６が含まれた形式で装置上において自動認識できる。これら文字行の座標点はある基準位置から左上座標および右下座標が求められ、図７に示すように文字行毎の左上座標のＸ軸、Ｙ軸の座標点と、右下座標のＸ軸、Ｙ軸座標点が、制御部１４０内に設けられたメモリ上の文字行テーブル７００に格納される。
【００２３】
図８は、ステップ２０５における文字行選択操作の際の、表示部１２０の画面遷移の表示例を説明する図である。
表示部１２０に、文字行選択画面８００と現在選択行８０１を表示する。現在選択行８０１は、ステップ２０４にて抽出された文字行の１つである。利用者が上ボタン１３２あるいは下ボタン１３４を押下することによってそれを検知し、図７に示す文字行テーブル７００の参照ポインタをインクリメントあるいはデクリメントし、テーブル７００に一時記憶された文字行の左上、右下座標を読み出し、表示部１２０に画面として表示する。結果として、現在選択行８０１の表示が移動され認識対象となる新しい文字行が選択され表示される。尚、上ボタン押下では、現在選択行の１つ上の行を次の現在選択行とし、下ボタン押下では、現在選択行の１つ下の行を次の現在選択行とする。
【００２４】
利用者は、認識対象となる文字行が現在選択行となるようにボタン操作し（ステップ２０５）、認識実行ボタン１３１を押下することによって、認識対象となる文字行を決定する（ステップ２０６）。尚、カメラから取得した画像データから文字行認識の操作を利用者が行う際、現在選択行８０１の初期位置は、文字行６０１〜６０６の内、最も画像の中心に近いものとして表示部１２０に表示するのが望ましい。
【００２５】
図９は、文字行の文字認識をし、表記辞書との照合を説明する図である。
ステップ２０５で選択し、ステップ２０６で決定した認識対象文字行９００に対して、ステップ２０７では１文字毎に切り出し、ステップ２０８では各文字の文字識別処理を実行し、文字認識ネットワーク９１０を生成する。文字認識ネットワーク９１０は、文字識別の候補文字をネットワーク表現しメモリに格納したものである。文字認識ネットワーク９１０には、間違った文字識別の候補文字（図面の「｜」「／」など）や、認識対象文字列の前後に不要な文字列（図面の「Ｔ」「ｅ」「直」など）が含まれる場合がある。そこで、文字認識ネットワーク９１０と、予め具備する表記辞書との照合を行い（図２のステップ２０９）、表記と照合が一致した箇所の文字列を抽出することで、正しい認識結果を簡単に、短時間な処理で得ることができる。
【００２６】
また図９は、表記辞書９２０として電話番号の複数の表記パターンを予め記憶しておく例を示し、この表記辞書と上記抽出した文字列とを照合し、そのうち１つの表記９２１と一致した電話番号部分のみを認識結果文字列として抽出した例も示している。そして最終的に認識できた認識結果９３０は携帯端末の制御部１４０等にあるメモリに記憶、そして表示部１２０に表示され、利用者がその後に操作する内容に併せて、文字のテキストベースによる編集が可能となる。
【００２７】
以上説明した第１実施形態の特徴は、利用者が画像入力部１１０によって画像を撮影すると、その画像情報に含まれる文字行（画像情報の一部）が携帯端末１００で自動認識され、それが図８に示されるような枠８０１として表示部１２０に表示されることで、利用者が操作部１３０のボタン操作の選択によって自身が所望の文字行を選択できる点が大きな特徴である。更に、その文字行のうち、表記辞書９２０などを使用して必要な部分、例えば、図９の電話番号のみを自動認識し、必要でない部分（Ｔｅｌ：（直通）の部分）を認識しない点も特徴である。
【００２８】
図１０は、本発明に係る第２の実施形態の処理手順を説明する図である。尚、図１０の中の符号が図２と同一のステップは、同一機能を有するものとする為ここでの説明は省略する。
【００２９】
第２の実施形態において、上述した画像二値化（Ｓ２０２）や連結成分の抽出（Ｓ２０３）が行われた後、抽出した連結成分の外接矩形のサイズや、外接矩形間の距離の比較によって単語の抽出を行う（ステップ１００４）。続いて、ステップ１００５では、利用者が操作部１３０のボタン操作によって、画像内の文字認識対象となる単語を選択する。
【００３０】
図１１は、ステップ１００４において、文字行および単語を抽出し、単語座標を計算する処理を説明する図である。
図示する１行抽出領域１１００は、ステップ３０２と同様の方法で算出した文字行範囲の１つを示す画像の一部分、一領域であって、この１行抽出領域１１００は、連結成分の複数の外接矩形１１０１〜１１０８が含まれる。これらの外接矩形は、文字成分の外接矩形、具体的には１文字単位を示すものとなる。これらの外接矩形のサイズや、外接矩形間の距離を比較して、サイズが同様であるものや、距離が近い矩形を横方向に融合する。この矩形の融合の際には、単語と単語間の距離は、単語内の文字と文字間の距離と比べて大きいという原理を利用している。
【００３１】
続いて外接矩形１１０１〜１１０４の融合によって、単語左上座標１１１１および単語右下座標１１１２を算出し単語１１１０を得る。同様に、外接矩形１１０５〜１１０８の融合によって、単語左上座標１１２１および単語右下１１２２を算出し単語１１２０を得る。後述の例で明らかになるが、図示する１１１０，１１２０の単位が単語の単位を示し、１１０１〜１１０８の単位が文字の単位を示す。
【００３２】
図１２は、単語抽出結果を説明する図である。単語抽出領域１２００は上述からも明らかなように画像入力部１１０で入力された画像を示し、この領域内には複数の単語１２０１が含まれる。このうち、単語１２０２〜１２０４は、単語抽出領域１２００に含まれる単語の一例であり、図１２に示すＸ軸、Ｙ軸とある基準点を基に、図１３に示すように、各単語１２０２〜１２０４の左上座標および右下座標は、Ｘ軸とＹ軸に展開され、メモリ上の単語テーブル１３００に格納される。
【００３３】
図１４は、ステップ１００５における単語選択操作の際の、表示部１２０の画面遷移の表示例を説明する図である。
表示部１２０に、単語選択画面１４００と現在選択単語１４０１を表示する。現在選択単語１４０１は、ステップ１００４にて抽出された単語の１つで、この現在選択単語１４０１は図示するように単語の周りを枠で囲み、更に強調表示（赤色や緑色等）された方が望ましい。尚、上述した現在選択行８０１についても同様である。
【００３４】
利用者は表示部１２０に表示された画像１４００とその枠１４０１の表示を見ながら、操作部１３０の上ボタン１３２、右ボタン１３３、下ボタン１３４、左ボタン１３５を押下することによって、制御部１４０がそれを検知し、図１３に示す単語テーブル１３００の参照ポインタをインクリメントあるいはデクリメントし、単語の左上、右下座標を読み出し、表示部１２０の画面に表示する。
【００３５】
結果として、現在選択単語１４０１の表示が移動され認識対象となる新しい単語が選択され表示される。尚、上ボタン押下では、現在選択単語の１つ上の行に含まれる単語の内、現在選択単語からの座標値が最も近い単語を次の現在選択単語としてもよい。あるいは、現在選択単語の１つ上の行に含まれる単語の内、横方向の重なり合う部分が最も多い単語を次の現在選択単語としてもよい。下ボタン押下でも、同様の方法によって次の現在選択単語を決定する。左ボタン押下では、現在選択単語の１つ左にある単語を次の現在選択単語とし、右ボタン押下では、現在選択単語の１つ右にある単語を次の現在選択単語とする。
【００３６】
以上説明したように第２の実施形態によれば、利用者は表示部１２０に表示された画像のうち、認識対象となる単語が現在選択単語となるように操作部１３０のボタン操作し、認識実行ボタン１３１を押下することによって、認識対象となる単語を決定し、認識対象単語の文字認識処理を実行することが可能となる。
【００３７】
次に第３の実施形態について説明するが、第１，２実施形態が携帯端末１００において文字行又は単語を自動的に画像の中から自動的に抽出し、認識するのに対し、次に述べる例では利用者自身が画像の或る特定位置を選んで、その位置に基づいた認識を行う点で、第１，２実施形態に比較して安価で、簡便な装置を提供する点で優位である。
【００３８】
図１５は、本発明に係る第３の実施形態の処理手順を説明する図である。尚、図１５の中の符号が図２と同一のステップは、同一機能を有するものとする為ここでの説明は省略する。
【００３９】
ステップ１５０４では、取得した画像のある部分領域内部に含まれる文字行の抽出を行う。図１６は、部分領域内部の文字行の抽出を説明する図である。表示部１２０には、画像入力部１１０より取得した認識対象画像１６００と、予め携帯端末１００に備わるカーソル１６０１が表示されている。この認識対象画像１６００に対して、カーソル１６０１を中心とした一定の領域１６０３内部で、前記実施例と同様の処理によって文字行の抽出を行い、抽出した複数の文字行のうち、カーソルに最も近い文字行を現在選択文字行１６０２とする処理を制御部１４０によって実行する。
【００４０】
これにより、利用者が操作部１３０のボタン操作によって、表示部１２０に表示されたカーソル１６０１を、上下左右の一定の距離だけ移動させ（ステップ１５０５）、移動後のカーソル位置を中心として再び文字行抽出処理を実施し、カーソル１６０１に最も近い文字行を現在選択文字行とする。
【００４１】
そして、利用者が文字認識対象となる文字行を選択し終えた後、認識実行ボタン１３１を押下することで、認識対象となる文字行を決定し、次ステップへ移る。
【００４２】
尚、この実施例では文字行画像あるいは文字列画像選択後に文字認識を実行したが、予め画像に含まれる各画像の文字認識を行い、利用者がボタン操作によって選択した文字行画像あるいは文字列画像に対応する認識結果を、文字認識対象の認識結果とする形でもよく、また、上記例の文字行は、文字列と読み替えてもよい。
【００４３】
また、以上説明した第１〜３実施形態の各構成、制御、処理等は最適な形態にて組み合わせ可能であって、例えば、第１実施形態で制御部が抽出、認識した文字行に対し、第３実施形態で表示されたカーソルで指定することで、文字行のうちカーソルで指定された部分の単語（第２実施形態）を文字認識するような形態でも良い。
【００４４】
また、第１実施形態の文字行選択と、第２実施形態の単語選択とを携帯端末上の制御部にて判断させやすいように、表示部に予め文字行認識モードか或いは単語認識モードかをメニュー画面で表示し、利用者が操作部によってどちらのモードを判断するかを制御部で認識することで、上述した第１又は第２実施形態の何れか一方の処理、制御を行う形態であっても良い。
【００４５】
【発明の効果】
以上に説明したように、携帯端末の入力部より取得した画像を、その表示部の画像表示のみを見て、認識対象を選択することができる。また、画像撮影時に、表示部を覗き込めない状態で撮影しても、撮影後に表示部に表示された画像をみながら、認識対象を選択することができる。また、画像撮影の際に手ブレがあっても、取得した画像の範囲内にあっては画像撮影後に認識対象の位置を変更することができる。また、同じ画像に対して、再度認識対象を選択する操作を繰り返すことで、同一画像の複数箇所の認識をすることができる。
【図面の簡単な説明】
【図１】携帯端末の詳細構成図を示す。
【図２】第１の実施形態に係る文字認識方法のフロー図である。
【図３】第１の実施形態に係る文字行抽出処理を説明するフロー図である。
【図４】第１の実施形態に係る文字行抽出の投影分布を説明する図である。
【図５】第１の実施形態に係る文字行の座標計算の方法を説明する図である。
【図６】第１の実施形態に係る文字行抽出結果の例を説明する図である。
【図７】第１の実施形態に係る文字行テーブルを説明する図である。
【図８】第１の実施形態に係る文字行選択時の表示部における画面遷移の例を説明する図である。
【図９】第１の実施形態に係る文字行内の文字認識を説明する図である。
【図１０】第２の実施形態に係る文字認識方法の処理のフロー図である。
【図１１】第２の実施形態に係る単語の座標計算の方法を説明する図である。
【図１２】第２の実施形態に係る単語抽出結果の例を説明する図である。
【図１３】第２の実施形態に係る単語テーブルを説明する図である。
【図１４】第２の実施形態に係る単語選択時の表示部における画面遷移の例を説明する図である。
【図１５】第３の実施形態を説明する文字認識処理のフロー図を示す。
【図１６】第３の実施形態における表示部の画面選択操作及び画像の認識領域を説明する図である。
【符号の説明】
１００…携帯情報端末（携帯端末）、１１０…画像入力部、１２０…表示部、１３０…操作部、１４０…制御部、１５０…文字認識部
【図１】
2005018507.tif 000003
【図２】
2005018507.tif 000004
【図３】
2005018507.tif 000005
【図４】
2005018507.tif 000006
【図５】
2005018507.tif 000007
【図６】
2005018507.tif 000008
【図７】
2005018507.tif 000009
【図８】
2005018507.tif 000010
【図９】
2005018507.tif 000011
【図１０】
2005018507.tif 000012
【図１１】
2005018507.tif 000013
【図１２】
2005018507.tif 000014
【図１３】
2005018507.tif 000015
【図１４】
2005018507.tif 000016
【図１５】
2005018507.tif 000017
【図１６】
2005018507.tif 000018