(57)【要約】【課題】紙面上の同一行内に複数の文字列があり，読取り対象となるものはその一部である場合，応用分野に応じて予め定められた規則に従い，自動的に読取り対象となる文字列を判別することが必要である。【解決手段】上記課題を解決するために、画像入力部と、画像データを表示する表示部と、入力の操作が可能な操作部と、画像データに含まれる文字を認識する演算部と、前記各部を制御する制御部とを有する携帯情報端末において、操作部から入力された認識モードにより，読取り対象の文字列又は文字行又は単語の抽出方式を自動的に切り替え，文字列又は文字行又は単語を自動的に抽出しする携帯情報端末、又は文字認識方法を提供する。【選択図】  図２
2005055991.tif 000002
【特許請求の範囲】
【請求項１】
画像データを入力する画像入力部と、前記画像入力部からの画像データを表示する表示部と、入力の操作が可能な操作部と、画像データに含まれる文字を認識する演算部と、前記各部を制御する制御部とを有する携帯情報端末において、
前記制御部は、前記画像入力部からの画像データのうち、前記操作部において入力を受け付けた認識モードにより，読取り対象の文字列又は文字行又は単語の抽出方式を切り替え，文字列又は文字行又は単語を抽出し、前記表示部に画像データと共に抽出した画像内容を文字列又は文字行又は単語として表示し、前記操作部からの選択操作によって前記表示部に表示された特定の文字列又は文字行又は単語の認識を行うことを特徴とする携帯情報端末。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像入力手段、具体的にはカメラを持った携帯情報端末または携帯電話等において、撮影した画像中の文字行および文字列を抽出する技術に関する。
【０００２】
【従来の技術】
従来より，紙に印刷ないし手書きされた文字を読取る装置はＯＣＲ（Ｏｐｔｉｃａｌ  Ｃｈａｒａｃｔｅｒ  Ｒｅａｄｅｒ）として知られている。主な応用分野は，帳票処理，郵便物の区分，文書のテキスト化などである。典型的なＯＣＲでは，以下のような手順で文字を読取る。まず紙面をスキャナを用いて光電変換して計算機に取り込み（画像入力），読取りの対象である文字行の領域を切出し（文字行切出し），文字行から個々の文字を切出し（文字切出し），個々の文字が何であるかを識別し（文字識別），言語情報などを利用して読取った文字群を文字列として解釈する（後処理）。
【０００３】
文字認識における後処理の一例として，認識結果の個々の文字と言語情報辞書に登録された単語との照合処理することにより文字認識結果の誤りを訂正する機能がある。英単語を例とすると，先頭の文字が誤認識している文字認識結果“ｏｈａｒａｃｔｅｒ”を辞書内の単語“ｃｈａｒａｃｔｅｒ”とを照合することにより，誤った文字を修正して単語として正しい認識結果を得ることができる。このような後処理の従来技術としては，非特許文献１の方式や，文字切出し，認識，照合を一体化した非特許文献２の方式が提案されている。
【０００４】
後処理の対象として，単語だけでなく住所の丁目番地号部分の表記形式を照合対象とした特許文献１の方式が提案されている。特許文献１の方式では，Ｎ−ＮＮ−ＮＮ（ただし，−は区切り記号，Ｎは０から９の数字をあらわす）などの表記形式を辞書に格納し，文字認識結果と表記形式を照合することにより，丁目番地号部分の誤りを修正する。この技術を電話番号認識に適用した場合，「ＴＥＬ」などの電話番号以外の文字が記載された行から，電話番号部分のみを抽出して認識結果を得ることができる。具体的には，０Ｎ−ＮＮＮＮ−ＮＮＮＮ（ただし，０は数字の０，Ｎは０〜９の数字，−は区切り記号をあらわす）などの電話番号の表記形式を辞書に格納し，文字認識結果と照合することにより，電話番号以外の文字を認識結果から削除することができる。
【０００５】
一方，近年は携帯電話やＰＤＡ（ｐｅｒｓｏｎａｌ  ｄｉｇｉｔａｌ  ａｓｓｉｓｔａｎｔ）などの携帯情報端末に搭載されたカメラを画像入力の手段として，文書，看板，標識などの文字を読取る試みが現われている。携帯電話にカメラを備えた従来例として，特許文献２や特許文献３が提案されている。これらの機器での認識対象は，電話番号，メールアドレス，ＵＲＬ，単語などである。特に，特許文献３では，認識精度向上のため，認識対象を事前に利用者が選択し，この認識対象にしたがって字種限定や後処理の方式の切り替える方式が提案されている。
【０００６】
一般に，文字認識における課題の一つとして，読取り対象の文字領域を抽出することが挙げられる。帳票ＯＣＲでは，事前に読取り対象の文字が記載された領域を厳密に指定しておき，帳票全面の画像からその領域内の画像を切出して認識するという手法が一般的である。また，文書ＯＣＲ等では，画面上に表示された文書に対し，認識対象の領域をマウスなどで指定するという手法もある。一方，特許文献２の携帯情報端末では，画面上に表示されたマーカに近い文字行領域を自動的に抽出して，認識するという手法が提案されている。
【０００７】
【特許文献１】特開平１１−２０７２６６号公報
【特許文献２】特開２００３−７８６４０号公報
【特許文献３】特開２００２−１５２６９６号公報
【特許文献４】特開２００２−３６６４６３号公報
【特許文献５】特開平１１−２０３４０４号公報
【非特許文献１】丸川勝美  他，“手書き漢字住所認識のためのエラー修正アルゴリズム”、情報処理学会論文誌，Ｖｏｌ．３５，  Ｎｏ．６，  １９９４．
【非特許文献２】Ｏ．Ｒ．  Ａｇａｚｚｉ，  ｅｔ  ａｌ．，  ”Ｃｏｎｎｅｃｔｅｄ  Ａｎｄ  Ｄｅｇｒａｄｅｄ  Ｔｅｘｔ  Ｒｅｃｏｇｎｉｔｉｏｎ  ｕｓｉｎｇ  Ｐｌａｎａｒ  Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌｓ，”  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ａｃｏｕｓｔｉｃｓ，  Ｓｐｅｅｃｈ，  ａｎｄ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ，  ｐｐ．  Ｖ−１１３−Ｖ−１１６，  １９９３
【０００８】
【発明が解決しようとする課題】
紙面上の同一行内に複数の文字列もしくは単語があり，読取り対象となるものはその一部であることがある。このような場合，応用分野に応じて予め定められた規則に従い，自動的に装置が読取り対象となる文字列を判別することが必要である。
【０００９】
しかしながら，特許文献２，特許文献３，特許文献４などの携帯情報端末を用いた文字認識の従来例においては，同一行内に読取り対象となる文字列は１つだけであり，不要な文字列は画像中に存在しないという前提に基づいていた。
【００１０】
一方，現実には同一行内に認識対象以外の文字列が存在する。認識対象の文字列の部分のみを画像入力できる場合は問題ない。しかし，一般にカメラからの画像入力ではピントを調整するために利用者の所望の画角が得られないため，認識対象以外の文字列も画像中に含まれてしまうことが多い。このような場合，認識結果に不要な文字列が付加されてしまうため，利用者の意図とは異なる文字認識結果が得られてしまうという問題がある。
【００１１】
ＵＲＬの認識を例とすると，図５（ａ）に示すようにＵＲＬの他に関係ない文字列がある場合，認識結果はＵＲＬと不要な文字列を一緒にした  “お問合せｈｔｔｐ：／／ｗｗｗ．ｘｘｘｘｘ．ｃｏ．ｊｐｔｅｌ：０１２−３４５６−７８９０（ダイヤルイン）”になるため，目的のＷｅｂページに接続できない。ｅ−ｍａｉｌアドレスの認識も同様である。
【００１２】
英単語を認識して翻訳結果を得たい場合を例とすると，行単位でしか文字認識できない仕様であれば，一単語のみを抽出して翻訳することが困難である。例として，行内に“Ｔｈｉｓ  ｉｓ  ａ  ｐｅｎ．”という文が記載されており，ｐｅｎのみを認識したい場合について説明する。単純な認識結果は“Ｔｈｉｓｉｓａｐｅｎ．”であり，ｐｅｎのみを抽出できない。単語照合によりｐｅｎのみを抽出することは可能であるが，単語間の区切りが明確でない場合には，単語照合の回数が増える（ａｐｅｎ，  ｓａｐｅｎ，ｉｓａｐｅｎなどと照合）ため，ＣＰＵの性能が低い携帯情報端末での実装には不向きである。さらに，文字認識を誤った場合には，単語照合でも正しい結果が得られないという問題もある。例えばａをｏと誤認識し，“ａ  ｐｅｎ”を“ｏｐｅｎ”と認識した場合は，単語照合によりｏｐｅｎを認識結果としてしまう場合がある。
【００１３】
上記の問題を解決するため，文字列間の空白を利用して文字列や単語を検出する手法がある。しかしながら，文字間隔と文字列間隔の空白の幅は必ずしも明確に区別できるとは限らないため，空白を利用した文字列抽出は誤りが発生する場合がある。この段階で読取り対象領域を誤って実際よりも短い文字列を選択すれば，決して正しい認識結果を得ることはできない。
【００１４】
そこで、本発明では、以上のような点に鑑みてなされたもので、上記課題の一部又は全部を解決すると共に、特に、携帯情報端末または携帯電話等を用いた文字認識において、利用者の操作によって認識対象となる文字列画像を任意に選択することで、容易に対象となる文字列画像を選択できる文字列選択方法、および選択された文字列画像を認識する文字認識方法を提供することを目的としている。
【００１５】
【課題を解決するための手段】
上記目的を達成するため、画像を撮影又は取得又は入力する画像入力部と、この画像入力部からの画像データを表示する表示部と、入力の操作が可能な操作部と、画像データに含まれる文字を認識する演算部と、前記各部を制御する制御部とを有する携帯情報端末において、画像入力部からの画像データのうち、前記操作部から入力された認識モードにより，読取り対象の文字列又は文字行又は単語の抽出方式を自動的に切り替え，文字列又は文字行又は単語を自動的に抽出し、前記表示部に画像データと共に抽出した画像内容を文字列又は文字行又は単語として表示し、前記操作部からの選択操作によって前記表示部に表示された特定の文字列又は文字行又は単語を認識するのに好適な携帯情報端末、又は文字認識方法を提供する。
【００１６】
具体的には，文字認識の対象が電話番号，ｅ−ｍａｉｌもしくはＵＲＬ，英単語で行抽出の方式を切り替える。この処理は，前述の後処理で読取り対象を限定できる場合は文字行全体を認識対象とし，限定できない場合は空白などを利用して行を分割して認識対象を限定とするという方針に基づく。より具体的には，電話番号であれば文字行全体を抽出し，ｅ−ｍａｉｌやＵＲＬであれば行の左端からｅ−ｍａｉｌやＵＲＬの終了までを抽出し，英単語であれば英単語のみを抽出する。上記の処理の根拠は以下の通りである。電話番号の認識においては，前述の特許文献１を用いた手法により行中から電話番号の文字のみを判別できるため，行全体を認識対象とすることができる。ｅ−ｍａｉｌやＵＲＬの認識においては，単語照合により“ｈｔｔｐ：／／”や“ｅ−ｍａｉｌ：”などの文字列を検出できるため，認識対象の左側は限定する必要がない。ただし，前述の通り右側に不要な文字列が存在する場合にはアドレス認識を誤るため，右側の不要な文字列を削除して認識対象とする。英単語の認識においては，左右の空白などを検出して単語のみを認識対象とする。
【００１７】
【発明の実施の形態】
以下、本発明の実施形態を図１から図９を用いて説明する。
図１は、本実施形態に係る画像入力手段を持つ携帯情報端末あるいは携帯電話１０１（又は単に携帯端末、携帯装置とも言う）の概略を示す構成図である。
携帯情報端末１０１は，カメラなどの画像入力部１０２，演算部１０３，表示部１０４，操作部１０５，通信部１０６，記憶部１０７を有する。演算部１０３は記憶部１０７に格納されたプログラムで指定された手順に従い，各部を制御すると共に，文字行抽出や画像符号化などの処理を実行する。表示部１０４は，例えば液晶パネルなどの装置から構成されており，画像や文字などの情報を視覚的に表示する。入力部１０５は，例えばボタンなどの装置から構成されており，装置を操作している人間からの入力を受付ける。通信部１０６は，例えば無線ＬＡＮのような装置から構成されており，外部との通信を行う。記憶部１０７は，例えばスタティックＲＡＭのようなものであり，処理手順を格納するプログラムや，文字行抽出処理や文字認識などの画像符号化処理の過程で必要な変数値を記憶するものである。なお，ＰＤＡなどの携帯端末については，通信部１０６は必須ではない。
【００１８】
なお、上述及び以下に説明する各部は、手段、機構、ユニットとも表現でき、基本的にソフトウェア又はハード、又はソフトウェアとハードとの結合によって処理、制御される機能である。なお、撮影、取得、入力などされた画像は、後述する文字認識に用いるように、制御部等のメモリ又は携帯情報端末に備わるメモリカードに記憶しておくような態様が望ましい。
【００１９】
図２は、図１の携帯情報端末を使用した第１の実施形態の文字認識の処理手順を説明する図である。
【００２０】
利用者は、ステップ２００において操作部１０５を用いて，表示部１０４に表示されたメニューから文字認識対象の文字列の属性（認識モード）を選択する。認識モードの例としては，図３に示すように「電話番号」，「ｅ−ｍａｉｌ」，「ＵＲＬ」，「英単語」などがある。この他に，「住所」「氏名」など適宜認識モードを追加しても良い。
【００２１】
次に，ステップ２０２において，携帯情報端末あるいは携帯電話１００が具備するＣＣＤやイメージセンサ等の画像入力部１０２を用いて、文字認識対象となる名刺や雑誌、あるいは看板などの画像を撮影し、記憶部１０７にディジタル画像として取込む。この時，特許文献２や図５（ｂ）に示すように表示部１０４上に画像とマーカを同時に表示し，利用者がマーカの位置が認識対象の文字行上なるようにして画像を採取すれば，読取り対象の文字行の位置を利用者が携帯機器に指示することができる。なお，図５（ｂ）におけるマーカの形状は十字型であるが，マーカの形状には制限はない。なお、文字認識対象の文字列の属性を決定するステップ２００は、画像入力のステップ２０２の後に行ってもよい。
【００２２】
次に，ステップ２０４において，取込んだディジタル画像に対して，マーカの位置を基準に文字行抽出，文字列抽出，単語抽出のいずれかの処理を，認識モードに応じて切り替えて実行する。ステップ２０４の処理の詳細については，図４を用いて後述する。この抽出結果は，ステップ２０６において表示部１０４に利用者が理解できるように表示される。
【００２３】
次に，利用者が文字認識対象となる文字行を確認し終えた後、操作部１０５を用いて確認または認識実行の指示を入力することにより、ステップ２０８において，行もしくは文字列もしくは単語として抽出された領域内の１文字ごとの文字切り出しを実施し、切り出された個々の文字パターンに対して文字識別文字識別を実施する。さらに，ステップ２１０において，文字識別の結果として予め具備している表記辞書との照合を行い，認識結果として出力する。最後にステップ２１２において，文字認識結果を表示部１０４に表示する。
【００２４】
図４は，図２のステップ２０４における行／文字列／単語抽出の処理手順を説明する図である。なお，図４においては，電話番号，ｅ−ｍａｉｌ，ＵＲＬ，英単語の認識モードしか記載していないが，他の認識モードを追加しても良い。追加した認識モードの後段の処理についても適宜追加してよい。
【００２５】
まず，ステップ４００において，認識モードにより処理を分岐する。認識モードが電話番号の場合には，ステップ４０２において文字行抽出を行い，処理を終了する。文字行抽出の手法としては，特許文献５や特許文献２に記載された方式を用いることが可能である。特許文献５の方式では，入力画像を２値化した後，文字の記載方向に黒画素の射影をとって生成された周辺分布から，黒画素が多く分布する範囲を抽出することにより行の領域を特定する。特許文献２の方式では，入力画像を２値化した後，黒画素の塊である連結成分を生成し，文字の記載方向に近傍の連結成分を統合することにより行の領域を特定する。
【００２６】
図５は，電話番号認識モードにおける表示部１０４の表示例である。図５（ａ）は認識対象である。図５（ｂ）は図２のステップ２０２において画像入力する際の表示例である。ここでは，認識対象の文字列として電話番号「０１２−３４５６−７８９０」を選択しているため，マーカをこの文字列上になるように調整した後，画像を入力する。図５（ｃ）は図２のステップ２０４において抽出した文字行領域をステップ２０６で表示した例である。電話番号モードでは，前述の通り後処理で電話番号のみを抽出できるため，ステップ２０４において行抽出が選択されている（ステップ４０２）。
【００２７】
次に，認識モードがＵＲＬの場合について説明する。まず，ステップ４０２において行抽出を行う。次に，ステップ４０４において行内において右側に存在する空白を検出し，ステップ４０８においてこの空白で文字行を分割した領域を文字列抽出結果とする。空白の検出方法としては，行内の連結成分の間隔の分布から単語中の文字間隔と単語間隔の差異を判定する方式などが考えられる。
【００２８】
図６はＵＲＬ認識モードにおける表示部１０４の表示例である。図６（ａ）は認識対象である。図６（ｂ）は図２のステップ２０２において画像入力する際の表示例である。ここでは，認識対象の文字列としてＵＲＬ「ｈｔｔｐ：／／ｗｗｗ．ｘｘｘｘｘ．ｃｏ．ｊｐ」を選択しているため，マーカをこの文字列上になるように調整した後，画像を入力する。図６（ｃ）は図２のステップ２０４において抽出した文字列領域をステップ２０６で表示した例である。ＵＲＬモードでは，前述の通り後処理で“ｈｔｔｐ：／／”を抽出できるため，ステップ２０４において図４のステップ４０２−４０４−４０８の処理の流れが選択されている。ｅ−ｍａｉｌ認識モードも図６と同様である。
【００２９】
次に，認識モードが英単語の場合について説明する。まず，ステップ４０２において行抽出を行う。次に，ステップ４０６において行内において読取り対象となる単語の両側の空白を検出し，ステップ４１０においてこの空白で文字行を分割した領域を単語抽出結果とする。
【００３０】
図７は英単語認識モードにおける表示部１０４の表示例である。図７（ａ）は認識対象である。図７（ｂ）は図２のステップ２０２において画像入力する際の表示例である。ここでは，認識対象の文字列として英単語「ｔｈｏｕｓａｎｄｓ」を選択しているため，マーカをこの単語上になるように調整した後，画像を入力している。図７（ｃ）は図２のステップ２０４において抽出した単語領域をステップ２０６で表示した例である。英単語モードでは，ステップ２０４において図４のステップ４０２−４０６−４１０の処理の流れが選択されている。
【００３１】
以上説明した第１実施形態の特徴は、利用者が認識対象を選択して画像を撮影すると、認識モードに応じて認識対象の領域を抽出する方式を自動的に選択し，それが図５（ｃ），図６（ｃ），図７（ｃ）に示されるに表示部に表示されることで、利用者が認識対象の領域を確認できる。
【００３２】
図８は、本発明に係る第２の実施形態の処理手順を説明する図である。なお、図８の中の符号が図２と同一のステップは、同一機能を有するものとする為ここでの説明は省略する。図８は，ステップ２０２において画像を入力した後に，ステップ２００において認識モードを選択する。以降の処理は図２と同様である。
【００３３】
なお，第１および第２の実施例において，文字認識（ステップ２０８）と後処理（ステップ２１０）は携帯機器内で行う必要は無い。例えば通信機能を用いてサーバに認識対象領域の画像を転送し，サーバで上記の処理を行うということも可能である。
【００３４】
次に，図５（ｂ），図６（ｂ），図７（ｂ）のマーカの表示形式について補足する。第一のマーカの表示形式は，ディスプレイなどの表示デバイス上の固定位置に表示されているものである。この場合，形態機器を動かすことにより認識対象の文字行を選択することになる。第二の表示形式は，マーカの位置は固定ではなく，操作部からの指示、または入力画像中から文字列を切り出してその文字列位置にカーソルを表示すること、などにより移動できるものである。
【００３５】
図９は，本発明に係る第３の実施形態である，英単語認識モードにおいて英熟語を認識する場合の表示部１０４の表示例である。図９（ａ）は認識対象である。図９（ｂ）は図２のステップ２０２において画像入力する際の表示例である。ここでは，認識対象の文字列として英熟語「ｔｈｏｕｓａｎｄｓ  ｏｆ」を選択する。ここで，ｔｈｏｕｓａｎｄｓ  とｏｆの間の空白にマーカ位置を調整した後，画像を入力している。図７（ｃ）は図２のステップ２０４において抽出した単熟語領域をステップ２０６で表示した例である。この場合，ステップ２０４において図４のステップ４０２−４０６−４１０の処理の流れが選択されている。ただし，単語間の空白にマーカを置いているため，この空白をより左右の空白が区切り位置として検出されることになり，結果として２字熟語を選択することができる。
【００３６】
【発明の効果】
以上に説明したように、携帯情報端末の入力部より取得した画像から，読取り対象の文字列のみを自動抽出して認識することができる。
【図面の簡単な説明】
【図１】携帯情報端末の構成図を示す。
【図２】第１の実施形態に係る文字認識方法のフロー図である。
【図３】第１の実施形態に係る認識モード選択のためのメニューを説明する図である。
【図４】第１の実施形態に係る行／文字列／単語抽出方法のフロー図である。
【図５】第１の実施形態に係る電話番号モードにおける行抽出の表示を説明する図である。
【図６】第１の実施形態に係るＵＲＬモードにおける文字列抽出の表示を説明する図である。
【図７】第１の実施形態に係る英単語モードにおける単語抽出の表示を説明する図である。
【図８】第２の実施形態に係る文字認識方法のフロー図である。
【図９】第３の実施形態に係る英単語モードにおける英熟語抽出の表示を説明する図である。
【図１】
2005055991.tif 000003
【図２】
2005055991.tif 000004
【図３】
2005055991.tif 000005
【図４】
2005055991.tif 000006
【図５】
2005055991.tif 000007
【図６】
2005055991.tif 000008
【図７】
2005055991.tif 000009
【図８】
2005055991.tif 000010
【図９】
2005055991.tif 000011