(57)【要約】【課題】単語間に空白のない日本語、中国語などの言語の文字列の画像から単語を認識する。操作者の位置指定と連携するとともに、単語辞書が遠隔にある場合にも処理時間の増加を防ぐ単語照合手段を提供する。【解決手段】操作者の指定する位置情報にもっとも近接するものを、単語照合の結果得られる候補単語の集合から選択する手段を設ける。単語照合では、あらかじめ辞書に格納した単語として尤もらしい部分画像の配列を、文字識別結果に基づいて検出する。【選択図】図１
2006202068.tif 000002
【特許請求の範囲】
【請求項１】
画像を光電変換してデジタル画像として取り込む画像入力手段と、上記デジタル画像より１つ以上の部分画像を切り出す文字切出し手段と、文字切出し手段で得られた部分画像を文字として識別する文字識別手段と、単語の集合を記憶する単語記憶手段と、単語記憶手段に格納した単語の個々の文字と類似した部分画像の配列を文字識別結果に基づいて検出する単語照合手段と、画像中の読み取るべき単語の位置を指定する位置指定手段と、単語照合の結果の内から位置指定手段で指定した位置に近いものを選択する単語選択手段と、を有することを特徴とする単語認識装置。
【請求項２】
単語選択手段が、部分画像配列の外接矩形の重心と指定した位置の距離が最短である部分画像配列を選択することであることを特徴とする請求項１の単語認識装置。
【請求項３】
単語選択手段が、指定した位置を部分画像配列の外接矩形が含むものを選択することであることを特徴とする請求項１の単語認識装置。
【請求項４】
画像を光電変換してデジタル画像として取り込む画像入力手段と、上記デジタル画像より１つ以上の部分画像を切り出す文字切出し手段と、文字切出し手段で得られた部分画像を文字として識別する文字識別手段と、文字識別の結果および各部分画像の座標に基づいて尤もらしい文字コード列を生成する文字列生成手段と、単語の集合を記憶する単語記憶手段と、単語記憶手段に格納した単語と一致する部分文字列を文字列生成結果より検出する文字列単語照合手段と、画像中の読み取るべき単語の位置を指定する位置指定手段と、文字列単語照合の結果の内から位置指定手段で指定した位置に近いものを選択する単語選択手段と、を有することを特徴とする単語認識装置。
【請求項５】
単語選択手段が、部分画像配列の外接矩形の重心と指定した位置の距離が最短である部分画像配列を選択することであることを特徴とする請求項４の単語認識装置。
【請求項６】
単語選択手段が、指定した位置を部分画像配列の外接矩形が含むものを選択することであることを特徴とする請求項４の単語認識装置。
【請求項７】
画像入力手段と文字切出し手段と文字識別手段と文字列生成手段と位置指定手段とが第一の計算機で実現され、単語記憶手段と文字列単語照合手段と単語選択手段とが第二の計算機で実現され、両者が通信手段で接続されていることを特徴とする請求項４の単語認識装置。
【請求項８】
文字列生成手段が、少なくとも文字識別結果得られる確信度と各部分画像の重心の間隔を含む変数に基づく評価値を、繰り返し処理により最適化することであることを特徴とする請求項４の単語認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文字列認識を利用する単語入力手段に関する技術分野に属する。
【背景技術】
【０００２】
従来より、紙に印刷ないし手書きされた文字を読取る装置はOCRとして知られている。主な応用分野は、帳票処理、郵便物の区分、文書のテキスト化などである。典型的なOCRでは、以下のような手順で文字を読取る。まず紙面をスキャナを用いて光電変換して計算機に取り込み(画像入力)、読取りの対象の領域を推定して個々の文字を切出し(文字切出し)、個々の文字が何であるかを識別し(文字識別)、言語情報などを利用して読取った文字群を文字列として解釈する(後処理)。こうしたOCRで日本語を認識する際には、特に言語情報を記憶するための手段(言語辞書)に多くの記憶容量が必要である。また、紙面上に複数の文字行があり、読取り対象となるものはその一部であることがある。このような場合、応用分野に応じて予め定められた規則に従い、自動的に装置が読取り対象となる文字行を判別する。
【０００３】
一般に文字切出しの段階では、どの部分画像が正しい文字に対応するか特定するのが困難である。このため、様々な仮説に基づいて文字を切り出し、後処理で文字の切り出し方を特定する手法が広く用いられている。
また、類似した形状の文字がある場合には、文字識別処理単独では文字種を特定するのが困難なことがある。こうした場合には、文字識別は複数の候補文字を出力する。
【０００４】
近年は、携帯電話、PDA(personal digital assistant)などの携帯機器に搭載されたカメラを画像入力の手段として、文書、看板、標識などの文字を読取る試みが現われている。これらの機器での認識対象は、電話番号、メールアドレス、URL、英単語などである。また、認識結果は電話やメールの発信、WEBへのアクセス、単語の翻訳などのサービスに用いられる。このような用途では、利用者が携帯機器により身の回りにある文書、看板、標識などを自在に読取り、サービスを受けることを想定している。このため、操作の容易さ、待ち時間の短さなどを実現することが必要となっている。
【０００５】
従来の技術の認識対象の場合、画像中から読取対象の文字列を特定するのが比較的容易であった。例えば、電話番号の場合には、通常直前に「Tel.」などの文字列が記載されている上、全体の桁数や括弧、ハイフンのつけ方に規則性がある。また、メールアドレスやURLなどでも、冒頭に「http:」がある、途中に「＠」が現れる、「.com」「.jp」などで終わる、などの規則性がある。こうした規則性を利用して、自動的に認識対象の文字列を検出することは従来の技術でも可能である。また、英単語の場合には単語の前後に空白がある。このため、大まかな位置の指定に基づいて認識対象の単語を特定することは容易であった。例えば、山崎正裕他、「OCR機能を応用した携帯電話向け電子辞書機能の開発」（電子情報通信学会2004年総合大会講演論文集D-12-35）（非特許文献１）では、操作者が画面中央のマークに読み取りたい英単語を合わせることで、その近辺の英単語を読み取り、単語の翻訳結果を表示する応用例が記載されている。
【０００６】
しかし、日本語や中国語など、単語間に空白を空けることなく記述される言語の文字列から単語を認識する場合には、読取対象の文字列を特定するのが困難である。これは、日本語の場合、単語間に空白を置かずに印刷したり書いたりするからである。例えば「臨時営繕費用請求」という文字行中の「営繕」という単語を読取るために、操作者がマークを「営繕」の中央に合わせても、どの範囲が操作者の期待する読取範囲かを自動的に特定することは困難である。代案として、読み取り領域を矩形で指定する方式があるが、これは著しく操作量を増加させ、機器の利便性が低下する。
【０００７】
また、こうした文字認識機能を有する携帯機器では、後処理における辞書の記憶容量の問題が生じる。従来の方式では、単語辞書の情報を用いて制約をかけながら、文字切り出しや文字識別の結果にあいまい性がある中で尤もらしい単語を検出するのが一般的である。日本語一般の単語、時事単語などを読み取り対象とすると、単語数は膨大となり、携帯機器に格納することは困難である。この問題の解決法として、辞書をサーバなど外部の計算機に記憶し、携帯機器と通信機能で接続することが考えられる。しかし、こうした後処理では頻繁に単語辞書にアクセスする必要があり、辞書を外部に置くと処理時間が長くなるという問題がある。
【０００８】
【特許文献１】特開平11-085909号公報
【０００９】
【非特許文献１】山崎正裕他、「OCR機能を応用した携帯電話向け電子辞書機能の開発」電子情報通信学会2004年総合大会講演論文集D-12-35
【非特許文献２】H. Bunke、 P.S.P. Wang、 “Handbook of Character Recognition and Document Image Analysis、” World Scientific、1997
【非特許文献３】丸川勝美他「手書き漢字住所認識のためのエラー修正アルゴリズム」、情報処理学会論文誌、Vol. 35、 No. 6、 1994-6、 pp. 1101-1110
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明が解決しようとする第一の課題は、日本語や中国語など、単語間に空白を空けることなく記述される言語の文書中から、簡単な操作で読み取りたい単語を指定できるようにすることである。上に述べたとおり、日本語の場合は単語間の空白がないため、位置を１点だけ指定しても、単語の範囲を自動的に特定することが困難である。本発明では、この問題を解決し、英単語などを認識するのと同等の操作で読み取り対象の単語を指定可能とする。
本発明が解決しようとする第二の課題は、後処理における単語辞書へのアクセス頻度を低減し、単語辞書がサーバ上にあっても実用的な処理時間で単語の読取を可能とすることである。
【課題を解決するための手段】
【００１１】
上記の課題を解決するための第一の手段として、本発明では、操作者の指定する位置情報にもっとも近接するものを、単語照合の結果得られる候補単語の集合から選択する手段を設ける。ここで、単語照合とは、あらかじめ辞書に格納した単語として尤もらしい部分画像の配列を、文字識別結果に基づいて検出する処理である。辞書には1つ以上の単語をあらかじめ記憶しておく。もし、単語として尤もらしい部分画像配列が複数見出された場合には、それらを候補単語として出力する。指定の位置と候補単語の近接の度合いの尺度としては、例えば、候補単語の外接矩形の重心と指定位置の距離を用いる。これにより、単語間の空白がない場合にも、操作者が指定する位置近辺の単語を読み取ることが可能となる。
【００１２】
上記の課題を解決するための第二の手段として、本発明では、文字識別後に単語情報を用いずに尤もらしい文字列の候補を出力する文字列出力手段を設ける。この文字列出力手段は、文字識別の結果得られる確信度、部分画像の間隔の均一性などの情報を基準に尤もらしい文字列を出力する。尤もらしい文字列が複数ある場合には、複数の文字列を候補文字列として出力する。
【００１３】
文字列出力手段では、繰り返し処理によって尤もらしさを最適にする方式を採用する。従来は、部分画像の位置関係をネットワークで表現し(文字切り出しネットワーク)、個々の部分画像の文字としての確信度を求め、ネットワーク上で確信度の和が最大となる経路を求める方式が広く使われている。しかし、この方式では、部分画像の間隔の均一性を最適化することはできない。そこで、文字の切り出し方を少しずつ繰り返し変化させ、文字列としての尤もらしさを最適化するようにする。
【発明の効果】
【００１４】
上に述べたような文字切り出し方式、単語照合方式、データ形式を用いることにより、単語間に空白を空けることなく記述される日本語や中国語などの言語の文字列中から、操作者の指定する位置に近接する単語を自動的に切り出すことが可能となる。これにより、単語を認識させるための操作者の操作量は大幅に減り、機器の利便性が向上する。
【００１５】
また、単語辞書が遠隔のサーバに有っても、頻繁なネットワークアクセスを行う必要がなく、処理速度が向上する。本発明では、文字列を一括してサーバに転送することができ、転送時間は短縮される。転送する文字列は、文字識別の確信度、文字間隔の分散などよって厳選されており、転送時間は短縮される。さらに文字の切り出しの曖昧さはこの時点で解消されており、サーバでの単語照合処理も簡便なもので済む。
【発明を実施するための最良の形態】
【００１６】
図1に本発明の一実施例を示す。本実施例は2つの計算機１００、１０１で実現する。画像入力手段１０２は、文字の像を光電変換して計算機に取り込む。位置指定手段１０３は、操作者により入力された読み取り対象の単語の位置の指定を特定する。ここでは、位置は画像上のＸ座標値とＹ座標値で指定するものとする。文字切り出し手段１０４は、個々の文字に対応すると思われる部分画像を切出す。文字識別手段１０５は、切り出した部分画像各々が何の文字であるかを識別し、確信度とともに出力する。この際、各文字の形状を記憶するための手段(文字識別辞書１０９)を参照する。文字列出力手段１０６は、文字識別の結果得られる確信度、部分画像の間隔の均一性などの情報を基準に尤もらしい文字列を出力する。尤もらしい文字列が複数ある場合には、複数の文字列を候補文字列として出力する。単語照合手段１０７は、候補文字列と単語辞書１１０にあらかじめ記憶してある単語を照合し、一致するものを検出する。単語選択手段１０８は、単語照合手段１０７の出力と、位置指定手段１０３の出力とを元に、指定位置に近い単語を選択し、単語認識結果として出力する。最後に認識結果表示手段１１１にて、単語認識結果を表示する。
【００１７】
計算機１は携帯情報端末、例えばカメラ付き携帯電話やカメラ付きＰＤＡなどである。計算機２は、無線又は有線により計算機１と直接又は間接的に通信可能な計算機であり、例えばセルラ通信のネットワークに接続されるサーバなどである。認識結果表示手段１１２は、計算機１が有する表示部である。計算機１の画像入力手段１１１はカメラなどの画像入力装置により実現される。位置指定手段１０３、文字切り出し手段１０４、文字識別手段１０５、および文字列出力手段１０６は、計算機１の記憶部に格納されたプログラムを演算部で実行することにより実現される。文字識別辞書１０９は計算機１の記憶部に格納される。単語照合手段１０７、および単語選択手段１０８は、計算機２の記憶部に格納されたプログラムを演算部で実行することにより実現される。単語辞書１１０は計算機２の記憶部に格納される。計算機１および２は通信機能を有し、この通信機能を用いて単語の位置指定、文字列出力手段の出力、単語認識結果などの送受信を行う。
【００１８】
計算機１(100)の外観（表側及び裏側））の例を図１０に示す。画像入力手段１０２のカメラは、表示部１１１と反対側に設置すると、ユーザが画像を視認しながら入力する際などに便利である。表示部１１１の側には、表示部の表示内容の操作や、画像入力の指定に用いられる入力ボタン１１２が設けられる。
【００１９】
図2は、入力画像および位置指定の操作を模式的に表すものである。２０１は、表示部１１１上に入力画像を表示するウインドウである。入力画像には、操作者が読ませようとする単語が撮られているものとする。２０２は、位置指定のためのマークである。操作者がこのマークを認識させたい単語にあわせて画像の入力を行うことで、このマークの位置に相当する入力画像の位置が、位置指定手段１０３で特定すべき位置として指定される。この例では、「経済」の文字列を読ませるために、その近辺にマークをあわせた状態で画像を入力する。
【００２０】
２０２に示すように、入力画像の中にへんとつくりに分かれている文字が多い場合、文字と文字の境界を一意に決めることが困難である。このような場合は、この段階では様々な仮説に基づいて文字を切り出しておく。図３は、文字切り出し手段１０３の出力の例を模式的に表している。ここでは文字切り出し結果は特開平11-085909号公報（特許文献１）にあるようなネットワークの形式となっている。図中で丸印によって表されたネットワークの頂点は、文字間の境界の候補を表す。丸の中の数字は、各境界候補の識別子を表す。また、折れ線は、切り出された部分画像を表す。こうしたネットワークによる表現により、文字の切り出し方は、ネットワーク中の経路で表されることとなる。
【００２１】
文字識別手段１０５としては、例えば、H. Bunke、 P.S.P. Wang、 “Handbook of Character Recognition and Document Image Analysis、” (World Scientific、 1997)（非特許文献２）にあるような手法を用いる。類似した形状の文字があると、文字識別処理単独では文字種を特定するのが困難なことがある。こうした場合には、文字識別手段１０５は、複数の候補文字を確信度とついにして出力する。
【００２２】
図4は、文字列出力手段１０６の出力の例を模式的に表している。文字の切り出し方がこの段階では決定できないため、様々な文字の切り出し方を仮定して文字列を出力している。図中では６つの文字列を示しているが、これは６つの候補文字列が出力される場合を示す。また、候補文字列の順序は、以下に示す文字列確信度の値が大きい順に並べるようにする。
【００２３】
(文字列確信度) ＝ a×(文字識別結果の一位の確信度の平均値）- b×(文字の中心座標間隔の分散値)
（a、bは正の定数）
これは、できるだけ文字として尤もらしく、かつ、文字列として文字のピッチが整っているような文字の切り出し方を、上位の候補とするためのものである。
【００２４】
図5は、文字列出力手段１０７における処理の手順の例を示している。まず、ステップ５０１にて文字識別確信度の総和が最大となる経路をネットワーク上で探索する。これはダイキストラのアルゴリズムなど通常の経路探索アルゴリズムで実現可能である。次に、ステップ５０２にて、ステップ５０１で得られた経路にしたがって、文字列確信度を計算し、変数ａとｂに代入する。
【００２５】
次にループ５０３にて、以下の処理を繰り返す。まず、ループ５０４にて、全ての境界候補について、その境界候補を逆転した文字列確信度を計算し、その値を変数cに代入する。もし、変数cの値が変数bの値より大きい場合には、cの値をbに代入する。
【００２６】
上記のループ５０３の処理の中で、境界候補の逆転とは以下のような処理を示す。もし、境界候補iが経路に含まれている場合には、iの直前、直後の境界候補を両端とする文字の切り出し方を選択し、iが含まれないように経路を修正する。もし、境界候補iが経路に含まれていない場合には、iを含むように経路を修正する。図６の（Ｂ）の例では、図６（Ａ）の境界候補３番を逆転しており、図６の（Ｃ）では、境界候補５番を逆転している。
【００２７】
次にステップ５０５にて、変数aの値がbの値未満かどうか判定し、もし判定結果が真であれば、aにbの値を代入する。もし偽であれば、ループ５０３を終了し、その時点での経路にしたがって文字列に対応する部分画像の配列を確定し、文字列として出力する。上記の処理は、最適な文字の切り出し方を１つだけ出力する例である。上記の処理と同様に、常に上n個の文字の経路を記憶し、それらを繰り替えし少しずつ修正することで、上位n個の最適な文字の切り出し方を出力することも可能となる。
【００２８】
文字列出力手段の出力としては、得られた部分画像配列の各部分画像に対する文字識別結果の一位候補文字をつなぎ合わせたものを用いる。また、別の実施例として、後述するような各部分画像に対し複数の候補文字を格納したもの(ラティス)を用いてもよい。
単語照合手段１０７には、通常の文字列比較手法を用いる。また、入力としてラティスを用いる場合には、丸川勝美他「手書き漢字住所認識のためのエラー修正アルゴリズム」（情報処理学会論文誌、Vol. 35、 No. 6、 1994-6、 pp. 1101-1110）（非特許文献３）のような手法を用いる。
【００２９】
図７に、単語選択手段１０８の出力を認識結果表示手段１１１で表示した結果を模式的に示す。２０１は位置指定に用いた画面である。７０１は単語認識結果を表示するウインドウである。ウインドウの上の方ほど、単語として尤もらしいものを表示している。単語の尤もらしさには、認識された単語の外接矩形の画像上での重心と、操作者が指定した読み取り位置の距離を用いる。また、外接矩形が指定した読み取り位置を含むような単語候補を表示するようにしてもよい。さらに、操作者が希望する単語候補を指定できるよう、認識結果表示手段１１１ではカーソル７０２を表示する。操作者はボタンなどを操作してカーソルを上下し、列挙された候補単語から希望するものを選択する。また、ウインドウ７０１中の文字のX座標は、ウインドウ２０１に示す入力画像中で対応する文字のX座標に合わせて表示する。
【００３０】
図８は、文字列出力手段１０６の出力形式をラティスとした際のデータ形式である。表の各行すなわち１レコードが、文字列中の１文字に対応する。はじめの２変数BLとBRには、ネットワーク上での左と右の境界の識別子を記憶する。次の４つの変数L、T、R、Bには、切り出された部分画像の左端、右端、上端、下端の座標を記憶する。次の変数Nには、出力する候補文字の数を記憶する。配列C[1]からC[N]には、文字識別結果得られた候補文字の文字コードを記憶する。配列Lk[1]からLk[N]には、各候補文字の確信度を格納する。このように、文字識別結果を部分画像の座標と共に記憶しておくことにより、単語選択手段１０８にて、位置指定結果に応じた候補単語を選択することが可能となる。
【００３１】
図９は、単語照合１０７の出力のデータ形式を示す。第一の変数LENには、単語の文字数を記憶する。次の４つの変数L、T、R、Bには、単語の左端、右端、上端、下端の座標を記憶する。変数C[i]には、単語のi番目の文字の文字コードを記憶する。変数P[i]には、単語のi番目の文字に対応する図８のテーブル中のレコードへのポインタを示す。こうした記憶形式を用いることにより、図７に示すような表示が可能となる。
【図面の簡単な説明】
【００３２】
【図１】本発明の一実施例の構成。
【図２】位置指定画面。
【図３】文字切り出し結果のネットワーク。
【図４】文字列出力結果。
【図５】文字列出力の処理手順。
【図６】境界の逆転の例。
【図７】単語選択結果の表示例。
【図８】文字列出力のデータ形式。
【図９】単語照合結果のデータ形式。
【図１０】計算機１の構成例。
【符号の説明】
【００３３】
１００：第一の計算機、１０１：第二の計算機、１０２：画像入力手段、１０３：位置指定、１０４：文字切出し、１０５：文字識別、１０６：文字列出力、１０７：単語照合、１０８：単語選択、１０９：文字識別辞書、１１０：単語辞書、１１１：認識結果表示、２０１：入力画像表示ウインドウ、２０２：位置指定用カーソル、７０１：単語認識結果表示ウインドウ、７０２：単語選択カーソル。
【図１】
2006202068.tif 000003
【図２】
2006202068.tif 000004
【図３】
2006202068.tif 000005
【図４】
2006202068.tif 000006
【図５】
2006202068.tif 000007
【図６】
2006202068.tif 000008
【図７】
2006202068.tif 000009
【図８】
2006202068.tif 000010
【図９】
2006202068.tif 000011
【図１０】
2006202068.tif 000012