(57)【要約】    【課題】認識対象画像が輝度（濃度）やコントラストの相違から文字位置を特定し難いような画像であっても、ユーザにあまり操作の負担をかけることなく、全ての文字に対応する複数の文字候補が得られ、適切な文字行列を生成できるようにすること。    【解決手段】文字候補生成手段１１により認識対象画像を記憶した第１の記憶手段１をデータベース５中の文字の参照パターンで走査・照合して得られた文字認識結果の候補文字、中心座標及び大きさを含む多数の文字侯補と、ユーザの操作に基づいて入力手段６から入力された認識対象画像中の文字列の最初と最後の文字の中心座標とから、座標推定手段により認識対象画像中の文字列の全ての文字の中心付近の座標を推定し、前記多数の文字侯補と、認識対象画像中の文字列の全ての文字の中心座標とを文字配置手段１３により対応付けて文字行列を生成する。【選択図】図１
2006185065.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つの文字よりなる文字列を含む認識対象画像に対して文字認識処理を行い、得られた多数の文字候補のうち、認識対象画像中の同一の文字に対応する複数の文字候補を、文字毎に並べた文字行列を生成する文字行列生成装置であって、
認識対象の文字の参照パターンを多数格納したデータベースと、
入力された認識対象画像を記憶する第１の記憶手段と、
データベースから文字の参照パターンを読み出し、該読み出した参照パターンで第１の記憶手段内を走査・照合し、これを各参照パターンについて繰り返すことにより得られる多数の文字候補であって、文字認識結果の候補文字と、当該侯補文字の中心座標と、当該候補文字の大きさとを少なくとも含む多数の文字侯補を生成する文字侯補生成手段と、
前記生成された多数の文字候補を記憶する第２の記憶手段と、
ユーザの操作に基づいて認識対象画像中の文字列の最初と最後の文字の中心付近の座標を入力するための入力手段と、
第１の記憶手段に記憶された認識対象画像及び入力手段による入力座標を表示するための表示手段と、
前記入力手段によって入力された認識対象画像中の文字列の最初と最後の文字の中心付近の座標を記憶する第３の記憶手段と、
第３の記憶手段から認識対象画像中の文字列の最初と最後の文字の中心付近の座標を読み出すとともに第２の記憶手段から多数の文字侯補を読み出し、認識対象画像中の文字列の全ての文字の中心付近の座標を推定する座標推定手段と、
前記座標推定手段によって推定された認識対象画像中の文字列の全ての文字の中心付近の座標を記憶する第４の記憶手段と、
第４の記憶手段から認識対象画像中の文字列の全ての文字の中心付近の座標を読み出すとともに第２の記憶手段から多数の文字侯補を読み出し、認識対象画像中の文字列の全ての文字の中心付近の座標に多数の文字候補を対応付けて文字行列を生成する文字配置手段とを備えた
ことを特徴とする文字行列生成装置。
【請求項２】
データベースから文字の参照パターンを読み出し、該読み出した参照パターンで第１の記憶手段内を走査・照合し、これを各参照パターンについて繰り返すことにより得られる多数の文字候補であって、文字認識結果の候補文字と、当該侯補文字の中心座標と、当該候補文字の大きさと、当該候補文字の尤もらしさを示すスコアとを少なくとも含む多数の文字侯補を生成する文字侯補生成手段と、
第４の記憶手段から認識対象画像中の文字列の全ての文字の中心付近の座標を読み出すとともに第２の記憶手段から多数の文字侯補を読み出し、認識対象画像中の文字列の全ての文字の中心付近の座標に多数の文字候補を対応付けるとともに、同一の文字の中心付近の座標に対応する複数の文字候補の順位を前記スコアを用いて並べ替えて文字行列を生成する文字配置手段とを備えた
ことを特徴とする請求項１に記載の文字行列生成装置。
【請求項３】
少なくとも１つの文字よりなる文字列を含む認識対象画像に対して文字認識処理を行い、得られた多数の文字候補のうち、認識対象画像中の同一の文字に対応する複数の文字候補を、文字毎に並べた文字行列を生成する文字行列生成方法であって、
認識対象の文字の参照パターンを多数格納したデータベースとともに、第１の記憶手段、第２の記憶手段、第３の記憶手段、第４の記憶手段、表示手段及び入力手段を備えた計算機とを用い、
当該計算機が、
入力された認識対象画像を第１の記憶手段に記憶する工程と、
データベースから文字の参照パターンを読み出し、該読み出した参照パターンで第１の記憶手段内を走査・照合し、これを各参照パターンについて繰り返すことにより得られる多数の文字候補であって、文字認識結果の候補文字と、当該侯補文字の中心座標と、当該候補文字の大きさとを少なくとも含む多数の文字侯補を生成する工程と、
前記生成した多数の文字侯補を第２の記憶手段に記憶する工程と、
第１の記憶手段に記憶された認識対象画像及び入力手段による入力座標を表示手段に表示する工程と、
ユーザの操作に基づいて入力手段から入力された認識対象画像中の文字列の最初と最後の文字の中心付近の座標を第３の記憶手段に記憶する工程と、
第３の記憶手段から認識対象画像中の文字列の最初と最後の文字の中心付近の座標を読み出すとともに第２の記憶手段から多数の文字侯補を読み出し、認識対象画像中の文字列の全ての文字の中心付近の座標を推定する工程と、
前記推定した認識対象画像中の文字列の全ての文字の中心付近の座標を第４の記憶手段に記憶する工程と、
第４の記憶手段から認識対象画像中の文字列の全ての文字の中心付近の座標を読み出すとともに第２の記憶手段から多数の文字侯補を読み出し、認識対象画像中の文字列の全ての文字の中心付近の座標に多数の文字候補を対応付けて文字行列を生成する工程とを行う
ことを特徴とする文字行列生成方法。
【請求項４】
データベースから文字の参照パターンを読み出し、該読み出した参照パターンで第１の記憶手段内を走査・照合し、これを各参照パターンについて繰り返すことにより得られる多数の文字候補であって、文字認識結果の候補文字と、当該侯補文字の中心座標と、当該候補文字の大きさと、当該候補文字の尤もらしさを示すスコアとを少なくとも含む多数の文字侯補を生成する工程と、
第４の記憶手段から認識対象画像中の文字列の全ての文字の中心付近の座標を読み出すとともに第２の記憶手段から多数の文字侯補を読み出し、認識対象画像中の文字列の全ての文字の中心付近の座標に多数の文字候補を対応付けるとともに、同一の文字の中心付近の座標に対応する複数の文字候補の順位を前記スコアを用いて並べ替えて文字行列を生成する工程とを行う
ことを特徴とする請求項３に記載の文字行列生成方法。
【請求項５】
少なくとも１つの文字よりなる文字列を含む認識対象画像に対して文字認識処理を行い、得られた多数の文字候補のうち、認識対象画像中の同一の文字に対応する複数の文字候補を、文字毎に並べた文字行列を生成する文字行列生成プログラムであって、
認識対象の文字の参照パターンを多数格納したデータベースとともに、第１の記憶手段、第２の記憶手段、第３の記憶手段、第４の記憶手段、表示手段及び入力手段を備えた計算機に、
入力された認識対象画像を第１の記憶手段に記憶する工程と、
データベースから文字の参照パターンを読み出し、該読み出した参照パターンで第１の記憶手段内を走査・照合し、これを各参照パターンについて繰り返すことにより得られる多数の文字候補であって、文字認識結果の候補文字と、当該侯補文字の中心座標と、当該候補文字の大きさとを少なくとも含む多数の文字侯補を生成する工程と、
前記生成した多数の文字侯補を第２の記憶手段に記憶する工程と、
第１の記憶手段に記憶された認識対象画像及び入力手段による入力座標を表示手段に表示する工程と、
ユーザの操作に基づいて入力手段から入力された認識対象画像中の文字列の最初と最後の文字の中心付近の座標を第３の記憶手段に記憶する工程と、
第３の記憶手段から認識対象画像中の文字列の最初と最後の文字の中心付近の座標を読み出すとともに第２の記憶手段から多数の文字侯補を読み出し、認識対象画像中の文字列の全ての文字の中心付近の座標を推定する工程と、
前記推定した認識対象画像中の文字列の全ての文字の中心付近の座標を第４の記憶手段に記憶する工程と、
第４の記憶手段から認識対象画像中の文字列の全ての文字の中心付近の座標を読み出すとともに第２の記憶手段から多数の文字侯補を読み出し、認識対象画像中の文字列の全ての文字の中心付近の座標に多数の文字候補を対応付けて文字行列を生成する工程とを実行させる
ことを特徴とする文字行列生成プログラム。
【請求項６】
データベースから文字の参照パターンを読み出し、該読み出した参照パターンで第１の記憶手段内を走査・照合し、これを各参照パターンについて繰り返すことにより得られる多数の文字候補であって、文字認識結果の候補文字と、当該侯補文字の中心座標と、当該候補文字の大きさと、当該候補文字の尤もらしさを示すスコアとを少なくとも含む多数の文字侯補を生成する工程と、
第４の記憶手段から認識対象画像中の文字列の全ての文字の中心付近の座標を読み出すとともに第２の記憶手段から多数の文字侯補を読み出し、認識対象画像中の文字列の全ての文字の中心付近の座標に多数の文字候補を対応付けるとともに、同一の文字の中心付近の座標に対応する複数の文字候補の順位を前記スコアを用いて並べ替えて文字行列を生成する工程とを実行させる
ことを特徴とする請求項５に記載の文字行列生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文字を含む認識対象画像に対して文字認識処理を行い、得られた多数の文字候補のうち、認識対象画像中の同一の文字に対応する複数の文字候補を、文字毎に並べた文字行列を生成する技術に関する。
【背景技術】
【０００２】
道路標識のような文字を含む認識対象画像から当該文字を認識する場合、一般に、認識対象画像中から１つ１つの文字に対応する文字位置（なお、ここでいう文字位置とは一定以上の広がりを持つ領域を意味する。）を特定し、その上で各文字位置の画像に対して認識処理を行っていた。この際、１つの文字位置の画像に対し、認識結果として第１位の文字侯補、第２位の文字侯補、第３位の文字侯補、…の複数の文字候補が得られ、ユーザはそのうちの任意の文字侯補を正解文字として選択可能であった。
【０００３】
一方、前述した文字位置単位の画像に対する認識処理（狭義の文字認識処理）とは別に、得られた文字候補同士の様々な組み合わせに対して言語としての解析処理を施すことにより、文字候補の順位の変更等を含む、文字認識の誤り検出・訂正を可能とする提案が種々なされている。
【０００４】
そのようなものの一つに、文字認識処理によって得られた多数の候補文字のうち、認識対象画像中の同一の文字に対応する複数の候補文字を、文字毎に並べた文字行列（文字候補行列）を入力とし、これを単語辞書と各文字に対応する文字候補間の文字連鎖確率や文字候補を含む単語の連鎖確率などの言語モデルとを用いて探索することによって、精度の高い文字認識結果を得ることができるようにした特許発明がある（特許文献１参照）。
【特許文献１】特許第３３０９１７４号公報（文字認識方法及び装置）
【非特許文献１】岩波講座  言語の科学、第３巻  単語と辞書、１９９７年１２月１９日発行、Ｐ．６９〜７１
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、前述した文字位置は、文字を含む認識対象画像が、印刷文字を含む書面をスキャナ等で取り込むことによって得られた画像であれば、文字の部分とそれ以外、即ち地の部分との間の輝度（濃度）やコントラストの相違から特定、例えば全画像に対し横方向に文字を構成する画素（通常、黒画素）の数を数えたヒストグラムを作成して行を特定し、全画像もしくは前記特定した各行の画像に対し縦方向に黒画素の数を数えたヒストグラムを作成して列を特定することによって、比較的正確に特定することが可能である。その結果、各文字位置の画像に対する認識結果として複数の文字侯補がそれぞれ得られ、前記特許発明での入力となる文字行列を生成でき、精度の高い文字認識が実現可能であった。
【０００６】
しかし、文字を含む認識対象画像が、文字が記された標識や看板等を含む景観をディジタルカメラ等によって撮影した画像であるような場合、文字の部分とそれ以外、ここでは背景の部分との間の輝度（濃度）やコントラストの相違から文字位置を正確に特定することが困難であり、その結果、これらの画像に対しては本来、文字が存在しない位置の画像からも文字候補が多数得られ、適切な文字行列を生成できないという問題があった。
【０００７】
本発明は、上記の点に鑑みてなされたもので、文字を含む認識対象画像が輝度（濃度）やコントラストの相違から１つ１つの文字に対応する文字位置を特定し難いような画像であっても、ユーザにあまり操作の負担をかけることなく、全ての文字に対応する複数の文字候補が得られ、適切な文字行列を生成できる文字行列生成装置、その方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために本発明の文字行列生成装置は、少なくとも１つの文字よりなる文字列を含む認識対象画像に対して文字認識処理を行い、得られた多数の文字候補のうち、認識対象画像中の同一の文字に対応する複数の文字候補を、文字毎に並べた文字行列を生成する文字行列生成装置であって、認識対象の文字の参照パターンを多数格納したデータベースと、入力された認識対象画像を記憶する第１の記憶手段と、データベースから文字の参照パターンを読み出し、該読み出した参照パターンで第１の記憶手段内を走査・照合し、これを各参照パターンについて繰り返すことにより得られる多数の文字候補であって、文字認識結果の候補文字と、当該侯補文字の中心座標と、当該候補文字の大きさとを少なくとも含む多数の文字侯補を生成する文字侯補生成手段と、前記生成された多数の文字候補を記憶する第２の記憶手段と、ユーザの操作に基づいて認識対象画像中の文字列の最初と最後の文字の中心付近の座標を入力するための入力手段と、第１の記憶手段に記憶された認識対象画像及び入力手段による入力座標を表示するための表示手段と、前記入力手段によって入力された認識対象画像中の文字列の最初と最後の文字の中心付近の座標を記憶する第３の記憶手段と、第３の記憶手段から認識対象画像中の文字列の最初と最後の文字の中心付近の座標を読み出すとともに第２の記憶手段から多数の文字侯補を読み出し、認識対象画像中の文字列の全ての文字の中心付近の座標を推定する座標推定手段と、前記座標推定手段によって推定された認識対象画像中の文字列の全ての文字の中心付近の座標を記憶する第４の記憶手段と、第４の記憶手段から認識対象画像中の文字列の全ての文字の中心付近の座標を読み出すとともに第２の記憶手段から多数の文字侯補を読み出し、認識対象画像中の文字列の全ての文字の中心付近の座標に多数の文字候補を対応付けて文字行列を生成する文字配置手段とを備えたことを特徴とする。
【０００９】
本発明では、侯補文字、当該侯補文字の中心座標及びその大きさだけでなく、その文字らしさを示すスコアをも文字侯補に与えることのできる文字侯補生成手段を用いることも可能である。
【００１０】
前記文字侯補生成手段において、文字侯補は認識対象画像の任意の位置で多数生成されるため、正解侯補の漏れは少ない。しかし、大量に生成されるため、誤りにまぎれた正解だけを見つけることが困難である。
【００１１】
本発明では、表示手段及び入力手段によって、認識対象画像中の文字列の最初と最後の文字の中心のおおよその座標位置をユーザ（オペレータ）が指定し、座標推定手段によって、該指定された座標から文字列の全ての文字の中心座標を推定する。文字列の最初と最後の文字の中心の座標の指定はマウス操作、ペン操作、キー操作によって実現が可能である。
【００１２】
座標推定手段では、認識対象画像中の文字列の最初と最後の文字の中心付近の座標と、多数の文字候補とから、認識対象画像中の文字列の全ての文字の中心付近の座標を推定する。推定においては、文字候補を構成する情報のうち、侯補文字の中心座標及び大きさのみからなる候補、つまり文字位置の候補に配置上の適切性に関するスコアを与え、文字列の最初の文字の位置から最後の文字の位置までのスコアの高い候補の並びを探索し、最もスコアの高い候補列における各中心座標を、文字列の全ての文字の中心付近の座標として推定する。
【００１３】
文字配置手段では、それぞれの文字侯補を座標推定手段で推定された座標に対応付けることにより、同一の文字に対応する複数の文字候補を、文字毎に並べた文字行列を生成する。
【００１４】
この文字行列を入力とすれば、前述した特許発明によって、より精度の高い文字認識結果を得ることが可能となる。
【発明の効果】
【００１５】
このように、本発明によれば、ユーザが認識対象画像中の文字列の最初と最後の文字の中心付近の座標を指定して入力するのみで、これらと多数の文字侯補から、全ての文字の中心付近の座標を推定でき、該得られた認識対象画像中の文字列の全ての文字の中心付近の座標と多数の文字侯補から文字行列を生成することができ、さらに得られる場合には文字侯補のスコアをも加味して文字行列を生成することができ、その結果、より精度の高い文字認識結果が得られるという効果がある。
【発明を実施するための最良の形態】
【００１６】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００１７】
＜第１の実施の形態＞
図１は本発明の第１の実施の形態にかかる文字行列生成装置を示すもので、図中、１は第１の記憶手段、２は第２の記憶手段、３は第３の記憶手段、４は第４の記憶手段、５は文字パターンデータベース、６は入力手段、７は表示手段、８は中央演算処理装置（ＣＰＵ）である。
【００１８】
第１の記憶手段１は、記憶媒体から読み出されて入力され又は通信媒体を介して他の装置（デジタルカメラ等）から入力される、認識対象画像を記憶する。第２の記憶手段２は、後述する多数の文字候補を記憶する。第３の記憶手段３は、入力手段５によって入力される認識対象画像中の文字列の最初と最後の文字の中心付近の座標を記憶する。第４の記憶手段４は、後述する座標推定手段によって推定される認識対象画像中の文字列の全ての文字の中心付近の座標を記憶する。
【００１９】
文字パターンデータベース５は、認識対象の文字の参照パターンを多数格納している。入力手段６は、ユーザの操作に基づいて認識対象画像中の文字列の最初と最後の文字の中心付近の座標を入力するためのものであり、マウスやデジタイザ、あるいはキーボード等が用いられる。表示手段７は、第１の記憶手段１に記憶された認識対象画像及び入力手段６による入力座標を表示する（詳細には、認識対象画像に対する入力座標位置を表すカーソル等を表示する）ためのものであり、ＣＲＴや液晶ディスプレイ等が用いられる。
【００２０】
ＣＰＵ８は、図２にフローチャートで示すプログラムに従って前述した各部を制御するとともに、この際、文字候補生成手段１１、座標推定手段１２及び文字配置手段１３を構成する。
【００２１】
文字侯補生成手段１１は、文字パターンデータベース４から文字の参照パターンを読み出し、該読み出した参照パターンで第１の記憶手段１内を走査・照合し、これを各参照パターンについて繰り返すことにより得られる多数の文字候補であって、文字認識結果の候補文字と、当該侯補文字の中心座標と、当該候補文字の大きさとを含む多数の文字侯補を生成する。
【００２２】
また、座標推定手段１２は、第３の記憶手段３からユーザが入力した認識対象画像中の文字列の最初と最後の文字の中心付近の座標を読み出すとともに第２の記憶手段２から多数の文字侯補を読み出し、認識対象画像中の文字列の全ての文字の中心付近の座標を推定する（詳細に言えば、認識対象画像中の文字列の全ての文字の中心付近の座標をそれぞれ少なくとも一つ算出する。）。
【００２３】
また、文字配置手段１３は、第４の記憶手段４から座標推定手段１２で推定した認識対象画像中の文字列の全ての文字の中心付近の座標を読み出すとともに第２の記憶手段２から多数の文字侯補を読み出し、認識対象画像中の文字列の全ての文字の中心付近の座標に多数の文字候補を対応付けて文字行列を生成し、出力する。
【００２４】
以下、本発明装置による文字行列の生成方法を説明する。
【００２５】
まず、ＣＰＵ８は、認識対象画像が記憶媒体から読み出されて入力され又は通信媒体を介して他の装置から入力されると、これを第１の記憶手段１に記憶する（ｓ１）。次に、ＣＰＵ８は、その文字侯補生成手段１１により、文字パターンデータベース５から文字の参照パターンを読み出し、該読み出した参照パターンで第１の記憶手段１内を走査・照合し、これを各参照パターンについて繰り返すことにより得られる多数の文字候補であって、文字認識結果の候補文字と、当該侯補文字の中心座標と、当該候補文字の大きさとを含む多数の文字侯補を生成し（ｓ２）、これらを第２の記憶手段２に記憶する（ｓ３）。
【００２６】
図３は前記文字侯補生成手段１１において生成された文字侯補の一例を示すもので、１つの文字候補は「，」で区切られた複数のデータ、即ち左から侯補文字（実際には対応する文字コード）、中心のｘ座標、中心のｙ座標及び大きさからなるデータとして生成される。
【００２７】
次に、ＣＰＵ８は、第１の記憶手段１に記憶された認識対象画像及び入力手段６による入力座標を表示手段７に表示し（ｓ４）、ユーザの操作に基づいて入力手段６から入力された認識対象画像中の文字列の最初と最後の文字の中心付近の座標を第３の記憶手段３に記憶する（ｓ５）。
【００２８】
図４はユーザによって入力された認識対象画像中の文字列の最初と最後の文字の中心付近の座標の一例を示すもので、１つの中心座標は括弧で括られ、「，」で区切られた複数のデータ、即ち中心のｘ座標及び中心のｙ座標からなっている。
【００２９】
認識対象画像中の文字列の最初と最後の文字の中心付近の座標の入力及び記憶が終了する（ｓ６）と、ＣＰＵ８は、その座標推定手段１２により、第３の記憶手段３からユーザが入力した認識対象画像中の文字列の最初と最後の文字の中心付近の座標を読み出すとともに第２の記憶手段２から多数の文字侯補を読み出し、認識対象画像中の文字列の全ての文字の中心付近の座標を推定し（ｓ７）、これらを第４の記憶手段４に記憶する（ｓ８）。
【００３０】
図５は座標推定手段１２を構成する詳細なプログラムに対応するフローチャートであり、以下、これに沿ってｓ７の処理（座標推定処理）を詳細に説明する。
【００３１】
即ち、ＣＰＵ８は、第３の記憶手段３から認識対象画像中の文字列の最初の文字（以下、始点と呼ぶ。）と最後の文字（以下、終点と呼ぶ。）の中心付近の座標を読み出し（ｓ７１）、該始点と終点の中心座標を結ぶ直線のパラメータ、ここでは傾きを計算し（ｓ７２）、この傾きから文字列の方向、即ち文字列中の各文字が画像の左から右へと並んでいる（ｘ方向に沿って座標値が漸増もしくは漸減するように並んでいる）か、画像の上から下へと並んでいる（ｙ方向に沿って座標値が漸増もしくは漸減するように並んでいる）かを判定する（ｓ７３）。
【００３２】
次に、ＣＰＵ８は、第２の記憶手段２に記憶されている全ての文字候補を前記文字列の方向にソートする（ｓ７４）。つまり、文字列の方向が画像の左から右へであれば、文字候補を構成する情報のうちｘ座標の値に着目し、この値が漸増もしくは漸減する順に並び替え、また、文字列の方向が画像の上から下へであれば、文字候補を構成する情報のうちｙ座標の値に着目し、この値が漸増もしくは漸減する順に並び替える。
【００３３】
次に、ＣＰＵ８は、前記並べ替えた各文字候補に対し、遷移元（Ａ）から遷移先（Ｂ）への遷移スコアを
Ｓｃｏｒｅ（Ｂ，Ａ）
と表すものとして、以下のような処理を行う（ｓ７５）。なお、ｓ７５の処理においては、文字候補を構成する情報のうち、中心座標と大きさのみを使用し、候補文字については使用しない。
【００３４】
即ち、第２の記憶手段２より文字候補を１つ読み出し（ｓ７５１）、この際、読み出した文字候補が始点群の文字候補であるか否か（読み出した文字候補の中心座標が始点の中心座標から所定の距離範囲内に属するか否か）を判定し、始点群の文字候補であれば（ｓ７５２）、スタート記号（Ａ）からその候補（Ｂ）への遷移スコアを、スタート記号とその候補とをキーとしてＳｃｏｒｅ（Ｂ，Ａ）に１として設定する（ｓ７５３）。
【００３５】
また、読み出した文字候補が終点群の文字候補であるか否か（読み出した文字候補の中心座標が終点の中心座標から所定の距離範囲内に属するか否か）を判定し、終点群の文字候補であれば（ｓ７５４）、候補（Ａ）からそのエンド記号（Ｂ）への遷移スコアを、その候補とエンド記号とをキーとしてＳｃｏｒｅ（Ｂ，Ａ）に１として設定する（ｓ７５５）。
【００３６】
読み出した文字候補（Ｂとする）が始点群の文字候補以外であれば、既に設定済みの候補のうち終点側の候補（Ａとする）を取り出し、両候補をキーとするＳｃｏｒｅ（Ｂ，Ａ）に、それらの間の配置上のスコア（後述する）を設定する（ｓ７５６）。
【００３７】
これを全ての文字候補について前記並べ替えた順の先頭から行う（ｓ７５７）。
【００３８】
次に、ＣＰＵ８は、候補間の遷移スコアの遷移先の候補から（後側、最後はエンド記号側から）Ａ*サーチ（非特許文献２参照）を用いてスタート記号に向かう方向でスコアの高い上位Ｎ個の候補の並びを得る。これを文字位置の推定結果とする（ｓ７６）。
【００３９】
なお、Ｎ個の候補はスコアの上位のものから利用したり、文字の大きさ毎に選ぶことも可能である。また、探索を成功させるため、ｓ７５で任意の候補（＊）からＡへの遷移スコアＳｃｏｒｅ（Ａ，＊）の存在しないＳｃｏｒｅ（Ｂ，Ａ）、即ち余分な経路を刈り込むことも有効である。また、ｓ７２で算出した直線付近の数画素の範囲にある候補のみに絞って効率的に探索を行うことも可能である。
【００４０】
図６は座標推定手段１２によって推定された認識対象画像中の文字列の全ての文字の中心付近の座標の一例を示すもので、図３と同様、１つの中心座標は括弧で括られ、「，」で区切られた複数のデータ、即ち中心のｘ座標及び中心のｙ座標からなっている。なお、ここでは座標が全体で４つあり、認識対象文字列が４文字であると推定されることを示している。
【００４１】
最後に、ＣＰＵ８は、その文字配置手段１３により、第４の記憶手段４から認識対象画像中の文字列の全ての文字の中心付近の座標を読み出すとともに第２の記憶手段２から多数の文字侯補を読み出し、認識対象画像中の全ての文字の中心付近の座標に多数の文字候補を対応付けて文字行列を生成し、出力する（ｓ９）。
【００４２】
ｓ７における配置のスコアの計算方法には様々な方法があり、以下、それらの具体例を示す。
【００４３】
＜具体例１＞
隣り合う候補の中心座標間の距離ｄと、両候補の大きさ（ｅ１，ｅ２）の和の平均値（ｅ１＋ｅ２）／２とが近ければ高いスコアを与え、それらが遠ければ小さなスコアを与えるような減衰関数を用いることにより、配置のスコアを設定する。
【００４４】
＜具体例２＞
両候補間の大きさ（ｅ１，ｅ２）が近ければ高いスコアを与え、それらが遠ければ小さなスコアを与えるような減衰関数を用いるスコアと、前記具体例１のスコアとの積により、配置のスコアを設定する。
【００４５】
また、両具体例において、例えば以下の減衰関数Ｆ（Ａ，Ｂ）を用いることも可能である。即ち、Ｆ（Ａ，Ｂ）は、Ａ＝Ｂの時に１を返す。Ａ≠Ｂの時は大きい方をＬ、小さい方をＳと設定し、Ｌ／Ｓが２以上であれば０．０１等のごく小さなスコアを与え、それ以外の場合には−Ｋ（Ｌ／Ｓ−１）＋Ｍ（但し、Ｋ＞０）のスコアを与える。
【００４６】
また、ｓ９における対応付け方法には様々な方法があり、以下、それらの具体例を示す。
【００４７】
＜具体例３＞
ここでは、図２のｓ９における対応付け方法として、前記推定した座標を内部に含む文字侯補を対応付ける場合を説明する。
【００４８】
前記推定した座標のうちの１つをＰ＝（Ｘ，Ｙ）とする。ある文字侯補Ｃの中心座標を（Ａ，Ｂ）、その侯補文字の大きさをＷとすると、
Ａ−Ｗ／２≦Ｘ≦Ａ＋Ｗ／２
かつ
Ｂ−Ｗ／２≦Ｙ≦Ｂ＋Ｗ／２
である場合に、Ｐの座標に文字候補Ｃを対応付ける。前記推定した座標の全てについて上記の判定を行い、文字行列を生成する。
【００４９】
なお、ここでは侯補文字の大きさを２分の１倍という倍率で文字の領域の算出を行ったが、文字間の間隔等に配慮して様々な倍率を用いて文字の領域の算出を行うことも可能である。
【００５０】
＜具体例４＞
ここでは、図２のｓ９における対応付け方法として、各文字侯補を、その文字侯補の中心が前記推定された座標のうちの最も近い座標に対応付ける場合を説明する。
【００５１】
前記推定した座標のうちの１つをＰ＝（Ｘ，Ｙ）とする。ある文字侯補Ｃの中心座標を（Ａ，Ｂ）とし、
｜Ｘ−Ａ｜＋｜Ｙ−Ｂ｜
または
（｜Ｘ−Ａ｜2＋｜Ｙ−Ｂ｜2）1/2
でＰとＣとの間の距離を定義する。文字侯補Ｃ毎に上記距離が最小となる座標Ｐを探し、文字行列を生成する。
【００５２】
＜具体例５＞
ここでは、図２のｓ９における対応付け方法として、前記推定した座標の各点において、その座標から一定の許容距離だけ離れた近傍内にだけ、中心が存在する文字侯補を各座標に対応付けることで文字行列を生成する場合を説明する。
【００５３】
前記推定した座標のうちの１つをＰ＝（Ｘ，Ｙ）とする。ある文字侯補Ｃの中心を（Ａ，Ｂ）とし、Ｚを許容距離とすると、
Ｘ−Ｚ≦Ａ≦Ｘ＋Ｚ
かつ
Ｙ−Ｚ≦Ｂ≦Ｙ＋Ｚ
を満たす文字侯補Ｃを座標Ｐと対応付ける。全ての文字侯補Ｃに対して上記の判定を行い、Ｐを探索し、文字行列を生成する。
【００５４】
＜第２の実施の形態＞
図７は本発明の第２の実施の形態、ここでは第１の実施の形態において文字候補のデータとして、候補文字の尤もらしさ（文字らしさ）を示すスコアも用いた形態にかかる文字行列生成装置のプログラムに対応するフローチャートを示すものである。
【００５５】
即ち、図１のＣＰＵ８は、図７中のｓ１１の処理により、文字パターンデータベース５から文字の参照パターンを読み出し、該読み出した参照パターンで第１の記憶手段１内を走査・照合し、これを各参照パターンについて繰り返すことにより得られる多数の文字候補であって、文字認識結果の候補文字と、当該侯補文字の中心座標と、当該候補文字の大きさと、当該候補文字の尤もらしさ（文字らしさ）を示すスコアとを含む多数の文字侯補を生成する文字候補生成手段１１を構成し、また、図７中のｓ１２の処理により、第４の記憶手段４から座標推定手段１２で推定した認識対象画像中の文字列の全ての文字の中心付近の座標を読み出すとともに第２の記憶手段２から多数の文字侯補を読み出し、認識対象画像中の文字列の全ての文字の中心付近の座標に多数の文字候補を対応付けるとともに、同一の文字の中心付近の座標に対応する複数の文字候補の順位を前記スコアを用いて並べ替え（詳細にはスコアの高い文字候補ほど、上位となるように並べ替え）て文字行列を生成し、出力する文字配置手段１３を構成する。なお、その他の構成・動作は第１の実施の形態の場合と同様である。
【００５６】
図８は本実施の形態の文字侯補生成手段１１において生成された文字侯補の一例を示すもので、１つの文字候補は「，」で区切られた複数のデータ、即ち左から侯補文字（実際には対応する文字コード）、中心のｘ座標、中心のｙ座標、大きさ及び候補文字の尤もらしさ（文字らしさ）を示すスコアからなるデータとして生成される。
【００５７】
このように、認識対象画像中の各文字にそれぞれ対応付けられた複数の文字侯補を、侯補文字の尤もらしさ（文字らしさ）を示すスコアの高いものから順に並べることで、上位に正解らしい文字侯補を配置した文字行列を生成することが可能となる。
【００５８】
＜第３の実施の形態＞
前記第２の実施の形態において、認識対象画像中の各文字にそれぞれ対応付けられた複数の文字侯補を、文字らしさのスコアの高いものから順に並べた場合の一定数の文字侯補における候補文字の大きさの、全ての文字に亘る平均値または中央値または最頻値の統計量を算出し、各文字にそれぞれ対応付けられた複数の文字侯補においてその値に近いものから順に高いスコアを与えることによって、もしくは、前記統計量から一定の範囲内の候補文字の大きさを有する文字侯補だけを対象として前記統計量に近いものから順に高いスコアを与え、前記範囲外の候補文字の大きさを有する文字候補を捨てることによって、文字行列を生成することも可能である。
【００５９】
これにより、著しく大きさの異なる文字侯補を避け、より正解に近い文字侯補を文字行列内の上位に配置することが可能となる。
【００６０】
前述した特許発明では、文字ＣjがＸijと認識される確率Ｐ（Ｘij｜Ｃj）を前記特許文献１中の式（４）のように２項分布を用いて近似しているが、この確率値に本第３の実施の形態で得られた文字侯補のスコアを確率にした値を与えることにより、より実際のスコアに基づいた認識が可能となる。
【００６１】
なお、本発明中の第１乃至第４の記憶手段という記載は、どのようなデータを記憶するかという機能上の違いに基づく表現であり、ハードウェア的に４つの個別の記憶装置が必要であるという意味ではない。
【図面の簡単な説明】
【００６２】
【図１】本発明の第１の実施の形態にかかる文字行列生成装置を示すブロック図
【図２】第１の実施の形態にかかる文字行列生成装置のプログラムに対応するフローチャート
【図３】生成された文字侯補の一例を示す説明図
【図４】入力された認識対象画像中の文字列の最初と最後の文字の中心付近の座標の一例を示す説明図
【図５】座標推定手段を構成する詳細なプログラムに対応するフローチャート
【図６】推定された認識対象画像中の文字列の全ての文字の中心付近の座標の一例を示す説明図
【図７】第２の実施の形態にかかる文字行列生成装置のプログラムに対応するフローチャート
【図８】生成された文字侯補の一例を示す説明図
【符号の説明】
【００６３】
１：第１の記憶手段、２：第２の記憶手段、３：第３の記憶手段、４：第４の記憶手段、５：文字パターンデータベース、６：入力手段、７：表示手段、８：中央演算処理装置（ＣＰＵ）、１１：文字候補生成手段、１２：座標推定手段、１３：文字配置手段。
【図１】
2006185065.tif 000003
【図２】
2006185065.tif 000004
【図３】
2006185065.tif 000005
【図４】
2006185065.tif 000006
【図５】
2006185065.tif 000007
【図６】
2006185065.tif 000008
【図７】
2006185065.tif 000009
【図８】
2006185065.tif 000010