(57)【要約】    【課題】認識対象画像が輝度（濃度）やコントラストの相違から文字位置を特定し難いような画像であっても、各文字に対応する複数の文字候補が得られ、適切な文字行列を生成できるようにすること。    【解決手段】文字候補生成手段８により、認識対象画像を記憶した第１の記憶手段１をデータベース４から読み出した文字の参照パターンで走査・照合し、これを各参照パターンについて繰り返すことにより得られる多数の文字候補であって、文字認識結果の候補文字、中心座標及び大きさを含む多数の文字侯補を生成し、これらを文字配置手段９により、ユーザの操作に基づいて入力手段５から入力された認識対象画像中の各文字の中心付近の座標に対応付けて文字行列を生成する。【選択図】図１
2006023987.tif 000002
【特許請求の範囲】
【請求項１】
文字を含む認識対象画像に対して文字認識処理を行い、得られた多数の文字候補のうち、認識対象画像中の同一の文字に対応する複数の文字候補を、各文字毎に並べた文字行列を生成する文字行列生成装置であって、
認識対象の文字の参照パターンを多数格納したデータベースと、
入力された認識対象画像を記憶する第１の記憶手段と、
データベースから文字の参照パターンを読み出し、該読み出した参照パターンで第１の記憶手段内を走査・照合し、これを各参照パターンについて繰り返すことにより得られる多数の文字候補であって、文字認識結果の候補文字と、当該侯補文字の中心座標と、当該候補文字の大きさとを少なくとも含む多数の文字侯補を生成する文字侯補生成手段と、
前記生成された多数の文字候補を記憶する第２の記憶手段と、
ユーザの操作に基づいて認識対象画像中の各文字の中心付近の座標を入力するための入力手段と、
第１の記憶手段に記憶された認識対象画像及び入力手段による入力座標を表示するための表示手段と、
前記入力手段によって入力された認識対象画像中の各文字の中心付近の座標を記憶する第３の記憶手段と、
第３の記憶手段からユーザが入力した認識対象画像中の各文字の中心付近の座標を読み出すとともに第２の記憶手段から多数の文字侯補を読み出し、認識対象画像中の各文字の中心付近の座標に多数の文字候補を対応付けて文字行列を生成する文字配置手段とを備えた
ことを特徴とする文字行列生成装置。
【請求項２】
データベースから文字の参照パターンを読み出し、該読み出した参照パターンで第１の記憶手段内を走査・照合し、これを各参照パターンについて繰り返すことにより得られる多数の文字候補であって、文字認識結果の候補文字と、当該侯補文字の中心座標と、当該候補文字の大きさと、当該候補文字の尤もらしさを示すスコアとを少なくとも含む多数の文字侯補を生成する文字侯補生成手段と、
第３の記憶手段からユーザが入力した認識対象画像中の各文字の中心付近の座標を読み出すとともに第２の記憶手段から多数の文字侯補を読み出し、認識対象画像中の各文字の中心付近の座標に多数の文字候補を対応付けるとともに、同一の文字の中心付近の座標に対応する複数の文字候補の順位を前記スコアを用いて並べ替えて文字行列を生成する文字配置手段とを備えた
ことを特徴とする請求項１に記載の文字行列生成装置。
【請求項３】
文字を含む認識対象画像に対して文字認識処理を行い、得られた多数の文字候補のうち、認識対象画像中の同一の文字に対応する複数の文字候補を、各文字毎に並べた文字行列を生成する文字行列生成装置であって、
認識対象の文字の参照パターンを多数格納したデータベースと、
入力された認識対象画像を記憶する第１の記憶手段と、
ユーザの操作に基づいて認識対象画像中の各文字の中心付近の座標を入力するための入力手段と、
第１の記憶手段に記憶された認識対象画像及び入力手段による入力座標を表示するための表示手段と、
前記入力手段によって入力された認識対象画像中の各文字の中心付近の座標を記憶する第２の記憶手段と、
データベースから文字の参照パターンを読み出すとともに第２の記憶手段からユーザが入力した認識対象画像中の各文字の中心付近の座標を読み出し、該読み出した参照パターンで第１の記憶手段内のユーザが入力した認識対象画像中の各文字の中心付近を走査・照合し、これを各参照パターンについて繰り返すことにより得られる多数の文字候補であって、文字認識結果の候補文字と、当該侯補文字の中心座標と、当該候補文字の大きさとを少なくとも含む多数の文字侯補を生成する文字候補生成手段と、
前記生成された多数の文字候補を記憶する第３の記憶手段と、
第２の記憶手段からユーザが入力した認識対象画像中の各文字の中心付近の座標を読み出すとともに第３の記憶手段から多数の文字侯補を読み出し、認識対象画像中の各文字の中心付近の座標に多数の文字候補を対応付けて文字行列を生成する文字配置手段とを備えた
ことを特徴とする文字行列生成装置。
【請求項４】
データベースから文字の参照パターンを読み出すとともに第２の記憶手段からユーザが入力した認識対象画像中の各文字の中心付近の座標を読み出し、該読み出した参照パターンで第１の記憶手段内のユーザが入力した認識対象画像中の各文字の中心付近を走査・照合し、これを各参照パターンについて繰り返すことにより得られる多数の文字候補であって、文字認識結果の候補文字と、当該侯補文字の中心座標と、当該候補文字の大きさと、当該候補文字の尤もらしさを示すスコアとを少なくとも含む多数の文字侯補を生成する文字候補生成手段と、
第２の記憶手段からユーザが入力した認識対象画像中の各文字の中心付近の座標を読み出すとともに第３の記憶手段から多数の文字侯補を読み出し、認識対象画像中の各文字の中心付近の座標に多数の文字候補を対応付けるとともに、同一の文字の中心付近の座標に対応する複数の文字候補の順位を前記スコアを用いて並べ替えて文字行列を生成する文字配置手段を備えた
ことを特徴とする請求項３に記載の文字行列生成装置。
【請求項５】
文字を含む認識対象画像に対して文字認識処理を行い、得られた多数の文字候補のうち、認識対象画像中の同一の文字に対応する複数の文字候補を、各文字毎に並べた文字行列を生成する文字行列生成方法であって、
認識対象の文字の参照パターンを多数格納したデータベースとともに、第１の記憶手段、第２の記憶手段、第３の記憶手段、表示手段及び入力手段を備えた計算機とを用い、
当該計算機が、
入力された認識対象画像を第１の記憶手段に記憶する工程と、
データベースから文字の参照パターンを読み出し、該読み出した参照パターンで第１の記憶手段内を走査・照合し、これを各参照パターンについて繰り返すことにより得られる多数の文字候補であって、文字認識結果の候補文字と、当該侯補文字の中心座標と、当該候補文字の大きさとを少なくとも含む多数の文字侯補を生成する工程と、
前記生成した多数の文字侯補を第２の記憶手段に記憶する工程と、
第１の記憶手段に記憶された認識対象画像及び入力手段による入力座標を表示手段に表示する工程と、
ユーザの操作に基づいて入力手段から入力された認識対象画像中の各文字の中心付近の座標を第３の記憶手段に記憶する工程と、
第３の記憶手段からユーザが入力した認識対象画像中の各文字の中心付近の座標を読み出すとともに第２の記憶手段から多数の文字侯補を読み出し、認識対象画像中の各文字の中心付近の座標に多数の文字候補を対応付けて文字行列を生成する工程とを行う
ことを特徴とする文字行列生成方法。
【請求項６】
データベースから文字の参照パターンを読み出し、該読み出した参照パターンで第１の記憶手段内を走査・照合し、これを各参照パターンについて繰り返すことにより得られる多数の文字候補であって、文字認識結果の候補文字と、当該侯補文字の中心座標と、当該候補文字の大きさと、当該候補文字の尤もらしさを示すスコアとを少なくとも含む多数の文字侯補を生成する工程と、
第３の記憶手段からユーザが入力した認識対象画像中の各文字の中心付近の座標を読み出すとともに第２の記憶手段から多数の文字侯補を読み出し、認識対象画像中の各文字の中心付近の座標に多数の文字候補を対応付けるとともに、同一の文字の中心付近の座標に対応する複数の文字候補の順位を前記スコアを用いて並べ替えて文字行列を生成する工程とを行う
ことを特徴とする請求項５に記載の文字行列生成方法。
【請求項７】
文字を含む認識対象画像に対して文字認識処理を行い、得られた多数の文字候補のうち、認識対象画像中の同一の文字に対応する複数の文字候補を、各文字毎に並べた文字行列を生成する文字行列生成方法であって、
認識対象の文字の参照パターンを多数格納したデータベースとともに、第１の記憶手段、第２の記憶手段、第３の記憶手段、表示手段及び入力手段を備えた計算機とを用い、
当該計算機が、
入力された認識対象画像を第１の記憶手段に記憶する工程と、
第１の記憶手段に記憶された認識対象画像及び入力手段による入力座標を表示手段に表示する工程と、
ユーザの操作に基づいて入力手段から入力された認識対象画像中の各文字の中心付近の座標を第２の記憶手段に記憶する工程と、
データベースから文字の参照パターンを読み出すとともに第２の記憶手段からユーザが入力した認識対象画像中の各文字の中心付近の座標を読み出し、該読み出した参照パターンで第１の記憶手段内のユーザが入力した認識対象画像中の各文字の中心付近を走査・照合し、これを各参照パターンについて繰り返すことにより得られる多数の文字候補であって、文字認識結果の候補文字と、当該侯補文字の中心座標と、当該候補文字の大きさとを少なくとも含む多数の文字侯補を生成する工程と、
前記生成した多数の文字侯補を第３の記憶手段に記憶する工程と、
第２の記憶手段からユーザが入力した認識対象画像中の各文字の中心付近の座標を読み出すとともに第３の記憶手段から多数の文字侯補を読み出し、認識対象画像中の各文字の中心付近の座標に多数の文字候補を対応付けて文字行列を生成する工程とを行う
ことを特徴とする文字行列生成方法。
【請求項８】
データベースから文字の参照パターンを読み出すとともに第２の記憶手段からユーザが入力した認識対象画像中の各文字の中心付近の座標を読み出し、該読み出した参照パターンで第１の記憶手段内のユーザが入力した認識対象画像中の各文字の中心付近を走査・照合し、これを各参照パターンについて繰り返すことにより得られる多数の文字候補であって、文字認識結果の候補文字と、当該侯補文字の中心座標と、当該候補文字の大きさと、当該候補文字の尤もらしさを示すスコアとを少なくとも含む多数の文字侯補を生成する工程と、
第２の記憶手段からユーザが入力した認識対象画像中の各文字の中心付近の座標を読み出すとともに第３の記憶手段から多数の文字侯補を読み出し、認識対象画像中の各文字の中心付近の座標に多数の文字候補を対応付けるとともに、同一の文字の中心付近の座標に対応する複数の文字候補の順位を前記スコアを用いて並べ替えて文字行列を生成する工程を行う
ことを特徴とする請求項７に記載の文字行列生成方法。
【請求項９】
文字を含む認識対象画像に対して文字認識処理を行い、得られた多数の文字候補のうち、認識対象画像中の同一の文字に対応する複数の文字候補を、各文字毎に並べた文字行列を生成する文字行列生成プログラムであって、
認識対象の文字の参照パターンを多数格納したデータベースとともに、第１の記憶手段、第２の記憶手段、第３の記憶手段、表示手段及び入力手段を備えた計算機に、
入力された認識対象画像を第１の記憶手段に記憶する工程と、
データベースから文字の参照パターンを読み出し、該読み出した参照パターンで第１の記憶手段内を走査・照合し、これを各参照パターンについて繰り返すことにより得られる多数の文字候補であって、文字認識結果の候補文字と、当該侯補文字の中心座標と、当該候補文字の大きさとを少なくとも含む多数の文字侯補を生成する工程と、
前記生成した多数の文字侯補を第２の記憶手段に記憶する工程と、
第１の記憶手段に記憶された認識対象画像及び入力手段による入力座標を表示手段に表示する工程と、
ユーザの操作に基づいて入力手段から入力された認識対象画像中の各文字の中心付近の座標を第３の記憶手段に記憶する工程と、
第３の記憶手段からユーザが入力した認識対象画像中の各文字の中心付近の座標を読み出すとともに第２の記憶手段から多数の文字侯補を読み出し、認識対象画像中の各文字の中心付近の座標に多数の文字候補を対応付けて文字行列を生成する工程とを実行させる
ことを特徴とする文字行列生成プログラム。
【請求項１０】
データベースから文字の参照パターンを読み出し、該読み出した参照パターンで第１の記憶手段内を走査・照合し、これを各参照パターンについて繰り返すことにより得られる多数の文字候補であって、文字認識結果の候補文字と、当該侯補文字の中心座標と、当該候補文字の大きさと、当該候補文字の尤もらしさを示すスコアとを少なくとも含む多数の文字侯補を生成する工程と、
第３の記憶手段からユーザが入力した認識対象画像中の各文字の中心付近の座標を読み出すとともに第２の記憶手段から多数の文字侯補を読み出し、認識対象画像中の各文字の中心付近の座標に多数の文字候補を対応付けるとともに、同一の文字の中心付近の座標に対応する複数の文字候補の順位を前記スコアを用いて並べ替えて文字行列を生成する工程とを実行させる
ことを特徴とする請求項９に記載の文字行列生成プログラム。
【請求項１１】
文字を含む認識対象画像に対して文字認識処理を行い、得られた多数の文字候補のうち、認識対象画像中の同一の文字に対応する複数の文字候補を、各文字毎に並べた文字行列を生成する文字行列生成プログラムであって、
認識対象の文字の参照パターンを多数格納したデータベースとともに、第１の記憶手段、第２の記憶手段、第３の記憶手段、表示手段及び入力手段を備えた計算機に、
入力された認識対象画像を第１の記憶手段に記憶する工程と、
第１の記憶手段に記憶された認識対象画像及び入力手段による入力座標を表示手段に表示する工程と、
ユーザの操作に基づいて入力手段から入力された認識対象画像中の各文字の中心付近の座標を第２の記憶手段に記憶する工程と、
データベースから文字の参照パターンを読み出すとともに第２の記憶手段からユーザが入力した認識対象画像中の各文字の中心付近の座標を読み出し、該読み出した参照パターンで第１の記憶手段内のユーザが入力した認識対象画像中の各文字の中心付近を走査・照合し、これを各参照パターンについて繰り返すことにより得られる多数の文字候補であって、文字認識結果の候補文字と、当該侯補文字の中心座標と、当該候補文字の大きさとを少なくとも含む多数の文字侯補を生成する工程と、
前記生成した多数の文字侯補を第３の記憶手段に記憶する工程と、
第２の記憶手段からユーザが入力した認識対象画像中の各文字の中心付近の座標を読み出すとともに第３の記憶手段から多数の文字侯補を読み出し、認識対象画像中の各文字の中心付近の座標に多数の文字候補を対応付けて文字行列を生成する工程とを実行させる
ことを特徴とする文字行列生成プログラム。
【請求項１２】
データベースから文字の参照パターンを読み出すとともに第２の記憶手段からユーザが入力した認識対象画像中の各文字の中心付近の座標を読み出し、該読み出した参照パターンで第１の記憶手段内のユーザが入力した認識対象画像中の各文字の中心付近を走査・照合し、これを各参照パターンについて繰り返すことにより得られる多数の文字候補であって、文字認識結果の候補文字と、当該侯補文字の中心座標と、当該候補文字の大きさと、当該候補文字の尤もらしさを示すスコアとを少なくとも含む多数の文字侯補を生成する工程と、
第２の記憶手段からユーザが入力した認識対象画像中の各文字の中心付近の座標を読み出すとともに第３の記憶手段から多数の文字侯補を読み出し、認識対象画像中の各文字の中心付近の座標に多数の文字候補を対応付けるとともに、同一の文字の中心付近の座標に対応する複数の文字候補の順位を前記スコアを用いて並べ替えて文字行列を生成する工程を実行させる
ことを特徴とする請求項１１に記載の文字行列生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文字を含む認識対象画像に対して文字認識処理を行い、得られた多数の文字候補のうち、認識対象画像中の同一の文字に対応する複数の文字候補を、各文字毎に並べた文字行列を生成する技術に関する。
【背景技術】
【０００２】
文字を含む認識対象画像から当該文字を認識する場合、一般に、認識対象画像中から１つ１つの文字に対応する文字位置（なお、ここでいう文字位置とは一定以上の広がりを持つ領域を意味する。）を特定し、その上で各文字位置の画像に対して認識処理を行っていた。この際、１つの文字位置の画像に対し、認識結果として第１位の文字侯補、第２位の文字侯補、第３位の文字侯補、…の複数の文字候補が得られ、ユーザはそのうちの任意の文字侯補を正解文字として選択可能であった。
【０００３】
一方、前述した文字位置単位の画像に対する認識処理（狭義の文字認識処理）とは別に、得られた文字候補同士の様々な組み合わせに対して言語としての解析処理を施すことにより、文字候補の順位の変更等を含む、文字認識の誤り検出・訂正を可能とする提案が種々なされている。
【０００４】
そのようなものの一つに、文字認識処理によって得られた多数の候補文字のうち、認識対象画像中の同一の文字に対応する複数の候補文字を、各文字毎に並べた文字行列（文字候補行列）を入力とし、これを単語辞書と各文字に対応する文字候補間の文字連鎖確率や文字候補を含む単語の連鎖確率などの言語モデルとを用いて探索することによって、精度の高い文字認識結果を得ることができるようにした特許発明がある（特許文献１参照）。
【特許文献１】特許第３３０９１７４号公報（文字認識方法及び装置）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、前述した文字位置は、文字を含む認識対象画像が、印刷文字を含む書面をスキャナ等で取り込むことによって得られた画像であれば、文字の部分とそれ以外、即ち地の部分との間の輝度（濃度）やコントラストの相違から特定、例えば全画像に対し横方向に文字を構成する画素（通常、黒画素）の数を数えたヒストグラムを作成して行を特定し、全画像もしくは前記特定した各行の画像に対し縦方向に黒画素の数を数えたヒストグラムを作成して列を特定することによって、比較的正確に特定することが可能である。その結果、各文字位置の画像に対する認識結果として複数の文字侯補がそれぞれ得られ、前記特許発明での入力となる文字行列を生成でき、精度の高い文字認識が実現可能であった。
【０００６】
しかし、文字を含む認識対象画像が、文字が記された標識や看板等を含む景観をディジタルカメラ等によって撮影した画像であるような場合、文字の部分とそれ以外、ここでは背景の部分との間の輝度（濃度）やコントラストの相違から文字位置を正確に特定することが困難であり、その結果、これらの画像に対しては本来、文字が存在しない位置の画像からも文字候補が多数得られ、適切な文字行列を生成できないという問題があった。
【０００７】
本発明は、上記の点に鑑みてなされたもので、文字を含む認識対象画像が輝度（濃度）やコントラストの相違から１つ１つの文字に対応する文字位置を特定し難いような画像であっても、各文字に対応する複数の文字候補が得られ、適切な文字行列を生成できる文字行列生成装置、その方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために本発明の文字行列生成装置は、文字を含む認識対象画像に対して文字認識処理を行い、得られた多数の文字候補のうち、認識対象画像中の同一の文字に対応する複数の文字候補を、各文字毎に並べた文字行列を生成する文字行列生成装置であって、認識対象の文字の参照パターンを多数格納したデータベースと、入力された認識対象画像を記憶する第１の記憶手段と、データベースから文字の参照パターンを読み出し、該読み出した参照パターンで第１の記憶手段内を走査・照合し、これを各参照パターンについて繰り返すことにより得られる多数の文字候補であって、文字認識結果の候補文字と、当該侯補文字の中心座標と、当該候補文字の大きさとを少なくとも含む多数の文字侯補を生成する文字侯補生成手段と、前記生成された多数の文字候補を記憶する第２の記憶手段と、ユーザの操作に基づいて認識対象画像中の各文字の中心付近の座標を入力するための入力手段と、第１の記憶手段に記憶された認識対象画像及び入力手段による入力座標を表示するための表示手段と、前記入力手段によって入力された認識対象画像中の各文字の中心付近の座標を記憶する第３の記憶手段と、第３の記憶手段からユーザが入力した認識対象画像中の各文字の中心付近の座標を読み出すとともに第２の記憶手段から多数の文字侯補を読み出し、認識対象画像中の各文字の中心付近の座標に多数の文字候補を対応付けて文字行列を生成する文字配置手段とを備えたことを特徴とする。
【０００９】
本発明では、侯補文字、当該侯補文字の中心座標及びその大きさだけでなく、その文字らしさを示すスコアをも文字侯補に与えることのできる文字侯補生成手段を用いることも可能である。
【００１０】
前記文字侯補生成手段において、認識対象画像の任意の位置における文字侯補が多数生成されるため、正解侯補の漏れは少ない。しかし、大量に生成されるため、誤りにまぎれた正解だけを見つけることが困難である。
【００１１】
本発明では、表示手段及び入力手段によって、認識対象画像中の各文字の中心のおおよその座標位置をユーザ（オペレータ）が指定し、該指定された座標の数から文字の数が指定されることになる。座標の指定はマウス操作、ペン操作、キー操作によって実現が可能である。
【００１２】
文字配置手段では、それぞれの文字侯補を入力手段で指定された座標に対応付けることにより、同一の文字に対応する複数の文字候補を、各文字毎に並べた文字行列を生成する。
【００１３】
この文字行列を入力とすれば、前述した特許発明によって、より精度の高い文字認識結果を得ることが可能となる。
【発明の効果】
【００１４】
このように、本発明によれば、ユーザによって入力された認識対象画像中の各文字の中心付近の座標と多数の文字侯補から、さらに得られる場合には文字侯補のスコアをも加味して文字行列を生成することができ、その結果、より精度の高い文字認識結果が得られるという効果がある。
【発明を実施するための最良の形態】
【００１５】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００１６】
＜第１の実施の形態＞
図１は本発明の第１の実施の形態にかかる文字行列生成装置を示すもので、図中、１は第１の記憶手段、２は第２の記憶手段、３は第３の記憶手段、４は文字パターンデータベース、５は入力手段、６は表示手段、７は中央演算処理装置（ＣＰＵ）である。
【００１７】
第１の記憶手段１は、記憶媒体から読み出されて入力され又は通信媒体を介して他の装置（デジタルカメラ等）から入力される、認識対象画像を記憶する。第２の記憶手段２は、後述する多数の文字候補を記憶する。第３の記憶手段３は、入力手段５によって入力される認識対象画像中の各文字の中心付近の座標を記憶する。
【００１８】
文字パターンデータベース４は、認識対象の文字の参照パターンを多数格納している。入力手段５は、ユーザの操作に基づいて認識対象画像中の各文字の中心付近の座標を入力するためのものであり、マウスやデジタイザ、あるいはキーボード等が用いられる。表示手段６は、第１の記憶手段１に記憶された認識対象画像及び入力手段５による入力座標を表示する（詳細には、認識対象画像に対する入力座標位置を表すカーソル等を表示する）ためのものであり、ＣＲＴや液晶ディスプレイ等が用いられる。
【００１９】
ＣＰＵ７は、図２にフローチャートで示すプログラムに従って前述した各部を制御するとともに、この際、文字候補生成手段８及び文字配置手段９を構成する。
【００２０】
文字侯補生成手段８は、文字パターンデータベース４から文字の参照パターンを読み出し、該読み出した参照パターンで第１の記憶手段１内を走査・照合し、これを各参照パターンについて繰り返すことにより得られる多数の文字候補であって、文字認識結果の候補文字と、当該侯補文字の中心座標と、当該候補文字の大きさとを含む多数の文字侯補を生成する。
【００２１】
また、文字配置手段９は、第３の記憶手段３からユーザが入力した認識対象画像中の各文字の中心付近の座標を読み出すとともに第２の記憶手段２から多数の文字侯補を読み出し、認識対象画像中の各文字の中心付近の座標に多数の文字候補を対応付けて文字行列を生成し、出力する。
【００２２】
以下、本発明装置による文字行列の生成方法を説明する。
【００２３】
まず、ＣＰＵ７は、認識対象画像が記憶媒体から読み出されて入力され又は通信媒体を介して他の装置から入力されると、これを第１の記憶手段１に記憶する（ｓ１）。次に、ＣＰＵ７は、その文字侯補生成手段８により、文字パターンデータベース４から文字の参照パターンを読み出し、該読み出した参照パターンで第１の記憶手段１内を走査・照合し、これを各参照パターンについて繰り返すことにより得られる多数の文字候補であって、文字認識結果の候補文字と、当該侯補文字の中心座標と、当該候補文字の大きさとを含む多数の文字侯補を生成し（ｓ２）、これらを第２の記憶手段２に記憶する（ｓ３）。
【００２４】
図３は、前記文字侯補生成手段８において生成された文字侯補の一例を示すもので、１つの文字候補は「，」で区切られた複数のデータ、即ち左から侯補文字（実際には対応する文字コード）、中心のｘ座標、中心のｙ座標及び大きさからなるデータとして生成される。
【００２５】
次に、ＣＰＵ７は、第１の記憶手段１に記憶された認識対象画像及び入力手段５による入力座標を表示手段６に表示し（ｓ４）、ユーザの操作に基づいて入力手段５から入力された認識対象画像中の各文字の中心付近の座標を第３の記憶手段３に記憶する（ｓ５）。
【００２６】
図４は、ユーザによって入力された認識対象画像中の各文字の中心付近の座標の一例を示すもので、１つの中心座標は括弧で括られ、「，」で区切られた複数のデータ、即ち中心のｘ座標及び中心のｙ座標からなっている。なお、ここでは座標が４つあり、認識対象文字が４文字であることを示している。
【００２７】
認識対象画像中の全ての文字の中心付近の座標の入力及び記憶が終了する（ｓ６）と、ＣＰＵ７は、その文字配置手段９により、第３の記憶手段３からユーザが入力した認識対象画像中の各文字の中心付近の座標を読み出すとともに第２の記憶手段２から多数の文字侯補を読み出し、認識対象画像中の各文字の中心付近の座標に多数の文字候補を対応付けて文字行列を生成し、出力する（ｓ７）。
【００２８】
ｓ７における対応付け方法には様々な方法があり、以下、それらの具体例を示す。
【００２９】
＜具体例１＞
ここでは、図２のｓ７における対応付け方法として、ユーザが指定した座標を内部に含む文字侯補を対応付ける場合を説明する。
【００３０】
ユーザが指定した座標のうちの１つをＰ＝（Ｘ，Ｙ）とする。ある文字侯補Ｃの中心座標を（Ａ，Ｂ）、その侯補文字の大きさをＷとすると、
Ａ−Ｗ／２≦Ｘ≦Ａ＋Ｗ／２
かつ
Ｂ−Ｗ／２≦Ｙ≦Ｂ＋Ｗ／２
である場合に、Ｐの座標に文字候補Ｃを対応付ける。ユーザが指定した座標の全てについて上記の判定を行い、文字行列を生成する。
【００３１】
なお、ここでは侯補文字の大きさを２分の１倍という倍率で文字の領域の算出を行ったが、文字間の間隔等に配慮して様々な倍率を用いて文字の領域の算出を行うことも可能である。
【００３２】
＜具体例２＞
ここでは、図２のｓ７における対応付け方法として、各文字侯補を、その文字侯補の中心がユーザによって指定された座標のうちの最も近い座標に対応付ける場合を説明する。
【００３３】
ユーザが指定した座標のうちの１つをＰ＝（Ｘ，Ｙ）とする。ある文字侯補Ｃの中心座標を（Ａ，Ｂ）とし、
｜Ｘ−Ａ｜＋｜Ｙ−Ｂ｜
または
（｜Ｘ−Ａ｜2＋｜Ｙ−Ｂ｜2）1/2
でＰとＣとの間の距離を定義する。文字侯補Ｃ毎に上記距離が最小となる座標Ｐを探し、文字行列を生成する。
【００３４】
＜具体例３＞
ここでは、図２のｓ７における対応付け方法として、前記入力座標の各点において、その座標から一定の許容距離だけ離れた近傍内にだけ、中心が存在する文字侯補を各座標に対応付けることで文字行列を生成する場合を説明する。
【００３５】
ユーザが指定した座標のうちの１つをＰ＝（Ｘ，Ｙ）とする。ある文字侯補Ｃの中心を（Ａ，Ｂ）とし、Ｚを許容距離とすると、
Ｘ−Ｚ≦Ａ≦Ｘ＋Ｚ
かつ
Ｙ−Ｚ≦Ｂ≦Ｙ＋Ｚ
を満たす文字侯補Ｃを座標Ｐと対応付ける。全ての文字侯補Ｃに対して上記の判定を行い、Ｐを探索し、文字行列を生成する。
【００３６】
＜第２の実施の形態＞
図５は本発明の第２の実施の形態、ここでは第１の実施の形態において文字候補のデータとして、候補文字の尤もらしさ（文字らしさ）を示すスコアも用いた形態にかかる文字行列生成装置のプログラムに対応するフローチャートを示すものである。
【００３７】
即ち、図１のＣＰＵ７は、図５中のｓ１１の処理により、文字パターンデータベース４から文字の参照パターンを読み出し、該読み出した参照パターンで第１の記憶手段１内を走査・照合し、これを各参照パターンについて繰り返すことにより得られる多数の文字候補であって、文字認識結果の候補文字と、当該侯補文字の中心座標と、当該候補文字の大きさと、当該候補文字の尤もらしさ（文字らしさ）を示すスコアとを含む多数の文字侯補を生成する文字候補生成手段８を構成し、また、図５中のｓ１２の処理により、第３の記憶手段３からユーザが入力した認識対象画像中の各文字の中心付近の座標を読み出すとともに第２の記憶手段２から多数の文字侯補を読み出し、認識対象画像中の各文字の中心付近の座標に多数の文字候補を対応付けるとともに、同一の文字の中心付近の座標に対応する複数の文字候補の順位を前記スコアを用いて並べ替え（詳細にはスコアの高い文字候補ほど、上位となるように並べ替え）て文字行列を生成し、出力する文字配置手段９を構成する。なお、その他の構成・動作は第１の実施の形態の場合と同様である。
【００３８】
図６は、本実施の形態の文字侯補生成手段８において生成された文字侯補の一例を示すもので、１つの文字候補は「，」で区切られた複数のデータ、即ち左から侯補文字（実際には対応する文字コード）、中心のｘ座標、中心のｙ座標、大きさ及び候補文字の尤もらしさ（文字らしさ）を示すスコアからなるデータとして生成される。
【００３９】
このように、認識対象画像中の各文字にそれぞれ対応付けられた複数の文字侯補を、侯補文字の尤もらしさ（文字らしさ）を示すスコアの高いものから順に並べることで、上位に正解らしい文字侯補を配置した文字行列を生成することが可能となる。
【００４０】
＜第３の実施の形態＞
前記第２の実施の形態において、認識対象画像中の各文字にそれぞれ対応付けられた複数の文字侯補を、文字らしさのスコアの高いものから順に並べた場合の一定数の文字侯補における候補文字の大きさの、全ての文字に亘る平均値または中央値または最頻値の統計量を算出し、各文字にそれぞれ対応付けられた複数の文字侯補においてその値に近いものから順に高いスコアを与えることによって、もしくは、前記統計量から一定の範囲内の候補文字の大きさを有する文字侯補だけを対象として前記統計量に近いものから順に高いスコアを与え、前記範囲外の候補文字の大きさを有する文字候補を捨てることによって、文字行列を生成することも可能である。
【００４１】
これにより、著しく大きさの異なる文字侯補を避け、より正解に近い文字侯補を文字行列内の上位に配置することが可能となる。
【００４２】
前述した特許発明では、文字ＣjがＸijと認識される確率Ｐ（Ｘij｜Ｃj）を前記特許文献１中の式（４）のように２項分布を用いて近似しているが、この確率値に本第３の実施の形態で得られた文字侯補のスコアを確率にした値を与えることにより、より実際のスコアに基づいた認識が可能となる。
【００４３】
＜第４の実施の形態＞
図７は本発明の第４の実施の形態にかかる文字行列生成装置を示すもので、図中、１１は第１の記憶手段、１２は第２の記憶手段、１３は第３の記憶手段、１４は文字パターンデータベース、１５は入力手段、１６は表示手段、１７は中央演算処理装置（ＣＰＵ）である。
【００４４】
第１の記憶手段１１は、記憶媒体から読み出されて入力され又は通信媒体を介して他の装置（デジタルカメラ等）から入力される、認識対象画像を記憶する。第２の記憶手段１２は、入力手段５によって入力される認識対象画像中の各文字の中心付近の座標を記憶する。第３の記憶手段１３は、後述する多数の文字候補を記憶する。
【００４５】
文字パターンデータベース１４は、認識対象の文字の参照パターンを多数格納している。入力手段１５は、ユーザの操作に基づいて認識対象画像中の各文字の中心付近の座標を入力するためのものであり、マウスやデジタイザ、あるいはキーボード等が用いられる。表示手段１６は、第１の記憶手段１に記憶された認識対象画像及び入力手段５による入力座標を表示する（詳細には、認識対象画像に対する入力座標位置を表すカーソル等を表示する）ためのものであり、ＣＲＴや液晶ディスプレイ等が用いられる。
【００４６】
ＣＰＵ１７は、図８にフローチャートで示すプログラムに従って前述した各部を制御するとともに、この際、文字候補生成手段１８及び文字配置手段１９を構成する。
【００４７】
文字侯補生成手段１８は、文字パターンデータベース４から文字の参照パターンを読み出すとともに第２の記憶手段１２からユーザが入力した認識対象画像中の各文字の中心付近の座標を読み出し、該読み出した参照パターンで第１の記憶手段１１内のユーザが入力した認識対象画像中の各文字の中心付近を走査・照合し、これを各参照パターンについて繰り返すことにより得られる多数の文字候補であって、文字認識結果の候補文字と、当該侯補文字の中心座標と、当該候補文字の大きさとを含む多数の文字侯補を生成する。
【００４８】
また、文字配置手段１９は、第２の記憶手段１２からユーザが入力した認識対象画像中の各文字の中心付近の座標を読み出すとともに第３の記憶手段１３から多数の文字侯補を読み出し、認識対象画像中の各文字の中心付近の座標に多数の文字候補を対応付けて文字行列を生成し、出力する。
【００４９】
以下、本発明装置による文字行列の生成方法を説明する。
【００５０】
まず、ＣＰＵ１７は、認識対象画像が記憶媒体から読み出されて入力され又は通信媒体を介して他の装置から入力されると、これを第１の記憶手段１１に記憶する（ｓ２１）。
【００５１】
図９は文字位置の特定が困難な認識対象画像の一例、ここでは黄色と黒の縞模様（但し、図面では黄色を白抜きで表示している。）を背景として「頭上注意」の文字が書かれている場合を示すものである。
【００５２】
次に、ＣＰＵ１７は、第１の記憶手段１１に記憶された認識対象画像及び入力手段１５による入力座標を表示手段１６に表示し（ｓ２２）、ユーザの操作に基づいて入力手段１５から入力された認識対象画像中の文字の中心付近の座標を第２の記憶手段１２に記憶する（ｓ２３）。
【００５３】
図１０は、ユーザによって入力された認識対象画像中の各文字、ここでは前述した「頭上注意」の各文字「頭」、「上」、「注」、「意」の中心付近の座標の一例を示すもので、１つの中心座標は括弧で括られ、「，」で区切られた複数のデータ、即ち中心のｘ座標及び中心のｙ座標からなっている。なお、ここでは座標が４つあり、認識対象文字が４文字であることを示している。
【００５４】
認識対象画像中の全ての文字の中心付近の座標の入力及び記憶が終了する（ｓ２４）と、ＣＰＵ１７は、その文字侯補生成手段１８により、文字パターンデータベース１４から文字の参照パターンを読み出すとともに第２の記憶手段１２からユーザが入力した認識対象画像中の各文字の中心付近の座標を読み出し、該読み出した参照パターンで第１の記憶手段１１内のユーザが入力した認識対象画像中の各文字の中心付近を走査・照合し、これを各参照パターンについて繰り返すことにより得られる多数の文字候補であって、文字認識結果の候補文字と、当該侯補文字の中心座標と、当該候補文字の大きさとを含む多数の文字侯補を生成し（ｓ２５）、これらを第３の記憶手段１３に記憶する（ｓ２６）。
【００５５】
図１１は、前記文字侯補生成手段１８において生成された文字侯補の一例を、その中心座標を表す黒丸からの引き出し線とともに図８の認識対象画像に重ねて示したものである。図示するように、１つの文字に対して中心座標がわずかに異なる多数の文字侯補が生成される。
【００５６】
最後に、ＣＰＵ１７は、その文字配置手段１９により、第２の記憶手段１２からユーザが入力した認識対象画像中の各文字の中心付近の座標を読み出すとともに第３の記憶手段１３から多数の文字侯補を読み出し、認識対象画像中の各文字の中心付近の座標に多数の文字候補を対応付けて文字行列を生成し、出力する（ｓ２７）。なお、ｓ２７における対応付け方法としては第１の実施の形態の場合と同様、具体例１〜３で説明したような方法を用いることができる。
【００５７】
図１２は、前記文字配置手段１９において生成された文字行列の一例（但し、ここでは候補文字のみ）を示すもので、左からユーザによって指定された認識対象画像中の文字である「頭」、「上」、「注」、「意」にそれぞれ対応付けられた文字侯補の列が示されている。ここでは各列に３つの文字侯補を記載しているが、３個に限らず任意の数の文字侯補を含めることが可能である。
【００５８】
このような文字行列を前述した特許発明の入力として与えることにより、「頭上注意」の並びが上位の侯補として浮上することにより、より精度の高い文字認識結果が得られるという効果がある。
【００５９】
このように、ユーザが指定した座標付近の文字侯補のみを文字候補生成手段１８で生成し、得られた文字候補を前記ユーザ指定の座標に対応付けるという順序をとることにより、無駄な文字侯補の生成を抑制し、効率的な文字侯補の生成が可能である。
【００６０】
＜第５の実施の形態＞
図１３は本発明の第５の実施の形態、ここでは第４の実施の形態において文字候補のデータとして、候補文字の尤もらしさ（文字らしさ）を示すスコアも用いた形態にかかる文字行列生成装置のプログラムに対応するフローチャートを示すものである。
【００６１】
即ち、図７のＣＰＵ１７は、図１３中のｓ３１の処理により、文字パターンデータベース４から文字の参照パターンを読み出すとともに第２の記憶手段１２からユーザが入力した認識対象画像中の各文字の中心付近の座標を読み出し、該読み出した参照パターンで第１の記憶手段１１内のユーザが入力した認識対象画像中の各文字の中心付近を走査・照合し、これを各参照パターンについて繰り返すことにより得られる多数の文字候補であって、文字認識結果の候補文字と、当該侯補文字の中心座標と、当該候補文字の大きさと、当該候補文字の尤もらしさ（文字らしさ）を示すスコアとを含む多数の文字侯補を生成する文字候補生成手段１８を構成し、また、図１３中のｓ３２の処理により、第２の記憶手段１２からユーザが入力した認識対象画像中の各文字の中心付近の座標を読み出すとともに第３の記憶手段１３から多数の文字侯補を読み出し、認識対象画像中の各文字の中心付近の座標に多数の文字候補を対応付けるとともに、同一の文字の中心付近の座標に対応する複数の文字候補の順位を前記スコアを用いて並べ替え（詳細にはスコアの高い文字候補ほど、上位となるように並べ替え）て文字行列を生成し、出力する文字配置手段１９を構成する。なお、その他の構成・動作は第４の実施の形態の場合と同様である。
【００６２】
このように、認識対象画像中の各文字にそれぞれ対応付けられた複数の文字侯補を、侯補文字の尤もらしさ（文字らしさ）を示すスコアの高いものから順に並べることで、さらに上位に正解らしい文字侯補を配置した文字行列を生成することが可能となる。
【図面の簡単な説明】
【００６３】
【図１】本発明の第１の実施の形態にかかる文字行列生成装置を示すブロック図
【図２】第１の実施の形態にかかる文字行列生成装置のプログラムに対応するフローチャート
【図３】生成された文字侯補の一例を示す説明図
【図４】ユーザによって入力された認識対象画像中の各文字の中心付近の座標の一例を示す説明図
【図５】第２の実施の形態にかかる文字行列生成装置のプログラムに対応するフローチャート
【図６】生成された文字侯補の一例を示す説明図
【図７】本発明の第４の実施の形態にかかる文字行列生成装置を示すブロック図
【図８】第４の実施の形態にかかる文字行列生成装置のプログラムに対応するフローチャート
【図９】文字位置の特定が困難な認識対象画像の一例を示す説明図
【図１０】ユーザによって入力された認識対象画像中の各文字の中心付近の座標の一例を示す説明図
【図１１】生成された文字侯補の一例をその中心座標を表す黒丸とともに認識対象画像に重ねて示した説明図
【図１２】生成された文字行列の一例を示す説明図
【図１３】第５の実施の形態にかかる文字行列生成装置のプログラムに対応するフローチャート
【符号の説明】
【００６４】
１，１１：第１の記憶手段、２，１２：第２の記憶手段、３，１３：第３の記憶手段、４，１４：文字パターンデータベース、５，１５：入力手段、６，１６：表示手段、７，１７：中央演算処理装置（ＣＰＵ）、８，１８：文字候補生成手段、９，１９：文字配置手段。
【図１】
2006023987.tif 000003
【図２】
2006023987.tif 000004
【図３】
2006023987.tif 000005
【図４】
2006023987.tif 000006
【図５】
2006023987.tif 000007
【図６】
2006023987.tif 000008
【図７】
2006023987.tif 000009
【図８】
2006023987.tif 000010
【図９】
2006023987.tif 000011
【図１０】
2006023987.tif 000012
【図１１】
2006023987.tif 000013
【図１２】
2006023987.tif 000014
【図１３】
2006023987.tif 000015