(57)【要約】【課題】画像に含まれる特定の領域に対して文字認識処理を実行して認識した文字列に応じて、当該特定の領域を分割して領域に対して文字認識処理を実行することが可能な情報処理装置及びプログラムを提供する。【解決手段】情報処理装置は、画像に含まれる文字を認識する文字認識処理を実行する文字認識手段と、前記文字認識手段により前記画像の特定の領域に対して実行された前記文字認識処理により認識された文字列が予め定められた条件を満たす文字又は文字列が含むとき、前記特定の領域を分割する分割手段とを備える。【選択図】図１
2019191680.tif 000002
【特許請求の範囲】
【請求項１】
画像に含まれる文字を認識する文字認識処理を実行する文字認識手段と、
前記文字認識手段により前記画像に含まれる特定の領域に対して実行された前記文字認識処理により認識された文字列が予め定められた条件を満たす文字又は文字列を含むとき、前記特定の領域を分割する分割手段と、
を備える情報処理装置。
【請求項２】
前記分割手段は、前記予め定められた条件として、前記特定の領域から認識された前記文字列に予め定められた範囲外のサイズを有する文字が含まれるときに、前記特定の領域を分割する、
請求項１に記載の情報処理装置。
【請求項３】
前記予め定められた範囲外のサイズを有する文字として、予め定められた第１の指標値から予め定められた第２の指標値により特定される範囲外のサイズを有する文字を検出する検出手段をさらに備える、
請求項２に記載の情報処理装置。
【請求項４】
前記検出手段は、前記第１の指標値を前記画像に含まれる文字のサイズの平均値とし、前記第２の指標値を当該文字のサイズの標準偏差とし、前記平均値から前記標準偏差により特定される範囲外のサイズを有する文字を検出する、
請求項３に記載の情報処理装置。
【請求項５】
前記分割手段は、前記予め定められた条件として、前記特定の領域から認識された前記文字列に予め定められた並びを含んで構成された文字列が含まれるときに、前記特定の領域を分割する、
請求項１から４のいずれか１項に記載の情報処理装置。
【請求項６】
前記特定の領域から認識された前記文字列に含まれる前記文字列を予め定められた単位の部分文字列に分離する分離手段をさらに備え、
前記分割手段は、前記部分文字列に前記予め定められた並びを含んで構成された文字列が含まれるとき、前記特定の領域を分割する、
請求項５に記載の情報処理装置。
【請求項７】
前記分離手段は、Ｎグラム又は形態素解析を行うことにより、前記特定の領域から認識された前記文字列に含まれる文字列を前記部分文字列に分離する、
請求項６に記載の情報処理装置。
【請求項８】
前記前記特定の領域に含まれる前記文字列を構成する第１の文字を第２の文字に変換する変換手段をさらに備える、
請求項５から７のいずれか１項に記載の情報処理装置。
【請求項９】
前記文字認識手段は、前記特定の領域が複数の領域に分割されたとき、当該分割後の領域において文字認識処理をさらに実行する、
請求項１から８のいずれか１項に記載の情報処理装置。
【請求項１０】
前記分割手段は、操作者の操作に応じて前記特定の領域を分割する、
請求項１から９のいずれか１項に記載の情報処理装置。
【請求項１１】
前記予め定められた条件として、前記特定の領域から認識された前記文字列に予め定められた範囲外のサイズを有する文字が含まれるとき、及び前記文字列に予め定められた並びを含んで構成された文字列が含まれるときに、前記特定の領域を分割する、
請求項１に記載の情報処理装置。
【請求項１２】
前記分割手段は、前記画像の画素の頻度分布に応じて、予め前記画像を前記特定の領域に分割する、
請求項１に記載の情報処理装置。
【請求項１３】
コンピュータを、
画像に含まれる文字を認識する文字認識処理を実行する文字認識手段と、
前記文字認識手段により前記画像に含まれる特定の領域に対して実行された前記文字認識処理により認識された文字列が予め定められた条件を満たす文字又は文字列を含むとき、前記特定の領域を分割する分割手段として
機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置及びプログラムに関する。
【背景技術】
【０００２】
近年、複数の棄却値を組み合わせた棄却判定方式を有する光学的文字認識機能を備えた情報処理装置が提案されている（例えば、特許文献１参照。）。
【０００３】
特許文献１に記載された情報処理装置は、入力画像から識別された文字の認識結果に対して、予め設定された棄却関数により棄却値を算出する複数の棄却値算出部と、複数の前記棄却値算出部のいずれかひとつ又はいずれか複数により算出されたひとつ又は複数の棄却値に基づき、それぞれ、前記認識結果を棄却するかどうか判定するひとつ又は複数の棄却判定部とを備えている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第６０５５２９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の課題は、画像に含まれる特定の領域に対して文字認識処理を実行して認識された文字列に応じて当該特定の領域を分割して文字認識処理を実行することが可能な情報処理装置及びプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
［１］画像に含まれる文字を認識する文字認識処理を実行する文字認識手段と、前記文字認識手段により前記画像に含まれる特定の領域に対して実行された前記文字認識処理により認識された文字列が予め定められた条件を満たす文字又は文字列を含むとき、前記特定の領域を分割する分割手段と、を備える情報処理装置。
［２］前記分割手段は、前記予め定められた条件として、前記特定の領域から認識された前記文字列に予め定められた範囲外のサイズを有する文字が含まれるときに、前記特定の領域を分割する、前記［１］に記載の情報処理装置。
［３］前記予め定められた範囲外のサイズを有する文字として、予め定められた第１の指標値から予め定められた第２の指標値により特定される範囲外のサイズを有する文字を検出する検出手段をさらに備える、前記［２］に記載の情報処理装置。
［４］前記検出手段は、前記第１の指標値を前記画像に含まれる文字のサイズの平均値とし、前記第２の指標値を当該文字のサイズの標準偏差とし、前記平均値から前記標準偏差により特定される範囲外のサイズを有する文字を検出する、前記［３］に記載の情報処理装置。
［５］前記分割手段は、前記予め定められた条件として、前記特定の領域から認識された前記文字列に予め定められた並びを含んで構成された文字列が含まれるときに、前記特定の領域を分割する、前記［１］から［４］のいずれか１つに記載の情報処理装置。
［６］前記特定の領域から認識された前記文字列に含まれる前記文字列を予め定められた単位の部分文字列に分離する分離手段をさらに備え、前記分割手段は、前記部分文字列に前記予め定められた並びを含んで構成された文字列が含まれるとき、前記特定の領域を分割する、前記［５］に記載の情報処理装置。
［７］前記分離手段は、Ｎグラム又は形態素解析を行うことにより、前記特定の領域から認識された前記文字列に含まれる文字列を前記部分文字列に分離する、前記［６］に記載の情報処理装置。
［８］前記前記特定の領域に含まれる前記文字列を構成する第１の文字を第２の文字に変換する変換手段をさらに備える、前記［５］から［７］のいずれか１つに記載の情報処理装置。
［９］前記文字認識手段は、前記特定の領域が複数の領域に分割されたとき、当該分割後の領域において文字認識処理をさらに実行する、前記［１］から［８］のいずれか１つに記載の情報処理装置。
［１０］前記分割手段は、操作者の操作に応じて前記特定の領域を分割する、前記［１］から［９］のいずれか１つに記載の情報処理装置。
［１１］前記予め定められた条件として、前記特定の領域から認識された前記文字列に予め定められた範囲外のサイズを有する文字が含まれるとき、及び前記文字列に予め定められた並びを含んで構成された文字列が含まれるときに、前記特定の領域を分割する、前記［１］に記載の情報処理装置。
［１２］前記分割手段は、前記画像の画素の頻度分布に応じて、予め前記画像を前記特定の領域に分割する、前記［１］に記載の情報処理装置。
［１３］コンピュータを、画像に含まれる文字を認識する文字認識処理を実行する文字認識手段と、前記文字認識手段により前記画像に含まれる特定の領域に対して実行された前記文字認識処理により認識された文字列が予め定められた条件を満たす文字又は文字列を含むとき、前記特定の領域を分割する分割手段として機能させるためのプログラム。
【発明の効果】
【０００７】
請求項１、１３に係る発明によれば、画像に含まれる特定の領域に対して文字認識処理を実行して認識された文字列に応じてこの特定の領域を分割して文字認識処理を実行することができる。
請求項２に係る発明によれば、文字のサイズに基づいて特定の領域を分割することができる。
請求項３に係る発明によれば、異常なサイズを有する文字を検出することができる。
請求項４に係る発明によれば、画像に含まれる文字のサイズの情報を用いて異常なサイズを有する文字を検出することができる。
請求項５に係る発明によれば、文字の並びに基づいて特定の領域を分割することができる。
請求項６に係る発明によれば、特定の文字の並びを含む文字列が含まれる場合に特定の領域を分割することができる。
請求項７に係る発明によれば、特定の文字数で区切られた文字列又は文字列の形態素が特定の文字の並びを有しているとき、特定の領域を分割することができる。
請求項８に係る発明によれば、文字列の中に誤って認識されやすい文字が含まれる場合であっても、文字列が特定の文字の並びを有しているときに特定の領域を分割することができる。
請求項９に係る発明によれば、無駄な文字認識処理を省略することができる。
請求項１０に係る発明によれば、文字列が互いに接触して１列又は１行の文字列として誤認識される場合であっても互いに別々に文字認識処理を実行することができる。
請求項１１に係る発明によれば、文字のサイズ及び文字の並びのいずれかのみに基づいて分割した領域に対するよりも精度よく文字認識処理を実行することができる。
請求項１２に係る発明によれば、予め分割された領域において正しく文字認識がされない場合に、この領域をさらに分割して文字認識処理を実行することができる。
【図面の簡単な説明】
【０００８】
【図１】図１は、本発明の第１の実施の形態に係る情報処理システムの制御系の一例を示すブロック図である。
【図２】図２は、画像の一例であり、（ａ）は、レイアウト解析前の画像の一例を示し、（ｂ）は、レイアウト解析後の画像の一例を示す。
【図３】図３（ａ），（ｂ）は、認識された文字のサイズの一覧の一例を示す図である。
【図４】図４は、切り出された部分領域の一例を示す図である。
【図５】図５は、第１の実施の形態に係る情報処理装置の動作の一例を示すフローチャートである。
【図６】図６は、本発明の第２の実施の形態に係る情報処理システムの制御系の一例を示すブロック図である。
【図７】図７は、第２の実施の形態に係る情報処理装置の動作の一例を示すフローチャートである。
【図８】図８は、本発明の第３の実施の形態に係る情報処理システムの制御系の一例を示すブロック図である。
【図９】図９（ａ）〜（ｃ）は、部分領域の再分割の動作の一例を説明する図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施の形態について図面を参照して説明する。なお、各図中、実質的に同一の機能を有する構成要素については、同一の符号を付してその重複した説明を省略する。
【００１０】
［実施の形態の要約］
本実施の形態に係る情報処理装置は、画像に含まれる文字を認識する文字認識処理を実行する文字認識手段と、文字認識手段により画像に含まれる特定の領域に対して実行された前記文字認識処理により認識された文字列が予め定められた条件を満たす文字又は文字列を含むとき、特定の領域を分割する分割手段とを備える。
【００１１】
「画像」は、文書、写真、図表等に関するデジタルデータが該当する。「特定の領域」とは、画像に含まれる部分画像に対応する領域をいう。なお、「特定の領域」には、一つの画像全体に対応する領域も含まれる。「文字認識処理」には、例えば、ＯＣＲ（Optical Character Recognition）処理等が含まれる。
【００１２】
［第１の実施の形態］
図１は、本発明の第１の実施の形態に係る情報処理システムの制御系の一例を示すブロック図である。この情報処理システム１は、情報処理装置２と、この情報処理装置２とネットワーク４を介して接続された外部装置３とを備える。情報処理装置２は、例えば、パーソナルコンピュータ、画像形成装置、タブレッド端末、多機能携帯電話機（スマートフォン）等が該当する。
【００１３】
外部装置３には、例えば、パーソナルコンピュータ、サーバ装置等が含まれる。ネットワーク４は、例えば、ローカルエリアネットワーク（ＬＡＮ）、インターネット等であり、有線でも無線でもよい。
【００１４】
（情報処理装置２の構成）
情報処理装置２は、各部を制御する制御部２０と、各種のデータを記憶する記憶部２１と、キーボード、マウス等で実現される操作部２２と、液晶ディスプレイ等で実現される表示部２３と、ネットワーク４を介して、外部装置３との間で信号を送受信する通信部２５とを備える。なお、操作部２２と表示部２３とを一体化した操作表示部（不図示）を設けてもよい。
【００１５】
制御部２０は、ＣＰＵ（Central Processing Unit）、インターフェース等から構成されている。ＣＰＵは、記憶部２１に記憶されたプログラム２１０に従って動作することにより、受付手段２００、レイアウト解析手段２０１、文字認識手段２０２、外れ値文字検出手段２０３、切り出し手段２０４等として機能する。レイアウト解析手段２０１は、分割手段の一例である。外れ値文字検出手段は２０３、検出手段の一例である。各手段２００〜２０４の詳細については後述する。
【００１６】
記憶部２１は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスク等から構成され、プログラム２１０、レイアウト情報２１１、辞書情報２１２、ＯＣＲ結果情報２１３等の各種データを記憶する。レイアウト情報２１１は、後述するレイアウト解析により取得される情報である。辞書情報２１２は、後述するＯＣＲ処理に用いられる文字のパターンを辞書化した情報である。ＯＣＲ結果情報２１３は、ＯＣＲ処理の結果に係る情報である。
【００１７】
次に、図２各図、図３及び図４を参照して、制御部２０の各手段２００〜２０４について説明する。図２は、画像の一例であり、（ａ）は、レイアウト解析前の画像の一例を示し、（ｂ）は、レイアウト解析後の画像の一例を示す。
【００１８】
受付手段２００は、情報処理装置２に入力された入力画像５（以下、単に「画像５」ともいう。）を受け付ける。画像５は、例えば、外部装置３から送信されたものであってもよい。
【００１９】
図２（ａ）に示すように、画像５は、例えば、文字列５０１Ａ（本明細書では、数字は文字に含めこととするが、図２（ａ）では、数字の列については文字列と異なる符号「５０１Ｂ」を付した。以下同様。）等の文字情報と、配線図５０２、設計図５０３、修正記号５０４等の図形情報とを含んで構成されている。文字列５０１Ａは、アルファベット、平仮名、片仮名、漢字、その他の言語に係る文字を含んで構成される。
【００２０】
なお、文字列５０１Ａには、下線等の装飾記号が付されていてもよい。また、上述した図形情報は一例であり、その他に、模式図、絵文字、シンボルマーク、各種記号（装飾記号、製図記号、回路記号、地図記号及び天気記号等）を含んでもよい。
【００２１】
レイアウト解析手段２０１は、図２（ｂ）に示すように、受付手段２００が受け付けた画像５に対してレイアウト解析を実行して、この画像５を部分領域５１，５２，５３，５４に分割する。レイアウト解析には、公知のアルゴリズムを用いてよい。部分領域５１，５２，５３，５４は、特定の領域の一例である。
【００２２】
一例として、レイアウト解析には、例えば、画像の横方向及び縦方向にそれぞれ投影した黒画素の頻度分布（「ヒストグラム」ともいう。）を取得し、各方向それぞれのヒストグラムの極小値（「周辺分布における谷」ともいう。）や極大値（「周辺分布における山」ともいう。）を特定し、この特定した極小値又は極大値が特定の条件を満たすときに、この極小値又は極大値を与える画素を境界として画像を分割することを再帰的に繰り返す手法（ＸＹ−カット法）等を用いることができる。
【００２３】
レイアウト解析手段２０１は、レイアウト解析により画像５を分割して得た部分領域５１，５２，５３，５４に関する情報２１１（以下、「レイアウト情報２１１」ともいう。）を記憶部２１に記憶する。レイアウト情報２１１には、例えば、各部分領域５１，５２，５３，５４のサイズや属性（文字列、表、図など）を示す情報や、各部分領域５１，５２，５３，５４の画像５における位置を示す領域位置情報が含まれる。
【００２４】
文字認識手段２０２は、レイアウト解析手段２０１により画像５を分割して得られた部分領域５１，５２，５３，５４ごとに、この部分領域５１，５２，５３，５４に含まれる文字を認識する処理（以下、「文字認識処理」ともいう。）を行う。文字認識処理には、例えば、部分領域から文字のパターンを１文字単位で切り出し、その文字のパターンと記憶部２１の辞書情報２１２に記録されている文字のパターンとをパターンマッチング法等により比較し、類似度の最も高いものを結果として出力するＯＣＲ（Optical Character Recognition）処理が含まれる。
【００２５】
また、文字認識手段２０２は、ＯＣＲ処理により得られる結果（「ＯＣＲ結果」）を部分領域５１，５２，５３，５４と関連付けて、例えば、テキスト形式でＯＣＲ結果情報２１３として記憶部２１に記憶する。ＯＣＲ結果情報２１３には、文字認識処理により認識される文字や文字列を示す文字情報、認識された文字や文字列の画像上の位置を示す文字位置情報、認識された文字の幅や高さ等のサイズを示す文字サイズ情報等が含まれる。
【００２６】
また、文字認識手段２０２は、ＯＣＲ情報２１３が既に記憶部２１に記憶されている場合に、特定の部分領域内のＯＣＲ結果情報２１３を新たに取得したとき、既に記憶されているＯＣＲ結果情報２１３を新たに取得したＯＣＲ結果情報２１３に置換する。
【００２７】
外れ値文字検出手段２０３は、文字認識手段２０２により得られたＯＣＲ結果情報２１３の中から、当該画像５に含まれる全ての文字に対する平均的な属性から外れた属性を有する文字（以下、「外れ値文字」ともいう。）を検出する。外れ値文字は、予め定められた条件を満たす文字の一例である。
【００２８】
一例として、外れ値文字検出手段２０３は、外れ値文字として予め定めた範囲外（「異常値」ともいう。）のサイズを有する文字を検出する。文字のサイズは、文字の横幅のみを指標としてもよく、文字の高さのみを指標としてもよく、あるいは横幅と高さとを組み合わせて評価した値を指標としてもよい。
【００２９】
具体的には、外れ値文字検出手段２０３は、文字認識手段２０２により画像５全体に対して実行された文字認識処理により認識された文字のサイズの分布を算出するとともに、算出した分布に基づいてサイズが異常値となっている外れ値文字を検出する。より具体的には、外れ値文字検出手段２０３は、スミルノフ・グラブス検定等の統計的な手法を用いて文字のサイズの分布を算出してもよい。
【００３０】
図３を参照して具体例を列挙してより詳しく説明する。図３は、認識された文字のサイズの一覧の一例を示す図であり、（ａ）は、図２（ｂ）に示す一つの部分領域５２内のアルファベット（「ＫＬＭＮＱＰＱＲ」）のサイズの一覧の一例を示し、（ｂ）は、図２（ｂ）に示す別の部分領域５４内のアルファベット（「ＣＤＥＦＧＨＩＪ」）のサイズの一覧の一例を示す。単位は、画素数である。
【００３１】
なお、図３（ａ）は、文字認識手段２０２により文字が正しく認識された一例に対応し、図３（ｂ）は、文字認識手段２０２により文字が誤って認識された一例（「∴；◎１ミｌＵＶ」）に対応する。ここで、「文字が正しく認識された」とは、実際に記載されている文字が認識されたことをいい、「文字が誤って認識された」とは、実施に記載されている文字と異なる文字が認識されたことをいう。「文字が誤って認識される」場合には、例えば、文字認識処理を行う部分領域が適切でないこと等の原因により、文字認識手段２０２が複数の文字又は１つの文字の一部分を１文字単位と誤認識する場合が該当する。
【００３２】
図３（ａ）に示すように、文字認識手段２０２により文字が正しく認識されると、認識された文字の幅や高さは、概ね同程度の値となる。これに対して、図３（ｂ）に示すように、文字認識手段２０２により文字が誤って認識されると、文字の幅及び高さのバラツキ（分散）が大きくなっている。
【００３３】
外れ値文字検出手段２０３は、例えば、文字認識手段２０２により画像５全体に対して実行された文字認識処理により認識された文字のサイズの平均値及び標準偏差を算出する。次に、外れ値文字検出手段２０３は、対象となる文字のサイズと平均値との差（例えば、絶対値）を標準偏差で除した値（以下、「評価値」ともいう。）を算出する。次に、外れ値文字検出手段２０３は、算出した評価値が予め定めた閾値を超えたときに、当該文字をサイズが異常値となっている外れ値文字として検出してもよい。
【００３４】
平均値は、第１の指標値の一例である。平均値は、画像５全体に含まれる文字の平均的なサイズを示すものであり、検出の対象となる文字のサイズを推定する推定値と呼んでもよい。標準偏差は、第２の指標値の一例である。また、標準偏差に閾値を乗じた値が示す範囲は、予め定められた範囲に相当する。すなわち、閾値は、標準偏差によって予め定められた範囲を特定するために用いられる値の一例である。
【００３５】
例えば、画像５全体に含まれる文字の平均値が３５．５（画素）、標準偏差が４．５の場合に、閾値を例えば２．０とすると、図３（ｂ）に示す部分領域５４に対する文字認識処理の例では、算出された評価値は、表１に示すとおりである。
【００３６】
【表１】
2019191680.tif 000003
【００３７】
このような場合、外れ値文字検出手段２０３は、評価値が閾値の２．０を超える文字「∴」、「；」、「◎」、「１」、「ミ」及び「ｌ」を外れ値文字として検出する。
【００３８】
なお、上述の例では、サイズが異常値となっている文字を外れ値文字としたが、外れ値文字はこれに限定されるものではなく、例えば、他の文字と異なるフォントや、他の文字と異なる書体を有する文字を外れ値文字としてもよい。また、画像５全体において認識された文字についてサイズの平均値及び標準偏差を算出したが、算出方法はこの方法に限定されるものではなく、例えば、各部分領域に含まれる文字についてサイズの平均値及び標準偏差を算出してもよい。
【００３９】
図４は、切り出された部分領域５４の一例を示す図である。切り出し手段２０４は、外れ値文字検出手段２０３の検出の結果に基づいて、上述した複数の部分領域５１，５２，５３，５４の中から、外れ値文字（「∴；◎１ミｌＵＶ」。各文字は、それぞれ実際の文字「ＣＤＥＦＧＨＩＪ」に対応する。）が含まれる部分領域５４を特定するとともに、特定した部分領域５４を切り出す。切り出し手段２０４により切り出される部分領域の数は、１つでもよく、複数でもよい。
【００４０】
なお、切り出し手段２０４は、１つの外れ値文字を含む部分領域を切り出す領域として特定してもよく、予め定められた個数の外れ値文字を含む部分領域を切り出す領域として特定してもよい。なお、複数の外れ値文字を含む部分領域を切り出す場合、切り出し手段２０４は、部分領域に含まれる文字の数（「部分領域の文字列長」ともいう。）に対する外れ値文字の数の割合が一定の値以上のとき、当該部分領域を切り出す領域として特定してもよい。
【００４１】
図４に示すように、レイアウト解析手段２０１は、切り出し手段２０４により切り出された部分領域５４に対してレイアウト解析をさらに行い、切り出された部分領域５４を部分領域５４１，５４２（以下、上述した「画像５の部分領域」と区別するために「分割領域５４１，５４２」ともいう。）にさらに分割する。分割領域５４１，５４２は、分割後の領域の一例である。なお、ここで行われるレイアウト解析手法は先のレイアウト解析手法と同一でもよいし、異なる手法を用いても良い。
【００４２】
文字認識手段２０２は、分割領域５４１，５４２に対して文字認識処理（すなわち、再度の文字認識処理）を行う。なお、文字認識手段２０２は、部分領域５４が複数の分割領域５４１，５４２に分割されたときのみに再度の文字認識処理を行い、部分領域５４が分割されなかったときに再度の文字認識処理を行わないようにしてもよい。もしくは、異常値を含む分割領域を操作者が確認し、操作者が再度の文字認識処理は不要と支持した場合は、再度の文字認識処理を行わないようにしてもよい。
【００４３】
（第１の実施の形態の動作）
次に、情報処理装置２の動作の一例について、図２各図、図３、図４及び図５を参照して説明する。図５は、情報処理装置２の動作の一例を示すフローチャートである。受付手段２００は、情報処理装置２に入力された画像５（図２（ａ）参照）を受け付け（Ｓ１）、レイアウト解析手段２０１に渡す。
【００４４】
レイアウト解析手段２０１は、受付手段２００が受け付けた画像に対してレイアウト解析を行い（Ｓ２）、画像５を部分領域５１，５２，５３，５４に分割する（図２（ｂ）参照）。また、レイアウト解析手段２０１は、レイアウト情報２１１を記録する（Ｓ３）。
【００４５】
次に、文字認識手段２０２は、部分領域５１，５２，５３，５４ごとに文字認識処理を行う（Ｓ４）。また、文字認識手段２０２は、文字認識処理により取得したＯＣＲ結果情報２１３を部分領域と関連付けて記録する（Ｓ５）。
【００４６】
文字認識手段２０２による上述のステップＳ４及びＳ５の動作は、レイアウト解析手段２０１により分割された全ての部分領域５１，５２，５３，５４に対して実行される。レイアウト解析手段２０１により分割された全ての部分領域５１，５２，５３，５４に対して文字認識手段２０２による上述のステップＳ４及びＳ５の動作が実行されると（Ｓ６：Ｙｅｓ）、外れ値文字検出手段２０３は、記憶部２１のＯＣＲ結果情報２１３に記録された文字のサイズの分布を算出する（Ｓ７）（図３参照）。また、外れ値文字検出手段２０３は、算出した文字のサイズの分布に基づいて、外れ値文字を検出する（Ｓ８）。
【００４７】
切り出し手段２０４は、記憶部２１のレイアウト情報２１１及びＯＣＲ結果情報２１３を参照し、外れ値文字検出手段２０３が検出した外れ値文字を含む部分領域（一例として、図２（ｂ）に示す部分領域５４）を特定する（Ｓ９）。また、切り出し手段２０４は、特定した部分領域５４を切り出す（Ｓ１０）（図４参照）。
【００４８】
レイアウト解析手段２０１は、切り出し手段２０４により切り出された部分領域５４に対してさらにレイアウト解析を行い（Ｓ１１）、この切り出された部分領域５４を分割領域５４１，５４２に分割する（図４参照）。
【００４９】
当該切り出された部分領域が複数の分割領域５４１，５４２に分割された場合（Ｓ１２：Ｙｅｓ）、文字認識手段２０２は、各分割領域５４１，５４２に対して文字認識処理を行う（Ｓ１３）。また、文字認識手段２０２は、ＯＣＲ結果情報２１３を分割領域５４１，５４２と関連付けて記録する。すなわち、文字認識手段２０２は、記憶部２１に記憶されている対応するＯＣＲ結果情報２１３を新たに取得したＯＣＲ結果情報２１３で置換する（Ｓ１４）。
【００５０】
文字認識手段２０２による上述のステップＳ１３及びＳ１４の動作は、レイアウト解析手段２０１により分割された全ての分割領域５４１，５４２に対して実行される（Ｓ１５参照）。また、上述のステップＳ１０からＳ１５の動作は、ステップＳ９にて、切り出し手段２０４に切り出された外れ値文字を含む全ての部分領域５４に対して実行される（Ｓ１６参照）。
【００５１】
［第２の実施の形態］
図６は、本発明の第２の実施の形態に係る情報処理システム１の制御系の一例を示すブロック図である。第２の実施の形態では、制御部２０が分離手段２０５と、判定手段２０６と、変換手段２０７とをさらに備える点で、第１の実施の形態と相違する。以下、第１の実施の形態と同様の構成及び機能を有する構成要素については、同一の符号を付してその説明を省略するとともに、第１の実施の形態と異なる点を中心に説明する。
【００５２】
制御部２０のＣＰＵは、記憶部２１に記憶されたプログラム２１０に従って動作することにより、第１の実施の形態で説明した機能に加えて、分離手段２０５、判定手段２０６、変換手段２０７等としてさらに機能する。各手段２０５〜２０７の詳細については後述する。
【００５３】
記憶部２１は、第１の実施の形態で説明した情報に加えて、特徴量情報２１４、誤認識パターン情報２１５等の各種データをさらに記憶する。
【００５４】
特徴量情報２１４は、過去の事例等から予め収集された文字の並びから算出された文字の特徴量を示す情報である。特徴量は、例えば、Ｎ−ｇｒａｍ（Ｎは、自然数）や形態素解析等により収集される。特徴量情報２１４に含まれる文字列は、予め定められた文字列の一例である。Ｎは、予め定められた単位の一例である。
【００５５】
誤認識パターン情報２１５は、文字認識手段２０２が文字認識処理を実行する際に誤りやすい文字の組み合わせをリスト等で記録した情報である。「誤りやすい」とは、文字認識処理を実行した結果、実際の文字と異なる文字として認識されやすいことをいう。
【００５６】
誤りやすい文字の組み合わせには、例えば、形状が類似する文字が該当する。例えば、平仮名の「し」と片仮名の「レ」との組み合わせ等が該当する。また、別の例として、アルファベットと数字との組み合わせ（「Ｄ」と「０（ゼロ）」等）や、アルファベット同士の組み合わせ（「Ｉ（大文字のアイ)」と「ｌ（小文字エル)」等）が該当する。
【００５７】
分離手段２０５は、例えば、Ｎグラム（「Ｎ−ｇｒａｍ」ともいう。）を用いて、文字認識手段２０２により取得された文字列を分離する。Ｎ−ｇｒａｍは、文字列から連続するＮ文字を部分的な文字列として抽出する方法をいう。Ｎ−ｇｒａｍに代えて、形態素解析を用いてもよい。
【００５８】
Ｎ−ｇｒａｍの一例として、Ｎが２の場合を例に挙げて説明する。分離手段２０５は、例えば、文字認識手段２０２により「⊇４Ｓ∀◎」という文字列が取得されたとき、この文字列を２−ｇｒａｍで「⊇４」、「４Ｓ」、「Ｓ∀」及び「∀◎」の４種類の文字列（以下、「分離文字列」ともいう。）に分離する。分離文字列は、部分文字列の一例である。なお、「⊇」は、集合記号を示し、「∀」は、全称限定記号を示し、「◎」は、二重丸記号を示す。
【００５９】
判定手段２０６は、文字認識手段２０２により認識された文字列と記憶部２１に記憶された特徴量情報２１４とを比較して、文字認識手段２０２により認識された文字列が一般的でない文字の並びを含んで構成されている文字列（以下、「非一般的文字列」）か否かを判定する。一般的でない文字の並びは、予め定められた並びの一例である。非一般的文字列は、予め定められた条件を満たす文字列の一例である。
【００６０】
具体的には、判定手段２０６は、分離手段２０５により文字列を分離して得られた分離文字列と特徴量情報２１４とを参照し、当該文字列が非一般的文字列か否かを判定する。なお、「一般的でない文字の並び」とは、例えば、特別の定義がなされない限り単語として特定の意味を持たないものをいう。
【００６１】
また、判定手段２０６は、レイアウト解析手段２０１により画像５を分割して得られた部分領域が正しく分割されたものであるか否かを判定する（以下、「正誤判定」ともいう。）。具体的には、判定手段２０６は、非一般的文字列が含まれる部分領域を「正しく分割されたものではない」（すなわち「誤って分割されたものである」）と判定するとともに、非一般的文字列が含まれない部分領域を「正しく分割されたものである」と判定する。
【００６２】
判定手段２０６は、例えば、分離文字列が特徴量情報２１４に含まれる割合を用いて、当該文字列が非一般的文字列か否かを判定してもよい。具体的には、判定手段２０６は、分離手段２０５により文字列を分離して得られた各分離文字列を特徴量情報２１４に記録された情報と照合し、分離文字列が特徴量情報２１４に含まれる割合が予め定められた値以上のとき、当該文字列を非一般的文字列と判定してもよい。
【００６３】
一例として上述の例において、記憶部２１の特徴量情報２１４に、非一般的文字列（例えば、レイアウト解析手段２０１により分割された部分領域が正しくない場合に得られる文字列）の一例として、「⊇４」、「Ｓ∀」及び「∀◎」の３種類が記録されているとき、判定手段２０６は、４種類の分離文字列のうち３種類が特徴量情報２１４に含まれるとして、上記の割合を３／４(＝７５％)と算出し、この割合に基づいて、「⊇４Ｓ∀◎」という文字列を非一般的文字列と判定してもよい。
【００６４】
なお、判定手段２０６は、上述した方法以外の他の方法として、ＴＦ−ＩＤＦ（Term Frequency−Inverse Document Frequency）を用いて部分領域の正誤判定を行ってもよい。ここで、ＴＦ−ＩＤＦは、分離文字列ごとに予め定められた寄与率を考慮して当該分離文字列が特徴量情報２１４に含まれる割合を算出することをいう。寄与率は、例えば、記憶部２１の特徴量情報２１４に分離文字列に関連付けて予め記録してもよい。
【００６５】
一例として、文字列「４Ｓ」のような、部分領域が正しく分割されたか否かに関わらず出現し得る文字列に対しては、正誤判定への寄与率を小さい値に設定してもよい。これに対して、「∀◎」のような、部分領域が正しく分割されていないときに出現しにくい文字列に対しては、正誤判定への寄与率を大きい値に設定してもよい。
【００６６】
変換手段２０７は、記憶部２１の誤認識パターン情報２１５を参照し、文字認識手段２０２により認識された文字列に、記憶部２１の誤認識パターン情報２１５に記録された文字が含まれるとき、認識された文字列を構成する当該文字を対応する文字に変換する。変換の対象となる変換前の文字は、第１の文字の一例である。変換後の文字は、第２の文字の一例である。
【００６７】
一例として、変換手段２０７は、文字認識手段２０２により認識された文字列が「確認レて」のとき、記憶部２１の誤認識パターン情報２１５を参照して「レ」を「し」に変換する。これにより、文字列「確認レて」は、文字列「確認して」に変換される。別の一例として、変換手段２０７は、文字認識手段２０２により認識された文字列が「０ＥＳＣＲＩＰＴＩＯＮ」のとき、記憶部２１の誤認識パターン情報２１５を参照して「０」を「Ｄ」に変換する。これにより、文字列「０ＥＳＣＲＩＰＴＩＯＮ」は、文字列「ＤＥＳＣＲＩＰＴＩＯＮ」に変換される。
【００６８】
さらに別の一例として、変換手段２０７は、特定の文字と空白とが並んでいる場合、当該空白を削除する。例えば、文字「Ｉ」が英語の一人称を示す「Ｉ」と認識されたことにより、文字「Ｉ」の前後に空白を含むものとして認識されたとき（例えば、「ＰＲＥＶ  Ｉ  ＯＵＳ」等。「Ｖ」及び「Ｉ」、「Ｉ」及び「Ｏ」の間にはそれぞれ１文字分の空白がある。）、変換手段２０７は、特定の文字としての「Ｉ」の両隣に並んでいる当該空白を削除して「ＰＲＥＶ  Ｉ  ＯＵＳ」を「ＰＲＥＶＩＯＵＳ」に変換する。
【００６９】
以上、文字認識手段２０２により認識された文字列の並びに応じて正誤判定する方法をいくつか説明してきたが、これらの方法を組み合わせて正誤判定してもよい。このとき、正誤判定に用いる特徴量のデータ量に応じて、機械学習（決定木等）により判定器を予め生成しておき、この判定器を通して正誤判定してもよい。
【００７０】
（第２の実施の形態の動作）
次に、情報処理装置２の動作の一例について図７を参照して説明する。図７は、第２の実施の形態に係る情報処理装置２の動作の一例を示すフローチャートである。第２の実施の形態の動作において、ステップＳ２１からＳ２６までは、第１の実施の形態の動作におけるステップＳ１からＳ６までと同様に動作する。
【００７１】
すなわち、受付手段２００が画像５を受け付け（Ｓ２１）、レイアウト解析手段２０１が画像５に対してレイアウト解析を行い（Ｓ２２）、レイアウト情報２１１を記録し（Ｓ２３）、全ての部分領域５１，５２，５３，５４に対して（Ｓ２６：Ｎｏ）、文字認識手段２０２が部分領域５１，５２，５３，５４ごとに文字認識処理を行い（Ｓ２４）、ＯＣＲ結果情報２１３を部分領域５１，５２，５３，５４と関連付けて記録する（Ｓ２５）。
【００７２】
次に、全ての部分領域５１，５２，５３，５４に対して文字認識処理が行われると（Ｓ２６：Ｙｅｓ）、判定手段２０６は、認識された文字列と記憶部２１に記憶された特徴量情報２１４とを比較し（Ｓ２７）、文字認識手段２０２により認識された文字列が非一般的文字列か否かを判定する（Ｓ２８）。なお、上述したように、判定手段２０６が特徴量情報２１４と比較される対象としての文字列は、予め分離手段２０５により得られた分離文字列でもよい。また、変換手段２０７により特定の文字を変換してから分離してもよい。
【００７３】
文字認識手段２０２により認識された文字列が非一般的文字列のとき（Ｓ２８：Ｙｅｓ）、切り出し手段２０４は、この非一般的文字列を含む部分領域を特定する（Ｓ２９）。
【００７４】
以下、ステップＳ３０からＳ３６までについても、第１の実施の形態の動作におけるステップＳ１０からＳ１６までと同様に動作する。すなわち、切り出し手段２０４が特定した部分領域を切り出し（Ｓ３０）、レイアウト解析手段２０１はが切り出された部分領域に対してさらにレイアウト解析を行って（Ｓ３１）、部分領域を分割領域に分割し、全ての分割領域に対して（Ｓ３５：Ｎｏ）、文字認識手段２０２が文字認識処理を行い（Ｓ３３）、ＯＣＲ結果情報２１３を置換する（Ｓ３４）。なお、上述のステップＳ３０からＳ３５の動作は、切り出し手段２０４に切り出された全ての部分領域に対して実行される（Ｓ３６参照）。
【００７５】
［第３の実施の形態］
図８は、本発明の第３の実施の形態に係る情報処理システム１の制御系の一例を示すブロック図である。第３の実施の形態では、制御部２０が修正手段２０８と表示制御手段２０９とをさらに備える点で、第１の実施の形態と相違する。以下、第１の実施の形態と同様の構成及び機能を有する構成要素については、同一の符号を付してその説明を省略するとともに、第１の実施の形態と異なる点を中心に説明する。
【００７６】
制御部２０のＣＰＵは、記憶部２１に記憶されたプログラム２１０に従って動作することにより、第１の実施の形態で説明した機能に加えて、修正手段２０８、表示制御手段２０９等としてさらに機能する。修正手段２０８は、分割手段の一例である。
【００７７】
受付手段２００は、第１の実施の形態で説明した機能に加えて、操作部２２に対して行われる操作者の操作に係る操作信号を受け付ける。修正手段２０８は、受付手段２００が受け付けた操作信号に応じて、部分領域を再分割して分割の状態を修正する。表示制御手段２０９は、操作者に対して、外れ値文字を含む部分領域又は非一般的文字列を含む部分領域の画像を表示部２３に表示するよう制御する。
【００７８】
次に、図９を参照して、修正手段２０８及び表示制御手段２０９について詳細を説明する。図９は、修正手段２０８による部分領域の再分割の動作の一例を説明する図であり、（ａ）は、上下において隣接する文字列同士の一部が接触している一例を示す図、（ｂ）は、区切り線を用いて部分領域を再分割する一例を説明する図、（ｃ）は、再分割後の分割の状態を示す図である。
【００７９】
図９（ａ）に示すように、１行目の文字列５０１Ａａ（「７７−２（色」）と２行目の文字列５０１Ａｂ（「色（ＳＥＥ」）との間で一部に接触が生じていると、これらの文字列の間で分割ができず、両方の文字列５０１Ａａ，５０１Ａｂをともに含む部分領域５５が抽出される。なお、このような場合、文字認識手段２０２により当該部分領域５５を認識すると、１行の文字列として認識され、その結果は、例えば、「竃一ぞＳ馳」のように誤ったものとなる。
【００８０】
このような場合、１行目の文字列５０１Ａａと２行目の文字列５０１Ａｂと間における接触を解消すればよい。表示制御手段２０９は、操作者の操作に応じて、図９（ｂ）に示すように、１行目の文字列５０１Ａａと２行目の文字列５０１Ａｂと間に区切り線６を加えて表示するよう制御する。
【００８１】
また、修正手段２０８は、操作者の操作に応じて部分領域５５に加えられた区切り線６に基づいて、図９（ｃ）に示すように、部分領域５５を２つの分割領域５６，５７にさらに分割する。この分割領域５６，５７に対し、文字認識手段２０２により文字列の認識を行うと、２つの文字列５０１Ａａ，５０１Ａｂがそれぞれ正しく認識される。
【００８２】
なお、部分領域５５の再分割の方法は、上述した接触している部分に区切り線６を挿入して行うものに限定されるものではなく、別の方法として、例えば、区切り線６を用いずに、分割したい領域を枠で囲む方法でもよい。区切り線６の挿入や、枠で囲む操作は、例えば、マウス等の操作により行ってもよい。また、上述の例では説明の便宜上文字列が上下において接触する例を示したが、左右に接触する場合であっても同様である。さらに、上述の例では文字列同士が接触する例を示したが、他に、文字列と線（下線、罫線、図など）が接触する場合であっても同様である。
【００８３】
以上のようにすることによって、第１の実施の形態及び第２の実施の形態では所望の認識結果が得られない場合であっても、操作者の操作に応じて部分領域を再分割して、文字認識処理を実行することができる。
【００８４】
以上、本発明の実施の形態を説明したが、本発明の実施の形態は上記実施の形態に限定されるものではなく、本発明の要旨を変更しない範囲内で種々の変形、実施が可能である。例えば、画像５は、必ずしも外部から情報処理装置２に入力されたものに限られず、例えば、情報処理装置２に撮像部（不図示）を設け、この撮像部で撮像されたものであってもよい。
【００８５】
制御部２０の各手段は、それぞれ一部又は全部を再構成可能回路（ＦＰＧＡ：Field Programmable Gate Array）、特定用途向け集積回路（ＡＳＩＣ：Application Specific Integrated Circuit）等のハードウエア回路によって構成してもよい。
【００８６】
また、本発明の要旨を変更しない範囲内で、上記実施の形態の構成要素の一部を省くことや変更することが可能である。また、本発明の要旨を変更しない範囲内で、上記実施の形態のフローにおいて、ステップの追加、削除、変更、入替え等が可能である。また、上記実施の形態で用いたプログラムをＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体に記録して提供することができ、クラウドサーバ等の外部サーバに格納しておき、ネットワークを介して利用することもできる。
【符号の説明】
【００８７】
１…情報処理システム
２…情報処理装置
２０…制御部
２００…受付手段
２０１…レイアウト解析手段
２０２…文字認識手段
２０３…外れ値文字検出手段
２０４…切り出し手段
２０５…分離手段
２０６…判定手段
２０７…変換手段
２０８…修正手段
２０９…表示制御手段
２１…記憶部
２１０…プログラム
２１１…レイアウト情報
２１２…辞書情報
２１３…ＯＣＲ結果情報
２１４…特徴量情報
２１５…誤認識パターン情報
２２…操作部
２３…表示部
２５…通信部
３…外部装置
４…ネットワーク
５…画像（入力画像）
５１，５２，５３，５４，５５…部分領域
５０１Ａ，５０１Ａａ，５０１Ａｂ…文字列（文字）
５０１Ｂ…文字列（数字）
５０２…配線図
５０３…設計図
５０４…修正記号
５４１，５４２，５５１，５５２…分割領域
６…区切り線
【図１】
2019191680.tif 000004
【図２】
2019191680.tif 000005
【図３】
2019191680.tif 000006
【図４】
2019191680.tif 000007
【図５】
2019191680.tif 000008
【図６】
2019191680.tif 000009
【図７】
2019191680.tif 000010
【図８】
2019191680.tif 000011
【図９】
2019191680.tif 000012