(57)【要約】【課題】誤り文字を含む可能性がある文の誤り文字を修正する際、文の内容に対応する連想画像を生成し、文の内容と連想画像を比較確認することで誤り文字の見落としが少なく効率的な文字修正が可能な文字修正支援システムを提供する。【解決手段】誤り文字を含む可能性がある文が文字によって表現された文字情報に応じた連想画像を作成する連想画像作成部と、前記文字情報を前記連想画像とともに表示する表示部と、を備える文字修正支援システムである。【選択図】図１
2020052778.tif 000002
【特許請求の範囲】
【請求項１】
誤り文字を含む可能性がある文が文字によって表現された文字情報に応じた連想画像を作成する連想画像作成部と、
前記文字情報を前記連想画像とともに表示する表示部と、
を備える文字修正支援システム。
【請求項２】
操作者からの操作入力を受け付ける操作入力部と、
前記操作入力された内容に基づいて、前記文字情報の修正を行う修正部と、
を有する請求項１記載の文字修正支援システム。
【請求項３】
前記文は、
画像に対して光学文字認識処理を行うことによって文字認識された結果からなる文である請求項１または請求項２に記載の文字修正支援システム。
【請求項４】
前記連想画像作成部は、前記文字情報に複数の語句が含まれる場合に、当該語句に対応する連想画像をそれぞれ読み出し、得られた複数の連想画像を、前記文字情報に含まれる語句に応じた合成を行うことで合成された連想画像を作成する
請求項１から請求項３のうちいずれか１項に記載の文字修正支援システム。
【請求項５】
連想画像作成部が、誤り文字を含む可能性がある文が文字によって表現された文字情報に応じた連想画像を作成し、
表示部が、前記文字情報を前記連想画像とともに表示する
文字修正支援方法。
【請求項６】
コンピュータを、
誤り文字を含む可能性がある文が文字によって表現された文字情報に応じた連想画像を作成する連想画像作成手段、
前記文字情報を前記連想画像とともに表示する表示手段、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、修正対象の見落としが少なく効率的に文字修正を行うことが可能な文字修正支援システム、文字修正支援方法及びプログラムに関する。
【背景技術】
【０００２】
カメラやスキャナなどの画像入力装置で撮影された画像の文字情報を電子化するために、光学文字認識（Optical Character Recognition, ＯＣＲ）が一般的に利用されている。ＯＣＲによる文字認識は高精度のものであっても誤認識が起こりうるため、正確な情報が求められる利用場面では文字認識結果を人が目視で確認して正しい文字情報に修正する作業が必要となる。
【０００３】
文字認識結果に対する目視確認及び訂正の基本的な方法は、認識結果のテキストと元の文字画像を画面上に表示させ、これらを見比べ、誤認識があれば訂正する方法があり、このような方法において、効率的に行う技術が多数存在する。例えば、特許文献１は、認識結果と元の文字画像を並列して表示し、選択した認識結果と文字画像のうち選択した認識結果に対応する同じ位置とをハイライト表示する。
【０００４】
特許文献２は、一連の認識結果と一連の文字画像の一部を並べて表示し、さらに指定した文字の元画像を認識結果の近傍に別ウインドウで表示する手法である。文字切り出しが正確でない場合、一文字だけ見ても誤認識の詳細がわかりにくいため、一連の文字画像としても一文字ずつ詳細な結果としても確認しやすくしている。
【０００５】
特許文献３は、認識結果の文字を元の文字画像上に重畳するように合成表示し、合成画像が違和感のない画像となるように認識結果候補を切り替えながら表示する手法である。このように認識結果を重畳表示することで誤認識した文字の違和感を喚起する手法は多数存在する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平９−２７００７号公報
【特許文献２】特許第３７１７９７１号公報
【特許文献３】特許第２７６３０４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、ＯＣＲによって誤認識を起こす場合、正解の文字と誤認識した文字は形状が類似していることが多い。例えばカタカナの「カ」と漢字の「力」は形状として見るとほぼ同じであり、人間が文章を読む場合は前後の文字から推測してどちらの文字であるか判断している。仮に「クーロン力（りょく）」という文字の画像をＯＣＲが「クーロンカ（か）」と誤認識していても、前述したような文字画像と認識結果の目視比較をしたとしても、形状が類似しているため、文字が誤認識（誤変換）されていることに気づきにくい。このような場合、誤認識の修正には「カ」と「力」のような目視でも間違えやすい文字を修正者があらかじめ意識して検査する必要がある。また、文字同士を注意深く比較・確認する作業は、継続して行うと疲労するため、見落としが発生してしまう要因にもなり得る。
仮に、特許文献３のように、認識結果の文字を元の文字画像上に重畳するように合成表示する場合には、認識結果の文字を、元の文字画像のフォントや文字サイズ、位置を厳密に合わせなければならず、また、文字画像の解像度が低い場合には、校正しにくい。
【０００８】
本発明は、このような状況に鑑みてなされたもので、誤り文字の見落としが少なく効率的な文字修正が可能な文字修正支援システム、文字修正支援方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述した課題を解決するために、本発明の一態様は、誤り文字を含む可能性がある文が文字によって表現された文字情報に応じた連想画像を作成する連想画像作成部と、前記文字情報を前記連想画像とともに表示する表示部と、を備える。
【００１０】
また、本発明の一態様は、上述の文字修正支援システムにおいて、操作者からの操作入力を受け付ける操作入力部と、前記操作入力された内容に基づいて、前記文字情報の修正を行う修正部と、を有する。
【００１１】
また、本発明の一態様は、上述の文字修正支援システムにおいて、前記文は、画像に対して光学文字認識処理を行うことによって文字認識された結果からなる文である。
【００１２】
また、本発明の一態様は、上述の文字修正支援システムにおいて、前記連想画像作成部は、前記文字情報に複数の語句が含まれる場合に、当該語句に対応する連想画像をそれぞれ読み出し、得られた複数の連想画像を、前記文字情報に含まれる語句に応じた合成を行うことで合成された連想画像を作成する。
【００１３】
また、本発明の一態様は、連想画像作成部が、誤り文字を含む可能性がある文が文字によって表現された文字情報に応じた連想画像を作成し、表示部が、前記文字情報を前記連想画像とともに表示する文字修正支援方法である。
【００１４】
また、本発明の一態様は、コンピュータを、誤り文字を含む可能性がある文が文字によって表現された文字情報に応じた連想画像を作成する連想画像作成手段、前記文字情報を前記連想画像とともに表示する表示手段、として機能させるためのプログラムである。
【発明の効果】
【００１５】
以上説明したように、この発明によれば、誤り文字を含む可能性がある文の誤り文字を修正する際、文の内容に対応する連想画像を生成し、文の内容と連想画像を比較確認することで誤り文字の見落としが少なく効率的な文字修正が可能な文字修正支援システム、文字修正支援方法及びプログラムを提供することができる。
【図面の簡単な説明】
【００１６】
【図１】本実施形態の文字修正支援システムの構成例を示すブロック図である。
【図２】文字認識を説明する図である。
【図３】構文解析を用いた連想画像作成手段を説明する図である。
【図４Ａ】画像データ記憶部１０７における語句・画像データテーブルの構成例を示す図である。
【図４Ｂ】画像データ記憶部１０７における語句・画像データテーブルの構成例を示す図である。
【図５】文献Ａで示した画像生成技術を用いた連想画像作成手段を説明する図である。
【図６】表示部１０４が元の文字画像・文字認識結果・連想画像を表示している図である。
【図７】本実施形態の文字修正支援システムにおける文字画像を認識して文字認識結果を修正する処理の動作例を示すフローチャートである。
【図８】第２実施形態における文字修正支援装置１Ａの構成を示す概略ブロック図である。
【発明を実施するための形態】
【００１７】
以下、本発明の一実施形態による文字修正支援装置１について図面を参照して説明する。
図１は、この発明の一実施形態による文字修正支援装置１の構成を示す概略ブロック図である。図１において、文字修正支援装置１は、文字画像入力部１０１、文字認識部１０２、連想画像作成部１０３、表示部１０４、操作入力部１０５、修正部１０６及び連想画像用データ記憶部１０７の各々を備えている。
【００１８】
文字画像入力部１０１は、例えばカメラやスキャナなどで撮影された文字画像を入力する。文字は後述する文字認識部１０２において認識できるような条件で撮影されていることが望ましい。一般的なＯＣＲ（光学文字認識）であれば、認識対象に含まれている言語・文字で書かれており、傾きが少なく文字が読み取れる程度の解像度であることが条件であることが多い。
この文字画像は、誤り文字を含む可能性がある文字列が画像として表現された画像データを用いられる。
【００１９】
文字認識部１０２は、文字画像入力部１０１で入力された文字画像に対して文字認識を行い、結果の文字群を出力する。出力される文字群は文字間の前後関係が保たれた、文の形式になっている必要がある。文字認識部１０２は、例えば、光学文字認識処理を行うことによって文字認識された結果である文字列（例えば文）を表すデータを出力する。
ここでは、文字画像入力部１０１と文字認識部１０２とが別の機能である場合について説明するが、文字画像入力部１０１と文字認識部１０２との機能を含むＯＣＲ装置を用いるようにしてもよい。
【００２０】
図２は、文字認識について説明する模式図である。文字画像２０１、文字画像２０２が文字画像入力部１０１から入力され、文字認識部１０２が文字認識を行い、それぞれ結果の文字群２０３、文字群２０４を出力する。文字画像２０１から文字群２０３が生成される例では、文字画像２０１が横組みの日本語であるため画像の左から右方向への並び順と同様にテキストの文字が並ぶように文が形成され、文字画像２０２から文字群２０４が生成される例では、文字画像２０２が縦組みの日本語であるため画像の上から下方向への並び順と同様にテキストの文字が並ぶように文が形成される。このように、言語の種類と横組み・縦組みによって文字列を文として整理し、連想画像作成部１０３に入力する。
【００２１】
図１に戻り、連想画像作成部１０３は、文字認識部１０２が出力した文字認識結果の文を用いて連想画像を作成する。すなわち、連想画像作成部１０３は、誤り文字を含む可能性がある文が文字によって表現された文字情報に応じた連想画像を生成する。
また、連想画像作成部１０３は、文字情報に複数の語句が含まれる場合に、当該語句に対応する連想画像をそれぞれ読み出し、得られた複数の連想画像を、文字情報に含まれる語句に応じた合成を行うことで合成された連想画像を作成する。
ここでいう文字情報は、少なくとも１つの文字を含む文字データであればよく、例えばテキストデータの形式であってもよい。
例えば、連想画像作成部１０３は、文字認識結果が「林檎」という文字列である場合には、果物のリンゴの画像を生成し、文字認識結果が「草原で犬が駆けている」という文字列である場合には、草原を背景として走るイヌが描かれた画像を生成する。
以下に複数の手段による連想画像の作成方法について説明する。
【００２２】
第１の作成方法として、文字認識結果の文を構文解析し、各単語及び単語間の関係を用い、連想画像を作成する。図３はその模式図であり、ここでは文字認識結果文２０５の例として「木の上でカラスが鳴いている」を挙げている。文字認識結果文２０５に対して係り受け解析を行った結果が係り受け構造２０６である。この係り受け構造２０６に対し、「カラスが−鳴いている」という主語−述語の係り受け関係から鳴いている（口を開けた）カラスの画像を生成し、「木の−上で−鳴いている」という係り受け関係から木の画像の上側にカラスの画像が配置された合成画像を生成し、木の上で口を開けたカラスの連想画像２０７を作成する。
【００２３】
このような第１の作成方法の場合、図４の構成例のように連想画像用データ記憶部１０７は語句・画像データテーブルをあらかじめ記憶しておく。この語句・画像データテーブルには、図４Ａに示すように、各単語または述語付きの主語等の語句と、それに対応する連想画像データが記憶されている領域の先頭アドレスを示す連想画像データアドレスの各々とが書き込まれて記憶されており、さらに、図４Ｂに示すように、ある語句と、その語句に対応して画像を加工する加工ルールが対応づけて記憶された加工テーブルがある。
連想画像データアドレスは、連想画像データの各々が記憶されている画像データ記憶部１１１の領域のアドレスを示しており、連想画像用データ記憶部１０７から連想画像データを読み出す際のインデックスとなっている。
前述の通り、連想画像作成部１０３は、文字認識結果の文を構文解析し、各単語及び単語間の関係から、語句に対応する連想画像を読み出し、構文解析された結果に加工テーブルにおける語句と一致する語句がある場合には、その一致する語句に対応する加工ルールを読み出し、読み出された加工ルールに基づいて、読み出された連想画像データのうち係り受けに対応する語句の連想画像について合成して連想画像を作成する。
例えば、文字認識の結果が「木の上でカラスが鳴いている。」という文字列（文字認識結果文２０５）の例では、「鳴いているカラス」の画像と、「木」の画像を連想画像用データ記憶部１０７からそれぞれ読み出し、「木の上で」という語句から「上」の語句に対応する加工ルールが加工テーブルにあることを検出し、「上」の語句に対応する加工ルール（係り受けの関係がある語句Ａと語句Ｂの位置関係を表すデータ）を読み出し、「鳴いているカラス」の画像を「木」の画像の上方に配置する合成処理を行うことで、連想画像２０７を作成する。
【００２４】
第２の作成方法として、自然言語から画像を生成する技術を用い、文字認識結果の文から連想画像を自動生成する方法である。自然言語から画像を生成する技術としては、例えば、下記の文献に記載された技術を用いることができる。
【００２５】
《文献Ａ》  E. Mansimov, E. Parisotto, J. L. Ba and R. Salakhutdinov: Generating images from captions with attention, ICLR, 2016.
【００２６】
この文献Ａでは、説明文、すなわち自然言語による文章からその内容に対応する画像を生成する機械学習技術である。説明文付きの画像を教師データとし、説明文を入力・画像を出力として２種類のリカレントニューラルネットワーク（Recurrent Neural Network，ＲＮＮ）を学習する。これにより、自然言語の文章を入力するとそれに応じた画像が生成できるようになっており、例えば、「青空を飛ぶ“停止”の道路標識」などの文章のように、本来撮影し得ないような状況を表す文章であっても、その画像をある程度の再現性で生成できる。この文献は、英語を画像に変換した例が記載されているが、他言語でも文を適切な単位（例えば単語単位）で分割した説明文付きの画像データを用意すれば、他言語において自然言語による文章からその内容に対応する画像を生成することができる。
【００２７】
図５は、第２の作成方法に基づいて画像を生成する場合を説明する模式図である。
ここでは、文字認識結果文２０５の例として「木の上でカラスが鳴いている」が挙げられている。この文字認識結果文２０５に対して上述の文献Ａの技術を用いた場合には、文字認識結果文２０５である文に対して形態素解析を行い、単語単位に分割された分かち書きデータ２０８を生成する。この分かち書きデータを上述の文献Ａの技術を用いて学習・作成した画像生成器に入力することで、文字認識結果文２０５の内容に応じた連想画像、すなわち木の上で口を開けたカラスの連想画像２０７を生成する。例えば、入力される文字認識結果と、生成される画像との関係をＡＩ（人工知能）によって学習することで学習モデルを生成し、これを画像生成器モデルとして用いる。この学習は、他の装置である学習装置によって予め学習されることで得られた画像生成器モデルを用いるようにしてもよいし、文字修正支援装置１に学習部を設け、その学習部によって学習することで得られた画像生成器モデルを用いるようにしてもよい。
【００２８】
このような第２の作成方法の場合、連想画像用データ記憶部１０７は、上述の文献Ａの技術で学習・作成した画像生成器モデルをあらかじめ記憶しておく。このような画像生成器モデルは、１種類でも良いが、読み込ませる文の種類（新聞、小説、実用書等）によって、教師データを変えて学習した画像生成器モデルを複数用意しても良い。また、後述する分割単位に応じて画像生成器モデルを用意しても良い。
画像生成器モデルの学習は、教師データとして画像とその内容を説明する自然言語による文が一式となったサンプルデータを多数必要となる。一般的には、ニュースサイトなどの画像とそれに付随する説明文を収集して作成することが多い。
ここで、文の長さは可変長であるが、文という単位で学習モデルに入力するのであれば、学習データとして用いられた文の長さよりも多少短いあるいは長くても、連想画像を得ることが可能である。
【００２９】
上述の第１及び第２の作成方法では文単位、すなわち句点等の区切り文字を基準とした分割単位での入力を例としているが、文より短い分割単位（単語単位、文節単位等）あるいは文より長い分割単位（段落単位等）での入力による連想画像作成を行うようにしてもよい。また、連想画像を作成したい文だけでは代名詞が何を指すか等の情報が不足する場合があるため、必要に応じて周囲の文の情報も含めて連想画像を作成するようにしてもよい。
【００３０】
図１に戻り、表示部１０４は、文字認識結果の文と、連想画像作成部１０３が作成した連想画像、さらに必要に応じて元の文字画像のそれぞれを対応付けてディスプレイ等に表示する。このディスプレイは、液晶表示装置や有機ＥＬ（エレクトロルミネッセンス）表示装置等を用いることができ、このようなディスプレイを表示部１０４の外部に設けられていてもよいし、表示部１０４に備えられていてもよい。また、このようなディスプレイと後述する操作入力部１０５を組み合わせてタッチパネルによって構成するようにしてもよい。
【００３１】
ここで、対応付けの方法は、文字認識結果として得られた文字情報を連想画像とともに表示することで対応関係を把握できるようになっていてもよいし、文字認識結果を連想画像と元の文字画像とともに表示するようにしてもよい。ここでは文字認識結果は、単語、語句、文、文章のいずれであってもよい。また、対応付けの方法として、文字認識結果の文と、元の文字画像とのそれぞれの注目部分をハイライト表示しつつ、この注目部分に対応する連想画像を表示する方法や、文字認識結果の文と元の文字画像及びそれらに対応する連想画像を並列で（並べて）表示する方法であってもよい。前述した分割単位に応じて、現在表示している連想画像が文字認識結果のどの部分を指しているかを比較しやすい形で表示することが望ましい。
また、表示部１０４は、文字認識結果の文と連想画像に対して元の文字画像を表示する場合には、元の文字画像のうち、文字認識結果の文に対応する領域を拡大表示してもよいし、元の文字画像のうち、文字認識結果の文に対応する領域をトリミングして表示してもよい。元の文字画像を表示する場合、表示部１０４は、元の文字画像の表示サイズと文字認識結果の文の文字サイズとが同じサイズとなるように、表示サイズと文字サイズのうち少なくともいずれか一方を拡大または縮小表示するようにしてもよい。表示サイズと文字サイズとが同じまたはほぼ同一となる大きさで表示することで、オペレータに対して効率的に確認作業をしてもらうことが可能となる。
ここでは、文字認識結果の文や元の文字画像を表示する際に、文そのものではなく、文を構成する語句の一部とその語句に対応する元の文字画像を表示するようにしてもよい。
【００３２】
図６は、表示部１０４によってディスプレイ２０９に、元の文字画像２１０と、文字認識結果２１１と、連想画像２１２とが表示された例を示す図である。
この図において、「烏龍茶を飲む」という文字が画像で表現された元の文字画像２１０と、「鳥龍茶を飲む」との文字列である文字認識結果２１１と、連想画像２１２とが、画面の上部側から下部側に順に並んで表示される。
この表示画面では、「烏龍茶を飲む」という文字が画像で表現された元の文字画像２１０に対し、「烏龍茶（ウーロンチャ）」のうち「烏（からす）」の文字がＯＣＲ処理の際に「鳥（とり）」に誤認識されており、その結果、「鳥（とり）龍茶を飲む」という文字認識結果２１１が表示されている。そして、連想画像作成部１０３が作成した「鳥龍茶を飲む」の連想画像２１２を例として示している。ここでは、文字認識結果２１１は、
「烏龍（ウーロン）茶を飲む」という文字画像が「鳥（とり）龍茶を飲む」という文字列として認識されているため、連想画像作成部１０３は、「鳥（とり）龍茶を飲む」という文字列に対応した画像を生成している。より具体的に、連想画像作成部１０３は、連想画像用データ記憶部１０７を参照することで、「烏龍（ウーロン）茶を飲む」という文のうち、「烏龍（ウーロン）茶」という語句に対応する１つの画像を得ることができるが、ＯＣＲ処理において「鳥（とり）龍茶」として誤認識されているため、「鳥（とり）龍茶を飲む」という文字認識結果２１１について、「鳥」、「龍」、「茶」、「を」、「飲む」と分かち書き（形態素解析）され、上述の画像生成器モデルにより連想画像２１２が作成される。これにより、ＯＣＲ処理における誤認識がなければ、連想画像作成部１０３は、通常の「烏龍茶（ウーロンチャ）を飲む」という文に基づき、人がウーロンチャを飲む連想画像が作成されるが、ここでは、誤認識により「鳥（とり）龍茶を飲む」になってしまっており、「鳥（とり）龍茶」という単語が存在しないため、形態素解析の際に、「鳥」、「龍」、「茶」に分割された結果、「鳥」と「龍」が「茶（日本茶）を飲む」連想画像２１２が作成される。これにより、この画面を確認した修正者（オペレータ）は、烏龍茶の画像ではなく、鳥と龍が茶を飲む画像が表示されていることから、「烏龍茶」として正しく文字認識されたのではなく、「烏（からす）」が「鳥（とり）」に誤認識されてしまっていることに気づくことができる。ここでは、ＯＣＲ処理により得られた文字列のみではなく、連想画像２１２を手がかりにしてＯＣＲ処理の結果を確認することができるため、オペレータは、効率的にチェックを行うことができ、また、継続してチェックを行ったとしても、文字列のみを確認する場合に比べて疲労感を低減することができる。
【００３３】
この例のように、オペレータは、文字だけでは一見して誤認識を見分けづらい認識結果に対しても、連想画像を参照することで誤認識されている部分を認識しやすい。また、文字同士を注意深く逐次比較して誤認識を探す作業に比べ、文と画像の内容を比較・確認する作業は直感的に判断できるため修正者の負担が少なく、修正を効率的に行える。
【００３４】
図１に戻り、操作入力部１０５は、例えばオペレータ等の操作者からの操作入力を受け付ける。この操作入力部１０５は、キーボード、マウス、タッチパネル等のうちいずれか１つまたは複数を組み合わせて用いることができる。
【００３５】
修正部１０６は、修正者が表示部１０４で表示された文字情報と連想画像を目視確認し、修正が必要と判断した部分に対して操作入力部１０５を介して操作入力された内容に基づく修正指示に応じて文字認識結果を修正する。ここでは、表示部１０４には、文字情報と連想画像の他に、元の文字画像が表示されていてもよい。
文字情報に対する修正の一般的な方法として、修正が必要な部分をマウスクリックで選択し、キーボードにより正しい文字を入力して上書きすることで修正する方法が考えられる。ここでは上書きではなく、修正が必要な部分を削除し、正しい文字列を追加入力することで修正されてもよい。
【００３６】
連想画像用データ記憶部１０７は、図４Ａや図４Ｂを用いて説明したように連想画像を作成するために必要なデータが書き込まれて記憶されている。例えば、連想画像用データ記憶部１０７は、語句・画像データテーブルと加工ルールとのデータまたは、画像生成器モデルを記憶する。
この連想画像用データ記憶部１０７は、ハードディスク装置や半導体メモリ装置等の記憶装置を利用することができる。
【００３７】
上述した文字画像入力部１０１、文字認識部１０２、連想画像作成部１０３、表示部１０４、修正部１０６の機能のうち少なくともいずれか１つについて、ＣＰＵ（中央処理装置）等の処理装置もしくは専用の電子回路で構成されるようにしてもよい。
【００３８】
次に、図7は、本実施形態の文字修正支援装置１における認識結果文字修正の動作例を示すフローチャートである。
〈ステップＳ１〉
文字画像入力部１０１は、文字列が記載された書面をスキャナで読み取り、読み取り結果を文字認識する対象の文字画像を生成する。文字画像入力部１０１は、他の装置によって生成された文字画像を入力してもよい。
【００３９】
〈ステップＳ２〉
文字認識部１０２は、ステップＳ１で生成された文字画像に対して文字認識処理を行い、文字認識結果を出力する。この際、出力される文字群は文字間の前後関係が保たれた、文の形式になっている。
【００４０】
〈ステップＳ３〉
連想画像作成部１０３は、ステップＳ２で出力された文字認識結果の文、あるいは後述するステップＳ６で修正された文字認識結果の文を入力し、その内容に応じた連想画像を作成する。ここでは、文字認識処理がなされた段階であるので、文字認識結果の文に応じた連想画像を作成する。この際、一連の文字認識結果の文章に対し、適当な分割単位（単語、文節、文あるいは段落等）で分割し、分割単位のそれぞれに対して連想画像を作成する。例えば、語句・画像データテーブルを用いて連想画像を生成する場合、単語に対応する連想画像を読み出して、文字認識結果の文に対して構文解析された結果に基づく加工ルールに従って合成処理された連想画像を作成する。また、画像生成器モデルを用いる場合には、文字認識結果の文に対して形態素解析された結果を用いて画像生成器モデルを用いて連想画像を作成する。
ここでは、文字認識結果の文が複数の文である場合には、それぞれの文に対して連想画像が作成される。
【００４１】
〈ステップＳ４〉
表示部１０４は、文字認識結果の文と、ステップＳ３で作成した連想画像、さらに必要に応じて元の文字画像のそれぞれを対応付けてディスプレイ等に表示する。この際、文が複数ある場合には、１つの画面内に全ての結果を表示してもよいが、文の数や文字数によっては、ディスプレイの表示領域が限られているため、１文毎に表示するようにしてもよいし、ステップＳ３で用いた分割単位毎に表示することが望ましい。例えば、操作者によって操作入力部１０５から、「次へ」等のボタンがクリックされる毎に、次の文あるいは次の分割単位の文字列について、文字認識結果の文と、ステップＳ３で作成した連想画像、さらに必要に応じて元の文字画像を順に表示するようにしてもよい。
【００４２】
〈ステップＳ５〉
修正者は、ステップＳ４で表示部１０４に表示された文字認識結果の文、連想画像、元の文字画像を比較しつつ、連想画像を手がかりにして確認し、現在確認している文字認識結果において修正が必要かどうか判断し、修正が必要と判断した場合はステップＳ６に、修正が不要と判断した場合はステップＳ７に処理を進めるよう指示する。
【００４３】
〈ステップＳ６〉
修正者は修正が必要と判断した部分に対して、操作入力部１０５を介して修正指示を入力する。修正部１０６は、入力された修正指示に従って文字認識結果のうち少なくとも一部に対して正しい文字を入力することで修正する。修正者による修正入力が終了すると、ステップＳ３に移行する。連想画像作成部１０３は、文字認識結果のうち修正された部分と、必要ならばその修正された部分の周囲を含む部分の文字認識結果を用いて再度、連想画像を作成する。これにより、連想画像、修正後の文字認識結果、元の文字画像を参照することで、修正後の文字認識結果について正しく修正できたか否かについて確認することができる。
【００４４】
〈ステップＳ７〉
ステップＳ２において得られた文字認識結果のうち、修正者が確認していない文字認識結果が残っている場合、連想画像作成部１０３は、修正者から「次へ」等のボタンがクリックされることで、ステップＳ４に処理を移行し、次の確認されていない文字認識結果について、連想画像を作成して表示する。そして、「次へ」のボタンがクリックされる毎にステップＳ４、ステップＳ５、ステップＳ７の処理が行われ、修正がある場合には、ステップＳ６、ステップＳ３の処理が行われる。そして、修正者がステップＳ２において得られた文字認識結果を全て確認し、これ以上の修正が不要と判断した場合、操作入力部１０５を介して「確認終了」等のボタンがクリックされると、ステップＳ８に処理を進める。
【００４５】
〈ステップＳ８〉
確認・修正済みの文字認識結果として文章のデータを出力し、処理を終了する。この出力は、文書ファイルフォーマットに従った形式の文書データを記憶装置に書き込んだり、その文書データを外部の装置にネットワーク等を介して送信したり、画面上に表示することも可能である。
【００４６】
上述した構成により、本実施形態によれば、誤り文字を含む可能性がある文の誤り文字を修正する際、文の内容に対応する連想画像を生成し、文の内容と連想画像の両方を表示画面に表示することで、文の内容とその文から連想される画像とを比較確認することが可能となる。これにより、連想画像を手がかりにして文字認識結果を確認することができるため、誤り文字の見落としが少なく効率的な文字修正が可能な文字修正支援システム、文字修正方法及びプログラムを提供することが可能となる。
【００４７】
より具体的には、文字認識結果として得られた文章を校正する場合、元の画像と文字認識結果を単純に比較して確認すると、特に外観が類似する文字同士を比較して、一致するか否かを確認することは、精神的に疲労の度合いが高い。そのため、確認作業を続けると集中力が下がり、校正の精度も低下する。特に、ＯＣＲ処理によって得られた文字認識結果は、外観が類似するが異なる文字を文字認識結果として得てしまう誤認識が生じやすい。
しかし、上述した実施形態によれば、文字認識結果としてのテキストと連想画像としての絵を並べて画面上に表示するようにしたので、テキスト同士を並べて表示された内容を基に確認する場合に比べて、テキストと絵を用いて確認するようにしたので、テキスト同士を比べる場合に比べてわかり易い。また、テキスト同士を比べて確認すると、ＯＣＲ処理を行ったことによって誤認識されてしまった文字について、文字の外観に基づく確認をすると、文字の細部における細かな違いを気づきにくいが、誤認識された文字認識結果については、外観では細かな違いであっても、文字が表す意味は大きく異なる。そのため、誤認識された文字認識結果に基づく画像は、元の文字画像に含まれる文字の概念や意味とは全く異なる概念の画像が表示されるようになり、これにより、修正者にとっては意外な画像として認識される。そのため、修正者は、連想画像に基づく確認を行うことで、文に含まれる文字の誤りを直感的にも把握し易い。
【００４８】
また、上述した例では、ＯＣＲの処理の際に「烏龍（ウーロン）茶」が「鳥（とり）龍茶」のように、外観が類似している文字に誤認識された例を説明したが、「特に」等の文字列についてＯＣＲ処理をした際に、「特」の文字が「牛」と「寺」に分かれて認識されてしまう誤認識も生じ得る。このような場合、例えば、「特」という単語に対する連想画像が表示されるとともに、「牛」の画像と「寺」の画像が表示されることで、１つの文字として認識されるべきところ、２つの文字として分かれて誤認識されてしまったことも簡単に把握できる。また、例えば、「特」に対応する連想画像が連想画像用データ記憶部１０７に登録されていない場合には、「特」に対応する連想画像が表示されないが、このような場合に「牛」の画像と「寺」の画像が表示されることで、画像にならないであろう文が画像になっている場合であっても、誤認識の可能性があるとして意識的に確認をすることができる。
【００４９】
上述した実施形態において、連想画像作成部１０３は、文字認識部１０２によってＯＣＲ処理が行われることで得られた文字認識結果に含まれる語句を対象として連想画像を生成する場合について説明した。しかし、連想画像作成部１０３は、ＯＣＲ処理に基づく文字認識結果ではなく、文書ファイルフォーマットに従った形式の文書データを対象として連想画像を生成するようにしてもよい。例えば、文字画像入力部１０１は、入力されたデータのデータ形式が画像データであるか文書ファイルフォーマットに従った文書データであるかを判定し、画像データである場合には入力されたデータを文字認識部１０２に出力し、文書データである場合には連想画像作成部１０３に出力するようにしてもよい。あるいは、文書データを入力する文書データ入力部を文字修正支援装置１に設け、この文書データ入力部から文章データが入力された場合に、文書データ入力部が連想画像作成部１０３に文書データを出力するようにしてもよい。
これにより、ＯＣＲ処理を行って得られた文だけでなく、第三者によって文書作成ソフト等を利用して作成された文を対象として、文字修正支援装置１を利用して確認や修正を行うことができる。
【００５０】
また、上述した実施形態において、ＯＣＲ処理の際に誤認識し易い文字について予め登録されたリストを文字修正支援装置１内の記憶部に記憶させておき、表示部１０４が表示を行う際に、表示する対象の文字認識結果の中に、リストに記憶された文字がある場合には、その文字について、ハイライトして表示するようにしてもよい。
また、表示部１０４は、表示する対象の文字認識結果の中に、リストに記憶された文字がある場合には、その文字を含む単語と、当該単語に対応する連想画像との関連性がわかるようにして表示するようにしてもよい。例えば、文字認識結果が「烏（からす）」であり、連想画像としてカラスの画像を表示する場合には、文字認識結果の「烏（からす）」の文字と連想画像のカラスの画像とを両方含むようにした図形（例えば矩形）を表示するようにしてもよいし、文字認識結果の「烏（からす）」の文字と連想画像のカラスの画像とをそれぞれ色は同じであるが別の図形で囲むようにしてもよい。これにより、文字認識結果に対して注目してほしい連想画像との関係を簡単に把握しつつ、チェックを行うことができる。
【００５１】
次に、上述した実施形態の他の実施形態である第２実施形態について説明する。
図８は、第２実施形態における文字修正支援装置１Ａの構成を示す概略ブロック図である。この図において、図１に示す文字修正支援装置１と共通の機能については同じ符号を付し、その説明を省略し、文字修正支援装置１と異なる機能について説明する。
操作入力部１０５Ａは、操作入力部１０５の機能を有するとともに、単語単位モードか文章単位モードのうちいずれのモードを利用するかを指定する操作入力を修正者（オペレータ）から受け付ける。
ここで、単語単位モードとは、連想画像を作成する対象の文のうち単語単位に対応する連想画像を作成するモードである。文章単位モードとは、連想画像を作成する対象の文について、その文の全体を基にした連想画像を作成するモードである。
オペレータは、表示部１０４によって画面上に表示された「単語単位モード」と「文章単位モード」のいずれかを選択する選択肢から選択入力を操作入力部１０５Ａを介して入力する。この選択は、「単語単位モード」と「文章単位モード」のボタンのいずれかをクリックすることで選択入力されてもよいし、いずれかを選択するラジオボタンから入力してもよいし、プルダウンメニューから選択してもよい。
【００５２】
連想画像作成部１０３Ａは、操作入力部１０５Ａによって選択されたモードに従って連想画像を作成する。
例えば、「文章単位モード」が選択されている場合、連想画像作成部１０３は、「木の上でカラスが鳴いている」という文が入力された場合、この文を対象として構文解析を行って合成画像を生成したり（図３）、あるいは、形態素解析を行って画像生成器モデルを用いて合成画像を生成する（図５）。これにより、文の全体が表す意味が考慮された合成画像が生成され表示部１０４によって、文字認識結果の文とともに表示される。
一方、「単語単位モード」が選択されている場合、連想画像作成部１０３は、「木の上でカラスが鳴いている」という文が入力された場合、この文に対して形態素解析を行って得られる形態素に基づく語句のそれぞれまたは、語句のうちキーワードを対象として連想画像を作成して表示部１０４に表示する。
【００５３】
このように、「単語単位モード」と「文章単位モード」のうちいずれかを選択してもらい、選択されたモードに対応して連想画像を作成することで、修正者は、単語を中心に文をチェックしたいのか、あるいは、文章全体として誤りがあるか否かのチェックを行いたいのかを、場合に応じて選択することができる。
例えば、文に登場する単語が誤りやすい傾向にある文章については、「単語単位モード」を選択することで、単語に焦点をあてたチェックをすることができる。例えば、ＯＣＲ処理の際に誤認識されやすい文字が含まれた単語が多く含まれる文をチェックする場合には、「単語単位モード」を選択することで、単語を中心にチェックをすることができる。単語ではない部分については、通常どおり、文字認識結果の文字列と、元の文字画像とを比較してチェックを行うことが可能である。
また、「単語単位モード」を利用する場合には、単体の連想画像を１つまたは複数並べて表示するだけですみ、「文章単位モード」のように連想画像同士を合成することがないため、処理負荷を軽減し、処理速度を高速にすることが可能である。
【００５４】
一方、文全体についてチェックを行う場合には、「文章単位モード」を選択することで、文全体として誤りを含んでいるか否かをチェックすることができる。例えば、アルファベットの小文字の「ｏ」を含む文や、文の末尾にある句読点の「。」について、誤認識がされていないかをチェックすることが可能となる。句読点の「。」がアルファベットの小文字の「ｏ」に誤認識された場合には、アルファベットの小文字の「ｏ」については、文の終わりを意味しないため、アルファベットの小文字の「ｏ」の前後の文が別の文であるにもかかわらず１つの文として文字認識結果として得られることになる。そしてその文を基に合成画像が作成された場合には、想定外の画像が表示されるため、文として接続関係に誤りがあり、文として分けるべき箇所で分けられていないことに簡単に気づくことができる。また、アルファベットの小文字の「ｏ」が句読点の「。」に誤認識された場合には、句読点の「。」の前後が別の文として文字認識結果が得られることになる。そしてその文を基に合成画像が生成された場合には、１つの合成画像として表示されるべきところ、２つの合成画像に分けて表示されるため、文として接続関係に誤りがあり、１文として記載されるべきところ、２文に分けられていることに気づくことができる。
【００５５】
以上説明した実施形態において、文字修正支援装置１として説明したが、文字修正支援装置１の構成の一部を通信可能な他の筐体の備えるようにし、文字修正支援システムとして構成するようにしてもよい。すなわち、文字修正支援装置１の一部の機能を１つまたは複数の他の筐体に設け、それらを通信可能に接続し、上述した文字修正支援装置１の機能を１つのシステムとして実現するようにしてもよい。
【００５６】
上述した実施形態における文字修正支援装置１または文字修正支援装置１Ａをコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
【００５７】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００５８】
１、１Ａ…文字修正支援装置
１０１…文字画像入力部
１０２…文字認識部
１０３、１０３Ａ…連想画像作成部
１０４…表示部
１０５、１０５Ａ…操作入力部
１０６…修正部
１０７…連想画像用データ記憶部
２０１…文字画像
２０２…文字画像
２０３…文字群
２０４…文字群
２０５…文字認識結果文
２０６…係り受け構造
２０７…連想画像
２０８…分かち書きデータ
２０９…ディスプレイ
２１０…文字画像
２１１…文字認識結果
２１２…連想画像
【図１】
2020052778.tif 000003
【図２】
2020052778.tif 000004
【図３】
2020052778.tif 000005
【図４Ａ】
2020052778.tif 000006
【図４Ｂ】
2020052778.tif 000007
【図５】
2020052778.tif 000008
【図６】
2020052778.tif 000009
【図７】
2020052778.tif 000010
【図８】
2020052778.tif 000011