(57)【要約】【課題】文字情報と文字画像が混在している文書の文字画像を認識する場合において、文字画像を単独で認識する場合に比べて認識率を向上させるようにした画像処理装置を提供する。【解決手段】画像処理装置の文書受付手段は、文字情報と文字画像が混在している文書を受け付け、文字情報抽出手段は、前記文書受付手段によって受け付けられた文書から文字情報を抽出し、文字画像抽出手段は、前記文書受付手段によって受け付けられた文書から文字画像を抽出し、文字認識手段は、文字画像を認識し、文字認識制御手段は、前記文字画像抽出手段によって抽出された文字画像の周辺に位置する文字情報に基づいて、該文字画像を前記文字認識手段に認識させるように制御し、文書整形手段は、前記文字情報抽出手段によって抽出された文字情報と前記文字認識手段による認識結果に基づいて、前記文書を整形する。【選択図】図１
2011060268.tif 000002
【特許請求の範囲】
【請求項１】
文字情報と文字画像が混在している文書を受け付ける文書受付手段と、
前記文書受付手段によって受け付けられた文書から文字情報を抽出する文字情報抽出手段と、
前記文書受付手段によって受け付けられた文書から文字画像を抽出する文字画像抽出手段と、
文字画像を認識する文字認識手段と、
前記文字画像抽出手段によって抽出された文字画像の周辺に位置する文字情報に基づいて、該文字画像を前記文字認識手段に認識させるように制御する文字認識制御手段と、
前記文字情報抽出手段によって抽出された文字情報と前記文字認識手段による認識結果に基づいて、前記文書を整形する文書整形手段
を具備することを特徴とする画像処理装置。
【請求項２】
前記文字情報に対して形態素解析を行い、前記文字画像を含めた文字列を抽出する文字列抽出手段
をさらに具備し、
前記文字認識制御手段は、前記文字列抽出手段によって抽出された文字列毎に該文字列に含まれる文字画像を前記文字認識手段に認識させるように制御する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記文字列抽出手段によって抽出された文字列のうち前記文字画像を含む該文字列を構成する文字情報に基づいて、文字画像を生成する文字画像生成手段
をさらに具備し、
前記文字認識制御手段は、前記文字画像生成手段によって生成された文字画像を含めて文字画像抽出手段によって抽出された文字画像を前記文字認識手段に認識させるように制御する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記文字認識制御手段は、同じ文字画像を含む文字列に対する認識結果に基づいて、前記文字認識手段による文字認識結果を修正する
ことを特徴とする請求項２又は３に記載の画像処理装置。
【請求項５】
前記文字認識制御手段は、文字画像を含む数が少ない前記文字列から先に前記文字認識手段に認識させ、該認識の結果に基づいて、他の文字列を該文字認識手段に認識させるように制御する
ことを特徴とする請求項２から４のいずれか一項に記載の画像処理装置。
【請求項６】
コンピュータを、
文字情報と文字画像が混在している文書を受け付ける文書受付手段と、
前記文書受付手段によって受け付けられた文書から文字情報を抽出する文字情報抽出手段と、
前記文書受付手段によって受け付けられた文書から文字画像を抽出する文字画像抽出手段と、
文字画像を認識する文字認識手段と、
前記文字画像抽出手段によって抽出された文字画像の周辺に位置する文字情報に基づいて、該文字画像を前記文字認識手段に認識させるように制御する文字認識制御手段と、
前記文字情報抽出手段によって抽出された文字情報と前記文字認識手段による認識結果に基づいて、前記文書を整形する文書整形手段
として機能させることを特徴とする画像処理プログラム。
【請求項７】
文字情報と文字画像が混在し得る文書を受け付ける文書受付手段と、
前記文書受付手段によって受け付けられた文書から文字画像を抽出する文字画像抽出手段と、
前記文字画像抽出手段によって抽出された文字画像の前記文書内における位置又は該文書内の空白に関する空白情報に基づいて、空白に囲まれた文字列の画像を生成する文字列画像生成手段と、
文字画像を認識する文字認識手段と、
前記文字画像抽出手段によって抽出された文字画像を一意に識別する文字画像識別符号の出現頻度に基づいた順序によって、前記文字列画像生成手段によって生成された文字列の画像を前記文字認識手段に認識させるように制御する文字認識制御手段と、
前記文字認識手段による認識結果に基づいて、前記文書を整形する文書整形手段
を具備することを特徴とする画像処理装置。
【請求項８】
前記文書受付手段によって受け付けられた文書から文字情報を抽出する文字情報抽出手段と、
前記文字情報抽出手段によって抽出された文字情報の数、又は該文字情報の数と文字画像抽出手段によって抽出された文字画像の数との比率に基づいて、前記文字列画像生成手段による処理をさせるか否かを判断する判断手段
を具備し、
前記文書整形手段は、前記文字情報抽出手段によって抽出された文字情報と前記文字認識手段による認識結果に基づいて、前記文書を整形する
ことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記文字認識制御手段は、同じ文字画像を含む文字列の画像に対する認識結果に基づいて、前記文字認識手段による文字認識結果を修正する
ことを特徴とする請求項７又は８に記載の画像処理装置。
【請求項１０】
前記文字認識制御手段は、文字列の画像に対する前記文字認識手段による文字画像の文字認識結果に基づいて、該文字画像を含む他の文字列の画像を該文字認識手段に認識させる
ことを特徴とする請求項７から９のいずれか一項に記載の画像処理装置。
【請求項１１】
前記文字認識制御手段は、不明文字の数が少ない前記文字列の画像から先に前記文字認識手段に認識させ、該認識の結果に基づいて、他の文字列の画像を該文字認識手段に認識させるように制御する
ことを特徴とする請求項７から１０のいずれか一項に記載の画像処理装置。
【請求項１２】
コンピュータを、
文字情報と文字画像が混在し得る文書を受け付ける文書受付手段と、
前記文書受付手段によって受け付けられた文書から文字画像を抽出する文字画像抽出手段と、
前記文字画像抽出手段によって抽出された文字画像の前記文書内における位置又は該文書内の空白に関する空白情報に基づいて、空白に囲まれた文字列の画像を生成する文字列画像生成手段と、
文字画像を認識する文字認識手段と、
前記文字画像抽出手段によって抽出された文字画像を一意に識別する文字画像識別符号の出現頻度に基づいた順序によって、前記文字列画像生成手段によって生成された文字列の画像を前記文字認識手段に認識させるように制御する文字認識制御手段と、
前記文字認識手段による認識結果に基づいて、前記文書を整形する文書整形手段
として機能させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
特許文献１には、紙文書等の原稿を再利用・再編集が容易な形式のデータとして取得することができる画像処理システム及び画像処理方法を提供することを課題とし、原稿を読み取ってイメージ情報を取得し、その特徴を認識し、そして、認識された特徴に応じてイメージ情報を文字コード化、ベクトルデータに変換、又は所定の画像形式に変換し、この際、イメージ情報の特徴を認識する際に用いるパラメータを可変設定するとともに、設定されたパラメータに応じて文字処理、ベクトル化、画像変換の各動作を制御することが開示されている。
【０００３】
特許文献２には、他の文字列の評価項目を適切に用い、より対象文書の特徴を示すキーワードを精度よく抽出するキーワード抽出装置を提供することを課題とし、入力部で対象文書データが取り込まれ、対象文書データから文書中の構成要素に基づき文書形式が決定され、対象文書データからレイアウト情報、フォントサイズ情報及び出現頻度情報を生成し、条件部が対象文書の形態素の位置、フォントサイズ及び出現頻度の評価項目要素の評価項目状態であり、条件部がキーワードであるか否かであり、文書形式毎にある知識を有するプロダクションシステムのワーキングメモリに対象文書のレイアウト情報、フォントサイズ情報及び出現頻度情報を入力し、プロダクションシステムが推論を実行するので、まず対象文書の文書形式を求め、対象文書のレイアウト情報、フォントサイズ情報及び出現頻度情報を用いて推論を実行しており、対象文書のプロダクションルールのみを選定でき、正確な推論を実行してキーワードを抽出できることが開示されている。
【０００４】
特許文献３には、電子文書内にフォントデータを格納するようにした場合、ファイルサイズが増加してしまうという問題があったことを課題とし、文書画像内の文字画像を文字認識し、当該文書画像上に該文字認識結果を透明色で描画させる電子文書を生成し、これにより、検索時に文書画像上で検索キーワードに対応する部分を特定することが可能な電子文書となり、この電子文書を生成する際、該文字認識結果を描画する際に利用するフォントデータとして、単純な字形からなるフォントデータを複数の字種に対して共通利用させるように記述し、したがって、電子文書内にフォントデータを保存しなければならない場合であっても、ファイルサイズの増加が小さくてすみ、また、単純な字形で描画することによってフォントデータ自体のデータ容量も少なくてすむことが開示されている。
【０００５】
特許文献４には、電子文書内にフォントデータを格納するようにした場合、ファイルサイズが増加してしまうという問題があり、また、描画する透明テキストの位置が、文書画像中の各文字画像の位置と合うようにしたいが、全ての文字に対して描画位置を座標指定すると、ファイルサイズが大きくなってしまうことを課題とし、文書画像内の文字画像を文字認識し、当該文書画像上に該文字認識結果を透明色で描画させる電子文書を生成し、これにより、検索時に文書画像上で検索キーワードに対応する部分を特定することが可能な電子文書となり、この電子文書を生成する際、文書画像と、文字認識処理で得た複数の文字コードと、前記複数の文字コードに対応する文字を透明色で描画する際に複数の字種で共通利用させるための複数種類の字形データと、前記文字コードの描画の際に使用する字形データの種類を示すデータとを格納した電子文書を生成することが開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−１４９０９６号公報
【特許文献２】特開２００６−３０９３４７号公報
【特許文献３】特開２００９−００９５２６号公報
【特許文献４】特開２００９−００９５２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、文字情報と文字画像が混在している文書の文字画像を認識する場合において、文字画像を単独で認識する場合に比べて認識率を向上させるようにした画像処理装置及び画像処理プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００８】
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項１の発明は、文字情報と文字画像が混在している文書を受け付ける文書受付手段と、前記文書受付手段によって受け付けられた文書から文字情報を抽出する文字情報抽出手段と、前記文書受付手段によって受け付けられた文書から文字画像を抽出する文字画像抽出手段と、文字画像を認識する文字認識手段と、前記文字画像抽出手段によって抽出された文字画像の周辺に位置する文字情報に基づいて、該文字画像を前記文字認識手段に認識させるように制御する文字認識制御手段と、前記文字情報抽出手段によって抽出された文字情報と前記文字認識手段による認識結果に基づいて、前記文書を整形する文書整形手段を具備することを特徴とする画像処理装置である。
【０００９】
請求項２の発明は、前記文字情報に対して形態素解析を行い、前記文字画像を含めた文字列を抽出する文字列抽出手段をさらに具備し、前記文字認識制御手段は、前記文字列抽出手段によって抽出された文字列毎に該文字列に含まれる文字画像を前記文字認識手段に認識させるように制御することを特徴とする請求項１に記載の画像処理装置である。
【００１０】
請求項３の発明は、前記文字列抽出手段によって抽出された文字列のうち前記文字画像を含む該文字列を構成する文字情報に基づいて、文字画像を生成する文字画像生成手段をさらに具備し、前記文字認識制御手段は、前記文字画像生成手段によって生成された文字画像を含めて文字画像抽出手段によって抽出された文字画像を前記文字認識手段に認識させるように制御することを特徴とする請求項２に記載の画像処理装置である。
【００１１】
請求項４の発明は、前記文字認識制御手段は、同じ文字画像を含む文字列に対する認識結果に基づいて、前記文字認識手段による文字認識結果を修正することを特徴とする請求項２又は３に記載の画像処理装置である。
【００１２】
請求項５の発明は、前記文字認識制御手段は、文字画像を含む数が少ない前記文字列から先に前記文字認識手段に認識させ、該認識の結果に基づいて、他の文字列を該文字認識手段に認識させるように制御することを特徴とする請求項２から４のいずれか一項に記載の画像処理装置である。
【００１３】
請求項６の発明は、コンピュータを、文字情報と文字画像が混在している文書を受け付ける文書受付手段と、前記文書受付手段によって受け付けられた文書から文字情報を抽出する文字情報抽出手段と、前記文書受付手段によって受け付けられた文書から文字画像を抽出する文字画像抽出手段と、文字画像を認識する文字認識手段と、前記文字画像抽出手段によって抽出された文字画像の周辺に位置する文字情報に基づいて、該文字画像を前記文字認識手段に認識させるように制御する文字認識制御手段と、前記文字情報抽出手段によって抽出された文字情報と前記文字認識手段による認識結果に基づいて、前記文書を整形する文書整形手段として機能させることを特徴とする画像処理プログラムである。
【００１４】
請求項７の発明は、文字情報と文字画像が混在し得る文書を受け付ける文書受付手段と、前記文書受付手段によって受け付けられた文書から文字画像を抽出する文字画像抽出手段と、前記文字画像抽出手段によって抽出された文字画像の前記文書内における位置又は該文書内の空白に関する空白情報に基づいて、空白に囲まれた文字列の画像を生成する文字列画像生成手段と、文字画像を認識する文字認識手段と、前記文字画像抽出手段によって抽出された文字画像を一意に識別する文字画像識別符号の出現頻度に基づいた順序によって、前記文字列画像生成手段によって生成された文字列の画像を前記文字認識手段に認識させるように制御する文字認識制御手段と、前記文字認識手段による認識結果に基づいて、前記文書を整形する文書整形手段を具備することを特徴とする画像処理装置である。
【００１５】
請求項８の発明は、前記文書受付手段によって受け付けられた文書から文字情報を抽出する文字情報抽出手段と、前記文字情報抽出手段によって抽出された文字情報の数、又は該文字情報の数と文字画像抽出手段によって抽出された文字画像の数との比率に基づいて、前記文字列画像生成手段による処理をさせるか否かを判断する判断手段を具備し、前記文書整形手段は、前記文字情報抽出手段によって抽出された文字情報と前記文字認識手段による認識結果に基づいて、前記文書を整形することを特徴とする請求項７に記載の画像処理装置である。
【００１６】
請求項９の発明は、前記文字認識制御手段は、同じ文字画像を含む文字列の画像に対する認識結果に基づいて、前記文字認識手段による文字認識結果を修正することを特徴とする請求項７又は８に記載の画像処理装置である。
【００１７】
請求項１０の発明は、前記文字認識制御手段は、文字列の画像に対する前記文字認識手段による文字画像の文字認識結果に基づいて、該文字画像を含む他の文字列の画像を該文字認識手段に認識させることを特徴とする請求項７から９のいずれか一項に記載の画像処理装置である。
【００１８】
請求項１１の発明は、前記文字認識制御手段は、不明文字の数が少ない前記文字列の画像から先に前記文字認識手段に認識させ、該認識の結果に基づいて、他の文字列の画像を該文字認識手段に認識させるように制御することを特徴とする請求項７から１０のいずれか一項に記載の画像処理装置である。
【００１９】
請求項１２の発明は、コンピュータを、文字情報と文字画像が混在し得る文書を受け付ける文書受付手段と、前記文書受付手段によって受け付けられた文書から文字画像を抽出する文字画像抽出手段と、前記文字画像抽出手段によって抽出された文字画像の前記文書内における位置又は該文書内の空白に関する空白情報に基づいて、空白に囲まれた文字列の画像を生成する文字列画像生成手段と、文字画像を認識する文字認識手段と、前記文字画像抽出手段によって抽出された文字画像を一意に識別する文字画像識別符号の出現頻度に基づいた順序によって、前記文字列画像生成手段によって生成された文字列の画像を前記文字認識手段に認識させるように制御する文字認識制御手段と、前記文字認識手段による認識結果に基づいて、前記文書を整形する文書整形手段として機能させることを特徴とする画像処理プログラムである。
【発明の効果】
【００２０】
請求項１の画像処理装置によれば、文字情報と文字画像が混在している文書の文字画像を認識する場合において、文字画像を単独で認識する場合に比べて認識率を向上させることができる。
【００２１】
請求項２の画像処理装置によれば、本構成を有していない場合に比較して、文字認識の認識率を向上させることができる。
【００２２】
請求項３の画像処理装置によれば、文字認識手段が、文字画像だけを受け付けて文字認識を行う場合であっても、文字画像を単独で認識する場合に比べて、認識率を向上させることができる。
【００２３】
請求項４の画像処理装置によれば、同じ文字画像に対して異なった文字認識結果となることを抑制することができる。
【００２４】
請求項５の画像処理装置によれば、文字認識結果を他の文字列の文字認識処理に適用することができる。
【００２５】
請求項６の画像処理プログラムによれば、文字情報と文字画像が混在している文書の文字画像を認識する場合において、文字画像を単独で認識する場合に比べて認識率を向上させることができる。
【００２６】
請求項７の画像処理装置によれば、文字情報と文字画像が混在し得る文書の文字画像を認識する場合において、文字画像を単独で認識する場合に比べて認識率を向上させることができる。
【００２７】
請求項８の画像処理装置によれば、本構成を有していない場合に比較して、文字情報の数又は文字情報の数と文字画像の数との比率に適した処理を行うことができる。
【００２８】
請求項９の画像処理装置によれば、同じ文字画像に対して異なった文字認識結果となることを抑制することができる。
【００２９】
請求項１０の画像処理装置によれば、文字認識結果を他の文字列の文字認識処理に適用することができる。
【００３０】
請求項１１の画像処理装置によれば、本構成を有していない場合に比較して、効率よく文字認識処理を行うことができる。
【００３１】
請求項１２の画像処理プログラムによれば、文字情報と文字画像が混在し得る文書の文字画像を認識する場合において、文字画像を単独で認識する場合に比べて認識率を向上させることができる。
【図面の簡単な説明】
【００３２】
【図１】第１の実施の形態の構成例についての概念的なモジュール構成図である。
【図２】文書の各種の形態の例を示す説明図である。
【図３】文字コード情報テーブルのデータ構造例を示す説明図である。
【図４】埋め込みフォント情報テーブルのデータ構造例を示す説明図である。
【図５】文字画像テーブルのデータ構造例を示す説明図である。
【図６】形態素解析結果の例を示す説明図である。
【図７】接続文字コードを含めた文字画像の例を示す説明図である。
【図８】接続文字コードを文字画像に変換した後に生成した文字画像列の例を示す説明図である。
【図９】第１の実施の形態による処理例を示すフローチャートである。
【図１０】第２の実施の形態の構成例についての概念的なモジュール構成図である。
【図１１】文書の各種の形態の例を示す説明図である。
【図１２】埋め込みフォント情報テーブルのデータ構造例を示す説明図である。
【図１３】文字画像テーブルのデータ構造例を示す説明図である。
【図１４】対象となっている文書の提示例と単語分け結果の例を示す説明図である。
【図１５】第２の実施の形態による処理例を示すフローチャートである。
【図１６】第２の実施の形態による処理例を示すフローチャートである。
【図１７】第２の実施の形態による処理例を示す説明図である。
【図１８】第１及び第２の実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。
【発明を実施するための形態】
【００３３】
以下、図面に基づき本発明を実現するにあたっての好適な各種の実施の形態の例を説明する。
＜第１の実施の形態＞
図１は、第１の実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア（コンピュータ・プログラム）、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、コンピュータ・プログラム、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するの意である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。なお、１つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続（データの授受、指示、データ間の参照関係等）の場合にも用いる。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク（一対一対応の通信接続を含む）等の通信手段で接続されて構成されるほか、１つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態に応じて、又はそれまでの状況・状態に応じて定まることの意を含めて用いる。
【００３４】
第１の実施の形態である画像処理装置は、文字情報と文字画像が混在している文書内の文字画像を認識するものであって、図１に示すように、文書受付モジュール１１０、文字情報抽出モジュール１２０、文字画像抽出モジュール１３０、認識処理モジュール１４０、文書整形モジュール１５０、文書出力モジュール１６０を有している。
【００３５】
文書受付モジュール１１０は、文字情報抽出モジュール１２０、文字画像抽出モジュール１３０と接続されており、文字情報と文字画像が混在している文書１００を受け付け、その文書１００を文字情報抽出モジュール１２０、文字画像抽出モジュール１３０へ渡す。文書１００を受け付けるとは、例えば、ハードディスク（コンピュータに内蔵されているものの他に、ネットワークを介して接続されているもの等を含む）等に記憶されている文書を読み出すこと等が含まれる。受け付ける文書１００は、１枚であってもよいし、複数枚であってもよい。
また、文書１００に記載されている文字の言語はどのような言語であってもよいが、特に２バイトコード系の言語（例えば、日本語、中国語、韓国語等）が適している。これらの言語は、文字種が多いため、全ての文字コードに対応する文字画像を用意できる環境は限られてしまうからである。つまり、一般的には表示できない文字画像を予め文書１００に埋め込んでおこうとするものである。そのため、文字情報と文字画像が混在している文書１００があり得る。以下、日本語を主に例示して説明する。
【００３６】
なお、文書受付モジュール１１０が受け付ける文書１００には、文字情報、文字画像が混在している。つまり、文字情報の一部である文字コードと文字であることは判明しているが文字コードとしては扱えない文字画像を含んでいる。また、場合によっては文字画像以外の画像、動画、音声等の電子データ、又はこれらの組み合わせを有しており、記憶、編集及び検索等の対象となり、システム又は利用者間で個別の単位として交換できるものをいい、これらに類似するものを含む。例えば、文書記述言語で記載されている文書、具体的には、ＰＤＦ（Ｐｏｒｔａｂｌｅ  Ｄｏｃｕｍｅｎｔ  Ｆｏｒｍａｔ）文書が該当する。また、文書１００の内容として、ビジネスに用いられる文書、広告宣伝用のパンフレット等であってもよい。
また、文字情報には、文字コードの他に、文字サイズ、その文字が表示される場合の文書内における位置（座標）、書体等を含んでいてもよい。また、文字画像とは、文字を表示した場合の画像（ラスタライジングした画像）であり、１文字毎に分かれていてもよいし、複数の文字の画像であってもよい。また、文字画像として、その画像の他に、その文字が表示される場合の文書内における位置（座標）等を含んでいてもよい。ただし、文書受付モジュール１１０が受け付ける文書１００内の文字画像には、文字コードは対応していない。
【００３７】
図２は、文書１００の各種の形態の例を示す説明図である。
図２（ａ）は、文書１００をディスプレイ等に表示、紙等の媒体に印刷した場合の提示文書２００の例を示したものである。提示文書２００内は文字だけが提示されているが、この元のデータとしては、文字コード（文書情報）のみでなく、文字画像も含まれている。
【００３８】
図２（ｂ）は、文書１００内の主なデータの例を示したものである。文書内データ２１０として、文字情報である文字コード情報２２０、文字画像である埋め込みフォント情報２３０がある。文字コード情報２２０のデータ構造として、例えば文字コード情報テーブル３００がある。図３は、文字コード情報テーブル３００のデータ構造例を示す説明図である。
文字コード情報テーブル３００は、文書内文字ＩＤ欄３１０、文字コード欄３２０、文字サイズ欄３３０、位置欄３４０、書体欄３５０を有している。
【００３９】
文書内文字ＩＤ欄３１０は、文書内文字ＩＤ（ＩＤｅｎｔｉｆｉｅｒ）を記憶している。文書内文字ＩＤとは、その文書内に存在する文字を一意に識別する符号である。
文字コード欄３２０は、情報交換用に用いられる文字コードを記憶している。図３の例では、ＵＴＦ−８の文字コードを１６進数で表記したものであり、括弧内にその文字を示している。文字コードの種類としては限定するものではなく、ＪＩＳコード、ＥＵＣコード等であってもよい。
文字サイズ欄３３０は、その文字の文書内における文字サイズを記憶している。図３の例では、幅、高さの画素数を示しているが、ポイント数等であってもよい。
位置欄３４０は、その文字の文書内における位置を記憶している。図３の例では、文書の左上を原点とした場合のＸＹ座標を示している。
書体欄３５０は、その文字の書体を記憶している。
【００４０】
図２（ｃ）は、文字コード情報２２０をディスプレイ等に表示、紙等の媒体に印刷した場合の提示文字コード２２５の例を示したものである。この中で、文字として提示されている箇所は、元のデータが文字コードである部分であるが、文字画像２２５−１〜２２５−５は、文字コードが割り振られていない文字画像であることを示している。
【００４１】
図２（ｄ）は、埋め込みフォント情報２３０内の例である埋め込みフォント情報例２３５を示したものである。つまり、文字画像そのものの文字画像２３６とその文字画像２３６を一意に識別する文字画像ＩＤ２３７によって構成されている。
文字画像２３６は、いわゆるラスタ画像（例えば、２値画像）であり、文字の形状を構成する画素塊が含まれている。
文字画像ＩＤ２３７は、情報交換用に用いられる文字コードとは異なり、文書１００内で一意に文字画像２３６を識別し得る符号であればよい。
なお、図２（ｃ）の例に示した提示文字コード２２５内の文字画像２２５−１、文字画像２２５−３に文字画像２３６Ａが、文字画像２２５−２に文字画像２３６Ｂが、文字画像２２５−４に文字画像２３６Ｃが、文字画像２２５−５に文字画像２３６Ｄが、それぞれ埋め込まれる。なお、文字画像２３６Ａのように、同じ文字画像が複数の位置に埋め込まれることがある。
また、同じ文字コードの文字であっても、異なる複数の文字画像が対応している場合がある。例えば、１つの文書１００内において、同じ文字が複数の書体で記載されている場合に起こりえる。したがって、文字画像２３６の認識結果が他の文字画像２３６（もちろん、文字画像ＩＤ２３７が異なる）の認識結果と同じになるということが起こり得る。
【００４２】
埋め込みフォント情報２３０のデータ構造として、例えば埋め込みフォント情報テーブル４００、文字画像テーブル５００がある。図４は、埋め込みフォント情報テーブル４００のデータ構造例を示す説明図である。埋め込みフォント情報テーブル４００は、文書内文字ＩＤ欄４１０、文字画像ＩＤ欄４２０、位置欄４３０を有している。
文書内文字ＩＤ欄４１０は、文書内文字ＩＤを記憶している。
文字画像ＩＤ欄４２０は、その文字画像を一意に識別する文字画像ＩＤを記憶している。同じ文字画像が埋め込まれている場合は、同じ文字画像ＩＤが複数回現れる。例えば、図４の例では、文書内文字ＩＤが「Ｂ００１」、「Ｂ００３」で、文字画像ＩＤとしての「０００００１」が用いられている。
位置欄４３０は、その文字の文書内における位置を記憶している。図３に例示した文字コード情報テーブル３００の位置欄３４０と同等のものである。図４の例では、文書の左上を原点とした場合のＸＹ座標を示している。
【００４３】
図５は、文字画像テーブル５００のデータ構造例を示す説明図である。文字画像テーブル５００は、文字画像ＩＤ欄５１０、文字画像欄５２０を有している。
文字画像ＩＤ欄５１０は、文字画像ＩＤを記憶している。
文字画像欄５２０は、文字画像そのものを記憶している。
例えば、文字コード情報テーブル３００、埋め込みフォント情報テーブル４００、文字画像テーブル５００を用いて、図２（ａ）に例示した提示文書２００を提示する。具体的には、提示文書２００を提示する計算機は、文字コード情報テーブル３００の文字コード欄３２０内の文字コードをその計算機が用意しているフォントファイルを用いて文字画像を生成し、位置欄３４０を用いて文書内に配置し、埋め込みフォント情報テーブル４００の文字画像ＩＤ欄４２０が示す文字画像を文字画像テーブル５００から抽出して、位置欄４３０を用いて文書内に配置する。
【００４４】
文字情報抽出モジュール１２０は、文書受付モジュール１１０、認識処理モジュール１４０と接続されており、文書受付モジュール１１０によって受け付けられた文書１００から文字情報を抽出する。
文字画像抽出モジュール１３０は、文書受付モジュール１１０、認識処理モジュール１４０と接続されており、文書受付モジュール１１０によって受け付けられた文書１００から文字画像を抽出する。
【００４５】
認識処理モジュール１４０は、文字情報抽出モジュール１２０、文字画像抽出モジュール１３０、文書整形モジュール１５０と接続されており、文字画像抽出モジュール１３０によって抽出された文字画像を、文字情報抽出モジュール１２０によって抽出された文字情報を用いて認識し、文字情報と認識結果を文書整形モジュール１５０へ渡す。
認識処理モジュール１４０は、制御モジュール１４１、言語処理モジュール１４２、認識順序制御モジュール１４３、文字画像生成モジュール１４４、文字認識モジュール１４５を有している。
【００４６】
制御モジュール１４１は、認識処理モジュール１４０内のモジュールを制御する。例えば、文字画像抽出モジュール１３０によって抽出された文字画像の周辺に位置する文字情報に基づいて、その文字画像を文字認識モジュール１４５に認識させるように制御する。ここで、「周辺に位置する」における「位置」とは、文書をディスプレイ等に表示、紙に印刷等した場合における位置である。より具体的には、文字画像の文のつながりとしての前又は後の位置であり、物理的には、横書き文書では、文字画像の左又は右に位置する文字情報、文字画像が行頭又は行末にある場合は上又は下にある行の右端又は左端に位置する文字情報、縦書き文書では、文字画像の上又は下に位置する文字情報、文字画像が行頭又は行末にある場合は右又は左にある行の下端又は上端に位置する文字情報を指すこととなる。また、制御モジュール１４１が、文字認識モジュール１４５に渡す文字情報として、文字コードの他に、文字サイズ、書体等を含めてもよい。
【００４７】
また、制御モジュール１４１は、言語処理モジュール１４２によって抽出された文字列毎にその文字列に含まれる文字画像を文字認識モジュール１４５に認識させるように制御するようにしてもよい。
また、制御モジュール１４１は、文字画像生成モジュール１４４によって生成された文字画像を含めて文字画像抽出モジュール１３０によって抽出された文字画像を文字認識モジュール１４５に認識させるように制御するようにしてもよい。また、制御モジュール１４１は、同じ文字画像を含む文字列に対する認識結果に基づいて、文字認識モジュール１４５による文字認識結果を修正するようにしてもよい。
また、制御モジュール１４１は、認識順序制御モジュール１４３からの渡された順序に基づいて、文字画像を文字認識モジュール１４５に認識させ、その認識の結果に基づいて、他の文字列を文字認識モジュール１４５に認識させるように制御するようにしてもよい。
【００４８】
言語処理モジュール１４２は、文字情報抽出モジュール１２０によって抽出された文字情報に対して形態素解析を行い、文字画像抽出モジュール１３０によって抽出された文字画像を含めた文字列を抽出する。
図６は、言語処理モジュール１４２による形態素解析結果６００の例を示す説明図である。これは、図２（ｃ）に例示した提示文字コード２２５に対して形態素解析を行ったものである。
言語処理モジュール１４２は、形態素解析できる部分を単語又は文節に分解し、残った部分（つまり、形態素解析できなかった部分の文字列）を単語又は文節として抽出するものである。例えば、図６では、『「私たちが大切にすること」は、社会の一員としての責任とビジネスの姿勢、■間性をベースにした■■の■りようを１０の■値で構成しています。』に対して、『／「／私たちが／大切に／する／こと／」／は、／社会の／一員としての／責任と／ビジネスの／姿勢、／■間性を／ベースにした／■■の■りようを／１０の／■値で／構成しています。／』と分解したことを示している。なお、『／』は単語又は文節の区切りを表しており、『／』に囲まれた文字列が単語又は文節である。また、『■』は文字画像を表す。このように分解された文字列のうち、文字画像を含まない文字列は、形態素解析の結果としての単語又は文節であるが、文字画像を含んでいる文字列も、単語又は文節となる場合が多い。
【００４９】
また、言語処理モジュール１４２は、文字画像を不明文字として又は予め定められた文字（例えば、漢字のいずれか又はその集合）として形態素解析を行うようにしてもよい。さらに、言語処理モジュール１４２は、助詞、助動詞等まで分解し、単語のみを取り出すようにしてもよい。
そして、その形態素解析結果から、文字画像を含めた文字列を抽出する。図６の例では、「■間性を」、「■■の■りようを」、「■値で」となる。
【００５０】
この結果を用いて、制御モジュール１４１は、文字画像を含む文字列毎に文字画像を文字認識モジュール１４５に認識させるように制御する。
図７は、接続文字コードを含めた文字画像の例を示す説明図である。
図７（ａ）の例は、文字列「■間性を」のうち、「人」の文字画像２２５−１と「間性を」の接続文字コード７０１を、図７（ｂ）の例は、文字列「■■の■りようを」のうち、「個人」の文字画像２２５−２、文字画像２２５−３と「の」の接続文字コード７０２と「存」の文字画像２２５−４と「りようを」の接続文字コード７０３を、図７（ｃ）の例は、文字列「■値で」のうち、「価」の文字画像２２５−５と「値で」接続文字コード７０４を示している。例えば、制御モジュール１４１は、文字画像２２５−１を認識させるのに、文字認識モジュール１４５に文字画像２２５−１の他に文字画像２２５−１の後に接続している接続文字コード７０１を渡す。そして、文字認識モジュール１４５は、文字画像２２５−１を文字認識した後に、その認識結果に接続文字コード７０１を接続させて、その文字列で文字認識モジュール１４５内の単語辞書とのマッチングを行って最終的な認識を行う。
【００５１】
認識順序制御モジュール１４３は、文字認識モジュール１４５が認識する文字画像の順序を制御する。その順序を制御モジュール１４１に渡す。例えば、文字画像を含む数が少ない文字列から先に文字認識モジュール１４５に認識させるような順序を生成する。また、同じ文字画像を含む文字列のうち、文字画像を含む数が少ない文字列から先に認識させるような順序を生成してもよい。
【００５２】
文字画像生成モジュール１４４は、言語処理モジュール１４２によって抽出された文字列のうち文字画像を含むその文字列を構成する文字情報に基づいて、文字画像を生成する。
図８は、接続文字コードを文字画像に変換した後に生成した文字画像列の例を示す説明図である。
図８（ａ）の例は、言語処理モジュール１４２によって抽出された文字列「■間性を」のうち、「間性を」の文字コードの文字画像を生成したものであり、「人間性を」という文字列画像８０１を生成したものである。図８（ｂ）の例は、文字列「■■の■りようを」のうち、「の」、「りようを」の文字コードの文字画像を生成したものであり、「個人の在りようを」という文字列画像８０２を生成したものである。図８（ｃ）の例は、文字列「■値で」のうち、「値で」の文字コードの文字画像を生成したものであり、「価値で」という文字列画像８０３を生成したものである。より具体的に示すと、図８（ａ）の例では、「間性を」の３つの文字コードを文字コード情報テーブル３００の文字コード欄３２０から抽出し、その文字コードに対応する文字画像を生成する。ここで、生成する文字画像は、文字認識モジュール１４５によって認識率の高い書体の文字画像とするようにしてもよい。そして、「人」の文字画像を文字画像テーブル５００の文字画像欄５２０から抽出し、これらを「人間性を」の順番につなぎ合わせることによって、文字列画像８０１を生成する。図８（ｂ）の例、図８（ｃ）の例についても同等の処理を行う。
例えば、制御モジュール１４１は、文字画像「人」を認識させるのに、文字画像生成モジュール１４４に文字列画像８０１を生成させて、文字認識モジュール１４５に文字列画像８０１を渡す。これは、文字認識モジュール１４５が、文字画像だけを受け付けて文字認識を行う場合に用いられる。そして、文字認識モジュール１４５は、文字列画像８０１を文字認識する。その際に、認識結果の文字列で文字認識モジュール１４５内の単語辞書とのマッチングを行って最終的な認識を行う。なお、単語辞書は、日本語としてあり得る単語又は文節を記憶しており、文字認識モジュール１４５が有している。
【００５３】
文字認識モジュール１４５は、文字画像を認識する。また、文字認識モジュール１４５は、認識対象の文字画像の前又は後の文字情報も受け取り、その文字情報（特に文字コード）と認識結果によって構成される文字列で単語辞書とのマッチングを行って、認識結果の絞り込み・修正を行う。なお、この文字列は単語としての可能性が高いものであり、単語辞書とのマッチングの可能性も高いものとなる。また、文字認識モジュール１４５は、制御モジュール１４１から受け取った文字情報内の文字サイズ、書体を用いて、文字画像を認識してもよい。例えば、文字サイズを用いて、文字画像から１文字ずつ切り出すようにしてもよい。また、書体を用いて、文字認識を行うようにしてもよい。
また、文字認識モジュール１４５は、認識対象の文字画像の前又は後の文字情報を含めた文字画像列（文字画像生成モジュール１４４によって生成された文字画像を含む）を受け取り、その文字画像列の認識結果で単語辞書とのマッチングを行って認識を行う。なお、この文字画像列の認識結果は、単語としての可能性が高いものであり、単語辞書とのマッチングの可能性も高いものとなる。
【００５４】
文書整形モジュール１５０は、認識処理モジュール１４０、文書出力モジュール１６０と接続されており、文字情報抽出モジュール１２０によって抽出された文字情報と文字認識モジュール１４５による認識結果に基づいて、文書１００を整形する。ここでの、整形とは、元の文書１００内の文字画像を、その認識結果である文字情報に置換することである。さらに、文字情報に置換することによって、元からある文字情報（例えば、位置）を変換すること等を行ってもよい。また、整形の他の形態として、文字情報と認識結果に基づいて、テキストを主体とする文書を生成するようにしてもよい。
【００５５】
文書出力モジュール１６０は、文書整形モジュール１５０と接続されており、文書整形モジュール１５０によって整形された文書１００を受け取り、その文書１００を出力する。文書１００を出力するとは、例えば、プリンタ等の印刷装置で印刷すること、ディスプレイ等の表示装置に表示すること、ファックス等の画像送信装置で画像を送信すること、文書データベース等の記憶装置へ文書１００を書き込むこと、メモリーカード等の記憶媒体に記憶すること、他の情報処理装置へ渡すこと等が含まれる。
【００５６】
図９は、第１の実施の形態による処理例を示すフローチャートである。
ステップＳ９０２では、文字情報抽出モジュール１２０が、文字情報の一部である文字コードを文書から抽出する。
ステップＳ９０４では、文字画像抽出モジュール１３０が、文字画像である埋め込みフォント情報を文書から抽出する。
ステップＳ９０６では、言語処理モジュール１４２が、文字コードで構成されている文書領域に対して形態素解析を行う。
【００５７】
ステップＳ９０８では、言語処理モジュール１４２が、埋め込みフォント情報を含む文字列を抽出する。
ステップＳ９１０では、認識順序制御モジュール１４３が、ステップＳ９０８で抽出した文字列で、同じフォント情報を参照しているものを抽出する。前述の例では、「人」という文字画像が含まれている文字列である「■間性を」、「■■の■りようを」を抽出する。そして、この中で認識する順序を決定する。
ステップＳ９１２では、文字認識モジュール１４５が、制御モジュール１４１の制御に基づいて、文字列に含まれるフォント情報が少ないものからフォント情報を文字認識する。前述の例では、「■間性を」の文字列を先に認識する。なお、文字認識モジュール１４５が認識する対象は文字画像「人」であるが、制御モジュール１４１の制御によって、文字認識モジュール１４５に渡される情報として、文字画像「人」と文字情報の「間性を」であってもよいし、文字画像列「人間性を」であってもよい。
【００５８】
ステップＳ９１４では、制御モジュール１４１が、共通に参照しているフォント情報の文字認識結果を決定する。前述の例では、２つの文字列（「■間性を」、「■■の■りようを」）の認識結果を用いる。例えば、両者の認識結果が一致していれば、それを採用する。そして、異なる場合は、文字列内に含まれている文字画像が少ない方の認識結果を採用してもよいし、多数決によって決定してもよいし、認識結果の信頼度に基づいて認識結果を決定してもよい。また、これらの組み合わせであってもよい。例えば、同数であり多数決では決定できない場合に、信頼度を用いるようにしてもよい。なお、信頼度は、例えば、文字画像の特徴と認識辞書内の特徴との距離、認識結果と単語辞書とのマッチング度合い等に基づいて算出される。
【００５９】
ステップＳ９１６では、制御モジュール１４１が、共通に参照しているフォント情報を認識した文字に置き換える。前述の例では、「■間性を」、「■■の■りようを」は、「人間性を」、「■人の■りようを」となる。
ステップＳ９１８では、制御モジュール１４１が、認識していないフォント情報があるか否かを判断する。ある場合はステップＳ９１２からの処理を繰り返し、それ以外の場合はステップＳ９２０へ進む。
ステップＳ９２０では、文書整形モジュール１５０が、文字情報と文字認識結果により文書を整形する。つまり、埋め込みフォント情報を認識結果に置き換えて、文字情報として付加する。
ステップＳ９２２では、文書出力モジュール１６０が、整形された文書を出力する。
【００６０】
＜第２の実施の形態＞
第２の実施の形態である画像処理装置は、文字情報と文字画像が混在し得る文書内の文字画像を認識するものであって、図１０に示すように、文書受付モジュール１１０、文字情報抽出モジュール１２０、文字画像抽出モジュール１３０、認識処理モジュール１０４０、文書整形モジュール１５０、文書出力モジュール１６０を有している。
なお、第１の実施の形態と同種の部位には同一符号を付し重複した説明を省略する。
【００６１】
文書受付モジュール１１０は、文字情報抽出モジュール１２０、文字画像抽出モジュール１３０と接続されており、文字情報と文字画像が混在し得る文書１０００を受け付け、その文書１０００を文字情報抽出モジュール１２０、文字画像抽出モジュール１３０へ渡す。
「文字情報と文字画像が混在し得る文書１０００」とは、前述の第１の実施の形態における文書１００と同等であり、少なくとも文字情報と文字画像が混在し得る機構を有している文書であるが、文字情報は含まれておらず、文字画像のみで構成されている文書も含む。なお、文字画像は含まれておらず、文字情報のみで構成されている文書は、文字認識をする必要がない文書であるので、本実施の形態では対象の文書とならない。
また、文書１０００に記載されている文字の言語はどのような言語であってもよいが、特に１バイトでその言語の文字を表現し得るコード系の言語（例えば、英語、フランス語、ドイツ語等）が適している。これらの言語は、２バイトコード系の言語と比べると文字種が少ないため、文字情報と文字画像が混在するケースは少ない。例えば、英語でＰＤＦ文書に文字画像を埋め込む場合、日本語に比べると文字種が少なく小容量で済むため、埋め込む場合はその文書で用いられている全ての文字の文字画像がＰＤＦに埋め込まれる。これらは、独自のフォントで表記したい場合等に使われるの主である。一方、一般的な書体で表記されているＰＤＦ文書の場合、アルファベットは殆どの環境で描画し得るため、文字画像が混在しているＰＤＦ文書は作成されない。つまり、文字画像は含まれておらず、文字情報だけを含むＰＤＦ文書となり、この文書は、本実施の形態では対象の文書とならない。以下、英語を主に例示して説明する。また、文書１０００の内容として、ビジネスに用いられる文書、広告宣伝用のパンフレット等であってもよい。
【００６２】
また、前述の第１の実施の形態の説明と同様に、文字情報には、文字コードの他に、文字サイズ、その文字が表示される場合の文書内における位置（座標）、書体等を含んでいてもよい。また、文字画像とは、文字を表示した場合の画像（ラスタライジングした画像）であり、１文字毎に分かれていてもよいし、複数の文字の画像であってもよい。また、文字画像として、その画像の他に、その文字が表示される場合の文書内における位置（座標）等を含んでいてもよい。ただし、文書受付モジュール１１０が受け付ける文書１０００内の文字画像には、文字コードは対応していない。
【００６３】
図１１は、文書１０００の各種の形態の例を示す説明図である。
図１１（ａ）は、文書１０００をディスプレイ等に表示、紙等の媒体に印刷した場合の提示文書１１００の例を示したものである。提示文書１１００内は文字だけが提示されているが、この元のデータとしては、文字画像のみの場合と、文字画像の他に文字コード（文書情報）を含んでいる場合もある。
【００６４】
図１１（ｂ）は、文書１０００内の主なデータの例を示したものである。文書内データ１１１０として、文字情報である文字コード情報１１２０、文字画像である埋め込みフォント情報１１３０がある。文字コード情報１１２０のデータ構造として、例えば前述した文字コード情報テーブル３００がある。ただし、文字コード欄３２０が記憶している文字コードは例えば英語を表現する文字コードである。また、文字コード情報１１２０そのものが含まれていない場合もあり得る。
【００６５】
図１１（ｃ）は、文字コード情報１１２０をディスプレイ等に表示、紙等の媒体に印刷した場合の提示文字コード１１２５の例を示したものである。この例は、文字コード情報１１２０そのものが含まれていない場合を示しているものである。つまり、文字情報は何も表示されていない。
【００６６】
図１１（ｄ）は、埋め込みフォント情報１１３０内の例である埋め込みフォント情報例１１３５を示したものである。つまり、文字画像そのものの文字画像１１３６とその文字画像１１３６を一意に識別する文字画像ＩＤ１１３７によって構成されている。
文字画像１１３６は、いわゆるラスタ画像（例えば、２値画像）であり、文字の形状を構成する画素塊が含まれている。
文字画像ＩＤ１１３７は、情報交換用に用いられる文字コードとは異なり、文書１０００内で一意に文字画像１１３６を識別し得る符号であればよい。
なお、図１１（ｄ）の例に示しているように、文書１０００内で使われている文字「Ｔ」は、文字画像１１３６Ａとそれを示す文字画像ＩＤ１１３７Ａで表される。
なお、例えば提示文書１１００内の文字「ｈ」のように、同じ文字画像が複数の位置に埋め込まれることがある。
また、同じ文字コードの文字であっても、異なる複数の文字画像が対応している場合がある。例えば、１つの文書１０００内において、同じ文字が複数の書体で記載されている場合に起こりえる。したがって、文字画像１１３６の認識結果が他の文字画像１１３６（もちろん、文字画像ＩＤ１１３７が異なる）の認識結果と同じになるということが起こり得る。
【００６７】
埋め込みフォント情報１１３０のデータ構造として、例えば埋め込みフォント情報テーブル１２００、文字画像テーブル１３００がある。図１２は、埋め込みフォント情報テーブル１２００のデータ構造例を示す説明図である。埋め込みフォント情報テーブル１２００は、文書内文字ＩＤ欄１２１０、文字画像ＩＤ欄１２２０、位置欄１２３０を有している。
文書内文字ＩＤ欄１２１０は、文書内文字ＩＤを記憶している。
文字画像ＩＤ欄１２２０は、その文字画像を一意に識別する文字画像ＩＤを記憶している。同じ文字画像が埋め込まれている場合は、同じ文字画像ＩＤが複数回現れる。例えば、図１２の例では、文書内文字ＩＤが「Ｃ００２」、「Ｃ００５」で、文字画像ＩＤとしての「０００００２」が用いられている。
位置欄１２３０は、その文字の文書内における位置を記憶している。図３に例示した文字コード情報テーブル３００の位置欄３４０と同等のものである。図１２の例では、文書の左上を原点とした場合のＸＹ座標を示している。
【００６８】
図１３は、文字画像テーブル１３００のデータ構造例を示す説明図である。文字画像テーブル１３００は、文字画像ＩＤ欄１３１０、文字画像欄１３２０を有している。
文字画像ＩＤ欄１３１０は、文字画像ＩＤを記憶している。
文字画像欄１３２０は、文字画像そのものを記憶している。
例えば、文字コード情報テーブル３００、埋め込みフォント情報テーブル１２００、文字画像テーブル１３００を用いて、図１１（ａ）に例示した提示文書１１００を提示する。具体的には、提示文書１１００を提示する計算機は、文字コード情報テーブル３００の文字コード欄３２０内の文字コードをその計算機が用意しているフォントファイルを用いて文字画像を生成し、位置欄３４０を用いて文書内に配置し（なお、提示文書１１００の場合は、文字コード情報１１２０が空であるため、この処理は不要となる）、埋め込みフォント情報テーブル１２００の文字画像ＩＤ欄１２２０が示す文字画像を文字画像テーブル１３００から抽出して、位置欄１２３０を用いて文書内に配置する。
【００６９】
認識処理モジュール１０４０は、文字情報抽出モジュール１２０、文字画像抽出モジュール１３０、文書整形モジュール１５０と接続されており、文字画像抽出モジュール１３０によって抽出された文字画像を認識し、文字情報と認識結果を文書整形モジュール１５０へ渡す。特に、文字情報が含まれていない文書１０００の場合は、文字画像抽出モジュール１３０によって抽出された文字画像を、処理途中において文字認識モジュール１０４４によって既に認識された文字認識結果を用いて認識し、認識結果を文書整形モジュール１５０へ渡す。
認識処理モジュール１０４０は、制御モジュール１０４１、文字列画像生成処理モジュール１０４２、認識順序制御モジュール１０４３、文字認識モジュール１０４４を有している。
【００７０】
制御モジュール１０４１は、文字情報抽出モジュール１２０によって抽出された文字情報の数、又はその文字情報の数と文字画像抽出モジュール１３０によって抽出された文字画像の数との比率に基づいて、文字列画像生成処理モジュール１０４２による処理をさせるか否かを判断する。例えば、具体的には、後述する図１５の例に示すステップＳ１５０６の処理が該当する。
制御モジュール１０４１は、同じ文字画像を含む文字列の画像に対する認識結果に基づいて、文字認識モジュール１０４４による文字認識結果を修正するようにしてもよい。例えば、具体的には、後述する図１５の例に示すステップＳ１５２０の処理が該当する。
また、制御モジュール１０４１は、文字列の画像に対する文字認識モジュール１０４４による文字画像の文字認識結果に基づいて、その文字画像を含む他の文字列の画像を文字認識モジュール１０４４に認識させるようにしてもよい。例えば、具体的には、後述する図１６の例に示すステップＳ１５２６、ステップＳ１５２８の処理が該当する。
【００７１】
また、制御モジュール１０４１は、不明文字の数が少ない文字列の画像から先に文字認識モジュール１０４４に認識させ、その認識の結果に基づいて、他の文字列を文字認識モジュール１０４４に認識させるように制御するようにしてもよい。例えば、具体的には、後述する図１６の例に示すステップＳ１５２６の処理が該当する。
ここで「不明文字」とは、文字認識モジュール１０４４によって未だ認識されていない文字画像、又は文字認識モジュール１０４４によって認識された文字画像ではあるが、文字認識結果が決定されていない文字画像をいう。より具体的には、後述する図１５の例に示すステップＳ１５２０で決定されていない文字画像であって、図１６の例に示すステップＳ１５２６における文字認識が行われていない文字画像である。
【００７２】
文字列画像生成処理モジュール１０４２は、文字画像抽出モジュール１３０によって抽出された文字画像の文書１０００内における位置又は文書１０００内の空白に関する空白情報に基づいて、空白に囲まれた文字列の画像を生成する。
【００７３】
ここで、「文書内の空白に関する空白情報」とは、例えば、混在している文字情報として空白文字が含まれている場合は、その空白文字の文字情報であったり、空白を文字画像として表している場合は、その空白の文字画像の位置情報（文書内における空白文字画像の位置情報、又は空白文字画像がない場合は他の文字画像との位置関係情報を含む）であり、また、文字画像の前又は後に空白があることを示す情報が定められている場合は、その情報等であってもよい。なお、空白の文字画像であるか否かは、その文字画像内に黒画素が含まれていない文字画像を空白の文字画像と判断するようにしてもよいし、その文書内において、空白の文字画像に割り振られている文字画像ＩＤが予め定められた符号である場合、その符号であるか否かによって判断するようにしてもよい。また、「空白文字画像がない場合は他の文字画像との位置関係情報」を用いて判断するのは、空白以外の文字画像の位置で空白があるか否かを判断することであり、単語内の文字画像間（より具体的には、例えば、文字画像間の距離の最頻値）の距離より長く文字画像間の距離が離れていた場合を空白と判断するようにしてもよい。
【００７４】
また、「空白に囲まれた」とは、文字画像群の文のつながりとしての前及び後の位置に空白があることであり、物理的には、横書き文書では、文字画像群の左及び右に空白情報が位置していること、文字画像群が行頭にある場合は文字画像群の右に空白情報が位置していること、文字画像群が行末にある場合は文字画像群の左に空白情報が位置していること、縦書き文書では、文字画像群の上及び下に空白情報が位置していること、文字画像が行頭にある場合は文字画像群の下に空白情報が位置していること、文字画像群が行末にある場合は文字画像群の上に空白情報が位置していることを指すこととなる。
「空白に囲まれた文字列の画像」とは、１つ以上の文字画像によって構成されている文字画像群であり、この文字列は、単語毎に分かち書きする言語においては、主に単語に該当することになる。以下、この文字列として主に単語を例示して説明する。
より具体的には、文字列画像生成処理モジュール１０４２は、前述の「文書内の空白に関する空白情報」を判断し、その空白の間に挟まれている文字画像群の文字画像を文字画像テーブル１３００の文字画像欄１３２０から抽出し、その文字画像をつなぎ合わせる。
【００７５】
図１４は、対象となっている文書の提示例と文字列画像生成処理モジュール１０４２による単語分け結果１４２０の例を示す説明図である。
図１４（ａ）の例に示す提示文書１４１０を対象とした場合に、文字列画像生成処理モジュール１０４２が処理を行った結果として、単語分け結果１４２０（図１４（ｂ）の例参照）を出力する。単語分け結果１４２０は、７つの単語画像（単語画像１４２１〜１４２７）を生成する。単語分け結果１４２０が行う処理として、具体的には、例えば、文字画像の位置（埋め込みフォント情報テーブル１２００の位置欄１２３０）を用いて、文字画像間の距離を算出し、その算出結果の最頻値を単語内における距離として、その距離よりも長い文字画像間の距離を空白と判断する。そして、空白に囲まれている文字画像（単語画像１４２１と単語画像１４２６は行頭であるので、その後ろに空白があることを条件とした文字画像、単語画像１４２５は行末であるので、その前に空白があることを条件とした文字画像）を文字画像テーブル１３００の文字画像欄１３２０から抽出し、その文字画像をつなぎ合わせることによって文字画像群である文字列の画像を生成する。
【００７６】
認識順序制御モジュール１０４３は、文字画像抽出モジュール１３０によって抽出された文字画像を一意に識別する文字画像ＩＤの出現頻度に基づいた順序によって、文字列画像生成処理モジュール１０４２によって生成された文字列の画像を文字認識モジュール１０４４に認識させるように制御する。例えば、具体的には、後述する図１５の例に示すステップＳ１５１２、ステップＳ１５１４、ステップＳ１５１６の処理が該当する。
【００７７】
文字認識モジュール１０４４は、文字列画像内の文字画像を認識する。また、文字認識モジュール１０４４は、認識対象の文字画像の前又は後の文字情報も受け取り、その文字情報（特に文字コード）と認識結果によって構成される文字列で単語辞書とのマッチングを行って、認識結果の絞り込み・修正を行う。なお、この文字列は単語としての可能性が高いものであり、単語辞書とのマッチングの可能性も高いものとなる。また、文字認識モジュール１０４４は、制御モジュール１０４１から受け取った文字情報内の文字サイズ、書体を用いて、文字画像を認識してもよい。例えば、文字サイズを用いて、文字列画像から１文字ずつ切り出すようにしてもよい。また、書体を用いて、文字認識を行うようにしてもよい。
また、文字認識モジュール１０４４は、認識対象の文字画像の前又は後の文字情報を含めた文字画像列（文字列画像生成処理モジュール１０４２によって生成された文字列画像を含む）を受け取り、その文字画像列の認識結果で単語辞書とのマッチングを行って認識を行う。なお、この文字画像列は、単語としての可能性が高いものであり、単語辞書とのマッチングの可能性も高いものとなる。
ここで、文字認識モジュール１０４４が受け取る文字情報には、既に文字認識モジュール１０４４によって認識処理が行われた認識結果を含めてもよい。
なお、単語辞書は、英語としてあり得る単語を記憶しており、文字認識モジュール１０４４が有している。
【００７８】
文書整形モジュール１５０は、認識処理モジュール１０４０、文書出力モジュール１６０と接続されており、文字認識モジュール１０４４による認識結果に基づいて、文書１０００を整形する。また、文字情報抽出モジュール１２０によって抽出された文字情報と文字認識モジュール１０４４による認識結果に基づいて、文書１０００を整形するようにしてもよい。なお、ここでの、整形とは、前述したように元の文書１０００内の文字画像を、その認識結果である文字情報に置換することである。さらに、文字情報に置換することによって、元からある文字情報（例えば、位置）を変換すること等を行ってもよい。また、整形の他の形態として、認識結果（場合によっては、文字情報と認識結果）に基づいて、テキストを主体とする文書を生成するようにしてもよい。
【００７９】
図１５、図１６は、第２の実施の形態による処理例を示すフローチャートである。
ステップＳ１５０２では、文字情報抽出モジュール１２０が、文字情報の一部である文字コードを文書から抽出する。
ステップＳ１５０４では、文字画像抽出モジュール１３０が、文字画像である埋め込みフォント情報を文書から抽出する。
ステップＳ１５０６では、制御モジュール１０４１が、文字コードの数又は文字画像の数に比較した場合の文字コードの数の割合は閾値より少ないか否かを判断し、閾値より少ない場合はステップＳ１５１０へ進み、それ以外の場合はステップＳ１５０８へ進む。閾値は、予め定められた値である（以下、同様）。例えば、文字コードが含まれていない場合は、ステップＳ１５１０へ進むようにしてもよい。前述したように、例えば英語の文書の場合はステップＳ１５１０へ進み、日本語の文書の場合はステップＳ１５０８へ進むことになる。
【００８０】
ステップＳ１５０８では、第１の実施の形態の画像処理装置（例えば、図９の例のステップＳ９０６以降）によって処理を行う。
ステップＳ１５１０では、文字列画像生成処理モジュール１０４２が、空白に囲まれた文字列を抽出し、その文字列の画像を生成する。
ステップＳ１５１２では、認識順序制御モジュール１０４３が、文字列毎にフォント情報を収集する。より具体的には、その文字列を構成している文字画像ＩＤを収集する。
【００８１】
ステップＳ１５１４では、認識順序制御モジュール１０４３が、出現頻度の高い順にフォント情報をソートする。より具体的には、ステップＳ１５１２で収集した文字画像ＩＤの出現頻度を算出し、その出現頻度順にソートする。
ステップＳ１５１６では、認識順序制御モジュール１０４３が、指定されたフォント情報を含む文字列の画像を選択する。ここで、指定されたフォント情報とは、１回目のステップＳ１５１６の処理（ステップＳ１５１４の次に行われるステップＳ１５１６の処理）では、ステップＳ１５１４でソートされたフォント情報の上位から予め定められた数のフォント情報をいい、２回目以降のステップＳ１５１６の処理（ステップＳ１５２４の次に行われるステップＳ１５１６の処理）では、その前のステップＳ１５１６の処理で指定されたフォント情報より下位であって予め定められた数のフォント情報をいう。ここでの処理によって、その文書内で出現頻度が高い文字画像から文字認識の対象とすることになる。なお、その文字画像が複数の文字列に現れている場合は、選択する文字列の画像は複数となる。例えば、図１４（ｂ）の例で示すと、出現頻度が高い文字画像として「ｅ」の文字画像があるが、この文字画像が含まれている文字列の画像として、単語画像１４２１、単語画像１４２２、単語画像１４２３、単語画像１４２４、単語画像１４２６、単語画像１４２７が選択されることになる。
【００８２】
ステップＳ１５１８では、文字認識モジュール１０４４が、ステップＳ１５１６で選択された文字列の画像を文字認識する。ここで、文字認識モジュール１０４４は、１つの文字画像を認識するのではなく、単語である文字列の画像を認識するので、単語辞書とのマッチングを行うようにする。
ステップＳ１５２０では、制御モジュール１０４１が、指定されたフォント情報の文字認識結果を決定する。例えば、前述の例で示すと、「ｅ」の文字画像が含まれている文字列の画像である単語画像１４２１、単語画像１４２２、単語画像１４２３、単語画像１４２４、単語画像１４２６、単語画像１４２７を文字認識した結果、この中で、「ｅ」の文字画像を正しく「ｅ」の文字コードとして認識したものが５つあり、「ａ」の文字コードとして誤って認識したものが１つあったとしても、多数決によって、「ｅ」の文字画像の文字認識結果としては「ｅ」の文字コードとして決定する。なお、ステップＳ１５１８では、文字列の画像を認識しているので、指定されたフォント情報以外のフォント情報も認識していることになる。これらの認識結果は、削除してもよいし（その後の処理では利用しない）、フォント情報と対応させてその文字認識結果を記憶しておき、ステップＳ１５２６の文字認識において文字認識結果として利用するようにしてもよい。
また、文字認識モジュール１０４４が複数の文字列画像内に同じ文字画像が含まれていることを利用して認識し得る機能を有している場合は、ステップＳ１５２０の処理を行わなくてもよい。この場合、文字認識モジュール１０４４は、ステップＳ１５２０と同等の処理を行うことになる。したがって、ステップＳ１５１８の処理が終了した時点で、指定されたフォント情報の文字認識結果は１つに決定されていることになる。
【００８３】
ステップＳ１５２２では、文字認識結果である文字コードを文字列内に配置する。つまり、ステップＳ１５２０で決定された文字コードを確定した文字認識結果として、文字列内に配置する。
ステップＳ１５２４では、制御モジュール１０４１が、文書内で認識していないフォント情報が閾値より多いか否かを判断し、閾値より多い場合はステップＳ１５１６からの処理を繰り返し、それ以外の場合はステップＳ１５２６へ進む。この閾値は、文書内に含まれている文字画像の数に応じて定められるようにしてもよい。また、認識済みのフォント情報の数と未認識のフォント情報の数との比率と、閾値との比較に基づいて、ステップＳ１５１６、ステップＳ１５２６のいずれに進むかを判断するようにしてもよい。
【００８４】
ステップＳ１５２６では、制御モジュール１０４１が、文字列に含まれている不明文字の少ないものからその文字列の画像を、文字認識モジュール１０４４に文字認識させる。つまり、確定した文字が多い文字列の画像から文字認識することになる。
ステップＳ１５２８では、制御モジュール１０４１が、その他の文字列も含めた文字列内のフォント情報をステップＳ１５２６の文字認識結果である文字コードに配置する。
ステップＳ１５３０では、制御モジュール１０４１が、不明文字が含まれている文字列があるか否かを判断し、ある場合はステップＳ１５２６からの処理を繰り返し、それ以外の場合はステップＳ１５３２へ進む。
【００８５】
ステップＳ１５３２では、文書整形モジュール１５０が、文字情報と文字認識結果により文書を整形する。また、場合によっては、文字認識結果により文書を整形する。つまり、埋め込みフォント情報を認識結果に置き換えて、文字情報として付加する。
ステップＳ１５３４では、文書出力モジュール１６０が、整形された文書を出力する。
【００８６】
図１７は、第２の実施の形態による処理例を示す説明図である。
図１７（ａ）は、ステップＳ１５１０で文字列の画像が生成された例を示している。図１４（ｂ）に示した例と同じものである。
図１７（ｂ）は、ステップＳ１５１６でフォント情報として「ａ」、「ｅ」、「ｓ」、「ｔ」、「ｍ」が指定され、ステップＳ１５１８で単語画像１４２１、単語画像１４２２、単語画像１４２４、単語画像１４２５、単語画像１４２６、単語画像１４２７が文字認識され、ステップＳ１５２０で「ａ」、「ｅ」、「ｓ」、「ｔ」、「ｍ」の文字認識結果が決定され、その文字認識結果である文字コードをそれぞれの文字列に配置したものである。例えば、認識途中データ１７３１の「Ｔｈ」は文字画像であるが、「ｅ」は文字コードである。なお、図１７において下線が引かれている文字は、文字コードとして確定したものであることを示している。
【００８７】
図１７（ｃ）は、ステップＳ１５２６で不明文字が少ない認識途中データ１７３４を選択し、これを文字認識モジュール１０４４が文字認識した例である。この文字認識によって、認識途中データ１７３４の「ｎ」と「．」が文字コードとして確定し、認識結果１７４４となる。
図１７（ｄ）は、ステップＳ１５２６で不明文字が少ない認識途中データ１７４１を選択し、これを文字認識モジュール１０４４が文字認識した例である。この文字認識によって、認識途中データ１７４１の「Ｔ」と「ｈ」が文字コードとして確定し、認識結果１７５１となる。
図１７（ｅ）は、ステップＳ１５２８で、ステップＳ１５２６において確定した「ｈ」の文字コードを認識途中データ１７５５の文字画像「ｈ」に配置し、認識途中データ１７６５となった例である。
図１７（ｆ）は、ステップＳ１５２６、ステップＳ１５２８の処理を繰り返すことによって、最終的に不明文字が含まれている文字画像がなくなった状態の例である。
【００８８】
図１５、図１６の例に示したフローチャートでは、２段階の文字認識を行っている。第１段階目の文字認識は、ステップＳ１５１６からステップＳ１５２４までの処理であり、出現頻度が高い文字が含まれている文字列の画像を認識している。第２段階目の文字認識は、ステップＳ１５２６からステップＳ１５３０までの処理であり、第１段階目の文字認識によって確定した文字認識結果を用いて、確定していない文字が含まれている数の少ない文字列の画像から順に文字認識している。ここで、第１の段階目の文字認識だけの処理（つまり、第２段階の文字認識を行わずに）を行うようにしてもよい。
【００８９】
図１８を参照して、前述の実施の形態の画像処理装置のハードウェア構成例について説明する。図１８に示す構成は、例えばパーソナルコンピュータ（ＰＣ）などによって構成される画像処理装置であり、スキャナ等のデータ読み取り部１８１７と、プリンタなどのデータ出力部１８１８を備えたハードウェア構成例を示している。
【００９０】
ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１８０１は、前述の実施の形態において説明した各種のモジュール、すなわち、文字情報抽出モジュール１２０、文字画像抽出モジュール１３０、制御モジュール１４１、言語処理モジュール１４２、認識順序制御モジュール１４３等の各モジュールの実行シーケンスを記述したコンピュータ・プログラムにしたがった処理を実行する制御部である。
【００９１】
ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１８０２は、ＣＰＵ１８０１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１８０３は、ＣＰＵ１８０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバスなどから構成されるホストバス１８０４により相互に接続されている。
【００９２】
ホストバス１８０４は、ブリッジ１８０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス１８０６に接続されている。
【００９３】
キーボード１８０８、マウス等のポインティングデバイス１８０９は、操作者により操作される入力デバイスである。ディスプレイ１８１０は、液晶表示装置又はＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）などがあり、各種情報をテキストやイメージ情報として表示する。
【００９４】
ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）１８１１は、ハードディスクを内蔵し、ハードディスクを駆動し、ＣＰＵ１８０１によって実行するプログラムや情報を記録又は再生させる。ハードディスクには、受け付けた文書、文字情報、文字画像などが格納される。さらに、その他の各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。
【００９５】
ドライブ１８１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体１８１３に記録されているデータ又はプログラムを読み出して、そのデータ又はプログラムを、インタフェース１８０７、外部バス１８０６、ブリッジ１８０５、及びホストバス１８０４を介して接続されているＲＡＭ１８０３に供給する。リムーバブル記録媒体１８１３も、ハードディスクと同様のデータ記録領域として利用可能である。
【００９６】
接続ポート１８１４は、外部接続機器１８１５を接続するポートであり、ＵＳＢ、ＩＥＥＥ１３９４等の接続部を持つ。接続ポート１８１４は、インタフェース１８０７、及び外部バス１８０６、ブリッジ１８０５、ホストバス１８０４等を介してＣＰＵ１８０１等に接続されている。通信部１８１６は、ネットワークに接続され、外部とのデータ通信処理を実行する。データ読み取り部１８１７は、例えばスキャナであり、ドキュメントの読み取り処理を実行する。データ出力部１８１８は、例えばプリンタであり、ドキュメントデータの出力処理を実行する。
【００９７】
なお、図１８に示す画像処理装置のハードウェア構成は、１つの構成例を示すものであり、前述の実施の形態は、図１８に示す構成に限らず、前述の実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア（例えば特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ：ＡＳＩＣ）等）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図１８に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、複写機、ファックス、スキャナ、プリンタ、複合機（スキャナ、プリンタ、複写機、ファックス等のいずれか２つ以上の機能を有している画像処理装置）などに組み込まれていてもよい。
【００９８】
なお、前述の各種の実施の形態を組み合わせてもよく（例えば、ある実施の形態内のモジュールを他の実施の形態内に適用する、入れ替えする等も含む）、各モジュールの処理内容として背景技術で説明した技術を採用してもよい。
また、前述の実施の形態の説明において、予め定められた値との比較において、「以上」、「以下」、「より大きい」、「より小さい（未満）」としたものは、その組み合わせに矛盾が生じない限り、それぞれ「より大きい」、「より小さい（未満）」、「以上」、「以下」としてもよい。
【００９９】
なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通などのために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）等、ブルーレイ・ディスク（Ｂｌｕ−ｒａｙ  Ｄｉｓｃ（登録商標））、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去及び書換可能な読出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）等が含まれる。
そして、前記のプログラム又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、あるいは無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して
記録されていてもよい。また、圧縮や暗号化など、復元可能であればどのような態様で記録されていてもよい。
【符号の説明】
【０１００】
１００…文書
１１０…文書受付モジュール
１２０…文字情報抽出モジュール
１３０…文字画像抽出モジュール
１４０…認識処理モジュール
１４１…制御モジュール
１４２…言語処理モジュール
１４３…認識順序制御モジュール
１４４…文字画像生成モジュール
１４５…文字認識モジュール
１５０…文書整形モジュール
１６０…文書出力モジュール
１０００…文書
１０４０…認識処理モジュール
１０４１…制御モジュール
１０４２…文字列画像生成処理モジュール
１０４３…認識順序制御モジュール
１０４４…文字認識モジュール
【図１】
2011060268.tif 000003
【図２】
2011060268.tif 000004
【図３】
2011060268.tif 000005
【図４】
2011060268.tif 000006
【図５】
2011060268.tif 000007
【図６】
2011060268.tif 000008
【図７】
2011060268.tif 000009
【図８】
2011060268.tif 000010
【図９】
2011060268.tif 000011
【図１０】
2011060268.tif 000012
【図１１】
2011060268.tif 000013
【図１２】
2011060268.tif 000014
【図１３】
2011060268.tif 000015
【図１４】
2011060268.tif 000016
【図１５】
2011060268.tif 000017
【図１６】
2011060268.tif 000018
【図１７】
2011060268.tif 000019
【図１８】
2011060268.tif 000020