(57)【要約】【課題】文字コードが埋め込まれている文字領域と文字コードが埋め込まれていない文字領域とが混在する文書データから文章を検出する際に、文字領域全体に対して文字認識処理を行うことなく、文字コードが埋め込まれていない文字領域の文字を含めた文章を文書データから検出する。【解決手段】  文字コード取得部３０２は、文書データ受付部３０１により受け付けられた文書データに含まれる文字コード及び座標情報を取得する。文字画像データ生成部３０３は、文字コードに基づいて文字画像データを生成する。画像データ生成部３０４は、文字コードを有さない画像データを生成する。レイアウト解析部３０５は、文字画像を検出する。文字認識部３０６は、文字画像に対して文字認識を行う。領域統合部３０７は、文字画像データの領域と文字画像の領域とを文章領域として統合する。文字組合せ部３０８は、文章領域における各文字コードを組み合わせる。【選択図】図３
2016057964.tif 000002
【特許請求の範囲】
【請求項１】
文書データから文字コード及び当該文字コードが示す文字の座標情報を取得する第１の取得手段と、
前記文書データから文字コードを有さない文字画像を抽出する抽出手段と、
前記抽出手段により抽出された文字画像に対して文字認識処理を行うことにより、当該文字画像における各文字の文字コード及び座標情報を取得する第２の取得手段と、
前記座標情報に基づいて、前記第１の取得手段により取得された文字コードと、前記第２の取得手段により取得された文字コードとを組み合わせる組合せ手段と、
を有する文書処理装置。
【請求項２】
前記抽出手段は、前記文書データに含まれる各画像に対して文字であるか否かの判定を行うことにより、前記文書データから文字コードを有さない文字画像を抽出する請求項１記載の文書処理装置。
【請求項３】
前記第１の取得手段により取得された文字コードが示す文字の領域と、前記抽出手段により抽出された文字画像の領域とを文章領域として統合する統合手段をさらに有し、
前記組合せ手段は、前記座標情報に基づいて、前記第１の取得手段により取得された前記文章領域内に含まれる文字コードと、前記第２の取得手段により取得された前記文章領域内に含まれる文字コードとを組み合わせる請求項１または２記載の文書処理装置。
【請求項４】
前記統合手段は、前記第１の取得手段により取得された文字コードが示す文字の領域と、前記抽出手段により抽出された文字画像の領域とが重なる場合に、当該重なる領域どうしを文章領域として統合する請求項３記載の文書処理装置。
【請求項５】
前記統合手段は、前記第１の取得手段により取得された文字コードが示す文字の領域と、前記抽出手段により抽出された文字画像の領域との間の距離が予め定められた距離以下である場合に、当該予め定められた距離以下の領域どうしを文章領域として統合する請求項３記載の文書処理装置。
【請求項６】
文字画像として抽出する画像の条件を設定する設定手段をさらに有し、
前記抽出手段は、文書データに含まれる各画像のうち、文字であると判定された画像、かつ、前記設定手段により設定された条件と一致する画像を文字画像として抽出する請求項１から５いずれか１項記載の文書処理装置。
【請求項７】
前記抽出手段は、前記文書データに含まれる各画像のうち、表を示す画像である表画像をさらに抽出し、当該表画像の領域内に文字であると判定された画像が存在する場合には、前記設定手段により設定された条件と一致しない場合でも、当該文字であると判定された画像を文字画像として抽出する請求項６記載の文書処理装置。
【請求項８】
文書データから文字コード及び当該文字コードが示す文字の座標情報を取得する第１の取得手段と、
前記文書データ全体の画像データである全体画像データを生成する生成手段と、
前記全体画像データに対して文字認識処理を行うことにより、当該全体画像データにおける各文字の文字コード及び座標情報を取得する第２の取得手段と、
前記座標情報に基づいて、前記第１の取得手段により取得された文字コードを、前記第２の取得手段により取得された文字コードに代入する代入手段と、
を有する文書処理装置。
【請求項９】
文書データから文字コード及び当該文字コードが示す文字の座標情報を取得する第１の取得ステップと、
前記文書データから文字コードを有さない文字画像を抽出するステップと、
抽出された文字画像に対して文字認識処理を行うことにより、当該文字画像における各文字の文字コード及び座標情報を取得する第２の取得ステップと、
前記座標情報に基づいて、前記第１の取得ステップにより取得された文字コードと、前記第２の取得ステップにより取得された文字コードとを組み合わせるステップと、
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書処理装置およびプログラムに関する。
【背景技術】
【０００２】
特許文献１には、文字コード情報を画像化した情報を含む画像情報および文字コード情報を有した電子文書の画像情報をイメージに展開し、展開されたイメージのレイアウトを解析して領域を認識し、文字領域と判定された領域に対して文字認識処理を施して文字コード情報を生成し、受け取った文字コード情報と生成した文字コード情報について、対応する部分同士を所定のアルゴリズムに従って文書解析して評価し、評価結果に基づいて、いずれか一方の文字コード情報を選択し、選択された文字コード情報の各部分を繋ぎ合わせて前記電子文書の文字コード情報とする技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−７９９７９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
文書データから文章を検出する場合に、文書データに含まれる文字コードを取得するだけの構成では、画像で表現されている文字や特殊フォントを使用した文字等、文字コードを有さない文字を検出することができない。そのため、このような構成では、文書データを構成する文章に文字コードを有さない文字が含まれる場合、文字コードを有さない文字が文章から除外されてしまい、例えば、文章を翻訳する際に、正しい翻訳結果を得ることができない。また、文書データ全体に対してＯＣＲ（optical character recognition）等の文字認識を行う構成では、文字認識処理に長時間要するとともに、文字コードを有する画像に対してもＯＣＲ等の文字認識を行うことになるため、文字コードが示す文字とは異なる文字として認識されてしまう可能性がある。
【０００５】
本発明の目的は、文字コードが埋め込まれている文字領域と文字コードが埋め込まれていない文字領域とが混在する文書データから文章を検出する際に、文字領域全体に対して文字認識処理を行うことなく、文字コードが埋め込まれていない文字領域の文字を含めた文章を文書データから検出することが可能な文書処理装置およびプログラムを提供することである。
【課題を解決するための手段】
【０００６】
請求項１に係る本発明は、文書データから文字コード及び当該文字コードが示す文字の座標情報を取得する第１の取得手段と、
前記文書データから文字コードを有さない文字画像を抽出する抽出手段と、
前記抽出手段により抽出された文字画像に対して文字認識処理を行うことにより、当該文字画像における各文字の文字コード及び座標情報を取得する第２の取得手段と、
前記座標情報に基づいて、前記第１の取得手段により取得された文字コードと、前記第２の取得手段により取得された文字コードとを組み合わせる組合せ手段と、
を有する文書処理装置である。
【０００７】
請求項２に係る本発明は、前記抽出手段が、前記文書データに含まれる各画像に対して文字であるか否かの判定を行うことにより、前記文書データから文字コードを有さない文字画像を抽出する請求項１記載の文書処理装置である。
【０００８】
請求項３に係る本発明は、前記第１の取得手段により取得された文字コードが示す文字の領域と、前記抽出手段により抽出された文字画像の領域とを文章領域として統合する統合手段をさらに有し、
前記組合せ手段は、前記座標情報に基づいて、前記第１の取得手段により取得された前記文章領域内に含まれる文字コードと、前記第２の取得手段により取得された前記文章領域内に含まれる文字コードとを組み合わせる請求項１または２記載の文書処理装置である。
【０００９】
請求項４に係る本発明は、前記統合手段が、前記第１の取得手段により取得された文字コードが示す文字の領域と、前記抽出手段により抽出された文字画像の領域とが重なる場合に、当該重なる領域どうしを文章領域として統合する請求項３記載の文書処理装置である。
【００１０】
請求項５に係る本発明は、前記統合手段が、前記第１の取得手段により取得された文字コードが示す文字の領域と、前記抽出手段により抽出された文字画像の領域との間の距離が予め定められた距離以下である場合に、当該予め定められた距離以下の領域どうしを文章領域として統合する請求項３記載の文書処理装置である。
【００１１】
請求項６に係る本発明は、文字画像として抽出する画像の条件を設定する設定手段をさらに有し、
前記抽出手段は、文書データに含まれる各画像のうち、文字であると判定された画像、かつ、前記設定手段により設定された条件と一致する画像を文字画像として抽出する請求項１から５いずれか１項記載の文書処理装置である。
【００１２】
請求項７に係る本発明は、前記抽出手段が、前記文書データに含まれる各画像のうち、表を示す画像である表画像をさらに抽出し、当該表画像の領域内に文字であると判定された画像が存在する場合には、前記設定手段により設定された条件と一致しない場合でも、当該文字であると判定された画像を文字画像として抽出する請求項６記載の文書処理装置である。
【００１３】
請求項８に係る本発明は、文書データから文字コード及び当該文字コードが示す文字の座標情報を取得する第１の取得手段と、
前記文書データ全体の画像データである全体画像データを生成する生成手段と、
前記全体画像データに対して文字認識処理を行うことにより、当該全体画像データにおける各文字の文字コード及び座標情報を取得する第２の取得手段と、
前記座標情報に基づいて、前記第１の取得手段により取得された文字コードを、前記第２の取得手段により取得された文字コードに代入する代入手段と、
を有する文書処理装置である。
【００１４】
請求項９に係る本発明は、文書データから文字コード及び当該文字コードが示す文字の座標情報を取得する第１の取得ステップと、
前記文書データから文字コードを有さない文字画像を抽出するステップと、
抽出された文字画像に対して文字認識処理を行うことにより、当該文字画像における各文字の文字コード及び座標情報を取得する第２の取得ステップと、
前記座標情報に基づいて、前記第１の取得ステップにより取得された文字コードと、前記第２の取得ステップにより取得された文字コードとを組み合わせるステップと、
をコンピュータに実行させるためのプログラムである。
【発明の効果】
【００１５】
請求項１に係る本発明によれば、文字コードが埋め込まれている文字領域と文字コードが埋め込まれていない文字領域とが混在する文書データから文章を検出する際に、文字領域全体に対して文字認識処理を行うことなく、文字コードが埋め込まれていない文字領域の文字を含めた文章を文書データから検出することが可能な文書処理装置を提供することができる。
【００１６】
請求項２に係る本発明によれば、文書データに含まれる各画像が文字であるか否かを判定することが可能な文書処理装置を提供することができる。
【００１７】
請求項３に係る本発明によれば、文字コードが埋め込まれている文字領域と文字コードが埋め込まれていない文字領域とが混在する文書データにおける文章領域を検出することが可能な文書処理装置を提供することができる。
【００１８】
請求項４に係る本発明によれば、文字コードが埋め込まれている文字領域と文字コードが埋め込まれていない文字領域とが混在する文書データにおける文章領域を検出することが可能な文書処理装置を提供することができる。
【００１９】
請求項５に係る本発明によれば、文字コードが埋め込まれている文字領域と文字コードが埋め込まれていない文字領域とが混在する文書データにおける文章領域を検出することが可能な文書処理装置を提供することができる。
【００２０】
請求項６に係る本発明によれば、文字が含まれるロゴ等の除外したい画像を文字画像として抽出しないことが可能な文書処理装置を提供することができる。
【００２１】
請求項７に係る本発明によれば、文書データに表画像が含まれる場合でも、文書データ全体に対して文字認識処理を行うことなく、文字コードが埋め込まれていない文字領域の文字を含めた文章を文書データから検出することが可能な文書処理装置を提供することができる。
【００２２】
請求項８に係る本発明によれば、文字コードが埋め込まれている文字領域と文字コードが埋め込まれていない文字領域とが混在する文書データから文章を検出する際に、文書データ全体に文字認識処理を行うだけの構成と比較して、文字の誤認識を軽減することが可能な文書処理装置を提供することができる。
【００２３】
請求項９に係る本発明によれば、文字コードが埋め込まれている文字領域と文字コードが埋め込まれていない文字領域とが混在する文書データから文章を検出する際に、文字領域全体に対して文字認識処理を行うことなく、文字コードが埋め込まれていない文字領域の文字を含めた文章を文書データから検出することが可能なプログラムを提供することができる。
【図面の簡単な説明】
【００２４】
【図１】本実施形態における文書処理システムの構成を示す図である。
【図２】本実施形態における文書処理サーバ３０のハードウェア構成を示すブロック図である。
【図３】本実施形態における文書処理サーバ３０の機能構成を示すブロック図である。
【図４】本実施形態における文章領域を抽出する処理の一例を示す図である。
【図５】本実施形態における文章領域を抽出する処理の一例を示す図である。
【図６】本実施形態における文章領域を抽出する処理の一例を示す図である。
【図７】本実施形態における文章領域を抽出する処理の一例を示す図である。
【図８】本実施形態における文書処理サーバ３０の処理の流れを示すフローチャートである。
【図９】本実施形態における文書処理サーバ３０の具体的な処理の概念図である。
【図１０】本実施形態における文書処理サーバ３０の具体的な処理の一例を示す図である。
【図１１】本実施形態における文字コード及び座標情報の対応表の一例を示す図である。
【図１２】本実施形態における文字組合せ部３０８による文字コードを組み合わせる処理の一例を示す図である。
【発明を実施するための最良の形態】
【００２５】
次に、本発明の実施の形態について図面を参照して詳細に説明する。
【００２６】
図１は、本発明の一実施形態の文書処理システムのシステム構成を示す図である。
【００２７】
本実施形態の文書処理システムは、図１に示されるように、端末装置１０と、画像形成装置２０と、文書処理サーバ（文書処理装置）３０がネットワーク４０を介して相互に接続されている。端末装置１０は、文書データを生成して、ネットワーク４０経由にて生成した文書データを文書処理サーバ３０に対して送信する。文書処理サーバ３０は、端末装置１０から送信された文書データを受け付けて、文書データに対して後述する処理を行う。なお、画像形成装置２０は、印刷（プリント）機能、スキャン機能、複写（コピー）機能、ファクシミリ機能等の複数の機能を有するいわゆる複合機と呼ばれる装置である。
【００２８】
また、本実施形態における文書データは、文字コードを含むＰＤＦ（Portable Document Format）等の形式により作成されたものを対象として説明する。
【００２９】
また、本実施形態においては、端末装置１０または画像形成装置２０において、文字コードと座標情報に基づいて配置された文字コードを有する文字と、画像として埋め込まれた文字コードを有さない文字画像とによって構成された文章を文書データとして生成し、この文書データが文書処理サーバ３０に送信されるものとして説明する。
【００３０】
次に、本実施形態の文書処理システムにおける文書処理サーバ３０のハードウェア構成を図２に示す。
【００３１】
文書処理サーバ３０は、図２に示されるように、ＣＰＵ１１、メモリ１２、ハードディスクドライブ（ＨＤＤ）等の記憶装置１３、ネットワーク４０を介してデータの送信及び受信を行う通信インタフェース（ＩＦ）１４、タッチパネル又は液晶ディスプレイ並びにキーボードを含むユーザインタフェース（ＵＩ）装置１５を有する。これらの構成要素は、制御バス１６を介して互いに接続されている。
【００３２】
ＣＰＵ１１は、メモリ１２または記憶装置１３に格納された制御プログラムに基づいて所定の処理を実行して、文書処理サーバ３０の動作を制御する。なお、本実施形態では、ＣＰＵ１１は、メモリ１２または記憶装置１３内に格納された制御プログラムを読み出して実行するものとして説明したが、当該プログラムをＣＤ−ＲＯＭ等の記憶媒体に格納してＣＰＵ１１に提供することも可能である。
【００３３】
図３は、ＣＰＵ１１によりメモリ１２または記憶装置１３に格納された制御プログラムが実行されることにより実現される文書処理サーバ３０の機能構成を示す図である。
【００３４】
文書処理サーバ３０は、図３に示されるように、文書データ受付部３０１と、文字コード取得部３０２と、文字画像データ生成部３０３と、画像データ生成部３０４と、レイアウト解析部３０５と、文字認識部３０６と、領域統合部３０７と、文字組合せ部３０８とによって構成される。
【００３５】
文書データ受付部３０１は、端末装置１０または画像形成装置２０からネットワーク４０を介して文書データを受け付ける。なお、本実施形態においては、文書データ受付部３０１は、文字コードと座標情報に基づいて配置された文字コードを有する文字と、画像として埋め込まれた文字コードを有さない文字画像とによって構成された文章のデータを文書データとして受け付ける。
【００３６】
文字コード取得部３０２は、文書データ受付部３０１により受け付けられた文書データから文字コード及び当該文字コードが示す文字の座標情報を取得する（第１の取得手段）。また、文字コード取得部３０２は、文字の並びに対し段落単位・文字行単位などを判定し、取得した各文字コードが示す文字が縦書きであるか横書きであるかの判定結果および文字コードが示す文字の行数を取得する。
【００３７】
文字画像データ生成部３０３は、文字コード取得部３０２により取得された文字コードに基づいて、文字の画像データである文字画像データを生成する。
【００３８】
画像データ生成部３０４は、文書データに含まれる画像をラスタライズすることによって画像データを生成する。本実施形態においては、画像データ生成部３０４は、文書データにおいて埋め込まれた文字コードを有さない文字を含む画像の画像データを、文字コードを有さない画像データとして生成する。
【００３９】
レイアウト解析部３０５は、文書データから文字コードを有さない文字画像を抽出する（抽出手段）。具体的には、レイアウト解析部３０５は、必要に応じ、当該画像から文字以外を取り除く前処理（ノイズ除去や鮮鋭化等）を行い、さらに、文書データに含まれる各画像に対して文字であるか否かの判定を行うことにより、文書データから文字コードを有さない文字画像を抽出し、文字画像の並びに対し段落単位・文字行単位などを判定する。本実施形態においては、レイアウト解析部３０５は、画像データ生成部３０４により生成された文字コードを有さない画像データを構成する要素（以下、画像オブジェクト）ごとに特徴を抽出して、画像オブジェクトの特徴から文字であるか否かを判定し、文字であると判定された画像オブジェクトを文字画像として抽出する。
【００４０】
さらに、レイアウト解析部３０５は、レイアウト解析を用いて、文字画像に含まれる文字列が縦書きであるか横書きであるかの判定処理、文字画像の外接矩形領域を文字領域として検出する処理および文字画像に含まれる文字の行数を検出する処理を行う。
【００４１】
文字認識部３０６は、レイアウト解析部３０５により抽出された文字画像に対して文字認識処理を行うことにより、当該文字画像における各文字の文字コード及び座標情報を取得する（第２の取得手段）。本実施形態においては、文字認識部３０６は、レイアウト解析部３０５により抽出された文字画像に対して、ＯＣＲを用いて文字認識処理を行うことによって文字画像における各文字の文字コード及び座標情報を取得する。
【００４２】
領域統合部３０７は、文字コード取得部３０２により取得された文字コードが示す文字の領域と、レイアウト解析部３０５により検出された文字領域とを文章領域として統合する。本実施形態においては、領域統合部３０７は、文字画像データ生成部３０３により生成された文字画像データの領域と、レイアウト解析部３０５により検出された文字領域とを統合する。
【００４３】
また、領域統合部３０７は、本実施形態においては、文字画像データ生成部３０３により生成された文字画像データの領域と、レイアウト解析部３０５により検出された文字領域とが重なる場合に、当該重なる領域どうしを文章領域として統合する。さらに、領域統合部３０７は、文字画像データ生成部３０３により生成された文字画像データの領域と、レイアウト解析部３０５により検出された文字領域との間の距離が予め定められた距離以下である場合に、当該文字画像データ及び当該文字領域の領域を文章領域として統合する。
【００４４】
文字組合せ部３０８は、文字コード取得部３０２及び文字認識部３０６により取得された座標情報に基づいて、文字コード取得部３０２により取得された文章領域内に含まれる文字コードと、文字認識部３０６により取得された文章領域内に含まれる文字コードとを組み合わせる。
【００４５】
具体的には、文字組合せ部３０８は、文字コード取得部３０２及び文字認識部３０６により取得された各文字コードの座標情報を参照して、文章領域内の座標に位置する文字の文字コードを検出し、この検出された各文字コードの座標情報が示すｘｙ座標に基づいて、各文字コードをｘ方向及びｙ方向に整列するように組み合わせる。例えば、文字組合せ部３０８は、文章領域内の各文字コードが横書きである場合には、ｘ方向が行方向、ｙ方向が列方向となるように文字コードを組み合わせる。同様に、文字組合せ部３０８は、文章領域内の各文字コードが縦書きである場合には、ｘ方向が列方向、ｙ方向が行方向となるように文字コードを組み合わせる。
【００４６】
次に、本実施形態における領域統合部３０７によって文章領域を抽出する具体的な処理の一例について図４〜図７を参照して詳細に説明する。
【００４７】
まず、図４、図５を参照して、文字画像データ生成部３０３により生成された文字画像データの領域と、レイアウト解析部３０５により検出された文字領域とが重なる場合に、当該重なる領域どうしを文章領域として統合する場合の処理の一例を説明する。
【００４８】
まず、文書データ受付部３０１により、図４（Ａ）に示されるような文字コードを有する文字と文字コードを有さない文字画像とを含む文書データを受け付ける。そして、文字コード取得部３０２は、文書データから文字コードを有する文字の文字コード及び座標情報を取得し、文字画像データ生成部３０３は、図４（Ｂ）に示されるように、取得された文字コードに基づいて文字画像データを生成する。
【００４９】
次に、画像データ生成部３０４は、図４（Ｃ）に示されるように、文書データにおいて埋め込まれた文字コードを有さない文字を含む画像の画像データを、文字コードを有さない画像データとして生成する。
【００５０】
そして、レイアウト解析部３０５は、文字コードを有さない画像データにおいて文字であると判定された文字画像を抽出し、文字認識部３０６は、文字画像に対してＯＣＲを用いて文字認識処理を行うことにより、文字画像における各文字の文字コード及び座標情報を取得する。また、レイアウト解析部３０５は、レイアウト解析を行うことにより、図４（Ｃ）の点線の領域で示されるように、文字コードを有さない画像データにおいて文字であると判定された文字画像の外接矩形領域を文字領域として検出する。
【００５１】
次に、領域統合部３０７は、文字画像データと文字コードを有さない画像データとを比較して、文字画像データの領域と文字領域とが重なっているか否かを判定する。例えば、図５（Ａ）に示されるように、文字画像データの領域と文字領域とが重なっていると判定された場合には、領域統合部３０７は、図５（Ｂ）の点線の太字の領域で示されるように、重なっている文字画像データの領域及び文字領域を文章領域として統合する。
【００５２】
次に、図６、図７を参照して、文字画像データ生成部３０３により生成された文字画像データの領域と、レイアウト解析部３０５により検出された文字領域との間の距離が予め定められた距離以下である場合に、当該文字画像データの領域及び当該文字領域を文章領域として統合する処理の一例を説明する。
【００５３】
まず、文書データ受付部３０１により、図６（Ａ）に示されるような文字コードを有する文字と文字コードを有さない文字画像とを含む文書データを受け付ける。そして、文字コード取得部３０２は、文書データから文字コードがある文字の文字コード及び座標情報を取得して、文字画像データ生成部３０３は、図６（Ｂ）に示されるように、取得された文字コードに基づいて文字画像データを生成する。
【００５４】
次に、画像データ生成部３０４は、図６（Ｃ）に示されるように、文書データにおいて埋め込まれた文字コードを有さない文字を含む画像の画像データを、文字コードを有さない画像データとして生成する。
【００５５】
そして、レイアウト解析部３０５は、文字コードを有さない画像データにおいて文字であると判定された文字画像を抽出し、文字認識部３０６は、文字画像に対してＯＣＲを用いて文字認識処理を行うことにより、文字画像における各文字の文字コード及び座標情報を取得する。また、レイアウト解析部３０５は、レイアウト解析を行うことにより、図６（Ｃ）の点線の領域で示されるように、文字コードを有さない画像データにおいて文字であると判定された文字画像の外接矩形領域を文字領域として検出する。
【００５６】
次に、領域統合部３０７は、文字画像データと文字コードを有さない画像データとを比較して、文字画像データの領域と文字領域との間の距離が予め定められた距離以下であるか否かを判定する。例えば、図７（Ａ）に示されるように、領域統合部３０７は、文字画像データの１行領域と文字領域とが、文書データにおける行間分の距離以内であるか否かを判定する。
【００５７】
そして、文字画像データの領域と文字領域との間の距離が予め定められた距離以下である場合、領域統合部３０７は、文字画像データの領域と文字領域とを文章領域として統合する。例えば、図７（Ｂ）の点線の太字の領域で示されるように、領域統合部３０７は、文字画像データの領域と文字領域との間の距離が予め定められた距離以下である文字画像データの領域及び文字領域を文章領域として統合する。
【００５８】
次に、本実施形態における文書処理サーバ３０の処理の流れについて、図８のフローチャートを参照して説明する。
【００５９】
まず、文書データ受付部３０１は、端末装置１０または画像形成装置２０からネットワーク４０を介して文書データを受け付ける（ステップＳ１０１）。
【００６０】
次に、文字コード取得部３０２は、文書データ受付部３０１により受け付けられた文書データから文字コード及び当該文字コードが示す文字の座標情報を取得する（ステップＳ１０２）。
【００６１】
そして、文字画像データ生成部３０３は、文字コード取得部３０２により取得された文字コードに基づいて、文字画像データを生成する（ステップＳ１０３）。
【００６２】
また、画像データ生成部３０４は、文書データにおいて埋め込まれた文字コードを有さない文字を含む画像の画像データを、文字コードを有さない画像データとして生成する（ステップＳ１０４）。
【００６３】
次に、レイアウト解析部３０５は、文字コードを有さない画像データの各画像に対して文字であるか否かの判定を行うことにより、文字コードを有さない文字画像を抽出する（ステップＳ１０５）。このとき、レイアウト解析部３０５は、文字画像の並びに対し段落単位・文字行単位などを判定し、文字画像の外接矩形領域を文字領域として検出する。
【００６４】
そして、文字認識部３０６は、抽出された文字画像に対して文字認識処理を行うことにより、当該文字画像における各文字の文字コード及び座標情報を取得する（ステップＳ１０６）。
【００６５】
そして、領域統合部３０７は、文字画像データの領域と文字領域とを文章領域として統合する（ステップＳ１０７）。
【００６６】
最後に、文字組合せ部３０８は、文字コード取得部３０２及び文字認識部３０６により取得された座標情報に基づいて、文字コード取得部３０２により取得された文章領域内に含まれる文字コードと、文字認識部３０６により取得された文章領域内に含まれる文字コードとを組み合わせる（ステップＳ１０８）。
【００６７】
次に、図９〜図１２を参照して、本実施形態における文書処理サーバ３０の具体的な処理について説明する。
【００６８】
図９は、本実施形態における文書処理サーバ３０の処理の概念図である。
【００６９】
まず、文書データ受付部３０１は、図１０（Ａ）に示されるような、文字コードを有する「３」及び「０」という文字と、文字コードを有さない文字画像として「本日は晴れ、気温は  度を超えます。」という文字列が画像で表現された画像オブジェクト５０とを含む文書データを受け付ける。
【００７０】
そして、文字コード取得部３０２は、文書データから「３」及び「０」の文字コード及び座標情報を取得する（ステップＳ２０１）。ここで、例えば、文字組合せ部３０８は、文字コード取得部３０２において取得された「３」の文字コード「Ａ１７」及び座標（ｘ１、ｙ２）、「０」の文字コード「Ａ１８」及び座標（ｘ２、ｙ２）を受信して、図１１に示されるように、これらの文字コード及び座標情報それぞれを対応付けた対応表により管理しておく。また、文字コード取得部３０２は、取得された文字コードが示す文字が横書きの１行であるという情報を取得する。
【００７１】
なお、本実施形態においては、図１１に示されるように、文字コードとしてＡ１〜Ａ１８が取得されるものとして説明するが、ＪＩＳコード等の規格に基づく文字コードを取得するようにしてもよい。
【００７２】
そして、文字画像データ生成部３０３は、図１０（Ｂ）に示されるように、文字コードに基づいて、文字画像データとして「３」及び「０」の画像データを生成する（ステップＳ２０２）。そして、領域統合部３０６は、文字コード取得部３０２により取得された座標情報に基づいて、「３」及び「０」の画像データの外接矩形領域を文字画像データの領域として検出する（ステップＳ２０３）。
【００７３】
次に、画像データ生成部３０４は、図１０（Ｃ）に示されるように画像オブジェクト５０を、文字コードを有さない画像データとして生成する（ステップＳ２０４）。
【００７４】
また、レイアウト解析部３０５は、図１０（Ｃ）に示されるように、画像オブジェクト５０の外接矩形領域を文字領域として抽出するとともに、画像オブジェクト５０の文字列が横書きの２行であることを検出する（ステップＳ２０５）。
【００７５】
そして、文字認識部３０６は、画像オブジェクト５０に対してＯＣＲを用いて文字認識処理を行うことにより画像オブジェクト５０における各文字の文字コード及び座標情報を取得する（ステップＳ２０６）。ここで、例えば、図１１に示されるように、文字組合せ部３０８は、文字認識部３０６により取得された文字コード及び座標情報を受信して、文字コード及び座標情報それぞれを対応付けた対応表により管理しておく。例えば、文字組合せ部３０８は、文字認識部３０６により取得された「本」の文字コード「Ａ１」及び座標（ｘ１、ｙ１）を受信して、これらを対応付けて管理する。
【００７６】
そして、領域統合部３０７は、文字画像データと文字コードを有さない画像データとを比較して、文字領域内において「３」及び「０」の領域が重なっていると判定し、図１０（Ｄ）の点線の太字の領域で示されるように、文字領域と「３」及び「０」の領域とを文章領域として統合する（ステップＳ２０７）。
【００７７】
そして、図１１に示されるように、文字組合せ部３０８は、文字コード取得部３０２により取得された各文字の文字コード及び座標情報の対応表と、文字認識部３０６により取得された各文字の文字コード及び座標情報の対応表とを参照して、文章領域内に含まれる各文字コードの座標を特定する。そして、文字組合せ部３０８は、文章領域内に含まれる各文字コードをそれぞれの座標情報に基づいて組み合わせる（ステップＳ２０８）。
【００７８】
例えば、図１２に示されるように、文章領域内の「本日は晴れ、気温は３０度を超えます。」というそれぞれの文字の文字コードと、それぞれの座標情報に基づいて、１行目の先頭の文字である「本」の座標（ｘ１、ｙ１）から１行目の最後の文字である「は」の座標（ｘ９、ｙ１）までの各文字コードを、ｙ１の座標において、ｘ方向にｘ１〜ｘ９に配置する。続いて、２行目の先頭の文字である「３」の座標（ｘ１、ｙ２）から２行目の最後の文字である「。」の座標（ｘ９、ｙ２）までの各文字コードを、ｙ２の座標において、ｘ方向にｘ１〜ｘ９に配置されるように組み合わせる。
【００７９】
なお、本実施形態においては、文字領域と文字画像データの領域との間の距離が予め定められた距離以下である場合に、当該文字領域及び当該文字画像データの領域を統合することにより文章領域を抽出するものとして説明した。しかし、領域統合部３０７は、文字領域または文字画像データの領域を予め定められた範囲分広げることによって、文字領域と文字画像データの領域とが重なる場合に、当該文字領域及び当該文字画像データの領域を統合することにより文章領域を抽出するようにしてもよい。
【００８０】
また、本実施形態においては、レイアウト解析部３０５は、文書データに含まれる各画像に対して文字であるか否かの判定を行うことにより、文書データから文字コードを有さない文字画像を抽出するものとして説明したが、例えば、文書データにおいて、文字が含まれるロゴ等を文字認識の処理から除外したい場合には、文字画像として抽出する画像の条件を設定してもよい。例えば、縦横比が予め定められた値以上である画像、画像内の各文字サイズの差が予め定められた差以下である画像または画像内の文字の線幅やその分布が予め定められた閾値を満たす画像等の場合に、文字画像として抽出するように条件を設定するようにしてもよい。この場合には、文書処理サーバ３０に、上記のような文字画像を抽出する画像の条件を設定するための設定手段を追加し、レイアウト解析部３０５は、文字であると判定された画像、かつ、設定手段により設定された条件と一致する画像を文字画像として抽出するようにしてもよい。
【００８１】
また、領域統合部３０７は、統合された文章領域内の各文字の文字コード及び座標情報に基づいて、文章領域内の文字列の行判定を行うようにしてもよい。さらに、文字組合せ部３０８は、文字コード取得部３０２及び文字認識部３０６により取得された文字コードに、箇条書きを示す文字コードが含まれる場合には、領域統合部３０７による行判定の結果に基づいて、行ごとに文字コードを組み合わせるようにしてもよい。
【００８２】
さらに、一般的には、表に文字列が含まれる場合、その文字列は短い１行の文字列である場合が多い。そのため、レイアウト解析部３０５は、文書データに含まれる各画像のうち、表を示す画像である表画像をさらに抽出し、表画像の領域内に文字であると判定された画像が存在する場合には、設定手段により設定された条件と一致しない場合でも、当該文字であると判定された画像を文字画像として抽出するようにしてもよい。
【００８３】
また、本実施形態においては、画像データ生成部３０４は、文字コードを有さない文字画像の画像データを文字コードを有さない画像データとして生成するものとして説明したが、文書データ全体の画像データを生成するようにしてもよい。この場合には、文字認識部３０６は、全体画像データに対して文字認識を行うことにより各文字の文字コード及び座標情報を取得するようにしてもよい。さらに、文字コード取得部３０２及び文字認識部３０６により取得された座標情報に基づいて、文字コード取得部３０２により取得された文字コードを、文字認識部３０６より取得された文字コードに代入する代入手段に文字組合せ部３０８を置き換えるようにしてもよい。
【符号の説明】
【００８４】
１０    端末装置
１１    ＣＰＵ
１２    メモリ
１３    記憶装置
１４    通信ＩＦ
１５    ＵＩ装置
１６    制御バス
２０    画像形成装置
３０    文書処理サーバ
４０    ネットワーク
５０    画像オブジェクト
３０１    文書データ受付部
３０２    文字コード取得部
３０３    文字画像データ生成部
３０４    画像データ生成部
３０５    レイアウト解析部
３０６    文字認識部
３０７    領域統合部
３０８    文字組合せ部
【図１】
2016057964.tif 000003
【図２】
2016057964.tif 000004
【図３】
2016057964.tif 000005
【図４】
2016057964.tif 000006
【図５】
2016057964.tif 000007
【図６】
2016057964.tif 000008
【図７】
2016057964.tif 000009
【図８】
2016057964.tif 000010
【図９】
2016057964.tif 000011
【図１０】
2016057964.tif 000012
【図１１】
2016057964.tif 000013
【図１２】
2016057964.tif 000014