(57)【要約】【課題】翻訳文に配置スペースが確保されていない文書画像についても、レイアウトを崩さずに原文と翻訳文とを共に含んだ文書画像を生成する。【解決手段】文書画像から文字列を含む文章領域を特定し、特定された文章領域に含まれる文字列画像を抽出し、抽出した文字列画像に含まれる各文字を認識し、認識された文字からなる原文文字列を翻訳した翻訳文文字列を生成し、各文字列画像を縮小して文章領域に配置するとともに、文章領域から各文字列画像を配置する領域を除いた空き領域に、生成された各翻訳文文字列を配置し、各文字列画像と翻訳文文字列とが文章領域に配置された出力文書のデータを生成する文書画像処理装置１０。【選択図】図１
2009053932.tif 000002
【特許請求の範囲】
【請求項１】
文書画像から文字列を含む文章領域を特定する手段と、
前記特定された文章領域に含まれる文字列画像を抽出する手段と、
前記抽出した文字列画像に含まれる各文字を認識する手段と、
前記認識された文字からなる原文文字列を翻訳した翻訳文文字列を生成する手段と、
前記各文字列画像を縮小して前記文章領域に配置するとともに、前記文章領域から前記各文字列画像を配置する領域を除いた空き領域に前記生成された各翻訳文文字列を配置する配置手段と、
前記各文字列画像と前記各翻訳文文字列とが前記文章領域に配置された出力文書のデータを生成する手段と、
を含むことを特徴とする文書画像処理装置。
【請求項２】
前記配置手段は、前記縮小した前記各文字列画像を連結した画像を前記文章領域の行の長さで分割した行画像を前記文章領域に配置する、
ことを特徴とする請求項１に記載の文書画像処理装置。
【請求項３】
前記各文字列画像を連結した長さと、前記各翻訳文文字列を連結した長さが略等しくなるように、前記文字列画像のサイズと、前記翻訳文文字列の文字サイズとを決定する手段をさらに含む、
ことを特徴とする請求項１又は２に記載の文書画像処理装置。
【請求項４】
前記各文字列画像を連結した長さと、前記各翻訳文文字列を連結した長さが等しくない場合には、短い方の行の間に長い方の少なくとも一部の行を複数行まとめて配置する、
ことを特徴とする請求項１又は２に記載の文書画像処理装置。
【請求項５】
前記原文文字列の文章構造のまとまり毎に前記文字列画像と前記翻訳文文字列とをそれぞれまとめて配置する、
ことを特徴とする請求項１乃至４のいずれかに記載の文書画像処理装置。
【請求項６】
前記文字列画像に基づいて翻訳された翻訳文文字列を、前記文字列画像の上又は下のいずれかに配置するとともに、前記翻訳文文字列の文字サイズを前記文字列画像の長さに収まるように補正する、
ことを特徴とする請求項１乃至５のいずれかに記載の文書画像処理装置。
【請求項７】
文書画像から文字列を含む文章領域を特定する手段、
前記特定された文章領域に含まれる文字列画像を抽出する手段、
前記抽出した文字列画像に含まれる各文字を認識する手段、
前記認識された文字からなる原文文字列を翻訳した翻訳文文字列を生成する手段、
前記各文字列画像を縮小して前記文章領域に配置するとともに、前記文章領域から前記各文字列画像を配置する領域を除いた空き領域に前記生成された各翻訳文文字列を配置する配置手段、及び、
前記各文字列画像と前記各翻訳文文字列とが前記文章領域に配置された出力文書のデータを生成する手段、
としてコンピュータを機能させることを特徴とする文書画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書画像処理装置、及び文書画像処理プログラムに関する。
【背景技術】
【０００２】
文書画像に対してＯＣＲにより文字認識を行い、その文字認識結果を翻訳して翻訳文を出力するという技術がある。その技術において、原文と翻訳文とを共に同じ文書画像の中に配置して出力することがある。
【０００３】
例えば、下記の特許文献１及び特許文献２には、文書画像に含まれる原文画像の上部のスペースに翻訳文を配置して出力する技術が開示されている。ただし、従来の技術では、予め翻訳スペースが確保されていることを前提としていた。
【特許文献１】特開平５−３２４７２０号公報
【特許文献２】特開２００２−２８８１６９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明の目的は、翻訳文に配置スペースが確保されていない文書画像についても、レイアウトを崩さずに原文と翻訳文とを共に含んだ文書画像を生成することができる文書画像処理装置、及び文書画像処理プログラムを提供することにある。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、請求項１に係る文書画像処理装置の発明は、文書画像から文字列を含む文章領域を特定する手段と、前記特定された文章領域に含まれる文字列画像を抽出する手段と、前記抽出した文字列画像に含まれる各文字を認識する手段と、前記認識された文字からなる原文文字列を翻訳した翻訳文文字列を生成する手段と、前記各文字列画像を縮小して前記文章領域に配置するとともに、前記文章領域から前記各文字列画像を配置する領域を除いた空き領域に前記生成された各翻訳文文字列を配置する配置手段と、前記各文字列画像と前記各翻訳文文字列とが前記文章領域に配置された出力文書のデータを生成する手段と、を含むことを特徴とする。
【０００６】
請求項２の発明は、請求項１に記載の文書画像処理装置において、前記配置手段は、前記縮小した前記各文字列画像を連結した画像を前記文章領域の行の長さで分割した行画像を前記文章領域に配置する、ことを特徴とする。
【０００７】
請求項３の発明は、請求項１又は２に記載の文書画像処理装置において、前記各文字列画像を連結した長さと、前記各翻訳文文字列を連結した長さが略等しくなるように、前記文字列画像のサイズと、前記翻訳文文字列の文字サイズとを決定する手段をさらに含む、ことを特徴とする。
【０００８】
請求項４の発明は、請求項１又は２に記載の文書画像処理装置において、前記各文字列画像を連結した長さと、前記各翻訳文文字列を連結した長さが等しくない場合には、短い方の行の間に長い方の少なくとも一部の行を複数行まとめて配置する、ことを特徴とする。
【０００９】
請求項５の発明は、請求項１乃至４のいずれかに記載の文書画像処理装置において、前記原文文字列の文章構造のまとまり毎に前記文字列画像と前記翻訳文文字列とをそれぞれまとめて配置する、ことを特徴とする。
【００１０】
請求項６の発明は、請求項１乃至５のいずれかに記載の文書画像処理装置において、前記文字列画像に基づいて翻訳された翻訳文文字列を、前記文字列画像の上又は下のいずれかに配置するとともに、前記翻訳文文字列の文字サイズを前記文字列画像の長さに収まるように補正する、ことを特徴とする。
【００１１】
請求項７の文書画像処理プログラムの発明は、文書画像から文字列を含む文章領域を特定する手段、前記特定された文章領域に含まれる文字列画像を抽出する手段、前記抽出した文字列画像に含まれる各文字を認識する手段、前記認識された文字からなる原文文字列を翻訳した翻訳文文字列を生成する手段、前記各文字列画像を縮小して前記文章領域に配置するとともに、前記文章領域から前記各文字列画像を配置する領域を除いた空き領域に前記生成された各翻訳文文字列を配置する配置手段、及び、前記各文字列画像と前記各翻訳文文字列とが前記文章領域に配置された出力文書のデータを生成する手段、としてコンピュータを機能させることを特徴とする。
【発明の効果】
【００１２】
請求項１に記載の発明によれば、翻訳文に配置スペースが確保されていない文書画像についても、レイアウトを崩さずに原文と翻訳文とを共に含んだ文書画像を生成することができる。
【００１３】
請求項２に記載の発明によれば、文字列画像を縮小し、縮小した各文字列画像を文章領域の行に詰めて配置することで翻訳文文字列の配置領域を確保し、翻訳文にスペースが確保されていない文書画像についても、レイアウトを崩さずに原文と翻訳文とを共に含んだ文書画像を生成することができる。
【００１４】
請求項３に記載の発明によれば、文字列画像の全体の長さと、翻訳文文字列の全体の長さとを略等しくするため、両者の対応関係を明確にできる。また、文字列画像の全体の長さと、翻訳文文字列の全体の長さとを略等しくすることで、レイアウトを整えることができる。
【００１５】
請求項４に記載の発明によれば、文字列画像の全体の長さと、翻訳文文字列の全体の長さが異なる場合には、長い方の行を短い方の行の間に複数行まとめて配置し、両者の文章領域における終了位置を調整することができる。
【００１６】
請求項５に記載の発明によれば、段落等の文章構造のまとまり毎に文字列画像と翻訳文文字列とをそれぞれまとめて配置するため、文章構造を明確化できる。また、段落等の文章構造のまとまり毎に文字列画像と翻訳文文字列とをそれぞれまとめて配置することで、レイアウトを整えることができる。
【００１７】
請求項６に記載の発明によれば、文字列画像とそれに対応する翻訳文文字列との対応関係を明確にできる。
【００１８】
請求項７に記載の発明によれば、翻訳文に配置スペースが確保されていない文書画像についても、レイアウトを崩さずに原文と翻訳文とを共に含んだ文書画像を生成するようにコンピュータを機能させることができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明を実施するための好適な実施の形態（以下、実施形態という）を、図面に従って説明する。
【００２０】
図１は、本実施形態に係る文書画像処理装置１０の機能ブロック図である。図１に示されるように、文書画像処理装置１０は、機能的な構成として、文書画像取得部１００、文章領域特定部１０２、文字列画像抽出部１０４、文字認識部１０６、翻訳部１０８、文字サイズ決定部１１０、配置部１１２、及び、画像生成部１１４を具備する。上記の各機能は、コンピュータシステムたる文書画像処理装置１０がコンピュータプログラムに従って動作することにより実現されるものとしてよい。また、コンピュータプログラムは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、フラッシュメモリ等のコンピュータが読み取り可能なあらゆる形態の情報記録媒体に格納され、文書画像処理装置１０に接続された図示しない媒体読み取り装置により読み込まれることとしてもよい。また、コンピュータプログラムは、ネットワークを介して文書画像処理装置１０にダウンロードされることとしても構わない。
【００２１】
文書画像取得部１００は、文字列が含まれた文書画像の画像データ（以下、文書画像データ）を取得する。文書画像取得部１００は、例えば文書画像処理装置１０に接続された図示しないスキャナによりスキャンされた文書画像データの入力を受けつけて、文書画像データを取得することとしてもよい。
【００２２】
図２には、文書画像取得部１００により取得される文書画像２００の一例を示す。図２に示されるように、文書画像２００には、その少なくとも一部に文章領域２１０や文章領域２２０等の文字列を含む部分が含まれていればよく、他に画像等の文字列以外のオブジェクトが含まれていても構わない。
【００２３】
文章領域特定部１０２は、文書画像取得部１００により取得された文書画像データに基づいて、その文書画像データにより表される文書画像に含まれる文章領域を特定する。例えば、図２に示された文書画像２００の例では、文章領域２１０や文章領域２２０等のそれぞれの位置、及び領域サイズ等を特定する。
【００２４】
文字列画像抽出部１０４は、文章領域特定部１０２により特定された文章領域の中から、少なくとも１つの文字を含む文字列画像を抽出する。文字列画像抽出部１０４により抽出される文字列画像は１又は複数あることとして構わない。本実施形態では、行を単位として文字列画像を抽出することとするが、文字列画像の抽出は、句、節、文、段落等の他の単位を基準として行ってもよい。本実施形態では、図２に示された文書画像２００の例では、特定した文章領域２１０に対して、行毎に文字列画像３００Ａ，３００Ｂ，３００Ｃ，３００Ｄ，３００Ｅが抽出される。
【００２５】
文字認識部１０６は、文字列画像抽出部１０４により抽出された文字列画像に含まれる各文字を認識する。文字認識には、公知の文字認識技術を用いることとしてよい。文字認識部１０６は、文字列画像から文字認識された各文字を連結して文字列（以下、原文文字列とする）のデータを生成する。文字認識処理は、各文字列画像に対して行われる。
【００２６】
翻訳部１０８は、文字認識部１０６により認識された文字からなる原文文字列を他の言語に翻訳し、翻訳文文字列を生成する。上記の翻訳処理には、公知の翻訳処理技術を用いることとしてよく、原文書をどの言語に翻訳するかは特に限定されるものではなく、利用者が適宜設定できることとしてもよい。
【００２７】
文字サイズ決定部１１０は、文字列画像（原文）と、翻訳部１０８により生成された翻訳文文字列とのそれぞれのサイズを決定する。文字列画像（原文）と翻訳文文字列とのそれぞれのサイズは、文字列画像の全体の長さ、翻訳文文字列の総文字数、文章領域のサイズ、文章領域に設定される行間割合等に基づいて決定される。ここで、文字列画像のサイズとは、文字列画像の高さ及び幅であり、翻訳文文字列のサイズとは、各翻訳文文字の文字サイズである。
【００２８】
配置部１１２は、決定された文字列画像（原文）と翻訳文文字列とのそれぞれのサイズ及び両者の長さと、両者を配置する文章領域のサイズ等に基づいて、文字列画像と翻訳文文字列とを文章領域に収まるように配置する。例えば、配置部１１２は、図３（Ａ）に示される元の文書画像における文章領域を、図３（Ｂ）に示されるように原文文字列画像と翻訳文文字列との両方を配置した文章領域に再構成する。なお、配置部１１２における処理の詳細は後述する。
【００２９】
画像生成部１１４は、配置部１１２により文字列画像と翻訳文文字列が文章領域に配置された出力文書画像を生成する。出力文書画像は、例えばビットマップデータとして生成することとしてよい。そして、生成された出力文書画像は、文書画像処理装置１０に接続された図示しないプリンタに転送して印刷出力することとしてもよい。
【００３０】
次に、文書画像処理装置１０により文書画像生成処理の一連の流れを、図４及び図５に示されたフロー図を参照しつつ説明する。
【００３１】
［文書画像生成処理］
図４には、文書画像生成処理の主な流れを表したフロー図が示されている。まず、文書画像処理装置１００は、文書画像のスキャン画像データを取得する（Ｓ１０１）。文書画像処理装置１０は、取得した文書画像に対してレイアウト解析を行い（Ｓ１０２）、レイアウト解析の結果に基づいて文書画像の中から文字列が含まれる文章領域を特定する。そして、文書画像処理装置１０は、特定した文章領域に含まれる行毎の文字列画像を抽出し（Ｓ１０３）、抽出した文字列画像をメモリに格納する。
【００３２】
次に、文書画像処理装置１０は、上記抽出した文字列画像を所定の画像処理により各文字を矩形領域に区切って文字認識を行う（Ｓ１０４）。文書画像処理装置１０は、上記文字認識により得られた文字からなる原文文字列を構文解析した後に、所定の言語に翻訳して（Ｓ１０５）、翻訳文文字列を生成する。
【００３３】
文書画像処理装置１０は、上記生成された翻訳文文字列と、メモリに格納された文字列画像（原文）とのそれぞれのサイズと、文章領域内の各々の配置とを、文章領域のサイズや文章領域に設定された行間割合、翻訳文文字列の文字数や文字列画像の長さ等に基づいて決定する（Ｓ１０６）。この決定処理についての詳細は、図５に示されたフロー図を参照しつつ、以下に説明する。
【００３４】
まず、文書画像処理装置１０は、文章領域について行間として用いる領域の割合（以下、行間割合）を設定する（Ｓ２０１）。この行間割合とは、文章領域における、文字列画像や翻訳文文字列を配置する領域を除外した部分の領域が占める割合である。行間割合は、元の文章領域における行間の比率に基づいて決定することとしてもよいし、予め定められた値に設定することとしてもよい。
【００３５】
次に、文字列画像（原文文字）と翻訳文文字とのサイズ比率を所定値に暫定的に設定する（Ｓ２０２）。ここでのサイズ比率はそれぞれの文字の高さの比に基づいて設定される。例えば、原文文字の高さＨ１と翻訳文文字の高さＨ２との比が１：１や２：１となるようにそれぞれのサイズを設定することとしてよい。そして、上記サイズ比率に基づいて設定された翻訳文文字の文字サイズに基づいて、翻訳文文字列の全体の長さを算出する（Ｓ２０３）。
【００３６】
ここで、原文文字列画像と翻訳文文字列との全体の長さを揃える場合には（Ｓ２０４：Ｙ）、原文文字列画像と翻訳文文字列のサイズを補正する（Ｓ２０５）。サイズの補正は、例えば、原文文字列画像と翻訳文文字列のうち長い方の長さをＮ、短い方の長さをＭとした場合に、短い方の文字サイズをＭ／Ｎ倍することにより行うこととしてもよい。
【００３７】
次に、文書画像処理装置１０は、現在の文字サイズの原文と翻訳文とが文章領域に収まるか否かを判断する（Ｓ２０６）。上記判断は、設定された行間割合から文章領域に原文と翻訳文とを配置可能な領域の最大高さＨＭａｘを算出し、Ｈ＝Ｈ１（原文の行原文文字サイズの高さ）・Ｌ１（行数）＋Ｈ２（翻訳文の行翻訳文文字サイズ）・Ｌ２（行数）、がＨＭａｘ以下に収まるか否かを判断することにより行う。ここで、Ｈ＞ＨＭａｘ、すなわち文章領域に収まらないと判断する場合には（Ｓ２０６：Ｎ）、原文（画像）と翻訳文の文字サイズをそれぞれ縮小する（Ｓ２０７）。縮小率は、例えば、原文（画像）と翻訳文をそれぞれＨＭａｘ／Ｈ倍して縮小することとしてもよい。また、縮小率は上記のものに限られず、両者の縮小率を異なる縮小率としてもよいし、どちらか一方のみを縮小することとしても構わない。
【００３８】
文書画像処理装置１０は、上記文章領域に収まるサイズに決定された原文と翻訳文とに対して、予め行間として確保した領域を割り当てる（Ｓ２０８）。行間の割り当ては、原文と翻訳文とに応じて異なる比率としてもよいし、両者とも同じ行間としてもよい。そして、割り当てられた行間と原文、翻訳文のそれぞれのサイズに基づいて、文章領域に原文文字列画像と、翻訳文文字列とを配置する。
【００３９】
図３（Ｂ）には、上記原文文字列画像と翻訳文文字列とが配置された文章領域の一例を示す。図３（Ｂ）に示されるように、翻訳文文字列を一行配置して、その下に原文文字列画像を配置するという規則で両者の配置を繰り返す。そして、図３（Ｂ）に示された例では、原文文字列画像と翻訳文文字列との行間はｄであることとする。なお、各原文文字列画像は、左から順に詰めて配置した際に文章領域の行の長さに達した場合には、その位置で文字列画像を分割して、分割した残りの部分画像を次の行に配置する。こうして、縮小された文字列画像に応じて、行画像３１０Ａ，Ｂ，Ｃ，Ｄが新たに生成されて文章領域２１０に配置し、各行画像の上に翻訳文文字列４００Ａ，Ｂ，Ｃ，Ｄを配置する。上記の行画像は、各原文文字列画像を連結した後に、文章領域の各行の長さで分割して生成することとしてよい。
【００４０】
以上の処理が終了すると、文書画像処理装置１０は、原文文字列画像と翻訳文文字列とが配置された文章領域を含む出力文書画像を生成する（Ｓ１０７）。出力文書画像は、ビットマップデータとして生成することとしてもよいし、他のフォーマットの圧縮画像データとして生成することとしてもよい。
【００４１】
以上の文書画像処理装置１０によれば、翻訳文に配置スペースが確保されていない文書画像についても、レイアウトを崩さずに原文と翻訳文とを共に含んだ文書画像を生成することができる。
【００４２】
なお、本発明は上記の実施形態に限定されるものではない。
【００４３】
上記の実施形態では、出力文書のデータを画像データとして生成しているが、これに限られるものではなく、電子ドキュメントを扱うコンピュータアプリケーションのアプリケーションデータとして生成してもよい。
【００４４】
また、文書画像から抽出した文章領域に原文文字列画像と翻訳文文字列とを配置する態様は、上記の実施形態により示されたものに限られるものではない。図６には、文章領域の配置態様の他の例を示す。
【００４５】
例えば、原文文字列画像を連結した長さと、翻訳文文字列を連結した長さが等しくない場合であって、その長さを揃えない場合には、図６（Ａ）に示すように、文章領域２１０に、長い方（図では翻訳文文字列）の少なくとも一部の行を短い方（図では原文文字列画像）の行の間に複数行まとめて配置することとしてもよい。
【００４６】
また、図６（Ｂ）に示すように、段落、箇条書き、句読点等の文章構造のまとまり毎に原文文字列画像と翻訳文文字列とをそれぞれまとめて文章領域２１０に配置することとしてもよい。
【００４７】
そして、図６（Ｃ）に示すように、原文文字列画像に基づいて翻訳された翻訳文文字列を、その原文文字列画像の上又は下のいずれかに配置するとともに、その翻訳文文字列の文字サイズを原文文字列画像の長さに収まるように補正することとしてもよい。こうすることで、原文文字列画像と翻訳文文字列との翻訳の対応関係を明瞭としてもよい。
【００４８】
また、原文文字列画像と翻訳文文字列との色を別にして、両者を視覚的に区別できるようにしてもよい。
【図面の簡単な説明】
【００４９】
【図１】本実施形態に係る文書画像処理装置の機能ブロック図である。
【図２】文書画像取得部により取得される文書画像の一例を示す図である。
【図３】文章領域の変換前と変換後の一例を示す図である。
【図４】文書画像処理装置における処理のフロー図である。
【図５】文書画像処理装置における処理のフロー図である。
【図６】文章領域の配置態様の他の例を示す図である。
【符号の説明】
【００５０】
１０  文書画像処理装置、１００  文書画像取得部、１０２  文章領域特定部、１０４  文字列画像抽出部、１０６  文字認識部、１０８  翻訳部、１１０  文字サイズ決定部、１１２  配置部、１１４  画像生成部、２００  文書画像、２１０，２２０  文章領域、３００Ａ，Ｂ，Ｃ，Ｄ，Ｅ  文字列画像、３１０Ａ，Ｂ，Ｃ，Ｄ  行画像、４００Ａ，Ｂ，Ｃ，Ｄ  翻訳文文字列。
【図１】
2009053932.tif 000003
【図２】
2009053932.tif 000004
【図３】
2009053932.tif 000005
【図４】
2009053932.tif 000006
【図５】
2009053932.tif 000007
【図６】
2009053932.tif 000008