(57)【要約】【課題】画像内の表領域の文字情報を音声によって理解するのに有用なテキストを生成する。【解決手段】画像情報処理装置は、画像における表領域と判別された部分に行と列とに配列されたそれぞれ１以上の文字からなる複数の情報要素が、行見出し、列見出し、および表データのいずれであるかを判別する要素判別部と、要素判別部によって判別された複数の表データから音声化すべき表データを選択するデータ選択部と、データ選択部によって選択された表データに当該表データに対応する行見出しおよび列見出しの少なくとも一方を付加した文字列を、データ選択部によって選択された表データごとに作成し、それによって得られた複数の文字列をまとめて音声化用のテキストを生成するテキスト生成部と、を備える。【選択図】図３
2013122693.tif 000002
【特許請求の範囲】
【請求項１】
画像における表領域と判別された部分に行と列とに配列されたそれぞれ１以上の文字からなる複数の情報要素が、行見出し、列見出し、および表データのいずれであるかを判別する要素判別部と、
前記要素判別部によって判別された複数の表データから音声化すべき表データを選択するデータ選択部と、
前記データ選択部によって選択された表データに当該表データに対応する行見出しおよび列見出しの少なくとも一方を付加した文字列を、前記データ選択部によって選択された表データごとに作成し、それによって得られた複数の文字列をまとめて音声化用のテキストを生成するテキスト生成部と、を備える
ことを特徴とする画像情報処理装置。
【請求項２】
前記データ選択部は、前記要素判別部によって判別された複数の表データの中に、予め定められた強調表現の適用された表データである重要データがある場合は、その重要データのみを前記音声化すべき表データとして選択する
請求項１記載の画像情報処理装置。
【請求項３】
前記重要データについて前記テキスト生成部よって生成された文字列を、前記画像が有する情報の抜粋であるしおりに設定するしおり設定部をさらに備える
請求項２記載の画像情報処理装置。
【請求項４】
さらに、
原稿シートから読み取ったラスター画像情報を前記画像として出力するイメージスキャナーと、
前記画像における縦横の罫線で区分されかつ罫線枠で囲まれた複数の文字情報を有する部分を前記表領域と判別する領域判別部と、
前記テキスト生成部によって生成された前記テキストを音声データに変換するデータ変換部と、
前記画像または前記画像に基づいて生成される画像情報に、前記テキスト、前記しおり、および前記音声データを対応づけてメモリに格納するデータ管理部と、を備える
請求項３記載の画像情報処理装置。
【請求項５】
前記要素判別部は、行と列とに配列された前記複数の情報要素間の書式の差異に基づいて、前記行見出しおよび前記列見出しを判別する
請求項１ないし４のいずれかに記載の画像情報処理装置。
【請求項６】
前記要素判別部は、上から１番目の行の情報要素の個数が２番目以降の行の情報要素の個数と等しい場合、前記１番目の行の情報要素を前記列見出しと判別し、左から１番目の列の情報要素の個数が２番目以降の列の情報要素の個数と等しい場合、前記１番目の列の情報要素を前記行見出しと判別する
請求項１ないし４のいずれかに記載の画像情報処理装置。
【請求項７】
前記要素判別部は、上から１番目の行の情報要素の個数が２番目の行の情報要素の個数よりも少ない場合、前記２番目の行の情報要素を前記列見出しと判別し、左から１番目の列の情報要素の個数が２番目の列の情報要素の個数よりも少ない場合、前記２番目の列の情報要素を前記行見出しと判別する
請求項６記載の画像情報処理装置。
【請求項８】
画像における表領域と判別された部分に行と列とに配列されたそれぞれ１以上の文字からなる複数の情報要素が、行見出し、列見出し、および表データのいずれであるかを判別する要素判別処理と、
前記要素判別処理によって判別された複数の表データから音声化すべき表データを選択するデータ選択処理と、
前記データ選択処理によって選択された表データに当該表データに対応する行見出しおよび列見出しの少なくとも一方を付加した文字列を、前記データ選択処理によって選択された表データごとに作成し、それによって得られた複数の文字列をまとめて音声化用のテキストを生成するテキスト生成処理と、をコンピューターに実行させる
ことを特徴とするコンピュータープログラム。
【請求項９】
前記データ選択処理において、前記要素判別処理によって判別された複数の表データの中に、予め定められた強調表現の適用された表データである重要データがある場合は、その重要データのみを前記音声化すべき表データとして選択する
請求項８記載のコンピュータープログラム。
【請求項１０】
画像における表領域と判別された部分に行と列とに配列されたそれぞれ１以上の文字からなる複数の情報要素が、行見出し、列見出し、および表データのいずれであるかを判別し、
判別された複数の表データから音声化すべき表データを選択し、
選択された表データに当該表データに対応する行見出しおよび列見出しの少なくとも一方を付加した文字列を、選択された表データごとに作成し、それによって得られた複数の文字列を音声データに変換する
ことを特徴とする画像情報の音声化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像から文字を抽出して音声化用のテキストを生成する装置、方法およびコンピュータープログラムに関する。
【背景技術】
【０００２】
近年、様々な目的で紙文書の電子化が行なわれている。例えば一般企業のオフィスでは、主にネットワークを用いた文書へのアクセスを可能とするために、書類や設計図面といったビジネス文書が電子化される。また、出版の分野では、再出版する古い書籍が電子化される。電子化に際して、紙文書はイメージスキャナーによってページごとにラスター画像に変換され、その後に所定形式のファイルに変換される。電子化後のファイルは、検索用のインデックスを付与したイメージデータファイルであったり、文字認識で得た一群の文字コードを含むテキスト検索の可能なファイルであったりする。ＰＤＦ(Portable Document Format)は典型的なファイル形式の一つである。
【０００３】
紙文書の電子化に関して、文字、図、表、および写真のレイアウトを認識する技術がある。特許文献１には、文書画像内の表を含む領域を判別し、表の枠と罫線の構造に基づいて枠内の文字領域を抽出する文書画像認識装置が開示されている。この文書画像認識装置は、表中の文字を認識する。また、この特許文献１には、黒画素密度やランレングスの分布に基づいて文字のフォントを識別すること、および文字のサイズや行ピッチなどに基づいて文章のタイトル部や小見出し部を検出することが記載されている。
【０００４】
一方、紙文書に記載されている文字を認識して音声に変換して読み上げる技術がある。例えば、特許文献２には、コピー機やファクシミリ装置を利用する視覚障害者が所望の原稿かどうかを確かめることができるように、文字認識で得た原稿の文字情報から各ページのタイトルといった所定の情報を選択して音声化する情報処理装置が開示されている。また、特許文献３では、テキストの音声データと画像データとを関連付けたプレゼンテーション用のファイルを作成し、画像のページの切り替えと連動させて各ページに関連付けられているテキストを音声出力する画像処理装置が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−６６１９６号公報
【特許文献２】特開２００４−７０５２３号公報
【特許文献３】特開２００９−２００９７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
文書画像に含まれる表の中の文字を認識して音声出力用のテキストを生成すれば、表のもつ文字情報を読み上げソフトウェアを利用して音声で出力することができる。しかし、行と列とに配列された情報要素（文字列または単一文字）を配列順に読み上げた場合、すなわち一般に１行ずつ行なわれる文字認識の結果を単純に認識順に読み上げた場合、表を見ずに音声を聞くだけで表の内容を理解するのは困難である。どのような情報要素が表に含まれるかを理解することができるとしても、各情報要素がどの行のどの列の情報であるかを理解するのは難しい。行数や列数が多ければ理解はより難しい。
【０００７】
また、情報要素の個数が多かったり各情報要素の文字数が多かったりして情報量の多い表の全体を読み上げると、相応の時間がかかってしまう。読み上げの所要時間を削減するため、このような表の読み上げを省略したり表題のみを読み上げたりすることが考えられる。しかし、そうすると表中に記載されている具体的な情報を音声によって理解することが全くできなくなる。
【０００８】
本発明は、このような事情に鑑み、イメージデータで表される画像内の表領域の文字情報を音声によって理解するのに有用なテキストを生成することを目的としている。
【課題を解決するための手段】
【０００９】
上記目的を達成する画像情報処理装置は、画像における表領域と判別された部分に行と列とに配列されたそれぞれ１以上の文字からなる複数の情報要素が、行見出し、列見出し、および表データのいずれであるかを判別する要素判別部と、前記要素判別部によって判別された複数の表データから音声化すべき表データを選択するデータ選択部と、前記データ選択部によって選択された表データに当該表データに対応する行見出しおよび列見出しの少なくとも一方を付加した文字列を、前記データ選択部によって選択された表データごとに作成し、それによって得られた複数の文字列をまとめて音声化用のテキストを生成するテキスト生成部と、を備える。
【００１０】
好ましい態様の画像情報処理装置において、前記データ選択部は、前記要素判別部によって判別された複数の表データの中に、予め定められた強調表現の適用された表データである重要データがある場合は、その重要データのみを前記音声化すべき表データとして選択する。
【発明の効果】
【００１１】
本発明によれば、イメージデータで表される画像内の表領域の文字情報を音声によって理解するのに有用なテキストを生成することができる。
【図面の簡単な説明】
【００１２】
【図１】音声化用のテキストの生成に関わる画像の例を示す図である。
【図２】音声化の対象である表の第１例を示す図である。
【図３】図２の表のテキスト化における情報要素の配列順序を示す図である。
【図４】図２の表に対応した音声化用のテキストの例を示す図である。
【図５】音声化の対象である表の第２例を示す図である。
【図６】図５の表のテキスト化における情報要素の配列順序を示す図である。
【図７】図５の表に対応した音声化用のテキストの例を示す図である。
【図８】音声化の対象である表の第３例を示す図である。
【図９】図８の表のテキスト化における情報要素の配列順序を示す図である。
【図１０】図８の表のテキスト化における情報要素の配列順序の他の例を示す図である。
【図１１】音声化の対象である表の第４例を示す図である。
【図１２】図１１の表のテキスト化における情報要素の配列順序を示す図である。
【図１３】本発明の実施形態に係る画像情報処理装置の構成を示すブロック図である。
【図１４】表内の見出しと表データとの判別に関わる表構成の特徴を示す図である。
【図１５】画像情報処理装置の動作の概要を示すフローチャートである。
【図１６】表の見出し判別処理のフローチャートである。
【図１７】データ選択処理のフローチャートである。
【図１８】表データの強調の他の例を示す図である。
【図１９】表データの強調の他の例を示す図である。
【図２０】しおり情報の生成の例を示す図である。
【発明を実施するための形態】
【００１３】
画像内の表領域の文字情報を表すテキストの生成をソフトウェアによって実現する画像情報処理装置を想定する。このような画像情報処理装置は、プログラムを実行するコンピューターとしてのＣＰＵ（Central Processing Unit）を備える。ＣＰＵは、不揮発性メモリに記憶されているプログラムをワークエリアであるＲＡＭ(Random Access Memory)にロードして実行する。プログラム実行に際して、必要に応じてＣＰＵは補助記憶装置をデータの記憶に用いる。
【００１４】
画像情報処理装置として機能する装置の具体例としてＭＦＰ（Multi-functional Peripheral）がある。多種の付加機能を有する画像形成装置であるＭＦＰは、ラスター形式の画像データを出力するイメージスキャナーを備える。また、ＭＦＰはネットワークを介して外部装置と通信可能に接続され、外部装置から画像データを取得する。そして、ＭＦＰは、イメージスキャナーまたは外部装置からの画像データを印刷したり、ファクシミリ送信したり、内蔵ストレージに保存したりする。このようなＭＦＰにおいて、画像中の文字情報を音声化する機能を付加機能の一つとして組み入れることができる。
【００１５】
図１に例示される画像５，６，７は、一つのドキュメントのうちの三つのページのそれぞれである。画像５は、周囲の余白を除くページのほぼ全体を占める文字領域ＴＸ１を有する。画像６は、表が記載されえた表領域ＴＡ１、表領域ＴＡ１の上側近傍に配置された表題の記載されている文字領域ＴＸ２、および表領域ＴＡ１の下側に配置された文字領域ＴＸ３を有する。画像７は、図が描かれた図形領域ＧＲ１、および図形領域ＧＲ１の下側近傍に配置された図の名称の記載されている文字領域ＴＸ４を有する。
【００１６】
これら画像５，６，７が有する文字情報の音声化に際して、文字領域ＴＸ１，ＴＸ２，ＴＸ３，ＴＸ４、および表領域ＴＡ１のそれぞれに記載されている文字がＯＣＲ（Optical Character Recognition）技術を用いて認識される。特に、表領域ＴＡ１については、罫線または文字間隔を大きくすることで区画された情報要素が判別され、各情報要素が文字コードに変換される。情報要素とは、表の有意構成要素として行と列とに配列された１以上の文字からなる文字情報である。図示では、５行３列の表から最上行の情報要素ＥＴ１，ＥＴ２，ＥＴ３を含む計１５個の情報要素の抽出された様子が模式的に描かれている。
【００１７】
なお、図形領域ＧＲ１については、図形領域ＧＲ１に近接する文字領域ＴＸ４が解析され、図番（Ｆｉｇ．３）に続く文字列が図の名称と判別される。そして、図形領域の存在を示す「図形」という文字列ｔ４１、および判別された図の名称を示す文字列ｔ４２が作成される。これら文字列ｔ４１，ｔ４２が図形情報に代えて音声化されることになる。
【００１８】
以下、表領域に記載されている表の文字情報の音声出力に用いるテキストの生成、すなわち表のテキスト化について説明する。
【００１９】
図２に例示される表Ｔ１は、罫線で囲まれて４行４列に区画された１６個のセル領域を有している。全てのセル領域のそれぞれに情報要素が記載されている。このような表Ｔ１の構成に基づいて、後述する表の見出し判別処理によって、各情報要素が行見出し、列見出し、および表データのいずれであるかが判別される。図２では、表Ｔ１における最も上の行の４個の情報要素が列見出しＣＨ１，ＣＨ２，ＣＨ３，ＣＨ４と判別され、残りの３行のそれぞれにおける最も左の列の情報要素が行見出しＲＨ１，ＲＨ２，ＲＨ３と判別されている。そして、残りの９個の情報要素が表データＤ１，Ｄ２，Ｄ３，Ｄ４，Ｄ５，Ｄ６，Ｄ７，Ｄ８，Ｄ９と判別されている。
【００２０】
本実施形態における表のテキスト化では、単純に情報要素を配列順に羅列するのではなく、テキストを読み上げる音声を聞いた者が表Ｔ１の内容を理解し易いように情報を冗長化したテキストを作成する。詳しくは、表データＤ１〜Ｄ９のそれぞれに対応する行見出しおよび列見出しの少なくとも一方を付加した文字列（すなわち各表データと見出し情報との組）を生成する。そして、表データの個数分の文字列をテキストにまとめる。
【００２１】
図３は図２の表Ｔ１のテキスト化における情報要素の配列順序を示している。図３中の括弧内の数字はそれが記されたセル領域に該当する情報要素の順位を示している。配列の順序を追うと、左上を先頭位置として、（１）第１行第１列から始まって、（２）第２行第１列、（３）第１行第２列、（４）第２行第２列と続いた後、さらに（５）〜（２３）と続き、（２４）第４行第４列で終わる。
【００２２】
図３と図２とを見比べてわかるように、図３の順序によるテキスト化において、例えば順位が（４）である「結果Ａ１」という表データＤ１の前に、第２列の列見出しＣＨ２（「評価項目１」）、第２行の行見出しＲＨ１（「マシンＡ」）、および行見出しＲＨ１に対応する第１列の列見出しＣＨ１（「機種名」）が配置される。順位が（６）である「結果Ａ２」という表データＤ２の前に第３列の列見出しＣＨ３（「評価項目２」）が配置され、順位が（８）である「結果Ａ３」という表データＤ３の前に第４列の列見出しＣＨ４（「評価項目３」）が配置される。つまり、テキスト化には次の規則[１]、[２]、[３]が適用される。規則[１]：表における上の行から行ごとに左から右への順に表データを抽出する。規則[２]：各行の先頭の表データには行見出しおよび列見出しの両方を付加する。規則[３]：他の表データには行見出しの付加を省略して列見出しのみを付加する。
【００２３】
これら規則に従って図４に示される音声化用のテキストＤＴ１が生成される。図４のように、テキストＤＴ１は、表データＤ１，Ｄ２，Ｄ３，Ｄ４，Ｄ８，Ｄ９に対して生成された文字列９１，９２，９３，９４，９８，９９、および図示を省略した表データＤ５、Ｄ６，Ｄ７に対して生成された文字列を有する。例えば、文字列９１は、列見出しＣＨ１と行見出しＲＨ１と列見出しＣＨ２と表データＤ１とが順に並ぶ文字情報である。図４では、文字列間の区切りおよび各文字列内の情報要素間の区切りをスペースの挿入によって行う例が示されているが、これに限らず、テキストを音声データに変換するソフトウェアの仕様に合わせて区切りを行なえばよい。
【００２４】
テキスト化の形態としては、上述のように表内の全ての表データをテキスト化する形態と、表内の複数の表データの一部のみをテキスト化する形態とがある。表の情報を間引いてテキスト化する後者の形態は、表データの個数が多い場合に音声化する情報の量を適度に抑えるのに有用である。次に挙げる例では複数の表データの一部がテキスト化される。
【００２５】
図５に例示される表Ｔ２は、罫線で囲まれて８行１１列に区画された８８個のセル領域を有している。全てのセル領域のそれぞれに情報要素が記載されている。表Ｔ２においても、図２の例と同様に表Ｔ２における最も上の行の１１個の情報要素が列見出しと判別され、残りの行のそれぞれにおける最も左の列の情報要素が行見出しと判別される。そして、残りの情報要素が表データと判別される。図では情報要素の一部の図示が省略されているが、表Ｔ２における表データの個数は７０である。本例では、これら７０個の表データのうち、表Ｔ２の作者によって強調されている表データ（重要データ）のみがテキスト化の対象として選択される。図５の表Ｔ２において、第３行第３列の表データＤ１２と第４行第４列の表データＤ２３とが文字サイズを他の表データの文字サイズよりも大きくすることによって強調されている。
【００２６】
図６は図５の表Ｔ２のテキスト化における情報要素の配列順序を示している。配列の順序を追うと、（１）第１行第１列から始まって、（２）第３行第１列、（３）第１行第３列、（４）第３行第３列と続いた後、（５）第１行第１列に戻り、（６）第４行第１列、（７）第１行第４列と続き、（８）第４行第４列で終わる。
【００２７】
図６と図５とを見比べてわかるように、図６の順序によるテキスト化において、テキスト化の対象として選択された二つの表データＤ１２，Ｄ２３のうち、一方の表データＤ１２の前に、列見出しＣＨ１と行見出しＲＨ２と列見出しＣＨ３とが配置される。また、他方の表データＤ２３の前に、列見出しＣＨ１と行見出しＲＨ３と列見出しＣＨ４とが配置される。つまり、この例の場合にも上述の規則[１]、[２]、[３]が適用される。
【００２８】
図７は図５の表に対応した音声化用のテキストＤＴ２の例を示している。テキストＤＴ２は、表データＤ１２に対して生成された文字列１０１、および表データＤ２３に対して生成された文字列１０２を有する。文字列１０１は、列見出しＣＨ１（「機種名」）、行見出しＲＨ２（「マシンＢ」）、列見出しＣＨ３（「評価項目２」）、および表データＤ１２（「結果Ｂ２」）が順に並ぶ文字情報である。文字列１０２は、列見出しＣＨ１（「機種名」）、行見出しＲＨ３（「マシンＣ」）、列見出しＣＨ４（「評価項目３」）、および表データＤ２３（「結果Ｃ３」）が順に並ぶ文字情報である。
【００２９】
図８は１列の表データが強調された表の例を示している。図８の表Ｔ１ｂは、基本的には図２の表Ｔ１と同様である。図８の表Ｔ１ｂの特徴は、第３列の列見出しＣＨ３ｂが文字を太くすることによって強調されている点である。複数の列見出しのうちの一部のみの強調は、対応する列全体の強調であるとみなすことができる。そこで、全ての表データではなく強調されている表データ（重要データ）を選択的にテキスト化するモードにおいて、表Ｔ１ｂの９個の表データのうち、第３列の表データＤ２ｂ，Ｄ５ｂ，Ｄ８ｂがテキスト化の対象となる。
【００３０】
図９は図８の表Ｔ１ｂのテキスト化における情報要素の配列順序を示している。配列の順序を追うと、（１）第１行第１列から始まって、（２）第１行第３列、（３）第２行第１列、（４）第２行第３列と続いた後、（５）第１行第１列に戻り、（６）第３行第１列、（７）第１行第３列、（８）第３行第３列と続く。さらに、（９）再び第１行第１列に戻り、（１０）第４行第１列、（１１）第１行第３と続き、（１２）第４行第３列で終わる。
【００３１】
図９と図８とを見比べてわかるように、図９の順序によるテキスト化において、テキスト化の対象として選択された三つの表データＤ２ｂ，Ｄ５ｂ，Ｄ８ｂのうち、１番目の表データＤ２ｂの前に、列見出しＣＨ１と列見出しＣＨ３と行見出しＲＨ１とが配置され、２番目の表データＤ５ｂの前に、列見出しＣＨ１と行見出しＲＨ２と列見出しＣＨ３とが配置される。また、３番目の表データＤ８ｂの前に、列見出しＣＨ１と行見出しＲＨ３と列見出しＣＨ３とが配置される。つまり、この例の場合には、三つの表データＤ２ｂ，Ｄ５ｂ，Ｄ８ｂのいずれに対しても行見出しおよび列見出しの両方が付加される。
【００３２】
図１０は図８の表Ｔ１ｂのテキスト化における情報要素の配列順序の他の例を示している。図１０の順序によるテキスト化において、１番目の表データＤ２ｂの前には、列見出しＣＨ１と列見出しＣＨ３と行見出しＲＨ１とが配置される。これに対して、２番目の表データＤ５ｂの前には列見出しは配置されずに行見出しＲＨ２が配置され、同様に３番目の表データＤ８ｂの前には列見出しは配置されずに行見出しＲＨ３が配置される。
【００３３】
図１１は１行の表データが強調された表の例を示している。図１１の表Ｔ１ｃは、基本的には図２の表Ｔ１と同様である。図１１の表Ｔ１ｃの特徴は、第３行第１列のセル領域に行見出しＲＨ２と共に所定の記号（例示ではアスタリクス（＊））が記載されている点である。複数の行見出しのうちの一部の強調は、対応する行全体の強調であるとみなすことができる。そこで、全ての表データではなく強調されている表データを選択的にテキスト化するモードにおいて、表Ｔ１ｂの９個の表データのうち、第３行の表データＤ４ｃ，Ｄ５ｃ，Ｄ６ｃがテキスト化の対象となる。
【００３４】
図１２は図１１の表Ｔ１ｃのテキスト化における情報要素の配列順序を示している。配列の順序を追うと、（１）第１行第１列から始まって、（２）第３行第１列、（３）第１行第２列、（４）第３行第１列と続いた後、（５）第１行第３列、（６）第３行第３列、（７）第１行第４列と続き、（８）第３行第４列で終わる。
【００３５】
図１２と図１１とを見比べてわかるように、図１２の順序によるテキスト化において、テキスト化の対象として選択された三つの表データＤ４ｃ，Ｄ５ｃ，Ｄ６ｃのうち、１番目の表データＤ４ｃの前に、列見出しＣＨ１と行見出しＲＨ２と列見出しＣＨ２とが配置される。２番目の表データＤ５ｃの前には列見出しＣＨ３が配置され、３番目の表データＤ６ｃの前には列見出しＣＨ４が配置される。つまり、この例の場合には、上述の規則[１]、[２]、[３]が適用される。
【００３６】
以上の複数の例のような表のテキスト化を行う画像情報処理装置の構成が図１３に示される。
【００３７】
図１３において、画像情報処理装置１は、画像データ入力部１１０、画像解析ブロック１２０、データ生成ブロック１３０、およびデータ管理部１４０を有している。これらの要素は、コンピューターが所定のプログラムを実行することによって実現される機能要素である。また、本実施形態の画像情報処理装置１は、イメージスキャナー１３、ネットワーク接続のための通信インタフェース１５、操作パネル１４、およびハードディスクドライブ（ＨＤＤ）のような大容量のストレージ１８を備える。このようなハードウェアの備える画像情報処理装置１の具体例としてＭＦＰを挙げることができる。
【００３８】
画像データ入力部１１０は、イメージスキャナー１３および通信インタフェース１５とからのデータ入力を受け付ける。画像データ入力部１１０は、イメージスキャナー１３または通信インタフェース１５を介して接続される外部装置から処理対象となるイメージデータＤ０を取得し、画像解析ブロック１２０へ引き渡す。
【００３９】
画像解析ブロック１２２は、領域判別部１２２、文字抽出部１２４、要素判別部１２６、およびデータ選択部１２８を有する。
【００４０】
領域判別部１２２は画像内の表領域を判別する。領域判別部１２２が判別する表領域は、罫線で囲まれかつ縦横に区画された領域である。ただし、これに限らず、横線に沿って文字が２行以上かつ２列以上に配列された領域を表領域と判別することができる。また、表題を記載した文字領域が近傍にあるかどうかを調べて判別の精度を高めることができる。
【００４１】
文字抽出部１２４は、領域判別部１２２によって判別された表領域内の文字を文字コードに変換する文字認識を受け持つ。加えて、文字抽出部１２４は、太字、細字、斜体、下線の有無、文字サイズ、文字色といった文字属性を判別する。文字属性は要旨判別部１２６およびデータ選択部１２８によって参照される。
【００４２】
要素判別部１２６は、罫線の配置や太さ、文字間隔などの特徴に基づいて表領域内の表の構成を解析し、表内の情報要素が行見出し、列見出し、および表データのいずれであるかを判別する。判別の詳細は後述する。
【００４３】
データ選択部１２８は、要素判別部１２６によって判別された複数の表データから音声化すべき表データを選択する。選択には、図２および図３で示される例のように複数の表データの全てを選択する全選択と、図５および図６で示される例のように複数の表データの一部のみを選択する部分選択とがある。部分選択の場合には、予め定められた強調表現の適用された表データである重要データのみが選択される。加えて、表のテキスト化を省略するために複数の表データのいずれをも選択しない非選択も、データ選択部１２８による選択の一態様である。全選択、部分選択、および非選択のいずれになるかはモード設定および表の情報量によって決まる。データ選択部１２８による選択の結果はデータ生成ブロック１３０に伝えられる。
【００４４】
データ生成ブロック１３０は、テキスト生成部１３２、データ変換部１３４、およびしおり設定部１３６を有する。
【００４５】
テキスト生成部１３２は、データ選択部１２８によって選択された表データに当該表データに対応する行見出しおよび列見出しの少なくとも一方を付加した文字列を、データ選択部１２８によって選択された表データごとに作成する。そして、テキスト生成部１３２は、得られた複数の文字列をまとめて音声化用のテキストＤＴを生成する。すなわち、図４に例示されたテキストＤＴ１や図７に例示されたテキストＤＴ２の生成をテキスト生成部１３２が受け持つ。
【００４６】
データ変換部１３４は、テキスト生成部１３２によって生成されたテキストＤＴを、音声プレーヤーが再生可能な所定ファイル形式の音声データＤＡに変換する。音声データＤＡに変換しておくことにより、テキストを読み上げるソフトウェアがなくても表の文字情報を音声で出力することが可能になる。
【００４７】
しおり設定部１３６は、データ選択部１２８によって重要データのみが選択された場合に、テキスト生成部１３２によって重要データに対して生成された見出し情報を含む文字列を、画像が有する情報の抜粋である“しおり”に設定する。しおりは、画像がもつ情報のインデックスとしてインデックスの一覧表示に用いられたり、操作パネル１４のディスプレイによって画像を部分的に表示するときに表の部分を表示範囲に指定する表示制御に用いられたり、音声出力に際して表データを素早く再生させる出力制御に用いられたりする。
【００４８】
データ管理部１４０は、テキスト生成部１３２によって生成されたテキストＤＴ、データ変換部１３４によって生成された音声データＤＡ、およびしおり設定部１３６によって生成されたしおり情報ＤＢを相互に対応づけ、画像関連情報ＤＭとしてストレージ１８に記憶させる。記憶された画像関連情報ＤＭは適時にストレージ１８から読み出されてテキストの読み上げに利用される。
【００４９】
図１４は表内の見出しと表データとの判別に関わる表構成の特徴を示している。上述の要素判別部１２６は、図１４（Ａ）〜（Ｅ）に示される特徴の有無に応じて、以下の判別条件[１]、[２]、[３] 、[４]、[５]を適用して情報要素を判別とする。
【００５０】
図１４（Ａ）の表Ｔ３では、全てのセル領域の罫線の太さおよび文字の書式に差異の無いのが特徴である。実際には表Ｔ３のように目立った特徴の無い表を有するドキュメントは多い。この表Ｔ３には判別条件[１]が適用される。判別条件[１]：上から１番目の行（第１行）の情報要素を列見出しとし、左から１番目の列（第１列）の情報要素を行見出しとし、残りの情報要素を表データとする。
【００５１】
図１４（Ｂ）の表Ｔ４では、第１行および第１列の文字の書式が他と異なる。図示では第１行および第１列の文字が他の文字と比べて太い。この表Ｔ４には判別条件[２]を適用することができる。判別条件[２]：複数の行のうちの１行のみかつ複数の列のうちの１列のみにおいて文字の書式（サイズ、太さ、色など）または罫線の色が他の行および列の書式や様式と異なる場合に、その１行の情報要素を列見出しとし、その１列の情報要素を行見出しとし、残りの情報要素を表データとする。
【００５２】
図１４（Ｃ）の表Ｔ５では、第１行および第１列が他の行および他の列と二重線によって区分されている。この表Ｔ５には判別条件[３]を適用することができる。判別条件[３]：行を区分する二重線または太線があるときは、二重線または太線に最も近い上側の行の情報要素を列見出しとする。また、列を区分する二重線または太線があるときは、二重線または太線に最も近い左側の列の情報要素を行見出しとする。
【００５３】
図１４（Ｄ）の表Ｔ６は複数の見出しを括る見出しを有した表である。表Ｔ６では、第１行と他の行との間で列数が異なり、第１列と他の列との間で行数が異なる。この表Ｔ６には、判別条件[４]を適用することができる。判別条件[４]：第１行の情報要素の個数が第２行の情報要素の個数よりも少ない場合、第２行の情報要素を列見出しとする。また、第１列の情報要素の個数が第２列の情報要素の個数よりも少ない場合、第２列の情報要素を行見出しとする。
【００５４】
図１４（Ｅ）の表Ｔ７では、第１行および第１列を除く情報要素が数字のみまたは数字と桁数を表す記号（一般に「，」）とからなる数値であり、第１行および第１列は数字以外の文字を含んでいる。この表Ｔ７には、判別条件[５]を適用することができる。判別条件[５]：第１行に数字以外の文字が含まれる場合、第１行の情報要素を列見出しとする。また、第１列に数字以外の文字が含まれる場合、第１列の情報要素を行見出しとする。数字と数字以外の文字は画像情報処理装置１が使用される国や地域に応じて定めることができる。例えば日本語仕様では、アラビア数字を数字とみなして漢数字を数字から除外してもよいし、縦書きの場合のみ漢数字を数字とみなしてもよい。
【００５５】
図１５は画像情報処理装置１の動作の概要を示すフローチャートである。画像データ入力部１１０が処理対象の画像データを取得し（Ｓ１０）、領域判別部１２２が画像に対する領域判別処理を行なって表領域を判別し（Ｓ１１、Ｓ１２）、文字抽出部１２４が表内の文字を認識する（Ｓ１３）。要素判別部１２６が情報要素を判別する表の見出し判別処理を実行し（Ｓ１４）、データ選択部１２８がテキスト化する表データを決めるデータ選択処理を実行する（Ｓ１５）。
【００５６】
その後、しおり設定部１３６が、動作設定および重要データの有無で決まるしおり生成の要否をチェックし（Ｓ１６）、生成が必要であれば（Ｓ１６でＹＥＳ）、上述のように重要データを含む文字列をしおりとして設定する（Ｓ１７）。データ変換部１３４が音声化すべきテキストの有無をチェックし（Ｓ１８）、変換対象のテキストＤＴがあれば（Ｓ１８でＹＥＳ）、そのテキストＤＴを音声データに変換する（Ｓ１９）。そして、データ管理部１４０がテキストＤＴ、音声データＤＡ、およびしおり情報ＤＢをメモリに格納する（Ｓ２０）。
【００５７】
図１６は図１５のステップＳ１４で行なわれる表の見出し判別処理のフローチャートである。図１６のように、要素判別部１２６は、表構成を解析して表の特徴を抽出する（Ｓ４０１）。要素判別部１２６は、注目する表が上述の判別条件[１]〜[５]のそれぞれに該当するか否かチェックしてチェック結果を示すフラグを判別条件ごとにセットする（Ｓ４０２〜Ｓ４１６）。その後、要素判別部１２６はフラグのセット状態に基づいて行見出し、列見出しおよび表データを判別する（Ｓ４１７）。
【００５８】
ステップＳ４１７の見出し判別では、判別条件[１]〜[５]のそれぞれに基づく五つの判別結果の全てが同じでない場合には、最も多い結果が採用される。２つの結果が同じで他の二つの結果が同じである場合のように多数決では決まらない場合、判別条件[１]を最上位として判別条件[１]から判別条件[５]へ順に付与されている優先順位に従って、上位の結果が採用される。
【００５９】
図１７は図１５のステップＳ１５で行なわれるデータ選択処理のフローチャートである。データ選択部１２８は、注目する表の表データの個数が設定数より多いかどうかをチェックする（Ｓ５０１）。例えば、見出しを含めた４行４列を基準とし、それより行数が多かったり列数が多かったりする場合、全ての表データを音声化すると、読み上げるのに相応の時間がかかる。音声を聞く者が表の全容を理解するのも難しい。このため、表データの個数がチェックされる。表データの個数が多い場合（Ｓ５０１でＹＥＳ）、データ選択部１２８は、モード設定をチェックする（Ｓ５０２）。設定が「表データの個数が多い表は音声化しない」であれば、フローはそのままメインルーチンへリターンする。設定が「重要データのみ音声化する」であれば、データ選択部１２８は、強調された表データである重要データを音声化の対象として選択する（Ｓ５０３）。この場合、重要データがなければ、いずれの表データをも選択しない非選択となる。設定が「全て音声化」であれば、データ選択部１２８は、表内の全ての表データを音声化の対象として選択する（Ｓ５０４）。
【００６０】
一方、注目する表の表データの個数が少ない場合（Ｓ５０１でＮＯ）、データ選択部１２８は、重要データの有無をチェックする（Ｓ５０５）。重要データが有る場合、データ選択部１２８は、設定が「重要データのみ音声化する」であれば重要データを選択し（Ｓ５０６、Ｓ５０７）、設定が「全て音声化」であれば全ての表データを選択する（Ｓ５０６、Ｓ５０８）。また、重要データが無い場合も（Ｓ５０５でＮＯ）、データ選択部１２８は表内の全ての表データを音声化の対象として選択する（Ｓ５０８）。
【００６１】
図１８および図１９は表データの強調の他の例を示している。図１８の表Ｔ２ｂでは、三つの表データＤ１ｂ，Ｄ２２，Ｄ６３が斜体文字で記載され、それによって他の表示データと区別されている。図１９の表Ｔ１ｄでは、第３列の全体が太線で囲まれ、それによって第３列の表データＤ２ｄ，Ｄ５ｄ，Ｄ８ｄが強調されている。これらの例を含め、特定の表データを他の表データと区別する強調表現は、文字サイズ、フォント、文字色といった書式、罫線の太さや色、注釈記号のような特定の文字や図形の付与などによるものであってよい。
【００６２】
図２０はしおり情報の生成の例を示す図である。上述のしおり設定部１３６は、データ選択部１２８によって選択された重要データについてしおりを設定する機能に加えて、画像情報処理装置１のユーザーによるしおり指定操作に呼応して、しおりを設定する機能を有する。図２０において、操作パネルに備わるディスプレイ１４０によって５行３列の表Ｔ８が表示されている。この状態で、表番号および表題を示す文字列ｔ８１と、表Ｔ８内の二つの情報要素ＥＴ４，ＥＴ８をユーザーがしおりに指定したとする。そうすると、しおり設定部１３６は、文字列ｔ８１および情報要素ＥＴ４，ＥＴ８に対応した文字列ｔ８２，ｔ８３を有するしおり情報ＤＢを生成する。文字列ｔ８２，ｔ８３はテキスト生成部１３２との連携によって生成される。表Ｔ８における第１列の情報要素ＥＴ４に対応する文字列ｔ８２は、第１列の列見出しと情報要素ＥＴ４とからなる。第２行第２列の情報要素ＥＴ８に対応する文字列ｔ８３は、第１列の列見出しと第２行の行見出しと第２列の列見出しと情報要素ＥＴ８とからなる。
【００６３】
以上の実施形態において、テキスト化する情報要素の文字数が設定数よりも多い場合は、テキスト化に際して情報要素（行見出し、列見出し、表データ）の文字数を情報が理解できる範囲内で削減するようにしてもよい。
【００６４】
図１４（Ｄ）のように複数の見出しを括った見出しを有する表については、表データに見出し情報を付加した文字列の生成に際して、括られた見出しと共に括った見出しを表データに付加してもよい。
【００６５】
領域判別部１２２が判別する表領域を、画像内の罫線枠で囲まれた部分のみに限る必要はなく、横線で行のみを区分する表を含め、複数の行と複数の列とが形成されるように文字が配列された部分を表領域と判別してもよい。その他、要画像情報処理装置１の構成は本発明の趣旨に沿う範囲内で適宜変更することができる。
【符号の説明】
【００６６】
１    画像情報処理装置
５，６，７    画像
ＴＡ１    表領域
ＥＴ１，ＥＴ２，ＥＴ３，ＥＴ４，ＥＴ８    情報要素
ＲＨ１，ＲＨ２，ＲＨ３    行見出し
ＣＨ１，ＣＨ２，ＣＨ３，ＣＨ４    列見出し
Ｄ１，Ｄ２，Ｄ３，Ｄ４，Ｄ５，Ｄ６，Ｄ７，Ｄ８，Ｄ９    表データ
Ｄ１ｂ，Ｄ２２，Ｄ６３    表データ（重要データ）
Ｄ２ｂ，Ｄ５ｂ，Ｄ８ｂ    表データ（重要データ）
Ｄ４ｃ，Ｄ５ｃ，Ｄ６ｃ    表データ（重要データ）
Ｄ２ｄ，Ｄ５ｄ，Ｄ８ｄ    表データ（重要データ）
Ｄ１２，Ｄ２３    表データ（重要データ）
９１，９２，１０１，１０２    文字列
ＤＴ，ＤＴ１，ＤＴ２    テキスト
１２２    領域判別部
１２６    要素判別部
１２８    データ選択部
１３２    テキスト生成部
１３４    データ変換部
１３６    しおり設定部
１４０    データ管理部
ＤＡ    音声データ
ＤＢ    しおり情報（しおり）
１３    イメージスキャナー
１８    ストレージ（メモリ）
Ｔ１，Ｔ１ｂ，Ｔ１ｃ，Ｔ１ｄ，Ｔ２，Ｔ２ｂ    表
Ｔ３，Ｔ４，Ｔ５，Ｔ６，Ｔ７，Ｔ８    表
【図１】
2013122693.tif 000003
【図２】
2013122693.tif 000004
【図３】
2013122693.tif 000005
【図４】
2013122693.tif 000006
【図５】
2013122693.tif 000007
【図６】
2013122693.tif 000008
【図７】
2013122693.tif 000009
【図８】
2013122693.tif 000010
【図９】
2013122693.tif 000011
【図１０】
2013122693.tif 000012
【図１１】
2013122693.tif 000013
【図１２】
2013122693.tif 000014
【図１３】
2013122693.tif 000015
【図１４】
2013122693.tif 000016
【図１５】
2013122693.tif 000017
【図１６】
2013122693.tif 000018
【図１７】
2013122693.tif 000019
【図１８】
2013122693.tif 000020
【図１９】
2013122693.tif 000021
【図２０】
2013122693.tif 000022