(57)【要約】【課題】様々なスタイルの文書画像から、ユーザの手間無く自動的に見出し領域を抽出することのできる文書画像処理装置、文書画像処理方法および文書画像処理プログラムを提供すること。【解決手段】見出しの候補領域ごとに、複数のスタイル種別のうち、関連付けられる大領域と特徴が異なるスタイル種別について、候補領域の特徴を含み、かつ、関連付けられる大領域の特徴を含まない特徴区分を設定する（ステップＳ２１０）。設定された特徴区分に含まれる特徴を有する、大領域および候補領域の少なくとも一方をグループ化する（ステップＳ２１２，Ｓ２１４）。候補領域ごとに、グループ化の結果に基づいて、見出し評価度を算出する（ステップＳ２１８）。算出された見出し評価度に基づいて、各候補領域の論理要素が見出しであるか否かを判定する（ステップＳ２２０）。【選択図】図１４
2010218249.tif 000002
【特許請求の範囲】
【請求項１】
文書画像から、見出し領域を抽出するための文書画像処理装置であって、
前記文書画像を構成する複数の文字列要素領域を小領域と大領域とに分類するための分類手段と、
前記小領域と前記大領域との配置関係を比較することにより、関連付けられる大領域が存在する小領域を、前記見出し領域の候補を表わす候補領域として判定するための候補判定手段と、
各前記候補領域が見出しか否かの評価処理を行なうための評価処理手段とを備え、
前記評価処理手段は、
前記候補領域ごとに、複数のスタイル種別のうち、前記関連付けられる大領域と特徴が異なるスタイル種別について、前記候補領域の特徴を含み、かつ、前記関連付けられる大領域の特徴を含まない特徴区分を設定するための設定手段と、
設定された前記特徴区分に含まれる特徴を有する、前記大領域および前記候補領域の少なくとも一方をグループ化するためのグループ化手段と、
前記候補領域ごとに、前記グループ化手段によるグループ化の結果に基づいて、見出し評価度を算出するための算出手段と、
算出された前記見出し評価度に基づいて、各前記候補領域の論理要素が見出しであるか否かを判定するため見出し判定手段とを含み、
見出しと判定された前記候補領域を、前記見出し領域として抽出するための抽出手段をさらに備える、文書画像処理装置。
【請求項２】
前記グループ化手段は、前記設定された特徴区分に含まれる特徴を有する、前記大領域および前記候補領域を、それぞれ、大領域群および候補領域群としてグループ化し、
前記算出手段は、前記大領域群の大きさが小さく、かつ、前記候補領域群の大きさが大きい程、前記見出し評価度を高く算出する、請求項１に記載の文書画像処理装置。
【請求項３】
前記見出し判定手段は、前記大領域群のグループに含まれる前記大領域の個数が所定数以下の場合は、対応する前記候補領域を見出しとして判定する、請求項２に記載の文書画像処理装置。
【請求項４】
前記見出し判定手段は、前記候補領域群のグループに含まれる前記候補領域の個数が所定数以上の場合は、対応する前記候補領域を見出しとして判定する、請求項２または３のいずれかに記載の文書画像処理装置。
【請求項５】
前記設定手段は、前記候補領域と前記関連付けられる大領域とを比較し、前記候補領域の特徴の近傍で、前記関連付けられる大領域の特徴を含まない範囲に、前記特徴区分を設ける、請求項１〜４のいずれかに記載の文書画像処理装置。
【請求項６】
前記設定手段は、前記候補領域と前記関連付けられる大領域とを比較し、前記候補領域の特徴と、前記関連付けられる大領域の特徴とのうちいずれに近いか否かによって、前記特徴区分を設ける、請求項１〜４のいずれかに記載の文書画像処理装置。
【請求項７】
前記評価処理手段は、
前記算出手段による前記見出し評価度の算出が可能であるか否かを判定するための可否判定手段と、
判定不可と判定された場合に、前記特徴区分を変更するための変更手段とをさらに含む、請求項１〜６のいずれかに記載の文書画像処理装置。
【請求項８】
前記変更手段は、
前記候補領域と前記関連付けられる大領域とを比較し、特徴が異なる新たなスタイル種別を追加する手段と、
追加された前記新たなスタイル種別に対して、新たな前記特徴区分を設定する手段とを有し、
前記グループ化手段は、前記特徴区分の組合わせを用いてグループ化処理を実行する、請求項７に記載の文書画像処理装置。
【請求項９】
前記分類手段は、領域の大きさと、特定の文字の有無とに基づいて、分類する、請求項１〜８のいずれかに記載の文書画像処理装置。
【請求項１０】
前記候補判定手段は、読み順を設定し、設定した読み順に従って各前記小領域に後続する領域を特定し、特定された領域が前記大領域の場合に、当該大領域は、対応する前記小領域に関連付けられると判定する手段を含む、請求項１〜９のいずれかに記載の文書画像処理装置。
【請求項１１】
前記スタイル種別は、インデント量、行揃え、前後の文字列要素領域との距離、文字列修飾、先頭文字種、終端文字種、言語種別、文字サイズ、行高さ、文字間隔、フォント、文字修飾、文字色、背景色のうちのいずれかを含む、請求項１〜１０のいずれかに記載の文書画像処理装置。
【請求項１２】
原稿を読取ることで前記文書画像を生成する画像読取手段と、
前記抽出手段により抽出された前記見出し領域の前記文書画像内の位置を特定するための閲覧ナビゲート情報を生成するための情報生成手段と、
前記文書画像に前記閲覧ナビゲート情報を付加することで前記電子化文書を生成する文書生成手段とをさらに備える、請求項１〜１１のいずれかに記載の文書画像処理装置。
【請求項１３】
文書画像を記憶する記憶部を備えた文書画像処理装置によって実行される、前記記憶部に記憶された前記文書画像から見出し領域を抽出するための方法であって、
前記文書画像を構成する複数の文字列要素領域を小領域と大領域とに分類するステップと、
前記小領域と前記大領域との配置関係を比較することにより、関連付けられる大領域が存在する小領域を、前記見出し領域の候補を表わす候補領域として判定するステップと、
前記候補領域ごとに、複数のスタイル種別のうち、前記関連付けられる大領域と特徴が異なるスタイル種別について、前記候補領域の特徴を含み、かつ、前記関連付けられる大領域の特徴を含まない特徴区分を設定するステップと、
設定された前記特徴区分に含まれる特徴を有する、前記大領域および前記候補領域の少なくとも一方をグループ化するステップと、
前記候補領域ごとに、グループ化の結果に基づいて、見出し評価度を算出するステップと、
算出された前記見出し評価度に基づいて、各前記候補領域の論理要素が見出しであるか否かを判定するステップと、
見出しと判定された前記候補領域を、前記見出し領域として抽出するステップとを含む、文書画像処理方法。
【請求項１４】
文書画像を記憶する記憶部を備えた文書画像処理装置によって実行される、前記記憶部に記憶された前記文書画像から見出し領域を抽出するためのプログラムであって、
前記文書画像を構成する複数の文字列要素領域を小領域と大領域とに分類するステップと、
前記小領域と前記大領域との配置関係を比較することにより、関連付けられる大領域が存在する小領域を、前記見出し領域の候補を表わす候補領域として判定するステップと、
前記候補領域ごとに、複数のスタイル種別のうち、前記関連付けられる大領域と特徴が異なるスタイル種別について、前記候補領域の特徴を含み、かつ、前記関連付けられる大領域の特徴を含まない特徴区分を設定するステップと、
設定された前記特徴区分に含まれる特徴を有する、前記大領域および前記候補領域の少なくとも一方をグループ化するステップと、
前記候補領域ごとに、グループ化の結果に基づいて、見出し評価度を算出するステップと、
算出された前記見出し評価度に基づいて、各前記候補領域の論理要素が見出しであるか否かを判定するステップと、
見出しと判定された前記候補領域を、前記見出し領域として抽出するステップとを含む、文書画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書画像処理装置、文書画像処理方法および文書画像処理プログラムに関し、特に、文書画像から見出し領域を抽出することのできる文書画像処理装置、文書画像処理方法および文書画像処理プログラムに関する。
【背景技術】
【０００２】
従来、特定のフォーマットに限定されずに見出し部分の抽出を行なうものがあった。例えば特許文献１では文字サイズにより文字ブロックを見出しと本文に分類し、分類した見出しと本文を関連づける実施例が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−２５１０６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、文字サイズが本文と見出しで明確な違いが無い文書も多数存在し、これらの文書に対して文字サイズで見出しと本文の分類をすることはできない。
【０００５】
文字サイズの代わりに文字色，背景色，字下げなどの他の種別を用いる場合にも、それぞれの文書は限定される。
【０００６】
本発明は、上記のような問題を解決するためになされたものであって、その目的は、様々なスタイルの文書画像から、ユーザの手間無く自動的に見出し領域を抽出することのできる文書画像処理装置、文書画像処理方法および文書画像処理プログラムを提供することである。
【課題を解決するための手段】
【０００７】
この発明のある局面に従う文書画像処理装置は、文書画像から、見出し領域を抽出するための文書画像処理装置であって、文書画像を構成する複数の文字列要素領域を小領域と大領域とに分類するための分類手段と、小領域と大領域との配置関係を比較することにより、関連付けられる大領域が存在する小領域を、見出し領域の候補を表わす候補領域として判定するための候補判定手段と、各候補領域が見出しか否かの評価処理を行なうための評価処理手段とを備える。評価処理手段は、候補領域ごとに、複数のスタイル種別のうち、関連付けられる大領域と特徴が異なるスタイル種別について、候補領域の特徴を含み、かつ、関連付けられる大領域の特徴を含まない特徴区分を設定するための設定手段と、設定された特徴区分に含まれる特徴を有する、大領域および候補領域の少なくとも一方をグループ化するためのグループ化手段と、候補領域ごとに、グループ化手段によるグループ化の結果に基づいて、見出し評価度を算出するための算出手段と、算出された見出し評価度に基づいて、各候補領域の論理要素が見出しであるか否かを判定するため見出し判定手段とを含む。文書画像処理装置は、見出しと判定された候補領域を、見出し領域として抽出するための抽出手段をさらに備える。
【０００８】
好ましくは、グループ化手段は、設定された特徴区分に含まれる特徴を有する、大領域および候補領域を、それぞれ、大領域群および候補領域群としてグループ化し、算出手段は、大領域群の大きさが小さく、かつ、候補領域群の大きさが大きい程、見出し評価度を高く算出する。
【０００９】
好ましくは、見出し判定手段は、大領域群のグループに含まれる大領域の個数が所定数以下の場合は、対応する候補領域を見出しとして判定する。
【００１０】
好ましくは、見出し判定手段は、候補領域群のグループに含まれる候補領域の個数が所定数以上の場合は、対応する候補領域を見出しとして判定する。
【００１１】
好ましくは、設定手段は、候補領域と関連付けられる大領域とを比較し、候補領域の特徴の近傍で、関連付けられる大領域の特徴を含まない範囲に、特徴区分を設ける。
【００１２】
好ましくは、設定手段は、候補領域と関連付けられる大領域とを比較し、候補領域の特徴と、関連付けられる大領域の特徴とのうちいずれに近いか否かによって、特徴区分を設ける。
【００１３】
好ましくは、評価処理手段は、算出手段による見出し評価度の算出が可能であるか否かを判定するための可否判定手段と、判定不可と判定された場合に、特徴区分を変更するための変更手段とをさらに含む。
【００１４】
好ましくは、変更手段は、候補領域と関連付けられる大領域とを比較し、特徴が異なる新たなスタイル種別を追加する手段と、追加された新たなスタイル種別に対して、新たな特徴区分を設定する手段とを有し、グループ化手段は、特徴区分の組合わせを用いてグループ化処理を実行する。
【００１５】
好ましくは、分類手段は、領域の大きさと、特定の文字の有無とに基づいて、分類する。
【００１６】
好ましくは、候補判定手段は、読み順を設定し、設定した読み順に従って各小領域に後続する領域を特定し、特定された領域が大領域の場合に、当該大領域は、対応する小領域に関連付けられると判定する手段を含む。
【００１７】
好ましくは、スタイル種別は、インデント量、行揃え、前後の文字列要素領域との距離、文字列修飾、先頭文字種、終端文字種、言語種別、文字サイズ、行高さ、文字間隔、フォント、文字修飾、文字色、背景色のうちのいずれかを含む。
【００１８】
好ましくは、原稿を読取ることで文書画像を生成する画像読取手段と、抽出手段により抽出された見出し領域の文書画像内の位置を特定するための閲覧ナビゲート情報を生成するための情報生成手段と、文書画像に閲覧ナビゲート情報を付加することで電子化文書を生成する文書生成手段とをさらに備える。
【００１９】
この発明の他の局面に従う文書画像処理方法は、文書画像を記憶する記憶部を備えた文書画像処理装置によって実行される、記憶部に記憶された文書画像から見出し領域を抽出するための方法であって、文書画像を構成する複数の文字列要素領域を小領域と大領域とに分類するステップと、小領域と大領域との配置関係を比較することにより、関連付けられる大領域が存在する小領域を、見出し領域の候補を表わす候補領域として判定するステップと、候補領域ごとに、複数のスタイル種別のうち、関連付けられる大領域と特徴が異なるスタイル種別について、候補領域の特徴を含み、かつ、関連付けられる大領域の特徴を含まない特徴区分を設定するステップと、設定された特徴区分に含まれる特徴を有する、大領域および候補領域の少なくとも一方をグループ化するステップと、候補領域ごとに、グループ化の結果に基づいて、見出し評価度を算出するステップと、算出された見出し評価度に基づいて、各候補領域の論理要素が見出しであるか否かを判定するステップと、
見出しと判定された候補領域を、見出し領域として抽出するステップとを含む。
【００２０】
この発明のさらに他の局面に従う文書画像処理プログラムは、文書画像を記憶する記憶部を備えた文書画像処理装置によって実行される、記憶部に記憶された文書画像から見出し領域を抽出するためのプログラムであって、文書画像を構成する複数の文字列要素領域を小領域と大領域とに分類するステップと、小領域と大領域との配置関係を比較することにより、関連付けられる大領域が存在する小領域を、見出し領域の候補を表わす候補領域として判定するステップと、候補領域ごとに、複数のスタイル種別のうち、関連付けられる大領域と特徴が異なるスタイル種別について、候補領域の特徴を含み、かつ、関連付けられる大領域の特徴を含まない特徴区分を設定するステップと、設定された特徴区分に含まれる特徴を有する、大領域および候補領域の少なくとも一方をグループ化するステップと、候補領域ごとに、グループ化の結果に基づいて、見出し評価度を算出するステップと、算出された見出し評価度に基づいて、各候補領域の論理要素が見出しであるか否かを判定するステップと、見出しと判定された候補領域を、見出し領域として抽出するステップとを含む。
【発明の効果】
【００２１】
本発明によると、候補領域ごとに動的に特徴区分が設定される。そのため、見出しの特徴が統一的でない文書画像であっても、ユーザの手間を要することなく、見出し領域を精度良く抽出することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施の形態に従う文書画像処理装置を含むシステムの概略構成図である。
【図２】本発明の実施の形態に従う文書画像処理装置における概略構成を示すブロック図である。
【図３】図１に示したシステムに含まれるパーソナルコンピュータの概略構成を示すブロック図である。
【図４】本発明の実施の形態に従う文書画像処理装置における機能構成を示すブロック図である。
【図５】本発明の実施の形態に従う文書画像処理装置が生成する電子化文書のデータ構造の一例を示す図である。
【図６】本発明の実施の形態において、電子化文書に含まれるしおりデータのデータ構造の一例を示す図である。
【図７】本発明の実施の形態における見出し領域抽出処理を示すフローチャートである。
【図８】図７のステップＳ４で判別される内容領域を説明するための図である。
【図９】本発明の実施の形態における文字列要素判別処理を示すフローチャートである。
【図１０】文字列要素領域を説明するための図である。
【図１１】ページ単位で生成された文字列要素領域の例を示す図である。
【図１２】図１１に示す文字列要素領域について大領域と小領域との分類結果を示す図である。
【図１３】見出し領域の候補である候補領域と、候補領域に関連付けられる大領域との関係を示す図である。
【図１４】本発明の実施の形態における見出し評価処理を示すフローチャートである。
【図１５】各候補領域について設定される特徴区分の例を示す図である。
【図１６】インデント量についての特徴区分の設定例を示す図である。
【図１７】各候補領域について設定される特徴区分の他の例を示す図である。
【図１８】文字サイズについての特徴区分の設定例を示す図である。
【図１９】図１７に示した各特徴区分を用いた、文字列要素領域のグループ化の結果を示す図である。
【図２０】本発明の実施の携帯における見出し評価度の算出方法の具体例を示す図である。
【図２１】図１３に示した候補領域の見出し判定結果を示す図である。
【図２２】従来の見出し領域の抽出方法を説明するための図であり、（Ａ），（Ｂ），（Ｃ）には、それぞれ、文字サイズが異なる複数の文書スタイルの例が示されている。
【図２３】従来の見出し領域の抽出方法を説明するための図であり、特定の文字サイズを用いて図２２（Ａ）の文書画像から見出し領域を抽出する場合の例が示されている。
【図２４】従来の見出し領域の抽出方法を説明するための図であり、特定の文字サイズを用いて図２２（Ｂ）の文書画像から見出し領域を抽出する場合の例が示されている。
【図２５】従来の見出し領域の抽出方法を説明するための図であり、特定の文字サイズを用いて図２２（Ｃ）の文書画像から見出し領域を抽出する場合の例が示されている。
【図２６】従来の見出し領域の抽出方法を説明するための図であり、文字サイズをグループ化することにより図２２（Ｃ）の文書画像から見出し領域を抽出する場合の例が示されている。
【図２７】従来の見出し領域の抽出方法を説明するための図であり、文字サイズをグループ化することにより図２２（Ａ）の文書画像から見出し領域を抽出する場合の例が示されている。
【発明を実施するための形態】
【００２３】
本発明の実施の形態について図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰返さない。
【００２４】
本発明の実施の形態の説明に先立ち、図２２〜図２７を用いて、従来より存在する一般的な見出し部分の抽出方法について説明する。
【００２５】
従来より、あらかじめ設けた特徴区分に対して見出しレベルを割り当てることで、見出し領域（見出し部分）を抽出する技術（以下、「従来例１」という）が存在する。また、特徴が似た領域をグループ化した上でグループに対して見出しレベルを割り当てることで、見出し領域を抽出する技術（以下、「従来例２」という）が存在する。
【００２６】
図２２（Ａ）には、見出しに対応する領域１ａ，３ａの文字サイズの方が本文に対応する領域２ａ，４ａの文字サイズよりも大きい例が示されている。図２２（Ｂ）には、見出しに対応する領域１ｂ，３ｂの文字サイズと本文に対応する領域２ｂ，４ｂの文字サイズとが同じ例が示されている。図２２（Ｃ）には、見出しに対応する領域１ｃ，３ｃの文字サイズの方が本文に対応する領域２ｃ，４ｃの文字サイズよりも小さい例が示されている。なお、図２２（Ａ）の文書スタイルでは、同じ見出しであっても、領域３ａの文字サイズの方が、領域１ａの文字サイズよりも大きいとする。
【００２７】
これらのスタイルの場合、読み手は容易に見出し部分を判別することが可能である。
従来例１では、特定のサイズである１０ポイント以上の領域を見出しとし、１０ポイント未満であれば見出しとはしないという特徴区分を設けるとする。その場合、図２２（Ａ）の文書では、図２３に示されるように、領域１ａ，３ａを見出しとして正しく抽出することができる。
【００２８】
しかしながら、このような特徴区分であると、図２２（Ｂ），（Ｃ）の文書スタイルの場合は、見出し部分のサイズが小さいため、図２４，図２５に示されるように、見出しを正しく抽出できない。
【００２９】
従来例２では、特徴が似た領域をグループ化した上で見出しの判定を行なう。図２２（Ｃ）の文書スタイルの場合、文字サイズでグループ化することで図２６に示すようにグループＡ，Ｂに分類される。従来例２によると、位置が高いグループまたは行数が少ないグループを見出しと判定することで、見出しを正しく抽出することができる。
【００３０】
しかしながら、図２２（Ａ）の文書スタイルのように、見出しに対応する領域１ａ，３ａの文字サイズにバラツキがあるものも考えられる。この場合は、従来例２では、図２７に示されるように見出しを一つにグループ化できず、正しく見出しを抽出することができない。
【００３１】
以上の従来方法では、使用するスタイル種別（たとえば文字サイズ）、および、特徴量（たとえば１０ポイント）の設定が固定的であるため、正しく見出しを抽出することができない場合がある。たとえば、従来例１では、文字サイズに加え、第１行の先頭文字の種別（英字／数字／日本語）を判別することで、見出しを正しく抽出することが可能になったり、従来例２では、グループＢの特徴量の範囲を領域１，３を含む程度に広くすることで正しく抽出することが可能になったりする。
【００３２】
そこで、本実施の形態では、複数のスタイル種別を使用し、かつ、特徴区分を動的に設定する。
【００３３】
なお、「スタイル種別」とは、インデント量，行揃え，前後の文字列要素領域との距離，文字列修飾（下線，囲み），文字種（先頭または終端），言語種別，文字サイズ，行高さ，文字間隔，フォント，文字修飾（太文字，斜体），文字色，背景色などを含む。見出し領域を精度良く抽出するためには、上記種別のうち、少なくとも、インデント量、文字の大きさに関する特徴量（たとえば、文字サイズまたは行高さ）、および、第１行の先頭文字種を使用することが好ましい。なお、スタイル種別には、読み手が識別可能で文書作成ツールなどで利用可能な様々な種別が含まれ得る。
【００３４】
また、「特徴区分」とは、見出し領域と他領域とを識別するために用いられる、スタイル種別ごとの特徴値または範囲を表わす。なお、「特徴」とは、領域そのものや領域内の行，文字の「属性」と言い換えることもできる。
【００３５】
＜構成について＞
（全体システム構成）
本実施の形態においては、代表的に、本発明に係る文書画像処理装置の一形態であるＭＦＰ（Multi Function Peripheral）について説明する。なお、本発明に係る文書画像処理装置は、ＭＦＰに限らず、複写機、ファクシミリ装置、スキャナ装置などにも適用可能である。
【００３６】
図１を参照して、本実施の形態に従うＭＦＰ１は、原稿３００を読取るための画像読取部１０４と、紙媒体などへの印刷処理を行なうためのプリント部１０６とを含んで構成される。
【００３７】
特に、本実施の形態に従うＭＦＰ１は、画像読取部１０４で原稿３００を読取ることで文書画像を取得し、この文書画像を含む電子化文書４００を生成する。代表的に、電子化文書４００にはＰＤＦ（Portable Document Format）などのフォーマットを採用できる。この際、ＭＦＰ１は、文書画像から少なくとも１つの見出し領域を抽出し、抽出した見出し領域に対して文書画像内での位置を特定するための閲覧ナビゲート情報を生成する。
【００３８】
なお、「閲覧ナビゲート情報」とは、ユーザによる電子化文書に含まれる文書画像の閲覧を支援するための情報であり、より具体的には、当該文書画像に含まれる見出し領域等が存在する位置を特定するための情報である。このような閲覧ナビゲート情報は、一例として「しおり（bookmark）」、「注釈」、「スレッド」、「リンク」などを含み、見出し領域の位置を特定するための情報に加えて、対応する見出し領域のサムネイル（縮小画像）などを含めてもよい。本実施の形態においては、特に「閲覧ナビゲート情報」の代表例として「しおり」を用いる構成について説明する。
【００３９】
ＭＦＰ１は、生成した電子化文書４００を自身の記憶部（図示しない）に格納したり、ネットワークを介してパーソナルコンピュータＰＣ１，ＰＣ２，ＰＣ３（以下、「パーソナルコンピュータＰＣ」とも総称する）や携帯端末ＭＴに送信したりする。代表的な使用形態として、ＭＦＰ１が設置されている同一のオフィス内に敷設されたネットワークであるＬＡＮ（Local Area Network）に接続されているパーソナルコンピュータＰＣ１，ＰＣ２に対しては、ＭＦＰ１から電子化文書４００が直接的に送信される。一方、ＬＡＮとＷＡＮ（Wide Area Network）との接続点には、サーバ装置ＳＲＶが設けてあり、ＭＦＰ１とは離れたオフィスにあるパーソナルコンピュータＰＣ３などに対しては、ＭＦＰ１からサーバ装置ＳＲＶを介して電子化文書４００が送信される。さらに、携帯端末ＭＴには、ＷＡＮおよび公衆携帯電話網や無線ＬＡＮなどの無線ネットワーク回線（図示しない）を介して、ＭＦＰ１から電子化文書４００が送信される。ここで、サーバ装置ＳＲＶは代表的に、メールサーバ、ＦＴＰ（File Transfer Protocol）サーバ、Ｗｅｂサーバ、ＳＭＢサーバなどからなる。
【００４０】
画像読取部１０４は、原稿をセットするための戴荷台と、原稿台ガラスと、戴荷台にセットされた原稿を原稿台ガラスに自動的に一枚ずつ搬送する搬送部と、読取られた原稿を排出するための排出台とを含む（いずれも図示しない）。これにより、複数枚の原稿を連続的に読取って、一つの電子化文書４００として生成することができる。
【００４１】
（ＭＦＰの概略構成）
図２を参照して、ＭＦＰ１は、制御部１００と、メモリ部１０２と、画像読取部１０４と、プリント部１０６と、通信インターフェイス部１０８と、データ格納部１１０とを含む。
【００４２】
制御部１００は、代表的にＣＰＵ（Central Processing Unit）などの演算装置から構成され、プログラムを実行することで本実施の形態に従う文書画像処理を実現する。メモリ部１０２は、代表的にＤＲＡＭ（Dynamic Random Access Memory）などの揮発性の記憶装置であり、制御部１００で実行されるプログラムやプログラムの実行に必要なデータなどを保持する。通信インターフェイス部１０８は、代表的に、ネットワーク（たとえば、図１に示すＬＡＮ）を介してパーソナルコンピュータＰＣ（図１）や携帯端末ＭＴとの間でデータを送受信するための部位であり、たとえば、ＬＡＮアダプタおよびそれを制御するドライバソフトなどを含む。プリント部１０６は、プリント処理を行なうための部位であり、プリント処理に係るハードウェア構成に加えて、各部の作動を制御するための制御装置をも含む。データ格納部１１０は、代表的にハードディスク装置やフラッシュメモリなどの不揮発性の記憶装置であり、制御部１００で生成された電子化文書４００などを格納する。
【００４３】
（パーソナルコンピュータの構成）
図３を参照して、パーソナルコンピュータＰＣは、オペレーティングシステム（ＯＳ：Operating System）を含む各種プログラムを実行するＣＰＵ（Central Processing Unit）２０１と、ＣＰＵ２０１でのプログラムの実行に必要なデータを一時的に記憶するメモリ部２１３と、ＣＰＵ２０１で実行されるプログラムを不揮発的に記憶するハードディス
ク部（ＨＤＤ：Hard Disk Drive）２１１とを含む。また、ハードディスク部２１１には、ＭＦＰ１で生成された電子化文書を表示するための閲覧アプリケーションが記憶されており、このようなプログラムは、入出力インターフェイス部２１７またはＣＤ−ＲＯＭドライブ２１５によって、それぞれメモリカード（たとえばＳＤカード）２１７ａまたはＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）２１５ａなどから読取られる。
【００４４】
ＣＰＵ２０１は、キーボードやマウスなどからなる入力部２０９を介してユーザからの指示を受取るとともに、プログラムの実行によって生成される画面出力をディスプレイ部２０５へ出力する。また、ＣＰＵ２０１は、ＬＡＮカードなどからなる通信インターフェイス部２０７を介して、ＬＡＮやＷＡＮに接続されたＭＦＰ１やサーバ装置ＳＲＶ（図１）から電子化文書を取得し、ハードディスク部２１１などに格納する。また、上述の各部は、内部バス２０３を介して相互にデータを授受する。
【００４５】
なお、携帯端末ＭＴについては、図３においてＦＤＤドライブ２１７やＣＤ−ＲＯＭドライブ２１５などを取り除いたものとほぼ等価であるので、詳細な説明は繰返さない。
【００４６】
（ＭＦＰの機能的構成）
図４を参照して、ＭＦＰ１の機能構成としては、画像読取部１０４と、画像前処理部１２と、画像バッファ部１３と、圧縮処理部１４と、電子化文書生成部１５と、画像解析部１６と、しおりデータ生成部１７と、送信部１８と、画像処理部１９と、プリント部１０６とを含む。ＭＦＰ１の機能は、主としてＭＦＰ１の制御部１００やメモリ部１０２（図２）などによって実現される。
【００４７】
画像読取部１０４は、原稿３００を読取って文書画像を取得し、その文書画像を画像前処理部１２へ出力する。画像前処理部１２は、主としてパーソナルコンピュータＰＣなどでの表示に適するように、文書画像の表示特性などを調整する。さらに、画像前処理部１２が文書画像に含まれるノイズを除去してもよい。そして、画像前処理部１２で画像処理が施された文書画像は、画像バッファ部１３へ送られる。
【００４８】
画像バッファ部１３は、取得された文書画像のデータを一時的に格納する部位であり、一旦格納した文書画像を圧縮処理部１４、画像解析部１６および画像処理部１９へ出力する。
【００４９】
圧縮処理部１４は、画像バッファ部１３から出力される文書画像を圧縮処理して、電子化文書生成部１５へ出力する。この圧縮処理による圧縮度合いは、生成される電子化文書の大きさや、要求される文書画像の解像度などに応じて変化させてもよく、また圧縮処理はＪＰＥＧ（Joint Photographic Experts Group）などの非可逆変換であってもよい。なお、高解像度が要求される場合などには、圧縮処理を省略してもよい。
【００５０】
画像解析部１６は、画像バッファ部１３から出力される文書画像を解析し、見出し領域を抽出する。画像解析部１６は、その機能として、分類部１６１と、候補判定部１６２と、評価処理部１６３と、抽出部１６４とを含む。
【００５１】
分類部１６１は、文書画像を複数の文字列要素領域（詳しくは後述）に分割し、文字列要素領域を小領域と大領域とに分類する。たとえば、領域の大きさ（行数，面積，文字数など）と、特定の文字（見出しとして使われる頻度が小さい文字，ピリオド，句読点など）の有無とに基づいて、分類する。
【００５２】
候補判定部１６２は、小領域と大領域との配置関係を比較することにより、関連付けられる大領域が存在する小領域を、見出し領域の候補を表わす候補領域として判定する。「
関連付けられる大領域」は、たとえば、候補領域の後続の大領域を示す。
【００５３】
評価処理部１６３は、各候補領域が見出しか否かの評価処理を行なう。具体的には、候補領域ごとに、複数のスタイル種別のうち、関連付けられる大領域と特徴が異なるスタイル種別について、候補領域の特徴を含み、かつ、関連付けられる大領域の特徴を含まない特徴区分を設定する。
【００５４】
そして、設定された特徴区分に含まれる大領域および候補領域をそれぞれグループ化する。候補領域ごとに、各グループの大きさに基づいて、見出し評価度を算出する。見出し評価度は、見出し度と非見出し度とで構成されてよい。
【００５５】
評価処理部１６３は、算出された見出し評価度に基づいて、各候補領域の論理要素が見出しであるか否かを判定する。
【００５６】
抽出部１６４は、見出しと判定された候補領域を、見出し領域として抽出する。抽出された見出し領域の情報（位置情報など）は、しおりデータ生成部１７へ送られる。
【００５７】
しおりデータ生成部１７は、画像解析部１６から出力される見出し領域の情報に基づいて、しおりデータを生成する。なお、しおりデータ生成部１７は、見出し以外の特定の論理要素（たとえば、図、表、キャプションなど）についても、しおりデータに含めてもよい。しおりデータ生成部１７は、生成したしおりデータを電子化文書生成部１５へ出力する。
【００５８】
電子化文書生成部１５は、圧縮処理部１４で圧縮された文書画像に、しおりデータ生成部１７からのしおりデータを付加することで、電子化文書を生成する。そして、この生成された電子化文書は、ユーザによる設定などに応じて、データ格納部１１０へ格納され、もしくは送信部１８へ出力される。送信部１８は、通信インターフェイス部１０８によって実現され、ＬＡＮなどのネットワークを介してパーソナルコンピュータＰＣ（図１）などへ電子化文書生成部１５で生成された電子化文書を送信する。
【００５９】
一方、画像処理部１９は、ユーザ操作に応じて、画像バッファ部１３から出力される文書画像をプリント部１０６でのプリント動作に適した画像に変換する。代表的に、ＲＧＢ表示系で規定された文書画像をカラープリントに適したＣＭＹＫ表示系の画像データなどに変換する。このとき、プリント部１０６の特性に応じた色調整を行なってもよい。プリント部１０６は、画像処理部１９から出力される画像データに基づいて紙媒体などへの印刷処理を行なう。
【００６０】
なお、各機能ブロックの動作は、メモリ部１０２中に格納されたソフトウェアを実行することで実現されてもよいし、少なくとも１つについては、ハードウェアで実現されてもよい。
【００６１】
（電子化文書のデータ構造例）
図５を参照して、電子化文書４００は、ヘッダ部４０２と、文書画像部４０４と、しおりデータ部４０６と、フッタ部４０８とからなる。ヘッダ部４０２およびフッタ部４０８には、電子化文書４００の属性についての情報、たとえば作成日時・作成者・著作権情報などが格納される。文書画像部４０４には、各ページに対応する文書画像が格納される。なお、この文書画像は、上述したように圧縮された状態で格納されてもよい。しおりデータ部４０６には、文書画像に含まれる見出し領域すなわち、見出しと判定された文字列要素領域を特定するためのしおりデータが格納される。
【００６２】
図６を参照して、しおりデータには、各見出し領域に対応付けて、ページ番号・領域左上座標・領域右下座標・要素種別などが格納される。ページ番号は、対応する見出し領域が存在するページを特定するための位置情報である。また、領域左上座標および領域右下座標は、対応する見出し領域のページ内での位置（矩形）を特定するための位置情報である。また、要素種別は、対応する見出し領域の種別を特定するための情報である。なお、しおりデータには、見出し以外の種別の文書要素（領域）の位置情報がさらに含まれてもよい。
【００６３】
＜動作について＞
ＭＦＰ１が実行する処理のうち、画像解析部１６が実行する見出し領域抽出処理が最も特徴的な処理である。したがって、以下に、見出し領域抽出処理の詳細について説明する。
【００６４】
図７のフローチャートを参照して、本発明の実施の形態における見出し領域抽出処理について説明する。図７のフローチャートに示す処理は、予めプログラムとしてメモリ部１０２に格納されており、制御部１００がこのプログラムを読み出して実行することにより、見出し領域抽出処理の機能が実現される。
【００６５】
図７を参照して、画像解析部１６は、文書画像のデータを入力する（ステップＳ２）。入力した文書画像のデータは、ページ毎に内部メモリ上に記憶される。
【００６６】
次に、内部メモリ上の各ページのデータを読み出して、内容領域の判別を行う（ステップＳ４）。内容領域とは、各ページの部分領域であり、各内容領域は一段分の文字を含む。
【００６７】
図８には、入力した文書画像の各ページに設定した内容領域（Ｘ１，Ｙｌ）−（Ｘ２，Ｙ２），（Ｘ３，Ｙｌ）−（Ｘ４，Ｙ２）が示されている。
【００６８】
「内容領域」とはページ上の一つの段落に相当する領域であり、各ページに対して同じ場所に設定する。内容領域は既存の様々の方法で求めることができる。
【００６９】
たとえば、ページの濃度画像に対して上下方向への射影ヒストグラムを作成し、濃度の累計が低い位置から内容領域の横方向の位置Ｘ１，Ｘ２，Ｘ３，Ｘ４を得る。同様に左右方向への射影ヒストグラムを作成し内容領域の上下の開始終了位置Ｙｌ，Ｙ２を求める。
【００７０】
次に、画像解析部１６は、行領域の判別を行う（ステップＳ６）。行領域は既存の様々の方法で求めることができる。たとえば、内容領域の濃度画像に対して上下方向への射影ヒストグラムを作成し、濃度の累計が低い位置から各行領域の上端下端の位置を得る。
【００７１】
続いて、画像解析部１６は、文字列要素領域の判別（文字列要素判別処理）を行う（ステップＳ８）。文字列要素領域は、行領域を統合することで作成される。画像解析部１６は、各行領域の右余白の大きさ及び行末の文字種を使って統合を制御する。
【００７２】
図９のフローチャートを参照して、本発明の実施の形態における文字列要素判別処理について説明する。
【００７３】
図９を参照して、まず、初期状態の文字列要素領域を１つ生成する（ステップＳ１０２）。そして、読み順に従って未処理の行領域を一つ取得する（ステップＳ１０４）。具体的には、ページ番号が小さく左側にある内容領域において最も上側にある行領域を取得する。
【００７４】
ここで、ステップＳ１０４での行領域の取得に成功したか否かが判断される（ステップＳ１０６）。未処理の行領域がない場合は、所得に失敗したとして（ステップＳ１０６にてＮＯ）、ステップＳ１１４に進む。
【００７５】
これに対し、行領域の取得に成功した場合（ステップＳ１０６にてＹＥＳ）、取得した行領域を文字列要素領域に統合する（ステップＳ１０８）。
【００７６】
次に、画像解析部１６は、取得した行領域が最終行であるか否かを判断する（ステップＳ１１０）。具体的には、取得した行領域の右余白が所定値以上あるか、または、行末の文字種がピリオドであるかが判定される。右余白の所定値は、たとえば、行領域に含む文字の高さに設定される。取得した行領域が最終行であると判断された場合（ステップＳ１１０にてＹＥＳ）、ステップＳ１１２に進む。そうでない場合は（ステップＳ１１０にてＮＯ）、ＳＴＥＰ１０４に戻り、上記処理を繰返す。
【００７７】
ステップＳ１１２では、画像解析部１６は、文字列要素領域を完成させる。この処理が終わると、ステップＳ１１４に進む。
【００７８】
ステップＳ１１４では、全ての内容領域を処理済みかどうかを判断する。未処理の内容領域があれば（ステップＳ１１４にてＮＯ）、ステップＳ１０２に戻る。未処理の内容領域がなければ（ステップＳ１１４にてＹＥＳ）、文字列要素判別処理は終了する。
【００７９】
図１０を参照して、文字列要素領域の例を説明する。
図１０（Ａ）には、図７のステップＳ６で判別された行領域の一部が示されていると仮定する。図１０（Ｂ）には、図１０（Ａ）に示した行領域に対して行なわれた文字列要素領域の判別結果が示される。
【００８０】
行領域（図において「ＬＥ」と示す）１，１１，１４，１５，２３，１１が、ステップＳ１１０において、右余白ありと判定される。したがって、行領域１，１５は、各々、単独で文字列要素領域（図において「ＣＥ」と示す）１，４を構成する。また、行領域２〜１１，１２〜１４，１６〜２３は、それぞれ、上下方向に統合されて文字列要素領域２，３，５が生成される。
【００８１】
なお、文字列要素領域に右余白がある場合は、右余白を除いた領域を文字列要素領域として設定されるものとする。
【００８２】
再び図７を参照して、文字列要素判別処理が終わると、画像解析部１６の分類部１６１は、文字列要素領域を大領域と小領域に分類する（ステップＳ１０）。具体的には、たとえば、各文書領域の面積、文書全体の平均文字高さ、文書全体の平均内容領域の幅を求める。文書領域の面積が文書全体の平均文字高さ×文書全体の平均内容領域の幅×２より大きければ、その文字列要素領域は大領域であると判断し、そうでなければ小領域と判断する。
【００８３】
このような分類について、図１１および図１２を用いて説明する。
図１１には、ページ単位で生成された文字列要素領域の例が示されている。
【００８４】
図１１を参照して、ページＰＧ１において、文字列要素領域１〜１６（ＣＥ１〜ＣＥ１６）が生成され、ページＰＧ２において、文字列要素領域１７（ＣＥ１７）が生成されたとする。
【００８５】
図１２には、図１１に示す文字列要素領域について大領域と小領域との分類結果が示されている。
【００８６】
図１２を参照して、ハッチングで示す文字列要素領域１，４，６，９，１２，１５が小領域に分類される。それ以外の文字列要素領域２，３，５，７，８，１０，１１，１３，１４，１６，１７が大領域に分類される。
【００８７】
文字列要素領域の分類が終わると、画像解析部１６の候補判定部１６２は、各小領域の後続する文字列要素領域が大領域か小領域かを判定する（ステップＳ１２）。つまり、各小領域の下側に連続する大領域があるかを判定する。
【００８８】
候補判定部１６２は、後続する大領域がある小領域を見出しの候補（以下「候補領域」という）と判定する（ステップＳ１４）。また、候補領域に後続する大領域を、直上の候補領域に関連付ける。以下の説明において、候補領域に関連付けられた大領域を、「第１本文領域」という。また、候補領域と判定された文字列要素領域１，４，６，９，１２，１５を、それぞれ、候補領域１，４，６，９，１２，１５とも表現する。
【００８９】
図１３には、候補領域と、候補領域に関連付けられる大領域（第１本文領域）との関係が示されている。
【００９０】
図１３を参照して、図１２において小領域として示した全ての文字列要素領域は、候補領域として判定されているものとする。各候補領域について第１本文領域と判定された文字列要素領域が、破線枠で示されている。
【００９１】
具体的には、候補領域１の第１本文領域は、文字列要素領域２であり、候補領域４の第１本文領域は、文字列要素領域５である。候補領域６の第１本文領域は、文字列要素領域７であり、候補領域９の第１本文領域は、文字列要素領域１０である。候補領域１２の第１本文領域は、文字列要素領域１３であり、候補領域１５の第１本文領域は、文字列要素領域１６である。
【００９２】
なお、第１本文領域と判定された文字列要素領域２，５，７，１０，１３，１６を、それぞれ、第１本文領域２，５，７，１０，１３，１６とも表現する。
【００９３】
ステップＳ１４の処理が終わると、見出し評価処理が実行される（ステップＳ１６）。
図１４のフローチャートを参照して、本発明の実施の形態における見出し評価処理について説明する。
【００９４】
図１４を参照して、画像解析部１６の評価処理部１６３は、まず、１つの候補領域に注目する（ステップＳ２０２）。つまり、複数の候補領域のうち、たとえば読み順に従って、１つの候補領域を選択する。そして、注目した候補領域について、それが見出しか否かの判定を行なう（ステップＳ２０４〜Ｓ２２４）。
【００９５】
具体的には、まず、初期設定の複数のスタイル種別のうち第１本文領域の特徴と異なるスタイル種別を検出する（ステップＳ２０４）。
【００９６】
本実施の形態では、初期設定のスタイル種別は、たとえば、第１行の先頭文字種（３種）、文字高さ、および、インデント量である。
【００９７】
上記スタイル種別ごとの特徴は、既存の方法を用いて算出すればよい。「第１行の先頭文字種」は、数字／日本語／英語の３種類を判別する。「文字高さ」は、文字列要素領域
に含む文字の最頻度文字高さを１／２文字高さの単位で判別する。「インデント量」は、内容領域の左辺から文字列要素領域の左辺までの距離を１／２文字高さの単位で判別する。
【００９８】
第１本文領域の特徴と異なるスタイル種別が検出された場合（ステップＳ２０６にてＹＥＳ）、ステップＳ２１０に進む。
【００９９】
相違するスタイル種別がないと判定された候補領域に対しては、探索的に様々な方法で特徴を比較して、スタイル種別の追加、または、スタイル種別の判別単位の細分化（特徴量の追加）を行なうことで、何らかの相違を探すことが可能な場合が多い。したがって、本実施の形態でも、相違するスタイル種別がなければ（ステップＳ２０６にてＮＯ）、後述する見出し評価度の算出が不可能であるため、新たなスタイル種別の追加、または、スタイル種別の判別単位の細分化を行なう（ステップＳ２０８）。そして、ステップＳ２０４に戻る。
【０１００】
ステップＳ２０８では、たとえば、第１行の先頭文字種を、数字／日本語／英語の３種類判別から、数字／ひらがな／カタカナ／漢字／英語の５種類判別に変更する。または、たとえば、他のスタイル種別として「文字色」などを追加してもよい。
【０１０１】
ステップＳ２１０において、評価処理部１６３は、異なると判別されたスタイル種別について、候補領域の特徴のみを含む特徴区分を設定する。特徴区分は、候補領域と第１本文領域とを比較し、候補領域の特徴の近傍で、第１本文領域の特徴を含まない範囲に設定されることが好ましい。具体的には、候補領域の特徴値の前後一定範囲内（ただし、第１本文領域の特徴を含まない）とそれ以外（第１本文領域の特徴を含む）とに特徴を分割し、前者の範囲を特徴区分として設定する。
【０１０２】
または、候補領域の特徴と、第１本文領域の特徴とのうちいずれに近いか否かによって、設定されてもよい。具体的には、候補領域の特徴値と第１本文領域の特徴値との中間点を区切りとし、候補領域の特徴値を含む方の区間を、特徴区分として設定してもよい。
【０１０３】
初期設定のスタイル種別を用いた場合における、各候補領域について設定される特徴区分の例について図１５を用いて説明する。
【０１０４】
図１５を参照して、たとえば、候補領域１と対応する第１本文領域２とは、第１行の先頭文字種（３種類）のみが異なる。図１５では、「相違特徴一覧」に、両者で異なるスタイル種別の名称が示されている。候補領域１の先頭文字が数字であり、第１本文領域２の先頭文字が日本語（ひらがな）であるとする。その場合、特徴区分は「数字」に設定される。
【０１０５】
候補領域６，９，１５においても同様である。
また、候補領域１２については、対応する第１本文領域１３とインデント量のみが異なる。この場合の特徴区分の設定例について、図１６を用いて説明する。
【０１０６】
図１６を参照して、内容領域の基準線Ｌ１からのインデント量が、候補領域１２は７．５であり、第１本文領域１３は６．５とする。その場合、インデント量についての特徴区分として、たとえば、インデント量７〜８に設定する。
【０１０７】
候補領域４の先頭文字種はカタカナで、対応する第１本文領域５の先頭文字種はひらがなである。また、文字高さおよびインデントについて両者に違いはない。その場合、初期設定のスタイル種別では、特徴が異なるスタイル種別は存在しない。
【０１０８】
そこで、たとえば第１行の先頭文字種を５種に変更したとすると、候補領域４と第１本文領域５とは第１行の先頭文字種が異なることになる。
【０１０９】
初期設定のスタイル種別に、さらに、「第１行の先頭文字種（５種）」を追加した場合の特徴区分の例について、図１７を用いて説明する。
【０１１０】
図１７を参照して、全ての候補領域が、対応する第１本文領域と、第１行の先頭文字種（５種）において異なる。したがって、各候補領域について、相違特徴一覧に「第１行の先頭文字種（５種）」が追加されている。候補領域４の特徴区分は、カタカナに設定される。
【０１１１】
なお、上記例では、スタイル種別として、第１行の先頭文字種（３種）、文字高さ、インデント量、第１行の先頭文字種（５種）を用いたが、他の種別、たとえば、文字サイズや文字色などを用いてもよい。
【０１１２】
たとえば、文字サイズが異なる場合の特徴区分の設定例について説明する。
図１８を参照して、たとえば、ある候補領域の文字サイズが１４ポイントであり、対応する第１本文領域の文字サイズが１０ポイントであったとする。その場合、候補領域と第１本文領域との中央値は１２ポイントであるので、特徴区分は、たとえば、１２〜１６ポイントに設定される。特徴区分の上限値（１６ポイント）は、たとえば、候補領域の文字サイズ＋（候補領域の文字サイズ−中央値）として定めることができる。
【０１１３】
再び図１４を参照して、評価処理部１６３は、注目した候補領域ごとに、設定した特徴区分に含まれる他の候補領域をグループ化する（ステップＳ２１２）。また、同様に、特徴区分に含まれる大領域をグループ化する（ステップＳ２１４）。ステップＳ２１２，Ｓ２１４では、各候補領域について、特徴が類似した文字列要素領域が特定される。
【０１１４】
図１９に、図１７に示した各特徴区分を用いたグループ化の結果を示す。
図１７において、候補領域１については、「数字」との特徴区分が設定されていた。したがって、当該特徴区分に含まれる（第１行の先頭文字種が「数字」である）他の候補領域のグループには、候補領域６，９，１５が存在する。当該特徴区分に含まれる大領域のグループは、存在しない。
【０１１５】
候補領域６，９，１５についても、候補領域１と同様の結果が示されている。
候補領域４については、「カタカナ」との特徴区分が設定されていた。したがって、当該特徴区分に含まれる他の候補領域のグループは存在しない。当該特徴区分に含まれる大領域のグループには、文字列要素領域７，１６が存在する。また、候補領域以外の小領域のグループには、文字列要素領域８，１７が存在する。なお、候補領域以外の小領域はグループ化しなくてもよい。
【０１１６】
また、候補領域１２については、「インデントが７〜８の間」と「漢字」が設定されていた。したがって、当該特徴区分に含まれる他の候補領域のグループ、および、大領域のグループは、いずれも存在しない。
【０１１７】
図１４に戻り、グループ化処理が終わると、評価処理部１６３は、各グループ内の領域数をカウントする（ステップＳ２１６）。具体的には、候補領域のグループ内の文字列要素領域の個数、および、大領域のグループ内の文字列要素領域の個数をカウントする。そして、各グループのカウント結果から、注目する候補領域の見出し評価度を算出する（ステップＳ２１８）。
【０１１８】
なお、見出し評価度をより精度良く算出するためには、各グループに含まれる文字列要素領域と、注目した候補領域との位置関係も考慮することが好ましい。したがって、ステップＳ２１６では、同一ページ内の候補領域の数、異なるページでの候補領域の数、連続する大領域（第１本文領域）、非連続の大領域（第１本文領域以外）それぞれについて、注目した候補領域の特徴区分に含まれる文字列要素領域の個数をカウントすることとしてもよい。本実施の形態では、このように、注目した候補領域との位置関係も考慮した見出し評価度の算出を行なう。
【０１１９】
ここで、見出し評価度の算出方法の具体例を図２０を用いて説明する。
図２０を参照して、見出し評価度は、非見出し度と見出し度とで構成される。
【０１２０】
設定した特徴区分に含まれる大領域（以下、このような大領域を「類似した大領域」という）の個数および位置から、注目した候補領域の非見出し度を算出する。大領域が一つ含まれる場合は、非見出し度に１点を加算する。
【０１２１】
ここで、注目した候補領域と、類似した大領域との間にある文字列要素領域の数（つまり、注目した候補領域からの遠さ）を考慮して、類似した大領域が候補領域の前後の連続する大領域の場合は、非見出し度にたとえば５点を加算する。これは、近傍であるほど（距離が近いほど）、見出しと本文でスタイルの違いが明確であり、論理的な役割がスタイルの相違として表現されている場合が多いためである。言い換えれば、連続しない離れた領域や、別ページの領域とのスタイルの相違は、書き手によって意図されたものでない場合があるためである。したがって、前後に連続する領域、もしくは同一ページにある領域の数の重みを大きくすることが望ましい。
【０１２２】
また、設定した特徴区分に含まれる候補領域（以下このような候補領域を「類似した他の候補領域」という）の個数および位置から、注目した候補領域の見出し度を算出する。類似した他の候補領域が一つ存在する場合は、見出し度に１点を加算する。ここでも、類似した他の候補領域の出現ページを考慮して、注目した候補領域と同じページに類似した他の候補領域がある場合は、見出し度にたとえば２点を加算する。
【０１２３】
その結果、図２０に示されるように、候補領域１，６，９，１５については、非見出し度“０”、見出し度“６”である。候補領域４は、非見出し度“２”、見出し度“０”である。候補領域１５は、非見出し度および見出し度のいずれも“０”である。
【０１２４】
評価処理部１６３は、見出し評価度の算出結果に基づいて、注目した候補領域が見出しか否かを判定する（ステップＳ２２０）。具体的には、たとえば、非見出し度が２以下、見出し度が２以上であれば候補領域を見出しと判定する。その結果、候補領域１，６，９，１５が、見出しであると判定される。候補領域４は、非見出し度のみが０以外（２）であるので、見出しではないと判定してよい。
【０１２５】
ここで、見出しか否かの判定方法についてさらに具体的に説明する。
各グループに含まれる文字列要素領域の数から、対象領域と同じグループに含まれる見出し候補領域の数が多ければ、対象領域は見出しである可能性が高いと判断する。一方、同じグループに含まれる大領域の数が多ければ、対象領域は見出しではない可能性が高いと判断する。両者が含まれる場合は、相対的に数が多い方と同じ可能性が高いと判断する。例えば、以下のような条件で判定することができる。
【０１２６】
非見出し度：Ｃ１、見出し度：Ｃ２とした場合、Ｃ２−Ｃ１≧２ならば、文字列要素領域を見出しと判定する。Ｃ２−Ｃ１≦−２ならば、文字列要素領域を見出しでないと判定
する。Ｃ２−Ｃ１＜２、かつ、Ｃ２−Ｃ１＞−２ならば、見出し判定不可能とする。
【０１２７】
この場合、文字列要素領域１，６，９，１５は、Ｃ２−Ｃ１＝６であるので、見出しと判定される。文字列要素領域４は、Ｃ２−Ｃ１＝−２であり、見出しではないと判定される。文字列要素領域１２は、Ｃ２−Ｃ１＝０であり見出し判定不可能とされる。
【０１２８】
なお、本実施の形態では、見出し度と非見出し度との両方に基づいて見出し評価度を算出したが、何れか一方のみを用いてもよい。その場合、大領域のみをグループ化してもよいし、小領域のみをグループ化してもよい。
【０１２９】
次に、評価処理部１６３は、注目した候補領域について、見出し判定が可能であったか否かを判断する（ステップＳ２２２）。見出し判定が可能であった場合には（ステップＳ２２２にてＹＥＳ）、ステップＳ２３０に進む。見出し判定が不可能であった場合には（ステップＳ２２２にてＮＯ）、ステップＳ２２４に進む。
【０１３０】
ステップＳ２２４において、注目した候補領域について設定していた特徴区分を変更可能か否かを判断する。変更可能であれば、特徴区分を変更し（ステップＳ２２６）、ステップＳ２１２に戻る。変更不可能であれば、注目した候補領域は、見出しではないと判定し（ステップＳ２２８）、ステップＳ２３０に進む。
【０１３１】
候補領域１２については、図２０に示したように、非見出し度および見出し度の両方が０である。したがって、見出し判定は不可能であったと判断される。
【０１３２】
しかし、候補領域と関連付けられる本文領域との相違するスタイル種別は、複数存在する場合がある。また特徴区分の設定方法にも複数の方法がある。したがって、この特徴区分の設定方法を変更することで、グループ化の結果が変化し見出し判定が不可能ではなくなる場合がある。
【０１３３】
そこで、見出し判定不可能であった候補領域１２については、特徴区分を変更して再度グループ化を行なう。候補領域１２の相違するスタイル種別は「インデント量」と「第１行の先頭文字種」である。特徴区分を変更する際には、特徴区分の変更が容易なスタイル種別を選択することが望ましい。したがって、この場合、インデント量の特徴区分を変更し、第１行の先頭文字種は変更対象としない。
【０１３４】
なお、スタイル種別ごとに特徴区分の変更の可否が予め設定されているものとする。インデント量以外には、文字高さや文字サイズなど特徴が連続量であるスタイル種別を変更可能と設定することができる。
【０１３５】
たとえば、図１６に示した例では、はじめ、特徴区分は、インデント７〜８の間に設定されている。この場合、第１本文領域のインデント量（６．５）を含まないよう、インデントの範囲を６．６〜８．４の間に広げてよい。
【０１３６】
または、たとえば、図１８に示した例では、はじめ、特徴区分は、文字サイズ１２〜１６ポイントに設定されている。この場合には、第１本文領域の文字サイズ（１０ポイント）を含まないよう、文字サイズの範囲を１１〜１７ポイントに変更してもよい。
【０１３７】
また、特徴区分を変更する場合、第１本文領域側の閾値のみを設けることとしてもよい。たとえば、図１６の例では、インデントの範囲を、６．６以上としてもよい。
【０１３８】
なお、ステップＳ２２４で特徴区分を変更不可能と判断された場合であっても、ステッ
プＳ２０８〜Ｓ２１０に示したように、新たなスタイル種別を追加して、新たな特徴区分を設定してもよい。このようにして、特徴区分が変更（追加）されてもよい。
【０１３９】
このように、本実施の形態では、特徴区分を変更し、再度、見出し評価度を算出することができる。したがって、どのようなタイプの文書であっても、見出しとなる領域を精度良く抽出することができる。
【０１４０】
なお、特徴区分の変更を所定回（たとえば２回）行なっても、判定が不可能である場合には、ステップＳ２２４において特徴区分の変更を停止することが好ましい。これにより、処理時間が長くなる不具合を防止することができる。この場合、見出し判定不可能のまま残った候補領域は見出しではないと判定する。
【０１４１】
ステップＳ２３０では、全ての候補領域について判定済みか否かが判断される。判定済みでない候補領域が存在すれば（ステップＳ２３０にてＮＯ）、ステップＳ２０２に戻り上述の処理が繰返される。全ての候補領域についての判定が終了していると判断されれば（ステップＳ２３０にてＹＥＳ）、見出し評価処理は終了される。
【０１４２】
図２１には、図１３に示した候補領域（文字列要素領域）１，４，６，９，１２，１６の見出し判定結果が示されている。図２１に示されるように、見出しと判定された候補領域すなわち見出し領域は、文字列要素領域１，６，９，１６である。
【０１４３】
再び図７を参照して、見出し評価処理が終わると、画像解析部１６の抽出部１６４は、候補領域のうち、見出しと判定された文字列要素領域（つまり、見出し領域）を抽出し、しおりデータ生成部１７に出力する（ステップＳ１８）。これにより、しおりデータ生成部１７は、入力された見出し領域をしおりとして機能させるために、図６に示したようなしおりデータを生成する。
【０１４４】
以上で、本発明の実施の形態における見出し領域抽出処理は終了される。
上述のように、本実施の形態によると、複数のスタイル種別を用いることにより、候補領域ごとに、本文と区別可能な特徴（属性）に基づき動的に特徴区分を設定することができる。そして、候補領域ごとに、設定した特徴区分を用いて見出し評価度を算出することができる。そのため、第１行の先頭文字種が異なる見出し、インデントが異なる見出し、文字サイズが統一的ではない見出しであっても、適切に見出し領域を抽出することができる。
【０１４５】
特に、見出しとして複数の特徴が混在する場合、例えば文字サイズが大きな２つ以上の見出しと、第１行の先頭文字種が数字である２つ以上の見出しが混在する文書に対しても、同様に見出しの抽出が可能である。
【０１４６】
また、本実施の形態によると、複数のスタイル種別を用いて、自動的に特徴区分が設定されるため、ユーザが、見出しと本文との区別に用いるスタイル種別を指定（および切替え）しなくても、見出し領域を抽出することができる。
【０１４７】
更に、初期設定のスタイル種別では特徴区分が設定できない場合には、スタイル種別を追加することで、候補領域ごとに確実に特徴区分を設定することができる。その結果、様々なスタイルの文書に対応可能である。
【０１４８】
また、見出し評価度の算出において、見出し候補（候補領域）の前後に近接する大領域と類似する場合は非見出し度を多くカウントすることで、本文の一部を見出しと誤判定する場合を回避することが可能であり、誤判定を減らす効果がある。なお、見出し候補から
の相対位置に応じて複数の評価値を設定することで、近い方の大領域と類似する場合に、非見出し度を高く評価する方法を用いてもよい。
【０１４９】
また、上記実施の形態では、見出し候補の前後の連続する大領域と類似する場合に５点を加点したが、後に連続する大領域と類似する場合には大きな加点（例えば１０点）をするようにしてもよい。
【０１５０】
また、本実施の形態では、見出し候補と同一ページ上に類似した見出し候補がある場合に見出し度を多くカウントする。これにより、一瞥できる範囲に統一された特徴をもってレイアウトされた見出しを確実に検知することを可能とする。一方で、他ページ上に発生する見出しと同じ特徴を持つ本文の一部から生じる誤判定を回避する効果がある。なお、見出し候補からの相対位置に応じて複数の評価値を設定することで、近い方の見出し候補と類似する場合に、見出し度を高く評価する方法を用いてもよい。
【０１５１】
また、上記実施の形態では、非見出し度が２以下、見出し度が２以上であれば候補領域を見出しと判定したが、他の見出し候補との類似，大領域との相違が適切な状態であることを判定可能であれば、他の方法を用いてもよい。
【０１５２】
また、上記実施の形態では、文字列要素の判別（図９）のステップＳ１１０において、右余白が所定値以上か行末の文字種がピリオドの場合は最終行と判断することとしたが、行の文字高さが所定値より大きく変化した場合に、最終行と判断してもよい。または、文字高さ以外であっても、見出しと本文の区別に利用可能な特徴を用いて同様の構成としてもよい。このようにすることにより、幅広い文書タイプにおいて適切に文字列要素領域を生成することが可能になる。
【０１５３】
大領域と小領域の分類では、文書領域の面積、文書領域の高さ、幅を用いたが、それらのうちの一部のみを用いてもよいし、さらに、行数や文字数などの特徴量を用いて分類してもよい。
【０１５４】
また／または、小領域が内容領域の最後の文字列要素領域の場合は、後続する右側の内容領域または次ページの最左側の内容領域の先頭の文字列要素領域を、連続する文字列要素領域として扱ってもよい。そして、その連続する文字列要素領域が、大領域であるか否かを判定するようにしてもよい。これにより、内容領域の最下に見出しがある場合にも対応可能となる。
【０１５５】
なお、その他にも、読み順の推定を目的とした様々な方法を用いることで、後続する文字列要素領域を特定することができる。
【０１５６】
上記実施の形態では、ＭＦＰ１を例に説明したが、たとえば、図３に示したようなパーソナルコンピュータＰＣや、携帯電話等の携帯端末において、上記見出し領域抽出処理が実行されてもよい。本実施の形態における見出し領域抽出処理は、少なくとも、ＣＰＵ等の演算装置、および、文書画像等を記憶するためのメモリを搭載した様々なコンピュータにて実行され得る。
【０１５７】
また、本発明の文書画像処理装置が行なう、見出し領域抽出処理方法（文書画像処理方法）を、プログラムとして提供することもできる。このようなプログラムは、ＣＤ−ＲＯＭ（Compact Disc-ROM）などの光学媒体や、メモリカードなどのコンピュータ読取り可能な記録媒体にて記録させて、プログラム製品として提供することもできる。また、ネットワークを介したダウンロードによって、プログラムを提供することもできる。
【０１５８】
なお、本発明にかかるプログラムは、コンピュータのオペレーティングシステム（ＯＳ）の一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の配列で所定のタイミングで呼出して処理を実行させるものであってもよい。その場合、プログラム自体には上記モジュールが含まれずＯＳと協働して処理が実行される。このようなモジュールを含まないプログラムも、本発明にかかるプログラムに含まれ得る。
【０１５９】
また、本発明にかかるプログラムは他のプログラムの一部に組込まれて提供されるものであってもよい。その場合にも、プログラム自体には上記他のプログラムに含まれるモジュールが含まれず、他のプログラムと協働して処理が実行される。このような他のプログラムに組込まれたプログラムも、本発明にかかるプログラムに含まれ得る。
【０１６０】
提供されるプログラム製品は、ハードディスクなどのプログラム格納部にインストールされて実行される。なお、プログラム製品は、プログラム自体と、プログラムが記憶された記憶媒体とを含む。
【０１６１】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１６２】
１  ＭＦＰ、１２  画像前処理部、１３  画像バッファ部、１４  圧縮処理部、１５  電子化文書生成部、１６  画像解析部、１７  データ生成部、１８  送信部、１９  画像処理部、１００  制御部、１０２  メモリ部、１０４  画像読取部、１０６  プリント部、１０８  通信インターフェイス部、１１０  データ格納部、１６１  分類部、１６２  候補判定部、１６３  評価処理部、１６４  抽出部、２０１  ＣＰＵ、２０３  内部バス、２０５  ディスプレイ部、２０７  通信インターフェイス部、２０９  入力部、２１１
ハードディスク部、２１３  メモリ部、２１５  ＣＤ−ＲＯＭドライブ、２１７  入出力インターフェイス部、２１７ａ  メモリカード、ＭＴ  携帯端末、ＰＣ，ＰＣ１，ＰＣ２，ＰＣ３  パーソナルコンピュータ、ＳＲＶ  サーバ装置。
【図１】
2010218249.tif 000003
【図２】
2010218249.tif 000004
【図３】
2010218249.tif 000005
【図４】
2010218249.tif 000006
【図５】
2010218249.tif 000007
【図６】
2010218249.tif 000008
【図７】
2010218249.tif 000009
【図８】
2010218249.tif 000010
【図９】
2010218249.tif 000011
【図１０】
2010218249.tif 000012
【図１１】
2010218249.tif 000013
【図１２】
2010218249.tif 000014
【図１３】
2010218249.tif 000015
【図１４】
2010218249.tif 000016
【図１５】
2010218249.tif 000017
【図１６】
2010218249.tif 000018
【図１７】
2010218249.tif 000019
【図１８】
2010218249.tif 000020
【図１９】
2010218249.tif 000021
【図２０】
2010218249.tif 000022
【図２１】
2010218249.tif 000023
【図２２】
2010218249.tif 000024
【図２３】
2010218249.tif 000025
【図２４】
2010218249.tif 000026
【図２５】
2010218249.tif 000027
【図２６】
2010218249.tif 000028
【図２７】
2010218249.tif 000029