(57)【要約】      （修正有）【課題】書誌データを効率的に抽出出来る文書構造抽出装置を提供する。【解決手段】抽出対象とする書誌情報の識別子を記述した抽出対象メタデータ定義辞書１６１と、各メタデータが持つ特徴量を記述したメタデータ別特徴定義辞書１６２を情報保持部１６に用意し、文書のカラム構造判定結果に基づき文字行とその順序を抽出し、各文字行について、情報保持部16に記憶されるメタデータ別特徴量に基づいてメタデータスコアを計算し、文字行位置に基づき、各メタデータスコアからメタデータらしさの加重移動平均を計算し、文字行の先頭位置から、抽出対象とするメタデータのうちの何れかのメタデータスコアの極大点を探し、連続する二つの極大点の間のうち、スコア値の谷間部分により書誌情報ラベルの境界位置を決定する。【選択図】図１
2011070529.tif 000002
【特許請求の範囲】
【請求項１】
情報保持部と処理部とを備え、文字行の文書中の出現位置および文字列に基づき、前記処理部により書誌情報のメタデータを抽出する文書処理装置であって、
前記情報保持部は、
各メタデータが持つメタデータ別の特徴量を記述したメタデータ別特徴定義辞書を保持し、
前記処理部は、
文書のカラム構造判定の結果に基づき、文字行と文字行位置を抽出し、
前記情報保持部に保持される前記メタデータ別の特徴量に基づいて、前記文字行各々について、メタデータスコアを計算し、
前記メタデータスコアに基づき、前記書誌情報の境界位置を決定する、
ことを特徴とする文書処理装置。
【請求項２】
請求項１に記載の文書処理装置であって、
前記処理部は、
前記文字行位置に基づき、各メタデータについての前記メタデータスコアの伝播処理を実行し、前記文字行の先頭位置から、抽出対象とする前記メタデータのうちの何れかの伝播処理後の前記メタデータスコアの極大点を探し、探索された連続する二つの前記極大点の間の前記メタデータスコアの変化に基づき、前記境界位置を決定し、決定した前記境界位置の前の文字行には一つ目の極大点のメタデータを設定し、後の文字行には二つ目の極大点のメタデータを設定する、
ことを特徴とする文書処理装置。
【請求項３】
請求項２に記載の文書処理装置であって、
前記処理部は、
前記文字行位置に基づき、前記メタデータ各々についての前記メタデータスコアの加重移動平均計算による平滑化処理を行うことにより、前記メタデータスコアの伝播処理を実行する、
ことを特徴とする文書処理装置。
【請求項４】
請求項１に記載の文書処理装置であって、
前記情報保持部は、
前記メタデータ別の特徴量として、文字行を構成する文字数を保持する、
ことを特徴とする文書処理装置。
【請求項５】
請求項１に記載の文書処理装置であって、
前記情報保持部は、
前記メタデータ別の特徴量として、英人名パターン長を保持する、
ことを特徴とする文書処理装置。
【請求項６】
請求項１に記載の文書処理装置であって、
前記情報保持部は、
前記メタデータ別の特徴量として、単語間平均距離と文字間平均距離を保持する、
ことを特徴とする文書処理装置。
【請求項７】
請求項１に記載の文書処理装置であって、
前記処理部は、
前記入力された前記文書情報から文字要素を抽出し、抽出された前記文字要素の水平方向および垂直方向の射影成分ヒストグラムを生成し、抽出した前記射影成分ヒストグラムからカラム情報を抽出ことにより前記文書のカラム構造判定を実行する、
ことを特徴とする文書処理装置。
【請求項８】
文書情報を入力可能な入力部と、情報保持部と、処理部と、出力部を少なくとも有し、文字の集合からなる文字行の文書中の出現位置および文字列に基づき、書誌情報を抽出する文書処理装置であって、
前記処理部は、
入力された前記文書情報から文字要素を抽出し、
抽出された前記文字要素の、水平方向および垂直方向の射影成分ヒストグラムを生成し、前記射影ヒストグラムからカラム情報を抽出し、
前記文字要素の座標値と前記カラム情報により決定される文字の順序に基づき、文字行の抽出を行い、
抽出した前記文字行の座標と前記文字行が含まれる前記カラム情報により、前記文字行を系列データとして並べ替え、
並べ替えた前記文字行各々に対し、予め情報保持部に記憶されるメタデータ各々の特徴量に基づいてメタデータスコアを計算し、
文字行位置に基づき、前記メタデータ各々についての前記メタデータスコアの伝播処理を実行し、
先頭文字行から、伝播処理後の前記メタデータスコアの極大点を探索し、探索された連続する二つの前記極大点の間の前記メタデータスコアの変化に基づいて境界点を設定し、設定した前記境界点の前の文字行には一つ目の極大点のメタデータを設定し、後の文字行には二つ目の極大点のメタデータを設定する、
ことを特徴とする文書処理装置。
【請求項９】
請求項８に記載の文書処理装置であって、
前記処理部は、
前記伝搬処理を、前記メタデータ各々についての前記メタデータスコアの加重移動平均計算を行うことにより実行する、
ことを特徴とする文書処理装置。
【請求項１０】
請求項８に記載の文書処理装置であって、
前記情報保持部は、
前記メタデータ別の特徴量として、文字行を構成する文字数、英人名パターン長、単語間平均距離、文字間平均距離の少なくとも一つを保持する、
ことを特徴とする文書処理装置。
【請求項１１】
文書情報を入力可能な入力部と、情報保持部と、処理部と、出力部を少なくとも有し、文字の集合からなる文字行の文書中の出現位置および文字列に基づき、書誌情報を抽出する文書処理装置であって、
前記処理部は、
入力された前記文書情報から文字要素を抽出し、抽出された前記文字要素の座標を基に、水平方向および垂直方向の射影成分ヒストグラムを生成し、前記射影成分ヒストグラムからカラム情報の抽出を抽出し、
前記文字要素の座標値と前記カラム情報により決定される文字の順序に基づき、文字行の抽出を行い、
抽出した前記文字行の座標と前記文字行が含まれる前記カラム情報により、前記文字行を系列データとして並べ替え、
並べ替えた前記文字行各々に対し、予め情報保持部に記憶されるメタデータ各々の特徴量に基づいてメタデータスコアを計算し、
各文字行のメタデータスコアを基に、各文字行が前記メタデータである場合のコストをそれぞれ設定し、予め前記情報保持部に対応付けられて記憶されるメタデータ識別子の順序候補に基づいて、文字行全体の合計コストが最小となるメタデータラベル系列を探索する、
ことを特徴とする文書処理装置。
【請求項１２】
請求項１１記載の文書処理装置であって、
前記処理部は、
各文字行のメタデータスコアに基づき順位を決定し、前記順位を前記コストとして設定する、
ことを特徴とする文書処理装置。
【請求項１３】
請求項１１記載の文書処理装置であって、
前記処理部は、
各文字行のメタデータスコアを正規化した値を１から差し引いた値を前記コストとして設定する、
ことを特徴とする文書処理装置。
【請求項１４】
請求項１１記載の文書処理装置であって、
前記処理部は、
前記文字行の間の距離を前記コストとして設定する、
ことを特徴とする文書処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子文書の他、複合機等で電子化した多様な学術文献文書について、タイトル、著者名、要旨、英語作成者名、英語要旨等のラベル付けを行い、学術情報提供サービス提供、文書の再利用を効率化する文書処理装置に関する。
【背景技術】
【０００２】
官公庁、民間企業においては、営業プレ活動、企画立案などの非定型業務のほか、審査・申込等の定型業務において、日々多くの文書が発生する。これらの文書は、通常電子化されているのみでコンテンツに対するラベル付け（メタデータ抽出）は行われておらず、整理しきれないまま各種文書管理システムの中に眠っている。しかし、近年コンプライアンス対応、労働生産性向上、カスタマーサービス向上といった観点から、蓄積文書に様々な観点から効率的にアクセスし、文書再利用、ナレッジ共有、問い合わせ対応等に活用したいという声が高まっている。そのためには、文書に記載されている書誌情報（タイトル、サブタイトル、作成者、作成日等）や、文書ごとに特徴的な情報（見積期限、注文番号等）を認識し、メタデータとして本文と対応づけて管理する技術が重要となってくる。
【０００３】
また学術情報サービス機関等では、文献検索サービスサイトのバックエンドシステムとして、多種多様な学術文献（画像もしくは電子文書）から日本語タイトル、日本語作成者、英語タイトル、英語作成者、要旨、英語要旨等の書誌情報や、本文領域、引用文献情報を効率的に抽出したいというニーズがある。現状は、各種学術文献について人手による書誌情報の抽出とデータベースへの登録を行い、文献検索サイトに公開している。学術文献・発行紙毎に、書誌情報の表現方法（順序や書かれている位置）が異なるため、自動化を困難なものとしている。 
このような非定型な文書から、書誌情報のメタデータを抽出する技術がいくつか開示されている。特許文献１では、文書の文字サイズ、文字種、行間距離、先頭文字の位置の情報に基づいて、目次や章立て等の文書構造情報を取得する技術が開示されている。また、非特許文献１では、レイアウト構造と論理構造の対応関係を記述した文書モデルに基づき、文書構造を抽出する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開2001-265762号公報
【非特許文献】
【０００５】
【非特許文献１】黄瀬、“レイアウトモデルに基づく文書構造解析”、信学論、72-D2、7、pp1029-1039
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、非特許文献１にみられるようなルール定義型の文書構造抽出装置では、特定のレイアウト条件下の文書について処理できるに留まる。このため、数種類の文献であればレイアウト解析ルールで対応可能だが、学術情報サービスにおいて提供されるような数百から数千種類の学術文献に対応しようとする場合、ルールの作成及びメンテナンスに多大なコストがかかる。
【０００７】
また、特許文献１では、目次や章立てなどの比較的限定されたレイアウトにのみ適用できるものである。学術文献種ごとに、カラム（段組み）や著者名、組織名等の書誌情報が書かれる順序・位置が異なる場合や、省略されるようなものには対応できない。
【０００８】
このような状況に鑑み、本発明の目的は、多様な学術文献文書について、タイトル、著者名、要旨等の書誌情報抽出を行い、学術情報提供サービス、文書の再利用を効率化する文書処理装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記の目的を達成するため、本発明においては、情報保持部と処理部とを備え、文字行の文書中の出現位置および文字列に基づき、処理部により書誌情報のメタデータを抽出する文書処理装置であって、情報保持部は、各メタデータが持つメタデータ別の特徴量を保持し、処理部は、文書のカラム構造判定の結果に基づき文字行と文字行位置を抽出し、メタデータ別の特徴量に基づいて、文字行各々についてメタデータスコアを計算し、このメタデータスコアに基づき、書誌情報の境界位置を決定する文書処理装置を提供する。
【００１０】
また、本発明において、処理部は、更に文字行位置に基づき、各メタデータについてのメタデータスコアの伝播処理を実行し、文字行の先頭位置から、抽出対象とするメタデータのうちの何れかの伝播処理後のメタデータスコアの極大点を探し、探索された連続する二つの極大点の間のメタデータスコアの変化に基づき、境界位置を決定し、決定した境界位置の前の文字行には一つ目の極大点のメタデータを設定し、後の文字行には二つ目の極大点のメタデータを設定する。
【００１１】
更に、本発明において、処理部は、文字行位置に基づき、メタデータ各々についてのメタデータスコアの加重移動平均計算による平滑化処理を行うことにより、メタデータスコアの伝播処理を実行する。
【００１２】
また更に、本発明においては、情報保持部は、メタデータ別の特徴量として、文字行を構成する文字数、英人名パターン長、単語間平均距離、文字間平均距離の少なくとも一つを保持する。
【００１３】
本発明においては、上記目的を達成するため好適には、情報保持部に、抽出対象とするメタデータの識別子を記述した抽出対象メタデータ定義辞書と、各メタデータが持つ特徴量を記述したメタデータ別特徴定義辞書を用意し、処理部は、(1)文書のカラム構造判定結果に基づき、文字行とその順序を抽出し、(2)各文字行について、情報保持部に対応付けられて記憶される各メタデータの特徴量に基づいてメタデータスコアを計算し、(3)文字行位置に基づき、各メタデータらしさの加重移動平均を計算することによりメタデータスコアの伝播処理を実行し、(4)文字行の先頭位置から、抽出対象とするメタデータのうちの何れかのメタデータスコアの極大点を探し、(5)連続する二つの極大点の間のうち、スコア値の谷間部分により書誌情報の境界位置を決定する文書処理装置を提供する。
【００１４】
より好適な態様として、本発明は、文書情報を入力可能な入力部と、情報保持部と、処理部と、出力部を少なくとも有し、文字の集合からなる文字行の文書中の出現位置および文字列に基づき、書誌情報を抽出する文書処理装置であって、処理部は、入力された文書情報から文字要素を抽出し、抽出された文字要素の、水平方向および垂直方向の射影成分ヒストグラムを生成し、射影ヒストグラムからカラム情報を抽出し、文字要素の座標値とカラム情報により決定される文字の順序に基づき文字行の抽出を行い、抽出した文字行の座標と文字行が含まれるカラム情報により、文字行を系列データとして並べ替え、並べ替えた文字行各々に対し、予め情報保持部に記憶されるメタデータ各々の特徴量に基づいてメタデータスコアを計算し、文字行位置に基づき、メタデータ各々についてのメタデータスコアの伝播処理を実行し、先頭文字行から、伝播処理後のメタデータスコアの極大点を探索し、探索された連続する二つの極大点の間のメタデータスコアの変化に基づいて境界点を設定し、設定した境界点の前の文字行には一つ目の極大点のメタデータを設定し、後の文字行には二つ目の極大点のメタデータを設定する構成の文書処理装置を提供する。
【００１５】
同様に、より好適な態様として、本発明は、文書情報を入力可能な入力部と、情報保持部と、処理部と、出力部を少なくとも有し、文字の集合からなる文字行の文書中の出現位置および文字列に基づき、書誌情報を抽出する文書処理装置であって、処理部は、入力された文書情報から文字要素を抽出し、抽出された文字要素の座標を基に、水平方向および垂直方向の射影成分ヒストグラムを生成し、射影成分ヒストグラムからカラム情報の抽出を抽出し、文字要素の座標値とカラム情報により決定される文字の順序に基づき、文字行の抽出を行い、
抽出した文字行の座標と文字行が含まれるカラム情報により、文字行を系列データとして並べ替え、並べ替えた文字行各々に対し、予め情報保持部に記憶されるメタデータ各々の特徴量に基づいてメタデータスコアを計算し、各文字行のメタデータスコアを基に、各文字行が当該メタデータである場合のコストをそれぞれ設定し、予め情報保持部に対応付けられて記憶されるメタデータ識別子の順序候補に基づいて、文字行全体の合計コストが最小となるメタデータラベル系列を探索する構成の文書処理装置を提供する。
【発明の効果】
【００１６】
本発明によれば、文献別の文書構造定義をすることなく、多種多様な学術文献から、書誌情報を抽出することができる。
【００１７】
また、抽出対象とする学術文献種類が増えた場合でも、文書構造定義を新たに作成することなく、高精度に書誌情報のメタデータを抽出することが可能となる。
【００１８】
更に、複合機等で複数の文献を束ねて印刷した場合でも、文献ごとに書誌情報のメタデータを抽出でき、また混在した文献を、個別の文献に分離可能となる。
【図面の簡単な説明】
【００１９】
【図１】第１の実施例に係る、書誌情報抽出システムの概略構成を示す図である。
【図２】第１の実施例に係る、メタデータ抽出フローの全体フローチャート図である。
【図３】第１の実施例に係る、表紙領域のカラム構造抽出の例を示す図である。
【図４】第１の実施例に係る、表紙領域のカラム構造抽出処理の概要を示すフローチャート図である。
【図５】第１の実施例に係る、縦方向分割処理の概要を示すフローチャート図である。
【図６】第１の実施例に係る、表紙領域のカラム構造抽出の際に使用するX軸、Y軸方向の射影成分ヒストグラムの一例を示す図である。
【図７】第１の実施例に係る、文字行抽出処理の概要を表すフローチャート図である。
【図８】第１の実施例に係る、文字行抽出結果の例を示す図である。
【図９】第１の実施例に係る、抽出した文字行を順序づけて並べ替えた例を示す図である。
【図１０】第１の実施例に係る、各メタデータのスコア計算に使用する特徴量を定義したメタデータ別特徴定義辞書のテーブルの一例を示す図である。
【図１１】第１の実施例に係る、単語の区切り判定方法を説明する図である。
【図１２】第１の実施例に係る、メタデータごとのスコア計算特徴を定義したメタデータ別特徴定義辞書のテーブルの一例を示す図である。
【図１３】第１の実施例に係る、メタデータごとの制約特徴を定義したメタデータ特徴定義辞書のテーブルの一例を示す図である。
【図１４】第１の実施例に係る、各文字行の各メタデータスコアの計算処理の概要を表すフローチャート図である。
【図１５】第１の実施例に係る、メタデータスコアを文字行順に描画した例を示す図である。
【図１６】第１の実施例に係る、加重移動平均後のメタデータスコアを文字行順に描画した例を示す図である。
【図１７】第１の実施例に係る、複数メタデータスコアグラフを用いたメタデータ領域決定処理の概要を示すフローチャート図である。
【図１８】第１の実施例に係る、２つの極大点から境界位置を決定する処理を例示した図である。
【図１９】第２の実施例に係る、複数文献を連続して複写した一連の文書に対するメタデータスコアグラフの一例を示す図である。
【図２０】第３の実施例に係る、文字行位置とメタデータスコアの関係の例を示す図である。
【図２１】第３の実施例に係る、文字行位置とメタデータスコアの関係マトリクスから最小コストパスの探索例を表す図である。
【図２２】第３の実施例に係る、可能なメタデータ順序をツリー構造で表現したデータ構造を示す図である。
【図２３】第３の実施例に係る、メタデータスコアによる最小コストラベル系列探索の概要を示すフローチャート図である。
【図２４】第３の実施例に係る、文字行間のメタデータラベルコストの例を示す図である。
【図２５】各実施例に示す書誌情報抽出システムにおける、抽出対象のメタデータを定義した抽出対象メタデータ定義辞書のテーブルの一例を示す図である。
【発明を実施するための形態】
【００２０】
本発明は、以下に詳述するように、電子文書の他、複合機等で電子化した多様な学術文献文書について、タイトル、著者名、要旨、英語作成者名、英語要旨等のラベル付け、すなわち、書誌情報であるメタデータの抽出を行い、学術情報提供サービス提供、文書の再利用を効率化する文書処理装置を提供する。
【００２１】
なお、本明細書において、「書誌情報」とは、学術文献文書（画像もしくは電子文書）中の日本語タイトル、日本語作成者、英語タイトル、英語作成者、要旨、英語要旨等、文書に記載されている狭義の書誌情報（タイトル、サブタイトル、作成者、作成日等）や、文書ごとに特徴的な情報（見積期限、注文番号等）などを総称するものとする。また、「メタデータスコア」とは、各メタデータのメタデータらしさを数値で表したものを意味し、数値が大きいほど当該メタデータらしいものとする。更に、「文字行位置」とは、文書における文字行位置もしくは文書の先頭からの文字行のY座標の相対値を意味するものとする。また更に、「伝播処理」とは、単純移動平均や加重移動平均などの平滑化処理を総称したものとする。
【実施例１】
【００２２】
＜メタデータ抽出装置の構成＞
【００２３】
図１は、第１の実施例に係る、メタデータ付与装置、すなわち書誌情報抽出システムを構成する文書処理装置の概略構成を示す図である。ここでは、電子文書の他、複合機等で電子化した紙文書を想定している。
【００２４】
書誌情報抽出システム１０は、入力装置１１０と画像入力装置１１１とからなる入力部１１、表示装置１２と印刷装置１４とからなる出力部、中央処理部（ＣＰＵ）１３からなる処理部、ワークエリア１５と情報保持部１６とからなる記憶部とを備えている。
【００２５】
ワークエリア１５は、オペレーティング・システム（ＯＳ）１５１のほか、通信プログラム１５２、文書処理プログラム１５３を既に備えているか、若しくは、それらを必要に応じて情報保持部１６からロードする。なお、情報保持部１６は、文書処理プログラム１５３が必要とする各種辞書を備えている。
【００２６】
入力装置１１０としては、例えば、文書処理プログラム１５３に入力対象のデータやコマンド等を入力するためのキーボード、マウス、タブレット等が挙げられる。
【００２７】
画像入力装置１１１としては、例えば、紙文書を処理対象とする場合に、文書を画像データとして、取り込むためのスキャナ等の装置が挙げられる。
【００２８】
ＯＳ１５１は、入力部１１、表示装置１２、ＣＰＵ１３、印刷装置１４、通信プログラム１５２、文書処理プログラム１５３、メタデータ編集プログラム１５４、その他図示しないメモリ、記憶装置の動作を制御する機能を備える。通信プログラム１５２は、処置対象の文書をネットワーク経由で取得するための通信機能を備える。
【００２９】
本実施例における文書処理プログラム１５３は、入力装置１１１によって入力された文書画像もしくは、通信プログラム１５２によって取得された電子文書データを処理対象とし、メタデータ（書誌情報）を抽出する機能を備え、メタデータ編集プログラム１５４は、得られたメタデータを編集する機能を有する。
【００３０】
図示を省略したメモリ中の情報保持部１６は、抽出対象メタデータ定義辞書１６１と、メタデータ別特徴定義辞書１６２とを備えている。これらの辞書は、後で詳述するように、文書処理プログラム１５３がメタデータを抽出する際に参照する辞書データベースとして機能している。
【００３１】
抽出対象メタデータ定義辞書１６１は、抽出対象とする書誌情報を表す識別子のリストもしくはツリー構造を記載した辞書を格納する。メタデータ別特徴定義辞書１６２は、各メタデータにラベル付けされる文字行が持つ特徴量について記載した辞書を格納する。
【００３２】
表示装置１２は、文書処理プログラム１５３によるメタデータ抽出結果やメタデータ編集プログラム１５４による編集結果を表示するディスプレイ等の装置である。ＣＰＵ１３は、図示を省略したメモリ上のワークエリア１５内の各種プログラムをロードし、ＯＳ１５１と協働してプログラムの内容を実行する。印刷装置１４は、文書処理プログラム１５３による入力文字列の変換結果等を出力するための装置である。通信ネットワーク１９は、ネットワークでつながったファイルサーバ２１などの別の装置上のデータやワークエリア、情報保持部にアクセスするための装置である。
【００３３】
＜メタデータ抽出の全体フロー＞
図２は、第１の実施例における書誌情報のメタデータ抽出フローの全体フローチャートである。
【００３４】
入力P-A101では、図１の入力装置１１０や通信ネットワーク１９を通じて、処理対象とする文書データをワークエリア１５にロードする。カラム構造判定処理P-A102では、複数カラム構造を持つ学術文献についても、文字行を正しく抽出するため、入力文書の段組み構成を判定する。入力文書の段組み構成の判定の詳細については、図３以降で述べる。文字行抽出処理P-A103では、カラム構造判定P-A102で抽出したカラム構造の情報（カラム情報）を基に、ラベル付けの単位となる文字行の抽出を行う。一次元系列化処理P-A-104では、文字行抽出処理P-A103で抽出した文字行を、文字行のXY座標と、カラム構造判定P-A102で判定したカラム（段組み）のいずれに含まれるかによって並べ替える。文字行特徴設定P-A105では、予め図１の情報保持部１６に各メタデータと対応付けて記憶される、行高さ、行位置、平均文字間距離等のレイアウト特徴及び行の文字列パターンや文字数に基づき、各文字行の言語およびレイアウト特徴量を設定する。
【００３５】
各メタデータのスコア計算処理P-A106では、特徴量計算P-A105で抽出した特徴量に基づき、抽出対象メタデータ定義辞書で指定した各メタデータらしさをメタデータスコアとして計算し保存する。加重移動平均計算P-A107では、スコア計算処理P-A106で計算したメタデータスコアについて、一次元系列化処理P-A104により抽出した順序と、文字行間の距離に従い加重移動平均を計算する。境界位置決定処理P-A108では、加重移動平均により隣接領域に伝播された各メタデータスコアの分布パターンに基づき、各メタデータの境界領域の決定と領域ごとのメタデータラベルを決定する。なお、本明細書において、単純移動平均や加重移動平均などにより、隣接領域にメタデータスコアを伝播させることをスコアの伝播処理と総称することは上述の通りである。
【００３６】
以上の処理フローにより、本実施例によれば、非定型なレイアウトを持つ数百から数千の学術文献であっても、抽出対象メタデータの小規模の辞書によって書誌情報のメタデータを適切に抽出できる。また、順序を文献別に定義し、文献テンプレートごとに照合する場合に比べ高速な抽出が可能である。更に、複合機等で複数の文献を束ねて印刷した場合でも、文献ごとにメタデータを抽出でき、また混在した文献を、個別の文献に分類することができる。
【００３７】
以下、本実施例における図２の各処理の詳細について、図３〜図１８を用いて説明する。
【００３８】
＜カラム構造判定P-A102＞
図３の例に示すように、各学会および発行元によって、学術文献の書誌情報の記載方法は一定ではない。図３の左側部、中央部、右側部の上段にそれぞれ示す表紙レイアウトF-A001〜F-A003は、ある学術文献における書誌データ記載パターンを模式化したものである。また、同図の下段に示すカラム構造F-A101〜F-A103は、それらに対応するカラム構造を表し、丸１、丸２、丸３等の番号は、領域番号を表す。例えば、表紙F-A001では、書誌情報のうち、“タイトル”、 “著者名”、 “英語タイトル”、“英語著者名”までが１カラム上で記載されたあと、“要旨”がダブルカラムの左カラムの先頭位置に記載されている。表紙F-A002では、書誌情報のうち、“タイトル”、 “著者名”、“要旨”までが１カラム上に記載されたあと、著者の所属する組織情報が、ダブルカラムの左下領域に出現している。また、表紙F-A003では、ページ全体がダブルカラム構造となっており、その左側のカラムの先頭から、“タイトル”、 “著者名”、“要旨”が記載されている。また、以上のようなレイアウトのバリエーションに加えて、例えば、ある学術文献では、“論文”、“要旨”、“キーワード”等、書誌データの開始となる明示的キーワードがあるが、別の学術文献では、こうしたキーワードが一切ない、といった状況が起こり得る。書誌メタデータ抽出の第一の実施例においては、まず、これらのレイアウトのバリエーションを判定し、文字行を一次元の系列データとして表現することを行う。
【００３９】
以下、図４〜５を用いて、図２のカラム構造判定P-A102の詳細フローについて説明する。図４は、表紙領域のカラム構造判定処理の概要を示すフローチャートである。ステップP-B001は、文書領域の縦方向分割処理を表し、ステップP-B002は、文書領域の横方向分割処理を表す。縦方向分割の例として、図３のカラム構造F-A103の丸１、丸２の分割や、カラム構造F-A101の丸２、丸３の分割、カラム構造F-A102の丸２、丸３の分割があげられる。
【００４０】
まず縦方向分割処理P-B001において、ページ内要素のX軸方向の射影成分ヒストグラムに基づき、縦方向分割の実行を試みる。分割は、ヒストグラムのパターンに応じて成功もしくは失敗する。この分割処理の詳細については、図５において説明する）。成功した場合、ダブルカラムであると判定し、処理を終える。失敗した場合、横方向分割処理P-B002を実行し、成功した場合は分割後の下領域について再度、縦方向分割処理P-B003を実行する。処理フローP-B101をたどった場合、図３のカラム構造F-A103のようなカラム構造が得られ、処理フローP-B102をたどった場合、図３のカラム構造F-A101、カラム構造F-A102のようなカラム構造が得られる。
【００４１】
図５は、図４の縦方向の領域分割処理P-B001の詳細フローを示したものである。処理P-C001では、表紙ページ中のテキスト、罫線、イメージ要素について、X軸への射影成分を抽出し、射影成分ヒストグラムを生成する。ヒストグラムの頻度は、各要素のY軸方向の幅の合計とする。次に処理P-C002では、処理P-C001で抽出したメタデータスコアヒストグラムの隣接領域への伝播処理を行う。伝播処理には、単純移動平均や加重移動平均などの平滑化処理を用いることができる。平滑化を行う理由は、次の処理P-C003において、ノイズとなる凹点を取り除くためである。次に、処理P-C003において、分割候補となるX座標を探索する。具体的には、ヒストグラムをX軸の昇順に探索していったとき、ヒストグラムの形状が凹となる点を見つける（処理P-C004）。そして、処理P-C005において、凹点のヒストグラム値が直前の凸点のヒストグラム値に対して、一定の分割閾値以下である場合に当該X座標にて分割可能と判定する。分割閾値を満たすX座標が見つからなければ、分割失敗とする。ここで分割閾値を満たすとは、直前の凸点に対する凹点のヒストグラム値の比率が一定値以下の場合を言う。なお、同様に、Y軸への射影成分を抽出し、射影成分ヒストグラムを生成することができるので、説明は省略する。
【００４２】
図６に、上述したX軸およびY軸方向への射影成分ヒストグラムの一例を示す。図６の上段に示すヒストグラムF-B001は、X軸方向への射影成分ヒストグラム（平滑化後）の例を表す。同図の下段に示すヒストグラムF-B002は、Y軸方向への射影成分ヒストグラム（平滑化後）の例を表す。今、凹点のX座標F-B101において、分割点となるかどうか判断している（図５の処理P-C003〜P-C005）ものとする。この場合、直前の凸点がポイントF-B102であり、処理P-C005における判定のための比率は、ポイントF-B102の頻度α１に対するポイントF-B101の頻度β１の比率、β１／α１の値を用いる。横方向の分割処理P-B002においても、Y軸方向の射影成分ヒストグラムを用いて、同じ処理を行う。例えば、今、凹点のY座標F-B201において、分割点となるかどうか判定する場合、比率β２／α２の値が、あらかじめ指定した閾値以下であれば、横方向への分割を行う。
【００４３】
以上詳述した方法により、図３のカラム分割F-A101、F-A102、F-A103で示したようなカラム構造の判定を行うことができる。
【００４４】
＜文字行抽出P-A103＞
文字行の抽出処理P-A103は、図４、５のカラム構造判定処理P-A102の結果と、各文字要素のXY座標を用いて行う。
【００４５】
図７は、図２の文字行抽出P-A103の概要を表すフローチャートである。処理P-D001では、表紙ページ中の文字集合を、XY座標とカラム構造に基づき並べ替える。例えば、XY座標が左下原点で表現されているとすれば、
文字が含まれるカラム領域の順序（左上→右下という順序）
文字のY座標の昇順
文字のX座標の降順
という順序に従い、文字列を並べ替える。
【００４６】
次に処理P-D002において、先頭の文字から順に文字行の抽出を行う。先頭から文字をたどり、あらたな文字行と判断するまでは、現在の文字行に順に繋いでいく。文字行が改行する場合、あらたな文字行として開始する。
【００４７】
文字行の例を、図８を用いて説明する。図８は、図３のカラム構造F-A101に対して文字行を抽出したものである。要素F-C301は文字を表し、内部の数字は処理P-D001により並べ替えた文字の順序を表す。文字行F-C201は、カラム領域丸１の文字行を表し、文字番号９と文字番号１０において改行するため、文字番号９までが文字行F-C201を構成し、文字番号１０が改行しているため、あらたな行F-C202の先頭文字となる。また、カラム領域丸２では、文字番号２３で改行するため、文字番号１９〜２２が文字行F-C203を構成する。
【００４８】
＜一次元系列化P-A104＞
続いて、文字行の並べ替えステップである、図２の文字行の一次元系列化処理P-A104は、前記の文字行抽出処理P-A103で抽出した文字行を、文字の並べ替えと同じ順序に従い、並べ替える。例えば、XY座標が左下原点で表現されているとすれば、
（１）文字行が含まれるカラム領域の順序（左上→右下という順序）
（２）文字行のY座標の昇順
（３）文字行のX座標の降順
という順序で文字行を抽出する。
【００４９】
図９は、文字行を一次元系列化した例を表す。図９において、左側部の表紙ページF-D001は、図３のカラム構造F-A101に対する文字行抽出結果を表す。表紙ページF-D001内の要素A〜Jは、前記処理で抽出した文字行を表す。同図右側部に示す一次元系列データF-D101は、前記（１）〜（３）の基準に従って順序付けした文字行を表す。
【００５０】
＜各文字行の特徴量計算P-A105＞
図２の各文字行の特徴量計算P-A105では、各文字行のレイアウト特徴量および文字列特徴量を計算する。図１０のテーブルT-A100は、本実施例のメタデータ付与装置において使用する特徴量を示す、図１のメタデータ別特徴量定義辞書162の一例を示している。同図において、項目T-A001は、各特徴量の識別IDを表す。項目T-A002は、各特徴量の名前を表す。項目T-A003は、各特徴量の内容を表す。項目T-A004は、各特徴量の重み計算の一例を表す。項目T-A002、T-A003、T-A004が、項目T-A001で特定される特徴量の定義を構成している。
【００５１】
識別ID1番の特徴量は、単語数を表す。単語の単位は、スペースに基づいて決定する。図１１は、スペースに基づく単語区切りの説明の模式図を表す。矩形F-E101は文字を表す。その横に続く矩形ｂ〜ｈも文字を表す。各文字間は、ある幅のスペースで区切られている。今ここで、スペースの相対的な変化に基づき、単語区切りスペースであるか否かの判定を行う。例えば、スペースF-E001は、スペースF-E002、F-E003、F-E004に比べて相対的に広がっている。これはスペースの比率に関する閾値や幅の差に関する相対閾値（ページ幅等）を用いて判断することができる。以上の手段により単語区切りスペースの数を数えることで、ID1番の特徴量である単語数の計算ができる。
【００５２】
識別ID2番の特徴量は、文字行を構成する文字数を表す。これは、例えば、要旨や本文領域の判定特徴の一つとして使用できる。この文字数は値をそのまま用いてもよいが、文字行抽出処理P-A103において抽出した文字行の最大文字数に対する比率を用いてもよい。
【００５３】
識別ID3番の特徴量は、英語人名に特徴的に現れるパターンを表す。英語人名では、“Taro HITACHI”のように、姓を大文字で、名を大文字＋小文字で表わすことが多い。従って、このパターンに当てはまる文字の文字行文字数に対する割合を用いる。
【００５４】
識別ID4番の特徴量は、英語単語に特徴的に現れるパターンを表す。この場合は、アルファベット＋記号文字の文字行文字数に対する割合を用いる。
【００５５】
識別ID5番の特徴量は、人名単語の文字数を表す。人名単語の判定には、形態素解析技術や、人名辞書との照合を用いることができる。特徴量の値としては、文字行文字数に対する該当パターン文字数の割合を用いる。
【００５６】
識別ID6番の特徴量は、組織名単語の文字数を表す。組織名単語の判定には、形態素解析技術や、組織名辞書との照合を用いることができる。特徴量の値としては、文字行文字数に対する該当パターン文字数の割合を用いる。
【００５７】
識別ID7番の特徴量は、場所名単語の文字数を表す。場所名単語の判定には、形態素解析技術や、場所名辞書との照合を用いることができる。特徴量の値としては、文字行文字数に対する該当パターン文字数の割合を用いる。
【００５８】
識別ID8番の特徴量は、文字行中の読点文字数を表す。単語数に対する読点文字数の割合を用いることにより、英語人名パターンの特徴の一つとして用いることができる。
【００５９】
識別ID9番の特徴量は、単語間の平均距離を表す。単語の判定は、識別ID1番の特徴量で用いたのと同じ手段を用いる。日本語人名において、スペースが広くなる傾向があるため、日本語人名の特徴の一つとして用いることができる。
【００６０】
識別ID10番の特徴量は、文字間の平均距離を表す。日本語人名の文字間平均距離は、1)文字がタイトルや要旨と比べて少ない、2)単語区切り部分のスペースが広い、という理由で大きくなる傾向がある。日本語人名の特徴の一つとして用いることができる。
【００６１】
識別ID11番の特徴量は、処理P-A104において一次元系列化した文字行の何番目に現れるかを基にした特徴量である。例えば、タイトルなどのように先頭に現れる傾向が強いものは、以下の式を用いることができる。
【００６２】
【数１】
2011070529.tif 000003
【００６３】
数１を用いることにより、先頭行の重みが１で最も高く、残りの行は1〜0の間の値を降順にとる。
【００６４】
識別ID12番の特徴量は、日本語文字数を表す。本特徴量は、学術文献中の日本語領域、英語領域等の制約条件として用いることができる。
【００６５】
識別ID13番の特徴量は、項目辞書引き結果を表す。本特徴量は、メタデータごとに項目単語が定義できるものは定義しておき、各文字行との編集距離を用いる。編集距離を用いる理由は、OCR結果の文書等では誤読があるためである。また、本来項目単語は文字行の先頭にマッチすると考えられるが、記号等が挿入されて先頭に来ないことも考えられる。編集距離を用いることで、行途中にマッチする場合をスコアとして扱うことができ、項目読み取り失敗によるメタデータ判定ミスを防ぐことができる。“編集距離＋１”の逆数を用いることで、項目辞書が文字行の先頭からマッチし、完全一致の場合のスコアが１となる。また、先頭から文字がずれる、もしくは挿入、欠損が入るごとにスコアが1〜0の値をとることになる。
【００６６】
識別ID14番の特徴量は、項目単語との相対的位置関係を表す。項目単語が存在する場合、それ以前に出現する文字行が当該メタデータとなることはないので、本特徴量は制約条件として用いることができる。
【００６７】
以上に例示した特徴量は、書誌情報のメタデータ判定に有効と考えられるものの例であり、ここに挙げたものに限られるわけではない。これらの特徴量を組み合わせて用いることで、処理P-A103により抽出した文字行に対して、書誌情報のラベル付け、すなわちメタデータ判定を行うことができる。
【００６８】
＜メタデータスコア計算P-A106＞
次に、図２のメタデータスコア計算P-A106のメタデータスコア計算では、各メタデータと対応づけて記録された、メタデータ別特徴定義辞書162に従い、メタデータらしさのスコアを計算する。たとえば、先に詳述した図１０の特徴量を利用する。
【００６９】
図２５は、図１の抽出対象メタデータ定義辞書１６１のうち、抽出対象とするメタデータの種類を示したテーブルT-D100を表す。項目T-D001は、書誌情報であるメタデータの種類を表す識別子であるメタIDを表す。項目T-D002は、書誌情報であるメタデータ名を表す。項目T-D003は、抽出対象かどうかを表す。項目T-D003の値が“○”の場合、抽出対象であることを表し、“○”の場合、抽出対象でないことをあらわす。
【００７０】
図１２は、図１のメタデータ別特徴定義辞書１６２のうち、書誌情報であるメタデータのスコア計算に用いる特徴量を定義したテーブルT-B100を表す。テーブル中の項目T-B001は、書誌情報であるメタデータの種類を表す識別子メタIDを表す。項目T-B002は、書誌情報の内容であるメタデータ名を表す。項目T-B003は、スコア計算に使用する特徴量のIDを表す。特徴量の各IDはそれぞれ、図１０の抽出対象メタデータ定義辞書161のテーブルT-A100の項目番号T-A001に対応する。各メタデータのスコアは、図１２のテーブルT-B100のスコア計算に使用する特徴項目T-B003を参照し、そこで定義されている項目番号について、図１０のテーブルT-A100の重み計算項目T-A004の値の線形和を計算することで得られる。計算方法は、線形和に限られるものではなく、例えば大量サンプルから判別分析によって学習した値を用いてもよい。
【００７１】
図１３は、図１のメタデータ別特徴定義辞書１６２のうち、各メタデータが満たすべき制約条件（制約とする特徴項目）を定義したテーブルT-C100を表す。テーブルT-C100において、項目T-C001は、メタデータの種類を表す識別子を表す。項目T-C002は、メタデータ名を表す。項目T-C003は、制約として用いる特徴のIDリストを表し、図１０の項目番号T-A001に対応する。項目T-C004は、各制約特徴量の値が満たすべき閾値（下限値）を表す。テーブルT-C100に基づいて、まず書誌メタデータの制約条件を満たすかどうか計算し、満たすものについてのみ、前記のメタデータスコアを計算する。
【００７２】
以上のメタデータスコア計算P-A106の流れを処理フローで表わすと、図１４のようになる。メタデータスコア計算処理では、まず処理P-E001により、図１の抽出対象メタデータ定義辞書161に定義されているメタデータであるための制約を満たすかどうか判定する(P-E001)。判定には、図１３で例示した特徴量の閾値を満たすかどうかで判定する。条件を満たさないメタデータについては、スコア０を付与する。条件を満たすメタデータについては、処理P-E002では、メタデータのスコアを計算する(P-E002)。スコア計算には、図１２で例示した特徴量の値を用いる。以上の処理を、全ての文字行、もしくは先頭からある一定行数までの文字行について行う(P-E003)。
【００７３】
＜加重移動平均計算P-A107＞
図１５は、図２の処理P-A106において計算された各メタデータのスコアを、文字行の位置と対応づけて例示したものである。軸F-F200は、メタデータスコアの値を示す軸である。左ほど値が大きい。軸F-F300は、処理P-A104によって抽出された文字行の位置を表す。先頭行からの行番号、もしくは当該文字行までの系列データ上でのY座標を表す。グラフF-F001は、書誌情報のうちタイトルのメタデータスコアを例示したものである。グラフF-F002は、著者のメタデータスコアを表示したものである。グラフF-F003は、英語タイトルのメタデータスコアを表示したものである。例えば、グラフF-F001は、先頭行のスコアが高く、以降スコアが下がっている。また、英語タイトルを示すグラフF-F003は、先頭から数行目のスコアが最も高く、以降スコアは低いが、途中突発的にスコアが高めの部分が出現する。
【００７４】
以上のように、文字行ごとにメタデータスコアを計算することで、ある程度メタデータの領域およびその境界を判定することが可能となる。しかし、実際には、複数メタデータのスコアにあまり差がなく、メタデータスコアの値だけでは、正しくメタデータの境界を判定できないことがある。そこで、本実施例では、特徴量に基づくメタデータスコアに加えて、レイアウト情報を反映させたメタデータスコアグラフへの変換処理を行う。
【００７５】
図１６は、図１５において例示した特徴量に基づくメタデータスコアを、文字行位置もしくは当該文字行までの系列上でのY座標に関して加重移動平均による変換処理後のメタデータスコアグラフを表す。グラフF-G001は、書誌情報のうちタイトルのメタデータスコアを例示したものである。グラフF-G002は、著者のメタデータスコアを表示したものである。グラフF-G003は、英語タイトルのメタデータスコアを表示したものである。
【００７６】
幅ｎの加重移動平均は、例えば以下のような式により計算できる。
【００７７】
【数２】
2011070529.tif 000004
【００７８】
数２において、PYは、加重移動平均計算対象のY座標（先頭文字行からの文字行系列上のＹ座標、すなわち文字行位置）となる文字行のメタデータスコアを表す。nは、加重移動平均のウィンドウサイズを表す。本計算式によるメタデータスコアの伝播処理により、ノイズスコアを平滑化して、本質的なメタデータスコアグラフを作成することができる。
【００７９】
＜メタデータ領域決定P-A108＞
次に、以上の手段により作成された複数の特徴量に基づくメタデータスコアのグラフを用いて実行する、図２のメタデータ領域の境界位置決定P-A108の処理について説明する。
【００８０】
図１７は、図２の加重移動平均計算P-A107の処理も含めた、メタデータ領域境界決定P-A108の概要を示すフローチャートである。まず、処理P-F001において、図１４の処理フローで説明したメタデータスコアの加重移動平均を計算する。この処理は、数２で例示した通りであり、図２の加重移動平均計算P-A107に対応する。
【００８１】
次に、処理P-F002において、文字行の先頭位置から、抽出対象であるメタデータスコアの極大点P1を探す。次に、処理P-F003において、現在着目しているメタデータM1のスコア極大点の次のメタデータスコア極大点P2を探す。このメタデータをM2と置く。次に、処理P-F004において、メタデータM1とメタデータM2の領域境界点を、極大点P1と極大点P2の間から求める。
【００８２】
図１８は、処理P-F004の２つの極大点から境界位置を決定する処理を例示した模式図である。軸F-H301は、スコアの値を表す。軸F-H302は、文字行位置（先頭文字行からの文字行系列上のＹ座標）を表す。グラフF-H001は、メタデータM1のスコアグラフを表す。グラフF-H002は、メタデータM2の表す。グラフ上の点F-H201は、メタデータM1のスコアの極大点P1を表し、グラフ上の点F-H202は、メタデータM2のスコアの極大点P2を表す。P1とP2間の境界を決める方法として、グラフF-H001およびグラフF-H002の交差点F-H203を境界とする方法がある。また、以下の式で求められるような、クラス間分散が最大となる位置を、メタデータの境界点としてもよい。
【００８３】
【数３】
2011070529.tif 000005
【００８４】
数３は、境界位置をyとした場合の、２領域間分散値を表し、この値が最大となる位置を境界位置yとして選ぶ。
【００８５】
＜加重移動平均計算P-A107の変形＞
以上、第１の実施例を図面に従い詳述したが、加重移動平均計算P-A107を実行する際の距離値として、Ｙ座標をそのまま使うほか、連続する行のパターンにより距離を変換してもよい。そして、変換した距離の元で加重移動平均を行う。例えば、以下の特徴に着目し、各文字行の仮想的な位置を変更する。
【００８６】
(1)連続行の下行の長さが上行の長さのα倍の場合
=> 行間隔をα・ε倍する。
【００８７】
(2)連続行の下行が上行より左側にＸ0だけずれている
=> 行間隔を（Ｘ0／下行の幅）倍する。
【００８８】
＜複数文献データの自動分割方法＞
以上で述べた第１実施例に係る書誌情報抽出システムのメタデータ抽出方法は、複数文献が連続して印刷された場合にも適用することができる。
【００８９】
図１９は、複数文献を連続して複写した一連の文書に対するメタデータスコアグラフの例を示す図である。同図の上段において、軸F-I100は、複写されたページ位置の軸を表す。軸F-I200は、メタデータスコアを表し、上にいくほどスコアが高いことを表す。グラフF-I001、F-I002、F-I003、F-I004は、図１６で示したメタデータスコアの加重移動平均計算後のグラフを表す。この例では、４つの文献が連続して印刷されており、メタデータスコアの極大点群が、４回繰り返して出現している。メタデータスコアの極大点群は、例えば、一定ウィンドウサイズ内に一定数以上の極大点が存在する領域として見つけることができる。
【００９０】
同図の下段に示したラベルF-I301、F-I302、F-I303、F-I304は、複写された一連のページの一部について、図１７のフローチャットを用いて説明した手段を適用して付与したメタデータのラベルを表す。境界線F-I301、F-I302、F-I303は、メタデータラベルF-I301、F-I302、F-I303、F-I304の付与結果に基づき決定した文献境界を表す。文献境界は、メタデータスコアの極大点群が含まれるページの前にて区切ることができる。
【００９１】
以上の手段により、複合機等で複数の文献を束ねて印刷した場合でも、文献ごとにメタデータを抽出でき、また混在した文献を、個別の文献に分離することが可能となる。
【実施例２】
【００９２】
＜メタデータスコアの２軸方向加重移動平均計算＞
上述した第１の実施例においては、文字行を一次元に並べたあとメタデータスコアの加重移動平均の計算を行った。この加重移動平均の計算は、Y軸方向固定とは限らず、X軸方向を選び、実施してもよい。また、１軸方向のみならず、２軸方向で加重移動平均計算を実行することもできる。第2の実施例では、文字行の一次元系列化を行わず、２次元座標上で加重移動平均を行う。この場合の計算式は、以下のようになる。
【００９３】
【数４】
2011070529.tif 000006
【００９４】
境界領域の決定は、１次元の場合と同様に、X軸、Y軸ごとに、メタデータスコアの境界点を見つけることで決定することができる。本実施例によれば、２次元での境界領域の決定を容易に行うことができる。
【実施例３】
【００９５】
＜動的計画法によるメタデータ領域境界の判定方法＞
次に第３の実施例として、ＣＰＵ１３で実行される文書処理プログラム１５３の処理中、メタデータスコアを元に境界を決定する方法に動的計画法を用いる構成について説明する。動的計画法を用いることで、メタデータの相対的位置関係を反映したメタデータのラベル付けが可能となる。
【００９６】
図２０は、文字行位置とメタデータ種別の関係性の例を示す図である。同図上段に示すマトリクスF-J100は、文字行位置と正規化後のメタデータスコアの関係を示したマトリクスである。軸F-J110は、文字行位置を表し、右にいくほど先頭から遠いことを表す。軸F-J120は、メタデータ種別の軸を表す。メタデータ識別子F-J121は、仮のメタデータ出現順序を表す。マトリクス内の数字は、当該文字行の仮のメタデータスコアを基にしたコストを表す。同図下段に示すマトリクスF-J200は、文字行ごとの各メタデータスコア順位を元にしたメタデータ選択コストのマトリクスを表す。これは、例えば、ある文字行のメタデータTのスコアの順位が3位であれば、“3”とすることで計算できる。
【００９７】
仮に、メタデータの順序を一つ仮定すると、マトリクスF-J100もしくはマトリクスF-J200上で、最下行に至るパスのうち、合計コストが最小となるパスを見つけることで、各文字行へのメタデータ割り当てを決定することができる。最短パスの探索は、文字列対文字列の編集距離計算でよく使われる動的計画法を用いることができる。本実施例におけるメタデータスコアを用いた動的計画法の場合の、マトリクス移動コストは以下のように定義する。
【００９８】
マトリクス移動パターンによるコスト：
(1)マトリクスを右に進む場合：連続する文字行が同じメタデータのラベルを付与されることを表す。文字行間スペースが一定以上開いている場合、コストを追加する。
(2)マトリクスを下に進む場合：同じ文字行に複数メタデータを割り当てる（もしくはメタデータの省略）を表す。削除コストを追加する。
(3)マトリクスを斜めに進む場合：次のメタデータに遷移することを表す。文字行間スペースが十分狭い場合、遷移コストを追加する。
【００９９】
本実施例においては、以上のマトリクス上の移動パターンコストと、マトリクスコストの合計値が最短となるパスを、動的計画法により求める。
【０１００】
図２１は、図２０のマトリクスF-J100もしくはF-J200を用いた、最小コストパスの探索例を表す図である。軸F-K110は、文字行の位置を表す軸である。軸F-K120は、メタデータ種別を表す軸である。メタデータ系列F-K121は、メタデータの仮順序（一例）を表す。セルF-K201は、メタデータ系列の”B”までマトリクスを探索した場合のコストのうち、最小コストとなるセルを表す。最小コストパスを探索する場合、斜め左上もしくは左側のセルの値を比較し、値の小さい方のセルを辿ることで、最小コストパスを得ることができる。セルの値が同じであった場合は、斜め左上を優先する。図２１の例では、マトリクスF-J100内のセルのうち、ハッチングの部分が最小コストパスに相当する。文字行のメタデータラベルは、着目文字行を縦（軸F-K120方向）に辿り、最小コストパスのセルを見つけることで、当該セルの行位置のメタデータより得られる。
【０１０１】
文字行間スペースコストとして、(A)文字行高さに対する相対値、(B)ページ高さに対する相対値、(C)文字行間距離を降順に並べたときの順位等を用いることができる。図２４は、文字行間のメタデータラベルコストの例を示す図である。要素F-M100〜F-M107は、文字行を表す。幅F-M001は、ページ高さを表す。幅F-M002は、文字行F-M100と文字行F-M101の間の文字行間距離を表す。幅F-M003は、文字行F-M103と文字行F-M104の間の文字行間距離を表す。幅F-M004は、文字行F-M006と文字行F-M007の間の文字行間距離を表す。幅F-M005は、文字行F-M100の高さを表す。幅F-M006は、文字行F-M103の高さを表す。幅F-M007は、文字行F-M106の高さを表す。以上の値を用いて、上記(A)(B)(C)は、以下のように表される。
【０１０２】
(A)の例：
・文字行F-M100とF-M101でメタデータが共通の場合のコスト(マトリクスコストの(1))＝α1／β1
・文字行F-M103とF-M104でメタデータが共通の場合のコスト(マトリクスコストの(1))＝α2／β2
・文字行F-M106とF-M107でメタデータが共通の場合のコスト(マトリクスコストの(1))＝α3／β3
(B)の例：
・文字行F-M100とF-M101でメタデータが共通の場合のコスト(マトリクスコストの(1))＝α1／γ1
・文字行F-M103とF-M104でメタデータが共通の場合のコスト(マトリクスコストの(1))＝α2／γ2
・文字行F-M106とF-M107でメタデータが共通の場合のコスト(マトリクスコストの(1))＝α3／γ3
(C)の例：文字行間距離の順位（α2＞α3＞α1）の逆数を使用
・文字行F-M100とF-M101でメタデータが共通の場合のコスト(マトリクスコストの(1))＝1／3
・文字行F-M103とF-M104でメタデータが共通の場合のコスト(マトリクスコストの(1))＝1／1
・文字行F-M106とF-M107でメタデータが共通の場合のコスト(マトリクスコストの(1))＝1／2
以上の手段により、仮のメタデータ順序を与えた場合に、各文字行のメタデータらしさとメタデータ順序とレイアウトを考慮した最適なメタデータラベル付けを行うことができる。
【０１０３】
以上に紹介した方法は、メタデータ順序が与えられた場合の処理であった。最後に、メタデータ順序が不定の場合に、メタデータ合計コスト最小となるラベル系列の探索を実行する方法について述べる。単純には全てのメタデータ順序について、上記動的計画法を実行し、最小コストのメタデータ列の結果を選択すればよい。ただし、全てのメタデータ順序の中には、同じ部分系列が重複して存在し、同じ処理を繰り返し実行することになって非効率的である。そこで、出現し得るメタデータ順序を木構造で表現することで、重複処理を一部回避することができる。
【０１０４】
図２２は、可能なメタデータ順序をツリー構造で表現したデータ構造である。このツリー構造の全パス探索を行うことで、先頭からの順序が同じ部分については、処理の重複を避けることができる。ツリーノードF-L001はルートノードを表す。ルートノードの識別子はT(タイトル)となっている。ツリーノードF-L002、F-L003、F-L004は、ノードF-L001の子ノードを表す。例では、Tの次にNE（英語人名）、TE（英語タイトル）、N（日本語著者名）が出現し得ることを表す。以上の例にみられるように、ツリーのパスがそれぞれメタデータの出現順序に対応する。また、リンクF-L201、F-L202は、ツリーのパス上で部分文字列が共通であるパスの先頭をリンクで結んだものである。本リンクは、ツリーの全探索を行う順序に基づき、後の部分文字列から先の部分文字列へリンクを張るようにする。以上の構成によって、例えば、探索途中で、ツリーノードF-L005に達した場合、リンクを辿って、既に処理済みのツリーノードF-L006の結果を用いることができる。本処理によって、末尾の部分系列が共通する部分についての処理の重複を避けることができる。
【０１０５】
本実施例において、上述のツリー構造による探索と、図２０、２１を用いて説明したメタデータスコアに基づく動的計画法を用いることにより、抽出対象とする学術文献種類が増えた場合でも、文書構造定義を新たに作成することなく、高精度に書誌メタデータ情報を抽出することが可能となる。
【０１０６】
図２３は、以上説明した第３の実施例における、メタデータスコアによる最小コストラベル系列探索の概要を示すフローチャートである。この処理フローは、先に述べたように、図１に示した書誌情報抽出システム10の記憶部のワークエリア15等に記憶される文書処理プログラム152をＣＰＵ13で実行することにより実現できることは言うまでもない。
【０１０７】
最初に、処理P-G001において、可能なメタデータ順序から構成したツリーを構成する。このとき、共通接尾系列についてのリンクも作成する。
【０１０８】
入力P-G101では、第１の実施例同様、図１の入力装置110や通信ネットワーク19を通じて、処理対象とする文書データをワークエリア15にロードする。カラム構造判定処理P-G102では、複数カラム構造を持つ学術文献についても、文字行を正しく抽出するため、入力文書の段組み構成を判定する。文字行抽出処理P-G103では、カラム構造判定P-G102で抽出したカラム構造情報を基に、ラベル付けの単位となる文字行の抽出を行う。一次元系列化処理P-G-104では、文字行抽出処理P-G103で抽出した文字行を、文字行のXY座標と、カラム構造判定P-G102で判定したカラムのいずれに含まれるかによって並べ替える。文字行特徴設定P-G105では、予め図１の情報保持部１６に各メタデータと対応付けて記憶される、行高さ、行位置、平均文字間距離等のレイアウト特徴及び行の文字列パターンや文字数に基づき、各文字行の言語およびレイアウト特徴量を設定する。
【０１０９】
次に、処理P-G002において、処理対象の文字行について各メタデータのスコアを計算する。次に、処理P-G003において、文字行ごとのメタデータスコアに基づくメタデータ順位を決定し、順位をコストとするマトリクスを構成する。コストの計算の仕方はこれに限らず、“１−正規化したメタデータスコア”といった値を用いてもよい。次に、処理P-G004において、探索するツリーのパスを一つ決める。そして処理P-G005において、パス中に出現するメタデータを用いて、図２１に示したようにメタデータスコアに基づくコスト最小パス探索を行う。その途中で、判定P-G101においてリンクがあるかどうかを判定し、リンクがあれば処理P-G007に移り、リンクがなければ処理P-G006にて最小コストパス探索を継続する。処理P-G007では、リンクを辿りリンク先の最小コストパス探索結果を用いて探索を終了する。全てのツリーパスの探索が終了したら、最後に処理P-G008においてコスト最小となるツリーパスにおいて抽出されたメタデータラベル付け結果を最終結果として取得する。
【０１１０】
以上の処理により、本実施例によれば、抽出対象とする学術文献種類が増えた場合でも、文書構造定義を新たに作成することなく、高精度に書誌情報であるメタデータを抽出することが可能となる。
【産業上の利用可能性】
【０１１１】
以上詳述した本発明は、電子文書の他、複合機等で電子化した多様な学術文献文書について、タイトル、著者名、要旨、英語作成者名、英語要旨等の書誌情報のメタデータ抽出を行い、学術情報提供サービス提供、文書の再利用を効率化する文書処理装置として有用である。
【符号の説明】
【０１１２】
１１…入力部
１１０…入力装置
１１１…画像入力装置
１２…表示装置
１３…ＣＰＵ
１４…印刷装置
１５…ワークエリア
１５１…ＯＳ
１５２…通信プログラム
１５３…文書処理プログラム
１５４…書誌情報（メタデータ）編集プログラム
１６…情報保持部
１６１…抽出対象メタデータ定義辞書
１６２…メタデータ別特徴定義辞書
１９…通信ネットワーク
２１…ファイルサーバ。
【図１】
2011070529.tif 000007
【図２】
2011070529.tif 000008
【図３】
2011070529.tif 000009
【図４】
2011070529.tif 000010
【図５】
2011070529.tif 000011
【図６】
2011070529.tif 000012
【図７】
2011070529.tif 000013
【図８】
2011070529.tif 000014
【図９】
2011070529.tif 000015
【図１０】
2011070529.tif 000016
【図１１】
2011070529.tif 000017
【図１２】
2011070529.tif 000018
【図１３】
2011070529.tif 000019
【図１４】
2011070529.tif 000020
【図１５】
2011070529.tif 000021
【図１６】
2011070529.tif 000022
【図１７】
2011070529.tif 000023
【図１８】
2011070529.tif 000024
【図１９】
2011070529.tif 000025
【図２０】
2011070529.tif 000026
【図２１】
2011070529.tif 000027
【図２２】
2011070529.tif 000028
【図２３】
2011070529.tif 000029
【図２４】
2011070529.tif 000030
【図２５】
2011070529.tif 000031