(57)【要約】【課題】  本発明は、表中の一部の項目を強調した場合に、強調された部分の行や列の要素名に類似した言語表現を含むテキストを抽出し、検索に利用することによって、文書中の表または表の一部を精度良く検索できるようにすることを目的とする。【解決手段】  本発明は、表の行や列の要素名を抽出し、表中で強調されている項目を抽出し、表の項目に関する行や列の要素名を基に、表に関するメタデータを抽出する。【選択図】  図１
2008129793.tif 000002
【特許請求の範囲】
【請求項１】
文書中の画像や表、およびその画像や表に関連するメタデータを抽出することで、文書中の画像や表を検索し、活用できる文書処理システムにおいて、
文書中の画像や表といった文書の構成部品を検索するために、あらかじめ、検索対象となる文書に対して解析を行い、その文書に含まれる各構成部分に対して、それを特徴付ける情報を取り出す手段と、
前記文書中の表の項目の特徴情報を基に、前記文書に含まれる表に関するメタデータを抽出するメタデータ抽出手段と、
前記文書に含まれる表と、前記メタデータ抽出手段により抽出されたメタデータを関連付けて格納するメタデータ格納手段と、
前記文書中に含まれる表を検索するための検索条件を入力するための検索条件入力手段と、
前記入力された検索条件に基づいて、前記表に関連付けられたメタデータを検索する検索手段と、
前記検索手段によって検索された文書中の表または表の一部を検索結果として表示する検索結果表示手段と、
を備えたことを特徴とする文書処理システム。
【請求項２】
文書中の画像や表、およびその画像や表に関連するメタデータを抽出することで、文書中の画像や表を検索し、活用できる文書処理システムにおいて、
文書中の画像や表といった文書の構成部品を検索するために、あらかじめ、検索対象となる文書に対して解析を行い、その文書に含まれる各構成部分に対して、それを特徴付ける情報を取り出す手段と、
前記文書中の表の項目に関する行や列の要素名を基に、前記文書に含まれる表に関するメタデータを抽出するメタデータ抽出手段と、
前記文書中の表と、前記メタデータ抽出手段により抽出されたメタデータを関連付けて格納するメタデータ格納手段と、
前記文書中の表を検索するための検索条件を入力するための検索条件入力手段と、
前記入力された検索条件に基づいて、前記表に関連付けられたメタデータを検索する検索手段と、
前記検索手段によって検索された文書中の表または表の一部を検索結果として表示する検索結果表示手段と、
を備えたことを特徴とする文書処理システム。
【請求項３】
文書中の画像や表、およびその画像や表に関連するメタデータを抽出することで、文書中に含まれる画像や表を検索し、活用できる文書処理システムにおいて、
画像や表、および文章が混在する文書を入力する文書入力手段と、
前記文書入力手段を介して入力された文書から、文書中の画像や表、および文章を含む領域を認識して抽出する領域抽出手段と、
前記文書入力手段を介して入力された文書の各ページにおいて、前記領域抽出手段により抽出された領域に関するレイアウトを解析するレイアウト解析手段と、
前記文書入力手段を介して入力された文書の各ページについて、前記レイアウト解析手段により抽出されたレイアウトに基づいて、文書の論理構造を解析する論理構造解析手段と、
前記論理構造解析手段により解析された論理構造に基づいて、前記文書中の表の項目に関する行や列の要素名を基に、前記文書に含まれる表に関するメタデータを抽出するメタデータ抽出手段と、
前記文書に含まれる表と、前記メタデータ抽出手段により抽出されたメタデータを関連付けて格納するメタデータ格納手段と、
前記文書中の表を検索するための検索条件を入力するための検索条件入力手段と、
前記入力された検索条件に基づいて、前記表に関連付けられたメタデータを検索する検索手段と、
前記検索手段によって検索された文書中の表または表の一部を検索結果として表示する検索結果表示手段と、
を備えたことを特徴とする文書処理システム。
【請求項４】
請求項２から請求項３に記載の文書処理システムにおいて、
前記メタデータ抽出手段は、表の中の強調された項目に関する行や列の要素名を基に、前記文書に含まれる表に関するメタデータを抽出することを特徴とする文書処理システム。
【請求項５】
請求項１から請求項３に記載の文書処理システムにおいて、
前記メタデータ抽出手段によって抽出されるメタデータに対する重要度を算出するメタデータ重要度算出手段と、
を備え、
前記メタデータ格納手段は、前記メタデータ抽出手段により抽出されたメタデータと、前記メタデータ重要度算出手段により算出された重要度と、文書に含まれる表とを関連付けて格納し、
前記検索手段は、前記表に関連付けられたメタデータ及び重要度に基づいて、検索条件とメタデータの類似度を算出することを特徴とする文書処理システム。
【請求項６】
請求項５に記載の文書処理システムにおいて、
前記表の行や列の要素名に対して、重み付けを行う要素名重み付け手段と、
を備え、
前記メタデータ抽出手段は、前記表の行や列の要素名を基に、前記文書に含まれる表に関するメタデータを抽出し、
前記メタデータ重要度算出手段は、前記要素名重み付け手段による要素名の重みに従って、前記メタデータの重要度を算出することを特徴とする文書処理システム。
【請求項７】
請求項６に記載の文書処理システムにおいて、
前記要素名重み付け手段は、前記表の項目の強調の有無に従って、前記文書に含まれる表の行や列の要素名に対して重み付けを行うことを特徴とする文書処理システム。
【請求項８】
請求項２から請求項４に記載の文書処理システムにおいて、
前記メタデータ抽出手段は、前記表の行や列の要素名に含まれる単語の関係と、前記文書に含まれる文章中の単語の関係に従って、前記文書に含まれる表に関するメタデータを抽出することを特徴とする文書処理システム。
【請求項９】
請求項５から請求項７に記載の文書処理システムにおいて、
前記メタデータ抽出手段は、前記表の行や列の要素名に含まれる単語の関係と、前記文書に含まれる文章中の単語の関係に従って、前記文書に含まれる表に関するメタデータを抽出し、
前記メタデータ重要度算出手段は、前記表の行や列の要素名に含まれる単語の関係と、前記文書に含まれる文章中の単語の関係に従って、前記メタデータの重要度を算出することを特徴とする文書処理システム。
【請求項１０】
請求項１から請求項９に記載の文書処理システムにおいて、
前記検索手段は、前記検索条件に含まれる単語の関係と、前記メタデータに含まれる前記検索条件内の単語の関係に従って、前記表に関連付けられたメタデータを検索することを特徴とする文書処理システム。
【請求項１１】
前記レイアウト解析手段は、前記領域の空間的な関係を抽出することを特徴とする請求項３に記載の文書処理システム。
【請求項１２】
前記論理構造解析手段は、文書を構成するページおよび領域についての論理属性を抽出し、これら領域の読み順を決定し、論理構造として抽出することを特徴とする請求項３に記載の文書処理システム。
【請求項１３】
前記文書は、書籍や電子文書を印刷した紙文書であることを特徴とする請求項１から請求項１２に記載の文書処理システム。
【請求項１４】
前記文書は、電子文書であることを特徴とする請求項１から請求項１２に記載の文書処理システム。
【請求項１５】
文書中の画像や表、およびその画像や表に関連するメタデータを抽出することで、文書中の画像や表を検索し、活用できる文書処理装置において、
文書中の画像や表といった文書の構成部品を検索するために、あらかじめ、検索対象となる文書に対して解析を行い、その文書に含まれる各構成部分に対して、それを特徴付ける情報を取り出す手段と、
前記文書中の表の項目の特徴情報を基に、前記文書に含まれる表に関するメタデータを抽出するメタデータ抽出手段と、
前記文書に含まれる表と、前記メタデータ抽出手段により抽出されたメタデータを関連付けて格納するメタデータ格納手段と、
前記文書中に含まれる表を検索するための検索条件を入力するための検索条件入力手段と、
前記入力された検索条件に基づいて、前記表に関連付けられたメタデータを検索する検索手段と、
前記検索手段によって検索された文書中の表または表の一部を検索結果として表示する検索結果表示手段と、
を備えたことを特徴とする文書処理装置。
【請求項１６】
文書中の画像や表、およびその画像や表に関連するメタデータを抽出することで、文書中の画像や表を検索し、活用できる文書処理装置において、
文書中の画像や表といった文書の構成部品を検索するために、あらかじめ、検索対象となる文書に対して解析を行い、その文書に含まれる各構成部分に対して、それを特徴付ける情報を取り出す手段と、
前記文書中の表の項目に関する行や列の要素名を基に、前記文書に含まれる表に関するメタデータを抽出するメタデータ抽出手段と、
前記文書中の表と、前記メタデータ抽出手段により抽出されたメタデータを関連付けて格納するメタデータ格納手段と、
前記文書中の表を検索するための検索条件を入力するための検索条件入力手段と、
前記入力された検索条件に基づいて、前記表に関連付けられたメタデータを検索する検索手段と、
前記検索手段によって検索された文書中の表または表の一部を検索結果として表示する検索結果表示手段と、
を備えたことを特徴とする文書処理装置。
【請求項１７】
文書中の画像や表、およびその画像や表に関連するメタデータを抽出することで、文書中に含まれる画像や表を検索し、活用できる文書処理装置において、
画像や表、および文章が混在する文書を入力する文書入力手段と、
前記文書入力手段を介して入力された文書から、文書中の画像や表、および文章を含む領域を認識して抽出する領域抽出手段と、
前記文書入力手段を介して入力された文書の各ページにおいて、前記領域抽出手段により抽出された領域に関するレイアウトを解析するレイアウト解析手段と、
前記文書入力手段を介して入力された文書の各ページについて、前記レイアウト解析手段により抽出されたレイアウトに基づいて、文書の論理構造を解析する論理構造解析手段と、
前記論理構造解析手段により解析された論理構造に基づいて、前記文書中の表の項目に関する行や列の要素名を基に、前記文書に含まれる表に関するメタデータを抽出するメタデータ抽出手段と、
前記文書に含まれる表と、前記メタデータ抽出手段により抽出されたメタデータを関連付けて格納するメタデータ格納手段と、
前記文書中の表を検索するための検索条件を入力するための検索条件入力手段と、
前記入力された検索条件に基づいて、前記表に関連付けられたメタデータを検索する検索手段と、
前記検索手段によって検索された文書中の表または表の一部を検索結果として表示する検索結果表示手段と、
を備えたことを特徴とする文書処理装置。
【請求項１８】
請求項１６から請求項１７に記載の文書処理装置において、
前記メタデータ抽出手段は、表の中の強調された項目に関する行や列の要素名を基に、前記文書に含まれる表に関するメタデータを抽出することを特徴とする文書処理装置。
【請求項１９】
請求項１５から請求項１７に記載の文書処理装置において、
前記メタデータ抽出手段によって抽出されるメタデータに対する重要度を算出するメタデータ重要度算出手段と、
を備え、
前記メタデータ格納手段は、前記メタデータ抽出手段により抽出されたメタデータと、前記メタデータ重要度算出手段により算出された重要度と、文書に含まれる表とを関連付けて格納し、
前記検索手段は、前記表に関連付けられたメタデータ及び重要度に基づいて、検索条件とメタデータの類似度を算出することを特徴とする文書処理装置。
【請求項２０】
請求項１９に記載の文書処理装置において、
前記表の行や列の要素名に対して、重み付けを行う要素名重み付け手段と、
を備え、
前記メタデータ抽出手段は、前記表の行や列の要素名を基に、前記文書に含まれる表に関するメタデータを抽出し、
前記メタデータ重要度算出手段は、前記要素名重み付け手段による要素名の重みに従って、前記メタデータの重要度を算出することを特徴とする文書処理装置。
【請求項２１】
請求項２０に記載の文書処理装置において、
前記要素名重み付け手段は、前記表の項目の強調の有無に従って、前記文書に含まれる表の行や列の要素名に対して重み付けを行うことを特徴とする文書処理装置。
【請求項２２】
請求項１６から請求項１８に記載の文書処理装置において、
前記メタデータ抽出手段は、前記表の行や列の要素名に含まれる単語の関係と、前記文書に含まれる文章中の単語の関係に従って、前記文書に含まれる表に関するメタデータを抽出することを特徴とする文書処理装置。
【請求項２３】
請求項１９から請求項２１に記載の文書処理装置において、
前記メタデータ抽出手段は、前記表の行や列の要素名に含まれる単語の関係と、前記文書に含まれる文章中の単語の関係に従って、前記文書に含まれる表に関するメタデータを抽出し、
前記メタデータ重要度算出手段は、前記表の行や列の要素名に含まれる単語の関係と、前記文書に含まれる文章中の単語の関係に従って、前記メタデータの重要度を算出することを特徴とする文書処理装置。
【請求項２４】
請求項１５から請求項２３に記載の文書処理装置において、
前記検索手段は、前記検索条件に含まれる単語の関係と、前記メタデータに含まれる前記検索条件内の単語の関係に従って、前記表に関連付けられたメタデータを検索することを特徴とする文書処理装置。
【請求項２５】
前記レイアウト解析手段は、前記領域の空間的な関係を抽出することを特徴とする請求項１７に記載の文書処理装置。
【請求項２６】
前記論理構造解析手段は、文書を構成するページおよび領域についての論理属性を抽出し、これら領域の読み順を決定し、論理構造として抽出することを特徴とする請求項１７に記載の文書処理装置。
【請求項２７】
前記文書は、書籍や電子文書を印刷した紙文書であることを特徴とする請求項１５から請求項２６に記載の文書処理装置。
【請求項２８】
前記文書は、電子文書であることを特徴とする請求項１５から請求項２６に記載の文書処理装置。
【請求項２９】
文書中の画像や表、およびその画像や表に関連するメタデータを抽出することで、文書中の画像や表を検索し、活用できる文書処理方法において、
文書中の画像や表といった文書の構成部品を検索するために、あらかじめ、検索対象となる文書に対して解析を行い、その文書に含まれる各構成部分に対して、それを特徴付ける情報を取り出す工程と、
前記文書中の表の項目の特徴情報を基に、前記文書に含まれる表に関するメタデータを抽出するメタデータ抽出工程と、
前記文書に含まれる表と、前記メタデータ抽出工程により抽出されたメタデータを関連付けて格納するメタデータ格納工程と、
前記文書中に含まれる表を検索するための検索条件を入力するための検索条件入力工程と、
前記入力された検索条件に基づいて、前記表に関連付けられたメタデータを検索する検索工程と、
前記検索工程によって検索された文書中の表または表の一部を検索結果として表示する検索結果表示工程と、
を備えたことを特徴とする文書処理方法。
【請求項３０】
文書中の画像や表、およびその画像や表に関連するメタデータを抽出することで、文書中の画像や表を検索し、活用できる文書処理方法において、
文書中の画像や表といった文書の構成部品を検索するために、あらかじめ、検索対象となる文書に対して解析を行い、その文書に含まれる各構成部分に対して、それを特徴付ける情報を取り出す工程と、
前記文書中の表の項目に関する行や列の要素名を基に、前記文書に含まれる表に関するメタデータを抽出するメタデータ抽出工程と、
前記文書中の表と、前記メタデータ抽出工程により抽出されたメタデータを関連付けて格納するメタデータ格納工程と、
前記文書中の表を検索するための検索条件を入力するための検索条件入力工程と、
前記入力された検索条件に基づいて、前記表に関連付けられたメタデータを検索する検索工程と、
前記検索工程によって検索された文書中の表または表の一部を検索結果として表示する検索結果表示工程と、
を備えたことを特徴とする文書処理方法。
【請求項３１】
文書中の画像や表、およびその画像や表に関連するメタデータを抽出することで、文書中に含まれる画像や表を検索し、活用できる文書処理方法において、
画像や表、および文章が混在する文書を入力する文書入力工程と、
前記文書入力工程を介して入力された文書から、文書中の画像や表、および文章を含む領域を認識して抽出する領域抽出工程と、
前記文書入力工程を介して入力された文書の各ページにおいて、前記領域抽出工程により抽出された領域に関するレイアウトを解析するレイアウト解析工程と、
前記文書入力工程を介して入力された文書の各ページについて、前記レイアウト解析工程により抽出されたレイアウトに基づいて、文書の論理構造を解析する論理構造解析工程と、
前記論理構造解析工程により解析された論理構造に基づいて、前記文書中の表の項目に関する行や列の要素名を基に、前記文書に含まれる表に関するメタデータを抽出するメタデータ抽出工程と、
前記文書に含まれる表と、前記メタデータ抽出工程により抽出されたメタデータを関連付けて格納するメタデータ格納工程と、
前記文書中の表を検索するための検索条件を入力するための検索条件入力工程と、
前記入力された検索条件に基づいて、前記表に関連付けられたメタデータを検索する検索工程と、
前記検索工程によって検索された文書中の表または表の一部を検索結果として表示する検索結果表示工程と、
を備えたことを特徴とする文書処理方法。
【請求項３２】
請求項３０から請求項３１に記載の文書処理方法において、
前記メタデータ抽出工程は、表の中の強調された項目に関する行や列の要素名を基に、前記文書に含まれる表に関するメタデータを抽出することを特徴とする文書処理方法。
【請求項３３】
請求項２９から請求項３１に記載の文書処理方法において、
前記メタデータ抽出工程によって抽出されるメタデータに対する重要度を算出するメタデータ重要度算出工程と、
を備え、
前記メタデータ格納工程は、前記メタデータ抽出工程により抽出されたメタデータと、前記メタデータ重要度算出工程により算出された重要度と、文書に含まれる表とを関連付けて格納し、
前記検索工程は、前記表に関連付けられたメタデータ及び重要度に基づいて、検索条件とメタデータの類似度を算出することを特徴とする文書処理方法。
【請求項３４】
請求項３３に記載の文書処理方法において、
前記表の行や列の要素名に対して、重み付けを行う要素名重み付け工程と、
を備え、
前記メタデータ抽出工程は、前記表の行や列の要素名を基に、前記文書に含まれる表に関するメタデータを抽出し、
前記メタデータ重要度算出工程は、前記要素名重み付け工程による要素名の重みに従って、前記メタデータの重要度を算出することを特徴とする文書処理方法。
【請求項３５】
請求項３４に記載の文書処理方法において、
前記要素名重み付け工程は、前記表の項目の強調の有無に従って、前記文書に含まれる表の行や列の要素名に対して重み付けを行うことを特徴とする文書処理方法。
【請求項３６】
請求項３０から請求項３２に記載の文書処理方法において、
前記メタデータ抽出工程は、前記表の行や列の要素名に含まれる単語の関係と、前記文書に含まれる文章中の単語の関係に従って、前記文書に含まれる表に関するメタデータを抽出することを特徴とする文書処理方法。
【請求項３７】
請求項３３から請求項３５に記載の文書処理方法において、
前記メタデータ抽出工程は、前記表の行や列の要素名に含まれる単語の関係と、前記文書に含まれる文章中の単語の関係に従って、前記文書に含まれる表に関するメタデータを抽出し、
前記メタデータ重要度算出工程は、前記表の行や列の要素名に含まれる単語の関係と、前記文書に含まれる文章中の単語の関係に従って、前記メタデータの重要度を算出することを特徴とする文書処理方法。
【請求項３８】
請求項２９から請求項３７に記載の文書処理方法において、
前記検索工程は、前記検索条件に含まれる単語の関係と、前記メタデータに含まれる前記検索条件内の単語の関係に従って、前記表に関連付けられたメタデータを検索することを特徴とする文書処理方法。
【請求項３９】
前記レイアウト解析工程は、前記領域の空間的な関係を抽出することを特徴とする請求項３１に記載の文書処理方法。
【請求項４０】
前記論理構造解析工程は、文書を構成するページおよび領域についての論理属性を抽出し、これら領域の読み順を決定し、論理構造として抽出することを特徴とする請求項３１に記載の文書処理方法。
【請求項４１】
前記文書は、書籍や電子文書を印刷した紙文書であることを特徴とする請求項２９から請求項４０に記載の文書処理方法。
【請求項４２】
前記文書は、電子文書であることを特徴とする請求項２９から請求項４０に記載の文書処理方法。
【請求項４３】
請求項１から請求項１４に記載の文書処理システムに用いる記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書中に含まれる画像や表、および画像や表に関連するメタデータを抽出することで、文書中に含まれる所望の画像や表を検索し、活用できるようにするシステムおよび方法およびプログラムを記録した記録媒体に関する。
【背景技術】
【０００２】
電子文書の普及に伴い、それらを有効活用したいという需要が高まっている。電子文書に対する操作は、一度作成・利用した後で蓄積・保存し、更にこれを編集・加工することによって新しい文書を作成する等、文書作成のコスト削減のために再利用するのが一般的である。また、同様に、印刷文書もコンピュータに取り込んで、その内容を再利用したいという要求がある。印刷文書や電子文書を効率的に再利用するためには、大量の文書の中から必要な情報を探し出すための検索技術が重要となる。文書の中には、文字情報だけでなく、図、表、写真等の画像情報や音声情報等も含まれており、特に利用頻度が高いと考えられる。文書に含まれる文字情報の場合は、指定された検索語と文字情報のマッチングを行うことで容易に検索することができるが、画像情報等の場合は、それ自体は文字情報をもたないため、画像情報等に検索のためのメタデータを付加する技術が提案されている。
【０００３】
特開平11-025113は、画像を含む文書を画像領域と文字領域に分割し、文字領域中から画像の内容を記述したテキストを抽出する。
【０００４】
例えば、画像の内容を記述したテキストとして、文字領域から、キャプションと、キャプションに含まれる画像番号語を含むテキストを抽出し、キャプションと最も距離が近い画像と関連付けている。
【０００５】
この技術では、主に、領域間の画素単位の距離によって、テキストと画像を関連付けているが、空間的な距離だけで、テキストと画像の関連性を判断することはできない。また、この技術では、画像に関する語（画像番号語や画像指示語）によって、テキストと画像を関連付けているが、語を含むことだけでテキストと画像の関連性を判断することはできない。
【０００６】
文書画像を解析し、その論理構造を抽出・構造化する技術として、例えば以下の手法が提案されている。
【０００７】
特開平11-250041は、印刷文書をスキャンして得られた文書のページ画像から、テキスト、画像、セパレータ等の領域とそのレイアウト構造を抽出し、更にテキスト領域からタイトル、ヘッダ、本文等の論理オブジェクトを抽出する。また、ページ内の論理オブジェクトに対して読み順や他の論理オブジェクトとの関係を決定し、ページ単位での論理構造を抽出する。
【０００８】
しかし、この技術では、文書の論理構造を抽出するだけで、文書に含まれる画像領域に注目してテキスト領域との関係付けなどは行っていない。
【特許文献１】特開平１１−０２５１１３号公報
【特許文献２】特開平１１−２５００４１号公報
【特許文献３】特開平９−４４５９４号公報
【特許文献４】特開平１１−０７３４７４号公報
【特許文献５】特開平６−９６２７５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
文書中の画像や表等について、より正確な検索を行うためには、画像や表等に関する情報をいかに抽出するかが重要である。しかし、従来は、画像や表などについている1つのキャプションをもとに、そのテキスト・キャプション自身と、近傍の本文中のテキストを検索用のメタデータとして抽出する一般的な方式しかなく、画像や表の持つ構造や関係などまで配慮したメタデータの抽出方式はなかった。
【００１０】
本発明は、上記課題を鑑みてなされたものであり、文書中の画像、表、本文の関係をより正確に捉えることで、画像や表について、より正確な検索ができるようにすることを目的とする。特に、表中の一部の項目に対して、背景や文字に彩色、飾りを施すことでその部分を強調した場合に、近傍の本文中から、強調された部分の行や列の要素名に類似した言語表現を含むテキストを探してメタデータとして抽出し、検索時に利用することによって、文書中の表または表の一部を精度良く容易に検索できるようにすることを目的とする。
【００１１】
また、本発明は、上記課題を鑑みてなされたものであり、近傍の本文中から、表の行や列の要素名に類似した言語表現を含むテキストを探してメタデータとして抽出する場合に、強調された部分の行や列の要素名に類似した言語表現を含むテキストに対しては高い重要度を付与し、検索時に利用することによって、文書中の表または表の一部を精度良く容易に検索できるようにすることを目的とする。
【課題を解決するための手段】
【００１２】
文書中の画像や表、およびその画像や表に関連するメタデータを抽出することで、文書中の所望の画像や表を検索し、活用できる文書処理システムにおいて、文書中の画像や表といった文書の構成部品を検索するために、あらかじめ、検索対象となる文書に対してレイアウトなどの解析を行い、その文書に含まれる画像や表、さらに表の項目などの各構成部分に対して、それを特徴付ける情報を取り出す手段と、前記文書中の表の項目の特徴情報を基に、前記文書に含まれる表に関するメタデータを抽出するメタデータ抽出手段と、前記文書に含まれる表と、前記メタデータ抽出手段により抽出されたメタデータを関連付けて格納するメタデータ格納手段と、前記文書中に含まれる表を検索するための検索条件を入力するための検索条件入力手段と、前記入力された検索条件に基づいて、前記表に関連付けられたメタデータを検索する検索手段と、前記検索手段によって検索された文書中の表または表の一部を検索結果として表示する検索結果表示手段と、を備えたことを特徴とすることである。
【発明の効果】
【００１３】
以上説明した様に、本発明によれば、文書画像に含まれる画像や表に関連するメタデータを精度良く抽出できるようになる。
【００１４】
また、本発明によれば、抽出されたメタデータを利用することによって、文書画像に含まれる画像や表をユーザの要求に応じて精度良く容易に検索できるようになる。
【００１５】
また、本発明によれば、その結果、文書中の画像や表を効率的に再利用できるようになる。
【００１６】
また、本発明によれば、抽出されたメタデータを利用することによって、文書および文書中の画像や表を蓄積する時に、効率的に分類・整理・管理することができるようになる。
【発明を実施するための最良の形態】
【００１７】
本実施例では、文書登録時に、文書画像を解析して、文字、図、表等の領域とそれらのレイアウトを抽出し、それに基づいて領域の論理属性とそれらの論理的関係を構造化した論理構造を抽出し、それに基づいて検索用メタデータを抽出する構成となっているが、必ずしも文書の論理構造を解析する必要はなく、検索用メタデータを抽出するのに必要な情報が得られればどのような解析を行っても構わない。
【００１８】
以下、図面を参照して本発明の好適な実施の形態について説明する。
【００１９】
図１は、本発明の一実施形態に係る文書処理システムが構築されるコンピュータ装置の基本構成を示すブロック図である。
【００２０】
図１において、１０１はＣＰＵであり、本実施形態の文書処理装置における各種制御を実行する。その作業内容は、後述するＲＯＭ１０２やＲＡＭ１０３上のプログラムによって指示される。また、ＣＰＵ自身の機能や、計算機プログラムの機構により、複数の計算機プログラムを並列に動作させることができる。１０２はＲＯＭであり、ＣＰＵによる制御の手順を記憶させた計算機プログラムエリアやデータエリアが格納されている。１０３はＲＡＭであり、ＣＰＵ１０１が処理するための制御プログラムを格納するとともに、ＣＰＵ１０１が各種制御を実行する際の作業領域を提供する。１０４は、アルファベットキー、ひらがなキー、カタカナキー、句点等の文字記号入力キー、及び、カーソル移動を指示するカーソル移動キー等のような各種の機能キーを備えたキーボードであり、ユーザによる各種入力操作環境を提供する。なお、マウスのようなポインティングデバイスも含むこともできる。１０５は各構成に接続されているアドレスバス、データバスなどである。１０６は、さまざまなデータ等を記憶するための外部記憶装置であり、ハードディスクやフレキシブルディスク、光ディスク、磁気ディスク、光磁気ディスク、磁気テープ、不揮発性のメモリカード等の記録媒体と、記憶媒体を駆動し、情報を記録するドライブなどで構成される。保管された計算機プログラムやデータはキーボード等の指示や、各種計算機プログラムの指示により、必要な時にＲＡＭ上に完全もしくは部分的に呼び出される。
【００２１】
１０７は表示器であり、ディスプレイなどで構成され、各種入力操作の状態をユーザに対して表示する。
【００２２】
１０８は、他のコンピュータ装置等と通信を行うための通信デバイスであり、ネットワーク（ＬＡＮ）等を介して、図にはないが遠隔地に存在する装置と通信し、本実施形態のプログラムやデータを共有することが可能になる。
【００２３】
１０９は、画像を読み取るためのイメージスキャナであり、セットされた紙原稿を１枚ずつ光学的に読み取り、イメージ信号をデジタル信号列に変換する。読み取られた画像データは、外部記憶装置やＲＡＭ等に格納することができる。
【００２４】
ＲＯＭやＲＡＭなどの記憶媒体には、本実施形態のデータ管理を実現する計算機プログラムやデータなどが格納されており、これらの記録媒体に格納されたプログラムコードを、ＣＰＵが読み出し実行することによって機能が実現されるが、記憶媒体の種類は問われない。また、本発明に係わるプログラムやデータを格納した外部記録装置を本システムあるいは本装置に供給して、ＲＡＭなどの書き換え可能な記憶媒体上に前記の外部記憶装置から、そのプログラムがＲＡＭ上にコピーされる可能性があるが、その外部記憶装置としては、フレキシブルディスク、ＣＤ−ＲＯＭ、ハードディスク、メモリカード、光磁気ディスクなど何でもよい。
【００２５】
１０４は、ユーザによる各種入力操作環境を提供するキーボードやマウスであるが、ユーザからの各種入力操作環境を提供するものであれば、タッチパネル、スタイラスペン等、何でもよい。
【００２６】
１０８の通信手段としては、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、有線通信や、赤外線通信、IEEE802.11b等の無線通信等何でもよいし、本発明の装置と接続されている機器も通信手段をもつものであれば何でもかまわない。
【００２７】
また、画像データは、１０９のイメージスキャナではなく、図にはないが１０８の通信デバイスによって接続されたネットワークスキャナやコピー装置等の入力機器を介して、入力されてもよいし、読み取られた画像データも、外部記憶装置やＲＡＭ等ではなく、通信デバイスによって接続されたサーバやコピー機等の外部記憶装置等に格納してもよい。
【００２８】
以上述べてきた構成は、本実施形態における一例であり、本発明においては、特にこれに限定されるものでない。
【００２９】
本実施形態における文書登録時の動作について詳細に説明する。図３は、文書登録処理の流れの例を示したフローチャートである。この処理プログラムは、ＲＯＭ１０２に格納されており、ＣＰＵ１０１によって実行される。
【００３０】
本実施例の動作説明においては、一例として、イメージスキャナ１０９等の入力機器を用いて読み取られた紙文書を対象として説明を行うが、紙文書だけでなく、ワードプロセッサ等の編集ソフトウエアで作成した文書や、ＨＴＭＬ等で記述された文書、ＰＤＦ等のような形式の電子文書でもかまわない。但し、電子文書の場合はステップＳ３０１の入力処理においてフォーマット変換等の処理が必要となる。以下、図３を用いて詳細に説明する。
【００３１】
ステップＳ３０１は、イメージスキャナ１０９やネットワークに接続されたコピー機等の入力機器を用いて、画像および文字情報が混在した１ページまたは複数ページのページから成る文書を読み取り、電子化されたページ単位の文書画像を得るステップである。入力機器によって入力される文書画像には、２値画像、カラー画像等がある。なお、電子化された文書画像を得た後で、各ページ画像について、ノイズ除去処理や、向きと傾きの補正処理等を行ってもよい。ページ画像の向きと傾きを判定し修正する方法としては、例えば特開平９−４４５９４や特開平１１−０７３４７４等に示されるような方法があるが、これに限るものではなく、どのような方法でもかまわない。
【００３２】
ステップＳ３０２は、ステップＳ３０１で入力された文書画像を解析する処理を行うステップである。ステップＳ３０２の処理については、図４を用いて後述する。
【００３３】
次に、ステップＳ３０３において、各領域に関する各種情報、レイアウト抽出結果、および文字領域に含まれる文字情報の特徴などを基に解析を行い、文書の論理構造を抽出する。論理構造とは、ステップＳ３０２で抽出された領域やページに対して、論理的な論理属性を抽出して付与したもの、およびそれらの論理的な関係を推定し構造化したものである。ステップＳ３０３の処理については、図５を用いて後述する。
【００３４】
次に、ステップＳ３０４において、ステップＳ３０３で抽出された論理構造を基に、ページ画像中の文字領域から画像や表に関連する検索用メタデータを抽出する処理を行う。ステップＳ３０４の処理については、図６を用いて後述する。
【００３５】
以上の図３を用いて説明した文書登録処理は、本発明における処理の一例であり、他にもいろいろなものが考えられ、処理の順や処理内容は、このとおりでなくてもよい。
【００３６】
図４は、図３のステップＳ３０２の処理の一例を示したフローチャートであり、本発明における文書画像解析時の処理の例を示したフローチャートである。この処理プログラムは、ＲＯＭ１０２に格納されており、ＣＰＵ１０１によって実行される。
【００３７】
図３のＳ３０１で入力された文書が、電子文書等の様に文章を文字コードで保持している場合は、ステップＳ４０２の文字認識処理は不要となる。以下、図４を用いて詳細に説明する。
【００３８】
ステップＳ４０１では、図３のステップＳ３０１で読み取られた文書の各ページ画像について領域分割を行い、文字、図、表、写真等の画像を内包する矩形領域を、その矩形の種類とサイズ、ページ内での位置座標等の物理的な情報と共に抽出する。文字領域については、文字列の読み方向と文字サイズを検出し、それに基づいて文字列行と文字を抽出する。ここでは、文字列の方向が同じで、文字サイズと文字間値と行間値がほぼ均一である領域を一まとまりの文字領域として抽出するものとする。非文字領域については、写真、表、枠や線等を検出し、領域として抽出する。また、領域抽出時に、領域の特徴に基づいた物理的な情報を抽出してもよい。例えば、文字領域の場合は、文字飾りや文字スタイル等に関する情報を共に抽出してもよいし、非文字領域の場合は、画像特徴等を解析することによって得られた情報を抽出してもよい。入力された文書画像がカラー画像等の多値の場合は、２値に変換することで同様に領域分割処理を行うことができる。このステップでの領域分割方法としては、例えば特開平６−９６２７５号等で示される方法を利用できるが、この方法に限るものではなく、文字、画像等の領域を抽出できれば、どのような方法でもかまわない。
【００３９】
図９は、ある文書におけるページ画像や各ページ画像から抽出された領域についての各種物理的な情報の一例を示している。
【００４０】
次に、ステップＳ４０２に進み、ステップＳ４０１で抽出した全ての文字領域に対して文字認識処理を行う。
【００４１】
次に、ステップＳ４０３で、文書の各ページにおけるレイアウトを抽出し、矩形領域の物理的な情報に従って、各ページ画像における各矩形領域の空間的な関係を抽出する。例えば、ページ画像内の２つの領域に対する空間的な関係として、互いの領域が存在する上下左右の方向や、２つの領域が重なっている、接している、含まれている等の状態、２つの領域の大小関係などを、各矩形領域の位置座標やサイズを用いて演算し、判定する。以上の解析結果は、ページ毎に木構造やネットワーク構造で表現することができる。ここで挙げた各矩形領域間の関係およびその表現方法は、本実施例における一つの例であり、他の関係が抽出されてもよいし、また解析結果を他の方法で表現してもかまわない。例えば、レイアウトとして、各矩形領域のページ全体に対する相対的な位置やサイズ等を抽出してもよい。
【００４２】
図１０は、あるページ画像における各領域の空間的な関係を抽出した結果の一例を示している。
【００４３】
ステップＳ４０１からステップＳ４０４の処理結果は、全てＲＡＭや外部記憶装置等の記憶媒体に格納される。
【００４４】
ステップＳＳ４０１からステップＳ４０３の処理を入力された文書の全てのページ画像について行う。
【００４５】
以上の図４を用いて説明した文書画像の解析処理は、本発明における処理の一例であり、他にもいろいろなものが考えられ、処理の順や処理内容は、このとおりでなくてもよい。
【００４６】
図５は、図３のステップＳ３０３の処理の一例を示したフローチャートであり、本発明における論理構造解析処理の例を示したフローチャートである。この処理プログラムは、ＲＯＭ１０２に格納されており、ＣＰＵ１０１によって実行される。以下、図５を用いて詳細に説明する。
【００４７】
ステップＳ５０１では、ページ及び領域の読み順を判定する処理を行う。
ページ及び領域の読み順は、文字領域の読み方向や位置関係、文書中の主な文字領域の読み方向から判定できる組方向等によって判別できる。例えば、日本語で横組のページでは、文字領域は、同段の上から下の段へ、左から右の段へと読み順が付与されることになる。これは判定方法の一例であり、他にもいろいろな方法がある。
【００４８】
ステップＳ５０１の読み順判定処理は必ずしも必要なものではなく、文書の種類によっては省略してもかまわない。
【００４９】
ステップＳ５０２では、ページや領域の論理属性と領域間の関係を解析する処理を行う。
【００５０】
例えば、文書の先頭にあり、他のページに比べて空白が多く、文書内の他の文字と比較して特徴的な文字領域が存在するページは、文書における表紙ページと推定することができる。
【００５１】
また、文書内の他の文字領域と配置や文字についての共通性・規則性が低く、文字が特徴的である文字領域に対して、ヘッダを除いた文書の上部にあればタイトル、それ以外の位置に出現すれば見出しであると推定することができる。また、写真や図、表等の画像領域に対して最も近接した文字領域を、その画像領域に対するキャプションと推定し、画像領域との関係を結ぶことができる。
【００５２】
これらの論理属性や論理的な関係は、特徴的なページや領域に対して推定可能であり、全てのページ・領域について付与できるとは限らない。また、ページや領域について、唯一の論理属性や論理的な関係が決定できるとは限らないため、可能性のある複数の論理属性や関係が付与されてもよく、その可能性の強さを示す数値等が付与されてもよい。
【００５３】
また、論理的な関係には、その関係の強さを示す数値等を付与してもよい。
【００５４】
ここで挙げた論理属性および関係とその解析規則は一例であり、他にもいろいろなものがある。
【００５５】
次にステップＳ５０３では、解析対象の領域が表領域か否かを判定する。ここで、表と判定された場合はステップＳ５０４に進む。
【００５６】
ステップＳ５０４は、領域の物理的な情報と領域の空間的な関係を用いて、表領域に対して解析を行い、表の構造や特徴を示す属性を抽出するステップである。ここでは、行や列の要素名、及び各項目に対する領域や項目値の強調を示す属性を抽出する。例えば、行と列の要素名部分は、表内での位置や罫線の種類等、また言語的な特徴等を利用して識別することができる。また、例えば、表要素を示す領域については、背景の彩色や飾り等を示す画像領域が含まれているか否かで、強調の有無を判断することができる。表の項目値については、表内の他の項目値の文字と異なる文字サイズや文字色、文字スタイル等によって、強調を加えているか否かを判断する。
【００５７】
図８の例は、表８０６の１行目と一列目の項目値が表の行と列の要素名であることを示している。また、３行×５列目の要素の背景が網点になっており、この要素が他の要素より強調されていることを示している。図９と図１０の例では、３行×５列目の表要素を示す領域６の２に、画像種別がテクスチャの画像領域６の２の１が含まれ、更に領域６の２の１には、文字領域６の２の２が含まれている。また、他の表要素には、同様の画像領域がなく、文字領域が含まれている。このことから、表要素領域６の２は、他の表領域よりも強調されていると推定することができる。
【００５８】
ステップＳ５０１からステップＳ５０４の処理結果は、全てＲＡＭや外部記憶装置等の記憶媒体に格納される。
【００５９】
図１１は、文書の論理構造を解析した結果の一例を示している。
【００６０】
以上の図５を用いて説明した論理構造の解析処理は、本発明における処理の一例であり、他にもいろいろなものが考えられ、処理の順や処理内容は、このとおりでなくてもよい。例えば、論理構造として抽出する内容は、ページや領域の意味属性でなくてもよいし、他の関係を抽出してもよい。
【００６１】
図６は、図３のステップＳ３０４の処理の一例を示したフローチャートであり、本実施例における検索用メタデータ抽出処理について示している。この処理プログラムは、ＲＯＭ１０２に格納されており、ＣＰＵ１０１によって実行される。以下、図６を用いて詳細に説明する。
【００６２】
まず、ステップＳ６０１では、文書の論理構造解析結果から、検索対象となる領域を抽出する。ここでは、写真、図、表等の領域を検索対象とするが、それ以外の領域を検索対象として抽出してもよい。
【００６３】
次に、ステップＳ６０２では、ステップＳ６０１で抽出された領域に対する検索用メタデータとなるテキスト情報を抽出する。まず、メタデータの抽出対象となる領域を取得する。ここでは、検索対象である画像領域と論理的関係が結ばれている文字領域や、更にその文字領域と論理的関係が結ばれている文字領域を取得するが、他の領域をメタデータの抽出対象としてもよい。次に、取得した文字領域のテキストの中から、画像領域について説明しているテキスト部分を抽出する。
【００６４】
例えば、論理属性が「キャプション」である文字領域のテキストから画像番号文字列（「表１」等）と画像名文字列（「製品の仕様比較」等）を取り出し、それぞれをメタデータとする。また、検索対象である画像領域の周辺にあり、論理属性が「段落」である文字領域から、画像番号文字列を含む文を抽出してもよい。また、「上（の）表」等のような画像の方向を示す語と画像を示す語を含む文を抽出し、その語が示す画像の方向とステップＳ４０４で抽出されたページ内での各領域の空間的な関係を照合して、画像とメタデータを関連つけたり、「次（の）ページの図」のようなページの位置を示す語と画像を示す語を含む文を抽出し、その語が示すページ位置と文書のページ構成を照合して、画像とメタデータを関連つけたりすることもできる。
【００６５】
次に、ステップＳ６０３では、ステップＳ６０１で検索対象として抽出されたオブジェクトが表領域であるか否かを判別する。ここで、表領域の場合は、ステップＳ６０４に進む。
【００６６】
ステップＳ６０４は、ステップＳ６０１で検索対象として抽出された表領域について、行と列の要素名に対して重みを決定する処理を行う。重み付けは、例えば、表の中の項目値を示す領域の背景や文字の強調の有無、等によって行うことができる。また、要素名に含まれる各単語について、要素名に含まれる語の品詞や語義等の情報、等を用いて重み付けを行ってもよいし、要素名に含まれる各単語の関連語について重みを付与してもよい。また、他の情報を用いて重みを決定してもよい。
【００６７】
例えば、図８の例では、３行×５列目の表要素を示す領域６の２は、表内で強調されているので、表の３行目の要素名である「Ｂ」と５列目の要素名である「出力速度」が、他の要素名よりも重みが高く設定されることになる。
【００６８】
ステップＳ６０５は、ステップＳ６０２で取得したメタデータ抽出対象となる文字領域のテキストの中から、表の要素名に関連するテキスト部分を検索用メタデータとして抽出する処理を行う。例えば、検索対象である表領域の周辺にあり、論理属性が「段落」である文字領域から、表の要素名に含まれる各単語を含む文を抽出する。その際、抽出に用いた要素名の表内での位置等を情報として共に付与してもよい。
【００６９】
図８の例では、「Aのサイズは、……。」という文や、「Bの出力速度は、製品の中で最も速い。」という文が抽出される。
【００７０】
ステップＳ６０６では、ステップＳ６０５で抽出したテキストに対して、ステップＳ６０４で決定した行と列の要素名についての重み等に従って、重要度を算出する処理を行う。
【００７１】
例えば、図８の例では、表の３行目の要素名である「Ｂ」と５列目の要素名である「出力速度」が、他の要素名よりも重みが高く設定されているので、ステップＳ６０５で抽出された「Aのサイズは、……。」という文よりも、「Bの出力速度は、製品の中で最も速い。」という文の方が、重要度は高くなる。
【００７２】
ステップＳ６０２とステップＳ６０５で説明したメタデータ抽出方法は例であり、他にも様々なメタデータ抽出方法が考えられる。また、メタデータ抽出時に、メタデータとして抽出された理由を示す情報を出力してもよいし、抽出対象となった領域の論理属性や論理的な関係等に従って、画像とメタデータの関係の強さを示す数値を出力してもよい。また、ここでは文字領域に含まれるテキストをメタデータとして抽出したが、テキスト以外の情報をメタデータとして抽出してもよい。
【００７３】
ステップＳ６０７では、ステップＳ６０２及びステップＳ６０５で抽出された検索用メタデータと検索対象領域を関連付けてＤＢに格納する処理を行う。
【００７４】
図２は、検索対象である画像領域と抽出されたメタデータを関連付けて格納する際のデータ構造の一例を示したものである。
【００７５】
ステップＳ６０８は、次の検索対象領域が存在するか否かを判定するステップであり、検索対象が存在する場合はステップＳ６０２に戻り、ステップＳ６０２からステップＳ６０７の処理を、ステップＳ６０１で抽出された全ての領域について行う。
【００７６】
図６の処理フローは、本実施例におけるメタデータ抽出処理の一例であり、処理の順や処理内容は、このとおりでなくてもよい。
【００７７】
図８は、あるページ画像に対して領域抽出処理を行った結果の例を示している。
【００７８】
図８において、８００はスキャンされたページ画像であり、８０１から８０７は抽出されたオブジェクトの領域を示している。８０１から８０５は文字領域であるが、文字列の方向が同じで、文字サイズと文字間値・行間値がほぼ均一であり、更に行方向の配置（字下げ、センタリング、揃え等）が同じ領域が一つの文字領域として抽出される。８０６は表領域であり、８０７は、表の中の項目の一つを示している。
【００７９】
これらの図は、本実施例における領域抽出結果の一例を示しているが、画像と文字の領域が抽出できれば、他の領域抽出結果でも構わない。
【００８０】
図８では、画像とテキストが混在した文書画像を例に挙げたが、必ずしも複数種類のオブジェクトが混在する必要はなく、例えば画像のみで構成された文書画像であっても構わない。
【００８１】
図９は、ある文書におけるページ画像や各ページ画像から抽出された領域についての各種物理的な情報の一例を示している。
【００８２】
図９では、ページ画像に対して、ページサイズや読み込み時の解像度、電子化されたページ画像データの格納位置等の物理的な情報が付与されている。また、抽出された各矩形領域に対して、文字領域、画像領域等の領域種別、矩形領域のサイズ、ページ内での位置座標等の物理的な情報が付与されている。更に、文字領域については、文字サイズ、文字認識した結果である文字情報が付与され、画像領域については、写真、図、表、記号画像等の画像種別情報が付与されている。例えばページ画像１は、幅２９０ｍｍ、高さ２１０ｍｍで、処理解像度が３００ｄｐｉであることを示している。領域１は、Ｘ座標１０ｍｍ、Ｙ座標１０ｍｍの位置にある、幅４０ｍｍ、高さ１２．５ｍｍの文字領域で、文字列が文字サイズ８ポイントで記述されていることを示している。図９は、本実施例における領域の物理的な情報の一例を示しているが、物理的な情報とはこれに限るものではなく、次のステップのレイアウト抽出ができれば、他の情報が抽出されてもよい。例えば、図９では、矩形領域のサイズと位置座標情報を抽出しているが、矩形領域の左上の位置座標と右下の位置座標を抽出するようにしてもよい。
【００８３】
図１０は、あるページ画像における各領域の空間的な関係を抽出した結果の一例を示している。
【００８４】
図１０では、ページ画像内の２つの領域に対する空間的な関係として、互いの領域が存在する上下左右の方向や、２つの領域が重なっている、接している、含まれている等の状態、更に、２つの領域が接していない場合には、隣接する２つの領域間の相対的な距離を、ネットワーク構造で表現している。例えば、領域１と領域２の空間的な関係は、領域２が領域１の下にあることを示している。また、領域６と領域６の１の空間的な関係は、領域６の１が領域６に含まれていることを示している。図１０は、本実施例における領域の空間的な関係の一例を示しているが、空間的な関係とはこれに限るものではなく、次のステップの論理構造解析ができれば、他の情報が抽出されてもよい。
【００８５】
図１１は、文書の論理構造を解析した結果の一例を示しており、抽出されたページと領域の論理属性、およびそれらの読み順や論理的関係等を示している。これは、論理構造を解析した結果の1つの例であるが、論理構造の解析結果は、メタデータ抽出規則を適応できるものであれば、どのような形式・内容でもよく、他にもいろいろなものが考えられる。
【００８６】
図１１において、ページ画像１、２、・・・は、読み込まれた文書の各ページ画像に関する論理情報であり、ページに対する論理属性等が付与されている。また、領域１、２、・・・は、ページ画像１から抽出された領域に関する論理情報であり、領域に対する論理属性等が付与されている。ページや領域をつなぐ実線の矢印はページや領域の読み順や論理的関係を示しており、矢印のない点線は包含関係を示している。例えば、ページ画像１には、領域１、領域２、・・・が含まれており、その中の論理属性が「見出し」の領域３、論理属性が「段落」の領域４、論理属性が「キャプション」の領域５の順に読み順が付与されている。論理属性が「キャプション」の領域５と論理属性が「表」の領域６は、「表とキャプションの関係」で結ばれている。論理属性が「表要素名」の領域６の１、論理属性が「表項目」の領域６の２、・・・は、論理属性が「表」の領域６に含まれており、論理属性が「表項目値」である領域６の２０、・・・は、領域６の２に含まれている。
【００８７】
図２は、検索対象である領域と抽出されたメタデータを関連付けて格納する際のデータ構造の一例を示したものである。
【００８８】
図２では、ページ画像１に含まれる画像や表等に対して、文書から抽出されたテキスト等がメタデータとして付与されていることを示している。ここでは、一例として、ある表に対して、表について説明しているテキストとして文字列「製品の仕様比較」等が、メタデータとして抽出された理由、表とテキストの関係の強さを示す値と共に付与されている。
【００８９】
本実施例では、特に、表の要素名を用いて周辺の文字領域から抽出したテキスト「Aのサイズは、・・・。」や「Bの出力速度は、製品の中で最も速い。」が、それぞれ重要度「２]と重要度「３」と共に、メタデータとして付与されている。また、図にはないが、表の要素名を用いて抽出されたメタデータに対して、抽出に用いた要素名の表内での位置等を情報として共に付与してもよい。
【００９０】
これは例であり、格納されるメタデータや格納方法はこれに限らない。これらは図１のＤＩＳＫ、ＲＯＭ、ＲＡＭ、等の記憶装置等の記録媒体に保存されている。
【００９１】
図７は、本発明において、文書に含まれる画像や表等を検索する処理の例を示したフローチャートである。この処理プログラムは、ＲＯＭ１０２に格納されており、ＣＰＵ１０１によって実行される。以下、図７を用いて詳細に説明する。
【００９２】
本実施形態では、図２に示すような画像や表等に関連付けられている検索用メタデータを利用して検索を行う。検索は、ユーザから検索キーワードやキーワードのリスト、自然文などの検索条件を与えてもらい、その検索条件と各画像や表等に関連つけられたメタデータを対比し、該検索条件と適合するメタデータが付与されている画像や表等をピックアップして、検索結果として表示する。
【００９３】
ステップＳ１３０１は、検索用のインデックス情報等を利用できるように図１のＲＡＭ上でデータの操作を行う部分である。なお、検索対象のデータや、そのメタデータ等は、図１のＮＣＵ経由でＬＡＮ上のＰＣなどの計算機やＤＴＵ経由で外部ネットワーク上の計算機上に保有するようにすることができる。
【００９４】
ステップＳ１３０２は、ユーザが検索条件となる文や単語を入力する処理を示している。ここで、ユーザは図１のＫＢから、検索対象となる画像や表等を表現する自然文を検索条件として入力することができる。また、この検索条件は、例えば、図１のＰＣにおいて受け付けて、ＬＡＮを経由して入力するようにすることもできる。
【００９５】
ステップＳ１３０３では、検索条件として入力された文や単語に対し、自然言語処理技術を利用して、形態素解析や構文解析などの解析を行う。これらの各解析の技法や手法としては、公知の種々の手法が利用できるが、ここでは、文を意味的な語の集まりに区切り、その区切られたことによってできた語の品詞や語義などの情報と、文中のそれらの語の関係に関する情報を取り出せるものであれば、何でもかまわない。
【００９６】
ステップＳ１３０４では、ステップＳ１３０３で得られた解析結果が、図２に示した検索用メタデータ中に含まれる画像や表等を検索する。
【００９７】
ステップＳ１３０５では、ステップＳ１３０４で検索した画像や表等の候補があるか否かを判別する。候補が何も見つからなかった場合には、該当候補なしとして検索が終了する。ここで、１つでも該当候補があった場合には、ステップＳ１３０６に進む。
【００９８】
ステップＳ１３０６では、ステップＳ１３０４で検索された候補である画像や表等について、検索条件内の語の関係と、これを含むメタデータ同士の関係を比較することで、語の関係に類似する構造があるかどうかを調べる処理を行う。
【００９９】
ステップＳ１３０７は、ステップＳ１３０４で検索された候補の中から、ステップＳ１３０６で構造の類似性が見出せた画像を検索結果としてユーザに提示する処理を行う。
【０１００】
その際、ステップＳ１３０６で見つかった構造の類似性やメタデータに付与された重要度等に基づいて、検索条件とピックアップした各画像や表等のメタデータとの類似度を求め、類似度の高い順番に並べて検索結果を提示してもよい。ここで言う類似度とは、ユーザが入力した検索条件が、各画像や表等に付与されたメタデータとの関係を示す表現としてどの程度適切であるかを示している。
【０１０１】
また、その際、複数の画像や表の集まりを検索結果としてもよいし、検索条件に該当する表の一部分を検索結果としてもよい。
【０１０２】
例えば、ユーザから「出力速度が速い製品」という検索条件が与えられた場合には、この例文は、「出力速度」や「速い」、「が」等の語に分解され、それぞれに「名詞」や「接続詞」等の品詞情報が割り当てられる。そして、各語は、「修飾」といった関係を持つことを解析できる。次に、解析結果の中で名詞等の品詞を持つ重要な語である「出力速度」や「速い」等がメタデータに含まれる画像や表、即ち、図２においては、領域６の表を該当候補として取得する。次に、これらの該当候補について、解析結果の語の関係と、これを含むメタデータ同士の関係を比較する。検索条件の例文では、「出力速度」と「速い」、「速い」と「製品」が修飾の関係で結ばれている。図２における領域６に付与された表の要素名によるメタデータ中には「出力速度」と「速い」が含まれており、修飾の関係で結ばれている。このことより、領域６の表のメタデータに、例文と類似の構造が見出せることがわかる。
【０１０３】
また、例えば、ユーザから「Bの出力速度」という検索条件が与えられた場合には、この例文は、「B」や「の」や「出力速度」の語に分解され、「B」と「出力速度」が修飾の関係にあることが解析結果として得られる。次に、解析結果の中の「B」や「出力速度」がメタデータに含まれる該当候補として、図２の領域６の表を取得する。領域６に付与された表の要素名によるメタデータ中には「B」と「出力速度」が含まれており、修飾の関係で結ばれていることから、領域６の表のメタデータに、例文と類似の構造が見出せることがわかる。この場合は、検索条件中に含まれる「B」および「出力速度」は表の要素名であるので、表ではなく、これらの要素名が指している表の項目（値）を検索結果としてもよい。
【０１０４】
これは、検索方法の例であり、検索方法としてはこれに限るものではなく、どのような方法でもかまわない。
【０１０５】
また、上記検索結果を利用することによって、文書に含まれる画像や表等を効率的に再利用することができるようになる。例えば、検索結果の一覧の中から所望の画像や表等を選択して得たデータを、ワープロ等の編集ソフトウエア等を用いて編集・加工したり、別の文書に挿入したりすることによって、再利用することができるようになる。これは、再利用方法の一例であり、これに限るものではなく、どのような方法でもかまわない。
【０１０６】
また、上記メタデータを利用することによって、文書および文書中の画像や表を蓄積する時に、効率的に分類・整理・管理することができるようになる。例えば、メタデータとして付与されている語を分析して、関連するカテゴリ等で画像や表等を分類することができ、分類するカテゴリなどはユーザが与えてもよいし、クラスタリング等の統計的手法によって自動的に分類するようにしてもよい。また、分類時に、カテゴリと各画像や表等のメタデータの類似度等を計算して求めて、分類に利用してもよい。これは、分類方法の例であるし、また文書管理方法の例であり、文書管理方法としてはこれに限るものではなく、どのような方法でもかまわない。
【０１０７】
（他の実施形態）
本実施例では、図１の外部記憶装置、ＲＯＭ、ＲＡＭ等の記憶装置に、図２、図９、図１０、図１１に示す解析結果、また解析規則が格納されているが、これらの情報はＬＡＮなどから入手して、記憶装置に格納して利用することも可能である。
【０１０８】
また、本発明は、複数の機器（例えばホストコンピュータ、インタフェース機器、リーダ、プリンタなど）から構成されるシステムに適応しても、単一の機器からなる装置（例えば、複写機、ファクシミリ装置など）に適応してもよい。
【０１０９】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウエアのプログラムコードを記録した記憶媒体（または記録媒体）をシステムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成されることはいうまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【０１１０】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現されることはいうまでもない。
【０１１１】
更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【０１１２】
【図１】本発明に係る文書処理システムが構築されるコンピュータ装置の基本構成例を示すブロック図
【図２】文書画像から抽出された画像とメタデータを関連付けて格納するデータ構造の例を示す図
【図３】本発明における文書登録処理の例を示すフローチャート
【図４】図３のステップＳ３０２の処理を詳細化した図で、文書画像解析時の処理の例を示すフローチャート
【図５】図３のステップＳ３０３の処理を詳細化した図であり、論理構造の抽出処理の例を示すフローチャート
【図６】図３のステップＳ３０４の処理を詳細化した図で、第一の実施例における検索用メタデータ抽出処理の例を示すフローチャート
【図７】文書に含まれる画像を検索する処理の例を示すフローチャート
【図８】ページ画像に対して領域抽出処理を行った結果の例
【図９】ページ画像や領域についての各種物理的な情報の例を示す図
【図１０】各領域の空間的な関係を抽出した結果の例を示す図
【図１１】文書の論理構造を解析した結果の例を示す図
【図１】
2008129793.tif 000003
【図２】
2008129793.tif 000004
【図３】
2008129793.tif 000005
【図４】
2008129793.tif 000006
【図５】
2008129793.tif 000007
【図６】
2008129793.tif 000008
【図７】
2008129793.tif 000009
【図８】
2008129793.tif 000010
【図９】
2008129793.tif 000011
【図１０】
2008129793.tif 000012
【図１１】
2008129793.tif 000013