(57)【特許請求の範囲】
【請求項１】
複数の構成要素をそれぞれ含む複数の大要素が木構造を成して構成されるドキュメントをコンピュータによって解析するためのドキュメント解析プログラムであって、
コンピュータにより、それぞれが所定のカテゴリに属する複数の第１ドキュメントを学習対象ドキュメントとして入力して第１記憶部に記憶する第１入力工程と、
コンピュータにより、前記第１入力工程において前記１記憶部に記憶された前記複数の学習対象ドキュメントから、各学習対象ドキュメントに含まれる複数の構成要素を抽出して第２記憶部に記憶する第１要素抽出工程と、
前記第１要素抽出工程において抽出されて前記第２記憶部に記憶されている複数の構成要素と、各構成要素が抽出された前記学習対象ドキュメントが属するカテゴリとに基づいて、複数の前記カテゴリの各々における各構成要素の出現頻度をコンピュータにより集計し第３記憶部に記憶する集計工程と、
前記集計工程において集計対象となった複数の構成要素の各々について、前記第３記憶部に記憶されている前記出現頻度に基づき、コンピュータにより、各カテゴリにおける構成要素の出現しやすさを表す特徴量をカテゴリごとに算出して第４記憶部に記憶する特徴量算出工程と、
前記第１入力工程において前記第１記憶部に記憶された複数の学習対象ドキュメントの各々について、前記学習対象ドキュメントを構成する前記大要素ごとに、それら大要素に含まれる複数の構成要素の各々について前記第４記憶部に記憶されている特徴量に基づいて、コンピュータにより、カテゴリの判定における大要素の重要さを表す重要度を算出して第５記憶部に記憶する重要度算出工程と、
前記第１入力工程において前記第１記憶部に記憶された複数の学習対象ドキュメントの各々について、学習対象ドキュメントを構成する複数の大要素の木構造のレイアウトと、前記重要度算出工程において前記第５記憶部に記憶された各大要素の重要度とを第６記憶部に記憶するレイアウト記憶工程と、
を有することを特徴とするドキュメント解析プログラム。
【請求項２】
請求項１に記載のドキュメント解析プログラムにおいて、
コンピュータにより、カテゴリ判定対象である第２ドキュメントを入力して第７記憶部に記憶する第２入力工程と、
前記第６記憶部に記憶されている複数のレイアウトから、前記第２入力工程で第７記憶部に記憶したカテゴリ判定対象ドキュメントを構成する複数の大要素の木構造のレイアウトに最も近い類似レイアウトをコンピュータが選択する類似レイアウト選択工程と、
前記カテゴリ判定対象ドキュメントに対応して選択された前記類似レイアウトの各大要素の前記重要度と、前記カテゴリ判定対象ドキュメントの各大要素に含まれる複数の構成要素と、前記第４記憶部に記憶されている前記複数のカテゴリの各々における各構成要素の特徴量とに基づいて、コンピュータにより、前記カテゴリ判定対象ドキュメントが属するカテゴリを判定するカテゴリ判定工程と、
を更に有することを特徴とするドキュメント解析プログラム。
【請求項３】
請求項２に記載のドキュメント解析プログラムにおいて、
前記カテゴリ判定工程では、前記複数のカテゴリの各々について、それら各々のカテゴリに前記第２ドキュメントが属する確率を出力することを特徴とするドキュメント解析プログラム。
【請求項４】
請求項３に記載のドキュメント解析プログラムにおいて、
前記カテゴリ判定工程は、
前記第７記憶部に記憶した前記カテゴリ判定対象ドキュメントを構成する複数の大要素の各々について、それら各々の大要素に含まれる複数の構成要素をコンピュータが抽出して第８記憶部に記憶する第２要素抽出工程と、
前記第２要素抽出工程において抽出されて前記第８記憶部に記憶された各構成要素について、コンピュータにより、前記第４記憶部に記憶されている前記複数のカテゴリの各々におけるそれら各々の構成要素の特徴量を、それら各々の構成要素が含まれる前記大要素に対応する前記類似レイアウトの大要素の前記重要度によりコンピュータが重み付けして、前記カテゴリ判定対象である第２ドキュメントが前記複数のカテゴリの各々に属する確率を表す得点を算出する得点算出工程と、
前記複数のカテゴリの各々について、前記得点算出工程において算出された各カテゴリに対応する前記得点に基づいて、前記カテゴリ対象ドキュメントである第2ドキュメントが各カテゴリに属する確率をコンピュータにより出力する確率出力工程と、
から成ることを特徴とするドキュメント解析プログラム。
【請求項５】
請求項１に記載のドキュメント解析プログラムにおいて、
コンピュータにより、検索対象ドキュメントを検索するためのキーワードを入力して第９記憶部に記憶する第３入力工程と、
前記検索対象ドキュメントである複数の第３ドキュメントが記憶されている第１０記憶部から、前記第３入力工程において記憶されて第９記憶部に記憶されている前記キーワードが含まれる検索対象ドキュメントを、コンピュータが抽出して第１１記憶部に記憶する第３ドキュメント抽出工程と、
前記第３ドキュメント抽出工程において抽出されて前記第１１記憶部に記憶されている各々の検索対象ドキュメントについて、前記第６記憶部に記憶されている複数のレイアウトから、それら各々の第３ドキュメントを構成する複数の大要素の木構造のレイアウトに最も近い類似レイアウトをコンピュータが選択するレイアウト選択工程と、
前記第３ドキュメント抽出工程において抽出されて前記第１１記憶部に記憶されている検索対象ドキュメントの各々について、それら検索対象ドキュメントのうち前記キーワードが含まれる大要素に対応する前記類似レイアウトの大要素の重要度をコンピュータが累計する累計工程と、を更に有することを特徴とするドキュメント解析プログラム。
【請求項６】
請求項１〜５のいずれか一項に記載のドキュメント解析プログラムにおいて、
前記ドキュメントはＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）によって記述された文書であって、前記大要素は開始タグから終了タグに至るＨＴＭＬ要素であり、前記構成要素は各々のＨＴＭＬ要素の内容に含まれる単語であることを特徴とするドキュメント解析プログラム。
【請求項７】
複数の構成要素をそれぞれ含む複数の大要素が木構造を成して構成されるドキュメントをコンピュータによって解析するためのドキュメント解析プログラムであって、
コンピュータにより、それぞれが所定のカテゴリに属する複数の第１ドキュメントを学習対象ドキュメントとして入力して第１記憶部に記憶する第１入力工程と、
コンピュータにより、前記第１入力工程において第１記憶部に記憶された前記複数の第１ドキュメントから、各第１ドキュメントに含まれる複数の構成要素を抽出して第２記憶部に記憶する第１要素抽出工程と、
前記第１要素抽出工程において抽出されて前記第２記憶部に記憶されている複数の構成要素と、各構成要素が抽出された前記第１ドキュメントの前記カテゴリとに基づいて、複数の前記カテゴリの各々における各構成要素の出現頻度をコンピュータにより集計して第３記憶部に記憶する集計工程と、
前記集計工程において集計対象となった複数の構成要素の各々について、前記第３記憶部に記憶されている前記出現頻度に基づき、コンピュータにより、各カテゴリにおける構成要素の出現しやすさを表す特徴量をカテゴリごとに算出して第４記憶部に記憶する特徴量算出工程と、
前記第１入力工程において第１記憶部に記憶された複数の第１ドキュメントの各々について、前記第１ドキュメントを構成する前記大要素ごとに、それら大要素に含まれる複数の構成要素の各々について前記第４記憶部に記憶されている特徴量に基づいて、コンピュータにより、カテゴリの判定における前記大要素の重要さを表す重要度を算出して第５記憶部に記憶する重要度算出工程と、
前記第１入力工程において第１記憶部に記憶された複数の第１ドキュメントのうち少なくとも２つの第１ドキュメントにおいて、それら少なくとも２つの第１ドキュメントを構成する複数の大要素の木構造のレイアウトが互いに類似する場合には、それら互いに類似する少なくとも２つのレイアウトの共通部分を抽出した新たなレイアウトをコンピュータが作成すると共に、それら互いに類似する少なくとも２つのレイアウトの共通部分に含まれる各大要素の前記重要度に基づいて、前記新たなレイアウトの各大要素の重要度をコンピュータが算出し、前記新たなレイアウトと前記新たなレイアウトの各大要素の重要度とを第６記憶部に記憶する共通部分抽出工程と、
前記共通部分抽出工程において前記新たなレイアウトが作成された前記少なくとも２つの第１ドキュメントについては、前記新たなレイアウトと前記新たなレイアウトにおける各大要素の重要度とをコンピュータが第７記憶部に記憶し、それ以外の第１ドキュメントについては、第１ドキュメントを構成する複数の大要素の木構造のレイアウトと、前記重要度算出工程においてメモリに記憶された各大要素の重要度とをコンピュータが前記第５記憶部に記憶するレイアウト記憶工程と、
を有することを特徴とするドキュメント解析プログラム。
【請求項８】
複数の構成要素をそれぞれ含む複数の大要素が木構造を成して構成されるドキュメントを解析するためのドキュメント解析装置であって、
それぞれが所定のカテゴリに属する複数の第１ドキュメントを学習対象ドキュメントとして入力して第１記憶部に記憶する第１入力部と、
前記第１入力部において前記１記憶部に記憶された前記複数の学習対象ドキュメントから、各学習対象ドキュメントに含まれる複数の構成要素を抽出して第２記憶部に記憶する第１要素抽出部と、
前記第１要素抽出部において抽出されて前記第２記憶部に記憶されている複数の構成要素と、各構成要素が抽出された前記学習対象ドキュメントが属するカテゴリとに基づいて、複数の前記カテゴリの各々における各構成要素の出現頻度を集計し第３記憶部に記憶する集計部と、
前記集計部において集計対象となった複数の構成要素の各々について、前記第３記憶部に記憶されている前記出現頻度に基づき、各カテゴリにおける構成要素の出現しやすさを表す特徴量をカテゴリごとに算出して第４記憶部に記憶する特徴量算出部と、
前記第１入力部において前記第１記憶部に記憶された複数の学習対象ドキュメントの各々について、前記学習対象ドキュメントを構成する前記大要素ごとに、それら大要素に含まれる複数の構成要素の各々について前記第４記憶部に記憶されている特徴量に基づいて、カテゴリの判定における大要素の重要さを表す重要度を算出して第５記憶部に記憶する重要度算出部と、
前記第１入力部において前記第１記憶部に記憶された複数の学習対象ドキュメントの各々について、学習対象ドキュメントを構成する複数の大要素の木構造のレイアウトと、前記重要度算出部において前記第５記憶部に記憶された各大要素の重要度とを第６記憶部に記憶するレイアウト記憶部と、
を有することを特徴とするドキュメント解析装置。
【請求項９】
請求項８に記載のドキュメント解析装置において、
カテゴリ判定対象である第２ドキュメントを入力して第７記憶部に記憶する第２入力部と、
前記第６記憶部に記憶されている複数のレイアウトから、前記第２入力部で第７記憶部に記憶したカテゴリ判定対象ドキュメントを構成する複数の大要素の木構造のレイアウトに最も近い類似レイアウトを選択する類似レイアウト選択部と、
前記カテゴリ判定対象ドキュメントに対応して選択された前記類似レイアウトの各大要素の前記重要度と、前記カテゴリ判定対象ドキュメントの各大要素に含まれる複数の構成要素と、前記第４記憶部に記憶されている前記複数のカテゴリの各々における各構成要素の特徴量とに基づいて、前記カテゴリ判定対象ドキュメントが属するカテゴリを判定するカテゴリ判定部と、
を更に有することを特徴とするドキュメント解析装置。
【請求項１０】
請求項８に記載のドキュメント解析装置において、
検索対象ドキュメントを検索するためのキーワードを入力して第９記憶部に記憶する第３入力部と、
前記検索対象ドキュメントである複数の第３ドキュメントが記憶されている第１０記憶部から、前記第３入力部において記憶されて第９記憶部に記憶されている前記キーワードが含まれる検索対象ドキュメントを抽出して第１１記憶部に記憶する第３ドキュメント抽出部と、
前記第３ドキュメント抽出部において抽出されて前記第１１記憶部に記憶されている各々の検索対象ドキュメントについて、前記第６記憶部に記憶されている複数のレイアウトから、それら各々の第３ドキュメントを構成する複数の大要素の木構造のレイアウトに最も近い類似レイアウトを選択するレイアウト選択部と、
前記第３ドキュメント抽出部において抽出されて前記第１１記憶部に記憶されている検索対象ドキュメントの各々について、それら検索対象ドキュメントのうち前記キーワードが含まれる大要素に対応する前記類似レイアウトの大要素の重要度を累計する累計部と、を更に有することを特徴とするドキュメント解析装置。
【請求項１１】
複数の構成要素をそれぞれ含む複数の大要素が木構造を成して構成されるドキュメントをコンピュータによって解析するためのドキュメント解析方法であって、
コンピュータにより、それぞれが所定のカテゴリに属する複数の第１ドキュメントを学習対象ドキュメントとして入力して第１記憶部に記憶する第１入力工程と、
コンピュータにより、前記第１入力工程において前記１記憶部に記憶された前記複数の学習対象ドキュメントから、各学習対象ドキュメントに含まれる複数の構成要素を抽出して第２記憶部に記憶する第１要素抽出工程と、
前記第１要素抽出工程において抽出されて前記第２記憶部に記憶されている複数の構成要素と、各構成要素が抽出された前記学習対象ドキュメントが属するカテゴリとに基づいて、複数の前記カテゴリの各々における各構成要素の出現頻度をコンピュータにより集計し第３記憶部に記憶する集計工程と、
前記集計工程において集計対象となった複数の構成要素の各々について、前記第３記憶部に記憶されている前記出現頻度に基づき、コンピュータにより、各カテゴリにおける構成要素の出現しやすさを表す特徴量をカテゴリごとに算出して第４記憶部に記憶する特徴量算出工程と、
前記第１入力工程において前記第１記憶部に記憶された複数の学習対象ドキュメントの各々について、前記学習対象ドキュメントを構成する前記大要素ごとに、それら大要素に含まれる複数の構成要素の各々について前記第４記憶部に記憶されている特徴量に基づいて、コンピュータにより、カテゴリの判定における大要素の重要さを表す重要度を算出して第５記憶部に記憶する重要度算出工程と、
前記第１入力工程において前記第１記憶部に記憶された複数の学習対象ドキュメントの各々について、学習対象ドキュメントを構成する複数の大要素の木構造のレイアウトと、前記重要度算出工程において前記第５記憶部に記憶された各大要素の重要度とを第６記憶部に記憶するレイアウト記憶工程と、
を有することを特徴とするドキュメント解析方法。
【請求項１２】
請求項１１に記載のドキュメント解析方法において、
コンピュータにより、カテゴリ判定対象である第２ドキュメントを入力して第７記憶部に記憶する第２入力工程と、
前記第６記憶部に記憶されている複数のレイアウトから、前記第２入力工程で第７記憶部に記憶したカテゴリ判定対象ドキュメントを構成する複数の大要素の木構造のレイアウトに最も近い類似レイアウトをコンピュータが選択する類似レイアウト選択工程と、
前記カテゴリ判定対象ドキュメントに対応して選択された前記類似レイアウトの各大要素の前記重要度と、前記カテゴリ判定対象ドキュメントの各大要素に含まれる複数の構成要素と、前記第４記憶部に記憶されている前記複数のカテゴリの各々における各構成要素の特徴量とに基づいて、コンピュータにより、前記カテゴリ判定対象ドキュメントが属するカテゴリを判定するカテゴリ判定工程と、
を更に有することを特徴とするドキュメント解析方法。
【請求項１３】
請求項１１に記載のドキュメント解析方法において、
コンピュータにより、検索対象ドキュメントを検索するためのキーワードを入力して第９記憶部に記憶する第３入力工程と、
前記検索対象ドキュメントである複数の第３ドキュメントが記憶されている第１０記憶部から、前記第３入力工程において記憶されて第９記憶部に記憶されている前記キーワードが含まれる検索対象ドキュメントを、コンピュータが抽出して第１１記憶部に記憶する第３ドキュメント抽出工程と、
前記第３ドキュメント抽出工程において抽出されて前記第１１記憶部に記憶されている各々の検索対象ドキュメントについて、前記第６記憶部に記憶されている複数のレイアウトから、それら各々の第３ドキュメントを構成する複数の大要素の木構造のレイアウトに最も近い類似レイアウトをコンピュータが選択するレイアウト選択工程と、
前記第３ドキュメント抽出工程において抽出されて前記第１１記憶部に記憶されている検索対象ドキュメントの各々について、それら検索対象ドキュメントのうち前記キーワードが含まれる大要素に対応する前記類似レイアウトの大要素の重要度をコンピュータが累計する累計工程と、を更に有することを特徴とするドキュメント解析方法。
【請求項１４】
複数の構成要素をそれぞれ含む複数の大要素が木構造を成して構成されるドキュメントをコンピュータによって解析するためのドキュメント解析プログラムであって、
コンピュータにより、それぞれが所定のカテゴリに属する複数の第１ドキュメントを学習対象ドキュメントとして入力して第１記憶部に記憶する第１入力工程と、
コンピュータにより、前記第１入力工程において前記１記憶部に記憶された前記複数の学習対象ドキュメントから、各学習対象ドキュメントに含まれる複数の構成要素を抽出して第２記憶部に記憶する第１要素抽出工程と、
前記第１要素抽出工程において抽出されて前記第２記憶部に記憶されている複数の構成要素と、各構成要素が抽出された前記学習対象ドキュメントが属するカテゴリとに基づいて集計された出現頻度に基づき、コンピュータにより、各カテゴリにおける構成要素の出現しやすさを表す特徴量をカテゴリごとに算出して第３記憶部に記憶する特徴量算出工程と、
前記第１入力工程において前記第１記憶部に記憶された複数の学習対象ドキュメントの各々について、前記学習対象ドキュメントを構成する前記大要素ごとに、それら大要素に含まれる複数の構成要素の各々について前記第３記憶部に記憶されている特徴量に基づいて、コンピュータにより、カテゴリの判定における大要素の重要さを表す重要度を算出して第４記憶部に記憶する重要度算出工程と、
前記第１入力工程において前記第１記憶部に記憶された複数の学習対象ドキュメントの各々について、学習対象ドキュメントを構成する複数の大要素の木構造のレイアウトと、前記重要度算出工程において前記第４記憶部に記憶された各大要素の重要度とを第５記憶部に記憶するレイアウト記憶工程と、
を有することを特徴とするドキュメント解析プログラム。
【請求項１５】
複数の構成要素をそれぞれ含む複数の大要素が木構造を成して構成されるドキュメントを解析するためのドキュメント解析装置であって、
それぞれが所定のカテゴリに属する複数の第１ドキュメントを学習対象ドキュメントとして入力して第１記憶部に記憶する第１入力部と、
前記第１入力部により前記１記憶部に記憶された前記複数の学習対象ドキュメントから、各学習対象ドキュメントに含まれる複数の構成要素を抽出して第２記憶部に記憶する第１要素抽出部と、
前記第１要素抽出部により抽出されて前記第２記憶部に記憶されている複数の構成要素と、各構成要素が抽出された前記学習対象ドキュメントが属するカテゴリとに基づいて集計された出現頻度に基づき、各カテゴリにおける構成要素の出現しやすさを表す特徴量をカテゴリごとに算出して第３記憶部に記憶する特徴量算出部と、
前記第１入力部により前記第１記憶部に記憶された複数の学習対象ドキュメントの各々について、前記学習対象ドキュメントを構成する前記大要素ごとに、それら大要素に含まれる複数の構成要素の各々について前記第３記憶部に記憶されている特徴量に基づいて、カテゴリの判定における大要素の重要さを表す重要度を算出して第４記憶部に記憶する重要度算出部と、
前記第１入力部により前記第１記憶部に記憶された複数の学習対象ドキュメントの各々について、学習対象ドキュメントを構成する複数の大要素の木構造のレイアウトと、前記重要度算出工程において前記第４記憶部に記憶された各大要素の重要度とを第５記憶部に記憶するレイアウト記憶部と、
を有することを特徴とするドキュメント解析装置。
【請求項１６】
複数の構成要素をそれぞれ含む複数の大要素が木構造を成して構成されるドキュメントをコンピュータによって解析するためのドキュメント解析方法であって、
コンピュータにより、それぞれが所定のカテゴリに属する複数の第１ドキュメントを学習対象ドキュメントとして入力して第１記憶部に記憶する第１入力工程と、
コンピュータにより、前記第１入力工程において前記１記憶部に記憶された前記複数の学習対象ドキュメントから、各学習対象ドキュメントに含まれる複数の構成要素を抽出して第２記憶部に記憶する第１要素抽出工程と、
前記第１要素抽出工程において抽出されて前記第２記憶部に記憶されている複数の構成要素と、各構成要素が抽出された前記学習対象ドキュメントが属するカテゴリとに基づいて集計された出現頻度に基づき、コンピュータにより、各カテゴリにおける構成要素の出現しやすさを表す特徴量をカテゴリごとに算出して第３記憶部に記憶する特徴量算出工程と、
前記第１入力工程において前記第１記憶部に記憶された複数の学習対象ドキュメントの各々について、前記学習対象ドキュメントを構成する前記大要素ごとに、それら大要素に含まれる複数の構成要素の各々について前記第３記憶部に記憶されている特徴量に基づいて、コンピュータにより、カテゴリの判定における大要素の重要さを表す重要度を算出して第４記憶部に記憶する重要度算出工程と、
前記第１入力工程において前記第１記憶部に記憶された複数の学習対象ドキュメントの各々について、学習対象ドキュメントを構成する複数の大要素の木構造のレイアウトと、前記重要度算出工程において前記第４記憶部に記憶された各大要素の重要度とを第５記憶部に記憶するレイアウト記憶工程と、
を有することを特徴とするドキュメント解析方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、構造化ドキュメントに対して、ドキュメントの内容ならびにレイアウト構造を解析するプログラム、装置および方法に関する。
【背景技術】
【０００２】
ドキュメントの内容を解析する際に単語の出現頻度などを集計することで、ドキュメントのカテゴリ分類を自動で行う手法が知られている。
【０００３】
このようなドキュメントのカテゴリ分類手法の一つの利用形態として、例えばウェブページの内容が未成年者にとって不適切なカテゴリに分類されるか否かを判別する際に用いることがある。このことにより、ウェブページの閲覧を制限するフィルタリング処理を行うことができる。なお、ここでいうウェブページとは、インターネット上に公開されているドキュメントをいう。このドキュメントは、ＨＴＭＬによるレイアウト情報，テキスト情報の他、そのドキュメント中に埋め込まれた各種情報を含んでいる。
【０００４】
ウェブページのカテゴリを所定の基準に基づいて自動分類する際には、そのページの内容の他にレイアウト構造が重要となる。そこで、特許文献１では文書の内容的特徴に加えて、体裁的特徴も考慮して分類を行う手法が開示されている。
【０００５】
【特許文献１】特開２０００−２６８０４０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
従来の手法では、カテゴリごとに、そのカテゴリの特徴的なレイアウト構造を決定していた。その結果、ある特定のレイアウト構造とカテゴリとの対応関係は把握できたとしても、ドキュメントの主題となる内容がドキュメント中のどの箇所に存在しているかを判断することはできなかった。
【０００７】
例えば、電子掲示板のウェブページが備えているような通常のレイアウト構造をあるウェブページが持っていたとしても、それがスポーツの話題を扱うウェブページなのか、ゲームの話題を扱うウェブページなのかを判断することは困難である。
【課題を解決するための手段】
【０００８】
請求項１に係る発明は、複数の構成要素をそれぞれ含む複数の大要素が木構造を成して構成されるドキュメントをコンピュータによって解析するためのドキュメント解析プログラムであって、コンピュータにより、それぞれが所定のカテゴリに属する複数の第１ドキュメントを学習対象ドキュメントとして入力して第１記憶部に記憶する第１入力工程と、コンピュータにより、前記第１入力工程において前記１記憶部に記憶された前記複数の学習対象ドキュメントから、各学習対象ドキュメントに含まれる複数の構成要素を抽出して第２記憶部に記憶する第１要素抽出工程と、前記第１要素抽出工程において抽出されて前記第２記憶部に記憶されている複数の構成要素と、各構成要素が抽出された前記学習対象ドキュメントが属するカテゴリとに基づいて、複数の前記カテゴリの各々における各構成要素の出現頻度をコンピュータにより集計し第３記憶部に記憶する集計工程と、前記集計工程において集計対象となった複数の構成要素の各々について、前記第３記憶部に記憶されている前記出現頻度に基づき、コンピュータにより、各カテゴリにおける構成要素の出現しやすさを表す特徴量をカテゴリごとに算出して第４記憶部に記憶する特徴量算出工程と、前記第１入力工程において前記第１記憶部に記憶された複数の学習対象ドキュメントの各々について、前記学習対象ドキュメントを構成する前記大要素ごとに、それら大要素に含まれる複数の構成要素の各々について前記第４記憶部に記憶されている特徴量に基づいて、コンピュータにより、カテゴリの判定における大要素の重要さを表す重要度を算出して第５記憶部に記憶する重要度算出工程と、前記第１入力工程において前記第１記憶部に記憶された複数の学習対象ドキュメントの各々について、学習対象ドキュメントを構成する複数の大要素の木構造のレイアウトと、前記重要度算出工程において前記第５記憶部に記憶された各大要素の重要度とを第６記憶部に記憶するレイアウト記憶工程と、を有することを特徴とするドキュメント解析プログラムである。
請求項２に係る発明は、請求項１に記載のドキュメント解析プログラムにおいて、コンピュータにより、カテゴリ判定対象である第２ドキュメントを入力して第７記憶部に記憶する第２入力工程と、前記第６記憶部に記憶されている複数のレイアウトから、前記第２入力工程で第７記憶部に記憶したカテゴリ判定対象ドキュメントを構成する複数の大要素の木構造のレイアウトに最も近い類似レイアウトをコンピュータが選択する類似レイアウト選択工程と、前記カテゴリ判定対象ドキュメントに対応して選択された前記類似レイアウトの各大要素の前記重要度と、前記カテゴリ判定対象ドキュメントの各大要素に含まれる複数の構成要素と、前記第４記憶部に記憶されている前記複数のカテゴリの各々における各構成要素の特徴量とに基づいて、コンピュータにより、前記カテゴリ判定対象ドキュメントが属するカテゴリを判定するカテゴリ判定工程と、を更に有することを特徴とする。
請求項３に係る発明は、請求項２に記載のドキュメント解析プログラムにおいて、前記カテゴリ判定工程では、前記複数のカテゴリの各々について、それら各々のカテゴリに前記第２ドキュメントが属する確率を出力することを特徴とする。
請求項４に係る発明は、請求項３に記載のドキュメント解析プログラムにおいて、前記カテゴリ判定工程は、前記第７記憶部に記憶した前記カテゴリ判定対象ドキュメントを構成する複数の大要素の各々について、それら各々の大要素に含まれる複数の構成要素をコンピュータが抽出して第８記憶部に記憶する第２要素抽出工程と、前記第２要素抽出工程において抽出されて前記第８記憶部に記憶された各構成要素について、コンピュータにより、前記第４記憶部に記憶されている前記複数のカテゴリの各々におけるそれら各々の構成要素の特徴量を、それら各々の構成要素が含まれる前記大要素に対応する前記類似レイアウトの大要素の前記重要度によりコンピュータが重み付けして、前記カテゴリ判定対象である第２ドキュメントが前記複数のカテゴリの各々に属する確率を表す得点を算出する得点算出工程と、前記複数のカテゴリの各々について、前記得点算出工程において算出された各カテゴリに対応する前記得点に基づいて、前記カテゴリ対象ドキュメントである第2ドキュメントが各カテゴリに属する確率をコンピュータにより出力する確率出力工程と、から成ることを特徴とする。
請求項５に係る発明は、請求項１に記載のドキュメント解析プログラムにおいて、コンピュータにより、検索対象ドキュメントを検索するためのキーワードを入力して第９記憶部に記憶する第３入力工程と、前記検索対象ドキュメントである複数の第３ドキュメントが記憶されている第１０記憶部から、前記第３入力工程において記憶されて第９記憶部に記憶されている前記キーワードが含まれる検索対象ドキュメントを、コンピュータが抽出して第１１記憶部に記憶する第３ドキュメント抽出工程と、前記第３ドキュメント抽出工程において抽出されて前記第１１記憶部に記憶されている各々の検索対象ドキュメントについて、前記第６記憶部に記憶されている複数のレイアウトから、それら各々の第３ドキュメントを構成する複数の大要素の木構造のレイアウトに最も近い類似レイアウトをコンピュータが選択するレイアウト選択工程と、前記第３ドキュメント抽出工程において抽出されて前記第１１記憶部に記憶されている検索対象ドキュメントの各々について、それら検索対象ドキュメントのうち前記キーワードが含まれる大要素に対応する前記類似レイアウトの大要素の重要度をコンピュータが累計する累計工程と、を更に有することを特徴とする。
請求項６に係る発明は、請求項１〜５のいずれか一項に記載のドキュメント解析プログラムにおいて、前記ドキュメントはＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）によって記述された文書であって、前記大要素は開始タグから終了タグに至るＨＴＭＬ要素であり、前記構成要素は各々のＨＴＭＬ要素の内容に含まれる単語であることを特徴とする。
請求項７に係る発明は、複数の構成要素をそれぞれ含む複数の大要素が木構造を成して構成されるドキュメントをコンピュータによって解析するためのドキュメント解析プログラムであって、コンピュータにより、それぞれが所定のカテゴリに属する複数の第１ドキュメントを学習対象ドキュメントとして入力して第１記憶部に記憶する第１入力工程と、コンピュータにより、前記第１入力工程において第１記憶部に記憶された前記複数の第１ドキュメントから、各第１ドキュメントに含まれる複数の構成要素を抽出して第２記憶部に記憶する第１要素抽出工程と、前記第１要素抽出工程において抽出されて前記第２記憶部に記憶されている複数の構成要素と、各構成要素が抽出された前記第１ドキュメントの前記カテゴリとに基づいて、複数の前記カテゴリの各々における各構成要素の出現頻度をコンピュータにより集計して第３記憶部に記憶する集計工程と、前記集計工程において集計対象となった複数の構成要素の各々について、前記第３記憶部に記憶されている前記出現頻度に基づき、コンピュータにより、各カテゴリにおける構成要素の出現しやすさを表す特徴量をカテゴリごとに算出して第４記憶部に記憶する特徴量算出工程と、前記第１入力工程において第１記憶部に記憶された複数の第１ドキュメントの各々について、前記第１ドキュメントを構成する前記大要素ごとに、それら大要素に含まれる複数の構成要素の各々について前記第４記憶部に記憶されている特徴量に基づいて、コンピュータにより、カテゴリの判定における前記大要素の重要さを表す重要度を算出して第５記憶部に記憶する重要度算出工程と、前記第１入力工程において第１記憶部に記憶された複数の第１ドキュメントのうち少なくとも２つの第１ドキュメントにおいて、それら少なくとも２つの第１ドキュメントを構成する複数の大要素の木構造のレイアウトが互いに類似する場合には、それら互いに類似する少なくとも２つのレイアウトの共通部分を抽出した新たなレイアウトをコンピュータが作成すると共に、それら互いに類似する少なくとも２つのレイアウトの共通部分に含まれる各大要素の前記重要度に基づいて、前記新たなレイアウトの各大要素の重要度をコンピュータが算出し、前記新たなレイアウトと前記新たなレイアウトの各大要素の重要度とを第６記憶部に記憶する共通部分抽出工程と、前記共通部分抽出工程において前記新たなレイアウトが作成された前記少なくとも２つの第１ドキュメントについては、前記新たなレイアウトと前記新たなレイアウトにおける各大要素の重要度とをコンピュータが第７記憶部に記憶し、それ以外の第１ドキュメントについては、第１ドキュメントを構成する複数の大要素の木構造のレイアウトと、前記重要度算出工程においてメモリに記憶された各大要素の重要度とをコンピュータが前記第５記憶部に記憶するレイアウト記憶工程と、を有することを特徴とするドキュメント解析プログラムである。
請求項８に係る発明は、複数の構成要素をそれぞれ含む複数の大要素が木構造を成して構成されるドキュメントを解析するためのドキュメント解析装置であって、それぞれが所定のカテゴリに属する複数の第１ドキュメントを学習対象ドキュメントとして入力して第１記憶部に記憶する第１入力部と、前記第１入力部において前記１記憶部に記憶された前記複数の学習対象ドキュメントから、各学習対象ドキュメントに含まれる複数の構成要素を抽出して第２記憶部に記憶する第１要素抽出部と、前記第１要素抽出部において抽出されて前記第２記憶部に記憶されている複数の構成要素と、各構成要素が抽出された前記学習対象ドキュメントが属するカテゴリとに基づいて、複数の前記カテゴリの各々における各構成要素の出現頻度を集計し第３記憶部に記憶する集計部と、前記集計部において集計対象となった複数の構成要素の各々について、前記第３記憶部に記憶されている前記出現頻度に基づき、各カテゴリにおける構成要素の出現しやすさを表す特徴量をカテゴリごとに算出して第４記憶部に記憶する特徴量算出部と、前記第１入力部において前記第１記憶部に記憶された複数の学習対象ドキュメントの各々について、前記学習対象ドキュメントを構成する前記大要素ごとに、それら大要素に含まれる複数の構成要素の各々について前記第４記憶部に記憶されている特徴量に基づいて、カテゴリの判定における大要素の重要さを表す重要度を算出して第５記憶部に記憶する重要度算出部と、前記第１入力部において前記第１記憶部に記憶された複数の学習対象ドキュメントの各々について、学習対象ドキュメントを構成する複数の大要素の木構造のレイアウトと、前記重要度算出部において前記第５記憶部に記憶された各大要素の重要度とを第６記憶部に記憶するレイアウト記憶部と、を有することを特徴とするドキュメント解析装置である。
請求項９に係る発明は、請求項８に記載のドキュメント解析装置において、カテゴリ判定対象である第２ドキュメントを入力して第７記憶部に記憶する第２入力部と、前記第６記憶部に記憶されている複数のレイアウトから、前記第２入力部で第７記憶部に記憶したカテゴリ判定対象ドキュメントを構成する複数の大要素の木構造のレイアウトに最も近い類似レイアウトを選択する類似レイアウト選択部と、前記カテゴリ判定対象ドキュメントに対応して選択された前記類似レイアウトの各大要素の前記重要度と、前記カテゴリ判定対象ドキュメントの各大要素に含まれる複数の構成要素と、前記第４記憶部に記憶されている前記複数のカテゴリの各々における各構成要素の特徴量とに基づいて、前記カテゴリ判定対象ドキュメントが属するカテゴリを判定するカテゴリ判定部と、を更に有することを特徴とする。
請求項１０に係る発明は、請求項８に記載のドキュメント解析装置において、検索対象ドキュメントを検索するためのキーワードを入力して第９記憶部に記憶する第３入力部と、前記検索対象ドキュメントである複数の第３ドキュメントが記憶されている第１０記憶部から、前記第３入力部において記憶されて第９記憶部に記憶されている前記キーワードが含まれる検索対象ドキュメントを抽出して第１１記憶部に記憶する第３ドキュメント抽出部と、前記第３ドキュメント抽出部において抽出されて前記第１１記憶部に記憶されている各々の検索対象ドキュメントについて、前記第６記憶部に記憶されている複数のレイアウトから、それら各々の第３ドキュメントを構成する複数の大要素の木構造のレイアウトに最も近い類似レイアウトを選択するレイアウト選択部と、前記第３ドキュメント抽出部において抽出されて前記第１１記憶部に記憶されている検索対象ドキュメントの各々について、それら検索対象ドキュメントのうち前記キーワードが含まれる大要素に対応する前記類似レイアウトの大要素の重要度を累計する累計部と、を更に有することを特徴とする。
請求項１１に係る発明は、複数の構成要素をそれぞれ含む複数の大要素が木構造を成して構成されるドキュメントをコンピュータによって解析するためのドキュメント解析方法であって、コンピュータにより、それぞれが所定のカテゴリに属する複数の第１ドキュメントを学習対象ドキュメントとして入力して第１記憶部に記憶する第１入力工程と、コンピュータにより、前記第１入力工程において前記１記憶部に記憶された前記複数の学習対象ドキュメントから、各学習対象ドキュメントに含まれる複数の構成要素を抽出して第２記憶部に記憶する第１要素抽出工程と、前記第１要素抽出工程において抽出されて前記第２記憶部に記憶されている複数の構成要素と、各構成要素が抽出された前記学習対象ドキュメントが属するカテゴリとに基づいて、複数の前記カテゴリの各々における各構成要素の出現頻度をコンピュータにより集計し第３記憶部に記憶する集計工程と、前記集計工程において集計対象となった複数の構成要素の各々について、前記第３記憶部に記憶されている前記出現頻度に基づき、コンピュータにより、各カテゴリにおける構成要素の出現しやすさを表す特徴量をカテゴリごとに算出して第４記憶部に記憶する特徴量算出工程と、
前記第１入力工程において前記第１記憶部に記憶された複数の学習対象ドキュメントの各々について、前記学習対象ドキュメントを構成する前記大要素ごとに、それら大要素に含まれる複数の構成要素の各々について前記第４記憶部に記憶されている特徴量に基づいて、コンピュータにより、カテゴリの判定における大要素の重要さを表す重要度を算出して第５記憶部に記憶する重要度算出工程と、前記第１入力工程において前記第１記憶部に記憶された複数の学習対象ドキュメントの各々について、学習対象ドキュメントを構成する複数の大要素の木構造のレイアウトと、前記重要度算出工程において前記第５記憶部に記憶された各大要素の重要度とを第６記憶部に記憶するレイアウト記憶工程と、を有することを特徴とするドキュメント解析方法である。
請求項１２に係る発明は、請求項１１に記載のドキュメント解析方法において、コンピュータにより、カテゴリ判定対象である第２ドキュメントを入力して第７記憶部に記憶する第２入力工程と、前記第６記憶部に記憶されている複数のレイアウトから、前記第２入力工程で第７記憶部に記憶したカテゴリ判定対象ドキュメントを構成する複数の大要素の木構造のレイアウトに最も近い類似レイアウトをコンピュータが選択する類似レイアウト選択工程と、前記カテゴリ判定対象ドキュメントに対応して選択された前記類似レイアウトの各大要素の前記重要度と、前記カテゴリ判定対象ドキュメントの各大要素に含まれる複数の構成要素と、前記第４記憶部に記憶されている前記複数のカテゴリの各々における各構成要素の特徴量とに基づいて、コンピュータにより、前記カテゴリ判定対象ドキュメントが属するカテゴリを判定するカテゴリ判定工程と、を更に有することを特徴とする。
請求項１３に係る発明は、請求項１１に記載のドキュメント解析方法において、コンピュータにより、検索対象ドキュメントを検索するためのキーワードを入力して第９記憶部に記憶する第３入力工程と、前記検索対象ドキュメントである複数の第３ドキュメントが記憶されている第１０記憶部から、前記第３入力工程において記憶されて第９記憶部に記憶されている前記キーワードが含まれる検索対象ドキュメントを、コンピュータが抽出して第１１記憶部に記憶する第３ドキュメント抽出工程と、前記第３ドキュメント抽出工程において抽出されて前記第１１記憶部に記憶されている各々の検索対象ドキュメントについて、前記第６記憶部に記憶されている複数のレイアウトから、それら各々の第３ドキュメントを構成する複数の大要素の木構造のレイアウトに最も近い類似レイアウトをコンピュータが選択するレイアウト選択工程と、前記第３ドキュメント抽出工程において抽出されて前記第１１記憶部に記憶されている検索対象ドキュメントの各々について、それら検索対象ドキュメントのうち前記キーワードが含まれる大要素に対応する前記類似レイアウトの大要素の重要度をコンピュータが累計する累計工程と、を更に有することを特徴とする。
請求項１４に係る発明は、複数の構成要素をそれぞれ含む複数の大要素が木構造を成して構成されるドキュメントをコンピュータによって解析するためのドキュメント解析プログラムであって、コンピュータにより、それぞれが所定のカテゴリに属する複数の第１ドキュメントを学習対象ドキュメントとして入力して第１記憶部に記憶する第１入力工程と、コンピュータにより、前記第１入力工程において前記１記憶部に記憶された前記複数の学習対象ドキュメントから、各学習対象ドキュメントに含まれる複数の構成要素を抽出して第２記憶部に記憶する第１要素抽出工程と、前記第１要素抽出工程において抽出されて前記第２記憶部に記憶されている複数の構成要素と、各構成要素が抽出された前記学習対象ドキュメントが属するカテゴリとに基づいて集計された出現頻度に基づき、コンピュータにより、各カテゴリにおける構成要素の出現しやすさを表す特徴量をカテゴリごとに算出して第３記憶部に記憶する特徴量算出工程と、前記第１入力工程において前記第１記憶部に記憶された複数の学習対象ドキュメントの各々について、前記学習対象ドキュメントを構成する前記大要素ごとに、それら大要素に含まれる複数の構成要素の各々について前記第３記憶部に記憶されている特徴量に基づいて、コンピュータにより、カテゴリの判定における大要素の重要さを表す重要度を算出して第４記憶部に記憶する重要度算出工程と、前記第１入力工程において前記第１記憶部に記憶された複数の学習対象ドキュメントの各々について、学習対象ドキュメントを構成する複数の大要素の木構造のレイアウトと、前記重要度算出工程において前記第４記憶部に記憶された各大要素の重要度とを第５記憶部に記憶するレイアウト記憶工程と、を有することを特徴とするドキュメント解析プログラムである。
請求項１５に係る発明は、複数の構成要素をそれぞれ含む複数の大要素が木構造を成して構成されるドキュメントを解析するためのドキュメント解析装置であって、それぞれが所定のカテゴリに属する複数の第１ドキュメントを学習対象ドキュメントとして入力して第１記憶部に記憶する第１入力部と、前記第１入力部により前記１記憶部に記憶された前記複数の学習対象ドキュメントから、各学習対象ドキュメントに含まれる複数の構成要素を抽出して第２記憶部に記憶する第１要素抽出部と、前記第１要素抽出部により抽出されて前記第２記憶部に記憶されている複数の構成要素と、各構成要素が抽出された前記学習対象ドキュメントが属するカテゴリとに基づいて集計された出現頻度に基づき、各カテゴリにおける構成要素の出現しやすさを表す特徴量をカテゴリごとに算出して第３記憶部に記憶する特徴量算出部と、前記第１入力部により前記第１記憶部に記憶された複数の学習対象ドキュメントの各々について、前記学習対象ドキュメントを構成する前記大要素ごとに、それら大要素に含まれる複数の構成要素の各々について前記第３記憶部に記憶されている特徴量に基づいて、カテゴリの判定における大要素の重要さを表す重要度を算出して第４記憶部に記憶する重要度算出部と、前記第１入力部により前記第１記憶部に記憶された複数の学習対象ドキュメントの各々について、学習対象ドキュメントを構成する複数の大要素の木構造のレイアウトと、前記重要度算出工程において前記第４記憶部に記憶された各大要素の重要度とを第５記憶部に記憶するレイアウト記憶部と、を有することを特徴とするドキュメント解析装置である。
請求項１６に係る発明は、複数の構成要素をそれぞれ含む複数の大要素が木構造を成して構成されるドキュメントをコンピュータによって解析するためのドキュメント解析方法であって、コンピュータにより、それぞれが所定のカテゴリに属する複数の第１ドキュメントを学習対象ドキュメントとして入力して第１記憶部に記憶する第１入力工程と、コンピュータにより、前記第１入力工程において前記１記憶部に記憶された前記複数の学習対象ドキュメントから、各学習対象ドキュメントに含まれる複数の構成要素を抽出して第２記憶部に記憶する第１要素抽出工程と、前記第１要素抽出工程において抽出されて前記第２記憶部に記憶されている複数の構成要素と、各構成要素が抽出された前記学習対象ドキュメントが属するカテゴリとに基づいて集計された出現頻度に基づき、コンピュータにより、各カテゴリにおける構成要素の出現しやすさを表す特徴量をカテゴリごとに算出して第３記憶部に記憶する特徴量算出工程と、前記第１入力工程において前記第１記憶部に記憶された複数の学習対象ドキュメントの各々について、前記学習対象ドキュメントを構成する前記大要素ごとに、それら大要素に含まれる複数の構成要素の各々について前記第３記憶部に記憶されている特徴量に基づいて、コンピュータにより、カテゴリの判定における大要素の重要さを表す重要度を算出して第４記憶部に記憶する重要度算出工程と、前記第１入力工程において前記第１記憶部に記憶された複数の学習対象ドキュメントの各々について、学習対象ドキュメントを構成する複数の大要素の木構造のレイアウトと、前記重要度算出工程において前記第４記憶部に記憶された各大要素の重要度とを第５記憶部に記憶するレイアウト記憶工程と、を有することを特徴とするドキュメント解析方法である。
【発明の効果】
【０００９】
本発明によれば、レイアウト構造とカテゴリを直ちに結びつけるのではなく、カテゴリ判定にとって重要か否かという情報をレイアウト構造に対して関連付けることができる。すなわち、本発明によれば、レイアウト構造を持つドキュメントについて、ドキュメントの主題に対応した箇所を特定することができるので、カテゴリの分類精度が向上する。
【発明を実施するための最良の形態】
【００１０】
――第１の実施の形態――
図面を用いて、本発明の一実施の形態によるドキュメント分類装置について説明する。図１は、本実施の形態におけるドキュメント分類装置の全体構成を示すブロック図である。図に示したドキュメント分類装置１は、ＨＴＭＬで記述されたドキュメント（以下、ＨＴＭＬドキュメントという）を入力する。入力されたＨＴＭＬドキュメントが属するカテゴリについては、後に説明する手順に従ってカテゴリ判定処理を実行する。カテゴリ判定処理の結果は、複数あるカテゴリの各カテゴリについて、入力されたＨＴＭＬドキュメントが属する確率として出力される。
【００１１】
ドキュメント分類装置１を用いてドキュメントのカテゴリ分類を行う場合、事前に学習を行う必要がある。ドキュメント分類装置１における学習は２つの工程に分かれており、一方がカテゴリ特徴学習、他方がレイアウト特徴学習である。学習を行う際は、予めカテゴリが判明しているドキュメントを複数用意し、まずカテゴリ特徴学習を行った後、レイアウト特徴学習を行う。
【００１２】
ドキュメント分類装置１は、カテゴリ特徴学習部２、レイアウト特徴学習部３、カテゴリ確率判定部４およびデータ記憶部５から構成される。カテゴリ特徴学習部２は、学習対象ドキュメント入力部２１、要素抽出部２２およびカテゴリ特徴算出部２３を備え、カテゴリ特徴学習を行う。
【００１３】
レイアウト特徴学習部３は、学習対象ドキュメント入力部３１、レイアウト解析部３２、要素抽出部３３およびレイアウト特徴解析部３４を備え、レイアウト特徴学習を行う。カテゴリ確率判定部４は、判定対象ドキュメント入力部４１、カテゴリ判定部４２、要素抽出部４３およびカテゴリ得点算出部４４を備え、ＨＴＭＬドキュメントのカテゴリ判定処理を行う。
【００１４】
データ記憶部５は、カテゴリ特徴テーブル５１、レイアウト特徴テーブル５２、除去タグテーブル５３、除去属性テーブル５４、類似タグテーブル５５およびカテゴリテーブル５６を備える。カテゴリ特徴テーブル５１には、カテゴリ特徴学習の結果が記録される。レイアウト特徴テーブル５２には、レイアウト特徴学習の結果が記録される。除去タグテーブル５３、除去属性テーブル５４、類似タグテーブル５５の３つのテーブルは、ＨＴＭＬドキュメントの正規化処理（後に詳述する）に用いるデータが記録されている。カテゴリテーブル５６には、カテゴリ特徴学習，レイアウト特徴学習およびカテゴリ判定処理に用いるカテゴリの一覧が記録されている。
【００１５】
次に、ドキュメント分類装置１がカテゴリ判定処理の対象とするＨＴＭＬドキュメントについて、図を用いて説明する。図２は、ＨＴＭＬドキュメントの一例を示す図である。ＨＴＭＬドキュメントは、開始タグから終了タグに至るＨＴＭＬ要素で構成される。例えば、図２（ａ）のＨＴＭＬドキュメント６１において、“＜Ｐ＞”で始まり“＜／Ｐ＞”で終わる記述（６２）は、１つのＨＴＭＬ要素である。
【００１６】
ＨＴＭＬ要素同士は木構造を構成し、あるＨＴＭＬ要素の下位に別のＨＴＭＬ要素が位置することがある。例えば、ＨＴＭＬ要素６２が含んでいる、“＜ＥＭ＞”で始まり“＜／ＥＭ＞”で終わる記述（６４）は、ＨＴＭＬ要素６２の下位に位置する１つのＨＴＭＬ要素である。図２（ｂ）は、図２（ａ）のＨＴＭＬドキュメント６１を構成するＨＴＭＬ要素を、木構造の形で表現した図である。ＨＴＭＬ要素６４が、ＨＴＭＬ要素６２の下位に位置している。
【００１７】
以下の説明では、あるＨＴＭＬ要素において、そのＨＴＭＬ要素自身の開始タグと終了タグとを取り除いた残りの部分を、ＨＴＭＬ要素の内容と呼ぶ。例えば、図２（ａ）において、点線６３で囲まれた記述は、ＨＴＭＬ要素６２の内容である。なお、ＨＴＭＬ要素の内容として、下位に位置するＨＴＭＬ要素の内容を含まなくてもよい。この場合、ＨＴＭＬ要素６２の内容は、点線６３で囲まれた記述からＨＴＭＬ要素６４を取り除いた記述となる。
【００１８】
本実施の形態では、ＨＴＭＬ要素の内容からＨＴＭＬタグを除去し、単語ごとに分割したものを、カテゴリ判定のために用いる要素とする。すなわち、本実施の形態において、１つの要素は１つの単語である。単語への分割は、公知の形態素解析技術を用いる。
【００１９】
なお、１つの要素が１つの単語であることに加えて、隣接する２つの単語を１つの要素として扱ってもよい。この場合、２つの単語から、隣接する２つの単語をそれぞれ別個の要素としたものと、２つの単語を合わせた要素の、３つの要素が取り出される。また、隣接していない２つの単語を要素としたり、３つ以上の単語を要素としてもよい。これらの方法を用いることで、単語間の共起を考慮したカテゴリ判定を行うことができる。
【００２０】
次に、ドキュメント分類装置１を用いて学習およびカテゴリ判定を行う手順を、図を用いて説明する。図３は、ドキュメント分類装置１を利用する手順を示す図である。始めに、６５で示す、カテゴリ特徴学習を行う。既にカテゴリが判明しているＨＴＭＬドキュメントを学習対象として用意する。学習対象ドキュメントならびに学習対象ドキュメントが属するカテゴリを、カテゴリ特徴学習部２に与えると、学習の結果がカテゴリ特徴テーブル５１に記録される。上記手続きを複数の学習対象ドキュメントについて繰り返す。
【００２１】
カテゴリ特徴学習の次に、６６で示す、レイアウト特徴学習を行う。レイアウト特徴学習には、カテゴリ特徴学習で用いたのと同じ学習対象ドキュメントを使用する。カテゴリ特徴学習と同様に、学習対象ドキュメントならびに学習対象ドキュメントが属するカテゴリを、レイアウト特徴学習部３に与えると、学習の結果がレイアウト特徴テーブル５２に記録される。上記手続きを複数の学習対象ドキュメントについて繰り返す。レイアウト特徴学習には、カテゴリ特徴テーブル５１、除去タグテーブル５３、除去属性テーブル５４および類似タグテーブル５５の内容が用いられる。
【００２２】
カテゴリ特徴学習およびレイアウト特徴学習が終了すると、６７で示す、カテゴリ判定を行うことができる。カテゴリ判定の対象とするＨＴＭＬドキュメントをカテゴリ確率判定部４に与えると、カテゴリ判定結果６８が得られる。カテゴリ判定結果６８は、カテゴリ判定対象ドキュメントが各々のカテゴリに属する確率を示す。なお、図３に示したカテゴリ判定結果６８は、カテゴリ判定結果の一例である。
【００２３】
次に、カテゴリ特徴学習部２の処理内容を、図を用いて説明する。図４は、カテゴリ特徴学習部２を詳細に示したブロック図である。学習対象ドキュメント入力部２１は、学習対象ドキュメントからＨＴＭＬタグを除去して、要素抽出部２２へ出力する。要素抽出部２２は、入力を要素に分解し、得られたすべての要素をカテゴリ特徴算出部２３へ出力する。カテゴリ特徴算出部２３は、与えられた要素ならびに学習対象ドキュメントの属するカテゴリに基づいて、カテゴリ特徴テーブル５１の内容を更新する。
【００２４】
図５は、カテゴリ特徴テーブル５１のデータ構造を示す図である。カテゴリ特徴テーブル５１には、要素６９と、カテゴリ７０と、出現頻度７１と、特徴量７２とが含まれている。カテゴリ特徴テーブル５１の１つのレコードは、あるカテゴリにおける要素の出現頻度と、その要素がどの程度当該カテゴリの特徴を表すかを記録している。特徴量７２が小さいほど、どのカテゴリのドキュメントでも使用される一般的な要素であることを意味し、特徴量７２が大きいほど、あるカテゴリで出現しやすい特徴的な要素であることを意味する。特徴量７２の算出には、公知のＴＦ−ＩＤＦ（Ｔｅｒｍ  Ｆｒｅｑｕｅｎｃｙ−Ｉｎｖｅｒｓｅ  Ｄｏｃｕｍｅｎｔ  Ｆｒｅｑｕｅｎｃｙ）法を用いる。
【００２５】
図６は、カテゴリ特徴学習の処理内容を説明するためのフローチャートである。まずステップＳ１では、学習対象のドキュメントと、そのドキュメントが属するカテゴリを受け取る。ステップＳ２では、学習対象のドキュメントからすべてのＨＴＭＬタグを除去する。ステップＳ３では、ＨＴＭＬタグを除去したドキュメントを要素に分解し、すべての要素を取り出す。以降のステップでは、ステップＳ３で取り出した要素に対して処理を行う。
【００２６】
ステップＳ４では、未選択の要素を１つ選択する。ステップＳ５では、選択した要素を「要素」列に含むレコードが、カテゴリ特徴テーブル５１に存在するか否かを判定する。カテゴリ特徴テーブル５１に上記レコードが存在した場合、ステップＳ５により肯定判定がなされ、ステップＳ７へ進む。他方、ステップＳ５において否定判定がなされた場合は、ステップＳ６へ進む。ステップＳ６では、「要素」列に選択した要素が格納されているレコードを、カテゴリ特徴テーブル５１へ追加する。このとき、すべてのカテゴリについてレコードを追加する。すなわち、「要素」列に選択した要素が格納され、「カテゴリ」列には各々のカテゴリが格納されているレコードを、カテゴリの総数分追加する。追加するレコードの「出現頻度」は０、「特徴量」は１とする。
【００２７】
ステップＳ７では、カテゴリ特徴テーブル５１から、「要素」列に選択した要素を含み、かつ「カテゴリ」列に学習対象ドキュメントが属するカテゴリを含むレコードを探索し、発見したレコードの「出現頻度」へ１を加算する。ステップＳ８では、カテゴリ特徴テーブル５１から、「要素」列に選択した要素を含むレコードを探索し、発見したレコードの「特徴量」を所定の方法に従って更新する。ステップＳ９では、ステップＳ３で取り出したすべての要素が選択済みか否かを判定する。未選択の要素が存在していた場合、ステップＳ９により否定判定がなされ、ステップＳ４に戻る。他方、ステップＳ９において肯定判定がなされた場合は、カテゴリ特徴学習を終了する。
【００２８】
次に、レイアウト特徴学習部３の処理内容を、図を用いて説明する。図７は、レイアウト特徴学習部３を詳細に示したブロック図である。学習対象ドキュメント入力部３１は、学習対象のＨＴＭＬドキュメントに対して正規化処理（後に詳述する）を行い、結果をレイアウト解析部３２へ出力する。レイアウト解析部３２は、入力されたＨＴＭＬドキュメントを構成するＨＴＭＬ要素ごとに、ＨＴＭＬ要素の内容を要素抽出部３３へ繰り返し出力する。この結果として、レイアウト特徴解析部３４から、各ＨＴＭＬ要素の重要度を得る。
【００２９】
要素抽出部３３は、入力されたＨＴＭＬ要素の内容を要素に分解し、得られたすべての要素をレイアウト特徴解析部３４へ出力する。レイアウト特徴解析部３４は、与えられた要素ならびに学習対象ドキュメントが属するカテゴリを基に、カテゴリ特徴テーブル５１から各要素の特徴量を取得する。そして、得られた各要素の特徴量から、レイアウト解析部３２が出力したＨＴＭＬ要素の重要度を算出し、レイアウト解析部３２へ出力する。重要度を受け取ったレイアウト解析部３２は、引き続き別のＨＴＭＬ要素について、ＨＴＭＬ要素の内容を出力し、重要度を取得する。レイアウト解析部３２が上記の手続きを繰り返すことで、最終的に、学習対象ドキュメントが備えるすべてのＨＴＭＬ要素について重要度が算出される。レイアウト解析部３２は、正規化されたＨＴＭＬドキュメントと、上記ＨＴＭＬドキュメントに含まれる各ＨＴＭＬ要素の重要度とを基に、レイアウト特徴テーブル５２を更新する。
【００３０】
図８は、レイアウト特徴テーブル５２のデータ構造を示す図である。レイアウト特徴テーブル５２には、図８に示すテーブルが複数記録されている。１つのテーブルは、１つのＨＴＭＬドキュメントを元に作成される。テーブルに格納されているデータのうち、ＨＴＭＬ要素７３および属性値７４は、元になったＨＴＭＬドキュメントをそのまま反映している。識別子７５は、レイアウト解析部３２によって割り当てられる、一意な識別子である。重要度７６は、ＨＴＭＬ要素がカテゴリ判別にとってどの程度重要かを示す数値であり、値が大きいほどカテゴリ判別に大きな影響を与える。
【００３１】
図９は、レイアウト特徴学習の処理手順を示すフローチャートである。まずステップＳ１０では、学習対象のドキュメントと、そのドキュメントが属するカテゴリを受け取る。ステップＳ１１では、学習対象のドキュメントに対して、正規化処理（後に詳述する）を行う。ステップＳ１２では、学習対象のドキュメントを構成する各々のＨＴＭＬ要素に対して、学習対象のドキュメント内でユニークな識別子、ならびに、重要度の初期値である１を与える。
【００３２】
ステップＳ１３では、学習対象のドキュメントから、未選択のＨＴＭＬ要素を１つ選択する。ステップＳ１４では、ステップＳ１３で選択したＨＴＭＬ要素の内容を、要素に分解して取り出す。ステップＳ１５では、ステップＳ１４で取り出した要素の中から、未選択の要素を１つ選択する。ステップＳ１６では、選択した要素を「要素」列に含み、かつ学習対象ドキュメントが属するカテゴリを「カテゴリ」列に含むレコードを、カテゴリ特徴テーブル５１から探索する。ステップＳ１７では、ステップＳ１６で発見したレコードから「特徴量」を取り出し、ステップＳ１３で選択したＨＴＭＬ要素の重要度に対して乗算を行う。
【００３３】
ステップＳ１８では、ステップＳ１４で取り出した要素がすべて選択済みであるか否かを判定する。要素をすべて選択済みである場合、ステップＳ１８により肯定判定がなされ、ステップＳ１９へ進む。他方、ステップＳ１８において否定判定がなされた場合は、ステップＳ１５へ戻る。ステップＳ１９では、学習対象のドキュメントを構成するすべてのＨＴＭＬ要素が選択済みであるか否かを判定する。未選択のＨＴＭＬ要素が存在していた場合、ステップＳ１９により否定判定がなされ、ステップＳ１３へ戻る。他方、ステップＳ１９において肯定判定がなされた場合は、レイアウト特徴学習を終了する。
【００３４】
次に、図９のステップＳ１１で実行される、ＨＴＭＬドキュメントの正規化処理を、図を用いて説明する。図１０は、ＨＴＭＬドキュメントの正規化処理手順を示すフローチャートである。ステップＳ２１では、ＨＴＭＬドキュメントから未知のＨＴＭＬタグを削除する。ステップＳ２２では、不足している終了タグと属性、ならびに、省略されている終了タグと属性を補完する。ステップＳ２３では、除去タグテーブル５３に含まれているＨＴＭＬタグを削除する。ステップＳ２４では、類似タグテーブル５５に従って、同一視するＨＴＭＬタグ同士を同一のＨＴＭＬタグに置き換える。ステップＳ２５では、除去属性テーブル５４に含まれている属性を削除する。ステップＳ２６では、空白文字と改行文字の除去、ならびに追加を行う。具体的には、まず冗長な空白文字と改行文字を削除する。次に、ＨＴＭＬタグが行頭となるよう改行文字の追加を行う。同様に、ＨＴＭＬ要素の内容が行頭から始まるように改行文字の追加を行う。
【００３５】
次に、カテゴリ確率判定部４の処理内容を、図を用いて説明する。図１１は、カテゴリ確率判定部４を詳細に示したブロック図である。判定対象ドキュメント入力部４１は、レイアウト特徴テーブル５２に含まれるテーブルの中から、判定対象のＨＴＭＬドキュメントにもっとも似ているＨＴＭＬ要素の構造を持つテーブルを探索して、カテゴリ得点算出部４４へ出力する。また、判定対象のＨＴＭＬドキュメントを前述の通り正規化して、カテゴリ判定部４２へ出力することも行う。カテゴリ判定部４２は、カテゴリ得点の管理を行う。カテゴリ得点は、各々のカテゴリに割り当てられた数値であり、初期値は０となっている。カテゴリ得点が高いカテゴリほど、判定対象ドキュメントが属する確率が高い。カテゴリ判定部４２は、入力されたＨＴＭＬドキュメントを構成するＨＴＭＬ要素ごとに、ＨＴＭＬ要素の内容を要素抽出部４３へ繰り返し出力する。この結果として、カテゴリ得点算出部４から、カテゴリ得点の更新情報を受け取る。
【００３６】
要素抽出部４３は、入力されたＨＴＭＬ要素の内容を要素に分解し、得られたすべての要素をカテゴリ得点算出部４４へ出力する。カテゴリ得点算出部４４は、与えられた要素、判定対象ドキュメント入力部４１から与えられたテーブル、ならびに、カテゴリ特徴テーブル５１に基づいて、各々のカテゴリに加算するカテゴリ得点を、カテゴリ判定部４２へ出力する。カテゴリ得点を受け取ったカテゴリ判定部２は、引き続き別のＨＴＭＬ要素について、ＨＴＭＬ要素の内容を出力し、カテゴリ得点を取得する。カテゴリ判定部４２が上記の手続きを繰り返すことで、最終的に、すべてのカテゴリにおけるカテゴリ得点が算出される。カテゴリ判定部４２は、カテゴリ得点から、判定対象ドキュメントが各々のカテゴリに属する確率を算出し、判定結果として出力する。
【００３７】
図１２は、カテゴリ判定の処理手順を示すフローチャートである。まずステップＳ２７では、すべてのカテゴリに対して、カテゴリ得点の初期値０を与える。ステップＳ２８では、カテゴリ判定対象ドキュメントに対して、図１０で説明した手順に従い正規化処理を行う。ステップＳ２９では、レイアウト特徴テーブル５２に記録されているテーブルのうち、カテゴリ判定対象ドキュメントにもっとも似ているＨＴＭＬ要素の構造を含むテーブルを取得する。ＨＴＭＬ要素の類似度を測る具体的な方法は、カテゴリ判定対象ドキュメントからＨＴＭＬタグ以外を削除したＨＴＭＬドキュメントと、レイアウト特徴テーブル５２に含まれる各テーブルについて元になったＨＴＭＬドキュメントとを、公知の文書比較アルゴリズム（例えば、動的計画法を用いて最長共通部分文字列を求めるアルゴリズム）によって行単位で比較するというものである。比較した結果、同一性がもっとも高いテーブルを取得する。同一性の判定には、相違部分の割合を用いてもよいし、編集距離を用いてもよい。以下の説明において、上記手続きによって取得されたテーブルを、比較対象テーブルと呼ぶ。
【００３８】
ステップＳ３０では、判定対象のＨＴＭＬドキュメントから、未選択のＨＴＭＬ要素を１つ選択する。ステップＳ３１では、ステップＳ３０で選択したＨＴＭＬ要素の内容を、要素に分解して取り出す。ステップＳ３２では、ステップＳ３１で取り出した要素の中から、未選択の要素を１つ選択する。ステップＳ３３では、選択した要素を「要素」列に含むレコードが、カテゴリ特徴テーブル５１に存在するか否かを判定する。該当するレコードがカテゴリ特徴テーブル５１に存在していた場合、ステップＳ３３により肯定判定がなされ、ステップＳ３４へ進む。他方、ステップＳ３３において否定判定がなされた場合は、ステップＳ３８へ進む。ステップＳ３４では、ステップＳ３０で選択したＨＴＭＬ要素が、比較対象テーブルに存在するか否かを判定する。比較対象テーブルに同一のＨＴＭＬ要素が存在した場合、ステップＳ３４により肯定判定がなされ、ステップＳ３５へ進む。他方、ステップＳ３４において否定判定がなされた場合は、ステップＳ３７へ進む。
【００３９】
ステップＳ３５では、比較対象テーブルに存在する、ステップＳ３０で選択したＨＴＭＬ要素と同一のＨＴＭＬ要素から、重要度を取得する。ステップＳ３６では、各々のカテゴリについて以下の処理を行う。まず、カテゴリ特徴テーブル５１から、ステップＳ３２で選択した要素を「要素」列に含み、かつ「カテゴリ」列に処理対象となっているカテゴリを含むレコードを探索し、「特徴量」を取得する。次に、ステップＳ３５で取得した重要度と、上記の「特徴量」を乗算し、その結果を、処理対象となっているカテゴリのカテゴリ得点へ加算する。
【００４０】
ステップＳ３７では、各々のカテゴリについて以下の処理を行う。まず、カテゴリ特徴テーブル５１から、ステップＳ３２で選択した要素を「要素」列に含み、かつ「カテゴリ」列に処理対象となっているカテゴリを含むレコードを探索し、「特徴量」を取得する。次に、上記の「特徴量」を、処理対象となっているカテゴリのカテゴリ得点へ加算する。ステップＳ３７では、ステップＳ３６と異なり、重要度の乗算は行われない。
【００４１】
ステップＳ３８では、ステップＳ３１で取り出した要素がすべて選択済みであるか否かを判定する。要素をすべて選択済みである場合、ステップＳ３８により肯定判定がなされ、ステップＳ３９へ進む。他方、ステップＳ３８において否定判定がなされた場合は、ステップＳ３２へ戻る。ステップＳ３９では、判定対象のＨＴＭＬドキュメントに存在するすべてのＨＴＭＬ要素が選択済みであるか否かを判定する。未選択のＨＴＭＬ要素が存在する場合、ステップＳ３９により否定判定がなされ、ステップＳ３０へ戻る。他方、ステップＳ３９において肯定判定がなされた場合は、カテゴリ判定処理を終了する。
【００４２】
以上のカテゴリ判定処理によって得られたカテゴリ得点を、カテゴリ得点の総和によって除算すれば、カテゴリ判定結果６８（図３）が得られる。
【００４３】
上述した第１の実施の形態によるドキュメント分類方法によれば、次の作用効果が得られる。
（１）レイアウト特徴によって、カテゴリ判定のために重要な箇所を特定するようにした。これにより、普遍的なレイアウト構造のＨＴＭＬドキュメントを扱う場合でも、カテゴリごとの違いが現れやすい箇所を重視するので、カテゴリ判定の精度が向上する。
（２）除去タグテーブルおよび除去属性テーブルによって、特定のＨＴＭＬタグや属性を事前に削除することができる。これにより、カテゴリごとの特徴に寄与しないＨＴＭＬタグなどをレイアウト特徴に含まないので、カテゴリ判定の精度が向上する。
（３）比較対象テーブルに存在しないＨＴＭＬ要素における要素は、無視されるのではなく、カテゴリ得点へ単純に加算される。これにより、レイアウト構造の共通部分ではない場所に出現した特徴的な要素も考慮してカテゴリ判定が行えるため、カテゴリ判定の精度が向上する。
【００４４】
上述した第１の実施の形態では、判定対象のドキュメントはＨＴＭＬドキュメントであり、いわゆるテキストデータが処理対象となっていた。以下に詳述する第２の実施の形態では、判定対象のドキュメントは画像であるとする。
【００４５】
――第２の実施の形態――
本実施の形態においては、学習対象のドキュメントならびに判定対象のドキュメントは画像データとする。カテゴリが与えられた複数の画像を学習対象ドキュメントとし、例えば人物カテゴリの画像の場合、画像中央付近に肌色が存在すること、また夕焼けカテゴリの画像の場合は画像上部に赤色が多いことなどの特徴をカテゴリ特徴として学習する。次に、レイアウト特徴の学習を行う。例えば夕焼けカテゴリの画像において、画像が上下に分割されていた場合、画像の上部が重要であるといったレイアウト特徴の学習が行われる。
【００４６】
以上の処理で学習されたカテゴリ特徴とレイアウト特徴から、特定の画像のカテゴリ判定を行う。例えば判定対象の画像が上下に分割されていた場合、上述の学習結果から画像上部が重要であるという判定がなされ、画像上部の比較結果が画像下部よりも重要視されることになる。
【００４７】
上述した第２の実施の形態によるドキュメント分類方法によれば、第１の実施の形態によるドキュメント分類方法で得られる作用効果に加えて、次の作用効果が得られる。カテゴリ判定対象のドキュメントを画像データとし、カテゴリ特徴とレイアウト特徴の学習結果を用いた。これにより、文書データ以外のドキュメントに対しても、レイアウト特徴を用いてカテゴリ判定を行うことができる。
【００４８】
上述した実施の形態では、レイアウト解析を用いてドキュメントの自動分類を行っていた。本発明のレイアウト解析方法を、ドキュメントの検索方法に適用することも可能である。以下に詳述する第３の実施の形態では、レイアウト解析の結果からドキュメントの検索を行う。
【００４９】
――第３の実施の形態――
図面を用いて、本発明の一実施の形態によるドキュメント検索装置について説明する。図１３は、本実施の形態におけるドキュメント検索装置の全体構成を示すブロック図である。図に示したドキュメント検索装置１０１は、キーワードが入力されると、検索対象ドキュメントＤＢ１５７に含まれるドキュメント群に対して、キーワードに基づいて検索処理を実行する。具体的には、キーワードが使用されているドキュメントを特定し、それらのドキュメントを、キーワードとの関連の強さを基に順序づける。検索結果は、順序付けられた複数のドキュメントとして出力される。
【００５０】
ドキュメント検索装置１０１を用いる際は、第１の実施の形態におけるドキュメント分類装置１と同様に、事前に学習を行う必要がある。学習の詳細は、ドキュメント分類装置１と同様のため、省略する。
【００５１】
ドキュメント検索装置１０１は、カテゴリ特徴学習部１０２、レイアウト特徴学習部１０３、ドキュメント検索部１０４およびデータ記憶部１０５から構成される。カテゴリ特徴学習部１０２およびレイアウト特徴学習部１０３は、第１の実施の形態におけるドキュメント分類装置１と同様である。
【００５２】
データ記憶部１０５は、第１の実施の形態におけるデータ記憶部５に加えて、検索対象ドキュメントＤＢ１５７を備える。検索対象ドキュメントＤＢ１５７は、検索対象となる複数のドキュメントが格納されている。
【００５３】
ドキュメント検索部１０４は、キーワード入力部１４１および得点算出部１４２を備える。キーワード入力部１４１は、検索するキーワードを受け取ると、まず検索対象ドキュメントＤＢ１５７から、キーワードを含むドキュメント群を取り出す。次に、取り出した各々のドキュメントについて、キーワードと共に得点算出部１４２へ送信する。
【００５４】
得点算出部１４２は、キーワードと処理対象のドキュメントを受信すると、第１の実施の形態における判定対象ドキュメント入力部４１と同様に、処理対象のドキュメントにもっとも似ているＨＴＭＬ要素の構造を有するテーブルを、レイアウト特徴テーブル１５２から取得する。次に、処理対象のドキュメントにおける、キーワードの出現場所を調べる。キーワード１つにつき、レイアウト特徴テーブル１５２の、出現場所と対応する重要度を得点に加算し、最終的な得点をキーワード入力部１４１へ返す。
【００５５】
上記の処理を、ドキュメント群に含まれる全てのドキュメントについて実行したキーワード入力部１４１は、ドキュメント群を得点順に整列し、検索結果として出力する。以上のようにして、レイアウト構造に基づいた検索結果が得られる。
【００５６】
上述した第３の実施の形態によるドキュメント検索方法によれば、次の作用効果が得られる。キーワードが含まれるドキュメント群について、単純にキーワードの出現回数で順序付けるのではなく、ドキュメントのレイアウト構造に基づいてキーワードの重み付けを行った。これにより、ドキュメントの主題部分でキーワードが使用されているドキュメントが検索結果の上位となるので、検索精度が向上する。
【００５７】
次のような変形も本発明の範囲内である。
（１）レイアウト特徴テーブルには、学習対象ドキュメント１つにつき１つのテーブルを記録するのではなく、似通った構造を持つ複数の学習対象ドキュメント群に対して１つのテーブルを記録するようにしてもよい。この場合、複数のドキュメントに共通するＨＴＭＬ要素のみをテーブルに記録する。共通するＨＴＭＬ要素の抽出には、ＨＴＭＬドキュメントの類似度を判定するのと同じ手法を利用できる。また、ＨＴＭＬ要素の重要度は、複数のＨＴＭＬドキュメント間で平均を取ればよい。
【００５８】
（２）ドキュメントの要素には、単語や共起語以外のものを用いてもよい。例えば、形態素解析を行わずに隣接する２文字を１つの要素としてもよいし、単語間の距離を１つの要素としてもよい。また、ドキュメントに埋め込まれた画像を１つの要素としてもよい。
【００５９】
（３）カテゴリ特徴テーブルに記録される特徴量は、ＴＦ−ＩＤＦ法以外の手法を用いてもよい。
【００６０】
（４）カテゴリ判定の対象とするドキュメントは、何らかの構造を有するものであれば、ＨＴＭＬドキュメント以外の形式であってもよい。例えば、いわゆるワードプロセッサによって作成されたドキュメントであってもよいし、画像であってもよい。画像を判定対象とする場合は、要素はピクセルの位置や色としてもよいし、Ｓｃａｌａｂｌｅ  Ｖｅｃｔｏｒ  Ｆｏｒｍａｔ（ＳＶＧ）形式などのマークアップ言語に変換して扱ってもよい。
【００６１】
（５）文章を有するドキュメントにおいて、文章中に出現するパターンをレイアウト特徴学習に利用してもよい。例えば、「はじめに」や「序論」などといった文が出現した場合、以降はレイアウト構造上独立した箇所であると見なすことができる。
【００６２】
（６）レイアウト特徴学習に用いるドキュメントは、カテゴリが判明していなくてもよい。この場合、学習対象ドキュメントが属するカテゴリとして、学習対象ドキュメントを公知のドキュメント自動分類技術とカテゴリ特徴学習の結果によって分類したカテゴリを用いる。
【００６３】
（７）カテゴリの判定やキーワードによる検索以外にも、本発明のレイアウト解析を利用することができる。例えば、ドキュメントの要約処理においては、重要度の小さい箇所を大きく略し、重要度の大きい箇所を残すことができる。
【００６４】
本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。
【図面の簡単な説明】
【００６５】
【図１】第１の実施の形態におけるドキュメント分類装置の全体構成を示すブロック図である。
【図２】第１の実施の形態が処理対象とするＨＴＭＬドキュメントの例を示す図である。
【図３】第１の実施の形態におけるドキュメント分類装置を利用する手順を示す図である。
【図４】カテゴリ特徴学習部の処理内容を説明するためのブロック図である。
【図５】カテゴリ特徴テーブルのデータ構造を示す図である。
【図６】カテゴリ特徴学習の処理手順を示すフローチャートである。
【図７】レイアウト特徴学習部の処理内容を説明するためのブロック図である。
【図８】レイアウト特徴テーブルのデータ構造を示す図である。
【図９】レイアウト特徴学習の処理手順を示すフローチャートである。
【図１０】ＨＴＭＬドキュメントの正規化を行う処理手順を示すフローチャートである。
【図１１】カテゴリ確率判定部の処理内容を説明するためのブロック図である。
【図１２】カテゴリ判定の処理手順を示すフローチャートである。
【図１３】第３の実施の形態におけるドキュメント検索装置の全体構成を示すブロック図である。
【符号の説明】
【００６６】
１  ドキュメント分類装置
２  カテゴリ特徴学習部
３  レイアウト特徴学習部
４  カテゴリ確率判定部
５  データ記憶部
５１  カテゴリ特徴テーブル
５２  レイアウト特徴テーブル
【図１】
0004959603.tif 000002
【図２】
0004959603.tif 000003
【図３】
0004959603.tif 000004
【図４】
0004959603.tif 000005
【図５】
0004959603.tif 000006
【図６】
0004959603.tif 000007
【図７】
0004959603.tif 000008
【図８】
0004959603.tif 000009
【図９】
0004959603.tif 000010
【図１０】
0004959603.tif 000011
【図１１】
0004959603.tif 000012
【図１２】
0004959603.tif 000013
【図１３】
0004959603.tif 000014