Vol. 42

No. 11

Nov. 2001

情報処理学会論文誌

論文間の参照情報を考慮した関連論文の組織化
難

波

英

嗣†

神

門

典 子††

奥

村

学†††

本稿では，論文間の参照・被参照関係，および参照の理由を考慮し，関連論文を組織化する手法について述べる．これまで，引用分析研究の分野で，論文間の参照・被参照関係に着目した関連論文を組織化する手法がいくつか提案されてきた．これらの手法はすべての参照を等価に扱っているが，実際には様々な参照の理由が存在するため，既存の手法では必ずしも論文間の類似度を適切に評価できない．そこで，本研究では 2 論文間で同一論文をともに参照しており，かつそれらの参照の理由が一致している結合のみを数えるという方法で，2 論文間の類似度を測る．この手法により，ノイズとなる結合を削減でき，また，従来の引用分析手法と比べ，精度の向上が期待できる．提案手法の有効性を調べるために，実験を行った．実験では，提案手法，引用分析の代表的な手法である書誌結合，語の共出現を用いたより一般的な組織化の手法（ ベクトル空間型モデル ）を，精度，フォールアウト，
計算コストという 3 つの側面から比較した．その結果，提案手法が精度，フォールアウトによる評価
で最も優れ，また，計算コストの面でも十分に速い速度で論文を組織化できることが分かった．

Classification of Research Papers
Using Citation Links and Citation Types
Hidetsugu Nanba,† Noriko Kando†† and Manabu Okumura†††In this paper, we propose a method for classiﬁcation of research papers using citation links
and citation types that indicate the reasons for citations. Several methods has been proposedfor classiﬁcation of papers using citation links in citation analysis. However, most of themtreats all citations equally. We therefore reﬁne citation analysis by taking account of citation
types. Our method measures similarity between papers by counting the couplings of the samecitation types. We compared our method with bibliographic coupling that is a kind of citation
analysis and some word-based approaches (vector space model) using precision, fallout, andcomputational cost. The results of our experiments showed that our method is more eﬀective
than other methods.

1. は じ め にはトピックごとの関連論文の組織化を目指す．

近年，学術情報の爆発的な増加とともに，数多くの研究分野で，文書を組織化する様々な手法が提案され電子化された論文がオンラインから入手できるようにてきた3) . その中心的な手法は，文書中の語，文書に

1),2)

これまで，クラスタリングやカテゴ リゼーションの. これらの論文の書誌情報を抽出・蓄積す付与されたディスクリプタ（キーワード ）等を用いて，れば，論文データベースとして論文検索が可能になる

個々の文書をベクトル空間型モデル，確率モデル等でが，さらに，論文の内容に基づいてあらかじめトピッ

内部表現に変換し，この内部表現により文書間の類似

クごとに分類・整理しておけば，ユーザは必要な論文

度を測る．

なった

を効率的に入手できる．本稿では，論文を分類・整理

一方，学術論文には論文間に参照・被参照関係☆がすることを関連論文の組織化と呼んでおり，本研究であり，論文の組織化にはこのような参照構造が利用できる．これまで引用分析研究の分野において，論文間† 日本学術振興会特別研究員
Research Fellow of the Japan Society for the Promotionof Science†† 国立情報学研究所
National Institute of Informatics††† 東京工業大学精密工学研究所
Precision and Intelligence Laboratory, Tokyo Instituteof Technology

☆

2640

「参照」と「引用」という言葉の使い分けについて Narin4) は次のように述べている．
「 参照という用語は，それから出発して他へ向かう構成ユニットを示すために用いられるのに対し ，引用という用語は，他から受ける構成ユニットをさすのに用いられる」．しかし，実際には同じような意味で用いられることが多い．本稿では混乱を避けるため，すでに専門用語として定着している「引用分析」を除き，一貫して「参照」を用いる．

Vol. 42

No. 11

論文間の参照情報を考慮した関連論文の組織化

2641の参照構造を利用し，2 論文間の類似度を測るいくついる古い論文を対象にする場合は共引用分析が適かの手法が提案されてきた5),6) ．しかし，これらの手しているといえる．これとは逆に，他の多くの論法はすべての参照・被参照関係を等価に扱っているが，文から引用されていないような新しい論文を組織

実際には Weinstock7) や Moravcsik8) が述べている

化するには，書誌結合の方が適している．

ように参照には様々な理由が存在するため，必ずしもまた，難波ら 9) は，ある論文を参照する複数の論

論文間の類似度を適切に評価できない．

文を，参照の理由（ 以後，参照タイプ ）ごとに自そこで，本研究では被参照論文の参照の理由を考慮

動的に組織化する手法を開発している．難波らは，し，参照構造を用いて論文間の類似度を測る手法を提参照論文中で被参照論文について記述されている

案する．難波ら 9) は，論文中の参照の文脈を解析し ，個所（以後，参照個所）を自動的に抽出し，さら論文間の参照・被参照関係を参照の理由（ 以後，参照にその個所を解析することで，以下に示す 3 種類

タイプ ）を自動的に判定する手法を開発している．本の参照タイプに分類している．

研究では，2 論文が同一論文をともに参照している書– type B（ 論説根拠型）

誌結合関係にある場合，難波らの手法を用い，それら新しい理論を提唱したり，システムを構築しの参照タイプが一致している結合のみを数えるというたりする場合，他の研究者の研究の成果を利方法で，書誌結合の改良を行う．提案手法により，ノ用する場合がある．たとえば，他の研究者がイズとなる結合を削減でき，また，従来の引用分析手提唱する理論や手法を用いて新しい理論を提法と比べ，精度の向上が期待できる．
本研究では，提案手法の有効性を調べるために，実唱する場合等である．このような参照タイプ
を type B（ 論説根拠型）と呼ぶ．

法である書誌結合，語の共出現に基づいた手法（ベク– type C（ 問題点指摘型）
新しく提案した理論や，構築したシステムのトル空間型モデル）を計算機上に実装し，各手法を精新規性について述べる場合，関連研究との比度，フォールアウト，計算コストの 3 つの尺度で比較

較，あるいは既存研究の問題点の指摘を行う

し，提案手法の有効性を調べる．

場合がある．このような目的の参照タイプを験を行う．提案手法の他に引用分析手法の代表的な手

本稿の構成は以下のとおりである．次章では関連研究を紹介し，その問題点について述べる．また，本研
究で提案する関連論文の組織化手法を説明する．3 章
では，実験の手順と評価について述べ，また結果につtype B にも type C にもあてはまらない参照
を type O（その他型）と呼ぶ．
• アプローチ 2：（語の共出現に基づく組織化手法）
トピックの似た 2 つの論文間では，多くの語がいて考察する．

2. 関 連 研 究

論文間で共出現する傾向にある．このような共出

これまで，学術論文をトピックごとに組織化するい
くつかの手法が提案されてきたが，それらは大きく以下の 2 つに分けることができる．

• アプローチ 1：（ 引用分析に基づく組織化手法）
引用分析とは，論文間の参照・被参照関係を用いて，論文間の関係を分析する方法である．書誌結
5)と共引用分析（ co合（ bibliographic coupling ）6)citation analysis ）は，引用分析の代表的な手法であり，トピックの似た論文を検索できることが10)∼12)type C（ 問題点指摘型）と呼ぶ．
– type O（その他型）

現する語の数を数えることで論文間の類似度を測る13) ．
ここで，これらの 2 つのアプローチの問題点を以下に示す．

• アプローチ 1 の問題点：（引用分析に基づく組織化手法）
引用分析に関する大半の研究は，すべての引用を等価に扱っている．しかし，実際は Weinstock7)
や Moravcsik ら 8) が示すような様々な参照の理．書誌結合は，論文間の関連

由が存在する．したがって，関連論文をより正確

度を測るときに，2 論文間でどれだけ同じ論文をに組織化するためには単純な参照・被参照関係だ

引用しているか，という基準に基づいている．一けでなく，より豊富な参照情報を考慮することが方，共引用分析は，2 論文がどれだけ他の論文で不可欠であると考えられる．

知られているともに引用されているか，という基準に基づいた

また，難波らの手法では，直接参照・被参照関係手法である．

にある論文を組織化することは可能であるが，2したがって，発表されてから十分に時間がたって論文が参照・被参照関係にない場合は組織化でき2642

Nov. 2001

情報処理学会論文誌

ない．
• アプローチ 2 の問題点：（語の共出現に基づく組– METHOD：研究の背景で用いている理論や手法も，トピッ

織化手法）
2 論文全体にわたって共出現する語を調べるのは，
非常に時間がかかる．したがって，探索時間を削減

クごとの組織化を行う際に有用な指針になりするために，論文の探索対象を減らす必要がある．

うると思われる．
本研究では，これらの意味役割の文抽出は，以下に述べる手法で “PURPOSE” や “METHOD” の次に，アプローチ 2 の改善手法について述べる．

文を抽出する．

• アプローチ 2 の改善手法：（語の共出現に基づく組織化手法）
アプローチ 2 の問題点に関する取組みとして，こいう英語論文データベースの論文データを対象に本研究では，4 章で説明する E-Print archive としている．“PURPOSE” の抽出には 5 個の手がれまで以下のような研究がある．

かり語 “our work”，“Our work”，“this paper”，

Kando は 14) ，表層的な言語情報を表す単語の並“This paper”，“purpose” を用いる．これまで，び（手がかり語）を用いたいくつかのルールによ

学術論文の構造解析に関する研究がいくつか行わり，日本語論文の構造解析を行っている．ここでれてきたが 14),16) ，いずれもこれらの 5 句が共通

述べる手がかり語とは，論文の意味的な構造を示して，論文の研究の目的に関する記述個所を抽出す特徴的な語句のことであり，文間の連接関係をする際の手がかり語として用いられている．そこ

表すもの（「しかし 」等），語彙的な手がかり（「本で，本研究でもこれらの 5 つを含む文を “PUR-稿では」等），文末表現（「であろう」等）等があすラベルが付与される．そして，特定の意味役割

POSE” として抽出する．
また，“METHOD” の抽出には 84 個の手がかり語を用い（ 表 1 にその一部を示す），これらを含の文（ Method and Validity ）のみを用いて論文

む文を抽出する．一般的に，研究で用いる理論

る．解析の結果，論文中の各文には意味役割を示

検索を行えば，論文全文を用いた検索と比べ精度やツールは “Introduction” や “Experiment” とが向上し，再現率の低下も最小限にとどめられるいった章で述べられることが多い．したがって，ことを示している．
三池ら 15) も, Kando と同様に，手がかり語に基“METHOD” の抽出は，“Introduction” や “Experiment” といった語を含んだ章を抜き出せばよ

づくいくつかのルールにより，日本語技術論文のいと考えられる．しかし ，E-Print archive 上の構造解析を行っている．三池らは「背景」
「
，話題」
，

論文 293 本で調べた結果，“Introduction” を含「従来の問題」
「
，目的」
「
，特徴」
「
，結果」
「
，結論」
「
，課
題」を示す文のみを用いて検索することで，論文

む論文は全体の 83%（ 242/293 ）程度存在したが，“Experiment” は全体の 16%（ 47/293 ）しか存在

全文を検索に用いる場合よりも検索精度が向上すしなかった．そこで，“Introduction” と “Exper-

ることを，実験により示している．

iment” の章に頻出する特徴的な語句（表現）のリストを作成し，“Introduction” や “Experiment”

Kando や三池らの研究で提案されているように，
あらかじめ，論文の特徴的な内容を表す文集合の章が存在しない論文からリスト中の語句を含ん（ 以後，パッセージ ）を抽出し ，このパッセージ

だ文を抽出すれば，それらが “Introduction” やを用いて語の共出現を数えれば，アプローチ 2 に“Experiment” の章と同等の役割をすると考えた．

よる計算時間が短縮されると考えられる．

まず，E-Print archive 上の論文の中から “Intro-

Kando の研究では，研究の手法について記述され

duction”（ 242 論文中）と “Experiment”（ 47 論た文が検索に有効であるという結果が得られているが，三池らの研究では研究の背景や目的に関す文中）を収集し，次にこれらの中から，cost criteria17) という統計的な手法を用いて，手がかりる記述が有効であると述べている．そこで，本研語の候補を 5,000 語自動的に抽出した．最後に，究では次節で述べる提案手法の比較手法として以このリストの中から “METHOD” に関連した表

下の 2 つの意味役割を考慮して文の抽出を行い，現を人手で 84 個選択した．論文中でこれらの 84

これらを論文の組織化に利用する．

個の手がかり語を含む文を “METHOD” として– PURPOSE：

抽出する．

研究の目的が書かれてある個所は，研究の分

なお，同一文内に “PURPOSE” 用の手がかり語野と密接な関連があると考えられる．

と “METHOD” 用の手がかり語がともに出現すVol. 42

No. 11

論文間の参照情報を考慮した関連論文の組織化

表 1 “METHOD” の抽出に用いる手がかり語の例
Table 1 Examples of cue phrases for the extraction of“METHOD”.

based mainly on
the basic
assumecan useUsing thewe usedMaking use ofis given in
we ... inﬂuence
are needed toavailable for
We adopted
extended tobased on ... inemployunderlie
used as a
is checked
resultadvantage ofare given inassumebeen given
applied toextend the
expands

is based on
invokeunderlain
by using
we usemake use of
we introduce
oﬀer
is needed toa givenapplication to
we extended
expanded2643

持っていると考えられるからである．

“BCCT-BCO” は，2 論文が同一論文をともに参照
している書誌結合にあり，かつ，それらの参照タイプ
が B，C，O のいずれかで一致している結合のみを数えるという方法である．“BCCT-BCO” は，2 論文が共通に参照する論文が存在しても，異なる参照タイプ
で参照していれば類似度に反映しないという点で，従来の書誌結合と異なる．

4. 関連論文の組織化手法の評価
4.1 評 価 方 法
論文集合前章で述べた提案手法の有効性を調べるために実験る可能性も考えらえるが，このような場合には，を行った．近年，NTCIR☆ ，OHSUMED☆☆ 等，大規

その文は “PURPOSE” と “METHOD” の両方

模な論文検索のテスト・コレクションが作成されていに含めている．

る．しかし，これらは論文抄録を検索対象にしており，

ここで提案する手法は，Kando や三池らの手法

学術論文全文を検索対象にしたテスト・コレクションと比較すると文書構造解析を行っているわけでははこれまで一般的には公開されていない．そこで本研ないので，Kando や三池らの手法と同等の検索

究では，既存のテスト・コレクションに比べると小規模精度は望めないが，提案手法と比較するうえで，ではあるが，E-Print archive の “The Computation

ある程度の目安にはなると考えている．
次章では，アプローチ 1（引用分析に基づく組織化

and Language”☆☆☆に関する TEX 形式の 395 論文のデータを用いる．

手法）の問題点を改善する関連論文組織化の手法を提この論文データベースは，大部分が 1994 年以降発案する．

3. 関連論文の組織化の手法

表された国際会議の論文，博士論文，リサーチレポー
ト，ジャーナル論文等，様々な種類の論文から構成されている．また，E-Print archive は，論文の著者が本研究では，難波らの提案する参照タイプを関連論

自発的にデータベースに論文データを登録する形式を文の組織化に利用する．引用分析手法として，共引用とっており，誤ったカテゴ リに論文が登録されても，分析ではなく書誌結合を用いる．なぜならば，本研究登録し た著者本人が気づかない限り，論文が第三者

で実験に用いる論文データベース（詳細は次章で述べによって削除されることはない．“The Computation

る）は比較的新しい論文から構成されており（ 1994 年，論文集合全体の被参照数が〜1998 年の期間の論文）

and Language” という分野には，一般的に自然言語
処理や計算言語学と呼ばれる研究分野の論文を含むと小さく，共引用分析には向かないからである．

考えられるが，プログラミング言語やコンパイラに関本研究では，2 論文間で同一論文をともに参照して連する論文も若干含まれていた．これらの論文を削除

おり，かつそれらの参照の理由が一致している場合

したうえで実験を行うことも考えられたが，検索シス

のみ数えるという方法（以後，BCCT: Bibliographic

テムがこのような論文を他の論文と区別することも重Coupling using Citation Types ）で，2 論文間の類似要であると考え，実験の対象から削除しなかった．

度を測る．

また，E-Print archive からは，論文間の参照・被参実験では “BCCT-C” と “BCCT-BCO” という 2 種

照関係の情報が得られないが，難波ら 9) は，TEX で類の手法を用いる．“BCCT-C” は論文が同一論文を

参考文献を書くために用いられる bibliography といともに参照している書誌結合にあり，かつ，それらがうコマンドを自動的に解析し，論文間の参照・被参照

参照タイプ “C” のみで一致している結合のみを数え

関係を明らかにしている．本研究では，これらのデー

るという方法である．type C に着目した理由は，type

タを実験に用いる．

C は，参照論文の問題提起や研究動機を示す参照と考えることができ，2 論文間で多くの type C の参照が一致すれば，これらの論文の著者は共通の問題意識を☆

NTCIR: http://research.nii.ac.jp/ntcir/
OHSUMED: http://medir.ohsu.edu/pub/ohsumed/☆☆☆
E-Print archive: http://xxx.lanl.gov/cmp-lg/
☆☆

2644

情報処理学会論文誌

Nov. 2001

正解セット と検索クエリ

セージと考えることができる．また，各パッセージが関連論文の組織化システムを評価するために，395

どの程度，原論文の内容を反映しているのかを調べる

論文を用いて正解データセットを作成した．
まず，1 つの論文が 1 つのカテゴ リにだけ属するよため，論文全文（ “FULL” ）を用いた組織化も行う．
また，“BCCT-C” および “BCCT-BCO” では，参うに 395 論文を分類した．その結果，395 論文は 58 カ

照タイプは難波らの手法により自動的に判定されたもテゴ リに分類された．また，58 カテゴ リのうち，1 カのを用いる．

テゴリ中に 6 件以上の論文を含んでいるものが 10 カテ「構文
ゴ リあった．この 10 カテゴ リは「形態素解析」
解析」「意味解析」といった “The Computation andLanguage” の研究分野における典型的なカテゴリである．他の 48 カテゴ リは，これらの 10 カテゴ リに含まれない，新しい分野の論文であるか，あるいは先にも述べたような，“The Computation and Language”の分野外と考えられる論文のカテゴ リである．
次に，実験方法について説明する．まず，10 カテゴ• “FULL”，“TITLE”，“ABST”：
論文全文，タイトル語と概要中の語を用いた語の共出現．
• “METHOD”，“PURPOSE”：
手がかり語により抽出された文中に含まれる語を用いた語の共出現．

• “NBC”：
書誌結合．
• “BCCT-C”，“BCCT-BCO”（ 提案手法 ）：リに含まれる論文（ 計 330 論文）から任意に 1 論文

同一論文をともに参照している書誌結合にあり，を選択する．次にこれを検索クエリと見なし，論文集

かつ，それらの参照タイプが C のみで一致して合から検索クエリと同一カテゴ リの論文を検索するこいる結合のみを数える場合（ BCCT-C ）と，参照とを試みる．検索システムは入力クエリに関する論文

タイプが B，C，O のいずれかで一致している結を検索し，クエリに対して適合度の高い順に検索結果として論文の一覧を返す．このような手順を 330 回繰
り返し，330 論文それぞれについて関連論文を検索する．これらと人手による組織化との結果を比較し，検索システムの性能を評価する．
実験に，検索クエリとして 10 カテゴ リに含まれる論文しか用いない理由を以下に説明する．一般的に統計的検定を行うには，サンプルが 30 件以上，当該合のみを数える場合（ BCCT-BCO ）
．

4.2 評
価
以下の評価尺度を用いて 8 種類の組織化手法の有効性を調べた．

• 上位 n 論文の精度• フォールアウト• 計算コスト
再現率 – 精度は，情報検索の分野では最も一般的に事象が 5 回程度以上起こる必要があるといわれてい用いられている評価尺度である．この尺度は検索エンる．したがって，情報検索の評価実験の場合，検索課

ジンの有効性の全体的なバランスを見るうえでは良い題（ query ）が 30 件以上，正解文書が 5 件以上必要指針となる．しかし，実験で用いる 8 種類の組織化手となる18),19) ．本研究でも正解が 5 論文以上，すなわ

法では，収集されるそれぞれの論文数が極端に違う．

ち 1 カテゴ リ中に 6 論文以上（ クエリ 1 論文 + 正解

一般に，情報検索において十分な数の文書（たとえば5 論文）のものを実験に用いる．
検索エンジンていなければ，再現率レベルの精度値は正しく計算さ

TREC2 の場合，正解文書数の数倍程度）が収集されベクトル空間型モデルを用いて，検索エンジンを作れず，また再現率 – 精度グラフも正しく書けないとい成した．提案システムは，Brill の品詞タギングツー

われている21) ．したがって，再現率による評価は必要20)を用い，パッセージから名詞のみを抽出し イン

ではあるが，本研究では今述べた理由により評価の対デックスを作成する．次にコサイン距離で論文間の類

象にはしない．本研究ではフォールアウトと精度で 8似度を計算する．

手法の組織化精度の比較を行う．

ル

組織化手法

また，本研究では 8 手法の組織化手法を計算コスト

実験は 2 種類の提案手法と，比較対象として 6 種類の面から比較する．語の共出現に基づく手法において，の手法を用いて行う．語の共出現を用いる手法は，2一般に，手がかり語の語数が異なれば抽出される文の章で説明した “PURPOSE” と “METHOD” を用い数も異なり，それに比例して計算コストも高くなるとる．また，これらの 2 つの手法のほかに，論文表題推測される．しかし，これまで語の共出現に基づく手（ “TITLE” ）や概要（ “ABST” ）を加えた．これらは法と引用分析に基づく手法を計算コストの面から比較論文の著者により作成された，論文の特徴を表すパッ

した研究はない．したがって，この比較による知見を

Vol. 42

No. 112645

論文間の参照情報を考慮した関連論文の組織化

1

1–Precision

Precision

0.6

0.4

0.5

0.2

0

FULL
TITLE
ABST
NBC

METHODPURPOSE
BCCT–BCO(our method)
BCCT–C(our method)
10th

0
0

20th
document

図 2 フォールアウトと精度による組織化手法の比較
Fig. 2 Evaluation by fallout and precision.

得ることも有用であると考えられる．
精度とフォールアウトは次の式で与えられる．

=

精度（ P recision ）検索システムにより検索された論文の中で正解の論文数
検索システムにより検索された論文総数



フォールアウト = （ F allout ）1
Fallout

図 1 上位 n 論文の精度の比較
Fig. 1 Precision for each ranking.



FULL
TITLE
ABST
METHODPURPOSE
BCCT–BCO(our method)
BCCT–C(our method)NBC

表 2 計算コストによる比較（ クエリあたり）
Table 2 Calculation time of eight methods (per query).
手法

検索システムにより検索された論文の中で不正解の論文数
クエリと異なるカテゴ リの総論文数

計算時間（ 秒）

FULL
TITLE
ABST
METHODPURPOSE
BCCT-C（ 提案手法）
BCCT-BCO（ 提案手法）
NBC




232
0.25
1.2
8.1
0.77
1.3
14
14

フォールアウトは検索エンジンのエラーを測る尺度手法であると考えれば，後者の手法で前者の精度を上であり，フォールアウト値が小さいほど 良いシステム

回っているのは “BCCT-C” だけである．すなわち，

であるといえる．精度とフォールアウトを算出する際，“BCCT-C” が論文の中でも特にトピックに関連する

TREC で使われている trec eval というツール☆ を利用した．通常は，trec eval に正解文書セットと検索シる☆☆ ．

情報を高い精度で抽出できていると考えることができ

ステムの出力結果を与えると，再現率が（ 0 %, 10 %,論 文 間 の 参 照 関 係 に 基 づ く 手 法（ “BCCT-C”,

20 %, ..., 100 % ）の 11 点における精度が計算される．
ここで，正解文書セットの代わりに正解と不正解を反“BCCT-BCO” ）で組織化に失敗した原因は，以下の3 種類に分類できる．

転させた文書セットを trec eval に与えると，フォー(1) 参照タイプの決定の誤りによる失敗(2) type C の参照の一致による失敗(3) type B の参照の一致による失敗

ルアウトが（ 0 %, 10 %, 20 %, ..., 100 % ）の 11 点
における 1-精度の値が計算される．
上位 n 文書の精度による評価の結果を図 1 に，フォー
ルアウトによる評価の結果を図 2 に，計算コストによる評価の結果を表 2 に，それぞれ示す．

4.3 考

察

上位 n 論文の精度による評価“FULL” と “NBC” が論文全体の情報を用いた組織化手法，その他が論文の一部の情報を用いた組織化☆

ftp://ftp.cs.cornell.edu/pub/smart(1) 参照タイプの決定の誤りによる失敗
難波ら 9) の実験結果によれば ，評価用データにおいて参照タイプ 決定ルールで type C と判定された

15 個のうち，実際に正解であるものの数は 12 個（精度：80% ）である．“BCCT-C” は，2 つの論文が別の論文をともに type C で参照するときの結合の数☆☆

今回実験に用いたテスト・コレクションでは，1 論文あたり平均
約 18.1 論文を参照している．また，type C での参照は 1 論
文あたり約 2.9 論文となっている．

2646

情報処理学会論文誌

Nov. 2001

22)
24)（ Scheler, 1996 ）の（ Church, 1988 ）に関する type C の参照個所「冠詞を含む名詞句の意味素性の解析，生成，文法チェック」
The diﬀerent logical forms of the sentences can be represented by a set of sentential operators, which
are deﬁned in ﬁrst-order logic. These sentential operators can be used as atomic semantic features,
which are consequently suﬃcient in representing the logical meaning of a sentence with respect to thechosen semantic dimensions. This approach is signiﬁcantly diﬀerent from POS or sense-tagging systems
such as (Yarowsky, 1992) (Schmid, 1994) (Jelinek, 1985) (Church, 1988) (Brill, 1993).
23)
24)（ Heeman, 1997 ）の（ Church, 1988 ）に関する type C の参照個所「品詞タギングと言語モデルの結合」
The ﬁnal probability distributions are similar to those used for POS tagging of written text
(DeRose, 1988:cl) (Church, 1988). However, these approaches simplify the probability distributions as
is done by previous attempts to use POS tags in speech recognition language models.

図 3 “BCCT-C” の失敗例
Fig. 3 Example of failure by “BCCT-C”.

を数えるという手法であり，直接 type C の決定精の参照個所中の記述（図 3 上）によれば，これらの観度の影響を受ける．難波らの type C の決定精度を点は一階述語論理の形式で定義されているが，同時にそのまま適用すれば ☆ “BCCT-C” そのものの精度は，

文オペレータという異なる形式でも表されており，こ80%× 80%=64%となる．64%という値は概算でありの文オペレータを意味素性の代わりとして用いる点が厳密な数字ではないが，図 1 において上位 1 論文に（ Church, 1988 ）をはじめとする品詞あるいは意味タ

おける “BCCT-C” の精度が 60%弱であることから，

グを付与するシステムと異なる，と述べている．

“BCCT-C” における失敗の原因の多くは，難波らの手法による参照タイプの判定の誤りに関するものと推文（ Church, 1988 ）との思想的な違いを述べているの測される．実際に，“BCCT-C” で失敗した事例をい（ Church,
で，type C の参照であると考えられるが，くつか調べたところ，type C ではないものが type C

1998 ）の問題点を明示的に述べているわけではない．

と判定されたために間違って検索されたものが多かっ，（ Church,
一方，（ Heeman, 1997 ）では（ 図 3 下）

この記述は，参照論文（ Scheler, 1996 ）と被参照論た．したがって，参照タイプ決定精度が向上すればそ1988 ）について，「音声認識における品詞タグの取扱れにともない “BCCT-C” の精度も向上すると考えらいのときと同様，（ Church らの研究では ）確率分布をれるが，図 1 から分かるように，現状でも，他の手法

単純化しすぎている」と（ Church, 1988 ）の問題点をと比較し十分な精度が得られている．

明示的に述べている．

(2) type C の参照の一致による失敗“BCCT-C” に関して，2 論文が同一論文を type C

このように，（ Scheler, 1997 ）と（ Heeman, 1997 ）では，同じ type C でも（ Church, 1988 ）の言及の仕方がで参照していても，被参照論文について述べているポ

まったく異なっており，このような場合，“BCCT-C”

イントがずれている場合，異なる分野の論文を検索すでは失敗している．

る場合があった．図 3 に “BCCT-C” の失敗例を示す．
22)

図 3 は，Schelerと Heeman ら

23)

24)

の Church(3) type B の参照の一致による失敗
図 1 において，“BCCT-BCO” は “NBC” よりも精に 関する type C の参照個所を示し たものである．

度が低かった．失敗の原因を調査したところ，type B「冠（ Scheler, 1996 ）と（ Heeman, 1997 ）はそれぞれ，の（書誌）結合が論文をトピックごとに分類する際あ詞を含む名詞句の意味素性の解析，生成，文法チェッ

まり有効ではなく，また場合によっては組織化を阻害

ク」と「品詞タギングと言語モデルの結合」に関するする方向に作用することが分かった．たとえば，“The論文である．

Computation and Language” の分野において，形態

Scheler の研究では，名詞句を分類する 5 つの観素解析器や構文解析器等のツールは多くの研究で汎用点（ “Generalized quantification”，“Anaphoric rela-的に使われれる．したがって，2 つの論文がこのようtion”，“Reference to discourse objects”，“Boundedness”，“Active involvement” ）を設定し，名詞句をなツールについて書かれた論文をともに type B で参自動的に分類する手法を提案している．
（ Scheler, 1996 ）

ではない．

☆

照していても，トピックごとの論文の組織化には有用
参 照タ イプ を 考 慮し た 書 誌 結 合の 手 法とし て ，本研究でも難波らの研究と 同じ 論文デ ータベース（ E-Printarchive ）を用いているので，本稿における実験においても難波らのものとほぼ同等の精度が得られていると考えられる．

“BCCT-C” や “BCCT-BCO” のほかにも “BCCTB” という手法も事前に考えられた．しかし ，予備調

Vol. 42

No. 11

論文間の参照情報を考慮した関連論文の組織化

2647

査の段階で，先に述べた理由により type B の（書誌）が適しているが，なるべく高い精度で関連論文を検索

結合がトピックごとの組織化に向かないことが判明しする場合には書誌結合に基づく手法，特に “BCCT-C”

たため，比較手法に “BCCT-B” を入れなかった．しが適しているといえる．

かし，実際には “BCCT-B” ばかりでなく，“BCCT-

計算コスト による比較

BCO” においても type B の結合が，その精度を下げる要因になった．
以下では，語の共出現に基づく組織化手法の結果に最後に，8 種類の組織化手法の計算コストを比較した．表 2 において，計算時間はクエリごとにトピックの類似度を計算するのに要した時間である．これにはついて考察する．あらゆる手法の中で “PURPOSE”

品詞タギングや “METHOD”, “PURPOSE” の文抽の精度が一番低かった．論文から抽出される文数が少出に要した時間は含まれていない．

なかった☆ というのが，その理由の 1 つとしてあげら

8 手法の中で上位 n 論文の精度（図 1 ）では “FULL”

れる．また，“PURPOSE” に含まれる語は，論文のと “NBC” は比較的良い精度が得られていたが，計算内容をよく表している場合もある．しかし，多くの場コストの面では “FULL” と “NBC” が最も遅かった．

合抽象的すぎるか，論文の非常に具体的な記述で，代表語として適切でないものが多く含まれていた．
同様の結果が Kando に より報告されている14) ．

Kando は，“Method and Validity” と “Evidences”という意味役割が振られた文（本稿の “METHOD” に以上をまとめると，より高い精度でかつ妥当な計算コストで関連論文を検索するためには提案手法である“BCCT-C” が最も適しているといえる．

5. ま と め

相当する）と “Research Topic” の意味役割の文（ 本

本稿では，学術論文をトピックごとに組織化するた稿の “PURPOSE” に相当する）を用いて検索を行っめに，論文間の参照・被参照関係および参照タイプ（参た結果，どの文書も “Research Topic” の意味役割が照の理由）を考慮した “BCCT-C” という手法を考案

ふられた文が 1 文以上存在していたにもかかわらず，し，「収集された論文の上位 n 件の精度」および「フォー“Method and Validity” と “Evidences” を用いた解析

ルアウト」による評価で，最も優れていることが分かっ

精度が “Research Topic” の解析精度を上回ると報告た．また，計算コストの面でも “BCCT-C” は今回比している．Kando とは，テスト・コレクションおよび実較した 8 手法の中で最速ではなかったものの，十分に験条件が異なるので，厳密に比較することはできない

速い速度で論文を組織化できることが分かった．これが，本研究における “PURPOSE” と “METHOD” はらは小規模なテスト・コレクションにおける実験結果

それぞれ，Kando の “Method and Validity” や “Ev-なので，この結果だけから確定的なことを述べること

idence” とある程度似た傾向のパッセージが抽出されていると考えられる．

はできないが，有望な方向が示されたと考えられる．
今後は，さらに 2 つの方向で提案手法 “BCCT-C”

フォールアウト による評価の有効性を調べる必要がある．1 つは，論文の組織化

図 2 に おいて ，書誌結合に 基づ く 3 つの 手法のスケールの問題である．すなわち，今回設定したカ（ “BCCT-C”，“BCCT-BCO”，“NBC” ）でいずれもテゴ リよりもさらに細かい，あるいは粗いカテゴ リで良い結果が得られている．3 つの中でも特に “BCCT-論文を組織化するのに，提案手法がどの程度有効であC” が一番優れている．これは，あらゆる参照の理由

るかを調査する必要がある．

の中で，type C が関連論文を検索するうえでは重要

もう 1 つは，type C 以外の参照タイプの有効性にな参照の理由であることを示している．また，図 1 で関する調査である．本研究の結果では，type B の参は，“NBC” と “TITLE” はほぼ同程度の精度が得ら

照は組織化精度を下げる要因になった．しかし，論文れていたが，システム全体で比較した場合，“NBC”

中で形態素解析器や構文解析器に関する論文を参照しの方が “TITLE” よりもトピックの異なる論文を収集ていることは，その論文が “The Computation and

しない，という面で優れているといえる．
理由は，書誌結合に基づく手法に比べ，検索システム

Language” の分野の論文であるかど うかを判断する
うえでは，逆に重要な情報になると考えられる．これは，先に述べたカテゴ リのスケールの問題と関連するが収集する論文数が多いからである．すなわち，関連が，組織化するカテゴ リのスケールに応じて，有効な論文を漏れなく検索するには語の共出現に基づく手法

参照タイプの組合せが変わってくるのではないかと推語の共出現に基づく手法のフォールアウト値が高い

測される．
☆

PURPOSE：平均 4.9 文，METHOD：平均 31.7 文

謝辞 論文デ ータを提供し ていただいた E-Print

2648

情報処理学会論文誌

archive administrator の方々に感謝いたします．

参

考 文

献

1) Lawrence, S., Giles, L. and Bollacker, K.: Digital Libraries and Autonomous Citation Indexing, IEEE Computer, Vol.32, No.6, pp.67–71(1999).
2) McCallum, A., Nigam, K., Rennie, J. andSeymore, K.: A Machine Learning Approach
to Building Domain-Specific Search Engines,
Proc. 16th International Joint Conference on
Artificial Intelligence (IJCAI-99 ), pp.662–667(1999).
3) 永田昌明，平博 順：テキスト分類 — 学習理論の「見本市」，情報処理，Vol.42, No.1, pp.32–37(2001).
4) Narin, F., Gabriel, P. and Hofer, G.H.: Structure of the Biomedical Literature, Journal of
the American Society for Information Science,
Vol.27, No.1, pp.25–45 (1976). 神門典子（ 訳）：生物医学文献の 構造，情報学基本論文集 I，
pp.189–227, 勁草書房 (1989).
5) Kessler, M.M.: Bibliographic Coupling between Scientific Papers, American Documentation, Vol.14, No.1, pp.10–25 (1963).
6) Small, H.: Co-citation in the Scientific Literature: A New Measure of the Relationship between Two Documents, Journal of the American Society for Information Science, Vol.24,
pp.265–269 (1973).
7) Weinstock, N.: Citation indexes, Encyclopedia of Library and Information Science, Kent
A. (Ed.), Vol.5, pp.16–41, New York, Marcel
Dekker (1971).
8) Moravcsik, M.J. and Murugesan, P.: Some Results on the Function and Quality of Citations, Social Studies of Science, Vol.5, pp.86–92(1975).
9) 難波英嗣，奥村 学：論文間の参照情報を考慮したサーベイ論文作成支援システムの開発，自然言語処理，Vol.6, No.5, pp.43–62 (1999).
10) Liu, M.: Progress in Documentation—The
Complexities of Citation Practice: A Review
of Citation Studies, Journal of Documentation,
Vol.49, No.4, pp.370–409 (1993).
11) Narin, F., Olivastro, D. and Stevens, K.A.:
Bibliometrics/Theory, Practice and Problems,
Evaluation Review, Vol.18, No.1, pp.65–76(1994).
12) White, H.D. and Mccain, K.W.: Bibliometrics, Annual Review of Information Scienceand Technology (ARIST ), Vol.24, pp.119–186(1989).
13) Salton, G. and McGill, M.J.: Introduction

Nov. 2001

to Modern Information Retrieval, p.448, New
York, McGraw-Hill (1983).
14) Kando, N.: Text-level Structure: Implications
for Information Retrieval and the Potential for
Genre Analysis, British Computer Society IR
SG Annual Colloquium, pp.68–81 (1997).
15) 三池誠司，住田一男：文書の意味役割解析に基づく全文検索，情報処理学会研究報告—情報学基礎，FI-34-3, pp.17–24 (1994).
16) Teufel, S.: Argumentative Zoning: Information Extraction from Scientific Text, Ph.D.
Thesis, University of Edinburgh (1999).
17) Kita, K., Kato, Y.,Omoto, T. and Yano, Y.: A
Comparative Study of Automatic Extraction of
Collocation from Corpora: Mutual Information
vs. Cost Criteria, Journal of Natural Language
Processing, Vol.1, No.1, pp.21–33 (1994).
18) Kando, N., Kuriyama, K., Nozue, T., Eguchi,
K., Kato, H. and Hidaka, S.: Overview of IR
tasks at the First NTCIR Workshop, Proc.
1st NTCIR Workshop on Research in Japanese
Text Retrieval and Term Recognition, pp.11–44(1999).
19) Sakai, T., Kitani, T., Ogawa, Y., Ishikawa, T.,
Kimoto, H., Keshi, I., Toyoura, J., Fukushima,T., Matsui, K., Ueda, Y., Tokunaga, T., Tsuruoka, H., Nakawatase, H., Agata, T. and
Kando, N.: BMIR-J2: A Test Collection for
Evaluation of Japanese Information Retrieval
Systems, SIGIR-Forum, Vol.33, No.1, pp.13–17(1999).
20) Brill, E.: Some Advances in Rule-based Partof Speech Tagging, Proc. 12th National Conference on Artificial Intelligence (AAAI-94 ),pp.722–727 (1994).
21) Harman, D.: Overview of the Second Text
Retrieval Conference (TREC-2), Information Processing & Management, Vol.31, No.3,
pp.271–289 (1995).
22) Scheler, G.: With Raised Eyebrows or the Eyebrows Raised? A Neural Network Approach toGrammar Checking for Definiteness, FKI-21596 (1996).
http://xxx.lanl.gov/ps/cmp-lg/9606017
23) Heeman, P.A. and Allen, J.F.: Incorporating
POS Tagging into Language Modeling, Proc.
Eurospeech’97 (1997).
http://xxx.lanl.gov/ps/cmp-lg/9705014
24) Church, K.: A Stochastic Parts Program andNoun Phrase Parser for Unrestricted Text,
Proc. 2nd Conference on Applied Natural Language Processing, pp.136–143 (1988).
(平成 13 年 1 月 29 日受付)
(平成 13 年 9 月 12 日採録)

Vol. 42

No. 112649

論文間の参照情報を考慮した関連論文の組織化

難波 英嗣（ 正会員）

奥村

学（ 正会員）1996 年東京理科大学理工学部電1984 年東京工業大学工学部情報工気 工 学 科 卒 業 ．1998 年 北 陸 先 端

学科卒業．1989 年同大学院博士課程

科学技術大学院大学情報科学研究修了．同年東京工業大学工学部情報科博士前期課程修了．2001 年同大工学科助手．1992 年北陸先端科学

学情報科学研究科博士後期課程修技術大学院大学情報科学研究科助教

了．同年 4 月より日本学術振興会特別研究員．現授，2000 年東京工業大学精密工学研究所助教授，現在在に至る．自然言語処理，特にテキスト自動要約のに至る．工学博士．自然言語処理，知的情報提示技術，研究に 従事．言語処理学会，人工知能学会，ACL，

語学学習支援，テキストマイニングに関する研究に従ACM 各会員．nanba@lr.pi.titech.ac.jp, http://okugw.pi.titech.ac.jp/˜nanba/

事．人工知能学会，AAAI，言語処理学会，ACL，認知科学会，計量国語学会各会員．oku@pi.titech.ac.jp,

http://oku-gw.pi.titech.ac.jp/˜oku/
神門 典子（ 正会員）

1994 年慶應義塾大学文学研究科
博士課程修了．博士（ 図書館・情報
学 ）．同年学術情報セン ター助手．

1995 年米国シラキウス大学情報学部客員研究員，1996〜1997 年デン
マーク王立図書館情報大学客員研究員．1998 年 4 月
学術情報センター助教授．2000 年 4 月国立情報学研究所人間・社会情報研究系助教授．図書館情報大学大学院情報メデ ィア研究科客員助教授．現在に至る．テキスト構造を用いた検索と情報活用支援，言語横断検索，情報検索システムの評価等の研究に従事．ACM-SIGIR，BCS-IRSG，ASIS&T，言語処理学会，日本図書館情報学会各会員．kando@nii.ac.jp,

http://research.nii.ac.jp/˜kando/index-j.html