Web コーパスからのノウハウの獲得
小澤俊介†

内元†名古屋大学

1清貴‡

松原茂樹†

‡情報通信研究機構

はじめに

Web 上には，病気の対処法や料理のレシピなど，様々なノウハウが蓄積されている．そのため，ノウハウを知るために Web を参照することも多くなっている．QA
サイトにおいても，ノウハウが回答となる How-to 型の質問は約 2 割程度を占めており [1]，これらの質問に答えることは重要なタスクであると言える．従来の Web検索でも「方法」などのキーワードを用いることで多少回答を絞ることができるものの，ノウハウのみを選定するには不十分である．この問題に対し，ノウハウを予め整理できれば，How-to 型の質問に対する回答が容易になると考えられる．また，ノウハウを蓄積・分析するこ
図 1: ノウハウの例 1とにより，不測の事態に対する対策や対処法を必要に応じて事前に知らせることも期待できる．
本研究で対象とするノウハウとは物事の手順やアドバイスである．ノウハウの例を図 1 と図 2 に示す．従
来研究では，「方法」や「手順」を含むテキストを対象に，手がかり表現などを用いてノウハウの獲得が行われてきた．しかし，図 2 の例のように，「方法」や「手順」が含まれていないノウハウも多数存在しており，手がかり表現を用いるだけではこれらを効率良く獲得するこ
図 2: ノウハウの例 2とは困難である．では，どうすれば効率良く獲得できるだろうか．図 1 の例では「扇風機」で「風を送る」こと
これに対し，Web から手順が書かれたテキストを獲により放熱を促すこと，図 2 の例では「ドライヤー」で排水口を「温める」ことが，それぞれノウハウかどうか 得する先行研究も行われている．武智らは単語 N-gramを判断する手がかりになると考えられる．このように， を用いることにより，HTML のリストタグが付与されノウハウにはモノとその使われ方に関する記述が現れ たテキストを手順タイプと非手順タイプに分類する手法を提案している [4]．しかし，リストタグが付与されてることが多い．
いるテキストのみを対象としており，あらゆるテキスト
そこで本研究では，モノとその使われ方に着目することにより効率良くノウハウを獲得する手法を提案する． から手順を獲得することはできない．また，Ling らはまず，モノを含むパッセージを獲得し，ノウハウの候補 「方法」または「手順」という単語を含むテキストを対を抽出する．そして，モノと用途表現を併用することに 象に構文情報，形態素情報，手がかり表現を用いることにより，テキストの手順らしさを計測する手法を提案しよりノウハウを獲得する．ている [5]．しかし，十分な獲得精度は得られていない．
本研究では，物事の手順またはアドバイスが書かれたテキストをノウハウとして獲得する．我々は，手がかり
2 関連研究
表現だけでなく，モノとその用途表現に着目することに質問応答の How-to 型の質問に答えるために，手順が より精度良くノウハウを獲得する手法を提案する．
書かれたテキストの分析が行われている [2, 3]．これらの研究では，修辞関係などに着目した分析や，手順が書かれたテキストに対してタイトルや注意，助言などのタグの付与が試みられている．しかし、手順が書かれたテキストはすでに獲得されたことを前提としている。

3

ノウハウの獲得手法

Aouladomar はノウハウを 3 種類に分類している [6]．
1 つ目はレシピやマニュアルなどの手順，2 つ目は規則(C) 従来研究 [3, 5] を参考に，助言や注意，条件などを表す 47 表現を定義し，それらを含むパッセージを獲得する．
(D) 日本語評価極性辞書 (用言編)[9] 中の経験タグが付与された 638 表現を利用し，それらを含むパッセージを獲得する．
図 3: ノウハウ獲得の流れ(E) モノの用途表現中の動詞の集合を利用し，それらを含むパッセージを獲得する．モノ n の用途表現とは，「n を使う」「n を楽しむ」といった表現の言などの命令，3 つ目は健康法などのアドバイスである．
い換えとして特徴づけられ，助詞と動詞の対で表本研究では，このうち，手順とアドバイスをノウハウと現される．例えば，本の用途表現には ⟨ を，読む ⟩する．などが挙げられる．用途表現の獲得方法について
従来研究の手がかり表現を利用して，ノウハウ獲得は後述する．の予備実験を行ったところ，精度が約 40%，再現率が約 30% と低い結果であった．これに対し，本研究ではモノとその使われ方に着目する．モノの使われ方については，例えば，「ドライヤー」に対し「温める」といった 3.2 ノウハウの判定
モノの用途についての表現 (用途表現) を用いる．
獲得したノウハウ候補がノウハウであるか否かを判定
ノウハウ獲得の流れを図 3 に示す．ノウハウは通常複する．自動判定には，機械学習モデルを利用する．機械数の文から構成されているが，テキスト中の全ての文学習モデルで考慮する素性としては，モノと用途表現，から構成されているとは限らないため，本手法ではパッ手がかり表現パターンを利用する1 ．本節では，用途表セージをノウハウの単位とする．多くのパッセージには現と手がかり表現パターンの獲得方法について述べる．
ノウハウが含まれていないことが予想されるため，まずノウハウの候補を抽出する．Web コーパスとして河原ら [7] が収集した「Web 上の 5 億文の日本語テキスト」
3.2.1 用途表現の獲得を利用する．そして，モノと用途表現，手がかり表現パターンを用いて，ノウハウか否かを判定する．
鳥澤は，ある名詞 n の用途表現の性質として，1) 共起しやすい，2) 一人称代名詞が主語となりやすい，3)
助詞「で」の場合，用途表現になりやすい，という 3 つの仮説を立てた [10]．これらを反映した以下の式を利用
3.1 ノウハウ候補の抽出して，用途表現を獲得する．
まず，各モノについてモノを含むパッセージを次の方法により抽出する．以下の HTML タグを利用して，対U (n) = argmax<v′ ,p′ >∈V ×A {U score(n, p′ , v ′ )}象のモノを含む最小のタグ領域を抽出する．
ここで，V は用途表現になり得る動詞またはサ変名詞
body, div, table, span, p, blockquoteの集合であり，Web コーパス中で「たい」と共起する
h1, h2, h3, h4, h5, h6
6,485 語の動詞またはサ変名詞を利用した．ただし，用抽出したタグ領域に含まれる文数が α 以下の場合，パッ 途表現であることが自明な「使う」「利用」や用途表現「なる」などの 20 語をあらかセージとして抽出し，そうでない場合は，TextTiling 法 になりそうにない「ある」じめ除外した．
Aは助詞の集合である．
[8] によりパッセージ分割を行う．これは HTML タグが正しく利用されていない場合を考慮したためである．窓の幅を α として TextTiling 法を適用し，パッセージを抽出する．
次に，ノウハウを含みやすいと考えられるパッセージを抽出し，ノウハウの候補とする．ただし，1 種類の手法のみを利用した場合，獲得できるノウハウに偏りが生じる可能性があるため，以下の 5 種類の手法によりパッセージを絞り込み，それらの和集合を取ることによりノウハウの候補を抽出する．

(A) 文字列「方法」を含むパッセージを獲得する．
(B) リスト表現として ⟨ul⟩ または ⟨ol⟩ タグを含むパッセージを獲得する．

U score(n, p′ , v ′ ) = P (n, p′ , v ′ )P (S|AP, v ′ )Bias(p′ )/P (n)P (n, p′ , v ′ ) は n が ⟨p′ , v ′ ⟩ とともに現れる確率である．
P (S|AP, v ′ ) は動詞 v ′ の主語が一人称代名詞となる条件付き確率である．S は一人称代名詞であり，「私」「私たち」などのような 17 個の語からなるものと仮定した．また，AP は主語を表現できる助詞の集合であり，AP = {が，は } と仮定した．さらに，Bias(p′ ) は助詞「で」に関するバイアスを与える項であり，「で」の場合を 25，それ以外を 1 とした．

1 実験により，単語 n-gram は有効に働かなかったため利用していない．

表 2: 手がかり表現パターン.

表 1: 分析データ.
モノドライヤー

3.2.2

ノウハウを含むパッセージ数
ABCDE計43 4441 16 40147

手がかり表現パターンの獲得

パッセージ数
439

No.
123456789101112131415パターン
まず | 先ず | 初めに | 初め+は | 最初+はそれ+から | 次に | この後 | その後 | 次は | そして出来上がり | 仕上がり | 完成 | 終了 | 完了
動詞+方+が.*良い | 動詞+の+が.*安心だ
動詞+やすい禁物 | だめだ | 厳禁 | 危険
動詞+ない+ようだ.*動詞 | 動詞+ぬ+に.*動詞
気+を+付ける | 手+を+抜く+ない | 注意を+対象 | に+限定 | に+限る | のみ+と+限定
必要だ | 用意 | 欠かせる+ない | 必須だ
役立つ | 活躍 | 便利だ | 効果 | 効率
丁寧だ | 慎重だ | 均一 | しっかり | 念入りだ
試す ください | 試す みる？| か 。
[方法]+を+[説明]

対象
B
B
E1S
E2SS
E3E3E3E2S
E2E1S

手がかり表現パターンを獲得するために，3.1 節の手法を用いて Web コーパスから分析データを構築した．
窓幅 α を 20，モノをドライヤーとし，A〜E の手法によりそれぞれ 100 パッセージずつ抽出した．A と B についてはランダムで，C〜E については頻度上位のパッセージをそれぞれ抽出し，ノウハウを含むか否かを人手により判定した．用途表現には，3.2.1 節の手法を用いて獲得した上位 100 の助詞と動詞の組の中から人手により選定した 24 種類の用途表現を利用した．分析データ
表 3: 評価データ.
ノウハウを含むパッセージ数
パッセージの規模を表 1 に示す．表 1 の各列の数字はそれぞれ 100モノABCDE計数
パッセージ中のノウハウを含むパッセージの数を表す． アイロン
283823854 132457
分析データを分析することにより，手がかり表現パ
エアコン
53611226485
オーブン
277924647 175462
ターンを獲得した．ただし，パターンは文あるいは文内
携帯電話
6350115489の文節列に対して適用することを想定し，文をまたぐ
洗濯機
515302343478
パターンは作成しない．作成したパターンの一部を表 2扇風機
14182152971457に示す．パターン中の | は OR，+ は単語境界，.∗ は任
掃除機
13282053790470
意の単語列を表す．また，3 列目の対象はパターンの適
デジタル
351111835481
用対象を表し，S は文，B は文頭文節，E1 は文末文節， カメラ
電子
E2 は文末の 2 文節，E3 は文末の 3 文節を表す．
レンジ
195916963 152473
分析の結果，ノウハウを含むパッセージには，1〜3冷蔵庫
204410038 113489のような順序を表す表現，あるいは，4 や 5 のような助合計
140295 13935 3228524741
言を表す表現，6〜8 のような注意を表す表現，9 や 10のような条件を表す表現などが含まれていた．また，15はノウハウのタイトルを表す表現であり，[方法] には対 ノと用途表現を併用する方法の有効性を検証する．機械
策や仕方などの 23 表現，[説明] には紹介や教えるなど 学習モデルとしては，Support Vector Machines (SVM)の 21 表現が含まれる．これらのパターンを含む 72 種 を用い，SVM の学習には，TinySVM2 を利用した．
類の手がかり表現パターンを作成した．
パターン 各パターンがマッチした頻度と全パターンがマッチした総頻度，マッチしたパターンの種類数を利用する．

44.1

実験

設定

用途表現 (自動) モノと用途表現の 3 つ組の頻度を利用する．用途表現には，3.2.1 節の手法により計測した U score が上位 25 の助詞と動詞の組を利用した．

本評価実験で着目するモノとしては，Wikipedia の電気製品の一覧に掲載されており，かつ，Web コーパス 用途表現 (人手) モノと用途表現の 3 つ組の頻度を利用する．用途表現には，データセットの構築時に利用中で頻度が 10,000 回以上出現するモノの中から 10 種した人手選定による用途表現を利用した．
類の電気製品を選択し利用した．これらのモノに対し，
3.1 節の手法を用いてノウハウ候補を抽出し，ノウハウか否かを人手で判定することにより，分析データと同様に評価データを構築した．用途表現には人手選定による 4.2 評価実験
平均 25 種類の用途表現を利用した．本研究では，ノウ各モノのデータをそれぞれ 5 分割し，10 種類のモノハウを含むパッセージを正解とし，ノウハウが一部しかのデータを用いて5 分割交差検定による評価実験を行っ含まれていない場合，不正解とした．評価データの規模た．実験結果を表4 に示す．パターンのみを用いた手を表 3 に示す．
法に対して，モノと用途表現を併用することにより，精実験では，以下の 3 種類の素性を用いる．手がかり表現
パターンのみを利用した手法と手がかり表現パターンに 度，再現率ともに向上していることが分かる．このこと
2 http://vhsdrn.org/ taku/software/TinySVM/
モノと用途表現を加えた手法を比較することにより，モ

5

表 4: 5 分割交差検定による実験結果.
パターン
パターン+
用途表現 (自動)パターン+
用途表現 (人手)精度73.4% (201/274)

再現率
23.6% (201/852)

F値
35.7

73.4% (307/418)

36.0% (307/852)

48.4

73.7% (329/446)

38.6% (329/852)

50.7

表 5: 10 分割交差検定による実験結果.
パターン
パターン+
用途表現 (自動)パターン+
用途表現 (人手)精度67.6% (152/225)

再現率17.8% (152/852)

F値
28.2

72.3% (274/379)

32.2% (274/852)

44.5

71.2% (282/396)

33.1% (282/852)

45.2

から，モノと用途表現に着目することにより，効率よくノウハウの獲得ができると言える．また，人手選定した用途表現に比べ，自動獲得した用途表現ではやや性能が落ちるものの，ノウハウ獲得において十分な効果が得られることが分かった．
上記の実験では，学習データとテストデータの両方に 10 種類のモノに関するデータが含まれている．しかし，学習データに含まれていないモノに対しても同様の効果が得られるとは限らないため，9 種類のモノに関するデータを用いて学習し，残りの 1 種類のデータでテストを行う 10 分割交差検定を行った．実験結果を表5 に示す．上記の実験と同様に，用途表現を利用することにより，精度・再現率ともに向上していることが分かる．また，上記の実験よりも大きな効果が出ている．このことから，学習に利用していないモノに対してもモノと用途表現が有効に働くことが示された．

4.3

考察

まとめ

本研究では，モノとその使われ方に着目することにより，効率よくノウハウを獲得する手法を提案した．まず，ノウハウの候補を獲得する．そして，手がかり表現パターンとモノ，用途表現を利用することにより，ノウハウを含むパッセージを獲得する．
本実験では，評価データ上での有効性を示すことができたが，評価データとは異なる性質のデータや異なるドメインに対して有効であるかは検証できていない．
そのため，今後の課題としてオープンドメインでの評価実験が挙げられる．また，パッセージの獲得手法の洗練化も必要となるだろう．

参考文献[1] 田村晃裕, 高村大也, 奥村学: 複数文質問のタイプ同定, 言語処理学会第 11 回年次大会 (2005).
[2] Delpech, E. and Saint-Dizier, P.: Investigating theStructure of Procedural Texts for Answering Howto Questions, In Proceedings of the 6th International
Conference on Language Resources and Evaluation,
pp.544-550 (2008).
[3] Fontan, L. and Saint-Dizier, P.: Analyzing the Explanation Structure of Procedural Texts: Dealing withAdvices and Warnings, In Proceedings of the 2008
Conference on Semantics in Text Processing, pp. 8493 (2008).
[4] 武智峰樹, 徳永建伸, 松本裕治, 田中穂積: WWW ページ
からの手順に関する箇条書きの抽出, 情報処理学会論文
誌, Vol.44, No.12, pp. 51-63 (2003).
[5] Yin, L. and Power, R.: Adapting the Naive Bayes Classifier to Rank Procedural Texts, In Proceedings of the28th European Conference on Information Retrieval
Research, pp. 179-190 (2006).

評価データ中には，ノウハウを一部しか含まないパッセージが 108 パッセージ存在した．これはパッセージの獲得誤りが原因であるが，パッセージの獲得が正し [6] Aouladomar, F.: Towards Answering Procedural Quesくできれば，これらは正解となるパッセージである．そtions, In Proceedings of the IJCAI Workshop on
Knowledge and Reasoning for Answering Questions,
こで，これらを正解と見なした場合の評価実験を 4.2 節
pp. 21-31 (2005).と同様に行った．その結果，いずれの手法においても再現率で 5% 以上の向上が見られた．このことから，パッ [7] Kawahara, D. and Kurohashi, S.: A Fully-lexicalized
セージの獲得手法について今後検討が必要である．
Probabilistic Model for Japanese Syntactic and Case
評価データ中で正解数の多い電子レンジやオーブン
Structure Analysis, In Proceedings of HLT-NAACL
では，いずれの手法においても全体の性能より F 値が2006, pp.176-183 (2006).
5% 以上良い結果がであったのに対し，正解数の少ない[8] Hearst, M. A.: TextTiling: Segmenting Text into
携帯電話やエアコンでは全体の性能より F 値が 5% 以上
Multi-Paragraph Subtopic Passages, Computational
低い結果であった．また，デジタルカメラに至っては，
Linguistics, Vol. 23, pp. 33-64 (1997).
パターンのみの手法ではノウハウを獲得できなかった．
しかし，用途表現を用いた手法では，少ないながらもノ [9] 小林のぞみ, 乾健太郎, 松本祐治, 立石健二, 福島俊一: 意
見抽出のための評価表現の収集, 自然言語処理, Vol. 12,ウハウの獲得ができていた．このことはモノと用途表現
pp.2003-222 (2005).
を利用することで様々なモノに対してノウハウの獲得ができることを示唆している．
[10] 鳥澤健太郎: 対象の用途と準備を表す表現の自動獲得, 自然言語処理, Vol. 13, No. 2, pp. 125-144 (2006).