言語処理学会 第24回年次大会 発表論文集 (2018年3月)

࣏ࣗମ FAQ ͷൺֱϚΠχϯά
ҏ౻୓ւ1ࢁ‫࢙݈ޱ‬1౦๺େֶ 1ాવ1

দాߞ࢙1౦‫ۀ޻ژ‬େֶ 2Ԭ࡚௚‫؍‬2‫݈ס‬ଠ࿠1,3ཧԽֶ‫ ॴڀݚ‬AIP ηϯλʔ 3{t-ito, k.yamaguchi, tianran, matsuda, inui}@ecei.tohoku.ac.jp
okazaki@c.titech.ac.jp

1͸͡Ίʹ

2

࣏ࣗମ FAQ ͷऩू͓Αͼ෼ੳ੫ۚ΍͝ΈॲཧͳͲ೔ৗੜ‫͍͓ͯʹ׆‬͸ɼ༷ʑͳखଓ

σʔλͷऩूʹ͋ͨͬͯ͸ɼ75 ͷ࣏ࣗମͷ΢ΣϒαΠ

͖΍ϧʔϧ͕ଘࡏ͢ΔɽͦΕΒͷதʹ͸ෳࡶͳ΋ͷ΋τʹରͯ͠ΫϩʔϦϯάɾεΫϨΠϐϯάΛߦ͍ɼ߹‫ܭ‬

͋ΔɽͦͷͨΊɼ࣏ࣗମ΁ͷॅຽ͔Βͷ໰͍߹Θͤ΋ଟ

29862 ͷ QA ϖΞΛ֫ಘͨ͠ɽ࣏ࣗମͷ΢ΣϒαΠτ͍ɽࡳຈࢢΛ͸͡Ίɼ͍͔ͭ͘ͷ࣏ࣗମͰ͸ίʔϧηϯͷߏ଄͸ଟ༷Ͱ͋ΔͨΊɼશͯͷ΢ΣϒαΠτʹରԠ͢λʔΛઃཱ͠ɼॅຽ͔Βͷ໰͍߹Θͤʹରͯ͠ରԠͯ͠Δͷ͸ࠔ೉Ͱ͋Γɼ໢ཏతʹϖΞΛ֫ಘ͢Δʹ͸ࢸΒͳ͍Δɽࡳຈࢢͷίʔϧηϯλʔ΁͸ͻͱ݄͋ͨΓ 1 ສΛ͔͕ͬͨɼ75 ࢢͷ͏ͪ 6 ࢢͰ 1000 ‫ݸ‬Ҏ্ͷ QA ϖΞΛ௒͑Δ໰͍߹Θ͕ͤ͋Δ*1 ɽ͜ΕΒͷ໰͍߹Θͤʹର֫ಘͨ͠ɽ·ͨɼ࠷େͰ͸ 1 ࢢ͔Β 3370 ‫ݸ‬ͷ QA ϖΞ͠ɼΑΓత֬ʹૉૣ͘৘ใΛॅຽʹ఻͑ΔͨΊʹɼFAQΛ֫ಘͨ͠ɽऩूͨ͠ QA ϖΞΛ࣏ࣗମԣஅͰ෼ੳ͠ɼ͸ॏཁͳ৘ใ‫͋Ͱݯ‬ΔɽFAQ ͸‫ͰͲͳۀا‬΋ඇৗʹ༗

QA ؒʹͲͷΑ͏ͳؔ܎͕ଘࡏ͢Δ͔Λௐ΂ͨɽӹͳ৘ใ‫͋Ͱݯ‬Γɼ඼࣭޲্΍࡞੒ࢧԉͷͨΊͷ‫͕ڀݚ‬·ͣɼ࣏ࣗମؒͰ࣭໰΋ճ౴ͷ಺༰΋΄ͱΜͲมΘΒߦΘΕ͍ͯΔ [3, 4]. ·ͨɼFAQ ͷ੔උΛਐΊΔ͜ͱʹ

ͳ͍ QA ϖΞ͕ଘࡏ͢Δɽྫ͑͹ɼ๏཯ͰఆΊΒΕͨ੫ΑΓɼ஌ࣝʹ‫͍ͨͮج‬ର࿩ϘοτͳͲ΁ͷԠ༻΋‫ظ‬଴Ͱۚͷखଓ͖ͳͲ͸࣏ࣗମʹΑΔҧ͍͸΄ͱΜͲͳ͍ɽҰ͖Δɽͭ·Γɼ FAQ Λॆ࣮ͤ͞Δ͜ͱͰߦ੓αʔϏεํɼ࣏ࣗମؒͰ࣭໰΋ճ౴ͷ಺༰΋ҟͳΔ΋ͷ΋ଟ͍ɽͷ޲্ʹͭͳ͕Δͱ‫ظ‬଴Ͱ͖Δɽྫ͑͹ɼ͝Έͷ෼ผ͸࣏ࣗମʹΑΓͦͷ੍౓΋େ͖͘ҟ͔͠͠ͳ͕Βɼ࣮ࡍʹ࣏ࣗମͷϗʔϜϖʔδΛ‫ݟ‬ΔͱɼͳΔɽ·ͨɼಉ͡‫ػ‬ೳΛ΋ͭࢪઃ౳Ͱ΋࣏ࣗମʹΑͬͯ

FAQ ͕΄ͱΜͲߋ৽͞Ε͍ͯͳ͔ͬͨΓɼͦ΋ͦ΋ QA໊শ͕ҟͳΔɽྫ͑͹ɼʮ‫ڥ؀‬ηϯλʔʯ͸ম٫ࢪઃ΍͕΄ͱΜͲͳ͔ͬͨΓͱ੔උෆे෼ͳ࣏ࣗମ΋গͳ͘ͳϦαΠΫϧࢪઃɼԼਫॲཧ৔ͳͲͷෳ߹తࢪઃͷ໊শͰ͍ɽͦ͜ͰຊߘͰ͸ਤ 1 ͷΑ͏ʹෳ਺ͷ࣏ࣗମͷ FAQ͋Δ͕ɼ஍ҬʹΑͬͯ͸ʮΫϦʔϯηϯλʔʯͱ΋‫ݺ‬͹Λԣஅతʹղੳ͠ɼଟ͘ͷ࣏ࣗମͷ΢ΣϒαΠτʹ‫·ؚ‬ΕΔɽ

ΕΔॏཁͳ࣭໰΍ಛఆͷ࣏ࣗମʹ͓͍ͯෆ଍͍ͯ͠Δ࣭ຊ‫Ͱڀݚ‬͸ॏཁͳ࣭໰ͱෆ଍͍ͯ͠Δ࣭໰ͷൃ‫ݟ‬Λ໨໰Λൃ‫͠ݟ‬ɼ࣏ࣗମͷ FAQ ͷ࣭ͱྔͷվળʹࢿ͢Δγతͱ͓ͯ͠ΓɼͦͷͨΊʹࣅ࣭ͨ໰Λ·ͱΊ͋͛Δɽ·εςϜΛ։ൃ͢Δ͜ͱΛ໨ࢦ͢ɽͣ͸ɼ࣭໰ؒͷؔ܎ʹ஫໨͠ͲͷΑ͏ͳؔ܎Λ·ͱΊ۩ମతʹ͸ɼ࣏ࣗମͷ΢ΣϒαΠτ͔Β QA ϖΞΛऩू͠ɼ࣭໰ɾճ౴ؒͷؔ܎ੑΛ࣏ࣗମԣஅͰ෼ੳͨ͠ɽ͋͛Δ͔ΛܾΊΔɽҎԼʹయ‫ܕ‬తͳ࣭໰ؒͷؔ܎Λड़΂Δɽ·ͨɼؔ܎ੑΛߟ্ྀͨ͠ͰɼͲͷΑ͏ͳ࣭໰ϖΞΛಉҰΫϥελͱΈͳ͢΂͖͔Λ‫ݕ‬౼͠ɼ໿ 900 ͷ QA ϖ

1. ࣭໰ͷ࢓ํͷந৅౓͕ҟͳΔ͕ɼ࣭໰ͷର৅͸ಉҰΞʹରͯ͠ਓखͰΫϥελϦϯάΛߦ͍ɼਖ਼ղσʔλΛͰճ౴ʹ‫ڞ‬௨෦෼͕ଟ͍৔߹࡞੒ͨ͠ɽද‫ݱ‬ͷଟ༷ੑʹରॲ͢ΔͨΊʹ࣭໰ΛϕΫτ(1) Մ೩͝Έɼ೩΍ͤΔ͝Έɼ೩͑Δ͝ΈͲͷΑ͏ʹग़ͤ͹Α͍͔ʢ‫ؠ‬ख‫ݝ‬੝ԬࢢʣϧͰද‫͠ݱ‬ɼ֊૚‫ܕ‬ΫϥελϦϯάΛద༻͢Δ͜ͱͰɼ(2) Մ೩͝Έɼ೩΍ͤΔ͝Έɼ೩͑Δ͝Έ͸͍ͭग़ਓखͰͷΫϥελϦϯάΛͲͷఔ౓࠶‫͖Ͱݱ‬Δ͔‫͠ূݕ‬ͤ͹Α͍͔ʢ‫ؠ‬ख‫ݝ‬੝Ԭࢢʣͨɽͦͷ‫݁ূݕ‬ՌΛ‫ʹݩ‬ɼಛఆͷ࣏ࣗମʹෆ଍͍ͯ͠Δ࣭໰Λൃ‫͢ݟ‬ΔγεςϜΛߏஙͨ͠ɽ

2. ࣭໰ͷର৅͕ෳ਺ྻ‫͞ڍ‬Ε͍ͯΔ࣭໰ͱͦͷ෦෼ू
߹ͱͳΔ࣭໰

*1 http://www.city.sapporo.jp/callcenter/data/(3) ΧηοτࣜΨεϘϯϕ΍εϓϨʔ؈͸ͲͷΑ͏

operation/3month29_4-6.html― 536 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

!

!

*
$5
+$fh3}0$!(/2*-K+$fh%~H#.0F"0*IO$ +fh7DE< /~H$fhM*#"+2%7$5
$5

$5
+$fh3P

a$~H$fh¡3P



CE8s/i*fh#*%T#X^ _3 * qN+$k 3£

$~H3t{M

3&0J+-1+1+!$.
. 

#k&

$5

$5
-.

+%!$.

#k&



-

-
CE8s/i4 1~H$ +$k  +b3t{M 

ਤ1

-

-

#"+1( $5 /!

gK$fh¡%~Q#.0F"0* $
_/ _*#S,/2+hrm'o$V
1y#2k ෳ਺࣏ࣗମͷ FAQ ͷൺֱද1ʹग़ͤ͹Α͍͔ʢ‫ؠ‬ख‫ݝ‬੝ԬࢢʣਓखͰ·ͱΊ্͛Λߦͬͨਖ਼ղσʔλͷ౷‫ܭ‬৘ใ(4) Χηοτίϯϩ༻ͷϘϯϕͷ ॲ ෼ ʹ ࠔ ͬ ͯ ·τϐοΫ͢ɺͲ͏͢Ε͹͍͍Ͱ͔͢ʁʢԬࢁ‫ݝ‬Ԭࢁࢢʣ͝Έ

391150‫ڭ‬ҭ

323113ߴྸऀɾো֐ऀɾհ‫ޢ‬

212

48

3. ࣭໰ͷର৅͕ෳ਺ྻ‫͞ڍ‬Ε͓ͯΓɼҰ෦͕‫ڞ‬௨ͯ͠
͍Δ(5) ࢖༻ࡁΈ‫ిס‬஑ɾϘλϯి஑ͷग़͠ํΛ஌Γ͍ͨɻʢѪ஌‫ݝ‬Ұ‫ࢢٶ‬ʣ(6) ॆిࣜి஑΍Ϙλϯి஑͸Ͳ͜ʹग़ͤ͹Α͍͔ʢ‫ؠ‬ख‫ݝ‬੝Ԭࢢʣ

QA ਺ Ϋϥελ਺Ұํɼ5 ൪໨ͷؔ܎ͷΑ͏ʹର৅෺ؒʹ֊૚తͳؔ܎͕ଘࡏ͢Δ৔߹͸ɼผͷ࣭໰ͱͯ͠·ͱΊ͋͛Δ͜ͱͱ

4. ͋Δ࣭໰͕म০͞Ε࣭ͯ໰಺༰͕ΑΓ۩ମతʹͳ͍ͬͯΔ৔߹ͨ͠ɽ
ʮ͍Ζ͍Ζͳ͝Έʯʹʮ೩΍ͤΔ͝Έʯ͕‫·ؚ‬ΕΔ͔Ͳ͏͔͸ର৅෺ͷந৅౓ʹؔ͢Δ஌͕ࣝඞཁͰ͋Γɼ(7) ෆ๏౤‫ࢥͱغ‬ΘΕΔ͝Έ͕͋Δʢ‫ؠ‬ख‫ݝ‬੝Ԭࢢʣ(8) ಓ࿏ʹෆ๏౤‫غ‬෺͕͋Δʢ‫ؠ‬ख‫ݝ‬੝Ԭࢢʣ(9) ࣗ෼ͷ౔஍ʹ͝ΈΛࣺͯΒΕͨΒͲ͏͢Ε͹͍͍ͷɻʢѪ஌‫ݝ‬Ұ‫ࢢٶ‬ʣ

5. ࣭໰ͷର৅ʹ֊૚తͳؔ܎͕͋Δ৔߹(10) ͍Ζ͍Ζͳ͝Έͷग़͠ํΛ‫͍ͩͯ͑͘͞ڭ‬ɻʢѪ஌‫ݝ‬Ұ‫ࢢٶ‬ʣର৅෺ͷཻ౓ʹؔ͢Δ‫ن‬ఆ͸࣏ࣗମʹΑͬͯҟͳΔ৔߹͕ଟ͍ͨΊͰ͋Δɽ͜ͷΑ͏ͳ࢑ఆతͳ‫ج‬४ͷ‫Ͱݩ‬ɼʮ͝Έʯͱʮ‫ڭ‬ҭʯɼʮߴྸऀɾো֐ऀɾհ‫ޢ‬ʯͷ 3 ͭͷτϐοΫͷ࣭໰ʹରͯ͠ɼਓखͰ·ͱΊ͋͛Λߦ͍ɼΫϥελϦϯάͷਖ਼ղσʔλΛ࡞੒ͨ͠ɽ͜ͷσʔλͷৄࡉʹ͍ͭͯ͸ද 1 ʹࣔ͢ɽ(11) ೩΍ͤΔ͝Έ͸ͲͷΑ͏ʹग़ͤ͹͍͍Ͱ͢3͔ʁʢ௕࡚‫ݝ‬େଜࢢʣ࣮‫ݧ‬

1 ൪໨ͷؔ܎͸ɼந৅౓͕ߴ͍࣭໰ͷճ౴ʹந৅౓ͷʮ͝Έʯͱʮ‫ڭ‬ҭʯɼʮߴྸऀɾো֐ऀɾհ‫ޢ‬ʯʹؔ͢Δ QA

௿͍ճ౴͕‫·ؚ‬ΕͨΓɼಉҰͷճ౴ͱͳ͍ͬͯΔ͜ͱ΋ϖΞʹରͯ͠֊૚తΫϥελϦϯάΛߦ͍ɼલड़ͷ‫ج‬४ଟ͍ɽͲ͏͍࣭ͬͨ໰ͷ࢓ํΛ͢Δ͔͸࣏ࣗମʹΑͬͯʹΑͬͯਓखͰߏஙͨ͠ਖ਼ղΫϥελΛͲͷఔ౓࠶‫Ͱݱ‬มΘΔɽ2 ͱ 3 ൪໨ͷΑ͏ͳؔ܎͸ɼର৅Λྻ‫͍ͯ͠ڍ‬͖Δ͔֬ೝͨ͠ɽΫϥελϦϯά͸֊૚తΫϥελϦϯͯ΋ॲཧ͕ಉҰͰ͋Δ৔߹ͱͦ͏Ͱͳ͍৔߹͕͋ΔɽͦάΛ༻͍ΔɽৄࡉͳΫϥελϦϯάͷΞϧΰϦζϜʹͭͷ൑அΛ͢ΔͨΊʹ͸ճ౴΍֎෦஌͕ࣝඞཁͰ͋Δɽ·͍ͯ͸ 3.1 અͰઆ໌͢Δɽ

ͨɼ4 ൪໨ͷؔ܎ͷ࣭໰͸म০ͷ಺༰ʹΑͬͯճ౴͕ม֤ ࣭ ໰ จ ͸ ɼ࣭ ໰ ʹ ‫ · ؚ‬Ε Δ ୯ ‫ ޠ‬ϕ Ϋ τ ϧ Λ ଍ ͠ΘΔ͜ͱ΋͋Δɽෆ๏౤‫غ‬෺ͷॲཧ͸౤‫͞غ‬Εͨ౔஍ͷ߹ΘͤͨϕΫτϧͰද‫͢ݱ‬Δɽ୯‫ޠ‬ϕΫτϧͱͯ͠ɼॴ༗ऀɾ؅ཧऀ͕ॲ෼͠ͳ͚Ε͹ͳΒͳ͍ɽͦͷͨΊɼಓ࿏ʹෆ๏౤‫غ‬෺͕͋Δ৔߹ͱɼࢲ༗஍ʹෆ๏౤‫غ‬෺͕

Wikipedia ͱෳ਺ͷ࣏ࣗମϗʔϜϖʔδ͔ΒςΩετΛऩू࣏ͨࣗ͠ମίʔύε͔ΒɼͦΕͧΕ word2vec Λ༻͋Δ৔߹Ͱ͸ॲཧ͕ҟͳΔɽ͔͠͠ɼम০ʹΑͬͯखଓֶ͍ͯशͨ͠΋ͷΛ༻͍Δɽ·ͨɼҰൠతͳ୯‫ޠ‬΍සग़͖͕มΘΔ͔Ͳ͏͔΋ճ౴ΛΈΔ͔ɼ஌͕ࣝͳ͚Ε͹൑͢Δ୯‫ʹޠ‬ΑΔӨ‫ڹ‬Λখ͘͢͞ΔͨΊʹɼ࣭໰จΛจॻஅͰ͖ͳ͍ɽ͜ΕΒͷཧ༝ʹΑΓɼࠓճ͸ 1 ൪໨͔Β 4ͱΈͳͯ͠‫ ͨ͠ࢉܭ‬IDF ΛͦΕͧΕͷ୯‫ޠ‬ϕΫτϧʹ൪໨ͷؔ܎͸ಉ࣭͡໰ͱͯ͠·ͱΊ͋͛Δ͜ͱͱͨ͠ɽ

ରͯ͠৐ࢉ͢ΔॏΈ෇͚Λߦͬͨɽ― 537 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

·ͨɼ2 અͰఆΊͨ‫ج‬४Ͱ͸ʢ໊ࢺͰද͞ΕΔ͜ͱͷଟ͍ʣ࣭໰ର৅͕ܾఆ͢Δͱɼͦͷର৅ʹର͢Δ࣭໰͸

L@> |3R[Zz|3  $8B:;$:95͔ͳΓ‫ݶ‬ఆ͞ΕΔ͜ͱ͕Θ͔͍ͬͯΔɽͦͷͨΊɼ࣭໰        จதͷ໊ࢺΛۙࣅతʹ࣭໰ର৅ͱߟ͑ɼ໊ࢺͷ୯‫ޠ‬ϕΫ τϧͷΈͰ࣭໰จϕΫτϧΛ࡞੒͠ɼΫϥελϦϯάΛ   ߦ͏͜ͱ΋ࢼΈͨɽΫϥελϦϯάͷධՁࢦඪʹ͍ͭͯ͸ 3.2 અͰࣔ͢ɽ3.1

1ਤ2σϯυϩάϥϜʹର͢Δਖ਼ղΫϥελͱͷ F-Score ͷ‫ํࢉܭ‬๏֊૚తΫϥελϦϯάΞϧΰϦζϜ‫܈‬ฏ‫ۉ‬๏ͷҰछͰ͋ΔɼඇՃॏ݁߹๏ (unweighted pair-group method using arithmetic averagesɼUPGMA)[1,2] Λ༻͍ͨɽΫϥελ Ci ͱ Cj ͷඇྨࣅ౓ d(Ci , Cj ) ͸ࣜ 1 ͷΑ͏ʹ‫͢ࢉܭ‬Δɽͳ͓ɼCi = Ci1 ∪ Ci2 Ͱ͋Δɽ3.3

࣮‫݁ݧ‬Ռ࣮‫݁ݧ‬ՌΛද 2 ʹࣔ͢ɽWikipedia ΑΓ΋࣏ࣗମίʔࣄྫؒͷ‫ʹ཭ڑ‬͸ɼ࣭໰จϕΫτϧؒͷίαΠϯ‫཭ڑ‬ΛύεͰֶशͨ͠୯‫ޠ‬ϕΫτϧΛ༻͍ͯΫϥελϦϯά

༻͍ͨɽΛߦͬͨํ͕ੑೳ͕Θ͔ͣʹߴ͍ɽ࣏ࣗମίʔύεֶ͕d(Ci , Cj ) =3.2

|Ci1 ||Ci2 |d(Ci1 , Cj ) +d(Ci2 , Cj )|Ci ||Ci |(1)ධՁࢦඪशʹे෼ͳྔͰ͋Δ͜ͱͱɼυϝΠϯʹ͋ͬͨϕΫτϧ͕֫ಘͰ͖͍ͯΔ͜ͱ͕ཧ༝Ͱ͋ΔͱਪଌͰ͖Δɽ࣭໰จϕΫτϧͷߏ੒๏ʹண໨͢Δͱɼશ୯‫ޠ‬ͷϕΫτϧΛධՁࢦඪͱͯ͠͸ɼZhao Β [2] ʹΑͬͯఏҊ͞Εͨɼ֊૚తΫϥελϦϯάͷධՁͷͨΊʹमਖ਼͞Εͨ F-ScoreΛ༻͍Δɽ͜Ε͸ϑϥοτͳਖ਼ղΫϥελͱɼ֊૚‫ܕ‬ΫϥελϦϯάʹΑͬͯੜ੒͞ΕͨσϯυϩάϥϜͷશϊʔυΛൺֱ͠είΞΛ‫ٻ‬ΊΔ΋ͷͰ͋Δɽࠓճ͸ࣅͯ
͍Δ࣭໰Λ·ͱΊɼಛఆͷ࣏ࣗମʹ‫·ؚ‬Ε͍ͯͳ͍࣭໰
Λ୳͢͜ͱ͕໨తͰ͋ΔɽΫϥελ਺Λ‫ݻ‬ఆ͢Δඞཁ͕ͳ͍ͨΊɼ͜ͷධՁํ๏Λ࠾༻ͨ͠ɽLr Λਖ਼ղͷΫϥελͱ͠ɼSi Λ֊૚‫ܕ‬ΫϥελϦϯάʹΑͬͯੜ੒͞ΕͨΫϥελͷϊʔυͱ͢ΔɽLrͷཁૉ਺Λ nr ͱ͠ɼSi ͷཁૉ਺Λ ni ͱ͠ɼSi ͷཁૉͷ͏ͪɼLr ʹ‫·ؚ‬ΕΔཁૉ਺Λ nri ͱ͢Δɽ͜ͷ࣌ɼP recision(Lr , Si ) = nri /ni ͱ Recall(Lr , Si ) =nri /nr ͱ͢ΔͱɼLr ͱ Si ͷ F ஋͸ࣜ 2 ͷ༷ʹఆٛ͞ΕΔɽ

2 ∗ Recall(Lr , Si ) ∗ P recision(Lr , Si )Recall(Lr , Si ) + P recision(Lr , Si )(2)
ਤ 2 ͷΑ͏ʹ֊૚తΫϥελϦϯάͷσϯυϩάϥϜ Tͷશϊʔυʹରͯ͠ F (Lr , Si ) Λ‫ࢉܭ‬Λ͠ɼ࠷େ஋Λ Lrʹର͢Δ F-Score ͱ͢Δɽͭ·Γɼࣜ 3 ͷ༷ʹͳΔɽ
ɹ F (Lr , Si ) =ɹ F (Lr ) = max F (Lr , Si )Si ∈T(3)༻͍ͨ৔߹͸ IDF ͰॏΈ෇͚Λߦ͏͜ͱͰείΞ্͕͕͍ͬͯΔ͜ͱ͕Θ͔Δɽ࣭໰จͷ຤ඌ͸ʮʙ͍ͭͯ‫ڭ‬͍͑ͯͩ͘͞ʯͳͲܾ·ͬͨύλʔϯ͕ଟ͍ͨΊɼ IDFͰॏΈ෇͚Λߦ͏͜ͱͰɼ຤ඌͷද‫ʹݱ‬ΑͬͯΫϥελ͕·ͱ·ΔͷΛ๷͙ޮՌ͕͋ͬͨͱߟ͑ΒΕΔɽ·ͨɼͲͷτϐοΫͰ΋ɼ࣭໰จதͷશ୯‫ޠ‬Λ༻͍ͯΫϥελϦϯάΛ͢ΔΑΓ΋ɼ࣭໰จʹ‫·ؚ‬ΕΔ໊ࢺͷΈͰΫϥελϦϯάΛ͢Δ͜ͱʹΑͬͯੑೳ্͕͕͍ͬͯΔ͜
ͱ͕֬ೝͰ͖Δɽ͜Ε͸ɼ૝ఆ͍ͯͨ͠Α͏ʹ࣭໰ର৅
͕ܾ·Δ͜ͱʹΑ࣭ͬͯ໰಺༰͕‫ݶ‬ఆ͞ΕΔͨΊͩͱߟ͑ΒΕΔɽࠓճ͸࣭໰ର৅Λۙࣅతʹ໊ࢺͷΈͱߟ͕͑ͨɼͦͷԾఆ͕ଥ౰Ͱ͋Δ͜ͱ͕֬ೝͰ͖ͨɽ4ϚΠχϯάγεςϜʹ͍ͭͯ

3.3 અͷ݁ՌΑΓɼ࣏ࣗମίʔύε͔Βֶशͨ͠୯‫ޠ‬ϕΫτϧΛ༻͍ͯɼ࣭໰จͷ໊ࢺͷ୯‫ޠ‬ϕΫτϧʹ IDF ͰॏΈ෇͚Λͯ͠ߏ੒࣭ͨ͠໰จϕΫτϧΛ༻͍ͯ FAQϚΠχϯάγεςϜΛ࡞੒ͨ͠ɽਤ 3 ʹ 4 ࢢͷʮ͝ΈʯʹؔΘΔ࣭໰ΛγεςϜʹೖྗͨ͠ͱ͖ͷγεςϜͷΠϯλʔϑΣʔεΛࣔ͢ɽࠨͷ࣭໰จ͕Ϋϥελʹଐ͢ΔϕΫτϧͷฏ‫ʹۉ‬΋ͬͱ΋͍ۙจষ͕୅ද࣭໰ͱͯ͠දࣔ͞Ε͍ͯΔɽ֤Ϛεͷ਺ࣈ͸֤Ϋϥελʹଐ͢Δ֤࣏ࣗମͷ QA ͷ਺Ͱ͋ΓɼҰ൪ࠨͷ਺ࣈ͸ͦͷ࿨Ͱ͋Δɽ࠷ऴతͳΫϥελϦϯάશମͷ F-Score ͸ࣜ 4 ͷ༷ʹɼ࣮ࡍʹް໦ࢢͱവ‫Ͱࢢؗ‬ෆ଍͍ͨ͠Δ࣭໰͕ਤ 3 ͷΑ͏֤Ϋϥελͷཁૉ਺ʹ‫ͮ͘ج‬ॏΈ෇͖ฏ‫͞ࢉܭͰۉ‬Εʹൃ‫͖Ͱݟ‬Δɽ·ͨɼΫϥελΛυϦϧμ΢ϯ͢Δ͜ͱ

Δɽͳ͓ɼc ͸ਖ਼ղͷΫϥελ਺Ͱ͋Δɽ͕Ͱ͖ɼϢʔβʔ͕ԼҐΫϥελʹ෼ղ͠ద੾ͳཻ౓ʹɹ F Score =c
nrnr=1F (Lr )(4)

ௐઅ͢Δ͜ͱͰɼΑΓ۩ମతͳ࣭໰Λൃ‫͢ݟ‬Δ͜ͱ͕ՄೳͰ͋Δɽͦͷ݁Ռɼද 3 ͷΑ͏ͳ࣭໰͕ൃ‫͞ݟ‬Εͨɽ

― 538 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

ද2࣭໰จͷΫϥελϦϯάͷ࣮‫݁ݧ‬Ռ

Wikipedia Ͱֶशͨ͠୯‫ޠ‬ϕΫτϧશ୯‫ޠ‬࣏ࣗମίʔύεͰֶशͨ͠୯‫ޠ‬ϕΫτϧ໊ࢺͷΈશ୯‫ޠ‬໊ࢺͷΈIDF ͳ͠

IDF ͋Γ

IDF ͳ͠IDF ͋Γ

IDF ͳ͠IDF ͋Γ

IDF ͳ͠IDF ͋Γʮ͝Έʯؔ͢Δ࣭໰

0.701

0.750

0.789

0.805

0.726

0.761

0.813

0.818

ʮ‫ڭ‬ҭʯؔ͢Δ࣭໰

0.687

0.750

0.826

0.816

0.735

0.778

0.826

0.830

ʮߴྸऀɾো֐ऀɾհ‫ޢ‬ʯؔ͢Δ࣭໰

0.662

0.718

0.844

0.796

0.680

0.754

0.862

0.834



,0$5

4!.!
ਤ31($5 )
#"+ 'γεςϜͷΠϯλʔϑΣʔεද 3 γεςϜΛ༻͍ͯൃ‫͞ݟ‬Εͨਆಸ઒‫ްݝ‬໦ࢢͷ
FAQ ʹෆ଍ͯ͠Δ࣭໰ͷྫՄೳ͔΋͠Εͳ͍ɽ·ͨɼࠓճ͸ QA ϖΞͷ࣭໰ͷΈΛղੳͷର৅ͱ͕ͨ͠ɼճ౴Λղੳ͢Δํ޲ੑ΋‫ڵ‬ຯਂ͍ɽಉ࣭͡໰ʹର͢Χϥε͕ूੵॴΛߥΒͯ͠ࠔ͍ͬͯ·͢ɻԿ͔ରࡦ͸Δճ౴Ͱ͋ͬͯ΋ɼ࣏ࣗମʹΑͬͯద੾ͳճ౴͸ҟͳΔ͋Γ·͔͢ʁ͜ͱ΋ଟ͍ɽճ౴ʹରͯ͠΋ൺֱʹ‫͍ͨͮج‬ղੳΛߦ͏͜ͱͰɼճ౴தͷෆ଍͍ͯ͠Δ৘ใΛൃ‫͢ݟ‬Δ͜ͱ͕Մ͝Έͷෆ๏౤‫͍ͯͭʹغ‬ɻҾӽ͠ͳͲͰɺͨ͘͞Μ͝Έ͕ग़·͕ͨ͠ɺ͝Έεςʔγϣϯʹग़͍͍ͯ͠Ͱ͔͢?

ೳ͔΋͠Εͳ͍ɽ͜Ε͸ɼΑΓॆ࣮ͨ͠ FAQ Λߏங͢ΔҰॿͱͳΔͰ͋Ζ͏ɽँࣙ5ຊ‫ڀݚ‬͸ JST CREST(՝୊൪߸: JPMJCR1301) ͷ͓ΘΓʹຊ‫Ͱڀݚ‬͸ෳ਺ͷ࣏ࣗମ΢ΣϒαΠτͷ FAQ Λऩूɾௐࠪ͠ɼࣅ࣭ͨ໰Λ·ͱΊ͋͛Δ͜ͱʹΑΓɼॏཁͳ࣭ࢧ ԉ Λ ड ͚ ͯ ߦ ͬ ͨ ɽ· ͨ ɼຊ ‫ ڀ ݚ‬͸ JSPS Պ ‫ ݚ‬අ

15H01702ɼ15H05318 ͷॿ੒Λड͚ͨ΋ͷͰ͋Δɽ໰΍ಛఆͷ࣏ࣗମ΢ΣϒαΠτʹ‫·ؚ‬Ε͍ͯͳ͍࣭໰Λࢀߟจ‫ݙ‬

ൃ‫͢ݟ‬Δ͜ͱʹऔΓ૊Μͩɽऩूͨ͠ FAQ Λௐ΂ͨ݁

[1] R. R. Sokal and C. D. Michener. A Statistical Method forEvaluating Systematic Relationships. University of Kansas
Science Bulletin, Vol. 38, pp. 1409–1438, 1958.
[2] Ying Zhao and George Karypis. Evaluation of Hierarchical
Clustering Algorithms for Document Datasets. Proceedingsof the CIKM, pp. 515–524, 2002.
[3] ૣ৫૔ా, ఩உখ઒, හߦՃೲ. ୅දจੜ੒ٕज़ͱ FAQ ࡞੒ͷޮ
཰޲্. ౦ࣳϨϏϡʔ, Vol. 66, No. 9, pp. 57–61, 2011.
[4] ໦ଜӳࢤ, ߴౡढ़࠸, ॏԬ஌ত, ৿ా๛‫ٱ‬. จॻΧςΰϦΛར༻ͨ͠จॻΫϥελϦϯάͷίʔϧηϯλʔ FAQ վળ΁ͷద༻. ୈ76 ճશࠃେձߨԋ࿦จू, ୈ 2014 ‫ר‬, pp. 485–486, 2014.

Ռɼ࣭໰ର৅͕ܾఆ͢Δͱ࣭໰ͷ಺༰͕‫ݶ‬ఆ͞ΕΔ͜ͱ͕Θ͔ͬͨɽͦͷͨΊɼ࣏ࣗମͷ΢Σϒϕʔδ͔Β୯‫ޠ‬ϕΫτϧΛֶश͠ɼ࣭໰จதͷ໊ࢺͷ୯‫ޠ‬ϕΫτϧΛ଍͠߹Θͤͨ΋ͷΛಛ௃ྔͱ͠ɼ֊૚తΫϥελϦϯάΛߦ͏ FAQ ϚΠχϯάγεςϜΛ࡞੒ͨ͠ɽ࣭໰ؒͷؔ܎͸ɼ2 અͰड़΂ͨΑ͏ʹଟ༷Ͱ͋Δɽ͜ͷௐࠪ݁ՌΛ౿·͑ͯɼࠓ‫ޙ‬͸࣭໰ؒͷؔ܎ੑͷࣗಈղੳʹ΋औΓ૊Έ͍ͨɽྫ͑͹ɼ࣭໰ର৅͕म০͞Ε͍ͯΔ৔߹͸ɼͲͷΑ͏ʹम০͞Ε͍ͯΔ͔ʹΑͬͯɼద੾ͳղ౴͕ҟͳΔ͜ͱ΋ଟ͍ɽ࣭໰จؒͷΞϥΠϯϝϯτΛͱΔ͜ͱͰɼ࣭໰ؒͷࠩҟΛΑΓ໌Β͔ʹ͢Δ͜ͱ͕― 539 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.