日本語・韓国語版 Wikipedia の議論ページの分析に基づく
オンライン議論のモデル化に対する研究
A study of Online Discussion Model based on Analysis of Discussion Page
in Japanese-Korean Wikipedia
朱 成敏(Sungmin JOO)1,2・武田英明(Hideaki TAKEDA)2,1
1

総合研究大学院大学 ・2

国立情報学研究所［Abstract］
Wikipedia is the user contributed encyclopedia edited collaboratively by a wide-range of people and become one of the mostsuccessful knowledge sharing communities thanks to its huge amount of information and convenience. Wikipedia usually
determines contents and editorial policies through discussion among participants. It requires a lot of effort in deducing its
conclusion often due to protracted discussion. We need some measurement to examine how discussion is valuable to reachconclusion. So, we call it discussion validity and define it with the model with discussion capability of participants. We
conducted the experiments with the subjects to verify the model and found that our model resulted better than the conventionalmodel and proposed the automatic prediction of discussion validity using the text analysis. Then we estimated discussion
validity through the model with the estimated values.

［キーワード］Wikipedia, ウィキペディア, 議論，議論能力、議論の妥当性
1.はじめに近年、WEB2.0 の概念の普及によりインターネットを通じてユーザ達は様々な知識を共有することになった。また積極的な参加と更新によって知識の量と質の両方とも豊かになっている。知識を共有する際に意見の違いや疑問に対して他の参加者と議論を行う場合も多く見られる。その議論の結果が共有する知識に反映されるので、議論の質が知識の質において重要な要素となる。
代表的な知識共有コミュニティであるWikipedia は誰もが記事の作成や編集が自由にできるWebベースの百科事典であり、その膨大な情報量と閲覧の気軽さから注目されている。Wikipedia はユーザ個人が持つ様々な知識を記述することによって Wikipedia を利用するすべての人々と知識を共有することが可能となっている。
Wikipedia の大きい特徴である共同編集という機能から参加者の情報量や傾向に従って記事の内容が変更されることも頻繁に行われ、その際に他の参加者との意見の違いが生じる場合もある。そのため Wikipedia は編集者同士で記事の編集について話し合う空間としてノートページやユーザーページのように自由に意見交換ができる空間を提供している。 実際、記事に対する編集者間の議論行為は記事の編集と作成、知識の探究の次によく行われる行為であることが Wikimedia 財団の Wikipedia 編集者達を対象としたアンケート結果から分かった[1][2]。
しかし、Wikipedia で行われている議論の中では記事の修正や編集方針について編集者達が共感できるような結果を出すため議論する、いわゆる建設的な議論も存在する一方、結果が出せずに編集者間の相互誹謗により無意味な論争が続く場合も見られる。共同編集と知識共有という大きい特徴を持つ Wikipedia においてはこの議論の質は記事の信頼性と関係する可能性が存在すると考えられる。すなわち、建設的な議論として成立させるために議論が結論形成において妥当性のある議論なのか判定することが必要となる。
そこで, 本稿では議論を行うに当たり要求される参加者の能力を定義し, 参加者の発言からその能力を判断する。評価された参加者の議論能力が議論全体の妥当性の評価に与える影響と関係性を把握し、妥当性の判定手法として提案する。その判定基準をモデル化し, 参加者の議論能力から議論妥当性の推測への可能性について述べる。また、提案モデルが他言語の議論でも妥当性の推測が可能なのかを証明するために日本語版と韓国語版両方実験を行う。

2. 関連研究
Wikipedia の共同編集など協調作業に関する研究は更新履歴や編集者の執筆成果を重視する研究[3][4]が中心となっている。Wikipedia の編集履歴を分析し、削除なく残っている部分を作成した人の信頼度を上げ、また信頼度が高い編集者が参加した記事により高い信頼度を与える手法を中心として行われている。文字以外の情報から信頼度を算出する研究としては McGuiness[5]らが用いた記事観引用リンクの構造、David[6]らが提案したノートページの階層構造などが行われた。
また、インターネット上で行われる議論を分析した既存研究は特徴表現の抽出による重要度の判定や話題の流れから議論を可視化する研究[7][8][9][10]などが中心として行われていた。
構文分析によって重要単語を抽出して論点を定義した。論点から発言の繋がりを算出し、そのデータを中心として流れを可視化した。これらは説得システムとしての議論が持つ特徴よりはテキストの特徴抽出に注目した研究である。
本研究では編集者の議論姿勢を考慮し、議論を説得のコミュニケーションとして定義する。そして、共同編集という Wikipedia の方針から参加者の協調性を中心として議論の妥当性を推測する。
3．議論妥当性のモデル化
本章では議論の妥当性が持つ意味と議論の特徴(feature)、そして、参加者の議論能力に基づく妥当性判定モデルに関して述べる。
3.1 先行研究
先行研究として Wikipedia 日本語版の議論データを対象として議論の評価を行った[16]。議論の評価項目として６つの評価項目を提案しアンケート実験から議論データの評価を行った。
その結果と文章から抽出した 12 種類と要素を抽出して SVM を用いる自動判定への可能性を確認した。しかし、議論単位での評価する際に判定の基準が曖昧だという被験者の意見もあり、評価対象を議論単位から発言単位にし、その発言から参加者の議論能力を決める参加者の議論能力に基づく議論妥当性の推測モデルを提案した[17]。
本稿では先行研究に文章の特徴要素を補完し、また文章の特徴を用いた妥当性の推測モデルが他の言語にも適用できるかについても検証する。
3.2 議論の妥当性
議論における妥当性は導き出された結論の真偽ではなく結論形成までの形式によって判定される[11]。従って議論の妥当性を判定するためには結論形成の過程を考慮しなければならない。本研究では議論の進行や発言など参加者の参加姿勢から議論の妥当性の推測を目指す。
3.3 議論の特徴
本研究では議論の特徴(feature)として論証能力、コミュニケーション能力、議論を仕切る能力の３つの特徴を定義する。この特徴は参加者の発言から議論能力として算出され、議論の妥当性を推測する要素となる。

図-1 Toulmim モデルの構成要素

1 つ目の議論の特徴である論証能力を判定するために本研究では Toulmin の論証についてのモデル[12]を用いる。Toulmin モデルは論証の構成要素から定義されるので、分野によらない特徴を持つ。その構成要素は図１に示す。この構成要素が含まれている発言は立証モデルとしての条件を満たされ主張としての確実性が高いと考えられる。しかし、Wikipedia での議論のように一般的なテキスト上で行われている議論は構成要素をすべて揃う形は少ないと思われる。また、その妥当性を立証するには言葉のバリエーションも考慮しなければならない。従って Toulmin モデルから適用する分野の状況によってそのメカニズムを考える必要があり、本研究では基本の 3大要素である主張、根拠、限定を用いる。
そして、インターネット上で行われている議論の場合、参加者と司会者、傍聴者に分かれて形式と進行の管理がある討論会と違って自由に自分の意見を表すことが多く見られる。こういった特徴から本研究では議論の参加する編集者間のコミュニケーション能力を 2 つ目の議論特徴として提案する。
大坊らは会話コミュニケーションに関する研究[13]から討論条件では主導的討論者の役割を情報や意見を述べ、他者への質問や指示による役掛けが多いと主導的討論者の特徴を確認した。この主導的討論者の特徴を本稿では議論を仕切る能力として提案する。
3.4 議論の妥当性モデル
本研究では議論の妥当性を判断するために参加者の議論能力に基づく議論の妥当性モデルを用いる。この提案
モデルは様々な研究[3][4]で前提として使われている「良い参加者が多い議論は良い議論である」という仮説から始める。本研究では議論参加者の議論能力に基づく議論の妥当性を推測するモデルを提案し実験を通じてその仮説を検証する。
参加者の議論能力に基づく議論の妥当性モデルはまず、参加者の発言から参加者の議論能力を評価値として算出する。そして議論の参加者が持つ議論スキルの評価値からその参加者が参加した議論の妥当性を表す評価値を導出する。発言と議論の評価はアンケート実験を用いて本研究で提案する 3 つの議論特徴と総合的判断によって行う。参加者の発言の評価から議論の妥当性を判定し, 議論を評価した結果との比較と検証を行う。その流れは
図-2 に示す。

図-2 議論妥当性の判定

参加者の発言から評価された評価値は平均値を用いてその参加者の議論能力として与えられる。そして議論の評価は算出された議論参加者の議論能力を発言比率による重み付けを用いて計算する。平均値を用いた参加者の議論能力、発言比率による重み付けを用いた議論の評価に関して検証は先行研究で行った。
4．アンケート実験
本章では発言と議論全体の関係性を用いて議論の妥当性モデルを検証するために行ったアンケート実験について述べる。他言語に対する有用性を確認するため Wikipedia 日本語版と韓国版を日本人と韓国人を対象として行った。提案した 3 つの議論特徴と総合判定を問うために表-1 のように質問項目を構成した。

特徴項目１
特徴項目２
特徴項目３

議論能力
論証能力

質問項目
日本語 : 根拠を持って論理的に説得をする
韓国語 : 근거를 가지고 논리적으로 설득하고 있는가
コミュニケー 日本語 :相手を尊重して相手の意見や立場を理解するション能力
韓国語 : 상대를 존중하고 상대의 의견이나 입장을 이해하고 있는가
議論を仕切る 日本語 :議論の流れを考慮しながら結果を出せるように努力をする
能力
韓国語 :토론의 흐름을 고려하며 결과를 내기위해 노력하고 있는가

総合判定

日本語 :総合的点数
韓国語 : 종합점수表-2 議論の特徴項目と議論能力を問う質問項目

4.1 実験概要
Wikipedia のノートページから収集した議論データを発言単位と議論単位で被験者に配布し、前節で述べた 4つの質問項目を 7 件法として回答するようにアンケート実験を行った。実験データと被験者については表-3 に示す。

日本語版韓国語版

分野
議論データ
政治・社会 13 件、歴史 9 件、文化 5 件、41 件
アニメ関連 6 件、その他 8 件
政治・社会 12 件、歴史 11 件、文化 4 件、40 件
アニメ関連 5 件、その他 8 件

発言データ
461 件

被験者
8人

445 件

8人

表-3 アンケート実験の詳細

4.2 発言単位の評価
日本語版の発言データは 461 件、韓国語版のデータは 445 件に対す手アンケート実験を行った。実験では発言データをランダムにして前後関係が分からないように被験者に提示した。被験者の評価から平均値を取り 3 つの評価項目と総合評価との関係性を相関係数と回帰分析による貢献度を得た。その結果を表-4 に示す。

特徴項目 1
特徴項目 2
特徴項目 3

日本語版
相関係数
貢献度
0.96170.6996
0.42220.20730.17290.1014

韓国語版
相関係数
貢献度
0.86410.56440.50240.3481
0.3326
0.1140

表-4 発言単位の評価

4.3 議論単位の評価
議論単位の評価では被験者に議論単位で読んでもらい議論全体に対する評価を行った。総合的点数と 3 つの質
問項目との相関係数と回帰分析による貢献度を算出した。(表-5)

特徴項目 1
特徴項目 2
特徴項目 3

日本語版
相関係数
貢献度
0.90070.60780.26380.2042
0.33460.1919表-5 議論単位の評価

韓国語版
相関係数
貢献度
0.81340.54220.4706
0.33540.39410.22204.4 検証・考察
アンケート実験から発言単位と議論単位の評価を取った結果、人による評価では日本人と韓国人両方論証能力を主に評価していることが分かった。韓国人に対する実験結果では日本人の場合より論証能力の貢献度が少し低かったが、コミュニケーション能力と議論を仕切る能力の貢献度が高い結果になった。
議論を仕切る能力を問う特徴項目 3 の場合、日本語版と韓国語版の両方、発言単位の評価より議論単位の評価のほうが約 2 倍高い相関と貢献度を見せた。これは議論の流れが判断できない単一発言を対象にしたので、被験者達にとって先行発言と後続発言の意味が繋がる隣接ペア[14]としての認識ができなかったからと思われる。
また、発言単位の評価で被験者から評価が難しいと判断され評価から除外された発言は日本語版の場合 33 件、韓国語版では 21 件であった。評価できない発言は短文や「（文修正）,（文献追加）」のような連絡事項など議論として意味を持たない文章が多かった。こういった評価ができない発言の平均文章数は日本語版の場合 1.187 個(59.32byte)、韓国語版の場合 1.31 個(52.10byte)であった。
参加者が持つ議論能力に基づく妥当性の評価値を検証するため、議論の全発言に対する評価値の単純平均値を取って比較を行った。特徴項目 1，2，3 の平均値を表す評価値に対してアンケート実験から得た評価値を順位付けして被験者が議論単位で評価した結果の順位と Spearman 順位相関係数を用いて検証した。その結果は表-6 に表す。発言評価値の単純平均より参加者の議論能力に基づく評価値の方が被験者の評価の議論全体に対する評価値により近い結果を見せた。これは複数の議論に参加した参加者や参加者の活動履歴を考慮した評価が反映されより優れた結果を得ることができたと考えられる。

議論能力

判定方法

論証能力
(特徴項目 1)

提案モデル
単純平均
提案モデル
単純平均提案モデル
単純平均提案モデル
単純平均

コミュニケーション能力(特徴項目 2)
議論を仕切る能力(特徴項目 3)
総合評価

Spearman 順位相関係数
日本語版
韓国語版
0.98950.9346
0.93980.8796
0.97600.90340.90950.88710.98690.91030.95670.9076
0.96320.91140.88120.8779表-6 提案推測モデルの検証

5.議論妥当性の推測モデル
本章では前章で述べたアンケート実験の結果から自動的に議論の妥当性を推測するモデルを提案し、その可能性を実験から確認する。

図-3 議論妥当性の推測モデル

5.1 議論妥当性の推測
議論の妥当性を自動的に推測するために発言データから議論参加者の 3 つの議論能力を算出する。議論妥当性の推測の流れは図-3 に示す。まず、発言から文章が持つ特徴要素を発見し、回帰分析を用いてアンケート実験との関係性を確認する。そして、その結果を用いて参加者の３つ議論能力を算出し議論全体に対する評価を行う。

5.2 特徴項目のモデル化
発言データからの表-７のように文章の特徴要素を抽出した。特徴要素は先行研究で用いた要素を一部補完し 9種類となった。本研究で用いた文章の特徴要素は評価項目を参考して発言データから抽出可能な要素を任意で決めたものであり、評価項目が持つ意味と必ず一致してはない。
特徴要素
12
3
4
5

6
7
8
9

日本語版
韓国語版
「から」
「ので」の理由節の出現回数「니까」「므로」「때문에」の理由節の出現回数
引用, 出典記号の出現数
「れば」
「なら」
「たら」
「ならば」
「と」 「면」「라면」「다면」「ㄴ다면」「만약」「たらば」の条件節が出現した回数「혹시」「어쩌면」の条件節が出現した回数
「考える」
「思う」
「言える」のいずれ 「생각」「주장」のいずれが語尾に出現した回数が語尾に出現した回数「ですか」「ありませんか」「ですかね」 語尾にはてなマークが出現した回数「でしょうか」「でしょう」「ますか」「ませんか」などのいずれが質問形の語尾に出現した回数「です」「ます」などのいずれか敬語体敬語体の語尾「요」を持つ文章の割合の語尾を持つ文章の割合
悪口、禁止語
挨拶の出現回数
文章数
表-7 文章の特徴要素

発言から抽出した文章の特徴要素とアンケート実験から得られた特徴項目の評価値との関係を確認するため回帰分析を行った。回帰方程式を用いて参加者の議論能力を推測し、アンケート実験から得られた議論特徴と総合判定との関係性を用いて議論単位での評価、すなわち議論の妥当性の推測を行う。
5.3 実験結果
議論参加者の 3 つ議論能力に基づいて議論全体の議論特徴と総合評価を計算し、その上位 10 件をアンケート実験で被験者達に良い評価値を与えられた議論上位 10 件と比較を行った。その結果を表-8 に示す。41 件の日本語版データと 40 件の韓国語版データの妥当性を判定し、アンケート実験で総合評価点数が高かった上位 10 件を正解とした適合率は日本語版が 0.7、韓国語版が 0.6 となった。

項目
特徴項目１
特徴項目 2
特徴項目 3
総合判定

日本語版
適合率 順位相関係数0.90.95700.70.9492
0.70.9379
0.70.9043

韓国語版
適合率 順位相関係数0.60.9096
0.70.9173
0.60.8810
0.60.8734

表-8 妥当性推測モデルの実験結果

5.4 考察アンケート実験から得られた特徴項目 1,2,3,総合評価の評価値と９つの特徴要素との関係性を、相関係数を用いて確認した。(表-9)

特徴要素1234567
8
9

特徴要素 1
日本語版 韓国語版
0.55650.29180.65960.13380.37230.20380.11560.13790.0311-0.2288-0.0292
0.1271-0.0193-0.1135
0.1804-0.0147
0.49290.3112

特徴要素 2
日本語版 韓国語版
0.6391-0.2198
0.45970.1579-0.53310.05380.1448-0.0034
0.2030-0.1193
0.82630.1871-0.2823-0.2173
0.36130.36350.27030.2710

特徴要素 3
日本語版 韓国語版
0.1631
0.05390.10520.12580.08920.05060.08710.07490.7701-0.1048-0.0687
0.1647-0.1699
0.1042-0.7530-0.0868
0.07530.1971

表-9 抽出要素と特徴項目間の相関係数

論証能力を表す特徴項目１に関しては日本語版と韓国語版の両方理由節、引用・参考記号、条件節の出現頻度と文章数が大きく影響していることが分かった。これらの要素は Toulmin モデル[11]の構成要素でもあり論証能力を評価するために適切な要素だと考えられる。また、文章数が多いほど案件に対して集中する発言や意味がいある発言が多くなり論証能力において意味のある要素と見られる。
コミュニケーションを問う特徴要素 2 では日本語版の場合、敬語体の語尾を持つ文章の割合が強く貢献していることが分かった。韓国語版の実験では敬語体の語尾を持つ文章の割合がある程度影響力をみせているが日本語版ほど影響力を持たず、挨拶と文章数の方が大きく貢献している結果となった。挨拶、敬語体の語尾を持つ文章の割合のようにコミュニケーションにおける相手に敬意を示す表現を評価していることに共通点があり、コミュニケーション能力を判断するには参加者の礼儀に注目していることが分かった。本稿では日本語と韓国語の敬語はどちらも語尾から判断できる特徴に注目して特徴要素を決めた。しかし、語尾の特徴以外にも名詞や動詞、助詞の変化など相手に敬意を表す特徴も考慮すべきである。特に日本語と韓国語の敬語の違いとして韓国語の方は助詞の敬語化と動詞に特定語形を挿入することによる敬語化が主に使われている部分[15]があり、韓国語版での相手の敬意を示す特徴要素の改善が必要である。
議論を仕切る能力を問う特徴項目 3 では日本語版と韓国語版の結果に差があった。日本語版では疑問形の語尾と語彙的応答系が大きく影響していた。
これは議論の結論を出すため相手の発言を誘導する行動として思われる。
しかし、韓国語版では疑問形の語尾の影響力がほとんどなく他の抽出要素でも強く影響している要素が見えなかった。これはより多くの特徴要素を用いることによって改善ができると思われる。
6.考察と今後の課題
今回では議論妥当性の推測モデルを検証するため 41 件の日本語版と 40 件の韓国語版の議論データを対象として実験を行った。アンケート実験を考慮してデータを収集したため提案モデルの有用性を判断するに当たりデータの数が少ない。この実験を基盤として今後大量のデータを分析して妥当性を判断するモデルに適用していきたい。
発言から特徴要素を抽出し、参加者議論能力を判定、そこから議論妥当性を推測する本研究の提案モデルを日本語版と韓国語版の議論データに適用した。その結果から他言語で行われた議論が持つ妥当性の推測における可能性を確認した。一部文章の特徴要素に結果の差があり、抽出する特徴要素を補完することによって言語を問わず議論の妥当性の推測が可能になると思われる。
本研究では発言から議論能力を推測する際に平均値を用いた。先行研究から最頻値、中央値との検証とより良い結果をみせたが、発言が多くなるほど評価値が下がる傾向を見せた。今後は参加者の議論能力を算出する手法に関しても補完していきたい。
アンケート実験から発言 単位と議論単位での評価に差があることが分かった。これは発言の前後関係の把握により判断できる特徴だと思われる。こういった議論の流れや論点の追跡に関する様々な既存研究があった。本
研究の結果より発言の特徴要素だけで議論の妥当性を推測が可能だと分かった。構文分析など自然言語の処理の力を借りず議論妥当性の推測が可能だと証明できたことも本研究の一つの成果である。
また、本研究で提案した議論妥当性の推測モデルを Wikipedia 以外のウェブコミュニティに適用して各々のウェブコミュニティで行われている議論が持つ特徴の比較をいいたい。
7.おわりに
本稿では、知識共有における結論形成に要求される議論の妥当性を推測するモデルを提案し、実験を通じて検証した。まず、議論の妥当性を推測するために 3 つの特徴を特徴項目として定義した。参加者の発言と議論全体に対する分析から参加者が持つ議論能力の評価を行い、議論の妥当性を表す評価値を算出した。そして検証を通して提案モデルが議論妥当性の推測に有用だと分かった。参加者の議論能力に基づく議論の妥当性を推測することによって議論における充実度の判定や結論形成のための支援が可能となったと思われる。今後は厳密な分析を通じてより多様な要素の発見し、より正確な推測ができるように改善していきたい。また、英語など他文化圏の言語に適用し、言語を問わず妥当性の推測が可能なモデルとしての発展とより効率的な議論への発展のために支援をする枠組みに関して提案していきたい。

［参考文献］[1] WIKIMEDIA FOUNDATION, Wikipedia editor topline -Japanese edition. http://blog.wikimedia.org/, 2011[2] WIKIMEDIA FOUNDATION, Semi-annual survey of Wikipedia editors. http://blog.wikimedia.org/, 2011[3] 鈴木 優，吉川 正俊『Wikipedia におけるキーパーソン抽出による信頼度算出精度および速度の改善』情報処理学会論文誌: データベース，Vol.3, No. 3 (TOD47), pp. 20 - 32, 2010 年 9 月[4] 鈴木 優，金本 径卓，川越恭二『 Wikipedia の編集履歴を用いた記事の信頼性導出』人工知能学会第 20 回
セマンティックウェブとオントロジー研究会，2009 年 2 月[5] Deborah McGuiness, Honglei Zeng, Paulo Pinheiro da Silva,Li Ding, Dhyanesh Narayanan, Mayukh
Bhaowal,Investi-gation into trust for collaborative information repositories:A wikipedia case study. The Workshop on themodels of Trust for the Web, 2006
[6] David Laniado, Riccardo Tasso, Yana Volkovich, Andreas Kaltenbrunner, When the Wikipedians Talk: Network and Tree
Structure of Wikipedia Discussion Pages. Proceedings of the Fifth International AAAI Conference on Weblogs and Social
Media, 2011[7] 松村真宏， 加藤優， 大澤幸生， 石塚満『議論構造の可視化による論点の発見と理解』 日本ファジィ学会
誌，Vol.15，No. 5，pp. 554-564、2003 年[8] 桜井茂明，折原良平『掲示板サイト分析における重要議論抽出と特徴表現抽出』 知能と情報，Vol.19，No.1，pp.13-21，2007 年[9] O. Arazy and O. Nov., Determinants of Wikipedia quality: the roles of global and local contribution inequality.
Proceedings of the Conference on Computer Supported Cooperative Work(CSCW) , 2010.
[10] V. Gomez, A. Kaltenbrunner, and V. Lopez,
Statistical analysis of the social network and discussion threads inSlashdot.In Proceeding of WWW, 2008.
[11] Beer, Francis A., Validities: A Political Science Perspective. Social Epistemology 7, 1 pp. 85-105, 1993[12] Toulmin, S.E., The Uses of Argument. Cambridge University Press、1958[13] 大坊郁夫『社会的スキル向上を目指す対人コミュニケーション』ナカニシヤ出版, pp202-117, 2005 年[14] 坊農真弓, 高梨克也『多人数インタラクションの分析手法』 オーム社, pp.82-94, 2009 年[15] 曺 美庚 『日本語と韓国語における敬語表現の比較』Journal of human environmental studies, 2(1),pp.105-118, 2003[16] 朱成敏, 武田英明 『Wikipedia における編集者間議論ページの分析とそのモデル化』第 21 回 Web インテリジェンスとインタラクション研究会, 2011 年 9 月[17] 朱 成敏, 武田 英明『議論能力に基づく Wikipedia における編集者間議論ページの分析』第 26 回人工知能学会全国大会, 2012 年