F-04

2014 年度情報処理学会関西支部 支部大会

ゲーミフィケーションによる連想概念の獲得

Acquiring word associations with Gamification
町田雄一郎 †河原大輔 †柴田知秀 †黒橋禎夫 †颯々野学 ‡Yuichiro Machida

Daisuke Kawahara

Tomohide Shibata

Sadao Kurohashi

Manabu Sassano

試みも近年様々な分野で行われている。ゲーミフィケー

1 研究背景ションを効果的に用いることができれば、作業のコストを更に抑えることが可能になる。

近年、自然言語処理では大規模なリソースを利用した手自然言語処理では様々なリソースが利用されているが、法が大きな成果を上げており、充実した言語リソースやその一つとして語と語の関係知識に着目して作成されたデータセットの整備は自然言語処理研究においては欠かリソースがあげられる。特に、ある語に関する連想概念をせない。このようなリソースの構築には主に 2 つのアプ獲得することは、言葉の背景にある情報を扱うことができローチが取られる。1 つは人手で構築する手法で、もう 1るため、より高度な自然言語処理技術の発展に貢献するこつは自動的に構築する手法である。人手で作成されたリとが期待される。

ソースとしては WordNet[4] や FrameNet[1] などがある。

そこで本研究では連想概念を対象に、自動的な構築手

これらは専門家によって作成されているため一般的に質法、ゲーミフィケーション、クラウドソーシングを効果的は高いが、大規模なリソースの作成には多くの時間とコスに組み合わせて、質が高く、大規模な言語リソースを安価トがかかってしまうことが問題である。一方、自動的に構に構築するための手法を提案する。具体的には、大規模築されたリソースとしては、日本語格フレーム [14] など

Web コーパスを用いて自動獲得した連想概念に対して、がある。自動的な手法を用いる場合、大規模なリソースを対話型エージェントとの連想ゲームという形式で、獲得結構築できる反面、人手で作成するリソースよりも質が低い果の質を判定する。質が悪いと判定された連想概念に対ことが問題である。また、大規模であるがゆえに全ての結しては、クラウドソーシングを用いて不特定多数の人間に果を人手でチェックすることも難しい。

正しい結果に修正させる。

近年では、インターネットサービスを介して世界中の不特定多数の人間に作業を依頼することのできるクラウドソーシングを利用したリソースの構築も盛んである。ク

2 関連研究2.1 言語処理におけるクラウドソーシング

ラウドソーシングを利用することで、大規模な作業でもSnow ら [8] は様々な自然言語処理のアノテーションタ素早く、かつ低コストで行うことが可能である。しかしな

スクをクラウドソーシングで行い、専門家によるものと比がら、一般的にクラウドソーシングで複雑なタスクを依較したところ、手法を工夫すれば高い精度のアノテーショ頼する際には、成果物の質を高めるために、本来行いたいンが獲得できることを示した。これを発端に多くの自然作業を細かく簡単な作業に分割することが推奨されてい言語処理タスクをクラウドソーシングで行うという研究る。そのため、複雑なアノテーションを大規模に行う際にがなされている。例えば、推論規則の評価 [13]、機械翻は、実際の作業規模が増大してしまうという問題がある。

訳の評価 [2]、クラウドソーシングを利用して高い質の翻従って作業者 1 人あたりの単価は低くとも、全体的なコス訳を獲得する [12] など、多くの研究が行われている。更トは依然として問題となる場合がある。に評価用のデータセットの作成などにも盛んにクラウド

一方、ゲームで遊ぶ行為そのものが、何か別の作業とソーシングが利用されてきている。大規模な言語リソーなっている仕組みであるゲーミフィケーションを利用する

スをクラウドソーシングを用いて作成する試みも行われており、FrameNet をクラウドソーシングを用いて構築す† 京都大学大学院情報学研究科, Graduate Schoolof Informat-ics, Kyoto University‡ ヤフー株式会社, Yahoo Japan Corporationる研究 [5] や、談話関係の判定をクラウドソーシングを利用して判定する研究 [6] も行われている。

2.2 ゲーミフィケーション

概念の中には正しくないものも含まれている。このようクラウドソーシングにおいて、ワーカーが作業を行う動な質の悪い連想概念を音声対話と連想ゲームを利用した機は様々である。例えば Amazon Mechanical Turk など

ゲーミフィケーションでチェックする。大規模に自動獲のクラウドソーシングサービスに参加するユーザーは主得された連想概念を修正するには、どの獲得結果の質が悪に報酬を得ることを目的としている。また Wikipedia ないかを把握した上で、別の連想概念に修正しなければならどのサービスもクラウドソーシングの一種であると考えない。一つの方法としてクラウドソーシングを利用してられているが、記事の編集を行うユーザーはサービスへこれらの作業を行うことが考えられるが、そのためには一の貢献などを動機として編集を行っている。ゲーミフィ

連の修正の流れを誰でもできるような小さな作業に分割

ケーションは、ユーザーが楽しみを享受することを目的とし、更に回答の信頼性を担保するために複数のワーカーかして参加するクラウドソーシングの一形態である。ゲーらの判定を得る必要がある。このような形で大規模に修ミフィケーションの仕組みは von Ahn[11] によって提案

正作業を行うと、かなりの人的資源が必要とされる上、安され、Game with a Purpose という言葉で表現されてい価なクラウドソーシングといえどもコストがかさんでしる。ゲーミフィケーションでは、プレイヤーがゲームを楽まう。しかし作業を分割し、その一部をゲームとしてプレしむその行為自体が、何か別の作業となっているという特イヤーに提供することでコストを大幅に下げることが可徴がある。またユーザーは楽しみを享受することを目的能である。特に、自動獲得の結果を判定する作業は、人間としてゲームを行うため、ゲーミフィケーションは基本にとっては簡単ではあるが数が多い。この作業をゲーミ的には無料で行うことができる。従ってゲーミフィケー

フィケーションで無料で行うことができれば、コストを大ションを効果的に用いることができれば、作業にかかるコきく下げることができる。このゲームの結果として得らストを大幅に減らすことが可能である。Fold.it[3] ではタ

れた質の悪い連想概念については、報酬支払型のクラウドンパク質の構造解析をゲームとしてユーザーに行わせた。

ソーシングサービスを利用して、不特定多数のユーザーに参加したユーザーは数十万人規模で、研究者が長い間解く正しい連想概念を記述してもらう。

ことができなかったタンパク質の構造解析に成功すると3.1 連想概念の自動獲得いう成果を上げており、ゲーミフィケーションを効果的に連想概念の自動獲得の手法としては進ら [15] のものを利用することは大きな成果に繋がることが示されている。

用いる。進らは Web テキストと、Wikipedia や辞書の語自然言語処理の分野においては、ESP ゲームを行うこと釈文という 2 種類の知識源を用いて名詞の連想概念を獲で Semantic Network を作成することや [7]、語義のラベ得している。まず、一般のテキストにおいて一定の文脈内ル付けを行う [10] などといった研究がされている。最近

で共起しやすい語のペアは強い関係を持つことが多いこ

では、関連語のアノテーションをビデオゲームの形で行うとから、Web テキストを知識源として用いて名詞の共起といった研究 [9] も行われている。この研究では、報酬型頻度を計算する。しかし、Web テキストにおける共起のクラウドソーシングでアノテーションを行った時よりも関係だけでは低頻度語に関して関連語を獲得するのが難ゲーミフィケーションを利用した方が精度が向上したこ

しいため、名詞の説明をしている文章も知識源として利とが報告されている。

用する。このような説明箇所として、国語辞典の語釈文

3 提案手法や Wikipedia 記事の第一段落などを利用している。また、

Wikipedia の曖昧性回避ページを利用して、多義性の判定

本研究の目的は、自動構築、ゲーミフィケーション、クも行っており、「WBC」のように、世界ボクシング評議会ラウドソーシングを効果的に組み合わせることで、大規模(World Boxing Council) とワールド・ベースボール・クかつ、質が高い連想概念リソースを低コストで作成するこラシック (World Baseball Classic) のような違いも考慮とである。具体的には、まず進らの手法 [15] を用いて連している。進らはこの手法で 100 万語以上の名詞を対象想概念のリソースを自動構築する。ここで本論文におけとした連想概念を獲得している。進らの手法では連想概る連想概念とは、多くの人間がある名詞から連想すると思念として名詞集合を獲得していたが、本研究では、名詞関われる単語集合を指す。進らはある名詞に対して関連す連語に加えて名詞に関連する形容詞も対象として連想概る名詞集合を自動獲得する手法を提案しているが、本研究念を自動獲得する。形容詞の獲得手法としては名詞とのでは更に、ある名詞とそれに関連する形容詞も連想概念と共起から自己相互情報量を計算することで獲得する。例

し扱う。しかし、このようにして自動的に獲得された連想として、「ハム」に対して獲得できた形容詞を表 1 に示す。

図1

表1

3.2

提案手法全体像「ハム」に対して自動獲得された形容詞の関連語の例
自動獲得された形容詞

相互情報量

美味だ

5.998

美味しい

5.190

やばい

4.105

旨い4.019

有名だ

3.875

図2

音声対話を利用した連想ゲーム

連想ゲームの例

自動的に獲得された連想概念の質を連想ゲームとしてプレイヤーに評価させる。プレイヤーとは連想ゲームで遊ぶ人を指す。例えばキーワード「ピエロ」に関する連想

仮に自動獲得の結果の質が悪ければ、人間はキーワードを概念の獲得結果が、「サーカス・クラウン・道化・風船・答えることができないか、または全く異なる語を答えるとショー」であったとき、プレイヤーにはヒントとして連想考えられる。

概念の「サーカス・クラウン・道化・風船・ショー」が提本研究では、このゲームを Yahoo!が提供している音声示され、キーワードが何かを連想してもらう。ここでキー

対話スマートフォンアプリである「Yahoo!音声アシスト」

ワードとは連想概念を獲得する対象の単語を指し、ヒンの追加機能として試験的に動作させることを検討していトとは、連想ゲームでプレイヤーに提示する単語集合をる。*1 追加機能としての導入が実現すれば、ゲームログを指す。一方、「中古バイク・買い取り・ホンダ・国」とい収集、分析することでゲーミフィケーションを利用したうヒントが提示された際にプレイヤーが「バイク」という連想概念の評価実験を行うことが可能となる。また「音声回答をしたとする。キーワードは「王国」であり、プレイアシスト」を利用することは、話しかけるだけで簡単に遊ヤーは期待している単語とは大きく異なった回答をした

ぶことができ、ゲームを始めるまでの敷居が低い点や、対ことになる。このような場合には連想概念の自動獲得の話型エージェントとの会話がユーザーの興味を引くとい室が悪かったと判断できる。もし、ある単語の連想概念

う点でも、ゲームを促進する要素を備えていると考えらが正しく獲得できているのであれば、人間はヒントから、キーワードに近い語を推測することができるはずである。

*1 http://v-assist.yahoo.co.jp/れる。

上で、次のステップである「修正」と「獲得」についての3.2.1 連想ゲームの出題方法

予備実験の結果を報告する。実験は Yahoo!クラウドソー

自動獲得した連想概念を用いて連想ゲームを行うとき、プレイヤーがゲームをストレスなく行うことができるかは重要な問題となる。例えば提示したヒントの中に、キーワードと非常に類似した単語ばかりが入っていたり、キーワードが抽象的で非常に難解な問題になってしまうと、プレイヤーの意欲を削いでしまう可能性がある。そのため、いくつかの点に留意して出題を行った。まずキーワードシングを利用して行い、次の 2 段階のタスクを行った。
連想概念のチェックタスク

ある単語の連想概念として自動獲得されたものの内、連想関係にないものを判定する。
連想概念の記述タスク

あるキーワードに対する連想概念を自由に記述させる。のフィルタリングとして次の方法を用いた。Web の頻度

このようにタスクを 2 種類に分けることで、作業工程数で上位から 3000〜7000 位にあるものに限定し、更に形態が増えてしまうが、クラウドソーシングにおいては作業を素解析器 JUMAN のカテゴリで「抽象物」「時間」が付与

細かく分割する方が精度が良い結果が得られるとされてされている語を削除した。また、進らの手法では、連想概いるため 2 段階のステップに分割する必要があると判断念に「関連度」というスコアが与えられており、出題は基した。さらに、どのような単語が誤って獲得されているの本的にスコアが大きな順に提示する。同時に、分布類似度かを知ることができるため、自動獲得手法のエラー分析にを用いてヒント間の類似度を計算し、ヒントとなる単語がも貢献でき、今後の研究に有用な情報も同時に獲得できる互いに似たものにならないように留意した。と考えられる。また、「連想概念の記述タスク」について

3.3 クラウドソーシングを利用した連想概念の修正は、本来は「連想概念のチェックタスク」の結果を踏まえ連想ゲームの結果から連想概念の自動獲得結果の質がて行うタスクである。しかし今回はゲームログが無いた

悪いと考えられるものについては、正しい連想概念に修正め、「あるキーワードに対する連想概念を自由に記述させしたい。このような場合は報酬支払型のクラウドソーシる」という、より単純化した作業内容として実験した。

ングを利用することによって不特定多数のユーザーに連

4.1 連想概念のチェックタスク

想概念を修正してもらう。今回は Yahoo!クラウドソーシ

4.1.1 連想概念のチェックタスク:実験設定

ングを利用した。Yahoo!クラウドソーシングでは不特定あるキーワードとそれに対する自動獲得された連想概多数の日本人のワーカーに、小さな作業を報酬を支払うこ念をワーカーに提示する。ワーカーは提示された連想概とで行ってもらうサービスである。ワーカーは 1 タスク

念の内、キーワードからは連想されないものにチェックをあたり、2〜5T ポイント*2 を獲得することができ、作業を付ける。ワーカーにはキーワード 1 語と、連想概念が 10依頼する側も安価に済ませることが可能である。ここで語程度提示される。全体ではキーワードが 100 語、それワーカーとは、インターネットを通して作業を行う作業者に対応する連想概念が各約 30 語程度の規模でデータセッを指し、タスクとはワーカーが報酬をもらうためにこなすトを構築した。出題例を図 3 に示す。キーワード 1 語に作業単位を指す。連想概念の修正には 2 つのステップを対しては、10 人のワーカーの判定を獲得する。1 タスクはとる。第一段階では、ある単語とその連想概念の自動獲得

連想概念のチェック作業 2 題と、ワーカーの信頼性を測る結果が提示され、その中で連想関係にない単語を複数のためのチェック問題 1 題の計 3 題で構成される。チェッワーカーにチェックしてもらう。第二段階では、チェックク問題はワーカーが人間であることを判定するためのものつかなかった単語、即ち正しく獲得できている単語とはので、「この設問は 1 を選択してください」といった設問別の連想概念を、ワーカーに記述してもらうという内容でである。

ある。4 節で、このタスクの詳細について説明する。

4.1.2 連想概念のチェックタスク:実験結果

4 関連語の修正についての予備実験

連想概念のチェックタスクに参加したワーカーはのべ217 人で、平均実行タスク数は 4.47 であった。作業時間本稿の段階では、ゲーミフィケーションに関するログは約 30 分であった。チェック問題については 99.4% の精データが集まっていないため、ここでは、ゲーミフィケー度であり、ほとんど全てのワーカーが真剣に取り組んでいションによるログデータが十分集まったことを想定したると判断した。連想概念のチェックは 10 人中 4 人以上のワーカーが関係ないと判断した概念を除外することとし*2 http://tsite.jp/た。その結果、自動獲得した連想概念の内、除外された連る。右のカラムには参考として自動獲得された連想概念の例をあげた。自動獲得された連想概念の右の数値は関連度である。例えば「蜂蜜」などは自動獲得の結果はさほど悪くはなく、クラウドソーシングで獲得された連想概念と非常に近いものが獲得されている。一方で「直線」に関しては、自動獲得の場合は「馬」や「追走」などおそらく「競馬」に関連すると思われる単語が獲得されている。クラウドソーシングを利用した場合は「定規」や「1 次関数」などが連想概念として獲得されており、自動獲得の結果よりもよいものが獲得されていることがわかる。

4.3 予備実験のまとめ
実験結果から、連想概念のチェック、連想概念の記述に関しては特に問題なく行うことができることがわかった。
図3

連想概念のチェックタスクの例

この結果から、自動獲得された連想概念の質を、ゲーミフィケーションにより正しくチェックできるのであれば、その語の修正は高い質で行うことができると考えられる。

想概念が 3 割以下であったものは、100 語中 55 語であっまた、自動獲得結果の中にはクラウドソーシングで獲得さた。ワーカーによる選別例を表 2 に示す。ここで、下線部れた連想概念と同程度の内容のものが含まれており、連想はワーカーによる選別の結果、連想概念であると判定されたものである。また判定された結果を著者が目視で検討ゲームとして十分に機能することが期待される。

5 まとめと今後の展望した結果、ワーカーの判定の集約結果は正しいものであることが確認できた。
連想概念の記述タスク

4.24.2.1

連想概念の記述タスク:実験設定

ある単語をワーカーに提示し、その単語から連想される概念をなるべくたくさん記述させる。対象とした単語は本稿では、自動的な手法、クラウドソーシング、ゲーミフィケーションを効果的に組み合わせることで、大規模で質の良いリソースを安価に構築する枠組みについて論じた。また、クラウドソーシングを利用して、関連語の部分的な修正を高い精度で行うことが可能であることを示し

100 語であり、1 単語につき、各 10 人のワーカーに記述た。現状ではまだ、実際のゲームログを得るには至っていさせる。また、1 タスクは 1 題の記述作業と 1 題のチェッないが、今後、実際にゲームログが獲得できれば、さらなク問題から構成され、1 人のワーカーは最大で 5 回作業をる分析を進めたい。本発表の場では、実際のログに基づいすることができる。設問の形式は次のとおりである。
問た考察を行いたいと思っている。

次の言葉から連想される言葉をできるだけたくさん参考文献書いてください。

[1] Collin F. Baker, Charles J. Fillmore, and John B.

キーワード例

ディナー

解答例

夕食 レストラン ステーキ

4.2.2

連想概念の記述タスク:実験結果

タスク 2 に参加したワーカーはのべ 235 人で、平均実行タスク数は 4.3 タスクであった。獲得できた連想語の数は、1 キーワードあたり約 30 語であり、全体では約 3000語が獲得できた。チェック問題に関しては 89.3% のワーカーが正しく回答しており、ほとんどのワーカーが真剣に作業に取り組んだと考えられる。獲得された連想概念については図 3 に例を示す。クラウドソーシングで得られた連想概念の右の数値は、同じ回答をしたワーカー数であLowe. The berkeley framenet project. In Proceedings of the 36th Annual Meeting of the Association
for Computational Linguistics and 17th International Conference on Computational Linguistics Volume 1, ACL ’98, pp. 86–90, Stroudsburg, PA,USA, 1998. Association for Computational Linguistics.
[2] Chris Callison-Burch. Fast, cheap, and creative:
Evaluating translation quality using Amazon’s Mechanical Turk. In Proceedings of the 2009 Conference on Empirical Methods in Natural Language

表2キーワード
贈り物

自動獲得連想概念のチェック例

自動獲得された連想概念 (下線はワーカーによる選別で連想概念とされたもの)
引き出物, 一 杯 だ, 御礼, 誕生日, クリスマス, ラッピング, 沢山だ, 御返し, 最適だ, 還暦,誕生日プレゼント, 結婚, 記念日, ホワイトデー, 感謝, 盛り沢山だ, ムトウ, 母の日, 出産, ギフト,記念品, 記念, 心, プレゼント, 理想的だ, 敬老の日, 歳暮, 中元, 相応しい, 一般的だ, 内祝い, 神様, 父の日
中古バイク, 建国, 国, 王子, フルーツ, 勢力, 楽天市場店, 国王, 雑貨, 情報検索サイト, 王, 帝国,王国

支配, 買取, 価格情報, 好きだ, ヤフー店, 嬉しい, 首都, 軍, 王女, ホンダ

表3

自由記述によって得られた連想概念の例

キーワード

クラウドソーシングで得られた連想概念

自動獲得された連想概念

蜂蜜

ミツバチ:5, ローヤルゼリー:3, ハニー:2, 甘い:2, 蜂:2,...

クローバー:0.9, 砂糖:0.81, 蜜蜂:0.58, 養蜂,0.58, 蜜:0.45

直線

定規:6, 道路:2, 曲線:2, 直線道路:1, 1 次関数:1, ...

馬:0.9, 曲線:0.73, 番手:0.45, コーナー:0.4, 追走:0.36

Processing, pp. 286–295, Singapore, August 2009.

ence on Empirical Methods in Natural Language

Association for Computational Linguistics.

Processing, EMNLP ’08, pp. 254–263, Strouds-[3] Seth Cooper, Adrien Treuille, Janos Barbero, Andrew Leaver-Fay, Kathleen Tuite, Firas Khatib,burg, PA, USA, 2008. Association for Computational Linguistics.

Alex Cho Snyder, Michael Beenen, David Salesin,[9] Daniele Vannella, David Jurgens, Daniele Scarfini,David Baker, and Zoran Popovic. The challenge ofDomenico Toscani, and Roberto Navigli. Validat-designing scientific discovery games. In FDG, pp.

ing and extending semantic knowledge bases using

40–47, 2010.

video games with a purpose. In Proceedings of the[4] Christiane Fellbaum.

WordNet: An Electronic

Lexical Database. Bradford Books, 1998.
[5] Marco Fossati, Claudio Giuliano, and Sara Tonelli.

52nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers),
pp. 1294–1304, Baltimore, Maryland, June 2014.

Outsourcing framenet to the crowd. In Proceedings

Association for Computational Linguistics.

of the 51st Annual Meeting of the Association for[10] Noortje J. Venhuizen, Valerio Basile, Kilian Evang,

Computational Linguistics (Volume 2: Short Pa-and Johan Bos. Gamification for word sense label-pers), pp. 742–747, Sofia, Bulgaria, August 2013.

ing. In Proceedings of the 10th International Con-Association for Computational Linguistics.

ference on Computational Semantics (IWCS 2013)[6] Daisuke Kawahara, Yuichiro Machida, Tomohide– Short Papers, pp. 397–403, Potsdam, Germany,Shibata, Sadao Kurohashi, Hayato Kobayashi, andMarch 2013. Association for Computational Lin-Manabu Sassano. Rapid development of a corpusguistics.

with discourse annotations using two-stage crowdsourcing. In Proceedings of the 25th International
Conference on Computational Linguistics (COLING2014), Dublin, Ireland, 2014.8.

[11] Luis von Ahn. Games with a purpose. IEEE Computer, Vol. 39, No. 6, pp. 92–94, 2006.
[12] Omar F. Zaidan and Chris Callison-Burch. Crowdsourcing translation:

Professional quality from

[7] Mathieu Lafourcade. Making people play for lex-non-professionals. In Proceedings of the 49th An-ical acquisition. In Proceedings of the 7th Sympo-

nual Meeting of the Association for Computational

sium on Natural Language Processing (ENLP07),

Linguistics: Human Language Technologies - Vol-

pp. 13–15, Pattaya, Thailande, December 2007.

ume 1, HLT ’11, pp. 1220–1229, Stroudsburg, PA,[8] Rion Snow, Brendan O’Connor, Daniel Jurafsky,USA, 2011. Association for Computational Lin-and Andrew Y. Ng. Cheap and fast—but is itguistics.

good?: Evaluating non-expert annotations for nat-[13] Naomi Zeichner, Jonathan Berant, and Ido Dagan.

ural language tasks. In Proceedings of the Confer-

Crowdsourcing inference-rule evaluation. In Pro-

ceedings of the 50th Annual Meeting of the Association for Computational Linguistics (Volume 2:Short Papers), pp. 156–160, Jeju Island, Korea,
July 2012. Association for Computational Linguistics.
[14] 河原大輔, 黒橋禎夫. 格フレーム辞書の漸次的自動構
築. 自然言語処理, Vol. 12, No. 2, pp. 109–131, mar2005.
[15] 進義治, 黒橋禎夫. 名詞関連語知識に基づく文章のグラフ表現とその応用. 言語処理学会 第 20 回年次大会, pp. 1007–1010, 札幌, 2014.3.20.