DEIM Forum 2014 E6-3

Twitter 特有のコミュニケーション表現の抽出
風間

千明†

関

洋平††

† 筑波大学情報学群知識情報・図書館学類 〒 305–8550 茨城県つくば市春日 1-2†† 筑波大学図書館情報メディア系 〒 305–8550 茨城県つくば市春日 1-2
E-mail: †s1011535@u.tsukuba.ac.jp, ††yohei@slis.tsukuba.ac.jp
あらまし Twitter では，「なう」や「わず」のような，特徴的で簡潔な表現が，文末に多く見られる．本研究では，このような表現を Twitter 特有の「コミュニケーション表現」と呼び，自動抽出する手法について検討する．抽出を行う
上では，特徴的な表現が文末に出現しやすいことを利用する．まず，文末記号に応じてツイートに頻出する文末ひらがな 2-gram（「なう」，「あり」など）を抽出する．次に，他の文書ジャンルに頻出する文末ひらがな 2-gram と比較し，Twitter 特有の文末ひらがな 2-gram を選択する．そして，Twitter 特有の文末ひらがな 2-gram を含み，その前に接続するひらがな n-gram 表現をコミュニケーション表現候補として抽出する．さらに，コミュニケーション表現候補の絞り込みを行うために，Web 上に公開されている Twitter の用語集をサンプルとして利用し，絞り込みのための閾値の設定について検討する．
キーワード

Twitter，情報抽出，コミュニケーション表現のような硬い表現のコーパスをもとに構築されており，Web 上

1. は じ め にのくだけた表現に対する解析精度は高くない．そこで，くだけ

1. 1 本研究の概要

た表現に対する形態素解析精度の向上の必要性が出てきた．

は，さまざまなアカウントによるツイートと呼ば形態素解析精度を向上させるためには形態素解析用辞書を充れる 140 文字のメッセージから成り立つ情報ネットワークツー

実させる必要があるが，辞書に新しい表現を登録するためには，ルである．ユーザである個人や団体が 1 ツイートにつき 140 字

新しい表現をテキストから抽出することが必要になる．この作

以内で自由に発言でき，自分をフォローしているユーザをフォ業を人手で行おうとすると，そのコストは膨大なものとなってロワーと呼び，リプライ機能などを利用してフォロワーとのコしまう．よって，新しい表現を抽出する作業を自動的に行うこミュニケーションをとることができる．

とが望ましい．しかし，日本語のような分かち書きされていな（注 1）

Twitter

Twitter の長所は，企業などの団体だけでなく，個人もリアル
タイムで情報を発信できる点であり，Twitter の発言を分析する

いテキストにおいては文字列をどのように形態素として区切るかが問題となる．

ことにより，消費者の生の評価やニーズを把握したり，流行を本研究では以上のことを踏まえ, 形態素解析用辞書に追加す

定量的に観察したりできる [1]．また，Twitter のようなマイク

る Twitter 特有のコミュニケーション表現を自動抽出する手法

ロブログでは，新聞などと異なり，よりくだけた表現が多用さを提案する．

れる．特に日本語の Twitter 環境では，「なう」や「わず」といっ

1. 3 論文の構成

たような，ひらがなで簡潔な表現が，コミュニケーション

2 章以降の本論文の構成は以下のようになっている．

（注 2）を目的として，文末に多く使用される．本研究では，このような表現を「コミュニケーション表現」と呼ぶ．

2 章は，関連研究について述べる．3 章では，Twitter 特有のコミュニケーション表現抽出手法の流れについて説明する．4

本研究では，Twitter 特有のコミュニケーション表現を自動抽

章では，文末ひらがな n-gram(n=2∼8) と文末記号との組み合わ出することを目的とする．ただし，コミュニケーション表現をせの頻出要素について，リプライツイートの有効性と文末記

網羅することは難しいので，対象をひらがなに限定する．自動号の違いによって多様な表現を獲得できるかを調査する．5 章

抽出には以下の 2 点の特性を利用する．1 つ目はコミュニケー

は，Twitter 用語集に収録されている語を利用して頻度の下限をション表現が文末に出現しやすいこと，もう 1 つは文末記号

設け，n-gram 確率を利用してノイズを減少させ，コミュニケーの違いによってその前に出現する文字列にも違いが出ることでション表現候補を絞り込むことを試みる．6 章は，結論につい

ある．

て述べる．

1. 2 背景自然言語処理の技術を活用した社会調査では，最初に形態素解析が行われる場合が多い．現在の形態素解析器の多くは新聞

2. 関 連 研 究
本章では, 形態素解析の際に問題となる形態素区切りに関する研究や，文末表現を利用した研究について説明する．

（注 1）：http://twitter.com

2. 1 形態素区切りに関する研究（注 2）：不特定話者を相手とした場合も含む．

形態素区切りに関する研究には，以下のようなものがある．

笹野ら [1] は，Web 上のくだけた表記の表現（新語）は形態
素解析の弱点であるということを示し，新語の抽出を行い，形
態素解析用辞書に登録した．抽出の対象であるくだけた表記の表現はカタカナに限定されており，「ググる」などのカタカナ部
分が動詞の語幹となるような語を抽出した．抽出の際にはカタ
カナ文字列とその文字列の周辺情報（主に後続の助詞や助動詞）を利用している．
工藤ら [2] は，Web 上に頻出するひらがな交じり文を対象とし，対象のひらがな表記の語を漢字への誤変換やひらがな化現

図 1 提案手法の流れ（概要図）

象によるものとし，どの語が誤変換，ひらがな化しやすいかを調査している．この研究の対象となっているひらがな文字列には漢字表記が存在することが前提とされており，どの文字列がひらがな表記になりやすいかという確率を求めている．
岡田ら [3] は，辞書や教師データを必要としない手法として，
テキスト中の文字列の出現頻度のみを用いて文字列の分割単位の自動取得を試みた．文字列の分割単位をその文字列の定型表

究では，レビューのような長文のテキストよりも, マイクロブ
ログのような短いテキストに対する感情分析において，句読点などの記号の利用が有効であるということことが示された．本
研究では，コミュニケーション表現を抽出する際に，Twitter において頻度上位の文末の記号を利用することで，多様なコミュ
ニケーションの目的を反映した表現を抽出することを試みる．

現とみなし，定型表現の自動抽出手法を文字列に対して適用した．具体的には「文字列の長さ×文字列の出現頻度」という式
によってその文字列のスコアを計算し，スコアの高い順に定型

3. 提案：コミュニケーション表現の抽出
3. 1 Twitter 特有のコミュニケーション表現を表現とする．

Twitter においては，ひらがなのみの表現が存在するが，上記の研究において，表記がひらがなのみの新奇表現は．主要な対抽出するための手がかり
本研究では Twitter 特有のコミュニケーション表現を抽出する際，以下の 2 点の特性を手がかりとする．

象とされていない．また，対象とするテキストが Web 上にあ•

文末にある句点や！マークなどの記号るテキスト全般である場合，ある 1 つのメディアにおいてのみ•

文末記号の直前に出現するひらがな 2-gram

使用されるような表現は，低頻度語となり分割や抽出が上手くできない可能性がある．本研究では，Twitter において高頻度で使用されるひらがな表記の新奇表現を対象とする．

2. 2 文末表現や文末記号に関する研究
本研究では，コミュニケーション表現の抽出のために文末表
現と文末記号を利用するが，文末表現や文末記号に関する研究には，以下のものがある．
松本 [5] らは，文末表現を利用して主観・客観のどちらの情報を中心として対象の Web ページが構成されているかを推定した．文末表現の出現傾向を利用することで，主観・客観の分類を行うことができると筆者らは考えた．その結果，文末表現を用いることで訓練データのトピックに依存しにくい分類が可能であると確認された．本研究では，コミュニケーション表現にはある種の主観情報を反映していると考え，抽出の手がかりとして文末表現を利用する．
丸山 [6] は，文末表現は文の中で最も重要な要素であり，文末表現のバリエーションの豊富さは表現力の豊かさを示す手がかりとしてとらえることができると述べている．そして，『現代
日本語書き言葉均衡コーパス（BCCWJ）[8]』に収録されている
文章について，文書ジャンルごとに文末表現のバリエーションの分析を行い，文末表現の異なり数や具体的にどのような文末表現があるか調査している．本研究では，BCCWJ のさまざまな文書ジャンルの文末表現と Twitter のつぶやきの文末表現とを比較することで，Twitter 特有の表現を抽出することを試みる．

Bermingham ら [7] は，Twitter などのマイクロブログのテキストの短さに着目した感情分析について研究を行った．この研

文末記号を利用する理由は，文末記号の違いを手がかりとする
ことで，多様なコミュニケーション表現を獲得できると考えたからである．文末記号の直前に出現するひらがな 2-gram を利用する理由は，文末にあるひらがな文字列には Twitter 特有の表現が現れやすいからである．

3. 2 提案手法の流れ
提案手法は，以下のような手順となっている．また，提案手法の流れを図 1 に示す．
（ 1 ） さまざまな文末記号を手がかりとする．
（ 2 ） 文末記号の前に高頻度で出現するひらがな 2-gram について，他文書ジャンルとの比較に基づき，Twitter 特有と判断された 2-gram 表現を獲得する．
（ 3 ） (2) を含み，前に接続するひらがな n-gram の出現頻度

m 件以上の要素について，コミュニケーション表現がどれだけ存在するか調査する．
（ 4 ） (3) でノイズであると判断されたコミュニケーション
表現候補を除去するために，Twitter 用語集に収録されている語を利用してコミュニケーション表現候補を絞り込む．
まず，文末記号に応じて Twitter のツイートに高頻度で出現する多様な文末ひらがな 2-gram を抽出する．
次に，Twitter のツイートに高頻度で出現する文末ひらがな

2-gram と他の文書ジャンルのテキストに高頻度で出現する文
末ひらがな 2-gram とを比較することで，Twitter 特有の文末ひらがな 2-gram を選択する．他の文書ジャンルのコーパスは，

BCCWJ（現代日本語書き言葉均衡コーパス）[8]（注 3），Yahoo!知恵袋データ（第 2 版）

，毎日新聞（1998〜2005 年），読売

（注 4）

もの
△

: 一部に Twitter におけるコミュニケーション表現を含むも

新聞（1998 年〜2001 年）を使用した．BCCWJ には，書籍，ベの，一般的な表現であると考えられるもの

ストセラー書籍，白書，検定教科書，雑誌，新聞，Yahoo!ブロ×

グのコーパスがあり，これらをすべて使用した．

: ○にも△にも当てはまらないもの
4. 4 実験結果・考察

そして，Twitter 特有の文末ひらがな 2-gram を含み，その前実験の結果抽出できたコミュニケーション表現の数を表 1，に接続するひらがな n-gram 表現をコミュニケーション表現候

表 2 に示す．この表から，リプライツイートを利用するほうが，補として抽出する．候補と考えられるものはすべて抽出するが，より多くのコミュニケーション表現を抽出できることがわかる．

一定の頻度の下限を設けて候補を絞っていく．以上の処理につ次に，獲得したコミュニケーション表現の例を表 3，表 4 にいて，調査した実験については，4 章で詳しく説明する．
さらに，コミュニケーション表現候補からノイズを除去する示す．この表から，さまざまな文末記号を用いることで, 多様なコミュニケーション表現を抽出できることがわかる．

ために，Twitter 用語集に収録されている語を利用して頻度の下

さらに，×と評価された数が非常に多いという結果となっ限の閾値について検討し，コミュニケーション表現候補を絞りた．したがって，このノイズを減少させるために，5 章におい込む．この処理については，5 章で説明する．

て Twitter 用語集に収録されている語と n-gram 確率を利用した

4. 実験 : コミュニケーション表現の調査
本章では，Twitter 特有のコミュニケーション表現を抽出する

抽出手法の検討を行う．
表 1 @ありのつぶやきの場合（件）文末記号

n=2 n=3 n=4 n=5 n=6 n=7 n=8

ために，Twitter のツイート中にどのようなコミュニケーション

句点（。）

3

1

1

1

0

0

0

表現が含まれるかを調査する．

！マーク

3

1

11

1

0

1

0

？マーク

1

0

0

0

0

0

0

長音記号

3

2

21

4

6

0

0

ｗマーク

0

1

0

0

0

0

0

4. 1 実 験 目 的
本実験の目的は以下の通りである．

•

文末記号の違いによって多様なコミュニケーション表現を抽出できるかを調査•

表 2 @なしのつぶやきの場合（件）

リプライツイートをソースとする場合の有効性の調査

4. 2 実験データ
実験に使用するデータは，Twitter のツイート 4 日分（2012年 4 月 1 日，2012 年 7 月 1 日，2012 年 10 月 1 日，2013 年 1
月 1 日の，00:00〜23:59 のデータ）である．このデータを，リプライの記号（@）のついていないツイート（32,540,780 件）とリプライツイート（26,198,106 件）に分けて用い，それぞれを対象として実験を行った．

n=2 n=3 n=4 n=5 n=6 n=7 n=8

句点（。）

1

0

1

2

0

0

0

！マーク

1

0

1

0

1

0

0

？マーク

0

0

0

0

0

0

0

長音記号

3

3

0

0

0

0

0

ｗマーク

1

1

0

0

0

0

0

表3

獲得した表現の例（@ありの場合）

n-gram 例
2-gram おつ，なう，よろ4. 3 実 験 方 法

3-gram いてら，せやな

実験は以下の手順で行った.
（ 1 ） まず，以下の 5 種類の文末記号を手掛かりとする．
文末記号：句点（。），！マーク，？マーク，長音記号（―），ｗ（ 2 ） 文末記号の前に出現する文末ひらがな 2-gram について，その頻度を計算する．
→

おやあり, おはあり，おかあり，てらあり，おつあり

4-gram ほかあり，ほかえり，めしえり，ほかてら，いってら
めしてら，りだてら，ふろてら

5-gram いてらあり，ほかってら，めしってら，ぼっちなう
6-gram ほかてらあり，ほかえりあり，めしてらあり，がんばってらマーク（(笑) の意味を表す）

例：筑波大学なう！

文末記号

表4

獲得した表現の例（@なしの場合）
n-gram 例「なう！」の部分を抽出（ 3 ） 頻出する「文末ひらがな 2-gram&文末記号」について，
他文書ジャンルとの比較に基づき，Twitter 特有と判断された

2-gram なう，よろ，おめ
3-gram よるほ, ひるほ，わろた
4-gram ほかいま6-gram ほかってくる「文末ひらがな 2-gram 表現&文末記号」を獲得する．
（ 4 ） 3 を含み，前に接続するひらがな n-gram（2<=n<=8）の出現頻度 m 件以上（m=50）の要素について，コミュニケーショ
ン表現がどれだけ存在するか調査する．その際，コミュニケー
ション表現を評価する基準を以下のように設ける．
○: Twitter におけるコミュニケーション表現だと考えられる

5. サンプルチェックに基づくコミュニケーション表現候補の絞り込み
本章では，ノイズを減少させ，より精度の高い抽出を行うた
めに，Twitter 用語集（注 5） に収録されている語を利用したコミュ
ニケーション表現抽出手法について検討する．

（注 3）：http://www.ninjal.ac.jp/corpus center/bccwj/（注 4）：http://www.nii.ac.jp/cscenter/idr/yahoo/yahoo.html（注 5）：http://netyougo.com/

5. 1 実験データ

サンプル 17 個のうち，頻度上位 6 件目のサンプルの頻度以下

本章の実験に使用するデータは，Twitter のリプライツイートの「文末ひらがな 3-gram」を切り捨てる．例えば頻度上位 6 件

36 日分（2012 年 3 月 14 日から 2013 年 3 月 14 日までの，各月目の頻度が 500 であれば，頻度 499 以下の文末ひらがな n-gramの 1 日，11 日，21 日の，00:00〜23:59 のデータ）である．こを切り捨てる．

れらのツイートの総件数は 167,671,996 件である．

（ 5 ） n-gram と し て 連 接 で き な い「 文 末 ひ ら が な n-

5. 2 コミュニケーション表現候補の絞り込みのための検討

gram(n=2∼5) を切り捨てる．

コミュニケーション表現候補を絞り込むために，以下の手順（ 6 ） 手順 (5) までを行った結果，残った「文末ひらがな n-で検討を進める．

gram(n=2∼5) と文末記号との組み合わせ」の総数とそれに含ま（ 1 ） 以下の 9 種類の文末記号を手がかりとする．

れるサンプルの数から，再現率，サンプル精度を計算する．

文末記号：句点（。），！マーク，？マーク，長音記号（―），ｗ
マーク，☆マーク，♪マーク，波ダッシュ（〜），左矢印（←）（ 7 ） 再現率とサンプル精度の結果から妥当な閾値を決定する．

（ 2 ） 文末記号に応じて Twitter 上で出現する多様な「文末ひらがな n-gram(n=2∼5) と文末記号との組み合わせ」を抽出し，実験データ中の出現頻度を計算する．

表 5 使用したサンプル
n-gram サンプル数 例
2-gram5（ 3 ） Twitter 用語集に収録されている語をサンプルとして，サンプルの出現傾向を調査する．
（5. 3 節で詳述．
）

はむほ，とらほ，つらお，ふぁぼ

3-gram17（ 4 ） サンプルの再現率とサンプル精度を計算し，適切な閾

りだる，いてら，それな，ひるほ
うしほ，ぽんぺ，ゆるぼ，ほかる
ぱたり，むくり，ばずる，うぃる，よるほ
いらたん，おくちょ，あげめろ，つらまろ

値について検討する．

んふんふ，めしいま，ぶちおか，えりあり

5. 3 サンプルチェック
Twitter 用語集 （注 6） に収録されているひらがなのみの語をサ

なう，あご，わず，だん，うずりだつい，りだあり，りだてら，すきつら

4-gram31

ンプルとし，サンプルの出現傾向を調査することで，絞り込

いきつら，めしりだ，すてぃる，くってら
かまちょ，まるっと，てへぺろ，ふじこる
ほかえり，ほかあり，ほかいま，にゃぶい

みのための適切な閾値について検討する （注 7）．使用するサン

ほかてら，ふぁぼる，めしてら，おはあり

プルを，表 5 に示す．使用するサンプルは，ひらがなのみの

おつあり，おかあり，おやあり

n-gram(n=2∼5) である（注 8）．
より適切な候補を絞り込むために，頻度計算を行った文末ひいてらあり，ぎゃんかわ，ふじょえり

5-gram9

きゃわたん，まんべくん，あとーんす
ふぁぼった，せきとばる，ついったららがな n-gram(n=2∼5) と文末記号との組み合わせに現れるサンプルの実験データ中の出現頻度を利用して，サンプルの出現傾

5. 3. 2 サンプルチェックの結果・考察

向を調査する．調査の結果からサンプルの再現率とサンプル精

n=2∼5 のうち，サンプル数が最大である n=4 においてサンプ

度を計算することで，低頻度の文末ひらがな n-gram(n=2∼5) とルチェックを行った結果を表 6 から表 11 に示す．また，文末記

文末記号との組み合わせを除去するための閾値を設定する．本号としてもっとも頻度の高い句点を例に挙げ，サンプル精度の研究では，この手続きを「サンプルチェック」とする．

グラフを，図 2 に示す．サンプルが含まれる割合が 1 割から 2

5. 3. 1 サンプルチェックの手順

割の場合は再現率が低くなり，9 割の場合については精度が極サンプルチェックの詳しい手順は，以下の通りである．

端に低くなることから，議論の対象から外すことにする．

（ 1 ） 上記の文末記号 9 種類を使用し，文末記号別にチェッ再現率については，表 6 から表 11 にあるように，数値は文クを行う．

末記号によって差があるが，サンプルの含まれる割合が大きく（ 2 ） Twitter 用 語 集 に 収 録 さ れ て い る ひ ら が な n-

なるにつれ向上していることがわかる．

gram(n=2∼5) をサンプルとし，実験データ中の「文末ひらがサンプル精度については，図 2 にあるように，サンプルの含な n-gram(n=2∼5) と文末記号との組み合わせ」の出現頻度を計まれる割合が大きくなるにつれて少しずつ低下しているが，サ算する．

ンプルの含まれる割合が 5 割から 6 割の間ではサンプル精度の（ 3 ） 実験データ中の「文末ひらがな n-gram(n=2∼5) と文末落ち方が緩やかである．また，再現率の観点からは，多くのサ記号との組み合わせ」に含まれるサンプルの数を調査する．

ンプルが含まれることが好ましい．以上のことから，サンプル（ 4 ） 含まれるサンプルの数の割合の値を設定し，「文末ひらが含まれる割合が 6 割の場合の結果を閾値として利用すること

がな n-gram(n=2∼5) と文末記号との組み合わせ」の出現頻度のが妥当であると考えられる．

下限を決定する．

•

例 :3 割・3-gram の場合（注 6）：http://netyougo.com/（注 7）：以下，「サンプル」とある場合には Twitter 用語集に収録されているひらがな n-gram の語のことを指す．
（注 8）：n の最大値を 5 としているのは，6-gram 以上のサンプルがほとんど見つからないことによる．

表6

サンプル 3 割の場合の結果（n=4）

残ったサンプル 文末ひらがな
サンプル数
総数
n-gram の総数 再現率 サンプル精度

文末記号
！マーク

9

31

960

0.290

長音記号（ー）

10

31

587

0.323

0.017036

？マーク

4

31

9146

0.129

0.000437

句点（。）

7

31

6022

0.226

0.001162

ｗマーク

5

31

6614

0.161

0.000756

左矢印（←）

1

31

12042

0.032

0.000083

0.009375

表 11
文末記号

サンプル 8 割の場合の結果（n=4）

残ったサンプル 文末ひらがな
サンプル数
総数
n-gram の総数 再現率 サンプル精度

☆マーク

10

31

1823

0.323

0.005485

波ダッシュ（〜）

10

31

465

0.323

0.021505

！マーク

23

31

3471280.742

0.000066

♪マーク

10

31

934

0.323

0.010707

長音記号（ー）25312507310.806

0.000100

？マーク

21

31

1862020.677

0.000113

句点（。）

21

31

1259010.677

0.000167

ｗマーク

21

31

1302550.677

0.000161

左矢印（←）

17

31

55890

0.548

0.000304
0.000311

表7

サンプル 4 割の場合の結果（n=4）

残ったサンプル 文末ひらがな
サンプル数
総数
n-gram の総数 再現率 サンプル精度

文末記号
！マーク

11

31

2802

0.355

0.003926

長音記号（ー）

13

31

3194

0.419

0.004070

？マーク

5

31

14410

0.161

0.000347

句点（。）

8

31

9731

0.258

0.000822
0.000501

ｗマーク

5

31

9980

0.161

左矢印（←）

1

31

17479

0.032

0.000057

☆マーク

12

31

2919

0.387

0.004111

波ダッシュ（〜）

12

31

2156

0.387

0.005566

♪マーク

13

31

1743

0.419

0.007458

表8

☆マーク

18

31

57848

0.581

波ダッシュ（〜）17311823000.548

0.000093

♪マーク

20

31

81745

0.645

0.000245

サンプル 5 割の場合の結果（n=4）

残ったサンプル 文末ひらがな
サンプル数
総数
n-gram の総数 再現率 サンプル精度

文末記号
！マーク

14

31

9555

0.452

0.001465

長音記号（ー）

15

31

3492

0.484

0.004296

？マーク

14

31

26636

0.452

0.000526

句点（。）

13

31

16768

0.419

0.000775

ｗマーク

13

31

24594

0.419

0.000529

左矢印（←）

7

31

37170

0.226

0.000188

☆マーク

14

31

7473

0.452

0.001873

波ダッシュ（〜）

15

31

5162

0.484

0.002906

♪マーク

14

31

9509

0.452

0.001472

表9サンプル 6 割の場合の結果（n=4）

残ったサンプル 文末ひらがな
サンプル数
総数
n-gram の総数 再現率 サンプル精度

文末記号
！マーク

17

31

25698

0.548

0.000662

長音記号（ー）

17

31

50630

0.548

0.000336

？マーク

18

31

62061

0.581

0.000290

句点（。）

17

31

43702

0.548

0.000389

ｗマーク

17

31

58110

0.548

0.000293

左矢印（←）

7

31

39295

0.226

0.000178

☆マーク

17

31

52150

0.548

0.000326

波ダッシュ（〜）

17

31

51530

0.548

0.000330

♪マーク

19

31

79373

0.613

0.000239

表 10
文末記号

サンプル 7 割の場合の結果（n=4）

残ったサンプル 文末ひらがな
サンプル数
総数
n-gram の総数 再現率 サンプル精度

！マーク

20

31

55894

0.645

0.000358

長音記号（ー）18

311190850.581

0.000151

？マーク

21

31

1861070.677

0.000113

句点（。）

20

31

76817

0.645

0.000260

ｗマーク

21

31

1201680.677

0.000161

左矢印（←）

17

31

55847

0.548

0.000304
0.000311

☆マーク

18

31

57804

0.581

波ダッシュ（〜）

19

31

142

0.613

0.000134

♪マーク

20

31

81659

0.645

0.000245

図 2 句点を利用した場合のサンプルチェックの精度 上：n=2，下：n=3∼5

5. 4. 2 絞り込みの結果・考察

5. 4 コミュニケーション表現候補の絞り込み
サンプルチェックの結果をもとに，サンプルの含まれる割合

絞り込みの結果を文末記号が長音記号の場合を例に挙げ，表が 6 割の場合のデータを用いてコミュニケーション表現候補を

12 に示す．また，コミュニケーション表現として抽出した具体

絞り込む．

例を表 13 に示す．

5. 4. 1 絞り込みの手順
絞り込みにおいては，文末ひらがな 2-gram と文末記号との組

表 12

文末記号を長音記号とした場合の絞り込み結果（件）

み合わせを基準として，前に一文字ずつ伸長していき，n-gram

Twitter 特有の
n-gram 成功 失敗 コミュニケーション表現の数確率を利用することで表現として区切りとなる点を決定する．

2-gram11

11

5

3-gram14

11

3

4-gram24

11

5

5-gram22

31

4

絞り込みの手順は以下の通りである．
（ 1 ） Twitter 上に出現する「文末ひらがな 2-gram と文末記
号との組み合わせ」の頻度上位 200 件と，Yahoo!知恵袋に出現する文末ひらがな 2-gram と文末記号との組み合わせ」の頻度

表 13

上位 200 件を比較し，Twitter のみに出現する表現を抽出し，基n-gram 例

準とする．

2-gram りょ，おは，おつ，おけ，やだ，いく，やば など（ 2 ） 基準とした文末ひらがな 2-gram と文末記号との組み

3-gram おやす，いてら，あそぼ，がんば，まじか など
おやあり，ほかてら，おはあり，おかあり，いってら合わせについて，それぞれ前に一文字伸長し，3 − gram&文末記号の頻度
2 − gram&文末記号の頻度獲得した表現の例（長音記号を用いた場合）

4-gram ふぁいと，ありがと，おめでと，がんばろ，おはよう(1)

おやすみ，おつかれ，どしたのなど

5-gram おはやっほ，おつありで，ありがとう，こんばんは などを計算する．

(a) 式 (1) ≧ σ ％ (σ=15)（注 9） の表現を残し，手順 (3) を行う．

すべての文末記号の結果を集計し，表現として区切りとなる(b) 伸ばしたすべての文末ひらがな 3-gram と文末記号との組点を決定することには全体で 45 ％程度成功していることが明み合わせについて，式 (1) ≦ σ ％ (σ=15) となった文末ひらがらかとなった．しかし，Twitter 特有とはいえないコミュニケー

な 2-gram と文末記号との組み合わせは，文末ひらがな 2-gram

ション表現が多く含まれてしまうということがわかった．

をコミュニケーション表現として抽出する．

5. 5 今後の課題（ 3 ） 手順 (2) の（a）で残した文末ひらがな 3-gram と文末

n-gram 確率を利用することで表現として区切りとなる点を決記号との組み合わせについて，(1 で残した表現から伸びるすべての)4 − gram&文末記号の頻度(2)(1 で残した)3 − gram&文末記号の頻度を計算する．

(a) 式 (2) ≧ σ ％ (σ=15) の表現を残し，手順 (4) を行う．
(b) 伸ばしたすべての文末ひらがな 4gram と文末記号との組
み合わせについて，式 (2) ≦ σ ％ (σ=15) となった文末ひらがな 3-gram と文末記号との組み合わせは，文末ひらがな 3-gram
をコミュニケーション表現として抽出する．
（ 4 ） 手順 (3) の（a）で残した文末ひらがな 4-gram と文末記号との組み合わせについて，(2 で残した表現から伸びるすべての)5 − gram&文末記号の頻度(3)(2 で残した)4 − gram&文末記号の頻度を計算する．

(a) 式 (3) ≧ σ ％ (σ=15) の表現をコミュニケーション表現として抽出する．

(b) 伸ばしたすべての文末ひらがな 5-gram と文末記号との組
み合わせについて，式 (3) ≦ σ ％ (σ=15) となった文末ひらがな 4-gram と文末記号との組み合わせは，文末ひらがな 4-gram
をコミュニケーション表現として抽出する．

定することには成功したが，Twitter 特有とはいえないコミュニ
ケーション表現が多く含まれてしまうため，比較する Yahoo!知恵袋の文末ひらがな 2-gram と文末記号との組み合わせの件数を増やすなどの対策を行って一般的な表現を除去していく必要がある．

6. 本論文のまとめ本研究では，Twitter 特有のコミュニケーション表現を自動抽出することを目的とし，自動抽出のための手法を提案した．
（ 1 ） 文末ひらがな n-gram(n=2∼8) と文末記号との組み合わせの頻出要素について，リプライツイートをソースとする場合の有効性と，文末記号の違いによって多様なコミュニケーショ
ン表現を抽出できるかを調査した．
調査の結果，リプライツイートを利用するほうが，より多くのコミュニケーション表現を抽出できること，文末記号の違い
によって, 多様なコミュニケーション表現を抽出できることがわかった．
（ 2 ） 文末ひらがな n-gram(n=2∼5) と文末記号との組み合わせについてコミュニケーション表現候補の絞り込みを行うために，Twitter 用語集に収録されているひらがな n-gram(n=2∼5) をサンプルとし，n-gram 確率を利用し，絞り込みのための閾値の設定について検討した．その結果，サンプルが含まれる割合が6 割の場合の結果を閾値として利用することが妥当であるということがわかった．
（注 9）：5.3 節で利用したサンプルから，経験的に値を決定した．

また，その結果をもとに n-gram 確率を利用しコミュニケー

ション表現として区切りとなる点を決定し，コミュニケーショ
ン表現の抽出を行った．この結果，表現として区切りとなる点を決定することには全体で 45 ％程度成功した．しかし，Twitter
特有とはいえない表現が多く含まれてしまうため，それらを除去するための対策が必要である．

謝

辞

本研究で使用した Twitter データの収集に際しては，筑波大学の佐藤哲司教授と研究室のメンバーに協力をいただいた．ここに深く感謝する．

Yahoo! 知恵袋（第 2 版）のデータは，国立情報学研究所により提供されたものを利用した．ここに深く感謝する.
『現代日本語書き言葉コーパス（BCCWJ）』は，国立国語研究所により提供されたものを利用した．ここに深く感謝する．
本研究の一部は，科学研究費補助金基盤研究 C（課題番号24500291），基盤研究 B（課題番号 25280110）ならびに萌芽研
究（課題番号 25540159）の助成を受けて遂行された．

文

献[1] 笹野遼平, 鍛冶伸裕. 新しい語・崩れた表記の処理. 情報処理,vol.53, p.211-216, 2012.
[2] 工藤拓, 市川宙, David Talbot, 賀沢秀人. Web 上のひらがな交じり
文に頑健な形態素解析. 言語処理学会年次大会発表論文集, Vol.
18, p.1272-1275, 2012.
[3] 岡田正平, 山本和英. 文字列の出現頻度情報を用いた分かち書き単位の取得. 言語処理学会年次大会発表論文集, Vol. 19, p.422-425,
2013.
[4] 秋田恭祐, 松本和幸, 北研二. 文字種と画数を用いた新若者語の抽出. 言語処理学会年次大会発表論文集, Vol. 19, p.11-14, 2013.
[5] 松本章代, 小西達裕, 高木朗, 小山照夫, 三宅芳雄, 伊東幸宏. 文末表現を利用したウェブページの主観・客観度の判定. 第 1 回デー
タ工学と情報マネジメントに関するフォーラム, 2009.
[6] 丸山岳彦. 『現代日本語書き言葉均衡コーパス』を用いた文末表
現のバリエーションの分析. 言語処理学会年次大会発表論文集,
Vol. 18, p.591-594, 2012.
[7] Adam Bermingham, Alan Smeaton. Classifying Sentiment in Microblogs: Is Brevity an Advantage?. Proc. of CIKM 10, Vol.19,
p.1833-1836, 2010.
[8] 『現代日本語書き言葉均衡コーパス』http://www.ninjal.ac.jp/corpus center/bccwj/(参照 2013-06-11).