言語処理学会 第20回年次大会 発表論文集 (2014年3月)

ツイートの情報量について −情報理論に基づく多言語調査−
Graham Neubig
Kevin Duh
奈良先端科学技術大学院大学 情報科学研究科

1

表 1: 各言語における投稿の数

はじめに

文字
言語文字
言語
ツイッター1 に代表されるマイクロブログサービスは
英語 (en)2.71B
イタリア語 (it)40.0M
世界中で急速に普及しつつあり、その特徴的なコミュニ日本語 (ja)625M
ジャワ語 (jv)36.0M
ケーション法と言語現象は、社会学、自然言語処理など
723M
中国語 (zh)
16.8M
スペイン語 (es)ポルトガル語 (pt)348M
ドイツ語 (de)22.8Mの分野で広く研究の対象となっている。その中で、ユー
アラビア語 (ar)275M
タガログ語 (tl)
24.9M
ザが 1 つの投稿（ツイッター上では「ツイート」）に利
142M
スワヒリ語 (sw)
16.8M
インドネシア語 (id)用できる文字数に制限を設けるのがマイクロブログの最韓国語 (ko)69.4M
ペルシア語 (fa)9.85M
大の特徴と言えよう2 。この文字数の制限がマイクロブ
オランダ語 (nl)87.5M
ウルドゥー語 (ur)
10.7M
84.5M
ガリシア語 (gl)7.83M
フランス語 (fr)
ログ上のコミュニケーションに大きく影響し、他のテキ
トルコ語 (tr)79.5M
スウェーデン語 (sv)
7.17M
スト媒体で見られないような特徴的な省略や記述法が用
タイ語 (th)57.6M
ギリシャ語 (el)
6.27M
いられることも多い [6]。
ロシア語 (ru)54.8M
ラテン語 (la)6.91M
マレーシア語 (ms)60.8M
カタルーニャ語 (ca)5.76M
しかし、実際には各言語において 1 文字に内在する情報量が異なるため、この文字数の制限は決して世界中の言語で同一な効果があるとは限らない。特に、種類数が ツイートに含まれる情報量を数量的に計測する尺度が必多く、1 文字が明確な概念を表す漢字と、種類数が少な 要である。この尺度として、ある情報を確率モデルで表く、１文字が音韻的な特徴しか表さないローマ字を比較 現した時に、その符号化に必要なビット数を表すエント
すると、前者の方が 1 文字に含まれている情報量が多い ロピーを採用する [7, 1]。今回の調査に関して、様々なことは明らかである。このため、英語を含むローマ字圏 言語に渡ってノイズを多く含むマイクロブログのテキスの言語と、日本語や中国語を含む漢字圏の言語では 140 トに適切な確率を与えるモデルが必要となる。このよう文字に記述できる情報の量は必然的に異なり、これがマ な頑健な推定を実現するために、単純かつ言語非依存なイクロブログ上のコミュニケーションに影響を及ぼすと 文字ベースの n-gram モデルを採用する。n-gram モデ考えられる。本研究では、ツイッター上のマイクロブロ ルは、文字列 W = w , . . . , w , . . . , w の確率を、各要
1iI
グデータに対して 26 言語に渡る多言語調査を行い、各言 素 w の w
ii−n+1 , . . . , wi−1 が与えられた時の条件付き確語のツイートの情報量を情報理論の観点から分析する。 率の積で近似する [3]。

2実験設定
P (W ) ≈I∏

P (wi |wi−n+1 , . . . , wi−1 )(1)
実験の準備として、2012 年 6〜7 月の 6 週間に渡りツi=1
イッターの公開ストリームから 1.20 億件のツイートを収集し、langid.py[4] を用いて言語判定を行った。最後 n-gram モデルは一般的には単語列に対して利用するこに、言語判定の確率が 0.95 以上のツイートを言語ごと とが多いが、単語列に対する n-gram モデルは表記の揺に分類し、確率が 0.95 未満のツイートを調査の対象か れに敏感であり、モデル推定に比較的大きな学習データら外した。その結果、9240 万件のツイートが残り、ツ を要する。さらに、日本語や中国語のような分かち書き
イート 1 件当たりの文字数は 70.8 文字となった。調査 されない言語では単語分割が必要となる。このため、本対象をさらに 50,000 件以上のツイートが残った言語に 調査では各要素 wi を単語ではなく文字とし、これらの絞った結果、26 言語が残った。その諸元を表 1 に示す。 問題に対処する。
この 26 言語は様々な言語族に属し、様々な文字種を利言語モデルの文脈の長さを n = 7 とし、平滑化に、用する。
文字言語モデルのように低頻度 n-gram が少ないデータにおいても頑健に推定可能な Witten-Bell 法を利用した
3 情報量の計測[8]。言語モデルの学習及びエントロピーの計測の際には以降の節では、情報理論の観点から調査対象の言語の 10 分割の交差検定を行った。エントロピーが言語モデ様々な傾向を分析する。この分析を行うためには、まず ルの学習データ量に依存するため、全ての言語に対してデータ量を全ツイートから無作為にサンプルした 50,000ツイートに固定した。
1http://www.twitter.com

2 ツイッターでは投稿当たり最大 140 文字が利用可能である。

本研究の成果は [5] に詳しい。

1― 1138 ―Copyright(C) 2014 The Association for Natural Language Processing.
All Rights Reserved.

表 2: 26 言語間、ローマ字圏の言語間で測った各要素と文字当たりのエントロピーの R2 値と相関の比例（「+」）、反比例（「-」）関係。太字はスチューデントの t 検定により p < 0.01で有意な差である。

26 言語要素
異なり文字数
平均単語長
ツイッター用語
図 1: 文字当たりのエントロピー

4

文字当たりの情報量

75.3%
41.3%

(+)
(+)

ローマ字圏

53.1%
26.1%

リツイート率

4.4%
18.9%

35.5%
44.0%

引用率

0.3%

26.3%

全要因

82.9%

72.1%

(+)

(-)

まず、各言語における 1 文字当たりの情報量を計測すことが考えられ、使用頻度により文字ごとの情報る。先行研究 [1, 2, 9] の調べによると、日本語や中国語量が異なることも考えられる。など、利用する文字の種類が多い言語では 1 文字当たりの情報量が多いという仮説を立てることができる。これ リツイート率： ツイッター上で、他のユーザのツイートらの言語では 1 文字自体が明確な意味を持ち、ローマ字を共有する「リツイート」と呼ばれる仕組みがあり、のような音韻的な特徴しか持たない文字よりも含まれてツイートの冒頭に「RT」と元の発信源のユーザ名をいる情報が多いことは直感的にも理解できる。
追加することでリツイートであることを表す。リツツイートコーパスに対して計測した文字ごとのエント
イートされた投稿と通常の投稿の内容に差があるとロピーを図 1 に示す。この図より、想定通り、中国語、も考えられるため、各言語におけるリツイート率は日本語、韓国語のエントロピーが高い結果となったこと言語のツイートの情報量に影響する可能性がある。
が分かる。この中で、表意文字である漢字しか用いない中国語が最も高いエントロピーとなり、表意文字と表音 引用率： リツイートではあるユーザがそのまま他のユーザのツイートを共有するが、他のユーザの投稿を共文字を両方用いる日本語が続き、主に表音文字を用いる有しながら自分独自のコメントを追加する「引用」
韓国語が 3 番に続いた。全体的に、ローマ字を使用するという形もある。前者はツイートの冒頭に「RT」が言語では比較的低いエントロピーが見られ、ローマ字を現れ、後者はツイートの内部に「RT」が現れるた
使用しない言語で最も低くなったペルシア語は下から 7めにこの 2 つの現象を区別できる。
番目であった。
しかし、使用する文字の種類数以外にも、ツイートのこれらの要因がツイートの情報量に与える影響を調べ文字ごとのエントロピーに影響し得る要因は様々である。
るために、入力を上記の 5 つの要因、出力を言語の文字
ここでは、情報量に影響し得る要因を 5 つ考慮し、各要ごとのエントロピーとする重回帰を行い、各要因の重み因による影響をより詳細に調査する。
についての考察を行う。ほとんどの値をそのまま利用す
使用する文字の種類数： 上述のように、言語で用いられ るが、異なり文字数が極端に大きい中国語や日本語の影る文字の種類数は大きな要因であると考えられる。 響を緩和するために、異なり文字数の対数を取ってからここで、50,000 ツイートのコーパスの中に現れる文 回帰に利用する。これらの要因とエントロピーの相関を測る尺度として、回帰に用いる要因が説明する分散の割字の異なり数を使用する文字数の目安とする。
合を表す R2 値を利用する。各要因の影響を個別に調べ
平均単語長： 空白で明示的に単語の境目を示す言語の中 るために、要因を 1 つずつ回帰に用いた場合の R2 を調でも比較的短い単語を利用する言語（英語やスペイ べ、全ての要因を組み合わせた場合の回帰の結果も調べン語）と比較的長い単語を利用する言語（ドイツ語 る。更に、調査対象の 26 言語を全て考慮した場合の結やスウェーデン語）が存在する。この中で、同一の 果以外にも、言語が使用する文字の数の影響を取り除く
内容でも長い単語を用いる方が空白の数が少なく、 ためにローマ字圏の言語のみを用いた結果も調査する。
同じものでも少ない文字数で表せるため、長い単語
表 2 の結果から、全ての要因を 26 言語の回帰に用いの言語の文字当たりの情報量が多いという仮説も考 た際、R2 が 82.9%となり、ローマ字圏の言語に限ったえられる。
場合は 72.1%となった。この結果から、考慮した要因は各言語の文字当たりのエントロピーを比較的正確に推定
ツイート当たりのツイッター特有の表現： ツ イッタ ーできていると言える。想定通り、最も文字当たりの情報上には様々な独特な言語現象が存在する。その例
量と相関の強い要因は使用する異なり文字数であった。
として、「@」から始まるユーザ名、「#」から始まこの傾向が様々な文字体系の言語を考慮した場合でも、るハッシュタグ、「http」から始まるリンクなどがローマ字圏の言語に限った場合でも見られた理由として、ある。これらは通常の書き言葉と情報量が異なる英語のように通常のローマ字のみを使用する言語と、ス― 1139 ―Copyright(C) 2014 The Association for Natural Language Processing.
All Rights Reserved.

図 4: 投稿当たりの文字数

図 2: 異なり文字数と文字当たりのエントロピーの相関

図 5: 投稿当たりのエントロピー

5

ツイート当たりの情報量

漢字圏の日本語と中国語の 140 文字に含まれる情報がローマ字圏の英語の 140 文字に含まれる情報に比べて図 3: ローマ字圏の言語におけるリツイート率と文字当たりの 明らかに多い。この事実をマイクロブログに対して当て情報量の相関
はめると、一見、日本語や中国語のマイクロブログ投稿は英語のマイクロブログ投稿より情報が多いと言えると思われる。しかし、この考察はツイートの情報量の全てウェーデン語のようにアクセントを表す付加記号を利用 を語っているわけではない。実際には、ツイートの中で「食べた！」する言語が両方存在し、同じローマ字でも事実上利用す 140 文字に渡る詳細な現状報告がある一方、る文字の数が異なるためである。異なり文字数とエント のような極端に短いものもある。ツイートの情報を語るには、文字に含まれる情報量だけではなく、ツイートのロピーの相関の詳細を図 2 に示す。
全ての言語に対する回帰では、平均単語長もエントロ 内容を表現するために用いられる文字数も考慮する必要
ピーと有意な相関が見られたが、これは日本語や中国語 がある。
まず、各言語におけるツイート当たりの平均文字数をといった特異点の影響であると考えられる。平均単語長
図4 に示す。文字当たりのエントロピーとツイート当たを計算するために、単語を「空白で区切られた文字列」りの文字数の関係を強調するために、言語の順を図1とと定義したが、日本語や中国語は通常の書き言葉に空白同じ文字エントロピーの降順とする。この図の結果の中による区切りを用いないため、空白で区切られた文字列は非常に長いものとなる。これらの言語は異なり文字数 で最も印象的なのは日本語、中国語、韓国語の平均文字も多いため、単語長と異なり文字数を個別に考慮する時 数である。これらの言語は文字当たりの情報量が多いが、に両方の要因は文字エントロピーとの有意な相関がある 平均文字数がほかの言語に比べて明らかに少ない。実際には、その他の言語の平均文字数が約 70 文字である中、ように見られる。
この３つの言語は約50 文字にとどまる。同一の意味をローマ字圏の言語に焦点を絞った場合、リツイート率より少ない文字数で伝えられる言語で実際に使用されてと文字当たりのエントロピーの間に有意な負の相関が見られた。その詳細を図 3 に示す。この負の相関の原因は いる文字数も少ないことは直感的な結果ではあるが、ツ自明ではないが、リツイートされた投稿とリツイートさ イートの情報量が文字の情報量に単純比例するわけではれなかった投稿を人手で調べた結果、リツイートされた ないことを証明する結果であるとも言える。
平均文字数の多い言語に目を向けても興味深い結果が投稿はリツイートされなかった投稿に比べて通常の書き言葉に近く、マイクロブログに頻繁に現れる略語や絵文 得られる。マレー語、ジャワ語、インドネシア語は全て字などが比較的少なかった。これらの要因によって、同 インドネシア列島で広く利用される言語であり、この地一の内容でもリツイートされたテキストの文字数が比較 域における独特なツイッターの使い方を示唆する。前節で述べた要因を調査した結果、この３つの言語では引用的多く、情報量の計算に影響したと考えられる。

― 1140 ―Copyright(C) 2014 The Association for Natural Language Processing.
All Rights Reserved.

表 3: 26 言語間、ローマ字圏の言語間で測った各要素と投稿当たりのエントロピーの R2 値と相関の比例（「+」）、反比例（「-」）関係。太字はスチューデントの t 検定により p < 0.01で有意な差である。

要素異なり文字数

26 言語

ローマ字圏

0.5%
15.0%

19.3%
14.6%

18.5%
0.5%

71.8%
19.2%

(+)

リツイート率
引用率

43.8%

80.2%

(+)

全要因

71.7%

平均単語長
ツイッター用語

(+)

91.0%

図 6: 3 言語におけるツイートの情報量分布る。インドネシア語では最初の頂点が見られない理由は前述した引用率の高さに起因するのであろう。最後に、英語の 140 文字は約 480 ビットの情報を記述できることは図 6 より分かる。これに比べて、日本語の平均的なツイートは英語のツイートとほぼ同等の情報を有するが、約 1 割の日本語ツイートは 480 ビットを超えており、英語の 140 文字を使い切っても表現できなかったことも図の結果から見て取れる。

率はそれぞれ 44.8%、53.9%、33.0%に達し、全言語の中央値である約 3%の引用率を大幅に上回っていることが分かる。引用では、元の投稿の著者の発言に加えて自分のコメントを更に付け加えるため、実質的に 1 投稿の中に２投稿分の情報が含まれているため、平均文字数が長くなることは不思議ではない。これ以外の外れ値であるスウェーデン語、アラビア語、ウルドゥー語について
6 まとめも全て同様の傾向を示した。
次に、各言語における投稿当たりの情報量をエントロ
本研究は多言語に渡り、ツイートの情報量について考ピーに基づいて計測し、図 5 に示す。順番は上記の図と 察を行った。その結果、多くの文字を使用する言語は文同じく文字当たりのエントロピーの昇順とする。図の結 字当たりの情報量は多いが、使用する文字の数は投稿当果から、文字当たりの情報量と投稿当たりの情報量にほ たりの平均情報量にほとんど影響はないことが明らかに
とんど相関がないことが確認できる。つまり、中国語、 なった。その一方、引用率、リツイート率などの行動的日本語、韓国語などの著者は文字数制限の 140 文字まで 要因は投稿当たりの情報量に影響を及ぼす。今後の課題に多くの情報を盛り込むことができるにも関わらず、ほ として、ユーザの影響力とツイートの情報量の関係、文とんどの場合では 140 文字を全て使い切ることはない。 字の制限に直面した際、ユーザはいかに伝えたい内容を逆に、制限に近い文字数を利用する傾向にある言語は 1 表現するかなどを調べていきたい。
投稿の情報量が他の言語より多い。
ツイートの情報量に影響を及ぼす要因を詳細に調べる 参考文献
ために、前節と同じ 5 つの要素を入力とする重回帰を [1] P. E. Brown, V. J. D. Pietra, R. L. Mercer, S. A. D. Pietra,
行い、投稿当たりのエントロピーを回帰の推測対象とす
and J. C. Lai. An estimate of an upper bound for the entropyof English. Computational Linguistics, 18, 1992.
る。表 3 の結果から、文字当たりのエントロピーに大きな影響を及ぼした異なり文字数はやはり投稿当たりのエ [2] J. Chang and Y.-J. Lin. An estimation of the entropy of Chinese – a new approach to constructing class-based n-gram
ントロピーにほとんど影響を及ぼさないことが見て取れ
models. In Proc. Rocling Computational Linguistics Conる。その一方、使用する言語の特性ではなく、その言語
ference VII, 1994.のユーザの行動特性が投稿当たりの情報量に影響を及ぼ [3] S. F. Chen and J. Goodman. An empirical study of smoothing techniques for language modeling. In Proc. ACL, 1996.
すことも分かる。このことは、引用率、ツイッター特有 [4] M. Lui and T. Baldwin. langid.py: An oﬀ-the-shelf languageの表現の使用率と投稿当たりの情報量の間には統計的にidentification tool. In Proceedings of the ACL 2012 System
Demonstrations, pp. 25–30, July 2012.
有意な相関があることから分かる。
最後に、言語ごとの平均情報量に加えて、各言語にお [5] G. Neubig and K. Duh. How much is said in a tweet? a multilingual, information-theoretic perspective. In Proceedings ofけるツイートの情報量の分布を調べた。図 6 に、日本語、
the AAAI Spring Symposium on Analyzing Microtext, Stan英語、インドネシア語という 3 つの異なった性質を持つ
ford, California, March 2013.
言語の分布を示す。この結果から、英語と日本語では、 [6] D. Pennell and Y. Liu. Toward text message normalization:
Modeling abbreviation generation. In Proc. ICASSP, 2011.
投稿当たりのエントロピーは 2 つの頂点を持つ分布と [7] C. E. Shannon. A mathematical theory of communication.
なっていることが分かる。最初の頂点は 100〜300 ビッ
Bell System Technical Journal, 27(3):379–423, 1948.
トの情報を含むツイートからなり、文字数の制限を無視 [8] I. Witten and T. Bell. The zero-frequency problem: Estimating the probabilities of novel events in adaptive text
してマイクロブログを書いた場合に自然とこの程度の情compression. Information Theory, IEEE Transactions on,
報が含まれることが多いと考えられる。2 つ目の頂点は37(4):1085–1094, 1991.
最大の 140 文字に近づいた時に現れ、著者が文字数の [9] 森, 山地. 日本語の情報量の上限の推定. 情報処理学会論文誌,
38(11), 11 1997.
制限に内容が収まるように内容を調整した影響が見られ― 1141 ―Copyright(C) 2014 The Association for Natural Language Processing.
All Rights Reserved.