# 文書量に不変な定数
一Yuleの $K$, Golcher の $V M$ -

木村 大翼†・田中久美子†
}

本稿では, 文書量に不変な定数を考える。このような定数には, 言語や文書の複雑 さや冗長性を定量化して捉える計算言語学上の意義がある。これらの指標は既存研究でさまざまなものが提案されてきたが, ほとんどの場合英語を中心とする小規模 な文書を対象としてきた。本研究では英語以外のさまざまな言語や, 大規模な文書 も対象として扱い, 主に先行研究において值が文長に依らないとされる 3 つの指標 $K, Z, V M$ と本研究で新たに試みた指標である $H$ と $r$ の 5 の指標に対し, 值が 一定となるかどうかの実験を行った，結果，値が言語の種類や文長に依らずに一定 となる指標は $K$ と $V M$ の 2 つの指標であった. なおかつこの 2 つの指標の値には 自然言語とプログラミング言語の間で有意な差が見られ，言語の複雑さや䒕長性を ある観点で表した指標となっていると考えることができる.

キーワード : 定数, 多言語の文書, 言語モデル，複雑さ，朵長性
## A Study on Constants of Natural Language Texts

\author{
Daisuke Kimura $^{\dagger}$ and Kumiko TanaKa-IshiI ${ }^{\dagger}$
}

This paper considers various measures which become constant for any large lengths of a given natural language text. Consideration of such measures gives some hints for studies of complexity of natural language. Previously, such measures have been studied mainly for relatively small English texts. In this work, we consider the measures for texts other than English and also for large scale texts. Among the measures, we consider Yule's $K$, Orlov's $Z$, and Golcher's $V M$, which are previously empirically argued their convergence, and in addition, the entropy $H$, and $r$, the measure related to the scale-free network. Our experiments show that both $K$ and $V M$ are convergent for texts of various language, whereas the other measures are not.

Key Words: constants, multilingual texts, complexity, language models, redundancy

## 1 はじめに

本稿は, 文書, あるいはある観点で集められた文書群が与えられたとき, それについて文書量に依存しない定数一これを本稿では文書定数と定義する一を計算する方式に関する報告である.文書定数は，古くは文書の著者判定を主たる目的として探究された。最も古い代表的なもの


として，1940 年代に提案された Yuleの $K$ がある. 現在では, 著者判定に対しては, 言語モデルや機械学習に基づく方法など, 代替となる手法が数多く提案されている. このため, 何も文書や文書群をあえて定数という一つの数値に還元して判定を行う必要はない. しかし, 文書あるいは文書群がある一貫した特質を持つのであれば，その特質を定数に還元しようとすること自体は, 工学上の個別の応用を超えて, より広く計算言語学上の興味深いテーマであると筆者らは考える。

文書あるいは文書群に通底する一貫性の種類には，内容や，難易度などさまざまなものが考えられ，言語処理分野では文書分類や，難易度判定としてそれを捉える工学的方法が考案されてきた. 文書定数の場合には, もともとの研究の発端が著者判定にあったために著者の語彙量,語彙の偏り度合, あるいは個別文書の複雑さなど, 語彙の複雑さを計測し数値化する問題として考えられてきた，一般に，文書の大きさが増すほど，文書の複雑さは増大するが，一方で，漱石の「坊っちゃん」の一部分にはその全体にも通底する固有の特質があると捉えることもできよう。これを定数として表そうとすることは, 記号列としての文書に一貫する複雑さのある側面を考えることにつながると考えられる。 そして, 対象としうる文書は個別作品だけではない.特定の内容の文書群や, 特定の言語の文書群でこれらの定数を考えることは, 自然言語の記号列の有する特質に光を当てることにはならないか.

文書定数を考えることは，本稿でも報告するように，易しい問題ではない，その一つの理由は, 自然言語の文書において hapax legomena一頻度が 1 回きりの単語一が語彙に対して占める割合が比較的大きいことにあろう，たとえば，サイコロであれば，各目の出る確率を推定するのに必要な施行回数は推定することができる。一方で，文書の場合には，さまざまな統計的推定には文書量が常に不十分な状態のままである (影浦 2000; Baayen 2001). すなわち, 文書定数を考えることは, 確かな言語モデルが不在のまま，量が常に足りていない状態のままで定数を考える，という問題として位置付けられよう.

次節でまとめるが，文書定数に関する研究は，すでにさまざまなものがあり，単語に注目するものと文字列に注目するものに大別される。近年の研究では, それらのほとんどが文書長に応じて単調変化してしまうことが報告され, その中で, 文書定数となる指標は, 筆者らの知る範井では, 現在のところ 2 つしかない. この現状の中で, 本稿の意義は以下の 4 点にまとめることができる，第一に，過去の研究で定数とされているものうちの一つが定数ではないと実験的に示したことである. 第二に, 過去の提案に加え, 近年研究されている言語の大域的特性を捉える複雑系ネットワークや言語エントロピーといった数理的枠組みから, 文書の特性を大域的に捉える指標を新たに吟味し，これらがやはり文書定数とならないことを示すことである．以上の意味で, 本稿では, 新しい文書定数を提案するものではなく, 文書定数としては依然として, 既に提案されていたもののうち 2 つのみである, という結論となる. 第三に, 文書定数に関する研究は, 英語を中心として展開し, やや広くても印欧語族についてのみの報告しかない.
本稿では，日本語や中国語に関しても実験を行い，過去に提案されてきた文書定数が非印欧語族に対しても定数として成り立つかどうかを論じる，第四に，過去の研究の大半では，短い個別文書に関して定数となるかどうかが調べられてきた。本稿では，数百 MB にわたる文書群での実験結果も報告する.

## 2 関連研究

過去の研究には単語に基づくものと, 文字列に基づくものの二種類のものが提案されている.単語ユニグラムに基づく文書定数を得ようとしたもっとも古い学者の一人は前述のように Yule である (Yule 1944). Yuleの目的は, 著者判定にあり, 単語ユニグラムに基づく指標 $K$ を提案した. これを受け, Herdanが 60 年代に独自の式を提案している (Herdan 1964). その後は, 個別の提案が続き, 近年, Tweedie と Baayen が, 単語ユニグラムのみに基づく指標に関し, 網羅的な研究を行っている (Tweedie and Baayen 1998). 彼らは単語ユニグラムに基づく既存の 12 の指標に関し, 実際に定数となるかどうかを調べた。対象とした文書は, 「不思議の国のアリス」など英語の複数の短い個別文書である．彼らの実験では， 12 の指標が文書中の単語はランダムに発生するという仮定のもとで提案されていることを受け, 文書中の単語を出現順にそのまま扱うものではなく, 文書全体の単語をランダムに入れ替えてシャッフルすることを行った上で，指標を計測した，その上で， 12 の指標の中で $K$ と $Z$ について小規模な英語文書では文長によらず值がほぼ一定となるが，そのほかの指標は一定とはならないことが報告されている. さらに, Tweedie と Baayen は, 指標が文書の著者判別に用いることができるかを探究した. 各文書を $K-Z$ 空間で表し, クラスター分析などの別手法と比較した結果, $K$ と $Z$ 二つの特徴量だけで著者を表すことができると結論づけた。

本稿では, 単語ユニグラムに関して, Tweedie と Baayen の報告とは異なる見解を実験を根拠に示す. それは指標 $K$ と $Z$ のち, $Z$ は文書定数を構成しないというものである， $Z$ は，次節で詳しく説明するが，Zipf の法則を背景とする点で複雑系ネットワークとの関係が深い. この点で, 言語の大域的特性を表す言語のべき乗則から単純に考えられる定数 $r$ を考えることができるが, それも定数とはならないことを合わせて示す. また, Tweedie と Baayen は, 英語の短い文書のみを対象としたが，本稿では，日本語や中国語も対象とする。

文書定数としては，言語エントロピーにまつわる一連の研究を考える必要がある． Shannon (Shannon 1948)によって提案されて以来, 言語エントロピーを計算する方法が, 文字列に基づく方法, $\mathrm{n}$ グラムに基づく方法の両方で考えられてきた (Cover and Thomas 2006). 言語エントロピーは, 文字列の壳長性を特徴付ける以上, 文書においてもある下限值に収束する定数として計測されうることが期待される。言語処理の分野でも (Brown, Pietra, Pietra, Lai, and Mercer 1983) が単語 $\mathrm{n}$ グラムに基づく言語エントロピーの upper bound を計測する方法を示している

が, データ量に対して, 推定量がどのように推移するかについての考察は述べられていない. また, (Genzel and Charniak 2002)がエントロピーレート（一文字あたりのエントロピー）が定数である, という仮説を示している。しかし, 論文の内容は, エントロピーレートに関わる計算式のある項が増大することを理由とする間接的なものに基づき，エントロピーレートが本当に定数を為すといえるかは何ともいえない．また， $\mathrm{n}$ グラムに基づく方法は，スムージングと関連してパラメータ推定を要する点が文書定数を求める上では, 難しい.このような中, 筆者らは，文字列に基づくエントロピーの計算方法として，パラメータ推定を要せず，収束性が数学的に示されている Farach らの計算方法 (Farach, Noordewier, Savari, Shepp, Wyner, and Ziv 1995) を用い $H$ を計算し，その文長依存性を本稿では考える。

最後に, 近年 Golcher が文字列の繰り返しに基づく画期的な指標 $V M$ を提案した (Golcher 2007). 詳細は後述するが，Golcherは接尾辞木の内部ノード数を文長で割った値が，文書定数であることを示したばかりでなく，20 の印欧語族は 0.5 付近で同じ値となることを示した。またプログラミング言語やランダムテキストについては文長に対して値が変化し, 自然言語の場合と変化の様子がかなり異なるという結果が報告されている。 たとえば, 図 1 は, Golcherの見解に沿って，筆者らが生成した図であるが， $n$ 文字がランダムに出現する場合の $V M$ は，横軸を文字数の対数, 縦軸を $V M$ として，振動することがわかる. Golcher の実験でもわれわれの結果でも，言語の文書は $V M$ は文長に依らず定数となる. Golcher はなぜ $V M$ が一定になるのかについての理論的な考察は展開しておらず, それは将来の課題としている. Golcher は印欧語族に対してのみ結果を示しているが，本稿では，日本語や中国語についても Golcher の値が定数となることを示す.

図 1 各文字がランダムに出現する場合の VM

## 3 指標

前節で説明したように, 本稿では単語に基づく指標として, $K, Z, r$, また, 文字列に基づく指標として $V M$ と $H$ を用いた，以下，各指標を順に説明する。

## 3.1 単語に基づいた指標

## Yule の指標 $K$

指標 $K$ は文書の語彙の豊富さを示す指標として 1944 年に統計学者の Yule によって提案された (Yule 1944). 今, 文書の総単語数（単語数で計測した際の文書長）を $N$, 単語の種類を $V$ とし，文書中に $m$ 回出現する単語の種類を $V(m, N)$ とすると， $K$ は

$
K=C\left[-\frac{1}{N}+\sum_{m=1}^{m=N} V(m, N)\left(\frac{m}{N}\right)^{2}\right]
$

で定義される。ここで $C$ は $K$ の值が小さくなりすぎないようにするための係数であり, Yule は $C=10^{4}$ とした. この $C$ の值に本質的な意味はない. また, Yule は文書の生成モデルにつぼモデルと呼ばれる文書中の単語はランダムに出現するものとしたモデルを仮定している。このモデルにおいて $N$ が十分大きい時には，この $K$ の期待値が一定となることを数学的に証明することができる (Baayen 2001).

$K$ が語彙の豊富さを表すことを以下簡単に説明する，今，文書中からランダムに単語を一つ選ぶことを考える。すると式 (1)において $\left(\frac{m}{N}\right)$ は文書中 $m$ 回出現する単語が選択される確率を表す.よって $\left(\frac{m}{N}\right)^{2}$ はそのような単語が連続で選択される確率である.ここで同じ単語が連続で選択される確率が大きい場合は文書の語彙が乏しい場合, 逆に確率が小さい場合は語彙が豊富な場合と見なすことができる．式 (1)より前者の場合は $K$ の値は大きくなり，後者の場合は $K$ の值は小さくなることがわかる。このように $K$ は同じ単語が連続で出現する確率に基づいた語彙の豊富さを表す指標である。

## Zipf の法則に基づいた指標 $Z$

文書中に現れる各単語の出現頻度は Zipf の法則に従うということが経験的に知られている (Zipf 1949). $Z$ はこの Zipf の法則に基づいた指標である．今，文書の総単語数（単語数で計測した際の文書長）を $N$, 単語の種類を $V_{N}$ とし, $z$ を文書中に出現する単語の回数に関して降順に並べた時の順位を表す変数とする。ここで順位が $z$ である単語が文書中に出現する回数を $f(z, N)$ とすると, $f(z, N)$ と $z$ の間に

$
f(z, N)=\frac{C}{z^{a}}\left(C \text { は規格化定数で } \sum_{z} f(z, N)=N \text { を満たすように定める }\right)
$

というべき乗則の関係がおおよそ成り立つ. また式 $(2)$ において $a=1, C=V_{N}$ とおくと文書中に $m$ 回出現する単語の種類 $V(m, N)$ が

$
V(m, N)=\frac{V_{N}}{m(m+1)}
$

と表現されることが導かれる。

Orlov らは 1983 年に Zipf の法則を拡張して, 総単語数が $N$ である文書の単語の種類 $V_{N}$ の期待値 $E\left[V_{N}\right]$ が一つのパラメータ $Z$ を用いて

$
E\left[V_{N}\right]=\frac{Z}{\log (p Z)} \frac{N}{N-Z} \log \left(\frac{N}{Z}\right)
$

と表すことができることを示した (Orlov and Chitashvili 1983). ここで $p$ は文書中に最も多く出現する単語の相対頻度であり，文書ごとにほぼ一定の定数と見なされる。

$Z$ は，文書が与えられた際に式 (3) の関係が最もよく当てはまる単語数である。また式 (4)において $N$ を固定して考えてみると， $Z$ の値が大きくなるにつれて文書の単語の種類の期待値である $E\left[V_{N}\right]$ の値が大きくなるので，指標 $Z$ は文書の語彙の豊富さを表す指標だと解釈することができる.

最後に $Z$ の計算方法について述べる. 式 (4)において単語数が $N$ である時の単語の種類の期待値 $E\left[V_{N}\right]$ を実際の文書の $V_{N}$ で置き換えると

$
V_{N}=\frac{Z}{\log (p Z)} \frac{N}{N-Z} \log \left(\frac{N}{Z}\right)
$

を得る.この式は $Z$ について陽に解くことができないので解析的な解を得ることはできない. したがって $Z$ を求める際には

$
f(Z)=\frac{Z}{\log (p Z)} \frac{N}{N-Z} \log \left(\frac{N}{Z}\right)-V_{N}
$

とおいて $f(Z)=0$ をニュートン法の反復解法を用いて数値的に解く.

## 複雑系ネットワークに基づいた指標 $r$

指標 $r$ は， $Z$ が複雑系の観点からの指標であることを受け, 本研究で新たに試みた関連指標であり，文書の単語のネットワーク構造に着目したものである。まず文書から構成される無向グラフ $\Omega=(W, E)$ について説明する. 文書中の単語の種類を $V$ とすると, $W$ は $W=\left.\{w_{i}\right.\}$ $(i=1, \ldots, V)$ で定義される各単語を頂点とする頂点集合である. また, $E$ は $E=\left.\{\left(w_{i}, w_{j}\right)\right.\}$ で定義される単語間のつながりを表す枝集合であり，2つの単語 $w_{i}$ と $w_{j}$ が連続して現れる場合に枝が存在する。つまりここで考えているネットワークは文書中の各単語を頂点として連続して現れる単語間に枝を張ったネットワークである。
本稿では文書の単語から構成されるネットワークとして上記のようなものを考える. これ以外にも単語ネットワークの構築方法には構文解析結果を用いるものや, 文書の単語間の共起関係に基づいたネットワークなど複数考えることができる。しかし，単語から構成されるどのようなネットワークを考えたとしても，本稿の目的である文書の複雑さといった文書の大域的な特性を考えた場合には，いずれのネットワークにおいても類似した性質が現れると考えられる。実際にいくつかを実験的に試してみたが，文書量に対して一定となるかどうかの観点では，大勢に影響はなかった。ゆえに本稿では，文書の単語から構成されるネットワークとして上記を扱う。

さて，ここで得られたネットワークの各頂点の次数分布に着目する．グラフにおいて頂点の次数が $k$ である確率を $P(k)$ とおく，図 2 は英語と Java の場合の次数分布の両対数をとった図である。図の横軸は次数 $k$ の対数であり，縦軸は $P(k)$ の対数である。いずれもある次数まではほぼ直線になっている。このことから単語のネットワークの次数分布はある次数まではべキ分布に従っていると考えられる。このような性質はスケールフリー性 (Barabási and Albert 1999) と呼ばれ，現実のさまざまな複雑系ネットワークで現れる性質である.

ベキ分布は

$
P(k)=c k^{-\gamma}
$

という形で表される．ここで $c$ は正規化定数であり， $\sum_{k=1}^{\infty} P(k)=1$ の条件から定まる。ここで式 (5) の両辺において対数をとれば

$
\log P(k)=-\gamma \log k+\log c
$

となりべキ分布は両対数グラフにおいて直線になることがわかる.

図 2 英語と Java の場合の次数分布
今, 式 (6) の両対数グラフ上での傾き $-\gamma$ に着目し, 指標 $r$ を

$
r=-\gamma
$

で定義する。この指標が一定になるかということに関して特に理論的な背景はないが, $r$ は前節までで紹介した $Z$ と同様に言語のべき乗則に関する指標で，言語の大域的特性を示すものである以上，文書ごとに文長に依らず一定となることが期待される.

最後に $r$ の計算方法について述べる。本稿で $r$ を求める際には，まず実際に文書の単語から構成されるネットワークをつくり, ネットワークの各頂点の次数を調べ, 図 2 のような次数分布を得る. 次に, この次数分布の傾きである $r$ を得る際には, 次数が 2 から $\sum_{k=1}^{n} P(k) \geq A$ を満たす最小の次数 $n$ までの範囲で, 最小二乗法を用いて傾きを推定した1. これは次数が 1 の場合と次数がある大きさを超えた範囲では，いずれの文書から構成されるネットワークにおいても，図2のように次数分布がべき分布から大きく外れているためである.

## 3.2 文字列に基づいた指標

## Golcher の指標 $V M$

$V M$ は文字列の繰り返しの量を表す指標として近年 Golcherによって提案された指標であり，接尾辞木の構造を利用したものである (Golcher 2007). 接尾辞木とは, 文字列が与えられた時の接尾部を木構造で表したデー夕構造であり, 接尾部に対するパトリシア木である (Gusfield 1997). 以下与えられた文字列を $S$, その文字列の長さを $T, S$ の $i$ 番目の文字を $S[i], S$ の $i$ 番目から $j$ 番目までの部分文字列を $S[i, j](i, j \in\{1, \ldots, T\}, i \leq j)$ をとする. 文字列 $S$ の接尾辞木 $\mathcal{T}$ は以下のように定義される (Ukkonen 1995; Gusfield 1997).

根から葉へと向かう有向木 $\mathcal{T}$ が次の条件を満たす時， $\mathcal{T}$ は $S$ 接尾辞木であるという.

・ 1 から $T$ までの整数がラベル付けされたちょうど $T$ 個の葉が存在する.
- 内部節点は少なくとも 2 つの子もち, 各枝には $S$ に含まれる空ではない文字列が対応する.
- 同じ節点からの枝のラベルは必ず異なる文字から始まる.
- すべての葉 $i$ に対して根から葉 $i$ までの経路のラベルは $S[i, T]$ となる.

Golcher の用いる接尾木辞は， $S$ に含まれない文字を終端記号として文字列の最後につけて接尾辞木を構築する。たとえば，図 3 は文字列 'cocoa'の接尾辞木である.

これを用いて, $V M$ の定義, 説明を行う. 今, 与えられた文字列 $S$ の文字数を $T, S$ の接尾辞木における内部節点の数を $k$ とすると指標 $V M$ は

$
V M=\frac{k}{T}
$


図 3 'cocoa' の接尾辞木

で定義される. 長さ $m$ の接尾辞木は $m$ 個の葉を持つことから, 内部節点の数は最大でも $m-2$個である. よって $0 \leq k<T-2$ であるから $V M$ の值の範囲は $0 \leq V M<1$ となる. ここで Ukkonen のアルゴリズムによると，接尾辞木の内部接点はこれまでに現れていない共通部分が新たに現れる場合に増える。したがって $V M$ はある種の文字列の繰り返しの量を表していると考えることができる.

最後に $V M$ の計算方法について述べる。式 (8) で定義される $V M$ の値を求めるためには接尾辞木の内部節点の数を求めればよい. 最も素朴な方法としては, 直接接尾辞木を構成することによって求める方法が考えられる。しかし，一般に接尾辞木の構成に必要な空間領域は，入力の文書の数十倍となり, 大規模な文書を扱う場合には直接接尾辞木を構成する方法は現実的ではない. 本稿では，より効率的なデータ構造である接尾辞配列と高さ配列を用いて, 接尾辞木の擬似巡回を行うことによって内部節点の数を求めた. アルゴリズムは (Kasai, Lee, Arimura, Arikawa, and Park 2001) に詳しい.

## 文書のエントロピー $H$

ここで紹介するエントロピー $H$ は情報理論の分野において Shannon によって 1948 年に導入された (Shannon 1948)，文書を構成する有限個のアルファベットの集合を $\chi$ とし， $X$ を上の確率変数とする. この時, 各アルファベット $x \in \chi$ の文書における出現確率を $P_{X}(x)=\operatorname{Pr}(X=x)$ とおくとエントロピー $H$ は，

$
H=-\sum_{x \in \chi} P_{X}(x) \log P_{X}(x)
$

で定義される.

文書のエントロピーを求めるためには式 (9) より各アルファベット $x$ に対し, その出現確率 $P_{X}(x)$ を知る必要があるが, 文書から得られる出現確率はあくまで真の出現確率の近似であり,文書から直接求めることはできない。言語処理では文章のエントロピーを求める方法についてはさまざまな試みがある (Cover and Thomas 2006; Brown et al. 1983). 本稿では，エントロピーの値の推定方法として, 収束性が証明されている一つの方法であることから, Farach らに

よる手法を用いた (Farach et al. 1995).

今与えられた文書を一つの文字列と見なしてこれを $S$ とし，その長さを $T, S$ の $i$ 番目から $j$番目までの部分文字列を $S[i, j](i, j \in\{1, \ldots, T\}, i \leq j)$ とする. 次に $S$ の各位置 $i(1 \leq i \leq T)$ に対してそれより以前の最大マッチング $L_{i}$ を以下のように定義する.

$
L_{i}=\max \{k: S[j, j+k]=S[i, i+k]\} \quad(j \in\{1, \ldots, i-1\}, 1 \leq j \leq j+k \leq i-1)
$

つまり $L_{i}$ は $S$ 番目から始まる文字列と， 1 番目から $i-1$ 番目までの文字列との最大共通部分文字列長である。そしてこれら $L_{i}$ の平均値 $\bar{L}$ を,

$
\bar{L}=\frac{1}{T} \sum_{i=1}^{i=T} L_{i}
$

とする.この時 Farach らのエントロピーの推定値 $H$ は,

$
H=\frac{\log _{2} T}{\bar{L}}
$

で定義される. 今, 真のエントロピーの値を $H_{t}$ とすると, この手法によって得られる推定値 $H$ は， $T \rightarrow \infty$ の時に $\left|H_{t}-H\right|=O(1)$ となることが数学的に示されている.

## 4 実験

本研究では個別文書と，数十 $\mathrm{MB} \sim 200 \mathrm{MB}$ の自然言語やプログラミング言語の文書を用いて 3 章で説明した $K, Z, r, V M, H$ の各指標の文長に対する値の変化を調べる実験を行った.

以下 4.1 節で実験データや実行環境を説明した後に，4.2 節で小規模文書での実験結果, 4.3 節で大規模文書に対する結果を図とともに述べる.

## 4.1 実験データおよび実験環境

## 4.1.1 実験データ

今回の実験で用いた文書は表 1 の通りである.

個別文書に関しては, (Tweedie and Baayen 1998) とは異なり, 英語だけではなく, 日本語, フランス語，スペイン語の文章も対象とした。用いたデータは表 1 の第一ブロックに示した.

(Tweedie and Baayen 1998) らの研究を概観すると，定数になるかどうかを吟味するには，小規模な個別文書では長さが不十分であることもよくある。 そこで, 日本語, 英語, 中国語の新聞コーパスについても定数となるかどうかを調べる。また, 得られる定数が言語の特徴量を表すかどうかを吟味するため, 比較対象としてプログラミング言語のデータも用いる。このためには, Java, Rubyと Lispのソースを用いた. ここで日本語と中国語については $V M$ と $H$ の値
表 1 実験で用いた言語デー夕

を計算する際には日本語（ローマ字），中国語 (pinyin)の文書を用いた場合，ならびに，元のテキストを用いた場合の両方を報告する。その他の言語に関してはいずれの指標の場合も表 1 にある各言語の文書を用いて実験を行った。また，プログラミングにおける単語は以下のように定義した。まず，Java とRuby についてはソースを記号で分割し, 分割された各要素を単語とした. 例えば ‘if $(\mathrm{i}<5)$ break;' であれば 'if', '(', 'i', ‘<', '5', ')', 'break', '; の 8 つ要素が単語である。 Lisp の場合はこれらの要素から‘('と‘)’の 2 つを除いたものを単語とした.

## 4.1.2実験で用いたプログラム

今回の実験においてはいくつかの外部プログラムを利用した。ここでそれらのプログラムについて記載する.

まず単語に基づいた指標 $K, Z, r$ の値を計算するために文書を単語に分割する必要がある。日本語の場合は形態素解析ソフト $\mathrm{Mecab}^{2}$ を, 中国語については, ICTCLAS を用いて単語に分割した，文字列に基づいた指標 $H, V M$ については，日本語，中国語に関しては，ローマ字，pinyin 変換したものについても計算した，中国語に関してはあらかじめ pinyin 表記で書かれた別の文書を用いたが，日本語の場合は KAKASI 4 を用いてローマ字に変換した.

各指標の計算方法は， 3 節で示したとおりである.
^{4}$ http://kakasi.namazu.org/index.html.ja
}

## 4.2 個別文書に対する結果

個別文書に関する結果を図 4-8について示す。英語の文書のみならず，他の印欧語族や日本語といった文書については， $K, V M$ については一定となる一方で， $Z, r, H$ については大域的

図 4 個別文書に対する $K$

図 6 個別文書に対する $Z$

図 5 個別文書に対する $V M$

図 7 個別文書に対する $r$

図 8 個別文書に対する $H$

には単調変化する結果となった. (Tweedie and Baayen 1998)の結果では， $Z$ が一定となることが示されていた。しかし，実験では一貫して $Z$ が一定とはならないことが示されている．同様に，類似の複雑系の指標としての $r$ もやはり一定とはならなかった。

## 4.3 大規模文書に対する結果

文長に対する各指標の値と, 参考のためにシャッフル後の結果について述べる. ここで文書をシャッフルするとは，各文書ごとに文書中の単語の順番をランダムに入れ替えることを言い， シャッフル後の結果とは, この操作を 20 回繰り返した際の指標の平均値である. このように単語順序をランダムに入れ替えるのは，もともと Tweedie と Baayen (Tweedie and Baayen 1998) が行っていた方法で, 数式上の仮定を満たすためであり, 文書定数を考える上で前処理としての妥当性は疑問である。とはいえ，文書には確かに局所的な摇れやぶれがあるので，大域的特性を概観し, 元文書に対する指標の推移を比較検討するために示すものである。このシャッフルは先行研究との対比のため $K$ と $Z 2$ つの指標に対してのみ結果を示す. 以下の図では, 横軸は文書の単語数の対数をとったものであり, 縦軸は指標の値である.

然言語の場合，いずれの言語においても文書の単語数の対数に対して値はほぼ一定となった. プログラミング言語の場合は自然言語と比べて若干の変化が見られたが, 単語数が 10 万を超えると同様に値はほぼ一定となった。文書中の単語の順番をランダムに入れ替えた場合ではいずれの言語の場合でも文書の単語数の対数に対してほぼ完全に一定となった. シャッフル前と後で $K$ の值はほとんど変化していないことから，Kは文書中の単語がランダムに出現するという仮定が背後にある指標にも拘わらず，ランダム性が崩れた実際の文書においても値がほとんど変わらずほぼ一定となったということが興味深い. また，プログラミング言語の $K$ の値は自然言語の値と比べてかなり大きくなり, 両言語間の $K$ の値に大きな差が出る結果となった.

図 9 各言語の $K$

図 10 各言語の $K$ (シャッフル後の平均値)
$V M$ については日中をアルファベットに変換した場合の結果をまず吟味する．図 11 は各文書に対する $V M$ であり，図 12 は図 11 を拡大したものである，日本語の場合に値が英語，中国語と比較してわずかに大きくなっているが，いずれも文書量の対数に対して値はほぼ一定でおよそ 0.5 の値をとった. プログラミング言語の場合は自然言語の場合よりも変化が見られるが，単調に変化する傾向はみられない．プログラミング言語に関する $V M$ の値は自然言語よりも大きく，およそ 0.65 の値をとり，両言語間で値に大きな差が表れた。これは，自然言語の冗長性が，プログラミング言語のそれよりも一律に小さいことを示しているだろう。

次にアルファベットに変換しない場合の日本語, 中国語の文字列をそのまま用いた場合の $V M$ の結果を図 13 と図 14 に示す。これらの図には比較のため, アルファベットに変換した場合の日本語，中国語の結果も含まれている.

まず $V M$ の值は，アルファベットに変換しない場合の日本語，中国語の文字列をそのまま用いた場合でも，アルファベットに変換した場合と同様に文書量の対数に対して值はほぼ一定となることがわかる。しかし $V M$ の値の大きさに注目すると，その值は日本語，中国語のいずれ

図 11 各言語の $V M$

図 13 日本語と中国語の原文の $V M$

図 12 各言語の $V M$ (図 11 の拡大図)

図 14 日本語と中国語の原文の $V M$ (図 13 の拡大図)

の場合もおよそ 0.35 であり，アルファベットに変換した場合の 0.5 という值より小さくなっている。これは日本語，中国語の原文におけるアルファベットサイズが変換後のそれよりも遥かに大きいため, 文書中で繰り返し出現する文字列の種類が減少し, 接尾辞木の内部節点の数が少なくなったからだと考えられる。

その他の 3 つの指標 $Z, r, H$ について述べる。図 15-18 はそれぞれ各文書に対する $Z, r, H$ の結果である。まず複雑系に関連した指標である $Z$ と $r$ はにおける Lisp を除いて文長に対して値が単調に増加する結果となった。Lisp は $Z$ において値が微増するにとどまり，ほぼ一定となった， $Z$ や $r$ は，言語に内在する大域的な構造を一挙に捉えるものであるが，それは一般的には一定値にはならないということである。 また, 文字列のエントロピー $H$ は文長に対して値が単調に減少する結果となった。なお, ここで示す $H$ は日中についてはアルファベット表記に変換した結果である. さらに，Zについてはシャッフル後も同様にLisp を除いて値が一定とはならなかった。他の言語においては全く一定にならなかった $Z$ が Lisp に限り, 値が微増するにとどまったという結果は大変興味深い.

図 15 各言語の $Z$

図 17 各言語の $r$

図 16 各言語の $Z$ (シャッフル後の平均値)

図 18 各言語の $H$
以上の実験に加えて $V M$ と $H$ の 2 つの指標については，文書の文字列を逆順にしたものに対しても実験を行ったので，その結果を簡単に述べる。これは $V M$ と $H$ が本研究で検討している指標の中で文字列の順序に依存する指標であるからであり，文書の文字列を逆順にすることによって, 文字列の前から後ろへの依存性だけではなく, 後ろから前への依存性を調査した。結果としては，文字列を逆順にしても， $V M$ と $H$ の値は文長が増加するにつれて文字列の順序を変えない場合の値とほぼ同じになった。

## 5 考察

まず，文長に依存せず指標が一定となるかどうかの観点から考察する．前章での実験の結果から自然言語, プログラミング言語において文長に依らず值がほぼ一定となる指標は本研究の範囲では， $K$ と $V M$ の 2 つの指標であることが示された.

$V M$ については非印欧語族である日本語, 中国語においてもアルファベット表記ならば値がおよそ 0.5 となった。これはアルファベット一あるいは荒い近似としての音一という限られた言語要素を用いて行う言語表現中に内在する冗長性の度合を表しているものと考えられる。また日本語, 中国語の本来の表記を用いて同様に $V M$ の値を計算すれば, 用いる文字の種類がア

なることが示された. すなわち，用いることができる言語上の要素数が大きくなると， 冗長性は小さくて済むことを表している。いずれにせよ， 2 節で示したように，要素がランダムに生起する場合には振動する指標が，言語では一定となることは実に興味深い.

次に値が一定とならなかった指標について論じる，Z は Tweedieらの先行研究において小規模な英語文書において値が文長によらず一定となるという結果であったが，個別文書においても，大規模文書においては Lisp を除いたいずれの言語においても一定とはならずに文長に対して単調に変化した.ここで Lispについては微増との結果となった. このように, 過去に提案されてきた指標は，言語によっては一定となる場合もある。本稿では，「さまざまな文書において普遍に一定量となる指標」に焦点を当てているので， $Z$ はそれには該当しない．しかし，どの指標がどのような特性を持つ言語に対して一定となるのかについては，今後の課題といえよう． $Z$ と同様に複雑系に関連した $r$ については $Z$ と同じように值が文長に対して変化する結果となった。 エントロピー $H$ については, 厳密な推定が難しい言語の確率モデルに依存しない計算方法を用いても，やはり一定とはならなかった. ここで $H$ は $\mathrm{n}$ グラムから計算することができ，また $V M$ の定義に用いられる接尾辞木は, 潜在的な $\mathrm{n}$ グラム確率から作られると考えることができる。このことから， $H$ と $V M$ は値の収束性において同じ性質を持つと予想されたが，本研究の範囲では異なる性質を示した。

最後に指標の判別力という観点から考察する。判別は, 個別文書（作品別）, 著者（著者判
別)，より広くある一定の内容で集められた文書群（新聞の文書分類など），言語（英語が日本語かなど), 語族（印欧語族とシナ・チベット語族など），自然言語vs. プログラミング言語など異なる解像度で行うことが考えられる。

本研究の結果では， $K$ と $V M$ は，自然言語とプログラミング言語間において値に有意な差が見られた。この傾向は $K$ と $V M$ ほどではないが他の指標にも見られた。このことは 2 つの言語間に本質的な複雑さの差があることを示していると考えられ，特に $K$ と $V M$ はその差をはっきりと捉えていると考えられる。より高い解像度での判別問題は, 語族や言語の判別については，少なくとも $V M$ については，表記システムで用いるアルファベットの大きさに依存する. $K$ と $Z$ で, 個別文書の判別が可能であると (Tweedie and Baayen 1998) では述べられてはいるが, その問題については, 今日ではより高性能な機械学習手法の方が手法として妥当であると考えられる。 すなわち, 文書定数が自然言語の壳長性を反映していると見られることが，文書定数の計算言語学上の一つの意義であると考えられる.

## 6 まとめ

本研究では既存の指標 $K, Z, V M$ と新たに試みた指標 $r, H$ の 5 の指標に対して自然言語とプログラミング言語の文書を複数用いて文長に依らずにその値が一定になるかを吟味した.

Yuleの $K$ は文書中の語彙の豊かさを表す古典的な指標であるのに対し, Olrovの $Z$ と $r$ は複雑系に基づく指標である。 $V M$ は接尾辞木に基づく文書の繰り返しを表す指標であり， $H$ は文書のエントロピーである。文書定数の文脈では $r$ と $H$ は今回新たに試みた指標である.

実験では個別文書，ならびに大規模な自然言語とプログラミング言語の文書を用いて，各指標の文長に対する値の変化の様子を網羅的に調べた。その結果 $K$ と $V M$ の 2 の指標のみ文長によらず値がほぼ一定となった。 さらにこの 2 つの指標は自然言語とプログラミング言語間において値に有意な差が見られた。またその他の $Z, r, H$ については文長に対して値が単調に変化する結果となった。

以上の結果から, Tweedie らの小規模な英語文書において $K$ と $Z$ は一定となるという先行研究結果については, $K$ に関してはいえるものの, $Z$ に関しては大規模文書において一定とならないことがわかった. また Golcher の先行研究結果との対比においては, 本研究の結果では, アルファベット表記を用いると，日本語，中国語といった非印欧語族の言語においても $V M$ は印欧語族同様，ほぼ一定の 0.5 の値となることがわかった.

## 謝 辞

検定に関して有益なコメントを頂いた東京大学大学院情報理工学系研究科の駒木文保教授に感謝の意を表する。

## 参考文献

Baayen, R. H. (2001). Word Frequency Distributions. Kluwer Academic Publishers.

Barabási, A.-L. and Albert, R. (1999). "Emergence of scaling in random networks." Science, 286, pp. 509-512.

Brown, P. F., Pietra, S., Pietra, V. J. D., Lai, J. C., and Mercer, R. L. (1983). "An estimate of an upper bound for the entropy of English." Computational Linguistics, 18 (1), pp. 31-40.

Cover, T. M. and Thomas, J. A. (2006). Elements of Information Theory. Wiley-Interscience.

Farach, M., Noordewier, M., Savari, S., Shepp, L., Wyner, A., and Ziv, J. (1995). "On the Entropy of DNA: Algorithms and Measurements Based on Memory and Rapid Convergence." In Proceedings of the sixth annual ACM-SIAM symposium on Discrete algorithms, pp. 48-57.

Genzel, D. and Charniak, E. (2002). "Entropy Rate Constancy in Text." In Annual Meeting of the Association for the ACL, pp. 199-206.

Golcher, F. (2007). "A Stable Statistical Constant Specific for Human Language Texts." In Recent Advances in Natural Language Processing.

Gusfield, D. (1997). Algorithms on Strings, and Sequences: Computer Science and Computational Biology. Cambridge University Press.

Herdan, G. (1964). Quantitative Linguistics. Butterworths.

影浦峡 (2000). 計量情報学一図書館／言語研究への応用. 丸善.

Kasai, T., Lee, G., Arimura, H., Arikawa, S., and Park, K. (2001). "Linear-Time LongestCommon-prefix Computation in Suffix Arrays and Its Applications." In Proceedings of the 12th Annual Symposium on Combinatorial Pattern Matching, pp. 181-192. Springer-Verlag.

Orlov, J. K. and Chitashvili, R. Y. (1983). "Generalized Z-distribution generating the well-known 'rank-distributions'." Bulletin of the Academy of Sciences of Georgia, 110, pp. 269-272.

Shannon, C. (1948). "A mathematical theory of communication." Bell System Technical Journal, 27, pp. 379-423, 623-656.

Tweedie, F. J. and Baayen, R. H. (1998). "How variable may a constant be? Measures of lexical richness in perspective." Computers and the Humanities, 32, pp. 323-352.

Ukkonen, E. (1995). "On-line construction of suffix-trees." Algorithmica, 14, pp. 249-260.

Yule, G. U. (1944). The Statistical Study of Literary Vocabulary. Cambridge University Press.

Zipf, G. K. (1949). Human Behaviors and the Principle of Least Effort: An Introduction to Human Ecology. Addison-Wesley Press.

## 略歴

木村大翼：2010 年東京大学工学部計数工学科卒業. 現在, 同大学大学院情報理工学系研究科に在学中. 構造データを対象とした機械学習に興味をもつ.

田中久美子: 東京大学大学院情報理工学系研究科准教授. 1997 年東京大学大学院工学系研究科情報工学専攻博士課程修了, 博士 (工学). 工業技術院電子技術総合研究所, 東京大学大学院情報学環講師などを経て 2005 年より現職. 自然言語や記号系に普遍に内在する数理構造に興味を持つ.

(2010 年 8 月 5 日受付)

(2010 年 12 月 20 日再受付)

(2011 年 2 月 10 日採録)