文部科学省科学研究費特定領域研究「代表性を有する大規模日本語書き
言葉コーパスの構築: 21世紀の日本語研究の基盤整備」公開ワークショップ

エントロピーと冗長度を指標とした語彙的・統語的複合動詞の比較研究

玉岡 賀津雄 (TAMAOKA, Katsuo)
麗澤大学 (Reitaku University, Japan)

東京工業大学大岡山キャンパス・ディジタル多目的ホール, 2009年3月16日(月) 10:00-1200

１．共起頻度の分析のための指標

Entropy (エントロピー)
あいまいさや乱雑さの増減を示す指標
多様性

Redundancy (冗長度)
エントロピーとエントロピー最大値から得られる
無駄の程度を示す指標
規則性Claude Shannon: エントロピーと冗長度を提案した
デジタル回路の数学的基礎を確立

1916年
米ミシガン州に生まれる

1941年
Bell Laboratoriesに就職

ミシガン大学
数学と電気工学の学士号

MITへ
1956年客員教授
1958年教授にMIT
数学と電気工学の博士号を同時に取得 (1941年)

2001年2月26日
84歳で死去Claude Shannon
A Mathematical Theory of Communication(通信の数学理論)

1948年
Bell Laboratoriesにて発表した記念碑的論文

Claude Shannon

通信の基本的な問題は、一点にあるメッセージを別のもう一点に、
正確に、あるいは近似的に再製することにあるClaude Shannon

ある情報を送信するのに
1と0の組み合わせを送るだけで十分であることを数学的に示した。

今日のインターネット、光通信、無線通信などのデジタル通信技術の基盤となる。

エントロピーと冗長度を用いたコーパス研究

Tamaoka, K., Lim, H., & Sakai, H. (2004).

Entropy and redundancy of Japanese lexicaland syntactic compound verbs.
Journal of Quantitative Linguistics, 11, 233-250.

本発表では，エントロピーと冗長度の使用の有用性に焦点を当てて説明する。

二種類の複合動詞¾ 日本語では，動詞を二つ組み合わせることで複合動詞を作ることができる。
¾ 影山 (1993, 1999)
日本語の複合動詞を２種類に分けている (影山, 1999, p. 189)。

語彙的複合動詞
複合動詞
統語的複合動詞

２．語彙的・統語的複合動詞の統語構造－その１
語彙的複合動詞(lexical compound verbs)¾初めにくる動詞(V1)と次にくる動詞(V2)の組み合わせに「語彙的な習慣化が見られる」（影山, 1999, p. 189）

¾語彙的複合動詞には，二つの動詞の間に「語の形態的親密性」を示すサエやモを挿入することができず，一つの語となっていると指摘している。

２．語彙的・統語的複合動詞の統語構造－その２
統語的複合動詞 (syntactic compound verbs)¾ 影山（1999）
統語的複合動詞はその名の示す通り「統語的な構造」に由来し，補文構造という形で捉えられる (pp. 189-190)
例:「彼は昼食を食べ始めた。」と「子供は手紙を投函し忘れた。」
における補文構造は，「彼は [昼食を食べ] 始めた。」と「子供は [手紙を投函し] 忘れた。」という「V1することを(が)V2」の部分を指す。
¾ この構造をもとにして，「食べ」を「始める」に，「投函し」を「忘れる」に結合させると，表面的には，「食べ始める」と「投函し終わる」という複合動詞になると説明している。

語彙的複合動詞の統語構造[vp NP-o [v V1 V2]]

語彙的複合動詞
VP

先にくる動詞(V1)である「飲む」
が，次にくる動詞(V2)の「比べる」と結合して「飲み比べる」という一つの動詞 (V1 + V2 = V) を作る。
この複合動詞に対して，「コーヒーを」という対格の名詞句(NP,noun phrase)が結びついて動詞句(VP, verb phrase)を作るという構
造を持つ。

NP-o

V

コーヒーを
V1

V2

飲み

比べる

(i) 語彙的複合動詞

統語的複合動詞の統語構造[vp2 [vp1 NP-o V1 ] V2]

統語的複合動詞「コーヒーを」という名詞句(NP)が直接「飲む」の動詞(V1)と結合して動詞句(VP1)を作る。
この動詞句が後にくる「終える」の動詞(V2)に結びつき，さらなる動詞句(VP2)を作るという構造と考える。
二つの動詞は基本的に別々の語であるとみなされる。

VP2

VP1

V2
終える

NP-o

V1

コーヒーを

飲み

(ii) 統語的複合動詞

複合動詞を新聞と小説のコーパスから抽出•1991-1994年• 延べ総語数:•88,454,573語

新聞

小説

毎日新聞

青空文庫

4年間分に限定
小説の約10倍の大きさ• 現代語限定• 延べ総語数:•8,370,720語

コーパスから得られた語彙的/統語的複合動詞に
関する仮説

仮説2

仮説1
¾複合動詞の種類に関する仮説

語彙的/統語的複合動詞に関する仮説１
複合動詞の種類に関して¾ 語彙的複合動詞は，「飲み比べる」というように二つの動詞が一つの語彙的な単位を成しており，慣用句のように強く結合していると考えられる。したがって，これら二つの動詞の組み合わせは限定的であり，それほど多様な動詞が組み合わされることはないであろうと予想される。
¾ 統語的複合動詞は，「終える」(V2)から分かるように，どのような行為も「終える」ことができるもの
であれば何にでも結合できるので，多様な第１動詞(V1)を受けることができると考えられる。

語彙的/統語的複合動詞に関する仮説１
これらの構造の異なる２種類の複合動詞について，通信の数学理論であるエントロピーと冗長度の指標の違いから予測してみる。
仮説1

語彙的複合動詞は，ある特定の二つの動詞の共起パターンは偏っていると考えられるので，エントロピーは低く，冗長度が高いであろう。
それに対して，統語的複合動詞は，多様な動詞が結合して共起すると考えられるので，エントロピーが高く，冗長度は低いと予想される。

語彙的/統語的複合動詞に関する仮説2仮説2¾コーパスの種類に関する仮説

仮説1¾複合動詞の種類に関して

語彙的/統語的複合動詞に関する仮説２

コーパスの種類に関して¾新聞は，複数の新聞記者が一般大衆に情報を伝達するために，簡潔で分かりやすい一定の表現スタイ
ルが採られる。一方，小説は，特定の作家の個性に応じた多様な表現が駆使されている。
¾両者は，書き手の意図と目的において大きく異なっている。

語彙的/統語的複合動詞に関する仮説２
仮説2

仮に，語彙的/統語的複合動詞が一般的な統語構造を持っているといえるなら，語彙的・統語的複合動詞は，新聞か小説かに関係なく類似した共起パターンを示すことが予想される。

複合動詞の個別性とコーパスの種類との関係「込む」(V2)「流れ込む」，「射し込む」，「吹き込む」など¾これらは，水が「流れ込む」，光が「射し込む」，風が「吹き込む」というように，意味的に二つの動詞が一つの動詞として一塊のものとなっていると解釈されるので，語彙的複合動詞である。
¾「込む」(V2)は，ちょうど英語の前置詞の‘into’のような意味が付加され多様な表現と結びつきやすい
ので，複合動詞としても多様な動詞(V1)と結合されやすいと考えられる。

複合動詞の個別性とコーパスの種類との関係「得る」(V2)「動かし得る」，「保ち得る」，「考え得る」など¾これらの複合動詞は，「岩を動かし得る」であれば，「岩を動かす」(VP1)ことを「得る」(VP2)という補文構造を成す。「得る」(V2)は，単独でその前の動詞句に結びつく。つまり,これらは統語的複合動詞である。
¾ちょうど英語の‘can’や‘be possible to’のような解釈ができ，「岩を動かす」ことが「できる」または「可能である」という意味になる。

複合動詞の個別性とコーパスの種類との関係¾第２動詞を基準とする複合動詞群について，
新聞または小説それぞれのコーパスに特徴的に見られるものが幾つか存在するであろうと思われる。

2つの動詞の共起頻度を他の変数に変換
共起頻度¾

一つずつ増えていく変数であるため，等間隔の尺度として捉えることができる。

¾

数学的な規則にしたがって共起頻度を他の変数に変換することで，正規性や等質性を確保することが可能である。

変数の変換
一般的な変換法
平方根変換•square root transformation
対数変換•logarithmic transformation
逆数変換•reciprocal transformation
角変換•angular transformation

エントロピーと冗長度の指標も，共起頻度の変数の変換の一種であると考えることができる。

エントロピー (entropy) の公式

j

H=-Σpjlog2pj
j=1

Entropy: H

複合動詞のエントロピーの計算法
第２番目にくる動詞(V2)を基準とする
例：「歩く（V2）」を含んだ統語的複合動詞を構成する第１動詞(V1)の種類
毎日新聞の1991年から1994年までの４年間の記事：
18種類の第１動詞(V1)と結合異なり語数
これら18種類の動詞と「歩く」が結合する総頻度:
44回
延べ頻度

売り歩く (7回)訪ね歩く (6回)・・・・・・

複合動詞のエントロピーの計算法
j

H=-Σpjlog2pj
j=1

7 (異なり語数)

pj: 「売り歩く」個別の複合動詞の頻度が「歩く」(V2)を基準に作られる
全複合動詞の総頻度に占める割合

÷44 (延べ頻度)

pj: 0.159

複合動詞のエントロピーの計算法
j

H=-Σpjlog2pj
j=1
log2: 「売り歩く」の場合
log20.159

log2: -2.652

複合動詞のエントロピーの計算法
j

H=-Σpjlog2pj
j=1
pjlog2pj: 0.159×-2.652

pjlog2pj: -0.422

複合動詞のエントロピーの計算法
j

H=-Σpjlog2pj
j=1-Σ: 同様の計算を18回 (j回) 行い，
すべてを積算して-1をかける。

H: 3.780

冗長度 (redundancy) の公式

R=(1－ H/Hmax)×100 (%)
Redundancy: R
無駄の程度
 同じような二つの動詞の組み合わせが繰り返し使われる度合い

冗長度 (redundancy) の公式

R=(1－ H/Hmax)×100 (%)
Redundancy: R
Entropy: H
Hmax: エントロピー最大値
すべてが等しい確率で生起する場合
いずれが起こっても不思議ではない混沌としたまったくの無秩序の状態

エントロピー最大値の公式

Hmax=log2J
J: 第２動詞を基準とした複合動詞の種類 (異なり頻度)

エントロピー最大値の公式

Hmax=log2J
J: 第２動詞を基準とした複合動詞の種類 (異なり頻度)「歩く」(V2)が作る複合動詞の場合18種類の複合動詞
異なり頻度

エントロピー最大値の計算法

Hmax=log2J
log218

Hmax=4.170
どの「歩く」(V2)から作られる複合動詞も同数回だけ出現する，もっとも規則性の無い状態。

冗長度 (redundancy) の計算法

R=(1－ H/Hmax)×100 (%)
Redundancy: R
Entropy: H「歩く」のエントロピー: H= 3.780「歩く」のエントロピー最大値: Hmax= 4.170
1 – 3.780 / 4.170= 0.09348

R= 9.348%

表３ 毎日新聞の４年間のコーパスで「歩く」(V2)が作る複合動詞
＃
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

複合動詞
売り歩く
訪ね歩く
捜し歩く
連れ歩く
さまよい歩く
食べ歩く
泳ぎ歩く
泊まり歩く
めぐり歩く
訴え歩く
踊り歩く
楽しみ歩く
伝え歩く
ねり歩く
触れ歩く
見歩く
呼び歩く
わたり歩く

V1
売り
訪ね
捜し，探し
連れ
さまよい
食べ
泳ぎ
泊まり
めぐり
訴え
踊り
楽しむ
伝え
ねり
触れ
見
呼び
わたり

pj
log2p j
共起頻度
7
0.159
-2.6526
0.136-2.8745
0.114-3.1385
0.114-3.1383
0.068-3.8743
0.068-3.8742
0.045-4.4592
0.045-4.4592
0.045-4.4591
0.023-5.4591
0.023-5.4591
0.023-5.4591
0.023-5.4591
0.023-5.4591
0.023-5.4591
0.023-5.4591
0.023-5.4591
0.023-5.45944∑
エントロピー (H)
生産性 (J)
累積生産性
エントロピー最大値 (Hmax)
冗長度(％)

エクセルで計算すると簡単！

p j log2p j-0.422-0.392-0.357-0.357-0.264-0.264-0.203-0.203-0.203-0.124-0.124-0.124-0.124-0.124-0.124-0.124-0.124-0.124-3.780
3.780
18
44
4.170
9.348

語彙的/統語的複合動詞(V1+V2)の頻度、エントロピー、冗長度

毎日新聞

88,454,573語から

語彙的/統語的複合動詞(V1+V2)の頻度、エントロピー、冗長度

青空文庫

8,370,720語から

分布の比較

ヒストグラム共起頻度

エントロピー

冗長度

共起頻度の分布

非常にスソの長い分布

サンプル数=48
平均=164.042
標準偏差=334.905
歪度(わいど)=3.219
尖度(せんど)=10.524
正規性の検定Kolmogorov-Smirnov
0.352, p<.001
Shapiro-Wilk
0.493, p<.001
Leveneの等分散性の検定
F(1,46)=56.702, p<.001共起頻度の分布
サンプル数=48
平均=164.042
標準偏差=334.905
歪度(わいど)=3.219
尖度(せんど)=10.524
正規性の検定Kolmogorov-Smirnov
0.352, p<.001
Shapiro-Wilk
0.493, p<.001
Leveneの等分散性の検定
F(1,46)=56.702, p<.001¾ 正規性: 確保されない¾ 等質性: 保証されない

共起頻度の数値に対してパラメトリック・データの統計解析を適用することはできない。

エントロピーの分布

正規分布とみなせる

サンプル数=48
平均=3.297
標準偏差=0.214
歪度(わいど)=0.343
尖度(せんど)=0.034
正規性の検定Kolmogorov-Smirnov
0.115, p=.145, n.s.
Shapiro-Wilk
0.979, p=.545, n.s.
Leveneの等分散性の検定
F(1,46)=3.069, p=.086, n.s.

エントロピーの分布¾ 正規性: 確保される¾ 等質性: 保証されるサンプル数=48
平均=3.297
標準偏差=0.214
歪度(わいど)=0.343
尖度(せんど)=0.034
正規性の検定Kolmogorov-Smirnov
0.115, p=.145, n.s.
Shapiro-Wilk
0.979, p=.545, n.s.
Leveneの等分散性の検定
F(1,46)=3.069, p=.086, n.s.

エントロピーは，きれいな正規分布を示し，パラメトリ
ック・データとしての統計解析ができる。

冗長度の分布

正規分布とはみなせない

サンプル数=48
平均=19.923%
標準偏差=2.660%
歪度(わいど)=2.545
尖度(せんど)=7.818
正規性の検定Kolmogorov-Smirnov
0.209, p<.001
Shapiro-Wilk
0.735, p<.001
Leveneの等分散性の検定
F(1,46)=1.096, p=.301, n.s.

冗長度の分布t検定の適用は問題

サンプル数=48
平均=19.923%
標準偏差=2.660%
歪度(わいど)=2.545
尖度(せんど)=7.818
正規性の検定Kolmogorov-Smirnov
0.209, p<.001
Shapiro-Wilk
0.735, p<.001
Leveneの等分散性の検定
F(1,46)=1.096, p=.301, n.s.

¾ 正規性: 確保されない¾ 等質性: 保証される

分散分析の
適用は可能

仮説１の検証―語彙的/統語的複合動詞のエントロピーと冗長度による比較

仮説2¾コーパスの種類に関して仮説1¾語彙的複合動詞と統語的複合動詞の特徴の違い
新聞と小説のコーパスとで，語彙的/統語的複合動詞の２つのグループについて一元配置の分散分析を行った。

仮説１の検証―語彙的/統語的複合動詞のエントロピーと冗長度による比較ー新聞
エント
ロピー

冗長度

統語的複合動詞

統語的複合動詞(M=4.138, SD=1.949)(M=24.963%, SD=25.880%)

語彙的複合動詞

語彙的複合動詞(M=2.974, SD=1.160)(M=18.425%, SD=15.721%)

統語…が有意に高かった

有意差はなかった[F(1,46)=8.946, p<.01][F(1,46)=1.069, p=.307, n.s.]

統語的複合動詞のV2が，語彙的複合動詞にV2に比べて多様なV1と結合して複合動詞を作っている。
両複合動詞を作る２つの動詞の結合頻度のパターンの規則性に違いがない。

仮説１の検証―語彙的/統語的複合動詞のエントロピーと冗長度による比較ー小説
エント
ロピー

冗長度

統語的複合動詞

統語的複合動詞(M=4.864, SD=1.124)(M=10.593%, SD=6.504%)

語彙的複合動詞

語彙的複合動詞(M=3.717, SD=0.901)(M=10.117%, SD=11.679%)

統語…が有意に高かった

有意差はなかった[F(1,35)=9.144, p<.01][F(1,35)=0.012, p=.913, n.s.]

統語的複合動詞のV2が，語彙的複合動詞にV2に比べて多様なV1と結合して複合動詞をつくっている。
エントロピーの指標は，仮説１の結果を支持する。

仮説２の検証―語彙的/統語的複合動詞の共起パターンについての新聞と小説との違い

仮説2¾コーパスごとの共起パターンの違い
仮説1¾語彙的複合動詞と統語的複合動詞の特徴の違い

仮説２の検証―語彙的/統語的複合動詞の共起パターンについての新聞と小説との違い
10.57倍の違い• 延べ総語数:•88,454,573語

新聞

小説

毎日

青空

新聞

文庫

• 延べ総語数:•8,370,720語

両コーパスに共通して延べ頻度10回以上の複合動詞: 34種類

複合動詞のエントロピーと冗長度が新聞と小説との間で違うかどうか，反復測定による分散分析で検討した。
。

仮説１の検証―語彙的/統語的複合動詞の共起パターンについての新聞と小説との違い
エント
ロピー

冗長度

新聞

新聞

(M=3.422, SD=1.581)(M=20.958%, SD=19.864%))

小説

小説(M=4.080, SD=0.991)(M=10.727%, SD=11.006%)

新聞が有意に低かった新聞が有意に高かった[F(1,33)=6.898, p<.05][F(1,33)=7.358, p<.05]

新聞よりも小説のコーパスの方が，V2を基準としてV1と結合して作られる複合動詞のパターンが，多様性に富んでいる。
新聞のコーパスの複合動詞は，小説のコーパスほどの多様性は無く，より規則的なパターンを示す。

仮説２の検証―新聞とコーパスのエントロピーと冗長度による比較¾新聞は，一般大衆に情報を伝達するために，簡潔で分かりやすい一定の表現スタイルを採っているので，小説よりもエントロピーが小さく，冗長度が大きくなったのであろう。一方，小説は，作家の個性に応じた多様な表現が現れるために，新聞よりもエントロピーが大きく，冗長度が小さくなったのであろう。
¾エントロピーと冗長度は，両者のコーパスの書き手の意図と目的を反映した結果を示しており，両指標がコーパスの違いを比較するのに有効な方法であることが分かる。
エントロピーと冗長度の指標は，仮説２を支持する。

個々の複合動詞の記述―新聞と小説それぞれのコーパスに特徴的な語彙的/統語的複合動詞
個々の複合動詞の特徴について，エントロピーと冗長度の差に基づいて記述的に考察する。
「～あげる」のエントロピー

新聞: 5.30
小説: 5.13

0.17の差「～合わせる」のエントロピー
新聞: 0.88
小説: 3.46-2.58 の差

二次元上にプロッティング

込む

クラスタ II
クラスタ III

新聞では多様な第１動詞との組み合わせで使用。小説では，
規則的な組み合わせに使用。
下位クラスタ １

下位クラスタ ２

クラスタ I合わせる
階層クラスタ分析で分類(原データ間の距離は平方ユークリッド，
クラスタ間の距離はウォード法)

新聞では同じような第１動詞との組み合わせで使用。小説では，多様な第１動詞と組み合わされで使用。

得る

まとめ¾変数の変換：エントロピーと冗長度の両指標をコーパスから得られる共起頻度のパターンの分析に適用し得ることが分かった。特に，エントロピーはきれいな正規分布を示した。
¾2種類の複合動詞の比較：統語的複合動詞では多様な動詞の結合がみられ，語彙的複合動詞は限定的である。
¾2種類のコーパスの比較：小説のコーパスの方が，新聞より
動詞の結合パターンが多様である。
¾複合動詞の個別性：新聞または小説に特徴的にみられる複合動詞が存在する。本研究では，新聞と小説での共起パターン
において，「込む」，「合わせる」，「得る」の作る複合動
詞に顕著な違いがみられた。

Thank you!