シリーズ 情報科学における確率モデル

5

Series on Stochastic Models in Informatics and Data Science

勝 【著】

コ

ロ
ナ

田中

社

エントロピーの幾何学

コロナ社

社
ロ
ナ

コ

シリーズ 情報科学における確率モデル
編集委員会
編集委員長

博士（工学） 土肥  正（広島大学）

編集委員
博士（工学） 栗田多喜夫（広島大学）
博士（工学） 岡村

寛之（広島大学）
2018 年 10 月現在

刊行のことばわれわれを取り巻く環境は，多くの場合，確定的というよりもむしろ不確実性にさらされており，自然科学，人文・社会科学，工学のあらゆる領域において不確実な現象を定量的に取り扱う必然性が生じる。
「確率モデル」とは不確実な現象を数理的に記述する手段であり，古くから多くの領域において独自のモ社

デルが考案されてきた経緯がある。情報化社会の成熟期である現在，幅広い裾野をもつ情報科学における多様な分野においてさえも，不確実性下での現象を数理的に記述し，データに基づいた定量的分析を行う必要性が増している。

ロ
ナ

一言で「確率モデル」といっても，その本質的な意味や粒度は各個別領域ごとに異なっている。統計物理学や数理生物学で現れる確率モデルでは，物理的な現象や実験的観測結果を数理的に記述する過程において不確実性を考慮し，さまざまな現象を説明するための描写をより精緻化することを目指している。一
方，統計学やデータサイエンスの文脈で出現する確率モデルは，データ分析技

コ

術における数理的な仮定や確率分布関数そのものを表すことが多い。社会科学
や工学の領域では，あらかじめモデルの抽象度を規定したうえで，人工物としてのシステムやそれによって派生する複雑な現象をモデルによって表現し，モデルの制御や評価を通じて現実に役立つ知見を導くことが目的となる。
昨今注目を集めている，ビッグデータ解析や人工知能開発の核となる機械学
習の分野においても，確率モデルの重要性は十分に認識されていることは周知の通りである。一見して，機械学習技術は，深層学習，強化学習，サポートベ
クターマシンといったアルゴリズムの違いに基づいた縦串の分類と，自然言語
処理，音声・画像認識，ロボット制御などの応用領域の違いによる横串の分類によって特徴づけられる。しかしながら，現実の問題を「モデリング」するた
めには経験とセンスが必要であるため，既存の手法やアルゴリズムをそのまま

ii

刊

行

の

こ

と

ば

適用するだけでは不十分であることが多い。
本シリーズでは，情報科学分野で必要とされる確率・統計技法に焦点を当て，
個別分野ごとに発展してきた確率モデルに関する理論的成果をオムニバス形式
で俯瞰することを目指す。各分野固有の理論的な背景を深く理解しながらも，理論展開の主役はあくまでモデリングとアルゴリズムであり，確率論，統計学，最適化理論，学習理論がコア技術に相当する。このように「確率モデル」にス
ポットライトを当てながら，情報科学の広範な領域を深く概観するシリーズは多く見当たらず，データサイエンス，情報工学，オペレーションズ・リサーチ

内容となっている。

社などの各領域に点在していた成果をモデリングの観点からあらためて整理した本シリーズを構成する各書目は，おのおのの分野の第一線で活躍する研究者に執筆をお願いしており，初学者を対象とした教科書というよりも，各分野のロ
ナ

体系を網羅的に著した専門書の色彩が強い。よって，基本的な数理的技法をマスターしたうえで，各分野における研究の最先端に上り詰めようとする意欲のある研究者や大学院生を読者として想定している。本シリーズの中に，読者の皆さんのアイデアやイマジネーションを掻き立てるような座右の書が含まれていたならば，編者にとっては存外の喜びである。

コ2018 年 11 月

編集委員長

土肥 正

ま

え

が

き

情報科学において，データの入出力関係やノイズそのものに対して確率モデル
を考えることは，いまや常識となって久しい。さらに，深層学習の発展により，
なぜ深層学習がうまく機能するのかという理論的解析やそのアルゴリズムの改良に際してもいまでは確率・統計的な考察は必要不可欠なものとなっている。

社

ところで，確率モデルを考えるうえで，これまで考えられてきたものはおもに指数型分布族が中心であった。しかし，自然言語処理で前処理として重要な役割を持っている word2vec の高速化のために登場してきた negative sampling のロナ

手法では，負例の登場確率が小さなものでもある程度選ばれやすくするために，その確率をべき乗†1 した後，規格化して得られるエスコート分布を用いること
で，さらなる性能の向上が図られている。さらに，通常 generative adversarial

network（GAN）の学習は不安定†2 になりやすいが，安定した学習が可能な
Wasserstein GAN†3 が提案されたことにより，指数型分布族のみならず非指数

コ型分布族†4 も容易に考察することができるようになってきた。このような状況のなか，確率モデルとしてニューラルネットワークを考えるとき，確率・統計の取扱いについてある程度深く知っておくことが重要になってきている。特に，海外の研究者の書く関連分野の論文等では，測度論的確率論に基づく記述も非常に多い。一方，国内に目を向ければ，むしろ避けられているようでさえある。このような状況を少しでも改善し，さらに確率モデルを記述し，そのモデルについて考
†1
†2
†3
†4

通常，0 と 1 の間の数が選ばれる。例えば，0.75 が選ばれたりする。詳細について興味のある読者は，例えば，巻末の文献17) の pp.154–158 を読まれるとよい。
いわゆる，勾配消失問題である。
特徴は，Jensen-Shannon ダイバージェンスを Wasserstein 距離で置き換えるところである。この Wasserstein 距離は，earth mover’s distance と呼ばれることもある。
Wasserstein 幾何学では，非指数型分布族である q-正規分布族を導出することも可能である。本書では，それとは異なる方法で q-正規分布族を導出する。

iv

ま

え

が

き

察することを容易にするためには，どこかで一度必要な範囲で測度論的確率論に触れる必要がある。そこで本書では，測度論的確率論を，Radon-Nikodým の定理の証明を理解することを目標に紹介することにした。この Radon-Nikodýmの定理は，確率密度関数が存在することを保証するものとして見ることもできるが，現代では条件付き確率の存在を保証する定理として，より重要性を増している。他書を参照することなく，本書のみで理解できるように丁寧な式変形と解説を心掛けたが，うまくいっただろうか。
さらに，パラメトリックな確率モデルを考えるときに必要になる母数（分布を特徴付けるパラメータ）の推定に関して必要となる十分統計量の説明も行っ

社

た。この部分は，文献18) の pp.1–7 に基づいているが，定義や定理等の書き方
および証明については，文献19) の pp.111–120 を参考にしている。しかし，どちらも初めて数理統計学に接する者には読みにくいため，より証明を詳細に記

ロナ

述することで，できるだけ行間を読まなくても済むように配慮した。
さて，確率モデルを考えるうえで，まず必要になることは確率分布についての知識である。指数型分布族に関しては，甘利 俊一 氏により整理され発展してきた指数型分布族に対する情報幾何学が，その後，多くの研究者によりいまも活発に研究されている。この情報幾何学を用いることで，推定量の有効性や

コ

em アルゴリズム，ターボ符号，Boltzmann machine やニューラルネットワー
クの情報幾何学など多くの展開がなされている。そこで重要な役割を演じるのは拡張された一般化 Pythagoras の定理である。この定理の威力により，さまざまな問題が幾何学的に理解できるようになり，直感的な理解が可能となっている。すなわち，e-射影と m-射影による交互正射影である。
一方で，非指数型分布族については，いまだ定番となった幾何学は存在していない。そこで本書では，測度空間に特別な平行移動を導入することでアファイン空間を構成し，そのうえで幾何学を展開することにより指数型分布族と非指数型分布族を同時に取り扱うことができるような枠組みを提供することで，確率分布族についての普遍的な性質をとらえるための舞台を紹介することにした。この型の情報幾何学を甘利らの情報幾何学と区別するために τ -情報幾何学

ま

え

が

き

v

と呼んでいるが，読者が甘利らの情報幾何学に関する書籍であると勘違いすることを恐れたため，本書のタイトルは “エントロピーの幾何学† ” とした。本書で紹介する τ -情報幾何学は，甘利らの情報幾何学とは，τ = 1 のときに α = 1，

τ = 0 のときに α = −1 に対応している。しかし，パラメータ τ と α とでは，その役割がまったく異なることに注意する必要がある。パラメータ τ は確率分布族を決定し，さらにエントロピーやダイバージェンスも決定してしまう。これに対してパラメータ α は双対接続を表現するために導入され，α-ダイバージェ
ンスのパラメータ α とは無関係に設定することができる。最近では，甘利らの情報幾何学は，江口 真透 氏により提案されたものであるが，まず凸関数を一社

つ与え，それに基づいてダイバージェンスを構成し，このダイバージェンスからさまざまな幾何学的量を導出していくスタイルが主流である。
最後に，本書の測度論的確率論の部分と十分統計量の部分を丁寧に読み貴重ロナ

なコメントをお寄せいただいた福岡大学の天羽 隆史 氏に感謝いたします。もし，その部分に誤り等があればもちろん筆者の責任であることはいうまでもな
いことである。また，本書の執筆を勧めていただいた広島大学の栗田 多喜夫 氏に感謝いたします。最後に，コロナ社には，筆者の遅筆にも関わらず辛抱強く待っていただいたことに感謝いたします。

コ2019 年 3 月

†

田中 勝

甘利らの情報幾何学では，エントロピーはポテンシャル関数と呼ばれるキュミュラント
母関数の双対ポテンシャルと異符号の関係にあり，指数型分布族の幾何学を特徴付ける量になっている。一方，τ -情報幾何学でのエントロピーは，べき型に拡張された一般化
エントロピーになっており，そのままでは双対ポテンシャルとしての役割を持つことはできず，共形変換を施した後に双対ポテンシャルとしての役割を持つことが可能となる。べき型に拡張された一般化エントロピーをある拘束条件のもとで最大にする確率分布として指数型分布族をべき型に拡張した確率分布族が得られる。この確率分布族
は，もちろん非指数型分布族になっている。

目

第1章

本 書 の 構 成

第2章

測 度 と 確 率次1.................................................

2.2 用語の一般的な定義. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

2.3 Riesz の表現定理. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16

5

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

ロナ

2.4 Radon-Nikodým の定理

社

2.1 可測空間と測度空間

2.4.1 Lebesgue の分解定理の証明

2.4.2 Radon-Nikodým の定理の証明

2.5 確 率 測 度

3234. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

コ

2.6 Dirac 測度と離散確率

第3章

3.1 τ -関

τ -アファイン空間
数. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41

3.2 τ -アファイン構造 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.2.1 アファイン空間

45

3.2.2 平 行 移 動

473.2.3 測 度 空 間

48

3.2.4 十 分 統 計 量

51

3.3 アファイン座標系と τ -アファイン共役 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
3.3.1 τ -対 数 尤 度

60

3.3.2 ス コ ア 関 数

66

目

次

vii

68

3.3.3 τ -アファイン共役

第4章

経路順序確率第5章

縮 約 と 計 量

5.1 縮

約

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84

5.2 計

量

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85

81

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93

5.4 接空間 Tp̌ RΩ の直交分解. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99

5.5 Cramér-Rao の不等式

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .103

くり込みとエントロピー

ロ
ナ

第6章

社

5.3 Koszul 接続と双対接続

6.1 素朴なエントロピー（発散） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .113
6.2 く り 込 み. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .115

6.3 エントロピー（有限） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .117
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .121

コ

6.4 縮 約 と 期 待 値

6.5 Havrda-Charvát エントロピーと Rényi エントロピー
6.6 ダイバージェンス

第7章. . . . . . . . . . . . .123

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .125

τ -情報幾何学における q-正規分布

7.1 q-正 規 分 布. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .139

7.2 q-正規分布の Bayes 表現. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .147

目

第8章

次

τ -アファイン構造の多重性

8.1 τ -変換

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .152
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .154

8.2 q-正規分布の τ -変換

第9章

非加法的エントロピー

9.1 恒等式と非加法性. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .160

9.2 べき型分布と相互情報量

加法的エントロピーへの変換

ロナ

第 10 章. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .163

社

viii

10.1 加 法 性 の 回 復 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .172
10.2 スケール座標の役割

ホログラフィー原理コ

第 11 章. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .176

11.1 計量とホログラフィー原理
11.2 加法・非加法変換

第 12 章τ -平. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .179

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .183

均

186

引用・参考文献 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .191
索引 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .193

1

本 書 の 構 成

ここに，本書の構成を示す。何を学んでいるのか不安になったときは，もう社

一度ここを読んで確認してほしい。

第 2 章では，測度論的確率論の基本的事項を von Neumann による Radon-

Nikodým の定理の証明8) †1 を理解することを目標にして紹介した。まずは，さいロ
ナ

ころの例を用いて基本的用語のイメージを具体的にとらえ，その後，より抽象的で一般的な解説へ進むことにした。そこでは積分の定義も非負単関数による下からの近似の極限として与えられる。これは，Lebesgue 積分への第一歩である†2 。
第 3 章では，測度空間に Radon-Nikodým の定理を用いることで，ある種の平行移動を導入する。これにより測度空間は一つのパラメータによって決定さコれるアファイン構造，すなわち τ -アファイン構造を持つことになる。この構造に基づいて，非指数型分布族を指数型分布族と同様に取り扱うことができる
舞台が自然に導入されることになる。しかし，この τ -アファイン構造は平行移動により測度の大きさを保存しない。そこで，そのことを積極的にとらえて測度の大きさ方向の次元を一つ追加して考えることにし，スケール変換も同時に考えることにした。このようにして導入された非指数型分布族の取扱いは，十分統計量の拡張として見ることもできる。また，確率変数の空間を r 次の多項式空間にとることで，r 次元の自然座標系が導入される。これは確率分布族の r†1†2

肩付き数字は巻末の引用・参考文献を表す。
この定義を Lebesgue 積分の定義だと思っていてもユーザとしては特に困ることはな
い。

2

1. 本 書 の 構 成ジェット空間を考えていることに対応している。また，τ -対数尤度を自然座標で微分して得られるスコア関数の型を見ると，τ = s と τ = 1 − s を組みにして取り扱うと便利なことがすぐにわかる。そこで，Body と Soul が導入される。
第 4 章では，τ -アファイン構造は平行移動により，測度の大きさを保存しないので，そのことも考慮し平行移動の仕方に応じて座標がどのように更新されるのかを示した。つまり，始点から終点に至る経路順序により座標の更新の仕方が決まっており，それがどのような規則に従っているのかを具体的に示す。
第 5 章では，Body 世界の量と Soul 世界の量を組み合わせることで現実世界（Real）の量を構成する縮約という操作を定義する。これにより，まずは Fisher社

計量を導く。その結果，不定計量になっていることがわかる。この計量から得られるアファイン双対接続は，Koszul 接続になっていることも確かめられる。

ことにした。

ロナ

このような計量を用いた応用例として，Cramér-Rao の不等式の証明を与える

第 6 章では，くり込み† を用いてエントロピーを定義する。このエントロピー
は非加法性を持っているが，べき型の対数関数の性質として 2 種類の恒等式が成り立つために優加法性になる場合と劣加法性になる場合が起こり得る。共形
エントロピーとの相性がよいのは，劣加法性のほうであるため，本書では劣加コ

法性の場合を考えていく。このことについては，第 9 章で詳しく見ていくことになる。また，ここで定義されたエントロピーと Boltzmann-Shannon エント
ロピー，Rényi エントロピー11) ，Havrda-Charvát エントロピー（Tsallis エン
トロピー10) と呼ばれることもある）との関係についても明確にされる。この後，ダイバージェンスを，平行移動後に得られる測度を平行移動量で一次近似した際の誤差として定義する。この定義は Bregman ダイバージェンスにもなっている。ここで定義されるダイバージェンスの双対ダイバージェンスも定義されるが，これらは甘利らの情報幾何学での α-ダイバージェンスと類似の性質を†

発散項をあらかじめ取り除いておくことで，意味のある有限値を得る手段である。現在
では，K.G. Wilson によりくり込み群（renormalization group）として体系化されている。

1. 本 書 の 構 成

3持っている。そのため，一般化 Pythagoras の定理1)∼7) も成立することを確認することができる。このことにより，応用に関しては τ -情報幾何学は甘利らの情報幾何学と同様な扱いができることになる。
第 7 章と第 8 章では，具体例としておもに q-正規分布について考えていく。
まず，第 7 章で q-正規分布について紹介した後，第 8 章で，一般的な状況での

τ -変換について考察した後，q-正規分布に関する τ -変換12) について議論する。
これにより，いわゆるエスコート分布が分散をスケール変換した別の q-正規分
布になっていることが示される。つまり，確率分布からエスコート分布を生成し，それを用いて期待値をとることは，別の確率分布を用いて期待値をとるこ社とに対応しているのである。その際，q-正規分布の場合では，q > 1 のときには，より裾が軽い確率分布に変換されることになり，q < 1 のときには，より裾が重い確率分布に変換されることになることがわかる。また，正規分布は τ -ロナ

変換のもとで不変な確率分布になっている。このような τ -変換は，τ -アファイン構造の立場から見れば，エスコート分布を考えるということが，τ の値を取り替えるということに相当している。つまり，測度空間の平行移動の仕方を取り替えることに相当しているのである。

第 9 章では，べき型の対数関数の性質として 2 種類の恒等式が成り立つことコを示す。それに基づき，独立な確率変数 X と Y の同時確率分布とそれぞれの周辺分布を用いてエントロピーを表すと，優加法性になる場合と劣加法性になる場合が起こることを具体的に示す。第 10 章で重要な役割を演じることになる共形エントロピーとの相性がよいのは，劣加法性のほうである。また，相互情報量を具体的に計算することにより，ここでのエントロピーの非加法性が，確率変数の独立性と両立することも示される。非加法的エントロピーは，独立な確率変数に対して加法性を満たさないため，独立性の概念を拡張したものであると考える立場もあるが，本書では独立性の概念は不変なままであり，第 3 章で説明した
十分統計量の概念を拡張したものとして，このことをとらえることにしている。
第 10 章では，劣加法性を持つエントロピーをスケール変換の自由度を用いる
ことで加法的エントロピーに変換することを考える。ここで重要な役割を持つ

4

1. 本 書 の 構 成のはエントロピーそのものというよりは，共形エントロピーである。確率分布のスケール変換のもとで，この共形エントロピーがどのように振る舞うのかを調べることにより，また，どのようなスケール変換を行えば加法的（共形）エントロピーにできるのかを考えることにより，非加法性を加法性に変換できる。
（共形）エントロピーの非加法性を加法性に変換するために利用
第 11 章では，されたスケール変換を表すパラメータを一つの座標とみなすことにより，ホログ
ラフィー原理23) の一つの例として考える。このとき，計量は不定計量になっているが，これまで知られているような de Sitter 空間の計量とも Anti-de Sitter
空間の計量とも異なっていることが示される。また，ホログラフィー原理の例

社

として非可換な演算子† に対してスケール変換のパラメータ（これを Trotter 座
標と呼ぶ）を導入することで可換な演算子としてみなすことができるようにする鈴木-Trotter 変換を紹介する。また，ここでの q-積に対しても，べき型に拡ロ
ナ

張された指数関数に対して，鈴木-Trotter 変換と同様の方法により通常の指数関数の積とみなすことができることも示す。このように，1 次元だけ追加する
ことで，状況が単純化し取扱いが容易になることを，ここではホログラフィー原理と呼んでいる。数学的には余次元 1 といってもよいようなものである。
第 12 章では，一般化平均である τ -平均について考えることで，τ -情報幾何コ

学におけるパラメータ τ の値を決定する可能性について述べる。この τ -平均
は，Cooper による一般化平均13) と Hardy-Littlewood-Pólya により提案されLin と Itô-Nara 等により発展させられた一般化平均の両方の性質を持っている14)∼16) 。もし，得られたデータに対して（経験上）どのような平均を使えばよいのかがわかっている場合には，τ -平均に含まれる二つのパラメータ m と τの値を決定することができる。これにより，τ -情報幾何学に含まれるアファイン構造を決定するパラメータ τ の値が決まり，それに伴いデータの分布を特徴付ける確率分布族が決まることになる。

†

ここでの演算子は，eX =対象としている。

∞

1

k!
k=0

X k のようにべき級数で定義される指数型の演算子を

2

測 度 と 確 率

機械学習や深層学習の分野では，さまざまな場面で確率が登場する。その際，離散的な確率を扱う場合と連続的な確率を扱う場合が混在することも多い。こ社のような場合には，確率変数が離散的な場合の確率を扱っているのか連続的な確率を扱っているのかに注意を払いつつ考えていく必要がある。ところが，測度論的確率論をほんの少し我慢して学んでみれば，離散の場合と連続の場合をロ
ナ

統一的な枠組みで取り扱うことができるようになる。今後，人工知能などの分野も含め，ますます確率を取り扱う必要性は増していくことだろう。
そこで，この章では，測度論的確率論に関する基本的事項を説明する。しかし，すべてを取り上げるわけではなく，後の章で必要になる Radon-Nikodýmの定理の紹介とその証明を与えることを目的として進めていくことにする。しコ

たがって，そのほかのことに関しては重要であっても省略しているので，興味のある方は他書を参照してもらいたい。
まず，さいころの例を用いて，後の章で必要になる用語を登場させた後，一般的な場合についてまとめる。ここで登場する用語は，試行，事象，根元事象，
全事象，空事象，σ-加法族，可測関数，確率変数，可測空間，測度，測度空間，

Borel σ-加法族，Lebesgue 測度などである。

2.1 可測空間と測度空間
ここでは，1 個のさいころを 1 回だけ投げるという単純な問題を少々厳密に考えることにより，後の章で必要になる用語と概念の導入を，冗長ではあるもの

索

【く】

アファイン空間
アファイン座標系
アファイン部分空間

45
46
47

【い】

【え】
エスコート分布
エントロピー【お】横断的に交わる

【か】

計 量
計量的
経路順序確率

【こ】

65

交換子
根元事象
コンフォーマル計量

85
92
83

183
6
89

【さ】

187
6
6
6
6
140
10
16
14

【き】
幾何平均
擬距離
期待値

【け】

121
113

コ

確率質量関数
確率測度
確率変数
可測関数
可測空間
カットオフ
完全加法性
完 備
完備化

7
空事象
くり込まれた確率分布 116
くり込まれた τ -対数尤度
116
くり込み
115

ロ
ナ

一般化 Pythagoras の定理
133
一般化平均
186

【す】

188
125
116

スコア関数
鈴木-Trotter 変換

三角不等式
算術平均

正 錐
絶対連続
線形汎関数
全事象

51
22
19
6

【そ】

相互情報量
双対空間
双対接続
測 度
測度空間

125
69
90
8
6

【た】
125
188

【し】
試 行
指示関数
事 象
事前分布
射影回転群
十分統計量
周辺分布
縮 約
順序付き平行移動
情報量最大化基準

66
183

【せ】

社

【あ】

引

6
24
6
147
145
51
125
69
65
147

対数尤度
ダイバージェンス
単関数
単調収束定理
単調増加列

61
125
23
23
30

【ち】
チャージ
中心モーメント
中線定理
調和平均
直 交
直交分解定理

137
144
18
188
16
18

【て】
定積熱容量

166

194

索

引
表現定理

【と】

不確定性関係部分空間
不偏推定量
分散・共分散型行列

【ね】
167

熱 浴

ポテンシャル関数
ほとんど至るところ

45

ロ
ナ
【P】

コ

94 p 乗可積分【F】

Fatou の補題
Fisher-Neyman の因子分解定理【Q】

23 q-正規分布
51

51
36
92

余次元 1 の空間
余事象
捩 れ

【れ】
劣加法性
連続線形汎関数

89
22

162
19

Radon-Nikodým の定理 22【K】

Einstein の和の規約【よ】♦

Campbell-Baker-Hausdorﬀ Koszul 接続
の公式
183
【L】
Cramér-Rao の不等式 103
Lebesgue 測度【D】
Lebesgue の収束定理
delta 測度
15 Lebesgue の分解定理
38 Legendre 変換
Dirac 測度

【E】

60

社

♦

182

【ゆ】

【ほ】

【ひ】

【C】

尤 度

16

閉部分空間

110

非加法性

145
16
104
110

【へ】

【は】
半正定値行列ホログラフィー原理

【ふ】

125
22
138

同時確率分布
特 異
凸 性

16

【R】

〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜

90【ギリシャ文字】

σ-加法性
σ-加法族
τ -アファイン共役
τ -アファイン構造
τ -指数関数
τ -商τ -情報幾何30 τ -積τ -対数関数τ -対数尤度
139 τ -平均
τ -変換
11
75
22
133

Radon-Nikodým 導関数 20

10
7
68
48
43
43
140
42
44
62
186
154

—— 著 者 略 歴 ——九州大学理学部物理学科卒業
九州大学大学院理学研究科修士課程修了（物理学専攻）
九州大学大学院理学研究科博士課程修了（物理学専攻），理学博士
電子技術総合研究所 研究員
電子技術総合研究所 主任研究官
大阪大学大学院助教授（連携大学院，〜2000年）
埼玉大学助教授
福岡大学助教授
福岡大学准教授
福岡大学教授
現在に至る

ロ
ナ

社

1986年
1988年
1991年
1991年
1995年
1995年
2000年
2006年
2007年
2009年

エントロピーの幾何学
Geometry of Entropyc Masaru Tanaka 2019


2019 年 5 月 10 日 初版第 1 刷発行

た

コ

検印省略

著
者
発 行 者
印 刷 所
製 本 所

なか

まさる

田
中
勝
株式会社
コ ロ ナ 社
代 表 者
牛 来 真 也
三 美 印 刷 株 式 会 社
有限会社
愛千製本所

112–0011 東京都文京区千石 4–46–10
発 行 所 株式会社 コ ロ ナ 社
CORONA PUBLISHING CO., LTD.
Tokyo Japan
振替 00140–8–14844・電話（03）3941–3131（代）
ホームページ http://www.coronasha.co.jp

ISBN 978–4–339–02835–5 C3355 Printed in Japan（齋藤）＜出版者著作権管理機構 委託出版物＞
本書の無断複製は著作権法上での例外を除き禁じられています。複製される場合は，そのつど事前に，出版者著作権管理機構（電話 03-5244-5088，FAX 03-5244-5089，e-mail: info@jcopy.or.jp）の許諾を得てください。
本書のコピー，スキャン，デジタル化等の無断複製・転載は著作権法上での例外を除き禁じられています。
購入者以外の第三者による本書の電子データ化及び電子書籍化は，いかなる場合も認めていません。
落丁・乱丁はお取替えいたします。