第６７巻 第 2 号

Vol.６７, No.2

（通巻 130 号）

PROCEEDINGS OF THE INSTITUTE OF STATISTICAL MATHEMATICS

目

次

PROCEEDINGS OF THE INSTITUTE OF STATISTICAL MATHEMATICS

創立 75 周年記念号
153
155
157
165
181
193
215
229
241
255
277
299

PROCEEDINGS OF THE INSTITUTE OF STATISTICAL MATHEMATICS

創立 75 周年記念号発刊にあたって
田村 義保 ‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥
統計数理研究所創立 75 周年にあたって
椿 広計 ‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥
モデリング変革の 4 半世紀を振り返って［研究資料］
樋口 知之 ‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥
統計科学の文法と論理的推論［研究ノート］
椿 広計 ‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥
時系列解析における状態空間モデルの利用［総合報告］
北川 源四郎 ‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥
情報量規準 AIC の統計科学に果たしてきた役割［総合報告］
小西 貞則 ‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥
統計地震学の発展と地震活動予測 : 個人的経験と展望［研究ノート］
尾形 良彦 ‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥
チューブ法の理論・応用とその周辺［総合報告］
栗木 哲 ‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥
粒子フィルタとデータ同化 ［研究詳解］
上野 玄太 ‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥
統計数理研究所における最適化研究［総合報告］
土谷 隆 ‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥
標準コウホート表のコウホート分析モデルのデザイン行列について［研究ノート］
中村 隆 ‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥
統計数理研究所 75 周年記念 研究業績紹介［統計数理研究所研究活動］ ‥‥‥‥‥‥‥‥‥‥‥‥

第
巻 第2号

６７

2019 年 12 月
〒 190 -8562 東京都立川市緑町 10 -3

2019

大学共同利用機関法人 情報・システム研究機構 統計数理研究所

電話 050 -5533 -8500（代）

本号の内容はすべて https://www . ism . ac . jp/editsec/toukei/ からダウンロードできます

ISSN 0912 6112-

（年 2 回発行）

Vol. 67,
間野
伊藤
志村
庄
中野
朴
田村

編集委員長
編集委員

特集担当編集委員

池田

編集室
長嶋 昭子

広樹

Contents

修平
陽一
隆彰
建倉
慎也
堯星
義保

The 75th Anniversary Issue
Preface

脇地直子「統計数理」は，統計数理研究所における研究成果を掲載する統計数理研究所「彙報」として 1953
年に歴史を始め，1985 年に誌名を変更し今の形となりました．現在は，統計数理研究所の研究活動に限らず，広く統計科学に関する投稿論文を掲載し，統計科学の深化と発展，そして統計科学を通じた社会への貢献を目指しています．
投稿を受け付けるのは，次の 6 種です．
a. 原著論文
b. 総合報告
c. 研究ノートd. 研究詳解
e. 統計ソフトウェア
f. 研究資料投稿された原稿は，編集委員会が選定・依頼した査読者の審査を経て，掲載の可否を決定します．
投稿規程，執筆要項は，本誌最終頁をご参照ください．
また，上記以外にも統計科学に関して編集委員会が重要と認める内容について，編集委員会が原稿作成を依頼することがあります．
その他，「統計数理」に関するお問い合わせは，各編集委員にお願いします．
All communications relating to this publication should be addressed to associate editors of theProceedings.

大学共同利用機関法人

統計数理研究所

No. 2

Yoshiyasu TAMURA ‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥ 153
The 75th Anniversary of the ISM
Hiroe TSUBAKI ‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥ 155
Quarter Century of a Paradigm Shift in a Statistical Modeling Technology
Tomoyuki HIGUCHI ‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥ 157
Grammar of Statistical Science and Logical Reasoning
Hiroe TSUBAKI ‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥ 165
Use of a State Space Model in Time Series Analysis
Genshiro KITAGAWA ‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥ 181
The Role of Information Criterion AIC in Statistical Science
Sadanori KONISHI ‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥ 193
The Development of Statistical Seismology : A Personal Experience and View
Yosihiko OGATA ‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥ 215
The Tube Method: Theory and Applications
Satoshi KURIKI ‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥ 229
Particle Filter and Data Assimilation
Genta UENO ‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥ 241
A Historic Review of Research on Optimization at the Institute of Statistical Mathematics
Takashi TSUCHIYA ‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥ 255
The Design Matrices of an Age-Period-Cohort Model for a Standard Cohort Table
Takashi NAKAMURA ‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥ 277
Abstracts of Research Works ‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥ 299

情報・システム研究機構〒 190 8562 東京都立川市緑町 10 3--

電話 050 5533 8500（代）--https://www . ism . ac . jp/© The Institute of Statistical Mathematics 2019
印刷：笹氣出版印刷株式会社

December, 2019
表紙の図は本誌 267 ページを参照

統計数理（2019）
第 67 巻 第 2 号 153–154©2019 統計数理研究所

創立 75 周年記念号

創立 75 周年記念号発刊にあたって
田村 義保† （オーガナイザー）

統計数理研究所は 1944 年 6 月に創立され，2019 年 6 月に 75 周年を迎えた．75 周年記念事
業の一環として学術雑誌「統計数理」
で特集を企画した．特集は計 9 件の総合報告，研究詳解等と椿所長による巻頭言と 2018 年 4 月 1 日時点で在職した所員による活動報告（2019 年 6 月 5 日から構成されている．統計数理研究所の 75 年間の発展についての 75 周年記念式典時に発行）は椿所長の巻頭言に詳細がある．また，樋口前所長の論文は，この 25 年間の統計モデリングの変遷についてふれている．この特集が統計学の研究者だけでなくデーターサイエンスを実践している方の研究，実践に役立てば幸いである．
竹内啓先生の「歴史と統計学」（日本経済新聞出版社，2018）は統計学の発展を詳述している名著である．21 世紀の統計学の状況にも少しはふれられている．しかし，この本に書かれている以上に統計学の研究者の研究対象・手法は大きく変化しているように考える．それを示すために，「統計数理」の創立 50 周年記念特集号にある論文のタイトルの一部を示す．詳しくは統「統計数理」にアクセスして欲しい（表 1）．
計数理研究所 Web ページの刊行物
50 周年記念号の論文テーマ，著者をどのように選んだかについては，発刊当時の所長であっにもない．その時点で重要と考えらた清水良一元所長の「創立 50 周年記念号発刊にあたって」
れたテーマを選んだものと考える．数理計画法（内点法）の論文が多いことからは，この選択基
準であると思われる．調査関係の論文が多いのも 1993 年に国民性の調査が行われ，国際比較のための調査も多く実施されていたことに関係しているためと考える．50 周年特集の著者で，（著者合計 22 名）である．また，50 周年記念，75 周年記念とも
現在も所員である研究者は 5 名（2 名とも元所員）である．定年により退官・退職した職員も多いが，現に執筆した著者は 2 名
在も，他の組織で現役で研究している者も多い．統計数理研究所の人材交流が盛んであり，統計学界の発展に寄与・貢献していることの証左であると考える．
その他の研究テーマは，執筆した研究者の当時の主要なテーマであるように見える．数理的表 1．創立 50 周年記念号論文名．
第 42 巻 No.1

第 42 巻 No.2

1 多次元集中解析法 — 集中曲線・曲面による統計記述システム —1 分布の起源 — ノンパラメトリックな
統計的不確定性関係と統計基礎方程式 —2 多重サンプリングによる非最小位相系の適応制御2 統計的推測における手法の妥当性
3 AIC のゆらぎについて中略

8 真核生物の初期進化

中略

9 データ解析の電子ジャーナル EJDA の実働化 — registered ftp の提案と実装
9 非線型可積分系とじゃんけんモデル†

統計数理研究所 名誉教授：〒 190–8562 東京都立川市緑町 10-3

統計数理

154

第 67 巻 第 2 号 2019

な基礎研究が多いように考える．今回の特集で選んだテーマは，1994 年から 2017 年末までに
統計数理研究所の研究者が行った研究の中で，これから先の統計学の発展のために，論文として残しておいた方が良いと考えたものである．最終的な選定は樋口前所長のご意見を参考にして決定した．研究業績報告は，各研究者の最近の主要研究テーマを自選していただいた．これ
らの中には，現在の統計学界の主要テーマも，これから重要になってくるテーマも含まれている．論文，活動報告の業績とも計算機インテンシブな研究が増えているように考える．統（1954）や第 7 巻（1957）には松下嘉米男元部長による「十周年にあたり
計数理研究所彙報第 2 巻て」，末綱恕一元所長による「十五周年記念日を迎えて」という当時の計算機に関する寄稿がある．統計数理研究所の研究の発展をささえてきたものとして計算機の存在は重要である．公的な記録として残すために，ここ 25 年の主要な計算機を表 2 にまとめた．速度では 250MFlops
から 1.49PFlops と約 5.72 × 106 倍，主記憶では 256MB から 144TB と約 0.59 × 106 倍となっている．有名なムーアの法則では 5 年で性能は約 10 倍になるので，105 倍程度になっていれば良いのであるが，それよりも性能はあがっている．ちなみに，インターネット性能は 512kbps から 20Gbps へと約 3.41 × 104 倍となっている．
AI，ビッグデータ，データサイエンスという言葉を日常，耳にする．統計学の重要性が理解され，研究所には追い風が吹いている．この追い風をうまく活かして，統計数理研究所がさらなる発展をしていくのは，現在の所員の活躍によることが多い．さらに発展した姿で，100 周年を迎えて欲しい．
表 2．1994 年以降にリース契約で導入した主な計算機．
導入年

計算機名と主な仕様

1994

HITAC S3600/120（主記憶 256MB，拡張記憶 2GB，250MFlops）

1996

HITAC S3800/162（主記憶 1GB，拡張記憶 4GB，4GFlops）

1996

IBM SP2（48 ノード，主記憶 12GB）

1999

HITAC SR8000（20 ノード，主記憶 8GB/ノード 8GFlops/ノード）

2000

Origin2000（64CPU，主記憶 48GB，R12000（300MHz））

2004

SGI Altix3700（主記憶 1920GB，ピーク 5.2GFlops×256）

2006

HP XC4000（計算ノード，ProLiant DL 145G2 128 ノード（Opteron 2.6GHz×2 主記憶 640GB））

2010

Fujitsu PRIMERGY RX200S5（360 ノード（2880 コア）
主記憶 48GB×160+24GB×200，ピーク 93.76GFlops×360）

2014

SGI ICE-X を中心としたシステム
Intel E5-2697v2 2.7GHz/12 コア 400 ノード（2CPU+128GB 主記憶）
207TFlops 50.0TB（合計）2015

SGI ICE-X を中心としたシステム増設
Intel Haswell（コード名）2.4GHz/14 コア 120 ノード（2CPU+256GB 主記憶/ノード）
129.0TFlops 30.0TB（初期との合算 336.3TFlops）

2018

HPE SGI 8600 を中心としたシステム
Intel Xeon Gold 6154 3.0GHz/18 コア 376 ノード（2CPU+384GB 主記憶）
GPU 計算ノード（8 ノード）上記 +GPU：NVIDIA P100 x 4
システム合計理論性能：1.49PFlops 総 Core 数：13824core 総主記憶容量：144TB

統計数理（2019）
第 67 巻 第 2 号 155–156©2019 統計数理研究所

創立 75 周年記念号

統計数理研究所創立 75 周年にあたって
所長

椿 広計†

統計数理研究所は，令和元年 2019 年 6 月 5 日に設立 75 周年を迎え，その記念事業を 2019 年度に展開し，「統計数理」
誌でも所員ならびに関係者の寄稿による記念号を発刊することとなった．
「統計数理」
誌もその前身である講究録から数えると発刊 75 周年ということになる．「統計数理」
誌が創立記念号を編集するのは，第 42 巻第 1 号の創立 50 周年記念号から数えて 25 年ぶりである．
75 年前の設立を簡単に振り返ると，1943 年 11 月に学術研究会議の「統計数学を中心とする
統計科学に関する研究所の設立」の建議が，同会議会員の掛谷宗一東京帝国大学理学部教授からなされた．この建議に基づき，1944 年 6 月 3 日勅令 385 号「統計數理研究所官制」が公布さ（月）
官報 5215 号に掲載された．官制第一条にその設置目的が記されておりれ，同年 6 月 5 日「統計數理研究所ハ文部大臣ノ管理ニ属シ確率ニ関スル數理及其ノ應用ノ研究ヲ掌リ竝ニ其ノ研究ノ連絡，統一及促進図ル」となっている．同盟時事月報第 8 巻第 6 号（通号 217 号）1944 年
6 月 4 日記事には，「決戦下軍事上，生産或いは国防計画の樹立等の面において統計処理の重要性増大に鑑み，文部省では統計数理研究所を創設することとなり，五日官制を交付，初代研究所長に東京帝大理学部教授専任の所員 6 人，助手 6 人，書記 2 人とされ，東京都下谷區上野
公園帝国學士院内に置かれた．
」と報じられている．実際の発足時所員は，専任所員としての河田龍夫，坂本平八，松下嘉米男，兼任所員として掛谷宗一 (所長，東京帝国大学理学部長)，北川敏男（九州帝国大学教授），伊藤清（名古屋帝国大学助教授），増山元三郎（気象台技師），角谷静夫（大阪大学助教授），秋月康夫（第三高等学校教授），佐藤良一郎（東京高等師範学校教授）であった．戦後日本の数学，統計学をけん引した研究者である．
統計数理研究所の歴史を振り返ると，第 2 次世界大戦という非常時における発足期，昭和 20
年代戦後占領政策による社会の計量化を目指した統計調査重視の転換期，高度成長時代の産学連携統計研究の推進期，そして文部省直轄研究所から大学共同利用機関へ，これが創立 50 年までに起きたことである．なお，統計数理研究所及び「統計数理」
誌 50 周年の歩みについては，（当時）の巻頭言を参照するのがよかろう．
第 42 巻第 1 号の清水良一所長
一方，直近 25 年間の統計数理研究所の大きな動きとしては，以下の 4 つを挙げることができ
よう．第一は，2004 年創立 60 周年に大学共同利用機関法人情報・システム研究機構 統計数理研究所となるとともに，国立大学法人総合研究大学院大学複合科学研究科統計科学専攻が設置され，統計科学専攻を支える基盤研究機関となったことである．その後，統計科学専攻での学位取得者は，現在日本の数理・データサイエンス教育研究のリーダーとなっている者も多い．
2019 年 11 月現在学位取得者は 141 名に達している．
第二は，創立 60 周年前後から，統計数理の基礎研究を支える基幹研究系活動に，統計数理の活用を支える戦略研究センター，後の NOE（Network of Excellence）活動につながる研究センター活動が開始されたことである．これを通じて，統計数理によってその活動が発展しうる産官学の様々なコミュニティに対して統計数理研究所が繋がるということが可能になった．
第三は，2009 年に，広尾から立川市への移転が完了し，研究設備環境が充実したことであ†

統計数理研究所：〒 190–8562 東京都立川市緑町 10–3

156

統計数理

第 67 巻 第 2 号 2019る．創立 75 周年は，立川移転 10 周年でもある．
第四は，2011 年 4 月に統計思考院を設置し，統計思考力育成事業を開始したことである．これらを通じて，多様な学術支援に必要な，データ基盤，知識基盤，人材基盤という三位一体の基盤構築事業が，情報・システム研究機構の中で推進可能になったのである．
現在，データ中心科学，データサイエンスの活用力が，学術のみならず産業競争力の源泉となるデータ駆動型社会の到来を迎えている．国際的にもこの 20 年間，データサイエンス分野への優秀な人材の投下が加速しており，日本が必ずしも競争優位な状況にはなっていない．一方，次世代競争力の源泉となる人工知能やロボティクスなどの基幹部分を支え，進化させる基礎研究としての統計的学習・推論や統計的モデリング研究の役割は，極めて本質的なものとなった．また，この種の基礎研究を学術・社会に分かりやすくかつ速やかに展開し，議論し，良い方法を共有する場の必要性も日々増している．
日本の統計数理中核研究組織としての統計数理研究所と，そのコミュニケーション機能を担う「統計数理」
誌は，これら社会ニーズに応え，統計数理研究所を支え，統計数理研究所が支える多くのコミュニティとともに，実りあふれる 100 周年に向けた歩みを着実に進めなければな
らない．

統計数理
（2019）
第 67 巻 第 2 号 157–164©2019 統計数理研究所

創立 75 周年記念号［研究資料］

モデリング変革の 4 半世紀を振り返って
樋口 知之†（受付 2019 年 5 月 27 日；改訂 7 月 5 日；採択 7 月 16 日）

要旨

私が研究所に入ったのは平成元年 4 月，また所長を退任すると同時に研究所を退職するのは，平成が終わる直前の平成 31 年 3 月であったため，平成の 30 年間は私にとって研究者人生そのものである．本稿では，データにもとづく予測や判別といった統計的思考の根幹を成す，
統計的モデリングにかかわる技術の大きな進展を，実体験した私の視点で概括する．
キーワード：ベイズモデリング，粒子フィルタ，カーネル法，深層学習．
1.

はじめに：入り口は線形・ガウスモデリング私が入所した当時（1989 年）は，その 10 年ほど前から研究が活発化していたベイズモデリン
グ研究の成熟期にあった．線形・ガウス型の事前分布および尤度関数に関する理論は確立し，応用の観点からも，いくつかの課題では研究所の研究成果が標準的方法として認知されるなど，研究進展も著しかった．正確に言えば，統計数理研究所では，滑らかさを表現する事前分布と周辺尤度最大化法を採用した，経験ベイズ法が活発に研究されていた（赤池・北川, 1994, 1995;
石黒 他, 2004; 伊庭 編, 2018）．私は学部生の頃から雑誌「数理科学」の愛読者で，ある時，ベイズモデリングの特集号（赤池, 1981）
があり，その柔軟な表現能力に大変な感銘を受けた．その解説原稿のベースとなる国際会議録（Akaike, 1980）のコピーが，地震学を専門とされる松浦充宏東大教授の研究室にあることを知り，研究室に行ってコピーさせてもらい（劣悪な多数回のコピーの連続で，式の細かい部分がかなり判読しづらくなっていた）
すぐさま論文内容の検証をした記憶がある．実はその論文にはタイポ的ミスが複数あり，「世界的権威の赤池先生の論文に間違いを見つけた」と学生の私はかなり昂揚し，当時所長をされておられた赤池先生に不躾
にもコンタクトを取ってしまった．もちろん，タイポ的ミスなので結果に間違いは無かったのだが，今と違い取るに足らない些細なタイポミスを知り得ようもなく，研究を効率的にすすめることが難しい，逆に言えば，大変長閑な時代であった．経験ベイズ法を採用した赤池先生の1980 年の論文は，相当な議論をベイズ統計学の分野で巻き起こし，その当時，ベイズ統計学の第一人者であった英国の Smith 教授らベイズ統計学者とは激しいやりとりがあったと赤池先生から聞いている（赤池 他, 2007）．なお，Smith 教授は現在（2019 年），2015 年に英国政府の肝入で設立された人工知能とデータサイエンスの国立研究所，アラン・チューリング研究所の所長を務めている．後段にも触れるが，英国の人工知能研究においては統計学の存在感が重厚である．
現象や既存知識のモデリングにおいては，計算上からくる線形・ガウス性の制約は，研究者の自然な思考を妨げる．そのため，その制約を，“人手” でもって解析的に緩める論文が 1980†

中央大学 理工学部：〒 112–8551 東京都文京区春日 1–13–27

158

統計数理

第 67 巻 第 2 号 2019

年代は数多く出版されていた．事実，研究所の先生方は，現象の振る舞いを決して過度に抽象化することなく，計算が容易となる空間への非線形写像を “巧みに見いだし” ，データに潜む新しい知識を次々とあぶり出していた．
「数理○○学」という当該専門分野の研究者の持つ，先入『因子とメカニズム（機序）』
観やある種の価値観に大きく依存した数理表現でなく，“データにを語らせる” ことにこだわっていた研究所の先生方は，間違いなくデータ駆動科学の先導者である．先生方の玄人芸的非線性モデリングのアプローチと平行して，計算機集約的な方法の開発も活発化していた．高い次元の潜在変数がつくる超高次元の分布から，マルコフ連鎖でもって直接的に実現値を得るマルコフ連鎖モンテカルロ法（伊庭 他, 2005）や，その分布を低次元の分布に分解し（いわゆる逐次ベイズフィルタ），低次元の分布の逐次更新を数値的に得る「非などである．私は学位を宇宙プラズマ物理の領域で得たため，統線形フィルタ」（北川, 2005）
計力学の自由エネルギーや転送積分とほぼ同一の発想にもとづく両手法を自然に理解でき，大．
いに魅惑された（伊庭, 2003）
2.

粒子フィルタ：非線形・非ガウスモデルの計算実現

平成にはいってしばらくして北川先生（第十代所長）は，非線形フィルタの適用範囲を大幅に拡張するモンテカルロフィルタを提案された（Kitagawa, 1993, 1996）．この手法は今日において，粒子フィルタの手法群の中で，原始的ではあるがレガシーとして高く評価されている．
別分野においても，全く同じ手法がほぼ同時期に英国の Blake らによって提案され，大きな（CONditional
注目を浴びていた（Isard and Blake, 1998）．このアルゴリズムは，Condensationと呼ばれ，物体追尾分野（特に軍事分野）で盛んに研究開発された．
DENSity propagATION）
Blake はマイクロソフトの簡易 3D カメラである Kinect の開発にも参加し，後にアラン・チュー
リング研究所の初代所長に就任している．
当時，北川先生の近くで研究していた自分は，モンテカルロフィルタの大規模並列コンピュータへの実装容易性に衝撃を受け，さまざまな非線性・非ガウス型の時系列モデルへの適用を試みた．また，世界同時的に多くの研究者が，アルゴリズムの高度化と現実問題への適用をすす
め，21 世紀早々にシュプリンガーから書籍が出版された（Doucet et al., 2001）．私も著者の一人として参加するチャンスを得，当時新進気鋭の海外の若い研究者と交流できたことは，その後の自分の研究者人生にとって大きな糧となった．この友人の多くは現在，後述する深層学習に研究の軸足を移しているが，そのことは偶然でなく，むしろモデリング技術の発展を考えれば極めて自然なことと考える．
粒子フィルタは，時系列モデルが所与であれば，パラメータや状態変数の推定に関して原理的には万能である．もちろん，モンテカルロ誤差（有限サンプルによる表現限界）
からくる，分布の表現能力の喪失（いわゆる退化問題）
や，尤度値の不安定性など，数値的課題は避けられな
いが，問題や経験に即して “人” が対象を自由にモデリングできるようになった点は，モデリ
ング技術の発展において大きな飛躍であった．特に，ロボティクス分野への粒子フィルタのイ
ンパクトは大きなものがある．前述したシュプリンガーの本にも寄稿している Thrun らは，
ビッグデータから簡便にロボットを制御する方法論を確立した（Thrun et al., 2007）．彼らは，統計学とロボティクスの “真の結婚” を実現した立役者である．さらに彼らはその技術をもっのプロジェクト「グランドチャレンジ（2007 年はアーて米国国防高等研究計画局（通称 DARPA）
バンチャレンジ）」にスタンフォード大チームとして参加し，自律型無人自動運転車の技術開発（Google）に入り，Google Street View を開発しに多大なる貢献をした．後に Thrun はグーグルている．その後，グーグル・グラスを開発した Google-X の社長を務め，現在，グーグルの創設者である Page と一緒に，空飛ぶ自動車 Kitty Hawk の実現に取り組んでいる．

モデリング変革の 4 半世紀を振り返って

3.

159

カーネル法：非線形モデリング2000 年代にはいって，非線形モデリングの観点からは，別の形で大きな進歩があった（樋口, 2014）．それはカーネル法の登場である（Schölkopf and Smola, 2002; Shawe-Taylor and．1998 年に Google が，また 2004 年には Facebook がCristianini, 2004; 赤穂, 2008; 福水, 2010）
創業されるなど，ビッグデータを新しい情報サービスという価値に転換することに成功した企業が当時，続々と誕生していた．ビッグデータを用いて容易なタスクは，識別関数の構築を通した判別や分別である．カーネル法は，データ空間で複雑な識別境界面を推定するのではな
く，あえて超高次元の特徴ベクトル空間を構成し，そこで豊富に蓄積された線形のモデリング技術を活用する手法である．もちろん，データ間の類似度を規定するカーネル関数は “人” が設定しなければならないが，データ空間での非線形モデリングに求められる巧みの技の多くを，カーネルトリックに押しつけられた点は大きい．パターン認識手法の多くはデータどうしの内積計算を含むため，カーネルトリックによって既存の線形モデリングの諸手法が非線形版に自然に一般化された．カーネル法研究の進展は，グラフ間の類似度を計るさまざまなアイデ
アを喚起し，その後，分子構造や原子配列のようなグラフ構造による記述が本質的に重要である，バイオインフォマティクスやマテリアルズインフォマティクスといった分野で大きく花開．
いていく（Schölkopf et al., 2004）
2000 年代はビッグデータの登場により，統計的モデリングの主たる興味である生成モデルの構築から，カーネル法と最適化の活用による，複雑な識別関数（識別モデル）の自動構築に，研究のトレンドがシフトした点は指摘しておきたい．特に，1990 年代後半から非常に多くの応用成果を生み出したサポートベクターマシンは，カーネル化技法の恩恵を最も受けたと言える（Boser et al., 1996）．それと同時に，機械学習の言葉で代表される研究者コミュニティが世界的に育っていったのもこの時代である．その理由として，データに基づくさまざまな統計的推測手法やデータマイニングのアルゴリズムが，教師あり学習，教師無し学習，そして強化学習
といった，機械学習の 3 つのタイプで整理され，異分野からの研究者の参入障壁が低くなった点は大きい．
4.

スパースモデリング：非ガウスモデリング2000 年代半ばから 2010 年代にかけて非ガウスモデリングにおいても大きな発展が，スパー
スモデリングの普及（伊庭 編, 2017; 科研費新学術領域研究「スパースモデリング」, 2019）によってもたらされた（樋口, 2014, 2016a）．応用ドメインや計測現場における統計的モデリングの成否は，膨大な説明（属性）
変数群の中からタスクの解決に有効な特徴ベクトルの適切な構築にあると断言できる．今，興味ある対象を膨大な説明変数の中から少数個で線形回帰表現する問題を考える．何次の回帰モデルとするのか，さらにどの変数を使うかで，膨大な数の回帰モデルが存在する．モデル数は組み合わせ爆発しており，現実には AIC などの情報量規準による最適モデルの探索（変数選択）
は基本貧弱である．一方スパースモデリングでは，回帰係数（変（絶対値誤差の最小化）を加えた上でパラメータ推定を行う（川野
換行列内の要素）に L1 正則化
他, 2018）．最適化関数の形が L1 であることから，L1 正則化は非ガウスモデリングと言える．
この最適化の結果として，重要な説明変数のセットを自動的に浮きあがらせる．
正則化自体は，概念的には古い，汎化能力を高める一つの方策である．前述した 1980 年代
制約を加えるのベイズモデリングの成熟期には，パラメータに対して L2（二乗誤差の最小化）ことで正則化を実現していた．一方，L1 正則化の採用により目的関数の解析的な性質を病的にするかわりに，得られるパラメータの最適解に癖が出ることを意図するアプローチも以前から実はあった．ここでの癖というのは，値が小さいパラメータ値は “大胆にも” ゼロに自動的

160

統計数理

第 67 巻 第 2 号 2019にセットされてしまう性質を指す．これにより，属性変数に関するパラメータの値がゼロとなれば，それは事実上その属性変数は不要であることを意味し，変数選択が最適化により実現できるのである．このアプローチは，病的な最適化関数に対して高速に最適解を求めるアルゴリ
ズムが提案されたことを端緒として，1990 年半ば以降この 20 年間，理論的にもまた応用の広．スパースモデリング研究の隆盛がりの意味でも精力的に研究されてきた（Hastie et al., 2008）を後押しした別要因として，最適化法の計算高速化と汎用的ソフトウェアの実用化などの，最適化手法のコモディティ化がある．これは，スパースモデリングはもちろん，前述のカーネル法の進展に大きな役割を果たした（樋口, 2014）．
スパース性のようなデータ空間の低ランク性を陰に陽に活用するアイデアは，1990 年代後半
（複雑なノイズ成分の除去）に有力な手法を多数
から 2000 年代にかけて，信号処理の成分分離）村田, 2004），Compressed
導き，事実，独立成分分析（ICA: Independent Component Analysis（（CS）や，Non-negative Matrix Factorization（NMF）（亀岡, 2010），テンソル分解にもそ
Sensingのアイデアを確認することができる．このように，説明変数の選択といった，限定されたモデリング技術に関しては，スパースモデリングにより非ガウスモデリングが実現されたと言えよう．なお，画像，音声，自然言語の処理においては，現在その課題は，End-to-End と呼ばれる深層学習の技術によって大幅に自動化されている．一方，カーネル法は，データ空間から高次元の特徴ベクトルを構成する方法なので，情報圧縮の文脈では逆センスの手法である．
5.

深層学習：非線形モデリング2010 年代にはいっての最大の衝撃は，特定のタスクでの深層学習の圧倒的パーフォーマンス
である．その性能の高さは，入出国時の自動顔画像判別，スマートスピーカーでの音声認識，
多言語自動翻訳など，私たちの生活に身近な製品として具現化している．これらの技術は人の働き方や社会の構造そのものにも直接的に影響を与えていることから，深層学習はこの四半世紀の情報科学技術における最大のブレイクスルーであると言わざるを得ない．
過去に AI ブームは，1950 年代後半から 1960 年代前半と，1980 年代の 2 回あった（樋口,．初回は，一つの脳神経活動を数式でモデル化し，それらを複数組み合わせコンピュー2016b）
タに処理させた，極初歩的なニューラルネットワーク（NN: Neural Network）の提案により巻き起こった．二回目では，「第五世代コンピューティング」がまずブームを誘起し，1980 年代半
ばあたりから，ニューロ・ファジー家電製品の開発・販売に代表されるような，第二次ニューロブームがそれに続いた．その後，計算に莫大な時間がかかることや，試行錯誤による構造やパラメータチューニングの面倒さ，また理論構築困難（精度保証など）により，NN 研究への興味が失われ，AI にとって冬の時代が長く続く．筆者は第二次 AI ブームの時代からベイズ統計「第五学の立場で AI にかかわってきたので，AI 研究とのつきあいも 30 年近くになる．特に，世代コンピューティング」のあとの旧通商産業省にとっては新情報技術の最後となる大型プロ（大津, 1993）の理論・アルゴリズ
ジェクト，「リアルワールドコンピューティング（RWC）計画」
へ参加した．RWC が終結した直後からビッグデータの時代が到来する．
ム基盤領域（前期 5 年）
従来の教師あり機械学習は，まずは問題毎に元データから “適切な” 特徴ベクトルを構成し，この特徴ベクトルを入力として，諸々の目的関数を最大（最小）化するように，学習器内の膨大なパラメータの値を決定・推測する．ここで学習器とは，サポートベクターマシンや，ブース
ティング，ノンパラメトリックベイズなどを指す．パラメータ学習アルゴリズムは学習器毎に異なるが，一度，データが与えられればあとの学習プロセスはマシンにお任せである．一方，特徴ベクトルの構成法はほぼ人間の知的作業に委ねられており，実はこの構成法が予測・判別性能といったパーフォーマンスをほとんど決めていると言っても過言でない．特に一般物体認

モデリング変革の 4 半世紀を振り返って161

識では，画素値ベクトルから特徴ベクトルを構成する，さまざまな手法の研究が長年にわたって行われてきた．深層学習では，この特徴ベクトルの構成作業をあえて省略し，画素値ベクトルを直接 NN の入力とする．
深層学習で使われるニューラルネットワークは，層数が大幅に増えた以外，第二次ニューロブームの時のものと違いは無く，そのパラメータ学習アルゴリズムも，Back propagation を基本とする以前のものと大差はない．深層学習では層数が大幅に増えた結果，パラメータ数も爆発的に増え，学習アルゴリズムもさほど賢くなっているわけでもないので，必然と計算リソー
スはこれまでとは桁違いに必要となる（樋口, 2018）．ただし，上述したように，それまでの特徴ベクトル構成法は機械学習の『匠の技』と言え，“機械” 学習にもかかわらず，人間の判断が最も性能向上に大切という羊頭狗肉の面もあったが，その問題を特定領域では基本的に解決した点は画期的である．
深層学習では，通常，最適化関数は L2 であるため，誤差にガウス性を仮定している．よって，非線形・ガウスモデリング技術は，深層学習により，少なくとも予測・判別性能の観点か
らはほぼ極みに達したと言える．これまでの深層学習の大きな成功事例は，入力データが画像，音声，テキストなどの，データ構造が簡単なものに集中しているが，その制約を逆手に，特徴ベク
とって，さまざまな入力データをあえて画像などに変換すれば（Poplin et al., 2018）
トルの選択問題を回避可能とも言える．
非線形モデリングの自動化に革命的インパクトを与えた深層学習にも，課題は数多く残っている（樋口, 2016a, 2016b, 2018）．まず，さまざまな泥臭い工夫に，統一的理論（ガイドライン）がない．第二次ニューロブームの時には，層数やノード数の適切な選択問題や学習係数の客観的決定法が，情報量規準の観点などから真剣に研究された．もはや深層学習においては，これらは完全に（当座？）議論の対象外となっている．よって，精度保証のような理論構築は極めて困難なままである．まさに，深層学習の問題毎の最適化が “黒魔術” とも呼ばれる所以である．
もう一つの弱点は，推定結果が（ほぼ）完全にブラックボックス化している点である．この NNの本質的な弱点は，第二次ニューロブームの時も，統計学を中心として研究者から，また NNを実問題に適用した産業界からも，大きな不満としてさんざん指摘されてきた．今の応用開発
現場では，予測や判別性能が足りなければ，層数をさらに積み増したり，パラメータ学習に使う計算時間を 1，2 週間延ばすなど，とても系統的とは言えない職人技が横行している．今後，深層学習がさらに大きな飛躍を遂げるためには，精度保証のための理論研究がすすむことが必須であろう．
6.

今後の統計的モデリング

非ガウス・非線形モデリングを自動化する試みは，この四半世紀に大きな飛躍を遂げた．ス
マートセンサ，スマホ，バイオメトリクス，インターネット調査，SNS（Social Network Service）
からの即時的集計などなど，データ取得の環境はますます “ビッグデータ的” になっていく．
膨大なデータ量は統計的モデリングの自動化に大きく寄与する一方，精度（信頼度）はサンプル毎にバラバラで，欠測や異常値の混入も頻発，また属性変数の次元も巨大といった，量と質のアンバランスが極端なデータの解析がさらに求められる．このような状況では，まず，目的に直結する属性変数の選択（言い換えれば，特徴ベクトルの構成）
や，サンプルの信頼性の評価により，真に必要なデータセットの作成，つまり「スマートデータ」の生成こそが大切になる．統計学は，外部に作成してもらった「スマートデータ」の丁寧で精緻な分析のみを担うのか，それともビッグデータからスマートデータを構成するプロセスへ踏み込むのか，正念場に来ている．
一般社会においては，ビッグデータ × AI（人工知能）により大きな存在感を示す米中のプラッ

162

統計数理

第 67 巻 第 2 号 2019

トフォーマー（7 Sisters と通常呼ばれる）に対する風当たりも強くなってきている．今後は，モデリング技術の向上を計る上で，モデルの “人” による解釈可能性，帰納法で構築された意思決定システムの説明責任，データのバイアスと社会的偏見の分離など，人に寄り添った視点が極めて重要になってくる（内閣府, 2018）．プライバシーや Fairness を SNS 業界でどう位置づけ，その適切な管理とモニターを実現する技術が今まさに求められている。個人的には，その解決は永久に解決に至らぬ「永遠の難問」と考えるが，しかしながら，下に示すような具体的な技術課題は一般社会に喫緊に対応策を示さねばならない．
• Accountability（結果の説明責任力）• Interpretability（結果の解釈可能性）• Reproducibility（結果の再現性）• Transparency（手続きの透明性）

これらの課題解決には，以下の問題点• Data imbalance（どんなにビッグデータになろうとも，データそのものがバイアスのある母集団からの情報収集とならざるを得ない現実）• Sampling strategy（ビッグデータからの統計的判断に利用するデータのサンプリング方策）• Generative model（データ生成を模擬する確率モデル）
を深く認識することが肝要であり，それらはすべて Foundation of Statistics につながる，統計学の原理の本質的理解そのものと言える．

参

考

文

献

赤穂昭太郎 (2008).『カーネル多変量解析 — 非線形データ解析の新しい展開（シリーズ確率と情報の科学）』, 岩波書店, 東京.
Akaike, H. (1980). Likelihood and the Bayes procedure, Bayesian Statistics (eds. J. M. Bernardo, M.
H. DeGroot, D. V. Lindley and A. F. M. Smith), 143–166, University Press, Valencia.
赤池弘次 (1981). モデルによってデータを測る, 数理科学, 19(3), 7–10.
赤池弘次, 北川源四郎 編 (1994).『時系列解析の実際 I』, 朝倉書店, 東京.
赤池弘次, 北川源四郎 編 (1995).『時系列解析の実際 II』, 朝倉書店, 東京.
赤池弘次, 樋口知之, 川崎能典, 石黒真木夫 (2007).『赤池弘次：統計科学を語る — 1993 年. 駆け出し研
究者によるインタビュー記録 — 』, 統計数理研究所, 東京.
Boser, B. E., Guyon, I. M. and Vapnik, V. N. (1996). A training algorithm for optimal margin classifier, Proceedings of the Fifth Annual ACM Workshop on Computational Learning Theory, 5,
DOI:10.1145/130385.130401.
Doucet, A., de Freitas, N. and Gordon, N. (eds.) (2001). Sequential Monte Carlo Methods in Practice,Springer-Verlag, New York.
福水健次 (2010).『カーネル法入門 — 正定値カーネルによるデータ解析（シリーズ多変量データの統計科, 朝倉書店, 東京.
学）』
Hastie, T., Tibshirani, R. and Friedman, J. (2008). The Elements of Statistical Learning: Data Mining,Inference, and Prediction, Second Edition, Springer Series in Statistics, Springer, New York.
樋口知之 (2014). 統計数理の誕生とその広がり, 横幹, 8(1), 14–21.
樋口知之 (2016a). スモールデータ, ビッグデータ, そしてスマートデータ — 人工知能ブームの中での統計学 — , 統計, 67(1), 9–14.
樋口知之 (2016b). 人工知能はみようみまねマシンの究極形, 情報管理, 59(5), 331–335.
樋口知之 (2018). データ関連の数理技術の変遷：深層学習は春秋戦国時代の秦となるのか？, 人工知能,

モデリング変革の 4 半世紀を振り返って

163

33(2), 116–123.
伊庭幸人 (2003).『ベイズ統計と統計物理』, 岩波講座 物理の世界 物理と情報 3, 岩波書店, 東京.
伊庭幸人 編 (2017). スパースモデリングと多変量データ解析,『岩波データサイエンスシリーズ Vol.5』,
岩波書店, 東京.
伊庭幸人 編 (2018).『ベイズモデリングの世界』, 岩波書店, 東京.
伊庭幸人, 種村正美, 大森裕浩, 和合肇, 佐藤整尚, 高橋明彦 (2005).『計算統計 II マルコフ連鎖モンテカ, 統計科学のフロンティア 12, 岩波書店, 東京.
ルロ法とその周辺』
Isard, M. and Blake, A. (1998). CONDENSATION — Conditional density propagation for visual tracking, International Journal of Computer Vision, 29(1), 5–28.
石黒真木夫, 松本隆, 乾敏郎, 田辺国士 (2004).『階層ベイズモデルとその周辺 — 時系列・画像・認知へ, 統計科学のフロンティア 4, 岩波書店, 東京.
の応用』科研費新学術領域研究「スパースモデリング」(2019). http://sparse-modeling.jp/（2019 年 7 月 5 日）.
亀岡弘和 (2010). 非負値行列因子分解入門〜音響信号処理を題材として, http://www.kecl.ntt.co.jp/.
people/kameoka.hirokazu/publications/Kameoka2010Subspace07.pdf（2019 年 7 月 5 日）
川野秀一, 松井秀俊, 廣瀬慧 (2018).『スパース推定法による統計モデリング』, 統計学 One Point 6, 共立
出版, 東京.
Kitagawa, G. (1993). Monte Carlo filtering and smoothing method for non-Gaussian nonlinear state
space model, Research Memo., No.462, The Institute of Statistical Mathematics, Tokyo.
Kitagawa, G. (1996). Monte Carlo filter and smoother for non-Gaussian nonlinear state space models,
Journal of computational and graphical statistics, 5(1), 1–25.
北川源四郎 (2005).『時系列解析入門』, 岩波書店, 東京.
村田昇 (2004).『入門 独立成分分析』, 東京電機大学出版局, 東京.
内閣府 (2018). 人間中心の AI 社会原則（案）
, https://www8.cao.go.jp/cstp/ai_gensoku.pdf（2019 年 7
月 5 日）.
大津展之 (1993). リアルワールドコンピューティング研究計画 1．情報処理の新たなパラダイムを目指して, 情報処理, 34(12), 1423–1428.
Poplin, R., Chang, P-C., Alexander, D., Schwartz, S., Colthurst, T., Ku, A., Newburger, D., Dijamco,J., Nguyen, N., Afshar, P. T., Gross, S. S., Dorfman, L., McLean, C. Y. and DePristo, M.
A. (2018). A universal SNP and small-indel variant caller using deep neural networks, Nature
Biotechnology, 36, 983–987.
Schölkopf, B. and Smola, A. J. (2002). Learning with Kernels, The MIT Press, Cambridge.
Schölkopf, B., Tsuda, K. and Vert, J-P. (eds.) (2004). Kernel Methods in Computational Biology, The
MIT Press, Cambridge.
Shawe-Taylor, J. and Cristianini, N. (2004). Kernel Methods for Pattern Analysis, Cambridge University Press, Cambridge.
（上田 隆一 訳）, 毎日コミュニケー
Thrun, S., Burgard, W. and Fox, D. (2007).『確率ロボティクス』
ションズ, 東京.

164

Proceedings of the Institute of Statistical Mathematics Vol. 67, No. 2, 157–164 (2019)

Quarter Century of a Paradigm Shift in a Statistical Modeling Technology
Tomoyuki Higuchi
Faculty of Science and Engineering, Chuo University

I entered the Institute of Statistical Mathematics in April 1989, the beginning yearof the Heisei period. Just before the end of the Heisei period, in March, 2019, I stepped
down from the director and at the same time retired from the institute. Therefore, the“Heisei 30 years” are the life of a researcher for me. In this article, I summarize the majoradvances in statistical modeling technologies that form the basis of statistical thinking
such as data-based prediction and discrimination from my point of view.

Key words: Bayesian modeling, particle filter, kernel methods, deep learning.

統計数理（2019）
第 67 巻 第 2 号 165–180©2019 統計数理研究所

創立 75 周年記念号［研究ノート］

統計科学の文法と論理的推論
椿 広計†（受付 2019 年 1 月 5 日；改訂 3 月 24 日；採択 3 月 26 日）

要旨に従って，法則を秩序とする科学の主要な研究プロ
本論文は，Goertz and Mahoney（2012）
セスが統計的・定量的探求プロセスであるのに対して，プログラムを秩序とする科学の主要な研究プロセスが，論理的・質的探求プロセスであるとの仮説を提示する．その裏付けのために，
統計科学的立場から，定量的プロセスと論理的プロセスの差異が顕著となる幾つかの状況を示す．更に，プログラム科学と法則科学との融合可能性についても議論する．
キーワード：科学の文法，プログラム，法則，定量的研究，定性的研究．
1.

問題意識の変遷—法則の認識科学と法則科学から設計科学とプログラム科学へ

本論は，吉田民人が主導した「新しい学術の体系」
で示された「プログラム科学」（日本学術会
議運営審議会附置新しい学術体系委員会, 2003, 吉田, 2013）の主要な研究プロセスが，Goertzが示した社会科学研究における論理的・質的探求プロセスであるとの仮説
and Mahoney（2012）
を提示する．この仮説を補強するために，統計科学によって実証される法則科学的探究と論理的なプログラム科学の探究プロセスとの方法論的差異についても幾つかの事例を示す．特に，集合・数え上げ・分類といった質的・離散数理技法の多くが，万象を記述する法則の科学的認識ではなく，人間が生存の便宜のために開発した情報縮約的便法と考えられることも指摘する．
筆者は科学哲学の専門家ではなく統計家であり，統計的実践の成功や失敗の経験を通じて，科学的法則の探究プロセスやその支援技法について暗黙知を形成してきた．従って，本論では，筆者の統計家の経験を基に，法則科学ないしは統計科学の視点から，プログラム科学ない
しは論理的推論の特性を指摘しただけである．決して統計的推論が論理的推論に優越するという主張を意図してはいない．
筆者は，横断型基幹科学技術連合活動の中で，「新しい学術の体系」の解釈作業（日本学術会議自動制御研究連絡委員会工学共通基盤研究連絡委員会自動制御学専門委員会, 2005）に参加
し，吉田の科学論を知った．その中で，価値に依存しない「あるものの追究」
を目的とする「認識科学」形成の標準プロセスは，統計科学創成を興した Pearson（1892）の「科学の文法」が原点であると再認識した．吉田は，価値に依存した「あるべきものの追求」
を目的とする「設計科学」の標準プロセスを「情報循環」とした．しかし，当時の筆者には，設計科学のための情報循環プ
ロセスが，明確に標準化されているとは考えられなかった．
は，そこで，Tsubaki et al.（2008）1）
価値（関係者の声）の選択†

統計数理研究所：〒 190–8562 東京都立川市緑町 10–3

統計数理

166

第 67 巻 第 2 号 20192）
関係者の声を技術の声に翻訳（価値実現システムの選択）
3）
技術システムの最適化
4）
システムが実現する価値の社会への注入（実装）からなる，「技術開発の文法」
を提案し，そのプロセスを支援する数理技術の適用例を示した．
次に，筆者は，新技術・新製品開発の標準プロセスモデルと，その各フェイズにおける支援方法群を示す指針を国際標準とする活動を ISO/TC 69 “Applications of statistical methods”
で開始した．2009 年に ISO/TC69/SC8 “Application of statistical and related methodology for
new technology and product development” が設置され，2015 年には ISO16355 シリーズの第 1部を発行した（ISO, 2015）．標準化活動と並行して，設計科学の文法を産学共同研究する「価値創生プロセス実践知開発ネットワーク（VCP-Net 研究会）」も組織した．この研究会では，管理技法，数理技法，統計技法の目的と機能から統計的に分類すると共に，技術開発プロセスのあるフェイズで活用される技法が，前のフェイズから引き渡される入力情報，後のフェイズに引き渡す出力情報の要求品質明示化などを研究した（VCP-Net 研究会編, 2014）．このような標準化や研究が，吉田が提起した情報循環を高質化・効率化すると考えたからである．
「プログラム科学」を再考するきっかけとなったのは，2016 年から開始した「顧吉田（2013）の客の期待を超えたエクセレント・サービス」を実現するプロセスの標準化活動である．物質やエネルギーを支配する秩序と，サービスを制御する秩序とでは，それに対処する数理科学的方
法が本質的に異なることをどうプロセスに反映させるかが課題なのである（椿, 2017）．実際，
1980 年代からソフトウェアやサービスの品質経営分野では，事実に基づく問題解決に資する統計的方法よりも，あるべき姿を求めて，言語情報を論理的に分析する技術が有効と考えられてきた．
椿（2018）では，プログラムを記述する記号列の事象への当てはめでは，連続的回帰モデル
より，離散層別モデルの方がプログラム科学のためには有効ではないかと考えた．顧みれば，
土橋 他（1985）では，サービス分野での言語情報収集とその定量的分析の必要性，統計的方法に限定しても，層別原理の徹底，特に今日では第 2 世代人工知能と呼ばれる Breiman et al.
（1984）の CART による層別の自動化への注目を呼び掛けていた．
が，数学が定性的（質的）研究，統計学が定量的研究
こうした中，Goertz and Mahoney（2012）のエンジンであり，因果推論も両者では本質的に異なるという指摘に触れた．それを通じて数
理的学術形成プロセスの 2 つのパラダイムの乖離が，人工的・離散的なプログラム科学と，天然的・連続的な法則科学との数理的差異に起因するという仮説を形成するに至った．本論は，そのような問題意識を試論としてまとめたものである．
第 2 章でこれまでの筆者の「科学の文法」に関わる認識を総括する．3 章では，吉田が提唱したプログラム科学における認識が，法則科学における認識とは異なる離散的選択原理によって支えられていることを示す．4 章では，生物の生存にとって必要な，認識の離散化を支援する
様々な数理的方法が人間によって生み出されていることを述べる．5 章では，これらの考察を受けてプログラム科学の文法生成の課題と法則科学文法との融合可能性について議論する．
2.

科学の文法

2.1 法則認識科学の文法
Pearson（1892）
は，「人間が法則（Law）
を自然（Nature）に付与する」，事実に基づく科学形成のプロセスモデルを「科学の文法」
として提示した．観察に基づく記述に基づき現象への法則を付与する手続き自体を科学的行為とした．そのプロセスは，単純化すれば，観察に基づく事実の秩序に関する分析，その総合，批判的検証からなる一連の追究プロセスである．Pearson は，

統計科学の文法と論理的推論

167

科学的法則記述の文法としての標準プロセスを支援する数理的方法群の開発も開始した．ヒス
トグラム，標準偏差，相関分析，重回帰分析，主成分分析，モーメント法（ピアソン系分布族への当てはめや混合正規分布），適合度などである．研究者が，法則記述のプロセスと記述に用いる数理技法体系を同時提供したのである．
20 世紀前半には，計量生物学，計量心理学，計量経済学といった計量諸科学が創生され，統計的記述は自然現象のみならず社会現象までその適用範囲を広げると共に，技法も進化を続けた．特に，相関概念や適合度概念は，人間が付与する法則のパフォーマンス尺度であり，より便宜性の高い法則を求める実証科学の営みを支える基幹概念となった．
有限のデータがもたらす有限の情報量に基づいて，統計的方法が人間の法則に関する認識の地平を広げるためには，3 つのステップがある．
第一ステップでは，関心のある現象に対する既存知識を表現した統計モデルによる予測値とは乖離する実測値，いわゆる外れ値を検出し，それを問題視するか否かを検討する．この異常検知操作が，統計的方法による問題発見の基本形である．
第二ステップでは，データが外れ値となったことに影響を与えたと考えられる原因候補（要因）を考察し，要因に関わる変数を新たな入力データとして統計モデルに追加する．この際，必要に応じて新たなデータを統計モデル同定にとって最も情報効率が高くなるように採取する．
第三ステップでは，統計モデルをデータに当てはめ，その結果を解釈し，要因から原因を絞り込み（モデル選択），現象に対する知識を更新する．
なお，既存知識の地平を表現し，現象に当てはめられる統計モデルには，物理学のような演繹的科学を基に，現象の静態や動態を記述する数理モデルを原型としたモデルも含まれる．計
量科学は，理論なき実証と批判されることも多いが，「科学の文法」
は，法則進化を目指すプロ
セスモデルであり，統計的方法を数理技術として制御や予測に応用する技術操作とは目的が異なる．
第二，第三のステップが，統計分析ないしは要因分析と呼ばれ，統計教育・研究の中心となった．この統計分析のあるべきプロセスを Cox and Donnelly（2011）は，次のようにまとめ“Ideal Sequence” と呼んでいる．
1. 研究すべき問題，仮説の定式化
2. 関連するデータの探索と適切なデータを採取する研究の計画と実施
3. データ解析
4. 適切な意思決定に繋がる結果の解釈

確かに，研究すべき問題や仮説の発想は，研究者の先見性や多様性受容能力も肝要である．しかし，上記第一ステップで示したように既存統計モデルからの外れ値という事実に着眼すれば，新たな「突き止められる原因（Assignable Cause）」が明らかになる可能性が強い．この常識を基本原理として明示化し，社会実装したのは統計的品質管理学の創成者，Shewhart（1939）
であり，実証科学の自律的改善のサイクル形成に寄与した．
2.2 設計科学の文法—統計数理的マネジメントの社会実装
吉田に主導された日本学術会議運営審議会附置新しい学術体系委員会（2003）は，価値に依拠した科学を「設計科学」と呼び，従来の価値に依存せず現象の背景原理に関する解釈を追究する
科学を「認識科学」と呼んだ．吉田は設計科学の基本的方法を「情報循環」とした．
は，表 1 に示すように統計科学的マネジメントを大量生産のマネジ
一方，Shewhart（1939）
メント更には一般社会のマネジメントに進化させた．Shewhart の影響を受け Deming, 石川馨「問題解決型 QC ストーリー」という統計的改善活動の標準プロセスを
らは，PDCA サイクルと

統計数理

168

第 67 巻 第 2 号 2019

表 1．Shewhart による統計科学プロセスの社会実装．

社会実装した．これらは，まさに価値を追求するための汎用的プロセスモデルであり，「設計科学の文法」と呼ぶべきものであった（椿, 2019）．
設計科学が認識科学と異なるのは，価値関数の選択，社会的制約条件の選択，価値関数の制
約付き最適化といった，個々の人間の価値観や倫理観に依存するプロセスが明確に存在することである．このため，数理計画や統計的決定理論が重要な位置づけになる．
認識科学の進化のためにも最適化や制約が用いられる．しかし，認識科学ないしは法則科学
では，物質や情報の法則の背後にある変分原理や尤度原理に基づく天然の最適化や，既存法則成立を制約とした現象認識といった，価値には依存しない最適化や制約を用いるのである．
ここで，価値最適化を実現する条件設定のための統計的方法開発の歴史を振り返る．多くは，法則を進化させるための統計モデル当てはめという意識よりは，必要な比較評価技法の開発である．Gosset は，平均値の比較のための t 統計量を開発し，ギネスビールの品質改善を．Fisher（1935）は，実験計画法を提唱し，農産物の収量や品行った（Student, 1908; Box, 1987）
による機能性評価実験（動特性 SN 比）は，利用したい理想の質の改善に寄与した．田口（2000）
法則（機能）に現実がどのくらい近いか，それをどう改善するかの体系的評価技法を示したものであり，設計科学の発展に横断的に寄与した（椿・河村, 2008）．このようにデータに基づく方法が，現象の認識だけではなく，様々な要因に駆動されたシステムを統計的に比較して，人間が利用するシステムの最適化にも利用されてきた．
実社会における最適化の対象は，支配秩序としての物質やエネルギーなどの法則を利用する
現象には限らない．整数計画法に代表される離散最適化を必要とする秩序体系が厳然と存在す
る．これを以下では，吉田に従ってプログラムと呼ぶことにする．
3.

プログラムの認識科学

3.1 秩序原理としてのプログラム
吉田（2013）は，設計科学と認識科学，物質科学，生物科学，社会科学など様々な科学の分類軸を提案した．ここでは，「法則科学」と「プログラム科学」という分類に注目する．物質科学
は，「法則」という違反もなければ例外もない秩序に支配されている．法則は，物理学モデルやその影響をうける統計的定量モデルで近似可能である．

統計科学の文法と論理的推論

169

一方，生物科学や社会科学は「プログラム」と呼ばれる，違反事象や例外事象を許容する秩序原理にも支配される．生物科学は遺伝子のようなシグナル列（シグナル性プログラム）に支配され，社会科学はシンボル列で記述されるプログラム（シンボル性プログラム）に支配されるとした．
Pearson（1892）
は，20 世紀には物理学は数学との融合が進み，生物科学は物理学との融合がは law という用語が「法」という社会秩序にも用いられて進むと述べた．一方，Pearson（1892）
いることを意識しており，それが「法則」とは異なることを強調していた．また，Pearson は，現実に認識される法則には，誤差があることも指摘した．これは様々な未知原因が観察現象を駆動するからであり，それら未知要因に起因する変動を記述する数理ツールとして確率モデル
も人間の「無知」の部分としての偶然概念を取り上利用を提案したのである．なお，竹内（2010）
げており，この種の認識は確率モデルの利用を推進した近代統計学の立場だと考えられる．
Pearson にとっての科学の進化は，利用可能な法則が，人間科学・社会科学も含む多くの分
野に広がり，法則の現象近似パフォーマンスが上がることだった．これに対して，吉田のプロ
グラムは，未知の原因が交絡していなくても，例外や違反が存在することを前提とする．逆説的だが，プログラム秩序を利用するものからすれば，プログラムの有用性は，例外や違反が生じる割合が小さいこととなる．しかし，プログラムの違反や例外は，無知のために確率変動と見なした原因で起きるのではない．異なる論理を共有する少数派と呼ばれる人間の判断には確信的違反や例外も存在する．
3.2 プログラム認識科学成立に必要な統計的方法と論理学的方法
プログラム科学を実効化させるには，符号列を原因情報として，結果系パフォーマンスを認識評価する方法が必要となる．プログラム科学が事実に基づく方法を必要とするならば，統計的には 2.2 節で述べた離散化されたグループ間の事実に基づく評価・比較という方法体系が必要となる．
プログラムが何らかの法則を駆動し結果として量的パフォーマンスが得られる場合には，
Fisher（1935）の実験計画法と多元配置分散分析を異なるシンボルやシグナルの作用といった質的制御因子に限定して適用すればよい．プログラム間の定量的結果比較を行えば，パフォーマ
ンスの効率的認識と共に最適化まで行える．時系列的シンボル列の順序構造がパフォーマンス
に与える影響評価は，医学統計では Fieler（1940），農業統計では Cochran et al.（1941）のクロ
ス・オーバー計画と呼ばれる実験計画法技術に埋め込まれた．
一方，離散的入力の質的出力パフォーマンスを評価する離散データ解析も統計学の枠組みで整備されてはいた．符号系列の質的パフォーマンスに関する影響評価についてもクロス・オー
バー計画は利用可能であり，符号列投入の時期・順序・直前符号の残存影響など様々な検討がは，3 種の薬剤のうち 2 種類を様々な順序で一定期間ずつ投与し，可能である．広津・椿（1984）
前期・後期の有効性の優劣比較を行うクロス・オーバー試験から有効な治療法を定める統計モ
デルを議論した．表 2 のように薬剤名をシンボル化すれば，これは最も単純なシンボル性プロ
グラム評価のためのデータと考えられる．空間的二値シンボル列（0-1 列）と離散的パフォーマンスとの関係性を認識することは，文字認識など，背景法則が存在しない人工概念に対する統計的パターン認識は，統計的機械学習分野で日常的に用いられている．
しかし，離散現象の背後に連続的な法則を想定して，離散観測量から法則の性能評価することと，その種の法則科学的前提無しにプログラムのパフォーマンスを例外や違反の割合で評価することには，本質的な差異がある．
ある記号列のパフォーマンスに対する影響を評価する最も単純な状況は，ある原因系記号の有無と結果の成否をデータ化した表 3 のような 2×2 分割表で表現される．この分割表のある記

170

統計数理

第 67 巻 第 2 号 2019

表 2．3 薬剤 2 期間クロス・オーバー臨床試験治療時期優劣比較結果（広津・椿, 1984）．

表 3．シンボル評価の最も単純な例．

表 4．例外のないシンボル性プログラム．

号の有無，結果の成否に任意の数量化を行い決定係数の二乗（相関係数）を求めたのが，2×2 分
割表の関連性尺度である，Pearson の φ 係数の二乗となる．更にその N.. 倍が，分割表の独立性に関する Pearson カイ二乗適合度検定統計量である．Pearson は，離散変量の世界でも連続量の世界同様，相関分析で背後の法則を性能評価できると考えていた．実際，メンデルの法則のような客観科学的離散法則を検討するには，統計モデルによる法則評価は有効であった．
一方，表 3 で入力記号のプログラムとしての有効性を評価するならば，プログラムが例外なく意図通り動作した割合を評価することになる．例外の無い理想状態とは表 4 に示したような状態である．確かに表 4 は φ 係数が 1 になる場合である．しかし，独立性を統計的に評価するのではなく，理想状態からのずれを測定するのがプログラム評価である．論理的には表 4 の第1 行が成り立つことは記号の存在が，結果成立の十分条件，第 2 行が成立するのが必要条件である．その種の論理がどの程度成り立っているかを定性的・論理的研究では重視してきたことが，強調した通りである．表 3 で，十分性に関するプログラム
は Goertz and Mahoney（2012）の性能は N++ /N+ .，必要性に関する性能は N−− /N− . で評価すればよい．偽陽性率，偽陰性率

統計科学の文法と論理的推論

171といった検査性能評価が，医学では行われてきた．パターン認識の閾値評価にも ROC 曲線を用いることも多いが，これがパフォーマンスの背後にある法則を評価したものではなく，プロ
グラムのパフォーマンスの論理性能評価と考えられる．
は，科学的接近を統計的な量的方法と数学的・論理的な実際，Goertz and Mahoney（2012）
質的方法に峻別した．彼らが指摘したように，社会科学でも統計的接近が徐々に重視されてきている．しかし，筆者は，離散的シンボルやシグナルが本質的な秩序であるプログラム科学では質的方法が，法則科学では量的方法が適しているという仮説を持っている．4 章では，筆者の限られた統計的体験の中で，統計的方法周辺に存在する量と質との問題の差異が，鮮明に現れた状況を紹介する．
4.

人間の生存に必要だった離散化とそれに対峙する統計的方法

4.1 離散的認識における量的情報の捨象—離散的認識の人為性
人間の認識する事実は，時間的・空間的に何らかのバンドパスフィルタリングが施されている．実際，人間は極めて微小な領域の事実は認識できない．椿 他（1982）は，視覚も帯域上のバンドパス特性を持ち，それが錯視現象の原因と考えた．生物全般が生存に適した進化の中で，適切な情報の強調や不要な情報を捨象するための帯域特性を保有するようになったと推察する．このことが所定の主要特性を共有する集合の同一視と，その要素の数え上げという人間
あるいは生物特有の操作を導いている．プログラム科学の背景にある離散性は，人工物としての数学に基づく認識と強く関連する．
数学が最初に扱うのは，自然数を用いた数え上げである．統計教育でもヒストグラムなどの度数分布の表示は第一歩である．更に理論度数分布としてのポアソン分布は，小数の法則として事故件数の従う分布として多用されている．
しかし，数え上げが可能なのは，集合としての要素が数学的に定義されているからである．
リンゴが 3 個，ミカンが 2 個あったとき，果物が何個あるかという問いと，ミカンが何個あるかという問いとでは答えは異なる．約 100 g のミカンは何個あるかと問われれば，人間は100±ε g のミカンを同一視して数え上げを行う．事故であるか否かの判断も人間が事故の範囲を定めていることによって可能となる．数え上げ操作は，包含関係を人間が定義し，有限集合論的認識を支援するための重要な人為的操作である．
しかし，法則科学的観点からすれば，離散確率分布も，連続確率分布の極限分布として表現
可能なことに留意すべきである．統計学で人間が量的現象を捨象し，数え上げの対象にしていることを端的に示すのが，ポアソン分布には「散らばり母数（Dispersion Parameter）」が存在しが，自然指数型分布族で分散関数が期待値 μ の 1 次式となないとの誤解である．Morris（1982）
るのは，離散分布であるポアソン分布に限ることを証明したことも誤解を助長させている．もちろん，これは非負整数値分布を前提にした証明である．
実際に，ポアソン変量の σ 倍の確率変数は，0, σ, 2σ, . . . といった離散的値をとり，分散関数
V (μ) = σ 2 μ となる指数型分布族である．そのような状況を量的観測ではなく，量を捨象して数え上げとするのが人間の判断としては経済的なことは否定しない．
しかし法則科学にとって重要なのは，この散らばり母数を有するポアソン分布は，散らばり母数を持つ指数型連続分布族の極限として理想化された分布だという認識を持つことである．
すなわち，分散関数 V (μ) = σ 2 μp で特徴づけられるガンマ複合ポアソン分布（1 ≤ p ≤ 2）で非負連続値分布である Tweedie 分布の極限である（Jørgensen, 1987）．
Tweedie 分布は，同一分布に従うガンマ変量を散らばり母数の無いポアソン変数個を加える，量の加法操作から得られる．この量的操作結果の観測が，より法則科学に近い認識行為であ

172

統計数理

第 67 巻 第 2 号 2019

る．ポアソン変量とは，分散 0 のガンマ変量を確率的個数で加え合わせているから離散変量となっているだけである．
非負整数値をとる 2 変量ポアソン分布に相関係数概念を導入することは，通常，擬似尤度あるいは一般化推定方程式でしかできない．同一のポアソン変数個，別々のガンマ変量を加えた
2 変量 Tweedie 分布は，実在する指数型分布族であり，母相関係数がパラメータとして存在し，量的関連性を記述することができる確率モデルとなっている（Iwasaki and Tsubaki, 2005）．
本来，統計モデルによる法則科学的認識は，主として人間の周辺に内在する量的性質に関わる方法として開発されてきたことを意識すべきである．これは，人間の認識の特性・捨象・価
値観・論理に依存しない法則を追究する営みであった．
4.2 論理的測定モデルと統計的測定モデル—実在する概念とそうでない概念
Bollen（1989）
は，統計的測定モデルの第 1 段階としての概念の理論的定義を挙げた．その好の「テロリズム」の定義が示されている．当時の CIA の定義が，「暴力と例として，CIA（1982）
関連する行為」かつ「政治的意図を持つ行為」
かつ「直接の被害者を超えた範囲に影響を与えることを意図した行為」という 3 特性を有することが，テロリズム事象を定義する必要十分条件であることが明確になっているからである．この種の考察は用語学（Terminology）から導かれる
離散的かつ集合論的なものである．ISO 1087-1:2000 は，国際標準化活動における用語の定義に関わる理論と方法とを標準化したものである（ISO, 2000）．実際，そこでは，概念は特性群の特定の結合から構成される知識，内包（Intension）は，概念を形成する特性の集合として定義さの理論的定義から Bollen（1989）が特性を列挙した方法で，概れている．従って，CIA（1982）
念の成立は複数特性を共有する必要十分条件として定義され，定義された概念に対象が属するか否かは論理的に定まる．概念に対応する英語なり日本語等の用語が存在しても，概念の定義
は数理的・論理的に確定する．しかし，唯名論の立場をとらずとも，テロリズムといった概念
は，物質科学の世界には実在せず，人間が認識の便宜のために対象を分類した数学的概念にすぎない．
は，用語学的概念定義の次の段階として，統計的測定モデ
それにも関わらず，Bollen（1989）
ル，例えば因子モデルを関連する事実に当てはめる手続きを与えている．このとき特性と概念との関係は量的法則モデルで記述される．例えば，テロリズムという論理的概念の背景に，テロらしさといった潜在標準正規確率変数 X を想定し，暴力行為らしさ Y1 ，政治的行為らしさ
Y2 ，範囲の広範性らしさ Y3 を目的とした行為らしさという特性をアナログスケールなどで近似的に連続変数と考えられる尺度で観測することで，連立方程式モデルである因子モデル(4.1)

Yj = αj + βj X + εj , j = 1, . . . , 3, εj ∼ N (0, σj2 )を当てはめ，潜在因子 X の測定方法が導かれるのである．
確かに，この種の考え方は，背後にある潜在因子が実在する概念の場合には有効である．
Spearman（1904）
は，一般知能因子が存在し，それが所定の試験項目に正の影響を与えると考えた．実在する潜在変数を客観測定するために，適切な観測項目が設計されることは，計量心理学分野だけでなく物理測定分野ですら行われてきた法則科学的営みである（例えば，牧 他,．
2004）
Bollen（1989）の理論的用語定義は，論理学・用語学的概念測定にとって重要だが，この唯名論的概念の測定に，法則科学的統計モデル（4.1）を適用するのには，次の問題がある．統計的測定モデル（4.1）の下では，全くテロらしさが無い行為，すなわち連続変数として X がマイナス
無限大になったとき，暴力行為・政治的行為・行為が影響する範囲もマイナス無限大になる．
すなわち，テロらしさが全くなければ，暴力行為らしさも全くなくなることを意味する．しか統計科学の文法と論理的推論

173

し，全くテロらしくない行為であっても政治家の演説のように政治的行為らしさをもつ事象は存在する．
が指摘したように，連続的な法則に基づく統計的推ここでも，Goertz and Mahoney（2012）
論と，必要条件や十分条件といった論理的推論には乖離が生じている．
以下では，具体的に論理的推論モデルと統計的離散測定モデルとの乖離を例示したい．そのために，ある母集団に属する人が，ある事象を q 個の特性から定義される概念に適合すると判
j j = 1, . . . , q ）を有すると判断する確率を Pj とし，どのよ断する確率を P0 ，その事象が特性 （うな確率間の構造を考えるのが妥当かを調べる．このとき，次の 3 条件を要求するのが論理的条件と整合的である．
条件 1：P0 = f (P1 , P2 , . . . , Pq ) は，Pj について単調増加関数である．
条件 2：ある特性 j について Pj = 0 ならば，P0 = 0 となる．
条件 3：P0 =1 ならば，全ての j について Pj =1 となる．
条件 2 は，ある特性の完全な欠落は概念の完全に不成立となることを意味する．条件 3 は，完全な概念の成立は，全特性が完全に成立することを意味する．注意が必要なのはある特性 j について Pj = 1 となっても，必ずしも P0 は 1 とはならないことである．
この種の条件を満たす関数形 f は，一意に定まるわけではない．例えば条件 3 は，
(4.2)

log(1 − P0 ) = αj + βj log(1 − Pj ),βj > 0が満たされれば成立する．（4.2）
は，log(1 − Pj ) = αj∗ + βj∗ log(1 − P0 ) と書き換えれば，あまり自然ではないが，P0 の統計的測定モデルと見なせる．一方，条件 2 は，例えば(4.3)

log P0 = γ + δq

log Pj ,δ>0

j=1

が満たされれば成立する．そこで，離散統計モデルとしては全く異形だが(4.4)

log(1 − P0 ) = αj + βj log(1 − Pj ) + δq

log Pkβj > 0,

δ>0

j = 1, . . . , q

k=1というモデルを考えると，条件 1 から 3 は満たされる．これを概念が原因で特性が結果とするに類似させて書き直せば，測定モデル（4.1）(4.5)

log(1 − Pj ) = αj∗ + βj∗ log(1 − P0 ) + δ ∗q

log Pkk=1となる．（4.5）は右辺第 3 項の存在のため，統計的測定モデルとはならない．（4.5）式左辺並びに右辺 2 項をロジットに置き換えることが統計的には自然だが，これを入れると P0 = 0 なら
ば，全ての特性 j について Pj = 0 を要求することになり，論理的な条件を不必要に追加したことになる．
このように論理的測定を記述する確率モデルの定式化は一意ではないが，いずれにしても統計的測定モデルとは本質的に異なる．従って，論理的概念測定と統計的概念測定は異なる行為と考えなければならない．
4.3 論理的分類と統計的分配
ある特性の有無に関する認識を統計的に扱うために，4.2 節ではその特性が有るか否かの回答に曖昧さが無く，各個人については True か False が定まることを前提にした．このとき，有

174

統計数理

第 67 巻 第 2 号 2019

限混合分布といった頻度論的確率分布が用いられる．しかし，各個人が True なり False と事象を判断することは，人為的論理操作と考えられる場合が多い．
公的統計分野では，収集したデータを集計するために，家計統計では家計簿に記述された情報から商品分類，事業所統計では調査票情報から事業所の産業分類を行わなければならない．
しかし，家計統計では，被調査者が 200 円支払った商品が, 発泡酒なのかビールなのかは，商品の定義が明確かつ網羅性があるのならば，統計的教師付き分類問題として明確に定式化できる．一方，調査対象事業所の売り上げが 1500 万円として，その事業所は製造業としての売り上げもあれば，サービス業としての売り上げもあるという状況がある．このとき事業所の産業分類は，売り上げを各業種に按分して按分率の高い業種に形式的に分類を行うこととなる．この按分率は，論理的分類を前提とする有限混合分布の混合確率ではない．背後にあるのは連続量の分配である．
このように人間が介在する分類問題の背後には様々な曖昧さがあるため，Goertz and Mahoney（2012）が，示唆するようにテロらしさ，暴力行為らしさといった曖昧性をファジイ集合論で表現しようという立場も生じる．
しかし，事象自体が頻度論的かつ論理的に確定するのではなく，法則科学的実態を持つ量が加法的に観測されていることを統計モデル化することは可能である．椿（1999），Tomosada
は，画像処理の Mixed Pixel 問題が，分類問題ではなく按分問題（粒子混合）
and Tsubaki（2011）
であるという立場の統計モデルを提案した．以下にその概要を示す．
p 次元観測変量 Y は，K 個の細分された変量の和であるとする．按分対象となるカテゴリー
は Q 個あり，細分された変量は，あるカテゴリー q に属し，Kq 個存在すると仮定する．このとき，Y は，次のように量の加法操作で表現される．
Y =

Q Kq



Xqk

q=1 k=1

但し，Xqk は，カテゴリー q に属する細分変量を意味する．さらに，Xqk が互いに独立に，モーメント母関数 φq (t) = E[exp(tT Xqk )] を持つ同一分布に従うと仮定する．このとき，カテ
ゴリー q のデータだけからなる観測変量 Yq のモーメント母関数は ψq (t) = ψq (t)1/K となる．
従って，pq = Kq /K と置けば，観測変量 Y の従う分布のモーメント母関数は（4.6）のように
なる．
(4.6)

ψY (t) =Qϕq (t)pq

q=1

従って，そのキュムラント母関数は，純粋観測ベクトルの従う分布のキュムラント母関数が，比率 pq で荷重和されたものになる．通常の頻度論的混合では，密度関数あるいはモーメント母関数が混合確率で荷重和されるのと，期待値構造は一致するが，2 次のモーメント構造は異なる．
このように按分的混合は，量の加法操作を背景機序として前提にする，論理的分類ではなく量の分配率の推定問題である．ファジイ理論が扱うような人間の分類行為には，論理学と法則
科学との中間的状況も存在すると考えられる．そのような場合への一つの対処法として，確率変数 Xi のモーメント母関数 ϕi (θ) = E[exp(θXi )], i = 1, . . . , I に対して，一般化キュムラント
母関数を
(4.7)

ηi (θ, t) = {ϕi (θ)t − 1}/t

統計科学の文法と論理的推論と定義することが考えられる．このとき，
ηi (θ, t) =

1 + θE[Xi ] +θ2
E[Xi2 ] + · · ·
2

t

175



− 1 /tθ2
θE[Xi2 ] + · · · + θ2 (t − 1)/2 E[Xi ] + E[Xi2 ] + · · ·22
θ2= θE[Xi ] + {E[Xi2 ] + (t − 1)E[Xi ]2 } + o(θ2 )2= θE[Xi ] +

2

+ ···

と 展 開 さ れ る の で ，一 次 一 般 化 キ ュ ム ラ ン ト は ，E[Xi ]，二 次 一 般 化 キ ュ ム ラ ン ト は ，E[Xi2 ] + (t − 1)E[Xi ]2 となる．
I
この一般化キュムラント母関数の混合を η(θ, t) = i=1 pi ηi (θ, t) を確率モデルとして採用す
れば，頻度論的（論理的）分類と連続的分配とを一つのパラメータで繋ぐことができる．なお，
I
混合後の一般化キュムラントは，一次一般化キュムラントが c1 = i=1 pi E[Xi ]，二次一般化
I
キュムラントが c2 = i=1 pi {tE[Xi ]2 + Var[Xi ]} となる．
量の加法的操作は法則科学を記述する方法論であり，4.1 節で論じたように，ポアソン分布
をガンマ分布も含まれる Tweedie 連続分布の極限として捉えれば，量の按分率推定問題がベータ分布やディリクレ分布と同等の意味を持つ，二項分布や多項分布を極限として導いていることが分かる．
統計的分類問題，パターン認識問題は，論理的推論を背景に持つ，プログラム科学的方法論である．しかし，逆に法則科学的の立場から，分類問題と分配問題との差異に留意する必要がある．
5.

おわりに：プログラム科学の文法を目指して

5.1 法則科学的検討を進めるべきプログラム科学的問題
一見，プログラム秩序，離散的シンボルで表記されている現象であっても，背後に連続量が存在し，閾値を設定した人為的切断でシンボルが形成されている場合が多い．このような量的情報を論理的に扱う必然性はない．第一段階で法則科学的洞察を行い，第 2 段階でそこに閾値を入れたときのパフォーマンス評価を行えば良い．
一方で，この種の人為的切断がない，純粋な記号と量的パフォーマンスの関係を法則科学的には，どのように考えれば良いのだろうか．これは質と量との混合問題である．これが，端的に現れるのが遺伝子情報といった純粋な記号列が，物質科学的法則に対してシグナルとして作用する生物科学である．
先ず量的科学として，関心のある量に影響を与える量を網羅し，記号が関心のある量に直接影響を与える可能性だけではなく，関心のある量に直接影響する量に影響を与えている可能性をも探求することは最低限必要である．ただし，これは法則科学的研究である．
一方，M 個の純粋記号からなるシグナル記号列が，量にどのような影響を与えるかは，論理的・演繹的考察も重要である．実際，シグナル記号列の量への影響は論理のパズル，鍵をあけるような組み合わせ最適化を必要とする．しかし，統計的方法が開錠を効率化する可能性は大きい．それが，3 章で紹介した M 水準の質的要因からなる実験計画法で問題を定式化することである．ただし，連続要因の場合と異なり，高次の交互作用効果が，鍵を解くのに重要となることは容易に予想される．従って，高次交互作用項（論理型入力変数の積の項）も考慮したモデ
ルをデータに当てはめることが必要となる．
この種のモデル同定を限られた標本から効率的に行う方法は，少なくとも 2 つ現存すると考えている．一つはカーネル法の適用により高次交互作用をモデルに投入することである．もう

176

統計数理

第 67 巻 第 2 号 2019

一つは尺度化と非線形性に関する射影追跡回帰（Friedman et al., 1981）により，尺度間交互作
用の消去を試みることである．前者は，サポートベクターマシン，後者はニューラルネット
ワークなどの統計的機械学習技術として，今や日常的に用いられるようになった．この種のセミパラメトリックモデルを効率的に同定するデータ収集技法としての逐次実験計画法も強化学習と呼ばれるようになった．実験計画法の配置理論にとって，重要な研究分野であるが，その最適計画については筆者には専門性はない．
5.2 純粋プログラム科学とその文法
人間社会を動かす，法や政策は吉田のシンボル性プログラムであり，その成果も経済的効果のような量に変換されない，社会構成員の感性的反応となることも多い．この種の純粋プログ
ラム科学に近い問題については，ロジックツリーと MECE（Mutually Exclusive and Collectivelyと呼ばれる本来純粋数学的接近を適用することが学術のみならず，社会全般に広Exhaustive）
がっている．日本の EBPM（Evidence Based Policy Making）推進においても，統計的方法と共に大きな位置づけを占めるようになっている（行政改革推進本部, 2017）．この種の方法論が統計科学の文法とは一線を画するものであることが，本論の主張だった．しかし，品質経営分
野で統計的問題解決の標準シナリオ以外に，論理的方法が主眼となる「課題達成型 QC ストーリー」と呼ばれる標準シナリオが 1980 年代から普及していることを再度強調しておきたい（狩野, 1993）．
1）
テーマの選定2）
課題の明確化と目標設定
3）
方策の立案・選定
4）
成功シナリオの追究と実施
5）
効果の確認
6）
歯止め

も整備されていこれを支える論理的技法群（ロジックツリーをも含む新 QC 七つ道具など）た．仮に統計的方法がその有効性を発揮するとすれば，プログラムの質的パフォーマンスを評価するシンボル列に関する If-Then 論理の発見であり，これは Breiman et al.（1984）の CART，すなわち自動層別技術の適用である．今日的には，層別原理をアンサンブル学習で高性能化すの Random Forest も有力な記号要因解析技法となろう．
る Breiman（2001）
一方で，プログラム科学が科学として成立する論理条件は，科学的プロセスとしての Pearsonの科学の文法，あるいは Shewhart，Deming, 石川の PDCA サイクルとの整合性である．なぜならば，この種の実証的プロセスが，論理的方法論ですら自律的進化と再現性の確保のために重要だからである．例えば，
1）あるべきプログラム・パフォーマンスの明確な定義
2）
プログラム・パフォーマンスにおける看過できない違反や例外の発見
3）
パフォーマンスに影響をあたえる可能性のある記号列の論理的網羅
4）
記号列の必要十分性の観点からの比較・評価
5）
最適な記号列プログラムの実装
6）
プログラムの実施とそのパフォーマンスのモニタリング

といった課題達成型 QC ストーリーと PDCA サイクルを結合したプロセスモデルが，プログ
ラム科学の文法として有効な可能性はある．しかし，それも論理科学的方法の実践の中で実証されるべき仮説にすぎない．統計数理科学が将来 2 つの科学的方法のスコープマネジメントを統計科学の文法と論理的推論

177

適切に実現できる日がくることを期待して，本論を閉じたい．
査読者から示された論点と謝辞
本ノートに対しては，査読者より本質的な 3 つの論点を提示いただいている．第一は，プロ
グラム科学と法則科学とが，科学の特徴づけというよりは，外界との関係性の違いであるとの指摘である．自身の論理ないしはモデルを変更しつづける，すなわち，外界からのフィード
バックが不可欠か否かということではないかという見解である．第 2 は，プログラム科学においても，現実ないしは観察から独立ではなく，出発点は帰納的観察に基づいているのではないかという指摘である．この 2 つの指摘は，行動モデルの観点からは明らかに正しく，筆者も同意する．生物の進化ですら，外界とのフィードバックがトリガーで起きていることに間違いない．また，プログラム科学が支配的とされる生物科学，社会科学においても，法則はその基盤的秩序の一部を担っていることは，吉田の学術の体系でも前提になっている．筆者自体の疑問
は，法則を認識し，それに基づいて何らかの設計に反映する統計科学的方法論と，プログラムを設計する方法論とに，科学的探究プロセスが少し異なるのではないかということである．もちろん，後者に対しても帰納的接近が有用であることについては，何ら疑いを持ってはいない．
第 3 の論点は，一般化キュムラント関数のように，頻度論的分類と連続的分配とを接続すること自体が，プログラム科学と法則科学との区別の必要性がないことを意味しないかという疑問である．この指摘は，筆者の視点が統計科学に近すぎる，すなわち法則科学的立場で頻度論的分類を眺めていることに気づかされた．科学的法則と論理的秩序を混合させること自体に実学的意義が有るかについては，査読者から提起された課題として強く意識したい．以上，本ノートに貴重な論点を示唆すると共に，様々な誤りを指摘していただいた査読者に深甚の謝意と敬意を捧げたい．

参

考

文

献

Bollen, K. A. (1989). Structural Equations with Latent Variables, Wiley, Hoboken.
Box, J. F. (1987). Guinness, Gosset, Fisher, and small samples, Statistical Science, 2(1), 45-52.
Breiman, L. (2001). Random forests, Machine Learning, 45(1), 5-32.
Breiman, L., Friedman, J., Stone, C. J. and Olshen, T. A. (1984). Classification and Regression Trees,
Wadsworth, Belmont.
Central Intelligence Agency (1982). Patterns of international terrorism: 1981, https://www.cia.gov/
library/readingroom/document/cia-rdp85m00363r000901960025-4.
Cochran, W. G., Autrey, K. M. and Cannon, C. Y. (1941). A double change-over design for daily cattle
feeding experiments, Journal of Dairy Science, 24(11), 937-951.
Cox, D. R. and Donnelly, C. A. (2011). Principles of Applied Statistics, Cambridge University Press,
Cambridge.
Fieler, E. C. (1940). The biological standardization of insulin, Supplement to the Journal of the Royal
Statistical Society, 7(1), 1-64.
Fisher, R. A. (1935). The Design of Experiments, Oliver and Boyd, Edinburgh.
Friedman, J. H. and Stuetzle, W. (1981). Projection pursuit regression, Journal of American Statistical
Association, 76, 817-823.
Goertz, G. and Mahoney, J. (2012). A Tale of Two Cultures: Qualitative and Quantitative Researchin the Social Sciences, Princeton University Press, Princeton. （西川賢, 今井真士 訳 (2015).

『社会学のパラダイム論争：2 つの文化の物語』, 勁草書房, 東京.）

178

統計数理

第 67 巻 第 2 号 2019

行政改革推進本部 (2017). 「EBPM の試行的検証」
EBPM 推進に向けた取組み・ロジックモデルなどについて, https://www.cas.go.jp/jp/seisaku/gyoukaku/H27_review/H29_fall_open_review/z7.pdf.
広津千尋, 椿広計 (1984). クロス・オーバー計画でとられた臨床データの統計モデル,「実験データの解, 京都大学数理解析研究所講究録, 526, 46-70.
析の理論的背景」
ISO (2000). Terminology Work — Vocabulary — Part 1 : Theory and Application, ISO 1087-1:2000,
International Organization for Standardization, Geneva.
ISO (2015). Application of Statistical and Related Methods to New Technology and Product Development Process — Part 1 : General Principles and Perspectives of Quality Function Deployment(QFD), ISO 16355-1: 2015, International Organization for Standardization, Geneva.
Iwasaki, M. and Tsubaki, H. (2005). A new bivariate distribution in natural exponential family, Metrika,
62, 323-336.
Jørgensen, B. (1987). Exponential dispersion models, the Journal of the Royal Statistical Society,
Series B, 49(2), 127-162.
狩野紀昭 監修 (1993).『QC サークルのための課題達成型 QC ストーリー』, 日科技連, 東京.
牧雅康, 沖一雄, 椿広計, 安岡善文 (2004). 潜在要因の影響を考慮した水質計測の因果モデリング, 日本リモートセンシング学会誌, 24(2), 153-162.
Morris, C. (1982). Natural exponential families with quadratic variance functions, Annals of Statistics,
10(1), 65-80.
日本学術会議自動制御研究連絡委員会工学共通基盤研究連絡委員会自動制御学専門委員会 (2005). 横断型を目指す研究・教育の促進に向けて, 自動制御
基幹科学技術としての制御学の役割 —「知の統合」
研究連絡委員会工学共通基盤研究連絡委員会自動制御学専門委員会報告, http://www.scj.go.jp/
ja/info/kohyo/pdf/kohyo-19-t1031-14.pdf.
日本学術会議運営審議会附置新しい学術体系委員会 (2003). 新しい学術の体系 — 社会のための学術と文理の融合 — , 日本学術会議, http://www.scj.go.jp/ja/info/kohyo/18pdf/1829.pdf.
Pearson, K. (1892). The Grammar of Science, Walter Scott, London.
Shewhart, W.A. (1939). Statistical Method from the Viewpoint of Quality Control (eds. W. E. Deming),
The Graduate School, the Department of Agriculture, Washington D.C.（坂元平八 訳 (1960).
『品質管理の基礎概念 — 品質管理の観点からみた統計的方法』, 岩波書店, 東京.）
Spearman, C. (1904). ‘General intelligence,’ objectively determined and measured, The American
Journal of Psychology, 15(2), 201-292.
Student (1908). The probable error of a mean, Biometrika, 6(1), 1-25.
田口玄一 (2000).『ロバスト設計のための機能性評価 — 効率的開発の方法』, 日本規格協会, 東京.
竹内啓 (2010).『偶然とは何か — その積極的意味』, 岩波新書 1269, 岩波書店, 東京.
Tomosada, M. and Tsubaki, H. (2011). Novel mixture model for mixed pixel classification of multispectral image data, International Journal of Mathematical Models and Methods in Applied
Science, 5(1), 175-183.
椿広計 (1999). リモートセンシングにおける分類 (2) ミクセルの識別に関する統計的考察, 日本リモートセンシング学会誌, 19(1), 75-80.
椿広計 (2017). サービスと品質管理, 品質管理学会等の活動を振り返る, 標準化と品質管理, 70(10), 2-8.
椿広計 (2018). データ駆動型社会の人と品と質とのマネジメント, 応用統計学, 47(2&3), 89-98.
椿広計 (2019). 第 1 部日本社会における統計科学の展開, 第 2 章日本的品質管理活動と統計科学（国友直,『統計と日本社会 データサイエンス時代の展開』, 東京大学出版会, 東京.
人, 山本拓 編）
椿広計, 河村敏彦 (2008).『設計科学におけるタグチメソッド — パラメータ設計の体系化と新たな SN 比, 日科技連, 東京.
解析』
椿広計, 鈴木守, 花泉弘, 藤村貞夫 (1982). 視覚の帯域通過特性に基づく錯視現象の解析, 計測自動制御学会, 日本機械学会, 日本自動制御協会第 25 回自走制御講演会要旨集, 509-510.

統計科学の文法と論理的推論

179

Tsubaki, H., Nishina, K. and Yamada, S. (eds.) (2008). The Grammar of Technology Development,
Springer, Tokyo.
土橋俊人, 高須久, 椿広計 (1985). どう解析するかこのデータ, どう収集するかこの言語情報, 品質, 15(3),56-66.
VCP-Net 研究会 編著 (2014).『知の巡りをよくする手法の連携活用 — サービス・製品の価値を高める価
値創生プロセスのデザイン』（大藤正, 黒河英俊 監修）, 日本規格協会, 東京.
吉田民人 (2013).『近代科学の情報論的転回 プログラム科学論』（吉田民人論集編集委員会 編）, 勁草書房, 東京.

180

Proceedings of the Institute of Statistical Mathematics Vol. 67, No. 2, 165–180 (2019)

Grammar of Statistical Science and Logical Reasoning
Hiroe Tsubaki
The Institute of Statistical Mathematics

Although the standardized research process of science should be a statistical andquantitative exploration process in order to give appropriate laws to the Nature or societies, the main research process of science with program as an artiﬁcial and weak order
may be logical and qualitative, as suggested by Goertz and Mahoney (2012). From a statistical scientiﬁc point of view, I illustrate some situations in which the diﬀerence between
quantitative and logical processes is noticeable. I also discusses the possibility of unifying
the two scientiﬁc approaches along the Grammar of Science by Pearson (1892).

Key words: Grammar of science, program, law, quantitative research, qualitative research.

統計数理（2019）
第 67 巻 第 2 号 181–192©2019 統計数理研究所

創立 75 周年記念号［総合報告］

時系列解析における状態空間モデルの利用
北川 源四郎†（受付 2019 年 1 月 7 日；改訂 3 月 18 日；採択 3 月 26 日）

要旨

時系列解析において状態空間モデルは，統計的制御における最適制御則の導出や ARMA モ
デルの最尤推定など陽な形で解が得られない問題に対する解を求めるための逐次計算を実現するための計算手段として導入されたが，1980 年頃からは非定常時系列モデリング，非線形モデ
リング，信号分離，異常値処理，自己組織型モデリング，データ同化など，様々な時系列モデ
リングを統一的に取り扱うためのプラットフォームとしての役割りを果たしてきた．その一方
で，状態空間モデルに関連した状態推定のために，カルマンフィルタ，ガウス和フィルタ，非ガウス型フィルタ，粒子フィルタなどの様々なアルゴリズムが開発されてきた．
本項では，統計数理研究所の研究を中心に，状態空間モデルと関連する計算法およびその応用について概観する．
キーワード：状態推定，非定常モデル，非線形モデル，カルマンフィルタ，非ガウス型フィルタ，粒子フィルタ．
1.

状態空間モデルとカルマンフィルタによる状態の推定

線形・ガウス型状態空間モデルは，dm 次元時系列 yn の変動を下記のように 2 つのモデルで
表現する．
(1.1)

xn = Fn xn−1 + Gn vn （システムモデル）(1.2)

yn = Hn xn + wn

（観測モデル）

ただし，xn は dk 次元状態ベクトル，Fn , Gn , Hn はそれぞれ dk × dk , dk × d , dm × dk の行列である．vn ∼ N (0, Qn ) と wn ∼ N (0, Rn ) はそれぞれ d 次元および dm 次元の正規分布に従う
白色雑音でシステムノイズ，観測ノイズと呼ばれる．通常はこの線形・ガウス型状態空間モデ
ルのことを単に状態空間モデルと呼ぶことが多い．物理的なシステムでは，過去の情報は現在を経由して将来に伝えられるが，状態空間モデルにおいてはこの状態 xn だけが分かれば，時系列の将来の動きは予測できることになる．
状態空間モデルに関して，時系列 Yj = {y1 , . . . , yj } が与えられたとき状態 xn を推定する問題が状態推定である．観測値の最終時点 j と推定する状態の時刻 n の大小関係により，予測，フィルタ（n = j の場合）
，平滑化（n < j の場合）と区別される．時系列の予測，（n > j の場合）
制御，補間，パラメータ推定，成分分解などの問題のほとんどがこの状態推定を利用することによって統一的に解決できる．
†

東京大学 数理・情報教育研究センター：〒113–8556 東京都文京区弥生 2–11–16

182

統計数理

第 67 巻 第 2 号 2019

初期状態 x0 の分布が正規分布 N (x0 , V0 ) で与えられるとき，状態 xn の条件付き分布 p(xn |Yj )は正規分布となる．したがって，線形・ガウス型状態空間モデルに対しては，カルマンフィル
タによって効率的に条件付き平均 xn|j と分散共分散行列 Vn|j を求めることによって状態推定が実現できる（Anderson and Moore, 1979; 片山, 2005; 北川, 2005）．
このように，状態空間モデルを利用すると，時系列解析に用いられる様々なモデルを統一的に取り扱うことができ，しかも予測，平滑化，成分分解，パラメータ推定などに必要となる状
態推定をデータ数に比例する計算量で効率的に計算できる．当初は，統計的制御における最適制御則の導出や ARMA モデルの最尤推定など陽な形で最適解が得られない問題に対して，逐次計算によって解を求めるための計算手段として導入されたが，1980 年頃からは非定常時系
列モデリング，非線形モデリング，信号分離，異常値処理，自己組織型モデリング，データ同化など，様々な時系列モデリングの問題を統一的に取り扱うためのプラットフォームとしての役割りを果たしてきた．その一方で，状態空間モデルに関連した状態推定のために，カルマン
フィルタ，ガウス和フィルタ，非ガウス型フィルタ，粒子フィルタなどの様々なアルゴリズムが開発されてきた．
本項では，統計数理研究所の研究を中心に，状態空間モデリングの発展と関連する計算法およびその応用について概観する．
2.

線形定常時系列解析における状態空間モデルの利用

2.1 統計的制御
化学プラント，火力発電所や大型船舶のように巨大で強い外乱を受けるシステムの制御では，制御対象となるシステムのモデルを求めることが困難なために，最適制御理論の適用が困
は多変量 AR モデルを制御入力 rn を持つ状態空間モデル難であった．Akaike（1970）
xn = F xn−1 + Grn + vn

(2.1)

yn = Hxnで表現し，2 次評価基準の期待値(2.2)

J(x0 , r) = E

 L
 T

T
xn Qxn + rn−1
Rrn−1





n=1

を最小化する制御入力を決定する方式を提案した．この方法は，セメントの焼成炉や火力発電所ボイラーの制御や船舶のオートパイロットの設計に適用され実用化されたが（赤池・北川,，これが時系列解析における，状態空間モデル利用のさきがけ
1994, 1995; Ohtsu et al., 2015）となった．
2.2 時系列モデルの尤度計算とパラメータ推定
状態空間モデルに含まれる未知のパラメータを θ とし，長さ N の時系列 YN = {y1 , . . . , yN }が与えられるとき，時系列モデルの尤度は同時確率密度関数を用いて L(θ) = fN (YN |θ) と定義
される．ここで fn (Yn |θ) = fn−1 (Yn−1 |θ)p(yn |Yn−1 , θ) という分解を繰り返し適用して，dm 次
元の密度関数に分解していくと最終的には(2.3)

L(θ) =N

p(yn |Yn−1 , θ)n=1と表現できる．ただし εn = yn − Hn xn|n−1 , Σn = HnT Vn|n−1 Hn とするとき，p(yn |Yn−1 , θ) =

時系列解析における状態空間モデルの利用

183(2π)−m/2 |Σn |−1/2 exp{−εTn Σ−1n εn /2} である．したがって，一般に時系列モデルの対数尤度は(2.4) log L(θ) =Nlog pn (yn |Yn−1 , θ) = −

n=1

dm N
1  T −11
log |Σn | −εn Σn εnlog 2π −
2
2
2
N

N

n=1

n=1

によって与えられる．
ここで，xn|n−1 と Vn|n−1 はカルマンフィルタで得られるので，状態空間モデルで表現できる時系列モデルに対してはカルマンフィルタの副産物として，対数尤度が統一的かつ自動的に計算できることになる．時系列モデルのパラメータの最尤推定値を求めるためには，数値的最適化によりこの対数尤度を最大とするパラメータを求めればよい．
2.2.1 ARMA モデルの最尤推定
AR（自己回帰）モデルに対しては Yule-Walker 法のほか，Parcor 法（Burg, 1967），Householder最小二乗法（Akaike et al., 1975, 1979; Kitagawa and Akaike, 1978, 1981）などの多くの実用的な推定法が提案されている（北川, 2005）．これらは近似的な最尤推定量を与えるものと解釈でき
るが，ARMA モデルに対しては残差のフィードバックがあるために精度の良い同様の近似解を得ることができなかった．Box and Jenkins（1970）では，backcasting によってイノベーショ
ン系列を生成し，近似尤度を計算する方法が利用されている．
Akaike（1974, 1978）
は ARMA（m, ）
モデル
yn −

(2.5)

m


aj yn−j = vn −

j=1

(2.6)

0
⎢ ..
⎢
F =⎢ .
⎣ 0
ak

1
..
.
0
ak−1

bj vn−j ,j=1に対して H = [100 · · · 0]，Q = σ 2 ，R = 0，

⎡




···
..
.
···
···

⎤

⎡

⎤

0
1
⎢ r1 ⎥.. ⎥⎢⎥. ⎥⎥, G = ⎢ . ⎥
.
⎦
⎣
. ⎦
1
a1
rk−1

と定義することによって線形・ガウス型状態空間モデルで表現できることを利用して最尤推定を実現した．ここで，rj は ARMA モデルから定まるインパルス応答関数，k = max(m,  + 1) でではカルマンフィルタは用いられておらず，また Akaike（1978）
ある．ただし，Akaike（1974）
では，より高速な Morf et al.（1974）のアルゴリズムが用いられておよび Akaike et al.（1979）
いる．
2.3 欠測値の処理
欠測値の処理は統計学において重要な課題であり，EM アルゴリズムが利用されることが多い．しかしながら，状態空間表現とカルマンフィルタを用いると欠測値の処理は極めて明快か
つ簡単である（Jones, 1980）．観測値 yn が実際には観測されなかった場合には，Yn = Yn−1 となるので，p(xn |Yn ) = p(xn |Yn−1 ) が成り立つ．これは予測分布とフィルタ分布が等しいことを意味するので，ある観測値が欠測となった場合には，対応するフィルタのステップを省略するだけでよいことになる．
特に，欠測値を推定したい場合には，フィルタリングを行った後に，平滑化を行えば，その平滑化分布が欠測値の推定値を与えることになる．ただし，パラメータ推定などでは，欠測値の補間をする必要はなく，実際に観測されたデータだけを用いて尤度を計算することができ

統計数理

184

第 67 巻 第 2 号 2019

る．Kitagawa and Akaike（1981），北川（2005）には，顕著なスペクトルピークを持つ時系列の場合には，数 10 パーセントの欠測値があってもよいパラメータ推定や欠測値の補間ができる事が示されている．
2.4 不等間隔時系列
時系列が不等間隔に観測されている場合には，推定すべき信号が確率微分方程式で表される
連続時間のモデル
(k)

ft

(2.7)

(k−1)

= a1 ft+ · · · + ak ft + vt

によって生成されているものと仮定する．ただし，ft(k) は ft の k 階微分，vt はウィーナー過程 Wt の独立増分で分散 σ 2 とする．このとき，この不等間隔時系列は係数 a1 , . . . , ak から求められる遷移行列 Ft を用いて
xt = Ft−s xs + Gvt,s(2.8)

yt = Hxt + wtと状態空間表現が得られる．ただし，G = Ik , H = [10 · · · 0], xt = [ft , ft(1) , . . . , ft(k−1) ]T

 t

(2.9)

vt,s =

 t

Ft−u BdWu ,Cov(vt,s ) =ssT
Ft−u BB T Ft−uduである．これによって，確率微分方程式モデルを不等間隔データにあてはめることができる（Kitagawa, 1984）．特に，ft(k) = dWt というモデルを想定すると，不等間隔データの平滑化を行うことができる．
3.

非定常時系列解析への利用

においてベイズモデリングに基づく経済時系列の新しい季節
赤池は Akaike（1980a, 1980b）
調整法を提案した．季節調整法では時系列を(3.1)

yn = Tn + Sn + wnとトレンド成分 Tn ，季節成分 Sn ，不規則成分 wn の 3 つ以上の成分に分解するが，未知数がデータ数より多いために，通常の最小二乗法や最尤法では意味のある解が得られない．赤池は対数尤度関数にペナルティ項(3.2)

d2 (Tn − 2Tn−1 + Tn−2 )2 + r2 (Sn − Sn−12 )2 + z 2 (Sn + · · · + Sn−11 )2を付加した最小化問題を考え，更にベイズ型情報量規準 ABIC を導入することによって，新し．
い季節調整法を提案した（Akaike, 1980b）
この方法は，単に新しい季節調整法を開発したということに止まらず，データ数を超える大規模パラメトリックモデリングに適用可能な汎用的な方法を提供するものであり，現代的に言えば L2 正則化パラメータを客観的に決定する方法を提案したという意味で画期的であった．
この方法を季節成分がない最も簡単な場合について，モデルの観点から見直してみるとトレンド成分に関して(3.3)

Tn = 2Tn−1 − Tn−2 + vn ,vn ∼ N (0, τ 2 )yn = Tn + wn ,wn ∼ N (0, σ 2 )という 2 つのモデルを想定することと同等であることがわかる．この二つのモデルは 2 次元の

時系列解析における状態空間モデルの利用

185

状態空間モデルとして表現できることから，トレンド推定や季節調整の問題が状態空間モデル
によって解決できること，および平滑化パラメータ d2 が分散比 σ 2 /τ 2 に対応することを示唆している．
3.1 非定常時系列モデリングによる成分分解
一般に，状態空間モデルによる成分分解は次のように定式化できる．時系列 yn を次のように J 個の成分 x(j)n , j = 1, . . . , J と観測ノイズ wn に分解するものとする．
(J)yn = x(1)n + . . . + xn + wn

(3.4)

さらに，それぞれの成分 x(j)n は状態空間モデルで
(j)

(3.5)

(j)
x(j)
xn−1 + G(j) vn （システムモデル）
n = F

(3.6)

yn = H (j) xn + wn(j)と表現できるものとする．このとき，

⎡
⎢

⎤

F (1)

F =⎣

..

（観測モデル）⎡⎥⎢⎦, G = ⎣

.

⎤

G(1)
..

F (J)
(3.7)

⎥
⎦,

.
G(J)

⎡

(1)

⎤

xn
⎢ .. ⎥
xn = ⎣ . ⎦(J)xn

H = [H (1) , . . . , H (J) ]とおくと，時系列の変動を J 個の成分の和として表現する状態空間モデルが得られる．それぞれの成分モデルを具体的に定めることによって，成分分解のための具体的な状態空間モデルが(J)定まる．このモデルを用いて，時系列を J 個の成分 x(1)n , . . . , xn と観測ノイズ wn に分解する
ことができる．以下では，この方法にもとづく，季節調整法，時変分散の推定法，時変係数モデルの推定法について順次紹介する．
3.2 状態空間モデルによる季節調整
観測した時系列をトレンドと呼ばれる傾向成分と季節成分および偶然変動に成分分解する方法が季節調整法である．
トレンドの代表的モデルとしては，2 次のトレンドモデル tn = 2tn−1 − tn−2 + vn が用いられることが多い．一方，時系列の変動のうち毎年繰り返して現れる変動パターンが季節成分である．1 年周期の季節成分モデルとしては，sn = sn−12 + un が最も自然であるが，トレンドのモデルと共通の固有根を持つため，識別性がないことが知られている．そのため，このトレンドモデルから共通の固有根を除去することによって得られるモデル，すなわち 1 周期の合計がほぼ 0 になるとしたモデル
sn + · · · + sn−p+1 = vn , vn ∼ N (0, τ 2 )(3.8)

が利用される（北川, 2005）．この季節成分モデルの状態空間表現は

⎡

⎤

sn
⎢ sn−1 ⎥
⎢
⎥
x(2)
⎥,
n = ⎢ .
.
⎣ .
⎦sn−p+1(3.9)

H (2) = [1 0 · · · 0 ]

⎡

−1
⎢ 1
⎢

F (2) = ⎢

⎣

−1
..

···

.
1

−1

⎤

⎥
⎥
⎥,
⎦

⎡

⎤

1
⎢ 0 ⎥
⎢ ⎥
G(2) = ⎢ . ⎥ ,⎣ .. ⎦
0

統計数理

186

第 67 巻 第 2 号 2019

で与えられる．p は周期の長さで，月次データの
p = 12 である．

 1 年周期をモデル化する場合はF (1) OO F (2)

この標準的季節調整モデルは F =, G=

G(1) OO G(2), H = [H (1) , H (2) ] とすること

により状態空間モデルで表現できる．ただし，O は適当な次元の 0 行列である．状態空間モ
デルを利用する方法の特長は，この標準的な季節調整法を簡単に拡張や改良できることであり，曜日効果項や定常 AR 成分を含むモデルに容易に拡張することができる（Kitagawa, 1981;．
Gersch and Kitagawa, 1983; Kitagawa and Gersch, 1984, 1996; 北川, 2005）
3.3 時変係数 AR モデル
自己回帰モデル(3.10)yn =m

aj yn−j + wn , wn ∼ N (0, σ 2 )j=1

は定常時系列解析の標準的モデルとして利用されている（赤池・中川, 1972; 北川, 2005）．このAR モデルにおいて自己回帰係数 aj を時間とともに変化する係数 an,j で置き換えたものが時変係数 AR モデルである．ここで係数変化のモデルとしてランダムウォークモデル(3.11)

an,j = an−1,j + vn,j , vn,j ∼ N (0, τ 2 )を導入し，m 個の時変 AR 係数を縦に並べて状態ベクトルを xn = [an,1 , . . . , an,m ]T と定義すると，自己回帰モデルと係数の変化を表すランダムウォークモデルは状態空間モデルによって表現することができる．ただし，vn ∼ N (0, τ 2 Im )，（Im は m × m の単位行列）(3.12)

F = G = Im , Hn = (yn−1 , . . . , yn−m )である．したがって，時間変化する AR 係数をデータから推定することができる．また，推定された時変係数 aj,n から時間とともに変化するスペクトルを推定することができる（Kitagawa,．
1983）
3.4 時変分散モデル
時系列 yn は正規分布に従うが，その分散は時々刻々と変化し，yn = σn εn ，εn ∼ N (0, 1) となる場合を考える．このとき(3.13)

log yn2 = log σn2 + log ε2nとなるので，時変分散とノイズが分離される．ここで分散 σn2 の時間変化に，例えば，ランダ
ムウォークモデル(3.14)

2log σn2 = log σn−1
+ vnを仮定すると，この変換したデータのトレンドから時変分散を推定することができる．ただし，観測ノイズ log ε2n は二重指数分布に従うが，カルマンフィルタによる推定のためにはこれを正規分布で近似する必要がある（北川, 2005）．この方法は，地震波の分散の推定や，金融時系列の確率的ボラティリティの推定に用いられる．
4.

非線形・非ガウス型状態空間モデリング

状態空間モデルは様々なモデルを統一的に取り扱うことができ，しかも効率的な計算法が利用できる便利なモデリング・プラットフォームであったが，1980 年代の後半になると線形・ガ時系列解析における状態空間モデルの利用

187

ウス型モデルでは対応できない問題が多くなり，一般化した非線形・非ガウス型状態空間モ
デル
(4.1)

xn = Fn (xn−1 , vn ) （システムモデル）(4.2)

yn = Hn (xn ) + wn （観測モデル）が利用されるようになった．ここで，vn と wn はそれぞれ，確率密度関数 q(v)，r(w) に従う d
次元と dm 次元の白色雑音，Fn は dk 次元，Hn は dm 次元の非線形関数である．
ただし，モデルが非線形あるいはノイズの分布が非ガウス型の場合には，状態の分布は非ガウス型の分布となるので，直接カルマンフィルタを適用することができず，フィルタリングのためにはこれらの分布を何らかの形で近似することが必要である．非ガウス型の分布の近似法の違いによって様々なフィルタのアルゴリズムが得られている．
（1）正規近似による方法：非ガウス型の分布をひとつの正規分布で近似する方法で，非線形時系列モデルに適用できる拡張カルマンフィルタ（Anderson and Moore, 1979; 片山, 2011）が知られている．ただし，真の分布が 2 峰以上の場合には，よい近似は得られない．
m（2）混合正規近似による方法：非ガウス型の分布を p(xn ) = i=1 αin ϕi (xn ) と複数の正規分
布 ϕi の加重和で近似する方法である．この場合，モデルが線形であれば予測分布およびフィルタ分布もガウス分布の和で表現でき，しかもそれらのパラメータを m 個のカルマンフィル
タで計算できるという大きな利点がある（Kitagawa, 1994; Kitagawa and Gersch, 1996）．ただし，実際には，正規分布の項数が時間の進行とともに爆発的に増大するので，この方法の実装のためには各時間ステップで，項数の削減を行うことが不可欠である．
（3）数値的近似による方法：非ガウス型分布を多数の分点を持つ階段関数で近似するもので，分点数を増やせば任意の分布を高い精度で近似できる．非ガウス型フィルタ（Kitagawa, 1987;
北川, 2005) では，予測分布，フィルタ分布および平滑化分布を階段関数近似などを用いて数値的に表現し，状態推定の公式を数値積分などの数値計算によって実現している．計算機の高速化によって，この方法では，低次元の状態空間モデルに対しては，極めて精緻な結果を得ることができる．ただし，数値積分が必要なので 4 次元以上の連続状態の状態空間モデルに対しては適用が困難である．
（4）粒子近似による方法：粒子近似では，他の密度関数を近似する方法とは異なり，独立に生成されたとみなせる多数の粒子を用いて状態の分布を表現する．この近似に基づくフィルタとして粒子フィルタ（Gordon et al., 1993; Kitagawa, 1993, 1996）が提案され，複雑なモデルの場合でも実装が容易なために様々な問題に適用されている（Doucet et al., 2001）．ただし，必然的にサンプリング誤差を伴うので，少数の粒子を用いる場合には注意が必要である．粒子数の変化に伴う，粒子フィルタの精度の違いに関しては Kitagawa（2014）に詳しい．
4.1 非ガウス型分布モデル
状態空間モデルのノイズ項を適切な非ガウス型分布に変更することによって，正規分布モデ
ルとは異なる面白い結果が得られる．
4.1.1 構造変化の検出
システムノイズをコーシー分布や，ピアソン分布族などの裾の重い分布に変更することによって，トレンドや信号のジャンプが自動的に検出できる．混合ガウス分布や正規分布と一様分布の和なども利用される（Kitagawa, 1987, 1996; Kitagawa and Gersch, 1996）．

188

統計数理

第 67 巻 第 2 号 2019

4.1.2 異常値の検出
観測ノイズの分布に，コーシー分布や混合正規分布などを用いると異常値の影響を軽減で
き，ロバスト化が自動的に実現できる（Kitagawa and Matsumoto, 1996）．Kitagawa（1994）にはガウス和フィルタによって，季節調整などの高次元状態空間モデルに対しても混合正規分布を用いた異常値処理が可能であることが示されている．
4.1.3 非対称分布の利用：変動分散の推定
3.4 節で示した分散変動の推定では，二重指数分布 r(w) = exp(x − ew ) をこれと同じ平均，分散をもつ正規分布で近似していたが，非ガウス型フィルタあるいは粒子フィルタを用いると，二重指数分布をそのまま用いて，より正確に変動分散の推定値を求めることができる（北川,．
2005）
さらに分散 σn2 の時間変化が(4.3)

2
log σn2 = log σn−1
+ vnと表されるとき，状態を xn = log σn2 と定義すると，時系列の状態空間モデルは(4.4)

xn = xn−1 + vn
yn = exp(xn /2)wnと 表 さ れ る ．こ の よ う に ，時 変 分 散 モ デ ル は 一 般 型 の 非 線 形 状 態 空 間 モ デ ル に お い てF (x, v) = x + v ，H(x, w) = exp(x/2)w とおけばよい．
4.2 非線形平滑化
システムモデルが非線形の場合，従来は拡張カルマンフィルタによって状態を推定することが多かった．しかしながら，真の予測分布が多峰になることがある場合には，拡張カルマン
フィルタは全く見当違いの結果を与える場合があることが知られている．しかしこのような場
合でも，非線形モデルをそのまま利用して，非ガウス型フィルタあるいは粒子フィルタにより平滑化分布を求めると，真の状態の変化をよく再現できることが知られている（Kitagawa,．
1991; 北川, 2005）
4.3 自己組織型の状態空間モデル：状態とパラメータの同時推定，（1.2）
が未知パラメータ θ を含む場合，拡大した状態を zn = [xTn , θT ]T
状態空間モデル（1.1）と定義し，θ に対する時間変化のモデルを例えば θn = θn−1 + un と仮定すると，状態 zn に対する状態空間モデルが得られる．このモデルを用いた非線形フィルタ・平滑化によって，状態とパラメータの同時推定が実現できる（Kitagawa, 1998）．上記のモデルのノイズ項 un の分散を 0 とすると固定パラメータの推定，分散に正値を与えると時間的に変化するパラメータが推定できる．
4.4 離散過程
非ガウス型フィルタの導出過程を検討すると，状態 xn+1 および時系列 yn の条件付き分布が状態 xn だけで定まることが本質的であることがわかる．したがって，非線形・非ガウス型状
態空間モデルを更に一般化した一般化状態空間モデル(4.5)

xn ∼ qn (·|xn−1 ) （システムモデル）(4.6)

yn ∼ rn (·|xn )（観測モデル）時系列解析における状態空間モデルの利用189に対しても全く同様にフィルタを導出することができる．
この拡張したモデルを用いると，二項系列やポアソン系列などに従う離散系列も通常の時系
列と全く同じように取り扱うことができる．
4.5 データ同化
データ同化は観測データとの統合によりシミュレーションモデルを現実に合わせる方法であり，海洋学，気象学に止まらず多くの分野で使われるようになっている．逐次型のデータ同化
は，状態空間モデル観点からは極めて自然な方法であり，アンサンブル・カルマンフィルタあ
るいは粒子フィルタが利用されている（樋口 他, 2011）．
5.

まとめ

時系列解析は 1960 年代まではスペクトル解析などの周波数領域解析が中心であったが，1970
年代になるとフィードバックを持つ多変量システムの解析や制御のためには，時間順序を明示的に表現した時系列モデルの利用が必要であることが認識されるようになった．当初は，ARモデルや ARMA モデルなどの定常時系列モデルの同定や推定されたモデルを用いた分析や予測・制御の方法が個別に研究されていたが，状態空間モデルの導入により殆どの線形・定常時系列モデルが統一的かつ効率的に取り扱うことができるようになった．このような，モデリン
グの過程において情報量規準 AIC が指導原理として大きな役割を果たしたことは言うまでもない．
1980 年代に入ると，状態空間モデルの自由にモデルを合成できるというメリットを活かして様々なタイプの非定常時系列モデルが開発されたが，合成モデルは一種のベイズモデルであり，非定常時系列解析法の発展はベイズモデリングの発展と軌を一にしていたといえる．更に1990 年代になると，非線形性や非ガウス性を持った時系列の分析が重要になり，非線形・非ガウス型状態空間モデルが利用されるようになった．ただし，この場合には，従来のカルマンフィルタに替わって状態空間モデルが非線形の場合やノイズ分布が非ガウス型の場合でも適用できる新しいタイプの逐次フィルタおよび平滑化の方法が必要となった．その後，粒子フィル
タを始めとする統計計算法の開発によって，複雑なモデルを駆使した時系列解析が可能にな
り，状態空間モデルは広範な応用分野で利用されるようになっている．
ビッグデータが出現した現在では，データ同化などにおいて巨大な次元の状態空間モデルが必要になっている．今後は，そのような場合にも適用可能な計算法の開発だけでなく，データ
サイエンスの課題に即した新しいモデル形式自体の開発も期待される．

参

考

文

献

Akaike, H. (1970). Autoregressive model ﬁtting for control, Annals of the Institute of Statistical Mathematics, 23(2), 163-180.
Akaike, H. (1974). Markovian representation of stochastic processes and its application to the analysis
of autoregressive moving average processes, Annals of the Institute of Statistical Mathematics,
26(3), 363-387.
Akaike, H. (1978). Covariance matrix computation of the state variable of stationary Gaussian process,Annals of the Institute of Statistical Mathematics, 30, 499-504.
Akaike, H. (1980a). Likelihood and the Bayes procedure, Bayesian Statistics (eds. J. M. Bernardo etal.), 1-13, University Press, Valencia.

190

統計数理

第 67 巻 第 2 号 2019

Akaike, H. (1980b). Seasonal adjustment by a Bayesian modeling, Journal of Time Series Analysis,1(1), 1-13.
赤池弘次, 北川源四郎 編 (1994).『時系列解析の実際 I』, 朝倉書店, 東京.
赤池弘次, 北川源四郎 編 (1995).『時系列解析の実際 II』, 朝倉書店, 東京.
赤池弘次, 中川東一郎 (1972).『ダイナミックシステムの統計的解析と制御』, サイエンス社, 東京.
Akaike, H., Arahata, E. and Ozaki, T. (1975). TIMSAC-74, A time series analysis and control program
package-(1), Computer Science Monographs, No.5, The Institute of Statistical Mathematics,
Tokyo.
Akaike, H., Kitagawa, G., Arahata, E. and Tada, F. (1979). TIMSAC-78, Computer Science Monographs, No.11, The Institute of Statistical Mathematics, Tokyo.
Anderson, B. D. and Moore, J. B. (1979). Optimal Filtering, Prentice-Hall, Englewood Cliﬀs.
Box, G. E. and Jenkins, G. M. (1970). Time Series Analysis: Forecasting and Control, John Wileyand Sons, New Jersey.
Burg, J. P. (1967). Maximum entropy spectral analysis, Proceedings of 37th Annual International
Meeting, Society of Exploration Geophysics, Oklahoma City, Oklahoma, Oct. 31, 1967.
Doucet, A., De Freitas, N. and Gordon, N. (2001). Sequential Monte Carlo Methods in Practice,Springer, New York.
Gersch, W. and Kitagawa, G. (1983). The prediction of time series with trends and seasonalities,
Journal of Business and Economic Statistics, 1(3), 253-264.
Gordon, N. J., Salmond, D. J. and Smith, A. F. (1993). Novel approach to nonlinear/non-Gaussian
Bayesian state estimation, IEE Proceedings F (Radar and Signal Processing), 140(2), 107-113.
樋口知之, 上野玄太, 中野慎也, 中村和幸, 吉田 亮 (2011).『データ同化入門＝次世代のシミュレーション, 朝倉書店, 東京.
技術』
Jones, R. H. (1980). Maximum likelihood ﬁtting of ARMA models to time series with missing observations, Technometrics, 22(3), 389-395.
片山 徹 (2011).『非線形カルマンフィルタ』, 朝倉書店, 東京.
Kitagawa, G. (1981). A nonstationary time series model and its ﬁtting by a recursive ﬁlter, Journal ofTime Series Analysis, 2(2), 103-116.
Kitagawa, G. (1983). Changing spectrum estimation, Journal of Sound and Vibration, 89(3), 433-445.
Kitagawa, G. (1984). State space modeling of nonstationary time series and smoothing of unequally
spaced data, Time Series Analysis of Irregularly Observed Data, 189-210, Springer, New York.
Kitagawa, G. (1987). Non-Gaussian state space modeling of nonstationary time series, Journal of theAmerican Statistical Association, 82(400), 1032-1063.
Kitagawa, G. (1991). A nonlinear smoothing method for time series analysis, Statistica Sinica, 1(2),371-388.
Kitagawa, G. (1993). Monte Carlo ﬁltering and smoothing method for non-Gaussian nonlinear state
space model, Research Memo., No.462, The Institute of Statistical Mathematics, Tokyo.
Kitagawa, G. (1994). The two-ﬁlter formula for smoothing and an implementation of the Gaussian-sum
smoother, Annals of the Institute of Statistical Mathematics, 46(4), 605-623.
Kitagawa, G. (1996). Monte Carlo ﬁlter and smoother for non-Gaussian nonlinear state space models,
Journal of Computational and Graphical Statistics, 5(1), 1-25.
Kitagawa, G. (1998). A self-organizing state-space model, Journal of the American Statistical Association, 93(443), 1203-1215.
北川源四郎 (2005).『時系列解析入門』, 岩波書店, 東京.
Kitagawa, G. (2014). Computational aspects of sequential Monte Carlo ﬁlter and smoother, Annals of
the Institute of Statistical Mathematics, 66(3), 443-471.
Kitagawa, G. and Akaike, H. (1978). A procedure for the modeling of non-stationary time series, Annals

時系列解析における状態空間モデルの利用

191

of the Institute of Statistical Mathematics, 30(2), 351-363.
Kitagawa, G. and Akaike, H. (1981). On TIMSAC-78, Applied Time Series Analysis II (ed. D.
Findley), 499-547, Academic Press, Massachusetts.
Kitagawa, G. and Gersch, W (1984). A smoothness prior state space modeling of time series with trend
and seasonality, Journal of American Statistical Association, 79(386), 378-389.
Kitagawa, G. and Gersch, W. (1996). Smoothness Priors Analysis of Time Series, Lecture Notes in
Statistics, No.116, Springer, New York.
Kitagawa, G. and Matsumoto, N. (1996). Detection of coseismic changes of underground water level,
Journal of the American Statistical Association, 91(434), 521-528.
Morf, M., Sidhu, G.S. and Kailath, T. (1974). Some new algorithms for recursive estimation in constant,linear, discrete-time systems, IEEE Transactions on Automatic Control, AC-19, 315-323.
Ohtsu, K., Peng, H. and Kitagawa, G. (2015). Time Series Modeling for Analysis and Control: Advanced Autopilot and Monitoring Systems, Springer, Tokyo.

192

Proceedings of the Institute of Statistical Mathematics Vol. 67, No. 2, 181–192 (2019)

Use of a State Space Model in Time Series Analysis
Genshiro Kitagawa
Mathematics and Informatics Center, University of Tokyo

In time series analysis, the state space model was initially used as means for realizing
the maximum likelihood estimation of the ARMA model and for obtaining an optimum
gain in statistical control. Since 1980, it has played a role as a platform for handling various kinds of time series modeling, such as nonstationary time series modeling, nonlinear
modeling, signal extraction, missing-value processing, self-organizing state-space modelingand data assimilation. In pararell to the development of the use of the state-space model,
various algorithms extending the conventional Kalman filter, such as Gaussian-sum filter,
non-Gaussian filter, particle filter, etc. have been developed for state estimation of thegeneralized state-space model. In this article, we focus on the research of the Institute of
Statistical Mathematics, and outline the development of state-space models and related
calculational methods and their applications.

Key words: State estimation, nonstationary model, nonlinear model, Kalman ﬁlter, non-Gaussian ﬁlter, particle ﬁlter.

統計数理（2019）
第 67 巻 第 2 号 193–214©2019 統計数理研究所

創立 75 周年記念号［総合報告］

情報量規準 AIC の統計科学に果たしてきた役割
小西 貞則†（受付 2019 年 1 月 21 日；改訂 4 月 12 日；採択 4 月 25 日）

要旨

情報量規準 AIC は，導出の基本概念を尤度原理と Kullback-Leibler 情報量に置き，これを予測という視点から理論を展開したことが本質的であった．モデリングの過程におけるモデルの評価と選択は，多様なモデルとその推定法が提唱される度に問題が提起され，AIC の基本的考え方を理論的・実際的側面から研究することによって，新たなモデル評価基準の提唱へと繋がっていった．本論文では，AIC の果たしてきた役割を概観し，一般に情報量規準と呼ばれるモデル評価基準がどのように提唱されてきたかを述べる．また，ベイズアプローチに基づく予
測分布モデル等の評価を目的として提唱された，AIC に基礎を置く情報量規準についてもふれる．
キーワード：AIC，ABIC，BIC，DIC，GIC，PIC，TIC，WAIC．
1.

はじめに

データの背後にある現象の解明と予測・制御，そして新たな知識発見のための基礎的な役割を担う現象のモデリングに，本質的な役割を果たしてきたのが情報量規準 AIC（Akaike
である．Akaike（1973, 1974）の提唱した AIC は，最尤法によって推定
Information Criterion）（Kullback and Leibler,
したモデルを確率分布で表現し，その良さを Kullback-Leibler 情報量によって予測の視点から評価したことで，極めて適用範囲の広い柔軟な手法となり，諸1951）
分野の現象解明に大きく寄与してきた．赤池・北川 編（1994, 1995）や Bozdogan ed.（1994），
Parzen, Tanabe and Kitagawa（1998）には，自然科学はもとより社会科学の様々な分野で AICが情報抽出や予測・制御にどのように寄与したかを紹介している．また，赤池弘次博士の第 22回京都賞受賞を記念して 2007 年に出版された「赤池情報量規準 AIC」
（室田・土谷 編, 2007）には，自らの言葉で情報量規準 AIC 導入に至る経緯とその効果について述べている．
情報量規準 AIC は，候補として挙げたモデル集合の中で，近似モデルの良さを相対比較することを目的とし，導出の基本概念を尤度原理と Kullback-Leibler 情報量に置き，これを予測という視点から理論を展開したことが本質的であった．これは，統計科学の尤度原理と情報科学の情報理論を融合することによって，モデルの評価と選択に新たな方向性を提起したといえる．
蓄積されたデータに内包される有用な情報を抽出，活用するため，これまでに様々なモデルとモデルの推定法が提唱されてきた．モデルの推定法という観点からみると，確率分布で表現されたモデルを，最尤法，正則化法，L1 ノルム型正則化法，ベイズアプローチなど，それぞれの手法の特徴を考慮して推定する．さらに，モデリングの過程において重要な役割を果たすの†中央大学 理工学部：〒 112–8551 東京都文京区春日 1–13–27（現 九州大学大学院 数理学研究院：〒 819–0395

福岡市西区元岡 744）

統計数理

194

第 67 巻 第 2 号 2019

が，推定したモデルの評価と選択である．この問題に多くの研究者が取り組み，設定したモデルとその推定法に対応して AIC の基本理念を理論的・実際的側面から研究し，新たなモデル
評価基準の提唱へと繋がって行った．
本稿では，AIC 導出の理論をもう一度振り返ってみることから始め，一連のモデリングのプ
ロセスの中で，AIC の果たしてきた役割を概観し，一般に情報量規準と呼ばれるモデル評価基
準がどのように提唱されてきたかを述べる．2 節で AIC 導出の過程を整理し，情報量規準と呼ばれるモデル評価基準を定式化する．3 節で，多種多様なモデルと推定法に対応して，AIC 導
出の基本概念を展開して新たに提唱されたモデル評価基準について述べる．4 節では，ベイズアプローチによって構築されたモデルの評価を目的として，AIC の基本的な考え方に基づいて導出されたいくつかのモデル評価基準について述べる．5 節では，Akaike（1980b）の提唱した
ABIC（Akaike Information Criterion）
を紹介すると共に，AIC としばしば比較の対象として取との相違点等についてふれる．6 節では，モデル選択の不確り上げられる BIC（Schwarz, 1978）
定性とそれに対処する一つの方法である Akaike ウェイト（Akaike, 1978b, 1979; Burnham andについて述べる．
Anderson, 2002）
2.

情報量規準

現象解明のためのモデリングは，当該分野の知識とデータをもとにモデル集合を想定し，この中から現象発生の確率的メカニズムを最もよく近似するモデルを評価し選択する．本節では，このモデルの評価・選択という問題に対して，情報量規準がどのように定式化されてきたの基本的な考え方を踏襲して整理する．
かを，Akaike（1973, 1974）
2.1 AIC 導出の基本的考え方（確率分布関数 G(y)）に従って生
いま，データ y= {y1 , y2 , . . . , yn } は，未知の密度関数 g(y)成されたとする．データを発生した g(y) は，真の分布，あるいは真のモデルと考える．観測された有限個のデータ y に内在する情報を抽出するために，確率分布によって表現されたモデル集合 {f (y|θ); θ ∈ Θ ⊂ Rp } を想定し，モデルに含まれる p 次元パラメータベクトル θ を，推定量 θ̂ で置き換えた f (y|θ̂) で真のモデル g(y) を近似する．推定したモデル f (y|θ̂) は，データを発生した真のモデル g(y) との近さを測ることによってその良さを評価する．Akaike（1973,
は，分布間の距離を測る基準として Kullback-Leibler 情報量（K-L 情報量）を採用し，モデ
1974）
ルの評価を予測の視点から捉えることによって AIC 導出に繋げた．これは，以下のように述べることができる．
推定したモデル f (y|θ̂) とデータを発生した真のモデル g(y) との距離は，予測の視点を入れて K-L 情報量で測るとき，次の式で与えられる．



(2.1)

I{g(z), f (z|θ̂)} = EG log

g(Z)f (Z|θ̂)= EG [log g(Z)] − EG [log f (Z|θ̂)].

ここで，期待値は θ̂ = θ̂(y) を固定して真の分布 G に関してとる．予測の視点とは，データ yとは独立に，真の分布からランダムに採られた将来のデータ Z = z の従う分布 g(z) を，モデル f (z|θ̂) で近似したときの平均的な良さを測ることを意味する．
（2.1）式の K-L 情報量の右辺第一項 EG [log g(Z)] は，個々のモデルに依存せず一定であることから，第 2 項の期待対数尤度と呼ばれる EG [log f (Z|θ̂)] の値が大きいモデルほど真のモデルに近いといえる．期待対数尤度は，真のモデルに依存する未知の量である．そこで，n 個のデータを発生した未知の真の分布 G を，各データ点 yi に確率 1/n を付与した経験分布関数 Ĝ
で推定する．これは，離散型確率分布の期待値をとることから

情報量規準 AIC の統計科学に果たしてきた役割

195

1
1
log f (yi |θ̂) = log f (y|θ̂)nnnEĜ [log f (Z|θ̂)] =i=1となり，モデル f (y|θ̂) の対数尤度 n (θ̂) = log f (y|θ̂) が求まる．したがって，モデルの対数尤
度は期待対数尤度 (×n) の一つの推定量である．
しかし，対数尤度は期待対数尤度（×n）の推定量ではあるが，データ y とは独立に真のモデ
ル g から発生した将来のデータ z に基づく対数尤度 f (z|θ̂(y)) ではなく，モデルの推定に用いたデータ y を再び利用した f (y|θ̂(y)) で推定していることから，推定のバイアス(2.2)

log f (y|θ̂(y)) − nEG [log f (Z|θ̂(y))]

を生じる原因となっている．これは，一般に log f (z|θ̂(y)) < log f (y|θ̂(y)) となることからも分
かる．
（2.2）式は，ある特定のデータ y に対するバイアスであるが，大きさ n のデータを g から繰り返し抽出したときの平均的なバイアスは(2.3)

b(G) = EG(y) [log f (Y |θ̂(Y )) − nEG(z) [log f (Z|θ̂(Y ))]]

nで与えられる．ここで，期待値は Y の同時分布 i=1 g(yi ) に関してとる．したがって，このバイアスを何らかの方法で求めて，もし，バイアスがデータを生成した真の確率分布 G に依存していれば，b(G) の一致推定量 b̂(G) で対数尤度のバイアスを補正した n (θ̂) − b̂(G) が期待対数尤度（×n）の推定量として求まる．一般に，−2 を掛けた
(2.4)

IC = −2 log f (y|θ̂) + 2b̂(G)を，K-L 情報量の推定量として導かれたモデル評価基準であることから情報量規準という．IC
値が小さいモデルほど K-L 情報量の値も小さく，真のモデルに近いといえる．
情報量規準 AIC は，最尤法によって推定したモデル f (y|θ̂M L ) を評価するための基準で，期の近似推定量として導かれ，次の式で与えられた．
待対数尤度（×(−2n)）(2.5)

AIC = −2 log f (y|θ̂M L ) + 2 （モデルの自由パラメータ数）

ただし，θ̂M L は θ の最尤推定量とし，log f (y|θ̂M L ) は n 次元データベクトル y に基づくモデ
ルの最大対数尤度である．最大対数尤度で期待対数尤度を推定したとき，平均的にどの程度過式のバイアスが，結果としてモデルの自由パラメータ数と一致
大に推定しているかを表す（2.3）
することを示している．AIC の値を最小とするモデルを選択する方法は，AIC 最小化法と呼ばれている．
多数のパラメータで特徴付けられたモデルほど，観測したデータへのモデルの当てはまりは
よい．しかし，複雑すぎるとモデルは将来の現象予測に有効に働かない．AIC は予測の観点から最適なモデルを選択するための評価基準で，モデルのデータへの適合度を最大対数尤度
log f (y|θ̂M L ) で捉え，モデルの自由パラメータ数をモデルの複雑さに対するペナルティとして組み込んでいるといえる．
2.2 情報量規準の定式化（2.3）式のバイアス補正項 b(G) は，モデルを最尤法で推定するか，あるいは正則化法などで推定するかによって，また真のモデルと想定したモデルの関係をどう捉えるかによって異なる形をとる．いま，最尤法で推定したモデルを f (y|θ̂M L ) とする．このとき，（2.3）式のバイアス
b(G) は，最尤推定量の漸近的性質（例えば，小西・北川, 2004, p.42）を用いると，データ数 nに対して漸近的に b(G) = tr{J −1 (G)I(G)} となる．ただし，J(G), I(G) は次式で定義される

統計数理

196

第 67 巻 第 2 号 2019p × p 行列とし，式中 ∂/∂θ = (∂/∂θ1 , . . . , ∂/∂θp )T は転置ベクトルを表す．
(2.6)

J(G) = −EG 2

∂ log f (Z|θ),∂θ∂θ TI(G) = EG∂ log f (Z|θ) ∂ log f (Z|θ)
.
∂θ
∂θ T

ˆ
ˆ
I(G)
いま，J(G),
をそれぞれ J(G), I(G) の一致推定量とすると(2.7)

TIC = −2nˆ
log f (yi |θ̂M L ) + 2tr{Jˆ−1 (G)I(G)}i=1が求まる．これは，竹内（1976）
によって与えられ，情報量規準 TIC と呼ばれている．
ここで，想定したパラメトリックモデル {f (y|θ); θ ∈ Θ} の中に真のモデル g(y) が含まれる，) F (y|θ0 )）となるものが存在すると仮定する．
すなわち，ある θ0 ∈ Θ に対して g(y) = f (y|θ0（
式の期待値を G = F でとると J(F ) = I(F ) が成立し tr{J −1 (F )I(F )} = p とこのとき，（2.6）
なり，情報量規準 AIC が導かれる．I(F ) はフィッシャー情報行列である．AIC は，TIC の漸近バイアスをモデルの自由パラメータ数で近似した評価規準であるといえる．導出の詳細は，，Konishi and Kitagawa（2008, Chapter 3）を参照されたい．
小西・北川（2004, 3 章）
Akaike（1974）の論文では，想定したモデル集合の中に真のモデルは含まれていないという仮定のもとで AIC 最小化法を議論し，データを発生した真のモデルの近傍に適切にパラメト
リックモデルを想定すれば，最尤法に基づくモデルの対数尤度のバイアスはモデルの自由パラメータ数で近似できると述べている．これによって，情報量規準 AIC は，個々のモデルに対し
ˆを解析的に導出する必要がなくなり，また，パラメータ数 pて漸近バイアス tr{Jˆ−1 (G)I(G)}は当然未知の確率分布 G にも依存しないことから，バイアスの推定による変動も取り除かれ，
適用上極めて柔軟な手法となったといえる．
情報量規準の構成においては，モデル f (z|θ̂) の期待対数尤度 EG [log f (Z|θ̂)] を予測の観点から推定することが本質的であった．これは，観測データ y に基づいて構築したモデルを，真のモデルからランダムに抽出した将来のデータ z でモデルを評価するという考え方を定式化したことで実現した．同様に，予測の観点から種々の予測誤差を捉えることを可能とした極めてによるクロス・バリデーション（Cross-Validation; 交差検証
汎用性の高い手法が，Stone（1974）
法）
である．
クロス・バリデーションは，観測データ y のみに基づいて予測の観点からモデルを評価する方法で，モデルの推定に用いるデータとモデルの評価に用いるデータを分離して行う．クロス・バリデーションによると期待対数尤度は，
(2.8)

n


(−i)

log f (yi |θ̂M L )

i=1
(−i)
と推定される．ただし，θ̂M
L は，n 個の観測データの中から i 番目のデータ yi を取り除いた

残りの (n − 1) 個のデータに基づく最尤推定値とする．Stone（1977）は，クロス・バリデーショ
ンによるモデル評価基準と AIC は漸近的に同等であることを示した．その証明は，候補モデ
ル集合の中に真のモデルは含まれていないという仮定のもとで行っており，導出の過程で（2.7）
式の TIC を与えている．
一般に，K-L 情報量に基づいて予測の視点から導かれる AIC タイプの情報量規準は，期待対数尤度の推定量を求める問題に帰着される．同様に，期待対数尤度を予測の視点からクロス・式であった．このことから，Konishi and Kitagawa
バリデーションによって推定したのが（2.8）（2008, p.245）は，次節で述べる汎関数理論を用いることによって，AIC タイプの情報量規準はクロス・バリデーションと漸近的に同等であることを示した．

情報量規準 AIC の統計科学に果たしてきた役割

197

Sugiura（1978）
は，ガウス型線形回帰モデルに対して，真のモデルが想定したモデルに含ま式の期待対数尤度のバイアスを精密に求め，修正情報量規準 AICc と呼ばれる場合に，（2.3）
れる評価基準を提唱した．Hurvich and Tsai（1989），Fujikoshi and Satoh（1997），藤越・杉山，McQuarrie and Tsai（1998）
等は，時系列モデル，多変量回帰モデルに対して正規性の（2012）
仮定のもとでバイアス補正項を求めて，AIC を修正した形の情報量規準を提案している．修正
情報量規準は，正規性等の条件下で求められているが，パラメータ数 p に比べてデータ数 n がそれほど多くないときは，実際上有効であることが数値的に検証されている（例えば，Burnham．
and Anderson, 2002 を参照されたい）
3.

最尤法の枠組みを外した情報量規準

では，ロバスト推定，正則化最尤法など，最尤法を含むより広いクラスの推定法によって構築されたモデルの評価を可能とする情報量規準は，どのように構成すればよいであろうか．本
節では，K-L 情報量の推定量として導かれたいくつかの情報量規準について述べる．
3.1 一般化情報量規準 GIC
最尤法を含むより広いクラスの推定法で構築したモデルの評価を，統計的汎関数に基づくアプローチによって可能にしたのが，一般化情報量規準 GIC（generalized information criterion:
である．
Konishi and Kitagawa, 1996）
データを発生した真のモデル g(y) は，候補モデル集合 {f (y|θ); θ ∈ Θ ⊂ Rp } に含まれないとする．このとき，モデルのパラメータは g(y)(G(y)) に従って発生したデータによって推定される．そこで，一般にパラメータ θi の推定量 θ̂i は，確率分布 G の実数値関数，すなわちある統計的汎関数 Ti (G) が存在して，n 個のデータそれぞれに等確率 1/n をもつ経験分布関数 Ĝ に対して θ̂i = Ti (Ĝ)(i = 1, 2, . . . , p) で与えられるとする．この Ti (G) を第 i 要素とする p 次元汎関数ベクトルを T (G) = (T1 (G), . . . , Tp (G))T とすると，p 次元推定量は θ̂ = T (Ĝ) で与えられnる．例えば，標本平均 y n = n−1 i=1 yi を定義する汎関数は Tμ (G) = ydG(y) であり，この
汎関数 Tμ によって y n = Tμ (Ĝ) = ydĜ(y) で与えられることが分かる．標本数 n を無限大とすると，経験分布関数 Ĝ は真の分布 G に法則収束することから，θ̂ = T (Ĝ) は θ = T (G) に対して一致性をもつ推定量である．
一般化情報量規準 GIC は，f (y|θ) のパラメータを汎関数で定義される推定量 θ̂ = T (Ĝ) で置き換えたモデル f (y|θ̂) の評価基準で，次の式で与えられた．
(3.1)

GIC = −2

n

i=1

2
log f (yi |θ̂) +
tr
n
n

i=1



T (1) (yi ; Ĝ)∂ log f (yi | θ)
∂θ T
θ=θ̂

.

ただし，T (1) (y; Ĝ) は，その第 i 要素 T (1) (y; Ĝ) が次の式で与えられる点 Ĝ での汎関数微分で，p 次元経験影響関数ベクトルと呼ばれる．
(1)

Ti (y; Ĝ) = lim

→0Ti ((1 − )Ĝ + δy ) − Ti (Ĝ).


ここで，δy は点 y 上に確率 1 をもつ分布とする．影響関数は，ロバスト推定において，分布のわずかな変化に対して推定値がどれだけ変化するかを調べるために用いられた（Huber, 1981;．
Hampel et al., 1986）
一般化情報量規準 GIC は，最尤法をはじめとしてロバスト推定法，様々な L2 ノルム正則化
項をもつ正則化最尤法などによって推定されたモデルの評価を可能とするモデル評価基準である．これらの推定量は，一般に標本空間とパラメータ空間の直積空間上で定義された実数値関

統計数理

198

第 67 巻 第 2 号 2019

数 ψi (y, θ) に対して，次の同時方程式の解 θ̂ として与えられる．
n


(3.2)

ψj (yi , θ̂) = 0,

j = 1, 2, . . . , p.

i=1

ここで，ψ= (ψ1 , ψ2 , . . . , ψp )T とベクトル表示して，これを ψ-関数と呼ぶ．最尤推定量 θ̂M L ,正則化最尤推定量 θ̂R は，それぞれ(3.3)

ψM L (y, θ) =∂ log f (y|θ),∂θψR (y, θ) =∂{log f (y|θ) − λR(θ)}∂θとしたときの解である．ただし，R(θ) は正則化項，λ > 0 は正則化パラメータと呼ばれ，モデルのデータへの適合度と当てはめたモデルの滑らかさを連続的に調整する役割を果たす．
（3.1）
式の GIC の影響関数は
この ψ-関数に対して，
T (1) (y, G) = J(ψ, G)−1 ψ(y, G)(3.4)

で与えられる．ただし，J(ψ, G) は，次式で与えられる p × p 行列で，（2.6）式の行列 J(G) に相当する．

J(ψ, G) = −EG∂ψ(Z, θ)T
∂θ



.

ここで，
（3.4）式の影響関数を（3.1）
式の GIC へ代入すると，（3.2）式の同時方程式の解として与えられる推定量 θ̂ に基づくモデル f (y|θ̂) の評価基準(3.5)

GICR = −2n

log f (yi |θ̂) + 2tr{J(ψ, Ĝ)−1 I(ψ, Ĝ)}i=1が求まる．ただし，I(ψ, G) は

I(ψ, G) = EG ψ(Z, G)∂ log f (Z|θ)∂θ T

で与えられる p × p 行列で，これは（2.6）
式の行列 I(G) に対応する．
情報量規準 GICR のバイアス補正項の推定値は，一般に実数値関数 h(z|θ) の期待値 EG [h(Z|θ)]n（θ = T (G)）を，経験分布関数 Ĝ に関する期待値 EĜ [h(Z|θ̂)]= n−1 i=1 h(yi |θ̂)（θ̂ = T (Ĝ)）で推定した結果を用いている．
式の ψM L を
（3.5）式へ代入すると最尤法に基づく TIC が求まる．
特別な場合として，（3.3）
さらに，Fisher 一致性の概念 (T (Fθ ) = θ; Fθ = F (y|θ)) を適用することによって，M 推定などのロバスト推定に対しても AIC のバイアス補正項であるモデルの自由パラメータ数に対応する結果が求まり，AIC は M 推定量に基づくモデルの評価基準へと自然に拡張される（小西・北川, 2004, p.77; Konishi and Kitagawa, 2008, p.131）．GIC の導出とその応用および精密化については，Konishi and Kitagawa（1996），Konishi（1999, 2002），Konishi and Kitagawa（2003），，Konishi and Kitagwa（2008, Chapter 5）を，統計的汎関数については，
小西・北川（2004, 4 章）
von Mises（1947），Fernholz（1983）などを参照されたい．
確率過程に対する情報量規準は，Uchida and Yoshida（2001, 2004）によって与えられた．Lv
は，モデル集合を一般化線形モデル（McCullagh and Nelder, 1989）として，候and Liu（2014）
補モデル集合の中には真のモデルは含まれないという仮定のもとで，AIC タイプのモデル評価
式の行列 J, I に対応するものを一般化線形モデルのもとで求め基準を求めた．結果は，（2.6），Shen, Huang and Ye（2004）ているが，GIC の特別な場合と考えられる．Shen and Ye（2002）

情報量規準 AIC の統計科学に果たしてきた役割

199

は，それぞれガウス分布と指数型分布族に対して，期待対数尤度の近似的に不偏な推定量として導いた適応型モデル評価基準を提唱した．これらは，AIC 導出の基本概念から導かれたものであるが，汎用性という点では問題が残る．
3.2 正則化法と平滑化パラメータの選択
非線形回帰モデルの関数推定に対しては，最尤法は有効に機能しない場合が多く，このため
対数尤度に曲線（曲面）の局所変動の程度を考慮に入れた正則化最尤法（罰則付き最尤法）が用いられる．その際，平滑化パラメータ（正則化パラメータ）がモデルの複雑さの程度を調整し，データへの過適合による汎化能力の低下を抑制する働きをする．本節では，非線形回帰モデリ
ングの過程で本質的な平滑化パラメータの選択に用いられてきたモデル評価基準について述べる．
いま，目的変数 y と p 次元説明変数 x に関して観測された n 組のデータ集合に，回帰モデ
ル y = u(x; β) + ε を当てはめるとする．現象の平均構造を捉える回帰関数 u(x; β) に対して，
スプライン，B-スプライン，動径関数などを仮定してモデル化する．これらのモデルを統一的に表すと，回帰関数を非線形関数 bj (x) の線形結合とした
(3.6)

y=

m


βj bj (x) + ε,ε ∼ F (ε)

j=1で与えられ，基底展開法に基づく非線形回帰モデルと呼ばれる（例えば，Hastie, Tibshirani and．
Friedman, 2009, 5 章; 小西, 2010, 3 章）
基底展開に基づく非線形回帰モデルは，対数尤度関数にペナルティ項（正則化項）を課した正則化最尤法，すなわち log f (y|β) − λRn (β) の最大化によって推定する．正則化項 Rn (β) としては，関数の曲率を考慮した 2 階微分の積分の離散近似，パラメータ β の差分や 2 乗和等が説明変数の次元と分析目的に応じて用いられる（小西・北川, 2004, p.92）．正則化法は，Goodによって密度推定の枠組みで提唱され，その後，縮小推定量や本稿 5 節でand Gaskins（1971）
述べるように，ベイズモデルとの関係が明らかにされた（Akaike, 1980b; Kitagawa and Gersch,．
1984, 1996; Shibata, 1989）
正則化最尤法によって推定したモデルの複雑さの程度は，平滑化パラメータ λ に加えて基底関数の個数 m にも依存する．そのため，平滑化の程度を調整するこれらのパラメータの値を決める問題をモデル選択として捉え，AIC に基づく様々なモデル評価基準が提唱された．
Hastie and Tibshirani（1990）
は，AIC のバイアス補正項である自由パラメータ数を，基底関数の個数と平滑化パラメータを含む有効自由度（eﬀective degrees of freedom）で置き換えたモデ
ル評価基準を提唱した．その後，ガウス型線形回帰モデルの枠組みで求められた修正情報量規に含まれる変数の個数を有効自由度で置き換えた評価基準も提唱され
準 AICc（Sugiura, 1978）
た（Hurvich, Simonoﬀ and Tsai, 1998, 等）．しかし，限られた設定のもとでの数値比較の有効性は認められるが，理論的整合性には課題が残る．
（3.5）式のこれに対して，汎関数の枠組みで導出した GIC の特別な場合として与えられた
GICR へ，正則化最尤推定量を与える（3.3）
式の ψR を代入すると，平滑化パラメータ λ をもつ正則化最尤法に基づくモデルの評価基準が求まる．この結果を用いて，基底展開法に基づく
非線形回帰モデルを正則化最尤法によって推定したときの平滑化パラメータの選択，基底関数の個数を決める評価基準を導出してモデリングに組み込んだ解析手法が提案された（Imoto andKonishi, 2003; Ando, Konishi and Imoto, 2008; Kawano and Konishi, 2011; Tateishi and Konishi,. また，GICR は，関数2011; Kawano, Misumi and Konishi, 2012; Park and Konishi, 2017 等）において，経時的に観測・測定されたデータの関数
データ解析（Ramsay and Silverman, 2005）

200

統計数理

第 67 巻 第 2 号 2019

化にも適用された（Araki et al., 2009a, 2009b; Kayano, Dozono and Konishi, 2010; Matsui and．
Konishi, 2011 等）
AIC に基づくモデル評価基準は，一般化加法モデル GAM（generalized additive model; Hastie
における Wood, Pya and Säfken（2016）や混合効果モデルに対する Liang,
and Tibshirani, 1990），Yu and Yau（2012），Misumi and Konishi（2016）など，様々な手法のモデ
Wu and Zou（2008）
リングの過程で用いられて，モデルの評価と選択に貢献してきた．
Shibata（1989）
は正則化法によるモデルとその評価について議論し，Regularized Information（RIC）を提唱した．Murata, Yoshizawa and Amari（1994）は，ニューラルネットワーク
Criterion
モデルの最適なパラメータ数，あるいは隠れ層の個数の決定を目的とした Network Information（NIC）を提唱した．さらに，正則化項を考慮した損失関数に基づくモデルの推定と評
Criterion
価を議論している．これらは，それぞれのモデリングの目的に合わせて，AIC 導出の基本的な考え方を踏襲して提唱されたモデル評価基準である．
3.3 スパースモデリング
データ数に比してモデルのパラメータ数が大幅に上回る大規模モデリングでは，モデルの推定とモデルの評価を分離して行うことの限界が指摘された ．一つは，候補となるモデルが多数に上ることによる計算量の限界，一つはモデル選択の信頼性（Brieman, 1996）などが挙げられる．このような状況の中で回帰モデリング，特に，線形回帰モデルの推定と変数選択に新たな（least absolute shrinkage and selection operator; Tibshirani, 1996）で方向性を示したのが，lassoの和を正則化項として付与した推定あった．これは，損失関数に回帰係数の絶対値（L1 ノルム）法で，その特徴はモデルの推定と変数選択を同時に実行できる点にあった．このため，高次元線形回帰モデルに対する有効なモデリングとして注目を集め，様々な L1 型正則化線形回帰モ
デリング（スパースモデリング）の研究が急速に進展した（川野 他, 2010; Konishi, 2014, Section．
2.3; Hastie, Tibshirani and Wainwright, 2015; 廣瀬, 2016; 川野・松井・廣瀬, 2018 等）
スパースモデリングでは，調整パラメータ λ の値の増加に伴って，回帰係数の推定値は 0 へと縮退する．基本的には，調整パラメータの値を与えたもとでモデルをスパース推定し，その結果 0 でない回帰係数の推定値に対応する説明変数の個数をモデルの自由パラメータ数として
AIC や 5 節
（5.2）
式の BIC を用いて評価するプロセスを繰り返すことは可能である．この方法に対して，様々なスパース推定法の特徴，データ数とパラメータ数との関係やモデル選択の一
致性等を考慮した理論研究が進展し，新たなモデル評価基準が提唱された．
Efron et al.（2004），Zou, Hastie and Tibshirani（2007）は，Stein のリスク不偏推定の枠組み
で lasso に対してモデルの自由度を与え，AIC, BIC, Mallows（1973）の Cp に基づいた評価基準
は微分幾何学的アプローチによって，より広い lasso タイプの自由度を検討した．Kato（2009），Efron（2004）を併せての不偏推定について議論した．モデルの自由度については，Ye（1998），Fan and Tang（2013）は，AIC のバイアス項の 2 と参照されたい．Zhang, Li and Tsai（2010）
対応する BIC の log n を，データ数 n に依存する正の実数列で置き換えてモデルの複雑さを制御することで，調整パラメータの選択を議論している．Hirose, Tateishi and Konishi（2013）
は，様々なスパース回帰モデリングに対する自由度を数値的に計算するアルゴリズムを提唱
し，AIC, 修正情報量規準 AICc ，BIC, Mallows’ Cp などに基づくモデル評価基準による調整
パラメータの選択法を与えた．Ninomiya and Kawano（2016）と Umezu et al.（2019）は，それ，SCAD（smoothly clipped absolute deviation;
ぞれ lasso と bridge（Frank and Friedman, 1993）
Fan and Li, 2001）などの非凸正則化法に対して，一般化線形モデルの枠組みで AIC 導出の基本概念に基づいてモデル評価基準を提唱した．
BIC は，候補モデル集合に真のモデルは含まれているとしたとき一致性をもち，しかも AIC

情報量規準 AIC の統計科学に果たしてきた役割

201

よりはより単純なモデルを選択する傾向にある．このような理由により，スパースモデリングの調整パラメータの選択に，BIC をもとにしたモデル評価基準が提唱されている．Wang, Li
は，SCAD の調整パラメータの選択に対して（5.2）式の BIC の自由パラメータand Tsai（2007）
数をモデルの自由度で置き換えた評価基準を提唱した．Wang, Li and Leng（2009）は，lasso，
SCAD を含む L1 正則化法に対して，BIC を基準とした調整パラメータ選択法に対して理論的整合性を議論している．
3.4 ブートストラップ情報量規準
前節までに述べた情報量規準は，データ発生の確率構造とモデル推定に関して，それぞれ異なる条件下で漸近理論に基づいて導出された．それに対して，ブートストラップ情報量規準
は，個々のモデルの対数尤度のバイアスをブートストラップ法（Efron, 1979）を適用して数値的．
に近似したものである（Ishiguro, Sakamoto and Kitagawa, 1997; Konishi and Kitagawa, 1996）
なお，本節ではデータ y とブートストラップ標本 y ∗ の違いをモデルの中で示すため，推定量θ̂ を θ̂(y) と表す．
情報量規準構成においては，推定したモデル f (y|θ̂(y)) の期待対数尤度 nEG [log f (Z|θ̂(y))]
を対数尤度 log f (y|θ̂(y)) で推定したときのバイアスの補正が本質的であった．ブートストラッ
プ法の基本的な考え方は，未知の確率分布 G からの標本 y = {y1 , . . . , yn } に基づく推測過程
を，データから推定した既知の確率分布である経験分布関数 Ĝ からの標本であるブートスト
ラップ標本 y ∗ = {y1∗ , . . . , yn∗ } に置き換えて実行する点にある．このため，ブートストラップ標本 y ∗ に基づいて推定したモデルを f (y|θ̂(y ∗ )) とする．
次に経験分布関数を真の分布としたときの f (y|θ̂(y ∗ )) の期待対数尤度は，Ĝ が n 個の各データに等確率 1/n をもつ離散型確率分布の確率分布関数であることから
1
1
log f (yi |θ̂(y ∗ )) = log f (y|θ̂(y ∗ ))nnnEĜ [log f (Z|θ̂(y ∗ ))] =log f (z|θ̂(y ∗ ))dĜ(z) =i=1となる．一方，期待対数尤度の一つの推定量である対数尤度は，モデルをブートストラップ標
本によって推定し，推定したモデル f (y|θ̂(y ∗ )) の評価を再びブートストラップ標本を用いて行うことから，log f (y ∗ |θ̂(y ∗ )) で与えられる．従って，ブートストラップ法によって期待対数尤
度を対数尤度で推定したときのバイアスは，EĜ [log f (y ∗ |θ̂(y ∗ )) − log f (y|θ̂(y ∗ ))]と推定される．
（経験分布関数）であることを利用して，モンテカルロ法
この期待値は，Ĝ が既知の確率分布
によって数値的に近似できるところにブートストラップ法の最大の特徴がある．すなわち，経験分布関数からの大きさ n の標本の反復抽出とは，観測データからの大きさ n の標本の復元
抽出の反復と同値（小西・越智・大森, 2008, p.9）であることを利用して
1 {log f (y ∗ (i)|θ̂ ∗ (i)) − log f (y|θ̂ ∗ (i))} := bB (Ĝ)B
B

b(Ĝ) ≈

i=1∗と近似する．ただし，y (i) は i 番目のブートストラップ標本，θ̂ ∗ (i) は i 番目のブートスト
ラップ標本に基づく推定値とする．このとき，対数尤度のバイアスを補正した情報量規準 EIC（extended information criterion）
は，

202

統計数理

(3.7)

EIC = −2

第 67 巻 第 2 号 2019n
log f (yi |θ̂) + 2bB (Ĝ)

i=1で与えられる．
ブートストラップ法は，実行プロセスの中で解析的アプローチを，観測データ自身を反復抽出（リサンプリング）するというモンテカルロ計算法で置き換えたことにより，極めて緩やかな仮定のもとで，より複雑な問題に適用できる柔軟な統計手法となった．しかし，バイアス推定の標本変動に加えて，ブートストラップリサンプリングによる変動が生じることから，バイア
ス項の差異でモデルの違いを見るときには十分注意を払う必要がある．このブートストラップ，Kitagawa
バイアス推定の確率変動を減少させるための方法が，Konishi and Kitagawa（1996）
によって提案された．また，Konishi and Kitagawa（1996）は，ブートスト
and Konishi（2010）
ラップバイアス推定および変動減少法の理論的整合性を汎関数の枠組みで証明した．
4.

ベイズモデルの評価基準

本節では，ベイズアプローチによって構築されたモデルの評価を目的として，AIC 導出の基
本的な考え方を踏襲して提唱されたいくつかのモデル評価基準について述べる．
データ y を発生した真のモデル g(y) に対して，想定したモデル集合を {f (y|θ); θ ∈ Θ ⊂ Rp }とし，パラメータベクトル θ の事前分布を π(θ) とする．このとき，データ y に対する θ の事
後分布は，
f (y|θ)π(θ)(4.1)
π(θ|y) = f (y|θ)π(θ)dθである．さらに，真のモデル g からランダムに抽出された将来のデータ z に対して，データ yを与えたもとで，モデル f (z|θ) の事後分布に関する期待値(4.2)

h(z|y) = Eπ(θ|y) [f (z|θ)] =f (z|θ)π(θ|y)dθとして与えられるのが予測分布である．
4.1 ベイズ予測分布の情報量規準
予測分布モデルの評価を K-L 情報量に基づいて行うとき，期待対数尤度 EG [log h(Z|y)] の推定が本質的となる．AIC の場合と同様に未知の確率分布 G を経験分布関数 Ĝ で置き換える
nと，EĜ [log h(Z|y)]= n−1 i=1 log h(yi |y) = n−1 log h(y|y) が求まる．従って，予測分布モデルの期待対数尤度を対数尤度で推定したときのバイアスはbpred (G) = EG(y) [log h(Y |Y ) − nEG(z) [log h(Z|Y )]]で与えられ，バイアスを補正した(4.3)

ICpred = −2 log h(y|y) + 2bpred (Ĝ)

が予測分布に対する情報量規準である（Akaike, 1980a）．
Konishi and Kitagawa（1996, p.878）
は，汎関数の枠組みでこのバイアスを求めて，予測分布
モデルに対する情報量規準を導出した．さらに，積分のラプラス近似（Tierney and Kadane,
を用いて，最尤法によって推定したモデル f (z|θ̂M L ) に対して，予測分布
1986; Davison, 1986）
を h(z|y) = f (z|θ̂M L ) + Op (n−1 ) と近似して，TIC，AIC と同様の情報量規準が求まることを示
は，モデルと事前分布がともに多変量正規分布と仮定した線形ガウス
した．Kitagawa（1997）情報量規準 AIC の統計科学に果たしてきた役割

203型ベイズモデルの情報量規準を導出し，これを PIC（predictive information criterion）と呼んだ．
4.2 逸脱度情報量規準 DIC
Spiegelhalter et al. （2002) は，ベイズの観点から AIC と同タイプのモデル評価基準を提唱
し，これを DIC（deviance information criterion; 逸脱度情報量規準）と呼んだ．AIC の評価の対象とするモデルは，最尤法によって推定したモデル f (z|θ̂M L ) であった．これに対して，DIC
は最尤推定量をパラメータのベイズ推定量である事後平均 θ̂B = Eπ(θ|y) [θ|y] で置き換えたモデル f (z|θ̂B ) を評価の対象とした．モデル f (z|θ̂B ) と真のモデルとの近さを，K-L 情報量で予測の観点から測ったとき，AIC のモデルの自由パラメータ数に対応する有効自由度を次の式で与えた．
bDIC = 2{log f (y|θ̂B ) − Eπ(θ|y) [log f (y|θ)]}

従って，バイアスを補正した DIC は
DIC = −2 log f (y|θ̂B ) + 2bDIC(4.4)

で与えられる．
一般に，最大対数尤度 log f (y|θ̂) がモデルのデータへの当てはまりの良さを表すのに対して，
逆に当てはまりの悪さを表す −2 log f (y|θ̂) を逸脱度という．DIC の −2 log f (y|θ̂B ) は事後平均に対する逸脱度に基づいており，この意味で逸脱度情報量規準と呼ばれている．
DIC の有効自由度 bDIC は，ベイズモデルの設定によっては負の値を採ることもあり，このため有効自由度を事後分布に関する log f (y|θ) の分散 bDICa = 2Varπ(θ|y) {log f (y|θ)} とした DICも提案されている（Gelman et al., 2013）．
4.3 情報量規準 WAIC
では，DIC の果たしてきた役割を再考するとともに，いくつかのデSpiegelhalter et al.（2014）
メリットも議論されている．これに対して，Watanabe（2009, 2010）の提唱した WAIC（widelyは，ベイズモデリングの過程の中にマルコフ連鎖モンテカルロ
applicable information criterion）
法による予測分布の積分計算を組み込んだ汎用性の高い情報量規準として用いられている．
n
WAIC は，（4.2）
式の予測分布に対して期待対数尤度 i=1 EG [log h(zi |y)] をn

log h(yi |y) =

i=1

n


log

f (yi |θ)π(θ|y)dθ

i=1で推定したときのバイアスを
bWAIC = 2nlog h(yi |y) −

i=1

n


Eπ(θ|y) [log f (yi |θ)]i=1で与えた．この結果，ベイズ型予測分布モデルの評価を可能とする WAIC は，
WAIC = −2

(4.5)

n


log h(yi |y) + 2bWAIC

i=1で与えられた．その特徴は，事後分布 π(θ|y) から反復発生させた θs によって
bWAIC = 2

n

i=1



log



1
f (yi |θs )
S
S

s=1

1
log f (yi |θs )
S
S

−

s=1

統計数理

204

第 67 巻 第 2 号 2019とシミュレーションによって求めることができ，また特異モデルにも適用可能であることにある．さらに，DIC の事後分布に関する分散に基づく有効自由度に対応する
bWAICa =n

Varπ(θ|y) {log f (yi |θ)} =

n


i=1

[Eπ(θ|y) [{log f (yi |θ)}2 ] − {Eπ(θ|y) [log f (yi |θ)]}2 ]i=1で補正した WAIC を提唱した．
5.

赤池ベイズ情報量規準 ABIC とベイズ型モデル評価基準 BICによっ
AIC としばしば比較の対象として取り上げられるモデル評価基準が，Schwarz（1978）て提唱された BIC である．BIC は，候補モデル集合の中でベイズ理論による事後確率が最も高くなるようなモデルを最適なモデルとして選択するもので，K-L 情報量に基づいて予測の視点から導出された AIC とは考え方を異にしている．従って，BIC は，Bayesian information
criterion というよりも，ベイズ型モデル評価基準と呼ぶ方が適切である．
の提唱した ABIC（Akaike Bayesian information criterion）は，AIC の考一方，Akaike（1980b）
え方に基づいてベイズモデルの評価を目的としたもので，この点でベイズ情報量規準といえる評価基準である．本節では，AIC，ABIC と BIC の違いを見るために BIC 導出の概略を示した後，ABIC について述べる．また，モデル選択の一致性についてふれる．
5.1 モデルの事後確率と BIC
いま，r 個のモデルの候補を M1 , M2 , . . . , Mr とし，各モデル Mi は確率分布モデル fi (y|θi )（θi ∈ Θi ⊂ Rpi ）とパラメータベクトル θi の事前分布 πi (θi ) によって特徴付けられているとする．ベイズアプローチでは，データ y が観測されたとき，パラメータベクトル θi の事前分布
πi (θi ) で積分した
pi (y) =fi (y|θi )πi (θi )dθiを評価の対象とする．この pi (y) は，データ y がモデル Mi から観測される尤もらしさを表しており，周辺尤度あるいは周辺分布と呼ばれる．
次に，i 番目のモデルが生起する事前確率を P (Mi ) とすると，i 番目のモデルの事後確率は，ベイズの定理より(5.1)

pi (y)P (Mi )P (Mi |y) = r,p (y)P (Mj )j=1 j

i = 1, 2, . . . , rで与えられる．この事後確率は，データ y が観測されたとき，そのデータが i 番目のモデルから生起する確率であり，従って，r 個のモデルの中から一つのモデルを選択するとき，事後確率最大のモデルを採用するのが自然である．これは，（5.1）式の分母がすべてのモデルに共通であることから，分子の pi (y)P (Mi ) を最大にするモデルを選択することと同等である．さらに，
事前確率 P (Mi ) はすべて等しいとした場合には，データの周辺尤度 pi (y) を最大にするモデルを選択することになる．
Schwarz（1978）の提唱した BIC は，積分で表された周辺尤度を，積分のラプラス近似（Barndorﬀ-Nielsen and Cox, 1989, p.169; 宮田, 2018）を用いて近似した結果得られたもので，一般に，周辺尤度 p(y) に対して次の式で与えられた．



(5.2)

−2 log p(y) = −2 log

f (y|θ)π(θ)dθ≈ −2 log f (y|θ̂M L ) + p log n.

情報量規準 AIC の統計科学に果たしてきた役割

205

ただし，θ̂M L はモデル f (y|θ) の p 次元パラメータベクトル θ の最尤推定値である．BIC の値，
を最小とするモデルを最適なモデルとして選択する．導出の詳細は，小西・北川（2004, p.155）
Konishi and Kitagawa（2008, p.215）
を参照されたい．
導出方法からも分かるように，BIC は想定したモデル集合の中に真のモデルが含まれるという仮定を陽に置いているわけではない．事前確率は，想定した各モデルが真のモデルである確率を与えていると考えることができる．しかし，導出の過程ですべて等しいとしており，またモデルの複雑さを表すパラメータ数の項には，パラメータの事前分布の情報も現れていない．
この問題に対して，積分のラプラス近似を精密化して導いたのが，一般化ベイズ型モデル評価
である．
基準 GBIC（Konishi, Ando and Imoto, 2004）
5.2 赤池ベイズ情報量規準 ABIC
ABIC は，季節調整法の大規模モデリングの過程で用いられた正則化法をベイズの観点から捉えて，ベイズモデリングに本質的な評価基準として提唱されたもので，以下のように述べることができる．
一般に正則化最尤法は，対数尤度関数に正則化項あるいはペナルティ項と呼ばれる制約
R(θ, λ) を課した正則化対数尤度関数
log f (y|θ) −1
R(θ, λ)2の最大化によってパラメータを推定する．ここで，λ (∈ Λ ⊂ Rq ; q < p) は q 次元パラメータとし，正則化法の枠組みでは平滑化パラメータに相当する．この式は，






1
1
log f (y|θ) + log exp − R(θ, λ)= log f (y|θ) exp − R(θ, λ).
22と書き表すことができる．さらに，指数関数の項を規格化して確率分布 π(θ|λ) とすると，これはハイパーパラメータ λ によって規定される θ の事前分布である．このとき，データ y の周辺分布あるいは周辺尤度はp(y|λ) =f (y|θ)π(θ|λ)dθで与えられる．
ベイズモデルの周辺分布 p(y|λ) を，ハイパーパラメータ λ を持つパラメトリックモデルと考えると，モデルの評価は次の AIC の枠組みで捉えることができ，その評価基準は



(5.3)





ABIC = −2 max log p(y|λ) + 2q = −2 max log
λλf (y|θ)π(θ|λ)dθ+ 2qで与えられる．この評価基準は，Akaike（1980b）によって提唱され，赤池ベイズ情報量規準と呼ばれている．この方法によると，ベイズモデルの（Akaike Bayesian information criterion）
ハイパーパラメータ λ は，対数周辺尤度 log p(y|λ) の最大化，すなわち，最尤法によって推定しており，また，ハイパーパラメータによって特徴付けられた複数のベイズモデルの相対的な良さを比較するには，ABIC 最小化法によってモデルを選択すればよい．
このようにして推定したハイパーパラメータを λ̂ とすると，パラメータ θ の事前分布 π(θ|λ̂)に対して，θ の事後分布π(θ|y; λ̂) = f (y|θ)π(θ|λ̂)
f (y|θ)π(θ|λ̂)dθ

206

統計数理

第 67 巻 第 2 号 2019が求まる．パラメータ θ の推定値としては通常，事後分布のモード，すなわち π(θ|y; λ̂) ∝f (y|θ)π(θ|λ̂) を最大とする θ̂ が用いられる．ABIC 最小化法によるモデリングは，周辺分布p(y|λ) に対して最尤法によるハイパーパラメータの推定とモデル選択を行ったあと，パラメー
タ θ の事後分布 π(θ|y; λ̂) の最大化によって θ の推定値を求めていることが分かる．
ABIC 最小化法は，当初経済データの季節調整法の開発に用いられた（Akaike, 1980b, 1980c;
Akaike and Ishiguro, 1980）．その後，コホート分析（中村, 1982），2 値回帰モデル（Ishiguro
and Sakamoto, 1983），地震学（Ogata, Katsura and Tanemura, 2003; Ogata, 2004; 尾形, 2015），
状態空間モデリング（Kitagawa, 1987, 1996, 1998）など様々な分野のモデリングに利用されている．
5.3 モデル選択の一致性
AIC と BIC は，それぞれ K-L 情報量とベイズ事後確率という異なる基準に基づいて導出されたものであり，適用上異なる性質をもつことは明らかである．一般に，理論的側面からは，
BIC はモデル選択に対して一致性を有していることが強調され，これに対して，AIC は ミニ
マックス最適性を有することを両者の違いとして見ることが多い．
Shibata（1976）
は，AIC 最小化法によって次数選択を行う場合，標本数 n を無限に大きくするとき，真の次数を選択する確率は 1 とならない，すなわち次数選択の一致性を有しないこと
は，想定したモデルの中に真のモデルが含まれない場合，を示している．また，Shibata（1983）
AIC によって選択されたモデルは，平均 2 乗誤差の意味で漸近的に最適であることを示した．
Nishii（1984）
は，ガウス型線形回帰モデルに対して AIC, BIC を含むいくつかの評価基準の一致性をもつ条件等について検討した．Akaike（1978a）は，AIC 最小化法のベイズの観点からの捉え方を述べ，多変量ガウス分布モデルに対して，等事前確率の仮定の下で AIC は一致性は有しないが，ミニマックス解を与えることを示した．AIC タイプのモデル選択基準に対するミ
ニマックス最適性と関連論文については，Yang（2005）を参照されたい．
AIC と BIC を比べるとき，モデル選択の一致性という観点からしばしば議論されてきた．
一致性は，真のモデルが想定したモデル集合に含まれているという仮定のもとでの証明である
こともあり，これに対して様々な指摘がなされた．Burnham and Anderson（2002），小西・北，甘利（2007, 第 II 編 1 章, p.66），北川（2007, 第 II 編 2 章, p.83），Konishi and川（2004, p.66）
は，一致性をめぐる議論に否定的で，実際問題に対峙し現象解明に向け
Kitagawa（2008, p.73）てモデリングを行うという観点から，それぞれの見解を明確に述べている．
実際，モンテカルロ・シミュレーションによって，AIC，BIC 等のモデル評価基準を比較検証するとき，データを発生させるモデルを真のモデルとすることが多い．さらに，真のモデルは想定したモデルの中に含まれ，しかも単純なモデルからデータを発生させることから，BICとの比較において一致性を有しない AIC が劣るという検証結果がしばしば見受けられる．このような設定のもとでのモデル評価基準の比較は，現象をモデル化するという立場からみると
必ずしも実際的ではないことが指摘されている．赤池（1995, p.199），Burnham and Anderson（2002, p.20）は，真のモデルとは，本来，無限次元であり，従ってそれを観測された有限個のデータから完全に再現することは現実的でない．そこでモデル集合を想定して，その中から最良の近似モデルを選択するという考えに基づいており，少なくとも想定したモデル集合の中には，データを発生した真のモデルは含まれていないとしている．このような点を踏まえて，
Burnham and Anderson（2002）
は実データの解析，シミュレーションを通して，AIC の有用性
を様々な角度から検証している．

情報量規準 AIC の統計科学に果たしてきた役割

6.

207

モデル選択の不確定性と Akaike ウェイト

情報量規準によるモデル選択では，その値によってデータから構築した複数の候補モデルを順位付けして，データ発生の確率構造を最も良く近似するモデルを一つ選択する．しかし，評価基準はデータに依存しており，それ自身確率変数であることからモデル選択に起因する不確定性を生じる．したがって，評価基準値の近い他の候補モデルとの差をどのように解釈するかという問題に繋がる．
Akaike（1978a, 1978b, 1979, 1983）
は，（2.5）式の AIC に対して (−1/2) AIC が期待対数尤度（×n）の漸近的不偏推定量であることから
1exp − AIC = exp{log f (y|θ̂M L ) − p} = f (y|θ̂M L )e−p2は最尤法によって推定したモデルの尤度とみなせ，また近似的に事後分布を表しているとした．
したがって，この式を利用して AIC 値にそれほど大きな差のない候補モデル集合に対しては，．
平均化によって融合したモデルの構築を示唆している（Akaike, 1978b, 1979; Bozdogan, 1987）
この考え方を発展させて Akaike（1978b），Burnham and Anderson（2002）は，最小 AIC 値と各候補モデルの AIC 値との差に基づくモデルの相対的な確からしさを，尤度と関連づけて，以下のように定式化している．
いま，データ y に基づいて推定したモデル集合を {fi (y|θ̂i ); i = 1, . . . , r} とする．各モデルに対する AIC 値を AICi とし，最小 AIC 値を AICmin とおく．このとき，両者の差
ΔAICi = AICi − AICmin ,i = 1, . . . , rは，最小 AIC 値を基にしたモデルの相対的な比較を表している．さらに，

1exp − ΔAICi
2
は，データが与えられたとき，モデル i の近似的な尤度を表すことから，この AIC 値の差を基準化した次の式は Akaike ウェイトと呼ばれる（Burnham and Anderson, 2002, p.75）．

exp − 12 ΔAICi

wi = r

r

k=1





exp − 12 ΔAICk

ウェイトの総和は
w = 1 であることから，wi はモデル集合に属する各モデルの相対的i=1 i
な確からしさの指標となっている．Burnham and Anderson（2002）の提唱したマルチモデル推
測とは，Akaike ウェイトを複数のモデルの相対的な良さとして用いて，モデル集合に基づく推論を実行する方法であるといえる．AIC 最小化法によって選択された一つのモデルが，明らかに他のモデルより現象予測に優れたモデルであればよいが，そうでない場合には順序付けられた複数のモデルを融合してモデルの推測を行う方が有効であり，Akaike ウェイトはそのための基準指標を示すと考えることができる．
マルチモデル推測は，モデル選択の不確定性に対処するための一つのアプローチであるといえる．同様に，2 つのモデルの AIC の差の有意性の検定や信頼集合を構成して不確定性を検証する方法（Linhart, 1988; Shimodaira, 1997），さらに観測データからブートストラップ標
本を反復抽出してモデル選択を繰り返し実行し，各モデルが選択される頻度を推定するブー
トストラップ選択確率に基づく方法などが提唱されている．モデル選択の不確定性について，Shimodaira and Hasegawa（1999），Burnham and Anderson
は，Kishino and Hasegawa（1989）（2002, Chapter 6），下平（2004, 2007）を参照されたい．

統計数理

208

7.

第 67 巻 第 2 号 2019

おわりに

本稿では，AIC 導出の理論を振り返ってみることから始め，一連のモデリングのプロセスの中で AIC の果たしてきた役割を再考し，一般に情報量規準と呼ばれるモデル評価基準がどのように提唱されてきたかを述べた．
情報量規準 AIC 導出の基本的考え方は，最尤法によって推定したモデルを確率分布で表現
し，それを Kullback-Leibler 情報量によって予測の視点から評価したことであった．この基本概念は，データからの情報を確率分布モデルで捉え，当該分野で蓄積された知識を事前分布としてベイズ理論によってモデルに同化させた予測分布モデルの評価・選択へと繋がった．1980
年に提唱された赤池情報量規準 ABIC は，5.2 節で述べたようにモデルのパラメータ数がデー
タ数を超えるような大規模モデリングの過程で用いられた正則化法をベイズの観点から捉えて，ベイズモデリングに本質的な評価基準として提唱されたものであった．本稿は，理論的側面から情報量規準について述べてきたが，AIC, ABIC は，自然科学はもとより社会科学の様々な分野で，現象解明のためのモデリングに重要な役割を果たしてきた．
近年，諸科学・産業界では，計測・測定技術，計算機関連技術の高度な発展によって，大規
模・高次元データが獲得，蓄積され，次々とデータベース化されつつある．特に，少数かつ高次元データ，大量かつ超高次元データからの効率的な情報抽出技術の開発研究が強く希求され，国際的に研究が推進されている．このような状況の中で，正則化法，L1 ノルム正則化法，
ベイズモデルは，現象分析のための重要な解析手法として用いられ，適用上の問題点の克服と汎化能力の向上を目指して，AIC タイプのモデル評価基準が提唱されてきたといえる．
情報量規準 AIC の理論は，これからますます多様な形式で獲得される複雑な大規模データの背後に潜む有益な情報やパターンを高効率に抽出・処理するための新しいモデリングの中でも活かされるものと思われる．同時に，過去から学び未来を予測する技術を獲得するためには，新たな発想でモデリングに取り組む必要があることも確かである．
謝辞への発表の機会を与えて下さいました統計数理研究所特任教
統計数理「創立 75 周年記念号」
授の田村義保先生に感謝致します．東京大学特任教授の北川源四郎先生には，数々の貴重なご
意見, ご指摘を賜りました．また，査読者には，貴重なご指摘をいただきました．ここに記して厚く御礼申し上げます．

参

考

文

献

Akaike, H. (1973). Information theory and an extension of the maximum likelihood principle, 2ndInternational Symposium on Information Theory (eds. B. N. Petrov and F. Csaki), 267-281,
Akademiai Kiado, Budapest. (Reproduced in Breakthroughs in Statistics, Vol.1, Foundations
and Basic Theory (eds. S. Kotz and N.L. Johnson), Springer-Verlag, New York, (1992).)
Akaike, H. (1974). A new look at the statistical model identiﬁcation, IEEE Transactions on AutomaticControl, AC-19(6), 716-723.
Akaike, H. (1978a). A Bayesian analysis of the minimum AIC procedure, Annals of the Institute of
Statistical Mathematics, 30, 9-14.
Akaike, H. (1978b). On the likelihood of a time series model, The Statistician, 27, 217-235.
Akaike, H. (1979). A Bayesian extension of the minimum AIC procedure of autoregressive model ﬁtting,
Biometrika, 66, 237-242.

情報量規準 AIC の統計科学に果たしてきた役割

209

Akaike, H. (1980a). On the use of predictive likelihood of a Gaussian model, Annals of the Institute of
Statistical Mathematics, 32, 311-324.
Akaike, H. (1980b). Likelihood and the Bayes procedure, Bayesian Statistics (eds. J. M. Bernardo,
M. H. De Groot, D. V. Lindley and A. F. M. Smith), 143-166 (discussion 185-203), University
Press, Valencia, Spain.
Akaike, H. (1980c). Seasonal adjustment by a Bayesian modeling, Journal of Time Series Analysis, 1,
1-13.
Akaike, H. (1983). Information measures and model selection, International Statistical Institute, 44,277-291.

赤池弘次 (1995).『時系列解析の心構え，時系列解析の実際 II』（赤池弘次, 北川源四郎 編）, 第 12 章, 朝
倉書店, 東京.
Akaike, H. and Ishiguro, M. (1980). A Bayesian approach to the trading-day adjustment of monthly
data, Time Series Analysis (eds. O. D. Anderson and M. R. Perryman), 213-226, NorthHolland, Amsterdam.
赤池弘次, 北川源四郎 編 (1994).『時系列解析の実際 I』, 朝倉書店, 東京.
赤池弘次, 北川源四郎 編 (1995).『時系列解析の実際 II』, 朝倉書店, 東京.
甘利俊一 (2007). 『赤池情報量規準 — その思想と新展開, 赤池情報量規準 AIC — モデリング・予測・知』, 第 II 編, 1 章, 52-78, 共立出版, 東京.
識発見 —（室田一雄, 土谷 隆 編）
Ando, T., Konishi, S. and Imoto, S. (2008). Nonlinear regression modeling via regularized radial basis
function networks, Journal of Statistical Planning and Inference, 138, 3616-3633.
Araki, Y., Konishi, S., Kawano, S. and Matsui, H. (2009a). Functional regression modeling via regularized Gaussian basis expansions, Annals of the Institute of Statistical Mathematics, 61,
811-833.
Araki, Y., Konishi, S., Kawano, S. and Matsui, H. (2009b). Functional logistic discrimination via
regularized basis expansions, Communications in Statistics — Theory & Methods, 2944-2957.
Barndorﬀ-Nielsen, O. E. and Cox, D. R. (1989). Asymptotic Techniques for Use in Statistics, Chapman
and Hall, New York.
Bozdogan, H. (1987). Model selection and Akaike’s information criterion (AIC): The general theory
and its analytical extensions, Psychometrika, 52, 345-370.
Bozdogan, H. (ed.) (1994). Proceedings of the First US/Japan Conference on the Frontiers of Statistical Modeling: An Informational Approach, Kluwer Academic Publishers, the Netherlands.
Breiman, L. (1996). Heuristics of instability and stabilization in model selection, Annals of Statistics,
24, 2350-2383.
Burnham, K. P. and Anderson, D. R. (2002). Model Selection and Multimodel Inference: A Practical
Information — Theoretical Approach, Springer-Verlag, New York.
Davison, A. C. (1986). Approximate predictive likelihood, Biometrika, 73, 323-332.
Efron, B. (1979). Bootstrap methods: Another look at the jackknife, Annals of Statistics, 7, 1-26.
Efron, B. (2004). The estimation of prediction error: Covariance penalties and cross-validation, Journalof the American Statistical Association, 99, 619-632.
Efron, B., Hastie, T., Johnstone, I. and Tibshirani, R. (2004). Least angle regression, Annals of Statistics, 32, 407-499.
Fan, J. and Li, R. (2001). Variable selection via nonconcave penalised likelihood and its oracle properties, Journal of the American Statistical Association, 96, 1348-1360.
Fan, Y. and Tang, C. Y. (2013). Tuning parameter selection in high dimensional penalized likelihood,
Journal of the Royal Statistical Society, B75, 531-552.
Fernholz, L. T. (1983). von Mises Calculus for Statistical Functionals, Lecture Notes in Statistics, 19,
Springer-Verlag, New York.

210

統計数理

第 67 巻 第 2 号 2019

Frank, I. and Friedman, J. (1993). A statistical view of some chemometrics regression tools, Technometrics, 35, 109-148.
Fujikoshi, Y. and Satoh, K. (1997). Modiﬁed AIC and Cp in multivariate linear regression, Biometrika,
84, 707-716.

藤越康祝, 杉山高一 (2012).『多変量モデルの選択』, 朝倉書店, 東京.
Gelman, A., Carlin, J. C., Stern, H. and Dunson, D. B. (2013). Bayesian Data Analysis, 3rd ed.,
Chapman and Hall/CRC, New York.
Good, I. J. and Gaskins, R. A. (1971). Nonparametric roughness penalties for probability densities,
Biometrika, 58, 255-277.
Hampel, F. R., Ronchetti, E. M., Rousseeuw, P. J. and Stahel, W. A. (1986). Robust Statistics, The
Approach Based on Influence Functions, Wiley, New York.
Hastie, T. J. and Tibshirani, R. J. (1990). Generalized Additive Models, Chapman and Hall, London.
Hastie, T., Tibshirani, R. and Friedman, J. (2009). The Elements of Statistical Learning, 2nd ed.,Springer, New York.
Hastie, T., Tibshirani, R. and Wainwright, M. (2015). Statistical Learning with Sparsity, Chapman &Hall/CRC, New York.
廣瀬 慧 (2016). スパースモデリングとモデル選択, 電子情報通信学会誌, 99, 392-399.
Hirose, K., Tateishi, S. and Konishi, S. (2013). Tuning parameter selection in sparse regression modeling, Computational Statistics & Data Analysis, 59, 28-40.
Huber, P. J. (1981). Robust Statistics, Wiley, New York.
Hurvich, C. M. and Tsai, C. L. (1989). Regression and time series model selection in small samples,
Biometrika, 76, 297-307.
Hurvich, C. M., Simonoﬀ, J. S. and Tsai, C.-L. (1998). Smoothing parameter selection in nonparametric regression using an improved Akaike information criterion, Journal of the Royal StatisticalSociety, B60, 271-293.
Imoto, S. and Konishi, S. (2003). Selection of smoothing parameters in B-spline nonparametric regression models using information criteria, Annals of the Institute of Statistical Mathematics, 55,
671-687.
Ishiguro, M. and Sakamoto, Y. (1983). A Bayesian approach to binary response curve estimation,
Annals of the Institute of Statistical Mathematics, 35, 115-137.
Ishiguro, M., Sakamoto, Y. and Kitagawa, G. (1997). Bootstrapping log likelihood and EIC, an extension of AIC, Annals of the Institute of Statistical Mathematics, 49, 411-434.
Kato, K. (2009). On the degrees of freedom in shrinkage estimation, Journal of Multivariate Analysis,
100, 1338-1352.
Kawano, S. and Konishi, S. (2011). Semi-supervised logistic discrimination via regularized Gaussianbasis expansions, Communications in Statistics — Theory and Methods, 40, 2412-2423.
川野秀一, 廣瀬 慧, 立石正平, 小西貞則 (2010). 回帰モデリングと L1 型正則化法の最近の展開, 日本統計学会誌, 39, 211-242.
Kawano, S., Misumi, T. and Konishi, S. (2012). Semi-supervised logistic discrimination via graph-based
regularization, Neural Processing Letters, 36, 203-216.
川野 秀一, 松井秀俊, 廣瀬 慧 (2018).『スパース推定法による統計モデリング』, 共立出版, 東京.
Kayano, M., Dozono, K. and Konishi, S. (2010). Functional cluster analysis via orthonormalized Gaussian basis expansions and its application, Journal of Classification, 27, 211-230.
Kishino, H. and Hasegawa, M. (1989). Evaluation of the maximum likelihood estimate of the evolutionary tree topologies from DNA sequence data, Journal of Molecular Evolution 29, 170-179.
Kitagawa, G. (1987). Non-Gaussian state-space modeling of nonstationary time series (with discussion),
Journal of the American Statistical Association, 82, 1032-1063.

情報量規準 AIC の統計科学に果たしてきた役割

211

Kitagawa, G. (1996). Monte Carlo ﬁlter and smoother for non-Gaussian nonlinear state space models,
Journal of Computational and Graphical Statistics, 5, 1-25.
Kitagawa, G. (1997). Information criteria for the predictive evaluation of Bayesian models, Communications in Statistics — Theory and Methods, 26, 2223-2246.
Kitagawa, G. (1998). Self-organizing state space model, Journal of the American Statistical Association, 93, 1203-1215.
北川源四郎 (2007).『情報量規準と統計的モデリング，赤池情報量規準 AIC — モデリング・予測・知識』, 第 II 編, 2 章, 79-109, 共立出版, 東京.
発見 —（室田一雄, 土谷 隆 編）
Kitagawa, G. and Gersch, W. (1984). A smoothness priors-state space modeling of time series withtrend and seasonality, Journal of the American Statistical Association, 79, 378-389.
Kitagawa, G. and Gersch, W. (1996). Smoothness Priors Analysis of Time Series, Lecture Notes in
Statistics, 116, Springer-Verlag, New York.
Kitagawa, G. and Konishi, S. (2010). Bias and variance reduction techniques for bootstrap information
criteria, Annals of the Institute of Statistical Mathematics, 62, 209-234.
Konishi, S. (1999). Statistical model evaluation and information criteria, Multivariate Analysis, Designof Experiments and Survey Sampling (ed. S. Ghosh), 369-399, Marcel Dekker, New York.
Konishi, S. (2002). Theory for statistical modeling and information criteria — functional approach,
Sugaku Expositions, 15(1), 89-106, American Mathematical Society.
小西貞則 (2010).『多変量解析入門 — 線形から非線形へ — 』, 岩波書店, 東京.
Konishi, S. (2014). Introduction to Multivariate Analysis: Linear and Nonlinear Modeling, Chapman& Hall/CRC, New York.
Konishi, S. and Kitagawa, G. (1996). Generalized information criteria in model selection, Biometrika,
83, 875-890.
Konishi, S. and Kitagawa, G. (2003). Asymptotic theory for information criteria in model selection —functional approach, Journal of Statistical Planning and Inference, 114, 45-61.
小西貞則, 北川源四郎 (2004).『情報量規準』, 朝倉書店, 東京.
Konishi, S. and Kitagawa, G. (2008). Information Criteria and Statistical Modeling, Springer, NewYork.
Konishi, S., Ando, T. and Imoto, S. (2004). Bayesian information criterion and smoothing parameterselection in radial basis function network, Biometrika, 91, 27-43.
小西貞則, 越智義道, 大森裕浩 (2008). 『計算統計学の方法 — ブートストラップ，EM アルゴリズム，
MCMC — 』, 朝倉書店, 東京.
Kullback, S. and Leibler, R. A. (1951). On information and suﬃciency, Annals of Mathematical Statistics, 22, 79-86.
Liang, H., Wu, H. and Zou, G. (2008). A note on conditional AIC for linear mixed-eﬀects models,
Biometrika, 95, 773-778.
Linhart, H. (1988). A test whether two AICs diﬀer signiﬁcantly, South African Statistical Journal, 22,
153-161.
Lv, J. and Liu, J-S. (2014). Model selection principles in misspeciﬁed models, Journal of the Royal
Statistical Society, B76, 141-167.
Mallows, C. L. (1973). Some comments on Cp , Technometrics, 15, 661-675.
Matsui, H. and Konishi, S. (2011). Variable selection for functional regression models via the L1
regularization, Computational Statistics and Data Analysis, 55, 3304-3310.
McCullagh, P. and Nelder, J. A. (1989). Generalized Linear Models, 2nd ed., Chapman & Hall/CR,
London.
McQuarrie, A. D. R. and Tsai, C.-L. (1998). Regression and Time Series Model Selection, World
Scientiﬁc, Singapore.

212

統計数理

第 67 巻 第 2 号 2019

Misumi, T. and Konishi, S. (2016). Mixed eﬀects historical varying coeﬃcient model for evaluating
dose-response in ﬂexible-dose trials, Journal of the Royal Statistical Society (Applied Statistics), C65, 331-344.
宮田庸一 (2018). ラプラス近似のベイズ統計学への応用とその周辺, 数学, 70, 275-295.
Murata, N., Yoshizawa, S. and Amari, S. (1994). Network information criterion-determining the numberof hidden units for an artiﬁcial neural network model, IEEE Transactions on Neural Networks,
6, 865-872.
室田一雄, 土谷 隆 編 (2007).『赤池情報量規準 AIC — モデリング・予測・知識発見 — 』, 共立出版, 東京.
中村 隆 (1982). ベイズ型コウホート・モデル — 標準コウホート表への適用 — , 統計数理研究所彙報, 29,
77-97.
Ninomiya, Y. and Kawano, S. (2016). AIC for the Lasso in generalized linear models, Electronic Journalof Statistics, 10, 2537-2560.
Nishii, R. (1984). Asymptotic properties of criteria for selection of variables in multiple regression,
Annals of Statistics, 12, 758-765.
Ogata, Y. (2004). Space-time model for regional seismicity and detection of crustal stress changes,
Journal of Geophysical Research, 109(B3), B03308, doi:10.1029/2003JB002621.
尾形良彦 (2015). 地震の確率予測の研究 — その展望, 統計数理, 63(1), 3-27.
Ogata, Y., Katsura, K. and Tanemura, M. (2003). Modelling heterogeneous space-time occurrences ofearthquakes and its residual analysis, Applied Statistics, 52, 499-509.
Park, H. and Konishi, S. (2017). Principal component selection via adaptive regularization method andgeneralized information criterion, Statistical Papers, 58, 147-160.
Parzen, E., Tanabe, K. and Kitagawa, G. (1998). Selected Papers of Hirotugu Akaike, Springer, NewYork.
Ramsay, J. O. and Silverman, B. W. (2005). Functional Data Analysis, 2nd ed., Springer, New York.
Schwarz, G. (1978). Estimating the dimension of a model, Annals of Statistics, 6, 461-464.
Shen, X. and Ye, J. (2002). Adaptive model selection, Journal of the American Statistical Association,
97, 210-221.
Shen, X., Huang, H-C. and Ye, J. (2004). Adaptive model selection and assessment for exponential
family distributions, Technometrics, 46, 306-317.
Shibata, R. (1976). Selection of the order of an autoregressive model by Akaike’s information criterion,
Biometrika, 63, 117-126.
Shibata, R. (1983). Asymptotic mean eﬃciency of a selection of regression variables, Annals of theInstitute of Statistical Mathematics, 35, 415-423.
Shibata, R. (1989). Statistical aspects of model selection, From Data to Model (ed. J. C. Willemsa),
215-240, Springer-Verlag, New York.
Shimodaira, H. (1997). Assessing the error probability of the model selection test, Annals of the Institute of Statistical Mathematics, 49, 395-410.
下平英寿 (2004). 情報量規準によるモデル選択とその信頼性評価,『モデル選択 — 予測・検定・推定の交差点』（甘利俊一, 竹内 啓, 竹村彰通, 伊庭幸人 編）, 統計科学のフロンティア 3, 第 I 部, 1-76,
岩波書店, 東京.
下平英寿 (2007). モデル選択とブートストラップ,『赤池情報量規準 AIC — モデリング・予測・知識発, 第 II 編, 4 章, 133-156, 共立出版, 東京.
見—』Shimodaira, H. and Hasegawa, M. (1999). Multiple comparisons of log-likelihoods with applications tophylogenetic inference, Molecular Biology and Evolution, 16, 1114-1116.
Spiegelhalter, D. J., Best, N. G., Carlin, B. P. and van der Linde, A. (2002). Bayesian measures of model
complexity and ﬁt (with discussion), Journal of the Royal Statistical Society, B64, 583-639.
Spiegelhalter, D. J., Best, N. G., Carlin, B. P. and van der Linde, A. (2014). The deviance information

情報量規準 AIC の統計科学に果たしてきた役割

213

criterion: 12 years on (with discussion), Journal of the Royal Statistical Society, B76, 485-493.
Stone, M. (1974). Cross-validatory choice and assessment of statistical predictions (with discussion),
Journal of the Royal Statistical Society, B39, 111-147.
Stone, M. (1977). An asymptotic equivalence of choice of model by cross-validation and Akaike’s
criterion, Journal of the Royal Statistical Society, B39, 44-47.
Sugiura, N. (1978). Further analysis of the data by Akaike’s information criterion and the ﬁnite corrections, Communications in Statistics, A7, 13-26.
竹内 啓 (1976). 情報統計量の分布とモデルの適切さの規準, 数理科学, 153, 12-18.
Tateishi, S. and Konishi, S. (2011). Nonlinear regression modeling and detecting change points via therelevance vector machine, Computational Statistics, 26, 477-490.
Tibshirani, R. (1996). Regression shrinkage and selection via the lasso, Journal of the Royal StatisticalSociety, B58, 267-288.
Tierney, L. and Kadane, J. B. (1986). Accurate approximations for posterior moments and marginaldensities, Journal of the American Statistical Association, 81, 82-86.
Uchida, M. and Yoshida, N. (2001). Information criteria in model selection for mixing processes, Statistical Inference and Stochastic Processes, 4, 73-98.
Uchida, M. and Yoshida, N. (2004). Information criteria for small diﬀusions via the theory of MalliavinWatanabe, Statistical Inference and Stochastic Processes, 7, 35-67.
Umezu, Y., Shimizu, Y., Masuda, H. and Ninomiya, Y. (2019). AIC for the non-concave penalized
likelihood method, Annals of the Institute of Statistical Mathematics, 71(2), 247-274.
von Mises, R. (1947). On the asymptotic distribution of diﬀerentiable statistical functions, Annals of
Mathematical Statistics, 18, 309-348.
Wang, H., Li, R. and Tsai, C. L. (2007). Tuning parameter selectors for the smoothly clipped absolutedeviation method, Biometrika, 94, 553-568.
Wang, H., Li, B. and Leng, C. (2009). Shrinkage tuning parameter selection with a diverging numberof parameters, Journal of the Royal Statistical Society, B71, 671-683.
Watanabe, S. (2009). Algebraic Geometry and Statistical Learning Theory, Cambridge University
Press, Cambridge, UK.
Watanabe, S. (2010). Asymptotic equivalence of Bayes cross validation and widely applicable information criterion in singular learning theory, Journal of Machine Learning Research, 11, 3571-3594.
Wood, S. N., Pya, N. and Säfken, B. (2016). Smoothing parameter and model selection for generalsmooth models, Journal of the American Statistical Association, 111, 1548-1575.
Yang, Y. (2005). Can the strengths of AIC and BIC be shared? A conﬂict between model identiﬁcation
and regression estimation, Biometrika, 92, 937-950.
Ye, J. (1998). On measuring and correcting the eﬀects of data mining and model selection, Journal of
the American Statistical Association, 93, 120-131.
Yu, D. and Yau, K. K. (2012). Conditional Akaike information criterion for generalized linear mixed
models, Computational Statistics & Data Analysis, 56, 629-644.
Zhang, Y., Li, R. and Tsai, C.-L. (2010). Regularization parameter selections via generalized information criterion, Journal of the American Statistical Association, 105, 312-323.
Zou, H., Hastie, T. and Tibshirani, R. (2007). On the “degrees of freedom” of the lasso, Annals of
Statistics, 35, 2173-2192.

214

Proceedings of the Institute of Statistical Mathematics Vol. 67, No. 2, 193–214 (2019)

The Role of Information Criterion AIC in Statistical Science
Sadanori Konishi
Department of Mathematics, Faculty of Science and Engineering, Chuo University;
Now at Faculty of Mathematics, Kyushu University

The Akaike information criterion (AIC) provides a useful tool for evaluating models
estimated by the maximum likelihood method, and a number of successful applicationsof AIC have been reported in diverse fields of the natural and social sciences. AIC wasessentially derived as an estimator of the Kullback-Leibler information from the predictive
point of view, and it provided a new paradigm for model selection and evaluation problems
in statistical science. The first objective of this paper is to provide a brief explanation of
the concept and derivation of the AIC and related criteria.
With the development of modeling techniques such as regularization, sparse modeling, and Bayes modeling, it is necessary to present criteria that enable us to evaluate
models constructed by various estimation procedures. The second objective of this paper is to review the AIC type of information criteria for evaluating models estimated byvarious techniques, with emphasis on the choice of the adjusted parameters, including asmoothing parameter. We review some advances in Bayesian information-theoretic criteria, where criteria were constructed, using the concept of the degrees of freedom as abias-corrected adjustment. We also describe information-theoretic criteria for evaluatinga Bayesian predictive distribution, derived from the fundamental principle behind AIC.

Key words: AIC, ABIC, BIC, DIC, GIC, PIC, TIC, WAIC.

統計数理（2019）
第 67 巻 第 2 号 215–228©2019 統計数理研究所

創立 75 周年記念号［研究ノート］

統計地震学の発展と地震活動予測：
個人的経験と展望
尾形 良彦†（受付 2019 年 1 月 4 日；改訂 3 月 15 日；採択 3 月 26 日）

要旨

地震予測の観点から統計地震学の発展と筆者の研究経験を説明する．点過程モデルによる地震活動の予測と統計的診断解析および地震活動の物理現象との関わりに焦点を当てる．
キーワード：地震活動，点過程モデル，ETAS モデル，階層ベイズ法，確率予測，前
震の識別．
1.

はじめに

筆者の統計科学や地震学の研究者に向けた研究紹介については既に尾形（1993）や Ogata（2013, 2017a）などがある．なので，同様なことを繰り返すのは気が引けたが，本稿に似たタイに倣って筆者も先人の成果を受け継いだ経緯の個人的経験と見トルの論文（Vere-Jones, 2006）
解を述べたい．
筆者の折々の研究活動は，統計数理研究所学術研究レポジトリ https://ismrepo.ism.ac.jp/（最終閲覧日 2019 年 4 月 5 日）で検索でき，とくに統計地震学研究プロジェクトの成果と当時の目標をまとめた外部評価報告書（英文和訳付き 統計数理研究所編 https://www.ism.ac.jp/
も参照できる．
evaluation/index_j/toukei_jisingaku2006.pdf，最終閲覧日 2019 年 4 月 5 日）
本稿では，主に地震の短期・中期予測に関わる点過程解析について解説するが，予測全般については，筆者が編集した地震予測の特集号（統計数理 63 巻 2015 年発行; 統計数理研究所編，
http://www.ism.ac.jp/editsec/toukei/tokeisuri-63j.html，最終閲覧日 2019 年 4 月 16 日）がある．
と略記し，これに論文著者名を付加して引用する．
これを本稿では「統計数理 63」
本稿では割愛するが，長きにわたり膨大化した地震発生様式のデータベースである震源カタ
ログは，観測システムの発展に伴い，時空間的に不均質である．データの欠測推定や系統誤差の補正など，本質的な情報を抽出するために，ベイズモデルと解析法を考慮し応用した．これ
らの概要については Ogata（2017b, Sections 3.5, 3.6）を参照頂きたい．
本稿で述べる内容に関して全て引用するとなると，与えられたページ数を大幅に超えるので本稿では，以上の解説論文に含まれていない引用文献を記すに止め，その他は上記の解説論
文の文献を通して検索されたい．特に，上記の統計学会誌 60 周年号解説論文，尾形（1993）は本稿で割愛した内容を頻繁に引用し，Supplemental Material となるので文献欄に論文の PDF
address を付けた．

†

統計数理研究所 名誉教授：〒 190–8562 東京都立川市緑町 10–3

216

2.

統計数理

第 67 巻 第 2 号 2019

統計地震学と地震活動の研究

2.1 地震活動
筆者が，点過程の応用問題を模索し，地震学会に出没して特に興味をもったのは地震活動の分科会であった．当時急速に蓄積された地震データの解析の報告が，相次いだものであった．
（例えば宇津, 1999, 参照）
データに基づく地震の記述と理解のための研究分野としての統計地震学は，明治時代以来の地震学の主分野であった．一回の地震について分かることは「発生時刻，規模，場所」だけであったが，これら 3 つの性質を相手にして，地震発生に関する様々な性質を明らかにしようとした多くの研究がある．後に現代地震学の基礎を築いた安芸（1956）の総合論文から分かる様に，昔からこの分野で議論されていたのは，地震発生の周期性，気圧や海洋潮汐変化など地球物理データとの因果性の研究，震源の移動，地震活動パターン分類，地震の規模（マグニチュード）の分布などであるが，それらの解析結果の妥当性をめぐる最大の争点は，余震や群発地震のような地震の続発性による，統計的検定や仮説の再現性の難しさにあった．
したがってアメリカの地震学界では余震の統計的研究は無視された．地震の規模（マグニ
チュード）を初めて考案したリヒター（Charles Richter）などは，余震は何の役にも立たないデー
タのゴミ
（ノイズ）
と言っていた．地震の予測にはゴミである余震を取り除いた本震の活動を「地震活動見なければいけない，という考えだったようである．この思想は 20 世紀後半でのの静穏化」，「地震発生の季節性や地球潮汐との同期」
や「異常現象の大地震との因果性」などに関する統計的研究に受け継がれる．すなわち，地震活動のデータから
「余震」
を取り除く
「除群
を使った研究である（尾形, 1993, 7.1 節参照）．先ず除群データの帰無仮説（定（de-cluster）法」
常ポアソン過程）を否定してから，焦眉の科学的主張をする．
しかし除群法は様々で，異なった結果を導いたりするだけでなく，余震活動自体の研究に意
味をなさない．事実，地震活動は，時間的には逆ベキ型減衰の自己相関をもつ長記憶性，空間的にはフラクタル性をもつ自己相似性（尾形, 1993, 5.1, 6.5, 8.1 節; Ogata and Katsura, 1991;
がみとめられる．このため，除群は首尾一貫したものでないといえGuo and Ogata, 1997 参照）
る．とくにマグニチュード 7 以上の大地震といえども，履歴依存性や長記憶性がある（Ogata．しかるに，大地震は定常ポアソン過程になるはずだ，という全and Abe, 1991; Ogata, 2017b）
く誤った帰無仮説による検定をし，地震波の原記録に基づいた阿部カタログのマグニチュード
を雑に改竄した，20 世紀の地震カタログ（尾形, 1993, 5.2 節; Engdahl and Villasenor, 2002）が流布し，世界の被害地震の基礎データとして使われているのは深刻である．
2.2 余震の研究と統計地震学の発展
日本では，余震データを重要な情報として研究することで，地震活動の本質的な性質に迫ることになった．大きな地震の後に，より小さな地震が数多く発生するが，古来このような地震
群を余震と呼び，そのきっかけとなった地震は本震と呼ばれている．
余震の発生は，本震直後は極めて頻繁で，その後，時間とともに徐々に低下するが，なかな
か元の状態に戻らない．このような余震減衰の定量的な関係を初めて論じたのは大森房吉である．1894 年の濃尾地震の余震数の頻度の時間経過について，減衰のしかたを調べて「物理現象の減衰だから当然指数関数だろうと考えて当てはめてみたが良く合わない，然るに双曲線だとよく適合する」と述べている．さらに 1957 年，宇津徳治は日本や世界の余震を調べ, 単位時間あたりの余震頻度の減衰率が(2.1)

ν(t) = K(t + c)−p

統計地震学の発展と地震活動予測：個人的経験と展望217の形になることを示した．ここで t は，本震の発生時刻からの経過時間である．宇津は，余震の頻度 ν(t) と経過時間 t を両対数方眼紙にプロットし，その減衰が漸近的に直線上に乗ることを示し，直線の傾きから指数 p の推定値を得た．そして，濃尾地震の余震は現在に至るまで，式の減衰が続いていることを示した．大森の言う上記の双曲線とは p = 1
一世紀以上でも（2.1）のことである．一方，係数 c の解釈については議論がある（Utsu et al., 1995 参照）．宇津は「改良大森公式」と名付けたが，今日筆者らは「大森・宇津の公式」と呼んでいる．
（2.1）式を
さらに宇津は，多くの余震減衰のプロットで，単一の（2.1）式で説明できない場合があることも示している．大きな余震の後，飛躍的な増加が起こって，再び減衰する二次余震（余震の余震）を発見し，その減衰も大森・宇津の式（2.1）に従っていることを突き止めている．これは，余震が本震のみに誘発されるという当時の常識を覆したものである．このほか宇津は，余震群の空間的広がりと本震の規模（マグニチュード）との関係の定量的研究や，本震と最大余震のマ
グニチュード差の経験分布など，余震の多様な性質に関して多くの事例の統計的解析を行った．
さて，ここまでの研究では，余震の単位時間あたりの数として分析されてきたが，筆者は，（発生強度）と捉え，1 つずつの地震（2.1）式を，極短い時間内に 1 つの地震が起こる確率の微分の発生時刻の記録 {ti ; i = 1, 2, . . .} をそのままデータとして使う，発生強度による推定法を提（さい案した．これは余震列を非定常ポアソン過程として（2.1）式のパラメータ K, c, p を最尤法ゆうほう）で推定する方法である．本震直後の欠測の問題や二次余震を含む場合も，赤池情報．今日，大地震が起き量規準（AIC）でモデル比較の上，偏りの無い推定ができる（Ogata, 1983）式を推定して，余震の予報確率が計算されることになっると，余震発生時刻データを基に（2.1）ている．背景として 1960 年代ごろからの，確率論や統計学の分野で発展した点過程とその統計的解析法の理論的整備が，これらを可能にしたのである．このことは次節で詳しく述べる．
同じく 1960 年代ごろからの地震の物理の飛躍的前進として，地震発生の応力蓄積の根源となるプレートテクトニクス理論が展開され，「地震の揺れの原因は断層面の急激な食い違い運動である」という弾性反発説が定着した．大地震ごとに断層運動モデルが，地震波の解析によって求められる．今世紀では，それは衛星観測の測地的変化から詳しく求められて，地震の発生
様式や地震力学の物理的解明が進んだ．かくて地震カタログは，破壊の始まった時刻と位置，食い違った断層の面積とすべり量を表すデータと理解された．さらに断層面および直交面の方向や断層の重心などのデータも追加されるようになった．今日の地震活動は，これらのデータに基づいて研究されている．
しかし，小さい地震が増々捉えられ，データベースが豊富になるにしたがって，地震の発生
様式の地域性や複雑系が顕著化して，詳細な統計的把握や予測も難しくなってくる．本質的で確かな情報を抽出するために，時間的空間的に非定常または不均質な予測モデルを考慮する必要があり，これらの統計モデルを用いた研究が避けられない様になってきた．時空間モデルなどの逆問題にかかわる大量の未知パラメータを含む大規模モデルを取り扱う階層的なベイズ法の助けが必要であり，この様な手法抜きでは地震予測の研究自体が難しくなっている．
3.

点過程の統計解析と統計地震学の研究の経過

3.1 点過程の地震統計解析の始まり
点過程は，事象（出来事）の発生時間と付置のマーク（ジャンプなどのスカラー量または震源の空間位置など）の時系列の数学的表現として，確率論的に深く研究されてきた．通常の連続確率過程の基礎が正規過程のホワイトノイズ（white noise）であるのに対して，点過程の基礎は
定常ポアソン過程である．各種の応用に対応して点過程の一般化が進んで，1970 年代は点過程の確率論，統計解析，応用の統一的な研究が進んだ時代であった（Lewis ed., 1972 参照）．

218

統計数理

第 67 巻 第 2 号 2019

ヴェア・ジョーンズのトリガーモデル（Trigger model; 詳しくは尾形, 1993, 6.1, 6.4, 6.5 節参照）
は，地震活動の一般化点過程モデルの先駆けである．本震は定常ポアソン過程に従い，余
震は本震のみに誘発され，大森・宇津の減衰関数（2.1）の非定常ポアソン過程で，地震活動は
これらを重ね合わせたものである．これは当時の地震学的常識を反映したものであるが，デー
タのどれが本震であるか余震であるかの同定は明確でない．それらを設定するための組み合
わせ論的複雑さを伴い，尤度（ゆうど）
関数で計算するのが極めて困難である．したがって，
モーメント法に基づいた推論や解析が使われた．特に，ホークス（A. G. Hawkes）と彼の学生
Adamopoulos（1976）
は，トリガーモデルとホークスモデルを二次モーメントのスペクトル尤
で計算したが，精度は良くない．他方，本来のトリガーモデルではない度（尾形, 1993, A3 節）
が，筆者は発震時刻のみのデータから各地震の誘発地震数（クラスターサイズ）などを推定した．
（Ogata, 2001a）
3.2 統計数理研究所における点過程の光臨
1970 年代当時，赤池弘次は，多変量時系列の統計的同定によってフィードバック効果を考慮した予測と制御の実用化を目指し，外力変数を含む自己回帰モデルを状態空間表示し，最小二（FPE）や赤池情報量規
乗法や最尤法による最良予測のモデル選択のため Final Prediction Error
準（AIC）を提案し，世界の統計学界を牽引していた．周囲の若手研究者に対しては，新しい分
野での各種統計モデルの構築を促していた．
ニュージーランドのヴェア・ジョーンズ（David Vere-Jones）は，点過程の理論とモデルで地震データと取り組んだ先駆者であるが，宇津を初めとする日本の地震学者との交流を求め，1976
年，赤池に招待されて統計数理研究所を数か月間訪問した．その間，点過程に関する一連の特別講義をした．このときの経緯が Vere-Jones（2006）や Ogata（2018）によって述べられている．
彼の講義を聞いて直ちに赤池は，時系列解析と同様な予測の展開を，点過程モデルの予測に関する中心概念である「条件付き強度関数」(3.1)

λ(t|Ht ) = P {an event occurs in [t, t + Δ)|Ht }Δ + o(Δ)

に期待した．これは事象（点）が発生する条件付き確率の微分量である．ここで条件 Ht は時刻
t までの，事象発生の履歴および関連情報のことである．単純な点過程なら Ht は時刻 t 直前までの発生時刻の系列 {t1 , . . . , tn } である．条件付き強度関数をモデル化することによって，パラメータの推定や事象時刻のシミュレーションなどで, 予測問題を考えることができる．例えば，条件付き強度関数で，最後の事象の時刻 tn から次の事象が起こるまでの時間の確率分布
F (t − tn |Htn ) 及びその密度関数 f (t − tn |Htn ) との関係
（Hazard 方程式）が得られ(3.2)

λ(t|Ht ) = f (t − tn |Htn )/{1 − F (t − tn |Htn )}となる．これを解くと隣り合う事象の時間間隔の分布が得られる．
3.3 点過程の尤度計算とシミュレーション法
特に，ヴェア・ジョーンズの講義でモデルの具体例として紹介された，点過程の「自己回帰モデル」ともいうべき，ホークス（Hawkes, 1971）の自己励起過程（self-exciting process）が注目された．このモデルの条件付き強度関数(3.3)

λ(t|Ht ) = μ +


ti <t

 t

g(t − ti ) = μ +g(t − s)dNs0

が，事象の過去の発生時間の線形回帰形式になっているからである．時系列研究グループ（ヴェ統計地震学の発展と地震活動予測：個人的経験と展望

219

ア・ジョーンズは Akaike School と呼んでいた）が，その後直ちに取り組んだのは，ホークス点g(·) を AIC と最尤法によって推定することであった．
過程の応答関数（response function）
情報理論の分野では，条件付き強度関数とその尤度関数が理論的に導かれたばかりで，これを数値的に求めることは当時挑戦するに足る課題であった．ヴェ
によって最尤推定値（MLE）
ア・ジョーンズの助言で，赤池の第 5 研究部の最初の部下であった尾崎統（Ozaki, 1979）が，実式でシミュレーションしたホークス過程の標本データ
行したのは g(·) を指数関数とし，（3.3）
から，対数尤度の最大化を Davidon-Fletcher-Powell 法のような効率的な準ニュートン法によって，計算し係数の MLE を得たことである．
このことに触発されて筆者が取り組んだのは 3 課題あった．以下の 2 課題は学術誌に掲載
後，合わせて学位論文として提出した．もう一つの課題は次節で述べる．
（i）上述のような，ホークス型モデルを含む，条件付き強度関数で特徴付けられた点過程のMLE や最大尤度の漸近理論．すなわち MLE の収束や誤差分布，尤度比統計量の漸近分布をマ
ルチンゲールのエルゴード性や中心極限定理によって証明した．
（ii）条件付き強度関数を直裁的に使った点過程のシミュレーション法の提案．尾崎が実行したシミュレーション法は Hazard 方程式（3.2）をニュートン法で反復して解くものであるが，多変量の場合など条件付き強度関数が複雑になると解が安定して求まらない．そこで筆者はLewis and Shedler（1979）の間引き法（thinning method）に着目した．これは非定常ポアソン過程のシミュレーション法で，任意の密度関数から標本を生成する従来の rejection sampling 法と本質的に同じ方法である．筆者は間引き法を一般化し，多変量（マルチ・チャンネル）などにも拡張した．この正当性をマルチンゲール理論で証明し，多数の点過程モデルのシミュレー
ションの実例を示し，尤度比検定で正確さを実証した（Ogata, 1981）．この方法は現在，多分野で採用されている．
3.4 因果関係分析のための点過程モデリング
3 つ目の課題は，除群法に代わるものとして，地震の続発効果を含む，以下の解析モデルの開発であった．すなわち，トレンド，季節性などの周期的な要素の解析，および他の外的デー
タからの誘発効果の存否を確かめる因果関係の解析である．とくに因果関係の量的解析は，多くの科学分野でますます必要となっている．従来から一応，点過程系列間の相互相関統計量を使用することができるが，多くの続発事象を伴う場（cross Palm intensity; 尾形, 1993, 3.3 節）合や非定常性を含む場合から因果関係を定量的に導くことは困難である．
したがって課題はホークス型モデルを一般化して，トレンド，周期性，および因果関係を分析するモデル(3.4)

λ(t|Ht , Ft ) = μ + f (t) + C(t; T0 ) +



ti <t

g(t − ti |Mi ) +h(t − uj )ξ(uj )uj <tを開発し実用化することだった．ここで Ht は解析対象の点過程の発生時間の履歴で，Ft は外部入力データの時刻 uj とマーク ξ(u) を表す．時刻 uj は等間隔でも不規則間隔でも良い．これで，日本や世界各地の地震活動の季節性や，地域間の地震活動の因果関係を導くことができた（尾形, 1993, 3.1, 3.3 節, 統計数理 63 尾形論文 8, 9 節参照）．（3.4）式右辺の第 4 項は，後ほど次節で述べる ETAS モデルを含む形にもなっている（例えば Kumazawa et al., 2016）．
このアプローチは AIC を採用し，誘発候補データの地震活動への因果性を調べる方法の原型である．今日まで，様々な地震活動の異常に基づいた大地震の警戒（alarm）情報が，電子メールなどで定期的に報知されているが，これらの有効性は議論の余地がある（Jordan et al., 2011）．
．他
そのような警戒情報には，客観的な有意性の評価が可能である（統計数理 63 庄・尾形論文）

220

統計数理

第 67 巻 第 2 号 2019

方，警戒情報が確率予測として採用されるには，対象地域の標準的地震活動度と比べた優位性を示すために，警戒情報との因果関係の有意性および確率利得が，提供されるべきである．ここで「確率利得」とは「大地震の確率が平常時に比べて何倍高くなるのか」という量である．因は，異常なデータや大きな地震との間の前兆性の統計的関係を調べるために果関係モデル（3.4）
使用することができる（統計数理 63 尾形論文 8 節参照）．
3.5 ETAS モデル
このモデルが考案される頃，統計数理研究所は大学共同利用研究所として改組された．筆者
は「数理地震学」の共同研究会や複雑系・フラクタルの学習会を主催し，自己相似性やフラクタ
ル次元（点群の集中度）の最尤法など，地震活動の特徴付けの研究（尾形, 1993, 5.1, 8.1 節; Ogataを行ったが，それらの単なる解釈に終始せず，震源データから直裁的に地and Katsura, 1991）
震活動を予測する実用的な点過程モデルを模索した．手掛りの多くは前節で述べたような，宇津によって探求・確立された余震の経験則であり，これらに基づいて，一定のマグニチュード
Mc 以上の地震発生を予測するために epidemic-type aftershock sequence（ETAS）モデル(3.5)

λ(t|Ht ) = μ +ν(t − ti )eα(Mi −Mc )ti <tを求めた．ここで Ht は過去の地震発生時とマグニチュードの系列の履歴データである．ν(t)は大森・宇津の式（2.1）
で，それに掛け算しているマグニチュードの指数関数の大小によって，大きい地震には多くの余震が誘発され，小さい地震もそれなりに余震を誘発する．時刻 t での条件付き強度は，線形の重ね合わせである．パラメータ α 値はマグニチュード効率で，大きければ典型的な本震・余震型の地震系列になり，小さければ群発地震のようになる．パラメータμ は常時地震活動率と呼び，その地域特有の地震発生の強さを意味する．ただ，常時活動の一
部は昔の地震の余震活動かもしれない．この様に，規模，常時発生率，余震の起き方など，そ（μ, K, c, α, p）は最尤法
れぞれの地域の特徴が定量化される．ETAS モデルの 5 つのパラメータで求められる．ETAS モデルは，シミュレーションで各地の標準的な地震活動を予測するのに良く使われている．
の一定の期間の積分で，平均の地震数が与えられる．このことに基
条件付き強度関数（3.5）
づいて，ある地域において或る期間に地震の数が ETAS の予測に対して有意に少なくなる現象（尾形, 1993, 7.2, 7.3 節; 実例図に注目した．これを「相対的静穏化（relative quiescence）」というとしては http://www.ism.ac.jp/editsec/toukei/pdf/45-1-139.pdf 参照; 最終閲覧日 2019 年 4 月
5 日）．ある地域で地震活動が静穏化しているように見えても，それは単に以前の地震の余震活
動の終息を意味するものかもしれない．ある程度の活動があっても，本来は以前の地震の余震
活動がもっと盛んであるべきなのに，それに比べ，何らかの理由で不活発なのかもしれない．
ETAS モデルを採用すると，このような効果を計算に入れて，減衰する余震活動でも，期待される活動レべルを基準に相対的な静穏化を論じることができる．この点で，従来の除群に基づく静穏化と違う概念である．同様に「相対的活発化」
が定義できる（Ogata, 2005, 2007, 2011a;
Kumazawa and Ogata, 2013; Kumazawa et al., 2010）．このような診断解析的な応用は多数例あり，下記 4.1 節で述べる．
3.6 階層時空間 ETAS モデル「時空間 ETAS モデル」は ETAS モデル（3.5）を一般化して，地震の位置（震央）の変数を考慮したモデルで，リアルタイムで場所も地震の群の広がりも予測する（Ogata, 1998）．これによると今どこで危険度が高く，どこの場所が，これまでどの程度活発だったか一目瞭然である．こ統計地震学の発展と地震活動予測：個人的経験と展望

221

うしたモデルの様々な変型版が「地震予知可能性の研究のための共同研究」（Collaboratory for
the Study of Earthquake Predictability; CSEP; http://www.cseptesting.org/; 最終閲覧日 2019
年 4 月 5 日）の各国のテストセンターに於いて，現在まで 10 年以上予測実験が継続中である．
さらに，応力変化や発震機構など地殻内情報による追加情報をもとに時空間 ETAS モデルより良い適合度を目指す余震メカニズムの研究が盛んに追求されているが，今のところリアルタイ
ム予測に結びついていない．
ETAS（HIST-ETAS）モデルは，地域的特徴を詳細に求
階層的時空間（hierarchical space-time）
めるために，パラメータも位置に依存させるものである（Ogata et al., 2003; Ogata, 2011b）．
これらは隣接する地震を結んだドローネ 3 角形分割上の部分的線形関数で表現され，特に地震集中域では高精度な変化が表現できる．しかし HIST-ETAS モデルの総パラメータ係数は，
データサイズの数倍となる．そこで，経験的ベイズ法と赤池ベイズ情報量規準を用いて，パラメータ係数間の制約の最適な事前分布を求める必要がある．
HIST-ETAS モデルの常時地震活動率 μ(x, y) の高い地域は，GPS で求めたストレス蓄積率
変化の大きい地域と良く対応し，歴史的被害地震の場所もよく説明している．また，今世紀になってからの大地震の発生場所をよく言い当てており，将来の大きな地震の場所の確率予測の基礎となりうる（統計数理 63 尾形論文; 尾形, 2008, 2017）．
4.

点過程の診断解析と地震の物理

4.1 相対的静穏化と後続の大地震との関係
近傍で大地震が連発するのは珍しくない．日本に於ける各々の大地震について，その後に起きた全ての大地震との時間差と距離を重ね合わせプロットすると，直後に近傍で別の大地震が起きる頻度は平時より数倍高くなり，離れるにしたがって逆比例することが分かる（Ogata,．これには理由がある．断層が急激にずれるので周辺の応力が増加し，近傍の断層がず
2017b）
れ易くなるからである（統計数理 63 尾形 5 節参照）．
また著者は日本に於ける過去の大地震の余震列を 76 例調べた（Ogata, 2001b; 詳細記録はOgata, 2001; http://bemlar.ism.ac.jp/ogata/JGR01supplement/ 参照, 最終閲覧日 2019 年 4 月
9 日）．そのうち，相対的静穏化は 45% ほどの余震列で認められ特に珍しくないが，近辺で別の大きな地震が起こる確率は，前述の場合より更に 3〜4 倍高くなる（Ogata, 2017b）．相対的「ゆっ
静穏化の原因の一つとして，余震域で破壊応力の低下（stress shadow）をもたらすようなが近傍の断層内で起きる場合が考えられる．その際，そのような slow
くりすべり（slow slip）」
slip がきっかけとなって，新たな断層の破壊が誘発される確率があると考える．この様な先行
slow slip を数例，GPS 測地データの異常変化の解析で確認することができた（Kumazawa etが，更なる事例を数多く解析し，リアルタイムでモニター
al., 2010; Ogata, 2007, 2010b, 2011a）
できる様になることが望まれる．
1990 年頃から現在まで，大地震と余震活動や広域地震活動の前駆的な，相対的静穏化や相対的活性化について，筆者は地震予知連絡会で報告した（地震予知連絡会報，国土地理院;
http://cais.gsi.go.jp/YOCHIREN/report.html; 最終閲覧日 2019 年 4 月 5 日; 報告内容は「統計数理研究所」
として検索）．さらにそれらの大半の数十に亘る論文を地震関連学術誌（統計数理
63 尾形 7 節参照）に掲載したが，それらは一例を除いて事後報告である．したがって，今後ETAS で相対的静穏化・活発化現象や，slow slip を地震の予測に繋げる為には，地震活動や地殻変動の異常検出を事前に探索し，効率的に検出できる統計的モデルや方法の研究を勧めたい．そのヒントの一部を以下に記す．

統計数理

222

第 67 巻 第 2 号 2019

4.2 群発地震
プレート境界における群発地震と slow slip との関係については，数例の報告がある（たとえば Nishikawa and Ide, 2018）．従来から，群発的な地震活動は多様であることが指摘されている（宇津, 1970）．小さい α 値の ETAS モデルで表現できる群発地震（第 2 種群発地震）もある（3.5）式が，火山性の群発地震のように ETAS モデルで良く表現できないものもある．これはの μ のパラメータが時間とともに変化する非定常 ETAS モデルが良い適合を示す（Kumazawa．パラメータ μ の時間変化は，マグet al., 2010, 2016, 2017; Kumazawa and Ogata, 2013, 2014）
マや熱水などの流体の断層系貫入に起因する固着断層の弱化と地震発生率との間に，量的な物
理的関係を提供する可能性がある（統計数理 63 熊沢論文 4 節，尾形論文 9 節参照）．
4.3 余震の時空間診断解析の積分曲線で時間を伸縮変換し，余震群内の時空間的分布を詳
余震活動の大森・宇津式（2.1）
しく見ると，余震域全域で一様な経緯を示す場合もあるが，各部分領域で異なったパターンのこともある（Ogata, 2010a）．特に，大きな余震が発生する前には局所の静穏化パターンを示すことが多い．このようなパターン異常は局所的な slow slip などが余震域の中でも起きている可能性がある．
5.

前震

5.1 マグニチュード系列について
地震のマグニチュード系列に関する研究は未だに発展途上である．伝統的な標準モデル（Gutenberg-Richter 則; Gutenberg and Richter, 1944）は，一定のマグニチュード Mc 以上の指
数分布
(5.1)

F (M |b) = 1 − 10−b(M −Mc ) = 1 − e−β(M −Mc ) ; M ≥ Mc , β = b log10 eに則り，独立同分布である．係数 b は最尤法で決めると Mi − Mc の標本平均の逆数に比例したものとなり，日本地域基準値では凡そ b = 0.9 である．ただし，気象庁などの多くの地震カ
タログの場合，マグニチュード値は四捨五入して 0.1 刻みで与えられているので，不偏推定の為には，下限のマグニチュードは 0.05 を差し引いたものにする．CSEP の予測実験に提出されを仮定している．
ているモデルは殆んど（5.1）
しかし，マグニチュードの時系列は，地震の発生パターンなどの履歴データに依存している可能性がある．また，マグニチュード分布の裾の部分を高めたものも考えられる．例えばアメの第三次カルフォルニア地震予測計画 UCERF3- ETAS（Field
リカ合衆国地質調査所（USGS）
では，サンアンドレアス断層などの近傍活断層への誘発可能性を含む，固有地震型
et al., 2017）
マグニチュード分布を提案している．
様々な観測異常現象と大地震との因果関係をマグニチュード予測に組み込むことが考えられる．たとえば，次節で議論する「前震」の事前識別によって有効な予測を構成できる（Ogata,2017b; Ogata et al., 2018）．その予測の優劣は標準 Gutenberg-Richter 分布モデル（5.1）の予測結果に比べた対数尤度比基準（情報利得）
で検証できる．このような研究は現時点で他に未だ余り見られない．
5.2 前震の統計的特徴
本節では，先ず本震を基準にした前震の相対的な研究（尾形, 1993, 8.3 節）を紹介する．これ
まで様々な前震の定義があるが，次節で予測を考慮するために，以下の定義で考える．

統計地震学の発展と地震活動予測：個人的経験と展望

223

全ての地震
（M ≥ 4.0）に関して，或る時空間的な距離より近いものを全て繋いで，孤立した地
震や地震の群れに分離する（Single-link 法）．各群れの中の最大の地震を本震と呼ぶ．本震と，群内で先行する最大の地震とのマグニチュード差が，0.45 以上の場合，先行する地震を「前震」と呼ぶ．このマグニチュードの差は常識的に，なるべく大きくしたいが，そうすると全体の地震群に占める前震群の割合が少なくなるので，統計的な議論のために便宜上決めた．
余震に比べて前震は希少で，事例ごとに起こり方の相違が著しいので，全ての前震の時刻や位置座標を，本震が原点になるように移動して重ね合わせた統計的な特徴を述べると以下のようになる．（i）その時間頻度は，過去に向かって大森・宇津の（2.1）式に則っている．（ii）本震と（ii）は言い換えると本震に集中することを示すの位置から離れるとベキ則で頻度が減る．
（i）が，それぞれの座標軸での周辺分布が一様になるように座標変換をすると，（iii）あたかもドー
ナツ型が本震に向かって収束する様相になる．これは前震の本震へのマイグレーションを意味．
する（Ogata et al., 1995）
他方，Gutenberg-Richter 独立分布でのマグニチュード系列から時空間 ETAS モデルでシミュ（- iii）が再現できる
レーションされた合成時空間データの前震からでも，重ね合わせの性質（i）．時空間 ETAS モデルは，単なる余震活動（Helmstetter et al., 2003; Ogata and Katsura, 2014）の重ね合わせなのに，なぜ前震の性質を再現するのか，この結果は，前震を物理学的に追究している研究者には意外に思われている．筆者は前震の物理的知見に基づく情報を持ち合わせていないが，この議論を深める鍵となるデータはマグニチュードの時系列である．その周辺分布であるが，その違いは，自然界の地震（気象庁カタロは何れも指数分布（Gutenberg-Richter 則）グ）には自己相関があるのに，前述の合成カタログのものは独立である．
そこで，筆者らは，一方で，気象庁カタログのマグニチュード時系列を逐次 ETAS に入力し，発生時刻と震央座標を作った第 1 種の合成カタログを作製し，他方では，気象庁カタログのマ
グニチュードをブートストラップ（boot strapping）して独立性を確保し，それらを ETAS に入力することよって第 2 種の合成カタログを作製した．それぞれの合成カタログは，いずれも時（- iii）の性質を満たすが，定量的には有意な違いがある．さらに，伝統的に知ら
空間的特徴
（i）
れている前震と余震の b 値の大小の関係については，本震の大きさなどの条件によって異なった結果を導くことを示した（Ogata and Katsura, 2014 参照）．
5.3 前震の事前識別ある地域で新規の地震群が始まったとき，それらが「前震」である確率をリアルタイムで求めたい．すなわち，群れの中で，それまでの最大マグニチュードより 0.45 以上飛びぬけた，格段に大きな地震が起こりうる確率である．先ず，群れの先頭の地震の位置座標，群内の各々の地
震の時間間隔，震央間距離，およびマグニチュード差を計算する．それらの履歴データを説明変数とし，最適な logit 関数のモデルによって，現在進行中の地震群が前震系列である確率，すなわち 1 か月以内にマグニチュードが，これまでより 0.45 以上の大きな地震が出現する確率を計算し予測する（統計数理 63 尾形論文 10 節参照）．
筆者らがそのような計算式を提案してから経過した 15 年間の予測の結果を検証した（Ogata．すなわち，経験的な一定確率での前震予測に対する対数尤度比基準（情報and Katsura, 2012）
利得）によって比較した結果，予測成績が上回るということになった．特に，本震が大きい地に限ると，識別予測の結果は極めて明瞭であった．
震の群（例えば M0 ≥ 6.5）
6.

多重確率予測式による大地震の予測

無情報の基での大地震の確率（永年確率）
は極めて小さいが，何らかの異常現象が現れると，

統計数理

224

第 67 巻 第 2 号 2019

その予測確率（確率利得）
は相対的に増えることが期待される．しかし，前兆性や切迫性の識別には不確定さが伴う．なので，我々は経時観測データの異常を明瞭に定義し，それらが前兆と）や確率利得を求める作業をする必要がある．また地して大地震に至る確率（「適中率，hit rate」
震の見逃し（不意打ち）を避ける為には，低い適中率でもできるだけ多くの異常現象を発掘する必要がある．
大地震に至る高い適中率や確率利得を出すことは困難であろうが，それでも独立な幾つかの異常の予測因子が重なれば，「多重確率予測公式」（統計数理 63 尾形論文）によって，大地震予測の確率が実用的なものまで高まることがある．独立性が保証できない場合は，多重確率予測関数の展開モデルで算出し，AIC 比較でモデルの期待予測を公式を一般化したロジット（logit）
高めることができる．
現状では，独立性を担保するような短期・中期・長期の予測確率を組み合わせるのが有望な策であり，先行研究では，宇津による 1978 年の伊豆大島近海地震，および安芸らによる中国の海城地震や唐山地震などに関して計算されている．最近著者も，M7.3 熊本地震に関して多重確率予測公式で試算した結果と予測確率のバラツキを示した（Ogata, 2017b）．
7.

おわりに

何時だったか思い出せないが「統計モデルはデータ解析の望遠鏡や顕微鏡である」という赤池の言がある．古来，科学的発見を進める原動力は，適切な問題意識の上に，望遠鏡や顕微鏡などの発見や改良のように，方法論的革新が大きく絡んでいることはよく知られている．また，科学的仮説の実証は予測の結果によって決着がつく．同様に，統計科学の研究対象は誠に複雑系ではあるが，適切な統計モデルは予測をそれなりに全うするだけでなく，モデルを作るにあたって考慮されていなかった
「異常」
や
「想定外」
とも呼ばれる科学的新事実を，現実のデータから露出することもある．統計モデルや，それに基づくグラフや画像による表現は，辛うじて見えるものや見えないものをはっきり見せ，新知見を導く科学的方法としての役割を果たしうる．
著者は地震統計にもとづく多くの経験則と，地震学の物理的仮説を，統計的点過程モデルとして表現して，統計的方法の有用性を示すように心がけてきた．たとえば ETAS モデルは地震のデータベースから短期発生率を予測するために，余震活動の経験則に基づいて構成されたが，地震活動の微妙な異常を検出する物差しとして使える可能性も提供する．地震活動研究と密接に関係する統計地震学の展開と，それらの予測における意義をお伝えできたなら幸いである．

参

考

文

献

Adamopoulos, L. (1976). Cluster models for earthquakes: Regional comparisons, Mathematical Geology, 8, 463-475.
安芸敬一 (1956). 統計地震学の現状, 地震, 8(4), 205-228, doi: 10.4294/zisin1948.8.4_205.
Engdahl, E. R. and Villasenor, A. (2002). Global seismicity: 1900-1999, International Handbookof Earthquake and Engineering Seismology (eds. H. K. Lee, H. Kanamori, P. C. Jennings,
et al.), Part A, Academic Press, Amsterdam, https://earthquake.usgs.gov/data/centennial/
centennial.pdf.
Field, E. H., Milner, K. R., Hardebeck, J. L., Page, M., van der Elst, N., Jordan, T. H., Michael, A. J.,
Shaw, B. E. and Werner, M. J. (2017). A spatiotemporal clustering model for the third uniform
California earthquake rupture forecast (UCERF3-ETAS): Toward an operational earthquake
forecast, Bulletin of the Seismological Society of America, 107(3) 1049-1081, doi:10.1785/

統計地震学の発展と地震活動予測：個人的経験と展望

225

0120160173.
Guo, Z. and Ogata, Y. (1997). Statistical relations between the parameters of aftershocks in time,
space and magnitude, Journal of Geophysical Research, 102(B2), 2857-2873.
Gutenberg, B. and Richter, C. F. (1944). Frequency of earthquakes in California, Bulletin of the
Seismological Society of America, 34, 185–188.
Hawkes, A. G. (1971). Point spectra of some mutually exciting point processes, Journal of the Royal
Statistical Society, Series B, 33, 438–443.
Helmstetter, A., Sornette, D. and Grasso, J. R. (2003). Mainshocks are aftershocks of conditional
foreshocks: How do foreshock statistical properties emerge from aftershock laws, Journal ofGeophysical Research, 108(B1), 2046, doi:10.1029/2002JB001991.
Jordan, T. H., Chen, Y.-T., Gasparini, P., Madariaga, R., Main, I., Marzocchi, W., Papadopoulos, G.,
Sobolev, G., Yamaoka, K. and Zschau, J. (2011). Operational earthquake forecasting: Stateof knowledge and guidelines for implementation, Final report of the International Commission on Earthquake Forecasting for Civil Protection, Annals of Geophysics, 54(4), 315–391,
doi:10.4401/ag-5350, http://www.annalsofgeophysics.eu/index.php/annals/article/view/5350/
5371.
熊澤貴雄 (2015). 地震活動の異常性とモデリング, 統計数理, 63(1), 45-64.
Kumazawa, T. and Ogata, Y. (2013). Quantitative description of induced seismic activity before andafter the 2011 Tohoku-Oki earthquake by non-stationary ETAS models, Journal of GeophysicalResearch, 118(12), 6165-6182, doi:10.1002/2013JB010259.
Kumazawa, T. and Ogata, Y. (2014). Nonstationary ETAS models for nonstandard earthquakes, Annals of Applied Statistics, 8(3), 1825-1852, doi:10.1214/14-AOAS759, http://projecteuclid.org/
euclid.aoas/1414091236.
Kumazawa, T., Ogata, Y. and Toda, S. (2010). Precursory seismic anomalies and transient crustal
deformation prior to the 2008 Mw = 6.9 Iwate-Miyagi Nairiku, Japan, earthquake, Journal ofGeophysical Research, 115, B10312, doi:10.1029/2010JB007567.
Kumazawa, T., Ogata, Y., Kimura, K., Maeda, K. and Kobayashi, A. (2016). Background rates ofswarm earthquakes that are synchronized with volumetric strain changes, Earth and Planetary
Science Letters, 442, 51-60, doi:10.1016/j.epsl.2016.02.049.
Kumazawa, T., Ogata, Y. and Tsuruoka, H. (2017). Measuring seismicity diversity and anomalies
by point process models: Case studies before and after the 2016 Kumamoto earthquakes in
Kyushu, Japan, Earth, Planets and Space, 69, Article 169.
Lewis, P. A. W. (ed.) (1972). Stochastic Point Processes: Statistical Analysis, Theory and Applications,Wiley, New York.
Lewis, P. A. W. and Shedler, G. S. (1979). Simulation of nonhomogeneous Poisson processes bythinning, Naval Research Logistics Quartary, 26(3), 403-413, https://apps.dtic.mil/dtic/tr/
fulltext/u2/a059904.pdf.
Nishikawa, T. and Ide, S. (2018). Recurring slow slip events and earthquake nucleation in the source
region of the M7 Ibaraki-Oki earthquakes revealed by earthquake swarm and foreshock activity,
Journal of Geophysical Research, doi:10.1029/2018JB015642, https://drive.google.com/file/d/
16Ah30kGNuq3za038b2r_I-LNLSOvkGu5/view.
Ogata, Y. (1981). On Lewis’ simulation method for point processes, IEEE Transaction of Information
Theory, IT-27, 23-31.
Ogata, Y. (1983). Estimation of the parameters in the modified Omori formula for aftershock frequencies by the maximum likelihood procedure, Journal of Physics of the Earth, 31, 115-124,https://www.jstage.jst.go.jp/article/jpe1952/31/2/31_2_115/_article/-char/en.
尾形良彦 (1993). 地震学とその周辺の地球学分野に於ける統計モデルと統計的手法, 日本統計学会誌,

226

統計数理

第 67 巻 第 2 号 201922(3), 413-463, doi: 10.11329/jjss1970.22.413.
Ogata, Y. (1998). Space-time point-process models for earthquake occurrences, Annals of Institute of
Statistical Mathematics, 50(2), 379-402.
Ogata, Y. (2001a). Exploratory analysis of earthquake clusters by likelihood-based trigger models,Festschrift volume for Professor Vere-Jones, Journal of Applied Probability, 38A, 202-212.
Ogata, Y. (2001b). Increased probability of large earthquakes near aftershock regions with relative quiescence, Journal of Geophysical Research, 106(B5), 8729-8744, doi: 10.1029/2000JB900400.
Ogata, Y. (2005). Detection of anomalous seismicity as a stress change sensor, Journal of GeophysicalResearch, 110(B5), B05S06, doi:10.1029/2004JB003245.
Ogata, Y. (2007). Seismicity and geodetic anomalies in a wide area preceding the Niigata-Ken-Chuetsu
earthquake of 23 October 2004, central Japan, Journal of Geophysical Research, 112, B10301,
doi:10.1029/2006JB004697.

尾形良彦 (2008). 最近 30 年の大地震発生と指定地域について, 地震予知連絡会会報, 79(12-1), 623-625,
http://cais.gsi.go.jp/YOCHIREN/report/kaihou79/12_01.pdf.
Ogata, Y. (2010a). Space-time heterogeneity in aftershock activity, Geophysical Journal International,
181(3), 1575-1592, doi:10.1111/j.1365-246X.2010.04542.x.
Ogata, Y. (2010b). Anomalies of seismic activity and transient crustal deformations preceding the2005 M7.0 earthquake west of Fukuoka, Pure and Applied Geophysics, 167(8-9), doi:10.1007/
s00024-010-0096-y.
Ogata, Y. (2011a). Pre-seismic anomalies in seismicity and crustal deformation: Case studies of the2007 Noto Hanto earthquake of M6.9 and the 2007 Chuetsu-oki earthquake of M6.8 after the2004 Chuetsu earthquake of M6.8, Geophysical Journal International, 186, doi:10.1111/j.1365246X.2011.05033.x.
Ogata, Y. (2011b). Significant improvements of the space-time ETAS model for forecasting of accuratebaseline seismicity, Earth, Planets and Space, 63(3), 217-229, doi:10.5047/eps.2010.09.001.
Ogata, Y. (2013). A prospect of earthquake prediction research, Statistical Science, 28, 521–541,
doi:10.1214/13-STS439.
尾形良彦 (2015). 地震の確率予測の研究 — その展望, 統計数理, 63(1), 3-27.
Ogata, Y. (2017a). Statistics of earthquake activity: Models and methods for earthquake predictability
studies, Annual Review of Earth and Planetary Sciences, 45, 497-527, doi:10.1146/annurevearth-063016-015918.
Ogata, Y. (2017b). Forecasting of a large earthquake: An outlook of the research, Seismological Research Letters, 88(4), 1117-1126, doi:10.1785/0220170006.
尾形良彦 (2017). 日本列島内陸部の常時地震活動度について, 地震予知連絡会会報, 97(9-12), http://cais.
gsi.go.jp/YOCHIREN/report/kaihou97/1_3.pdf.
Ogata, Y. (2018). Comment on “A review of self-exciting spatiotemporal point process and theirapplications” by Alex Reinhart, Statistical Science, 33(3), 319-322, doi:10.1214/18-STS650,
https://projecteuclid.org/euclid.ss/1534147222.
Ogata, Y. and Abe, K. (1991). Some statistical features of the long-term variation of the global andregional seismic activity, International Statistical Reviews, 59, 139-161, https://rmgsc.cr.usgs.
gov/outgoing/threshold_articles/Ogata_Abe1991.pdf.
Ogata, Y. and Katsura, K. (1991). Maximum likelihood estimates of the fractal dimension for random
spatial patterns, Biometrika, 78(3), 463-474.
Ogata, Y. and Katsura, K. (2012). Prospective foreshock forecast experiment during the last 17 years,
Geophysical Journal International, 191(3), 1237-1244, doi:10.1111/j.1365-246X.2012.05645.x.
Ogata, Y. and Katsura, K. (2014). Comparing foreshock characteristics and foreshock forecasting inobserved and simulated earthquake catalogs, Journal of Geophysical Research, 119(11), 8457-

統計地震学の発展と地震活動予測：個人的経験と展望

227

8477, doi:10.1002/2014JB011250.
Ogata, Y., Utsu, T. and Katsura, K. (1995). Statistical features of foreshocks in comparison with otherearthquake clusters, Geophysical Journal International, 121, 233-254.
Ogata, Y., Katsura, K. and Tanemura, M. (2003). Modelling heterogeneous space-time occurrencesof earthquakes and its residual analysis, Applied Statistics (Journal of the Royal StatisticalSociety, Series C ), 52(4), 499-509.
Ogata, Y., Katsura, K., Tsuruoka, H. and Hirata, N. (2018). Exploring magnitude forecasting of thenext earthquake, Seismological Research Letters, doi:10.1785/0220180034.
Ozaki, T. (1979). Maximum likelihood estimation of Hawkes’ self-exciting point processes, Annals of
the Institute of Statistical Mathematics, 31, 145–155.
庄建倉, 尾形良彦 (2015). 地震予測の評価法について, 統計数理, 63(1), 29-44.
宇津徳治 (1970). 5. 地震の時間的分布に関連する諸問題（その 3）：余震, 前震, 群発地震の時間的性質,
北海道大学地球物理学研究報告, 23, 49-71, doi: 10.14943/gbhu.23.49, http://hdl.handle.net/
2115/13973.
宇津徳治 (1999).『地震活動総覧』, 東大出版会, 東京.
Utsu, T., Ogata, Y. and Matsu’ura, R. S. (1995). The centenary of the Omori formula for a decay law of
the aftershock activity, Journal of Physics of the Earth, 43, 1-33, https://www.jstage.jst.go.jp/
article/jpe1952/43/1/43_1_1/_article/-char/en.
Vere-Jones, D. (2006). The development of statistical seismology: A personal experience, Tectonophysics, 413, 5-12.

228

Proceedings of the Institute of Statistical Mathematics Vol. 67, No. 2, 215–228 (2019)

The Development of Statistical Seismology:
A Personal Experience and View
Yosihiko Ogata
Professor Emeritus, The Institute of Statistical Mathematics

I provide an overview of the development of statistical seismology in Japan and myresearch experience. Some focuses are placed on prediction of seismic activity by point
process models, and statistical diagnostic analysis of anomalous seismic activities searching relations to physical phenomena.

Key words: Seismic activity, point processes, ETAS model, hierarchical Bayesian method, probability forecasts, foreshock discrimination.

統計数理（2019）
第 67 巻 第 2 号 229–240©2019 統計数理研究所

創立 75 周年記念号［総合報告］

チューブ法の理論・応用とその周辺
栗木 哲†（受付 2018 年 12 月 28 日；改訂 2019 年 3 月 20 日；採択 3 月 26 日）

要旨チューブ法は，正規確率場の最大値の上側裾確率を精度良く近似する積分幾何学的手法である．同じ目的のための手法として，オイラー標数法がある．本稿では，チューブ法とオイラー
標数法の考え方を概観し，統計学への応用，ならびに最近の発展について解説する．
キーワード：オイラー標数法，同時信頼区間，どこでも効果，射影追跡，特異モデル，
VBM データ解析．
1.

はじめに

表題のチューブ法は，正規確率場の最大値の上側裾確率を精度良く近似する積分幾何学的手法である．同じ目的のための手法として，オイラー標数法がある．本稿では，チューブ法とオ
イラー標数法の考え方を概観し，統計学への応用，ならびに最近の発展について解説する．
チューブ法では，集合の管状近傍（チューブ）の体積評価を通して確率分布を評価する．統計の非線形回帰モ
学において，チューブの体積評価の概念が初めて現れたのは，Hotelling（1939）
デルである：
yi = βf (xi , θ) + εi , εi ∼ N (0, σ 2 ), i = 1, . . . , n.
ここで xi , yi はそれぞれ説明変数，目的変数，β ∈ R と θ ∈ Θ ⊂ R は未知パラメータ，f は θ を含む基底関数である．ここで帰無仮説 H : β = 0 の尤度比検定を考えると，y = (y1 , . . . , yn ) ,f (θ) = (f (x1 , θ), . . . , f (xn , θ)) とおくとき
(1.1)


 y

LRT = supθ∈Θf (θ) y f (θ),が大きな値をとるとき棄却する検定となる．帰無仮説 H : β = 0 のもとでは，y ∼ N (0, σ 2 I),となる．Hotellingy/y ∼ Unif(Sn−1 )（n 次元ユークリッド空間の単位球面 Sn−1 上の一様分布）（1939）
は，尤度比検定統計量 LRT の帰無分布を求めることと，Sn−1 において，基準化回帰基底ベ（図 1）
クトルの θ を動かした時の軌跡 M = {±f (θ)/f (θ) ∈ Sn−1 | θ ∈ Θ} のまわりのチューブ
Tube(M, θ) = {u ∈ Sn−1 | dist(u, M ) ≤ θ},

dist(u, M ) = min cosv, u（大円距離）v∈Mの体積を求めることは同値であることを，以下の関係式のように指摘した：
Pr(LRT ≥ a) =Voln−1 (Tube(M, cos−1 a)).
Voln−1 (Sn−1 )ここで Voln−1 は n − 1 次元体積である．
†

統計数理研究所：〒 190–8562 東京都立川市緑町 10–3

統計数理

230

第 67 巻 第 2 号 2019

図 1．球面チューブ．

Hotelling（1939）
はさらに論文の中で M が 1 次元（曲線）の場合のチューブ体積公式を微分幾
何の言葉で書き下している．この結果はプリンストン高等研究所の同僚であった H. Weyl に
よって M が一般次元閉多様体の場合に一般化され（Weyl, 1939），現在では Hotelling-Weyl の．
定理とよばれている（丹野, 1976; 小林, 1997）（1.1）は，添字集合 θ の上で定義
ところで，Hotelling の非線形回帰問題の尤度比検定統計量
された確率場 X(θ) = |y/y, f (θ)/f (θ)| の最大値 supθ∈Θ X(θ) である．その視点より 1980
年代末から 90 年代にかけて，スタンフォード大で，チューブの体積と確率場の最大値分布に関するいくつかの研究が始まった（Knowles and Siegmund, 1989; Johansen and Johnstone, 1990;．それがチューブ法（tube method; volume-of-tube method）である．
Sun, 1991, 1993）
なお近年 selective inference の名で，モデル選択後の条件付推論の方法論が，これもスタンフォード大の研究者を中心に発展している．そこではチューブ法におけるチューブ座標に沿って分解されたピボット統計量が利用される（Taylor et al., 2016 の Kac-Rice formula）．
2.

チューブ法の概要

X(t), t ∈ T ⊂ Rd , を平均 0，分散 1 のガウス確率場で，そのサンプルパスが滑らかであるものとする．チューブ法は，その最大値の上側裾確率



Pr



sup X(t) ≥ at∈T（a が大きいとき）を近似する方法である．
一般に平均 0 のガウス確率場 X(t) は，正則条件の下で以下のような Karuhunen-Loéve 展開（KL 展開）を持つ．
X(t) =∞

φi (t) ξi ,ξi ∼ N (0, 1) i.i.d.

i=1

ここで Var(X(t)) =φ2i (t) = 1 である．この表現は一意ではないが，標準的な表現として，φi (·) を正値カーネル R(s, t) = Cov(X(s), X(t)) が定義する再生核ヒルベルト空間の正規直交基
底ととることができる．R(s, t) の s = t における微分可能性が高次であるほど，サンプルパス（n 項）で打ち切られている場合を対象とすは滑らかとなる．チューブ法は，KL 展開が有限項
る．ξ = (ξ1 , . . . , ξn ) ∼ Nn (0, In ), φ(t) = (φ1 (t), . . . , φn (t)) , M = {φ(t) | t ∈ T } とおけば

X(t) = φ(t), ξRn ,Pr sup X(t) ≥ a
t∈T



= Pr



sup p, ξRn ≥ ap∈Mである．φi (t) = 1 なので，M ⊂ Sn−1 である．以降確率場 {p, ξRn }p∈M を扱う．このガウス確率場のモーメント構造は，E[p, ξ] = 0, Var[p, ξ] = 1, Cov(p, ξ, q, ξ) = p, q である．

チューブ法の理論・応用とその周辺

231

図 2．チューブの自己交差（左：大域的自己交差，右：局所的自己交差）．

M が Sn−1 の d 次元部分多様体であるとき，M が境界を持つ（閉多様体でない）場合を含めて，M のまわりのチューブの体積 Voln−1 (Tube(M, θ)) は，0 ≤ θ ≤ ∃θc の範囲でベータ分布の:上側確率の線形和で表すことができる（Takemura and Kuriki, 2002）(2.1)

Voln−1 (Tube(M, θ))= wd+1 B d+1 , n−d−1 (cos2 θ) + wd B d , n−d (cos2 θ)2222Voln−1 (Sn−1 )+ · · · + w1 B 1 , n−1 (cos2 θ).
22

ただし wi は M のみに依存する定数で，特にwd+1 =

Vold (M ),Vold (Sd )wd =Vold−1 (∂M ),2Vold (Sd−1 )B a,b はパラメータ (a, b) のベータ分布の上側確率である．定数 θc は M のみに依存する正定数で，本節の最後で定義する．
ガウス確率ベクトル ξ ∼ N (0, In ) の「長さ」ξ と「方位」ξ/ξ は独立に，それぞれ χn 分と球面上一様分布 Unif(Sn−1 ) に従うことから，
布（自由度 n のカイ 2 乗分布の平方根）



(2.2)

Pr



sup p, ξRn ≥ a

p∈M





ξ
= E Pr sup p,
ξ
p∈M
=E







a 
≥
 ξ
n
ξ
R

a
Voln−1 M, cos−1 ξVoln−1 (Sn−1 )≈ wd+1 Gd+1 (a2 ) + wd Gd (a2 ) + · · · + w1 G1 (a2 ).

ここで Gν は自由度 ν のカイ 2 乗分布の上側確率である．最後の式は恒等式

a
E B ν , n−ν= Gν (a2 )22ξとチューブ体積公式（2.1）の組合せで得られるが，（2.1）が θ が小さい（θ ≤ θc ）ときのみなりたっは a が大きいときになりたつ近似式である．その誤差は a → ∞ていたことに対応して，
（2.2）
2
2
1
のとき O(an−2 e− 2 (1+tan θc )a ) である（Kuriki and Takemura, 2001）．
誤差を定めている定数 θc はチューブの臨界半径とよばれ，以下で定義される．

θc = sup θ | Tube(M, θ) は自己交差しない .

チューブの自己交差には，大域的な自己交差と局所的な自己交差が考えられる（図 2）．
M が与えられたとき，臨界半径 θc を解析的ないしは数値的に評価することができる（栗木・竹村, 2008）．具体的な計算例は Kuriki and Takemura（2001）などにみられる．
3.

オイラー標数法の概要

3.1 一次元オイラー標数法
チューブ法と同じ目的の手法に，オイラー標数法がある．ここではその方法を，添字集合が

統計数理

232

第 67 巻 第 2 号 2019

χ(Ta ) = 4 () − 2 (•) + 1 (×) = 3
図 3．エクスカーション集合とそのオイラー標数．

1 次元の場合を中心に概観する．
X(t) を，添字集合 T = [t0 , t1 ] の上で定義された，滑らかなサンプルパスを持つ実数値確率過程とする．ここで添字の一意性 “X(s) = X(t) a.s. ⇒ s = t” を仮定する．
与えられた閾値 a に対して，X(t) が a 以上となるような添字の全体
Ta = {t ∈ T | X(t) ≥ a}

をエクスカーション集合（excursion set）という．エクスカーション集合 Ta のオイラー標数を
χ(Ta ) とおく．Ta は一次元集合なので，χ(Ta ) は Ta の連結成分の個数である．X(t) とエクス
カーション集合の例を図 3 に与える．この例では χ(Ta ) = 3 である．
エクスカーション集合の定義から，X(t) が a 以上となることは Ta が空集合とならないことと同値で，さらにそれは Ta の連結成分の個数が 0 でないことと同値である．すなわちsup X(t) ≥ a ⇔ Ta = ∅ ⇔ χ(Ta ) ≥ 1t∈Tである．ここで a の値が大きいとき，X(t) が 2 つの離れた時点で a を超える事象は稀である
ことが予想される．すなわち事象 χ(Ta ) = k (k ≥ 2) が起こる確率は小さいことが期待できる．
この近似のもとでは，



(3.1)



1l sup X(t) ≥ a− χ(Ta ) = −

t∈T

∞


(k − 1)1l(χ(Ta ) = k)k=2が無視できる量となり，両辺の期待値をとることにより



(3.2)



Pr sup X(t) ≥ at∈T≈ E[χ(Ta )] （a が大きいとき）がなりたつことが期待される．この近似法を，オイラー標数法（The Euler characteristic method）．この方法は，信号処という（Adler and Hasofer, 1976; Worsley, 1995; Adler and Taylor, 2007）の一般化に相当する．なお（3.1）は常に非正なので，不等式
理分野のライス公式（Rice, 1944）Pr sup X(t) ≥ at∈T≤ E[χ(Ta )] （すべての a について）がなりたつ（Naiman, 1986）．この不等式は多重検定や同時信頼区間構成において，近似が保守側であることを保証する．
次に（3.2）の右辺を具体的に評価する．

チューブ法の理論・応用とその周辺

233

定義 1. 区間 T = [t0 , t1 ] で定義された滑らかな関数 X(t) の，（拡張された）臨界点（augmentedとは
critical point）
Ẋ(t) = 0 (t ∈ (t0 , t1 )),< 0 (t = t0 ),> 0 (t = t1 )をみたす点 t = t∗ である．
（拡張された）臨界点集合を T ∗ とおく．
仮定 1. a > 0 を所与とする．t∗ を X(t) の臨界点で X(t∗ ) ≥ a であるような点とする．確率 1 で Ẍ(t∗ ) = 0 であること，また t∗ は孤立点であることを仮定する．
チューブ法で扱う確率場では，本仮定がなりたつことは容易に確認できる．一般には Worsley（1995）の正則条件 C1–C3 の下でなりたつ．このとき，1l{·} を事象の指示関数とすると，図を描けば分かるように（図 3）
χ(Ta ) =

(3.3)





1l{X(t)≥a} sgn(−Ẍ(t)) +1l{X(t)≥a}t∈T ∗ ∩∂Tt∈T ∗ ∩int(T )がなりたつ．これが一次元版のモースの定理である．
の第 1 項，第 2 項の期待値を別々にとる．最初に第 1 項を考える．
以下では，式（3.3）
t∗ ∈ int(T ) とする．まず



lim

ε→0

small region ( t∗ )f (t)1l{Ẋ(t)∈(−ε,ε)} Ẍ(t)dt = f (t∗ )2ε1である．なぜならば，Ẋ(t) = y とおき，Ẍ(t∗ ) > 0 の場合は左辺は limε→0 2ε −ε
1= f (t∗ ), Ẍ(t∗ ) < 0 の場合は左辺は limε→0 2ε



E





1l{X(t)≥a} sgn(−Ẍ(t)) = E lim

ε

 t1
= lim

ε→0

 t1

ε→0

 t1
=
t0

ただし
θẊ(t) (0) = lim

ε→0f ((Ẋ)−1 (y))dy

1l{Ẋ(t)∈(−ε,ε)}2εt0

E 1l{X(t)≥a} (−Ẍ(t))

1l{Ẋ(t)∈(−ε,ε)}2ε|Ẍ(t)|dtdt

E[1l{X(t)≥a} (−Ẍ(t))1l{Ẋ(t)∈(−ε,ε)} ]E[1l{Ẋ(t)∈(−ε,ε)} ]t0

×E[1l{Ẋ(t)∈(−ε,ε)} ]2εdtE[1l{X(t)≥a} (−Ẍ(t)) | Ẋ(t) = 0]θẊ(t) (0)dt,

E[1l{Ẋ(t)∈(−ε,ε)} ]2ε

1l{X(t)≥a} sgn(−Ẍ(t))

t0

= lim

−ε

f ((Ẋ)−1 (y))d(−y) = f (t∗ ). これより

 t1

ε→0

t∈T ∗ ∩int(T )

ε

= lim

ε→0

Pr(Ẋ(t) ∈ (−ε, ε))2εは Ẋ(t) の密度関数の 0 での値である．
（3.3）の第 2 項の期待値評価は容易であり，E[χ(Ta )] =

 t1

ρ(t)dt + Pr(X(t0 ) ≥ a, Ẋ(t0 ) < 0) + Pr(X(t1 ) ≥ a, Ẋ(t1 ) > 0),t0

ρ(t) =E[1l{X(t)≥a} (−Ẍ(t)) | Ẋ(t) = 0]θẊ(t) (0)を得る．これは Worsley（1995）の公式の一次元版である．

統計数理

234

第 67 巻 第 2 号 2019

3.2 平均 0，分散 1 のガウス場の場合
以下ではチューブ法と同じ設定 X(t) = φ(t) ξ, ξ ∼ Nn (0, In ) で ρ(t) の具体形をもとめる．
φ(t) を n × 1 単位ベクトルで t について C 3 級とする．また φ : T → Sn−1 は単射とする．
X(t) の 1 階，2 階微分は Ẋ(t) = φ̇(t) ξ, Ẍ(t) = φ̈(t) ξ. これより t を固定して考えると(X(t), Ẋ(t), Ẍ(t)) は 3 変量正規分布に従う．正規分布の標準的な計算から g(t) = φ̇(t)2 とお
1
1 2
くとき θẊ(t) (0) = 1/ 2πg(t), ρ(t) = g(t) 2 e− 2 a /(2π) が得られ，
1
E[χ(Ta )] =
2π

 t1

 t1
t0

1

g(t) 2 dt × Pr(χ22 ≥ a2 ) +1
Pr(χ21 ≥ a2 )2

1
2を得る．ここで t g(t) dt は M = {φ(t) | t ∈ [t0 , t1 ]} の一次元体積であるので，（2.2）の d = 10の場合に一致する．
の場合もオイラー標数法は（3.2）で定義される．その場合の期待値
添字集合が多次元（d 次元）
E[χ(Ta )] の評価は，拡張された臨界点とモースの定理の一般次元への一般化が必要となる．
定理 1.（Takemura and Kuriki, 2002） X(t), t ∈ T ⊂ Rd を平均 0，分散 1 の滑らかなサンプ
ルパスを持つガウス確率場とする．エクスカーション集合 Ta = {t ∈ T | X(t) ≥ a} のオイラー標数の期待値は(3.4)

E[χ(Ta )] =Vold (T )Vold−1 (∂T )Pr(χ2d+1 ≥ a2 ) +Pr(χ2d ≥ a2 ) + · · · .
Vol(Sd )2Vol(Sd−1 )ここで Sd は d 次元単位球面，添字集合 T は計量



gij = Cov

∂X(t) ∂X(t)
,
∂ti
∂tj




=

∂φ(t) ∂φ(t)
,
∂ti
∂tj


Rn

が付与されたリーマン多様体と考えている．
（2.2）と全く同じ式であり，オイラー標数法はチューブ法と同等であることが分かる．
（3.4）は
4.

統計学への応用

4.1 同時信頼区間の構成
本節では，チューブ法の統計学への応用を紹介する．最初の例は Naiman（1986）による回帰モデルの同時信頼区間構成である．
観測値 {(xi , yi )} に対して回帰モデル
yi = b f (xi ) + εi ,xi ∈ X ⊂ R,

εi ∼ N (0, 1) i.i.d.

を想定する．ここで b は未知パラメータベクトル，f (x) は所与の基底関数ベクトル f である．
例えば f (x) = (1, x, x2 , . . .) とおくと多項式回帰モデルになる．簡単のため，誤差項の分散は既知で 1 とする．
同時信頼区間とは，真の回帰曲線 {(x, b f (x)) | x ∈ X } を確率 1 − α 以上で含む集合である．
b を b の最小二乗推定量（OLS）とし，その集合の取り方には任意性があるが，ここでは {(x, y) | y ∈ b  f (x) ± s.d. ( b  f (x))cα , x ∈ X }の形を考える．ここで A ± B は区間 (A − B, A + B) であり，cα は α に応じて定める定数であ
る．情報行列の逆行列を Σ = ( i f (xi )f (xi ) )−1 とおくと，cα はチューブ法の理論・応用とその周辺

235





1 − α ≤ Pr(b f (x) ∈ b  f (x) ± Σ 2 f (x) · cα , ∀x ∈ X ) = Pr max |φ(x) ξ| ≤ cα ,1x∈X

ただし ξ = Σ (b − b), φ(x) = Σ f (x)/Σ f (x) をみたす閾値として選ぶことができる．ここで ξ ∼ Nn (0, In ), φ(x) ∈ Sn−1 なので，チューブ法が利用可能である．Naiman（1986）の不等式により，チューブ法で構成した同時信頼区間はわずかに保守側の近似となる．
は，複数の回帰曲線
また Lu and Kuriki（2017）
−1
2

1
2

1
2

{(x, b(h) f (x)) | x ∈ X }, h = 1, . . . , kのコントラスト kc(h) b(h) f (x) | x ∈ X ,h=1(c(h) ) ∈ C

kの保守側同時信頼区間を与えている．ここで C は h=1 c(h) = 0 をみたす係数ベクトル (c(h) ) =(c(1) , . . . , c(k) ) の全体である．この問題は複数の成長曲線の多重比較として現れる．
なお，回帰曲線の同時信頼区間構成法として，コーシー・シュワルツの不等式
max |φ(x) ξ| ≤ φ(x) · ξ = ξx∈Xを用いる方法
（Scheﬀé 法）がある．本方法はラオ（1986）で紹介されていることからしばしば使われるが，全実軸を定義域とする単回帰モデル（f (x) = (1, x) , x ∈ X = R）という特別の場合を除いてコーシー・シュワルツの不等式の上界はタイトにならないため，しばしば非常に保守的となり，使うべきではない．
4.2 Look-Elsewhere Eﬀect（LEE，どこでも効果）
実験物理，特に新素粒子探索において，探索する領域を広くすると見せかけの新発見が起きとよばれてることが知られている．この現象は，Look-Elsewhere Eﬀect（LEE，どこでも効果）いるが，統計学の言葉では検定の多重性に他ならない（Gross and Vitells, 2010）．
正規性のもとでは標準偏差の 2 倍が 95% に相当するため，通常，実験結果の図示には 2 シグ
マのエラーバーをつけることが慣習的に行われている．しかしながら素粒子探索においては 5倍の偏差の検出をもって，新発見と認められる（村山, 2013）．この 5 シグマルールの正当化はオイラー標数法に基づいてなされている（van Dyk, 2014）．
4.3 ランダム行列の最大特異値
成分が独立に標準正規分布に従う n × p ランダム行列 Ξ = (ξij ) ∈ Rn×p ，ξij ∼ N (0, 1) i.i.d.
を考える．その最大特異値 σmax (Ξ) は g ∈ Rn , h ∈ Rp を長さ 1 のベクトルとするときの双線形
形式 g  Ξh = tr((hg  ) Ξ) の最大値である．hg  の値はノルムが 1 でランク 1 の n × p 行列全体を取りうるので
σmax (Ξ) = max tr(H  Ξ),H∈M

M = {H ∈ Rn×p | tr(H  H) = 1, rank(H) = 1}.

M は Rn×p の単位球面 Sn×p−1 = {H ∈ Rn×p | tr(H  H) = 1} の部分多様体なので，その分布はチューブ法で近似できる（Kuriki and Takemura, 2001, 2008b）：
2p+n−2 Γ( p+1)Γ( n+1)  1 j Γ( n+p−1−2j
)
2
2
√2
−
Pr(χ2n+p−1−2j ≥ a).
2 Γ(p − j)Γ(n − j)j!
π
p−1

Pr(σmax (Ξ)2 ≥ a) ≈j=02

σmax (Ξ) は自由度 n の p × p ウィシャート行列 Ξ Ξ の最大固有値である．

統計数理

236

第 67 巻 第 2 号 2019

図 4．2 × 2 自由度 5 Wishart 分布の最大固有値の上側確率（実線：真値，点線：チューブ法）．
2
図 4 に，n = 5, p = 2 の場合の σmaxの上側確率とそのチューブ法近似を図示する．なお最近の研究結果として，ランダム行列の手法を用いて，チューブ法近似の n と p が発散するときの．
極限を論じることができる（栗木, 2019）

4.4 多次元正規性検定/探索的射影追跡の有意性
q 次元 i.i.d. ベクトル値観測系列 xt = (x1t , . . . , xqt ) ∈ Rq (t = 1, . . . , n) が得られているとする．
このサンプルが q 次元正規分布に従っているかどうかを検定し，正規分布に従っていない場合にはどのような正規性からの乖離が見られるかを検出したいとする．
サンプルの方向ベクトル h ∈ Sq−1 方向の成分 h xt ∈ R (t = 1, . . . , n) の j 次サンプルキュム
ラントを Kj (h) (j = 2, 3, 4) とする．これらから，射影データの歪度と尖度がB1 (h) =K3 (h)3

K2 (h) 2,B2 (h) =K4 (h)K2 (h)2と計算される．正規性の仮定のもとでは，全ての h に対して K3 (h) と K4 (h) の絶対値は小さくなるという性質に基づいて，Jones and Sibson（1987）は射影追跡のためのモーメント指標
1
1
IJS (h) = B1 (h)2 +B2 (h)2624を提案した．その最大値 maxh∈Sq−1 IJS (h) は多変量正規性の検定統計量として用いることができ，また最大値をとる h が，正規性の乖離がもっとも大きい方向と解釈することができる．
多変量正規性検定の有意水準は，帰無分布のもとでの上側裾確率から評価される：



Pr





max IJS (h) ≥ a  H0 ,h∈Sq−1H0 : xt ∼ q 次元正規分布.

この確率を，サンプル数 n が大きいときの漸近近似で考える．Sq−1 上で定義される連続関数の空間 C(Sq−1 ) の中心極限定理により，法収束





n
d
B1 (·) → Z1 (·),
6nd
B2 (·) → Z2 (·)
24(indep.)が示される．ただし Z1 (·) と Z2 (·) は独立な Sq−1 上正規確率場で，それらの平均は 0, 分散 1,相関関数は corr[Z1 (u), Z1 (v)] = (u v)3 , corr[Z2 (u), Z2 (v)] = (u v)4 である．チューブ法によって，極限分布dmax nIJS (h) → max [Z1 (h)2 + Z2 (h)2 ]h∈Sq−1h∈Sq−1の上側裾確率を近似できる．その際，左辺の最大値は確率場 u1 Z1 (h)+u2 Z2 (h), (h, u) ∈ Sq−1 ×S1

チューブ法の理論・応用とその周辺

237の最大値であることを用いる（Kuriki and Takemura, 2008a）．
4.5 特異モデル：有限混合モデルのコンポーネント数検定
正則な統計モデルでは，モデルの各点で，スコア関数が有限次元の線形空間を張る．そうでない点を特異点といい，特異点を含む統計モデルを「特異モデル」という（福水 他, 2004）．
特異モデルでは，その特異点を帰無仮説にする尤度比は，漸近カイ 2 乗性がなりたたない．
一つの典型例は有限混合モデルである．最も簡単な例として，2 つの 2 項分布 Bin(k, p) とBin(k, p) の混合分布を考える：
x1 , . . . , xn ∼ αBin(k, p) + (1 − α)Bin(k, 1/2) i.i.d.

ここで k は定数，α, p は推定対象のパラメータである．これは p = 1/2 のとき α は推定不能になり，α = 0 のとき p が推定不能となるという特異モデルである．
このモデルにおいて，コンポーネント数の検定
H0 : α = 0orH1 : α = 0

and

p = 1/2(1 コンポーネント）,p = 1/2(<)(2 コンポーネント）を考える．xt の取り得る値は {0, . . . , k} であり，xt をダミー変数表示したベクトルは多項分布(δxt ,0 , . . . , δxt ,k ) ∼ Multk+1 (1; q0 , . . . , qk ), t = 1, . . . , n, i.i.d.

に埋め込むことができる．ここで
qi =

1
2k

 

k
{α(1 + φ)i (1 − φ)k−i + (1 − α)}i(φ = 2p − 1)．

特異モデルの一般論より，H0 vs. H1 の尤度比検定統計量は H0 の下で正規確率場の最大値
2

max{0, sup|φ|≤1 X(φ)} ,

2k/2

k

X(φ) = 

i=0

k
i=0

{(1 + φ)i (1 − φ)k−i − 1}ξiki{(1 + φ)i (1 − φ)k−i − 1}2,

ξi ∼ N (0, 1) i.i.d.

に分布収束する．この極限分布に基づいて，チューブ法により p 値の近似評価式が得られる．
Pr(sup|φ|≤1 X(φ) ≥ a) ≈

 1Vol(M ) = 20

Vol(M )
1
Pr(χ22 ≥ a2 ) + Pr(χ21 ≥ a2 ),2π
2k {(1 + φ2 )k − 1 − kφ2 } (1 + φ2 )k−2
dφ.
(1 + φ2 )k − 1

4.6 特異モデル：順序分割表解析a × b 2 元表データ N = (nij )a×b を，(i, j) セルの確率が pij の多項分布の実現値としてモデ（CA モデル; 数量化 3 類）
ル化する．pij のモデリングとして，対応分析モデル
pij = pi· p·j (1 + φμi νj )と RC 連関モデル
log pij = αi + βj + φμi νjがよく知られている（Kateri, 2014）．ここで行と列が順序尺度の場合，不等式制約
μ1 ≤ · · · ≤ μa ,

ν1 ≤ · · · ≤ νb

統計数理

238

第 67 巻 第 2 号 2019を仮定したモデルを考える．このモデルのもとでは局所対数オッズ比は非負

pi+1,j+1 pi,jlog
pi,j+1 pi+1,j= φ(μi+1 − μi )(νj+1 − νj ) ≥ 0,∀i, jとなる．このモデルにおいて，独立性の仮説 H : φ = 0 は，μi , νj が識別不能となるモデルの特異点である．この特異点を帰無仮説とする尤度比検定の極限帰無分布は，正規確率場の最大値の分布となり，その裾確率の近似にチューブ法を使うことができる（Kuriki, 2005）．
4.7 脳画像データ解析
K. Worsley と K. Friston は一連の研究で，fMRI データをガウス確率場とみなし，そのピー
クの値の統計的有意性をオイラー標数法によって評価する方法を提案した（Friston et al., 1994;（Voxel based morphometry）データなどの脳画像解析の標Ashby, 2011）．彼らの方法は，VBM
準ソフト SPM に実装されている（The FIL Methods Group, 2018; 根本, 2014; 川口, 2017）．
5.

おわりに

本項では滑らかなサンプルパスを持つガウス確率場の最大値の分布を求めるためのチューブ法とオイラー標数法について，その考え方と歴史を概観した．また統計学，データ解析への応用をいくつか紹介した．いままで述べたように，チューブ法は，(i) 多くの最大値型検定統計量，特に尤度比検定統計量 p 値の計算に用いることができる．(ii) 近似公式は a の有限項の漸（例えば p 値 ≤ 0.3）で非常に精度がよい．(iv)
近展開で与えられ計算が容易．(iii) 実用的な範囲
d = 1 のとき，近似公式は保守側のバウンドを与える，といった実用的にも優れた特徴を持つ．
一方で理論的に残された問題として，添字集合の次元や体積が無限に発散する場合のチュー．数学的な定式化を含めて，
ブ法の性質は，まだほとんど解明されていない（栗木, 2019 を参照）
今後研究すべき研究分野である．
謝辞

本稿執筆の機会を与えてくださった田村義保名誉教授，チューブ法研究の共著者である竹村彰通教授，Henry Wynn 教授，加藤直広博士，Xiaolei Lu 博士，4.7 節の内容についてご教示い
ただいた川口淳教授に感謝いたします．また詳細に論文を査読いただいたレフリーの方に感謝いたします．本稿は 2016 年度日本統計学受賞者記念講演での同名の講演に基づきます．関係者の方々に感謝いたします．

参

考

文

献

Adler, R. J. and Hasofer, A. M. (1976). Level crossings for random ﬁelds, The Annals of Probability,
4(1), 1–12.
Adler, R. J. and Taylor, J. E. (2007). Random Fields and Geometry, Springer, New York.
Ashby, F. G. (2011). Statistical Analysis of fMRI Data, The MIT Press, Cambridge, Massachusetts.
Friston, K. J., Worsley, K. J., Frackowiak, R. S. J., Mazziotta, J. C. and Evans, A. C. (1994). Assessing
the signiﬁcance of focal activations using their spatial extent, Human Brain Mapping, 1, 214–220.
福水健次, 栗木哲, 竹内啓, 赤平昌文 (2004).『特異モデルの統計学 — 未解決問題への新しい視点』, 統計
科学のフロンティア 7, 岩波書店, 東京.
Gross, E. and Vitells, O. (2010). Trial factors for the look elsewhere eﬀect in high energy physics, The
European Physical Journal C, 70(1–2), 525–530.

チューブ法の理論・応用とその周辺

239

Hotelling, H. (1939). Tubes and Spheres in n-spaces, and a class of statistical problems, American
Journal of Mathematics, 61(2), 440–460.
Johansen, S. and Johnstone, I. M. (1990). Hotelling’s theorem on the volume of tubes: Some illustrations in simultaneous inference and data analysis, The Annals of Statistics, 18(2), 652–684.
Jones, M. C. and Sibson, R. (1987). What is projection pursuit?, Journal of the Royal Statistical Society, Series A, 150(1), 1–37.
Kateri, M. (2014). Contingency Table Analysis: Methods and Implementation Using R, Springer.
川口淳 (2017). 脳画像解析における統計学的クラスター推測, 日本磁気共鳴医学会雑誌, 37(2), 39–49.
Knowles, M. and Siegmund, D. (1989). On Hotelling’s geometric approach to testing for a nonlinear
parameter in regression, International Statistical Review, 57(3), 205–220.
小林昭七 (1997). 1940 年代, 50 年代の日本の微分幾何, 数学, 49(3), 225–234.
Kuriki, S. (2005). Asymptotic distribution of inequality-restricted canonical correlation with application to tests for independence in ordered contingency tables, Journal of Multivariate Analysis,
94(2), 420–449.
栗木哲 (2019). オイラー標数法によるウィシャート行列の最大固有値分布の近似, 統計数理, 67(2),366-367.
Kuriki, S. and Takemura, A. (2001). Tail probabilities of the maxima of multilinear forms and theirapplications, The Annals of Statistics, 29(2), 328–371.
Kuriki, S. and Takemura, A. (2008a). The tube method for the moment index in projection pursuit,
Journal of Statistical Planning and Inference, 138(9), 2749–2762.
Kuriki, S. and Takemura, A. (2008b). Euler characteristic heuristic for approximating the distribution of the largest eigenvalue of an orthogonally invariant random matrix, Journal of Statistical
Planning and Inference, 138(11), 3357–3378.
栗木哲, 竹村彰通 (2008). チューブの体積と正規確率場の最大値の分布, 数学, 60(2), 134–155.
Lu, X. and Kuriki, S. (2017). Simultaneous conﬁdence bands for contrasts between several nonlinear
regression curves, Journal of Multivariate Analysis, 155, 83–104.
村山斉 (2013). インタビュー「ファビオラ・ジャノッティ博士に聞く」, Kavli IPMU News, 24, 40–47.
Naiman, D. Q. (1986). Conservative conﬁdence bands in curvilinear regression, The Annals of Statistics,
14(3), 896–906.
根本清貴 (2014).『すぐできる VBM：精神・神経疾患の脳画像解析』, 学研メディカル秀潤社, 東京.
ラオ, C. R. (1986).『統計的推測とその応用』（奥野忠一 監訳）, 東京図書, 東京.
Rice, S. O. (1944). Mathematical analysis of random noise, The Bell System Technical Journal, 23,
282–332.
Sun, J. (1991). Signiﬁcance levels in exploratory projection pursuit, Biometrika, 78(4), 759–769.
Sun, J. (1993). Tail probabilities of the maxima of Gaussian random ﬁelds, The Annals of Probability,
21(1), 34–71.
Takemura, A. and Kuriki, S. (2002). On the equivalence of the tube and Euler characteristic methods for the distribution of the maximum of Gaussian ﬁelds over piecewise smooth domains, The
Annals of Applied Probability, 12(2), 768–796.
丹野修吉 (1976).『多様体の微分幾何学』, 実教出版, 東京.
Taylor, J. E., Loftus, J. R. and Tibshirani, R. J. (2016). Inference in adaptive regression via the Kac-Riceformula, The Annals of Statistics, 44(2), 743–770.
The FIL Methods Group (2018). SPM12 Manual, https://www.ﬁl.ion.ucl.ac.uk/spm/.
van Dyk, D. A. (2014). The role of statistics in the discovery of a Higgs boson, Annual Review of
Statistics and Its Application, 1, 41–59.
Weyl, H. (1939). On the volume of tubes, American Journal of Mathematics, 61(2), 461–472.
Worsley, K. J. (1995). Boundary corrections for the expected Euler characteristic of excursion setsof random ﬁelds, with an application to astrophysics, Advances in Applied Probability, 27(4),943–959.

240

Proceedings of the Institute of Statistical Mathematics Vol. 67, No. 2, 229–240 (2019)

The Tube Method: Theory and Applications
Satoshi Kuriki
The Institute of Statistical Mathematics

The tube method is an integral geometric method that is used to estimate the upper tail probabilities of the maxima of Gaussian random fields. The Euler characteristic
method is used for the same purpose. In this paper, the concepts underlying the tube
method and Euler characteristic method are investigated, and their associated applications in statistics and recent technical developments are discussed.

Key words: Euler characteristic method, simultaneous conﬁdence band, look-elsewhere eﬀect, projection pursuit, singular model, VBM data analysis.

統計数理（2019）
第 67 巻 第 2 号 241–253©2019 統計数理研究所

創立 75 周年記念号［研究詳解］

粒子フィルタとデータ同化
上野 玄太1,2（受付 2019 年 1 月 4 日；改訂 6 月 17 日；採択 6 月 21 日）

要

旨粒子フィルタによる状態推定には，粒子と呼ばれる状態ベクトルの実現値が多数必要である．一方で，数値シミュレーションモデルを基盤とするデータ同化では，時間積分の計算コストが大きいことから，データ同化のアルゴリズムの計算コストを抑えることが要求される．多数の粒子を生成することと計算コストを抑えることは両立が難しい要求であるため，粒子フィルタによるデータ同化の方法は，現在のところ現業段階には至っておらず，研究段階にあるといってよい．粒子フィルタを適用する際の課題の一つは，各粒子に割り当てられる重みが 1 粒子に集中する，いわゆる退化の問題を限られた数の粒子でいかに克服するかである．
本稿では，重点サンプリング法により対処する方法として，陰粒子フィルタ（implicit particle
および等重粒子フィルタ（equivalent-weights particle ﬁlter）の考え方とアルゴリズムを解
ﬁlter）
説した．
キーワード：粒子フィルタ，データ同化，重点サンプリング，陰粒子フィルタ，等重粒子フィルタ．
1.

はじめに

数値シミュレーションモデルに基づくデータ同化システムの最大の特徴は，変数が多いことである．典型的には，状態ベクトル xt の次元は k = 105 ∼ 108 ，観測ベクトル y t の次元は
 = 103 ∼ 107 である．このため，計算アルゴリズムに気を配る必要があり，典型的な例を挙げ
ると，k × k 次元の密行列の数値計算を行うことはご法度とされる．これが意味することは，状態空間モデルの推定で最も有名なアルゴリズムであるカルマンフィルタ，また，その延長にある拡張カルマンフィルタは適用できないということである．そのような状況で，データ同化の方法の研究の方向性は大きく二つある．第 1 の方向性は，推定誤差を求めないことである．その代表的なアルゴリズムは 4 次元変分法（アジョイント法）である．4 次元変分法は，事後分布
最大解（MAP 解）を求めることに注力し，解の誤差評価は行わないという計算コストの選択と集中を実施することで，大規模なシミュレーションモデルに対してもデータ同化を可能にしている．第 2 の方向性は，数学的な厳密さに多少目をつぶることである．その代表はアンサンブ
ルカルマンフィルタである．アンサンブルカルマンフィルタは，推定誤差は求めることができる一方で，厳密性は欠くが変数の分布をガウス分布とみなして推定を行うアルゴリズムである．
一方で，急激な変化を伴う現象を幅をつけて予報するなど，状態変数の非ガウス分布を忠実（Kitagawa, 1996）の適用が検討されに扱いたい場合には，第 3 の方向性として，粒子フィルタ
1

統計数理研究所：〒190–8562 東京都立川市緑町 10–3

2

総合研究大学院大学 複合科学研究科統計科学専攻：〒190–8562 東京都立川市緑町 10–3

統計数理

242

第 67 巻 第 2 号 2019ている．ところが，データ同化と粒子フィルタは実際のところ相性が悪い．粒子フィルタにより適切に状態推定を行うためには，多くの粒子，具体的には粒子数を N としたときに，N  k
を満たす粒子数が必要であることが予想される．この条件は，単に k 次元ガウス分布を推定する場合であっても，正定性を満たすサンプル分散共分散行列を得るためには k + 1 個のサンプルが必要になることを考えれば，より複雑な非ガウス分布を対象にしたい以上は妥当なものであると考えられる．しかし，各粒子を生成するためにシミュレーションモデルの時間積分の実施が必要であること，その時間積分には大きな計算コストが要求されるのが一般的であることから，N  k はもちろん，N > k を要求するアルゴリズムの実施も不可能である．そのため，
たとえば N = 2k + 1 であるアンセンテッドカルマンフィルタ（Julier and Uhlmann, 2004）も適用不可である．
すべての状態変数間の共分散の正確な推定は難しいかもしれないが，みなしガウス分布のような便宜的な操作を施さず，シミュレーションモデルによる状態変数の非線形発展をそのまま生かす粒子フィルタの特徴は魅力である．実際，アルゴリズム的には粒子数 N は小さくても粒子フィルタの実行は可能であるから，粒子のばらつきから幅を持った予測もできるはずである．ところが，粒子フィルタを実際に適用してみると，観測ベクトルの次元が高いことに起因して，リサンプリングの際の重みが 1 粒子に集中してしまう，いわゆる退化の問題が深刻であることが明らかになる．1 粒子では確率分布の推定はもちろん，幅を表現することすら不可能
である．
そのため，データ同化の分野においては，第 3 の方向性として，粒子フィルタの適用というよりも，粒子フィルタの改良の研究が進められているという段階である．改良の方向は二つに大別でき，一つは粒子フィルタによる退化を緩和させ，粒子の多様性を失わせない処理を付け加えるものである（例えば融合粒子フィルタは Nakano et al., 2007，レビューは van Leeuwen,2009）．近年は，変数間の相関距離を短く打ち切る，いわゆる局所化の処理を加えた粒子フィルタの研究が盛んである（Farchi and Bocquet, 2018; van Leeuwen et al., 2019）．融合にせよ局
所化にせよ，付け加える処理は，状態空間モデルが表現する変数の数学的な構造に，多少目をつぶった結果の操作である．
もう一つの改良の方向は，重点サンプリングの方法をデータ同化の問題向けに展開するものである．ここに分類されるアルゴリズムは，変数の構造の数学的な厳密さを失わずに構築されていることが特徴である．ただし，粒子数 N をそれほど大きくはとれない以上，数学的厳密性の有無が，推定・予測性能に直結するかどうかは自明ではないことは注意しておきたい．本稿では，後者に分類されるアルゴリズムとして，陰粒子フィルタおよび等重粒子フィルタを解説する．現時点で筆者の知る限り，大規模なデータ同化システムに適した，重点サンプリングを基礎としたアルゴリズムはこの二つのフィルタに限られる．
2.

モデルと粒子フィルタ

非線形のシステムモデル，線形の観測モデルからなる状態空間モデルを考える．システムノ
イズ，観測ノイズはガウス分布に従うとする．
(2.1)

xt = f t (xt−1 ) + v t(2.2)

v t ∼ N (0, Qt )(2.3)

y t = Ht x t + w t(2.4)

wt ∼ N (0, Rt )ここで，xt , xt−1 , v t は k 次元ベクトル，y t , wt は  次元ベクトル，f t は k 次元非線形関数，

粒子フィルタとデータ同化

243

Ht は  × k の観測行列であるとする．Qt , Rt はそれぞれ，k × k,  ×  の正定値対称行列で，既知であるとする．
状態空間モデルで表現される状態の統計的推測に関しては，カルマンフィルタや粒子フィル
タに代表される逐次的な状態推定アルゴリズムが知られている．このアルゴリズムでは，一期先予測分布 p(xt |y 1:t−1 )，およびフィルタ分布 p(xt |y 1:t ) が逐次的に得られる．すなわち，初期
状態 x0 の確率分布 p(x0 ) を与えたとき，以降の時刻での状態 xt の一期先予測分布，フィルタ分布はそれぞれ



(2.5)
(2.6)

p(xt |y 1:t−1 ) =p(xt |xt−1 )p(xt−1 |y 1:t−1 )dxt−1

p(xt |y 1:t ) = p(y t |xt )p(xt |y 1:t−1 )p(y t |xt )p(xt |y 1:t−1 )dxtと与えられる．
（N 個とする）の実現値 {x(n) }N
粒子フィルタでは，x の確率分布を多数
n=1 を用いて. 1 p(x) =
δ(x − x(n) )
N
N

n=1

.
とモンテカルロ近似により表現する．ここで，= はモンテカルロ近似等号である．個々の実現
値 x(n) を粒子という．以降，一期先予測分布 p(xt |y 1:t−1 )，フィルタ分布 p(xt |y 1:t ) を近似す
(n)る粒子をそれぞれ x(n)t|t−1 , xt|t と書き，
1 (n)δ(xt − xt|t−1 )
N
N

(2.7)

p(xt |y 1:t−1 )=
˙

n=1

˙
p(xt |y 1:t )=

(2.8)

N
1 

N

(n)

δ(xt − xt|t )n=1と近似表現する．
フィルタ分布（2.6）にアンサンブル近似（2.7）
を用いると，.  (n)(n)p(xt |y 1:t ) =βt δ(xt − xt|t−1 )
N

(2.9)

n=1
(n) defβt =(2.10)(n)p(y t |xt|t−1 )

N

n=1

(n)

p(y t |xt|t−1 )となる．この式を（2.8）
式のように，各粒子で等しい重み (1/N ) を持つ粒子 x(n)t|t で表現するにNは，重み βt(n) (n = 1, . . . , N ) で {x(n)（復元抽出）
を行い，t|t−1 }n=1 から計 N 回のリサンプリング

N得られた N 個のサンプルを {x(n)t|t }n=1 とすることで実現できる．

3.

重点サンプリングの導入

フィルタ分布（2.6）に一期先予測分布（2.5）
を代入し，xt−1 のフィルタ分布の粒子近似（（2.8）
を行うと，次のようになる．
式で t − 1 としたもの）

N

(3.1)

(n)

n=1

p(xt |y 1:t )=˙  Nn=1

p(y t |xt )p(xt |xt−1|t−1 )(n)p(y t |xt )p(xt |xt−1|t−1 )dxt

統計数理

244

第 67 巻 第 2 号 2019（3.1）式を重点サンプリングの方法に基づき近似する．x(n)t−1|t−1 をパラメータとして持つ，xt

(n,1)
(n,2)
(n,M )のある提案分布 q(xt ; x(n), xt
, . . . , xtとす
t−1|t−1 ) からの M 個の独立なサンプルを xt
ると，（3.1）式の分子および分母に現れる項は(n)(n)
p(y t |xt )p(xt |xt−1|t−1 ) =p(y t |xt )p(xt |xt−1|t−1 )(n)q(xt ; xt−1|t−1 )(n)q(xt ; xt−1|t−1 ). p(y t |xt )p(xt |xt−1|t−1 ) 1 (n,m)δ(xt − xt)=(n)Mq(xt ; xt−1|t−1 )
m=1
(n)

M

)p(xt
|xt−1|t−1 )1  p(y t |xt(n,m))δ(xt − xt
=
(n,m)
(n)
M
q(xt
;x
)
(n,m)

M

(n,m)

(n)

t−1|t−1m=1と表される．これを（3.1）
式に代入すると，.   (n,m)(n,m)
p(xt |y 1:t ) =βtδ(xt − xt
)
N

(3.2)

M

n=1 m=1となる．ここで，(n,m)

λ(n,m) def

βt

(3.3)

t M

= N
n=1

(n,m)

p(y t |xt(n,m) def

λt

(3.4)

=

(n,m)

m=1

λt

(n,m)

)p(xt

(n,m)

q(xt

(n)

|xt−1|t−1 )(n); xt−1|t−1 )と置いた．（3.2）式は，n と m に関する二重の和で，N M 個の粒子によるモンテカルロ近似になっていることに注意されたい．
(n)粒子フィルタ（2 節）は，提案分布を q(xt ; x(n)t−1|t−1 ) = p(xt |xt−1|t−1 )，各提案分布からの独立なサンプル数を M = 1 として，合計 N 個の粒子でフィルタ分布を表現したものである．一
得ている状況において方，4 次元変分法に基づき最適解を一つだけ（x(1)
t−1|t−1 ，N = 1 に相当）

も，提案分布 q(xt ; x(1)t−1|t−1 ) から M 個の粒子を生成し，フィルタ分布の表現が可能である．具の方法による（Atkins et al., 2013）．
体的には陰粒子フィルタ
（5 節）
4.

最適提案分布

提案分布として
(4.1)

(n)

(n)

q(xt ; xt−1|t−1 ) = p(xt |y t , xt−1|t−1 )を選ぶ．ベイズの定理
(n)

(4.2)

(n)

p(xt |y t , xt−1|t−1 ) =p(y t |xt )p(xt |xt−1|t−1 )(n)p(y t |xt−1|t−1 )を用いると，（3.3），（3.4）
式より，
(n)

(4.3)

(n,m)

βt

=

p(y t |xt−1|t−1 )

M

N

n=1

(n)

p(y t |xt−1|t−1 )と な る ．こ の と き の 重 み βt(n,m) は m に 依 存 し な い ．こ れ は ，n を 固 定 し た も と で は ，

粒子フィルタとデータ同化

245

m = 1, . . . , M に関する重みの分散は最小値であるゼロとなる，と言い換えることができ
る．等しい重みであれば，リサンプリングによる退化は完全に克服できる．この分散が最小を最適提案分布という（Doucet et al., 2000, Proposition 2）．たになるという性質から，（4.1）
だし，n を n = 1, . . . , N と変化させ，M = 1 とする粒子フィルタのアルゴリズムにおいてはn = 1, . . . , N に関する重みの分散は最小というわけではない．
（2.4）–のもとでは，（4.1），（4.3）式に現れる確率分布が解析的に表現
状態空間モデル（2.1）
でき，
(n)

(n)

p(xt |y t , xt−1|t−1 ) = φ(xt ; ζ t , Ut )

(4.4)

(n)

(n)

p(y t |xt−1|t−1 ) = φ(y t ; Ht f t (xt−1|t−1 ), Ht Qt Ht + Rt )(4.5)

となる．ここで，φ(x; μ, Σ) は平均ベクトル μ，分散共分散行列 Σ の正規分布に従う確率変数
x の密度関数とし，以下のようにおいている．
(n) def

ζt

(4.6)

(n)

(n)

= f t (xt−1|t−1 ) + Kt (y t − Ht f t (xt−1|t−1 ))

def

(4.7)

Ut = (I − Kt Ht )Qt(4.8)

Kt = Qt Ht (Ht Qt Ht + Rt )−1def

導出方法は，樋口 他（2011, A.3 節）を参照のこと．提案分布（4.4）からのサンプルは，Ut のコ
レスキー分解によって得られる LL = Ut を満たす k × k 下三角行列 L を用いれば，(4.9)(n,m) def

xt

(n)

= ζt

(n,m)

+ Lξ tn = 1, . . . , N ; m = 1, . . . , M

として生成できる（北川, 2005, 16.3 節）．ただし，ξ(n,m)
は k 次元標準正規分布に従う確率変数tξ t ∼ N (0, I)(4.10)の実現値である．
5.

陰粒子フィルタ

ところが，（4.9）
式に基づいて x(n,m)
を生成するには非常に計算コストがかかる．最も計算t式の右辺で用いる L を得るための，コレスキー分解 LL = Ut でコストがかかる部分は，（4.9）
ある．k × k 次元の密行列のコレスキー分解はデータ同化分野ではご法度とされている演算である．そこで，計算コストを抑えることを意識して，（4.9）式と同値な関係式を導くことを考える．
5.1 サンプリングの方法
は，ξ(n,m)を与えたもとで，次の関係式を満たすものと考える（4.9）式を変形すると，x(n,m)
ttことができる．
1 (n,m)1 (n,m)  (n,m)
(n)
(n,m)
(n)
(5.1)
− ζ t ) Ut (xt− ζ t ) = (ξ t
) ξt
(x
2 t
2

ここで，左辺はk
1 (n,m)
k
1
1
(n)
(n,m)
(n)
− ζ t ) Ut (xt− ζ t ) − log 2π − log |Ut |log 2π + log |Ut | + (xt
2
2
2
2
2
(n,m)
(n)
(n)
(n)
; ζ t , Ut ) − [− log φ(ζ t ; ζ t , Ut )]= − log φ(xt(n,m)

= − log φ(xt

(n)

(n)

; ζ t , Ut ) − min[− log φ(xt ; ζ t , Ut )]
xt

統計数理

246

第 67 巻 第 2 号 2019と書けることに着目する．
（4.4）
式およびベイズの定理（4.2）を用いると，この式はさらに，(n,m)− log p(xt

(n)

xt

(n,m)

= F (n) (xt

(5.2)

(n)

|y t , xt−1|t−1 ) − min[− log p(xt |y t , xt−1|t−1 )](n)) − Fminとなる．ここでdef(n)F (n) (xt ) = − log p(y t |xt )p(xt |xt−1|t−1 )(5.3)(n) def

Fmin = min F (n) (xt )

(5.4)

xt

と定義した．したがって，（5.1），（5.2）
式より，k 次元標準正規分布に従う確率変数の実現値(n,m)ξt(n = 1, . . . , N ; m = 1, . . . , M ) を与えたもとで，(n,m)

F (n) (xt

(5.5)

(n)

) − Fmin =1 (n,m)  (n,m)
) ξt
(ξ
2 t

を解くことで，x(n,m)
を生成することができる．この方法を陰粒子フィルタ（implicit particletという（Chorin et al., 2010, 2013; Atkins et al., 2013）．（5.5）式を計算コストを抑えて解く
ﬁlter）
方法が，Morzfeld and Chorin（2012）にある．
（2.4）–のもとでは，（5.3）式は状態空間モデル
（2.1）
(5.6)

F (n) (xt ) =1
1
log 2π + log |Rt | + (y t − Ht xt ) Rt−1 (y t − Ht xt )
2
2
2
1
k
1
(n)
(n)
+ log 2π + log |Qt | + (xt − f t (xt−1|t−1 )) Q−1
t (xt − f t (xt−1|t−1 ))222となる．第 3 項，第 6 項以外は xt に依存しないので，変分法で通常用いる目的関数
def 1
(5.7)
J (n) (xt ) = (y t − Ht xt ) Rt−1 (y t − Ht xt )
2
1
(n)
(n)
+ (xt − f t (xt−1|t−1 )) Q−1
t (xt − f t (xt−1|t−1 ))2(5.8)(n) def

Jmin = min J (n) (xt )
xtを用いると，（5.5）
式の代わりに
(5.9)

(n,m)

J (n) (xt(n)) − Jmin =1 (n,m)  (n,m)
) ξt
(ξ
2 t

を解いて x(n,m)
を求めればよい．
t
5.2 重みの計算（3.3），（3.4）式に基づき，重みを求める．
) を考える．
（4.9）式より，xt は標準正規分布（3.4）式の分母に現れる提案分布 q(xt ; x(n)t−1|t−1（4.10）に従う確率変数 ξt から，次の関係を経て生成される確率変数であると解釈できる．
(5.10)(n)xt = ζ t+ Lξ t（5.10）式により生成される xt の確率分布，すなわちサンプリングを行う提案分布 q(xt ; x(n)t−1|t−1 )は(n)φ(ξ t ; 0, I) = q(xt (ξ t ); xt−1|t−1 ) ∂xt (ξt )  ∂ξt 粒子フィルタとデータ同化

247

(n)

= q(xt (ξ t ); xt−1|t−1 )L

(5.11)

を満たす．（5.11）
式，および（5.5）
式を用いると，（3.4），（3.3）式より，重みは次のように表さ
れる．
(n,m)

(n,m)

λt

=

exp{−[− log p(y t |xt

(n,m)

q(xt

(n,m)

=

exp[−F (n) (xt(n); xt−1|t−1 )

)]

L



1 (n,m)  (n,m)
) ξt
(ξ
2 t

 L
1 k/2
1 (n,m)  (n,m)
exp − (ξ t
) ξt
2π
2
(n)

exp −Fmin −(n)= (2π)k/2 exp(−Fmin )L

(5.12)(5.13)(n)|xt−1|t−1 )]}

(n,m)
φ(ξ t
; 0, I)



=

(n,m)

)p(xt

(n,m)

βt

(n)

=

exp(−Fmin )

M

N

n=1

(n)

exp(−Fmin )状態空間モデル
（2.1）
（2.4）
–
のもとでは，重み（5.13）は
(n,m)

βt

(5.14)(n)=exp(−Jmin )

M

N

n=1

(n)

exp(−Jmin )となる．
特に，4 次元変分法のように N = 1 の場合で，m = 1, . . . , M によって多数の粒子を生成すは m によらない定数になるため，生成した粒子 M 個をリサる場合には，重み（5.13），（5.14）
ンプリングなしでそのままフィルタ分布を表現する粒子として扱うことができる．
6.

等重粒子フィルタ

，（5.13）式で与えられるように，最適提案分布ならびに陰粒子フィルタでは，重み βt(n,m)（4.3）
は m に依存しないが，n を変えれば重みは x(n)t−1|t−1 に依存して変化する．そのため，M = 1
として N 個の粒子を扱う粒子フィルタでは，最適提案分布から受ける恩恵は限定的である．
実際，観測ベクトル y t の次元  が大きい場合には，最適提案分布を用いた重みであっても退化が起こる．等重粒子フィルタ（equivalent-weights particle ﬁlter, van Leeuwen, 2010; Ades andは，重み βt(n,m) を n にも依存しない定数になるように粒子を生成す
van Leeuwen, 2013, 2015）
る方法である．以降の節で見るように，得られる重みは厳密に等しくなるわけでなく，ほとん
ど等しい重みとなる．そのため，「ほとんど等重粒子フィルタ」と呼ぶのが適切で，提案当初
は almost が添えられていた（van Leeuwen, 2010）が，最近は単に等重粒子フィルタと呼ばれている．
等重粒子フィルタも粒子フィルタと同様に，M = 1 として N 個の粒子を扱う．そのため，本節の以下の説明では m = 1 の場合のみを考えているとご理解頂きたい．
6.1 サンプリングの考察を表現する（3.4）式は，提案分布にもとづき生成される粒子
重みの構成要素である λ(n,m)
t
(n,m)
xt
の関数の分数として表される．そこで，提案分布をうまく設計して，分子と分母それ

統計数理

248

第 67 巻 第 2 号 2019

ぞれを粒子に依存しない値にすることを考える．λ(n,m)の値が粒子に依存しなければ，重み
t
(n,m)
βt
も n, m によらない一定値となる．
以下で見るように，まず，分子が一定値となるために，各粒子が満たすべき条件を求める．
提案分布はその条件を満たす粒子を生成しやすいもの，すなわち，条件を満たす粒子の確率密度の値が大きいものを設定する．次に，分母も一定値とするために，これらの条件を満たす粒子の確率密度は共通の値をとるとする．
（4.2）
および
（4.4），（4.5）式を用いて変形すると，（3.4）式の分子を，ベイズの定理(n,m)

p(y t |xt(n,m)

= p(xt

(n,m)

)p(xt

(6.1)

=

(n)

(n)

|y t , xt−1|t−1 )p(y t |xt−1|t−1 )(n,m)= φ(xt(n)|xt−1|t−1 )

(n)

(n)

; ζ t , Ut )φ(y t ; Ht f t (xt−1|t−1 ), Ht Qt Ht + Rt )

1 k/2
2π

1
|Ut |

1
2π

/2

1
|Ht Qt Ht + Rt |(n,m)

exp[−J (n) (xt)]となる．ここで，(6.2)

J (n) (xt ) =

(6.3)

ηt

1
1 (n)
(n)
(n)
(n)
(xt − ζ t ) Ut−1 (xt − ζ t ) + (η t ) (Ht Qt Ht + Rt )−1 η t
22(n) def(n)= y t − Ht f t (xt−1|t−1 )と置いた．（6.2）
式で（5.7）式と同じ J (n) (xt ) を用いているのは，これらの 2 式が恒等式である

−1 (n)
式より，J (n) (xt ) は xt = ζ (n)のときに最小値 12 (η (n)ηtことによる．（6.2）
tt ) (Ht Qt Ht + Rt )をとることが分かる．また，xt をうまく選ぶことで，J (n) (xt ) はこの最小値以上の任意の値をとることが可能であることに注意しておく．
(n,m)
式に含まれる J (n) (x(n,m)) がある定数 C となるように xtを生成するこ
ここでは，
（6.1）
t
(n,m)
(n)
の表現方法には任意性があるが，ある実数 αを導入してとを考える．xt
(6.4)

(n,m)

xt

(n)

(n)

= f t (xt−1|t−1 ) + α(n) Kt η tと表すことにする．
（6.2），（6.4）
式を用いると，J (n) (x(n,m)) = C となるために α(n) が満たすtべき条件は，
1
1 (n)
(n)
(n)
(n)
(6.5)
C = (α(n) − 1)2 (η t ) Kt Ut−1 Kt η t + (η t ) (Ht Qt Ht + Rt )−1 η t
2
2と な る ．さ ら に ，逆 行 列 補 題（ 例 え ば 樋 口 他, 2011, A.1 節 ）に よ り ，Kt = (Q−1
+
t
−1
 −1
−1
 −1
+
H
R
H
)
と表されることを用いると，
K
U
=
R
H
Ht Rt−1 Ht )−1 Ht Rt−1 , Ut = (Q−1
t
t
t t
t t
t
t
となることから，
（6.5）
式は，
1
1 (n)
(n)
(n)
(n)
(n)
(n)
(6.6)
C = (α(n) )2 (η t ) Rt−1 Ht Kt η t − α(n) (η t ) Rt−1 Ht Kt η t + (η t ) Rt−1 η t
2
2となる．ここで，右辺第 3 項の導出においては，次の変形を行った．
Rt−1 Ht Kt + (Ht Qt Ht + Rt )−1 = Rt−1 Ht QHt (Ht Qt Ht + Rt )−1 + (Ht Qt Ht + Rt )−1= (Rt−1 Ht QHt + I)(Ht Qt Ht + Rt )−1= Rt−1 (Ht QHt + Rt )(Ht Qt Ht + Rt )−1= Rt−1（6.6）式は α(n) についての 2 次方程式なので，厳密解が得られ，

粒子フィルタとデータ同化

α(n) = 1 ±

(6.7)

1−

(n)

249

(n)

(η t ) Rt−1 η t

− 2C

(n)
(n)
(η t ) Rt−1 Ht Kt η tとなる．（6.7）式には複号で示される 2 根があるが，正符号の根を採用する．α(n) が確実に正の値となることで各粒子が観測 y t に近づくからである（Ades and van Leeuwen, 2013, Section．
3.3）
式を用いて粒子（6.4）を生成すれば，（6.2）式は J (n) (x(n,m)) = C とな
このようにして，（6.7）
tり，（6.1）式は
(6.8)

1 k/2
2π

1

1
2π

|Ut |

/2

1
|Ht Qt Ht + Rt |exp(−C)となる．すなわち，（3.4）
式の分子は x(n,m)に依存しない値をとる．
t
定数 C は，N 個の粒子のうちいくつをフィルタ分布のアンサンブル近似に残したいかというユーザーの意向に応じて決めることができる．例えば，N = 100 で，80 個の粒子を残したいな(n) −1 (n) 100
1
η t }n=1 から，らば，J (n) (xt ) 最小値の集合 {minxt J (n) (xt )}100
n=1 = { 2 (η t ) (Ht Qt Ht + Rt )(n)
値が 80 番目に小さい要素を選び，その値を C80 とする．minxt J (xt ) の値が C80 以下の 80
個の n に対しては，（6.7）
式により α(n) を選び，
（6.4）式を計算することで，J (n) (x(n,m)) = C80t(n,m)(n)となる xtが生成される．minxt J (xt ) の値が C80 より大きい残り 20 個の n に対して
(n,m)
（重みは C80 から決まる共は，その 20 個の予測粒子 f t (x(n)
t−1|t−1 )，生成された 80 個の xt通の値）を合わせた計 100 個の粒子から 20 個をリサンプリングして補充する．
6.2 提案分布の設計とサンプリング
式の分母を考える．分母には提案分布が入るが，その分布の性質として期待
つづいて，
（3.4）
で与えられる x(n,m)
が生成されやすいこと，そのときの確率密度の値がされることは，（6.4）
tn によらず一定になることである．素朴には，デルタ関数を用いた
(6.9)

(n)

(n)

(n)

q(xt ; xt−1|t−1 ) = δ(xt − f t (xt−1|t−1 ) − α(n) Kt η t )がこの条件にふさわしそうである．提案分布（6.9）を用いれば，必ず xt は（6.4）で与えられる
(n,m)
xt
となり，
（6.8）
式から決まる各粒子の重みは等しくなる．
しかし，（6.9）式は，重点サンプリングの基本的な条件として，提案分布の台が分子の台を含むという条件を満たしていないという点で問題がある．そこで，重みが厳密に等しくなるという条件を緩和した次善策として，(6.10)

(n,m)

xt

(n)

(n)

= f t (xt−1|t−1 ) + α(n) Kt η t(n,m)+ Q1/2 ξ tと x(n,m)を生成することにする．ここで，ξ(n,m)
は次の密度関数を持つ確率変数 ξ t の実現値ttであるとする．
(6.11)defkp(ξ t ; , γU , γN ) = (1 − )
i=1



1
2γU


2
1l(|(ξ t )i | ≤ γU ) + φ(ξ t ; 0, γN
I)

(n,m)
ここで，(ξ t )i は ξ t の i 番目の要素を表す．
（6.10）式の右辺第 3 項として，ノイズ Q1/2
t ξtが導入されているところが，台の問題を回避するポイントである．
（6.11）式で与えられる ξ t の密度関数は，ξ t = 0 周りに限定した [−γU , γU ]k に台を持つ一様
分布と，平均が ξ t = 0 である正規分布の混合分布である．混合比を表すパラメータ 0 < < 1を小さく設定することで，確率密度の値は一様分布で与えられる n に依存しない一定の値

統計数理

250

第 67 巻 第 2 号 2019

(1 − )/(2γU )k でほとんど決まることになる．Ades and van Leeuwen（2013）では， = 10−3 /Nを採用している．γU > 0, γN > 0 も小さい数を設定することで，確率密度を ξ t = 0 の近傍に集中させることができる．具体的な値は 6.3 節で紹介する．また，懸案であった台の大きさは，正規分布の台 (−∞, ∞)k が分子の台を確実に含むことで解決している．（6.10）での Q1/2の乗t
算は，各成分が独立な ξt に相関を持たせ，状態変数間の物理的なバランスを考慮したい意図がある．
6.3 重みの計算（3.4）式に基づき，重みを求めよう．
（6.1）
式で与えられ，（6.1）式に含まれる J (n) (x(n,m))は（6.2）式で与えまず，（3.4）式の分子はtを（6.2）
式に代入し，（6.2）と（5.7）が恒等式であることを用いると，られる．粒子（6.10）(n,m)

J (n) (xt)1(n,m)  −1(n,m)
) Rt (y t − Ht xt)= (y t − Ht xt
2
1
1/2
(n)
+ [α(n) Qt Ht (Ht Qt Ht + Rt )−1 η t + ξ (n,m) ]
2
1/2
(n)
× [α(n) Qt Ht (Ht Qt Ht + Rt )−1 η t + ξ (n,m) ](6.12)となる．（6.10）
式で与えられる粒子 x(n,m)
は，（6.12）式が C に近いほぼ定数値になるように設t
計されている．その結果，（6.12）
式を用いる（6.1）式もほぼ定数，すなわち（3.4）式の分子もほぼ定数になる．
式を得たときと同様に考えると，粒子の生成（6.10）は，
次に，（3.4）式の分母を考える．（5.10）
確率変数 xt と ξt の関係
(n)

(n)

xt = f t (xt−1|t−1 ) + α(n) Kt η t(6.13)+ Q1/2 ξ tに対応し，∂xt /∂ξt = Q1/2 となる．よって，ξ t の密度関数（6.11）を用いると，（3.4）式の分母は次のようになる．
(n,m)

q(xt

(6.14)(n); xt−1|t−1 ) =1−=(2γU )k



1

(n,m)

; , γ U , γN )
p(ξ t


 ∂xt (n,m)   (ξt
)
 ∂ξt

(n,m)

|Q|

1l(ξ t∈ [−γU , γU ]k ) k/2 
+

2
π

1−

γU
γN

k



1
(n,m)  (n,m)
exp − 2 (ξt
) ξt
2γN



よって，重みは（3.3），（3.4）
式より，λ(n,m)の定数部分を除いて定義する λ̃(n,m)
を用いて，
t
t
次のように表される．
(n,m)

βt

(6.15)= N
n=1(6.16)

(n,m)

λ̃

t M

m=1

(n,m)

λ̃t

(n,m)

exp[−J (n) (xtdefλ̃(n,m) = k/2 

1l(ξ

(n,m)

∈ [−γU , γU]k ) +

1−

2
π

γU
γN

)]

k



1
exp − 2 (ξ (n,m) ) ξ (n,m)
2γN

粒子フィルタとデータ同化

251

ただし，
（6.16）
式の分子において，J (n) (x(n,m))は（6.12）式で，x(n,m)
は（6.10）式でそれぞれ与tt
えられるものとする．
γU , γN の設定値について述べておく．
（6.16）式に見るように，γU は一様分布の台を，また，
比 γU /γN が正規分布の寄与を制御している．Ades and van Leeuwen（2013）では，γU = 10−5と設定している．正規分布の寄与は重みの値の違いをもたらすので，退化を起こさないようにしたいという観点からは，できるだけ小さいほうが望ましい．すでに は小さい値を設定しているので（ = 10−3 /N など，6.2 節），(2/π)k/2 (γU /γN )k = 1 であれば十分である．これより，
γN = (2/π)γU と設定することができる．
謝

辞査読者からの有益なコメントに感謝いたします．本研究は統計数理研究所共同研究プログラの助成を受けたものです．
ム（27 - 共研 - 2007）

参

考

文

献

Ades, M. and van Leeuwen, P. J. (2013). An exploration of the equivalent weights particle ﬁlter, Quarterly Journal of the Royal Meteorological Society, 139(672), 820–840, DOI:10.1002/qj.1995.
Ades, M. and van Leeuwen, P. J. (2015). The equivalent-weights particle ﬁlter in a highdimensional system, Quarterly Journal of the Royal Meteorological Society, 141(687), 484–503,
DOI:10.1002/qj2370.
Atkins, E., Morzfeld, M. and Chorin, A. J. (2013). Implicit particle methods and their connection withvariational data assimilation, Monthly Weather Review, 141, 1786–1803, DOI:10.1175/MWR-D12-00145.1.
Chorin, A., Morzfeld, M. and Tu, X. (2010). Implicit particle ﬁlters for data assimilation, Communications in Applied Mathematics and Computational Science, 5(2), 221–240.
Chorin, A. J., Morzfeld, M. and Tu, X. (2013). A survey of implicit particle ﬁlters for data assimilation,
State-Space Models: Applications in Economics and Finance (eds. Y. Zeng and S. Wu), Statistics
and Econometrics for Finance 1, 63–88, Springer, New York, DOI:10.1007/978-1-4614-7789-1_3.
Doucet, A., Godsill, S. and Andrieu, C. (2000). On sequential Monte Carlo sampling methods forBayesian ﬁltering, Statistics and Computing, 10(3), 197–208.
Farchi, A. and Bocquet, M. (2018). Review article: Comparison of local particle ﬁlters and new implementations, Nonlinear Processes in Geophysics, 25(4), 765–807, https://www.nonlin-processesgeophys.net/25/765/2018/, DOI:10.5194/npg-25-765-2018.
樋口知之, 上野玄太, 中野慎也, 中村和幸, 吉田 亮 (2011).『データ同化入門』, 予測と発見の科学, 6, 朝倉書店, 東京.
Julier, S. J. and Uhlmann, J. K. (2004). Unscented ﬁltering and nonlinear estimation, Proceedings ofthe IEEE, 92, 401–422, DOI:10.1109/JPROC.2003.823141.
Kitagawa, G. (1996). Monte Carlo ﬁlter and smoother for non-Gaussian nonlinear state space models,
Journal of Computational and Graphical Statistics, 5(1), 1–25.
北川源四郎 (2005).『時系列解析入門』, 岩波書店, 東京.
Morzfeld, M. and Chorin, A. J. (2012). Implicit particle ﬁltering for models with partial noise, and an
application to geomagnetic data assimilation, Nonlinear Processes in Geophysics, 19(3), 365–382,
https://www.nonlin-processes-geophys.net/19/365/2012/, DOI:10.5194/npg-19-365-2012.
Nakano, S., Ueno, G. and Higuchi, T. (2007). Merging particle ﬁlter for sequential data assimilation,
Nonlinear Processes in Geophysics, 14, 395–408.
van Leeuwen, P. J. (2009). Particle ﬁltering in geophysical systems, Monthly Weather Review, 137(12),4089–4114, DOI:10.1175/2009MWR2835.1.

252

統計数理

第 67 巻 第 2 号 2019

van Leeuwen, P. J. (2010). Nonlinear data assimilation in geosciences: An extremely eﬃcientparticle ﬁlter, Quarterly Journal of the Royal Meteorological Society, 136(653), 1991–1999,
DOI:10.1002/qj.699.
van Leeuwen, P. J., Künsch, H. R., Nerger, L., Potthast, R. and Reich, S. (2019). Particle ﬁlters forhigh-dimensional geoscience applications: A review, Quarterly Journal of the Royal Meteorological Society, 145, 2335–2365, DOI:10.1002/qj.3551.

Proceedings of the Institute of Statistical Mathematics Vol. 67, No. 2, 241–253 (2019)253

Particle Filter and Data Assimilation
Genta Ueno1,2
1 The Institute of the Statistical Mathematics

2 Department of Statistical Science, School of Multidisciplinary Sciences, The Graduate University for

Advanced Studies, SOKENDAIState estimation by the particle filter requires many realizations of the state vector,
called particles, for representing non-Gaussian distributions. On the other hand, data assimilation based on a numerical simulation model cannot adopt an assimilation algorithm
that is computationally expensive because computational resources need to be assigned
to time integration of the state vector by the simulation model. Therefore, the methodology for data assimilation by the particle filter is considered to still be in the research
stage. One important issue is how to avoid so-called the filter degeneracy, in which weights
for resampling concentrate to a single particle. This article reviews particle filter algorithms on the basis of importance sampling, specifically the implicit particle filter and theequivalent-weights particle filter.

Key words: Particle ﬁlter, data assimilation, importance sampling, implicit particle ﬁlter, equivalent-weights
particle ﬁlter.

統計数理（2019）
第 67 巻 第 2 号 255–276©2019 統計数理研究所

創立 75 周年記念号［総合報告］

統計数理研究所における最適化研究
土谷 隆1,2（受付 2019 年 5 月 7 日；改訂 9 月 10 日；採択 9 月 20 日）

要

旨

最適化は統計科学における重要な方法論である．最適化アルゴリズムの発展は新しいモデルの実用化を可能とし，新しいモデルの追及は，最適化アルゴリズムの進展をもたらす．統計科
学の研究所としての統計数理研究所では，さまざまな形で最適化の研究が行われてきた．本論
説では，統計数理研究所における最適化法の研究の展開について概説する．
キーワード：無限次元最適化，最急降下法，Kaczmarz 法，非線形最適化，内点法，情
報幾何．
1.

はじめに

最適化は統計科学における重要な方法論である．統計科学は，データの背後にそれを生み出す確率的機構，すなわち統計モデルを想定することで，現象の予測や説明を目指す．その過程では，最小二乗法や最尤法に見られるように，適切な定量的規準を最適化してモデルのパラメータを推定することが行われる．最適化手法が深化し発展することで，より多くの統計モデ
ルが実用化される．遡ってみれば，線形計画法の原型は，L1 回帰として現れたともいわれている．また，ネイマン・ピアソンの基本定理にも見られるように，推定量や検定量の最適性についての解析が，古くからの統計学と最適化の接点としてあった．そこでは，より抽象的な，
無限次元の最適化問題が扱われ，最適性条件等が問題となることが多かった．このように，最適化法は，さまざまな形で統計科学に古くからかかわってきた．
第 2 次大戦後の電子計算機の登場は，現代科学技術の性格を大きく変えることとなった．実際に計算を行い現実問題を解くことができる可能性が拓けたことを契機とし，多くの数学的・数理的分野が「モデリングとアルゴリズム」を意識した新しい方向に力強く発展していった．統計学についても然り，また最適化についても然りである．特に最適化においては，1947 年，
Dantzig による線形計画法の実用化とともに，数理計画法という新しい学問が勃興し，最適化手法の開発とそれを意識したモデリングと数理に重点を置いた分野として研究が活発に進められるようになってきた．
数理計画の分野では，連続最適化と離散最適化の 2 つの分野が互いに影響を及ぼしあいながら研究が展開された．1950 年代から 70 年代にかけては，連続最適化では，数理的には，双対理論の構築や最適性条件の解析などの研究が進展し，アルゴリズム研究においては，無制約最適化問題に対する最急降下法，ニュートン法の解析や，準ニュートン法などの開発，制約付最適化問題については，罰金関数法や障壁関数法，乗数法などの開発が行われた．離散的最適化
1

政策研究大学院大学 政策研究科：〒 106–8677 東京都港区六本木 7–22–1

2

統計数理研究所 客員：〒 190–8562 東京都立川市緑町 10–3

256

統計数理

第 67 巻 第 2 号 2019

では，ネットワーク最適化問題の解法や整数計画問題に対する分枝限定法などが開発されてきた．また，モデリングの分野では，線形計画問題がさまざまな分野に適用され，問題解決のための有力な道具として活用されるようになった．
1970 年代の後半に計算複雑度の理論が勃興し，最適化問題を解くための計算量が離散的最適化，連続的最適化の両分野で重要な研究課題となった．そして，線形計画問題に対する最初の多項式時間解法である楕円体法が Khachiyan によって 1979 年により提案され，さらに，実用的多項式時間解法である Karmarkar 法の 1984 年の登場により，そして分野全体を巻き込んだ大きな変革をもたらした内点法の研究へと進んでいった．
計算機の急速な発展と相俟って，凸 2 次計画問題や半正定値計画問題，2 次錐計画問題などが新たな最適化問題として解けるようになった．これは，線形計画法が数理モデリングの世界で果たしてきた役割をさらに拡げ，最適化モデリングの可能性を大きく拡大するものであった．
多くの実際問題が「最適化問題を解くことに帰着される」のではなく「線形計画問題，凸 2 次計
『最適化モデル』に帰着することにより」
解
画問題，半正定値計画問題や 2 次錐計画問題というかれるようになったのである．凸 2 次計画法が実用化されたのちに，サポートベクターマシンが現れ，また，圧縮センシングが線形計画問題の思いがけない応用として登場し，半正定値計
画法は制御理論の世界を大きく変え，さらに，統計学，信号処理や種々の分野で統計的モデリングに活用されている．
そして，2000 年代に入り，ビッグデータの時代の到来とともに，機械学習における基本的道
具立てとしての連続的最適化が改めて注目され，超大規模問題に対する最適化手法が精力的に研究され，また，離散的最適化においては，数千から数万変数の整数計画法の問題が日常的に解かれるようになり，様々な分野で活用されている．
このような数理計画分野の研究の歴史の中で，統計数理研究所においては，1955 年の改組において第 3 研究部が「OR および統計解析理論を研究する部署」として位置づけられ（統計数理研究所, 1994），最適化とモデリングの学問としての数理計画法の研究が統計数理研究の一環として行われ，国際的にも通用する重要な研究成果を発信してきた．これらの成果の中から，本論説では，石井による，無限次元線形計画問題とチェビシェフ限界に関する研究，赤池による最急降下法の解析，田邉による Kaczmarz 法の解析，非線形最適化に関する微分幾何学的接近法，主双対内点法，そして，筆者を含む研究所の最適化研究者が国内外の共同研究者とともに行ってきた，内点法や最適化の情報幾何についての研究成果を中心として紹介する．なお，本論に登場する研究者の中で，統計数理研究所員については，以下で初めて登場した時に在職時期を付記している．
本論説には，「最適化」という言葉と「数理計画」という言葉が現れる．本論に進む前に，二つの言葉の意味するところの微妙な違いについて触れておきたい．最適化は数理の世界で古くからある言葉であるが，数理計画は Dantzig による線形計画法の登場後，使われるようになった言葉である．数理計画においては数理やアルゴリズムのみならず，モデリングが重要な研究対象となる．実際，数理計画の草創期には，線形計画問題が解けることを前提として，いかにして現実の問題を線形計画問題に落とし込むかというモデリングの手法が一つの重要な研究課題であった．より俯瞰的に見れば，豊かな構造を持つ基本的モデルがあり，実際の問題をそのモデルに帰着できる形にモデリングすることは，戦後勃興した数理科学諸分野において共通に見られた研究の流れであった．このように，数理計画法においては「最適化の数理やアルゴリズ
ムを意識した」
モデリングの研究が不可欠なものであり，数理計画法は最適化に関する「モデリ
ング・数理・アルゴリズム」の 3 本の柱からなる学問分野である，と考えられる．このことは，Dantzig の古典的名著や Nesterov による定評ある教科書の序文でも強調されており，また，統計数理研究所で長年開催されてきた最適化の研究集会「最適化：モデリングとアルゴリズム」の統計数理研究所における最適化研究

257

名称にはそのような気持ちが込められている．また，近年盛んに研究されている，機械学習分野における「最適化研究」
も，これら 3 つの分野に跨っていることが見て取れる．
2.

チェビシェフ型のバウンドと無限次元線形計画法

モーメントが与えられた時にそのモーメントを実現するような確率分布が存在するかどうか
ははモーメント問題と呼ばれ，古典的かつ重要な問題である．石井惠一（1955 年-1964 年在職）1950 年代後半から 1960 年代にかけて，この問題に連なる一連の数学的問題に取り組んだ（Isii,．その典型的な成果を以下に紹介する（Isii, 1962）．
1960, 1962, 1964）
Ω を全体集合，U をその上の σ 加法族とし，可測空間 (Ω, U) 上での非負測度の族 B が与えられているものとする．f0 (ω), . . . , fm (ω) を Ω から Rm+1 へのボレル可測写像で B の各要素について積分可能とする．また，g(ω) を B の各要素について積分可能な実関数とする．
この設定の下で，次の条件を満たす (Ω, U) 上の非負測度 P ∈ B を考える．即ち M0 , . . . , Mm
を与えられた実数として，

EP (fi ) ≡(2.1)

fi (ω)dP (ω) = Mi ,がすべての i = 0, . . . , m について成立すると仮定する．この条件を満たす P の内，積分

g(ω)dP (ω)の値をできるだけ大きくすることを考える．すなわち，B(M ) = {P |P ∈ B, EP (fi ) = Mi ,i = 0, . . . , m}

として，次の最適化問題を考える：



(2.2)

g(ω)dP (ω), subject to P ∈ B(M ).

sup

この問題
（2.2）は，無限次元線形計画問題と捉えることができる．例えば，確率変数の平均や分散が与えられた時に，ある特定の領域にどの位まで大きな確率を割り当てることが可能であ（チェビシェフ型
るか？といった，確率分布についての minimax 型の限界を与えるような問題
不等式）が（2.2）に帰着できる．
石井の得た主結果は下記の通りである．
定理 1. もし，B が凸ならば，集合



M=



f dP (ω)| P ∈ B(f = (f0 , . . . , fm )T )は Rm+1 上の凸集合である．もし，(M0 , . . . , Mm ) が M の内点であれば，（2.2）の最適値は，
(2.3)

inf

a0 ,...,am

m

i=0

 
ai Mi + sup

P ∈B

g−




ai fi dPiと書くことができる．さらに，もし，最適値が有限であれば，実際に最適値を達成する a0 , . . . , amが存在する．
（2.2）には最適解（最適な測度 P ）が存在するとは限らないが，もし，それが存在すを達成するものである．
るならば，
（2.3）
でこの結果を拡張し，さらに，目的関数を非線形化することで，Cramér-Rao
石井は Isii（1964）

統計数理

258

第 67 巻 第 2 号 2019の不等式を導出している．石井の成果はモーメント問題の古典的な結果として（Lasserre, 2010;
等良く知られている専門書に引用されている．また，最近でも，Minimax
Wolkowicz et al., 2000）
Probability Machine（Lanckriet et al., 2002）の構築など機械学習の文脈でも活用されており，息の長い基礎的な成果である．
3.

最急降下法について

最急降下法は，微分可能な関数 f (x) を最小化するために，
x+ = x − t∇f (x)という反復を繰り返す基本的最適化手法である．この手法について，赤池弘次（1952 年-1994 年
在職）は，Akaike（1959）において，現在では最適化分野では古典的な結果として広く知られ，標準的な教科書（Fletcher, 2000; Noceda and Wright, 2000）等にも掲載されている，以下の結果を示した．
（そのヘッセ行列の固有値がすべて異なるような）
狭義凸 2 次関数の場合，正「目的関数 f が確な直線探索を行うと，最急降下法によって生成される反復列 xk は，漸近的に，f のヘッセ行
列の最大固有値と最小固有値に対応する 2 つの固有ベクトルからなる 2 次元空間の方向から最適解に近づく．
」
より正確には，赤池は，正則な係数行列を持つ連立一次方程式 Ax = b を解く問題を，正定値対称行列 P を用いて，
f (x) = (Ax − b)T P (Ax − b)の最小化問題と捉え，この問題に最急降下法を適用した時の反復過程を解析している．この時，正確な直線探索を与える t は，t = 2(Ax − b)T P g/g T P g, g = AT P (Ax − b) と書ける．
赤池は，ヘッセ行列の固有ベクトルと関連づけて適切な座標を取り直して最急降下法の反復を解析した．新たな座標系で見た誤差ベクトル (α1 , . . . , αn ) をもとに生成される，2(α12 , . . . , αn)/αi2 の各要素を生起確率とする多項分布を考え，各反復でこの多項分布のパラメータが受ける変化を解析することで，上記の結果を得ている．
赤池は，のちに，本研究を回想する中で「この問題の取り扱いを通じて，筆者は数値計算法全般に対する興味と，関数の局地近傍の形状の二次曲面による近似の実用性の感覚を得た．これが後に筆者を統計モデルの評価に関する情報量規準の導入に誘うことになる．
（赤池, 1999）と」記している．一見関係なさそうに見える，最急降下法と AIC を関連づける形で赤池の研究が進められているのは印象的である．また，この論文の参考文献を見ると，Chernoﬀ や Forsythe,（のみ）が参照されており，統計
Kantorovich ら統計学，数値解析，最適化の一流研究者の論文
学・最適化・数値解析各分野の研究者が互いの問題に大きな関心を寄せていた，数理科学が細分化される前の学際的な雰囲気が感じとれる．また，数値実験が富士通 FACOM-128 というリ
レー計算機で行われていたことも記されており，その点でも当時の雰囲気を感じさせるものとして興味深い．
4.

Kaczmarz 法の収束性（Tanabe, 1971）
最適化と数値解析の境界領域となるが，田邉國士（1967-2005 年在職）は，論文において，連立一次方程式に対する Kaczmarz 法の解析を行った．Kaczmarz 法は，連立一次方程式に対する緩和法の一種であり，元来正則な連立一次方程式系のための解法であったが，田邉は変数と方程式の数が異なるような場合まで含めた形で拡張して解析し，この方法に関す

統計数理研究所における最適化研究

259

る古典的結果を導びいた．田邉は複素数の場合について解析を行っているが，ここでは簡単のため，以下，係数行列や右辺は実数とする．
A を m × n 行列，b を m 次元ベクトルとして，n 変数の m 次元連立一次方程式
Ax = bを考える．連立一次方程式 Ax = b の解法として，次の反復を考えるのが Kaczmarz 法である．
まず，内部反復として，各方程式が定義する超平面への射影を逐次行う．xk が与えられたとしよう．内部反復は下記の通りとなる．
x := xk .
（1）（2）
i = 1, . . . , m について，
x+ := argminaT y−b=0 y − x2 ; x := x+ ;
i

+

k+1

内部反復が終了したあとの x を x
Q, R を用いて，として，同様にして反復を続ける．この時，適当な行列
xk+1 = Qxk + Rbと書ける．
Kaczmarz 法は，元々は，行列 A が正方で正則な場合の連立一次方程式の解法として提案され，解析されたが，田邉は，この方法の収束性を変数と方程式の次元が異なる場合を含め，ごく一般的な場合に解析し，以下の結果を得た．
「初期点 x0 から出発した Kaczmarz 法の反復列は，次の点に収束する：
x∞ = PK x0 + Gb.

ここで，G = (I − Q)−1 R である．G は行列 A のムーア・ペンローズ一般化逆行列となってい」る．PK は，A の核 K = {u|Au = 0} への直交射影である．
この結果は，方程式 Ax = b が解を持つ場合には，任意の x0 について x∞ は解となり，さらに，x0 = 0 ととると，方程式が解を持たなくても，点列が最小二乗解に収束することを示している．
Kaczmarz 法は緩和法と呼ばれる方法の一種であり，この考え方は，凸集合の共通部分を求めるなどの手法に一般化されている．田邉の解析した方法は，コンピュータトモグラフィの画像再構成法にも活用され，現在では，機械学習の文脈で再び脚光を集めている．コンピュータ
トモグラフィがノーベル賞を受賞した時期には，多くの別刷り送付の依頼が寄せられた，とのことである．
5.

非線形計画問題に対する微分幾何的接近法

1960 年代，連続的最適化の分野で，制約付き最適化問題に対する典型的接近法は，罰金関数法や障壁関数法と呼ばれるものであった．これは，目的関数に対して，罰金関数や障壁関数と呼ばれる，制約条件が満たされない点においては無限大かあるいは極端に大きな値をとるような補助関数を足したものを考え，この関数，つまり目的関数＋補助関数，を無制約最適化する
ことで，制約付き最適化問題を解くものである．罰金関数や障壁関数は，制約条件を破ることに対して罰金を科す補助的関数で，この関数を導入することで，制約付き最適化問題を無制約最適化問題に直すことができる．現在でもよく使われる方法であるが，最適解の近くで数値的

260

統計数理

第 67 巻 第 2 号 2019

図 1．射影勾配流の概念図（田辺, 1976，図 4 を引用）．

に悪条件となることが欠点とされていた．そのために，1970 年代に入り，拡大ラグランジュ関
数などを用いて悪条件性を緩和した，乗数法などの解法が提案され，研究が進められた．
田邉は，同時期に，非線形計画問題に対し，微分幾何学的（力学系的）
アプローチを試みていた．等号制約付き最適化問題
max f (x), subject to gi (x) = 0, i = 1, . . . , p, x ∈ Rm

を考える．（不等号制約 h(x) ≤ 0 は，新しい変数 s を導入して，h(x) + s2 = 0 と書き直せる．）
以下，∇ は x に関する勾配を表すものとする．
目的関数 f の勾配を制約領域の接平面に射影したベクトル場を射影勾配と呼ぶことにする．
制約条件を満たす領域上での f の射影勾配流（射影勾配の積分曲線）は概念的には図 1 のようになり，最適解は射影勾配流の停留点となる．射影勾配流を定義する微分方程式を数値的に解く
ことで，最適解を求めることができる．田邉はこの微分方程式の漸近的な挙動等について解析．これは，Rosen の射影勾配法の連続版である．
した（Tanabe, 1974）（定数分）
変
射影勾配流自身は，制約領域を満たさない点においても，gi (x) の右辺を適切に更することで同様のものが定義できる．しかし，そのような初期値から出発して射影勾配流を数値的に積分しても制約条件を満たさないので，最適解を求めることはできない．一方，一般には，制約領域を満たさない点から出発しても，制約領域に近づくことができるように，制約「ニュートン法」のベクトル場
条件が満たすべき方程式系 gi (x) = 0, i = 1, . . . , p 上の点を求めるを定義することができる．この方程式系は変数の方が方程式の数よりも多い過少決定系である
が，適当な正則条件の下で，一般逆行列を用いることで，ニュートン法のベクトル場を定義できる．したがって，（いわばシフトした）
射影勾配と制約領域を求めるニュートン法のベクトル場を加えたベクトル場を定義し，それを数値的に積分して最適解に至る解法を考えることがで．田邉は（Tanabe, 1980）
等でこれらのベクトル場が定義する力学系の漸きる（Yamashita, 1980）
近的な性質を詳しく解析した．
さらに，田邉は，
min f (x), subject to gi (x) = 0, i = 1, . . . , p, x ∈ Rm

に対するカルシュ・キューン・タッカー条件（一次の最適性条件）

∇f + J(x)T λ = 0,g(x) = 0,

Jij (x) =

∂gi
∂xj



統計数理研究所における最適化研究

261

図 2．FIGAP 法の概念図（田辺, 1981，図 4 を引用；図中 Ψ は探索ベクトル，Ψnr は制約条件を満たすためのニュートン方向，Ψgap は目的関数を最適化する方向で Ψ = Ψnr +Ψgapとなっている）．

に対するニュートン法の反復式


(5.1)

∇2 L(x, λ)J(x)J T (x)0

x+ = x + Δx
Δx
λ+





=−

∇f
g(x)


,

(L(x, λ) = f (x) + λT g(x))

において，（5.1）の左辺係数行列の ∇2 L(x, λ) をさまざまな行列に置き換えることで，非線形最適化アルゴリズム設計の統一的指針を得ることができることを見出し，この考え方に基（Feasibility-Improving-Gradient-Accute-Projection）法を提案した（図 2）（Tanabe,
づいて FIGAP．
1981; 田辺, 1981）
これらのアルゴリズムの背後にある考え方は，罰金法や障壁関数法のように問題を無制約最適化に落とし込むのではなく，カルシュ・キューン・タッカー条件を満たす点が漸近安定点となるようなベクトル場を最急降下法やニュートン法などを考慮しつつ適切に定義し，そのベクトル場の積分曲線を離散的に追跡することにより最適化アルゴリズムを構築するというものである．田邉は折に触れてニュートン法の重要性を強調している．この思想は，ある意味でその後に登場する内点法の考え方に通じるものである．
6.

内点法を巡って線形計画法は，1947 年，Dantzig によって創始されて以来，現在にいたるまで，数理計画法の中心にありつづけている．線形計画法の解法としては Dantzig による単体法が定番であったが，1970 年代に計算複雑度の理論が勃興し，線形計画問題に対して所謂多項式時間解法が存在するか否かが一つの大きな未解決問題となった．この問題は，Khachiyan により，初めての多項式時間解法である楕円体法の登場によって肯定的に解かれた．しかし，楕円体法は理論的には数理計画法全体に大きく貢献したものの，実用解法ではなかった．1984 年に射影変換と最急降下法を繰り返して問題を解く射影変換法が多項式性を有する実用解法として Karmarkar
によって提案され，数理計画全体に大きな影響をおよぼす潮流を 20 年余りに渡り作り出した．
Karmarkar に端を発する一連のアルゴリズムは，実行可能領域の内部から最適解に近づいていく解法なので，内点法と呼ばれる．統計数理研究所では，内点法についての研究が活発に行われた．以下，成果を紹介する．
次の線形計画問題 (P)

統計数理

262

第 67 巻 第 2 号 2019min cT x, subject to Ax = b,x≥0と双対問題 (D)max bT y, subject to s = c − AT y, s ≥ 0を考えよう．x, s の次元を n とし，A の行ベクトルは一次独立とする．
主問題 (P) の実行可能解 x における目的関数は，双対問題の実行可能解 (s, y) における目的関数の値よりも大きいか等しい．これは，以下のようにして簡単にわかる．
cT x − bT y = xT c − xT AT y = xT s ≥ 0.

上式の左辺の量を双対ギャップという．双対ギャップが 0 の場合には，その時の x と (s, y) は，それぞれの問題の最適解となる．xT s = 0 は，x ≥ 0, s ≥ 0 の条件の下では，xi si = 0 と等価であるから，主問題と双対問題を解くことは，次のような双線形等式・不等式系を解くことと等
価である．
(6.1)

x ◦ s = 0, Ax = b, s = c − AT y, x ≥ 0, s ≥ 0.

ここで，x ◦ s はその各要素が x と s の各要素の積であるベクトルを表す．x > 0, s > 0 である
ような実行可能解を内点実行可能解という．以下，主問題と双対問題に内点実行可能解があることを想定する．
内点法の研究は，Karmarkar による射影変換法に端を発する．(P) に対する射影変換法は，実行可能領域上で，Karmarkar ポテンシャル関数
f (x) = (n + 1) log(cT x − copt ) −n+1
log xi = log

i=1(cT x − copt )n+1
xiが減少する方向に進むことを繰り返すことで (P) を解く反復解法である．ここで copt は (P) の最適値である．実行可能領域上で f (x) が十分に小さくなると，cT x は copt に十分に近い値となる．反復の各ステップでポテンシャルの減少方向を求めるのに射影変換と最急降下法を用いる
ことで，多項式時間アルゴリズムを構築できる．Karmarkar ポテンシャル関数は，− log xiを含む点に特色がある．すなわち，この項があることにより，（最適解以外の）実行可能領域の境界に近づくと f (x) はその値が無限に発散するため，f (x) は，実行可能領域の内側を通って効率よく最適解に近づくためのガイドの役割を果たすことができる．この関数
ψ(x) = −

log xi ,を対数障壁関数という．対数障壁関数は第一象限の境界に近づくにつれてその値が無限大に発散する凸関数である．制約領域において，対数障壁関数を最小化する点を解析的中心と呼ぶ．
対数障壁関数は内点法の理論において重要な役割を果たす．
正のパラメータ ν を導入し，対数障壁関数を用いて，次のような最適化問題を考える．
(6.2)

min cT x + νψ(x) subject to Ax = b, x ≥ 0.

この問題の最適解は ν に依存する．これを x(ν) と記す．この問題は，ψ(x) の項が不等式制約領域の境界に近づくにつれて (xi → 0) で無限大に発散するため，事実上不等式条件を無視できる最適化問題である．ν を小さくすれば，より境界に近いところに x(ν) は移動し，直観的には
ν → 0 で (P) の最適解に収束する．x(ν) の満たすべき条件は，任意の AΔx = 0 なる Δx について，∇(cT x + νψ(x))T Δx = (c − νdiag(x)−1 1)T Δx = 0

統計数理研究所における最適化研究

263

図 3．内点法の概念図．

が成立することであるが，これは，
c − νdiag(x)−1 1 = AT y

(6.3)

がある y について成立することと同値である．ここで，ベクトル u に対し，diag(u) は，u の各成分をその対角要素とする対角行列である．ν を動かした時，x(ν) は実行可能領域の内部を通り ν → 0 で (P) の最適解に収束する曲線となる．これを主中心曲線と呼ぶ．
さて，同様のことを双対問題について考えてみると，（6.2）に対応する問題は，
max bT y − νφ(s), s = c − AT y

(6.4)

となる．双対問題においては，φ(s) = − log(ci − aTi y) が制約条件の境界に近づくにつれてその値が無限大に発散する障壁関数となる．パラメータ ν の時の最適解を (s(ν), y(ν)) と記す
こととする．(s(ν), y(ν)) の満たすべき最適性条件は，
b = νAdiag−1 (s)1, s = c − AT y

(6.5)

である．ν を（正の範囲で）動かした時，(s(ν), y(ν)) は実行可能領域の内部を通り ν → 0 で (D)の最適解に収束する曲線となる．これを双対中心曲線と呼ぶ．
そこで，(P) を解くために，ν を固定しておいて，x(ν) を近似的にニュートン法によって求め，ν の値を減らす，という手続きを繰り返して (P) の最適解を求める方法，あるいは，同様のことを (D) について行って (D) の最適解を求める線形計画問題の解法が考えられる．これが内点法の基本的な考え方である．前者を主内点法，後者を双対内点法という．図 3 に上で説明してきた内点法の概念を示す．
内点法の登場は衝撃的であった．次第に理論的にも実用的にも優れた解法であることが判明してくるにつれ，その研究のうねりは 80 年代後半から，20 年にわたり，最適化のみならず，隣接分野にも影響を及ぼす大きな潮流となっていった．後述するように，機械学習分野でサポー
トベクターマシンや圧縮センシングなどの新しいモデルを生み出す原動力ともなった．本節冒頭でも述べたように，統計数理研究所では，種々の内点法の解析や情報幾何との繋がりなどの研究が活発に行われた．
7.

主双対内点法初期の内点法は，これまで説明してきたように，主問題あるいは双対問題のどちらかに点列を生成するものであったが，新しい立場の内点法アルゴリズムが，Megiddo によって示唆され，

264

統計数理

第 67 巻 第 2 号 2019

田邉と小島・水野・吉瀬の 3 人によって，1987 年 2 月，統計数理研究所の研究集会「線形計画問
題の新解法」において，世界で始めて，同時に提案された（小島 他, 1987; Tanabe, 1987a）．以下，その内容を述べる．
パラメータ ν > 0 に対して，主中心曲線上でパラメータ値が ν である点 x(ν) と双対中心曲線上のパラメータ値が ν である点 (s(ν), y(ν)) は，実は，下記のような方程式の解となってい（Megiddo, 1989）．
ることが Megiddo によって指摘されたx ◦ s = ν1, Ax = b, s = c − AT y, x ≥ 0, s ≥ 0.

この事実は（6.3）と（6.5）
が満たしている関係を上式に代入することで簡単にわかる．この方程
式は（6.1）の最初の方程式の右辺を 0 から各 i について等しく ν に緩めたものであるとも考えられる．
この事実は，主問題と双対問題を対等に扱う対称な解法が存在すること，そして，x ◦ s の値を揃えながら減少させることで，効率良い解法が得られることを示唆する．つまり，障壁関数を用いて実行可能領域の境界から離れることにより，効率的な最適化を実現する，というメカニズムが，相補性条件 x ◦ s = 0 を緩め，相補性に関する残差を揃えながら減少させる，という形でも実現しうることを示唆している．
このような背景の下で，田邉は，（Tanabe, 1987a, 1988）において，前節で発展させた，非線形最適化に関する微分幾何学的方法に「中心化」という，各方程式の残差を揃えながら減少させていく，という考え方を加えていろいろな形に一般化し「中心化ニュートン法」という一連の解法を提案した．特に，線形計画問題と凸 2 次計画問題については，現在主双対内点法として知られているものの具体形を与えた．そして，最適解への近さを計る尺度として，主双対ポテン
シャル関数
fT (x, s) = ρ log(xT s) −log(xi si )iを導入した．ただし ρ > n である．この関数は，
fT (x, s) = (ρ − n) log(xT s) + g(x, s), g(x, s) = n log(xT s) −log(xi si )iと書き直すことができる．簡単な解析により，g(x, s) は実行可能領域上では中心曲線上でのみ最小値 n log n をとることがわかる．そこで，田邉は g(x, s) の値で中心曲線の近傍を定義することを提案した．また，上の表現より，ρ > n であれば，fT (x, s) を −∞ に減少させることで，双対ギャップ xT s を 0 に近づけることができ，(P) と (D) を解くことができることもわかる．
したがって，主双対内点法の枠組みで，このポテンシャル関数を減少させるというアルゴリズ
ムが考えられる．ポテンシャル関数 fT (x, s) は，現在では，Tanabe-Todd-Ye ポテンシャル関数，と呼ばれている．田邉はさらに，主双対内点法の挙動の解析を連続ニュートン法や力学系の立場から行った．図 4 に中心化ニュートン法の概念図を示す．一方，田邉の発表と同時に行
われた，小島・水野・吉瀬の発表は，線形計画問題に対する主双対内点法の計算複雑度を解析し，多項式性の証明を与える点に力点があった．後年，現在広く使われている非実行可能点列
内点法をニュートン法の立場から一早く提案したことも，田邉の注目すべき業績の一つである（田邉, 1989）．
の著者の一人である水野眞治（1990 年-1999 年在職）は研究所に合流
論文（Kojima et al., 1989）
後，さらに主双対内点法の研究を推進し，Todd や Ye 等と国際共同研究を行い，水野・Todd・
Ye 予測子・修正子法（Mizuno et al., 1993），非実行可能点列内点法に対する予測子・修正子法（Mizuno, 1996），同次自己双対内点法（Ye et al., 1994）等の良く知られている成果を得た．土統計数理研究所における最適化研究

265

図 4．中心化ニュートン法の概念図（Tanabe, 1987a, Fig. 6 を引用）．

谷隆（1986 年-2010 年在職）
も，総合研究大学院大学学生であった村松正和と共に，基本的な内点法であるアフィンスケーリング法の大域的収束性を示し（Tsuchiya and Muramatsu, 1995），
このことをきっかけとして，Monteiro, Faybusovich, Megiddo, Terlaky, Roos 等と国際共同研究を展開した．また，El-Bakry, Tapia, Zhang と共に，一般の非線形最適化に対する主双対内点．論文（Mizuno, 1996; Mizuno et al.,法の拡張についての論文を執筆した（El-Bakry et al., 1996）
は今でも折に触れて引用される標準的文献となって1993; Ye et al., 1994; El-Bakry et al., 1996）
いる．なお，本節で参照した田邉の中心化ニュートン法，5 節および 9 節で紹介している最適化の微分幾何学に関する一連の研究は，共同研究リポート（田辺, 1996）にまとめられている．
8.

半正定値計画問題，2 次錐線形計画への主双対内点法の拡張

線形計画問題に対する内点法の研究の進展が一段落した 1990 年代中盤より，線形計画問題
における「変数の非負条件」
を「変数がある凸錐に属している」という条件に拡張した最適化問題
についての研究が進展した．その中でも典型的なものが，半正定値計画問題と 2 次錐計画問題
であり，これらは以下のようにかかれる問題である．半正定値計画問題は，正定値対称行列上の最適化問題で，主問題はmin tr(CX), subject to tr(Ai X) = bi , i = 1, . . . , n, X は半正定値対称行列と書ける．この問題の双対問題は，
max



bi yi , subject to S = C −Ai yi , i = 1, . . . , n, S は半正定値対称行列iとなる．また，2 次錐計画問題は，線形計画問題における変数の非負条件を，変数がいくつかの 2 次錐の直積に属する，という条件に置き換えた，線形計画問題の拡張である．ここで 2 次
錐とは，3 次元円錐の高次元版で，一般に n 次元 2 次錐は {(u0 , u1 ) ∈ R × Rn−1 |u1  ≤ u0 } とかける集合である．具体的には，2 次錐計画問題は下記のようにかける問題である．
min cT x, subject to Ax = b, x はいくつかの 2 次錐の直積に属する

この問題（主問題）の双対問題は，
max bT y, subject to s = c − AT y, s は上と同じ 2 次錐の直積に属するという問題である．線形計画問題と同様，主問題の任意の実行可能解での目的関数値は双対問

統計数理

266

第 67 巻 第 2 号 2019

題の任意の実行可能解での目的関数値よりも大きいか等しく，等しければ，それぞれの問題の最適解となっている．また，緩い正則条件の下で主問題と双対問題の目的関数値が等しい最適解の存在が保証される．
半正定値計画問題や 2 次錐計画問題は，線形計画問題よりもより複雑な条件をモデリング
することができる．統計学，機械学習，制御，信号処理，最適設計，量子化学等多くの分野に応用を持ち，凸最適化の適用範囲を大きく広げた．線形計画問題の場合の主双対内点法を
半正定値計画問題や 2 次錐計画問題に拡張することは，1990 年代後半の興味深い研究課題であった．土谷は，Monteiro とともに半正定値計画問題への主双対内点法について共同研究を進めるとともに（Monteiro and Tsuchiya, 1999），ユークリッド的ジョルダン代数を用いて 2 次錐計画問題への多項式時間主双対内点法の拡張を行った（Tsuchiya, 1999; Monteiro and Tsuchiya,．また，Faybusovich とともに，2 次錐計画問題に対する主双対内点法を無限次元に拡張
2000）, Monteiro and Tsuchiya（2000）は 2
した（Faybusovich and Tsuchiya, 2003）．Tsuchiya（1999）
次錐計画問題に関する標準的文献として折に触れて引用されている．
9.

内点法の情報幾何

情報幾何は，甘利と長岡によってその枠組みが作られた，統計学や機械学習等の解析に有効な微分幾何である．統計数理研究所は，情報幾何と内点法の両方に関心を有する研究者がいる
世界でも数少ない場であったこともあり，内点法の情報幾何の研究が活発に展開された．
情報幾何では，凸ポテンシャル関数とそのヘッセ行列として定まるリーマン計量，そして，
2 つの互いに双対な測地線が基本的な役割を果たす．さて，山下によって，主内点法や双対内点法の探索方向が，対数障壁関数を最小化するためのニュートン方向と，アフィンスケーリ
ング方向という，アフィンスケーリング法の探索方向から成っていることが指摘されていた（Yamashita, 1986）．アフィンスケーリング方向は，対数障壁関数のヘッセ行列を計量とする
目的関数の最急降下方向である．アフィンスケーリング法はカーマーカー法よりも 20 年近く前にソ連の Dikin によって提案されていた世界最初の内点法である．Bayer と Lagarias は，
Legendre 変換によってこれらの内点法の探索方向が直線化されることを見出した（Bayer and．田邉は双対内点法に現れるベクトル場の積分曲線の挙動を解析し，その立場
Lagarias, 1989）から同様の事実を見出し，この変換を Center Flattening Transformation と名づけた（Tanabe,．さらに，田邉と土谷は双対内点法に以下のような情報幾何的な構造があることを指摘
1987b）した（田辺・土谷, 1988）．すなわち，多面体上の対数障壁関数をポテンシャル関数として導入される双対平坦空間の構造を考えると，対数障壁関数のヘッセ行列によりリーマン計量が定義され，アフィンスケーリング法の連続版の軌跡は，情報幾何における双対測地線となっている．
この時，主測地線は，元の空間での直線である．特に，中心曲線は，特別な双対測地線であり，これを離散的に近似的に辿ることによって，最適解を効率良く求めることができる．図 5 に（体）
を，図 6 に双対測地線（アフィン
図 3 の例題についてリーマン計量による “半径” 1 の楕円
スケーリング法の連続版の軌跡）を示す．図 5 の楕円体は Dikin 楕円体と呼ばれている．このような視点から，田邉は双対問題 (D) に対する中心化ニュートン法を提案し，関連する連続版．この線形計画問題に対する情報幾何の枠組みは，の漸近的な挙動の解析を行った（田辺, 1990）
のちに小原敦美によって，半正定値計画問題に拡張された（小原, 1998）．そして，2000 年前後から，小原, 土谷は柿原聡と共に凸最適化の情報幾何と内点法についての共同研究を行い，以．
下の成果を得た（Kakihara et al., 2013, 2014）
線形計画問題の場合，凸最適化の情報幾何構造は以下のようになる．(P) の空間の第一象限
nの内部を Ω と記すことにして，Ω に対する対数障壁関数 ψ(x) = − i=1 log xi を考える．これ

統計数理研究所における最適化研究

267

図 5．Dikin 楕円体．

図 6．双対測地線（連続版アフィンスケーリング法の軌跡）．

が情報幾何の双対平坦空間を定めるポテンシャルとなる．
ルジャンドル変換 s(x) = −∂ψ(x)/∂x を導入すると，s(x) は Ω における非線形大域座標系となり，s(Ω) = Ω となる．x を ∇ 接続に対するアファイン座標系，s(x) を ∇∗ 接続に対するアファイン座標系として，双対平坦空間の構造が導入される（ここで ∇, ∇∗ は勾配を意味する数学記号と異なる情報幾何の用語である）．この空間のリーマン計量は ∂ 2 ψ/∂x2 で与えられる．
主問題の実行可能領域の内部 P は Ω の部分多様体だが，双対問題の実行可能領域の内部 D もs(x) を用いると Ω の部分多様体と考えることができる．x 座標系では P は平坦だが D は曲
．この立場では，中心曲線のがっており，s 座標系では D は平坦だが P は曲がっている（図 7）
パラメトライゼーションとして t = 1/ν を導入して，中心曲線を
Ax = b, s = c − AT y, x ◦ s =11tと表すのが自然となる．この時，主双対中心曲線を (x(t), s(t), y(t)) と記すとすると，hP (t)を主実行可能領域への主中心曲線 x(t) の ∇∗ 接続に関する埋め込み曲率の（リーマン計量の意
味での）ノルム，hD (t) を，双対実行可能領域への双対中心曲線の ∇ 接続の埋め込み曲率のノルムとすると，中心曲線を追跡する，パス追跡型の主内点法の反復回数や双対内点法の反復回数が，中心曲線上の積分

268

統計数理

第 67 巻 第 2 号 2019

図 7．最適化の情報幾何の概念図（両者は同じ問題を x と s による座標系で表現したものである）．

1
IP (ν1 , ν2 ) = √21ID (ν1 , ν2 ) = √2

 1/ν2hP (t)dt,

1/ν1

 1/ν2hP (t)dt,

1/ν1

√
√
を用いて，IP / β, ID / β と書けることが分かる．ここで，β は，アルゴリズムが中心曲線を追跡する時にその中に反復列が生成される中心曲線の近傍の大きさを示すパラメータで，その値が小さいほど，より狭い近傍に留まりながら中心曲線を追跡することになり，精密に曲線を追跡するため，反復回数が大きくなる傾向がある．定義からもわかるように，IP , ID は，主中心曲線，双対中心曲線の幾何学的性質を表す量である．
一方，パス追跡型の主双対内点法の反復回数についても，同様の積分表示
IP D (ν1 , ν2 ) = 1/ν2hP D (t)dt1/ν1√が求められ，反復回数が IP D / β とかけることが知られていた．この事実自身は（Monteiro andにおいて情報幾何とは独立に導出されたことであるが，一見情報幾何とは無関
Tsuchiya, 2008）
係に導出された量であった hP D が実は，hP と hD を用いて定義される，下記のような情報幾
何学的量
(9.1)

h2P D = h2P + h2Dとして書けるという少々驚くべき結果が（Kakihara et al., 2013）において得られた．これは「ピ
タゴラスの定理（関係）」を想起させる興味深い関係である．このように，主双対内点法の反復回数を表す積分も情報幾何的な量として書くことができることが明らかとなった．
では，LA を (P)，(D) の係数行列 A の入力ビット
また，論文（Monteiro and Tsuchiya, 2008）
数として，中心曲線全体に渡る IP D の積分値が存在し，IP D (0, ∞) = O(n3.5 LA ) であることが示されている．この結果と上のピタゴラス関係を用いると，IP (0, ∞), ID (0, ∞), IP D (0, ∞) について，
max[IP (0, ∞), ID (0, ∞), IP D (0, ∞)] = O(n3.5 LA )という評価が成立し，特に，ネットワークフロー問題については，LA = mn で抑えられることより，
max[IP (0, ∞), ID (0, ∞), IP D (0, ∞)] = O(n4.5 m)となる．これらは，中心曲線の大域的な幾何学的性質を明らかにした結果である．

統計数理研究所における最適化研究

269(a) 反復回数と正規化双対ギャップ ν(b)（反復回数 ×β ）と正規化双対ギャップ ν

図 8．DFL001 に対する主双対内点法の挙動．

この積分が反復回数を非常によく近似していることを実用レベルの著名なベンチマーク問題
DFL001 を例にして紹介する（Kakihara et al., 2014）．DFL001 は制約式の数が 6072，変数の数が 12230 の線形計画問題である．この問題に対して主双対内点法を行ったときの反復回数と双対ギャップの減少の関係が図 8(a) である．β を変えると，反復回数と ν の値の関係は，似た形√をとり，横軸を適当にスケーリングすれば，重なりそうである．反復回数を β 倍したものは√積分値そのものになるので，重なることが期待される．実際，反復回数に β かけたものを横軸に取り直してグラフをプロットすると重なることがわかる（図 8(b)）．積分そのものは β = 1とした時の反復回数であり，このように，実験的にも「内点法の反復回数は情報幾何的積分量である」ことが示されている．この結果は半正定値計画問題や 2 次錐計画問題にも拡張された．
（Kakihara et al., 2014）10.

最適化モデリング，さまざまな研究

統計数理研究所で行われてきた最適化モデリングのひとつの典型例は，パラメータ推定問
題を，(10.1)

min f (x, θ) + λg(θ)の形に帰着させるものである．x がデータ，θ がパラメータである．λ はハイパーパラメータ

270

統計数理

第 67 巻 第 2 号 2019である．直観的には，f がデータへのモデルのあてはまりをあらわす（対数）尤度関数，g はパラメータについての事前情報を表現する正則化項である．これは，現在では，Lasso などのス
パースモデリングの形式として幅広く研究されている枠組みであるが，パラメータ数がデータよりも多いモデルも取り扱うことができ，柔軟なモデリングが可能となる点が長所である．統
計数理研究所では，このタイプのモデリングが，赤池を中心に，1980 年代にベイズモデルの枠組みで精力的に研究されてきた．田邉は，共同研究者とともに，最適化を意識した立場から，
地震波による地球内部構造推定や肺換気能の解析，肺気道の導通度の解析等にこの枠組みを積極的にもちいたモデリングを行い，先駆的な成果を得ている（Inoue et al., 1990; Kobayashi etal., 1987; Kawashiro et al., 1991）．特に Inoue et al.（1990）
は地震波によるトモグラフィの基本的文献として今でも参照され続けている．
2 次錐計画問題に対する主双対内点法が開発された時には，リニアモーターカーの磁気シールドの最適設計問題が 2 次錐計画問題に定式化され，同手法で解かれている（Sasakawa and．これは，世界で最初に大規模な 2 次錐計画問題に対して主双対内点法を適用
Tsuchiya, 2003）
した例となった．解法の高速性により，多数回，ランダムに摂動を加えた問題を解きなおすことによって，設計されたシールドのロバストネスを評価することなども可能となった（土谷・笹川, 2005）．
ガウシアングラフィカルモデルの最尤推定は，半正定値計画問題に対する内点法と密接に関連した凸最適化問題に帰着する．この事実を用いて，上野玄太（2003 年より在職）と土谷は，スーパーコンピュータを用いて，海洋データ同化に現れる行列サイズ約 3 万 × 約 3 万，パラ
（Ueno and Tsuchiya, 2009）．
メータ数 10 万強の大規模分散共分散行列の推定を行った
北川源四郎（1974 年-2011 年在職）が提案した粒子フィルタ（モンテカルロフィルタ，Kitagawa,
は，統計数理研究所で開発され現在も幅広く使われている統計手法の一つである．土谷1996）と中村和幸（当時総合研究大学院在学）
は，関数の勾配を計算するための自動微分法のメモリ節約の手法が粒子フィルタのスムージングへ適用できることを指摘し，スムージングに使える粒子数を格段に増やすことができることを示した（Nakamura and Tsuchiya, 2007）．一風変わった形ではあるが，これも最適化と統計科学の交わった研究であるといえよう．
・牧野久実・伊藤栄明（1972 年-2007 年在職）と土谷は，また，上田澄江（1970 年-2010 年在職）2000 枚程度現在存在する，メソポタミア粘土板データに登場する人物の索引から，当時の有力人物の生存年代や人口動態，文書の成立した順番等を推定する問題を最適化モデリングの立場から扱った．内点法を用いて大規模凸 2 次計画問題を解くことで推定が可能となり，現在，さらに解析が進められている（Ueda et al., 2014）．
2000 年代の後半から，機械学習への最適化の適用が活発に行われてきた．この文脈では，伏・土谷・堀内によって半正定値計画問題を用いた密度関数推定の手木忠義（2003 年-2014 年在職）法が開発されている（Fushiki et al., 2006）．田邉は Kernel 法に触発され，双対理論の枠組みを（2003 年よ
活用する形で Dualized-Penalized-Logistic-Regresskon-Machine を提案し，松井知子．
り在職）らと共にさまざまな分野への適用を試みている（田邉, 2007; Matsui and Tanabe, 2006）
また，武田朗子（2016 年-2018 年在職）や田中未来（2017 年より在職）等によって，DC（Diﬀerence
計画法の機械学習への適用や，非負行列分解の応用などの研究が進められof Convex functions）ている（Fujiwara et al., 2017; Mizutani and Tanaka, 2018）．
ここまで，幾つか焦点を絞って，最適化に関連する成果を中心に述べてきたが，統計数理研
究所では，他にもさまざまな形で最適化に関する研究が進められてきた．例えば，半無限最適化計画問題は，有限次元のパラメータの最適化を無限個の制約の下で最適化する問題であり，凸錐上の線形計画問題を含む興味深い最適化問題のクラスであるが，この問題について，伊藤聡はしばしば国際共同研究を行い，さまざまな手法の開発に取り組んできた（Ito et al., 2000）．

統計数理研究所における最適化研究

271

本稿ではあまり取り上げられていなかったが，離散的最適化問題，特に整数計画問題は，重要な分野である．この分野については，モデリングの観点から，吉本敦（1999 年-2003 年在職，2008 年より再度在職）によって，森林管理の最適計画などの研究が進められている（Yoshimoto．また，伊藤聡（1991 年より在職）らによってスポーツのリーグ戦におけるクリン
et al., 2017）
チナンバーなどの計算もいち早く進められ，実用に供されている（伊藤, 2012; Ito and Shinano,
．
2018）
11.

研究集会等

1944 年に創立された統計数理研究所は 1985 年に改組され，国立大学共同利用機関となり，その後，大学共同利用機関となった．これに伴い，共同研究集会や，共同研究リポートの発行など，共同利用の体制が整えられた．先に述べた，内点法の研究が契機となって，1986 年度に「線形計画問題の新解法」という研究集会が開催された．先に述べたように，この研究集会において，その後世界中で使われることとなった主双対内点法が，田邉と小島・水野・吉瀬より世界で初めて提案された．研究集会「線形計画問題の新解法」
は，1988 年度まで開催され，1989 年
度には「非線形最適化：モデリングとアルゴリズム」と名前を変えて引き継がれ，1990 年度以降
は「最適化：モデリングとアルゴリズム」の名前で，東日本大震災のあった 2010 年度を除いてずっと継続して開催されてきた．長年続いてきた最適化分野での研究集会として，若手を中心に多くの興味深い優れた研究成果が発表されてきた．各研究集会での発表は，共同研究リポートとしてまとめられている．第 1 節でも述べたように，最適化を意識したモデリングが重要である，ということが，本研究集会の開催趣旨の一つである．その考えを反映した形で「シリー
ズ：最適化モデリング」が立ち上げられ，現在刊行が進められている（赤池弘次 他, 2015; 山下．
浩 他, 2016; 池上敦子, 2018）
これらの国内研究集会と同期する形で，国際研究集会が，1996 年と 2001 年の 2 回，文部科学省からの予算を得て開催された．1996 年に開催された国際研究集会 “International Symposium
on Optimization and Computation” は，湘南国際村で開催され，最適化に関する一流研究者が世界中から集い，研究成果を発表し，議論・情報交換を行った．2001 年に京都の京大会館にて開催された研究集会 “New Trends on Optimization and Computational Algorithms” では，最適化・機械学習・統計科学の一流研究者が集い，学際的交流を図った．これは，最適化と機械学習の交流を意識して開催された，最初期の研究集会の一つとして認識され，成果が Mathematical
Programming Series B，そして，Annals of the Institute of Statistical Mathematics の特集として出版されている．また，2017 年度より，統計数理研究所は九州大学の Institute of Mathematics（ZIB）と共同して，最適化に力点を置いたワーク
for Industory，ドイツの Zuse Institute Berlin
ショップ ISM-ZIB-IMI MODAL Workshop をもち回りで開催している．
1988 年に，Mathematical Programming Society により 3 年に一度開催される，世界で最大の最適化関係の集会 International Symposium on Mathematical Programming が東京春日の中央大学で開催された．この時に，田邉は国際プログラム委員長の重責を担い，シンポジウムの成（旧 Mathematical Pro功に貢献した．28 年後の 2016 年，Mathematical Optimization Society
による，連続的最適化に関する最大の国際研究集会 International Conference
gramming Society）
on Continuous Optimization が，東京六本木の政策研究大学院大学で開催された．この時に，組織委員長を水野が，共同実行委員長を水野と土谷と村松が努めた．また，伊藤, 武田と田中が実行委員会のメンバーとなった．統計数理研究所で若手時代に最適化の研究を行ってきた研究者が第一級の国際学会を日本に招致しそれを開催する中心となったことは，人材育成を担ってきた研究所の役割として，記憶に留められてもよいことではないかと思う．

統計数理

272

12.

第 67 巻 第 2 号 2019

将来

最適化は，統計数理の新しい潮流と密接な関係を保ち続けている．1990 年代の後半から，サが新しい判別機械として導入され，現在では完全に定着している
ポートベクターマシン（SVM）
が，SVM の開発には，凸 2 次計画法が実用化されることが重要であった．主双対内点法によって大規模な凸 2 次計画問題が解けるようになって，はじめて SVM が実用化されたといえよう．
SVM で重要な役割を果たしたスパース性の概念は，その後，Candes, Tao らによる圧縮センシ
ング等，スパースモデリングの展開につながっていく．そこでは，線形計画法が重要な役割を（10.1）に帰果たし，2 次錐計画や半正定値計画も大きく寄与している．スパースモデリングは着するため，多くの最適化アルゴリズムの研究がさまざまな立場から行われた．ここに，1950
年代の赤池の論文から読み取れるような，数理計画と統計科学の実り多い交流を再び見出すことができるのである．アルゴリズムの進展が新しいモデルの実用化を促す好例である．スパー
スモデリングは，ブラックホールの撮像にも重要な役割を果たした．
一方，統計科学や機械学習の現場で使われるモデルが最適化研究を促すこともある．まず，機械学習における最適化問題は超大規模で，ヘッセ行列を必要とする，ニュートン法系統の解法は困難である．そのことにより，Nesterov に代表される，最急降下法を加速する手法や，確率的降下法などが提案されている．最近急激に研究が進んでいる深層学習においては，ReLU
関数の合成関数により関数が表現され，バックプロパゲーション（最急降下法）によってパラメータ最適化が行われている．ところが，ReLU 関数は原点で微分不可能であり，勾配を計算することが困難である．非凸関数であるために劣微分の理論も簡単ではない．このような問題についても，新しい光があたりつつある，といってもよいであろう．
21 世紀に入り，ビッグデータの時代を迎え，社会現象，経済現象，気象現象，災害，環境問
題，マーケティング，社会保障等，科学技術の新しいフロンティアとチャレンジは，より複雑で不確実性を含んだ問題となりつつある．その中で予測とモデリングの科学としての統計科学は大きな貢献を成し得るものと考える．この文脈では，予測のみならず，モデルに基づいた制
度設計や制御が必須となる．そこで重要な役割を果たすと考えられるのが，整数計画法と確率計画法である．これらの分野にも目配りをしながら，短期的な成果を求めず，腹を括って長期的な視点に立って総合的な立場で視野の広い人材を育成していくことが統計数理研究所における最適化の研究の展開にとっては重要であろう，と考えるし，そのような方向で研究所が発展することを望みたい．特に研究所の若手研究者諸賢におかれては，地に足のついた問題意識を持ち，統計数理研究所の伝統と文化を受け継ぎつつ，自らの力で少しずつでも着実に，統計数理の可能性を拡げる研究成果を積み上げていかれるよう，研究所で良き時代を過ごした一在職経験者として，心より願っている．
参

考

文

献

Akaike, H. (1959). On a successive transformation of probability distribution and its application to theanalysis of the optimum gradient method, Annals of the Institute of Statistical Mathematics, 11,
1-16.
赤池弘次 (1999). 応用数理の遊歩道 (17)：統計的思考と応用数理 - 形式的な確率的構造の利用, 応用数理,
9, 169-171.
赤池弘次 他 (2015).『モデリング — 広い視野を求めて — 』（室田一雄, 池上敦子, 土谷隆 編）, 最適化モ
デリング, 第 1 巻, 近代科学社, 東京.
Bayer, D. A. and Lagarias, J. C. (1989). The nonlinear geometry of linear programming II. Legendre transform coordinates and central trajectories, Transactions of the American mathematicalsociety, 314, 527-581.

統計数理研究所における最適化研究

273

El-Bakry, A., Tapia, R. A., Tsuchiya, T. and Zhang, Y. (1996). On the formulation and theory of the
Newton interior-point method for nonlinear programming, Journal of Optimization Theory andApplications, 89, 507-541.
Faybusovich, L. and Tsuchiya, T. (2003). Primal-dual Algorithms and Inﬁnite-dimensional Jordan
Algebras, Mathematical Programming, 97, 471-493.
Fletcher, R. (2000). Practical Methods of Optimization, John Wiley & Sons, Chichester.
Fujiwara, S., Takeda, A. and Kanamori, T. (2017). DC algorithm for extended robust support vector
machine, Neural Computation, 29, 1406-1438.
Fushiki, T., Horiuchi, S. and Tsuchiya, T. (2006). A maximum likelihood approach to density estimation
with semideﬁnite programming, Neural Computation, 18, 2777-2812.
池上敦子 (2018).『ナーススケジューリング』（室田一雄, 池上敦子, 土谷隆 編）, 最適化モデリング, 第 3
巻, 近代科学社, 東京.
Inoue, H., Fukao, Y., Tanabe, K. and Ogata, Y. (1990). Whole mantle P-wave travel time tomography,
Physics of the Earth and Planetary Interiors, 59(4), 294-328.
Isii, K. (1960). The extrema of probability determined by generalized moments (I) bounded randomvariables, Annals of the Institute of Statistical Mathematics, 12(2), 119-134.
Isii, K. (1962). On sharpness of Tchebycheﬀ-type inequalities, Annals of the Institute of Statistical
Mathematics, 14(1), 185-197.
Isii, K. (1964). Inequalities of the types of Chebyshev and Cramér-Rao and mathematical programming,
Annals of the Institute of Statistical Mathematics, 16(1), 277-293.
伊藤聡 (2012). クリンチとエリミネーションの数理〜リーグスポーツにおけるロバスト最適化, システ
ム／制御／情報, 56(7).
Ito, S. and Shinano, Y. (2018). Calculation of clinch and elimination numbers for sports leagues withmultiple tiebreaking criteria, ZIB Report 18-51, Zuse Institute Berlin.
Ito, S., Liu, Y. and Teo, K. L. (2000). A dual parametrization method for convex semi-inﬁnite programming, Annals of Operations Research, 98, 189-213.
Kakihara, S., Ohara, A. and Tsuchiya, T. (2013). Information geometry and interior-point algorithms
in semideﬁnite programs and symmetric cone programs, Journal of Optimization Theory andApplications, 157, 749-780.
Kakihara, S., Ohara, A. and Tsuchiya, T. (2014). Curvature integrals and iteration complexities in
SDP and symmetric cone programs, Computational Optimization and Applications, 57, 623-665.
Kawashiro, T., Yamasawa, F., Okada, Y., Kobayashi, H. and Tanabe, K. (1991). Uneven distributionof ventilation-perfusion ratios in lungs estimated by a modiﬁed Newton method, Mathematical
Programming, 52(1-3), 1-9.
Kitagawa, G. (1996). Monte Carlo ﬁlter and smoother for Non-Gaussian nonlinear state space models,
Journal of Computational and Graphical Statistics, 5(1), 1-25.
Kobayashi, H., Abe, T., Kawashiro, T., Tanabe, K. and Yokoyama, T. (1987). Estimation of the distribution proﬁle of airway resistance in the lungs, Computers and Biomedical Research, 20(6),5070-5525.
小島正和・水野眞治・吉瀬章子 (1987). 多項式オーダーの主双対内点法. 統計数理研究所共同研究リポー
ト 5, “線形計画問題の新解法,” 13-24.
Kojima, M., Mizuno, S. and Yoshise, A. (1989). A primal-dual interior point algorithm for linear
programming, Progress in Mathematical Programming (ed. N. Megiddo), 29-47, Springer-Verlag,
New York.
Lanckriet, G. R. G., Ghaoui, L. El, Bhattacharyya, C. and Jordan, M. I. (2002). A robust minimax
approach to classiﬁcation, Journal of Machine Learning Research, 3, 555-582.
Lasserre, J.-B. (2010). Moments, positive polynomials and their applications, Imperial College Press,
London, UK.
Matsui, T. and Tanabe, K. (2006). Comparative study of speaker identiﬁcation methods: DPLRM,

274

統計数理

第 67 巻 第 2 号 2019

SVM and GMM, IEICE Transactions on Information and Systems, E89-D, 1066-1073.
Megiddo, N. (1989). Pathways to the optimal set in linear programming. Progress in Mathematical
Programming (ed. N. Megiddo), 131-158, Springer-Verlag, New York.
Mizuno, S. (1996). Polynomiality of infeasible-interior-point algorithms for linear programming, Mathematical Programming, 67(1-3), 109-119.
Mizuno, S., Todd, M. J. and Ye, Y. (1993). On adaptive-step primal-dual interior-point algorithms forlinear programming, Mathematics of Operations Research, 18, 964-981.
Mizutani, T. and Tanaka, M. (2018). Eﬃcient preconditioning for noisy separable nonnegative matrix
factorization problems by successive projection based low-rank approximations, Machine Learning, 107, 643-673.
Monteiro, R. D. C. and Tsuchiya, T. (1999). Polynomial convergence of a new family of primal-dual
algorithms for semideﬁnite programming, SIAM Journal on Optimization, 9, 551-577.
Monteiro, R. D. C. and Tsuchiya, T. (2000). Polynomial convergence of primal-dual algorithms for thesecond-order cone program based on the MZ-Family of directions, Mathematical Programming,
88, 61-83.
Monteiro, R. D. C. and Tsuchiya, T. (2008). A strong bound on the integral of the central path curvatureand its relationship with the iteration complexity of primal-dual path-following LP algorithms,
Mathematical Programming, 115, 105-149.
Nakamura, K. and Tsuchiya, T. (2007). A recursive recomputation approach for smoothing in nonlinear
state-space modeling: An attempt for reducing space complexity, IEEE Transactions on Signal
Processing, Vol. 55, 5167-5178.
Nesterov, Y. (2004). Introductory Lectures on Convex Optimization, Boston, Dordrecht, London.
Nocedal, J. and Wright, S. (2000). Numerical Optimization, Springer-Verlag.
小原敦美 (1998). 半正定値計画問題に関する情報幾何を用いた考察, 統計数理, 46(2), 317-334.
Sasakawa, T. and Tsuchiya, T. (2003). Optimal magnetic shield design with second-order cone programming, SIAM Journal on Scientific Computing, 24(6), 1930-1950.
Tanabe, K. (1971). Projection method for solving a singular system of linear equations and its applications, Numerische Mathematik, 17(3), 203-214.
Tanabe, K. (1974). An algorithm for the constrained maximization in nonlinear programming, Journalof the Operations Research Society of Japan, 14, 184-201.
田辺國士 (1976). アナログ型非線形計画法, 数理科学, 157, 45-51.
Tanabe, K. (1980). Geometric method in nonlinear programming, Journal of Optimization Theory andApplications, 30, 181-210.
Tanabe, K. (1981). Feasibility-improving gradient-acute-projection methods: A uniﬁed approach tononlinear programming, Lecture Notes in Numerical and Applied Analysis, 3, 57-76.
田辺國士 (1981). 最適化問題とニュートン法, 数理科学, 218, 71-76.
Tanabe, K. (1987a). Complementarity-enforcing centered Newton method for linear programming,「線, 統計数理研究所共同研究リポート, No. 5, 118-144. 統計数理研究所, 東京.
形計画問題の新解法」
Tanabe, K. (1987b). Center ﬂatterning transformation and a centered Newton method for linear programming, 日本オペレーションズ・リサーチ学会数理計画研究部会 1987 年 7 月部会発表資料,（(田辺國士, 1996) 統計数理研究所共同研究リポート, No. 89, 中心化ニュートン法と最適化の微分幾何, 1996 年, 5-18.）, 統計数理研究所, 東京.
Tanabe, K. (1988). Centered Newton method for mathematical programming, System Modelling andOptimization (eds. M. Iri and K. Yajima), Lecture Notes in Control and Information Sciences,Vol. 113, 197-206, Springer, Berlin, Heidelberg.
田邉國士 (1989). Centered Newton method for linear programming: Exterior point method, 統計数理,
37(1), 203-204.
田辺國士 (1990). 最適化の微分幾何学, 応用数理, 創刊準備第 3 号, 39-50.
田辺國士 (1996). 中心化ニュートン法と最適化の微分幾何, 統計数理研究所共同研究リポート, No. 89,

統計数理研究所における最適化研究

275

統計数理研究所, 東京.
田邉國士 (2007). 帰納推論機械 PLRM と dPLRM：方法論，モデル，アルゴリズムおよび応用, システ
ム／制御／情報, 51(2), 87-95.
田辺国士, 土谷隆 (1988). 線形計画の新しい幾何学, 数理科学, 303, 32-37.
統計数理研究所 (1994). 統計数理研究所 50 年のあゆみ, 統計数理研究所, 東京.
Tsuchiya, T. (1999). A convergence analysis of the scaling-invariant primal-dual path-following algorithms for second-order cone programming, Optimization Methods and Software, 11, 12, 141-182.
Tsuchiya, T. and Muramatsu, M. (1995). Global convergence of a long-step aﬃne scaling algorithm fordegenerate linear programming problems, SIAM Journal on Optimization, 5(3), 525-551.
土谷隆, 笹川卓 (2005). 2 次錐計画問題による磁気シールドのロバスト最適化, 統計数理, 53, 297-315.
Ueda, S., Makino, K., Itoh, Y. and Tsuchiya, T. (2014). Logistic growth for the Nuzi cuneiform tablets:
Analyzing family networks in ancient Mesopotamia, Physica A, 421, 223-232.
Ueno, G. and Tsuchiya, T. (2009). Covariance regularization in inverse space, Quarterly Journal of theRoyal meteorological Society, 135(642), 1133-1156.
Wolkowicz, H., Saigal, R., Vandenberghe, L. (eds.) (2000). Handbook of Semidefinite Programming,
Kluwer, Boston, Dordrecht, London.
Yamashita, H. (1980). A diﬀerential equation approach to nonlinear programming, Mathematical Programming, 18, 155-168.
Yamashita, H. (1986). A Polynomially and Quadratically Convergent Method for Linear Programming,
Mathematical Systems Inc., Tokyo.
山下浩 他 (2016).『モデリングの諸相 — OR と数理科学の交叉点 — 』（室田一雄, 池上敦子, 土谷隆 編）,
最適化モデリング, 第 5 巻, 近代科学社, 東京.
√
Ye, Y., Todd, M. J. and Mizuno, S. (1994). An O( nL)-iteration homogeneous and self-dual linear
programming algorithm, Mathematics of Operations Research, 19(1), 53-67.
Yoshimoto, A., Asante, P., Konoshima, M. and Surovy, P. (2017). Integer programming approach tocontrol invasive species spread based on cellular automaton model, Natural Resource Modeling,30(2), NRM12101.

276

Proceedings of the Institute of Statistical Mathematics Vol. 67, No. 2, 255–276 (2019)

A Historic Review of Research on Optimization at the Institute of
Statistical Mathematics
Takashi Tsuchiya1,2
1 National Graduate Institute for Policy Studies
2 The Institute of Statistical Mathematics

Optimization is an important discipline in statistical science. Broadening the frontierof tractable optimization problems directly leads to innovation of statistical science. Thisis a main reason why optimization research has been conducted at the Institute of Statistical Mathematics. In this paper, we review historic development of optimization researchat the institute, and its contributaion to statistical sciences. The topics include duality
theory of inﬁnite-dimensional linear programming and its application to statistics, convergence analysis of the steepest descendent algorithm and Kaczmarz method, diﬀerentialgeometric approach to nonlinear programming, interior-point algorithms and informationgeometry for linear programming, second-order cone programming and semideﬁnite programming, and various applications.

Key words: Inﬁnite-dimensional optimization, steepest descent, kaczmarz method, nonlinear optimization,interior-point methods, information geometry.

統計数理（2019）
第 67 巻 第 2 号 277–297©2019 統計数理研究所

創立 75 周年記念号［研究ノート］

標準コウホート表のコウホート分析モデルのデザイン行列について
中村 隆†（受付 2019 年 5 月 17 日；改訂 10 月 10 日；採択 10 月 17 日）

要旨

継続調査で得られる年齢区分×調査時点形式の標準コウホート表データから年齢・時代・世代（コウホート）要因の効果を分離するコウホート分析モデルについて，3 要因のデザイン行列
を陽な表現により与えた．デザイン行列を，目視により与えるとともに，コウホート表のセ
ルに 1 対 1 で対応するセルパラメータに等値制約と同値のゼロ和制約を課すことにより導出した．
キーワード：APC モデル，年齢・時代・世代効果，セルパラメータ，等値制約，ゼロ
和制約，継続（反復横断）
調査．
1.

はじめに

コウホート分析（cohort analysis or age-period-cohort analysis）は，継続調査（反復横断調査）から得られる何らかの調査項目の年齢区分×調査時点形式の集計表データから，年齢・時代・コ
ウホート（世代）効果を分離しようとする統計的方法である．3 効果がうまく分離できれば，社会の変化の構造に関する知見が得られ，将来の予測に資することができる（Ryder, 1965; Mason．
and Fienberg, 1985; Glenn, 2005）
しかしながらコウホート分析には，何らかの付加条件を与えなければ 3 効果を分離できないという識別問題が存在し，付加条件の与え方とその評価を巡って長年に渡り議論が続けられて，O’Brien（2015），Fu（2018）がある．
きた．近年の成書に，Yang and Land（2013）
は，統計数理研究所が 1953 年以降 5 年ごとに継続実施して中村（1982），Nakamura（1986）いる日本人の国民性調査データへの適用を目的として，コウホート分析の識別問題を克服する（ABIC）
パラメータの漸進的変化の条件（1 次階差制約）を取り入れ，赤池ベイズ型情報量規準
最小化により最適モデルを選択するベイズ型コウホートモデルを開発した．中村（2005）では，
年齢×時代の交互作用効果をもつコウホートモデルに拡張している．
さて，コウホート分析モデルのデザイン行列を具体的に例示したものは散見される（たとえものの，行列表示によって明示的に示したのは坂口・中ば，Fienberg and Mason, 1979, p.21）
村（2019）が最初である．ただし，これは目視によるものである．
以下では，陽には示されてこなかったコウホート要因のデザイン行列の導出を行う．2 節では，年齢・時代・世代 3 要因のデザイン行列を目視により与える．3 節では年齢と時代要因のデザイン行列を，4 節ではコウホート要因のデザイン行列を，コウホート表のセルに 1 対 1 で†

統計数理研究所 名誉教授：〒 190–8562 東京都立川市緑町 10-3

統計数理

278

第 67 巻 第 2 号 2019

対応するセルパラメータに等値制約を課すことにより導出する．付録に，導出の過程に有用なベクトルと行列の定義と操作についてまとめる．
2.

コウホートモデル

2.1

標準コウホート表

継続調査から得られる年齢区分×調査時点形式の集計表は，コウホート分析の観点から「コ
ウホート表」と呼ばれる．年齢区分幅と調査実施間隔が等しい場合（たとえば，5 歳幅と 5 年間
隔）は特に「標準コウホート表」と言う．
標準以外の表は「一般コウホート表」と呼ばれ，年齢区分幅が調査実施間隔と一致しなかったり，調査実施間隔が不規則だったり，年齢区分幅が調査年によって変化したりする場合に得られる．コウホート分析の対象は標準表データに限らないが，本稿では以下，標準コウホート表を想定する．
年齢区分数を I ，調査時点数を J とし，第 j 調査時点の第 i 年齢区分を (i, j) セルと呼ぶ．表 1 は，I = 4，J = 3 の場合の模式的な標準コウホート表である．
（i = 1, . . . , I; j = 1, . . . , J ）調査実施間隔を 10 年，年齢区分幅を 10 歳としている．表のセルにはデータではなく，セルと1 対 1 に対応するセルパラメータ η ij を配した．
標準コウホート表について特徴的なことは，表に自然に現れるコウホート区分の数を K とするとき，K = I + J − 1 となることである（表 1 では K = 6）．また，(i, j) セルに対応するコ
ウホートを第 k コウホート区分とすると，i，j ，k の間に，
(2.1)

k = k(i, j) = j − i + I,という関係（「出生年＝調査年−年齢」のインデックス版）がある（k = 1, . . . , K ）．この関係 k(i, j)
がコウホート分析における識別問題の源泉である（本稿では識別問題については 4 節で簡単に触れるに留める．詳しくは，たとえば，中村, 2005，坂口・中村, 2019 を参照）．
2.2

コウホートモデル

標準コウホート表における (i, j) セルの何らかの集計項目の期待値をリンク関数で変換した
セルパラメータ η ij を，コウホートモデルは次のように分解する．
(2.2)

η ij = β G + β iA + βjP + βkC ,ここで，β G は総平均効果，β iA ，βjP ，βkC はそれぞれ年齢，時代，コウホート効果のパラメー
タである．

表 1. 模式的な標準コウホート表のセルパラメータ（η ij ）．

標準コウホート表のコウホート分析モデルのデザイン行列について

279

パラメータたち {η ij }，{β iA }，{βjP }，{βkC } をベクトルに配したものをそれぞれ η，βA ，βP ，
β とし，パラメータ βA ，βP ，βC に対応するデザイン行列をそれぞれ XA ，XP ，XC とする
は，と，モデル（2.2）η = β G 1IJ + XA βA + XP βP + XC βC ,Cと書くことができる．ここで，1IJ はすべての要素が 1 のワンズベクトル（付録 A 参照）
である．
2.3

3 要因のデザイン行列

まず，コウホート要因のデザイン行列 XC を目視により与える．
表 2 は，表 1 と同じ仕様の標準コウホート表であるが，コウホート区分のインデックス k を（j = 1
配したものである．表において，一番古いコウホート区分（k = 1）は，一番古い調査時点［2000 年］）の最高齢年齢区分（i = I = 4［50 歳台］）で 1940 年代生まれ，一方，一番新しいコウは，一番新しい調査時点（j = J = 3［2020 年］）の最若齢年齢区分（i = 1ホート区分（k = K = 6 ）［20 歳台］）で 1990 年代生まれである．両者の間に同一コウホート区分は斜め右下方向を辿るセル群に現れ，右上にいくほど新しいコウホート区分（k = 2, . . . , 5）となって並んでいる．
表 3 は，表側に表 2 のセルを縦に並べ，表頭にコウホート効果パラメータを横に並べて，コウホート区分のインデックスが対応するところに 1 を立てたものである．調査時点ごとのブ

ロックに付録（A.1）の反単位行列 EI が現れている．しかも調査時点が新しくなるにつれ右方向


の拡張反単位行列 EI×K に（A.3）のシフト行列のベキにずれていく．これを表現するには（A.2）
表 2. 標準コウホート表におけるコウホート効果のインデックス．

表 3. 標準コウホート表セルとコウホート効果パラメータの対応．

統計数理

280

第 67 巻 第 2 号 2019

乗 NKj−1 (j = 1, . . . , J) を右からかけて順に積み上げれば得られる．すなわち，コウホート要因
（B.3）
に従って，
のデザイン行列 XC は，付録⎡



EI×K NK0

⎤

⎢ 
⎥
 J
⎢ E
1 ⎥

⎢ I×K NK ⎥XC = ⎢
EI×K NKj−1 ( 1J ⊗ EK ),
⎥ =
..
⎢
⎥
.
j=1
⎣
⎦

(2.3)



EI×K NKJ−1とすればよい．
時代要因，年齢要因のデザイン行列についても，表 2 にそれぞれのインデックスを配して同様に考察することにより，

⎡
⎢
⎢
⎣

XP = ⎢

(2.4)

⎤

1I
1I

..

⎡

⎥
⎥
⎥ = EJ ⊗ 1I ,
⎦

.

⎤

EI
⎢EI ⎥
⎢ ⎥
XA = ⎢ . ⎥ = 1J ⊗ EI ,⎣ .. ⎦
EI

1Iと得られる．
3.

年齢と時代要因のデザイン行列の導出

3.1

セルパラメータコウホート表のセルと 1 対 1 に対応するセルパラメータ {η ij } を配したベクトルと行列を，ηj = [ η 1j , . . . , η Ij ] ∈ RI (j = 1, . . . , J),
H = [ η1···

ηJ ] ∈ RI×J ,η = vec H ∈ RIJ ,とおく（η については先に 2.2 節で言及した）．ここで，vec は行列の列ベクトルを順に縦に並べる操作である．
同時に，同じ仕様のパラメータ β ij を，以下での説明の都合上用意しておく．
βj = [ β 1j , . . . , β Ij ] ,(3.1)

B = [ β1

···

βJ ],

β = vec B,

である．また，B の行ベクトルを転置したものを
γ i = [ β i1 , . . . , β iJ ] ∈ RJ (i = 1, . . . , I),

とおく．

⎡ ⎤

γ1
⎢.⎥
B = ⎣ .. ⎦ ,
γI

である．
3.2

セルパラメータの等値制約・ゼロ和制約とデザイン行列

セルパラメータに対する等値制約と同値のゼロ和制約を斉次連立 1 次方程式として解くこと
によりデザイン行列を求める方法について説明する．

標準コウホート表のコウホート分析モデルのデザイン行列について

281

セルパラメータ・ベクトルの IJ 個の要素の内，ある要因のある水準が対応する L 個の要素を取り出して η∗ = [η1 , . . . , ηL ] とし，残りを η∗∗ とおいてあらためて η = [η∗ , η∗∗ ] とする．
等値制約 η1 = · · · = ηL は，等しい値を β とおけば，η∗ = β 1L と表わすことができる．これ
より
η =

β 1L
η∗∗
1L
0

であるから，この水準のデザイン行列は

1L
O

=

0
E

β
,
η∗∗

とすればよい（ただし，元の η に対するデザイン

行列とするためには，適宜行を並べ戻す必要がある）．これは目視によるデザイン行列の作成にあたる．
（A.22）の階差行列 Da
等値制約と同値のゼロ和制約 η1 − η2 = · · · = ηL−1 − ηL = 0 は，付録を用いれば，

⎡

1

⎢
⎢
⎣

DL η∗ = ⎢

⎤⎡

−1
1

−1
..
.

..

⎤

⎡ ⎤

η1
0
⎥⎢ η2 ⎥
⎢0⎥
⎥⎢ ⎥
⎢ ⎥
⎥⎢ .. ⎥ = ⎢ .. ⎥ = 0L ,⎦⎣ . ⎦
⎣.⎦
0
−1 ηL

.

1

と表わすことができ, η 全体に対しては，
R =

DL
O

O
,
O

とおいて，Rη = 0 である．これを斉次連立 1 次方程式として解く．付録 C と（A.24）より，
R−R =DL− DLOO,O

E − R−R =1L eL
O

O,
Eに注意すれば，任意の β = [β∗ , β∗∗ ] ，β∗ = [β1 , . . . , βL ] に対して，
η = (E − R−R)β =となり，デザイン行列は同じ

1L
0

1L eL β∗
β∗∗

=

1L
0

O
E

βL
,
β∗∗

となる．元の η の並び替えないゼロ和制約の表現を与えることができれば，直接デザイン行列の表現が得られる．
3.3

時代要因のデザイン行列

時代要因のデザイン行列を得るために，セルパラメータ {η ij } に同一時点のすべての年齢区分の値が等しいという等値制約と同値のゼロ和制約
η ij − η i+1,j = 0(i = 1, . . . , I − 1; j = 1, . . . , J),を課す．階差行列を用いれば DI ηj = 0I−1 (j = 1, . . . , J)，あるいは，DI H = O(I−1)×J とな
る．vec を施せば，η に対する線形制約
0 = vec DI H = (EJ ⊗ DI )vec H = (EJ ⊗ DI )η,となる（付録（B.1）
を使った）．
（C.1）で，E b = EJ ⊗ EI ，
上記制約を斉次連立 1 次方程式として η について解く．付録

統計数理

282

第 67 巻 第 2 号 2019

A = EJ ⊗ DI ととればよい．EJ ⊗ DI の一般逆行列の 1 つは EJ ⊗ DI− であり，
（A.24）より，
(EJ ⊗ EI ) − (EJ ⊗ DI− )(EJ ⊗ DI ) = EJ ⊗ (EI − DI− DI ) = EJ ⊗ 1I eI,I,であるから，一般解は，（3.1）
で用意した任意の β について，
η = (EJ ⊗ 1I eI )β = vec ( 1I eI B) = vec ( 1I γI ),と得られる．最右辺の γI は B の最下行であるが，要素が時代のインデックスに依存するだけであるから時代効果ベクトルとしてよく，βjP = β Ij として βP = [ β1P , . . . , βJP ] (=[ β I1 , . . . , β IJ ] = γ I ) とおくと，η = vec{ 1I (βP ) } = (EJ ⊗ 1I )vec(βP ) = (EJ ⊗ 1I )βP ,となって，（2.4）
で示した時代要因のデザイン行列 XP = EJ ⊗ 1I が得られる．
3.4

年齢要因のデザイン行列

年齢要因のデザイン行列を得るために，セルパラメータ {η ij } に異なる時点の同じ年齢区分の値が等しいというゼロ和制約を課す．すなわち，
η ij − η i,j+1 = 0(i = 1, . . . , I; j = 1, . . . , J − 1),である．これはゼロ和制約 HDJ = OI×(J−1) となり，vec を施せば，η に対する線形制約
0 = vec HDJ = (DJ ⊗ EI )vec H = (DJ ⊗ EI )η,となる．
上記制約を斉次連立 1 次方程式として η について解く．
(EJ ⊗ EI ) − (DJ− ⊗ EI )(DJ ⊗ EI ) = (EJ − DJ− DJ ) ⊗ EI = 1J eJ,J
⊗ EI ,

であるから，一般解は，任意の β について，
η = ( 1J eJ ⊗ EI )β = vec(BeJ 1J ) = vec(βJ 1J ),であり，βJ は要素が年齢区分のインデックスに依存するだけであるから年齢効果ベクトルとしてよく，β iA = β iJ として βA = [ β 1A , . . . , β IA ] (= [ β 1J , . . . , β IJ ] = βJ ) とおくことにすれば，
η = vec(βA 1J ) = ( 1J ⊗ EI )vec βA = ( 1J ⊗ EI )βA ,となって，（2.4）
で示した年齢要因のデザイン行列 XA = 1J ⊗ EI が得られる．
4.

コウホート要因のデザイン行列の導出

前節の時代要因および年齢要因のデザイン行列を導出したときと同じ考え方に基づき，以下でセルパラメータのゼロ和制約によりコウホート要因のデザイン行列を導出する．
4.1

反転セルパラメータ

ηj の要素は，新しいコウホートから古いコウホートに対応するものが並んでいる．これを逆順にして古いコウホートから新しいコウホートに対応するようにしておくのが後のために便利


である．
（A.1）
の反転行列 EI を使い，反転セルパラメータ・ベクトルとして，

標準コウホート表のコウホート分析モデルのデザイン行列について


283



ηj = EI ηj = [ η Ij , . . . , η 1j ] ,

とし，






H = EI H = [ EI η1






···



EI ηJ ] = [ η1ηJ ] ∈ RI×J ,

···





η = vec H = vec(EI H) = (EJ ⊗ EI )vecH = (EJ ⊗ EI )η ∈ RIJ ,

とおく． η から η に戻すには，Ea−1 =Ea だから，
(4.1)

η =



(EJ ⊗ EI ) η =

 J





EI

η,

j=1

とすればよい．
4.2

同一コウホートの等値制約

隣り合う時点の ηj と ηj+1 の要素を次のように対比する．コウホート区分のインデックスが（2.1）の k = j − i + I であることに注意して，

⎡

⎤

⎡

⎤

⎡

jth cohort⎢η I−1,j ⎥ ⎢ (j + 1)th c. ⎥⎢⎥ ⎢⎥⎢ . ⎥ ⎢⎥
..
ηj = ⎢ .. ⎥ → ⎢
⎥,
.
⎢
⎥ ⎢
⎥
⎣ η 2j ⎦ ⎣(j + I − 2)th c.⎦(j + I − 1)th c.
η 1j


η Ij

⎤

⎡

⎤

(j + 1)th c.
η I,j+1⎢ (j + 2)th c. ⎥ ⎢η I−1,j+1 ⎥
⎢
⎥ ⎢
⎥
⎢
⎥ ⎢
⎥ 
..
..
←
⎢
⎥
⎢
⎥ = ηj+1 .
.
.
⎢
⎥ ⎢
⎥
⎣(j + I − 1)th c.⎦ ⎣ η 2,j+1 ⎦(j + I)th c.
η 1,j+1

ηj の第 i 要素と ηj+1 の第 i − 1 要素が同じコウホートに対応するから，ηj の第 1 要素と ηj+1の最終要素を次のように削除して揃え，すなわち，

⎡

⎤

⎡

⎤

⎡

⎤

⎡

⎤

η I−1,j(j + 1)th c.
(j + 1)th c.
η I,j+1⎢ .. ⎥ ⎢⎥⎢ (j + 2)th c. ⎥ ⎢η I−1,j+1 ⎥
..
⎢
⎥ ⎢
⎥
⎢
⎥ ⎢
⎥


.
FI NI ηj = ⎢ . ⎥ → ⎢
⎥ = ⎢
⎥←⎢
⎥ = FI ηj+1 ,..
..
⎣ η 2j ⎦ ⎣(j + I − 2)th c.⎦
⎣
⎦
⎣
⎦
.
.
(j + I − 1)th c.
(j + I − 1)th c.
η 2,j+1η 1jとする（ここで， ηj と ηj+1 のそれぞれに（A.13）と（A.10）を右からかけた）．これに基づき，

0 = FI NI ηj − FI ηj+1 = FI NI

−FI









ηj


ηj+1

(j = 1, . . . , J − 1),のように等値制約と同値のゼロ和制約を課す．全セルについては，

⎡

FI NI

⎢
⎢
⎢
R=⎢
⎢
⎢
⎣

−FI
FI NI

−FI
FI NI

..

.

..

.

−FI
FI NI

= (FJ ⊗ FI NI ) − (FJ NJ ⊗ FI ) ∈ Rとおいて， η に対する線形制約

⎤
⎥
⎥
⎥
⎥
⎥
⎥
⎦

−FI

(I−1)(J−1)×IJ

,

統計数理

284

第 67 巻 第 2 号 2019


(4.2)

R η = 0,となる．
4.3

R の一般逆行列

R の一般逆行列の候補として，⎡O⎢ −FI
⎢⎢ −NI F I⎢
G = ⎢ −N 2 F 
⎢
I I
⎢
..
⎣
.
−NIJ−2 FI

⎤
⎥
⎥
⎥
⎥
IJ×(I−1)(J−1)
,
⎥ ∈R
⎥
⎥
.. ⎦
.

O
−FI
−NI FI
..
.

O
−FI
..
.

O
..
.

−NIJ−3 FI

···−NI FI−FIととる．積 RG の対角ブロックが EI−1 に，非対角ブロックが OI−1 になるように考えると思い付く．
G = −(NJ FJ ⊗ FI ) − {(NJ2 ) FJ ⊗ NI FI } − · · · − {(NJJ−1 ) FJ ⊗ NIJ−2 FI }
=−

J−1


{(NJj ) FJ ⊗ NIj−1 FI },j=1

であるから，(4.3)

RG = −J−1{FJ (NJj ) FJ ⊗ FI NIj FI } +

j=1

J−1


{FJ NJ (NJj ) FJ ⊗ FI NIj−1 FI },j=1である． 右辺第 1 項 RHS(4.3)
は，和の終項が（A.19）より FJ (NJJ−1 ) FJ = O（ゼロズ行列）であ
1
るから，
(4.3)
RHS1
=−

J−2


{FJ (NJj ) FJ ⊗ FI NIj FI }

= −

j=1

J−1


{FJ (NJj−1 ) FJ ⊗ FI NIj−1 FI },j=2となる．右辺第 2 項 RHS(4.3)
は，和の初項を分離し，（A.11）より FI FI = EI−1 ，（A.13）より
2
 
FJ NJ NJ FJ = EJ−1 ，（A.18）より FJ NJ NJ = FJ であるから，
(4.3)

RHS2

= (FJ NJ NJ FJ ⊗ FI FI ) +J−1
{FJ NJ NJ (NJj−1 ) FJ ⊗ FI NIj−1 FI }

j=2


J−1

= (EJ−1 ⊗ EI−1 ) +{FJ (NJj−1 ) FJ ⊗ FI NIj−1 FI },j=2となる．したがって，右辺第 1 項 RHS(4.3)と，右辺第 2 項 RHS(4.3)の第 2 項が打ち消し合って，
1
2
RG = (EJ−1 ⊗ EI−1 ) = E(I−1)×(J−1) ,と単位行列になり，確かに G が R の一般逆行列の 1 つであることがわかる．以下，R− = G とおく．

標準コウホート表のコウホート分析モデルのデザイン行列について

4.4

285

R−R を求める（A.17）より j ≥ 1 で Fa Fa Naj = Naj であることに注意して，
−

R R=−

J−1


J−1


{(NJj ) FJ FJ ⊗ NIj−1 FI FI NI } +

j=1



j=1

J−1

=−

(4.4)

{(NJj ) FJ FJ NJ ⊗ NIj−1 FI FI }


J−1{(NJj ) ⊗ NIj } +j=1{(NJj ) NJ ⊗ NIj−1 FI FI },j=1である．右辺第 1 項 RHS(4.4)
は，
1
(4.4)

RHS1

=−

J−1


{(NJj ) EJ ⊗ NIj }

j=1

=−

J−1 


(NJj )

j=1

=−

J−1




1
OJ−1

⊗ NIj

j=1



=−

J−1 


(NJj )

J−1




0

j=1


{(NJj ) e1,J eJ,J
⊗ NIj } −

EJ−1

⊗ NIj

{(NJj ) NJ NJ ⊗ NIj }

j=1

J−1

=−

−


J−2

(ej+1 eJ ⊗ NIj ) −

j=1

j=1

J−1


J−1


(ej+1 eJ ⊗ NIj ) −j=1{(NJj+1 ) NJ ⊗ NIj }{(NJj ) NJ ⊗ NIj−1 },j=2となる．最後から 2 番目の等式では NJJ = OJ であることを使った．
は，和の初項を分離して，
一方，（4.4）の右辺第 2 項 RHS(4.4)
2
(4.4)

RHS2

= (NJ NJ ⊗ FI FI ) +J−1
{(NJj ) NJ ⊗ NIj−1 FI FI },

j=2

となる．
(4.4)
RHS1
と RHS(4.4)
それぞれの第 2 項を足すと，（A.16）より FI FI − EI = −eI eI だから，
2
J−1{(NJj ) NJ ⊗ NIj−1 (FI FI − EI )} = −

j=2

J−1


{(NJj ) NJ ⊗ NIj−1 eI eI }

j=2


J−1

=−

{(NJj ) NJ ⊗ eI−j+1 eI },

j=2

となって，
R−R = (NJ NJ ⊗ FI FI ) −

J−1

j=1

と得られる．

(ej+1 eJ ⊗ NIj ) −

J−1

j=2

{(NJj ) NJ ⊗ eI−j+1 eI },

統計数理

286

4.5

第 67 巻 第 2 号 2019

E − R−R を求める

（A.4）
より，
まず，
（A.16），(NJ NJ ⊗ FI FI ) = {NJ NJ ⊗ (EI − eI eI )} = {(EJ − e1 e1 ) ⊗ EI } − (NJ NJ ⊗ eI eI )= (EJ ⊗ EI ) − (e1 e1 ⊗ EI ) − (NJ NJ ⊗ eI eI ),であり，
E − R−R = (e1 e1 ⊗ EI ) + (NJ NJ ⊗ eI eI )
+

J−1


(ej+1 e1 ⊗ NIj ) +

j=1

J−1


{(NJj ) NJ ⊗ eI−j+1 eI },j=2である．Na0 = Ea であるから，この右辺第 1 項は第 3 項の和でいうと j = 0 の場合であり，また右辺第 2 項も第 4 項の和でいうと j = 1 の場合であり，それぞれまとめることができて，
E − R−R =

=

(4.5)

J−1


(ej+1 e1 ⊗ NIj ) +J−1
{(NJj ) NJ ⊗ eI−j+1 eI }

j=0

j=1

J


J


(ej e1 ⊗ NIj−1 ) +j=1

{(NJj−1 ) NJ ⊗ eI−j+2 eI }

j=2

J

=

(4.6)

{[ ej

O ] ⊗ NIj−1 } +

j=1

J 

0


j−2 
)
(NJ−1

j=2

⊗[O

eI−j+2 ],となる．
（4.6）の右辺第 1 項 RHS(4.6)
は，第 1 列ブロックに上から順に NIj−1 (j = 1, . . . , J) が並ぶこ
1
(4.6)
は，第 1 列ブロックを除いて，対角ブロックに [ O eI ] が並び，対とを，右辺第 2 項 RHS2
角ブロックの下に順次斜め右下方向に [ O eI−j+2 ] (j = 3, . . . , J) が並ぶことを示している．
すなわち，

⎡

EI
⎢ NI
⎢ 2
⎢ N
⎢ I
−
E − R R = ⎢ N3
⎢ I
⎢ .
⎣ ..
NIJ−1

⎤

[ O eI ][ O eI−1 ][ O eI−2 ]..
.
[O

eI−j+2 ][ O eI ][ O eI−1 ]
..
.

[O

···

[O

..

eI ]

..

.

eI−2 ]

[O

⎥
⎥
⎥
⎥
⎥,
⎥
⎥
⎦

.

eI−1 ][OeI ]である．なお，J > I であれば，j > I について，NIj−1 = O，eI−j = (NIj ) eI = 0 であるから，
このとき左下のブロックは実際には OI となっていることに注意する．
4.6



EI×K NKj−1


後のために，EI×K NKj−1 について考えておく．
NK は，K = I + J − 1 であるから，
NK =

NI

[ eI,I O ]
NJ−1

=

NI


eI,I e1,J−1,
NJ−1

標準コウホート表のコウホート分析モデルのデザイン行列について

287

であり，これより一般に，
NKj−1

(4.7)

=

NIj−1

Aj
,
j−1
NJ−1

Aj =

j−1



eI−(j−1)+,I e,J−1,

=1であることを数学的帰納法により示すことができる．これより，


EI×K NKj−1 = [ EI

(4.8)

OI×(J−1) ]

NIj−1

Aj
j−1
NJ−1

= [ NIj−1

Aj ],

である．
4.7

コウホート要因のデザイン行列

3.3，3.4 節と同様に斉次連立 1 次方程式
（4.2）を η について解くと，任意の β= (EJ ⊗ EI )β について，一般解はη = (E − R−R) β,

である．まず，（4.5）の右辺第 1 項 RHS(4.6)の和の中について β をかけると，
1








(ej e1 ⊗ NIj−1 ) β = vec(NIj−1 B e1 ej ) = vec(NIj−1 β1 ej ) = (ej ⊗ NIj−1 ) β1 ,であり，右辺第 2 項 RHS(4.6)の和の中についても同様にすると，（A.15）より，
2


{(NJj−1 ) NJ ⊗ eI−j+2 eI } β = vec(eI−j+2 eI B NJ FJ NJj−2 FJ NJ )= vec(eI−j+2 γ1 NJ FJ NJj−2 FJ NJ )j−2 ) ⊗ eI−j+2 } β∗ ,= {NJ FJ (NJ−1となる．ここで，B の最下行の第 1 要素を除いた行 β∗ = FJ NJ γ 1 = [ β 12 , . . . , β 1J ] とおいた．
以上より，


−



η = (E − R R) β =

 J




(ej ⊗ NIj−1 )


β1 +

 J


j=1

j=2

 
=Z

β1


β∗

,

となる．ここで，
Z =

 J


(ej ⊗ NIj−1 )

j=1



j−2 
(NJ FJ (NJ−1) ⊗ eI−j+2 )



J


j−2 
(NJ FJ (NJ−1) ⊗ eI−j+2 )∈ RIJ×(I+J−1) ,

j=2

とおいた．
Z の第 j ∗ 行ブロックは，ej∗ ⊗ EI を左からかけると得られる．すなわち，(ej∗ ⊗ EI )Z =

 J

j=1

(ej∗ ej ⊗ NIj−1 )

J

j=2



j−2 
{ej∗ NJ FJ (NJ−1) ⊗ eI−j+2 }



β∗

統計数理

288



J


∗
NIj −1=

第 67 巻 第 2 号 2019j−2 {ej∗ −1,J−1 (NJ−1) ⊗ eI−j+2 },

j=2である．まず，第 1 行ブロックは，j ∗ = 1 として，

NI0(e1 ⊗ EI )Z =

J




j−2 

{e0,J−1(NJ−1) ⊗ eI−j+2 }

= EI



OI×(J−1) ,

j=2

である．
より，下記は，j ∗ −1 = +(j −2)，すなわち， = j ∗ −j +1
次に，j ∗ ≥ 2 について考える．（A.8）のときだけ残り，j−2 ej∗ −1,J−1 (NJ−1)=

ej∗ −1,J−1J−1e+(j−2) e= ej∗ −j+1,J−1 ,

=1

となる．j
J


∗

− j + 1 ≥ 1 でなければ ej∗ −j+1,J−1 = 0J−1 であるから，j = 2, . . . , j ∗ と渡ればよく，∗

j−2 {ej∗ −1,J−1 (NJ−1) ⊗ eI−j+2 }

=

j


j=2

j ∗ −1(ej∗ −j+1 ⊗ eI−j+2 )

=

j=2



(eI−j+1 ej∗ −j ),

j=1

∗

∗

と簡単になる．さらに j − j = m とおけば，j = 1, . . . , j − 1 に対して m = j ∗ − 1, . . . , 1 であり，
j ∗ −1j ∗ −1(eI−j+1 ej∗ −j )



=

j=1


(eI−j ∗ +m+1 em) = Aj ∗ ,

j=1

∗

となって，
（4.7）で j = j とおいた Aj と一致することがわかる．結局，第 2 以降の行ブロック
は，（4.8）より，∗(ej∗ ⊗ EI )Z = [ NIj −1と得られる．Z はより具体的には，

⎡

EI
⎢ NI
⎢
⎢ 2
Z = ⎢ NI
⎢ .
⎣ ..
NIJ−1

 J

⎤

eI
eI−1
..
.

eI
..
.

..

eI−J+2···

eI−1

EI×K NKj−1=
j=1となっている．
C= β ij であるから，
一方，βkC = βI−i+j∗

Aj ∗ ] = EI×K NKj −1 ,.

( 1J ⊗ EK ),

⎡

⎤

EI×K
⎥
⎢ EI×K NK ⎥
⎥
⎢
⎥
2 ⎥
⎥
⎢
⎥ = ⎢ EI×K NK ⎥
⎥
⎢
⎥
..
⎦
⎣
⎦
.
J−1
EI×K NKeI

標準コウホート表のコウホート分析モデルのデザイン行列について

⎡

⎤

⎡

289

⎤

β1C
⎢β I−1,i ⎥⎢ β2C ⎥⎢⎥⎢⎥⎢⎥⎢ .. ⎥.
 ⎢ .. ⎥
⎢ . ⎥
⎢
⎥
⎢ C ⎥
β1
C
⎥
⎢
⎥
= ⎢

⎢ β 11 ⎥ = ⎢ βI ⎥ = β ,⎢ β 12 ⎥⎢ βC ⎥
β∗⎢⎥⎢ I−1 ⎥⎢ . ⎥⎢ . ⎥⎣ .. ⎦⎣ .. ⎦β 1J
β I+J−1
β Ii

とおいて，コウホート効果ベクトルとしてよい．
（4.1）より，
以上より， η = ZβC であるが，η について戻せば，

 J

η=


EI

j=1

 J

 J

EI×K NKj−1
j=1



EI×K NKj−1=( 1J ⊗ EK )βC( 1J ⊗ EK )βC ,j=1となり，（2.3）で示したコウホート要因のデザイン行列 XC が得られる．
5.

おわりに

コウホート分析モデルにおける 3 要因のデザイン行列を，セルパラメータに等値制約と同値のゼロ和制約を課すことにより導出し，デザイン行列の性格付けを行った．また，その過程に有用な行列や行列の操作について付録にまとめた．
デザイン行列の直和やクロネッカ積を用いた陽な表現は，コウホートモデルの識別問題を理論的に議論する際に役に立つ．たとえば，インデックスベクトルを na = [1, 2, . . . , a] で定義するとき，ここでは詳細は省くが，
XA nI − XP nJ + XC nK = I 1IJ ,を示すことができる（中村, 2019）．これは，インデックス間の関係（2.1）による i − j + k = I のインデックスベクトル版であり，コウホートモデル全体のデザイン行列 X = [ 1IJ XA XP XC ]の列ベクトルが 1 次従属であることを示す．コウホートモデルの識別問題の源泉である．
デザイン行列 X は，直上の 1 次従属関係の他に後 3 つの関係 XA 1I = XP 1J = XC 1K = 1IJ
により，列数 I + J + K + 1 より 4 つ以上ランクが落ちていることはわかるが，それがちょう
ど 4 つであることは数値的には示すことができるものの数式によっては示されていない．この点については別の機会に譲ることにしたい．
謝辞

統計数理研究所国民性調査委員会の先達および同僚諸氏，また調査に協力して下さった対象
者および関係者の方々は，60 年以上にもわたる貴重な調査データの蓄積を通してコウホート分
析のための豊かな研究土壌を与えて下さいました．レフェリーの方には重要かつ適切なコメン
トをいただきました．ここに記して心より感謝いたします．

統計数理

290

第 67 巻 第 2 号 2019

付録 A. 特別なベクトルと行列の準備ベクトルと行列の大きさを，それぞれ a 次元実ベクトルの集合 Ra と大きさ a × b の実行列の集合 Ra×b への帰属として示す．
ゼロズベクトル 0a ／ゼロズ行列 Oa×b：すべての要素が 0 のゼロズベクトルを 0a ∈ Ra ，ゼロズ行列を Oa×b ∈ Ra×b で表す．正方行列の場合は単に Oa とも書く．
ワンズベクトル 1a：すべての要素が 1 のワンズベクトルを 1a ∈ Ra で表す．
単位ベクトル ej,a：第 j 要素のみが 1 でその他の要素が 0 の単位ベクトルを ej,a ∈ Ra で表す（j = 1, . . . , a）．j < 1 または j > a のときは，ej,a = 0a と定める．後述のシフト行列 Na を使（j < 1 の場合
えば，ej,a = (Naj−1 ) e1,a であるが，j > a ならば Naj−1 = O なので正当化できるも同様）．大きさが明らかな場合は単に ej とすることがある．
単位行列 Ea ／拡張単位行列 Ea×b：単位行列を Ea ∈ Ra×a で表す．

⎡



1

a

Ea ≡ [ e1,a

e2,a

···

ea,a ] =⎢ej ej = ⎣

⎤

..

⎥
⎦,

.

j=1

1

である．単位行列の右側にゼロズ行列を補った拡張単位行列を Ea×b ∈ Ra×b と書く．
Ea×b ≡ [ EaOa×(b−a) ] =aej,a ej,b(b ≥ a),

j=1

である．





反単位（反転）行列 Ea ／拡張反単位行列 Ea×b：左からかけてベクトルの要素あるいは行列の

列を反転する反単位行列 Ea ∈ Ra×a を，
(A.1)



Ea ≡ [ ea,aea−1,a···⎡ae1,a ] =⎢ej,a ea−j+1,a
= ⎣

j=1






⎤

..

.

1

⎥
⎦,

1



で定義する．Ea Ea = Ea ，Ea−1 =Ea である．



反単位行列の右側にゼロズ行列を補った拡張反単位行列を Ea×b と書く．
(A.2)





Ea×b ≡ [ EaOa×(b−a) ] =aej,a ea−j+1,b(b ≥ a),j=1である．
シフト行列 Na：左からかけてベクトルの要素あるいは行列の行を 1 つだけ上にシフトする
行列 Na を，

⎡

(A.3)

Na ≡

0a−1
0

Ea−1

0a−1

0

1

= ⎢
⎢

0

⎢
⎢
⎣

⎤

..

.

..

.

⎥
⎥
⎥ ∈ Ra×a ,⎥1⎦0で定義する．Na を右からかければ右にシフト，転置した Na を左からかければ下にシフト，Na を右からかければ左にシフトとなる．

標準コウホート表のコウホート分析モデルのデザイン行列について

Ea−j

Naj =

=

Oj

j−1
Na−1

0

291

(j = 1, . . . , a − 1),

であり，j ≥ a で Naj = Oa となるから Na はベキ零行列の 1 つである．Na0 = Ea と定める．
以下，単位ベクトルを e = e,a と略記する．
0

(A.4)

Na Na =(A.5)

Na Na = Na

Ea−1

0

Na =
0

Ea−1
Ea−1

=

Ea−1

0

= Ea − e1 e1 ,= Ea − ea ea ,で対称であり，Na Na Na = Na ，Na Na Na = Na であるから，Na のムーア=ペンローズ逆行列
Na+ は，
Na+ = Na ,(A.6)

である．また，0(Naj ) Na =

(A.7)

となる．
ところで，
Na =

a−1


0

Na =

j−1 
)
(Na−1


e e+1
=

=1

a


j−1 
)
(Na−1

,


e e+1,=1とも書ける． ea+1
= 0 であるから，和の範囲を a までとしてもかまわない． e em = 0 ( = m)，e e = 1 であるから，

Na2

=

 a



e e+1

=1

 a



em em+1

=

m=1

Naj =

=1




e e+j
=

=1

であり，
(Nai ) Naj

=

 a

=1



e e+1e+1 e+1+1=

e+i ee e+j(j < a),

=1

 a



em em+j

=

m=1

a



e+i e+j
,

=1

⎡

a

j=1


e e+2
,

=1

である．
ある上三角行列 Ua：シフト行列 Na の次のベキ和を Ua とおく．

Ua ≡

a


a−j

a

(A.8)

a


1

1

Naj−1 = Ea + Na + Na2 + · · · + Naa−1 = ⎢
⎢

1

⎢
⎢
⎣

···
..
.
..
.

⎤

1

⎥

1⎥
a×a
⎥
,
.. ⎥ ∈ R.⎦
1であり，右上のすべての要素が 1 の上三角行列になる．
(Ea − Na ) Ua = (Ea − Na )(Ea + Na + Na2 + · · · + Naa−1 ) = Ea ,

統計数理

292

第 67 巻 第 2 号 2019であることから．
(A.9)(Ea − Na )−1 = Ua ,Ua (Ea − Na ) = Ea ,である．
削除行列 Fa：左からかけてベクトルの最終要素あるいは行列の最終行を削除する行列 Fa を，(A.10)

0a−1 ] (= E(a−1)×a ) ∈ R(a−1)×a ,Fa ≡ [ Ea−1で定義する．
Fa Fa = Ea−1 ,(A.11)

で Fa Fa Fa = Fa を満たすから，Fa の一般逆行列の 1 つは，∈ Ra×(a−1) ,Fa− = Faである．
転置した Fa を左から行列にかければゼロズ行ベクトルの追加になり，右から行列にかけれ（列）ベクトルの追加でもある．
ば最終列の削除となる．Fa を右から行列にかければゼロズ(A.12)

1a−1
1

1a =

= Fa 1a−1 + ea ,と分解できる．
シフト行列 Na と組み合わせると，(A.13)Fa Na = [ 0a−1

Ea−1 ] ∈ R(a−1)×a ,Fa Na Na Fa = Ea−1 ,となり，Fa Na は左からかけてベクトルの先頭要素あるいは行列の先頭行を削除する行列となる．
Fa Na Fa = Na−1 ,(A.14)

である．Fa Na を右からかければ先頭列としてゼロズ列ベクトルを追加する．
転置した (Fa Na ) を左からかければ先頭行としてゼロズ行ベクトルを追加し，右からかけれは，
ば先頭列を削除する．これより
（A.7）
j−1 
(Naj ) Na = Na Fa (Na−1) Fa Na ,(A.15)と表すこともできる．
，（A.6）
より，
さて，（A.5）
Fa Fa =(A.16)Ea−1
0= Ea − ea ea = Na Na = Na Na+ ,であることから，(A.17)

Fa Fa Na = Na Na+ Na = Na ,Fa Fa Naj = Naj (j ≥ 1),

Na Fa Fa Na = Na Na = Na+ Na ,であり，(A.18)Fa Na Na = Fa Fa Fa = Fa Fa− Fa = Fa ,

標準コウホート表のコウホート分析モデルのデザイン行列について

Fa Na Fa = Na−1

Fa (Naa−1 ) Fa = Fa

(A.19)



293




,
0 Fa = Na−1

Oa−1
1

Fa = Oa−1 ,である．
より単位行列を分離すれば Ua−1 = Ea−1 + Ua−1 Na−1 であり，（A.14）を使さらに，（A.9）
えば，
Ua−1 Fa = (Ea−1 + Ua−1 Na−1 )Fa = Fa + Ua−1 Fa Na Fa Fa ,であるから，（A.16）を使って，(A.20)

Ua−1 Fa (Ea − Na ) = Fa + Ua−1 Fa Na (Fa Fa − Ea ) = Fa − Ua−1 Fa Na ea ea
= Fa − Ua−1 ea−1,a−1 ea = Fa − 1a−1 ea = [ Ea−1

−1a−1 ],となる．また，Ua = Fa Ua−1 Fa + ea ea ,(A.21)

とも分解できる．
階差行列 Da：左からかけてベクトルの要素の 1 次階差を作る行列 Da を，⎡

1(A.22)

Da ≡ [ Ea−1

0a−1 ] − [ 0a−1

−1
1

⎢
⎢
⎣

Ea−1 ] = ⎢

⎤

−1
..
.

..

⎥
⎥
(a−1)×a
,
⎥∈R
⎦

.

1

−1



で定義する．Da 1a = 0a であり，β = [ β1 , β2 , . . . , βa ] に対して，⎡⎤

β1 − β2⎢ β2 − β3 ⎥⎢⎥Da β = ⎢
⎥,
..
⎣
⎦
.
βa−1 − βaである．削除行列とシフト行列を使えば，Da = Fa − Fa Na = Fa (Ea − Na ),である．
階差行列 Da の１つの一般逆行列を与える．
（A.9）より，
Da− = Ua Fa ∈ Ra×(a−1) ,(A.23)

が予想され，確かに，
Da Da− = Fa (Ea − Na ) Ua Fa = Fa Ea Fa = Ea−1 ,となって，一般逆行列の条件 Da Da− Da = Da を満たす．（A.23）は具体的には， Ua が上三角行列で，その右から Fa をかけているから最終列が削除され，

統計数理

294

第 67 巻 第 2 号 2019

⎡

1

1

⎢
⎢
⎢
−
Da = ⎢
⎢
⎢
⎣

0

1

···
..
.
..
.

0

···

⎤

1

⎥

1⎥
⎥
.. ⎥ ,.⎥⎥
1⎦0である．（A.21）を利用すれば，
Da− = Ua Fa = Fa Ua−1 Fa Fa + ea ea Fa = Fa Ua−1 ,でもある．（A.20）
より，
Da− Da = Fa Ua−1 Fa (Ea − Na ) = Fa (Fa − 1a−1 ea ),であり，（A.12）も使って，(A.24)

Ea − Da− Da = Fa Fa + ea ea − Fa F + Fa 1a−1 ea = (ea + Fa 1a−1 )ea = 1a ea ,と簡単になることがわかる．
付録 B. 行列の積み上げ—直和とクロネッカ積
行列 Xj (j = 1, . . . , b) の直和は，

⎡

⎤

X1

⎢
⎢
⎣

b

Xj = ⎢

X1 ⊕ X2 ⊕ · · · ⊕ Xb =
j=1

X2

..

⎥
⎥
⎥,
⎦

.
Xb

と定義される．一般に行列 Xj の大きさは異なっていてもよい．行列 Yj (j = 1, . . . , b) がある
とき，行列積 Xj Yj が定義されれば，(⊕j Xj )(⊕j Yj ) = ⊕j Xj Yj ,である．Xj がすべて同一のときは（Xj = Z として），⎡Z⊕j Z = ⎢
⎣

⎤

..

⎥
⎦ = E b ⊗ Z,.
Zとクロネッカ積を用いても書ける．
クロネッカ積は左側の行列の要素に右側の行列を埋め込んで大きな行列を作る操作と考えてよい．行列の大きさが整合していれば，(A ⊗ B)(C ⊗ D) = AC ⊗ BD である．行列をベクトル化する vec 演算子との間に，vecABC = (C  ⊗ A)vec B,(B.1)

vec AB = (E ⊗ A)vec B = (B  ⊗ E)vec A,という関係がある (Magnus and Neudecker, 1999, p.30）．
以下，行列 Xj ∈ Ra×c (j = 1, . . . , b) とし，これら b 個を縦方向に積み上げた行列

標準コウホート表のコウホート分析モデルのデザイン行列について

⎡

295

⎤

X1
⎢ .. ⎥ab×c,⎣ . ⎦∈R
Xb

を考える．まず，

⎡

⎤

⎡

⎤⎡

X1
X1
⎢ .. ⎥⎢⎣ . ⎦ = ⎣
Xb

(B.2)

..

⎤

Ec
⎥ ⎢ .. ⎥⎦ ⎣ . ⎦ = (⊕j Xj )( 1b ⊗ E c ),
Ec
Xb

.

と行列の直和とクロネッカ積を使って表すことができる．Xj がすべて同一のときは（Xj = Z
として），

⎡ ⎤
Z

⎢ .. ⎥⎣ . ⎦ = 1b ⊗ Z = (E b ⊗ Z)( 1b ⊗ E c ) = (⊕j Z)( 1b ⊗ E c ),Zである．
つぎに，行列 A ∈ Rd×c に対しては，

⎡

⎤

⎡

AX1
A
⎢ .. ⎥⎢⎣ . ⎦ = ⎣
AXb

⎤⎡

..

⎤

X1
⎥ ⎢ .. ⎥⎦ ⎣ . ⎦ = (E b ⊗ A)(⊕j Xj )( 1b ⊗ E c )XbA.

= (⊕j A)(⊕j Xj )( 1b ⊗ E c )= (⊕j AXj )( 1b ⊗ E c ) ∈ Rbd×c(B.3)となり，（B.2）から直接得られるものに当然ながら等しい．
また，行列 B ∈ Rc×e を右からかけると，縦積みのブロック行列の表記からは一目瞭然では
あるが，

⎡

⎤

X1
⎢ .. ⎥⎣ . ⎦B = (⊕j Xj )( 1b ⊗ E c )B = (⊕j Xj )( 1b ⊗ E c )(1 ⊗ B)
Xb
= (⊕j Xj )( 1b ⊗ B) = (⊕j Xj )(E b ⊗ B)( 1b ⊗ E e )= (⊕j Xj )(⊕j B)( 1b ⊗ E e ) = (⊕j Xj B)( 1b ⊗ E e )

⎡

⎤

X1 B
⎢ .. ⎥= ⎣ . ⎦ ∈ Rab×e ,Xb Bと B が潜り込む．
あわせて，

⎡

⎤

AX1 B
⎢ .. ⎥⎣ . ⎦ = (⊕j A)(⊕j Xj )(⊕j B)( 1b ⊗ E e ) = (⊕j AXj B)( 1b ⊗ E e ),
AXb B

296

統計数理

第 67 巻 第 2 号 2019

である．この形に整理されれば，積み上げた全体の上から j 番目のブロックの行列 AXj B を取り出すのは容易である．
付録 C. 一般逆行列と斉次連立 1 次方程式の一般解
行列 A ∈ Ra×b に対して AGA = A を満たす行列 G ∈ Rb×a は A の一般逆行列と呼ばれ，A−で表記される．A− は唯一とは限らない．
の一般解は，任意の z ∈ Rb について，斉次連立 1 次方程式 Ax = 0a (x ∈ Rb ）(C.1)

x = (E b − A−A)z,で与えられる（Harville, 1997, p.140）
．

参

考

文

献

Fienberg, S. E. and Mason, W. M. (1979). Identiﬁcation and estimation of age-period-cohort models in
the analysis of discrete archival data, Sociological Methodology 1979 (ed. K. F. Shuessler), 1-67,
Jossey-Bass, San Francisco.
Fu, W. (2018). A Practical Guide to Age-Period-Cohort Analysis: The Identiﬁcation Problem and Beyond, CRC Press, Boca Raton.
Glenn, N. D. (2005). Cohort Analysis, 2nd ed., Sage Publications, Thousand Oaks, London, New Delhi.
Harville, D. A. (1997). Matrix Algebra from a Statistician’s Perspective, Springer, New York.
Magnus, J. R. and Neudecker, H. (1999). Matrix Diﬀerential Calculus with Applications in Statistics
and Econometrics, Revised Edition, John Wiley & Sons, New York.
Mason, W. M. and Fienberg, S. E. (eds.) (1985). Cohort Analysis in Social Research: Beyond theIdentiﬁcation Problem, Springer-Verlag, New York.
中村 隆 (1982). ベイズ型コウホート・モデル — 標準コウホート表への適用 — , 統計数理研究所彙報, 29,
77-97.
Nakamura, T. (1986). Bayesian cohort models for general cohort table analyses, Annals of the Instituteof Statistical Mathematics, 38, 353-370.
中村 隆 (2005). コウホート分析における交互作用効果モデル再考, 統計数理, 53, 103-132.
中村 隆 (2019). コウホート分析の古今 — 一般化線形混合モデルとしてのコウホートモデル, 社会と調査,
32, 106-114.
O’Brien, R. M. (2015). Age-Period-Cohort Models: Approaches and Analyses with Aggregated Data, CRC
Press, Boca Raton.
Ryder, N. B. (1965). The cohort as a concept in the study of social change, American Sociological Review,
30, 843-861.
坂口尚文, 中村 隆 (2019). 混合効果モデルとしてみたコウホート分析モデル, 理論と方法, 33, 3-17.
Yang, Y. and Land, K.C. (2013). Age-Period-Cohort Analysis: New Models, Methods, and Empirical
Applications, CRC Press, Boca Raton.

Proceedings of the Institute of Statistical Mathematics Vol. 67, No. 2, 277–297 (2019)297

The Design Matrices of an Age-Period-Cohort Modelfor a Standard Cohort Table
Takashi Nakamura
Professor Emeritus, The Institute of Statistical Mathematics

This paper gives the explicit expressions of the design matrices of an age-periodcohort model for standard cohort table data classiﬁed by age group and survey period,
obtained from repeated cross-sectional surveys, to separate the eﬀects of age, period, andcohort factors. The matrices are derived from imposing equality or zero-sum constraints
on the cell parameters in a cohort table as well as from visual inspection.

Key words: APC model, age, period and cohort eﬀects, cell parameters, equality or zero-sum constraints,
repeated cross-sectional surveys.

統計数理（2019）
第 67 巻 第 2 号 299–395©2019 統計数理研究所

創立 75 周年記念号［統計数理研究所研究活動］

300

統計数理

第 67 巻 第 2 号 2019

統計数理研究所 75 周年記念研究業績紹介

301

302

統計数理

第 67 巻 第 2 号 2019

統計数理研究所 75 周年記念研究業績紹介

303

304

統計数理

第 67 巻 第 2 号 2019

統計数理研究所 75 周年記念研究業績紹介

305

306

統計数理

第 67 巻 第 2 号 2019

統計数理研究所 75 周年記念研究業績紹介

307

308

統計数理

第 67 巻 第 2 号 2019

統計数理研究所 75 周年記念研究業績紹介

309

310

統計数理

第 67 巻 第 2 号 2019

統計数理研究所 75 周年記念研究業績紹介

311

312

統計数理

第 67 巻 第 2 号 2019

統計数理研究所 75 周年記念研究業績紹介

313

314

統計数理

第 67 巻 第 2 号 2019

統計数理研究所 75 周年記念研究業績紹介

315

316

統計数理

第 67 巻 第 2 号 2019

統計数理研究所 75 周年記念研究業績紹介

317

318

統計数理

第 67 巻 第 2 号 2019

統計数理研究所 75 周年記念研究業績紹介

319

320

統計数理

第 67 巻 第 2 号 2019

統計数理研究所 75 周年記念研究業績紹介

321

322

統計数理

第 67 巻 第 2 号 2019

統計数理研究所 75 周年記念研究業績紹介

323

324

統計数理

第 67 巻 第 2 号 2019

統計数理研究所 75 周年記念研究業績紹介

325

326

統計数理

第 67 巻 第 2 号 2019

統計数理研究所 75 周年記念研究業績紹介

327

328

統計数理

第 67 巻 第 2 号 2019

統計数理研究所 75 周年記念研究業績紹介

329

330

統計数理

第 67 巻 第 2 号 2019

統計数理研究所 75 周年記念研究業績紹介

331

332

統計数理

第 67 巻 第 2 号 2019

統計数理研究所 75 周年記念研究業績紹介

333

334

統計数理

第 67 巻 第 2 号 2019

統計数理研究所 75 周年記念研究業績紹介

335

336

統計数理

第 67 巻 第 2 号 2019

統計数理研究所 75 周年記念研究業績紹介

337

338

統計数理

第 67 巻 第 2 号 2019

統計数理研究所 75 周年記念研究業績紹介

339

340

統計数理

第 67 巻 第 2 号 2019

統計数理研究所 75 周年記念研究業績紹介

341

342

統計数理

第 67 巻 第 2 号 2019

統計数理研究所 75 周年記念研究業績紹介

343

344

統計数理

第 67 巻 第 2 号 2019

統計数理研究所 75 周年記念研究業績紹介

345

346

統計数理

第 67 巻 第 2 号 2019

統計数理研究所 75 周年記念研究業績紹介

347

348

統計数理

第 67 巻 第 2 号 2019

統計数理研究所 75 周年記念研究業績紹介

349

350

統計数理

第 67 巻 第 2 号 2019

統計数理研究所 75 周年記念研究業績紹介

351

352

統計数理

第 67 巻 第 2 号 2019

統計数理研究所 75 周年記念研究業績紹介

353

354

統計数理

第 67 巻 第 2 号 2019

統計数理研究所 75 周年記念研究業績紹介

355

356

統計数理

第 67 巻 第 2 号 2019

統計数理研究所 75 周年記念研究業績紹介

357

358

統計数理

第 67 巻 第 2 号 2019

統計数理研究所 75 周年記念研究業績紹介

359

360

統計数理

第 67 巻 第 2 号 2019

統計数理研究所 75 周年記念研究業績紹介

361

362

統計数理

第 67 巻 第 2 号 2019

統計数理研究所 75 周年記念研究業績紹介

363

364

統計数理

第 67 巻 第 2 号 2019

統計数理研究所 75 周年記念研究業績紹介

365

366

統計数理

第 67 巻 第 2 号 2019

統計数理研究所 75 周年記念研究業績紹介

367

368

統計数理

第 67 巻 第 2 号 2019

統計数理研究所 75 周年記念研究業績紹介

369

370

統計数理

第 67 巻 第 2 号 2019

統計数理研究所 75 周年記念研究業績紹介

371

372

統計数理

第 67 巻 第 2 号 2019

統計数理研究所 75 周年記念研究業績紹介

373

374

統計数理

第 67 巻 第 2 号 2019

統計数理研究所 75 周年記念研究業績紹介

375

376

統計数理

第 67 巻 第 2 号 2019

統計数理研究所 75 周年記念研究業績紹介

377

378

統計数理

第 67 巻 第 2 号 2019

統計数理研究所 75 周年記念研究業績紹介

379

380

統計数理

第 67 巻 第 2 号 2019

統計数理研究所 75 周年記念研究業績紹介

381

382

統計数理

第 67 巻 第 2 号 2019

統計数理研究所 75 周年記念研究業績紹介

383

384

統計数理

第 67 巻 第 2 号 2019

統計数理研究所 75 周年記念研究業績紹介

385

386

統計数理

第 67 巻 第 2 号 2019

統計数理研究所 75 周年記念研究業績紹介

387

388

統計数理

第 67 巻 第 2 号 2019

統計数理研究所 75 周年記念研究業績紹介

389

390

統計数理

第 67 巻 第 2 号 2019

統計数理研究所 75 周年記念研究業績紹介

391

392

統計数理

第 67 巻 第 2 号 2019

統計数理研究所 75 周年記念研究業績紹介

393

394

統計数理

第 67 巻 第 2 号 2019

統計数理研究所 75 周年記念研究業績紹介395