農学分野のデータサイエンス
教育のあり方茨城大学農学部・特任教授
統計数理研究所・名誉教授(独）統計センター 特別研究員
田村義保
関東・首都圏ブロック農学分野
データサイエンス教育・AIの教育、研究の展開普及
2022年3月4日オンライン

自己紹介
1975年 東京工業大学理学部物理学科卒業
1980年 東京工業大学大学院理工学研究科物理学専攻博士課程修了（理学博士）
1980年 日本学術振興会・奨励研究員
1981年 統計数理研究所・研究員
1985年 統計数理研究所・助手(共同利用研究所への組織変更に伴う職名変更）
1986年 統計数理研究所助教授・総合研究大学院大学助教授（兼任1989年）
1997年 統計数理研究所教授・総合研究大学院大学教授（兼任）1998年 統計数理研究所・技術課長(2000年まで)
2000年 統計数理研究所・統計計算開発センター長(2004年まで)
2004年 統計数理研究所・副所長(2010年まで)
2010年 統計数理研究所・データ科学研究系主幹(2011年まで)
2011年 統計数理研究所・副所長(2017年まで)
2017年 統計数理研究所・データ科学研究系主幹(2018年まで)
2018年 統計数理研究所・総合研究大学院大学 定年退職 名誉教授
2018年 統計数理研究所・特任教授(2021年まで)
2018年 独立行政法人統計センター 統計技術研究課・特別研究員
2021年 茨城大学農学部・特任教授

https://www.hpcwire.jp/archives/20001
2022年3月4日

Yoshiyasu Tamura@Ibaraki Univ.

2

希望する数学知識
最新の課程の数I、II、A、B

分かっていて欲しい数学知識
微分が最大(小)値を求めるための演算であること。
積分が面積を求める演算であること。
Taylor展開
確率密度関数の積分が確率になること。
データは確率変数の実現値であること。

2022年3月4日

Yoshiyasu Tamura@Ibaraki Univ.

大学で習う？

3

分かっているとうれしい数学知識
ベクトル・行列・行列式の知識
行列の積や転置行列の概念
逆行列の意味
固有値、固有ベクトルの意味

大学で習う？

QR分解などの数値計算最適化（少なくとも未定乗数法)
中学や高校で数学が好きではなくなった学生に、数学の面白さ、重要性を教えて欲しい。少なくとも、数式を含む教科書などを読む元気を与えて欲しい。

2022年3月4日というより教えて欲しい

Yoshiyasu Tamura@Ibaraki Univ.

4

計算機リテラシー
WindowsパソコンかMacが使える。
WindowsとMacで文字コードや改行コードが違うことを理解している。
Rでのデータの読み込み方を知っている。
簡単なRコマンドを知っている。
後はやっている内に覚えることができる。
RではなくPythonでも良い。
Excelを使える?
計算機は少々の操作ミスでは壊れない。クリック
するだけのブラックボックス解析では、解析結果の分析はできないと思っている。結果の分析が正しくできるような教育で良いのですが。
2022年3月4日

Rの出力を理解するのは結構難しい

Yoshiyasu Tamura@Ibaraki Univ.

5データポータル
データサイエンス教育で一番重要なものはサンプルデータです。
データのアノテーションやメタデータと解析例は必ずつけて欲しいものです。
次ページからいくつかのサイトを紹介しています。初等中等教育のためのページも上げていますが、大学教育のためにも役立つと思います。
残念ながら、観測、観察、計測したような農学関係のデータは農水省の統計データ以外には見当たらなかったように思います。

2022年3月4日

Yoshiyasu Tamura@Ibaraki Univ.

6データポータル
日本統計学会
統計教育委員会｢資料の活用」・「データの分析」のための教材サイト
https://estat.sci.kagoshima-u.ac.jp/cse/shido/

2022年3月4日

Yoshiyasu Tamura@Ibaraki Univ.

7データポータルJDSSP 高等学校データサイエンス教育研究会
https://ds-education.com/category/data-science-text/page/2/
https://ds-education.com/data-science-text/174/

2022年3月4日

Yoshiyasu Tamura@Ibaraki Univ.

8データポータル
統計教育推進委員会
https://statds.k-junshin.ac.jp/statedu/

2022年3月4日

Yoshiyasu Tamura@Ibaraki Univ.

9データポータル
北海道大学数里・データサイエンス教育研究センター
教育用データ提供システム
https://data.mdsc.hokudai.ac.jp/?ref=c

2022年3月4日

Yoshiyasu Tamura@Ibaraki Univ.

10データポータル
松原望先生 データバンク
https://qmss.ne.jp/databank/

松原先生 総合案内サイト https://qmss.ne.jp/portal/
2022年3月4日

Yoshiyasu Tamura@Ibaraki Univ.

11データポータル
松原先生 新サイト
https://www.bayesco.org/top

わかりやすい統計学 データサイエンス基礎 松原望・森本栄一 丸善出版 2021年11月25日
2022年3月4日

Yoshiyasu Tamura@Ibaraki Univ.

12データポータル
統計データ分析コンペティション
https://www.nstac.go.jp/statcompe/

SSDSE が標準データセットです
2022年3月4日

Yoshiyasu Tamura@Ibaraki Univ.

13データポータル
政府統計総合窓口
https://www.e-stat.go.jp/

建設工事受注動態統計調査の結果もあります。あまり知られていないかもしれませんが、基幹統計のひとつの令和2年度の国民生活基礎調査は中止になっています。
2022年3月4日

Yoshiyasu Tamura@Ibaraki Univ.

14

考えているコース
農学のための統計入門 記述統計学
グラフ・表による情報集約
1. ヒストグラム
2. 累積相対度数グラフ（累積百分率グラフ）
3. 経験分布グラフ
4. ボックスプロット
5. 円グラフ6. 帯グラフ7. 折れ線グラフ
8. チャーノフの顔グラフ
9. 時系列プロット
10. QQ プロット
11. ローレンツ曲線
12. 散布図2022年3月4日

1. 度数分布表
2. 相関表3. 分割表Yoshiyasu Tamura@Ibaraki Univ.

15

記述統計学

度数分布表・ヒストグラム

表や図を最初に書くべきである。
入試78657986679278887890748296
91
73
89
85
59
80
91
62
80
80
57
74

国語
73
2971
74
52
77
60
81
61
70
53
69
87
83
76
87
77
38
67
83
47
70
81
51
76

社会
70
33
68
91
56
92
85
91
84
75
70
64
89
75
61
82
80
43
73
77
61
62
51
16
71

数学
74
55
72
79
58
96
66
73
72
81
73
96
90
96
67
78
78
45
78
80
56
88
63
36
77

理科
79
79
64
76
60
88
66
63
78
67
51
57
85
81
57
85
70
12
67
67
21
51
66
48
75

英語
71
84
97
100
85
98
88
95
92
96
92
97
100
98
86
97
94
96
95
100
95
96
92
84
79

階級

階級値

度数

20-30
30-40
40-50
50-60
60-70
70-8080-90計25354555657585-

111349625

相対度数
累積度数(%)
414243126161036192425100-

累積相対度数(%)
4812244076100-

上のようなデータをCase & Variable型という。相対度数や累積相対度数は確率論と密接に関係している。このあたりを理解できれば、深い解析が可能になる。
2022年3月4日

Yoshiyasu Tamura@Ibaraki Univ.

16記述統計学

高さを度数にしています。階級幅が一定ならばこれでもよいですが。。。

ヒストグラム

面積が度数に比例するように描いています。棒グラフの面積の合計は1です。

ヒストグラムについてふれているのは、ヒストグラムが確率密度関数の近似であるため。
また、データの分布を表しているため。ヒストグラムは小学校から習っているので、かえって、変な「すりこみ」があるように思う。
2022年3月4日

Yoshiyasu Tamura@Ibaraki Univ.

17

記述統計学

ヒストグラム Rコマンド

hist(iba2002.dat[1:7852],breaks=c(0,seq(99.9,999.9,100),seq(1199.9,1999.9,200),
2499.9,2999.9,3999.9,10000),freq=T,
xlab="万円",ylab="人数",main="貯蓄現在高(不適切ヒスとグラム）",col=0,ylim=c(0,1000))
dev.copy2eps(file="fig-hist01.eps",family="Japan1")
hist(iba2002.dat[1:7852],breaks=c(0,seq(99.9,999.9,100),seq(1199.9,1999.9,200),
2499.9,2999.9,3999.9,10000),xlim=c(0,10000),
xlab="万円",ylab="割合",main="貯蓄現在高（適切ヒスとグラム）",col=0,freq=F)
dev.copy2eps(file="fig-hist02.eps",family="Japan1")

2022年3月4日

Yoshiyasu Tamura@Ibaraki Univ.

18

考えているコース
農学のための統計入門 記述統計学
数値による情報集約
1. 総計値
2. 平均値
3. 最大値・最小値
4. パーセンタイル
5. メディアン（中央値）
6. 第１四分位数
第３四分位数
7. モード
8. 範囲
9. 四分位範囲
10. 分散・標準偏差2022年3月4日

11. 平均偏差12. 四分位偏差13. 変動係数14. 四分位変動係数
15. 歪度16. 尖度
17. 共分散、相関

Yoshiyasu Tamura@Ibaraki Univ.

19データの尺度(1)
••

••

•

•

名義尺度(nominal scale) いくつかのものを区別するために、一連の数値を与える
 ラベルとしての意味しかない 例 性別 企業業種
順序尺度(ordinal scale) 順序を表すデータ
 例 （良い、普通、悪い）間隔尺度(interval scale) 計量データの中で、与えられた数値が、差の等価性を持つが 絶対的な原点を持たない場合
 例 温度（セ氏）、試験の点数比率尺度(ratio scale) 間隔尺度の性質に加え、原点が一意に決まっている場合
 例 長さ、重さ、時間等の物理量
質的データ
 カテゴリカルデータ
 順序データ
量的データ
 計量データ 計数データ

：名義尺度
：順序尺度
：間隔尺度

比率尺度

どのような尺度を持つかによって、使える統計手法が異なる。尺度のことを書いている日
本語教科書は少ないと思う。講義評価は順序尺度なので平均点を出すのは本当は不適切である。
2022年3月4日

Yoshiyasu Tamura@Ibaraki Univ.

20

記述統計学
標本平均 𝑥𝑥̅ =標本平均(1)∑𝑛𝑛
𝑖𝑖=1 𝑥𝑥𝑖𝑖
𝑛𝑛

Rコマンド(1)> setwd(”d:/Rwd”)

注意：作業ディレクトリを指定。DドライブのRwdというフォルダを想定> baby <- matrix(scan(”baby.dat”),ncol=5,byrow=T) d:¥Rwd¥baby.datを読み込み> baby> mean(baby[,1])

大銀行に所属する方から、『平均とは足して2で割るものだと思っている人が多い』ということを聞いて驚いたことがある。標本平均より、メディアンやモードの方が代表値としてよいと言うことを知っていた方がよい。いきなり、平均を計算してはいけない。シグマ記号があるだけで統計的データ解析を忌避する人がいる。

2022年3月4日

Yoshiyasu Tamura@Ibaraki Univ.

21

記述統計学> baby の結果[,1] [,2] [,3] [,4] [,5][1,] 3087 48 28 304 0[2,] 3229 52 24 286 1[3,] 3204 61 33 273 1[4,] 3346 58 30 295 0[5,] 3579 56 21 290 0[6,] 2325 46 26 262 0[7,] 3159 55 30 318 1[8,] 3589 63 37 298 0[9,] 2969 52 25 299 1[10,] 2819 40 22 313 0[11,] 3191 59 34 285 1[12,] 3346 57 28 306 0[13,] 2444 45 30 291 1[14,] 3662 64 21 274 0[15,] 3241 53 29 283 0

2022年3月4日

標本平均(2)
標本平均の計算> mean(baby[,1])[1] 3146> apply(baby,2,mean)[1] 3146.00000 53.93333
27.86667 291.80000 0.40000

Yoshiyasu Tamura@Ibaraki Univ.

22記述統計学標本分散

𝑛𝑛2𝑛𝑛2∑𝑥𝑥 −𝑥𝑥̅𝑣𝑣 2 = 𝑖𝑖=1 𝑛𝑛𝑖𝑖
∑𝑥𝑥𝑖𝑖 −𝑥𝑥̅
𝑠𝑠 2 = 𝑖𝑖=1𝑛𝑛−1=2∑𝑛𝑛𝑖𝑖=1 𝑥𝑥𝑖𝑖

𝑛𝑛− 𝑥𝑥̅ 2

分散(1)二乗の平均ー平均の二乗の式は使ってはいけない

不偏分散
不偏分散を用いるのは、その期待値が母分散（真の値）に等しいため
しかし、分散の最尤推定値は標本分散である。AIC（赤池情報量規準）で用いるのは最尤推定値であることに注意
Rコマンド(2)> var(baby[,1])
不偏分散の計算> var(baby[,1])[1] 147146.4
標本分散の計算> (length(baby[,1])-1)*var(baby[,1])/length(baby[,1])[1] 137336.7
𝑛𝑛 − 1で割る方が統計的によいわけではない。不偏性という観点からよいだけ。
2022年3月4日

Yoshiyasu Tamura@Ibaraki Univ.

23記述統計学

パーセンタイル(1)パーセンタイルが数値による情報集約(縮約）では一番重要であるように考える。

2022年3月4日

Yoshiyasu Tamura@Ibaraki Univ.

24記述統計学

パーセンタイル(2)

補間法に過ぎませんが、講義では三角形の相似形を使って説明しています。
2022年3月4日

Yoshiyasu Tamura@Ibaraki Univ.

25

記述統計学

パーセンタイル(3)今は小学校の算数で第1四分位数の求め方が説明されていますが、教科書によって違いがあるそうです。

補間法に過ぎない。

パーセンタイル（確率点）を求める 関数> quantile
function(x, probs = seq(0, 1, 0.25)){if(any(probs < 0 | probs > 1))stop("Probabilities must be between 0 and 1 inclusive")
if(any(is.na(x)))
return(NA)names(x) <- NULLn <- length(x)order <- 1 + (n - 1) * probs
low <- pmax(floor(order), 1)
high <- pmin(low + 1, n)x <- sort(x, unique(sort(c(low, high))))order <- order %% 1(1 - order) * x[low] + order * x[high]}

2022年3月4日

Yoshiyasu Tamura@Ibaraki Univ.

26

モードの計算法(1)モードの計算方法
モード（最頻値）は、普通は、単峰のヒストグラムで、一番高い階級の階級値となります。ここで、説明している求め方は、一番高いところの両隣の高さを考慮した求め方です。

2022年3月4日

Yoshiyasu Tamura@Ibaraki Univ.

27

モードの計算法(2)2022年3月4日

Yoshiyasu Tamura@Ibaraki Univ.

28

モードの計算法(3)2022年3月4日

Yoshiyasu Tamura@Ibaraki Univ.

29

考えているコース
農学のための統計入門 推測統計学
推測統計学 区間推定 仮説検定 等
1. 確率変数の和の分布
2. 平均値の区間推定
3. 分散の区間推定
4. 比率の区間推定

10. 独立性の検定
11. 分散分析
12. 単回帰5. 平均値の検定
6. 分散の検定
7. 平均値の差の検定
8. 分散の比の検定
9. 比率の差の検定

2022年3月4日

Yoshiyasu Tamura@Ibaraki Univ.

30

推測統計学 少しだけ確率論 連続確率変数(1)2022年3月4日

Yoshiyasu Tamura@Ibaraki Univ.

31

推測統計学 少しだけ確率論 推定に向けて
標本平均不偏分散の分布

実験データは普通は一組しかありません。何回も同じ実験を繰り返したら、標本平均の分布が正規分布になるということです。仮想的に実験を繰り返したのと同じようにする統計的手法として、ブートストラップ法(Efron)があります。
2022年3月4日

Yoshiyasu Tamura@Ibaraki Univ.

32

推測統計学

区間推定 (1)

母平均μ の信頼区間100(1 − 2α)%の区間推定（母分散が既知）

α = 0.05 の場合は𝑧𝑧0.05 = 1.64、α = 0.025 の場合は𝑧𝑧0.025 = 1.96であることから、信頼区間90%および95%の区間推定

信頼区間90%というのは同じ推定を100回繰り返すことができたら、その内、90回は、不等式の範囲に母平均（真の値）が入るという意味を持ちます。
2022年3月4日

Yoshiyasu Tamura@Ibaraki Univ.

33

推測統計学

区間推定 (2)母分散𝜎𝜎 2 の信頼区間100(1 − 2α)%の区間推定であることを用いて次のようになります。

自由度𝑘𝑘のカイ二乗分布の確率密度関数
自由度𝑘𝑘のカイ二乗分布の期待値と分散

2022年3月4日

Yoshiyasu Tamura@Ibaraki Univ.

34平均値の差の検定
2つの標本の平均値の差の検定を行うための検定統計量について説明しています。

2022年3月4日

Yoshiyasu Tamura@Ibaraki Univ.

35平均値の差の検定

2022年3月4日

Yoshiyasu Tamura@Ibaraki Univ.

36平均値の差の検定

2022年3月4日

Yoshiyasu Tamura@Ibaraki Univ.

37平均値の差の検定
分散が未知であるが等しいとできる場合についてのみ説明します。帰無仮説は母平均が等しいです。対立仮説は標本Aの母平均の方が大きい、小さいと標本Aと標本Bの母平均は異なるの3種類考えられますが、等しくないという対立仮説についてのみ説明します。

2022年3月4日

Yoshiyasu Tamura@Ibaraki Univ.

38平均値の差の検定
Rでは二つの標本の分散が等しいとできる場合は、t.test( , ,var.equal=T)を用いて行うことができる。t.testのデフォルトは両側検定で、二標本の分散が等しく無いである。

2022年3月4日

Yoshiyasu Tamura@Ibaraki Univ.

39平均値の差の検定
ACとACSの播種後31日目の草丈については次のようになりました。

2022年3月4日

Yoshiyasu Tamura@Ibaraki Univ.

40平均値の差の検定
ACとACSの播種後31日目の草丈についてExcelを用いると次のようになり、Rを用いた結果と一致します。
平均値の差の検定
AC14101113111

1012.51211101113111213.5
13131013.5
12111610131414136.5
8.5
11

平均値の差の検定

H 0 : µ1 = µ 2ACSH1 : µ1 ≠ µ 2
検定統計量

t=
AC
標本平均の計算
標本平均＝10.83333

ACS
標本平均の計算
標本平均＝
12

不偏分散＝8.845238
データ長
15
プーリング後不偏分散

不偏分散＝5.666667
データ長167.201149( x1 − x2 ) − ( µ1 − µ 2 )

有意水準
α=
α/2=
p=2*α/2

s2 s2+n m=

x1 − x2
s2 s2+n m

5 %
0.05
0.025
0.05

検定統計量の計算
ｔ=-1.20968

自由度n+m-2のt分布の上側2.5 %点p値

エクセルの計算式

0.236171

2.5 %点2.04523tα / 2 (n + m − 2) ← T . INV .2T ( p, n + m − 2), p = α
判断基準

2022年3月4日| t |> tα / 2 (n + m − 2) :H 0を棄却| t |≤ tα / 2 (n + m − 2) :H 0を容認

Yoshiyasu Tamura@Ibaraki Univ.

41

考えているコース
農学のための統計入門 多変量解析
多変量解析等
1. 重回帰分析
2. 主成分分析
3. クラスター分析
4. 判別分析
5. 因子分析
6. 時系列解析

2022年3月4日

7. 傾向スコア
8. 因果分析
9. 分類のための解析方法
10. カルバック・ライブラーダイ
バージェンス
11. Fisher情報行列
12. 赤池情報量規準

Yoshiyasu Tamura@Ibaraki Univ.

42

単回帰についてlm()を使うだけで単回帰分析は可能です。このデータでは気温（目的変数）の変化を日射量（説明変数）で説明・予測するために回帰分析を用いています。

2022年3月4日

Yoshiyasu Tamura@Ibaraki Univ.

43

単回帰について3本しか描いていませんが、垂直な線が残差です。この二乗の和を最小にする傾きと切片を求めます。

2022年3月4日

Yoshiyasu Tamura@Ibaraki Univ.

44単回帰について残差二乗和を最小にする推定方法を最小二乗法と呼びます。𝑆𝑆を最小にする𝑎𝑎と𝑏𝑏を求めますが、数学的には、偏微分を用いて正規方程式を作ります。

2022年3月4日

Yoshiyasu Tamura@Ibaraki Univ.

45

単回帰について�正規方程式は単に連立方程式です。文字式で解いていますが、推定値𝑏𝑏は共分散を説明変数の分散で割るという非常に美しい式になっています。推定値𝑎𝑎は元
�の直線の式から残差の項を除いただけです。

2022年3月4日

Yoshiyasu Tamura@Ibaraki Univ.

46

単回帰についてこのデータの場合の計算は次の通りです。lm()を用いずに、理論式を用いています。

2022年3月4日

Yoshiyasu Tamura@Ibaraki Univ.

47単回帰について分散分析をしています。

2022年3月4日

Yoshiyasu Tamura@Ibaraki Univ.

48

単回帰について分散分析をしています。

2022年3月4日

Yoshiyasu Tamura@Ibaraki Univ.

49単回帰について分散分析をしています。

2022年3月4日

Yoshiyasu Tamura@Ibaraki Univ.

50単回帰について分散分析をしています。

2022年3月4日

Yoshiyasu Tamura@Ibaraki Univ.

51