1情報科学【AI・データサイエンス】
第7回
回帰分析と時系列分析

回帰分析
時系列分析

九州大学 数理・データサイエンス教育研究センター

2

回帰分析

九州大学 数理・データサイエンス教育研究センター

3

回帰とは？

「回って帰る」わけではないが，なぜか「回帰」と呼ばれる．
要は，与えられたデータに成り立つ傾向を見つけ出す方法
九州大学 数理・データサイエンス教育研究センター

4「テストの点数」を理解する
 何が点数に影響するだろうか？

？

？ ？
教室が快適だったから？

？

？

帰国子女だから？

？

教え方が良い？

読書量が多いから？
沢山勉強したから？

九州大学 数理・データサイエンス教育研究センター

5

モデリング
模 型

 観測（データ）を基に，現象を簡略化した「モデル」を作成すること
 ここでは変数間の関係を数学的に表現するモデルを考える
 例えば，テストの点数を以下のようにモデリングできる

=0.3×

+0.7×

【テストの点数は，教え方3割，家での勉強7割】というモデル
 変数：テストの点数，先生の授業経験年数，自宅での勉強時間
 ここでは特に線形回帰モデルの枠組みでモデリングしている モデルの正しさは別途要確認！
九州大学 数理・データサイエンス教育研究センター

6

ほかの例：最高気温とアイスの売り上げの関係

アイスの売り上げ（個）1801601401201008060402002025303540

最高気温（℃）

最高気温が高くなると，アイスの売り上げも伸びる傾向
九州大学 数理・データサイエンス教育研究センター

7

参考：相関分析を使うと…

xxが増加するとyも増加する

• 無相関

y

• 負の相関yy• 正の相関xxxが増加するとyが減少する

どちらにも当てはまらない←「(ある程度強い)正の相関を持つ」
ぐらいしか分からない
九州大学 数理・データサイエンス教育研究センター

8

回帰分析だと 変数（データ）間の関係式が分かる

回帰式（アイスの売り上げ）＝8.8×（最高気温）-158
目的変数（従属変数）

説明変数（独立変数）

66個くらいかな

25.5℃の時は？

回帰式を用いた予測
九州大学 数理・データサイエンス教育研究センター

9

回帰分析とは
 データの属性の間の関係式を求める分析手法
 現象の理解や，未知の状況における予測に用いられる
 データが時間的に独立である場合に使用

 目的変数を説明変数により記述する（回帰式を作る）

回帰式 （アイスの売り上げ）＝8.8×（最高気温）-158
目的変数（従属変数）

説明説明変数（独立変数）

 言葉の説明 (アイスの例で)
 1データ(点)は「1営業日」を表す
 データの属性として「売り上げ」や「最高気温」がある
 今回はこれらの属性の内，売り上げを目的変数，気温を説明変数とした
九州大学 数理・データサイエンス教育研究センター

1010

回帰式を用いたモデルあてはめ
気温 (x) とアイスの売り上げ (y) 間の関係式（回帰式）

180

y = 8.8223x - 157.95
R² = 0.9139

アイス売り上げ [個]16014012010080604020

近似の良さ（1に近いほど良い）

02025303540

気温 [℃]

上記は線形モデル

九州大学 数理・データサイエンス教育研究センター

1111

回帰式を用いた予測：
未知の状況についても「これぐらいだろう」と予測がつく

アイス売り上げ [個]250

y = 8.8223x - 157.95

200
150
1005053.802024 25
この時は？

303540気温 [℃]
九州大学 数理・データサイエンス教育研究センター

12

回帰の方法

「えいやっ」と線を引いてしまう
九州大学 数理・データサイエンス教育研究センター

1313

線形モデル

回帰式が𝑦 = 𝑎𝑥 + 𝑏の形のモデル• 𝑎や𝑏の具体値の組み合わせが1つのモデルに相当• 直線がデータ点にあてはまるような𝑎, 𝑏の値をデータから計算により求める
売上

気温
九州大学 数理・データサイエンス教育研究センター

1414

モデルあてはめの方法
これが小さいほうがよい

どういうあてはめがよい？

売上

売上あてはめ誤差

気温気温

෍ 第𝑖データのあてはめ誤差 → 最小化𝑖
九州大学 数理・データサイエンス教育研究センター

1515

最小二乗法
売上 𝑦 二乗誤差で「あてはめ誤差」を定義

二乗誤差は 𝑦𝑖 − 𝑎𝑥𝑖 + 𝑏2𝑥𝑖 , 𝑦𝑖𝑦 = 𝑎𝑥 + 𝑏(𝑥𝑖 , 𝑎𝑥𝑖 + 𝑏)
気温 𝑥

𝑎と𝑏をいじって ෍ 𝑦𝑖 − 𝑎𝑥𝑖 + 𝑏𝑖2を最小化

九州大学 数理・データサイエンス教育研究センター

16

回帰分析の際の注意「過ぎたるは及ばざるがごとし」
九州大学 数理・データサイエンス教育研究センター

1717

線形近似と多項式近似のどちらが良いのか？
例：元データ

xy

12345

12545

外れ値（計測誤差や例外的なデータ）

線形近似

109876y 54
32100123x多項式近似

109876y 5432104560

123x456

九州大学 数理・データサイエンス教育研究センター

1818

オーバーフィッテイング
観測データに対しては良くあてはまっている
一方で，観測されていない場合(xが1, 2, 3, 4,5でない場合)に関しては使い物にならないことが多い= 汎化能力が低い

多項式近似

109876y 5432100123x456

これをオーバーフィッティング(過剰適合)しているという
九州大学 数理・データサイエンス教育研究センター

1919

汎化能力とは
 回帰曲線を求めるときにデータになかったx(=未知の場合)についても妥当な予測結果が得られるかどうか
多項式近似

109876y 5432100123x456

これは汎化能力がない例
九州大学 数理・データサイエンス教育研究センター

2020

余談：日常にもあるオーバーフィッティング
 自宅の問題集は完璧だけど，そればっかりやりすぎて，他の問題には全く応用が利かない ある「声の大きな人（実力者）」の意見を聞きすぎて，施策を決めてしまったところ，ほかの多くの人から文句が出た

 自分のパートナーのことが素敵に見えすぎて，ほかの人は全員ダメダメに見える それはそれで悪くない？

九州大学 数理・データサイエンス教育研究センター

2121

線形近似と多項式近似のどちらが良いのか？
線形近似

109876y 5432100123x多項式近似

109876y 543210456（良） 事前データ数が少なくてもひどいオーバーフィッティングは少ない（悪） 事前に与えられたデータに対する誤差が大きい

0123x456（良） 事前に与えられたデータに対する誤差が小さい（悪） 大量に事前データがないと回帰結果に汎化能力がない恐れ九州大学 数理・データサイエンス教育研究センター

2222

参考：重回帰分析（「重たい」わけではないです．「重」はMultipleの意味）

これまでの説明は単回帰分析
説明変数が2つ以上の場合を重回帰分析という重回帰分析では直線の代わりに平面を求める
アイスの売り上げ

日射量

入力が2次元に最高気温

九州大学 数理・データサイエンス教育研究センター

23

時系列分析

未来を知るための時系列「予測」を中心に

九州大学 数理・データサイエンス教育研究センター

24
24

時系列データとは 時間の推移とともに観測されるデータ観測される順序に意味があることが大きな特徴
時系列データの例：

[千人]

GDP

[10億円]
160,000.00

140,000

140,000.00

130,000

120,000.00

120,000

100,000.00

110,000
100,000

80,000.00

90,00060,000.00

80,00040,000.00

70,00020,000.00

60,0000.00

1980

日本総人口

50,000

1985

1990

1995

[年]

国内総生産（GDP）四半期ごと

1950

1990

2015

[年]

日本総人口の推移
九州大学 数理・データサイエンス教育研究センター

25
25

時系列分析の応用：予測
過去のデータでモデルを生成[10億円]

GDP

160,000.00
140,000.00

120,000.00
100,000.00

未来のデータを予測

80,000.00
60,000.00
40,000.00
20,000.00
0.00

1980

1985

1990

1995 [年]

国内総生産（GDP）四半期ごと九州大学 数理・データサイエンス教育研究センター

26
26

時系列モデルを用いた予測の流れ
1. 時系列データの取得

2. 時系列データの分析

トレンドおよび季節成分を除いたランダム部分（定常時系列と呼ぶ）を抽出
3. 分析結果から適切な時系列モデルの作成
4. 作成された時系列モデルを用いて未来のデータを予測

九州大学 数理・データサイエンス教育研究センター

27
27

さまざまな時系列データのモデル
 自己回帰モデル（ARモデル）

時系列自身の過去の値を説明変数とする回帰 移動平均モデル（MAモデル）
 ARMA AR・MAの両方を考慮

 ARIMA
 データの時間差分に対してARMAを適用

 SARIMA ARIMAに対してさらに周期的な変動を考慮
九州大学 数理・データサイエンス教育研究センター

28
28

時系列モデルの推定方法
 最小二乗法
 モデルが説明できない部分（残差）の平方和が最小になるようにパラメータを設定する
 最尤推定 得られた観測値をモデルが最も実現しやすくなるようにパラメータを設定する

九州大学 数理・データサイエンス教育研究センター

29
29

まとめ
 回帰分析
 データ間の関係式を求め予測に役立てる手法• 線形もでる• 単回帰 時系列分析 仮説の検証や予測に役立てる方法• 時系列モデル

九州大学 数理・データサイエンス教育研究センター

30

演習資料

回帰・時系列九州大学 数理・データサイエンス教育研究センター

31
31

演習
 国別のノーベル賞受賞者数と大学進学率について相関分析を行う
 散布図の作成

 相関係数の計算
 上記結果の基づく考察（相関はどうなのか） 身長と体重のデータについて回帰分析を行う
 散布図の作成（男女別）
 男女別に回帰式（線形）を求める
 求めた回帰式を用いて与えられた入力（身長）に対する体重の予測を行う
九州大学 数理・データサイエンス教育研究センター

32
32

相関係数の計算（アイスの例）

Excelでは以下の関数を使う
CORREL(配列1, 配列2)

最高気温とアイスの売り上げの相関係数は 0.95
正の相関があるといえる
九州大学 数理・データサイエンス教育研究センター

33
33

回帰直線の表示（アイスの例）
2種類のデータ間の関係式を求める分析手法
データの予測などに用いられる
例：「グラフ要素を追加」 「近似曲線」 「線形」を使うとデータを直線近似できる

他にも複雑な曲線で近似可能

九州大学 数理・データサイエンス教育研究センター

3434

回帰式の算出（アイスの例）「グラフ要素を追加」「近似曲線」

気温 (x) とアイスの売り上げ (y) 間の関係式（回帰式）「その他の近似曲線オプション」

180160y = 8.8223x - 157.95
R² = 0.9139

140
120

1008060
402002025303540

近似の度合い（1に近いほど良い近似）
九州大学 数理・データサイエンス教育研究センター

3535

回帰式を用いた予測（アイスの例）
ある気温 (E3) のときのアイス売り上げを予測する
E3のセルに任意の数値を入力

F3のセルに先ほど求めた回帰式「=8.8223*E3-157.95」を入力

九州大学 数理・データサイエンス教育研究センター