ローレンツ曲線・フィッシャーの3原則・ラスパイレス指数・クラスター分析

# はじめに
統計検定2級合格に向けてQiitaで出題範囲内の各種テーマを11回に渡ってまとめてきました。
今回は過去記事で押さえることができていなかった複数のテーマの洗い出しになります。

# クロス集計表
ネットリサーチで獲得した回答データの結果を確認するには「集計」という作業を行います。
集計には、一番基本的で設問ごとのトータルを表す**「単純集計」**と、回答結果を細分化して把握するために、**設問と設問を掛け合わせる「クロス集計表」**の2種類が存在します。

クロス集計表では、左側の部分を**「表側（ひょうそく）」**、上側の部分を**「表頭（ひょうとう）」**と言います。

![cross.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/663460/290587ef-be6e-ccd3-2eb8-4e91f273eb4d.png)

> 画像引用：[クロス集計 – アンケート集計ならトリム](https://trim-site.co.jp/vocabulary/01/post_1.html)

# 時系列データ
時間の経過に従って測定されたデータを**「時系列データ」**と言い、4つの変動に区分されます。

① **傾向変動**▶︎長期間にわたる基本的な変動傾向・移動平均法や最小2乗法によって算出
② **循環変動**▶︎周期は一定ではないが、周期的に繰り返される上下運動・経済活動による景気変動などが該当
③ **季節変動**▶︎周期を1年とする規則的な変動
④ **不規則変動**▶︎天災のような予測が困難な**偶然変動**

# ローレンツ曲線とジニ係数
所得の累積相対値を縦軸に、世帯数の累積相対度数を縦軸にとり、**「所得分配の不平等度」**などを視覚的に捉えるためのグラフを**「ローレンツ曲線」**と言います。

格差が0の時、ローレンツ曲線は45度線の**「完全平等線」**に沿った直線になり、**「ジニ係数（ローレンツ曲線と完全平等線とで囲まれた面積の"2倍"・所得の不平等さを測る指標）」**は0になりますが、格差が大きくなるとローレンツ曲線は完全平等線からの乖離が大きくなり、ジニ係数の値も大きくなります。

![629c7941c0f8a111a49de9b2a41d7dca.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/663460/1ba6b006-6428-1be2-1f7b-0fec1d5ecf56.png)

> 画像引用：[ローレンツ曲線 | 統計用語集 | 統計WEB](https://bellcurve.jp/statistics/glossary/721.html)

* ジニ係数が0▶︎格差は0・全員の富が等しい
* ジニ係数が1▶︎格差は最大・1人が全ての富を独占している（1.0 × 1.0 × 1/2 × 2 = 1）

# フィッシャーの3原則
出来るだけ少ないコストで良い実験結果を得るために、最も効果的な実験計画を立てる上で、フィッシャーが以下の実験計画法に関する3つの原則（**「フィッシャーの3原則」**）を確立しました。

**① 反復**
1回の実験では測定値に違いがあっても、それを**処理の問題による誤差**である**「系統誤差」**なのか**偶然生じる誤差**である**「偶然誤差」**なのかを判定することはできません。反復、つまり何度も実験を繰り返すことによって、**偶然誤差の大きさを評価する**ことができます。

**② 無作為化**
実験の順序や場所などが複数ある場合に、比較したい処理群を無作為に（ランダムに）割り付け、目的とする要因以外に結果を与える要因の影響を取り除くことで、系統誤差を偶然誤差に取り込むことができます。

**③ 局所管理**
実験結果に影響を及ぼす可能性のある要因を、実際のブロック内では出来るだけ均一になるように**実験ブロックを小分けにする**こと。局所管理によって**系統誤差を小さくする**ことができます。

「反復」「無作為化」「局所管理」という「フィッシャーの3原則」に基づいた実験デザインを**「乱塊法」**と言います。

# さまざまな指数
**数値の変化や大小を比率で表したもの**を**「指数」**と言います。
物価の変動を表す「物価指数・価格指数」は、基準年の物価を100として比較年の物価を相対的に表した値として算出されます。

### ラスパイレス指数
価格指数において、基準年の**数量**や**価格**を重みとして算出したものを**「ラスパイレス指数」**と言います。分子と分母で数量に関しては**「基準年数量」**で同じである部分に注意です。

```math
ラスパイレス指数=\frac{Σ(基準年数量×比較年価格)}{Σ(基準年数量×基準年価格)}
```

### パーシェ指数

価格指数において、比較年の購入量や取引量等を重みとして算出したものを「パーシェ指数」と言います。分子と分母で数量に関しては**「比較年数量」**で同じである部分に注意です。

```math
パーシェ指数=\frac{Σ(比較年数量×比較年価格)}{Σ(比較年数量×基準年価格)}
```

### フィッシャー指数
**ラスパイレス指数とパーシェ指数の幾何平均**によって算出したものを「フィッシャー指数」と言います。

```math
フィッシャー指数=\sqrt{ラスパイレス指数×パーシェ指数}
```

* ラスパイレス指数▶︎**「基準年数量」**は分母・分子ともに同じである
* パーシェ指数▶︎**「比較年数量」**は分母・分子ともに同じである
* フィッシャー指数▶︎ラスパイレス指数とパーシェ指数の**幾何平均**

# 正規性の確認
母平均の推定のように、データが正規分布に従うことを仮定する統計手法では、「ヒストグラムを描く」「Q-Qプロットを描く」「正規性の検定」を行うという方法で、**「データが正規分布に従う」**という**「正規性」**を確認することができます。

**Q-Qプロット**は、**データが正規分布しているか（正規性）**を判断するためのプロットです。横軸は、「データの期待値を標準化した値（正規分布の理論値）」で、縦軸は「データの値」を表します。データが正規分布をしている場合、データ点が以下のように**一直線に並びます**。

![c8856789ec11ab8b1013037cef6929f9-2.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/663460/344ec4f3-88aa-8d90-6a97-8128d5113171.png)

> 画像引用：[32-2. 正規性の確認 | 統計学の時間 | 統計WEB](https://bellcurve.jp/statistics/course/12931.html)

# クラスター分析
**得られたデータをいくつかのグループ（クラスター）に分類する**ことを目的とする統計的手法を**「クラスター分析」**と言います。クラスター分析には**「階層型」**と**「非階層型」**の2つに分類できます。

### 階層型
階層型では、得られた標本において距離や相関係数によってケース間の**「類似度」**を求め、**類似度の近いものから順にクラスターに結合**していくという工程をとります。最初はケースの数だけクラスターがありますが、結合するたびにクラスターの数は1つずつ減少していきます。

階層型なクラスター間の距離計算方法には、「最短距離法」「最長距離法」「群平均法」「重心法」「メディアン法」「ウォード法」などが存在します。

### 非階層型
非階層型は、**あらかじめいくつのクラスターに分けるかを決め**、決めた数の塊（排他的部分集合）にサンプルを分割する方法です。階層クラスター分析と違い、サンプル数が大きいビッグデータを分析するときに適しています。**クラスター内では分散が小さく、クラスター間は分散が大きくなるように分類**します。非階層型クラスター分析の代表的手法の１つに**「k-means法」**があります。

**「k-means法」 ▶︎ クラスターの平均（means）を用い、あらかじめ決められたクラスター数「k」個に分類する方法**

① クラスターの「核」になるk個のサンプルをランダムに選ぶ
② 全てのサンプルとk個の「核」との距離を測る
③ 各サンプルを最も近い「核」と同じクラスターに分割する（全てのサンプルがk種類に分けられた）
④ k個のクラスターの重心点を求め、それを新たな核とする
⑤ 最終的に重心の位置が変化するまで、②〜④の作業を繰り返す

# 参考文献
* [【クロス集計の基本】単純集計との違い・やり方・注意点について | 24時間セルフ型アンケートツールFreeasy（フリージー）](https://freeasy24.research-plus.net/blog/18)
* [5-3. クロス集計表 | 統計学の時間 | 統計WEB](https://bellcurve.jp/statistics/course/5414.html)
* [マーケティングがわかる事典　オンライン版 | 日本リサーチセンター](https://www.nrc.co.jp/marketing/12-17.html)
* [ローレンツ曲線 | 統計用語集 | 統計WEB](https://bellcurve.jp/statistics/glossary/721.html)
* [ジニ係数 | 統計用語集 | 統計WEB](https://bellcurve.jp/statistics/glossary/1915.html)
* [31-1. フィッシャーの3原則 | 統計学の時間 | 統計WEB](https://bellcurve.jp/statistics/course/12744.html)
* [32-5. さまざまな指数 | 統計学の時間 | 統計WEB - BellCurve](https://bellcurve.jp/statistics/course/18454.html)
* [クラスター分析 | 統計用語集 | 統計WEB](https://bellcurve.jp/statistics/glossary/1256.html)
* [クラスター分析 | 統計解析ソフト エクセル統計](https://bellcurve.jp/ex/function/cluster.html)
* [クラスター分析の手法③（非階層クラスター分析） | データ分析基礎知識](https://www.albert2005.co.jp/knowledge/data_mining/cluster/non-hierarchical_clustering)