データ分析【概要】

# データ分析とは
データ分析とは、 ***現状把握、課題解決、意思決定*** などにつながるようなデータを活用して、価値のあるアウトプットを行う一連の流れのこと。
データ分析の事例は、以下のようなものが挙げられる。

- 過去の営業データを用いて、営業成績の推移を可視化し、営業会議での現状把握に活用。
- ある外食チェーンで、店舗別の売上データを利用して、課題となっていた大量の食品破棄の問題を解決。
- あるテーマパークのアトラクション別の顧客データを利用して、次回どのような新アトラクションを建設するかという意思決定に活用。

データ分析はいくつかの作業プロセスで構成されている。データを収集し、そのデータの前処理を行い、その後にメイン作業であるデータの分析を行うのが一般的な流れ。

※前処理：データの分析を開始する前に、データの欠損や異常な値の対処を行う工程

データの分析で活用される手法の1つが機械学習で、コンピュータの計算能力を活用して、多量のデータから法則を見つけだし、予測や判断を行う手法。

近年、多くのビジネスシーンやWebサービスなどで活用されており、今後も活用の幅が広がり、需要が高まっていくことが予測される。

しかし、どの分析に対しても機械学習を活用するというのは適切ではなく、シンプルにデータを集計して、グラフで可視化するだけで課題解決につながる場合もある。
データ分析で解決したい課題と分析のゴールを明確にし、適切な手法を用いてデータ分析を進めることが大切。

# データ分析の流れ
データ分析は、一般的に以下の流れで進める。

1. 課題の把握、ゴール設定
2. データの収集
3. データの前処理（可視化）
4. データの分析（可視化）

「データの前処理」や「データの分析」の工程では、「データの可視化」を織り交ぜながら作業を進める。
「データの分析」の後、結果に基づいて新たな課題が生まれることもあり、その場合、1〜4のサイクルを繰り返し実行する。

![2d7a8c6f-1576-49ef-96cd-96cf9b40d0ec.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/887960/b225b3ed-fc6d-95a2-333a-69568604cdea.png)

## 1. 課題の把握、ゴール設定
データ分析の最初のプロセスは、解決したい課題の把握と分析のゴール設定。
データ分析は、課題解決の手段に過ぎず、データ分析に着手する前に、課題を正しく把握し、何がゴールであるかをイメージすることが大切。

課題把握やゴール設定をせずにデータ分析を行うと、課題解決につながらないばかりか、何の価値もないアウトプットを出してしまう可能性もある。課題を抱えている人とのディスカッション、あるいは自分の抱えている課題の整理に十分時間をかけ、課題とゴールを明確にする。

ある営業部が抱える課題とゴールの具体例
| 解決したい課題 | データ分析のゴール |
|:-----------|------------:|
| 営業戦略を検討したいが、過去の営業成績を把握していない。  | 過去の営業成績のデータをグラフ化する。 |
| 取引先の担当営業として、適性の高い営業部員を選定することが難しい。 | 過去のデータから、取引先と営業部員の最適なマッチング法則を見いだす。 |
| 営業部員の採用計画立案のため、向こう3年間の売上を予測したいが、見当がつかない。 | 過去の売上推移から、将来の売上を予測する。 |

## 2. データの収集
課題把握・ゴール設定の次のプロセスは、データの収集。データを分析するためには、分析対象となるデータを準備する必要があり、手元に必要なデータがあれば、そのデータを活用して分析のプロセスを進める。
しかし、手元にない場合や不足している場合は、新たにデータを集める作業が必要になる。

## 3. データの前処理
データ収集の次のプロセスは、データの前処理。 ***前処理*** とは、データの分析作業に着手する前に、収集したデータをキレイにする工程のことを意味し ***「データクレンジング」*** と呼ばれる。

収集したデータを、そのまま分析に活用できるケースはあまりない。
何故なら、データには、値の欠損や表記ゆれ、誤ったデータなどが含まれているケースが多いため。具体例を以下に記載します。

- 価格データに、「2千円」「￥2,000」「2000」といった表記ゆれがある。
- 「0」を意味するデータとして、「なし」「-」「0」、ブランクなどが混在している。
- ある期間のデータが抜け落ちている。

データの状況によるが、多くの場合、データ分析全体にかかる時間の大部分を前処理に費やす。
また、データの前処理を行うためには、どのような状態が適切であるかを知っていなければならず、データの前処理では、データの意味を理解する必要がある。

## 4. データの分析

***1.課題の把握/ゴール設定、2.データの収集、3.データの前処理*** が終わって、ようやくデータの分析に着手できる。データに基づいて予測・判断、考察を行う工程で、最初のプロセスで設定したゴールをアウトプットする工程。データ分析の結果次第で、新たな課題が生まれる場合もある。

データを分析する手法は様々で、 ***集計、可視化、機械学習での予測/判断*** など、多様な手法から適切なものを選択する。複数の手法を組み合わせて、ゴールにたどり着くケースもある。

 ***機械学習*** はデータの分析で活用される有力な手法の1つで、多量のデータから法則を見つけ、何らかの判断や予測を行う。

 # 代表的な4つの機械学習
機械学習の主な分析手法は以下。
- 回帰
- 分類
- クラスタリング
- 時系列分析
 
## 回帰
回帰は、数値予測に用いられる手法。以下のようなシーンで回帰が活用される。
- 築年数や部屋数、世帯人数などから、住宅の価格を予測する。
- 体重、身長、体脂肪率などから、100m走のタイムを予測する。
## 分類
分類は、カテゴリー予測に用いられる手法。以下のようなシーンで分類が活用される。
- 腫瘍の大きさや形状から、良性か悪性かを判断する。
- 手書きの数字に対して、1～9のどの数字であるかをラベリングする。
## クラスタリング
クラスタリングは、データ同士の類似性に基づいてデータをグループ分けする手法。
分類とクラスタリングの違いは、
- 分類で予測するカテゴリーには正解がある
- クラスタリングには正解がない
という点。

クラスタリングは、グループ分けされた結果を1つの解釈として、何らかの課題解決に活用する。クラスタリングの活用例は以下。

- 政府が公表している住民データから住民をグルーピングし、得られた知見をもとに外食チェーンの出店戦略を検討する。
- ECサイトの顧客データから顧客をグループ分けして、最適なプロモーション方法を考える。
## 時系列分析
時系列分析は、過去の時系列データから将来の状態を予測する手法。

例えば、以下のようなシーンで時系列分析が活用される。

- ある空港の過去の旅客数推移から、向こう2年の旅客数推移を予測する。
- ある町の過去の降水量データから、今年の夏の降水量を予測する。

 # まとめ
 - データ分析は、 ***(1)課題の把握・ゴール設定→(2)データの収集→(3)データの前処理（+可視化）→(4)データの分析（+可視化）*** という流れで進む
 - 機械学習は、データの分析で活用される手法の1つ
 - 機械学習の主な手法として、***回帰、分類、クラスタリング、時系列分析*** などがある