目次

学習を始めるにあたって ............................................................................. 1
第 1 分冊学習のねらい ............................................................................ 2

第 1 週 ビッグデータとデータの前処理........................................................ 3
1.1 データサイエンティスト / データサイエンスとは？ .................................... 4
1.1.1 データサイエンティストとは？ ............................................................. 4
1.1.2 データサイエンス進展の背景 ................................................................ 5
1.2 ビッグデータとは？ ..................................................................................... 7
1.2.1 ビッグデータの定義 .............................................................................. 7
1.2.2 ビッグデータの特性 .............................................................................. 71.2.3 ビッグデータの活用 .............................................................................. 81.2.4 データ分析と AI .................................................................................... 91.3 データの前処理 .......................................................................................... 101.3.1 データの前処理とは？ ......................................................................... 101.3.2 Excel におけるデータクレンジング .................................................... 101.3.3 欠損値 ................................................................................................. 121.3.4 外れ値 ................................................................................................. 171.3.5 表記揺れ .............................................................................................. 191.3.6 データの前処理完了後 ......................................................................... 22『まとめと練習問題』................................................................................. 24
第 2 週 基礎統計量 ................................................................................ 25
2.1 データの種類 .............................................................................................. 26
2.1.1 数量データ .......................................................................................... 26
2.1.2 カテゴリーデータ ................................................................................ 26
2.2 1 変量データの概要を掴む ......................................................................... 272.2.1 度数分布表とは ................................................................................... 28
2.2.2 ヒストグラム ....................................................................................... 31
2.3 基本統計量 ................................................................................................. 34
2.3.1 代表的な値を示す基本統計量 .............................................................. 34
2.3.2 代表的な値を示す基本統計量（平均値，中央値，最頻値）の関係 ......... 36
2.3.3 データの種類と代表的な値を示す基本統計量（代表値）....................... 36
2.3.4 その他の基本統計量（分散と標準偏差，最大値と最小値）.................... 38
2.3.5 Excel を用いた基本統計量算出の操作 ................................................. 41『まとめと練習問題』................................................................................. 46〜i〜

第 3 週 クロス集計 ................................................................................ 47
3.1 2 変数のデータの概要を掴む ..................................................................... 48
3.1.1 散布図 ................................................................................................. 48
3.1.2 相関 ..................................................................................................... 49
3.1.3 共分散 ................................................................................................. 52
3.2 単純集計表とクロス集計表......................................................................... 53
3.2.1 単純集計とクロス集計 ......................................................................... 53
3.2.2 クロス集計を使うメリット .................................................................. 543.3 ピボットテーブル....................................................................................... 55
3.3.1 集計表作成のステップ ......................................................................... 55
3.3.2 集計表作成の Excel 操作手順 .............................................................. 56
3.3.3 ピボットテーブルの便利機能 .............................................................. 61
3.4 ピボットグラフ .......................................................................................... 66
3.4.1 集計データのグラフ化 ......................................................................... 66『まとめと練習問題』................................................................................. 67
第 4 週 グラフによる可視化..................................................................... 694.1 グラフによる可視化 ................................................................................... 704.2 様々なグラフ .............................................................................................. 704.2.1 折れ線グラフ ....................................................................................... 704.2.2 棒グラフ .............................................................................................. 724.2.3 円グラフ .............................................................................................. 744.2.4 散布図 ................................................................................................. 774.2.5 バブルチャート ................................................................................... 784.2.6 レーダーチャート ................................................................................ 804.3 グラフの見た目を整える ............................................................................ 824.3.1 グラフタイトル ................................................................................... 834.3.2 軸 ........................................................................................................ 834.3.3 軸ラベル .............................................................................................. 864.3.4 データラベル ....................................................................................... 874.3.5 凡例 ..................................................................................................... 884.3.6 行 / 列の切り替え ................................................................................ 894.3.7 データ系列の書式設定 ......................................................................... 894.4 2 軸グラフ.................................................................................................. 90
4.4.1 2 軸グラフの作成 ................................................................................ 90『まとめと練習問題』................................................................................. 93
STEP UP .............................................................................................. 95
参考文献................................................................................................ 96
練習問題の解答 ....................................................................................... 97
索 引................................................................................................... 98〜 ii 〜第1週

ビッグデータとデータの前処理【学習のポイント】

今週は，ビッグデータの特性についての学習から始めます。データについて理解を深めることは，今般キーワードとなっている IoT や AI を理解することにも繋がります。
アクセス可能なデータが爆発的に増加していること，またその流れを受けてデータの重要性がいかに増しているかを実感してください。
後半は，データの質の話です。データが多ければ多いほどいいという訳ではありません。データ分析の質はデータの質によって大きく左右されます。データ分析の前段階として，データをすぐに分析可能な状態にしておくことは，非常に重要なプロセスです。一般的には軽視されがちなこの前処理というプロセスですが，データ分析の実務においては，時には全作業時間の 8 割を占めることもあります。大切な前処理のプロセスの手順を，しっかりと習得してください。

〜3〜ビッグデータとデータの前処理

第1週

本講座は，データサイエンス力としての統計学，データエンジニアリング力としてMicrosoft Excel をツールとしたデータ分析力を身につけることを目標とした入門講座です。

1.1.2

データサイエンス進展の背景

上記で紹介したデータサイエンティストに求められる力は，従来のデータ分析において求められていた力と比べても，特段の目新しさはありません。では，なぜ今般，データサイエンティストやデータサイエンスなどの言葉がキーワード化しているのでしょうか？その背景の 1 つとして，データの取得が容易となり，分析対象となるデータの量が爆発的に増えていることが挙げられます。データの取得が容易になった要因は色々ありますが，ここではインターネットの浸透と IoT の進展，この 2 つを取り上げます。
まず第 1 の要因はインターネットの浸透です。インターネット環境が普及したことで，私たちがアクセスできる情報量は爆発的に増加しました。今日では，ウェブサイトに関する知見を持たない人でも，ブログなどを通じて情報を発信することができます。やり取りされる情報も，テキストから始まり音声，画像，映像と，データ量は段々と大きくなっており，YouTube ユーザーのアップロードする動画の時間の総計は，2015 年時点で 1 分あたり 300 時間とも言われています 。
第 2 の要因は IoT の進展です。IoT とは，Internet of Things（モノのインターネット）のことで，あらゆるモノがインターネットに繋がるという「概念」を指します。従来，インターネットに繋がるものと言えばパソコンや携帯電話などで，その利用は画面を介したネットサーフィンやメールなどがほとんどでした。それが，今ではメガネや靴などの身近な製品から，工場内の機械，さらにはスマートシティと呼ばれるインフラレベルまでインターネットに繋がるものが出てきており，インターネットに接続される機器の数は急速に増加を続けています。なお，図 1.2 の人型下部の数字は一人当たりの IoT 機器個数です。

〜5〜

第 1 分冊

基礎編

500 億● 世界総人口● インターネットに接続される機器の数

250 億
125 億

0.08 個 / 人

2020

2015

2010

2003

5億

76 億

72 億

68 億

63 億

3.47 個 / 人

1.84 個 / 人

6.58 個 / 人（出典：Jigsaw Academy Pvt Ltd.（https://www.jigsawacademy.com/iot/）
Connected Devices per Person を基に執筆者が作成）

図 1.2

IoT 機器の数

また，データの取得が容易になったことで，取得されるデータの量だけでなく種類も大きく増えました。製品の利用状況や機械の稼働状況，購買行動からインターネットの検索履歴まで，ありとあらゆるデータが日々蓄積されています。
さらには，データの蓄積コストが下がったことも見逃せません。ただデータを貯めておくだけでも，そこにかかるコストは無視できないものですが，クラウドコンピューディングの登場により，そのようなコストも大きく低下しました。
このようにして，これまでには考えられなかった多種多量のデータが取得され，蓄積されるようになりました。これらのデータは，ビッグデータと呼ばれることがあります。

〜6〜