Researcher(Data Scientist)の実務と必要なスキル


実務でResearcherとして

- 実際にやること
- 必要なスキル
- 対応する参考本

の独り言メモ．
＊増えたら足してく．

【前提】
下記０・２はSQL（BigQuery），１・３・４・５はPythonで行う場合．





## ０．ETL
### やること
提供されたデータをBigQueryに入れて使える状態にする





## １．データ分析（データの可視化）
### やること
- データを知る
    - 最終的な目的に対して，それを達成できるようなデータであるか（期待するデータであるか）
    - 十分な量のデータがあるか
    - 欠陥値がないか
    - 外れ値がないか
    - どんな特徴量が抽出できるか
    - どうやって特徴量を抽出するか
    - データが示す意図はなにか

### 必要なスキル
- データのプロット力と考察力
    - なんのグラフでプロットするか
    - グラフから何がわかるか
- カラムの必要不必要さを見極める力
    - 目的変数に対してどのカラムが必要で，どのカラムが不必要で，何のカラムを追加すればよいか

### 対応本
- Pythonデータサイエンスハンドブック
    - https://www.amazon.co.jp/Python%E3%83%87%E3%83%BC%E3%82%BF%E3%82%B5%E3%82%A4%E3%82%A8%E3%83%B3%E3%82%B9%E3%83%8F%E3%83%B3%E3%83%89%E3%83%96%E3%83%83%E3%82%AF-%E2%80%95Jupyter%E3%80%81NumPy%E3%80%81pandas%E3%80%81Matplotlib%E3%80%81scikit-learn%E3%82%92%E4%BD%BF%E3%81%A3%E3%81%9F%E3%83%87%E3%83%BC%E3%82%BF%E5%88%86%E6%9E%90%E3%80%81%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92-Jake-VanderPlas/dp/4873118417/ref=sr_1_1?__mk_ja_JP=%E3%82%AB%E3%82%BF%E3%82%AB%E3%83%8A&crid=2PORKQ9WVMT43&dchild=1&keywords=python%E3%83%87%E3%83%BC%E3%82%BF%E3%82%B5%E3%82%A4%E3%82%A8%E3%83%B3%E3%82%B9%E3%83%8F%E3%83%B3%E3%83%89%E3%83%96%E3%83%83%E3%82%AF&qid=1591782381&sprefix=Python%E3%83%87%E3%83%BC%E3%82%BF%2Caps%2C258&sr=8-1


- Pythonによるデータ分析入門
    - https://www.amazon.co.jp/Python%E3%81%AB%E3%82%88%E3%82%8B%E3%83%87%E3%83%BC%E3%82%BF%E5%88%86%E6%9E%90%E5%85%A5%E9%96%80-%E7%AC%AC2%E7%89%88-%E2%80%95NumPy%E3%80%81pandas%E3%82%92%E4%BD%BF%E3%81%A3%E3%81%9F%E3%83%87%E3%83%BC%E3%82%BF%E5%87%A6%E7%90%86-Wes-McKinney/dp/487311845X/ref=sr_1_1?__mk_ja_JP=%E3%82%AB%E3%82%BF%E3%82%AB%E3%83%8A&dchild=1&keywords=Python%E3%81%AB%E3%82%88%E3%82%8B%E3%83%87%E3%83%BC%E3%82%BF%E5%88%86%E6%9E%90%E5%85%A5%E9%96%80&qid=1591782542&sr=8-1



## ２．データ前処理
### やること
- データを学習できる状態にする
    - 欠陥値の処理
    - 外れ値の処理
    - ダミー変数化
    - ベクトル化
    - 特徴量の抽出

### 必要なスキル
- SQLの実装力
- なにとなにから，どの特徴量が抽出できるかの整理とその実装力

### 対応本
- 前処理大前
    - https://www.amazon.co.jp/%E6%9C%AC%E6%A9%8B-%E6%99%BA%E5%85%89-ebook/dp/B07C3JFK3V/ref=sr_1_1?__mk_ja_JP=%E3%82%AB%E3%82%BF%E3%82%AB%E3%83%8A&dchild=1&keywords=%E5%89%8D%E5%87%A6%E7%90%86%E5%A4%A7%E5%85%A8&qid=1591782611&sr=8-1
- ビックデータ分析・活用のためのSQLレシピ
    - https://www.amazon.co.jp/%E3%83%93%E3%83%83%E3%82%B0%E3%83%87%E3%83%BC%E3%82%BF%E5%88%86%E6%9E%90%E3%83%BB%E6%B4%BB%E7%94%A8%E3%81%AE%E3%81%9F%E3%82%81%E3%81%AESQL%E3%83%AC%E3%82%B7%E3%83%94-%E5%8A%A0%E5%B5%9C-%E9%95%B7%E9%96%80/dp/4839961263/ref=sr_1_1?__mk_ja_JP=%E3%82%AB%E3%82%BF%E3%82%AB%E3%83%8A&dchild=1&keywords=SQL%E3%83%AC%E3%82%B7%E3%83%94&qid=1591782694&sr=8-1



## ３．モデリング
### やること
1. データの読み込み
2. モデル実装
    -  モデルの選択選定
    -  パラメータの推定
    -  アルゴリズムの実装
-  結果の表示


### 必要なスキル
- Pythonでの実装力
- 機械学習の知識
- 活用ライブラリの知識
- その他アルゴリズムの知識


### 対応本
- Kaggleで勝つデータ分析の技術
    - https://www.amazon.co.jp/Kaggle%E3%81%A7%E5%8B%9D%E3%81%A4%E3%83%87%E3%83%BC%E3%82%BF%E5%88%86%E6%9E%90%E3%81%AE%E6%8A%80%E8%A1%93-%E9%96%80%E8%84%87-%E5%A4%A7%E8%BC%94-ebook/dp/B07YTDBC3Z/ref=sr_1_1?__mk_ja_JP=%E3%82%AB%E3%82%BF%E3%82%AB%E3%83%8A&crid=3FWT4AODCAKWA&dchild=1&keywords=kaggle%E3%81%A7%E5%8B%9D%E3%81%A4%E3%83%87%E3%83%BC%E3%82%BF%E5%88%86%E6%9E%90%E3%81%AE%E6%8A%80%E8%A1%93&qid=1591782231&sprefix=Kagglede%2Caps%2C254&sr=8-1
- Pythonデータサイエンスハンドブック
- Pythonではじめる機械学習
    - https://www.amazon.co.jp/Python%E3%81%A7%E3%81%AF%E3%81%98%E3%82%81%E3%82%8B%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92-%E2%80%95scikit-learn%E3%81%A7%E5%AD%A6%E3%81%B6%E7%89%B9%E5%BE%B4%E9%87%8F%E3%82%A8%E3%83%B3%E3%82%B8%E3%83%8B%E3%82%A2%E3%83%AA%E3%83%B3%E3%82%B0%E3%81%A8%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92%E3%81%AE%E5%9F%BA%E7%A4%8E-Andreas-C-Muller/dp/4873117984/ref=sr_1_1?__mk_ja_JP=%E3%82%AB%E3%82%BF%E3%82%AB%E3%83%8A&dchild=1&keywords=Python%E3%81%A7%E5%A7%8B%E3%82%81%E3%82%8B%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92&qid=1591782489&sr=8-1


## ４．評価
### やること
- 精度評価
- 考察

### 必要なスキル
- recall-precision等の評価関数の知識と活用力
- 結果のプロット力
- 条件別(カテゴリ別)の結果のプロット力
- 結果とその精度から何がわかるか


### 対応本
- Kaggleで勝つデータ分析の技術
- Pythonではじめる機械学習