Rのこれだけ覚えておけばいいdata.tableの使い方

# library(data.table)

data.tableは簡単に言うとサイズの大きいデータフレーム。
確かに高速。慣れると大規模データはこれなくして扱えない。
データフレームと扱い方が大きく異なるが、これだけ抑えておけば十分ということをまとめた。

- data.tableには行名がない
- dplyrとセットで使うことが多いので、同時に呼び出しておくといい
- ただしtidyr（集計用ライブラリ）までは使わなくていい

```r
library(data.table)
library(dplyr)
```

## data.tableの生成

### テキストファイルをdata.tableとして取り込む

```r
x.dt <- fread("filename.csv", colClasses=c("integer", "character", "integer"))
setnames(x.dt, "V1", "cid")
setkey(x.dt, "cid")
```

※keyは設定しなくてもいい

**Windowsでは文字コードを設定しても変数名（ヘッダ）に含まれる日本語は文字化けする**。
データ部分は問題はないので、一度ヘッダを文字列として取り込んで、それを後で列名として付ける。

```r
dt <- fread("filename.csv", encoding="UTF-8")
colnames(dt) <- fread("filename.csv", header=F, nrows=1, encoding="UTF-8") %>% as.character
```



### データフレームをdata.tableに変換

```r
x.dt <- data.table(x.df, key="cid")
```

## データの抽出

```r
x.dt[行インデックス, 列インデックス, ]
```

### 行指定

```r
x.dt[1:3, ,]
x.dt[cid==100, ,]
```

### 列指定

```r
x.dt[, 2, with=F]
x.dt[, .(cid, click),]
x.dt[, c('cid', 'click')]
x.dt[, -'cid']
x.dt[, -c('cid', 'click')]
```

- 番号指定の場合第3添字に`with=F`
- 複数列を抽出する場合は以下のいずれかで抽出できる。
    - `.()`もしくは`list()`（data.tableの添字内でドットはlistの省略）で抽出する。
    - 列名の**文字列**のベクトル
- 特定の列以外を抽出する場合はリスト指定はできず、文字列で指定する。



### ソート

```r
x.dt[order(aid, -bid),,] -> d
```


## 集計

```r
x.dt[, mean(imp), by=aid]
x.dt[, mean(imp), by=aid==1]
x.dt[, .N, by=aid]
```

※`.N`はカウント

## データの変更

`x.dt[,列名:=新しい値]`の記法が万能。追加、削除、全更新、一部更新ができる。

### 列追加

```r
x.dt[, 新しい列名:=cost*2]
```

### 列削除

```r
x.dt[, 既存の列名:=NULL]
```

### 列更新

```r
x.dt[, 既存の列名:=imp*1000]
```

### 一部更新

```r
x.dt[行条件, 既存の列名:=cost*2]
```

## 列名変更

```r
setnames(d, 既存カラム名, 新カラム名)
```

## データの結合

### 列結合

```r
merge(d1, d2, by) -> newd
```

- `by`を指定しないと、d1、d2の共通のキー列が採用される。なければd1とd2に**共通して現れる列名**からこちらで明示する。要するにあらかじめ共通の列名を設定しておく必要がある
- `by.x`や`by.y`がない  
- 勝手にkeyがつけられる

### 行結合

```r
dt_new <- rbindlist(list(t1, t2))
```

`rbind_all()`は非推奨、**`rbind_rows()`はdata.tableにおいてfactor型やinteger64型の列が
正しく結合されない（型がそれぞれcharacter型、numeric型になる）バグがあるので使えない**

## 縦横変換

```r
dt %>% dcast.data.table(aid ~ gid, fun=sum, value.var="click") -> crosstab.dt
crosstab.dt %>% melt.data.table(...) -> dt
```

- `dcast.data.table()`は`tidyr::spread()`と同じ。
- `melt.data.table()`は`tidyr::gather()`と同じ。



# library(dplyr)

基本的にはチェーンで使うための関数と考えておけばいい（それ以外であれば直接`data.table`の関数を使うほうが便利）
SQLっぽいコマンド名が使えるので便利だが、`data.table`の扱い（Rっぽい記法）に慣れていればそちらでもいい。

## 抽出

```r
d %>% head
d %>% tail
```

- 必ずしも使わなくていい
- `head(20)`や`tail(10)`など行数を指定できる

## データの抽出

- タイプ量では添字の記法のほうが少ないので必ずしも使わなくていい
- 行指定、列指定、並べ替え

### 行指定

```r
d %>% filter(id==100)
```

### 列指定

```r
d %>% select(id, cnt)
```

- 番号指定の場合第3添字に`with=F`
- 列指定で`c()`はNG。`.()`もしくは`list()`で抽出する。

### ソート

```r
d %>% arrange(aid, -bid)
```

## 集計

集計はdplyrのチェーンを使うのが楽でいい。

単一列

```r
d %>% select(cid) %>% distinct %>% count
```

複数列

```r
d %>% group_by(aid, bid) %>% summarise(sum(imp), sum(click))
```

この`group_by()`からの`summarise(集計関数)`は定番

集計関数は

- `sum()`
- `max()`
- `min()`
- `n()`: SQLの`COUNT`
- `n_distinct()`: SQLの`COUNT(DISTINCT ...)`
- `mean()`
- `median()`
- `sd()`

などがある

## Window関数

こちらもdplyrのチェーンが必要。
Window関数はSQLでは

```sql
SELECT window関数(...) OVER (PARTITION BY 列), ... FROM ...
SELECT window関数(...) OVER (ORDER BY 列), ... FROM ...
SELECT window関数(...) OVER (PARTITION BY 列 ORDER BY 列 DESC), ... FROM ...
```

だが、R/dplyrではそれぞれ

```r
dt %>% 
	group_by(列) %>%		# 「PARTITION BY 列」に対応
	mutate(window関数(...))

dt %>% 
	arrange(列) %>%		# 「ORDER BY 列」に対応
	mutate(window関数(...))

dt %>% 
	group_by(列) %>%		# 「PARTITION BY 列」に対応
	arrange(desc(列)) %>%	# 「ORDER BY 列」に対応
	mutate(window関数(...))
```

に対応する。

Window関数には

- ランキング
    - `row_number()`: 同順位がある場合は出現順
    - `min_rank()`: 同順位がある場合、次は順位の数値を飛ばす
    - `dense_rank()`: 同順位がある場合、次は順位の数値を飛ばさない
    - `cume_dist()`: 累積相対度数
- オフセット（ずらす）
    - `lead(列, n = ずらす数, default = 値がない場合の値)`: 
    - `lag(列, n = ずらす数, default = 値がない場合の値)`: 
- （累積）
- （ローリング）

などがある。

参考
http://qiita.com/matsuou1/items/db6e8c48fcfd791dd876

## 変更（タイプ量的にはdata.tableの添字の記法で十分）

### 列追加

```r
d %>% mutate(cpm = 1000*cost/imp) -> d
```

### 列削除

```r
d %>% select(-click) -> d
```

### 列更新

```r
d %>% mutate(cost = cost*2) -> d
```

一部更新は

d %>% mutate(cost = ifelse(cost > 1000, 2000, cost*2) -> d

`mutate(ifelse(...))`はよく使うが、`ifelse()`自体**日時の処理では使えないので注意が必要**

※`mutate`はどちらにも使える

### 列名変更

```r
d %>% rename(新カラム名 = 既存カラム名) -> d
```

## 結合

### 列結合（`merge.data.table()`で十分？）

```r
d1 %>% inner_join(d2, by="aid") -> newd
left_join(d1, d2, by="aid") -> newd
```

- `inner_join()`、`left_join()`、`right_join()`、`full_join()`がある
- **型が一致していないと使えない**。`merge()`で慣れていればそれでいいかも
- `by`についても`merge.data.table()`と同じ仕様。あらかじめ共通の列名を設定しておく必要がある

### 行結合

`rbind_rows()`にバグがあり、list型を引数に取る`rbindlist()`を使うしかないため、dplyrでは行結合できない。 



# 発展的な使い方の例

data.table, dplyrの発展的な使い方をいくつか紹介する。

## 結合の応用パターン

集計結果に基づいてjoinや行の絞り込みをすることが結構ある。
その際にはdplyrを使って以下のように一時テーブルを作成してからjoinやfilterすることになるのだが、

```r
# ログインが2回以上のユーザのみ抽出
log.dt %>% 
  filter(activity_name == 'ログイン') %>% 
  group_by(user_id) %>% 
  summarise(cnt = n()) %>% 
  filter(cnt > 1) -> log_1.dt
log.dt %>% 
  filter(user_id %in% log_1.dt$user_id) %>% ...
```

これを一度で一時テーブルを作成せずに済ませる方法がある。

```r
log.dt %>%
  filter(user_id %in% log.dt[activity_name == 'ログイン',.BY[.N>1], by = user_id][,user_id]) %>% ...
```  

data.tableの`by`で各行1となる`.I`を集計して、行数をカウント。
その行数が1を超える行の`by`で指定した列を`.BY`で抽出する。

以下も同じ

```r
x.dt %>% group_by(customer_cd) %>% mutate_all(funs(function(x){cumsum(x)-x}))
x.dt[, lapply(.SD, function(x){cumsum(x)-x}), by = customer_cd]
```

`.SD`, `.I`, `.BY`あたりは使うと便利なので覚えておくといいかもしれない。

## よくあるログ集計

ログからセグメントごとのアクション状況を集計する例

年代、直近購入からの経過日数に基づいて顧客をセグメンテーションし、
メール配信した際のパフォーマンスを見る。

```r
mail_delivery.dt %>% 
  filter(user_id %in% mail_delivery.dt[date_deliver=='2017-03-01', user_id]) %>% 
  mutate(
    age_range = cut(age, breaks=c(0, 20, 30, 40, max(age, na.rm=T)), labels=c('20>=', '21-30', '31-40', '41<='), right = T, ordered = T),
    range_from_last_purchase = cut(days_from_last_purchase, breaks=c(0,31,93,365,max(days_from_last_purchase, na.rm=T)), labels=c('1 mo.>=', '1-3 mo.', '4-12 mo.', '13 mo.<='), right = F, ordered=T),
    years_from_last_purchase = cut(days_from_last_purchase, breaks=c((0:10)*365, max(last_purchase, na.rm=T)), labels=c(paste('<',(1:10),sep=''),'10<='), ordered=T)
  ) %>%
  group_by(age_range, range_from_last_purchase) %>% 
  summarise(
    n_user = n(),
    n_open = sum(!is.na(datetime_open)),
    n_click = sum(!is.na(datetime_click)),
    n_cv = sum(!is.na(datetime_cv))
  ) %>% 
  mutate(
    r_open = n_open / n_deliver,
    r_click = n_click / n_deliver,
    r_cv = n_cv / n_deliver
  ) %>% 
  rename(
    `ユーザ数` = n_user, 
    `開封数` = n_open, 
    `クリック数` = n_click, 
    `CV数` = n_cv, 
    `開封率` = r_open, 
    `クリック率` = r_click, 
    `CVR` = r_cv
  ) -> total_performance_by_segment.dt

require(rpivotTable)
total_performance_by_segment.dt %>% rpivotTable
```

アクション回数の分布を見る例

1. 顧客ごとの配信回数、反応数などを集計し、
2. 回数ごとの顧客数の

分布を見る。まとめて2回集計する。このようなケースもよくある。

```r
mail_delivery.dt %>% 
  group_by(user_id) %>%
  summarise(
    n_deliver = n(), 
    n_open = sum(!is.na(datetime_open)), 
    n_click = sum(!is.na(datetime_click)), 
    n_cv = sum(!is.na(datetime_cv))
  ) %>% 
  group_by(n_deliver, n_open, n_click, n_cv) %>%
  summarise(n_user = n()) %>%
  rename(
    `配信数` = n_deliver, 
    `開封数` = n_open, 
    `クリック数` = n_click, 
    `CV数` = n_cv, 
    `ユーザ数` = n_user
  ) -> n_actions.dt

n_actions.dt %>% rpivotTable
```