データの準備に時間かかっちゃうしデータパイプラインの上流で目詰まり起こしちゃうよぅ、ふぇええん。と思ったら読む話。

# 地球温暖化の勢いはとどまることを知りません・・。

ある日の夜
「ねえねえ、パパ？」

「なんだい娘さん」

「ホワイトクリスマスって、何？」

「クリスマスに雪が降ってること」

「こんなにあったかいのに雪降るん？」

「ぐぬぬ・・・。」

てなわけで、ここ100年くらい、私が住んでる広島県でクリスマス前後に雪が降った日を調べてみました。

# まずは["過去の地点気象データ・ダウンロード"](https://www.jma.go.jp/jma/menu/menureport.html)にGO!

- 都道府県から観測地点を選択して・・・。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1167883/a73d1158-34f0-f264-ffb2-cfeb6358321d.png)

- 項目を選ぶ。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1167883/f9ad9563-a0cc-bc2d-9cf4-fa6889671c47.png)

- 期間を選ぶ
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1167883/85a20414-e6ff-985c-c5f3-bde119f417e1.png)

- なんとかデータの上限に収まりました。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1167883/d7bcd1dd-07b5-2da1-aee7-63b6cb0c746d.png)

気象庁からjsonであれこれ取れるんですけど今回はオーソドックスにcsvデータを取ってきてTableauに直接読み込ませます。

すると、ドン！
まぁ、こうなる。NullNullですねぇ。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1167883/6ba0e481-7bf9-ef63-faf9-d95593e513a2.png)

Tableauでもここでフィルタ掛けたり整形も出来るんですが、あまりここにパフォーマンスを掛けたくないのでEXCELのPowerQUERYを使って整形します。


EXCElのリボンからデータの取得をクリック。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1167883/e0fe5968-d483-f578-34db-898f86645ef3.png)

テキストまたはCSVから(T)を選択。

こんな感じに読み込みプレビューが出る。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1167883/e4917d4e-592b-2547-5c29-ff01763d8973.png)


:::note warn
- ここで、焦らずに!
:::

:::note alert
- 読み込みを押してはいけない！！！
:::

:::note
- データの変換を押しましょう。
:::

※バージョンよっては他の呼び名っぽい。

すると、QUERY編集画面になる。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1167883/d3b4fe52-12a3-326a-c210-9c93d8bfaab7.png)

いらない行を削除して、1行目をヘッダーとして設定。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1167883/eb3d64f4-f6e4-f2b6-0dd1-27f0b050226c.png)

観測地点がヘッダーになった。これを機械用に縦型に変換する。
1列目を日付型に変更。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1167883/d691d8a8-3d5b-c803-8c85-c2bfaf981699.png)

つづけて1列目を選択してから"変換"タブの"その他の列のピボットの解除"。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1167883/c383a9eb-b206-c014-5541-4eddfd5c9605.png)

出来た。POWERQueryはこの機能だけでも絶対に覚える価値があるので、Tableauのパフォーマンス上げるためにも一度やってみてください。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1167883/1a09201a-abb8-8acc-aa24-954929b5ded1.png)

Null値が多いので、あれ？ミスった?と思ったらフィルタで確認。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1167883/a12415a8-23e3-000c-ae83-a4d390489ebf.png)

降雪量のデータなので、Null値を0に置換する。

まず、整数型に変換。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1167883/324d0cb7-a263-6c17-fdcf-a98df2954c39.png)

列を選択したまま、リボンにある値の置換でnullを0に置換する。、

こうなる。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1167883/9c4f75e9-ea46-75b5-cf0d-b5dbcaf048a7.png)

はいできた。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1167883/480079b1-dd98-17e3-6f8e-b0191e4a2a0c.png)

忘れずに、1列目を日付型に変更。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1167883/32848311-053d-6d81-0590-d6d473109a1e.png)

ヘッダをダブルクリックして書き換える。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1167883/4c465bce-9bb1-0e25-e227-8bbfed09d675.png)


最後に、"閉じて読み込む"を押すと、エクセル上に現れます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1167883/6ba0ea77-0796-a90f-977f-01c50db11fcf.png)

テーブル名が自動的につけられています。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1167883/2099c547-94ca-01d7-5116-4dc4feff139b.png)

なれれば、ここまで2-3分でできます。

あとは、このままでもいいし、CSV化してもいいし、
ご自分の環境に合わせて使ってみてください。

では、Tableauに読み込ませよう！

ってとこで続きはまた後日！