SRTM (1 arc second global) デジタル標高データを一度にダウンロードする（バルクダウンロード）

# Introduction (English)
I wanted to download the SRTM 1 arc second DEM data **all at once**. As there was less information on the bulk download of SRTM data, but I found that USGS provides a tool named **EarthExplorer Bulk Download Application (BDA)**. I tried it and took note how I used it for downloading data.
Please use google translate as I wrote the text in Japanese. Thank you.

# はじめに
## 動機
仕事の都合でSRTMの1秒データ（だいたい30メートル）を一度にダウンロードしたかったので、**EarthExplorer Bulk Download Application (BDA)** を使ってみました。今後のためにも、やり方をメモします。

## SRTMとは
Shuttle Rader Topography Missionの略で、スペースシャトルのレーダーで作ったグローバルな標高データです。ただし、グローバルといっても高緯度のデータはありません。

以前は、米国以外の地域では90メートルの解像度のデータのみが公開されていましたが、最近はグローバルな30メートル（１秒）解像度のデータが公開されています（参考：　https://www2.jpl.nasa.gov/srtm ）。データにはいくつかバージョンがありますが、バージョン３では欠損地域をASTER GDEMやUSGSのGMTEDで補完しているようです。データはUSGSが公開していて、EarthExplorerなどからダウンロード出来ます。

# 手順

## Step 1. EarthExplorerでSRTMデータを検索
EarthExplorerから（注：ユーザー登録とログインが必要です）、SRTMのデータセットを選び選択結果を表示させる。一つのファイルは1度×1度になっているので、ピクセル数でいうと3601×3601ピクセルになっている（3600でなくて3601なので注意）。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/679143/b382849a-2503-a63d-8369-cad0117c506c.png)

## Step 2. SRTMデータ一覧をエクスポート
ボタンを一つ一つクリックしてもダウンロードできるが、1万4千以上のファイルをダウンロードするのは大変なので、まずはファイル一覧を出力する。データセットの横の"Click here to export your result"をクリックして、メタデータをCSV形式で出力する。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/679143/d039de52-8328-f1d6-d734-def648e5663e.png)

CSVの中のファイル名Entry IDが必要なのでA列をコピーしてテキストエディタに張り付ける。1行目のEntry IDは不要なので削除。こうして、14,277行のファイル名リストをテキスト形式で得る。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/679143/e7b5fa5e-a8fb-0b2d-dddb-4b470ff97558.png)

## Step 3. シーンリストの作成
ダウンロードするシーンのリストを作成する。EarthExplorerの上にあるメニューのうち、Item Basketをクリックして、Manage Scene Listsをクリックする。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/679143/4ec37377-7ef4-e0ec-9c7d-c588d10612d2.png)

すると下の図のようにシーンリストを入れらるようになるので、Scene List　→　Scene List Single Datasetと選んでいく。下の図に赤枠を入れ忘れたが、Data Setで"SRTM"を選んで、File List Nameで自分の好きな名前を付けておくとよい（Data Setを選ばないとエラーになる）。そして、File Selectionボタンから、シーン一覧があるファイルとして先ほど作ったテキストファイルを指定し、緑色のUpload Fileボタンを押す。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/679143/d2287ec0-62c3-9dc0-f41f-7c1d923fc729.png)

## Step 4. バルクダウンロードの注文
シーンリストができると、先ほどのItem Basketのところで、オーダータイプトシーンリストを選べるようになる。それぞれ、Bulk Downloadと作ったシーンリストを指定して、New Order from Listを選ぶ。
SRTMのリストが出てくるので、下図の２のチェックボックスをクリックして、3のオプションのところからプロダクトタイプを指定する。今回は、GEOTIFF形式のデータを選択する。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/679143/0ac0f792-618a-074d-4402-1e4efbfb759f.png)

データ形式を指定すると、一番下のSubmit Product Selectionsを押せるようになるのでそれをクリック。バルクダウンロードにも名前を付けておくとよい。（なお、下の図はTIFFに加えてBILもダウンロードした時のスクリーンショット。）
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/679143/43c98f1c-3680-8801-452b-31cbd2a10e89.png)

注文が提出されるとしたの図のようなメッセージがでる。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/679143/763b11ce-4dbb-8453-628a-f96c14fbec4a.png)

## Step 5. バルクダウンロード
準備ができると連絡が来るようだが、EarthExplorerのバルクダウンローダーからダウンロードができる。保存先のフォルダやファイルへのアクセスを認めてあげる必要があるが、右下のダウンロードボタンを押すと一括ダウンロードが開始される。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/679143/0ed4ece0-4b8c-3b33-41d6-b020ed26d18d.png)

ダウンロード開始から、1時間くらいかかって1GBくらいだったのでチェックしたら途中で止まっていました。ダウンロードにどのくらいかかるかわかりませんが、地道にみていきたいです。

## 追伸
次の日見たところ、14,277ファイル、合計350GBをいっぺんにダウンロードしようとしたら途中で止まって動かなかったので、リストを10に分けてだいたい1427ファイルずつダウンロードすることにしました。ダウンロード自体は順調に進んでいるようです。

|Download Group| Number of DL files | Failed  |
|---|---|---|
|Bulk DL 1| 1427  | 12  |
|Bulk DL 2| 1427  | 5  |
|Bulk DL 3| 1427  | 9  |
|Bulk DL 4| 1427  | 8  |
|Bulk DL 5| 1427  | 9 |
|Bulk DL 6| 1427  | 3  |
|Bulk DL 7| 1427  | 7  |
|Bulk DL 8| 1427  | 6  |
|Bulk DL 9| 1427  | 5  |
|Bulk DL 10| 1434  | 5  |

ダウンロードしたリストのうち、1％未満ですが、queueの状態から動かないものがあったので、そのようなファイルは新たにダウンロードリストを作ってダウンロードしました。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/679143/cccc45a8-7129-fa62-f625-932f8db1ac93.png)














# References
https://www2.jpl.nasa.gov/srtm
https://earthexplorer.usgs.gov/
https://eebulk.cr.usgs.gov/
https://www.usgs.gov/media/images/earthexplorer-bulk-download-application-bda