HDP 3.1 + HDF 3.1 あるいはHDF 3.3をAmbari blueprint とAWS AMIでデプロイ


#概要：
![image.png](https://qiita-image-store.s3.amazonaws.com/0/133516/a676a638-ed91-c489-87d6-6034bd7ad2be.png)

参考記事
https://community.hortonworks.com/articles/218863/automate-deployment-of-hdp30hdf32-or-hdf32-standal.html

HDF 3.3のリリースで沢山の改善点がありました。
Ambari-bootstrapを使えば、Blueprintで簡単にHDFもしくはHDF+HDPのクラスタを簡単に立ち上げることが出来ます。
Ambari-bootstrap：
https://github.com/seanorama/ambari-bootstrap
AWSのAMIは既に用意してあるので、自動化もしやすいです。

Steps for each of the below option are described in this article:

*    A. Single-node prebuilt AMIs on AWS
*    B. Single-node fresh installs
*    C. Multi-node fresh installs

# A. Single-node prebuilt AMI on AWS:
## Steps to launch the AMI

### 1. AWS console pageにログインする。
![image.png](https://qiita-image-store.s3.amazonaws.com/0/133516/47ce7595-3fe5-a0d8-08d9-2109bbe016a5.png)

### 2. ‘N. California’リジョンから、下記AMIを選択

* HDP 3.1/HDF 3.3 : https://us-west-1.console.aws.amazon.com/ec2/v2/home?region=us-west-1#LaunchInstanceWizard:ami=ami-035763837fac68bc5
*HDF 3.3 : https://us-west-1.console.aws.amazon.com/ec2/v2/home?region=us-west-1#LaunchInstanceWizard:ami=ami-0d758b0469e572e56

instance type 選んで、次へ：
‘m4.2xlarge’

![image.png](https://qiita-image-store.s3.amazonaws.com/0/133516/f17854b9-c26a-e130-d966-81d329eb39e5.png)
※節約のためにもっと小さいインスタンスを選んだら、一部起動出来ないサービスがあるかも

設定：デフォルト設定のままで、次へ
![image.png](https://qiita-image-store.s3.amazonaws.com/0/133516/5cf56d02-5a65-5be4-b1f2-40a81219cc4c.png)

Storage選択：800GB以上の容量を入れてください
![image.png](https://qiita-image-store.s3.amazonaws.com/0/133516/7e2cb041-94e3-1dc3-ff50-dbd808017dc8.png)

5. 好きのように、タグを設定
 ![image.png](https://qiita-image-store.s3.amazonaws.com/0/133516/ad030b1b-a547-cad0-022e-8bbc7af47957.png)

6. セキュリティグループ設定
![image.png](https://qiita-image-store.s3.amazonaws.com/0/133516/a85fe653-a3bd-512d-5d0a-0c8bc0b3327c.png)


設定を再確認：
![image.png](https://qiita-image-store.s3.amazonaws.com/0/133516/66b3a1d6-e101-fe65-cabb-9c753a808736.png)

該当EC2インスタンスをSSHでログインするために、Key Pareを選択/新規作成：
![image.png](https://qiita-image-store.s3.amazonaws.com/0/133516/c4f915e6-9b88-3657-3a93-b7c8b9922a85.png)


Your instances are now launching’の下にある、EC2インスタンスのリンクをクリックして、詳細を見る：
![image.png](https://qiita-image-store.s3.amazonaws.com/0/133516/c6fa7fb3-2694-3cf3-f164-1647a61c267f.png)

上記操作で、EC2インスタンスの詳細ページが表示される：
![image.png](https://qiita-image-store.s3.amazonaws.com/0/133516/a2c7fa0c-33e5-d56f-9ec0-efc59125e879.png)

ここでPublic IPが見れる

数分後（５−１０分）、上記IPにアクセスしてみてください。
URL：
http://<PUBLIC IP>:8080

* アカウント：admin
* パスワード：StrongPassword

これでサービスの状況見れる
![image.png](https://qiita-image-store.s3.amazonaws.com/0/133516/dc03bac3-23b1-a3f6-6a49-b706996d4b8b.png)


SSHで、EC2にログインすることも出来ます。

```bash
ssh -i ~/.ssh/mykey.pem centos@<publicIP>
tail -f /var/log/hdp_startup.log
```

![image.png](https://qiita-image-store.s3.amazonaws.com/0/133516/bee7d12c-ec22-c6e1-f5bd-a0b18c1e49d6.png)
↑、Ambari画面


# B. Single-node install:

* HDF 3.3 only cluster

```bash
    export host_count=1
    curl -sSL https://gist.github.com/abajwa-hw/b5565d7e7f9beffd8dd57a970dc54266/raw | sudo -E sh
```

* HDF 3.3/HDP3.1 combined cluster

```bash
    export host_count=1
    curl -sSL https://gist.github.com/abajwa-hw/d7cd1c0232c1af46ee2c465e4871ddc6/raw | sudo -E sh
```

# C. Multi-node HDF 3.3 install:
省略