HDP Sandbox の解説その１　Windows Docker上で起動するまで

#本書の解説 と HDP概略　![200px-Hadoop_logo_new.svg.png](https://qiita-image-store.s3.amazonaws.com/0/121950/39fc1a51-802e-b8bb-09ce-be749ca8222d.png)

本書はHadoopを試しに触ってみたい人向けに記載しました。

最近はクラウド上にHDInsigntなど、Hadoopのマネージドサービスもありますが、お金もかかるし手元で試してみたいと思う人もいると思います。
そういう人向けに、VM上で動くHadoopが提供されています。

HDP Sandboxは、そういったVM上で動くお手軽Hadoop環境の一つです。

HDPは、Hortonworks Data Platformの略でHortonworksが提供している、Hadoopを使うための環境を詰め込んだパックです（ディストリビューション）。
**性能や可用性などを除けば、通常、数十台～数百台規模のHadoopシステムで実現することを体験できます。**

![SnapCrab_NoName_2018-9-1_8-54-35_No-00.png](https://qiita-image-store.s3.amazonaws.com/0/121950/f02a9f72-d08d-11e9-db63-715fdd030077.png)

Apache Hadoopの環境を普通にコンパイルして使用するのは難しいので、簡単に導入・運用できるようにまとめて配布されているという点ではLinuxカーネルと、CentOSなどのディストリビューションと同じと考えてよいと思います。


#環境情報

VM環境として、VirtualBox、VMWare、Dockerの三種から選べますが、以下、Dockerの場合について説明します。

##必要とされる環境
[Hortonworksのインストールガイド](https://jp.hortonworks.com/tutorial/sandbox-deployment-and-install-guide/section/3/)によると、メモリは8-10GBとあります。
しかし、最低でもDockerコンテナに8GBを割り当てる必要があるので、物理メモリは16GB以上欲しいところです。

- Dockerバージョン 17.09またはそれ以降
- メモリ 最低8 – 12 GB
- シェル環境（マニュアルはGit Bashを使用している） 

##私の環境
私の環境は以下になります。

###ハードウェアスペック
- CPU： AMD Ryzen7 2700X
- メモリ：32GB
- DISK：M.2 SSD 512GB（SSD 760p SSDPEKKW512G8XT）

###ソフトウェア
- Windows 10 Pro 64bit
- Docker CE V18.06.1-ce Channel:stable

#準備

##Hyper-Vの有効化

WindowsのDockerはHyper-Vの上にLinuxコンテナを起動し、その上でDockerが動作する仕組みになっていますので、まずはHyper-Vを有効にしましょう。

「Windows の機能の有効化または無効化」からHyper-Vを有効にします。
![SnapCrab_Windows の機能_2018-9-1_9-17-42_No-00.png](https://qiita-image-store.s3.amazonaws.com/0/121950/22ae0626-7b86-4ea1-1a49-2fac0b6ed12d.png)

##Dockerのインストール＆設定

インストールは、Dockerのページから、インストーラを入手し実行するだけです。

https://docs.docker.com/docker-for-windows/install/

![SnapCrab_NoName_2018-9-1_9-26-23_No-00.png](https://qiita-image-store.s3.amazonaws.com/0/121950/d6a6d8ba-81be-2894-9ca6-8937651decf9.png)

割り当てCPUコア数、メモリ、DISKは増やしたほうがいいので、私は以下のように設定しました。
メモリ不足によるOOMや、CPUパワー不足による内部処理のタイムアウトを避けるためです。
また、DISKはDockerのイメージをダウンロードすることもあり、かなりの容量を消費します。（30GB前後？）

※本来は数台のサーバに分散して実装する環境を無理やり1台に詰め込んでいるので、普通のマシンではどうしてもリソース不足になります。

![SnapCrab_Settings_2018-9-1_11-31-41_No-00.png](https://qiita-image-store.s3.amazonaws.com/0/121950/b35f6caf-83f1-853a-5501-9fcae429fcc8.png)


また、Dockerイメージを格納しているドライブの共有設定も事前に実施しましょう。
私はしておらず、エラーをくらいました。

![SnapCrab_Settings_2018-9-1_11-14-36_No-00.png](https://qiita-image-store.s3.amazonaws.com/0/121950/c9d0e277-8ea6-4d09-941f-86e72b2e6100.png)


## Git for Windowsのインストール
Sandboxは「Git shell上で動作確認しています」とあるので、不要なトラブルを避けるためGit shellをインストールするためにGit for Windowsを導入します。

https://gitforwindows.org/

「Download」からインストーラをダウンロードして実行するだけです。
色々聞かれましたが、私はデフォルトでインストールしました。
![SnapCrab_NoName_2018-9-1_9-23-10_No-00.png](https://qiita-image-store.s3.amazonaws.com/0/121950/728ff7b6-ebaf-ab2e-d58c-0dcaa7d8054c.png)


## Sandboxの入手
HortonworksのSandboxページから入手します。

https://jp.hortonworks.com/downloads/#sandbox

「Docker↓」からzipファイルをダウンロードします。
アンケート情報の入力が必要ですが、誠意をもって答えましょう（笑）。

##ホスト名の設定

今回は実施しておりませんが、本格的にSandboxを触る場合はコンテナのホスト名設定が必要となります。
以下を参考に設定してください。

https://jp.hortonworks.com/tutorial/learning-the-ropes-of-the-hortonworks-sandbox/

Windowsの場合、`c:\Windows\System32\drivers\etc\hosts`に

```ruby:hosts設定
{IP-Address} localhost sandbox.hortonworks.com sandbox-hdp.hortonworks.com sandbox-hdf.hortonworks.com
```

を追加するのが良いようです。

#インストール＆起動

##zip解凍

「Git Bash」を起動し、ダウンロードしたSandboxのzipファイルを解凍します。
 HDP_2.6.5_deploy-scripts_180624d542a25.zip

```ruby:ファイル解凍
$ unzip HDP_2.6.5_deploy-scripts_180624d542a25.zip
Archive:  HDP_2.6.5_deploy-scripts_180624d542a25.zip
   creating: assets/
  inflating: assets/generate-proxy-deploy-script.sh
  inflating: assets/nginx.conf
  inflating: docker-deploy-hdp265.sh
  inflating: enable-native-cda.sh
```

##Deploy スクリプト実行
設定をちゃんとしておけば、一発で成功すると思います。


```ruby:スクリプト実行
$ ./docker-deploy-hdp265.sh
+ registry=hortonworks
+ name=sandbox-hdp
+ version=2.6.5
+ proxyName=sandbox-proxy
+ proxyVersion=1.0
+ flavor=hdp
+ echo hdp
+ mkdir -p sandbox/proxy/conf.d
+ mkdir -p sandbox/proxy/conf.stream.d
+ docker pull hortonworks/sandbox-hdp:2.6.5
2.6.5: Pulling from hortonworks/sandbox-hdp
Digest: sha256:0b34fa5cb197717828d6ffe547c23ad9b1c09f3b953e570e37f6f09809fbf3ba
Status: Image is up to date for hortonworks/sandbox-hdp:2.6.5
+ docker pull hortonworks/sandbox-proxy:1.0
1.0: Pulling from hortonworks/sandbox-proxy
Digest: sha256:42e4cfbcbb76af07e5d8f47a183a0d4105e65a1e7ef39fe37ab746e8b2523e9e
Status: Image is up to date for hortonworks/sandbox-proxy:1.0
+ '[' hdp == hdf ']'
+ '[' hdp == hdp ']'
+ hostname=sandbox-hdp.hortonworks.com
++ docker images
++ grep hortonworks/sandbox-hdp
++ awk '{print $2}'
+ version=2.6.5
+ docker network create cda
+ docker run --privileged --name sandbox-hdp -h sandbox-hdp.hortonworks.com --network=cda --network-alias=sandbox-hdp.hortonworks.com -d hortonworks/sandbox-hdp:2.6.5
C:\Program Files\Docker\Docker\Resources\bin\docker.exe: Error response from daemon: Conflict. The container name "/sandbox-hdp" is already in use by container "3e9ed3a59f43c56e7c19378be82ae9ed45799806c5ab64eb99e2070f82e69e74". You have to remove (or rename) that container to be able to reuse that name.
See 'C:\Program Files\Docker\Docker\Resources\bin\docker.exe run --help'.
+ echo ' Remove existing postgres run files. Please wait'
 Remove existing postgres run files. Please wait
+ sleep 2
+ docker exec -t sandbox-hdp sh -c 'rm -rf /var/run/postgresql/*; systemctl restart postgresql;'
+ sed s/sandbox-hdp-security/sandbox-hdp/g assets/generate-proxy-deploy-script.sh
+ mv -f assets/generate-proxy-deploy-script.sh.new assets/generate-proxy-deploy-script.sh
+ chmod +x assets/generate-proxy-deploy-script.sh
+ assets/generate-proxy-deploy-script.sh
+ uname
+ grep MINGW
MINGW64_NT-10.0
+ sed -i -e 's/\( \/[a-z]\)/\U\1:/g' sandbox/proxy/proxy-deploy.sh
+ chmod +x sandbox/proxy/proxy-deploy.sh
+ sandbox/proxy/proxy-deploy.sh
7781c8f3b4ba28dcdf58332ca55a880a6355a568963c451eaa4d8a35347e1b21
```

本来はこのあと、自動的にコンテナが起動すると思うのですが、私の場合トラブルで何度かやり直した成果、起動しませんでした。
なので、Hadoopのコンテナを以下のコマンドで手動で起動しました。

```ruby:Hadoopコンテナ起動手順
$ docker start sandbox-hdp
$ docker start sandbox-proxy
$ docker ps -a
CONTAINER ID        IMAGE                           COMMAND                  CREATED             STATUS              PORTS                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                        NAMES
7781c8f3b4ba        hortonworks/sandbox-proxy:1.0   "nginx -g 'daemon of…"   11 minutes ago      Up About a minute   0.0.0.0:1080->1080/tcp, 0.0.0.0:1100->1100/tcp, 0.0.0.0:1111->1111/tcp, 0.0.0.0:1988->1988/tcp, 0.0.0.0:2100->2100/tcp, 0.0.0.0:2181-2182->2181-2182/tcp, 0.0.0.0:2201-2202->2201-2202/tcp, 0.0.0.0:2222->2222/tcp, 0.0.0.0:3000->3000/tcp, 0.0.0.0:4040->4040/tcp, 0.0.0.0:4200->4200/tcp, 0.0.0.0:4242->4242/tcp, 0.0.0.0:4557->4557/tcp, 0.0.0.0:5007->5007/tcp, 0.0.0.0:5011->5011/tcp, 0.0.0.0:6001->6001/tcp, 0.0.0.0:6003->6003/tcp, 0.0.0.0:6008->6008/tcp, 0.0.0.0:6080->6080/tcp, 0.0.0.0:6188->6188/tcp, 0.0.0.0:6627->6627/tcp, 0.0.0.0:6667->6667/tcp, 0.0.0.0:7777->7777/tcp, 0.0.0.0:7788->7788/tcp, 0.0.0.0:8000->8000/tcp, 0.0.0.0:8005->8005/tcp, 0.0.0.0:8020->8020/tcp, 0.0.0.0:8032->8032/tcp, 0.0.0.0:8040->8040/tcp, 0.0.0.0:8042->8042/tcp, 0.0.0.0:8080-8082->8080-8082/tcp, 0.0.0.0:8086->8086/tcp, 0.0.0.0:8088->8088/tcp, 0.0.0.0:8090-8091->8090-8091/tcp, 0.0.0.0:8188->8188/tcp, 0.0.0.0:8443->8443/tcp, 0.0.0.0:8744->8744/tcp, 0.0.0.0:8765->8765/tcp, 0.0.0.0:8886->8886/tcp, 0.0.0.0:8888-8889->8888-8889/tcp, 0.0.0.0:8983->8983/tcp, 0.0.0.0:8993->8993/tcp, 0.0.0.0:9000->9000/tcp, 0.0.0.0:9088-9091->9088-9091/tcp, 0.0.0.0:9995-9996->9995-9996/tcp, 0.0.0.0:10000-10001->10000-10001/tcp, 0.0.0.0:10015-10016->10015-10016/tcp, 0.0.0.0:10500->10500/tcp, 0.0.0.0:10502->10502/tcp, 0.0.0.0:11000->11000/tcp, 0.0.0.0:12049->12049/tcp, 0.0.0.0:12200->12200/tcp, 0.0.0.0:15000->15000/tcp, 0.0.0.0:15002->15002/tcp, 0.0.0.0:15500->15500/tcp, 0.0.0.0:16000->16000/tcp, 0.0.0.0:16010->16010/tcp, 0.0.0.0:16020->16020/tcp, 0.0.0.0:16030->16030/tcp, 0.0.0.0:18080-18081->18080-18081/tcp, 0.0.0.0:19888->19888/tcp, 0.0.0.0:21000->21000/tcp, 0.0.0.0:33553->33553/tcp, 0.0.0.0:39419->39419/tcp, 0.0.0.0:42111->42111/tcp, 0.0.0.0:50070->50070/tcp, 0.0.0.0:50075->50075/tcp, 0.0.0.0:50079->50079/tcp, 0.0.0.0:50095->50095/tcp, 0.0.0.0:50111->50111/tcp, 0.0.0.0:60000->60000/tcp, 0.0.0.0:60080->60080/tcp, 0.0.0.0:61080->61080/tcp, 80/tcp, 0.0.0.0:61888->61888/tcp   sandbox-proxy
3e9ed3a59f43        hortonworks/sandbox-hdp:2.6.5   "/usr/sbin/init"         32 minutes ago      Up 2 minutes        22/tcp, 4200/tcp, 8080/tcp                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                   sandbox-hdp
```

##管理ツール Ambariにアクセスする前に！
Ambariのパスワード初期化をします。
そのためには、AmbariShellといわれる、Webベースのコンソールにログインします。

ブラウザから「 http://localhost:4200 」にアクセスします。
ユーザ：root
パスワード:hadoop
でログインします。※初回はパスワード変更を強制させられます。


```ruby:AmbariShell初回ログイン
sandbox-hdp login: root                                                                                                                                           
root@sandbox-hdp.hortonworks.com's password:                                                                                                                      
You are required to change your password immediately (root enforced)                                                                                              
Last login: Mon Jun 18 15:28:54 2018 from 172.17.0.2                                                                                                              
Changing password for root.                                                                                                                                       
(current) UNIX password:                                                                                                                                          
New password:                                                                                                                                                     
Retype new password:                                                                                                                                              
[root@sandbox-hdp ~]#         
```

続いてAmbariServerのパスワードリセットを行います。

```ruby:Ambariパスワード初期化
[root@sandbox-hdp ~]# ambari-admin-password-reset                                                                                                                 
Please set the password for admin:                                                                                                                                
Please retype the password for admin:                                                                                                                             
Passwords do not match.  Please try again.                                                                                                                        
                                                                                                                                                                  
Please set the password for admin:                                                                                                                                
Please retype the password for admin:                                                                                                                             
                                                                                                                                                                  
The admin password has been set.                                                                                                                                  
Restarting ambari-server to make the password change effective...                                                                                                 
                                                                                                                                                                  
Using python  /usr/bin/python                                                                                                                                     
Restarting ambari-server                                                                                                                                          
Waiting for server stop...                                                                                                                                        
Ambari Server stopped                                                                                                                                             
Ambari Server running with administrator privileges.                                                                                                              
Organizing resource files at /var/lib/ambari-server/resources...                                                                                                  
Ambari database consistency check started...                                                                                                                      
Server PID at: /var/run/ambari-server/ambari-server.pid                                                                                                           
Server out at: /var/log/ambari-server/ambari-server.out                                                                                                           
Server log at: /var/log/ambari-server/ambari-server.log                                                                                                           
Waiting for server start.......................                                                                                                                   
Server started listening on 8080                                                                                                                                  
                                                                                                                                                                  
DB configs consistency check: no errors and warnings were found.                                                                                                  
[root@sandbox-hdp ~]#    
```


#管理ツール Ambairへログイン
さて、ようやくAmbariにアクセスできます。
ブラウザから
http://localhost:8080
にアクセスします。先ほどリセットしたパスワードでログインできれば成功です！

![SnapCrab_NoName_2018-9-1_12-20-17_No-00.png](https://qiita-image-store.s3.amazonaws.com/0/121950/86822654-1398-475c-3ca8-69ded4e303ee.png)

左側にグリーンのチェックアイコンとともにリストアップされているサービスが使用できるサービスです。

![SnapCrab_NoName_2018-9-1_12-22-54_No-00.png](https://qiita-image-store.s3.amazonaws.com/0/121950/78e0cb6b-b7c1-7df4-f955-f363951e560d.png)


ToolBoxっぽいアイコンのサービスは停止しているため使用できません。

![SnapCrab_NoName_2018-9-1_12-23-4_No-00.png](https://qiita-image-store.s3.amazonaws.com/0/121950/2ddcbafe-ff5c-f0b8-2b89-22eed2e7c7ad.png)

あとは、各種マニュアルを見つつ、フォワーディングされているポートの機能を眺めつつ色々触ってみましょう！

**Enjoy your Hadoop Life!!**

![SnapCrab_NoName_2018-9-1_12-40-31_No-00.png](https://qiita-image-store.s3.amazonaws.com/0/121950/93c5058b-f036-8c37-b12e-60f423835d80.png)






#すこしだけSandboxの構成について解説

「あれ？なんでコンテナが二つ立ち上がっているの？」「しかも一つはsandbox-proxy？？？」と思われた方、いらっしゃるかもしれません。

Hortonworksは、以下の目的に応じて、二つの製品HDPとHDFのサブスクリプションを提供しています。
- HDF：Data in Motion（リアルタイム向け）
- HDP：Data at Rest（バッチ向け）

その関係から、Sandboxも二つに分かれており、二つの環境にアクセスするのが煩雑なため、ReverseProxyとして、sandbox-proxyを起動して、アクセス先を統合しています。

https://jp.hortonworks.com/tutorial/sandbox-architecture/

![cda-architecture-800x542.jpg](https://qiita-image-store.s3.amazonaws.com/0/121950/d9c96eda-6360-80aa-ac27-3d3b09715c86.jpeg)


なお、フォワーディングされいているポートの役割については、以下に記載があります。
さしあたっては、管理ツールのAmbari（8080)と、Ambarishell（4200)を覚えてお行けばどうにかるかなぁ。


https://jp.hortonworks.com/tutorial/hortonworks-sandbox-guide/section/3/

![SnapCrab_NoName_2018-9-1_11-54-32_No-00.png](https://qiita-image-store.s3.amazonaws.com/0/121950/2dcb9a5e-dbb9-1b54-306b-b840bed36e78.png)




#遭遇したトラブル

##Deploy スクリプト実行時のエラー その１

Deploy実行時に以下のエラーが発生しました。原因は不明ですがホストマシンの再起動で解決しました。

```ruby:スクリプト実行
$ sh docker-deploy-hdp265.sh
+ registry=hortonworks
+ name=sandbox-hdp
+ version=2.6.5
+ proxyName=sandbox-proxy
+ proxyVersion=1.0
+ flavor=hdp
+ echo hdp
+ mkdir -p sandbox/proxy/conf.d
+ mkdir -p sandbox/proxy/conf.stream.d
+ docker pull hortonworks/sandbox-hdp:2.6.5
Error response from daemon: Get https://registry-1.docker.io/v2/: net/http: request canceled while waiting for connection (Client.Timeout exceeded while awaiting headers)
+ docker pull hortonworks/sandbox-proxy:1.0
Error response from daemon: Get https://registry-1.docker.io/v2/: dial tcp: lookup registry-1.docker.io on 192.168.65.1:53: read udp 192.168.65.3:46693->192.168.65.1:53: i/o timeout
+ '[' hdp == hdf ']'
+ '[' hdp == hdp ']'
+ hostname=sandbox-hdp.hortonworks.com
++ docker images
++ grep hortonworks/sandbox-hdp
++ awk '{print $2}'
+ version=
+ docker network create cda
3db19783aca406d51339190835521eda277fe47453197699dd9f264ff37595f5
+ docker run --privileged --name sandbox-hdp -h sandbox-hdp.hortonworks.com --network=cda --network-alias=sandbox-hdp.hortonworks.com -d hortonworks/sandbox-hdp:
C:\Program Files\Docker\Docker\Resources\bin\docker.exe: invalid reference format.
See 'C:\Program Files\Docker\Docker\Resources\bin\docker.exe run --help'.
+ echo ' Remove existing postgres run files. Please wait'
 Remove existing postgres run files. Please wait
+ sleep 2
+ docker exec -t sandbox-hdp sh -c 'rm -rf /var/run/postgresql/*; systemctl restart postgresql;'
Error: No such container: sandbox-hdp
+ sed s/sandbox-hdp-security/sandbox-hdp/g assets/generate-proxy-deploy-script.sh
+ mv -f assets/generate-proxy-deploy-script.sh.new assets/generate-proxy-deploy-script.sh
+ chmod +x assets/generate-proxy-deploy-script.sh
+ assets/generate-proxy-deploy-script.sh
+ uname
+ grep MINGW
MINGW64_NT-10.0
+ sed -i -e 's/\( \/[a-z]\)/\U\1:/g' sandbox/proxy/proxy-deploy.sh
+ chmod +x sandbox/proxy/proxy-deploy.sh
+ sandbox/proxy/proxy-deploy.sh
C:\Program Files\Docker\Docker\Resources\bin\docker.exe: invalid reference format.
See 'C:\Program Files\Docker\Docker\Resources\bin\docker.exe run --help'.

```

WindowsのDockerを確認すると、確かにログインしています。また、GitBashからdocker loginコマンドも成功しません。

```dockerログインにも失敗する。
docker login
Authenticating with existing credentials...
Error: Cannot perform an interactive login from a non TTY device
```

Dockerインストール後にバージョンアップや、設定変更したせいかもしれないので、一度マシンを再起動したところ、docker loginコマンドも正常に動作するようになったので、再開しました。

```dockerログインでの確認
$ docker login
Authenticating with existing credentials...
Login Succeeded
```

##Deployスクリプト実行時のエラーその２

原因：DockerのSharedドライブが設定されていなかった。
対処：設定画面からDockerのDisk Imageが存在するドライブのshare設定を行う。

![SnapCrab_Settings_2018-9-1_11-14-36_No-00.png](https://qiita-image-store.s3.amazonaws.com/0/121950/0ffac658-cfdc-de61-7873-2278ec615868.png)


```ruby:スクリプト実行ログ
$ ./docker-deploy-hdp265.sh
+ registry=hortonworks
+ name=sandbox-hdp
+ version=2.6.5
+ proxyName=sandbox-proxy
+ proxyVersion=1.0
+ flavor=hdp
+ echo hdp
+ mkdir -p sandbox/proxy/conf.d
+ mkdir -p sandbox/proxy/conf.stream.d
+ docker pull hortonworks/sandbox-hdp:2.6.5
2.6.5: Pulling from hortonworks/sandbox-hdp
9770d73ca513: Pulling fs layer
cbba75ae30cd: Pulling fs layer
283e5725c5f6: Pulling fs layer
1426e9ece03d: Pulling fs layer
4b00051fa827: Pulling fs layer
d09cdd825ed6: Pulling fs layer
dcbfe1670fa6: Pulling fs layer
fd78a46757f7: Pulling fs layer
5bad1882139b: Pulling fs layer
d29a62d4eb22: Pulling fs layer
4fb93bf04f14: Pulling fs layer
8827f466ab83: Pulling fs layer
a0fc39e77949: Pulling fs layer
595eabd2c628: Pulling fs layer
2a7fd016935e: Pulling fs layer
87526fe8ce7c: Pulling fs layer
d91a044a9aaf: Pulling fs layer
bbffcb08266c: Pulling fs layer
65c812fb262a: Pulling fs layer
132f30914412: Pulling fs layer
0f3e10681220: Pulling fs layer
505f5a3365a7: Pulling fs layer
abaff3c0f761: Pulling fs layer
7d75f267b911: Pulling fs layer
18099674493a: Pulling fs layer
26310ba15287: Pulling fs layer
635c5bfe7fc8: Pulling fs layer
2f80a5abf101: Pulling fs layer
dcbfe1670fa6: Waiting
fd78a46757f7: Waiting
5bad1882139b: Waiting
d29a62d4eb22: Waiting
4fb93bf04f14: Waiting
8827f466ab83: Waiting
a0fc39e77949: Waiting
595eabd2c628: Waiting
2a7fd016935e: Waiting
87526fe8ce7c: Waiting
d91a044a9aaf: Waiting
bbffcb08266c: Waiting
65c812fb262a: Waiting
132f30914412: Waiting
1426e9ece03d: Waiting
4b00051fa827: Waiting
d09cdd825ed6: Waiting
0f3e10681220: Waiting
505f5a3365a7: Waiting
abaff3c0f761: Waiting
18099674493a: Waiting
7d75f267b911: Waiting
26310ba15287: Waiting
635c5bfe7fc8: Waiting
2f80a5abf101: Waiting
cbba75ae30cd: Verifying Checksum
cbba75ae30cd: Download complete
283e5725c5f6: Verifying Checksum
283e5725c5f6: Download complete
4b00051fa827: Verifying Checksum
4b00051fa827: Download complete
9770d73ca513: Verifying Checksum
9770d73ca513: Download complete
d09cdd825ed6: Verifying Checksum
d09cdd825ed6: Download complete
fd78a46757f7: Verifying Checksum
fd78a46757f7: Download complete
9770d73ca513: Pull complete
cbba75ae30cd: Pull complete
5bad1882139b: Verifying Checksum
5bad1882139b: Download complete
283e5725c5f6: Pull complete
d29a62d4eb22: Verifying Checksum
d29a62d4eb22: Download complete
dcbfe1670fa6: Verifying Checksum
dcbfe1670fa6: Download complete
4fb93bf04f14: Verifying Checksum
4fb93bf04f14: Download complete
8827f466ab83: Verifying Checksum
8827f466ab83: Download complete
a0fc39e77949: Verifying Checksum
a0fc39e77949: Download complete
2a7fd016935e: Verifying Checksum
2a7fd016935e: Download complete
87526fe8ce7c: Verifying Checksum
87526fe8ce7c: Download complete
d91a044a9aaf: Verifying Checksum
d91a044a9aaf: Download complete
bbffcb08266c: Verifying Checksum
bbffcb08266c: Download complete
65c812fb262a: Verifying Checksum
65c812fb262a: Download complete
132f30914412: Verifying Checksum
132f30914412: Download complete
0f3e10681220: Verifying Checksum
0f3e10681220: Download complete
1426e9ece03d: Verifying Checksum
1426e9ece03d: Download complete
abaff3c0f761: Download complete
7d75f267b911: Verifying Checksum
7d75f267b911: Download complete
1426e9ece03d: Pull complete
4b00051fa827: Pull complete
d09cdd825ed6: Pull complete
dcbfe1670fa6: Pull complete
fd78a46757f7: Pull complete
5bad1882139b: Pull complete
d29a62d4eb22: Pull complete
4fb93bf04f14: Pull complete
8827f466ab83: Pull complete
a0fc39e77949: Pull complete
505f5a3365a7: Verifying Checksum
505f5a3365a7: Download complete
26310ba15287: Verifying Checksum
26310ba15287: Download complete
635c5bfe7fc8: Verifying Checksum
635c5bfe7fc8: Download complete
595eabd2c628: Verifying Checksum
595eabd2c628: Download complete
595eabd2c628: Pull complete
2a7fd016935e: Pull complete
87526fe8ce7c: Pull complete
d91a044a9aaf: Pull complete
bbffcb08266c: Pull complete
65c812fb262a: Pull complete
132f30914412: Pull complete
0f3e10681220: Pull complete
505f5a3365a7: Pull complete
abaff3c0f761: Pull complete
7d75f267b911: Pull complete
18099674493a: Verifying Checksum
18099674493a: Download complete
18099674493a: Pull complete
26310ba15287: Pull complete
635c5bfe7fc8: Pull complete
2f80a5abf101: Verifying Checksum
2f80a5abf101: Download complete
2f80a5abf101: Pull complete
Digest: sha256:0b34fa5cb197717828d6ffe547c23ad9b1c09f3b953e570e37f6f09809fbf3ba
Status: Downloaded newer image for hortonworks/sandbox-hdp:2.6.5
+ docker pull hortonworks/sandbox-proxy:1.0
1.0: Pulling from hortonworks/sandbox-proxy
951bdea65c93: Pulling fs layer
4b9047c5fbbb: Pulling fs layer
773156407aae: Pulling fs layer
d8524176841d: Pulling fs layer
d8524176841d: Waiting
773156407aae: Verifying Checksum
773156407aae: Download complete
d8524176841d: Verifying Checksum
d8524176841d: Download complete
951bdea65c93: Verifying Checksum
951bdea65c93: Download complete
951bdea65c93: Pull complete
4b9047c5fbbb: Download complete
4b9047c5fbbb: Pull complete
773156407aae: Pull complete
d8524176841d: Pull complete
Digest: sha256:42e4cfbcbb76af07e5d8f47a183a0d4105e65a1e7ef39fe37ab746e8b2523e9e
Status: Downloaded newer image for hortonworks/sandbox-proxy:1.0
+ '[' hdp == hdf ']'
+ '[' hdp == hdp ']'
+ hostname=sandbox-hdp.hortonworks.com
++ docker images
++ grep hortonworks/sandbox-hdp
++ awk '{print $2}'
+ version=2.6.5
+ docker network create cda
+ docker run --privileged --name sandbox-hdp -h sandbox-hdp.hortonworks.com --network=cda --network-alias=sandbox-hdp.hortonworks.com -d hortonworks/sandbox-hdp:2.6.5
3e9ed3a59f43c56e7c19378be82ae9ed45799806c5ab64eb99e2070f82e69e74
+ echo ' Remove existing postgres run files. Please wait'
 Remove existing postgres run files. Please wait
+ sleep 2
+ docker exec -t sandbox-hdp sh -c 'rm -rf /var/run/postgresql/*; systemctl restart postgresql;'
+ sed s/sandbox-hdp-security/sandbox-hdp/g assets/generate-proxy-deploy-script.sh
+ mv -f assets/generate-proxy-deploy-script.sh.new assets/generate-proxy-deploy-script.sh
+ chmod +x assets/generate-proxy-deploy-script.sh
+ assets/generate-proxy-deploy-script.sh
+ uname
+ grep MINGW
MINGW64_NT-10.0
+ sed -i -e 's/\( \/[a-z]\)/\U\1:/g' sandbox/proxy/proxy-deploy.sh
+ chmod +x sandbox/proxy/proxy-deploy.sh
+ sandbox/proxy/proxy-deploy.sh
C:\Program Files\Docker\Docker\Resources\bin\docker.exe: Error response from daemon: Drive has not been shared.
See 'C:\Program Files\Docker\Docker\Resources\bin\docker.exe run --help'.
```