Jenkinsをver.1.533(AWS EC2)からver. 2.17(AWS ECS)に移行した

#■これをやった理由
* 担当プロダクトでJenkinsを使ったCIを行っているが、開発用のビルドと本番のバッチ処理のトリガとして混在して動作している状態であり、これを dev(開発) と prod(本番) でちゃんと分けたい。
* Jenkinsによるビルドで開発コードの静的解析(phpmd)、重複コード検知(phpcpd)、Unitテスト実行(phpunit)を行っており、それが１度実行するだけで、２０分程度かかってしまい、開発効率の悪い状態があった。
* 負荷テストが実行できる環境が欲しかったが、現在のJenkinsに入れて、本番のバッチ処理になにか影響があると困るために別で作成することにした。

#■GOAL
* Jenkinsが「開発によるビルドや負荷テスト用(dev)」と「本番のバッチ処理のトリガ用(prod)」として分かれていること。
* dev のJenkinsで、これまでと同様に、ChatOpsでのビルドが実行できること。　$\color{red}{\rm ※十分長いですが、さらに長くなるのでここでは書きません。 }$
* ビルド、テストが並列実行され、ビルド完了までの時間が短縮されていること。
* 負荷テストが実行できる環境が、Jmeter？でも良いので実現されていること。
    - CIで実行でき、結果がJenkins上で確認できる状態を目指す

#■どういう手順で行ったか。
##既存のJenkinsの移行
1. 最初は既存のJenkinsをThinBackupプラグインを使っての設定状態のコピーで実行したが、うまくいかず断念。
1. せっかくの機会なので、AWS ECS と Dockerを使ってJenkinsを立ち上げた。
    * 利用したコンテナは、下記のサイトを参考　 $\color{red}{\rm ※実はSeleniumのテストもできるようにしようとしてたけど、できなかった }$:sweat_smile: 
        - [Docker ComposeでJenkinsとSelenium Gridを一気に立ち上げる - Qiita](http://qiita.com/ootaken/items/26d37cb34d3b575277e0)
1. **既存のJenkins**のプラグインを**新Jenkins**へもインストール。いくつかのプラグインがない。。。
    * 探してみたが、なさそうだったプラグイン
        * Duplicate Code Scanner Plug-in
        * PMD's Copy Paste Detector (CPD)
        * External Monitor Job Type Plugin
        * Jenkins build timeout plugin
        * Jenkins Mailer Plugin
        * Jenkins SSH Slaves plugin
        * Jenkins Subversion Plug-in
        * LDAP Plugin
        * PAM Authentication plugin
        * SSH Credentials Plugin
    * 不足していたプラグイン
        * DRY Plugin
1. インストール後、Gitでのソースpullできるか調査、対応　※ここで少しはまった・・・
    * JenkinsのmasterのDockerfile作って、ビルドして実行してみたら、ソースは取れた。
1. Slaveでのジョブ実行をトライ。
    * 下記のプラグイン入れてみて、SlaveをDocker HubやECRから引っ張る設定をして、実行までできた。
        * [Amazon EC2 Container Service Plugin - Jenkins - Jenkins Wiki](https://wiki.jenkins-ci.org/display/JENKINS/Amazon+EC2+Container+Service+Plugin)
    * ~~しかし、Slave上でソースを引っ張るには、また、、、、鍵がSlaveのコンテナに必要なことが判明。。。orz~~ 
    * ~~色々と、Slaveへの鍵の配置をトライしたが、なぜか「ビルドできない」、「配置したと思っても、コンテナ起動しなおすと消えてる」ことが起きたので、STOP。~~
    * 色々とみていくと、下記プラグインにてソースをSlaveにコピーして解決できることが判明！！！！
        * [JenkinsのCopy To Slave Pluginを使ってみる - Narrow Escape](http://www.hiroom2.com/2015/06/25/jenkins%E3%81%AEcopy-to-slave-plugin%E3%82%92%E4%BD%BF%E3%81%A3%E3%81%A6%E3%81%BF%E3%82%8B/)
        * :point_down: この方も結局は、Slaveでソース引っ張ってないみたいなのでこの方法を参考にしました！ｗ
        * [Jenkinsとamazon ecsで コンテナCI](http://www.slideshare.net/hawinternational/jenkinsamazon-ecs-ci-56080630)

1. とりあえずmasterで実行できるジョブから移管開始。
    * awsコマンドの必要なジョブもawsコマンドのインストールさせて、移管できた。
1. Copy To Slave PluginでSlaveへのソースのコピーもできるようになったので、実際にphpが動くコンテナを探してみた。
    * JenkinsのSlaveとして動くことが必要なので、Javaが入っていて、jenkins-slaveのエージェントが必要なことが判明
    * 下記のコンテナが使えそうだったが、php5-curlが入ってなかったので、独自でDockerfileいじって、コンテナ作成
        * [wilreichert/jnlp-slave-php](https://hub.docker.com/r/wilreichert/jnlp-slave-php/)
        * これ以降は全て、独自でDockerfileを作成

##ビルドの並列実行環境の構築
1. ECSプラグインにて、Slaveでのジョブ実行可能になったので、並列実行の仕組みを検討
    - 既存のビルドジョブは下記の２つのジョブを実行しており、直列のため、$\color{red}{\rm 23分程度}$かかっていた。
        - `build-phpmd-cpd`　$\color{red}{\rm 8分弱かかる}$
        - `build-phpunit`　$\color{red}{\rm 15分かかる}$
    - さらに直列での実行であるため、開発者Aさんがビルド実行中の場合は、開発者Bさんはそのビルド実行待ちの状態となっていた・・・
    - 下記の方法がありそうだったので、実装をトライ
        - ジョブの同時実行
        - ジョブ自体の複数起動
        - ジョブ内でさらに並列実行
1. ジョブの同時実行方法
    - Jenkins2.0系から使える「Pipeline」にて、上記ジョブを同時に実行にて実現
    - それぞれのジョブはSlaveのコンテナにて、実行するよう設定
    - 実際のGroovy Scriptは下記。
1. ジョブ自体の複数起動
    - 各ジョブの並列実行のため「ビルドを並行実行」のチェックを有効化
    - ビルド自体が各Slaveコンテナで動くように「実行するノードを制限」のチェックを有効化
        - $\color{red}{\rm ※注意 　インスタンス自体のリソースが足りない場合は待たさるみたいでした}$ :cry: 
        - $\color{red}{\rm ECSインスタンスを２つにしてみたら、コンテナが４つ同時に動かせた！！！}$
1. ジョブ内でさらに並列実行
    - `phing`の`build.xml`にて、並列実行の書き方があったので、それを利用
    - さらに、`phpunit`の並列実行のモジュール`paratest`を導入してみて、さらなる短縮を試しました。
        - [brianium/paratest: Parallel testing for PHPUnit](https://github.com/brianium/paratest)


```groovy:GroovyScript
// flow.groovyファイル 必ず失敗するパターンの確認用
def builds() {
    parallel(phing: {
            run 'build-phpmd-cpd'
    }, phpunit: {
            run 'build-phpunit'
    }, fail: {
        //run 'test-fail'
    })
}

def run(name) {
    // pcntを指定プロセス数としてパラメタで指定
    build job: name, parameters: [string(name: 'repo', value: repo), string(name: 'branch', value: branch), string(name: 'app_name', value: app_name), string(name: 'env', value: 'development'), string(name: 'pcnt', value: pcnt)]
}

stage 'Build and Unit test'
builds()
return this;
```

```xml:build.xml
	<!-- # of threads to execute parallel tasks -->
	<property name="threads" value="3"/>
	<target name="main" depends= "phpcs,phpmd,phpcpd" ></target>
	<target name="parallel_main">
		<parallel threadCount="${threads}">
			<phingcall target="tasks_to_try" />	
		</parallel>
	</target>
	<target name="tasks_to_try">
		<phingcall target="phpcs" />
		<phingcall target="phpmd" />
		<phingcall target="phpcpd" />
	</target>
```

### :exclamation: 結果 :exclamation: 
- 同時実行+並列処理導入で、$\color{red}{\rm 15分程度に短縮}$ :exclamation: もう少し行きたかったな・・・
- ビルド自体の並列実行が可能となり、後からビルドしたい開発者が待たされることがなくなった :clock12: 

##負荷テスト環境の構築
1. まずは、Jenkinsと`JMeter`周りについて調査し、導入をトライしたが、下記の理由で中止。
    - Antによる実行がうまくいかない・・・
    - 調査してると、古い技術に感じたのもあり、使い方を習得して共有してもあまり組織的にメリットがないと思った
2. 最近の負荷テストツールである`Gatling`を下記の理由から導入
    - `Gatling`のインストール、Jenkinsプラグインの導入まで簡単
    - レポートのUIがいい感じ :thumbsup: 
    - 流行りのScala(これから学習しないといけないけど・・・)
    - こっちの方がScalaも学べる、使い方の共有によるメリットもありそう
    - `JMeter`のように`recorder`によるブラウザの操作にてテスト計画を作成できる

#■はまったところ
* Dockerで起動した新Jenkinsにて、プロジェクトのソースを`git pull`するところ
* ECSプラグイン入れて、Slaveでジョブが動くところまで確認後、EC2を再起動して、Public IPが変わってしまったら、Slaveでジョブが動かなくなった・・・
    * 原因は、Slave起動時の、`tcpSlaveAgentListener`へのアクセスが再起動前のIPアドレスへ接続していたためでした。。。
    * ~~キャッシュが残っているのか、システム設定にて、JenkinsのURLを再起動後のURLへ変更してもダメでした。。。~~
    * ~~最終的に一度、Slave Templatesの設定を一度削除　⇒　保存　⇒　再度、設定　でなおりました。すげー無駄な時間。。。~~
    * ECSプラグインの「高度な設定」のURLの変更をしていなかっただけでしたｗ
* grunt動かすために、nodejs,npm,nvm入れたりと試行錯誤・・・意外とうまくいかず大変だった・・・でも、nvmっていいですね :thumbsup: 
* phpmd,phpcs,phpcpdのインストールとそれが起動できるまでが大変。。。phpcpdだけ、PEARじゃなくなってるし・・・orz
    * むかついたので、Composerでインストールしてやった。
* ECSで登録したインスタンスタイプをEC2のコンソールから勝手に変えると怒られることが判明
* docker-compose.ymlの記述がversion2になることで意味不明になった。。。
    * ecs-cliから、死んでてもいいデータコンテナのあるcomposeでの起動をすると、タスクが起動しないことが判明
    - [aws/amazon-ecs-cli](https://github.com/aws/amazon-ecs-cli)
* ECSのインスタンスのディスクがfull diskになった。。。
    * そのデータ食ってる`/var/lib/docker`を削除することができない。。。
    * EBS拡張して、なんとか対応ｗ
* [fullbok](https://github.com/classmethod-aws/fullbok)を試してみたが、Cloudformationのテンプレが起動できず、あきらめた。。。orz

#■改善点
- まだ１５分程度かかってしまっているので、さらなるビルドの高速化方法の検証
    - `paratest`時のプロセスを多く与えてみる？(現在は7~8で実行)
    - phpmd,phpcs,phpcpdのビルドのジョブ自体もそれぞれ別でジョブを作って実行？
    - テストコードのボトルネックをチェックして、改修
- ECSにて、JenkinsのDocker起動すると、ビルド履歴や設定の保存場所が起動しているインスタンスに限られるため、厳密には自由にスケールできる状態にない。。。
    - EFSを利用してのインスタンス間での設定情報の保存場所の共有を検討中

#■その他参考サイト
- [AWS上にDocker環境構築を、EC2に直で入れる方法とECS(マネジメントコンソール上で操作)の導入の2つの方法で入れてみた。 - Qiita](http://qiita.com/hayashier/items/b34f82c42053f85e5b09#_reference-f9f465948561b324196a)
- [DockerでJenkinsサーバ(master/slave)を構築してみる - knjnameのブログ](http://knjname.hateblo.jp/entry/2014/05/03/190842)
- [開発者（個人）のためのJenkins - Slave編 - Qiita](http://qiita.com/yasuhiroki/items/d618796a1ba1366c4f80)
- [Dockerfile リファレンス — Docker-docs-ja 1.12.RC ドキュメント](http://docs.docker.jp/engine/reference/builder.html#user)
- [Dockerでつくる開発環境【nginxコンテナ編】 | フリップフラップ](http://blog.flup.jp/2016/02/12/devenv_nginx_with_docker/)
- [コンテナに入りたい？それ docker exec でできるよ - Qiita](http://qiita.com/yosisa/items/a5670e4da3ff22e9411a)
- [Jenkinsのジョブの実行環境にAmazon EC2 Container Service ( ECS ) を活用 | HAWSクラウドサービス](http://haws.haw.co.jp/tech/jenkins-job-on-ecs/)
- [Jenkinsとamazon ecsで コンテナCI](http://www.slideshare.net/hawinternational/jenkinsamazon-ecs-ci-56080630)
- [Dockerを用いたJenkinsの運用をしてみた話 – NET BIZ DIV. TECH BLOG](https://tech.recruit-mp.co.jp/infrastructure/egs-etg-docker-jenkins/)
- [Deploying Jenkins Docker Image using Amazon EC2 Container and Registry Services · cloudway.io](http://cloudway.io/post/jenkins-in-ec2-container-service/)
- [Docker で「速くてウマイ」な CI 環境を構築するための 5 つの Tips - ヌーラボ \[Nulab Inc.\]](https://nulab-inc.com/ja/blog/nulab/docker-in-ci/)
- [動作中のDockerコンテナにファイルをコピーする方法](http://blog.nambo.jp/2015/02/09/docker-exec-cat/)
- [https://hub.docker.com/r/wilreichert/jnlp-slave-php/](https://hub.docker.com/r/wilreichert/jnlp-slave-php/)
- [Upload a file on amazon S3 with PHP SDK - Stack Overflow](http://stackoverflow.com/questions/22882782/upload-a-file-on-amazon-s3-with-php-sdk)
- [curl - PHP AWS SDK throwing unknown error - Stack Overflow](http://stackoverflow.com/questions/16153960/php-aws-sdk-throwing-unknown-error)
- [docker-composeでPHP5.4〜PHP7.0まで単体テストする - Qiita](http://qiita.com/suin/items/54ce152dd677d2dd6fd4)
- [Jenkinsスレーブサーバ作成 - JunxBoxWiki](http://junkbox.wicurio.com/index.php?Jenkins%E3%82%B9%E3%83%AC%E3%83%BC%E3%83%96%E3%82%B5%E3%83%BC%E3%83%90%E4%BD%9C%E6%88%90)
- [Jenkins+Dockerを使用したCIサーバの作成 - JunxBoxWiki](http://junkbox.wicurio.com/index.php?Jenkins%2BDocker%E3%82%92%E4%BD%BF%E7%94%A8%E3%81%97%E3%81%9FCI%E3%82%B5%E3%83%BC%E3%83%90%E3%81%AE%E4%BD%9C%E6%88%90)
- [Jenkins+DockerでPHPユニットテストサンプル · GitHub](https://gist.github.com/akira345/137d7ed91c74dda1be1e#file-dockerfile)
- [DockerでJenkinsサーバ(master/slave)を構築してみる - knjnameのブログ](http://knjname.hateblo.jp/entry/2014/05/03/190842)
- [Hudson+phpcpdで継続的に重複コードをチェックする | Ryuzee.com](http://www.ryuzee.com/contents/blog/3453)
- [nvmでNodejsの管理をしてみたよ | tkd55 blog](http://www.tkd55.net/blog/?p=719)
- [Amazon Linuxに Node.js と npm を入れる - Qiita](http://qiita.com/nki2/items/9a15eb151a9e389af318)
- [gruntでファイル変更を監視しながらFuelPHPのテストをPHPUnitで実行する - Qiita](http://qiita.com/gigatune/items/6f5ca2c5bd9a9ffe5f70)
- [npmでnode.jsのpackageを管理する - Qiita](http://qiita.com/sinmetal/items/395edf1d195382cfd8bc)
- [Grunt超入門](http://shunjikonishi.github.io/slides/grunt-introduction/index.html#/1)
- [はじめに | Grunt 日本語リファレンス | js STUDIO](http://js.studio-kingdom.com/grunt/doc/getting_started)
- [CentOS 7で、できるだけ簡単にPHP用のJenkins環境を作る - Qiita](http://qiita.com/kwkm/items/71218d245c5db41111c2)
- [phpcs/phpmd/phpcpdをJenkinsで試してみる - yk5656 diary](http://d.hatena.ne.jp/yk5656/20140617/1404310791)
- [Phingをjenkinsと連携させてみる | ミラボ](http://log.miraoto.com/2012/04/503/)
- [コードレビューに便利！PHPの重複コードを見つけてくれるPHPCPD｜A Day In The Boy's Life](http://ameblo.jp/itboy/entry-11398329785.html)
- [https://hub.docker.com/r/keysoftware/php/~/dockerfile/](https://hub.docker.com/r/keysoftware/php/~/dockerfile/)
- [https://hub.docker.com/r/iliyan/jenkins-ci-php/~/dockerfile/](https://hub.docker.com/r/iliyan/jenkins-ci-php/~/dockerfile/)
- [Setting up Jenkins for a PHP projects on CentOS 7 — Medium](https://medium.com/@Phillaf/setting-up-jenkins-for-a-php-projects-on-centos-7-da356b8708cc#.cyt8sfetx)
- [SebastianHanke/Jenkins-build-examples: build examples of java and php projects with ant and gradle](https://github.com/SebastianHanke/Jenkins-build-examples)
- [Usine logicielle - Jenkins pour PHP - Blog erlem.fr](http://blog.erlem.fr/programmation/29-usine-logicielle/197-usine-logicielle-jenkins-pour-php)
- [Template for Jenkins Jobs for PHP Projects: Installation](http://jenkins-php.org/installation.html)
- [WordPressのプラグイン開発。PHPのツールとJenkinsプラグインの用意 | Somof blog site](http://blog.somof.net/?p=1119)
- [AWS Developer Forums: Start ECS agent with ECS\_CLUSTER fails ...](https://forums.aws.amazon.com/thread.jspa?messageID=625643)
- [コンテナで簡単（かもしれない）クラウド夜逃げの準備と実践 - ようへいの日々精進XP : ](http://inokara.hateblo.jp/entry/2015/08/29/081811)
- [Jenkins2のPipelineとJenkinsfileで複数ブランチの自動テスト | karakaram-blog](http://www.karakaram.com/jenkins2-jenkinsfile-multibranch-pipeline)
- [すべてが╭( ･ㅂ･)و ̑̑ ｸﾞｯ ! になる - Jenkinsビルドパイプライン結果をプルリクエストに表示する · THINKING MEGANE](http://blog.monochromegane.com/blog/2014/11/09/jenkins-github-commit-status/)
- [Jenkinsを使った自動テスト環境を作る（前編） - さくらのナレッジ](http://knowledge.sakura.ad.jp/knowledge/5293/)
- [ブログズミ: \[Jenkins\] Pipeline Plugin を使ってみた](http://srz-zumix.blogspot.jp/2016/08/jenkins-pipeline-plugin.html)
- [\[Ubuntu\]\[Shell\]Ubuntuの/bin/shでsourseコマンドが効かない件 | aoshiman.org](http://blog.aoshiman.org/entry/112/)
- [fullbokにプルリクしてみました | KiQ](http://kiq.biz/news/post175.html)
- [お手軽JMeterクラスター 〜 フルボッコ編｜アドカレ2013 : CFn #1 ｜ Developers.IO](http://dev.classmethod.jp/cloud/aws/aws-cfn-advent-calendar-2013-fullbok/)
- [classmethod-aws/fullbok: GUI JMeter cluster on EC2](https://github.com/classmethod-aws/fullbok)
- [SpotInstanceとJMeterを使って400万req/minの負荷試験を行う ｜ Developers.IO](http://dev.classmethod.jp/cloud/apache-jmeter-master-slave-100mil-req-min/)
- [Performance testing for DevOps | Load Impact](https://loadimpact.com/)
- [Continuous Delivery with Docker and Amazon ECS](http://www.slideshare.net/AmazonWebServices/continuous-delivery-with-docker-and-amazon-ecs)
- [https://hub.docker.com/r/jenkinsci/jnlp-slave/~/dockerfile/](https://hub.docker.com/r/jenkinsci/jnlp-slave/~/dockerfile/)
- [ParaTest と Docker で PHPUnit を並列実行する試み - Qiita](http://qiita.com/ngyuki/items/c831c7af4a8ac6948c7d)
- [Jenkins導入を図るなら読んどかないとヤバい、サイバーエージェント、ミクシィ、クルーズ、楽天、Aimingの活用事例まとめ～第6回テックヒルズレポート | イベントカレンダー＋ログ](https://event.atmarkit.co.jp/events/c37be4978bc4a5a23196d6da68753962/atmarkit_report)
- [Using Amazon EFS to Persist Data from Amazon ECS Containers | AWS Compute Blog](https://aws.amazon.com/jp/blogs/compute/using-amazon-efs-to-persist-data-from-amazon-ecs-containers/)
- [ECS で Amazon CloudWatch Logs にログ出力が出来るようになったのでチュートリアル - ようへいの日々精進XP](http://inokara.hateblo.jp/entry/2016/05/10/094600)
- [Jenkins+JMeterを用いた性能試験環境の構築 - サーバサイドWiki - Confluence](http://confluence.sharuru07.jp/pages/viewpage.action?pageId=2883643)
- [JMeter でシナリオを書く時に HTTP プロキシサーバを使えば少し捗るかもしれないメモ - ようへいの日々精進XP](http://inokara.hateblo.jp/entry/2015/08/25/060119)
- [JMeter with Jenkins: Performance Testing in CI Environment](http://www.testingdiaries.com/jmeter-with-jenkins/)
- [Install Jenkins with Jmeter (Performance Plugin)](http://neyto.blogspot.jp/2013/02/install-jenkins-with-jmeter-performance_2208.html)
- [HudsonでJMeterを使った負荷テストを定期的に行う - cynipeと読む](http://cynipe.hateblo.jp/entry/20110105/1294225224)
- [JMeter ブラウザの動きを記憶させる | MISLEAD](http://mislead.jp/601.html)
- [JMeter httpsリクエストを記憶する | MISLEAD](http://mislead.jp/876.html)
- [Jenkins+Gatlingを用いた性能試験環境の構築 - サーバサイドWiki - Confluence](http://confluence.sharuru07.jp/pages/viewpage.action?pageId=2883704)
- [便利すぎる負荷試験テストツールGatlingの使い方~自力ソース編~ - Qiita](http://qiita.com/nii_yan/items/d7d0ea949abeab13aea7)
- [便利すぎる負荷試験テストツールGatlingの使い方~ブラウザ操作記憶編~ - Qiita](http://qiita.com/nii_yan/items/9ff9db9828a7a7115215)
- [便利すぎる負荷試験テストツールGatlingの使い方~戻り値チェック編~ - Qiita](http://qiita.com/nii_yan/items/81e7399000484d595b40)
- [Scala 初心者が Gatling をぶっ放して負荷テストをやってみました - SHANON　Engineer's　Blog](http://shanon-tech.blogspot.jp/2015/10/scala-gatling.html)

#■まとめ
###参考サイトだらけですみません。。。 :bow: 皆さまの知見があって初めてできたことです。ありがとうございます :bow_tone1: :bow_tone2: