Kubernetesのエコシステムをまとめる

# Kubernetesのエコシステムをまとめる（2018年5月時点）
![kubernetes](https://upload.wikimedia.org/wikipedia/commons/thumb/6/67/Kubernetes_logo.svg/1024px-Kubernetes_logo.svg.png)

日本のGW中（2018年）にデンマークでは[KubeCon](https://events.linuxfoundation.org/kubecon-eu-2018/)を開催しているようでして、現地で参加している方々は羨ましい限りです。
KubeConの情報が日本に届くのはGW明けだと思いますが、その前に昨今のKubernetesのエコシステムとかいろいろなことをまとめます。

*<追記2018/05/13>*
[KubeCon 2018 EU](https://events.linuxfoundation.org/kubecon-eu-2018/)で公表された情報も追加しました。
*<追記2018/06/08>*
[チュートリアル、トレーニング](#チュートリアル、トレーニング)を追加しました。
*<追記2018/06/11>*
[プレイグラウンド](#プレイグラウンド)を追加しました。
*<追記2018/06/19>*
MS Azure AKSがGAしました。

## Kubernetesとは？
Kubernetesはコンテナのオープンソースのオーケストレーションツールです。Dockerを使ってアプリケーションをデプロイ、運用するための統合管理プラットフォームです。
もともとは2014年に[GoogleのBorg](https://research.google.com/pubs/pub43438.html)をオープンソース・プロジェクトとして公開したのが始まりです。
[誕生秘話](https://cloudplatform-jp.googleblog.com/2016/08/google-kubernetes.html)

![kubenetes](https://d33wubrfki0l68.cloudfront.net/1567471e7c58dc9b7d9c65dcd54e60cbf5870daa/a2249/images/flower.png)

2017年10月にはDockerがKubernetesを公式サポートするとアナウンスし、一躍注目度があがった気がします。
![dockerandkube](https://cdn-images-1.medium.com/max/1600/0*zT6SJs5qcO2veFnY.)

##### 参考
https://kubernetes.io/
https://kubernetes.io/docs/concepts/overview/what-is-kubernetes/
https://qiita.com/MahoTakara/items/85096f8b2632c802ab22

### 原義と発音と略称
Kubernetesの原義はギリシャ語で航海長(κυβερνετες)という意味だそうです。
ロゴもその由来で、船の舵のようです。
<img src="https://github.com/kubernetes/kubernetes/blob/master/logo/logo.png?raw=true" width=50%>
[ロゴ一覧](https://github.com/kubernetes/kubernetes/tree/master/logo)

発音は「クーバネティス」とか「クーベネイテス」とか「クーベルネティス」とか「クーバーネーテス」とか十人十色、多種多様です。私は「クーべ」と読んでます。
まあ似た発音の単語は日本語にも英語にも存在しないので、それっぽく言っておけば業界人には伝わると思います。

略称はk8sです。Kubernetesの「ubernete」（8文字）を抜き出して「k8s」だそうです。
英語では略称を読んで「ケイエイツ」でも通じるぽいです。
日本語だと「ケイハチエス」？

### ソースコード
[Githubのレポジトリ](https://github.com/kubernetes/kubernetes)で公開されています。
開発元は[Cloud Native Computing Foundation (CNCF)](https://www.cncf.io/)で、開発言語はGoです。

### ライセンス
[Apache2.0](https://github.com/kubernetes/kubernetes/blob/master/LICENSE)です。
Apache2.0は以下のとおり、使用、頒布、修正、修正版の再頒布を制限しない緩いライセンスなので、その企業法務とかには嬉しい規定だと思います。

##### 参考
https://ja.wikipedia.org/wiki/Apache_License

### アーキテクチャ
![arch](https://raw.githubusercontent.com/kubernetes/kubernetes/release-1.5/docs/design/architecture.png)

Kubernetesの全体像は上記のようなイメージになります。
Master-Worker構成でKubernetes Cluster（クラスター）を組み、Worker NodeにDockerコンテナを配置します。

細かいコンポーネントは説明しきれないので、[ここをご参照ください。](https://kubernetes.io/docs/concepts/overview/components/)

##### 参考
https://github.com/kubernetes/kubernetes/blob/release-1.5/docs/design/architecture.md
https://kubernetes.io/docs/concepts/architecture/nodes/

## 使い始める
Kubernetesの利用方法は大きく2つあります。
1. OSに直接インストールして使う
2. クラウドのマネージドサービスを使う

1.は更に以下のように詳細化されます。

1. OSに直接インストールして使う
    1. ローカルPCで使う
        2. [Minikube](https://kubernetes.io/docs/getting-started-guides/minikube/)：MinikubeはKubernetesのミニ版で、ローカルPCの開発環境として使うものです。シングルノード構成が可能です。
    2. オンプレミスのサーバ（ベアメタル、仮想マシン）で使う
        3. [CloudStackを利用](https://kubernetes.io/docs/getting-started-guides/cloudstack/)
        3. [Ubuntuを利用](https://www.ubuntu.com/kubernetes)
        4. [CoreOSを利用](https://coreos.com/tectonic/docs/latest/tutorials/sandbox/index.html)
        5. [Kubeadmで好きなLinuxOSにインストールする](https://kubernetes.io/docs/setup/independent/create-cluster-kubeadm/)：KubeadmはKubernetesのインストーラで、Ubuntu、Debian、CentOS、RHEL、Fedoraといった主なLinuxOSをサポートしています。
    3. クラウドの仮想マシンで使う
        5. [kops](https://github.com/kubernetes/kops)：AWS向けのKubernetes構築ツールです。最近はGCEやVMware Vsphereでも使えるようです。
        4. [Kubespray](https://github.com/kubernetes-incubator/kubespray)：Ansibleを使ってKubernetesクラスターを構築します。
        5. Kubeadmを使う（上記参照）。

2.は主なクラウドで以下の選択肢があります。

2. クラウドのマネージドサービスを使う
    3. [GCP GKE](https://cloud.google.com/kubernetes-engine/?hl=ja)：Google Cloud PlatformのKubernetesエンジンです。日本リージョンでも使えます。
    4. [Azure AKS](https://azure.microsoft.com/ja-jp/services/container-service/)：MS AzureのKubernetesサービスです。~~現時点（2018年5月）ではプレビューで、日本リージョンでは使えません。~~GAになりましたが、日本リージョン未対応です。
    5. [AWS EKS](https://aws.amazon.com/jp/eks/)：AWSのKubernetesサービスです。~~2017年末に出たばかりで現時点（2018年5月）ではプレビューです。~~GAになりましたが、日本リージョン未対応です。

##### 参考
https://kubernetes.io/docs/setup/pick-right-solution/

## 構築方法
ローカルPCやサーバ、クラウドの仮想マシンにKubernetesクラスターを構築する方法です。

1. ローカルPC：[Minikube](https://kubernetes.io/docs/getting-started-guides/minikube/)
2. サーバ、クラウドの仮想マシン：
    3. [Kubeadm](https://kubernetes.io/docs/setup/independent/install-kubeadm/)：Kubeadmというインストーラを使い、コマンドラインでKubernetesクラスターを構築します。
    4. [Rancher](https://rancher.com/kubernetes/)：GUIでKubernetesクラスターをデプロイし管理するツールです。
    5. [kops](https://github.com/kubernetes/kops)：AWS向けのKubernetes構築ツールです。最近はGCEやVMware Vsphereでも使えるようです。
    4. [Kubespray](https://github.com/kubernetes-incubator/kubespray)：Ansibleを使ってKubernetesクラスターを構築します。

### ネットワーク
Kubernetesクラスターのネットワークを構成するツール：[Cluster Networking](https://kubernetes.io/docs/concepts/cluster-administration/networking/)
ネットワークはクラスター構築時に同時にインストールします。

[networking design](https://github.com/kubernetes/community/blob/master/contributors/design-proposals/network/networking.md)
[GKE/Kubernetes でなぜ Pod と通信できるのか](https://qiita.com/apstndb/items/9d13230c666db80e74d0)

### Persistent Volume
Kubernetes Podsのディスクは基本的に揮発性です。データを永続化するには[Persistent Volumes](https://kubernetes.io/docs/concepts/storage/persistent-volumes/)を使います。
Persistent VolumeにはNFSやAWS EBS、AzureFile等々を設定可能で、同一クラスターに複数設定することができます。

## API
Kubernetesは標準ではコマンドラインで操作しますが、各種言語でAPIを実行することも可能です。
[クライアントライブラリ一覧](https://kubernetes.io/docs/reference/client-libraries/)
公式にサポートされているのはGo、Python、Java、C#、Javascriptで、それ以外にもRubyやElixir、Lisp等々があります。

## Web UI
[Kubernets Dashboard](https://github.com/kubernetes/dashboard/wiki)でノードやリソースをGUIで管理することができます。
イメージは以下のようになっています。

![dashboard](https://github.com/kubernetes/dashboard/blob/master/docs/dashboard-ui.png?raw=true)

[Dashboard自体がKubernetes Deployment](https://raw.githubusercontent.com/kubernetes/dashboard/master/src/deploy/recommended/kubernetes-dashboard.yaml)として稼働する仕組みになっています。
[使い方の参考](https://kubernetes.io/docs/tasks/access-application-cluster/web-ui-dashboard/)

## パッケージマネージャ
Kubernetesでアプリケーションを可動させるための構成ファイルをまとめてデプロイするツールで、[Helm](https://helm.sh/)というものがあります。
<img src="https://docs.helm.sh/src/img/helm-logo.svg" width=50%>

HelmではKubernetesのDeploymentやServiceのデプロイに使うymlファイルを[Charts](https://docs.helm.sh/developing_charts/#charts)というパッケージにまとめてテンプレート化して提供します。
構成の決まっているアプリケーション（Nginx、Jenkins、Wordpressとか）をデプロイする際、公開済みの[Charts](https://hub.kubeapps.com/)を使えば自分でymlを書かずにデプロイできます。

[ドキュメント](https://docs.helm.sh/)
[公開されているCharts](https://hub.kubeapps.com/)

## CI/CD
Kubernetesと一緒に使えるCI/CDの便利なツールです。

- Kubernetes専用：
    - [Skaffold](https://github.com/GoogleContainerTools/skaffold)：Google製のKubernetes向け開発、CI/CDツールです。ソースコードの変更に応じてビルド、テスト、デプロイが可能です。
        - [Skaffold による簡単で反復可能な Kubernetes アプリ開発](https://cloudplatform-jp.googleblog.com/2018/04/introducing-Skaffold-Easy-and-repeatable-Kubernetes-development.html)
        - [Kubernetesの開発環境で困っているならskaffoldを使え](https://qiita.com/tomoyamachi/items/660bd7bb3afff8340307)
    - [Draft](https://draft.sh/) ：こちらはマイクロソフト製のツールです。
        - [Draft.sh](https://github.com/azure/draft)

- Kubernetes専用ではないけど一緒に使える：
    - [CircleCI](https://circleci.com/docs/1.0/docker/)：GKEであればCircleCIが使えるようです。
    - [Jenkins](https://cloud.google.com/solutions/jenkins-on-container-engine?hl=ja)：[おじさま](https://www.google.co.jp/search?q=jenkins+logo&client=chrome-omni&source=lnms&tbm=isch&sa=X&sqi=2&ved=0ahUKEwjCkbjDx-vaAhUDzWMKHT3KDhUQ_AUICigB&biw=1536&bih=734)です。Kubernetes用のJenkinsXでは海の男仕様になります。
        - [Jenkins X](https://www.cloudbees.com/blog/opinionated-kubernetes-and-jenkins-x)
<img src="https://avatars3.githubusercontent.com/u/34566050?s=200&v=4" width=20%>
        - [Jenkins、Packer、Kubernetes を使用したイメージビルドの自動化](https://cloud.google.com/solutions/automated-build-images-with-jenkins-kubernetes?hl=ja)
        - [jenkins-kubernetes-plugin](https://github.com/jenkinsci/kubernetes-plugin)
    - [GitLab](https://about.gitlab.com/kubernetes/)：当初はGitHubのオンプレミス版みたいだったGitLabですが、最近では独自の進化を遂げ、ソースコード管理だけでなくDocker RegistryやCI、Auto DevOpsを提供しています。個人的によく使うのがGitLabです。
        - [Connecting GitLab with a Kubernetes cluster](https://docs.gitlab.com/ee/user/project/clusters/index.html)
    - [Spinnaker](https://www.spinnaker.io/reference/providers/kubernetes/)：Netflixが開発しているCIツールです。日本だと[メルカリ](http://tech.mercari.com/entry/2017/08/21/092743)がKubernetesと組み合わせて使っているようです。[GKE](https://cloud.google.com/solutions/continuous-delivery-spinnaker-kubernetes-engine?hl=ja)でも使えるようです。

## 監視
Kubernetes向けに使える監視ツールです。

- [node-problem-detector](https://github.com/kubernetes/node-problem-detector)：クラスター内の全ノードで稼働するDaemonSetとして動作するノード監視ツールです。
    - [[Kubernetes] node-problem-detector で node の監視をしてみる](https://adtech.cyberagent.io/techblog/archives/3727)

- [Prometheus](https://prometheus.io/docs/introduction/overview/)：Kubernetesと同じCNCFプロジェクトの監視モニタリングツールです。監視情報は[Grafana](https://grafana.com/)で可視化するのが定番なようです。
    - [prometheusによるkubernetesのクラスタ監視](https://qiita.com/miyacomaru/items/6fa4121e7ba765e9efd6)
![Grafanaによる監視イメージ](https://raw.githubusercontent.com/instrumentisto/grafana-dashboard-kubernetes-prometheus/master/screens/pods.png)

- [Datadog](https://www.datadoghq.com/ja/blog/monitoring-kubernetes-datadog/)：監視モニタリングSaaSです。
![image](https://datadog-prod.imgix.net/img/blog/monitoring-kubernetes-with-datadog/kubernetes-dashboard.png?fit=max)

*<追記2018/05/13>*

- [Stackdriver Kubernetes Monitoring](https://cloud.google.com/kubernetes-monitoring/)：GCPの監視ツールである[Stackdriver](https://cloud.google.com/stackdriver/)はKubernetes Clusterの監視サポートしています。[GKEのみならず、オンプレミスのKubernetes Clusterでも利用可能です。](https://cloudplatform.googleblog.com/2018/05/Announcing-Stackdriver-Kubernetes-Monitoring-Comprehensive-Kubernetes-observability-from-the-start.html)

## セキュリティ
Kubernetesのセキュリティ対策です。
重要なことは[ここに書いてあります](https://speakerdeck.com/ianlewis/kubernetes-security-best-practices)ので、それ以外のものをリストします。

- [aqua](https://www.aquasec.com/)：コンテナ向けのセキュリティ対策ソフトウェアです。
- [Trend Micro Deep Security](https://help.deepsecurity.trendmicro.com/using-deep-security-with-docker.html)：DockerやKubernetesをサポートしているようです。

*<追記2018/05/13>*

- [gVisor](https://github.com/google/gvisor)：Dockerコンテナをセキュアにアイソレートするためのツールです。[ホストOS上のコンテナだとセキュリティが心許ない](https://opensource.com/business/14/7/docker-security-selinux)ため、仮想マシン上でコンテナを動かすことでマルチポスト環境でも個々のアプリケーションを分離独立する方法があります。しかしこれだと仮想マシンのオーバーヘッドがパフォーマンスに影響します。[gVisor](https://cloudplatform.googleblog.com/2018/05/Open-sourcing-gVisor-a-sandboxed-container-runtime.html)は仮想マシンを代替としてホストOSとアプリケーション間で、仮想マシンよりも軽量に動作する仕組みです。

これが
<img src="https://3.bp.blogspot.com/-9sbeYJRVIM4/Wue69kqyyaI/AAAAAAAAFio/_pVJMgfwILkHlyG6wUvWnKV6cr3q3G1yACLcBGAs/s640/vm-based-container-technology-gvisor.png" width=50%>

こうなる。
<img src="https://3.bp.blogspot.com/-pM9FMZY2DC0/Wue7KuFh3XI/AAAAAAAAFiw/CUwouamtcwUkQ97I4YS9La4MvnN9FYT4QCLcBGAs/s640/gvisor-sandbox-containers.png" width=50%>

## ディザスタリカバリ
KubernetesのDRとして[Heptio Ark](https://github.com/heptio/ark)があります。
Heptio Arkを使うことで、クラスターやPersistent Volumeのバックアップ、リカバリが可能になります。
バックアップ先にはAWS S3やAzure Blobが設定できます。
[Heptio](https://heptio.com/)はDR以外にもKubernetes向けの[コンフィグ審査](https://github.com/heptio/sonobuoy)や[Ingress Controller](https://github.com/heptio/contour)を提供しています。

あと[Cloud Native Infrastructure](http://go.heptio.com/cloud-native-infrastructure)という本を無料でダウンロードさせてくれます。
<img src="https://go.heptio.com/hs-fs/hubfs/orielly18.png?t=1525277458715&width=804&name=orielly18.png" width=50%>

## マイクロサービス
[Istio](https://istio.io/)

![istio](https://cdn-images-1.medium.com/max/1000/1*3S9mi-Zp8cthiKX96yjApw.jpeg)

Kubernetesでマイクロサービスを管理するためのツールとして[Istio](https://github.com/istio/istio)があります。
Istioのイメージは以下のようになっており、トラフィック管理やアクセスコントロール、ユーザ認証の機能を提供します。
![Istio](https://istio.io/docs/concepts/what-is-istio/img/overview/arch.svg)

[Istio入門 その1 -Istioとは?-](https://qiita.com/Ladicle/items/979d59ef0303425752c8)
[Istio入門 その2 - Istio構築とサンプルアプリのデプロイ -](https://qiita.com/Ladicle/items/e949b0f68ac18b7a95d8)
[Istio入門 その3 -Blue/Greenデプロイメントによるカナリアリリース-](https://qiita.com/Ladicle/items/5a68ff85e15e86781453)

## 管理
*<追記2018/05/13>*

Dockerコンテナを管理するKubernetesを管理するツールです。
Kubernetes自体がいろいろと複雑なツールなので、Kubernetesをもっと楽に管理したいというニーズはありますよね。

- [Rancher](https://rancher.com/kubernetes/)：GUIでKubernetesクラスターをデプロイし管理するツールです。
- [kublr](https://kublr.com/)：エンタープライズレベルでKubernetesを管理するための有償の統合ツールです。
- [Kontana Pharos](https://pharos.sh/)：Kubernetesの構築、運用管理を行う統合ツールです。こちらで[OSS](https://github.com/kontena/pharos-cluster)で公開されており、サポートやコンサルティング、トレーニングが有償になります。[使い方](https://pharos.sh/docs/)


## デザインパターン
[KubernetesやDockerのデザインパターン](https://www.usenix.org/system/files/conference/hotcloud16/hotcloud16_burns.pdf)（[日本語](https://qiita.com/MahoTakara/items/03fc0afe29379026c1f3)）

Kubernetesのデザインパターンは今後に期待だと思います。

## 書籍
Kubernetesを勉強するための書籍です。日本語のもののみ列挙します。
英語の本はたくさんあるのですが、日本語だと少ないですね。

[入門 Kubernetes](https://www.amazon.co.jp/%E5%85%A5%E9%96%80-Kubernetes-Kelsey-Hightower/dp/4873118409/ref=sr_1_1?s=books&ie=UTF8&qid=1525418284&sr=1-1)

[コンテナ・ベース・オーケストレーション Docker/Kubernetesで作るクラウド時代のシステム基盤](https://www.amazon.co.jp/%E3%82%B3%E3%83%B3%E3%83%86%E3%83%8A%E3%83%BB%E3%83%99%E3%83%BC%E3%82%B9%E3%83%BB%E3%82%AA%E3%83%BC%E3%82%B1%E3%82%B9%E3%83%88%E3%83%AC%E3%83%BC%E3%82%B7%E3%83%A7%E3%83%B3-Docker-Kubernetes%E3%81%A7%E4%BD%9C%E3%82%8B%E3%82%AF%E3%83%A9%E3%82%A6%E3%83%89%E6%99%82%E4%BB%A3%E3%81%AE%E3%82%B7%E3%82%B9%E3%83%86%E3%83%A0%E5%9F%BA%E7%9B%A4-%E6%A9%8B%E6%9C%AC-%E7%9B%B4%E5%93%89-ebook/dp/B079Q6S12G/ref=sr_1_1?s=digital-text&ie=UTF8&qid=1525418266&sr=1-1)

[プログラマのためのGoogle Cloud Platform入門 サービスの全体像からクラウドネイティブアプリケーション構築まで](https://www.amazon.co.jp/%E3%83%97%E3%83%AD%E3%82%B0%E3%83%A9%E3%83%9E%E3%81%AE%E3%81%9F%E3%82%81%E3%81%AEGoogle-Cloud-Platform%E5%85%A5%E9%96%80-%E3%82%B5%E3%83%BC%E3%83%93%E3%82%B9%E3%81%AE%E5%85%A8%E4%BD%93%E5%83%8F%E3%81%8B%E3%82%89%E3%82%AF%E3%83%A9%E3%82%A6%E3%83%89%E3%83%8D%E3%82%A4%E3%83%86%E3%82%A3%E3%83%96%E3%82%A2%E3%83%97%E3%83%AA%E3%82%B1%E3%83%BC%E3%82%B7%E3%83%A7%E3%83%B3%E6%A7%8B%E7%AF%89%E3%81%BE%E3%81%A7-%E9%98%BF%E4%BD%90-ebook/dp/B0721JNVGT/ref=asap_bc?ie=UTF8)


## チュートリアル、トレーニング
*<追記2018/06/08>*

Kubernetesを使い始めるためのチュートリアルです。

- [Kubernetes tutorials](https://kubernetes.io/docs/tutorials/)：Kubernetes本家のチュートリアルです。ブラウザ上でコンソールを使い、実際にコマンドを実行できます。まずはここから始めるのが良いと思います。このチュートリアルのオリジナルは[Kataconda](https://www.katacoda.com/courses/kubernetes)で、こちらでも同じものを学習可能です。
- [Introduction to Kubernetes](https://www.edx.org/course/introduction-to-kubernetes)：Linux Foundationが提供するKubernetesの入門チュートリアルです。
- [scalable-microservices-with-kubernetes](https://www.udacity.com/course/scalable-microservices-with-kubernetes--ud615)：UdacityにあるGoogle提供のチュートリアルです。上記よりも実践的で、Kubernete向けのアプリケーション開発ができます。
- [Magic Sandbox](https://magicsandbox.io/)：ブラウザ上のコンソールでコマンドを実行しながら学習できるチュートリアルです。以下のようなインターフェイスで現在アルファ版公開中です。

![MagicSandbox](https://magicsandbox.io/assets/images/image02.png?v63716112938251)

## プレイグラウンド
*<追記2018/06/11>*

ブラウザ上でKubernetesで遊ぶことができます。

- [PWK](https://labs.play-with-k8s.com/)

![image.png](https://qiita-image-store.s3.amazonaws.com/0/55384/85018bf0-f380-1c18-4d37-8712fd71c6d1.png)


## サポート
*<追記2018/05/13>*

Kubernetesを活用するためのサポートプログラムです。
この辺りのラインナップが増えてくると、企業ユースも盛んになってくると思います。

- [jetstack](https://www.jetstack.io/subscription/)：Kubernetesのリファレンス・アーキテクチャやオンライントレーニング、サポートを提供しています。
- [weaveworks](https://www.weave.works/product/enterprise-kubernetes-support/)：こちらはKubernetesのサポートに特化しているようです。

## Meetup
日本では[Kubernetes Meetup Tokyo](https://k8sjp.connpass.com/)が隔月に1回くらいのペースで開催されています。
このMeetupは昨年くらいまでは抽選なしでほぼ必ず参加できていたのですが、年末以降すごい人気が出てしまい、2倍くらいの倍率になっています。
たとえ参加できなくても[Youtubeにチャンネル](https://www.youtube.com/channel/UCwfPNAwzTtZbqQ7VHTxtdhw)があるので、過去の開催分ふくめて閲覧することも可能です。

## 資格
*<追記2018/05/13>*

Kubernetesの資格はCNCFが提供しています。

- [Certified Kubernetes Administrator(CKA)](https://www.cncf.io/certification/expert/cka/)：Kubernetesの運用管理者向け資格です。
- [Certified Kubernetes Application Developer (CKAD)](https://www.cncf.io/certification/expert/cka/ckad/)：Kubernetesのアプリケーション開発者向け資格です。

## 最後に
ほぼリンク集になってしまいました。

個人的な今後の期待は[GPU正式サポート](https://kubernetes.io/docs/tasks/manage-gpus/scheduling-gpus/)と[TFX](http://www.kdd.org/kdd2017/papers/view/tfx-a-tensorflow-based-production-scale-machine-learning-platform)です。
Kubernetesとディープラーニングのライフサイクルって親和性高いと思うんですよね。

*<追記2018/05/13>*

機械学習、ディープラーニング関連でTensorflowをKubernetesで動かす[Kubeflow](https://github.com/kubeflow/kubeflow)も[0.1がリリース](https://kubernetes.io/blog/2018/05/04/announcing-kubeflow-0.1/)が公表されています。
[Kubeflowは昨年末くらいにさわってみた](https://qiita.com/cvusk/items/89392637302e3bc0809a)のですが、0.1はそのうちあらためて遊んでみようと思います。