VagrantでKubeadmを使用したKubernetesクラスタの構築を自動化する on ESXi

# 環境
ESXi 6.7上にVMを4台構築し、以下の設定でk8sクラスタを構築します。

- vm
  - k8s-master cpu:2 mem:4GB HDD:30GB IP:192.168.123.180
  - k8s-node1  cpu:2 mem:4GB HDD:30GB IP:192.168.123.181
  - k8s-node2  cpu:2 mem:4GB HDD:30GB IP:192.168.123.182
  - k8s-node3  cpu:2 mem:4GB HDD:30GB IP:192.168.123.183

- vm
  - jumpserver cpu:1 mem:2GB HDD:40GB IP:192.168.123.163
    
        → Vagrantを実行するサーバとして予め用意しておきます。

- OS
  - 今回、すべてのVMは「CentOS8.2.2004 Minimalインストール」をベースとします。

- インストールするKubernetesのバージョン
  - 1.18.6

以下のようなネットワーク構成で左側のk8sクラスタ環境を構築します。

![k8s-vagrant.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/91405/d7a37cba-1a21-b450-dbe4-a2398dea5664.png)

- - -
# 手順

## Vagrantのインストール

jumpserverにVagrantをインストールします。
VagrantをESXiで使用するために、vagrant-vmware-vsphereプラグインを使用する必要があります。
この記事を書く前に記載した記事がありますので、そちらを参照して構築してください。
→ 「[CentOS8.2にVagrantをインストール](https://qiita.com/yasubehe/items/4cbb03451d2dec58b669#centos82%E3%81%ABvagrant%E3%82%92%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%BC%E3%83%AB)」

- - -
## DHCPサーバのインストール

jumpserverにDHCPサーバをインストールします。
ESXi上に作成するVMにVagrantがアクセスするためのインタフェース（プライマリインタフェース）はDHCPでIPアドレスが割り振られます。「環境」で記載した図の「Vagrant Private network」上にDHCPサーバがない場合はjumpserverにDHCPサーバをインストールします。

参考：[CentOS8でDHCPサーバを作る](https://nwengblog.com/dhcpserver/)

##### パッケージのインストール
```
# dnf install -y dhcp-server
```

<details><summary>実行例</summary><div>

```
[root@jumpserver ~]# dnf install -y dhcp-server
メタデータの期限切れの最終確認: 2:54:04 時間前の 2020年08月01日 07時29分12秒 に 実施しました。
依存関係が解決しました。
================================================================================
 パッケージ         Arch          バージョン                リポジトリー  サイズ
================================================================================
インストール中:
 dhcp-server        x86_64        12:4.3.6-40.el8           BaseOS        529 k

トランザクションの概要
================================================================================
インストール  1 パッケージ

ダウンロードサイズの合計: 529 k
インストール済みのサイズ: 1.2 M
パッケージのダウンロード:
dhcp-server-4.3.6-40.el8.x86_64.rpm             742 kB/s | 529 kB     00:00
--------------------------------------------------------------------------------
合計                                            398 kB/s | 529 kB     00:01
トランザクションの確認を実行中
トランザクションの確認に成功しました。
トランザクションのテストを実行中
トランザクションのテストに成功しました。
トランザクションを実行中
  準備              :                                                       1/1
  scriptlet の実行中: dhcp-server-12:4.3.6-40.el8.x86_64                    1/1
  インストール中    : dhcp-server-12:4.3.6-40.el8.x86_64                    1/1
  scriptlet の実行中: dhcp-server-12:4.3.6-40.el8.x86_64                    1/1
  検証              : dhcp-server-12:4.3.6-40.el8.x86_64                    1/1
Installed products updated.

インストール済み:
  dhcp-server-12:4.3.6-40.el8.x86_64

完了しました!
[root@jumpserver ~]#
```
</div></details>

##### 設定ファイルの作成

```
# vi /etc/dhcp/dhcpd.conf
```

ルーターの設定はコメントしています。
※インターネットへのアクセスはノードIPを使用する構成のため。

```
[root@jumpserver ~]# cat /etc/dhcp/dhcpd.conf
#
# DHCP Server Configuration file.
#   see /usr/share/doc/dhcp-server/dhcpd.conf.example
#   see dhcpd.conf(5) man page
#
subnet 192.168.124.0 netmask 255.255.255.0 {
  range 192.168.124.30 192.168.124.100;
#  option routers 192.168.124.1;
  option broadcast-address 192.168.124.255;
  default-lease-time 86400;
  max-lease-time 129600;
}
[root@jumpserver ~]#
```

##### 設定の確認

```
# dhcpd -t
```

コマンドがエラーにならないことを確認します。

```
[root@jumpserver ~]# dhcpd -t
Internet Systems Consortium DHCP Server 4.3.6
Copyright 2004-2017 Internet Systems Consortium.
All rights reserved.
For info, please visit https://www.isc.org/software/dhcp/
ldap_gssapi_principal is not set,GSSAPI Authentication for LDAP will not be used
Not searching LDAP since ldap-server, ldap-port and ldap-base-dn were not specified in the config file
Config file: /etc/dhcp/dhcpd.conf
Database file: /var/lib/dhcpd/dhcpd.leases
PID file: /var/run/dhcpd.pid
Source compiled to use binary-leases
[root@jumpserver ~]# echo $?
0
[root@jumpserver ~]#
```

#### dhcpdサービスの起動

自動起動設定＋起動します。

```
# systemctl enable --now dhcpd
```

<details><summary>実行例</summary><div>

```
[root@jumpserver ~]# systemctl enable --now dhcpd
Created symlink /etc/systemd/system/multi-user.target.wants/dhcpd.service → /usr/lib/systemd/system/dhcpd.service.
[root@jumpserver ~]# systemctl status dhcpd
● dhcpd.service - DHCPv4 Server Daemon
   Loaded: loaded (/usr/lib/systemd/system/dhcpd.service; enabled; vendor preset: disabled)
   Active: active (running) since Sat 2020-08-08 07:13:00 EDT; 11s ago
     Docs: man:dhcpd(8)
           man:dhcpd.conf(5)
 Main PID: 2658 (dhcpd)
   Status: "Dispatching packets..."
    Tasks: 1 (limit: 11328)
   Memory: 4.9M
   CGroup: /system.slice/dhcpd.service
           mq2658 /usr/sbin/dhcpd -f -cf /etc/dhcp/dhcpd.conf -user dhcpd -group dhcpd --no-pid

 8月 08 07:13:00 jumpserver dhcpd[2658]:
 8月 08 07:13:00 jumpserver dhcpd[2658]: No subnet declaration for ens192 (192.168.123.163).
 8月 08 07:13:00 jumpserver dhcpd[2658]: ** Ignoring requests on ens192.  If this is not what
 8月 08 07:13:00 jumpserver dhcpd[2658]:    you want, please write a subnet declaration
 8月 08 07:13:00 jumpserver dhcpd[2658]:    in your dhcpd.conf file for the network segment
 8月 08 07:13:00 jumpserver dhcpd[2658]:    to which interface ens192 is attached. **
 8月 08 07:13:00 jumpserver dhcpd[2658]:
 8月 08 07:13:00 jumpserver dhcpd[2658]: Sending on   Socket/fallback/fallback-net
 8月 08 07:13:00 jumpserver dhcpd[2658]: Server starting service.
 8月 08 07:13:00 jumpserver systemd[1]: Started DHCPv4 Server Daemon.
[root@jumpserver ~]#
```
</div></details>

- - -

## Vagrantで使うboxイメージの作成

Vagrant Cloudで公開されているboxを使用してもよいのですが、公開されているboxはディスクサイズが大きい（128GB）ので、小さめのディスクサイズ（30GB）のboxを作成します。
この記事を書く前に記載した記事がありますので、そちらを参照して作成してください。
→ 「[Vagrant box用イメージの設定](https://qiita.com/yasubehe/items/4cbb03451d2dec58b669#vagrant-box%E7%94%A8%E3%82%A4%E3%83%A1%E3%83%BC%E3%82%B8%E3%81%AE%E8%A8%AD%E5%AE%9A)」



- - -
## Vagrantfileの作成

Vagrantfileを作成します。
結構長いですが、要所要所にコメントを記載していますので、参考にしてください。
基本的には、「[ESXi上のCentOS8にKubeadmでKubernetesクラスタを構築する](https://qiita.com/yasubehe/items/51a05688d1f66d51531e)」で記載している内容をVagrantfileで実行しています。比較しながら見ていただけるとVagrantfileの理解の助けになるかと思います。
今回、ネットワーク構成でk8sで使用するIP用のインタフェースからインターネットにアクセスできるようにルーティング設定を行う必要があり、「configureBox」の冒頭で処理を追加しています。
パラメタに関しては、config.yamlに外だししていますので、似たような構成を作る場合は、パラメタを変えれば対応できるかと思います。

```
[root@jumpserver ~]# mkdir k8s-vagrant
[root@jumpserver ~]# cd k8s-vagrant
[root@jumpserver k8s-vagrant]# vi Vagrantfile
[root@jumpserver k8s-vagrant]# vi config.yaml
[root@jumpserver k8s-vagrant]#
```


#### Vagrantfile
[Vagrantfile](https://raw.githubusercontent.com/yasubehe/k8s-vagrant/master/k8s-vagrant/Vagrantfile)

```
# -*- mode: ruby -*-
# vi: set ft=ruby :

require 'yaml'

# 設定ファイルの読み込み
settings = YAML.load_file('config.yaml')

##################################
# 共通のプロビジョニングスクリプト
##################################
$configureBox = <<-SHELL

  # デフォルトゲートウェイ,DNSの変更
  # 今回のネットワーク構成ではkubernetes用のIPアドレスを割り当てたIFからインターネット接続を行うため
  # そのIFにデフォルトゲートウェイとDNSサーバのアドレスを設定する。
  # それ以外のネットワークIF（Vagrantで使うIFからはデフォルトゲートウェイ,DNSを削除する）
  # Vagrant用のIFのDHCPサーバでrouterアドレスを割り当てない設定をしていればなくても問題はない。
  #（\は再度エスケープする必要がある）
  while read IFNAME; do
    echo "-----------"
    echo ${IFNAME}
    nmcli -f ipv4 con show "${IFNAME}" | grep -F ${2} > /dev/null 2>&1
    if [ ${?} -eq 0 ]; then
        # 
        nmcli con mod "${IFNAME}" ipv4.ignore-auto-routes no
        nmcli con mod "${IFNAME}" ipv4.ignore-auto-dns no
        nmcli con mod "${IFNAME}" ipv4.gateway ${3}
        nmcli con mod "${IFNAME}" ipv4.gateway ${3}
        nmcli con mod "${IFNAME}" ipv4.dns ${4}
        nmcli con down "${IFNAME}"
        nmcli con up "${IFNAME}"
    else
        # DHCPによる自動ルーティング設定、自動DNS設定の無効化とDNS設定の削除
        nmcli con mod "${IFNAME}" ipv4.ignore-auto-routes yes
        nmcli con mod "${IFNAME}" ipv4.ignore-auto-dns yes
        nmcli con mod "${IFNAME}" ipv4.dns ""
        nmcli con mod "${IFNAME}" ipv4.gateway ""
        nmcli con down "${IFNAME}"
        nmcli con up "${IFNAME}"
    fi
  done < <(nmcli device show | grep -F GENERAL.CONNECTION: | grep -v "\\-\\-" | cut -d: -f2 | sed 's/^[[:blank:]]*//')

  # パッケージ更新
  dnf update -y

  # スワップの無効化
  swapoff -a
  # /etc/fstabの編集（\は再度エスケープする必要がある）
  sed -i '/ swap / s/^\\(.*\\)$/#\\1/g' /etc/fstab

  # /etc/hostsの編集
  echo "${1}" >> /etc/hosts

  # firewalldの無効化
  systemctl disable --now firewalld

  # SELinuxの無効化
  setenforce 0
  sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config

  # ノードのipv6無効化
  echo "net.ipv6.conf.all.disable_ipv6 = 1" >> /etc/sysctl.conf
  echo "net.ipv6.conf.default.disable_ipv6 = 1" >> /etc/sysctl.conf

  # ノードのネットワーク・ブリッジを通過するパケットにiptablesを適用
  cat <<EOF >  /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF

  # ノードのipv4のフォワード設定
  echo "net.ipv4.ip_forward = 1" >> /etc/sysctl.conf

  # 上記sysctl関連の変更を反映
  sysctl --system

  # コンテナランタイムのインストール
  dnf config-manager --add-repo=https://download.docker.com/linux/centos/docker-ce.repo
  dnf install https://download.docker.com/linux/centos/7/x86_64/stable/Packages/containerd.io-1.2.13-3.2.el7.x86_64.rpm -y
  dnf install docker-ce docker-ce-cli -y

  # Dockerデーモンの設定
  mkdir -p /etc/docker
  cat > /etc/docker/daemon.json <<EOF
{
  "exec-opts": ["native.cgroupdriver=systemd"],
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "100m"
  },
  "storage-driver": "overlay2",
  "storage-opts": [
    "overlay2.override_kernel_check=true"
  ]
}
EOF
  mkdir -p /etc/systemd/system/docker.service.d
  systemctl daemon-reload
  systemctl enable --now docker

  # vagrantユーザーをdockerグループに追加
  usermod -aG docker vagrant

  # Kubernetesのレポジトリ追加
  cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://packages.cloud.google.com/yum/repos/kubernetes-el7-\\$basearch
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://packages.cloud.google.com/yum/doc/yum-key.gpg https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg
exclude=kubelet kubeadm kubectl
EOF
  
  # kubeadm、kubelet、kubectlのインストール
  dnf install kubelet kubeadm kubectl --disableexcludes=kubernetes -y
  systemctl enable --now kubelet

  # kubeletがノードのIPアドレスを正しく認識するように設定
  # yamlで指定したIPは追加のネットワークインタフェースに付与される
  # プライマリインタフェースはDHCPでIPがふられるため、ここでは選択しない。
  sed -i "/KUBELET_EXTRA_ARGS=/c\KUBELET_EXTRA_ARGS=--node-ip=${2}" /etc/sysconfig/kubelet
  # kubeletを再起動
  systemctl daemon-reload
  systemctl restart kubelet

  # sshでのパスワード認証を許可する
  sed -i "/^[^#]*PasswordAuthentication[[:space:]]no/c\PasswordAuthentication yes" /etc/ssh/sshd_config
  systemctl restart sshd
SHELL

############################################
# Control Plane のプロビジョニングスクリプト
############################################
$configureMaster = <<-SHELL
  echo "This is Control Plane"
  # kubeadm initの実行
  kubeadm init --apiserver-advertise-address "${1}" --pod-network-cidr "${2}"
  # vagrantユーザーがkubectlを実行できるようにする
  sudo --user=vagrant mkdir -p /home/vagrant/.kube
  cp -i /etc/kubernetes/admin.conf /home/vagrant/.kube/config
  chown $(id -u vagrant):$(id -g vagrant) /home/vagrant/.kube/config
  # rootユーザーがkubectlを実行できるようにする
  mkdir -p /root/.kube
  cp -i /etc/kubernetes/admin.conf /root/.kube/config
  # Calicoのインストール
  export KUBECONFIG=/etc/kubernetes/admin.conf
  kubectl apply -f https://docs.projectcalico.org/manifests/calico.yaml
  # kubectl joinコマンドを保存する
  kubeadm token create --print-join-command > /etc/kubeadm_join_cmd.sh
  chmod +x /etc/kubeadm_join_cmd.sh
SHELL

##########################################
# Worker node のプロビジョニングスクリプト
##########################################
$configureNode = <<-SHELL
  echo "This is worker"
  dnf install -y epel-release
  dnf install -y sshpass
  while :; do
    sshpass -p "vagrant" scp -o StrictHostKeyChecking=no vagrant@${1}:/etc/kubeadm_join_cmd.sh .
    if [ ${?} -eq 0 ]; then
      break
    else
      echo "Wait until the control plane is ready."
      sleep 5
    fi
  done
  sh ./kubeadm_join_cmd.sh
SHELL

Vagrant.configure(2) do |config|
  add_hosts_str = ""
  control_plane_ip = ""
  settings['nodes'].each do |node|
    # /etc/hostsに追加する文字列の生成
    add_hosts_str << "#{node['ip']} #{node['hostname']}\n"
    if node['type'] == "control-plane" then
      # Control PlaneのIP取得
      control_plane_ip = node['ip']
    end
  end

  # 共有フォルダを使用しない
  config.vm.synced_folder '.', '/vagrant', disabled: true

  settings['nodes'].each do |node|
    config.vm.define node['hostname'] do |s|
      # ホスト名
      s.vm.hostname = node['hostname']
      # ノードのベースOSを指定
      s.vm.box = settings['os']
      # ネットワークを指定
      # pod-network-cidrと重ならないように注意
      s.vm.network "private_network", ip: node['ip']

      s.vm.provider :vmware_esxi do |esxi|
        # 構築先のESXiの情報
        esxi.esxi_hostname = settings['esxi']['hostname']
        esxi.esxi_username = settings['esxi']['username']
        esxi.esxi_password = settings['esxi']['password']
        esxi.esxi_hostport = settings['esxi']['hostport']
        esxi.esxi_virtual_network = settings['esxi']['virtualnetworks']
        esxi.esxi_disk_store = settings['esxi']['diskstore']
        esxi.guest_guestos = settings['os_type'] 
        
        # 構築するVMの設定
        esxi.guest_name = node['hostname']
        esxi.guest_username = settings['guest_user']
        esxi.guest_memsize = node['memory']
        esxi.guest_numvcpus = node['cpus']
        esxi.guest_disk_type = node['disk_type']
        esxi.guest_boot_disk_size = node['disk_size']
      end

      # 共通のプロビジョニング
      s.vm.provision "shell", inline: $configureBox, args: [add_hosts_str, node['ip'], settings['default-gw'], settings['dns']]

      if node['type'] == "control-plane" then
        # Contril Plane Node のプロビジョニング
        s.vm.provision :shell do |shell|
          shell.inline = $configureMaster
          shell.args = [control_plane_ip, settings['kubeadm']['pod-network-cidr']]
        end
      else
        # Worker Node のプロビジョニング
        s.vm.provision :shell do |shell|
          shell.inline = $configureNode
          shell.args = [control_plane_ip]
        end
      end
    end
  end
end
```

#### config.yaml
[config.yaml](https://raw.githubusercontent.com/yasubehe/k8s-vagrant/master/k8s-vagrant/config.yaml)

```
esxi:
  hostname: "192.168.123.74"  # ESXiのIPアドレス
  username: "root"            # ESXiのログインユーザ
  password: "prompt:"         # ログインパスワード("prompt:" とするとvagrant up 時に入力)
  hostport: 22                # ESXiのsshログインポート
  virtualnetworks:            # どのネットワークに接続するかを指定
    - "VLAN10"                # プライマリインタフェース
    - "VM Network"            # 追加のネットワークインタフェース
  diskstore: "datastore1"     # 使用するデータストア名

os: "centos8box"              # 使用するOSイメージの指定（自作box）
#os: "generic/centos8"        # 使用するOSイメージの指定（Vagrant Cloudのboxを使う場合）
os_type: "centos8-64Guest"    # OSタイプ

default-gw: "192.168.123.1"   # ネットワークのデフォルトゲートウェイの指定
dns: "192.168.123.1"          # ネットワークのDNSサーバの指定

guest_user: "vagrant"         # VMのゲストユーザ名

kubeadm:
  pod-network-cidr: "10.240.0.0/16"   # kubeadm init実行時の--pod-network-cidrに指定する値

nodes:
  - type: "control-plane"     # Control Planeの設定（1ノードのみ）
    hostname: "k8s-master"    # ホスト名かつ作成するVM名
    cpus: 2                   # CPU数
    memory: 4096              # メモリ(GB)
    ip: "192.168.123.180"     # ノードのIPアドレス
    disk_type: "thin"         # ディスクの形式（thin, thick, eagerzeroedthick）
#    disk_size: "30"          # ブートデバイスのディスクサイズ（GB） generic/centos8は128GBなので30を設定しても小さくはならない
  - type: "worker"            # Workerノードの設定（複数台設定可）
    hostname: "k8s-node1"
    cpus: 2
    memory: 4096
    ip: "192.168.123.181"
    disk_type: "thin"
#    disk_size: "30"
  - type: "worker"
    hostname: "k8s-node2"
    cpus: 2
    memory: 4096
    ip: "192.168.123.182"
    disk_type: "thin"
#    disk_size: "30"
  - type: "worker"
    hostname: "k8s-node3"
    cpus: 2
    memory: 4096
    ip: "192.168.123.183"
    disk_type: "thin"
#    disk_size: "30"
```

- - -
## vagrant up（k8sクラスタの構築）

vagrantを使用してk8sクラスタを構築します。
自分の環境では、約11分で構築が完了しました。

```
# vagrant up
```

<details><summary>実行例</summary><div>

```
[root@jumpserver k8s-vagrant]# time vagrant up

root@192.168.123.74 password:
root@192.168.123.74 password:
root@192.168.123.74 password:
root@192.168.123.74 password:
Bringing machine 'k8s-master' up with 'vmware_esxi' provider...
Bringing machine 'k8s-node1' up with 'vmware_esxi' provider...
Bringing machine 'k8s-node2' up with 'vmware_esxi' provider...
Bringing machine 'k8s-node3' up with 'vmware_esxi' provider...
==> k8s-master: Virtual Machine will be built.
==> k8s-node1: Virtual Machine will be built.
==> k8s-node2: Virtual Machine will be built.
==> k8s-node3: Virtual Machine will be built.
VMware ovftool 4.4.0 (build-15722219)
VMware ovftool 4.4.0 (build-15722219)
VMware ovftool 4.4.0 (build-15722219)
VMware ovftool 4.4.0 (build-15722219)
==> k8s-node2: --- WARNING         : GuestOS:  not supported, using box/ovftool defaults
==> k8s-node2: ---   --- ESXi Summary ---
==> k8s-node2: --- ESXi host       : 192.168.123.74
==> k8s-node2: --- Virtual Network : ["VLAN10", "VM Network"]
==> k8s-node2: --- Disk Store      : datastore1
==> k8s-node2: --- Resource Pool   : /
==> k8s-node2: ---  --- Guest Summary ---
==> k8s-node2: --- VM Name         : k8s-node2
==> k8s-node2: --- Box             : centos8box
==> k8s-node2: --- Box Ver         : 0
==> k8s-node2: --- Memsize (MB)    : 4096
==> k8s-node2: --- CPUS            : 2
==> k8s-node2: --- Disk Type       : thin
==> k8s-node2: --- Guest OS type   : centos8-64
==> k8s-node2: ---   --- Guest Build ---
==> k8s-node1: --- WARNING         : GuestOS:  not supported, using box/ovftool defaults
==> k8s-node1: ---   --- ESXi Summary ---
==> k8s-node1: --- ESXi host       : 192.168.123.74
==> k8s-node1: --- Virtual Network : ["VLAN10", "VM Network"]
==> k8s-node1: --- Disk Store      : datastore1
==> k8s-node1: --- Resource Pool   : /
==> k8s-node1: ---  --- Guest Summary ---
==> k8s-node1: --- VM Name         : k8s-node1
==> k8s-node1: --- Box             : centos8box
==> k8s-node1: --- Box Ver         : 0
==> k8s-node3: --- WARNING         : GuestOS:  not supported, using box/ovftool defaults
==> k8s-node3: ---   --- ESXi Summary ---
==> k8s-node3: --- ESXi host       : 192.168.123.74
==> k8s-node3: --- Virtual Network : ["VLAN10", "VM Network"]
==> k8s-node1: --- Memsize (MB)    : 4096
==> k8s-node1: --- CPUS            : 2
==> k8s-node3: --- Disk Store      : datastore1
==> k8s-node3: --- Resource Pool   : /
==> k8s-node1: --- Disk Type       : thin
==> k8s-node1: --- Guest OS type   : centos8-64
==> k8s-node3: ---  --- Guest Summary ---
==> k8s-node1: ---   --- Guest Build ---
==> k8s-node3: --- VM Name         : k8s-node3
==> k8s-node3: --- Box             : centos8box
==> k8s-master: --- WARNING         : GuestOS:  not supported, using box/ovftool defaults
==> k8s-master: ---   --- ESXi Summary ---
==> k8s-node3: --- Box Ver         : 0
==> k8s-node3: --- Memsize (MB)    : 4096
==> k8s-node3: --- CPUS            : 2
==> k8s-master: --- ESXi host       : 192.168.123.74
==> k8s-node3: --- Disk Type       : thin
==> k8s-master: --- Virtual Network : ["VLAN10", "VM Network"]
==> k8s-node3: --- Guest OS type   : centos8-64
==> k8s-master: --- Disk Store      : datastore1
==> k8s-node3: ---   --- Guest Build ---
==> k8s-master: --- Resource Pool   : /
==> k8s-master: ---  --- Guest Summary ---
==> k8s-master: --- VM Name         : k8s-master
==> k8s-master: --- Box             : centos8box
==> k8s-master: --- Box Ver         : 0
==> k8s-master: --- Memsize (MB)    : 4096
==> k8s-master: --- CPUS            : 2
==> k8s-master: --- Disk Type       : thin
==> k8s-master: --- Guest OS type   : centos8-64
==> k8s-master: ---   --- Guest Build ---
Opening VMX source: /root/.vagrant.d/boxes/centos8box/0/vmware/ZZZZ_k8s-node1.vmx
Opening VMX source: /root/.vagrant.d/boxes/centos8box/0/vmware/ZZZZ_k8s-node2.vmx
Opening VMX source: /root/.vagrant.d/boxes/centos8box/0/vmware/ZZZZ_k8s-node3.vmx
Opening VMX source: /root/.vagrant.d/boxes/centos8box/0/vmware/ZZZZ_k8s-master.vmx
Opening VI target: vi://root@192.168.123.74:443/
Deploying to VI: vi://root@192.168.123.74:443/
Opening VI target: vi://root@192.168.123.74:443/
Opening VI target: vi://root@192.168.123.74:443/
Opening VI target: vi://root@192.168.123.74:443/
Deploying to VI: vi://root@192.168.123.74:443/
Deploying to VI: vi://root@192.168.123.74:443/
Deploying to VI: vi://root@192.168.123.74:443/
Transfer Completed
Transfer Completed
Transfer Completed
Transfer Completed
Completed successfully
Completed successfully
Completed successfully
Completed successfully
==> k8s-master: --- VMID            : 49
==> k8s-node3: --- VMID            : 52
==> k8s-node1: --- VMID            : 50
==> k8s-node2: --- VMID            : 51
==> k8s-node1: --- VM has been Powered On...
==> k8s-node2: --- VM has been Powered On...
==> k8s-master: --- VM has been Powered On...
==> k8s-node3: --- VM has been Powered On...
==> k8s-node1: --- Waiting for state "running"
==> k8s-node2: --- Waiting for state "running"
==> k8s-master: --- Waiting for state "running"
==> k8s-node3: --- Waiting for state "running"
==> k8s-master: --- Success, state is now "running"
==> k8s-master: --- Configuring     : 192.168.123.180/255.255.255.0 on VM Network
    k8s-master:
    k8s-master: Vagrant insecure key detected. Vagrant will automatically replace
    k8s-master: this with a newly generated keypair for better security.
    k8s-master:
    k8s-master: Inserting generated public key within guest...
    k8s-master: Removing insecure key from the guest if it's present...
    k8s-master: Key inserted! Disconnecting and reconnecting using new SSH key...
==> k8s-node1: --- Success, state is now "running"
==> k8s-node1: --- Configuring     : 192.168.123.181/255.255.255.0 on VM Network
==> k8s-node2: --- Success, state is now "running"
==> k8s-node3: --- Success, state is now "running"
==> k8s-node3: --- Configuring     : 192.168.123.183/255.255.255.0 on VM Network
==> k8s-node2: --- Configuring     : 192.168.123.182/255.255.255.0 on VM Network
    k8s-master: SSH address: 192.168.124.31:22
    k8s-master: SSH username: vagrant
    k8s-master: SSH auth method: private key
    k8s-node1:
    k8s-node1: Vagrant insecure key detected. Vagrant will automatically replace
    k8s-node1: this with a newly generated keypair for better security.
    k8s-node3:
    k8s-node3: Vagrant insecure key detected. Vagrant will automatically replace
    k8s-node3: this with a newly generated keypair for better security.
    k8s-node2:
    k8s-node2: Vagrant insecure key detected. Vagrant will automatically replace
    k8s-node2: this with a newly generated keypair for better security.
    k8s-node1:
    k8s-node1: Inserting generated public key within guest...
    k8s-node2:
    k8s-node2: Inserting generated public key within guest...
    k8s-node3:
    k8s-node3: Inserting generated public key within guest...
    k8s-node1: Removing insecure key from the guest if it's present...
    k8s-node2: Removing insecure key from the guest if it's present...
    k8s-node3: Removing insecure key from the guest if it's present...
    k8s-node1: Key inserted! Disconnecting and reconnecting using new SSH key...
    k8s-node2: Key inserted! Disconnecting and reconnecting using new SSH key...
==> k8s-master: Setting hostname...
    k8s-node3: Key inserted! Disconnecting and reconnecting using new SSH key...
==> k8s-master: Running provisioner: shell...
    k8s-master: Running: inline script
    k8s-node1: SSH address: 192.168.124.34:22
    k8s-master: -----------
    k8s-master: ens192
    k8s-node1: SSH username: vagrant
    k8s-node1: SSH auth method: private key
    k8s-master: 接続 'ens192' が正常に非アクティブ化されました (D-Bus アクティブパス: /org/freedesktop/NetworkManager/ActiveConnection/1)
    k8s-master: 接続が正常にアクティベートされました (D-Bus アクティブパス: /org/freedesktop/NetworkManager/ActiveConnection/3)
    k8s-master: -----------
    k8s-master: System ens224
    k8s-node3: SSH address: 192.168.124.32:22
    k8s-node3: SSH username: vagrant
    k8s-master: 接続 'System ens224' が正常に非アクティブ化されました (D-Bus アクティブパス: /org/freedesktop/NetworkManager/ActiveConnection/2)
    k8s-node3: SSH auth method: private key
    k8s-node2: SSH address: 192.168.124.33:22
    k8s-node2: SSH username: vagrant
    k8s-node2: SSH auth method: private key
    k8s-master: 接続が正常にアクティベートされました (D-Bus アクティブパス: /org/freedesktop/NetworkManager/ActiveConnection/5)
==> k8s-node1: Setting hostname...
==> k8s-node2: Setting hostname...
==> k8s-node3: Setting hostname...
==> k8s-node1: Running provisioner: shell...
==> k8s-node2: Running provisioner: shell...
==> k8s-node3: Running provisioner: shell...
    k8s-node1: Running: inline script
    k8s-node2: Running: inline script
    k8s-node1: -----------
    k8s-node1: ens192
    k8s-master: CentOS-8 - AppStream                            1.3 MB/s | 5.8 MB     00:04
    k8s-node2: -----------
    k8s-node2: ens192
    k8s-node3: Running: inline script
    k8s-node1: 接続 'ens192' が正常に非アクティブ化されました (D-Bus アクティブパス: /org/freedesktop/NetworkManager/ActiveConnection/1)
    k8s-node1: 接続が正常にアクティベートされました (D-Bus アクティブパス: /org/freedesktop/NetworkManager/ActiveConnection/3)
    k8s-node1: -----------
    k8s-node1: System ens224
    k8s-node2: 接続 'ens192' が正常に非アクティブ化されました (D-Bus アクティブパス: /org/freedesktop/NetworkManager/ActiveConnection/1)
    k8s-node2: 接続が正常にアクティベートされました (D-Bus アクティブパス: /org/freedesktop/NetworkManager/ActiveConnection/3)
    k8s-node2: -----------
    k8s-node2: System ens224
    k8s-node3: -----------
    k8s-node3: ens192
    k8s-node1: 接続 'System ens224' が正常に非アクティブ化されました (D-Bus アクティブパス: /org/freedesktop/NetworkManager/ActiveConnection/2)
    k8s-node1: 接続が正常にアクティベートされました (D-Bus アクティブパス: /org/freedesktop/NetworkManager/ActiveConnection/5)
    k8s-node2: 接続 'System ens224' が正常に非アクティブ化されました (D-Bus アクティブパス: /org/freedesktop/NetworkManager/ActiveConnection/2)
    k8s-node2: 接続が正常にアクティベートされました (D-Bus アクティブパス: /org/freedesktop/NetworkManager/ActiveConnection/5)
    k8s-node3: 接続 'ens192' が正常に非アクティブ化されました (D-Bus アクティブパス: /org/freedesktop/NetworkManager/ActiveConnection/1)
    k8s-node3: 接続が正常にアクティベートされました (D-Bus アクティブパス: /org/freedesktop/NetworkManager/ActiveConnection/3)
    k8s-node3: -----------
    k8s-node3: System ens224
    k8s-node3: 接続 'System ens224' が正常に非アクティブ化されました (D-Bus アクティブパス: /org/freedesktop/NetworkManager/ActiveConnection/2)
    k8s-node3: 接続が正常にアクティベートされました (D-Bus アクティブパス: /org/freedesktop/NetworkManager/ActiveConnection/5)
    k8s-master: CentOS-8 - Base                                 1.6 MB/s | 2.2 MB     00:01
    k8s-node1: CentOS-8 - AppStream                            3.7 MB/s | 5.8 MB     00:01
    k8s-node3: CentOS-8 - AppStream                            3.0 MB/s | 5.8 MB     00:01
    k8s-master: CentOS-8 - Extras                               7.3 kB/s | 7.0 kB     00:00
    k8s-node2: CentOS-8 - AppStream                            1.8 MB/s | 5.8 MB     00:03
    k8s-master: 依存関係が解決しました。
    k8s-master: ================================================================================
    k8s-master:  パッケージ        Arch            バージョン             リポジトリー    サイズ
    k8s-master: ================================================================================
    k8s-master: アップグレード中:
    k8s-master:  shim-x64          x86_64          15-15.el8_2            BaseOS          666 k
    k8s-master:
    k8s-master: トランザクションの概要
    k8s-master: ================================================================================
    k8s-master: アップグレード  1 パッケージ
    k8s-master: ダウンロードサイズの合計: 666 k
    k8s-master: パッケージのダウンロード:
    k8s-node1: CentOS-8 - Base                                 1.8 MB/s | 2.2 MB     00:01
    k8s-node3: CentOS-8 - Base                                 2.2 MB/s | 2.2 MB     00:00
    k8s-master: shim-x64-15-15.el8_2.x86_64.rpm                 2.9 MB/s | 666 kB     00:00
    k8s-master: --------------------------------------------------------------------------------
    k8s-master: 合計                                            666 kB/s | 666 kB     00:00
    k8s-master: トランザクションの確認を実行中
    k8s-master: トランザクションの確認に成功しました。
    k8s-master: トランザクションのテストを実行中
    k8s-master: トランザクションのテストに成功しました。
    k8s-master: トランザクションを実行中
    k8s-master:   準備              :                                                       1/1
    k8s-master:
    k8s-master:   アップグレード中  : shim-x64-15-15.el8_2.x86_64                           1/2
    k8s-master:
    k8s-master: エラー: lsetfilecon: (/boot/efi/EFI/BOOT/BOOTX64.EFI;5f2ee9a3, system_u:object_r:boot_t:s0) サポートされていない操作です
    k8s-master: エラー: lsetfilecon: (/boot/efi/EFI/BOOT/fbx64.efi;5f2ee9a3, system_u:object_r:boot_t:s0) サポートされていない操作です
    k8s-master: エラー: lsetfilecon: (/boot/efi/EFI/centos/BOOTX64.CSV;5f2ee9a3, system_u:object_r:boot_t:s0) サポートされていない操作です
    k8s-master: エラー: lsetfilecon: (/boot/efi/EFI/centos/mmx64.efi;5f2ee9a3, system_u:object_r:boot_t:s0) サポートされていない操作です
    k8s-master: エラー: lsetfilecon: (/boot/efi/EFI/centos/shimx64-centos.efi;5f2ee9a3, system_u:object_r:boot_t:s0) サポートされていない操作です
    k8s-master: エラー: lsetfilecon: (/boot/efi/EFI/centos/shimx64.efi;5f2ee9a3, system_u:object_r:boot_t:s0) サポートされていない操作です
    k8s-master:   整理              : shim-x64-15-13.el8.x86_64                             2/2
    k8s-master:
    k8s-master:   検証              : shim-x64-15-15.el8_2.x86_64                           1/2
    k8s-master:
    k8s-master:   検証              : shim-x64-15-13.el8.x86_64                             2/2
    k8s-master:
    k8s-master:
    k8s-master: アップグレード済み:
    k8s-master:   shim-x64-15-15.el8_2.x86_64
    k8s-master: 完了しました!
    k8s-master: Removed /etc/systemd/system/multi-user.target.wants/firewalld.service.
    k8s-master: Removed /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
    k8s-node1: CentOS-8 - Extras                               9.4 kB/s | 7.0 kB     00:00
    k8s-node2: CentOS-8 - Base                                 2.1 MB/s | 2.2 MB     00:01
    k8s-master: * Applying /usr/lib/sysctl.d/10-default-yama-scope.conf ...
    k8s-master: kernel.yama.ptrace_scope = 0
    k8s-master: * Applying /usr/lib/sysctl.d/50-coredump.conf ...
    k8s-master: kernel.core_pattern = |/usr/lib/systemd/systemd-coredump %P %u %g %s %t %c %h %e
    k8s-master: * Applying /usr/lib/sysctl.d/50-default.conf ...
    k8s-master: kernel.sysrq = 16
    k8s-master: kernel.core_uses_pid = 1
    k8s-master: kernel.kptr_restrict = 1
    k8s-master: net.ipv4.conf.all.rp_filter = 1
    k8s-master: net.ipv4.conf.all.accept_source_route = 0
    k8s-master: net.ipv4.conf.all.promote_secondaries = 1
    k8s-master: net.core.default_qdisc = fq_codel
    k8s-master: fs.protected_hardlinks = 1
    k8s-master: fs.protected_symlinks = 1
    k8s-master: * Applying /usr/lib/sysctl.d/50-libkcapi-optmem_max.conf ...
    k8s-master: net.core.optmem_max = 81920
    k8s-master: * Applying /usr/lib/sysctl.d/50-pid-max.conf ...
    k8s-master: kernel.pid_max = 4194304
    k8s-master: * Applying /etc/sysctl.d/99-sysctl.conf ...
    k8s-master: net.ipv6.conf.all.disable_ipv6 = 1
    k8s-master: net.ipv6.conf.default.disable_ipv6 = 1
    k8s-master: net.ipv4.ip_forward = 1
    k8s-master: * Applying /etc/sysctl.d/k8s.conf ...
    k8s-master: * Applying /etc/sysctl.conf ...
    k8s-master: net.ipv6.conf.all.disable_ipv6 = 1
    k8s-master: net.ipv6.conf.default.disable_ipv6 = 1
    k8s-master: net.ipv4.ip_forward = 1
    k8s-node3: CentOS-8 - Extras                               8.9 kB/s | 7.0 kB     00:00
    k8s-master: repo の追加: https://download.docker.com/linux/centos/docker-ce.repo
    k8s-node1: 依存関係が解決しました。
    k8s-node1: ================================================================================
    k8s-node1:  パッケージ        Arch            バージョン             リポジトリー    サイズ
    k8s-node1: ================================================================================
    k8s-node1: アップグレード中:
    k8s-node1:  shim-x64          x86_64          15-15.el8_2            BaseOS          666 k
    k8s-node1:
    k8s-node1: トランザクションの概要
    k8s-node1: ================================================================================
    k8s-node1: アップグレード  1 パッケージ
    k8s-node1: ダウンロードサイズの合計: 666 k
    k8s-node1: パッケージのダウンロード:
    k8s-node3: 依存関係が解決しました。
    k8s-node3: ================================================================================
    k8s-node3:  パッケージ        Arch            バージョン             リポジトリー    サイズ
    k8s-node3: ================================================================================
    k8s-node3: アップグレード中:
    k8s-node3:  shim-x64          x86_64          15-15.el8_2            BaseOS          666 k
    k8s-node3:
    k8s-node3: トランザクションの概要
    k8s-node3: ================================================================================
    k8s-node3: アップグレード  1 パッケージ
    k8s-node3: ダウンロードサイズの合計: 666 k
    k8s-node3: パッケージのダウンロード:
    k8s-master: Docker CE Stable - x86_64                       108 kB/s |  25 kB     00:00
    k8s-node2: CentOS-8 - Extras                                11 kB/s | 7.0 kB     00:00
    k8s-node1: shim-x64-15-15.el8_2.x86_64.rpm                 2.9 MB/s | 666 kB     00:00
    k8s-node1: --------------------------------------------------------------------------------
    k8s-node1: 合計                                            666 kB/s | 666 kB     00:01
    k8s-node1: トランザクションの確認を実行中
    k8s-node1: トランザクションの確認に成功しました。
    k8s-node1: トランザクションのテストを実行中
    k8s-node1: トランザクションのテストに成功しました。
    k8s-node1: トランザクションを実行中
    k8s-node1:   準備              :                                                       1/1
    k8s-node1:
    k8s-node1:   アップグレード中  : shim-x64-15-15.el8_2.x86_64                           1/2
    k8s-node1:
    k8s-node1: エラー: lsetfilecon: (/boot/efi/EFI/BOOT/BOOTX64.EFI;5f2ee9a6, system_u:object_r:boot_t:s0) サポートされていない操作です
    k8s-node1: エラー: lsetfilecon: (/boot/efi/EFI/BOOT/fbx64.efi;5f2ee9a6, system_u:object_r:boot_t:s0) サポートされていない操作です
    k8s-node1: エラー: lsetfilecon: (/boot/efi/EFI/centos/BOOTX64.CSV;5f2ee9a6, system_u:object_r:boot_t:s0) サポートされていない操作です
    k8s-node1: エラー: lsetfilecon: (/boot/efi/EFI/centos/mmx64.efi;5f2ee9a6, system_u:object_r:boot_t:s0) サポートされていない操作です
    k8s-node1: エラー: lsetfilecon: (/boot/efi/EFI/centos/shimx64-centos.efi;5f2ee9a6, system_u:object_r:boot_t:s0) サポートされていない操作です
    k8s-node1: エラー: lsetfilecon: (/boot/efi/EFI/centos/shimx64.efi;5f2ee9a6, system_u:object_r:boot_t:s0) サポートされていない操作です
    k8s-node1:   整理              : shim-x64-15-13.el8.x86_64                             2/2
    k8s-node3: shim-x64-15-15.el8_2.x86_64.rpm                 2.6 MB/s | 666 kB     00:00
    k8s-node3: --------------------------------------------------------------------------------
    k8s-node3: 合計                                            843 kB/s | 666 kB     00:00
    k8s-node1:
    k8s-node1:   検証              : shim-x64-15-15.el8_2.x86_64                           1/2
    k8s-node1:
    k8s-node1:   検証              : shim-x64-15-13.el8.x86_64                             2/2
    k8s-node3: トランザクションの確認を実行中
    k8s-node3: トランザクションの確認に成功しました。
    k8s-node3: トランザクションのテストを実行中
    k8s-node3: トランザクションのテストに成功しました。
    k8s-node3: トランザクションを実行中
    k8s-node3:   準備              :                                                       1/1
    k8s-node2: 依存関係が解決しました。
    k8s-node2: ================================================================================
    k8s-node2:  パッケージ        Arch            バージョン             リポジトリー    サイズ
    k8s-node2: ================================================================================
    k8s-node2: アップグレード中:
    k8s-node2:  shim-x64          x86_64          15-15.el8_2            BaseOS          666 k
    k8s-node2:
    k8s-node2: トランザクションの概要
    k8s-node2: ================================================================================
    k8s-node2: アップグレード  1 パッケージ
    k8s-node2: ダウンロードサイズの合計: 666 k
    k8s-node2: パッケージのダウンロード:
    k8s-node1:
    k8s-node1:
    k8s-node1: アップグレード済み:
    k8s-node1:   shim-x64-15-15.el8_2.x86_64
    k8s-node1:
    k8s-node1: 完了しました!
    k8s-node3:
    k8s-node3:   アップグレード中  : shim-x64-15-15.el8_2.x86_64                           1/2
    k8s-node3:
    k8s-node3: エラー: lsetfilecon: (/boot/efi/EFI/BOOT/BOOTX64.EFI;5f2ee9a6, system_u:object_r:boot_t:s0) サポートされていない操作です
    k8s-node3: エラー: lsetfilecon: (/boot/efi/EFI/BOOT/fbx64.efi;5f2ee9a6, system_u:object_r:boot_t:s0) サポートされていない操作です
    k8s-node3: エラー: lsetfilecon: (/boot/efi/EFI/centos/BOOTX64.CSV;5f2ee9a6, system_u:object_r:boot_t:s0) サポートされていない操作です
    k8s-node3: エラー: lsetfilecon: (/boot/efi/EFI/centos/mmx64.efi;5f2ee9a6, system_u:object_r:boot_t:s0) サポートされていない操作です
    k8s-node3: エラー: lsetfilecon: (/boot/efi/EFI/centos/shimx64-centos.efi;5f2ee9a6, system_u:object_r:boot_t:s0) サポートされていない操作です
    k8s-node3: エラー: lsetfilecon: (/boot/efi/EFI/centos/shimx64.efi;5f2ee9a6, system_u:object_r:boot_t:s0) サポートされていない操作です
    k8s-node3:   整理              : shim-x64-15-13.el8.x86_64                             2/2
    k8s-node1: Removed /etc/systemd/system/multi-user.target.wants/firewalld.service.
    k8s-node1: Removed /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
    k8s-node3:
    k8s-node3:   検証              : shim-x64-15-15.el8_2.x86_64                           1/2
    k8s-node3:
    k8s-node3:   検証              : shim-x64-15-13.el8.x86_64                             2/2
    k8s-master: containerd.io-1.2.13-3.2.el7.x86_64.rpm          47 MB/s |  25 MB     00:00
    k8s-node3:
    k8s-node3:
    k8s-node3: アップグレード済み:
    k8s-node3:   shim-x64-15-15.el8_2.x86_64
    k8s-node3: 完了しました!
    k8s-master: 依存関係が解決しました。
    k8s-master: ===================================================================================================
    k8s-master:  パッケージ                     Arch    バージョン                              リポジトリー サイズ
    k8s-master: ===================================================================================================
    k8s-master: インストール中:
    k8s-master:  containerd.io                  x86_64  1.2.13-3.2.el7                          @commandline   25 M
    k8s-master: 依存関係のインストール中:
    k8s-master:  checkpolicy                    x86_64  2.9-1.el8                               BaseOS        348 k
    k8s-master:  container-selinux              noarch  2:2.124.0-1.module_el8.2.0+305+5e198a41 AppStream      47 k
    k8s-master:  policycoreutils-python-utils   noarch  2.9-9.el8                               BaseOS        251 k
    k8s-master:  python3-audit                  x86_64  3.0-0.17.20191104git1c2f876.el8         BaseOS         86 k
    k8s-master:  python3-libsemanage            x86_64  2.9-2.el8                               BaseOS        127 k
    k8s-master:  python3-policycoreutils        noarch  2.9-9.el8                               BaseOS        2.2 M
    k8s-master:  python3-setools                x86_64  4.2.2-2.el8                             BaseOS        601 k
    k8s-master: モジュールストリームの有効化中:
    k8s-master:  container-tools                        rhel8
    k8s-master:
    k8s-master: トランザクションの概要
    k8s-master: ===================================================================================================
    k8s-master: インストール  8 パッケージ
    k8s-master: 合計サイズ: 29 M
    k8s-master: ダウンロードサイズの合計: 3.7 M
    k8s-master: インストール済みのサイズ: 108 M
    k8s-master: パッケージのダウンロード:
    k8s-node3: Removed /etc/systemd/system/multi-user.target.wants/firewalld.service.
    k8s-node3: Removed /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
    k8s-node1: * Applying /usr/lib/sysctl.d/10-default-yama-scope.conf ...
    k8s-node1: kernel.yama.ptrace_scope = 0
    k8s-node1: * Applying /usr/lib/sysctl.d/50-coredump.conf ...
    k8s-node1: kernel.core_pattern = |/usr/lib/systemd/systemd-coredump %P %u %g %s %t %c %h %e
    k8s-node1: * Applying /usr/lib/sysctl.d/50-default.conf ...
    k8s-node1: kernel.sysrq = 16
    k8s-node1: kernel.core_uses_pid = 1
    k8s-node1: kernel.kptr_restrict = 1
    k8s-node1: net.ipv4.conf.all.rp_filter = 1
    k8s-node1: net.ipv4.conf.all.accept_source_route = 0
    k8s-node1: net.ipv4.conf.all.promote_secondaries = 1
    k8s-node1: net.core.default_qdisc = fq_codel
    k8s-node1: fs.protected_hardlinks = 1
    k8s-node1: fs.protected_symlinks = 1
    k8s-node1: * Applying /usr/lib/sysctl.d/50-libkcapi-optmem_max.conf ...
    k8s-node1: net.core.optmem_max = 81920
    k8s-node1: * Applying /usr/lib/sysctl.d/50-pid-max.conf ...
    k8s-node1: kernel.pid_max = 4194304
    k8s-node1: * Applying /etc/sysctl.d/99-sysctl.conf ...
    k8s-node1: net.ipv6.conf.all.disable_ipv6 = 1
    k8s-node1: net.ipv6.conf.default.disable_ipv6 = 1
    k8s-node1: net.ipv4.ip_forward = 1
    k8s-node1: * Applying /etc/sysctl.d/k8s.conf ...
    k8s-node1: * Applying /etc/sysctl.conf ...
    k8s-node1: net.ipv6.conf.all.disable_ipv6 = 1
    k8s-node1: net.ipv6.conf.default.disable_ipv6 = 1
    k8s-node1: net.ipv4.ip_forward = 1
    k8s-node3: * Applying /usr/lib/sysctl.d/10-default-yama-scope.conf ...
    k8s-node3: kernel.yama.ptrace_scope = 0
    k8s-node3: * Applying /usr/lib/sysctl.d/50-coredump.conf ...
    k8s-node3: kernel.core_pattern = |/usr/lib/systemd/systemd-coredump %P %u %g %s %t %c %h %e
    k8s-node3: * Applying /usr/lib/sysctl.d/50-default.conf ...
    k8s-node3: kernel.sysrq = 16
    k8s-node3: kernel.core_uses_pid = 1
    k8s-node3: kernel.kptr_restrict = 1
    k8s-node3: net.ipv4.conf.all.rp_filter = 1
    k8s-node3: net.ipv4.conf.all.accept_source_route = 0
    k8s-node3: net.ipv4.conf.all.promote_secondaries = 1
    k8s-node3: net.core.default_qdisc = fq_codel
    k8s-node3: fs.protected_hardlinks = 1
    k8s-node3: fs.protected_symlinks = 1
    k8s-node3: * Applying /usr/lib/sysctl.d/50-libkcapi-optmem_max.conf ...
    k8s-node3: net.core.optmem_max = 81920
    k8s-node3: * Applying /usr/lib/sysctl.d/50-pid-max.conf ...
    k8s-node3: kernel.pid_max = 4194304
    k8s-node3: * Applying /etc/sysctl.d/99-sysctl.conf ...
    k8s-node3: net.ipv6.conf.all.disable_ipv6 = 1
    k8s-node3: net.ipv6.conf.default.disable_ipv6 = 1
    k8s-node3: net.ipv4.ip_forward = 1
    k8s-node3: * Applying /etc/sysctl.d/k8s.conf ...
    k8s-node3: * Applying /etc/sysctl.conf ...
    k8s-node3: net.ipv6.conf.all.disable_ipv6 = 1
    k8s-node3: net.ipv6.conf.default.disable_ipv6 = 1
    k8s-node3: net.ipv4.ip_forward = 1
    k8s-node2: shim-x64-15-15.el8_2.x86_64.rpm                 2.6 MB/s | 666 kB     00:00
    k8s-node2: --------------------------------------------------------------------------------
    k8s-node2: 合計                                            662 kB/s | 666 kB     00:01
    k8s-node2: トランザクションの確認を実行中
    k8s-node2: トランザクションの確認に成功しました。
    k8s-node2: トランザクションのテストを実行中
    k8s-node2: トランザクションのテストに成功しました。
    k8s-node2: トランザクションを実行中
    k8s-node1: repo の追加: https://download.docker.com/linux/centos/docker-ce.repo
    k8s-node2:   準備              :                                                       1/1
    k8s-node2:
    k8s-node2:   アップグレード中  : shim-x64-15-15.el8_2.x86_64                           1/2
    k8s-node2:
    k8s-node2: エラー: lsetfilecon: (/boot/efi/EFI/BOOT/BOOTX64.EFI;5f2ee9a7, system_u:object_r:boot_t:s0) サポートされていない操作です
    k8s-node2: エラー: lsetfilecon: (/boot/efi/EFI/BOOT/fbx64.efi;5f2ee9a7, system_u:object_r:boot_t:s0) サポートされていない操作です
    k8s-node2: エラー: lsetfilecon: (/boot/efi/EFI/centos/BOOTX64.CSV;5f2ee9a7, system_u:object_r:boot_t:s0) サポートされていない操作です
    k8s-node2: エラー: lsetfilecon: (/boot/efi/EFI/centos/mmx64.efi;5f2ee9a7, system_u:object_r:boot_t:s0) サポートされていない操作です
    k8s-node2: エラー: lsetfilecon: (/boot/efi/EFI/centos/shimx64-centos.efi;5f2ee9a7, system_u:object_r:boot_t:s0) サポートされていない操作です
    k8s-node2: エラー: lsetfilecon: (/boot/efi/EFI/centos/shimx64.efi;5f2ee9a7, system_u:object_r:boot_t:s0) サポートされていない操作です
    k8s-node2:   整理              : shim-x64-15-13.el8.x86_64                             2/2
    k8s-node3: repo の追加: https://download.docker.com/linux/centos/docker-ce.repo
    k8s-node2:
    k8s-node2:   検証              : shim-x64-15-15.el8_2.x86_64                           1/2
    k8s-node2:
    k8s-node2:   検証              : shim-x64-15-13.el8.x86_64                             2/2
    k8s-master: (1/7): container-selinux-2.124.0-1.module_el8.2 378 kB/s |  47 kB     00:00
    k8s-node2:
    k8s-node2:
    k8s-node2: アップグレード済み:
    k8s-node2:   shim-x64-15-15.el8_2.x86_64
    k8s-node2: 完了しました!
    k8s-master: (2/7): policycoreutils-python-utils-2.9-9.el8.n 1.4 MB/s | 251 kB     00:00
    k8s-master: (3/7): checkpolicy-2.9-1.el8.x86_64.rpm         1.7 MB/s | 348 kB     00:00
    k8s-master: (4/7): python3-libsemanage-2.9-2.el8.x86_64.rpm 2.4 MB/s | 127 kB     00:00
    k8s-master: (5/7): python3-audit-3.0-0.17.20191104git1c2f87 784 kB/s |  86 kB     00:00
    k8s-node2: Removed /etc/systemd/system/multi-user.target.wants/firewalld.service.
    k8s-node2: Removed /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
    k8s-master: (6/7): python3-setools-4.2.2-2.el8.x86_64.rpm   4.7 MB/s | 601 kB     00:00
    k8s-master: (7/7): python3-policycoreutils-2.9-9.el8.noarch 6.0 MB/s | 2.2 MB     00:00
    k8s-master: --------------------------------------------------------------------------------
    k8s-master: 合計                                            2.5 MB/s | 3.7 MB     00:01
    k8s-master: トランザクションの確認を実行中
    k8s-master: トランザクションの確認に成功しました。
    k8s-master: トランザクションのテストを実行中
    k8s-node1: Docker CE Stable - x86_64                       114 kB/s |  25 kB     00:00
    k8s-master: トランザクションのテストに成功しました。
    k8s-master: トランザクションを実行中
    k8s-node3: Docker CE Stable - x86_64                       117 kB/s |  25 kB     00:00
    k8s-node2: * Applying /usr/lib/sysctl.d/10-default-yama-scope.conf ...
    k8s-node2: kernel.yama.ptrace_scope = 0
    k8s-node2: * Applying /usr/lib/sysctl.d/50-coredump.conf ...
    k8s-node2: kernel.core_pattern = |/usr/lib/systemd/systemd-coredump %P %u %g %s %t %c %h %e
    k8s-node2: * Applying /usr/lib/sysctl.d/50-default.conf ...
    k8s-node2: kernel.sysrq = 16
    k8s-node2: kernel.core_uses_pid = 1
    k8s-node2: kernel.kptr_restrict = 1
    k8s-node2: net.ipv4.conf.all.rp_filter = 1
    k8s-node2: net.ipv4.conf.all.accept_source_route = 0
    k8s-node2: net.ipv4.conf.all.promote_secondaries = 1
    k8s-node2: net.core.default_qdisc = fq_codel
    k8s-node2: fs.protected_hardlinks = 1
    k8s-node2: fs.protected_symlinks = 1
    k8s-node2: * Applying /usr/lib/sysctl.d/50-libkcapi-optmem_max.conf ...
    k8s-node2: net.core.optmem_max = 81920
    k8s-node2: * Applying /usr/lib/sysctl.d/50-pid-max.conf ...
    k8s-node2: kernel.pid_max = 4194304
    k8s-node2: * Applying /etc/sysctl.d/99-sysctl.conf ...
    k8s-node2: net.ipv6.conf.all.disable_ipv6 = 1
    k8s-node2: net.ipv6.conf.default.disable_ipv6 = 1
    k8s-node2: net.ipv4.ip_forward = 1
    k8s-node2: * Applying /etc/sysctl.d/k8s.conf ...
    k8s-node2: * Applying /etc/sysctl.conf ...
    k8s-node2: net.ipv6.conf.all.disable_ipv6 = 1
    k8s-node2: net.ipv6.conf.default.disable_ipv6 = 1
    k8s-node2: net.ipv4.ip_forward = 1
    k8s-master:   準備              :                                                       1/1
    k8s-master:
    k8s-master:   インストール中    : python3-setools-4.2.2-2.el8.x86_64                    1/8
    k8s-master:
    k8s-master:   インストール中    : python3-libsemanage-2.9-2.el8.x86_64                  2/8
    k8s-master:
    k8s-master:   インストール中    : python3-audit-3.0-0.17.20191104git1c2f876.el8.x86_6   3/8
    k8s-node2: repo の追加: https://download.docker.com/linux/centos/docker-ce.repo
    k8s-master:
    k8s-master:   インストール中    : checkpolicy-2.9-1.el8.x86_64                          4/8
    k8s-node1: containerd.io-1.2.13-3.2.el7.x86_64.rpm          48 MB/s |  25 MB     00:00
    k8s-master:
    k8s-master:   インストール中    : python3-policycoreutils-2.9-9.el8.noarch              5/8
    k8s-node1: 依存関係が解決しました。
    k8s-node1: ===================================================================================================
    k8s-node1:  パッケージ                     Arch    バージョン                              リポジトリー サイズ
    k8s-node1: ===================================================================================================
    k8s-node1: インストール中:
    k8s-node1:  containerd.io                  x86_64  1.2.13-3.2.el7                          @commandline   25 M
    k8s-node1: 依存関係のインストール中:
    k8s-node1:  checkpolicy                    x86_64  2.9-1.el8                               BaseOS        348 k
    k8s-node1:  container-selinux              noarch  2:2.124.0-1.module_el8.2.0+305+5e198a41 AppStream      47 k
    k8s-node1:  policycoreutils-python-utils   noarch  2.9-9.el8                               BaseOS        251 k
    k8s-node1:  python3-audit                  x86_64  3.0-0.17.20191104git1c2f876.el8         BaseOS         86 k
    k8s-node1:  python3-libsemanage            x86_64  2.9-2.el8                               BaseOS        127 k
    k8s-node1:  python3-policycoreutils        noarch  2.9-9.el8                               BaseOS        2.2 M
    k8s-node1:  python3-setools                x86_64  4.2.2-2.el8                             BaseOS        601 k
    k8s-node1: モジュールストリームの有効化中:
    k8s-node1:  container-tools                        rhel8
    k8s-node1:
    k8s-node1: トランザクションの概要
    k8s-node1: ===================================================================================================
    k8s-node1: インストール  8 パッケージ
    k8s-node1: 合計サイズ: 29 M
    k8s-node1: ダウンロードサイズの合計: 3.7 M
    k8s-node1: インストール済みのサイズ: 108 M
    k8s-node1: パッケージのダウンロード:
    k8s-master:
    k8s-master:   インストール中    : policycoreutils-python-utils-2.9-9.el8.noarch         6/8
    k8s-master:
    k8s-master:   scriptlet の実行中: container-selinux-2:2.124.0-1.module_el8.2.0+305+5e   7/8
    k8s-master:
    k8s-master:   インストール中    : container-selinux-2:2.124.0-1.module_el8.2.0+305+5e   7/8
    k8s-master:
    k8s-master:   scriptlet の実行中: container-selinux-2:2.124.0-1.module_el8.2.0+305+5e   7/8
    k8s-node2: Docker CE Stable - x86_64                       107 kB/s |  25 kB     00:00
    k8s-node3: containerd.io-1.2.13-3.2.el7.x86_64.rpm          21 MB/s |  25 MB     00:01
    k8s-node3: 依存関係が解決しました。
    k8s-node3: ===================================================================================================
    k8s-node3:  パッケージ                     Arch    バージョン                              リポジトリー サイズ
    k8s-node3: ===================================================================================================
    k8s-node3: インストール中:
    k8s-node3:  containerd.io                  x86_64  1.2.13-3.2.el7                          @commandline   25 M
    k8s-node3: 依存関係のインストール中:
    k8s-node3:  checkpolicy                    x86_64  2.9-1.el8                               BaseOS        348 k
    k8s-node3:  container-selinux              noarch  2:2.124.0-1.module_el8.2.0+305+5e198a41 AppStream      47 k
    k8s-node3:  policycoreutils-python-utils   noarch  2.9-9.el8                               BaseOS        251 k
    k8s-node3:  python3-audit                  x86_64  3.0-0.17.20191104git1c2f876.el8         BaseOS         86 k
    k8s-node3:  python3-libsemanage            x86_64  2.9-2.el8                               BaseOS        127 k
    k8s-node3:  python3-policycoreutils        noarch  2.9-9.el8                               BaseOS        2.2 M
    k8s-node3:  python3-setools                x86_64  4.2.2-2.el8                             BaseOS        601 k
    k8s-node3: モジュールストリームの有効化中:
    k8s-node3:  container-tools                        rhel8
    k8s-node3:
    k8s-node3: トランザクションの概要
    k8s-node3: ===================================================================================================
    k8s-node3: インストール  8 パッケージ
    k8s-node3: 合計サイズ: 29 M
    k8s-node3: ダウンロードサイズの合計: 3.7 M
    k8s-node3: インストール済みのサイズ: 108 M
    k8s-node3: パッケージのダウンロード:
    k8s-node2: containerd.io-1.2.13-3.2.el7.x86_64.rpm          51 MB/s |  25 MB     00:00
    k8s-node2: 依存関係が解決しました。
    k8s-node2: ===================================================================================================
    k8s-node2:  パッケージ                     Arch    バージョン                              リポジトリー サイズ
    k8s-node2: ===================================================================================================
    k8s-node2: インストール中:
    k8s-node2:  containerd.io                  x86_64  1.2.13-3.2.el7                          @commandline   25 M
    k8s-node2: 依存関係のインストール中:
    k8s-node2:  checkpolicy                    x86_64  2.9-1.el8                               BaseOS        348 k
    k8s-node2:  container-selinux              noarch  2:2.124.0-1.module_el8.2.0+305+5e198a41 AppStream      47 k
    k8s-node2:  policycoreutils-python-utils   noarch  2.9-9.el8                               BaseOS        251 k
    k8s-node2:  python3-audit                  x86_64  3.0-0.17.20191104git1c2f876.el8         BaseOS         86 k
    k8s-node2:  python3-libsemanage            x86_64  2.9-2.el8                               BaseOS        127 k
    k8s-node2:  python3-policycoreutils        noarch  2.9-9.el8                               BaseOS        2.2 M
    k8s-node2:  python3-setools                x86_64  4.2.2-2.el8                             BaseOS        601 k
    k8s-node2: モジュールストリームの有効化中:
    k8s-node2:  container-tools                        rhel8
    k8s-node2:
    k8s-node2: トランザクションの概要
    k8s-node2: ===================================================================================================
    k8s-node2: インストール  8 パッケージ
    k8s-node2: 合計サイズ: 29 M
    k8s-node2: ダウンロードサイズの合計: 3.7 M
    k8s-node2: インストール済みのサイズ: 108 M
    k8s-node2: パッケージのダウンロード:
    k8s-node1: (1/7): container-selinux-2.124.0-1.module_el8.2 366 kB/s |  47 kB     00:00
    k8s-node1: (2/7): policycoreutils-python-utils-2.9-9.el8.n 1.3 MB/s | 251 kB     00:00
    k8s-node1: (3/7): checkpolicy-2.9-1.el8.x86_64.rpm         1.7 MB/s | 348 kB     00:00
    k8s-node1: (4/7): python3-audit-3.0-0.17.20191104git1c2f87 736 kB/s |  86 kB     00:00
    k8s-node1: (5/7): python3-libsemanage-2.9-2.el8.x86_64.rpm 2.1 MB/s | 127 kB     00:00
    k8s-node1: (6/7): python3-setools-4.2.2-2.el8.x86_64.rpm   3.6 MB/s | 601 kB     00:00
    k8s-node1: (7/7): python3-policycoreutils-2.9-9.el8.noarch 5.5 MB/s | 2.2 MB     00:00
    k8s-node1: --------------------------------------------------------------------------------
    k8s-node1: 合計                                            1.9 MB/s | 3.7 MB     00:01
    k8s-node1: トランザクションの確認を実行中
    k8s-node1: トランザクションの確認に成功しました。
    k8s-node1: トランザクションのテストを実行中
    k8s-node3: (1/7): container-selinux-2.124.0-1.module_el8.2 390 kB/s |  47 kB     00:00
    k8s-node3: (2/7): policycoreutils-python-utils-2.9-9.el8.n 1.5 MB/s | 251 kB     00:00
    k8s-node3: (3/7): checkpolicy-2.9-1.el8.x86_64.rpm         1.8 MB/s | 348 kB     00:00
    k8s-node3: (4/7): python3-libsemanage-2.9-2.el8.x86_64.rpm 2.4 MB/s | 127 kB     00:00
    k8s-node3: (5/7): python3-audit-3.0-0.17.20191104git1c2f87 858 kB/s |  86 kB     00:00
    k8s-node1: トランザクションのテストに成功しました。
    k8s-node1: トランザクションを実行中
    k8s-node1:   準備              :                                                       1/1
    k8s-node3: (6/7): python3-setools-4.2.2-2.el8.x86_64.rpm   4.7 MB/s | 601 kB     00:00
    k8s-node1:
    k8s-node1:   インストール中    : python3-setools-4.2.2-2.el8.x86_64                    1/8
    k8s-node1:
    k8s-node1:   インストール中    : python3-libsemanage-2.9-2.el8.x86_64                  2/8
    k8s-node1:
    k8s-node1:   インストール中    : python3-audit-3.0-0.17.20191104git1c2f876.el8.x86_6   3/8
    k8s-node1:
    k8s-node1:   インストール中    : checkpolicy-2.9-1.el8.x86_64                          4/8
    k8s-node3: (7/7): python3-policycoreutils-2.9-9.el8.noarch 5.6 MB/s | 2.2 MB     00:00
    k8s-node3: --------------------------------------------------------------------------------
    k8s-node3: 合計                                            2.1 MB/s | 3.7 MB     00:01
    k8s-node3: トランザクションの確認を実行中
    k8s-node3: トランザクションの確認に成功しました。
    k8s-node3: トランザクションのテストを実行中
    k8s-node3: トランザクションのテストに成功しました。
    k8s-node3: トランザクションを実行中
    k8s-node2: (1/7): container-selinux-2.124.0-1.module_el8.2 395 kB/s |  47 kB     00:00
    k8s-node3:   準備              :                                                       1/1
    k8s-node2: (2/7): policycoreutils-python-utils-2.9-9.el8.n 1.5 MB/s | 251 kB     00:00
    k8s-node1:
    k8s-node1:   インストール中    : python3-policycoreutils-2.9-9.el8.noarch              5/8
    k8s-node2: (3/7): checkpolicy-2.9-1.el8.x86_64.rpm         1.8 MB/s | 348 kB     00:00
    k8s-node2: (4/7): python3-libsemanage-2.9-2.el8.x86_64.rpm 2.5 MB/s | 127 kB     00:00
    k8s-node2: (5/7): python3-audit-3.0-0.17.20191104git1c2f87 853 kB/s |  86 kB     00:00
    k8s-node1:
    k8s-node1:   インストール中    : policycoreutils-python-utils-2.9-9.el8.noarch         6/8
    k8s-node1:
    k8s-node1:   scriptlet の実行中: container-selinux-2:2.124.0-1.module_el8.2.0+305+5e   7/8
    k8s-node1:
    k8s-node1:   インストール中    : container-selinux-2:2.124.0-1.module_el8.2.0+305+5e   7/8
    k8s-node1:
    k8s-node1:   scriptlet の実行中: container-selinux-2:2.124.0-1.module_el8.2.0+305+5e   7/8
    k8s-node2: (6/7): python3-setools-4.2.2-2.el8.x86_64.rpm   4.7 MB/s | 601 kB     00:00
    k8s-node3:
    k8s-node3:   インストール中    : python3-setools-4.2.2-2.el8.x86_64                    1/8
    k8s-node3:
    k8s-node3:   インストール中    : python3-libsemanage-2.9-2.el8.x86_64                  2/8
    k8s-node3:
    k8s-node3:   インストール中    : python3-audit-3.0-0.17.20191104git1c2f876.el8.x86_6   3/8
    k8s-node3:
    k8s-node3:   インストール中    : checkpolicy-2.9-1.el8.x86_64                          4/8
    k8s-node2: (7/7): python3-policycoreutils-2.9-9.el8.noarch 5.6 MB/s | 2.2 MB     00:00
    k8s-node2: --------------------------------------------------------------------------------
    k8s-node2: 合計                                            1.8 MB/s | 3.7 MB     00:02
    k8s-node2: トランザクションの確認を実行中
    k8s-node2: トランザクションの確認に成功しました。
    k8s-node2: トランザクションのテストを実行中
    k8s-node3:
    k8s-node3:   インストール中    : python3-policycoreutils-2.9-9.el8.noarch              5/8
    k8s-node3:
    k8s-node3:   インストール中    : policycoreutils-python-utils-2.9-9.el8.noarch         6/8
    k8s-node3:
    k8s-node3:   scriptlet の実行中: container-selinux-2:2.124.0-1.module_el8.2.0+305+5e   7/8
    k8s-node3:
    k8s-node3:   インストール中    : container-selinux-2:2.124.0-1.module_el8.2.0+305+5e   7/8
    k8s-node3:
    k8s-node3:   scriptlet の実行中: container-selinux-2:2.124.0-1.module_el8.2.0+305+5e   7/8
    k8s-node2: トランザクションのテストに成功しました。
    k8s-node2: トランザクションを実行中
    k8s-node2:   準備              :                                                       1/1
    k8s-node2:
    k8s-node2:   インストール中    : python3-setools-4.2.2-2.el8.x86_64                    1/8
    k8s-node2:
    k8s-node2:   インストール中    : python3-libsemanage-2.9-2.el8.x86_64                  2/8
    k8s-node2:
    k8s-node2:   インストール中    : python3-audit-3.0-0.17.20191104git1c2f876.el8.x86_6   3/8
    k8s-node2:
    k8s-node2:   インストール中    : checkpolicy-2.9-1.el8.x86_64                          4/8
    k8s-node2:
    k8s-node2:   インストール中    : python3-policycoreutils-2.9-9.el8.noarch              5/8
    k8s-node2:
    k8s-node2:   インストール中    : policycoreutils-python-utils-2.9-9.el8.noarch         6/8
    k8s-node2:
    k8s-node2:   scriptlet の実行中: container-selinux-2:2.124.0-1.module_el8.2.0+305+5e   7/8
    k8s-node2:
    k8s-node2:   インストール中    : container-selinux-2:2.124.0-1.module_el8.2.0+305+5e   7/8
    k8s-node2:
    k8s-node2:   scriptlet の実行中: container-selinux-2:2.124.0-1.module_el8.2.0+305+5e   7/8
    k8s-master:
    k8s-master:   インストール中    : containerd.io-1.2.13-3.2.el7.x86_64                   8/8
    k8s-master:
    k8s-master:   scriptlet の実行中: containerd.io-1.2.13-3.2.el7.x86_64                   8/8
    k8s-master:
    k8s-master:   scriptlet の実行中: container-selinux-2:2.124.0-1.module_el8.2.0+305+5e   8/8
    k8s-master:
    k8s-master:   scriptlet の実行中: containerd.io-1.2.13-3.2.el7.x86_64                   8/8
    k8s-master:
    k8s-master:   検証              : container-selinux-2:2.124.0-1.module_el8.2.0+305+5e   1/8
    k8s-master:
    k8s-master:   検証              : checkpolicy-2.9-1.el8.x86_64                          2/8
    k8s-master:
    k8s-master:   検証              : policycoreutils-python-utils-2.9-9.el8.noarch         3/8
    k8s-master:   検証              : python3-audit-3.0-0.17.20191104git1c2f876.el8.x86_6   4/8
    k8s-master:
    k8s-master:   検証              : python3-libsemanage-2.9-2.el8.x86_64                  5/8
    k8s-master:   検証              : python3-policycoreutils-2.9-9.el8.noarch              6/8
    k8s-master:
    k8s-master:   検証              : python3-setools-4.2.2-2.el8.x86_64                    7/8
    k8s-master:
    k8s-master:   検証              : containerd.io-1.2.13-3.2.el7.x86_64                   8/8
    k8s-master:
    k8s-master:
    k8s-master: インストール済み:
    k8s-master:   checkpolicy-2.9-1.el8.x86_64
    k8s-master:   container-selinux-2:2.124.0-1.module_el8.2.0+305+5e198a41.noarch
    k8s-master:   containerd.io-1.2.13-3.2.el7.x86_64
    k8s-master:   policycoreutils-python-utils-2.9-9.el8.noarch
    k8s-master:   python3-audit-3.0-0.17.20191104git1c2f876.el8.x86_64
    k8s-master:   python3-libsemanage-2.9-2.el8.x86_64
    k8s-master:   python3-policycoreutils-2.9-9.el8.noarch
    k8s-master:   python3-setools-4.2.2-2.el8.x86_64
    k8s-master: 完了しました!
    k8s-master: メタデータの期限切れの最終確認: 0:00:39 時間前の 2020年08月09日 03時06分29秒 に実施しました。
    k8s-master: 依存関係が解決しました。
    k8s-master: ================================================================================
    k8s-master:  パッケージ        Arch       バージョン             リポジトリー         サイズ
    k8s-master: ================================================================================
    k8s-master: インストール中:
    k8s-master:  docker-ce         x86_64     3:19.03.12-3.el7       docker-ce-stable      24 M
    k8s-master:  docker-ce-cli     x86_64     1:19.03.12-3.el7       docker-ce-stable      38 M
    k8s-master: 依存関係のインストール中:
    k8s-master:  libcgroup         x86_64     0.41-19.el8            BaseOS                70 k
    k8s-master:
    k8s-master: トランザクションの概要
    k8s-master: ================================================================================
    k8s-master: インストール  3 パッケージ
    k8s-master: ダウンロードサイズの合計: 62 M
    k8s-master: インストール済みのサイズ: 263 M
    k8s-master: パッケージのダウンロード:
    k8s-node1:
    k8s-node1:   インストール中    : containerd.io-1.2.13-3.2.el7.x86_64                   8/8
    k8s-node1:
    k8s-node1:   scriptlet の実行中: containerd.io-1.2.13-3.2.el7.x86_64                   8/8
    k8s-node1:
    k8s-node1:   scriptlet の実行中: container-selinux-2:2.124.0-1.module_el8.2.0+305+5e   8/8
    k8s-master: (1/3): libcgroup-0.41-19.el8.x86_64.rpm         493 kB/s |  70 kB     00:00
    k8s-node3:
    k8s-node3:   インストール中    : containerd.io-1.2.13-3.2.el7.x86_64                   8/8
    k8s-node3:
    k8s-node3:   scriptlet の実行中: containerd.io-1.2.13-3.2.el7.x86_64                   8/8
    k8s-node3:
    k8s-node3:   scriptlet の実行中: container-selinux-2:2.124.0-1.module_el8.2.0+305+5e   8/8
    k8s-master: (2/3): docker-ce-19.03.12-3.el7.x86_64.rpm       33 MB/s |  24 MB     00:00
    k8s-node1:
    k8s-node1:   scriptlet の実行中: containerd.io-1.2.13-3.2.el7.x86_64                   8/8
    k8s-master: (3/3): docker-ce-cli-19.03.12-3.el7.x86_64.rpm   39 MB/s |  38 MB     00:00
    k8s-master: --------------------------------------------------------------------------------
    k8s-master: 合計                                             36 MB/s |  62 MB     00:01
    k8s-master: 警告: /var/cache/dnf/docker-ce-stable-091d8a9c23201250/packages/docker-ce-19.03.12-3.el7.x86_64.rpm: ヘッダー V4 RSA/SHA512 Signature、鍵 ID 621e9f35: NOKEY
    k8s-master: Docker CE Stable - x86_64                        16 kB/s | 1.6 kB     00:00
    k8s-master: GPG 鍵 0x621E9F35 をインポート中:
    k8s-master:  Userid     : "Docker Release (CE rpm) <docker@docker.com>"
    k8s-master:  Fingerprint: 060A 61C5 1B55 8A7F 742B 77AA C52F EB6B 621E 9F35
    k8s-master:  From       : https://download.docker.com/linux/centos/gpg
    k8s-master: 鍵のインポートに成功しました
    k8s-master: トランザクションの確認を実行中
    k8s-master: トランザクションの確認に成功しました。
    k8s-master: トランザクションのテストを実行中
    k8s-node1:
    k8s-node1:   検証              : container-selinux-2:2.124.0-1.module_el8.2.0+305+5e   1/8
    k8s-node1:   検証              : checkpolicy-2.9-1.el8.x86_64                          2/8
    k8s-node1:   検証              : policycoreutils-python-utils-2.9-9.el8.noarch         3/8
    k8s-node1:   検証              : python3-audit-3.0-0.17.20191104git1c2f876.el8.x86_6   4/8
    k8s-node1:   検証              : python3-libsemanage-2.9-2.el8.x86_64                  5/8
    k8s-node1:   検証              : python3-policycoreutils-2.9-9.el8.noarch              6/8
    k8s-node1:   検証              : python3-setools-4.2.2-2.el8.x86_64                    7/8
    k8s-node1:   検証              : containerd.io-1.2.13-3.2.el7.x86_64                   8/8
    k8s-node1:
    k8s-node1:
    k8s-node1: インストール済み:
    k8s-node1:   checkpolicy-2.9-1.el8.x86_64
    k8s-node1:   container-selinux-2:2.124.0-1.module_el8.2.0+305+5e198a41.noarch
    k8s-node1:   containerd.io-1.2.13-3.2.el7.x86_64
    k8s-node1:   policycoreutils-python-utils-2.9-9.el8.noarch
    k8s-node1:   python3-audit-3.0-0.17.20191104git1c2f876.el8.x86_64
    k8s-node1:   python3-libsemanage-2.9-2.el8.x86_64
    k8s-node1:   python3-policycoreutils-2.9-9.el8.noarch
    k8s-node1:   python3-setools-4.2.2-2.el8.x86_64
    k8s-node1:
    k8s-node1: 完了しました!
    k8s-master: トランザクションのテストに成功しました。
    k8s-master: トランザクションを実行中
    k8s-node3:
    k8s-node3:   scriptlet の実行中: containerd.io-1.2.13-3.2.el7.x86_64                   8/8
    k8s-master:   準備              :                                                       1/1
    k8s-node3:
    k8s-node3:   検証              : container-selinux-2:2.124.0-1.module_el8.2.0+305+5e   1/8
    k8s-node3:   検証              : checkpolicy-2.9-1.el8.x86_64                          2/8
    k8s-node3:   検証              : policycoreutils-python-utils-2.9-9.el8.noarch         3/8
    k8s-node3:   検証              : python3-audit-3.0-0.17.20191104git1c2f876.el8.x86_6   4/8
    k8s-node3:   検証              : python3-libsemanage-2.9-2.el8.x86_64                  5/8
    k8s-node3:   検証              : python3-policycoreutils-2.9-9.el8.noarch              6/8
    k8s-node3:   検証              : python3-setools-4.2.2-2.el8.x86_64                    7/8
    k8s-node3:   検証              : containerd.io-1.2.13-3.2.el7.x86_64                   8/8
    k8s-node3:
    k8s-node3:
    k8s-node3: インストール済み:
    k8s-node3:   checkpolicy-2.9-1.el8.x86_64
    k8s-node3:   container-selinux-2:2.124.0-1.module_el8.2.0+305+5e198a41.noarch
    k8s-node3:   containerd.io-1.2.13-3.2.el7.x86_64
    k8s-node3:   policycoreutils-python-utils-2.9-9.el8.noarch
    k8s-node3:   python3-audit-3.0-0.17.20191104git1c2f876.el8.x86_64
    k8s-node3:   python3-libsemanage-2.9-2.el8.x86_64
    k8s-node3:   python3-policycoreutils-2.9-9.el8.noarch
    k8s-node3:   python3-setools-4.2.2-2.el8.x86_64
    k8s-node3:
    k8s-node3: 完了しました!
    k8s-node1: メタデータの期限切れの最終確認: 0:00:39 時間前の 2020年08月09日 03時06分32秒 に実施しました。
    k8s-node2:
    k8s-node2:   インストール中    : containerd.io-1.2.13-3.2.el7.x86_64                   8/8
    k8s-node2:
    k8s-node2:   scriptlet の実行中: containerd.io-1.2.13-3.2.el7.x86_64                   8/8
    k8s-node2:
    k8s-node2:   scriptlet の実行中: container-selinux-2:2.124.0-1.module_el8.2.0+305+5e   8/8
    k8s-node1: 依存関係が解決しました。
    k8s-node1: ================================================================================
    k8s-node1:  パッケージ        Arch       バージョン             リポジトリー         サイズ
    k8s-node1: ================================================================================
    k8s-node1: インストール中:
    k8s-node1:  docker-ce         x86_64     3:19.03.12-3.el7       docker-ce-stable      24 M
    k8s-node1:  docker-ce-cli     x86_64     1:19.03.12-3.el7       docker-ce-stable      38 M
    k8s-node1: 依存関係のインストール中:
    k8s-node1:  libcgroup         x86_64     0.41-19.el8            BaseOS                70 k
    k8s-node1:
    k8s-node1: トランザクションの概要
    k8s-node1: ================================================================================
    k8s-node1: インストール  3 パッケージ
    k8s-node1: ダウンロードサイズの合計: 62 M
    k8s-node1: インストール済みのサイズ: 263 M
    k8s-node1: パッケージのダウンロード:
    k8s-node3: メタデータの期限切れの最終確認: 0:00:40 時間前の 2020年08月09日 03時06分32秒 に実施しました。
    k8s-node3: 依存関係が解決しました。
    k8s-node3: ================================================================================
    k8s-node3:  パッケージ        Arch       バージョン             リポジトリー         サイズ
    k8s-node3: ================================================================================
    k8s-node3: インストール中:
    k8s-node3:  docker-ce         x86_64     3:19.03.12-3.el7       docker-ce-stable      24 M
    k8s-node3:  docker-ce-cli     x86_64     1:19.03.12-3.el7       docker-ce-stable      38 M
    k8s-node3: 依存関係のインストール中:
    k8s-node3:  libcgroup         x86_64     0.41-19.el8            BaseOS                70 k
    k8s-node3:
    k8s-node3: トランザクションの概要
    k8s-node3: ================================================================================
    k8s-node3: インストール  3 パッケージ
    k8s-node3: ダウンロードサイズの合計: 62 M
    k8s-node3: インストール済みのサイズ: 263 M
    k8s-node3: パッケージのダウンロード:
    k8s-node1: (1/3): libcgroup-0.41-19.el8.x86_64.rpm         586 kB/s |  70 kB     00:00
    k8s-node2:
    k8s-node2:   scriptlet の実行中: containerd.io-1.2.13-3.2.el7.x86_64                   8/8
    k8s-node2:
    k8s-node2:   検証              : container-selinux-2:2.124.0-1.module_el8.2.0+305+5e   1/8
    k8s-node2:   検証              : checkpolicy-2.9-1.el8.x86_64                          2/8
    k8s-node2:   検証              : policycoreutils-python-utils-2.9-9.el8.noarch         3/8
    k8s-node2:   検証              : python3-audit-3.0-0.17.20191104git1c2f876.el8.x86_6   4/8
    k8s-node2:   検証              : python3-libsemanage-2.9-2.el8.x86_64                  5/8
    k8s-node2:   検証              : python3-policycoreutils-2.9-9.el8.noarch              6/8
    k8s-node2:   検証              : python3-setools-4.2.2-2.el8.x86_64                    7/8
    k8s-node2:   検証              : containerd.io-1.2.13-3.2.el7.x86_64                   8/8
    k8s-node2:
    k8s-node2:
    k8s-node2: インストール済み:
    k8s-node2:   checkpolicy-2.9-1.el8.x86_64
    k8s-node2:   container-selinux-2:2.124.0-1.module_el8.2.0+305+5e198a41.noarch
    k8s-node2:   containerd.io-1.2.13-3.2.el7.x86_64
    k8s-node2:   policycoreutils-python-utils-2.9-9.el8.noarch
    k8s-node2:   python3-audit-3.0-0.17.20191104git1c2f876.el8.x86_64
    k8s-node2:   python3-libsemanage-2.9-2.el8.x86_64
    k8s-node2:   python3-policycoreutils-2.9-9.el8.noarch
    k8s-node2:   python3-setools-4.2.2-2.el8.x86_64
    k8s-node2:
    k8s-node2: 完了しました!
    k8s-node1: (2/3): docker-ce-19.03.12-3.el7.x86_64.rpm       29 MB/s |  24 MB     00:00
    k8s-node1: (3/3): docker-ce-cli-19.03.12-3.el7.x86_64.rpm   36 MB/s |  38 MB     00:01
    k8s-node1: --------------------------------------------------------------------------------
    k8s-node1: 合計                                             38 MB/s |  62 MB     00:01
    k8s-node1: 警告: /var/cache/dnf/docker-ce-stable-091d8a9c23201250/packages/docker-ce-19.03.12-3.el7.x86_64.rpm: ヘッダー V4 RSA/SHA512 Signature、鍵 ID 621e9f35: NOKEY
    k8s-node2: メタデータの期限切れの最終確認: 0:00:40 時間前の 2020年08月09日 03時06分33秒 に実施しました。
    k8s-node1: Docker CE Stable - x86_64                        17 kB/s | 1.6 kB     00:00
    k8s-node3: (1/3): libcgroup-0.41-19.el8.x86_64.rpm         557 kB/s |  70 kB     00:00
    k8s-node1: GPG 鍵 0x621E9F35 をインポート中:
    k8s-node1:  Userid     : "Docker Release (CE rpm) <docker@docker.com>"
    k8s-node1:  Fingerprint: 060A 61C5 1B55 8A7F 742B 77AA C52F EB6B 621E 9F35
    k8s-node1:  From       : https://download.docker.com/linux/centos/gpg
    k8s-node1: 鍵のインポートに成功しました
    k8s-node1: トランザクションの確認を実行中
    k8s-node1: トランザクションの確認に成功しました。
    k8s-node1: トランザクションのテストを実行中
    k8s-node2: 依存関係が解決しました。
    k8s-node2: ================================================================================
    k8s-node2:  パッケージ        Arch       バージョン             リポジトリー         サイズ
    k8s-node2: ================================================================================
    k8s-node2: インストール中:
    k8s-node2:  docker-ce         x86_64     3:19.03.12-3.el7       docker-ce-stable      24 M
    k8s-node2:  docker-ce-cli     x86_64     1:19.03.12-3.el7       docker-ce-stable      38 M
    k8s-node2: 依存関係のインストール中:
    k8s-node2:  libcgroup         x86_64     0.41-19.el8            BaseOS                70 k
    k8s-node2:
    k8s-node2: トランザクションの概要
    k8s-node2: ================================================================================
    k8s-node2: インストール  3 パッケージ
    k8s-node2:
    k8s-node2: ダウンロードサイズの合計: 62 M
    k8s-node2: インストール済みのサイズ: 263 M
    k8s-node2: パッケージのダウンロード:
    k8s-node1: トランザクションのテストに成功しました。
    k8s-node1: トランザクションを実行中
    k8s-node1:   準備              :                                                       1/1
    k8s-node3: (2/3): docker-ce-19.03.12-3.el7.x86_64.rpm       31 MB/s |  24 MB     00:00
    k8s-node3: (3/3): docker-ce-cli-19.03.12-3.el7.x86_64.rpm   33 MB/s |  38 MB     00:01
    k8s-node3: --------------------------------------------------------------------------------
    k8s-node3: 合計                                             28 MB/s |  62 MB     00:02
    k8s-node3: 警告: /var/cache/dnf/docker-ce-stable-091d8a9c23201250/packages/docker-ce-19.03.12-3.el7.x86_64.rpm: ヘッダー V4 RSA/SHA512 Signature、鍵 ID 621e9f35: NOKEY
    k8s-node2: (1/3): libcgroup-0.41-19.el8.x86_64.rpm         556 kB/s |  70 kB     00:00
    k8s-node3: Docker CE Stable - x86_64                        17 kB/s | 1.6 kB     00:00
    k8s-node3: GPG 鍵 0x621E9F35 をインポート中:
    k8s-node3:  Userid     : "Docker Release (CE rpm) <docker@docker.com>"
    k8s-node3:  Fingerprint: 060A 61C5 1B55 8A7F 742B 77AA C52F EB6B 621E 9F35
    k8s-node3:  From       : https://download.docker.com/linux/centos/gpg
    k8s-node3: 鍵のインポートに成功しました
    k8s-node3: トランザクションの確認を実行中
    k8s-node3: トランザクションの確認に成功しました。
    k8s-node3: トランザクションのテストを実行中
    k8s-master:
    k8s-master:   インストール中    : docker-ce-cli-1:19.03.12-3.el7.x86_64                 1/3
    k8s-node3: トランザクションのテストに成功しました。
    k8s-node3: トランザクションを実行中
    k8s-node2: (2/3): docker-ce-19.03.12-3.el7.x86_64.rpm       33 MB/s |  24 MB     00:00
    k8s-master:
    k8s-master:   scriptlet の実行中: docker-ce-cli-1:19.03.12-3.el7.x86_64                 1/3
    k8s-node2: (3/3): docker-ce-cli-19.03.12-3.el7.x86_64.rpm   40 MB/s |  38 MB     00:00
    k8s-node2: --------------------------------------------------------------------------------
    k8s-node2: 合計                                             38 MB/s |  62 MB     00:01
    k8s-node2: 警告: /var/cache/dnf/docker-ce-stable-091d8a9c23201250/packages/docker-ce-19.03.12-3.el7.x86_64.rpm: ヘッダー V4 RSA/SHA512 Signature、鍵 ID 621e9f35: NOKEY
    k8s-node3:   準備              :                                                       1/1
    k8s-node2: Docker CE Stable - x86_64                        16 kB/s | 1.6 kB     00:00
    k8s-node2: GPG 鍵 0x621E9F35 をインポート中:
    k8s-node2:  Userid     : "Docker Release (CE rpm) <docker@docker.com>"
    k8s-node2:  Fingerprint: 060A 61C5 1B55 8A7F 742B 77AA C52F EB6B 621E 9F35
    k8s-node2:  From       : https://download.docker.com/linux/centos/gpg
    k8s-master:
    k8s-master:   scriptlet の実行中: libcgroup-0.41-19.el8.x86_64                          2/3
    k8s-node2: 鍵のインポートに成功しました
    k8s-node2: トランザクションの確認を実行中
    k8s-node2: トランザクションの確認に成功しました。
    k8s-node2: トランザクションのテストを実行中
    k8s-master:
    k8s-master:   インストール中    : libcgroup-0.41-19.el8.x86_64                          2/3
    k8s-master:
    k8s-master:   scriptlet の実行中: libcgroup-0.41-19.el8.x86_64                          2/3
    k8s-node2: トランザクションのテストに成功しました。
    k8s-node2: トランザクションを実行中
    k8s-node2:   準備              :                                                       1/1
    k8s-node1:
    k8s-node1:   インストール中    : docker-ce-cli-1:19.03.12-3.el7.x86_64                 1/3
    k8s-master:
    k8s-master:   インストール中    : docker-ce-3:19.03.12-3.el7.x86_64                     3/3
    k8s-node1:
    k8s-node1:   scriptlet の実行中: docker-ce-cli-1:19.03.12-3.el7.x86_64                 1/3
    k8s-master:
    k8s-master:   scriptlet の実行中: docker-ce-3:19.03.12-3.el7.x86_64                     3/3
    k8s-master:
    k8s-master:   検証              : libcgroup-0.41-19.el8.x86_64                          1/3
    k8s-master:   検証              : docker-ce-3:19.03.12-3.el7.x86_64                     2/3
    k8s-master:
    k8s-master:   検証              : docker-ce-cli-1:19.03.12-3.el7.x86_64                 3/3
    k8s-master:
    k8s-master:
    k8s-master: インストール済み:
    k8s-master:   docker-ce-3:19.03.12-3.el7.x86_64    docker-ce-cli-1:19.03.12-3.el7.x86_64
    k8s-master:   libcgroup-0.41-19.el8.x86_64
    k8s-master: 完了しました!
    k8s-node1:
    k8s-node1:   scriptlet の実行中: libcgroup-0.41-19.el8.x86_64                          2/3
    k8s-node3:
    k8s-node3:   インストール中    : docker-ce-cli-1:19.03.12-3.el7.x86_64                 1/3
    k8s-node3:
    k8s-node3:   scriptlet の実行中: docker-ce-cli-1:19.03.12-3.el7.x86_64                 1/3
    k8s-node1:
    k8s-node1:   インストール中    : libcgroup-0.41-19.el8.x86_64                          2/3
    k8s-master: Created symlink /etc/systemd/system/multi-user.target.wants/docker.service → /usr/lib/systemd/system/docker.service.
    k8s-node1:
    k8s-node1:   scriptlet の実行中: libcgroup-0.41-19.el8.x86_64                          2/3
    k8s-node3:
    k8s-node3:   scriptlet の実行中: libcgroup-0.41-19.el8.x86_64                          2/3
    k8s-node3:
    k8s-node3:   インストール中    : libcgroup-0.41-19.el8.x86_64                          2/3
    k8s-node3:
    k8s-node3:   scriptlet の実行中: libcgroup-0.41-19.el8.x86_64                          2/3
    k8s-node2:
    k8s-node2:   インストール中    : docker-ce-cli-1:19.03.12-3.el7.x86_64                 1/3
    k8s-node2:
    k8s-node2:   scriptlet の実行中: docker-ce-cli-1:19.03.12-3.el7.x86_64                 1/3
    k8s-node2:
    k8s-node2:   scriptlet の実行中: libcgroup-0.41-19.el8.x86_64                          2/3
    k8s-node2:
    k8s-node2:   インストール中    : libcgroup-0.41-19.el8.x86_64                          2/3
    k8s-node2:
    k8s-node2:   scriptlet の実行中: libcgroup-0.41-19.el8.x86_64                          2/3
    k8s-node1:
    k8s-node1:   インストール中    : docker-ce-3:19.03.12-3.el7.x86_64                     3/3
    k8s-node3:
    k8s-node3:   インストール中    : docker-ce-3:19.03.12-3.el7.x86_64                     3/3
    k8s-node3:
    k8s-node3:   scriptlet の実行中: docker-ce-3:19.03.12-3.el7.x86_64                     3/3
    k8s-node1:
    k8s-node1:   scriptlet の実行中: docker-ce-3:19.03.12-3.el7.x86_64                     3/3
    k8s-node2:
    k8s-node2:   インストール中    : docker-ce-3:19.03.12-3.el7.x86_64                     3/3
    k8s-node1:
    k8s-node1:   検証              : libcgroup-0.41-19.el8.x86_64                          1/3
    k8s-node1:   検証              : docker-ce-3:19.03.12-3.el7.x86_64                     2/3
    k8s-node1:   検証              : docker-ce-cli-1:19.03.12-3.el7.x86_64                 3/3
    k8s-node3:
    k8s-node3:   検証              : libcgroup-0.41-19.el8.x86_64                          1/3
    k8s-node3:   検証              : docker-ce-3:19.03.12-3.el7.x86_64                     2/3
    k8s-node3:   検証              : docker-ce-cli-1:19.03.12-3.el7.x86_64                 3/3
    k8s-node2:
    k8s-node2:   scriptlet の実行中: docker-ce-3:19.03.12-3.el7.x86_64                     3/3
    k8s-node3:
    k8s-node3:
    k8s-node3: インストール済み:
    k8s-node3:   docker-ce-3:19.03.12-3.el7.x86_64    docker-ce-cli-1:19.03.12-3.el7.x86_64
    k8s-node3:   libcgroup-0.41-19.el8.x86_64
    k8s-node3:
    k8s-node3: 完了しました!
    k8s-node2:
    k8s-node2:   検証              : libcgroup-0.41-19.el8.x86_64                          1/3
    k8s-node2:   検証              : docker-ce-3:19.03.12-3.el7.x86_64                     2/3
    k8s-node2:   検証              : docker-ce-cli-1:19.03.12-3.el7.x86_64                 3/3
    k8s-node1:
    k8s-node1:
    k8s-node1: インストール済み:
    k8s-node1:   docker-ce-3:19.03.12-3.el7.x86_64    docker-ce-cli-1:19.03.12-3.el7.x86_64
    k8s-node1:   libcgroup-0.41-19.el8.x86_64
    k8s-node1:
    k8s-node1: 完了しました!
    k8s-node2:
    k8s-node2:
    k8s-node2: インストール済み:
    k8s-node2:   docker-ce-3:19.03.12-3.el7.x86_64    docker-ce-cli-1:19.03.12-3.el7.x86_64
    k8s-node2:   libcgroup-0.41-19.el8.x86_64
    k8s-node2: 完了しました!
    k8s-node2: Created symlink /etc/systemd/system/multi-user.target.wants/docker.service → /usr/lib/systemd/system/docker.service.
    k8s-master: Kubernetes                                      332  B/s | 454  B     00:01
    k8s-node1: Created symlink /etc/systemd/system/multi-user.target.wants/docker.service → /usr/lib/systemd/system/docker.service.
    k8s-master: Kubernetes                                       11 kB/s | 1.8 kB     00:00
    k8s-master: GPG 鍵 0xA7317B0F をインポート中:
    k8s-master:  Userid     : "Google Cloud Packages Automatic Signing Key <gc-team@google.com>"
    k8s-master:  Fingerprint: D0BC 747F D8CA F711 7500 D6FA 3746 C208 A731 7B0F
    k8s-master:  From       : https://packages.cloud.google.com/yum/doc/yum-key.gpg
    k8s-master: GPG 鍵 0xBA07F4FB をインポート中:
    k8s-master:  Userid     : "Google Cloud Packages Automatic Signing Key <gc-team@google.com>"
    k8s-master:  Fingerprint: 54A6 47F9 048D 5688 D7DA 2ABE 6A03 0B21 BA07 F4FB
    k8s-master:  From       : https://packages.cloud.google.com/yum/doc/yum-key.gpg
    k8s-master: Kubernetes                                      5.4 kB/s | 975  B     00:00
    k8s-master: GPG 鍵 0x3E1BA8D5 をインポート中:
    k8s-master:  Userid     : "Google Cloud Packages RPM Signing Key <gc-team@google.com>"
    k8s-master:  Fingerprint: 3749 E1BA 95A8 6CE0 5454 6ED2 F09C 394C 3E1B A8D5
    k8s-master:  From       : https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg
    k8s-node3: Created symlink /etc/systemd/system/multi-user.target.wants/docker.service → /usr/lib/systemd/system/docker.service.
    k8s-master: Kubernetes                                       47 kB/s |  99 kB     00:02
    k8s-master: 依存関係が解決しました。
    k8s-master: ================================================================================
    k8s-master:  パッケージ                 Arch       バージョン          リポジトリー   サイズ
    k8s-master: ================================================================================
    k8s-master: インストール中:
    k8s-master:  kubeadm                    x86_64     1.18.6-0            kubernetes     8.8 M
    k8s-master:  kubectl                    x86_64     1.18.6-0            kubernetes     9.5 M
    k8s-master:  kubelet                    x86_64     1.18.6-0            kubernetes      21 M
    k8s-master: 依存関係のインストール中:
    k8s-master:  conntrack-tools            x86_64     1.4.4-10.el8        BaseOS         204 k
    k8s-master:  cri-tools                  x86_64     1.13.0-0            kubernetes     5.1 M
    k8s-master:  kubernetes-cni             x86_64     0.8.6-0             kubernetes      18 M
    k8s-master:  libnetfilter_cthelper      x86_64     1.0.0-15.el8        BaseOS          24 k
    k8s-master:  libnetfilter_cttimeout     x86_64     1.0.0-11.el8        BaseOS          24 k
    k8s-master:  libnetfilter_queue         x86_64     1.0.2-11.el8        BaseOS          30 k
    k8s-master:  socat                      x86_64     1.7.3.3-2.el8       AppStream      302 k
    k8s-master:
    k8s-master: トランザクションの概要
    k8s-master: ================================================================================
    k8s-master: インストール  10 パッケージ
    k8s-master: ダウンロードサイズの合計: 62 M
    k8s-master: インストール済みのサイズ: 265 M
    k8s-master: パッケージのダウンロード:
    k8s-master: (1/10): libnetfilter_cthelper-1.0.0-15.el8.x86_ 219 kB/s |  24 kB     00:00
    k8s-master: (2/10): libnetfilter_cttimeout-1.0.0-11.el8.x86 607 kB/s |  24 kB     00:00
    k8s-master: (3/10): conntrack-tools-1.4.4-10.el8.x86_64.rpm 1.2 MB/s | 204 kB     00:00
    k8s-master: (4/10): libnetfilter_queue-1.0.2-11.el8.x86_64. 614 kB/s |  30 kB     00:00
    k8s-master: (5/10): socat-1.7.3.3-2.el8.x86_64.rpm          1.2 MB/s | 302 kB     00:00
    k8s-master: (6/10): 14bfe6e75a9efc8eca3f638eb22c7e2ce759c67 8.5 MB/s | 5.1 MB     00:00
    k8s-master: (7/10): 9fe14ad1137ad4e42eca5df1df99c735098e1ef  12 MB/s | 9.5 MB     00:00
    k8s-master: (8/10): 20eefd52d2aee73b3c52abc3d43ed689cb1d793 5.2 MB/s | 8.8 MB     00:01
    k8s-node1: Kubernetes                                      325  B/s | 454  B     00:01
    k8s-node1: Kubernetes                                      9.0 kB/s | 1.8 kB     00:00
    k8s-master: (9/10): 155c953863e5dc40f1d0cd5010d4df91b45d8c6  10 MB/s |  21 MB     00:02
    k8s-node1: GPG 鍵 0xA7317B0F をインポート中:
    k8s-node1:  Userid     : "Google Cloud Packages Automatic Signing Key <gc-team@google.com>"
    k8s-node1:  Fingerprint: D0BC 747F D8CA F711 7500 D6FA 3746 C208 A731 7B0F
    k8s-node1:  From       : https://packages.cloud.google.com/yum/doc/yum-key.gpg
    k8s-node1: GPG 鍵 0xBA07F4FB をインポート中:
    k8s-node1:  Userid     : "Google Cloud Packages Automatic Signing Key <gc-team@google.com>"
    k8s-node1:  Fingerprint: 54A6 47F9 048D 5688 D7DA 2ABE 6A03 0B21 BA07 F4FB
    k8s-node1:  From       : https://packages.cloud.google.com/yum/doc/yum-key.gpg
    k8s-node1: Kubernetes                                      5.5 kB/s | 975  B     00:00
    k8s-node1: GPG 鍵 0x3E1BA8D5 をインポート中:
    k8s-node1:  Userid     : "Google Cloud Packages RPM Signing Key <gc-team@google.com>"
    k8s-node1:  Fingerprint: 3749 E1BA 95A8 6CE0 5454 6ED2 F09C 394C 3E1B A8D5
    k8s-node1:  From       : https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg
    k8s-node3: Kubernetes                                      324  B/s | 454  B     00:01
    k8s-node2: Kubernetes                                      306  B/s | 454  B     00:01
    k8s-master: (10/10): 029bc0d7b2112098bdfa3f4621f2ce325d7a2c 7.9 MB/s |  18 MB     00:02
    k8s-master: --------------------------------------------------------------------------------
    k8s-master: 合計                                             14 MB/s |  62 MB     00:04
    k8s-master: 警告: /var/cache/dnf/kubernetes-33343725abd9cbdc/packages/14bfe6e75a9efc8eca3f638eb22c7e2ce759c67f95b43b16fae4ebabde1549f3-cri-tools-1.13.0-0.x86_64.rpm: ヘッダー V4 RSA/SHA512 Signature、鍵 ID 3e1ba8d5: NOKEY
    k8s-node3: Kubernetes                                       13 kB/s | 1.8 kB     00:00
    k8s-node2: Kubernetes                                       12 kB/s | 1.8 kB     00:00
    k8s-master: Kubernetes                                       14 kB/s | 1.8 kB     00:00
    k8s-node3: GPG 鍵 0xA7317B0F をインポート中:
    k8s-node3:  Userid     : "Google Cloud Packages Automatic Signing Key <gc-team@google.com>"
    k8s-node3:  Fingerprint: D0BC 747F D8CA F711 7500 D6FA 3746 C208 A731 7B0F
    k8s-node3:  From       : https://packages.cloud.google.com/yum/doc/yum-key.gpg
    k8s-node2: GPG 鍵 0xA7317B0F をインポート中:
    k8s-node2:  Userid     : "Google Cloud Packages Automatic Signing Key <gc-team@google.com>"
    k8s-node2:  Fingerprint: D0BC 747F D8CA F711 7500 D6FA 3746 C208 A731 7B0F
    k8s-node2:  From       : https://packages.cloud.google.com/yum/doc/yum-key.gpg
    k8s-node3: GPG 鍵 0xBA07F4FB をインポート中:
    k8s-node3:  Userid     : "Google Cloud Packages Automatic Signing Key <gc-team@google.com>"
    k8s-node3:  Fingerprint: 54A6 47F9 048D 5688 D7DA 2ABE 6A03 0B21 BA07 F4FB
    k8s-node3:  From       : https://packages.cloud.google.com/yum/doc/yum-key.gpg
    k8s-master: GPG 鍵 0xA7317B0F をインポート中:
    k8s-master:  Userid     : "Google Cloud Packages Automatic Signing Key <gc-team@google.com>"
    k8s-master:  Fingerprint: D0BC 747F D8CA F711 7500 D6FA 3746 C208 A731 7B0F
    k8s-master:  From       : https://packages.cloud.google.com/yum/doc/yum-key.gpg
    k8s-node2: GPG 鍵 0xBA07F4FB をインポート中:
    k8s-node2:  Userid     : "Google Cloud Packages Automatic Signing Key <gc-team@google.com>"
    k8s-node2:  Fingerprint: 54A6 47F9 048D 5688 D7DA 2ABE 6A03 0B21 BA07 F4FB
    k8s-node2:  From       : https://packages.cloud.google.com/yum/doc/yum-key.gpg
    k8s-master: 鍵のインポートに成功しました
    k8s-master: GPG 鍵 0xBA07F4FB をインポート中:
    k8s-master:  Userid     : "Google Cloud Packages Automatic Signing Key <gc-team@google.com>"
    k8s-master:  Fingerprint: 54A6 47F9 048D 5688 D7DA 2ABE 6A03 0B21 BA07 F4FB
    k8s-master:  From       : https://packages.cloud.google.com/yum/doc/yum-key.gpg
    k8s-master: 鍵のインポートに成功しました
    k8s-node2: Kubernetes                                      6.9 kB/s | 975  B     00:00
    k8s-node3: Kubernetes                                      5.6 kB/s | 975  B     00:00
    k8s-master: Kubernetes                                      5.4 kB/s | 975  B     00:00
    k8s-node2: GPG 鍵 0x3E1BA8D5 をインポート中:
    k8s-node2:  Userid     : "Google Cloud Packages RPM Signing Key <gc-team@google.com>"
    k8s-node2:  Fingerprint: 3749 E1BA 95A8 6CE0 5454 6ED2 F09C 394C 3E1B A8D5
    k8s-node2:  From       : https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg
    k8s-node3: GPG 鍵 0x3E1BA8D5 をインポート中:
    k8s-node3:  Userid     : "Google Cloud Packages RPM Signing Key <gc-team@google.com>"
    k8s-node3:  Fingerprint: 3749 E1BA 95A8 6CE0 5454 6ED2 F09C 394C 3E1B A8D5
    k8s-node3:  From       : https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg
    k8s-master: GPG 鍵 0x3E1BA8D5 をインポート中:
    k8s-master:  Userid     : "Google Cloud Packages RPM Signing Key <gc-team@google.com>"
    k8s-master:  Fingerprint: 3749 E1BA 95A8 6CE0 5454 6ED2 F09C 394C 3E1B A8D5
    k8s-master:  From       : https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg
    k8s-master: 鍵のインポートに成功しました
    k8s-master: トランザクションの確認を実行中
    k8s-master: トランザクションの確認に成功しました。
    k8s-master: トランザクションのテストを実行中
    k8s-master: トランザクションのテストに成功しました。
    k8s-master: トランザクションを実行中
    k8s-master:   準備              :                                                       1/1
    k8s-master:
    k8s-master:   インストール中    : kubectl-1.18.6-0.x86_64                              1/10
    k8s-node1: Kubernetes                                       47 kB/s |  99 kB     00:02
    k8s-master:
    k8s-master:   インストール中    : cri-tools-1.13.0-0.x86_64                            2/10
    k8s-master:
    k8s-master:   インストール中    : libnetfilter_queue-1.0.2-11.el8.x86_64               3/10
    k8s-master:
    k8s-master:   scriptlet の実行中: libnetfilter_queue-1.0.2-11.el8.x86_64               3/10
    k8s-master:
    k8s-master:   インストール中    : libnetfilter_cttimeout-1.0.0-11.el8.x86_64           4/10
    k8s-master:
    k8s-master:   scriptlet の実行中: libnetfilter_cttimeout-1.0.0-11.el8.x86_64           4/10
    k8s-master:
    k8s-master:   インストール中    : libnetfilter_cthelper-1.0.0-15.el8.x86_64            5/10
    k8s-master:
    k8s-master:   scriptlet の実行中: libnetfilter_cthelper-1.0.0-15.el8.x86_64            5/10
    k8s-master:
    k8s-master:   インストール中    : conntrack-tools-1.4.4-10.el8.x86_64                  6/10
    k8s-master:
    k8s-master:   scriptlet の実行中: conntrack-tools-1.4.4-10.el8.x86_64                  6/10
    k8s-node1: 依存関係が解決しました。
    k8s-node1: ================================================================================
    k8s-node1:  パッケージ                 Arch       バージョン          リポジトリー   サイズ
    k8s-node1: ================================================================================
    k8s-node1: インストール中:
    k8s-node1:  kubeadm                    x86_64     1.18.6-0            kubernetes     8.8 M
    k8s-node1:  kubectl                    x86_64     1.18.6-0            kubernetes     9.5 M
    k8s-node1:  kubelet                    x86_64     1.18.6-0            kubernetes      21 M
    k8s-node1: 依存関係のインストール中:
    k8s-node1:  conntrack-tools            x86_64     1.4.4-10.el8        BaseOS         204 k
    k8s-node1:  cri-tools                  x86_64     1.13.0-0            kubernetes     5.1 M
    k8s-node1:  kubernetes-cni             x86_64     0.8.6-0             kubernetes      18 M
    k8s-node1:  libnetfilter_cthelper      x86_64     1.0.0-15.el8        BaseOS          24 k
    k8s-node1:  libnetfilter_cttimeout     x86_64     1.0.0-11.el8        BaseOS          24 k
    k8s-node1:  libnetfilter_queue         x86_64     1.0.2-11.el8        BaseOS          30 k
    k8s-node1:  socat                      x86_64     1.7.3.3-2.el8       AppStream      302 k
    k8s-node1:
    k8s-node1: トランザクションの概要
    k8s-node1: ================================================================================
    k8s-node1: インストール  10 パッケージ
    k8s-node1:
    k8s-node1: ダウンロードサイズの合計: 62 M
    k8s-node1: インストール済みのサイズ: 265 M
    k8s-node1: パッケージのダウンロード:
    k8s-master:
    k8s-master:   インストール中    : socat-1.7.3.3-2.el8.x86_64                           7/10
    k8s-node3: Kubernetes                                       48 kB/s |  99 kB     00:02
    k8s-node3: 依存関係が解決しました。
    k8s-node3: ================================================================================
    k8s-node3:  パッケージ                 Arch       バージョン          リポジトリー   サイズ
    k8s-node3: ================================================================================
    k8s-node3: インストール中:
    k8s-node3:  kubeadm                    x86_64     1.18.6-0            kubernetes     8.8 M
    k8s-node3:  kubectl                    x86_64     1.18.6-0            kubernetes     9.5 M
    k8s-node3:  kubelet                    x86_64     1.18.6-0            kubernetes      21 M
    k8s-node3: 依存関係のインストール中:
    k8s-node3:  conntrack-tools            x86_64     1.4.4-10.el8        BaseOS         204 k
    k8s-node3:  cri-tools                  x86_64     1.13.0-0            kubernetes     5.1 M
    k8s-node3:  kubernetes-cni             x86_64     0.8.6-0             kubernetes      18 M
    k8s-node3:  libnetfilter_cthelper      x86_64     1.0.0-15.el8        BaseOS          24 k
    k8s-node3:  libnetfilter_cttimeout     x86_64     1.0.0-11.el8        BaseOS          24 k
    k8s-node3:  libnetfilter_queue         x86_64     1.0.2-11.el8        BaseOS          30 k
    k8s-node3:  socat                      x86_64     1.7.3.3-2.el8       AppStream      302 k
    k8s-node3:
    k8s-node3: トランザクションの概要
    k8s-node3: ================================================================================
    k8s-node3: インストール  10 パッケージ
    k8s-node3: ダウンロードサイズの合計: 62 M
    k8s-node3: インストール済みのサイズ: 265 M
    k8s-node3: パッケージのダウンロード:
    k8s-master:
    k8s-master:   インストール中    : kubernetes-cni-0.8.6-0.x86_64                        8/10
    k8s-node1: (1/10): libnetfilter_cthelper-1.0.0-15.el8.x86_ 248 kB/s |  24 kB     00:00
    k8s-node1: (2/10): libnetfilter_cttimeout-1.0.0-11.el8.x86 943 kB/s |  24 kB     00:00
    k8s-node1: (3/10): conntrack-tools-1.4.4-10.el8.x86_64.rpm 1.3 MB/s | 204 kB     00:00
    k8s-node1: (4/10): libnetfilter_queue-1.0.2-11.el8.x86_64. 1.1 MB/s |  30 kB     00:00
    k8s-node1: (5/10): socat-1.7.3.3-2.el8.x86_64.rpm          1.1 MB/s | 302 kB     00:00
    k8s-node2: Kubernetes                                       24 kB/s |  99 kB     00:04
    k8s-node1: (6/10): 14bfe6e75a9efc8eca3f638eb22c7e2ce759c67 8.8 MB/s | 5.1 MB     00:00
    k8s-node2: メタデータの期限切れの最終確認: 0:00:02 時間前の 2020年08月09日 03時07分40秒 に実施しました。
    k8s-node1: (7/10): 9fe14ad1137ad4e42eca5df1df99c735098e1ef  15 MB/s | 9.5 MB     00:00
    k8s-node1: (8/10): 20eefd52d2aee73b3c52abc3d43ed689cb1d793 9.9 MB/s | 8.8 MB     00:00
    k8s-node3: (1/10): conntrack-tools-1.4.4-10.el8.x86_64.rpm 370 kB/s | 204 kB     00:00
    k8s-node3: (2/10): libnetfilter_cttimeout-1.0.0-11.el8.x86 947 kB/s |  24 kB     00:00
    k8s-node3: (3/10): socat-1.7.3.3-2.el8.x86_64.rpm          502 kB/s | 302 kB     00:00
    k8s-node2: 依存関係が解決しました。
    k8s-node2: ================================================================================
    k8s-node2:  パッケージ                 Arch       バージョン          リポジトリー   サイズ
    k8s-node2: ================================================================================
    k8s-node2: インストール中:
    k8s-node2:  kubeadm                    x86_64     1.18.6-0            kubernetes     8.8 M
    k8s-node2:  kubectl                    x86_64     1.18.6-0            kubernetes     9.5 M
    k8s-node2:  kubelet                    x86_64     1.18.6-0            kubernetes      21 M
    k8s-node2: 依存関係のインストール中:
    k8s-node2:  conntrack-tools            x86_64     1.4.4-10.el8        BaseOS         204 k
    k8s-node2:  cri-tools                  x86_64     1.13.0-0            kubernetes     5.1 M
    k8s-node2:  kubernetes-cni             x86_64     0.8.6-0             kubernetes      18 M
    k8s-node2:  libnetfilter_cthelper      x86_64     1.0.0-15.el8        BaseOS          24 k
    k8s-node2:  libnetfilter_cttimeout     x86_64     1.0.0-11.el8        BaseOS          24 k
    k8s-node2:  libnetfilter_queue         x86_64     1.0.2-11.el8        BaseOS          30 k
    k8s-node2:  socat                      x86_64     1.7.3.3-2.el8       AppStream      302 k
    k8s-node2:
    k8s-node2: トランザクションの概要
    k8s-node2: ================================================================================
    k8s-node2: インストール  10 パッケージ
    k8s-node2: ダウンロードサイズの合計: 62 M
    k8s-node2: インストール済みのサイズ: 265 M
    k8s-node2: パッケージのダウンロード:
    k8s-node3: (4/10): libnetfilter_queue-1.0.2-11.el8.x86_64. 587 kB/s |  30 kB     00:00
    k8s-node3: (5/10): 14bfe6e75a9efc8eca3f638eb22c7e2ce759c67  11 MB/s | 5.1 MB     00:00
    k8s-node3: (6/10): libnetfilter_cthelper-1.0.0-15.el8.x86_  21 kB/s |  24 kB     00:01
    k8s-master:
    k8s-master:   インストール中    : kubelet-1.18.6-0.x86_64                              9/10
    k8s-node1: (9/10): 155c953863e5dc40f1d0cd5010d4df91b45d8c6  18 MB/s |  21 MB     00:01
    k8s-node3: (7/10): 20eefd52d2aee73b3c52abc3d43ed689cb1d793  11 MB/s | 8.8 MB     00:00
    k8s-node1: (10/10): 029bc0d7b2112098bdfa3f4621f2ce325d7a2c  15 MB/s |  18 MB     00:01
    k8s-node1: --------------------------------------------------------------------------------
    k8s-node1: 合計                                             17 MB/s |  62 MB     00:03
    k8s-node1: 警告: /var/cache/dnf/kubernetes-33343725abd9cbdc/packages/14bfe6e75a9efc8eca3f638eb22c7e2ce759c67f95b43b16fae4ebabde1549f3-cri-tools-1.13.0-0.x86_64.rpm: ヘッダー V4 RSA/SHA512 Signature、鍵 ID 3e1ba8d5: NOKEY
    k8s-node1: Kubernetes                                       13 kB/s | 1.8 kB     00:00
    k8s-node1: GPG 鍵 0xA7317B0F をインポート中:
    k8s-node1:  Userid     : "Google Cloud Packages Automatic Signing Key <gc-team@google.com>"
    k8s-node1:  Fingerprint: D0BC 747F D8CA F711 7500 D6FA 3746 C208 A731 7B0F
    k8s-node1:  From       : https://packages.cloud.google.com/yum/doc/yum-key.gpg
    k8s-node1: 鍵のインポートに成功しました
    k8s-node1: GPG 鍵 0xBA07F4FB をインポート中:
    k8s-node1:  Userid     : "Google Cloud Packages Automatic Signing Key <gc-team@google.com>"
    k8s-node1:  Fingerprint: 54A6 47F9 048D 5688 D7DA 2ABE 6A03 0B21 BA07 F4FB
    k8s-node1:  From       : https://packages.cloud.google.com/yum/doc/yum-key.gpg
    k8s-node1: 鍵のインポートに成功しました
    k8s-node1: Kubernetes                                      6.6 kB/s | 975  B     00:00
    k8s-node1: GPG 鍵 0x3E1BA8D5 をインポート中:
    k8s-node1:  Userid     : "Google Cloud Packages RPM Signing Key <gc-team@google.com>"
    k8s-node1:  Fingerprint: 3749 E1BA 95A8 6CE0 5454 6ED2 F09C 394C 3E1B A8D5
    k8s-node1:  From       : https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg
    k8s-node1: 鍵のインポートに成功しました
    k8s-node1: トランザクションの確認を実行中
    k8s-node1: トランザクションの確認に成功しました。
    k8s-node1: トランザクションのテストを実行中
    k8s-node2: (1/10): libnetfilter_cthelper-1.0.0-15.el8.x86_ 253 kB/s |  24 kB     00:00
    k8s-node2: (2/10): libnetfilter_cttimeout-1.0.0-11.el8.x86 933 kB/s |  24 kB     00:00
    k8s-node2: (3/10): libnetfilter_queue-1.0.2-11.el8.x86_64. 1.1 MB/s |  30 kB     00:00
    k8s-node2: (4/10): conntrack-tools-1.4.4-10.el8.x86_64.rpm 1.2 MB/s | 204 kB     00:00
    k8s-master:
    k8s-master:   インストール中    : kubeadm-1.18.6-0.x86_64                             10/10
    k8s-node3: (8/10): 9fe14ad1137ad4e42eca5df1df99c735098e1ef 8.7 MB/s | 9.5 MB     00:01
    k8s-master:
    k8s-master:   scriptlet の実行中: kubeadm-1.18.6-0.x86_64                             10/10
    k8s-node1: トランザクションのテストに成功しました。
    k8s-node1: トランザクションを実行中
    k8s-node2: (5/10): 14bfe6e75a9efc8eca3f638eb22c7e2ce759c67  10 MB/s | 5.1 MB     00:00
    k8s-node1:   準備              :                                                       1/1
    k8s-node3: (9/10): 029bc0d7b2112098bdfa3f4621f2ce325d7a2c3  15 MB/s |  18 MB     00:01
    k8s-master:
    k8s-master:   検証              : socat-1.7.3.3-2.el8.x86_64                           1/10
    k8s-master:   検証              : conntrack-tools-1.4.4-10.el8.x86_64                  2/10
    k8s-master:   検証              : libnetfilter_cthelper-1.0.0-15.el8.x86_64            3/10
    k8s-master:   検証              : libnetfilter_cttimeout-1.0.0-11.el8.x86_64           4/10
    k8s-master:   検証              : libnetfilter_queue-1.0.2-11.el8.x86_64               5/10
    k8s-master:   検証              : cri-tools-1.13.0-0.x86_64                            6/10
    k8s-master:   検証              : kubeadm-1.18.6-0.x86_64                              7/10
    k8s-master:   検証              : kubectl-1.18.6-0.x86_64                              8/10
    k8s-master:   検証              : kubelet-1.18.6-0.x86_64                              9/10
    k8s-master:   検証              : kubernetes-cni-0.8.6-0.x86_64                       10/10
    k8s-node2: (6/10): 20eefd52d2aee73b3c52abc3d43ed689cb1d793  13 MB/s | 8.8 MB     00:00
    k8s-master:
    k8s-master:
    k8s-master: インストール済み:
    k8s-master:   conntrack-tools-1.4.4-10.el8.x86_64
    k8s-master:   cri-tools-1.13.0-0.x86_64
    k8s-master:   kubeadm-1.18.6-0.x86_64
    k8s-master:   kubectl-1.18.6-0.x86_64
    k8s-master:   kubelet-1.18.6-0.x86_64
    k8s-master:   kubernetes-cni-0.8.6-0.x86_64
    k8s-master:   libnetfilter_cthelper-1.0.0-15.el8.x86_64
    k8s-master:   libnetfilter_cttimeout-1.0.0-11.el8.x86_64
    k8s-master:   libnetfilter_queue-1.0.2-11.el8.x86_64
    k8s-master:   socat-1.7.3.3-2.el8.x86_64
    k8s-master:
    k8s-master: 完了しました!
    k8s-node3: (10/10): 155c953863e5dc40f1d0cd5010d4df91b45d8c  12 MB/s |  21 MB     00:01
    k8s-node3: --------------------------------------------------------------------------------
    k8s-node3: 合計                                             14 MB/s |  62 MB     00:04
    k8s-node3: 警告: /var/cache/dnf/kubernetes-33343725abd9cbdc/packages/14bfe6e75a9efc8eca3f638eb22c7e2ce759c67f95b43b16fae4ebabde1549f3-cri-tools-1.13.0-0.x86_64.rpm: ヘッダー V4 RSA/SHA512 Signature、鍵 ID 3e1ba8d5: NOKEY
    k8s-node2: (7/10): socat-1.7.3.3-2.el8.x86_64.rpm          332 kB/s | 302 kB     00:00
    k8s-master: Created symlink /etc/systemd/system/multi-user.target.wants/kubelet.service → /usr/lib/systemd/system/kubelet.service.
    k8s-node3: Kubernetes                                       13 kB/s | 1.8 kB     00:00
    k8s-node2: (8/10): 9fe14ad1137ad4e42eca5df1df99c735098e1ef  23 MB/s | 9.5 MB     00:00
    k8s-node3: GPG 鍵 0xA7317B0F をインポート中:
    k8s-node3:  Userid     : "Google Cloud Packages Automatic Signing Key <gc-team@google.com>"
    k8s-node3:  Fingerprint: D0BC 747F D8CA F711 7500 D6FA 3746 C208 A731 7B0F
    k8s-node3:  From       : https://packages.cloud.google.com/yum/doc/yum-key.gpg
    k8s-node3: 鍵のインポートに成功しました
    k8s-node3: GPG 鍵 0xBA07F4FB をインポート中:
    k8s-node3:  Userid     : "Google Cloud Packages Automatic Signing Key <gc-team@google.com>"
    k8s-node3:  Fingerprint: 54A6 47F9 048D 5688 D7DA 2ABE 6A03 0B21 BA07 F4FB
    k8s-node3:  From       : https://packages.cloud.google.com/yum/doc/yum-key.gpg
    k8s-node3: 鍵のインポートに成功しました
==> k8s-master: Running provisioner: shell...
    k8s-node3: Kubernetes                                      7.1 kB/s | 975  B     00:00
    k8s-node3: GPG 鍵 0x3E1BA8D5 をインポート中:
    k8s-node3:  Userid     : "Google Cloud Packages RPM Signing Key <gc-team@google.com>"
    k8s-node3:  Fingerprint: 3749 E1BA 95A8 6CE0 5454 6ED2 F09C 394C 3E1B A8D5
    k8s-node3:  From       : https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg
    k8s-node3: 鍵のインポートに成功しました
    k8s-node3: トランザクションの確認を実行中
    k8s-node3: トランザクションの確認に成功しました。
    k8s-node3: トランザクションのテストを実行中
    k8s-node3: トランザクションのテストに成功しました。
    k8s-node3: トランザクションを実行中
    k8s-master: Running: inline script
    k8s-node2: (9/10): 155c953863e5dc40f1d0cd5010d4df91b45d8c6  25 MB/s |  21 MB     00:00
    k8s-node2: (10/10): 029bc0d7b2112098bdfa3f4621f2ce325d7a2c  21 MB/s |  18 MB     00:00
    k8s-node2: --------------------------------------------------------------------------------
    k8s-node2: 合計                                             20 MB/s |  62 MB     00:03
    k8s-node2: 警告: /var/cache/dnf/kubernetes-33343725abd9cbdc/packages/14bfe6e75a9efc8eca3f638eb22c7e2ce759c67f95b43b16fae4ebabde1549f3-cri-tools-1.13.0-0.x86_64.rpm: ヘッダー V4 RSA/SHA512 Signature、鍵 ID 3e1ba8d5: NOKEY
    k8s-master: This is Control Plane
    k8s-node3:   準備              :                                                       1/1
    k8s-node1:
    k8s-node1:   インストール中    : kubectl-1.18.6-0.x86_64                              1/10
    k8s-node2: Kubernetes                                       13 kB/s | 1.8 kB     00:00
    k8s-node2: GPG 鍵 0xA7317B0F をインポート中:
    k8s-node2:  Userid     : "Google Cloud Packages Automatic Signing Key <gc-team@google.com>"
    k8s-node2:  Fingerprint: D0BC 747F D8CA F711 7500 D6FA 3746 C208 A731 7B0F
    k8s-node2:  From       : https://packages.cloud.google.com/yum/doc/yum-key.gpg
    k8s-node2: 鍵のインポートに成功しました
    k8s-node2: GPG 鍵 0xBA07F4FB をインポート中:
    k8s-node2:  Userid     : "Google Cloud Packages Automatic Signing Key <gc-team@google.com>"
    k8s-node2:  Fingerprint: 54A6 47F9 048D 5688 D7DA 2ABE 6A03 0B21 BA07 F4FB
    k8s-node2:  From       : https://packages.cloud.google.com/yum/doc/yum-key.gpg
    k8s-node2: 鍵のインポートに成功しました
    k8s-node2: Kubernetes                                      6.6 kB/s | 975  B     00:00
    k8s-node2: GPG 鍵 0x3E1BA8D5 をインポート中:
    k8s-node2:  Userid     : "Google Cloud Packages RPM Signing Key <gc-team@google.com>"
    k8s-node2:  Fingerprint: 3749 E1BA 95A8 6CE0 5454 6ED2 F09C 394C 3E1B A8D5
    k8s-node2:  From       : https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg
    k8s-node2: 鍵のインポートに成功しました
    k8s-node2: トランザクションの確認を実行中
    k8s-node2: トランザクションの確認に成功しました。
    k8s-node2: トランザクションのテストを実行中
    k8s-node1:
    k8s-node1:   インストール中    : cri-tools-1.13.0-0.x86_64                            2/10
    k8s-node1:
    k8s-node1:   インストール中    : libnetfilter_queue-1.0.2-11.el8.x86_64               3/10
    k8s-node1:
    k8s-node1:   scriptlet の実行中: libnetfilter_queue-1.0.2-11.el8.x86_64               3/10
    k8s-node1:
    k8s-node1:   インストール中    : libnetfilter_cttimeout-1.0.0-11.el8.x86_64           4/10
    k8s-node1:
    k8s-node1:   scriptlet の実行中: libnetfilter_cttimeout-1.0.0-11.el8.x86_64           4/10
    k8s-node1:
    k8s-node1:   インストール中    : libnetfilter_cthelper-1.0.0-15.el8.x86_64            5/10
    k8s-node1:
    k8s-node1:   scriptlet の実行中: libnetfilter_cthelper-1.0.0-15.el8.x86_64            5/10
    k8s-node1:
    k8s-node1:   インストール中    : conntrack-tools-1.4.4-10.el8.x86_64                  6/10
    k8s-node1:
    k8s-node1:   scriptlet の実行中: conntrack-tools-1.4.4-10.el8.x86_64                  6/10
    k8s-node2: トランザクションのテストに成功しました。
    k8s-node2: トランザクションを実行中
    k8s-node1:
    k8s-node1:   インストール中    : socat-1.7.3.3-2.el8.x86_64                           7/10
    k8s-master: [init] Using Kubernetes version: v1.18.6
    k8s-master: [preflight] Running pre-flight checks
    k8s-master: W0809 03:07:46.402516   10993 configset.go:202] WARNING: kubeadm cannot validate component configs for API groups [kubelet.config.k8s.io kubeproxy.config.k8s.io]
    k8s-node2:   準備              :                                                       1/1
    k8s-master:         [WARNING FileExisting-tc]: tc not found in system path
    k8s-node3:
    k8s-node3:   インストール中    : kubectl-1.18.6-0.x86_64                              1/10
    k8s-master: [preflight] Pulling images required for setting up a Kubernetes cluster
    k8s-master: [preflight] This might take a minute or two, depending on the speed of your internet connection
    k8s-master: [preflight] You can also perform this action in beforehand using 'kubeadm config images pull'
    k8s-node3:
    k8s-node3:   インストール中    : cri-tools-1.13.0-0.x86_64                            2/10
    k8s-node3:
    k8s-node3:   インストール中    : libnetfilter_queue-1.0.2-11.el8.x86_64               3/10
    k8s-node3:
    k8s-node3:   scriptlet の実行中: libnetfilter_queue-1.0.2-11.el8.x86_64               3/10
    k8s-node3:
    k8s-node3:   インストール中    : libnetfilter_cttimeout-1.0.0-11.el8.x86_64           4/10
    k8s-node3:
    k8s-node3:   scriptlet の実行中: libnetfilter_cttimeout-1.0.0-11.el8.x86_64           4/10
    k8s-node3:
    k8s-node3:   インストール中    : libnetfilter_cthelper-1.0.0-15.el8.x86_64            5/10
    k8s-node3:
    k8s-node3:   scriptlet の実行中: libnetfilter_cthelper-1.0.0-15.el8.x86_64            5/10
    k8s-node3:
    k8s-node3:   インストール中    : conntrack-tools-1.4.4-10.el8.x86_64                  6/10
    k8s-node3:
    k8s-node3:   scriptlet の実行中: conntrack-tools-1.4.4-10.el8.x86_64                  6/10
    k8s-node3:
    k8s-node3:   インストール中    : socat-1.7.3.3-2.el8.x86_64                           7/10
    k8s-node2:
    k8s-node2:   インストール中    : kubectl-1.18.6-0.x86_64                              1/10
    k8s-node1:
    k8s-node1:   インストール中    : kubernetes-cni-0.8.6-0.x86_64                        8/10
    k8s-node2:
    k8s-node2:   インストール中    : cri-tools-1.13.0-0.x86_64                            2/10
    k8s-node2:
    k8s-node2:   インストール中    : libnetfilter_queue-1.0.2-11.el8.x86_64               3/10
    k8s-node2:
    k8s-node2:   scriptlet の実行中: libnetfilter_queue-1.0.2-11.el8.x86_64               3/10
    k8s-node2:
    k8s-node2:   インストール中    : libnetfilter_cttimeout-1.0.0-11.el8.x86_64           4/10
    k8s-node2:
    k8s-node2:   scriptlet の実行中: libnetfilter_cttimeout-1.0.0-11.el8.x86_64           4/10
    k8s-node2:
    k8s-node2:   インストール中    : libnetfilter_cthelper-1.0.0-15.el8.x86_64            5/10
    k8s-node2:
    k8s-node2:   scriptlet の実行中: libnetfilter_cthelper-1.0.0-15.el8.x86_64            5/10
    k8s-node2:
    k8s-node2:   インストール中    : conntrack-tools-1.4.4-10.el8.x86_64                  6/10
    k8s-node2:
    k8s-node2:   scriptlet の実行中: conntrack-tools-1.4.4-10.el8.x86_64                  6/10
    k8s-node2:
    k8s-node2:   インストール中    : socat-1.7.3.3-2.el8.x86_64                           7/10
    k8s-node3:
    k8s-node3:   インストール中    : kubernetes-cni-0.8.6-0.x86_64                        8/10
    k8s-node2:
    k8s-node2:   インストール中    : kubernetes-cni-0.8.6-0.x86_64                        8/10
    k8s-node1:
    k8s-node1:   インストール中    : kubelet-1.18.6-0.x86_64                              9/10
    k8s-node3:
    k8s-node3:   インストール中    : kubelet-1.18.6-0.x86_64                              9/10
    k8s-node1:
    k8s-node1:   インストール中    : kubeadm-1.18.6-0.x86_64                             10/10
    k8s-node1:
    k8s-node1:   scriptlet の実行中: kubeadm-1.18.6-0.x86_64                             10/10
    k8s-node2:
    k8s-node2:   インストール中    : kubelet-1.18.6-0.x86_64                              9/10
    k8s-node1:
    k8s-node1:   検証              : socat-1.7.3.3-2.el8.x86_64                           1/10
    k8s-node1:   検証              : conntrack-tools-1.4.4-10.el8.x86_64                  2/10
    k8s-node1:   検証              : libnetfilter_cthelper-1.0.0-15.el8.x86_64            3/10
    k8s-node1:   検証              : libnetfilter_cttimeout-1.0.0-11.el8.x86_64           4/10
    k8s-node1:   検証              : libnetfilter_queue-1.0.2-11.el8.x86_64               5/10
    k8s-node1:
    k8s-node1:   検証              : cri-tools-1.13.0-0.x86_64                            6/10
    k8s-node1:   検証              : kubeadm-1.18.6-0.x86_64                              7/10
    k8s-node1:   検証              : kubectl-1.18.6-0.x86_64                              8/10
    k8s-node1:   検証              : kubelet-1.18.6-0.x86_64                              9/10
    k8s-node1:   検証              : kubernetes-cni-0.8.6-0.x86_64                       10/10
    k8s-node3:
    k8s-node3:   インストール中    : kubeadm-1.18.6-0.x86_64                             10/10
    k8s-node1:
    k8s-node1:
    k8s-node1: インストール済み:
    k8s-node1:   conntrack-tools-1.4.4-10.el8.x86_64
    k8s-node1:   cri-tools-1.13.0-0.x86_64
    k8s-node1:   kubeadm-1.18.6-0.x86_64
    k8s-node1:   kubectl-1.18.6-0.x86_64
    k8s-node1:   kubelet-1.18.6-0.x86_64
    k8s-node1:   kubernetes-cni-0.8.6-0.x86_64
    k8s-node1:   libnetfilter_cthelper-1.0.0-15.el8.x86_64
    k8s-node1:   libnetfilter_cttimeout-1.0.0-11.el8.x86_64
    k8s-node1:   libnetfilter_queue-1.0.2-11.el8.x86_64
    k8s-node1:   socat-1.7.3.3-2.el8.x86_64
    k8s-node1: 完了しました!
    k8s-node1: Created symlink /etc/systemd/system/multi-user.target.wants/kubelet.service → /usr/lib/systemd/system/kubelet.service.
    k8s-node3:
    k8s-node3:   scriptlet の実行中: kubeadm-1.18.6-0.x86_64                             10/10
==> k8s-node1: Running provisioner: shell...
    k8s-node3:
    k8s-node3:   検証              : socat-1.7.3.3-2.el8.x86_64                           1/10
    k8s-node3:
    k8s-node3:   検証              : conntrack-tools-1.4.4-10.el8.x86_64                  2/10
    k8s-node3:
    k8s-node3:   検証              : libnetfilter_cthelper-1.0.0-15.el8.x86_64            3/10
    k8s-node3:   検証              : libnetfilter_cttimeout-1.0.0-11.el8.x86_64           4/10
    k8s-node3:   検証              : libnetfilter_queue-1.0.2-11.el8.x86_64               5/10
    k8s-node3:   検証              : cri-tools-1.13.0-0.x86_64                            6/10
    k8s-node3:
    k8s-node3:   検証              : kubeadm-1.18.6-0.x86_64                              7/10
    k8s-node3:
    k8s-node3:   検証              : kubectl-1.18.6-0.x86_64                              8/10
    k8s-node3:
    k8s-node3:   検証              : kubelet-1.18.6-0.x86_64                              9/10
    k8s-node3:
    k8s-node3:   検証              : kubernetes-cni-0.8.6-0.x86_64                       10/10
    k8s-node2:
    k8s-node2:   インストール中    : kubeadm-1.18.6-0.x86_64                             10/10
    k8s-node1: Running: inline script
    k8s-node3:
    k8s-node3:
    k8s-node3: インストール済み:
    k8s-node3:   conntrack-tools-1.4.4-10.el8.x86_64
    k8s-node3:   cri-tools-1.13.0-0.x86_64
    k8s-node3:   kubeadm-1.18.6-0.x86_64
    k8s-node3:   kubectl-1.18.6-0.x86_64
    k8s-node3:   kubelet-1.18.6-0.x86_64
    k8s-node3:   kubernetes-cni-0.8.6-0.x86_64
    k8s-node3:   libnetfilter_cthelper-1.0.0-15.el8.x86_64
    k8s-node3:   libnetfilter_cttimeout-1.0.0-11.el8.x86_64
    k8s-node3:   libnetfilter_queue-1.0.2-11.el8.x86_64
    k8s-node3:   socat-1.7.3.3-2.el8.x86_64
    k8s-node3: 完了しました!
    k8s-node1: This is worker
    k8s-node2:
    k8s-node2:   scriptlet の実行中: kubeadm-1.18.6-0.x86_64                             10/10
    k8s-node3: Created symlink /etc/systemd/system/multi-user.target.wants/kubelet.service → /usr/lib/systemd/system/kubelet.service.
    k8s-node1: メタデータの期限切れの最終確認: 0:00:14 時間前の 2020年08月09日 03時07分39秒 に実施しました。
==> k8s-node3: Running provisioner: shell...
    k8s-node2:
    k8s-node2:   検証              : socat-1.7.3.3-2.el8.x86_64                           1/10
    k8s-node2:
    k8s-node2:   検証              : conntrack-tools-1.4.4-10.el8.x86_64                  2/10
    k8s-node2:   検証              : libnetfilter_cthelper-1.0.0-15.el8.x86_64            3/10
    k8s-node2:   検証              : libnetfilter_cttimeout-1.0.0-11.el8.x86_64           4/10
    k8s-node2:
    k8s-node2:   検証              : libnetfilter_queue-1.0.2-11.el8.x86_64               5/10
    k8s-node2:
    k8s-node2:   検証              : cri-tools-1.13.0-0.x86_64                            6/10
    k8s-node2:
    k8s-node2:   検証              : kubeadm-1.18.6-0.x86_64                              7/10
    k8s-node2:
    k8s-node2:   検証              : kubectl-1.18.6-0.x86_64                              8/10
    k8s-node2:
    k8s-node2:   検証              : kubelet-1.18.6-0.x86_64                              9/10
    k8s-node2:
    k8s-node2:   検証              : kubernetes-cni-0.8.6-0.x86_64                       10/10
    k8s-node1: 依存関係が解決しました。
    k8s-node1: ================================================================================
    k8s-node1:  パッケージ            Arch            バージョン         リポジトリー    サイズ
    k8s-node1: ================================================================================
    k8s-node1: インストール中:
    k8s-node1:  epel-release          noarch          8-8.el8            extras           23 k
    k8s-node1:
    k8s-node1: トランザクションの概要
    k8s-node1: ================================================================================
    k8s-node1: インストール  1 パッケージ
    k8s-node1:
    k8s-node1: ダウンロードサイズの合計: 23 k
    k8s-node1: インストール済みのサイズ: 32 k
    k8s-node1: パッケージのダウンロード:
    k8s-node2:
    k8s-node2:
    k8s-node2: インストール済み:
    k8s-node2:   conntrack-tools-1.4.4-10.el8.x86_64
    k8s-node2:   cri-tools-1.13.0-0.x86_64
    k8s-node2:   kubeadm-1.18.6-0.x86_64
    k8s-node2:   kubectl-1.18.6-0.x86_64
    k8s-node2:   kubelet-1.18.6-0.x86_64
    k8s-node2:   kubernetes-cni-0.8.6-0.x86_64
    k8s-node2:   libnetfilter_cthelper-1.0.0-15.el8.x86_64
    k8s-node2:   libnetfilter_cttimeout-1.0.0-11.el8.x86_64
    k8s-node2:   libnetfilter_queue-1.0.2-11.el8.x86_64
    k8s-node2:   socat-1.7.3.3-2.el8.x86_64
    k8s-node2: 完了しました!
    k8s-node2: Created symlink /etc/systemd/system/multi-user.target.wants/kubelet.service → /usr/lib/systemd/system/kubelet.service.
    k8s-node3: Running: inline script
==> k8s-node2: Running provisioner: shell...
    k8s-node3: This is worker
    k8s-node1: epel-release-8-8.el8.noarch.rpm                 240 kB/s |  23 kB     00:00
    k8s-node1: --------------------------------------------------------------------------------
    k8s-node1: 合計                                             26 kB/s |  23 kB     00:00
    k8s-node1: トランザクションの確認を実行中
    k8s-node2: Running: inline script
    k8s-node1: トランザクションの確認に成功しました。
    k8s-node1: トランザクションのテストを実行中
    k8s-node1: トランザクションのテストに成功しました。
    k8s-node1: トランザクションを実行中
    k8s-node1:   準備              :                                                       1/1
    k8s-node1:
    k8s-node1:   インストール中    : epel-release-8-8.el8.noarch                           1/1
    k8s-node1:
    k8s-node1:   scriptlet の実行中: epel-release-8-8.el8.noarch                           1/1
    k8s-node3: メタデータの期限切れの最終確認: 0:00:14 時間前の 2020年08月09日 03時07分40秒 に実施しました。
    k8s-node2: This is worker
    k8s-node1:
    k8s-node1:   検証              : epel-release-8-8.el8.noarch                           1/1
    k8s-node3: 依存関係が解決しました。
    k8s-node3: ================================================================================
    k8s-node3:  パッケージ            Arch            バージョン         リポジトリー    サイズ
    k8s-node3: ================================================================================
    k8s-node3: インストール中:
    k8s-node3:  epel-release          noarch          8-8.el8            extras           23 k
    k8s-node3:
    k8s-node3: トランザクションの概要
    k8s-node3: ================================================================================
    k8s-node3: インストール  1 パッケージ
    k8s-node3:
    k8s-node3: ダウンロードサイズの合計: 23 k
    k8s-node3: インストール済みのサイズ: 32 k
    k8s-node3: パッケージのダウンロード:
    k8s-node1:
    k8s-node1:
    k8s-node1: インストール済み:
    k8s-node1:   epel-release-8-8.el8.noarch
    k8s-node1: 完了しました!
    k8s-node2: メタデータの期限切れの最終確認: 0:00:15 時間前の 2020年08月09日 03時07分40秒 に実施しました。
    k8s-node2: 依存関係が解決しました。
    k8s-node2: ================================================================================
    k8s-node2:  パッケージ            Arch            バージョン         リポジトリー    サイズ
    k8s-node2: ================================================================================
    k8s-node2: インストール中:
    k8s-node2:  epel-release          noarch          8-8.el8            extras           23 k
    k8s-node2:
    k8s-node2: トランザクションの概要
    k8s-node2: ================================================================================
    k8s-node2: インストール  1 パッケージ
    k8s-node2:
    k8s-node2: ダウンロードサイズの合計: 23 k
    k8s-node2: インストール済みのサイズ: 32 k
    k8s-node2: パッケージのダウンロード:
    k8s-node3: epel-release-8-8.el8.noarch.rpm                 222 kB/s |  23 kB     00:00
    k8s-node3: --------------------------------------------------------------------------------
    k8s-node3: 合計                                             28 kB/s |  23 kB     00:00
    k8s-node3: トランザクションの確認を実行中
    k8s-node3: トランザクションの確認に成功しました。
    k8s-node3: トランザクションのテストを実行中
    k8s-node3: トランザクションのテストに成功しました。
    k8s-node3: トランザクションを実行中
    k8s-node3:   準備              :                                                       1/1
    k8s-node3:
    k8s-node3:   インストール中    : epel-release-8-8.el8.noarch                           1/1
    k8s-node3:
    k8s-node3:   scriptlet の実行中: epel-release-8-8.el8.noarch                           1/1
    k8s-node3:
    k8s-node3:   検証              : epel-release-8-8.el8.noarch                           1/1
    k8s-node3:
    k8s-node3:
    k8s-node3: インストール済み:
    k8s-node3:   epel-release-8-8.el8.noarch
    k8s-node3: 完了しました!
    k8s-node2: epel-release-8-8.el8.noarch.rpm                 242 kB/s |  23 kB     00:00
    k8s-node2: --------------------------------------------------------------------------------
    k8s-node2: 合計                                             37 kB/s |  23 kB     00:00
    k8s-node2: トランザクションの確認を実行中
    k8s-node2: トランザクションの確認に成功しました。
    k8s-node2: トランザクションのテストを実行中
    k8s-node2: トランザクションのテストに成功しました。
    k8s-node2: トランザクションを実行中
    k8s-node2:   準備              :                                                       1/1
    k8s-node2:
    k8s-node2:   インストール中    : epel-release-8-8.el8.noarch                           1/1
    k8s-node2:
    k8s-node2:   scriptlet の実行中: epel-release-8-8.el8.noarch                           1/1
    k8s-node2:
    k8s-node2:   検証              : epel-release-8-8.el8.noarch                           1/1
    k8s-node2:
    k8s-node2:
    k8s-node2: インストール済み:
    k8s-node2:   epel-release-8-8.el8.noarch
    k8s-node2:
    k8s-node2: 完了しました!
    k8s-node1: Extra Packages for Enterprise Linux Modular 8 -  60 kB/s |  82 kB     00:01
    k8s-node3: Extra Packages for Enterprise Linux Modular 8 -  43 kB/s |  82 kB     00:01
    k8s-node2: Extra Packages for Enterprise Linux Modular 8 -  43 kB/s |  82 kB     00:01
    k8s-node1: Extra Packages for Enterprise Linux 8 - x86_64  2.6 MB/s | 7.5 MB     00:02
    k8s-node1: 依存関係が解決しました。
    k8s-node1: ================================================================================
    k8s-node1:  パッケージ        アーキテクチャー バージョン             リポジトリー   サイズ
    k8s-node1: ================================================================================
    k8s-node1: インストール中:
    k8s-node1:  sshpass           x86_64           1.06-9.el8             epel            27 k
    k8s-node1:
    k8s-node1: トランザクションの概要
    k8s-node1: ================================================================================
    k8s-node1: インストール  1 パッケージ
    k8s-node1: ダウンロードサイズの合計: 27 k
    k8s-node1: インストール済みのサイズ: 40 k
    k8s-node1: パッケージのダウンロード:
    k8s-node1: [MIRROR] sshpass-1.06-9.el8.x86_64.rpm: Curl error (60): Peer certificate cannot be authenticated with given CA certificates for https://ftp.yz.yamagata-u.ac.jp/pub/linux/fedora-projects/epel/8/Everything/x86_64/Packages/s/sshpass-1.06-9.el8.x86_64.rpm [SSL certificate problem: unable to get local issuer certificate]
    k8s-node1: sshpass-1.06-9.el8.x86_64.rpm                   108 kB/s |  27 kB     00:00
    k8s-node1: --------------------------------------------------------------------------------
    k8s-node1: 合計                                             15 kB/s |  27 kB     00:01
    k8s-node1: 警告: /var/cache/dnf/epel-6519ee669354a484/packages/sshpass-1.06-9.el8.x86_64.rpm: ヘッダー V3 RSA/SHA256 Signature、鍵 ID 2f86d6a1: NOKEY
    k8s-node1: Extra Packages for Enterprise Linux 8 - x86_64  1.6 MB/s | 1.6 kB     00:00
    k8s-node1: GPG 鍵 0x2F86D6A1 をインポート中:
    k8s-node1:  Userid     : "Fedora EPEL (8) <epel@fedoraproject.org>"
    k8s-node1:  Fingerprint: 94E2 79EB 8D8F 25B2 1810 ADF1 21EA 45AB 2F86 D6A1
    k8s-node1:  From       : /etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-8
    k8s-node1: 鍵のインポートに成功しました
    k8s-node1: トランザクションの確認を実行中
    k8s-node1: トランザクションの確認に成功しました。
    k8s-node1: トランザクションのテストを実行中
    k8s-node1: トランザクションのテストに成功しました。
    k8s-node1: トランザクションを実行中
    k8s-node3: Extra Packages for Enterprise Linux 8 - x86_64  1.2 MB/s | 7.5 MB     00:06
    k8s-node1:   準備              :                                                       1/1
    k8s-node1:
    k8s-node1:   インストール中    : sshpass-1.06-9.el8.x86_64                             1/1
    k8s-node1:
    k8s-node1:   scriptlet の実行中: sshpass-1.06-9.el8.x86_64                             1/1
    k8s-node1:
    k8s-node1:   検証              : sshpass-1.06-9.el8.x86_64                             1/1
    k8s-node1:
    k8s-node1:
    k8s-node1: インストール済み:
    k8s-node1:   sshpass-1.06-9.el8.x86_64
    k8s-node1: 完了しました!
    k8s-node2: Extra Packages for Enterprise Linux 8 - x86_64  1.2 MB/s | 7.5 MB     00:06
    k8s-node1: Warning: Permanently added '192.168.123.180' (ECDSA) to the list of known hosts.
    k8s-node1: scp: /etc/kubeadm_join_cmd.sh: No such file or directory
    k8s-node1: Wait until the control plane is ready.
    k8s-node3: 依存関係が解決しました。
    k8s-node3: ================================================================================
    k8s-node3:  パッケージ        アーキテクチャー バージョン             リポジトリー   サイズ
    k8s-node3: ================================================================================
    k8s-node3: インストール中:
    k8s-node3:  sshpass           x86_64           1.06-9.el8             epel            27 k
    k8s-node3:
    k8s-node3: トランザクションの概要
    k8s-node3: ================================================================================
    k8s-node3: インストール  1 パッケージ
    k8s-node3: ダウンロードサイズの合計: 27 k
    k8s-node3: インストール済みのサイズ: 40 k
    k8s-node3: パッケージのダウンロード:
    k8s-node2: 依存関係が解決しました。
    k8s-node2: ================================================================================
    k8s-node2:  パッケージ        アーキテクチャー バージョン             リポジトリー   サイズ
    k8s-node2: ================================================================================
    k8s-node2: インストール中:
    k8s-node2:  sshpass           x86_64           1.06-9.el8             epel            27 k
    k8s-node2:
    k8s-node2: トランザクションの概要
    k8s-node2: ================================================================================
    k8s-node2: インストール  1 パッケージ
    k8s-node2: ダウンロードサイズの合計: 27 k
    k8s-node2: インストール済みのサイズ: 40 k
    k8s-node2: パッケージのダウンロード:
    k8s-node3: sshpass-1.06-9.el8.x86_64.rpm                   118 kB/s |  27 kB     00:00
    k8s-node3: --------------------------------------------------------------------------------
    k8s-node3: 合計                                             31 kB/s |  27 kB     00:00
    k8s-node3: 警告: /var/cache/dnf/epel-6519ee669354a484/packages/sshpass-1.06-9.el8.x86_64.rpm: ヘッダー V3 RSA/SHA256 Signature、鍵 ID 2f86d6a1: NOKEY
    k8s-node3: Extra Packages for Enterprise Linux 8 - x86_64  1.6 MB/s | 1.6 kB     00:00
    k8s-node3: GPG 鍵 0x2F86D6A1 をインポート中:
    k8s-node3:  Userid     : "Fedora EPEL (8) <epel@fedoraproject.org>"
    k8s-node3:  Fingerprint: 94E2 79EB 8D8F 25B2 1810 ADF1 21EA 45AB 2F86 D6A1
    k8s-node3:  From       : /etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-8
    k8s-node3: 鍵のインポートに成功しました
    k8s-node3: トランザクションの確認を実行中
    k8s-node3: トランザクションの確認に成功しました。
    k8s-node3: トランザクションのテストを実行中
    k8s-node3: トランザクションのテストに成功しました。
    k8s-node3: トランザクションを実行中
    k8s-node3:   準備              :                                                       1/1
    k8s-node3:
    k8s-node3:   インストール中    : sshpass-1.06-9.el8.x86_64                             1/1
    k8s-node3:
    k8s-node3:   scriptlet の実行中: sshpass-1.06-9.el8.x86_64                             1/1
    k8s-node3:
    k8s-node3:   検証              : sshpass-1.06-9.el8.x86_64                             1/1
    k8s-node3:
    k8s-node3:
    k8s-node3: インストール済み:
    k8s-node3:   sshpass-1.06-9.el8.x86_64
    k8s-node3: 完了しました!
    k8s-node3: Warning: Permanently added '192.168.123.180' (ECDSA) to the list of known hosts.
    k8s-node2: sshpass-1.06-9.el8.x86_64.rpm                   148 kB/s |  27 kB     00:00
    k8s-node2: --------------------------------------------------------------------------------
    k8s-node2: 合計                                             17 kB/s |  27 kB     00:01
    k8s-node2: 警告: /var/cache/dnf/epel-6519ee669354a484/packages/sshpass-1.06-9.el8.x86_64.rpm: ヘッダー V3 RSA/SHA256 Signature、鍵 ID 2f86d6a1: NOKEY
    k8s-node2: Extra Packages for Enterprise Linux 8 - x86_64  1.6 MB/s | 1.6 kB     00:00
    k8s-node2: GPG 鍵 0x2F86D6A1 をインポート中:
    k8s-node2:  Userid     : "Fedora EPEL (8) <epel@fedoraproject.org>"
    k8s-node2:  Fingerprint: 94E2 79EB 8D8F 25B2 1810 ADF1 21EA 45AB 2F86 D6A1
    k8s-node2:  From       : /etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-8
    k8s-node2: 鍵のインポートに成功しました
    k8s-node2: トランザクションの確認を実行中
    k8s-node2: トランザクションの確認に成功しました。
    k8s-node2: トランザクションのテストを実行中
    k8s-node2: トランザクションのテストに成功しました。
    k8s-node2: トランザクションを実行中
    k8s-node2:   準備              :                                                       1/1
    k8s-node3: scp: /etc/kubeadm_join_cmd.sh: No such file or directory
    k8s-node3: Wait until the control plane is ready.
    k8s-node2:
    k8s-node2:   インストール中    : sshpass-1.06-9.el8.x86_64                             1/1
    k8s-node2:
    k8s-node2:   scriptlet の実行中: sshpass-1.06-9.el8.x86_64                             1/1
    k8s-node2:
    k8s-node2:   検証              : sshpass-1.06-9.el8.x86_64                             1/1
    k8s-node2:
    k8s-node2:
    k8s-node2: インストール済み:
    k8s-node2:   sshpass-1.06-9.el8.x86_64
    k8s-node2: 完了しました!
    k8s-node2: Warning: Permanently added '192.168.123.180' (ECDSA) to the list of known hosts.
    k8s-node2: scp: /etc/kubeadm_join_cmd.sh: No such file or directory
    k8s-node2: Wait until the control plane is ready.
    k8s-node1: scp: /etc/kubeadm_join_cmd.sh: No such file or directory
    k8s-node1: Wait until the control plane is ready.
    k8s-node3: scp: /etc/kubeadm_join_cmd.sh: No such file or directory
    k8s-node3: Wait until the control plane is ready.
    k8s-node2: scp: /etc/kubeadm_join_cmd.sh: No such file or directory
    k8s-node2: Wait until the control plane is ready.
    k8s-node1: scp: /etc/kubeadm_join_cmd.sh: No such file or directory
    k8s-node1: Wait until the control plane is ready.
    k8s-master: [kubelet-start] Writing kubelet environment file with flags to file "/var/lib/kubelet/kubeadm-flags.env"
    k8s-master: [kubelet-start] Writing kubelet configuration to file "/var/lib/kubelet/config.yaml"
    k8s-master: [kubelet-start] Starting the kubelet
    k8s-master: [certs] Using certificateDir folder "/etc/kubernetes/pki"
    k8s-master: [certs] Generating "ca" certificate and key
    k8s-master: [certs] Generating "apiserver" certificate and key
    k8s-master: [certs] apiserver serving cert is signed for DNS names [k8s-master kubernetes kubernetes.default kubernetes.default.svc kubernetes.default.svc.cluster.local] and IPs [10.96.0.1 192.168.123.180]
    k8s-master: [certs] Generating "apiserver-kubelet-client" certificate and key
    k8s-master: [certs] Generating "front-proxy-ca" certificate and key
    k8s-master: [certs] Generating "front-proxy-client" certificate and key
    k8s-master: [certs] Generating "etcd/ca" certificate and key
    k8s-master: [certs] Generating "etcd/server" certificate and key
    k8s-master: [certs] etcd/server serving cert is signed for DNS names [k8s-master localhost] and IPs [192.168.123.180 127.0.0.1 ::1]
    k8s-master: [certs] Generating "etcd/peer" certificate and key
    k8s-master: [certs] etcd/peer serving cert is signed for DNS names [k8s-master localhost] and IPs [192.168.123.180 127.0.0.1 ::1]
    k8s-master: [certs] Generating "etcd/healthcheck-client" certificate and key
    k8s-master: [certs] Generating "apiserver-etcd-client" certificate and key
    k8s-master: [certs] Generating "sa" key and public key
    k8s-master: [kubeconfig] Using kubeconfig folder "/etc/kubernetes"
    k8s-master: [kubeconfig] Writing "admin.conf" kubeconfig file
    k8s-master: [kubeconfig] Writing "kubelet.conf" kubeconfig file
    k8s-master: [kubeconfig] Writing "controller-manager.conf" kubeconfig file
    k8s-master: [kubeconfig] Writing "scheduler.conf" kubeconfig file
    k8s-master: [control-plane] Using manifest folder "/etc/kubernetes/manifests"
    k8s-master: [control-plane] Creating static Pod manifest for "kube-apiserver"
    k8s-master: [control-plane] Creating static Pod manifest for "kube-controller-manager"
    k8s-master: [control-plane] Creating static Pod manifest for "kube-scheduler"
    k8s-master: [etcd] Creating static Pod manifest for local etcd in "/etc/kubernetes/manifests"
    k8s-master: W0809 03:08:20.074842   10993 manifests.go:225] the default kube-apiserver authorization-mode is "Node,RBAC"; using "Node,RBAC"
    k8s-master: W0809 03:08:20.076005   10993 manifests.go:225] the default kube-apiserver authorization-mode is "Node,RBAC"; using "Node,RBAC"
    k8s-master: [wait-control-plane] Waiting for the kubelet to boot up the control plane as static Pods from directory "/etc/kubernetes/manifests". This can take up to 4m0s
    k8s-node3: scp: /etc/kubeadm_join_cmd.sh: No such file or directory
    k8s-node3: Wait until the control plane is ready.
    k8s-node2: scp: /etc/kubeadm_join_cmd.sh: No such file or directory
    k8s-node2: Wait until the control plane is ready.
    k8s-node1: scp: /etc/kubeadm_join_cmd.sh: No such file or directory
    k8s-node1: Wait until the control plane is ready.
    k8s-node3: scp: /etc/kubeadm_join_cmd.sh: No such file or directory
    k8s-node3: Wait until the control plane is ready.
    k8s-node2: scp: /etc/kubeadm_join_cmd.sh: No such file or directory
    k8s-node2: Wait until the control plane is ready.
    k8s-node1: scp: /etc/kubeadm_join_cmd.sh: No such file or directory
    k8s-node1: Wait until the control plane is ready.
    k8s-node3: scp: /etc/kubeadm_join_cmd.sh: No such file or directory
    k8s-node3: Wait until the control plane is ready.
    k8s-node2: scp: /etc/kubeadm_join_cmd.sh: No such file or directory
    k8s-node2: Wait until the control plane is ready.
    k8s-node1: scp: /etc/kubeadm_join_cmd.sh: No such file or directory
    k8s-node1: Wait until the control plane is ready.
    k8s-node3: scp: /etc/kubeadm_join_cmd.sh: No such file or directory
    k8s-node3: Wait until the control plane is ready.
    k8s-node2: scp: /etc/kubeadm_join_cmd.sh: No such file or directory
    k8s-node2: Wait until the control plane is ready.
    k8s-node1: scp: /etc/kubeadm_join_cmd.sh: No such file or directory
    k8s-node1: Wait until the control plane is ready.
    k8s-node3: scp: /etc/kubeadm_join_cmd.sh: No such file or directory
    k8s-node3: Wait until the control plane is ready.
    k8s-master: [apiclient] All control plane components are healthy after 23.003383 seconds
    k8s-master: [upload-config] Storing the configuration used in ConfigMap "kubeadm-config" in the "kube-system" Namespace
    k8s-master: [kubelet] Creating a ConfigMap "kubelet-config-1.18" in namespace kube-system with the configuration for the kubelets in the cluster
    k8s-node2: scp: /etc/kubeadm_join_cmd.sh: No such file or directory
    k8s-node2: Wait until the control plane is ready.
    k8s-node1: scp: /etc/kubeadm_join_cmd.sh: No such file or directory
    k8s-node1: Wait until the control plane is ready.
    k8s-master: [upload-certs] Skipping phase. Please see --upload-certs
    k8s-master: [mark-control-plane] Marking the node k8s-master as control-plane by adding the label "node-role.kubernetes.io/master=''"
    k8s-master: [mark-control-plane] Marking the node k8s-master as control-plane by adding the taints [node-role.kubernetes.io/master:NoSchedule]
    k8s-master: [bootstrap-token] Using token: epzp5y.f7f8f7uw88syp7wi
    k8s-master: [bootstrap-token] Configuring bootstrap tokens, cluster-info ConfigMap, RBAC Roles
    k8s-master: [bootstrap-token] configured RBAC rules to allow Node Bootstrap tokens to get nodes
    k8s-master: [bootstrap-token] configured RBAC rules to allow Node Bootstrap tokens to post CSRs in order for nodes to get long term certificate credentials
    k8s-master: [bootstrap-token] configured RBAC rules to allow the csrapprover controller automatically approve CSRs from a Node Bootstrap Token
    k8s-master: [bootstrap-token] configured RBAC rules to allow certificate rotation for all node client certificates in the cluster
    k8s-master: [bootstrap-token] Creating the "cluster-info" ConfigMap in the "kube-public" namespace
    k8s-master: [kubelet-finalize] Updating "/etc/kubernetes/kubelet.conf" to point to a rotatable kubelet client certificate and key
    k8s-master: [addons] Applied essential addon: CoreDNS
    k8s-master: [addons] Applied essential addon: kube-proxy
    k8s-master:
    k8s-master: Your Kubernetes control-plane has initialized successfully!
    k8s-master:
    k8s-master: To start using your cluster, you need to run the following as a regular user:
    k8s-master:
    k8s-master:   mkdir -p $HOME/.kube
    k8s-master:   sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
    k8s-master:   sudo chown $(id -u):$(id -g) $HOME/.kube/config
    k8s-master:
    k8s-master: You should now deploy a pod network to the cluster.
    k8s-master: Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
    k8s-master:   https://kubernetes.io/docs/concepts/cluster-administration/addons/
    k8s-master:
    k8s-master: Then you can join any number of worker nodes by running the following on each as root:
    k8s-master:
    k8s-master: kubeadm join 192.168.123.180:6443 --token epzp5y.f7f8f7uw88syp7wi \
    k8s-master:     --discovery-token-ca-cert-hash sha256:2d67010d0a23a914f7e635e1114400c67fbcfdb92ed3bbea66f97d28d5c94da5
    k8s-master: configmap/calico-config created
    k8s-master: customresourcedefinition.apiextensions.k8s.io/bgpconfigurations.crd.projectcalico.org created
    k8s-master: customresourcedefinition.apiextensions.k8s.io/bgppeers.crd.projectcalico.org created
    k8s-master: customresourcedefinition.apiextensions.k8s.io/blockaffinities.crd.projectcalico.org created
    k8s-master: customresourcedefinition.apiextensions.k8s.io/clusterinformations.crd.projectcalico.org created
    k8s-master: customresourcedefinition.apiextensions.k8s.io/felixconfigurations.crd.projectcalico.org created
    k8s-master: customresourcedefinition.apiextensions.k8s.io/globalnetworkpolicies.crd.projectcalico.org created
    k8s-master: customresourcedefinition.apiextensions.k8s.io/globalnetworksets.crd.projectcalico.org created
    k8s-master: customresourcedefinition.apiextensions.k8s.io/hostendpoints.crd.projectcalico.org created
    k8s-master: customresourcedefinition.apiextensions.k8s.io/ipamblocks.crd.projectcalico.org created
    k8s-master: customresourcedefinition.apiextensions.k8s.io/ipamconfigs.crd.projectcalico.org created
    k8s-master: customresourcedefinition.apiextensions.k8s.io/ipamhandles.crd.projectcalico.org created
    k8s-master: customresourcedefinition.apiextensions.k8s.io/ippools.crd.projectcalico.org created
    k8s-master: customresourcedefinition.apiextensions.k8s.io/kubecontrollersconfigurations.crd.projectcalico.org created
    k8s-master: customresourcedefinition.apiextensions.k8s.io/networkpolicies.crd.projectcalico.org created
    k8s-master: customresourcedefinition.apiextensions.k8s.io/networksets.crd.projectcalico.org created
    k8s-master: clusterrole.rbac.authorization.k8s.io/calico-kube-controllers created
    k8s-master: clusterrolebinding.rbac.authorization.k8s.io/calico-kube-controllers created
    k8s-master: clusterrole.rbac.authorization.k8s.io/calico-node created
    k8s-master: clusterrolebinding.rbac.authorization.k8s.io/calico-node created
    k8s-master: daemonset.apps/calico-node created
    k8s-master: serviceaccount/calico-node created
    k8s-master: deployment.apps/calico-kube-controllers created
    k8s-master: serviceaccount/calico-kube-controllers created
    k8s-master: W0809 03:08:46.521947   12944 configset.go:202] WARNING: kubeadm cannot validate component configs for API groups [kubelet.config.k8s.io kubeproxy.config.k8s.io]
    k8s-node3: W0809 03:08:47.186222   11465 join.go:346] [preflight] WARNING: JoinControlPane.controlPlane settings will be ignored when control-plane flag is not set.
    k8s-node3: [preflight] Running pre-flight checks
    k8s-node3:  [WARNING FileExisting-tc]: tc not found in system path
    k8s-node2: W0809 03:08:48.375660   11459 join.go:346] [preflight] WARNING: JoinControlPane.controlPlane settings will be ignored when control-plane flag is not set.
    k8s-node2: [preflight] Running pre-flight checks
    k8s-node2:  [WARNING FileExisting-tc]: tc not found in system path
    k8s-node1: [preflight] Running pre-flight checks
    k8s-node1: W0809 03:08:48.623847   11454 join.go:346] [preflight] WARNING: JoinControlPane.controlPlane settings will be ignored when control-plane flag is not set.
    k8s-node1:  [WARNING FileExisting-tc]: tc not found in system path
    k8s-node3: [preflight] Reading configuration from the cluster...
    k8s-node3: [preflight] FYI: You can look at this config file with 'kubectl -n kube-system get cm kubeadm-config -oyaml'
    k8s-node3: [kubelet-start] Downloading configuration for the kubelet from the "kubelet-config-1.18" ConfigMap in the kube-system namespace
    k8s-node3: [kubelet-start] Writing kubelet configuration to file "/var/lib/kubelet/config.yaml"
    k8s-node3: [kubelet-start] Writing kubelet environment file with flags to file "/var/lib/kubelet/kubeadm-flags.env"
    k8s-node3: [kubelet-start] Starting the kubelet
    k8s-node3: [kubelet-start] Waiting for the kubelet to perform the TLS Bootstrap...
    k8s-node2: [preflight] Reading configuration from the cluster...
    k8s-node2: [preflight] FYI: You can look at this config file with 'kubectl -n kube-system get cm kubeadm-config -oyaml'
    k8s-node2: [kubelet-start] Downloading configuration for the kubelet from the "kubelet-config-1.18" ConfigMap in the kube-system namespace
    k8s-node2: [kubelet-start] Writing kubelet configuration to file "/var/lib/kubelet/config.yaml"
    k8s-node2: [kubelet-start] Writing kubelet environment file with flags to file "/var/lib/kubelet/kubeadm-flags.env"
    k8s-node2: [kubelet-start] Starting the kubelet
    k8s-node2: [kubelet-start] Waiting for the kubelet to perform the TLS Bootstrap...
    k8s-node1: [preflight] Reading configuration from the cluster...
    k8s-node1: [preflight] FYI: You can look at this config file with 'kubectl -n kube-system get cm kubeadm-config -oyaml'
    k8s-node1: [kubelet-start] Downloading configuration for the kubelet from the "kubelet-config-1.18" ConfigMap in the kube-system namespace
    k8s-node1: [kubelet-start] Writing kubelet configuration to file "/var/lib/kubelet/config.yaml"
    k8s-node1: [kubelet-start] Writing kubelet environment file with flags to file "/var/lib/kubelet/kubeadm-flags.env"
    k8s-node1: [kubelet-start] Starting the kubelet
    k8s-node1: [kubelet-start] Waiting for the kubelet to perform the TLS Bootstrap...
    k8s-node3:
    k8s-node3: This node has joined the cluster:
    k8s-node3: * Certificate signing request was sent to apiserver and a response was received.
    k8s-node3: * The Kubelet was informed of the new secure connection details.
    k8s-node3:
    k8s-node3: Run 'kubectl get nodes' on the control-plane to see this node join the cluster.
    k8s-node2:
    k8s-node2: This node has joined the cluster:
    k8s-node2: * Certificate signing request was sent to apiserver and a response was received.
    k8s-node2: * The Kubelet was informed of the new secure connection details.
    k8s-node2:
    k8s-node2: Run 'kubectl get nodes' on the control-plane to see this node join the cluster.
    k8s-node1:
    k8s-node1: This node has joined the cluster:
    k8s-node1: * Certificate signing request was sent to apiserver and a response was received.
    k8s-node1: * The Kubelet was informed of the new secure connection details.
    k8s-node1:
    k8s-node1: Run 'kubectl get nodes' on the control-plane to see this node join the cluster.

real    10m20.635s
user    5m35.182s
sys     0m21.289s
[root@jumpserver k8s-vagrant]#
```
</div></details>

#### 確認

```
[root@k8s-master ~]# kubectl get nodes
NAME         STATUS   ROLES    AGE   VERSION
k8s-master   Ready    master   11m   v1.18.6
k8s-node1    Ready    <none>   11m   v1.18.6
k8s-node2    Ready    <none>   11m   v1.18.6
k8s-node3    Ready    <none>   11m   v1.18.6
[root@k8s-master ~]#
```

- - -
# まとめ
control plane x 1, worker x 3 のk8s環境が11分放置しておくだけで構築することができるようになりました。
これで、変な操作をして環境を壊してしまってもすぐにきれいな環境に復旧することができます。
スナップショットをとっておけばよいかもしれませんが、別のk8sクラスタを構築するといった場合にも有効です。
今後は、このVagrantfileを育てて最初から入っていてもよさそうなものはどんどん追加していこうと思います。

- - -
# 参考
[CentOS8でDHCPサーバを作る](https://nwengblog.com/dhcpserver/)
[How to configure a static IP on the primary interface](https://github.com/josenk/vagrant-vmware-esxi/wiki/How-to-configure-a-static-IP-on-the-primary-interface)
[VagrantでkubeadmでKubernetesを起動する](https://qiita.com/sotoiwa/items/67fbb50915a8eba5a4ce)