kubeadmでkubernetes v1.28.2を2台構成を構築するログ

## 概要

お家でkubernetesを触るためにkubeadmを使ってPCに2台構成を構築します。
ほとんど以下の手順書をそのまま実行していますが結構はまりましたので実施した内容をまとめました。

- kubeadm
    - [コンテナランタイム | Kubernetes](https://kubernetes.io/ja/docs/setup/production-environment/container-runtimes/)
    - [kubeadmのインストール | Kubernetes](https://kubernetes.io/ja/docs/setup/production-environment/tools/kubeadm/install-kubeadm/)

## 環境

- OS
    - Linux (Ubuntu 22.04.3 LTS)
- ネットワーク
    - Pod: 10.244.0.0/16
    - Service: 172.16.0.0/16
    - コントロールプレーンのIPアドレス: 192.168.116.100
    - ワーカーノードのIPアドレス：192.168.116.101
- kubernetes
    - v1.28.2
- CRI
    - containerd
        - [containerd/docs/getting-started.md at main · containerd/containerd](https://github.com/containerd/containerd/blob/main/docs/getting-started.md)
- CNI
    - Calico
        - [Quickstart for Calico on Kubernetes | Calico Documentation](https://docs.tigera.io/calico/latest/getting-started/kubernetes/quickstart)

## 準備

swapoffにする。

```bash
sudo swapoff -a
sudo vi /etc/fstab

以下をコメントアウトする
# /swap.img     none    swap    sw      0       0
```

IPv4のフォワーディングを有効化する。

```bash
cat <<EOF | sudo tee /etc/modules-load.d/k8s.conf
overlay
br_netfilter
EOF

sudo modprobe overlay
sudo modprobe br_netfilter

cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-iptables  = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.ipv4.ip_forward                 = 1
EOF

sudo sysctl --system
```

有効になっていることを確認する。

```bash
sysctl net.bridge.bridge-nf-call-iptables net.bridge.bridge-nf-call-ip6tables net.ipv4.ip_forward                                          [~]

net.bridge.bridge-nf-call-iptables = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.ipv4.ip_forward = 1
```

containerdをインストールする。

```bash
sudo apt-get update
sudo apt-get install ca-certificates curl gnupg
sudo install -m 0755 -d /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/debian/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg
sudo chmod a+r /etc/apt/keyrings/docker.gpg

# Add the repository to Apt sources:
echo \
  "deb [arch="$(dpkg --print-architecture)" signed-by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/debian \
  "$(. /etc/os-release && echo "$VERSION_CODENAME")" stable" | \
  sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt-get update

sudo apt-get install containerd.io
```

インストール後、CRIを有効にしてsystemdを使うようにする。

```bash
sudo containerd config default > /etc/containerd/config.toml
```

SystemdCgroupがfalseになっているため、trueにする。

```toml
[plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc]
  ...
  [plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc.options]
    SystemdCgroup = true
```

再起動する。

```bash
sudo systemctl enable --now containerd
sudo systemctl restart containerd
```

## kubeadmインストール（コントロールプレーン）

kubeadmをインストールする。

```bash
sudo apt-get update
sudo apt-get install -y apt-transport-https ca-certificates curl
curl -fsSL https://dl.k8s.io/apt/doc/apt-key.gpg | sudo gpg --dearmor -o /etc/apt/keyrings/kubernetes-archive-keyring.gpg
echo "deb [signed-by=/etc/apt/keyrings/kubernetes-archive-keyring.gpg] https://apt.kubernetes.io/ kubernetes-xenial main" | sudo tee /etc/apt/sources.list.d/kubernetes.list
sudo apt-get update
sudo apt-get install -y kubelet kubeadm kubectl
sudo apt-mark hold kubelet kubeadm kubectl
```

自環境ではアドオンの導入をスキップしないと数回に1回の割合でタイムアウトが発生して初期化ができなかったので、構築後有効にした。

```bash
sudo kubeadm init \
--apiserver-advertise-address=192.168.116.100 \
--pod-network-cidr=10.244.0.0/16 \
--service-cidr=172.16.0.0/16 \
--v=7 \
--skip-phases=addon/kube-proxy,addon/coredns
```

結果をコピーしておく。

```bash
kubeadm join 192.168.116.100:6443 --token xxxxxx.xxxxx \
        --discovery-token-ca-cert-hash sha256:xxxxx
```

kubectlの設定を追加する。

```bash
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
```

kube-proxyとcorednsをインストールする。

```bash
sudo kubeadm init phase addon coredns --service-cidr=172.16.0.0/16
sudo kubeadm init phase addon kube-proxy 
```

## Calicoインストール

参考ページにあるコマンドを実行する。kubectl applyではなくcreateを使ってくれと注釈がある。

```bash
kubectl create -f https://raw.githubusercontent.com/projectcalico/calico/v3.26.3/manifests/tigera-operator.yaml
```

以下はネットワークアドレスの修正が必要であるためダウンロードする。

```bash
wget https://raw.githubusercontent.com/projectcalico/calico/v3.26.3/manifests/custom-resources.yaml
vi custom-resources.yaml

# cidrを変更する
cidr: 10.244.0.0/16
```

設定を反映する。

```bash
kubectl create -f custom-resources.yaml
```

コントロールプレーンでもコンテナ起動できるようにする。

```bash
kubectl taint nodes --all node-role.kubernetes.io/control-plane-
```

## kubeadmインストール（ワーカーノード）

同様にkubeadmをインストールする。

```bash
sudo apt-get update
sudo apt-get install -y apt-transport-https ca-certificates curl
curl -fsSL https://dl.k8s.io/apt/doc/apt-key.gpg | sudo gpg --dearmor -o /etc/apt/keyrings/kubernetes-archive-keyring.gpg
echo "deb [signed-by=/etc/apt/keyrings/kubernetes-archive-keyring.gpg] https://apt.kubernetes.io/ kubernetes-xenial main" | sudo tee /etc/apt/sources.list.d/kubernetes.list
sudo apt-get update
sudo apt-get install -y kubelet kubeadm kubectl
sudo apt-mark hold kubelet kubeadm kubectl
```

コピーしておいたコマンドでjoinする。

```bash
kubeadm join 192.168.116.100:6443 --token xxxxxx.xxxxx \
        --discovery-token-ca-cert-hash sha256:xxxxx
```

コントロールプレーンでノード追加されることを確認する。

```bash
kubectl get node                                                                                                                    [~/config]
NAME      STATUS   ROLES           AGE    VERSION
xxxxxxx   Ready    <none>          32m    v1.28.2
xxx       Ready    control-plane   111m   v1.28.2
```

## 動作確認

hello-worldの動作を確認した。

```
kubectl run hello-world --image=hello-world --restart=Never
kubectl logs hello-world

Hello from Docker!
This message shows that your installation appears to be working correctly.

To generate this message, Docker took the following steps:
 1. The Docker client contacted the Docker daemon.
 2. The Docker daemon pulled the "hello-world" image from the Docker Hub.
    (amd64)
 3. The Docker daemon created a new container from that image which runs the
    executable that produces the output you are currently reading.
 4. The Docker daemon streamed that output to the Docker client, which sent it
    to your terminal.

To try something more ambitious, you can run an Ubuntu container with:
 $ docker run -it ubuntu bash

Share images, automate workflows, and more with a free Docker ID:
 https://hub.docker.com/

For more examples and ideas, visit:
 https://docs.docker.com/get-started/
```

ワーカーノードで実行されていた。

```bash
kubectl get pod -o wide 
NAME          READY   STATUS      RESTARTS   AGE   IP               NODE      NOMINATED NODE   READINESS GATES
hello-world   0/1     Completed   0          32m   10.244.165.130   xxxxxxx   <none>           <none>
```

## うまくいかなかったこと

ドキュメントをちゃんと読んでいなかったところがほとんどですが、以下で失敗しました。

- containerdをaptでインストールしたときは、デフォルトではCRIが無効であったので `/etc/containerd/config.toml` を手順のようにcontainerdが用意しているデフォルト設定に上書きする必要がありました
- アドオンであるcorednsとkube-proxyを初期化時にうまく起動できなかったので初期化時にはスキップして後から有効化しました
- dockerで実行することやflannelで実行を試していましたが、うまくいきませんでした。containerdとcalicoの構成時にたまたまうまくいきましたが、どこで躓いてどこで上手く行けたのか不明です。
- なんども失敗したのでリセットを繰り返しました。
    - `sudo kubeadm reset --force`
    - `sudo rm -rf /etc/cni/net.d`
    - `sudo systemctl restart containerd`
    - `sudo systemctl restart kubelet`
- うまくいかないときには kubeletやPodのログ等を確認しました。
    - `sudo systemctl status kubelet`
    - `sudo journalctl -xe`
    - `kubectl get pod -A -o wide`
    - `kubectl get describe pod xxx -n kube-system`
    - `kubectl logs {Pod名} -n kube-system`
    - `kubectl get node -o wide`