
# はじめに

Kubernetes（K8s）のセットアップは、多くのステップが必要で時間がかかる作業です。containerd のインストール、kubeadm の設定、ネットワークの構成など、様々な作業が必要になります。

このスクリプトでは、これらの作業を自動化し、コマンド1つでKubernetesクラスターを構築することができます。

現状はUbuntuでのみ動作を想定しています。

# リポジトリ
https://github.com/MuNeNICK/setup-k8s

# 動作環境

- **OS**: Ubuntu 22.04 LTS（検証済み）
  - Debianでも動作する可能性がありますが、未検証です
- **必要なスペック**:
  - CPU: 2コア以上
  - メモリ: ノードあたり2GB以上
  - ネットワーク: クラスター内のマシン間で疎通可能

# 利用方法

以下のコマンド一つでK8sクラスタをセットアップすることができます。

```bash
curl -fsSL https://raw.github.com/MuNeNICK/setup-k8s/main/hack/setup-k8s.sh | sudo bash -s -- [オプション]
```

スクリプトの内容を確認してから実行したい場合は、以下の手順で行うことができます。
```bash
# スクリプトのダウンロード
curl -fsSL https://raw.github.com/MuNeNICK/setup-k8s/main/hack/setup-k8s.sh -o setup-k8s.sh

# スクリプトの内容確認
less setup-k8s.sh

# 実行権限を付与して実行
chmod +x setup-k8s.sh
sudo ./setup-k8s.sh [オプション]
```

# セットアップ例
## マスターノードのセットアップ

基本的なマスターノードのセットアップ：
```bash
curl -fsSL https://raw.github.com/MuNeNICK/setup-k8s/main/hack/setup-k8s.sh | sudo bash -s -- --node-type master
```

カスタム設定でのセットアップ：
```bash
curl -fsSL https://raw.github.com/MuNeNICK/setup-k8s/main/hack/setup-k8s.sh | sudo bash -s -- \
  --node-type master \
  --kubernetes-version 1.29 \
  --pod-network-cidr 192.168.0.0/16 \
  --apiserver-advertise-address 192.168.1.10 \
  --service-cidr 10.96.0.0/12
```

## ワーカーノードのセットアップ

ワーカーノードをクラスターに参加させるには、マスターノードから以下の情報が必要です：
- 参加用トークン
- マスターノードのアドレス
- Discovery トークンハッシュ

これらの情報は、マスターノードで以下のコマンドを実行することで取得できます：
```bash
kubeadm token create --print-join-command
```

取得した情報を使用してワーカーノードをセットアップ：
```bash
curl -fsSL https://raw.github.com/MuNeNICK/setup-k8s/main/hack/setup-k8s.sh | sudo bash -s -- \
  --node-type worker \
  --join-token abcdef.1234567890abcdef \
  --join-address 192.168.1.10:6443 \
  --discovery-token-hash sha256:1234567890abcdef1234567890abcdef1234567890abcdef1234567890abcdef
```

# 利用可能なオプション一覧

| オプション | 説明 | 例 |
|------------|------|-----|
| --node-type | ノードの種類（master/worker） | --node-type master |
| --kubernetes-version | インストールするKubernetesのバージョン | --kubernetes-version 1.29 |
| --pod-network-cidr | PodネットワークのCIDR | --pod-network-cidr 192.168.0.0/16 |
| --apiserver-advertise-address | APIサーバーのアドバタイズアドレス | --apiserver-advertise-address 192.168.1.10 |
| --control-plane-endpoint | コントロールプレーンのエンドポイント | --control-plane-endpoint cluster.example.com |
| --service-cidr | サービスのCIDR | --service-cidr 10.96.0.0/12 |
| --help | ヘルプメッセージの表示 | --help |

# インストール後の設定
あとは通常通りk8sクラスタとして使用可能です。

## マスターノードでの作業

1. CNIプラグインのインストール（必要に応じて）：
```bash
kubectl apply -f https://docs.projectcalico.org/manifests/calico.yaml
```

2. シングルノードクラスターの場合は、以下のコマンドでテイントを解除：
```bash
kubectl taint nodes --all node-role.kubernetes.io/control-plane-
```

3. インストールの確認：
```bash
kubectl get nodes
```

# トラブルシューティング

問題が発生した場合は、以下の手順で確認できます：

1. kubeletのログを確認：
```bash
journalctl -xeu kubelet
```

2. ワーカーノードが参加できない場合：
- マスターノードとワーカーノード間のネットワーク接続を確認
- 参加トークンの有効期限確認（デフォルトでは24時間で期限切れ）
- ファイアウォールの設定を確認

3. セットアップをやり直す場合：
スクリプトを再実行すると、自動的にクリーンアップが行われます。


# スクリプトの詳細解説
## スクリプト
<details>
<summary>コードを表示</summary>

```bash
#!/bin/bash

set -e

# Default values
K8S_VERSION="1.32"
NODE_TYPE="master"  # Default is master node
JOIN_TOKEN=""
JOIN_ADDRESS=""
DISCOVERY_TOKEN_HASH=""

# Help message
show_help() {
    echo "Usage: $0 [options]"
    echo ""
    echo "Options:"
    echo "  --node-type    Node type (master or worker)"
    echo "  --pod-network-cidr   Pod network CIDR (e.g., 192.168.0.0/16)"
    echo "  --apiserver-advertise-address   API server advertise address"
    echo "  --control-plane-endpoint   Control plane endpoint"
    echo "  --service-cidr    Service CIDR (e.g., 10.96.0.0/12)"
    echo "  --kubernetes-version   Kubernetes version (e.g., 1.29, 1.28)"
    echo "  --join-token    Join token for worker nodes"
    echo "  --join-address  Master node address for worker nodes"
    echo "  --discovery-token-hash  Discovery token hash for worker nodes"
    echo "  --help            Display this help message"
    exit 0
}

# Parse command line arguments
KUBEADM_ARGS=""
while [[ $# -gt 0 ]]; do 
    case $1 in
        --help)
            show_help
            ;;
        --node-type)
            NODE_TYPE=$2
            shift 2
            ;;
        --kubernetes-version)
            K8S_VERSION=$2
            shift 2
            ;;
        --join-token)
            JOIN_TOKEN=$2
            shift 2
            ;;
        --join-address)
            JOIN_ADDRESS=$2
            shift 2
            ;;
        --discovery-token-hash)
            DISCOVERY_TOKEN_HASH=$2
            shift 2
            ;;
        --pod-network-cidr|--apiserver-advertise-address|--control-plane-endpoint|--service-cidr)
            KUBEADM_ARGS="$KUBEADM_ARGS $1 $2"
            shift 2
            ;;
        *)
            echo "Unknown option: $1"
            show_help
            ;;
    esac
done

# Validate node type
if [[ "$NODE_TYPE" != "master" && "$NODE_TYPE" != "worker" ]]; then
    echo "Error: Node type must be either 'master' or 'worker'"
    exit 1
fi

# Check required arguments for worker nodes
if [[ "$NODE_TYPE" == "worker" ]]; then
    if [[ -z "$JOIN_TOKEN" || -z "$JOIN_ADDRESS" || -z "$DISCOVERY_TOKEN_HASH" ]]; then
        echo "Error: Worker nodes require --join-token, --join-address, and --discovery-token-hash"
        exit 1
    fi
fi

# Check root privileges
if [[ $EUID -ne 0 ]]; then
   echo "This script must be run with root privileges"
   exit 1
fi

echo "Starting Kubernetes initialization script..."
echo "Node type: ${NODE_TYPE}"
echo "Kubernetes Version: ${K8S_VERSION}"

# Disable swap
echo "Disabling swap..."
swapoff -a
sed -i '/ swap / s/^$.*$$/#\1/g' /etc/fstab

# Enable kernel modules
echo "Enabling required kernel modules..."
cat > /etc/modules-load.d/k8s.conf <<EOF
overlay
br_netfilter
EOF

modprobe overlay
modprobe br_netfilter

# Network settings
echo "Adjusting network settings..."
cat > /etc/sysctl.d/k8s.conf <<EOF
net.bridge.bridge-nf-call-iptables  = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.ipv4.ip_forward                 = 1
EOF

sysctl --system

# Install containerd
echo "Installing containerd..."
apt-get update
apt-get install -y apt-transport-https ca-certificates curl software-properties-common

# Add containerd repository
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | gpg --dearmor -o /etc/apt/keyrings/docker.gpg
echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" | tee /etc/apt/sources.list.d/docker.list

# Install and configure containerd
apt-get update
apt-get install -y containerd.io

mkdir -p /etc/containerd
containerd config default | tee /etc/containerd/config.toml
sed -i 's/SystemdCgroup = false/SystemdCgroup = true/' /etc/containerd/config.toml
systemctl restart containerd

# Install kubeadm
echo "Installing kubeadm, kubelet, kubectl... (version: ${K8S_VERSION})"
curl -fsSL https://pkgs.k8s.io/core:/stable:/v${K8S_VERSION}/deb/Release.key | gpg --dearmor -o /etc/apt/keyrings/kubernetes-apt-keyring.gpg
echo "deb [signed-by=/etc/apt/keyrings/kubernetes-apt-keyring.gpg] https://pkgs.k8s.io/core:/stable:/v${K8S_VERSION}/deb/ /" | tee /etc/apt/sources.list.d/kubernetes.list

apt-get update

# Install specific version
VERSION_STRING=$(apt-cache madison kubeadm | grep ${K8S_VERSION} | head -1 | awk '{print $3}')
if [ -z "$VERSION_STRING" ]; then
    echo "Specified version ${K8S_VERSION} not found"
    exit 1
fi

apt-get install -y --allow-change-held-packages kubelet=${VERSION_STRING} kubeadm=${VERSION_STRING} kubectl=${VERSION_STRING}
apt-mark hold kubelet kubeadm kubectl

# Reset existing cluster configuration
echo "Cleaning up existing cluster configuration..."
kubeadm reset -f || true
rm -rf /etc/cni/net.d/* || true
rm -rf /var/lib/cni/ || true

# Clean up .kube directory
if [ -n "$SUDO_USER" ]; then
    USER_HOME="/home/$SUDO_USER"
    echo "Cleanup: Removing .kube directory for user $SUDO_USER"
    rm -rf "$USER_HOME/.kube" || true
else
    echo "Cleanup: Removing .kube directory for root user"
    rm -rf $HOME/.kube/ || true
fi

# Reset iptables rules
echo "Resetting iptables rules..."
iptables -F && iptables -t nat -F && iptables -t mangle -F && iptables -X

if [[ "$NODE_TYPE" == "master" ]]; then
    # Initialize master node
    echo "Initializing master node..."
    echo "Using kubeadm init arguments: $KUBEADM_ARGS"
    kubeadm init $KUBEADM_ARGS

    # Configure kubectl
    echo "Configuring kubectl..."
    if [ -n "$SUDO_USER" ]; then
        USER_HOME="/home/$SUDO_USER"
        mkdir -p "$USER_HOME/.kube"
        cp -i /etc/kubernetes/admin.conf "$USER_HOME/.kube/config"
        chown -R "$SUDO_USER:$(id -gn $SUDO_USER)" "$USER_HOME/.kube"
        echo "Created kubectl configuration for user $SUDO_USER"
    else
        # If run directly as root
        mkdir -p $HOME/.kube
        cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
        echo "Created kubectl configuration for root user"
    fi

    # Display join command
    echo "Displaying join command for worker nodes..."
    kubeadm token create --print-join-command

    echo "Master node initialization complete!"
    echo "Next steps:"
    echo "1. Install a CNI plugin"
    echo "2. For single-node clusters, remove the taint with:"
    echo "   kubectl taint nodes --all node-role.kubernetes.io/control-plane-"

else
    # Join worker node
    echo "Joining worker node to cluster..."
    kubeadm join ${JOIN_ADDRESS} --token ${JOIN_TOKEN} --discovery-token-ca-cert-hash ${DISCOVERY_TOKEN_HASH}
    
    echo "Worker node has joined the cluster!"
fi

echo "Installed versions:"
kubectl version --client
kubeadm version
```

</details>


## スクリプトの解説
### 1. 初期設定とヘルプ機能

```bash
#!/bin/bash
set -e  # エラー発生時にスクリプトを終了

# デフォルト値の設定
K8S_VERSION="1.32"
NODE_TYPE="master"
JOIN_TOKEN=""
JOIN_ADDRESS=""
DISCOVERY_TOKEN_HASH=""

# ヘルプメッセージの表示機能
show_help() {
    echo "Usage: $0 [options]"
    # ... ヘルプメッセージの内容
}
```

- `set -e`: スクリプトの安全性を高めるため、エラー発生時に実行を停止
- 詳細なヘルプメッセージにより使用方法を簡単に確認可能

### 2. コマンドライン引数の処理

```bash
KUBEADM_ARGS=""
while [[ $# -gt 0 ]]; do 
    case $1 in
        --node-type)
            NODE_TYPE=$2
            shift 2
            ;;
        --kubernetes-version)
            K8S_VERSION=$2
            shift 2
            ;;
        --pod-network-cidr|--apiserver-advertise-address|--control-plane-endpoint|--service-cidr)
            KUBEADM_ARGS="$KUBEADM_ARGS $1 $2"
            shift 2
            ;;
        # ... その他のオプション
    esac
done
```

- kubeadm関連の引数は直接kubeadmに渡すように設計

### 3. バリデーションチェック

```bash
# ノードタイプの検証
if [[ "$NODE_TYPE" != "master" && "$NODE_TYPE" != "worker" ]]; then
    echo "Error: Node type must be either 'master' or 'worker'"
    exit 1
fi

# ワーカーノードの必須パラメータチェック
if [[ "$NODE_TYPE" == "worker" ]]; then
    if [[ -z "$JOIN_TOKEN" || -z "$JOIN_ADDRESS" || -z "$DISCOVERY_TOKEN_HASH" ]]; then
        echo "Error: Worker nodes require --join-token, --join-address, and --discovery-token-hash"
        exit 1
    fi
fi

# root権限チェック
if [[ $EUID -ne 0 ]]; then
   echo "This script must be run with root privileges"
   exit 1
fi
```

- 入力パラメータの妥当性チェック
- 必要な権限の確認
- エラー時の適切なメッセージ表示

### 4. システム準備

```bash
# スワップの無効化
swapoff -a
sed -i '/ swap / s/^$.*$$/#\1/g' /etc/fstab

# カーネルモジュールの設定
cat > /etc/modules-load.d/k8s.conf <<EOF
overlay
br_netfilter
EOF

modprobe overlay
modprobe br_netfilter

# ネットワーク設定
cat > /etc/sysctl.d/k8s.conf <<EOF
net.bridge.bridge-nf-call-iptables  = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.ipv4.ip_forward                 = 1
EOF

sysctl --system
```

- Kubernetesの要件に合わせたシステム設定
- 永続的な設定（再起動後も維持）
- ネットワーク関連の重要な設定

### 5. containerdのインストールと設定

```bash
# containerdのインストール
apt-get update
apt-get install -y apt-transport-https ca-certificates curl software-properties-common

# リポジトリの追加
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | gpg --dearmor -o /etc/apt/keyrings/docker.gpg
echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" | tee /etc/apt/sources.list.d/docker.list

# インストールと設定
apt-get update
apt-get install -y containerd.io

mkdir -p /etc/containerd
containerd config default | tee /etc/containerd/config.toml
sed -i 's/SystemdCgroup = false/SystemdCgroup = true/' /etc/containerd/config.toml
systemctl restart containerd
```

- 必要な依存関係のインストール
- 公式リポジトリからのインストール
- SystemdCgroup設定の有効化（Kubernetes要件）

### 6. Kubernetesコンポーネントのインストール

```bash
# kubeadmのリポジトリ追加
curl -fsSL https://pkgs.k8s.io/core:/stable:/v${K8S_VERSION}/deb/Release.key | gpg --dearmor -o /etc/apt/keyrings/kubernetes-apt-keyring.gpg
echo "deb [signed-by=/etc/apt/keyrings/kubernetes-apt-keyring.gpg] https://pkgs.k8s.io/core:/stable:/v${K8S_VERSION}/deb/ /" | tee /etc/apt/sources.list.d/kubernetes.list

# バージョン指定インストール
VERSION_STRING=$(apt-cache madison kubeadm | grep ${K8S_VERSION} | head -1 | awk '{print $3}')
if [ -z "$VERSION_STRING" ]; then
    echo "Specified version ${K8S_VERSION} not found"
    exit 1
fi

apt-get install -y --allow-change-held-packages kubelet=${VERSION_STRING} kubeadm=${VERSION_STRING} kubectl=${VERSION_STRING}
apt-mark hold kubelet kubeadm kubectl
```

- 指定バージョンのインストール
- パッケージの自動アップデート防止
- エラーハンドリング

### 7. クリーンアップ処理

```bash
# 既存クラスター設定のリセット
kubeadm reset -f || true
rm -rf /etc/cni/net.d/* || true
rm -rf /var/lib/cni/ || true

# .kube ディレクトリのクリーンアップ
if [ -n "$SUDO_USER" ]; then
    USER_HOME="/home/$SUDO_USER"
    rm -rf "$USER_HOME/.kube" || true
else
    rm -rf $HOME/.kube/ || true
fi

# iptablesのリセット
iptables -F && iptables -t nat -F && iptables -t mangle -F && iptables -X
```

- 既存の設定のクリーンアップ
- sudoユーザーと直接rootで実行した場合の両方に対応
- ネットワーク設定の完全リセット

### 8. クラスター初期化（マスターノード）

```bash
if [[ "$NODE_TYPE" == "master" ]]; then
    # マスターノードの初期化
    kubeadm init $KUBEADM_ARGS

    # kubectlの設定
    if [ -n "$SUDO_USER" ]; then
        USER_HOME="/home/$SUDO_USER"
        mkdir -p "$USER_HOME/.kube"
        cp -i /etc/kubernetes/admin.conf "$USER_HOME/.kube/config"
        chown -R "$SUDO_USER:$(id -gn $SUDO_USER)" "$USER_HOME/.kube"
    else
        mkdir -p $HOME/.kube
        cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
    fi

    # joinコマンドの表示
    kubeadm token create --print-join-command
```

- マスターノードの初期化
- 適切な権限での設定ファイル配置

### 9. ワーカーノード参加処理

```bash
else
    # ワーカーノードのjoin
    kubeadm join ${JOIN_ADDRESS} --token ${JOIN_TOKEN} --discovery-token-ca-cert-hash ${DISCOVERY_TOKEN_HASH}
fi
```

- 安全なクラスター参加プロセス
- トークンとハッシュによる認証

# おわりに
このスクリプトを開発した背景には、kubeadmベースのKubernetes環境を、k3sのように簡単に1コマンドで構築したいというニーズがありました。
普段の検証では軽量な k3s を使用することが多かったのですが、[Confidential Containers](https://github.com/confidential-containers) を検証する際に課題が発生しました。k3s などの軽量Kubernetes ディストリビューションでは containerd が組み込みとして提供されており、Confidential Containers が必要とする Container Runtime の追加時にエラーが発生してしまいます。そのため、標準的な kubeadm ベースの Kubernetes クラスタを構築する必要性が出てきました。

現状はUbuntuのみサポートしていますが、別のディストリビューション対応も行おうと思います。（多分）

簡単にk8sを構築したい場合に利用してみてください。

MuNeNiCK.me

Kubernetesクラスタを1つのコマンドで構築するスクリプトを作成した話

目次