# はじめに
 VMware vSphere環境ではTanzu Kubernetes Grid(通称: TKG)を使用することで簡単にKubernetes環境を構築することができます。本記事で紹介するTKGはStandalone版であり、マルチクラウドに対応可能なTKGmです。また、NSX ALBはEssentialsライセンスを使用していきます。本記事ではEnterprise Editionの機能である、DNS ProviderとAKOを使用したL7 Ingressを構築する方法を紹介します。
 
# 前回
これまで構築した環境を元に本記事を記述しております。

https://www.munenick.me/blog/tkg-nsx-alb-04
 
# 環境

| 環境 |
| --------------------------------- |
| VMware ESXi 8 |
| VMware vCenter 8 |
| Tanzu Kubernetes Grid 2.1.1 |
| NSX Advanced Load Balancer 22.1.3 |
 
# 前提条件
- VMware ESXiの構築及びvCenterを使用してDatacenterの管理ができていること
- 2つ以上のVLAN環境が構築できていること
 - 本環境ではマネジメントネットワーク:VM Network(VLAN0)とKubernetes用ネットワーク:VLAN100(VLAN100)を用意しています。
- 十分なリソースのあるサーバ、ストレージ
 - NSX ALBでCPU:8, RAM:24GB, ROM:128GB使用します。
 - 要件によりますが、デプロイするKubernetesノードでもCPU:2, RAM:8GB, ROM:40GBの仮想マシンが4~12個デプロイされます。

# Enterprise Editionへの変更
本記事で紹介するDNS ProviderとAKO IngressはEssentialsライセンスでは構築することはできません。なので、まずEssentialsライセンスからEnterpriseライセンスに変更します。

- NSX ALBにadminユーザでログインしてください。
![](https://www.munenick.me/hackmd/uploads/upload_8c5c8f1faaeaa879968d6a90ce89a2ce.png)

- 上部タブの「管理」→「ライセンス」にある設定ボタン(歯車マーク)をクリックしてください。
![](https://www.munenick.me/hackmd/uploads/upload_4619c5694b85d82f19c451a862423e14.png)

- 「エンタープライズ階層」を選択し、右下の「保存」ボタンをクリックしてください。
![](https://www.munenick.me/hackmd/uploads/upload_39c42aa01644da3fece6caea0635434d.png)

# AKO Ingressの構築
KubernetesにはIngressという機能があり、NGINX Ingress ControllerやVMwareが管理しているContour Ingress Controllerがあります。これらはNSX ALBのL4ロードバランサと組み合わせることで使用することができます。しかし、NSX ALBではL7 Ingressという機能を提供しており、上記のIngress Controllerを使用しなくても高性能なIngressを構築することができます。今回はそのL7 Ingressの構築方法を紹介します。

## Managementクラスタでの設定
- クラスタ管理マシンに接続してください。

- 以下のコマンドを実行し、Managementクラスタ用コンテキストを選択してください。
```bash
MuNeNiCK [ ~ ]$ kubectl config use-context tkg21mc01-admin@tkg21mc01 
Switched to context "tkg21mc01-admin@tkg21mc01".
```

- 以下のコマンドを実行し、Managementクラスタのコンテキストが選択されていることを確認してください。
```bash
MuNeNiCK [ ~ ]$ kubectl config current-context
tkg21mc01-admin@tkg21mc01
```

- 任意の場所に以下のyamlファイルを作成してください。ただし、以下の項を自身の環境に合わせて書き換えてください。
 - spec.controlPlaneNetwork: Kubernetesのcontrol-planeノードが接続するネットワークアドレスを「cidr」に、ネットワークグループを「name」に指定してください。
 - spec.controller: NSX ALB ControllerのIPアドレスを指定してください。
 - spec.dataNetwork: Kubernetes のデータプレーンのネットワークを指定します。これは「spec.controlPlaneNetwork」と同様になる場合が多いです。
 - spec.extraConfigs.ingress.nodeNetworkList: Ingress として利用するネットワークを指定します。これは「spec.controlPlaneNetwork」と同様になる場合が多いです。
 - shardVSSize: : LARGE, MEDIUM, SMALL, DEDICATEDから選択することができます。SMALLを指定した場合、作成される仮想サービスおよび割り当てられるVIPアドレスが1つとなります。この場合、DNS Providerを必ずしも作成しなくて良くなります。

```bash {17,18,19,21,22,30,31,33,34}
apiVersion: networking.tkg.tanzu.vmware.com/v1alpha1
kind: AKODeploymentConfig
metadata:
 name: ako-deploy
spec:
 adminCredentialRef:
 name: avi-controller-credentials
 namespace: tkg-system-networking
 certificateAuthorityRef:
 name: avi-controller-ca
 namespace: tkg-system-networking
 cloudName: Default-Cloud
 clusterSelector:
 matchLabels:
 ako-deploy: "true"
 controlPlaneNetwork:
 cidr: 192.168.100.0/24
 name: VLAN100
 controller: 192.168.0.241
 dataNetwork:
 cidr: 192.168.100.0/24
 name: VLAN100
 extraConfigs:
 cniPlugin: antrea
 disableStaticRouteSync: false
 ingress:
 disableIngressClass: false
 nodeNetworkList:
 - cidrs:
 - 192.168.100.0/24
 networkName: VLAN100
 serviceType: NodePortLocal
 shardVSSize: SMALL
 serviceEngineGroup: Default-Group
```

- 以下のコマンドを実行し、yamlファイルを適用してください。
```bash
MuNeNiCK [ ~/kubernetes/management/ako ]$ kubectl apply -f ako-deploy.yaml 
akodeploymentconfig.networking.tkg.tanzu.vmware.com/ako-deploy created
```

- 以下のコマンドを実行し、Workloadクラスタにラベルを付与してください。
```bash
uNeNiCK [ ~/kubernetes/management/ako ]$ kubectl label cluster tkg21wc01 ako-deploy="true"
cluster.cluster.x-k8s.io/tkg21wc01 labeled
```

## Workloadクラスタでの設定
- 以下のコマンドを実行し、Workloadコンテキストに切り替えてください。
```bash
MuNeNiCK [ ~/kubernetes/management/ako ]$ kubectl config use-context tkg21wc01-admin@tkg21wc01 
Switched to context "tkg21wc01-admin@tkg21wc01".
```

- 以下のコマンドを実行し、Workloadコンテキストが選択されていることを確認してください。
```bash
MuNeNiCK [ ~/kubernetes/management/ako ]$ kubectl config current-context 
tkg21wc01-admin@tkg21wc01
```

- 以下のコマンドを実行し、AKOのPodを再起動してください。
```bash
MuNeNiCK [ ~/kubernetes/management/ako ]$ kubectl delete pod ako-0 -n avi-system
pod "ako-0" deleted
```

- 以下のコマンドを実行してIngressClassが作成されたことを確認してください。
```bash
MuNeNiCK [ ~/kubernetes/workload/caddy-ingress ]$ kubectl get ingressclass
NAME CONTROLLER PARAMETERS AGE
avi-lb ako.vmware.com/avi-lb <none> 42m
```

## テストリソースの作成
今回はIngressの検証としてnginxを動作させたいと思います。

- 任意の場所に以下のyamlファイルを作成してください。ただし、「host」を自身のFQDNに書き換えてください。
```yaml {43}
apiVersion: apps/v1
kind: Deployment
metadata:
 name: test-ingress-deployment
spec:
 replicas: 1
 selector:
 matchLabels:
 app: nginx
 template:
 metadata:
 labels:
 app: nginx
 spec:
 containers:
 - name: nginx
 image: nginx:1.21.1
 ports:
 - containerPort: 80

---
apiVersion: v1
kind: Service
metadata:
 name: test-ingress-service
spec:
 selector:
 app: nginx
 ports:
 - protocol: TCP
 port: 80
 targetPort: 80
 type: ClusterIP

---
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
 name: test-ingress
spec:
 ingressClassName: avi-lb
 rules:
 - host: test-ingress.example.com
 http:
 paths:
 - path: /
 pathType: Prefix
 backend:
 service:
 name: test-ingress-service
 port:
 number: 80
```

- 以下のコマンドを実行し、yamlを適用してください。
```bash
MuNeNiCK [ ~/kubernetes/workload/test-ako-ingress ]$ kubectl apply -f test-ingress.yaml 
deployment.apps/test-ingress-deployment created
service/test-ingress-service created
ingress.networking.k8s.io/test-ingress created
```

- 以下のコマンドを実行してIngressリソースの作成を確認してください。ここでIngressコントローラに割り当てられたIPアドレスを確認することができます。
```bash
MuNeNiCK [ ~/kubernetes/workload ]$ kubectl get ingress
NAME CLASS HOSTS ADDRESS PORTS AGE
test-ingress avi-lb test-ingress.example.com 192.168.100.108 80 2m22s
```

## DNSレコードの登録
Ingressコントローラに割り当てられたVIPアドレスをDNSのレコードとして登録する必要があります。後述するDNS Providerを構築する場合はこの手順は必要ありません。
今回はWindows Server DNSでレコード登録をします。

- DNSマネージャを起動し、DNSレコードを追加したいゾーンを右クリックしてください。そして、「新しいホスト(AまたはAAAA)」をクリックしてください。
![](https://www.munenick.me/hackmd/uploads/upload_4cd523a2b99270b4071ac8f2bb236376.png)

- 任意の名前を入力し、IPアドレスにIngressコントローラのIPアドレスを指定してください。私はワイルドカードを指定しています。これにより、Windows Server DNSで解決できなかったレコードをIngressコントローラに転送してくれます。
![](https://www.munenick.me/hackmd/uploads/upload_8a98be6816b7d72f33f273b6837061ab.png)

## Ingressの確認
- ブラウザから、指定したFQDNにアクセスできたら成功です。
![](https://www.munenick.me/hackmd/uploads/upload_5cfb7004e97c85edea440d1d3e2b3cd1.png)

# DNS Providerの構築(オプション)
AKO Ingressを使用する際に、「shardVSSize」を「SMALL」以外に設定すると、複数の仮想サービスが構築されます。そこで、その仮想サービスに割り当てられたアドレス(VIPアドレス)にアクセスする形になります。しかし、通常のDNSサーバでは複数のアドレスからホストを解決させることは容易ではありません。そこで、NSX ALBのDNS Providerを使用することで、動的にレコードを更新し、複数のIPアドレスからホストの解決を行うことができます。

## DNS Profileの設定
- 「テンプレート」→「プロファイル」→「IPアドレス管理/DNSプロファイル」の「作成」ボタンをクリックし、「DNSプロファイル」をクリックしてください。
![](https://www.munenick.me/hackmd/uploads/upload_64dc23130981bb304c2d62839e41799e.png)

- 以下の項目を設定してください。
 - 名前: 任意の名前を設定してください。今回は「k8s-dns」としています。
![](https://www.munenick.me/hackmd/uploads/upload_dd21b33dadd6a36034bc48996b670a20.png)
 - DNSサービスドメイン: 「追加」ボタンをクリックし、自身のドメイン名を入力してください。
![](https://www.munenick.me/hackmd/uploads/upload_464cd1429f0184acb577027fb5a703b9.png)

これらを入力し終わったら、右下の「保存」ボタンをクリックしてください。

## Default-Cloudへの適用
- 「インフラストラクチャ」→「クラウド」→「Default-Cloud」の編集ボタン(ペンマーク)をクリックしてください。
![](https://www.munenick.me/hackmd/uploads/upload_ef06446a06b9564919d3fee8340b6eaf.png)

- 「IPアドレス管理/DNS」の「DNSプロファイル」先程作成したDNSプロファイルを指定してください。
![](https://www.munenick.me/hackmd/uploads/upload_48d8fee5ca137599c70a44a216aa2371.png)

## DNS用仮想サービスの作成
- 「ダッシュボード」→「仮想サービスの作成」をクリックし、「詳細設定」をクリックしてください。
![](https://www.munenick.me/hackmd/uploads/upload_273ca909aa8e9bca1e8f7ba416f060ac.png)

- まず、以下の項目を設定してください。
 - 名前: 任意の名前を設定してください。今回は「dns01」としています。
 - アプリケーションプロファイル: プルダウンメニューから「System-DNS」を指定してください。
![](https://www.munenick.me/hackmd/uploads/upload_ca5ab2c02c730ab2e88b6bfa4f3cc8dc.png)

- 次にVIPアドレスの設定を行います。「VS VIP」のプルダウンメニューから「VS VIPの作成」をクリックしてください。
![](https://www.munenick.me/hackmd/uploads/upload_9baffcfc6b0bcccf514f678cc88c2cc5.png)

- 「VS VIPの作成」が開いたら「VIP」項目の「追加」ボタンをクリックしてください。
![](https://www.munenick.me/hackmd/uploads/upload_331e8bfd46942ddaa809de82581ccf59.png)

- 「VIPの編集」ではプライベートIPに自身の要件に合わせて設定してください。今回は静的アドレスを設定するために「静的」を選択し、「IPv4アドレス」にIPアドレスを割り当てています。ここで設定したIPアドレスがDNSサーバのアドレスとなります。ただし、ここで設定するIPアドレスは[NSX ALBのネットワーク設定](/blog/tkg-nsx-alb-01#ネットワークの設定)にて指定したアドレス範囲の範囲外のアドレスを指定してください。
![](https://www.munenick.me/hackmd/uploads/upload_1ff024a3d74116518bce540b319a9d21.png)


- 「VIPの編集」にて「配置ネットワーク」の「追加」ボタンをクリックしてください。
![](https://www.munenick.me/hackmd/uploads/upload_e3b28321356ced2efb83c4b7003d50c2.png)

- 「配置ネットワークの作成」では「配置ネットワーク」に配置したいネットワーク、「IPv4サブネット」では配置するネットワークのアドレスを指定してください。今回はKubernetes用ネットワークを指定しています。
![](https://www.munenick.me/hackmd/uploads/upload_53307dcbc0f9bed6b19ccaa1b8bf9184.png)

- これらの設定を終えたら「VIPの編集」の右下の「保存」をクリックしてください。
![](https://www.munenick.me/hackmd/uploads/upload_381d5fc126960067a0cdc9eec1fd7304.png)

- 「VS VIPの作成」の「DNS」欄にある「追加」をクリックしてください。
![](https://www.munenick.me/hackmd/uploads/upload_f3f4086a6cdee106cf8d2724a3960450.png)

- 「DNSの作成」では以下の項目を設定してください。
 - アプリケーションドメイン名: ネームサーバのドメイン名になります。今回は「dns01」としています。
 - TTL: TTLを設定してください。今回は300としています。

- ここまでの設定を終えたら、「VS VIPの編集」で右下の「保存」をクリックしてください。

- 既存のDNSサーバが存在する場合、そのサーバをフォワーダーとして設定することができます。既存のDNSがない場合はここの手順は飛ばしていただいて構いません。「プール」にある「プールの選択」のプルダウンメニューを開き、「プールの作成」をクリックしてください。
![](https://www.munenick.me/hackmd/uploads/upload_4093849428cbf476534ac99d7606533c.png)

- ここで以下の項目を入力し、右下の「保存」をクリックしてください。
 - 名前: 任意のプール名を入力してください。
![](https://www.munenick.me/hackmd/uploads/upload_ff93373edbeb8fa2fc27ac6d0e5bb583.png)

 - サーバ: 既存のDNSサーバのIPアドレスを入力し、「追加ボタン」クリックしてください。
![](https://www.munenick.me/hackmd/uploads/upload_4a18b02c00b2fc3de7a3eab5f5c0df93.png)


- 「新しい仮想サービス」に戻ったら右下の「次へ」をクリックしてください。
![](https://www.munenick.me/hackmd/uploads/upload_6f954874afe3c6c3ac139b40f4c539e6.png)

- 「ステップ2: ポリシー」ではポリシーを指定することができます。今回はデフォルトのまま進みます。設定を終えたら、右下の「次へ」をクリックしてください。
![](https://www.munenick.me/hackmd/uploads/upload_533b6bcb1228ab9f5c922536f8a59f75.png)

- 「ステップ3: 分析」ではこの仮想サービスに対する分析の設定を行うことができます。今回はデフォルトのまま進みます。設定を終えたら、右下の「次へ」をクリックしてください。
![](https://www.munenick.me/hackmd/uploads/upload_2d0ba501a3dab15a7826892d2c689d38.png)

- 「ステップ4: 詳細」では仮想サービスのパフォーマンス制限などを設定することができます。今回は「BGP経由のアドバタイズ」のチェックを外しています。設定を終えたら、右下の「次へ」をクリックしてください。
![](https://www.munenick.me/hackmd/uploads/upload_d9d7775b373ad5c46864032d623c6346.png)

- 「ステップ5: 静的DNSレコード」では手動でDNSレコードを設定することができます。

## システムへの適用
- 「管理」→「システム設定」に進み、「編集」をクリックしてください。
![](https://www.munenick.me/hackmd/uploads/upload_71dfdd6cae06f938e8c475ac9fc49056.png)

- 一番下にある「DNSサービス」の「追加」ボタンをクリックし、先ほど作成したDNS仮想サービスを選択してください。その後右下の「保存」ボタンをクリックしてください。
![](https://www.munenick.me/hackmd/uploads/upload_c07d39057e1c8e75daa3078f715c1537.png)

## DNSの設定
クライアントのDNSの設定をNSX ALBの仮想サービスDNSに指定します。例としてWindowsの設定を紹介します。

- 検索欄から「ncpa.cpl」と検索してください。
![](https://www.munenick.me/hackmd/uploads/upload_f120c28caf052d2e9e073bfc9e034c0f.png)

- 使用しているイーサネットを右クリックし、「プロパティ」をクリックしてください。
![](https://www.munenick.me/hackmd/uploads/upload_552aea4750bb2c2ff49172b36d3e4314.png)

- 「インターネットプロトコルバージョン4」の「プロパティ」をクリックしてください。
![](https://www.munenick.me/hackmd/uploads/upload_0265bbff2762d9cee7112248046cf8f9.png)

- 「優先DNSサーバ」にNSX ALBのDNS ProviderのVIPアドレスを指定してください。
![](https://www.munenick.me/hackmd/uploads/upload_7d8f9e0fccd651f899b1cc43ebe1de7f.png)


## DNSの検証
クライアントPCなどで「nslookup」や「ping」コマンドを使用してDNSの検証をしてください。(静的DNSレコードで設定したAレコードが解決できていることがわかります。)
![](https://www.munenick.me/hackmd/uploads/upload_d1af4c5ba8c0470533af30e929acfc65.png)

# 次回
未定

# 参考にさせていただいたサイト
- [NSX-ALB による Kubernetes Ingress サービスの高度化 – Par 1](https://blogs.vmware.com/vmware-japan/2022/06/nsx-alb-ako-features-1.html)
- [NSX ALB 21.1 と TKG 1.6 の組合せで Ingress を構成してみる](https://qiita.com/iwaseyusuke/items/f5e4259eb5b489c037d5)
- [NSX ALB 21.1 で DNS Provider (DNS サーバー) を構成してみる](https://qiita.com/iwaseyusuke/items/fc5730fb30de5439b591)

MuNeNiCK.me

Tanzu Kubernetes Grid2.1とNSX ALBでKubernetes環境を構築する方法(AKO Ingress構築編)

目次