如何將地端Kubernets叢集加入Azure Arc，以 Kubeadm 建立的Kubernetes叢集為例

Azure Arc系例文章：

1. 如何在Azure Arc加入多台地端VM伺服器
2. 如何為地端伺服器安裝Azure Monitor Agent
3. 如何在Azure Arc加入地端MS SQL Server伺服器
4. 如何將地端Kubernets叢集加入Azure Arc，以Kind為例
5. 如何將地端Kubernets叢集加入Azure Arc，以MicroK8s叢集為例
6. 如何將地端Kubernets叢集加入Azure Arc，以Kubeadm建立的Kubernetes叢集為例
7. 將Azure ExpressRoute with Microsoft Peering環境下的Windows VM加入Azure Arc管理清單
8. 將Azure ExpressRoute with Microsoft Peering下Linux VM加入Azure Arc管理清單
9. 解決ExpressRoute下agentserviceapi.guestconfiguration.azure.com無法連線造成azcmagent連線失敗
10. 取消Azure Monitor Agent自動安裝SQL Extension Agent的行為
11. 地端VM升級至Windows Server 2022後，MDE.Windows Extension部署失敗

前面我們利用 Kind 及 MicroK8s 來架設 Kubernetes 叢集，以驗證地端 Kubernetes 叢集與 Azure Arc 的整合，過程也還算順利。接下來，我在同一台 Surface Pro 主機上採用 Hyper-V 並利用Kubeadm 架設的 Kubernetes 叢集來進行再次驗證。當然，有這一篇的出現，代表過程有問題的出現。

$ kubectl get nodes -o wide
NAME     STATUS     ROLES           AGE    VERSION    INTERNAL-IP      EXTERNAL-IP   OS-IMAGE                                    KERNEL-VERSION      CONTAINER-RUNTIME
lnode    Ready      control-plane   111d   v1.26.5    192.168.8.150    <none>        Ubuntu 22.04.2 LTS                          5.15.0-88-generic   containerd://1.6.21
lnode2   Ready      <none>          2d5h   v1.26.11   192.168.8.153    <none>        Ubuntu 22.04.3 LTS                          5.15.0-88-generic   containerd://1.6.24

原生 Kubernetes 的設定步驟均和 MicroK8s 一樣。不過進行到 az connectedk8s connect 步驟時，我得到不一樣的結果：

如何將地端Kubernets叢集加入Azure Arc，以MicroK8s叢集為例

Azure Arc系例文章：

1. 如何在Azure Arc加入多台地端VM伺服器
2. 如何為地端伺服器安裝Azure Monitor Agent
3. 如何在Azure Arc加入地端MS SQL Server伺服器
4. 如何將地端Kubernets叢集加入Azure Arc，以Kind為例
5. 如何將地端Kubernets叢集加入Azure Arc，以MicroK8s叢集為例
6. 如何將地端Kubernets叢集加入Azure Arc，以Kubeadm建立的Kubernetes叢集為例
7. 將Azure ExpressRoute with Microsoft Peering環境下的Windows VM加入Azure Arc管理清單
8. 將Azure ExpressRoute with Microsoft Peering下Linux VM加入Azure Arc管理清單
9. 解決ExpressRoute下agentserviceapi.guestconfiguration.azure.com無法連線造成azcmagent連線失敗
10. 取消Azure Monitor Agent自動安裝SQL Extension Agent的行為
11. 地端VM升級至Windows Server 2022後，MDE.Windows Extension部署失敗

首先當然是要準備好 MicroK8s 叢集。

$ kubectl get nodes -o wide
NAME   STATUS   ROLES    AGE   VERSION   INTERNAL-IP     EXTERNAL-IP   OS-IMAGE             KERNEL-VERSION      CONTAINER-RUNTIME
wk8s   Ready    <none>   14h   v1.28.3   192.168.8.184   <none>        Ubuntu 22.04.3 LTS   5.15.0-89-generic   containerd://1.6.15
mk8s   Ready    <none>   14h   v1.28.3   192.168.8.182   <none>        Ubuntu 22.04.3 LTS   5.15.0-89-generic   containerd://1.6.15

如何將地端Kubernets叢集加入Azure Arc，以Kind為例

Azure Arc系例文章：

1. 如何在Azure Arc加入多台地端VM伺服器
2. 如何為地端伺服器安裝Azure Monitor Agent
3. 如何在Azure Arc加入地端MS SQL Server伺服器
4. 如何將地端Kubernets叢集加入Azure Arc，以Kind為例
5. 如何將地端Kubernets叢集加入Azure Arc，以MicroK8s叢集為例
6. 如何將地端Kubernets叢集加入Azure Arc，以Kubeadm建立的Kubernetes叢集為例
7. 將Azure ExpressRoute with Microsoft Peering環境下的Windows VM加入Azure Arc管理清單
8. 將Azure ExpressRoute with Microsoft Peering下Linux VM加入Azure Arc管理清單
9. 解決ExpressRoute下agentserviceapi.guestconfiguration.azure.com無法連線造成azcmagent連線失敗
10. 取消Azure Monitor Agent自動安裝SQL Extension Agent的行為
11. 地端VM升級至Windows Server 2022後，MDE.Windows Extension部署失敗

想要學習如何將地端 Kubernets 叢集加入 Azure Arc，並且利用 Azure Monitor 來監控地端 Kubernets 叢集。架設地端 Kubernets 叢集對我來說已經沒什麼難度了。但對於入門介紹，總不能說，我們要先架個三台地端 Kubernets 叢集，才能開始進入主題吧。借此機會，跟大家介紹一下 Kind 這套架設與測試 Kubernets 叢集的利器。

如何在Azure Arc加入地端MS SQL Server伺服器

Azure Arc系例文章：

1. 如何在Azure Arc加入多台地端VM伺服器
2. 如何為地端伺服器安裝Azure Monitor Agent
3. 如何在Azure Arc加入地端MS SQL Server伺服器
4. 如何將地端Kubernets叢集加入Azure Arc，以Kind為例
5. 如何將地端Kubernets叢集加入Azure Arc，以MicroK8s叢集為例
6. 如何將地端Kubernets叢集加入Azure Arc，以Kubeadm建立的Kubernetes叢集為例
7. 將Azure ExpressRoute with Microsoft Peering環境下的Windows VM加入Azure Arc管理清單
8. 將Azure ExpressRoute with Microsoft Peering下Linux VM加入Azure Arc管理清單
9. 解決ExpressRoute下agentserviceapi.guestconfiguration.azure.com無法連線造成azcmagent連線失敗
10. 取消Azure Monitor Agent自動安裝SQL Extension Agent的行為
11. 地端VM升級至Windows Server 2022後，MDE.Windows Extension部署失敗

有了前面把地端 VM 加入 Azure Arc 及地端 VM 安裝 Azure Monitor Agetn 的經驗，接下來我們要挑戰把地端的 SQL Server 也加入到 Azure Arc 清單中。

實作環境：

• Hyper-V VM: Windows Server 2022
• SQL Server 2019 Developer

如何為地端VM伺服器安裝Azure Monitor Agent

如何為地端伺服器安裝Azure Monitor Agent

Azure Arc系例文章：

1. 如何在Azure Arc加入多台地端VM伺服器
2. 如何為地端伺服器安裝Azure Monitor Agent
3. 如何在Azure Arc加入地端MS SQL Server伺服器
4. 如何將地端Kubernets叢集加入Azure Arc，以Kind為例
5. 如何將地端Kubernets叢集加入Azure Arc，以MicroK8s叢集為例
6. 如何將地端Kubernets叢集加入Azure Arc，以Kubeadm建立的Kubernetes叢集為例
7. 將Azure ExpressRoute with Microsoft Peering環境下的Windows VM加入Azure Arc管理清單
8. 將Azure ExpressRoute with Microsoft Peering下Linux VM加入Azure Arc管理清單
9. 解決ExpressRoute下agentserviceapi.guestconfiguration.azure.com無法連線造成azcmagent連線失敗
10. 取消Azure Monitor Agent自動安裝SQL Extension Agent的行為
11. 地端VM升級至Windows Server 2022後，MDE.Windows Extension部署失敗

前篇，我們先把地端安裝 Azure Monitor Agent 的前置環境給準備好。接下來我們要安裝 Azure Monitor Agent。

如何在Azure Arc加入多台地端VM伺服器

Azure Arc系例文章：

1. 如何在Azure Arc加入多台地端VM伺服器
2. 如何為地端伺服器安裝Azure Monitor Agent
3. 如何在Azure Arc加入地端MS SQL Server伺服器
4. 如何將地端Kubernets叢集加入Azure Arc，以Kind為例
5. 如何將地端Kubernets叢集加入Azure Arc，以MicroK8s叢集為例
6. 如何將地端Kubernets叢集加入Azure Arc，以Kubeadm建立的Kubernetes叢集為例
7. 將Azure ExpressRoute with Microsoft Peering環境下的Windows VM加入Azure Arc管理清單
8. 將Azure ExpressRoute with Microsoft Peering下Linux VM加入Azure Arc管理清單
9. 解決ExpressRoute下agentserviceapi.guestconfiguration.azure.com無法連線造成azcmagent連線失敗
10. 取消Azure Monitor Agent自動安裝SQL Extension Agent的行為
11. 地端VM升級至Windows Server 2022後，MDE.Windows Extension部署失敗

我們使用 Azure Log Analytics agent（Microsoft Monitoring Agent (MMA)） 來收集監控地端 VM 多年，但從 2023 年初開始，不斷看到 Azure 文件或系統上提示 MMA 在2024年8月31日將不再受到支援。近來地端有申請新的 VM，因此規劃新的 VM 改用Manage Azure Monitor Agent，並且熟悉了解整個設定及升級流程。

使用Azure Registry Container for Microsoft Defender進行專案資安修補，以CVE-2024-0057為例

我們映像檔（images）是儲存在ACR（Azure Registry Container），在ACR有提供 Microsoft Defender 能提供我們映像檔（images）的安全性報告。

Azure DevOps進行Kubernetes CD部署時出現憑證錯誤

同事回報，進行 Kubernetes CD 部署時出現錯誤：

couldn't get current server API group list: the server has asked for the client to provide credentials
unable to recognize "...API.yaml": the server has asked for the client to provide credentials

如何快速重新平衡Pod所在的Worker Node - 使用 PowerShell Core

在一個標準 3 台 Node （1 Control Plane + 2 Worker Node）的 Kubernetes 叢集上，在進行維護（drain）之後很容易出現 Pods 集中在某一台 Worker Node 的情況。這在測試區還好，測試區更新極快，通常沒幾天就能回到平衡（Balance）的狀態。正式區就比較麻煩，正式區更新速度不比測試區，因此，Pods 集中在某一台 Worker Node 情況容易時間不短，這會造成特定 Worker Node 資源吃重的情況。針對維護過後，Pods 會集中在某一台 Worker 上，我想改進這一點。

Ubuntu UFW with Kubernetes and Calico Firewall Rules

之前在架設 Kubernetes 叢集預設把防火牆給關閉。當然，關閉防火牆是非常不安全的行為。 當所有 Kubernetes 和 Calico 組態與服務都上線之後，我們需要把防火牆設定回去。

這裡只針對兩個部分：Kubernetes 與 Calico 所以需要埠（Port）。

Calico 3.28.1 IPPool Issue #9100 - Donwngrade solution

我們參考 Calico upgrade docs (uses the operator) 升級了 Calico CNI 元件從 3.27.x 到 3.28.1。

$ calicoctl version
Client Version:    v3.28.1
Git commit:        601856343
Cluster Version:   v3.28.1
Cluster Type:      typha,kdd,k8s,operator,bgp,kubeadm,win

升級後發現，原本的 default-ipv4-ippool 被設定回來了。在 3.27.x，因為一開始沒考慮好網段問題，因此我們設定了一組新的 IPPool 來提供給 Pods 使用，來解決一些 IP 網路的問題。在 3.27 依照 migrate-pools 文件，我們為 default-ipv4-ippool 設定了 disabled: true 並且運作良好。但升級至 3.28.1 後，除了 default-ipv4-ippool 被設定回來並且被啟用了。我們還發現，原始按照文件可以設定 disabled: true 無法被正確套用，刪除指令就算執行成功，其實也是無效的。

$ calicoctl get ippool -o wide
NAME                  CIDR             NAT    IPIPMODE   VXLANMODE     DISABLED   DISABLEBGPEXPORT   SELECTOR
default-ipv4-ippool   192.168.0.0/16   true   Never      CrossSubnet   false      false              all()
new-pool              10.244.0.0/16    true   Never      CrossSubnet   false      false              all()

$ calicoctl get ippool -o yaml > pools.yaml
# add disabled: true
$ vim pools.yaml
$ calicoctl apply -f pools.yaml
Successfully applied 2 'IPPool' resource(s)
# DISABLED : false
$ calicoctl get ippool -o wide
NAME                  CIDR             NAT    IPIPMODE   VXLANMODE     DISABLED   DISABLEBGPEXPORT   SELECTOR
default-ipv4-ippool   192.168.0.0/16   true   Never      CrossSubnet   false      false              all()
new-pool              10.244.0.0/16    true   Never      CrossSubnet   false      false              all()

# delete default-ipv4-ippool
$ calicoctl delete pool default-ipv4-ippool
Successfully deleted 1 'IPPool' resource(s)
$ calicoctl get ippool -o wide
NAME                  CIDR             NAT    IPIPMODE   VXLANMODE     DISABLED   DISABLEBGPEXPORT   SELECTOR
default-ipv4-ippool   192.168.0.0/16   true   Never      CrossSubnet   false      false              all()
new-pool              10.x.0.0/16    true   Never      CrossSubnet   false      false              all()

# use patch method
$ calicoctl patch ippool default-ipv4-ippool -p '{"spec": {"disabled": true}}'
$ calicoctl get ippool -o wide
NAME                  CIDR             NAT    IPIPMODE   VXLANMODE     DISABLED   DISABLEBGPEXPORT   SELECTOR
default-ipv4-ippool   192.168.0.0/16   true   Never      CrossSubnet   false      false              all()
new-pool              10.x.0.0/16    true   Never      CrossSubnet   false      false              all()

30天挑戰精通 PowerShell 推薦序

時間先讓我回到2017年前後，那段時間有幾件技術正在發酵、發芽、成長。

• 當時有個火紅的技術產品叫 Docker，一下子讓全世界都跟瘋了一樣，每天大家都在談容器化（Containerization），我也不例外，開始接擉容器、學習容器、最後也順利導入容器。
• 拜 git 及 Github 所賜，分散式版控（Version Control）技術推廣大大突破，但只有控版還是無法解決「最後一哩」的問題。
• 第三個非常重要的概念及技術解決了「最後一哩」的問題，即C I/CD（Continuous Integration／Continuous Delivery(Deployment)）。
• 從開發、版控、容器、CI/CD完成最後一哩持續自動化部屬，最後整合並成長為現在大家都知道的DevOps。

重構：改善 .NET 與 C# 應用程式的設計，償還欠下的技術債-審校序

2023年12月，正忙於年末最後一場iThome - Kubernetes Summit 2023的演講，心想，忙完這一場終於可以好好休息一下。但事情永遠不是傻子所想的那麼簡單。突然，信箱進來一封編輯邀約的信件，正想說，如果是翻譯工作，就再幫忙找其他新鮮的肝（新譯者），結果是翻譯也不是翻譯。出版社嘗試用了ChatGPT進行初譯，然後由專業編輯與譯者進行修潤與審校，想嘗試這樣的合作模式。快速瀏覽了主題與內容，我非常有興趣，立即回信說，我想接下這份工作。

[超重要]如何進行自建Kubernetes叢集核心憑證年度更新

最近讀 infoQ 翻譯的一篇Kubernetes 开源 9 年，但我们已经有了 8 年的踩坑血泪史（原文：Lessons From Our 8 Years Of Kubernetes In Production — Two Major Cluster Crashes, Ditching Self-Managed, Cutting Cluster Costs, Tooling, And More），看得心驚膽跳，其中 Kubernetes 憑證沒換把 Kubernetes 叢集搞掛這件事，我已經不只一次在文章裡看到。一般的教學文件會教你如何架 Kubernetes 叢集，教你 Pod、Service、Deployment、Network等等物件的基礎，但很少好好跟你談談憑證這件事。但如果你跟我一樣走自架 Kubernetes 叢集的路，這件事就無比重要，它關係到你的 Kubernetes 叢集的持續運作。這篇我們來解一下 Kubernetes 叢集憑證。

簡單二個指令，使用PoewrShell來擴充磁碟區

在容器主機(Container Host)中，還蠻有機會碰到 Disk 容量不足的情況。通常會先請 Infra 同事做擴充，因為我們習慣用 Server Core，因此需要用指令來去進行擴充磁碟區的動作。

一般，大多會找到或教你用 diskpart 來進行操作。雖然有大量範例可查，但 diskpark 有點繁瑣，而且用了多次，也沒記起來過，每次都要重找，而要小心的下 diskpark 指令。

想說，官方 PowerShell 不知道有無支援那麼底層操作指令。查了一下，還真得有。

參考：使用 PowerShell 擴充磁片區。

# Variable specifies the disk drive to extend
$drive_letter = "D"

# Script gets the partition sizes, and resizes the volume
$size = (Get-PartitionSupportedSize -DriveLetter $drive_letter)
Resize-Partition -DriveLetter $drive_letter -Size $size.SizeMax

去除第一行參數指令不算的話，兩個指令就能完成擴充磁碟區。簡單，好用，不管什麼 PowerShell，都給我來一份。