Troubleshooting Statefulset Pod stuck into容器正在创建或已开始状态

适用场景

• 适用于VMware的ONTAP工具(OTV) 10.1
•  iSCSI HA部署

问题描述

• 如果节点关闭超过半小时且恢复运行、则在维护控制台中、应用程序状态将类似于以下内容：

• 当我们使用以下kubertr命令列出Pod时、可以看到有状态集Pod停留在容器正在创建或Init状态超过 10分钟。
• 要列出Pod、 可以使用以下给定命令、其输出如下所示：

kubectl -n ntv-system get po -w| grep -e ContainerCreating -e Init -e Pending -e CrashLoopBackOff

ntv-mongodb-1                                      0/2     Init:0/1            0               10m17s

ntv-vault-1                                        0/1     ContainerCreating   0               10m25s

• 当我们使用以下命令描述任何这些卡住的Pod时、我们会看到以下警告：

示例：  kubectl describe po ntv-vault-1 -n ntv-system

MountVolume.SetUp failed for volume "pvc-43451cff-8774-47f8-a49e-557b0dc4d4d2" : rpc error: code = Internal desc = unable to mount device; exit status 32 . 

• kubelet正在尝试将PV挂载到POD上、此时会 显示Kubelet日志、 如下所示：

示例： tail -f /opt/netapp/rancher/rke2/agent/logs/kubelet.log

MountVolume.WaitForAttach entering for volume "pvc-43451cff-8774-47f8-a49e-557b0dc4d4d2"

MountVolume.WaitForAttach succeeded for volume "pvc-43451cff-8774-47f8-a49e-557b0dc4d4d2"

Error: MountVolume.SetUp failed for volume "pvc-43451cff-8774-47f8-a49e-557b0dc4d4d2" (UniqueName: "kubernetes.io/csi/csi.trident.netapp.io^pvc-43451cff-8774-47f8-a49e-557b0dc4d4d2") pod "ntv-mongodb-1" (UID: "b1ae36be-a713-46d9-9dbe-94184be7832f") : rpc error: code = Internal desc = unable to mount device; exit status 32