CVO 升级导致根卷恢复
适用于
Cloud Volume ONTAP (CVO)
问题
- EMS 报告错误:
[xxxxxx:mgmtgwd.rootvolrec.low.space:EMERGENCY]: The root volume on node xxxxxx is dangerously low on space. Less than 10 MB of free space remaining.- 升级会导致 MGMT 集群应用在一个节点上停机,而所有集群应用在另一个节点上停机。
- 双节点集群的一个节点无法运行任何 clustershell 命令:
cluster::> cluster show
Error: "show" is not a recognized command
原因
- 由于 vol0 快照和旧的核心文件,根卷"vol0"几乎已满。
- 当 vol0 满时,使用 Cloud Manager 从 Web 服务器"getAPI"映像会导致映像写入 vol0。vol0 无法接受整个映像,并使 MGMT 应用程序停机,并在不是 Cluster Master 的节点上设置 rdb 标志。
解决方案
追加信息
追加信息文本
内部参考
1.清除所有集群应用关闭的节点上的 rdb 标志:
- 确认已设置标记:
system configuration recovery node mroot-state clear -recovery-stateRDB Recovery State: 5550055000
VLDB: RDB auto-recovery failed to find master (5)
Management: RDB auto-recovery failed to find master (5)
VifMgr: RDB auto-recovery failed to find master (5)
Bcom: RDB auto-recovery failed to find master (0)
Crs: RDB auto-recovery failed to find master (0)- 清除标记:
system configuration recovery node mroot-state clear -recovery-state rdb
2.删除 vol0 快照和旧核心文件:
- 进入完整的 vol0 nodeshell:
::> node run -node <affected Node>- 删除 vol0 的快照列表:
snap del -a vol0- 将 vol0 快照计划设置为"0 0 0",以便不再拍摄快照:
snap sched 0 0 03.重新启动受影响的节点。