常见问题解答：NDMP文件历史记录

什么是文件历史记录？如何传达？

• 文件历史记录是在使用 dump 引擎对NetApp存储上托管的卷进行网络数据管理协议(NDMP)备份期间生成的
• 通过文件历史记录、备份应用程序或数据管理应用程序(Data Management Application、DMA)可以为备份中的所有文件构建索引数据库
• 通过此数据库、用户可以找到包含特定文件、修改该文件的时间以及其他有用元数据的备份
• 收集和存储文件历史记录的目的是：
  • 提供可供用户读取的用户界面来备份数据
  • 为直接访问恢复(Direct Access Recovery、DAR)奠定基础。DAR允许DMA直接访问磁带上的文件/目录、而无需遍历整个备份。这样可以加快文件和目录恢复操作的速度。
• 如何传递文件历史记录：

1. 备份期间、ONTAP dump 的过程会在备份的第3和第4阶段生成文件历史记录。有关转储阶段的详细信息、请参见 网络数据管理协议(NDMP)转储阶段问题描述。
2. dump 将文件历史记录信息传达给在ONTAP 中运行的NDMP服务器。此通信是运行备份的存储控制器的内部通信。
3. ONTAP 中的NDMP服务器会通过网络上的NDMP控制连接将文件历史记录传输到备份应用程序/DMA。
4. 备份应用程序/DMA从网络接收文件历史记录、并将数据载入并写入文件历史记录索引数据库。

什么是文件历史记录的反压力？它会产生什么影响？

• 生成、通信和载入文件历史记录始终会为备份增加一些开销。
  • 在禁用文件历史记录的情况下、备份运行速度通常会更快、即使没有其他性能问题也是如此。
  • 文件历史记录通信一步中的瓶颈可能会触发下游延迟。
• 由于NDMP和转储的协同工作方式、文件历史记录交付或载入的延迟会降低整体备份性能的发生原因。
  • 换言 dump 之、在备份应用程序/DMA完全载入并确认关联的文件历史记录之前、无法继续向备份流写入数据。

如何确定文件历史记录的背靠压力？

1. 检查 /etc/log/backup 托管要备份的卷的节点上位于中的转储备份日志。备份成功完成后、将打印感兴趣的日志。中止或不完整的备份无法提供足够的日志来诊断此问题。


2. 计算相关备份的第3阶段和第4阶段的持续时间。在以下示例中、阶段3的时长为20分钟、阶段4的时长为5小时：
   dmp Thu Feb 27 12:01:36 CET 2020 /vol/NdmpBackup/(0) Phase_change (III)
 dmp Thu Feb 27 12:21:36 CET 2020 /vol/NdmpBackup/(0) Phase_change (IV)
 dmp Thu Feb 27 17:21:36 CET 2020 /vol/NdmpBackup/(0) Phase_change (V)


3. 查找备 Dir to FH entry time statsNode to FH entry time stats 份的总数和、以毫秒为单位。例如：
   dmp Thu Feb 27 17:21:52 CET 2020 /vol/NdmpBackup/(0) Log_msg (Dir to FH entry time stats (msec) numEntries: 2000 min: 0 max: 1526 avg: 5 tot: 15236)
 dmp Thu Feb 27 17:21:52 CET 2020 /vol/NdmpBackup/(0) Log_msg (Node to FH Entry time stats (msec) numEntries: 4000 min: 0 max: 1599 avg: 7 tot: 85569)


4. 如果总Dir to FH entry time 时间为第3阶段总时间的15%或以上、则在第3阶段、这将被视为文件历史记录的背压。在上述示例中、15.236秒仅为20分钟阶段3时间的~1%、因此不会被视为背压。


5. 如果在 Node to FH entry time 第4阶段总时间中、此时间的总数为15%或以上、则在第4阶段、此时间将被视为文件历史记录的背压。在上面的示例中、85.569秒小于5小时阶段4时间的1%、因此也不会被视为背压。

注意：

• ONTAP 可能会使用以下日志警告可能的文件历史记录回退：

dmp Thu Feb 27 12:05:52 CET 2020 /vol/NdmpBackup/(0) Warning (Total Dir to FH time spent is greater than 15 percent of phase 3 total time. Please verify the settings of backup application and the network connectivity)

• 在ONTAP 9.6之前的版本中、由于 错误1177614、这些警告可能不准确。
  • 建议使用上述手动计算来确认文件历史记录的反向压力。
• 在ONTAP 9.7及更高版本中、目录和节点到FH的统计信息以秒(秒)为单位显示、而不是以毫秒(毫秒)为单位显示

文件历史记录回退压力的常见根本原因和解决方案是什么？

1. 备份应用程序/DMA中的文件历史记录载入的常见原因和解决方案：
   • 发生原因 1：托管备份应用程序/DMA的服务器或VM上的资源争用、如托管操作系统的常规性能统计信息中所示。
   • 解决方案 1： 向托管DMA的服务器/虚拟机添加更多资源或减少资源争用、以加快数据载入和索引编制速度。
   • 发生原因 2： 写入文件历史记录索引数据库的性能较差。
   • 解决方案 2：
     • 这通常是由于底层存储性能较差或DMA软件存在配置/规模估算问题所致。
     • 确保托管文件历史记录索引数据库的存储具有足够的性能。
     • 如果需要、请联系DMA供应商以获取规模估算帮助或其他调整、以便更快地为文件历史记录编制索引。


2. NDMP服务器与备份应用程序通用发生原因 和解决方案 的通信：
   • 发生原因 ：NDMP控制连接使用的是潜在或有损网络路径。
   • 解决方案：
     • 确保托管NDMP控制连接的网络路径具有足够的速度和吞吐量、以支持NDMP控制连接和文件历史记录消息。
     • 检查接口统计信息以了解数据包丢失的迹象或其他问题。
     • 在NetApp存储控制 ifstat 器上、可以使用node-shell命令查看接口统计信息。
     • 最后、确保通过整个网络路径支持在ONTAP 和备份应用程序中配置的MTU。