Search <book_title>...

NetBackup™ 重复数据删除指南

Last Published: 2023-01-17

Product(s): NetBackup (10.1.1)

NetBackup Media Server Deduplication Option 简介
1. 关于 NetBackup Deduplication Option
快速入门
1. 关于介质服务器重复数据删除 (MSDP) 节点云层
  1. 配置 MSDP 节点云层
2. 关于自动映像复制 (A.I.R.)
规划部署
1. 规划 MSDP 部署
2. NetBackup 命名约定
3. 关于 MSDP 重复数据删除节点
4. 关于 NetBackup 重复数据删除目标
5. 关于 MSDP 存储容量
6. 关于 MSDP 存储和连接要求
  1. MSDP 的光纤通道和 iSCSI 比较
7. 关于 NetBackup 介质服务器重复数据删除
8. 关于 NetBackup Client Direct 重复数据删除
  1. 关于 MSDP 客户端重复数据删除要求和限制
9. 关于 MSDP 远程办公客户端重复数据删除
  1. 关于 MSDP 远程客户端数据安全性
  2. 关于远程客户端备份预定
10. 关于 NetBackup Deduplication Engine 凭据
11. 关于 MSDP 的网络接口
12. 关于 MSDP 端口用法
13. 关于 MSDP 优化合成备份
14. 关于 MSDP 和 SAN 客户端
15. 关于 MSDP 优化复制和主从复制
16. 关于 MSDP 性能
  1. 文件大小如何影响 MSDP 重复数据删除率
17. 关于 MSDP 流处理程序
  1. Oracle 流处理程序
  2. Microsoft SQL Server 流处理程序
18. MSDP 部署最佳做法
置备存储
1. 关于置备 MSDP 存储
2. 不要修改 MSDP 存储目录和文件
3. 关于 NetBackup MSDP 的卷管理
重复数据删除的授权
1. 关于 MSDP 许可证
2. 授权 NetBackup MSDP
配置重复数据删除
1. 配置 MSDP 服务器端重复数据删除
2. 配置 MSDP 客户端重复数据删除
3. 关于 MSDP 重复数据删除多线程代理
4. 配置重复数据删除多线程代理行为
  1. MSDP mtstrm.conf 文件参数
5. 配置重复数据删除插件与多线程代理的交互
6. 关于 MSDP 指纹识别
7. 关于 MSDP 指纹缓存
8. 配置 MSDP 指纹缓存行为
  1. MSDP 指纹缓存行为选项
9. 关于将远程客户端重复数据删除的 MSDP 指纹缓存设定为种子
10. 在客户端上配置 MSDP 指纹缓存种子设定
11. 在存储服务器上配置 MSDP 指纹缓存种子设定
  1. NetBackup seedutil 选项
12. 关于采样和预测缓存
13. 启用对 400 TB MSDP 的支持
14. 关于使用 NetBackup KMS 服务的 MSDP 加密
  1. 升级 MSDP KMS
  2. 已为本地 LSU 启用 KMS 加密
15. 关于使用外部 KMS 服务器的 MSDP 加密
16. 为介质服务器重复数据删除池配置存储服务器
  1. MSDP 存储路径属性
  2. MSDP 网络接口属性
17. 关于 NetBackup 重复数据删除的磁盘池
18. 配置用于重复数据删除的磁盘池
  1. 介质服务器重复数据删除池属性
19. 创建数据目录以实现 400 TB MSDP 支持
20. 向 400 TB 的介质服务器重复数据删除池添加卷
21. 配置介质服务器重复数据删除池存储单元
  1. 介质服务器重复数据删除池存储单元属性
  2. MSDP 存储单元建议
22. 为 MSDP 客户端重复数据删除配置客户端属性
23. 禁用客户端的 MSDP 客户端重复数据删除
24. 关于 MSDP 压缩
25. 关于 MSDP 加密
26. MSDP 压缩和加密设置表
27. 为 MSDP 备份配置加密
28. 为 MSDP 优化复制配置加密
29. 关于 MSDP 的滚动数据转换机制
30. 滚动数据转换模式
31. MSDP 加密行为和兼容性
32. 为 MSDP 配置优化合成备份
33. 关于用于 MSDP 重复和复制的单独网络路径
34. 为 MSDP 复制配置单独的网络路径
35. 关于同一域内的 MSDP 优化复制
  1. 关于同一域内 MSDP 优化复制的介质服务器
    1. 关于同一域内的 MSDP 推送复制
    2. 关于同一域内的 MSDP 提取复制
36. 在同一 NetBackup 域内配置 MSDP 优化复制
  1. 配置 NetBackup 优化复制行为
    1. 使用命令行设置 NetBackup 配置选项
37. 关于到其他域的 MSDP 复制
38. 配置以不同 NetBackup 域为目标的 MSDP 复制
  1. 关于 NetBackup 自动映像复制
  2. 关于用于自动映像复制的可信主服务器
  3. 关于添加可信主服务器要使用的证书
  4. 使用 NetBackup CA 签名（基于主机 ID）证书添加可信主服务器
  5. 使用外部 CA 签名证书添加可信主服务器
  6. 删除可信主服务器
  7. 启用 NetBackup 群集主服务器节点间身份验证
  8. 配置 NetBackup CA 和 NetBackup 基于主机 ID 的证书，以在源和目标 MSDP 存储服务器之间进行安全通信
  9. 配置外部 CA 以在源 MSDP 存储服务器和目标 MSDP 存储服务器之间进行安全通信
  10. 将 MSDP 复制的目标配置为远程域
    1. MSDP 复制的目标选项
    2. 为 NetBackup Deduplication Engine 用户配置只能进行自动映像复制操作的权限
39. 关于配置 MSDP 优化复制和复制带宽
40. 关于 MSDP 云优化复制和主从复制的性能优化
41. 关于存储生命周期策略
42. 关于自动映像复制所需的存储生命周期策略
43. 创建存储生命周期策略
  1. “存储生命周期策略”对话框设置
44. 关于 MSDP 备份策略配置
45. 创建备份策略
46. “弹性网络”属性
  1. 弹性连接资源使用
47. 指定弹性连接
48. 添加 MSDP 负载平衡服务器
49. 关于 NetBackup 客户端上的可变长度重复数据删除
50. 关于 MSDP pd.conf 配置文件
51. 编辑 MSDP pd.conf 文件
  1. MSDP pd.conf 文件参数
52. 关于 MSDP contentrouter.cfg 文件
53. 关于保存 MSDP 存储服务器配置
54. 保存 MSDP 存储服务器配置
55. 编辑 MSDP 存储服务器配置文件
56. 设置 MSDP 存储服务器配置
57. 关于 MSDP 主机配置文件
58. 删除 MSDP 主机配置文件
59. 重置 MSDP 注册表
60. 关于保护 MSDP 目录库
  1. 关于 MSDP 卷影目录库
  2. 关于在数据卷上存储 MSDP 目录库卷影副本
  3. 关于 MSDP 目录库备份策略
61. 更改 MSDP 卷影目录库路径
62. 更改 MSDP 卷影目录库日程表
63. 更改 MSDP 目录卷影副本数
64. 配置 MSDP 目录库备份
  1. MSDP drcontrol 选项
65. 更新 MSDP 目录库备份策略
66. 关于 MSDP FIPS 遵从性
67. 配置 NetBackup 客户端重复数据删除以支持 MSDP 的多个接口
68. 关于 MSDP 多域支持
69. 关于 MSDP 应用程序用户支持
70. 关于 MSDP 多域 VLAN 支持
71. 关于 NetBackup WORM 存储对不可变和不可删除数据的支持
  1. 关于用于配置不可变和不可删除数据的 NetBackup 命令行选项
MSDP 云支持
1. 关于 MSDP 云支持
  1. 配置的操作系统要求
  2. 限制
2. 在 NetBackup Web UI 中创建介质服务器重复数据删除池 (MSDP) 存储服务器
3. 创建云存储单元
4. 更新云 LSU 的云凭据
5. 更新云 LSU 的加密配置
6. 删除云 LSU
7. 使用云 LSU 将数据备份到云
8. 使用云 LSU 将数据复制到云
9. 将 AIR 配置为使用云 LSU
10. 关于向后兼容性支持
11. 关于 cloud.json、contentrouter.cfg 和 spa.cfg 中的配置项
12. 云空间回收
  1. 配置容器时效
  2. 配置云压缩
13. 关于为实现云支持而进行的工具更新
14. 关于云 LSU 的灾难恢复
  1. 通用灾难恢复步骤
  2. Flex Scale 中云 LSU 的灾难恢复
15. 关于使用 MSDP 云的映像共享
  1. 在 Azure 中使用映像共享将 VM 映像转换为 VHD 之前需要考虑的事项
  2. 将 VM 映像转换为 Azure 中的 VHD
16. 关于从 Microsoft Azure 存档中的备份还原
17. 关于 MSDP 云不可篡改的 (WORM) 存储支持
18. 关于云中对象存储的即时访问
MSDP S3 接口
1. 关于 MSDP S3 接口
2. 前提条件
3. 配置 MSDP S3 接口
  1. 更改 S3 服务器中的证书
4. MSDP S3 接口的身份和访问管理 (IAM)
5. 用于 MSDP S3 接口的 S3 API
6. MSDP S3 接口中的灾难恢复
7. MSDP S3 接口中的限制
8. 日志记录和故障排除
9. 最佳做法
监视重复数据删除活动
1. 监视 MSDP 重复数据删除率和压缩率
2. 查看 MSDP 作业详细信息
  1. MSDP 作业详细信息
3. 关于 MSDP 存储容量和使用情况报告
4. 关于 MSDP 容器文件
5. 查看 MSDP 容器文件中的存储使用情况
6. 查看 MSDP 磁盘报告
7. 关于监视 MSDP 进程
8. 对自动映像复制作业的报告
管理重复数据删除
1. 管理 MSDP 服务器
2. 管理 NetBackup Deduplication Engine 凭据
3. 管理介质服务器重复数据删除池
4. 删除备份映像
5. 关于 MSDP 队列处理
6. 手动处理 MSDP 事务队列
7. 关于 MSDP 数据完整性检查
8. 配置 MSDP 数据完整性检查行为
  1. MSDP 数据完整性检查配置参数
9. 关于管理 MSDP 存储读取性能
10. 关于 MSDP 存储基址重置
  1. MSDP 服务器端基址重置参数
11. 关于 MSDP 数据删除过程
12. 调整 MSDP 存储分区的大小
13. MSDP 还原的工作原理
14. 配置 MSDP 直接还原到客户端
15. 关于还原远程站点上的文件
16. 关于从目标主服务器域上的备份进行还原
17. 指定还原服务器
恢复 MSDP
1. 关于恢复 MSDP 目录库
2. 从卷影副本还原 MSDP 目录库
3. 从 MSDP 存储服务器磁盘故障中恢复
4. 从 MSDP 存储服务器故障中恢复
5. 在执行 NetBackup 目录库恢复后恢复 MSDP 存储服务器
替换 MSDP 主机
1. 替换 MSDP 存储服务器主机计算机
卸载 MSDP
1. 关于卸载 MSDP
2. 停用 MSDP
重复数据删除体系结构
1. MSDP 服务器组件
2. 介质服务器重复数据删除备份进程
3. MSDP 客户端组件
4. MSDP 客户端重复数据删除备份过程
配置和使用通用共享
1. 关于通用共享
2. 为通用共享配置和使用 MSDP 自建 (BYO) 服务器
3. 配置通用共享的 MSDP 自建 (BYO) 服务器前提条件和硬件要求
4. 配置通用共享用户身份验证
5. 装入通过 NetBackup Web UI 创建的通用共享
6. 为通用共享创建保护点
7. 关于通用共享自助式恢复
8. 执行通用共享自助式恢复
9. 使用采集模式
  1. 使用采集模式通过 NFS 或 SMB 创建快照
  2. 使用采集模式通过 NFS 或 SMB 运行策略
10. 关于具有对象存储的通用共享
11. 为通用共享启用对象存储
  1. 启用对对象存储的即时访问
12. 通用共享的灾难恢复
13. 更改 vpfsd 实例数
14. 升级到 NetBackup 10.1.1
配置隔离恢复环境 (IRE)
1. 在 NetBackup BYO 介质服务器上配置隔离恢复环境
2. 在 NetBackup BYO 介质服务器上管理隔离恢复环境
3. 配置 AIR 以将备份映像从生产环境复制到 IRE BYO 环境
使用 NetBackup Deduplication Shell
1. 关于 NetBackup Deduplication Shell
2. 从重复数据删除 shell 管理用户
3. 从重复数据删除 shell 管理 VLAN 接口
4. 管理 WORM 存储服务器上的保留策略
5. 管理 WORM 存储服务器上具有保留锁定的映像
6. 审核 WORM 保留更改
7. 从重复数据删除 shell 管理证书
8. 从重复数据删除 shell 管理 FIPS 模式
9. 从重复数据删除 shell 加密备份
10. 从重复数据删除 shell 调整 MSDP 配置
11. 从重复数据删除 shell 设置 MSDP 日志级别
12. 从重复数据删除 shell 管理 NetBackup 服务
13. 从重复数据删除 shell 监控 NetBackup 服务并对其进行故障排除
  1. 关于 support 命令
故障排除
1. 关于统一日志记录
  1. 关于使用 vxlogview 命令查看统一日志
  2. 使用 vxlogview 查看统一日志示例
2. 关于旧式日志记录
  1. 为 MSDP 创建 NetBackup 日志文件目录
3. NetBackup MSDP 日志文件
4. 对 MSDP 安装问题进行故障排除
  1. 在 SUSE Linux 上进行 MSDP 安装失败
5. 对 MSDP 配置问题进行故障排除
6. 对 MSDP 操作问题进行故障排除
7. 查看 MSDP 磁盘错误和事件
8. MSDP 事件代码和消息
9. 无法获取管理员密码，因此无法使用运行 Windows 操作系统的 AWS EC2 实例
10. 对多域问题进行故障排除
11. 对云压缩错误消息进行故障排除
附录 A. 迁移到 MSDP 存储
1. 从其他存储类型迁移到 MSDP
附录 B. 从 Cloud Catalyst 迁移到 MSDP 直接云分层
1. 关于从 Cloud Catalyst 迁移到 MSDP 直接云分层
2. 关于 Cloud Catalyst 迁移策略
3. 关于从 Cloud Catalyst 直接迁移到 MSDP 直接云分层
4. 关于迁移后配置和清理
5. 关于 Cloud Catalyst 迁移 -dryrun 选项
6. 关于 Cloud Catalyst 迁移 cacontrol 选项
7. 从成功的迁移恢复到 Cloud Catalyst
8. 从失败的迁移恢复到 Cloud Catalyst
附录 C. Encryption Crawler
1. 关于 Encryption Crawler
2. 关于 Encryption Crawler 的两种模式
3. 管理 Encryption Crawler
4. 高级选项
5. 调整选项
6. 加密数据
7. 命令用法示例输出
索引

管理 Encryption Crawler

使用 crcontrol 命令可管理 Encryption Crawler。下表介绍了可用于管理 Encryption Crawler 运作方式的选项。

表：crcontrol 命令选项

选项	描述
--encconverton	要启用和启动 Encryption Crawler 进程，请使用 *--encconverton [num]。 num* 变量为可选变量，用于指示分区索引的编号（从 1 开始）。该参数可为指定的 MSDP 分区启用 Encryption Crawler。如果未指定 *num，则会为所有 MSDP 分区启用 Encryption Crawler。当 `/etc/nbapp-release` (Linux) 或 `c:\etc\nbapp-release` (Windows) 文件不存在时，BYO 设置不支持 num* 变量。在 BYO 设置中，创建该文件以启用多卷支持，然后 *num* 变量便受支持。
--encconvertoff	要禁用和停止 Encryption Crawler 进程，请使用 *--encconvertoff [num]。 num* 变量为可选变量，用于指示分区索引的编号（从 1 开始）。该参数可为指定的 MSDP 分区启用 Encryption Crawler。如果未指定 *num，则会为所有 MSDP 分区禁用 Encryption Crawler。当 `/etc/nbapp-release` (Linux) 或 `c:\etc\nbapp-release` (Windows) 文件不存在时，BYO 设置不支持 num* 变量。在 BYO 设置中，创建该文件以启用多卷支持，然后 *num* 变量便受支持。
--encconvertlevel	要在“宽松”模式和“主动”模式之间切换，请使用 --encconvertlevel level。 *level* 为必需项。 *level* 变量的默认值为 1，表示“宽松”模式。 *level* 变量值介于 2 和 4 之间表明已启用“宽松”模式。该值越大，Encryption Crawler 就越主动。
--encconvertstate	要确定 Encryption Crawler 进程的模式和进度，请使用 --encconvertstate [verbose]。可以有选择地为此选项指定详细级别 (0-2)。 0 是默认详细级别，表示总体简要信息。 1 表示总体信息和每个分区的详细信息。 2 表示总体信息和每个分区的详细信息。即使分区的进程已完成，也会显示分区的详细信息。当 `/etc/nbapp-release` (Linux) 或 `c:\etc\nbapp-release` (Windows) 文件不存在时，BYO 设置不支持 verbose 参数。在 BYO 设置中，创建该文件以启用多卷支持，然后 *num* 变量便受支持。

有关 crcontrol 的更多信息，请参考以下内容：

NetBackup 命令参考指南

开启 Encryption Crawler 后，可以使用 crcontrol --encconvertstate 命令监控状态、模式和进度。

表：Encryption Crawler 监控

项目	描述
状态	显示 Encryption Crawler 是“打开”、“关闭”还是“完成”。
级别	显示 Encryption Crawler 所处的级别和模式。该值的格式为 mode (level)，例如“宽松 (1)”。
繁忙	显示 Encryption Crawler 是否繁忙。
最大组 ID	开启 Encryption Crawler 时要处理的最大容器组 ID。该值为数据边界，在 Encryption Crawler 开启后不会更改。
当前组 ID	当前正在处理此组 ID。
当前容器 ID	当前正在处理此容器 ID。
估计容器数	MSDP 池中 Encryption Crawler 必须处理的估计数据容器数。该值为统计信息，出于性能原因可能并不准确。开启 Encryption Crawler 后，该值将不会更新。
扫描的容器数	Encryption Crawler 必须处理的数据容器数。
转换的容器数	由 Encryption Crawler 进程加密的容器数。
跳过的容器数	Encryption Crawler 跳过的数据容器数。跳过原因各不相同，关于跳过的数据容器中对其进行了介绍。如果存在跳过的数据容器，则您可以查看 Encryption Crawler 日志或历史记录日志以获取详细信息。Encryption Crawler 进程完成后，encryption_reporting 工具可用于报告和加密各个容器。以下内容提供有关此 encryption_reporting 工具的详细信息。请参见加密数据。请参见命令用法示例输出。
扫描的数据大小	已扫描数据容器的汇总数据大小，适用于“扫描的容器数 ”。
转换的数据大小	已转换数据容器的汇总数据大小，适用于“转换的容器数”。
进度	Encryption Crawler 已扫描的数据容器在估计数据容器总数中所占的比例。进度 = 扫描的容器数 /估计容器数
转换比	Encryption Crawler 已转换的数据大小在已扫描数据大小中所占的比例。转换比 = 已转换数据大小/已扫描数据大小
装入点信息	每个装入点的状态。如果为 --encconvertstate 选项指定了详细值 1，则会输出未完成装入点的详细信息。如果为 --encconvertstate 选项指定了详细值 2，则无论完成状态如何，都会输出所有装入点的详细信息。

日志中的“进度”行可用于推断 Encryption Crawler 预计需要多长时间。例如，如果 3.3% 的池在 24 小时内完成，则该过程可能需要大约 30 天才能完成。

注意:

Encryption Crawler 将按从新到旧的反向顺序处理数据容器。

在强制执行加密后但在开启 Encryption Crawler 之前，可能会备份新数据。如果发生这种情况，开始时新数据容器的“转换比”可能低于 99%。在进程运行时，“转换比”值会更高，因为较旧的数据容器可能拥有更多的未加密数据。在这种情况下，可利用“转换比”、“转换的容器数”和“估计容器数”来估计这些数据容器的速度。

监控“转换比”的变化可以指示 Encryption Crawler 处于活动状态时未加密数据的比例。

注意:

在加密进程期间，如果 MSDP 重新启动，进度会保留。

关于跳过的数据容器

Encryption Crawler 跳过“跳过的容器数”报告的某些数据容器的原因包括：

如果数据容器即将失效但尚未删除，则跳过该容器。
如果数据容器可能存在数据完整性问题，则跳过该容器。Encryption Crawler 会将容器传送至 CRC 检查进程，以识别并尽量修复容器。
如果配置了即时访问或通用共享，并且某些共享在 Encryption Crawler 进程之前没有创建检查点，则这些共享可能保留某些具有独占权限的数据容器。这些数据容器会被跳过。Veritas 建议您先为即时访问或通用共享的所有共享创建检查点，然后再开启 Encryption Crawler 进程。通过执行此操作，VpFS 会为 spoold 解除这些数据容器的独占权限，以便 Encryption Crawler 对其进行处理。
即使配置了即时访问或通用共享，Appliance 3.1.2 及更高版本也可能具有 VpFS 根共享 vpfs0 所保留的空数据容器。在配置了即时访问或通用共享的 BYO 设置上，也可能会出现这种情况。通常，VpFS 不会解除这些数据容器的独占权限。这些数据容器会被跳过。您可以忽略这些跳过的容器。
此处介绍了如何检查已跳过的数据容器是否为空以及 VpFS 根共享 vpfs0 是否拥有这些数据容器。可以使用类似方式检查 VpFS 拥有的其他数据容器。
- 通过查找以下内容，可以在 Encryption Crawler 日志中找到标识为 VpFS 拥有的已跳过数据容器：
  n152-h21:/home/maintenance # grep VpFS /msdp/data/dp1/pdvol/log/spoold/enccrawler.log
  February 04 05:13:14 WARNING [139931343951616]: -1: __getDcidListFromOneGroup: 1 containers owned by VpFS in group 7 were skipped. min DC ID 7168, max DC ID 7168
- 检查 VpFS 根共享 vpfs0 是否拥有数据容器。
```
n152-h21:/home/maintenance # cat /msdp/data/dp1/4pdvol/7/.shareid
vpfs0
106627568
```

VpFS 根共享 vpfs0 拥有的数据容器为空。

n152-h21:/home/maintenance # ls -Al /msdp/data/dp1/4pdvol/7
total 24
-rw-r--r-- 1 root root 64 Feb 1 02:40 7168.bhd
-rw-r--r-- 1 root root 0 Feb 1 02:40 7168.bin
-rw------- 1 root root 12 Feb 1 02:40 .dcidboundary
-rw-r----- 1 root root 15 Feb 1 02:40 .shareid
drwxr-xr-x 3 root root 96 Feb 4 15:37 var
n152-h21:/home/maintenance # /usr/openv/pdde/pdcr/bin/dcscan 7168
Path = /msdp/data/dp1/4pdvol/7/7168.[bhd, bin]
*** Header for container 7168 ***
version : 1
flags : 0x4000(DC_ENTRY_SHA256)
data file last position : 0
header file last position : 64
source id : 0
retention : 0
file size : 0
delete space : 0
active records : 0
total records : 0
deleted records : 0
crc32 : 0x1d74009d

更多信息