NetBackup™ 重复数据删除指南
- NetBackup Media Server Deduplication Option 简介
- 快速入门
- 规划部署
- 关于 MSDP 存储和连接要求
- 关于 NetBackup 介质服务器重复数据删除
- 关于 NetBackup Client Direct 重复数据删除
- 关于 MSDP 远程办公客户端重复数据删除
- 关于 MSDP 性能
- 关于 MSDP 流处理程序
- MSDP 部署最佳做法
- 置备存储
- 重复数据删除的授权
- 配置重复数据删除
- 配置重复数据删除多线程代理行为
- 配置 MSDP 指纹缓存行为
- 在存储服务器上配置 MSDP 指纹缓存种子设定
- 关于使用 NetBackup KMS 服务的 MSDP 加密
- 为介质服务器重复数据删除池配置存储服务器
- 配置用于重复数据删除的磁盘池
- 配置介质服务器重复数据删除池存储单元
- 关于同一域内的 MSDP 优化复制
- 在同一 NetBackup 域内配置 MSDP 优化复制
- 配置以不同 NetBackup 域为目标的 MSDP 复制
- 创建存储生命周期策略
- “弹性网络”属性
- 编辑 MSDP pd.conf 文件
- 关于保护 MSDP 目录库
- 配置 MSDP 目录库备份
- 关于 NetBackup WORM 存储对不可变和不可删除数据的支持
- MSDP 云支持
- 关于 MSDP 云支持
- 云空间回收
- 关于云 LSU 的灾难恢复
- 关于使用 MSDP 云的映像共享
- 关于 MSDP 云不可篡改的 (WORM) 存储支持
- 关于对 AWS S3 的不可篡改对象支持
- 关于对 AWS S3 兼容平台的不可篡改对象支持
- 关于对 Azure blob 存储的不可篡改存储支持
- MSDP S3 接口
- 监视重复数据删除活动
- 管理重复数据删除
- 恢复 MSDP
- 替换 MSDP 主机
- 卸载 MSDP
- 重复数据删除体系结构
- 配置和使用通用共享
- 配置隔离恢复环境 (IRE)
- 使用 NetBackup Deduplication Shell
- 从重复数据删除 shell 管理用户
- 从重复数据删除 shell 管理证书
- 从重复数据删除 shell 管理 NetBackup 服务
- 从重复数据删除 shell 监控 NetBackup 服务并对其进行故障排除
- 故障排除
- 附录 A. 迁移到 MSDP 存储
- 附录 B. 从 Cloud Catalyst 迁移到 MSDP 直接云分层
- 附录 C. Encryption Crawler
命令用法示例输出
如果未强制执行加密或未完成滚动数据转换,则 crcontrol 命令将拒绝与 Encryption Crawler 相关的操作。以下是输出示例:
[root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/crcontrol --encconvertstate CRControlEncConvertInfoGet failed : operation not supported Please double check the server encryption settings
在 Encryption Crawler 进程之前查看数据容器的数据格式。以下是输出示例:
[root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/dcscan --so-data-format 3080|head -n 15 Path = /MSDP/data/3/3080.[bhd, bin] *** Header for container 3080 *** version : 1 flags : 0xe000(DC_ENTRY_FULL|DC_ENTRY_SHA256|DC_ENTRY_BINHEADER) data file last position : 67001810 header file last position : 55252 source id : 2505958 retention : 0 file size : 67001810 delete space : 0 active records : 511 total records : 511 deleted records : 0 crc32 : 0x4fd80a49 [root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/dcscan --so-data-format 3080|tail -n 15 type of record : SO version : 4 flags : 0x2 backup session : 1670238781 fptype : 3 size : 131118 record crc : 4164163489 data crc : 1313121942 ctime : 1642086781 offset : 66870692 digest : 7f7fd0c5d8fc64d9a7e25c7c079af86613b40d9feff9d316cdfc09c1eafb1690 KMS Enc : NO SO crc : 85135236 data format : [LZO Compressed Streamable, v2, window size 143360 bytes] [root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/dcscan --so-data-format 3080|grep "data format"|wc 511 5621 38325 [root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/dcscan --so-data-format 3080|grep "data format"|tail -n 5 data format : [LZO Compressed Streamable, v2, window size 143360 bytes] data format : [LZO Compressed Streamable, v2, window size 143360 bytes] data format : [LZO Compressed Streamable, v2, window size 143360 bytes] data format : [LZO Compressed Streamable, v2, window size 143360 bytes] data format : [LZO Compressed Streamable, v2, window size 143360 bytes] [root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/dcscan --so-data-format 3080|grep "data format"|grep -i -e "AES" -e "Encrypted"
在 Encryption Crawler 进程之后查看数据容器的数据格式。以下是输出示例:
[root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/dcscan --so-data-format 3080|head -n 15 Path = /MSDP/data/3/3080.[bhd, bin] *** Header for container 3080 *** version : 1 flags : 0xe000(DC_ENTRY_FULL|DC_ENTRY_SHA256|DC_ENTRY_BINHEADER) data file last position : 67009986 header file last position : 55252 source id : 2505958 retention : 0 file size : 67009986 delete space : 0 active records : 511 total records : 511 deleted records : 0 crc32 : 0x54380a69 [root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/dcscan --so-data-format 3080|tail -n 15 type of record : SO version : 4 flags : 0x2 backup session : 1670238781 fptype : 3 size : 131134 record crc : 4210300849 data crc : 1992124019 ctime : 1642086781 offset : 66878852 digest : 7f7fd0c5d8fc64d9a7e25c7c079af86613b40d9feff9d316cdfc09c1eafb1690 KMS Enc : NO SO crc : 85331847 data format : [AES-256-CTR Encrypted archive 256bit key LZO Compressed Streamable, v2, window size 143360 bytes] [root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/dcscan --so-data-format 3080|grep "data format"|wc 511 8176 59276 [root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/dcscan --so-data-format 3080|grep "data format"|tail -n 5 data format : [AES-256-CTR Encrypted archive 256bit key LZO Compressed Streamable, v2, window size 143360 bytes] data format : [AES-256-CTR Encrypted archive 256bit key LZO Compressed Streamable, v2, window size 143360 bytes] data format : [AES-256-CTR Encrypted archive 256bit key LZO Compressed Streamable, v2, window size 143360 bytes] data format : [AES-256-CTR Encrypted archive 256bit key LZO Compressed Streamable, v2, window size 143360 bytes] data format : [AES-256-CTR Encrypted archive 256bit key LZO Compressed Streamable, v2, window size 143360 bytes] [root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/dcscan --so-data-format 3080|grep "data format"|grep -i -e "AES" -e "Encrypted" data format : [AES-256-CTR Encrypted archive 256bit key LZO Compressed Streamable, v2, window size 143360 bytes] data format : [AES-256-CTR Encrypted archive 256bit key LZO Compressed Streamable, v2, window size 143360 bytes] data format : [AES-256-CTR Encrypted archive 256bit key LZO Compressed Streamable, v2, window size 143360 bytes] [root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/dcscan --so-is-encrypted 3080 1 of 1: unencrypted 0: container 3080: size 67009986
使用 dcscan --so-is-encrypted 检查容器或容器列表是否已加密。
状态消息 unencrypted 0 表示已加密,unencrypted 1 表示未加密且需要加密。以下是输出示例:
[root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/dcscan --so-is-encrypted 3080 1 of 1: unencrypted 1: container 3080: size 67001810
Veritas 建议使用报告工具 encryption_reporting 报告 MSDP 池中未加密的数据。
注意:
LinuxS 或 Flex WORM 设置不支持加密报告工具。
表:
操作系统和 Python 要求 |
详细信息 |
---|---|
encryption_reporting 在 Linux 安装方面的 Python 要求。 |
Python 附带了 NetBackup Red Hat 安装,无需额外的步骤即可运行 Python。 |
encryption_reporting 在 Windows BYO 安装方面的 Python 要求。 |
NetBackup 10.0 及更高版本要求您安装 Python 3.6.8-3.9.6。目前,不需要安装其他软件包。 安装 Python 3.6.8-3.9.6
|
默认情况下,报告工具会创建一个由两个线程组成的线程池。该工具使用这些线程来搜索未加密数据或加密未加密的数据。一个线程用于处理一个 MSDP 装入点直到完成。完成装入点的处理后,线程将返回到线程池。随后,该线程将用于处理排队等待处理的任何其他装入点。
线程数等于可以并行处理的装入点数。可以通过指定 -n 选项来增加或减少线程池的线程计数。最小线程计数为 1,最大线程计数为 20。
报告工具是 I/O 密集型工具。将线程计数增加到 MSDP 装入点总数通常会提高报告工具的性能。这也意味着,系统上的更多负载会影响备份、还原、重复数据删除和主从复制作业的性能。使用比装入点更多的线程不会提升性能。
使用报告工具搜索未加密的数据时,每个线程都会调用一个 dcscan 实例。每个 dcscan 实例使用的内存大约为 N * 160 MB。在此等式中,N 是服务器上的 MSDP 装入点数。如果共有 12 个 MSDP 装入点,则每个 dcscan 实例使用大约 1.8 GB 的内存。如果报告工具中有四个线程正在运行,则报告工具和 dcscan 进程将占用 7 GB 以上的内存。
在 Windows BYO 上,到 dcscan 的默认路径为 C:\Program Files\Veritas\pdde
。如果将 dcscan 安装到其他位置,则必须使用 -d 或 --dcscan_dir 选项指定正确的位置。
encryption_reporting 不考虑使用 Encryption Crawler 加密的数据。如果您之前运行过 Encryption Crawler 来加密数据,则必须使用 -c 选项清除元数据文件(如果存在)。然后,重新运行 encryption_reporting 以获取最新信息。
在某些情况下,可能会将数据报告为 Encrypted needs KMS convert
。这意味着数据已加密,但不是使用 KMS 加密的。如果您看到此消息,请使用爬网程序命令 ./crcontrol –encconvertreset 和 ./crcontrol –encconverton 通过 KMS 加密其余数据。
Veritas 建议不要在 Encryption Crawler 进程处于活动状态时运行报告工具。
./encryption_reporting -h
显示命令的帮助输出。
./encryption_reporting -n 4
脚本完成扫描后,将报告未加密和加密的数据量。使用 -n 选项可定义线程池中的线程数。默认线程数量为 2。
./encryption_reporting -r
此命令报告上次扫描期间生成的元数据文件中的未加密数据量。它不会执行扫描。
./encryption_reporting -e -n 4
使用元数据文件通过 crcontrol 提交数据容器加密命令。使用 -n 选项定义线程池中使用的线程数。默认线程数量为 2。
./encryption_reporting -c
删除扫描期间创建的元数据文件。请注意,此命令将删除上一次扫描生成的所有元数据文件。
./encryption_reporting
运行脚本以确定介质服务器上已加密和未加密的数据量。
此命令在名为
unencrypted_metadata
的目录下为 MSDP 日志目录中的每个容器目录生成元数据文件。该脚本从
/etc/pdregistry.cfg
中读取 configfilepath,并解析出要从fstab.cfg
读取装入点的路径。它会读取fstab.cfg
中的所有装入点。要确定已加密和未加密的数据量,请查找与下面所示类似的行,加粗表示强调:
2021-01-28 17:46:05,555 - root - CRITICAL - unencrypted bytes 58.53GB, encrypted bytes 14.46GB