NetBackup™ 重复数据删除指南
- NetBackup Media Server Deduplication Option 简介
- 快速入门
- 规划部署
- 规划 MSDP 部署
- NetBackup 命名约定
- 关于 MSDP 重复数据删除节点
- 关于 NetBackup 重复数据删除目标
- 关于 MSDP 存储容量
- 关于 MSDP 存储和连接要求
- 关于 NetBackup 介质服务器重复数据删除
- 关于 NetBackup Client Direct 重复数据删除
- 关于 MSDP 远程办公客户端重复数据删除
- 关于 NetBackup Deduplication Engine 凭据
- 关于 MSDP 的网络接口
- 关于 MSDP 端口用法
- 关于 MSDP 优化合成备份
- 关于 MSDP 和 SAN 客户端
- 关于 MSDP 优化复制和主从复制
- 关于 MSDP 性能
- 关于 MSDP 流处理程序
- MSDP 部署最佳做法
- 置备存储
- 重复数据删除的授权
- 配置重复数据删除
- 配置 MSDP 服务器端重复数据删除
- 配置 MSDP 客户端重复数据删除
- 关于 MSDP 重复数据删除多线程代理
- 配置重复数据删除多线程代理行为
- 配置重复数据删除插件与多线程代理的交互
- 关于 MSDP 指纹识别
- 关于 MSDP 指纹缓存
- 配置 MSDP 指纹缓存行为
- 关于将远程客户端重复数据删除的 MSDP 指纹缓存设定为种子
- 在客户端上配置 MSDP 指纹缓存种子设定
- 在存储服务器上配置 MSDP 指纹缓存种子设定
- 关于采样和预测缓存
- 启用对 400 TB MSDP 的支持
- 关于使用 NetBackup KMS 服务的 MSDP 加密
- 关于使用外部 KMS 服务器的 MSDP 加密
- 为介质服务器重复数据删除池配置存储服务器
- 关于 NetBackup 重复数据删除的磁盘池
- 配置用于重复数据删除的磁盘池
- 创建数据目录以实现 400 TB MSDP 支持
- 向 400 TB 的介质服务器重复数据删除池添加卷
- 配置介质服务器重复数据删除池存储单元
- 为 MSDP 客户端重复数据删除配置客户端属性
- 禁用客户端的 MSDP 客户端重复数据删除
- 关于 MSDP 压缩
- 关于 MSDP 加密
- MSDP 压缩和加密设置表
- 为 MSDP 备份配置加密
- 为 MSDP 优化复制配置加密
- 关于 MSDP 的滚动数据转换机制
- 滚动数据转换模式
- MSDP 加密行为和兼容性
- 为 MSDP 配置优化合成备份
- 关于用于 MSDP 重复和复制的单独网络路径
- 为 MSDP 复制配置单独的网络路径
- 关于同一域内的 MSDP 优化复制
- 在同一 NetBackup 域内配置 MSDP 优化复制
- 关于到其他域的 MSDP 复制
- 配置以不同 NetBackup 域为目标的 MSDP 复制
- 关于配置 MSDP 优化复制和复制带宽
- 关于 MSDP 云优化复制和主从复制的性能优化
- 关于存储生命周期策略
- 关于自动映像复制所需的存储生命周期策略
- 创建存储生命周期策略
- 关于 MSDP 备份策略配置
- 创建备份策略
- “弹性网络”属性
- 指定弹性连接
- 添加 MSDP 负载平衡服务器
- 关于 NetBackup 客户端上的可变长度重复数据删除
- 关于 MSDP pd.conf 配置文件
- 编辑 MSDP pd.conf 文件
- 关于 MSDP contentrouter.cfg 文件
- 关于保存 MSDP 存储服务器配置
- 保存 MSDP 存储服务器配置
- 编辑 MSDP 存储服务器配置文件
- 设置 MSDP 存储服务器配置
- 关于 MSDP 主机配置文件
- 删除 MSDP 主机配置文件
- 重置 MSDP 注册表
- 关于保护 MSDP 目录库
- 更改 MSDP 卷影目录库路径
- 更改 MSDP 卷影目录库日程表
- 更改 MSDP 目录卷影副本数
- 配置 MSDP 目录库备份
- 更新 MSDP 目录库备份策略
- 关于 MSDP FIPS 遵从性
- 配置 NetBackup 客户端重复数据删除以支持 MSDP 的多个接口
- 关于 MSDP 多域支持
- 关于 MSDP 应用程序用户支持
- 关于 MSDP 多域 VLAN 支持
- 关于 NetBackup WORM 存储对不可变和不可删除数据的支持
- MSDP 云支持
- 关于 MSDP 云支持
- 在 NetBackup Web UI 中创建介质服务器重复数据删除池 (MSDP) 存储服务器
- 创建云存储单元
- 更新云 LSU 的云凭据
- 更新云 LSU 的加密配置
- 删除云 LSU
- 使用云 LSU 将数据备份到云
- 使用云 LSU 将数据复制到云
- 将 AIR 配置为使用云 LSU
- 关于向后兼容性支持
- 关于 cloud.json、contentrouter.cfg 和 spa.cfg 中的配置项
- 云空间回收
- 关于为实现云支持而进行的工具更新
- 关于云 LSU 的灾难恢复
- 关于使用 MSDP 云的映像共享
- 关于从 Microsoft Azure 存档中的备份还原
- 关于 MSDP 云不可篡改的 (WORM) 存储支持
- 关于 MSDP 云管理工具
- 关于对 AWS S3 的不可篡改对象支持
- 关于对 AWS S3 兼容平台的不可篡改对象支持
- 为 S3 兼容平台创建云不可篡改存储单元
- 使用 msdpcldutil 工具管理 HCP for Cloud Scale
- 使用 msdpcldutil 工具管理 Cloudian HyperStore
- 使用 msdpcldutil 工具管理 Seagate Lyve Cloud
- 使用 msdpcldutil 工具管理 Veritas Access Cloud
- 使用 msdpcldutil 工具管理 Wasabi 云存储
- 使用 msdpcldutil 工具管理 Scality RING – LAN
- 使用 msdpcldutil 工具管理 EMC-ECS
- 使用 msdpcldutil 工具管理 Quantum ActiveScale
- 使用 msdpcldutil 工具管理 NetApp StorageGRID Webscale – WAN
- 关于对 Azure blob 存储的不可篡改存储支持
- 关于在群集环境中使用云不可篡改的存储
- 在不使用 msdpcldutil 的情况下创建存储桶时对错误进行故障排除
- 使用治理模式删除不可篡改映像
- 在 Web UI 中刷新不可篡改的云卷保留范围值
- 永久删除 S3 对象
- 关于云中对象存储的即时访问
- MSDP S3 接口
- 监视重复数据删除活动
- 管理重复数据删除
- 恢复 MSDP
- 替换 MSDP 主机
- 卸载 MSDP
- 重复数据删除体系结构
- 配置和使用通用共享
- 配置隔离恢复环境 (IRE)
- 使用 NetBackup Deduplication Shell
- 关于 NetBackup Deduplication Shell
- 从重复数据删除 shell 管理用户
- 从重复数据删除 shell 管理 VLAN 接口
- 管理 WORM 存储服务器上的保留策略
- 管理 WORM 存储服务器上具有保留锁定的映像
- 审核 WORM 保留更改
- 从重复数据删除 shell 管理证书
- 从重复数据删除 shell 管理 FIPS 模式
- 从重复数据删除 shell 加密备份
- 从重复数据删除 shell 调整 MSDP 配置
- 从重复数据删除 shell 设置 MSDP 日志级别
- 从重复数据删除 shell 管理 NetBackup 服务
- 从重复数据删除 shell 监控 NetBackup 服务并对其进行故障排除
- 故障排除
- 附录 A. 迁移到 MSDP 存储
- 附录 B. 从 Cloud Catalyst 迁移到 MSDP 直接云分层
- 附录 C. Encryption Crawler
- 索引
关于 cloud.json、contentrouter.cfg 和 spa.cfg 中的配置项
cloud.json 文件位于以下位置：<STORAGE>/etc/puredisk/cloud.json。
该文件具有以下参数：
|
参数 |
详细信息 |
默认值 |
|---|---|---|
|
UseMemForUpload |
如果设置为 true，则上载缓存目录将在内存中作为 tmpfs 装入。对于磁盘速度是瓶颈的高速云，这尤其有用。此外，还可以减少与本地 LSU 的磁盘竞争。如果系统内存足够，则将该值设置为 true。 如果有足够的可用内存，则默认值为 true。 |
true |
|
CachePath |
缓存的路径。根据 MSDP 卷的空间使用量，在 MSDP 卷下进行创建。将保留一些空间，在该空间范围之外，本地 LSU 无法写入。通常无需更改此路径，除非在某些情况下，一些卷的可用空间多于其他卷，多个云 LSU 可以分布到同一磁盘卷。出于性能考虑，您可能需要更改此选项，以便将其分布到不同的卷。可以将此路径更改为驻留在非 MSDP 卷中。 |
不适用 |
|
UploadCacheGB |
该参数是上载缓存的最大空间使用量。上载缓存是 CachePath 下名为 upload 的子目录。出于性能考虑，应将其设置为大于以下值： (最大并行写入流数) * MaxFileSizeMB * 2。 因此，如果并行流数为 100，约 13 GB 就足够了。 注意:
添加新的云 LSU 时，UploadCacheGB 的值等于 CloudUploadCacheSize。稍后可以在 |
12 |
|
DownloadDataCacheGB |
该参数是数据文件（主要是 注意:
添加新的云 LSU 时，DownloadDataCacheGB 的值等于 CloudDataCacheSize。稍后可以在 |
500 |
|
DownloadMetaCacheGB |
该参数是元数据文件（主要是 注意:
添加新的云 LSU 时，DownloadMetaCacheGB 的值等于 CloudMetaCacheSize。稍后可以在 |
500 |
|
MapCacheGB |
该参数是用于满足 MD5 类型指纹兼容性的 注意:
添加新的云 LSU 时，MapCacheGB 的值等于 CloudMapCacheSize。稍后可以在 |
5 |
|
UploadConnNum |
用于上载的与云提供商的最大并行连接数。增加此值对于高延迟网络尤其有用。 |
60 |
|
DataDownloadConnNum |
用于下载数据的与云提供商的最大并行连接数。增加此值对于高延迟网络尤其有用。 |
40 |
|
MetaDownloadConnNum |
用于下载元数据的与云提供商的最大并行连接数。增加此值对于高延迟网络尤其有用。 |
40 |
|
MapConnNum |
用于下载映射的与云提供商的最大并行连接数。 |
40 |
|
DeleteConnNum |
用于删除的与云提供商的最大并行连接数。增加此值对于高延迟网络尤其有用。 |
100 |
|
KeepData |
将上载的数据保存到数据缓存。如果 UseMem 为 true，则该值始终为 false。 |
false |
|
KeepMeta |
将上载的元数据保存到元数据缓存，如果 UseMem 为 true，则该值始终为 false。 |
false |
|
ReadOnly |
LSU 为只读，无法在此 LSU 上写入和删除。 |
false |
|
MaxFileSizeMB |
bin 文件的最大大小（以 MB 为单位）。 |
64 |
|
WriteThreadNum |
用于将数据并行写入数据容器以提高 IO 性能的线程数。 |
2 |
|
RebaseThresholdMB |
基值重置阈值 (MB)，当容器中的映像数据小于阈值时，此容器中的所有映像数据将不会用于重复数据删除以获得良好的区域。允许的值：0 到 MaxFileSizeMB 的一半，0 = 已禁用 |
4 |
|
AgingCheckContainerIntervalDay |
检查此云 LSU 容器的间隔（以天为单位）。 注意: 对于已升级的系统，如果要更改云 LSU 的值，必须手动添加此值。 |
180 |
contentrouter.cfg 文件位于以下位置：<STORAGE>/etc/puredisk/contentrouter.cfg。
该文件具有以下参数：
|
参数 |
详细信息 |
默认值 |
|---|---|---|
|
CloudDataCacheSize |
添加云 LSU 时的默认数据缓存大小。 如果没有足够的可用空间，请减小此值。 |
500 GiB |
|
CloudMapCacheSize |
添加云 LSU 时的默认映射缓存大小。 如果没有足够的可用空间，请减小此值。 |
5 GiB |
|
CloudMetaCacheSize |
添加云 LSU 时的默认元数据缓存大小。 如果没有足够的可用空间，请减小此值。 |
500 GiB |
|
CloudUploadCacheSize |
添加云 LSU 时的默认上载缓存大小。 最小值为 12 GiB。 |
12 GiB |
|
MaxPredictiveCacheSize |
指定最大预测缓存大小。该值基于总系统内存，不包括交换空间。 |
20% |
|
CloudBits |
云缓存中的顶级条目数。此数量为 (2^CloudBits)。增加此值可提高缓存性能，但会占用额外的内存。最小值 = 16，最大值 = 48。 |
根据 MaxCloudCacheSize 自动调整大小 |
|
DCSCANDownloadTmpPath |
使用 dcscan 检查云 LSU 时，数据将下载到此文件夹中。有关详细信息，请参见云支持部分中的 dcscan 工具。 |
已禁用 |
|
UsableMemoryLimit |
指定最大可用内存大小（以百分比表示）。 MaxCacheSize + MaxPredictiveCacheSize + MaxSamplingCacheSize + Cloud in-memory upload cache size 必须小于或等于 UsableMemoryLimit 值 |
85% |
|
MaxSamplingCacheSize |
在此处指定所有 LSU 的最大采样缓存大小（以百分比表示）。 如果要限制云 LSU 的最大采样缓存大小，可以在 采样缓存还用于对 MSDP AKS 和 MSDP FlexScale 群集实施全局重复数据删除。 |
5% |
如果分区的可用空间没有超过以下空间，则添加新的云 LSU 将失败：
CloudDataCacheSize + CloudMapCacheSize + CloudMetaCacheSize + CloudUploadCacheSize + WarningSpaceThreshold * partition size
使用 crcontrol --dsstat 2 --verbosecloud 命令可检查每个分区的空间。
注意:
每个云 LSU 都有一个缓存目录。该目录是根据所有 MSDP 卷的磁盘空间使用量在所选 MSDP 卷下创建的。云 LSU 保留了一些磁盘空间用于从该卷进行缓存，而本地 LSU 无法利用更多磁盘空间。
每个云 LSU 的初始保留磁盘空间是 <STORAGE>/etc/puredisk/cloud.json 文件中 UploadCacheGB, DownloadDataCacheGB, DownloadMetaCacheGB, 和 MapCacheGB 值的总和。使用缓存时，磁盘空间会减少。
crcontrol --dsstat 2 --verbosecloud 输出中有一个 Cache 选项：
# crcontrol --dsstat 2 --verbosecloud
=============== Mount point 2 ===============
Path = /msdp/data/dp1/1pdvol
Data storage
Raw Size Used Avail Cache Use%
48.8T 46.8T 861.4G 46.0T 143.5G 2%
Number of containers : 3609
Average container size : 252685915 bytes (240.98MB)
Space allocated for containers : 911943468161 bytes (849.31GB)
Reserved space : 2156777086976 bytes (1.96TB)
Reserved space percentage : 4.0%
Cache 选项是云为该卷当前保留的磁盘空间。磁盘空间是该卷上具有缓存目录的所有云 LSU 的保留空间的总和。此卷上的本地 LSU 的实际可用空间为 Avail – Cache。
spa.cfg 文件位于以下位置：<STORAGE>/etc/puredisk/spa.cfg。
该文件具有以下参数：
|
参数 |
详细信息 |
默认值 |
|---|---|---|
|
CloudLSUCheckInterval |
检查云 LSU 状态的间隔（以秒为单位）。 |
1800 |
|
EnablePOIDListCache |
POID（路径对象 ID）列表缓存的状态为“已启用”或“已禁用”。路径对象包含与该映像关联的元数据。 |
true |