Guide de déduplication NetBackup™
- Introduction à NetBackup Media Server Deduplication Option
- Démarrage rapide
- Planification de votre déploiement
- À propos des conditions requises en matière de stockage et de connectivité de MSDP
- À propos de la déduplication de serveur de médias NetBackup
- À propos de la déduplication directe du client NetBackup
- A propos de la déduplication client de filiale MSDP
- A propos des performances de MSDP
- A propos des gestionnaires de flux de MSDP
- Pratiques d'excellence de déploiement MSDP
- Provisionnement du stockage
- Licence de déduplication
- Configuration de la fonction de déduplication
- Configuration du comportement de l'agent de déduplication à plusieurs threads
- Configuration du comportement du cache d'empreinte MSDP
- Configuration de l'amorçage du cache d'empreinte MSDP sur le serveur de stockage
- A propos du chiffrement MSDP à l'aide du service NetBackup KMS
- Configuration d'un serveur de stockage pour un pool de déduplication de serveur de médias
- Configuration d'un pool de disques pour la déduplication
- Configuration d'une unité de stockage d'un pool de déduplication de serveur de médias
- À propos de la duplication optimisée MSDP au sein du même domaine
- Configuration de la duplication optimisée MSDP dans le même domaine NetBackup
- Configuration de la réplication MSDP sur un autre domaine NetBackup
- À propos d'Auto Image Replication NetBackup
- Configuration d'une cible pour la réplication de MSDP vers un domaine distant
- Création d'une politique de cycle de vie du stockage
- Propriétés Réseau résilient
- Modification du fichier pd.conf de MSDP
- Au sujet de la protection du catalogue MSDP
- Configuration d'une sauvegarde de catalogue MSDP
- À propos de la prise en charge du stockage WORM NetBackup pour les données immuables et ineffaçables
- Prise en charge du cloud MSDP
- A propos de la prise en charge du cloud MSDP
- Récupération d'espace cloud
- A propos de la reprise après incident pour la LSU cloud
- A propos du partage d'images à l'aide du cloud MSDP
- À propos de la prise en charge du stockage immuable (WORM) en cloud MSDP
- À propos de la prise en charge des objets immuables pour AWS S3
- À propos de la prise en charge d'objets immuables pour les plates-formes compatibles AWS S3
- À propos de la prise en charge du stockage immuable pour le stockage d'objets blob Azure
- Interface S3 pour MSDP
- Configuration de l'interface S3 pour MSDP
- Gestion des identités et des accès (IAM) pour l'interface S3 pour MSDP
- API S3 pour l'interface S3 pour MSDP
- Surveillance de l'activité de déduplication
- Affichage des détails du travail MSDP
- Gestion de la fonction de déduplication
- Gestion des serveurs MSDP
- Gestion des informations d'authentification du moteur de déduplication NetBackup
- Gestion des pools de déduplication de serveur de médias
- Modification des propriétés d'un pool de déduplication de serveur de médias
- Configuration du comportement de la vérification de l'intégrité des données MSDP
- A propos du changement de base du stockage MSDP
- Gestion des serveurs MSDP
- Récupération MSDP
- Remplacement des hôtes MSDP
- Désinstallation MSDP
- Architecture de déduplication
- Configuration et utilisation de partages universels
- Utilisation du mode de réception
- Activation d'un partage universel avec magasin d'objets
- Configuration d'un environnement de récupération isolé (IRE)
- Utilisation de NetBackup Deduplication Shell
- Gestion des utilisateurs à partir du shell de déduplication
- Gestion des certificats à partir du shell de déduplication
- Gestion des services NetBackup à partir du shell de déduplication
- Surveillance et dépannage des services NetBackup à partir du shell de déduplication
- Dépannage
- À propos de la consignation unifiée
- À propos de la consignation héritée
- Résolution des problèmes d'installation de MSDP
- Résolution des problèmes de configuration MSDP
- Résolution des problèmes d'exploitation de MSDP
- Résolution des problèmes liés à plusieurs domaines
- Annexe A. Migration vers le stockage MSDP
- Annexe B. Migration de Cloud Catalyst vers les niveaux cloud directs MSDP
- À propos de la migration directe de Cloud Catalyst vers les niveaux de cloud directs MSDP
- Annexe C. Robot de chiffrement
À propos des éléments de configuration dans cloud.json, contentrouter.cfg et spa.cfg
Le fichier cloud.json est disponible à l'emplacement suivant : <STORAGE>/etc/puredisk/cloud.json
.
Le fichier contient les paramètres suivants :
Paramètre |
Détails |
Valeur par défaut |
---|---|---|
UseMemForUpload |
Si elle est définie sur Vrai, le répertoire du cache de chargement est monté dans la mémoire en tant que tmpfs. Pour le cloud haut débit, il est particulièrement utile que la vitesse de disque représente un goulot d'étranglement. Elle peut également réduire la concurrence de disque avec la LSU locale. La valeur est définie sur true si la mémoire système est suffisante. La valeur par défaut est true si la mémoire disponible est suffisante. |
true |
CachePath |
Chemin d'accès du cache. Il est créé sous un volume MSDP en fonction de l'utilisation de l'espace des volumes MSDP. Il réserve un espace au-delà duquel la LSU locale ne peut pas écrire. Il n'est généralement pas nécessaire de modifier ce chemin d'accès, sauf dans le cas où certains volumes sont beaucoup plus libres que d'autres, les différentes LSU cloud peuvent être réparties sur le même volume de disque. Pour améliorer les performances, cette option peut être modifiée afin de les distribuer à différents volumes. Ce chemin d'accès peut être modifié pour résider dans un volume autre que MSDP. |
N/A |
UploadCacheGB |
Il s'agit de l'utilisation d'espace maximale du cache de chargement. Le cache de chargement est un sous-répertoire nommé "chargement" sous CachePath. Pour améliorer les performances, il doit être défini sur une valeur supérieure à : (nombre maximal de flux d'écriture simultanés) * MaxFileSizeMB * 2. Ainsi, pour 100 flux simultanés, environ 13 Go suffisent. Remarque : La valeur initiale de UploadCacheGB dans le fichier Lorsqu'une nouvelle LSU cloud est ajoutée, la valeur de UploadCacheGB est égale à CloudUploadCacheSize. Cette valeur peut être modifiée ultérieurement dans le fichier |
12 |
DownloadDataCacheGB |
Il s'agit de l'utilisation d'espace maximale du fichier de données, principalement le fichier Remarque : La valeur initiale de DownloadDataCacheGB dans le fichier Lorsqu'une nouvelle LSU cloud est ajoutée, la valeur de DownloadDataCacheGB est égale à CloudDataCacheSize. Cette valeur peut être modifiée ultérieurement dans le fichier |
500 |
DownloadMetaCacheGB |
Il s'agit de l'utilisation d'espace maximale du fichier de métadonnées, principalement le fichier Remarque : La valeur initiale de DownloadMetaCacheGB dans le fichier Lorsqu'une nouvelle LSU cloud est ajoutée, la valeur de DownloadMetaCacheGB est égale à CloudMetaCacheSize. Cette valeur peut être modifiée ultérieurement dans le fichier |
500 |
MapCacheGB |
Il s'agit de l'utilisation d'espace maximale du fichier Remarque : La valeur initiale de MapCacheGB dans le fichier Lorsqu'une nouvelle LSU cloud est ajoutée, la valeur de MapCacheGB est égale à CloudMapCacheSize. Cette valeur peut être modifiée ultérieurement dans le fichier |
5 |
UploadConnNum |
Nombre maximal de connexions simultanées au fournisseur cloud pour le chargement. L'augmentation de cette valeur est particulièrement utile pour le réseau à latence élevée. |
60 |
DataDownloadConnNum |
Nombre maximal de connexions simultanées au fournisseur cloud pour le téléchargement de données. L'augmentation de cette valeur est particulièrement utile dans un réseau à latence élevée. |
40 |
MetaDownloadConnNum |
Nombre maximal de connexions simultanées au fournisseur cloud pour le téléchargement de métadonnées. L'augmentation de cette valeur est particulièrement utile dans un réseau à latence élevée. |
40 |
MapConnNum |
Nombre maximal de connexions simultanées au fournisseur cloud pour le téléchargement du fichier map. |
40 |
DeleteConnNum |
Nombre maximal de connexions simultanées au fournisseur cloud pour la suppression. L'augmentation de cette valeur est particulièrement utile pour le réseau à latence élevée. |
100 |
KeepData |
Conservez les données chargées dans le cache de données. La valeur est toujours Faux si UseMem est Vrai. |
false |
KeepMeta |
Conservez les métadonnées chargées dans le cache de métadonnées, la valeur est toujours Faux si UseMem est Vrai. |
false |
ReadOnly |
La LSU est en lecture seule. Impossible d'écrire sur cette LSU et de la supprimer. |
false |
MaxFileSizeMB |
Taille maximale du fichier bin en Mo. |
64 |
WriteThreadNum |
Nombre de threads permettant d'enregistrer des données dans le conteneur de données en parallèle afin d'améliorer les performances de l'E/S. |
2 |
RebaseThresholdMB |
Seuil de changement de base (Mo). Lorsque les données d'image dans le conteneur sont inférieures au seuil, les données d'image de ce conteneur ne seront pas utilisées pour la déduplication afin d'atteindre une bonne localité. Valeurs autorisées : 0 à la moitié de MaxFileSizeMB, 0 = désactivé |
4 |
AgingCheckContainerIntervalDay |
Intervalle de vérification d'un conteneur pour cette LSU cloud (en jours). Remarque : Pour un système mis à niveau, vous devez ajouter cet intervalle manuellement si vous souhaitez modifier la valeur d'une LSU cloud. |
180 |
Le fichier contentrouter.cfg est disponible à l'emplacement suivant : <STORAGE>/etc/puredisk/contentrouter.cfg
.
Le fichier contient les paramètres suivants :
Paramètre |
Détails |
Valeur par défaut |
---|---|---|
CloudDataCacheSize |
Taille du cache de données par défaut lors de l'ajout de la LSU cloud. Diminuez cette valeur si l'espace disponible est insuffisant. |
500 Gio |
CloudMapCacheSize |
Taille du cache du fichier map par défaut lors de l'ajout de la LSU cloud. Diminuez cette valeur si l'espace disponible est insuffisant. |
5 Gio |
CloudMetaCacheSize |
Taille du cache de métadonnées par défaut lors de l'ajout de la LSU cloud. Diminuez cette valeur si l'espace disponible est insuffisant. |
500 Gio |
CloudUploadCacheSize |
Taille du cache de chargement par défaut lors de l'ajout de la LSU cloud. La valeur minimale est 12 Gio. |
12 Gio |
MaxPredictiveCacheSize |
Spécifiez la taille maximale du cache prédictif, basée sur la mémoire système totale (espace d'échange exclu). |
20 % |
CloudBits |
Nombre d'entrées de niveau supérieur dans le cache cloud. Ce nombre est (2^CloudBits). L'augmentation de cette valeur améliore les performances du cache, aux dépens de l'utilisation de la mémoire supplémentaire. Valeur minimale = 16, valeur maximale = 48. |
Taille automatique selon MaxCloudCacheSize |
DCSCANDownloadTmpPath |
Lors de l'utilisation de dcscan afin de vérifier la LSU cloud, les données sont téléchargées dans ce dossier. Pour plus d'informations, consultez l'outil dcscan dans la section de prise en charge du cloud. |
Désactivé |
UsableMemoryLimit |
Spécifiez la taille de mémoire maximale utilisable en pourcentage. MaxCacheSize + MaxPredictiveCacheSize + MaxSamplingCacheSize + Cloud in-memory upload cache size doit être inférieur ou égal à la valeur de UsableMemoryLimit |
85 % |
MaxSamplingCacheSize |
Spécifiez la taille maximale du cache d'échantillonnage en pourcentage pour toutes les LSU. Si vous souhaitez limiter la taille maximale du cache d'échantillonnage pour une LSU cloud, vous pouvez configurer le paramètre LSUSamplingCachePercent dans Le cache d'échantillonnage est également utilisé pour implémenter la déduplication globale pour les clusters MSDP AKS et MSDP FlexScale. |
5 % |
L'ajout d'une nouvelle LSU cloud échoue si aucune partition ne dispose d'un espace libre supérieur à ce qui suit :
CloudDataCacheSize + CloudMapCacheSize + CloudMetaCacheSize + CloudUploadCacheSize + WarningSpaceThreshold * partition size
Utilisez la commande crcontrol --dsstat 2 --verbosecloud pour vérifier l'espace de chaque partition.
Remarque :
Chaque LSU cloud dispose d'un répertoire de cache. Ce répertoire est créé sous un volume MSDP sélectionné en fonction de l'utilisation de l'espace disque de tous les volumes MSDP. La LSU cloud réserve de l'espace disque pour le cache de ce volume et la LSU locale ne peut pas utiliser davantage d'espace disque.
L'espace disque réservé initialement pour chaque LSU cloud correspond à la somme des valeurs de UploadCacheGB, DownloadDataCacheGB, DownloadMetaCacheGB, et de MapCacheGB dans le fichier <STORAGE>/etc/puredisk/cloud.json
. L'espace disque diminue lorsque les caches sont utilisés.
La sortie crcontrol --dsstat 2 --verbosecloud contient une option Cache :
# crcontrol --dsstat 2 --verbosecloud
=============== Mount point 2 ===============
Path = /msdp/data/dp1/1pdvol
Data storage
Raw Size Used Avail Cache Use%
48.8T 46.8T 861.4G 46.0T 143.5G 2%
Number of containers : 3609
Average container size : 252685915 bytes (240.98MB)
Space allocated for containers : 911943468161 bytes (849.31GB)
Reserved space : 2156777086976 bytes (1.96TB)
Reserved space percentage : 4.0%
L'option Cache est l'espace disque actuellement réservé par le cloud pour ce volume. L'espace disque est la somme de l'espace réservé pour toutes les LSU cloud qui disposent de répertoires de cache sur ce volume. L'espace réellement disponible pour la LSU locale sur ce volume est Avail - Cache.
Le fichier spa.cfg est disponible à l'emplacement suivant : <STORAGE>/etc/puredisk/spa.cfg
.
Le fichier contient les paramètres suivants :
Paramètre |
Détails |
Valeur par défaut |
---|---|---|
CloudLSUCheckInterval |
Intervalle de vérification du statut de la LSU cloud en secondes. |
1 800 |
EnablePOIDListCache |
État (activé ou désactivé) du cache de la liste POID (ID d'objet de chemin d'accès). L'objet de chemin d'accès contient les métadonnées associées à l'image. |
true |