Guide de déduplication NetBackup™
- Introduction à NetBackup Media Server Deduplication Option
- Démarrage rapide
- Planification de votre déploiement
- À propos des conditions requises en matière de stockage et de connectivité de MSDP
- À propos de la déduplication de serveur de médias NetBackup
- À propos de la déduplication directe du client NetBackup
- A propos de la déduplication client de filiale MSDP
- A propos des performances de MSDP
- A propos des gestionnaires de flux de MSDP
- Pratiques d'excellence de déploiement MSDP
- Provisionnement du stockage
- Licence de déduplication
- Configuration de la fonction de déduplication
- Configuration du comportement de l'agent de déduplication à plusieurs threads
- Configuration du comportement du cache d'empreinte MSDP
- Configuration de l'amorçage du cache d'empreinte MSDP sur le serveur de stockage
- A propos du chiffrement MSDP à l'aide du service NetBackup KMS
- Configuration d'un serveur de stockage pour un pool de déduplication de serveur de médias
- Configuration d'un pool de disques pour la déduplication
- Configuration d'une unité de stockage d'un pool de déduplication de serveur de médias
- À propos de la duplication optimisée MSDP au sein du même domaine
- Configuration de la duplication optimisée MSDP dans le même domaine NetBackup
- Configuration de la réplication MSDP sur un autre domaine NetBackup
- À propos d'Auto Image Replication NetBackup
- Configuration d'une cible pour la réplication de MSDP vers un domaine distant
- Création d'une politique de cycle de vie du stockage
- Propriétés Réseau résilient
- Modification du fichier pd.conf de MSDP
- Au sujet de la protection du catalogue MSDP
- Configuration d'une sauvegarde de catalogue MSDP
- À propos de la prise en charge du stockage WORM NetBackup pour les données immuables et ineffaçables
- Prise en charge du cloud MSDP
- A propos de la prise en charge du cloud MSDP
- Récupération d'espace cloud
- A propos de la reprise après incident pour la LSU cloud
- A propos du partage d'images à l'aide du cloud MSDP
- À propos de la prise en charge du stockage immuable (WORM) en cloud MSDP
- À propos de la prise en charge des objets immuables pour AWS S3
- À propos de la prise en charge d'objets immuables pour les plates-formes compatibles AWS S3
- À propos de la prise en charge du stockage immuable pour le stockage d'objets blob Azure
- Interface S3 pour MSDP
- Configuration de l'interface S3 pour MSDP
- Gestion des identités et des accès (IAM) pour l'interface S3 pour MSDP
- API S3 pour l'interface S3 pour MSDP
- Surveillance de l'activité de déduplication
- Affichage des détails du travail MSDP
- Gestion de la fonction de déduplication
- Gestion des serveurs MSDP
- Gestion des informations d'authentification du moteur de déduplication NetBackup
- Gestion des pools de déduplication de serveur de médias
- Modification des propriétés d'un pool de déduplication de serveur de médias
- Configuration du comportement de la vérification de l'intégrité des données MSDP
- A propos du changement de base du stockage MSDP
- Gestion des serveurs MSDP
- Récupération MSDP
- Remplacement des hôtes MSDP
- Désinstallation MSDP
- Architecture de déduplication
- Configuration et utilisation de partages universels
- Utilisation du mode de réception
- Activation d'un partage universel avec magasin d'objets
- Configuration d'un environnement de récupération isolé (IRE)
- Utilisation de NetBackup Deduplication Shell
- Gestion des utilisateurs à partir du shell de déduplication
- Gestion des certificats à partir du shell de déduplication
- Gestion des services NetBackup à partir du shell de déduplication
- Surveillance et dépannage des services NetBackup à partir du shell de déduplication
- Dépannage
- À propos de la consignation unifiée
- À propos de la consignation héritée
- Résolution des problèmes d'installation de MSDP
- Résolution des problèmes de configuration MSDP
- Résolution des problèmes d'exploitation de MSDP
- Résolution des problèmes liés à plusieurs domaines
- Annexe A. Migration vers le stockage MSDP
- Annexe B. Migration de Cloud Catalyst vers les niveaux cloud directs MSDP
- À propos de la migration directe de Cloud Catalyst vers les niveaux de cloud directs MSDP
- Annexe C. Robot de chiffrement
À propos de l'échantillonnage et du cache prédictif
MSDP utilise la mémoire disponible configurée dans MaxCacheSize pour mettre en cache les signatures, afin d'assurer une recherche efficace en vue de la déduplication. Un nouveau schéma de données de recherche de cache de signatures introduit par NetBackup version 10.1 réduit l'utilisation de la mémoire. Il divise le cache de mémoire existant en deux composants, le cache d'échantillonnage (cache S) et le cache prédictif (cache P). Le cache S comporte un certain pourcentage des signatures de chaque sauvegarde et sert à rechercher des données semblables à partir des échantillons des sauvegardes précédentes en vue de la déduplication. Le cache P met en cache les signatures qui seront le plus probablement utilisées dans un avenir immédiat pour la recherche en vue de la déduplication.
Au début d'un travail, une petite partie des signatures de la dernière sauvegarde de ce travail est chargée dans le cache P comme point de départ. La recherche de signatures se fait dans le cache P pour trouver des doublons et les recherches sans résultats sont réexécutées à partir des échantillons du cache S pour tenter de trouver des correspondances avec les données de sauvegarde précédentes. Si une correspondance est trouvée, une partie des signatures de sauvegarde correspondantes est chargée dans le cache P en vue de la déduplication.
La méthode de recherche de signatures dans les caches S et P est activée pour les volumes de stockage locaux et cloud déployés dans des clusters MSDP, tels que Flex Scale, AKS et EKS. Cette méthode est également activée pour les volumes exclusivement cloud pour les plates-formes MSDP hors cluster, à savoir NetBackup Appliance, Flex et BYO. Pour les plates-formes prenant en charge les volumes exclusivement cloud, le volume local utilise la méthode initiale de recherche dans le cache. Vous trouverez les paramètres de configuration des caches S et P dans la section Cache du fichier de configuration contentrouter.cfg
.
Valeurs par défaut des déploiements ne faisant pas partie d'un cluster :
Configuration |
Valeur par défaut |
---|---|
MaxCacheSize |
50 % |
MaxPredictiveCacheSize |
20 % (10 % dans NetBackup Appliance) |
MaxSamplingCacheSize |
5 % (10 % dans NetBackup Appliance) |
EnableLocalPredictiveSamplingCache dans |
false |
EnableLocalPredictiveSamplingCache dans |
false |
Valeurs par défaut des déploiements en cluster :
Configuration |
Valeur par défaut |
---|---|
MaxCacheSize |
512 Mio |
MaxPredictiveCacheSize |
40 % |
MaxSamplingCacheSize |
20 % |
EnableLocalPredictiveSamplingCache dans |
true |
EnableLocalPredictiveSamplingCache dans |
true |
Pour les déploiements dans un cluster MSDP, le volume local et le volume cloud utilisent la même taille pour les caches S et P. Pour le déploiement hors cluster, les caches S et P sont uniquement utilisés pour le volume cloud, tandis que MaxCacheSize reste utilisé pour le volume local. Si le système n'est pas utilisé pour la sauvegarde cloud, les paramètres MaxPredictiveCacheSize et MaxSamplingCacheSize peuvent être définis sur une petite valeur, par exemple, 1 % ou 128 Mio. Le paramètre MaxCacheSize peut être défini sur une valeur élevée, par exemple, 50 ou 60 %. De même, si le système est utilisé uniquement pour les sauvegardes cloud, le paramètre MaxCacheSize peut être défini sur 1 % ou 128 Mio, tandis que MaxPredictiveCacheSize et MaxSamplingCacheSize peuvent être définis sur une valeur plus élevée.
La taille du cache S est déterminée par la capacité du Back end MSDP ou le nombre de signatures à partir des données du Back end. En supposant que la taille moyenne du segment soit de 32 Ko, la taille du cache S est d'environ 100 Mo par To de capacité sur le Back end. La taille du cache P est déterminée par le nombre de travaux simultanés et la localité des données, ou bien par l'ensemble de travail des données entrantes. Avec un ensemble de travail de 250 Mo par flux (environ 5 millions de signatures). Par exemple, 100 flux simultanés nécessitent une mémoire minimale de 25 Go (100*250 Mo). L'ensemble de travail peut être plus grand pour certaines applications comportant des flux multiples et de grands ensembles de données. Dans la mesure où le cache P est utilisé pour la recherche en vue de la déduplication des signatures et que toutes les signatures chargées dans le cache P y restent jusqu'à ce que sa capacité maximale soit atteinte, plus le cache P est grand, plus le potentiel de réussite des recherches est élevé et plus la consommation de la mémoire augmente. Le sous-dimensionnement du cache S ou P réduit les taux de déduplication, tandis que leur surdimensionnement augmente la consommation de mémoire.