Guide de déduplication NetBackup™
- Introduction à NetBackup Media Server Deduplication Option
- Démarrage rapide
- Planification de votre déploiement
- À propos des conditions requises en matière de stockage et de connectivité de MSDP
- À propos de la déduplication de serveur de médias NetBackup
- À propos de la déduplication directe du client NetBackup
- A propos de la déduplication client de filiale MSDP
- A propos des performances de MSDP
- A propos des gestionnaires de flux de MSDP
- Pratiques d'excellence de déploiement MSDP
- Provisionnement du stockage
- Licence de déduplication
- Configuration de la fonction de déduplication
- Configuration du comportement de l'agent de déduplication à plusieurs threads
- Configuration du comportement du cache d'empreinte MSDP
- Configuration de l'amorçage du cache d'empreinte MSDP sur le serveur de stockage
- A propos du chiffrement MSDP à l'aide du service NetBackup KMS
- Configuration d'un serveur de stockage pour un pool de déduplication de serveur de médias
- Configuration d'un pool de disques pour la déduplication
- Configuration d'une unité de stockage d'un pool de déduplication de serveur de médias
- À propos de la duplication optimisée MSDP au sein du même domaine
- Configuration de la duplication optimisée MSDP dans le même domaine NetBackup
- Configuration de la réplication MSDP sur un autre domaine NetBackup
- À propos d'Auto Image Replication NetBackup
- Configuration d'une cible pour la réplication de MSDP vers un domaine distant
- Création d'une politique de cycle de vie du stockage
- Propriétés Réseau résilient
- Modification du fichier pd.conf de MSDP
- Au sujet de la protection du catalogue MSDP
- Configuration d'une sauvegarde de catalogue MSDP
- À propos de la prise en charge du stockage WORM NetBackup pour les données immuables et ineffaçables
- Prise en charge du cloud MSDP
- A propos de la prise en charge du cloud MSDP
- Récupération d'espace cloud
- A propos de la reprise après incident pour la LSU cloud
- A propos du partage d'images à l'aide du cloud MSDP
- À propos de la prise en charge du stockage immuable (WORM) en cloud MSDP
- À propos de la prise en charge des objets immuables pour AWS S3
- À propos de la prise en charge d'objets immuables pour les plates-formes compatibles AWS S3
- À propos de la prise en charge du stockage immuable pour le stockage d'objets blob Azure
- Interface S3 pour MSDP
- Configuration de l'interface S3 pour MSDP
- Gestion des identités et des accès (IAM) pour l'interface S3 pour MSDP
- API S3 pour l'interface S3 pour MSDP
- Surveillance de l'activité de déduplication
- Affichage des détails du travail MSDP
- Gestion de la fonction de déduplication
- Gestion des serveurs MSDP
- Gestion des informations d'authentification du moteur de déduplication NetBackup
- Gestion des pools de déduplication de serveur de médias
- Modification des propriétés d'un pool de déduplication de serveur de médias
- Configuration du comportement de la vérification de l'intégrité des données MSDP
- A propos du changement de base du stockage MSDP
- Gestion des serveurs MSDP
- Récupération MSDP
- Remplacement des hôtes MSDP
- Désinstallation MSDP
- Architecture de déduplication
- Configuration et utilisation de partages universels
- Utilisation du mode de réception
- Activation d'un partage universel avec magasin d'objets
- Configuration d'un environnement de récupération isolé (IRE)
- Utilisation de NetBackup Deduplication Shell
- Gestion des utilisateurs à partir du shell de déduplication
- Gestion des certificats à partir du shell de déduplication
- Gestion des services NetBackup à partir du shell de déduplication
- Surveillance et dépannage des services NetBackup à partir du shell de déduplication
- Dépannage
- À propos de la consignation unifiée
- À propos de la consignation héritée
- Résolution des problèmes d'installation de MSDP
- Résolution des problèmes de configuration MSDP
- Résolution des problèmes d'exploitation de MSDP
- Résolution des problèmes liés à plusieurs domaines
- Annexe A. Migration vers le stockage MSDP
- Annexe B. Migration de Cloud Catalyst vers les niveaux cloud directs MSDP
- À propos de la migration directe de Cloud Catalyst vers les niveaux de cloud directs MSDP
- Annexe C. Robot de chiffrement
Exemples de sorties d'utilisation de commande
Lorsque le chiffrement n'est pas appliqué, ou si la conversion progressive des données n'est pas terminée, la commande crcontrol rejette les opérations liées à Encryption Crawler. Voici un exemple de sortie :
[root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/crcontrol --encconvertstate CRControlEncConvertInfoGet failed : operation not supported Please double check the server encryption settings
Vérifiez le format de données d'un conteneur de données avant de démarrer le processus Encryption Crawler. Voici un exemple de sortie :
[root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/dcscan --so-data-format 3080|head -n 15 Path = /MSDP/data/3/3080.[bhd, bin] *** Header for container 3080 *** version : 1 flags : 0xe000(DC_ENTRY_FULL|DC_ENTRY_SHA256|DC_ENTRY_BINHEADER) data file last position : 67001810 header file last position : 55252 source id : 2505958 retention : 0 file size : 67001810 delete space : 0 active records : 511 total records : 511 deleted records : 0 crc32 : 0x4fd80a49 [root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/dcscan --so-data-format 3080|tail -n 15 type of record : SO version : 4 flags : 0x2 backup session : 1670238781 fptype : 3 size : 131118 record crc : 4164163489 data crc : 1313121942 ctime : 1642086781 offset : 66870692 digest : 7f7fd0c5d8fc64d9a7e25c7c079af86613b40d9feff9d316cdfc09c1eafb1690 KMS Enc : NO SO crc : 85135236 data format : [LZO Compressed Streamable, v2, window size 143360 bytes] [root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/dcscan --so-data-format 3080|grep "data format"|wc 511 5621 38325 [root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/dcscan --so-data-format 3080|grep "data format"|tail -n 5 data format : [LZO Compressed Streamable, v2, window size 143360 bytes] data format : [LZO Compressed Streamable, v2, window size 143360 bytes] data format : [LZO Compressed Streamable, v2, window size 143360 bytes] data format : [LZO Compressed Streamable, v2, window size 143360 bytes] data format : [LZO Compressed Streamable, v2, window size 143360 bytes] [root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/dcscan --so-data-format 3080|grep "data format"|grep -i -e "AES" -e "Encrypted"
Vérifiez le format de données d'un conteneur de données après avoir démarré le processus Encryption Crawler. Voici un exemple de sortie :
[root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/dcscan --so-data-format 3080|head -n 15 Path = /MSDP/data/3/3080.[bhd, bin] *** Header for container 3080 *** version : 1 flags : 0xe000(DC_ENTRY_FULL|DC_ENTRY_SHA256|DC_ENTRY_BINHEADER) data file last position : 67009986 header file last position : 55252 source id : 2505958 retention : 0 file size : 67009986 delete space : 0 active records : 511 total records : 511 deleted records : 0 crc32 : 0x54380a69 [root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/dcscan --so-data-format 3080|tail -n 15 type of record : SO version : 4 flags : 0x2 backup session : 1670238781 fptype : 3 size : 131134 record crc : 4210300849 data crc : 1992124019 ctime : 1642086781 offset : 66878852 digest : 7f7fd0c5d8fc64d9a7e25c7c079af86613b40d9feff9d316cdfc09c1eafb1690 KMS Enc : NO SO crc : 85331847 data format : [AES-256-CTR Encrypted archive 256bit key LZO Compressed Streamable, v2, window size 143360 bytes] [root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/dcscan --so-data-format 3080|grep "data format"|wc 511 8176 59276 [root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/dcscan --so-data-format 3080|grep "data format"|tail -n 5 data format : [AES-256-CTR Encrypted archive 256bit key LZO Compressed Streamable, v2, window size 143360 bytes] data format : [AES-256-CTR Encrypted archive 256bit key LZO Compressed Streamable, v2, window size 143360 bytes] data format : [AES-256-CTR Encrypted archive 256bit key LZO Compressed Streamable, v2, window size 143360 bytes] data format : [AES-256-CTR Encrypted archive 256bit key LZO Compressed Streamable, v2, window size 143360 bytes] data format : [AES-256-CTR Encrypted archive 256bit key LZO Compressed Streamable, v2, window size 143360 bytes] [root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/dcscan --so-data-format 3080|grep "data format"|grep -i -e "AES" -e "Encrypted" data format : [AES-256-CTR Encrypted archive 256bit key LZO Compressed Streamable, v2, window size 143360 bytes] data format : [AES-256-CTR Encrypted archive 256bit key LZO Compressed Streamable, v2, window size 143360 bytes] data format : [AES-256-CTR Encrypted archive 256bit key LZO Compressed Streamable, v2, window size 143360 bytes] [root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/dcscan --so-is-encrypted 3080 1 of 1: unencrypted 0: container 3080: size 67009986
Utilisez la commande dcscan --so-is-encrypted pour vérifier si un conteneur ou une liste de conteneurs sont chiffrés.
Le message d'état unencrypted 0 indique que le ou les conteneurs sont déjà chiffrés, et unencrypted 1 qu'ils doivent être chiffrés. Voici un exemple de sortie :
[root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/dcscan --so-is-encrypted 3080 1 of 1: unencrypted 1: container 3080: size 67001810
Veritas recommande d'utiliser l'outil de génération de rapports encryption_reporting pour faire du reporting sur les données non chiffrées dans le pool MSDP.
Remarque :
L'outil de génération de rapports de chiffrement n'est pas pris en charge sur les configurations WORM LinuxS ou Flex.
Tableau :
Conditions requises pour Python en fonction du système d'exploitation |
Détails |
---|---|
Conditions requises pour Python pour encryption_reporting sur les installations Linux |
Python est préinstallé sur les installations NetBackup Red Hat. Aucune action supplémentaire n'est donc requise pour l'exécuter. |
Conditions requises pour Python pour encryption_reporting sur les installations BYO Windows |
NetBackup 10.0 et les versions ultérieures nécessitent l'installation de Python 3.6.8 à 3.9.6. Actuellement, aucune installation de package logiciel supplémentaire n'est requise. Installation de Python 3.6.8 à 3.9.6
|
Par défaut, l'outil de génération de rapports crée un pool composé de deux threads et utilise ces threads pour rechercher des données non chiffrées ou pour chiffrer les données non chiffrées. Un thread est utilisé pour traiter entièrement un point de montage MSDP. Une fois le traitement d'un point de montage terminé, le thread est renvoyé au pool de threads, puis est utilisé pour traiter tout point de montage supplémentaire en attente de traitement.
Le nombre de threads est égal au nombre de points de montage pouvant être traités simultanément. Vous pouvez augmenter ou diminuer le nombre de threads du pool de threads en spécifiant l'option -n. Ce nombre doit être compris entre 1 et 20.
L'outil de génération de rapports est intensif en E/S. En faisant en sorte que le nombre de threads soit égal au nombre total de points de montage MSDP, vous pouvez généralement améliorer les performances de l'outil de génération de rapports. Le système sera également soumis à une charge plus importante, ce qui peut affecter les performances des travaux de sauvegarde, de restauration, de duplication et de réplication. En revanche, un nombre de threads supérieur au nombre de points de montage n'entraîne aucune amélioration des performances.
Lorsque l'outil de génération de rapports est utilisé pour rechercher les données non chiffrées, chaque thread appelle une instance dcscan. Chaque instance dcscan utilise approximativement N * 160 Mo de mémoire, où N correspond au nombre de points de montage MSDP sur le serveur. Pour un total de 12 points de montage MSDP, chaque instance dcscan utilise environ 1,8 Go de mémoire. Si quatre threads sont en cours d'exécution dans l'outil de génération de rapports, l'outil de génération de rapports et les processus dcscan consomment plus de 7 Go de mémoire.
Sur un système BYO Windows, le chemin d'accès par défaut de dcscan est C:\Program Files\Veritas\pdde
. Si vous avez installé dcscan à un emplacement différent, utilisez l'option -d ou --dcscan_dir pour spécifier l'emplacement correct.
La commande encryption_reporting ne tient pas compte des données chiffrées à l'aide de Encryption Crawler. Si vous avez exécuté Encryption Crawler précédemment pour chiffrer des données, effacez les fichiers de métadonnées existants avec l'option -c. Réexécutez ensuite la commande encryption_reporting pour obtenir des informations à jour.
Dans certains cas, certaines données peuvent être signalées comme Données chiffrées nécessitant une conversion KMS
. Cela signifie que ces données sont chiffrées, mais qu'elles n'ont pas été chiffrées avec le KMS. Si ce message s'affiche, utilisez les commandes ./crcontrol - encconvertreset et ./crcontrol - encconverton du robot pour chiffrer les données restantes à l'aide du KMS.
Veritas déconseille d'exécuter l'outil de génération de rapports lorsque le processus Encryption Crawler est actif.
./encryption_reporting -h
Affiche la sortie d'aide de la commande.
./encryption_reporting -n 4
Indique le volume de données non chiffrées et chiffrées une fois que le script a terminé l'analyse. Utilisez l'option -n pour définir le nombre de threads dans le pool de threads. Le nombre de threads par défaut est 2.
./encryption_reporting -r
Cette commande indique la quantité de données non chiffrées à partir des fichiers de métadonnées générés lors d'une analyse précédente. Aucune analyse n'est effectuée.
./encryption_reporting -e -n 4
Utilise les fichiers de métadonnées pour envoyer des commandes de chiffrement de conteneur de données via crcontrol. Utilisez l'option -n pour définir le nombre de threads dans le pool de threads. Le nombre de threads par défaut est 2.
./encryption_reporting -c
Supprime les fichiers de métadonnées créés lors de l'analyse. Notez que cette commande supprime tous les fichiers de métadonnées générés lors de l'analyse précédente.
./encryption_reporting
Exécute le script pour déterminer le volume de données chiffrées et non chiffrées sur le serveur de médias.
Cette commande génère des fichiers de métadonnées pour chaque répertoire de conteneur dans le répertoire des journaux MSDP sous un répertoire appelé
unencrypted_metadata
.Le script lit la propriété configfilepath du fichier
/etc/pdregistry.cfg
et analyse le chemin d'accès pour lire les points de montage spécifiés dans le fichierfstab.cfg
(il lit tous les points de montage spécifiés dansfstab.cfg
).Pour déterminer le volume de données chiffrées et non chiffrées, recherchez le contenu écrit en gras dans l'exemple de ligne ci-dessous :
2021-01-28 17:46:05,555 - root - CRITICAL - unencrypted bytes 58.53GB, encrypted bytes 14.46GB