NetBackup™ 重複排除ガイド
- NetBackup メディアサーバー重複排除オプションの概要
- クイックスタート
- 配備の計画
- MSDP ストレージと接続性の必要条件について
- NetBackup メディアサーバー重複排除について
- NetBackup Client Direct の重複排除について
- MSDP リモートオフィスのクライアントの重複排除について
- MSDP のパフォーマンスについて
- MSDP のストリームハンドラについて
- MSDP の配置のベストプラクティス
- ストレージのプロビジョニング
- 重複排除のライセンス
- 重複排除の構成
- 重複排除マルチスレッドエージェントの動作の構成
- MSDP フィンガープリントのキャッシュ動作の構成
- ストレージサーバーでの MSDP フィンガープリントキャッシュのシードの構成
- NetBackup Key Management Server サービスを使用した MSDP 暗号化について
- メディアサーバー重複排除プールのストレージサーバーの構成
- 重複排除のディスクプールの構成
- [メディアサーバー重複排除プール (Media Server Deduplication Pool)]ストレージユニットの構成
- 同じドメイン内での MSDP の最適化複製について
- 同じ NetBackup ドメインでの MSDP 最適化複製の構成
- 異なる NetBackup ドメインへの MSDP レプリケーション設定
- NetBackup 自動イメージレプリケーションについて
- リモートドメインへの MSDP レプリケーションに対するターゲットの構成
- ストレージライフサイクルポリシーの作成
- [耐性ネットワーク (Resilient network)]プロパティ
- MSDP pd.conf ファイルの編集
- MSDP カタログの保護について
- MSDP カタログバックアップの設定
- 変更不可および削除不可のデータの NetBackup WORM ストレージサポートについて
- root 以外のユーザーによる MSDP サービスの実行
- MSDP クラウドのサポート
- MSDP クラウドのサポートについて
- クラウド領域の再利用
- クラウド LSU のディザスタリカバリについて
- MSDP クラウドを使用したイメージ共有について
- MSDP クラウド変更不可 (WORM) ストレージのサポートについて
- AWS S3 の変更不可オブジェクトのサポートについて
- Google Cloud Storage のバケットレベルの変更不可ストレージのサポートについて
- Google Cloud Storage のオブジェクトレベルの変更不可ストレージのサポートについて
- AWS IAM Role Anywhere のサポートについて
- Azure サービスプリンシパルのサポートについて
- AWS Snowball Edge の NetBackup のサポートについて
- MSDP の S3 インターフェース
- MSDP の独自の (BYO) サーバーでの MSDP 用 S3 インターフェースの構成
- MSDP の S3 インターフェースの IAM (Identity and Access Management)
- MSDP の S3 インターフェースの S3 API
- MSDP の S3 インターフェースでのディザスタリカバリ
- 重複排除アクティビティの監視
- 重複排除の管理
- MSDP サーバーの管理
- NetBackup Deduplication Engine クレデンシャルの管理
- メディアサーバー重複排除プールの管理
- MSDP データ整合性チェックの動作の構成
- MSDP ストレージのリベースについて
- MSDP のリカバリ
- MSDP ホストの置換
- MSDP のアンインストール
- 重複排除アーキテクチャ
- ユニバーサル共有の構成と使用
- ユニバーサル共有のユーザー認証の構成
- 取り込みモードの使用
- オブジェクトストアを使用したユニバーサル共有の有効化
- ユニバーサル共有アクセラレータの構成
- ユニバーサル共有アクセラレータのクォータについて
- 分離リカバリ環境 (IRE) の構成
- NetBackup 重複排除シェルの使用
- 重複排除シェルからのユーザーの管理
- 外部 MSDP カタログバックアップについて
- 重複排除シェルからの証明書の管理
- 重複排除シェルからの NetBackup サービスの管理
- 重複排除シェルからの NetBackup サービスの監視およびトラブルシューティング
- 重複排除シェルからの S3 サービスの管理
- トラブルシューティング
- 統合ログについて
- レガシーログについて
- MSDP 構成の問題のトラブルシューティング
- MSDP 操作上の問題のトラブルシューティング
- 複数ドメインの問題のトラブルシューティング
- 付録 A. MSDP ストレージへの移行
- 付録 B. Cloud Catalyst から MSDP ダイレクトクラウド階層化への移行
- 付録 C. Encryption Crawler
cloud.json、contentrouter.cfg、spa.cfg 内の構成項目について
cloud.json ファイルは、<STORAGE>/etc/puredisk/cloud.json
にあります。
このファイルには次のパラメータがあります。
パラメータ |
詳細 |
デフォルト値 |
---|---|---|
UseMemForUpload |
true に設定すると、アップロードキャッシュディレクトリが tmpfs としてメモリにマウントされます。これは特に、ディスク速度がボトルネックになっている高速クラウドで役立ちます。また、ローカル LSU とのディスクの競合を減らすこともできます。システムメモリが十分である場合、値は true に設定されます。 利用可能なメモリが十分にある場合、デフォルト値は true です。 |
true |
CachePath |
キャッシュのパス。MSDP ボリュームの領域使用状況に応じて、MSDP ボリュームに作成されます。ローカル LSU が書き込むことができない領域を予約します。通常、一部のボリュームが他のボリュームよりも大幅に少ない場合を除き、このパスを変更する必要はありません。複数のクラウド LSU を同じディスクボリュームに分散させることができます。パフォーマンスを考慮して、別のボリュームに分散させるためにこのオプションの変更が必要になる場合があります。このパスは、MSDP 以外のボリュームに格納するように変更できます。 |
なし |
UploadCacheGB |
アップロードキャッシュの最大領域使用量です。アップロードキャッシュは、CachePath の下の「upload」という名前のサブディレクトリです。パフォーマンスを考慮して、次より大きい値に設定する必要があります。 (最大並列書き込みストリーム数) * MaxFileSizeMB * 2。 したがって、100 の並列実行ストリームの場合、約 13 GB で十分です。 メモ:
新しいクラウド LSU を追加すると、UploadCacheGB の値は CloudUploadCacheSize と等しくなります。後で、 |
12 |
DownloadDataCacheGB |
これは、データファイル (主に メモ:
新しいクラウド LSU を追加すると、DownloadDataCacheGB の値は CloudDataCacheSize と等しくなります。後で、 |
500 |
DownloadMetaCacheGB |
これは、データファイル (主に メモ:
新しいクラウド LSU を追加すると、DownloadMetaCacheGB の値は CloudMetaCacheSize と等しくなります。後で、 |
500 |
MapCacheGB |
これは、MD5 形式の指紋の互換性のために使用される メモ:
新しいクラウド LSU を追加すると、MapCacheGB の値は CloudMapCacheSize と等しくなります。後で、 |
5 |
UploadConnNum |
アップロードする際のクラウドプロバイダへの最大同時接続数。この値を大きくすると、特に高遅延ネットワークに役立ちます。 |
60 |
DataDownloadConnNum |
データをダウンロードする際のクラウドプロバイダへの最大同時接続数。この値を大きくすると、特に高遅延ネットワークに役立ちます。 |
40 |
MetaDownloadConnNum |
メタデータをダウンロードする際のクラウドプロバイダへの最大同時接続数。この値を大きくすると、特に高遅延ネットワークに役立ちます。 |
40 |
MapConnNum |
マップをダウンロードする際のクラウドプロバイダへの最大同時接続数。 |
40 |
DeleteConnNum |
削除する際のクラウドプロバイダへの最大同時接続数。この値を大きくすると、特に高遅延ネットワークに役立ちます。 |
100 |
KeepData |
データキャッシュにアップロードされたデータを保持します。UseMem が true の場合、この値は常に false になります。 |
false |
KeepMeta |
アップロードされたメタをメタキャッシュに保持します。UseMem が true の場合、この値は常に false になります。 |
false |
ReadOnly |
LSU は読み取り専用で、この LSU に対する書き込みと削除はできません。 |
false |
MaxFileSizeMB |
bin ファイルの最大サイズ (MB 単位)。 |
64 |
WriteThreadNum |
データをデータコンテナに並列で書き込むためのスレッドの数。これにより、IO のパフォーマンスを向上させることができます。 |
2 |
RebaseThresholdMB |
リベースしきい値 (MB)。コンテナのイメージデータがしきい値より少ない場合、このコンテナ内のすべてのイメージデータは、適切な局所性を実現するために重複排除には使用されません。指定可能な値: 0 から MaxFileSizeMB の半分まで、0 = 無効 |
4 |
AgingCheckContainerIntervalDay |
このクラウド LSU のコンテナをチェックする間隔 (日数)。 メモ: アップグレードされたシステムでは、クラウド LSU の値を変更する場合は、これを手動で追加する必要があります。 |
180 |
contentrouter.cfg ファイルは、<STORAGE>/etc/puredisk/contentrouter.cfg
にあります。
このファイルには次のパラメータがあります。
パラメータ |
詳細 |
デフォルト値 |
---|---|---|
CloudDataCacheSize |
クラウド LSU を追加するときのデフォルトのデータキャッシュサイズ。 十分な空き領域が利用できない場合は、この値を小さくします。 |
500 GiB |
CloudMapCacheSize |
クラウド LSU を追加するときのデフォルトのマップキャッシュサイズ。 十分な空き領域が利用できない場合は、この値を小さくします。 |
5 GiB |
CloudMetaCacheSize |
クラウド LSU を追加するときのデフォルトのメタキャッシュサイズ。 十分な空き領域が利用できない場合は、この値を小さくします。 |
500 GiB |
CloudUploadCacheSize |
クラウド LSU を追加するときのデフォルトのアップロードキャッシュサイズ。 最小値は 12 GiB です。 |
12 GiB |
MaxPredictiveCacheSize |
予測キャッシュの最大サイズを指定します。これは、システムメモリの合計に基づき、スワップ領域は除外されます。 |
20 |
CloudBits |
クラウドキャッシュの最上位エントリの数。この数は (2^CloudBits) です。この値を増やすと、キャッシュのパフォーマンスを向上させることができますが、余分にメモリを消費します。最小値 = 16、最大値 = 48。 |
MaxCloudCacheSize に基づく自動サイズ |
DCSCANDownloadTmpPath |
dcscan を使用してクラウド LSU を調べる際に、データがこのフォルダにダウンロードされます。詳しくは、クラウドサポートセクションの dcscan ツールを参照してください。 |
disabled |
UsableMemoryLimit |
利用可能な最大メモリサイズをパーセントで指定します。 MaxCacheSize + MaxPredictiveCacheSize + MaxSamplingCacheSize + Cloud in-memory upload cache size は UsableMemoryLimit の値以下である必要があります。 |
85% |
MaxSamplingCacheSize |
ここではすべての LSU の最大サンプリングキャッシュサイズをパーセントで指定します。 クラウド LSU の最大サンプリングキャッシュサイズを制限する場合は、 サンプリングキャッシュは、MSDP AKS と MSDP FlexScale クラスタのグローバル重複排除の実装にも使用されます。 |
5% |
ClusterHookEngineCount |
グローバル重複排除は履歴データを使用してサンプリングキャッシュのフックアップ処理を最適化します。履歴データが有効な場合は、ノード間のオーバーヘッドを減らすために、リモート S キャッシュルックアップ要求のみが ClusterHookEngineCount ノードの数に送信されます。この機能を無効にするには、ClusterHookEngineCount を 0 に設定します。 |
3 |
ClusterHookMinHistoryAgeInSecond |
履歴データが有効になる最小経過時間 (秒単位)。最小経過時間より新しいデータは使用されません。 |
604800 |
ClusterHookMaxHistoryAgeInSecond |
履歴データが有効になる最大経過時間 (秒単位)。最大経過時間より古いデータは削除されます。 |
2592000 |
パーティションに、次よりも多い空き領域がない場合、新しいクラウド LSU の追加は失敗します。
CloudDataCacheSize + CloudMapCacheSize + CloudMetaCacheSize + CloudUploadCacheSize + WarningSpaceThreshold * partition size
crcontrol --dsstat 2 --verbosecloud コマンドを使用して、各パーティションの領域を確認します。
メモ:
各クラウド LSU にはキャッシュディレクトリがあります。すべての MSDP ボリュームのディスク容量の使用状況に応じて、選択した MSDP ボリュームにディレクトリが作成されます。クラウド LSU はそのボリュームからキャッシュ用にディスク容量を予約し、ローカル LSU はより多くのディスク領域を使用できません。
各クラウド LSU の初期予約ディスク容量は、<STORAGE>/etc/puredisk/cloud.json
ファイルの UploadCacheGB, DownloadDataCacheGB, DownloadMetaCacheGB, と MapCacheGB の値の合計です。キャッシュを使用すると、ディスク容量が減少します。
crcontrol --dsstat 2 --verbosecloud の出力には Cache オプションがあります。
# crcontrol --dsstat 2 --verbosecloud
=============== Mount point 2 ===============
Path = /msdp/data/dp1/1pdvol
Data storage
Raw Size Used Avail Cache Use%
48.8T 46.8T 861.4G 46.0T 143.5G 2%
Number of containers : 3609
Average container size : 252685915 bytes (240.98MB)
Space allocated for containers : 911943468161 bytes (849.31GB)
Reserved space : 2156777086976 bytes (1.96TB)
Reserved space percentage : 4.0%
Cache オプションは、このボリュームのクラウドによって現在予約されているディスク容量です。ディスク容量は、このボリュームにキャッシュディレクトリがあるすべてのクラウド LSU の予約済み領域の合計です。このボリューム上でローカル LSU に対して実際に利用可能な領域は Avail - Cache です。
spa.cfg ファイルは、<STORAGE>/etc/puredisk/spa.cfg
にあります。
このファイルには次のパラメータがあります。
パラメータ |
詳細 |
デフォルト値 |
---|---|---|
CloudLSUCheckInterval |
クラウド LSU の状態を確認する間隔 (秒単位)。 |
1800 |
EnablePOIDListCache |
POID (パスオブジェクト ID) リストのキャッシュの状態 (有効または無効)。パスオブジェクトには、そのイメージに関連付けられたメタデータが含まれています。 |
true |