Veritas NetBackup for Hadoop 管理者ガイド

複合ジョブ

Hadoop データのバックアップジョブは複合ジョブです。

検出ジョブ

バックアップジョブを実行すると、最初に検出ジョブが作成されます。検出ジョブは NameNode と通信し、バックアップする必要があるブロックの情報と、関連する DataNodes の情報を収集します。検出の最後に、ジョブは作業負荷検出ファイルにデータを入力します。ファイルはその後 NetBackup によってバックアップホスト間で作業負荷を分散させるために使用されます。

子ジョブ

バックアップの場合、ストレージメディアにデータを転送するバックアップホストごとに個別の子ジョブが作成されます。子ジョブは、複数の DataNodes からデータブロックを転送できます。

作業負荷検出ファイル

検出時のバックアップホストが NameNode と通信するときに、作業負荷検出ファイルが作成されます。このファイルには、バックアップするデータブロックと、関連付けられている DataNodes についての情報が含まれています。

作業負荷分散ファイル

検出が完了すると、NetBackup はバックアップホストごとに作業負荷配布ファイルを作成します。これらのファイルには、それぞれのバックアップホストで転送されるデータの情報が含まれます。

並列ストリーム

NetBackup 並列ストリーミングフレームワークにより、複数の DataNodes からのデータブロックを、複数のバックアップホストを同時に使用してバックアップできます。

バックアップホスト

バックアップホストは、プロキシクライアントとして機能します。すべてのバックアップとリストア操作は、バックアップホストで実行されます。

メディアサーバー、クライアント、またはマスターサーバーを、バックアップホストとして構成できます。

バックアップホストは、リストア中に宛先クライアントとしても使用されます。

BigData ポリシー

BigData ポリシーは以下を実行するために導入されました。

アプリケーションサーバー

Namenode は、NetBackup ではアプリケーションサーバーと呼ばれます。

プライマリ NameNode

高可用性シナリオでは、1 つの NameNode を BigData ポリシーと tpconfig コマンドで指定する必要があります。この NameNode はプライマリ NameNode と呼ばれます。

フェールオーバー NameNode

高可用性シナリオでは、hadoop.conf ファイル内で更新されるプライマリ NameNode 以外の NameNode は、フェールオーバー NameNode と呼ばれます。

NameNode

NameNode は、リストア中にソースクライアントとしても使用されます。

DataNode

DataNode は、Hadoop で実際のデータを格納する役割を果たします。

スナップショット対応ディレクトリ (スナップショット可能)

スナップショットは、ディレクトリがスナップショット対応になれば、どのディレクトリでも実行できます。