Cluster Server 8.0.2 設定およびアップグレードガイド - Linux

アプリケーション間のより高速の相互接続のための LLT での RDMA 機能のサポートについて

LLT および GAB では、InfiniBand およびイーサネットメディア (RoCE) 上で RDMA 技術を使用したアプリケーション間の高速相互接続がサポートされます。 ハードウェアの RDMA 機能を利用し、既存の LLT 機能もサポートするために、LLT では設定済みの RDMA リンクごとに 2 つのチャネル（RDMA と非 RDMA）が維持されます。RDMA および非 RDMA チャネルはノード間のデータ転送が可能で、LLT ではこれらのチャネルを使用するための CFS、CVM などの別の API がクライアントに提供されます。 RDMA チャネルでは、ハードウェアの RDMA 機能の利用によってより高速のデータ転送が提供されます。 RDMA チャネルは、クラアントがこのチャネルを使用できるときは主にデータ転送に使用されます。 非 RDMA チャネルは UDP 層の上に作成され、LLT ではこのチャネルは主にハートビートの送受信に使用されます。非 RDMA チャネルの健全性に基づいて、GAB ではクラスタのクラスタメンバーシップが決定されます。 RDMA チャネルの接続管理は非 RDMA チャネルからは分離されていますが、RDMA チャネルに対する接続操作および切断操作は非 RDMA チャネルの状態に基づいてトリガされます。

非 RDMA チャネルが起動していても、RDMA 層のいくつかの問題が原因で RDMA チャネルがダウンしている場合、非 RDMA チャネル上のデータ転送のパフォーマンスは RDMA チャネルの問題が解決されるまで低くなります。 システムログには、RDMA チャネルの起動時またはダウン時にメッセージが表示されます。

LLT では、オペレーティングシステムによってインストールされた Open Fabrics Enterprise Distribution（OFED）層とドライバがハードウェアとの通信に使用されます。RDMA 上の LLT は、1 つのノード上で動作するアプリケーションが、RDMA が有効なネットワークを介して接続されている別のノードで動作するアプリケーションのメモリに直接アクセスすることを可能にします。それとは対照的に、非 RDMA のネットワークを介して接続されているノードでは、アプリケーションは別のノードで動作するアプリケーションへの直接読み込みまたは直接書き込みを行うことができません。 CFS、CVM などの LLT クライアントは、アプリケーションでの読み込みおよび書き込み操作を完了する前にデータの中間コピーを作成する必要があります。これにより遅延期間が増え、場合によってはパフォーマンスに影響を与えることがあります。

RDMA ネットワーク上の LLT により、アプリケーションでは中間コピーを作成しなくてもネットワーク上の別のノードのアプリケーションに読み込みと書き込みを行うことができます。これにより、遅延が減り、スループットが増え、CPU ホスト使用率が最小化されるため、アプリケーションのパフォーマンスが向上します。 LLT および GAB のクライアントである Cluster Volume Manager と Cluster File System では、RDMA 機能上の LLT を特定の使用例で使うことができます。