HPE Swarm Learning インストール
2023/10/25 更新:
Swarm Learning は 現在 v2.1 がリリースされており、
- APLSがコンテナで起動できるようになったり、
- SLM-UI という管理GUIが利用できるようになったり、
しており、以下の手順は、あまり参考にならないので、公式のドキュメントを参照いただくか、 HPE Japanのメンバーへのコンタクトを希望する旨、ご連絡いただければと思います。
前回 に引き続き、Swarm Learning のインストール方法をご紹介します。
この記事に登場する略語(SN や APLS など)の説明は前回の記事をご参照ください。
Swarm Learning のライセンス
Swarm Learning のコミュニティ版ライセンスでは、各コンポーネント 5ノードまで起動することができます。
製品版との機能的な差異は基本的にないようです。 (製品版では、1組のSN群で複数の学習を並列実行できる、くらいかと思います。)
Swarm Learning のコンポーネントは基本的に、 コンポーネント起動時にライセンスを確保し、停止時にライセンスを解放します。
AutoPass License Server セットアップ
Swarm Learningのライセンスを管理するAPLS(AutoPass License Server)をインストールし、 Swarm Learningのライセンスを登録します。
APLS ダウンロード
- MY HPE SOFTWARE CENTER にアクセスします。
- HPE Passport アカウントをお持ちの場合は、資格情報を入力し、サインインします。持っていない場合は、HPE Passport アカウントを作成し、Sign In してください。
- サインイン後、左ペインから
ソフトウェアをクリックします。
検索を探し、検索タイププルダウンからProduct Familyを選択し、Autopassを検索します。
- 検索結果には、利用可能なAutopass製品が一覧表示されます。
- AutoPass License Server 9.10.2 を探し、
アクションのプルダウンからGet Downloadsをクリックします。
ダウンロードをクリックします。
APLS インストール
- ダウンロードしたAPLSのパッケージ
apls-9.10.2.zipを、APLSをインストールするシステムにアップロードします。 - 作業用ディレクトリを作成し、パッケージを解凍します。以下のようなファイルが含まれているかと思います。
UNIXディレクトリに移動し、インストーラーを起動します。
cd UNIX
chmod +x setup.bin
./setup.bin -i silentプロンプトが返ってくればインストールは完了です。自動で APLS が起動します。
- ブラウザを起動し、以下のURLで APLS に接続します。
https://<ip address or Host Name>:5814/autopassTLS証明書の警告が表示される場合は、警告を無視して接続します。
ブラウザのバージョンに関する警告が表示される場合は、OK をクリックします。
- 以下の初期パスワードを入力し、
LOGINをクリックします。
- User Name:
admin - Password:
password
- パスワードの更新を求められるので、任意のパスワードを設定します。
- APLS の冗長性に関する警告が表示されますが、ここでは無視します。
APLSは2台で、Active - Standby の冗長構成を組むこともできます。
- 画面上部の
LICENSE MANAGEMENTをマウスオーバーし、その下に表示されるInstall Licenseをクリックします。
- この画面に表示される Lock Code を控えておきます。
Swarm Learning のライセンス発行の際に必要となります。
Swarm Learning ライセンスダウンロード
- MY HPE SOFTWARE CENTER にアクセスします。
- HPE Passport アカウントをお持ちの場合は、資格情報を入力し、サインインします。持っていない場合は、HPE Passport アカウントを作成し、Sign In してください。
- サインイン後、左ペインから
ソフトウェアをクリックします。
検索を探し、検索タイププルダウンからProduct Familyを選択し、AI Solutions SWを検索します。
- 検索結果には、利用可能なSwarm Learning製品が一覧表示されます。
- HPE Swarm Learning Community edition NFRを探し、
アクションのプルダウンからGet Licenseをクリックします。
- ソフトウェア利用規約を確認し、
次へをクリックします。
- ステップ 3 の
HPE Serial Numberに 先程確認した APLS の Lock Code を入力し、有効化をクリックします。
Licenses Keys及び、ソフトウェアにチェックが入っていることを確認し、画面下部のダウンロードをクリックします。- ライセンス及び、ソフトウェアがダウンロードされます。
ポップアップブロックにより、ダウンロードされないことがありますので、ご注意ください。
Swarm Learning ライセンス登録
- APLSにブラウザでアクセスし、
Install Licenseの画面を開きます。 参照をクリックし、先程ダウンロードしたSwarm Learning のライセンスファイルを選択します。Nextをクリックします
- 表示されるライセンスをすべてチェックし、
Install Licensesをクリックします。
4 License(s) added successfully. と表示されれば、ライセンス登録成功です。
Swarm Learning セットアップ
Swarm Learning を各システムにセットアップします。
Swarm Learning インストール
- ダウンロードした 以下のファイルをSwarm Learningの1システムにアップロードします。
HPE_SWARM_LEARNING_DOCKER_HASH_DIGEST_Q2V41-11035.jsonHPE_SWARM_LEARNING_DOCS_EXAMPLES_SCRIPTS_Q2V41-11033.tar.gzHPE_SWARM_LEARNING_DOCS_EXAMPLES_SCRIPTS_Q2V41-11034.tar.gz.sigHPE_SWARM_LEARNING_INSTALLER_LINUX_Q2V41-11036
- 以下のコマンドでインストーラーを起動します。
./HPE_SWARM_LEARNING_INSTALLER_LINUX_Q2V41-11036 -edition eval- ブラウザ経由でインストーラーにアクセスします。
インストーラーは127.0.0.1 のみでリッスンしているため、環境によってはポートフォワードなどが必要になる可能性があります。
http://localhost:30302
Nextをクリックします。- 前提条件が表示されるので、確認して
Nextをクリックします。 - Dockerレジストリへの認証情報を登録するため、HPE Passport で使用しているメールアドレスを記載し、
Nextをクリックします。
- インストール先のホストと、インストール先ディレクトリの情報を入力します。
インストール先のディレクトリは、予め作成されている必要があることに、ご注意ください。
ファイルの配布と、Dockerコンテナイメージのダウンロードが開始されます。
Swarm Learning はコンテナ (not Kubernetes) で動きます。詳細は、次回の記事でご紹介します。
- Installed Successfully と表示されたら、
Nextをクリックします。
- Next Steps が表示されますが、すでにAPLSはインストール済みなので、
Nextをクリックします。 - Summary が表示されるので、
Finishをクリックします。
- ブラウザを閉じます。
- ターミナルで起動したインストーラーは
Ctrl-Cで終了します。
Swarm Learning ライブラリダウンロード
- Swarm Learningの各システムのOSにログインし、Swarm Learning のパッケージをダウンロードします。
curl -L https://github.com/HewlettPackard/swarm-learning/archive/master.zip \
-o swarm-learning-master.zip- 作業用ディレクトリを作成し、パッケージを解凍します。
unzip swarm-learning-master.zip解凍したファイルを先程インストーラーで指定したディレクトリへ移動します。
mv swarm-learning-master/* /opt/hpe/swarm-learning/libディレクトリ内の、Swarm Learningライブラリ wheel ファイル にシンボリックリンクを作成します。ファイル名に含まれるバージョンは適宜読み替えてください。
cd /opt/hpe/swarm-learning/lib
ln -fs swarmlearning-1.0.1-py3-none-manylinux_2_24_x86_64.whl \
swarmlearning-client-py3-none-manylinux_2_24_x86_64.whl
cd ..
pwd以下のようなフォルダ構成となっているかと思います。
各ディレクトリに含まれているファイルは以下のとおりです。
lib: Swarm Learning のライブラリです。このライブラリには、TensorflowやPyTorchのCallbackなどが入っています。scripts/bin: Swarm Learning の各コンポーネントの起動スクリプトが入っています。examples: Swarm Learning を使用した学習のチュートリアル用の設定ファイルやプログラムが入っています。docs: Swarm Learning の各種マニュアルが入っています。
以上で、Swarm Learning のセットアップが完了です。お疲れ様でした。
次回へ
この記事では、 Swarm Learning のインストール方法をご紹介しました。次回の記事では、Swarm Learning の使い方について ご紹介したいと思います。
その他の Swarm Learning の記事はこちらです。