⼤規模AIクラウド計算システム「ABCI」
初めてのABCI（事前準備）
2020年11⽉11⽇
国⽴研究開発法⼈ 産業技術総合研究所
情報・⼈間⼯学領域
ディジタルアーキテクチャ推進センター
クイックレファレンス
https://abci.ai/ja/how_to_use/data/ABCI_referrence.html
1

⽬

次＜事前準備＞＜ハンズオン＞

1.

1.

ABCI利⽤の概念的理解

2.

計算ノードにおける基本操作(Linux)– ジョブの投⼊ (qsub, qrsh)– クラウドストレージの利⽤

3.

ABCI環境構築

PC (Windows, Mac)へLinux, Python環境を構築(Jupyter Notebook)2.

WindowsPCの場合
WSL (Windows Subsystem for Linux)によるLinux環境構築

3.

初回ログインとパスワード

4.

公開鍵の登録＠利⽤ポータル

5.

インタラクティブノードへのログイン①

Python仮想環境の構築②

モジュールコマンド︓
ABCIにインストール済のソフトウェアを利⽤
例︓python, cuda, cudnn, singularity③インストールコマンド︓
利⽤したいソフトウェアをインストール(ABCI利⽤の⼊⼝)

例︓TensorFlow, Jupyter Notebook④

コンテナイメージの利⽤︓
ソフトウェア環境をそのまま利⽤
例︓digits

4.

ABCI利⽤ポータル

5.

ABCIサービス諸元
2

3

事前準備

PC (Windows, Mac)へLinux, Python環境を構築
Jupyter Notebookを利⽤する

3

Anaconda3をインストール

事前準備• Anacondaは、PythonやJupyter Notebook等のパッケージを提供するプラットフォーム• 下記のリンクからAnaconda3のインストーラをダウンロード
https://repo.continuum.io/archive/＊頻繁にアップグレードされているので、新しいバージョンを選択<MacOS><Windows>
Anaconda3-2020.07-MacOSX-x86_64.pkg
Anaconda3-2020.07-Windows-x86.exe＊64bit版OSの場合はAnaconda3-2020.07-Windows-x86_64.exe•

インストーラを実⾏＊「インストール先」は、「⾃分専⽤(Just Me)」とすること。
＊インストール先のパスは「デフォルト」がお勧め（パスに⽇本語があるとうまく動作しない場合がある）。
＊Windowsでは、「Register Anaconda as my default Python 3.8」にチェックを⼊れるのがお勧め。

4

Anaconda Navigatorを起動してJupyter Notebookをインストール

事前準備• Anaconda Navigatorを起動<MacOS>
Finder -> アプリケーション -> Anaconda-Navigator<Windows>
スタート -> Anaconda3 -> Anaconda Navigator• Jupyter Notebookの「Install」をクリック※「Launch」と表⽰されている場合は次ページ(P.9)へ進む

5

6

Jupyter Notebookを起動

事前準備

Jupyter Notebookの「Launch」をクリック

6

Jupyter Notebook起動時にこのような画⾯が出たら事前準備(2) ⼀度パスワードを登録しておけば、登録したパスワードを⼊⼒(毎回、トークンをコピペする必要なし)(1) ここに、トークンとパスワードを⼊⼒

7

Jupyter Notebookのブラウザが⾃動で⽴ち上がらない場合

事前準備• Jupyter Notebookを起動してもブラウザが⾃動で⽴ち上がらない場合は、ターミナルに出⼒されたURLをブラウザにコピぺする。

• インストールしたanaconda3のJupyter Notebookに再接続(「Logout」ボタンでログアウト
後に「login page」のリンクをクリックした場合等) した場合に、トークンを⼊⼒する画⾯(P.10)が表⽰される場合がある。そのような使⽤を⾏う場合、事前に以下の⼿順でトークンを取得しておく。
1.
2.

P.13の「Jupyter Notebookのターミナルを使う」の⼿順で、ターミナル画⾯を表⽰する。
ターミナルで以下のコマンドを⼊⼒する。

jupyter notebook list3.

以下のような結果が出⼒された場合、token=XX..XX の”XX..XX”の部分がトークンである。

Currently running servers:
http://localhost:8888/?token=XX...XX ::8

Jupyter Notebookのターミナルを使う

事前準備

Jupyter ホーム画⾯
Jupyter ターミナル画⾯

New -> Terminalをクリック

9

Jupyter NotebookのPythonを使う

事前準備

Jupyter ホーム画⾯
Jupyter のPython画⾯

New -> Python3をクリック

10

Jupyter Notebookを終了させる

事前準備• Jupyter Notebookを起動した時に⽴ち上がったターミナルで、「Control-C」を打つ。
• 以下のように聞かれるので、「y」を打つ。
The Jupyter Notebook is running at:
http://localhost:8888/
Shutdown this notebook server (y/[n])?

(Windowsの場合)• Jupyter Notebookの画⾯右上の「Quit」をクリックし、以下のメッセージが表⽰されたらブラウザのタブを閉じる

11

Windows

事前準備

WSL (Windows Subsystem for Linux)によるLinux環境構築• WSLを使えば、 WindowsPCでもターミナルでLinuxコマンドが使えるようになります。
• WSL (Windows Subsystem for Linux)によるLinux環境構築⽅法については、下記のサイト等をご参照ください。
https://qiita.com/tedkuma/items/01e5cfa09347176f4d1a

12

13

事前準備

初回ログインURL、ABCIアカウント、仮パスワードをメール受信したら、、

13

ABCI利⽤ポータルへの初回ログインとパスワード登録

1. 初回ログインURLへアクセス

パスワードは、「仮パスワード」を⼊⼒

14

事前準備

3. パスワード変更

2. 利⽤規定への同意（右）「同意する」をクリック後、「全てを同意して次へ進む」をクリック

14

15
事前準備

初期アクセスURLがタイムアウトになってしまったら、、操作説明

画⾯

利⽤ポータルにアクセス• ABCIアカウント名を⼊⼒• 画像認証の数値をテキストボックに⼊⼒
利⽤ポータルhttps://portal.abci.ai/user/* ２回目からのア
クセス時には、本パスワードを入力

この場合は「657551」を入力

メール通知されたURLにアクセスし利⽤ポータルにログイン• ABCIアカウント名を⼊⼒• 仮パスワードを⼊⼒
xxxxx 様通知メール文例

このメールはABCI利用ポータルよって送信されました。
以下のURLからログインしてください。

接続先URLhttps://portal.abci.ai/user/login.php?action=input_passw
d&login_url=xxxxxxxxxxxxxxxxxxxx※このURLの有効期限は "2019/01/10 12:02" までとなりますのでご注意ください。

期限に注意

仮パスワード(２回目以降は本パスワード)

15

16

事前準備

ABCI利⽤開始前に公開鍵を登録する（必須）

16

17

公開鍵・秘密鍵ペアの⽣成
１） ターミナルを開き、公開鍵・秘密鍵のペアを生成する(ssh-rsaの例)。

事前準備「xxx@yyy.co.jp」は、自分のメルアドと置き換える！

yourpc$ install -m 0700 -d ~/.ssh
yourpc$ cd ~/.ssh
yourpc$ ssh-keygen -t rsa -b 4096 -C ”xxx@yyy.co.jp" -f ~/.ssh/id_rsa
Generating public/private rsa key pair. Enter passphrase (empty for no passphrase): <-- パスフレーズを入力（任意）Enter same passphrase again: <-- もう一度、パスフレーズを入力（任意）Your identification has been saved in id_rsa.
Your public key has been saved in id_rsa.pub.
yourpc$ ls ~/.ssh
id_rsaid_rsa.pub* id_rsa（秘密鍵）・・・ クライアントPCに配置* id_rsa.pub （公開鍵）・・・ ABCIに登録
２） ターミナルから公開鍵を参照する(ssh-rsaの例)。

* 公開鍵は架空のものです。

yourpc$ cat ~/.ssh/id_rsa.pub
ssh-rsaabcdefghijklmnopqrstuvwxz1234567890ABCDEFGHIJKLMNOPQRSTUVWXYZ1234567890abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXabcdefghijklmnopqrstuvwxz1234567890ABCDEFGHIJKLMNOPQRSTUVWXYZ1234567890abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXabcdefghijklmnopqrstuvwxz1234567890ABCDEFGHIJKLMNOPQRSTUVWXYZ1234567890abcdefghijklmnopqrstuvwx
yzABCDEFGHIJKLMNOPQRSTUVWXgxVQ7WEhTBbCel xxx@dhcp012345.a01.yyy.co.jp
yourpc$17

18

公開鍵の登録操作説明

事前準備

ABCI利⽤ポータル

画⾯①登録⽅式は[直接⼊⼒]を選択①②公開鍵をコピペ• [登録]をクリックし公開鍵を登録③[登録]をクリック

公開鍵をコピペ②ssh-rsaabcdefghijklmnopqrstuvwxz1234567890ABCDEFGHIJKLMNOPQRSTUVWXYZ1234567890abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXabcdefghijklmnopqrstu
vwxz1234567890ABCDEFGHIJKLMNOPQRSTUVWXYZ1234567890abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXabcdefghijklmnopqrstuvwxz1234567890ABCD
EFGHIJKLMNOPQRSTUVWXYZ1234567890abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXgxVQ7WEhTBbCel xxx@dhcp012345.a01.xxx.yy.jp③※ 公開鍵は初回設定後も利⽤ポータルで参照、削除、（追加）登録が可能です。
* 公開鍵は架空のものです。

18

19

ABCI利⽤ポータル
操作説明

画⾯

利⽤者ポータル（画像認証）にアクセス• ABCIアカウント名を⼊⼒• 画像認証の数値をテキストボッ
クに⼊⼒
利⽤者ポータルhttps://portal.abci.ai/user/
この場合は「657551」を入力

メール通知されたURLにアクセスし利⽤者ポータルにログイン• ABCIアカウント名を⼊⼒• パスワードを⼊⼒
xxxxx 様通知メール文例

このメールはABCI利用ポータルよって送信されました。
以下のURLからログインしてください。
https://portal.abci.ai/user/login.php?action=input_passwd&login_url=xxxxxxxxxxxxxxxxxxxx

接続先URL

事前準備

ABCI利⽤者の設定・参照︓• パスワード変更• 公開鍵の登録• 公開鍵の参照、削除• ノード予約・キャンセル（利⽤者に係るもの）• ABCIポイント使⽤履歴• ABCIポイント追加履歴
https://docs.abci.ai/portal/ja/02/
ABCI利⽤グループの管理︓（利⽤責任者⼜は利⽤管理者権限が必要）• ABCIポイントの追加申請• グループディスクの追加申請• 利⽤者の追加申請• 利⽤者の編集• 利⽤者の削除• 利⽤管理者権限の設定・削除• 利⽤責任者の変更申請
https://docs.abci.ai/portal/ja/03
クラウドストレージ管理 (New)︓• アカウント管理

期限に注意※このURLの有効期限は "2019/01/10 12:02" までとなりますのでご注意ください。

19

ABCI利⽤ポータルへアクセスし、⾃分が所属する利⽤グループを確認する

事前準備

20

21

事前準備

インタラクティブノードへのログイン
Windowsユーザ(かつWSLを導⼊されていない)の皆様は、インタラクティブノードへのロ
グ イ ン は 、 SSH ク ラ イ ア ン ト ソ フ ト ウ ェ ア (PuTTY, Teraterm 等 ) を 使 ⽤ 願 い ま す 。
具体的な接続⽅法については、ABCI User Guideを参照願います。
Teratermの利⽤ : https://docs.abci.ai/ja/tips/tera-term/
PuTTYの利⽤ : https://docs.abci.ai/ja/tips/putty/＊所属する機関によっては下記のようなセキュリティポリシーを適⽤している場合があります。その際は、所属する機関のIT部⾨からのサポートを得てください。
l SSH接続をプロキシー経由としている
l 秘密鍵を（各⾃のPCではなく）サーバーに置くことになっている
l アクセス制御により、下記のようなポート番号を使⽤禁⽌にしている•

10022, 8888, 6006 … （ABCIで利⽤するポート番号）

21

22

インタラクティブノードへのログイン(ssh)１） ターミナルからアクセスサーバ(as.abci.ai)にログインします。

事前準備「aaa12345xx」は、自分の「ABCI-ID」に置き換える！

yourpc$ ssh -L 10022:es:22 -l aaa12345xx as.abci.ai
The authenticity of host 'as.abci.ai (0.0.0.1)' can't be established.
RSA key fingerprint is XX:XX:XX:XX:XX:XX:XX:XX:XX:XX:XX:XX:XX:XX:XX:XX. → 初回ログイン時のみ表示される。
Are you sure you want to continue connecting (yes/no)? ← yesを入力
Warning: Permanently added ‘XX.XX.XX.XX' (RSA) to the list of known hosts.
Enter passphrase for key '/home/username/.ssh/id_rsa': ← パスフレーズ入力
Welcome to ABCI access server. Please press any key if you disconnect this session.
＊ 秘密鍵ファイルへのパス指定サブコマンド： -i ~/.ssh/秘密鍵ファイル名
Warning
上記状態で何らかのキーを入力するとSSH接続が切断されてしますので注意してください。
２） 別のターミナルで、インタラクティブノード(es)にポートフォーワーディングします。

yourpc$ ssh -p 10022 -l aaa12345xx localhost
The authenticity of host 'localhost (127.0.0.1)' can't be established. RSA key fingerprint is
XX:XX:XX:XX:XX:XX:XX:XX:XX:XX:XX:XX:XX:XX:XX:XX. → 初回ログイン時のみ表示される。
Are you sure you want to continue connecting (yes/no)? yes ← yesを入力
Warning: Permanently added 'localhost' (RSA) to the list of known hosts.
Enter passphrase for key '/home/username/.ssh/id_rsa': ← パスフレーズ入力[username@es1 ~]$Warning
終了処理： 終了する場合は、「exit」コマンドを投入。何も操作がなければ、１時間でセッションは自動的に切断されます。

ssh -L 10022:es:22 -l aaa12345xx as.abci.ai
ssh -p 10022 -l aaa12345xx localhost

localhostのポート番号：remote host：remote hostのポート番号
localhostのポート番号(ssh –Lで使った番号と一致させる)22

23

https://abci.ai/ 23