TSUBAME4.0 FAQTSUBAME Computing Services, Global Scientific Information and Computing Center
2024-09-30

TSUBAME4.0 FAQ

Table of contents
目次

6

一般

6

アカウント

7

TSUBAMEポイント・TSUBAMEポータル

7

ジョブの実行・スケジューラ

7

アプリケーションの実行

8

TSUBAME3.0からの移行

8

Tips（便利な設定など）

8

一般

9

TSUBAME4.0とは何ですか

9

TSUBAMEはどのような目的に利用できますか

9

TSUBAME4.0を利用するための条件を教えてください。

9

TSUBAME4.0利用までの流れについて

9

TSUBAMEを利用した論文での謝辞の記載方法を教えてください

9

ログインノードと計算ノードの相違点

9

1ディレクトリ当たりのファイル数の目安を教えてください10

初心者なのですが、何をすればよいのかわかりません

10

ファイル転送について

11

TSUBAME内外で大容量データのコピーを行いたい

13

TSUBAMEと手元マシン・研究室マシンでデータを同期するには

13

間違って実行してしまったプログラムの停止方法について

13

グループディスク内で他のメンバーが読み書きできるようにするには

14

Module fileの基本構成について

14

資源指定時のCPU/GPUの割り当てについて

14

Linux/Mac/Windows(Cygwin・OpenSSH)でのSSH鍵ペアの作成方法

15

PuTTY・MobaXtermでのSSH鍵ペアの作成方法

16Linuxのよくあるエラーについて17"Disk quota exceeded" というエラーが出力される

19

TSUBAME4.0で作業中にセッションが切れてしまいます19

Windowsで利用できるSSHクライアントについて

19

コンパイラとmpiモジュールの組み合わせについて

20

インタラクティブジョブ中にEmacsでファイルを保存しようとすると画面が固まってしまう

21

TSUBAME4にログインが出来ません (ssh, Permission denied (publickey,hostbased)等)

21

グループディスクへのCIFS接続ができない, WindowsでTSUBAMEのグループディスクが開けない23

グループディスクに関するFAQ

23- 2/60 -2024-09-30

TSUBAME4.0 FAQ

計算ノード用ゲートウェイサーバのIPアドレスについて (TSUBAME外ライセンスサーバへの接続など)

24

ログインノードで「fork: Resource temporarily unavailable」等のエラーが表示されます

24

TSUBAME4.0でDockerは利用できますか？

25

TSUBAME4.0でSingularityは利用できますか？

25

TSUBAME4.0でコンテナは利用できますか？

25

Tsubame4.0でJupyter Labは利用できますか？

25

グループディスクに突然アクセスできなくなりました。

25

TSUBAME4.0のGPUの活用方法を知りたい。

25

マルチスレッド/マルチプロセスに対応したデバッガ/プロファイラを使用したい

25

OpenOnDemand、またはJupyterの起動に失敗する

25

Apptainer 利用時にGLIBC not found エラーが発生する

28

VS Codeを利用したい

28

アカウント

29

グループにユーザ追加する際に、検索をかけても見つからない29

東工大ICカードの有効期限満了後、カードが再発行された際の手続きについて

29
30

TSUBAMEポイント・TSUBAMEポータル
TSUBAMEポータルが表示されません・正常に動作しません

30

グループへの参加手続きで正常に画面が表示されない

30

ポータルシステムからログインノードなどへの情報更新について

30

ポイントについて30

ポータルのステータス：「予算責任者の追認待ち利用停止」について

31

TSUBAMEポイント、グループディスクの使用状況、ホームディレクトリの使用状況の確認方法

31

TSUBAMEポイントの消費・返却のタイミングを教えてください(仮ポイントの清算)

32

自動送付メール内のTSUBAMEポータルへのリンクがうまく機能しません

32

支払コードの申請が却下されたのですが、対応法が分かりません

33

承認済みの支払いコードがグループに登録できません

34

ジョブの実行・スケジューラ

35

ジョブ投入時にエラーになりますが、どのオプションが悪いかわかりません

35

ジョブステータスが「Eqw」となり実行されない。

36

バッチジョブスケジューラに投入したジョブの停止方法について

37

計算ノードの混雑状況を確認したい

38

スクラッチ領域の利用方法

38

計算ノードへのSSHについて

39

依存ジョブの投入方法について

39

複数の計算をバッチジョブ中で一括実行したい39

qsubコマンドを実行する前にログインノード上で計算が始まってしまいます40

qrshコマンドを実行した際のエラーについて40- 3/60 -2024-09-30

TSUBAME4.0 FAQ

結果ファイルのエラーメッセージについて

40

qrshでX転送する方法

41

エラーログに "Warning: Permanently added the ECDSA host key for IP address 'XXX.XXX.XXX.XXX' to the list of known hosts." と出力される 42
qsubコマンド実行時のエラーについて43

バッチジョブスケジューラの仕様について

43

予約実行時のトラブルシュートについて

44

ジョブ投入時に指定したh_rtと実行時間の乖離について

45

ジョブスクリプト・qrshでの command not found エラーについて45

1つのジョブの中で複数のプログラムを別々のCPU/GPUで走らせたい45

アプリケーションの実行

46

商用アプリケーション（Mathematica, Gaussianなど）が動作しません。コマンドが見つかりません。

46

商用アプリケーションを購入しましたが、アプリケーションが利用出来ません。

46

購入済みの商用アプリケーションが突然使用できなくなりました。

46

PyPI上にあるPythonのパッケージを使いたい (Theano等)

47

Xアプリケーション(GUI)が動作しません

47

TSUBAME4.0で提供していないアプリケーションを使用したい

49

TSUBAME4.0で提供していないアプリケーションのインストール方法について

49

配布アプリケーションに問題がある

50

商用アプリケーションの利用イメージについて

50

segmentation faultなど、プログラム実行時のエラー対応について

51

商用アプリケーションで発生したエラーに対する対処方法について

52

python/3.9.18を用いて最新版のnumpy, mpi4py, chainer, tensorflow, cupy等をインストールする方法について

52

商用アプリケーション利用に関するライセンス制限について53

Rで自分のライブラリをインストールして使いたい53

openmpiのmpi4pyでmpi4py.futures.MPIPoolExecutorを実行するとエラーになる53

各ターミナルソフトでのポートフォワードの設定について

54

intel MPIでmpirun ... >& log.txt &とするとファイル出力が途中で止まってしまいます55

Intel® oneAPI Math Kernel Libraryをリンクしたいが、リンクオプションをどうすればよいですか？

56

MobaXtermでVNCを使う方法

56

ABAQUS CAEのモデリングで「X fatal error. ***ABAQUS/ABQcaeG rank 0 terminated by signal 6 」というエラーが発生します56Intel OneAPIでicc,icpcコマンドが使用できません

56

Intel oneAPI利用時にC++17関連のエラーが発生する。

56

VASPのビルド、実行がうまくいかない。

57

TSUBAME4.0上でVASPをビルドした際の手順が知りたい。

57

VASP実行時に UCX ERROR failed to insert region エラーが発生する

58

python の module load が出来ません

58

OpenMPI/Intel MPI実行時に、hcoll 関連のErrorやsegmentation faultが発生する。

58- 4/60 -2024-09-30

TSUBAME4.0 FAQIntel Compilerで -lblas を指定してコンパイルしたバイナリが、実行時に異常終了する

58

TensorFlow実行時にGPUが使用されない

58

TSUBAME3.0からの移行

59

新旧TSUBAME比較

59

Tips（便利な設定など）

60

TSUBAME4.0 既知の問題のワークアラウンド

60- 5/60 -2024-09-30

TSUBAME4.0 FAQ

目次
Warning
大半の項目はTSUBAME3のFAQのコピーとなっており、一部古い記述が残っています。

右上の全文検索を適宜ご利用ください。

一般• TSUBAME4.0とは何ですか• TSUBAMEはどのような目的に利用できますか• TSUBAME4.0を利用するための条件を教えてください。
• TSUBAME4.0利用までの流れについて• TSUBAMEを利用した論文での謝辞の記載方法を教えてください• ログインノードと計算ノードの相違点• 1ディレクトリ当たりのファイル数の目安を教えてください• 初心者なのですが、何をすればよいのかわかりません• ファイル転送について• TSUBAME内外で大容量データのコピーを行いたい• TSUBAMEと手元マシン・研究室マシンでデータを同期するには• 間違って実行してしまったプログラムの停止方法について• グループディスク内で他のメンバーが読み書きできるようにするには• Module fileの基本構成について• 資源指定時のCPU/GPUの割り当てについて• Linux/Mac/Windows(Cygwin・OpenSSH)でのSSH鍵ペアの作成方法• PuTTY・MobaXtermでのSSH鍵ペアの作成方法• Linuxのよくあるエラーについて• "Disk quota exceeded" というエラーが出力される• TSUBAME4.0で作業中にセッションが切れてしまいます• Windowsで利用できるSSHクライアントについて• コンパイラとmpiモジュールの組み合わせについて• インタラクティブジョブ中にEmacsでファイルを保存しようとすると画面が固まってしまう• TSUBAME4にログインが出来ません (ssh, Permission denied (publickey,hostbased)等)• グループディスクへのCIFS接続ができない, WindowsでTSUBAMEのグループディスクが開けない• グループディスクに関するFAQ• 計算ノード用ゲートウェイサーバのIPアドレスについて (TSUBAME外ライセンスサーバへの接続など)• ログインノードで「fork: Resource temporarily unavailable」等のエラーが表示されます• TSUBAME4.0でDockerは利用できますか？
• TSUBAME4.0でSingularityは利用できますか？
• TSUBAME4.0でコンテナは利用できますか？

- 6/60 -2024-09-30

TSUBAME4.0 FAQ• Tsubame4.0でJupyter Labは利用できますか？
• グループディスクに突然アクセスできなくなりました。
• TSUBAME4.0のGPUの活用方法を知りたい。
• マルチスレッド/マルチプロセスに対応したデバッガ/プロファイラを使用したい• OpenOnDemand、またはJupyterの起動に失敗する• Apptainer 利用時にGLIBC not found エラーが発生する• VS Codeを利用したい

アカウント• グループにユーザ追加する際に、検索をかけても見つからない• 東工大ICカードの有効期限満了後、カードが再発行された際の手続きについて

TSUBAMEポイント・TSUBAMEポータル• TSUBAMEポータルが表示されません・正常に動作しません• グループへの参加手続きで正常に画面が表示されない• ポータルシステムからログインノードなどへの情報更新について• ポイントについて• ポータルのステータス：「予算責任者の追認待ち利用停止」について• TSUBAMEポイント、グループディスクの使用状況、ホームディレクトリの使用状況の確認方法• TSUBAMEポイントの消費・返却のタイミングを教えてください(仮ポイントの清算)• 自動送付メール内のTSUBAMEポータルへのリンクがうまく機能しません• 支払コードの申請が却下されたのですが、対応法が分かりません• 承認済みの支払いコードがグループに登録できません

ジョブの実行・スケジューラ• ジョブ投入時にエラーになりますが、どのオプションが悪いかわかりません• ジョブステータスが「Eqw」となり実行されない。
• バッチジョブスケジューラに投入したジョブの停止方法について• 計算ノードの混雑状況を確認したい• スクラッチ領域の利用方法• 計算ノードへのSSHについて• 依存ジョブの投入方法について• 複数の計算をバッチジョブ中で一括実行したい• qsubコマンドを実行する前にログインノード上で計算が始まってしまいます• qrshコマンドを実行した際のエラーについて• 結果ファイルのエラーメッセージについて• qrshでX転送する方法• エラーログに "Warning: Permanently added the ECDSA host key for IP address 'XXX.XXX.XXX.XXX' to the list of known hosts." と出力される• qsubコマンド実行時のエラーについて• バッチジョブスケジューラの仕様について- 7/60 -2024-09-30

TSUBAME4.0 FAQ• 予約実行時のトラブルシュートについて• ジョブ投入時に指定したh_rtと実行時間の乖離について• ジョブスクリプト・qrshでの command not found エラーについて• 1つのジョブの中で複数のプログラムを別々のCPU/GPUで走らせたい

アプリケーションの実行• 商用アプリケーション（Mathematica, Gaussianなど）が動作しません。コマンドが見つかりません。
• 商用アプリケーションを購入しましたが、アプリケーションが利用出来ません。
• 購入済みの商用アプリケーションが突然使用できなくなりました。
• PyPI上にあるPythonのパッケージを使いたい (Theano等)• Xアプリケーション(GUI)が動作しません• TSUBAME4.0で提供していないアプリケーションを使用したい• TSUBAME4.0で提供していないアプリケーションのインストール方法について• 配布アプリケーションに問題がある• 商用アプリケーションの利用イメージについて• segmentation faultなど、プログラム実行時のエラー対応について• 商用アプリケーションで発生したエラーに対する対処方法について• python/3.9.18を用いて最新版のnumpy, mpi4py, chainer, tensorflow, cupy等をインストールする方法について• 商用アプリケーション利用に関するライセンス制限について• Rで自分のライブラリをインストールして使いたい• openmpiのmpi4pyでmpi4py.futures.MPIPoolExecutorを実行するとエラーになる• 各ターミナルソフトでのポートフォワードの設定について• intel MPIでmpirun ... >& log.txt &とするとファイル出力が途中で止まってしまいます• Intel® oneAPI Math Kernel Libraryをリンクしたいが、リンクオプションをどうすればよいですか？
• MobaXtermでVNCを使う方法• ABAQUS CAEのモデリングで「X fatal error. ***ABAQUS/ABQcaeG rank 0 terminated by signal 6 」というエラーが発生します• Intel OneAPIでicc,icpcコマンドが使用できません• Intel oneAPI利用時にC++17関連のエラーが発生する。
• VASPのビルド、実行がうまくいかない。
• TSUBAME4.0上でVASPをビルドした際の手順が知りたい。
• VASP実行時に UCX ERROR failed to insert region エラーが発生する• python の module load が出来ません• OpenMPI/Intel MPI実行時に、hcoll 関連のErrorやsegmentation faultが発生する。
• Intel Compilerで -lblas を指定してコンパイルしたバイナリが、実行時に異常終了する• TensorFlow実行時にGPUが使用されない

TSUBAME3.0からの移行
Tips（便利な設定など）• TSUBAME4.0 既知の問題のワークアラウンド- 8/60 -2024-09-30

TSUBAME4.0 FAQ

一般TSUBAME4.0とは何ですか
TSUBAME4.0は東京工業大学学術国際情報センター(GSIC)が運用管理するスーパーコンピュータです。
TSUBAME4.0 は半精度以上で 952 PFlops の理論演算性能を持ち，従来型 HPC に加えてビッグデータ・ AI など幅広いワークロードを処理する日本最大級のスパコンとなります。

TSUBAMEはどのような目的に利用できますか
TSUBAMEの利用は教育・研究・事務・社会貢献目的に限ります。私的な金銭的利益に直結するような用途に利用することはできません。

TSUBAME4.0を利用するための条件を教えてください。
TSUBAME4.0の利用にはアカウントが必要です。
アカウントの種別は所属や利用する制度によって異なりますので、詳細についてはアカウント取得方法をご参照ください。

TSUBAME4.0利用までの流れについてここでいう「利用」はプログラムの実行のことを指します。
TSUBAME4.0を利用するまでに必要な主な作業は以下の通りです。
ログインだけであれば、2までの作業が完了すればログイン可能です。
利用には5までの作業が必要となります。
利用にあたって、25GiB以上のディレクトリの割り当てが必要な場合は6を行う必要があります。
1. アカウント取得
2. SSH鍵ペアの作成と公開鍵の登録
3. グループの作成(グループ管理者)
4. グループメンバの登録(グループ管理者とグループメンバ)
5. TSUBAMEポイント購入(グループ管理者)
6. グループディスクの設定(グループ管理者)

TSUBAMEを利用した論文での謝辞の記載方法を教えてください
謝辞の記載方法の文例は下記のページをご参照ください。
あくまでも例示ですので、他のスパコンや研究資金等の謝辞記載に合わせて記載を調整いただいても構いません。
TSUBAMEを利用した成果発表への謝辞記載のお願い
また、TSUBAMEの活用状況を把握するため、TSUBAMEポータルから書誌情報などの利用成果報告もお願いいたします。 利用報告の投稿方法は、
下記利用の手引きをご覧ください。
TSUBAMEポータル利用の手引き 利用報告の管理

ログインノードと計算ノードの相違点
ログインノードと計算ノードの相違点は以下のとおりです。

- 9/60 -2024-09-30

TSUBAME4.0 FAQ

ハードウェア
ログインノード

計算ノード

ノード数

2

240

CPU

AMD EPYC 7443 24-Core/2.85GHz x 2

AMD EPYC 9654 96-Core/2.4GHz x 2

メモリ

256GiB

768GiBGPUなし

NVIDIA H100 SXM5 × 4

ローカルストレージなし

1.92TB

ログインノードは、共有サーバであるため、CPUやメモリを過度に占有するプログラムの実行などは行わないようお願いします。
詳細は利用の手引きをご参照ください。

1ディレクトリ当たりのファイル数の目安を教えてください
1ディレクトリあたりのファイル数が多くなると、当該ディレクトリ配下のファイルに対するメタデータ操作(ファイルの作成・削除・オープン)の際に処理時間が増大したり、ファイルシステムがエラーを出すことでファイルを作れなくなるなどの事象が発生します。
プログラムのファイルアクセス性能の面でも不利になりますので、 グループディスクを利用する場合でも、多くとも1ディレクトリ当たり10万ファ
イルを下回るように、ファイルを階層的に配置することをお勧めいたします。
例:• NG: 000000.dat ～ 999999.dat• 1ディレクトリに100万ファイルをフラットに配置すると、ファイルアクセス時の負荷が増大し、性能低下・障害の原因になります。
• OK: 000/000000.dat ～ 000/000999.dat, 001/001000.dat ～ 001/001999.dat, …
• 階層的に配置することで、1ディレクトリ当たりのファイル数を1000程度に抑えることで、ファイルシステム操作のコストを最小化できます。

初心者なのですが、何をすればよいのかわかりません
何に対する初心者なのかによって学習して頂く内容が異なります。
UNIX/Linuxの初心者の方
TSUBAME4の利用に際して、ユーザにはUNIX/Linuxの習熟度を要求しております。
UNIX/Linuxについてある程度のことがわかっている前提で、手引書などは準備されております。
手引書の内容がわからない場合は、付属図書館等でUNIX/Linuxの入門図書を読んでいただき、シェルやコマンド等の使い方を把握して下さい。
一例として以下のような図書が付属図書館にあるようです。 司書の方におすすめを確認頂くのもよいかと思います。
• 入門Unix for OS X. 第5版• 新しいLinuxの教科書• 講習会 - TSUBAME利用法 入門編(Linux基礎) の資料も参考になるかと思います。
「端末」アプリケーションの操作についても様々な出版物があります。
ご利用のアプリケーションに合わせてご確認下さい。
UNIX/Linuxの操作ならびに関連する用語を把握し、利用手引きを一読したあとに以下の項目もご確認下さい。
スパコン利用の初心者の方
UNIX/Linuxを利用したことがあるが、ジョブスケジューラを利用したことがない方などを想定します。
TSUBAME4.0利用の手引きのジョブスケジューリングシステムをご確認下さい。

- 10/60 -2024-09-30

TSUBAME4.0 FAQ

なお、TSUBAME4.0では定期的に利用講習会を実施しております。 講習会をご確認下さい。
また、講習会ページに掲載されている「TSUBAME利用法 入門編(Linux基礎)」「TSUBAME4.0利用者ガイダンス」も参考になるかと思います。
TSUBAME4.0の初心者の方
TSUBAME3.0の既存ユーザの方は、こちらにTSUBAME4.0の違いをまとめてありますので、ご覧下さい。
TSUBAME3.0からTSUBAME4.0への移行
また、講習会ページに掲載されている「TSUBAME4.0利用者ガイダンス」も参考になるかと思います。
コンパイラ初心者の方
UNIX/Linuxを利用したことがあるが、コマンドラインによるコンパイラを利用したことがない方などを想定します。
利用するコンパイラに合わせて、利用手引きのIntelコンパイラ,NVIDIA HPC SDK,AOCCのいずれかをご確認下さい。
また、Intelコンパイラを利用される方は講習会ページに掲載されている「並列プログラミング」も参考になるかと思います。
並列プログラミング(OpenMP,MPI)初心者の方講習会ページに掲載されている「並列プログラミング」が参考になるかと思います。
GPUプログラミングの初心者の方
TSUBAME4.0では定期的に利用講習会を実施しております。 講習会のページをご確認下さい。
また、講習会ページに掲載されている「GPUプログラミング」「GPUプログラミング・ハンズオン」も参考になるかと思います。
商用アプリケーションの初心者の方
TSUBAME4.0では定期的に利用講習会を実施しております。 講習会のページをご確認下さい。

ファイル転送について
TSUBAME4.0ではrsync、scp、sftpによるファイル転送が可能です。ログイン同様、TSUBAMEポータルに登録したSSH公開鍵のペアとなるSSH秘密
鍵を用いてアクセスする必要があります。
また、利用されているアプリケーションによってはタイムアウトになる場合もありますので、 ご利用されているアプリケーションの設定をよくご確認下さい。
• ファイル転送アプリケーションをインストールする場合 (Windows等)• Linux/Mac/Cygwin(Windows)を使用している場合 (rsync, scp, sftpコマンド)• CIFSによるアクセスを行う場合

ファイル転送アプリケーションをインストールする場合 (Windows等)
MobaXtermおよびRLoginを利用している場合、これらのソフトウェアにはファイル転送機能が組み込まれているため、そちらを利用するのが簡便です。
PuTTYなどこれら以外のソフトウェアを接続に利用している場合、FileZilla、WinSCPなどの、sftp, rsyncプロトコルに対応したファイル転送用アプ
リケーションをインストールする必要があります。
この場合でもログイン同様、TSUBAMEポータルに登録したSSH公開鍵のペアとなるSSH秘密鍵を用いてアクセスする必要があります。
Filezilla、WinSCPではPuTTYで普段使用している.ppk 形式の鍵ファイルがそのまま利用可能です。
各ソフトウェアの利用方法の詳細は各ソフトウェアのマニュアルを各自ご確認下さい。
また、Windows 10/11のオプション機能の OpenSSH クライアントを有効にすることで、コマンドプロンプトやPowerShellから次項のscp, sftpコマ
ンドを使用することもできます。

Linux/Mac/Cygwin(Windows)を使用している場合 (rsync, scp, sftpコマンド)
これらの環境では rsync、scp、sftp の各コマンドが利用できます。 以下、それぞれの使い方について説明します。
rsyncの場合- 11/60 -2024-09-30

TSUBAME4.0 FAQ

ローカルからリモートホストに転送する場合は、以下のようなコマンドを実行して下さい。 鍵ペアの格納場所を標準のパス・ファイル名とした場
合には-iオプションは指定不要です。
$ rsync -av --progress -e "ssh -i <秘密鍵ファイル> -l <ログイン名>" <ローカルディレクトリ> <リモートホスト>:<リモートディレクトリ><ローカルディレクトリ>が転送元、<リモートホスト>:<リモートディレクトリ> が転送先です。
<>の部分は状況に適したものを入力してください。例えば、ログイン名がGSCIUSER00のユーザが秘密鍵の ~/.ssh/ecdsa を用いて、カレントディ
レクトリをTSUBAME4の/gs/bs/GSICにコピーする場合のコマンドは以下になります。
$ rsync -av --progress -e "ssh -i ~/.ssh/ecdsa -l GSICUSER00" ./ login.t4.gsic.titech.ac.jp:/gs/bs/GSIC

転送元や転送先の指定の仕方などの使用方法の詳細は以下のコマンドを実行して確認して下さい。
$ man rsync

scpの場合リモートホストからローカルに転送する場合は、以下のようなコマンドを実行して下さい。鍵ペアの格納場所を標準のパス・ファイル名とした場合には-iオプションは指定不要です。
$ scp -i <秘密鍵ファイル> <ログイン名>@<リモートホスト>:<リモートディレクトリ> <ローカルディレクトリ><>の部分は状況に適したものを入力してください。
ログイン名がGSCIUSER00のユーザが秘密鍵の ~/.ssh/ecdsa を用いて、カレントディレクトリにTSUBAME4の/gs/bs/GSICをコピーする場合の例は下記のコマンドとなります。
$ scp -i ~/.ssh/ecdsa GSICUSER00@login.t4.gsic.titech.ac.jp:/gs/bs/GSIC .

オプションの詳細は以下のコマンドを実行して確認して下さい。
$ man scp

sftpの場合
インタラクティブに転送を行う場合は以下のようなコマンドを実行して下さい。鍵ペアの格納場所を標準のパス・ファイル名とした場合には-iオプ
ションは指定不要です。
$ sftp -i <秘密鍵ファイル> <ログイン名>@<リモートホスト><>の部分は状況に適したものを入力してください。
例えば、ログイン名がGSCIUSER00のユーザが秘密鍵の.ssh/ecdsaを用いて、TSUBAME4にアクセスする場合は下記のコマンドとなります。
$ sftp -i ~/.ssh/ecdsa GSICUSER00@login.t4.gsic.titech.ac.jp

オプションの詳細は以下のコマンドを実行して確認して下さい。
$ man sftp

CIFSによるアクセスを行う場合
また、学内端末に限りCIFSによるアクセスが可能です。 CIFSサーバは下記です。
\\gshs.t4.gsic.titech.ac.jp

なお、学内ネットワークでも、途中のルータ等でCIFSが遮断されていることがあり、その場合には使用できません。
詳細は 学内からのCIFSによるアクセス をご覧下さい。

- 12/60 -2024-09-30

TSUBAME4.0 FAQTSUBAME内外で大容量データのコピーを行いたい
TSUBAMEとTSUBAME外の端末間で大容量のデータを転送したい場合以下をご確認ください。

ファイルを適切なサイズに固める
大量の小さなファイルは転送速度の低下を引き起こします。tarコマンドなどで、1GB程度に固めてから転送します。

接続プロトコルを見直す
scp/sftpでパフォーマンスが出ない場合は、rsyncや、CIFS(学内のみ)で接続すると速度が改善するかもしれません。
CIFSでの接続方法については、利用の手引き内、ストレージサービス(CIFS) を参照してください。

ネットワーク経路上のボトルネックを取り除く• リンク速度が1000Mbpsを下回るような古いLANケーブル(CAT-3、CAT-5(5eを除く))、スイッチングハブ、ルータ等があれば高速な物に置き換える。
• ルータ(WiFiルータ,NATルータ,ブロードバンドルータなど)を利用してる場合、端末をルータ外のネットワーク(東工大の場合、131.112又は172.16~31で始まるIPアドレス)に直結する。
学内のネットワークの詳細については研究室のネットワーク管理者、不明な場合はその建物、組織毎の支線管理者にお問い合わせください。

(学内利用者のみ)演習室の教育用計算機システム端末(Windows)を利用する
ネットワーク構成変更が難しい場合、HDDをGSICに持ち込んで演習室の教育用計算機システム端末(Windows)に接続してデータを転送することもできます。ただし、利用時間が決められていますのでご注意ください。
利用時間・利用場所
ハードウェアTSUBAMEと手元マシン・研究室マシンでデータを同期するには
普段は、WinSCPなどのグラフィカルな操作(GUI)が可能なソフトウエアを利用するのが簡単かと思いますが、 大量のデータを一括で同期する場合
は rsync コマンドの利用をご検討ください。
rsync コマンドの利点は差分だけを転送する点が挙げられます。 何らかの理由でファイル転送が中断した場合でも続きから再開できますし、一定期間後に再度実行すれば、内容の変更のあったファイルだけを転送できます。 コピー元から削除されたデータはコピー先でも削除して完全に同期することも可能です。
以下にコマンド例を示します。コマンドが途中で失敗している場合を考慮し、ログを確認したり、複数回実行するのが良いでしょう。
手元の端末のデータをTSUBAMEに同期する。
rsync -auv (コピー元のディレクトリ) (自分のログイン名)@login.t4.gsic.titech.ac.jp:(コピー先のディレクトリのフルパス)

TSUBAMEのデータを手元の端末に同期する。
rsync -auv (自分のログイン名)@login.t4.gsic.titech.ac.jp:(コピー元のディレクトリのフルパス) (コピー先のディレクトリ)

間違って実行してしまったプログラムの停止方法について
ログインノード等のプログラム実行を禁止しているノードで、プログラムを実行してしまった場合は以下の手順でプログラムを停止して下さい。
バッチジョブスケジューラに投入したジョブについてはFAQ「バッチジョブスケジューラに投入したジョブの停止方法について」をご確認下さい。

- 13/60 -2024-09-30

TSUBAME4.0 FAQ

グループディスク内で他のメンバーが読み書きできるようにするにはWarning
本記事はグループディスク(/gs/bs, /bs/fs)に関してのものです、ホームディレクトリで以下のサンプルを実行しないでください。

利用者が自分のファイルのオーナーを変更することはできません。そのためグループパーミッションを変更して読み書きできるように設定してください。ポイントとしては、• 一番上位のディレクトリだけではなく、ディレクトリ以下のすべてのファイル、ディレクトリも権限を変更すること。
• ファイルには読み込み(r)だけでなく書き込み(w)権限を追加すること。書き込み(w)がないと後で消去できません。
• ディレクトリには読み込み(r)だけでなく書き込み(w)と実行(x)も追加すること。実行(x)がないとディレクトリにアクセスできません。
以下にコマンド例を示します。ファイルの元々のパーミッションによってはエラーが出ることがあるため、その場合は出力が変わらなくなるまで再実行してみてください。
/gs/bs/tgX-XXXXXX/以下の自分のディレクトリを探してグループのメンバーが読み書き参照ができるようにする。
find /gs/bs/tgX-XXXXXX/ -type d -user $USER ! -perm -2770 -print0 | xargs -r0 chmod -v ug+rwx,g+s/gs/bs/tgX-XXXXXX/以下の自分のファイルを探してグループのメンバーが読み書きできるようにする。
find /gs/bs/tgX-XXXXXX/ -type f -user $USER ! -perm -660 -print0 | xargs -r0 chmod -v ug+rw/gs/bs/tgX-XXXXXX/以下の自分のファイルを探して所有グループをTSUBAMEグループに合わせる。
find /gs/bs/tgX-XXXXXX/ -user $USER ! -group (TSUBAMEグループ名) -print0 | xargs -r0 chgrp -v (TSUBAMEグループ名)

Module fileの基本構成について
Module fileの基本構成について記載します。
• [アプリケーション名]/[バージョン] となっています。
• module コマンドでバージョンまで指定しなくともデフォルトでloadされる版が設定されています。
複数のバージョンが存在する場合は、デフォルトのバージョンが load されます。
$ module avail cuda--------------------cuda/12.0.0 cuda/12.1.0 cuda/12.3.2$ module list
Currently Loaded Modulefiles:
1) cuda/12.3.2• MPIやアプリケーションなど依存関係があるものについては、自動的に load されます。
$ module load openmpi/5.0.2-intel
Loading openmpi/5.0.2-intel
Loading requirement: intel/2024.0.2 cuda/12.3.2

資源指定時のCPU/GPUの割り当てについて
AGEでは node_f を除き、指定した資源数に応じた仮想的なCPUID/GPUIDを割り当てます。
• CPU の場合

- 14/60 -2024-09-30

TSUBAME4.0 FAQ

CPUを4つのみ確保する資源タイプの cpu_4 とCPUを8つ確保する資源タイプ cpu_8 を例にあげますと、 cpu_4=7 と指定を行った際は、ノードが7つ確保され、各ノードの 4core が割り当てられます。 cpu_8=7 と指定を行った際は、ノードが7つ確保され、各ノードの 8core が割り当てられます。
• GPU の場合
GPUを１つのみ確保する資源タイプの gpu_1 の場合は、gpu_1=4 と指定を行った際はノードが4つ確保され、各ノードのGPUが仮想的にGPU0として割り当てられます。 4つ確保したからといってGPU0,1,2,3ということにはなりません。
GPUを2個確保する資源タイプである node_h ではノード内でGPUが2割り当てられますが、この場合は GPU0,1が割り当てられます。

Linux/Mac/Windows(Cygwin・OpenSSH)でのSSH鍵ペアの作成方法
Warning
SSH秘密鍵が漏洩すると他人にアカウントを不正利用されることとなりますので、パスフレーズを必ず設定し、管理には細心の注意を払ってください。

Info
TSUBAME4.0のログインノードでは鍵長の短い RSA 鍵 (SHA-1) では接続できません。SSH鍵ペアはecdsa鍵またはed25519鍵を推奨いたします。

Linux/Mac/Windows(CygwinもしくはOpenSSH)でのSSH鍵ペア作成方法は以下のとおりです。
鍵の形式の違いについてはman ssh-keygenコマンドで確認してください。
インストールされているopensshのバージョンによって対応/未対応があります。

ecdsa鍵形式$ ssh-keygen -t ecdsa

ed25519鍵形式$ ssh-keygen -t ed25519

上記いずれかのコマンドを実行すると保存場所の指定を聞かれます。 既に同名の鍵ファイルを使用中などの事情がなければ、そのままEnterキーを押してください。 (他のサイト向けに作成したSSH鍵ペアをTSUBAMEで再利用することは問題ありません)
Generating public/private 実行したコマンドの鍵形式 key pair.
Enter file in which to save the key ユーザディレクトリ/.ssh/id_実行したコマンドの鍵形式: (何も入れずに)[Enter]

次にパスフレーズが聞かれますので、入力します。
Enter passphrase (empty for no passphrase): (設定するパスフレーズを入力・画面には表示されません) [Enter]

パスフレーズの確認が入りますので、入力します。
Enter same passphrase again: (上で設定したパスフレーズを再度入力・画面には表示されません) [Enter]

SSH鍵ペアが出力されます。上が秘密鍵、下が公開鍵です。TSUBAMEには公開鍵を登録ください。
our identification has been saved in ユーザディレクトリ/.ssh/id_実行したコマンドの鍵形式
Your public key has been saved in ユーザディレクトリ/.ssh/id_実行したコマンドの鍵形式 .pub.
The key fingerprint is:
SHA256:乱数:ユーザ@ホスト名
The key's randomart image is:(鍵ペアに固有の情報が出力されます)

下記コマンドでファイルを確認します。

- 15/60 -2024-09-30

TSUBAME4.0 FAQ$ ls ~/.ssh/ -l
drwx------

2 ユーザ グループ

512 Oct 6 10:50 .

drwx------ 31 ユーザ グループ 4096 Oct 6 10:41 ..
-rw-------

1 ユーザ グループ

411 Oct 6 10:50 秘密鍵-rw-r--r--

1 ユーザ グループ

97 Oct 6 10:50 公開鍵

パーミッションがあってない場合は以下のコマンドで修正します。
$ chmod 700 ~/.ssh$ chmod 600 ~/.ssh/秘密鍵

PuTTY・MobaXtermでのSSH鍵ペアの作成方法
Warning
SSH秘密鍵が漏洩すると他人にアカウントを不正利用されることとなりますので、パスフレーズを必ず設定し、管理には細心の注意を払ってください。

Info
TSUBAME4.0のログインノードでは鍵長の短い RSA 鍵 (SHA-1) では接続できません。SSH鍵ペアはecdsa鍵またはed25519(EdDSA)鍵を推奨いたします。

PuTTY付属のPuTTYgenを用いてTSUBAME4.0にログインするための鍵ペアを作成する方法について説明します。
MobaXtermのMobaKeyGenも同等の機能・UIを持つため、同様に利用できます。
PuTTYgenを起動すると下記のような画面が出てきます(日本語で表示される場合もあります)- 16/60 -2024-09-30

TSUBAME4.0 FAQ

4. 公開鍵をここからコピー

2. 鍵ペアの作成

3. 秘密鍵の保存
1. 鍵タイプの選択

1. 「Type of key to generate」にて、鍵タイプを選択します
ECDSA形式もしくはEdDSA形式を推奨します。それ以外の形式の場合、TSUBAME4に接続できないことがあります。
2. 「Generate」ボタンを押して、画面の指示に従って鍵ペアを作成します
最下段のParametersを変更することで生成される鍵ペアの設定を変えることができますが、通常は鍵タイプ以外変更する必要はありません。
3. 「Save private key」ボタンを押すことで、この鍵ペアを使用するために必要なファイル(秘密鍵)を保存します
TSUBAME4.0に公開鍵を登録することで、保存した秘密鍵ファイルにアクセスできるすべての人がTSUBAME4.0にログインできるようになりますので、ファイルの管理は十分に注意してください。(USBメモリに入れて持ち歩いたり、メールで送信しないこと)
保存前に「Key passphrase」「Confirm passphrase」にパスフレーズを入力することで、パスフレーズを知らない人が鍵を利用する(TSUBAME4.0を利用する)ことを防ぐことができます。
4. 「Public key for pasting...」の中に表示されている文字列を、TSUBAMEポータルの「SSH公開鍵登録」画面の「公開鍵コード入力」テキストボックスにコピー&ペーストして、「追加」ボタンを押すことで、公開鍵がTSUBAMEに登録されます。
TSUBAME4.0にログインする際には、事前に2.で保存したファイルをPageantで開いておく(インストーラを利用してPuTTYをデフォルト設定でインストールした場合、ファイルの関連付けがされています)か、PuTTYの接続設定で「Connection」-「SSH」-「Auth」の中にある「Private key file forauthentication」で指定しておくことで、作成した鍵ペアを利用してログインすることができます。

WarningParametersのSSH-1(RSA)は絶対に選ばないで下さい。

なお、PuTTYの利用方法についてはご自分でマニュアルをご確認下さい。

Linuxのよくあるエラーについて
ここではLinuxのよくあるエラーについてのFAQを記載しております。記載しているコマンドの詳細な利用方法については各自、manコマンド等で確認してください。

- 17/60 -2024-09-30

TSUBAME4.0 FAQ

No such file or directory必要とされるファイルもしくはディレクトリがありません。
存在しないファイル、ディレクトリ名などを指定する、タイポするなどパス指定を間違った場合等に発生します。
また、アプリケーションによっては改行コードが Windows の CR+LF の場合に発生する場合もあります。
対策
ファイル、ディレクトリ名をよく見直してください。
また改行コードの修正についてはFAQ「ジョブステータスが「Eqw」となり実行されない。」の1をご確認ください。
関連して以下のようなエラーもあります。
error while loading shared libraries: ****.so: cannot open shared object file:

No such file or directory

これはプログラムが必要とするライブラリが無いもしくは読み込めない場合等に発生するエラーです。
対策
プログラムにライブラリパスが通っているかをlddコマンドなどで確認してください。
環境変数LD_LIBRARY_PATHを設定する、コンパイル時にライブラリを指定するなどの対策があります。

command not found
入力したコマンドがありません。
実行したいプログラムの種別ごとに以下の確認を実施してください。
• 商用アプリケーションの場合• アプリケーションの購入手続きが行われていない可能性があります。以下のFAQをご参照ください。
• 商用アプリケーション（Mathematica, Gaussianなど）が動作しません。コマンドが見つかりません。
• 商用アプリケーションを購入しましたが、アプリケーションが利用出来ません。
• moduleコマンドを実行していない可能性があります。必要な module を load してください。
• フリーウェアの場合• moduleコマンドを実行していない可能性があります。必要な module を load してください。
• 自分でインストールしたプログラムなどの場合• 環境変数PATHの設定が正しく行われていない可能性があります。
echo $PATH コマンドで必要なコマンドがあるディレクトリのパスが通っているか確認し、パスが通っていなければ設定してください。
ホームディレクトリ($HOME)直下のhogeディレクトリを既存のPATH環境変数に追加する場合の例$ export PATH=~/hoge:$PATH

Permission denied
実行しようとした操作の権限がありません。
Linuxはファイル・ディレクトリ単位でユーザならびにグループ単位の権限設定がされています。
読み込み、書き込み、実行しようとした対象ファイル、ディレクトリの権限を以下のコマンドで確認してください。
(例はhogeファイルを確認する場合)$ ls -l hoge

対策 システムディレクトリである/appや/libなどにファイルを作成しようとした場合等はユーザディレクトリに作成するようにしてください。
グループディスクなどのユーザディレクトリで発生する場合は権限を確認してください。

- 18/60 -2024-09-30

TSUBAME4.0 FAQ

Disk quota exceeded
FAQ「"Disk quota exceeded" というエラーが出力される」をご確認ください。

Out Of Memory
メモリが不足した場合に発生するエラーです。 対策 * 資源タイプをよりメモリ容量が多いものに変更する。 * mpiなどでノードあたりのメモリ使用
量を分割する。
関連FAQ「結果ファイルのエラーメッセージについて」

エラー関連URL• "Disk quota exceeded" というエラーが出力される• qrshコマンドを実行した際のエラーについて• 結果ファイルのエラーメッセージについて• エラーログに "Warning: Permanently added the ECDSA host key for IP address 'XXX.XXX.XXX.XXX' to the list of known hosts." と出力される• qsubコマンド実行時のエラーについて• segmentation faultなど、プログラム実行時のエラー対応について• 商用アプリケーションで発生したエラーに対する対処方法について"Disk quota exceeded" というエラーが出力される
ホームディレクトリの容量、またはグループディスクの容量が不足していることが原因です。
不要なファイルを削除するか、グループディスクを追加購入して空き領域を確保してください。
アプリケーションによっては一時ファイルの作成場所がホームディレクトリとなっている場合がありますので、ご注意下さい。
Gaussian や COMSOL などの一部の商用アプリケーションは、系によってですが、ホームディレクトリの25GB程度の容量では不足する場合がありますので、グループディスクをご利用下さい。
ホームディレクトリおよびグループディスクの利用状況は以下のFAQで確認下さい。
TSUBAMEポイント、グループディスクの使用状況、ホームディレクトリの使用状況の確認方法

TSUBAME4.0で作業中にセッションが切れてしまいます
TSUBAME4.0ではセキュリティ対策としてセッションタイムアウト設定を行っております。
セッション(接続したターミナル)上での入力がない場合は、セッションを切断します。
GUIアプリケーションを起動して操作していても、ターミナル上の入力がない場合は落ちます。
対策としては、端末側でKeepAliveの設定を行って下さい。
設定方法は利用している端末のマニュアルをご確認下さい。

Windowsで利用できるSSHクライアントについて
Windowsでは以下に挙げるSSHクライアントをTSUBAMEへの接続に用いることができます。
X11サーバおよびその他のLinux機能の必要性にもよりますが、上に書いてあるものほど導入コストが低くおすすめです。

OpenSSH クライアント (Windows 10/11の機能)
Windows 10/11 の [設定]-[アプリ]-[オプション機能の管理] から [OpenSSH クライアント] をインストールできます。
インストール後はコマンドプロンプトからLinuxと同様の ssh, ssh-keygen 等のコマンドが利用可能です。

- 19/60 -2024-09-30

TSUBAME4.0 FAQ

PuTTY
公式サイト
フリーのSSHクライアントソフトウェアです。
X11サーバは含まれていないため、X11アプリケーションを利用する際には別途X11サーバをインストールする必要があります。
SSH鍵の作成方法についてはこちらのFAQ記事をご参照ください。

MobaXterm
公式サイト
SSHクライアントとX11サーバを内包したソフトウェアです。
TSUBAME上のX11アプリケーションのほとんどが問題なく動作するようです。
SSH鍵の作成は、PuTTYと同様ですので、PuTTYのFAQ記事をご参照ください。

Window Subsystem for Linux (WSL)
Windows ストアでLinuxディストリビューション(Ubuntu, OpenSUSE等)をダウンロードすることで、Windows上にLinux環境を構築することができます。
X11サーバおよびその他のLinux環境も同時に構築することとなります。
Linux環境から ssh, ssh-keygen 等のコマンドが利用可能です。
上記の MobaXterm と併用することで、タブごとに別の Linux ディストリビューションを起動することもできます。

Cygwin公式サイト
Windows上でLinux環境を再現するソフトウェアです。
Cygwin環境から ssh, ssh-keygen 等のコマンドが利用可能です。
長らくCygwinを使っていたなどの事情がなければ、TSUBAMEへの接続は他のソフトウェアで行うことを強く推奨いたします。

コンパイラとmpiモジュールの組み合わせについて
GNU、Intel oneAPI、NVDIA HPC SDK と OpenMPI の組み合わせで利用が可能です。
gcc についてはOS提供のものになります。 各コンパイラとOpenMPIの組み合わせの利用可能なバージョンについては以下のコマンドで確認してください。
$ gcc --version$ module avail

1. Intel版 OpenMPI$ module load openmpi/5.0.2-intel
Loading openmpi/5.0.2-intel
Loading requirement: intel/2024.0.2 cuda/12.3.2$ mpicc -v
Intel(R) oneAPI DPC++/C++ Compiler 2024.0.2 (2024.0.2.20231213)
Target: x86_64-unknown-linux-gnu
Thread model: posix
InstalledDir: /apps/t4/rhel9/isv/intel/compiler/2024.0/bin/compiler
Configuration file: /apps/t4/rhel9/isv/intel/compiler/2024.0/bin/compiler/../icx.cfg
Found candidate GCC installation: /usr/lib/gcc/x86_64-redhat-linux/11
Selected GCC installation: /usr/lib/gcc/x86_64-redhat-linux/11
Candidate multilib: .;@m64
Candidate multilib: 32;@m32
Selected multilib: .;@m64
Found CUDA installation: /apps/t4/rhel9/cuda/12.3.2, version

2. GNU版 OpenMPI$ module load openmpi/5.0.2-gcc
Loading openmpi/5.0.2-gcc- 20/60 -2024-09-30

TSUBAME4.0 FAQ

Loading requirement: cuda/12.3.2$ mpicc -v
Using built-in specs.
COLLECT_GCC=/usr/bin/gcc
COLLECT_LTO_WRAPPER=/usr/libexec/gcc/x86_64-redhat-linux/11/lto-wrapper
OFFLOAD_TARGET_NAMES=nvptx-none
OFFLOAD_TARGET_DEFAULT=1
Target: x86_64-redhat-linux
Configured with: ../configure --enable-bootstrap --enable-host-pie --enable-host-bind-now --enable-languages=c,c++,f
ortran,lto --prefix=/usr --mandir=/usr/share/man --infodir=/usr/share/info --with-bugurl=http://bugzilla.redhat.com/
bugzilla --enable-shared --enable-threads=posix --enable-checking=release --with-system-zlib --enable-__cxa_atexit -disable-libunwind-exceptions --enable-gnu-unique-object --enable-linker-build-id --with-gcc-major-version-only --enable-plugin --enable-initfini-array --without-isl --enable-multilib --with-linker-hash-style=gnu --enable-offload-ta
rgets=nvptx-none --without-cuda-driver --enable-gnu-indirect-function --enable-cet --with-tune=generic --with-arch_6
4=x86-64-v2 --with-arch_32=x86-64 --build=x86_64-redhat-linux --with-build-config=bootstrap-lto --enable-link-serial
ization=1
Thread model: posix
Supported LTO compression algorithms: zlib zstd
gcc version 11.4.1 20230605 (Red Hat 11.4.1-2) (GCC)

3. NVIDIA HPC SDK版 OpenMPI$ module load openmpi/5.0.2-nvhpc
Loading openmpi/5.0.2-nvhpc
Loading requirement: nvhpc/24.1$ mpicc -v
Export NVCOMPILER=/apps/t4/rhel9/isv/nvidia/hpc_sdk/Linux_x86_64/24.1
Export PGI=/apps/t4/rhel9/isv/nvidia/hpc_sdk
nvc-Warning-No files to process

インタラクティブジョブ中にEmacsでファイルを保存しようとすると画面が固まってしまう
既定の端末設定では特定の入力文字によるフロー制御が有効になっていることが原因です。
フロー制御とは、データ転送において受信パケット速度よりも送信速度が上回る場合などに、受信側のオーバーフローを防ぐために転送を一時保留にする機能です。一般的には、転送の保留には Ctrl+S 、再開には Ctrl+Q が制御文字として使用されます。
インタラクティブ実行中にEmacsで編集し上書き保存する場合にCtrl+Sを入力しなければなりませんが、これはフロー制御文字でもあるためパケットが転送されなくなり、あたかもフリーズしてしまったかのような状態となります。元に戻すには、Ctrl+Q を入力してください。
フロー制御を無効にするにはインタラクティブジョブ実行前に以下のコマンドを実行する必要があります。
$ stty -ixon

フロー制御を常に無効にしたい場合は、ホームディレクトリの .bashrc に上記コマンドを追記してください。

TSUBAME4にログインが出来ません (ssh, Permission denied (publickey,hostbased)等)
問い合わせの前に下記の点を御確認ください。
1. アカウントが正しいかどうか
TSUBAME4.0のアカウントであるかをご確認ください。
• TSUBAME4.0アカウントはTSUBAME3アカウントとは異なります。TSUBAME3のアカウントを利用したお問合わせが増えております。
• TSUBAME4.0アカウントは学籍番号や教職員番号とは異なります。
• TSUBAME4.0アカウントはありますか？ アカウントの取得についてはアカウント取得方法を参照ください。
2. 鍵ペアが正しいかどうか
TSUBAMEポータルに登録した公開鍵が OpenSSH 形式であるかをご確認ください。
PuTTY形式の公開鍵を登録してもTSUBAMEにはアクセスできません。
鍵ペアの作成については下記を参照ください。
• Linux/Mac/Windows(Cygwin・OpenSSH)でのSSH鍵ペアの作成方法• PuTTY・MobaXtermでのSSH鍵ペアの作成方法
公開鍵の登録については下記を参照ください。

- 21/60 -2024-09-30

TSUBAME4.0 FAQ

SSH公開鍵の登録

Info
TSUBAME4.0のログインノードでは鍵長の短い RSA 鍵 (SHA-1) では接続できません。SSH鍵ペアはecdsa鍵またはed25519鍵を推奨いたします。

3. コマンドが正しいかどうかLinux/Mac/Windows(Cygwin/WSL)
SSHコマンドのオプション等で指定しているログイン名や秘密鍵のパス(※)が正しいかをご確認ください。
$ ssh TSUBAME4.0アカウント名@login.t4.gsic.titech.ac.jp -i 秘密鍵例) ログイン名がgsic_user、秘密鍵がホームディレクトリの .ssh/t4-key の場合$ ssh gsic_user@login.t4.gsic.titech.ac.jp -i ~/.ssh/t4-key

Tips
秘密鍵がホームディレクトリ内 .ssh/id_dsa, .ssh/id_ecdsa, .ssh/id_ed25519 のいずれかの場合 (ssh-keygenで保存場所をデフォルトから変更しなかった場合)、「-i 秘密鍵」を指定する必要がありません

Info
TSUBAME4.0のログインノードでは鍵長の短い RSA 鍵 (SHA-1) では接続できません。SSH鍵ペアはecdsa鍵またはed25519鍵を推奨いたします。

SSHのオプションについては下記のコマンドで確認してください。
$ man ssh4. 端末環境を変えても再現するか
Windowsの場合はフリーの端末ソフトウェアがあります。別の端末ソフトウェアでも再現するかどうかをご確認ください。再現しない場合はソフト
ウェア固有の問題である可能性があります。その場合はお問合わせ頂いてもご対応できませんので、ご了承ください。
5. アクセス元を変えても再現するか
アクセス元のネットワークが問題で接続できないことがあります。アクセス経路が複数ある場合は、アクセス元を変更して再現するかご確認下さい。
• 学内/学外• 研究室/他の研究室• 自宅/公衆WiFi
ネットワークを変更して接続できる場合は、ルータ、Firewall などの設定の問題が考えられます。設定については各管理者にご確認下さい。
また、Windowsの場合はセキュリティソフトが通信をブロックしていることもあります。一時的にセキュリティソフトをオフにして接続できるかご
確認下さい。回避方法は、各セキュリティソフトのマニュアルをご確認下さい。
お問い合わせの際は下記をご連絡ください• 利用OS(例 Windows10,Debian12,macOS 14.4.1)• 利用端末ソフトウェア(windowsのみ、例 Cygwin,PuTTY,Rlogin)• 利用端末バージョン- 22/60 -2024-09-30

TSUBAME4.0 FAQ

Windowsの場合は端末ソフトウェアのバージョン、例

2.9.0-3,0.70,2.22.7

バージョンの調べ方はご利用の端末のマニュアルをご確認ください。
Linux/Macの場合はSSHのバージョンをお送りください。下記のコマンドで確認できます。
$ ssh -V

• 今まで試した内容について、また、エラーが出る場合はエラーの内容をお送りください。
Linux/Macの場合は-vオプションを利用し、コマンドラインを含めた詳細なログも出力ください。
例)アカウント名がgsic_user、秘密鍵が~/.ssh/t3-keyの場合の例$ ssh gsic_user@login.t4.gsic.titech.ac.jp -i ~/.ssh/t4-key -v

グループディスクへのCIFS接続ができない, WindowsでTSUBAMEのグループディスクが開けな
いInfo
CIFSでのTSUBAMEグループディスクへのアクセスは学内のみです。学外からはアクセスできません。

CIFSサーバまでのネットワーク疎通をご確認下さい。
DOSプロンプト等でPINGをご確認ください。
C:\> ping gshs.t4.gsic.titech.ac.jp

Windows からグループディスクへアクセスするには、TSUBAMEパスワードの設定が必要です。TSUBAMEポータルから設定を行ってください。設定方法はこちらをご覧下さい。
また、• 「パスワードが違います。」• 「パスワードの有効期限が切れています。」と表示された場合も、同様にTSUBAMEパスワードを再設定してください。

グループディスクに関するFAQ
グループディスクとは利用の手引きに書かれている高速ストレージ領域 (SSD) と大容量ストレージ領域 (HDD) のことで、TSUBAMEグループ毎にTSUBAMEポータルで設定された容量を利用できる共有ストレージです。
利用期間：購入日を含む月から1ヶ月単位、最長年度末(3月末)まで
購入単位あたりのポイント、iノード
種別

購入単位

ポイント

iノード

大容量ストレージ領域 (HDD)

1TB

0.5

2,000,000

高速ストレージ領域 (SSD)

100GB

0.2

200,000

設定方法：TSUBAMEポータルから設定可能です
TSUBAMEポータル利用の手引き 10. グループディスクの管理- 23/60 -2024-09-30

TSUBAME4.0 FAQ

グループディスクの猶予期間とは
グループディスクは年度末に一度リセットされ、すべてのグループディスクは読み込み/削除のみ可能な猶予状態となります。この期間のことを猶予期間といい、通常は4月中旬頃まで維持されます。
参考：グループディスクの有効期間について
前年度のデータが残っている場合に、猶予期間後に購入する場合は以下のようになります。
例えば前年度50TB購入し、45TBの容量を使用していた場合を例とします。
1) 猶予期間中に45TBを削除し、使用容量が0の場合最小容量である1TBから購入可能
2) 猶予期間中に25TBを削除し、購入時の使用容量が20TBの場合
20TB以上から購入可能
3) 猶予期間中に使用容量を削除しなかった場合(購入時の使用容量が45TB)
45TB以上から購入可能
前年度データが不要な場合は猶予期間中の削除をお願いいたします。

関連FAQ• TSUBAMEポイント、グループディスクの使用状況、ホームディレクトリの使用状況の確認方法• グループディスクへのCIFS接続ができない• "Disk quota exceeded" というエラーが出力される• グループディスクに突然アクセスできなくなりました。

計算ノード用ゲートウェイサーバのIPアドレスについて (TSUBAME外ライセンスサーバへの接続など)
計算ノード用ゲートウェイサーバのIPアドレス範囲は以下の通りとなっております。
131.112.133.241, 131.112.133.242

学内・学外のライセンスサーバを利用してTSUBAME上で計算を行う場合は上記範囲の通信を許可するように設定ください。
なお、上記アドレスは運用の都合により予告なく変更される可能性がありますのでご注意ください。
TSUBAME外(研究室など)のライセンスサーバ等への疎通を必要とするソフトウェアが動作しない場合は、お問い合わせの前にTSUBAME外かつライ
センスサーバ外のネットワークから、当該ライセンスサーバと通信ができることを確認してから、以下の情報を添えてご連絡ください。
• ライセンスサーバのグローバルIPアドレス• ライセンスサーバのポート番号 (複数ある場合は全て)• 疎通試験を行ったホストのIPアドレス

ログインノードで「fork: Resource temporarily unavailable」等のエラーが表示されます
ログインノードでは1ユーザ当たり50プロセスの制限をかけております。
その為、その制限を超えたプロセスを生成した場合このようなエラーが表示されます。
詳細につきましては、ログインノードでCPUを占有する利用は行わないでくださいをご参照下さい。

- 24/60 -2024-09-30

TSUBAME4.0 FAQTSUBAME4.0でDockerは利用できますか？
TSUBAME4.0でSingularityは利用できますか？
TSUBAME4.0でコンテナは利用できますか？
TSUBAME4.0ではDockerは利用できません。スパコン向けコンテナ管理ソフトウェアのApptainer(旧:Singularity)が利用可能です。
詳細についてはコンテナの利用をご参照ください。

Tsubame4.0でJupyter Labは利用できますか？
利用可能です。詳細についてはOpen OnDemand 利用の手引きをご参照ください。

グループディスクに突然アクセスできなくなりました。
グループディスクはひと月ごとに確保するため、月を跨いだタイミングでグループディスクの使用量が確保したサイズを超過する場合があります。
この状態が続いた場合、特定のタイミングで対象グループディスクへの一切のアクセスが禁止されます。
- グループディスクの利用状況を確認したい場合、グループディスクの利用状況確認を参照してください。
- グループディスクの使用量超過時の対応については、グループディスクの使用量超過時の対応を参照してください。
また、グループディスクに関するFAQについても併せてご確認ください。

TSUBAME4.0のGPUの活用方法を知りたい。
講習会のページで公開されている、以下の資料が参考になるかと思います。
- TSUBAME4のGPUを最大限活用する方法

マルチスレッド/マルチプロセスに対応したデバッガ/プロファイラを使用したい
Linaro Forge(旧:Arm forge)が使用できます。利用方法については講習会ページに掲載されている「並列プログラミング」をご参照ください。

OpenOnDemand、またはJupyterの起動に失敗する
OpenOnDemand(TSUBAME Desktop)またはJupyter使用時に以下の現象が発生する場合、設定ファイルが破損している可能性があります。
- 起動しない - 起動後、異常終了する
それぞれ、以下のディレクトリを削除してください。
アプリケーションディレクトリパス

OpenOnDemand(TSUBAME Desktop)~/ondemand

Jupyter~/.jupyterInfo
これらのディレクトリは利用時に自動生成されます。通常、削除による影響はありません。
同ディレクトリ内のファイルを編集し問題が発生した場合、お問い合わせの対象外となります。

- 25/60 -2024-09-30

TSUBAME4.0 FAQ

OpenOnDemand 上でディレクトリを削除する場合の手順は以下の通りです。

- 26/60 -2024-09-30

TSUBAME4.0 FAQ

1. OpenOnDemandにログインします。手順についてはOpen OnDemandのログインを参照してください。
2. Files - Home Directory をクリックします。

3. Show Dotfiles にチェックを付けます。

4. 削除するディレクトリを選択します。
4-1. Jupyter の場合.jupyter ディレクトリ横の ⋮ をクリックし、Delete をクリックします。( 先頭が . で始まるディレクトリです)

4-2. OpenOnDemand(TSUBAME Desktop)の場合- 27/60 -2024-09-30

TSUBAME4.0 FAQ

ondemand ディレクトリ横の ⋮ をクリックし、Delete をクリックします。

5. 確認ダイアログが出ますので、削除対象のディレクトリであることを確認してOKをクリックします。

Apptainer 利用時にGLIBC not found エラーが発生する
Apptainer でフェイクルート機能(--fakeroot)を使用する場合、ホストとコンテナの間でlibcのバージョンを一致させる必要があります。
一致しない場合、以下のようなエラーが出力される場合があります。
/.singularity.d/libs/faked: /lib/x86_64-linux-gnu/libc.so.6: version`GLIBC_2.33' not found (required by /.singularity.d/libs/faked)/.singularity.d/libs/faked: /lib/x86_64-linux-gnu/libc.so.6: version`GLIBC_2.34' not found (required by /.singularity.d/libs/faked)
fakeroot: error while starting the `faked' daemon.
/.singularity.d/libs/fakeroot: 1: kill: Usage: kill [-s sigspec | -signum |-sigspec] [pid | job]... orkill -l [exitstatus]

詳細については、fakeroot利用時の注意事項について を参照してください。

VS Codeを利用したい
VS Codeを使用したログインノードへのアクセスについては、ログインノードに大きな負荷がかかるため禁止されています。
ログインノードにおけるプログラムの実行制限
TSUBAME4.0では、code server(VS codeのクローン)を使用したOpen OnDemand経由による計算ノードへの接続が可能です。
code server の利用をご検討ください。利用方法についてはOpen OnDemandの利用の手引きをご参照ください。

- 28/60 -2024-09-30

TSUBAME4.0 FAQ

アカウント
グループにユーザ追加する際に、検索をかけても見つからない
ポータルのユーザ追加画面で目的のユーザが検索できない場合は次のような原因が考えられます

TSUBAMEのアカウント申請が完了していない
TSUBAMEアカウントは入学に伴い自動的に作られるものではなく、各ユーザが東工大ポータル経由でアカウントを申請する必要があります。アカ
ウント申請が完了するまではグループ管理者によるアカウント検索に出てきません。
また、当該利用希望者がアクセスカード所持者の場合、TSUBAMEポータルからのアカウント申請は東工大職員・学生と同等の課金優遇を行う身分を持っている場合のみとなります。また、機械的に認可されるわけではなく、身分を証明する書類の送付が必要となりますので、当該ページの説明を参考に手続きを完了させてください。
アカウント申請方法の詳細は、アカウント取得方法をご参照ください。

ユーザの属性とTSUBAMEグループの属性が一致していない
TSUBAMEグループの作成時に、グループ区分としてどのようなユーザが所属できるかを設定し、その条件に外れたユーザの追加は行えません。例
えば「東工大に在籍する教職員、学生等のみのグループ」には学外ユーザを追加できません。このような場合、「このユーザには参加資格がありません。」と表示されます。グループの区分は事後的に変更することはできませんので、当該ユーザを加入させることができる適切な属性のグループを作成してください。
なお、HPCIによる利用者が新たに競争的資金による東工大との共同研究を開始した場合など、既存アカウントに新たな資格が発生した場合には、その資格に基づくアカウント申請時に既存のアカウント名を付記することで、当該のグループに所属することができるようになります。

東工大ICカードの有効期限満了後、カードが再発行された際の手続きについて
東工大ICカードの有効期限満了に伴いカードが再発行された場合、東工大ポータルにログイン後、「各種情報サービス」-「TSUBAME4 ポータル」
からTSUBAMEポータルページにログインすることでアカウントが有効化されます。
アカウント有効化後はTSUBAMEポータルページに直接ログイン可能です。

- 29/60 -2024-09-30

TSUBAME4.0 FAQTSUBAMEポイント・TSUBAMEポータル
TSUBAMEポータルが表示されません・正常に動作しません• JavaScript が無効になっている場合には、有効にして再度お試しください。
• お手元のブラウザで動作しない場合には、Edge や Chrome, Firefox, Safari などの別のブラウザを用いてご利用ください。

グループへの参加手続きで正常に画面が表示されない
グループ代表者よりアカウントの招待を受け，「TSUBAME4.0TSUBAMEグループ利用者招待」のメールを受け取りURLをクリックしたがログイン
画面が表示されてしまい，グループに参加することができない現象に関する対応方法です。
• そのままログインしていただき、ログインした状態のブラウザを開いたまま、再度リンクをクリックしてください。
• メーラによって、末尾の「=」がリンクに含まれない場合があります。その場合は、「=」を含めてブラウザにコピーペーストしてください。
• 招待URLの期限は1週間となっております。期限が切れた場合は、再度招待の操作を行ってください。

ポータルシステムからログインノードなどへの情報更新について
ポータルシステムからユーザ、グループ追加後、ログインノードなどに情報が反映されるまでに 最大で5分かかる場合がございます。ログインノー
ドなどから情報更新されない場合には、5分程度、待ってから操作いただけますようお願いします。

ポイントについてここで言うポイントはTSUBAME4.0上で利用されるポイントのことを指します。
ポイントはTSUBAME4.0にジョブを投入した際やグループディスクを購入した際に消費されます。
ポイントの確認、消費量について簡単に説明します。
詳細はTSUBAMEポータル利用の手引きをご確認下さい。
1. ポイントの確認方法について
ポイントはTSUBAME4.0ポータルおよびコマンドから確認ができます。
ポータルの場合は以下を確認できます。
• バッチジョブスケジューラに投入したジョブごとの消費ポイント数• グループディスク購入で消費したポイント
コマンドの場合はFAQ TSUBAMEポイント、グループディスクの使用状況、ホームディレクトリの使用状況の確認方法をご確認ください。
2. ポイントの消費量について
ポイントは東京工業大学学術国際情報センター計算機システム利用細則第13条に基づいて消費されます。
実際に消費されるポイントはユーザや利用方法によって異なります。
詳細は東京工業大学学術国際情報センタークラウド型ビッグデータグリーンスーパーコンピュータ利用料の課金等に関する取扱いを確認して下さい。
3. ポイントの購入
ポイントはTSUBAME4.0ポータルから購入ができます。
詳細はTSUBAMEポータル利用の手引きをご確認下さい。
4. ポイントの有効期限について- 30/60 -2024-09-30

TSUBAME4.0 FAQ

年度内に購入したポイントはその年度末で失効いたします。詳しくは下記を参照して下さい。
• ポイントの購入可能期間・有効期間について• 課金等に関する取扱い「第6条

ポイントは，購入した年度に限り有効とする」

ポータルのステータス：「予算責任者の追認待ち利用停止」について「予算責任者の追認待ち」は予算責任者が持つ予算を、申請者が利用することを承認する処理待ちとなります。
ポータルの支払いコード申請にてステータスが「予算責任者の追認待ち」となり、手続きが止まっている場合はポータルで登録した「予算責任者」
様にご確認下さい。

TSUBAMEポイント、グループディスクの使用状況、ホームディレクトリの使用状況の確認方法
TSUBAMEポイント、グループディスクの使用状況、ホームディレクトリの使用状況を確認するコマンドが準備されました。
準備されたコマンドは t4-user-info 、ログインノード(login1,login2)でのみ実行できます。(計算ノードでは実行できません)
それぞれの確認には以下、例に示すコマンドオプションが必要となります。
GSICUSER@login1:~> t4-user-info
usage: t3-user-info [command] [sub command] [option][command] [sub_command] [option]
group
point
: Output the points of the Tsubame Group.
: Without option : show all belonging groups.
[-g] <group name> : extract the specified group.
disk
group
: Output the purchase amount and use amount of Tsubame Group disk.
: Without option : show all belonging groups.
[-g] <group name> : extract the specified group.
home: Output the use limit and used of the home disk.

グループのポイントを確認する場合のコマンド例
以下の例は、グループ「GSIC_GROUP」、「GSIC」に参加している「GSICUSER」ユーザがコマンドを実行した場合となります。
実際にコマンドを実行する際は「ご自分のユーザ名」、「参加されているグループ名」を使用してください。
1. 参加しているグループすべての状況を確認する場合参加しているグループの「GSIC_GROUP」、「GSIC」のTSUBAMEポイントがそれぞれ17218631、95680000、仮ポイントがそれぞれ0、124000である状況が確認できます。
2. 指定グループの状況を確認する場合指定したGSIC_GROUPグループのTSUBAMEポイントが17218631、仮ポイントが124000である状況が確認できます。
GSICUSER@login1:~> t4-user-info group point -g GSIC_GROUP
gid
group_namedepositbalance-------------------------------------------------------------2007
tga-hpe_group00
12400017218631

グループディスクの使用状況を確認する場合指定したGSIC_GROUPグループでは、/gs/bsのみ購入し、100TBのクォータ制限のうち、約60TB利用し、inode制限については、2億のクォータ制
限のうち、750万利用している状況が確認できます。
GSICUSER@login1:~> t4-user-info disk group -g GSIC_GROUP/gs/fs/gs/bsgid group_namesize(TB) quota(TB)
file(M) quota(M) size(TB) quota(TB)
file(M) quota(M)--------------------------------------------------------------------------------------------------------------0007 GSIC_GROUP
0.00
0
0.00
0
59.78
100
7.50
200

ホームディレクトリの使用状況を確認する場合- 31/60 -2024-09-30

TSUBAME4.0 FAQ

GSICUSER@login1:~> t4-user-info disk home
uid nameb_size(GB) b_quota(GB)i_filesi_quota--------------------------------------------------------------0177 GSICUSER
7251014462000000

TSUBAMEポイントの消費・返却のタイミングを教えてください(仮ポイントの清算)
TSUBAME4.0ではジョブの投入時に必要と見込まれるTSUBAMEポイントを「仮ポイント」として徴収し、ジョブの終了後に実際の消費ポイントを清算します。
TSUBAMEポイントの消費・返却タイミングは以下の通りとなります。
ただし、大量のジョブが一度に削除された場合や障害が発生した場合など、特定の負荷条件下では遅延が発生することがあります。
1. ジョブの投入時・qrshコマンド実行時
ジョブが消費しうる最大のTSUBAMEポイントを仮ポイントとして徴収します。
2. ジョブの終了時
以下の3通りで仮ポイントの清算タイミングが異なります
a. ジョブが通常通り終了したとき・ジョブの実行開始後にqdelコマンドでキャンセルしたときジョブが実際に使用した時間に基づき、消費ポイントを再計算し、差額を即時返却します。
b. ジョブの実行開始前にqdelコマンドでキャンセルしたとき、qrshコマンドの開始が失敗したとき
仮ポイントは自動的に返却されます。
c. システム異常によりスケジューラもしくはシステム管理者によるジョブ削除が行われたとき
基本的には a. と同様ジョブが削除された時刻に基づき清算されます。
明らかにシステム事由のキャンセルである場合、お問い合わせいただいたものについては無駄になったTSUBAMEポイントを補償いたします。
TSUBAMEポイントに関するお問い合わせの際には、以下の事項を記載して問い合わせフォームよりご連絡ください。
• ジョブを投入したTSUBAMEグループ• ジョブを投入したユーザ• ジョブID
参考：qrshコマンドを実行した際のエラーについて

自動送付メール内のTSUBAMEポータルへのリンクがうまく機能しません
例えばTSUBAMEグループへの招待メールにおける承認ページへのリンクなど、TSUBAMEポータルによって自動生成されたリンクが利用者のブラウザ、メーラ環境などにより、正しく機能しない場合があります。具体的には、• TSUBAMEポータルのログインページが表示されて正しいページに遷移しない。
• 「参照したURLは表示期限が切れました」などと表示される。
このような症状が見られた場合、東工大ポータルからTSUBAMEポータルに移動しログインした状態のウインドウのアドレスバーに対して、メールで送られてきたアドレスを改行が含まれていないかや末尾が途切れていないかを確認しつつ、コピー＆ペーストしてEnterキーを押してみてください。

- 32/60 -2024-09-30

TSUBAME4.0 FAQ

それでも正しく機能していないと思われる場合はお手数ですがお問い合わせフォームに下記をご連絡ください。
• あなたのTSUBAMEアカウントのログイン名• 送られてきたメールの送付日時• 最初にリンクをクリックしたおおよその日時• その他関連するTSUBAMEグループ情報など

支払コードの申請が却下されたのですが、対応法が分かりません
TSUBAMEポータル上で支払コードを申請した際に、内容に不備がある場合、TSUBAMEポータルより、申請却下のお知らせをお送りしています。
「システム管理者からのコメント」として、却下した理由をお知らせしていますので、内容をご確認のうえ、必要に応じて修正して再申請してください。
以下に典型的な却下理由と再申請の際に確認いただきたい事項を例示します。
1. 該当する予算の存在を確認できませんでした
支払コード申請に記入された予算コードおよび予算名称の組の実在性を担当者が財務会計システム上で確認しましたが、誤記の可能性を含めて該当する予算を見つけることが出来なかった場合に上記のメッセージをお送りしています。
予算が外部資金や科研費等の場合、今年度分の予算コードが物品等請求システム上で既に作成されているかをご確認ください。また、予算コード・
予算名称・予算部局・予算区分・予算責任者の記載に誤りがあると、当方で検索できなくなりますので、正しく記載してください。
特に、予算コード(32桁)および予算名称は、2020年度からの財務会計システムでは桁数が多く、転記の際に一部が欠落している申請がありますので、以下の手順で取得されることを強くお勧めいたします。
• 新物品等請求システムにログイン• 予算管理 を選択• 予算執行状況確認 を選択• CSV作成 を選択• 出力されたCSVファイルの「予算コード」(32桁)および「予算名称」を転記
2. 予算コードがあることまでは確認できましたが、○○が異なっていました
支払コード申請に記入された内容から、該当すると思われる予算が見つかりましたが、一部項目が財務会計システム上の登録内容と一致しておらず、誤字として担当者の裁量で訂正可能な範囲を超えて誤っていた場合に上記のメッセージをお送りしています。
前項を参考に、物品等請求システムで表示される登録内容を確認のうえで、正しい内容で再申請してください。
なお、○○の部分が予算責任者氏名となっている場合、次項をご参照ください。
3. 予算コードがあることまでは確認できましたが、予算責任者氏名が異なっていました
支払コード申請の際に記載された予算責任者のアカウント情報と、財務会計システム上の予算責任者の情報が一致していない場合に上記のメッセー
ジをお送りしています。
TSUBAMEでは、請求に関する諸連絡を確実に行えるよう、TSUBAMEの計算資源を直接利用しない方を含め、予算責任者の方にTSUBAMEアカウン
トを取得、利用規約に同意いただき、アカウント情報を記入いただいています。
また、支払コード利用者(TSUBAMEグループのグループ管理者(メイン))と予算責任者が異なる場合には、予算使用を許可されていることを事前に確認するため、予算責任者の方にTSUBAMEポータル上で支払コードの申請の承認(追認)処理をしていただいております。
4. 費目がその他ではないため、却下します (科研費)支払コード申請に科研費の「その他」以外の費目(物品費・旅費・人件費)の予算コードを指定した際に上記のメッセージをお送りしています。
科研費は費目別に4種類の予算コードがありますが、TSUBAMEの計算機使用料は「その他」の費目に分類されます。 (府省共通経費取扱区分表内、「研究機関内の施設・設備使用料」に相当)
このため、「その他」以外の費目による支払コード申請は費目誤りとして却下させていただいております。
5. 教職員以外の方は、自身が予算責任者となっている申請に限らせていただいております
教職員以外の方が、自身が予算責任者となっていない予算について支払コード申請を行った際に上記のメッセージをお送りしています。
教職員以外の方は、ご自身が予算責任者となっている予算(学振特別研究員の科研費等)以外の予算について、TSUBAMEの支払責任者となることが- 33/60 -2024-09-30

TSUBAME4.0 FAQ

できません。
そのような予算を利用する必要がある場合は、適切な教職員に支払責任者となることを依頼し、支払コードを再申請してもらってください。
6. 既に新規請求事項発生可能期間を過ぎています申請された予算に関して、既にTSUBAMEポイントの新規購入ができない状態にあるときに上記のメッセージをお送りしています。
TSUBAMEでは、TSUBAMEポータルにおける購入操作を月毎にまとめて翌月以降に予算の振替処理を行っております。
この振替処理が予算の使用可能期間(年度内かつ研究期間内)に収まるよう、支払コードの利用可能期間を設けておりますが、この期間を既に過ぎており、ポイントの購入に利用できない予算については、申請をお断りしております。
なお、1～3月の期間は、法人運営費と奨学寄附金のみ支払コードの登録・利用が可能ですが、1～3月の利用分は翌年度の同予算への請求になりますので、予算の残額管理の際にはご留意ください。
7. 既に同じ利用年度かつ同じ予算コードの申請をシステム管理者が承認済みです
既に同一の予算を対象とした支払コードが承認されているときに上記のメッセージをお送りしています。
承認済みの支払コードをご利用ください。

承認済みの支払いコードがグループに登録できません
グループに設定できる支払コードはグループ管理者が申請した支払コードのみです。
グループ管理者以外が申請した支払コードは利用できません。
詳細については、支払コードの管理および支払コードのグループへの設定を参照してください。

- 34/60 -2024-09-30

TSUBAME4.0 FAQ

ジョブの実行・スケジューラ
ジョブ投入時にエラーになりますが、どのオプションが悪いかわかりません
エラーによって対応方法が異なります。

qsub: Unknown option「qsub: Unknown option」エラーは、qsubコマンドのオプション以外にも、ジョブスクリプトの「#$」で始まる行の記述に誤りがあるときにも発生します。
よくある間違いとして「=」で内容を指定するオプションの「=」の前後にスペースを入れた場合にこのエラーが繰り返し表示されます。「=」前後のスペースを削除してみてください。

Job is rejected, h_rt can not be longer than 10 mins with this group-gオプションやnewgrpなどでTSUBAMEグループを指定しない場合は「お試し実行」となります。「お試し実行」は10分以内のみですが、指定されているh_rt オプションが10分以上を指定しております。
「お試し実行」の場合はh_rt オプションを0:10:0のように修正下さい。
お試し実行」以外で実行したいのであれば、-gオプションやnewgrpなどでTSUBAMEグループを指定してください。

Info
この場合は適切なTSUBAMEグループに参加していること、TSUBAMEグループにポイントがあることを確認して下さい。TSUBAMEグループについては
TSUBAMEポータル利用の手引き 「6.グループの管理」をご確認下さい。

Unable to run job: Job is rejected. h_rt must be specified.
h_rtオプションの記載がないため実行できません。時間設定を行い、実行ください。

Unable to run job: the job duration is longer than duration of the advance resavation id AR-ID.
予約時間よりも長い時間を指定したために発生したエラーです。下記FAQの予約についてをご確認ください。
関連FAQ
バッチジョブスケジューラの仕様について

error: commlib error: can't set CA chain
このエラーは、TSUBAME3.0のホームディレクトリをそのままTSUBAME4.0に移行（コピー）した場合に発生します。TSUBAME3.0のスケジューラ
で使用していた ~/.sge ディレクトリに証明書が残っており、TSUBAME4.0のスケジューラで使用する証明書と競合するためにエラーが発生します。
~/.sge ディレクトリはTSUBAME4.0では使用しませんので、以下のように削除をお願いします。
$ cd $HOME$ rm -r .sge~/.sge ディレクトリを削除してもジョブが投入できない場合は、他の原因が考えられますのでお問合せ下さい。

- 35/60 -2024-09-30

TSUBAME4.0 FAQ

ジョブステータスが「Eqw」となり実行されない。
システムの障害の可能性もありますがジョブスクリプトのミスによることがあります。以下の点をご確認ください。
ジョブの詳細状況は以下のコマンドで確認ができます。
ジョブID | grep error$ qstat -j

確認後、「Eqw」ステータスのジョブは qdel で削除してください。
原因の切り分けと修正を行いジョブを再投入してください。
エラーの場合の例を以下にあげます。
ファイルパーミッションがない場合のエラー例
error reason

1:

エラー発生時間 [5226:17074]: error: can't open stdout output file "原因のファイル": Permission denied

改行コードの問題やディレクトリが存在しないおよびジョブスクリプトが不正な場合のエラー例
error reason
1:
エラー発生時間 [5378:990988]: execvp(/var/spool/age/ホスト名/job_scripts/ジョブID, "/var/spool/age/ホスト名/job_scripts/ジョブID")
failed: No such file or directory

1. ジョブスクリプトの改行コードがUNIX形式(LF)でない
改行コードがwindowsのCR+LFに設定されている場合も発生いたしますので、実際のスクリプトで合わせてご確認ください。以下のコマンドで確認ができます。
$ file スクリプトファイル名• CR+LFの場合の出力
スクリプトファイル名: ASCII text, with CRLF line terminators• LFの場合の出力
スクリプトファイル名: ASCII text

catコマンドでも確認ができます• CR+LFの場合の出力
行末が^M$と表示されます。
#!/bin/bash^M$#$ -cwd^M$#$ -l node_f=1^M$#$ -l h_rt=0:10:00^M$
module load intel^M$• LFの場合の出力
行末が$と表示されます。
#!/bin/bash$#$ -cwd$#$ -l node_f=1$#$ -l h_rt=0:10:00$
module load intel$

改行コードの対策としては、以下があります。
• Windowsでスクリプトを編集しない• Windowsでスクリプトを編集する場合は改行コードに対応したエディタを利用し、改行コードを必ず確認する• nkfで実行前に改行コードをLFに修正する- 36/60 -2024-09-30

TSUBAME4.0 FAQ

LF以外であった際は下記のコマンドで修正ください。
$ nkf -Lu file1.sh > file2.shWarning
file1.shは変換したいスクリプトファイル、file2.shは変換後のスクリプト出力先ファイルです。file2.shはfile1.shとは異なるファイル名でなければなりません。同一ファイル名を指定するとファイルが破損しますのでご注意ください。

2. 実行するディレクトリなどが存在しない
ジョブスクリプトで記述されている実行ディレクトリが存在しない場合に発生します。以下のコマンドで確認ください。確認後、スクリプトを適切に修正下さい。
ジョブID | grep ^error$ qstat -j
error reason

1:

09/13/2024 12:00:00 [2222:19999]: error: can't chdir to /gs/bs/test-g/user00/no-dir: No such file or directory

3. バックグラウンドジョブ（"&"付き）でジョブスクリプトが記載されている
以下の様にバックグラウンドジョブ（"&"付き）で記載し投入された場合、実行されません。
例）#!/bash/sh#$ -cwd#$ -l node_f=1#$ -l h_rt=1:00:00#$ -N test
module load intel./a.out &4. ファイルパーミッションが無い
プログラムが利用するファイルに適切なパーミッションを設定下さい。
例) 自分にreadと実行権限を付与$ chmod u+rx スクリプトファイル名

5. ディスククォータ
グループディスクのクォータをご確認下さい。
1TBあたりの保存可能ファイル数 (iノード数) の上限は 2,000,000です。
確認方法は下記FAQを参照下さい。
グループディスクの利用状況をコマンドで確認したい

バッチジョブスケジューラに投入したジョブの停止方法について
ログインノードに投入したプロセスについては、FAQ「間違って実行してしまったプログラムの停止方法について」をご確認下さい。
1.qsubコマンドを発行した場合に表示されたjob-IDを把握している場合
qdelコマンドを実行してジョブを停止して下さい。
qdel [job-ID]と打つと指定されたjob-IDのジョブが停止します。
例：job-IDが10056の場合$ qdel 10056

2.job-IDがわからない場合- 37/60 -2024-09-30

TSUBAME4.0 FAQ

qstatコマンドを実行して停止したいジョブのjob-IDを確認して下さい。
ユーザがバッチジョブスケジューラに投入し、完了していないジョブの一覧が表示されるので、削除したいジョブのjob-IDを控えて、1.の手順を実行下さい。
例：GISCユーザが実行しているジョブを確認した場合$ qstatjob-ID prior name user state submit/start atqueue jclass slots ja-task-ID-----------------------------------------------------------------------------------------10053 0.555 ts1
GSIC
r
08/28/2024 22:53:44 all.q
2810054 0.555 ts2
GSIC qw
08/28/2024 22:53:44 all.q
11210055 0.555 ts3
GSIC hqw
08/28/2024 22:53:45 all.q
5610056 0.555 eq1
GSIC Eqw
08/28/2024 22:58:42 all.q
7

Tips
Eqwとなっているジョブはユーザが削除して下さい。
原因についてはジョブステータスが「Eqw」となり実行されない。を確認下さい。
hwqにしたい場合はFAQの「依存ジョブの投入方法について」を確認下さい。

state

説明

r

実行中のジョブ

qw

計算資源が空いておらず、順番待ちとなっているジョブ

hqw

他のジョブとの依存関係があり、他のジョブの終了待ちとなっているジョブ

Eqw

何らかの理由でエラーとなっているジョブt

qwからrへ移行中のジョブ

計算ノードの混雑状況を確認したい
ジョブモニタリングの積み上げグラフをご確認下さい。 凡例は以下のようになっておりますので、緑色の状況を確認することで空きがあるのか確認できます。
色状態■

空いているノード■

実行中ノード(通常ジョブ)■

予約ノード(未実行ノード)■

予約ノード(実行中ノード)

スクラッチ領域の利用方法
TSUBAME4では計算ノード用のスクラッチ領域として以下を提供しております。 詳細は利用の手引きの計算ノード上のストレージの利用をご確認下さい。
1. ローカルスクラッチ領域
計算ノード上でのみ割り当てられる環境変数$TMPDIRがローカルスクラッチ領域です。
$TMPDIRは通常、/local以下のジョブごとに固有のディレクトリになります。
詳細な使用方法については、こちらをご覧下さい。

- 38/60 -2024-09-30

TSUBAME4.0 FAQ

Info/local直下は書き込みが出来ません。

2. /tmp領域/tmpディレクトリについては2GBの容量制限があります。
大容量スクラッチファイルの作成時などの際に実行プログラムのハングアップなどの問題が発生する懸念があります。
1.のスクラッチディレクトリのご利用を検討ください。

計算ノードへのSSHについて
計算ノードへのSSHは node_f のみ可能です。
MPI通信をする際にSSHを利用する仕様のアプリケーションを実行する際は node_f をご利用下さい。
手引書の「SSHログイン」に記載があります。

依存ジョブの投入方法について
A-1という名前のバッチジョブが終了次第、バッチジョブA-2を実行したい場合は、下記のように -hold_jid オプションを利用してジョブを投入して下さい。
$ qsub -N A-1 MM.sh$ qsub -N A-2 -hold_jid A-1 MD.sh

投入後にqstatコマンドを実行するとステータスは「hqw」となります。

複数の計算をバッチジョブ中で一括実行したい
バッチ実行により一つジョブ中で複数の計算を実行したい場合、例えば、exec1、exec2、exec3、exec4 という4つのコマンドを一括実行したい場
合はバッチスクリプトを次のように記述します。
#!/bin/sh#$ -cwd#$ -l node_f=1#$ -l h_rt=1:00:00
module load cuda
module load intel
exec1 &
exec2 &
exec3 &
exec4 &
wait

上記はあくまで一例です。
尚、異なるディレクトリに配置されているプログラムを一括実行したい場合は、実行ファイルをパスから記述する必要があります。
例えば、ホームディレクトリの folder1にあるa.outを直接実行したい場合は、~/folder1/a.out &と指定します。
実行ファイルのディレクトリに移動して実行する必要がある場合は、
cd ~/folder1./a.out &または- 39/60 -2024-09-30

TSUBAME4.0 FAQ

cd ~/folder1 ; ./a.out &とすればよいです。

Warning
スクリプトファイルの最終行が & で終了する場合は、ジョブが実行されません。
スクリプトの最後の wait コマンドを忘れずに記述してください。

qsubコマンドを実行する前にログインノード上で計算が始まってしまいますqsubコマンドを実行する際にマニュアル記載の通り、下記のようにコマンドを叩くと、qsubコマンドを実行する前にログインノード上で計算が始まってしまいます。
GSICUSER@login1:~> #!/bin/bash
GSICUSER@login1:~> #$ -cwd
GSICUSER@login1:~> #$ -l node_f=2
GSICUSER@login1:~> #$ -l h_rt=0:30:0
GSICUSER@login1:~> module load matlab
GSICUSER@login1:~> matlab -nodisplay -r AlignMultipleSequencesExample

バッチスクリプトをコピーして、ターミナルソフトのプロンプトに直接貼り付けた場合に起こりがちです。
バッチスクリプトはファイルとして作成して、qsubコマンドで投入して下さい。
上記のバッチスクリプトやシェルなどの用語がわからない場合は、初心者なのですが、何をすればよいのかわかりませんのUNIX/Linuxの初心者の方をご確認下さい。

qrshコマンドを実行した際のエラーについて
qrsh実行時のエラーについて説明します。
1.Your "qrsh" request could not be scheduled, try again later.
このエラーはインタラクティブ実行に必要なf_nodeの空きがないことを示します。node_f に空きができるまで待ち、再度実行して下さい。
利用状況はFAQの「計算ノードの混雑状況を確認したい」を参照して下さい。
2.Job is rejected. You do NOT have enough point to finish this job
このエラーはノード確保に必要なTSUBAMEポイントが無いことを示します。
TSUBAMEポータルからポイント状況をご確認下さい。
関連：TSUBAMEポイントの消費・返却のタイミングを教えてください
3.Unable to run job: unable to send message to qmaster using port 6444 on host "jobconX": got send error. Exiting.
このエラーはAGEサーバ側が高負荷の場合に発生します。
時間を開けて再度実行ください。

結果ファイルのエラーメッセージについて
バッチジョブスケジューラに投入後のログに出力される以下のようなメッセージに対する確認方法をご説明します。
/var/spool/age/hostname/job_scripts/JOB-ID: line XX: Process-ID Killed

Program_Name

qacct コマンドによる確認を行います。
$ qacct -j JOB-ID- 40/60 -2024-09-30

TSUBAME4.0 FAQ

ユーザGSICUSER00がq_nodeに投入したジョブを確認したコマンド結果の例(一部抜粋)
下記項目の詳細についてはmanコマンドで確認下さい。

1.メモリ資源を超過した場合の例$ qacct -j 4500000
qname
all.q
hostname
r0i0n0
group
GSIC
owner
GSICUSER00
project
NONE
department
defaultdepartment
jobname
SAMPLE.shjobnumber
4500000
taskidundefinedaccount
0 0 1 0 0 0 3600 0 0 0 0 0 0priority0
cwd/path-to-current
submit_host login1 or login2
submit_cmd
qsub -A GSICGROUP SAMPLE.shqsub_time%M/%D/%Y %H:%M:%S.%3N
start_time%M/%D/%Y %H:%M:%S.%3N
end_time%M/%D/%Y %H:%M:%S.%3N
granted_pe
node_fslots
7
failed0deleted_by
NONE
exit_status 137
maxvmem
120.000G
maxrss0.000
maxpss0.000
arid
undefined
jc_name
NONE

この例では、exit_statusとaccountおよびmaxvmemに注目します。
exit_statusを確認することで、何が原因でジョブが停止したかを確認できます。
例のexit_status 137 は128+9を示しますが、これだけだと多岐にわたるため、切り分けはできません。
そこでaccountおよびmaxvmemを確認します。

qrshでX転送する方法
本FAQではqrshでX転送する方法についてご説明します。
本方法にてnode_f以外を利用したGUIアプリケーションの利用が可能となります。
(前準備)
X転送を有効にしてログインノードにsshします。
参考：FAQ Xアプリケーション(GUI)が動作しませんの1,2
1.ログインノードにログイン後、以下のコマンドを実行します。
下記の例ではGSICUSERがlogin1から node_o を1時間利用する例になります。
GSICUSER@login1:~> qrsh -g GSICGROUP -l node_o=1,h_rt=1:00:00

2.利用したいXアプリケーションを実行します。
例としてimagemagickを実行します
GSICUSER@r1n3:~> module load imagemagick
GSICUSER@r1n3:~> display- 41/60 -2024-09-30

TSUBAME4.0 FAQ

Warning
GUIアプリケーションによってはメモリやSSHの制限にて起動や計算実行が出来ないアプリケーションがあります。

Info• メモリについては適切な資源タイプをご利用下さい• ANSYS/Fluent: SSH制限によって起動不可、回避策は -ncheck オプションを利用する(メーカーサポート外)• Schrodinger: SSH制限によって計算実行は不可(起動可)、回避策はnode_f利用のみ• OpenGLアプリケーションの場合は、 export __GLX_VENDOR_LIBRARY_NAME=mesa が必要

エラーログに "Warning: Permanently added the ECDSA host key for IP address'XXX.XXX.XXX.XXX' to the list of known hosts." と出力される
初めて接続したノードがある場合や、以前接続したことのあるホストの証明書が変更された場合に出力されるもので、known_hostというSSHサー
バ証明書リストにIPアドレスXXX.XXX.XXX.XXXの証明書を追加したというメッセージです。これは正常な動作であり、計算結果には影響しないた
め無視して構いません。

- 42/60 -2024-09-30

TSUBAME4.0 FAQ

qsubコマンド実行時のエラーについて
qsubコマンドを実行した直後に発生するエラーメッセージとその対処法について説明します。
Unable to run job: Job is rejected because too few parameters are specified.
必須パラメーターが指定されていません。資源タイプと資源数、及び実行時間を指定する必要があります。
qsub: Unknown option
qsubのオプション指定に誤りがあります。こちらをご覧ください。
Unable to run job: Job is rejected. core must be between 1 and 2.
お試し実行ではジョブあたり3つ以上の資源数を使用することはできません。資源数は1または2を指定してください。
Unable to run job: Job is rejected, h_rt can not be longer than 10 mins with this group.
お試し実行では実行時間が10分を超えるジョブを投入することはできません。こちらをご覧ください。
Unable to run job: Job is rejected. You do Not enough point to finish this job.
指定した資源及び時間を確保するためのポイントが不足しています。TSUBAMEポータルページからポイント状況をご確認下さい。
TSUBAMEポータルページからポイント状況をご確認下さい。
Unable to run job: failed receiving gdi request response for mid=1 (got syncron message receive timeout error).
もしくはUnable to run job: got no response from JSV script"/apps/t4/rhel9/age/customize/jsv.pl".
短時間における大量のジョブ投入等によって管理ノードが高負荷な状態になると、ジョブスケジューラーとの通信がタイムアウトとなり上記のエラーメッセージが表示される事があります。
高負荷な状態は一時的なものです。暫く時間を置いた後に再投入を試みてください。
高負荷な状態でのエラーはここに記載していないエラーや、その他の項目で記載されているエラーが発生する場合があります。

バッチジョブスケジューラの仕様について
TSUBAME4ではバッチジョブスケジューラによる資源管理を行っております。

資源タイプ
資源タイプについては下記をご覧下さい。
詳細：\利用可能な資源タイプ

ジョブの投入方法
ジョブの投入方法はこちらをごらんください。
また、下記の関連FAQもご確認ください。 * スクラッチ領域の利用方法 * 依存ジョブの投入方法について * qrshでX転送する方法

ジョブの制限について
最新の制限については「各種制限値一覧」を確認してください。
ユーザごとの制限を超えるジョブはTSUBAME全体に空きがある場合でも実行されず、qw状態で待たされます。
ジョブが終了し、制限を下回ると(TSUBAMEに空きがある範囲で)実行状態rに遷移します。

予約について予約は1時間単位で設定可能で予約終了時刻の5分前までノードを利用することができます。
ジョブ投入時には以下のようなコマンドで実行する必要があります。AR IDはポータルで確認が可能です。
$ qsub -g [TSUBAMEグループ] –ar [AR ID] スクリプト名- 43/60 -2024-09-30

TSUBAME4.0 FAQ

予約終了時刻の5分前までの利用となるため、ジョブスクリプトの-lオプションを工夫する必要があります。
例)予約期間が2日の場合の資源指定#$ -l h_rt=47:55:00「ノード予約」には上記の「ジョブの制限」はかからず、「ノード予約」の制限があります。
制限については「各種制限値一覧」を確認してください。

エラーの対処
エラーの対処については下記の関連FAQをご確認ください。
• ジョブ投入時にエラーになりますが、どのオプションが悪いかわかりません• ジョブステータスが「Eqw」となり実行されない。
• qrshコマンドを実行した際のエラーについて• 結果ファイルのエラーメッセージについて

予約実行時のトラブルシュートについて
予約実行時にジョブが投入できない際のトラブルシューティングについてまとめています。
以下のコマンドはGSICグループが2日の利用となるAR番号20190108を実行する場合を例としております。
1.ARIDのつけわすれ
arオプションをつけない場合は通常ジョブとして実行されます。 (ポイントも通常通り消費されます)NG例
以下のコマンドを実行した場合は、通常ジョブとして実行されます。
$ qsub -g GSIC hoge.sh

OK例
予約実行を行う際は必ず-arオプションを利用してください。
$ qsub -g GSIC -ar 20190108 hoge.sh

2.h_rtが予約時間より長い
h_rtオプションの時間指定が予約時間より長い場合はジョブが流れません。
また、予約終了時刻の5分前までの利用となる仕様のため、指定時間は予約時間より5分短くしてください。
NG例
予約時間いっぱいとなっているため、実行されません。
$ grep h_rt hoge.sh#$ -l h_rt=48:00:00$ qsub -g GSIC -ar 20190108 hoge.sh

OK例(終了時刻-5分となっている)$ grep h_rt hoge.sh#$ -l h_rt=47:55:00$ qsub -g GSIC -ar 20190108 hoge.sh

プログラムが異常終了した場合や予約開始時間前にジョブを投入できなかった場合など、予約開始時間後に実行する場合は経過時間を考慮する必要があります。 例えば、予約開始時間から2時間経過したあとにジョブを投入する場合は以下のようなスクリプトとなります。
qsubコマンド実行から計算ノードの割当までの内部処理の時間を1分取った場合$ grep h_rt hoge.sh#$ -l h_rt=45:54:00$ qsub -g GSIC -ar 20190108 hoge.sh- 44/60 -2024-09-30

TSUBAME4.0 FAQ

関連URL * TSUBAME4.0利用の手引き 「計算ノードの予約」 * TSUBAMEポータル利用の手引き 「計算ノードの予約」 * バッチジョブスケジューラの仕様についてジョブ投入時に指定したh_rtと実行時間の乖離について
h_rtで指定した時間には利用者が投入したジョブを実行するための準備処理の時間も含まれます。そのため、h_rtで指定した時間全てがジョブの実
行時間にはなりません。
ポイント消費の対象は準備処理の時間を除いたジョブの実行時間となります。また、準備処理の時間はジョブが実行されるノードの状況により、一定ではありません。

ジョブスクリプト・qrshでの command not found エラーについて
Info
TSUBAME3.0 では、バッチスクリプト内で下記の記述が必要でしたが、TSUBAME4.0では不要になりました。
. /etc/profile.d/modules.sh

pip等でインストールしたコマンドをジョブスクリプト・qrshから実行した場合に、"command not found"エラーが発生した場合はログインノードにて$ type <command><command> is hasehd (/path/to/<command>)

でパスを確認し、ジョブスクリプトに
export PATH=$PATH:/path/toのように、利用したいコマンドの存在するディレクトリを追記して下さい。

関連URL
Linuxのよくあるエラーについて

1つのジョブの中で複数のプログラムを別々のCPU/GPUで走らせたい
以下のようにして、1つのジョブの中で複数のプログラムを別々のCPU/GPUで走らせることができます。
以下ではa.outがCPU0-6+GPU0, b.outがCPU7-13+GPU1, c.outがCPU14-20+GPU2, d.outがCPU21-27+GPU3を使います。
#!/bin/sh#$ -cwd#$ -V#$ -l node_f=1#$ -l h_rt=00:30:00
a[0]=./a.out
a[1]=./b.out
a[2]=./c.out
a[3]=./d.out
for i in $(seq 0 3)
doexport CUDA_VISIBLE_DEVICES=$i
numactl -C $((i*7))-$((i*7+6)) ${a[$i]} &
done
wait

- 45/60 -2024-09-30

TSUBAME4.0 FAQ

アプリケーションの実行
商用アプリケーション（Mathematica, Gaussianなど）が動作しません。コマンドが見つかりません。
TSUBAME4.0では一部の商用アプリケーションの利用には別途アプリケーション利用料が必要になります。
詳細：利用料の概略のアプリケーション (TSUBAME4.0で一部有償化)
初期状態では対象の商用アプリケーションは利用できませんので、そのアプリケーションがインストールされていないように見えます。
$ module load gaussian$ g16 inputfile-bash: g16: command not found

対象の商用アプリケーションを利用するには、TSUBAMEポータルからアプリケーション有効化を行います。
アプリケーション有効化の後、再度実行してください。
$ module load gaussian$ g16 inputfile

なお、アプリケーションの購入はアカウント単位で実施する必要があります。
商用アプリケーションを購入しましたが、アプリケーションが利用出来ません。についても併せてご確認ください。

Mathematica 14.1以降利用時
Mathematica はバージョン14.1からGUIの実行コマンド名が変更されました。
バージョン
14.0
14.1以降実行コマンド名
mathematica
WolframNB

詳細についてはMathematicaをご参照ください。

商用アプリケーションを購入しましたが、アプリケーションが利用出来ません。
商用アプリケーションは、所属グループ単位ではなくアカウント単位で購入する必要があります。
例えばグループ管理者が購入した場合、グループ管理者のアカウントのみ利用可能となります。
利用したい全てのアカウントで、個別に購入手続きを行ってください。
（代理購入、一括購入はできません。購入手続きを行ったアカウントのみ有効になります。）
アプリケーションの購入状況については「アプリ購入一覧表示」内の「購入者アカウント」から確認できます。
アプリケーション有効化を参考に、「購入者アカウント」にご自身のアカウントが含まれているかご確認ください。

購入済みの商用アプリケーションが突然使用できなくなりました。
購入した商用アプリケーションは、購入の操作を行った時点から、指定した月の月末まで利用可能です。
アプリケーションの購入期間を超過している可能性がありますので、アプリケーション有効化を参考にステータスの確認と必要に応じて購入をお願いします。

- 46/60 -2024-09-30

TSUBAME4.0 FAQ

PyPI上にあるPythonのパッケージを使いたい (Theano等)
以下のコマンドでユーザのホームディレクトリにインストールすることができます。(下記例はTheanoの場合)$ pip install --user theano

Xアプリケーション(GUI)が動作しません
本項目のXアプリケーションはTSUBAME4.0上にインストールされている、X環境上で動作するアプリケーション、いわゆるGUIのアプリケーションのことを指します。
基本的にはユーザ環境のため、窓口ではサポート出来かねます。
Xアプリケーションを利用したい場合には、下記の手順で動作環境のセットアップ・確認を行ってください。

Xサーバアプリケーションがクライアントにインストール、起動しているか
Windowsの場合
Windowsの場合は多くのXサーバアプリケーションがあります。
Xサーバアプリケーションがインストールされているか、または起動しているかをご確認ください。
Macの場合XQuartz がインストール、設定されているかをご確認ください
https://support.apple.com/ja-jp/100724
Linuxの場合
X11サーバアプリケーションと関連ライブラリがインストール、設定されているかをご確認ください

X転送オプションを有効にしているかどうか
Windows（その他の端末アプリケーション）
ご利用の端末およびXサーバアプリケーションによって設定が異なります。
各アプリケーションのマニュアルを確認下さい。
Linux/Mac/Windows(Cygwin) SSHコマンドにX転送オプション(-YC)が入っているかをご確認ください。
$ ssh <TSUBAME4.0アカウント名>@login.t4.gsic.titech.ac.jp -i <秘密鍵> -YC例)アカウント名がgsic_user、秘密鍵が~/.ssh/t4-keyの場合$ ssh gsic_user@login.t4.gsic.titech.ac.jp -i ~/.ssh/t4-key -YC

SSHのオプションについては下記のコマンドで確認してください。
$ man ssh

端末環境を変えても再現するか
Windowsの場合はフリー、有償を含め多くの端末/Xサーバアプリケーションがございます。
別の端末/Xサーバアプリケーションでも再現するかどうかをご確認ください。（もちろん、組み合わせの問題もあります）
isvアプリケーションによって相性があり、再現しない場合はアプリケーション固有の問題である可能性がございます。
その場合はお問合わせ頂いてもご対応できかねますので、ご了承ください。
GL対応/非対応によっても異なります。一例としてGL対応のXサーバには以下のものがございます。
• アールワークス社ASTEC-X• マイクロフォーカス社Reflection• PTC社PTC X/Server- 47/60 -2024-09-30

TSUBAME4.0 FAQ

また、利用したいXアプリケーションによってはコマンドオプションが必要な場合があります。
利用したいXアプリケーションのマニュアルをご確認下さい。
通常のX転送/VNC接続では動作しないGLアプリケーションでもVirtualGLを使用することで動作する場合がございますので必要であればお試し下さい。
VirtualGLの詳細については利用の手引きをご確認下さい。

動作確認
ログインノードでは、以下のコマンドでX Window Systemの標準的なターミナルエミュレータが起動します。ログインノードまでのX転送の設定の確認にご利用ください。
$ xterm

xtermが動作するが、利用したいXアプリケーションが動作しない場合は3をお試しください。
問題がある場合の例
xterm: Xt error: Can't open display:xterm: DISPLAY is not set

上記のエラーが出る場合は、1,2をご確認下さい。

アプリケーションの利用
ログインノードはCPUを占有するアプリケーションの利用を想定しておりません。可視化を含む本格的な利用には、計算ノードを利用してください。
計算ノードでのGUIアプリケーションの利用については、下記FAQをご参照ください。
FAQ: qrshでX転送する方法
また、node_fでノード全体を確保している場合は、ssh -Y コマンドでX転送を行うこともできます。

問い合わせ時に必要な情報
お問い合わせの際は下記をご連絡ください• 利用OS(例 Windows10,Debian12,macOS 14.4.1)• 利用ソフトウェア(windowsのみ、例 Cygwin,PuTTY/VcXsrv,Rlogin/Xming)• 利用バージョン windowsの場合は端末/Xサーバアプリケーションの両バージョン

例

2.9.0-3,0.70,2.22.7

バージョンの調べ方はアプリケーションのマニュアルをご確認ください。 Linux/Macの場合はSSHのバージョンをお送りください。下記のコマンドで確認できます。
$ ssh -V

• 今まで試した内容について、また、エラーが出る場合はエラーの内容をお送りください。

- 48/60 -2024-09-30

TSUBAME4.0 FAQTSUBAME4.0で提供していないアプリケーションを使用したい
TSUBAME4.0で提供していないアプリケーションのインストール方法について
TSUBAME4.0で提供していないアプリケーションの利用を検討される場合、以下の項目に当てはまるかをご確認下さい。
全て当てはまる場合のみ、利用者の責任で自由にインストールしてご利用いただけます。
導入したいアプリケーションのインストールマニュアルや利用許諾書をご確認ください。
• TSUBAME4.0のOS(Red Hat Enterprise Linux 9.3)上で動作する (WindowsやMac OS専用のソフトウェアは動作しません)• インストールや実行に管理者権限(root)が不要• 自分のホームディレクトリやグループディスクへのインストールが可能(特定のノードへのインストールは不可)• ライセンス的に問題ない• kernel、ライブラリおよびシステムレベルの設定変更を必要としない• GSICのサポートが不要
0.注意事項GSICが用意するアプリケーションではありませんので基本的にはサポートは致しません。
利用者側でTSUBAMEの問題かアプリケーションの問題かの切り分けを行い、アプリケーションに関する事はソフトウエアの提供元へお問い合わせください。
ライブラリやドライバのバージョンはTSUBAMEの定期メンテナンス等で変更になることがあります。
その結果それまで利用していたアプリケーションの再設定が必要になる場合があります。
場合によっては動作しなくなってしまう可能性も無いとは言えませんのでご注意ください。
1.インストール場所について
インストール場所としては下記の2箇所がございます。インストールされるソフトウェアの運用形態に合わせて選択して下さい。
研究室のメンバーなど、TSUBAMEグループ内で共有する必要がある場合はグループディスクをご利用下さい。
Homeディレクトリはchmod等で権限を変更したとしても共有利用はできません。
• Homeディレクトリ
• グループディスク
TSUBAME4.0利用の手引き

3.ストレージ環境

2.インストール方法
インストールされるアプリケーションのマニュアル、コミュニティ、READMEを確認し、インストールして下さい。
アプリケーションによっては、ライブラリ等の動作環境含め、御自分でソースからコンパイルする必要がございます。
インストール前に以下をご確認ください。
• ユーザインストールとなるため、zypper等のOS基幹のアプリケーション管理ソフトウェアは利用できません。基本的にソースからのコンパイルとなります。
• CUDAを利用する場合は計算ノードでのコンパイルが必要となります。(ログインノードにはGPUが搭載されていないため)• TSUBAME4.0のOSはDebian系のディストリビューションではないため、aptコマンドは利用できません。
• dnfコマンドについてはroot権限が必要なため利用できません。利用したい場合は、コンテナの利用をご検討ください。
例1)configureスクリプトを実行し、Makefileを生成してからmake,make testおよびmake installする例$ ./configure --prefix=$HOME/install$ make && make test
$ make install

例2)ビルド用ディレクトリを生成し、cmakeを行い、make installする例$ mkdir build && cd build$ cmake .. -DCMAKE_INSTALL_PREFIX=$HOME/install$ make install- 49/60 -2024-09-30

TSUBAME4.0 FAQ

例3)インストールスクリプトでインストールする例$ ./install.sh

配布アプリケーションに問題がある
配布アプリケーションに関して生じるトラブルのほとんどは環境に起因するため、個別のサポートは行いません。
申請にあたって承諾いただいたとおり「自己解決」して頂く必要がございます。
インストール時に生じたトラブル
インストールの手引きに従ってインストールをしてください。
上手くいかない場合はアンインストールして最初からやり直してください。
ライセンスサーバとの通信に失敗している場合は研究室内や建物のネットワーク管理者に問い合わせてください。

利用中に生じたトラブル
実行できない場合はエラーメッセージ等をよく読んでください。
ライセンス関連の問題が生じている場合はインストールの手引きにある通り、ライセンスサーバへの通信の問題がないか確認してください。
設定が正常にできており直前まで利用できていた場合はライセンスがメンテナンス中ではないかお知らせ等を確認してください。
TSUBAMEの利用の手引きを参照してライセンスの状態を確認し、ライセンス数が不足していないか確認してください。他の人が使用中の場合は終わるのを待って再度実行してください。

1ユーザによるライセンスの占有が発生している場合にはお知らせください。利用方法を改めていただくようGSICより連絡させていただきます。

商用アプリケーションの利用イメージについて
TSUBAME4.0上で商用アプリケーションの利用する場合は、下記の2つの場合があるかと思います。
それぞれの場合について簡単に説明します。
• プリ・ソルバ・ポストの全処理を行う場合• プリポスト処理はクライアント側で行い、ソルバ処理のみをTSUBAME4.0で実行する場合
本FAQにでてくる用語がわからない方は下部の用語についてをご確認下さい。
1.プリ・ソルバ・ポストの全処理を行う場合
TSUBAME4.0ではアプリケーションによって異なりますが、基本的にプリ・ソルバ・ポストの全機能が導入されており、インタラクティブノードでの実行の場合は「プリ・ソルバ・ポスト」の全処理を行うことができます。
インタラクティブノードでの実行について、また、プリ、ポスト、ソルバに該当するコマンドやアプリケーションも商用アプリケーションによって異なりますので、各アプリケーションの手引書やマニュアルをご確認下さい。
2.プリポスト処理はクライアント側で行い、ソルバ処理のみをTSUBAME4.0で実行する場合
Xサーバの相性問題などを回避する目的など、プリポスト処理をクライアント側で行えるよう、ソフトウェア配布を行っております。
なお、ソフトウェア配布については、利便性向上のために提供しているものですので、状況により配布を中止する可能性がありますのでご注意ください。
この場合は、下記の手順が必要となります。
1) ソフトウェアの利用申請を行い、ソフトウェアを入手する
2) ソフトウェアをクライアントにインストールする
3) クライアントにインストールしたソフトウェアでプリ処理を行う
4) TSUBAME4.0に3.で作成したデータを転送する
5) ジョブスケジューラ投入用のバッチスクリプトを作成する
6) TSUBAME4.0でqsubコマンドを実行し、5で作成したバッチスクリプトを実行する
7) 6の結果データをクライアントに転送する- 50/60 -2024-09-30

TSUBAME4.0 FAQ8) クライアントにインストールしたソフトウェアでポスト処理を行う

用語について• プリポスト
下記の2つのこと、低負荷• プリ(プリプロセッサの略)：解析用インプットファイルの作成などの計算前準備作業• ポスト(ポストプロセッサの略)：解析結果データの可視化等の解析後の作業• ソルバ
解析そのもののこと、高負荷• Xサーバ
X転送を行うためのクライアント側のアプリケーション

segmentation faultなど、プログラム実行時のエラー対応について全般
まず、以下の関連FAQをご確認ください。
Linuxのよくあるエラーについて"Disk quota exceeded" というエラーが出力される
商用アプリケーションで発生したエラーに対する対処方法について

1.商用アプリケーションの場合
ABAQUS/ABAQUS CAEを除き、お問合わせでサポート可能です。以下をお問い合わせにご連絡下さい。
• エラーが発生した商用アプリケーション名例)Abaqus/Explicit• 発生したエラー
例)buffer overflow detected• エラーを起こしたJOB_ID(複数ある場合は複数記載してください)例)181938• エラーを起こしたホスト名(複数ある場合は複数記載してください)例)r6n5• エラーが発生した状況について(できるだけ詳細に記載下さい)例)qrshを用いてr6n5にログインし、以下のコマンドを実行したところ、「buffer overflow detected」が発生した。

- 51/60 -2024-09-30

TSUBAME4.0 FAQ

詳細は以下の通り• コマンド$ module load abaqus intel$ abq2017 interactive job=TEST input=Job1 cpus=6 scratch=$TMPDIR mp_mode=mpi#エラー内容Run package*** buffer overflow detected ***:
/pathto/package terminated======= Backtrace: =========/lib64/libc.so.6(+0x721af)[0x2aaab0c001af]…以下略

ABAQUSについてはアカデミックライセンスのため、技術サポートがありません。
SIMULIAドキュメンテーションサイトに登録し、ご自分で解決頂く必要がございます。
ドキュメンテーションサイトの情報については「お問い合わせ」よりご連絡ください。
2.自分でコンパイルしたアプリケーションの場合
お問合わせ頂いてもサポートできません。
FAQ「TSUBAME4.0で提供していないアプリケーションを使用したい」を確認したという前提で記載致します。
トレースバックなどのオプションを付けてコンパイルしている場合はエラーを起こしたソースに関する情報が出ますので、そちらを確認して下さい。
オプション無しでコンパイルした場合はエラーを確認して、必要とされるオプションを切り分けて下さい。
コンパイラを利用した場合はそれぞれの手引書をご確認下さい。

商用アプリケーションで発生したエラーに対する対処方法について全般
プログラム実行時に以下のようなエラーが発生する場合の対処法
unable to connect to forwarded X server: Network error: Connection refused
Error: Can't open display: localhost:13.0
アプリケーション名: Xt error: Can't open display:
アプリケーション名: DISPLAY is not set

Xサーバの設定が不適切と思われます。FAQ「Xアプリケーション(GUI)が動作しません」の1,2を確認して下さい。

プログラム実行中にGUIプログラムが落ちる
端末上のkeepAliveの設定はお済みでしょうか？
お済みでない場合はFAQ「TSUBAME4.0で作業中にセッションが切れてしまいます」を確認して下さい。
プログラム実行中に突然ジョブがabortした
原因は様々考えられますが、ユーザによる切り分けとして以下を確認下さい。 - バッチエラーファイルの確認(通常、スクリプト名.e.$JOBID) - プロ
グラム固有のログファイルの確認 - ディレクトリの空き容量の確認
関連FAQ
Linuxのよくあるエラーについて"Disk quota exceeded" というエラーが出力される
segmentation faultなど、プログラム実行時のエラー対応について

python/3.9.18を用いて最新版のnumpy, mpi4py, chainer, tensorflow, cupy等をインストールする方法について
python/3.9.18を使って自分の環境下にnumpy, mpi4py, chainer, tensorflow等をインストールしたい場合は以下のようにします。
$ module load intel cuda openmpi$ python3 -m pip install --user python_modules- 52/60 -2024-09-30

TSUBAME4.0 FAQ

バージョンを指定したい場合は$ python3 -m pip install --user python_modules==version※cupy等GPUを用いるモジュールをインストールする場合は、qrshで計算ノードを確保してから行って下さい。

商用アプリケーション利用に関するライセンス制限について
商用アプリケーションの各種制限を参照してください。

Rで自分のライブラリをインストールして使いたい
TSUBAME4.0 ではR-4.3.2が利用できます。
基本パッケージ以外に標準で利用可能なライブラリは以下となります。
Rmpi, rpud

その他の利用可能なライブラリはlibrary()コマンドでご確認ください。

上記以外のライブラリを利用したい場合には、ご自分でのインストール操作が必要となります。
パーミッションの関係で、Rのインストールディレクトリは不可ですので、ライブラリパスを指定の上、自分所有のライブラリをインストール/管理
できますます。手順は以下となります。
ライブラリパスを$HOME/Rlib、ライブラリ名はtestlib、testlib.tar.gzはソースパッケージと仮定して、以下のように操作します。
モジュールの読み込み：$ module load cuda openmpi R

ライブラリインストールディレクトリの作成（無ければ）：$ mkdir ~/Rlib

パッケージのダウンロード：$ wget https://cran.r-project.org/src/contrib/testlib.tar.gz

ライブラリインストール：$ R CMD INSTALL -l $HOME/Rlib testlib.tar.gz

ご自分のインストールライブラリの設定：$ export R_LIBS_USER=$HOME/Rlib

ライブラリの利用:$ R> library(testlib)

openmpiのmpi4pyでmpi4py.futures.MPIPoolExecutorを実行するとエラーになる
openmpiを用いたmpi4pyでmpi4py.futures.MPIPoolExecutorを実行すると以下のようなエラーが起こることがあります。
[r5n2:26205] [[60041,0],0] ORTE_ERROR_LOG: Not found in file orted/pmix/pmix_server_dyn.c at line 87

上記のエラーに遭遇した場合、以下のいずれかをお試し下さい。 1. mpirun -np python3 -m mpi4py.futures ./test.py
1. intel MPIを用いたmpi4pyを使用する- 53/60 -2024-09-30

TSUBAME4.0 FAQ

各ターミナルソフトでのポートフォワードの設定について
各ターミナルソフトでのポートフォワードの設定について以下に記します。
※以下は全てqrshやqsubで計算ノードを確保した状態で実行して下さい。
例として、計算ノードr7n7が確保されていると仮定して、自分のPCのポート5901をr7n7のポート5901に繋げる場合を記します。

1. MobaXterm
Tunneling -> New SSH Tunnel -> My computer with MobaXtermのForwarded portに5901を入力、SSH serverのSSH serverに
login.t4.gsic.titech.ac.jp、defaultuserにユーザ名、SSH portに22を入力、Remote serverのRemote serverにr7i7n7、Remote portに5901を入力しsave、Settingsの下の鍵マークから秘密鍵を選択、その後設定したトンネルをstart

2. OpenSSH/WSL$

ssh -L 5901:r7n7:5901 -i <秘密鍵> -f -N <ユーザ名>@login.t4.gsic.titech.ac.jp

3. PuTTYPuTTY Configuration -> Connection -> SSH -> TunnelsからSource Portに5901, Destinationにr7n7:5901を入力して"Add"をクリックしてOpen- 54/60 -2024-09-30

TSUBAME4.0 FAQ

4. teraterm
設定->SSH転送->追加->ローカルのポートに5901、リモート側ホストにr7n7、ポートに5901を入力してOK

intel MPIでmpirun ... >& log.txt &とするとファイル出力が途中で止まってしまいますintel MPIでmpirun ... ./a.out >& log.txt &- 55/60 -2024-09-30

TSUBAME4.0 FAQ

としてバックグラウンド実行すると、log.txtへの出力が止まってしまうことがあります。
その場合は以下のようにすると出力が止まらずに実行できます。
mpirun ... ./a.out < /dev/null >& log.txt &Intel® oneAPI Math Kernel Libraryをリンクしたいが、リンクオプションをどうすればよいですか？
Intel® oneAPI Math Kernel Libraryをリンクしたい場合、Intel® oneAPI Math Kernel Library Link Line Advisorに適切な項目を入力し、"Use this linkline”からリンクオプションをコピーして下さい。

MobaXtermでVNCを使う方法
TSUBAME上のGUIアプリケーションを利用する際に、X転送で描画に失敗する場合や、性能が不十分な場合には、TurboVNCを利用することで状況が改善する場合があります。
MobaxtermにはVNCクライアント機能が内蔵されているため、比較的簡単に利用できます。
計算ノードにおけるVNCサーバの起動方法やMobaxtermからの接続方法については、利用の手引きを参照してください。

ABAQUS CAEのモデリングで「X fatal error. ***ABAQUS/ABQcaeG rank 0 terminated by signal 6」というエラーが発生します
ABAQUS CAEのモデリングで「X fatal error. ***ABAQUS/ABQcaeG rank 0 terminated by signal 6 」というエラーが発生することがあります。
これはMobaXterm等でX転送でABAQUS CAEを起動してモデリングを実行すると発生するようです。
VNC+VirtualGLを使用することでこのエラーは回避できますのでそちらをご使用下さい。

MobaXtermからのVNCの使い方についてはこちらをご参照下さい。
ポータルからnoVNC経由でVNCを使う場合はこちらをご参照下さい。
VNCからVirtualGLを使用するにはこちらをご参照下さい。

Intel OneAPIでicc,icpcコマンドが使用できません
Intel oneAPI 2024から、iccコマンドおよびicpcコマンドが使用できなくなりました。
icxコマンドおよびicpxコマンドを使用してください。
また、ifortコマンドについても将来的な廃止が示唆されているため、ifxコマンドの使用を推奨します。

Intel oneAPI利用時にC++17関連のエラーが発生する。
Intel oneAPI 2024から、C++のデフォルトの規格がC++14からC++17に変更になりました。 それに伴い、以下のエラーが発生する場合があります。
• error: ISO C++17 does not allow 'register' storage class specifier [-Wregister]• error: ISO C++17 does not allow dynamic exception specifications [-Wdynamic-exception-spec]
詳細についてはこちらのページをご参照ください。

- 56/60 -2024-09-30

TSUBAME4.0 FAQ

本エラーが発生した場合、以下のいずれかをご検討ください。
• C++17規格に適合するよう、ソースコードを修正する。
• 翻訳時オプション -std=c++14 を指定し、C++14規格でコンパイルする。

VASPのビルド、実行がうまくいかない。
VASPについてはライセンスの制限上、お問い合わせ頂いても十分な対応が実施できない場合があります。
official users supportとしてVASP Forum が開設されておりますので、そちらの参照、投稿もご検討ください。
また、参考情報としていくつかのFAQを掲載しております。併せてご参照ください。
TSUBAME4.0上でVASPをビルドした際の手順が知りたい。
VASP実行時に UCX ERROR failed to insert region エラーが発生する
Intel oneAPI利用時にC++17関連のエラーが発生する。

TSUBAME4.0上でVASPをビルドした際の手順が知りたい。
TSUBAME4.0上でVASP6.4.2をビルドした際の手順について参考情報として公開します。
1. モジュールをロードします。
$ module load nvhpc openmpi intel

2. arch/makefile.include.nvhpc_ompi_mkl_omp_acc ファイルをコピーし、以下の箇所を変更します。
$ cp arch/makefile.include.nvhpc_ompi_mkl_omp_acc makefile.include$ vi makefile.include$ diff arch/makefile.include.nvhpc_ompi_mkl_omp_acc makefile.include
20,21c20,21< FC= mpif90 -acc -gpu=cc60,cc70,cc80,cuda11.0 -mp< FCL= mpif90 -acc -gpu=cc60,cc70,cc80,cuda11.0 -mp -c++libs--> FC= mpif90 -acc -gpu=cc60,cc70,cc80,cc90,cuda12.3 -mp> FCL= mpif90 -acc -gpu=cc60,cc70,cc80,cc90,cuda12.3 -mp -c++libs
81c81< MKLROOT?= /path/to/your/mkl/installation--> MKLROOT?= /apps/t4/rhel9/isv/intel/mkl/2024.0/
87,88c87,88< SCALAPACK_ROOT ?= /path/to/your/scalapack/installation< LLIBS_MKL= -L$(SCALAPACK_ROOT)/lib -lscalapack -Mmkl--> #SCALAPACK_ROOT ?= /path/to/your/scalapack/installation> #LLIBS_MKL= -L$(SCALAPACK_ROOT)/lib -lscalapack -Mmkl

3. Makeします。
$ make DEPS=1 -j12

2>&1 |tee make.log

実行する際はHCOLLを無効にします。
$ export OMPI_MCA_coll=^hcoll$ make test

- 57/60 -2024-09-30

TSUBAME4.0 FAQ

VASP実行時に UCX ERROR failed to insert region エラーが発生する
実行時オプション -mca coll_hcoll_enable 0 の追加をお試しください。
実行例：
mpirun -mca coll_hcoll_enable 0 vasp_std >vasp.log

python の module load が出来ません
TSUBAME4.0ではデフォルトでpython 3が利用可能です。
module load は必要ありません。

OpenMPI/Intel MPI実行時に、hcoll 関連のErrorやsegmentation faultが発生する。
以下の環境変数を指定することで改善される場合があります。
OpenMPI利用時：export OMPI_MCA_coll=^hcoll
Intel MPI利用時：export I_MPI_COLL_EXTERNAL=0

Intel Compilerで -lblas を指定してコンパイルしたバイナリが、実行時に異常終了する
Intel Compilerでは、Intel MKLという数値計算ライブラリが用意されています。
Intel CompilerでBLASを利用する際は、 -lblasではなくIntel MKLのライブラリをリンクするようオプションを変更してください。リンク用のオプ
ションについてはIntel MKLのリンク方法をご参照ください。
なお、数値計算ライブラリはIntel MKLのような専用ライブラリを含め、多種多様なライブラリが存在しています。その中には、ライブラリ間で依存関係にあるものや競合関係にあるものも存在します。
数値計算ライブラリでエラーが発生した場合、競合関係の確認や別のライブラリの利用もご検討ください。

TensorFlow実行時にGPUが使用されない
TensorFlowをGPU上で動作させる場合、利用するTensorFlow,python,cudnn,cudaの組み合わせに条件があります。
詳細については、Tensorflow をご参照ください。

- 58/60 -2024-09-30

TSUBAME4.0 FAQTSUBAME3.0からの移行
TSUBAME3.0からの移行については、TSUBAME3.0からTSUBAME4.0への移行をご覧下さい。

新旧TSUBAME比較
TSUBAME3とTSUBAME4.0の各種比較については、新旧TSUBAME比較をご覧ください。

- 59/60 -2024-09-30

TSUBAME4.0 FAQ

Tips（便利な設定など）
TSUBAME4.0 既知の問題のワークアラウンド- 60/60 -2024-09-30