ABCI利用事例ウェビナー

日立製作所 研究開発グループにおけるABCIの活用事例
2022年10月7日(株)日立製作所 研究開発グループ
AI研/知能情報研究部＆技術戦略室
清水 正明© Hitachi, Ltd. 2022. All rights reserved.

自己紹介

AIの研究 ＆ 日立研究開発グループ向け計算機環境の提供■清水正明■元々はスパコン(HPC)のオペレーティングシステムの研究者
・1993年、日立 中央研究所入社
・筑波大CP-PACS, 日立超並列計算機SR2201, SR8000, SR11000のOS開発に従事
・国プロ 京コンピュータ、富岳のフィージビリティスタディに参加(～2015)■AIアプリとAIプラットフォーム研究(2015～)
・深層学習を使った手書き文字認識エンジン、製品検査システムなどの研究開発に従事■研究者向けのAI/HPCプラットフォームの構築・提供(2018～)
・オンプレミス＆クラウド(含ABCI)© Hitachi, Ltd. 2022. All rights reserved.

2

Contents
1. 日立製作所 研究開発グループにおける研究IT環境

2. オンプレミスITとクラウド環境の併用に向けて3. オンプレミスITと親和性の高いクラウド環境の構築
4. まとめ© Hitachi, Ltd. 2022. All rights reserved.

3

1. 日立製作所 研究開発グループにおける研究IT環境

OT × IT × Productsの総合力を発揮するために研究開発力を強化■研究開発グループの概要
・研究者：2,700人(*1)
・デジタルテクノロジ(AI、メディア、データサイエンス）、制御、エレクトロニクス、エネルギー、ヘルスケア、材料、機械、生産、顧客協創、基礎研究、の広範囲の研究領域をカバー
・研究開発費：2,937億円(対売上比3.4%, *1)■オンプレIT環境
・会社共通のOAインフラ(Office PC, ネットワーク、ファイルサービス等)
・研究開発グループ固有のAIクラスタ、HPCクラスタ■各国・地域の研究拠点
・日本、米国、中国、インド、シンガポール/タイ、ヨーロッパ、オーストラリアに研究拠点*1: https://www.hitachi.co.jp/rd/about/index.html, 2020年3月© Hitachi, Ltd. 2022. All rights reserved.

4

1-1. 研究開発グループ固有のAIクラスタ、HPCクラスタ

協創および最新デバイス利用のために、オンプレに加えクラウド活用加速中■オンプレミスAIクラスタ
・AI,データサイエンス研究者向けGPUクラスタ-最新GPU、FPGA、高速ネットワーク、大規模高速ファイルシステム-OSS中心に構成-計算資源利用率向上のためバッチ処理中心■オンプレミスHPCクラスタ
・設計、シミュレーション研究者向けHPCクラスタ-ISVソフトウェアを多用-CPU only、高速ネットワーク、高速ファイルシステム、大規模テープアーカイブ→顧客やパートナーとの協創、コンペ参加、最新GPU利用などでクラウド活用加速中© Hitachi, Ltd. 2022. All rights reserved.

5

Contents
1. 日立製作所 研究開発グループにおける研究IT環境

2. オンプレミスITとクラウド環境の併用に向けて3. オンプレミスITと親和性の高いクラウド環境の構築
4. まとめ© Hitachi, Ltd. 2019. All rights reserved.

6

2. オンプレミスITとクラウド環境の併用に向けてデータを社外に持ち出して処理することの課題■企業内からクラウドを利用する手続き・サービス停止等のリスク、情報漏洩リスク、規制違反リスクなどを事前審査
・データの秘匿度に応じた暗号化レベル
・データのオーナーの了解（事業部、お客様）■社外クラウド利用の課題
・IaaSの場合、オンプレと二重に構築（セットアップ）必要・リソース（特にGPU)の利用上限がある（申請すると実績に応じて緩和）・社内ネットワークから直接インターネットに出れない(Web Proxy経由)
・sshなどの他のポートはアクセス元IPアドレスとアクセス先IPアドレスを申請して個別解除
・自宅から直接クラウド利用しない（会社のproxyからのみVPCにアクセスできる設定）© Hitachi, Ltd. 2022. All rights reserved.

72-1. クラウド利用の方針

社外に出せるデータの処理、学会コンペは積極的にクラウドへ移行■AI学習はABCI/AWSを活用
・2018年度より産総研ABCI活用中-2019年度～22年度、多数の国際会議での採録、国際コンペでの入賞を達成-深層学習型ロボット制御技術の開発に活用■HPCはHPCクラウド/AWSを活用
・2020年度より試行、22年度は本格利用中- WebインタフェースのHPCクラウド■AWS上にはオンプレ互換のAI/HPC環境を構築
・利用者および管理者の敷居を下げるため・年度末のABCIポイント売り切れの予備環境
Amazon Web Services およびその他のAWS 商標は，米国およびその他の諸国におけるAmazon.com,Inc.またはその関連会社の商標です。
© Hitachi, Ltd. 2022. All rights reserved.

8

2-2. 大規模学習環境として産総研ABCIを活用

パワーユーザおよび学会コンペ参加者中心に活用し、成果大■2018年度よりABCI活用中・パワーユーザ（リソース利用大、計算機に慣れている）にABCI利用を推奨、初心者はオンプレで練習
・機械学習PaaSのため、ログインすればすぐ学習に使える、利用上限がない（多分）・コンペ、論文であれば持ち出しデータの敷居は低い-2019年度～22年度で、多数の国際会議での採録、国際コンペでの入賞を達成‣自然言語処理の国際コンペティション「CoNLL 2020 Shared Task」と「SemEval 2020」の複数部門で1位を獲得(*1)
「SemEval-2022(Task10)」では3位獲得 :Comparing Graph- and Seq2Seq-based Models
Highlights Difficulty in Structured Sentiment Analysis‣「ICML2022」 :Rethinking Fano’s Inequality in Ensemble Learning‣他、CVPR(画像)、EACL(自然言語処理)、SIGNLL、DSTC8、Interspeech等、多数
https://abci.ai/ja/link/publication.html*1: https://www.hitachi.co.jp/New/cnews/month/2020/12/1202.html© Hitachi, Ltd. 2022. All rights reserved.

92-3. 大規模学習環境として産総研ABCIを活用

技術開発にも利用■2018年度よりABCI活用中-深層学習型ロボット制御技術の開発に活用‣さまざまな作業現場の自動化をめざし、形状が変わる物体のハンドリングに対応する
深層学習型ロボット制御技術を開発(*2)*2: https://www.hitachi.co.jp/rd/news/topics/2021/0528.html© Hitachi, Ltd. 2022. All rights reserved.

10

Contents
1. 日立製作所 研究開発グループにおける研究IT環境

2. オンプレミスITとクラウド環境の併用に向けて3. オンプレミスITと親和性の高いクラウド環境の構築
4. まとめ© Hitachi, Ltd. 2019. All rights reserved.

11

3. オンプレミスITと親和性の高いクラウド環境の構築

オンプレミスとの親和性 ＆ クラウドの利点の両立

Issues■オンプレミス環境との互換性
管理者視点：同じ実行ログファイル形式が欲しい（課金のため）
ユーザ視点：同じ方法でジョブを投入したい、システムによって使い方を変えたくない■クラウドの利点も享受したい
管理者視点：使った分だけ払いたい、任意の国で簡単に構築したい
ユーザ視点：GPUの有無、ノード間ネットワークなど自由に選びたい

Challenges

・スクリプトでクラスタを自動構築(10分程度)
・PBSジョブスケジューラ(互換性)・LDAPによるユーザ管理(マルチユーザ環境、互換性)
・MPIジョブの実行( for HPC )・Docker/Singularity
・LinuxのPosixの世界と、AWSにおけるユーザ権限のマッチング(S3)・アイドル状態では計算ノードを持たず、ジョブが投入されると最適な計算ノード(EC2)を生成して登録する・ジョブが終了し、一定時間計算ノードが再利用されないとEC2を削除する(定常課金の防止)・ジョブが終了すると利用したファイル群はS3にアーカイブ(LustreよりS3が二桁ほど安価なので）・ログインノードにloginしなくても、PCからS3にファイルを置くだけでジョブの実行が可能(産総研共研成果)© Hitachi, Ltd. 2022. All rights reserved.

123-1. 産総研との共同研究成果を活用

オンプレミスAIクラスタとABCIのハイブリッドクラウド研究の推進■オンプレミスとクラウド(ABCI)連携で産総研と共同研究中(2019～)
・オンプレミス（社内）環境からセキュアにクラウド(ABCI)を利用する
・2020/12/21に産総研様から学会発表・2020/12/14に産総研様および日立からニュースリリース(研究トピックス)発信(*2,*3)
ジョブ投入と・CloudQとして産総研様からOSS化
オンプレミス(日立)
データの書き込みコンテナ
qsub
レポジトリー・2022/7, SWoPP2022発表
クライアント計算ノード
A
エージェント・2022/11, SC22 WS(Hust)
ジョブバケット
Job0
Job1
Job2

共有ストレージ

データ書き込み
クラウド
オブジェクトストレージ

データバケット
ジョブが使う全てのデータバケットとオブジェクトのレイアウト（ユーザー毎）ジョブとデータの取得

ダウンロードクラウド（ABCI）
qsub
エージェントコンテナ
レポジトリーB

計算ノード
共有ストレージ
データ書き込み

コンテナ
レポジトリーC*2: https://www.aist.go.jp/aist_j/new_research/2020/nr20201214/nr20201214.html*3: https://www.hitachi.co.jp/rd/news/topics/2020/1214.html© Hitachi, Ltd. 2022. All rights reserved.

13

3-2. AI/HPC Dynamically Allocate Cluster on AWS・ジョブはログインノードにログインしてsubmitするか、S3にジョブスクリプトを置くか(REST API)で実行可能
・ジョブが投入されるエージェントが適切なEC2を選んで計算ノードを起動し、PBSに登録する・ジョブが終了、またはユーザがログアウトすると、関連ファイル、ユーザhomeがS3をアーカイブする
AWS

日立オンプレミス

VPC

研究者
ユーザPC

ssh/scp
データコピー

恒久
データ
Aws cli(S3 REST API)

proxy経由
インターネットアクセス
AI/HPC Cluster on AWS
ログインノードPBS

S3にジョブが置かれたことを知るとPBSにジョブを投入
エージェントEC2を動的に確保、削除

Aws cliGPU
Nodes

CloudQ 形式のファイルを置くことでジョブ実行可能

エージェントLarge mem
Nodes

FSx for Lustre(ユーザhome)
HomeとS3は同期されている。
(ジョブが終わるとS3にアーカイブされ、ファイルを触るとLustre側に実体が戻る)
ジョブスクリプト

データ

ユーザhomeのアーカイブ(S3)© Hitachi, Ltd. 2022. All rights reserved.

14

3-3. 社内からでも使いやすいクラウド

翌日早朝に本人および管理者にAWS利用状況をメール■PBSのログとAWSのログを対応させて報告使用したノード数
ジョブの開始時刻

PBSのユーザID
PBSのジョブIDAWSのインスタンスタイプ

AWSのコスト（秒単位課金、6月のコスト表から計算）

ジョブの実行時間

ジョブの終了時刻

Intel MPIベンチを8ノードで実行
6分38秒実行$0.19(25.5円)
現時点でのS3利用量(89GB)© Hitachi, Ltd. 2022. All rights reserved.

15

4. まとめ・日立製作所 研究開発グループではオンプレの研究IT環境を保持
・オンプレミスITとクラウド環境を併用して実用中-クラウド利用の手続きは大変であるけど….
-特に圧倒的計算力を持つABCIの利用成果大機械学習PaaSのため、ログインすればすぐ学習に使える、利用上限がない（多分）・今後もクラウド利用比率を向上予定© Hitachi, Ltd. 2022. All rights reserved.

16

END
日立製作所 研究開発グループにおけるABCIの活用事例
2022年10月7日(株)日立製作所 研究開発グループ
AI研/知能情報研究部
技術戦略室

清水 正明

© Hitachi, Ltd. 2022. All rights reserved.

17