αxシンポジウムシリーズ「ゲームとスーパーコンピュータ」

機械学習とスパコンが切り拓く
モバイルオンラインゲームの未来

Copyright (c) KLab Inc. All Rights Reserved.

自己紹介

KLab株式会社
理化学研究所
エンジニアリング本部理研AIP-富士通連携センター
MLエンジニア
客員研究員

濱田 直希
何してきたの？
2010/4 ~ 2013/3
2013/4 ~ 2020/6
2020/7 ~ 現在
2017/4 ~ 2022/3

東京工業大学で進化計算の研究（博士）
富士通研究所で機械学習の研究開発
KLabで機械学習によるゲーム開発支援
理研AIP（兼任）で機械学習の研究いま何してる？
仕事 機械学習でゲーム制作を支援、大学と共同研究
趣味 ロードバイク、聖地巡礼 👉© KLab Inc.

2

会社紹介

© KLab Inc.

社名

KLab株式会社（クラブかぶしきかいしゃ）
KLab Inc.

設立

2000年8月1日

資本金49億5747万円（2022年1月末現在 ）株式公開市場

東京証券取引所･市場第一部（3656）

代表者

代表取締役社長CEO 森田 英克
代表取締役副会長 五十嵐洋介

所在地

本社（東京都港区、六本木ヒルズ森タワー）
大阪事業所、福岡事業所、仙台事業所

主要関連会社

株式会社スパイスマート 株式会社グローバルギア

海外拠点可来软件开发（上海）有限公司 （KLab China Inc.）

グループ従業員数

正社員 556名(2021年12月末現在)
3

全世界に向けてコンテンツを配信

App Store 国・地域別最高セールスランキング（抜粋）Top 50:

82ヵ国

香港
マカオ
ベトナム
フランス
オマーン
レバノン
UAE
チュニジア
ペルー

1位
1位
1位
1位
1位
1位
1位
1位
1位

Top 50:

68ヵ国© KLab Inc.

シンガポールミャンマー 1位
スペイン
スイス
バーレーン
クウェート 1位
エジプト
アルゼンチンエクアドル 1位

1位
1位
1位
1位
1位
1位

タイ
1位
アイルランド
カンボジア
1位
ハンガリー
インドネシア 3位
香港
マレーシア
3位
イタリア
フィンランド 3位
ニュージーランド
マカオ
4位
フィリピン
ブルネイ
5位
ベトナム
韓国
4位
シンガポール
台湾
6位
イギリス

Top 50:

74ヵ国

バーレーン
カタール 1位
ラトビア 1位
イスラエル
クウェートギリシャ 5位
フランス 6位
ベルギー 6位
オランダ 8位
UAE
カナダ
ノルウェー
オーストリアアメリカ 19位
イギリス 24位

1位

3位
5位

8位
9位
9位
10位

7位
8位
9位
10位
11位
11位
11位
13位
23位

※当該タイトルのリリース日～2020年7月末日現在におけるApp Annie（iPhone）の統計から当社作成

4

世界ゲーム市場の半分はモバイルゲーム（前年比+20%以上の成長）© KLab Inc.

図：https://www.famitsu.com/news/202011/19209700.html

5

モバイルゲーム市場はアジアがリード© KLab Inc.

図：https://www.famitsu.com/news/202202/06250301.html

6

ゲームにおける機械学習のトレンド：最新の機械学習アルゴリズムを応用

モバイルMMORPGのゲーム内ミニゲームのAIにAlphaZeroを使用

NetEase @ GDC2021 https://www.gdcvault.com/play/1027063/Machine-Learning-Summit-Applying-AlphaZero© KLab Inc.

7

ゲームにおける機械学習のトレンド：強いAIから楽しませるAIへ

Gran Turismo Sophy https://www.gran-turismo.com/jp/gran-turismo-sophy/technology/© KLab Inc.

8

ゲームにおける機械学習のトレンド：自然で多様なインタラクション

入力文の意
味を言語モデルで判定文の意味に応じた反応をする

Give me a cup“I’m thirsty.” や “Something to drink?” など類似する意味をもつ文にも対応できる
Google @ GDC2021 https://www.gdcvault.com/play/1027005/Machine-Learning-Summit-Creating-Game© KLab Inc.

9

モバイルゲームにおける機械学習とスパコン

モバイルゲームは機械学習とスパコンの重要な応用先●●●© KLab Inc.

豊富なデータ
○

100万人を超えるアクティブユーザー○操作するたびにサーバアクセス ➡ 数テラバイト/日のログ

定型タスクに当てはまらない問題が多い○

まだまだ未開拓な応用（ゲームAI，ゲーム開発・運用・広告，…）○

ゲーム特有の制約（スマホで60FPS処理，省電力，不安定な通信）

機械学習の学術研究～ビジネス応用まで全てが求められる○

しかもビジネス的にペイするコストで○

産学共同研究を有効活用することが必須

10

アジェンダゲーム産業にとってのスパコン：現在と未来●●© KLab Inc.

ゲームAIにおける産学共同研究とスパコン○

深層生成モデルによるリズムゲームの譜面制作支援○

スパコン・クラウドのハイブリッドによるResDevOps

クラウドネイティブ時代のスパコンの役割○

クラウドユーザ企業から見たスパコンの強みと弱み○AI企業におけるHPCクラスタのトレンド○

将来スパコンに期待すること
11

共同研究

共同研究について© KLab Inc.

12

共同研究

KLab九州大学共同研究
櫻井研究室 (3人)
機械学習技術スパコン

コード＆データ
フィードバック

機械学習グループ (6人)

機械学習モデルフィードバック

ゲーム開発グループ (3人)© KLab Inc.

13

共同研究

研究成果サマリ（2021年4月～2022年3月）● 譜面生成のSOTAモデルを改良し，国内外の会議/論文誌で発表○

CEDEC 2021: 『ラブライブ！スクールアイドルフェスティバルALL STARS』の機械学習によるコンテンツ制作支援〜譜面作成
ヘのディープランニング活用〜○

IBIS 2021: 深層生成モデルによるリズムアクションゲームのチャート生成○

SIGGRAPH Asia 2021: Machine Learning Aided Content Creation In ”Love Live! School Idol Festival ALL STARS” ~Automatic rhythm game charts generation with deep learning○

JOTA: Free Disposal Hull Condition to Verify When Efficiency Coincides with Weak Efficiency○

arXiv: All unconstrained strongly convex problems are weakly simplicial○

arXiv: GenéLive! Generating Rhythm Actions in Love Live!

○

ほかメディア記事・大学での講演等● 開発したモデルを当時運用中のゲームに導入© KLab Inc.

○

これまでに110曲 x 4難易度の譜面制作に使用し，譜面制作時間を合計で約2,000時間削減○

他タイトルにも横展開中

14

共同研究

ラブライブ！スクールアイドルフェスティバルALL STARS

画像：https://doi.org/10.48550/arXiv.2202.12823© KLab Inc.

15

共同研究

KLabのリズムゲームにおける譜面制作の課題● 毎月 3タイトル x 5曲 x 4難易度 を配信（当時）● 譜面制作に1曲あたり40時間 ➡ 計600時間/月● 既存モデルでは低難易度の譜面に課題● ML研究（半年）とゲーム運用（2週間）の時間スケールギャップ ➡ ResDevOpsが必要© KLab Inc.

16

共同研究

譜面制作のワークフロー

ステージ課題や特殊効果を設定

譜面のMIDIデータを制作

ゲームのマスターデータに組込み

楽曲は版元様より提供

譜面のたたき台を自動生成© KLab Inc.

リリース可能な品質に改善

17

共同研究

生成モデルのデータフロー
入力：メルスペクトログラム

ノーツの存在確率

ノーツの種類
出力：譜面© KLab Inc.

18

共同研究

学習用システムの構成図

スパコンで大量の実験を安価に実行© KLab Inc.

組織横断のSingle Sourceof Truth

成果物をクラウドに転送し可用性確
保（スパコンのメンテ中も利用可）

19

共同研究

MLflowで実験を共有し議論全員の実験をリアルタイムに閲覧できる© KLab Inc.

20

共同研究

GitHub Flowにより各自が並列に研究アイデアを検証
2021年4月

1週間

main
hamada/feture-x
hamada/feture-ytakada/feture-z
sakurai/feture-w

各自でfeatureブランチを作成© KLab Inc.

コミット＆実験を繰り返し改良

改善が確認できたらマージ
21

共同研究

爆速の研究開発を実現● 2021年4月～2021年12月に○ 試した研究アイデア234件(MLflow Experiments数)○ 投入したジョブ○ のべ計算時間

約5,000件
約20,000 node x hours
約80,000 GPU x hours© KLab Inc.

22

共同研究

推論用システムの構成図

譜面生成
モデルを実行

音源アップロード© KLab Inc.

譜面確認

23

共同研究

サウンドチーム自身で譜面生成＆確認を可能に© KLab Inc.

24

共同研究

譜面制作の工数を５０％削減● 2021年4月～2021年12月に○ 生成した譜面

110曲約400譜面○ 削減したコスト

1曲40時間→20時間約2,000時間© KLab Inc.

25

共同研究

学習データ

© KLab Inc.

26

共同研究

性質１：ノーツ位置は4分音符と8分音符がほとんど© KLab Inc.

27

共同研究

性質２：低難易度譜面は高難易度譜面にほぼ包含される© KLab Inc.

28

共同研究

NNの基本構造は先行研究DDCとほぼ同じ© KLab Inc.

Chris Donahue, Zachary C. Lipton, Julian McAuley: Dance Dance Convolution, in ICML2017.

29

共同研究

改良１：Beat Guide
DDC2

提案手法
© KLab Inc.

1

1

12+Beats

小節頭と拍の位置を教えることでノーツ位置のヒントになる
30

共同研究

改良２：Multi-scale Convstack
時間解像度：32ms≒64分音符

時間解像度：93ms≒24分音符@120BPM

DDC© KLab Inc.

x1

256ms≒8分音符
x8

512ms≒4分音符
x16

提案手法

4分音符と8分音符
スケールの時間的依存関係を抽出
31

共同研究

生成譜面の例：わずかな手直しで製品品質に● 生成譜面● 製品譜面※製品譜面は生成譜面を手直しして作成

混同行列（8分音符で量子化）© KLab Inc.

PNP

119

28.81

N

47

294.86.72.91.85
32

共同研究

結果：すべての難易度でF値が改善（特にBeginner）© KLab Inc.

33

共同研究

考察：Beat GuideでF値が改善（特にBeginner）© KLab Inc.

34

共同研究

考察：Convstack改良でF値が改善（Expert以外）© KLab Inc.

35

共同研究

考察：全難易度1モデル学習でF値が改善（分散→小）© KLab Inc.

36

共同研究

まとめ

● 深層生成モデルで譜面生成● 譜面の性質を考慮して精度向上（特にBeginner）● 譜面制作時間を50%削減● プレプリント：https://arxiv.org/abs/2202.12823© KLab Inc.

37

スパコンとゲームの未来

スパコンとゲームの未来© KLab Inc.

38

スパコンとゲームの未来

HPC界でゲームチェンジが起こり始めている●

2019年頃からAI用HPCクラスタをKubernetes (k8s)で構築する企業が登場○○○●

国内企業も続々とk8sでAI用HPCクラスタを構築しはじめた
○○
○
○

●

Yahoo!: ヤフーのAIプラットフォーム紹介 〜 AI開発をより手軽に
PFN: PFN’s Supercomputers
DeNA: DeNA の MLops エンジニアは何をしているのか。機械学習基盤「Hekatoncheir」を解説
CyberAgent: AI事業本部におけるGPU活用の取り組みとKubernetes

クラウド各社もHPCサービスを開始○○○© KLab Inc.

NVIDIA: RDG: Kubernetes Cluster Deployment for ML and HPC Workloads with NVIDIA GPU Virtualization
and VMware PVRDMA Technologies.
Uber: Creating Kubernetes Based UberCloud HPC Application Clusters Using Containers
Open AI: Scaling Kubernetes to 7,500 Nodes

AWS：AWS Elastic Fabric Adapterの通信速度評価
Azure: Azure ハイ パフォーマンス コンピューティング
GCP: Introducing HPC VM images—pre-tuned for optimal performance39スパコンとゲームの未来イノベーションのジレンマ“We didn’t do anything wrong, but somehow, we lost”.
---Nokia CEO Stephen Elop, 2016
© KLab Inc.

写真：https://www.linkedin.com/pulse/nokia-ceo-ended-his-speech-saying-we-didnt-do-anything-rahul-gupta/
図：https://www.cultofmac.com/164712/iphone-4s-helps-apple-rake-in-73-of-mobile-phone-profits/

40

スパコンとゲームの未来

k8sのバッチスケジューラとしての実力は？
●

●

●

●
© KLab Inc.

k8sのデフォルトスケジューラはバッチジョブに不向き○ Topology Managerはノード内のリソーストポロジしか考慮できない○ フェアシェア等の機能がない
Volcanoを使えば既存のバッチスケジューラ相当の機能○ Gang, Fair-share, Queue, Preemption, Topology-based scheduling○ Reclaim, Backfill, Resource reservation
k8sマニフェストの肥大化○ 何層もの仮想化の上からHW性能を引き出すために複雑な設定が必要○ ちょっとしたジョブを投げるにも大量の決まり文句を書かなければならない
k8s上にバッチスケジューラを再発明しただけで，明確な優位性がないようにも思えるが…（コンテナ使いたいだけならスパコンにもSingularityがあるし…）
41スパコンとゲームの未来

なぜk8sが選ばれるのか？
●
●
●
●

●
© KLab Inc.

多くの企業はすでにk8sで各種サービスをホストしている○ 同一のツールでバッチ処理もできればクラスタ利用率を高められる
ハードウェアよりエンジニアの方が希少で高価○ k8sさえ覚えれば何でもできるようにして学習コストを下げたい
k8sのスキルはエンジニアの市場価値を高める○ みんなk8sを覚えたがる仕様が標準化・オープン化されておりポータビリティが高い○ 同じコードがオンプレでもGCPでもAWSでもAzureでも動く○ サードパーティ製の周辺ツールが充実ボイラプレートの問題はラッパーを作れば解消できる○ Vertex AI Training@GCPはGKE上のバッチ処理サービス○ pfkube@PFNやacloud@Yahoo!はkubectlコマンドを簡易化

42スパコンとゲームの未来

K8sエコシステムには多数のMLOpsサービスが登場© KLab Inc.

図：MLOps Is a Mess But That’s to be Expected43スパコンとゲームの未来

従来型スケジューラはエコシステムから締め出される!?

© KLab Inc.

図：MLOps Is a Mess But That’s to be Expected44スパコンとゲームの未来

この先生きのこるには：スパコン as a Service●●●© KLab Inc.

クラウドネイティブなサービスとの相互運用性○

Web API（トークン認証，ロールベースアクセス制御(RBAC)）○

クラウドサービスとの連携（Webhook，クラウド各社のCLIツール）○

クラウドのバッチ処理サービスとの互換性

インターフェースの標準化○

CLIの統一＆サブコマンド化○

スパコン版Write once, run anywhere○

スパコン間でのジョブ＆データ転送

ユーザマニュアルのWeb公開

45

スパコンとゲームの未来

Web API（トークン認証，RBAC）●

ニーズ：多数のユーザや外部サービスからスパコンを利用したい○●●© KLab Inc.

10人超の研究チームによるGitOps，数十のサービスと連携，…

SSH鍵認証の欠点○

認証＝全権認可 ⇒ 漏洩時の被害大 ⇒ 多数ユーザは危険○

各自で環境構築するとバラバラになる ⇒ 他人の実験が再現不能に

Web API（トークン認証，RBAC）の利点○

グループ内で管理者と利用者に分けられる○

ユーザ毎に最小限のロールを与えてアクセス制御○

短命＆再発行が容易なトークンで認証○管理者が全員ぶんの環境を構築○

利用者はジョブ投入・閲覧権限のみ46

スパコンとゲームの未来

クラウドサービスとの連携（Webhook，クラウドCLI）●●●© KLab Inc.

ニーズ：スパコンの成果物をクラウドで利用したい○

ログ，訓練済モデル，計算結果○

可用性が必要な部分はクラウドで保存したい○

年度末に環境移行で慌てたくない

連携プログラムを自作することの欠点○

サービス間のI/Fがバラバラ ⇒ エコシステムが育たない○

ベストプラクティスが分からない ⇒ 誤用でセキュリティ事故にWebhookやクラウドCLIを運営側で用意することの利点○

他人のプラクティスが再利用できる（OSS，ブログの活性化）○

エコシステムが成長⇒スパコン維持費の削減○

新規利用者の増加＆クイックスタート

47

スパコンとゲームの未来

クラウドのバッチ処理サービスとの互換性●●© KLab Inc.

ニーズ：ワークロードをスパコン・クラウド間で簡単に移行したい○

モデル開発はスパコンで，再学習はクラウドで○閑散期はスパコンで，卒論シーズンはクラウドでシームレスに使えると新規利用者も増える

48

スパコンとゲームの未来

CLIの統一＆サブコマンド化●●●© KLab Inc.

ニーズ：CLIがわかりにくい○

スパコン間でCLIコマンドに互換性がなく，毎回コマンドもオプションも覚え直し○

サブコマンド化されていないので補完が効かない○

サブコマンド化されていないので何がバッチスケジューラのコマンドかわからない

階層化すれば何ができるかわかりやすくなる（例：pj job[TAB]でジョブ操作が一覧に）○

pjsub job.sh ⇒ pj job submit job.sh○pjshowrsc ⇒ pj node ls

標準化でジョブスクリプトもポータブルに○

HPCIの全スパコンでwrite once, run anywhere○

スパコン間でジョブやデータが転送できるとクラウド並みの可用性に49スパコンとゲームの未来

ゲームとHPC●

HPCリソースをエッジデバイスに近づけようとする試みが盛んに○

NVIDIAとGoogle Cloud、あらゆる場所でのAI開発を加速するため業界初の「AI-on-5GLab」を設立●

今後もスパコン＝研究限定でいいのか？
○●

スパコン富岳、日本の産業強化に貢献できないジレンマ

クラウドゲーミングへのHPC応用に期待○

ゲーム処理をクラウドで計算し，画面をスマホに転送（例：Xbox Cloud Gaming, GeForce
NOW, Google Stadia, Amazon Luna）○

CDNのようにエッジデバイス付近のHPCクラスタを自動で使う仕組みができあがれば，スマホで据え置き器並みにハイクオリティなゲームができるかも!?

© KLab Inc.

50

Copyright (c) KLab Inc. All Rights Reserved.

51