（様式 20）成果報告書

TSUBAME 共同利用 令和 4 年度 学術利用 成果報告書

人工画像データ及び事前学習モデルのリポジトリ化による AI ハブ構築
AI Hub of Synthetic Image Datasets and Pre-trained Models
谷村 勇輔
産業技術総合研究所 デジタルアーキテクチャ研究センター

邦文抄録（300 字程度）
大規模学習を高速に実行可能にする次世代システムの設計に向けて、アクセラレータの効果的な利用や大規模並列実行における通信の最適化、ストレージ I/O の効率化等に関する手法の研究開発を行っており、TSUBAMEにてその評価検証を行った。特に、学習中に tar ファイルから直接画像を読む方法により inode 数を 1/1000 に削減した。

英文抄録（100 words 程度）
Toward the design of next-generation systems that enable high-speed execution of large-scale learning,
we have been conducting research and development of methods for effective use of accelerators,
optimization of communication in large-scale parallel execution, and efficiency improvement of storage
I/O, etc. We evaluated and verified these methods in TSUBAME. In particular, the number of inodes
was reduced to 1/1000 by reading images directly from tar files during training.

Keywords: 深層学習、事前学習、Vision Transformer、人工画像、大規模データ

背景と目的ることで精度を向上させ、AlexNet は GPU を用いるこ

深層学習技術の中で格段に高い精度を発揮しているとで高速にこれを処理できるようにし、ResNet ではスのが超巨大な transformer の事前学習である。本課

キップ接続とバッチ正規化により学習を容易にした。ま題はこのような巨大な transformer の事前学習に必要た 、 MobileNet の squeeze and excite 機 構 やになる膨大なデータを数式から人工的に作った画像でEfficientNet の neural architecture search を用いて代替する革新的な基盤技術を提案する。既に効率的なニューラルネットが設計できるようになり、精ImageNet-21k に関しては同等のデータ量で同じ精度度を維持しつつ小型化できるようになった。一方、自然を達成しており、数式から無限に生成できる人工画像

言語処理分野では LSTM などの再帰的ニューラルネッで自然画像と同程度の事前学習効果が得られるというト が 長 く 用 い ら れ て い た が 、 2017 年 に 登 場 し た

事実は、深層学習分野に革命をもたらすものであると

transformer により大幅な性能向上が実現され、現在予想される。

では transformer が主流なニューラルネットとなっている。この transformer を画像処理分野で使えるようにし概要たものが本課題で用いる vision transformer である。

本課題で用いる計算モデルは深層ニューラルネットのLeNet から EfficientNet に至るまで画像処理分野で一種である vision transformer である。深層ニューラ用いられてきたニューラルネットは、全て畳み込みニュ

ルネットはこの 20 年間で目覚ましい進歩を遂げてきた。

ーラルネットであったが、vision transformer は畳み込

図１に初期の LeNet や LSTM などの深層ニューラルみのような機構を予め人手で組み込むことなくデータかネットから現在の Vision Transformer に至るまでの代らそのような構造をも学習することができるため、大量表的な深層ニューラルネットの変遷を示す。画像処理のデータがある場合には優位になる。ただし、最も大き分野では LeNet が畳み込みニューラルネットを採用す

い実画像データセット JFT を Google が非公開としてい（様式 20）成果報告書ることが画像処理分野全体の発展にとって大きな障壁で と し た 。 デ ー タ セ ッ ト は FractalDB-100k ととなっている。本課題では、大規模学習を高速に実行

FractalDB-300k を中心に事前学習し、余ったノードで可能にする次世代システムの設計に向けて、アクセラより小規模なデータセットの学習を行った。また、レータの効果的な利用や大規模並列実行における通FractalDB-100k では 10 epoch、FractalDB-300k で信の最適化、ストレージ I/O の効率化等に関する手法

は 3 epoch だけの学習を行った。これらのデータセットの研究開発を行っており、TSUBAME にてその評価での事前学習は初めてであったことと、事前の検証を行った。特に、学習中に tar ファイルから直接画

FractalDB-50k までの profile では Webdatasets を像を読む方法により inode 数を 1/1000 に削減した。

用いなくとも I/O の時間がほとんど影響しないという計測 結 果 が 出 て い た た め 、 安 全 を と っ てFractalDB-100k や FractalDB-300k の事前学習をWebdatasets を使わずにまずは行った。しかし、3 時間
待っても FractralDB-100k の事前学習すら全く始まらず最初の画像読込に膨大な時間がかかっていた。後にtorch.profile の計測の仕方が間違っていることが判明
し FractalDB-10k などでも I/O の影響は非常に大きかったことが分かった。本実施中にはこのことは判明して
い な か っ た が 、 Webdatasets か ら FractalDB100k/300k を読み込む方式に切替えて事前学習を行

図１ 主要な深層ニューラルネットモデルの変遷結果および考察った。

まとめ、今後の課題

JFT-300M 規模に相当する FractalDB-100k (1 億画

少なくとも ViT-Tiny/Small/Base の 3 種類のモデル像)及び FractalDB-300k (3 億画像)のデータセットをと FractalDB-10k/21k/50k と ImageNet-21k の 4 種生成する必要があるが、Fractal 画像を生成するには類のデータセットの全ての組み合わせにおける事前学ディスプレイに接続されている GPU を用いるのが最も習を十分な epoch まで完了することができた。これまで高速であるため、研究室のサーバで全ての画像を生成の FractalDB を用いた ViT の事前学習の研究例では、

し TSUBAME に 転 送 す る こ と に し た 。 た だ し 、ImageNet-1k で の 事 前 学 習 と CIFAR10 で のFractalDB-300k を転送のために tar ファイルに固めfine-tuning にとどまっていたが、本チャレンジではそるのに 2 週間ほどかかった。さらに、PyTorch の標準のの 20 倍程度の規模となる ImageNet-21k による事前DataLoader から読み込む場合、3 億画像をファイルシ学習と ImageNet-1k による fine-tuning を行うことがステムからアクセスすることになり、I/O がボトルネックできた。Fine-tuning は ImageNet-1k だけでなく、となる。Webdatasets を用いることで、少数の巨大なCIFAR100 や CIFAR10 でも行った。興味深い結果とtar ファイルに画像を固めて、tar から直接読むことがでし て は 、 CIFAR10 や CIFAR100 な ど で はきる。ただし、Webdatasets を用いた場合、ノード間シFractralDB-21k

ャッフルは起きず、ノード内のシャッフルのみが可能でImageNet-21k で事前学習したものよりも精度が低かある 。こ の ことが 学 習に ど のよ う な影 響が 出る かをったのに対して、最も困難とされる ImageNet-1k のImageNet-1k の事前学習を用いて検証したところ、学

fine-tuning習曲線が一致したため、問題ないと判断した。

ImageNet-21k よ り も 高 精 度 に な っ た 。 さ ら に 、以上の様々な問題により、本実施では当初計画を縮ViT-Tiny や ViT-Small な ど の 小 さ い モ デ ル で は小し、モデルサイズは ViT-Large ではなく ViT-Base まImageNet-21k の方が FractalDB-21k よりも精度がで 事 前 学 習 し た も の がで はFractalDB-21kの 方 が（様式 20）成果報告書
よ く な っ た が 、 最 も 大 き い ViT-Base で はFractalDB-21k の方が ImageNet-1k の fine-tuning
において高い精度を達成した。つまり、fine-tuning タスクが困難であるほど、また、ViT の規模が大きいほど
FractalDB の ImageNet に対する優位性は向上するという興味深い結果となった。