フラクタル画像に関する論文まとめ

# 紹介する論文一覧

非自然画像であるフラクタル画像に関する論文を5つ紹介します．

- [Pre-training without Natural Images](#pre-training-without-natural-images)
- [Can Vision Transformers Learn without Natural Images?](#can-vision-transformers-learn-without-natural-images)
- [Formula-Driven Supervised Learning With Recursive Tiling Patterns](#formula-driven-supervised-learning-with-recursive-tiling-patterns)
- [Replacing Labeled Real-image Datasets with Auto-generated Contours](#replacing-labeled-real-image-datasets-with-auto-generated-contours)
- [Pre-training Vision Transformers with Very Limited Synthesized Images](#pre-training-vision-transformers-with-very-limited-synthesized-images)

## Pre-training without Natural Images
https://arxiv.org/abs/2101.08515

自然画像を用いずに事前学習する手法が提案されました． 提案されたデータセットの名前は**FractalDB**です． **FractalDB**はIFS(iterated function system)という反復関数システムを用いて作成された非自然画像データセットで，従来の自然画像データセット(ImageNetやPlaces)に存在するプライバシー問題やラベル付けコストを解決することができます．
ResNet50をFractalDBで事前学習してC10/100やIN-1kを用いてfine-tuningした結果と，その他の自然画像データセットで事前学習してfine-tuningした結果を比較するとFractalDBは自然画像データセットの結果を**一部精度を上回りました**．

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2473523/895efcc0-cd5f-77c6-0c72-100c84729a73.png)![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2473523/de2dd980-309e-6d8d-4334-9e169371f283.png)
> [Pre-training without Natural Images](https://arxiv.org/abs/2101.08515)


## Can Vision Transformers Learn without Natural Images?
https://arxiv.org/abs/2103.13023

FractalDBを用いてViTを事前学習する手法が提案されました．FractalDBは，数学的な公式に基づいて自動的に画像パターンとラベルを生成する**FDSL**(Furmula-Driven Suervised Learning)フレームワークを用いて生成されます．
DeiT-Ti(ViT-T/16)をFractalDBで事前学習してC10/100やIN-1kを用いてfine-tuningした結果と，その他の自然画像データセットで事前学習してfine-tuningした結果を比較するとFractalDBは自然画像データセットの結果を**一部精度を上回りました**．また，SimCLRv2やMocov2などの自己教師あり学習と比較して優れた性能を達成しました．

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2473523/7c320ae2-3211-a0d7-8f9f-ce6fd57dc45b.png)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2473523/32ffa0d8-0c1b-82c7-827b-c0a64e95d791.png)
> [Can Vision Transformers Learn without Natural Images?](https://arxiv.org/abs/2103.13023)


## Formula-Driven Supervised Learning With Recursive Tiling Patterns
https://openaccess.thecvf.com/content/ICCV2021W/HTCV/html/Kataoka_Formula-Driven_Supervised_Learning_With_Recursive_Tiling_Patterns_ICCVW_2021_paper.html

**TileDB**を用いてResNetを用いて事前学習する手法が提案されました．提案されたデータセットは**TileDB**です．TileDBはタイリングパターンからなるFDSLフレームワークを用いて生成される非自然画像データセットです．
ResNet50をTileDBで事前学習してC10/100やP30を用いてfine-tuningした結果と，FractalDBで事前学習してfine-tuningした結果を比較するとTileDBはFractalDBに比べて**小さいcategoty/instanceでは高い精度を示しました**が，最終評価はFractalDBの方が良いとされました．
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2473523/67dbbade-13e8-3e27-c9b1-dcc5d73aa99c.png)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2473523/d000f87c-04ba-7795-8b03-6a1eb7dbde04.png)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2473523/f9fec237-944d-f12e-6d84-c64c40357d4d.png)![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2473523/0e46a19b-78de-5550-3069-d494873a43b0.png)
> [Formula-Driven Supervised Learning With Recursive Tiling Patterns](https://openaccess.thecvf.com/content/ICCV2021W/HTCV/html/Kataoka_Formula-Driven_Supervised_Learning_With_Recursive_Tiling_Patterns_ICCVW_2021_paper.html)


## Replacing Labeled Real-image Datasets with Auto-generated Contours
https://arxiv.org/abs/2206.09132

実画像を用いずにImageNet-21kで事前学習されたモデルと同等以上の性能を達成するFDSLが提案されました．新たに提案されたデータセットは**RCDB**と**ExFractalDB**です．**RCDB**はFractal画像の輪郭の重要性を検証するために生成された非自然画像データセットです．また，**ExfractalDB**は3D-IFSを用いて生成された非自然画像データセットです．
ViT(ViT-T/16とViT-B/16)をFractalDB,RCDBで事前学習してC10/100やImageNetなどを用いてfine-tuningした結果と ImageNet-21kで事前学習してfine-tuningした結果を比較すると，ViT-B/16において**ExFractalDBとRCDB**はImageNet-21kの結果を**上回りました**．

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2473523/574ade45-7691-e11d-7c78-62b4258626a2.png)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2473523/4c965e50-7f83-a54a-8b08-69bf30bfdcf9.png)
> [Replacing Labeled Real-image Datasets with Auto-generated Contours](https://arxiv.org/abs/2206.09132)


## Pre-training Vision Transformers with Very Limited Synthesized Images
https://arxiv.org/abs/2307.14710

ImageNetで事前学習したモデルと同程度以上の性能を達成するクラスごとに1つのフラクタル画像のみを生成した**OFDB**で事前学習するFDSLが提案されました．提案されたデータセットは**OFDB**です．**ODFB**はデータサイズが**21k**のみの非常に小さいデータセットです(ImageNet-1kはデータサイズが14M).学習時にはインスタンス(クラスごとの画像)を生成する代わりに2つのデータ拡張(**Random patch augmentation,Random texture augmentation**)を行います．
ViT(ViT-T/16とViT-B/16)を**2D-OFDB-1k/21k**と**3D-OFDB-1k/21k**で事前学習してC10/100やImageNetなどを用いてfine-tuningした結果とImageNet-1k/21kで事前学習してfine-tuningした結果を比較すると， **2D-OFDB**と**3D-OFDB**はImageNetと**同程度以上の性能を達成**しました．

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2473523/414f0d4a-5da0-c8a9-d324-049b15b94741.png)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2473523/29ced0f6-44b1-3709-4ba0-248cf608eb56.png)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2473523/d0d4b61c-32f4-015d-6ef3-fea65f40335f.png)
> [Pre-training Vision Transformers with Very Limited Synthesized Images](https://arxiv.org/abs/2307.14710)


参考文献
1. Kataoka, H., Okayasu, K., Matsumoto, A., Yamagata, E., Yamada, R., Inoue, N., Nakamura, A., & Satoh, Y. (2022). Pre-Training Without Natural Images. International Journal of Computer Vision, 130(4), 990–1007. https://doi.org/10.1007/s11263-021-01555-8
2. Nakashima, K., Kataoka, H., Matsumoto, A., Iwata, K., Inoue, N., & Satoh, Y. (2022). Can Vision Transformers Learn without Natural Images? Proceedings of the AAAI Conference on Artificial Intelligence, 36(2), 1990–1998. https://doi.org/10.1609/aaai.v36i2.20094
3. Kataoka, H., Matsumoto, A., Yamada, R., Satoh, Y., Yamagata, E., & Inoue, N. (2021). Formula-driven Supervised Learning with Recursive Tiling Patterns. In 2021 IEEE/CVF International Conference on Computer Vision Workshops (ICCVW). IEEE. https://doi.org/10.1109/iccvw54120.2021.00455
4. Kataoka, H., Hayamizu, R., Yamada, R., Nakashima, K., Takashima, S., Zhang, X., Martinez-Noriega, E. J., Inoue, N., & Yokota, R. (2022). Replacing Labeled Real-image Datasets with Auto-generated Contours. In 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). IEEE. https://doi.org/10.1109/cvpr52688.2022.02055
5. Nakamura, R., Kataoka, H., Takashima, S., Martinez Noriega, E. J., Yokota, R., & Inoue, N. (2023). Pre-training Vision Transformers with Very Limited Synthesized Images. In 2023 IEEE/CVF International Conference on Computer Vision (ICCV). IEEE. https://doi.org/10.1109/iccv51070.2023.01862