画像生成AIにとって一番嫌なノイズを探す -調査編(3)-

## 概要

生成AIが発展する一方で、権利者が望まない無断のAI学習が問題になってきています
この記事では、学習用画像にノイズが入っていた場合、画像生成AIにどのような影響があるのかを調査しました

※この記事群は2024/10末時点の調査に基づいています

## 目次

1. [画像生成AIにとって一番嫌なノイズを探す -結論編-](https://qiita.com/miu200521358/items/35f19ec198ba1a1fe563)
1. [画像生成AIにとって一番嫌なノイズを探す -準備編-](https://qiita.com/miu200521358/items/379ff032eaf43f055939)
1. [画像生成AIにとって一番嫌なノイズを探す -調査編(1)-](https://qiita.com/miu200521358/items/81439ba159d836faa0f4)
1. [画像生成AIにとって一番嫌なノイズを探す -調査編(2)-](https://qiita.com/miu200521358/items/e3e7bee24aee5a6dbe9b)
1. [画像生成AIにとって一番嫌なノイズを探す -調査編(3)-](https://qiita.com/miu200521358/items/4126f24c26d61e1b9720)
1. [画像生成AIにとって一番嫌なノイズを探す -調査編(4)-](https://qiita.com/miu200521358/items/5140ce700a9481aa15e3)
1. [画像生成AIにとって一番嫌なノイズを探す -実装編-](https://qiita.com/miu200521358/items/6ffe0c8db4e3d88bc0c5)

※この記事群は2024/10末時点の調査に基づいています

## 追加学習

### ウォーターマーク（透過度20%）→ Glaze Default の順番でかけた場合

#### epoch 8

![case03_12_watermark_20_glaze_default-000008_1_normal_02.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/5c94daa0-1446-9e54-36dc-78b97910bc10.png)

ウォーターマークは消えているのですが、色がやけに濃く学習されています
また、服などにノイズ状のラインが入りやすくなっています

<details><summary>調査詳細 (学習元画像・epochごとの変遷)</summary>

#### 学習データ

![case03_12_watermark_20_glaze_default_original.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/b12ff2dd-348d-fb11-6fec-73b7528f37af.png)

#### epoch 2

![case03_12_watermark_20_glaze_default-000002_1_normal_03.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/f9b3f173-191d-923d-ac1d-53d990b21b81.png)

#### epoch 4

![case03_12_watermark_20_glaze_default-000004_1_normal_02.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/0c85e428-0c45-7aff-bc1e-8fd581a48292.png)

#### epoch 6

![case03_12_watermark_20_glaze_default-000006_1_normal_03.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/3d65ebe0-eb2e-6877-b957-20d7ae0b0c8b.png)

#### epoch 10

![case03_12_watermark_20_glaze_default-000010_1_normal_02.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/bea7e1df-0731-d325-257f-6d1a52c8afae.png)

#### epoch 12

![case03_12_watermark_20_glaze_default-000012_1_normal_03.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/01eccf28-3f2d-7b07-6e47-4f898a1f999d.png)

</details>

--------

### ウォーターマーク（透過度20%）→ Glaze Low の順番でかけた場合

#### epoch 8

![case03_12_watermark_20_glaze_low-000008_1_normal_03.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/97d0dc14-a8b5-8da4-a2a8-1f4d1a9de815.png)

色味は Glaze Default をかけた時よりもノイズなしに近付いています
ウォーターマークらしきラインはちょっと見えるかな…？くらいですね

<details><summary>調査詳細 (学習元画像・epochごとの変遷)</summary>

#### 学習データ

![case03_12_watermark_20_glaze_low-original.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/9d30c510-99cc-3db3-40d3-a8a31fd5ae67.png)

#### epoch 2

![case03_12_watermark_20_glaze_low-000002_1_normal_01.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/d46c91b6-e3cb-ce29-a9e1-146b338cf271.png)

#### epoch 4

![case03_12_watermark_20_glaze_low-000004_1_normal_03.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/6f491f7f-c810-f050-c2ca-5b27ccd2c49e.png)

#### epoch 6

![case03_12_watermark_20_glaze_low-000006_1_normal_02.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/29b5600d-06d1-2fbd-b2ac-3569e6d7921e.png)

#### epoch 10

![case03_12_watermark_20_glaze_low-000010_1_normal_02.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/25f2ca98-5fb2-da80-343b-91b24900080a.png)

#### epoch 12

![case03_12_watermark_20_glaze_low-000012_1_normal_03.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/0e2b8788-a765-255a-4cad-53acc35f373c.png)

</details>

--------

### ウォーターマーク（透過度20%）→ Nightshade Default の順番でかけた場合

#### epoch 8

![case03_12_watermark_20_nightshade_default-000008_1_normal_02.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/b7e1b305-5479-a2e2-a877-0943154a48cd.png)

ノイズなしに比べると睫毛や髪の形状の学習が進んでいません
ウォーターマークもやや残っています
（髪に分かりやすく斜めのラインが入っています）

<details><summary>調査詳細 (学習元画像・epochごとの変遷)</summary>

#### 学習データ

![24-10-26-07-07-58-17.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/0c550e23-d342-d394-88d6-85df0fae7e7d.png)

#### epoch 2

![case03_12_watermark_20_nightshade_default-000002_1_normal_01.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/5ff252fd-9919-cc57-2d2c-ebf6c4716e23.png)

#### epoch 4

![case03_12_watermark_20_nightshade_default-000004_1_normal_03.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/4f585ff1-99de-5f76-1186-31ad9b91d4c9.png)

#### epoch 6

![case03_12_watermark_20_nightshade_default-000006_1_normal_03.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/2600ee4a-ae58-97c2-e3ef-a81f3752623f.png)

#### epoch 10

![case03_12_watermark_20_nightshade_default-000010_1_normal_02.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/75dac9b5-5f63-a268-7a03-d7035c60eace.png)

#### epoch 12

![case03_12_watermark_20_nightshade_default-000012_1_normal_03.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/45aaf09f-e46b-f162-27d7-db7da4bb7d39.png)

</details>

--------

### ウォーターマーク（透過度20%）→ Nightshade Low の順番でかけた場合

#### epoch 8

![case03_12_watermark_20_nightshade_low-000008_1_normal_03.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/385663c8-a106-7d9f-b460-33c5cbee6c80.png)

概ね特徴は学習できていそうです
ウォーターマークもそれっぽいラインが若干入っています

<details><summary>調査詳細 (学習元画像・epochごとの変遷)</summary>

#### 学習データ

![24-10-26-07-07-58-17.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/1853e189-8597-5864-9199-3bd33709c018.png)

#### epoch 2

![case03_12_watermark_20_nightshade_low-000002_1_normal_03.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/717c2a2b-f316-1fa6-9d04-1810bef0eaea.png)

#### epoch 4

![case03_12_watermark_20_nightshade_low-000004_1_normal_03.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/746309ad-45e5-aa58-c39c-78ddf2a569c6.png)

#### epoch 6

![case03_12_watermark_20_nightshade_low-000006_1_normal_02.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/084b8921-95e2-1a98-5d5f-9c250e27d5e0.png)

#### epoch 10

![case03_12_watermark_20_nightshade_low-000010_1_normal_02.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/95ca0079-1f4f-11ab-a36c-a6f88b3770aa.png)

#### epoch 12

![case03_12_watermark_20_nightshade_low-000012_1_normal_03.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/187bd07b-6e34-fbdc-94b4-4af8ce0bf474.png)

</details>

--------

### ウォーターマーク（透過度20%）→ Glaze Default の順番でかけて、ウォーターマーク除去指示を出した場合

- ウォーターマーク（透過度20%）
- 学習時のウォーターマーク除去タグ付けはアリ
- ネガティブプロンプトでウォーターマーク除去指示を追加
- Glaze Default
- Nightshade 未使用

#### epoch 8

![case03_42_watermark_20_negative_glaze_default-000008_2_negative_03.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/f4e7e7db-82d3-8c9d-f400-b57b5fbb8c2c.png)

ウォーターマークは綺麗に除去できていますが、その分学習の進み具合は遅いです

<details><summary>調査詳細 (学習元画像・epochごとの変遷)</summary>

#### 学習データ

「ウォーターマーク（透過度20%）→ Glaze Default」のデータセットにタグ「watermark,english text」を学習対象に追加

#### epoch 2

![case03_42_watermark_20_negative_glaze_default-000002_2_negative_03.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/61f8eb58-7486-872c-ca85-3db5e0c317f2.png)

#### epoch 4

![case03_42_watermark_20_negative_glaze_default-000004_2_negative_02.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/036a5b75-5845-a78e-7d85-9e6783e11b79.png)

#### epoch 6

![case03_42_watermark_20_negative_glaze_default-000006_2_negative_02.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/8c0e74af-a750-d6c2-0470-7d526a20ea11.png)

#### epoch 10

![case03_42_watermark_20_negative_glaze_default-000010_2_negative_02.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/423b2967-2222-ebc9-368d-bb5357c9e571.png)

#### epoch 12

![case03_42_watermark_20_negative_glaze_default-000012_2_negative_02.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/fdb087ec-fffd-5e13-e3ae-88cc1c3d3cc3.png)

</details>

--------

### ウォーターマーク（透過度20%）→ Nightshade Default の順番でかけて、ウォーターマーク除去指示を出した場合

- ウォーターマーク（透過度20%）
- 学習時のウォーターマーク除去タグ付けはアリ
- ネガティブプロンプトでウォーターマーク除去指示を追加
- Glaze 未使用
- Nightshade Default

#### epoch 8

![case03_42_watermark_20_negative_nightshade_default-000008_2_negative_02.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/a26aa232-1cc7-5ba5-dec6-f787ad53384a.png)

髪がメデューサみたい…
ウォーターマークは除去されてますが、その代わり学習が進んでません

<details><summary>調査詳細 (学習元画像・epochごとの変遷)</summary>

#### 学習データ

「ウォーターマーク（透過度20%）→ Nightshade Default」のデータセットにタグ「watermark,english text」を学習対象に追加

#### epoch 2

![case03_42_watermark_20_negative_nightshade_default-000002_2_negative_03.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/62a16820-0a38-eb87-7c64-e9a36f6828da.png)

#### epoch 4

![case03_42_watermark_20_negative_nightshade_default-000004_2_negative_02.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/9c114ffe-ba81-0be5-f377-d152ad120b0f.png)

#### epoch 6

![case03_42_watermark_20_negative_nightshade_default-000006_2_negative_02.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/ad780ff9-51f3-ba2c-27d0-4206dc92408f.png)

#### epoch 10

![case03_42_watermark_20_negative_nightshade_default-000010_2_negative_02.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/3533275f-5fc4-e66d-bd65-2cf1e193346b.png)

#### epoch 12

![case03_42_watermark_20_negative_nightshade_default-000012_2_negative_03.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/7407d819-df62-11a9-b26f-0d4e5ca04ea8.png)

</details>

--------

### ウォーターマーク（透過度20%）→ Nightshade Low → Glaze Low をかけた場合

#### epoch 8

![case03_20_watermark_20_nightshade_low_glaze_low-000008_1_normal_03.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/30fcba40-d75d-7256-058f-9e2bb98867ed.png)

髪の色がやや濃いですが、形状は概ね学習できています

<details><summary>調査詳細 (学習元画像・epochごとの変遷)</summary>

#### 学習データ

![24-10-26-07-07-58-17.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/506f0b6c-dc51-3957-cbe2-c0ea744bd786.png)

#### epoch 2

![case03_20_watermark_20_nightshade_low_glaze_low-000002_1_normal_01.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/8866f3cf-3728-a156-4d7b-71eab5440c1d.png)

#### epoch 4

![case03_20_watermark_20_nightshade_low_glaze_low-000004_1_normal_03.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/7f30f920-90fd-def2-5443-9c8fa80c678d.png)

#### epoch 6

![case03_20_watermark_20_nightshade_low_glaze_low-000006_1_normal_02.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/92450806-0f61-aaf8-3fb9-c31d902fcd4a.png)

#### epoch 10

![case03_20_watermark_20_nightshade_low_glaze_low-000010_1_normal_03.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/c56ce8fb-3e14-76a8-15f4-a95f6856506f.png)

#### epoch 12

![case03_20_watermark_20_nightshade_low_glaze_low-000012_1_normal_03.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/97310942-c1c2-3e91-5665-49a19a347c2c.png)

</details>

--------

### ウォーターマーク（透過度20%）→ Glaze Low → Nightshade Low の順番でかけた場合

#### epoch 8

![case03_21_watermark_20_glaze_low_nightshade_low-000008_1_normal_02.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/a829f26a-c166-fff4-bdee-3d8065309b4d.png)

形状も色もノイズなしと大分似ています
ですが、ノイズなしに比べると若干年齢が高い感じがします
たまにウォーターマークらしきラインが出てきます

<details><summary>調査詳細 (学習元画像・epochごとの変遷)</summary>

#### 学習データ

![24-10-26-07-07-58-17.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/d287fcec-a285-d80a-1bd1-78c3ac756549.png)

#### epoch 2

![case03_21_watermark_20_glaze_low_nightshade_low-000002_1_normal_03.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/4de64852-786e-27bb-15ab-68a8f1460732.png)

#### epoch 4

![case03_21_watermark_20_glaze_low_nightshade_low-000004_1_normal_03.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/90825b25-f37c-d1dd-d75b-c882287d7a08.png)

#### epoch 6

![case03_21_watermark_20_glaze_low_nightshade_low-000006_1_normal_01.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/c7b9b2bf-8ab7-66e7-f4a5-8d21cd816adc.png)

#### epoch 10

![case03_21_watermark_20_glaze_low_nightshade_low-000010_1_normal_03.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/c5c841f3-cf4e-61e8-247e-8b5df77ef578.png)

#### epoch 12

![case03_21_watermark_20_glaze_low_nightshade_low-000012_1_normal_02.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/9f692692-e8b0-ddd1-1c01-3b92e0b8ca2f.png)

</details>

--------

### Nightshade Low → Glaze Low → ウォーターマーク（透過度20%）の順番でかけた場合

#### epoch 8

![case03_22_nightshade_low_glaze_low_watermark_20-000008_1_normal_03.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/9c4a0047-2a37-5fe3-758d-4fbbb98d6a6e.png)

ノイズなしに比べると若干年齢が高い感じがします
ウォーターマークはラインとしてではなく、過学習状態になったときに若干髪にもやがかかったように描かれています

<details><summary>調査詳細 (学習元画像・epochごとの変遷)</summary>

#### 学習データ

![24-10-26-07-07-58-17.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/eb0d7685-f5e8-97d3-d04d-9c977140568b.png)

#### epoch 2

![case03_22_nightshade_low_glaze_low_watermark_20-000002_1_normal_02.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/7ca5c805-258a-e7af-cbc4-3d641310d537.png)

#### epoch 4

![case03_22_nightshade_low_glaze_low_watermark_20-000004_1_normal_03.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/f171d031-87f6-a107-1c60-f4a3cd46aa36.png)

#### epoch 6

![case03_22_nightshade_low_glaze_low_watermark_20-000006_1_normal_02.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/0b53a669-6c6a-03b8-6abd-c10dba0b1fd7.png)

#### epoch 10

![case03_22_nightshade_low_glaze_low_watermark_20-000010_1_normal_03.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/31991b14-42ad-f5a3-123d-70dc2ecb0795.png)

#### epoch 12

![case03_22_nightshade_low_glaze_low_watermark_20-000012_1_normal_02.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/19311787-cd1f-8511-b0b3-a2a01d70653f.png)

</details>

--------

### Glaze Low → Nightshade Low → ウォーターマーク（透過度20%）の順番でかけた場合

#### epoch 8

![case03_23_glaze_low_nightshade_low_watermark_20-000008_1_normal_02.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/8424aeae-92d9-46a0-06d6-919e50951efe.png)

これまでとは逆に、髪の茶色みが増した（色褪せた）感じで学習されていそうです
ウォーターマークは綺麗に消えており、過学習状態になってもほとんど出てきませんでした

<details><summary>調査詳細 (学習元画像・epochごとの変遷)</summary>

#### 学習データ

![24-10-26-07-07-58-17.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/449afa33-a5f3-a82c-4f60-7e7576b3c189.png)

#### epoch 2

![case03_23_glaze_low_nightshade_low_watermark_20-000002_1_normal_02.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/eb8180b7-12b7-59ff-f38b-f6bb5015996d.png)

#### epoch 4

![case03_23_glaze_low_nightshade_low_watermark_20-000004_1_normal_03.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/1da5d0af-5b3a-81d6-2852-669c94ccb332.png)

#### epoch 6

![case03_23_glaze_low_nightshade_low_watermark_20-000006_1_normal_03.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/817d6d29-bd6a-bbae-2415-d0152baa7d6d.png)

#### epoch 10

![case03_23_glaze_low_nightshade_low_watermark_20-000010_1_normal_02.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/a90a2603-b98a-bac1-b4f6-7cdda0e7828e.png)

#### epoch 12

![case03_23_glaze_low_nightshade_low_watermark_20-000012_1_normal_02.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/254327/ac516749-0c6f-be42-8af6-b6c48951b919.png)

</details>

## 検証結論

ウォーターマークとGlaze・Nightshadeを組み合わせると、学習の進み具合は遅くなるが、代わりにウォーターマークは除去されて学習されやすくなってしまう


## 次章

1. [画像生成AIにとって一番嫌なノイズを探す -調査編(4)-](https://qiita.com/miu200521358/items/5140ce700a9481aa15e3)