Update README.md
Browse files
README.md
CHANGED
@@ -4,21 +4,23 @@ license: creativeml-openrail-m
|
|
4 |
|
5 |
</p>
|
6 |
|
7 |
-
|
8 |
- controlnet_IP-adapterは参照したい画像を入れると画風や人物の雰囲気などプロンプトで指定しにくい部分を模倣することができます。
|
9 |
- 推奨モデルはnoobAIシリーズです。コントロールネットで「IP-adapter」、プリプロセッサ「CLIP-ViT-H (IPAdapter)」、modelに「ip_adapter_Noobtest_800000.bin」を選択してください。
|
10 |
- 学習不足を感じているので使い勝手は悪いかもしれません。
|
11 |
|
12 |
-
|
13 |
|
14 |
- ![](image1.jpg)
|
15 |
|
16 |
-
|
17 |
- 画像によってweightやendstepを調節することをお勧めします。関与率が高いと破綻が増えることがあります。
|
18 |
|
19 |
- ![](image2.png)
|
20 |
|
21 |
-
|
|
|
|
|
22 |
|
23 |
- 全学習共通
|
24 |
|
@@ -30,7 +32,7 @@ license: creativeml-openrail-m
|
|
30 |
|
31 |
学習解像度1024
|
32 |
|
33 |
-
|
34 |
ベースIP-adapterモデル:ip-adapter_sdxl.bin(https://huggingface.co/h94/IP-Adapter)
|
35 |
|
36 |
ベースcheckpoint:animagineXL3.1
|
@@ -41,7 +43,7 @@ license: creativeml-openrail-m
|
|
41 |
|
42 |
学習ステップ:40万ステップ
|
43 |
|
44 |
-
|
45 |
|
46 |
ベースIP-adapterモデル:ip-adapter_animegineXL-400000.bin(非公開)
|
47 |
|
@@ -54,7 +56,7 @@ license: creativeml-openrail-m
|
|
54 |
学習ステップ:40万ステップ
|
55 |
|
56 |
|
57 |
-
|
58 |
|
59 |
ベースIP-adapterモデル:ip-adapter_noobAI_XL-400000.bin(非公開)
|
60 |
|
@@ -66,7 +68,9 @@ license: creativeml-openrail-m
|
|
66 |
|
67 |
学習ステップ:40万ステップ
|
68 |
|
69 |
-
|
|
|
|
|
70 |
|
71 |
SDXL_baseで学習されたIP-adapterモデルはanimagineXL3.1では1e-4という比較的高い学習率でも発散することなく学習できた。
|
72 |
|
@@ -76,6 +80,7 @@ SDXL_baseで学習されたIP-adapterモデルはanimagineXL3.1では1e-4とい
|
|
76 |
|
77 |
学習第三段階でよりNoobAIにフィットするよう学習率を上げた。コサイン曲線を導入したが必要性は薄いと思われる。
|
78 |
|
79 |
-
|
80 |
|
81 |
-
|
|
|
|
4 |
|
5 |
</p>
|
6 |
|
7 |
+
## controlnet_IP-adapter
|
8 |
- controlnet_IP-adapterは参照したい画像を入れると画風や人物の雰囲気などプロンプトで指定しにくい部分を模倣することができます。
|
9 |
- 推奨モデルはnoobAIシリーズです。コントロールネットで「IP-adapter」、プリプロセッサ「CLIP-ViT-H (IPAdapter)」、modelに「ip_adapter_Noobtest_800000.bin」を選択してください。
|
10 |
- 学習不足を感じているので使い勝手は悪いかもしれません。
|
11 |
|
12 |
+
## 作例
|
13 |
|
14 |
- ![](image1.jpg)
|
15 |
|
16 |
+
## 参考設定例
|
17 |
- 画像によってweightやendstepを調節することをお勧めします。関与率が高いと破綻が増えることがあります。
|
18 |
|
19 |
- ![](image2.png)
|
20 |
|
21 |
+
---
|
22 |
+
|
23 |
+
## 学習の詳細
|
24 |
|
25 |
- 全学習共通
|
26 |
|
|
|
32 |
|
33 |
学習解像度1024
|
34 |
|
35 |
+
# 学習第一段階
|
36 |
ベースIP-adapterモデル:ip-adapter_sdxl.bin(https://huggingface.co/h94/IP-Adapter)
|
37 |
|
38 |
ベースcheckpoint:animagineXL3.1
|
|
|
43 |
|
44 |
学習ステップ:40万ステップ
|
45 |
|
46 |
+
# 学習第二段階
|
47 |
|
48 |
ベースIP-adapterモデル:ip-adapter_animegineXL-400000.bin(非公開)
|
49 |
|
|
|
56 |
学習ステップ:40万ステップ
|
57 |
|
58 |
|
59 |
+
# 学習第三段階
|
60 |
|
61 |
ベースIP-adapterモデル:ip-adapter_noobAI_XL-400000.bin(非公開)
|
62 |
|
|
|
68 |
|
69 |
学習ステップ:40万ステップ
|
70 |
|
71 |
+
---
|
72 |
+
|
73 |
+
# 備考
|
74 |
|
75 |
SDXL_baseで学習されたIP-adapterモデルはanimagineXL3.1では1e-4という比較的高い学習率でも発散することなく学習できた。
|
76 |
|
|
|
80 |
|
81 |
学習第三段階でよりNoobAIにフィットするよう学習率を上げた。コサイン曲線を導入したが必要性は薄いと思われる。
|
82 |
|
83 |
+
---
|
84 |
|
85 |
+
# 謝辞
|
86 |
+
最後にこの学習に多くのアドバイスをくださった天紗愛氏(https://x.com/Ai_tensa) にこの場を借りてお礼申し上げます。
|